JP2021528169A - Equipment and methods for obtaining biological information - Google Patents

Equipment and methods for obtaining biological information Download PDF

Info

Publication number
JP2021528169A
JP2021528169A JP2020571471A JP2020571471A JP2021528169A JP 2021528169 A JP2021528169 A JP 2021528169A JP 2020571471 A JP2020571471 A JP 2020571471A JP 2020571471 A JP2020571471 A JP 2020571471A JP 2021528169 A JP2021528169 A JP 2021528169A
Authority
JP
Japan
Prior art keywords
arterial
image
distance
index information
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020571471A
Other languages
Japanese (ja)
Inventor
ショウヘイ，サトウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2021528169A publication Critical patent/JP2021528169A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0285—Measuring or recording phase velocity of blood waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A61B5/489—Blood vessels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Abstract

生物学的情報を取得するための装置及び方法が提供される。生物学的情報を取得するための方法は、非接触方式で画像化された被検体の動脈部分の第１の画像を取得するステップと；第１の画像に基づいて、動脈部分の複数の位置に対応する個々の脈波を検出するステップと；検出した個々の脈波同士の間のシフト量を計算するステップと；シフト量を用いて、生物学的情報として、被検体の動脈流に関する指標情報を計算するステップと；を含む。 Devices and methods for obtaining biological information are provided. Methods for obtaining biological information include the step of obtaining a first image of the arterial portion of the subject imaged in a non-contact manner; multiple locations of the arterial portion based on the first image. A step of detecting individual pulse waves corresponding to; a step of calculating the amount of shift between the detected individual pulse waves; and an index related to the arterial flow of the subject as biological information using the amount of shift. Includes steps to calculate information and;

Description

本開示は、イメージングフォトプレチスモグラフィ（ｉＰＰＧ）によって心臓血管系に関する生理学的パラメータを取得するための装置及び方法に関する。 The present disclosure relates to devices and methods for obtaining physiological parameters for the cardiovascular system by imaging photopretismography (iPPG).

被検体を画像化することによって被検体の画像を取得し、この画像から脈波伝播速度（pulse wavelength velocity）を計算する装置が知られている。例えば、被検体の顔を画像化し、顔画像内の２つの異なるターゲット領域を特定し、且つ両方の領域の脈波のシフト量から脈波伝播速度を計算する装置が公に知られている。 An apparatus is known that acquires an image of a subject by imaging the subject and calculates a pulse wavelength velocity from this image. For example, a device that images the face of a subject, identifies two different target regions in the face image, and calculates the pulse wave velocity from the shift amount of the pulse wave in both regions is publicly known.

上記の状況下で、生物学的情報を取得するための装置及び方法を説明する本開示の実施形態によって、技術的利点が提供される。 Under the above circumstances, the embodiments of the present disclosure that describe the devices and methods for obtaining biological information provide technical advantages.

一実施形態の第１の態様は、以下の方法を提供する。 A first aspect of an embodiment provides the following method.

生物学的情報を取得するための方法であって、この方法は、
非接触方式で画像化された被検体の動脈部分の第１の画像を取得するステップと、
第１の画像に基づいて、動脈部分の複数の位置に対応する個々の脈波を検出するステップと、
検出した個々の脈波同士の間のシフト量を計算するステップと、
シフト量を用いて、生物学的情報として、被検体の動脈流に関する指標情報を計算するステップと、を含む。 It is a method for obtaining biological information, and this method is
The step of acquiring the first image of the arterial part of the subject imaged by the non-contact method, and
Based on the first image, the step of detecting individual pulse waves corresponding to multiple positions of the arterial part, and
The step of calculating the amount of shift between the detected individual pulse waves, and
The shift amount is used to include, as biological information, a step of calculating index information regarding the arterial flow of the subject.

第１の態様によれば、信頼性の高い指標情報が提供される。 According to the first aspect, highly reliable index information is provided.

実施形態の第１の態様は、
動脈部分の深度情報を含む第２の画像を取得するステップと、
第２の画像に含まれる深度情報に基づいて、シフト量に関連する動脈部分同士の間の距離を計算するステップと、をさらに含み、
指標情報を計算するステップは、動脈部分同士の間の計算した距離及びシフト量を用いて指標情報を計算するステップを含む。 The first aspect of the embodiment is
The step of acquiring a second image containing the depth information of the arterial part,
Further including a step of calculating the distance between arterial portions related to the shift amount based on the depth information contained in the second image.
The step of calculating the index information includes a step of calculating the index information using the calculated distance and shift amount between the arterial portions.

この第１の態様によれば、指標情報を計算するために、動脈部分までの距離が取得される。 According to this first aspect, the distance to the arterial portion is obtained in order to calculate the index information.

実施形態の第２の態様は、以下の装置を提供する。 The second aspect of the embodiment provides the following devices.

生物学的情報を取得するための装置であって、この装置は、
非接触方式で画像化された被検体の動脈部分の第１の画像を取得するための第１の取得ユニットと、
第１の画像に基づいて、動脈部分の複数の位置に対応する個々の脈波を検出するための検出ユニットと、
検出した個々の脈波同士の間のシフト量を計算するためのシフト量計算ユニットと、
シフト量を用いて、生物学的情報として、被検体の動脈流に関する指標情報を計算するための指標情報計算ユニットと、を含む。 It is a device for acquiring biological information, and this device is
A first acquisition unit for acquiring a first image of the arterial portion of the subject imaged in a non-contact manner, and
A detection unit for detecting individual pulse waves corresponding to multiple positions of the arterial portion based on the first image,
A shift amount calculation unit for calculating the shift amount between the detected individual pulse waves, and
The shift amount is used to include, as biological information, an index information calculation unit for calculating index information regarding the arterial flow of the subject.

第２の態様によれば、信頼性の高い指標情報が提供される。 According to the second aspect, highly reliable index information is provided.

実施形態の第２の態様は、
動脈部分の深度情報を含む第２の画像を取得するための第２の取得ユニットと、
第２の画像に含まれる深度情報に基づいて、シフト量に関連する動脈部分同士の間の距離を計算するための計算ユニットと、をさらに含み、
指標情報計算ユニットは、動脈部分同士の間の計算した距離及びシフト量を用いて指標情報を計算するように構成される。 The second aspect of the embodiment is
A second acquisition unit for acquiring a second image containing depth information of the arterial part, and
It further includes a calculation unit for calculating the distance between arterial portions related to the shift amount, based on the depth information contained in the second image.
The index information calculation unit is configured to calculate index information using the calculated distance and shift amount between the arterial portions.

この第２の態様によれば、指標情報を計算するために、動脈部分までの距離が取得される。 According to this second aspect, the distance to the arterial portion is obtained in order to calculate the index information.

実施形態の第３の態様は、以下の装置を提供する。 A third aspect of the embodiment provides the following devices.

装置であって、この装置は、
第２の態様の装置と、
第１の画像を画像化するように構成された近赤外線カメラと、
指標情報を取得し、複数の動脈部分の深度情報を取得するために使用される深度センサと、を含む。 It is a device, and this device is
The device of the second aspect and
A near-infrared camera configured to image the first image,
It includes a depth sensor, which is used to acquire index information and acquire depth information of a plurality of arterial portions.

第３の態様によれば、信頼性の高い指標情報が提供される。 According to the third aspect, highly reliable index information is provided.

実施形態の第４の態様は、コンピュータが実施形態による方法の第１の態様を実行するのを可能にするためのプログラムを記録するコンピュータ可読記憶媒体を提供する。 A fourth aspect of the embodiment provides a computer-readable storage medium for recording a program that allows the computer to perform the first aspect of the method according to the embodiment.

第４の態様によれば、信頼性の高い指標情報が提供される。 According to the fourth aspect, highly reliable index information is provided.

実施形態の第５の態様は、コンピュータが実施形態による方法の第１の態様を実行するのを可能にするためのコンピュータプログラムを提供する。 A fifth aspect of the embodiment provides a computer program that allows a computer to perform the first aspect of the method according to the embodiment.

第５の態様によれば、信頼性の高い指標情報が提供される。 According to the fifth aspect, highly reliable index information is provided.

実施形態における技術的解決策をより明確に説明するために、以下では、本実施形態を説明するために必要な添付の図面について簡単に説明する。明らかに、以下の説明の添付図面は、可能な実施形態のほんの一部を示しており、当業者は、創造的な努力なしに、これらの添付図面から他の図面をさらに導き出し得る。
一実施形態による装置の構成の一例を示す概略図である。 一実施形態による、近赤外（ＮＩＲ）光源からの光が装置内の被検体で反射される場合の態様を説明するための図である。 一実施形態による、装置内のＮＩＲ画像及び深度画像を取得するための態様を説明するための図である。 照射光の波長とその透過深度との間の関係を説明するための図である。 一実施形態に係る装置により実施される、指標情報計算プロセスの概要を説明するための図である。 一実施形態による、装置内の２つの関心領域（ＲＯＩ）の間の距離を説明するための図である。 一実施形態による、装置内の画素サイズを説明するための図である。 図６Ａの画素サイズの一例を示す図である。 一実施形態に係る装置の機能構成の一例を示す図である。 一実施形態に係る装置における全体的な指標情報計算プロセスの一例を示すフローチャートである。 一実施形態に係る装置内の検出ターゲットとしての動脈部分同士の間の距離を算出するために実行されるプロセスの一例を示すフローチャートである。 図９のステップＳ２２の計算プロセスを示すフローチャートである。 図１０のステップＳ２２１の分離プロセスを説明するための図である。 動脈部分同士の間の距離を計算するために動脈部分の位置を推定する態様を説明するための図である。 橈骨動脈を検出する場合の検出範囲を示す図である。 In order to more clearly explain the technical solution in the embodiment, the accompanying drawings necessary for explaining the present embodiment will be briefly described below. Obviously, the accompanying drawings described below show only some of the possible embodiments, and one of ordinary skill in the art may further derive other drawings from these attached drawings without creative effort.
It is the schematic which shows an example of the structure of the apparatus by one Embodiment. It is a figure for demonstrating the mode in which the light from the near infrared (NIR) light source is reflected by the subject in an apparatus according to one Embodiment. It is a figure for demonstrating the mode for acquiring the NIR image and the depth image in an apparatus according to one Embodiment. It is a figure for demonstrating the relationship between the wavelength of irradiation light and the depth of transmission thereof. It is a figure for demonstrating the outline of the index information calculation process carried out by the apparatus which concerns on one Embodiment. It is a figure for demonstrating the distance between two regions of interest (ROI) in an apparatus according to one embodiment. It is a figure for demonstrating the pixel size in an apparatus according to one Embodiment. It is a figure which shows an example of the pixel size of FIG. 6A. It is a figure which shows an example of the functional structure of the apparatus which concerns on one Embodiment. It is a flowchart which shows an example of the whole index information calculation process in the apparatus which concerns on one Embodiment. It is a flowchart which shows an example of the process executed for calculating the distance between arterial portions as a detection target in the apparatus which concerns on one Embodiment. It is a flowchart which shows the calculation process of step S22 of FIG. It is a figure for demonstrating the separation process of step S221 of FIG. It is a figure for demonstrating the mode of estimating the position of an arterial part in order to calculate the distance between arterial parts. It is a figure which shows the detection range at the time of detecting a radial artery.

以下では、本開示の実施形態の添付図面を参照して、本開示の実施形態の技術的解決策について明確に説明する。明らかに、説明する実施形態は、本開示の実施形態の全てではなく、ほんの一部である。創造的な努力なしに本開示の実施形態に基づいて当業者によって取得され得る他の全ての実施形態は、本開示の実施形態の保護範囲内に含まれるものとすることに留意されたい。 In the following, the technical solutions of the embodiments of the present disclosure will be clearly described with reference to the accompanying drawings of the embodiments of the present disclosure. Obviously, the embodiments described are only a part of, but not all, of the embodiments of the present disclosure. It should be noted that all other embodiments that can be obtained by one of ordinary skill in the art based on the embodiments of the present disclosure without creative effort shall be within the scope of protection of the embodiments of the present disclosure.

実施形態の装置１０は、非接触方式で画像化される被検体のビデオ画像から被検体の生物学的情報（すなわち、心臓血管系に関する生理学的パラメータ）を取得するように構成される。
［装置１０の構成］ The device 10 of the embodiment is configured to obtain biological information (ie, physiological parameters relating to the cardiovascular system) of the subject from a video image of the subject imaged in a non-contact manner.
[Configuration of device 10]

図１は、一実施形態による装置１０のハードウェア構成の一例を示す概略図である。 FIG. 1 is a schematic view showing an example of the hardware configuration of the device 10 according to the embodiment.

図１に示されるように、装置１０は、処理ユニット１１、ＲＯＭ（読取り専用メモリ）１２、ＲＡＭ（ランダムアクセスメモリ）１３、表示装置１４、入力装置１５、及びＴｏＦ（飛行時間）カメラ２０を含む。ＴｏＦカメラ２０は、近赤外線（ＮＩＲ）センサ３０、ＮＩＲ光源３１、及び深度センサ４０を含む。この実施形態では、装置１０は、例えば、携帯電話、携帯情報端末（ＰＤＡ）、パーソナルコンピュータ、ロボット、測定機器、又はゲーム機等である。 As shown in FIG. 1, the device 10 includes a processing unit 11, a ROM (read-only memory) 12, a RAM (random access memory) 13, a display device 14, an input device 15, and a ToF (time-of-flight) camera 20. .. The ToF camera 20 includes a near infrared (NIR) sensor 30, a NIR light source 31, and a depth sensor 40. In this embodiment, the device 10 is, for example, a mobile phone, a personal digital assistant (PDA), a personal computer, a robot, a measuring device, a game machine, or the like.

処理ユニット１１は、バスによって個々の構成要素に接続されて、制御信号及びデータを転送する。処理ユニット１１は、装置１０の一般的な動作を実施するための様々な種類のプログラムを実行し、算術演算及びタイミング制御等を実行する。前述したプログラムは、ＤＶＤ（デジタル多用途ディスク）−ＲＯＭ（読取り専用メモリ）、又はＣＤ（コンパクトディスク）−ＲＯＭ（読取り専用メモリ）等のコンピュータ可読記憶媒体に記憶させることができる。 The processing unit 11 is connected to individual components by a bus to transfer control signals and data. The processing unit 11 executes various kinds of programs for carrying out general operations of the device 10, and executes arithmetic operations, timing control, and the like. The above-mentioned program can be stored in a computer-readable storage medium such as a DVD (digital versatile disc) -ROM (read-only memory) or a CD (compact disc) -ROM (read-only memory).

装置１０全体の動作を制御するために必要なオペレーティングシステム用のプログラム及び様々な種類のデータは、ＲＯＭ１２に格納される。 Programs for the operating system and various types of data necessary for controlling the operation of the entire device 10 are stored in the ROM 12.

ＲＡＭ１３には、データ及びプログラムを一時的に記憶するための記憶領域が設けられており、ここに、装置１０の動作に必要なプログラム及びデータ並びに他のデータが記憶される。 The RAM 13 is provided with a storage area for temporarily storing data and programs, in which the programs and data necessary for the operation of the device 10 and other data are stored.

表示装置１４は、例えば、液晶ディスプレイ又はＥＬ（エレクトロルミネセンス）ディスプレイ等のフラットパネルディスプレイであり得る。入力装置１５は、操作ボタン、タッチパネル、入力ペン、及びセンサ等を含む。 The display device 14 can be, for example, a flat panel display such as a liquid crystal display or an EL (electroluminescence) display. The input device 15 includes an operation button, a touch panel, an input pen, a sensor, and the like.

ＴｏＦカメラ２０に取り付けられたＮＩＲカメラ３０は、ＮＩＲ光源３１からの光が被検体で反射された光を受け取る。こうして、後述する近赤外（ＮＩＲ）画像（第１の画像）ｄ１０を取得することができる。 The NIR camera 30 attached to the ToF camera 20 receives the light reflected by the subject from the light from the NIR light source 31. In this way, the near infrared (NIR) image (first image) d10, which will be described later, can be acquired.

深度センサ４０はまた、ＮＩＲ光源３１からの光が被検体で反射された光を受け取る。こうして、ＴｏＦカメラ２０では、被検体までの距離が、ＮＩＲカメラ３０からの照射光が深度センサ４０に戻る時間及び光速（３×１０８ｍ／ｓ）から画素毎に計算される。従って、被検体までの距離を表す深度情報を画素毎に含む、後述する深度画像（第２の画像）ｄ２０が取得される。ＮＩＲ画像ｄ１０と深度画像ｄ２０とは両方とも、非接触方式で取得するように設計され構造化される。 The depth sensor 40 also receives the light reflected by the subject from the light from the NIR light source 31. Thus, the ToF camera 20, the distance to the subject, the irradiation light from the NIR camera 30 is calculated from the time returns to the depth sensor 40 and the speed of light (3 × 10 8 m / s ) for each pixel. Therefore, a depth image (second image) d20, which will be described later, is acquired, which includes depth information indicating the distance to the subject for each pixel. Both the NIR image d10 and the depth image d20 are designed and structured to be acquired in a non-contact manner.

図２Ａは、ＮＩＲ光源３１からの光が被検体１００で反射される場合の態様を示す。図２Ａに示される例では、ＮＩＲ光源３１からの光が被検体１００に放射され、次に、ＮＩＲカメラ３０と深度センサ４０とは両方とも、被検体１００で反射された光を受け取る。従って、ＮＩＲカメラ３０及び深度センサ４０は、ＮＩＲ画像ｄ１０及び深度画像ｄ２０をそれぞれ取得する。 FIG. 2A shows an aspect in which the light from the NIR light source 31 is reflected by the subject 100. In the example shown in FIG. 2A, the light from the NIR light source 31 is radiated to the subject 100, and then both the NIR camera 30 and the depth sensor 40 receive the light reflected by the subject 100. Therefore, the NIR camera 30 and the depth sensor 40 acquire the NIR image d10 and the depth image d20, respectively.

図２Ｂは、ＮＩＲ画像ｄ１０及び深度画像ｄ２０を取得するための態様を示す。図２Ｂに示される例では、ＮＩＲ画像ｄ１０及び深度画像ｄ２０は、同じ撮像点Ｐから取得した同じ画角の画像である。この場合に、撮像点Ｐは、ＮＩＲカメラ３０と深度センサ４０との両方の撮像点である。 FIG. 2B shows an aspect for acquiring the NIR image d10 and the depth image d20. In the example shown in FIG. 2B, the NIR image d10 and the depth image d20 are images having the same angle of view acquired from the same imaging point P. In this case, the imaging point P is the imaging point of both the NIR camera 30 and the depth sensor 40.

画像ｄ１０、ｄ２０は、フレームフォーマットで同時に処理ユニット１１に定期的に出力される。このような同期タイミングには、例えば、ＮＩＲ光源３１から被検体１００にパルス光が放射されるタイミングが含まれる。ＮＩＲ画像ｄ１０及び深度画像ｄ２０の取得により、後述する脈波伝播速度（ＰＷＶ）を取得するプロセスを実行することが可能になる。 The images d10 and d20 are periodically output to the processing unit 11 at the same time in the frame format. Such a synchronization timing includes, for example, a timing in which pulsed light is emitted from the NIR light source 31 to the subject 100. By acquiring the NIR image d10 and the depth image d20, it becomes possible to execute the process of acquiring the pulse wave velocity (PWV) described later.

なお、ＴｏＦカメラ２０は、装置１０に外部から取り付けることができることに留意されたい。さらに、装置１０は、ハードディスク又は光ディスク等の外部記憶装置を用いて、ＲＯＭ１２、又はＲＡＭ１３等と同じ機能を実現するように構成することができる。 It should be noted that the ToF camera 20 can be attached to the device 10 from the outside. Further, the device 10 can be configured to realize the same function as the ROM 12 or the RAM 13 by using an external storage device such as a hard disk or an optical disk.

ＴｏＦカメラ２０は、ＮＩＲ画像ｄ１０及び深度画像ｄ２０を取得できる限り、他の代替スキームによって実施してもよい。例えば、ステレオカメラで深度を測定する場合に、ステレオカメラに含まれるカメラがＮＩＲ画像を取得することがある。深度カメラで深度を測定する場合に、深度カメラで取得した画像をＮＩＲ画像ｄ１０として扱うことができる。
［指標情報計算プロセスの概要］ The ToF camera 20 may be implemented by other alternative schemes as long as the NIR image d10 and the depth image d20 can be acquired. For example, when measuring the depth with a stereo camera, a camera included in the stereo camera may acquire an NIR image. When the depth is measured by the depth camera, the image acquired by the depth camera can be treated as the NIR image d10.
[Overview of index information calculation process]

次に、装置１０によって実施される、血流に関連する指標を示す情報としてＰＷＶを計算するプロセスの概要を、図１〜図６Ｂを参照して説明する。図３は、照射光の波長とその透過深度との間の関係を説明するための図である。図４は、測定の概要を説明するための図である。図５は、２つの関心領域（ＲＯＩ）の間の距離を説明するための図である。図６Ａは、画素サイズを説明するための図である。図６Ｂは、図６Ａに示される１つの画素ｇのサイズを例示する図である。 Next, an outline of the process of calculating PWV as information indicating an index related to blood flow, which is carried out by the device 10, will be described with reference to FIGS. 1 to 6B. FIG. 3 is a diagram for explaining the relationship between the wavelength of the irradiation light and its transmission depth. FIG. 4 is a diagram for explaining an outline of measurement. FIG. 5 is a diagram for explaining the distance between two regions of interest (ROI). FIG. 6A is a diagram for explaining the pixel size. FIG. 6B is a diagram illustrating the size of one pixel g shown in FIG. 6A.

図３に示されるように、体表面から深部までの光の透過距離は、光の波長ｄ１〜ｄ８（約８００ｎｍ〜４００ｎｍの波長）によって変化する。波長が長くなると、光の深部までの透過距離が長くなる。ｄ１〜ｄ８は、赤紫色の波長から紫色の波長までの波長範囲を示す。 As shown in FIG. 3, the transmission distance of light from the body surface to the deep part varies depending on the wavelengths of light d1 to d8 (wavelengths of about 800 nm to 400 nm). The longer the wavelength, the longer the transmission distance to the deep part of the light. d1 to d8 indicate a wavelength range from a reddish-purple wavelength to a purple wavelength.

この装置１０は、波長ｄ１〜ｄ８のうち、深部までの最長距離を有する波長ｄ１の赤紫色の波長範囲を有する近赤外光を使用する。波長ｄ１は、例えば、約７５０ｎｍ〜８００ｎｍであるが、検出される人体の深部を含むＮＩＲ画像ｄ１０を取得することができれば、この波長に限定されない。 This device 10 uses near-infrared light having a reddish-purple wavelength range of wavelength d1 having the longest distance to the deep part among wavelengths d1 to d8. The wavelength d1 is, for example, about 750 nm to 800 nm, but is not limited to this wavelength as long as the NIR image d10 including the detected deep part of the human body can be acquired.

図３に示される例では、波長ｄ１の近赤外光は、検出ターゲットとして、人体の深部（皮膚から３．０ｍｍ以上の深さ）に位置する動脈に透過的に到達する。その結果、装置１０は、動脈で反射された赤外光を用いて、動脈を流れる血流（動脈流）の変化に応じた輝度を表す、後述するＮＩＲ画像ｄ１０を生成し、ＮＩＲ画像ｄ１０の評価結果に基づいて、被検者又は被検体１００の動脈流に関する指標情報ｄ４０を計算する。 In the example shown in FIG. 3, the near-infrared light having the wavelength d1 reaches the artery located in the deep part of the human body (3.0 mm or more from the skin) as a detection target. As a result, the device 10 uses the infrared light reflected by the artery to generate an NIR image d10, which will be described later, which represents the brightness according to the change in the blood flow (arterial flow) flowing through the artery, and the NIR image d10. Based on the evaluation result, the index information d40 regarding the arterial flow of the subject or the subject 100 is calculated.

波長ｄ１は、動脈での反射を可能にするだけでよく、赤紫色を表す前述した近赤外光の波長以外の波長が利用可能であり得る。 The wavelength d1 only needs to allow reflection in the arteries, and wavelengths other than the wavelengths of the above-mentioned near-infrared light representing magenta may be available.

実施形態の装置１０によって処理される指標情報ｄ４０は、例えば、脈波伝播速度（ＰＷＶ）であるが、これに限定されない。ＰＷＶは、動脈硬化の進行率の指標として使用される。例えば、ＰＷＶの値が大きいほど、心筋梗塞が発生する可能性が高くなる。 The index information d40 processed by the apparatus 10 of the embodiment is, for example,, but is not limited to, the pulse wave velocity (PWV). PWV is used as an indicator of the progression of arteriosclerosis. For example, the higher the PWV value, the higher the likelihood of myocardial infarction.

実施形態の装置１０が、上記のようにその波長の光透過深度が大きい近赤外光を使用しているため、毛細血管内の血流からではなく、動脈血管内の血流の変化に応じて被検者の指標情報ｄ４０を取得することができる。この指標情報ｄ４０は、動脈血管を流れる血流の変化の反映に相当し、指標情報ｄ４０の信頼性を高める。 Since the device 10 of the embodiment uses near-infrared light having a large light transmission depth at that wavelength as described above, it responds to changes in blood flow in arterial blood vessels, not from blood flow in capillaries. The index information d40 of the subject can be acquired. This index information d40 corresponds to the reflection of changes in the blood flow flowing through the arterial blood vessels, and enhances the reliability of the index information d40.

図４に示されるように、この装置１０は、同じ視点で撮像したＮＩＲ画像ｄ１０及び深度画像ｄ２０（図２Ｂ）を、ＴｏＦカメラ２０から処理ユニット１１に同期して出力する。 As shown in FIG. 4, the apparatus 10 outputs the NIR image d10 and the depth image d20 (FIG. 2B) captured from the same viewpoint in synchronization with the processing unit 11 from the ToF camera 20.

図４では、例えば、ＴｏＦカメラ２０の深度センサ４０は、ＮＩＲ光源３１から放射され、後に被検体１００で反射された光を取得し、それにより、被検体１００の深度画像ｄ２０を提供する。さらに、ＮＩＲカメラ３０が、深度センサ４０による深度画像ｄ２０の取得期間中に被検体１００を撮像するので、被検体１００のＮＩＲ画像ｄ１０が取得される。例えば、図４に示されるように、ＮＩＲ画像ｄ１０は、被検者の頸部領域を含む画像であり、この画像（フレーム画像）は、ＴｏＦカメラ２０から順番に取得される。 In FIG. 4, for example, the depth sensor 40 of the ToF camera 20 acquires the light emitted from the NIR light source 31 and later reflected by the subject 100, thereby providing the depth image d20 of the subject 100. Further, since the NIR camera 30 images the subject 100 during the acquisition period of the depth image d20 by the depth sensor 40, the NIR image d10 of the subject 100 is acquired. For example, as shown in FIG. 4, the NIR image d10 is an image including the neck region of the subject, and this image (frame image) is sequentially acquired from the ToF camera 20.

ＮＩＲ画像ｄ１０を取得した処理ユニット１１は、検出ターゲットとして、処理されるＮＩＲ画像ｄ１０に含まれる被検者の頸部に位置する動脈部分に２つの関心領域（ＲＯＩ）１及び２を設定する。図４の例では、ＲＯＩ １は心臓から遠い動脈部分を含み、ＲＯＩ ２は心臓に近い動脈部分を含む。この場合に、動脈部分は、例えば、橈骨動脈の一部である。従って、頸動脈内の動脈流の変化を反映した指標情報が取得され、指標情報の可用性が向上する。 The processing unit 11 that has acquired the NIR image d10 sets two regions of interest (ROI) 1 and 2 in the arterial portion located in the neck of the subject included in the processed NIR image d10 as a detection target. In the example of FIG. 4, ROI 1 includes an arterial portion far from the heart and ROI 2 includes an arterial portion close to the heart. In this case, the arterial portion is, for example, part of the radial artery. Therefore, the index information reflecting the change in the arterial flow in the carotid artery is acquired, and the availability of the index information is improved.

ＲＯＩ １及び２を設定する１つの方法は、それら（心臓から遠い動脈部分と心臓に近い動脈部分と）の間の予め設定した間隔でＲＯＩ １及び２を設定することができるが、これに限定されないことに留意されたい。例えば、動脈部分の形状又は位置を装置１０において事前に登録することができる。こうして、処理ユニット１１は、動脈部分を特定した後に、登録された情報からＲＯＩ １及び２を設定することができる。 One way to set ROIs 1 and 2 is to set ROIs 1 and 2 at preset intervals between them (the arterial part far from the heart and the arterial part close to the heart), but is limited to this. Please note that it will not be done. For example, the shape or position of the arterial portion can be pre-registered in the device 10. In this way, the processing unit 11 can set ROIs 1 and 2 from the registered information after identifying the arterial portion.

さらに、処理ユニット１１は、ＮＩＲ画像ｄ１０に含まれる２つのＲＯＩ １及び２内の動脈部分を流れる動脈流に応じて変化する時系列信号ｆ（ｔ）及びｇ（ｔ）を検出する。この場合に、時系列信号ｆ（ｔ）及びｇ（ｔ）は、フォトプレチスモグラフィ（ＰＰＧ）をＮＩＲ画像ｄ１０から取得するように抽出される。時系列信号ｆ（ｔ）及びｇ（ｔ）において、横方向は時間ｔを表し、縦方向は対応するＲＯＩ内の全ての画素の輝度の平均値を表す。 Further, the processing unit 11 detects time-series signals f (t) and g (t) that change according to the arterial flow flowing through the arterial portion in the two ROIs 1 and 2 included in the NIR image d10. In this case, the time series signals f (t) and g (t) are extracted so as to acquire photoplethysmography (PPG) from the NIR image d10. In the time series signals f (t) and g (t), the horizontal direction represents the time t, and the vertical direction represents the average value of the brightness of all the pixels in the corresponding ROI.

前述した時系列信号ｆ（ｔ）及びｇ（ｔ）は、Ｎ×アップサンプリング（例えば、Ｎ＝８）を受け得る。この場合に、時系列信号ｆ（ｔ）及びｇ（ｔ）の値を表すサンプル数が増大する。こうして、時系列信号ｆ（ｔ）及びｇ（ｔ）の値をより正確に与えることができる。 The time series signals f (t) and g (t) described above can receive N × upsampling (eg, N = 8). In this case, the number of samples representing the values of the time series signals f (t) and g (t) increases. In this way, the values of the time series signals f (t) and g (t) can be given more accurately.

相互相関関数１１１は、２つの時系列信号の畳み込みを計算するための関数である。２つの時系列信号の相関度を示すコヒーレンスは、時系列信号の位相を変化させることによって計算される。次に、時系列信号の位相偏差と時系列信号の周期性の類似性とを結果から評価する。２つの同一の時系列信号が相互相関関数１１１に入力されると、次に相互相関関数は自己相関関数と同等になり、最大値を示す。この実施形態では、処理ユニット１１は、相互相関関数１１１の値が、位相遅延（位相オフセット）ｄ３０として最大値を示すときの時系列信号ｇ（ｔ）の位相遅延のサンプル数を示す「ｍ」の値を次のステージに出力する。 The cross-correlation function 111 is a function for calculating the convolution of two time series signals. Coherence, which indicates the degree of correlation between two time-series signals, is calculated by changing the phase of the time-series signals. Next, the phase deviation of the time-series signal and the similarity of the periodicity of the time-series signal are evaluated from the results. When two identical time series signals are input to the cross-correlation function 111, the cross-correlation function then becomes equivalent to the autocorrelation function and shows the maximum value. In this embodiment, the processing unit 11 indicates the number of samples of the phase delay of the time series signal g (t) when the value of the cross-correlation function 111 shows the maximum value as the phase delay (phase offset) d30. Outputs the value of to the next stage.

相互相関関数１１１は、例えば、以下の式（１）で表すことができる。 The cross-correlation function 111 can be expressed by, for example, the following equation (1).

Figure 2021528169
Figure 2021528169

式（１）において、ｎは、時系列信号ｆ（ｔ）及びｇ（ｔ）の長さ（例えば、２サイクル）を表し、ｍは、時系列信号ｇ（ｔ）の位相遅延のサンプル数を表す。 In the formula (1), n represents the length of the time series signals f (t) and g (t) (for example, 2 cycles), and m represents the number of samples of the phase delay of the time series signals g (t). show.

さらに、図４では、処理ユニット１１は、計算プロセス１１２を介して、深度画像ｄ２０から２つのＲＯＩ １と２との間の距離を取得する。図５では、例えば、ＲＯＩ １の中心Ｆ０とＲＯＩ ２の中心Ｇ０との間の距離Ｌは、２つのＲＯＩ １と２との間の距離として設定される。ＲＯＩ １及び２は、ＮＩＲ画像ｄ１０に示されているものと同じである。 Further, in FIG. 4, the processing unit 11 acquires the distance between the two ROIs 1 and 2 from the depth image d20 via the calculation process 112. In FIG. 5, for example, the distance L between the center F 0 of ROI 1 and the center G 0 of ROI 2 is set as the distance between the two ROIs 1 and 2. ROIs 1 and 2 are the same as those shown in the NIR image d10.

距離Ｌは、図５に例示された値とは異なる値に設定され得る。例えば、２つのＲＯＩ １と２との間の最大距離又は最小距離、或いは２つのＲＯＩ １と２の間の予め設定された画素数の距離を距離Ｌとして使用できる。 The distance L can be set to a value different from the value illustrated in FIG. For example, the maximum or minimum distance between the two ROIs 1 and 2, or the distance of a preset number of pixels between the two ROIs 1 and 2, can be used as the distance L.

この実施形態では、２つのＲＯＩ １と２との間の距離Ｌは、検出ターゲットとしての動脈部分同士の間の距離として設定される。 In this embodiment, the distance L between the two ROIs 1 and 2 is set as the distance between the arterial portions as detection targets.

図４では、視野（ＦＯＶ）及び解像度が、処理ユニット１１の設定ユニット１１３に設定される。さらに、処理ユニット１１は、深度画像ｄ２０の各画素のスケールを、取得プロセス１１４を介して取得する。深度センサ４０の撮像点Ｐからの水平視野がｈ０で垂直視野がｖ０の深度画像（幅６００画素、高さ３６０画素の画像）ｄ２０が、図６Ａに示されるように取得された場合に、例えば、画素（図６Ａに示される「ｇ」）あたりのサイズ（Ｌｈ、Ｌｖ）（図６Ｂ）は、次の式（２）で表される。 In FIG. 4, the field of view (FOV) and resolution are set in the setting unit 113 of the processing unit 11. Further, the processing unit 11 acquires the scale of each pixel of the depth image d20 via the acquisition process 114. When a depth image (an image having a width of 600 pixels and a height of 360 pixels) d20 having a horizontal field of view of h 0 and a vertical field of view of v 0 from the imaging point P of the depth sensor 40 is acquired as shown in FIG. 6A. For example, the size (Lh, Lv) per pixel (“g” shown in FIG. 6A) (FIG. 6B) is represented by the following equation (2).

Ｌｈ＝２・ｄ・ｔａｎ（ｈ／２）／６００
Ｌｖ＝２・ｄ・ｔａｎ（ｖ／２）／３６０ （２） Lh = 2 ・ d ・ tan (h / 2) / 600
Lv = 2 ・ d ・ tan (v / 2) / 360 (2)

式（２）において、ｄは、撮像点Ｐから深度画像ｄ２０までの距離を表す。対応するＲＯＩまでの平均距離（ＲＯＩ内の全ての画素の間の平均距離）が、実施形態の装置１０における距離ｄの一例として使用されるが、後述するように、距離は異なる値をとることができる。式（２）は、画素あたりのサイズの例を示しているに過ぎず、変更される可能性があることを理解されたい。サイズの値Ｌｈ及びＬｖは、解像度の値に応じて表示され得る。 In the formula (2), d represents the distance from the imaging point P to the depth image d20. The average distance to the corresponding ROI (the average distance between all the pixels in the ROI) is used as an example of the distance d in the apparatus 10 of the embodiment, but the distances take different values, as will be described later. Can be done. It should be understood that equation (2) only shows an example of the size per pixel and is subject to change. The size values Lh and Lv may be displayed depending on the resolution value.

処理ユニット１１は、式（２）に示される画素サイズ（Ｌｈ、Ｌｖ）から、ＲＯＩ １と２との間の距離Ｌ（図５）の値を取得する。例えば、１０個の画素の垂直方向の距離Ｌが示される場合に、「Ｌ」の値はＬｖ×１０で与えられる。 The processing unit 11 acquires the value of the distance L (FIG. 5) between ROIs 1 and 2 from the pixel sizes (Lh, Lv) represented by the equation (2). For example, when the vertical distance L of 10 pixels is shown, the value of "L" is given by Lv × 10.

さらに、図４では、処理ユニット１１は、被検体の動脈流に関連する指標情報ｄ４０としてＰＷＶを計算して出力する。指標情報ｄ４０としてのＰＷＶは、例えば、以下の式（３）により取得される。 Further, in FIG. 4, the processing unit 11 calculates and outputs the PWV as the index information d40 related to the arterial flow of the subject. The PWV as the index information d40 is acquired by, for example, the following equation (3).

ＰＷＶ＝Ｌ／Ｄ （３） PWV = L / D (3)

式（３）において、Ｌは、ＲＯＩ １と２との間の距離（図５）を表し、Ｄは、前述した位相遅延ｄ３０の時間を示す。この場合に、ｄはｍ／（ｒ×Ｎ）によって与えられ、ここで、ｍは、位相遅延ｄ３０によって示される時系列信号ｇ（ｔ）の位相遅延のサンプル数を表し、ｒは、ＮＩＲカメラ３０のフレームレートを表し、Ｎは、アップサンプリング数を表す。 In formula (3), L represents the distance between ROIs 1 and 2 (FIG. 5), and D represents the time of the phase delay d30 described above. In this case, d is given by m / (r × N), where m represents the number of samples of the phase delay of the time series signal g (t) indicated by the phase delay d30, where r is the NIR camera. It represents a frame rate of 30, where N represents the number of upsamplings.

上で説明したように、実施形態の装置１０は、ＮＩＲ画像ｄ１０及び深度画像ｄ２０から指標情報ｄ４０を取得する。
［装置１０の機能構成］ As described above, the apparatus 10 of the embodiment acquires the index information d40 from the NIR image d10 and the depth image d20.
[Functional configuration of device 10]

図７は、図１に示されるハードウェア構成で実現された装置１０の機能構成の一例を示す図である。次に、図７を参照して装置１０の機能構成を説明する。図７に示されるように、装置１０は、第１の取得ユニット１０１、検出ユニット１０２、シフト量計算ユニット１０３、第２の取得ユニット１０４、計算ユニット１０５、指標情報計算ユニット１０６、及び出力ユニット１０７を含む。 FIG. 7 is a diagram showing an example of the functional configuration of the device 10 realized by the hardware configuration shown in FIG. Next, the functional configuration of the device 10 will be described with reference to FIG. 7. As shown in FIG. 7, the apparatus 10 includes a first acquisition unit 101, a detection unit 102, a shift amount calculation unit 103, a second acquisition unit 104, a calculation unit 105, an index information calculation unit 106, and an output unit 107. including.

これらの構成要素は、図１に示される処理ユニット１１によって実装され、以下のように構成される。 These components are implemented by the processing unit 11 shown in FIG. 1 and are configured as follows.

第１の取得ユニット１０１は、非接触方式で被検体の動脈部分を画像化することによって取得したＮＩＲ画像ｄ１０を取得する。 The first acquisition unit 101 acquires the NIR image d10 acquired by imaging the arterial portion of the subject in a non-contact manner.

検出ユニット１０２は、ＮＩＲ画像ｄ１０に基づいて、動脈部分の複数の位置に対応する個々の脈波（図４の時系列信号ｆ（ｔ）及びｇ（ｔ））を検出する。 The detection unit 102 detects individual pulse waves (time-series signals f (t) and g (t) in FIG. 4) corresponding to a plurality of positions of the arterial portion based on the NIR image d10.

シフト量計算ユニット１０３は、検出ユニット１０２によって検出した個々の脈波同士の間のシフト量（図４の位相遅延ｄ３０）を計算する。 The shift amount calculation unit 103 calculates the shift amount (phase delay d30 in FIG. 4) between the individual pulse waves detected by the detection unit 102.

第２の取得ユニット１０４は、動脈部分の深度情報を含む深度画像ｄ２０を取得する。 The second acquisition unit 104 acquires the depth image d20 including the depth information of the arterial portion.

計算ユニット１０５は、深度画像ｄ２０に含まれる深度情報に基づいて、シフト量計算ユニット１０３によって計算されたシフト量に関連する動脈部分同士の間の距離（図５のＲＯＩ １と２の間の距離Ｌ）を計算する。 The calculation unit 105 is a distance between arterial portions related to the shift amount calculated by the shift amount calculation unit 103 based on the depth information included in the depth image d20 (distance between ROIs 1 and 2 in FIG. 5). L) is calculated.

指標情報計算ユニット１０６は、シフト量を用いて、生物学的情報として、被検体の動脈流に関する指標情報（ＰＷＶ）を計算する。さらに、指標情報計算ユニット１０６は、計算ユニット１０５により計算された動脈部分同士の間の距離及びシフト量を用いて指標情報ｄ４０を計算することができる。 The index information calculation unit 106 calculates index information (PWV) regarding the arterial flow of the subject as biological information using the shift amount. Further, the index information calculation unit 106 can calculate the index information d40 using the distance between the arterial portions and the shift amount calculated by the calculation unit 105.

出力ユニット１０７は、指標情報ｄ４０を出力する。 The output unit 107 outputs the index information d40.

図７に示される個々のユニット１０１〜１０７の構成要素は、ＡＳＩＣ（特定用途向け集積回路）又はＦＧＡ（フィールドプログラマブルゲートアレイ）等によって実現され得る。これらの構成要素は、必要に応じて、装置１０の動作の以下の説明において参照される。
［装置１０の動作］ The components of the individual units 101-107 shown in FIG. 7 can be realized by an ASIC (application specific integrated circuit), an FGA (field programmable gate array), or the like. These components are, if necessary, referred to in the following description of the operation of the device 10.
[Operation of device 10]

以下では、図１〜図８を参照して、装置１０の一般的な処理を説明する。この実施形態の処理ユニット１１は、プログラムに従って、後述する様々な処理を実行することができる。 Hereinafter, general processing of the apparatus 10 will be described with reference to FIGS. 1 to 8. The processing unit 11 of this embodiment can execute various processes described later according to the program.

図８は、指標情報ｄ４０を計算する一般的なプロセスの一例を示すフローチャートである。 FIG. 8 is a flowchart showing an example of a general process for calculating the index information d40.

図８では、被検体１００がＴｏＦカメラ２０のＮＩＲカメラ３０によって画像化されると、処理ユニット１１は、被検体１００のＮＩＲ画像ｄ１０を取得する（ステップＳ１１）。図４では、例えば、被検体の頸部の範囲を含むＮＩＲ画像ｄ１０が取得される。 In FIG. 8, when the subject 100 is imaged by the NIR camera 30 of the ToF camera 20, the processing unit 11 acquires the NIR image d10 of the subject 100 (step S11). In FIG. 4, for example, an NIR image d10 including the range of the neck of the subject is acquired.

このステップでは、処理ユニット１１は、第１の取得ユニット１０１として実施される。 In this step, the processing unit 11 is implemented as the first acquisition unit 101.

処理ユニット１１は、ＮＩＲ画像ｄ１０に基づいて、被検体の動脈部分の複数の位置に対応する個々の脈波を検出する（ステップＳ１２）。検出した脈波は、図４に例示されるように時系列信号ｆ（ｔ）及びｇ（ｔ）として示される。例えば、図４は、時間の経過に伴うＲＯＩ １に位置する動脈部分を流れる動脈流の変化が時系列信号ｆ（ｔ）によって表される例を示す。図４は、時間の経過に伴うＲＯＩ ２に位置する動脈部分を流れる動脈流の変化が時系列信号ｇ（ｔ）によって表される例も示す。ＲＯＩ １及び２は、ＮＩＲ画像ｄ１０における検出ターゲットとして動脈部分の位置に対応して設定される。 The processing unit 11 detects individual pulse waves corresponding to a plurality of positions of the arterial portion of the subject based on the NIR image d10 (step S12). The detected pulse waves are shown as time series signals f (t) and g (t) as illustrated in FIG. For example, FIG. 4 shows an example in which a change in arterial flow flowing through an arterial portion located at ROI 1 with the passage of time is represented by a time-series signal f (t). FIG. 4 also shows an example in which a change in arterial flow flowing through an arterial portion located at ROI 2 with the passage of time is represented by a time-series signal g (t). ROIs 1 and 2 are set corresponding to the position of the arterial portion as a detection target in the NIR image d10.

ステップＳ１２において、処理ユニット１１は、時系列信号ｆ（ｔ）及びｇ（ｔ）をアップサンプリングすることによって検出を行うことができる。例えば、８×アップサンプリングの場合に、時系列信号ｆ（ｔ）及びｇ（ｔ）のサンプルは、ｔ＝０〜１の間隔に亘って、ｔ＝０．１２５、０．２５、０．３７５、０．６２５、０．７５、及び０．８７５のタイミングで補間される。こうして、時系列信号ｆ（ｔ）及びｇ（ｔ）がより正確に示される。 In step S12, the processing unit 11 can perform detection by upsampling the time series signals f (t) and g (t). For example, in the case of 8 × upsampling, the samples of the time series signals f (t) and g (t) have t = 0.125, 0.25, 0.375 over the interval of t = 0 to 1. , 0.625, 0.75, and 0.875. Thus, the time series signals f (t) and g (t) are shown more accurately.

このステップでは、処理ユニット１１は、検出ユニット１０２として実施される。 In this step, the processing unit 11 is implemented as the detection unit 102.

次に、処理ユニット１１は、前述した脈波同士の間の位相遅延ｄ３０を計算する（ステップＳ１３）。図４の例では、２つの時系列信号ｆ（ｔ）及びｇ（ｔ）を参照して、処理ユニット１１は、式（１）に示される相互相関関数１１１の値が、時系列信号ｇ（ｔ）の位相をシフトすることによって最大になることを示すかどうかを判定する。相互相関関数１１１の値が最大値を示すと判定されたときに、処理ユニット１１は、時系列信号ｇ（ｔ）の位相遅延ｄ３０を計算する（例えば、「ｍ」の値は、相互相関関数１１１の値が最大値を示すときの時系列信号ｇ（ｔ）の位相遅延のサンプル数を示す）。 Next, the processing unit 11 calculates the phase delay d30 between the pulse waves described above (step S13). In the example of FIG. 4, with reference to the two time-series signals f (t) and g (t), the processing unit 11 has the value of the cross-correlation function 111 represented by the equation (1) as the time-series signal g ( It is determined whether or not it is shown to be maximized by shifting the phase of t). When it is determined that the value of the cross-correlation function 111 indicates the maximum value, the processing unit 11 calculates the phase delay d30 of the time series signal g (t) (for example, the value of "m" is the cross-correlation function. The number of samples of the phase delay of the time series signal g (t) when the value of 111 indicates the maximum value).

このステップでは、処理ユニット１１は、シフト量計算ユニット１０３として実施される。 In this step, the processing unit 11 is implemented as the shift amount calculation unit 103.

処理ユニット１１は、位相遅延ｄ３０を用いて、生物学的情報として、被検体の動脈部分の指標情報ｄ４０（図８のＰＷＶ）を計算する（ステップＳ１４）。さらに、処理ユニット１１は、指標情報ｄ４０を出力する（ステップＳ１５）。従って、指標情報ｄ４０は視覚的に提供され得る。 The processing unit 11 calculates the index information d40 (PWV of FIG. 8) of the arterial portion of the subject as biological information using the phase delay d30 (step S14). Further, the processing unit 11 outputs the index information d40 (step S15). Therefore, the index information d40 can be provided visually.

ステップＳ１４において、処理ユニット１１は、指標情報計算ユニット１０６として実施される。さらに、ステップＳ１５において、処理ユニット１１は、出力ユニット１０７として実施される。 In step S14, the processing unit 11 is implemented as the index information calculation unit 106. Further, in step S15, the processing unit 11 is implemented as an output unit 107.

ステップＳ１４において、指標情報ｄ４０としてのＰＷＶは、前述した式（３）で表されるＰＷＶ＝Ｌ／Ｄから取得される（ここで、Ｌは、ＲＯＩ １と２との間の距離であり、Ｄは、ステップＳ１３の計算による位相遅延ｄ３０に対応する時間である）。式（３）の「Ｌ」の値を取得するプロセスを図９のフローチャートに示す。 In step S14, the PWV as the index information d40 is obtained from PWV = L / D represented by the above-mentioned equation (3) (where L is the distance between ROIs 1 and 2). D is the time corresponding to the phase delay d30 calculated in step S13). The process of acquiring the value of “L” in the equation (3) is shown in the flowchart of FIG.

上述した「Ｌ」の値は、入力装置１５を介して入力することができる。この場合でも、式（３）から指標情報ｄ４０を取得することもできる。 The above-mentioned value of "L" can be input via the input device 15. Even in this case, the index information d40 can be obtained from the equation (3).

図９は、式（３）において距離Ｌを計算するプロセスの一例を示すフローチャートである。 FIG. 9 is a flowchart showing an example of the process of calculating the distance L in the equation (3).

図９では、処理ユニット１１は、ＴｏＦカメラ２０から、ＮＩＲ画像ｄ１０と同期した、ＮＩＲ画像ｄ１０と同じ視点を有する深度画像ｄ２０を取得する（ステップＳ２１）。この例では、深度画像ｄ２０は、画素毎に被検体までの距離を表す深度情報を含む。 In FIG. 9, the processing unit 11 acquires a depth image d20 having the same viewpoint as the NIR image d10, which is synchronized with the NIR image d10, from the ToF camera 20 (step S21). In this example, the depth image d20 includes depth information representing the distance to the subject for each pixel.

このステップでは、処理ユニット１１は、第２の取得ユニット１０４として実施される。 In this step, the processing unit 11 is implemented as the second acquisition unit 104.

次に、処理ユニット１１は、深度画像ｄ２０に基づいて、検出ターゲットとしての動脈部分までの距離を計算する（ステップＳ２２）。このプロセスは、後で説明する図１０のフローチャートに詳細に示される。 Next, the processing unit 11 calculates the distance to the arterial portion as the detection target based on the depth image d20 (step S22). This process is shown in detail in the flowchart of FIG. 10, which will be described later.

また、処理ユニット１１は、ステップＳ２２の計算結果から、動脈部分同士の間の距離を計算する（ステップＳ２３）。図５では、例えば、ＲＯＩ １の中心Ｆ０とＲＯＩ ２の中心Ｇ０との間の距離Ｌは、ステップＳ２３における動脈部分同士の間の距離として計算される。 Further, the processing unit 11 calculates the distance between the arterial portions from the calculation result in step S22 (step S23). In FIG. 5, for example, the distance L between the center F 0 of ROI 1 and the center G 0 of ROI 2 is calculated as the distance between the arterial portions in step S23.

ステップＳ２２及びＳ２３において、処理ユニット１１は、計算ユニット１０５として実施される。 In steps S22 and S23, the processing unit 11 is implemented as the calculation unit 105.

以下では、図１０及び図１１を参照して、ステップＳ２２の計算プロセスの例を説明する。図１０は、図９のステップＳ２２の計算プロセスを示すフローチャートである。図１１は、図１０のステップＳ２２１の分離プロセスを説明するための図である。 In the following, an example of the calculation process in step S22 will be described with reference to FIGS. 10 and 11. FIG. 10 is a flowchart showing the calculation process of step S22 of FIG. FIG. 11 is a diagram for explaining the separation process of step S221 of FIG.

図１０では、処理ユニット１１は、図９のステップＳ２１で取得した深度画像ｄ２０から前景及び背景を分離する（ステップＳ２２１）。図１１では、前景Ｇ１及び背景Ｇ２は、例えば、ターゲットとして深度画像ｄ２０に含まれる深度情報の値（撮像点Ｐからターゲットまでの距離）が閾値以上であるかどうかを判定することによって実行されるフィルタによって区別される。次に、閾値以上の値を有する画素領域が、撮像点Ｐから遠く離れた背景Ｇ３として除去される。 In FIG. 10, the processing unit 11 separates the foreground and the background from the depth image d20 acquired in step S21 of FIG. 9 (step S221). In FIG. 11, the foreground G1 and the background G2 are executed, for example, by determining whether or not the value of the depth information (distance from the imaging point P to the target) included in the depth image d20 as the target is equal to or greater than the threshold value. Distinguished by filters. Next, the pixel region having a value equal to or larger than the threshold value is removed as the background G3 far away from the imaging point P.

図１１では、エッジＧ２が、アクティブな動きの一部を表し、前景Ｇ１から排除される。エッジ検出の例には、例えば、勾配を計算する閾値処理が含まれる。 In FIG. 11, the edge G2 represents part of the active movement and is excluded from the foreground G1. Examples of edge detection include, for example, thresholding to calculate the gradient.

この実施形態では、図４に示されるＲＯＩ １及び２は、ステップＳ２２１の分離プロセスによって前景として指定される。 In this embodiment, ROIs 1 and 2 shown in FIG. 4 are designated as foreground by the separation process of step S221.

次に、図１０では、処理ユニット１１は、ターゲットとして、ＲＯＩ １及び２（図４）の深度情報によって示される距離を含むヒストグラム（画素の特徴量）を作成する（ステップＳ２２２）。次に、処理ユニット１１は、ステップＳ２２２で作成したヒストグラムに基づいて、各ＲＯＩ １及び２までの距離として、各ＲＯＩ １及び２の全画素の距離（深度情報で示される距離）の平均値を計算する（ステップＳ２２３）。この場合に、例えば、作成したヒストグラムの分布において、ターゲット画素の値が他の値と閾値以上の差がある場合に、処理ユニット１１は、その値を不適合値として排除してから、平均値を計算する。 Next, in FIG. 10, the processing unit 11 creates a histogram (pixel feature amount) including the distance indicated by the depth information of ROIs 1 and 2 (FIG. 4) as a target (step S222). Next, the processing unit 11 sets the average value of the distances (distances indicated by the depth information) of all the pixels of each ROI 1 and 2 as the distances to each ROI 1 and 2 based on the histogram created in step S222. Calculate (step S223). In this case, for example, in the created histogram distribution, when the value of the target pixel is different from other values by a threshold value or more, the processing unit 11 excludes the value as a nonconforming value and then calculates the average value. calculate.

この実施形態では、ステップＳ２２３で計算した平均値は、撮像点Ｐから各ＲＯＩの動脈部分までの距離ｄ（図６）として設定される。その結果、画素毎のサイズ（Ｌｈ、Ｌｖ）は式（２）から取得される。さらに、動脈部分同士の間の距離は、図９のステップＳ２３で計算される。すなわち、動脈部分同士の間の距離としての２つのＲＯＩ １と２との間の距離Ｌ（図５）は、式（２）から取得した画素サイズ（Ｌｈ、Ｌｖ）から計算される。図５では、例えば、１０個の画素の垂直方向の距離Ｌが示される場合に、例えば、「Ｌ」の値は、Ｌｖ×１０によって与えられる。 In this embodiment, the average value calculated in step S223 is set as the distance d (FIG. 6) from the imaging point P to the arterial portion of each ROI. As a result, the size of each pixel (Lh, Lv) is obtained from the equation (2). Further, the distance between the arterial portions is calculated in step S23 of FIG. That is, the distance L (FIG. 5) between the two ROIs 1 and 2 as the distance between the arterial portions is calculated from the pixel sizes (Lh, Lv) obtained from the equation (2). In FIG. 5, for example, when the vertical distance L of 10 pixels is shown, for example, the value of “L” is given by Lv × 10.

その結果、処理ユニット１１は、図９のステップＳ２３で計算した「Ｌ」の値を、図８のステップＳ１４の式（３）に示されるＰＷＶ＝Ｌ／Ｄに代入して、指標情報ｄ４０としてのＰＷＶの値を計算する。 As a result, the processing unit 11 substitutes the value of “L” calculated in step S23 of FIG. 9 into PWV = L / D shown in the equation (3) of step S14 of FIG. 8 to obtain the index information d40. Calculate the value of PWV.

図８のステップＳ１４において、処理ユニット１１は、予め設定したサイクル（例えば、５サイクル、１０サイクル等）の時系列信号ｆ（ｔ）及びｇ（ｔ）について、式（３）に示されるＰＷＶを計算することができる。この場合に、例えば、ＰＷＶの平均値、最大値、又は最小値を指標情報ｄ４０として使用することもできる。従って、あるタイミングで時系列信号ｆ（ｔ）及びｇ（ｔ）からＰＷＶを正しく計算できない場合であっても、前述したサイクルの時系列信号ｆ（ｔ）及びｇ（ｔ）から取得したＰＷＶの平均値等を用いて適切な指標情報ｄ４０が得られる。 In step S14 of FIG. 8, the processing unit 11 applies the PWV represented by the equation (3) with respect to the time-series signals f (t) and g (t) of preset cycles (for example, 5 cycles, 10 cycles, etc.). Can be calculated. In this case, for example, the average value, the maximum value, or the minimum value of PWV can be used as the index information d40. Therefore, even if the PWV cannot be correctly calculated from the time series signals f (t) and g (t) at a certain timing, the PWV obtained from the time series signals f (t) and g (t) of the cycle described above can be calculated. Appropriate index information d40 can be obtained by using the average value or the like.

実施形態によれば、上記のように、撮像点Ｐから各ＲＯＩ内の動脈部分までの距離は、深度画像ｄ２０、及びＲＯＩ １同士の間の実際の距離Ｌ等に基づいて取得され、検出ターゲットのｗは、この距離ｄに基づいて計算される。このようにして、直接観察できない皮膚下の動脈部分までの距離ｄは、検出ターゲットとしての動脈部分の画像に基づいて、時系列信号ｆ（ｔ）及びｇ（ｔ）を取得するときに取得される。従って、検出した脈波の時系列信号は、実際の脈波を適切に反映することができる。皮膚表面の色の変化に基づいて脈波の時系列信号を取得する関連技術によれば、皮膚表面近くの毛細血管の脈波が測定される。こうして、ＰＷＶ等の指標を正確に取得することはできない。対照的に、動脈の脈波を取得することにより血流に関する指標を正確に取得する本実施形態は、上記の方法で距離ｄを取得することにより、動脈部分を確実に特定することができる。 According to the embodiment, as described above, the distance from the imaging point P to the arterial portion in each ROI is acquired based on the depth image d20, the actual distance L between the ROIs 1, and the like, and the detection target. W is calculated based on this distance d. In this way, the distance d to the arterial portion under the skin that cannot be directly observed is acquired when the time series signals f (t) and g (t) are acquired based on the image of the arterial portion as the detection target. NS. Therefore, the detected pulse wave time-series signal can appropriately reflect the actual pulse wave. According to a related technique for acquiring a time-series signal of a pulse wave based on a change in the color of the skin surface, the pulse wave of a capillary vessel near the skin surface is measured. In this way, it is not possible to accurately obtain an index such as PWV. In contrast, in the present embodiment, which accurately acquires an index related to blood flow by acquiring an arterial pulse wave, the arterial portion can be reliably identified by acquiring the distance d by the above method.

被検体の毛細血管を流れる血流の変化を反映する情報とは異なり、指標情報ｄ４０は、動脈血管を流れる血流の変化を反映するように計算される。これにより、指標情報の信頼性を高めることができる。 Unlike the information that reflects the change in blood flow through the capillaries of the subject, the index information d40 is calculated to reflect the change in blood flow through the arterial blood vessels. As a result, the reliability of the index information can be improved.

さらに、動脈部分同士の間の距離（図５のＲＯＩ １と２との間の距離Ｌ）は、深度画像ｄ２０から取得され、こうして距離Ｌを入力する操作の必要性を排除する。これは、入力値のエラーを排除する。こうして、正しい指標情報ｄ４０を取得することができる。 Further, the distance between the arterial portions (distance L between ROIs 1 and 2 in FIG. 5) is obtained from the depth image d20, thus eliminating the need for an operation to input the distance L. This eliminates input value errors. In this way, the correct index information d40 can be acquired.

さらに、同じ視野のＮＩＲ画像ｄ１０及び深度画像ｄ２０は、互いに同期してＴｏＦカメラ２０から処理ユニット１１に出力される。こうして、処理ユニット１１は、図９のステップＳ２１〜Ｓ２３を介して、互いに同期して指標情報ｄ４０を取得することができる。 Further, the NIR image d10 and the depth image d20 having the same field of view are output from the ToF camera 20 to the processing unit 11 in synchronization with each other. In this way, the processing unit 11 can acquire the index information d40 in synchronization with each other via steps S21 to S23 of FIG.

２つのＲＯＩ １と２との間の距離Ｌ（図５）を、例として動脈部分同士の間の距離として説明しているが、距離は、必要に応じて変更され得る。例えば、図１２は、動脈部分７１が図４に示されるＲＯＩ １及び２に位置している場合に、動脈部分７１の位置が推定されて、推定の結果に従って動脈部分７１同士の間の距離を計算するという態様を例示している。図１２では、処理ユニット１１は、被検体の頸部の周りの動脈部分までの距離パターンを事前に登録し、深度画像ｄ２０に含まれる深度情報を登録した距離情報パターンと比較して、動脈部分７１の位置を推定する。次に、処理ユニット１１は、動脈部分７１の推定位置に沿った動脈部分７１の全長を距離Ｌ１として計算する。その結果、動脈部分７１同士の間のより正確な距離Ｌ１を取得でき、より正確な指標情報ｄ４０を計算することができる。例えば、動脈部分の位置を推定するプロセスとして、動脈部分の形状を事前にパターン化することができ、そのパターンから、深度画像ｄ２０に含まれる動脈部分の位置を推定することができる。 The distance L between the two ROIs 1 and 2 (FIG. 5) is described as the distance between the arterial portions by way of example, but the distance can be changed as needed. For example, FIG. 12 shows that when the arterial portion 71 is located at ROIs 1 and 2 shown in FIG. 4, the position of the arterial portion 71 is estimated and the distance between the arterial portions 71 is calculated according to the estimation result. The aspect of calculation is illustrated. In FIG. 12, the processing unit 11 registers the distance pattern to the arterial portion around the neck of the subject in advance, and compares the depth information included in the depth image d20 with the registered distance information pattern to compare the arterial portion. Estimate the position of 71. Next, the processing unit 11 calculates the total length of the arterial portion 71 along the estimated position of the arterial portion 71 as the distance L1. As a result, a more accurate distance L1 between the arterial portions 71 can be obtained, and a more accurate index information d40 can be calculated. For example, as a process of estimating the position of the arterial portion, the shape of the arterial portion can be patterned in advance, and the position of the arterial portion included in the depth image d20 can be estimated from the pattern.

検出ターゲットとしての前述した動脈部分は、図４に示される被検体１００の部分に限定されない。例えば、図１３は、被検体の腕範囲８１内の橈骨動脈が、検出ターゲットである場合を例示する。この場合でも、腕の橈骨動脈の血流の変化を反映した指標情報ｄ４０が取得される。 The above-mentioned arterial portion as a detection target is not limited to the portion of the subject 100 shown in FIG. For example, FIG. 13 illustrates a case where the radial artery within the arm range 81 of the subject is the detection target. Even in this case, the index information d40 reflecting the change in blood flow in the radial artery of the arm is acquired.

装置関連の実施形態及び方法関連の実施形態は、同じ概念に基づいているので、装置関連の実施形態によってもたらされる技術的利点も、方法関連の実施形態によってもたらされるものと同じである。特定の原理については、装置の実施形態の前述した説明を参照すべきであり、その詳細はここでは繰り返さない。 Since the device-related embodiments and the method-related embodiments are based on the same concept, the technical advantages provided by the device-related embodiments are the same as those provided by the method-related embodiments. For specific principles, the above description of the embodiments of the device should be referred to, the details of which are not repeated herein.

前述した実施形態及び本発明の特許請求の範囲内で行われる同等の修正例を実施するプロセスの全部又は一部もまた、本発明の範囲内にあることが当業者によって理解されるであろう。

It will be appreciated by those skilled in the art that all or part of the process of carrying out the embodiments described above and the equivalent modifications made within the claims of the invention are also within the scope of the invention. ..

Claims (23)

生物学的情報を取得するための方法であって、当該方法は、
非接触方式で画像化された被検体の動脈部分の第１の画像を取得するステップと、
該第１の画像に基づいて、前記動脈部分の複数の位置に対応する個々の脈波を検出するステップと、
前記検出した個々の脈波同士の間のシフト量を計算するステップと、
該シフト量を用いて、前記生物学的情報として、前記被検体の動脈流に関する指標情報を計算するステップと、を含む、
方法。 It is a method for obtaining biological information, and the method is
The step of acquiring the first image of the arterial part of the subject imaged by the non-contact method, and
A step of detecting individual pulse waves corresponding to a plurality of positions of the arterial portion based on the first image, and
The step of calculating the amount of shift between the detected individual pulse waves, and
The shift amount is used to include, as the biological information, a step of calculating index information regarding the arterial flow of the subject.
Method. 前記動脈部分の深度情報を含む第２の画像を取得するステップと、
該第２の画像に含まれる前記深度情報に基づいて、前記シフト量に関連する動脈部分同士の間の距離を計算するステップと、をさらに含み、
前記指標情報を計算するステップは、前記計算した動脈部分同士の間の距離及び前記シフト量を用いて前記指標情報を計算する、請求項１に記載の方法。 The step of acquiring a second image including the depth information of the arterial portion, and
A step of calculating the distance between the arterial portions related to the shift amount based on the depth information included in the second image is further included.
The method according to claim 1, wherein the step of calculating the index information is to calculate the index information using the calculated distance between the arterial portions and the shift amount. 前記動脈部分同士の間の前記距離を計算するステップは、
前記第２の画像から前景及び背景を分離するステップと、
前記前景の前記画像内の画素の特徴量に基づいて、検出ターゲットとしての前記動脈部分までの距離を計算するステップと、
該計算した距離を用いて前記動脈部分同士の間の前記距離を計算するステップと、を含む、請求項２に記載の方法。 The step of calculating the distance between the arterial portions is
A step of separating the foreground and the background from the second image,
A step of calculating the distance to the arterial portion as a detection target based on the feature amount of the pixel in the image of the foreground, and
The method of claim 2, comprising calculating the distance between the arterial portions using the calculated distance. 前記動脈部分同士の間の前記距離を計算するステップは、
前記深度情報に基づいて、前記動脈部分が位置する位置を推定するステップと、
該推定の結果を用いて、前記動脈部分同士の間の前記距離を計算するステップと、を含む、請求項２又は３に記載の方法。 The step of calculating the distance between the arterial portions is
A step of estimating the position where the arterial portion is located based on the depth information, and
The method of claim 2 or 3, comprising the step of calculating the distance between said arterial portions using the result of the estimation. 前記脈波を検出するステップは、前記第１の画像に含まれる前記動脈部分が位置する前記位置に対応する時系列信号をアップサンプリングすることによって前記脈波を検出するステップを含む、請求項１乃至４のいずれか一項に記載の方法。 1. The step of detecting the pulse wave includes a step of detecting the pulse wave by upsampling a time-series signal corresponding to the position where the arterial portion included in the first image is located. The method according to any one of 4 to 4. 前記指標情報を出力するステップをさらに含む、請求項１乃至５のいずれか一項に記載の方法。 The method according to any one of claims 1 to 5, further comprising a step of outputting the index information. 前記指標情報は脈波伝播速度（ＰＷＶ）である、請求項１乃至６のいずれか一項に記載の方法。 The method according to any one of claims 1 to 6, wherein the index information is a pulse wave velocity (PWV). 前記動脈部分は頸動脈の一部である、請求項１乃至７のいずれか一項に記載の方法。 The method according to any one of claims 1 to 7, wherein the arterial portion is a part of a carotid artery. 前記第１の画像は、近赤外線カメラを用いて取得される、請求項１乃至８のいずれか一項に記載の方法。 The method according to any one of claims 1 to 8, wherein the first image is acquired using a near-infrared camera. 前記第２の画像は、深度センサを用いて取得される、請求項２乃至４のいずれか一項に記載の方法。 The method according to any one of claims 2 to 4, wherein the second image is acquired by using a depth sensor. 生物学的情報を取得するための装置であって、当該装置は、
非接触方式で画像化された被検体の動脈部分の第１の画像を取得するための第１の取得ユニットと、
前記第１の画像に基づいて、前記動脈部分の複数の位置に対応する個々の脈波を検出するための検出ユニットと、
前記検出した個々の脈波同士の間のシフト量を計算するためのシフト量計算ユニットと、
前記シフト量を用いて、前記生物学的情報として、前記被検体の動脈流に関する指標情報を計算するための指標情報計算ユニットと、を含む、
装置。 It is a device for acquiring biological information, and the device is
A first acquisition unit for acquiring a first image of the arterial portion of the subject imaged in a non-contact manner, and
Based on the first image, a detection unit for detecting individual pulse waves corresponding to a plurality of positions of the arterial portion, and
A shift amount calculation unit for calculating the shift amount between the detected individual pulse waves, and
Using the shift amount, the biological information includes an index information calculation unit for calculating index information regarding the arterial flow of the subject.
Device. 前記動脈部分の深度情報を含む第２の画像を取得するための第２の取得ユニットと、
前記第２の画像に含まれる前記深度情報に基づいて、前記シフト量に関連する動脈部分同士の間の距離を計算するための計算ユニットと、をさらに含み、
前記指標情報計算ユニットは、前記計算した動脈部分同士の間の距離及び前記シフト量を用いて前記指標情報を計算するように構成される、請求項１１に記載の装置。 A second acquisition unit for acquiring a second image including depth information of the arterial portion, and
A calculation unit for calculating the distance between arterial portions related to the shift amount, based on the depth information included in the second image, is further included.
The device according to claim 11, wherein the index information calculation unit is configured to calculate the index information using the calculated distance between the arterial portions and the shift amount. 前記計算ユニットは、前記第２の画像から前景及び背景を分離し、前記前景の前記画像内の画素の特徴量に基づいて、検出ターゲットとしての前記動脈部分までの距離を計算し、該計算した距離を用いて前記動脈部分同士の間の前記距離を計算するように構成される、請求項１２に記載の装置。 The calculation unit separates the foreground and the background from the second image, calculates the distance to the arterial portion as a detection target based on the feature amount of the pixel in the image of the foreground, and calculates the distance. The device of claim 12, wherein the distance is configured to calculate the distance between the arterial portions using the distance. 前記計算ユニットは、前記深度情報に基づいて、検出ターゲットとしての前記動脈部分が位置する位置を推定し、該推定の結果を用いて、前記動脈部分同士の間の前記距離を計算するように構成される、請求項１２又は１３に記載の装置。 The calculation unit is configured to estimate the position where the arterial portion as a detection target is located based on the depth information, and calculate the distance between the arterial portions using the estimation result. The device according to claim 12 or 13. 前記検出ユニットは、前記第１の画像に含まれる前記動脈部分が位置する前記位置に対応する時系列信号をアップサンプリングすることによって前記脈波を検出するように構成される、請求項１１乃至１４のいずれか一項に記載の装置。 The detection unit is configured to detect the pulse wave by upsampling a time-series signal corresponding to the position where the arterial portion included in the first image is located. The device according to any one of the above. 前記指標情報を出力するための出力ユニットをさらに含む、請求項１１乃至１５のいずれか一項に記載の装置。 The device according to any one of claims 11 to 15, further comprising an output unit for outputting the index information. 前記指標情報は脈波伝播速度（ＰＷＶ）である、請求項１１乃至１６のいずれか一項に記載の装置。 The device according to any one of claims 11 to 16, wherein the index information is a pulse wave velocity (PWV). 前記動脈部分は頸動脈の一部である、請求項１１乃至１７のいずれか一項に記載の装置。 The device according to any one of claims 11 to 17, wherein the arterial portion is a part of a carotid artery. 前記第１の画像は、近赤外線カメラを用いて取得される、請求項１１乃至１８のいずれか一項に記載の装置。 The device according to any one of claims 11 to 18, wherein the first image is acquired by using a near-infrared camera. 前記第２の画像は、深度センサを用いて取得される、請求項１２から１４のいずれか一項に記載の装置。 The device according to any one of claims 12 to 14, wherein the second image is acquired using a depth sensor. 装置であって、当該装置は、
請求項１１乃至２０のいずれか一項に記載の装置と、
前記第１の画像を画像化するように構成された近赤外線カメラと、
前記指標情報を取得し、前記複数の動脈部分の深度情報を取得するために使用される深度センサと、を含む、
装置。 It is a device, and the device is
The device according to any one of claims 11 to 20 and
A near-infrared camera configured to image the first image,
Includes a depth sensor used to acquire the index information and acquire depth information of the plurality of arterial portions.
Device. コンピュータが、請求項１乃至１０のいずれか一項に記載の方法を実行するのを可能にするためのプログラムを記録する、コンピュータ可読記憶媒体。 A computer-readable storage medium for recording a program that allows a computer to perform the method according to any one of claims 1-10. コンピュータが、請求項１乃至１０のいずれか一項に記載の方法を実行するのを可能にするためのコンピュータプログラム。 A computer program that allows a computer to perform the method according to any one of claims 1-10.
JP2020571471A 2018-06-22 2018-06-22 Equipment and methods for obtaining biological information Pending JP2021528169A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/092313 WO2019241982A1 (en) 2018-06-22 2018-06-22 Device and method for acquiring biological information

Publications (1)

Publication Number Publication Date
JP2021528169A true JP2021528169A (en) 2021-10-21

Family

ID=68982598

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020571471A Pending JP2021528169A (en) 2018-06-22 2018-06-22 Equipment and methods for obtaining biological information

Country Status (3)

Country Link
JP (1) JP2021528169A (en)
CN (1) CN112292072A (en)
WO (1) WO2019241982A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3180987U (en) * 2012-11-02 2013-01-17 中原大學 Imaging pulse wave velocity measuring device
JP2016202892A (en) * 2015-04-27 2016-12-08 タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ Method and system for noise cleaning of photoplethysmogram signals
JP2016539697A (en) * 2013-11-27 2016-12-22 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． Device and method for acquiring pulse travel time and / or pulse wave velocity information of a subject
WO2017036696A1 (en) * 2015-09-04 2017-03-09 Koninklijke Philips N.V. System, method and processor for monitoring a vital sign of a subject
WO2017060342A1 (en) * 2015-10-06 2017-04-13 Koninklijke Philips N.V. Device, system and method for obtaining vital sign related information of a living being

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100496388C (en) * 2005-08-31 2009-06-10 深圳迈瑞生物医疗电子股份有限公司 Device for calculating blood pressure by using signal transformation
US10478076B2 (en) * 2009-12-28 2019-11-19 Gambro Lundia Ab Monitoring a property of the cardiovascular system of a subject
JP5948836B2 (en) * 2011-12-09 2016-07-06 ソニー株式会社 Measuring device, measuring method, program, and recording medium
CN105050492B (en) * 2013-03-14 2019-01-08 皇家飞利浦有限公司 For determining the device and method of the vital sign of object
CN106073742A (en) * 2013-05-13 2016-11-09 天津点康科技有限公司 A kind of blood pressure measuring system and method
FI126338B (en) * 2013-05-15 2016-10-14 Pulseon Oy Portable heart rate monitor
WO2015121070A1 (en) * 2014-02-12 2015-08-20 Koninklijke Philips N.V. Device, system and method for determining vital signs of a subject based on reflected and transmitted light
US10398328B2 (en) * 2015-08-25 2019-09-03 Koninklijke Philips N.V. Device and system for monitoring of pulse-related information of a subject
JP6854612B2 (en) * 2015-10-06 2021-04-07 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． Biological information measuring device, biometric information measuring method, and computer-readable recording medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3180987U (en) * 2012-11-02 2013-01-17 中原大學 Imaging pulse wave velocity measuring device
JP2016539697A (en) * 2013-11-27 2016-12-22 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． Device and method for acquiring pulse travel time and / or pulse wave velocity information of a subject
JP2016202892A (en) * 2015-04-27 2016-12-08 タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ Method and system for noise cleaning of photoplethysmogram signals
WO2017036696A1 (en) * 2015-09-04 2017-03-09 Koninklijke Philips N.V. System, method and processor for monitoring a vital sign of a subject
WO2017060342A1 (en) * 2015-10-06 2017-04-13 Koninklijke Philips N.V. Device, system and method for obtaining vital sign related information of a living being

Also Published As

Publication number Publication date
CN112292072A (en) 2021-01-29
WO2019241982A1 (en) 2019-12-26

Similar Documents

Publication Publication Date Title
JP6125648B2 (en) Biological information acquisition apparatus and biological information acquisition method
JP6121177B2 (en) Deriving arterial pulse elapsed time from source video images
US10240912B2 (en) Determining a propagation velocity for a surface wave
US9674447B2 (en) Apparatus and method for adaptive computer-aided diagnosis
CN109389021A (en) Physiological signal measuring system and method for measuring physiological signal
CA2741146A1 (en) Automatic analysis of cardiac m-mode views
JP2018528807A5 (en)
US20110044522A1 (en) System and method for segmenting m-mode ultrasound images showing blood vessel wall motion over time
Zahnd et al. Simultaneous extraction of carotid artery intima-media interfaces in ultrasound images: assessment of wall thickness temporal variation during the cardiac cycle
EP2910192A1 (en) Ultrasonic measurement apparatus and ultrasonic measurement method
JP6429272B2 (en) Object number measuring device, program, and object number measuring method
WO2020048928A1 (en) Functional measurements in echocardiography
US9339257B2 (en) Measuring apparatus and method thereof
US20210082109A1 (en) Heart rate measurement for fitness exercises using video
Lee et al. Real-time realizable mobile imaging photoplethysmography
US11238584B2 (en) Device, method, and program for visualizing network of blood vessels of skin
JP2017056107A5 (en)
JP2021528169A (en) Equipment and methods for obtaining biological information
CN104434078A (en) System and method for determining video-based pulse transit time with time-series signals
JP2016508049A5 (en)
US20150148662A1 (en) Technique for Determining Blood Velocity in a Blood Vessel
Nahas et al. Deep-learning-assisted and GPU-accelerated vector Doppler imaging with aliasing-resistant velocity estimation
JP6379899B2 (en) Information processing apparatus, pulse wave measurement program, and pulse wave measurement method
FR2741521A1 (en) METHOD OF AUTOMATICALLY ACQUIRING DOPPLER ANGLE, IN ULTRASOUND, AND ARRANGEMENT FOR IMPLEMENTING THE METHOD
Zhang et al. Evaluation of segmentation algorithms for vessel wall detection in echo particle image velocimetry

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220322

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220517