JP2022157247A - Blood pressure measuring device and blood pressure measuring program - Google Patents

Blood pressure measuring device and blood pressure measuring program Download PDF

Info

Publication number
JP2022157247A
JP2022157247A JP2021061364A JP2021061364A JP2022157247A JP 2022157247 A JP2022157247 A JP 2022157247A JP 2021061364 A JP2021061364 A JP 2021061364A JP 2021061364 A JP2021061364 A JP 2021061364A JP 2022157247 A JP2022157247 A JP 2022157247A
Authority
JP
Japan
Prior art keywords
pulse wave
blood pressure
delay time
acquiring
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021061364A
Other languages
Japanese (ja)
Inventor
マイケル ジョーンズ
Michael Jones
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Corp filed Critical Aisin Corp
Priority to JP2021061364A priority Critical patent/JP2022157247A/en
Publication of JP2022157247A publication Critical patent/JP2022157247A/en
Pending legal-status Critical Current

Links

Images

Abstract

To avoid blood pressure measurement with a low degree of accuracy.SOLUTION: A blood pressure measuring device 1 measures a first pulse wave at a first position of an object person 15 and a second pulse wave at a second position whose distance from the heart is larger than that of the first position, obtains a delay time L of the second pulse wave with respect to the first pulse wave on a side close to the heart, and measures a blood pressure using relationships between the delay time and the blood pressure. It is determined whether the delay time of the second pulse wave with respect to the first pulse wave is larger than a reference value Th, and if it is larger than the reference value Th=0.08 sec., the blood pressure is measured from the delay time. If the delay time is the reference value Th or less, accurate blood pressure measurement is not possible so that reporting is executed, for prompting change in the measurement position (the second position) of the second pulse wave.SELECTED DRAWING: Figure 8

Description

本発明は、血圧測定装置、及び血圧測定プログラムに関し、2箇所で測定した脈波から血圧を測定する技術に関する。 TECHNICAL FIELD The present invention relates to a blood pressure measurement device and a blood pressure measurement program, and to a technique for measuring blood pressure from pulse waves measured at two points.

近年の健康志向の高まりに伴って簡易に血圧を測定する需要が高まっており、被験者の2箇所で測定した脈波の遅れ時間と血圧との相関関係を利用して血圧を測定する技術が提案されている。
例えば特許文献1では、非接触にて相対血圧を測定する技術として、携帯端末の表面と裏面の2箇所に配置されたカメラで対象者の顔と指を動画撮影し、撮影した映像の色を構成するRGB成分のうち、R成分とG成分(脈波に伴って変化する)を用いて顔と指の脈波の波形を検出する。そして、心臓から体各部への脈波の伝搬時間と血圧との相関関係を利用して検出した顔の脈波のピークに対する指の脈波のピークの遅延量によって血圧を測定している。
Demand for easy blood pressure measurement is increasing along with the recent rise in health consciousness, and a technology has been proposed that measures blood pressure using the correlation between pulse wave delay time and blood pressure measured at two locations on a subject. It is
For example, in Patent Document 1, as a technique for measuring relative blood pressure without contact, a moving image of a subject's face and fingers is captured by cameras placed on the front and back of a mobile terminal, and the color of the captured image is changed. Pulse wave waveforms of the face and fingers are detected using the R component and the G component (which change with the pulse wave) among the constituent RGB components. The blood pressure is measured by the amount of delay of the peak of the finger pulse wave with respect to the peak of the pulse wave of the face, which is detected by utilizing the correlation between the propagation time of the pulse wave from the heart to each part of the body and the blood pressure.

しかし、本願発明者による実験により、2箇所で測定した脈波から血圧を測定する場合、測定位置によっては、常に精度高く測定できるわけではなく、精度が低い場合があることが判明した。特に、顔と指先で測定した脈波を使用した場合に測定した血圧の精度が低くなる場合があった。
また、特許文献1記載の技術の場合、脈波のピークは、外光の変化などによる外乱が大きい領域であり、外乱の影響で精度の高い測定が困難であるという問題があった。
However, experiments by the inventors of the present application have revealed that when blood pressure is measured from pulse waves measured at two locations, it is not always possible to measure with high accuracy, depending on the measurement location, and there are cases where the accuracy is low. In particular, when using pulse waves measured at the face and fingertips, the accuracy of the measured blood pressure may be low.
Further, in the case of the technique described in Patent Document 1, the peak of the pulse wave is a region where disturbance due to changes in external light or the like is large, and there is a problem that highly accurate measurement is difficult due to the influence of the disturbance.

特開2014-198198号公報JP 2014-198198 A

そこで、本発明は、精度が低い血圧測定を回避することを第1の目的とする。
また外乱の影響の少ない血圧測定を行うことを第2の目的とする。
Therefore, the first object of the present invention is to avoid blood pressure measurement with low accuracy.
A second object is to measure blood pressure with little influence of disturbance.

(1)請求項1に記載の発明では、対象者の第1位置で測定した第1脈波m1を取得する第1脈波取得手段と、前記対象者の心臓からの距離が、前記第1位置よりも離れた第2位置で測定した第2脈波m2を取得する第2脈波取得手段と、前記第1脈波m1に対する前記第2脈波m2の遅れ時間Lを取得する遅れ時間取得手段と、前記取得した遅れ時間Lが基準値Th以下である場合、その旨を報知する報知手段と、前記遅れ時間Lが前記基準値Thより大きい場合、前記遅れ時間取得手段で取得した遅れ時間Lを用いて前記対象者の収縮期血圧SBPと拡張期血圧DBPを取得する血圧取得手段と、前記取得した収縮期血圧SBPと拡張期血圧DBPを出力する出力手段と、を具備したことを特徴とする血圧測定装置を提供することで、前記第1の目的を達成する。
(2)請求項2に記載の発明では、前記遅れ時間取得手段は、前記第1脈波m1と前記第2脈波m2における、最低値V、最高値T、最大傾きD、及び、相関遅れCのいずれかの脈波要素を用いて遅れ時間Lを取得する、ことを特徴とする請求項1に記載の血圧測定装置を提供する。
(3)請求項3に記載の発明では、前記遅れ時間取得手段は、基準値Thとの比較に用いる遅れ時間Lと、血圧を取得するために用いる遅れ時間Lを、それぞれ異なる前記脈波要素を使用して取得する、ことを特徴とする請求項2に記載の血圧測定装置を提供する。
(4)請求項4に記載の発明では、前記遅れ時間取得手段は、基準値Thとの比較に用いる遅れ時間Lを前記最低値Vを用いて取得し、血圧を取得するために用いる遅れ時間Lを前記相関遅れCを用いて取得する、ことを特徴とする請求項2に記載の血圧測定装置を提供する。
(5)請求項5に記載の発明では、前記基準値Thは0.1秒~0.06秒の範囲で選択された時間である、ことを特徴とする請求項1から請求項4のいずれか1の請求項に記載の血圧測定装置を提供する。
(6)請求項6に記載の発明では、前記基準値Thは0.08秒である、ことを特徴とする請求項1から請求項4のいずれか1の請求項に記載の血圧測定装置を提供する。
(7)請求項7に記載の発明では、前記報知手段は、前記第2脈波を取得する第2位置の変更を促す報知を、画像表示と音声の少なくとも一方により行う、ことを特徴とする請求項1から請求項6のいずれか1の請求項に記載の血圧測定装置を提供する。
(8)請求項8に記載の発明では、前記第1脈波取得手段と前記第2脈波取得手段は、前記対象者の体内を透過又は反射する光の変化量により脈波を測定する接触型のセンサを使用して脈波を取得する、ことを特徴とする請求項1から請求項7のいずれか1の請求項に記載の血圧測定装置を提供する。
(9)請求項9に記載の発明では、前記第1脈波取得手段は、対象者の第1の体表面を環境光下で撮影した第1の動画を取得し、当該第1の動画から色成分の時間変化を用いて第1の脈波を取得し、前記第2脈波取得手段は、前記対象者の第2の体表面を所定の照明光下で撮影した第2の動画を取得し、当該第2の動画から前記色成分と異なる種類の色成分の時間変化を用いて第2の脈波を取得する、ことを特徴とする請求項1から請求項7のいずれか1の請求項に記載の血圧測定装置を提供することで、前記第2の目的を達成する。
(10)請求項10に記載の発明では、前記第1脈波取得手段は、前記第1の動画からYIQ成分に含まれるQ成分を用いて第1の脈波を取得し、前記第2脈波取得手段は、前記第2の動画からRGB成分に含まれるG成分を用いて第2の脈波を取得する、ことを特徴とする請求項9に記載の血圧測定装置を提供する。
(11)請求項11に記載の発明では、対象者の第1位置で測定した第1脈波m1を取得する第1脈波取得機能と、前記対象者の心臓からの距離が、前記第1位置よりも離れた第2位置で測定した第2脈波m2を取得する第2脈波取得機能と、前記第1脈波m1に対する前記第2脈波m2の遅れ時間Lを取得する遅れ時間取得機能と、前記取得した遅れ時間Lが基準値Th以下である場合、その旨を報知する報知機能と、前記遅れ時間Lが前記基準値Thより大きい場合、前記遅れ時間取得機能で取得した遅れ時間Lを用いて前記対象者の収縮期血圧SBPと拡張期血圧DBPを取得する血圧取得機能と、前記取得した収縮期血圧SBPと拡張期血圧DBPを出力する出力機能と、をコンピュータに実現させるための血圧測定プログラムを提供する。
(1) In the invention according to claim 1, the first pulse wave acquiring means for acquiring the first pulse wave m1 measured at the first position of the subject, and the distance from the heart of the subject is the first A second pulse wave acquiring means for acquiring a second pulse wave m2 measured at a second position distant from the position, and a delay time acquiring means for acquiring a lag time L of the second pulse wave m2 with respect to the first pulse wave m1. means, reporting means for reporting when the obtained delay time L is equal to or less than a reference value Th, and delay time obtained by the delay time obtaining means when the delay time L is greater than the reference value Th. blood pressure acquiring means for acquiring the subject's systolic blood pressure SBP and diastolic blood pressure DBP using L; and output means for outputting the acquired systolic blood pressure SBP and diastolic blood pressure DBP. The first object is achieved by providing a blood pressure measuring device that
(2) In the invention according to claim 2, the delay time obtaining means obtains the lowest value V, the highest value T, the maximum slope D, and the correlation delay in the first pulse wave m1 and the second pulse wave m2. The blood pressure measuring device according to claim 1, wherein the delay time L is obtained using any pulse wave element of C.
(3) In the invention according to claim 3, the delay time obtaining means sets the delay time L used for comparison with the reference value Th and the delay time L used for obtaining the blood pressure to different pulse wave elements. The blood pressure measurement device according to claim 2, wherein the blood pressure measurement device is obtained by using
(4) In the invention according to claim 4, the delay time obtaining means obtains the delay time L used for comparison with the reference value Th using the minimum value V, and the delay time used for obtaining the blood pressure. 3. The blood pressure measuring device according to claim 2, wherein L is obtained using the correlation delay C.
(5) In the invention according to claim 5, the reference value Th is a time selected from a range of 0.1 seconds to 0.06 seconds. A blood pressure measuring device according to claim 1 is provided.
(6) In the invention according to claim 6, the reference value Th is 0.08 seconds. offer.
(7) The invention according to claim 7 is characterized in that the notification means uses at least one of image display and sound to perform notification prompting a change of the second position for acquiring the second pulse wave. A blood pressure measuring device according to any one of claims 1 to 6 is provided.
(8) In the invention according to claim 8, the first pulse wave acquiring means and the second pulse wave acquiring means are configured to measure pulse waves based on the amount of change in light transmitted or reflected inside the body of the subject. The blood pressure measuring device according to any one of claims 1 to 7 is provided, characterized in that a pulse wave is acquired using a sensor of the type.
(9) In the invention according to claim 9, the first pulse wave acquiring means acquires a first moving image obtained by photographing the first body surface of the subject under ambient light, and from the first moving image, A first pulse wave is acquired using a time change of a color component, and the second pulse wave acquiring means acquires a second moving image of a second body surface of the subject under predetermined illumination light. and obtaining a second pulse wave from the second moving image using a time change of a color component different from the color component. The second object is achieved by providing the blood pressure measuring device according to the above item.
(10) In the invention according to claim 10, the first pulse wave obtaining means obtains the first pulse wave using the Q component included in the YIQ component from the first moving image, and obtains the second pulse wave 10. The blood pressure measuring device according to claim 9, wherein the wave acquiring means acquires the second pulse wave from the second moving image using G components contained in RGB components.
(11) In the invention according to claim 11, a first pulse wave acquiring function for acquiring a first pulse wave m1 measured at a first position of the subject, and a distance from the heart of the subject to the first A second pulse wave acquisition function for acquiring a second pulse wave m2 measured at a second position distant from the position, and a delay time acquisition function for acquiring a delay time L of the second pulse wave m2 with respect to the first pulse wave m1. a notification function for notifying that when the obtained delay time L is less than or equal to a reference value Th; and a delay time obtained by the delay time obtaining function when the delay time L is greater than the reference value Th. To cause a computer to realize a blood pressure acquisition function of acquiring the subject's systolic blood pressure SBP and diastolic blood pressure DBP using L, and an output function of outputting the acquired systolic blood pressure SBP and diastolic blood pressure DBP. blood pressure measurement program.

請求項1に記載の本発明によれば、脈波の遅れ時間Lから測定位置が適切でないと判断した場合に、その旨を報知するので、精度が低い血圧測定を回避することができる。
また、請求項9に記載の本発明によれば、2つの動画において、異なる種類の色成分の時間変化を用いることにより、外乱の影響の少ない血圧測定を行うことができる。
According to the first aspect of the present invention, when it is determined that the measurement position is not appropriate from the delay time L of the pulse wave, the fact is notified, so blood pressure measurement with low accuracy can be avoided.
According to the ninth aspect of the present invention, blood pressure measurement can be performed with little influence of disturbance by using time changes of different types of color components in two moving images.

第1実施形態における血圧測定装置の構成説明図である。1 is an explanatory diagram of a configuration of a blood pressure measuring device according to a first embodiment; FIG. 第1脈波測定部と第2脈波測定部の配置位置を表した説明図である。FIG. 4 is an explanatory diagram showing the arrangement positions of a first pulse wave measuring unit and a second pulse wave measuring unit; 遅れ時間Lを測定するために使用する第1脈波と第2脈波の脈波要素を表した説明図である。FIG. 4 is an explanatory diagram showing pulse wave elements of a first pulse wave and a second pulse wave used for measuring delay time L; 5箇所の測定位置で同時に測定した脈波を表したものである。It shows pulse waves measured simultaneously at five measurement positions. 接触方式で脈波を測定した場合の、遅れ時間L、収縮期血圧SBPの相関係数、及び拡張期血圧DBPの相関係数を表したものである。FIG. 4 shows the delay time L, the correlation coefficient of the systolic blood pressure SBP, and the correlation coefficient of the diastolic blood pressure DBP when the pulse wave is measured by the contact method. 複数対象者による、同一測定位置における測定結果を表したものである。It shows the measurement results at the same measurement position by multiple subjects. 非接触方式で脈波を測定した場合の、遅れ時間L、収縮期血圧SBPの相関係数、及び拡張期血圧DBPの相関係数を表したものである。FIG. 4 shows the delay time L, the correlation coefficient of the systolic blood pressure SBP, and the correlation coefficient of the diastolic blood pressure DBP when the pulse wave is measured by the non-contact method. 血圧測定装置による血圧測定処理の処理内容を表したフローチャートである。4 is a flow chart showing details of blood pressure measurement processing by the blood pressure measurement device. 脈波の最低値Vを使用して遅れ時間Lを算出する遅れ時間算出処理のフローチャートである。FIG. 10 is a flow chart of a delay time calculation process for calculating a delay time L using a pulse wave minimum value V; FIG. 脈波の最大傾きDを使用して遅れ時間Lを算出する遅れ時間算出処理のフローチャートである。4 is a flowchart of a delay time calculation process for calculating a delay time L using a maximum pulse wave gradient D; 第2実施形態における血圧測定装置の構成説明図である。FIG. 11 is an explanatory diagram of the configuration of a blood pressure measurement device according to a second embodiment; 血圧測定装置の使用形態を説明するための図である。It is a figure for demonstrating the usage pattern of a blood-pressure measuring device. 指信号の反転を説明するための図である。FIG. 10 is a diagram for explaining inversion of a finger signal; FIG. 脈波の伝搬の遅れを説明するための図である。FIG. 4 is a diagram for explaining a delay in pulse wave propagation; 相互相関の式を表した図である。It is a figure showing the formula of cross-correlation. 相互相関の例を表した図である。FIG. 4 is a diagram showing an example of cross-correlation; 遅れのデータ点数と相互相関の関係を表した図である。FIG. 10 is a diagram showing the relationship between the number of data points of delay and cross-correlation; 脈波の補間を説明するための図である。FIG. 4 is a diagram for explaining interpolation of pulse waves; 相互相関の補間による効果を説明するための図である。FIG. 5 is a diagram for explaining the effect of cross-correlation interpolation; バンドパスフィルタの最適化を説明するための図である。FIG. 4 is a diagram for explaining optimization of a bandpass filter; 血圧測定処理を説明するためのフローチャートである。4 is a flowchart for explaining blood pressure measurement processing; 血圧測定処理を説明するためのフローチャートの続きである。It is a continuation of the flowchart for explaining the blood pressure measurement process. 動画フレーム読み込み処理を説明するためのフローチャートである。FIG. 10 is a flowchart for explaining a moving image frame reading process; FIG. パラメータ設定・初期化処理を説明するためのフローチャートである。4 is a flowchart for explaining parameter setting/initialization processing; 測定領域設定処理を説明するためのフローチャートと説明図である。FIG. 10 is a flowchart and an explanatory diagram for explaining measurement area setting processing; 顔信号取得処理を説明するためのフローチャートである。4 is a flowchart for explaining face signal acquisition processing; 顔信号スペクトル計算処理を説明するためのフローチャートである。4 is a flowchart for explaining face signal spectrum calculation processing; 顔脈拍数検出処理を説明するためのフローチャートである。4 is a flowchart for explaining face pulse rate detection processing; 顔信号強度評価処理を説明するためのフローチャートと説明図である。FIG. 10 is a flowchart and an explanatory diagram for explaining face signal strength evaluation processing; 指信号取得処理を説明するためのフローチャートと説明図である。4A and 4B are a flowchart and an explanatory diagram for explaining finger signal acquisition processing; 顔指信号前処理を説明するためのフローチャートである。4 is a flow chart for explaining facial finger signal preprocessing; 血圧測定処理を説明するためのフローチャートである。4 is a flowchart for explaining blood pressure measurement processing; 動画撮影処理を説明するためのフローチャートである。4 is a flowchart for explaining moving image shooting processing; 血圧測定装置の性能を評価した図である。It is the figure which evaluated the performance of the blood-pressure measuring device.

(1)第1実施形態の概要
第1実施形態の血圧測定装置1は、対象者15の第1位置における第1脈波と、心臓からの距離が第1位置よりも大きい第2位置における第2脈波を測定し、心臓に近い側の第1脈波に対する第2脈波の遅れ時間Lを求め、この遅れ時間と血圧との相関関係を利用して血圧を測定する。
本実施形態は、第1脈波に対する第2脈波の遅れ時間が基準値Thよりも大きいか否かを判断し、基準値Thよりも大きければ、遅れ時間からの血圧測定を行う。
一方、遅れ時間が基準値Th以下である場合には正確な血圧測定ができないので、第2脈波の測定位置(第2位置)の変更を促すように報知する。
(1) Outline of First Embodiment A blood pressure measuring device 1 according to the first embodiment provides a first pulse wave at a first position of the subject 15 and a second pulse wave at a second position that is farther from the heart than the first position. Two pulse waves are measured, the delay time L of the second pulse wave with respect to the first pulse wave near the heart is obtained, and the correlation between this delay time and blood pressure is used to measure the blood pressure.
This embodiment determines whether or not the delay time of the second pulse wave with respect to the first pulse wave is longer than a reference value Th, and if it is longer than the reference value Th, blood pressure is measured from the delay time.
On the other hand, if the delay time is equal to or less than the reference value Th, accurate blood pressure measurement cannot be performed.

本実施形態は、第1脈波に対する第2脈波の遅れ時間が基準値Th以下の場合には、遅れ時間と血圧との相関関係が低く、血圧測定には好ましくないとの新たな知見に基づくものである。この知見については、第1位置と第2位置を種々変更して実験を行うことで得られたもので、相関関係が得られないのは、測定位置によって脈波形状が変化してしまう場合があることが原因と考えられる。 This embodiment is based on new knowledge that when the delay time of the second pulse wave with respect to the first pulse wave is equal to or less than the reference value Th, the correlation between the delay time and the blood pressure is low, which is not preferable for blood pressure measurement. It is based on This finding was obtained by conducting experiments with various changes in the first and second positions. Something may be the cause.

そして実験により、基準値Thは0.1秒~0.06秒の範囲で選択されることが好ましく、最適値は0.08秒であることを得た。
また、両脈波から遅れ時間Lを求めるためには、第1脈波と第2脈波の同一の特徴位置等の脈波要素を使用する必要がある。使用する脈波要素としては、脈波の最低値V、最高値T、最大傾きD、及び、相関遅れCのいずれかを使用可能であること、最低値Vが最適であることも得た。
さらに、血圧の測定が可能か否かの判断(血圧測定可否判断)用の遅れ時間と、相関関係を利用した血圧測定用の遅れ時間とは、同一の脈波要素(V、T、D、C)を使用して求めてもよく、また、異なる脈波要素を使用してもよい、ということも得た。
Through experiments, it was found that the reference value Th should preferably be selected in the range of 0.1 seconds to 0.06 seconds, with an optimum value of 0.08 seconds.
Further, in order to obtain the delay time L from both pulse waves, it is necessary to use pulse wave elements such as the same characteristic positions of the first pulse wave and the second pulse wave. It was also found that any of the pulse wave minimum value V, maximum value T, maximum slope D, and correlation delay C can be used as the pulse wave element, and that the minimum value V is optimal.
Furthermore, the delay time for determining whether blood pressure can be measured (determining whether blood pressure can be measured) and the delay time for blood pressure measurement using the correlation are the same pulse wave elements (V, T, D, C) may also be used and different pulse wave components may be used.

(2)第1実施形態の詳細
図1は、本実施形態の血圧測定装置1の構成を説明するための図である。
血圧測定装置1は、CPU(Central Processing Unit)2、を備えたコンピュータシステムで構成されている。
CPU2には、制御信号やデータ信号の送受信を行うバスラインを介して、ROM(Read Only Memory)3、RAM(Random Access Memory)4、ディスプレイ5、第1脈波測定部7、第2脈波測定部8、記憶部10、通信制御部11が接続されている。
(2) Details of First Embodiment FIG. 1 is a diagram for explaining the configuration of a blood pressure measurement device 1 according to this embodiment.
The blood pressure measuring device 1 is configured by a computer system including a CPU (Central Processing Unit) 2 .
The CPU 2 includes a ROM (Read Only Memory) 3, a RAM (Random Access Memory) 4, a display 5, a first pulse wave measurement section 7, a second pulse wave A measurement unit 8, a storage unit 10, and a communication control unit 11 are connected.

CPU2は、記憶部10やROM3などに記憶されたプログラムに従って、各種の情報処理や制御を行う中央処理装置である。
CPU2は、例えば血圧測定プログラム10aに従って、第1脈波測定部7と第2脈波測定部8で測定した脈波の遅れ時間Lから脈波の測定が可能か否かを判断、当該判定に基づく測定位置変更を促す報知、及び、遅れ時間を使用した血圧を検出する。
The CPU 2 is a central processing unit that performs various types of information processing and control according to programs stored in the storage unit 10, the ROM 3, and the like.
For example, according to the blood pressure measurement program 10a, the CPU 2 determines whether or not the pulse wave can be measured from the pulse wave delay time L measured by the first pulse wave measurement unit 7 and the second pulse wave measurement unit 8. The blood pressure is detected using a notice prompting a change in the measurement position based on the time and the delay time.

ROM3は、読み取り専用メモリであって、血圧測定装置1を動作させるための基本的なプログラムやパラメータなどが記憶されている。
RAM4は、読み書きが可能なメモリであって、CPU2が動作する際のワーキングメモリを提供する。本実施形態では、取得した第1脈波や第2脈波、両脈波から求めた遅れ時間L等の、CPU2が収縮期血圧SBPと拡張期血圧DBPを決定するのに必用なデータを一時記憶する。
The ROM 3 is a read-only memory and stores basic programs and parameters for operating the blood pressure measuring device 1 .
The RAM 4 is a readable/writable memory and provides a working memory when the CPU 2 operates. In this embodiment, the CPU 2 temporarily stores data necessary for determining the systolic blood pressure SBP and the diastolic blood pressure DBP, such as the acquired first pulse wave, second pulse wave, and delay time L obtained from both pulse waves. Remember.

ディスプレイ5は、例えば、液晶パネルを用いて構成されており、各種アプリケーションプログラムを選択するためのアイコンや、これらアプリケーションが提供する各種画面を表示する。
本実施形態のディスプレイ5は、脈波の遅れ時間Lが基準値Th以下での場合に第2脈波測定部8の測定位置の変更を促す警告文を表示する報知手段として機能し、また、測定した血圧を表示することで表示手段、出力手段として機能している。
なお、本実施形態では報知手段として、ディスプレイ5に変更を促す警告文を表示するが、この警告文の表示に代えて、又は/及び、測定位置の変更を促す音声や警告音をスピーカから出力するようにしてもよい。
The display 5 is configured using, for example, a liquid crystal panel, and displays icons for selecting various application programs and various screens provided by these applications.
The display 5 of the present embodiment functions as a notification means for displaying a warning message prompting a change in the measurement position of the second pulse wave measuring unit 8 when the pulse wave delay time L is equal to or less than the reference value Th, and It functions as display means and output means by displaying the measured blood pressure.
In the present embodiment, a warning message prompting the change is displayed on the display 5 as notification means, but instead of displaying the warning message, or/and a voice or warning sound prompting the change of the measurement position is output from the speaker. You may make it

第1脈波測定部7と第2脈波測定部8は、各種周知の各種方法、例えば透過型脈波測定や反射型脈波測定等により、対象者15の第1脈波と第2脈波を測定する。
透過型脈波測定は、赤外線や赤色光を生体に照射し、体内を透過する光の変化量として脈波を測定する方法である。反射型脈波測定は、赤外線、赤色光又は緑色光を生体に照射し、受光素子を用いて生体内を反射した光の変化量として脈波を測定する方法である。
透過型脈波測定と反射型脈波測定は、いずれもセンサを体表面に接触させて脈波を測定するのに対し、さらに別の方式として、体表面を撮像した動画の色成分から脈波を測定する非接触式測定方法を使用することも可能である。
第1脈波測定部7と第2脈波測定部8は同一の測定方式が採用され、本実施形態では、外乱の影響が少ない緑色光を照射する反射型脈波センサを使用している。なお、後述する第2実施形態の血圧測定装置1では、非接触式測定方法を使用している。
The first pulse wave measuring unit 7 and the second pulse wave measuring unit 8 measure the first pulse wave and the second pulse wave of the subject 15 by various well-known methods such as transmission pulse wave measurement and reflection pulse wave measurement. Measure waves.
Transmissive pulse wave measurement is a method of irradiating a living body with infrared light or red light and measuring a pulse wave as the amount of change in the light that passes through the body. Reflective pulse wave measurement is a method in which a living body is irradiated with infrared light, red light, or green light, and a pulse wave is measured as a change in light reflected inside the living body using a light receiving element.
Both transmissive pulse wave measurement and reflective pulse wave measurement measure pulse waves by bringing a sensor into contact with the body surface. It is also possible to use non-contact measuring methods to measure the .
The first pulse wave measuring unit 7 and the second pulse wave measuring unit 8 employ the same measurement method, and in this embodiment, a reflective pulse wave sensor that emits green light that is less affected by disturbance is used. It should be noted that the blood pressure measurement device 1 of the second embodiment, which will be described later, uses a non-contact measurement method.

記憶部10は、ハードディスクやEEPROM(Electrically Erasable Programmable Read-Only Memory)などの記憶媒体を用いて構成されており、CPU2が血圧を測定するための血圧測定プログラム10aやその他のプログラム、及び、血圧測定に必用な各種データ10bを記憶している。 The storage unit 10 is configured using a storage medium such as a hard disk or EEPROM (Electrically Erasable Programmable Read-Only Memory), and stores a blood pressure measurement program 10a for the CPU 2 to measure blood pressure, other programs, and blood pressure measurement. stores various data 10b necessary for

血圧測定プログラム10aは、CPU2に血圧測定処理を行わせるプログラムである。
血圧測定装置1は、CPU2が血圧測定プログラム10aを実行することにより、血圧測定装置としての各種機能を提供することができる。
データ10bには、例えば、血圧測定に必用なデータとして、血圧測定可否判断に使用する基準値Thや、遅れ時間Lから血圧を算出するためのパラメータ等が保存されている。パラメータは、収縮期血圧SBPを算出するためのパラメータPS1、PS2、及び拡張期血圧DBPを算出するためのパラメータPD1、PD2である。
The blood pressure measurement program 10a is a program that causes the CPU 2 to perform blood pressure measurement processing.
The blood pressure measurement device 1 can provide various functions as a blood pressure measurement device by the CPU 2 executing the blood pressure measurement program 10a.
The data 10b stores, for example, a reference value Th used to determine whether blood pressure measurement is possible, a parameter for calculating blood pressure from the delay time L, and the like, as data necessary for blood pressure measurement. The parameters are parameters PS1 and PS2 for calculating the systolic blood pressure SBP, and parameters PD1 and PD2 for calculating the diastolic blood pressure DBP.

収縮期血圧SBPと拡張期血圧DBPについては、遅れ時間Lを使用して次の式(A)、(B)から算出されるが、この1次式における傾きがパラメータPS1、PD1で、切片がパラメータPS2、PD2である。
収縮期血圧SBP=PS1×遅れ時間L+PS2 … 式(A)
拡張期血圧DBP=PD1×遅れ時間L+PD2 … 式(B)
The systolic blood pressure SBP and the diastolic blood pressure DBP are calculated from the following equations (A) and (B) using the delay time L. parameters PS2 and PD2.
Systolic blood pressure SBP=PS1×delay time L+PS2 Equation (A)
Diastolic blood pressure DBP=PD1×delay time L+PD2 Equation (B)

式(A)(B)で示される1次式は、多数の遅れ時間Lと血圧(SBP、DBP)の実測値に対して、最小二乗法等の回帰分析によって予め求めた式である。
式(A)(B)は血圧測定プログラム10aにおいて定義されており、4つのパラメータはデータ10bに保存される。
なお、後述するように遅れ時間Lの算出には、いずれの脈波要素(図3の最低値V、最高値T、最大傾きD、相関遅れC)も使用可能であるが、使用する脈波要素によって上記式(A)(B)で使用するパラメータが異なる。
従って、データ10bには、使用する脈波要素に応じた4つのパラメータが保存され、遅れ時間Lの算出に最低値Vを使用する本実施形態では、次のパラメータ値がデータ10bに保存されている。
PS1=-1/0.0048、PS2=1.7391/0.0048
PD1=-1/0.0071、PD2=1.6273/0.0071
The linear equations represented by equations (A) and (B) are equations obtained in advance by regression analysis such as the least-squares method for a large number of measured values of delay times L and blood pressures (SBP, DBP).
Formulas (A) and (B) are defined in blood pressure measurement program 10a, and four parameters are stored in data 10b.
As will be described later, any pulse wave element (minimum value V, maximum value T, maximum slope D, correlation delay C in FIG. 3) can be used for calculating the delay time L. The parameters used in the above formulas (A) and (B) differ depending on the element.
Therefore, the data 10b stores four parameters according to the pulse wave element used, and in this embodiment using the lowest value V for calculating the delay time L, the following parameter values are stored in the data 10b: there is
PS1 = -1/0.0048, PS2 = 1.7391/0.0048
PD1 = -1/0.0071, PD2 = 1.6273/0.0071

通信制御部11は、無線、有線により接続する外部装置との間で各種プログラムやデータの送受信を行う。
通信制御部11は、外部装置で測定した対象者15の第1脈波、第2脈波を取得することで脈波取得手段として機能し、また、外部装置に対して測定位置の変更を報知する場合には報知手段として機能し、遅れ時間Lから測定した血圧を外部機器に送信する場合には出力手段として機能する。
The communication control unit 11 transmits and receives various programs and data to and from an external device connected wirelessly or by wire.
The communication control unit 11 functions as a pulse wave acquisition means by acquiring the first pulse wave and the second pulse wave of the subject 15 measured by the external device, and notifies the external device of the change in the measurement position. When the blood pressure is measured from the delay time L, it functions as an output means.

以上の通り構成された血圧測定装置1により、対象者15の第1脈波と第2脈波の遅れ時間から血圧を決定するが、本実施形態では遅れ時間によっては血圧測定ができないという知見に基づいている。以下、この知見を得るに至った実験について説明する。
この実験では、第1脈波測定部7を1つと、第2脈波測定部8を複数箇所(4箇所)に配置して、第1脈波を基準として、4つの第2脈波の遅れ時間等を測定した。
With the blood pressure measuring device 1 configured as described above, the blood pressure is determined from the delay time between the first pulse wave and the second pulse wave of the subject 15. However, in the present embodiment, it is known that the blood pressure cannot be measured depending on the delay time. Based on The experiments leading to this finding will be described below.
In this experiment, one first pulse wave measuring unit 7 and a plurality of second pulse wave measuring units 8 (four locations) were arranged, and four second pulse wave delays were performed with respect to the first pulse wave. Time, etc. were measured.

図2は、対象者15に取り付ける、第1脈波測定部7と第2脈波測定部8の配置位置を表したものである。
図2に示すように、対象者15の額M1に配置したのが脈波の遅れ時間Lを算出する際の基準になる第1脈波測定用の第1脈波測定部7である。そして、対象者15の前腕M4、手首M5、親指付根M6、指先M7の各位置に、第2脈波を測定する第2脈波測定部8を配置した。
FIG. 2 shows the arrangement positions of the first pulse wave measuring unit 7 and the second pulse wave measuring unit 8 attached to the subject 15. As shown in FIG.
As shown in FIG. 2, the first pulse wave measurement unit 7 for first pulse wave measurement is placed on the forehead M1 of the subject 15 as a reference for calculating the pulse wave delay time L. As shown in FIG. A second pulse wave measuring unit 8 for measuring a second pulse wave is arranged at each position of the subject 15, such as the forearm M4, the wrist M5, the base of the thumb M6, and the fingertip M7.

血圧測定装置1は、測定した第1脈波に対する第2脈波の遅れ時間Lを算出するが、この遅れ時間Lは、心臓から脈波を測定する位置までの距離の差により生じるものである。そこで、第1脈波測定部7を配置した額M1よりも心臓からの距離が離れた位置M4~M7に第2脈波測定部8を配置した。
本実施形態の血圧測定装置1では、図1で説明したように、第1脈波測定部7と第2脈波測定部8が1組である。これに対して、本実験では、対象者15における各測定位置M4~M7において同時刻に測定された脈波同士を比較し、算出した遅れ時間Lの評価をするために、複数の第2脈波測定部8を配置している。
The blood pressure measuring device 1 calculates the delay time L of the second pulse wave with respect to the measured first pulse wave. This delay time L is caused by the difference in the distance from the heart to the position where the pulse wave is measured. . Therefore, the second pulse wave measuring units 8 are arranged at positions M4 to M7 which are farther from the heart than the forehead M1 where the first pulse wave measuring units 7 are arranged.
In the blood pressure measuring device 1 of the present embodiment, as described with reference to FIG. 1, the first pulse wave measuring section 7 and the second pulse wave measuring section 8 are one set. On the other hand, in this experiment, in order to compare the pulse waves measured at the same time at each of the measurement positions M4 to M7 of the subject 15 and evaluate the calculated delay time L, a plurality of second pulse A wave measuring unit 8 is arranged.

図3は、遅れ時間Lを測定するために使用する、第1脈波と第2脈波の脈波要素(同一の特徴位置等)を表したものである。
第1脈波と第2脈波の脈波要素として、図3に示す脈波m0の特徴位置である最低値V、最高値T、最大傾きDを使用し、また、両脈波全体の遅れである相関遅れCを使用して、遅れ時間Lを算出することが可能である。
最低値Vは脈波m0における谷となる部分の値であり、最高値Tは脈波m0におけるピーク値である。
最大傾きDは、所定サンプリング周期で脈波m0の微分値(傾き)D1、D2、…を求め、その最大値である。
相関遅れCは、脈波の波形全体を用いて、遅れ時間Lを求めるものである。その詳細は第2実施形態で説明するが、一方の脈波を時間方向に順次シフトし、両脈波の相互相関が最も高いシフト量から遅れ時間Lを求めるものである。
FIG. 3 shows the pulse wave elements (same characteristic positions, etc.) of the first pulse wave and the second pulse wave used for measuring the delay time L. FIG.
As the pulse wave elements of the first pulse wave and the second pulse wave, the minimum value V, maximum value T, and maximum slope D, which are characteristic positions of the pulse wave m0 shown in FIG. 3, are used. It is possible to calculate the delay time L using the correlation delay C which is
The lowest value V is the value of the trough portion of the pulse wave m0, and the highest value T is the peak value of the pulse wave m0.
The maximum slope D is the maximum value of the differential values (slopes) D1, D2, .
Correlation delay C is to obtain delay time L using the entire waveform of the pulse wave. Although the details will be described in the second embodiment, one pulse wave is sequentially shifted in the time direction, and the delay time L is obtained from the shift amount with the highest cross-correlation between the two pulse waves.

図4は、図2で示した5箇所の測定位置(M1、M4~M7)で同時に測定した脈波m1、m4~m7を表したものである。
図4に示すように、脈波m1は第1脈波測定部7で測定した額M1の波形で、脈波m4~m7は第2脈波測定部8で測定した前腕M4、手首M5、親指付根M6、指先M7の各位置で測定した波形である。
図4において、脈波要素として最低値(谷)Vを使用し、各脈波の最低値がV1、V4~V7である。そして、心臓に最も近い位置の額M1の脈波m1の最低値V1を基準として、他の脈波m4~m7の最低値V4~V7までの時間が遅れ時間L14~L17である。
FIG. 4 shows pulse waves m1, m4 to m7 simultaneously measured at five measurement positions (M1, M4 to M7) shown in FIG.
As shown in FIG. 4, the pulse wave m1 is the waveform of the forehead M1 measured by the first pulse wave measurement unit 7, and the pulse waves m4 to m7 are the waveforms of the forearm M4, wrist M5, and thumb measured by the second pulse wave measurement unit 8. Waveforms measured at each position of root M6 and fingertip M7.
In FIG. 4, the minimum value (trough) V is used as the pulse wave element, and the minimum values of each pulse wave are V1, V4 to V7. Then, with reference to the lowest value V1 of the pulse wave m1 of the forehead M1 at the position closest to the heart, the time from the lowest values V4 to V7 of the other pulse waves m4 to m7 are delay times L14 to L17.

図4に示した各遅れ時間Lをみると、脈波の到達は心臓から離れるほど遅くなることから、額M1よりも心臓から離れている前腕M4では、脈波m1の最低値V1よりも脈波m4の最低値V4の方が遅れ時間L14だけ遅れが生じている。
一方、前腕M4よりも更に離れている手首M5の最低値V5での遅れ時間L15の方が、前腕M4の遅れ時間L14よりも大きく(L15>L14)なっている。
ところが、手首M5よりも更に離れている親指付根M6の遅れ時間L16が、手首M5の遅れ時間L15よりも小さく(L16<L15)なっている。
同様に、親指付根M6よりも更に離れている指先M7の遅れ時間L17が、親指付根M6の遅れ時間L16よりも更に小さく(L17<L16)なっている。
Looking at each delay time L shown in FIG. 4, the arrival of the pulse wave is delayed as the distance from the heart increases. The lowest value V4 of the wave m4 is delayed by the delay time L14.
On the other hand, the delay time L15 at the lowest value V5 of the wrist M5, which is further away from the forearm M4, is longer than the delay time L14 of the forearm M4 (L15>L14).
However, the delay time L16 of the base of the thumb M6, which is further away from the wrist M5, is smaller than the delay time L15 of the wrist M5 (L16<L15).
Similarly, the delay time L17 of the fingertip M7 further away from the base of the thumb M6 is smaller than the delay time L16 of the base of the thumb M6 (L17<L16).

図4における脈波m4と脈波m5については、心臓からの距離が大きくなるほど遅れ時間Lも大きくなっているため、心臓からの脈波が正確に測定されていると推定される。
しかし脈波m6と脈波m7については、距離が大きくなっているにも拘わらず遅れ時間Lが小さくなってしまっている。これは心臓からの脈波の形状が反射波(心臓に戻る脈波)等の影響を受けることで、形状が変化したためと推定される。
As for the pulse waves m4 and m5 in FIG. 4, the delay time L increases as the distance from the heart increases, so it is presumed that the pulse waves from the heart are accurately measured.
However, for the pulse waves m6 and m7, the delay time L is reduced even though the distance is increased. It is presumed that this is because the shape of the pulse wave from the heart is affected by reflected waves (pulse waves returning to the heart) and the like, and the shape changes.

そこで、別の実験として、図2で示した測定位置M1、M4~M7で測定した各脈波m1、m4~7について、遅れ時間Lと、遅れ時間Lから求めた収縮期血圧SBPと拡張期血圧DBPの相関係数について調べた。
図5は、接触方式で脈波を測定した場合の、遅れ時間L、収縮期血圧SBPの相関係数、及び拡張期血圧DBPの相関係数を表したものである。
図5(a)の遅れ時間L14~L17は、図3の脈波要素のうち最低値Vを使用して求めたものである。一方、図5(b)、(c)の相関係数を求めるために使用した遅れ時間Lは、各脈波要素の最低値V、最高値T、最大傾きD、相関遅れCの各々を使用して求めたものである。
Therefore, as another experiment, for each pulse wave m1, m4-7 measured at the measurement positions M1, M4-M7 shown in FIG. The correlation coefficient of blood pressure DBP was examined.
FIG. 5 shows the delay time L, the correlation coefficient of the systolic blood pressure SBP, and the correlation coefficient of the diastolic blood pressure DBP when the pulse wave is measured by the contact method.
The delay times L14 to L17 in FIG. 5(a) are obtained using the lowest value V among the pulse wave elements in FIG. On the other hand, the delay time L used to obtain the correlation coefficients in FIGS. It is what I asked for.

測定は額の測定位置M1を基準とし、それよりも心臓からの距離が離れた測定位置M4~M7における遅れ時間Lを使用しているため、遅れ時間と血圧とは負の相関係数となるはずである。従って、図5(b)、(c)に示すように、親指付根M6で測定した脈波m6の相関係数(以下、親指付根M6の相関係数という。以下同じ)と、指先M7の相関係数は、両血圧とも全ての脈波要素(VTDC)について正の相関係数となっているため、いずれも血圧を測定するのに不適切である。 The measurement is based on the measurement position M1 on the forehead, and the lag time L is used at the measurement positions M4 to M7 that are farther from the heart than that, so the lag time and the blood pressure have a negative correlation coefficient. It should be. Therefore, as shown in FIGS. 5(b) and (c), the correlation coefficient of the pulse wave m6 measured at the base of the thumb M6 (hereinafter referred to as the correlation coefficient of the base of the thumb M6; the same shall apply hereinafter) and the phase of the fingertip M7 Since both blood pressures have positive correlation coefficients for all pulse wave components (VTDC), both are unsuitable for measuring blood pressure.

手首M5の相関係数についてみると、収縮期血圧SBPと拡張期血圧DBPについての4つの脈波要素(VTDC)の合計8つの相関係数は、弱い相関関係(相関係数が-0.2以上-0.4未満)が認められるのが3つ存在するが、残りは正の相関係数3つ、相関係数が小さいので(0以上、-0.2未満)相関関係が認められないのが2つである。
このため、全体としてみると、手首M5で測定した脈波m5は血圧測定に適していない。
一方、前腕の測定位置M4については、8つの相関係数の全てに対して負の相関関係が認められる値となっているので、血圧測定に適しているといえる。
Regarding the correlation coefficient of the wrist M5, a total of eight correlation coefficients of four pulse wave components (VTDC) for systolic blood pressure SBP and diastolic blood pressure DBP show a weak correlation (correlation coefficient is -0.2 -0.4 or more) are recognized, but the remaining three have positive correlation coefficients, and since the correlation coefficients are small (0 or more, less than -0.2), no correlation is recognized. are two.
Therefore, as a whole, the pulse wave m5 measured at the wrist M5 is not suitable for blood pressure measurement.
On the other hand, the measurement position M4 on the forearm is suitable for blood pressure measurement because negative correlations are recognized with respect to all eight correlation coefficients.

図5に示した例では、親指付根M6や指先M7で測定した脈波は血圧測定には適していなかった。この例では、同一の対象者15を対象として、複数の測定位置(M1、M4~M7)で脈波を測定した場合の結果である。
そこで、複数人を対象として、同一測定位置(図5で不適切とされた額M1と指先M7)に対する適不適が確定しているのか否かについて確認をした。
In the example shown in FIG. 5, the pulse waves measured at the base of thumb M6 and fingertip M7 were not suitable for blood pressure measurement. In this example, the same subject 15 is targeted, and the results are obtained when the pulse wave is measured at a plurality of measurement positions (M1, M4 to M7).
Therefore, it was confirmed whether suitability for the same measurement position (the forehead M1 and the fingertip M7, which were regarded as inappropriate in FIG. 5), was determined for a plurality of persons.

図6は、複数対象者による、同一測定位置(額M1と指先M7)における測定結果を表したものである。図6(a)~(c)では、いずれも脈波要素の最低値Vを使用して求めた遅れ時間Lと、遅れ時間Lから求めた両血圧(SBP、DBP)の相関係数を表している。
図6に示すように、同一の測定位置(額M1と指先M7)が常に適切/不適切な位置として確定しているわけではなく、測定を行う対象者15により、収縮期血圧SBPと拡張期血圧DBPの相関係数が正で不適切な場合、負の相関係数であるが絶対値が小さすぎる場合、負の相関係数でその絶対値が大きく相関関係が認められる場合がある。
FIG. 6 shows measurement results at the same measurement position (forehead M1 and fingertip M7) by a plurality of subjects. 6(a) to (c) show the delay time L obtained using the lowest value V of the pulse wave element and the correlation coefficient between both blood pressures (SBP, DBP) obtained from the delay time L. ing.
As shown in FIG. 6, the same measurement positions (forehead M1 and fingertips M7) are not always determined as appropriate/inappropriate positions, and the subject 15 who performs the measurement varies the systolic blood pressure SBP and the diastolic blood pressure SBP. When the correlation coefficient of the blood pressure DBP is positive and inappropriate, when the absolute value of the negative correlation coefficient is too small, and the absolute value of the negative correlation coefficient is large, a correlation may be recognized.

以上の各実験については、図1の血圧測定装置1に示した接触式の第1脈波測定部7と第2脈波測定部8を使用している。
そこで、非接触で対象者15の脈波測定をした場合についても同様に実験を行った。非接触による脈波測定の詳細については第2実施形態で詳細に説明する。
図7は、非接触方式で脈波を測定した場合の、遅れ時間L、収縮期血圧SBPの相関係数、及び拡張期血圧DBPの相関係数を表したものである。
図7(a)では、額M1、前腕M4、手首M5(図2参照)、及び手平M6′の脈波m1、m4、m5、m6′を測定し、脈波要素の最低値Vを使用して脈波m1を基準とする脈波m4、m5、m6′の遅れ時間L14、L15、L16′を表している。
一方、図7(b)、(c)では、脈波要素の最低値V、最高値T、最大傾きD(図3参照)を使用して算出した遅れ時間Lから求めた血圧(SBP、DBP)の相関係数を表している。
図7に示されるように、非接触方式で測定した脈波を使用して算出した遅れ時間L、及び血圧の相関係数については、図5の接触方式で測定した場合と同様な傾向にある。
For each experiment described above, the contact-type first pulse wave measuring unit 7 and second pulse wave measuring unit 8 shown in the blood pressure measuring device 1 of FIG. 1 are used.
Therefore, a similar experiment was conducted for the case where the pulse wave of the subject 15 was measured without contact. Details of non-contact pulse wave measurement will be described in detail in the second embodiment.
FIG. 7 shows the delay time L, the correlation coefficient of the systolic blood pressure SBP, and the correlation coefficient of the diastolic blood pressure DBP when the pulse wave is measured by the non-contact method.
In FIG. 7(a), the pulse waves m1, m4, m5, and m6' of the forehead M1, forearm M4, wrist M5 (see FIG. 2), and palm M6' were measured, and the lowest value V of the pulse wave element was used. and delay times L14, L15 and L16' of pulse waves m4, m5 and m6' with reference to pulse wave m1.
On the other hand, in FIGS. 7B and 7C, blood pressure (SBP, DBP ) represents the correlation coefficient.
As shown in FIG. 7, the delay time L calculated using the pulse wave measured by the non-contact method and the blood pressure correlation coefficient have the same tendency as when measured by the contact method in FIG. .

以上の図5~図7で説明した内容で、更に多くの実験を行った結果、次の結論が得られた。
(a)対象者15の2箇所で測定した脈波mの遅れ時間Lが、基準値Thよりも大きい場合の脈波mを使用した場合に精度良く血圧を測定することができる。
すなわち、遅れ時間Lが基準値Thよりも大きいか否かにより、血圧の測定が可能か否かの判断(血圧測定可否判断)を行うことができる。
(b)基準値Thは0.1秒~0.06秒の範囲で選択されることが好ましく、最適値は0.08秒である。
基準値Thを0.1秒~0.06秒の範囲で選択することで、測定位置についての判断を行わずに測定していた従来に比べて、より精度が高い収縮期血圧SBP、拡張期血圧DBPを測定することが可能になる。
(c)2箇所の脈波mの遅れ時間Lを算出する脈波要素としては、脈波の最低値V、最高値T、最大傾きD、及び、相関遅れCのいずれかを使用することが可能である。
(d)上記(c)の脈波要素(VTDC)のいずれを使用して算出した遅れ時間Lでも、上記(a)の血圧測定可否判断を行うことができる。
(e)血圧測定可否判断をする場合の遅れ時間Lの算出は、上記(c)の脈波要素(VTDC)のいずれも使用可能であるが、脈波の最低値Vの使用が最適である。
脈波の最低値Vが最適なのは、最低値Vが血流量の最小値に対応するため、反射波(心臓に戻る脈波)の影響を最も受けやすいと考えられるためである。
従って、脈波の最低値Vで算出した遅れ時間Lを使用することで、血圧測定可否判断の精度をより高くすることができる。
(f)収縮期血圧SBP、拡張期血圧DBPを求める際に使用する遅れ時間Lの算出は、上記(c)の脈波要素(VTDC)の何れを使用することも使用可能である。
(g)上記(a)~(f)については、脈波の検出方式が接触式、非接触式に共通している。
The following conclusions were obtained as a result of conducting more experiments based on the contents described in FIGS. 5 to 7 above.
(a) Blood pressure can be measured with high accuracy when the pulse wave m measured at two points on the subject 15 has a delay time L greater than the reference value Th.
That is, it is possible to determine whether or not blood pressure measurement is possible (blood pressure measurement determination) depending on whether or not the delay time L is greater than the reference value Th.
(b) The reference value Th is preferably selected in the range of 0.1 seconds to 0.06 seconds, and the optimum value is 0.08 seconds.
By selecting the reference value Th in the range of 0.1 seconds to 0.06 seconds, the systolic blood pressure SBP, diastolic blood pressure SBP, and diastolic blood pressure are more accurate than the conventional measurement without judging the measurement position. It becomes possible to measure the blood pressure DBP.
(c) As the pulse wave element for calculating the delay time L of the pulse wave m at two locations, any of the minimum value V, maximum value T, maximum slope D, and correlation delay C of the pulse wave can be used. It is possible.
(d) The blood pressure measurement propriety determination of (a) above can be performed with the delay time L calculated using any of the pulse wave elements (VTDC) of (c) above.
(e) The calculation of the delay time L when determining whether blood pressure measurement is possible can use any of the pulse wave elements (VTDC) in (c) above, but the use of the lowest value V of the pulse wave is optimal. .
The reason why the lowest value V of the pulse wave is optimal is that since the lowest value V corresponds to the minimum value of blood flow, it is considered to be most susceptible to reflected waves (pulse waves returning to the heart).
Therefore, by using the delay time L calculated from the minimum value V of the pulse wave, it is possible to further improve the accuracy of the blood pressure measurement propriety determination.
(f) The calculation of the delay time L used when obtaining the systolic blood pressure SBP and the diastolic blood pressure DBP can use any of the pulse wave elements (VTDC) in (c) above.
(g) Regarding the above (a) to (f), the pulse wave detection method is common to the contact type and the non-contact type.

上記結論に基づき、基準値Th=0.08秒とした場合の血圧測定可否判断の結果について図6に表している。
図6(a)に点線で示すように基準値Thを0.08秒に設定した場合、全16人の対象者15のうち、黒丸で示した6人の遅れ時間Lが基準値Th=0.08以上であるため、現状の測定位置での血圧測定の対象となる。
一方、黒の四角で示した10人は遅れ時間Lが基準値Th未満であるため、第2脈波m2の測定位置の変更を求める警告(報知)の対象となる。
この報知対象となる10人の相関係数(図6(b)(c))を確認すると、8人が収縮期血圧SBPと拡張期血圧DBPの少なくとも一方が相関係数が正の値となっているため、血圧を正しく測定できない脈波であり、報知が正しいと評価できる。すなわち、遅れ時間Lと血圧との負の相関関係が得られない脈波を使用した誤った血圧測定を行ってしまうことはなかった。
Based on the above conclusion, FIG. 6 shows the result of blood pressure measurement propriety determination when the reference value Th=0.08 seconds.
When the reference value Th is set to 0.08 seconds as indicated by the dotted line in FIG. Since it is 0.08 or more, it is subject to blood pressure measurement at the current measurement position.
On the other hand, the 10 persons indicated by the black squares have the delay time L less than the reference value Th, so they are subject to a warning (notification) requesting a change in the measurement position of the second pulse wave m2.
When the correlation coefficients (FIGS. 6(b) and (c)) of the 10 subjects to be notified are confirmed, at least one of the systolic blood pressure SBP and the diastolic blood pressure DBP has a positive correlation coefficient for 8 people. Therefore, it is a pulse wave that cannot measure blood pressure correctly, and it can be evaluated that the information is correct. That is, erroneous blood pressure measurement using a pulse wave in which a negative correlation between the delay time L and blood pressure cannot be obtained has not been performed.

一方、失敗と記載した2人については、遅れ時間Lが基準値Th未満であるため報知の対象となっているが、相関係数がいずれも-0.2以下で正しく測定できる脈波であり、報知の判断は誤りである。
しかし、誤判断ではあるが、現状位置での脈波では測定を行わずに測定位置の変更を指示するものであり、誤った血圧値を出力してしまうことはない。
On the other hand, for the two patients who described failure, the delay time L was less than the reference value Th, so they were subject to notification. , the notification judgment is wrong.
However, although it is an erroneous judgment, the pulse wave at the current position is not measured, and the change of the measurement position is instructed, and an erroneous blood pressure value is not output.

次に、以上の実験結果をもとに図1で説明した第1実施形態の血圧測定装置1による血圧測定処理について説明する。
図8は、血圧測定装置1による血圧測定処理の処理内容を表したフローチャートである。
CPU2は、血圧測定プログラム10aに従い、第1脈波測定部7が測定した対象者15の第1脈波m1を取得し、RAM4に保存する(ステップ705)。
またCPU2は、第2脈波測定部8が第1脈波m1と同時に測定した対象者15の第2脈波m2を取得しRAM4に保存する(ステップ715)。
なお、第1脈波m1と第2脈波mは、第1脈波測定部7と第2脈波測定部8から継続的に測定され入力されるので、CPU2は継続的にRAM4に保存している。
Next, the blood pressure measurement process by the blood pressure measurement device 1 of the first embodiment described with reference to FIG. 1 will be described based on the above experimental results.
FIG. 8 is a flowchart showing the details of the blood pressure measurement process by the blood pressure measurement device 1. As shown in FIG.
According to the blood pressure measurement program 10a, the CPU 2 acquires the first pulse wave m1 of the subject 15 measured by the first pulse wave measurement unit 7, and stores it in the RAM 4 (step 705).
The CPU 2 also acquires the second pulse wave m2 of the subject 15, which is measured simultaneously with the first pulse wave m1 by the second pulse wave measuring unit 8, and stores it in the RAM 4 (step 715).
Since the first pulse wave m1 and the second pulse wave m are continuously measured and input from the first pulse wave measuring section 7 and the second pulse wave measuring section 8, the CPU 2 continuously stores them in the RAM 4. ing.

次にCPU2は、遅れ時間Lを算出する(ステップ720)。すなわち、CPU2は、RAM4に保存した第1脈波m1に対する第2脈波m2の遅れ時間Lを算出してRAM4に保存する。
図9は、遅れ時間L算出処理の詳細を表したフローチャートである。
CPU2は、RAM4に保存した第1脈波m1の最低値(谷)V1を探索する(ステップ805)。
更にCPU2は、探索した最低値(谷)V1の時間t1を求めてRAM4に保存する(ステップ810)。
Next, the CPU 2 calculates the delay time L (step 720). That is, the CPU 2 calculates the delay time L of the second pulse wave m2 with respect to the first pulse wave m1 stored in the RAM 4 and stores it in the RAM4.
FIG. 9 is a flowchart showing details of the delay time L calculation process.
The CPU 2 searches for the lowest value (trough) V1 of the first pulse wave m1 stored in the RAM 4 (step 805).
Furthermore, the CPU 2 obtains the time t1 of the searched lowest value (trough) V1 and stores it in the RAM 4 (step 810).

次にCPU2は、RAM4に保存した第2脈波m2から最低値(谷)V2を探索する(ステップ815)。
すなわち、CPU2は、第2脈波m2から、時間(t1-0.1)から時間t1の間にある最低値Vaと、時間t1よりも後(遅い時間)にある最低値Vbを探索する。
そして、CPU2は、最低値Vaがなければ、最低値Vbを最低値(谷)V2とする。一方、CPU2は、最低値Vaがあれば、VaとVbのうち、時間t1に近い方を最低値(谷)V2とする。
Next, the CPU 2 searches for the lowest value (trough) V2 from the second pulse wave m2 stored in the RAM 4 (step 815).
That is, the CPU 2 searches the second pulse wave m2 for the lowest value Va between time (t1-0.1) and time t1 and the lowest value Vb after time t1 (later time).
If there is no lowest value Va, the CPU 2 sets the lowest value Vb as the lowest value (valley) V2. On the other hand, if there is a lowest value Va, the CPU 2 sets the lowest value (valley) V2 to the one closer to the time t1 out of Va and Vb.

更にCPU2は、探索した最低値(谷)V2の時間t2を求めてRAM4に保存する(ステップ820)。
次に、CPU2は、RAM4に保存した時間t1、t2から遅れ時間L=t2-t1を算出してRAM4に保存し(ステップ825)、メインルーチンにリターンする。
Furthermore, the CPU 2 obtains the time t2 of the searched lowest value (trough) V2 and stores it in the RAM 4 (step 820).
Next, the CPU 2 calculates the delay time L=t2-t1 from the times t1 and t2 stored in the RAM 4, stores it in the RAM 4 (step 825), and returns to the main routine.

図8に戻り、CPU2は、RAM4に保存した遅れ時間Lが基準値Th(本実施形態では0.08秒)よりも大きいか否かを判断する(ステップ725)。すなわち、CPU2は、遅れ時間Lが基準値Thよりも大きいか否かによって、現在の脈波の測定位置で血圧測定が可能か否かの判断(血圧測定可否判断)を行う。
遅れ時間Lが基準値Th以下である場合(ステップ725;N)、CPU2は、その旨の報知を行い(ステップ730)、処理を終了する。
ここで、CPU2が行う報知としては、例えば、「正確な血圧測定ができないため、第2脈波測定部8の測定位置を変更してください。」とディスプレイ5に画像表示し、及び/又は、スピーカから音声出力することにより行う。
Returning to FIG. 8, the CPU 2 determines whether or not the delay time L stored in the RAM 4 is greater than the reference value Th (0.08 seconds in this embodiment) (step 725). That is, the CPU 2 determines whether blood pressure measurement is possible at the current pulse wave measurement position (blood pressure measurement availability determination) depending on whether the delay time L is greater than the reference value Th.
If the delay time L is equal to or less than the reference value Th (step 725; N), the CPU 2 notifies that effect (step 730) and terminates the process.
Here, the notification made by the CPU 2 is, for example, displaying an image on the display 5 stating, "Please change the measurement position of the second pulse wave measuring unit 8 because accurate blood pressure measurement cannot be performed.", and/or This is done by outputting sound from a speaker.

一方、遅れ時間Lが基準値Thよりも大きい場合(ステップ725;Y)、CPU2は、データ10bに保存されている収縮期血圧SBP用のパラメータPS1、PS2を読出してRAM4に設定する(ステップ735)。
次にCPU2は、設定したパラメータPS1、PS2と遅れ時間Lを使用し、式(A)により収縮期血圧SBPを算出し、RAM4に保存する(ステップ740)。
収縮期血圧SBP=PS1×遅れ時間L+PS2 … 式(A)
On the other hand, if the delay time L is greater than the reference value Th (step 725; Y), the CPU 2 reads the parameters PS1 and PS2 for the systolic blood pressure SBP stored in the data 10b and sets them in the RAM 4 (step 735). ).
Next, the CPU 2 uses the set parameters PS1 and PS2 and the delay time L to calculate the systolic blood pressure SBP according to the formula (A) and stores it in the RAM 4 (step 740).
Systolic blood pressure SBP=PS1×delay time L+PS2 Equation (A)

またCPU2は、データ10bから拡張期血圧DBP用のパラメータPD1、PD2を読出してRAM4に設定する(ステップ745)。
CPU2は、設定したパラメータPD1、PD2と遅れ時間Lを使用し、上述した式(B)により拡張期血圧DBP算出し、RAM4に保存する(ステップ745)。
拡張期血圧DBP=PD1×遅れ時間L+PD2 … 式(B)
CPU2は、算出した収縮期血圧SBPと拡張期血圧DBPをディスプレイ5や、通信制御部11を介して外部装置に出力し(ステップ750)、処理を終了する。
CPU 2 also reads parameters PD1 and PD2 for diastolic blood pressure DBP from data 10b and sets them in RAM 4 (step 745).
The CPU 2 uses the set parameters PD1 and PD2 and the delay time L to calculate the diastolic blood pressure DBP according to the above equation (B), and stores it in the RAM 4 (step 745).
Diastolic blood pressure DBP=PD1×delay time L+PD2 Equation (B)
The CPU 2 outputs the calculated systolic blood pressure SBP and diastolic blood pressure DBP to the external device via the display 5 and the communication control section 11 (step 750), and ends the process.

なお、説明した第1実施形態では、図9で説明した遅れ時間算出処理において、遅れ時間Lを脈波m1、m2の最低値V1、V2を使用して算出する場合について説明した。
これに対して、図3で説明したように、遅れ時間Lを最高値(ピーク)T、最大傾きD、相関遅れ(脈波全体の遅れ)Cを使用して遅れ時間Lを算出することも可能である。
In the first embodiment described above, the case where the delay time L is calculated using the lowest values V1 and V2 of the pulse waves m1 and m2 in the delay time calculation process described with reference to FIG. 9 has been described.
On the other hand, as described in FIG. 3, the delay time L can also be calculated using the maximum value (peak) T, the maximum slope D, and the correlation delay (delay of the entire pulse wave) C. It is possible.

遅れ時間Lを最高値(ピーク)Tを使用して遅れ時間Lを算出する場合、図9の遅れ時間算出処理において、「最低値(谷)V」、「V」を「最高値(ピーク)T」、「T」に読替えることで対応可能である。
脈波mの相関遅れ(脈波全体の遅れ)Cを使用して遅れ時間Lを算出する処理については、第2実施形態で説明する。
When calculating the delay time L using the maximum value (peak) T for the delay time L, in the delay time calculation process of FIG. It is possible to deal with it by reading it as "T", "T".
The process of calculating the delay time L using the correlation delay (delay of the entire pulse wave) C of the pulse wave m will be described in the second embodiment.

一方、遅れ時間Lを最大傾きDを使用して算出する場合には、図9と別の処理が必要である。
図10は、脈波mの最大傾きDを使用して遅れ時間Lを算出する遅れ時間算出処理のフローチャートである。
CPU2は、RAM4に保存した第1脈波m1の微分(傾きD1)を算出する(ステップ905)。
またCPU2、RAM4に保存した第2脈波m2の微分(傾きD2)を算出する(ステップ910)。
On the other hand, when calculating the delay time L using the maximum slope D, processing different from that in FIG. 9 is required.
FIG. 10 is a flow chart of the delay time calculation process for calculating the delay time L using the maximum gradient D of the pulse wave m.
The CPU 2 calculates the differential (inclination D1) of the first pulse wave m1 stored in the RAM 4 (step 905).
Further, the CPU 2 calculates the differential (inclination D2) of the second pulse wave m2 stored in the RAM 4 (step 910).

次にCPU2は、算出した傾きD1の最大値を探索する(ステップ915)。
そしてCPU2は、探索した傾きD1の最大値の時間t1を求めてRAM4に保存する(ステップ920)。
またCPU2は、傾きD2の最大値を探索する(ステップ925)。すなわち、CPU2は、ステップ920で求めた時間(t1-0.1)から時間t1の間における傾きの最大値Daと、時間t1よりも後(遅い時間)にある傾きの最大値Dbを探索し、最大値Daと最大値Dbの大きい方を傾きD2の最大値とする。
そして、CPU2は、探索した傾きD2の最大値の時間t2を求めてRAM4に保存する(ステップ930)。
次にCPU2は、RAM4に保存した時間t1、t2から遅れ時間L=t2-t1を算出してRAM4に保存し(ステップ935)、メインルーチンにリターンする。
Next, the CPU 2 searches for the maximum value of the calculated slope D1 (step 915).
Then, the CPU 2 obtains the time t1 of the maximum value of the searched gradient D1 and stores it in the RAM 4 (step 920).
The CPU 2 also searches for the maximum value of the slope D2 (step 925). That is, the CPU 2 searches for the maximum value Da of the slope between the time (t1-0.1) obtained in step 920 and the time t1, and the maximum value Db of the slope after the time t1 (later time). , the larger one of the maximum value Da and the maximum value Db is set as the maximum value of the slope D2.
Then, the CPU 2 obtains the time t2 of the maximum value of the searched gradient D2 and stores it in the RAM 4 (step 930).
Next, the CPU 2 calculates the delay time L=t2-t1 from the times t1 and t2 stored in the RAM 4, stores it in the RAM 4 (step 935), and returns to the main routine.

説明した第1実施形態では、脈波m1、m2の最低値V1、V2で求めた遅れ時間Lを使用して、血圧測定可否判断(ステップ725、図9)と、式(A)(B)で血圧の決定(ステップ740、750)を行う場合について説明した。即ち、血圧測定可否判断と血圧決定ともに同一の脈波要素(最低値V)を使用する場合について説明した。
これに対して、血圧測定可否判断で使用する遅れ時間Lと、式(A)(B)の血圧決定に使用する遅れ時間Lとを、別の脈波要素(VTDC)を使用して求めることも可能である。
例えば、最低値Vを使用して算出した遅れ時間LVで血圧測定可否判断(ステップ725)を行い、脈波mの最大傾きDを使用して算出した遅れ時間LDで血圧(SBP、DBP)を決定(ステップ740、750)することも可能である。
この場合、ステップ725とステップ730の間にステップ727として、「遅れ時間Lを算出」する処理を加える。
ステップ720とステップ727における各遅れ時間Lの算出については、図9、図10等で説明した遅れ時間Lの算出や、後述の第2実施形態で説明する遅れ時間Lの算出方法を使用する。
In the first embodiment described, using the delay time L obtained from the lowest values V1 and V2 of the pulse waves m1 and m2, blood pressure measurement determination (step 725, FIG. 9) and formulas (A) and (B) The case of determining the blood pressure (steps 740, 750) has been described. That is, the case where the same pulse wave element (minimum value V) is used for both blood pressure measurement determination and blood pressure determination has been described.
On the other hand, the delay time L used in determining whether blood pressure can be measured and the delay time L used in determining the blood pressure in formulas (A) and (B) can be obtained using another pulse wave element (VTDC). is also possible.
For example, the delay time LV calculated using the minimum value V determines whether blood pressure measurement is possible (step 725), and the blood pressure (SBP, DBP) is calculated using the delay time LD calculated using the maximum slope D of the pulse wave m. It is also possible to determine (steps 740, 750).
In this case, step 727 is added between steps 725 and 730 to "calculate the delay time L".
For the calculation of each delay time L in steps 720 and 727, the calculation of the delay time L described with reference to FIGS.

以上説明したように、第1実施形態及び変形例における血圧測定装置1によれば、心臓からの距離が異なる位置で測定した第1脈波m1と第2脈波m2の遅れ時間Lを求め、この遅れ時間Lが基準値Thよりも大きいか否かにより、血圧の測定が可能か否かの判断(血圧測定可否判断)を行うことができる。
そして、遅れ時間Lが基準値Th以下である場合に、他の測定位置での測定を促す報知を行うので、測定位置についての判断を行わずに測定していた従来に比べて、より精度が高い収縮期血圧SBP、拡張期血圧DBPを測定することが可能になる。
血圧測定可否判断の基準値Thは、0.1秒~0.06秒の範囲で選択することが可能であり、最適値Th=0.08秒を選択することで、より精度高く判断を行うことができる。
また、遅れ時間Lを算出する際に使用する脈波要素としては、脈波の最低値V、最高値T、最大傾きD、及び、相関遅れCのいずれかの使用が可能であるが、血圧測定可否判断において、反射波(心臓に戻る脈波)の影響を最も受け易い最低値Vを使用することで、判定精度をより高くすることができる。
As described above, according to the blood pressure measuring device 1 according to the first embodiment and the modified example, the delay time L between the first pulse wave m1 and the second pulse wave m2 measured at positions different in distance from the heart is obtained, Depending on whether or not this delay time L is greater than the reference value Th, it is possible to determine whether blood pressure can be measured (blood pressure measurement availability determination).
When the delay time L is equal to or less than the reference value Th, a notification is given to prompt the user to perform measurement at another measurement position. It becomes possible to measure high systolic blood pressure SBP and diastolic blood pressure DBP.
The reference value Th for determining whether blood pressure measurement is possible can be selected in the range of 0.1 seconds to 0.06 seconds, and by selecting the optimum value Th = 0.08 seconds, more accurate determination is performed. be able to.
In addition, as the pulse wave element used when calculating the delay time L, any of the pulse wave minimum value V, maximum value T, maximum slope D, and correlation delay C can be used. By using the lowest value V, which is most susceptible to reflected waves (pulse waves returning to the heart), in determining whether measurement is possible, determination accuracy can be further increased.

次に血圧測定装置1の第2実施形態について説明する。
(3)第2実施形態の概要
第2実施形態における血圧測定装置1は、第1脈波と第2脈波を非接触で取得する場合の実施形態である。この第2実施形態では、脈波の最低値Vにより求めた遅れ時間LVを使用して血圧の測定が可能か否かを判断し、測定可能である場合に脈波の相関遅れCにより求めた遅れ時間LCを使用して収縮期血圧SBPと拡張期血圧DBPを求める。
第2実施形態の血圧測定装置1では、スマホ等の端末装置を使用し、第1脈波を顔を撮影した動画から取得し、第2脈波を指を撮影した動画から取得する。そして両脈波から血圧を推定するために次の3つの特徴を使用している。
Next, a second embodiment of the blood pressure measuring device 1 will be described.
(3) Overview of Second Embodiment A blood pressure measurement device 1 according to the second embodiment is an embodiment in which the first pulse wave and the second pulse wave are acquired without contact. In this second embodiment, the delay time LV obtained from the minimum value V of the pulse wave is used to determine whether or not the blood pressure can be measured. The lag time LC is used to determine the systolic blood pressure SBP and the diastolic blood pressure DBP.
In the blood pressure measurement device 1 of the second embodiment, a terminal device such as a smartphone is used to obtain a first pulse wave from a video of a face and a second pulse wave from a video of a finger. The following three features are used to estimate blood pressure from both pulse waves.

血圧測定装置1(図12)は、表カメラ7で対象者15の顔を撮影し、これと同時に、対象者15の指を照明9で照明しながら裏カメラ8で対象者15の指を撮影して、顔動画と指動画を取得する。
血圧測定装置1は、顔動画に関しては、HSV色空間のH、S成分によって顔を検出し、検出した顔の顔脈波をYIQ色空間のQ成分で取得する(特徴1)。外光や動きの外乱を受ける顔に関してはQ値で脈波を検出し、外乱を受けない指に関してはG値で脈波を検出することにより、脈波の信頼性を高めることができる。
The blood pressure measuring device 1 (FIG. 12) photographs the face of the subject 15 with the front camera 7, and at the same time photographs the fingers of the subject 15 with the back camera 8 while illuminating the finger of the subject 15 with the illumination 9. to get face and finger videos.
The blood pressure measuring device 1 detects a face using the H and S components of the HSV color space, and acquires the facial pulse wave of the detected face using the Q component of the YIQ color space (feature 1). Reliability of the pulse wave can be improved by detecting the pulse wave with the Q value for the face subject to external light or motion disturbance, and detecting the pulse wave with the G value for the finger not subject to the disturbance.

更に、血圧測定装置1は、顔脈波の波形全体と指脈波の波形全体を用いて、顔脈波に対する指脈波の遅れ時間を検出する。検出は、顔脈波に対して指脈波を時間方向にシフトし、最も相互相関の高いシフト量から遅れのデータ点数を特定する。そして、更に、遅れのデータ点数から遅れ時間Lを算出する(特徴2)。
顔脈波と指脈波は、元は同じ脈波であるため、指脈波を遅れた分だけシフトすれば、波形が顔脈波と概略適合する。これを相互相関によって計測し、これが最大となるシフト量が遅れ時間Lに対応することを利用したものである。
Furthermore, the blood pressure measuring device 1 uses the entire waveform of the facial pulse wave and the entire waveform of the finger pulse wave to detect the delay time of the finger pulse wave with respect to the facial pulse wave. For detection, the finger pulse wave is shifted in the time direction with respect to the facial pulse wave, and the delay data points are specified from the shift amount with the highest cross-correlation. Further, the delay time L is calculated from the number of delay data points (characteristic 2).
Since the facial pulse wave and the finger pulse wave are originally the same pulse wave, if the finger pulse wave is shifted by the amount of delay, the waveform approximately matches the facial pulse wave. This is measured by cross-correlation, and the fact that the maximum shift amount corresponds to the delay time L is utilized.

加えて、血圧測定装置1は、30[fps:frames per second(1秒あたりのフレーム数)]程度で撮影した顔動画と指動画をスプライン補間することによって顔脈波と指脈波を240[fps]程度のカメラで撮影した場合と同等の波形とし、補間後の顔脈波と指脈波によって高い分解能で相互相関を計測する(特徴3)。
これにより、5[mmHg]程度の高い分解能で血圧を測定することができ、実用に供することができる。
遅れ時間Lと血圧の関係は実験によって求まっており、血圧測定装置1は、実験で求めた関係式に、特徴1~3を適用して取得した遅れ時間Lを適用して対象者15の血圧を測定する。
In addition, the blood pressure measurement device 1 spline-interpolates facial and finger moving images taken at about 30 [fps: frames per second (frames per second)] to obtain facial pulse waves and finger pulse waves at 240 [fps]. fps], the cross-correlation is measured with high resolution from the face pulse wave and the finger pulse wave after interpolation (feature 3).
As a result, blood pressure can be measured with a high resolution of about 5 [mmHg], and can be put to practical use.
The relationship between the delay time L and the blood pressure is determined by experiments, and the blood pressure measurement device 1 applies the delay time L obtained by applying the features 1 to 3 to the relational expression obtained by the experiment to determine the blood pressure of the subject 15. to measure.

(4)第2実施形態の詳細
血圧測定装置1は、例えば、スマートフォンなどの携帯端末で構成される。
図11は、本実施形態の血圧測定装置1の構成を説明するための図である。
血圧測定装置1は、例えば、スマートフォンなどの携帯端末で構成され、対象者15を撮影した動画によって非接触・非侵襲にて対象者15の血圧を測定することができる。
血圧測定装置1は、CPU(Central Processing Unit)2、ROM(Read Only Memory)3、RAM(Random Access Memory)4、ディスプレイ5、タッチパネル6、表カメラ7、裏カメラ8、照明9、記憶部10などから構成されている。
(4) Details of Second Embodiment The blood pressure measurement device 1 is configured by, for example, a mobile terminal such as a smart phone.
FIG. 11 is a diagram for explaining the configuration of the blood pressure measurement device 1 of this embodiment.
The blood pressure measurement device 1 is configured by a mobile terminal such as a smart phone, for example, and can measure the blood pressure of the subject 15 in a non-contact and non-invasive manner using a moving image of the subject 15 .
The blood pressure measurement device 1 includes a CPU (Central Processing Unit) 2, a ROM (Read Only Memory) 3, a RAM (Random Access Memory) 4, a display 5, a touch panel 6, a front camera 7, a rear camera 8, a lighting 9, and a storage unit 10. etc.

CPU2は、記憶部10やROM3などに記憶されたプログラムに従って、各種の情報処理や制御を行う中央処理装置である。本実施形態では、表カメラ7や裏カメラ8で撮影した対象者15の動画を用いて血圧を検出する。
ROM3は、読み取り専用メモリであって、血圧測定装置1を動作させるための基本的なプログラムやパラメータなどが記憶されている。
RAM4は、読み書きが可能なメモリであって、CPU2が動作する際のワーキングメモリを提供する。本実施形態では、動画を構成するフレーム画像(1コマの静止画像)の画像データを展開して記憶したり、計算結果を記憶したりすることにより、CPU2が、動画から血圧を検出するのを支援する。
The CPU 2 is a central processing unit that performs various types of information processing and control according to programs stored in the storage unit 10, the ROM 3, and the like. In this embodiment, the blood pressure is detected using moving images of the subject 15 captured by the front camera 7 and the rear camera 8 .
The ROM 3 is a read-only memory and stores basic programs and parameters for operating the blood pressure measuring device 1 .
The RAM 4 is a readable/writable memory and provides a working memory when the CPU 2 operates. In this embodiment, the CPU 2 detects the blood pressure from the moving image by developing and storing the image data of the frame images (one frame of still image) constituting the moving image, or by storing the calculation result. Assist.

ディスプレイ5は、例えば、液晶パネルを用いて構成されており、各種アプリケーションプログラムを選択するためのアイコンや、これらアプリケーションが提供する各種画面を表示する。本実施形態では、例えば、ディスプレイ5は、測定した血圧を表示する。
ここで、ディスプレイ5は、血圧を表示する表示手段として機能しており、このように、血圧測定装置1は、血圧をディスプレイ5に出力する出力手段を備えている。
The display 5 is configured using, for example, a liquid crystal panel, and displays icons for selecting various application programs and various screens provided by these applications. In this embodiment, for example, the display 5 displays the measured blood pressure.
Here, the display 5 functions as display means for displaying blood pressure, and thus the blood pressure measuring device 1 has output means for outputting blood pressure to the display 5 .

タッチパネル6は、ユーザの指によるタッチを検知して、これによりアイコンの選択や、各アプリケーションが提供する各種入力画面への入力を受け付ける。
本実施形態では、血圧測定装置1は、血圧測定プログラム10aの起動用のアイコンへのタッチを検出して、これを起動するのに用いたり、血圧測定プログラムが提供する血圧測定画面に表示された測定開始ボタンへのタッチを検出して血圧測定を開始したりする。
The touch panel 6 detects the touch of the user's finger, and thereby accepts selection of icons and input to various input screens provided by each application.
In this embodiment, the blood pressure measurement device 1 detects a touch on an icon for starting the blood pressure measurement program 10a and uses it to start the blood pressure measurement program 10a. Detecting touch on the measurement start button and starting blood pressure measurement.

表カメラ7と裏カメラ8は、動画撮影カメラであって(静止画も撮影できる)、レンズで構成された光学系と、これによって結像した像を電気信号に変換する画像素子を用いて構成されている。
表カメラ7は、ディスプレイ5が設けられた表面に配設されており、裏カメラ8は、これと対向する裏面に配設されている。
The front camera 7 and rear camera 8 are video cameras (still images can also be taken), and are constructed using an optical system composed of lenses and an image element that converts the image formed by the lens into an electrical signal. It is
The front camera 7 is arranged on the surface on which the display 5 is provided, and the rear camera 8 is arranged on the opposite rear surface.

表カメラ7、裏カメラ8は、それぞれ、対象者の顔と指を所定のフレームレートで撮影し、これら連続するフレーム画像で構成された顔動画と指動画を出力する。
当該フレーム画像は、画像を構成する最小単位である画素(ピクセル)の配列により構成されている。
また、照明9は、裏カメラ8と一体的に(あるいは近接して)形成されており、裏カメラ8の撮影対象を照明する。
The front camera 7 and the back camera 8 photograph the subject's face and fingers at a predetermined frame rate, respectively, and output a facial moving image and a finger moving image composed of these continuous frame images.
The frame image is composed of an array of picture elements (pixels), which are the minimum units that constitute the image.
Also, the illumination 9 is formed integrally with (or in close proximity to) the rear camera 8 and illuminates the object photographed by the rear camera 8 .

ここで、表カメラ7は、第1の側に配設され、対象者の第1の体表面を環境光下などで撮影する第1のカメラとして機能している。
また、裏カメラ8は、第1の側と対向する第2の側に配設され、対象者の第2の体表面を所定の照明光で照明しながら撮影する第2のカメラとして機能している。
Here, the front camera 7 is arranged on the first side and functions as a first camera for photographing the subject's first body surface under environmental light or the like.
The rear camera 8 is arranged on the second side opposite to the first side, and functions as a second camera that photographs the second body surface of the subject while illuminating it with predetermined illumination light. there is

記憶部10は、ハードディスクやEEPROM(Electrically Erasable Programmable Read-Only Memory)などの記憶媒体を用いて構成されており、CPU2が血圧を測定するための血圧測定プログラムやその他のプログラム、及び各種データ(撮影した顔動画や指動画の動画データなど)を記憶している。 The storage unit 10 is configured using a storage medium such as a hard disk or EEPROM (Electrically Erasable Programmable Read-Only Memory), and contains a blood pressure measurement program for the CPU 2 to measure blood pressure, other programs, and various data video data such as face videos and finger videos).

血圧測定プログラムは、CPU2に血圧測定処理を行わせるプログラムである。
血圧測定装置1は、血圧測定プログラムを実行することにより、血圧測定装置としての各種機能を提供することができる。
また、CPU2は、表カメラ7で撮影した顔動画や裏カメラ8で撮影した指動画の動画データを記憶部10に記憶して、これを用いて血圧を検出する。
The blood pressure measurement program is a program that causes the CPU 2 to perform blood pressure measurement processing.
The blood pressure measurement device 1 can provide various functions as a blood pressure measurement device by executing a blood pressure measurement program.
In addition, the CPU 2 stores moving image data of the moving image of the face captured by the front camera 7 and the moving image of the finger captured by the back camera 8 in the storage unit 10, and detects the blood pressure using this data.

このように、血圧測定装置1は、第1のカメラで対象者の第1の体表面を環境光下で撮影した第1の動画と、第2のカメラで対象者の第2の体表面を所定の照明光下で撮影した第2の動画を取得する動画取得手段を備えている。ここで例えば、第1の体表面は対象者の顔であり、第2の体表面は対象者の指である。 In this way, the blood pressure measurement device 1 captures the first moving image of the subject's first body surface under ambient light with the first camera, and captures the subject's second body surface with the second camera. A moving image acquiring means for acquiring a second moving image photographed under a predetermined illumination light is provided. Here, for example, the first body surface is the subject's face and the second body surface is the subject's fingers.

図12の各図は、本実施形態に係る血圧測定装置1の使用形態を説明するための図である。
以下では、一例として、血圧測定装置1は、スマートフォンなどの携帯端末で構成されているものとする。
血圧測定の対象である対象者15は、裏カメラ8に指の指紋面を当接させつつ血圧測定装置1を把持し、表カメラ7を自身の顔面に向けてその姿勢を保持する。裏カメラ8に当てる指は、裏カメラ8の位置に従って当て易い何れの指でも良い。
Each figure of FIG. 12 is a figure for demonstrating the usage pattern of the blood-pressure measuring device 1 which concerns on this embodiment.
In the following, as an example, the blood pressure measurement device 1 is configured with a mobile terminal such as a smart phone.
A subject 15 who is to be measured for blood pressure holds the blood pressure measuring device 1 while bringing the fingerprint surface of the finger into contact with the rear camera 8, faces the front camera 7 toward his/her face, and holds the posture. Any finger that can be easily applied according to the position of the rear camera 8 may be used as the finger to be applied to the rear camera 8 .

このように把持された血圧測定装置1は、表カメラ7で対象者15の顔面を撮影しつつ、同時に裏カメラ8で対象者15の指を撮影する。
この際に、指の撮影に関しては、照明9を動作させて指紋面を照明しながら撮影する。
なお、本実施形態では、撮影が容易なことから指を撮影するが、手のひらや手の甲、あるいは手首など、他の部位でも血圧測定は可能である。
The blood pressure measuring device 1 held in this way takes an image of the face of the subject 15 with the front camera 7 and at the same time, images the fingers of the subject 15 with the rear camera 8 .
At this time, the finger is photographed while operating the illumination 9 to illuminate the fingerprint surface.
In the present embodiment, the fingers are photographed because they are easy to photograph, but blood pressure can also be measured at other sites such as the palm, the back of the hand, or the wrist.

血圧測定装置1は、表カメラ7で撮影した顔動画に関しては、屋外や室内灯などの環境光の下で撮影するため、環境光の変化による外乱の影響を受ける。また、表カメラ7を顔に向けて保持するため、手のぶれによって顔が画面の中で動く動き外乱の影響も受ける。
一方、裏カメラ8で撮影した指動画に関しては、照明9による照明下で指を裏カメラ8に密接させて撮影するため、これらの外乱の影響を受けない。
The blood pressure measurement device 1 is affected by disturbance due to changes in the ambient light because the facial moving images captured by the front camera 7 are captured under ambient light such as outdoors or indoor lights. In addition, since the front camera 7 is held facing the face, the camera is also affected by motion disturbance in which the face moves within the screen due to hand shake.
On the other hand, the finger moving image captured by the back camera 8 is not affected by these disturbances because the finger is brought into close contact with the back camera 8 under the illumination of the illumination 9 .

そこで、血圧測定装置1は、顔動画に関しては、これらの外乱に対して頑健性のあるQ値(YIQ色空間のQ成分の値)の時間変化によって脈波を検出し、指動画に関しては、血流の変化の検出に適したG値(RGB色空間のG成分の値)の時間変化によって脈波を検出する。
血圧測定装置1は、血圧を良好に検出するために、特徴1~3の3つの特徴を有するが、顔動画でQ値を用い、指動画でG値を用いる手法は、特徴1を構成する。
Therefore, the blood pressure measuring device 1 detects the pulse wave from the temporal change of the Q value (the value of the Q component in the YIQ color space) that is robust against these disturbances for the face moving image, and detects the pulse wave for the finger moving image. A pulse wave is detected from the time change of the G value (the value of the G component in the RGB color space) suitable for detecting changes in blood flow.
The blood pressure measuring device 1 has three features, features 1 to 3, in order to detect the blood pressure well. .

このように、血圧測定装置1は、第1の動画と第2の動画のそれぞれから、異なる種類の色成分の時間変化を用いて、第1の動画から第1の脈波を取得し、第2の動画から第2の脈波を取得する脈波取得手段を備えている。
そして、当該脈波取得手段は、第1の動画からYIQ成分に含まれるQ成分を用いて第1の脈波を取得し、第2の動画からRGB成分に含まれるG成分を用いて第2の脈波を取得する。
In this way, the blood pressure measurement device 1 obtains the first pulse wave from the first moving image and the second moving image by using different types of temporal changes in color components from each of the first moving image and the second moving image. A pulse wave acquiring means for acquiring a second pulse wave from the second moving image is provided.
Then, the pulse wave obtaining means obtains a first pulse wave using the Q component included in the YIQ components from the first moving image, and obtains the second pulse wave using the G component included in the RGB components from the second moving image. to obtain the pulse wave of

顔動画については、まず、血圧測定装置1は、図12(a)に示したように、表カメラ7で撮影した顔動画のフレーム画像である顔フレーム画像31をRGB色空間からHSV色空間に変換する。
そして、H成分のH値とS成分のS値が所定の範囲にある領域を抽出すると、顔フレーム画像31bに示したように、皮膚領域が塊となった塊領域25によって顔領域(脈波を測定する測定領域を規定する)を抽出することができる。H成分とS成分で顔領域を良好に抽出できることは、本願発明者らの新たな知見によるものである。
As for the moving image of the face, the blood pressure measuring device 1 first converts the face frame image 31, which is the frame image of the moving image of the face captured by the front camera 7, from the RGB color space to the HSV color space, as shown in FIG. 12(a). Convert.
Then, when a region in which the H value of the H component and the S value of the S component are within a predetermined range is extracted, as shown in the face frame image 31b, the face region (pulse wave ) can be extracted. The fact that the H component and the S component can satisfactorily extract the face region is based on the new findings of the inventors of the present application.

次に、血圧測定装置1は、顔フレーム画像31をRGB色空間からYIQ色空間に変換し、変換後の顔フレーム画像31cにおける測定領域26の各画素のQ値を取得してこれらを平均する。
顔動画を構成する各顔フレーム画像31からこのようにして平均したQ値を取得するとQ値の時系列が得られ、これが顔の脈波(以下、顔脈波)を表す顔信号となる。このように、血圧測定装置1は、顔脈波に関しては、YIQのQチャネルを使用する。
Next, the blood pressure measuring device 1 converts the face frame image 31 from the RGB color space to the YIQ color space, obtains the Q value of each pixel in the measurement area 26 in the converted face frame image 31c, and averages these values. .
Obtaining the Q values averaged from each face frame image 31 constituting the face moving image in this way provides a time series of Q values, which becomes a face signal representing the pulse wave of the face (hereinafter referred to as the face pulse wave). Thus, the blood pressure measuring device 1 uses the Q channel of YIQ for the facial pulse wave.

指動画については、血圧測定装置1は、図12(b)に示したように、照明装置で照明しながら裏カメラ8で撮影した指動画のフレーム画像である指フレーム画像32のRGB値から各画素のG値を取得し、これらを平均する。
指動画を構成する各指フレーム画像32からこのようにして平均したG値を取得するとG値の時系列が得られ、これが指の脈波(以下、指脈波)を表す指信号となる。このように、血圧測定装置1は、指脈波に関しては、RGBのGチャネルを使用する。
As for the finger moving image, the blood pressure measuring device 1, as shown in FIG. Get the G values of the pixels and average them.
Obtaining the average G value from each finger frame image 32 constituting the finger moving image in this way provides a time series of G values, which becomes a finger signal representing the pulse wave of the finger (hereinafter referred to as finger pulse wave). In this way, the blood pressure measurement device 1 uses the RGB G channel for the finger pulse wave.

図13の各図は、指信号の反転を説明するための図である。
図13(a)は、指信号16と顔信号18の振幅の時間変化を表している。
技術的な理由により、指信号16の振幅は、顔信号18の振幅に対して反転して検出される。そのため、血圧測定装置1は、図13(b)に示したように、指信号16の振幅を反転して指信号17を生成し、これを用いて血圧の測定処理を行う。
このように、血圧測定装置1が備える脈波取得手段は、G成分を反転した値を用いて第2の脈波を取得する。
Each diagram in FIG. 13 is a diagram for explaining the inversion of the finger signal.
FIG. 13(a) shows temporal changes in amplitude of the finger signal 16 and the face signal 18. FIG.
For technical reasons, the amplitude of the finger signal 16 is detected inverted with respect to the amplitude of the face signal 18 . Therefore, the blood pressure measurement device 1 inverts the amplitude of the finger signal 16 to generate the finger signal 17 as shown in FIG. 13(b), and uses this to perform blood pressure measurement processing.
In this way, the pulse wave acquisition means provided in the blood pressure measurement device 1 acquires the second pulse wave using the value obtained by inverting the G component.

図14の各図は、脈波の伝搬の遅れを説明するための図である。
一般的に、脈波の伝搬速度は6.84[m/s]程度である。
これによると、心臓から顔までの距離は0.3m程度であるため、心臓から顔までの脈波の伝搬時間は0.0439[s]程度である。
また、心臓から指までの距離は1[m]程度であるため、心臓から指までの脈波の伝搬時間は0.1462[s]程度である。
Each figure of FIG. 14 is a figure for demonstrating the delay of propagation of a pulse wave.
Generally, the propagation velocity of a pulse wave is about 6.84 [m/s].
According to this, since the distance from the heart to the face is about 0.3 m, the pulse wave propagation time from the heart to the face is about 0.0439 [s].
Also, since the distance from the heart to the finger is about 1 [m], the propagation time of the pulse wave from the heart to the finger is about 0.1462 [s].

これにより、指脈波は、顔脈波に対して0.1023[s]程度遅れる。この遅れによる遅れ時間(遅延時間)Lの大小が血圧の大小と相関しており、血圧測定装置1は、この遅れ時間Lを計測することにより血圧を求める。
このように、血圧測定装置1は、第1の脈波と第2の脈波の間の伝搬の遅れを用いて対象者の血圧を取得する血圧取得手段を備えている。
As a result, the finger pulse wave lags behind the facial pulse wave by about 0.1023 [s]. The magnitude of the delay time (delay time) L due to this delay correlates with the magnitude of the blood pressure, and the blood pressure measurement device 1 measures the delay time L to obtain the blood pressure.
Thus, the blood pressure measuring apparatus 1 includes blood pressure acquisition means for acquiring the blood pressure of the subject using the propagation delay between the first pulse wave and the second pulse wave.

血圧測定装置1は、このように微少な遅れ時間の大小を検出するため、バンドパスフィルタによって、顔脈波と指脈波の本来の形をできるだけ保持しつつ、余分な信号を取り除く。
図14(a)は、指信号17をフィルタ処理した指信号19と、顔信号18をフィルタ処理した顔信号20を示している。
Since the blood pressure measuring device 1 detects the magnitude of such minute delay times, the band-pass filter removes unnecessary signals while maintaining the original shapes of the facial pulse wave and the finger pulse wave as much as possible.
FIG. 14A shows a finger signal 19 obtained by filtering the finger signal 17 and a face signal 20 obtained by filtering the face signal 18. FIG.

図14(a)に示したように、フィルタ処理によって指信号19と顔信号20が本来の脈波に近い波形となり、比較に適した形となる。
血圧測定装置1は、顔脈波と指脈波の波形全体を用いた相関関係により遅れを検出するため、このように指信号19と顔信号20の波形をなるべく本来の波形とすることにより、より精密に遅れ時間Lの検出を行うことができる。
As shown in FIG. 14(a), the finger signal 19 and the face signal 20 have waveforms close to the original pulse wave due to the filtering process, which is suitable for comparison.
Since the blood pressure measuring device 1 detects the delay based on the correlation using the entire waveforms of the facial pulse wave and the finger pulse wave, by making the waveforms of the finger signal 19 and the facial signal 20 as original as possible, The delay time L can be detected more precisely.

このように、血圧測定装置1は、第1の脈波の波形の全体と、第2の脈波の波形の全体と、を用いて第1の脈波と第2の脈波の間の伝搬の遅れを取得する遅れ取得手段(遅れ時間取得手段)を備えている。
そして、遅れ取得手段は、第1の脈波の波形と、第2の脈波の波形と、の間の相関関係を用いて伝搬の遅れを取得している。
In this way, the blood pressure measuring device 1 uses the entire waveform of the first pulse wave and the entire waveform of the second pulse wave to measure the propagation between the first pulse wave and the second pulse wave. delay acquisition means (delay time acquisition means) for acquiring the delay of
Then, the delay acquisition means acquires the propagation delay using the correlation between the waveform of the first pulse wave and the waveform of the second pulse wave.

図14(b)は、顔信号20に対する指信号19の遅れ時間Lに対する相互相関を示している。
血圧測定装置1は、顔信号20と指信号19の相関関係として後述の相互相関を用いる。
相互相関は、顔信号20に対して指信号19を時間軸方向にシフトし、その場合の相互相関、即ち、そのシフト時点で顔信号20と指信号19の波形形状が全体的にどの程度近いかを表す指標、をプロットしたものである。相互相関が最も大きいとき、即ち、波形の形状が全体的に最も近いときのシフト量が遅れ時間Lとなる。
FIG. 14(b) shows the cross-correlation with respect to the delay time L of the finger signal 19 with respect to the face signal 20. FIG.
The blood pressure measurement device 1 uses cross-correlation, which will be described later, as the correlation between the face signal 20 and the finger signal 19 .
The cross-correlation shifts the finger signal 19 with respect to the face signal 20 in the time axis direction, and the cross-correlation in that case, that is, how close the waveform shapes of the face signal 20 and the finger signal 19 are as a whole at the time of the shift. This is a plot of an index that indicates whether The delay time L is the amount of shift when the cross-correlation is the largest, that is, when the waveform shapes are the closest overall.

なお、本実施形態では、顔信号20に対して指信号19を時間方向に移動させたが、両信号は、相対的に移動すればよいため、指信号19に対して顔信号20を移動してもよく、また、指信号19と顔信号20の双方を時間方向に移動しても良い。
このように、遅れ取得手段は、第1の脈波の波形と、第2の脈波の波形と、のうちの少なくとも一方を時間方向にシフトしながら、シフトごとの相関関係を取得し、当該相関関係が最大となるシフト量を伝搬の遅れとして取得している。
In this embodiment, the finger signal 19 is moved in the time direction with respect to the face signal 20. However, since both signals need only be moved relatively, the face signal 20 is moved with respect to the finger signal 19. Alternatively, both the finger signal 19 and the face signal 20 may be moved in the time direction.
Thus, the delay acquisition means acquires the correlation for each shift while shifting at least one of the waveform of the first pulse wave and the waveform of the second pulse wave in the time direction, The shift amount that maximizes the correlation is acquired as the propagation delay.

ところで、顔フレーム画像31と指フレーム画像32の対応するフレームが同時に撮影されているならば、指信号19を遅れ時間分だけ時間が早い方向にシフトすれば、相互相関が最大となるため、相互相関が最大となったシフト量により、遅れ時間Lを得ることができる。
ところが、一般的な携帯端末では、顔フレーム画像31と指フレーム画像32の撮影タイミングが異なっている場合があり、この撮影タイミングのずれが遅れの測定に影響してしまう。場合によっては、指脈波の方が顔脈波よりも早く伝達するということもあり得る。
By the way, if the corresponding frames of the face frame image 31 and the finger frame image 32 are shot at the same time, if the finger signal 19 is shifted forward by the delay time, the cross-correlation will be maximized. The delay time L can be obtained from the shift amount that maximizes the correlation.
However, in a general portable terminal, the timing of photographing the face frame image 31 and the finger frame image 32 may differ, and this difference in photographing timing affects measurement of the delay. In some cases, the finger pulse wave may be transmitted faster than the facial pulse wave.

そこで、血圧測定装置1は、指信号19を何れの方向にもシフトさせて相互相関を計算し、遅れが0より大きい領域のピークを探索して(指脈波は顔脈波より必ず遅れるため)、これを遅れ時間とする。
表カメラ7、裏カメラ8の撮影タイミングが調節できる場合は、調節すればよいが、調節できない場合でも、伝搬の順番(脈波はまず顔に伝播して、次に指に伝搬するというように、心臓から遠い方で伝搬が遅れる)は一定で、遅れる時間は一定と仮定すると、このようにピーク探索によって遅れ時間を得ることができる。
Therefore, the blood pressure measuring device 1 shifts the finger signal 19 in any direction to calculate the cross-correlation, and searches for peaks in areas where the delay is greater than 0 (because the finger pulse wave always lags behind the facial pulse wave). ), which is the delay time.
If the shooting timing of the front camera 7 and the rear camera 8 can be adjusted, it can be adjusted. , the propagation is delayed farther from the heart) is constant, and the delay time is constant, the delay time can be obtained by peak search in this way.

図の例では、相互相関のピークは、-0.0375[s]となっているが、遅れ時間>0の範囲でピークを探索すると、当該条件を満たす右隣のピークの遅れが遅れ時間Lとなる。
このように、血圧測定装置1は、第1の脈波の波形と第2の脈波の波形うち、心臓から遠い方の体表面で撮影した動画から取得した脈波が遅れる範囲で相関関係のピークを探索し、当該探索したピークの位置によってシフト量を取得している。
In the example of the figure, the cross-correlation peak is -0.0375 [s], but if you search for a peak in the range of delay time > 0, the delay of the right adjacent peak that satisfies the condition will be the delay time L. becomes.
In this manner, the blood pressure measurement device 1 can determine the correlation within the range in which the pulse wave acquired from the moving image captured on the body surface farther from the heart, out of the waveform of the first pulse wave and the waveform of the second pulse wave, is delayed. A peak is searched, and the shift amount is obtained from the position of the searched peak.

図15は、相互相関の式を表した図である。
以下では、文字コードの誤変換防止のため、数式の下付文字を通常の文字で記す。
本実施形態では、相互相関の計算式を図15(a)に示した式(1)のRS1S2で定義した。S1は指信号19を表し、S2は顔信号20を表している。
FIG. 15 is a diagram showing a cross-correlation formula.
In the following, to prevent erroneous conversion of character codes, subscripts of formulas are written with normal characters.
In this embodiment, the cross-correlation calculation formula is defined by RS1S2 of formula (1) shown in FIG. 15(a). S 1 represents the finger signal 19 and S 2 represents the face signal 20 .

mは、S2に対してS1をシフトするデータ点数であって、Nは、データ点数の総数である。
mが0以上の場合は、式(1)の上式に示したように、m=0、1、2、・・・、Mとして、S1(n+m)×S2(n)をn=0からn=N-m-1まで加算することにより各mごとの相互相関を計算することができる。
例えば、図15(b)は、m=1の場合を示しており、この場合、相互相関は、S1(1)S2(0)+S1(2)S2(1)+・・・+S1(N-1)S2(N-2)となって、顔信号20に対して指信号19を1データ点だけデータ点が若い方にシフトした相互相関を計算することができる。
このように、mが1増えるごとに、指信号19を1データ点だけデータ点が若い方にシフトした相互相関を計算することができる。
m is the number of data points to shift S1 with respect to S2, and N is the total number of data points.
When m is 0 or more, S1(n+m)×S2(n) from n=0 with m=0, 1, 2, . The cross-correlation for each m can be calculated by adding up to n=N−m−1.
For example, FIG. 15(b) shows the case of m=1, in which case the cross-correlation is S1(1) S2(0)+S1(2) S2(1)+ . . . +S1(N− 1) As S2(N-2), it is possible to calculate the cross-correlation of the finger signal 19 with respect to the face signal 20 shifted by one data point to a younger data point.
Thus, for each increment of m, the cross-correlation of the finger signal 19 shifted one data point to the younger data point can be calculated.

一方、mが負の場合は、mの符号を反転させてm=-1、-2、-3、・・・、-MとしてS1(n+m)×S2(n)をn=-mからN-1まで加算することにより相互相関を計算する。
例えば、図15(c)は、m=-1の場合を示しており、この場合、相互相関は、S1(0)S2(1)+S1(1)S2(2)+・・・+S1(N-2)S2(N-1)となって、顔信号20に対して指信号19を1データ点だけデータ点が進む方にシフトした相互相関を計算することができる。
このように、mが1減るごとに、指信号19を1データ点だけデータ点が進む方にシフトした相互相関を計算することができる。
On the other hand, when m is negative, the sign of m is inverted and S1(n+m)×S2(n) is changed from n=-m to N Calculate the cross-correlation by adding up to -1.
For example, FIG. 15(c) shows the case of m=−1, in which case the cross-correlation is S1(0)S2(1)+S1(1)S2(2)+ . . . +S1(N -2) As S2(N-1), the cross-correlation of the finger signal 19 shifted forward by one data point with respect to the face signal 20 can be calculated.
Thus, for each decrement in m, a cross-correlation can be calculated that shifts the finger signal 19 forward by one data point.

指データは顔データよりも遅延するため、本実施形態では、少なくとも指データのデータ点を顔データのデータ点に対して若い方にシフトして、相互相関が最大となるmを求めれば良い。
mの最大値Mは、実験により適した値を求めることができる。本実施形態では、例えば、後述の240[fps]相当の分解能を用いる場合、一例としてM=480である。
Since the finger data is delayed more than the face data, in this embodiment, at least the data points of the finger data are shifted to the younger side with respect to the data points of the face data, and m that maximizes the cross-correlation is obtained.
A suitable value for the maximum value M of m can be obtained through experiments. In this embodiment, for example, when using a resolution equivalent to 240 [fps], which will be described later, M=480 as an example.

なお、式(1)は、一例であって各種の変形が可能である。例えば、式(1)では、指信号19と顔信号20の相対的な位置を時間方向にシフトして、両者の重なっている全てのデータ点について演算を行って加算しているが、一部のデータ点について演算して加算するようにしても良い。
また、両信号の少なくとも一方を時間方向に移動させながら波形全体の類似を計測するものであれば、他の計算式を採用することもできる。この場合、両波形が最も類似する場合の時間方向の相対的な移動量が遅れ時間Lに対応する。
Note that formula (1) is an example and various modifications are possible. For example, in equation (1), the relative positions of the finger signal 19 and the face signal 20 are shifted in the time direction, and all overlapping data points are calculated and added. data points may be calculated and added.
Also, other calculation formulas can be adopted as long as the similarity of the entire waveforms is measured while moving at least one of the two signals in the time direction. In this case, the delay time L corresponds to the amount of relative movement in the time direction when both waveforms are most similar.

表カメラ7と裏カメラ8の対応するフレームが同時に撮影されていない場合や、色空間の変換などの何らかの関係で遅れ<0となる場合を考慮し、このように時間軸の正負の方向にシフトして、遅れ>0となる領域のピークを探索することにより、指信号は顔信号よりも遅れるという条件を満たすことができる。 Considering the case where the corresponding frames of the front camera 7 and the rear camera 8 are not shot at the same time, or the case where the delay < 0 due to some relationship such as conversion of the color space, the time axis is shifted in the positive and negative directions in this way. Then, the condition that the finger signal lags behind the face signal can be satisfied by searching for the peak in the region where lag>0.

このように規定した相互相関を計算すると、顔信号20に対して指信号19をシフトしていった場合に、顔信号20の波形と指信号19の波形が全体的に近い場合に大きな値となり、近くない場合に小さな値となる。 When the cross-correlation defined in this way is calculated, when the finger signal 19 is shifted with respect to the face signal 20, a large value is obtained when the waveform of the face signal 20 and the waveform of the finger signal 19 are generally close to each other. , is a small value if it is not close.

このように、血圧測定装置1は、指信号19と顔信号20の波形全体によって遅れ時間を測定するため、外乱による影響を受けにくく、単に、指信号19と顔信号20のピークから遅れ時間を求める場合よりも、精度が高く頑強に遅れ時間を計測することができる。 As described above, since the blood pressure measuring apparatus 1 measures the delay time based on the entire waveforms of the finger signal 19 and the face signal 20, it is less susceptible to external disturbances, and the delay time can be determined simply from the peaks of the finger signal 19 and the face signal 20. It is possible to measure the delay time more accurately and robustly than it is desired.

図16の各図は、相互相関の例を表した図である。
図中の黒丸は、顔信号20を構成する顔データ点を表し、黒三角は、指信号19を構成する指データ点を示しており、それぞれ、顔フレーム画像31と指フレーム画像32から作成したものである。
Each diagram in FIG. 16 is a diagram showing an example of cross-correlation.
The black circles in the figure represent the face data points forming the face signal 20, and the black triangles represent the finger data points forming the finger signal 19, which are created from the face frame image 31 and the finger frame image 32, respectively. It is.

図16(a)は、遅れ(指信号19のシフト量)が0データ点数の場合である。この場合、両者の波形の相互相関は良くなく、負の値となっている。
図16(b)は、遅れが4データ点数の場合である。この場合、遅れが0データ点数の場合よりも相互相関が改善し、0程度の値となっている。
FIG. 16(a) shows the case where the delay (shift amount of the finger signal 19) is 0 data points. In this case, the cross-correlation of both waveforms is not good and has a negative value.
FIG. 16B shows the case where the delay is 4 data points. In this case, the cross-correlation is improved to a value of about 0 as compared to the case where the delay is 0 data points.

以降、図16(c)~(f)に示したように、遅れのデータ点数が8、12となるにつれて相互相関が大きくなり、16、20となるにつれて小さくなっている。
この図の例では、データ点数が12のあたりで、指信号19と顔信号20の波形の形状が全体的に合うため、データ点数12個分の時間付近が遅れ時間Lと推定される。
After that, as shown in FIGS. 16(c) to 16(f), the cross-correlation increases as the number of delay data points becomes 8 and 12, and decreases as the number of delay data points becomes 16 and 20. FIG.
In the example of this figure, since the waveform shapes of the finger signal 19 and the face signal 20 generally match around 12 data points, the delay time L is estimated to be around 12 data points.

図17は、図16の例に係る遅れのデータ点数と相互相関の関係を表した図である。
図166の例で、遅れのデータ点数に対して、相互相関をプロットすると、データ点数が11の時に相互相関が最大となった。
このデータの例では、データ点数11個分の遅れの時間が正である場合、この時間が遅れ時間の候補となる(後述するように、0<ピークの遅れ時間L<1.1秒という制限を設けた)。
以上のように、指信号19と顔信号20のピークによって遅れ時間Lを計測せずに、これらの波形全体を用いて遅れ時間を計測する手法は、特徴2を構成する。
FIG. 17 is a diagram showing the relationship between the number of delay data points and the cross-correlation according to the example of FIG.
In the example of FIG. 166, when the cross-correlation is plotted against the number of lag data points, the cross-correlation becomes maximum when the number of data points is 11.
In this data example, if the delay time corresponding to 11 data points is positive, this time becomes a candidate for the delay time (as described later, the limit is 0 < peak delay time L < 1.1 seconds). ).
As described above, the method of measuring the delay time using the entire waveforms of the finger signal 19 and the face signal 20 without measuring the delay time L based on the peaks of the finger signal 19 and the face signal 20 constitutes the second feature.

ところで、このように、相互相関は、データ点数によって離散的に求められるが、これによって、遅れ時間Lの分解能が制限される。
この離散間隔は、顔動画と指動画のフレームレートによって規定されるため、指信号19と顔信号20の生のデータをそのまま用いると、遅れ時間Lは、フレームレートで規定される分解能よりも高い精度で求めることができない。
By the way, the cross-correlation can be obtained discretely according to the number of data points in this way, which limits the resolution of the delay time L. FIG.
Since this discrete interval is defined by the frame rate of the face moving image and the finger moving image, if the raw data of the finger signal 19 and the face signal 20 are used as they are, the delay time L is higher than the resolution defined by the frame rate. cannot be calculated with precision.

例えば、顔信号20に対する指信号19の遅れは、0.1[s]程度であるが、一般に用いられている携帯端末で撮影できる動画のフレームレートは、30[fps]程度であるため、0.1[s]の間に3フレーム程度しか撮影することができない。この分解能だと、40[mmHg]程度の分解能しか得られない。
また、例えフレームレートを上げることができる機種であったとしても、撮像素子が高フレームレート用に設計されていないため、画像が劣化してしまい、高分解能で血圧を計測することは困難である。
For example, the delay of the finger signal 19 with respect to the face signal 20 is about 0.1 [s], but the frame rate of moving images that can be captured by a mobile terminal that is generally used is about 30 [fps]. Only about 3 frames can be photographed during 1 [s]. With this resolution, only a resolution of about 40 [mmHg] can be obtained.
In addition, even if the model is capable of increasing the frame rate, since the imaging device is not designed for a high frame rate, the image deteriorates, making it difficult to measure blood pressure with high resolution. .

血圧測定装置1は、少なくとも5[mmHg]程度の分解能で血圧を測定したいため、240[fps]程度のフレームレートが必要である。
そこで、血圧測定装置1は、動画のフレームレートで取得した指信号19、顔信号20の離散的なデータを補間して、これをサンプリングすることにより、240[fps]相当のデータ点を作成する。
The blood pressure measurement device 1 needs a frame rate of about 240 [fps] to measure blood pressure with a resolution of at least about 5 [mmHg].
Therefore, the blood pressure measurement device 1 interpolates the discrete data of the finger signal 19 and the face signal 20 acquired at the moving image frame rate, and samples this to create data points equivalent to 240 [fps]. .

データの補間方法は各種あるが、ここでは、一例としてスプライン補間を用いた。これは、脈波は、生体による自然な現象であるため、データの間で不連続な異常値をとることはなく、データの間を滑らかにつなぐスプライン補間が適しているからである。なお、ベジエ補間などの他の補間方法を用いてもよい。 Although there are various data interpolation methods, spline interpolation is used as an example here. This is because the pulse wave is a natural phenomenon caused by a living organism, and spline interpolation is suitable for smoothly connecting data without discontinuous abnormal values between data. Note that other interpolation methods such as Bezier interpolation may be used.

図18の各図は、脈波の補間を説明するための図である。
図18(a)に示したように、補間前の黒丸で示した顔データ点と黒三角で示した指データ単は、顔フレーム画像31と指フレーム画像32のフレームレートに従って、0.1[s]あたり3個程度の時間間隔の飛び飛びの値となっている。
Each diagram in FIG. 18 is a diagram for explaining the interpolation of the pulse wave.
As shown in FIG. 18A, the face data points indicated by black circles and the finger data points indicated by black triangles before interpolation are 0.1 [ s], the values are discontinuous at about three time intervals.

これに対し、血圧測定装置1は、図18(b)に示したように、顔データと指データをスプライン補間で補間し、補間した曲線上の値をサンプリングすることにより、240[fps]相当のデータ点を生成している。これにより、0.1秒あたり24個のデータ点を生成することができる。
補間によって生成した顔データと指データは、時間間隔が小さく、黒丸や黒三角で図示できないため、それぞれ、実線と破線で示している。
On the other hand, as shown in FIG. 18(b), the blood pressure measuring device 1 interpolates the face data and the finger data by spline interpolation, samples the values on the interpolated curve, and obtains 240 fps equivalent. data points. This can generate 24 data points per 0.1 second.
Face data and finger data generated by interpolation are shown by solid lines and dashed lines, respectively, because the time intervals are too small to be shown by black circles or black triangles.

より詳細には、血圧測定装置1は、図18(c)に示したように、補間前の顔データ点36、36、・・・を用いてスプライン曲線38を生成し、スプライン曲線38上で240[fps]に相当する顔データ点37、37・・・を取得する。
血圧測定装置1は、指データ点に関しても同様にして、スプライン補間した指データ点を取得する。
そして、血圧測定装置1は、補間した顔信号と指信号の全体を用いて相互相関を計算する。
More specifically, the blood pressure measuring device 1 generates a spline curve 38 using face data points 36, 36, . . . Acquire face data points 37, 37, . . . corresponding to 240 [fps].
The blood pressure measurement device 1 similarly obtains spline-interpolated finger data points for finger data points.
Then, the blood pressure measuring device 1 calculates the cross-correlation using the whole interpolated face signal and finger signal.

このように、血圧測定装置1の有する脈波取得手段は、第1の動画の色成分の変化と、第2の動画の色成分の変化から、それぞれ、第1の動画のフレームレートと、第2の動画のフレームレートに応じた離散的な第1の脈波と離散的な第2の脈波を取得している。
そして、血圧測定装置1は、離散的な第1の脈波と離散的な第2の脈波の、それぞれの離散値を補間する補間手段を備えている。
更に、血圧測定装置1の有する遅れ取得手段は、補間した第1の脈波の波形の全体と、補間した第2の脈波の波形の全体と、を用いて取得した第1の脈波と第2の脈波の間の伝搬の遅れを取得している。
In this way, the pulse wave acquiring means of the blood pressure measurement device 1 determines the frame rate of the first moving image, 2, a discrete first pulse wave and a discrete second pulse wave are acquired according to the frame rate of the moving image.
The blood pressure measuring device 1 has an interpolating means for interpolating discrete values of the first discrete pulse wave and the second discrete pulse wave.
Furthermore, the delay acquisition means of the blood pressure measurement device 1 acquires the first pulse wave using the entire interpolated waveform of the first pulse wave and the entire interpolated waveform of the second pulse wave. Acquiring the propagation delay during the second pulse wave.

図19は、相互相関の補間による効果を説明するための図である。
図19(a)は、29[fps]で撮影した顔フレーム画像31と指フレーム画像32から取得した、補間前の相互相関を表している。補正前の相互相関列からは、1/29秒単位で遅れ時間のピークを探索することができる。図の例は、模式図であるが、これによると、遅れの最大値のデータ点は11であり、時間に換算すると、約0.379[s]である。
FIG. 19 is a diagram for explaining the effect of cross-correlation interpolation.
FIG. 19A shows the cross-correlation before interpolation acquired from the face frame image 31 and the finger frame image 32 captured at 29 [fps]. From the cross-correlation sequence before correction, it is possible to search for the delay time peak in units of 1/29 seconds. The example of the figure is a schematic diagram, and according to this, the maximum delay data point is 11, which is about 0.379 [s] when converted to time.

図19(b)は、240[fps]相当に補間した顔データ点と指データ点の相互相関を表している。補間後の相互関係列からは、より分解能の高い1/240秒単位で遅れ時間のピークを探索することができる。図の例では、遅れの最大のデータ点は87であり、時間に換算すると、約0.3625秒である。こちらの値の方がより真の値に近い値となっている。 FIG. 19B shows cross-correlation between face data points and finger data points interpolated at 240 [fps]. From the interpolated correlation sequence, it is possible to search for the peak of the delay time in units of 1/240 seconds with higher resolution. In the example shown, the maximum delay data point is 87, which translates to approximately 0.3625 seconds. This value is closer to the true value.

以上のように、血圧測定装置1は、データ点を補間することにより、相互相関による遅れ時間Lの分解能を高めることができる。
このような、指信号19と顔信号20の各データ点をスプライン補間することによって分解能を向上させる手法は、特徴3を構成する。
As described above, the blood pressure measurement device 1 can improve the resolution of the delay time L due to cross-correlation by interpolating the data points.
Feature 3 is a method of improving the resolution by spline-interpolating each data point of the finger signal 19 and the face signal 20 .

図20は、バンドパスフィルタの最適化を説明するための図である。
相互相関を計算する場合、なるべく脈波に由来する波形を残し、他の原因に由来する波形を除きたい。
そこで、血圧測定装置1は、バンドパスフィルタを用いて、補間前の指信号19と顔信号20をフィルタリングする。
FIG. 20 is a diagram for explaining optimization of the bandpass filter.
When calculating the cross-correlation, it is desirable to leave waveforms derived from pulse waves as much as possible and exclude waveforms derived from other causes.
Therefore, the blood pressure measurement device 1 filters the finger signal 19 and the face signal 20 before interpolation using a bandpass filter.

図は、通過帯域の下限側のカットオフ周波数に対する相互相関の実験値を示している。図に示したように、周波数が20[bpm:beats per minute(1分あたりの脈拍数)]程度以下では、脈波以外の要素の影響が大きいため相互相関の値が急減し、正確な測定を行うことができない低相関領域となっている。
40[bpm]以上が脈拍数領域であるが、20[bpm]程度から良好な相互相関を得ることができる。
The figure shows experimental values of cross-correlation with respect to the cutoff frequency on the lower limit side of the passband. As shown in the figure, when the frequency is about 20 [bpm: beats per minute (pulse rate per minute)] or less, the influence of factors other than pulse waves is large, so the cross-correlation value decreases sharply, making accurate measurement difficult. This is a low-correlation region where it is not possible to perform
The pulse rate region is 40 [bpm] or higher, and good cross-correlation can be obtained from around 20 [bpm].

本願発明者が、実験して試行錯誤した結果、バンドパスフィルタの通過帯域の下限は20[bpm]が適当であることが分かった。
同様に、通過帯域の上限は、250[bpm]が適当であることが分かった。
そのため、血圧測定装置1では、通過帯域を20~250[bpm]とするバンドパスフィルタを採用することとした。
As a result of trial and error, the inventor of the present application found that 20 [bpm] is appropriate for the lower limit of the passband of the bandpass filter.
Similarly, it was found that 250 [bpm] is appropriate for the upper limit of the passband.
Therefore, the blood pressure measuring device 1 employs a bandpass filter with a pass band of 20 to 250 [bpm].

図21と図22は、血圧測定装置1が行う血圧測定処理の全体的な流れを説明するためのフローチャートである。
以下の処理は、記憶部10に記憶した血圧測定プログラムに従ってCPU2が行うものである。
まず、CPU2は、動画フレーム読み込み処理を行う(ステップ5)。
これは、表カメラ7と裏カメラ8を共に動作させ、表カメラ7で撮影した顔動画と、裏カメラ8で撮影した指動画を記憶部10などに記憶しておき、これをRAM4に読み込む処理である。
21 and 22 are flowcharts for explaining the overall flow of blood pressure measurement processing performed by the blood pressure measurement device 1. FIG.
The following processing is performed by the CPU 2 according to the blood pressure measurement program stored in the storage unit 10. FIG.
First, the CPU 2 performs moving image frame reading processing (step 5).
In this process, both the front camera 7 and the back camera 8 are operated, and the face moving image taken by the front camera 7 and the finger moving image taken by the back camera 8 are stored in the storage unit 10 or the like, and read into the RAM 4. is.

次に、CPU2は、バンドパスフィルタに関する設定や、他のパラメータの設定を行うパラメータ設定・初期化処理を行う(ステップ10)。
次に、CPU2は、顔フレーム画像31で皮膚を検出することにより顔領域を抽出して、これを測定領域に設定する測定領域設定処理を行う(ステップ15)。
そして、CPU2は、測定領域のQ値を用いて顔信号を取得する顔信号取得処理を行う(ステップ20)。
Next, the CPU 2 performs parameter setting/initialization processing for setting the band-pass filter and setting other parameters (step 10).
Next, the CPU 2 extracts a face area by detecting skin in the face frame image 31, and performs measurement area setting processing for setting this as a measurement area (step 15).
Then, the CPU 2 performs face signal acquisition processing for acquiring a face signal using the Q value of the measurement area (step 20).

次に、CPU2は、顔信号取得処理をまだ行っていない顔フレーム画像31がある場合は(ステップ25;N)、ステップ15に戻り、全ての顔フレーム画像31に対して顔信号取得処理を行った場合は(ステップ25;Y)、顔信号のスペクトルをFFT(fast Fourier Transform:高速フーリエ変換)にて周波数解析する顔信号スペクトル計算処理を行う(ステップ30)。 Next, when there is a face frame image 31 for which face signal acquisition processing has not yet been performed (step 25; N), the CPU 2 returns to step 15 and performs face signal acquisition processing on all face frame images 31. If so (step 25; Y), the spectrum of the face signal is subjected to frequency analysis by FFT (fast Fourier transform) to perform face signal spectrum calculation processing (step 30).

そして、CPU2は、顔信号のスペクトルから顔脈拍数を検出する顔脈拍数検出処理を行い(ステップ35)、次いで、顔信号のS/N比を計算することにより検出した顔脈拍数の信号強度を評価する顔信号強度評価処理を行う(ステップ40)。 Then, the CPU 2 performs face pulse rate detection processing for detecting the face pulse rate from the spectrum of the face signal (step 35), and then calculates the signal strength of the detected face pulse rate by calculating the S/N ratio of the face signal. face signal intensity evaluation processing is performed (step 40).

以上のステップ30~40は、S/N比によって顔信号の信頼性を評価するための処理であり、次にCPU2は、顔信号の信頼度が十分でない場合は(ステップ45;N)、「信号が弱くて血圧が測定できません」などの警告をディスプレイ5に表示するなどして(ステップ50)、処理を終了する。 The steps 30 to 40 described above are processes for evaluating the reliability of the facial signal based on the S/N ratio. The signal is weak and the blood pressure cannot be measured" is displayed on the display 5 (step 50), and the process is terminated.

一方、顔信号の信頼度が十分である場合(ステップ45;Y)、CPU2は、指フレーム画像32のG値を用いて指信号を取得する指信号取得処理を行う(ステップ55)。
次に、CPU2は、指信号取得処理をまだ行っていない指フレーム画像32がある場合は(ステップ60;N)、ステップ55に戻り、全ての指フレーム画像32に対して指信号取得処理を行った場合は(ステップ60;Y)、指信号のスペクトルをFFTにて周波数解析する指信号スペクトル計算処理を行う(ステップ65)。
On the other hand, when the reliability of the face signal is sufficient (step 45; Y), the CPU 2 performs finger signal acquisition processing for acquiring the finger signal using the G value of the finger frame image 32 (step 55).
Next, when there is a finger frame image 32 for which finger signal acquisition processing has not yet been performed (step 60; N), the CPU 2 returns to step 55 and performs finger signal acquisition processing on all finger frame images 32. If so (step 60; Y), a finger signal spectrum calculation process for frequency analysis of the spectrum of the finger signal by FFT is performed (step 65).

そして、CPU2は、指信号のスペクトルから指脈拍数を検出する指脈拍数検出処理を行い(ステップ70)、次いで、指信号のS/N比を計算することにより検出した指脈拍数の信号強度を評価する指信号強度評価処理を行う(ステップ75)。 Then, the CPU 2 performs finger pulse rate detection processing for detecting the finger pulse rate from the spectrum of the finger signal (step 70), and then calculates the signal strength of the detected finger pulse rate by calculating the S/N ratio of the finger signal. is performed (step 75).

以上のステップ65~75は、S/N比によって指信号の信頼性を評価するための処理であり、次にCPU2は、指信号の信頼度が十分でない場合は(ステップ80;N)、「信号が弱くて血圧が測定できません」などの警告をディスプレイ5に表示するなどして(ステップ95)、処理を終了する。 The above steps 65 to 75 are processes for evaluating the reliability of the finger signal based on the S/N ratio. Next, when the reliability of the finger signal is not sufficient (step 80; N), The signal is weak and the blood pressure cannot be measured" is displayed on the display 5 (step 95), and the process is terminated.

一方、指信号の信頼度が十分である場合(ステップ80;Y)、CPU2は、顔信号や指信号に対して、バンドパスフィルタを適用したり、データ点を補間するなどの前処理(以下、顔指信号前処理という)を行う(ステップ85)。 On the other hand, if the reliability of the finger signal is sufficient (step 80; Y), the CPU 2 performs preprocessing (hereinafter referred to as , facial finger signal preprocessing) is performed (step 85).

次にCPU2は、脈波(顔信号、指信号)の最低値(谷)Vを使用して遅れ時間Lを算出し(ステップ720)、血圧測定可否判断を行う(ステップ725)。
CPU2は、血圧測定可否判断が不可であれば(ステップ725;N)その旨の報知を行い(ステップ730)、処理を終了する。
以上のステップ720、ステップ725、及び、ステップ730の各処理の詳細は、図8で説明した第1実施形態と同じなので省略する。
Next, the CPU 2 calculates the delay time L using the lowest value (trough) V of the pulse wave (face signal, finger signal) (step 720), and determines whether blood pressure measurement is possible (step 725).
If CPU 2 cannot determine whether blood pressure measurement is possible (step 725; N), CPU 2 notifies that effect (step 730), and terminates the process.
The details of each process of steps 720, 725, and 730 are the same as those of the first embodiment described with reference to FIG. 8, and therefore are omitted.

なお、本実施形態では、裏カメラ8に指の指紋面を当接させた状態で脈波の測定を行っている。
従って、ステップ730の報知では、例えば「正確な血圧測定ができないため、裏カメラ8を別の位置に当接させてください。」というように報知内容を第2実施形態に合わせて変更することが好ましい。
In this embodiment, the pulse wave is measured while the fingerprint surface of the finger is in contact with the rear camera 8 .
Therefore, in the notification at step 730, the content of the notification can be changed according to the second embodiment, for example, "Since accurate blood pressure measurement cannot be performed, please place the rear camera 8 in contact with another position." preferable.

一方、血圧測定可否判断が可能であれば(ステップ725;Y)、CPU2は、ステップ85の顔指信号前処理を行った顔信号と指信号を用いて血圧を測定する血圧測定処理を行って(ステップ90)、血圧測定処理を終了する。 On the other hand, if it is possible to determine whether or not blood pressure measurement is possible (step 725; Y), the CPU 2 performs blood pressure measurement processing for measuring blood pressure using the face signal and the finger signal that have undergone face and finger signal preprocessing in step 85. (Step 90), the blood pressure measurement process is terminated.

以下、図21、図22で説明した各処理の詳細について説明する。
図23は、ステップ5(図21)の動画フレーム読み込み処理を説明するためのフローチャートである。
まず、CPU2は、記憶部10に記憶した顔動画と指動画の動画データをそれぞれRAM4に読み込む(ステップ105)。
次に、CPU2は、これらの動画のフレームレートを取得してRAM4に記憶する(ステップ110)。フレームレートは、顔動画と指動画のファイルに付随しており(撮影時間とフレーム数から計算しても良い)、これを読むことにより取得する。本実施形態では、両動画のフレームレートが同じとするが、異なっていても良く、何れの場合も後に240[fps]相当に補間する。
Details of each process described with reference to FIGS. 21 and 22 will be described below.
FIG. 23 is a flowchart for explaining the moving image frame reading process in step 5 (FIG. 21).
First, the CPU 2 reads the moving image data of the face moving image and the finger moving image stored in the storage unit 10 into the RAM 4 (step 105).
Next, the CPU 2 acquires the frame rates of these moving images and stores them in the RAM 4 (step 110). The frame rate is attached to the face video and finger video files (may be calculated from the shooting time and the number of frames), and is obtained by reading this. In this embodiment, it is assumed that both moving images have the same frame rate, but they may have different frame rates.

次に、CPU2は、それぞれの動画のフレーム数を取得してCPU2に記憶する(ステップ115)。
次に、CPU2は、顔動画と指動画のそれぞれに対して、ステップ110でRAM4に記憶したフレームレートと、動画の長さ(時間)に基づいて、後ほどFFTにて用いる時間ベクトルを作成するための各パラメータを準備してRAM4に記憶し(ステップ120)、メインルーチンにリターンする。
Next, the CPU 2 obtains the number of frames of each moving image and stores it in the CPU 2 (step 115).
Next, the CPU 2 creates a time vector to be used later in FFT based on the frame rate stored in the RAM 4 in step 110 and the length (time) of the moving image for each of the face moving image and the finger moving image. are prepared and stored in the RAM 4 (step 120), and the process returns to the main routine.

図24は、ステップ10(図21)のパラメータ設定・初期化処理を説明するためのフローチャートである。
まず、CPU2は、測定領域設定用のパラメータをRAM4に記憶して設定する(ステップ125)。
これは、HSV色空間にて顔領域をHとSの値によって抽出するのであるが、そのためのH値の範囲と、S値の範囲を設定するものである。これらH値、S値の上下限値は、本願発明者が実験により求めた。
FIG. 24 is a flow chart for explaining the parameter setting/initialization process in step 10 (FIG. 21).
First, the CPU 2 stores and sets parameters for setting the measurement area in the RAM 4 (step 125).
This extracts the face area in the HSV color space using the H and S values, and sets the H value range and the S value range for that purpose. The upper and lower limits of these H value and S value were determined by the inventor of the present application through experiments.

次に、CPU2は、バンドパスフィルタ(BPF)安定化時間をRAM4に記憶して設定する(ステップ130)。
これは、バンドパスフィルタを信号に適用した場合、デジタル処理の関係で最初の方の出力値は、正しい値が得られないため、信号が安定するまでの安定化時間を設定するものである。バンドパスフィルタを適用した信号の安定化時間に達するまでの部分は削除する。ここでは、安定化時間として2秒を設定した。
Next, the CPU 2 stores and sets a bandpass filter (BPF) stabilization time in the RAM 4 (step 130).
This sets the stabilization time until the signal stabilizes, because when a band-pass filter is applied to the signal, the first output value cannot be obtained due to digital processing. The portion of the band-pass filtered signal up to the stabilization time is deleted. Here, 2 seconds is set as the stabilization time.

次に、CPU2は、バンドパスフィルタの周波数領域をRAM4に記憶して設定する(ステップ135)。上で述べたように、ここでは、周波数領域を20~250[bpm]に設定した。
次に、CPU2は、伝達関数をRAM4に記憶することにより、フィルタのパラメータを準備する(ステップ140)。
Next, the CPU 2 stores and sets the frequency region of the bandpass filter in the RAM 4 (step 135). As described above, the frequency range is set to 20-250 [bpm] here.
CPU 2 then prepares the parameters of the filter by storing the transfer function in RAM 4 (step 140).

次に、CPU2は、顔信号と指信号に対してそれぞれの信頼度(S/N比)の基準をRAM4に記憶して設定する(ステップ145)。ここでは、一例として両信号とも信頼度の基準を0とした。 Next, the CPU 2 stores and sets standards of reliability (S/N ratio) for the face signal and the finger signal in the RAM 4 (step 145). Here, as an example, both signals have a reliability standard of 0.

次に、CPU2は、形態学的クロージングの素子の定義パラメータをRAM4に記憶して設定する(ステップ150)。
ここでは、定義パラメータとして10画素の丸い形状の素子を定義した。
形態学的クロージングとは、定義した素子に基づいて膨張(dilation)処理と、収縮(erosion)処理を行うことにより、図形を穴埋めしたり、切断部分を結合したりする処理である。
Next, the CPU 2 stores and sets definition parameters of elements of morphological closing in the RAM 4 (step 150).
Here, a round-shaped element with 10 pixels was defined as a defining parameter.
Morphological closing is a process of filling a figure or joining a cut part by performing a dilation process and an erosion process based on defined elements.

例えば、縁の厚い眼鏡をかけている場合、顔面は眼鏡によって区画されて、額、左右の眼部、鼻以下の部位の4つに認識されてしまうが、これらの領域は近接しているため、形態学的クロージングによって眼鏡の部分を穴埋めすることにより1つの塊(ひとまとまりの部位)にまとめることができる。
形態学的クロージングでまとまることにより、CPU2は、額、左右の眼部、鼻以下の部位の4つからなる領域を顔の領域であると認識して、これら4つの領域を測定領域に設定することができる。
For example, when wearing glasses with thick rims, the face is divided by the glasses and recognized as four parts: the forehead, the left and right eyes, and the part below the nose. , can be combined into one mass (a group of parts) by filling in the eyeglass part by morphological closing.
By morphological closing, the CPU 2 recognizes the four areas of the forehead, the left and right eyes, and the part below the nose as the face area, and sets these four areas as the measurement areas. be able to.

図25は、ステップ15(図21)の測定領域設定処理を説明するためのフローチャート(a)と、説明図(b)である。
図25(a)のステップ160、165は、顔動画の顔フレーム画像31を取得するステップであるが、図25(b)に示したように1つのフレームに指領域の画像と顔領域の画像が含まれている場合、CPU2は、未処理のうちの最も撮影時間の若いフレームを選択して(ステップ160)、顔領域に限定して画像を抽出し(ステップ165)、これを顔フレーム画像31としてRAM4に記憶する。
一方、顔動画と指動画が別動画である場合は、顔動画から未処理の最も撮影時間の若い顔フレーム画像31を取得してRAM4に記憶する。
FIG. 25 is a flowchart (a) and an explanatory diagram (b) for explaining the measurement area setting process in step 15 (FIG. 21).
Steps 160 and 165 in FIG. 25(a) are steps for acquiring the face frame image 31 of the face moving image. is included, the CPU 2 selects the unprocessed frame with the shortest shooting time (step 160), extracts an image limited to the face area (step 165), and uses it as a face frame image 31 is stored in the RAM 4.
On the other hand, when the face moving image and the finger moving image are different moving images, the unprocessed face frame image 31 with the youngest photographing time is obtained from the facial moving image and stored in the RAM 4 .

そして、CPU2は、RAM4に記憶した顔フレーム画像31の色空間をRGB色空間からHSV色空間に変換し、変換後のHSV画像データをRAM4に記憶する(ステップ170)。 Then, the CPU 2 converts the color space of the face frame image 31 stored in the RAM 4 from the RGB color space to the HSV color space, and stores the converted HSV image data in the RAM 4 (step 170).

次に、CPU2は、図24のステップ125で設定したH成分の上下限値の基準値をRAM4から読み出す。
そして、CPU2は、HSV画像で、H成分が当該上下限基準値の範囲となる領域を抽出する(抜き出す)Hマスク(BWH)を作成してRAM4に記憶する(ステップ175)。
Next, the CPU 2 reads from the RAM 4 the reference values for the upper and lower limits of the H component set in step 125 of FIG.
Then, the CPU 2 creates an H mask (BWH) for extracting (extracting) a region in which the H component is within the range of the upper and lower limit reference values in the HSV image, and stores it in the RAM 4 (step 175).

更に、CPU2は、図24のステップ125で設定したS成分の上下限値の基準値をRAM4から読み出す。
そして、CPU2は、HSV画像で、S成分が当該上下限基準値の範囲となる領域を抽出するSマスク(BWS)を作成してRAM4に記憶する(ステップ180)。
Further, the CPU 2 reads from the RAM 4 the reference values for the upper and lower limits of the S component set in step 125 of FIG.
Then, the CPU 2 creates an S mask (BWS) for extracting an area in the HSV image in which the S component is within the range of the upper and lower limit reference values, and stores it in the RAM 4 (step 180).

次に、CPU2は、RAM4に記憶したHマスク(BWH)とSマスク(BWS)を論理積にて合成して、H成分とS成分の両者がそれぞれ基準値以内となる領域を抽出するHSマスク(BWH×BWS)を作成してRAM4に記憶する(ステップ185)。 Next, the CPU 2 synthesizes the H mask (BWH) and the S mask (BWS) stored in the RAM 4 by logical product, and extracts an HS mask for extracting a region in which both the H component and the S component are within the respective reference values. (BWH×BWS) is created and stored in RAM 4 (step 185).

次に、CPU2は、RAM4に記憶したHSマスクを用いて、HSV画像からH成分とS成分の両者がそれぞれ基準値以内となる領域を抽出することにより、塊領域(皮膚がまとまって露出しており、塊となって検出される領域)の検出を試みる(ステップ190)。 Next, the CPU 2 uses the HS mask stored in the RAM 4 to extract a region in which both the H component and the S component are within the reference values from the HSV image, thereby obtaining a mass region (a mass of exposed skin). 190).

ステップ190において塊領域を検出した場合(ステップ195;Y)、CPU2は、最大4つの塊領域(bigBlobs)を選択する(ステップ200)。
ここで、最大4つとしたのは、眼鏡を着用している対象者15の場合、顔面が眼鏡の縁によって区画されて、4つの塊領域として検出される場合があるからである。
When a blob area is detected in step 190 (step 195; Y), the CPU 2 selects up to four blob areas (bigBlobs) (step 200).
The reason why the maximum number is four is that in the case of the subject 15 wearing eyeglasses, the face may be divided by the edges of the eyeglasses and detected as four lump areas.

次に、CPU2は、図24のステップ150で設定したパラメータをRAM4から読み出し、これを用いることにより、選択した塊領域に対して形態学的クロージングの処理を行う(ステップ205)。
これにより、4つの塊領域が眼鏡によって分割された顔面であった場合、これらは近接しているため、形態学的クロージングによって眼鏡部分が穴埋めされて一つの領域にまとまる。
Next, the CPU 2 reads the parameters set in step 150 of FIG. 24 from the RAM 4, and uses them to perform morphological closing processing on the selected block region (step 205).
As a result, when the four mass regions are a face divided by eyeglasses, since these are close to each other, the eyeglasses are filled into one region by morphological closing.

次に、CPU2は、形態学的クロージング後の最大の塊領域(bigBlobf)を特定する(ステップ210)。
これにより、眼鏡の着用の有無にかかわらず、顔の領域を最大の塊領域として特定することができる。
Next, CPU 2 identifies the largest blob region (bigBlobf) after morphological closing (step 210).
As a result, regardless of whether glasses are worn or not, the face region can be specified as the largest mass region.

そして、CPU2は、bigBlobsとbigBlobfの論理積(bigBlobs×bigBlobf)によって脈拍数の測定領域(bigBlob)を設定する(ステップ215)。
これにより、眼鏡を着用しない場合は顔全体が、眼鏡をかけて顔が4つの部位に分かれた場合は、これら4つの領域が脈拍の測定領域となる。
Then, the CPU 2 sets the pulse rate measurement area (bigBlob) by the logical product of bigBlobs and bigBlobf (bigBlobs×bigBlobf) (step 215).
As a result, the whole face becomes the pulse measurement area when the eyeglasses are not worn, and these four areas become the pulse measurement areas when the eyeglasses are worn and the face is divided into four parts.

そして、CPU2は、測定領域の画素を1、それ以外の画素を0とする行列によって測定領域をRAM4に記憶する。
このように、CPU2は、形態学的クロージングでひとまとまりにできる範囲の塊領域を脈拍数の測定領域に設定する。
Then, the CPU 2 stores the measurement area in the RAM 4 as a matrix in which the pixels in the measurement area are 1 and the other pixels are 0.
In this way, the CPU 2 sets a mass area within a range that can be grouped by morphological closing as a pulse rate measurement area.

図12(a)の例では、背景や衣服などが写った元の顔フレーム画像31から、皮膚が露出している顔面部と首のあたりの塊領域25を抽出して、これを測定領域26に設定することができる。 In the example of FIG. 12(a), from the original face frame image 31 showing the background, clothes, etc., a mass region 25 around the face and neck where the skin is exposed is extracted, and the mass region 25 is measured as a measurement region 26. can be set to

一方、塊領域を検出しなかった場合(ステップ195;N)、CPU2は、測定領域をゼロ行列としてRAM4に記憶する(ステップ220)。
以上の処理を行った後、CPU2は、メインルーチンにリターンする。
On the other hand, if no lump area is detected (step 195; N), the CPU 2 stores the measurement area as a zero matrix in the RAM 4 (step 220).
After performing the above processing, the CPU 2 returns to the main routine.

図26は、ステップ20(図21)の顔信号取得処理を説明するためのフローチャートである。
まず、CPU2は、測定領域の大きさ(面積)を画素数によって計算し、これをRAM4に記憶する(ステップ230)。
次に、CPU2は、RAM4に記憶した測定領域の大きさが基準値より大きいか否かを判断する(ステップ235)。
この基準値は、これより大きければ脈拍数が測定できるというフレームに対する面積であって、例えば、フレームの5%に設定してある。
FIG. 26 is a flow chart for explaining the face signal acquisition process of step 20 (FIG. 21).
First, the CPU 2 calculates the size (area) of the measurement region by the number of pixels and stores it in the RAM 4 (step 230).
Next, CPU 2 determines whether or not the size of the measurement area stored in RAM 4 is larger than the reference value (step 235).
This reference value is the area for the frame above which the pulse rate can be measured, and is set to, for example, 5% of the frame.

測定領域の大きさが基準値より大きい場合(ステップ235;Y)、CPU2は、ステップ165(図25)でRAM4に記憶した顔フレーム画像31をRGB色空間からYIQ色空間に変換して変換後のYIQ画像データをRAM4に記憶する(ステップ240)。 If the size of the measurement area is larger than the reference value (step 235; Y), the CPU 2 converts the face frame image 31 stored in the RAM 4 in step 165 (FIG. 25) from the RGB color space to the YIQ color space. YIQ image data is stored in RAM 4 (step 240).

次に、CPU2は、予め用意したカメラ特性を用いてYIQ画像データの各画素のQ値を調整する(ステップ245)。カメラ特性は、撮像素子に由来する画素のQ値のばらつきを補正するのに用いる特性である。
次に、CPU2は、YIQ画像データの各画素のQ値を成分とするQ行列とステップ215(図25)でRAM4に記憶した測定領域の行列との論理積を計算することにより、Q行列を測定領域に限定する(ステップ250)。
限定したQ行列は、測定領域にだけQ値があり、他の領域は色成分が0となっている。
Next, the CPU 2 adjusts the Q value of each pixel of the YIQ image data using camera characteristics prepared in advance (step 245). The camera characteristics are characteristics used to correct variations in the Q value of pixels originating from the imaging device.
Next, the CPU 2 calculates the logical product of the Q matrix whose components are the Q values of each pixel of the YIQ image data and the matrix of the measurement area stored in the RAM 4 in step 215 (FIG. 25), thereby obtaining the Q matrix. Limit to the measurement area (step 250).
The limited Q matrix has a Q value only in the measurement area, and the color component is 0 in other areas.

次に、CPU2は、当該限定したQ行列のQ値の平均を計算することにより、測定領域のQ値を平均してRAM4に記憶する(ステップ255)。このQ値が顔信号のデータ点となる。ステップ255を繰り返すことにより、データ点の時系列がRAM4に記憶されて、これが顔信号となる。 Next, the CPU 2 averages the Q values of the measurement region by calculating the average of the Q values of the limited Q matrix, and stores the average Q values in the RAM 4 (step 255). This Q value becomes the data point of the face signal. By repeating step 255, the time series of data points is stored in RAM 4 and becomes the face signal.

一方、測定領域の大きさが基準値を満たさない場合(ステップ235;N)、CPU2は、当該顔フレーム画像31が動画の最初のフレーム画像ではないか否かを判断する(ステップ260)。
最初のフレーム画像ではない場合(ステップ260;Y)、即ち、動画の2枚目以降のフレーム画像である場合、CPU2は、測定領域の大きさが十分でないため、Q値=前回のQ値として、前回のQ値を今回の推定値として採用する(ステップ265)。これは、1フレームレートの時間間隔で脈拍が大きく変化することがないことから、前回のQ値と今回のQ値が大きく異なることはないため、今回のQ値を前回のQ値で代用するものである。
On the other hand, if the size of the measurement area does not satisfy the reference value (step 235; N), the CPU 2 determines whether the face frame image 31 is not the first frame image of the moving image (step 260).
If it is not the first frame image (step 260; Y), that is, if it is the second or later frame image of the moving image, the CPU 2 determines that the Q value is equal to the previous Q value because the size of the measurement area is not sufficient. , the previous Q value is adopted as the current estimate (step 265). This is because the pulse rate does not change significantly in the time interval of one frame rate, so the previous Q value and the current Q value do not differ greatly, so the current Q value is substituted with the previous Q value. It is.

一方、当該顔フレーム画像31が動画の最初のフレーム画像である場合(ステップ260;N)、CPU2は、Q値を0に設定してRAM4に記憶する(ステップ270)。
CPU2は、以上の処理を行った後、メインルーチンにリターンする。
On the other hand, if the face frame image 31 is the first frame image of the moving image (step 260; N), the CPU 2 sets the Q value to 0 and stores it in the RAM 4 (step 270).
After performing the above processing, the CPU 2 returns to the main routine.

図27は、ステップ30(図21)の顔信号スペクトル計算処理を説明するためのフローチャートである。
まず、CPU2は、Q値の線形傾向(トレンド)を計算して、元のQ値からこれを減算し、減算後のQ値をRAM4に記憶する(ステップ280)。以下では、この減算後のQ値を用いる。
FIG. 27 is a flow chart for explaining the facial signal spectrum calculation process of step 30 (FIG. 21).
First, the CPU 2 calculates the linear trend of the Q value, subtracts it from the original Q value, and stores the subtracted Q value in the RAM 4 (step 280). Below, the Q value after this subtraction is used.

次に、CPU2は、ステップ120(図23)で準備したパラメータを用いて、等間隔(例えば、1秒)の時間ベクトルを作成してRAM4に記憶する(ステップ285)。
更に、CPU2は、当該作成した時間ベクトルに対応するようにQ値を補間してRAM4に記憶する(ステップ290)。これらは、FFTの計算に必要な前処理である。
そして、CPU2は、これらRAM4に記憶した時間ベクトルと補間後のQ値を用いてFFTを実行することにより顔信号のスペクトルを計算してRAM4に記憶する(ステップ295)。
Next, the CPU 2 uses the parameters prepared in step 120 (FIG. 23) to create time vectors of equal intervals (for example, 1 second) and stores them in the RAM 4 (step 285).
Furthermore, the CPU 2 interpolates the Q value so as to correspond to the created time vector and stores it in the RAM 4 (step 290). These are the preprocessing necessary for the FFT computation.
Then, the CPU 2 executes FFT using the time vector stored in the RAM 4 and the interpolated Q value to calculate the spectrum of the face signal and store it in the RAM 4 (step 295).

次に、CPU2は、RAM4に記憶した顔信号のスペクトルの範囲を、脈拍数測定領域に限定し、当該限定した顔信号のスペクトルをRAM4に記憶して(ステップ300)、メインルーチンにリターンする。この脈拍数測定領域は、例えば、40~200[bpm]とする。 Next, the CPU 2 limits the spectrum of the face signal stored in the RAM 4 to the pulse rate measurement region, stores the limited spectrum of the face signal in the RAM 4 (step 300), and returns to the main routine. This pulse rate measurement area is, for example, 40 to 200 [bpm].

図28は、ステップ35(図21)の顔脈拍数検出処理を説明するためのフローチャートである。
CPU2は、ステップ300(図27)でRAM4に記憶したスペクトルで最大ピークを探索する(ステップ310)。
次に、CPU2は、探索した最大ピークの周波数を計算して、これを脈拍数ピークとしてRAM4に記憶し(ステップ315)、メインルーチンにリターンする。当該脈拍数ピークは、顔脈波の基本波の脈拍数に対応している。
FIG. 28 is a flow chart for explaining the facial pulse rate detection process of step 35 (FIG. 21).
CPU 2 searches for the maximum peak in the spectrum stored in RAM 4 in step 300 (FIG. 27) (step 310).
Next, the CPU 2 calculates the frequency of the searched maximum peak, stores it in the RAM 4 as the pulse rate peak (step 315), and returns to the main routine. The pulse rate peak corresponds to the pulse rate of the fundamental wave of the facial pulse wave.

図29は、ステップ40(図21)の顔信号強度評価処理を説明するためのフローチャート(a)と、説明図(b)である。
まず、CPU2は、ステップ315(図28)でRAM4に記憶した脈拍数ピークを中心とした、図29(b)のような±5[bpm]の範囲の基本波のマスク(HR_M1)を作成してRAM4に記憶する(ステップ330)。
FIG. 29 is a flow chart (a) and an explanatory diagram (b) for explaining the face signal strength evaluation process of step 40 (FIG. 21).
First, the CPU 2 creates a fundamental wave mask (HR_M1) within a range of ±5 [bpm] as shown in FIG. and store it in RAM 4 (step 330).

次に、CPU2は、基本波の高調波に対しても同様に、図29(b)のような±5[bpm]のマスク(HR_M2)を作成してRAM4に記憶する(ステップ335)。
そして、CPU2は、ステップ330、335でRAM4に記憶したHR_M1とHR_M2から、これらを合わせた1つの信号マスク(HR_M)を作成してRAM4に記憶する(ステップ340)。
Next, the CPU 2 similarly creates a ±5 [bpm] mask (HR_M2) as shown in FIG. 29(b) for harmonics of the fundamental wave and stores it in the RAM 4 (step 335).
Then, the CPU 2 creates one signal mask (HR_M) by combining HR_M1 and HR_M2 stored in the RAM 4 in steps 330 and 335, and stores it in the RAM 4 (step 340).

次に、CPU2は、基本波と高調波以外の領域を範囲とする外乱マスク(HRN_M=1-HR_M)を作成してRAM4に記憶する(ステップ345)。
そして、CPU2は、ステップ300(図27)でRAM4に記憶した顔信号のスペクトルを正規化してRAM4に記憶する(ステップ350)。
正規化した顔信号のスペクトルをFFT_HRnとすると、これは、顔信号のスペクトルFFT_HRを、FFT_HRの最大値で除した値となる。
Next, the CPU 2 creates a disturbance mask (HRN_M=1-HR_M) covering areas other than the fundamental wave and harmonics, and stores it in the RAM 4 (step 345).
Then, the CPU 2 normalizes the spectrum of the face signal stored in the RAM 4 in step 300 (FIG. 27) and stores it in the RAM 4 (step 350).
If the normalized face signal spectrum is FFT_HRn, this is the value obtained by dividing the face signal spectrum FFT_HR by the maximum value of FFT_HR.

次に、CPU2は、S/N比を計算する際に用いる項であるnumを計算してRAM4に記憶する(ステップ355)。
numは、正規化した顔信号のスペクトルのうち、マスクした基本波と高調波のパワーに相当する値であって、FFT_HRn(i)の自乗にHR_M(i)を乗じてiで総和を取ったものである。iは、FFT_HRnとHR_Mの離散値を指定するパラメータである。
Next, the CPU 2 calculates num, which is a term used when calculating the S/N ratio, and stores it in the RAM 4 (step 355).
num is a value corresponding to the power of the masked fundamental wave and harmonics in the spectrum of the normalized face signal, and is obtained by multiplying the square of FFT_HRn(i) by HR_M(i) and taking the sum at i. It is. i is a parameter that specifies the discrete values of FFT_HRn and HR_M.

次に、CPU2は、S/N比を計算する際に用いるもう一つの項であるdenを計算してRAM4に記憶する(ステップ360)。
denは、正規化した顔信号のスペクトルのうち、マスクした基本波と高調波以外の領域のパワーに相当する値であって、FFT_HRn(i)の自乗にHRn_M(i)を乗じてiで総和を取ったものである。
Next, the CPU 2 calculates den, which is another term used when calculating the S/N ratio, and stores it in the RAM 4 (step 360).
den is a value corresponding to the power of the region other than the masked fundamental wave and harmonics in the spectrum of the normalized face signal, which is obtained by multiplying the square of FFT_HRn(i) by HRn_M(i) and summing it by i. is taken.

次に、CPU2は、ステップ355、360でRAM4に記憶したnumとdenを読み出し、S/N比を計算してRAM4に記憶する(ステップ365)。
S/N比(HR_SNR)は、denに対するnumの比の常用対数を10倍することにより計算する。
Next, the CPU 2 reads num and den stored in the RAM 4 in steps 355 and 360, calculates the S/N ratio, and stores it in the RAM 4 (step 365).
The signal-to-noise ratio (HR_SNR) is calculated by multiplying the common logarithm of the ratio of num to den by ten.

図30は、ステップ55(図22)の指信号取得処理を説明するためのフローチャート(a)と、説明図(b)である。
ステップ380、385は、指動画の指フレーム画像32を取得するステップであるが、図30(b)に示したように1つのフレームに指領域の画像と顔領域の画像が含まれている場合、CPU2は、未処理のうちの最も撮影時間の若いフレームを選択して(ステップ380)、指領域に限定して画像を抽出し(ステップ385)、これを指フレーム画像32としてRAM4に記憶する。
一方、顔動画と指動画が別動画である場合は、指動画から未処理の最も撮影時間の若い指フレーム画像32を取得してRAM4に記憶する。
FIG. 30 is a flowchart (a) and an explanatory diagram (b) for explaining the finger signal acquisition process of step 55 (FIG. 22).
Steps 380 and 385 are steps for acquiring the finger frame image 32 of the finger moving image. , the CPU 2 selects the frame with the shortest shooting time from among the unprocessed frames (step 380), extracts the image limited to the finger area (step 385), and stores it in the RAM 4 as the finger frame image 32. .
On the other hand, when the face moving image and the finger moving image are different moving images, the unprocessed finger frame image 32 with the youngest photographing time is obtained from the finger moving image and stored in the RAM 4 .

次に、CPU2は、指フレーム画像32の各画素をGチャネルに限定し、各画素のG値を取得してRAM4に記憶する(ステップ390)。
そして、CPU2は、ステップ390で記憶した各画素のG値を平均してRAM4に記憶し(ステップ395)、メインルーチンにリターンする。このG値が指信号のデータ点となる。ステップ395を繰り返すことにより、データ点の時系列がRAM4に記憶されて、これが指信号となる。
Next, the CPU 2 limits each pixel of the finger frame image 32 to the G channel, obtains the G value of each pixel, and stores it in the RAM 4 (step 390).
Then, the CPU 2 averages the G value of each pixel stored in step 390, stores it in the RAM 4 (step 395), and returns to the main routine. This G value becomes the data point of the finger signal. By repeating step 395, the time series of data points is stored in RAM 4 and becomes the finger signal.

CPU2は、G値の平均をRAM4に記憶した後、これに対して、指信号スペクトル計算処理(図22、ステップ65)、指脈拍数検出処理(図22、ステップ70)、及び指信号強度評価処理(図22、ステップ75)を行うが、これらの処理は、それぞれ、顔信号スペクトル計算処理(図27)、顔脈拍数検出処理(図28)、及び顔信号強度評価処理(図29)と同じであるため、説明を省略する。 After storing the average G value in the RAM 4, the CPU 2 performs finger signal spectrum calculation processing (FIG. 22, step 65), finger pulse rate detection processing (FIG. 22, step 70), and finger signal strength evaluation. Processing (FIG. 22, step 75) is performed, and these processings are face signal spectrum calculation processing (FIG. 27), face pulse rate detection processing (FIG. 28), and face signal strength evaluation processing (FIG. 29). Since they are the same, the description is omitted.

図31は、ステップ85(図22)の顔指信号前処理を説明するためのフローチャートである。
まず、CPU2は、ステップ135(図24)でRAM4に記憶した周波数領域(20~250[bpm])を読み出す。
そして、ステップ255(図26)でRAM4に記憶した顔信号に対して、当該周波数領域のバンドパスフィルタを適用し、フィルタリングした顔信号をRAM4に記憶する(ステップ410)。
FIG. 31 is a flow chart for explaining the face finger signal preprocessing of step 85 (FIG. 22).
First, the CPU 2 reads out the frequency range (20 to 250 [bpm]) stored in the RAM 4 in step 135 (FIG. 24).
Then, a band-pass filter in the frequency domain is applied to the face signal stored in RAM 4 in step 255 (FIG. 26), and the filtered face signal is stored in RAM 4 (step 410).

次に、CPU2は、ステップ395(図30)でRAM4に記憶した指信号に対しても同様にバンドパスフィルタを適用し、フィルタリングした指信号をRAM4に記憶する(ステップ415)。 Next, CPU 2 similarly applies the bandpass filter to the finger signal stored in RAM 4 in step 395 (FIG. 30), and stores the filtered finger signal in RAM 4 (step 415).

次に、CPU2は、ステップ130(図24)でRAM4に記憶した安定化時間を読み出し、ステップ410でRAM4に記憶した顔信号の安定化時間の部分(最初の2秒間)を削除して、削除後の顔信号をRAM4に記憶する(ステップ420)。
同様に、CPU2は、ステップ415でRAM4に記憶した指信号の安定化時間の部分を削除して、削除後の指信号をRAM4に記憶する(ステップ425)。
Next, the CPU 2 reads out the stabilization time stored in the RAM 4 in step 130 (FIG. 24), deletes the stabilization time portion (first 2 seconds) of the facial signal stored in the RAM 4 in step 410, and deletes it. The later face signal is stored in RAM 4 (step 420).
Similarly, the CPU 2 deletes the stabilization time portion of the finger signal stored in the RAM 4 in step 415, and stores the deleted finger signal in the RAM 4 (step 425).

次に、CPU2は、補間時間分解能をRAM4に記憶して設定する(ステップ430)。これは、スプライン補間にて補間する時間間隔であり、ここでは、240[fps]相当の分解能とした。
そして、CPU2は、ステップ430で設定した分解能に従って、FFTで用いる補間時間ベクトルを作成してRAM4に記憶する(ステップ435)。
Next, the CPU 2 stores and sets the interpolation time resolution in the RAM 4 (step 430). This is the time interval interpolated by spline interpolation, and here, the resolution is equivalent to 240 [fps].
Then, the CPU 2 creates an interpolated time vector used in FFT according to the resolution set in step 430 and stores it in the RAM 4 (step 435).

次に、CPU2は、ステップ420でRAM4に記憶した顔信号(フィルタリング済み、安定化時間削除済み)を読み出し、これをステップ435で作成した時間ベクトルに従ってスプライン補間する(ステップ440)。これによって240[fps]相当の顔信号のデータ点が作成される。 Next, CPU 2 reads the face signal (filtered, stabilization time deleted) stored in RAM 4 in step 420, and spline-interpolates it according to the time vector created in step 435 (step 440). As a result, data points of face signals corresponding to 240 [fps] are created.

次に、CPU2は、同様に、ステップ425でRAM4に記憶した指信号(フィルタリング済み、安定化時間削除済み)を読み出し、これをステップ435で作成した時間ベクトルに従ってスプライン補間する(ステップ445)。これによって240[fps]相当の指信号のデータ点が作成される。 Next, CPU 2 similarly reads the finger signal (filtered, stabilization time deleted) stored in RAM 4 at step 425 and spline-interpolates it according to the time vector created at step 435 (step 445). As a result, finger signal data points equivalent to 240 [fps] are created.

次に、CPU2は、ステップ440でRAM4に記憶した顔信号を正規化してRAM4に記憶し(ステップ450)、ステップ445でRAM4に記憶した指信号を正規化してRAM4に記憶する(ステップ455)。
正規化は、下に示したように、信号(顔信号、又は指信号)(i)から信号の平均を減算し、これを信号の標準偏差で除することにより、正規化された信号(i)を計算することにより行う。
ここで正規化された信号(i)は、次の式による。
正規化された信号(i)=(信号(i)-信号の平均)/信号の標準偏差
以上の処理を行った後、CPU2は、メインルーチンにリターンする。
Next, CPU 2 normalizes the face signal stored in RAM 4 in step 440 and stores it in RAM 4 (step 450), and normalizes the finger signal stored in RAM 4 in step 445 and stores it in RAM 4 (step 455).
Normalization is performed by subtracting the mean of the signal from the signal (face signal or finger signal) (i) and dividing it by the standard deviation of the signal to obtain the normalized signal (i ) by calculating
Here, the normalized signal (i) is obtained by the following equation.
Normalized signal (i)=(signal (i)-average of signal)/standard deviation of signal After performing the above processing, the CPU 2 returns to the main routine.

図32は、ステップ90(図22)の血圧測定処理を説明するためのフローチャートである。
まず、CPU2は、相互相関と遅延を計算する(ステップ505)。すなわち、CPU2は、ステップ450(図31)でRAM4に記憶した正規化した顔信号と、ステップ455(図31)でRAM4に記憶した正規化した指信号を読み出し、これら正規化した顔信号と指信号の相互相関と遅延(遅れ時間L)の関係(図14(b)のような関係)を計算してRAM4に記憶する(ステップ505)。
より具体的には、CPU2は、RAM4にNとmを設定し、式(1)に従って計算して図19(b)のような相互相関とmの関係を計算する。
mは、遅れ時間に相当するデータ点の個数であるから、CPU2は、当該mに隣接するデータ点の時間間隔(ここでは、240[fps]相当でサンプリングするため1/240秒)を適用することにより図14(b)のような相互相関と遅れ時間の関係を計算する。
そして、CPU2は、0~1.1秒の間で相互相関のピークを検索し、検索したピークの時間を遅れ時間としてRAM4に記憶する。
FIG. 32 is a flow chart for explaining the blood pressure measurement process of step 90 (FIG. 22).
First, CPU 2 calculates cross-correlations and delays (step 505). That is, the CPU 2 reads out the normalized face signal stored in the RAM 4 in step 450 (FIG. 31) and the normalized finger signal stored in the RAM 4 in step 455 (FIG. 31), and reads these normalized face signals and finger signals. The relationship between the signal cross-correlation and the delay (delay time L) (relationship as shown in FIG. 14(b)) is calculated and stored in RAM 4 (step 505).
More specifically, the CPU 2 sets N and m in the RAM 4 and calculates the relationship between the cross-correlation and m according to the equation (1) as shown in FIG. 19(b).
Since m is the number of data points corresponding to the delay time, the CPU 2 applies the time interval between data points adjacent to m (here, 1/240 second for sampling at 240 [fps] equivalent). Thus, the relationship between cross-correlation and delay time as shown in FIG. 14(b) is calculated.
Then, the CPU 2 searches for a cross-correlation peak between 0 and 1.1 seconds, and stores the time of the searched peak in the RAM 4 as a delay time.

次に、CPU2は、相互相関の最大検索領域をRAM4に記憶して設定する(ステップ510)。これは、相互相関のピークを探索する遅れ時間の範囲を設定するものであり、遅れ時間は正であるため、実験結果を参考にして一例として0~1.1[s]とした。
次に、CPU2は、相互相関のピークの最大検索領域をステップ510でRAM4に記憶した範囲に限定する(ステップ515)。
Next, the CPU 2 stores and sets the maximum cross-correlation search area in the RAM 4 (step 510). This sets the range of the delay time for searching for the cross-correlation peak, and since the delay time is positive, it is set to 0 to 1.1 [s] as an example with reference to experimental results.
Next, the CPU 2 limits the maximum search area for cross-correlation peaks to the range stored in the RAM 4 in step 510 (step 515).

次に、CPU2は、ステップ505でRAM4に記憶した相互相関の遅れ時間に対するピークをステップ515で限定した最大検索領域で検索し(ステップ520)、これによって、相互相関のピークを特定する(ステップ525)。
そして、CPU2は、当該特定した相互相関の最大ピークに対応する遅れ時間Lを決定し、RAM4に記憶する(ステップ530)。
Next, the CPU 2 searches for the peak of the cross-correlation delay time stored in the RAM 4 in step 505 in the maximum search area limited in step 515 (step 520), thereby identifying the cross-correlation peak (step 525). ).
Then, the CPU 2 determines the delay time L corresponding to the specified maximum peak of the cross-correlation, and stores it in the RAM 4 (step 530).

ところで、遅れ時間Lと、最高血圧(収縮期血圧SBP)及び最低血圧(拡張期血圧DBP)の関係は、第1実施形態で説明したように実験によって求まっている式(A)(B)に遅れ時間L、と最高血圧推定パラメータ(PS1、PS2)、最低血圧推定パラメータ(PD1、PD2)を適用することで、それぞれ、最高血圧と最低血圧の絶対値を求めることができる。
これらのパラメータは、対象者15ごとに設定しても良いし、あるいは、全ての対象者15に対して適用する代表的な値を用いても良い。
本実施形態では、第1実施形態と異なり、最低値Vではなく、相関遅れCを使用して遅れ時間Lを求めているので、相関遅れCに対応した各パラメータ値が記憶部10に保存されている。
By the way, the relationship between the delay time L and the systolic blood pressure (systolic blood pressure SBP) and the diastolic blood pressure (diastolic blood pressure DBP) is expressed by the formulas (A) and (B) obtained by experiments as described in the first embodiment. By applying the delay time L, the systolic blood pressure estimation parameters (PS1, PS2), and the diastolic blood pressure estimation parameters (PD1, PD2), the absolute values of the systolic blood pressure and the diastolic blood pressure can be obtained, respectively.
These parameters may be set for each subject 15, or representative values applied to all subjects 15 may be used.
In the present embodiment, unlike the first embodiment, the delay time L is obtained using the correlation delay C instead of the minimum value V. Therefore, each parameter value corresponding to the correlation delay C is stored in the storage unit 10. ing.

CPU2は、RAM4に最高血圧推定パラメータ(PS1、PS2)を記憶して設定する(ステップ535)。
そして、CPU2は、実験で求めた式(A)にステップ530でRAM4に記憶した遅れ時間Lと、ステップ535でRAM4に記憶した最高血圧推定パラメータ(PS1、PS2)を代入して、最高血圧を計算により決定し、これをRAM4に記憶する(ステップ540)。
収縮期血圧SBP=PS1×遅れ時間L+PS2 … 式(A)
The CPU 2 stores and sets the systolic blood pressure estimation parameters (PS1, PS2) in the RAM 4 (step 535).
Then, the CPU 2 substitutes the delay time L stored in the RAM 4 in step 530 and the systolic blood pressure estimation parameters (PS1, PS2) stored in the RAM 4 in step 535 into the formula (A) obtained by the experiment to obtain the systolic blood pressure. It is determined by calculation and stored in RAM 4 (step 540).
Systolic blood pressure SBP=PS1×delay time L+PS2 Equation (A)

次に、CPU2は、RAM4に最低血圧推定パラメータ(PD1、PD2)を記憶して設定する(ステップ545)。
そして、CPU2は、実験で求めた式(B)にステップ530でRAM4に記憶した遅れ時間Lと、ステップ545でRAM4に記憶した最低血圧推定パラメータ(PD1、PD2)を代入して、最高血圧を計算により決定し、これをRAM4に記憶する(ステップ550)。
拡張期血圧DBP=PD1×遅れ時間L+PD2 … 式(B)
以上の処理を行うと、CPU2は、RAM4に記憶した最高血圧と最低血圧をディスプレイ5に表示してメインルーチンにリターンする。
Next, the CPU 2 stores and sets diastolic blood pressure estimation parameters (PD1, PD2) in the RAM 4 (step 545).
Then, the CPU 2 substitutes the delay time L stored in the RAM 4 in step 530 and the diastolic blood pressure estimation parameters (PD1, PD2) stored in the RAM 4 in step 545 into the formula (B) obtained by the experiment to obtain the systolic blood pressure. It is determined by calculation and stored in RAM 4 (step 550).
Diastolic blood pressure DBP=PD1×delay time L+PD2 Equation (B)
After the above processing, the CPU 2 displays the systolic blood pressure and the diastolic blood pressure stored in the RAM 4 on the display 5 and returns to the main routine.

(変形例)
以上説明した実施形態では、表カメラ7と裏カメラ8で撮影した顔動画と指動画を予め記憶部10に記憶しておき、これを解析して血圧を測定したが、次に、顔動画と指動画をリアルタイムで撮影して血圧を測定する例について説明する。
本変形例では、図21の「動画フレーム読み込み」の処理(ステップ5)を、「動画撮影処理」に変更したものである。他の処理は、実施形態と同じである。
(Modification)
In the embodiment described above, the facial and finger videos taken by the front camera 7 and the rear camera 8 are stored in advance in the storage unit 10 and analyzed to measure blood pressure. An example of measuring blood pressure by capturing a finger moving image in real time will be described.
In this modified example, the "moving image frame reading" process (step 5) in FIG. 21 is changed to "moving image shooting process". Other processing is the same as the embodiment.

図33は、変更後におけるステップ5の動画撮影処理を説明するためのフローチャートである。
まず、CPU2は、表カメラ7で対象者15の顔を撮影して、顔フレーム画像31をRAM4に記憶し(ステップ560)、更に、裏カメラ8で対象者15の指を撮影して、指フレーム画像32をRAM4に記憶する(ステップ565)。
FIG. 33 is a flowchart for explaining the moving image shooting process in step 5 after the change.
First, the CPU 2 captures the face of the subject 15 with the front camera 7, stores the face frame image 31 in the RAM 4 (step 560), further captures the finger of the subject 15 with the back camera 8, and The frame image 32 is stored in RAM 4 (step 565).

次に、CPU2は、撮影した顔フレーム画像31の数と指フレーム画像32の数を数えてRAM4に記憶し(ステップ570)、十分な時間これらフレーム画像を収集した否かを判断する(ステップ575)。
まだ、十分な時間収集していない場合(ステップ575;N)、CPU2は、ステップ560に戻って、更にフレーム画像を収集する。
Next, the CPU 2 counts the number of photographed face frame images 31 and finger frame images 32, stores them in the RAM 4 (step 570), and determines whether or not these frame images have been collected for a sufficient period of time (step 575). ).
If the acquisition has not been performed for a sufficient period of time (step 575; N), the CPU 2 returns to step 560 and acquires more frame images.

一方、十分な時間収集した場合(ステップ575;Y)、CPU2は、表カメラ7で収集した顔フレーム画像31を顔動画としてRAM4に記憶し、裏カメラ8で収集した指フレーム画像32を指動画としてRAM4に記憶する(ステップ580)。
ステップ570で記憶した顔フレーム画像31の数と、指フレーム画像32の数が、ステップ115(図23)のフレーム数取得に相当する。
On the other hand, if the collection has been performed for a sufficient time (step 575; Y), the CPU 2 stores the face frame images 31 collected by the front camera 7 as a face moving image in the RAM 4, and stores the finger frame images 32 collected by the back camera 8 as a finger moving image. is stored in RAM 4 (step 580).
The number of face frame images 31 and the number of finger frame images 32 stored in step 570 correspond to obtaining the number of frames in step 115 (FIG. 23).

次に、CPU2は、フレームレートを取得してRAM4に記憶し(ステップ585)、時間ベクトルを設定してRAM4に記憶する(ステップ590)。
これらは、ステップ110、120(図23)と同様である。
他の処理は、先に説明した実施形態と同じである。
本変形例によれば、顔動画と指動画を十分な時間収集するごとに、血圧をリアルタイムで測定し、これを更新することができる。
Next, the CPU 2 acquires the frame rate and stores it in the RAM 4 (step 585), sets the time vector and stores it in the RAM 4 (step 590).
These are similar to steps 110, 120 (FIG. 23).
Other processing is the same as in the previously described embodiment.
According to this modified example, the blood pressure can be measured in real time and updated each time the face moving image and the finger moving image are collected for a sufficient period of time.

図34は、血圧測定装置1の性能を評価した図である。
図34(a)で太線で示した測定値45は、血圧測定装置1によって測定した最高血圧であって、細線で示した測定値46は、指に装着するタイプの一般に利用される血圧計で測定した最高血圧である。
縦軸は、最高血圧[mmHg]を表し、横軸は、血圧をサンプリングしたサンプルナンバーを表し、時間軸に対応している。
図に示したように、最高血圧は、時間と共に変動するが、両者は高い精度で一致している。
FIG. 34 is a diagram showing performance evaluation of the blood pressure measurement device 1. FIG.
The measured value 45 indicated by a thick line in FIG. 34(a) is the systolic blood pressure measured by the blood pressure measuring device 1, and the measured value 46 indicated by a thin line is a generally used finger-worn sphygmomanometer. Measured systolic blood pressure.
The vertical axis represents the systolic blood pressure [mmHg], and the horizontal axis represents the sample number for sampling the blood pressure, corresponding to the time axis.
As shown in the figure, the systolic blood pressure fluctuates over time, but both agree with high accuracy.

図34(b)で太線で示した測定値47は、血圧測定装置1によって測定した最低血圧であって、細線で示した測定値48は一般の血圧計で測定した最低血圧である。
図に示したように、最低血圧は、時間と共に変動するが、これも両者は高い精度で一致している。
The measured value 47 indicated by a thick line in FIG. 34(b) is the diastolic blood pressure measured by the blood pressure measuring device 1, and the measured value 48 indicated by a thin line is the diastolic blood pressure measured by a general sphygmomanometer.
As shown in the figure, diastolic blood pressure fluctuates with time, but both agree with high accuracy.

以上に説明した実施形態で、特徴1は、次の構成を提供する。
(第1構成)対象者の第1の体表面を環境光下で撮影した第1の動画と、前記対象者の第2の体表面を所定の照明光下で撮影した第2の動画を取得する動画取得手段と、前記取得した第1の動画と第2の動画のそれぞれから、異なる種類の色成分の時間変化を用いて、前記第1の動画から第1の脈波を取得し、前記第2の動画から第2の脈波を取得する脈波取得手段と、前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得手段と、前記取得した血圧を出力する出力手段と、を具備したことを特徴とする血圧測定装置。
(第2構成)前記脈波取得手段は、前記第1の動画からYIQ成分に含まれるQ成分を用いて第1の脈波を取得し、前記第2の動画からRGB成分に含まれるG成分を用いて第2の脈波を取得することを特徴とする第1構成の血圧測定装置。
(第3構成)前記脈波取得手段は、前記G成分を反転した値を用いて前記第2の脈波を取得することを特徴とする第2構成の血圧測定装置。
(第4構成)前記第1の体表面は前記対象者の顔であり、前記第2の体表面は前記対象者の指であることを特徴とする第1構成、第2構成、又は第3構成の血圧測定装置。
(第5構成)第1の側に配設され、対象者の第1の体表面を撮影する第1のカメラと、前記第1の側と対向する第2の側に配設され、前記対象者の第2の体表面を所定の照明光で照明しながら撮影する第2のカメラと、前記第1のカメラで前記対象者の第1の体表面を環境光下で撮影した第1の動画を取得し、前記第2のカメラで前記対象者の第2の体表面を所定の照明光下で撮影した第2の動画を取得する動画取得手段と、前記取得した第1の動画と第2の動画のそれぞれから、異なる種類の色成分の時間変化を用いて、前記第1の動画から第1の脈波を取得し、前記第2の動画から第2の脈波を取得する脈波取得手段と、前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得手段と、前記取得した血圧を表示する表示手段と、を具備したことを特徴とする携帯端末。
(第6構成)対象者の第1の体表面を環境光下で撮影した第1の動画と、前記対象者の第2の体表面を所定の照明光下で撮影した第2の動画を取得する動画取得機能と、前記取得した第1の動画と第2の動画のそれぞれから、異なる種類の色成分の時間変化を用いて、前記第1の動画から第1の脈波を取得し、前記第2の動画から第2の脈波を取得する脈波取得機能と、前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得機能と、前記取得した血圧を出力する出力機能と、をコンピュータで実現する血圧測定プログラム。
In the embodiments described above, feature 1 provides the following configuration.
(First Configuration) Acquiring a first moving image of a first body surface of a subject under ambient light and a second moving image of a second body surface of the subject under predetermined illumination light. and acquiring a first pulse wave from the first moving image using time changes of different types of color components from each of the first moving image and the second moving image, and obtaining a first pulse wave from the first moving image, and Pulse wave acquiring means for acquiring a second pulse wave from a second moving image, and acquiring the blood pressure of the subject by using a propagation delay between the acquired first pulse wave and the second pulse wave. A blood pressure measuring device comprising: blood pressure acquisition means; and output means for outputting the acquired blood pressure.
(Second Configuration) The pulse wave acquiring means acquires a first pulse wave using the Q component included in the YIQ component from the first moving image, and the G component included in the RGB component from the second moving image. A blood pressure measuring device according to a first configuration, wherein a second pulse wave is acquired using
(Third Arrangement) The blood pressure measuring apparatus according to the second arrangement, wherein the pulse wave acquiring means acquires the second pulse wave using a value obtained by inverting the G component.
(Fourth Configuration) The first configuration, the second configuration, or the third configuration, wherein the first body surface is the subject's face and the second body surface is the subject's fingers. Configuration blood pressure measuring device.
(Fifth Configuration) A first camera disposed on a first side for photographing a first body surface of a subject; a second camera for photographing the second body surface of the subject while illuminating it with a predetermined illumination light; and a first moving image obtained by photographing the first body surface of the subject under ambient light with the first camera. and acquires a second moving image obtained by capturing the second body surface of the subject under a predetermined illumination light with the second camera; and the obtained first moving image and the second Pulse wave acquisition of acquiring a first pulse wave from the first moving image and acquiring a second pulse wave from the second moving image, using time changes of different types of color components from each of the moving images means, blood pressure acquisition means for acquiring the subject's blood pressure using a propagation delay between the acquired first pulse wave and second pulse wave, display means for displaying the acquired blood pressure, A mobile terminal comprising:
(Sixth Configuration) Acquiring a first moving image of a first body surface of a subject under ambient light and a second moving image of a second body surface of the subject under predetermined illumination light. and acquiring a first pulse wave from the first moving image by using temporal changes of different types of color components from each of the first moving image and the second moving image obtained from each of the obtained first moving image and the second moving image; Obtaining the subject's blood pressure using a pulse wave obtaining function of obtaining a second pulse wave from a second moving image and a propagation delay between the obtained first pulse wave and second pulse wave A blood pressure measurement program for realizing, on a computer, a blood pressure acquisition function and an output function for outputting the acquired blood pressure.

特徴2は、次の構成を提供する。
(第21構成)対象者の第1の体表面を撮影した第1の動画と、前記対象者の第2の体表面を撮影した第2の動画を取得する動画取得手段と、前記取得した第1の動画の色を構成する成分の変化から第1の脈波を取得し、前記取得した第2の動画の色を構成する成分の変化から第2の脈波を取得する脈波取得手段と、前記取得した第1の脈波の波形の全体と、前記取得した第2の脈波の波形の全体と、を用いて前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを取得する遅れ取得手段と、前記取得した伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得手段と、前記取得した血圧を出力する出力手段と、を具備したことを特徴とする血圧測定装置。
(第22構成)前記遅れ取得手段は、前記第1の脈波の波形と、前記第2の脈波の波形と、の間の相関関係を用いて前記伝搬の遅れを取得することを特徴とする第21構成の血圧測定装置。
(第23構成)前記遅れ取得手段は、前記第1の脈波の波形と、前記第2の脈波の波形と、のうちの少なくとも一方を時間方向にシフトしながら、前記シフトごとの相関関係を取得し、当該相関関係が最大となるシフト量を前記伝搬の遅れとして取得することを特徴とする第22構成の血圧測定装置。
(第24構成)前記第1の脈波の波形と前記第2の脈波の波形のうち、心臓から遠い方の前記体表面で撮影した動画から取得した脈波が遅れる範囲で前記相関関係のピークを探索し、前記探索したピークの位置によって前記シフト量を取得することを特徴とする第23構成に記載の血圧測定装置。
(第25構成)前記第1の体表面は前記対象者の顔であり、前記第2の体表面は前記対象者の指であることを特徴とする第21構成から第24構成までのうちの何れか1の構成に記載の血圧測定装置。
(第26構成)第1の側に配設され、対象者の第1の体表面を撮影する第1のカメラと、前記第1の側と対向する第2の側に配設され、前記対象者の第2の体表面を撮影する第2のカメラと、前記第1のカメラで前記対象者の第1の体表面を撮影した第1の動画を取得し、前記第2のカメラで前記対象者の第2の体表面を撮影した第2の動画を取得する動画取得手段と、前記取得した第1の動画の色を構成する成分の変化から第1の脈波を取得し、前記取得した第2の動画の色を構成する成分の変化から第2の脈波を取得する脈波取得手段と、前記取得した第1の脈波の波形の全体と、前記取得した第2の脈波の波形の全体と、を用いて前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを取得する遅れ取得手段と、前記取得した伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得手段と、前記取得した血圧を表示する表示手段と、を具備したことを特徴とする携帯端末。
(第27構成)対象者の第1の体表面を撮影した第1の動画と、前記対象者の第2の体表面を撮影した第2の動画を取得する動画取得機能と、前記取得した第1の動画の色を構成する成分の変化から第1の脈波を取得し、前記取得した第2の動画の色を構成する成分の変化から第2の脈波を取得する脈波取得機能と、前記取得した第1の脈波の波形の全体と、前記取得した第2の脈波の波形の全体と、を用いて前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを取得する遅れ取得機能と、前記取得した伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得機能と、前記取得した血圧を出力する出力機能と、をコンピュータで実現する血圧測定プログラム。
Feature 2 provides the following configuration.
(21st configuration) moving image acquisition means for acquiring a first moving image of a first body surface of a subject and a second moving image of a second body surface of the subject; a pulse wave obtaining means for obtaining a first pulse wave from a change in a component that constitutes the color of the first moving image, and obtaining a second pulse wave from a change in the component that constitutes the color of the acquired second moving image; , the entire acquired first pulse wave waveform and the acquired entire second pulse wave waveform Propagation between the first pulse wave and the second pulse wave acquired using a delay acquisition means for acquiring the delay of the propagation, a blood pressure acquisition means for acquiring the blood pressure of the subject using the acquired propagation delay, and an output means for outputting the acquired blood pressure. blood pressure measuring device.
(22nd Configuration) The delay acquiring means acquires the propagation delay using a correlation between the waveform of the first pulse wave and the waveform of the second pulse wave. A blood pressure measuring device having a twenty-first configuration.
(Twenty-third configuration) The delay obtaining means shifts at least one of the waveform of the first pulse wave and the waveform of the second pulse wave in the time direction, and the correlation for each shift is and acquires the shift amount that maximizes the correlation as the propagation delay.
(24th configuration) Between the waveform of the first pulse wave and the waveform of the second pulse wave, the correlation is established within a range in which the pulse wave acquired from the moving image taken on the body surface farther from the heart is delayed. The blood pressure measuring device according to the 23rd configuration, wherein a peak is searched and the shift amount is obtained from the position of the searched peak.
(25th Configuration) Of the 21st to 24th configurations, wherein the first body surface is the subject's face and the second body surface is the subject's fingers. A blood pressure measuring device according to any one of the configurations.
(26th Configuration) A first camera disposed on a first side for photographing a first body surface of a subject; a second camera for photographing a second body surface of a person; obtaining a first video photographing the first body surface of the subject with the first camera; a moving image acquiring means for acquiring a second moving image obtained by photographing a second body surface of a person; A pulse wave acquisition means for acquiring a second pulse wave from a change in the components that make up the color of the second moving image, the entire waveform of the acquired first pulse wave, and the acquired second pulse wave and a delay acquisition means for acquiring the propagation delay between the acquired first pulse wave and the second pulse wave using the entire waveform, and the subject's blood pressure using the acquired propagation delay and a display means for displaying the obtained blood pressure.
(27th Configuration) A moving image acquisition function of acquiring a first moving image of a first body surface of a subject and a second moving image of a second body surface of the subject; A pulse wave acquisition function of acquiring a first pulse wave from a change in a component that constitutes the color of the first moving image, and acquiring a second pulse wave from a change in the component that constitutes the color of the acquired second moving image; , the entire acquired first pulse wave waveform and the acquired entire second pulse wave waveform Propagation between the first pulse wave and the second pulse wave acquired using A blood pressure measurement that realizes a delayed acquisition function of acquiring the delay of the blood pressure, a blood pressure acquisition function of acquiring the blood pressure of the subject using the acquired propagation delay, and an output function of outputting the acquired blood pressure. program.

特徴3は、次の構成を提供する。
(第31構成)対象者の第1の体表面を撮影した第1の動画と、前記対象者の第2の体表面を撮影した第2の動画を取得する動画取得手段と、前記取得した第1の動画の色を構成する成分の変化と、前記取得した第2の動画の色を構成する成分の変化から、それぞれ、前記第1の動画のフレームレートと、前記第2の動画のフレームレートに応じた離散的な第1の脈波と離散的な第2の脈波を取得する脈波取得手段と、前記取得した離散的な第1の脈波と離散的な第2の脈波の、それぞれの離散値を補間する補間手段と、前記補間した第1の脈波の波形と、前記補間した第2の脈波の波形と、を用いて前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを取得する遅れ取得手段と、前記取得した伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得手段と、前記取得した血圧を出力する出力手段と、を具備したことを特徴とする血圧測定装置。
(第32構成)前記遅れ取得手段は、前記第1の脈波の波形と、前記第2の脈波の波形と、の間の相関関係を用いて前記伝搬の遅れを取得することを特徴とする第31構成の血圧測定装置。
(第33構成)前記遅れ取得手段は、前記補間した第1の脈波の波形と、前記補間した第2の脈波の波形と、のうちの少なくとも一方を時間方向にシフトしながら、前記シフトごとの相関関係を取得し、当該相関関係が最大となるシフト量を前記伝搬の遅れとして取得することを特徴とする第32構成の血圧測定装置。
(第34構成)前記第1の体表面は前記対象者の顔であり、前記第2の体表面は前記対象者の指であることを特徴とする第31構成、第32構成、又は第33構成の血圧測定装置。
(第35構成)第1の側に配設され、対象者の第1の体表面を撮影する第1のカメラと、前記第1の側と対向する第2の側に配設され、前記対象者の第2の体表面を撮影する第2のカメラと、前記第1のカメラで前記対象者の第1の体表面を撮影した第1の動画を取得し、前記第2のカメラで前記対象者の第2の体表面を撮影した第2の動画を取得する動画取得手段と、前記取得した第1の動画の色を構成する成分の変化と、前記取得した第2の動画の色を構成する成分の変化から、それぞれ、前記第1の動画のフレームレートと、前記第2の動画のフレームレートに応じた離散的な第1の脈波と離散的な第2の脈波を取得する脈波取得手段と、前記取得した離散的な第1の脈波と離散的な第2の脈波の、それぞれの離散値を補間する補間手段と、前記補間した第1の脈波の波形と、前記補間した第2の脈波の波形と、を用いて前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを取得する遅れ取得手段と、前記取得した伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得手段と、前記取得した血圧を表示する表示手段と、を具備したことを特徴とする携帯端末。
(第36構成)対象者の第1の体表面を撮影した第1の動画と、前記対象者の第2の体表面を撮影した第2の動画を取得する動画取得機能と、前記取得した第1の動画の色を構成する成分の変化と、前記取得した第2の動画の色を構成する成分の変化から、それぞれ、前記第1の動画のフレームレートと、前記第2の動画のフレームレートに応じた離散的な第1の脈波と離散的な第2の脈波を取得する脈波取得機能と、前記取得した離散的な第1の脈波と離散的な第2の脈波の、それぞれの離散値を補間する補間機能と、前記補間した第1の脈波の波形と、前記補間した第2の脈波の波形と、を用いて前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを取得する遅れ取得機能と、前記取得した伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得機能と、前記取得した血圧を出力する出力機能と、をコンピュータで実現する血圧測定プログラム。
Feature 3 provides the following configuration.
(31st configuration) moving image acquiring means for acquiring a first moving image of a first body surface of a subject and a second moving image of a second body surface of the subject; The frame rate of the first moving image and the frame rate of the second moving image are determined from the change in the component that constitutes the color of the first moving image and the change in the component that constitutes the color of the acquired second moving image. A pulse wave acquisition means for acquiring a discrete first pulse wave and a discrete second pulse wave according to the above, and the acquired discrete first pulse wave and discrete second pulse wave , the interpolating means for interpolating each discrete value, the waveform of the interpolated first pulse wave, and the waveform of the interpolated second pulse wave, the obtained first pulse wave and the second pulse wave delay acquisition means for acquiring a propagation delay between pulse waves, blood pressure acquisition means for acquiring the subject's blood pressure using the acquired propagation delay, output means for outputting the acquired blood pressure, A blood pressure measuring device comprising:
(32nd Configuration) The delay acquisition means acquires the propagation delay using a correlation between the waveform of the first pulse wave and the waveform of the second pulse wave. The blood pressure measuring device of the 31st configuration.
(33rd Configuration) The delay obtaining means shifts at least one of the interpolated waveform of the first pulse wave and the waveform of the interpolated second pulse wave in the time direction, The blood pressure measuring apparatus according to the 32nd configuration is characterized in that the correlation between the frequencies is obtained, and the shift amount that maximizes the correlation is obtained as the propagation delay.
(34th Configuration) A 31st configuration, a 32nd configuration, or a 33rd configuration, wherein the first body surface is the subject's face and the second body surface is the subject's fingers. Configuration blood pressure measuring device.
(35th Configuration) A first camera disposed on a first side for photographing a first body surface of a subject; a second camera for photographing a second body surface of a person; obtaining a first video photographing the first body surface of the subject with the first camera; moving image acquiring means for acquiring a second moving image obtained by photographing a second body surface of a person; changes in components constituting colors of the acquired first moving image; and forming colors of the acquired second moving image A discrete first pulse wave and a discrete second pulse wave corresponding to the frame rate of the first moving image and the frame rate of the second moving image, respectively, are obtained from changes in the components that wave acquiring means, interpolating means for interpolating discrete values of the acquired discrete first pulse wave and discrete second pulse wave, waveform of the interpolated first pulse wave, A delay acquisition means for acquiring the propagation delay between the acquired first pulse wave and the second pulse wave using the interpolated waveform of the second pulse wave, and the acquired propagation delay A mobile terminal, comprising: a blood pressure acquisition unit that acquires the blood pressure of the subject using a personal digital assistant; and a display unit that displays the acquired blood pressure.
(36th configuration) a moving image acquisition function of acquiring a first moving image of a first body surface of a subject and a second moving image of a second body surface of the subject; The frame rate of the first moving image and the frame rate of the second moving image are determined from the change in the component that constitutes the color of the first moving image and the change in the component that constitutes the color of the acquired second moving image. A pulse wave acquisition function that acquires a discrete first pulse wave and a discrete second pulse wave according to, and the acquired discrete first pulse wave and discrete second pulse wave , the interpolation function for interpolating each discrete value, the waveform of the interpolated first pulse wave, and the waveform of the interpolated second pulse wave, the acquired first pulse wave and the second pulse wave a delay acquisition function for acquiring a propagation delay between pulse waves, a blood pressure acquisition function for acquiring the subject's blood pressure using the acquired propagation delay, and an output function for outputting the acquired blood pressure; A computerized blood pressure measurement program.

以上のように、血圧測定装置1は、スマートフォンを用いた相対血圧測定手段を提供する。ここで、特徴1~特徴3について、従来、本実施形態と効果をまとめると次のようになる。
(特徴1)
従来は、スマートフォンで血圧を測定する場合、スマートフォンの表面カメラ(顔を撮影)と裏面カメラ(指を撮影)の映像からR-G成分によって相対血圧を測定している。
本実施形態では、表面カメラ(顔を撮影)の映像では、H成分とS成分(測定領域の抽出)とQ成分(顔信号)を用いる。裏面カメラ(指を撮影)の場合、スマートフォンの照明を用いてG成分(指信号)を用いることで、動きと光外乱の対策により脈波信号(顔信号、指信号)の信頼性を強化することができる。
As described above, the blood pressure measurement device 1 provides relative blood pressure measurement means using a smartphone. Here, regarding features 1 to 3, the following is a summary of the effects of the conventional embodiment and the present embodiment.
(Feature 1)
Conventionally, when blood pressure is measured with a smartphone, the relative blood pressure is measured using the RG components from images captured by the smartphone's front camera (capturing the face) and rear camera (capturing the finger).
In the present embodiment, the H component, the S component (extraction of the measurement area), and the Q component (face signal) are used in the image of the front camera (capturing the face). In the case of the rear camera (shooting the finger), by using the G component (finger signal) using the lighting of the smartphone, the reliability of the pulse wave signal (face signal, finger signal) is strengthened by countermeasures against movement and light disturbance. be able to.

(特徴2)
従来は、スマートフォンで血圧を測定する場合、スマートフォンの表面カメラ(顔を撮影)と裏面カメラ(指を撮影)の映像からR-G成分を抽出する。そして、抽出した波形のピークの時間差から相対血圧を測定している。
本実施形態では、ピークではなく、波全体の波形を用いる(相関手法)、ことで、脈波の遅れ(及び血圧)を精度高く測定することができる。
(Feature 2)
Conventionally, when blood pressure is measured with a smartphone, RG components are extracted from images captured by a front camera (capturing a face) and a rear camera (capturing a finger) of the smartphone. Then, the relative blood pressure is measured from the peak time difference of the extracted waveform.
In this embodiment, the pulse wave delay (and blood pressure) can be measured with high accuracy by using the waveform of the entire wave instead of the peak (correlation method).

(特徴3)
従来は、スマートフォンで血圧を測定する場合、スマートフォンの表面カメラ(顔を撮影)と裏面カメラ(指を撮影)の映像によって相対血圧を測定している。しかし、スマートフォンに用いられているカメラの大部分は30~60[fps]のため、血圧を測定する場合の分解能が足りない。
本実施形態では、映像から抽出した脈波をスプライン補間し、補間後の脈波に対して相関手法を適用することで、高い分解能(時間分解能)で血圧を推定・測定することができる。
(Feature 3)
Conventionally, when blood pressure is measured with a smartphone, the relative blood pressure is measured using images from the smartphone's front camera (capturing the face) and rear camera (capturing the finger). However, since most of the cameras used in smartphones are 30 to 60 [fps], the resolution for blood pressure measurement is insufficient.
In the present embodiment, spline interpolation is applied to the pulse wave extracted from the video, and the correlation method is applied to the interpolated pulse wave, thereby estimating and measuring blood pressure with high resolution (time resolution).

1 血圧測定装置
2 CPU
3 ROM
4 RAM
5 ディスプレイ
6 タッチパネル
7 第1脈波測定部(表カメラ)
8 第2脈波測定部(裏カメラ)
9 照明
10 記憶部
10a 血圧測定プログラム
10b データ
11 通信制御部
15 対象者
16、17、19 指信号
18、20 顔信号
25 塊領域
26 測定領域
31 顔フレーム画像
32 指フレーム画像
36 顔データ点(補間前)
37 顔データ点(補間後)
38 スプライン曲線
45、46 測定値(最高血圧)
47、48 測定値(最低血圧)
M1、M4~M7 測定位置(額、前腕、手首、親指付根、指先)
V 最低値(谷)
T 最高値(ピーク)
D 最大傾き
C 相関遅れ(脈波全体の遅れ)
1 blood pressure measuring device 2 CPU
3 ROMs
4 RAM
5 display 6 touch panel 7 first pulse wave measuring unit (front camera)
8 Second pulse wave measurement unit (back camera)
9 illumination 10 storage unit 10a blood pressure measurement program 10b data 11 communication control unit 15 subject person 16, 17, 19 finger signals 18, 20 face signal 25 lump region 26 measurement region 31 face frame image 32 finger frame image 36 face data points (interpolation Previous)
37 face data points (after interpolation)
38 spline curve 45, 46 measured value (systolic blood pressure)
47, 48 Measurements (diastolic blood pressure)
M1, M4-M7 measurement position (forehead, forearm, wrist, base of thumb, fingertip)
V lowest value (trough)
T highest value (peak)
D Maximum slope C Correlation delay (delay of whole pulse wave)

Claims (11)

対象者の第1位置で測定した第1脈波m1を取得する第1脈波取得手段と、
前記対象者の心臓からの距離が、前記第1位置よりも離れた第2位置で測定した第2脈波m2を取得する第2脈波取得手段と、
前記第1脈波m1に対する前記第2脈波m2の遅れ時間Lを取得する遅れ時間取得手段と、
前記取得した遅れ時間Lが基準値Th以下である場合、その旨を報知する報知手段と、
前記遅れ時間Lが前記基準値Thより大きい場合、前記遅れ時間取得手段で取得した遅れ時間Lを用いて前記対象者の収縮期血圧SBPと拡張期血圧DBPを取得する血圧取得手段と、
前記取得した収縮期血圧SBPと拡張期血圧DBPを出力する出力手段と、
を具備したことを特徴とする血圧測定装置。
a first pulse wave acquiring means for acquiring a first pulse wave m1 measured at a first position of the subject;
a second pulse wave acquiring means for acquiring a second pulse wave m2 measured at a second position that is farther from the subject's heart than the first position;
a delay time acquiring means for acquiring a delay time L of the second pulse wave m2 with respect to the first pulse wave m1;
when the obtained delay time L is equal to or less than the reference value Th, a notification means for notifying that fact;
blood pressure acquiring means for acquiring the subject's systolic blood pressure SBP and diastolic blood pressure DBP using the delay time L acquired by the delay time acquiring means when the delay time L is greater than the reference value Th;
output means for outputting the acquired systolic blood pressure SBP and diastolic blood pressure DBP;
A blood pressure measuring device comprising:
前記遅れ時間取得手段は、前記第1脈波m1と前記第2脈波m2における、最低値V、最高値T、最大傾きD、及び、相関遅れCのいずれかの脈波要素を用いて遅れ時間Lを取得する、
ことを特徴とする請求項1に記載の血圧測定装置。
The delay time obtaining means delays the first pulse wave m1 and the second pulse wave m2 using one of the pulse wave elements of the lowest value V, the highest value T, the maximum slope D, and the correlation delay C. get time L,
The blood pressure measuring device according to claim 1, characterized in that:
前記遅れ時間取得手段は、基準値Thとの比較に用いる遅れ時間Lと、血圧を取得するために用いる遅れ時間Lを、それぞれ異なる前記脈波要素を使用して取得する、
ことを特徴とする請求項2に記載の血圧測定装置。
The delay time acquisition means acquires the delay time L used for comparison with the reference value Th and the delay time L used for acquiring the blood pressure using the different pulse wave elements.
The blood pressure measuring device according to claim 2, characterized in that:
前記遅れ時間取得手段は、
基準値Thとの比較に用いる遅れ時間Lを前記最低値Vを用いて取得し、
血圧を取得するために用いる遅れ時間Lを前記相関遅れCを用いて取得する、
ことを特徴とする請求項2に記載の血圧測定装置。
The delay time acquisition means is
Acquiring the delay time L used for comparison with the reference value Th using the minimum value V,
Obtaining the delay time L used to obtain the blood pressure using the correlation delay C;
The blood pressure measuring device according to claim 2, characterized in that:
前記基準値Thは0.1秒~0.06秒の範囲で選択された時間である、
ことを特徴とする請求項1から請求項4のいずれか1の請求項に記載の血圧測定装置。
The reference value Th is a time selected in the range of 0.1 seconds to 0.06 seconds,
The blood pressure measuring device according to any one of claims 1 to 4, characterized in that:
前記基準値Thは0.08秒である、
ことを特徴とする請求項1から請求項4のいずれか1の請求項に記載の血圧測定装置。
The reference value Th is 0.08 seconds,
The blood pressure measuring device according to any one of claims 1 to 4, characterized in that:
前記報知手段は、前記第2脈波を取得する第2位置の変更を促す報知を、画像表示と音声の少なくとも一方により行う、
ことを特徴とする請求項1から請求項6のいずれか1の請求項に記載の血圧測定装置。
The notification means uses at least one of image display and sound to perform notification prompting a change of the second position for acquiring the second pulse wave,
The blood pressure measuring device according to any one of claims 1 to 6, characterized in that:
前記第1脈波取得手段と前記第2脈波取得手段は、前記対象者の体内を透過又は反射する光の変化量により脈波を測定する接触型のセンサを使用して脈波を取得する、
ことを特徴とする請求項1から請求項7のいずれか1の請求項に記載の血圧測定装置。
The first pulse wave acquisition means and the second pulse wave acquisition means acquire a pulse wave using a contact type sensor that measures the pulse wave based on the amount of change in light that is transmitted or reflected inside the body of the subject. ,
The blood pressure measuring device according to any one of claims 1 to 7, characterized in that:
前記第1脈波取得手段は、対象者の第1の体表面を環境光下で撮影した第1の動画を取得し、当該第1の動画から色成分の時間変化を用いて第1の脈波を取得し、
前記第2脈波取得手段は、前記対象者の第2の体表面を所定の照明光下で撮影した第2の動画を取得し、当該第2の動画から前記色成分と異なる種類の色成分の時間変化を用いて第2の脈波を取得する、
ことを特徴とする請求項1から請求項7のいずれか1の請求項に記載の血圧測定装置。
The first pulse wave acquiring means acquires a first moving image obtained by photographing a first body surface of a subject under ambient light, and obtains a first pulse wave from the first moving image using a time change of a color component. get the waves,
The second pulse wave acquiring means acquires a second moving image obtained by photographing a second body surface of the subject under a predetermined illumination light, and obtains a color component of a type different from the color component from the second moving image. Acquiring a second pulse wave using the time change of
The blood pressure measuring device according to any one of claims 1 to 7, characterized in that:
前記第1脈波取得手段は、前記第1の動画からYIQ成分に含まれるQ成分を用いて第1の脈波を取得し、
前記第2脈波取得手段は、前記第2の動画からRGB成分に含まれるG成分を用いて第2の脈波を取得する、
ことを特徴とする請求項9に記載の血圧測定装置。
The first pulse wave acquiring means acquires a first pulse wave using a Q component included in a YIQ component from the first moving image,
The second pulse wave acquisition means acquires a second pulse wave from the second moving image using G components included in RGB components.
The blood pressure measuring device according to claim 9, characterized in that:
対象者の第1位置で測定した第1脈波m1を取得する第1脈波取得機能と、
前記対象者の心臓からの距離が、前記第1位置よりも離れた第2位置で測定した第2脈波m2を取得する第2脈波取得機能と、
前記第1脈波m1に対する前記第2脈波m2の遅れ時間Lを取得する遅れ時間取得機能と、
前記取得した遅れ時間Lが基準値Th以下である場合、その旨を報知する報知機能と、
前記遅れ時間Lが前記基準値Thより大きい場合、前記遅れ時間取得機能で取得した遅れ時間Lを用いて前記対象者の収縮期血圧SBPと拡張期血圧DBPを取得する血圧取得機能と、
前記取得した収縮期血圧SBPと拡張期血圧DBPを出力する出力機能と、
をコンピュータに実現させるための血圧測定プログラム。
a first pulse wave acquisition function for acquiring a first pulse wave m1 measured at a first position of the subject;
a second pulse wave acquisition function that acquires a second pulse wave m2 measured at a second position that is farther from the subject's heart than the first position;
a delay time acquisition function for acquiring a delay time L of the second pulse wave m2 with respect to the first pulse wave m1;
a notification function for notifying when the acquired delay time L is equal to or less than a reference value Th;
a blood pressure acquisition function for acquiring the subject's systolic blood pressure SBP and diastolic blood pressure DBP using the delay time L acquired by the delay time acquisition function when the delay time L is greater than the reference value Th;
an output function for outputting the acquired systolic blood pressure SBP and diastolic blood pressure DBP;
A blood pressure measurement program for realizing on a computer.
JP2021061364A 2021-03-31 2021-03-31 Blood pressure measuring device and blood pressure measuring program Pending JP2022157247A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021061364A JP2022157247A (en) 2021-03-31 2021-03-31 Blood pressure measuring device and blood pressure measuring program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021061364A JP2022157247A (en) 2021-03-31 2021-03-31 Blood pressure measuring device and blood pressure measuring program

Publications (1)

Publication Number Publication Date
JP2022157247A true JP2022157247A (en) 2022-10-14

Family

ID=83559518

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021061364A Pending JP2022157247A (en) 2021-03-31 2021-03-31 Blood pressure measuring device and blood pressure measuring program

Country Status (1)

Country Link
JP (1) JP2022157247A (en)

Similar Documents

Publication Publication Date Title
US9854976B2 (en) Pulse wave velocity measurement method
Fan et al. Robust blood pressure estimation using an RGB camera
KR20190050725A (en) Method and apparatus for estimating ppg signal and stress index using a mobile terminal
JP7068339B2 (en) Blood pressure measuring device and blood pressure measuring method
KR101738278B1 (en) Emotion recognition method based on image
JP6167614B2 (en) Blood flow index calculation program, blood flow index calculation device, and blood flow index calculation method
JP6957929B2 (en) Pulse wave detector, pulse wave detection method, and program
JP6727469B1 (en) Information processing apparatus, program, and information processing method
JP2019000474A (en) Pulse period detection device, pulse period detection method, pulse period detection program, and pulse wave detection device
Jiang et al. Real-time quantifying heart beat rate from facial video recording on a smart phone using Kalman filters
Hernandez-Ortega et al. A comparative evaluation of heart rate estimation methods using face videos
JP2019097757A5 (en)
Alnaggar et al. Video-based real-time monitoring for heart rate and respiration rate
Qiao et al. Revise: Remote vital signs measurement using smartphone camera
Suh et al. Contactless physiological signals extraction based on skin color magnification
JP6878687B2 (en) Model setting device, non-contact blood pressure measuring device, model setting method, model setting program, and recording medium
KR102243017B1 (en) Depression Index Estimation Method Using Skin Image
JP2022157247A (en) Blood pressure measuring device and blood pressure measuring program
JP2021058361A (en) Biological information acquisition device and program
JP6201520B2 (en) Gaze analysis system and method using physiological indices
Karmuse et al. A robust rppg approach for continuous heart rate measurement based on face
JP2021153610A (en) Blood pressure measuring device, portable terminal, and blood pressure measuring program
JP2021153609A (en) Blood pressure measuring device, portable terminal, and blood pressure measuring program
JP2021153611A (en) Blood pressure measuring device, portable terminal, and blood pressure measuring program
Hansen et al. Real-time estimation of heart rate in situations characterized by dynamic illumination using remote photoplethysmography

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20210728

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230801

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20231020

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240318