JP6724603B2 - Pulse wave measuring device, pulse wave measuring program, pulse wave measuring method and pulse wave measuring system - Google Patents
Pulse wave measuring device, pulse wave measuring program, pulse wave measuring method and pulse wave measuring system Download PDFInfo
- Publication number
- JP6724603B2 JP6724603B2 JP2016131001A JP2016131001A JP6724603B2 JP 6724603 B2 JP6724603 B2 JP 6724603B2 JP 2016131001 A JP2016131001 A JP 2016131001A JP 2016131001 A JP2016131001 A JP 2016131001A JP 6724603 B2 JP6724603 B2 JP 6724603B2
- Authority
- JP
- Japan
- Prior art keywords
- correction
- signal
- pulse wave
- unit
- influence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Description
本発明は、脈波を測定する脈波測定装置、脈波測定プログラム、脈波測定方法及び脈波測定システムに関する。 The present invention relates to a pulse wave measuring device for measuring a pulse wave, a pulse wave measuring program, a pulse wave measuring method, and a pulse wave measuring system.
従来から、光センサや撮像装置を用いて生体の脈拍を測定する技術が知られており、この技術では、脈拍の検出精度を向上させるために、各種の手法が用いられている。 BACKGROUND ART Conventionally, a technique of measuring a pulse of a living body using an optical sensor or an imaging device has been known, and in this technique, various methods are used to improve the detection accuracy of the pulse.
その手法の１つとして、例えば撮像装置を用いた脈拍の測定において、撮像装置から得られた３つの信号を、２つの差分信号に変換して同相ノイズ成分を低減させることが知られている。また、別の手法として、撮像装置から得られた信号から算出された脈拍数と、真の脈拍数との誤差が最小となるように、撮像装置のフレームレートを制御する手法が知られている。 As one of the methods, it is known that, for example, in pulse measurement using an image pickup device, three signals obtained from the image pickup device are converted into two differential signals to reduce a common-mode noise component. As another method, there is known a method of controlling the frame rate of the image pickup apparatus so that the error between the pulse rate calculated from the signal obtained from the image pickup apparatus and the true pulse rate is minimized. ..
近年では、生体の自律神経の働きが、脈波のピーク間の時間の変動と関連していることがわかっており、自律神経の働きの解析等のために、脈波のピーク間の時間の変動を精度良く測定することが求められている。 In recent years, it has been known that the function of the autonomic nerve of the living body is related to the fluctuation of the time between the peaks of the pulse wave. Accurate measurement of fluctuations is required.
しかしながら、上述した従来の技術は、脈拍数、すなわち脈波のピークの数の検出精度を向上させるためのものであり、脈波のピーク間の時間の変動の測定という観点では、ピークの検出精度が不十分であった。 However, the above-mentioned conventional technique is for improving the detection accuracy of the pulse rate, that is, the number of peaks of the pulse wave, and from the viewpoint of measuring the time variation between the peaks of the pulse wave, the detection accuracy of the peaks. Was insufficient.
開示の技術は、脈波のピークの検出精度を向上させることを目的としている。 The disclosed technique aims to improve the detection accuracy of the pulse wave peak.
開示の技術は、画像データから抽出された、生体の脈波により変動する第一及び第二の信号を用いて、第一の補正を行った結果の第一の補正信号と、第二の補正を行った結果の第二の補正信号と、を前記脈波の周期毎の区間に分割する信号分割部と、前記第一及び前記第二の補正信号のそれぞれについて、前記区間毎に、ノイズの影響の度合いを示す値を算出する影響度算出部と、前記区間毎に、前記影響の度合いが小さい方の補正信号のピークの発生時刻を検出するピーク時間検出部と、を有する脈波測定装置である。 The disclosed technology uses the first and second signals that are extracted from the image data and that fluctuate according to the pulse wave of the living body, and a first correction signal as a result of the first correction and a second correction signal. The second correction signal of the result of performing, a signal dividing unit that divides the pulse wave into intervals for each period of the pulse wave, and for each of the first and second correction signals, for each interval, noise A pulse wave measuring apparatus having an influence degree calculating unit that calculates a value indicating the degree of influence, and a peak time detecting unit that detects, for each of the sections, a peak occurrence time of a correction signal having a smaller influence degree. Is.
脈波のピークの検出精度を向上させる。 Improves detection accuracy of pulse wave peaks.
（第一の実施形態）
以下に図面を参照して第一の実施形態について説明する。図１は、脈波の測定について説明する図である。
(First embodiment)
The first embodiment will be described below with reference to the drawings. FIG. 1 is a diagram illustrating measurement of a pulse wave.
本実施形態では、脈波測定装置１００に搭載された撮像装置（カメラ）１１により、脈波の測定の対象となる生体１の画像を撮像し、撮像した画像の画像データから、生体１の脈波を示す信号を取得する。そして、本実施形態の脈波測定装置１００は、後述するピーク検出処理により、脈波を示す信号（生体信号）における各ピークの発生時刻を検出する。
In the present embodiment, an image of the
より具体的には、本実施形態では、脈波を示す信号に対して複数の補正処理を行い、その結果として得られた複数の補正信号から、ノイズによる影響が最も小さいと判定された補正信号を用いて、脈波を示す信号のピークの発生時刻を検出する。このため、本実施形態によれば、脈波のピークの検出精度を向上させることができる。 More specifically, in the present embodiment, a plurality of correction processes are performed on a signal indicating a pulse wave, and from the plurality of correction signals obtained as a result, a correction signal determined to be least affected by noise Is used to detect the occurrence time of the peak of the signal indicating the pulse wave. Therefore, according to the present embodiment, it is possible to improve the detection accuracy of the peak of the pulse wave.
また、本実施形態では、ピークの検出精度を向上させることで、ピーク間の時間の変動の検出精度も向上させることができる。このため、本実施形態によれば、ピーク間の時間の変動を示す情報を用いる処理を実行する装置に対し、精度の高い情報を提供することができ、処理結果の信頼性の向上に対しても貢献できる。ピーク間の時間の変動を示す情報を用いる処理とは、例えば、生体の自律神経の働きを解析する処理等である。 Further, in the present embodiment, by improving the peak detection accuracy, it is possible to improve the detection accuracy of the time variation between peaks. Therefore, according to the present embodiment, it is possible to provide highly accurate information to a device that executes a process that uses information indicating the time variation between peaks, and to improve the reliability of the processing result. Can also contribute. The process using the information indicating the time variation between peaks is, for example, a process of analyzing the function of the autonomic nerve of the living body.
本実施形態の脈波測定装置１００は、撮像装置を有するものであれば、どのような装置であっても良い。具体的には、図１に示すように、Ｗｅｂカメラ等の撮像装置が内蔵されたコンピュータであっても良い。また、本実施形態の脈波測定装置１００は、撮像装置が内蔵されていなくてもよく、一般的なＷｅｂカメラと、Ｗｅｂカメラに接続されたコンピュータと、を脈波測定装置としても良い。
The pulse
また、本実施形態の脈波測定装置１００は、例えばタブレット型のコンピュータやスマートフォン等の携帯端末であっても良いし、撮像装置が内蔵された又は、撮像装置と接続されたウェアラブル端末等であっても良い。
Further, the pulse
以下に、本実施形態の脈波測定装置１００のハードウェア構成について説明する。図２は、脈波測定装置のハードウェア構成の一例を示す図である。
The hardware configuration of the pulse
本実施形態の脈波測定装置１００は、撮像装置１１、ＣＰＵ（Central Processing Unit）１２、記憶装置１３、入力装置１４、出力装置１５、Ｉ／Ｆ（Interface）装置１６を有し、それぞれがシステムバスＢで互いに接続されている。
The pulse
撮像装置１１は、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の３チャンネルを持つＣＣＤイメージセンサを有し、生体１のＲＧＢ画像を取得する。尚、撮像装置１１は、必ずしもＲＧＢの３チャンネルである必要はなく、分光感度が互いに異なる少なくとも２つのチャンネルを有していれば良い。その場合、ヘモグロビンの吸収率が高いＧ波長域（５５０ｎｍ付近の波長域）に分光感度を持つチャンネルの信号値（以下、Ｇ信号と呼ぶ）と、ヘモグロビンの吸収率が低いＧ波長域以外の波長域に分光感度を持つチャンネルとを有することが望ましい。また、撮像装置１１の撮像素子はＣＭＯＳ（Complementary MOS）イメージセンサであっても良い。
The
ＣＰＵ１２は、脈波測定装置１００全体の制御や演算を行う中央処理装置である。ＣＰＵ１２は、記憶装置１３に格納されているプログラムを読み出し実行することで、撮像装置１１で取得した画像から脈波の各拍のピークとピークの間の時間を検出する。
The
記憶装置１３は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、外部記憶装置を含み、ＣＰＵ１２が実行するプログラムや演算に必要なデータを格納する。
The
入力装置１４は、キーボードやマウス等であり、各種の情報の入力に用いられる。例えば、入力装置１４は、脈波測定処理の実行指示の入力等に用いられる。
The
出力装置１５は、ディスプレイ等であり、各種の情報の出力に用いられる。例えば出力装置１５は、撮像装置１１により取得した画像や測定した脈波データを出力する。
The
Ｉ／Ｆ装置１６は外部装置と接続するための汎用Ｉ／Ｆを備える。Ｉ／Ｆ装置１６は、例えば本実施形態の脈波測定プログラムを格納した記録媒体１７が接続されても良い。本実施形態の脈波測定プログラムは、脈波測定装置１００を制御するプログラムの一部である。記録媒体１７に格納された脈波測定プログラムは、Ｉ／Ｆ装置１６を介して読み込まれると、記憶装置１３へ格納される。また、本実施形態の脈波測定プログラムは、例えばネットワークを介して接続された他の装置からダウンロードされても良い。
The I/
尚、図２の例では、脈波測定装置１００は、撮像装置１１を有する構成としたが、これに限定されない。撮像装置１１は、例えばＩ／Ｆ装置１６を介して外部に接続されていても良い。
In addition, in the example of FIG. 2, the pulse
図３は、第一の実施形態の脈波測定装置の機能構成を説明する図である。本実施形態の脈波測定装置１００は、画像取得部１１０、データ記憶部１２０、脈波測定処理部１３０、データ出力部１４０を有する。
FIG. 3 is a diagram illustrating a functional configuration of the pulse wave measuring device according to the first embodiment. The pulse
画像取得部１１０は、撮像装置１１により撮像されたＲＧＢ画像の画像データを取得する。具体的には、本実施形態の画像取得部１１０は、撮像装置１１に対し、フレームレートを３０ｆｐｓ、ＲＧＢ信号のビット数を８ｂｉｔに設定して画像データを取得させる。尚、本実施形態における最適なフレームレートやビット数等のパラメータは、計測環境や撮像装置１１の性能、その後のデータ処理にも依存するため、それらの影響を考慮して最適な値を設定すれば良い。
The
データ記憶部１２０は、記憶装置１３の記憶領域に、画像取得部１１０が取得した画像データや、脈波測定処理部１３０から出力された脈波データ等を格納する。本実施形態のデータ記憶部１２０は、例えば所定の測定時間において画像取得部１１０により取得された画像データ群が格納される。
The
脈波測定処理部１３０は、データ記憶部１２０に記憶された画像データ群を取得して脈波データを出力する。脈波測定処理部１３０の詳細は後述する。
The pulse wave
データ出力部１４０は、データ記憶部１２０に格納された脈波データ等を出力装置１５や外部装置に出力する。
The
以下に、本実施形態の脈波測定処理部１３０について説明する。本実施形態の脈波測定処理部１３０は、信号抽出部１５０、補正部１６０、ピーク検出処理部１７０を有する。
The pulse wave
信号抽出部１５０は、データ記憶部１２０が格納した画像データ群の各画像データから、脈波を示す信号を取得する。
The
以下に、脈波を示す信号を取得する仕組みについて説明する。生体１の血中に含まれるヘモグロビンは、特定波長の光を吸収する特性を持ち、血管の容積変化に伴う血中のヘモグロビン量の変化に応じて、光の吸収量が周期的に変化する。この変化は、撮像装置１１の受光素子で受光される生体１からの反射光量の変化に表れる。言い換えれば、この変化は、撮像装置１１が撮像する画像の色の変化に表れる。血管の容積変化は、生体１の鼓動によって生じるものであるから、画像データから抽出された信号（Ｒ信号、Ｇ信号、Ｂ信号）そのものが、脈波を示す信号となる。
The mechanism for acquiring the signal indicating the pulse wave will be described below. Hemoglobin contained in the blood of the living
本実施形態の信号抽出部１５０は、画像データから、ヘモグロビンの吸収率が高いＧ波長域（５５０ｎｍ付近の波長域）に分光感度を持つチャンネルの信号値（以下、Ｇ信号と呼ぶ）と、Ｒ波長域に分光感度を持つチャンネルの信号値（以下、Ｒ信号と呼ぶ）とを抽出し、補正部１６０へ出力する。信号抽出部１５０により抽出された信号と、信号抽出部１５０の処理の詳細は後述する。
From the image data, the
尚、上述した説明では、信号抽出部１５０は、Ｒ信号とＧ信号を抽出するものとして説明しているが、これに限定されない。信号抽出部１５０は、Ｂ波長域に分光感度を持つチャンネルの信号値（以下、Ｂ信号と呼ぶ）を抽出しても良い。
In the above description, the
補正部１６０は、信号抽出部１５０が画像データ群の各画像データから抽出したＧ信号とＲ信号に対して、複数種類の補正を行う。本実施形態の補正部１６０は、差分補正部１６１、フィルタ補正部１６２を有する。
The
本実施形態の差分補正部１６１は、Ｒ信号とＧ信号を用いて両者の差分をとり、２つの信号間の同相ノイズを低減した補正信号を生成する。
The
本実施形態の差分補正部１６１では、Ｇ信号とＲ信号を用いて、以下の式（１）により差分補正を行った補正信号Ｃ１を算出する。補正信号Ｃ１の例は後述する。尚、式（１）におけるｋは、Ｇ信号とＲ信号の感度差を補正するための係数である。
The
Ｃ１＝Ｇ−ｋＲ （１）
また、本実施形態では、補正信号Ｃ１をＧ信号とＲ信号を用いて算出するものとしたが、これに限定されない。補正信号Ｃ１は、Ｇ信号と比較して同相ノイズ成分を低減した差分補正信号を得ることができれば、差分を取る２つの信号は他のＲＧＢ信号の組み合わせであっても良い。この際に、差分を取る信号の一方は、ヘモグロビンの吸収率が高いＧ波長域の信号であるＧ信号を用いることが望ましい。
C1=G-kR (1)
Further, in the present embodiment, the correction signal C1 is calculated using the G signal and the R signal, but the present invention is not limited to this. The correction signal C1 may be a combination of other RGB signals as long as the difference correction signal in which the in-phase noise component is reduced as compared with the G signal can be obtained. At this time, it is desirable to use, as one of the signals for which the difference is obtained, a G signal that is a signal in the G wavelength region in which the absorption rate of hemoglobin is high.
本実施形態では、信号抽出部１５０により抽出された信号に対し、差分補正部１６１による補正を行うことで、脈拍と同周期の同相ノイズ成分を低減できる。したがって、差分補正部１６１によれば、計測中に生体の体動や光路中にある物体の動き等による計測面の照度変化が発生した場合等において、脈波のピークの検出漏れや誤検出の発生を抑制できる。
In the present embodiment, the signal extracted by the
本実施形態のフィルタ補正部１６２は、信号抽出部１５０により抽出されたＧ信号と、補正信号Ｃ１のそれぞれに対し、所定の周期特性を持ったフィルタを適用したフィルタ補正を行い、補正信号Ｃ２と、補正信号Ｃ１'と、を出力する。補正信号Ｃ２の例は後述する。
The
本実施形態では、Ｇ信号に対し、フィルタ補正部１６２によるフィルタ補正を行うことで、脈波の周期と異なる周期を持つノイズ成分を低減できる。
In the present embodiment, by performing filter correction on the G signal by the
また、本実施形態では、差分補正を行った後の補正信号Ｃ１に対してフィルタ補正を行うことで、差分補正を行うことで増大した、脈波の周期と異なる周期を持つノイズ成分を低減できる。 Further, in the present embodiment, by performing the filter correction on the correction signal C1 after the difference correction, it is possible to reduce the noise component having the period different from the pulse wave period, which is increased by the difference correction. ..
本実施形態の所定の周期特性を持ったフィルタは、例えば脈波の周期に近い周波数成分のみを通過させるバンドパスフィルタであっても良い。また、フィルタ補正部１６２では、このフィルタは、脈波に近い周期を持つフィルタ関数を生成し、対象信号との相互相関計算により脈波の周期と異なる周期のノイズ成分を低減する手法を用いても良い。
The filter having the predetermined periodic characteristic of the present embodiment may be, for example, a bandpass filter that passes only the frequency component close to the pulse wave period. Further, in the
以上のように、本実施形態の補正部１６０は、Ｇ信号に対してフィルタ補正を行った補正信号Ｃ２と、Ｇ信号とＲ信号を用いた差分補正を行った補正信号Ｃ１に対してフィルタ補正を行った補正信号Ｃ１′と、をピーク検出処理部１７０へ出力する。
As described above, the
本実施形態のピーク検出処理部１７０は、信号分割部１７１、影響度算出部１７２、補正信号選択部１７３、ピーク時間検出部１７４を有する。
The peak
信号分割部１７１は、補正部１６０から出力される補正信号Ｃ２と補正信号Ｃ１′を、脈波の周期単位で複数の区間に分割する。
The
影響度算出部１７２は、各時間区間におけるノイズによる影響度を算出する。影響度とは、補正信号Ｃ２及び補正信号Ｃ１′のそれぞれにおける、ノイズの影響の度合いを示す値である。尚、本実施形態におけるノイズとは、脈波の周期の同相ノイズと、脈波の周期の非同相ノイズとを含む。
The
具体的には、本実施形態では、補正信号Ｃ２及び補正信号Ｃ１′の波形の歪みを示す歪み量を影響度とした。したがって、本実施形態の影響度算出部１７２は、補正信号Ｃ２及び補正信号Ｃ１′の歪み量を算出する。影響度算出部１７２の詳細は後述する。
Specifically, in this embodiment, the distortion amount indicating the distortion of the waveforms of the correction signal C2 and the correction signal C1′ is taken as the influence degree. Therefore, the influence
補正信号選択部１７３は、影響度算出部１７２が算出した影響度が小さい方と対応する補正信号を選択する。
The correction
ピーク時間検出部１７４は、補正信号選択部１７３により選択された補正信号において、ピークが発生した時刻を検出する。尚、ピーク時間検出部１７４は、ピークが発生した時刻と、ピークとピークの間の時間と、ピーク間の時間の変動を算出しても良い。
The peak
以上のように、本実施形態では、脈波を示す信号に対し、複数種類の補正を行った結果の補正信号から、ノイズの影響が小さい補正信号を選択し、選択された補正信号から脈波のピークの発生時刻を検出する。 As described above, in the present embodiment, a correction signal that is less affected by noise is selected from the correction signals obtained as a result of performing a plurality of types of corrections on the signal indicating the pulse wave, and the pulse wave is selected from the selected correction signal. The occurrence time of the peak of is detected.
次に、図４乃至６を参照し、本実施形態の信号抽出部１５０により抽出された信号と、補正部１６０において補正された信号の例を説明する。
Next, an example of the signal extracted by the
図４は、ＲＧＢ信号の一例を示す図である。図４では、信号抽出部１５０が画像データからＲ信号、Ｇ信号、Ｂ信号を抽出した場合の各信号の例を示している。
FIG. 4 is a diagram showing an example of RGB signals. FIG. 4 shows an example of each signal when the
図４では、上述したように、ＲＧＢ各色の信号で容積脈波に起因する周期的な信号値の変化が表れていることが分かる。また、Ｒ信号、Ｇ信号、Ｂ信号のうち、Ｇ信号の値の変化量が最も大きく、Ｒ信号とＢ信号では小さくなっていることが分かる。 In FIG. 4, as described above, it can be seen that the signal of each color of RGB shows a periodical change in the signal value due to the volume pulse wave. Also, it can be seen that the amount of change in the value of the G signal is the largest among the R signal, the G signal, and the B signal, and is small for the R signal and the B signal.
図５は、差分補正を行った結果の例を示す図である。 FIG. 5 is a diagram showing an example of the result of the difference correction.
図５では、差分補正部１６１により、区間ＴにおいてＧ信号とＲ信号とを用いた差分補正を行った結果の補正信号Ｃ１を示している。
FIG. 5 shows a correction signal C1 as a result of the
図６は、フィルタ補正を行った結果の例を示す図である。図６（ａ）はＧ信号を示しており、図６（ｂ）は、Ｇ信号に対してフィルタ補正部１６２によるフィルタ補正を行った結果の補正信号Ｃ２を示している。
FIG. 6 is a diagram showing an example of the result of the filter correction. FIG. 6A shows the G signal, and FIG. 6B shows the correction signal C2 as a result of performing the filter correction by the
図６の例では、Ｇ信号では脈波の周期に長い周期での信号値の変動や短い周期での信号値の変動が発生しているが、フィルタ補正部１６２によるフィルタ補正後の補正信号Ｃ２では、それらの信号値の変動が低減されていることが分かる。
In the example of FIG. 6, in the G signal, the fluctuation of the signal value in a long cycle and the fluctuation of the signal value in a short cycle occur in the cycle of the pulse wave, but the correction signal C2 after the filter correction by the
次に、図７を参照して、本実施形態の脈波測定装置１００の動作について説明する。図７は、脈波測定装置の動作を説明するフローチャートである。
Next, with reference to FIG. 7, an operation of the pulse
本実施形態の脈波測定装置１００において、脈波測定処理部１３０は、信号抽出部１５０により、データ記憶部１２０に格納された画像データから、脈波を示す信号を抽出する（ステップＳ７０１）。具体的には、信号抽出部１５０は、データ記憶部１２０に格納された所定の測定時間分の画像データを取得し、画像データから、Ｇ信号とＲ信号を抽出し、補正部１６０へ出力する。
In the pulse
続いて、補正部１６０は、差分補正部１６１により、Ｇ信号とＲ信号とを用いた差分補正を行い、補正信号Ｃ１を出力する（ステップＳ７０２）。
Subsequently, the
続いて、補正部１６０は、フィルタ補正部１６２により、信号抽出部１５０から出力されたＧ信号に対してフィルタ補正を行い、補正信号Ｃ２を出力する。また、補正部１６０は、フィルタ補正部１６２により、差分補正部１６１から出力された補正信号Ｃ１に対してフィルタ補正を行い、補正信号Ｃ１′を出力する（ステップＳ７０３）。
Subsequently, in the
続いて、脈波測定処理部１３０は、ピーク検出処理部１７０により、補正信号Ｃ２及び補正信号Ｃ１′を区間毎に分割し、区間毎に、補正信号Ｃ２又は補正信号Ｃ１′の何れか一方を選択し、選択した補正信号のピークと、ピークが発生した時刻を検出する（ステップＳ７０４）。
Subsequently, the pulse wave
以下に、図８、図９を参照し、信号抽出部１５０の処理についてさらに説明する。
Hereinafter, the processing of the
図８は、撮像装置による画像の取得について説明する図である。本実施形態の信号抽出部１５０は、例えば生体１の顔部分の画像データから、Ｇ信号とＲ信号を抽出する。
FIG. 8 is a diagram illustrating acquisition of an image by the imaging device. The
本実施形態では、脈波の測定対象者（生体１）の顔部分の画像を撮像装置１１で撮像し、撮像した画像のうち、鼻と頬を含む領域８１の画像データからＧ信号とＲ信号を抽出する。
In the present embodiment, an image of the face portion of the person (living body 1) whose pulse wave is to be measured is captured by the
この領域８１は、血管が皮膚表面の近くを通るため、撮像される画像から脈拍によって反射する光量の変化が観察しやすい領域である。そのため、領域８１を含む画像に基づいて、脈波信号が抽出されると、解析における評価値が精度良く計算できる。
This
さらに、領域８１は、髪又は衣服等によって肌が隠れる場合が少ない領域である。したがって、領域８１を含む画像に基づいて、脈波信号が抽出されると、解析における評価値が精度良く計算できる。
Further, the
上述したように、脈拍による血中のヘモグロビン量の変化に応じて領域８１のＲＧＢ信号の値は周期的に変化するため、脈波測定処理部１３０では、その特性を利用して脈波を示す信号におけるピークを検出する。
As described above, the values of the RGB signals in the
尚、領域８１は必ずしも図８に示す領域である必要はなく、脈拍によるＲＧＢ信号の変化が観測できる領域であれば他の領域を用いても構わない。例えば額部分や指先部分を撮像対象の領域としても良い。領域８１は、測定時間中に、継続して画像を撮像できる領域であれば良い。
The
また、領域８１の画素サイズは、画像から顔認識技術により目や鼻の特徴点の画像位置を検出し、それらの画像位置に基づき設定すれば良い。その他にも、脈波測定装置１００の入力装置１４において、領域８１の始点画素位置と幅・高さの画素数の入力受け付けても良い。
The pixel size of the
また、計測は、撮像等であり、端末装置又は端末装置が有する撮像装置等が、生体から離れた位置にある、いわゆる非接触で行われるのが望ましい。 In addition, the measurement is imaging and the like, and it is desirable that the terminal device or an imaging device included in the terminal device is located in a position away from a living body, that is, so-called non-contact.
図９は、信号抽出部の処理を説明するフローチャートである。 FIG. 9 is a flowchart illustrating the processing of the signal extraction unit.
本実施形態の信号抽出部１５０は、データ記憶部１２０から取得した画像データにおいて、顔特徴点座標の算出を行う（ステップＳ９０１）。具体的には、信号抽出部１５０は、顔のパーツ検出により顔画像から目、鼻、口の各特徴点の座標位置を検出する。顔のパーツ検出については既存の顔認識技術を用いれば良い。
The
続いて、信号抽出部１５０は、ステップＳ９０１で検出した特徴点の座標位置に基づき、脈波の検出に用いる領域８１を設定する（ステップＳ９０２）。領域８１の幅は、鼻の座標位置を中心として顔領域から外れない範囲で設定する。領域８１の高さは、目と口に領域が重ならない範囲で設定する。
Subsequently, the
続いて、信号抽出部１５０は、領域８１のＧ信号の値を加算平均する（ステップＳ９０３）。脈拍による領域８１の反射光量の変化は微小な変化であり、１画素単位ではノイズによる影響が非常に大きいが、複数画素の信号の値を加算平均することで、脈波を示す信号に対するノイズの影響を低減することができる。
Subsequently, the
本実施形態では、以上の処理を、データ記憶部１２０から取得した画像データ群の全ての画像データ（全てのフレーム）に対して適用することで、各画像データからＧ信号とＲ信号を抽出する。
In the present embodiment, the above processing is applied to all image data (all frames) of the image data group acquired from the
次に、図１０を参照して、本実施形態のピーク検出処理部１７０の処理について説明する。図１０は、第一の実施形態のピーク検出処理部の処理を説明するフローチャートである。
Next, the processing of the peak
本実施形態のピーク検出処理部１７０は、信号分割部１７１により、補正部１６０から出力される補正信号Ｃ２と、補正信号Ｃ１′を脈波の周期毎の区間に分割する（ステップＳ１００１）。
In the peak
脈波の周期は、血中のヘモグロビン量が極小となる脈波の立ち上がり開始時間において、補正信号Ｃ２及び補正信号Ｃ１′が極大値をとることを利用して検出する。すなわち、本実施形態の信号分割部１７１は、補正信号Ｃ２及び補正信号Ｃ１′のｉ番目の極大時間Ｔｍａｘ[i]とｉ＋１番目の極大時間Ｔｍａｘ［ｉ＋１］で表される時間区間[Ｔｍａｘ［ｉ］，Ｔｍａｘ［ｉ＋１］]を脈波の１周期に対応する区間として補正信号Ｃ２及び補正信号Ｃ１′を分割する。
The period of the pulse wave is detected by utilizing the fact that the correction signal C2 and the correction signal C1' take the maximum values at the rising start time of the pulse wave when the hemoglobin amount in the blood becomes the minimum. That is, the
続いて、ピーク検出処理部１７０は、変数Ｎ＝１を設定し（ステップＳ１００２）、Ｎ番目の区間の補正信号Ｃ２及び補正信号Ｃ１′を取得する（ステップＳ１００３）。
Subsequently, the peak
続いて、ピーク検出処理部１７０は、影響度算出部１７２によるステップＳ１００４からステップＳ１００６の処理により、補正信号Ｃ２及び補正信号Ｃ１′に対するノイズの影響度を算出する。本実施形態の影響度は、補正信号Ｃ２及び補正信号Ｃ１′の歪み量である。
Subsequently, the peak
本実施形態のピーク検出処理部１７０は、影響度算出部１７２により、補正信号Ｃ２及び補正信号Ｃ１′の波形特徴量を算出する（ステップＳ１００４）。続いて、影響度算出部１７２は、補正信号Ｃ２及び補正信号Ｃ１′の標準波形特徴量を算出する（ステップＳ１００５）。
In the peak
続いて、影響度算出部１７２は、補正信号Ｃ２及び補正信号Ｃ１′のそれぞれについて、波形特徴量と標準波形特徴量とを用いて歪み量を算出する（ステップＳ１００６）。波形特徴量、標準波形特徴量及び歪み量の算出の処理の詳細は後述する。
Subsequently, the influence
続いてピーク検出処理部１７０は、補正信号選択部１７３により、歪み量が小さい方の補正信号を選択する（ステップＳ１００７）。
Subsequently, in the peak
続いて、ピーク検出処理部１７０は、Ｎ番目の区間において、選択した補正信号の値が最小値となる時刻を検出し、この時刻をピークが発生した時刻とする（ステップＳ１００８）。
Subsequently, the peak
続いて、ピーク検出処理部１７０は、Ｎ番目の区間が、最後の区間であるか否かを判定する（ステップＳ１００９）。ステップＳ１００９において、最後の区間でない場合、ピーク検出処理部１７０は、変数Ｎ＝Ｎ＋１とし（ステップＳ１０１０）、ステップＳ１００３へ戻る。
Subsequently, the peak
ステップＳ１００９において、Ｎ番目の区間が最後の区間であった場合、ピーク検出処理部１７０は、測定時間における区間毎の脈波のピークの発生時刻を示す情報をデータ記憶部１２０に対して出力し（ステップＳ１０１１）、処理を終了する。
In step S1009, when the N-th section is the last section, the peak
尚、データ記憶部１２０には、区間毎に選択された補正信号をつなげた波形データである脈波データが、区間毎のピークの発生時刻を示す情報と共に格納されても良い。データ記憶部１２０に記憶されたデータは、例えば脈波測定装置１００の外部の装置からの取得要求を受けて、データ出力部１４０から出力されても良い。
The
以下に、図１１を参照して、影響度の算出についてさらに説明する。図１１は、影響度を算出する処理を説明する図である。 The calculation of the degree of influence will be further described below with reference to FIG. 11. FIG. 11 is a diagram illustrating a process of calculating the influence degree.
図１１に示す波形は、例えば、区間Ｋにおける補正信号Ｃ２を示している。本実施形態では、補正信号Ｃ２の極大値Ｐ１から次の極大値Ｐ２までの間を脈波の周期とし、１つの区間としている。 The waveform shown in FIG. 11 indicates the correction signal C2 in the section K, for example. In this embodiment, the period from the maximum value P1 of the correction signal C2 to the next maximum value P2 is set as the period of the pulse wave and is set as one section.
また、本実施形態では、区間Ｋにおいて、補正信号Ｃ２の値が極小となる点Ｐ３をピークとして検出する。 Further, in the present embodiment, in the section K, the point P3 at which the value of the correction signal C2 is the minimum is detected as a peak.
始めに、区間Ｋにおける補正信号Ｃ２の波形特徴量の算出について説明する。本実施形態では、波形特徴量として、補正信号Ｃ２の立ち上がり時間ＵＴ［ｉ］と立ち下がり時間ＤＴ［ｉ］の比率ＤＴ［ｉ］／ＵＴ［ｉ］を用いる。立ち上がり時間ＵＴ［ｉ］と立ち下がり時間ＤＴ［ｉ］は以下の式（２）で算出する。 First, the calculation of the waveform characteristic amount of the correction signal C2 in the section K will be described. In the present embodiment, the ratio DT[i]/UT[i] of the rising time UT[i] and the falling time DT[i] of the correction signal C2 is used as the waveform characteristic amount. The rising time UT[i] and the falling time DT[i] are calculated by the following equation (2).
ＵＴ［ｉ］＝Ｔｍｉｎ［ｉ］−Ｔｍａｘ［ｉ］
ＤＴ［ｉ］＝Ｔｍａｘ［ｉ＋１］−Ｔｍｉｎ［ｉ］ （２）
ここでＴｍｉｎ［ｉ］は、時間区間[Ｔｍａｘ[ｉ]，Ｔｍａｘ[ｉ＋１]]（区間Ｋ）において、補正信号Ｃ２の値が最小となる時間である。
UT[i]=Tmin[i]-Tmax[i]
DT[i]=Tmax[i+1]-Tmin[i] (2)
Here, Tmin[i] is the time when the value of the correction signal C2 is minimum in the time section [Tmax[i], Tmax[i+1]] (section K).
次に、本実施形態の標準波形特徴量の算出について説明する。本実施形態では、標準波形特徴量を、各時間区間の波形特徴量ＵＴ［ｉ］／ＤＴ［ｉ］を全区間で平均した値とした。標準波形特徴量ＵＴ／ＤＴは、以下の式（３）により算出される。 Next, the calculation of the standard waveform feature amount of this embodiment will be described. In the present embodiment, the standard waveform feature amount is a value obtained by averaging the waveform feature amounts UT[i]/DT[i] in each time interval in all the intervals. The standard waveform feature amount UT/DT is calculated by the following equation (3).
ＵＴ／ＤＴ＝Σ（ＵＴ［ｉ］／ＤＴ［ｉ］）／Ｎ （３）
次に、本実施形態の歪み量の算出について説明する。本実施形態では、波形特徴量と、標準波形特徴量との差分を歪み量とした。歪み量Δ（ＵＴ／ＤＴ）［ｉ］は、以下の式（４）により算出される。
UT/DT=Σ(UT[i]/DT[i])/N (3)
Next, the calculation of the distortion amount of this embodiment will be described. In the present embodiment, the difference between the waveform feature amount and the standard waveform feature amount is set as the distortion amount. The distortion amount Δ(UT/DT)[i] is calculated by the following equation (4).
Δ（ＵＴ／ＤＴ）[ｉ]＝｜ＵＴ／ＤＴ−ＵＴ［ｉ］／ＤＴ［ｉ］｜ （４）
本実施形態では、以上のようにして、各区間の補正信号Ｃ２及び補正信号Ｃ１′について、波形特徴量と標準波形特徴量を算出し、歪み量を算出する。
Δ(UT/DT)[i]=|UT/DT-UT[i]/DT[i]| (4)
In the present embodiment, as described above, the waveform feature amount and the standard waveform feature amount are calculated for the correction signal C2 and the correction signal C1′ in each section, and the distortion amount is calculated.
そして、本実施形態では、区間毎に、補正信号Ｃ２及び補正信号Ｃ１′のうち、歪み量が小さい方の補正信号を、ノイズによる影響度が小さい補正信号として、選択する。 Then, in the present embodiment, of the correction signals C2 and C1′, the correction signal having the smaller distortion amount is selected for each section as the correction signal having a smaller influence of noise.
波形の歪み量は、脈波の周期の同相ノイズによる影響が小さい場合は、脈波の感度の低下や非同相ノイズの増大がないフィルタ補正を行った補正信号Ｃ２の方が、差分補正を行った補正信号Ｃ１′よりも小さくなる傾向がある。一方、波形の歪み量は、脈波の周期の同相ノイズによる影響が大きい場合は、フィルタ補正を行った補正信号Ｃ２よりも、脈波の周期の同相ノイズを低減できる差分補正を行った補正信号Ｃ１′の方が小さくなる傾向がある。 When the influence of the in-phase noise of the pulse wave period on the waveform distortion amount is small, the difference correction is performed on the correction signal C2 that has been subjected to the filter correction that does not reduce the sensitivity of the pulse wave or increase the non-in-phase noise. It tends to be smaller than the correction signal C1'. On the other hand, when the distortion amount of the waveform is largely influenced by the in-phase noise of the pulse wave period, the correction signal subjected to the differential correction capable of reducing the in-phase noise of the pulse wave period is more than the correction signal C2 subjected to the filter correction. C1' tends to be smaller.
すなわち、補正信号Ｃ２の歪み量は、脈波の周期の同相ノイズによる影響が小さい場合は補正信号Ｃ１′の歪み量より小さくなり、補正信号Ｃ１′の歪み量は、同相ノイズの影響が大きい場合は補正信号Ｃ２の歪み量より小さくなる傾向がある。 That is, the distortion amount of the correction signal C2 is smaller than the distortion amount of the correction signal C1′ when the influence of the in-phase noise of the pulse wave period is small, and the distortion amount of the correction signal C1′ is large when the influence of the in-phase noise is large. Tends to be smaller than the distortion amount of the correction signal C2.
よって、本実施形態では、補正信号Ｃ２及び補正信号Ｃ１′のうち、歪み量が小さい方の補正信号をピークの検出に用いる信号として選択することで、ノイズによる影響が小さい方の補正信号を選択することができる。 Therefore, in the present embodiment, the correction signal having the smaller distortion amount is selected as the signal used for peak detection from the correction signal C2 and the correction signal C1′, thereby selecting the correction signal having the smaller influence of noise. can do.
以上のように、本実施形態では、補正信号Ｃ２及び補正信号Ｃ１′のそれぞれについて、ノイズによる影響度を、脈波の周期毎に求める。そして、本実施形態では、脈波の周期毎に、ノイズの影響が小さい方の補正信号を選択し、ピークの検出に用いる。 As described above, in the present embodiment, the degree of influence of noise is obtained for each of the correction signal C2 and the correction signal C1′ for each cycle of the pulse wave. Then, in the present embodiment, a correction signal having a smaller influence of noise is selected for each cycle of the pulse wave and used for peak detection.
ノイズによる影響が補正信号Ｃ１′と補正信号Ｃ２のどちらで小さくなるかは、脈波周期の同相ノイズの影響の大きさに応じて変化する。したがって、本実施形態によれば、脈波の周期の同相ノイズによる影響の大きさが、脈波の測定中の生体１の体動や光路中にある物体の動き等の有無や、その程度によって変化した場合でも、測定時間全体に渡ってピークの検出精度を向上させることができる。
Which of the correction signal C1′ and the correction signal C2 the effect of noise becomes smaller depends on the magnitude of the effect of the in-phase noise of the pulse wave period. Therefore, according to the present embodiment, the magnitude of the influence of the in-phase noise of the cycle of the pulse wave depends on the presence or absence of the body movement of the living
言い換えれば、本実施形態によれば、脈波測定装置１００が生体１と接触しない非接触の状態で脈波を示す信号を取得した場合でも、外乱による影響を抑制できるため、脈波を示す信号におけるピークの検出精度を向上させることができる。
In other words, according to the present embodiment, even when the pulse
尚、本実施形態では、所定の測定時間の間、撮像装置１１で撮像した画像データがデータ記憶部１２０に格納されており、信号抽出部１５０は、測定が終了した後の画像データからＧ信号とＲ信号を抽出するものとしたが、これに限定されない。
In the present embodiment, the image data captured by the
本実施形態の脈波測定処理部１３０は、撮像装置１１による撮像と並行してピークを検出する処理を実行しても良い。
The pulse wave
この場合、影響度算出部１７２は、信号抽出部１５０がＧ信号とＲ信号を抽出した時点までの補正信号Ｃ２及び補正信号Ｃ１′の波形特徴量の加算平均を標準波形特徴量としても良い。また、この場合には、標準波形特徴量を予め実験等により求めておき、データ記憶部１２０に格納しておいても良い。
In this case, the degree-of-
図１２は、第一の実施形態の効果を説明する図である。図１２では、差分補正を行った場合、フィルタ補正を行った場合、及び本実施形態を適用した場合のそれぞれにおいて検出されたピークの発生時刻と、接触式の脈波測定装置により検出されたピークの発生時刻とを比較した結果の誤差を示している。 FIG. 12 is a diagram for explaining the effect of the first embodiment. In FIG. 12, the peak occurrence time detected in each of the case of performing the difference correction, the case of performing the filter correction, and the case of applying the present embodiment, and the peak detected by the contact-type pulse wave measuring device. The error of the result of having compared with the occurrence time of is shown.
以下の説明では、接触式の脈波測定装置により検出されたピークの発生時刻を真の発生時刻と呼ぶ。図１２の例では、差分補正を行った場合、フィルタ補正を行った場合、及び本実施形態を適用した場合のそれぞれにおいて検出されたピークの発生時刻と、真の発生時刻との誤差を規格化した値をピーク検出誤差として縦軸にプロットしている。 In the following description, the peak occurrence time detected by the contact-type pulse wave measuring device is referred to as the true occurrence time. In the example of FIG. 12, the error between the peak occurrence time and the true occurrence time detected in the case where the difference correction is performed, the case where the filter correction is performed, and the case where the present embodiment is applied are standardized. The plotted value is plotted as the peak detection error on the vertical axis.
図１２において、フィルタ補正を行った場合のピーク検出誤差は、多くの時間区間において、差分補正を行った場合のピーク検出誤差よりも小さい。これは、フィルタ補正を行った場合には、差分補正において問題となる脈波の感度の低下や非同相ノイズの増大がなく、同相ノイズによる影響が小さい多くの時間区間においてはピーク検出誤差が小さくなるためである。 In FIG. 12, the peak detection error when the filter correction is performed is smaller than the peak detection error when the difference correction is performed in many time intervals. This is because when filter correction is performed, there is no decrease in pulse wave sensitivity or increase in non-in-phase noise, which is a problem in differential correction, and the peak detection error is small in many time intervals where the effect of in-phase noise is small. This is because
しかし、フィルタ補正では、同相ノイズが大きく影響した時間区間では、ピーク検出誤差が大きくなり、ピークの検出精度が著しく悪化する。このため、ピーク間の時間の変動にも大きな誤差が生じていた。 However, in the filter correction, the peak detection error becomes large in the time period in which the in-phase noise has a large influence, and the peak detection accuracy is significantly deteriorated. For this reason, there was a large error in the fluctuation of time between peaks.
これに対し、本実施形態を適用した場合では、フィルタ補正によるピークの検出精度が悪化する時間区間では、差分補正を行った補正信号からピークの検出を行うため、ピーク検出誤差の悪化を抑制できることがわかる。 On the other hand, in the case where the present embodiment is applied, in a time period in which the peak detection accuracy due to the filter correction is deteriorated, the peak is detected from the correction signal subjected to the difference correction, so that the deterioration of the peak detection error can be suppressed. I understand.
（第二の実施形態）
以下に、図面を参照して第二の実施形態について説明する。第二の実施形態は、影響度をノイズに含まれる同相ノイズによる影響の度合いを示す値とした点が第一の実施形態と相違する。以下の第二の実施形態の説明では、第一の実施形態との相違点についてのみ説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
(Second embodiment)
The second embodiment will be described below with reference to the drawings. The second embodiment is different from the first embodiment in that the degree of influence is a value indicating the degree of influence of in-phase noise included in noise. In the following description of the second embodiment, only differences from the first embodiment will be described, and those having the same functional configuration as the first embodiment will be used in the description of the first embodiment. The same reference numerals as those used here are given and the description thereof is omitted.
フィルタ補正を行った補正信号Ｃ２におけるノイズは、脈波の周期の同相ノイズと、脈波の周期の非同相ノイズとを含む。また、フィルタ補正を行った補正信号Ｃ２では、脈波の周期以外の周期のノイズ（非同相ノイズ）が低減されている。 The noise in the correction signal C2 subjected to the filter correction includes the in-phase noise of the pulse wave period and the non-in-phase noise of the pulse wave period. Further, in the correction signal C2 that has been subjected to the filter correction, noise (non-in-phase noise) having a cycle other than the cycle of the pulse wave is reduced.
差分補正を行った補正信号Ｃ１′では、同相ノイズが除去されているため、脈波の周期の非同相ノイズのみがノイズとなり、補正信号Ｃ１′における非同相ノイズは、補正信号Ｃ２における非同相ノイズよりも大きくなる。 Since the in-phase noise is removed from the correction signal C1′ that has been subjected to the difference correction, only the non-in-phase noise in the period of the pulse wave becomes noise, and the non-in-phase noise in the correction signal C1′ is the non-in-phase noise in the correction signal C2. Will be larger than.
したがって、脈波の周期の同相ノイズによる影響が大きい場合には、ノイズに同相ノイズが含まれる補正信号Ｃ２の方が、補正信号Ｃ１′と比べてノイズによる影響が大きいと言える。 Therefore, when the influence of the in-phase noise on the cycle of the pulse wave is large, it can be said that the correction signal C2 in which the noise includes the in-phase noise has a larger influence than the correction signal C1'.
また、脈波の周期の同相ノイズによる影響が小さい場合には、ノイズに同相ノイズが含まれず、非同相ノイズが低減されていない補正信号Ｃ１′の方が、補正信号Ｃ２と比べてノイズによる影響が大きいと言える。 When the influence of the in-phase noise on the pulse wave period is small, the noise does not include the in-phase noise and the correction signal C1′ in which the non-in-phase noise is not reduced is more affected by the noise than the correction signal C2. Can be said to be large.
そこで、本実施形態では、同相ノイズによる影響の度合いに基づき、ノイズの影響が小さい補正信号を選択し、選択した補正信号からピークの発生時刻を検出する。言い換えれば、本実施形態では、同相ノイズによる影響の度合いを示す値を影響度として算出し、影響度に基づきノイズによる影響の小さい補正信号を選択する。 Therefore, in the present embodiment, a correction signal that is less affected by noise is selected based on the degree of influence of in-phase noise, and the peak occurrence time is detected from the selected correction signal. In other words, in the present embodiment, a value indicating the degree of influence of in-phase noise is calculated as the degree of influence, and a correction signal less affected by noise is selected based on the degree of influence.
本実施形態の影響度算出部１７２は、同相ノイズによる影響の度合いを示す値として、各時間区間におけるＲ信号の最大値と最小値を検出し、その変化量ΔＲを算出する。
The influence
Ｒ信号の変化量ΔＲの値は、大きくなるほど同相ノイズによる影響の度合いが大きくなるという傾向がある。本実施形態では、この点に着目し、Ｒ信号の変化量ΔＲが所定の閾値よりも小さい場合には、同相ノイズによる影響が小さいものと判定し、フィルタ補正を行った補正信号Ｃ２をピークの検出に用いる。また、本実施形態では、Ｒ信号の変化量ΔＲが所定の閾値以上の場合には、同相ノイズによる影響が大きいものと判定し、差分補正を行った補正信号Ｃ１′をピークの検出に用いる。 The larger the change amount ΔR of the R signal, the greater the degree of the influence of the in-phase noise. In the present embodiment, paying attention to this point, when the change amount ΔR of the R signal is smaller than a predetermined threshold value, it is determined that the influence of the in-phase noise is small, and the correction signal C2 that has undergone the filter correction has a peak value. Used for detection. Further, in the present embodiment, when the change amount ΔR of the R signal is equal to or larger than a predetermined threshold value, it is determined that the influence of the in-phase noise is large, and the difference-corrected correction signal C1′ is used for peak detection.
本実施形態では、以上のように補正信号を選択することで、ノイズによる影響が小さい方の補正信号を用いてピークを検出する。 In the present embodiment, by selecting the correction signal as described above, the peak is detected using the correction signal that is less affected by noise.
尚、本実施形態において、閾値は、事前に行われた実験等によりピーク検出誤差が最も小さくなる変化量の値を求め、この値を予め設定しておくものとした。 In the present embodiment, the threshold value is set in advance by obtaining the value of the amount of change in which the peak detection error is minimized through experiments conducted in advance.
図１３は、第二の実施形態のピーク検出処理部の処理を説明するフローチャートである。 FIG. 13 is a flowchart illustrating the processing of the peak detection processing unit according to the second embodiment.
図１３のステップＳ１３０１からステップＳ１３０３までの処理は、図１０のステップＳ１００１からステップＳ１００３までの処理と同様であるから、説明を省略する。 The processing from step S1301 to step S1303 in FIG. 13 is the same as the processing from step S1001 to step S1003 in FIG.
ステップＳ１３０３において、Ｎ番目の時間区間の補正信号Ｃ１′及び補正信号Ｃ２を取得すると、影響度算出部１７２は、Ｎ番目の時間区間におけるＲ信号の変化量ΔＲを算出する（ステップＳ１３０４）。具体的には、影響度算出部１７２は、信号抽出部１５０により抽出されたＲ信号において、Ｎ番目の時間区間における最大値と最小値を取得し、最大値と最小値との差分を変化量ΔＲとする。
In step S1303, when the correction signal C1′ and the correction signal C2 in the Nth time section are acquired, the influence
続いて影響度算出部１７２は、変化量ΔＲが、閾値より小さいか否を判定する（ステップＳ１３０５）。
Subsequently, the influence
ステップＳ１３０５において、変化量ΔＲが閾値より小さい場合、補正信号選択部１７３は、フィルタ補正が行われた補正信号Ｃ２を選択し（ステップＳ１３０６）、後述するステップＳ１３０８へ進む。ステップＳ１３０５において、変化量ΔＲが閾値以上である場合、補正信号選択部１７３は、差分補正が行われた補正信号Ｃ１′を選択し（ステップＳ１３０７）、後述するステップＳ１３０８へ進む。
If the amount of change ΔR is smaller than the threshold value in step S1305, the correction
ステップＳ１３０８からステップＳ１３１１までの処理は、図１０のステップＳ１００８からステップＳ１０１１までの処理と同様であるから、説明を省略する。 The processing from step S1308 to step S1311 is the same as the processing from step S1008 to step S1011 in FIG.
以上のように、本実施形態では、同相ノイズの影響の度合いを示す値を、時間区間毎のＲ信号の変化量ΔＲとすることで、第一の実施形態と同様の効果を得ることができる。 As described above, in the present embodiment, the same effect as that of the first embodiment can be obtained by setting the value indicating the degree of the influence of the in-phase noise as the change amount ΔR of the R signal for each time section. ..
尚、Ｒ信号の代わりにＢ信号やＧ信号を用いて時間区間毎の変化量を算出しても構わないが、脈波の感度の変化の小さい信号を、同相ノイズによる影響の度合いの判定に用いることが好ましい。 The B signal or the G signal may be used in place of the R signal to calculate the amount of change in each time section, but a signal with a small change in the sensitivity of the pulse wave may be used to determine the degree of influence of in-phase noise. It is preferable to use.
（第三の実施形態）
以下に、図面を参照して第三の実施形態について説明する。第三の実施形態は、同相のノイズの影響の度合いを示す値を、生体１と撮像装置１１との距離を示す距離信号の変化量として算出する点が第二の実施形態と相違する。以下の第三の実施形態の説明では、第二の実施形態との相違点についてのみ説明し、第二の実施形態と同様の機能構成を有するものには、第二の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
(Third embodiment)
The third embodiment will be described below with reference to the drawings. The third embodiment is different from the second embodiment in that a value indicating the degree of influence of in-phase noise is calculated as the amount of change in the distance signal indicating the distance between the living
本実施形態では、撮像装置１１に、生体１と撮像装置１１の撮像面までの距離を検出する機能を設けた。
In the present embodiment, the
本実施形態では、撮像装置１１は、例えば、距離計測用の赤外光パターンを照射する赤外プロジェクタと、被写体からの赤外反射光を受光する赤外イメージセンサを備えた、距離の検出が可能な３Ｄカメラ等としても良い。この場合、ＲＧＢ画像と同時に、生体１に照射された赤外光パターンを解析することで、生体１からの２次元の距離画像を取得することができる。
In the present embodiment, the
尚、撮像装置１１を３Ｄカメラとする場合には、パターン投影法（Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ方式）の３Ｄカメラを用いても良いし、他のＴＯＦ方式やステレオカメラ方式の３Ｄカメラを用いて距離画像を取得しても構わない。
When the
本実施形態における撮像装置１１よる生体１の撮像領域と、撮像領域の指定方法は、第一の実施形態と同様である。また、本実施形態における距離画像のフレームレートは、ＲＧＢ画像と同じ３０ｆｐｓ、距離を示す信号のビット数は１６ｂｉｔである。最適なフレームレートやビット数等のカメラパラメータは、第一の実施形態と同様に、測定環境やカメラ性能、その後のデータ処理を考慮して最適な値を設定すれば良い。
The imaging area of the living
尚、本実施形態では、撮像装置１１を３Ｄカメラとしなくても良く、生体１と、撮像装置１１との間の距離を示す信号を検出できるものであれば良い。以下の説明では、生体１から撮像装置１１までの距離を示す信号を距離信号と呼ぶ。距離信号は、例えば画像取得部１１０により取得され、ＲＧＢ画像データと共に、データ記憶部１２０に格納される。
In the present embodiment, the
本実施形態の影響度算出部１７２は、各時間区間における距離信号の最大値と最小値を検出し、その変化量ΔＤを算出する。
The influence
距離信号の変化量ΔＤは、大きくなるほど同相ノイズによる影響の度合いが大きくなるという傾向がある。本実施形態では、この点に着目し、距離信号の変化量ΔＤが所定の閾値より小さい時間区間では、脈波の周期の同相ノイズによる影響が小さいものと判定し、フィルタ補正を行った補正信号Ｃ２をピークの検出に用いる。また、本実施形態では、距離信号の変化量ΔＤが所定の閾値以上の時間区間では、同相ノイズによる影響が大きいものと判定し、差分補正を行った補正信号Ｃ１'を用いてピークを検出する。 The greater the change amount ΔD of the distance signal, the greater the degree of the influence of the in-phase noise. In the present embodiment, paying attention to this point, it is determined that the influence of the in-phase noise of the pulse wave period on the period of the pulse wave is small in the time period in which the change amount ΔD of the distance signal is smaller than the predetermined threshold, and the correction signal subjected to the filter correction is performed. C2 is used for peak detection. Further, in the present embodiment, it is determined that the influence of the in-phase noise is large in the time section in which the change amount ΔD of the distance signal is equal to or more than the predetermined threshold value, and the peak is detected using the correction signal C1′ that has been subjected to the difference correction. ..
本実施形態では、以上のように補正信号を選択することで、ノイズによる影響が小さい方の補正信号を用いてピークを検出する。 In the present embodiment, by selecting the correction signal as described above, the peak is detected using the correction signal that is less affected by noise.
尚、本実施形態において、閾値は、事前に行われた実験等によりピーク検出誤差が最も小さくなる変化量の値を求め、この値を予め設定しておくものとした。 In the present embodiment, the threshold value is set in advance by obtaining the value of the amount of change in which the peak detection error is minimized through experiments conducted in advance.
図１４は、第三の実施形態のピーク検出処理部の処理を説明するフローチャートである。 FIG. 14 is a flowchart illustrating the processing of the peak detection processing unit according to the third embodiment.
図１４のステップＳ１４０１からステップＳ１４０３までの処理は、図１０のステップＳ１００１からステップＳ１００３までの処理と同様であるから、説明を省略する。 The processing from step S1401 to step S1403 in FIG. 14 is the same as the processing from step S1001 to step S1003 in FIG.
ステップＳ１４０３において、Ｎ番目の時間区間の補正信号Ｃ１′及び補正信号Ｃ２を取得すると、影響度算出部１７２は、Ｎ番目の時間区間における距離信号の変化量ΔＤを算出する（ステップＳ１４０４）。具体的には、影響度算出部１７２は、Ｎ番目の時間区間の距離信号を取得し、最大値と最小値との差分を変化量ΔＤとする。
In step S1403, when the correction signal C1′ and the correction signal C2 in the Nth time section are acquired, the influence
続いて影響度算出部１７２は、変化量ΔＤが閾値より小さいか否かを判定する（ステップＳ１４０５）。ステップＳ１４０５において、変化量ΔＤが閾値より小さい場合、補正信号選択部１７３は、フィルタ補正が行われた補正信号Ｃ２を選択し、後述するステップＳ１４０８へ進む。
Subsequently, the influence
ステップＳ１４０５において、変化量ΔＤが閾値以上の場合、補正信号選択部１７３は、差分補正が行われた補正信号Ｃ１′を選択し、後述するステップＳ１４０８へ進む。
In step S1405, when the amount of change ΔD is equal to or greater than the threshold value, the correction
ステップＳ１４０８からステップＳ１４１１までの処理は、図１０のステップＳ１００８からステップＳ１０１１までの処理と同様であるから、説明を省略する。 The processing from step S1408 to step S1411 is the same as the processing from step S1008 to step S1011 in FIG.
以上のように、本実施形態では、同相ノイズの影響の度合いを示す値を、時間区間毎の距離信号の変化量ΔＤとすることで、第一の実施形態と同様の効果を得ることができる。 As described above, in the present embodiment, the same effect as in the first embodiment can be obtained by setting the value indicating the degree of influence of in-phase noise as the change amount ΔD of the distance signal for each time section. ..
（第四の実施形態）
以下に、図面を参照して第四の実施形態について説明する。第四の実施形態は、差分補正部１６１の出力である補正信号Ｃ１もピーク検出処理部１７０へ供給する点が、第一の実施形態と相違する。以下の第四の実施形態の説明では、第一の実施形態との相違点についてのみ説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
(Fourth embodiment)
The fourth embodiment will be described below with reference to the drawings. The fourth embodiment is different from the first embodiment in that the correction signal C1 output from the
図１５は、第四の実施形態の脈波測定装置の機能構成を説明する図である。本実施形態の脈波測定装置１００Ａは、補正部１６０Ａを有する。
FIG. 15 is a diagram illustrating the functional configuration of the pulse wave measuring device according to the fourth embodiment. The pulse
本実施形態の補正部１６０Ａは、差分補正部１６１から出力される補正信号Ｃ１をピーク検出処理部１７０の信号分割部１７１へ供給する。
The
本実施形態のピーク検出処理部１７０では、３つの補正信号Ｃ１、Ｃ１′、Ｃ２について、第一の実施形態と同様の処理を行う。
The peak
つまり、本実施形態のピーク検出処理部１７０は、３つの補正信号Ｃ１、Ｃ１′、Ｃ２のそれぞれを時間区間毎に分割し、歪み量を算出する。そして、ピーク検出処理部１７０は、３つの補正信号Ｃ１、Ｃ１′、Ｃ２のうち、歪み量が最も小さい補正信号を用いてピークを検出する。
That is, the peak
したがって、本実施形態では、最もノイズの影響が小さい補正信号を用いてピークを検出することができ、ピークの検出精度を向上させることができる。 Therefore, in the present embodiment, the peak can be detected by using the correction signal having the smallest influence of noise, and the peak detection accuracy can be improved.
（第五の実施形態）
以下に、図面を参照して第五の実施形態について説明する。第五の実施形態は、脈波測定処理部を、撮像装置を有する端末装置の外部に設けた点が第一の実施形態と相違する。以下の第五の実施形態の説明では、第一の実施形態との相違点について説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
(Fifth Embodiment)
The fifth embodiment will be described below with reference to the drawings. The fifth embodiment is different from the first embodiment in that the pulse wave measurement processing unit is provided outside the terminal device having the imaging device. In the following description of the fifth embodiment, differences from the first embodiment will be described, and those having the same functional configuration as the first embodiment are used in the description of the first embodiment. The same reference numerals as the reference numerals are given and the description thereof is omitted.
図１６は、第五の実施形態の脈波測定システムを説明する図である。本実施形態の脈波測定システム２００は、脈波測定サーバ３００と、端末装置１００Ｂとを有する。
FIG. 16 is a diagram illustrating a pulse wave measurement system of the fifth embodiment. The pulse
本実施形態の脈波測定サーバ３００は、ＣＰＵと記憶装置とを有する一般的な情報処理装置であり、脈波測定処理部１３０を有する。本実施形態の端末装置１００Ｂは、撮像装置１１を有する。
The pulse
本実施形態の脈波測定システム２００において、端末装置１００Ｂは、撮像装置１１により撮像された画像データを脈波測定サーバ３００へ送信する。
In the pulse
脈波測定サーバ３００は、端末装置１００Ｂから受信した画像データを用いて、脈波測定処理部１３０による処理を実行し、脈波データを得る。脈波測定サーバ３００は、得られた脈波データを端末装置１００Ｂへ送信する。
The pulse
本実施形態では、以上のように、脈波測定処理部１３０を端末装置１００Ｂの外部にある脈波測定サーバ３００に設けることで、端末装置１００Ｂの処理の負荷を軽減することができる。したがって、端末装置１００Ｂは、撮像装置１１が撮像した画像データを送信できれば良く、簡易な構成のものとすることができる。例えば、本実施形態の端末装置１００Ｂは、撮像装置１１に送信機能が設けられたものであっても良い。
In the present embodiment, as described above, by providing the pulse wave
また、図１６の例では、脈波測定サーバ３００が得た脈波データを端末装置１００Ｂに送信するものとしたが、これに限定されない。脈波測定サーバ３００は、脈波データを端末装置１００Ｂ以外の装置へ送信しても良い。
Further, in the example of FIG. 16, the pulse wave data obtained by the pulse
また、本実施形態では、脈波測定サーバ３００に脈波測定処理部１３０が設けられた例を説明したが、これに限定されない。脈波測定サーバ３００は、脈波測定処理部１３０のうち、例えばピーク検出処理部１７０のみを有しており、信号抽出部１５０と補正部１６０が端末装置１００Ｂに設けられていても良い。
Further, in the present embodiment, an example in which the pulse wave
（第六の実施形態）
第六の実施形態の脈波測定装置は、例えば、第一の実施形態と同様に図１に示すような脈波の測定を行う。また、第六の実施形態の脈波測定装置は、例えば、第一の実施形態と同様のハードウェアによって実現される。以下、重複する説明を省略し、異なる点を中心に説明する。
(Sixth embodiment)
The pulse wave measuring device according to the sixth embodiment, for example, measures the pulse wave as shown in FIG. 1 similarly to the first embodiment. The pulse wave measuring device of the sixth embodiment is realized by the same hardware as that of the first embodiment, for example. Hereinafter, overlapping description will be omitted, and different points will be mainly described.
本実施形態では、図１に示すように、脈波測定装置の例である端末装置１００に搭載された撮像装置（カメラ）１１により、脈波の測定の対象となる生体１の画像を撮像し、撮像した画像から、生体１の脈波を示す信号を取得する。この場合において、本実施形態の端末装置１００は、信号のＳＮ比を計算して、ＳＮ比が閾値以下であれば、露光時間を制御する。このようにして、本実施形態の端末装置１００は、ＳＮ比が高い画像が撮像されるようにする。そして、本実施形態の端末装置１００は、ピーク検出処理により、脈波を示す脈波信号における各ピークの発生時刻を検出する。
In the present embodiment, as shown in FIG. 1, an image of the living
したがって、本実施形態によれば、脈波のピークの検出精度を向上させることができる。 Therefore, according to the present embodiment, it is possible to improve the detection accuracy of the peak of the pulse wave.
また、本実施形態では、ピークの検出精度を向上させることで、ピーク間の時間の変動の検出精度も向上させることができる。 Further, in the present embodiment, by improving the peak detection accuracy, it is possible to improve the detection accuracy of the time variation between peaks.
したがって、本実施形態によれば、ピーク間の時間の変動を示す変動情報を用いる処理を実行する装置に対し、精度の高い変動情報を提供することができ、変動情報を用いる処理の処理結果の信頼性の向上に対しても貢献できる。変動情報を用いる処理とは、例えば、生体の自律神経の働きを解析する処理等である。 Therefore, according to the present embodiment, it is possible to provide highly accurate variation information to a device that executes processing that uses variation information that indicates fluctuations in time between peaks, and It can also contribute to the improvement of reliability. The process using the variation information is, for example, a process of analyzing the function of the autonomic nerve of the living body.
＜機能構成例＞
図１７は、第六の実施形態の脈波測定装置の機能構成の一例を示す機能ブロック図である。図示するように、端末装置１００は、計測部１００Ｆ１と、脈波信号抽出部１００Ｆ２と、計算部１００Ｆ３と、制御部１００Ｆ４と、解析部１００Ｆ５とを備える。
<Functional configuration example>
FIG. 17 is a functional block diagram showing an example of the functional configuration of the pulse wave measuring device according to the sixth embodiment. As illustrated, the
計測部１００Ｆ１は、脈波を計測する対象である生体１から送られる光をサンプリングする。例えば、計測部１００Ｆ１は、生体１を撮像し、画像を生成する。尚、計測部１００Ｆ１は、例えば、撮像装置１１（図２）等によって実現される。
The measuring unit 100F1 samples the light sent from the living
脈波信号抽出部１００Ｆ２は、計測部１００Ｆ１から入力される画像等に基づいて、脈波信号を抽出する。例えば、脈波信号抽出部１００Ｆ２は、計測部１００Ｆ１によって、サンプリングされる画像を１フレームごと読み出し、主にＧを示す信号値等から脈波信号を抽出する。尚、脈波信号抽出部１００Ｆ２は、例えば、ＣＰＵ１２（図２）等によって実現される。 The pulse wave signal extraction unit 100F2 extracts the pulse wave signal based on the image or the like input from the measurement unit 100F1. For example, the pulse wave signal extraction unit 100F2 reads the sampled image for each frame by the measurement unit 100F1, and extracts the pulse wave signal mainly from a signal value indicating G or the like. The pulse wave signal extraction unit 100F2 is realized by, for example, the CPU 12 (FIG. 2) and the like.
計算部１００Ｆ３は、ＳＮ比を計算する。具体的には、計算部１００Ｆ３は、脈波信号抽出部１００Ｆ２によって抽出される脈波信号の信号成分と、ノイズ成分とを評価して、ＳＮ比を計算する。尚、計算部１００Ｆ３は、例えば、ＣＰＵ１２等によって実現される。
Calculation unit 100F3 calculates the SN ratio. Specifically, the calculation unit 100F3 evaluates the signal component of the pulse wave signal extracted by the pulse wave signal extraction unit 100F2 and the noise component to calculate the SN ratio. The calculation unit 100F3 is realized by, for example, the
制御部１００Ｆ４は、各ハードウェアを制御する。例えば、計測部１００Ｆ１がカメラで実現される場合には、制御部１００Ｆ４は、カメラのフレームレート、シャッタスピードのいずれか又は両方を設定し、カメラの撮像条件等を変更する。また、制御部１００Ｆ４は、計算部１００Ｆ３によって計算されるＳＮ比に基づいて制御を行う。尚、制御部１００Ｆ４は、例えば、ＣＰＵ１２等によって実現される。
The control unit 100F4 controls each hardware. For example, when the measurement unit 100F1 is realized by a camera, the control unit 100F4 sets either or both of the frame rate and shutter speed of the camera, and changes the imaging conditions of the camera. The control unit 100F4 also performs control based on the SN ratio calculated by the calculation unit 100F3. The control unit 100F4 is realized by, for example, the
解析部１００Ｆ５は、脈波信号抽出部１００Ｆ２によって抽出される脈波信号等に基づいて、解析を行い、生体１の脈拍数又は脈拍のピーク間隔のゆらぎ等を評価する。尚、解析部１００Ｆ５は、例えば、ＣＰＵ１２等によって実現される。
The analysis unit 100F5 performs analysis based on the pulse wave signal extracted by the pulse wave signal extraction unit 100F2, and evaluates the pulse rate of the living
尚、端末装置１００は、更に補正部を備える機能構成であってもよい。
The
＜全体処理例＞
図１８は、第六の実施形態の脈波測定装置による全体処理の一例を示すフローチャートである。
<Overall processing example>
FIG. 18 is a flowchart showing an example of overall processing by the pulse wave measuring device according to the sixth embodiment.
＜計測例（ステップＳ０１）＞
ステップＳ０１では、端末装置は、生体を計測する。例えば、ステップＳ０１では、端末装置は、生体を撮像し、画像を生成する。尚、撮像は、例えば、第一の実施形態と同様、すなわち、図８に示す領域８１等を撮像し、画像を生成する。
<Measurement example (step S01)>
In step S01, the terminal device measures a living body. For example, in step S01, the terminal device images a living body and generates an image. Note that the image capturing is similar to that of the first embodiment, that is, the
＜脈波信号の抽出例（ステップＳ０２）＞
ステップＳ０２では、端末装置は、脈波信号を抽出する。例えば、図７に示すステップＳ７０１と同様に行われる。すなわち、ステップＳ０２では、例えば、図９に示すような処理が行われる。
<Pulse wave signal extraction example (step S02)>
In step S02, the terminal device extracts a pulse wave signal. For example, it is performed in the same manner as step S701 shown in FIG. That is, in step S02, for example, the processing shown in FIG. 9 is performed.
図１９は、第六の実施形態の脈波信号の一例を示す図である。図示する脈波信号の例は、３０（回／分）抽出された例である。また、図１９では、横軸は、撮像される画像のフレーム数、すなわち、所定時間に撮像されるフレーム数が一定とすると、横軸は、時間に相当する。一方で、縦軸は、信号値、すなわち、図９に示す処理によって計算される平均値である。図示するように、脈波信号は、脈拍に応じて周期的に変化する状態が観測できる信号である。 FIG. 19 is a diagram showing an example of the pulse wave signal of the sixth embodiment. The illustrated example of the pulse wave signal is an example in which 30 (times/minute) is extracted. Further, in FIG. 19, the horizontal axis corresponds to time when the number of frames of an image to be captured, that is, the number of frames captured at a predetermined time is constant. On the other hand, the vertical axis is the signal value, that is, the average value calculated by the processing shown in FIG. As shown in the figure, the pulse wave signal is a signal in which a state in which the pulse wave periodically changes can be observed.
＜ＳＮ比の計算例（ステップＳ０３）＞
図１８に戻り、ステップＳ０３では、端末装置は、ＳＮ比を計算する。
<Example of SN ratio calculation (step S03)>
Returning to FIG. 18, in step S03, the terminal device calculates the SN ratio.
図２０は、第六の実施形態のＳＮ比を計算する処理の一例を示すフローチャートである。例えば、図１８に示すステップＳ０３では、図２０に示す処理が行われる。 FIG. 20 is a flowchart showing an example of processing for calculating the SN ratio of the sixth embodiment. For example, in step S03 shown in FIG. 18, the process shown in FIG. 20 is performed.
＜パワースペクトルの算出例（ステップＳ３１）＞
ステップＳ３１では、端末装置は、パワースペクトルを算出する。具体的には、ステップＳ３１では、まず、端末装置は、データ数が２の累乗となるように調整する。次に、端末装置は、調整されたデータに対して、高速フーリエ変換（ＦＦＴ）を行う。続いて、端末装置は、各周波数におけるパワーをそれぞれ算出する。
<Example of Power Spectrum Calculation (Step S31)>
In step S31, the terminal device calculates a power spectrum. Specifically, in step S31, first, the terminal device adjusts the number of data to be a power of two. Next, the terminal device performs a fast Fourier transform (FFT) on the adjusted data. Then, the terminal device calculates the power at each frequency.
図２１は、第六の実施形態のＳＮ比の計算において算出されるパワースペクトルの一例を示す図である。例えば、図示するグラフがステップＳ３１によって生成される。尚、図２１では、縦軸は、パワーを示し、一方で、横軸は、周波数を示す。 FIG. 21 is a diagram showing an example of the power spectrum calculated in the calculation of the SN ratio of the sixth embodiment. For example, the illustrated graph is generated in step S31. Note that in FIG. 21, the vertical axis represents power, while the horizontal axis represents frequency.
＜脈波周波数の検出例（ステップＳ３２）＞
図２０に戻り、ステップＳ３２では、端末装置は、脈波周波数を検出する。以下、図２１に示すパワースペクトルがステップＳ３１によって算出された例で説明する。この例では、脈波周波数Ｆｐは、図示するように検出される。
<Pulse wave frequency detection example (step S32)>
Returning to FIG. 20, in step S32, the terminal device detects the pulse wave frequency. Hereinafter, an example in which the power spectrum shown in FIG. 21 is calculated in step S31 will be described. In this example, the pulse wave frequency Fp is detected as shown.
生体が安静状態であると、脈拍数は、１分当たり３０乃至１２０回程度であることが多い。したがって、パワースペクトルでは、この脈拍数に応じた周期で、強いピークの基本波が検出される。すなわち、周波数が０．５乃至２．０ヘルツ（Ｈｚ）となる帯域で、端末装置は、パワースペクトルにおいて、最もパワーが大きくなる周波数を検出する。このようにすると、端末装置は、脈波周波数Ｆｐを図示するように検出できる。具体的には、図２１に示す例では、周波数が１．０ヘルツ程度となる周波数で、強いピークが検出される。したがって、この例では、周波数が１．０ヘルツ程度となる周波数が脈波周波数Ｆｐと検出される。 When the living body is in a resting state, the pulse rate is often about 30 to 120 times per minute. Therefore, in the power spectrum, a fundamental wave having a strong peak is detected at a cycle corresponding to the pulse rate. That is, in the band where the frequency is 0.5 to 2.0 hertz (Hz), the terminal device detects the frequency with the highest power in the power spectrum. In this way, the terminal device can detect the pulse wave frequency Fp as illustrated. Specifically, in the example shown in FIG. 21, a strong peak is detected at a frequency of about 1.0 hertz. Therefore, in this example, the frequency at which the frequency is about 1.0 Hertz is detected as the pulse wave frequency Fp.
＜信号及びノイズのそれぞれの周波数帯域の決定例（ステップＳ３３）＞
図２０に戻り、ステップＳ３３では、端末装置は、信号及びノイズのそれぞれの周波数帯域を決定する。例えば、信号成分の周波数帯域は、ステップＳ３２で検出される脈波周波数を中心として決定される。具体的には、図２１では、信号成分の周波数帯域Ｆｓは、「Ｆｐ−ΔＦ」乃至「Ｆｐ＋ΔＦ」の帯域と決定される例である。尚、図２１では、「ΔＦ」は、０．２ヘルツと設定された例である。また、「ΔＦ」は、あらかじめ設定される値である。例えば、「ΔＦ」は、パワースペクトルのピーク形状等を考慮して設定される。また、信号成分の周波数帯域Ｆｓには、脈波周波数Ｆｐの整数倍の周波数に現れる高調波のピークを含む周波数帯域が含まれてもよい。
<Example of determining frequency bands of signal and noise (step S33)>
Returning to FIG. 20, in step S33, the terminal device determines the respective frequency bands of the signal and the noise. For example, the frequency band of the signal component is determined around the pulse wave frequency detected in step S32. Specifically, FIG. 21 is an example in which the frequency band Fs of the signal component is determined to be the band from “Fp−ΔF” to “Fp+ΔF”. Note that, in FIG. 21, “ΔF” is an example set to 0.2 hertz. Further, “ΔF” is a preset value. For example, “ΔF” is set in consideration of the peak shape of the power spectrum and the like. Further, the frequency band Fs of the signal component may include a frequency band including peaks of higher harmonics that appear at frequencies that are integral multiples of the pulse wave frequency Fp.
一方で、ステップＳ３３では、端末装置は、信号成分の周波数帯域Ｆｓ以外の周波数帯域をノイズ成分の周波数帯域Ｆｎと決定する。ただし、脈波周波数Ｆｐより低周波のパワーは、計測される際の生体の体動等によって影響を受ける。したがって、端末装置は、図２１に示すように、信号成分の周波数帯域Ｆｓより高周波となる周波数帯域をノイズ成分の周波数帯域Ｆｎと決定してよい。尚、ノイズ成分の周波数帯域Ｆｎには、信号成分の周波数帯域Ｆｓより低周波の周波数帯域が含まれてもよい。また、ノイズ成分の周波数帯域Ｆｎの上限の周波数は、（サンプリング周波数／２）である。すなわち、例えば、カメラのフレームレートが「３０ｆｐｓ（フレーム／秒）」とすると、ノイズ成分の周波数帯域Ｆｎの上限の周波数は、「３０Ｈｚ／２＝１５Ｈｚ」である。 On the other hand, in step S33, the terminal device determines the frequency band other than the frequency band Fs of the signal component as the frequency band Fn of the noise component. However, the power of the frequency lower than the pulse wave frequency Fp is affected by the body movement of the living body at the time of measurement. Therefore, as shown in FIG. 21, the terminal device may determine a frequency band having a higher frequency than the frequency band Fs of the signal component as the frequency band Fn of the noise component. In addition, the frequency band Fn of the noise component may include a frequency band lower than the frequency band Fs of the signal component. The upper limit frequency of the noise component frequency band Fn is (sampling frequency/2). That is, for example, when the frame rate of the camera is “30 fps (frames/second)”, the upper limit frequency of the noise component frequency band Fn is “30 Hz/2=15 Hz”.
＜ＳＮ比の計算例（ステップＳ３４）＞
図２０に戻り、ステップＳ３４では、端末装置は、ＳＮ比を計算する。具体的には、ステップＳ３４では、まず、端末装置は、ステップＳ３３で決定される信号成分の周波数帯域と、ノイズ成分の周波数帯域とに基づいて、信号成分である「Ｖｓ」及びノイズ成分である「Ｖｎ」をそれぞれ計算する。尚、「Ｖｓ」及び「Ｖｎ」は、例えば、各周波数帯域のそれぞれのパワーを平均してそれぞれ計算される。次に、端末装置は、計算される「Ｖｓ」及び「Ｖｎ」の比を取ってＳＮ比を計算する。尚、ＳＮ比は、他の計算方法で計算されてもよい。
<Example of SN Ratio Calculation (Step S34)>
Returning to FIG. 20, in step S34, the terminal device calculates the SN ratio. Specifically, in step S34, first, the terminal device is the signal component “Vs” and the noise component based on the frequency band of the signal component and the frequency band of the noise component determined in step S33. "Vn" is calculated respectively. Note that “Vs” and “Vn” are calculated, for example, by averaging the respective powers of the respective frequency bands. Next, the terminal device calculates the SN ratio by taking the calculated ratio of “Vs” and “Vn”. The SN ratio may be calculated by another calculation method.
＜ＳＮ比が所定の閾値以下であるか否かの判断例（ステップＳ０４）＞
図１８に戻り、ステップＳ０４では、端末装置は、ＳＮ比が所定の閾値以下であるか否かを判断する。すなわち、ステップＳ０４では、端末装置は、ステップＳ０３で計算されるＳＮ比と、閾値とを比較して、ＳＮ比が閾値以下であるか否かを判断する。
<Example of determination as to whether SN ratio is less than or equal to predetermined threshold value (step S04)>
Returning to FIG. 18, in step S04, the terminal device determines whether the SN ratio is less than or equal to a predetermined threshold value. That is, in step S04, the terminal device compares the SN ratio calculated in step S03 with a threshold value to determine whether the SN ratio is equal to or less than the threshold value.
次に、ＳＮ比が閾値以下であると判断されると（ステップＳ０４でＹＥＳ）、端末装置は、ステップＳ０５に進む。一方で、ＳＮ比が閾値以下ではないと判断されると（ステップＳ０４でＮＯ）、端末装置は、ステップＳ０６に進む。尚、ＳＮ比が閾値以下であると判断された場合には、端末装置は、アラーム等を表示して、脈波測定に係る処理を中止してからステップＳ０５に進んでもよい。 Next, when it is determined that the SN ratio is less than or equal to the threshold value (YES in step S04), the terminal device proceeds to step S05. On the other hand, if it is determined that the SN ratio is not equal to or less than the threshold value (NO in step S04), the terminal device proceeds to step S06. When it is determined that the SN ratio is equal to or less than the threshold value, the terminal device may display an alarm or the like, stop the process related to the pulse wave measurement, and then proceed to step S05.
図２２は、第六の実施形態における閾値の設定例を示す図である。尚、図２２は、ＳＮ比と、ピーク検出誤差との関係の一例を示す図である。 FIG. 22 is a diagram showing an example of setting a threshold value in the sixth embodiment. 22. FIG. 22 is a diagram showing an example of the relationship between the SN ratio and the peak detection error.
図２２では、横軸は、図２０に示すステップＳ３４等の計算方法で計算されるＳＮ比の値を示す。一方で、縦軸は、端末装置による解析によって検出されるピーク時間と、接触式等の脈波測定装置によって検出されるピーク時間、すなわち、真のピーク時間との誤差を示す。 In FIG. 22, the horizontal axis represents the value of the SN ratio calculated by the calculation method such as step S34 shown in FIG. On the other hand, the vertical axis represents the error between the peak time detected by the analysis by the terminal device and the peak time detected by the pulse wave measuring device of the contact type, that is, the true peak time.
図示するように、ＳＮ比が低いと、ピーク検出誤差は、増大する関係となる。したがって、まず、端末装置は、ピーク検出誤差と、ＳＮ比との関係を示す関係式ＦＲを算出する。尚、関係式ＦＲは、例えば、各点に基づいて最小二乗法等によって算出される。 As shown in the figure, when the SN ratio is low, the peak detection error has a relationship of increasing. Therefore, first, the terminal device calculates the relational expression FR indicating the relationship between the peak detection error and the SN ratio. The relational expression FR is calculated, for example, by the method of least squares based on each point.
次に、端末装置は、後段に行われる解析の目的等に合わせて、許容できるピーク検出誤差、すなわち、縦軸の値を決定する。続いて、端末装置は、関係式ＦＲに基づいて、決定される縦軸の値に対する値を閾値ＴＨと決定する。このようにして、端末装置は、閾値ＴＨを設定する。また、この決定によって定まる閾値ＴＨがあらかじめ端末装置に設定され、図４に示すステップＳ０４が行われる。 Next, the terminal device determines an allowable peak detection error, that is, the value of the vertical axis, in accordance with the purpose of the analysis performed in the subsequent stage. Then, the terminal device determines the value for the determined value of the vertical axis as the threshold value TH based on the relational expression FR. In this way, the terminal device sets the threshold value TH. Further, the threshold value TH determined by this determination is set in the terminal device in advance, and step S04 shown in FIG. 4 is performed.
＜露光時間を変更する制御例（ステップＳ０５）＞
図１８に戻り、ステップＳ０５では、端末装置は、露光時間を変更する制御を行う。
<Example of control for changing exposure time (step S05)>
Returning to FIG. 18, in step S05, the terminal device controls to change the exposure time.
図２３は、第六の実施形態の脈波測定装置による制御の一例を示すタイミングチャートである。以下、シャッタスピードの初期設定等によって定まる露光時間が図２３（Ａ）に示す露光時間（以下「第１露光時間ＥＴ１」という。）である例で説明する。尚、初期設定等によって、フレームレートによって定まる周期は、図２３（Ａ）に示すサンプリング周期（以下「第１サンプリング周期ＳＴ１」という。）であるとする。尚、露光時間は、カメラのシャッタが切られ、光が取り込まれている時間、すなわち、露光が行われている時間である。 FIG. 23 is a timing chart showing an example of control by the pulse wave measuring device according to the sixth embodiment. An example will be described below in which the exposure time determined by the initial setting of the shutter speed is the exposure time shown in FIG. 23A (hereinafter referred to as “first exposure time ET1”). It is assumed that the cycle determined by the frame rate by the initial setting or the like is the sampling cycle shown in FIG. 23A (hereinafter referred to as “first sampling cycle ST1”). The exposure time is the time when the shutter of the camera is released and the light is taken in, that is, the time when the exposure is performed.
次に、ＳＮ比が所定の閾値以下であると判断されると（図１８に示すステップＳ０４でＹＥＳ）、ステップＳ０５では、端末装置は、例えば、露光時間を図２３（Ｂ）に示す露光時間（以下「第２露光時間ＥＴ２」という。）に変更するように制御を行う。具体的には、端末装置は、シャッタスピードの設定値等を変更して露光時間が第２露光時間ＥＴ２となるように制御する。図示するように、第２露光時間ＥＴ２は、第１露光時間ＥＴ１と比較すると、長い時間である。このように、露光時間が長くなると、１フレーム当たりの受光量が増加するため、１フレーム当たりの受光量が不足している場合には、パワースペクトルにおいて信号成分が強くなる。すなわち、露光時間が長くなると、ＳＮ比を高くすることができる。また、ＳＮ比と、ピーク検出誤差との関係は、図２２に示す関係にあることが多いため、ＳＮ比を高くすると、ピーク検出誤差を減少させることができる。したがって、端末装置は、露光時間を変更する制御によって、ＳＮ比を高くし、ピーク検出誤差を減少させることができる。 Next, when it is determined that the SN ratio is equal to or lower than the predetermined threshold value (YES in step S04 shown in FIG. 18), the terminal device sets the exposure time to the exposure time shown in FIG. 23(B) in step S05, for example. (Hereinafter, referred to as “second exposure time ET2”) is controlled. Specifically, the terminal device controls the exposure time to be the second exposure time ET2 by changing the setting value of the shutter speed and the like. As shown in the figure, the second exposure time ET2 is longer than the first exposure time ET1. In this way, as the exposure time becomes longer, the amount of received light per frame increases, so when the amount of received light per frame is insufficient, the signal component becomes stronger in the power spectrum. That is, as the exposure time becomes longer, the SN ratio can be increased. Further, since the relationship between the SN ratio and the peak detection error is often in the relationship shown in FIG. 22, increasing the SN ratio can reduce the peak detection error. Therefore, the terminal device can increase the SN ratio and reduce the peak detection error by controlling the exposure time.
また、端末装置は、脈波信号をサンプリングする周期の例であるフレームレートによって定まる周期を遅くしてもよい。図２３に示す例では、端末装置は、第１サンプリング周期ＳＴ１を図２３（Ｂ）に示すサンプリング周期（以下「第２サンプリング周期ＳＴ２」という。）に変更する制御を行う。露光時間は、１周期において、フレームレートによって定まる周期より、長く設定できない場合が多い。そこで、端末装置は、図２３（Ｂ）に示す第２サンプリング周期ＳＴ２のように、サンプリングする周期が長くなるようにフレームレート等を変更する制御を行う。例えば、変更前、すなわち、図２３（Ａ）では、フレームレートが「６０ｆｐｓ」であるとすると、端末装置は、フレームレートを「３０ｆｐｓ」とする。このように、フレームレートを遅くすると、１周期において、第１露光時間ＥＴ１を第２露光時間ＥＴ２とするように、端末装置は、露光時間を長くできる。 Further, the terminal device may delay the cycle determined by the frame rate, which is an example of the cycle of sampling the pulse wave signal. In the example shown in FIG. 23, the terminal device performs control to change the first sampling period ST1 to the sampling period shown in FIG. 23B (hereinafter referred to as “second sampling period ST2”). In many cases, the exposure time cannot be set longer than the cycle determined by the frame rate in one cycle. Therefore, the terminal device performs control such as changing the frame rate so that the sampling period becomes longer, as in the second sampling period ST2 shown in FIG. For example, assuming that the frame rate is “60 fps” before the change, that is, in FIG. 23A, the terminal device sets the frame rate to “30 fps”. In this way, when the frame rate is slowed, the terminal device can lengthen the exposure time so that the first exposure time ET1 becomes the second exposure time ET2 in one cycle.
＜解析及び補正例（ステップＳ０６）＞
図１８に戻り、ステップＳ０６では、端末装置は、解析及び補正等を行う。
<Example of analysis and correction (step S06)>
Returning to FIG. 18, in step S06, the terminal device performs analysis and correction.
図２４は、本発明の一実施形態に係る脈波測定装置による解析及び補正の一例を示すフローチャートである。尚、図２４では、図１８と同一又は類似の処理は、同一の符号を付し、重複した説明を省略する。 FIG. 24 is a flowchart showing an example of analysis and correction by the pulse wave measuring device according to one embodiment of the present invention. Note that in FIG. 24, the same or similar processing as in FIG. 18 is given the same reference numeral, and duplicated description will be omitted.
＜計測例（ステップＳ０１）＞
ステップＳ０１では、図１８と同様に、端末装置は、撮像等によって、生体を計測する。尚、図２４においては、計測は、例えば、後段で行う解析の目的等に合わせて、所定時間計測されてもよい。例えば、脈波信号のＬＦ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ）及びＨＦ（Ｈｉｇｈ Ｆｒｅｑｕｅｎｃｙ）の値、すなわち、低周波及び高周波のそれぞれのゆらぎ等を算出するため、２分間程度計測が行われて、各データが記憶されてもよい。
<Measurement example (step S01)>
In step S01, as in FIG. 18, the terminal device measures the living body by imaging or the like. Note that, in FIG. 24, the measurement may be performed for a predetermined time, for example, according to the purpose of analysis performed in the subsequent stage. For example, in order to calculate the LF (Low Frequency) and HF (High Frequency) values of the pulse wave signal, that is, the fluctuations of the low frequency and the high frequency, for example, measurement is performed for about 2 minutes, and each data is stored. May be.
＜脈波信号の検出例（ステップＳ０２）＞
ステップＳ０２では、例えば、図１８と同様に、端末装置は、脈波信号を検出する。したがって、図１８と同様に、ステップＳ０２によって、図１９に示すような脈波信号等が検出される。
<Pulse wave signal detection example (step S02)>
In step S02, for example, as in FIG. 18, the terminal device detects a pulse wave signal. Therefore, as in FIG. 18, the pulse wave signal and the like as shown in FIG. 19 are detected in step S02.
＜ノイズ低減例（ステップＳ６１）＞
ステップＳ６１では、端末装置は、脈波信号が有するノイズを低減させる。尚、ノイズを低減させる方法は、公知の技術が用いられてもよい。例えば、ノイズを低減させる方法は、バンドパスフィルタ等を適用させる、いわゆるフィルタ補正技術等である。また、ノイズを低減させる方法は、２つの色信号の差分を取り、計測中における生体の体動又は照明の変化等によって発生する同相ノイズ等を低減させる、いわゆる差分補正技術等でもよい。
<Noise reduction example (step S61)>
In step S61, the terminal device reduces noise included in the pulse wave signal. A known technique may be used as a method of reducing noise. For example, a method of reducing noise is a so-called filter correction technique in which a bandpass filter or the like is applied. Further, the method of reducing noise may be a so-called difference correction technique or the like in which the difference between two color signals is taken and in-phase noise or the like generated due to body movement of the living body or change in illumination during measurement is reduced.
尚、ノイズを低減させると、例えば、図６に示すような結果となる。 In addition, if the noise is reduced, for example, a result as shown in FIG. 6 is obtained.
＜ピーク時間の検出例（ステップＳ６２）＞
ステップＳ６２では、端末装置は、ピーク時間を検出する。具体的には、ステップＳ６２では、端末装置は、ステップＳ６１で生成されるノイズが低減した脈波信号からピーク時間を検出する。ヘモグロビンによって光が吸収されるため、ピークになると、信号値は、小さくなる。これを利用して、ピーク時間は、各拍における信号値が極大となる時間から次に信号値が極大となるまでの時間区間で信号値が最小値となる時間を算出すると検出できる。
<Example of peak time detection (step S62)>
In step S62, the terminal device detects the peak time. Specifically, in step S62, the terminal device detects the peak time from the noise-reduced pulse wave signal generated in step S61. Since light is absorbed by hemoglobin, the signal value becomes small at the peak. Utilizing this, the peak time can be detected by calculating the time when the signal value becomes the minimum value in the time section from the time when the signal value becomes maximum at each beat to the time when the signal value becomes maximum next.
＜ピーク時間の補正例（ステップＳ６３）＞
ステップＳ６３では、端末装置は、ピーク時間を補正する。
<Example of peak time correction (step S63)>
In step S63, the terminal device corrects the peak time.
図１８に示すステップＳ０５によって、ＳＮ比を高くするため、フレームレートが遅くなる場合がある。この場合には、フレームレートが遅くなるため、時間分解能が、後段に行われる解析の目的等によっては、不足する場合がある。すなわち、所定時間に脈波信号の信号値がサンプリングされる数が、所定の値以下となる場合である。例えば、時間分解能が不足である場合等には、端末装置は、ピーク時間を補正する。 Since the SN ratio is increased by step S05 shown in FIG. 18, the frame rate may be slowed down. In this case, since the frame rate becomes slow, the time resolution may be insufficient depending on the purpose of the analysis performed in the subsequent stage. That is, this is a case where the number of times the signal value of the pulse wave signal is sampled in a predetermined time is equal to or less than a predetermined value. For example, when the time resolution is insufficient, the terminal device corrects the peak time.
具体的には、端末装置は、任意のピークの信号値及びそのピークの前後のそれぞれの信号値、すなわち、複数の信号値に基づいて近似してピーク時間を補正する。以下、３つの信号値に基づいて、ピーク時間が補正される例を示す。 Specifically, the terminal device approximates the signal value of an arbitrary peak and each signal value before and after the peak, that is, based on a plurality of signal values, and corrects the peak time. An example in which the peak time is corrected based on the three signal values will be shown below.
図２５は、本発明の一実施形態に係る脈波測定装置によるピーク時間の補正例を示す図である。図示する補正は、いわゆる折れ線近似である。この補正では、補正によって求まるピーク時間をピーク補正量Δｔｉとする。また、ピークの信号値を第１信号値Ｐｉとする。さらに、第１信号値Ｐｉの１つ前のピークの信号値を第２信号値Ｐｉ−１とする。一方で、第１信号値Ｐｉの１つ後のピークの信号値を第３信号値Ｐｉ＋１とする。この場合には、ピーク補正量Δｔｉは、図示する式等によって求まる。 FIG. 25 is a diagram showing an example of correcting the peak time by the pulse wave measuring device according to the embodiment of the present invention. The illustrated correction is a so-called polygonal line approximation. In this correction, the peak time obtained by the correction is the peak correction amount Δt i . The peak signal value is the first signal value P i . Furthermore, let the signal value of the peak just before the 1st signal value P i be the 2nd signal value P i-1 . On the other hand, the signal value of the peak immediately after the first signal value P i is set to the third signal value P i+1 . In this case, the peak correction amount Δt i is obtained by the equation shown in the figure.
図示する式によってピーク補正量Δｔｉが求まると、端末装置は、脈波信号の時間分解能を高くできる。すなわち、ピーク時間を補正すると、端末装置は、脈波信号の時間分解能を高くできる。そのため、端末装置は、低い時間分解能の脈波信号からでも、脈波のピーク時間を精度良く算出できる。 When the peak correction amount Δt i is obtained by the illustrated formula, the terminal device can increase the time resolution of the pulse wave signal. That is, by correcting the peak time, the terminal device can improve the time resolution of the pulse wave signal. Therefore, the terminal device can accurately calculate the peak time of the pulse wave even from the pulse wave signal of low time resolution.
図２６は、本発明の一実施形態に係る脈波測定装置によるピーク時間の別の補正例を示す図である。図２４に示すステップＳ６３では、図２６に示す補正が、行われてもよい。図２５に示す補正と同様に、補正によって求まるピーク時間をピーク補正量Δｔｉとする。さらに、第１信号値Ｐｉ、第２信号値Ｐｉ−１及び第３信号値Ｐｉ＋１も同様とする。この補正では、ピーク補正量Δｔｉは、図２６に示す式等によって求まる。図示する補正は、いわゆる放物線近似である。 FIG. 26 is a diagram showing another example of correcting the peak time by the pulse wave measuring device according to the embodiment of the present invention. In step S63 shown in FIG. 24, the correction shown in FIG. 26 may be performed. Similar to the correction shown in FIG. 25, the peak time obtained by the correction is the peak correction amount Δt i . Further, the same applies to the first signal value P i , the second signal value P i−1, and the third signal value P i+1 . In this correction, the peak correction amount Δt i is obtained by the equation shown in FIG. The correction shown is a so-called parabolic approximation.
図示する式によってピーク補正量Δｔｉが求まると、端末装置は、脈波信号の時間分解能を高くできる。すなわち、ピーク時間を補正すると、端末装置は、脈波信号の時間分解能を高くできる。そのため、端末装置は、低い時間分解能の脈波信号からでも、脈波のピーク時間を精度良く算出できる。 When the peak correction amount Δt i is obtained by the illustrated formula, the terminal device can increase the time resolution of the pulse wave signal. That is, by correcting the peak time, the terminal device can improve the time resolution of the pulse wave signal. Therefore, the terminal device can accurately calculate the peak time of the pulse wave even from the pulse wave signal of low time resolution.
尚、補正方法は、図２５及び図２６に示す方法に限られない。例えば、図２５に示す補正例は、２つの直線の傾きをそれぞれ「ｌ１」と、「ｌ２」とし、「ｌ１＝−ｌ２」となると仮定する例である。これに対して、脈波は、ピーク後の傾きより、ピーク前の傾きの方が急峻となる場合が多い。したがって、この特性を反映させて、「ｌ１＞−ｌ２」となるようにして、端末装置は、補正を行ってもよい。このように行うと、端末装置は、より精度良くピーク時間を補正できる。 The correction method is not limited to the method shown in FIGS. 25 and 26. For example, the correction example shown in FIG. 25 is an example of assuming that the inclinations of two straight lines are “l 1 ”and “l 2 ”, respectively, and “l 1 =−l 2 ”. On the other hand, in the pulse wave, the slope before the peak is often steeper than the slope after the peak. Therefore, the terminal device may perform correction by reflecting this characteristic so that “l 1 >−l 2 ”. By doing in this way, the terminal device can correct the peak time more accurately.
他にも、補正方法は、スプライン補間法等の補完方法を利用する方法でもよい。さらに、補正に用いられる信号値は、３つに限られず、近傍の別の信号値等を更に用いて、３つ以上の信号値が用いられてもよい。 Alternatively, the correction method may be a method using a complementary method such as a spline interpolation method. Furthermore, the signal value used for correction is not limited to three, and three or more signal values may be used by further using another signal value in the vicinity.
尚、補正は、所定時間に脈波信号の信号値がサンプリングされる数が所定の値以下となると行われるのが望ましい。例えば、所定時間は、単位時間であり、具体的には、「１秒」等である。また、所定の値は、後段に行われる解析の目的等に基づいて定まる。例えば、生体の自律神経の働きを解析する目的の場合等では、信号値は、１秒に、２５６個以上が検出されるのが望ましい。この場合等では、補正は、時間分解能が「１秒間に２５６個以上」となる程度に補正するのが望ましい。 It is desirable that the correction is performed when the number of sampled signal values of the pulse wave signal in a predetermined time is equal to or less than a predetermined value. For example, the predetermined time is a unit time, specifically, "1 second" or the like. In addition, the predetermined value is determined based on the purpose of the analysis performed in the subsequent stage. For example, for the purpose of analyzing the function of the autonomic nerve of a living body, it is desirable that 256 or more signal values be detected per second. In this case, it is desirable that the correction be performed so that the time resolution is "256 or more per second".
＜評価値の算出例（ステップＳ６４）＞
図２４に戻り、ステップＳ６４では、端末装置は、評価値を算出する等の解析を行う。例えば、端末装置は、検出される各ピーク時間に基づいて、脈拍数、脈拍ピーク間隔のゆらぎ又はこれらの組み合わせ等の評価値を算出する。
<Example of calculation of evaluation value (step S64)>
Returning to FIG. 24, in step S64, the terminal device performs analysis such as calculation of an evaluation value. For example, the terminal device calculates an evaluation value such as the pulse rate, the fluctuation of the pulse peak interval, or a combination thereof based on each detected peak time.
また、本発明に係る実施形態は、本発明の一実施形態に係る処理の一部又は全部の手順が、プログラムに基づいて情報処理装置又は情報処理システムによって実行されることで実現されてもよい。すなわち、本発明に係る実施形態は、脈波測定方法をコンピュータに実行させるためのプログラム等によって実現されてもよい。尚、プログラムは、コンピュータが読み取り可能な記録媒体等に記憶されてコンピュータにインストールされる。 Further, the embodiment according to the present invention may be realized by a part or all of the procedure according to the embodiment of the present invention being executed by an information processing device or an information processing system based on a program. .. That is, the embodiment according to the present invention may be realized by a program or the like for causing a computer to execute the pulse wave measuring method. The program is stored in a computer-readable recording medium or the like and installed in the computer.
さらに、本発明に係る実施形態は、端末装置を含む複数の情報処理装置を有する脈波測定システムによって実現されてもよい。すなわち、各実施形態は、例えば、図１６に示す脈波測定システム等によって実現されてもよい。 Further, the embodiment according to the present invention may be realized by a pulse wave measurement system having a plurality of information processing devices including a terminal device. That is, each embodiment may be realized by, for example, the pulse wave measurement system shown in FIG.
なお、脈波測定システムでは、端末装置１００Ｂと、脈波測定サーバ３００とは、全体処理を上記に説明した以外の分担で処理を行ってもよい。また、脈波測定システムでは、処理は、複数の装置によって、冗長、分散又は並列して行われてもよい。
In addition, in the pulse wave measurement system, the
以上のように、抽出される脈波信号のＳＮ比に基づいて、露光時間を制御すると、脈波測定装置は、ＳＮ比を高くし、ピーク検出誤差を減少させることができる。このように、ピーク検出誤差を減少させると、脈波測定装置は、脈波のピークを検出する精度を向上させることができる。 As described above, when the exposure time is controlled based on the SN ratio of the extracted pulse wave signal, the pulse wave measuring device can increase the SN ratio and reduce the peak detection error. As described above, when the peak detection error is reduced, the pulse wave measuring device can improve the accuracy of detecting the peak of the pulse wave.
以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。 Although the present invention has been described above based on the respective embodiments, the present invention is not limited to the requirements shown in the above embodiments. With respect to these points, the gist of the present invention can be modified within a range that does not impair the invention, and can be appropriately determined according to the application mode.
１００、１００Ａ 脈波測定装置
１００Ｂ 端末装置
１１０ 画像取得部
１２０ データ記憶部
１３０ 脈波測定処理部
１４０ データ出力部
１５０ 信号抽出部
１６０ 補正部
１６１ 差分補正部
１６２ フィルタ補正部
１７０ ピーク検出処理部
１７１ 信号分割部
１７２ 影響度算出部
１７３ 補正信号選択部
１７４ ピーク時間検出部
２００ 脈波測定システム
３００ 脈波測定サーバ
100, 100A Pulse
130 pulse wave
Claims (12)
前記第一及び前記第二の補正信号のそれぞれについて、前記区間毎に、ノイズの影響の度合いを示す値を算出する影響度算出部と、
前記区間毎に、前記影響の度合いが小さい方の補正信号のピークの発生時刻を検出するピーク時間検出部と、を有する脈波測定装置。 Using the first and second signals extracted from the image data that fluctuate according to the pulse wave of the living body, the first correction signal of the result of the first correction and the result of the second correction A second correction signal, and a signal division unit that divides the pulse wave into sections for each cycle,
For each of the first and second correction signals, for each section, an influence degree calculation unit that calculates a value indicating the degree of influence of noise,
A pulse wave measuring apparatus, comprising: a peak time detecting unit that detects a peak occurrence time of a correction signal having a smaller degree of influence for each of the sections.
前記第二の補正として、前記第一の信号及び前記第二の信号の差分を取って、前記第一及び前記第二の信号間の同相ノイズを低減させる補正を行う第二の補正部と、を有し、
前記第一の補正信号は、前記第一の補正部の出力信号であり、
前記第二の補正信号は、前記第二の補正部の出力信号である請求項１記載の脈波測定装置。 As the first correction, a first correction unit that performs correction to reduce noise other than the frequency band of the pulse wave component,
As the second correction, by taking a difference between the first signal and the second signal, a second correction unit that performs a correction to reduce common-mode noise between the first and second signals, Have
The first correction signal is an output signal of the first correction unit,
The pulse wave measuring device according to claim 1, wherein the second correction signal is an output signal of the second correction unit.
前記第二の補正信号を前記第一の補正部に入力したときの前記第二の補正部の出力信号である請求項２記載の脈波測定装置。 The second correction signal is
The pulse wave measurement device according to claim 2, wherein the pulse wave measurement device is an output signal of the second correction unit when the second correction signal is input to the first correction unit.
前記区間毎における前記第一及び前記第二の補正信号の歪み量である請求項１乃至３の何れか一項に記載の脈波測定装置。 The value indicating the degree of the influence is
The pulse wave measuring device according to any one of claims 1 to 3, which is a distortion amount of the first and second correction signals in each of the sections.
前記第一の及び前記第二の補正信号のそれぞれが、前記区間において極小値から極大値になるまでの立ち上がり時間と、前記極大値から前記極小値になるまでの立ち下がり時間との比率に応じて算出される請求項４記載の脈波測定装置。 The amount of distortion is
Each of the first and second correction signals depends on the ratio of the rise time from the minimum value to the maximum value and the fall time from the maximum value to the minimum value in the section. The pulse wave measuring device according to claim 4, which is calculated by
前記影響の度合いを示す値は、前記同相ノイズによる影響の度合いを示す値であって、
前記区間における第二の信号の最大値と最小値から算出される前記第二の信号の変化量であり、
前記補正信号選択部は、
前記変化量が閾値より小さいとき、前記第一の補正信号を選択し、前記変化量が前記閾値以上であるとき、前記第二の補正信号を選択する請求項２又は３に記載の脈波測定装置。 A correction signal selecting unit for selecting a correction signal for detecting the peak occurrence time,
The value indicating the degree of influence is a value indicating the degree of influence by the in-phase noise,
The amount of change of the second signal calculated from the maximum value and the minimum value of the second signal in the section,
The correction signal selection unit,
The pulse wave measurement according to claim 2 or 3, wherein the first correction signal is selected when the change amount is smaller than a threshold value, and the second correction signal is selected when the change amount is equal to or more than the threshold value. apparatus.
前記影響の度合いを示す値は、前記同相ノイズによる影響の度合いを示す値であって、
前記区間における、前記生体から前記画像データを撮像する撮像装置までの距離を示す距離信号の変化量であり、
前記補正信号選択部は、
前記変化量が閾値より小さいとき、前記第一の補正信号を選択し、前記変化量が前記閾値以上であるとき、前記第二の補正信号を選択する請求項２又は３に記載の脈波測定装置。 A correction signal selecting unit for selecting a correction signal for detecting the peak occurrence time,
The value indicating the degree of influence is a value indicating the degree of influence by the in-phase noise,
In the section, the amount of change in the distance signal indicating the distance from the living body to the imaging device that captures the image data,
The correction signal selection unit,
The pulse wave measurement according to claim 2 or 3, wherein the first correction signal is selected when the change amount is smaller than a threshold value, and the second correction signal is selected when the change amount is equal to or more than the threshold value. apparatus.
前記第二の信号は、画像データから抽出されたＲ波長域に分光感度を持つチャンネルの信号である請求項１乃至７の何れか一項に記載の脈波測定装置。 The first signal is a signal of a channel having spectral sensitivity in the G wavelength region extracted from the image data,
The pulse wave measuring device according to any one of claims 1 to 7, wherein the second signal is a signal of a channel having spectral sensitivity in an R wavelength region extracted from image data.
画像データから抽出された、生体の脈波により変動する第一及び第二の信号を用いて、第一の補正を行った結果の第一の補正信号と、第二の補正を行った結果の第二の補正信号と、を前記脈波の周期毎の区間に分割する処理と、
前記第一及び前記第二の補正信号のそれぞれについて、前記区間毎に、ノイズの影響の度合いを示す値を算出する処理と、
前記区間毎に、前記影響の度合いが小さい方の補正信号のピークの発生時刻を検出する処理と、を実行させる脈波測定プログラム。 On the computer,
Using the first and second signals extracted from the image data that fluctuate according to the pulse wave of the living body, the first correction signal of the result of the first correction and the result of the second correction A process of dividing the second correction signal into sections for each cycle of the pulse wave,
For each of the first and second correction signals, a process of calculating a value indicating the degree of influence of noise for each of the sections,
A pulse wave measuring program for executing, for each of the sections, a process of detecting a peak occurrence time of a correction signal having a smaller degree of influence.
画像データから抽出された、生体の脈波により変動する第一及び第二の信号を用いて、第一の補正を行った結果の第一の補正信号と、第二の補正を行った結果の第二の補正信号と、を前記脈波の周期毎の区間に分割し、
前記第一及び前記第二の補正信号のそれぞれについて、前記区間毎に、ノイズの影響の度合いを示す値を算出し、
前記区間毎に、前記影響の度合いが小さい方の補正信号のピークの発生時刻を検出する、脈波測定方法。 A method of measuring a pulse wave by a computer, wherein the computer comprises:
Using the first and second signals extracted from the image data that fluctuate according to the pulse wave of the living body, the first correction signal of the result of the first correction and the result of the second correction A second correction signal, and divide the interval of each pulse wave period,
For each of the first and second correction signals, for each section, calculate a value indicating the degree of influence of noise,
A pulse wave measuring method, which detects a peak occurrence time of a correction signal having a smaller degree of influence for each of the sections.
画像データから抽出された、生体の脈波により変動する第一及び第二の信号を用いて、第一の補正を行った結果の第一の補正信号と、第二の補正を行った結果の第二の補正信号と、を前記脈波の周期毎の区間に分割する信号分割部と、
前記第一及び前記第二の補正信号のそれぞれについて、前記区間毎に、ノイズの影響の度合いを示す値を算出する影響度算出部と、
前記区間毎に、前記影響の度合いが小さい方の補正信号のピークの発生時刻を検出するピーク時間検出部と、を有する脈波測定システム。 A pulse wave measurement system having a terminal device and an information processing device,
Using the first and second signals extracted from the image data that fluctuate according to the pulse wave of the living body, the first correction signal of the result of the first correction and the result of the second correction A second correction signal, and a signal division unit that divides the pulse wave into sections for each cycle,
For each of the first and second correction signals, for each section, an influence degree calculation unit that calculates a value indicating the degree of influence of noise,
A pulse wave measurement system, comprising: a peak time detection unit that detects a peak occurrence time of a correction signal having a smaller degree of influence for each of the sections.
前記第一及び前記第二の補正信号のそれぞれについて、前記区間毎に、ノイズの影響の度合いを示す値を算出する影響度算出部と、
前記区間毎に、前記影響の度合いが小さい方の補正信号のピークの発生時刻を検出するピーク時間検出部と、を有する脈波測定システム。 Obtained in a non-contact state with the living body, using the first and second biological signals that fluctuate due to the pulse wave of the living body, the first correction signal of the result of the first correction, and the second A second correction signal, which is the result of the correction, and a signal division unit that divides the pulse wave into sections for each cycle of the pulse wave,
For each of the first and second correction signals, for each section, an influence degree calculation unit that calculates a value indicating the degree of influence of noise,
A pulse wave measurement system, comprising: a peak time detection unit that detects a peak occurrence time of a correction signal having a smaller degree of influence for each of the sections.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/357,618 US20170150892A1 (en) | 2015-11-27 | 2016-11-21 | Pulse wave measuring device, system, and method |
| US16/578,744 US20200015686A1 (en) | 2015-11-27 | 2019-09-23 | Pulse wave measuring device, system, and method |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015231946 | 2015-11-27 | ||
| JP2015231946 | 2015-11-27 | ||
| JP2015233683 | 2015-11-30 | ||
| JP2015233683 | 2015-11-30 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020105408A Division JP2020157102A (en) | 2015-11-27 | 2020-06-18 | Pulse wave measurement device, pulse wave measurement program, pulse wave measurement method, and pulse wave measurement system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017104488A JP2017104488A (en) | 2017-06-15 |
| JP6724603B2 true JP6724603B2 (en) | 2020-07-15 |
Family
ID=59058275
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016131001A Active JP6724603B2 (en) | 2015-11-27 | 2016-06-30 | Pulse wave measuring device, pulse wave measuring program, pulse wave measuring method and pulse wave measuring system |
| JP2020105408A Pending JP2020157102A (en) | 2015-11-27 | 2020-06-18 | Pulse wave measurement device, pulse wave measurement program, pulse wave measurement method, and pulse wave measurement system |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020105408A Pending JP2020157102A (en) | 2015-11-27 | 2020-06-18 | Pulse wave measurement device, pulse wave measurement program, pulse wave measurement method, and pulse wave measurement system |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP6724603B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7106821B2 (en) * | 2017-07-13 | 2022-07-27 | 株式会社リコー | BIOLOGICAL SIGNAL ANALYZER, BIOLOGICAL SIGNAL ANALYSIS METHOD AND PROGRAM |
| JP6911609B2 (en) * | 2017-07-20 | 2021-07-28 | 株式会社リコー | Information processing equipment, information processing methods, information processing programs, video conferencing systems, and biometric information acquisition systems |
| JP2019170543A (en) * | 2018-03-27 | 2019-10-10 | キヤノン株式会社 | Measuring device and program |
| JP7179570B2 (en) * | 2018-10-10 | 2022-11-29 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | NOISE INFORMATION ACQUISITION DEVICE, NOISE INFORMATION ACQUISITION METHOD, AND COMPUTER PROGRAM |
| JP7396143B2 (en) | 2020-03-19 | 2023-12-12 | 株式会社リコー | Pulse wave analysis device, pulse wave analysis method and program |
| JP2022052451A (en) * | 2020-09-23 | 2022-04-04 | カシオ計算機株式会社 | Electronic device, control method of electronic device, and control program of electronic device |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4671811B2 (en) * | 2004-11-05 | 2011-04-20 | 日立オートモティブシステムズ株式会社 | Finger authentication device |
| JP2006296635A (en) * | 2005-04-19 | 2006-11-02 | Olympus Corp | Endoscope apparatus |
| US8666116B2 (en) * | 2009-10-06 | 2014-03-04 | Koninklijke Philips N.V. | Method and system for obtaining a first signal for analysis to characterize at least one periodic component thereof |
| JP2012085670A (en) * | 2010-10-15 | 2012-05-10 | Isuzu Motors Ltd | Workload degree determining device |
| JP6052027B2 (en) * | 2013-03-29 | 2016-12-27 | 富士通株式会社 | Pulse wave detection device, pulse wave detection program, and pulse wave detection method |
| JP2015016273A (en) * | 2013-06-13 | 2015-01-29 | Ｗｉｎフロンティア株式会社 | Mind balance evaluation device and program for the same |
| JP6167849B2 (en) * | 2013-10-25 | 2017-07-26 | 富士通株式会社 | Pulse wave detection device, pulse wave detection method, and pulse wave detection program |
| JP6248780B2 (en) * | 2014-04-21 | 2017-12-20 | 富士通株式会社 | Pulse wave detection device, pulse wave detection method, and pulse wave detection program |
-
2016
- 2016-06-30 JP JP2016131001A patent/JP6724603B2/en active Active
-
2020
- 2020-06-18 JP JP2020105408A patent/JP2020157102A/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020157102A (en) | 2020-10-01 |
| JP2017104488A (en) | 2017-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6724603B2 (en) | Pulse wave measuring device, pulse wave measuring program, pulse wave measuring method and pulse wave measuring system | |
| US10740605B2 (en) | Iris collection method, electronic device, and computer readable storage medium | |
| JP6102433B2 (en) | Pulse wave detection program, pulse wave detection method, and pulse wave detection device | |
| JP6547160B2 (en) | Pulse wave detection device and pulse wave detection program | |
| US11069057B2 (en) | Skin diagnostic device and skin diagnostic method | |
| US20170112382A1 (en) | Pulse-wave detection method, pulse-wave detection device, and computer-readable recording medium | |
| JP6256488B2 (en) | Signal processing apparatus, signal processing method, and signal processing program | |
| JP6052027B2 (en) | Pulse wave detection device, pulse wave detection program, and pulse wave detection method | |
| US9962126B2 (en) | Signal processor, signal processing method, and recording medium | |
| JP6928219B2 (en) | Pulse cycle detection device, pulse cycle detection method, pulse cycle detection program, and pulse wave detection device | |
| JP6115263B2 (en) | Pulse wave detection device, pulse wave detection method, and pulse wave detection program | |
| EP3067856A1 (en) | Image processing apparatus and image processing method | |
| KR101787828B1 (en) | Heartrate measuring system using skin color filter | |
| JPWO2019102966A1 (en) | Pulse wave detector, pulse wave detection method, and program | |
| JP6135255B2 (en) | Heart rate measuring program, heart rate measuring method and heart rate measuring apparatus | |
| JP7396143B2 (en) | Pulse wave analysis device, pulse wave analysis method and program | |
| JP7106821B2 (en) | BIOLOGICAL SIGNAL ANALYZER, BIOLOGICAL SIGNAL ANALYSIS METHOD AND PROGRAM | |
| US20200015686A1 (en) | Pulse wave measuring device, system, and method | |
| JP7124974B2 (en) | Blood volume pulse signal detection device, blood volume pulse signal detection method, and program | |
| KR102468654B1 (en) | Method of heart rate estimation based on corrected image and apparatus thereof | |
| JP6772614B2 (en) | Biometric information measuring device, biometric information measuring method, biometric information measuring system and program | |
| WO2020070808A1 (en) | Pulse wave calculation device, pulse wave calculation method, and pulse wave calculation program | |
| JP7237768B2 (en) | Biological information detector | |
| US10080091B2 (en) | Signal processing device and signal processing method | |
| US9978144B2 (en) | Biological information measurement apparatus, biological information measurement method, and computer-readable recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190403 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200128 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200131 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200326 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200526 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200608 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6724603 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |