JP2021065490A - Pulse wave detection device and pulse wave detection system - Google Patents
Pulse wave detection device and pulse wave detection system Download PDFInfo
- Publication number
- JP2021065490A JP2021065490A JP2019193999A JP2019193999A JP2021065490A JP 2021065490 A JP2021065490 A JP 2021065490A JP 2019193999 A JP2019193999 A JP 2019193999A JP 2019193999 A JP2019193999 A JP 2019193999A JP 2021065490 A JP2021065490 A JP 2021065490A
- Authority
- JP
- Japan
- Prior art keywords
- pulse wave
- change
- detection
- amplitude
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 171
- 238000013500 data storage Methods 0.000 claims description 6
- 230000002542 deteriorative effect Effects 0.000 abstract 1
- 235000019646 color tone Nutrition 0.000 description 47
- 238000000034 method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 239000008280 blood Substances 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 230000017531 blood circulation Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 102000001554 Hemoglobins Human genes 0.000 description 2
- 108010054147 Hemoglobins Proteins 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010042496 Sunburn Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 208000016252 change in skin color Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Landscapes
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、非接触で脈波を検出する脈波検出装置及び脈波検出システムに関する。 The present invention relates to a pulse wave detection device and a pulse wave detection system that detect a pulse wave in a non-contact manner.
従来、脈拍数及び脈波はセンサーやカフ装置を人に直接接触させて測定する接触方式が一般的であった。最近では、非接触で脈拍数及び脈波を検出する技術が提案されている(例えば特許文献1)。 Conventionally, the pulse rate and pulse wave are generally measured by directly contacting a sensor or a cuff device with a person. Recently, a technique for detecting a pulse rate and a pulse wave without contact has been proposed (for example, Patent Document 1).
特許文献1に開示された技術は、人の顔を撮影した動画の顔領域の中に所定の大きさの関心領域を設定し、その関心領域の皮膚の色調の変化を検出するものである。顔が動いた場合は、例えば目を基準に、同じ相対位置を持つ関心領域を再設定する。
The technique disclosed in
しかしながら、特許文献1に開示された技術は、顔の動きによって関心領域に皮膚以外の画像が含まれる場合があり、脈波の検出精度を悪化させてしまうという課題がある。
However, the technique disclosed in
本発明は、この課題に鑑みてなされたものであり、人の動きによって脈波の検出精度を悪化させない脈波検出装置及び脈検出システムを提供することを目的とする。 The present invention has been made in view of this problem, and an object of the present invention is to provide a pulse wave detection device and a pulse detection system that do not deteriorate the pulse wave detection accuracy due to the movement of a person.
本発明の脈波検出装置は、人の所定部分のカラー動画を撮影するカメラと、前記カラー動画を構成する画像ごとに、前記所定部分に含まれる特定部位から離れた位置で且つ所定の色調の複数の画素を、脈波の検出領域に設定する検出領域設定部と、前記検出領域の前記色調の変化の振幅を検出する色調変化検出部と、前記振幅の変化以外のノイズを除去するノイズ除去部と、前記振幅の変化を補間して前記脈波の時間変化を表す脈波波形を生成する脈波波形生成部とを備える。 The pulse wave detection device of the present invention has a camera that captures a color moving image of a predetermined part of a person, and each image that constitutes the color moving image is located at a position away from a specific part included in the predetermined part and has a predetermined color tone. A detection area setting unit that sets a plurality of pixels in a pulse wave detection area, a color tone change detection unit that detects the amplitude of the color tone change in the detection area, and noise removal that removes noise other than the amplitude change. A unit and a pulse wave waveform generation unit that interpolates the change in amplitude to generate a pulse wave waveform that represents a time change of the pulse wave.
また、本発明の脈波検出システムは、人の所定部分のカラー動画を撮影するカメラと、前記カラー動画を構成する画像ごとに、前記所定部分に含まれる特定部位から離れた位置で且つ所定の色調の複数の画素を、脈波の検出領域に設定する検出領域設定部と、前記検出領域の前記色調の変化の振幅を検出する色調変化検出部と、前記振幅の変化以外のノイズを除去するノイズ除去部と、前記振幅の変化を補間して前記脈波の時間変化を表す脈波波形を生成する脈波波形生成部とを備える脈波検出サーバと、前記人に関連付けられた識別子に基づいて個人を認識する個人認識サーバと、前記識別子と前記脈波波形を関連付けて記憶するデータ蓄積サーバと、前記脈波波形を表示する表示デバイスとを備える。 Further, in the pulse wave detection system of the present invention, a camera that captures a color moving image of a predetermined portion of a person and a predetermined position of each image constituting the color moving image at a position away from a specific portion included in the predetermined portion. A detection area setting unit that sets a plurality of pixels of color tones in a pulse wave detection region, a color tone change detection unit that detects the amplitude of the change in color tone in the detection area, and noise other than the change in amplitude are removed. Based on a pulse wave detection server including a noise removing unit and a pulse wave waveform generation unit that interpolates the change in amplitude and generates a pulse wave waveform representing the time change of the pulse wave, and an identifier associated with the person. It includes an individual recognition server that recognizes an individual, a data storage server that stores the identifier and the pulse wave waveform in association with each other, and a display device that displays the pulse wave waveform.
本発明によれば、人の動きによって脈波の検出精度を悪化させない脈波検出装置及び脈検出システムを提供することができる。 According to the present invention, it is possible to provide a pulse wave detection device and a pulse detection system that do not deteriorate the pulse wave detection accuracy due to the movement of a person.
以下、本発明の実施の形態について図面を用いて説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The same reference numerals are given to the same objects in a plurality of drawings, and the description is not repeated.
図1は、本発明の実施形態に係る脈波検出装置の機能構成例を示す図である。図1に示す脈波検出装置100は、非接触で人の脈波及び脈拍数を検出する装置である。
FIG. 1 is a diagram showing a functional configuration example of the pulse wave detection device according to the embodiment of the present invention. The pulse
脈波検出装置100は、カメラ10、検出領域設定部20、色調変化検出部30、ノイズ除去部40、脈波波形生成部50、及び表示部60を備える。脈波検出装置100は、カメラ10を除いて例えば、ROM、RAM、CPU等からなるコンピュータで実現することができる。各機能構成部をコンピュータによって実現する場合、各機能構成部が有すべき機能の処理内容はプログラムによって記述される。
The pulse
カメラ10は、人の所定部分のカラー動画を撮影する。カラー動画のフレームレートは、例えば24fpsである。よって、1秒間のカラー動画は24枚の画像で構成される。なおフレームレートは、30fps又は60fpsであっても構わない。
The
画像の解像度は、カメラ10の撮像素子の画素数によって決定される。画像の解像度は、例えば200万(1632×1224)画素である。画素数は、200万以下であっても良いしそれ以上であっても良い。カメラ10は、画素数も含め一般的なものである。
The resolution of the image is determined by the number of pixels of the image sensor of the
カメラ10が撮影する人の所定部分は、例えば、人の顔の部分、又は手の平の部分である。この所定部分は、衣服に覆われていない皮膚が露出した部分である。人の所定部分は、衣服を脱げば、胸、又は腹等であっても構わない。
A predetermined portion of a person photographed by the
図2は、カメラ10で撮影した人の所定部分を模式的に示す図である。図2(a)は、所定部分が人の顔の場合を示す図である。
FIG. 2 is a diagram schematically showing a predetermined portion of a person photographed by the
図2(a)に示す参照符号11は、1枚の画像を示す。画像11は、例えば200万画素から成る画像である。図2の左右方向をx、上下方向をyと定義する。画像11は、所定部分12、特定部位13、及び検出領域14を含む。
(検出領域設定部)
検出領域設定部20は、カラー動画を構成する画像11ごとに、所定部分12に含まれる特定部位13から離れた位置で且つ所定の色調の複数の画素を、脈波の検出領域14に設定する。検出領域設定部20は、例えば顔を識別する機械学習データを用いて所定部分12を検出する。そして、更に、鼻を識別する機械学習データを用いて特定部位13である鼻の位置を特定する。
(Detection area setting unit)
The detection area setting unit 20 sets a plurality of pixels of a predetermined color tone at a position away from the
次に、検出領域設定部20は、特定部位13から離れた位置で且つ所定の色調の複数の画素を、脈波の検出領域14に設定する。所定の色調とは、例えば肌色の色調のことである。なお、特定部位13は鼻でなくても構わない。目、眉毛、眉間等の顔のどの部分であっても良い。
Next, the detection area setting unit 20 sets a plurality of pixels having a predetermined color tone at a position away from the
画像の左下隅の画素の座標(x,y)を(0,0)と定義すると、鼻の座標は、例えば(816,816)と特定することができる。鼻の座標から、x方向に例えば200画素離れた位置で且つ肌色の色調の複数の画素を検出領域14に設定する。検出領域14の画素数は、例えば100(10×10)である。所定部分12が顔の場合の検出領域14は、目より下で顎よりも上の領域(頬)に設定すると脈波の検出精度が向上する。
If the coordinates (x, y) of the pixels in the lower left corner of the image are defined as (0,0), the coordinates of the nose can be specified as (816,816), for example. A plurality of pixels having a skin color tone at a position separated by, for example, 200 pixels in the x direction from the coordinates of the nose are set in the
図2(b)は、人の手の平の部分を撮影した所定部分12を示す図である。画像11、所定部分12、特定部分13、及び検出領域14の関係は、図2(a)と同じである。図2(b)において所定部分12は手の平であり、特定部分13は手の平の中心部分である。図2(a),(b)に示す様に、検出領域14は、特定部分13から離れた複数の画素の範囲である。また、検出領域14は、所定部分12に含まれる所定の画素数の範囲である。
FIG. 2B is a diagram showing a
図3は、検出領域14を模式的に示す図である。検出領域14は、例えば10×10の画素の範囲であると仮定する。図3に示す一つの正方形は一つの画素を表す。
FIG. 3 is a diagram schematically showing the
検出領域14を構成する画素の座標(x,y)を画素14xyで表す。画素1400の座標(x,y)は、鼻からx方向に例えば200画素離れた位置である。
The coordinates (x, y) of the pixels constituting the
カラー画像では、一つの画素の色をR(赤),G(緑),B(青)の3原色で表す。1画素のRGB要素のそれぞれは8ビットの画素値で表される。日本人の肌色の画素値は、日焼けしていなければ、Rが凡そ220〜250、Gが凡そ170〜220、Bが凡そ140〜210のそれぞれの範囲で分布する。 In a color image, the color of one pixel is represented by the three primary colors of R (red), G (green), and B (blue). Each of the RGB elements of one pixel is represented by an 8-bit pixel value. The pixel values of Japanese skin tones are distributed in the range of R for about 220 to 250, G for about 170 to 220, and B for about 140 to 210, unless sunburned.
なお、RGB要素の画素値は、HSV形式に変換しても良い。HSV形式は、色を「色相(Hue)」、「彩度(Saturation)」、「明度(Value・Brightness)」の3要素で表現する方式である。RGB要素の画素値は、一般的な変換ソフトでHSV形式に変換することができる。 The pixel value of the RGB element may be converted into the HSV format. The HSV format is a method in which a color is expressed by three elements of "hue", "saturation", and "value / brightness". The pixel values of the RGB elements can be converted to the HSV format with general conversion software.
RGB要素の画素値で肌色を定義する場合は、RGBの組み合わせを一つずつ定義する必要がある。一方、HSV形式の肌色の範囲は、凡そ(H0,S30,V60)〜(H20,S150,V255)の範囲である。 When defining the skin color by the pixel value of the RGB element, it is necessary to define the RGB combinations one by one. On the other hand, the range of the skin color of the HSV format is approximately (H0, S30, V60) to (H20, S150, V255).
このように、HSV形式は肌色の範囲の定義が容易である。よって、肌色の範囲を特定するのにHSV形式は都合が良い。なお、後述するように、脈波の計測はRGB要素の画素値を用いて行う。 As described above, the HSV format makes it easy to define the range of skin color. Therefore, the HSV format is convenient for specifying the range of skin color. As will be described later, the pulse wave is measured using the pixel values of the RGB elements.
図3に示す左下隅から右上隅までの4隅の画素の画素値は、それぞれ画素1400(R240,G221,B182)、画素1409(R240,G208,B182)、画素1409(R240,G208,B182)、画素1499(R234,G182,B143)であり、肌色の範囲である。しかし、検出領域14の全ての画素の画素値が肌色の範囲内であることはまれである。
Pixel values of the four corners of the pixel from the lower left corner to the upper right corner of FIG. 3, each pixel 14 00 (R240, G221, B182 ), the pixel 14 09 (R240, G208, B182 ), the
図3に示す様に、検出領域14には、黒子及びシミ等によって色調が異なる部分を含む場合がある。検出領域設定部20は、それらの色調の異なる部分を除いて所定の色調の複数の画素を検出領域14に設定する。
As shown in FIG. 3, the
図3に示す例では、黒子の領域である画素1466,1467、1476、1477と、シミの領域である画素1452,1462,1463が除外される。この除外された7つの画素の代わりに14101〜14107の画素が検出領域14に設定されている。このように、検出領域14は、矩形形状に限定されない所定数の画素の範囲である。
In the example shown in FIG. 3,
また、検出領域設定部20は、画像11に例えば顔以外の物体が含まれた場合でも検出領域14を適切に設定することができる。例えば、顔を撮影中の検出対象の人がよそ見をした場合、画像11に顔以外の物体(背景物)が含まれることが想定される。また、髭、耳、髪の毛等が含まれることが想定される。
Further, the detection area setting unit 20 can appropriately set the
そのような場合でも、検出領域設定部20によって顔(所定の色調)以外の物体は除外され、所定の色調の複数の画素の範囲が検出領域14に設定される。
Even in such a case, the detection area setting unit 20 excludes objects other than the face (predetermined color tone), and a range of a plurality of pixels having a predetermined color tone is set in the
(色調変化検出部)
色調変化検出部30は、検出領域14の色調の変化の振幅を検出する。検出領域14の皮膚の色調は、心臓の拍動に伴う血流によって変化する。皮膚の直下の毛細血管に止まる血液の量が多ければ、血液中のヘモグロビンが光を吸収するので反射光が減衰し、皮膚直下の血液の量が少なければ反射光が増加する。
(Color change detection unit)
The color tone change detection unit 30 detects the amplitude of the color tone change in the
色調の変化は、RGBの3原色の全ての変化で検出しても良いし、一部の色の変化で検出しても良い。ヘモグロビンの吸光感度のピークの一つは緑のスペクトルに近いので、色調の変化は、カラー動画の画像のG成分に基づくものであると好適である。 The change in color tone may be detected by all changes in the three primary colors of RGB, or may be detected by changes in some colors. Since one of the peaks of hemoglobin absorption sensitivity is close to the green spectrum, it is preferable that the change in color tone is based on the G component of the color moving image.
よって、人の所定部分のカラー動画を撮影する際の照明に緑色のライトを用いると良い。緑色のライトの反射を見ることで脈波の検出精度を向上させることができる。 Therefore, it is preferable to use a green light as the illumination when shooting a color moving image of a predetermined part of a person. By observing the reflection of the green light, the pulse wave detection accuracy can be improved.
図4は、G成分の変化を示す実測データである。図4の横軸は時間(s)、縦軸はG要素の画素値である。 FIG. 4 is actual measurement data showing changes in the G component. The horizontal axis of FIG. 4 is time (s), and the vertical axis is the pixel value of the G element.
図4に示す様に、0.5程度の振幅の変化が検出できている。この振幅の変化は、血流の変化に基づくものであり血流を表す。この振幅の変化の一周期(t)を、1分間当たりの回数に換算した値(60/t)が脈拍数である。 As shown in FIG. 4, a change in amplitude of about 0.5 can be detected. This change in amplitude is based on the change in blood flow and represents blood flow. The pulse rate is a value (60 / t) obtained by converting one cycle (t) of this amplitude change into the number of times per minute.
(ノイズ除去部)
ノイズ除去部40は、振幅の変化以外のノイズを除去する。ノイズ除去部40は、先ず画像11の検出領域14内のRGBのG成分の平均値を算出する。
(Noise removal section)
The
次に、G成分の平均値の変化に対して、ローパス、ハイパス、バンドパス、savizky golay等のフィルターを適用して脈波以外のノイズを除去する。メディアンフィルターやガウシアンフィルター等を用いても良い。更に、例えば、移動平均を求めG成分のノイズを平滑化する。 Next, a filter such as a low-pass filter, a high-pass filter, a band-pass filter, or a savizky golay is applied to the change in the average value of the G component to remove noise other than the pulse wave. A median filter, a Gaussian filter, or the like may be used. Further, for example, a moving average is obtained to smooth the noise of the G component.
図5は、3つの平均値を移動平均する様子を模式的に示す図である。図5の横軸は時間、縦軸はG成分の画素値である。平均値を破線の○、移動平均した値を●で示す。 FIG. 5 is a diagram schematically showing how the three average values are moved and averaged. The horizontal axis of FIG. 5 is time, and the vertical axis is the pixel value of the G component. The average value is indicated by a broken line ○, and the moving average value is indicated by ●.
図5に示す様に移動平均することで変化を平滑化することができる。 The change can be smoothed by moving averaging as shown in FIG.
(脈波波形生成部)
脈波波形生成部50は、振幅の変化を補間して脈波の時間変化を表す脈波波形を生成する。ノイズ除去部40でノイズを除去した平均値を時間軸上にプロットすると脈波が得られる。プロットする際にスプライン補間等を行って平均値の間を補間する。
(Pulse wave waveform generator)
The pulse wave waveform generation unit 50 interpolates the change in amplitude to generate a pulse wave waveform representing a time change of the pulse wave. A pulse wave is obtained by plotting the average value of noise removed by the
図6は、平均値の間をスプライン補間で補間して求めた脈波波形を模式的に示す図である。図6の横軸は時間、縦軸は振幅である。平均値を●で示す。 FIG. 6 is a diagram schematically showing a pulse wave waveform obtained by interpolating between average values by spline interpolation. The horizontal axis of FIG. 6 is time, and the vertical axis is amplitude. The average value is indicated by ●.
図6に示すように、平均値の間を補間した脈波波形が得られる。脈波波形の一周期から脈拍数が求められる。なお、脈拍数を求める際は、脈波波形を1回時間微分した速度脈波、又は2回時間微分した加速度脈波を用いると振幅のピークを分かり易くすることができる。振幅のピークを分かり易くすることで脈拍数を正確に算出することができる。 As shown in FIG. 6, a pulse wave waveform interpolated between the average values is obtained. The pulse rate can be obtained from one cycle of the pulse wave waveform. When determining the pulse rate, it is possible to make the peak of the amplitude easy to understand by using a velocity pulse wave obtained by time-differentiating the pulse wave waveform once or an acceleration pulse wave obtained by time-differentiating twice. The pulse rate can be calculated accurately by making the peak of the amplitude easy to understand.
脈波波形生成部50で生成された脈波波形は表示部60で表示される。表示部60は、脈波波形を表示する際に脈拍数を表示するようにしても良い。なお、表示部60は、脈波検出装置100と一体で構成する必要はない。表示部60は、携帯端末の表示部を用いて構成しても良い。表示部60を別体で構成した例については後述する。
The pulse wave waveform generated by the pulse wave waveform generation unit 50 is displayed on the
以上説明したように本実施形態に係る脈波検出装置100は、人の所定部分のカラー動画を撮影するカメラ10と、カラー動画を構成する画像11ごとに、所定部分12に含まれる特定部位13から離れた位置で且つ所定の色調の複数の画素を、脈波の検出領域14に設定する検出領域設定部20と、検出領域14の色調の変化の振幅を検出する色調変化検出部30と、振幅の変化以外のノイズを除去するノイズ除去部40と、振幅の変化を補間して脈波の時間変化を表す脈波波形を生成する脈波波形生成部50とを備える。これにより、人の例えば顔の動きによって脈の検出精度を悪化させない脈波検出装置を提供することができる。
As described above, the pulse
つまり、所定部分12に含まれる特定部位13から離れた位置で且つ所定の色調の複数の画素を、脈波の検出領域14に設定する。したがって、検出領域14に皮膚以外の画像が含まれることが無い。その結果、脈波及び脈拍数の検出精度を向上させることができる。
That is, a plurality of pixels having a predetermined color tone and at a position away from the
(脈波検出方法)
図7は、上記の脈波検出装置100が実行する脈波検出方法の概略の処理手順を示すフローチャートである。図7を参照して本実施形態に係る脈波検出方法について説明する。
(Pulse wave detection method)
FIG. 7 is a flowchart showing a schematic processing procedure of the pulse wave detection method executed by the pulse
脈波検出装置100は、動作を開始すると測定対象の人の例えば顔のカラー動画の撮影を開始する(ステップS1)。撮影を開始した後に、顔の画像から個人を識別する個人認証を行っても良い。又は、QRコード等の識別子を入力させて個人認証を行っても良い。
When the pulse
カラー動画の撮影を開始してからT秒間は人の姿勢等が不安定なため、撮影を開始してからT秒間の経過を待つ(ステップS2)。 Since the posture of a person is unstable for T seconds after the start of shooting the color moving image, the elapse of T seconds after the start of shooting is waited (step S2).
T秒経過する(ステップS2のYES)と、カラー動画を構成する画像の画像番号jを初期化する(ステップS3)。そして、脈波を検出する処理を開始する。脈波の検出は、例えば、フレームレートを30、撮影時間を20秒とした場合、600(30×20)枚の画像に対して行われる(ステップS4〜S11)。 When T seconds have elapsed (YES in step S2), the image number j of the image constituting the color moving image is initialized (step S3). Then, the process of detecting the pulse wave is started. The pulse wave is detected for 600 (30 × 20) images when the frame rate is 30 and the shooting time is 20 seconds (steps S4 to S11).
検出領域設定部20(図1)は、画像番号j=1の画像11を取得する(ステップS5)。そして、取得した画像11内の顔を認識し、例えば「鼻」を画像認識する。画像認識は、上記のように機械学習データを用いることで容易に行える。
The detection area setting unit 20 (FIG. 1) acquires the
「鼻」を画像認識してその座標が確定すると、前回の画像11の座標との差分が閾値m,nを越えたか否かを判定する(ステップS6)。閾値m,nは人の動きの有無を判定する閾値であり、mは例えばx方向の画素数、nは例えばy方向の画素数である。画像番号j=1の場合は、前回の画像が無いのでこのステップはスルーする。なお、j=1の場合の処理は図7が複雑になるので省略している。
When the "nose" is image-recognized and its coordinates are determined, it is determined whether or not the difference from the coordinates of the
前回の画像11の座標との差分が閾値m,n以下の場合(ステップS6のYES)、検出領域設定部20は、画像認識した「鼻」の座標を基準にして検出領域14を設定する(ステップS7)。検出領域14は、「鼻(特定部位13)」から離れた位置で且つ所定の色調の複数の画素の範囲である。
When the difference from the coordinates of the
次に、色調変化検出部30は、検出領域14の色調の変化の振幅を検出する(ステップS8)。画像番号j=1の場合は、検出領域14内の画素の例えばG成分の画素値の平均値を求めメモリ(RAM等)に記録する。
Next, the color tone change detection unit 30 detects the amplitude of the color tone change in the detection region 14 (step S8). When the image number j = 1, the average value of the pixel values of, for example, the G component of the pixels in the
次に、ノイズ除去部40は、色調変化検出部30で検出した振幅の変化以外のノイズを除去する(ステップS9)。そして、脈波波形生成部50は、振幅の変化を補間して脈波の時間変化を表す脈波波形を生成する(ステップS10)。ノイズを除去する方法、補間する方法は上記の通りである。
Next, the
脈波波形の生成が終了すると、制御部(図示せず)は画像番号jをインクリメントする(ステップS11)。検出領域設定部20、色調変化検出部30、ノイズ除去部40、及び脈波波形生成部50はステップS4からS11の処理を繰り返して脈波波形を生成する。
When the generation of the pulse wave waveform is completed, the control unit (not shown) increments the image number j (step S11). The detection area setting unit 20, the color tone change detection unit 30, the
検出領域設定部20は、脈波波形を生成する間、特定部位13(例えば「鼻」)の座標が人の動きの有無を判定する閾値m,nを越えて変化した場合(ステップS6のNO)に、検出領域14を再設定する(ステップS12)。
While the detection area setting unit 20 generates the pulse wave waveform, when the coordinates of the specific portion 13 (for example, “nose”) change beyond the threshold values m and n for determining the presence or absence of human movement (NO in step S6). ), The
図8は、検出領域14を設定する様子を模式的に示す図である。図8に示すjは画像番号を示す。
FIG. 8 is a diagram schematically showing how the
画像番号j=1とj=2の画像11の間では人は動いていない。よって、画像11内の認識された「鼻」の座標に変化が無い。したがって、脈波を検出する検出領域14の画像11内の位置も変化しない。この場合、j=2の検出領域14は前回(j=1)の特定部位13の座標基準で設定される。
No person is moving between
画像番号j=2とj=3の間で人が動いた場合を仮定する。その場合、画像11内の認識された「鼻」の座標は閾値m,nより大きく変化する(ステップS8のNO)。この場合は、今回(j=3)の特定部位13を基準にして検出領域14が再設定される(ステップS12)。
It is assumed that a person moves between image numbers j = 2 and j = 3. In that case, the coordinates of the recognized "nose" in the
そして、次の画像番号j=3とj=4の間で人が動かなければ画像番号j=3で設定された検出領域14内の画素の色調の変化が検出される。このように、人が動いた場合は新たに脈波の検出領域14が再設定される。
Then, if no person moves between the next image numbers j = 3 and j = 4, a change in the color tone of the pixels in the
画像11の画像番号jがインクリメントされると、再設定(j=3)された検出領域14と次の画像(j=4)の検出領域14との間の色調の変化が検出される。再設定される検出領域14は、所定の色調の複数の画素の範囲であるので、人が動いでも脈波の検出を安定させることができる。
When the image number j of the
(脈波検出システム)
図9は、脈波検出装置100の機能構成部を分散させて構成した脈波検出システム200の構成例を示す図である。図9に示す様に、ネットワーク110を介して複数のサーバに各機能部を分散させて脈波検出システム200を構成しても良い。
(Pulse wave detection system)
FIG. 9 is a diagram showing a configuration example of a pulse
脈波検出システム200は、カメラ10、ルータ80、ネットワーク110、脈波検出サーバ111、個人認識サーバ112、データ蓄積サーバ113、無線アクセスポイント90、及び表示デバイス70を備える。カメラ10は、参照符号から明らかな様に脈波検出装置100と同じである。
The pulse
ルータ80は、カメラ10とネットワーク110の間を中継する通信機器である。ルータ80には、他のデバイスの接続も可能である。図9に示す例は、ルータ80と表示デバイス70が無線アクセスポイント90を介して接続される。無線アクセスポイント90は、ルータ80に内蔵されるWiFiであっても良い。
The
脈波検出サーバ111は、カメラ10で撮影したカラー動画を構成する画像11ごとに、所定部分12に含まれる特定部位13から離れた位置で且つ所定の色調の複数の画素を、脈波の検出領域14に設定する検出領域設定部20と、検出領域14の色調の変化の振幅を検出する色調変化検出部30と、振幅の変化以外のノイズを除去するノイズ除去部40と、振幅の変化を補間して脈波の時間変化を表す脈波波形を生成する脈波波形生成部50とを備える。
The pulse
個人認証サーバ112は、人に関連付けられた識別子に基づいて個人を認識する。識別子は、カメラ10で撮影したQRコードであっても良いし、カメラ10で撮影した画像11から認識した画像(例えば顔)であっても良い。
The
データ蓄積サーバ113は、識別子と脈波検出サーバ111で生成された脈波波形を関連付けて記憶する。
The
表示デバイス70は、識別子で特定された個人に脈波波形を表示する。表示デバイス70は、例えば携帯電話等の携帯端末の表示である。
The
以上説明した脈波検出システム200によれば、ネットワーク上に構成した脈波検出装置100の主要部と、利用者が所有する例えばスマートフォン等との組み合わせで非接触方式の脈波検出を実現することができる。また、脈波検出装置100に対してより多くの利用者に脈波検出を利用したサービスを提供することができる。
According to the pulse
以上説明したように本実施形態の脈波検出装置100、及び脈波検出システム200によれば、測定対象の人が動いた場合でも脈波の検出精度を悪化させない。
As described above, according to the pulse
なお、色調の変化の検出は、カラー動画の画像のG成分に基づく例を示したが本発明はこの例に限定されない。RGBの3成分を用いて独立主成分分析を行って脈波を検出しても良い。また、上記の画素値の範囲は、一例(R220〜250、G170〜220、B140〜210)であり、例えば日焼けの有無等で変化するものである。 The detection of the change in color tone has shown an example based on the G component of an image of a color moving image, but the present invention is not limited to this example. A pulse wave may be detected by performing an independent principal component analysis using the three components of RGB. Further, the range of the above pixel values is an example (R220 to 250, G170 to 220, B140 to 210), and changes depending on, for example, the presence or absence of sunburn.
また、検出領域14の画素数は100個の例を示したが、それ以下でも以上でも構わない。また、検出領域14の形状は矩形に限定されない。
Further, although the number of pixels in the
また、図7で説明した人の動きの有無の判定は、画像11内の所定部分12の座標の変化で行う方法を示したがこの例に限定されない。その判定は、人に装着した例えば加速度センサーの出力信号に基づいて行っても良い。このように本発明は、上記した実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。
Further, although the method of determining the presence or absence of movement of the person described with reference to FIG. 7 is performed by changing the coordinates of the
10:カメラ
11:画像
12:所定部分
13:特定部位
14:検出領域
20:検出領域設定部
30: 色調変化検出部
40:ノイズ除去部
50:脈波波形生成部
60:表示部
70:表示デバイス
80:ルータ
90:無線アクセスポイント
100:脈波検出装置
110:ネットワーク
111:脈波検出サーバ
112:個人認証サーバ
113:データ蓄積サーバ
200:脈波検出システム
10: Camera 11: Image 12: Predetermined part 13: Specific part 14: Detection area 20: Detection area setting unit 30: Color tone change detection unit 40: Noise removal unit 50: Pulse wave waveform generation unit 60: Display unit 70: Display device 80: Router 90: Wireless access point 100: Pulse wave detection device 110: Network 111: Pulse wave detection server 112: Personal authentication server 113: Data storage server 200: Pulse wave detection system
本発明の脈波検出装置は、人の所定部分のカラー動画を撮影するカメラと、前記カラー動画を構成する画像ごとに、前記所定部分に含まれる特定部位から離れた位置で且つ所定の範囲の色調を有する前記人の皮膚の複数の画素を、脈波の検出領域に設定する検出領域設定部と、前記検出領域の前記色調の変化の振幅を検出する色調変化検出部と、前記振幅の変化以外のノイズを除去し、移動平均を求めて平滑化するノイズ除去部と、前記振幅の変化を補間して前記脈波の時間変化を表す脈波波形を生成し、前記脈波波形を微分して明確にする脈波波形生成部とを備え、前記検出領域設定部は、前記所定の範囲の色調とは異なる色調の画素を除いて前記検出領域を設定する。 The pulse wave detection device of the present invention includes a camera that captures a color moving image of a predetermined part of a person, and each image constituting the color moving image at a position away from a specific part included in the predetermined part and within a predetermined range. A detection area setting unit that sets a plurality of pixels of the person's skin having a color tone in a pulse wave detection region, a color tone change detection unit that detects the amplitude of the color tone change in the detection area, and a change in the amplitude. A noise removing unit that removes noise other than the above and obtains a moving average to smooth it , and a pulse wave waveform that interpolates the change in the amplitude to represent the time change of the pulse wave, and differentiates the pulse wave waveform. and a pulse waveform generator to clarify Te, the detection area setting unit to set the detection area with the exception of the pixels of different color from the color tone of the predetermined range.
また、本発明の脈波検出システムは、人の所定部分のカラー動画を撮影するカメラと、前記カラー動画を構成する画像ごとに、前記所定部分に含まれる特定部位から離れた位置で且つ所定の範囲の色調を有する前記人の皮膚の複数の画素を、脈波の検出領域に設定する検出領域設定部と、前記検出領域の前記色調の変化の振幅を検出する色調変化検出部と、前記振幅の変化以外のノイズを除去し、移動平均を求めて平滑化するノイズ除去部と、前記振幅の変化を補間して前記脈波の時間変化を表す脈波波形を生成し、前記脈波波形を微分して明確にする脈波波形生成部とを備え、前記検出領域設定部は、前記所定の範囲の色調とは異なる色調の画素を除いて前記検出領域を設定する脈波検出サーバと、前記人に関連付けられた識別子に基づいて個人を認識する個人認識サーバと、前記識別子と前記脈波波形を関連付けて記憶するデータ蓄積サーバと、前記脈波波形を表示する表示デバイスとを備える。 Further, in the pulse wave detection system of the present invention, a camera that captures a color moving image of a predetermined portion of a person and a predetermined position of each image constituting the color moving image at a position away from a specific portion included in the predetermined portion. A detection region setting unit that sets a plurality of pixels of the person's skin having a range of color tones in a pulse wave detection region, a color tone change detection unit that detects the amplitude of the color tone change in the detection region, and the amplitude. A noise removing unit that removes noise other than the change of the pulse wave and smoothes it by obtaining a moving average, and a pulse wave waveform representing the time change of the pulse wave by interpolating the change of the amplitude are generated, and the pulse wave waveform is generated. and a pulse waveform generator to clarify by differentiating the detection area setting unit includes a pulse wave detection server to set the detection area with the exception of the pixels of different color from the color tone of the predetermined range, It includes an individual recognition server that recognizes an individual based on an identifier associated with the person, a data storage server that stores the identifier in association with the pulse wave waveform, and a display device that displays the pulse wave waveform.
Claims (4)
前記カラー動画を構成する画像ごとに、前記所定部分に含まれる特定部位から離れた位置で且つ所定の色調の複数の画素を、脈波の検出領域に設定する検出領域設定部と、
前記検出領域の前記色調の変化の振幅を検出する色調変化検出部と、
前記振幅の変化以外のノイズを除去するノイズ除去部と、
前記振幅の変化を補間して前記脈波の時間変化を表す脈波波形を生成する脈波波形生成部と
を備えることを特徴とする脈波検出装置。 A camera that shoots a color movie of a certain part of a person,
For each image constituting the color moving image, a detection area setting unit that sets a plurality of pixels of a predetermined color tone at a position away from a specific portion included in the predetermined portion as a pulse wave detection area, and a detection area setting unit.
A color tone change detection unit that detects the amplitude of the color tone change in the detection region,
A noise removing unit that removes noise other than the change in amplitude,
A pulse wave detection device including a pulse wave waveform generation unit that interpolates a change in amplitude and generates a pulse wave waveform representing a time change of the pulse wave.
前記特定部位の座標が、人の動きの有無を判定する閾値を越えて変化した場合に、前記検出領域を再設定することを特徴とする請求項1に記載の脈波検出装置。 The detection area setting unit
The pulse wave detection device according to claim 1, wherein when the coordinates of the specific portion change beyond a threshold value for determining the presence or absence of movement of a person, the detection region is reset.
前記人に関連付けられた識別子に基づいて個人を認識する個人認識サーバと、
前記識別子と前記脈波波形を関連付けて記憶するデータ蓄積サーバと、
前記脈波波形を表示する表示デバイスと
を備えることを特徴とする脈波検出システム。
A camera that captures a color moving image of a predetermined part of a person, and a plurality of pixels having a predetermined color tone at a position away from a specific part included in the predetermined part for each image constituting the color moving image, to detect a pulse wave. A detection area setting unit set in the area, a color tone change detection unit that detects the amplitude of the color tone change in the detection area, a noise removal unit that removes noise other than the amplitude change, and an interpolation of the amplitude change. A pulse wave detection server including a pulse wave waveform generation unit that generates a pulse wave waveform representing a time change of the pulse wave, and a pulse wave detection server.
A personal recognition server that recognizes an individual based on the identifier associated with the person,
A data storage server that stores the identifier in association with the pulse wave waveform, and
A pulse wave detection system including a display device for displaying the pulse wave waveform.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019193999A JP6816239B1 (en) | 2019-10-25 | 2019-10-25 | Pulse wave detection device and pulse wave detection system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019193999A JP6816239B1 (en) | 2019-10-25 | 2019-10-25 | Pulse wave detection device and pulse wave detection system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6816239B1 JP6816239B1 (en) | 2021-01-20 |
JP2021065490A true JP2021065490A (en) | 2021-04-30 |
Family
ID=74164589
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019193999A Active JP6816239B1 (en) | 2019-10-25 | 2019-10-25 | Pulse wave detection device and pulse wave detection system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6816239B1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015080624A (en) * | 2013-10-23 | 2015-04-27 | 富士通株式会社 | Waveform interpolation device, method and program |
JP2015205050A (en) * | 2014-04-21 | 2015-11-19 | 富士通株式会社 | Pulse wave detection device, pulse wave detection method, and pulse wave detection program |
-
2019
- 2019-10-25 JP JP2019193999A patent/JP6816239B1/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015080624A (en) * | 2013-10-23 | 2015-04-27 | 富士通株式会社 | Waveform interpolation device, method and program |
JP2015205050A (en) * | 2014-04-21 | 2015-11-19 | 富士通株式会社 | Pulse wave detection device, pulse wave detection method, and pulse wave detection program |
Non-Patent Citations (1)
Title |
---|
MING-ZHER POH ET AL.: "Advancements in Noncontact, Multiparameter PhysiologicalMeasurements Using a Webcam", IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING, vol. vol. 58, no. 1, pp.7-11, JPN6020049311, 2011, ISSN: 0004411169 * |
Also Published As
Publication number | Publication date |
---|---|
JP6816239B1 (en) | 2021-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2016006027A1 (en) | Pulse wave detection method, pulse wave detection program, and pulse wave detection device | |
JP6025690B2 (en) | Information processing apparatus and information processing method | |
JP6349075B2 (en) | Heart rate measuring device and heart rate measuring method | |
JP2015088096A (en) | Information processor and information processing method | |
US20160034747A1 (en) | Recording medium, image processing method, and information terminal | |
JP2015088098A (en) | Information processor and information processing method | |
CN107480615B (en) | Beauty treatment method and device and mobile equipment | |
CN108682050B (en) | Three-dimensional model-based beautifying method and device | |
CN107621867A (en) | Put out screen control method, device and terminal device | |
CN107551549A (en) | Video game image method of adjustment and its device | |
JP2014221172A (en) | Pulse wave detection device, pulse wave detection program, pulse wave detection method and content evaluation system | |
JPWO2017056776A1 (en) | Projector device with distance image acquisition device and projection method | |
JP2019135810A (en) | Image processing apparatus, image processing method, and program | |
JP6816239B1 (en) | Pulse wave detection device and pulse wave detection system | |
JP6384205B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JP2010092094A (en) | Image processing apparatus, image processing program, and digital camera | |
JP6098133B2 (en) | Face component extraction device, face component extraction method and program | |
CN107622192A (en) | Video pictures processing method, device and mobile terminal | |
JP6497030B2 (en) | Imaging system, information processing apparatus, imaging method, program, storage medium | |
CN111083345B (en) | Apparatus and method for generating a unique illumination and non-volatile computer readable medium thereof | |
US20200121192A1 (en) | Image processing apparatus, image processing method, and computer readable recording medium | |
JP2004326488A (en) | Simulation image producing server, simulation image producing system, simulation image producing method and program | |
US9978144B2 (en) | Biological information measurement apparatus, biological information measurement method, and computer-readable recording medium | |
JP2024004309A (en) | Video processing device, control method therefor, and program | |
EP4248837A1 (en) | Digital image stitching systems and methods for generating one or more panoramic image views |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201006 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201223 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6816239 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |