JP2020162873A - Pulse wave detection device and pulse wave detection program - Google Patents
Pulse wave detection device and pulse wave detection program Download PDFInfo
- Publication number
- JP2020162873A JP2020162873A JP2019066382A JP2019066382A JP2020162873A JP 2020162873 A JP2020162873 A JP 2020162873A JP 2019066382 A JP2019066382 A JP 2019066382A JP 2019066382 A JP2019066382 A JP 2019066382A JP 2020162873 A JP2020162873 A JP 2020162873A
- Authority
- JP
- Japan
- Prior art keywords
- face
- brightness
- pulse wave
- wave detection
- detection device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
- B60T7/00—Brake-action initiating means
- B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Abstract
Description
本発明は、脈波検出装置、及び脈波検出プログラムに関し、例えば、対象者の脈波を検出するものに関する。 The present invention relates to a pulse wave detection device and a pulse wave detection program, for example, to detect a pulse wave of a subject.
対象者の健康状態や生理的な状態を把握するためには、脈波の検出が重要である。通常、脈波は、対象者に器具を装着して検出するが、もっと手軽に検出したいとの要望が高く、非接触で対象者の脈波を検出する技術が盛んに研究されている。
これにより、例えば、車両の運転者の脈波をモニタリングして、より交通安全を推進することができる。
Detection of pulse waves is important for understanding the health and physiological conditions of the subject. Normally, a pulse wave is detected by attaching an instrument to the subject, but there is a high demand for easier detection, and a technique for detecting the pulse wave of the subject in a non-contact manner is being actively researched.
As a result, for example, it is possible to monitor the pulse wave of the driver of the vehicle and further promote traffic safety.
このように、非接触で脈波を検出する技術に非特許文献1の技術がある。この技術は、カメラを使って脈波を推定するものであって、カメラで撮った動画から顔を検出して、評価領域を決める。
そして、評価領域の色を平均してRGBとして抽出し、その3つの色に主成分分析(PCA)解析を適用して脈波の信号を検出する。
As described above, there is a technique of
Then, the colors of the evaluation region are averaged and extracted as RGB, and the principal component analysis (PCA) analysis is applied to the three colors to detect the pulse wave signal.
しかし、例えば、被験者が走行中の車内にいるなどして、被験者の顔が動くと、評価領域と顔がフレーム画像にうまく合わず、例えば、評価領域に一時的に入った背景の別の物体を認識したり、あるいは、評価領域から顔がはみ出て、測定領域に含めた部分(顔の皮膚)を認識できなかったりなど、脈波信号に各種の外乱が混入する、という問題があった。 However, when the subject's face moves, for example, when the subject is in a moving vehicle, the evaluation area and the face do not fit well with the frame image, and for example, another object in the background temporarily entered the evaluation area. There is a problem that various disturbances are mixed in the pulse wave signal, such as recognizing the above, or the face protruding from the evaluation area and the part included in the measurement area (facial skin) cannot be recognized.
本発明は、対象者の顔に測定領域を適切に設定して脈波を検出することを目的とする。 An object of the present invention is to detect a pulse wave by appropriately setting a measurement area on the face of a subject.
(1)請求項1に記載の発明では、対象者を撮像した動画を取得する動画取得手段と、前記取得した動画で前記対象者の顔が存在する顔領域を取得する顔領域取得手段と、前記取得した顔領域における第1輝度を取得する第1輝度取得手段と、前記取得した第1輝度に対応する基準輝度を、予め設定した測定領域を規定する参考第1輝度と当該参考第1輝度よりも輝度が低い参考基準輝度との対応関係から取得する基準輝度取得手段と、前記取得した顔領域において、前記取得した第1輝度と前記基準輝度との間の輝度の領域を測定領域に設定する測定領域設定手段と、前記設定した測定領域の画素の画素値から前記対象者の脈波を取得する脈波取得手段と、前記取得した脈波を出力する出力手段と、を具備したことを特徴とする脈波検出装置を提供する。
(2)請求項2に記載の発明では、前記第1輝度取得手段が、前記顔領域における最高輝度を前記第1輝度として取得し、前記基準輝度取得手段は、予め設定した測定領域を規定する参考最高輝度と参考基準輝度との対応関係から、前記取得した最高輝度に対応する基準輝度を取得する、ことを特徴とする請求項1に記載の脈波検出装置を提供する。
(3)請求項3に記載の発明では、前記動画で前記対象者の顔を検出する顔検出手段を具備し、前記顔領域取得手段は、前記検出した顔の周囲を所定の形状で区画することにより前記顔領域を取得する、ことを特徴とする請求項1、又は請求項2に記載の脈波検出装置を提供する。
(4)請求項4に記載の発明では、前記取得した動画の解像度を下げる解像度変換手段を具備し、前記第1輝度取得手段は、前記解像度を下げた動画から前記第1輝度を取得する、ことを特徴とする請求項1、請求項2、又は請求項3に記載の脈波検出装置を提供する。
(5)請求項5に記載の発明では、前記顔を照明する照明手段を具備し、前記基準輝度取得手段は、前記顔と前記照明手段と、の距離に基づく前記参考第1輝度と参考基準輝度の対応関係から前記第1輝度に対応する基準輝度を取得する、ことを特徴とする請求項1から請求項4までのうちの何れか1の請求項に記載の脈波検出装置を提供する。
(6)請求項6に記載の発明では、前記照明手段が、赤外線で前記顔を照明する、ことを特徴とする請求項5に記載の脈波検出装置を提供する。
(7)請求項7に記載の発明では、対象者を撮像した動画を取得する動画取得機能と、前記取得した動画で前記対象者の顔が存在する顔領域を取得する顔領域取得機能と、前記取得した顔領域における第1輝度を取得する第1輝度取得機能と、前記取得した第1輝度に対応する基準輝度を、予め設定した測定領域を規定する参考第1輝度と当該参考第1輝度よりも輝度が低い参考基準輝度との対応関係から取得する基準輝度取得機能と、前記取得した顔領域において、前記取得した第1輝度と前記基準輝度との間の輝度の領域を測定領域に設定する測定領域設定機能と、前記設定した測定領域の画素の画素値から前記対象者の脈波を取得する脈波取得機能と、前記取得した脈波を出力する出力機能と、をコンピュータに実現させることを特徴とする脈波検出プログラムを提供する。
(1) In the invention according to
(2) In the invention according to
(3) The invention according to
(4) The invention according to
(5) In the invention according to
(6) The invention according to
(7) In the invention according to
本発明によれば、対象者の顔の動きに合わせて測定領域の輝度を設定することにより、対象者の顔に測定領域を適切に設定して脈波を検出することができる。 According to the present invention, by setting the brightness of the measurement area according to the movement of the face of the subject, the measurement area can be appropriately set on the face of the subject and the pulse wave can be detected.
(1)実施形態の概要
脈波検出装置1は、動画撮影した顔の輝度に基づいて顔に測定領域を設定し、当該測定領域の平均輝度の時間的変化から脈波を検出する。
顔が照明9に対して移動すると輝度が変化することになるが、顔が移動しても常に同じ測定領域が設定できるように、脈波検出装置1は、測定領域の縁の輝度(顔の縁に位置し、測定領域において最低となる輝度)を顔の移動に伴って補正する。
(1) Outline of the Embodiment The pulse
The brightness changes when the face moves with respect to the
補正式は、光学の原理に基づいて図2の式(1)で表される。y1、y1′は、所定の参考位置に顔がある場合の測定領域の参考最高輝度(通常は鼻付近)と参考最低輝度(顔の縁付近)であり、y2、y2′は、移動位置に顔があると過程した場合の測定領域の最高輝度(通常は鼻付近)と最低輝度(顔の縁付近)である。
ここで、参考最高輝度y1が参考第1輝度として機能し、参考最低輝度y1′が参考基準輝度として機能し、最高輝度y2が第1輝度として機能し、最低輝度y2′が基準輝度として機能する。
The correction formula is represented by the formula (1) in FIG. 2 based on the principle of optics. y1 and y1'are the reference maximum brightness (usually near the nose) and the reference minimum brightness (near the edge of the face) in the measurement area when the face is in a predetermined reference position, and y2 and y2'are in the moving position. The maximum brightness (usually near the nose) and the minimum brightness (near the edge of the face) in the measurement area when there is a face.
Here, the reference maximum brightness y1 functions as the reference first brightness, the reference minimum brightness y1'functions as the reference reference brightness, the maximum brightness y2 functions as the first brightness, and the minimum brightness y2'functions as the reference brightness. ..
脈波検出装置1は、予め参考位置にある顔から参考最高輝度y1、参考最低輝度y1′を測定して記憶しておき、測定時に顔を顔検索して最高輝度を検出することにより最高輝度y2を取得する。
そして、脈波検出装置1は、式(1)に従って最低輝度y2′を取得し、検索した顔領域から輝度が最低輝度y2′以上最高輝度y2以下となる領域を特定して、当該領域を測定領域に設定する。
The pulse
Then, the pulse
以上のように、測定領域の輪郭線に対応する輝度最低輝度y2′を顔の動きに追随して補正することにより、顔の動きによる外乱を抑止して、常に顔の同じ一定領域に対して測定領域を設定することができる。 As described above, by correcting the minimum brightness y2'corresponding to the contour line of the measurement area according to the movement of the face, the disturbance due to the movement of the face is suppressed, and the same constant area of the face is always covered. The measurement area can be set.
更に、脈波検出装置1は、測定領域の輝度を平均した輝度信号Rをフーリエ変換して脈波を検出するところ、輝度信号Rに対しても顔の動きによる輝度補正を行い、補正後の輝度信号R′から脈波を検出する。
顔がカメラ8に近づくと顔の面積が大きくなると共に輝度が高くなる。一方、顔がカメラ8から遠ざかると顔の面積が小さくなると共に輝度も低くなる。
Further, the pulse
As the face approaches the
そこで、脈波検出装置1は、顔の大きさと顔の輝度の間の線形関係を最小二乗法により求めておき、以降、動画に写っている顔の大きさに当該線形関係を適用して、当該顔から検出した輝度信号Rを輝度信号R′に補正する。
このように、脈波検出装置1は、測定領域から検出した輝度信号Rに対しても顔の動きによる外乱を補正してから脈波を検出する。
Therefore, the pulse
In this way, the pulse
(2)実施形態の詳細
図1は、本実施の形態の脈波検出装置1の構成を示した図である。
脈波検出装置1は、例えば、車両に搭載され、搭乗者(ドライバや助手席の乗客などの対象者)の脈波を監視し、ドライバの体調、緊張状態などの生理的な状態を把握する。
また、医療現場や災害現場などで患者や被災者の脈波を検出・監視するのに用いることもできる。
(2) Details of the Embodiment FIG. 1 is a diagram showing the configuration of the pulse
The pulse
It can also be used to detect and monitor the pulse waves of patients and disaster victims at medical sites and disaster sites.
脈波検出装置1は、CPU(Central Processing Unit)2、ROM(Read Only Memory)3、RAM(Random Access Memory)4、表示部5、入力部6、出力部7、カメラ8、照明9、記憶部10などから構成されており、対象者11の脈波を検出(推定)する。
CPU2は、記憶部10やROM3などに記憶されたプログラムに従って、各種の情報処理や制御を行う中央処理装置である。
本実施の形態では、カメラ8が撮影した動画を画像処理して対象者11の脈波を検出する。
The pulse
The
In the present embodiment, the moving image captured by the
ROM3は、読み取り専用メモリであって、脈波検出装置1を動作させるための基本的なプログラムやパラメータなどが記憶されている。
RAM4は、読み書きが可能なメモリであって、CPU2が動作する際のワーキングメモリを提供する。
本実施の形態では、動画を構成するフレーム画像(1コマの静止画像)を展開して記憶したり、計算結果を記憶したりすることにより、CPU2が、フレーム画像で顔の表面の皮膚部分から脈波を検出するのを支援する。
The
The
In the present embodiment, by expanding and storing the frame image (one frame of still image) constituting the moving image and storing the calculation result, the
表示部5は、液晶画面などの表示デバイスを用いて構成されており、脈波検出装置1の操作画面や脈拍数の表示など、脈波検出装置1の運用に必要な情報を表示する。
入力部6は、表示デバイスに重畳して設置されたタッチパネルなどの入力デバイスを用いて構成されており、画面表示に対するタッチの有無などから各種の情報の入力を受け付ける。
The
The
出力部7は、各種の情報を外部装置に出力するインターフェースであり、例えば、検出した脈拍数を出力したり、あるいは、脈拍数に変化が現れた場合にアラームを出力することができる。
また出力部7は、車両を制御する制御装置などの他の制御機器に出力することができる。出力部7から脈拍数の出力を受けた制御機器では、例えば、ドライバの眠気や緊張状態等を判断し、ドライバに向けた制御、例えば、眠気を覚醒させるためにハンドルやシートを振動させる制御、警告音やメッセージの出力などを行うことができる。
The
Further, the
また、車両に対する制御として、脈拍数に基づいて判断したドライバの緊張状態に応じて、車間距離制御、車速制御、又はブレーキ制御の少なくとも1つを行うことも可能である。例えば、制御機器は、ドライバが所定値を超える高い緊張状態にあると判断した場合には、車間距離を基準値よりも大きくとるように制御し、車速を所定車速以下となるように制御し、所定車速以上であれば自動ブレーキ操作による減速処理等を行う。 Further, as control for the vehicle, at least one of inter-vehicle distance control, vehicle speed control, and brake control can be performed according to the driver's tension state determined based on the pulse rate. For example, when the driver determines that the driver is in a high tension state exceeding a predetermined value, the control device controls the inter-vehicle distance to be larger than the reference value and controls the vehicle speed to be equal to or less than the predetermined vehicle speed. If the vehicle speed is equal to or higher than the specified vehicle speed, deceleration processing by automatic braking is performed.
カメラ8は、動画撮影用カメラであって、レンズで構成された光学系と、これによって結像した像を電気信号に変換するイメージセンサを用いて構成されており、対象者11の顔付近が撮影画面となるように設置されている。
カメラ8は、対象者11を所定のフレームレートにて撮影(撮像)し、これら連続するフレーム画像(静止画像)で構成された動画を出力する。
フレーム画像は、画像を構成する最小単位である画素(ピクセル)の配列により構成されている。
The
The
A frame image is composed of an array of pixels, which is the smallest unit that constitutes an image.
また、カメラ8は、対象者11の顔前方に設置されていることから、対象者11が顔を前後移動すると、撮影された顔の大きさが変化する。
より詳細には、対象者11が顔を前方に移動すると顔がカメラ8に接近するため、顔の大きさが大きくなり、対象者11が顔を後方に移動すると顔がカメラ8から遠ざかるため、顔の大きさが小さくなる。
このように、脈波検出装置1は、対象者を撮像した動画を取得する動画取得手段を備えている。
Further, since the
More specifically, when the subject 11 moves the face forward, the face approaches the
As described above, the pulse
照明9は、例えば、LED(light emitting diode)を用いて構成され、所定の周波数帯域の照明光を対象に照射する照明装置であって、カメラ8と共に対象者11の顔の前方に設置されており、対象者11の顔を前方から照明する。
対象者11が顔を前方に移動すると顔が照明9に接近して顔で反射する照明光の輝度が増大し、顔を後方に移動すると顔が照明9から遠ざかって顔で反射する照明光の輝度が減少する。
The
When the subject 11 moves the face forward, the face approaches the
なお、カメラ8と照明9は、カメラ8と照明9が一体となった、照明付きカメラとしてもよい。
カメラ8や照明9で使用する照明光は、可視光でも赤外線でもよいが、赤外線を用いた脈波の検出は、夜間での運用に適している。そのため、昼間は可視光で脈波の検出を行い、夜間は赤外線で脈波の検出を行うといった運用が可能である。本実施の形態では、一例として赤外線を用いる。
このように、脈波検出装置1は、赤外線で顔を照明する照明手段を備えている。
The
The illumination light used by the
As described above, the pulse
記憶部10は、ハードディスクやEEPROM(Electrically Erasable Programmable Read−Only Memory)などの記憶媒体を用いて構成されており、CPU2が脈波を検出するための脈波検出プログラム12やその他のプログラム、及びデータを記憶している。
CPU2が脈波検出プログラム12に従って検出した脈波のデータは、RAM4に一時保存され、必要に応じて外部に出力されたり、記憶部10に保存される。
The
The pulse wave data detected by the
脈波検出プログラム12は、CPU2に脈波検出処理を行わせるプログラムである。
CPU2は、脈波検出プログラム12を実行することにより、動画におけるユーザの皮膚部分の特定、顔の輝度に基づく測定領域の設定、顔の大きさに基づく輝度の補正、及び特定した皮膚部分からの脈波(ここでは脈拍数)の検出を行う。
The pulse
By executing the pulse
図2は、測定領域を設定するための輝度の補正方法を説明するための図である。
脈波検出装置1は、動画のフレーム画像で対象者11の顔が存在する顔領域を顔検索し、輝度が所定の基準値以上の領域を測定領域に設定する。
この測定領域を規定する輝度の下限値は、顔の形状と適合するような値が選ばれており、脈波検出装置1は、照明9に対する顔の前後移動に起因する輝度の変化に基づいて当該下限値を以下の原理に基づいて補正する。
FIG. 2 is a diagram for explaining a brightness correction method for setting a measurement area.
The pulse
The lower limit of the brightness that defines this measurement area is selected so as to match the shape of the face, and the pulse
図2に示した球形状の頭部69aと頭部69b(以下、特に区別しない場合は、単に頭部69と記し、他の構成要素も同様とする)は、対象者11の頭部を上から見たところを模しており、カメラ8と照明9の方向に凸となる顔部68を備えている。
以下では、カメラ8と照明9が設置された位置と頭部69の位置との位置関係が問題となるが、カメラ8と照明9は頭部69の前方(顔側)で互いに近接して設置されているため、カメラ8と照明9が設置された位置をカメラ8の位置で代表することにする。
The
In the following, the positional relationship between the position where the
まず、カメラ8の前方の参考位置に頭部69aがある場合を考える。
頭部69aが参考位置にある場合に、顔部68aに適合する測定領域65aを設定したところ、最高輝度が鼻あたりの輝度(参考最高輝度y1)で、最低輝度が顔周辺部の輝度(参考最低輝度y1′)であったものとする。
First, consider the case where the
When the
次に、頭部69bが、後方に移動した移動位置にあるものと仮定した場合を考える。
顔部68bに、参考位置での測定領域65aと同じ範囲の測定領域65bを設定する場合(即ち、顔を前後しても同じ測定領域65を設定できるようにしたい)、後方での測定領域65bの縁の輝度(最低輝度y2′)が分かれば、最低輝度y2′を下限とする輝度の領域を特定することにより、測定領域65aと同じ範囲の測定領域65bを設定することができる。
Next, consider the case where the
When the
ここで、顔部68bで最も高い輝度を最高輝度y2(通常は鼻付近)とすると、光学的な原理により式(1)が成り立ち、後方での測定領域65bの最低輝度y2′は、最高輝度y2、参考最低輝度y1′、参考最高輝度y1から計算することができる。
参考最低輝度y1′と参考最高輝度y1は、予め被験者を用いて測定しておいたものを用いる。皮膚の色が異なる複数の人種の被験者に対して実験したところ、参考最高輝度y1、参考最低輝度y1′に大きな違いが見られなかったため、一度設定した参考最高輝度y1、参考最低輝度y1′は、他の対象者11に対しても共通して使用することができる。
Here, assuming that the highest brightness of the
As the reference minimum luminance y1'and the reference maximum luminance y1, those measured in advance using a subject are used. When experiments were conducted on subjects of multiple races with different skin colors, there was no significant difference between the reference maximum brightness y1 and the reference minimum brightness y1', so the reference maximum brightness y1 and the reference minimum brightness y1'set once were set. Can be commonly used for
そこで、脈波検出装置1は、予め設定された参考最高輝度y1、参考最低輝度y1′と、顔部68bで最も高い輝度(=最高輝度y2)を検索してこれを式(1)に代入して最低輝度y2′を取得する。
なお、式(1)によって予め計算した最高輝度y2と最低輝度y2′をテーブル(表)にしておき、当該テーブルから最高輝度y2に対応する最低輝度y2′を取得してもよい。本実施の形態では、一例として最低輝度y2′を式(1)によって計算するものとする。
Therefore, the pulse
The maximum luminance y2 and the minimum luminance y2'calculated in advance by the equation (1) may be set in a table (table), and the minimum luminance y2' corresponding to the maximum luminance y2 may be obtained from the table. In the present embodiment, as an example, the minimum luminance y2'is calculated by the equation (1).
以上のように、脈波検出装置1は、予め参考最高輝度y1と参考最低輝度y1′、及び式(1)による関係を記憶しておき、顔部68bで最高輝度y2を検索すれば、最低輝度y2′を得ることができる。
そして、脈波検出装置1は、顔部68bで、最低輝度y2′以上で、かつ、最高輝度y2以下となる輝度の部分を特定することにより、測定領域65aと同じ範囲の測定領域65bを設定することができる。
As described above, the pulse
Then, the pulse
なお、詳細は後述するが、フレーム画像から取得した測定領域65bから脈波を検出することも可能であるが、脈波検出装置1は、測定領域65bを、更に脈波の検出に適合する形に整形してから脈波を検出する。後のフローチャート理解を容易にするために、ここで概略を述べておく。
Although the details will be described later, it is possible to detect the pulse wave from the
脈波検出装置1は、マスクと呼ばれる抜き型に相当するデータを用いて、フレーム画像から画像を抽出することにより領域を設定する。
脈波検出装置1は、顔領域で輝度が最低輝度y2′以上で、かつ、最高輝度y2以下となる部分の輝度マスクを作成し(図5のステップ127)、次いで、分散している輝度マスクを塊にまとめ(ステップ133)、更に、数理形態クロージングに基づいて外周を滑らかに整形したBlobマスクを生成する(ステップ139)。
そして、脈波検出装置1は、フレーム画像からBlobマスクに相当する部分を抽出して評価画像を作成し(ステップ151)、評価画像の輝度から脈波を検出する。
The pulse
The pulse
Then, the pulse
即ち、脈波検出装置1は、顔領域で輝度が最低輝度y2′以上で、かつ、最高輝度y2以下となる測定領域65bを検索し、分散している測定領域65bを塊にまとめ、更に外周を滑らかに整形してから脈波検出用の測定領域65bとしている。
That is, the pulse
図3は、顔の遠近に基づく測定領域の設定例を示した図である。
図3(a)は、対象者11の顔がカメラ8に近い場合のフレーム画像31aを示している。
脈波検出装置1は、フレーム画像31aで対象者11の顔を顔検索して、顔の存在する領域を矩形32aで囲って出力する。図は、矩形32aで囲まれた顔領域を示している。
脈波検出装置1は、顔を検出した後、図3(b)で示したように、フレーム画像31aで、顔を囲む楕円で区画された楕円マスク36aによって楕円による顔領域を設定し、楕円マスク36a内で最も高い輝度(=最高輝度y2)を検出する。
FIG. 3 is a diagram showing an example of setting a measurement area based on the perspective of the face.
FIG. 3A shows a
The pulse
After detecting the face, the pulse
このように、脈波検出装置1は、動画で対象者の顔を検出する顔検出手段を備え、検出した顔の周囲を所定の形状で区画(楕円で区画)することにより対象者の顔が存在する顔領域を取得する顔領域取得手段を備えている。
更に、脈波検出装置1は、顔領域における第1輝度(顔領域における最高輝度y2)を取得する第1輝度取得手段を備えている。
As described above, the pulse
Further, the pulse
そして、脈波検出装置1は、式(1)によって最低輝度y2′を計算し、楕円マスク36aにおいて最低輝度である基準輝度値最低輝度y2′と最高輝度基準値最高輝度y2の間の輝度の部分を特定して測定領域33aを設定する。
このように、脈波検出装置1は、第1輝度(最高輝度y2)に対応する基準輝度(最低輝度y2′)を、予め設定した測定領域を規定する参考第1輝度(参考最高輝度y1)と当該参考第1輝度よりも輝度が低い参考基準輝度(参考最低輝度y1′)との対応関係から取得する基準輝度取得手段と、顔領域において、第1輝度と基準輝度との間の輝度の領域を測定領域に設定する測定領域設定手段を備えている。
Then, the pulse
As described above, the pulse
そして、当該基準輝度取得手段は、予め設定した測定領域を規定する最高輝度(参考最高輝度y1)と参考基準輝度(参考最低輝度y1′)との対応関係から、顔領域から取得した最高輝度(最高輝度y2)に対応する基準輝度(最低輝度y2′)を取得している。
加えて、基準輝度取得手段は、顔と照明手段と、の距離に基づく参考第1輝度(各最高輝度y2)と参考基準輝度(各最低輝度y2′)の式(1)による対応関係から第1輝度(特定の最高輝度y2)に対応する基準輝度(特定の最低輝度y2′)を取得している。
Then, the reference brightness acquisition means obtains the maximum brightness (reference maximum brightness y1') acquired from the face region from the correspondence relationship between the maximum brightness (reference maximum brightness y1) and the reference reference brightness (reference minimum brightness y1') that define the preset measurement area. The reference brightness (minimum brightness y2') corresponding to the maximum brightness y2) has been acquired.
In addition, the reference luminance acquisition means is the first from the correspondence relationship between the reference first luminance (each maximum luminance y2) and the reference reference luminance (each minimum luminance y2') based on the distance between the face and the lighting means according to the equation (1). The reference brightness (specific minimum brightness y2') corresponding to one brightness (specific maximum brightness y2) is acquired.
顔をその内部に含む楕円マスク36aによって脈波を検出する領域を限定すると、良好に脈波検出が行えることは、本願発明者が試行錯誤の末に発見したものである。
また、矩形32aから顔の一部(耳など)がはみ出た場合でも、これを測定領域33aに設定することもでき、脈波の検出が行える体表面を漏れなく測定領域33aに含めることができる。
The inventor of the present application has discovered through trial and error that the pulse wave can be detected satisfactorily by limiting the region where the pulse wave is detected by the
Further, even if a part of the face (ears, etc.) protrudes from the
図3(c)は、対象者11の顔がカメラ8から遠い場合のフレーム画像31bを示している。
脈波検出装置1は、フレーム画像31bで対象者11の顔を顔検索して、顔の存在する領域を矩形32bで囲って出力する。顔が画像上で小さくなるため、矩形32bは、矩形32aよりも小さくなる。
FIG. 3C shows a
The pulse
脈波検出装置1は、顔を検出した後、図3(d)で示したように、フレーム画像31bで、顔を囲む楕円マスク36bを設定し、楕円マスク36b内で最も高い輝度(=最高輝度y2)を検出する。
そして、式(1)によって最低輝度y2′を計算し、楕円マスク36bにおいて最低輝度y2′と最高輝度y2の間の輝度の部分を特定して測定領域33bと設定する。
After detecting the face, the pulse
Then, the minimum brightness y2'is calculated by the equation (1), the portion of the brightness between the minimum brightness y2'and the maximum brightness y2 is specified in the
対象者11の顔は、フレーム画像31aに比べて小さくなり、顔の輝度も低くなるが、脈波検出装置1は、顔に対して測定領域33aと同じ範囲の測定領域33bを設定することができる。これによって脈波の検出精度が飛躍的に高まる。
このように、脈波検出装置1は、顔領域で最も高い最高輝度y2を検出することにより、顔の動きに追随して、常に顔の形状に合った測定領域33を動的に設定することができる。
The face of the subject 11 is smaller than the
In this way, the pulse
以下、脈波検出装置1が行う脈波検出処理について説明する。
図4は、脈波検出装置1が行う脈波検出処理の手順を説明するためのフローチャートである。
以下の処理は、CPU2が脈波検出プログラム12に従って行うものである。
まず、CPU2は、参考位置において測定領域を規定する輝度の閾値である被験者による最低輝度基準値(参考最低輝度y1′)と最高輝度基準値(参考最高輝度y1)をRAM4に記憶することにより、輝度基準値を設定する(ステップ5)。
Hereinafter, the pulse wave detection process performed by the pulse
FIG. 4 is a flowchart for explaining the procedure of the pulse wave detection process performed by the pulse
The following processing is performed by the
First, the
次に、脈波検出装置1は、数理形態クロージング用の構成を定義するパラメータをRAM4に記憶することにより、当該数理形態クロージングの構成を定義する(ステップ10)。
輝度の閾値を用いて検出領域を設定した後、これを脈波検出や顔の大きさを検出するのに適した形状に整形するのが数理形態クロージングである。
Next, the pulse
Mathematical form closing is to set a detection area using the brightness threshold value and then shape it into a shape suitable for pulse wave detection and face size detection.
次に、脈波検出装置1は、照明9を駆動して対象者11の顔を照らすと共にカメラ8を駆動して対象者11の顔を動画撮影することにより脈波の検出を開始する。
そして、脈波検出装置1は、カメラ8が撮影した動画データからフレーム画像を取得してRAM4に記憶する(ステップ15)。
Next, the pulse
Then, the pulse
加えて、脈波検出装置1は、フレーム画像を取得した時間(日時刻)をRAM4に記録する(ステップ20)。
この時間は、後に輝度をフーリエ解析する際の時間軸における時刻を規定するものである。
なお、フレーム画像に画像取得時間が記録されている場合はこれを用いてもよいし、脈波検出装置1が自己のクロックを用いて計測した時間を付与してもよい。
In addition, the pulse
This time defines the time on the time axis when the brightness is Fourier analyzed later.
If the image acquisition time is recorded in the frame image, this may be used, or the time measured by the pulse
次に、脈波検出装置1は、RAM4に記憶したフレーム画像において顔検索を行って顔を検出し、検出した顔の位置と大きさをRAM4に記憶する(ステップ25)。
より詳細には、図7のフレーム画像31に示したように、脈波検出装置1は、矩形32によって顔を検出する。顔の検出アルゴリズムは、顔検出技術で一般的に用いられているものを使用する。
Next, the pulse
More specifically, as shown in the
図4に戻り、次に、脈波検出装置1は、顔を検出できたか否かを判断する(ステップ30)。
顔を検出できた場合(ステップ30;Y)、脈波検出装置1は、上述した輝度補正による測定領域の設定を行って輝度信号Rを検出する後述のデータ取得処理を行う(ステップ35)。
一方、顔を検出できなかった場合(ステップ30;N)、脈波検出装置1は、前回の顔検索領域を利用し(顔が1フレームで極端に移動することはないため、前の矩形32を利用する)(ステップ58)、顔を検出できなかった旨を示すフラグをRAM4に立てるなどして顔を検出できなかった状況を記録する(ステップ60)。
Returning to FIG. 4, the pulse
When the face can be detected (step 30; Y), the pulse
On the other hand, when the face cannot be detected (step 30; N), the pulse
脈波検出装置1は、データ取得処理を行った後、データを取得するデータ取得期間が終了したか否かを判断する(ステップ40)。
データ取得期間が終了していない場合(ステップ40;N)、脈波検出装置1は、ステップ15に戻って、次のフレーム画像について同様の処理を行う。
After performing the data acquisition process, the pulse
If the data acquisition period has not ended (
一方、データ取得期間が終了した場合(ステップ40;Y)、脈波検出装置1は、ステップ45の処理に移行する。
データ取得期間は、脈波検出に用いる動画の長さを規定する期間であり、本実施の形態では、一例として、30秒間の動画から脈波を検出する。
On the other hand, when the data acquisition period ends (
The data acquisition period is a period for defining the length of the moving image used for pulse wave detection, and in the present embodiment, as an example, the pulse wave is detected from the moving image for 30 seconds.
データ取得期間が終了した後(ステップ40;Y)、又は顔を検出できなかった状況を記録した後(ステップ60)、脈波検出装置1は、RAM4にアクセスしてステップ35で取得したデータがあるか否かを判断する(ステップ45)。
より詳細には、脈波検出装置1は、RAM4にアクセスして、ステップ35で取得した輝度信号Rがあるか否かを確認することにより当該判断を行う。
After the data acquisition period ends (
More specifically, the pulse
RAM4にデータがない場合(ステップ45;N)、これはステップ30で顔が検出できなかった場合であり、脈波検出装置1は、RAM4から顔を検出できなかった状況の記録を読み取って不測定情報(測定が失敗した旨を示す情報)を作成し、これを表示部5や出力部7に出力して(ステップ65)、処理を終了する。
このように、表示部5は、脈波を出力する出力手段として機能している。
When there is no data in the RAM 4 (
In this way, the
一方、RAM4にデータがある場合(ステップ45;Y)、脈波検出装置1は、後述するように、取得したデータを用いて顔の相対的な前後位置から輝度信号Rを補正した後、当該補正後の輝度信号R′を用いて脈拍数を検出する脈拍数検出処理を行って、当該検出した脈拍数をRAM4に記憶する(ステップ50)。
ここで顔の相対的な前後位置は、ある1のフレーム画像から得られる顔の位置を基準とする他のフレーム画像で得られる顔の位置の前後をいう。この相対的な前後位置は、各フレーム画像から得られるBlobFill45(後述する)の大きさにより求まる。
そして、脈波検出装置1はRAM4に記憶した脈拍数を表示部5や出力部7に出力して(ステップ55)、処理を終了する。
On the other hand, when there is data in the RAM 4 (
Here, the relative front-back position of the face refers to the front-back position of the face obtained from another frame image based on the face position obtained from one frame image. This relative front-rear position can be obtained by the size of the BlobFill 45 (described later) obtained from each frame image.
Then, the pulse
このように、脈波検出装置1は、体表面(顔)の相対的な前後位置と体表面が写っている領域の輝度の対応関係を用いて、先に取得した輝度を補正する補正手段と、当該領域の当該補正した輝度の変化に基づいて対象者11の脈波を取得する脈波取得手段とを備えている。
As described above, the pulse
図5は、図4のステップ35で示したデータ取得処理の手順を説明するためのフローチャートである。
まず、脈波検出装置1は、処理対象となるフレーム画像31において矩形32で囲まれた顔検索領域をRAM4に記憶することにより、これらをアップデートする(ステップ103)。
次に、脈波検出装置1は、図4のステップ25で検出した顔のうち、最も大きい顔を処理対象として選択し、選択結果(即ち、選択した顔を他の顔から識別する情報)をRAM4に記憶する(ステップ106)。
FIG. 5 is a flowchart for explaining the procedure of the data acquisition process shown in
First, the pulse
Next, the pulse
これは、対象者11の周囲に第三者が存在して、これら第三者の顔も認識してしまった場合に対象者11の顔(カメラ8の前に位置するため最も大きい)を選択するものである。
特に、脈波検出装置1を車両の運転者に対して使用する場合、運転席に座っている人物の顔が最も大きく写るため、この処理によって運転者の顔を選択することができる。
This is because when a third party exists around the
In particular, when the pulse
次に、脈波検出装置1は、選択した顔に対して楕円マスクを作成して、当該楕円マスクを特定するデータをRAM4に記憶する(ステップ109)。
ここで、当該楕円マスクを特定するデータは、楕円マスクの形状やフレーム画像における楕円マスクの位置などを特定する座標値などのパラメータで構成されている。
以下では、このような処理を、楕円マスクをRAM4に記憶するなどと略記することにする。
Next, the pulse
Here, the data for specifying the ellipse mask is composed of parameters such as coordinate values for specifying the shape of the ellipse mask, the position of the ellipse mask in the frame image, and the like.
Hereinafter, such processing will be abbreviated as storing the ellipse mask in the
ここで、図7のフレーム画像35は、矩形32によって認識した対象者11の顔に対して楕円マスク36を作成したところを示している。
このように、脈波検出装置1は、対象者11の顔を内部に包含するように、当該顔を含む楕円領域を設定することにより楕円マスク36を設定する。楕円マスク36は、楕円の内部で1をとり、楕円の外で0をとるデータである。
なお、本実施の形態では、一例として楕円マスクを用いたが、矩形などの他の形状のマスクを用いることも可能である。
Here, the
In this way, the pulse
In the present embodiment, an elliptical mask is used as an example, but a mask having another shape such as a rectangle can also be used.
図5に戻り、脈波検出装置1は、フレーム画像と楕円マスク36の論理積を計算して、フレーム画像から楕円マスク36の部分を抜き出した画像(RPlane_EllipseCut)を作成してRAM4に記憶する(ステップ112)。以下では、略称を括弧書きにて示す。
次に、脈波検出装置1は、RAM4に記憶したRPlane_EllipseCutの解像度を下げた画像(RPlane_LowRes)を作成してRAM4に記憶する(ステップ115)。
Returning to FIG. 5, the pulse
Next, the pulse
解像度を下げる理由は以下の通りである。
次のステップで最高輝度を検索するところ、何らかの原因でたまたま輝度が高い画素が存在する(例えば、眼鏡のフレームが反射でたまたま光った)場合がある。
すると、これが検出されて最高輝度y2となってしまうため、解像度を下げることによりこのような輝度を均して、最高輝度の誤検出を抑制するためである。
このように、脈波検出装置1は、動画の解像度を下げる解像度変換手段を備えており、第1輝度取得手段は、解像度を下げた動画から第1輝度(最高輝度y2)を取得している。
The reasons for lowering the resolution are as follows.
When searching for the maximum brightness in the next step, there may be pixels that happen to have high brightness for some reason (for example, the frame of the glasses happens to shine due to reflection).
Then, this is detected and the maximum brightness y2 is obtained. Therefore, by lowering the resolution, such brightness is leveled and erroneous detection of the maximum brightness is suppressed.
As described above, the pulse
次に、脈波検出装置1は、RPlane_LowResでの最高輝度y2を取得してRAM4に記憶する(ステップ118)。
そして、脈波検出装置1は、図2の式(1)に従って、最高輝度y2に対応する最低輝度y2′を計算してRAM4に記憶する(ステップ121)。
Next, the pulse
Then, the pulse
次に、脈波検出装置1は、RPlane_EllipseCutをガウスフィルタリングすることによりRAM4に記憶したRPlane_EllipseCutを更新する(ステップ124)。
ガウスフィルタリングは、ガウス関数を用いて画像のエッジをぼかす画像補正であって、脈波検出装置1は、これによって対象者11の顔のエッジを安定させる。
Next, the pulse
Gaussian filtering is an image correction that blurs the edges of an image using a Gaussian function, whereby the pulse
次に、脈波検出装置1は、最低輝度y2′<=輝度<=最高輝度y2という条件に基づいて、当該条件を満たす画素をRPlane_EllipseCutで検索する。
そして、脈波検出装置1は、検索した画素で1の値をとり、他の画素で0の値をとる輝度マスクを作成してRAM4に記憶する(ステップ127)。
このようにして、脈波検出装置1は、最低輝度y2′と最高輝度y2の間の輝度の領域に対応する輝度マスクを作成する。
Next, the pulse
Then, the pulse
In this way, the pulse
次に、脈波検出装置1は、輝度マスクを塊にまとめ(ステップ133)、まとめた塊のうち、最も大きい塊を選択し、最も大きい塊を新たな輝度マスクとしてRAM4に記憶する(ステップ136)。
例えば、楕円マスクの位置には、分断された顔が写っている場合や、別のものが写っている場合がある。すなわち、顔の中心部分に対して耳や額などの一部が髪の毛で分断されて写っている場合や、少し離れた位置に手が写っている場合などが存在する。このような場合、顔の中心部分、耳、額、手などが別々の輝度マスクとして認識されてしまう。
そこで、各輝度マスクの周縁相互の距離が所定閾値以下である一群の輝度マスクを、1つの輝度マスクとして扱うためにステップ133で塊にまとめている。
Next, the pulse
For example, the position of the elliptical mask may show a divided face or another. That is, there are cases where a part of the ears, the forehead, etc. is divided by hair with respect to the central part of the face, and cases where the hand is shown at a slightly distant position. In such a case, the central part of the face, ears, forehead, hands, etc. are recognized as separate luminance masks.
Therefore, in order to treat a group of luminance masks in which the distance between the peripheral edges of each luminance mask is equal to or less than a predetermined threshold value as one luminance mask, they are grouped together in step 133.
その一方で、顔から少し離れた位置に存在する手の輝度マスクの塊を除外して、顔の輝度マスクの塊を使用するために、ステップ136では最も大きい塊を選択している。
このように脈波検出装置1は、輝度マスクを塊にまとめてグループ化することにより、顔や手などを部位ごとの塊にまとめる。そして、最も大きい塊が顔である可能性が高いので、最も大きい輝度マスクを選択している。
On the other hand, in order to use the facial luminance mask mass, excluding the hand luminance mask mass that is located at a distance from the face, the largest mass is selected in step 136.
In this way, the pulse
次に、脈波検出装置1は、RAM4に記憶した最も大きい輝度マスクにより測定領域を設定するためのBlobマスクを作成してRAM4に記憶し(ステップ139)、更にBlobマスクから顔の大きさを得るためのBlobFillを作成してRAM4に記憶する(ステップ142)。
Next, the pulse
BlobマスクとBlobFillの内容は、以下の通りである。
図7に示した輝度マスク41は、ステップ136で脈波検出装置1がRAM4に記憶した最も大きい輝度マスクである。一般に輝度マスク(最初に抽出した測定領域の形状)はいびつな形をしている。
そこで、脈波検出装置1は、ステップ10(図4)で記憶した数理形態クロージング用の構成を定義するパラメータをRAM4から読み出し、これに基づいて輝度マスク41を脈波検出に適した滑らかな形状42に整形してBlobマスク44を作成する。
脈波検出装置1は、このようにして輝度マスクを整形したBlobマスク44を用いて脈波の検出に使用する検出領域を設定する。
The contents of the Blob mask and BlobFill are as follows.
The
Therefore, the pulse
The pulse
Blobマスク44では、目や口などの部分でBlobマスク44に含まれない閉領域が形成される場合がある。
これら閉領域は、顔の面積に含まれるため、脈波検出装置1は、これらの閉領域をマスクに含めたBlobFill45を作成する。
BlobFill45は、顔の大きさを判定するためのマスクである。脈波検出装置1は、後述するように、フレーム画像におけるBlobFill45による顔の大きさによって、顔と照明9の間の距離の変動による輝度信号Rの変化を補正する。
In the
Since these closed areas are included in the area of the face, the pulse
The
図5に戻り、脈波検出装置1は、Blobマスク(ステップ139)とBlobFill(ステップ142)を作成した後、BlobFillの面積を計算し(ステップ145)する。そして、計算したBlobFillの面積が所定の面積値よりも大きいか否かに基づいて、Blobマスクの面積が十分か否かを判断する(ステップ148)。
Blobマスクの面積が十分でない場合(ステップ148;N)、脈波検出装置1は、表示部5などに警告を出力して(ステップ166)、メインルーチンにリターンする。
Returning to FIG. 5, the pulse
If the area of the blob mask is not sufficient (
一方、Blobマスクの面積が十分である場合(ステップ148;Y)、脈波検出装置1は、フレーム画像からBlobマスク44に該当する領域を抜き出して評価画像を作成し、これをRAM4に記憶する(ステップ151)。
より具体的には、脈波検出装置1は、Blobマスクとフレーム画像との論理積を計算し、真となる部分の画素を抽出して評価画像とする。そのため、評価画像は、フレーム画像から測定領域を抜き出した画像となる。
On the other hand, when the area of the blob mask is sufficient (
More specifically, the pulse
次に、脈波検出装置1は、RAM4に記憶した評価画像を構成する各画素の輝度の値を合計し、当該輝度の合計値をRAM4に記憶し(ステップ154)、更に、RAM4に記憶してあるBlobマスクの画素数を取得する(ステップ157)。
そして、脈波検出装置1は、RAM4に記憶した輝度の合計値をRAM4に記憶したBlobマスクの画素数で割って、評価画像の輝度の平均値を計算することにより補正前の輝度信号Rを算出してRAM4に記憶する(ステップ160)。
Next, the pulse
Then, the pulse
次に、脈波検出装置1は、sROI(size of Region of Interest)を算出してRAM4に記憶し(ステップ163)、メインルーチンにリターンする。
sROIは、フレーム画像に対する測定領域(顔の大きさ)の割合であって、脈波検出装置1は、BlobFillの画素数をフレーム画像の画素数で除することによりsROIを計算する。
Next, the pulse
The sROI is the ratio of the measurement area (face size) to the frame image, and the pulse
sROIは、フレーム画像における顔の大きさの割合を%で表しており、対象者11の顔の前後位置を表している(sROIが大きいほどカメラ8と顔の距離が近い)。
後述するように、脈波検出装置1は、sROIの値によって補正前の輝度信号Rを補正し、補正後の輝度信号R′を生成する。
なお、sROIは、フレーム画像に対する測定領域の割合であるところ、フレーム画像の画素数は固定されているため、評価画像の画素数をsROIとすることもできる。
The sROI represents the ratio of the face size in the frame image in%, and represents the front-back position of the face of the subject 11 (the larger the sROI, the closer the distance between the
As will be described later, the pulse
Since sROI is the ratio of the measurement area to the frame image, the number of pixels of the frame image is fixed, so the number of pixels of the evaluation image can be set to sROI.
図6は、図4のステップ50で示した脈拍数検出処理の手順を説明するためのフローチャートである。
まず、脈波検出装置1は、RAM4からデータ取得期間(30秒間)の間に取得した補正前の輝度信号RとsROIを読み出す。
そして、脈波検出装置1は、後述するように最小二乗法を用いて輝度信号RとsROIの関係式を算出してRAM4に記憶する(ステップ205)。
なお、この関係式は、対象者11の顔と照明9の遠近による輝度の変化を補正する式である。
FIG. 6 is a flowchart for explaining the procedure of the pulse rate detection process shown in step 50 of FIG.
First, the pulse
Then, the pulse
It should be noted that this relational expression is an expression for correcting the change in brightness due to the perspective of the face of the subject 11 and the
次に、脈波検出装置1は、sROIを当該関係式に適用して輝度信号Rを補正することにより補正後の輝度信号R′を算出して、当該輝度信号R′をRAM4に記憶する(ステップ210)。
そして、脈波検出装置1は、輝度信号R′をフーリエ変換して輝度信号R′の周波数成分を算出し、これをRAM4に記憶する(ステップ215)。
Next, the pulse
Then, the pulse
次に、脈波検出装置1は、RAM4に記憶した輝度信号R′の周波数成分において最大ピークを特定する(ステップ220)。
そして、脈波検出装置1は、当該最大ピークの周波数fを特定し、これを対象者11の脈拍数としてRAM4に記憶して(ステップ225)、メインルーチンにリターンする。
このように、脈波検出装置1は、測定領域の画素の画素値から対象者の脈波を取得する脈波取得手段を備えている。
Next, the pulse
Then, the pulse
As described above, the pulse
図8は、図6のステップ205に係る輝度信号RとsROIの関係式の算出方法を説明するための図である。
RAM4は、30秒分の輝度信号Rを記憶しており、これを時間の順にR(1)、R(2)、・・・、R(i)、・・・とする。
同様にRAM4が記憶するsROIも時間の順に、sROI(1)、sROI(2)、sROI(3)、・・・、sROI(i)、・・・とする。
輝度信号R(i)とsROI(i)は、同じフレーム画像から取得するため、時間的に対応しており、同時刻での値である。
FIG. 8 is a diagram for explaining a method of calculating the relational expression between the luminance signal R and the sROI according to step 205 of FIG.
The
Similarly, the sROI stored in the
Since the luminance signals R (i) and sROI (i) are acquired from the same frame image, they correspond in time and are values at the same time.
ここで、式(2)と式(3)で示したようにyi=R(i)、xi=sROI(i)とおいて、式(4)で示したyi=β0+β1×xiなる線形の関係が成り立つと仮定すると、式(5)が成立する。求めたいのはβ0とβ1であり、式(5)は、最小二乗法の行列表現となっている。 Here, as shown in the equations (2) and (3), yi = R (i) and xi = sROI (i), and the linear relationship of yi = β0 + β1 × xi expressed in the equation (4) is established. Assuming that it holds, equation (5) holds. We want to find β0 and β1, and Eq. (5) is a matrix representation of the least squares method.
式(5)を式(6)のようにY=X×Bとおくと、式(7)によってBについて解くことができる。式中の上付き文字で表したTと−1は、それぞれ転置行列と逆行列を意味する。
脈波検出装置1は、RAM4に記憶した輝度信号RとsROIからX、Yを生成し、式(7)を計算することにより、β0とβ1を算出する。これによって、輝度信号RとsROIの関係式yi=β0+β1×xiが定まる。
If Eq. (5) is set to Y = X × B as in Eq. (6), B can be solved by Eq. (7). The superscripts T and -1 in the equation mean the transposed matrix and the inverse matrix, respectively.
The pulse
図9は、図6のステップ210に係る輝度信号Rの補正式を説明するための図である。
yiとxiは、図8と同じである。ここで、式(8)に示したように、補正後の輝度信号であるR(1)′、R(2)′、・・・、R(i)′、・・・をyi′と表すと、式(9)が成立し、これが輝度信号Rの補正式である。これを行列で表すと式(10)となり、これにyiとxiを代入するとyi′、即ち、補正後の輝度信号R′を計算することができる。
FIG. 9 is a diagram for explaining a correction formula for the luminance signal R according to step 210 of FIG.
yi and xi are the same as in FIG. Here, as shown in the equation (8), the corrected luminance signals R (1)', R (2)', ..., R (i)', ... Are expressed as yi'. And the equation (9) holds, and this is the correction equation of the luminance signal R. When this is expressed by a matrix, it becomes equation (10), and by substituting yi and xi into this, yi', that is, the corrected luminance signal R'can be calculated.
以上に説明した脈波検出装置1は、次の構成を提供することができる。
(1)対象者の体表面を撮影した動画を取得する動画取得手段と、前記取得した動画から前記体表面が写っている領域を取得する領域取得手段と、前記取得した領域の輝度を取得する輝度取得手段と、前記体表面の相対的な前後位置と前記領域の輝度の対応関係を用いて前記取得した輝度を補正する補正手段と、前記領域の前記補正した輝度の変化に基づいて前記対象者の脈波を取得する脈波取得手段と、を具備したことを特徴とする脈波検出装置(第1の構成)。
(2)前記体表面は顔であり、前記領域取得手段は、前記領域として顔領域を取得することを特徴とする第1の構成の脈波検出装置。
(3)前記顔を赤外線で照明する照明手段と、前記赤外線で照明した顔を赤外線にて動画撮影する動画撮影手段と、を具備し、前記動画取得手段は、前記動画撮影手段から前記動画を取得することを特徴とする第2の構成の脈波検出装置。
(4)前記補正手段は、前記顔の前後位置を前記顔領域の大きさによって取得することを特徴とする第2の構成、又は第3の構成の脈波検出装置。
(5)前記顔を含む前記顔より大きい顔検出領域を取得する顔検出領域取得手段を具備し、前記領域取得手段は、前記取得した顔検出領域における輝度の分布を用いて前記顔領域を取得することを特徴とする第2の構成、第3の構成、又は第4の構成の脈波検出装置。
(6)前記補正手段は、前記取得した顔領域に当該顔領域に含まれない閉領域がある場合に、当該閉領域を前記顔領域の大きさに含めることを特徴とする第2の構成から第5の構成までのうちの何れか1の構成に記載の脈波検出装置。
(7)環境明度を取得する環境明度取得手段と、前記取得した環境明度が所定値未満となった場合に、前記照明手段による照明と、前記動画撮影手段による動画撮影を開始する開始手段と、を具備したことを特徴とする第3の構成の脈波検出装置。
(8)前記環境明度が所定値以上の場合に前記脈波を取得する第2の脈波取得手段を具備し、前記開始手段は、前記取得した環境明度が所定値未満となった場合に、前記第2の脈波取得手段による前記脈波の取得を停止した後、前記照明手段による照明と、前記動画撮影手段による動画撮影を開始することを特徴とする第7の構成の脈波検出装置。
(9)対象者の体表面を撮影した動画を取得する動画取得機能と、前記取得した動画から前記体表面が写っている領域を取得する領域取得機能と、前記取得した領域の輝度を取得する輝度取得機能と、前記体表面の相対的な前後位置と前記領域の輝度の対応関係を用いて前記取得した輝度を補正する補正機能と、前記領域の前記補正した輝度の変化に基づいて前記対象者の脈波を取得する脈波取得機能と、をコンピュータで実現する脈波検出プログラム。
The pulse
(1) Acquire the moving image acquisition means for acquiring a moving image of the body surface of the target person, the area acquiring means for acquiring the area in which the body surface is reflected from the acquired moving image, and the brightness of the acquired area. The object is based on the brightness acquisition means, the correction means for correcting the acquired brightness by using the correspondence between the relative anteroposterior position of the body surface and the brightness of the region, and the change in the corrected brightness of the region. A pulse wave detection device (first configuration) comprising: a pulse wave acquisition means for acquiring a person's pulse wave.
(2) The pulse wave detection device having the first configuration, wherein the body surface is a face, and the region acquisition means acquires a face region as the region.
(3) A lighting means for illuminating the face with infrared rays and a moving image shooting means for shooting a moving image of the face illuminated with infrared rays with infrared rays are provided, and the moving image acquisition means obtains the moving image from the moving image shooting means. A pulse wave detection device having a second configuration, characterized in that it is acquired.
(4) The correction means is a pulse wave detection device having a second configuration or a third configuration, characterized in that the front-back position of the face is acquired by the size of the face region.
(5) A face detection area acquisition means for acquiring a face detection area larger than the face including the face is provided, and the area acquisition means acquires the face area using the distribution of brightness in the acquired face detection area. A pulse wave detection device having a second configuration, a third configuration, or a fourth configuration.
(6) From the second configuration, the correction means includes the closed area in the size of the face area when the acquired face area has a closed area not included in the face area. The pulse wave detection device according to any one of the configurations up to the fifth configuration.
(7) An environmental brightness acquisition means for acquiring the environmental brightness, an illumination by the lighting means when the acquired environmental brightness becomes less than a predetermined value, and a starting means for starting the moving image shooting by the moving image shooting means. A pulse wave detection device having a third configuration, which comprises the above.
(8) A second pulse wave acquisition means for acquiring the pulse wave when the environmental brightness is equal to or higher than a predetermined value is provided, and the starting means is provided when the acquired environmental brightness is less than the predetermined value. A pulse wave detection device having a seventh configuration, characterized in that after stopping the acquisition of the pulse wave by the second pulse wave acquisition means, the illumination by the lighting means and the moving image shooting by the moving image shooting means are started. ..
(9) Acquire a moving image acquisition function for acquiring a moving image of the body surface of the target person, an area acquisition function for acquiring an area in which the body surface is reflected from the acquired moving image, and the brightness of the acquired area. The object is based on a brightness acquisition function, a correction function for correcting the acquired brightness using the relative anteroposterior position of the body surface and the brightness of the region, and a change in the corrected brightness in the region. A pulse wave detection program that realizes a pulse wave acquisition function that acquires a person's pulse wave and a computer.
以上に説明した本実施の形態により、次の効果を得ることができる。
(1)脈波検出装置1は、顔の動きによる輝度の変化を補正しながら脈波推定ROI(Region of Interest:評価領域)を決定する。
(2)従来は、画像内に特定の評価領域(測定領域)を設け、その中に顔を合わせることで脈拍推定を行っているが、脈波検出装置1は、顔に合わせて検出領域を設定することができる。
(3)従来は、対象者が動いて評価領域を出てしまい脈拍を正確に推定することができない場合や、評価領域が顔画像より大きい場合、背景などが外乱になり脈拍を正確に推定できない場合があるが、脈波検出装置1は、対象者の顔の皮膚の輝度を検出して、その輝度がある場所を評価領域として使うことで対象者が動いた場合でも脈波を正確に推定することができる。
(4)正確な測定領域を設定できるため、よりわずかな信号(脈波)を測定することができる。
(5)測定領域のロバスト性、安定性を改善できるので、測定領域から測定したい信号をより正確に検出することができる。
(6)評価領域は顔の形状により適合するため、顔以外の部分が測定領域に入ることを防ぐことができる。これによって外乱が減り、測定したい信号をより正確に測定することができる。
The following effects can be obtained by the present embodiment described above.
(1) The pulse
(2) Conventionally, a specific evaluation area (measurement area) is provided in an image, and a pulse is estimated by matching a face in the evaluation area (measurement area), but the pulse
(3) Conventionally, when the subject moves out of the evaluation area and the pulse cannot be estimated accurately, or when the evaluation area is larger than the facial image, the background or the like becomes disturbed and the pulse cannot be estimated accurately. In some cases, the pulse
(4) Since an accurate measurement area can be set, a smaller signal (pulse wave) can be measured.
(5) Since the robustness and stability of the measurement area can be improved, the signal to be measured can be detected more accurately from the measurement area.
(6) Since the evaluation area is more suitable for the shape of the face, it is possible to prevent a part other than the face from entering the measurement area. This reduces disturbances and allows the signal to be measured to be measured more accurately.
1 脈波検出装置
2 CPU
3 ROM
4 RAM
5 表示部
6 入力部
7 出力部
8 カメラ
9 照明
10 記憶部
11 対象者
12 脈波検出プログラム
31、35 フレーム画像
32 矩形
33 測定領域
36 楕円マスク
41 輝度マスク
42 形状
44 Blobマスク
45 BlobFill
65 測定領域
68 顔部
69 頭部
y1 参考最高輝度(参考第1輝度)
y1′ 参考最低輝度(参考基準輝度)
y2 最高輝度(第1輝度)
y2′ 最低輝度(基準輝度)
1
3 ROM
4 RAM
5
65 Measurement area 68 Face 69 Head y1 Reference maximum brightness (reference first brightness)
y1'Reference minimum brightness (reference reference brightness)
y2 maximum brightness (first brightness)
y2'minimum brightness (reference brightness)
Claims (7)
前記取得した動画で前記対象者の顔が存在する顔領域を取得する顔領域取得手段と、
前記取得した顔領域における第1輝度を取得する第1輝度取得手段と、
前記取得した第1輝度に対応する基準輝度を、予め設定した測定領域を規定する参考第1輝度と当該参考第1輝度よりも輝度が低い参考基準輝度との対応関係から取得する基準輝度取得手段と、
前記取得した顔領域において、前記取得した第1輝度と前記基準輝度との間の輝度の領域を測定領域に設定する測定領域設定手段と、
前記設定した測定領域の画素の画素値から前記対象者の脈波を取得する脈波取得手段と、
前記取得した脈波を出力する出力手段と、
を具備したことを特徴とする脈波検出装置。 Video acquisition means to acquire a video of the target person,
A face area acquisition means for acquiring a face area in which the subject's face exists in the acquired moving image,
The first luminance acquisition means for acquiring the first luminance in the acquired face region, and
Reference brightness acquisition means for acquiring the reference brightness corresponding to the acquired first brightness from the correspondence relationship between the reference first brightness that defines a preset measurement area and the reference reference brightness whose brightness is lower than the reference first brightness. When,
In the acquired face region, a measurement region setting means for setting a luminance region between the acquired first luminance and the reference luminance as a measurement region, and
A pulse wave acquisition means for acquiring the pulse wave of the target person from the pixel values of the pixels in the set measurement area, and
An output means for outputting the acquired pulse wave and
A pulse wave detection device characterized by being provided with.
前記基準輝度取得手段は、予め設定した測定領域を規定する参考最高輝度と参考基準輝度との対応関係から、前記取得した最高輝度に対応する基準輝度を取得する、
ことを特徴とする請求項1に記載の脈波検出装置。 The first luminance acquisition means acquires the highest luminance in the face region as the first luminance.
The reference brightness acquisition means acquires the reference brightness corresponding to the acquired maximum brightness from the correspondence relationship between the reference maximum brightness and the reference reference brightness that define the preset measurement area.
The pulse wave detection device according to claim 1.
前記顔領域取得手段は、前記検出した顔の周囲を所定の形状で区画することにより前記顔領域を取得する、
ことを特徴とする請求項1、又は請求項2に記載の脈波検出装置。 A face detection means for detecting the face of the target person in the moving image is provided.
The face area acquisition means acquires the face area by partitioning the circumference of the detected face in a predetermined shape.
The pulse wave detection device according to claim 1 or 2, characterized in that.
前記第1輝度取得手段は、前記解像度を下げた動画から前記第1輝度を取得する、
ことを特徴とする請求項1、請求項2、又は請求項3に記載の脈波検出装置。 A resolution conversion means for lowering the resolution of the acquired moving image is provided.
The first luminance acquisition means acquires the first luminance from a moving image having a reduced resolution.
The pulse wave detection device according to claim 1, claim 2, or claim 3.
前記基準輝度取得手段は、前記顔と前記照明手段と、の距離に基づく前記参考第1輝度と参考基準輝度の対応関係から前記第1輝度に対応する基準輝度を取得する、
ことを特徴とする請求項1から請求項4までのうちの何れか1の請求項に記載の脈波検出装置。 A lighting means for illuminating the face is provided.
The reference brightness acquisition means acquires the reference brightness corresponding to the first brightness from the correspondence relationship between the reference first brightness and the reference reference brightness based on the distance between the face and the lighting means.
The pulse wave detection device according to any one of claims 1 to 4, wherein the pulse wave detection device is characterized.
こと特徴とする請求項5に記載の脈波検出装置。 The lighting means illuminates the face with infrared rays.
The pulse wave detection device according to claim 5, wherein the pulse wave detection device is characterized.
前記取得した動画で前記対象者の顔が存在する顔領域を取得する顔領域取得機能と、
前記取得した顔領域における第1輝度を取得する第1輝度取得機能と、
前記取得した第1輝度に対応する基準輝度を、予め設定した測定領域を規定する参考第1輝度と当該参考第1輝度よりも輝度が低い参考基準輝度との対応関係から取得する基準輝度取得機能と、
前記取得した顔領域において、前記取得した第1輝度と前記基準輝度との間の輝度の領域を測定領域に設定する測定領域設定機能と、
前記設定した測定領域の画素の画素値から前記対象者の脈波を取得する脈波取得機能と、
前記取得した脈波を出力する出力機能と、
をコンピュータに実現させることを特徴とする脈波検出プログラム。 A video acquisition function that acquires a video of the target person,
A face area acquisition function that acquires a face area in which the target person's face exists in the acquired video, and
The first luminance acquisition function for acquiring the first luminance in the acquired face region, and
A reference brightness acquisition function that acquires the reference brightness corresponding to the acquired first brightness from the correspondence relationship between the reference first brightness that defines a preset measurement area and the reference reference brightness whose brightness is lower than the reference first brightness. When,
In the acquired face region, a measurement region setting function for setting a luminance region between the acquired first luminance and the reference luminance as a measurement region, and
A pulse wave acquisition function that acquires the pulse wave of the target person from the pixel values of the pixels in the set measurement area, and
The output function that outputs the acquired pulse wave and
A pulse wave detection program characterized by realizing a computer.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019066382A JP2020162873A (en) | 2019-03-29 | 2019-03-29 | Pulse wave detection device and pulse wave detection program |
PCT/JP2020/014363 WO2020203915A1 (en) | 2019-03-29 | 2020-03-27 | Pulse wave detection device, and pulse wave detection program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019066382A JP2020162873A (en) | 2019-03-29 | 2019-03-29 | Pulse wave detection device and pulse wave detection program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020162873A true JP2020162873A (en) | 2020-10-08 |
Family
ID=72668983
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019066382A Pending JP2020162873A (en) | 2019-03-29 | 2019-03-29 | Pulse wave detection device and pulse wave detection program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2020162873A (en) |
WO (1) | WO2020203915A1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022077282A (en) * | 2020-11-11 | 2022-05-23 | 株式会社コムテック | Warning system |
JP2022077281A (en) * | 2020-11-11 | 2022-05-23 | 株式会社コムテック | Detection system |
WO2023195148A1 (en) * | 2022-04-08 | 2023-10-12 | 三菱電機株式会社 | Pulse wave estimation device, condition estimation device, and pulse wave estimation method |
WO2023195149A1 (en) * | 2022-04-08 | 2023-10-12 | 三菱電機株式会社 | Pulse wave estimation device, condition estimation device, and pulse wave estimation method |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015098977A1 (en) * | 2013-12-25 | 2015-07-02 | 旭化成株式会社 | Cardiac pulse waveform measurement device, portable device, medical device system, and vital sign information communication system |
JP2015173810A (en) * | 2014-03-14 | 2015-10-05 | 富士通株式会社 | Detector, detection program, and detection method |
JP2015205050A (en) * | 2014-04-21 | 2015-11-19 | 富士通株式会社 | Pulse wave detection device, pulse wave detection method, and pulse wave detection program |
WO2016006027A1 (en) * | 2014-07-07 | 2016-01-14 | 富士通株式会社 | Pulse wave detection method, pulse wave detection program, and pulse wave detection device |
WO2016163019A1 (en) * | 2015-04-10 | 2016-10-13 | 株式会社日立製作所 | Biological information analyzing system |
JP2016190022A (en) * | 2015-03-30 | 2016-11-10 | 国立大学法人東北大学 | Biological information measuring device, biological information measuring method, biological information display device and biological information display method |
JP2017209486A (en) * | 2016-05-19 | 2017-11-30 | パナソニックIpマネジメント株式会社 | Blood pressure measurement device |
JP2018164587A (en) * | 2017-03-28 | 2018-10-25 | 日本電気株式会社 | Pulse wave detection device, pulse wave detection method, and program |
US20180376072A1 (en) * | 2017-06-21 | 2018-12-27 | Samsung Electronics Co., Ltd. | Electronic device for providing property information of external light source for interest object |
JP2019000474A (en) * | 2017-06-16 | 2019-01-10 | グローリー株式会社 | Pulse period detection device, pulse period detection method, pulse period detection program, and pulse wave detection device |
-
2019
- 2019-03-29 JP JP2019066382A patent/JP2020162873A/en active Pending
-
2020
- 2020-03-27 WO PCT/JP2020/014363 patent/WO2020203915A1/en active Application Filing
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015098977A1 (en) * | 2013-12-25 | 2015-07-02 | 旭化成株式会社 | Cardiac pulse waveform measurement device, portable device, medical device system, and vital sign information communication system |
JP2015173810A (en) * | 2014-03-14 | 2015-10-05 | 富士通株式会社 | Detector, detection program, and detection method |
JP2015205050A (en) * | 2014-04-21 | 2015-11-19 | 富士通株式会社 | Pulse wave detection device, pulse wave detection method, and pulse wave detection program |
WO2016006027A1 (en) * | 2014-07-07 | 2016-01-14 | 富士通株式会社 | Pulse wave detection method, pulse wave detection program, and pulse wave detection device |
JP2016190022A (en) * | 2015-03-30 | 2016-11-10 | 国立大学法人東北大学 | Biological information measuring device, biological information measuring method, biological information display device and biological information display method |
WO2016163019A1 (en) * | 2015-04-10 | 2016-10-13 | 株式会社日立製作所 | Biological information analyzing system |
JP2017209486A (en) * | 2016-05-19 | 2017-11-30 | パナソニックIpマネジメント株式会社 | Blood pressure measurement device |
JP2018164587A (en) * | 2017-03-28 | 2018-10-25 | 日本電気株式会社 | Pulse wave detection device, pulse wave detection method, and program |
JP2019000474A (en) * | 2017-06-16 | 2019-01-10 | グローリー株式会社 | Pulse period detection device, pulse period detection method, pulse period detection program, and pulse wave detection device |
US20180376072A1 (en) * | 2017-06-21 | 2018-12-27 | Samsung Electronics Co., Ltd. | Electronic device for providing property information of external light source for interest object |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022077282A (en) * | 2020-11-11 | 2022-05-23 | 株式会社コムテック | Warning system |
JP2022077281A (en) * | 2020-11-11 | 2022-05-23 | 株式会社コムテック | Detection system |
JP7081844B2 (en) | 2020-11-11 | 2022-06-07 | 株式会社コムテック | Detection system |
WO2023195148A1 (en) * | 2022-04-08 | 2023-10-12 | 三菱電機株式会社 | Pulse wave estimation device, condition estimation device, and pulse wave estimation method |
WO2023195149A1 (en) * | 2022-04-08 | 2023-10-12 | 三菱電機株式会社 | Pulse wave estimation device, condition estimation device, and pulse wave estimation method |
Also Published As
Publication number | Publication date |
---|---|
WO2020203915A1 (en) | 2020-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020203915A1 (en) | Pulse wave detection device, and pulse wave detection program | |
JP6695503B2 (en) | Method and system for monitoring the condition of a vehicle driver | |
US10268290B2 (en) | Eye tracking using structured light | |
US10653381B2 (en) | Motion tracking system for real time adaptive motion compensation in biomedical imaging | |
JP6338701B2 (en) | Device, method and computer program for detecting instantaneous sleep | |
US7819525B2 (en) | Automatic direct gaze detection based on pupil symmetry | |
JP4452833B2 (en) | Gaze movement detection method and gaze movement detection apparatus | |
US7810926B2 (en) | Lateral gaze angle estimation using relative eye separation | |
WO2018000020A1 (en) | Systems and methods for performing eye gaze tracking | |
CN107960989B (en) | Pulse wave measurement device and pulse wave measurement method | |
JP2018518750A (en) | Enhancement of depth map representation by reflection map representation | |
Ghosh et al. | Real time eye detection and tracking method for driver assistance system | |
JP7204077B2 (en) | Pulse wave detection device, vehicle device, and pulse wave detection program | |
WO2020203913A1 (en) | Pulse rate detection device and pulse rate detection program | |
JP6269177B2 (en) | Pupil detection device, gaze detection device, and pupil detection method | |
JP7174359B2 (en) | Pulse wave detection device and pulse wave detection program | |
JP7174358B2 (en) | Pulse rate detector and pulse rate detection program | |
JP7209947B2 (en) | Pulse rate detector and pulse rate detection program | |
García-Dopico et al. | Precise Non-Intrusive Real-Time Gaze Tracking System for Embedded Setups. | |
JP2022187546A (en) | Gaze estimation system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20210728 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220909 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230303 |