JP2019080811A - 生体情報検出装置および生体情報検出方法 - Google Patents

Abstract

【課題】照明光や外光などの環境の影響を抑制し、生体情報を安定して取得できるようにする。【解決手段】生体情報検出装置１０は、カメラ１００と、カメラ１００により撮像されるフレーム映像の中から、所定の肌色みなされる色を有する画素からなる領域を肌色領域として検出するとともに、前記肌色領域に含まれる各画素の映像信号から光の波長に対応する信号を肌色波長データとして検出するフレーム映像解析部２２０と、前記肌色波長データと予め定められた基準波長データとの差分量を、肌色領域に含まれる画素について平均した値を平均波長差分データとして取得する肌色波長差分検出部２４０と、時系列に取得される平均波長差分データを平滑化した信号を脈波信号として検出する脈波信号検出部２６０と、を備える。【選択図】図１

Description

本発明は、生体の動的状態を非接触でリアルタイムに検出する生体情報検出装置および生体情報検出方法に関する。

近年、生体の動的状態をマイクロ波やカメラを使用して非接触でリアルタイムに検出する技術が注目されている。例えば、カメラで取得した被験者の顔映像の時間変化により心拍数などを検出する技術は、カメラモジュールの小型化と相俟って、スマートフォンなどの携帯端末に搭載され、急速な広がりを見せている。さらに、その技術を進化させ、スマートフォンなどでリアルタイムに被験者の血圧を計測する技術も現れている。

例えば、特許文献１には、被験者（生体）の撮像映像における関心領域のＲＧＢの時系列信号をスペクトル解析することにより、その関心領域内の血管における脈波信号を特定する技術が開示されている。また、特許文献２には、被験者の２つの部位の撮像映像からそれぞれの部位の脈波信号を検出し、その２つの部位の脈波信号から脈波伝播速度を求めて被験者の血圧を推定する技術が開示されている。また、脈波伝播速度から血圧を推定する方法は、脈波伝播速度と動脈壁の増分弾性係数との関係を示したメーンズ・コルテベーグ（Moens-Korteweg）の式を用いる方法などが知られている（非特許文献１など参照）。

特開２０１２−２３９６６１号公報 特開２０１５−５４２２３号公報

Tijsseling A.S.，Anderson A.，"A. Isebree Moens and D.J. Korteweg: on the speed of propagation of waves in elastic tubes", BHR Group，Proc. of the 11th Int. Conf. on Pressure Surges (Editor Sandy Anderson)，Lisbon，Portugal, October (2012)

特許文献１や特許文献２などに記載の発明では、脈波信号は、基本的には、撮像映像中の関心領域の画素のＲＧＢ時系列信号をスペクトル解析することにより取得される。この際に用いられる撮像映像は、照明光が被験者の例えば顔に照射された際のＲＧＢの反射光を検出したものである。そのため、ＲＧＢ時系列信号のスペクトル解析とは、反射光におけるＲＧＢ３色の強度の時系列変化をスペクトル解析していることとなる。

したがって、関心領域となる被験者の顔などに定常的な光が当たる場合は、安定して脈波信号を検出することができる。しかしながら、照明光や外光の強度が不規則に変化したり、被験者の動作により顔に陰影の変化が生じたりするような場合には、関心領域の反射光にも大きな変化が生じる。そのため、その反射光のＲＧＢ時系列信号からは安定した脈波信号を取得することができなくなることがあった。

すなわち、被験者の撮像映像から被験者の心拍数や血圧などの生体情報を検出する従来技術には、照明や外光など環境の影響を受け易いために、その生体情報を安定して検出することが検出できないという問題があった。

以上の従来技術の問題に鑑み、本発明の目的は、照明光や外光などの環境の影響を抑制し、被験者の生体情報を安定して検出することが可能な生体情報検出装置および生体情報検出方法を提供することにある。

前記発明の目的を達成するために、本発明に係る生体情報検出は、被験者を所定の時間間隔で連続して撮像するカメラと、前記カメラによって撮像されるフレーム映像の中から、所定の肌色とみなされる色を有する画素からなる領域を肌色領域として検出するとともに、前記肌色領域に含まれる各画素の映像信号から光の波長に対応する信号を肌色波長データとして検出するフレーム映像解析部と、前記フレーム映像解析部により検出された前記肌色波長データの、予め定められた基準波長データからの差分量、または、当該フレーム映像の前のフレーム映像で検出された前記肌色波長データからの差分量を、前記肌色領域に含まれる画素について平均し、その平均値を平均波長差分データとして検出する肌色波長差分検出部と、時系列に検出される前記平均波長差分データを平滑化した信号を脈波信号として検出する脈波信号検出部と、を備えることを特徴とする。

本発明によれば、照明光や外光などの環境の影響を抑制し、被験者の生体情報を安定して検出することが可能な生体情報検出装置および生体情報検出方法が提供される。

第１の実施形態に係る生体情報検出装置のブロック構成の例を示した図。 フレーム映像解析部の詳細なブロック構成の例を示した図。 フレーム映像解析部で用いられる空間フィルタの例を示した図。 ＨＳＶ色空間および肌色部分空間の例を示した図。 肌色部分空間設定のために表示される表示画面の例を示した図。 肌色波長差分検出部の詳細なブロック構成の例を示した図。 脈波検出部の詳細なブロック構成の例を示した図。 第１の実施形態の変形例＃１に係る生体情報検出装置のブロック構成の例を示した図。 第１の実施形態の変形例＃２に係るフレーム映像解析部の詳細なブロック構成の例を示した図。 第１の実施形態の変形例＃２に係る肌色波長差分検出部の詳細なブロック構成の例を示した図。 第２の実施形態に係る生体情報検出装置のブロック構成の例を示した図。 第２の実施形態に係る局所脈波検出部の詳細なブロック構成の例を示した図。 第２の実施形態の変形例に係る局所脈波検出部の詳細なブロック構成の例を示した図。 フレーム映像を複数の区画領域に分割し、縦方向の位置が同じ複数の区画領域から得られる平均脈波信号の例を示すとともに、脈波伝播速度算出の基本的な考え方を説明する図。 顔領域を複数の区画領域に分割し、縦方向の位置が同じ複数の区画領域から得られる区画脈波信号の平均である平均脈波信号の例を示すとともに、脈波伝播速度算出の基本的な考え方を説明する図。 縦方向の位置が同じである横方向の区画領域の一部に、脈波信号欠損区画が含まれている場合の脈波伝播速度の算出方法を説明する図。 全ての横方向の区画領域が脈波信号欠損区画となった縦方向の位置が存在する場合の脈波伝播速度の算出方法を説明する図。 第２の実施形態に係る血圧推定部の詳細なブロック構成の例を示した図。

以下、本発明の実施形態について、図面を参照して詳細に説明する。なお、各図面において、共通する構成要素には同一の符号を付し、重複した説明を省略する。

≪第１の実施形態≫
図１は、第１の実施形態に係る生体情報検出装置１０のブロック構成の例を示した図である。図１に示すように、生体情報検出装置１０は、カメラ１００、映像取得部２０１、フレーム映像解析部２２０、基準肌色設定部２０５、肌色波長差分検出部２４０、脈波信号検出部２６０、データ表示部３００などを備えて構成される。

ここで、生体情報検出装置１０は、被験者をカメラ１００により撮像した映像に含まれる被験者の肌の色の時間変化から被験者の血管を流れる血流の脈波信号を検出し、さらに心拍数や血圧などを取得または推定する。すなわち、被験者の肌の色の時間変化（時系列変化）を検出する必要があることから、カメラ１００としては、例えば１秒間に３０フレーム程度の動画映像を撮像可能なディジタルビデオカメラなどが用いられる。なお、ここでいう被験者とは、人（人間）であることを前提とするが、猿や犬など体毛の少ない部分（顔など）を有する動物であってもよい。

以下、生体情報検出装置１０を構成する各部の機能について、機能について説明する。図１において、映像取得部２０１は、カメラ１００から出力される映像信号１０１をフレーム毎に入力し、そのフレームを構成する各画素のＲＧＢ信号２０２を出力する。

フレーム映像解析部２２０は、映像取得部２０１から出力されるフレーム毎の各画素のＲＧＢ信号２０２を入力し、各画素についての肌色レベル信号２０３および肌色波長データ信号２０４を出力する。ここで、肌色レベル信号２０３は、その画素が所定の範囲の肌色に該当することを表す信号であり、肌色波長データ信号２０４は、その肌色の波長に対応する値を表す信号である。この所定の範囲の肌色に該当するか否かを判定する条件については、図４などを用いて別途説明する。また、この所定の範囲の肌色に該当する画素からなる領域を肌色領域という。

基準肌色設定部２０５は、肌色波長差分検出部２４０で用いられる基準肌色波長データ信号２０６の値を設定する。ただし、基準肌色波長データ信号２０６の値は、便宜上の値であって、必ずしも特定の値に限定されない。基準肌色波長データ信号２０６の値は、例えば “０”であってもよい。

肌色波長差分検出部２４０は、フレーム毎に各画素の肌色レベル信号２０３、肌色波長データ信号２０４および基準肌色波長データ信号２０６を入力する。次に、肌色波長差分検出部２４０は、次々に撮像されるフレーム毎に肌色領域に含まれる各画素の肌色レベル信号２０３の基準肌色波長データ信号２０６からの差分量を求め、その差分量の肌色領域の画素についての平均値を求める。そして、その求めた平均値を時系列の肌色波長差分データ信号２０７として出力する。

脈波信号検出部２６０は、肌色波長差分検出部２４０から出力される時系列の肌色波長差分データ信号２０７を用いて脈波信号１０２を生成する。ここで、脈波信号１０２は、被験者の心臓の拍動に応じて変化する血管中の血流量や血圧などに対応する信号である。すなわち、本実施形態では、被験者の脈波信号１０２を検出することができ、さらにその脈波信号１０２から被験者の心拍数などを検出することができる。

データ表示部３００は、ＬＣＤ（Liquid Crystal Display）などの表示装置を備え、脈波信号検出部２６０から出力される脈波信号１０２や心拍数などのデータをその表示装置に表示する。

なお、以上の生体情報検出装置１０を構成する各部の機能は、カメラ１００およびデータ表示部３００を除けば、例えば専用の集積回路（ＦＰＧＡ：Field Programmable Logic Arrayなど）を用いたハードウェア回路によって実現することができる。あるいは、プロセッサ、記憶装置（半導体メモリ、ハードディスク装置など）、入出力装置（キーボード、マウス、表示装置など）を備えたコンピュータにより実現することができる。ただし、この場合は、生体情報検出装置１０を構成する各部の機能は、前記プロセッサが前記記憶装置に記憶された定のプログラムを実行することによって実現される。

続いて、映像処理部２００を構成するフレーム映像解析部２２０、肌色波長差分検出部２４０および脈波信号検出部２６０の詳細なブロック構成について説明する。

図２は、フレーム映像解析部２２０の詳細なブロック構成の例を示した図である。図２に示すように、フレーム映像解析部２２０は、映像データ記憶部２２１、空間フィルタ２２３、ＨＳＶ変換部２２６、肌色領域検出部２２９、顔検出部２３０などを備えて構成される。

映像データ記憶部２２１は、映像取得部２０１（図１参照）から出力されるＲＧＢ信号２０２を入力して保持するとともに、空間フィルタ２２３のコンボリューションカーネルのタップ分のライン遅延を有する遅延ＲＧＢ信号２２２を出力する。また、空間フィルタ２２３は、遅延ＲＧＢ信号２２２を入力とし、例えば、注目画素およびその周りの画素の遅延ＲＧＢ信号２２２を加重平均などにより平滑化し、平滑化ＲＧＢ信号２２４として出力する。

図３は、フレーム映像解析部２２０で用いられる空間フィルタ２２３の例を示した図である。この例における空間フィルタ２２３は、例えば、縦横３タップすなわち３×３画素のコンボリューションカーネル（行列式）を各画素の平滑化処理に適用したものである。この場合、注目画素を中心とする３×３の画素にコンボリューションカーネルを用いて畳み込み演算が施され、得られた値が当該注目画素の平滑化ＲＧＢ信号２２４となる。なお、コンボリューションカーネルの行列式の成分は、例えば、加重平均の係数であり、それらの合計値が１．０になればよく、平均値分布やガウシアン分布などを用いて適宜定めることができる。

ＨＳＶ変換部２２６（図２参照）は、平滑化ＲＧＢ信号２２４をＲ（赤）、Ｇ（緑）、Ｂ（青）に分解したアンパック信号２２５を入力とし、これを、色相信号２０４（Ｈ）、彩度信号２２７（Ｓ）および明度信号２２８（Ｖ）からなるＨＳＶ色空間の信号に変換する。なお、フレーム映像解析部２２０から出力される肌色波長データ信号２０４は、呼称は異なるが、ＨＳＶ変換部２２６から出力される色相信号２０４（Ｈ）と同一の信号である。

図４は、ＨＳＶ色空間９０および肌色部分空間９００の例を示した図である。図４に示すように、ＨＳＶ色空間９０は、しばしば、円柱座標で表される。この円柱座標において、縦軸は、明度Ｖ（Value）であり、色の明るさを表す。また、半径方向の軸は、彩度Ｓ（Saturation）であり、色の濃さを表す。また、回転角は、赤色から黄色、緑色を経て紫色に到る色相Ｈ（Hue）を表す。

色相Ｈは、色の明るさや濃さとは独立であり、撮像映像が光の検出信号であること考えると、各画素が発する光の波長とみなすことができる。そこで、本実施形態では、各画素から得られる色相Ｈを、各画素が発する光の波長データ信号とみなすことにする。同様に、各画素の明度Ｖは、各画素が発する光の強度とみなすことができる。

図４に示された肌色部分空間９００は、人肌とみなされる色をＨＳＶ色空間９０において定義したものである。すなわち、本実施形態では、ＨＳＶ変換部２２６から出力される各画素の色相信号２０４（Ｈ）、彩度信号２２７（Ｓ）および明度信号２２８（Ｖ）は、その各値が肌色部分空間９００に含まれるか否か判定される。そして、その各値が肌色部分空間９００に含まれる場合には、その画素は、人肌の部分であるとみなす。

そこで、肌色領域検出部２２９は、ＨＳＶ変換部２２６から出力される色相信号２０４（Ｈ）、彩度信号２２７（Ｓ）および明度信号２２８（Ｖ）を入力とし、その各値が予め設定された肌色部分空間９００に含まれる否かを判定する。その判定の結果、肌色部分空間９００に含まれる場合には、肌色レベル信号２０３として“１”を出力し、肌色部分空間９００に含まれない場合には、肌色レベル信号２０３として“０”を出力する。

ところで、人の肌色は、個人や人種によっても、あるいは照明の仕方などによっても、かなりの相違がみられる。そこで、本実施形態では、肌色部分空間９００をユーザが設定できるようにしている。

図５は、肌色部分空間９００設定のために表示される表示画面の例を示した図である。生体情報検出装置１０は、ユーザの求めに応じて肌色部分空間９００を設定する場合には、図９に示すような表示画面を所定の表示装置に表示する。そして、この表示画面には、色相Ｈ、彩度Ｓおよび明度Ｖのそれぞれの全範囲を示すスライドバー４０１と、それらのスライドバー４０１に沿ってスライドする２つのカーソル４０２が表示される。これにより、ユーザは、マウスなどの入力装置（図示省略）を用いて、これらのカーソル４０２を適宜スライドさせることによって、肌色部分空間９００の範囲を自在に設定することができる。

例えば、図５では、色相Ｈについて０度から３６０度までの範囲のスライドバー４０１が表示されている。このとき、０度（３６０度）は赤色、１２０度は緑色、２４０度は青色であり、肌色部分空間９００の色相Ｈは、色１と色２で指定された間の範囲の領域となる。同様に、彩度Ｓは、０％を淡色、１００％を濃色とし、肌色部分空間９００の彩度Ｓを彩度１および彩度２で指定する。また、明度Ｖは、０％を暗色、１００％を明色とし、肌色部分空間９００の明度Ｖを明度１および明度２で指定する。

なお、図５の例では、肌色部分空間９００は、色相Ｈ、彩度Ｓ、明度Ｖの全てについてその範囲が限定されているが、少なくとも色相Ｈについて範囲が限定されていればよい。とくに、彩度Ｓについての範囲の限定は省略してもよい。

以上のようにして、肌色領域検出部２２９（図２参照）は、当該画素が人肌の部分であるか否かを、個人の肌の色や照明の状況に応じて適切に判定することができる。なお、本明細書では、肌色領域検出部２２９により人肌の部分と判定され、肌色レベル信号２０３が“１”となった画素により構成される領域を肌色領域という。

ところで、前記したように、基準肌色設定部２０５は、肌色波長差分検出部２４０で用いられる基準肌色波長データ信号２０６の値を設定するが、その設定のために、図５に示した表示画面を用いることができる。図５の表示画面は、肌色部分空間９００設定のためのものであるが、そのとき設定される色相Ｈの範囲を表す色１、色２を用いて、基準肌色波長データ信号２０６の値を設定してもよい。その場合、基準肌色波長データ信号２０６の値として、例えば、色１と色２の中間値などを設定することができる。

さらに、図２を参照すると、フレーム映像解析部２２０には、顔検出部２３０が含まれている。顔検出部２３０は、フレーム映像解析部２２０で処理対象となっているフレーム映像の中から顔部分を切り出す。なお、フレーム映像の中から顔部分を切り出す方法としては、公知のヴィオラ・ジュネス（Viola-Jones）法などを用いることができる。また、本実施形態では、顔検出部２３０は、顔部分を切り出すとともに、フレーム映像の各画素が切り出した顔部分に含まれる場合には、顔検領域信号２３１＝“１”を出力し、含まれない場合には、顔検領域信号２３１＝“０”を出力する。

そして、肌色領域検出部２２９は、顔検領域信号２３１＝“０”である画素については、その画素のＨＳＶ変換後の信号が肌色部分空間９００（図４参照）に含まれるか否かの判定をすることなく、肌色レベル信号２０３として“０”を出力する。すなわち、肌色領域検出部２２９は、フレーム全体の映像のうち顔検出部２３０により切り出された顔領域に限定して肌色領域を検出する。

なお、本実施形態では、フレーム映像解析部２２０は、顔検出部２３０を有するものとしているが、フレーム映像解析部２２０が顔検出部２３０を有しない実施形態も想定することができる。この場合、肌色領域検出部２２９は、被験者の背景などに含まれる肌色についても肌色領域として検出することになる。しかしながら、その肌色領域は、被験者の拍動に応じて変動する肌色領域ではないので、生体情報検出装置１０による脈波信号１０２の検出にとってはノイズとなる。

したがって、フレーム映像解析部２２０が顔検出部２３０を有する実施形態のほうが、顔検出部２３０を有しない実施形態よりも、精度のよい脈波信号１０２を検出することができる。

図６は、肌色波長差分検出部２４０の詳細なブロック構成の例を示した図である。図６に示すように、肌色波長差分検出部２４０は、波長差分算出部２４１、肌色面積算出部２４３、波長差分積算部２４４、平均波長差分算出部２４７などを備えて構成される。

波長差分算出部２４１は、各画素の肌色レベル信号２０３、肌色波長データ信号２０４および基準肌色波長データ信号２０６を入力とし、肌色レベル信号２０３の“１”または“０”の値に応じて、次のように設定される波長差分データ信号２４２を出力する。すなわち、肌色レベル信号２０３が“１”である場合には、波長差分データ信号２４２の値としては、肌色波長データ信号２０４から基準肌色波長データ信号２０６を差し引いた値が設定される。また、肌色レベル信号２０３が“０”である場合には、波長差分データ信号２４２の値としては“０”が設定される。これは、対象の画素が肌色領域に含まれる画素である場合には、波長差分データ信号２４２の値として、肌色波長データ信号２０４と基準肌色波長データ信号２０６との差分量が設定され、そうでない場合には、“０”が設定されることを意味している。

肌色面積算出部２４３は、肌色領域に含まれること表す肌色レベル信号２０３を入力とし、当該処理対象のフレーム映像について肌色領域（肌色レベル信号２０３が“１”の領域）の画素数をカウントして、そのカウント値を肌色面積信号２４５として出力する。

波長差分積算部２４４は、波長差分データ信号２４２を入力として、当該フレーム映像の全画素について波長差分データ信号２４２の値を積算し、その積算値を積算波長差分データ信号２４６として出力する。

平均波長差分算出部２４７は、肌色面積信号２４５と積算波長差分データ信号２４６とを入力し、積算波長差分データ信号２４６の値を肌色面積信号２４５の値で除算して得られる値を、肌色波長差分データ信号２０７として出力する。この肌色波長差分データ信号２０７は、当該フレーム映像の肌色領域に含まれる各画素の波長差分データ信号２４２の平均値、すなわち、被験者の肌色領域における平均的な色相Ｈの値の基準値からの変化量ということができる。

なお、肌色波長差分検出部２４０に入力される基準肌色波長データ信号２０６の値は、“０”であってもよい。この場合には、平均波長差分算出部２４７から出力される肌色波長差分データ信号２０７は、肌色領域の画素の肌色波長データ信号２０４を肌色領域の数（面積）で平均したものとなる。

図７は、脈波信号検出部２６０の詳細なブロック構成の例を示した図である。図７に示すように、脈波信号検出部２６０は、差分データ記憶部２６１、平滑化フィルタ２６３、平滑データ記憶部２６５、傾き検出部２６７、符号データ記憶部２６９、極値検出部２７１などを備えて構成される。脈波信号検出部２６０は、フレーム毎に肌色波長差分検出部２４０から出力される、すなわち、時間の推移とともに肌色波長差分検出部２４０から出力される肌色波長差分データ信号２０７から脈波信号１０２を生成する。

差分データ記憶部２６１は、肌色波長差分データ信号２０７を入力して一時記憶するとともに、当該フレームよりも前の数フレーム分の肌色波長差分データ信号２０７である遅延肌色波長差分データ信号２６２を出力する。平滑化フィルタ２６３は、肌色波長差分データ信号２０７および数フレーム分の遅延肌色波長差分データ信号２６２を入力として平滑化、つまり、複数フレーム分の肌色波長差分データ信号２０７を平滑化して得られる平滑化波長差分データ信号２６４を出力する。

この平滑化波長差分データ信号２６４は、被験者の肌色領域の色相Ｈの変動量（肌色波長差分データ信号２０７）を時間的に平滑化した信号である。被験者の肌色領域の色相Ｈの時系列変化は、被験者の血管内の血流量の時間変化に対応するとみなすことができる。そこで、平滑化波長差分データ信号２６４は、この平滑化波長差分データ信号２６４を血流の脈波を表す脈波信号１０２として外部に出力する。ただし、本実施形態では、脈波信号１０２には、その値が極大値または極小値である場合、極大値または極小値であることを示す脈波極値信号１０３が付加されるものとする。

そこで、平滑データ記憶部２６５は、平滑化波長差分データ信号２６４を入力し、複数フレーム分の値を記憶するとともに、平滑化遅延波長差分データ信号２６６を出力する。この平滑化遅延波長差分データ信号２６６は、処理中のフレームよりも時間的に前のフレームで得られた平滑化波長差分データ信号２６４に相当する。

傾き検出部２６７は、平滑化波長差分データ信号２６４の平滑化遅延波長差分データ信号２６６（すなわち当該フレームよりも前のフレームで得られた平滑化波長差分データ信号２６４）に対する時間変化量（すなわち傾き）を求める。そして、その傾きの符号を符号データ信号２６８として出力する。

具体的には、傾き検出部２６７は、連続する２つのフレームの平滑化波長差分データ信号２６４についての傾きを求めてもよいし、連続する複数フレームの間で平均的に平滑化した平滑化波長差分データ信号２６４についての傾きを求めてもよい。後者の場合、傾き検出部２６７は、例えば連続する複数のフレームの平滑化波長差分データ信号２６４の平均と、それより前の連続する複数のフレームの平滑化波長差分データ信号２６４との平均とから、その傾きを計算してもよい。

符号データ記憶部２６９は、符号データ信号２６８を入力とし、複数フレーム分の符号データ信号２６８の値を記憶するとともに、遅延符号データ信号２７０を出力する。この遅延符号データ信号２７０は、処理中のフレームよりも時間的に前のフレームで得られた符号データ信号２６８に相当する。

極値検出部２７１は、符号データ信号２６８および遅延符号データ信号２７０を入力として、傾きの符号が正値から負値へ変化したフレーム、または、傾きの符号が負値から正値へ変化したフレームを求める。これは、こうして求められたフレームに対応する時刻において、平滑化波長差分データ信号２６４が増加から減少に転じたこと、または、減少から増加に転じたこと、すなわち、極大値または極小値になったことを意味する。

そこで、極値検出部２７１は、符号データ信号２６８および遅延符号データ信号２７０を入力し、その傾きの符号が正値から負値へ変化したフレームでは、脈波極値信号１０３として、例えば“１”を出力する。また、傾きの符号が負値から正値へ変化したフレームでは、脈波極値信号１０３として、例えば“−１”を出力する。また、傾きの符号が変化しないフレームでは、脈波極値信号１０３として、例えば“０”を出力する。

以上に説明したように、本実施形態では、平滑化フィルタ２６３が肌色波長差分データ信号２０７を時間的にも平滑化するので、ノイズなどに起因する肌色波長差分データ信号２０７の微細な変動による脈波の誤検出が防止される。また、本実施形態では、傾き検出部２６７が隣接するフレーム間の平滑化波長差分データ信号２６４の変化量（傾き）を検出し、その結果に基づいて極値検出部２７１が差分データの極大値または極小値を検出する。こうして検出された極大値や極小値は、例えば心拍数を計数するときなどに用いられる。

以上に説明した第１の実施形態によれば、脈波信号１０２は、撮像された顔映像の画素のうち肌色と判定された画素についての平均的な色相（Ｈ）の変動量、つまり、肌色の平均的な波長の変化に基づいて生成される。この場合には、脈波信号１０２への明度（Ｖ）や彩度（Ｓ）の影響が排除される。そのため、外光の影響や陰影の影響などが除外されるので、環境の影響を受けにくい脈波信号１０２の検出技術が提供される。

なお、以上に説明した第１の実施形態では、カメラ１００は、可視光のカラーカメラであり、ＲＧＢの３つの波長成分を含む映像信号を生成する。しかし、これは一例であり、カメラ１００は、対象物（例えば人の顔）からの反射光を撮像して複数の波長成分を含む映像信号を出力する撮像装置である限り、どのようなものであってもよい。例えば、ＲＧＢのうち少なくとも一つが赤外線または紫外線の領域に含まるものであってもよい。また、そのような映像信号を生成するために複数のカメラ１００が使用されてもよい。

また、カメラ１００は２つの波長成分を含む映像信号を出力してもよい。例えば、カメラ１００が出力する映像信号にＲ信号およびＧ信号のみが含まれる場合、生成される色空間は、図９に示すＨＳＶ色空間９０のうち色相（Ｈ）がＲからＧまでの範囲の領域のみであるが、その領域に肌色部分空間９００が含まれていれば、以上に説明した処理と同様の処理を行うことができる。

また、以上の第１の実施形態では、ＲＧＢ信号は、ＨＳＶ色空間９０の信号に変換されるが、色相と明るさを含む色空間であれば、ＨＳＬ（Hue, Saturation, Lightness）色空間など他の色空間の信号に変換されてもよい。いずれの場合も、肌色領域の色相の信号に基づく光の波長の時系列変化を検出することによって、環境変化に強い検出方法を提供することができる。なお、ＨＳＬ色空間の場合、輝度（Ｌ）が光の明るさすなわち強度として取得される。

≪第１の実施形態の変形例＃１≫
図８は、第１の実施形態の変形例＃１に係る生体情報検出装置１０ａのブロック構成の例を示した図である。図８に示すように、生体情報検出装置１０ａは、カメラ１００、映像取得部２０１、フレーム映像解析部２２０、肌色波長データ記憶部２０５ａ、肌色波長差分検出部２４０、脈波信号検出部２６０、データ表示部３００などを備えて構成される。この生体情報検出装置１０ａの構成は、第１の実施形態に係る生体情報検出装置１０（図１参照）における基準肌色設定部２０５が肌色波長データ記憶部２０５ａに変更されている点で第１の実施形態とは相違している。

ここで、映像取得部２０１およびフレーム映像解析部２２０の機能や詳細なブロック構成は、第１の実施形態の場合と同じ（図２など参照）なのでその説明を省略する。このとき、肌色波長データ記憶部２０５ａは、フレーム映像解析部２２０から出力される各画素の肌色波長データ信号２０４を１つまたは複数フレーム（例えば、３フレーム）分一時記憶する。そして、現在のフレームよりも１つまたは複数フレーム前のフレームの肌色波長データ信号２０４を、遅延肌色波長データ信号２０６ａとして出力する。

また、肌色波長差分検出部２４０および脈波信号検出部２６０の機能や詳細なブロック構成も第１の実施形態の場合と同じ（図６、図７など参照）なのでその説明を省略する。ただし、本変形例と第１の実施形態とでは、肌色波長差分検出部２４０に入力される信号に相違がある。

前記の第１の実施形態では、肌色波長差分検出部２４０（図６参照）には、各画素から得られる肌色レベル信号２０３、肌色波長データ信号２０４および基準肌色波長データ信号２０６が入力される。そして、肌色波長差分検出部２４０は、フレーム映像毎に肌色レベル信号２０３で識別される肌色領域の画素について、肌色波長データ信号２０４と基準肌色波長データ信号２０６との差分量を平均した値を、肌色波長差分データ信号２０７として取得する。

一方、本変形例では、肌色波長差分検出部２４０には、各画素から得られる肌色レベル信号２０３、肌色波長データ信号２０４および遅延肌色波長データ信号２０６ａが入力される。そして、肌色波長差分検出部２４０は、フレーム映像毎に肌色レベル信号２０３で識別される肌色領域の画素について、肌色波長データ信号２０４と遅延肌色波長データ信号２０６ａとの差分量を平均した値を、肌色波長差分データ信号２０７として取得する。なお、本変形例では、図６に示された符号“２０６”は、遅延肌色波長データ信号２０６ａを表すものとする。

ここで、本変形例で得られる肌色波長差分データ信号２０７は、肌色領域の画素について肌色波長データ信号２０４の平均値の時間変化量を求めたものともいえる。これに対して、第１の実施形態で得られる肌色波長差分データ信号２０７は、基準値（基準肌色波長データ信号２０６）からの差分量であるが、肌色領域の画素についての肌色波長データ信号２０４の平均値そのものである。したがって、本変形例で得られる肌色波長差分データ信号２０７は、第１の実施形態で得られる肌色波長差分データ信号２０７を時間微分したものに相当する。

脈波信号検出部２６０（図７参照）は、肌色波長差分検出部２４０から出力される肌色波長差分データ信号２０７を平滑化フィルタ２６３で平滑化した信号（平滑化波長差分データ信号２６４）を、脈波信号１０２として出力する。第１の実施形態における脈波信号１０２は、前記したように、心臓の拍動とともに増減する血流量に応じて変化する被験者の肌の色（色相）の変化を表した信号である。そして、この脈波信号１０２は、ほぼ一定の周期を有する周期関数で表される信号であり、この脈波信号１０２からは被験者の生体情報の１つである心拍数などを容易に得ることができる。

本変形例では、第１の実施形態と同様に、脈波信号１０２は、肌色波長差分データ信号２０７を平滑化フィルタ２６３で平滑化した信号である。したがって、本変形例における脈波信号１０２は、第１の実施形態における脈波信号１０２を時間微分したものに相当するものとなり、第１の実施形態と同様に周期関数で表される信号となる。よって、本変形例でも、第１の実施形態と同様に脈波信号１０２から被験者の生体情報の１つである心拍数などを容易に得ることができる。

以上のように、本変形例で得られる脈波信号１０２は、肌色領域に含まれる各画素の色相（Ｈ）を表した肌色波長データ信号２０４に基づいて得られる信号であるため、脈波信号１０２への明度（Ｖ）や彩度（Ｓ）の影響が排除される。そのため、外光の影響や陰影の影響などが除外されるので、本変形例でも環境の影響を受けにくい脈波信号１０２の検出技術が提供される。

≪第１の実施形態の変形例＃２≫
次に、第１の実施形態の変形例＃２に係る生体情報検出装置１０ｂについて説明する。本変形例に係る生体情報検出装置１０ｂの全体を表すブロック構成は、図１の第１の実施形態に係る生体情報検出装置１０（図１参照）のブロック構成と同じになるので、その図示を省略する。一方で、以下に図９および図１０を用いて説明するように、本変形例に係るフレーム映像解析部２２０ｂおよび肌色波長差分検出部２４０ｂの詳細なブロック構成は、第１の実施形態の場合と相違している。

なお、本変形例に係る生体情報検出装置１０ｂの特徴は、以下に詳細に説明するように、とくに外光の急激な変動による脈波信号１０２の検出精度の低下や誤検出を抑制しようとするものである。

図９は、第１の実施形態の変形例＃２に係るフレーム映像解析部２２０ｂの詳細なブロック構成の例を示した図である。図９に示すように、本変形例に係るフレーム映像解析部２２０ｂは、映像データ記憶部２２１、空間フィルタ２２３、ＨＳＶ変換部２２６、肌色領域検出部２２９、顔検出部２３０、信号切替部２３４などを備えて構成される。このフレーム映像解析部２２０ｂの構成は、基本的には、図２に示した第１の実施形態でのフレーム映像解析部２２０の構成に、信号切替部２３４が追加されたものとなっている。そして、肌色レベル信号２０３は、肌色領域検出部２２９からではなく、この信号切替部２３４から出力されている。

本変形例における映像データ記憶部２２１、空間フィルタ２２３、ＨＳＶ変換部２２６、顔検出部２３０の機能は、第１の実施形態の場合と同じである。また、肌色領域検出部２２９の機能も実質的には第１の実施形態の場合と同じであるが、その出力信号は、肌色レベル信号２０３（図２参照）ではなく、肌色検出信号２３３となっている点で相違している。ただし、第１の実施形態でいう肌色レベル信号２０３と本変形例でいう肌色検出信号２３３とは実質的に同じ信号である。

すなわち、本変形例に係る肌色領域検出部２２９も、第１の実施形態の場合と同様に、ＨＳＶ変換部２２６から出力される色相信号２０４（Ｈ）、彩度信号２２７（Ｓ）および明度信号２２８（Ｖ）の各値が肌色部分空間９００に含まれる否かを判定する。そして、その判定の結果、その各値が肌色部分空間９００に含まれる場合、肌色検出信号２３３として“１”を出力し、肌色部分空間９００に含まれない場合、肌色検出信号２３３として“０”を出力する。

信号切替部２３４には、ＨＳＶ変換部２２６から出力される明度信号２２８（Ｖ）および肌色領域検出部２２９から出力される肌色検出信号２３３が入力される。そして、信号切替部２３４は、肌色検出信号２３３の値が“１”である場合には、肌色レベル信号２０３ｂとしてＨＳＶ変換部２２６からの明度信号２２８（Ｖ）がそのまま出力される。また、肌色検出信号２３３の値が“０”である場合には、肌色レベル信号２０３ｂとしては“０”が出力される。

すなわち、本変形例では、肌色レベル信号２０３の値は、肌色領域外の画素については“０”となり、肌色領域内の画素については、その画素の明度（Ｖ）の値となる。そして、フレーム映像解析部２２０ｂからは、この肌色レベル信号２０３と肌色波長データ信号２０４が出力される。

また、顔検出部２３０は、第１の実施形態の場合と同様に、フレーム映像から顔部分を切り出す。そして、処理対象の画素が切り出された顔部分に含まれる場合には、顔検領域信号２３１＝“１”を出力し、含まれない場合には、顔検領域信号２３１＝“０”を出力する。そして、肌色領域検出部２２９は、フレーム映像のうち顔検出部２３０により切り出された顔領域に限定して肌色領域を検出する。

図１０は、第１の実施形態の変形例＃２に係る肌色波長差分検出部２４０ｂの詳細なブロック構成の例を示した図である。図１０に示すように、本変形例に係る肌色波長差分検出部２４０ｂは、波長差分算出部２４１、肌色面積算出部２４３ｂ、面積データ記憶部２５０、波長差分積算部２４４、積算データ記憶部２５６、平均波長差分算出部２４７ｂなどを備えて構成される。

ここで、波長差分算出部２４１および波長差分積算部２４４の機能は、第１の実施形態の場合とほとんど同じである。したがって、波長差分算出部２４１は、各画素の肌色レベル信号２０３ｂ、肌色波長データ信号２０４および基準肌色波長データ信号２０６を入力とし、肌色レベル信号２０３ｂの値に応じて、次のように設定される波長差分データ信号２４２を出力する。すなわち、肌色レベル信号２０３が“１”である場合には、波長差分データ信号２４２の値としては、肌色波長データ信号２０４から基準肌色波長データ信号２０６を差し引いた値が設定される。また、肌色レベル信号２０３が“０”である場合には、波長差分データ信号２４２の値としては“０”が設定される。

また、波長差分積算部２４４は、波長差分データ信号２４２を入力として、当該フレームの全画素について、波長差分データ信号２４２の値を積算し、その積算値を積算波長差分データ信号２４６として出力する。

これに対し、肌色面積算出部２４３ｂおよび平均波長差分算出部２４７ｂの機能は、第１の実施形態の場合の肌色面積算出部２４３および平均波長差分算出部２４７の機能とは多少異なっている。

肌色面積算出部２４３は、肌色領域の明度レベルを表す肌色レベル信号２０３を入力として、フレーム毎に肌色領域、すなわち、肌色レベル信号２０３が“０”でない画素数をカウントし、そのカウント値を肌色面積信号２４５として出力する。さらに、肌色面積算出部２４３は、入力された肌色レベル信号２０３を明度レベル信号２４９として出力する。また、面積データ記憶部２５０は、肌色面積信号２４５および明度レベル信号２４９を入力して記憶するとともに、遅延肌色面積信号２５２および遅延明度レベル信号２５１を出力する。

積算データ記憶部２５６は、平均波長差分算出部２４７ｂから出力される肌色波長差分データ信号２０７の値を複数フレームについて一時記憶するとともに、複数フレーム分前の肌色波長差分データ信号２０７である遅延積算肌色波長データ信号２５７を出力する。

平均波長差分算出部２４７ｂは、肌色面積信号２４５および積算波長差分データ信号２４６を入力とし、その積算波長差分データ信号２４６の値を肌色面積信号２４５の値で除算して得られる値を肌色波長差分データ信号２０７として出力する。この平均波長差分算出部２４７ｂの機能は、実質的に第１の実施形態における平均波長差分算出部２４７の機能と同じである。ただし、本変形例に係る平均波長差分算出部２４７ｂは、以下に示すような追加機能を有している。

平均波長差分算出部２４７ｂに入力されるフレーム間明度レベル差分信号２５３は、当該フレームの明度レベル信号２４９と、当該フレームより前の（例えば直前の）フレームの明度レベル信号２４９（すなわち、面積データ記憶部２５０から読み出された遅延明度レベル信号２５１）との差分である。したがって、フレーム間明度レベル差分信号２５３が大きいほど、フレーム間での肌色の明度の変化が大きいことを示している。

同様に、平均波長差分算出部２４７ｂに入力されるフレーム間肌色面積差分信号２５４は、当該フレームの肌色面積信号２４５と、当該フレームより前の（例えば直前の）フレームの肌色面積信号２４５（すなわち、面積データ記憶部２５０から読み出された遅延肌色面積信号２５２）との差分である。したがって、フレーム間肌色面積差分信号２５４が大きいほど、肌色面積の変化が大きいことを示している。

ここで、撮像対象である被験者が受ける外光に急激な変化が起きたことを想定する。このような場合には、フレーム間明度レベル差分信号２５３はフレーム間肌色面積差分信号２５４よりも大きく変化すると考えられる。または、フレーム間肌色面積差分信号２５４が急激に大きくなることが考えられる。

そこで、本変形例では、平均波長差分算出部２４７ｂには、肌色面積信号２４５および積算波長差分データ信号２４６に加えて、フレーム間明度レベル差分信号２５３、フレーム間肌色面積差分信号２５４、明度レベル差分閾値２５８および肌色面積差分閾値２５９が入力されるものとする。ここで、明度レベル差分閾値２５８および肌色面積差分閾値２５９は、いずれも予め設定された定数値である。

そして、フレーム間明度レベル差分信号２５３が明度レベル差分閾値２５８に比べて大きい場合には、平均波長差分算出部２４７ｂは、肌色波長差分データ信号２０７として、過去の（例えば１つ前などの）フレームの肌色波長差分データ信号２０７である遅延積算肌色波長データ信号２５７を出力してもよい。あるいは、当該フレームについて算出された肌色波長差分データ信号と遅延積算肌色波長データ信号２５７との平均値を、肌色波長差分データ信号２０７として出力してもよい。

同様に、フレーム間肌色面積差分信号２５４が肌色面積差分閾値２５９に比べて大きい場合には、平均波長差分算出部２４７ｂは、肌色波長差分データ信号２０７として、過去の（例えば１つ前の）フレームの肌色波長差分データ信号である遅延積算肌色波長データ信号２５７を出力してもよい。あるいは、当該フレームについて算出され出力された肌色波長差分データ信号と遅延積算肌色波長データ信号２５７との平均値を、肌色波長差分データ信号２０７として出力してもよい。

以上、本変形例によれば、外光の急激な変化により、肌色領域の明度や面積が急激に変化しても肌色波長差分データ信号２０７の急激な変化を抑制することができるので、脈波信号１０２の急激な変動を抑制することができる。したがって、本変形例では、外光の急激な変化があった場合であっても、心拍数などの生体情報の検出において、その検出精度の低下や誤検出を抑制することができる。

≪第２の実施形態≫
図１１は、第２の実施形態に係る生体情報検出装置２０のブロック構成の例を示した図である。図１１に示すように、生体情報検出装置２０は、カメラ１００、映像取得部２０１、フレーム映像解析部２２０、領域分割部２３５、複数の局所脈波検出部４００、脈波伝播速度算出部３０２、血圧推定部３２０、データ表示部３００などを備えて構成される。そして、生体情報検出装置２０は、カメラ１００により撮像される被験者の肌の色の時間変化から被験者の血圧値を推定し、その推定した血圧値をデータ表示部３００を介してＬＣＤなどの表示装置に表示する。

なお、以上の生体情報検出装置１０を構成する各部の機能は、カメラ１００およびデータ表示部３００を除けば、例えば専用の集積回路（ＦＰＧＡなど）を用いたハードウェア回路によって実現することができる。あるいは、プロセッサ、記憶装置（半導体メモリ、ハードディスク装置など）、入出力装置（キーボード、マウス、表示装置など）を備えたコンピュータにより実現することができる。ただし、この場合には、生体情報検出装置２０を構成する各部の機能は、前記プロセッサが前記記憶装置に格納された所定のプログラムを実行することによって実現される。

以下、生体情報検出装置２０を構成する各部の機能について詳しく説明するが、第１の実施形態に係る生体情報検出装置１０に含まれる構成要素と同じ構成要素については、同じ符号を付し、その説明を省略する。

カメラ１００は、第１の実施形態と同様に、被験者の肌の色の時間変化から脈波信号を検出し、さらに血圧を推定する必要があることから、例えば１秒間に３０フレーム程度の動画像を撮像可能なディジタルビデオカメラなどであるとする。また、映像取得部２０１およびフレーム映像解析部２２０の機能および詳細なブロック構成は、第１の実施形態の場合と同じ（図２など参照）なので、その説明を省略する。

したがって、本実施形態でも、フレーム映像解析部２２０は、処理対象のフレーム映像に含まれる各画素についての肌色レベル信号２０３および肌色波長データ信号２０４を出力する。ここで、肌色レベル信号２０３は、当該画素の映像信号が予め設定された肌色部分空間９００（図４参照）に含まれる、すなわち、肌色領域の信号であることを表す。また、肌色波長データ信号２０４は、その画素が肌色領域の信号である場合に、その画素が表す色の光の波長に対応するデータである。ただし、本実施形態では、肌色波長データ信号２０４として、当該画素の色相信号（Ｈ）を用いる。

領域分割部２３５、処理対象のフレーム映像を、例えば１０×１０の画素からなる複数の区画領域５０１に分割する（後出の図１４参照）。そして、領域分割部２３５は、フレーム映像解析部２２０から入力される各画素についての肌色レベル信号２０３および肌色波長データ信号２０４がいずれの区画領域５０１に含まれるかを判定する。また、領域分割部２３５は、各画素についての肌色レベル信号２０３および肌色波長データ信号２０４に各画素が属する区画領域５０１を識別する区画番号を付加した信号を、区画肌色レベル信号２０３ｋおよび区画肌色波長データ信号２０４ｋとして出力する。

領域分割部２３５から出力される区画番号が付された区画肌色レベル信号２０３ｋおよび区画肌色波長データ信号２０４ｋは、区画番号別に分類され、その区画番号に対応する局所脈波検出部４００に入力される。したがって、本実施形態では、局所脈波検出部４００は、領域分割部２３５で分割された区画領域５０１の数と同じ数、用意されることとなる。

図１２は、第２の実施形態に係る局所脈波検出部４００の詳細なブロック構成の例を示した図である。図１２に示すように、局所脈波検出部４００は、基準肌色設定部２０５、肌色波長差分検出部２４０および脈波信号検出部２６０を備えて構成される。そして、局所脈波検出部４００は、当該区画領域に含まれる画素に係る区画肌色レベル信号２０３ｋおよび区画肌色波長データ信号２０４ｋを入力し、区画脈波信号１０２ｋを出力する。ここで、基準肌色設定部２０５、肌色波長差分検出部２４０および脈波信号検出部２６０の機能および詳細なブロック構成は、第１の実施形態において図６、図７などを用いて説明したものと同じなので、その詳細な説明を省略する。

ただし、本実施形態では、各局所脈波検出部４００の肌色波長差分検出部２４０には、対応する区画領域５０１に属する画素からの区画肌色レベル信号２０３ｋおよび区画肌色波長データ信号２０４ｋのみが入力される点で、第１の実施形態とは相違している。すなわち、局所脈波検出部４００から出力される区画脈波信号１０２ｋは、対応する区画領域５０１毎にその区画領域５０１に属する画素からの区画肌色レベル信号２０３ｋおよび区画肌色波長データ信号２０４ｋを用いて生成される。つまり、本実施形態では、区画脈波信号１０２ｋは、フレームや顔領域毎に得られるのではなく、その局所部分というべき、例えば１０×１０の画素からなる区画領域５０１毎に得られる。

図１３は、第２の実施形態の変形例に係る局所脈波検出部４００ａの詳細なブロック構成の例を示した図である。図１３に示すように、局所脈波検出部４００ａは、肌色波長データ記憶部２０５ａ、肌色波長差分検出部２４０および脈波信号検出部２６０を備えて構成される。そして、局所脈波検出部４００ａは、区画肌色レベル信号２０３ｋおよび区画肌色波長データ信号２０４ｋを入力し、区画脈波信号１０２ｋを出力する。

この局所脈波検出部４００ａの構成は、図１２に示した局所脈波検出部４００の構成において基準肌色設定部２０５が肌色波長データ記憶部２０５ａに置き換えられたものである。すなわち、この構成は、第１の実施形態の変形例＃１と同様の変形例である。したがって、局所脈波検出部４００ａから出力される区画脈波信号１０２ｋは、図１２の局所脈波検出部４００から出力される区画脈波信号１０２ｋを時間微分したものに相当する。

そこで、第２の実施形態では、区画脈波信号１０２ｋは、図１２に示した局所脈波検出部４００から出力されるものであっても、図１３に示した局所脈波検出部４００から出力されるものであってもいいものとする。なお、以下、第２の実施形態についての説明に戻るが、以下の説明は、図１３の変形例にも同様に適用される。

脈波伝播速度算出部３０２（図１１参照）は、各区画領域に対応する局所脈波検出部４００から出力される区画脈波信号１０２ｋに基づき脈波伝播速度を算出し、脈波伝播速度信号３０３を出力する。

図１４は、フレーム映像５００を複数の区画領域５０１に分割し、縦方向の位置が同じ複数の区画領域５０１から得られる平均脈波信号１０２ａの例を示すとともに、脈波伝播速度算出の基本的な考え方を説明する図である。この図１４では、フレーム映像５００が太実線の矩形で表されている。また、ここで、区画領域５０１とは、フレーム映像５００が破線によって複数の部分に分割された各部分をいう。なお、このフレーム映像５００の中には、人物の映像が表示されており、この人物の顔部分には肌色領域５０２（網掛け表示部分）が存在することが示されている。

図１４において、肌色領域５０２とは、区画肌色レベル信号２０３ｋが“１”である画素からなる領域をいう。また、区画脈波信号１０２ｋは、当該区画領域５０１に含まれる肌色領域５０２の面積（画素数）とその肌色領域５０２の画素の区画肌色波長データ信号２０４ｋとに基づき算出される肌色波長差分データ信号２０７を用いて生成される。したがって、肌色領域５０２を含まない区画領域５０１からは区画脈波信号１０２ｋを得ることができない。また、１つの区画領域５０１に含まれる肌色領域５０２の面積が小さい場合にも、精度のよい区画脈波信号１０２ｋを得ることはできない。そこで、区画領域５０１の中に占める肌色領域５０２の面積比が所定の値以下、例えば５０％以下の区画領域５０１については、区画脈波信号１０２ｋの生成はできない（生成に失敗した）ものとする。

さらに、図１４に示すように、人の顔における血流は、概ね下方から上方に（太矢印の方向に）流れる。したがって、肌色領域５０２を含む区画領域５０１のうち、縦方向の位置が同じで横方向に並んだ複数の区画領域５０１（例えば、図１４で斜線を付した区画領域５０１）からは、ほぼ位相が揃った波形の区画脈波信号１０２ｋが得られる。一方、肌色領域５０２を含む区画領域５０１のうち、縦方向の位置が異なる区画領域５０１から得られる複数の区画脈波信号１０２ｋの波形には位相差が生じる。この位相差は、心臓の拍動に伴って血流が血管中を伝播するときの脈波すなわち区画脈波信号１０２ｋの位相差に他ならない。

また、図１４のフレーム映像５００の外右側には、それぞれの縦位置に対応する各区画領域５０１から得られた区画脈波信号１０２ｋを平均した平均脈波信号１０２ａが描かれている。また、この平均脈波信号１０２ａが極値となる時間（フレーム番号などで指定される時間）を平均脈波極値信号という。

このとき、脈波伝播速度（Ｖ）は、区画領域５０１の縦方向の位置が異なる２つの平均脈波信号１０２ａの位相差時間Δｔと、縦方向の距離ΔＬとを用いて算出することができる。すなわち、脈波伝播速度（Ｖ）は、Ｖ＝ΔＬ／Δｔの式により計算される。なお、これら２つの平均脈波信号１０２ａの位相差時間Δｔは、簡単には、例えば、その２つの平均脈波信号１０２ａそれぞれに対応する平均脈波極値信号１０３ａの時間差として求めることができる。

なお、平均脈波信号１０２ａは、それぞれの縦位置に対応する区画領域５０１から得られた区画脈波信号１０２ｋを全て平均したものであるほうがよいが、それぞれの縦位置に対応する１つの区画領域５０１からから得られた区画脈波信号１０２ｋであってもよい。ただし、一般には、計測値を平均化したもののほうが、その精度を向上させることができる。

図１５は、顔領域５１０を複数の区画領域５０１に分割し、縦方向の位置が同じ複数の区画領域５０１から得られる区画脈波信号１０２ｋの平均である平均脈波信号１０２ａの例を示すとともに、脈波伝播速度算出の基本的な考え方を説明する図である。この図１５には、顔検出部２３０で検出された顔領域５１０が太実線の矩形で表示されるとともに、その顔領域５１０が破線によって複数の区画領域５０１に分割されている様子が示されている。さらに、この顔領域５１０の中には、肌色領域５０２（網掛け表示部分）が存在することが示されている。

図１５は、区画脈波信号１０２ｋを求める区画領域５０１がフレーム映像５００全体ではなく、顔検出部２３０で検出された顔領域５１０の部分に限って設定される点で、図１６と相違している。このことを除けば、図１５についての説明は、図１４についての説明と同じになるので説明を省略する。

図１６は、縦方向の位置が同じである横方向の区画領域５０１の一部に、脈波信号欠損区画５０５が含まれている場合の脈波伝播速度の算出方法を説明する図である。ここで、脈波信号欠損区画５０５とは、区画脈波信号１０２ｋを取得できなかった区画領域５０１をいい、図１６では、白抜きの区画領域５０１として示されている。また、図１６で斜線が付された区画領域５０１は、区画脈波信号１０２ｋを取得できた区画領域５０１を表している。

前記したように、脈波伝播速度を算出するには、まず、縦方向の位置が同じで横方向の位置が異なる複数の区画領域５０１から得られた区画脈波信号１０２ｋの平均、すなわち、平均脈波信号１０２ａが算出される。図１６には、横方向の区画領域５０１の一部に脈波信号欠損区画５０５があるものの、区画脈波信号１０２ｋを取得できた区画領域５０１も存在する例が示されている。このような場合、平均脈波信号１０２ａは、区画脈波信号１０２ｋを取得できた区画領域５０１の区画脈波信号１０２ｋを平均することにより取得することができる。

図１６の例で具体的にいえば、縦方向の位置が上から２番目の横方向の区画領域５０１については、６つの区画領域５０１のうち４つの区画領域５０１が脈波信号欠損区画５０５となっているが、２つの区画領域５０１からは区画脈波信号１０２ｋが得られている。このような場合には、これら２つの区画領域５０１からの区画脈波信号１０２ｋを平均することにより、当該縦方向の位置についての平均脈波信号１０２ａを取得することができる。

以上のようにして、各縦方向の位置についての平均脈波信号１０２ａが得られると、そのそれぞれから平均脈波極値信号を得ることができる。そして、互いに隣接する縦方向の位置間の平均脈波極値信号の位相差時間Δｔを平均した平均値Ａｖｅ（Δｔ）を求めることができる。このとき、脈波伝播速度（Ｖ）は、Ｖ＝ΔＬ／Ａｖｅ（Δｔ）の式により求めることができる。

図１７は、全ての横方向の区画領域５０１が脈波信号欠損区画５０５となった縦方向の位置が存在する場合の脈波伝播速度の算出方法を説明する図である。図１７の例では、上から２番目および３番目の縦方向の位置では、全ての横方向の区画領域５０１が脈波信号欠損区画５０５となっているので、これらの縦方向の位置については、平均脈波信号１０２ａを得ることができない。しかしながら、上から１番目、４番目および５番目の縦方向の位置については、平均脈波信号１０２ａが取得されている。

このような場合、上から１番目および４番目の縦方向の位置の平均脈波信号１０２ａから、縦方向の距離が１つあたりの位相差時間Δｔ１を求め、さらに、上から４番目および５番目の縦方向の位置の平均脈波信号１０２ａから位相差時間Δｔ２を求める。そして、これらの位相差時間Δｔ１およびΔｔ２の平均値をＡｖｅ（Δｔ１，Δｔ２）と表すと、脈波伝播速度（Ｖ）は、Ｖ＝ΔＬ／Ａｖｅ（Δｔ１，Δｔ２）の式により求めることができる。

以上のように、全ての横方向の区画領域５０１が脈波信号欠損区画５０５となる縦方向の位置が存在しても、その上下側の縦方向の位置で平均脈波信号１０２ａが取得されていれば、それらを用いて、縦方向の距離が１つあたりの位相差時間Δｔを求めることができる。したがって、脈波伝播速度（Ｖ）を求めることができる。

図１８は、第２の実施形態に係る血圧推定部３２０の詳細なブロック構成の例を示した図である。図１８に示すように、血圧推定部３２０は、脈波伝播速度記憶部３２１と、平滑化フィルタ３２２と、血圧変換テーブル３２６と、血圧補正部３２５と、を備えて構成される。

ここで、脈波伝播速度記憶部３２１は、複数フレームに渡って入力される脈波伝播速度信号３０３の値を記憶するとともに、遅延脈波伝播速度信号３２７を出力する。また、平滑化フィルタ３２２は、前記入力される複数フレームに渡っての脈波伝播速度信号３０３および遅延脈波伝播速度信号３２７を平均化し、平滑化脈波伝播速度信号３２３を出力する。

血圧変換テーブル３２６は、平滑化脈波伝播速度信号３２３を入力して、自テーブルを検索し、血圧のもととなる血圧変換信号３２８を出力する。メーンズ・コルテベーグの式などによれば、拡張期の血圧値（Ｐ）は、脈波伝播速度（ＰＷＶ）の２乗に比例する。すなわち、Ｐ＝ｃ・ＰＷＶ^２ と表される。ただし、この比例定数ｃは、様々な被験者の生体情報（年齢、性別、血管半径、血液密度など）に依存する。そこで、血圧変換テーブル３２６は、平滑化脈波伝播速度信号３２３の値を脈波伝播速度（ＰＷＶ）として入力し、予め決められた代表的な生体情報に対する血圧値を血圧変換信号３２８として出力する。

血圧補正部３２５は、平滑化脈波伝播速度信号３２３、血圧変換信号３２８および血圧補正パラメータ３２４を入力し、血圧変換信号３２８を補正して、推定血圧値３０４を出力する。ここで、血圧補正パラメータ３２４は、前記比例定数ｃを決定するのに必要な数値であり、例えば、年齢、性別、血管半径、血液密度などである。すなわち、血圧補正部３２５は、血圧変換テーブル３２６により得られた代表的な生体情報に対する血圧値を被験者の生体情報に応じて補正する。

なお、本実施形態では、血圧推定部３２０は、脈波伝播速度信号３０３と血圧変換テーブル３２６と血圧補正パラメータ３２４とを用いて被験者の血圧値を推定しているが、メーンズ・コルテベーグの式などを用いた数式モデルにより被験者の推定血圧値３０４を算出するようにしてもよい。

以上、第２の実施形態によれば、肌色領域５０２が含まれた複数の区画領域５０１から得られる複数の区画脈波信号１０２ｋは、その肌色領域５０２に含まれる画素から得られる色相（Ｈ）に対応する区画肌色波長データ信号２０４ｋに基づいて生成される。この場合、区画脈波信号１０２ｋへの明度（Ｖ）や彩度（Ｓ）の影響が排除されることとなる。つまり、この第２の実施形態では、推定血圧値３０４は、明度（Ｖ）や彩度（Ｓ）の影響が排除された複数の区画脈波信号１０２ｋを用いて算出される。したがって、第２の実施形態では、外光の影響、すなわち、明度（Ｖ）や彩度（Ｓ）の影響が排除された推定血圧値３０４が得られることとなる。

なお、本発明は、以上に説明した実施形態および変形例に限定されるものではなく、さらに、様々な変形例が含まれる。例えば、前記した実施形態および変形例は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態や変形例の構成の一部を、他の実施形態や変形例の構成に置き換えることが可能であり、また、ある実施形態や変形例の構成に他の実施形態や変形例の構成を加えることも可能である。また、各実施形態や変形例の構成の一部について、他の実施形態や変形例に含まれる構成を追加・削除・置換することも可能である。

１０，１０ａ，１０ｂ 生体情報検出装置
２０ 生体情報検出装置
９０ ＨＳＶ色空間
１００ カメラ
１０１ 映像信号
１０２ 脈波信号
１０２ａ 平均脈波信号
１０２ｋ 区画脈波信号
１０３ 脈波極値信号
１０３ａ 平均脈波極値信号
２００ 映像処理部
２０１ 映像取得部
２０２ ＲＧＢ信号
２０３，２０３ｂ 肌色レベル信号
２０３ｋ 区画肌色レベル信号
２０４ 肌色波長データ信号（色相信号）
２０４ｋ 区画肌色波長データ信号
２０５ 基準肌色設定部
２０５ａ 肌色波長データ記憶部
２０６ 遅延肌色波長データ信号
２０６ａ 遅延肌色波長データ信号
２０７ 肌色波長差分データ信号
２２０，２２０ｂ フレーム映像解析部
２２１ 映像データ記憶部
２２２ 遅延ＲＧＢ信号
２２３ 空間フィルタ
２２４ 平滑化ＲＧＢ信号
２２５ アンパック信号
２２６ ＨＳＶ変換部
２２７ 彩度信号
２２８ 明度信号
２２９ 肌色領域検出部
２３０ 顔検出部（顔領域検出部）
２３１ 顔検領域信号
２３３ 肌色検出信号
２３４ 信号切替部
２３５ 領域分割部
２４０，２４０ｂ 肌色波長差分検出部
２４１ 波長差分算出部
２４２ 波長差分データ信号
２４３，２４３ｂ 肌色面積算出部
２４４ 波長差分積算部
２４５ 肌色面積信号
２４６ 積算波長差分データ信号
２４７，３４７ｂ 平均波長差分算出部
２４９ 明度レベル信号
２５０ 面積データ記憶部
２５１ 遅延明度レベル信号
２５２ 遅延肌色面積信号
２５３ フレーム間明度レベル差分信号
２５４ フレーム間肌色面積差分信号
２５６ 積算データ記憶部
２５７ 遅延積算肌色波長データ信号
２５８ 明度レベル差分閾値
２５９ 肌色面積差分閾値
２６０ 脈波信号検出部
２６１ 差分データ記憶部
２６２ 遅延肌色波長差分データ信号
２６３ 平滑化フィルタ
２６４ 平滑化波長差分データ信号
２６５ 平滑データ記憶部
２６６ 平滑化遅延波長差分データ信号
２６７ 傾き検出部
２６８ 符号データ信号
２６９ 符号データ記憶部
２７０ 遅延符号データ信号
２７１ 極値検出部
３００ データ表示部
３０２ 脈波伝播速度算出部
３０３ 脈波伝播速度信号
３０４ 推定血圧値
３２０ 血圧推定部
３２１ 脈波伝播速度記憶部
３２２ 平滑化フィルタ
３２３ 平滑化脈波伝播速度信号
３２４ 血圧補正パラメータ
３２５ 血圧補正部
３２６ 血圧変換テーブル
３２７ 遅延脈波伝播速度信号
３２８ 血圧変換信号
４００，４００ａ 局所脈波検出部
４０１ スライドバー
４０２ カーソル
５００ フレーム映像
５０１ 区画領域
５０２ 肌色領域
５０５ 脈波信号欠損区画
５１０ 顔領域
９００ 肌色部分空間

Claims (14)

1. 被験者を所定の時間間隔で連続して撮像するカメラと、
   前記カメラによって撮像されるフレーム映像の中から、所定の肌色とみなされる色を有する画素からなる領域を肌色領域として検出するとともに、前記肌色領域に含まれる各画素の映像信号から光の波長に対応する信号を肌色波長データとして検出するフレーム映像解析部と、
   前記フレーム映像解析部により検出された前記肌色波長データの、予め定められた基準波長データからの差分量、または、当該フレーム映像の前のフレーム映像で検出された前記肌色波長データからの差分量を、前記肌色領域に含まれる画素について平均し、その平均値を平均波長差分データとして検出する肌色波長差分検出部と、
   時系列に検出される前記平均波長差分データを平滑化した信号を脈波信号として検出する脈波信号検出部と、
   を備えることを特徴とする生体情報検出装置。
2. フレーム映像解析部は、
   前記カメラによって撮像されたフレーム映像の各画素の映像信号を少なくとも色相および明るさを含む色空間の信号に変換し、前記色空間の信号のうち前記色相の値を前記光の波長とみなすとともに、少なくとも前記色相の値に基づいて、その画素の色が前記所定の肌色とみなされる色であるか否かを判定すること
   を特徴とする請求項１に記載の生体情報検出装置。
3. 前記色空間は、
   色相Ｈ、彩度Ｓおよび明度Ｖを独立軸とするＨＳＶ色空間であること
   を特徴とする請求項２に記載の生体情報検出装置。
4. 前記色空間は、
   色相Ｈ、彩度Ｓおよび輝度Ｌを独立軸とするＨＳＬ色空間であること
   を特徴とする請求項２に記載の生体情報検出装置。
5. 前記フレーム映像の中から前記被験者の顔領域を検出する顔領域検出部をさらに備え、
   前記フレーム映像解析部は、
   前記顔領域検出部により検出された前記顔領域に限定して前記肌色領域を検出すること
   を特徴とする請求項１に記載の生体情報検出装置。
6. 前記フレーム映像を複数の区画領域に分割し、前記フレーム映像解析部により検出された前記肌色領域の画素の前記肌色波長データを前記区画領域毎に分類する領域分割部と、
   前記区画領域毎に分類された前記肌色領域の画素の前記肌色波長データに基づき、前記肌色領域が検出された前記区画領域毎に前記平均波長差分データを検出するとともに、時系列に検出される前記区画領域毎の前記平均波長差分データから前記区画領域それぞれにおける局所脈波信号を検出する局所脈波検出部と、
   前記局所脈波検出部により検出された複数の前記局所脈波信号のうち、前記被験者の血流方向に沿って位置が異なる少なくとも２つの前記区画領域で検出される複数の前記局所脈波信号から前記被験者の血圧を推定する血圧推定部と、
   をさらに備えること
   を特徴とする請求項１に記載の生体情報検出装置。
7. 前記血圧推定部は、
   前記被験者の血流方向に沿って位置が異なる少なくとも２つの前記区画領域で検出される複数の前記局所脈波信号の位相差時間と、前記脈波信号が検出された前記区画領域の位置の前記血流方向に沿った離間距離と、を用いて前記脈波信号の伝播速度である脈波伝播速度を算出する脈波伝播速度算出部を備え、
   前記脈波伝播速度算出部により算出される脈波伝播速度を用いて前記被験者の血圧を推定すること
   を特徴とする請求項６に記載の生体情報検出装置。
8. カメラを備え、前記カメラにより被験者を所定の時間間隔で連続して撮像したフレーム映像に基づいて前記被験者の生体情報を検出する生体情報検出装置が、
   前記カメラによって撮像されるフレーム映像の中から、所定の肌色とみなされる色を有する画素からなる領域を肌色領域として検出するとともに、前記肌色領域に含まれる各画素の映像信号から光の波長に対応する信号を肌色波長データとして検出するフレーム映像解析ステップと、
   前記フレーム映像解析ステップで検出された肌色波長データの、検出された前記肌色波長データの、予め定められた基準波長データからの差分量、または、当該フレーム映像の前のフレーム映像で検出された前記肌色波長データからの差分量を、前記肌色領域に含まれる画素について平均し、その平均値を平均波長差分データとして検出する肌色波長変動検出ステップと、
   時系列に検出される前記平均波長差分データを平滑化した信号を脈波信号として検出する脈波信号検出ステップと、
   を実行することを特徴とする生体情報検出方法。
9. 前記生体情報検出装置は、
   フレーム映像解析ステップでは、前記カメラによって撮像されたフレーム映像の各画素の映像信号を少なくとも色相および明るさを含む色空間の信号に変換し、前記色空間の信号のうち前記色相の値を前記光の波長とみなすとともに、少なくとも前記色相の値に基づいて、その画素の色が前記所定の肌色とみなされる色であるか否かを判定すること
   を特徴とする請求項８に記載の生体情報検出方法。
10. 前記色空間は、
    色相Ｈ、彩度Ｓおよび明度Ｖを独立軸とするＨＳＶ色空間であること
    を特徴とする請求項９に記載の生体情報検出方法。
11. 前記色空間は、
    色相Ｈ、彩度Ｓおよび輝度Ｌを独立軸とするＨＳＬ色空間であること
    を特徴とする請求項９に記載の生体情報検出方法。
12. 前記生体情報検出装置は、
    前記フレーム映像の中から前記被験者の顔領域を検出する顔領域検出ステップをさらに実行し、
    前記フレーム映像解析ステップでは、前記顔領域検出ステップで検出された前記顔領域に限定して前記肌色領域を検出すること
    を特徴とする請求項９に記載の生体情報検出方法。
13. 前記生体情報検出装置は、
    前記フレーム映像を複数の区画領域に分割し、前記フレーム映像解析ステップで検出された前記肌色領域の画素の前記肌色波長データを前記区画領域毎に分類する領域分割ステップと、
    前記区画領域毎に分類された前記肌色領域の画素の前記肌色波長データに基づき、前記肌色領域が検出された前記区画領域毎に前記平均波長差分データを検出するとともに、時系列に検出される前記区画領域毎の前記平均波長差分データから前記区画領域それぞれにおける局所脈波信号を検出する局所脈波検出ステップと、
    前記局所脈波検出ステップで検出された複数の前記局所脈波信号のうち、前記被験者の血流方向に沿って位置が異なる少なくとも２つの前記区画領域で検出される複数の前記局所脈波信号から前記被験者の血圧を推定する血圧推定ステップと、
    をさらに実行すること
    を特徴とする請求項８に記載の生体情報検出方法。
14. 前記生体情報検出装置は、
    前記被験者の血流方向に沿って位置が異なる少なくとも２つの前記区画領域で検出される複数の前記局所脈波信号の位相差時間と、前記脈波信号が検出された前記区画領域の位置の前記血流方向に沿った離間距離と、を用いて前記脈波信号の伝播速度である脈波伝播速度を算出する脈波伝播速度ステップを実行し、
    前記血圧推定ステップでは前記算出した脈波伝播速度を用いて前記被験者の血圧を推定すること
    を特徴とする請求項１３に記載の生体情報検出方法。

Images