JP2021019940A - 生体情報抽出装置 - Google Patents

Abstract

【課題】生体情報を精度よく抽出することを課題とする。【解決手段】顔画像Ｍ１と、顔とは異なる場所に設置され、顔における環境光を取得するための参照エリアＲの画像である参照エリア画像Ｍ２と、を撮像するカメラ１１１と、参照エリア画像Ｍ２のＨＳＶ信号値が一定値に入るようにカメラ１１１のカメラパラメータを調整するカメラパラメータ調整部と、カメラパラメータ調整部により調整された状態で撮像された顔画像Ｍ１の時系列データから生体の生体情報を抽出する生体情報抽出部と、を備えることを特徴とする。【選択図】図１

Description

本発明は、生体情報抽出装置の技術に関する。

現在、運転者の安全技術の向上、及び健康管理サービス展開向けに、対象者の状態検知技術が望まれている。このような要望は、自動車に限らず、飛行機、鉄道、船舶等多岐に渡っている。そして、このような要望に応えるべく、大学、企業等といった様々な機関で、カメラや、センサを用いた運転者の状態監視技術が研究されている。ここで、状態監視技術の対象は、心拍、血圧、姿勢、正面を向いていないこと等である。しかし、これらの運転者の状態監視技術は、その判定精度や、コスト、準備等による運転者の負担感等により、実際に普及しているものは少ない。

非接触で人の状態を検知することで運転者の負担感を軽減する技術がある。このような技術として、カメラで撮像された運転者の画像から脈波を算出するものや、ドップラーセンサを用いて運転者の心拍や呼吸を計測するものがある。

特許文献１には、「対象者の顔を含む領域を撮影した動画を取得する動画取得手段と、前記動画に写っている前記対象者の目の部分を特定する目部分特定手段と、前記動画の撮影環境の変化によって生じた明度の変化を、前記特定した目の部分の所定の色空間成分の変化から取得する明度変化取得手段と、前記取得した明度の変化を用いて前記動画の明度を補正する明度補正手段と、前記補正された前記対象者の皮膚の部分における所定の色空間成分の時間変化から前記対象者の脈波を取得する脈波取得手段と、前記取得した脈波を出力する出力手段と、を具備したことを特徴とする」脈波検出装置、及び脈波検出プログラムが開示されている（請求項１参照）。

特開第６３０８１６１号公報

カメラで撮像した画像を用いて人の生体情報（呼吸、脈波、血圧等）を計測する場合、外光の影響を受けることで、運転中の生体情報を正しく測定できないことが報告されている。生体情報は、顔画像の特定色成分の揺らぎから算出される。そのため、光の当たり方が異なると、コンピュータは、人の顔色が変化したのか、外部環境が変化したのか区別することが難しい。その結果、生体情報の計測精度が低下してしまう。

特許文献１に記載の技術は、脈波シグナル（Ｇ成分）の弱領域の輝度変化を基に、顔画像を補正するものである。しかし、夕焼け等急激な光の周波数変化があった場合、顔に入射するＲＧＢ成分の比率が変化し、明度変化だけでは脈波が正しく計測できない。

このような背景に鑑みて本発明がなされたのであり、本発明は、生体情報を精度よく抽出することを課題とする。

前記した課題を解決するため、本発明は、生体の肌を含む第１の画像と、前記生体の肌とは異なる場所に設置され、前記生体の肌における環境光に関する情報を取得するための参照エリアの画像である第２の画像と、を撮像する撮像部と、前記第２の画像のＨＳＶ信号値が一定値に入るように前記撮像部のパラメータを調整するパラメータ調整部と、前記パラメータ調整部により調整された状態で撮像された前記第１の画像の時系列データから前記生体の生体情報を抽出する生体情報抽出部と、前記生体情報抽出部により抽出された前記生体情報を出力する出力部と、を有することを特徴とする。
その他の解決手段は、実施形態において適宜記載する。

本発明によれば、生体情報を精度よく抽出することができる。

第１実施形態の概要を示す図である。 第２実施形態の概略例を示す図である。 第２実施形態に係る生体情報抽出装置の機能ブロック図である。 顔画像解析部の詳細な構成を示す図である。 参照エリア画像解析部の詳細な構成を示す図である。 第２実施形態に係る生体情報抽出装置のハードウェア構成を示す図である。 第２実施形態における運転者管理システムの構成を示す図である。 第２実施形態における管理システムの構成例を示す図である。 第１実施形態に係る生体情報抽出装置における処理手順を示すフローチャート（その１）である。 第１実施形態に係る生体情報抽出装置における処理手順を示すフローチャート（その２）である。 カメラパラメータの調整例を示す図（その１）である。 カメラパラメータの調整例を示す図（その２）である。 カメラパラメータの調整例を示す図（その３）である。 第３実施形態に係る生体情報抽出装置の例を示す図（その１）である。 第３実施形態に係る生体情報抽出装置の例を示す図（その２）である。 第４実施形態の概要を示す図（その１）である。 第４実施形態の概要を示す図（その２）である。 第４実施形態に係る生体情報抽出装置の機能ブロック図である。 第４実施形態における顔方向検出処理の手順を示すフローチャートである。

次に、本発明を実施するための形態（「実施形態」という）について、適宜図面を参照しながら詳細に説明する。なお、本実施形態では、生体情報抽出装置１が自動車に搭載されている例を記載するが、トラック、飛行機、船舶、鉄道等、人が運転するものであれば搭載可能である。

［第１実施形態］
（概要）
図１は、第１実施形態の概要を示す図である。
図１に示すように、シートベルトＢに参照エリアＲが設置され、撮像部であるカメラ１１１が参照エリアＲ、及び、運転者の顔の画像を含む符号Ｍで示される領域の画像（以降、撮像画像Ｍと称する）を撮像する。カメラ１１１として、例えば１秒間に３０フレーム程度のビデオカメラが使用される。撮像画像Ｍから、第１の画像である運転者の顔画像（符号Ｍ１で示される領域の画像）及び第２の画像である参照エリア画像（参照エリア画像Ｍ２と称する）が抽出される。符号Ｍ１で示される領域の画像を、以降、顔画像Ｍ１と称する。そして、参照エリア画像Ｍ２におけるＨＳＶ信号を基に、カメラパラメータが調整される。そして、カメラ１１１は、算出された補正値を基に、カメラパラメータを調整して顔画像Ｍ１を含む画像を撮像する。そして、カメラパラメータが調整された上で撮像された顔画像Ｍ１から脈波等の生体情報が抽出される。なお、カメラ１１１は、静止画を連続的に撮像してもよいし、動画を撮像してもよい。

このようにすることで、参照エリアＲの波長成分をリアルタイム解析し、脈波計測に必要なＨＳＶ（明度、彩度、色相）の範囲を維持するように、カメラパラメータを調整することができる。ここで、カメラパラメータは、カメラ１１１のホワイトバランス、ゲイン、彩度、コントラスト、露出（絞り及びシャッタ速度の少なくとも一方）等を制御する。

ここで、参照エリアＲは以下のようなものが考えられる。
（１）数〜数十μmの凹凸形状を有するシート状のもので、入射した光に対しランバート反射を実現することができるもの。
（２）表面が誘電体で多層コーティングされることで特定波長のみ反射するもの。金属材料による波長選択コーティングが行われているもよい。また、前記の反射光に指向性をもたせる様な表面形状を施してもよい。例えば、脈派の検知に使用されるグリーン等である。このようにすることで、安定してＨＳＶ信号を取得することができる。

また、図１では、参照エリアＲがシートベルトＢに設けられているが、これに限らず、顔周辺であれば、服、帽子、メガネ、ネクタイ、マスク等に設けられてもよい。また、参照エリアＲは、（１）、（２）の特性を有する反射板であってもよいし、シートベルトＢの一部を（１）、（２）の特性を有する素材にしてもよい。つまり、参照エリアＲは、顔画像Ｍ１が撮像される領域（生体情報が抽出される肌領域）の近傍に備えられる。

詳細は後記するが、第１実施形態によれば脈波等の生体情報の抽出について、外光（環境光）の影響を提言することができ、ロバスト性を向上させることができる。

［第２実施形態］
図２は、第２実施形態の概略例を示す図である。
図２において、図１と同様の構成については同一の符号を付して説明を省略する。
図２に示す手法が、図１に示す手法と異なる点は、夜間に対応している点である。そして、図２に示す手法は、夜間に対応するため近赤外線ライト１１２を有している。なお、図２では、近赤外線ライト１１２は、カメラ１１１と一体の装置となっているが、別の装置として設置されてもよい。

そして、環境が夜間であると判定されると、近赤外線ライト１１２が運転者の顔及び参照エリアＲに照射される。環境が夜間であるか否かの判定方法は後記する。

第２実施形態のようなシステムとすることで、暗い環境下でも第１実施形態の効果を得ることができる。

以下では、第２実施形態の生体情報抽出装置１を基本として、機能ブロック図、システム図、フローチャートを説明するが、これらは第１実施形態に対しても適用可能である。

（システム構成）
図３は、第２実施形態に係る生体情報抽出装置１の機能ブロック図である。
生体情報抽出装置１は、夜間モード切替処理部１０１を有する。また、生体情報抽出装置１は、カメラ制御部１０２、画像取得部１０３を有する。さらに、生体情報抽出装置１は、後記して説明する参照エリア画像解析部１４０、同じく後記して説明する顔画像解析部１３０を有する。そして、生体情報抽出装置１は、判定部１０４、カメラパラメータ調整部１０５、学習部１０６、監視処理部１０７、緊急処理部１０８、ログ解析部１０９を有する。また、生体情報抽出装置１は、カメラ１１１、近赤外線ライト１１２を有する。さらに、生体情報抽出装置１は、カメラパラメータ記憶部１２１、ログ記憶部１２２、ＮＧデータ記憶部１２３を有する。

以下、各部の説明を行うが、詳細な説明は後記するとし、ここでは簡単に説明する。
夜間モード切替処理部１０１は、環境が夜間であるか否かを判定し、環境が夜間であれば、夜間モードに切り替え、近赤外線ライト１１２を点灯する。
カメラ制御部１０２は、カメラパラメータに従ってカメラ１１１を制御する。カメラパラメータについては後記する。
画像取得部１０３は、カメラ１１１が撮像した撮像画像Ｍを取得する。

顔画像解析部１３０及び参照エリア画像解析部１４０については後記する。
判定部１０４は、顔画像解析部１３０及び参照エリア画像解析部１４０の解析結果を基に、カメラパラメータの調整が必要か否か判定する。
カメラパラメータ調整部１０５は、判定部１０４によってカメラパラメータの調整が必要と判定された場合、カメラパラメータの調整を行う。

また、カメラパラメータ調整部１０５は、算出したカメラパラメータの調整値を、画像取得部１０３から取得した撮像画像Ｍと対応付けてカメラパラメータ記憶部１２１に格納する。あるいは、カメラパラメータ調整部１０５は、図７に示す時刻記録部３１３及びＧＰＳ記録部３１４から時刻情報及び位置・方角情報を取得して、時刻情報、位置・方角情報、撮像画像Ｍと対応付けてカメラパラメータ記憶部１２１に格納してもよい。
学習部１０６は、カメラパラメータ記憶部１２１に蓄積されているカメラパラメータを学習する。学習は、例えば、撮像画像Ｍの輝度パターン等を基に、カメラパラメータを分類する。カメラパラメータが、撮像画像Ｍに加えて時刻情報、位置・方角情報にも対応付けられている場合、学習部１０６は、これらの情報も併せて学習する。

監視処理部１０７は、顔画像解析部１３０によって抽出された生体情報を基に、運転者の状態を監視する。また、監視処理部１０７は、運転者の状態が異常と判定すると、その生体情報をＮＧデータ記憶部１２３に格納する。ＮＧデータ記憶部１２３に格納されたデータは、例えば、図示しない運行管理センタに送信される。そして、運行管理センタの担当者が送信されたＮＧデータを解析し、必要に応じて病院等へ連絡する。
緊急処理部１０８は、監視処理部１０７によって運転者の異常を検知されると、所定の緊急処理を行う。
ログ解析部１０９は、ログ記憶部１２２に格納された生体情報を解析することで、だれがいつ、どこで生体情報抽出装置１を使用したかといったログ解析（所定の解析）を行う。このようなログ解析を行うことにより、セキュリティの向上を実現することができる。

（顔画像解析部１３０）
図４は、図３に示す顔画像解析部１３０の詳細な構成を示す図である。
顔画像解析部１３０は、顔画像抽出部１３１、顔画像ＲＧＢ信号処理部１３２、顔画像ＨＳＶ変換部１３３、生体情報抽出部１３４を有する。
顔画像抽出部１３１は、画像取得部１０３が取得した撮像画像Ｍから顔画像Ｍ１を抽出する。
前記したように、例えば１秒間に３０フレーム程度のビデオカメラを使用された場合、顔画像ＲＧＢ信号処理部１３２は、フレーム毎に顔画像Ｍ１から、ＲＧＢ信号それぞれ（Ｒ信号、Ｇ信号、Ｂ信号）を取得する。次に、顔画像ＲＧＢ信号処理部１３２は、取得したＲＧＢデータにおいて、例えば注目画素を中心とする縦横３タップすなわち３×３画素にコンボリューションカーネルを用いて畳み込み演算を実施する。得られた値が当該等注目画素の平滑化ＲＧＢ信号となる。なお、コンボリューションカーネルの行列式の成分は、例えば、加重平均の係数であり、それらの合計値が１．０になればよく、平均分布やガウシアン分布などを用いて適宜定めることができる。

顔画像ＨＳＶ変換部１３３は、顔画像ＲＧＢ信号処理部１３２が出力する平滑化ＲＧＢ信号をＲ（赤）、Ｇ（緑）、Ｂ（青）に分解した信号（分解ＲＧＢ信号と称する）を取得する。そして、顔画像ＨＳＶ変換部１３３は、分解ＲＧＢ信号を色相信号（Ｈ）、彩度信号（Ｓ）、明度信号（Ｖ）からなるＨＳＶ空間信号に変換する。

生体情報抽出部１３４は、顔画像ＨＳＶ変換部１３３で変換された、複数フレームの連続した時系列データの差分から脈波等の生体情報を抽出する。顔画像Ｍ１から生体情報を抽出する技術は、特開２０１８−８６１３０号公報、特開２０１９−８０８１１号公報等に開示されている。また、生体情報抽出部１３４は、抽出した生体情報を、ユーザ情報、図７に示す時刻記録部３１３から取得した時刻情報と対応付けてログ記憶部１２２に格納する。生体情報抽出部１３４は、生体情報をログ記憶部１２２に格納する際に、図７に示すＧＰＳ記録部３１４から時刻情報や、位置・方角情報を取得してもよい。そして、生体情報抽出部１３４は、位置・方角情報と対応付けて生体情報をログ記憶部１２２に格納してもよい。

（参照エリア画像解析部１４０）
図５は、図３に示す参照エリア画像解析部１４０の詳細な構成を示す図である。
参照エリア画像解析部１４０は、参照エリア画像抽出部１４１、参照エリア画像ＲＧＢ信号処理部１４２、参照エリア画像ＨＳＶ変換部１４３、ＨＳＶ差分算出部１４４を有する。
顔画像解析部１３０と同様に参照エリア画像抽出部１４１は、画像取得部１０３が取得した撮像画像Ｍから参照エリア画像Ｍ２を抽出する。
参照エリア画像ＲＧＢ信号処理部１４２は、平滑化ＲＧＢ信号を取得する。参照エリア画像ＲＧＢ信号処理部１４２による平滑化ＲＧＢ信号の取得は、対象となる画像が参照エリア画像Ｍ２となること以外は、顔画像ＲＧＢ信号処理部１３２と同様の処理である。
参照エリア画像ＨＳＶ変換部１４３は、平滑化ＲＧＢ信号をＲ（赤）、Ｇ（緑）、Ｂ（青）に分解した信号（分解ＲＧＢ信号）を取得する。そして、参照エリア画像ＨＳＶ変換部１４３は、分解ＲＧＢ信号を色相信号（Ｈ）、彩度信号（Ｓ）、明度信号（Ｖ）からなるＨＳＶ空間信号に変換する。参照エリア画像ＨＳＶ変換部１４３によるＨＳＶ空間信号の変換は、対象となる画像が参照エリア画像Ｍ２となること以外は、顔画像ＨＳＶ変換部１３３と同様の処理である。
ＨＳＶ差分算出部１４４は、以前の複数フレームと、直近の複数フレームとにおけるＨＳＶ信号値の差分を算出する。ＨＳＶ差分算出部１４４は、例えば、以前の複数フレームにおける色相信号（Ｈ）、彩度信号（Ｓ）、明度信号（Ｖ）それぞれの平均値と、直近の複数フレームにおける色相信号（Ｈ）、彩度信号（Ｓ）、明度信号（Ｖ）それぞれの平均値との差分を算出する。

（ハードウェア構成）
図６は、第２実施形態に係る生体情報抽出装置１のハードウェア構成を示す図である。
生体情報抽出装置１は、メモリ２０１、ＣＰＵ２０２（Central Processing Unit）、記憶装置２０３を有している。メモリ２０１と記憶装置２０３の種類は、必要に応じてＲＯＭ（Read Only Memory）や、ＲＡＭ（Random Access Memory）等を用いることができる。また、生体情報抽出装置１は、カメラ１１１、近赤外線ライト１１２を有している。なお、生体情報抽出装置１は、車載ＥＣＵ（Electronic Control Unit）等に搭載されてもよいし、車載ＥＣＵとは別のユニットとして搭載されてもよい。ここでは、生体情報抽出装置１が、車載ＥＣＵとは別のユニットとして搭載されているものとする。

メモリ２０１に格納されてるプログラムがＣＰＵ２０２によって実行されることによって、図３〜図５に示す各部１０１〜１０９，１３１〜１３４，１４１〜１４４が具現化する。
また、記憶装置２０３は、図４におけるカメラパラメータ記憶部１２１、ログ記憶部１２２、ＮＧデータ記憶部１２３に相当するものである。
なお、カメラ１１１及び近赤外線ライト１１２は、図１〜図４で説明済みであるので、ここでの説明を省略する。

（運転者管理システム３）
図７は、第２実施形態における運転者管理システム３の構成を示す図である。
運転者管理システム３は、生体情報抽出装置１及び機器システム３００を有している。生体情報抽出装置１は、図３〜図６において説明済みであるので、ここでの説明を省略する。
機器システム３００は、車載ＥＣＵ等に搭載されており、メモリ３１０、送受信装置３０１、ＣＰＵ３０２、記憶装置３０３、スピーカ３０４、表示装置３０５、マイク３０６を有している。表示装置３０５は、例えば、自動車Ｃ１（図８参照）のフロントディスプレイ等である。
そして、メモリ３１０に格納されているプログラムがＣＰＵ３０２によって実行されることにより、車両制御部３１１、出力制御部３１２、時刻記録部３１３、ＧＰＳ記録部３１４が具現化している。

車両制御部３１１は、生体情報抽出装置１により運転者の異常が確認されると、自動車Ｃ１を緊急停止させるといった自動運転に関わる処理を行う。
出力制御部３１２は、スピーカ３０４から音声を発声させたり、表示装置３０５に情報を表示させたりする。
時刻記録部３１３及びＧＰＳ記録部３１４は、生体情報の異常を検出した時刻及び場所を生体情報抽出部１３４や、カメラパラメータ調整部１０５等に送る。

なお、本実施形態では、生体情報抽出装置１と、機器システム３００とが別のユニットに備えられているとしている。しかし、それに限らず、生体情報抽出装置１と、機器システム３００とが同じユニットに備えられてもよい。つまり、図６及び図７におけるメモリ２０１，３１０、ＣＰＵ２０２，３０２，記憶装置２０３，３０３のそれぞれが同一のものであってもよい。
なお、生体情報抽出装置１が機器システム３００を内包していてもよいし、機器システム３００が生体情報抽出装置１を内包していてもよい。

（管理システムＺ）
図８は、第２実施形態における管理システムＺの構成例を示す図である。
管理システムＺは、自動車Ｃ１や、鉄道車両Ｃ２に搭載された運転者管理システム３と、運行会社４、保険会社５等がクラウドサービス（ネットワーク）ＳＶを介して接続されている。
生体情報抽出装置１が運転者の異常を検知すると、運転者管理システム３は、運行会社４にその旨を通知する。すると、運行会社４のオペレータが対象となる自動車Ｃ１や、鉄道車両Ｃ２の運転者に呼びかけ等を行う。
保険会社５は、本実施形態の生体情報抽出装置１（運転者管理システム３）を搭載している自動車Ｃ１の保険料を安くする等の保険サービスを提供する。
このように、管理システムＺが、クラウドサービスＳＶに接続されていることで、生体情報の様々な活用が可能となる。

（フローチャート）
図９Ａ及び図９Ｂは、第１実施形態に係る生体情報抽出装置１における処理手順を示すフローチャートである。
まず、ユーザによって電源がＯＮされる（図９ＡのＳ１０１）。生体情報抽出装置１が乗用車に搭載されている場合、ユーザがイグニッションスイッチをＯＮにすることで、生体情報抽出装置１の電源がＯＮとなる。
次に、夜間モード切替処理部１０１は、現在が夜間であるか否かを判定する（Ｓ１０２）。夜間モード切替処理部１０１は、カメラ１１１が撮像した撮像画像Ｍの平均ＲＧＢ信号値が所定の値以下になったか否かや、時刻等を基に現在が夜間であるか否かを判定する。

現在が夜間である場合（Ｓ１０２→Ｙｅｓ）、夜間モード切替処理部１０１はモードを夜間モードとし（Ｓ１０３）、ステップＳ１０４へ処理を進める。具体的には、夜間モード切替処理部１０１が近赤外線ライト１１２を点灯する。

現在が夜間ではない場合（Ｓ１０２→Ｎｏ）、カメラ制御部１０２は、デフォルトとなるカメラパラメータをカメラパラメータ記憶部１２１から取得する（Ｓ１０４）。カメラパラメータは、露出、明度、コントラスト、ホワイトバランス、色の強さ、ゲイン、彩度等である。また、学習部１０６による学習によって、撮像画像Ｍの輝度パターン等と、カメラパラメータとが予め分類分けされている。つまり、このような撮像画像Ｍには、このようなカメラパラメータが過去使用されたことが学習されている。カメラ制御部１０２は、撮像された撮像画像Ｍの輝度パターン等を基に、カメラパラメータ記憶部１２１を探索し、最も類似している撮像画像Ｍに対応付けられているカメラパラメータを取得する。カメラパラメータが撮像画像Ｍに加えて、時刻情報、位置・方角情報にも対応付けられてカメラパラメータ記憶部１２１に格納されている場合、カメラ制御部１０２は、現在の時刻情報、位置・方角情報も加味してカメラパラメータを探索する。現在の時刻情報、位置・方角情報は、図７の時刻記録部３１３、ＧＰＳ記録部３１４から取得される。このように、予め、学習部１０６による学習を行っておくことで、適切なカメラパラメータのデフォルトを取得することができる。
そして、カメラ制御部１０２は、取得したカメラパラメータを設定する（Ｓ１０５）。

次に、カメラ制御部１０２は、設定されたカメラパラメータで撮像を行う（Ｓ１０６）。このときの撮像では、参照エリアＲ及び顔の撮像が一度に行われる。画像取得部１０３は、撮像された撮像画像Ｍを取得する。

そして、顔画像抽出部１３１は、撮像された撮像画像Ｍから顔画像Ｍ１を抽出する（Ｓ１１１）。
次に、顔画像ＲＧＢ信号処理部１３２は、抽出された顔画像Ｍ１における平滑化ＲＧＢ信号を取得する（Ｓ１１２）。顔画像ＲＧＢ信号処理部１３２による平滑化ＲＧＢ信号の取得方法は前記しているので、ここでの説明を省略する。
そして、顔画像ＨＳＶ変換部１３３は、前記したように、ステップＳＳ１２２で取得した平滑化ＲＧＢ信号をＲ（赤）、Ｇ（緑）、Ｂ（青）に分解した信号（分解ＲＧＢ信号）を取得する。そして、前記したように、顔画像ＨＳＶ変換部１３３は、取得した分解ＲＧＢ信号を色相信号（Ｈ）、彩度信号（Ｓ）、明度信号（Ｖ）からなるＨＳＶ空間信号に変換する（Ｓ１１３）。
次に、生体情報抽出部１３４は、複数の連続した時系列における顔画像Ｍ１から生体情報としての脈波を抽出する（Ｓ１１４）。ステップＳ１１４の処理は、前記したように、特開２０１８−８６１３０号公報、特開２０１９−８０８１１号公報等に開示されている技術を用いて行われる。また、この際、生体情報抽出部１３４は、時刻記録部３１３等から時刻情報等を取得し、ユーザ情報、取得した時刻情報等と対応付けて脈波の情報をログ記憶部１２２に格納する。
その後、生体情報抽出装置１は図９ＢのステップＳ１３１へ処理を進める。

また、生体情報抽出装置１は、ステップＳ１１１〜Ｓ１１４の処理と並行してステップＳ１２１〜Ｓ１２４の処理を行う。
まず、参照エリア画像抽出部１４１は、撮像画像Ｍから参照エリア画像Ｍ２を抽出する（Ｓ１２１）。
次に、参照エリア画像ＲＧＢ信号処理部１４２は、抽出した参照エリア画像Ｍ２における平滑化ＲＧＢ信号を取得する（Ｓ１２２）。参照エリア画像ＲＧＢ信号処理部１４２による平滑化ＲＧＢ信号の取得方法は前記しているので、ここでの説明を省略する。
そして、参照エリア画像ＨＳＶ変換部１４３は、前記したように、ステップＳＳ１２２で取得した平滑化ＲＧＢ信号をＲ（赤）、Ｇ（緑）、Ｂ（青）に分解した信号（分解ＲＧＢ信号）を取得する。そして、前記したように、参照エリア画像ＨＳＶ変換部１４３は、取得した分解ＲＧＢ信号を色相信号（Ｈ）、彩度信号（Ｓ）、明度信号（Ｖ）からなるＨＳＶ空間信号に変換する（Ｓ１２３）。
続いて、ＨＳＶ差分算出部１４４は、変換したＨＳＶ信号の差分を算出する（Ｓ１２４）。ここで、Ｈ信号、Ｓ信号、Ｖ信号それぞれについての差分が算出される。差分は、前記したように、例えば、前の複数フレームと、現在の複数フレームにおけるＨＳＶ信号の差分を算出する。あるいは、例えば、現在のフレームを時刻ｔの複数フレームとし、１秒前の複数フレームを時刻ｔ−１とすると、時刻ｔ−５〜ｔ−１の複数フレームのＨＳＶ平均値と時刻ｔ〜ｔ−４の複数フレームのＨＳＶ平均値との差分が算出されてもよい。

次に、判定部１０４がステップＳ１２４で算出された差分値が所定の閾値以下であるか否かを判定する（図９ＢのＳ１３１）。なお、ステップＳ１３１では、色相、彩度、明度のそれぞれについて比較が行われる。また、ステップＳ１３１では、色相、彩度、明度のいずれか１つでも閾値より大きければ、判定部１０４は「Ｎｏ」と判定する。
差分値が所定の閾値より大きい場合（Ｓ１３１→Ｎｏ）、カメラパラメータ調整部１０５は、現在におけるＨＳＶの各値が、前のフレームのＨＳＶに対して所定の範囲内の値となるようカメラパラメータのそれぞれを調整する（Ｓ１４１）。また、この際、カメラパラメータ調整部１０５は、調整したカメラパラメータと、画像取得部１０３から取得した撮像画像Ｍとを対応付けて、カメラパラメータ記憶部１２１に格納する。

図１０Ａ〜図１０Ｃは、カメラパラメータの調整例を示す図である。
図１０Ａは、色相の例を示している。
図１０Ａに示すように、前のフレームの参照エリアＲにおける色相が符号４０１に示す値であったとする。また、今回のフレームの参照エリアＲにおける色相が符号４０２に示す値であったとする。すると、カメラパラメータ調整部１０５は、符号４０２が符号４０１の所定範囲内に入るよう、例えば、ホワイトバランスを調整する。換言すれば、カメラパラメータ調整部１０５は、符号４０２が符号４０１に近づくように、例えば、ホワイトバランスを調整する。

また、図１０Ｂに示すように、前のフレームの参照エリアＲにおける彩度が符号４１１に示す値であったとする。また、今回のフレームの参照エリアＲにおける彩度が符号４１２に示す値であったとする。すると、カメラパラメータ調整部１０５は、符号４１２が符号４１１の所定範囲内に入るよう、例えば、彩度を調整する。換言すれば、カメラパラメータ調整部１０５は、符号４１２が符号４１１に近づくように、例えば、彩度を調整する。

さらに、図１０Ｃに示すように、前のフレームの参照エリアＲにおける明度が符号４２１に示す値であったとする。また、今回のフレームの参照エリアＲにおける明度が符号４２２に示す値であったとする。すると、カメラパラメータ調整部１０５は、符号４２２が符号４２１の所定範囲内に入るよう、例えば、露出を調整する。換言すれば、カメラパラメータ調整部１０５は、符号４２２が符号４２１に近づくように、例えば、露出を調整する。

図９Ｂの説明に戻る。
カメラパラメータ調整部１０５は、調整したカメラパラメータをカメラパラメータ記憶部１２１に記憶する（Ｓ１４２）。これにより、カメラパラメータ記憶部１２１には、カメラパラメータが追加記憶されていく。
そして、学習部１０６が、カメラパラメータ記憶部１２１に記憶されているカメラパラメータを学習する（Ｓ１４３）。学習部１０６による学習は前記しているため、ここでの説明を省略する。なお、本実施形態では、ステップＳ１４３のタイミングで学習を行っているが、これに限らず、例えば、自動車Ｃ１が運転されていない間に学習が行われるようにしてもよい。
そして、生体情報抽出装置１はステップＳ１０６へ処理を戻す。

ステップＳ１３１において、差分値が所定の閾値以下の場合（Ｓ１３１→Ｙｅｓ）、判定部１０４は、現在の顔画像Ｍ１から生体情報としての脈波が抽出できたか否かを判定する（Ｓ１３２）。
脈波を抽出できない場合（Ｓ１３２→Ｎｏ）、生体情報抽出装置１はステップＳ１４１へ処理を進める。

脈波抽出できた場合（Ｓ１３２→Ｙｅｓ）、監視処理部１０７は、過去所定回数の平均脈拍数（過去平均値）ＮＡを算出する（Ｓ１５１）。ここで、脈拍数は、単位時間当たりの脈波回数である。
次に、監視処理部１０７は、今回抽出された脈波から脈拍数Ｎを算出する（Ｓ１５２）。ステップＳ１５２では、例えば、所定時間における平均脈拍数が算出される。

次に、監視処理部１０７は、過去の平均脈拍数である過去平均値ＮＡと、脈拍数Ｎとを比較して、今回の脈拍数Ｎが正常であるか否かを判定する（Ｓ１５３）。例えば、脈拍数Ｎが、ＮＡ―ａ≦ＮＡ≦ＮＡ＋ａ（ａはユーザが設定する値）の範囲内にある場合、監視処理部１０７は、今回の脈拍数Ｎが正常であると判定する。
今回の脈拍数Ｎが正常である場合（Ｓ１５３→Ｙｅｓ）、生体情報抽出装置１はステップＳ１０６へ処理を戻す。

今回の脈拍数Ｎが異常である場合（Ｓ１５３→Ｎｏ）、監視処理部１０７は異常と判定された脈拍数をＮＧデータとしてＮＧデータ記憶部１２３に記憶する（Ｓ１５４）。
続いて、監視処理部１０７は、Ｍ回連続で異常と判定されたか否かを判定する（Ｓ１５５）。
Ｍ回連続で異常と判定されていない場合（Ｓ１５５→Ｎｏ）、生体情報抽出装置１はステップＳ１０６へ処理を戻す。
Ｍ回連続で異常と判定されている場合（Ｓ１５５→Ｙｅｓ）、緊急処理部１０８は、機器システム３００の車両制御部３１１に指示することにより、自動車Ｃ１を緊急停止させる（Ｓ１６１）。
そして、緊急処理部１０８は、機器システム３００の送受信装置３０１を介して、運行会社４へ脈波数に異常が検知された旨を通知する（Ｓ１６２）。
その後、通知を受けた運行会社４のオペレータが、運転者に通信で会話を試みる等といった運転者の状態確認を行う（Ｓ１６３）。このような会話は、運行会社４の音声情報を受信した機器システム３００の出力制御部３１２がスピーカ３０４を介して行われる。なお、運転者の音声応答は、マイク３０６を介して入力され、送受信装置３０１を介して運行会社４へ送信される。緊急性によっては、通知を受けた運行会社４のオペレータが、救急車の手配等を行う。

また、ログ解析部１０９は、例えば、所定時間毎にログ記憶部１２２に格納されたデータの解析を行う。ログ解析部１０９が行う処理は前記しているため、ここでの説明を省略する。

なお、生体情報抽出部１３４は、算出した脈波からストレス指標、血圧等を算出し、監視処理部１０７は、これらの値が異常であるか否かを判定してもよい。つまり、図９ＢのステップＳ１５１〜Ｓ１５５における脈拍が、ストレス指標、血圧等に置き換えられてもよい。あるいは、生体情報として呼吸数が用いられてもよい。

本実施形態によれば、撮像される肌の近くに設けられた参照エリアＲのＨＳＶ信号の変化を算出し、算出したＨＳＶ信号の変化を基に、カメラパラメータを調整する。これにより、取得したＨＳＶ変化を顔画像Ｍ１へフィードバックすることができ、環境光にロバストな生体情報抽出装置１を実現することができる。その結果、運転者の生体情報（脈拍）を精度良く計測する生体情報抽出装置１を提供することができる。また、個人の使用環境による生体情報のばらつきを提言することもできる。

さらに、参照エリアＲがシートベルトＢに備えられることにより、運転に好ましくない状態となることを避けることができる。
また、参照エリアＲが反射板の構成を有することにより、ＨＳＶ信号の取得が容易となる。
さらに、生体情報を抽出する対象として、顔画像Ｍ１や、腕、手、首の画像とすることで、運転者が運転しながら、第１実施形態や、第２実施形態の処理を行うことができる。

［第３実施形態］
図１１Ａ及び図１１Ｂは、第３実施形態に係る生体情報抽出装置１ｂの例を示す図である。
第３実施形態では、図１１Ａに示すように、３つの参照エリアＲａ〜Ｒｃが設置されている。このうち、参照エリアＲａはシートベルトＢに設けられ、参照エリアＲｂは運転者が首からぶら下げており、参照エリアＲｃはシートに設けられている。

そして、図１１Ｂに示すように、顔画像Ｍ１の一部が領域Ｍ１ａ〜Ｍ１ｃに分割されている。ここで、領域Ｍ１ａは参照エリアＲａに対応しており、領域Ｍ１ｂは参照エリアＲｂに対応しており、領域Ｍ１ｃは参照エリアＲｃに対応している。
そして、参照エリアＲａの方から光が差している場合、顔画像解析部１３０は領域Ｍ１ａを解析し、参照エリア画像解析部１４０は参照エリアＲａの参照エリア画像Ｍ２を解析する。また、参照エリアＲｃの方から光が差している場合、顔画像解析部１３０は領域Ｍ１ｃを解析し、参照エリア画像解析部１４０は参照エリアＲｃの参照エリア画像Ｍ２を解析する。

なお、第３実施形態の処理は、図９Ａ及び図９Ｂで示す処理と以下の点で異なる以外は図９Ａ及び図９Ｂに示す処理と同様であるので、ここでの説明を省略する。
・ステップＳ１０６の後、顔画像抽出部１３１及び参照エリア画像抽出部１４１のそれぞれは、撮像画像Ｍにおける光の方向を基に、使用する顔画像Ｍ１（Ｍ１ａ〜Ｍ１ｂ）及び参照エリア画像Ｍ２を決定する。なお、光の方向は、撮像画像Ｍにおける影等から判定される。

このようにすることで、第１実施形態及び第２実施形態より精度の高い生体情報抽出を実現することができる。

［第４実施形態］
次に、図１２Ａ〜図１４を参照して、本発明の第４実施形態について説明する。
これまでの技術では、運転者が正面以外を向いていることを検知する技術はない。本実施形態では、運転者が正面以外を向いていることを検知することで、運転者が好ましい運転を維持することを課題とする。

（概要）
図１２Ａ及び図１２Ｂは、第４実施形態の概要を示す図である。
第４実施形態では、まず、図１２Ａに示すように、カメラ１１１によって撮像された撮像画像Ｍから、図１２Ｂに示すように、参照エリアＲを基準点とした顔の特徴点Ｐまでの距離（実線）がリアルタイムで算出される。そして、算出された距離を基に、運転者が正面以外の方向を向いているか否かを判定する。なお、図１２Ｂに示す例では、顔の特徴点Ｐとして両目、鼻、口の中心が用いられている。

（システム構成）
図１３は、第４実施形態に係る生体情報抽出装置１ｃの機能ブロック図である。
図１３において、図３と異なる構成を破線四角で囲って示している。
つまり、図１３に示す生体情報抽出装置１ｃは、距離処理部１５１を有している点（破線で囲っている部分）が図３に示す生体情報抽出装置１とは異なっている。
距離処理部１５１は、図１２Ｂで説明したように、カメラ１１１が撮像した撮像画像Ｍにおいて、参照エリアＲと、顔の特徴点Ｐとの距離を算出し、運転者が正面以外の方向を向いているか否かを判定する。そして、距離処理部１５１は、運転者が正面以外の方向を向いていると判定した場合、機器システム３００のスピーカ３０４や、表示装置３０５を介して運転者に注意を促す。

（フローチャート）
図１４は、第４実施形態における顔方向検出処理の手順を示すフローチャートである。図１４の処理は、図９ＡにおけるステップＳ１０６と、ステップＳ１１１、Ｓ１２１の処理との間で行われる。
まず、距離処理部１５１は、図９ＡのステップＳ１０６で撮像された撮像画像Ｍについて、顔における特徴点Ｐと、基準点としての参照エリアＲとの距離ｄを算出する（Ｓ２０１）。前記したように特徴点Ｐとは、目、鼻、口等である。また、撮像画像Ｍ内におけるある点と、その他の点との実際の距離を推定算出する手法は、例えば、顔が動いたときにおけるフレーム間の特徴点Ｐの移動速度と、予めわかっているカメラ１１１の設置位置とを基に算出する等といった公知の技術が用いられる。

次に、ステップＳ２０１で算出した参照エリアＲと、顔における特徴点Ｐとの距離ｄが所定の距離Ｄ以上であるか否かを判定する（Ｓ２０２）。ここでの所定の距離とは、予め設定されている距離でもよいし、過去Ｋ回の処理で算出された参照エリアＲと、顔における特徴点Ｐの距離との平均値に、所定の値を加えたものでもよい。

所定の距離未満である場合（Ｓ２０２→Ｎｏ）、距離処理部１５１は、ステップＳ１１１、Ｓ１２１へ処理をリターンする。
所定の距離以上である場合（Ｓ２０２→Ｙｅｓ）、距離処理部１５１は、運転者が正面以外を向いているものとして、警報を発報させる（Ｓ２１１）。警報は、機器システム３００の表示装置３０５に表示されたり、スピーカ３０４から音声を発生させたりすることで行われる。
続いて、画像取得部１０３は、画像処理を行い（Ｓ２１２）、ステップＳ１１１，Ｓ１２１へ処理をリターンする。ステップＳ２１２では、例えば、第３実施形態に示すように、複数の参照エリアＲａ〜Ｒｃが設置されている場合、顔が向いた方向と逆方向の顔画像Ｍ１と参照エリアＲａ〜Ｒｃとを有効にする。また、生体情報抽出装置１は、ステップＳ２０２で「Ｙｅｓ」と判定された撮像画像ＭをステップＳ１１１、Ｓ１２１以降の処理に用いないようにしてもよい。あるいは、生体情報抽出装置１は、短時間で、運転者が横方向を向いた場合、撮像画像ＭをステップＳ１１１、Ｓ１２１以降の処理に用いないようにしてもよい。

第４実施形態によれば、運転者が正面以外を向いていることを検知することで、運転者が好ましい運転を維持することができる。

本実施形態では、顔画像Ｍ１から生体情報（脈波）を抽出しているが、顔以外でも肌が見えていればよい。例えば、ハンドルを握る手の画像から生体情報が抽出されてもよい。るいは、腕や、首の画像から生体情報が抽出されてもよい。
また、本実施形態では、生体情報抽出装置１，１ｃが自動車Ｃ１等に搭載されているものとしているが、これに限らず、運行会社４に設置されてもよい。

また、カメラ１１１における１つの視野に、顔及び参照エリアＲの両方が入るようにしてもよいし、顔、参照エリアＲのそれぞれが別々に撮像されてもよい。顔、参照エリアＲのそれぞれが別々に撮像される場合、撮像時の外光（環境光）が変わらないように、同時もしくは短い時間間隔で撮像が行われる。

本発明は前記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を有するものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、前記した各構成、機能、各部１０１〜１０２，１０４〜１０８，１３１〜１３４，１４１〜１４４，１５１，３１１〜３１４、各記憶部１２１〜１２３等は、それらの一部又はすべてを、例えば集積回路で設計すること等によりハードウェアで実現してもよい。また、図６及び図７に示すように、前記した各構成、機能等は、ＣＰＵ２０２，３０２等のプロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、ＨＤ（Hard Disk）に格納すること以外に、メモリ２０１や、ＳＳＤ（Solid State Drive）等の記録装置、又は、ＩＣ（Integrated Circuit）カードや、ＳＤ（Secure Digital）カード、ＤＶＤ（Digital Versatile Disc）等の記録媒体に格納することができる。
また、各実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には、ほとんどすべての構成が相互に接続されていると考えてよい。

１，１ｃ 生体情報抽出装置
１０４ 判定部（出力部）
１０５ カメラパラメータ調整部（パラメータ調整部）
１０６ 学習部
１１１ カメラ（撮像部）
１２１ カメラパラメータ記憶部（パラメータ記憶部）
１３４ 生体情報抽出部
１４４ ＨＳＶ差分算出部
１５１ 距離処理部（測定部、行動検知部）
Ｂ シートベルト
Ｍ 撮像画像
Ｍ１，Ｍ１ａ〜Ｍ１ｃ 顔画像（第１の画像、特定のエリア）
Ｍ２ 参照エリア画像（第２の画像）
Ｐ 特徴点
Ｒ，Ｒａ〜Ｒｃ 参照エリア
ＳＶ クラウドサービス（ネットワーク）

Claims (12)

1. 生体の肌を含む第１の画像と、前記生体の肌とは異なる場所に設置され、前記生体の肌における環境光に関する情報を取得するための参照エリアの画像である第２の画像と、を撮像する撮像部と、
   前記第２の画像のＨＳＶ信号値が一定値に入るように前記撮像部のパラメータを調整するパラメータ調整部と、
   前記パラメータ調整部により調整された状態で撮像された前記第１の画像の時系列データから前記生体の生体情報を抽出する生体情報抽出部と、
   前記生体情報抽出部により抽出された前記生体情報を出力する出力部と、
   を有することを特徴とする生体情報抽出装置。
2. 前記参照エリアは、シートベルトに備えられている
   ことを特徴とする請求項１に記載の生体情報抽出装置。
3. 前記参照エリアは反射板で構成されている
   ことを特徴とする請求項１に記載の生体情報抽出装置。
4. 前記反射板は、特定の波長を反射するものである
   ことを特徴とする請求項３に記載の生体情報抽出装置。
5. 前記第１の画像は、顔、腕、手又は首の画像である
   ことを特徴とする請求項１に記載の生体情報抽出装置。
6. 前記参照エリアが複数備えられている
   ことを特徴とする請求項１に記載の生体情報抽出装置。
7. 複数の前記参照エリアは、前記生体における特定のエリアと対応付けられている
   ことを特徴とする請求項６に記載の生体情報抽出装置。
8. 前記参照エリアを基準エリアとし、前記参照エリアと、前記生体の特徴点との距離を測定する測定部
   を有することを特徴とする請求項１に記載の生体情報抽出装置。
9. 前記特徴点は、顔における特徴点であり、
   前記測定部によって測定された距離に基づいて、運転者が正面以外の方向を向いていることを検知する行動検知部
   を有することを特徴とする請求項８に記載の生体情報抽出装置。
10. 対象となる前記第２の画像における前記ＨＳＶ信号値と、当該第２の画像より前の時間に撮像された前記第２の画像における前記ＨＳＶ信号値との差分値を算出するＨＳＶ差分算出部を有し、
    前記パラメータ調整部は、
    前記ＨＳＶ信号値の差分値が小さくなるよう前記パラメータを調整する
    ことを特徴とする請求項１に記載の生体情報抽出装置。
11. 前記生体情報抽出部は、
    調整された前記パラメータを、前記撮像部が撮像した撮像画像とともに、パラメータ記憶部に格納し、
    前記パラメータ記憶部において、前記撮像画像を基に、前記パラメータを分類するための学習を行う学習部
    を有することを特徴とする請求項１に記載の生体情報抽出装置。
12. 前記抽出された生体情報に関する情報を、ネットワークを介して、前記生体情報抽出装置の外部に設置されている外部装置へ送信する送信部
    を有することを請求項１に記載の生体情報抽出装置。

Images