JP2008171107A - 顔状況判定処理装置および撮像装置 - Google Patents

Abstract

【課題】車載カメラで車両運転者を監視撮影するカメラシステムにおいて、顔領域検出や眼の瞬き検出を精度良く行える顔状況判定処理装置を提供する。
【解決手段】撮像信号をＡＤ変換して得られる画像データを入力して輝度信号を抽出する輝度信号抽出部２１と、輝度信号の画像データを顔領域検出の規定サイズにリサイズするリサイズ処理部２２と、リサイズされた画像データを格納するメモリ２３と、リサイズ画像データにおいて顔領域の検出を行って顔領域情報を生成する顔領域検出部２４と、顔領域情報を基に顔領域内の特定部位情報を生成する特定部位情報生成部２５と、動画フレーム更新の処理において、特定部位での現フレームの画像データとメモリから読み出した前フレームの画像データとの差分を特定部位の動き情報として抽出する動き検出部２６と、顔領域情報と特定部位動き情報とに基づいて顔状況の判定を行う顔状況判定処理手段７とを備える。
【選択図】図２

Description

本発明は、車両事故を未然に防ぐフェイルセーフのための画像処理技術の一環として、車載カメラで車両運転者を監視撮影し、運転中の居眠りなどを検出する顔状況判定処理装置および撮像装置に関する。

近年、車両事故を未然に防ぐために車両運転者を監視するカメラの技術が具体化してきている。これには、デジタルカメラの高速化と高画質化の技術向上が寄与している。

運転者等の眼の状態を検出する画像処理装置として、例えば特許文献１に記載されたものがある。その基本構成を図５に示す。図５において、３１は運転者の顔部分を照射する赤外ストロボ、３２は運転者の顔部分を撮影するＴＶカメラ、３３は赤外ストロボ３１の発光とＴＶカメラ３２の画像入力のタイミングを合わせるタイミング指令回路、３４はＴＶカメラ３２が撮影した入力画像をデジタル量に変換するＡ／Ｄ変換器、３５は画像データを格納する画像メモリ、３６は画像メモリ３５から読み出した画像データにおいて眼球の存在位置領域を規定する眼球存在位置規定回路、３７は眼球存在位置規定回路３６で規定された領域において画像メモリ３５内の画像データを処理して眼の虹彩部分を検出する虹彩検出回路、３８は虹彩検出結果から運転者の居眠りやわき見の有無等の状態を判定する居眠りわき見判定回路である。この装置においては、運転者の顔の画像データをＡ／Ｄ変換器３４において２値化し、眼球存在位置規定回路３６によって画像データの水平・垂直方向への白画素または黒画素の連続性で顔幅検出および運転者の眼の位置の検出を行う。さらに、虹彩検出回路３７によって眼の虹彩部を検出し、居眠りわき見判定回路３８において虹彩の検出結果から運転者の開眼、閉眼（眼の開閉状態）の判定を通じて運転者の居眠りや脇見などの状態を判別する。この技術は、居眠り運転や脇見運転の警報に利用される。
特開平４−１７４３０９号公報（第３−９頁、第１−１２図）

上記従来の画像処理装置は、撮像した画像において顔がまっすぐになっていることを前提としている。しかし、実際の運転においては、長時間同じ姿勢をとった結果、疲れや眠気等が進むと、顔の位置や角度が変化し、その結果、顔幅検出や眼の位置検出の精度が劣化するという問題がある。

本発明は、このような事情に鑑みて創作したものであり、顔領域検出や眼の瞬き検出を精度良く行える顔状況判定処理装置を提供することを目的としている。

本発明による顔状況判定処理装置は、
２次元イメージセンサによる撮像信号をＡＤ変換して得られる画像データを入力して輝度信号を抽出する輝度信号抽出部と、
前記輝度信号抽出部による前記輝度信号の画像データを顔領域検出の規定サイズにリサイズするリサイズ処理部と、
前記リサイズ処理部により規定サイズにリサイズされた画像データを格納するメモリと、
前記メモリにアクセスして前記リサイズ画像データにおいて顔領域の検出を行って顔領域情報を生成する顔領域検出部と、
前記顔領域検出部による前記顔領域情報を基に顔領域内の特定部位情報を枠信号として生成する特定部位情報生成部と、
動画フレーム更新の処理において、前記特定部位情報生成部が指示する特定部位での現フレームの画像データと前記メモリから読み出した前フレームの画像データとの差分を特定部位の動き情報として抽出する動き検出部と、
前記顔領域検出部による前記顔領域情報と前記動き検出部による前記特定部位動き情報とに基づいて顔状況の判定を行う顔状況判定処理手段とを備えたものである。

この構成においては、フレームごとに顔領域と特定部位（眼や口）とを同時に検出し、顔状況判定処理手段が顔領域情報と特定部位動き情報とに基づいて顔状況の判定を行うので、特定部位の状況を精度良く判定することが可能となる。その結果、居眠り状態の判定を安定良く行う上で有利な展開が期待される。

上記の構成の顔状況判定処理装置において、前記２次元イメージセンサによる撮像信号がカラー情報配列ＲＧＢの信号であり、前記リサイズ処理部は前処理としてフィルタ処理により色キャリア情報を除去するという態様がある。

また、上記構成の顔状況判定処理装置において、前記カラー情報配列ＲＧＢの撮像信号は、ベイヤー配列における４画素の配置を基本配置とする信号、または水平方向にＲＧＢの３画素の配置を基本配置とする信号であるという態様がある。

また、上記の構成の顔状況判定処理装置において、前記２次元イメージセンサによる撮像信号として、カラー情報配列ＲＧＢのベイヤー配列における４画素の配置を基本配置とする信号と、カラー情報配列が水平方向にＲＧＢの３画素の配置を基本配置とする信号と、汎用映像信号としてのデジタル規格信号のうちから選択される信号を対象とし、前記リサイズ処理部はローパスフィルタ処理により色キャリア情報と高周波情報を除去するという態様がある。

また、上記構成の顔状況判定処理装置において、前記特定部位情報生成部は、前記顔領域検出部による前記顔領域情報を基に所定のサイズ内で矩形エリアの特定部位情報を生成し、前記顔状況判定処理手段は、連続して入力される現フレームの特定部位の画像データと前記メモリから前記特定部位情報に該当して読み出した前フレームの特定部位の画像データとの差分を特定部位の動き情報とするという態様がある。

また、上記の構成の顔状況判定処理装置において、前記特定部位情報生成部は、顔の中心位置と大きさ情報に基づいて前記矩形エリアの特定部位情報を生成するという態様がある。

また、上記の構成の顔状況判定処理装置において、前記特定部位は、両目を含む両目エリア、鼻と頬を含む鼻頬エリア、口を含む口エリアのいずれかまたはすべてであるという態様がある。

また、上記構成の顔状況判定処理装置において、前記顔状況判定処理手段は、前記鼻頬エリアでの時間軸上の差分が所定の閾値以下のときにフレーム内の顔領域が固定位置にあると判断し、かつ、そのときの前記両目エリアでの時間軸上の差分値が所定の閾値以上であれば眼が瞬いていると判断するという態様がある。

また、上記構成の顔状況判定処理装置において、前記顔状況判定処理手段は、前記鼻頬エリアでの時間軸上の差分が所定の閾値以下のときにフレーム内の顔領域が固定位置にあると判断し、かつ、そのときの前記両目エリアでの時間軸上の差分値が所定の閾値以上のときのパルス数をカウントすることにより、単位時間当たりの眼の瞬き回数情報を抽出するという態様がある。

また、上記構成の顔状況判定処理装置において、前記顔状況判定処理手段は、前記鼻頬エリアでの時間軸上の差分が所定の閾値以下のときにフレーム内の顔領域が固定位置にあると判断し、かつ、そのときの前記両目エリアでの時間軸上の差分値の絶対値について単位時間当たりの積算値に着目し、前記積算値が過去履歴の積算値より減少した場合は、眼の瞬きの回数が減ってきていると判断するという態様がある。

また、上記構成の顔状況判定処理装置において、前記顔状況判定処理手段は、前記単位時間当たりの積算値についてフレーム単位の変化量に着目し、その積算値についてのフレーム単位の変化量が減少してきた場合は、眼の瞬きの速度が落ちてきていると判断するという態様がある。

また、上記構成の顔状況判定処理装置において、前記顔状況判定処理手段は、前記鼻頬エリアでの時間軸上の差分が所定の閾値以下のときにフレーム内の顔領域が固定位置にあると判断し、かつ、そのときの前記口エリアでの時間軸上の差分値が不定期に変化しているときは、被写体人物が話しをしていると判断するという態様がある。

また、上記構成の顔状況判定処理装置において、前記顔状況判定処理手段は、前記口エリアでの時間軸上の差分値が不定期に変化しているときに、さらに、前記口エリアでの時間軸上の差分値の絶対値について単位時間当たりの積算値に着目し、前記積算値が過去履歴の積算値より減少した場合は、口数が少なくなってきていると判断するという態様がある。

また、上記構成の顔状況判定処理装置において、前記顔状況判定処理手段は、前記フレーム内の顔領域が固定位置にあると判断する場合に、前記鼻頬エリアでの時間軸上の差分を用いる代わりに、前記顔領域検出部による前記顔領域情報の変動量が所定の閾値以下にあるときに、前記顔領域が固定位置にあると判断するという態様がある。

また、上記の構成の顔状況判定処理装置において、前記顔状況判定処理手段は、前記眼の瞬きの回数が減ってきていると判断したときに、さらに、前記単位時間当たりの積算値についてのフレーム単位の変化量が減少して眼の瞬きの速度が落ちてきていると判断したときは、被写体人物が居眠り状態にあると推定するという態様がある。

また、上記構成の顔状況判定処理装置において、前記顔状況判定処理手段は、前記眼の瞬きの回数が減ってきていると判断したときに、さらに、前記口エリアでの時間軸上の差分値の絶対値について単位時間当たりの積算値が減少して口数が少なくなってきていると判断したときは、被写体人物が居眠り状態にあると推定するという態様がある。

また、上記の構成の顔状況判定処理装置において、前記リサイズ処理部は、顔領域検出するための所定の輝度信号データとして基本的に入力画像データのフルサイズを所定のサイズに縮小リサイズを行うとともに、後処理の顔領域検出処理による顔の大きさが所定のサイズよりも小さい場合には、リサイズ処理部にて縮小とトリミング処理により所定の輝度信号データとして出力するという態様がある。

本発明による撮像装置は、上記のいずれかの顔状況判定処理装置を搭載したものである。

本発明によれば、車載カメラで車両運転者を監視撮影する場合に、フレームごとに顔領域と特定部位（眼や口）とを同時に検出し、顔領域情報と特定部位動き情報とに基づいて顔状況の判定を行うので、特定部位の状況を精度良く判定することができ、その結果として、運転中の居眠りなどを安定して検出することができる。

以下、本発明にかかわる顔状況判定処理装置の実施の形態を図面を用いて詳細に説明する。

図１は本発明の実施の形態における顔状況判定処理装置を含む画像処理装置（カメラシステム）の構成を示すブロック図である。図１において、１は２次元イメージセンサ、２は２次元イメージセンサ１の駆動パルスを発生するタイミングジェネレータ（ＴＧ）、３は２次元イメージセンサ１から出力される撮像映像信号のノイズを除去し、ゲインをコントロールするＣＤＳ／ＡＧＣ回路、４はアナログの映像信号をデジタルの画像データに変換するＡＤ変換器（ＡＤＣ）、５は所定のプログラムの実行によって各種の処理を実行するＤＳＰ（デジタル信号処理回路）、６は画像データおよび各種データを保存するメモリ、７は制御プログラムによりカメラシステム全体の動作を制御するＣＰＵ（マイクロコンピュータ）、８は撮影レンズを含むレンズユニット、９は記録媒体、１０は表示装置、１１は本実施の形態の顔状況判定処理装置である。顔状況判定処理装置１１は、ＡＤ変換器４の出力とＤＳＰ５の表示用画像出力とを入力とする状態で、ＣＰＵ７に接続されている。

図２は顔状況判定処理装置１１の内部構成を詳細に示すブロック図である。図２において、２１はＡＤ変換器４によりＡＤ変換された画像データ、もしくはＤＳＰ５の処理によって生成された規格信号であるＲＥＣ６０１の輝度信号データ、ＲＥＣ６５６データ、もしくは表示装置１０の入力フォーマット画像データを入力とし、入力前処理を行う輝度信号抽出部、２２は任意のサイズに対してフィルタ処理と縮小リサイズ処理を行うリサイズ処理部、２３はリサイズされた画像データを格納するためのメモリ、２４はメモリ２３に格納されたリサイズ画像データにアクセスして顔領域と顔の大きさ・傾きの検出を行って顔領域情報を生成する顔領域検出部、２５は顔領域検出部２４による顔領域情報を基に顔の特定部位である眼、鼻、頬、口などの特定部位情報を枠信号として生成する特定部位情報生成部、２６は動画フレーム更新の処理において、リサイズ処理部２２から出力される現フレームデータに対して、特定部位情報生成部２５から得られる現フレームの特定部位情報とメモリ２３から読み出した前フレームの特定部位情報との差分を動き情報として抽出する動き検出部、２７はＣＰＵ７に接続され、前記各処理部に対して制御プログラムによりシステム動作制御を行うためのＣＰＵインターフェースである。ＣＰＵ７の一部の機能として、顔領域検出部２４による顔領域情報と動き検出部２６による特定部位動き情報とに基づいて顔状況の判定を行う顔状況判定処理手段が設けられている。

次に、上記のように構成された顔状況判定処理装置を含む画像処理装置の動作について説明する。

まず代表的な動画撮像の記録再生動作として、撮像光がレンズユニット８におけるレンズを介して２次元イメージセンサ１に入射すると、被写体像はフォトダイオードなどにより電気信号に変換され、タイミングジェネレータ２からの駆動パルスに同期する垂直駆動および水平駆動により、アナログ連続信号である撮像映像信号が２次元イメージセンサ１から出力される。２次元イメージセンサ１から出力された撮像映像信号は、ＣＤＳ／ＡＧＣ回路３のサンプルホールド回路（ＣＤＳ）によって１／ｆノイズが適切に低減された後、自動ゲインコントロールされ、ＡＤ変換器４に入力されて、デジタルの画像データ（ＲＧＢデータ）に変換される。得られた画像データはＤＳＰ５に入力され、メモリ６を介して、輝度信号処理、色分離処理、カラーマトリクス処理、データ圧縮処理、リサイズ処理などの各種の処理が行われる。生成された画像データは表示サイズにリサイズされた後、表示装置１０に出力される。また、記録操作によって画像データは記録媒体９に記録される。任意の１フレーム画像に対する上記の一連の処理を連続的な動画フレーム処理として繰り返すことにより、動画出力が行われる。

次に、顔状況判定処理装置１１の詳しい動作を説明する。

輝度信号抽出部２１は、ＡＤ変換器４でＡＤ変換された画像データを入力し、顔領域検出と動き検出で使用する輝度信号データを生成する。なお、ＡＤ変換器４でＡＤ変換された画像データに代えて、ＤＳＰ５での処理により生成された規格信号であるＲＥＣ６０１の輝度信号データ、ＲＥＣ６５６データ、もしくは表示装置１０の入力フォーマットに合わせた画像データを入力として、輝度信号データを生成するのでもよい。

輝度信号抽出部２１から出力される輝度信号は、画像の大きさが規定されるものではない。そこで、リサイズ処理部２２は、任意のサイズに対して顔領域検出と動き検出で規定する所定の大きさに調整するために、フィルタ処理と縮小リサイズ処理を行い、リサイズ画像データをメモリ２３に格納する。

顔領域検出部２４は、メモリ２３に格納されたリサイズ画像データにアクセスして、顔領域の検出と顔の大きさ・傾きの抽出を行う。

ＣＰＵ７はＣＰＵインターフェース２７を介して顔領域検出情報を読み出し、その顔領域情報を基に特定部位情報生成部２５に対して顔の特定部位である眼、鼻と頬、口などの特定部位情報を生成するように設定する。

動き検出部２６は、動画フレーム更新の処理において、リサイズ処理部２２からの現フレームのリサイズ画像データのうち特定部位情報生成部２５からの特定部位での画像データとメモリ２３から読み出した前フレームの特定部位での画像データとの差分を特定部位の動き情報として抽出する。抽出した動き情報はＣＰＵインターフェース２７を介してＣＰＵ７に送られる。

上記の各処理部は、ＣＰＵ７で実行される制御プログラムにより、フレーム単位のシーケンス動作を行う。このシーケンス動作により、例えば図３（ａ）に示すような画像データが得られたとする。そして、この画像データについて、顔領域検出部２４の顔領域検出処理により顔領域情報Ａ０が得られたとする。さらに、図３（ｂ）に示すように特定部位情報生成部２５が顔領域情報Ａ０を基に両目を含む両目エリアＡ１、鼻と頬を含む鼻頬エリアＡ２、口を含む口エリアＡ３を生成する。動き検出部２６は、両目エリアＡ１、鼻頬エリアＡ２、口エリアＡ３の画像部分に対して時間軸でのデータ差分である動き情報を抽出する。ＣＰＵ７は、その動き情報を読み出し、プログラムによる顔状況判定処理手段は、鼻頬エリアＡ２での時間軸上の差分値の絶対値が所定の閾値以下のときに、フレーム内の顔領域が固定位置にあると判断する。あるいは、顔領域情報Ａ０の変動量が所定の閾値以下にあるときに、顔領域が固定位置にあると判断するのでもよい。そして、ＣＰＵ７の顔状況判定処理手段は、顔領域が固定位置にあると判断したときに、さらに、図４に示すように、両目エリアＡ１での時間軸上の差分値が所定の閾値以上であれば、眼が瞬いていると判断する。

あるいは加えて、そのときの両目エリアＡ１での時間軸上の差分値が所定の閾値以上のときのパルス数をカウントすることにより、単位時間当たりの眼の瞬きの回数情報を抽出する。

あるいは加えて、そのときの両目エリアＡ１での時間軸上の差分値の絶対値について単位時間当たりの積算値に着目し、その積算値が過去履歴の積算値より減少した場合は、眼の瞬きの回数が減ってきていると判断する。

あるいは加えて、そのときの前記の単位時間当たりの積算値についてフレーム単位の変化量に着目し、その積算値についてのフレーム単位の変化量が減少してきた場合は、眼の瞬きの速度が落ちてきていると判断する。

あるいは加えて、そのときの口エリアＡ３での時間軸上の差分が所定の閾値以下のときにフレーム内の顔領域が固定位置にあると判断し、かつ、そのときの口エリアＡ３での時間軸上の差分値が不定期に変化しているときは、被写体人物が話しをしていると判断する。

あるいは加えて、そのときの口エリアＡ３での時間軸上の差分値が不定期に変化しているときに、口エリアＡ３での時間軸上の差分値の絶対値について単位時間当たりの積算値に着目し、前記積算値が過去履歴の積算値より減少した場合は、口数が少なくなってきていると判断する。

そして、ＣＰＵ７の顔状況判定処理手段は、眼の瞬きの回数が減ってきていると同時に眼の瞬きの速度が落ちてきているとの判断と口数が少なくなってきているとの判断のいずれか一方または組み合わせに基づいて、人物が居眠り状態にあると推定する。

上記のように本実施の形態によれば、任意の１つの画像に対して顔領域の検出と顔のエリア内の特定部位（眼や口）の動き検出を同時に行えるように構成し、特定部位の状況を精度良く判定することができ、その結果として、運転中の居眠りなどを安定して検出することができる。また、実際の運転において、長時間同じ姿勢をとった結果、疲れや眠気等が進んで、顔が傾くようなことがあっても、顔領域の検出と眼の瞬きや口の動きを精度良く検出することができる。

本発明の顔状況判定処理装置は、車載カメラなどで車両運転者を監視撮影しながら顔領域検出処理と同時処理にて目の動きや口の動きの変化を推定することにより、運転中の居眠りなどを安定して検出することができ、事故を未然に防ぐフェイルセーフ技術として利用できる車両運転者の監視カメラシステム用に有用である。

本発明の実施の形態における顔状況判定処理装置を含む画像処理装置の構成を示すブロック図 本発明の実施の形態における顔状況判定処理装置の内部構成を詳細に示すブロック図 本発明の車両運転者を想定した人物の画像に対する顔の分割エリア概念図 本発明の実施の形態における顔状況判定処理装置の動作を示す波形図 従来の技術における顔状況判定処理装置の構成を示すブロック図

符号の説明

１ イメージセンサ
２ タイミングジェネレータ
３ ＣＤＳ／ＡＧＣ回路
４ ＡＤ変換器
５ ＤＳＰ（デジタル信号処理回路）
６ メモリ
７ ＣＰＵ（マイクロコンピュータ；顔状況判定処理手段）
８ レンズユニット
９ 記録媒体
１０ 表示装置
１１ 顔状況判定処理装置
２１ 輝度信号抽出部
２２ リサイズ処理部
２３ メモリ
２４ 顔領域検出部
２５ 特定部位情報生成部
２６ 動き検出部
２７ ＣＰＵインターフェース
Ａ０ 顔領域情報
Ａ１ 両目エリア
Ａ２ 鼻頬エリア
Ａ３ 口エリア

Claims (18)

1. ２次元イメージセンサによる撮像信号をＡＤ変換して得られる画像データを入力して輝度信号を抽出する輝度信号抽出部と、
   前記輝度信号抽出部による前記輝度信号の画像データを顔領域検出の規定サイズにリサイズするリサイズ処理部と、
   前記リサイズ処理部により規定サイズにリサイズされた画像データを格納するメモリと、
   前記メモリにアクセスして前記リサイズ画像データにおいて顔領域の検出を行って顔領域情報を生成する顔領域検出部と、
   前記顔領域検出部による前記顔領域情報を基に顔領域内の特定部位情報を枠信号として生成する特定部位情報生成部と、
   動画フレーム更新の処理において、前記特定部位情報生成部が指示する特定部位での現フレームの画像データと前記メモリから読み出した前フレームの画像データとの差分を特定部位の動き情報として抽出する動き検出部と、
   前記顔領域検出部による前記顔領域情報と前記動き検出部による前記特定部位動き情報とに基づいて顔状況の判定を行う顔状況判定処理手段とを備えた顔状況判定処理装置。
2. 前記２次元イメージセンサによる撮像信号がカラー情報配列ＲＧＢの信号であり、前記リサイズ処理部は前処理としてフィルタ処理により色キャリア情報を除去する請求項１に記載の顔状況判定処理装置。
3. 前記カラー情報配列ＲＧＢの撮像信号は、ベイヤー配列における４画素の配置を基本配置とする信号、または水平方向にＲＧＢの３画素の配置を基本配置とする信号である請求項２に記載の顔状況判定処理装置。
4. 前記２次元イメージセンサによる撮像信号として、カラー情報配列ＲＧＢのベイヤー配列における４画素の配置を基本配置とする信号と、カラー情報配列が水平方向にＲＧＢの３画素の配置を基本配置とする信号と、汎用映像信号としてのデジタル規格信号のうちから選択される信号を対象とし、前記リサイズ処理部はローパスフィルタ処理により色キャリア情報と高周波情報を除去する請求項１に記載の顔状況判定処理装置。
5. 前記特定部位情報生成部は、前記顔領域検出部による前記顔領域情報を基に所定のサイズ内で矩形エリアの特定部位情報を生成し、前記顔状況判定処理手段は、連続して入力される現フレームの特定部位の画像データと前記メモリから前記特定部位情報に該当して読み出した前フレームの特定部位の画像データとの差分を特定部位の動き情報とする請求項４に記載の顔状況判定処理装置。
6. 前記特定部位情報生成部は、顔の中心位置と大きさ情報に基づいて前記矩形エリアの特定部位情報を生成する請求項５に記載の顔状況判定処理装置。
7. 前記特定部位は、両目を含む両目エリア、鼻と頬を含む鼻頬エリア、口を含む口エリアのいずれかまたはすべてである請求項１から請求項６までのいずれかに記載の顔状況判定処理装置。
8. 前記顔状況判定処理手段は、前記鼻頬エリアでの時間軸上の差分が所定の閾値以下のときにフレーム内の顔領域が固定位置にあると判断し、かつ、そのときの前記両目エリアでの時間軸上の差分値が所定の閾値以上であれば眼が瞬いていると判断する請求項７に記載の顔状況判定処理装置。
9. 前記顔状況判定処理手段は、前記鼻頬エリアでの時間軸上の差分が所定の閾値以下のときにフレーム内の顔領域が固定位置にあると判断し、かつ、そのときの前記両目エリアでの時間軸上の差分値が所定の閾値以上のときのパルス数をカウントすることにより、単位時間当たりの眼の瞬き回数情報を抽出する請求項７に記載の顔状況判定処理装置。
10. 前記顔状況判定処理手段は、前記鼻頬エリアでの時間軸上の差分が所定の閾値以下のときにフレーム内の顔領域が固定位置にあると判断し、かつ、そのときの前記両目エリアでの時間軸上の差分値の絶対値について単位時間当たりの積算値に着目し、前記積算値が過去履歴の積算値より減少した場合は、眼の瞬きの回数が減ってきていると判断する請求項７に記載の顔状況判定処理装置。
11. 前記顔状況判定処理手段は、前記単位時間当たりの積算値についてフレーム単位の変化量に着目し、その積算値についてのフレーム単位の変化量が減少してきた場合は、眼の瞬きの速度が落ちてきていると判断する請求項１０に記載の顔状況判定処理装置。
12. 前記顔状況判定処理手段は、前記鼻頬エリアでの時間軸上の差分が所定の閾値以下のときにフレーム内の顔領域が固定位置にあると判断し、かつ、そのときの前記口エリアでの時間軸上の差分値が不定期に変化しているときは、被写体人物が話しをしていると判断する請求項７に記載の顔状況判定処理装置。
13. 前記顔状況判定処理手段は、前記口エリアでの時間軸上の差分値が不定期に変化しているときに、さらに、前記口エリアでの時間軸上の差分値の絶対値について単位時間当たりの積算値に着目し、前記積算値が過去履歴の積算値より減少した場合は、口数が少なくなってきていると判断する請求項１２に記載の顔状況判定処理装置。
14. 前記顔状況判定処理手段は、前記フレーム内の顔領域が固定位置にあると判断する場合に、前記鼻頬エリアでの時間軸上の差分を用いる代わりに、前記顔領域検出部による前記顔領域情報の変動量が所定の閾値以下にあるときに、前記顔領域が固定位置にあると判断する請求項８から請求項１３までのいずれかに記載の顔状況判定処理装置。
15. 前記顔状況判定処理手段は、前記眼の瞬きの回数が減ってきていると判断したときに、さらに、前記単位時間当たりの積算値についてのフレーム単位の変化量が減少して眼の瞬きの速度が落ちてきていると判断したときは、被写体人物が居眠り状態にあると推定する請求項１０に記載の顔状況判定処理装置。
16. 前記顔状況判定処理手段は、前記眼の瞬きの回数が減ってきていると判断したときに、さらに、前記口エリアでの時間軸上の差分値の絶対値について単位時間当たりの積算値が減少して口数が少なくなってきていると判断したときは、被写体人物が居眠り状態にあると推定する請求項１０に記載の顔状況判定処理装置。
17. 前記リサイズ処理部は、顔領域検出するための所定の輝度信号データとして基本的に入力画像データのフルサイズを所定のサイズに縮小リサイズを行うとともに、後処理の顔領域検出処理による顔の大きさが所定のサイズよりも小さい場合には、リサイズ処理部にて縮小とトリミング処理により所定の輝度信号データとして出力する請求項１または請求項２に記載の顔状況判定処理装置。
18. 請求項１から請求項１７までのいずれかに記載の顔状況判定処理装置を搭載している撮像装置。

Images