JP2004078749A - 顔の特徴量検出装置 - Google Patents
顔の特徴量検出装置 Download PDFInfo
- Publication number
- JP2004078749A JP2004078749A JP2002240624A JP2002240624A JP2004078749A JP 2004078749 A JP2004078749 A JP 2004078749A JP 2002240624 A JP2002240624 A JP 2002240624A JP 2002240624 A JP2002240624 A JP 2002240624A JP 2004078749 A JP2004078749 A JP 2004078749A
- Authority
- JP
- Japan
- Prior art keywords
- face
- area
- image
- detection
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】検出対象者が眼鏡をかけているかどうかを、高精度に検出することのできる顔の特徴量検出装置を提供する。
【解決手段】検出対象者の顔を撮像するＴＶカメラ１と、ＴＶカメラ１によって撮像された顔画像中から、当該検出対象者の顔領域を検出する顔領域検出手段ＣＬ２と、顔領域検出手段ＣＬ２によって検出された顔領域内に存在する閉塞領域を検出する閉塞領域検出手段ＣＬ３と、閉塞領域検出手段ＣＬ３にて、画像上の顔領域内に閉塞領域を検出した場合に、検出対象者が眼鏡をかけているものと判断することを特徴とする。
【選択図】 図１
【解決手段】検出対象者の顔を撮像するＴＶカメラ１と、ＴＶカメラ１によって撮像された顔画像中から、当該検出対象者の顔領域を検出する顔領域検出手段ＣＬ２と、顔領域検出手段ＣＬ２によって検出された顔領域内に存在する閉塞領域を検出する閉塞領域検出手段ＣＬ３と、閉塞領域検出手段ＣＬ３にて、画像上の顔領域内に閉塞領域を検出した場合に、検出対象者が眼鏡をかけているものと判断することを特徴とする。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば車両の運転者が眼鏡をかけているかどうか等の、顔の状態を検出する顔の特徴量検出装置に関する。
【０００２】
【従来の技術】
顔の特徴量を検出する技術の従来例として、例えば、特開２０００−６９１３９号公報（以下、従来例という）に記載された「目位置及び顔位置検出装置」が知られている。該従来例では、画像の横方向の濃度ヒストグラムに基づいて横エッジを見つけ、その位置関係から眼鏡フレームが存在するかどうかの判断を行う内容について記載されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述した従来例では、濃度ヒストグラムから横エッジを見つける方式を採用しており、眼鏡の形状は千差万別であり、最近ではフレームレスの眼鏡なども存在するので、必ずしも濃度ヒストグラムで横エッジ検出できるとは限らず、眼鏡を検出することが容易でない問題があった。
【０００４】
【課題を解決するための手段】
上記目的を達成するため、本発明は、検出対象者の顔を撮像する顔画像撮像手段と、顔画像撮像手段によって撮像された顔画像中から、当該検出対象者の顔領域を検出する顔領域検出手段と、前記顔領域検出手段によって検出された顔領域内に存在する閉塞領域を検出する閉塞領域検出手段と、前記閉塞領域検出手段にて、前記画像上の顔領域内に閉塞領域を検出した場合に、前記検出対象者が眼鏡をかけているものと判断することを特徴とする。
【０００５】
【発明の効果】
本発明の顔の特徴量検出装置では、顔画像撮像手段にて撮像された画像から、顔領域を抽出し、且つ、抽出された顔画像中に、閉塞領域が存在するかどうかを判断している。そして、閉塞領域が存在する場合には、これを眼鏡のフレーム、或いは眼鏡の外郭（フレームを持たない場合）であると判断し、この対象者は眼鏡をかけているものと判断する。
【０００６】
従って、従来方式と比較し、簡単な構成で、且つ高精度に眼鏡をかけているかどうかを判定することができるようになる。
【０００７】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【０００８】
＜第１の実施形態＞
［システムブロック図］
図１は、本発明を適用した顔の特徴量検出装置の、第１の実施形態の構成を示すブロック図である。同図に示すように、該顔の特徴量検出装置は、顔画像撮像手段ＣＬ１と、顔領域検出手段ＣＬ２と、閉塞領域検出手段ＣＬ３と、を備えている。
【０００９】
顔画像撮像手段ＣＬ１は、検出対象者（例えば、車両の運転者）の顔を撮像して顔画像データを出力する。
【００１０】
顔領域検出手段ＣＬ２は、差分画像生成手段と、縦輪郭線検出手段と、耳位置検出手段とを具備しており、顔画像撮像手段ＣＬ１から出力された顔画像データを処理して、画像内で顔が移っている領域を検出する。
【００１１】
閉塞領域検出手段ＣＬ３は、顔領域検出手段ＣＬ２で検出された顔領域から、閉じた領域を検出し、その領域が眼鏡か否かを判断する。
【００１２】
この装置は、自動車、鉄道車両等が眼鏡をかけているか否かの判断に用いることができるものであるが、以下に示す全ての実施形態で、自動車の運転手に適用した場合で説明する。
【００１３】
［機器の配置］
図２は、本発明の機器の配置図である。顔画像撮像手段ＣＬ１として、ＴＶカメラ１が、自動車のインストルメント上で検出対象者である運転者を略正面下側（左右方向の略正面で、水平位置よりも下側）から撮像できる位置に設置され、運転者の顔部分を撮影する。
【００１４】
ＴＶカメラ１を、検出対象者の略正面下側から撮像できるように設置するのは、検出対象者の顔の左右の動きを、左右どちらについても同等に捕捉し、且つ、顔の構造物の状態を正確に捉えるためである。
【００１５】
例えば、略正面下側以外の場所でルームミラーの位置にカメラを設置した場合等は、顔の左右の動きについては検出対象者の左向きの動きに対しては敏感に捉えることができるが、右向きの動きに対しては、正確に捕捉することができない。また、顔の構造物の状態についても、上瞼の形状がわからないため眼の開閉眼の状態が正確に捕捉できないことや、鼻の穴が映らないなどといった不具合が生じる。
【００１６】
ＴＶカメラ１の入力画像は、本実施形態では、例えば横方向（Ｘ軸方向）６４０画素、縦方向（Ｙ軸方向）４８０画素からなる。前記ＴＶカメラ１で撮像された入力画像は、インストルメント裏側等、車体内部に設置されたマイクロコンピュータ２に画像データとして入力される。
【００１７】
マイクロコンピュータ２には、図１に示した顔領域検出手段ＣＬ２と、閉塞領域検出手段ＣＬ３とがプログラミングされている。また、該マイクロコンピュータ２は、後述するメモリＭａ、Ｍｂ、Ｍｃ、及びＭｄを有している。
【００１８】
［システム全体の処理］
次に、システムの処理状況について説明する。図３は、システムの全体の処理の流れを示すフローチャートである。まず、処理が開始されると、顔画像の撮像処理ステップＳ１（以下、「ステップＳ」は単に「Ｓ」と表す）で、ＴＶカメラ１で検出対象者の顔画像を撮像し、マイクロコンピュータ２に画像データとして入力する。
【００１９】
Ｓ２の、顔領域検出処理では、顔画像の撮像処理Ｓ１で撮像された画像から顔領域を検出する。
【００２０】
Ｓ３では、Ｓ２の顔領域検出処理の検出結果をもとに、顔領域が検出できたかどうかを判断する。顔領域が検出できた場合は（Ｓ３でＹＥＳ）、Ｓ４の、閉塞領域検出処理へ処理を進め、顔領域が検出できない場合は（Ｓ３でＮＯ）、Ｓ１の顔画像の撮像処理へ処理を戻し、顔領域が検出できるまで、Ｓ２の顔領域検出処理を繰り返す。
【００２１】
Ｓ４の閉塞領域検出処理では、顔領域検出処理Ｓ２で検出された顔領域から閉塞領域を検出する。
【００２２】
Ｓ５では、Ｓ４の閉塞領域検出処理の検出結果をもとに、Ｓ２の顔領域検出処理で検出された顔領域内に閉塞領域が検出できたかどうかを判断する。Ｓ２の顔領域検出処理で検出された顔領域内に閉塞領域が検出できた場合は（Ｓ５でＹＥＳ）、Ｓ６で眼鏡をかけていると判断し、Ｓ２の顔領域検出処理で検出された顔領域内に閉塞領域が検出できない場合は（Ｓ５でＮＯ）、Ｓ７で眼鏡をかけていないと判断して処理を終了する。
【００２３】
［顔領域検出処理］
車両などの乗物はそれが動いているときは微小な振動が発生している。その中に存在する乗員も、その振動の影響を受けるわけであるが、乗員は座っているシートや乗員自身の肉体のバネ系が乗物との間に入るため乗員と乗物の振動周波数は若干違っている。
【００２４】
そのため、乗物の中に固定したカメラで乗員の顔を、ビデオレイト程度のサンプリングタイムで動画像を時系列的にサンプリングし、その時間差分画像（時間的に近接した画像の差分値）を作成すると、乗員の顔が浮かび上がってくる。本実施形態ではこの特性を利用して顔領域の検出および閉塞領域の検出を行う。
【００２５】
Ｓ２の、顔領域検出処理については、差分画像の作成方法について単純差分で行う方法と、差分画像の時間蓄積を行う方法の２通り、顔領域の検出方法については顔の左右の輪郭線の間を顔領域とする方法と、顔の輪郭線の中から耳を検出して顔の左右の輪郭線の間で、且つ、耳位置より上側を顔領域とする方法の２通り、それぞれの組み合わせで計４通りの方法を提示する。
【００２６】
（第１の方法）
差分画像生成に単純差分を用い、顔領域の検出には顔の左右の輪郭線の間を顔領域とする顔領域検出処理（Ｓ２）の第１の方法について、図４、図５に示すフローチャートを参照して説明する。
【００２７】
Ｓ２の顔領域検出処理が開始されて、Ｓ２０１では、マイクロコンピュータ２が有する画像メモリＭａに、Ｓ１の顔画像撮像処理によって撮像された、図６に示す如くのオリジナルの顔画像ＯＰ（０）がメモリされる。
【００２８】
Ｓ２０２では、画像メモリＭｂに、前フレームのオリジナルの顔画像ＯＰ（１）がメモリされているかどうかを判定する。画像メモリＭｂに前フレームのオリジナル顔画像ＯＰ（１）がメモリされている場合（Ｓ２０２でＹＥＳ）は、Ｓ２０３に処理が移る。
【００２９】
画像メモリＭｂに前フレームのオリジナル顔画像ＯＰ（１）がメモリされていない場合（Ｓ２０２でＮＯ）は、図５のＳ２０９で顔領域は見つからなかったと判断し、Ｓ２１０でオリジナルの顔画像ＯＰ（０）を画像メモリＭｂに前フレームのオリジナルの顔画像ＯＰ（１）としてコピーして、Ｓ２の、顔領域検出処理を抜けて次の処理へ移る。
【００３０】
図４の、Ｓ２０３では、顔画像ＯＰ（０）と顔画像ＯＰ（１）から差分画像ＤＰを生成する。これにより、図７に示すような差分画像が生成される。差分画像の作成は公知の技術なのでここでは説明を省略する。
【００３１】
Ｓ２０４では、Ｓ２０３で生成された差分画像ＤＰを、画像メモリＭｃにメモリする。
【００３２】
Ｓ２０５では、差分画像ＤＰを二値化して、差分二値化画像ＢＷＤＰを生成し、生成された差分二値化画像ＢＷＤＰを画像メモリＭｄにメモリする。これにより図８に示す如くの、差分二値化画像が生成される。差分画像ＤＰから差分二値化画像ＢＷＤＰを生成するために必要な二値化閾値は固定値で決めておく方法や差分画像ＤＰから判別分析法などを用いて計算する方法などが考えられるが、いずれの方法も公知の技術なので説明を省略する。
【００３３】
Ｓ２０６では、生成された差分二値化画像ＢＷＤＰから縦方向の線状連結成分を抽出する。
【００３４】
画像上の黒画素を連結していくと、図９の曲線Ｌ１に示す如くの線状連結成分が抽出される。
【００３５】
Ｓ２０７では、差分二値化画像ＢＷＤＰの左右部分に縦方向の線状連結成分抽出されたかどうかを判定する。差分二値化画像ＢＷＤＰの左右部分に線状連結成分抽出された場合（Ｓ２０７でＹＥＳ）は、Ｓ２０８に処理が移る。
【００３６】
差分二値化画像ＢＷＤＰの左右部分に線状連結成分抽出されなかった場合（Ｓ２０７でＮＯ）は、Ｓ２０９で、顔領域は見つからなかったものと判断し、Ｓ２１０で、オリジナルの顔画像ＯＰ（０）を、画像メモリＭｂに、前フレームのオリジナルの顔画像ＯＰ（１）としてコピーして、Ｓ２の顔領域検出処理を抜けて、次の処理へ移る。
【００３７】
眼鏡の検出を正確に行うためには、検出対象者がＴＶカメラ１に対して正面を向いていて大きく動いていない場合に行うことが望ましい。検出対象者の顔が大きく動いている場合、それが左右に向くという回転運動であっても、左右に振るといって平行運動であっても、連結成分は線ではなく面として現れるので、線状連結成分としたことで大きな動きを伴っているときは除外される。
【００３８】
検出対象者が左右いずれかを振り向いている場合には、左右いずれかの輪郭線が顔の横の輪郭、つまり眼の部分のくぼみや鼻や口の突起など起伏に富んだ輪郭になり安定した縦の線状連結成分にならない。よって、画像の左右に安定した縦方向の線状連結成分が抽出されることが、すなわち眼鏡を検出するのに必要な検出対象者がＴＶカメラ１に対して正面を向いていて大きく動いていない場合に相当する。
【００３９】
Ｓ２０８では、左右の縦方向の線状連結成分の間の領域を顔領域として設定して、Ｓ２１０でオリジナルの顔画像ＯＰ（０）を画像メモリＭｂに、前フレームのオリジナルの顔画像ＯＰ（１）としてコピーして、Ｓ２の、顔領域検出処理を抜けて、次の処理へ移る。
【００４０】
縦方向の線状連結成分は１本だけ抽出される場合だけでなく、図９の曲線Ｌ１に示した縦方向の線状連結成分のように複数の縦方向の線状連結成分が抽出されることもある。
【００４１】
このような場合は、各複数の縦方向の線状連結成分の平均位置や重心位置などを代表位置として顔領域を設定することができる。図９における代表位置を、直線Ｌ２で示し、図１０に設定された顔領域を示す。
【００４２】
（第２の方法）
差分画像生成に差分画像の時間蓄積を行う方法を用い、顔領域の検出には顔の左右の輪郭線の間を顔領域とするＳ２の顔領域検出処理の、第２の方法について、図１１、及び図５に示すフローチャートを用いて説明する。なお、図１１の▲１▼、▲２▼は、図５の▲１▼、▲２▼にそれぞれつながる。
【００４３】
Ｓ２の顔領域検出処理が開始されて、Ｓ２０１では、画像メモリＭａに、Ｓ１の顔画像撮像処理によって撮像されたオリジナルの顔画像ＯＰ（０）がメモリされる。
【００４４】
Ｓ２０２では、画像メモリＭｂに前フレームのオリジナルの顔画像ＯＰ（１）がメモリされているかどうかを判定する。
【００４５】
画像メモリＭｂに前フレームのオリジナル顔画像ＯＰ（１）がメモリされている場合（Ｓ２０２でＹＥＳ）は、Ｓ２０３に処理が移る。画像メモリＭｂに前フレームのオリジナル顔画像ＯＰ（１）がメモリされていない場合（Ｓ２０２でＮＯ）は、図５のＳ２０９で顔領域は見つからなかったと判断し、Ｓ２１０で、オリジナルの顔画像ＯＰ（０）を画像メモリＭｂに前フレームのオリジナルの顔画像ＯＰ（１）としてコピーして、Ｓ２の顔領域検出処理を抜けて、次の処理へ移る。
【００４６】
図１１の、Ｓ２０３では、顔画像ＯＰ（０）と顔画像ＯＰ（１）から差分画像ＤＰを生成する。これにより、図７に示した如くの差分画像が生成される。
【００４７】
図１１のＳ２１１からＳ２１４の処理では、画像メモリＭ（ｉ）にメモリされている差分画像を画像メモリＭ（ｉ＋１）に順次コピーしていく。
【００４８】
Ｓ２１５では、Ｓ２０３で生成された差分画像ＤＰを画像メモリＭ（０）にメモリする。
【００４９】
Ｓ２１６では、画像メモリＭ（０）からＭ（ｎ）の差分画像を加算することによって、蓄積差分画像ＡＤＰを生成し、画像メモリＭｃにメモリする。
【００５０】
図５のＳ２０５では、蓄積差分画像ＡＤＰを二値化して差分二値化画像ＢＷＤＰを生成し、生成された差分二値化画像ＢＷＤＰを画像メモリＭｄにメモリする。
【００５１】
Ｓ２０６では、生成された差分二値化画像ＢＷＤＰから縦方向の線状連結成分を抽出する。
【００５２】
画像上の黒画素を連結していくと、図９の曲線Ｌ１に示すような線状連結成分が抽出される。
【００５３】
Ｓ２０７では、差分二値化画像ＢＷＤＰの左右部分に縦方向の線状連結成分抽出されたかどうかを判定する。差分二値化画像ＢＷＤＰの左右部分に線状連結成分抽出された場合（Ｓ２０７でＹＥＳ）は、Ｓ２０８に処理が移る。
【００５４】
差分二値化画像ＢＷＤＰの左右部分に線状連結成分抽出されなかった場合（Ｓ２０７でＮＯ）は、Ｓ２０９で、顔領域は見つからなかったと判断し、Ｓ２１０で、オリジナルの顔画像ＯＰ（０）を画像メモリＭｂに前フレームのオリジナルの顔画像ＯＰ（１）としてコピーして、Ｓ２の顔領域検出処理を抜けて、次の処理へ移る。
【００５５】
Ｓ２０８では、左右の縦方向の線状連結成分の間の領域を顔領域として設定して、Ｓ２１０でオリジナルの顔画像ＯＰ（０）を画像メモリＭｂに前フレームのオリジナルの顔画像ＯＰ（１）としてコピーして、Ｓ２の顔領域検出処理を抜けて、次の処理へ移る。
【００５６】
（第３の方法）
差分画像生成に単純差分を用い、顔領域の検出には顔の輪郭線の中から耳を検出して顔の左右の輪郭線の間でかつ耳位置より上側を顔領域とする方法を用いるＳ２の顔領域検出処理の第３の方法について、図４、及び図１２に示すフローチャートを用いて説明する。なお、図４の▲１▼、▲２▼は、図１２の▲１▼、▲２▼にそれぞれつながる。
【００５７】
Ｓ２の、顔領域検出処理が開始されて、図４のＳ２０１では、画像メモリＭａに顔画像撮像処理Ｓ１によって撮像されたオリジナルの顔画像ＯＰ（０）がメモリされる。
【００５８】
Ｓ２０２では、画像メモリＭｂに前フレームのオリジナルの顔画像ＯＰ（１）がメモリされているかどうかを判定する。画像メモリＭｂに前フレームのオリジナル顔画像ＯＰ（１）がメモリされている場合（Ｓ２０２でＹＥＳ）は、Ｓ２０３に処理が移る。
【００５９】
画像メモリＭｂに前フレームのオリジナル顔画像ＯＰ（１）がメモリされていない場合（Ｓ２０２でＮＯ）は、図１２のＳ２０９で、顔領域は見つからなかったと判断し、Ｓ２１０で、オリジナルの顔画像ＯＰ（０）を画像メモリＭｂに前フレームのオリジナルの顔画像ＯＰ（１）としてコピーして、Ｓ２の顔領域検出処理を抜けて、次の処理へ移る。
【００６０】
Ｓ２０３では、顔画像ＯＰ（０）と顔画像ＯＰ（１）から差分画像ＤＰを生成する。これにより、図７に示した如くの差分画像が生成される。差分画像の作成は公知の技術なのでここでは説明を省略する。
【００６１】
Ｓ２０４では、Ｓ２０３で生成された差分画像ＤＰを画像メモリＭｃにメモリする。
【００６２】
図１２のＳ２０５では、差分画像ＤＰを二値化して差分二値化画像ＢＷＤＰを生成し、生成された差分二値化画像ＢＷＤＰを画像メモリＭｄにメモリする。
【００６３】
Ｓ２０６では、生成された差分二値化画像ＢＷＤＰから縦方向の線状連結成分を抽出する。
【００６４】
Ｓ２０７では、差分二値化画像ＢＷＤＰの左右部分に縦方向の線状連結成分抽出されたかどうかを判定する。差分二値化画像ＢＷＤＰの左右部分に線状連結成分抽出された場合（Ｓ２０７でＹＥＳ）は、Ｓ２１７に処理が移る。差分二値化画像ＢＷＤＰの左右部分に線状連結成分抽出されなかった場合（Ｓ２０７でＮＯ）は、Ｓ２０９で、顔領域は見つからなかったと判断し、Ｓ２１０で、オリジナルの顔画像ＯＰ（０）を画像メモリＭｂに前フレームのオリジナルの顔画像ＯＰ（１）としてコピーして、Ｓ２の顔領域検出処理を抜けて、次の処理へ移る。Ｓ２１７では、画像上の耳位置を検出する。
【００６５】
本実施形態のように、検出対象者の顔を略正面下側より撮像した画像においては検出対象者略正面を見ている状況では、耳が顔の輪郭の最外部分に位置することになる。
【００６６】
よって、Ｓ２０６で、抽出された縦方向の線状連結成分の最も外側に抽出できたものを、耳の輪郭線と判断することができる。本実施形態においては、ＴＶカメラ１が上下方向で顔の正面より下側から撮影しているため、検出対象である眼鏡は耳の上端より上側に出てくるので、左右いずれかの耳の輪郭線の上端部のうち上側にあるものを耳位置とする。これにより、図１３の直線Ｌ３に示されるような位置を、耳位置とすることができる。
【００６７】
Ｓ２１８では、図１４に示すような左右の縦方向の線状連結成分の間の領域でかつ耳位置よりも上側の領域を顔領域として設定して、Ｓ２１０で、オリジナルの顔画像ＯＰ（０）を画像メモリＭｂに前フレームのオリジナルの顔画像ＯＰ（１）としてコピーして、Ｓ２の顔領域検出処理を抜けて、次の処理へ移る。
【００６８】
（第４の方法）
差分画像生成に差分画像の時間蓄積を行う方法を用い、顔領域の検出には顔の輪郭線の中から耳を検出して顔の左右の輪郭線の間で、かつ耳位置より上側を顔領域とする方法を用いる、Ｓ２の顔領域検出処理の第４の方法について、図１１、及び図１２に示すフローチャートを用いて説明する。なお、図１１の▲１▼、▲２▼は、図１２の▲１▼、▲２▼にそれぞれつながる。
【００６９】
Ｓ２の顔領域検出処理が開始されて、図１１のＳ２０１では、画像メモリＭａにＳ１の顔画像撮像処理によって撮像されたオリジナルの顔画像ＯＰ（０）がメモリされる。
【００７０】
Ｓ２０２では、画像メモリＭｂに前フレームのオリジナルの顔画像ＯＰ（１）がメモリされているかどうかを判定する。画像メモリＭｂに、前フレームのオリジナル顔画像ＯＰ（１）がメモリされている場合（Ｓ２０２でＹＥＳ）は、Ｓ２０３に処理が移る。
【００７１】
画像メモリＭｂに、前フレームのオリジナル顔画像ＯＰ（１）がメモリされていない場合（Ｓ２０２でＮＯ）は、Ｓ２０９で、顔領域は見つからなかったと判断し、図１２のＳ２１０で、オリジナルの顔画像ＯＰ（０）を画像メモリＭｂに前フレームのオリジナルの顔画像ＯＰ（１）としてコピーして、顔領域検出処理Ｓ２を抜けて次の処理へ移る。
【００７２】
Ｓ２０３では、顔画像ＯＰ（０）と顔画像ＯＰ（１）から差分画像ＤＰを生成する。これにより、図７に示した如くの差分画像が生成される。
【００７３】
Ｓ２１１からＳ２１４までの処理で、画像メモリＭ（ｉ）にメモリされている差分画像を画像メモリＭ（ｉ＋１）に順次コピーしていく。
【００７４】
Ｓ２１５では、２０３で生成された差分画像ＤＰを画像メモリＭ（０）にメモリする。
【００７５】
Ｓ２１６では、画像メモリＭ（０）からＭ（ｎ）の差分画像を加算することによって蓄積差分画像ＡＤＰを生成し、画像メモリＭｃにメモリする。
【００７６】
図１２のＳ２０５では、蓄積差分画像ＡＤＰを二値化して差分二値化画像ＢＷＤＰを生成し、生成された差分二値化画像ＢＷＤＰを画像メモリＭｄにメモリする。
【００７７】
Ｓ２０６では、生成された差分二値化画像ＢＷＤＰから縦方向の線状連結成分を抽出する。
【００７８】
Ｓ２０７では、差分二値化画像ＢＷＤＰの左右部分に縦方向の線状連結成分抽出されたかどうかを判定する。差分二値化画像ＢＷＤＰの左右部分に線状連結成分抽出された場合（Ｓ２０７ＹＥＳ）は、Ｓ２１７に処理が移る。
【００７９】
差分二値化画像ＢＷＤＰの左右部分に線状連結成分抽出されなかった場合（Ｓ２０７でＮＯ）は、Ｓ２０９で、顔領域は見つからなかったと判断し、Ｓ２１０で、オリジナルの顔画像ＯＰ（０）を画像メモリＭｂに前フレームのオリジナルの顔画像ＯＰ（１）としてコピーして、Ｓ２の顔領域検出処理を抜けて、次の処理へ移る。
【００８０】
Ｓ２１７では、画像上の耳位置を検出する。Ｓ２１８では、左右の縦方向の線状連結成分の間の領域でかつ耳位置よりも上側の領域を顔領域として設定して、Ｓ２１０で、オリジナルの顔画像ＯＰ（０）を画像メモリＭｂに前フレームのオリジナルの顔画像ＯＰ（１）としてコピーして、Ｓ２の顔領域検出処理を抜けて、次の処理へ移る。
【００８１】
［閉塞領域検出処理］
次に、図３に示したＳ４の閉塞領域検出処理について、図１５に示すフローチャートを参照しながら説明する。
【００８２】
Ｓ４１では、Ｓ２の顔領域検出処理において画像メモリＭｄにメモリされた差分二値化画像ＢＷＤＰを読み出してくる。
【００８３】
Ｓ４２では、画像メモリＭｄから読み出された差分二値化画像ＢＷＤＰで、Ｓ２の顔領域検出処理で検出された顔領域内で縦横方向に連結成分を検出する。
【００８４】
Ｓ４３では、Ｓ４２で検出された連結成分の中に、閉じた領域を持つ連結成分が存在するかどうかを判定する。
【００８５】
Ｓ４２で検出された連結成分の中に閉じた領域を持つ連結成分が存在する場合（Ｓ４３でＹＥＳ）は、Ｓ４４で、閉塞領域は見つかったと判断し、図３のＳ４の閉塞領域検出処理を抜けて、次の処理へ移る。Ｓ４２で検出された連結成分の中に閉じた領域を持つ連結成分が存在しなかった場合（Ｓ４３でＮＯ）は、Ｓ４５で、閉塞領域は見つからなかったと判断し、Ｓ４の閉塞領域検出処理を抜けて、次の処理へ移る。図１６の曲線Ｌ４に示しているのが、見つかった閉塞領域である。
【００８６】
このようにして、本実施形態に係る顔の特徴量検出装置では、検出対象者を撮像した画像から顔領域を抽出し、更に、この顔領域中に閉塞領域が存在する場合には、この閉塞領域が眼鏡であるものと判断する。従って、対象者が眼鏡をかけているかどうかを高精度に検出することができる。
【００８７】
また、ＴＶカメラ１等の顔画像撮像手段を検出対象者の左右方向の略正面に配置することにより、検出対象者の左右の動きを精度良く検出することができる。
【００８８】
更に、ＴＶカメラ１等の顔画像撮像手段を、対象者の顔の水平位置よりも下側に設置することにより、顔の構成物の状態を精度良く検出することができる。
【００８９】
また、ＴＶカメラ１で時系列的に撮像される画像の差分を求め、この差分画像から顔画像領域を求め、この顔画像領域に閉塞領域が存在するかどうかにより、眼鏡をかけているかどうかを判断するので、高精度な判断ができる。
【００９０】
更に、ＴＶカメラ１で撮像された画像から、顔の縦輪郭線を求め、該縦輪郭線に基づいて、顔領域を検出することにより、精度の高い顔領域の検出が可能となる。
【００９１】
また、時系列的に得られる画像の差分より得られる差分画像について、縦輪郭線を求め、顔領域を検出することにより、より一層精度の高い顔領域の検出が可能となる。
【００９２】
更に、ＴＶカメラ１で撮像された画像から、検出対象者の耳の位置を検出し、この耳の位置よりも上側の領域を、顔領域として設定することにより、眼鏡の存在をより高精度に検出することができる。
【００９３】
また、ＴＶカメラ１で撮像された時系列画像の、時間的に近接する２枚の画像フレームから差分を求めることにより、顔領域を高精度に検出することができる。
【００９４】
更に、２枚の原画像から生成された差分画像の画素濃度を蓄積することにより、より精度の高い顔領域の検出が可能となる。
【００９５】
＜第２の実施形態＞
次に、本発明に係る顔の特徴量検出装置の、第２の実施形態について説明する。前述した第１実施形態例では、閉塞領域が見つかったことが、すなわち眼鏡をかけていることと判断している。処理をする原画像の画像サイズが小さければ検出される閉塞領域も眼鏡のフレームのように大きいものだけであるが、大きなサイズの画像を処理していくと鼻の穴や眼の瞳部分も閉塞領域として出てくる。
【００９６】
第２の実施形態では、眼鏡以外の部分が閉塞領域として検出されてきたときに閉塞領域が眼鏡であるかどうかの判定を行う。
【００９７】
［システムブロック図］
第２の実施形態に係るシステムブロック図は、第１の実施形態と同一であるので省略する。
【００９８】
［機器の配置］
第２の実施形態に係る機器の配置、構成は、第１の実施形態と同一であるので省略する。
【００９９】
［システム全体の処理］
次に、システムの処理状況について説明する。図１７、図１８は、システムの全体の処理の流れを示すフローチャートである。まず、処理が開始されると、Ｓ１の顔画像の撮像処理で、ＴＶカメラ１で検出対象者の顔画像を撮像し、マイクロコンピュータ２に画像データとして入力される。
【０１００】
Ｓ２の顔領域検出処理では、顔画像の撮像処理Ｓ１で撮像された画像から顔領域を検出する。
【０１０１】
Ｓ３では、顔領域検出処理Ｓ２の検出結果をもとに、顔領域が検出できたかどうかを判断する。顔領域が検出できた場合は（Ｓ３でＹＥＳ）、閉塞領域検出処理Ｓ４へ処理を進め、顔領域が検出できない場合は（Ｓ３でＮＯ）、顔画像の撮像処理Ｓ１へ処理を戻し、顔領域が検出できるまでＳ２の顔領域検出処理を繰り返す。
【０１０２】
Ｓ４の閉塞領域検出処理では、Ｓ２の顔領域検出処理で検出された顔領域から、閉塞領域を検出する。
【０１０３】
Ｓ５では、Ｓ４の閉塞領域検出処理の検出結果をもとに、Ｓ２の顔領域検出処理で検出された顔領域内に閉塞領域が検出できたかどうかを判断する。顔領域検出処理Ｓ２で検出された顔領域内に閉塞領域が検出できた場合は（Ｓ５でＹＥＳ）、図１８のＳ８に処理を移す。Ｓ２の顔領域検出処理で検出された顔領域内に閉塞領域が検出できない場合は（Ｓ５でＮＯ）、Ｓ７で、眼鏡をかけていないと判断して、処理を終了する。
【０１０４】
Ｓ８では、顔領域の横幅を算出する。Ｓ９では、検出された閉塞領域のうちの１つについてその横幅を算出する。Ｓ１０では、Ｓ８で算出された顔領域の横幅と、Ｓ９で算出された閉塞領域の横幅の比較を行う。
【０１０５】
Ｓ１１では、Ｓ１０で顔領域の横幅と閉塞領域の横幅を比較した結果、閉塞領域の横幅が顔領域の横幅の概ね半分であるかどうかを判断する。閉塞領域の横幅が顔領域の横幅の概ね半分である場合は（Ｓ１１でＹＥＳ）、Ｓ１２に処理を移す。閉塞領域の横幅が顔領域の横幅の概ね半分でない場合は（Ｓ１１でＮＯ）、Ｓ１６に処理を移す。
【０１０６】
ここで、閉塞領域の横幅が顔領域の横幅の概ね半分というのは、顔領域の横幅に対して閉塞領域の横幅が４０％から６０％程度である。
【０１０７】
Ｓ１２では、Ｓ１１で顔領域の概ね半分の横幅を持つ閉塞領域の隣接位置に他の閉塞領域の検出処理を行う。
【０１０８】
Ｓ１３では、Ｓ１２で隣接位置に他の閉塞領域を検出処理を行った結果、隣接位置に他の閉塞領域があるかどうかの判断を行う。隣接位置に他の閉塞領域がある場合は（Ｓ１３でＹＥＳ）、Ｓ１４に処理を移す。隣接位置に他の閉塞領域がない場合は（Ｓ１３でＮＯ）、Ｓ１６に処理を移す。
【０１０９】
Ｓ１４では、Ｓ４で検出され、判断対象となっている閉塞領域と、Ｓ１２で検出された隣接位置に存在する閉塞領域の大きさ（横幅、縦幅、面積などをいづれか、或いはこれらの組み合わせによる複合パラメータ）の比較処理を行う。
【０１１０】
Ｓ１５では、Ｓ１４で２つの閉塞領域の比較処理を行った結果、２つの閉塞領域の大きさが同等であるかどうかの判断を行う。２つの閉塞領域の大きさが同等である場合は（Ｓ１５でＹＥＳ）、Ｓ６で眼鏡をかけていると判断して、処理を終了する。２つの閉塞領域の大きさが同等でない場合は（Ｓ１５でＮＯ）、Ｓ１６に処理を移す。
【０１１１】
Ｓ１６では、現在判断対象となっている閉塞領域のほかに、他の閉塞領域があるかどうかを判断する。現在判断対象となっている閉塞領域のほかに、他の閉塞領域がある場合は（Ｓ１６でＹＥＳ）、判断対象の閉塞領域を変更して、Ｓ９に処理を戻す。現在判断対象となっている閉塞領域のほかに、他の閉塞領域がない場合は（Ｓ１６でＮＯ）、Ｓ７で眼鏡をかけていないと判断して、処理を終了する。
【０１１２】
図１９、２０を用いて更に説明すると、Ｓ４の閉塞領域検出処理の結果、図１９のように、曲線Ｌ５に示した如くの閉塞領域が検出できたとする。
【０１１３】
図２０のように、閉塞領域にラベル番号を付し、ラベル番号の順に閉塞領域の検証を行っていく。ラベル▲１▼、ラベル▲２▼の閉塞領域の横幅ｌ▲１▼、ｌ▲２▼はＬ６で記された顔領域の横幅ｌｆの半分に満たない小さなものであることがわかる。
【０１１４】
続いて、ラベル▲３▼の閉塞領域を検証すると、ラベル▲３▼の閉塞領域の横幅ｌ▲３▼は、顔領域の横幅ｌｆの４０％程度の大きさで、概ね半分といえる。次いで、ラベル▲３▼の閉塞領域の隣接位置には、ラベル▲４▼の閉塞領域が存在している。このラベル▲４▼閉塞領域の横幅ｌ▲４▼とラベル▲３▼の閉塞領域の横幅ｌ▲３▼はほぼ等しいので、同等であるといえるので、眼鏡をかけていると判断される。
【０１１５】
［顔領域検出処理］
第１の実施形態と同一であるので、その説明を省略する。
【０１１６】
［閉塞領域検出処理］
第１の実施形態と同一であるので、その説明を省略する。
【０１１７】
このようにして、第２の実施形態に係る顔の特徴量検出装置では、前述した第１の実施形態で示した効果に加え、更に、閉塞領域の横幅が顔の幅の略半分（４０〜６０％の範囲）である場合に、これを眼鏡であると判断するので、他の顔の構成要素との誤検出を防止することができる。
【０１１８】
また、閉塞領域が横方向に２つ並んでいる場合に、これを眼鏡であると判断することにより、眼鏡の検出精度を向上させることができる。
【０１１９】
更に、閉塞領域が横方向に２つ並び、且つ、この２つの大きさが略同一である場合に、これを眼鏡であると判断することにより、より検出精度を向上させることができる。
【０１２０】
＜第３の実施形態＞
次に、本発明に係る顔の特徴量検出装置の、第３の実施形態について説明する。該第３の実施形態では、単に検出対象者が眼鏡をかけている、かけていないという判断だけではなく、眼鏡をかけていることを検出した後に、その眼鏡が眼の識別ができないようなサングラスなのか、それとも通常の眼鏡なのかを判断したり、通常の眼鏡であってもレンズ表面に映り込みがあるなどして眼が識別できる状態か否かを、リアルタイムに判別していくものである。
【０１２１】
［システムブロック図］
図２１は、本発明を適用した顔の特徴量検出装置の、第３の実施形態の構成を示すブロック図である。同図に示すように、該顔の特徴量検出装置は、顔画像撮像手段ＣＬ１と、顔領域検出手段ＣＬ２と、閉塞領域検出手段ＣＬ３と、眼検出手段ＣＬ４と備えている。
【０１２２】
顔画像撮像手段ＣＬ１は、検出対象者の顔を撮像して顔画像データを出力する。
【０１２３】
顔領域検出手段ＣＬ２は、顔画像撮像手段ＣＬ１から出力された顔画像データを処理して画像内で顔が移っている領域を検出する。
【０１２４】
閉塞領域検出手段ＣＬ３は、顔領域検出手段ＣＬ２で検出された顔領域から閉じた領域を検出し、その領域が眼鏡か否かを判断する。
【０１２５】
眼検出手段ＣＬ４は、閉塞領域検出手段ＣＬ３で検出され眼鏡だと判断された閉塞領域内で眼を検出を行い、かけている眼鏡の種類や状態を検出する。
【０１２６】
［機器の配置］
本発明の機器の配置、顔画像撮像手段ＣＬ１としてＴＶカメラ１は第１実施例と同じであるので省略する。マイクロコンピュータ２には、顔領域検出手段ＣＬ２と、閉塞領域検出手段ＣＬ３と眼検出手段ＣＬ４がプログラミングされている。
【０１２７】
［システム全体の処理］
図２２、図２３、図２４、及び図１８は、システムの全体の処理の流れを示している。
【０１２８】
まず、処理が開始されると、図２２のＳ１７で、終了判定が行われる。終了判定は車両のエンジンが切られたことや着座位置から検出対象者がいなくなったことをトリガーにしてプログラムの終了が判定される。
【０１２９】
Ｓ１８では、Ｓ１７でプログラム終了の判定が出された場合は（Ｓ１８でＹＥＳ）、プログラムを終了させる。プログラム終了の判定が出されなかった場合は（Ｓ１８でＮＯ）、Ｓ１９に処理を進める。
【０１３０】
Ｓ１９では、過去の検出結果から検出対象者がサングラスをかけているかどうかを判断する。
【０１３１】
検出対象者がサングラスをかけている場合は（Ｓ１９でＹＥＳ）、終了判定Ｓ１９へ処理を戻し、終了判定がでるまで終了判定処理Ｓ１７を繰り返す。顔領域が検出できない場合は（Ｓ１９でＮＯ）、Ｓ１の顔画像の撮像処理へ処理を進める。
【０１３２】
Ｓ１の顔画像の撮像処理で、ＴＶカメラ１で検出対象者の顔画像を撮像し、マイクロコンピュータ２に画像データとして入力される。
【０１３３】
Ｓ２の顔領域検出処理では、Ｓ１の顔画像の撮像処理で撮像された画像から顔領域を検出する。
【０１３４】
Ｓ３では、Ｓ２の顔領域検出処理の検出結果をもとに、顔領域が検出できたかどうかを判断する。顔領域が検出できた場合は（Ｓ３でＹＥＳ）、閉塞領域検出処理Ｓ４へ処理を進め、顔領域が検出できない場合は（Ｓ３でＮＯ）、Ｓ１の顔画像の撮像処理へ処理を戻し、顔領域が検出できるまで、Ｓ２の顔領域検出処理を繰り返す。
【０１３５】
Ｓ４の閉塞領域検出処理では、Ｓ２の顔領域検出処理で検出された顔領域から閉塞領域を検出する。
【０１３６】
Ｓ２０では、過去の検出結果から眼鏡検出が未決かどうかを判断する。眼鏡検出が未決の場合は（Ｓ２０でＹＥＳ）、図２３のＳ２２へ処理を進め、眼鏡検出が未決ではない場合は（Ｓ２０でＮＯ）、Ｓ２１へ処理を進める。
【０１３７】
Ｓ２１では、過去の検出結果から検出対象者は眼鏡をかけているかどうかを判断する。
【０１３８】
眼鏡をかけている場合は（Ｓ２１でＹＥＳ）、Ｓ５へ処理を進め、眼鏡をかけていない場合は（Ｓ２１でＮＯ）、終了判定Ｓ１７に処理を戻す。
【０１３９】
Ｓ５では、Ｓ４の閉塞領域検出処理の検出結果をもとに、Ｓ２の顔領域検出処理で検出された顔領域内に閉塞領域が検出できたかどうかを判断する。Ｓ２の顔領域検出処理で検出された顔領域内に閉塞領域が検出できた場合は（Ｓ５でＹＥＳ）、図２４のＳ３０に処理を移す。Ｓ２の顔領域検出処理で検出された顔領域内に閉塞領域が検出できない場合は（Ｓ５でＮＯ）、終了判定Ｓ１７に処理を戻す。
【０１４０】
Ｓ３０では、閉塞領域内で眼の検出処理を行う。ここで、眼の検出処理には、パターンマッチングやテンプレートマッチングなど公知の技術なのでここでは説明を省略する。
【０１４１】
Ｓ３１では、Ｓ３０の結果、閉塞領域内に眼が見つかったかどうかを判定する。閉塞領域内に眼が見つかった場合は（Ｓ３１でＹＥＳ）、Ｓ３２で、かけている眼鏡がサングラスではないと判断し、Ｓ３３で、その眼鏡のレンズ表面には映り込みがないと判断して、終了判定Ｓ１７に処理を戻す。閉塞領域内に眼が見つからなかった場合は（Ｓ３１でＮＯ）、Ｓ３４へ処理を進める。
【０１４２】
Ｓ３４では、サングラス判定は未決かどうかを判定する。サングラス判定が未決の場合は（Ｓ３４でＹＥＳ）、Ｓ３６へ処理を進める。閉塞領域内に眼が見つからなかった場合は（Ｓ３１でＮＯ）、Ｓ３５でその眼鏡のレンズ表面には映り込みがあると判断して、終了判定Ｓ１７に処理を戻す。
【０１４３】
Ｓ３６では、サングラスカウンタがインクルードされる。Ｓ３７では、サングラスカウンタが閾値を超えたかどうかを判定している。
【０１４４】
サングラスカウンタが閾値を超えた場合は（Ｓ３７でＹＥＳ）、Ｓ３８で検出対象者はサングラスをかけていると判断して、終了判定Ｓ１７に処理を戻す。サングラスカウンタが閾値を超えていない場合は（Ｓ３７でＮＯ）、Ｓ３９で検出対象者がかけている眼鏡がサングラスか通常の眼鏡かどうかの判断がつかず、サングラス検出は未決と判断して、終了判定Ｓ１７に処理を戻す。
【０１４５】
通常の眼鏡に映り込みが起こって、眼が検出できない場合は、継続して眼が検出できないということはなく、検出できる状況とできない状況が交互に発生する。しかし、サングラスでは継続して眼が検出できない状況が続く。サングラスカウンタの閾値については、処理時間にして、５〜１０秒間に相当する値する。
【０１４６】
Ｓ２２では、Ｓ４の閉塞領域検出処理の検出結果をもとに、Ｓ２の顔領域検出処理で検出された顔領域内に閉塞領域が検出できたかどうかを判断する。Ｓ２の顔領域検出処理で検出された顔領域内に閉塞領域が検出できた場合は（Ｓ２２でＹＥＳ）、図１８のＳ８に処理を移す。Ｓ２の顔領域検出処理で検出された顔領域内に閉塞領域が検出できない場合は（Ｓ２２でＮＯ）、Ｓ２６に処理を移す。
【０１４７】
Ｓ８では、顔領域の横幅を算出する。Ｓ９では、検出された閉塞領域のうちの１つについてその横幅を算出する。Ｓ１０では、Ｓ８で算出された顔領域の横幅と、Ｓ９で算出された閉塞領域の横幅の比較を行う。
【０１４８】
図１８のＳ１１では、Ｓ１０で顔領域の横幅と閉塞領域の横幅を比較した結果、閉塞領域の横幅が顔領域の横幅の概ね半分であるかどうかを判断する。閉塞領域の横幅が顔領域の横幅の概ね半分である場合は（Ｓ１１でＹＥＳ）、Ｓ１２に処理を移す。閉塞領域の横幅が顔領域の横幅の概ね半分でない場合は（Ｓ１１でＮＯ）、Ｓ１６に処理を移す。
【０１４９】
ここで閉塞領域の横幅が顔領域の横幅の概ね半分というのは顔領域の横幅に対して閉塞領域の横幅が４０％から６０％程度である。
【０１５０】
Ｓ１２では、Ｓ１１で顔領域の概ね半分の横幅を持つ閉塞領域の隣接位置に他の閉塞領域の検出処理を行う。
【０１５１】
Ｓ１３では、Ｓ１２で隣接位置に他の閉塞領域を検出処理を行った結果、隣接位置に他の閉塞領域があるかどうかの判断を行う。隣接位置に他の閉塞領域がある場合は（Ｓ１３でＹＥＳ）、Ｓ１４に処理を移す。隣接位置に他の閉塞領域がない場合は（Ｓ１３でＮＯ）、Ｓ１６に処理を移す。
【０１５２】
Ｓ１４では、Ｓ４で検出され、判断対象となっている閉塞領域と、Ｓ１２で検出された隣接位置に存在する閉塞領域の大きさ（横幅、縦幅、面積などの何れか、或いはこれらの組み合わせによる複合パラメータ）の比較処理を行う。
【０１５３】
Ｓ１５では、Ｓ１４で２つの閉塞領域の比較処理を行った結果、２つの閉塞領域の大きさが同等であるかどうかの判断を行う。２つの閉塞領域の大きさが同等である場合は（Ｓ１５でＹＥＳ）、図２３のＳ２３に処理を移す。２つの閉塞領域の大きさが同等でない場合は（Ｓ１５でＮＯ）、Ｓ１６に処理を移す。
【０１５４】
Ｓ１６では、現在判断対象となっている閉塞領域のほかに他の閉塞領域があるかどうかを判断する。現在判断対象となっている閉塞領域のほかに他の閉塞領域がある場合は（Ｓ１６でＹＥＳ）、判断対象の閉塞領域を変更して、Ｓ９に処理を戻す。現在判断対象となっている閉塞領域のほかに他の閉塞領域がない場合は（Ｓ１６でＮＯ）、Ｓ２６に処理を移す。
【０１５５】
Ｓ２３では、眼鏡ありカウンタがインクルードされる。Ｓ２４では、眼鏡ありカウンタが閾値を超えたかどうかを判定している。眼鏡ありカウンタが閾値を超えた場合は（Ｓ２４でＹＥＳ）、Ｓ２５で、検出対象者は眼鏡をかけていると判断して、図２２の終了判定Ｓ１７に処理を戻す。眼鏡ありカウンタが閾値を超えていない場合は（Ｓ２４でＮＯ）、Ｓ２９で、検出対象者は眼鏡をかけているのかどうかの判断が付かず眼鏡検出は未決と判断して終了判定Ｓ１７に処理を戻す。
【０１５６】
Ｓ２６では、眼鏡なしカウンタがインクルードされる。Ｓ２７では、眼鏡なしカウンタが閾値を超えたかどうかを判定している。眼鏡なしカウンタが閾値を超えた場合は（Ｓ２７でＹＥＳ）、Ｓ２８で、検出対象者は眼鏡をかけていないと判断して、終了判定Ｓ１７に処理を戻す。眼鏡カウンタが閾値を超えていない場合は（Ｓ２７でＮＯ）、Ｓ２９で検出対象者は眼鏡をかけているのかどうかの判断が付かず眼鏡検出は未決と判断して、終了判定Ｓ１７に処理を戻す。
【０１５７】
眼鏡ありカウンタ、眼鏡なしカウンタのそれぞれの閾値については処理時間にして２〜３秒に相当する値とする。
【０１５８】
［顔領域検出処理］
第１の実施形態と同一であるので、その説明を省略する。
【０１５９】
［閉塞領域検出処理］
第１の実施形態と同一であるので、その説明を省略する。
【０１６０】
このようにして、第３の実施形態に係る顔の特徴量検出装置では、前述した第１，第２の実施形態に示した効果に加え、更に、眼検出手段により、閉塞領域内に眼の存在が検出された際には、対象者がかけている眼鏡はサングラスではないものと判断するので、眼鏡の種類をも検出することができる。
【０１６１】
また、閉塞領域内にて、継続的に眼の存在が検出されない場合には、対象者がかけている眼鏡はサングラスであるものと判断するので、透明の眼鏡か、或いはサングラスであるかの判断を高精度に行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る顔の特徴量検出装置の構成を示すブロック図である。
【図２】本発明に係る顔の特徴量検出装置の、各構成要素の配置を示す説明図である。
【図３】第１の実施形態に係る顔の特徴量検出装置の、処理動作を示すフローチャートである。
【図４】顔領域検出処理の処理手順を示すフローチャートである。
【図５】顔領域検出処理の処理手順を示すフローチャートである。
【図６】ＴＶカメラにて撮像される検出対象者の顔画像を示す説明図である。
【図７】図６に示した顔画像より得られる差分画像を示す説明図である。
【図８】図７に示した差分画像を、二値化して得られる画像を示す説明図である。
【図９】二値化画像上にて抽出された、縦方向の線状連結成分と代表位置を示す説明図である。
【図１０】検出された顔領域を示す説明図である。
【図１１】顔領域検出処理の処理手順を示すフローチャートである。
【図１２】顔領域検出処理の処理手順を示すフローチャートである。
【図１３】二値化画像上にて抽出された、縦方向の線状連結成分と代表位置、及び耳の位置を示す説明図である。
【図１４】検出された顔領域を示す説明図である。
【図１５】閉塞領域検出処理の処理手順を示すフローチャートである。
【図１６】検出された閉塞領域を示す説明図である。
【図１７】第２の実施形態に係る顔の特徴量検出装置の、処理手順を示すフローチャートの、第１の分図である。
【図１８】第２の実施形態に係る顔の特徴量検出装置の、処理手順を示すフローチャートの、第２の分図である。
【図１９】検出された閉塞領域を示す説明図である。
【図２０】閉塞領域と顔領域の横幅を示す説明図である。
【図２１】本発明の第３の実施形態に係る顔の特徴量検出装置の構成を示すブロック図である。
【図２２】第３の実施形態に係る顔の特徴量検出装置の処理手順を示すフローチャートの、第１の分図である。
【図２３】第３の実施形態に係る顔の特徴量検出装置の処理手順を示すフローチャートの、第２の分図である。
【図２４】第３の実施形態に係る顔の特徴量検出装置の処理手順を示すフローチャートの、第３の分図である。
【符号の説明】
１ ＴＶカメラ
２ マイクロコンピュータ
ＣＬ１ 顔画像撮像手段
ＣＬ２ 顔領域検出手段
ＣＬ３ 閉塞領域検出手段
ＣＬ４ 眼検出手段
【発明の属する技術分野】
本発明は、例えば車両の運転者が眼鏡をかけているかどうか等の、顔の状態を検出する顔の特徴量検出装置に関する。
【０００２】
【従来の技術】
顔の特徴量を検出する技術の従来例として、例えば、特開２０００−６９１３９号公報（以下、従来例という）に記載された「目位置及び顔位置検出装置」が知られている。該従来例では、画像の横方向の濃度ヒストグラムに基づいて横エッジを見つけ、その位置関係から眼鏡フレームが存在するかどうかの判断を行う内容について記載されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述した従来例では、濃度ヒストグラムから横エッジを見つける方式を採用しており、眼鏡の形状は千差万別であり、最近ではフレームレスの眼鏡なども存在するので、必ずしも濃度ヒストグラムで横エッジ検出できるとは限らず、眼鏡を検出することが容易でない問題があった。
【０００４】
【課題を解決するための手段】
上記目的を達成するため、本発明は、検出対象者の顔を撮像する顔画像撮像手段と、顔画像撮像手段によって撮像された顔画像中から、当該検出対象者の顔領域を検出する顔領域検出手段と、前記顔領域検出手段によって検出された顔領域内に存在する閉塞領域を検出する閉塞領域検出手段と、前記閉塞領域検出手段にて、前記画像上の顔領域内に閉塞領域を検出した場合に、前記検出対象者が眼鏡をかけているものと判断することを特徴とする。
【０００５】
【発明の効果】
本発明の顔の特徴量検出装置では、顔画像撮像手段にて撮像された画像から、顔領域を抽出し、且つ、抽出された顔画像中に、閉塞領域が存在するかどうかを判断している。そして、閉塞領域が存在する場合には、これを眼鏡のフレーム、或いは眼鏡の外郭（フレームを持たない場合）であると判断し、この対象者は眼鏡をかけているものと判断する。
【０００６】
従って、従来方式と比較し、簡単な構成で、且つ高精度に眼鏡をかけているかどうかを判定することができるようになる。
【０００７】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【０００８】
＜第１の実施形態＞
［システムブロック図］
図１は、本発明を適用した顔の特徴量検出装置の、第１の実施形態の構成を示すブロック図である。同図に示すように、該顔の特徴量検出装置は、顔画像撮像手段ＣＬ１と、顔領域検出手段ＣＬ２と、閉塞領域検出手段ＣＬ３と、を備えている。
【０００９】
顔画像撮像手段ＣＬ１は、検出対象者（例えば、車両の運転者）の顔を撮像して顔画像データを出力する。
【００１０】
顔領域検出手段ＣＬ２は、差分画像生成手段と、縦輪郭線検出手段と、耳位置検出手段とを具備しており、顔画像撮像手段ＣＬ１から出力された顔画像データを処理して、画像内で顔が移っている領域を検出する。
【００１１】
閉塞領域検出手段ＣＬ３は、顔領域検出手段ＣＬ２で検出された顔領域から、閉じた領域を検出し、その領域が眼鏡か否かを判断する。
【００１２】
この装置は、自動車、鉄道車両等が眼鏡をかけているか否かの判断に用いることができるものであるが、以下に示す全ての実施形態で、自動車の運転手に適用した場合で説明する。
【００１３】
［機器の配置］
図２は、本発明の機器の配置図である。顔画像撮像手段ＣＬ１として、ＴＶカメラ１が、自動車のインストルメント上で検出対象者である運転者を略正面下側（左右方向の略正面で、水平位置よりも下側）から撮像できる位置に設置され、運転者の顔部分を撮影する。
【００１４】
ＴＶカメラ１を、検出対象者の略正面下側から撮像できるように設置するのは、検出対象者の顔の左右の動きを、左右どちらについても同等に捕捉し、且つ、顔の構造物の状態を正確に捉えるためである。
【００１５】
例えば、略正面下側以外の場所でルームミラーの位置にカメラを設置した場合等は、顔の左右の動きについては検出対象者の左向きの動きに対しては敏感に捉えることができるが、右向きの動きに対しては、正確に捕捉することができない。また、顔の構造物の状態についても、上瞼の形状がわからないため眼の開閉眼の状態が正確に捕捉できないことや、鼻の穴が映らないなどといった不具合が生じる。
【００１６】
ＴＶカメラ１の入力画像は、本実施形態では、例えば横方向（Ｘ軸方向）６４０画素、縦方向（Ｙ軸方向）４８０画素からなる。前記ＴＶカメラ１で撮像された入力画像は、インストルメント裏側等、車体内部に設置されたマイクロコンピュータ２に画像データとして入力される。
【００１７】
マイクロコンピュータ２には、図１に示した顔領域検出手段ＣＬ２と、閉塞領域検出手段ＣＬ３とがプログラミングされている。また、該マイクロコンピュータ２は、後述するメモリＭａ、Ｍｂ、Ｍｃ、及びＭｄを有している。
【００１８】
［システム全体の処理］
次に、システムの処理状況について説明する。図３は、システムの全体の処理の流れを示すフローチャートである。まず、処理が開始されると、顔画像の撮像処理ステップＳ１（以下、「ステップＳ」は単に「Ｓ」と表す）で、ＴＶカメラ１で検出対象者の顔画像を撮像し、マイクロコンピュータ２に画像データとして入力する。
【００１９】
Ｓ２の、顔領域検出処理では、顔画像の撮像処理Ｓ１で撮像された画像から顔領域を検出する。
【００２０】
Ｓ３では、Ｓ２の顔領域検出処理の検出結果をもとに、顔領域が検出できたかどうかを判断する。顔領域が検出できた場合は（Ｓ３でＹＥＳ）、Ｓ４の、閉塞領域検出処理へ処理を進め、顔領域が検出できない場合は（Ｓ３でＮＯ）、Ｓ１の顔画像の撮像処理へ処理を戻し、顔領域が検出できるまで、Ｓ２の顔領域検出処理を繰り返す。
【００２１】
Ｓ４の閉塞領域検出処理では、顔領域検出処理Ｓ２で検出された顔領域から閉塞領域を検出する。
【００２２】
Ｓ５では、Ｓ４の閉塞領域検出処理の検出結果をもとに、Ｓ２の顔領域検出処理で検出された顔領域内に閉塞領域が検出できたかどうかを判断する。Ｓ２の顔領域検出処理で検出された顔領域内に閉塞領域が検出できた場合は（Ｓ５でＹＥＳ）、Ｓ６で眼鏡をかけていると判断し、Ｓ２の顔領域検出処理で検出された顔領域内に閉塞領域が検出できない場合は（Ｓ５でＮＯ）、Ｓ７で眼鏡をかけていないと判断して処理を終了する。
【００２３】
［顔領域検出処理］
車両などの乗物はそれが動いているときは微小な振動が発生している。その中に存在する乗員も、その振動の影響を受けるわけであるが、乗員は座っているシートや乗員自身の肉体のバネ系が乗物との間に入るため乗員と乗物の振動周波数は若干違っている。
【００２４】
そのため、乗物の中に固定したカメラで乗員の顔を、ビデオレイト程度のサンプリングタイムで動画像を時系列的にサンプリングし、その時間差分画像（時間的に近接した画像の差分値）を作成すると、乗員の顔が浮かび上がってくる。本実施形態ではこの特性を利用して顔領域の検出および閉塞領域の検出を行う。
【００２５】
Ｓ２の、顔領域検出処理については、差分画像の作成方法について単純差分で行う方法と、差分画像の時間蓄積を行う方法の２通り、顔領域の検出方法については顔の左右の輪郭線の間を顔領域とする方法と、顔の輪郭線の中から耳を検出して顔の左右の輪郭線の間で、且つ、耳位置より上側を顔領域とする方法の２通り、それぞれの組み合わせで計４通りの方法を提示する。
【００２６】
（第１の方法）
差分画像生成に単純差分を用い、顔領域の検出には顔の左右の輪郭線の間を顔領域とする顔領域検出処理（Ｓ２）の第１の方法について、図４、図５に示すフローチャートを参照して説明する。
【００２７】
Ｓ２の顔領域検出処理が開始されて、Ｓ２０１では、マイクロコンピュータ２が有する画像メモリＭａに、Ｓ１の顔画像撮像処理によって撮像された、図６に示す如くのオリジナルの顔画像ＯＰ（０）がメモリされる。
【００２８】
Ｓ２０２では、画像メモリＭｂに、前フレームのオリジナルの顔画像ＯＰ（１）がメモリされているかどうかを判定する。画像メモリＭｂに前フレームのオリジナル顔画像ＯＰ（１）がメモリされている場合（Ｓ２０２でＹＥＳ）は、Ｓ２０３に処理が移る。
【００２９】
画像メモリＭｂに前フレームのオリジナル顔画像ＯＰ（１）がメモリされていない場合（Ｓ２０２でＮＯ）は、図５のＳ２０９で顔領域は見つからなかったと判断し、Ｓ２１０でオリジナルの顔画像ＯＰ（０）を画像メモリＭｂに前フレームのオリジナルの顔画像ＯＰ（１）としてコピーして、Ｓ２の、顔領域検出処理を抜けて次の処理へ移る。
【００３０】
図４の、Ｓ２０３では、顔画像ＯＰ（０）と顔画像ＯＰ（１）から差分画像ＤＰを生成する。これにより、図７に示すような差分画像が生成される。差分画像の作成は公知の技術なのでここでは説明を省略する。
【００３１】
Ｓ２０４では、Ｓ２０３で生成された差分画像ＤＰを、画像メモリＭｃにメモリする。
【００３２】
Ｓ２０５では、差分画像ＤＰを二値化して、差分二値化画像ＢＷＤＰを生成し、生成された差分二値化画像ＢＷＤＰを画像メモリＭｄにメモリする。これにより図８に示す如くの、差分二値化画像が生成される。差分画像ＤＰから差分二値化画像ＢＷＤＰを生成するために必要な二値化閾値は固定値で決めておく方法や差分画像ＤＰから判別分析法などを用いて計算する方法などが考えられるが、いずれの方法も公知の技術なので説明を省略する。
【００３３】
Ｓ２０６では、生成された差分二値化画像ＢＷＤＰから縦方向の線状連結成分を抽出する。
【００３４】
画像上の黒画素を連結していくと、図９の曲線Ｌ１に示す如くの線状連結成分が抽出される。
【００３５】
Ｓ２０７では、差分二値化画像ＢＷＤＰの左右部分に縦方向の線状連結成分抽出されたかどうかを判定する。差分二値化画像ＢＷＤＰの左右部分に線状連結成分抽出された場合（Ｓ２０７でＹＥＳ）は、Ｓ２０８に処理が移る。
【００３６】
差分二値化画像ＢＷＤＰの左右部分に線状連結成分抽出されなかった場合（Ｓ２０７でＮＯ）は、Ｓ２０９で、顔領域は見つからなかったものと判断し、Ｓ２１０で、オリジナルの顔画像ＯＰ（０）を、画像メモリＭｂに、前フレームのオリジナルの顔画像ＯＰ（１）としてコピーして、Ｓ２の顔領域検出処理を抜けて、次の処理へ移る。
【００３７】
眼鏡の検出を正確に行うためには、検出対象者がＴＶカメラ１に対して正面を向いていて大きく動いていない場合に行うことが望ましい。検出対象者の顔が大きく動いている場合、それが左右に向くという回転運動であっても、左右に振るといって平行運動であっても、連結成分は線ではなく面として現れるので、線状連結成分としたことで大きな動きを伴っているときは除外される。
【００３８】
検出対象者が左右いずれかを振り向いている場合には、左右いずれかの輪郭線が顔の横の輪郭、つまり眼の部分のくぼみや鼻や口の突起など起伏に富んだ輪郭になり安定した縦の線状連結成分にならない。よって、画像の左右に安定した縦方向の線状連結成分が抽出されることが、すなわち眼鏡を検出するのに必要な検出対象者がＴＶカメラ１に対して正面を向いていて大きく動いていない場合に相当する。
【００３９】
Ｓ２０８では、左右の縦方向の線状連結成分の間の領域を顔領域として設定して、Ｓ２１０でオリジナルの顔画像ＯＰ（０）を画像メモリＭｂに、前フレームのオリジナルの顔画像ＯＰ（１）としてコピーして、Ｓ２の、顔領域検出処理を抜けて、次の処理へ移る。
【００４０】
縦方向の線状連結成分は１本だけ抽出される場合だけでなく、図９の曲線Ｌ１に示した縦方向の線状連結成分のように複数の縦方向の線状連結成分が抽出されることもある。
【００４１】
このような場合は、各複数の縦方向の線状連結成分の平均位置や重心位置などを代表位置として顔領域を設定することができる。図９における代表位置を、直線Ｌ２で示し、図１０に設定された顔領域を示す。
【００４２】
（第２の方法）
差分画像生成に差分画像の時間蓄積を行う方法を用い、顔領域の検出には顔の左右の輪郭線の間を顔領域とするＳ２の顔領域検出処理の、第２の方法について、図１１、及び図５に示すフローチャートを用いて説明する。なお、図１１の▲１▼、▲２▼は、図５の▲１▼、▲２▼にそれぞれつながる。
【００４３】
Ｓ２の顔領域検出処理が開始されて、Ｓ２０１では、画像メモリＭａに、Ｓ１の顔画像撮像処理によって撮像されたオリジナルの顔画像ＯＰ（０）がメモリされる。
【００４４】
Ｓ２０２では、画像メモリＭｂに前フレームのオリジナルの顔画像ＯＰ（１）がメモリされているかどうかを判定する。
【００４５】
画像メモリＭｂに前フレームのオリジナル顔画像ＯＰ（１）がメモリされている場合（Ｓ２０２でＹＥＳ）は、Ｓ２０３に処理が移る。画像メモリＭｂに前フレームのオリジナル顔画像ＯＰ（１）がメモリされていない場合（Ｓ２０２でＮＯ）は、図５のＳ２０９で顔領域は見つからなかったと判断し、Ｓ２１０で、オリジナルの顔画像ＯＰ（０）を画像メモリＭｂに前フレームのオリジナルの顔画像ＯＰ（１）としてコピーして、Ｓ２の顔領域検出処理を抜けて、次の処理へ移る。
【００４６】
図１１の、Ｓ２０３では、顔画像ＯＰ（０）と顔画像ＯＰ（１）から差分画像ＤＰを生成する。これにより、図７に示した如くの差分画像が生成される。
【００４７】
図１１のＳ２１１からＳ２１４の処理では、画像メモリＭ（ｉ）にメモリされている差分画像を画像メモリＭ（ｉ＋１）に順次コピーしていく。
【００４８】
Ｓ２１５では、Ｓ２０３で生成された差分画像ＤＰを画像メモリＭ（０）にメモリする。
【００４９】
Ｓ２１６では、画像メモリＭ（０）からＭ（ｎ）の差分画像を加算することによって、蓄積差分画像ＡＤＰを生成し、画像メモリＭｃにメモリする。
【００５０】
図５のＳ２０５では、蓄積差分画像ＡＤＰを二値化して差分二値化画像ＢＷＤＰを生成し、生成された差分二値化画像ＢＷＤＰを画像メモリＭｄにメモリする。
【００５１】
Ｓ２０６では、生成された差分二値化画像ＢＷＤＰから縦方向の線状連結成分を抽出する。
【００５２】
画像上の黒画素を連結していくと、図９の曲線Ｌ１に示すような線状連結成分が抽出される。
【００５３】
Ｓ２０７では、差分二値化画像ＢＷＤＰの左右部分に縦方向の線状連結成分抽出されたかどうかを判定する。差分二値化画像ＢＷＤＰの左右部分に線状連結成分抽出された場合（Ｓ２０７でＹＥＳ）は、Ｓ２０８に処理が移る。
【００５４】
差分二値化画像ＢＷＤＰの左右部分に線状連結成分抽出されなかった場合（Ｓ２０７でＮＯ）は、Ｓ２０９で、顔領域は見つからなかったと判断し、Ｓ２１０で、オリジナルの顔画像ＯＰ（０）を画像メモリＭｂに前フレームのオリジナルの顔画像ＯＰ（１）としてコピーして、Ｓ２の顔領域検出処理を抜けて、次の処理へ移る。
【００５５】
Ｓ２０８では、左右の縦方向の線状連結成分の間の領域を顔領域として設定して、Ｓ２１０でオリジナルの顔画像ＯＰ（０）を画像メモリＭｂに前フレームのオリジナルの顔画像ＯＰ（１）としてコピーして、Ｓ２の顔領域検出処理を抜けて、次の処理へ移る。
【００５６】
（第３の方法）
差分画像生成に単純差分を用い、顔領域の検出には顔の輪郭線の中から耳を検出して顔の左右の輪郭線の間でかつ耳位置より上側を顔領域とする方法を用いるＳ２の顔領域検出処理の第３の方法について、図４、及び図１２に示すフローチャートを用いて説明する。なお、図４の▲１▼、▲２▼は、図１２の▲１▼、▲２▼にそれぞれつながる。
【００５７】
Ｓ２の、顔領域検出処理が開始されて、図４のＳ２０１では、画像メモリＭａに顔画像撮像処理Ｓ１によって撮像されたオリジナルの顔画像ＯＰ（０）がメモリされる。
【００５８】
Ｓ２０２では、画像メモリＭｂに前フレームのオリジナルの顔画像ＯＰ（１）がメモリされているかどうかを判定する。画像メモリＭｂに前フレームのオリジナル顔画像ＯＰ（１）がメモリされている場合（Ｓ２０２でＹＥＳ）は、Ｓ２０３に処理が移る。
【００５９】
画像メモリＭｂに前フレームのオリジナル顔画像ＯＰ（１）がメモリされていない場合（Ｓ２０２でＮＯ）は、図１２のＳ２０９で、顔領域は見つからなかったと判断し、Ｓ２１０で、オリジナルの顔画像ＯＰ（０）を画像メモリＭｂに前フレームのオリジナルの顔画像ＯＰ（１）としてコピーして、Ｓ２の顔領域検出処理を抜けて、次の処理へ移る。
【００６０】
Ｓ２０３では、顔画像ＯＰ（０）と顔画像ＯＰ（１）から差分画像ＤＰを生成する。これにより、図７に示した如くの差分画像が生成される。差分画像の作成は公知の技術なのでここでは説明を省略する。
【００６１】
Ｓ２０４では、Ｓ２０３で生成された差分画像ＤＰを画像メモリＭｃにメモリする。
【００６２】
図１２のＳ２０５では、差分画像ＤＰを二値化して差分二値化画像ＢＷＤＰを生成し、生成された差分二値化画像ＢＷＤＰを画像メモリＭｄにメモリする。
【００６３】
Ｓ２０６では、生成された差分二値化画像ＢＷＤＰから縦方向の線状連結成分を抽出する。
【００６４】
Ｓ２０７では、差分二値化画像ＢＷＤＰの左右部分に縦方向の線状連結成分抽出されたかどうかを判定する。差分二値化画像ＢＷＤＰの左右部分に線状連結成分抽出された場合（Ｓ２０７でＹＥＳ）は、Ｓ２１７に処理が移る。差分二値化画像ＢＷＤＰの左右部分に線状連結成分抽出されなかった場合（Ｓ２０７でＮＯ）は、Ｓ２０９で、顔領域は見つからなかったと判断し、Ｓ２１０で、オリジナルの顔画像ＯＰ（０）を画像メモリＭｂに前フレームのオリジナルの顔画像ＯＰ（１）としてコピーして、Ｓ２の顔領域検出処理を抜けて、次の処理へ移る。Ｓ２１７では、画像上の耳位置を検出する。
【００６５】
本実施形態のように、検出対象者の顔を略正面下側より撮像した画像においては検出対象者略正面を見ている状況では、耳が顔の輪郭の最外部分に位置することになる。
【００６６】
よって、Ｓ２０６で、抽出された縦方向の線状連結成分の最も外側に抽出できたものを、耳の輪郭線と判断することができる。本実施形態においては、ＴＶカメラ１が上下方向で顔の正面より下側から撮影しているため、検出対象である眼鏡は耳の上端より上側に出てくるので、左右いずれかの耳の輪郭線の上端部のうち上側にあるものを耳位置とする。これにより、図１３の直線Ｌ３に示されるような位置を、耳位置とすることができる。
【００６７】
Ｓ２１８では、図１４に示すような左右の縦方向の線状連結成分の間の領域でかつ耳位置よりも上側の領域を顔領域として設定して、Ｓ２１０で、オリジナルの顔画像ＯＰ（０）を画像メモリＭｂに前フレームのオリジナルの顔画像ＯＰ（１）としてコピーして、Ｓ２の顔領域検出処理を抜けて、次の処理へ移る。
【００６８】
（第４の方法）
差分画像生成に差分画像の時間蓄積を行う方法を用い、顔領域の検出には顔の輪郭線の中から耳を検出して顔の左右の輪郭線の間で、かつ耳位置より上側を顔領域とする方法を用いる、Ｓ２の顔領域検出処理の第４の方法について、図１１、及び図１２に示すフローチャートを用いて説明する。なお、図１１の▲１▼、▲２▼は、図１２の▲１▼、▲２▼にそれぞれつながる。
【００６９】
Ｓ２の顔領域検出処理が開始されて、図１１のＳ２０１では、画像メモリＭａにＳ１の顔画像撮像処理によって撮像されたオリジナルの顔画像ＯＰ（０）がメモリされる。
【００７０】
Ｓ２０２では、画像メモリＭｂに前フレームのオリジナルの顔画像ＯＰ（１）がメモリされているかどうかを判定する。画像メモリＭｂに、前フレームのオリジナル顔画像ＯＰ（１）がメモリされている場合（Ｓ２０２でＹＥＳ）は、Ｓ２０３に処理が移る。
【００７１】
画像メモリＭｂに、前フレームのオリジナル顔画像ＯＰ（１）がメモリされていない場合（Ｓ２０２でＮＯ）は、Ｓ２０９で、顔領域は見つからなかったと判断し、図１２のＳ２１０で、オリジナルの顔画像ＯＰ（０）を画像メモリＭｂに前フレームのオリジナルの顔画像ＯＰ（１）としてコピーして、顔領域検出処理Ｓ２を抜けて次の処理へ移る。
【００７２】
Ｓ２０３では、顔画像ＯＰ（０）と顔画像ＯＰ（１）から差分画像ＤＰを生成する。これにより、図７に示した如くの差分画像が生成される。
【００７３】
Ｓ２１１からＳ２１４までの処理で、画像メモリＭ（ｉ）にメモリされている差分画像を画像メモリＭ（ｉ＋１）に順次コピーしていく。
【００７４】
Ｓ２１５では、２０３で生成された差分画像ＤＰを画像メモリＭ（０）にメモリする。
【００７５】
Ｓ２１６では、画像メモリＭ（０）からＭ（ｎ）の差分画像を加算することによって蓄積差分画像ＡＤＰを生成し、画像メモリＭｃにメモリする。
【００７６】
図１２のＳ２０５では、蓄積差分画像ＡＤＰを二値化して差分二値化画像ＢＷＤＰを生成し、生成された差分二値化画像ＢＷＤＰを画像メモリＭｄにメモリする。
【００７７】
Ｓ２０６では、生成された差分二値化画像ＢＷＤＰから縦方向の線状連結成分を抽出する。
【００７８】
Ｓ２０７では、差分二値化画像ＢＷＤＰの左右部分に縦方向の線状連結成分抽出されたかどうかを判定する。差分二値化画像ＢＷＤＰの左右部分に線状連結成分抽出された場合（Ｓ２０７ＹＥＳ）は、Ｓ２１７に処理が移る。
【００７９】
差分二値化画像ＢＷＤＰの左右部分に線状連結成分抽出されなかった場合（Ｓ２０７でＮＯ）は、Ｓ２０９で、顔領域は見つからなかったと判断し、Ｓ２１０で、オリジナルの顔画像ＯＰ（０）を画像メモリＭｂに前フレームのオリジナルの顔画像ＯＰ（１）としてコピーして、Ｓ２の顔領域検出処理を抜けて、次の処理へ移る。
【００８０】
Ｓ２１７では、画像上の耳位置を検出する。Ｓ２１８では、左右の縦方向の線状連結成分の間の領域でかつ耳位置よりも上側の領域を顔領域として設定して、Ｓ２１０で、オリジナルの顔画像ＯＰ（０）を画像メモリＭｂに前フレームのオリジナルの顔画像ＯＰ（１）としてコピーして、Ｓ２の顔領域検出処理を抜けて、次の処理へ移る。
【００８１】
［閉塞領域検出処理］
次に、図３に示したＳ４の閉塞領域検出処理について、図１５に示すフローチャートを参照しながら説明する。
【００８２】
Ｓ４１では、Ｓ２の顔領域検出処理において画像メモリＭｄにメモリされた差分二値化画像ＢＷＤＰを読み出してくる。
【００８３】
Ｓ４２では、画像メモリＭｄから読み出された差分二値化画像ＢＷＤＰで、Ｓ２の顔領域検出処理で検出された顔領域内で縦横方向に連結成分を検出する。
【００８４】
Ｓ４３では、Ｓ４２で検出された連結成分の中に、閉じた領域を持つ連結成分が存在するかどうかを判定する。
【００８５】
Ｓ４２で検出された連結成分の中に閉じた領域を持つ連結成分が存在する場合（Ｓ４３でＹＥＳ）は、Ｓ４４で、閉塞領域は見つかったと判断し、図３のＳ４の閉塞領域検出処理を抜けて、次の処理へ移る。Ｓ４２で検出された連結成分の中に閉じた領域を持つ連結成分が存在しなかった場合（Ｓ４３でＮＯ）は、Ｓ４５で、閉塞領域は見つからなかったと判断し、Ｓ４の閉塞領域検出処理を抜けて、次の処理へ移る。図１６の曲線Ｌ４に示しているのが、見つかった閉塞領域である。
【００８６】
このようにして、本実施形態に係る顔の特徴量検出装置では、検出対象者を撮像した画像から顔領域を抽出し、更に、この顔領域中に閉塞領域が存在する場合には、この閉塞領域が眼鏡であるものと判断する。従って、対象者が眼鏡をかけているかどうかを高精度に検出することができる。
【００８７】
また、ＴＶカメラ１等の顔画像撮像手段を検出対象者の左右方向の略正面に配置することにより、検出対象者の左右の動きを精度良く検出することができる。
【００８８】
更に、ＴＶカメラ１等の顔画像撮像手段を、対象者の顔の水平位置よりも下側に設置することにより、顔の構成物の状態を精度良く検出することができる。
【００８９】
また、ＴＶカメラ１で時系列的に撮像される画像の差分を求め、この差分画像から顔画像領域を求め、この顔画像領域に閉塞領域が存在するかどうかにより、眼鏡をかけているかどうかを判断するので、高精度な判断ができる。
【００９０】
更に、ＴＶカメラ１で撮像された画像から、顔の縦輪郭線を求め、該縦輪郭線に基づいて、顔領域を検出することにより、精度の高い顔領域の検出が可能となる。
【００９１】
また、時系列的に得られる画像の差分より得られる差分画像について、縦輪郭線を求め、顔領域を検出することにより、より一層精度の高い顔領域の検出が可能となる。
【００９２】
更に、ＴＶカメラ１で撮像された画像から、検出対象者の耳の位置を検出し、この耳の位置よりも上側の領域を、顔領域として設定することにより、眼鏡の存在をより高精度に検出することができる。
【００９３】
また、ＴＶカメラ１で撮像された時系列画像の、時間的に近接する２枚の画像フレームから差分を求めることにより、顔領域を高精度に検出することができる。
【００９４】
更に、２枚の原画像から生成された差分画像の画素濃度を蓄積することにより、より精度の高い顔領域の検出が可能となる。
【００９５】
＜第２の実施形態＞
次に、本発明に係る顔の特徴量検出装置の、第２の実施形態について説明する。前述した第１実施形態例では、閉塞領域が見つかったことが、すなわち眼鏡をかけていることと判断している。処理をする原画像の画像サイズが小さければ検出される閉塞領域も眼鏡のフレームのように大きいものだけであるが、大きなサイズの画像を処理していくと鼻の穴や眼の瞳部分も閉塞領域として出てくる。
【００９６】
第２の実施形態では、眼鏡以外の部分が閉塞領域として検出されてきたときに閉塞領域が眼鏡であるかどうかの判定を行う。
【００９７】
［システムブロック図］
第２の実施形態に係るシステムブロック図は、第１の実施形態と同一であるので省略する。
【００９８】
［機器の配置］
第２の実施形態に係る機器の配置、構成は、第１の実施形態と同一であるので省略する。
【００９９】
［システム全体の処理］
次に、システムの処理状況について説明する。図１７、図１８は、システムの全体の処理の流れを示すフローチャートである。まず、処理が開始されると、Ｓ１の顔画像の撮像処理で、ＴＶカメラ１で検出対象者の顔画像を撮像し、マイクロコンピュータ２に画像データとして入力される。
【０１００】
Ｓ２の顔領域検出処理では、顔画像の撮像処理Ｓ１で撮像された画像から顔領域を検出する。
【０１０１】
Ｓ３では、顔領域検出処理Ｓ２の検出結果をもとに、顔領域が検出できたかどうかを判断する。顔領域が検出できた場合は（Ｓ３でＹＥＳ）、閉塞領域検出処理Ｓ４へ処理を進め、顔領域が検出できない場合は（Ｓ３でＮＯ）、顔画像の撮像処理Ｓ１へ処理を戻し、顔領域が検出できるまでＳ２の顔領域検出処理を繰り返す。
【０１０２】
Ｓ４の閉塞領域検出処理では、Ｓ２の顔領域検出処理で検出された顔領域から、閉塞領域を検出する。
【０１０３】
Ｓ５では、Ｓ４の閉塞領域検出処理の検出結果をもとに、Ｓ２の顔領域検出処理で検出された顔領域内に閉塞領域が検出できたかどうかを判断する。顔領域検出処理Ｓ２で検出された顔領域内に閉塞領域が検出できた場合は（Ｓ５でＹＥＳ）、図１８のＳ８に処理を移す。Ｓ２の顔領域検出処理で検出された顔領域内に閉塞領域が検出できない場合は（Ｓ５でＮＯ）、Ｓ７で、眼鏡をかけていないと判断して、処理を終了する。
【０１０４】
Ｓ８では、顔領域の横幅を算出する。Ｓ９では、検出された閉塞領域のうちの１つについてその横幅を算出する。Ｓ１０では、Ｓ８で算出された顔領域の横幅と、Ｓ９で算出された閉塞領域の横幅の比較を行う。
【０１０５】
Ｓ１１では、Ｓ１０で顔領域の横幅と閉塞領域の横幅を比較した結果、閉塞領域の横幅が顔領域の横幅の概ね半分であるかどうかを判断する。閉塞領域の横幅が顔領域の横幅の概ね半分である場合は（Ｓ１１でＹＥＳ）、Ｓ１２に処理を移す。閉塞領域の横幅が顔領域の横幅の概ね半分でない場合は（Ｓ１１でＮＯ）、Ｓ１６に処理を移す。
【０１０６】
ここで、閉塞領域の横幅が顔領域の横幅の概ね半分というのは、顔領域の横幅に対して閉塞領域の横幅が４０％から６０％程度である。
【０１０７】
Ｓ１２では、Ｓ１１で顔領域の概ね半分の横幅を持つ閉塞領域の隣接位置に他の閉塞領域の検出処理を行う。
【０１０８】
Ｓ１３では、Ｓ１２で隣接位置に他の閉塞領域を検出処理を行った結果、隣接位置に他の閉塞領域があるかどうかの判断を行う。隣接位置に他の閉塞領域がある場合は（Ｓ１３でＹＥＳ）、Ｓ１４に処理を移す。隣接位置に他の閉塞領域がない場合は（Ｓ１３でＮＯ）、Ｓ１６に処理を移す。
【０１０９】
Ｓ１４では、Ｓ４で検出され、判断対象となっている閉塞領域と、Ｓ１２で検出された隣接位置に存在する閉塞領域の大きさ（横幅、縦幅、面積などをいづれか、或いはこれらの組み合わせによる複合パラメータ）の比較処理を行う。
【０１１０】
Ｓ１５では、Ｓ１４で２つの閉塞領域の比較処理を行った結果、２つの閉塞領域の大きさが同等であるかどうかの判断を行う。２つの閉塞領域の大きさが同等である場合は（Ｓ１５でＹＥＳ）、Ｓ６で眼鏡をかけていると判断して、処理を終了する。２つの閉塞領域の大きさが同等でない場合は（Ｓ１５でＮＯ）、Ｓ１６に処理を移す。
【０１１１】
Ｓ１６では、現在判断対象となっている閉塞領域のほかに、他の閉塞領域があるかどうかを判断する。現在判断対象となっている閉塞領域のほかに、他の閉塞領域がある場合は（Ｓ１６でＹＥＳ）、判断対象の閉塞領域を変更して、Ｓ９に処理を戻す。現在判断対象となっている閉塞領域のほかに、他の閉塞領域がない場合は（Ｓ１６でＮＯ）、Ｓ７で眼鏡をかけていないと判断して、処理を終了する。
【０１１２】
図１９、２０を用いて更に説明すると、Ｓ４の閉塞領域検出処理の結果、図１９のように、曲線Ｌ５に示した如くの閉塞領域が検出できたとする。
【０１１３】
図２０のように、閉塞領域にラベル番号を付し、ラベル番号の順に閉塞領域の検証を行っていく。ラベル▲１▼、ラベル▲２▼の閉塞領域の横幅ｌ▲１▼、ｌ▲２▼はＬ６で記された顔領域の横幅ｌｆの半分に満たない小さなものであることがわかる。
【０１１４】
続いて、ラベル▲３▼の閉塞領域を検証すると、ラベル▲３▼の閉塞領域の横幅ｌ▲３▼は、顔領域の横幅ｌｆの４０％程度の大きさで、概ね半分といえる。次いで、ラベル▲３▼の閉塞領域の隣接位置には、ラベル▲４▼の閉塞領域が存在している。このラベル▲４▼閉塞領域の横幅ｌ▲４▼とラベル▲３▼の閉塞領域の横幅ｌ▲３▼はほぼ等しいので、同等であるといえるので、眼鏡をかけていると判断される。
【０１１５】
［顔領域検出処理］
第１の実施形態と同一であるので、その説明を省略する。
【０１１６】
［閉塞領域検出処理］
第１の実施形態と同一であるので、その説明を省略する。
【０１１７】
このようにして、第２の実施形態に係る顔の特徴量検出装置では、前述した第１の実施形態で示した効果に加え、更に、閉塞領域の横幅が顔の幅の略半分（４０〜６０％の範囲）である場合に、これを眼鏡であると判断するので、他の顔の構成要素との誤検出を防止することができる。
【０１１８】
また、閉塞領域が横方向に２つ並んでいる場合に、これを眼鏡であると判断することにより、眼鏡の検出精度を向上させることができる。
【０１１９】
更に、閉塞領域が横方向に２つ並び、且つ、この２つの大きさが略同一である場合に、これを眼鏡であると判断することにより、より検出精度を向上させることができる。
【０１２０】
＜第３の実施形態＞
次に、本発明に係る顔の特徴量検出装置の、第３の実施形態について説明する。該第３の実施形態では、単に検出対象者が眼鏡をかけている、かけていないという判断だけではなく、眼鏡をかけていることを検出した後に、その眼鏡が眼の識別ができないようなサングラスなのか、それとも通常の眼鏡なのかを判断したり、通常の眼鏡であってもレンズ表面に映り込みがあるなどして眼が識別できる状態か否かを、リアルタイムに判別していくものである。
【０１２１】
［システムブロック図］
図２１は、本発明を適用した顔の特徴量検出装置の、第３の実施形態の構成を示すブロック図である。同図に示すように、該顔の特徴量検出装置は、顔画像撮像手段ＣＬ１と、顔領域検出手段ＣＬ２と、閉塞領域検出手段ＣＬ３と、眼検出手段ＣＬ４と備えている。
【０１２２】
顔画像撮像手段ＣＬ１は、検出対象者の顔を撮像して顔画像データを出力する。
【０１２３】
顔領域検出手段ＣＬ２は、顔画像撮像手段ＣＬ１から出力された顔画像データを処理して画像内で顔が移っている領域を検出する。
【０１２４】
閉塞領域検出手段ＣＬ３は、顔領域検出手段ＣＬ２で検出された顔領域から閉じた領域を検出し、その領域が眼鏡か否かを判断する。
【０１２５】
眼検出手段ＣＬ４は、閉塞領域検出手段ＣＬ３で検出され眼鏡だと判断された閉塞領域内で眼を検出を行い、かけている眼鏡の種類や状態を検出する。
【０１２６】
［機器の配置］
本発明の機器の配置、顔画像撮像手段ＣＬ１としてＴＶカメラ１は第１実施例と同じであるので省略する。マイクロコンピュータ２には、顔領域検出手段ＣＬ２と、閉塞領域検出手段ＣＬ３と眼検出手段ＣＬ４がプログラミングされている。
【０１２７】
［システム全体の処理］
図２２、図２３、図２４、及び図１８は、システムの全体の処理の流れを示している。
【０１２８】
まず、処理が開始されると、図２２のＳ１７で、終了判定が行われる。終了判定は車両のエンジンが切られたことや着座位置から検出対象者がいなくなったことをトリガーにしてプログラムの終了が判定される。
【０１２９】
Ｓ１８では、Ｓ１７でプログラム終了の判定が出された場合は（Ｓ１８でＹＥＳ）、プログラムを終了させる。プログラム終了の判定が出されなかった場合は（Ｓ１８でＮＯ）、Ｓ１９に処理を進める。
【０１３０】
Ｓ１９では、過去の検出結果から検出対象者がサングラスをかけているかどうかを判断する。
【０１３１】
検出対象者がサングラスをかけている場合は（Ｓ１９でＹＥＳ）、終了判定Ｓ１９へ処理を戻し、終了判定がでるまで終了判定処理Ｓ１７を繰り返す。顔領域が検出できない場合は（Ｓ１９でＮＯ）、Ｓ１の顔画像の撮像処理へ処理を進める。
【０１３２】
Ｓ１の顔画像の撮像処理で、ＴＶカメラ１で検出対象者の顔画像を撮像し、マイクロコンピュータ２に画像データとして入力される。
【０１３３】
Ｓ２の顔領域検出処理では、Ｓ１の顔画像の撮像処理で撮像された画像から顔領域を検出する。
【０１３４】
Ｓ３では、Ｓ２の顔領域検出処理の検出結果をもとに、顔領域が検出できたかどうかを判断する。顔領域が検出できた場合は（Ｓ３でＹＥＳ）、閉塞領域検出処理Ｓ４へ処理を進め、顔領域が検出できない場合は（Ｓ３でＮＯ）、Ｓ１の顔画像の撮像処理へ処理を戻し、顔領域が検出できるまで、Ｓ２の顔領域検出処理を繰り返す。
【０１３５】
Ｓ４の閉塞領域検出処理では、Ｓ２の顔領域検出処理で検出された顔領域から閉塞領域を検出する。
【０１３６】
Ｓ２０では、過去の検出結果から眼鏡検出が未決かどうかを判断する。眼鏡検出が未決の場合は（Ｓ２０でＹＥＳ）、図２３のＳ２２へ処理を進め、眼鏡検出が未決ではない場合は（Ｓ２０でＮＯ）、Ｓ２１へ処理を進める。
【０１３７】
Ｓ２１では、過去の検出結果から検出対象者は眼鏡をかけているかどうかを判断する。
【０１３８】
眼鏡をかけている場合は（Ｓ２１でＹＥＳ）、Ｓ５へ処理を進め、眼鏡をかけていない場合は（Ｓ２１でＮＯ）、終了判定Ｓ１７に処理を戻す。
【０１３９】
Ｓ５では、Ｓ４の閉塞領域検出処理の検出結果をもとに、Ｓ２の顔領域検出処理で検出された顔領域内に閉塞領域が検出できたかどうかを判断する。Ｓ２の顔領域検出処理で検出された顔領域内に閉塞領域が検出できた場合は（Ｓ５でＹＥＳ）、図２４のＳ３０に処理を移す。Ｓ２の顔領域検出処理で検出された顔領域内に閉塞領域が検出できない場合は（Ｓ５でＮＯ）、終了判定Ｓ１７に処理を戻す。
【０１４０】
Ｓ３０では、閉塞領域内で眼の検出処理を行う。ここで、眼の検出処理には、パターンマッチングやテンプレートマッチングなど公知の技術なのでここでは説明を省略する。
【０１４１】
Ｓ３１では、Ｓ３０の結果、閉塞領域内に眼が見つかったかどうかを判定する。閉塞領域内に眼が見つかった場合は（Ｓ３１でＹＥＳ）、Ｓ３２で、かけている眼鏡がサングラスではないと判断し、Ｓ３３で、その眼鏡のレンズ表面には映り込みがないと判断して、終了判定Ｓ１７に処理を戻す。閉塞領域内に眼が見つからなかった場合は（Ｓ３１でＮＯ）、Ｓ３４へ処理を進める。
【０１４２】
Ｓ３４では、サングラス判定は未決かどうかを判定する。サングラス判定が未決の場合は（Ｓ３４でＹＥＳ）、Ｓ３６へ処理を進める。閉塞領域内に眼が見つからなかった場合は（Ｓ３１でＮＯ）、Ｓ３５でその眼鏡のレンズ表面には映り込みがあると判断して、終了判定Ｓ１７に処理を戻す。
【０１４３】
Ｓ３６では、サングラスカウンタがインクルードされる。Ｓ３７では、サングラスカウンタが閾値を超えたかどうかを判定している。
【０１４４】
サングラスカウンタが閾値を超えた場合は（Ｓ３７でＹＥＳ）、Ｓ３８で検出対象者はサングラスをかけていると判断して、終了判定Ｓ１７に処理を戻す。サングラスカウンタが閾値を超えていない場合は（Ｓ３７でＮＯ）、Ｓ３９で検出対象者がかけている眼鏡がサングラスか通常の眼鏡かどうかの判断がつかず、サングラス検出は未決と判断して、終了判定Ｓ１７に処理を戻す。
【０１４５】
通常の眼鏡に映り込みが起こって、眼が検出できない場合は、継続して眼が検出できないということはなく、検出できる状況とできない状況が交互に発生する。しかし、サングラスでは継続して眼が検出できない状況が続く。サングラスカウンタの閾値については、処理時間にして、５〜１０秒間に相当する値する。
【０１４６】
Ｓ２２では、Ｓ４の閉塞領域検出処理の検出結果をもとに、Ｓ２の顔領域検出処理で検出された顔領域内に閉塞領域が検出できたかどうかを判断する。Ｓ２の顔領域検出処理で検出された顔領域内に閉塞領域が検出できた場合は（Ｓ２２でＹＥＳ）、図１８のＳ８に処理を移す。Ｓ２の顔領域検出処理で検出された顔領域内に閉塞領域が検出できない場合は（Ｓ２２でＮＯ）、Ｓ２６に処理を移す。
【０１４７】
Ｓ８では、顔領域の横幅を算出する。Ｓ９では、検出された閉塞領域のうちの１つについてその横幅を算出する。Ｓ１０では、Ｓ８で算出された顔領域の横幅と、Ｓ９で算出された閉塞領域の横幅の比較を行う。
【０１４８】
図１８のＳ１１では、Ｓ１０で顔領域の横幅と閉塞領域の横幅を比較した結果、閉塞領域の横幅が顔領域の横幅の概ね半分であるかどうかを判断する。閉塞領域の横幅が顔領域の横幅の概ね半分である場合は（Ｓ１１でＹＥＳ）、Ｓ１２に処理を移す。閉塞領域の横幅が顔領域の横幅の概ね半分でない場合は（Ｓ１１でＮＯ）、Ｓ１６に処理を移す。
【０１４９】
ここで閉塞領域の横幅が顔領域の横幅の概ね半分というのは顔領域の横幅に対して閉塞領域の横幅が４０％から６０％程度である。
【０１５０】
Ｓ１２では、Ｓ１１で顔領域の概ね半分の横幅を持つ閉塞領域の隣接位置に他の閉塞領域の検出処理を行う。
【０１５１】
Ｓ１３では、Ｓ１２で隣接位置に他の閉塞領域を検出処理を行った結果、隣接位置に他の閉塞領域があるかどうかの判断を行う。隣接位置に他の閉塞領域がある場合は（Ｓ１３でＹＥＳ）、Ｓ１４に処理を移す。隣接位置に他の閉塞領域がない場合は（Ｓ１３でＮＯ）、Ｓ１６に処理を移す。
【０１５２】
Ｓ１４では、Ｓ４で検出され、判断対象となっている閉塞領域と、Ｓ１２で検出された隣接位置に存在する閉塞領域の大きさ（横幅、縦幅、面積などの何れか、或いはこれらの組み合わせによる複合パラメータ）の比較処理を行う。
【０１５３】
Ｓ１５では、Ｓ１４で２つの閉塞領域の比較処理を行った結果、２つの閉塞領域の大きさが同等であるかどうかの判断を行う。２つの閉塞領域の大きさが同等である場合は（Ｓ１５でＹＥＳ）、図２３のＳ２３に処理を移す。２つの閉塞領域の大きさが同等でない場合は（Ｓ１５でＮＯ）、Ｓ１６に処理を移す。
【０１５４】
Ｓ１６では、現在判断対象となっている閉塞領域のほかに他の閉塞領域があるかどうかを判断する。現在判断対象となっている閉塞領域のほかに他の閉塞領域がある場合は（Ｓ１６でＹＥＳ）、判断対象の閉塞領域を変更して、Ｓ９に処理を戻す。現在判断対象となっている閉塞領域のほかに他の閉塞領域がない場合は（Ｓ１６でＮＯ）、Ｓ２６に処理を移す。
【０１５５】
Ｓ２３では、眼鏡ありカウンタがインクルードされる。Ｓ２４では、眼鏡ありカウンタが閾値を超えたかどうかを判定している。眼鏡ありカウンタが閾値を超えた場合は（Ｓ２４でＹＥＳ）、Ｓ２５で、検出対象者は眼鏡をかけていると判断して、図２２の終了判定Ｓ１７に処理を戻す。眼鏡ありカウンタが閾値を超えていない場合は（Ｓ２４でＮＯ）、Ｓ２９で、検出対象者は眼鏡をかけているのかどうかの判断が付かず眼鏡検出は未決と判断して終了判定Ｓ１７に処理を戻す。
【０１５６】
Ｓ２６では、眼鏡なしカウンタがインクルードされる。Ｓ２７では、眼鏡なしカウンタが閾値を超えたかどうかを判定している。眼鏡なしカウンタが閾値を超えた場合は（Ｓ２７でＹＥＳ）、Ｓ２８で、検出対象者は眼鏡をかけていないと判断して、終了判定Ｓ１７に処理を戻す。眼鏡カウンタが閾値を超えていない場合は（Ｓ２７でＮＯ）、Ｓ２９で検出対象者は眼鏡をかけているのかどうかの判断が付かず眼鏡検出は未決と判断して、終了判定Ｓ１７に処理を戻す。
【０１５７】
眼鏡ありカウンタ、眼鏡なしカウンタのそれぞれの閾値については処理時間にして２〜３秒に相当する値とする。
【０１５８】
［顔領域検出処理］
第１の実施形態と同一であるので、その説明を省略する。
【０１５９】
［閉塞領域検出処理］
第１の実施形態と同一であるので、その説明を省略する。
【０１６０】
このようにして、第３の実施形態に係る顔の特徴量検出装置では、前述した第１，第２の実施形態に示した効果に加え、更に、眼検出手段により、閉塞領域内に眼の存在が検出された際には、対象者がかけている眼鏡はサングラスではないものと判断するので、眼鏡の種類をも検出することができる。
【０１６１】
また、閉塞領域内にて、継続的に眼の存在が検出されない場合には、対象者がかけている眼鏡はサングラスであるものと判断するので、透明の眼鏡か、或いはサングラスであるかの判断を高精度に行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る顔の特徴量検出装置の構成を示すブロック図である。
【図２】本発明に係る顔の特徴量検出装置の、各構成要素の配置を示す説明図である。
【図３】第１の実施形態に係る顔の特徴量検出装置の、処理動作を示すフローチャートである。
【図４】顔領域検出処理の処理手順を示すフローチャートである。
【図５】顔領域検出処理の処理手順を示すフローチャートである。
【図６】ＴＶカメラにて撮像される検出対象者の顔画像を示す説明図である。
【図７】図６に示した顔画像より得られる差分画像を示す説明図である。
【図８】図７に示した差分画像を、二値化して得られる画像を示す説明図である。
【図９】二値化画像上にて抽出された、縦方向の線状連結成分と代表位置を示す説明図である。
【図１０】検出された顔領域を示す説明図である。
【図１１】顔領域検出処理の処理手順を示すフローチャートである。
【図１２】顔領域検出処理の処理手順を示すフローチャートである。
【図１３】二値化画像上にて抽出された、縦方向の線状連結成分と代表位置、及び耳の位置を示す説明図である。
【図１４】検出された顔領域を示す説明図である。
【図１５】閉塞領域検出処理の処理手順を示すフローチャートである。
【図１６】検出された閉塞領域を示す説明図である。
【図１７】第２の実施形態に係る顔の特徴量検出装置の、処理手順を示すフローチャートの、第１の分図である。
【図１８】第２の実施形態に係る顔の特徴量検出装置の、処理手順を示すフローチャートの、第２の分図である。
【図１９】検出された閉塞領域を示す説明図である。
【図２０】閉塞領域と顔領域の横幅を示す説明図である。
【図２１】本発明の第３の実施形態に係る顔の特徴量検出装置の構成を示すブロック図である。
【図２２】第３の実施形態に係る顔の特徴量検出装置の処理手順を示すフローチャートの、第１の分図である。
【図２３】第３の実施形態に係る顔の特徴量検出装置の処理手順を示すフローチャートの、第２の分図である。
【図２４】第３の実施形態に係る顔の特徴量検出装置の処理手順を示すフローチャートの、第３の分図である。
【符号の説明】
１ ＴＶカメラ
２ マイクロコンピュータ
ＣＬ１ 顔画像撮像手段
ＣＬ２ 顔領域検出手段
ＣＬ３ 閉塞領域検出手段
ＣＬ４ 眼検出手段
Claims (14)
- 検出対象者の顔を撮像する顔画像撮像手段と、
顔画像撮像手段によって撮像された顔画像中から、当該検出対象者の顔領域を検出する顔領域検出手段と、
前記顔領域検出手段によって検出された顔領域内に存在する閉塞領域を検出する閉塞領域検出手段と、
前記閉塞領域検出手段にて、前記画像上の顔領域内に閉塞領域を検出した場合に、前記検出対象者が眼鏡をかけているものと判断することを特徴とする顔の特徴量検出装置。 - 前記顔画像撮像手段は、前記検出対象者の顔の、左右方向略正面から撮像することを特徴とする請求項１に記載の顔の特徴量検出装置。
- 前記顔画像撮像手段は、前記検出対象者の顔の上下方向について、水平位置よりも下側の位置より撮像することを特徴とする請求項２に記載の顔の特徴量検出装置。
- 前記閉塞領域検出手段にて、画像上の顔領域内に検出される前記閉塞領域の横幅が、顔幅の略半分である場合に、前記検出対象者が眼鏡をかけているものと判断することを特徴とする請求項１〜請求項３のいずれか１項に記載の顔の特徴量検出装置。
- 前記閉塞領域検出手段にて、画像上の顔領域内に検出される閉塞領域が、横方向に２つ並んで検出された際に、前記検出対象者が眼鏡をかけているものと判断することを特徴とする請求項１〜請求項４のいずれか１項に記載の顔の特徴量検出装置。
- 前記横方向に２つ並んで検出された閉塞領域の大きさを比較し、大きさが略同一である場合に、前記検出対象者が眼鏡をかけているものと判断することを特徴とする請求項５に記載の顔の特徴量検出装置。
- 前記顔画像撮像手段にて、時系列的に撮像された複数の画像の差分を演算することにより、差分画像を生成する差分画像生成手段を有し、
前記閉塞領域検出手段は、前記差分画像生成手段により生成された画像を画像処理することにより、閉塞領域を検出することを特徴とする請求項１〜請求項６のいずれか１項に記載の顔の特徴量検出装置。 - 前記顔領域検出手段は、前記顔画像撮像手段によって撮像された顔画像の中から、顔の縦輪郭線を検出する縦輪郭線検出手段を備え、
当該縦輪郭線検出手段によって検出された顔の縦輪郭線に挟まれた領域を、顔領域として検出することを特徴とする請求項１に記載の顔の特徴量検出装置。 - 前記顔画像撮像手段にて、時系列的に撮像された複数の画像の差分を演算して、差分画像を生成する差分画像生成手段を有し、
前記縦輪郭線検出手段は、前記差分画像生成手段にて生成された差分画像を画像処理することにより、顔の縦輪郭線を抽出することを特徴とする請求項８に記載の顔の特徴量検出装置。 - 前記顔領域検出手段は、前記顔画像撮像手段によって撮像された顔画像の中から、耳の位置を検出する耳位置検出手段を備え、
前記縦輪郭線検出手段によって検出された顔の縦輪郭線に挟まれた領域のうち、耳位置検出手段にて検出された耳位置よりも上側の領域を、顔領域として検出することを特徴とする請求項８に記載の顔の特徴量検出装置。 - 前記顔画像撮像手段よって撮影された顔画像の中から、検出対象者の眼を検出する眼検出手段を備え、
前記閉塞領域検出手段によって検出された閉塞領域で、且つ、眼鏡であると判断された領域内に、前記眼検出手段にて眼の存在が検出された場合は、当該眼鏡はサングラスではないものと判断することを特徴とする請求項１〜請求項１０のいずれか１項に記載の顔の特徴量検出装置。 - 前記閉塞領域検出手段によって検出された閉塞領域で、且つ眼鏡であると判断された領域内に、前記眼検出手段によって継続的に眼の存在が検出されない場合は、当該眼鏡はサングラスであるものと判断することを特徴とする請求項１１に記載の顔の特徴量検出装置。
- 前記顔画像撮像手段は、時系列に前記検出対象者の顔画像を動画像として撮像し、前記差分画像生成手段は、時間的に近接した２枚の画像フレームから差分画像を生成することを特徴とする請求項７または請求項９のいずれかに記載の顔の特徴量検出装置。
- ２枚の原画像から生成された差分画像の画素濃度を、時間的に近接した複数枚について蓄積することを特徴とする請求項１３に記載の顔の特徴量検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002240624A JP4103495B2 (ja) | 2002-08-21 | 2002-08-21 | 顔の特徴量検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002240624A JP4103495B2 (ja) | 2002-08-21 | 2002-08-21 | 顔の特徴量検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004078749A true JP2004078749A (ja) | 2004-03-11 |
| JP4103495B2 JP4103495B2 (ja) | 2008-06-18 |
Family
ID=32023356
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002240624A Expired - Fee Related JP4103495B2 (ja) | 2002-08-21 | 2002-08-21 | 顔の特徴量検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4103495B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007072627A (ja) * | 2005-09-05 | 2007-03-22 | Aisin Seiki Co Ltd | サングラス検出装置及び顔中心位置検出装置 |
| JP2019083019A (ja) * | 2018-11-28 | 2019-05-30 | 株式会社デンソー | ドライバ状態判定装置 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5761074B2 (ja) | 2012-02-24 | 2015-08-12 | 株式会社デンソー | 撮像制御装置及びプログラム |
| JP7247088B2 (ja) | 2018-03-30 | 2023-03-28 | 株式会社ニチレイフーズ | 食品成型装置及び食品の製造方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04174304A (ja) * | 1990-11-07 | 1992-06-22 | Nissan Motor Co Ltd | 眼位置検出装置 |
| JPH0560515A (ja) * | 1991-08-30 | 1993-03-09 | Nissan Motor Co Ltd | 運転者の眼位置検出装置 |
| JPH0921611A (ja) * | 1995-07-06 | 1997-01-21 | Mitsubishi Electric Corp | 顔画像撮像装置 |
| JPH0933217A (ja) * | 1995-07-17 | 1997-02-07 | Nissan Motor Co Ltd | 車両運転者の眼球位置検出装置 |
-
2002
- 2002-08-21 JP JP2002240624A patent/JP4103495B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04174304A (ja) * | 1990-11-07 | 1992-06-22 | Nissan Motor Co Ltd | 眼位置検出装置 |
| JPH0560515A (ja) * | 1991-08-30 | 1993-03-09 | Nissan Motor Co Ltd | 運転者の眼位置検出装置 |
| JPH0921611A (ja) * | 1995-07-06 | 1997-01-21 | Mitsubishi Electric Corp | 顔画像撮像装置 |
| JPH0933217A (ja) * | 1995-07-17 | 1997-02-07 | Nissan Motor Co Ltd | 車両運転者の眼球位置検出装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007072627A (ja) * | 2005-09-05 | 2007-03-22 | Aisin Seiki Co Ltd | サングラス検出装置及び顔中心位置検出装置 |
| JP4739870B2 (ja) * | 2005-09-05 | 2011-08-03 | アイシン精機株式会社 | サングラス検出装置及び顔中心位置検出装置 |
| JP2019083019A (ja) * | 2018-11-28 | 2019-05-30 | 株式会社デンソー | ドライバ状態判定装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4103495B2 (ja) | 2008-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4811259B2 (ja) | 視線方向推定装置及び視線方向推定方法 | |
| US10380421B2 (en) | Iris recognition via plenoptic imaging | |
| TWI355615B (en) | Moving object detection apparatus and method by us | |
| Kawato et al. | Detection and tracking of eyes for gaze-camera control | |
| US7030909B2 (en) | Automatic photography | |
| Kang et al. | Real-time image restoration for iris recognition systems | |
| EP0865637A1 (en) | Wide field of view/narrow field of view recognition system and method | |
| Kim et al. | Rapid eye detection method for non-glasses type 3D display on portable devices | |
| JP2003015816A (ja) | ステレオカメラを使用した顔・視線認識装置 | |
| KR101628493B1 (ko) | 안경 착용자의 시선 추적 장치 및 그 방법 | |
| JP3063504B2 (ja) | 画像データの特徴量検出装置 | |
| JP4770218B2 (ja) | 視認行動判定装置 | |
| JP2008171108A (ja) | 顔状況判定処理装置および撮像装置 | |
| Castrillón-Santana et al. | Multiple face detection at different resolutions for perceptual user interfaces | |
| JP2009265722A (ja) | 顔向き検知装置 | |
| JP3465336B2 (ja) | 顔画像撮影装置 | |
| KR101775874B1 (ko) | 깊이정보 기반의 안면인식 자동차제어방법 | |
| JP4103495B2 (ja) | 顔の特徴量検出装置 | |
| JP2004192552A (ja) | 開閉眼判定装置 | |
| JP2009240551A (ja) | 視線検出装置 | |
| JP2007151798A (ja) | 開閉眼判定装置及び方法 | |
| JP4696571B2 (ja) | 眼位置検出装置 | |
| Krotosky et al. | Real-time stereo-based head detection using size, shape and disparity constraints | |
| JP2000067225A (ja) | 眼位置検出装置 | |
| JPH0944680A (ja) | 動画像の目領域抽出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050425 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080115 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080205 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080304 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080317 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110404 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |