JP2009169740A - 顔画像処理装置 - Google Patents

Abstract

【課題】演算負荷の増大を抑えつつ簡素な構成でめがねに映り込んだ画像を検出することが可能な顔画像処理装置を提供すること。
【解決手段】車両の移動に関する情報を取得し、取得された情報に基づいて、運転者のめがねレンズ４０に写り込むエッジ画像の移動状態を推定し、推定されたエッジ画像の移動状態に基づいて、実際にめがねレンズに映り込んだエッジ画像Ｅ１を検出する。車外の風景に起因するエッジ画像Ｅ１は、車両の移動状態に伴って移動するため、車両の移動状態に基づいて、めがねレンズ４０に写り込むエッジの移動状態を推定する。この推定された移動状態と同様に位置変化するエッジ画像Ｅ１を、不要なエッジ画像として設定して、目候補から除外することができる。そのため、新たに他の装置を追加することなく、簡素な構成でめがねレンズ４０に映り込んだ不要なエッジ画像Ｅ１を検出することができる。
【選択図】図２

Description

本発明は、車両の運転者の顔画像を取得し、取得された顔画像に基づいて画像処理を行う顔画像処理装置に関するものである。

従来、車両の運転者の顔画像を取得し、取得された顔画像に基づいて画像処理を行い運転者の目を検出する技術が知られている（例えば、特許文献１参照）。このような技術では、運転者がめがねを装着している場合には、めがねのレンズに生じた映り込みによって、レンズに映り込んだエッジ画像を目として誤検出することがある。そこで、運転者に光を照射し、反射位置が移動する反射像を、光沢反射面を持つ物の反射像として取り除くことで、目の検出精度の向上を図っている。
特開２００２−３５２２２９号公報

しかしながら上記従来技術では、反射位置が移動する反射像を目候補から除外しているため、本来検出したい例えばまぶた等を目候補から除外してしまい、目の検出精度が低下するおそれがある。

また、めがねに映り込んだ像を除去して目を検出する技術として、近赤外ＬＥＤ（発光ダイオード）を用いて照明のＯＮ／ＯＦＦの切り替えを行い、画像差分処理を行うことで、めがねに映り込んだ像を除去するものがある。しかしながら、この技術では、映り込み像を除去するための専用の装置が必要であり、コストが増加するという問題や、新たな装置の設置スペースを確保する必要があるという問題がある。また、画像差分処理などによって、演算負荷が増大してしまうといった問題もある。

また、他の技術として、ＬＥＤ照明を運転者の正面方向に設置し、顔画像上に意図的に赤目反射を発生させ、赤目成分を優先的に抽出することで、めがねに映り込んだ像の影響を低減させるものがある。しかしながら、この技術では、上記技術と同様に、新たな装置が必要であるといった問題や、演算負荷が増大してしまうといった問題がある。

また、さらに他の技術として、めがねに映り込んだ像の画像データを学習し、学習した画像データに基づいて、めがねに映り込んだ像を除去するものがある。しかしながら、この技術では、新たに専用の学習データを記憶させる必要があるといった問題、映り込み像を除去するための新たな専用のアルゴリズムが必要であるといった問題、演算負荷が増大し、処理時間が増加するといった問題がある。

本発明は、このような課題を解決するために成されたものであり、演算負荷の増大を抑えつつ簡素な構成でめがねに映り込んだ画像を検出することが可能な顔画像処理装置を提供することを目的とする。

本発明による顔画像処理装置は、車両の運転者の顔画像を取得して、取得された顔画像に基づいて画像処理を行い運転者の目を検出する画像処理手段を備えた画像処理装置において、車両の移動に関する情報を取得する移動情報取得手段と、移動情報取得手段によって取得された車両の移動に関する情報に基づいて、運転者に装着されためがねレンズに写り込むエッジ画像の移動状態を推定する推定手段と、推定手段によって推定されたエッジ画像の移動状態に基づいて、めがねレンズに映り込んだエッジ画像である映り込みエッジ画像を検出する映り込み検出手段と、を備えることを特徴としている。また、画像処理手段は、映り込み検出手段によって検出された映り込みエッジ画像を、前記目を検出する際に、前記目の候補としないことを特徴とする。

このような顔画像処理装置によれば、車両の移動に関する情報を取得し、取得された情報に基づいて、運転者のめがねレンズに写り込むエッジ画像の移動状態を推定し、推定されたエッジ画像の移動状態に基づいて、実際にめがねレンズに映り込んだエッジ画像を検出する。車外の風景に起因するエッジ画像は、車両の移動状態に伴って移動するため、車両の移動状態に基づいて、めがねレンズに写り込むエッジ画像の移動状態を推定することができる。これにより、推定された移動状態と同様に位置変化するエッジ画像を、不要なエッジとして、目を検出する際の候補（以下、「目候補」という）から除外することができ、目の検出精度を向上させることができる。また、新たに専用の装置を追加することなく、簡素な構成でめがねレンズに映り込んだ不要なエッジ画像を検出、除去することができる。なお、「めがねレンズ」は、めがねのレンズ、サングラスのガラスなど、目の正面に配置された透明体、半透明体を含むものとする。また、「めがねレンズに映り込んだエッジ画像」とは、めがねレンズに投影された物体の線状部分（端など）に起因する画像を含むものとする。また、「目」を検出するとは、上まぶた、下まぶた、瞳孔を認識することを含むものとする。

また、エッジ画像の移動状態は、エッジ画像の移動方向を含むことが好ましい。これにより、推定されたエッジ画像の移動方向と同一方向に移動するエッジ画像を、めがねレンズに映り込んだ不要なエッジ画像と設定して、目候補から除外することができる。

また、エッジ画像の移動状態は、エッジ画像の単位時間あたりの移動量を含むことが好ましい。これにより、推定されたエッジ画像の移動方向及び単位時間あたりの移動量と同様に移動するエッジ画像を、めがねレンズに映り込んだ不要なエッジ画像と設定して、目候補から除外することができる。

また、映り込み検出手段は、下方に移動するエッジ画像を映り込みエッジ画像として検出しないことが好ましい。車両が前進する場合には、映り込みエッジ画像は、車両の移動方向に応じてめがねレンズ上で上方に移動するため、下方に移動するエッジ画像は、めがねレンズに映り込んだエッジ画像である可能性は低く、逆に、目（上まぶた、下まぶた）である可能性が高い。そのため、下方に移動するエッジ画像を、めがねレンズに映り込んだエッジ画像と設定しないことで、目の検出精度を向上させる。

また、映り込み検出手段は、所定時間内に上下方向に移動するエッジ画像を映り込みエッジ画像として検出しないことが好ましい。車両が前進する場合には、映り込みエッジ画像は、車両の移動方向に応じてめがねレンズ上で上方に移動するため、所定時間内に上下方向に移動するエッジ画像は、めがねレンズに映り込んだエッジ画像である可能性は極めて低く、逆に、目である可能性が高い。そのため、所定時間内に上下方向に移動するエッジ画像を、めがねレンズに映り込んだエッジ画像と設定しないことで、目の検出精度を向上させる。

本発明によれば、演算負荷の増大を抑えつつ簡素な構成でめがねに映り込んだ画像を検出することが可能な顔画像処理装置を提供することができる。

以下、本発明の好適な実施形態について図面を参照しながら説明する。なお、図面の説明において同一または相当要素には同一の符号を付し、重複する説明は省略する。図１は、本発明の実施形態に係る顔画像処理装置を示す構成図である。

図１に示す顔画像処理装置１０は、車両（以下、「自車両」という）に搭載され運転者Ｄの顔画像を取得するものである。この顔画像処理装置１０は、運転者Ｄの顔画像を撮像する顔画像撮像カメラ１２、この顔画像撮像カメラ１２からの画像信号に基づいて画像処理を行う顔画像処理電子制御ユニット（以下、「顔画像処理ＥＣＵ」という）１４を備えている。

顔画像撮像カメラ１２は、例えばコラムカバー１６の上面に設置され、運転者Ｄの顔画像を取得する。顔画像撮像カメラ１２は、例えば近赤外線カメラであり、近赤外線投射装置（不図示）から照射された近赤外線光が物体（運転者Ｄの顔）に反射した反射光を受光することによって、運転者Ｄの顔を撮像する。顔画像撮像カメラ１２では、例えば、毎秒３０フレームの画像を取得することができる。そして、顔画像撮像カメラ１２によって取得された運転者Ｄの顔画像に関する画像信号は、顔画像処理ＥＣＵ１４に送信される。

顔画像処理ＥＣＵ１４は、演算処理を行うＣＰＵ、記憶部となるＲＯＭ及びＲＡＭ、入力信号回路、出力信号回路、電源回路などにより構成され、入力された画像信号について画像処理を行い運転者Ｄの顔画像を検出する。検出された顔画像は、例えば、運転者Ｄの開眼度判定（覚醒度判定）、脇見判定等に利用される。

ここで、本発明の顔画像処理装置１０は、自車両の移動に関する情報を取得して、この取得された情報に基づいて、運転者Ｄのめがねレンズに映り込んだ映り込みエッジ画像を検出し、不要な映り込みエッジ画像を目候補から除外する機能を有している。

顔画像処理ＥＣＵ１４には、自車速を検出する車速センサ１８、ウィンカ（方向指示器）による指示方向を検出するウィンカセンサ２０、ステアリング操作した時の操舵方向及び操舵角度を検出するステアリングセンサ２２が電気的に接続されている。そして、これらの車速センサ１８、ウィンカセンサ２０、及びステアリングセンサ２２は、自車両の移動に関する情報を取得する本発明の移動情報取得手段として機能するものである。

顔画像処理ＥＣＵ１４のＣＰＵでは、記憶部に記憶されているプログラムを実行することで、顔特徴点抽出部２４、顔向き角度検出部２６、エッジ移動方向推定部２８、映り込みエッジ検出部３０、目検出部３２が構成される。

顔画像処理ＥＣＵ１４の記憶部には、ＣＰＵを作動させるためのプログラムのほかに、複数の３次元顔モデルが記憶されている。また、記憶部は、撮像された画像データ、顔特徴点に関するデータを記憶する記憶手段として機能する。また、記憶部に、運転者Ｄのめがねレンズに関するデータ（例えば、レンズの形状、大きさ、曲率等）を予め記憶させておいてもよい。

顔特徴点抽出部２４は、入力された画像信号に基づいて画像処理を行い、鼻、口を認識すると共に、例えば、エッジベース手法、パターン認識手法等を用いて、顔の横幅Ｘ、顔中心位置（軸）Ｙを検出する。例えば、顔中心位置Ｙは、鼻、口の位置に基づいて検出される。また、顔特徴点抽出部２４は、目周辺の画像に基づいてエッジ処理を行い、目周辺の水平エッジ画像を検出する。「水平エッジ画像」は、顔の横方向に延在する線状の画像であり、目（上まぶた、下まぶた）候補となるものである。

顔向き角度検出部２６は、運転者Ｄの顔向き角度を検出する。ここでは、顔特徴点抽出部２４で検出された顔の横幅Ｘ、顔中心位置Ｙとの相対位置関係から顔向き角度を算出する。なお、顔向き角度の算出は、既存の技術であり、そのほかの手法を用いて、顔向き角度を検出しても良い。「顔向き角度」としては、運転者Ｄが車両正面を向いている状態を基準とし、この基準に対する角度が挙げられる。

エッジ移動方向推定部２８は、車速センサ１８から入力された自車速、ウィンカセンサ２０から入力された指示方向、ステアリングセンサ２２から入力された操舵方向及び操舵角度に基づいて、自車両の移動状態を把握し、自車両の移動状態、及び顔向き角度に基づいて、めがねレンズ上に映り込む映り込みエッジ画像（水平エッジ画像）の移動状態を推定する。ここでは、めがねレンズ上に映り込んだ映り込みエッジ画像の移動方向、移動速度を推定する。「移動状態」としては、移動方向、移動速度、移動量が挙げられる。

図２は、目周辺の画像の時間変化を示す概略図であり、めがねレンズに映り込んだ映り込みエッジ画像の位置変化を示すものである。図２に示すように、めがねレンズ４０上には、水平方向（顔の横方向）に延在するエッジ画像Ｅ１を認識することができる。図２では、上（Ａ）から下（Ｃ）へ時間の経過を示し、図２に示す場合では、時間の経過に併せて、エッジ画像Ｅ１がめがねレンズ４０上を上方へ移動する様子を示している。

例えば、自車両が直前進している場合には、車外の風景に起因し、めがねレンズ４０に映り込む映り込みエッジ画像は、めがねレンズ４０上を上方へ移動する。また、画像は、等時間ごとに（例えば、毎秒３０フレーム）取得され、連続するフレームを比較することで、エッジ画像Ｅ１の単位時間あたりの移動量（移動速度）が分かる。

映り込みエッジ検出部３０は、めがねレンズ４０上の水平エッジ画像を探索し、エッジ移動方向推定部２８によって算出された移動方向及び移動速度と合致するエッジ画像Ｅ１を、めがねレンズ４０上に映り込んだ映り込みエッジ画像として検出する。

また、映り込みエッジ検出部３０では、検出された水平エッジ画像が下方に移動する場合には、この水平エッジ画像を映り込みエッジ画像として検出しないこととしている。これは、下方に移動するエッジ画像は、上まぶたや、下まぶたに起因するエッジ画像である可能性が高いため、めがねレンズ４０上を下方に移動するものは、映り込みエッジ画像として検出しないようにしている。

また、映り込みエッジ検出部３０では、検出された水平エッジ画像が所定時間内に上下方向に移動する場合には、この水平エッジ画像を映り込みエッジ画像として検出しないこととしている。これには、単位時間に上下方向に移動するエッジ画像は、上まぶたや、下まぶたに起因するエッジ画像である可能性が高いため、めがねレンズ４０上を下方に移動するものは、映り込みエッジ画像として検出しないようにしている。

目検出部３２は、映り込みエッジ検出部３０によって検出された映り込みエッジを、目候補から除外し、目候補の中から適合値の高い（尤もらしい）ものを目として検出する目検出処理を行い、運転者Ｄの目（上まぶた、下まぶた、瞳孔など）を認識する。例えば、記憶部に記憶された３次元顔モデルを参照して、目候補な中で尤もらしいものを目として認識する。

次に、このように構成された顔画像処理装置１０の作用について説明する。図３は、本発明の第１実施形態に係る顔画像処理ＥＣＵで実行される処理手順を示すフローチャートである。まず、顔画像処理ＥＣＵ１４では、顔画像撮像カメラ１２から画像信号を入力し、運転者Ｄの顔の特徴を検出する（Ｓ１）。ここでは、顔画像処理ＥＣＵ１４は、例えば、既存技術を用いて、運転者Ｄの顔の横幅Ｘを検出すると共に、鼻、口の位置から顔の中心位置Ｙを検出する。

次に、顔画像処理ＥＣＵ１４は、検出された運転者Ｄの顔の横幅Ｘ、顔の中心位置Ｙの相対位置に基づいて、運転者Ｄの顔向き角度を算出する（Ｓ２）。続いて、顔画像処理ＥＣＵ１４は、車速センサ１８からの信号に基づいて、自車速を検出し、ウィンカセンサ２０からの信号に基づいて、自車両の進路変更、右左折を検出し、ステアリングセンサ２２からの信号に基づいて、自車両の操舵方向及び操舵角度を検出する（Ｓ３）。

次に、顔画像処理ＥＣＵ１４は、検出された顔向き角度、自車速、自車両の進路変更及び右左折、自車両の操舵方向及び操舵角度に基づいて、めがねレンズ上の水平エッジ画像の流れる方向（移動方向）、及び移動量を左右のレンズごとに推定する（Ｓ４）。例えば、めがねレンズ上で、一連の映り込みエッジ画像が何回検出可能であるかを推定してもよい。

続いて、顔画像処理ＥＣＵ１４は、認識された鼻、口の位置に基づいて、目周辺の探索範囲を設定し、例えばｓｏｂｅｌフィルタなどの手法を用いて、目周辺の水平エッジ画像を検出する（Ｓ５）。このとき、実際の目に起因するエッジ画像、車外の風景に起因し、めがねレンズ上に映り込んだエッジ画像等が水平エッジとして検出される。

次に、顔画像処理ＥＣＵ１４は、検出された水平エッジ画像を時系列に探索し、ステップ４で推定された映り込みエッジ画像の移動方向及び移動量と合致する水平エッジ画像の時系列の組合せを、映り込みエッジ画像候補の時系列の組合せ（以下、「映り込みエッジ画像候補」ともいう）として抽出する（Ｓ６）。主に、エッジ画像は上方に動くので、ノイズ要因などで下まぶたに相当するエッジも検出してしまう可能性がある。

続いて、顔画像処理ＥＣＵ１４は、時系列で瞬きしているか否かを判定し、瞬きしていると判定された水平エッジ画像の時系列の組合せを、上まぶたに起因するエッジ画像候補の時系列の組合せとして抽出する（Ｓ７）。例えば、所定時間内に上下方向に移動する水平エッジ画像候補の時系列の組合せは、時系列で瞬きしていると判定する。なお、「所定時間」とは、任意の時間であり、その時間内の水平エッジ画像の移動を観察することで、瞬きであると判定可能な時間である。

次に、顔画像処理ＥＣＵ１４は、ステップ６において抽出された映り込みエッジ画像候補の時系列の組合せの中に、ステップ７において、抽出された上まぶたに起因するエッジ候補と対になる下まぶたに起因するエッジ画像候補が存在するか否かを判定し、これらの上下まぶたに起因するエッジ画像候補を映り込みエッジ画像候補から除外する（Ｓ８）。例えば、左右の上まぶたに起因するエッジ画像候補の動きと連動し、且つ、平行性が保たれているエッジ画像候補を、下まぶたに起因するエッジ画像候補として抽出して、映り込みエッジ画像候補から除外する。

続いて、顔画像処理ＥＣＵ１４は、映り込みエッジ画像候補として残った水平エッジ画像を、めがねレンズに映り込んだエッジ画像として設定（検出）し、目候補（上まぶた候補、下まぶた候補）から除外する（Ｓ９）。そして、この後に実行される目検出処理では、目候補の中から、例えば、最も適合値が高い目候補が目として検出される。

このような顔画像処理装置１０によれば、取得された自車両の移動状態に基づいて、めがねレンズに投影された映り込みエッジの移動方向及び移動量を推定し、推定された映り込みエッジの移動方向及び移動量と合致する水平エッジを目候補から除外することで、目の検出精度が向上されている。

このような顔画像処理装置１０によれば、車両の移動に関する情報を取得し、取得された情報に基づいて、運転者Ｄのめがねレンズに写り込むエッジ画像の移動状態を推定し、推定されたエッジ画像の移動状態に基づいて、実際にめがねレンズに映り込んだエッジ画像を検出する。車外の風景に起因するエッジ画像は、車両の移動状態に伴って移動するため、車両の移動状態に基づいて、めがねレンズに写り込むエッジ画像の移動状態を推定することができる。これにより、推定された移動状態と同様に位置変化するエッジ画像を、不要なエッジとして、目を検出する際の候補から除外することができ、目の検出精度を向上させることができる。また、新たに専用の装置を追加することなく、従前の顔画像処理装置のハードを用い、簡素な構成でめがねレンズに映り込んだ不要なエッジ画像を検出、除去することができる。

また、顔画像処理装置１０では、所定時間内に上下方向に移動するエッジ画像を映り込みエッジ画像として検出しないこととしている。車両が直前進する場合には、映り込みエッジ画像は、車両の移動方向に応じてめがねレンズ上で上方に移動するため、所定時間内に上下方向に移動するエッジ画像は、めがねレンズに映り込んだエッジ画像である可能性は極めて低く、逆に、目である可能性が高い。そのため、所定時間内に上下方向に移動するエッジ画像を、めがねレンズに映り込んだエッジ画像と設定しないことで、目の検出精度を向上させることができる。

次に、本発明の第２実施形態に係る顔画像処理装置について図４を参照して説明する。図４は、本発明の第２実施形態に係る顔画像処理ＥＣＵで実行される処理手順を示すフローチャートである。第２実施形態の顔画像処理装置が第１実施形態の顔画像処理装置１０と違う点は、顔画像処理ＥＣＵで実行される処理手順が異なる点であり、具体的には、ステップ３とステップ４との間で、新たなステップ１０の処理を実行する点である。なお、第２実施形態に係る顔画像処理装置の装置構成は、第１実施形態の顔画像処理装置１０と同一である。

ステップ１〜９の処理は、第１実施形態の顔画像処理ＥＣＵ１４で実行される処理手順と同一であるため、新たに追加されたステップ１０の処理について説明する。ステップ１０では、顔画像処理ＥＣＵは、鼻、口の位置に基づいて、めがねレンズを検出し、その種類を識別する。ここでは、例えば、撮像された画像情報に基づいて、めがねレンズの種類、形状（大きさ、曲率等）を検出する。なお、記憶部に記憶されたデータベースを参照することで、めがねレンズの種類、形状を認識する構成としてもよい。

このような第２実施形態の顔画像処理装置にあっても、第１実施形態の顔画像処理装置１０と同様の作用、効果を得ることができる。また、第２実施形態の顔画像処理装置では、めがねレンズの種類、形状を認識することができるため、めがねレンズの種類、形状に応じて補正することで、映り込みエッジ画像の移動状態の推定精度を向上させることが可能となる。例えば、映り込みエッジ画像の移動方向は、めがねレンズの曲率によって異なることがある。また、めがねレンズの大きさが異なれば、時間変化に応じた一連のエッジ画像の検出回数も異なる。そのため、めがねレンズの種類、形状を考慮して、映り込みエッジ画像の移動状態を補正することで、映り込み画像の検出精度を向上させることが可能となり、目の検出精度を一層向上させることができる。

次に、本発明の第３実施形態に係る顔画像処理装置について図５を参照して説明する。図５は、本発明の第３実施形態に係る顔画像処理ＥＣＵで実行される処理手順を示すフローチャートである。第３実施形態の顔画像処理装置が第１実施形態の顔画像処理装置１０と違う点は、顔画像処理ＥＣＵで実行される処理手順が異なる点であり、具体的には、ステップ９の後に、新たなステップ１１，１２を実行する点である。なお、第３実施形態に係る顔画像処理装置の装置構成は、第１実施形態の顔画像処理装置１０と同一である。

ステップ１〜９の処理は、第１実施形態の顔画像処理ＥＣＵで実行される処理手順と同一であるため、新たに追加されたステップ１１，１２の処理について説明する。ステップ１１では、顔画像処理ＥＣＵは、上まぶたに起因するエッジ画像候補、及び／又は、下まぶたに起因するエッジ画像候補（以下、「上下まぶた画像候補」という）となる水平エッジ画像が検出されているか否かを判定する。上下まぶた画像候補となる水平エッジ画像が検出されていない場合には、ステップ１２に進み、上下まぶた画像候補となる水平エッジ画像が検出されている場合には、処理を終了する。

ステップ１２では、顔画像処理ＥＣＵは、後段の目検出処理で、目（上下まぶた）を検出することができなかった状態である未検出状態として処理するように設定する。これにより、後段の目検出処理において未検出状態による不具合を回避することができる。

次に、本発明の第４実施形態に係る顔画像処理装置について図６を参照して説明する。図６は、本発明の第４実施形態に係る顔画像処理ＥＣＵで実行される処理手順を示すフローチャートである。第４実施形態の顔画像処理装置が第１実施形態の顔画像処理装置１０と違う点は、顔画像処理ＥＣＵで実行される処理手順が異なる点であり、具体的には、ステップ９の後に、新たなステップ１３，１４を実行する点である。なお、第４実施形態に係る顔画像処理装置の装置構成は、第１実施形態の顔画像処理装置１０と同一である。

ステップ１〜９の処理は、第１実施形態の顔画像処理ＥＣＵ１４で実行される処理手順と同一であるため、新たに追加されたステップ１３，１４の処理について説明する。ステップ１３では、顔画像処理ＥＣＵは、映り込みエッジ画像が瞳孔と重なる位置で検出されたか否かを判定する。ここでは、例えば、運転者の顔画像に基づいて、運転者Ｄの瞳孔の位置を検出し、この瞳孔の位置と、水平エッジ画像とが重なる位置で検出されたか否かを判定する。映り込みエッジ画像が瞳孔と重なる位置で検出された場合には、ステップ１４に進み、映り込みエッジ画像が瞳孔と重なる位置で検出されなかった場合には、処理を終了する。

ステップ１４では、顔画像処理ＥＣＵは、後段で実行される瞳孔検出処理で、瞳孔を検出することができなかった状態である未検出状態として処理するように設定する。これにより、後段の瞳孔検出処理において、未検出状態に不具合を回避することができる。瞳孔の位置を映り込みエッジ画像の位置が重なった場合には、両者の検出精度が低下するおそれがあるため、両者が重なった位置に存在する場合には、未検出状態として処理を終了することで、検出精度の低下を回避することができる。

以上、本発明をその実施形態に基づき具体的に説明したが、本発明は、上記実施形態に限定されるもではない。例えば、顔特徴点を検出する技術、顔向き角度を検出する技術、目を検出する技術は、その他の技術を用いてもよい。要は、車両の移動状態に基づいて、映り込みエッジ画像の移動状態を推定し、推定された移動状態に基づいて、めがねレンズに映り込んだエッジ画像を検出可能であればよい。

また、上記実施形態では、「所定時間内に上下方向に移動するエッジ画像」を映り込みエッジ画像として検出しない構成としているが、「下方に移動するエッジ画像」を映り込みエッジ画像として検出しない構成としてもよい。また、上記実施形態において、ステップ７、８の処理を実行しなくてもよい。

また、上記実施形態では、顔画像処理装置１０は、本発明の移動情報取得手段として、車速センサ１８、ウィンカセンサ２０、ステアリングセンサ２２を備える構成としているが、その他のセンサ、コンピュータからの情報に基づいて、自車両の移動状態を取得する構成としてもよい。また、例えば、車速センサ１８のみによって、移動情報を取得してもよい。

また、上記第３，４実施形態において、ステップ１０を実行しても良く、ステップ１１〜１４を実行してもよい。

本発明の実施形態に係る顔画像処理装置を示す構成図である。 目周辺の画像の時間変化を示す概略図であり、めがねレンズに映り込んだ映り込みエッジ画像の位置変化を示すものである。 本発明の第１実施形態に係る顔画像処理ＥＣＵで実行される処理手順を示すフローチャートである。 本発明の第２実施形態に係る顔画像処理ＥＣＵで実行される処理手順を示すフローチャートである。 本発明の第３実施形態に係る顔画像処理ＥＣＵで実行される処理手順を示すフローチャートである。 本発明の第４実施形態に係る顔画像処理ＥＣＵで実行される処理手順を示すフローチャートである。

符号の説明

１０…顔画像処理装置、１２…顔画像撮像カメラ、１４…顔画像処理ＥＣＵ、１６…コラムカバー、１８…車速センサ、２０…ウィンカセンサ、２２…ステアリングセンサ、２４…顔特徴点抽出部、２６…顔向き角度検出部、２８…エッジ移動方向推定部、３０…映り込みエッジ検出部、３２…目検出部、４０…めがねレンズ。

Claims (6)

1. 車両の運転者の顔画像を取得して、取得された前記顔画像に基づいて画像処理を行い前記運転者の目を検出する画像処理手段を備えた画像処理装置において、
   前記車両の移動に関する情報を取得する移動情報取得手段と、
   前記移動情報取得手段によって取得された前記車両の移動に関する情報に基づいて、前記運転者に装着されためがねレンズに写り込むエッジ画像の移動状態を推定する推定手段と、
   前記推定手段によって推定されたエッジ画像の移動状態に基づいて、前記めがねレンズに映り込んだエッジ画像である映り込みエッジ画像を検出する映り込み検出手段と、
   を備えることを特徴とする顔画像処理装置。
2. 前記画像処理手段は、前記映り込み検出手段によって検出された前記映り込みエッジ画像を目候補から除外することを特徴とする請求項１記載の顔画像処理装置。
3. 前記エッジ画像の移動状態は、前記エッジ画像の移動方向を含むことを特徴とする請求項１または２記載の顔画像処理装置。
4. 前記エッジ画像の移動状態は、前記エッジ画像の単位時間あたりの移動量を含むことを特徴とする請求項３記載の顔画像処理装置。
5. 前記映り込み検出手段は、下方に移動するエッジ画像を前記映り込みエッジ画像として検出しないことを特徴とする請求項１〜４の何れか一項に記載の顔画像処理装置。
6. 前記映り込み検出手段は、所定時間内に上下方向に移動するエッジ画像を前記映り込みエッジ画像として検出しないことを特徴とする請求項１〜５の何れか一項に記載の顔画像処理装置。

Images