JP2009169740A - 顔画像処理装置 - Google Patents

顔画像処理装置 Download PDF

Info

Publication number
JP2009169740A
JP2009169740A JP2008008107A JP2008008107A JP2009169740A JP 2009169740 A JP2009169740 A JP 2009169740A JP 2008008107 A JP2008008107 A JP 2008008107A JP 2008008107 A JP2008008107 A JP 2008008107A JP 2009169740 A JP2009169740 A JP 2009169740A
Authority
JP
Japan
Prior art keywords
edge image
image
image processing
edge
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008008107A
Other languages
English (en)
Other versions
JP4883013B2 (ja
Inventor
Takeshi Sasuga
岳史 流石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2008008107A priority Critical patent/JP4883013B2/ja
Publication of JP2009169740A publication Critical patent/JP2009169740A/ja
Application granted granted Critical
Publication of JP4883013B2 publication Critical patent/JP4883013B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)

Abstract

【課題】演算負荷の増大を抑えつつ簡素な構成でめがねに映り込んだ画像を検出することが可能な顔画像処理装置を提供すること。
【解決手段】車両の移動に関する情報を取得し、取得された情報に基づいて、運転者のめがねレンズ40に写り込むエッジ画像の移動状態を推定し、推定されたエッジ画像の移動状態に基づいて、実際にめがねレンズに映り込んだエッジ画像E1を検出する。車外の風景に起因するエッジ画像E1は、車両の移動状態に伴って移動するため、車両の移動状態に基づいて、めがねレンズ40に写り込むエッジの移動状態を推定する。この推定された移動状態と同様に位置変化するエッジ画像E1を、不要なエッジ画像として設定して、目候補から除外することができる。そのため、新たに他の装置を追加することなく、簡素な構成でめがねレンズ40に映り込んだ不要なエッジ画像E1を検出することができる。
【選択図】図2

Description

本発明は、車両の運転者の顔画像を取得し、取得された顔画像に基づいて画像処理を行う顔画像処理装置に関するものである。
従来、車両の運転者の顔画像を取得し、取得された顔画像に基づいて画像処理を行い運転者の目を検出する技術が知られている(例えば、特許文献1参照)。このような技術では、運転者がめがねを装着している場合には、めがねのレンズに生じた映り込みによって、レンズに映り込んだエッジ画像を目として誤検出することがある。そこで、運転者に光を照射し、反射位置が移動する反射像を、光沢反射面を持つ物の反射像として取り除くことで、目の検出精度の向上を図っている。
特開2002−352229号公報
しかしながら上記従来技術では、反射位置が移動する反射像を目候補から除外しているため、本来検出したい例えばまぶた等を目候補から除外してしまい、目の検出精度が低下するおそれがある。
また、めがねに映り込んだ像を除去して目を検出する技術として、近赤外LED(発光ダイオード)を用いて照明のON/OFFの切り替えを行い、画像差分処理を行うことで、めがねに映り込んだ像を除去するものがある。しかしながら、この技術では、映り込み像を除去するための専用の装置が必要であり、コストが増加するという問題や、新たな装置の設置スペースを確保する必要があるという問題がある。また、画像差分処理などによって、演算負荷が増大してしまうといった問題もある。
また、他の技術として、LED照明を運転者の正面方向に設置し、顔画像上に意図的に赤目反射を発生させ、赤目成分を優先的に抽出することで、めがねに映り込んだ像の影響を低減させるものがある。しかしながら、この技術では、上記技術と同様に、新たな装置が必要であるといった問題や、演算負荷が増大してしまうといった問題がある。
また、さらに他の技術として、めがねに映り込んだ像の画像データを学習し、学習した画像データに基づいて、めがねに映り込んだ像を除去するものがある。しかしながら、この技術では、新たに専用の学習データを記憶させる必要があるといった問題、映り込み像を除去するための新たな専用のアルゴリズムが必要であるといった問題、演算負荷が増大し、処理時間が増加するといった問題がある。
本発明は、このような課題を解決するために成されたものであり、演算負荷の増大を抑えつつ簡素な構成でめがねに映り込んだ画像を検出することが可能な顔画像処理装置を提供することを目的とする。
本発明による顔画像処理装置は、車両の運転者の顔画像を取得して、取得された顔画像に基づいて画像処理を行い運転者の目を検出する画像処理手段を備えた画像処理装置において、車両の移動に関する情報を取得する移動情報取得手段と、移動情報取得手段によって取得された車両の移動に関する情報に基づいて、運転者に装着されためがねレンズに写り込むエッジ画像の移動状態を推定する推定手段と、推定手段によって推定されたエッジ画像の移動状態に基づいて、めがねレンズに映り込んだエッジ画像である映り込みエッジ画像を検出する映り込み検出手段と、を備えることを特徴としている。また、画像処理手段は、映り込み検出手段によって検出された映り込みエッジ画像を、前記目を検出する際に、前記目の候補としないことを特徴とする。
このような顔画像処理装置によれば、車両の移動に関する情報を取得し、取得された情報に基づいて、運転者のめがねレンズに写り込むエッジ画像の移動状態を推定し、推定されたエッジ画像の移動状態に基づいて、実際にめがねレンズに映り込んだエッジ画像を検出する。車外の風景に起因するエッジ画像は、車両の移動状態に伴って移動するため、車両の移動状態に基づいて、めがねレンズに写り込むエッジ画像の移動状態を推定することができる。これにより、推定された移動状態と同様に位置変化するエッジ画像を、不要なエッジとして、目を検出する際の候補(以下、「目候補」という)から除外することができ、目の検出精度を向上させることができる。また、新たに専用の装置を追加することなく、簡素な構成でめがねレンズに映り込んだ不要なエッジ画像を検出、除去することができる。なお、「めがねレンズ」は、めがねのレンズ、サングラスのガラスなど、目の正面に配置された透明体、半透明体を含むものとする。また、「めがねレンズに映り込んだエッジ画像」とは、めがねレンズに投影された物体の線状部分(端など)に起因する画像を含むものとする。また、「目」を検出するとは、上まぶた、下まぶた、瞳孔を認識することを含むものとする。
また、エッジ画像の移動状態は、エッジ画像の移動方向を含むことが好ましい。これにより、推定されたエッジ画像の移動方向と同一方向に移動するエッジ画像を、めがねレンズに映り込んだ不要なエッジ画像と設定して、目候補から除外することができる。
また、エッジ画像の移動状態は、エッジ画像の単位時間あたりの移動量を含むことが好ましい。これにより、推定されたエッジ画像の移動方向及び単位時間あたりの移動量と同様に移動するエッジ画像を、めがねレンズに映り込んだ不要なエッジ画像と設定して、目候補から除外することができる。
また、映り込み検出手段は、下方に移動するエッジ画像を映り込みエッジ画像として検出しないことが好ましい。車両が前進する場合には、映り込みエッジ画像は、車両の移動方向に応じてめがねレンズ上で上方に移動するため、下方に移動するエッジ画像は、めがねレンズに映り込んだエッジ画像である可能性は低く、逆に、目(上まぶた、下まぶた)である可能性が高い。そのため、下方に移動するエッジ画像を、めがねレンズに映り込んだエッジ画像と設定しないことで、目の検出精度を向上させる。
また、映り込み検出手段は、所定時間内に上下方向に移動するエッジ画像を映り込みエッジ画像として検出しないことが好ましい。車両が前進する場合には、映り込みエッジ画像は、車両の移動方向に応じてめがねレンズ上で上方に移動するため、所定時間内に上下方向に移動するエッジ画像は、めがねレンズに映り込んだエッジ画像である可能性は極めて低く、逆に、目である可能性が高い。そのため、所定時間内に上下方向に移動するエッジ画像を、めがねレンズに映り込んだエッジ画像と設定しないことで、目の検出精度を向上させる。
本発明によれば、演算負荷の増大を抑えつつ簡素な構成でめがねに映り込んだ画像を検出することが可能な顔画像処理装置を提供することができる。
以下、本発明の好適な実施形態について図面を参照しながら説明する。なお、図面の説明において同一または相当要素には同一の符号を付し、重複する説明は省略する。図1は、本発明の実施形態に係る顔画像処理装置を示す構成図である。
図1に示す顔画像処理装置10は、車両(以下、「自車両」という)に搭載され運転者Dの顔画像を取得するものである。この顔画像処理装置10は、運転者Dの顔画像を撮像する顔画像撮像カメラ12、この顔画像撮像カメラ12からの画像信号に基づいて画像処理を行う顔画像処理電子制御ユニット(以下、「顔画像処理ECU」という)14を備えている。
顔画像撮像カメラ12は、例えばコラムカバー16の上面に設置され、運転者Dの顔画像を取得する。顔画像撮像カメラ12は、例えば近赤外線カメラであり、近赤外線投射装置(不図示)から照射された近赤外線光が物体(運転者Dの顔)に反射した反射光を受光することによって、運転者Dの顔を撮像する。顔画像撮像カメラ12では、例えば、毎秒30フレームの画像を取得することができる。そして、顔画像撮像カメラ12によって取得された運転者Dの顔画像に関する画像信号は、顔画像処理ECU14に送信される。
顔画像処理ECU14は、演算処理を行うCPU、記憶部となるROM及びRAM、入力信号回路、出力信号回路、電源回路などにより構成され、入力された画像信号について画像処理を行い運転者Dの顔画像を検出する。検出された顔画像は、例えば、運転者Dの開眼度判定(覚醒度判定)、脇見判定等に利用される。
ここで、本発明の顔画像処理装置10は、自車両の移動に関する情報を取得して、この取得された情報に基づいて、運転者Dのめがねレンズに映り込んだ映り込みエッジ画像を検出し、不要な映り込みエッジ画像を目候補から除外する機能を有している。
顔画像処理ECU14には、自車速を検出する車速センサ18、ウィンカ(方向指示器)による指示方向を検出するウィンカセンサ20、ステアリング操作した時の操舵方向及び操舵角度を検出するステアリングセンサ22が電気的に接続されている。そして、これらの車速センサ18、ウィンカセンサ20、及びステアリングセンサ22は、自車両の移動に関する情報を取得する本発明の移動情報取得手段として機能するものである。
顔画像処理ECU14のCPUでは、記憶部に記憶されているプログラムを実行することで、顔特徴点抽出部24、顔向き角度検出部26、エッジ移動方向推定部28、映り込みエッジ検出部30、目検出部32が構成される。
顔画像処理ECU14の記憶部には、CPUを作動させるためのプログラムのほかに、複数の3次元顔モデルが記憶されている。また、記憶部は、撮像された画像データ、顔特徴点に関するデータを記憶する記憶手段として機能する。また、記憶部に、運転者Dのめがねレンズに関するデータ(例えば、レンズの形状、大きさ、曲率等)を予め記憶させておいてもよい。
顔特徴点抽出部24は、入力された画像信号に基づいて画像処理を行い、鼻、口を認識すると共に、例えば、エッジベース手法、パターン認識手法等を用いて、顔の横幅X、顔中心位置(軸)Yを検出する。例えば、顔中心位置Yは、鼻、口の位置に基づいて検出される。また、顔特徴点抽出部24は、目周辺の画像に基づいてエッジ処理を行い、目周辺の水平エッジ画像を検出する。「水平エッジ画像」は、顔の横方向に延在する線状の画像であり、目(上まぶた、下まぶた)候補となるものである。
顔向き角度検出部26は、運転者Dの顔向き角度を検出する。ここでは、顔特徴点抽出部24で検出された顔の横幅X、顔中心位置Yとの相対位置関係から顔向き角度を算出する。なお、顔向き角度の算出は、既存の技術であり、そのほかの手法を用いて、顔向き角度を検出しても良い。「顔向き角度」としては、運転者Dが車両正面を向いている状態を基準とし、この基準に対する角度が挙げられる。
エッジ移動方向推定部28は、車速センサ18から入力された自車速、ウィンカセンサ20から入力された指示方向、ステアリングセンサ22から入力された操舵方向及び操舵角度に基づいて、自車両の移動状態を把握し、自車両の移動状態、及び顔向き角度に基づいて、めがねレンズ上に映り込む映り込みエッジ画像(水平エッジ画像)の移動状態を推定する。ここでは、めがねレンズ上に映り込んだ映り込みエッジ画像の移動方向、移動速度を推定する。「移動状態」としては、移動方向、移動速度、移動量が挙げられる。
図2は、目周辺の画像の時間変化を示す概略図であり、めがねレンズに映り込んだ映り込みエッジ画像の位置変化を示すものである。図2に示すように、めがねレンズ40上には、水平方向(顔の横方向)に延在するエッジ画像E1を認識することができる。図2では、上(A)から下(C)へ時間の経過を示し、図2に示す場合では、時間の経過に併せて、エッジ画像E1がめがねレンズ40上を上方へ移動する様子を示している。
例えば、自車両が直前進している場合には、車外の風景に起因し、めがねレンズ40に映り込む映り込みエッジ画像は、めがねレンズ40上を上方へ移動する。また、画像は、等時間ごとに(例えば、毎秒30フレーム)取得され、連続するフレームを比較することで、エッジ画像E1の単位時間あたりの移動量(移動速度)が分かる。
映り込みエッジ検出部30は、めがねレンズ40上の水平エッジ画像を探索し、エッジ移動方向推定部28によって算出された移動方向及び移動速度と合致するエッジ画像E1を、めがねレンズ40上に映り込んだ映り込みエッジ画像として検出する。
また、映り込みエッジ検出部30では、検出された水平エッジ画像が下方に移動する場合には、この水平エッジ画像を映り込みエッジ画像として検出しないこととしている。これは、下方に移動するエッジ画像は、上まぶたや、下まぶたに起因するエッジ画像である可能性が高いため、めがねレンズ40上を下方に移動するものは、映り込みエッジ画像として検出しないようにしている。
また、映り込みエッジ検出部30では、検出された水平エッジ画像が所定時間内に上下方向に移動する場合には、この水平エッジ画像を映り込みエッジ画像として検出しないこととしている。これには、単位時間に上下方向に移動するエッジ画像は、上まぶたや、下まぶたに起因するエッジ画像である可能性が高いため、めがねレンズ40上を下方に移動するものは、映り込みエッジ画像として検出しないようにしている。
目検出部32は、映り込みエッジ検出部30によって検出された映り込みエッジを、目候補から除外し、目候補の中から適合値の高い(尤もらしい)ものを目として検出する目検出処理を行い、運転者Dの目(上まぶた、下まぶた、瞳孔など)を認識する。例えば、記憶部に記憶された3次元顔モデルを参照して、目候補な中で尤もらしいものを目として認識する。
次に、このように構成された顔画像処理装置10の作用について説明する。図3は、本発明の第1実施形態に係る顔画像処理ECUで実行される処理手順を示すフローチャートである。まず、顔画像処理ECU14では、顔画像撮像カメラ12から画像信号を入力し、運転者Dの顔の特徴を検出する(S1)。ここでは、顔画像処理ECU14は、例えば、既存技術を用いて、運転者Dの顔の横幅Xを検出すると共に、鼻、口の位置から顔の中心位置Yを検出する。
次に、顔画像処理ECU14は、検出された運転者Dの顔の横幅X、顔の中心位置Yの相対位置に基づいて、運転者Dの顔向き角度を算出する(S2)。続いて、顔画像処理ECU14は、車速センサ18からの信号に基づいて、自車速を検出し、ウィンカセンサ20からの信号に基づいて、自車両の進路変更、右左折を検出し、ステアリングセンサ22からの信号に基づいて、自車両の操舵方向及び操舵角度を検出する(S3)。
次に、顔画像処理ECU14は、検出された顔向き角度、自車速、自車両の進路変更及び右左折、自車両の操舵方向及び操舵角度に基づいて、めがねレンズ上の水平エッジ画像の流れる方向(移動方向)、及び移動量を左右のレンズごとに推定する(S4)。例えば、めがねレンズ上で、一連の映り込みエッジ画像が何回検出可能であるかを推定してもよい。
続いて、顔画像処理ECU14は、認識された鼻、口の位置に基づいて、目周辺の探索範囲を設定し、例えばsobelフィルタなどの手法を用いて、目周辺の水平エッジ画像を検出する(S5)。このとき、実際の目に起因するエッジ画像、車外の風景に起因し、めがねレンズ上に映り込んだエッジ画像等が水平エッジとして検出される。
次に、顔画像処理ECU14は、検出された水平エッジ画像を時系列に探索し、ステップ4で推定された映り込みエッジ画像の移動方向及び移動量と合致する水平エッジ画像の時系列の組合せを、映り込みエッジ画像候補の時系列の組合せ(以下、「映り込みエッジ画像候補」ともいう)として抽出する(S6)。主に、エッジ画像は上方に動くので、ノイズ要因などで下まぶたに相当するエッジも検出してしまう可能性がある。
続いて、顔画像処理ECU14は、時系列で瞬きしているか否かを判定し、瞬きしていると判定された水平エッジ画像の時系列の組合せを、上まぶたに起因するエッジ画像候補の時系列の組合せとして抽出する(S7)。例えば、所定時間内に上下方向に移動する水平エッジ画像候補の時系列の組合せは、時系列で瞬きしていると判定する。なお、「所定時間」とは、任意の時間であり、その時間内の水平エッジ画像の移動を観察することで、瞬きであると判定可能な時間である。
次に、顔画像処理ECU14は、ステップ6において抽出された映り込みエッジ画像候補の時系列の組合せの中に、ステップ7において、抽出された上まぶたに起因するエッジ候補と対になる下まぶたに起因するエッジ画像候補が存在するか否かを判定し、これらの上下まぶたに起因するエッジ画像候補を映り込みエッジ画像候補から除外する(S8)。例えば、左右の上まぶたに起因するエッジ画像候補の動きと連動し、且つ、平行性が保たれているエッジ画像候補を、下まぶたに起因するエッジ画像候補として抽出して、映り込みエッジ画像候補から除外する。
続いて、顔画像処理ECU14は、映り込みエッジ画像候補として残った水平エッジ画像を、めがねレンズに映り込んだエッジ画像として設定(検出)し、目候補(上まぶた候補、下まぶた候補)から除外する(S9)。そして、この後に実行される目検出処理では、目候補の中から、例えば、最も適合値が高い目候補が目として検出される。
このような顔画像処理装置10によれば、取得された自車両の移動状態に基づいて、めがねレンズに投影された映り込みエッジの移動方向及び移動量を推定し、推定された映り込みエッジの移動方向及び移動量と合致する水平エッジを目候補から除外することで、目の検出精度が向上されている。
このような顔画像処理装置10によれば、車両の移動に関する情報を取得し、取得された情報に基づいて、運転者Dのめがねレンズに写り込むエッジ画像の移動状態を推定し、推定されたエッジ画像の移動状態に基づいて、実際にめがねレンズに映り込んだエッジ画像を検出する。車外の風景に起因するエッジ画像は、車両の移動状態に伴って移動するため、車両の移動状態に基づいて、めがねレンズに写り込むエッジ画像の移動状態を推定することができる。これにより、推定された移動状態と同様に位置変化するエッジ画像を、不要なエッジとして、目を検出する際の候補から除外することができ、目の検出精度を向上させることができる。また、新たに専用の装置を追加することなく、従前の顔画像処理装置のハードを用い、簡素な構成でめがねレンズに映り込んだ不要なエッジ画像を検出、除去することができる。
また、顔画像処理装置10では、所定時間内に上下方向に移動するエッジ画像を映り込みエッジ画像として検出しないこととしている。車両が直前進する場合には、映り込みエッジ画像は、車両の移動方向に応じてめがねレンズ上で上方に移動するため、所定時間内に上下方向に移動するエッジ画像は、めがねレンズに映り込んだエッジ画像である可能性は極めて低く、逆に、目である可能性が高い。そのため、所定時間内に上下方向に移動するエッジ画像を、めがねレンズに映り込んだエッジ画像と設定しないことで、目の検出精度を向上させることができる。
次に、本発明の第2実施形態に係る顔画像処理装置について図4を参照して説明する。図4は、本発明の第2実施形態に係る顔画像処理ECUで実行される処理手順を示すフローチャートである。第2実施形態の顔画像処理装置が第1実施形態の顔画像処理装置10と違う点は、顔画像処理ECUで実行される処理手順が異なる点であり、具体的には、ステップ3とステップ4との間で、新たなステップ10の処理を実行する点である。なお、第2実施形態に係る顔画像処理装置の装置構成は、第1実施形態の顔画像処理装置10と同一である。
ステップ1〜9の処理は、第1実施形態の顔画像処理ECU14で実行される処理手順と同一であるため、新たに追加されたステップ10の処理について説明する。ステップ10では、顔画像処理ECUは、鼻、口の位置に基づいて、めがねレンズを検出し、その種類を識別する。ここでは、例えば、撮像された画像情報に基づいて、めがねレンズの種類、形状(大きさ、曲率等)を検出する。なお、記憶部に記憶されたデータベースを参照することで、めがねレンズの種類、形状を認識する構成としてもよい。
このような第2実施形態の顔画像処理装置にあっても、第1実施形態の顔画像処理装置10と同様の作用、効果を得ることができる。また、第2実施形態の顔画像処理装置では、めがねレンズの種類、形状を認識することができるため、めがねレンズの種類、形状に応じて補正することで、映り込みエッジ画像の移動状態の推定精度を向上させることが可能となる。例えば、映り込みエッジ画像の移動方向は、めがねレンズの曲率によって異なることがある。また、めがねレンズの大きさが異なれば、時間変化に応じた一連のエッジ画像の検出回数も異なる。そのため、めがねレンズの種類、形状を考慮して、映り込みエッジ画像の移動状態を補正することで、映り込み画像の検出精度を向上させることが可能となり、目の検出精度を一層向上させることができる。
次に、本発明の第3実施形態に係る顔画像処理装置について図5を参照して説明する。図5は、本発明の第3実施形態に係る顔画像処理ECUで実行される処理手順を示すフローチャートである。第3実施形態の顔画像処理装置が第1実施形態の顔画像処理装置10と違う点は、顔画像処理ECUで実行される処理手順が異なる点であり、具体的には、ステップ9の後に、新たなステップ11,12を実行する点である。なお、第3実施形態に係る顔画像処理装置の装置構成は、第1実施形態の顔画像処理装置10と同一である。
ステップ1〜9の処理は、第1実施形態の顔画像処理ECUで実行される処理手順と同一であるため、新たに追加されたステップ11,12の処理について説明する。ステップ11では、顔画像処理ECUは、上まぶたに起因するエッジ画像候補、及び/又は、下まぶたに起因するエッジ画像候補(以下、「上下まぶた画像候補」という)となる水平エッジ画像が検出されているか否かを判定する。上下まぶた画像候補となる水平エッジ画像が検出されていない場合には、ステップ12に進み、上下まぶた画像候補となる水平エッジ画像が検出されている場合には、処理を終了する。
ステップ12では、顔画像処理ECUは、後段の目検出処理で、目(上下まぶた)を検出することができなかった状態である未検出状態として処理するように設定する。これにより、後段の目検出処理において未検出状態による不具合を回避することができる。
次に、本発明の第4実施形態に係る顔画像処理装置について図6を参照して説明する。図6は、本発明の第4実施形態に係る顔画像処理ECUで実行される処理手順を示すフローチャートである。第4実施形態の顔画像処理装置が第1実施形態の顔画像処理装置10と違う点は、顔画像処理ECUで実行される処理手順が異なる点であり、具体的には、ステップ9の後に、新たなステップ13,14を実行する点である。なお、第4実施形態に係る顔画像処理装置の装置構成は、第1実施形態の顔画像処理装置10と同一である。
ステップ1〜9の処理は、第1実施形態の顔画像処理ECU14で実行される処理手順と同一であるため、新たに追加されたステップ13,14の処理について説明する。ステップ13では、顔画像処理ECUは、映り込みエッジ画像が瞳孔と重なる位置で検出されたか否かを判定する。ここでは、例えば、運転者の顔画像に基づいて、運転者Dの瞳孔の位置を検出し、この瞳孔の位置と、水平エッジ画像とが重なる位置で検出されたか否かを判定する。映り込みエッジ画像が瞳孔と重なる位置で検出された場合には、ステップ14に進み、映り込みエッジ画像が瞳孔と重なる位置で検出されなかった場合には、処理を終了する。
ステップ14では、顔画像処理ECUは、後段で実行される瞳孔検出処理で、瞳孔を検出することができなかった状態である未検出状態として処理するように設定する。これにより、後段の瞳孔検出処理において、未検出状態に不具合を回避することができる。瞳孔の位置を映り込みエッジ画像の位置が重なった場合には、両者の検出精度が低下するおそれがあるため、両者が重なった位置に存在する場合には、未検出状態として処理を終了することで、検出精度の低下を回避することができる。
以上、本発明をその実施形態に基づき具体的に説明したが、本発明は、上記実施形態に限定されるもではない。例えば、顔特徴点を検出する技術、顔向き角度を検出する技術、目を検出する技術は、その他の技術を用いてもよい。要は、車両の移動状態に基づいて、映り込みエッジ画像の移動状態を推定し、推定された移動状態に基づいて、めがねレンズに映り込んだエッジ画像を検出可能であればよい。
また、上記実施形態では、「所定時間内に上下方向に移動するエッジ画像」を映り込みエッジ画像として検出しない構成としているが、「下方に移動するエッジ画像」を映り込みエッジ画像として検出しない構成としてもよい。また、上記実施形態において、ステップ7、8の処理を実行しなくてもよい。
また、上記実施形態では、顔画像処理装置10は、本発明の移動情報取得手段として、車速センサ18、ウィンカセンサ20、ステアリングセンサ22を備える構成としているが、その他のセンサ、コンピュータからの情報に基づいて、自車両の移動状態を取得する構成としてもよい。また、例えば、車速センサ18のみによって、移動情報を取得してもよい。
また、上記第3,4実施形態において、ステップ10を実行しても良く、ステップ11〜14を実行してもよい。
本発明の実施形態に係る顔画像処理装置を示す構成図である。 目周辺の画像の時間変化を示す概略図であり、めがねレンズに映り込んだ映り込みエッジ画像の位置変化を示すものである。 本発明の第1実施形態に係る顔画像処理ECUで実行される処理手順を示すフローチャートである。 本発明の第2実施形態に係る顔画像処理ECUで実行される処理手順を示すフローチャートである。 本発明の第3実施形態に係る顔画像処理ECUで実行される処理手順を示すフローチャートである。 本発明の第4実施形態に係る顔画像処理ECUで実行される処理手順を示すフローチャートである。
符号の説明
10…顔画像処理装置、12…顔画像撮像カメラ、14…顔画像処理ECU、16…コラムカバー、18…車速センサ、20…ウィンカセンサ、22…ステアリングセンサ、24…顔特徴点抽出部、26…顔向き角度検出部、28…エッジ移動方向推定部、30…映り込みエッジ検出部、32…目検出部、40…めがねレンズ。

Claims (6)

  1. 車両の運転者の顔画像を取得して、取得された前記顔画像に基づいて画像処理を行い前記運転者の目を検出する画像処理手段を備えた画像処理装置において、
    前記車両の移動に関する情報を取得する移動情報取得手段と、
    前記移動情報取得手段によって取得された前記車両の移動に関する情報に基づいて、前記運転者に装着されためがねレンズに写り込むエッジ画像の移動状態を推定する推定手段と、
    前記推定手段によって推定されたエッジ画像の移動状態に基づいて、前記めがねレンズに映り込んだエッジ画像である映り込みエッジ画像を検出する映り込み検出手段と、
    を備えることを特徴とする顔画像処理装置。
  2. 前記画像処理手段は、前記映り込み検出手段によって検出された前記映り込みエッジ画像を目候補から除外することを特徴とする請求項1記載の顔画像処理装置。
  3. 前記エッジ画像の移動状態は、前記エッジ画像の移動方向を含むことを特徴とする請求項1または2記載の顔画像処理装置。
  4. 前記エッジ画像の移動状態は、前記エッジ画像の単位時間あたりの移動量を含むことを特徴とする請求項3記載の顔画像処理装置。
  5. 前記映り込み検出手段は、下方に移動するエッジ画像を前記映り込みエッジ画像として検出しないことを特徴とする請求項1〜4の何れか一項に記載の顔画像処理装置。
  6. 前記映り込み検出手段は、所定時間内に上下方向に移動するエッジ画像を前記映り込みエッジ画像として検出しないことを特徴とする請求項1〜5の何れか一項に記載の顔画像処理装置。
JP2008008107A 2008-01-17 2008-01-17 顔画像処理装置 Expired - Fee Related JP4883013B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008008107A JP4883013B2 (ja) 2008-01-17 2008-01-17 顔画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008008107A JP4883013B2 (ja) 2008-01-17 2008-01-17 顔画像処理装置

Publications (2)

Publication Number Publication Date
JP2009169740A true JP2009169740A (ja) 2009-07-30
JP4883013B2 JP4883013B2 (ja) 2012-02-22

Family

ID=40970822

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008008107A Expired - Fee Related JP4883013B2 (ja) 2008-01-17 2008-01-17 顔画像処理装置

Country Status (1)

Country Link
JP (1) JP4883013B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8659751B2 (en) 2010-06-17 2014-02-25 Panasonic Corporation External light glare assessment device, line of sight detection device and external light glare assessment method
JP2014102775A (ja) * 2012-11-22 2014-06-05 Fujitsu Ltd 画像処理装置、画像処理方法および画像処理プログラム
WO2019159229A1 (ja) * 2018-02-13 2019-08-22 三菱電機株式会社 誤検出判定装置及び誤検出判定方法
JP7532206B2 (ja) 2020-10-27 2024-08-13 キヤノン株式会社 画像認識方法、画像認識装置、検査方法、検査装置、プログラム、記録媒体

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296712A (ja) * 2002-04-02 2003-10-17 Nissan Motor Co Ltd 顔状態検出装置及び方法
JP2004070514A (ja) * 2002-08-02 2004-03-04 Nissan Motor Co Ltd 顔状態検出装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296712A (ja) * 2002-04-02 2003-10-17 Nissan Motor Co Ltd 顔状態検出装置及び方法
JP2004070514A (ja) * 2002-08-02 2004-03-04 Nissan Motor Co Ltd 顔状態検出装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8659751B2 (en) 2010-06-17 2014-02-25 Panasonic Corporation External light glare assessment device, line of sight detection device and external light glare assessment method
JP2014102775A (ja) * 2012-11-22 2014-06-05 Fujitsu Ltd 画像処理装置、画像処理方法および画像処理プログラム
WO2019159229A1 (ja) * 2018-02-13 2019-08-22 三菱電機株式会社 誤検出判定装置及び誤検出判定方法
JPWO2019159229A1 (ja) * 2018-02-13 2020-04-09 三菱電機株式会社 誤検出判定装置及び誤検出判定方法
JP7532206B2 (ja) 2020-10-27 2024-08-13 キヤノン株式会社 画像認識方法、画像認識装置、検査方法、検査装置、プログラム、記録媒体

Also Published As

Publication number Publication date
JP4883013B2 (ja) 2012-02-22

Similar Documents

Publication Publication Date Title
US10796171B2 (en) Object recognition apparatus, object recognition method, and object recognition program
EP2975997B1 (en) System and method for on-axis eye gaze tracking
JP5790762B2 (ja) 瞼検出装置
US11524578B2 (en) Control method and control device for vehicle display device
JP6322986B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN105286802B (zh) 基于视频信息的驾驶员疲劳检测方法
US9298995B2 (en) Red-eye determination device
JP4770218B2 (ja) 視認行動判定装置
US8983147B2 (en) Eyelid detection device
JP2008210239A (ja) 視線推定装置
JP2009254525A (ja) 瞳孔検知方法及び装置
JP4992823B2 (ja) 顔検出装置及び顔検出方法
JP4883013B2 (ja) 顔画像処理装置
JP2017079883A (ja) 視線検出システム、視線検出方法、および視線検出プログラム
JP2010244156A (ja) 画像特徴量検出装置及びこれを用いた視線方向検出装置
KR20200092739A (ko) 운전자 상태 모니터링 방법 및 장치
Bergasa et al. Visual monitoring of driver inattention
JP2017165345A (ja) 物体認識装置、物体認識方法、及び物体認識プログラム
JP4696571B2 (ja) 眼位置検出装置
JP5035139B2 (ja) 眼画像処理装置
JP3980341B2 (ja) 目の位置のトラッキング方法、目の位置のトラッキング装置およびそのためのプログラム
JP6698966B2 (ja) 誤検出判定装置及び誤検出判定方法
JP2010205076A (ja) 眼検出装置、及び当該装置において用いられる方法
JP3936575B2 (ja) 目の位置の抽出方法、装置およびそのためのプログラム
JP2013105179A (ja) 車線境界線認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100318

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111013

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111108

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111121

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4883013

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees