JP2009015656A

JP2009015656A - 顔画像処理装置

Info

Publication number: JP2009015656A
Application number: JP2007177622A
Authority: JP
Inventors: Tomonori Akiyama; 知範秋山; Takeshi Sasuga; 岳史流石; Futoshi Tsuda; 太司津田; Takehiko Tanaka; 勇彦田中; Akira Kadoya; 明角屋; Fumio Sugaya; 文男菅谷
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2007-07-05
Filing date: 2007-07-05
Publication date: 2009-01-22

Abstract

【課題】誤判定を低減して、人物の顔を精度良く認識することが可能な顔画像処理装置を提供すること。
【解決手段】取得された映像信号に基づいて、画像処理を行い、両方の目を結んだ顔パーツ線Ａ、両方の鼻孔を結んだ顔パーツ線Ｂ、及び口の左右方向の両端部を結んだ顔パーツ線Ｃのうちの少なくとも２本の顔パーツ線が平行であることを条件の一つとし、更に、顔パーツ線の傾き角度θ_ｙと、顔の傾き角度θ_ｘとが一致することを条件として、運転者Ｄの顔を認識する。このように、顔の構造上の特徴を用いて、顔を認識する際の条件を絞り、更に顔のパーツ線の傾き角度と顔の傾き角度とが一致することを用いて条件を絞ることで、演算負荷を増大することなく、誤判定（眉毛、口ひげ等を選択すること）を低減することができる。その結果、人物の顔を精度良く認識することができる。
【選択図】図４

Description

本発明は、撮像された画像データに基づいて人物の顔を認識する顔画像処理装置に関する。

従来、顔を撮像する撮像手段を備え、撮像された顔画像を用いて人物の顔部品を認識する技術が知られている（例えば、特許文献１参照）。特許文献１に記載の技術では、一対の顔部品を抽出し、抽出された顔部品の位置に基づいて、顔の向きを検出している。
特開平１０−３０７９２３号公報

従来技術では、抽出された顔部品候補から顔部品を選択する際に、目、鼻、口の相対関係に基づいて、予め設定された３次元顔モデルにもっとも近いものを、正解として顔部品として選択していた。図７は、顔画像撮像カメラによって撮影された顔画像の一例を示すものであり、従来の顔部品の抽出方法を説明するための図である。しかしながら、従来技術では、鼻孔中心Ｐ１の位置に基づいて、鼻を抽出した場合、目候補として眉毛を選択したり、口候補として口ひげを選択したりすることがあった。

図７に示すように、右側の眉毛の両端Ｐ２，Ｐ３を抽出して、右目候補として、誤検出すると共に、口ひげの右端部Ｐ６と口の左端部Ｐ７とを結ぶ線を口として、誤検出することがあった。例えば、点Ｐ１を鼻孔中心、点Ｐ２，Ｐ３間を結ぶ線を右目、Ｐ４，Ｐ５を結ぶ線を左目、点Ｐ６，Ｐ７を結ぶ線を口として検出した場合には、実際に、顔が正面を向いている場合であっても、顔が右に傾いていると誤って認識される場合があった。また、「鼻孔中心の位置」に代えて、「一対の鼻孔の位置」に基づいて、鼻を抽出することで、顔部品の誤判定を防止することが考えられるが、この場合には、演算負荷の増大が問題となってしまう。

本発明は、このような課題を解決するために成されたものであり、誤判定を低減して、人物の顔を精度良く認識することが可能な顔画像処理装置を提供することを目的とする。

本発明による顔画像処理装置は、撮像された画像データに基づいて人物の顔を認識する顔画像処理装置において、顔の左右方向の傾き角度を検出する検出手段を備え、両方の目を結んだ線である第１の顔パーツ線、両方の鼻孔を結んだ線である第２の顔パーツ線及び口の横方向の両端部を結んだ第３の顔パーツ線のうちの少なくとも２本の顔パーツ線が平行であることを条件の一つとし、更に、平行である少なくとも２本の顔パーツ線の傾き角度と、検出手段によって検出された顔の左右方向の傾き角度とが一致することを条件として、顔を認識することを特徴とする

このような顔画像処理装置によれば、両方の目を結んだ顔パーツ線、両方の鼻孔を結んだ顔パーツ線、及び口の左右方向の両端部を結んだ顔パーツ線のうちの少なくとも２本の顔パーツ線が平行であることを条件の一つとし、更に、顔パーツ線の傾き角度と、顔の傾き角度とが一致することを条件として、顔を認識する。このように、両方の目を結んだ線、両方の鼻孔を結んだ線、口の端部を結んだ線が平行であるという、顔の構造上の特徴を用いて、顔を認識する際の条件を絞り、更に顔パーツ線の傾き角度と顔の傾き角度とが一致することを用いて条件を絞ることで、演算負荷を増大することなく、誤判定（眉毛、口ひげ等を選択すること）を低減することができる。従って、人物の顔を精度良く認識することができる。なお、「顔パーツ線が平行である」とは、顔パーツ線が略平行であるものも含んでいる。また、「顔パーツ線の傾き角度と顔の傾き角度が一致する」とは、略一致するものも含んでいる。

また、第１の顔パーツ線と、第２の顔パーツ線と、第３の顔パーツ線とが平行であることを条件として、顔を認識することが好ましい。これにより、誤判定をより一層低減することができる。

本発明の顔画像処理装置によれば、演算負荷の増大を抑えつつ誤判定を低減し、精度良く顔を認識することができる。

以下、本発明の好適な実施形態について図面を参照しながら説明する。なお、図面の説明において、同一または相当要素には同一の符号を付し、重複する説明は省略する。

本実施形態では、本発明の顔画像処理装置である顔画像処理電子制御ユニット（以下、「顔画像処理ＥＣＵ（Electric Control Unit）３という。」の顔向き角度検出装置への適用について説明する。図１は、本実施形態に係る顔画像処理ＥＣＵ３を備えた顔向き角度検出装置の概略構成図である。図２及び図４は、顔画像撮像カメラによって撮像された顔画像の一例を示す図である。

図１に示す顔向き角度検出装置１００は、例えば、運転者Ｄの脇見等を検出するものであり、運転者Ｄの顔画像を撮像する顔画像撮像カメラ２、顔画像カメラ２からの映像信号に基づいて画像処理を行う顔画像処理ＥＣＵ３を備えている。顔画像撮像カメラ２は、例えば、コラムカバー９の上面に設置され、運転者Ｄの顔画像を取得するものである。

画像処理ＥＣＵ３は、演算処理を行うＣＰＵ（Central Processing Unit）、記憶部となるＲＯＭ（Read Only Memory）及びＲＡＭ（Random AccessMemory）、入力信号回路、出力信号回路、電源回路などにより構成され、入力された映像信号に基づいて、画像処理を行い運転者Ｄの顔画像を認識し、運転者Ｄの顔向き角度を検出することができる。

ここで、顔画像処理ＥＣＵ３のＣＰＵでは、記憶部に記憶されているプログラムを実行することで、エッジ抽出部、顔傾き角度算出部、目位置抽出部、鼻位置抽出部、口位置抽出部、顔パーツ線算出部、顔パーツ線平行判定部、顔パーツ線傾き角算出部、傾き角度判定部、適合値算出部、顔向き角度判定部が構成される。また、記憶部には、予め複数の３次元顔モデルが記憶されている。

エッジ抽出部は、図２に示すように、入力された映像信号からエッジ検出処理によって顔の輪郭線Ｆを抽出する。エッジ抽出部は、輪郭部分の濃淡が急激に変化しているという特徴を用いてエッジ検出処理を行い、その検出処理によって求めた結果から、エッジ画素のみを線として輪郭線Ｆを抽出する。

顔傾き角度算出部は、図３に示すように、エッジ抽出部によって抽出された輪郭線Ｆに基づいて、顔の左右方向の傾き角度θ_ｙを算出する。ここでは、例えば垂直に延在するＹ軸を設定する。顔傾き角度算出部は、輪郭線Ｆに基づいて、顔の上下方向に延在する中心軸Ｌ１を算出し、この中心軸Ｌ１とＹ軸との角度を、顔の左右方向の傾き角度θ_ｙとして算出する。なお、顔の左右方向の傾き角度を算出するための基準となる基準線は、垂直に延在するＹ軸に限定されず、任意に設定することができ、例えば、運転者Ｄの通常時の顔の位置を基準として、そのときの顔の上下方向に延在する線を基準線としてもよい。

なお、図３において、仮想線で示す輪郭線Ｆ_ｙは、顔の上下方向に延在する中心軸が、Ｙ軸方向に沿って配置された場合の輪郭線である。顔傾き角度算出部は、輪郭線Ｆ_ｙを基準として、この輪郭線Ｆ_ｙとエッジ抽出部によって抽出された輪郭線Ｆを比較して、顔の左右方向の傾き角度θ_ｙを算出してもよい。

目位置抽出部は、入力された映像信号から目位置候補点として、図４に示すように、右目の両端部Ｐ１１，Ｐ１２、左目の両端部Ｐ１３，Ｐ１４を抽出する。鼻位置抽出部は、入力された映像信号から鼻位置候補点として、両方の鼻孔Ｐ１５，Ｐ１６を抽出すると共に、両方の鼻孔位置を登録する。口位置抽出部は、入力された映像信号から口位置候補点として、口の左右方向の両端部Ｐ１７，Ｐ１８を抽出する。

顔パーツ線算出部は、両方の目を結んだ線である顔パーツ線Ａ（第１の顔パーツ線）と、両方の鼻孔を結んだ線である顔パーツ線Ｂ（第２の顔パーツ線）と、口の左右方向の両端を結んだ線である顔パーツ線Ｃ（第３の顔パーツ線）とを算出する。顔パーツ線Ａは、目位置抽出部により抽出されたＰ１１〜Ｐ１４に基づく近似式により設定されたものである。顔パーツ線Ｂは、鼻位置抽出部により抽出された鼻位置候補点Ｐ１５，Ｐ１６を結ぶものである。顔パーツ線Ｃは、口位置抽出部により抽出された口位置候補点Ｐ１７，Ｐ１８を結ぶものである。

顔パーツ線平行判定部は、顔パーツ線Ａ〜Ｃが平行であるか否かを判定する。顔パーツ線平行判定部は、顔パーツ線Ａ〜Ｃのそれぞれの顔パーツ線の傾きが完全に等しい場合のみを平行とするのではなく、所定の誤差範囲内であれば平行であると判定する。

顔パーツ線傾き角度算出部は、顔パーツ線Ａ〜Ｃが平行である場合に、図４及び図５に示すように、顔パーツ線Ａ〜Ｃの傾き角度θ_ｘを算出する。ここでは、例えば水平に延在する（Ｙ軸と直交する）Ｘ軸を設定する。顔パーツ線傾き角度算出部は、設定されたＸ軸を基準として、顔パーツ線傾き角度θ_ｘを算出する。

傾き角度判定部は、顔の傾き角度θ_ｙと顔パーツ線の傾き角度θ_ｘとが一致しているか否かを判定する。傾き角度判定部は、顔傾き角度θ_ｙ＝顔パーツ線の傾き角度θ_ｘである場合のみを一致とするのではなく、所定の誤差範囲内であれば一致していると判定する。

適合値算出部は、顔の左右方向の傾き角度θ_ｙと顔のパーツ線Ａ〜Ｃの傾き角度θ_ｘとが一致する場合に、記憶部に記憶された顔の３次元モデルを参照し、目位置候補点Ｐ１１〜Ｐ１４、鼻位置候補点Ｐ１５，Ｐ１６、口位置候補点Ｐ１７，Ｐ１８の相対位置が顔の構成として問題ないか判定するための適合値を算出する。そして、適合値が所定の閾値以上の場合には、抽出された目位置候補点Ｐ１１〜Ｐ１４、鼻位置候補点Ｐ１５，Ｐ１６、口位置候補点Ｐ１７，Ｐ１８を顔部品の正解として、運転者Ｄの顔を認識する。目位置候補点、鼻位置候補点、口位置候補点の組み合わせが複数ある場合には、３次元モデルともっとも適合値の高い組合せを正解として、顔部品（目、鼻、口）の組合せを選択する。

顔向き角度判定部は、選択された顔部品の組合せに基づいて、運転者Ｄの顔向き角度を算出する。

次に、顔画像処理ＥＣＵ３で実行される制御処理について図６のフローチャートに沿って説明する。図６は、顔画像処理ＥＣＵ３で実行される制御処理の動作手順を示すフローチャートでありステップをＳと略記している。

まず、顔画像処理ＥＣＵ３は、運転者Ｄの顔画像を撮像した顔画像撮像カメラから映像信号を入力する（Ｓ１）。次に、顔画像処理ＥＣＵ３は、入力された映像信号に基づいて画像処理を行い、エッジ抽出部は顔の輪郭線Ｆ（エッジ）を抽出する（Ｓ２）。続いて、抽出された輪郭線Ｆから、顔傾き角度算出部は顔の左右方向の傾き角度θ_ｙを算出する（Ｓ３）。

次に、入力された映像信号に基づいて画像処理を行い、目位置候補点Ｐ１１〜Ｐ１４を抽出し（Ｓ４）、鼻位置候補点Ｐ１５，Ｐ１６を抽出し（Ｓ５）、口位置候補点Ｐ１７，Ｐ１８を抽出する（Ｓ６）。

次に、顔画像処理ＥＣＵ３は、目位置候補点Ｐ１１〜Ｐ１４を結ぶ顔パーツ線Ａ、鼻位置候補点Ｐ１５，Ｐ１６を結ぶ顔パーツ線Ｂ、口位置候補点Ｐ１７，Ｐ１８を結ぶ顔パーツ線Ｃを算出する（Ｓ７）。続いて、ステップＳ７で算出された顔パーツ線Ａ〜Ｃが平行であるか否かを判定する（Ｓ８）。平行であると判定された場合には（Ｓ８；ＹＥＳ）、ステップＳ９に進む。平行であると判定されなかった場合には（Ｓ８；ＮＯ）、ステップＳ４に戻り、ステップＳ４〜ステップＳ８の処理を繰り返す。

次に、ステップＳ９では、ステップＳ７で平行であると判定された顔パーツ線Ａ〜Ｃの傾き角度θ_ｘを算出する。続いて、ステップＳ３で算出された顔の左右方向の傾き角度θ_ｙと、ステップＳ９で算出された顔のパーツ線の傾き角度θ_ｘとが一致しているか否かを判定する（Ｓ１０）。一致していると判定された場合には（Ｓ１０；ＹＥＳ）、ステップＳ１１に進む。一致していないと判定された場合には（Ｓ１０；ＮＯ）、ステップＳ４に戻り、ステップＳ４〜ステップＳ１０の処理を繰り返す。

続くステップＳ１１では、顔の３次元モデルを参照し、抽出された目位置候補点と、鼻位置候補点と、口位置候補点との適合値を算出する。そして、適合値が閾値以上であれば顔部品候補（目位置候補点、鼻位置候補点、口位置候補点）が正解の顔部品（目、鼻、口）として選択される（Ｓ１２）。そして、選択された顔部品の位置に基づいて、運転者Ｄの顔向き角度を算出する。適合値が閾値以下である場合は、ステップＳ４に戻り、ステップＳ４〜ステップＳ１２の処理を繰り返す。

以上のように、顔向き角度検出装置１００は、両方の目を結んだ顔パーツ線Ａ、両方の鼻孔を結んだ顔パーツ線Ｂ、及び口の左右方向の両端部を結んだ顔パーツ線Ｃが平行であることを条件の一つとし、更に、顔パーツ線の傾き角度θ_ｘと、顔の傾き角度θ_ｙとが一致することを条件として、運転者Ｄの顔を認識している。このように、顔パーツ線Ａ〜Ｃが平行であるという、顔の構造上の特徴を用いて、顔を認識する際の条件を絞り、更に顔のパーツ線の傾き角度θ_ｘと顔の傾き角度θ_ｙとが一致することを用いて条件を絞ることで、演算負荷を増大することなく、誤判定（眉毛、口ひげ等を選択すること）を低減することができる。その結果、人物の顔を精度良く認識することができ、運転者Ｄの脇見を精度良く検出することができる。また、このような顔向き角度検出装置１００は、運転者Ｄの居眠りを検出する覚醒度判定装置に適用してもよい。

以上、本発明をその実施形態に基づき具体的に説明したが、本発明は、上記実施形態に限定されるものではない。上記実施形態では、３本の顔パーツ線Ａ〜Ｃが平行であることを、顔を認識する際の条件の一つとしているが、顔パーツ線Ａ〜Ｃのうち少なくとも２本のみを算出して、この２本の顔パーツ線の平行関係に基づいて、顔を認識するようにしてもよい。また、上述したように、平行とは、略平行であるもの含むものであり、顔パーツ線の平行関係に基づいて、顔部品を選択する際の条件を絞ればよい。

また、上記実施形態では、顔の輪郭線Ｆに基づいて、顔の傾き角度θ_ｙを算出しているが、輪郭線Ｆを算出せずに、その他の顔の特徴点を用いて、顔の左右方向の傾き角度θ_ｙを算出してもよい。要は、顔の左右方向の傾き角度と、顔パーツ線の傾き角度とに基づいて、顔部品を選択する際の条件を絞ればよい。

また、上記実施形態では、顔パーツ線の傾き角度θ_ｘと、顔の左右方向の傾き角度θ_ｙとが一致していることを、顔を認識する際の条件の一つとしているが、図５に示すように、平行関係にある顔パーツ線Ａ〜Ｃと、顔の中心軸Ｌ１との角度θ_Ｏに基づいて、顔部品を選択する際の条件を絞ってもよい。この場合、角度θ_Ｏが直角（略直角を含む）になることを条件にする。

本発明の実施形態に係る顔画像処理ＥＣＵを備えた顔向き角度検出装置の概略構成図である。顔画像撮像カメラによって撮像された顔画像の一例を示すものであり、顔の左右方向の傾き角度を示す図である。輪郭線Ｆ、及び顔の左右方向の傾き角度θ_yを示す概略図である。顔画像撮像カメラによって撮像された顔画像の一例を示すものであり、顔パーツ線Ａ〜Ｃを示す図である。顔パーツ線Ａ〜Ｃ、及び顔パーツ線の傾き角度θ_xを示す図である。顔画像処理ＥＣＵで実行される制御処理の動作手順を示すフローチャートである。顔画像カメラにとって投影された顔画像の一例を示すものであり、従来の顔部品の抽出方法を説明するための図である。

符号の説明

２…顔画像撮像カメラ、３…顔画像処理ＥＣＵ、９…コラムカバー、１００…顔向き角度検出装置、Ｄ…運転者、Ｐ１１〜Ｐ１４…目位置候補点、Ｐ１５，Ｐ１６…鼻位置候補点、Ｐ１７、Ｐ１８…鼻位置候補点、Ｆ…輪郭線、Ｌ１…中心軸、Ｙ…Ｙ軸、Ａ…顔パーツ線Ａ（第１の顔パーツ線）、Ｂ…顔パーツ線Ｂ（第２の顔パーツ線）、Ｃ…顔パーツ線Ｃ（第３の顔パーツ線）、Ｘ…Ｘ軸、θ_ｙ…顔の左右方向の傾き角度、θ_ｘ…顔パーツ線の傾き角度。

Claims

撮像された画像データに基づいて人物の顔を認識する顔画像処理装置において、
前記顔の左右方向の傾き角度を検出する検出手段を備え、
両方の目を結んだ線である第１の顔パーツ線、両方の鼻孔を結んだ線である第２の顔パーツ線、及び口の左右方向の両端部を結んだ第３の顔パーツ線のうちの少なくとも２本の顔パーツ線が平行であることを条件の一つとし、
更に、前記平行である少なくとも２本の顔パーツ線の傾き角度と、前記検出手段によって検出された前記顔の左右方向の傾き角度とが一致することを条件として、前記顔を認識することを特徴とする顔画像処理装置。
前記第１の顔パーツ線と、前記第２の顔パーツ線と、前記第３の顔パーツ線とが平行であることを条件として、前記顔を認識することを特徴とする請求項１記載の顔画像処理装置。