JP2011164711A - 顔向き検知装置 - Google Patents

Abstract

【課題】ひとの顔の左右の顔端位置を精度良く検出し、顔向き方向の検知精度を向上させる。
【解決手段】顔向き検知装置１０は、乗員カメラ１２から出力された顔画像に基づき運転者の顔中心位置を検出する顔中心位置検出部２２と、顔画像において運転者の顔を横断する複数の探索線を設定する探索線設定部２３と、探索線設定部２３により設定された複数の探索線に基づき複数の顔端位置を検出する顔端位置検出部２４と、顔端位置検出部２４により検出された複数の顔端位置毎に、顔中心位置検出部２２により検出された顔中心位置に基づき、顔向き方向を検知し、複数の顔向き方向の中央値を運転者の顔向き方向として検知する顔中心位置検出部２２とを備える。
【選択図】図１

Description

本発明は、顔向き検知装置に関する。

従来、例えばひとの顔の顔画像において縦エッジ検出を行なって顔の左右の仮の輪郭位置を検出し、仮の輪郭位置周辺の画素に基づき輪郭位置の複数の候補位置を決定し、複数の候補位置に対する統計処理によって左右端の輪郭位置を抽出する装置が知られている（例えば、特許文献１参照）。

特開２００７−１３９５３５号公報

ところで、上記従来技術に係る装置によれば、顔の左右端を検出する際に、先ず、顔画像に対して縦エッジ検出を行なっている。しかしながら、例えばひとの着衣や手などによって顔の一部が覆われている場合には、顔上に縦エッジが検出されることになり、顔の左右端に対応する縦エッジとは異なる縦エッジが誤検出されてしまうことで、左右端の輪郭位置を精度良く抽出することができないという問題が生じる。

本発明は上記事情に鑑みてなされたもので、ひとの顔の左右の顔端位置を精度良く検出し、顔向き方向の検知精度を向上させることが可能な顔向き検知装置を提供することを目的とする。

上記課題を解決して係る目的を達成するために、本発明の第１態様に係る顔向き検知装置は、ひとの顔を撮像して顔画像を出力する撮像手段（例えば、実施の形態での乗員カメラ１２）と、該撮像手段から出力された前記顔画像に基づき前記ひとの顔中心位置及び顔端位置を検出して検出結果を出力する位置検出手段（例えば、実施の形態での顔中心位置検出部２２、顔端位置検出部２４）と、該位置検出手段から出力された前記検出結果に基づき、前記ひとの顔向き方向を検知する顔向き検知手段（例えば、実施の形態での顔向き検知部２５）とを備える顔向き検知装置であって、前記撮像手段から出力された前記顔画像において該顔画像に含まれる前記ひとの顔を横断する複数の探索線を設定する探索線設定手段（例えば、実施の形態での探索線設定部２３）を備え、前記位置検出手段は、前記探索線設定手段により設定された前記複数の探索線に基づき複数の前記顔端位置を検出して検出結果を出力し、前記顔向き検知手段は、前記位置検出手段から出力された複数の前記検出結果に基づき複数の前記顔向き方向を検知し、該複数の前記顔向き方向の中央値を前記ひとの前記顔向き方向として検知する。

さらに、本発明の第２態様に係る顔向き検知装置では、前記位置検出手段は、前記探索線設定手段により設定された前記複数の探索線のうち、該探索線の長さが所定範囲内であって、かつ、前記探索線の左端が前記顔中心位置よりも左側に存在し、かつ、前記探索線の右端が前記顔中心位置よりも右側に存在する前記複数の前記探索線に基づき、前記複数の前記顔端位置を検出する。

本発明の第１態様に係る顔向き検知装置によれば、ひとの顔を横断する複数の探索線毎に検出される顔端位置に基づいて検知される複数の顔向き方向の中央値を、最終的にひとの顔向き方向とすることから、例えば顔の特定箇所や顔の左右の最端位置のみから顔向き方向を検知する場合に比べて、検知精度および検知結果の信頼性を向上させることができる。

さらに、本発明の第２態様に係る顔向き検知装置によれば、複数の探索線のうちから、長さが所定範囲内かつ左端が顔中心位置よりも左側かつ右端が顔中心位置よりも右側である探索線以外の探索線を除外することにより、複数の探索線毎に検出される顔端位置の検出精度を向上させることができる。

本発明の実施の形態に係る顔向き検知装置の構成図である。 本発明の実施の形態に係る顔画像における複数の探索線を示す図である。 本発明の実施の形態に係る運転席に着座した運転者の正面方向に対する顔向き方向のなす角度θの一例を示す図である。 本発明の実施の形態に係る顔向き検知装置の動作を示すフローチャートである。 本発明の実施の形態に係る各探索線の顔端位置検出の処理を示すフローチャートである。 本発明の実施の形態に係る探索線上の輝度マップ作成の処理を示すフローチャートである。 本発明の実施の形態に係る顔左右端検出の処理を示すフローチャートである。 本発明の実施の形態に係る顔左右端検出の処理を示すフローチャートである。

以下、本発明の顔向き検知装置の一実施形態について添付図面を参照しながら説明する。
本実施の形態による顔向き検知装置１０は、例えば図１に示すように、撮像制御装置１１と、乗員カメラ１２と、光源制御装置１３と、撮像用光源１４と、処理装置１５とを備えて構成され、さらに、処理装置１５は、両眼検出部２１と、顔中心位置検出部２２と、探索線設定部２３と、顔端位置検出部２４と、顔向き検知部２５とを備えて構成されている。

撮像制御装置１１により制御される乗員カメラ１２は、例えば車室内のインスツルメントパネルに配置され、少なくとも車両の運転席に着座した運転者の顔を撮像対象として撮像領域内に含み、例えば可視光領域または赤外線領域にて撮像可能であって、運転者の顔を含む顔画像を出力する。
光源制御装置１３により制御される撮像用光源１４は、例えば車室内のインスツルメントパネルにおいて乗員カメラ１２から左右にずれた位置に配置され、少なくとも車両の運転席に着座した運転者に向かい、例えば可視光線または赤外線などの光を照射可能である。

処理装置１５の両眼検出部２１は、例えば乗員カメラ１２から出力された顔画像に対して、例えば運転者の眼球を検知対象物とした特徴量算出および形状判別等の認識処理を行ない、左右の眼の位置（例えば、虹彩の中心位置や、角膜表面における赤外線の反射像であるプルキニエ像の中心位置や、眼球中心位置など）を検出する。

顔中心位置検出部２２は、例えば図２（Ａ）に示すように、両眼検出部２１により検出された運転者の左右の眼の位置ＥＬ，ＥＲの中心を算出し、この算出結果を運転者の顔中心位置ＦＣとして出力する。

探索線設定部２３は、例えば図２（Ｂ）に示すように、乗員カメラ１２から出力された顔画像ＦＰにおいて、運転者の顔を横断する複数の探索線ＳＬを設定する。なお、各探索線ＳＬは、例えば、顔画像ＦＰの縦方向の各画素毎に１画素分の縦幅を有して左右方向に伸びる線とされている。なお、各探索線の縦幅は１画素分に限定されず、他の縦幅であってもよい。
また、探索線設定部２３は、例えば顔中心位置検出部２２により検出された顔中心位置ＦＣを含む所定範囲ＣＡ内などの所定の縦方向位置（例えば、眼などが存在することに起因して左右方向での輝度の変動が所定変動以上となる可能性が高い位置など）以外において探索線ＳＬを設定する。

顔端位置検出部２４は、所定条件を満たさない探索線（例えば、図２（Ｃ）に示す探索線ＳＬ１，ＳＬ２など）は除外しつつ、複数の各探索線毎に顔の左右端（左右の顔端位置）ＦＬ，ＦＲを検出する。なお、所定条件は、顔左端が顔中心位置検出部２２により検出された顔中心位置ＦＣよりも左側に存在し、顔右端が顔中心位置検出部２２により検出された顔中心位置ＦＣよりも右側に存在し、顔左端と顔右端との間の距離が所定範囲内であることなどである。

顔向き検知部２５は、複数の各探索線毎に、顔中心位置検出部２２により検出された顔中心位置ＦＣと、顔端位置検出部２４により検出された左右の顔端位置ＦＬ，ＦＲとに基づき、例えばひとの顔をシリンダー形状に近似して顔向きを算出するシリンダー法などによって、運転者の顔向き方向を検知する。

顔向き検知部２５は、例えば図３に示すように、左右の顔端位置ＦＬ，ＦＲ間の中央位置ＣＯと顔中心位置ＦＣとの間の左右方向での距離を顔中心のずれｒとし、左右の顔端位置ＦＬ，ＦＲ間の距離を顔の幅２Ｒとし、中央位置ＣＯから乗員カメラ１２に向かう方向が運転席に着座した運転者の正面方向に対してなす角度αと、顔中心のずれｒと顔の幅２Ｒとに基づき、運転席に着座した運転者の正面方向に対する顔向き方向のなす角度θを算出する。例えば角度β＝９０−αとして、正弦定理による下記数式（１）を変形して下記数式（２）が得られ、この下記数式（２）から角度θが下記数式（３）に示すように記述される。

そして、顔向き検知部２５は、最終的に、複数の顔向き方向に基づき、これらの顔向き方向の中央値を、運転者の顔向き方向として検知する。

この実施の形態による顔向き検知装置１０は上記構成を備えており、次に、この顔向き検知装置１０の動作について説明する。

先ず、例えば図４に示すステップＳ０１においては、乗員カメラ１２から出力された顔画像に基づき、顔中心位置を取得する。
次に、ステップＳ０２においては、顔中心位置を含む周辺の所定範囲内での輝度の中央値を検出する。
次に、ステップＳ０３においては、乗員カメラ１２から出力された顔画像において、運転者の顔を横断する複数の探索線を設定するための縦方向位置を設定する。

次に、ステップＳ０４においては、後述する各探索線の顔端位置検出の処理を実行する。
次に、ステップＳ０５においては、各探索線の顔端位置毎に顔向き方向を検知する。
次に、ステップＳ０６においては、複数の顔向き方向に基づき、これらの顔向き方向の中央値を、運転者の顔向き方向として検出し、エンドに進む。

以下に、上述したステップＳ０４での各探索線の顔端位置検出の処理について説明する。
例えば図５に示すステップＳ１１においては、全ての探索線に対して以下のステップＳ１２〜ステップＳ１５の処理が終了したか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、リターンに進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ１２に進む。
そして、ステップＳ１２においては、後述する探索線上の輝度マップ作成の処理を実行する。
次に、ステップＳ１３においては、顔左右端検出の処理を実行する。

次に、ステップＳ１４においては、顔左右端（左右の顔端位置）が検出されたか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、後述するステップＳ１８に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ１５に進む。
そして、ステップＳ１５においては、この時点での輝度閾値を変更する。
そして、ステップＳ１６においては、後述する探索線上の輝度マップ作成の処理を実行する。
次に、ステップＳ１７においては、顔左右端検出の処理を実行する。
そして、ステップＳ１８においては、次の探索線に移動して、上述したステップＳ１１に戻る。

以下に、上述したステップＳ１２での探索線上の輝度マップ作成の処理について説明する。
先ず、例えば図６に示すステップＳ２１においては、画像処理範囲を探索線に設定する。
次に、ステップＳ２２においては、例えばメディアンフィルタなどによりノイズ除去の処理を行なう。

次に、ステップＳ２３においては、例えば上述したステップＳ０２にて算出した輝度の中央値などに基づき、輝度に対して各種処理（例えば、顔左右端検出の処理）の実行可否を示す輝度閾値、つまり運転者の顔であると判定する輝度範囲を示す輝度閾値を設定する。

次に、ステップＳ２４においては、探索線上の輝度に対して、輝度閾値に応じた輝度範囲内の輝度を所定値（例えば、２５５）とし、輝度範囲外の輝度をゼロとする、いわば２値化の処理などにより、輝度を変換する。
次に、ステップＳ２５においては、例えばモルフォロジーフィルタなどにより、探索線上の変換後の輝度の平滑化を行ない、リターンに進む。

以下に、上述したステップＳ１３での顔左右端検出の処理について説明する。
先ず、例えば図７に示すステップＳ３１においては、探索線上の左右の横方向の座標Ｘの値をゼロとして初期化を行なう。
次に、ステップＳ３２においては、座標Ｘの値が所定の画像幅の値（つまり、顔画像の横幅の値）よりも小さいか否か、つまり座標Ｘの値が顔画像の右端（画像右端）の座標の値よりも小さいか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ４１に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ３３に進む。

次に、ステップＳ３３においては、顔左端を検出済みであるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、後述するステップＳ３７に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ３４に進む。
次に、ステップＳ３４においては、座標Ｘの輝度が所定値（つまり、上述したステップＳ２５にて設定される所定値であって、例えば、２５５）、かつ、座標Ｘが顔中心位置の座標（つまり横方向の座標）よりも小さいか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ３６に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ３５に進む。

そして、ステップＳ３５においては、座標Ｘを顔左端の座標（つまり横方向の座標）として設定する。
そして、ステップＳ３６においては、座標Ｘに「１」を加算して得た値を、新たに座標Ｘの値として設定して、上述したステップＳ３２に戻る。
なお、顔画像の左右の横方向の座標の値は、左側から右側に向かい増大するように設定されている。

また、ステップＳ３７においては、座標Ｘの輝度がゼロ（つまり、上述したステップＳ２５にて設定される値であるゼロ）であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ３６に戻る。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ３８に進む。
次に、ステップＳ３８においては、（座標Ｘ−顔左端の座標）が所定の顔幅以下であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ３９に進み、このステップＳ３９においては、座標Ｘを顔右端の座標（つまり横方向の座標）として設定し、ステップＳ４１に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ４０に進み、このステップＳ４０においては、顔左端の座標にゼロを設定する初期化を行ない、ステップＳ４１に進む。

そして、ステップＳ４１においては、顔左端のみ検出されているか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ４４に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ４２に進む。
そして、ステップＳ４２においては、（画像右端の座標−顔左端の座標）が所定の顔幅以下であるか否かを判定する。
この判定結果が「ＮＯ」の場合、つまり顔画像において運転者の顔が画像右端で見切れている場合には、後述するステップＳ４４に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ４３に進む。
そして、ステップＳ４３においては、画像右端の座標を顔右端の座標として設定し、ステップＳ４４に進む。

そして、例えば図７に示すステップＳ４４においては、顔右端が検出されているか否かを判定する。
この判定結果が「ＮＯ」の場合には、リターンに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ４５に進む。
そして、ステップＳ４５においては、上述したステップＳ２４での輝度の変換前の顔画像において、探索線周辺の所定範囲内の輝度を取得する。
次に、ステップＳ４６においては、座標Ｘに顔左端の座標を設定する。

そして、ステップＳ４７においては、座標Ｘと、この座標Ｘの左隣の座標（Ｘ−１）との輝度差が所定差以上であるか、または、座標Ｘの輝度が座標（Ｘ−１）の輝度よりも小さいか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ４９に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ４８に進む。
そして、ステップＳ４８においては、顔右端の座標を座標Ｘとして設定し、後述するステップＳ５１に進む。
また、ステップＳ４９においては、座標Ｘの値から「１」を減算して得た値（Ｘ−１）を、新たに座標Ｘとして設定する。
そして、ステップＳ５０においては、座標Ｘを顔左端の座標として設定し、ステップＳ４７に戻る。

そして、ステップＳ５１においては、座標Ｘと、この座標Ｘの右隣の座標（Ｘ＋１）との輝度差が所定差以上であるか、または、座標Ｘの輝度が座標（Ｘ＋１）の輝度よりも小さいか否かを判定する。
この判定結果が「ＮＯ」の場合には、ステップＳ５２に進み、このステップＳ５２においては、座標Ｘの値に「１」を加算して得た値（Ｘ＋１）を、新たに座標Ｘとして設定する。
そして、ステップＳ５３においては、座標Ｘを顔右端の座標として設定し、上述したステップＳ５１に戻る。

上述したように、本実施の形態による顔向き検知装置１０によれば、運転者の顔を横断する複数の探索線毎に検出される顔端位置に基づいて検知される複数の顔向き方向の中央値を、最終的に運転者の顔向き方向とすることから、例えば顔の特定箇所や顔の左右の最端位置のみから顔向き方向を検知する場合に比べて、検知精度および検知結果の信頼性を向上させることができる。
さらに、複数の探索線のうちから、顔左端と顔右端との間の距離が所定範囲内かつ左端が顔中心位置よりも左側かつ右端が顔中心位置よりも右側である探索線以外の探索線を除外することにより、複数の探索線毎に検出される左右の顔端位置の検出精度を向上させることができる。

１０ 顔向き検知装置
１２ 乗員カメラ（撮像手段）
２２ 顔中心位置検出部（位置検出手段）
２３ 探索線設定部（探索線設定手段）
２４ 顔端位置検出部（位置検出手段）

Claims (2)

1. ひとの顔を撮像して顔画像を出力する撮像手段と、該撮像手段から出力された前記顔画像に基づき前記ひとの顔中心位置及び顔端位置を検出して検出結果を出力する位置検出手段と、該位置検出手段から出力された前記検出結果に基づき、前記ひとの顔向き方向を検知する顔向き検知手段とを備える顔向き検知装置であって、
   前記撮像手段から出力された前記顔画像において該顔画像に含まれる前記ひとの顔を横断する複数の探索線を設定する探索線設定手段を備え、
   前記位置検出手段は、前記探索線設定手段により設定された前記複数の探索線に基づき複数の前記顔端位置を検出して検出結果を出力し、
   前記顔向き検知手段は、前記位置検出手段から出力された複数の前記検出結果に基づき複数の前記顔向き方向を検知し、該複数の前記顔向き方向の中央値を前記ひとの前記顔向き方向として検知することを特徴とする顔向き検知装置。
2. 前記位置検出手段は、前記探索線設定手段により設定された前記複数の探索線のうち、該探索線の長さが所定範囲内であって、かつ、前記探索線の左端が前記顔中心位置よりも左側に存在し、かつ、前記探索線の右端が前記顔中心位置よりも右側に存在する前記複数の前記探索線に基づき、前記複数の前記顔端位置を検出することを特徴とする請求項１に記載の顔向き検知装置。

Images