JP2017126245A - 顔向き検出方法 - Google Patents

Abstract

【課題】検出の精度を高く維持しつつ、検出速度の低下を防止し、かつ、コストを抑えることができる顔向き検出方法を提供する。【解決手段】連続して順に取得された複数のフレーム画像における対象者の顔画像の顔向きを検出する顔向き検出方法であって、顔画像に対応する顔向きを複数の顔向きデータベースを用いて検出する第１の顔向き検出行程と、顔画像に対応する顔向きを１つの顔向きデータベースに基づいて検出する第２の顔向き検出行程と、前記第１の顔向き検出行程による検出結果または前記第２の顔向き検出行程による検出結果に基づいて、前記第２の顔向き検出行程で用いる前記１つの顔向きデータベースを選択する選択行程とを備える。【選択図】図２

Description

本発明は、連続して順に取得される複数のフレーム画像に基づいて対象者の顔の向きを検出する顔向き検出方法に関する。

視線方向の検出は、一般に、対象者の顔画像から抽出した眼の部分の画像に基づいて行うが、対象者が眼を閉じたり、横を向いたりなどした場合には眼の部分の画像の取得が難しくなるため、検出の精度が低下するおそれがある。このような検出精度の低下を避けるため、眼の部分の画像に基づいた検出に加えて、対象者の顔の向きを検出して視線方向を推定する方法が検討されており、この推定の精度を上げるためには顔の向きを正確に把握することが求められる。

従来の顔向きの検出においては、対象者の顔を正面から撮影したときの顔画像と、予め保存された正面向きの顔のデータベースとが比較され、この比較結果に基づいて顔の向きが検出されていた。しかしながら、この手法では、対象者の顔の向きが正面から斜め向きや横向きへと変わることによって、顔の特徴点としての眼、鼻、口等の大きさ、配置、バランス、形状などが変化するため、これらの特徴点を正確に検出することが困難となり、これによって検出精度が低下し、更には検出不能になってしまうという問題があった。

これに対して、特許文献１に記載の視線検出装置においては、顔向きデータベースとして、正面向きの顔、斜め向きの顔、および横向きの顔の３つのデータベースを用意し、さらに、常時、正面、斜め、および横の３方向のカメラから顔を撮影する。撮影された３方向からの顔画像は、上記３つの顔向きデータベースとそれぞれ比較され、この結果に基づいて顔向きが特定され、これによって顔向きの検出精度の低下の防止を図っている。

特開２０１２−３７９３４号公報

しかしながら、特許文献１に記載の視線検出装置においては、常時３方向から対象者の顔を撮影し、これら３つの顔画像と３つの顔向きデータベースとをそれぞれ比較することによって顔向きを検出するため、３つの比較行程を毎回実行する必要があることから、検出に時間を要してしまうおそれがあった。また、３つの方向のそれぞれに対して、受像装置、すなわちカメラと光源を１組ずつ用意する必要があるため、これらのコストが必要になり、装置にかかるコストが高くなっていた。さらに、正面向きの顔画像と正面向きの顔のデータベースのみによって顔向きを検出する従来の装置と比べて、装置が大型化しやすいという問題もあった。

そこで本発明は、検出の精度を高く維持しつつ、検出速度の低下を防止し、かつ、コストを抑えることができる顔向き検出方法を提供することを目的としている。

上記課題を解決するために、本発明の顔向き検出方法は、連続して順に取得される複数のフレーム画像における対象者の顔画像の顔向きを検出する顔向き検出方法であって、顔画像に対応する顔向きを複数の顔向きデータベースを用いて検出する第１の顔向き検出行程と、顔画像に対応する顔向きを１つの顔向きデータベースに基づいて検出する第２の顔向き検出行程と、第１の顔向き検出行程による検出結果又は第２の顔向き検出行程による検出結果に基づいて、第２の顔向き検出行程で用いる１つの顔向きデータベースを選択する選択行程とを備えることを特徴としている。
これにより、第１の顔向き検出行程において複数の顔向きデータベースを用いるため検出精度を維持することができ、さらに、第２の顔向き検出行程では１つの顔向きデータベースのみで検出を行うため検出速度の低下を抑えることができる。また、１つのフレーム画像の顔画像に対して複数の顔向きデータベースを照合させるため、少なくともカメラや光源が１組あれば顔向きを検出可能なことからコストを抑えることができる。

本発明の第１の態様に係る顔向き検出方法は、第１の顔向き検出行程は所定時間ごとに実行され、選択行程においては、直近の第１の顔向き検出行程による検出結果に基づいて、その後の第２の顔向き検出行程で用いる１つの顔向きデータベースを選択することが好ましい。
複数の顔向きデータベースと照合させるのは所定時間ごとであり、それ以外は１つの顔向きデータベースのみとの照合ですむため、検出精度を維持しつつ、検出速度の低下を防ぐことができる。

本発明の第１の態様に係る顔向き検出方法において、選択行程においては、直近の第１の顔向き検出行程において、顔画像の適合度が所定の閾値以上であった、または、前記顔画像の適合度が最も高い顔向きデータベースを選択することが好ましい。
これにより、顔向きの検出のために最適な顔向きデータベースを確実に選択できるため、検出の精度を維持することができる。

本発明の第２の態様に係る顔向き検出方法は、第２の顔向き検出行程は、フレーム画像を取得するたびに実行され、選択行程においては、直近の第２の顔向き検出行程による検出結果に基づいて、その後の第２の顔向き検出行程で用いる１つの顔向きデータベースを選択することが好ましい。
これにより、１つの顔向きデータベースのみとの照合ですむため、検出精度を維持しつつ、検出速度の低下を防ぐことができる。

本発明の第２の態様に係る顔向き検出方法において、選択行程においては、直近の第２の顔向き検出行程で選択されている１つの顔向きデータベースと顔画像の適合度が所定の閾値未満となったときは、ほかの顔向きデータベースを選択することが好ましい。
この構成においては、より適切な顔向きデータベースを選択できるため、一定以上の検出精度と検出速度を確保することができる。

本発明の第２の態様に係る顔向き検出方法において、選択行程においては、直近の第２の顔向き検出行程で選択されている１つの顔向きデータベースに基づいて、ほかの顔向きデータベースに対応する顔向きに近づいているか否かを判別し、この判別結果にしたがって、ほかの顔向きデータベースを選択することが好ましい。
これにより、適切な顔向きデータベースを選択して検出を実行できるため、一定以上の検出速度を得ることができる。

本発明の顔向き検出方法において、閾値は、複数の顔向きデータベースのそれぞれに対する対象者の顔画像の適合度の最高値に基づいて設定されることが好ましい。
これにより、個人差の影響を除外した精度の高い検出を行うことが可能となる。

本発明の顔向き検出方法において、複数の顔向きデータベースは、正面向き、斜め向き、および横向きの３つの顔向きのデータベースからなることが好ましい。
これにより、安定した顔向き検出を行うことができる。

本発明によると、検出の精度を高く維持しつつ、検出速度の低下を防止し、かつ、コストを抑えることができる顔向き検出方法を提供することができる。

本発明の第１実施形態に係る視線検出装置の構成を示すブロック図である。 本発明の第１実施形態に係る顔向き検出方法の流れを示すフローチャートである。 本発明の第１実施形態における顔向きデータベースの選択例を示すタイムチャートである。 本発明の第２実施形態に係る顔向き検出方法の流れを示すフローチャートである。 本発明の第２実施形態における顔向きデータベースの選択例を示すタイムチャートである。

以下、本発明の実施形態に係る顔向き検出方法について図面を参照しつつ詳しく説明する。
＜第１実施形態＞
図１は、第１実施形態に係る顔向き検出方法に用いる顔向き検出装置を含む視線検出装置１０の構成を示すブロック図である。
図１に示すように、視線検出装置１０は、制御部２０と、受像部２１と、視線方向検出部２２と、顔向き検出部２３と、記憶部３０とを備える。記憶部３０には、正面向き用顔向きデータベース３１と、斜め向き用顔向きデータベース３２と、横向き用顔向きデータベース３３とがあらかじめ保存されている。正面向き用顔向きデータベース３１、斜め向き用顔向きデータベース３２、および横向き用顔向きデータベース３３は、一定数の人物の顔画像に基づいて標準化されたデータベースである。
ここで、視線検出装置１０のうち、視線方向検出部２２を除く、制御部２０、受像部２１、顔向き検出部２３、および記憶部３０は顔向き検出装置を構成する。

第１実施形態においては、正面向き、斜め向き、および横向きの３つの顔向きデータベースを備えた例を示すが、顔向きデータベースは、２つ、又は４つ以上であってもよい。顔向きデータベースを４つ以上とすることにより、検出精度を高めることができる。顔向きデータベースを５つにする場合は、例えば、正面向き、右斜め向き、右横向き、左斜め向き、および、左横向きのデータベースを用意する。また、顔向きデータベースを２つにすると、１つのみの場合と比べて検出精度を高めることが可能となる。ここで、顔向きのデータベースを、正面向き、右斜め向き、および、右横向きの３つにし、受像部２１で取得した画像を左右反転させることで、右斜め向きおよび右横向きのデータベースで左斜め向きおよび左横向きも検出することができるため、あらかじめ保存しておくデータベースを少なくでき、容量が小さな記憶部３０を使用することでコストを抑えることができる。なお、顔向きのデータベースを、正面向き、右斜め向きおよび右横向きの組合せだけでなく、正面向き、左斜め向きおよび左横向きの組合せや、上向きあるいは下向きのデータベースを加えて、取得した画像を上下反転させることで上下方向の顔向きを検出するようにしても良い。

受像部２１は、例えば、１組の光源とカメラからなり、連続して複数のフレーム画像を順に取得する。受像部２１の光源とカメラは、制御部２０によって動作が制御され、取得された複数のフレーム画像は順に制御部２０へ出力され、記憶部３０に保存される。制御部２０においては、受像部２１で取得されたフレーム画像から対象者の顔画像を検出し、記憶部３０に保存する。

視線方向検出部２２は、制御部２０による制御にしたがって、受像部２１が取得したフレーム画像から検出された顔画像において眼の部分の画像を抽出し、この眼画像に基づいて対象者の視線方向を検出する。視線方向検出部２２による視線方向の検出結果は制御部２０へ出力され、記憶部３０に保存される。
ここで、視線方向の検出は、例えば、眼の外観の特徴点の形状、位置などに基づいて行う。また、眼球内での光吸収率が低い波長の光を射出する光源と、眼を撮影するカメラとのセットを、一定距離置いて２組配置し、これらの光源を点灯したときに２つのカメラで得られる明瞳孔画像と暗瞳孔画像に基づいて、瞳孔中心値と角膜反射光中心値を算出し、これらの値から視線方向を算出することもできる。この場合は受像部２１として２組の光源とカメラを用意してもよいし、受像部２１とは別に光源とカメラを用意してもよい。

顔向き検出部２３は、制御部２０による制御にしたがって、受像部２１が取得したフレーム画像から検出された顔画像における、眼、口、耳、鼻などの特徴点の情報、例えば位置と面積を検出する。この特徴点の検出結果と、記憶部３０に保存された、正面向き用顔向きデータベース３１、斜め向き用顔向きデータベース３２、および、横向き用顔向きデータベース３３のいずれか１つ又は全てとを、後述する手順で照合し、この照合結果に基づいて顔向きを検出する。また、顔向き検出部２３は、顔向きの検出結果に基づいて対象者の視線方向を推定する。視線方向の推定としては、例えば、顔向きの検出結果として得られた方向を視線方向とする。
顔向き検出部２３による顔向きの検出結果と視線方向の推定結果は制御部２０へ出力され、記憶部３０に保存される。

制御部２０は、各部の動作の制御のほか、視線方向検出部２２による視線方向の検出と顔向き検出部２３による顔向きの検出を逐次実行させる。また、対象者の眼が閉じているなどの状況下において、受像部２１で取得したフレーム画像から視線方向検出部２２が両眼の画像が抽出できず視線方向の検出ができないとき、すなわち、視線方向検出部２２から視線方向の検出結果が制御部２０へ出力されないときやエラー信号が出力されるとき、制御部２０は、顔向き検出部２３に対して、顔向きの検出結果に基づいて視線方向を推定するように指示し、顔向き検出部２３は視線方向の算出を実行する。

ここで、制御部２０は、視線方向検出部２２による視線方向の検出の結果にかかわらず、顔向き検出部２３に対して、顔向きの検出と視線方向の検出の両方を逐次実行させるようにしてもよい。この場合は、所定の基準によって、視線方向の検出結果として視線方向検出部２２によるものと顔向き検出部２３によるもののいずれかを選択することが好ましい。この所定の基準としては、例えば、顔画像においける眼画像の面積が閾値以上であるか否かが挙げられる。

記憶部３０には、正面向き用顔向きデータベース３１と、斜め向き用顔向きデータベース３２と、横向き用顔向きデータベース３３とが保存されている。斜め向き用顔向きデータベース３２は例えば右斜め４５度、すなわち正面向きと右横向きの中間の４５度の向きのデータベースであり、横向き用顔向きデータベース３３は、例えば右横向きのデータベースである。斜め向き用顔向きデータベース３２と横向き用顔向きデータベース３３は、鉛直方向から見て互いに異なる角度であれば、これ以外の角度の顔向きのためのデータベースであってもよい。また、３つの顔向きデータベースは、鉛直方向から見て互いに異なる角度であれば、正面向き、斜め向き、および、横向き以外の組合せであってもよい。

次に、図２と図３を参照して、第１実施形態に係る顔向き検出方法について説明する。図２は、第１実施形態に係る顔向き検出方法の処理の流れを示すフローチャートである。図３は、第１実施形態における顔向きデータベースの選択例を示すタイムチャートである。図３において、横軸は経過時間であり、枠で囲った「正」、「斜」、および「横」は、照合する顔向きデータベースを簡略化して示したものであって、それぞれ、正面向き用顔向きデータベース３１、斜め向き用顔向きデータベース３２、横向き用顔向きデータベース３３である。また、図３の時間Ｔ１、Ｔ２、Ｔ３、．．．の間隔は、受像部２１がフレーム画像を取得する時間間隔に対応している。
顔向き検出部２３における顔向きの検出は、制御部２０からの指示信号にしたがって開始し、検出開始後は、受像部２１が連続して順に取得した複数のフレーム画像のそれぞれについて、制御部２０が顔画像を検出する。顔向き検出部２３は制御部２０が検出した顔画像を逐次受けとる。顔画像を受け取った顔向き検出部２３は、各顔画像について、特徴点の情報として位置と面積を検出する。

顔向き検出部２３においては、最初に受け取った顔画像を、正面向き用顔向きデータベース３１、斜め向き用顔向きデータベース３２、および、横向き用顔向きデータベース３３のすべてと照合する（図３の時間Ｔ１）。この照合においては、顔画像における特徴点の情報と、照合する顔向きデータベースにおける特徴点の情報とを互いに比較し、それぞれの特徴点の情報の適合度を算出し、適合度が予め定めた閾値以上であるか否かを判別する。もしくは、適合度が最も高い顔向きデータベースがどれかを判別する。適合度は、例えば、鼻や口に対する左右の眼の位置の関係を示す数値が顔向きデータベースにおける数値とどの程度ずれるかによって判別する。この判別の結果、適合度が閾値以上であった、または適合度が最も高かった１つの顔向きデータベースに基づいて顔向きを検出する（図２のステップＳ１１、第１の顔向き検出行程）。適合度が閾値以上であった１つの顔向きデータベースは、図３に示す例では、時間Ｔ１の斜め向き用顔向きデータベースＡ１１となる。

なお、上記照合において、３つの顔向きデータベースのいずれに対しても適合度が閾値未満であったときは、対象としていた顔画像についての照合を中止し、受像部２１が次に取得したフレーム画像の顔画像について、３つの顔向きデータベースを用いた照合を改めて行うことが好ましい。

ここで、正面向き用顔向きデータベース３１、斜め向き用顔向きデータベース３２、および横向き用顔向きデータベース３３は、一定数の人物の顔画像に基づいたデータベースであるため、対象者の顔が、それぞれの顔向きデータベースに対応する向きに正確に向いていたとしても、個人差によって適合度が異なる結果となる。このため、対象者ごとに、それぞれの顔向きデータベースに対応する向きに正確に向いているときの適合度、すなわち適合度の最高値を予め測定して記憶部３０に記憶させ、この最高値と実際の顔向き測定時に得られた適合度との比較値に基づいて照合を行うことが好ましい。この比較値としては、前記最高値と実際の顔向き測定時に得られた適合度との比や差を用いる。

次に、上記ステップＳ１１で顔向き検出に用いられた１つの顔向きデータベースを選択し（図２のステップＳ１２、選択行程）、この顔向きデータベースによって、後続の各フレーム画像の顔画像について顔向き検出を行う（図２のステップＳ１３、図３の時間Ｔ２、第２の顔向き検出行程）。この顔向き検出（図２のステップＳ１３）は、上記ステップＳ１２で選択された１つの顔向きデータベースに基づいて、予め設定した所定時間が経過するまで（図２のステップＳ１４でＮＯ）、繰り返される。図３に示す例では、時間Ｔ２、Ｔ３で斜め向き用顔向きデータベースＡ１１が継続して用いられている。

上記所定時間は例えば３つのフレーム画像を取得する時間であり、図３に示す例では、時間Ｔ１からＴ４までの時間、および、時間Ｔ４からＴ７までの時間である。この所定時間の経過は、制御部２０が、内蔵する計時回路からの出力に基づいて判断する。なお、上記所定時間に代えて、フレーム画像の取得回数を制御部２０でカウントし、この回数が所定回数に達したか否かによって上記ステップＳ１４の判断を行っても良い。

上記所定時間が経過すると（図２のステップＳ１４でＹＥＳ）、制御部２０は、現在のフレーム画像の顔画像を、正面向き用顔向きデータベース３１、斜め向き用顔向きデータベース３２、および、横向き用顔向きデータベース３３のすべてと照合し、適合度が閾値以上であった１つの顔向きデータベースに基づいて顔向きを検出する（図２のステップＳ１１）。その後は、上記ステップＳ１２〜１４を実行する。図３に示す例では、時間Ｔ４において、適合度が閾値以上であった１つ顔向きデータベースとして正面向き用顔向きデータベースＡ１２が選択されて時間Ｔ５、Ｔ６で継続して用いられ、さらに、時間Ｔ７においては、横向き用顔向きデータベースＡ１３が選択され時間Ｔ８、Ｔ９で継続して用いられている。

以上のように構成されたことから、第１実施形態によれば、次の効果を奏する。
（１）第１実施形態における顔向き検出方法においては、顔画像に対応する顔向きを３つの顔向きデータベース３１、３２、３３を用いて検出する第１の顔向き検出行程と、これらの顔向きデータベースから１つの顔向きデータベースを選択して、このデータベースに基づいて顔向きを検出する第２の顔向き検出行程とを備えている。これにより、第１の顔向き検出行程において複数の顔向きデータベースを用いるため検出精度を維持することができ、また、第２の顔向き検出行程では１つの顔向きデータベースのみで検出を行うため検出速度の低下を抑えることができる。
（２）受像部２１におけるカメラや光源が１組ですむことからコストを抑えることができる。
（３）複数の顔向きデータベースと照合させる第１の顔向き検出行程は所定時間ごとであり、それ以外の顔向き検出は１つの顔向きデータベースのみとの照合ですむため、検出精度を維持しつつ、検出速度の低下を防ぐことができる。
（４）選択行程においては、直近の第１の顔向き検出行程において、顔画像の適合度が所定の閾値以上であった顔向きデータベースを選択することにしているため、顔向きの検出のために最適な顔向きデータベースを確実に選択できることから、検出の精度を維持することができる。
（５）上記（４）の閾値は、複数の顔向きデータベースのそれぞれに対する対象者の顔画像の適合度の最高値に基づいて設定される。これにより、個人差の影響を除外した精度の高い検出を行うことが可能となる。

＜第２実施形態＞
つづいて、本発明の第２実施形態について、図４、図５を参照して説明する。図４は、第２実施形態に係る顔向き検出方法の処理の流れを示すフローチャートである。図５は、第２実施形態における顔向きデータベースの選択例を示すタイムチャートである。図５において、横軸は経過時間であり、枠で囲った「正」、「斜」、および「横」は、照合する顔向きデータベースを簡略化して示したものであって、それぞれ、正面向き用顔向きデータベース３１、斜め向き用顔向きデータベース３２、横向き用顔向きデータベース３３である。また、図５の時間Ｔ１、Ｔ２、Ｔ３、．．．の間隔は、受像部２１がフレーム画像を取得する時間間隔に対応している。
上記第１実施形態においては、選択行程（図２のステップＳ１２）の後に所定時間が経過すると、そのときに取得したフレーム画像の顔画像を３つの顔向きデータベースのすべてと照合して、適合度が閾値以上であった１つの顔向きデータベースに基づいて顔向きを検出していた（図２のステップＳ１１）。これに対して第２実施形態においては、選択行程（図４のステップＳ２２）の後は、再び３つの顔向きデータベースのすべてと照合することは行わず、選択された１つの顔向きデータベースに基づいて顔向きを継続して検出している。
以下、第２実施形態における顔向き検出の流れについて説明する。

まず、第１実施形態のステップＳ１１と同様に、顔向き検出部２３においては、最初に受け取った顔画像を、正面向き用顔向きデータベース３１、斜め向き用顔向きデータベース３２、および、横向き用顔向きデータベース３３のすべてと照合し、顔画像における特徴点の情報と、照合する顔向きデータベースにおける特徴点の情報とを互いに比較し、さらに、それぞれの特徴点の情報の適合度が予め定めた閾値以上であるか否かを判別する（図５の時間Ｔ１）。この判別の結果、適合度が閾値以上であった１つの顔向きデータベースに基づいて顔向きを検出する（図４のステップＳ２１、第１の顔向き検出行程）。適合度が閾値以上であった１つ顔向きデータベースは、図５に示す例では、時間Ｔ１の斜め向き用顔向きデータベースＡ２１となる。

次に、第１実施形態のステップＳ１２、Ｓ１３と同様に、上記ステップＳ２１で顔向き検出に用いられた１つの顔向きデータベースを選択し（図４のステップＳ２２、図５の時間Ｔ２、第１の選択行程）、この顔向きデータベースによって、後続の各フレーム画像の顔画像について顔向き検出を行う（図４のステップＳ２３、第２の顔向き検出行程）。

つづいて、顔向き検出部２３は、上記ステップＳ２３の顔向き検出のたびに、検出の対象となった顔画像における特徴点の情報と、選択された１つの顔向きデータベースにおける特徴点の情報とを互いに比較し、それぞれの特徴点の情報の適合度が閾値以上であるか否かを判別する。適合度が閾値未満であるときは、顔画像における特徴点の情報に基づいて、選択されていないほかの顔向きデータベースに対応する顔向きに近づいているか否かを判別する。顔向き検出部２３は、これらの判別結果に基づいて１つの顔向きデータベースを選択（図４のステップＳ２４、第２の選択行程）し、この顔向きデータベースに基づいて次のフレーム画像の顔画像について顔向き検出を実行する（図４のステップＳ２３）。
なお、これらの判別は、すべての顔画像の検出のたびではなく、数回おき、または、所定時間ごとに行うようにしてもよい。

図５に示す例では、時間Ｔ２、Ｔ３、Ｔ４、．．．において、検出の対象となった顔画像における特徴点の情報と、選択された１つの顔向きデータベースにおける特徴点の情報とが互いに比較され、それぞれの特徴点の情報の適合度が閾値以上であるか否かが判別される。適合度が閾値未満であるときは、顔画像における特徴点の情報に基づいて、選択されていないほかの顔向きデータベースに対応する顔向きに近づいているか否かが判別される。この結果、時間Ｔ３において選択された正面向き顔向きデータベースＡ２２が時間Ｔ４、Ｔ５で継続して用いられ、時間Ｔ６では斜め向き用顔向きデータベースＡ２３が選択され、時間Ｔ７で選択された横向き用顔向きデータベースＡ２４が時間Ｔ８、Ｔ９で継続して用いられている。

また、顔画像における特徴点の情報と、選択された１つの顔向きデータベースにおける特徴点の情報との適合度の判別において、閾値未満となる判別結果が続く場合は、正面向き用顔向きデータベース３１、斜め向き用顔向きデータベース３２、および、横向き用顔向きデータベース３３のすべてと照合すると、検出精度の低下を抑えることができるため好ましい。

以上のように構成されたことから、第２実施形態によれば、次の効果を奏する。
（１）顔向き検出は、顔向きデータベースが選択された後は、１つの顔向きデータベースとの照合によって行われるため、検出精度を維持しつつ、検出速度の低下を防ぐことができる。
（２）選択されている１つの顔向きデータベースと顔画像の適合度が所定の閾値未満となったときは、ほかの顔向きデータベースを選択するため、より適切な顔向きデータベースを用いた顔検出を継続できることから、一定以上の検出精度と検出速度を確保することができる。
なお、その他の作用、効果、変形例は第１実施形態と同様である。
本発明について上記実施形態を参照しつつ説明したが、本発明は上記実施形態に限定されるものではなく、改良の目的または本発明の思想の範囲内において改良または変更が可能である。

以上のように、本発明に係る顔向き検出方法は、視線検出装置において眼の部分の画像の取得が難しいときも、検出の精度と速度を維持することができる点で有用である。

１０ 視線検出装置
２０ 制御部
２１ 受像部
２２ 視線方向検出部
２３ 顔向き検出部
３０ 記憶部
３１ 正面向き用顔向きデータベース
３２ 斜め向き用顔向きデータベース
３３ 横向き用顔向きデータベース

Claims (8)

1. 連続して順に取得される複数のフレーム画像における対象者の顔画像の顔向きを検出する顔向き検出方法であって、
   前記顔画像に対応する顔向きを複数の顔向きデータベースを用いて検出する第１の顔向き検出行程と、
   前記顔画像に対応する顔向きを１つの顔向きデータベースに基づいて検出する第２の顔向き検出行程と、
   前記第１の顔向き検出行程による検出結果または前記第２の顔向き検出行程による検出結果に基づいて、前記第２の顔向き検出行程で用いる前記１つの顔向きデータベースを選択する選択行程とを備えることを特徴とする顔向き検出方法。
2. 前記第１の顔向き検出行程は所定時間ごとに実行され、
   前記選択行程においては、直近の前記第１の顔向き検出行程による検出結果に基づいて、その後の前記第２の顔向き検出行程で用いる前記１つの顔向きデータベースを選択することを特徴とする請求項１に記載の顔向き検出方法。
3. 前記選択行程においては、前記直近の第１の顔向き検出行程において、前記顔画像の適合度が所定の閾値以上であった、または、前記顔画像の適合度が最も高い前記顔向きデータベースを選択することを特徴とする請求項２に記載の顔向き検出方法。
4. 前記第２の顔向き検出行程は、前記フレーム画像を取得するたびに実行され、
   前記選択行程においては、直近の前記第２の顔向き検出行程による検出結果に基づいて、その後の前記第２の顔向き検出行程で用いる前記１つの顔向きデータベースを選択することを特徴とする請求項１に記載の顔向き検出方法。
5. 前記選択行程においては、前記直近の第２の顔向き検出行程で選択されている前記１つの顔向きデータベースと前記顔画像の適合度が所定の閾値未満となったときは、ほかの顔向きデータベースを選択することを特徴とする請求項４に記載の顔向き検出方法。
6. 前記選択行程においては、前記直近の第２の顔向き検出行程で選択されている前記１つの顔向きデータベースに基づいて、ほかの顔向きデータベースに対応する顔向きに近づいているか否かを判別し、この判別結果にしたがって、ほかの顔向きデータベースを選択することを特徴とする請求項４又は請求項５に記載の顔向き検出方法。
7. 前記閾値は、前記複数の顔向きデータベースのそれぞれに対する前記対象者の顔画像の前記適合度の最高値に基づいて設定されることを特徴とする請求項３又は請求項５に記載の顔向き検出方法。
8. 前記複数の顔向きデータベースは、正面向き、斜め向き、および横向きの３つの顔向きのデータベースからなることを特徴とする請求項１から請求項７のいずれか１項に記載の顔向き検出方法。

Images