JP2017138646A - 視線検出装置 - Google Patents

Abstract

【課題】瞳孔中心と角膜反射の位置を検出できる場合と検出できない場合のそれぞれで得られる視線方向の検出結果について、検出方式の違いによる検出値のずれや精度の差による影響を排除することのできる視線検出装置を提供する。【解決手段】視線データ選択部は、（１）視線方向検出部による検出結果が得られる第１検出期間では検出視線データを選択し、（２）視線方向検出部による検出結果が得られない第２検出期間では推定視線データを選択し、（３）第２検出期間から第１検出期間への切り替え期間では、視線方向推定部によって検出した推定視線データを選択し、視線データ選択部は、切り替え期間において、対象者の視線方向が視線方向検出部および視線方向推定部のいずれによっても検出されないときに、推定視線データから検出視線データへ切り替える。【選択図】図１

Description

本発明は、車の運転者その他の対象者の視線方向を検出可能な視線検出装置に関する。

特許文献１に記載の視線検出装置は、撮像手段が出力した顔画像から、瞳孔の位置と角膜反射の位置を検出し、この検出結果に基づいて対象者の視線方向を検出する第１検出手段と、上記顔画像から所定部位、例えば目尻、鼻の頂部、輪郭のラインの位置を検出し、この所定部位の位置から視線方向を検出する第２検出手段とを有し、第１検出手段で視線方向を検出できないときは第２検出手段のみで視線方向を検出するというものである。これにより、角膜反射の位置を検出できない期間には、角膜以外の所定部位の位置に基づいて視線方向を推定し、この推定視線を用いることによって、角膜反射の位置を検出できない期間の視線方向検出を補間することを可能としている。

特開２０１２−５５４２８号公報

しかしながら、特許文献１に記載の視線検出装置における第１検出手段と第２検出手段とでは、検出方式の違いにより、得られる視線方向の角度値に差が生じる。したがって、第１検出手段による検出から第２検出手段による検出への切り替え、および、第２検出手段による検出から第１検出手段による検出への切り替えのときに、視線方向の検出値が大きく変動してしまうこととなる。

これに対して、第１検出手段による検出から第２検出手段による検出への切り替えにおいては、第１検出手段による検出期間の最後の検出値に対して、第２検出手段による検出期間の最初の値を連続的につなぐように検出値をシフトするなどの補正を行うことによって、視線方向の検出値の変動を抑えることが考えられる。

しかしながら、第１検出手段による検出と第２検出手段による検出とでは、検出方式の違いにより、検出値曲線のずれだけでなく、検出精度に差がある。このため、第２検出手段による検出から第１検出手段による検出への切り替えにおいて、上記補正と同様に、第２検出手段による検出曲線に合わせるように第１検出手段による検出曲線をシフトさせる補正を行うと、これらの両曲線は連続的につながるようにはなるものの、第２検出手段による検出で生じていた検出誤差が残ってしまうという問題がある。さらに、この検出誤差は、第２検出手段による検出から第１検出手段による検出への切り替えを繰り返すことによって累積されてしまう。このため、検出した視線方向に基づいて対象者が乗車している車両の制御や各種の表示等を行う場合においては、本来の視線方向に基づいた正確な制御や表示等を行うことが難しくなる。また、第２検出手段による検出から第１検出手段による検出への切り替えにおいて、これらの検出の曲線を補正をせずに切り替えると、検出値の急激な変化の影響によって表示が乱れたり、車両の動作に不具合が生じるおそれがある。

そこで本発明は、対象者の角膜反射中心の位置を検出できない場合にも視線方向を検出できるとともに、瞳孔中心と角膜反射の位置を検出できる場合と検出できない場合のそれぞれで得られる視線方向の検出結果について、検出方式の違いによる検出値のずれや精度の差による影響を排除することのできる視線検出装置を提供することを目的とする。

上記課題を解決するために、本発明の第１の態様の視線検出装置は、対象者の顔を含む領域の画像を取得するカメラと、画像における対象者の瞳孔中心の位置と角膜反射中心の位置に基づいて対象者の視線方向を検出する視線方向検出部と、画像に基づいて、対象者の瞳孔中心の位置と角膜反射中心の位置によらずに、対象者の視線方向を検出する視線方向推定部と、視線方向検出部によって検出した検出視線データ、および、視線方向推定部によって推定した推定視線データの検出結果に基づいて、検出視線データと推定視線データのどちらかを選択する視線データ選択部とを備え、視線データ選択部は、（１）視線方向検出部による検出結果が得られる第１検出期間では検出視線データを選択し、（２）視線方向検出部による検出結果が得られない第２検出期間では推定視線データを選択し、（３）第２検出期間から第１検出期間への切り替え期間では、視線方向推定部によって検出した推定視線データを選択し、視線データ選択部は、切り替え期間において、対象者の視線方向が視線方向検出部および視線方向推定部のいずれによっても検出されないときに、推定視線データから検出視線データへ切り替えることを特徴としている。
これにより、対象者の角膜反射中心の位置を検出できない場合にも視線方向を検出できるとともに、瞳孔中心と角膜反射の位置を検出できる場合と検出できない場合のそれぞれで得られる視線方向の検出結果について、検出方式の違いによる検出値のずれや精度の差による影響を排除することができる。

第１の態様の視線検出装置においては、画像に基づいて対象者の瞬きを検出する瞬き検出部を備え、視線方向算出部は、切り替え期間において、瞬き検出部が対象者の瞬きを検出したときに、推定視線データから検出視線データへ切り替えることが好ましい。
これにより、対象者の瞬きに合わせて推定視線方向データを切り替えることができるため、第１検出データと第２検出データの検出値のずれや精度の差による影響を、対象者に感じさせずに排除することができる。

第１の態様の視線検出装置において、瞬き検出部は、対象者の瞬きの検出として瞳孔中心を検出することが好ましい。
また、瞬き検出部は、対象者の瞬きの検出として、画像の現在画像と直前画像の差分画像において対象者のまぶたを検出することが好ましい。
また、瞬き検出部は、対象者の瞬きの検出として、画像から目の輪郭を検出することが好ましい。
さらにまた、瞬き検出部は、対象者の瞬きの検出として、画像の眼領域の色を検出することが好ましい。
このような手法を採用することによって対象者の瞬きを確実かつ迅速に検出することができる。

本発明の第２の態様の視線検出装置は、対象者の顔を含む領域の画像を取得するカメラと、画像における対象者の瞳孔中心の位置と角膜反射中心の位置に基づいて対象者の視線方向を検出する第１視線方向検出部と、画像に基づいて、対象者の瞳孔中心の位置と角膜反射中心の位置によらずに、対象者の視線方向を検出する第２視線方向検出部と、第１視線方向検出部によって検出した第１検出データ、および、第２視線方向検出部によって検出した第２検出データに基づいて推定視線方向データを算出する視線方向算出部とを備え、視線方向算出部は、（１）第１視線方向検出部による検出結果が得られる第１検出期間のうち、第２検出期間から第１検出期間への切り替え期間では、第１視線方向検出部によって検出した第１検出データと第２視線方向検出部によって検出した第２検出データとに基づいて推定視線方向データを算出し、（２）第１検出期間のうち、切り替え期間を除く期間では第１検出データに基づいて推定視線方向データを算出し、（３）第１視線方向検出部による検出結果が得られない第２検出期間では第２検出データに基づいて推定視線方向データを算出し、視線方向算出部は、切り替え期間に対応する推定視線方向データと、切り替え期間の前後の第２検出期間および第１検出期間にそれぞれ対応する推定視線方向データとが連続的につながるように、切り替え期間において推定視線方向データを算出することを特徴としている。
これにより、対象者の角膜反射中心の位置を検出できない場合にも視線方向を検出できるとともに、瞳孔中心と角膜反射の位置を検出できる場合と検出できない場合のそれぞれで得られる視線方向の検出結果について、検出方式の違いによる検出値のずれや精度の差による影響を排除することができる。

第２の態様の視線検出装置では、切り替え期間の時刻ｔにおいて、推定視線方向データＬｔが次式（１）によって算出されることが好ましい。
Ｌｔ＝［Ｗｔ×Ｌ１ｔ＋（Ｗａ−Ｗｔ）×Ｌ２ｔ］／Ｗａ （１）
ここで、
Ｗａは切り替え期間において取得されるフレーム画像の総数、
Ｗｔは時刻ｔ３から時刻ｔまでに取得されたフレーム画像の数、
Ｌ１ｔは時刻ｔにおける第１検出データＬ１、
Ｌ２ｔは時刻ｔにおける第２検出データＬ２、
である。
この式を用いて切り替え期間における推定視線方向データを推移させることにより、第１検出データと第２検出データの検出値のずれや精度の差による影響を、対象者に感じさせずに排除することができる。

本発明によると、対象者の角膜反射中心の位置を検出できない場合にも視線方向を検出できるとともに、瞳孔中心と角膜反射の位置を検出できる場合と検出できない場合のそれぞれで得られる視線方向の検出結果について、検出方式の違いによる検出値のずれや精度の差による影響を排除することのできる視線検出装置を提供することができる。

本発明の第１実施形態に係る視線検出装置の構成を示すブロック図である。 視線方向検出部によって検出された第１検出データと視線方向推定部によって検出された第２検出データを例示する図である。 図２のＩＩＩ部分の拡大図である。 図２に示す視線方向データＬ１、Ｌ２に基づいて作成された、時刻ｔ１〜ｔ３における推定視線方向データＬ３を示す図である。 第１実施形態の時刻ｔ３以降における推定視線方向データＬ３１、Ｌ３２を示す図である。 本発明の第２実施形態に係る視線検出装置の構成を示すブロック図である。 第２実施形態の時刻ｔ３以降における推定視線方向データＬ３３、Ｌ３４を示す図である。

以下、本発明の実施形態に係る視線検出装置について図面を参照しつつ詳しく説明する。
＜第１実施形態＞
図１は、第１実施形態の視線検出装置１０の構成を示すブロック図である。図１に示すように、視線検出装置１０は、制御部２０と、受像部２１と、視線方向検出部２２と、視線方向推定部２３と、視線データ選択部２４と、記憶部２５と、瞬き検出部２６とを備える。

受像部２１は、例えば、１組の光源とカメラからなり、連続して複数のフレーム画像を順に取得する。受像部２１の光源とカメラは、制御部２０によって動作が制御され、取得された複数のフレーム画像は順に制御部２０へ出力され、記憶部２５に保存される。制御部２０においては、対象者の顔を含むフレーム画像から対象者の顔画像を検出し、記憶部２５に保存する。

視線方向検出部２２は、制御部２０による制御にしたがって、受像部２１が取得したフレーム画像から検出された顔画像において眼の部分の画像を抽出し、この画像から得られる、瞳孔中心の位置と角膜反射中心の位置に基づいて対象者の視線方向を検出する。視線方向検出部２２による視線方向の検出結果は、検出視線データとして、制御部２０へ出力され、記憶部２５に保存される。

この視線方向の検出は、例えば、眼球内での光吸収率が低い波長の光を射出する光源と、眼を含む顔を撮影するカメラとのセットを、一定距離置いて２組配置し、これらの光源を点灯したときに２つのカメラで得られる明瞳孔画像と暗瞳孔画像に基づいて、瞳孔中心値と角膜反射光中心値を算出し、これらの値から視線方向を算出する。この場合は受像部２１として２組の光源とカメラを用意してもよいし、受像部２１とは別に光源とカメラを用意してもよい。

視線方向推定部２３は、対象者の瞳孔中心の位置と角膜反射中心の位置によらずに、顔画像に基づいて対象者の視線方向を検出する。より具体的には、視線方向推定部２３は、まず、制御部２０による制御にしたがって、受像部２１が取得したフレーム画像から検出された顔画像における、眼、口、耳、鼻、顔の輪郭などの特徴点の情報、例えば位置や面積を検出する。次に、視線方向推定部２３は、特徴点の検出結果を、記憶部２５に保存されたデータベースと照合し、この照合結果に基づいて顔向きを検出し、顔向きの検出結果および眼の特徴点、例えば、目頭、目尻、瞳孔の座標に基づいて対象者の視線方向を算出する。視線方向検出部２２による検出状態に拘わらず、視線方向推定部２３による視線方向の検出は常時行う。視線方向推定部２３による視線方向の検出結果は、推定視線データとして、制御部２０へ出力され、記憶部２５に保存される。

視線データ選択部２４は、視線方向検出部２２によって検出した検出視線データと視線方向推定部２３によって検出した推定視線データに基づいて、対象者の視線方向として、検出視線データと推定視線データのどちらかを選択する。具体的には、（１）視線方向検出部２２による検出結果が得られる第１検出期間では、視線方向検出部２２によって検出した検出視線データを選択し、（２）視線方向検出部２２による検出結果が得られない第２検出期間では推定視線データを選択し、（３）第２検出期間から第１検出期間への切り替え期間では、視線方向推定部２３によって検出した推定視線データを選択する。

ここで、上述の第２検出期間から第１検出期間への切り替えにおいては、後述のとおり、瞬き検出部２６による瞬きの検出があったときに、視線データ選択部２４は、推定視線データから検出視線データへ切り替える。

これに対して、第１検出期間から第２検出期間への切り替えにおいては、視線方向推定部２３は、切り替え後の第２検出期間の推定視線データが、切り替え前の第１検出期間の検出視線データに対して連続的につながるように、切り替え後の第２検出期間の推定視線データに基づいて、推定視線データとして、推定視線方向データを算出する。この推定視線方向データの算出は、後述のとおり、切り替え前の第１検出期間で最後に算出した検出視線データに対して、切り替え後の第２検出期間で最初に検出した推定視線データから順に、この推定視線データの単位時間あたりの変化量を加算することによって算出する。

瞬き検出部２６は、対象者の瞬きを検出する。瞬き検出部２６による検出結果は制御部２０へ出力され、記憶部２５に保存される。瞬きの検出は、少なくとも第２検出期間から第１検出期間への切り替え期間において実行される。この切り替え期間においては、視線方向検出部２２と視線方向推定部２３の両方から視線方向の検出結果が得られており、視線方向推定部２３による検出結果により、対象者の視線方向が角度Ｘ〜−Ｘの範囲にあり、前方の所定範囲に視線を向けていることを検出している。これにより、瞬き検出部２６は、対象者が前方の所定範囲に視線を向けつつ瞬きしたことを検出することができる。

瞬きの検出は、受像部２１のカメラによって取得されたフレーム画像中の対象者の顔画像について、例えば次の（１）〜（４）の少なくともいずれか１つの処理を実行することによって行う。
（１）対象者の顔画像において、瞳孔中心および角膜反射中心の少なくとも一方について、検出されないときはまぶたが閉じられ瞬きしているものとする。
（２）対象者の顔画像において、まぶたが閉じていることが検出されたときは瞬きしているものとする。まぶたが閉じていることの検出は、連続して取得された２つのフレーム画像の顔画像、すなわち現在の顔画像と、その直前の顔画像との差分画像を生成し、まぶたが検出されたときはまぶたが閉じており、瞬きをしたものと検出する。
（３）対象者の顔画像において、まぶたが閉じていることが検出されたときは瞬きしているものとする。まぶたが閉じていることの検出は、目の輪郭を検出し、輪郭の上下方向の幅が判定値よりも小さくなった場合に、瞬きをしたものと検出する。
（４）フレーム画像および顔画像をカラー画像として取得し、眼領域の色の変化に基づいて瞬きを検出する。具体的には、眼領域においては、まぶたが開いている状態では、黒眼と、白眼と、肌との色が混在または配合された色の画像が検出されるのに対して、まぶたが閉じている状態では、肌色のみの色の画像が検出されるため、波長、色相、彩度などの変化によってまぶたが閉じているか否かを検出する。

推定視線方向の算出と視線データの選択について、図２〜図５を参照しつつ説明する。ここで、図２は、視線方向検出部２２によって検出された第１検出データＬ１（検出視線データ）と視線方向推定部２３によって検出された第２検出データＬ２（推定視線データ）を例示する図である。図３は、図２のＩＩＩ部分の拡大図である。図４は、図２に示す視線方向データＬ１、Ｌ２に基づいて作成された、時刻ｔ１〜ｔ３における推定視線方向データＬ３（推定視線データ）を示す図である。図５は、時刻ｔ３以降における推定視線方向データＬ３１、Ｌ３２を示す図である。図２〜図５において、横軸は経過時間であり、縦軸は視線方向を示す角度であり、視線方向データの検出は時刻ｔ１から開始しているものとする。図５は図４のＶ部分に対応する拡大図である。

ここで、視線方向検出部２２による第１検出データＬ１の検出と、視線方向推定部２３による第２検出データＬ２の検出（推定）は、視線検出装置１０の起動とともに開始されるが、視線方向推定部２３による推定視線方向データＬ３の算出（推定）は、視線方向検出部２２による検出結果が出力されたとき、すなわち対象者の視線方向が角度Ｘ〜−Ｘの範囲にあるときに開始される。

図２においては、二点鎖線で示す第１検出データＬ１は、角度Ｘ〜−Ｘの範囲（Ｘは正数）で変化しており、時刻ｔ２〜ｔ３の時間においてこの範囲を超えると、対象者の顔が受像部２１のカメラに対して横向きに近づくために対象者の角膜反射中心の位置の検出が困難となり、これによって第１検出データＬ１の検出ができなくなっている。ここで、角度Ｘは、正面方向に対する角度であって、例えば３０度であり、右向き３０度がＸ、左向き３０度が−Ｘである。また、正面方向は、対象者が車両の運転者である場合は、例えば車両の前後方向である。

図２に示す例では、視線方向が角度Ｘ〜−Ｘの範囲内にある第１検出期間、すなわち、時刻ｔ１〜ｔ２の期間、および時刻ｔ３以降の時間において第１検出データＬ１が検出されており、視線方向が角度Ｘ〜−Ｘの範囲から外れる時刻ｔ２〜ｔ３の期間（第２検出期間）では第１検出データＬ１は検出されない。また、時刻ｔ３以降の第１検出期間のうち、図５に示す時刻ｔ３〜ｔ６の時間は、第２検出期間から第１検出期間への切り替え期間である。なお、図２〜図５において、時刻ｔ２と時刻ｔ４の間隔、および、時刻ｔ４と時刻ｔ５の間隔は、理解を容易にするために広い間隔で表示している。

図２と図３に示すように、第２検出データＬ２は、時刻ｔ２〜ｔ４までの単位時間に変化量ｂだけ増加しており、時刻ｔ４〜ｔ５までの単位時間に変化量ｃだけ増加している。なお、変化量ｂ、ｃは共に正数であり、また、時刻ｔ２〜ｔ４の時間、および、時刻ｔ４〜ｔ５までの時間は、受像部２１によってフレーム画像を取得する時間間隔に対応する。

第１検出データＬ１が得られた時刻ｔ１〜ｔ２の第１検出期間については、視線データ選択部２４によって、第１検出データＬ１がそのまま推定視線方向データとして選択され、第１検出データＬ１が得られない時刻ｔ２〜ｔ３の第２検出期間については、視線方向推定部２３によって、次の手順で推定視線方向データが算出され、この推定視線方向データと第１検出データＬ１が対象者の推定視線方向データＬ３として出力される。

推定視線方向データＬ３は、まず、第１検出期間の最後である時刻ｔ２における角度Ｘに対して、第２検出時間の最初の単位時間である時刻ｔ２〜ｔ４までの第２検出データＬ２の変化量ｂを加算することによって算出する。次に、変化量ｂの加算後の角度値に対して、次の単位時間である時刻ｔ４〜ｔ５までの第２検出データＬ２の変化量ｃを加算し、さらに、この加算後の値に対して次の単位時間に対応する第２検出データＬ２の変化量を順に加算していくことによって作成する。したがって、第２検出期間の時刻ｔにおける推定視線方向データは、直前の時刻ｔ−１のデータを用いると次式で表される。
時刻ｔにおける推定視線方向データＬ３＝（時刻ｔ−１における推定視線方向データＬ３）＋（時刻ｔ−１から時刻ｔの間の第２検出データＬ２の変化量）

視線方向検出部２２によって検出された第１検出データＬ１と、視線方向推定部２３によって検出された第２検出データＬ２とでは、検出方式の違いにより検出精度に差があるため、検出角度値にずれがあるだけでなく、曲線形状も異なっている。よって、時刻ｔ２〜ｔ３について第２検出データＬ２に基づいて算出した推定視線方向データＬ３は、図４と図５に示すように、視線方向検出部２２によって視線方向の検出が可能となった時刻ｔ３において、第１検出データＬ１との間にずれｄを生じる。

時刻ｔ３以降においては、第２検出データＬ２よりも検出精度の高い第１検出データＬ１が得られているため、この第１検出データＬ１を推定視線方向データＬ３とすることが好ましい。しかしながら、時刻ｔ３においては、上述のとおり、第１検出データＬ１と推定視線方向データＬ３との間にずれｄが生じている。このずれｄがあるのに拘わらずに、時刻ｔ３において第１検出データＬ１をそのまま推定視線方向データＬ３につないでしまった場合、推定視線方向データＬ３に基づいた表示が急激に変化するなどの現象が生じるため、これを見ている対象者に混乱等を生じさせるおそれがある。

これに対して、制御部２０は、時刻ｔ３において視線方向検出部２２による検出が再開されると瞬き検出部２６を動作させる。また、制御部２０は、時刻ｔ３から切り替え期間を開始して、視線方向推定部２３に対して、第２検出データＬ２に基づいて推定視線方向データＬ３１（推定視線データ）を算出するように指示信号を出力する。この指示信号を受けた視線方向推定部２３は、時刻ｔ２〜ｔ３の時間における推定視線方向データＬ３の算出と同様に、この時間の最後の時刻ｔ３における推定視線方向データＬ３の角度値に対して、時刻ｔ３からの単位時間あたりの第２検出データＬ２の変化量を加算し、その後も単位時間あたりの変化量を順に加算することによって、推定視線方向データＬ３１を算出する。

この推定視線方向データＬ３１の算出は、瞬き検出部２６による瞬きの検出があるまで継続され、切り替え期間も継続される。また、この推定視線方向データＬ３１の算出の継続中においては、制御部２０は、第２視線方向検出部視線方向推定部２３による検出結果により、対象者の視線方向が角度Ｘ〜−Ｘの範囲にあり、前方の所定範囲に視線を向けていることを検出する。

時刻ｔ３から始まる切り替え期間において、対象者の視線方向が角度Ｘ〜−Ｘの範囲にあり、かつ、瞬き検出部２６によって瞬きが検出されると、制御部２０は、推定視線方向データを、第２検出データＬ２に基づいた推定視線方向データＬ３１から、第１検出データＬ１に基づいた推定視線検出データＬ３２（検出視線データ）へ切り替える（図５の時刻ｔ６）。このように推定視線方向データを切り替えることにより、このデータに基づいた表示に変化があったとしても対象者が視認できないため混乱を与える可能性を抑えることができる。

以下に変形例について説明する。
上述の第１実施形態においては、瞬き検出部２６による瞬きの検出があったときに、第２検出データに基づく推定視線方向データから第１検出データに基づく推定視線方向データへ切り替えていたが、これに代えて、又は、これに加えて、対象者の視線方向が所定の時間にわたって所定範囲から外れたことを検出したときに推定視線方向データを切り替えても良い。前記所定範囲は、例えば、車両の運転者のための表示を行う領域に対応する範囲や、正面方向に対する角度範囲である。また、所定の時間は、受像部２１が取得するフレーム画像の数で、例えば、１〜３である。これにより、対象者がわずかな時間に視線を動かしたような状況において推定視線方向データを切り替えることができ、これによって表示に変化があったとしても対象者が視認しづらくなるため混乱を与える可能性を抑えることができる。
なお、瞬き検出部２６によって瞬きが検出された場合は、視線方向が検出できない状態であることから、対象者の視線方向は所定の時間にわたって所定の範囲から外れている。

以上のように構成されたことから、第１実施形態によれば、次の効果を奏する。
（１）対象者の角膜反射中心の位置を検出できない場合にも視線方向を検出できるとともに、瞳孔中心と角膜反射の位置を検出できる場合と検出できない場合のそれぞれで得られる視線方向の検出結果について、第１検出期間と第２検出期間の検出方式の違いによる検出値のずれや精度の差による影響を排除することができる。
（２）瞬き検出部２６が対象者の瞬きを検出したときに、第２検出データに基づく推定視線方向データから第１検出データに基づく推定視線方向データへ切り替えることにより、対象者の瞬きに合わせて推定視線方向データを切り替えることができるため、第１検出データと第２検出データの検出値のずれや精度の差による影響を、対象者に感じさせずに排除することができる。また、瞬きに合わせて推定視線方向データを切り替えるため、対象者の瞬きを確実かつ迅速に検出することができる。

＜第２実施形態＞
つづいて、本発明の第２実施形態について説明する。第２実施形態においては、第２検出期間から第１検出期間への切り替え期間における推定視線方向データと、その前後の第２検出期間および第１検出期間にそれぞれ対応する推定視線方向データとが連続的につながるように、切り替え期間における推定視線方向データを算出している。

図６は、第２実施形態に係る視線検出装置１１０の構成を示すブロック図である。図７は、第２実施形態の時刻ｔ３以降における推定視線方向データＬ３３、Ｌ３４を示す図である。図７は図５に対応する拡大図である。

図６に示すように、視線検出装置１１０は、制御部１２０と、受像部１２１と、第１視線方向検出部１２２と、第２視線方向検出部１２３と、視線方向算出部１２４と、記憶部１２５とを備える。これらの構成部材のうち、制御部１２０、受像部１２１、第１視線方向検出部１２２、および、記憶部１２５は、第１実施形態の制御部２０、受像部２１、視線方向検出部２２、および、記憶部２５と同様の構成・機能を有するため、その詳細な説明は省略する。

第２視線方向検出部１２３は、第１実施形態の視線方向推定部２３と同様に、対象者の瞳孔中心の位置と角膜反射中心の位置によらずに、顔画像に基づいて対象者の視線方向を検出する。視線方向推定部２３による視線方向の検出は、視線方向検出部２２による検出状態に拘わらず、常時行われ、その検出結果は制御部１２０へ出力され、記憶部１２５に保存される。

視線方向算出部１２４は、第１視線方向検出部１２２による検出結果と第２視線方向検出部１２３による検出結果に基づいて対象者の視線方向を算出する。具体的には、（１）第１視線方向検出部１２２による検出結果が得られる第１検出期間のうち、第２検出期間から第１検出期間への切り替え期間では、第１視線方向検出部１２２によって検出した第１検出データと第２視線方向検出部１２３によって検出した第２検出データとに基づいて推定視線方向データを算出し、（２）第１検出期間のうち、切り替え期間を除く期間では第１検出データに基づいて推定視線方向データを算出し、（３）第１視線方向検出部１２２による検出結果が得られない第２検出期間では第２検出データに基づいて推定視線方向データを算出する。

視線方向算出部１２４においては、第１実施形態の視線方向推定部２３と同様に、第１検出期間から第２検出期間への切り替えにおいて、切り替え後の第２検出期間の推定視線方向データが、切り替え前の第１検出期間の推定視線方向データに対して連続的につながるように、切り替え後の第２検出期間の第２検出データに基づいて推定視線方向データを算出する。

一方、第２検出期間から第１検出期間への切り替えにおいては、後述のとおり、視線方向算出部１２４は、この切り替え期間における推定視線方向データと、その前後の第２検出期間および第１検出期間にそれぞれ対応する推定視線方向データとが連続的につながるように、切り替え期間における推定視線方向データを算出する。

次に、推定視線方向の算出について説明する。図２における、時刻ｔ１〜ｔ２の第１検出期間、および、時刻ｔ２〜ｔ３の第２検出期間の推定視線方向の算出は第１実施形態と同様であるため説明は省略する。また、時刻ｔ２〜ｔ３について第２検出データＬ２に基づいて算出した推定視線方向データＬ３が、図４と図５に示すように、第１視線方向検出部１２２によって視線方向の検出が可能となった時刻ｔ３において、第１検出データＬ１との間にずれｄを生じている点も第１実施形態と同様である。

第２実施形態においては、第２検出期間から第１検出期間への切り替え期間として時刻ｔ３〜ｔ７があらかじめ設定されている。切り替え時間の終了時刻となる時刻ｔ７は、ずれｄの大きさ、時刻ｔ３における推定視線方向データＬ３の角度値、および、時刻ｔ３における第１検出データＬ１と第２検出データＬ２における角度値などに基づいて決定する。また、切り替え期間については、受像部２１によって取得するフレーム画像の数に対応する時間が設定される。このフレーム画像の数は例えば１０である。

視線方向算出部１２４は、この切り替え期間において、次式（１）によって任意の時刻ｔにおける推定視線方向データＬｔを算出し、これにより図７に示す推定視線方向データＬ３３が得られる。
時刻ｔにおける推定視線方向データＬｔ＝［Ｗｔ×Ｌ１ｔ＋（Ｗａ−Ｗｔ）×Ｌ２ｔ］／Ｗａ （１）
ここで、
時刻ｔは、時刻ｔ３と時刻ｔ７の間の任意の時刻、
Ｗａは切り替え期間において取得されるフレーム画像の総数、
Ｗｔは時刻ｔ３から時刻ｔまでに取得されたフレーム画像の数、
Ｌ１ｔは時刻ｔにおける第１検出データＬ１、
Ｌ２ｔは時刻ｔにおける第２検出データＬ２である。

この式（１）によれば、切り替え期間の始点である時刻ｔ３においては、Ｗｔ＝０であって、第２検出データＬ２が推定視線方向データとなり、終点である時刻ｔ７においては、Ｗａ＝Ｗｔであって、第１検出データＬ１が推定視線方向データとなる。時刻ｔ７以降については、視線方向算出部１２４は、第１検出データＬ１を推定視線方向データＬ３４とする。これによって、時刻ｔ３〜ｔ７の切り替え期間における推定視線方向データＬ３３に対して、その前の第２検出期間の推定視線方向データＬ３が連続的につながり、かつ、時刻ｔ７以降の第１検出期間の推定視線方向データＬ３４も連続的につながる。
以上、第２実施形態について説明したが、その他の作用、効果、変形例は第１実施形態と同様である。
本発明について上記実施形態を参照しつつ説明したが、本発明は上記実施形態に限定されるものではなく、改良の目的または本発明の思想の範囲内において改良または変更が可能である。

以上のように、本発明に係る視線検出装置は、車の運転者等の対象者が顔を横に向けたときなどのように角膜反射中心の位置を検出できない場合と、角膜反射中心の位置を検出できる場合とで視線方向の検出値の変動を抑えることができる点で有用である。

１０、１１０ 視線検出部
２０、１２０ 制御部
２１、１２１ 受像部
２２ 視線方向検出部
２３ 視線方向推定部
２４ 視線データ選択部
２５、１２５ 記憶部
２６ 瞬き検出部
１２２ 第１視線方向検出部
１２３ 第２視線方向検出部
１２４ 視線方向算出部

Claims (8)

1. 対象者の顔を含む領域の画像を取得するカメラと、
   前記画像における前記対象者の瞳孔中心の位置と角膜反射中心の位置に基づいて前記対象者の視線方向を検出する視線方向検出部と、
   前記画像に基づいて、前記対象者の瞳孔中心の位置と角膜反射中心の位置によらずに、前記対象者の視線方向を検出する視線方向推定部と、
   前記視線方向検出部によって検出した検出視線データ、および、前記視線方向推定部によって推定した推定視線データの検出結果に基づいて、前記検出視線データと前記推定視線データのどちらかを選択する視線データ選択部とを備え、
   前記視線データ選択部は、（１）前記視線方向検出部による検出結果が得られる第１検出期間では前記検出視線データを選択し、（２）前記視線方向検出部による検出結果が得られない第２検出期間では前記推定視線データを選択し、（３）前記第２検出期間から前記第１検出期間への切り替え期間では、前記視線方向推定部によって検出した前記推定視線データを選択し、
   前記視線データ選択部は、前記切り替え期間において、前記対象者の視線方向が前記視線方向検出部および前記視線方向推定部のいずれによっても検出されないときに、前記推定視線データから前記検出視線データへ切り替えることを特徴とする視線検出装置。
2. 前記画像に基づいて前記対象者の瞬きを検出する瞬き検出部を備え、
   前記視線方向算出部は、前記切り替え期間において、前記瞬き検出部が前記対象者の瞬きを検出したときに、前記推定視線データから前記検出視線データへ切り替えることを特徴とする請求項１に記載の視線検出装置。
3. 前記瞬き検出部は、前記対象者の瞬きの検出として前記瞳孔中心を検出することを特徴とする請求項２に記載の視線検出装置。
4. 前記瞬き検出部は、前記対象者の瞬きの検出として、前記画像の現在画像と直前画像の差分画像において前記対象者のまぶたを検出することを特徴とする請求項２に記載の視線検出装置。
5. 前記瞬き検出部は、前記対象者の瞬きの検出として、前記画像の目の輪郭を検出することを特徴とする請求項２に記載の視線検出装置。
6. 前記瞬き検出部は、前記対象者の瞬きの検出として、前記画像の眼領域の色を検出することを特徴とする請求項２に記載の視線検出装置。
7. 対象者の顔を含む領域の画像を取得するカメラと、
   前記画像における前記対象者の瞳孔中心の位置と角膜反射中心の位置に基づいて前記対象者の視線方向を検出する第１視線方向検出部と、
   前記画像に基づいて、前記対象者の瞳孔中心の位置と角膜反射中心の位置によらずに、前記対象者の視線方向を検出する第２視線方向検出部と、
   前記第１視線方向検出部によって検出した第１検出データ、および、前記第２視線方向検出部によって検出した第２検出データに基づいて推定視線方向データを算出する視線方向算出部とを備え、
   前記視線方向算出部は、（１）前記第１視線方向検出部による検出結果が得られる第１検出期間のうち、前記第２検出期間から前記第１検出期間への切り替え期間では、前記第１視線方向検出部によって検出した第１検出データと前記第２視線方向検出部によって検出した第２検出データとに基づいて推定視線方向データを算出し、（２）前記第１検出期間のうち、前記切り替え期間を除く期間では前記第１検出データに基づいて推定視線方向データを算出し、（３）前記第１視線方向検出部による検出結果が得られない第２検出期間では前記第２検出データに基づいて推定視線方向データを算出し、
   前記視線方向算出部は、前記切り替え期間に対応する前記推定視線方向データと、前記切り替え期間の前後の前記第２検出期間および前記第１検出期間にそれぞれ対応する前記推定視線方向データとが連続的につながるように、前記切り替え期間において前記推定視線方向データを算出することを特徴とする視線検出装置。
8. 前記切り替え期間の時刻ｔにおいて、前記推定視線方向データＬｔが次式（１）によって算出されることを特徴とする請求項７に記載の視線検出装置。
   Ｌｔ＝［Ｗｔ×Ｌ１ｔ＋（Ｗａ−Ｗｔ）×Ｌ２ｔ］／Ｗａ （１）
   ここで、
   Ｗａは切り替え期間において取得されるフレーム画像の総数、
   Ｗｔは時刻ｔ３から時刻ｔまでに取得されたフレーム画像の数、
   Ｌ１ｔは時刻ｔにおける第１検出データＬ１、
   Ｌ２ｔは時刻ｔにおける第２検出データＬ２、
   である。

Images