JP2017097759A - 視線方向検出装置、及び視線方向検出システム - Google Patents

Abstract

【課題】ユーザの視線方向を正確に検出できる視線方向検出装置、及び視線方向検出システムを提供する。
【解決手段】ＨＵＤ（視線方向検出）装置３は、赤外光源２７を用いて赤外光２９を照射する赤外光源２７と、赤外光を、ウインドシールド９又はコンバイナで反射し、ユーザ１３の目１５に向う方向に投射するコールドミラー２１を含む投射ユニットと、赤外光が目に入射する方向とは異なる方向から目を撮影する赤外カメラ５から、目を含む範囲の赤外カメラ画像を取得する画像取得ユニットと、画像取得ユニットが取得した赤外カメラ画像において、瞳孔及びプルキニエ像を認識する認識ユニットと、認識ユニットで認識した瞳孔及びプルキニエ像の位置関係から、ユーザの視線方向を検出する視線方向検出ユニットと、を備える。
【選択図】図１

Description

本発明は、視線方向検出装置、及び視線方向検出システムに関する。

従来、ドライバの視線位置を検出可能なヘッドアップディスプレイ装置が知られている。特許文献１に記載のヘッドアップディスプレイ装置では、表示光の光路を利用して、赤外光をドライバの目に投射する。また、表示光の光路を利用してドライバの顔を撮影する。撮影により得られた赤外カメラ画像から、ドライバの視点位置を検出する。

特開２００８−１５５７２０号公報

ドライバの視線方向を検出することは、ヘッドアップディスプレイ装置の調整等、種々の用途に用いることができ、有用である。特許文献１記載の発明により得られた赤外カメラ画像において、瞳孔及びプルキニエ像を認識し、認識した瞳孔及びプルキニエ像の位置関係から、ドライバの視線方向を検出することが考えられる。しかしながら、特許文献１記載の発明により得られた赤外カメラ画像に基づき、視線方向を正確に検出することは困難であった。

本発明は、こうした問題にかんがみてなされたものであり、ユーザの視線方向を正確に検出できる視線方向検出装置、及び視線方向検出システムを提供することを目的としている。

本開示の視線方向検出装置（３、１０３）は、赤外光源（２７）を用いて赤外光（２９）を照射する赤外光照射ユニット（３７）と、赤外光を、ウインドシールド（９）又はコンバイナ（５３）で反射し、ユーザ（１３）の目（１５）に向う方向に投射する投射ユニット（２１、２３、２５）と、赤外光が目に入射する方向とは異なる方向から目を撮影する赤外カメラ（５）から、目を含む範囲の赤外カメラ画像を取得する画像取得ユニット（３９）と、画像取得ユニットが取得した赤外カメラ画像において、瞳孔（４９）及びプルキニエ像（５１）を認識する認識ユニット（４１）と、認識ユニットで認識した瞳孔及びプルキニエ像の位置関係から、ユーザの視線方向を検出する視線方向検出ユニット（４３）とを備える。

本開示の視線方向検出装置によれば、赤外カメラ画像において、瞳孔及びプルキニエ像を正確に認識することができる。その結果、ユーザの視線方向を正確に検出できる。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

視線方向検出システム１の構成を表す説明図である。 赤外カメラ５の位置を表す説明図である。 ＨＵＤ装置３の構成を表す斜視図である。 ＨＵＤ装置３の構成を表す平面図である。 視線方向検出システム１の電気的構成を表すブロック図である。 制御部３１の機能的要素を表すブロック図である。 ＨＵＤ装置３が実行する処理を表すフローチャートである。 瞳孔４９とプルキニエ像５１との位置関係を表す説明図である。 瞳孔が周囲の虹彩より暗い像となっている赤外カメラ画像を表す図面である。 瞳孔が周囲の虹彩より明るい像となっている赤外カメラ画像を表す図面である。 視線方向検出システム１の構成を表す説明図である。 視線方向検出装置１０３の構成を表す斜視図である。

本開示の実施形態を図面に基づき説明する。
＜第１実施形態＞
１．視線方向検出システム１の構成
視線方向検出システム１の構成を図１〜図６に基づき説明する。図１に示すように、視線方向検出システム１は、ヘッドアップディスプレイ装置３と、赤外カメラ５とを備える。以下では、ヘッドアップディスプレイ装置３をＨＵＤ装置３と表記することもある。なお、ＨＵＤ装置３は視線方向検出装置に対応する。

視線方向検出システム１は車両に搭載されている。視線方向検出システム１が搭載されている車両を以下では自車両とする。図１、図３に示すように、ＨＵＤ装置３は、表示画像を表示する表示光７を、自車両のウインドシールド９に投射する。表示光７は可視光である。ウインドシールド９のうち、表示光７が入射する領域を表示領域１１とする。ウインドシールド９で反射した表示光７は、ドライバ１３の目１５に入射する。ドライバ１３は、ウインドシールド９の前方に、表示画像の虚像１７を見ることができる。すなわち、ＨＵＤ装置３は、表示光７を、ウインドシールド９で反射し、目１５に向う方向に投射する。

ＨＵＤ装置３は、図３、図４に示すように、表示光照射ユニット１９と、コールドミラー２１と、凹面鏡２３と、駆動部２５と、赤外光源２７とを備える。なお、コールドミラー２１と、凹面鏡２３と、駆動部２５とは、投射ユニットに対応する。

表示光照射ユニット１９は、表示光７を照射する。コールドミラー２１は表示光７を反射する。コールドミラー２１は、可視光である表示光７は反射するが、後述する赤外光２９は透過させる特性を有する。凹面鏡２３は、コールドミラー２１により反射された表示光７をさらに反射し、ウインドシールド９に向けて投射する。また、凹面鏡２３は、表示光７を拡大する。駆動部２５は、後述する制御部３１から送られる信号に応じて凹面鏡２３の角度を変更する。凹面鏡２３の角度が変化すると、表示光７及び赤外光２９を投射する方向が変化し、さらに、ウインドシールド９で反射した後の表示光７及び赤外光２９の光路も変化する。

赤外光源２７は赤外光２９を照射する。照射された赤外光２９は、コールドミラー２１を透過し、凹面鏡２３で反射し、ウインドシールド９でさらに反射し、目１５に入射する。コールドミラー２１を透過した後の赤外光２９の光路は、コールドミラー２１で反射した後の表示光７の光路と同じである。

次に、ＨＵＤ装置３の電気的な構成を図５、図６に基づき説明する。ＨＵＤ装置３は、上述した赤外光源２７、駆動部２５、及び表示光照射ユニット１９に加えて、制御部３１を備える。

制御部３１は、ＣＰＵ３３と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下、メモリ３５とする）と、を有する周知のマイクロコンピュータを中心に構成される。制御部３１の各種機能は、ＣＰＵ３３が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ３５が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、制御部３１を構成するマイクロコンピュータの数は１つでも複数でもよい。

制御部３１は、ＣＰＵ３３がプログラムを実行することで実現される機能の要素として、図６に示すように、赤外光照射ユニット３７と、画像取得ユニット３９と、認識ユニット４１と、視線方向検出ユニット４３と、表示光照射ユニット４５と、調整ユニット４６と、出力ユニット４８と、を備える。制御部３１を構成するこれらの要素を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現してもよい。

また、制御部３１は、赤外カメラ５と接続しており、赤外カメラ５を制御する。また、制御部３１は、赤外カメラ５から、後述する赤外カメラ画像を取得することができる。
図１、図２に示すように、赤外カメラ５は、ダッシュボード４７に取り付けられている。赤外カメラ５は、赤外領域の波長における画像を作成する。赤外カメラ５が作成する画像（以下では赤外カメラ画像とする）の範囲には、目１５が含まれる。図１に示すように、赤外光２９が目１５に入射する方向ｄ_１と、赤外カメラ５が目を撮影する方向ｄ_２とは異なる。方向ｄ_１と方向ｄ_２とが成す角度をθとする。θの絶対値は０°より大きい。θは、後述する赤外カメラ画像において、瞳孔を、その周囲の虹彩よりも暗い像とする範囲内にある。なお、θの絶対値が大きいほど、赤外カメラ画像において、瞳孔はその周囲の虹彩よりも暗い像となり易い。赤外カメラ５は、生成した赤外カメラ画像を制御部３１に出力する。

２．視線方向検出システム１が実行する視線方向検出処理
視線方向検出システム１が実行する視線方向検出処理を図７〜図９に基づき説明する。視線方向検出処理は、ドライバ１３が指示したタイミングで実行してもよいし、予め設定されたタイミングで実行してもよいし、所定時間ごとに繰り返し実行してもよい。

図７のステップ１では、赤外光照射ユニット３７が、赤外光源２７を用いて、赤外光２９を照射する。この赤外光２９は、上述したとおり、コールドミラー２１を透過し、凹面鏡２３で反射し、ウインドシールド９でさらに反射し、目１５に入射する。

ステップ２では、画像取得ユニット３９が、赤外カメラ５を用いて、赤外カメラ画像を取得する。
ステップ３では、認識ユニット４１が、前記ステップ２で取得した赤外カメラ画像において、周知の画像認識技術により、図８に示す瞳孔４９及びプルキニエ像５１を認識する。プルキニエ像５１とは、角膜表面における反射像である。

図９に示すように、前記ステップ２で取得した赤外カメラ画像において瞳孔４９は、その周囲の虹彩よりも暗い像となる。なお、θが０°の場合、図１０に示すように、赤外カメラ画像において瞳孔は、その周囲の虹彩よりも明るい像となる。

ステップ４では、視線方向検出ユニット４３が、前記ステップ３で認識した瞳孔４９及びプルキニエ像５１の位置関係から、ドライバ１３の視線方向を検出する。
図８に示すように、ドライバ１３の視線方向と、瞳孔４９及びプルキニエ像５１の位置関係とには相関関係がある。視線方向検出ユニット４３は、予め、瞳孔４９及びプルキニエ像５１の位置関係と、ドライバ１３の視線方向との相関関係を規定するマップを備えている。視線方向検出ユニット４３は、前記ステップ３で認識した瞳孔４９及びプルキニエ像５１の位置関係を、そのマップに入力することで、ドライバ１３の視線方向を検出する。

ステップ５では、調整ユニット４６が駆動部２５を用いて、凹面鏡２３の向きを調整する。その調整は、前記ステップ４で検出したドライバ１３の視線方向に応じて、表示光７の光路を調整するものである。

ステップ６では、出力ユニット４８が、前記ステップ４で検出したドライバ１３の視線方向を他の車載装置に出力する。
なお、他の車載装置としては、例えば、ドライバ１３の視線方向に基づき、ドライバ１３が周囲の物標を視認した否かを判断し、視認していないと判断した場合は、警報を出力したり、自車両に対し処理を行ったりする装置が挙げられる。上記の物標としては、例えば、信号機、交通標識、他の車両、歩行者等が挙げられる。また、上記の自車両に対する処理としては、例えば、警報処理、自動ブレーキ、自動操舵等が挙げられる。

３．ＨＵＤ装置３が実行する表示処理
ＨＵＤ装置３は、周知のＨＵＤ装置と基本的には同様の表示処理を行う。表示光照射ユニット１９は、表示光７を照射する。表示光７は、コールドミラー２１、凹面鏡２３、及びウインドシールド９で順次反射し、目１５に入射する。ドライバ１３は、ウインドシールド９の前方に、表示画像の虚像１７を見る。なお、凹面鏡２３の角度は、前記ステップ５の処理により調整された角度である。

４．視線方向検出システム１が奏する効果
（１Ａ）視線方向検出システム１は、赤外カメラ５から、目１５を含む範囲の赤外カメラ画像を取得する。赤外カメラ５は、赤外光２９が目１５に入射する方向ｄ_１とは異なる方向ｄ_２から目１５を撮影する。そのため、赤外カメラ画像において、瞳孔４９及びプルキニエ像５１を一層正確に認識することができる。その結果、ドライバ１３の視線方向を一層正確に検出できる。

（１Ｂ）ＨＵＤ装置３は、コールドミラー２１、凹面鏡２３、及び駆動部２５を用いて、表示光７及び赤外光２９を投射する。そのため、赤外光２９を投射するための光学系を別に設ける必要がない。その結果、視線方向検出システム１をコンパクト化することができる。

（１Ｃ）ＨＵＤ装置３は、表示光７を反射するとともに、赤外光２９を透過させるコールドミラー２１を含む。コールドミラー２１で反射した表示光７と、コールドミラー２１を透過した赤外光２９とは、同じ光路を進む。そのことにより、ＨＵＤ装置３の構成を一層簡略化することができる。

（１Ｄ）視線方向検出システム１において、θの値は、赤外カメラ画像において瞳孔４９が、その周囲の虹彩よりも暗い像となる範囲内である。そのことにより、赤外カメラ画像において、瞳孔４９及びプルキニエ像５１を一層正確に認識することができる。その結果、ドライバ１３の視線方向を一層正確に検出できる。

（１Ｅ）赤外カメラ５はダッシュボード４７に設けられている。そのため、θの値を十分に大きくすることができる。
＜第２実施形態＞
１．第１実施形態との相違点
第２実施形態は、基本的な構成は第１実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。なお、第１実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。

前述した第１実施形態では、ウインドシールド９において表示光７及び赤外光２９を反射した。これに対し、第２実施形態では、図１１に示すように、コンバイナ５３において表示光７及び赤外光２９を反射する点で、第１実施形態と相違する。コンバイナ５３で反射した表示光７及び赤外光２９は、目１５に入射する。

２．視線方向検出システム１が奏する効果
以上詳述した第２実施形態によれば、前述した第１実施形態の効果と同様の効果が得られる。
＜第３実施形態＞
１．第１実施形態との相違点
第３実施形態は、基本的な構成は第１実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。なお、第１実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。

前述した第１実施形態では、ＨＵＤ装置３を用いた。これに対し、第３実施形態では、視線方向検出装置１０３を用いる。視線方向検出装置１０３は、表示光７を投射する機能を有さない。図１２に示すように、視線方向検出装置１０３は、凹面鏡２３と、駆動部２５と、赤外光源２７とを備える。なお、凹面鏡２３と、駆動部２５とは、投射ユニットに対応する。赤外光２９の光路は、第１実施形態と同様である。

２．視線方向検出システム１が奏する効果
以上詳述した第３実施形態によれば、前述した第１実施形態の効果（１Ａ）、（１Ｄ）と同様の効果が得られる。
＜他の実施形態＞
以上、本発明を実施するための形態について説明したが、本発明は上述の実施形態に限定されることなく、種々変形して実施することができる。

（１）赤外カメラ５の位置は適宜選択できる。例えば、ルームミラー等に赤外カメラ５を取り付けてもよい。
（２）視線方向検出システム１は、ドライバ１３以外の自車両の乗員の視線方向を検出してもよい。

（３）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

（４）上述したＨＵＤ装置の他、当該ＨＵＤ装置を構成要素とするシステム、当該ＨＵＤ装置の制御部としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、視線検出方法、ＨＵＤ装置の調整方法等、種々の形態で本発明を実現することもできる。

３…ＨＵＤ装置、５…赤外カメラ、７…表示光、９…ウインドシールド、１３…ドライバ、１５…目、２１…コールドミラー、２３…凹面鏡、２５…駆動部、２７…赤外光源、２９…赤外光、３７…赤外光照射ユニット、３９…画像取得ユニット、４１…認識ユニット、４３…視線方向検出ユニット、４９…瞳孔、５１…プルキニエ像、５３…コンバイナ、１０３…視線方向検出装置

Claims (6)

1. 赤外光源（２７）を用いて赤外光（２９）を照射する赤外光照射ユニット（３７）と、
   前記赤外光を、ウインドシールド（９）又はコンバイナ（５３）で反射し、ユーザ（１３）の目（１５）に向う方向に投射する投射ユニット（２１、２３、２５）と、
   前記赤外光が前記目に入射する方向とは異なる方向から前記目を撮影する赤外カメラ（５）から、前記目を含む範囲の赤外カメラ画像を取得する画像取得ユニット（３９）と、
   前記画像取得ユニットが取得した前記赤外カメラ画像において、瞳孔（４９）及びプルキニエ像（５１）を認識する認識ユニット（４１）と、
   前記認識ユニットで認識した前記瞳孔及び前記プルキニエ像の位置関係から、前記ユーザの視線方向を検出する視線方向検出ユニット（４３）と、
   を備える視線方向検出装置（３、１０３）。
2. 請求項１に記載の視線方向検出装置であって、
   表示画像を表示する表示光を照射する表示光照射ユニット（１９）をさらに備え、
   前記投射ユニットは、前記表示光照射ユニットが照射する前記表示光（７）を、前記ウインドシールド又は前記コンバイナで反射し、ユーザの目に向う方向に投射することで、前記ユーザに前記表示画像の虚像（１７）を表示するように構成された視線方向検出装置。
3. 請求項２に記載の視線方向検出装置であって、
   前記投射ユニットは、前記表示光を反射するとともに、前記赤外光を透過させるコールドミラー（２１）を含み、
   前記コールドミラーで反射した前記表示光と、前記コールドミラーを透過した前記赤外光とは、同じ光路を進む視線方向検出装置。
4. 請求項１〜３のいずれか１項に記載の視線方向検出装置と、
   前記赤外カメラと、
   を備える視線方向検出システム（１）。
5. 請求項４に記載の視線方向検出システムであって、
   前記赤外光が前記目に入射する方向と、前記赤外カメラが前記目を撮影する方向とが成す角度は、前記赤外カメラ画像において前記瞳孔が、その周囲の虹彩よりも暗い像となる範囲内である視線方向検出システム。
6. 請求項４又は５に記載の視線方向検出システムであって、
   前記赤外カメラはダッシュボード（４７）に設けられている視線方向検出システム。