JP2007004448A

JP2007004448A - 視線検出装置

Info

Publication number: JP2007004448A
Application number: JP2005183436A
Authority: JP
Inventors: Koutaro Takashima; 孝太朗高島; Akio Takahashi; 昭夫高橋; Akihito Kimata; 亮人木俣
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2005-06-23
Filing date: 2005-06-23
Publication date: 2007-01-11

Abstract

【課題】眼鏡の有無に関わらずに検出対象者の視線を精度良く検出する。
【解決手段】画像取得部３２は、発光制御部３１から出力される赤外線ＬＥＤ２２の発光状態を制御する制御指令に基づき、赤外線ＬＥＤ２２による赤外線の照射実行時に視線センサ１２の撮影により得られた画像データを照射時画像として取得し、赤外線ＬＥＤ２２による赤外線の非照射実行時に視線センサ１２の撮影により得られた画像データを非照射時画像として取得する。差分画像生成部３３は、照射時画像と非照射時画像との差分に係る差分画像を生成する。視線算出部３６は、差分画像生成部３３から入力される差分画像に対する運転者の眼球を検知対象物とした特徴量算出および形状判別等の認識処理により検出した虹彩の中心位置と、プルキニエ像の中心位置から算出される眼球中心位置とに基づき視線ベクトルを算出し、視線ベクトルに基づき視線の対象位置を算出する。
【選択図】図１

Description

本発明は、視線検出装置に関する。

従来、例えば近赤外線領域において撮像可能なカメラにより自車両の運転者の顔を撮像し、撮像により得られる画像から運転者の目を検出する顔画像処理装置が知られている（例えば、特許文献１参照）。この顔画像処理装置では、目の縦方向に沿った黒レベル抽出処理および目の横方向に沿った黒レベル抽出処理により、眼鏡を装着した顔に対する画像から眼鏡の縦枠および横枠を除去し、運転者の目を検出するようになっている。
特開２００３−１１５０４３号公報

ところで、上記従来技術によれば、単に、画像から眼鏡の縦枠および横枠を除去するだけであるから、例えば眼鏡で光が反射されることで、運転者の目を明確に撮像することができない場合においては、目の検出精度が低下あるいは目の検出自体が不可となる虞がある。
本発明は上記事情に鑑みてなされたもので、眼鏡の有無に関わらずに検出対象者の視線を精度良く検出することが可能な視線検出装置を提供することを目的とする。

上記課題を解決して係る目的を達成するために、請求項１に記載の本発明の視線検出装置は、検出対象者の眼球を撮影する撮影手段（例えば、実施の形態での赤外線カメラ２１）と、前記検出対象者の眼球に赤外線を照射する赤外線照射手段（例えば、実施の形態での赤外線ＬＥＤ２２）と、前記赤外線照射手段による照射実行時に前記撮影手段の撮影により得られる照射時画像と、前記赤外線照射手段による非照射実行時に前記撮影手段の撮影により得られる非照射時画像との差分に係る差分画像（例えば、実施の形態での差分画像ＰＣ）を生成する差分画像生成手段（例えば、実施の形態での差分画像生成部３３）と、前記差分画像に基づき前記検出対象者の視線を検出する視線検出手段（例えば、実施の形態での視線算出部３６）とを備えることを特徴としている。

上記構成の視線検出装置によれば、照射時画像には、赤外線照射手段により照射された赤外線と、撮影環境での他の光線（例えば、太陽光線等）とが撮影され、非照射時画像には、赤外線照射手段により照射される赤外線が排除されて、撮影環境での他の光線（例えば、太陽光線等）のみが撮影される。このため、照射時画像と非照射時画像との差分に係る差分画像を生成することで、赤外線照射手段により照射された赤外線の情報のみを抽出することができる。

これにより、例えば検出対象者が眼鏡を装着している際に、太陽光線等の撮影環境での他の光線が検出対象者の眼鏡で反射され、この反射光が赤外線照射手段により照射されて眼球で反射した赤外線と共に撮影されてしまう場合であっても、例えば検出対象者の眼球のプルキニエ像（つまり角膜表面における赤外線の反射像）や虹彩や瞳孔等のように視線を検知するために必要とされる各種の情報を精度良く検出することができ、視線検出の検出精度が低下することを防止することができる。

本発明の視線検出装置によれば、視線検出が不可となる状態が発生することを抑制しつつ、視線検出の検出精度が低下することを防止することができる。

以下、本発明の一実施形態に係る視線検出装置について添付図面を参照しながら説明する。
本実施の形態による視線検出装置１０は、例えば図１に示すように、自車両の運転者の視線を検出するためにＣＰＵ等を含む電子回路により構成された検出制御装置１１と、視線センサ１２とを備えて構成されている。

視線センサ１２は、例えば図２に示すように、車室内のインストルメントパネルやダッシュボード上部等に設けられ、例えばＣＣＤカメラやＣＭＯＳカメラ等の可視光領域から赤外線領域に亘って撮影可能な赤外線カメラ２１と、運転者の眼球に向けて赤外線を照射する赤外線発光ダイオード（赤外線ＬＥＤ）２２と、画像処理部２３とを備えて構成されている。

赤外線カメラ２１は、検出制御装置１１の制御により赤外線ＬＥＤ２２から運転者の眼球に向けて照射された赤外線の反射を撮影する。また、赤外線カメラ２１には、赤外線ＬＥＤ２２から照射される赤外線の波長（例えば、８８０ｎｍ程度）よりも長い波長の赤外線（特に、中赤外線および遠赤外線）の透過率が相対的に低く設定されたＩＲフィルタ２４が備えられている。
画像処理部２３は、赤外線カメラ２１により撮影して得た画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して検出制御装置１１へ出力する。
なお、この画像処理部２３は、検出制御装置１１に備えられてもよく、この場合には、画像処理部２３は、後述する画像取得部３２からの出力に所定の画像処理を行う。

検出制御装置１１は、赤外線ＬＥＤ２２の発光状態を制御する発光制御部３１と、視線センサ１２から画像データが入力される画像取得部３２と、差分画像生成部３３と、虹彩検出部３４と、プルキニエ像検出部３５と、視線算出部３６とを備えて構成されている。

画像取得部３２は、発光制御部３１から出力される赤外線ＬＥＤ２２の発光状態を制御する制御指令に基づき、赤外線ＬＥＤ２２による赤外線の照射実行時に視線センサ１２の撮影により得られた画像データを照射時画像（例えば、図３（ａ）に示す照射時画像ＰＡ）として取得し、赤外線ＬＥＤ２２による赤外線の非照射実行時に視線センサ１２の撮影により得られた画像データを非照射時画像（例えば、図３（ｂ）に示す非照射時画像ＰＢ）として取得する。
差分画像生成部３３は、照射時画像と非照射時画像との差分（例えば、各画像を構成する画素毎の情報の差分）に係る差分画像（例えば、図３（ｃ）に示す差分画像ＰＣ）を生成する。

虹彩検出部３４は、差分画像生成部３３から入力される差分画像に対して、例えば運転者の眼球（例えば図４（ａ），（ｃ）に示す眼球Ｏ）を検知対象物とした特徴量算出および形状判別等の認識処理を行い、虹彩（例えば図４（ａ），（ｃ）に示す虹彩Ｑ）の中心位置を検出する。

プルキニエ像検出部３５は、差分画像生成部３３から入力される差分画像に対して、例えば運転者の眼球（例えば図４（ａ），（ｃ）に示す眼球Ｏ）を検知対象物とした特徴量算出および形状判別等の認識処理を行い、角膜表面における赤外線の反射像であるプルキニエ像（例えば図４（ａ），（ｃ）に示すプルキニエ像Ｒ）の中心位置を検出する。
視線算出部３６は、虹彩の中心位置と、プルキニエ像の中心位置から算出される眼球中心位置とに基づき視線ベクトルを算出し、この視線ベクトルに基づき視線の対象位置を算出する。

本実施の形態による視線検出装置１０は上記構成を備えており、次に、この視線検出装置１０の動作について説明する。

先ず、例えば図５に示すステップＳ０１においては、赤外線ＬＥＤ２２による赤外線の照射実行と照射停止とを適宜のタイミングで切り換える明滅作動を開始する。
次に、ステップＳ０２においては、赤外線ＬＥＤ２２の発光状態であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ０４に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０３に進む。

そして、ステップＳ０３においては、赤外線ＬＥＤ２２による赤外線の照射実行時に視線センサ１２の撮影により得られた照射時画像を取得する。
また、ステップＳ０４においては、赤外線ＬＥＤ２２による赤外線の照射停止時に視線センサ１２の撮影により得られた非照射時画像を取得する。

そして、ステップＳ０５においては、照射時画像と非照射時画像との差分（例えば、各画像を構成する画素毎の情報の差分）に係る差分画像を生成する。
そして、ステップＳ０６においては、差分画像に対して、例えば運転者の眼球を検知対象物とした特徴量算出および形状判別等の認識処理を行い、虹彩の中心位置およびプルキニエ像の中心位置を検出し、虹彩の中心位置と、プルキニエ像の中心位置から算出される眼球中心位置とに基づき視線ベクトルを算出し、この視線ベクトルに基づき視線の対象位置を算出して、一連の処理を終了する。

上述したように、本実施の形態による視線検出装置１０によれば、運転者が眼鏡を装着しているか否かに関わらずに、例えば虹彩やプルキニエ像等のように視線を検知するために必要とされる各種の情報を精度良く検出することができ、視線検出の検出精度が低下することを防止することができる。

つまり、赤外線カメラ２１は、赤外線ＬＥＤ２２から照射される赤外線と、撮影環境での他の光線（例えば、太陽光線等）とを撮影可能であることから、例えば運転者が眼鏡を装着している際に、太陽光線等の撮影環境での他の光線が眼鏡で反射され、この反射光が赤外線ＬＥＤ２２から照射されて眼球で反射した赤外線と共に赤外線カメラ２１に入射する場合には、例えば図３（ａ）に示すように、照射時画像ＰＡには赤外線ＬＥＤ２２から照射される赤外線と、撮影環境での他の光線とが撮影され、例えば図４（ａ）に示すように、この照射時画像ＰＡに対する眼球を検知対象物とした認識処理の結果において、虹彩Ｑおよびプルキニエ像Ｒの検出が困難となる。

これに対して、赤外線ＬＥＤ２２による赤外線の照射を停止すると、例えば図３（ｂ）に示すように、非照射時画像ＰＢには赤外線ＬＥＤ２２から照射される赤外線の成分が含まれずに、撮影環境での他の光線のみが撮影され、例えば図４（ｂ）に示すように、この非照射時画像ＰＢに対する眼球を検知対象物とした認識処理の結果において、太陽光線等の撮影環境での他の光線の眼鏡Ｇでの反射が検出される。
このため、例えば図３（ｃ）に示すように、照射時画像ＰＡと非照射時画像ＰＢとの差分に係る差分画像ＰＣを生成することで、例えば図４（ｃ）に示すように、この差分画像ＰＣに対する眼球を検知対象物とした認識処理の結果において、虹彩Ｑおよびプルキニエ像Ｒを精度良く検出することができる。

なお、上述した実施の形態において、虹彩検出部３４を備え、虹彩の中心位置と、プルキニエ像の中心位置から算出される眼球中心位置とに基づき視線ベクトルおよび対象位置を算出するとしたが、これに限定されず、例えば瞳孔（例えば図４（ａ），（ｃ）に示す瞳孔Ｓ）を検出する瞳孔検出部を備え、瞳孔の中心位置と、プルキニエ像の中心位置から算出される眼球中心位置とに基づき視線ベクトルおよび対象位置を算出してもよい。
さらには、虹彩の中心位置と、瞳孔の中心位置との双方を用いることで、検出精度を向上させることが可能である。

本発明の一実施形態に係る視線検出装置の構成図である。図１に示す視線センサを搭載した車両の車室内を車幅方向に沿って見た図である。図３（ａ）は照射時画像ＰＡの一例を示す図であり、図３（ｂ）は非照射時画像ＰＢの一例を示す図であり、図３（ｃ）は差分画像ＰＣの一例を示す図である。図４（ａ）は照射時画像ＰＡに対する認識処理の結果の一例を示す図であり、図４（ｂ）は非照射時画像ＰＢに対する認識処理の結果の一例を示す図であり、図４（ｃ）は差分画像ＰＣに対する認識処理の結果の一例を示す図である。図１に示す視線検出装置の動作を示すフローチャートである。

符号の説明

１０視線検出装置
２１赤外線カメラ（撮影手段）
２２赤外線ＬＥＤ（赤外線照射手段）
３３差分画像生成部（差分画像生成手段）
３６視線算出部（視線検出手段）

Claims

検出対象者の眼球を撮影する撮影手段と、
前記検出対象者の眼球に赤外線を照射する赤外線照射手段と、
前記赤外線照射手段による照射実行時に前記撮影手段の撮影により得られる照射時画像と、前記赤外線照射手段による非照射実行時に前記撮影手段の撮影により得られる非照射時画像との差分に係る差分画像を生成する差分画像生成手段と、
前記差分画像に基づき前記検出対象者の視線を検出する視線検出手段と
を備えることを特徴とする視線検出装置。