JP2014094186A - 視線検出装置および視線検出方法 - Google Patents

Abstract

【課題】精度良く視線を検出する。
【解決手段】被験者に対して赤外光を照射する照射部と、被験者に対して赤外光が照射されているタイミングにおいて被験者の目の画像を撮像する撮像部と、被験者の目の画像における瞳孔像の輝度に応じて、被験者の目に対して照射する可視光の光量を調整する調整部と、可視光の光量の調整後において、被験者の目の画像における瞳孔像および赤外光が角膜表面で反射した角膜反射像に基づき被験者の視線を検出する視線検出部と、を備える視線検出装置を提供する。
【選択図】図３

Description

この発明は、視線検出装置および視線検出方法に関する。

最近、発達障害者が増加傾向にあると言われている。発達障害は、早期に発見し、療育を開始することで、その症状を軽減し、社会に適応できる効果が高くなることがわかっている。我が国においても、１歳半検診時の問診などによる早期発見を目指している。

発達障害児の特徴として、対面する相手の目を見ない（視線をそらす）ことが挙げられる。この特徴を利用した診断方法として、検査対象となる被験者に人物の顔画像を見せ、その際の被験者の注視点に基づいて発達障害を診断する方法が知られている（例えば、特許文献１参照）。

注視点を検出する技術として、カメラ近傍から赤外光を照射して被験者の目を撮像し、撮像画像の瞳孔の中心と角膜反射像との位置関係に基づき被験者の視線の方向を検出して注視点を特定する方法が知られている（例えば、特許文献２参照）。角膜反射像は、照射した赤外光が角膜表面において反射して画像に写り込んだ、瞳孔よりも明るく小さなスポット状の像である。

特開２０１１−２０６５４２号公報 特開２００８−１２５６１９号公報 特開２００７−５８５０７号公報

しかしながら、瞳孔像の中心位置と角膜反射像との位置関係に基づき被験者の視線方向を検出する方法は、被験者の目の特性（例えば瞳孔の輝度）等のバラツキにより、視線方向を精度良く検出することができない場合がある。このようなバラツキを補正する方法として赤外光の照射光量を調整する方法が知られている（例えば、特許文献３参照）。

しかし、この方法は、瞳孔が開いている（瞳孔の開口が大きい）状態において赤外光の光量を減少させると角膜反射像の輝度が減少してしまい角膜反射像の検出が困難となってしまう、という問題があった。さらに、この方法は、瞳孔が閉じている（瞳孔の開口が小さい）状態において赤外光の光量を増加させても瞳孔の輝度はそれほど高くならない、という問題もあった。

本発明は、上記に鑑みてなされたものであって、精度良く視線を検出することができる視線検出装置および視線検出方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る視線検出装置は、被験者に対して赤外光を照射する照射部と、前記被験者に対して赤外光が照射されているタイミングにおいて前記被験者の目の画像を撮像する撮像部と、前記被験者の目の画像における瞳孔像の輝度に応じて、前記被験者の目に対して照射する可視光の光量を調整する調整部と、前記可視光の光量の調整後において、前記被験者の目の画像における前記瞳孔像および前記赤外光が角膜表面で反射した角膜反射像に基づき前記被験者の視線を検出する視線検出部と、を備える。

また、本発明に係る視線検出方法は、被験者に対して赤外光を照射する照射ステップと、前記被験者に対して赤外光が照射されているタイミングにおいて前記被験者の目の画像を撮像する撮像ステップと、前記被験者の目の画像における瞳孔像の輝度に応じて、前記被験者の目に対して照射する可視光の光量を調整する調整ステップと、前記可視光の光量の調整後において、前記被験者の目の画像における前記瞳孔像および前記赤外光が角膜表面で反射した角膜反射像に基づき前記被験者の視線を検出する視線検出ステップと、を含む。

本発明によれば、精度良く視線を検出することができる。

図１は、本実施形態に係る診断支援装置１００の概略構成を示す図である。 図２は、診断支援装置１００の処理に利用される座標系を示す図である。 図３は、本実施形態に係る診断支援装置１００の詳細構成を示す図である。 図４は、被験者の注視点を検出する方法を説明するための図である。 図５は、瞳孔の中心位置および角膜反射像の位置を検出する処理の流れを示すフローチャートである。 図６−１は、明瞳孔画像および明瞳孔画像における角膜反射像を通る水平ラインの輝度分布を示す図である。 図６−２は、暗瞳孔画像および暗瞳孔画像における角膜反射像を通る水平ラインの輝度分布を示す図である。 図６−３は、明瞳孔画像と暗瞳孔画像との差分画像および差分画像における角膜反射像を通る水平ラインの輝度分布を示す図である。 図７−１は、瞳孔が広がっており瞳孔像２１２の輝度が高い状態の明瞳孔画像を示す図である。 図７−２は、瞳孔が狭くなっており瞳孔像２１２の輝度が低い状態の明瞳孔画像を示す図である。 図８−１は、瞳孔が広がっている状態における、明瞳孔画像および明瞳孔画像における角膜反射像を通る水平ラインの輝度分布を示す図である。 図８−２は、瞳孔が広がっている状態における、暗瞳孔画像および暗瞳孔画像における角膜反射像を通る水平ラインの輝度分布を示す図である。 図８−３は、瞳孔が広がっている状態における、明瞳孔画像と暗瞳孔画像との差分画像および差分画像における角膜反射像を通る水平ラインの輝度分布を示す図である。 図９−１は、瞳孔が狭まっている状態における、明瞳孔画像および明瞳孔画像における角膜反射像を通る水平ラインの輝度分布を示す図である。 図９−２は、瞳孔が狭まっている状態における、暗瞳孔画像および暗瞳孔画像における角膜反射像を通る水平ラインの輝度分布を示す図である。 図９−３は、瞳孔が狭まっている状態における、明瞳孔画像と暗瞳孔画像との差分画像および差分画像における角膜反射像を通る水平ラインの輝度分布を示す図である。 図１０−１は、輝度を高くした場合における第１表示部１０１の画面を示す図である。 図１０−２は、輝度を低くした場合における第１表示部１０１の画面を示す図である。 図１１−１は、端部ＬＥＤ照明３１１の輝度を高くした場合における第１表示部１０１の画面を示す図である。 図１１−２は、端部ＬＥＤ照明３１１の輝度を低くした場合における第１表示部１０１の画面を示す図である。 図１２−１は、端部領域３１２に輝度の高い画像を表示した場合における第１表示部１０１の画面を示す図である。 図１２−２は、端部領域３１２に輝度の低い画像を表示した場合における第１表示部１０１の画面を示す図である。 図１３は、第１表示部１０１の輝度を調整することにより被験者の目に対して照射する可視光の光量を調整する処理を示すフローチャートである。 図１４は、第１表示部１０１に表示する映像コンテンツを切り替えることにより被験者の目に対して照射する可視光の光量を調整する処理を示すフローチャートである。 図１５は、端部ＬＥＤ照明３１１の輝度を調整することにより被験者の目に対して照射する可視光の光量を調整する処理を示すフローチャートである。 図１６は、端部領域３１２に表示する画像の輝度を切り替えることにより被験者の目に対して照射する可視光の光量を調整する処理を示すフローチャートである。

以下に、本発明に係る視線検出装置および視線検出方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。

図１は、本実施の形態に係る診断支援装置１００の概略構成を示す図である。診断支援装置１００は、医師による発達障害の診断の指標となる評価値を得るための検査、すなわち診断を支援するための検査を行う装置である。

診断支援装置１００は、第１表示部１０１と、第２表示部１０２と、スピーカ１０３と、ステレオカメラ１１０と、赤外ＬＥＤ光源１２１，１２２と、駆動・ＩＦ部１３０と、制御部１４０と、記憶部１５０と、照明駆動部１６０とを備えている。

第１表示部１０１は、被験者に注視させる画像等を表示する。第２表示部１０２は、診断支援装置１００の操作内容および診断結果等を表示する。第１表示部１０１および第２表示部１０２は、例えばモニタ画面である。スピーカ１０３は、診断結果などを音声出力する。また、スピーカ１０３は、検査時に被験者に注意を促すための音声を出力する。

ステレオカメラ１１０は、被験者から見て第１表示部１０１の下側に設置されている。ステレオカメラ１１０は、赤外線によるステレオ撮影が可能な撮像部であり、右カメラ１１１と左カメラ１１２の１組のカメラを備えている。

右カメラ１１１および左カメラ１１２の各レンズの周囲には、円周方向に赤外ＬＥＤ（Light Emitting Diode）光源１２１，１２２がそれぞれ配置されている。赤外ＬＥＤ光源１２１，１２２は、被験者に対して赤外光を照射する。赤外ＬＥＤ光源１２１，１２２は、内周のＬＥＤと外周のＬＥＤとを含む。内周のＬＥＤと外周のＬＥＤについては、後述する。

ステレオカメラ１１０は、赤外ＬＥＤ光源１２１，１２２から赤外線が照射されているタイミングにおいて、被験者の少なくとも目を含む顔を撮像する。すなわち、ステレオカメラ１１０は、被験者の顔からの赤外線の反射光の画像を撮像する。

なお、ステレオカメラ１１０は、被験者の顔を撮像可能な位置に設置されていればよく、その設置位置は実施の形態に限定されるものではない。また、撮像される画像は、被験者の少なくとも目を含む画像であれば、顔の一部のみを含む画像であってもよく、顔以外を含む画像であってもよい。

駆動・ＩＦ部１３０は、ステレオカメラ１１０、赤外ＬＥＤ光源１２１，１２２およびスピーカ１０３に含まれる各部を駆動する。また、駆動・ＩＦ部１３０は、ステレオカメラ１１０、赤外ＬＥＤ光源１２１，１２２およびスピーカ１０３に含まれる各部と、制御部１４０とのインタフェースとして機能する。

制御部１４０は、第１表示部１０１、第２表示部１０２、駆動・ＩＦ部１３０、記憶部１５０および照明駆動部１６０と接続している。制御部１４０は、第１表示部１０１および第２表示部１０２に表示すべき画像等を制御する。また、制御部１４０は、照明駆動部１６０を介して第１表示部１０１の発光量を調整する。

制御部１４０は、被験者の視線を検出して、第１表示部１０１上におけるいずれの位置を被験者が注視しているかを検出する。続いて、制御部１４０は、検出した注視点に基づいて、発達障害の診断のための評価値を算出する。

記憶部１５０は、制御プログラム、測定結果、診断支援結果など各種情報を記憶する。記憶部１５０は、例えば第１表示部１０１に表示する画像等を記憶する。

照明駆動部１６０は、制御部１４０からの制御に応じて、第１表示部１０１から発光される可視光の発光量を調整する。照明駆動部１６０は、一例として、制御部１４０の制御に応じて第１表示部１０１のモニタ輝度値等を変更したり、水平方向の端部のＬＥＤ照明の電流量を変更したりすることにより、可視光の発光量を調整する。なお、第１表示部１０１から発光される可視光の発光量の調整については詳細を後述する。

図２は、診断支援装置１００の処理に利用される座標系を示す図である。第１表示部１０１は、横方向を長辺とする長方形の画面である。診断支援装置１００は、図２に示すような、第１表示部１０１の画面の中央位置を原点として、上下をＹ座標（上を＋方向とする）、横をＸ座標（第１表示部１０１に向かって右を＋方向とする）、奥行きをＺ座標（第１表示部１０１の手前を＋方向とする）とするＸＹＺ座標系において、被験者の注視点の位置の特定処理を行う。

図３は、本実施形態に係る診断支援装置１００の詳細構成を示す図である。赤外ＬＥＤ光源１２１は、内周のＬＥＤである波長１−ＬＥＤ１２３と、外周のＬＥＤである波長２−ＬＥＤ１２４とを有する。赤外ＬＥＤ光源１２２は、内周のＬＥＤである波長１−ＬＥＤ１２５と、外周のＬＥＤである波長２−ＬＥＤ１２６とを有する。

波長１−ＬＥＤ１２３，１２５は、波長１の赤外線を照射する。波長２−ＬＥＤ１２４，１２６は、波長２の赤外線を照射する。波長１および波長２は、互いに異なる波長である。波長１は、例えば９００ｎｍ未満の波長の赤外光であり、本実施形態においては８５０ｎｍの波長の光である。また、波長２は、例えば９００ｎｍ以上の波長の赤外光であり、本実施形態においては９５０ｎｍの波長の光である。

９００ｎｍ以上の波長の光は９００ｎｍ未満の波長の光と比較して水分に吸収される吸収度が高い。従って、９００ｎｍ未満の波長の赤外線を照射して瞳孔で反射された反射光を撮像すると、９００ｎｍ以上の波長の赤外線を照射して瞳孔で反射された反射光を撮像した場合に比べて、明るい瞳孔像を得ることができる。

また、波長１−ＬＥＤ１２３は、右カメラ１１１のレンズの周囲であって内周側に配置されている。波長２−ＬＥＤ１２４は、右カメラ１１１のレンズの周囲であって、波長１−ＬＥＤ１２３よりも外周側に配置されている。また、波長１−ＬＥＤ１２５は、左カメラ１１２のレンズの周囲であって内周側に配置されている。波長２−ＬＥＤ１２６は、左カメラ１１２のレンズの周囲であって、波長１−ＬＥＤ１２５よりも外周側に配置されている。

右カメラ１１１および左カメラ１１２のそれぞれのレンズの光軸に近い位置に光源が配置されている場合、遠い位置に配置されている場合よりも、被写体から反射してそのまま戻ってくる光量が多くなる。従って、右カメラ１１１および左カメラ１１２は、波長１−ＬＥＤ１２３および波長１−ＬＥＤ１２５が赤外光を発光したタイミングにおいて被験者の目を撮像すると、いわゆる赤目現象と同様に、瞳孔を通過して網膜まで達した光の反射光を撮像することができる。しかし、右カメラ１１１および左カメラ１１２は、波長２−ＬＥＤ１２５および波長２−ＬＥＤ１２６が赤外光を発光したタイミングにおいて被験者の目を撮像しても、瞳孔を通過して網膜まで達した光の反射光を撮像することはできない。

従って、右カメラ１１１および左カメラ１１２は、波長１−ＬＥＤ１２３および波長１−ＬＥＤ１２５から９００ｎｍ未満の赤外光が発光されたタイミングにおいて、被験者の目を撮像した場合、瞳孔像および角膜反射像が写った画像（明瞳孔画像）を撮像することができる。また、右カメラ１１１および左カメラ１１２は、波長２−ＬＥＤ１２４および波長２−ＬＥＤ１２６から９００ｎｍ以上の赤外光が発光されたタイミングにおいて、被験者の目を撮像した場合、角膜反射像は写っているが瞳孔像は映っていない画像（暗瞳孔画像）を撮像することができる。

駆動・ＩＦ部１３０は、カメラＩＦ１３１，１３２と、ＬＥＤ駆動制御部１３３と、スピーカ駆動部１３４とを備えている。カメラＩＦ１３１およびカメラＩＦ１３２は、それぞれ右カメラ１１１および左カメラ１１２と接続する。カメラＩＦ１３１，１３２は、左右カメラ１１１，１１２を駆動する。右カメラ１１１は、左カメラ１１２およびＬＥＤ駆動制御部１３３にフレーム同期信号を送信する。

ＬＥＤ駆動制御部１３３は、波長１−ＬＥＤ１２３，１２５および波長２−ＬＥＤ１２４，１２６の発光を制御する。具体的には、ＬＥＤ駆動制御部１３３は、このフレーム同期信号に基づいて、第１フレームで左右の波長１の赤外線光源（波長１−ＬＥＤ１２３、波長１−ＬＥＤ１２５）を発光させる。この発光タイミングに対応して、左右カメラ１１１，１１２は、画像を撮像する。ＬＥＤ駆動制御部１３３は、例えば、左右ＬＥＤ１２３，１２５の発光タイミングと左右カメラ１１１，１１２の撮像タイミングを同期させながら、左右の発光タイミングをずらして発光させる。左右カメラ１１１，１１２は、左右それぞれに対応したＬＥＤ発光による映像を撮像する。撮像された画像は、カメラＩＦ１３１，１３２を介して制御部１４０に入力される。

同様に、ＬＥＤ駆動制御部１３３は、第１フレームのタイミングとはずれたタイミングの第２フレームで、左右の波長２の赤外線光源（波長２−ＬＥＤ１２４、波長２−ＬＥＤ１２６）を発光させる。この発光タイミングに対応して、左右カメラ１１１，１１２は、画像を撮像する。ＬＥＤ駆動制御部１３３は、例えば、左右ＬＥＤ１２４，１２６の発光タイミングと左右カメラ１１１，１１２の撮像タイミングを同期させながら、左右の発光タイミングをずらして発光させる。左右カメラ１１１，１１２は、左右それぞれに対応したＬＥＤ発光による映像を撮像する。撮像された画像は、カメラＩＦ１３１，１３２を介して制御部１４０に入力される。スピーカ駆動部１３４は、スピーカ１０３を駆動する。

制御部１４０は、診断支援装置１００全体を制御する。制御部１４０は、表示制御部１４１と、調整部１４２と、瞳孔中心／角膜反射検出部１４３と、注視点検出部１４３と、診断部１４５とを有する。

表示制御部１４１は、第１表示部１０１および第２表示部１０２への各種情報の表示を制御する。表示制御部１４１は、例えば第１表示部１０１に検査画像を表示する。検査画像は、被験者の注視点を検出するための対象画像であり、例えば人物の顔画像である。

調整部１４２は、ステレオカメラ１１０により撮像された被験者の目の画像における瞳孔像の輝度に応じて、被験者の目に対して照射する可視光の光量を調整する。本実施形態においては、調整部１４２は、第１表示部１０１から発光される可視光の発光量を、瞳孔像の輝度に応じて適切な値に変更する。調整部１４２は、この調整処理を注視点の検出に先だって実行する。これにより、診断支援装置１００は、被験者に照射される可視光の光量が適切に調整された状態で視線を検出することができるので、被験者の注視点を精度良く検出することができる。なお、可視光の調整処理については図１０から図１６を参照して詳細を後述する。

瞳孔中心／角膜反射検出部１４３は、調整部１４２により第１表示部１０１から発光される可視光の発光量の調整後において、ステレオカメラ１１０により撮像された画像に基づいて被験者の瞳孔中心の位置および被験者の角膜反射像の位置を検出する。瞳孔中心／角膜反射検出部１４３は、診断支援処理の実行中において、検出処理を実行する。なお、瞳孔中心の位置および角膜反射像の位置の検出方法については、図５等を参照して詳細を後述する。

注視点検出部１４４は、瞳孔中心／角膜反射検出部１４３により検出された瞳孔中心の位置および角膜反射像の位置に基づき、被験者の注視点を検出する。より具体的には、注視点検出部１４４は、右カメラ１１１および左カメラ１１２のそれぞれの撮像画像から検出された右目の瞳孔中心および角膜反射像の位置関係に基づき、右目の視線の３次元空間内での方向を算出する。また、注視点検出部１４４は、右カメラ１１１および左カメラ１１２のそれぞれの撮像画像から検出された左目の瞳孔中心および角膜反射像の位置関係に基づき、左目の視線の３次元空間内での方向を算出する。注視点検出部１４４は、被験者の目の画像における瞳孔像および赤外光が角膜表面で反射した角膜反射像に基づき被験者の視線を検出する視線検出部の一例である。

さらに、図４に示されるように、注視点検出部１４４は、被験者２０１の右目の視線と左目の視線とが交差した位置が空間内のいずれの位置であるかを、図２で示した空間座標上で算出する。これにより、注視点検出部１４４は、被験者が第１表示部１０１上のいずれの位置を注視しているかを検出することができる。また、注視点検出部１４４は、左右それぞれの視線と図２のＺ＝０のＸＹ平面との交点を注視点とすることもできる。この場合、２注視点求められるが、注視点検出部１４４は、２注視点を平均した値を注視点としてもよい。

診断部１４５は、被験者が注視している第１表示部１０１上の位置と、第１表示部１０１上に表示されている画像の内容との関係から、医師による発達障害の診断の指標となる評価値を算出する。発達障害児の特徴として、対面する相手の目を見ないことが挙げられる。診断部１４５は、この特徴を利用し、検査対象となる人物すなわち被験者に、母親等の顔画像を見せた際に、被験者が顔画像中の目を見ている時間と、目以外を見ている時間とを計測し、計測結果に基づいて評価値を算出する。

図５は、瞳孔の中心位置および角膜反射像の位置を検出する処理の流れを示すフローチャートである。図６−１〜図６−３は、図５の処理中において取得される明瞳孔画像、暗瞳孔画像、差分画像および画像内の輝度分布を示す。

診断支援装置１００の制御部１４０は瞳孔中心／角膜反射検出部１４３において、注視点の検出処理毎に、図５に示されるステップＳ１０１からステップＳ１１０の処理を実行する。まず、ステップＳ１０１において、制御部１４０は、瞳孔中心／角膜反射検出部１４３において、明瞳孔画像を取得する。

ここで、明瞳孔画像は、内周のＬＥＤである波長１−ＬＥＤ１２３および波長１−ＬＥＤ１２５を照射したタイミングで撮像された被験者の目の画像である。このため、図６−１に示されるように、明瞳孔画像には、虹彩像２１１、瞳孔像２１２および角膜反射像２１３が含まれる。なお、虹彩像２１１は最も輝度が低く略楕円状の部分であり、角膜反射像２１３は最も輝度が高い比較的に小さなスポット状の部分である。また、瞳孔像２１２は、虹彩像２１１と角膜反射像２１３との間の輝度であり、虹彩像２１１より小さく角膜反射像２１３より大きい楕円状の部分である。

続いて、ステップＳ１０２において、制御部１４０は、瞳孔中心／角膜反射検出部１４３において、暗瞳孔画像を取得する。ここで、暗瞳孔画像は、外周のＬＥＤである波長２−ＬＥＤ１２４および波長２−ＬＥＤ１２６を照射したタイミングで撮像された被験者の目の画像である。このため、図６−２に示されるように、暗瞳孔画像には、虹彩像２１１および角膜反射像２１３は含まれるが、瞳孔像２１２は明るくならず虹彩像より暗くなる場合が多い（輝度が低くなる）。

なお、明瞳孔画像および暗瞳孔画像は、異なるタイミングにおいて撮像された画像である。例えば、明瞳孔画像および暗瞳孔画像は、連続する異なるフレームにおいて撮像された画像である。

続いて、ステップＳ１０３において、制御部１４０は、瞳孔中心／角膜反射検出部１４３において、明瞳孔画像から暗瞳孔画像を減算した差分画像を算出する。明瞳孔画像および暗瞳孔画像は、異なるタイミングで撮像されているが短い間隔で撮像されるので、多少の誤差を含むものの、瞳孔像２１２以外の領域の輝度はほぼ同一となる。従って、図６−３に示されるように、差分画像は、瞳孔像２１２の領域の輝度が高くなり、瞳孔像２１２以外の領域の輝度は０となる。

続いて、ステップＳ１０４において、制御部１４０は、瞳孔中心／角膜反射検出部１４３において、差分画像中における、瞳孔像２１２の領域と、瞳孔像２１２以外の領域とを分離するための第１閾値を算出する。例えば、制御部１４０は、図６−３に示されるように、差分画像の最大値と最小値との中間値を第１閾値として算出する。

続いて、ステップＳ１０５において、制御部１４０は、瞳孔中心／角膜反射検出部１４３において、差分画像を第１閾値により２値化する。続いて、ステップＳ１０６において、制御部１４０は、瞳孔中心／角膜反射検出部１４３において、差分画像の２値化画像から、瞳孔の位置を探索する。

続いて、ステップＳ１０７において、制御部１４０は、瞳孔中心／角膜反射検出部１４３において、瞳孔像２１２の中心位置を算出する。具体的には、瞳孔中心／角膜反射検出部１４３は、差分画像の２値化画像から探索した瞳孔像２１２の位置の近傍における、明瞳孔画像上の虹彩像２１１の輝度よりも高い領域に対して、楕円近似処理等を行い、瞳孔像２１２の外周（楕円）を検出する。そして、瞳孔中心／角膜反射検出部１４３は、検出した楕円の中心を、瞳孔像２１２の中心位置として特定する。

続いて、ステップＳ１０８において、制御部１４０は、瞳孔中心／角膜反射検出部１４３において、明瞳孔画像から、角膜反射像２１３の領域と角膜反射像２１３以外の領域とを分離するための第２閾値を算出する。例えば、瞳孔中心／角膜反射検出部１４３は、図６−１に示されるように、明瞳孔画像の最大値と、瞳孔の輝度値（例えば瞳孔像２１２の平均輝度）との中間値を第２閾値として算出する。

続いて、ステップＳ１０９において、制御部１４０は、瞳孔中心／角膜反射検出部１４３において、明瞳孔画像を第２閾値により２値化する。続いて、ステップＳ１１０において、制御部１４０は、明瞳孔画像の２値化画像から角膜反射像２１３の位置を特定する。制御部１４０は、瞳孔中心／角膜反射検出部１４３において、以上の処理を実行することにより、瞳孔中心の位置および角膜反射像の位置を特定することができる。

図７−１は、瞳孔が広がっており瞳孔像２１２の輝度が高い状態の明瞳孔画像を示す図である。図７−２は、瞳孔が狭まっており瞳孔像２１２の輝度が低い状態の明瞳孔画像を示す図である。

瞳孔像２１２の輝度は、瞳孔の大きさに応じて異なる。具体的には、瞳孔が広がっている場合には、図７−１に示されるように、瞳孔像２１２の輝度は高くなる。また、瞳孔が狭まっている場合には、図７−２に示されるように、瞳孔像２１２の輝度は低くなる。しかしながら、瞳孔像２１２の輝度は、個人差が大きく、同じ明るさの赤外光を照射したとしても人によって値が異なる。

図８−１、図８−２および図８−３は、瞳孔が広がっている状態における、明瞳孔画像、暗瞳孔画像、差分画像および輝度分布を示す図である。瞳孔が広がっている状態の場合、瞳孔像２１２の輝度は高くなる。従って、瞳孔が広がっている状態の差分画像は、図８−３に示されるように、最大値（瞳孔像２１２の輝度に対応）と最小値（０レベル）との差が大きくなる。よって、制御部１４０は、瞳孔像２１２の領域とそれ以外の領域とを確実に分離することできる。

しかし、瞳孔像２１２の輝度が高いと、図８−１に示されるように、明瞳孔画像は、最大値（角膜反射像２１３の輝度に対応）と瞳孔像２１２の輝度との差が小さくなる。従って、この場合、制御部１４０は、角膜反射像２１３の領域とそれ以外の領域とを精度良く分離することができない。最悪の場合、明瞳孔画像の最大値と瞳孔像２１２の輝度とがほとんど一致してしまい、制御部１４０は、角膜反射像２１３の領域を検出できない。

図９−１、図９−２および図９−３は、瞳孔が狭まっている状態における、明瞳孔画像、暗瞳孔画像、差分画像および輝度分布を示す図である。瞳孔が狭まっている状態の場合、瞳孔像２１２の輝度は低くなる。従って、瞳孔が狭まっている状態の明瞳孔画像は、図９−１に示されるように、最大値（角膜反射像２１３の輝度に対応）と瞳孔像２１２の輝度との差が大きくなる。よって、制御部１４０は、角膜反射像２１３の領域とそれ以外の領域とを確実に分離することができる。

しかし、瞳孔像２１２の輝度が低いと、図９−３に示されるように、差分画像は、最大値（瞳孔像２１２の輝度に対応）と最小値（０レベル）との差が小さくなる。従って、制御部１４０は、瞳孔像２１２の領域とそれ以外の領域とを精度良く分離することができない。最悪の場合、差分画像の最大値と最小値とがほとんど一致してしまい、制御部１４０は、瞳孔像２１２の領域を検出できない。

ここで、瞳孔像２１２の領域および角膜反射像２１３の領域の両方を精度良く検出するには、瞳孔像２１２の輝度が、明瞳孔画像の輝度の最大値の１／２の程度の値となっていることが好ましい。この場合には、図６−３に示したように差分画像の最大値と最小値との差が大きくなるとともに、図６−１に示したように明瞳孔画像の最大値と瞳孔像２１２の輝度との差が大きくなる。よって、このような場合には、制御部１４０は、瞳孔像２１２の領域、角膜反射像２１３の領域、および、それ以外の領域のそれぞれを確実に分離することができる。

そこで、本実施形態に係る制御部１４０は、瞳孔像の中心位置の検出および角膜反射像の位置の検出に先立って、被験者に対して照射する可視光の光量を予め調整して、被験者の瞳孔の大きさを調整する。具体的には、制御部１４０は、明瞳孔画像から得られる瞳孔像２１２の輝度が、明瞳孔画像の輝度の最大値の１／２の値に近づくように、可視光の光量を調整する。このことにより、制御部１４０は、瞳孔像２１２の領域、角膜反射像２１３の領域、および、それ以外の領域のそれぞれを確実に分離して、被験者の視線を精度良く検出することができる。

さらに、本実施形態においては、制御部１４０は、被験者に画像を表示する第１表示部１０１から発光される可視光の発光量を、瞳孔像２１２の輝度に応じて変更する。第１表示部１０１は視線検出のための映像を表示するので、被験者は、確実に第１表示部１０１を見ている。従って、制御部１４０は、第１表示部１０１から発光される可視光の光量を調整することにより、被験者の瞳孔の大きさを確実かつ容易に調整することができる。以下、制御部１４０による第１表示部１０１の制御方法の具体例について説明する。制御部１４０は、以下の第１表示部１０１の制御を例えば、調整部１４２によって行う。

図１０−１は、輝度を高くした場合における第１表示部１０１の画面を示す図である。図１０−２は、輝度を低くした場合における第１表示部１０１の画面を示す図である。

制御部１４０は、調整部１４２において、検出した瞳孔像の輝度に応じて、第１表示部１０１のバックライトの発光量を外部から制御することにより、第１表示部１０１の輝度を変更する。より具体的には、調整部１４２は、検出した瞳孔像の輝度が高い場合には、図１０−１に示されるように第１表示部１０１の画面全体の輝度を上げて、被験者の瞳孔を狭める。また、調整部１４２は、検出した瞳孔像の輝度が低い場合には、図１０−２に示されるように第１表示部１０１の画面全体の輝度を下げて、被験者の瞳孔を広げる。

また、制御部１４０は、調整部１４２において、内容が同一で輝度の異なる映像コンテンツを、瞳孔像の輝度に応じて切り替えて第１表示部１０１に表示してもよい。例えば、調整部１４２は、内容が同一で輝度が異なる複数の映像コンテンツを予め準備しておく。そして、調整部１４２は、被験者の瞳孔像の輝度を測定し、測定結果に応じて複数の映像コンテンツのうち何れか１つを選択して表示する。

例えば、調整部１４２は、瞳孔像の輝度が予め定められたレベルより高い場合には、図１０−１に示されるように第１表示部１０１に輝度の高い映像コンテンツを表示して、被験者の瞳孔を狭める。また、調整部１４２は、瞳孔像の輝度が予め定められたレベルより低い場合には、図１０−２に示されるように第１表示部１０１に輝度の低い映像コンテンツを表示して、被験者の瞳孔を広げる。

図１１−１は、端部ＬＥＤ照明３１１の輝度を高くした場合における第１表示部１０１の画面を示す図である。図１１−２は、端部ＬＥＤ照明３１１の輝度を低くした場合における第１表示部１０１の画面を示す図である。

制御部１４０は、調整部１４２において、白色を発光する端部ＬＥＤ照明３１１の輝度を、瞳孔像の輝度に応じて変更してもよい。端部ＬＥＤ照明３１１は、第１表示部１０１の例えば右側および左側のそれぞれの端部に設けられる。端部ＬＥＤ照明３１１は、右側および左側に加えてまたは右側および左側に代えて、上側および下側に設けられてもよい。端部ＬＥＤ照明３１１は、流される電流量が、図１等に示した照明駆動部１６０を介して制御部１４０により制御される。

制御部１４０は、調整部１４２において、検出した瞳孔像の輝度が高い場合には、図１１−１に示されるように端部ＬＥＤ照明３１１の輝度を上げて、被験者の瞳孔を狭める。また、制御部１４０は、検出した瞳孔像の輝度が低い場合には、図１１−２に示されるように端部ＬＥＤ照明３１１の輝度を下げて、被験者の瞳孔を広げる。

図１２−１は、端部領域３１２に輝度の高い画像を表示した場合における第１表示部１０１の画面を示す図である。図１２−２は、端部領域３１２に輝度の低い画像を表示した場合における第１表示部１０１の画面を示す図である。

制御部１４０は、調整部１４２において、瞳孔像の輝度に応じて、第１表示部１０１の端部領域３１２に表示される画像の輝度を切り替えてもよい。端部領域３１２は、例えばワイド画面における左右の端部分の表示領域である。

この場合、制御部１４０は、調整部１４２において、被験者の瞳孔像の輝度を測定し、測定結果に応じて端部領域３１２の画像を切り替えて、画面の中央領域に表示される映像コンテンツと合成して第１表示部１０１に表示させる。より具体的には、調整部１４２は、黒、暗い灰色、灰色、明るい灰色、および白といった画像のうち何れか１つを瞳孔像の輝度に応じて選択して、端部領域３１２の画像として合成表示させる。

例えば、調整部１４２は、瞳孔像の輝度が予め定められたレベルより高い場合には、図１２−１に示されるように端部領域３１２に輝度の高い画像（例えば白）を表示して、被験者の瞳孔を狭める。また、制御部１４０は、瞳孔像の輝度が予め定められたレベルより低い場合には、図１２−２に示されるように端部領域３１２に輝度の低い画像（例えば黒）を表示して、被験者の瞳孔を広げる。

図１３は、第１表示部１０１の輝度を調整することにより被験者の目に対して照射する可視光の光量を調整する処理を示すフローチャートである。まず、ステップＳ１０００において、制御部１４０は、例えば表示制御部１４１において、第１表示部１０１のモニタ輝度値を中央値として、第１表示部１０１に基準映像（輝度が中央値の標準映像）を表示させる。次に、ステップＳ１００１において、制御部１４０は、カウンタ値（ＣＮＴ）を０にクリアする。このカウンタ値（ＣＮＴ）は、処理のループ回数を表す。

次に、ステップＳ１００２において、制御部１４０は、瞳孔中心／角膜反射検出部１４３において、差分画像に基づき瞳孔位置を検出する。本実施形態においては、ステレオカメラ１１０により両目を撮像しているので、瞳孔中心／角膜反射検出部１４３は、右カメラ１１１で撮像した右目および左目の瞳孔、および、左カメラ１１２で撮像した右目および左目の瞳孔の合計４つの瞳孔の位置を検出する。続いて、ステップＳ１００３において、瞳孔中心／角膜反射検出部１４３は、明瞳孔画像より瞳孔の輝度を検出する。この場合、瞳孔中心／角膜反射検出部１４３は、４つの明瞳孔画像における瞳孔の平均値を検出する。

続いて、ステップＳ１００４において、制御部１４０は、例えば、調整部１４２において、検出した瞳孔の輝度を目標範囲と比較する。目標範囲は、４つの明瞳孔画像における瞳孔の平均の輝度が適正となる上限と下限を予め定めたものである。

瞳孔の輝度が目標範囲の上限より高い場合（ステップＳ１００５のＹｅｓ）、制御部１４０は、調整部１４２において、処理をステップＳ１００６に進める。ステップＳ１００６において、制御部１４０は、調整部１４２において、第１表示部１０１のモニタ輝度値を所定値だけ上げて、処理をステップＳ１００９に進める。

モニタ輝度値を上げると、第１表示部１０１の画面が明るくなり、被験者の目の虹彩が縮んで、瞳孔が狭くなる。これにより眼球内部に入る赤外線光量も減少するので、瞳孔の輝度も減少する。また、赤外線光量そのものは変化しないので、角膜反射像の輝度は変化しない。

ステップＳ１００４で比較した結果、瞳孔の輝度が目標範囲の下限より低い場合（ステップＳ１００７のＹｅｓ）、制御部１４０は、処理をステップＳ１００８に進める。ステップＳ１００８において、制御部１４０は、調整部１４２において、第１表示部１０１のモニタ輝度値を所定値だけ下げて、処理をステップＳ１００９に進める。

モニタ輝度値を下げると、第１表示部１０１の画面が暗くなり、被験者の目の虹彩が伸びて、瞳孔が広くなる。これにより眼球内部に入る赤外線光量も増加するので、瞳孔の輝度も増加する。また、赤外線光量そのものは変化しないので、角膜反射像の輝度は変化しない。

ステップＳ１００４で比較した結果、瞳孔の輝度が目標範囲の上限以下であり且つ目標範囲の下限以上である場合（ステップＳ１００７のＮｏ）、制御部１４０は、調整部１４２において、瞳孔の輝度が目標範囲内であるので、処理を終了する。

また、ステップＳ１００９において、制御部１４０は、調整部１４２において、タイマーにより所定時間を計時して、第１表示部１０１の画面の輝度が変化してから、被験者の目の虹彩が反応して瞳孔の大きさが変わるまでの時間を待機する。そして、所定時間経過後、制御部１４０は、調整部１４２において、処理をステップＳ１０１０に進める。

ステップＳ１０１０において、制御部１４０は、調整部１４２において、カウンタ値（ＣＮＴ）を１増加させる。続いて、ステップＳ１０１１において、制御部１４０は、調整部１４２において、カウンタ値（即ち、ループ回数）が予め設定された上限回数（Ｋ）未満か否かを判断する。

制御部１４０は、調整部１４２において、カウンタ値（ＣＮＴ）が上限回数（Ｋ）未満の場合（ステップＳ１０１１のＹｅｓ）、処理をステップＳ１００２に戻して、再度、ステップＳ１００２からの処理を実行させる。また、制御部１４０は、カウンタ値（ＣＮＴ）が上限回数（Ｋ）以上の場合（ステップＳ１０１１のＮｏ）、当該フローを抜けて処理を終了する。

以上の処理を実行することにより、制御部１４０は、調整部１４２において、第１表示部１０１から発光される可視光の光量を、被験者の瞳孔の輝度が適切な値となるように調整することができる。

なお、制御部１４０は、以上の処理を注視点の検出に先立って実行するが、これに代えて、注視点の検出中に実行してもよい。この場合には、制御部１４０は、カウンタ値（ＣＮＴ）が上限回数（Ｋ）以上の場合に処理を終了せずに、注視点の検出処理が完了するまでループを実行し続ける。

図１４は、第１表示部１０１に表示する映像コンテンツを切り替えることにより被験者の目に対して照射する可視光の光量を調整する処理を示すフローチャートである。まず、ステップＳ１１００において、制御部１４０は、例えば表示制御部１４１において、第１表示部１０１に基準映像（輝度が中央値の標準映像）を表示させる。

続いて、制御部１４０は、瞳孔中心／角膜反射検出部１４３において、ステップＳ１１０１およびステップＳ１１０２の処理を実行する。ステップＳ１１０１およびステップＳ１１０２の処理は、図１３のステップＳ１００２およびステップＳ１００３の処理と同様である。

続いて、ステップＳ１１０３において、制御部１４０は、調整部１４２において、瞳孔の輝度を複数の閾値（例えばＫ１、Ｋ２、Ｋ３、Ｋ４）のそれぞれと比較する。ここで、制御部１４０は、予め内容が同一で輝度の異なる複数の映像（例えば第１の映像、第２の映像、第３の映像、第４の映像および第５の映像）を予め準備している。本例においては、第１の映像の輝度が最も高く、徐々に輝度が低くなり、第５の映像の輝度が最も低い。また、閾値は、Ｋ１が最も高く、徐々に低くなり、Ｋ４が最も低い。

そして、制御部１４０は、調整部１４２において、比較の結果、瞳孔の輝度が閾値Ｋ１より高ければ（ステップＳ１１０４のＹｅｓ）、ステップＳ１１０５において第１の映像を選択する。また、制御部１４０は、調整部１４２において、比較の結果、瞳孔の輝度が閾値Ｋ１以下且つＫ２より高ければ（ステップＳ１１０４のＮｏ、且つ、ステップＳ１１０６のＹｅｓ）、ステップＳ１１０７において第２の映像を選択する。

また、制御部１４０は、調整部１４２において、比較の結果、瞳孔の輝度が閾値Ｋ２以下且つＫ３より高ければ（ステップＳ１１０６のＮｏ、且つ、ステップＳ１１０８のＹｅｓ）、ステップＳ１１０９において第３の映像を選択する。また、制御部１４０は、調整部１４２において、比較の結果、瞳孔の輝度が閾値Ｋ３以下且つＫ４より高ければ（ステップＳ１１０８のＮｏ、且つ、ステップＳ１１１０のＹｅｓ）、ステップＳ１１１１において第４の映像を選択する。

また、制御部１４０は、調整部１４２において、比較の結果、瞳孔の輝度が閾値Ｋ４以下であれば（ステップＳ１１１０のＮｏ）、ステップＳ１１１２において第５の映像を選択する。そして、制御部１４０は、調整部１４２において、第１から第５の映像の何れかを選択すると、当該フローを抜けて処理を終了する。以上の処理を実行することにより、調整部１４２は、適切な輝度の映像を選択して、被験者の瞳孔の輝度が適切な値となるように第１表示部１０１から発光される可視光の光量を調整することができる。

図１５は、端部ＬＥＤ照明３１１の輝度を調整することにより被験者の目に対して照射する可視光の光量を調整する処理を示すフローチャートである。図１５のステップＳ１２００〜Ｓ１２１１の処理は、第１表示部１０１のモニタ輝度を制御することに代えて、第１表示部１０１の左右の端部に設けられた端部ＬＥＤ照明３１１を制御する点において異なるが、その他の処理は、図１３に示したステップＳ１０００〜Ｓ１０１１の処理と同一である。

従って、図１５に示した処理を実行する場合には、制御部１４０は、調整部１４２において、第１表示部１０１のモニタ輝度に代えて端部ＬＥＤ照明３１１を、図１３に示した処理と同様に制御する。これにより、調整部１４２は、適切な輝度の映像を選択して、被験者の瞳孔の輝度が適切な値となるように第１表示部１０１から発光される可視光の光量を調整することができる。

また、制御部１４０は、図１５の処理を注視点の検出中に実行してもよい。この場合には、図１３の場合と同様に、制御部１４０は、カウンタ値（ＣＮＴ）が上限回数（Ｋ）以上の場合に処理を終了せずに、注視点の検出処理が完了するまでループを実行し続ける。

図１６は、端部領域３１２に表示する画像の輝度を切り替えることにより被験者の目に対して照射する可視光の光量を調整する処理を示すフローチャートである。図１６のステップＳ１３００〜Ｓ１３１２の処理は、第１表示部１０１の全面に表示する映像コンテンツを切り替えることに代えて、第１表示部１０１の端部領域３１２に表示される画像を切り替えて中央領域の画像と合成する点において異なるが、その他の処理は図１４に示したステップＳ１１００〜Ｓ１１１２の処理と同一である。

従って、図１６に示した処理を実行する場合には、制御部１４０は、調整部１４２において、第１表示部１０１の全面に表示される映像コンテンツに代えて、端部領域３１２に表示される画像を図１４に示した処理と同様に選択して、中央領域の画像と合成する。これにより、制御部１４０は、調整部１４２において、第１表示部１０１から発光される可視光の光量を、被験者の瞳孔の輝度が適切な値となるように調整することができる。

１００ 診断支援装置
１０１ 第１表示部
１０２ 第２表示部
１０３ スピーカ
１１０ ステレオカメラ
１１１ 右カメラ
１１２ 左カメラ
１２１，１２２ 赤外ＬＥＤ光源
１２３，１２５ 波長１−ＬＥＤ
１２４，１２６ 波長２−ＬＥＤ
１３０ 駆動・ＩＦ部
１３１，１３２ カメラＩＦ
１３３ ＬＥＤ駆動制御部
１３４ スピーカ駆動部
１４０ 制御部
１４１ 表示制御部
１４２ 調整部
１４３ 瞳孔中心／角膜反射検出部
１４４ 注視点検出部
１４５ 診断部
１５０ 記憶部
１６０ 照明駆動部

Claims (8)

1. 被験者に対して赤外光を照射する照射部と、
   前記被験者に対して赤外光が照射されているタイミングにおいて前記被験者の目の画像を撮像する撮像部と、
   前記被験者の目の画像における瞳孔像の輝度に応じて、前記被験者の目に対して照射する可視光の光量を調整する調整部と、
   前記可視光の光量の調整後において、前記被験者の目の画像における前記瞳孔像および前記赤外光が角膜表面で反射した角膜反射像に基づき前記被験者の視線を検出する視線検出部と、
   を備える視線検出装置。
2. 前記調整部は、前記瞳孔像の輝度が高い場合には前記可視光の光量を増加させ、前記瞳孔像の輝度が低い場合には前記可視光の光量を減少させる請求項１に記載の視線検出装置。
3. 前記調整部は、前記被験者に画像を表示する表示部から発光される可視光の発光量を、前記瞳孔像の輝度に応じて変更する
   請求項１または２に記載の視線検出装置。
4. 前記調整部は、前記表示部の輝度を、前記瞳孔像の輝度に応じて変更する
   請求項３に記載の視線検出装置。
5. 前記調整部は、輝度の異なる映像コンテンツを、前記瞳孔像の輝度に応じて切り替えて前記表示部に表示する請求項３に記載の視線検出装置。
6. 前記調整部は、前記表示部の端部に設けられた照明の輝度を、前記瞳孔像の輝度に応じて変更する請求項３に記載の視線検出装置。
7. 前記調整部は、前記瞳孔像の輝度に応じて、前記表示部の端部領域に表示される画像の輝度を切り替える請求項３に記載の視線検出装置。
8. 被験者に対して赤外光を照射する照射ステップと、
   前記被験者に対して赤外光が照射されているタイミングにおいて前記被験者の目の画像を撮像する撮像ステップと、
   前記被験者の目の画像における瞳孔像の輝度に応じて、前記被験者の目に対して照射する可視光の光量を調整する調整ステップと、
   前記可視光の光量の調整後において、前記被験者の目の画像における前記瞳孔像および前記赤外光が角膜表面で反射した角膜反射像に基づき前記被験者の視線を検出する視線検出ステップと、
   を含む視線検出方法。

Images