JP2015144635A - 検出装置および検出方法 - Google Patents

Abstract

【課題】視線検出の精度の低下を抑止することができる検出装置および検出方法を提供する。
【解決手段】検出装置は、光を照射する照明部と、照明部から光が照射された被験者の状態を検出する検出部と、照明部が照射する光以外の光に応じて変化するパラメータの値、または、パラメータの値の変化の程度を示す値と、検出部による状態検出において所定の検出精度を得るための閾値とを比較する比較部と、を備え、検出部は、比較部による比較結果に応じて、パラメータの値、または、パラメータの値の変化の程度を示す値が、所定の検出精度よりも低い検出精度となることを示す値である場合に、状態検出を中断する。
【選択図】図５

Description

本発明は、検出装置および検出方法に関する。

赤外ＬＥＤ（Light Emitting Diode）などの光源を用いて被験者の視線を検出する視線検出装置が知られている。例えば、視線検出装置は、モニタ上に映るコンテンツを被験者に見せてその被験者の眼部分をカメラで撮影し撮影した映像を解析することにより瞳孔の中心位置を求める。また、視線検出装置は、角膜上に映る光源の輝点（角膜反射点）を抽出し瞳孔中心と角膜反射点の位置関係から視線方向を求める。

特開２００５−１９８７４３号公報 特開２０１２−１８７１９０号公報

従来の視線検出装置では、太陽光などの光源以外の光により視線検出の精度が低下する場合があった。例えば以下のように、カメラのレンズ、被験者の眼、またはモニタ画面に太陽光が当たった場合には視線検出が難しくなる。

すなわち、例えばカメラのレンズに太陽光が当たった場合、カメラは光量オーバーにより白飛びを起して、撮影映像から瞳孔中心および角膜反射点の位置を検出することが困難となる。また被験者の眼に太陽光が当たった場合は、人間の生理現象として瞼を閉じたり、網膜に入射する光量を抑えるために瞳孔径が小さくなることから瞳孔中心および角膜反射点の位置を検出することが困難となる。モニタ画面に太陽光が当たった場合は、画面上に映るコンテンツの視認性が悪くなり被験者が画面上から視線をそらす場合等があるため、視線検出が困難となる。

本発明は、上記に鑑みてなされたものであって、検出精度の低下を抑止できる検出装置および検出方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、光を照射する照明部と、前記照明部から光が照射された被験者の状態を検出する検出部と、前記照明部が照射する光以外の光に応じて変化するパラメータの値、または、前記パラメータの値の変化の程度を示す値と、前記検出部による状態検出において所定の検出精度を得るための閾値とを比較する比較部と、を備え、前記検出部は、前記比較部による比較結果に応じて、前記パラメータの値、または、前記パラメータの値の変化の程度を示す値が、前記所定の検出精度よりも低い検出精度となることを示す値である場合に、状態検出を中断する。

本発明にかかる検出装置および検出方法は、検出精度の低下を抑止できるという効果を奏する。

図１は、本実施形態の検出装置による検出方法の一例を説明するための図である。 図２は、本実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。 図３は、本実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。 図４は、診断支援装置の機能の概要を示す図である。 図５は、図４に示す各部の詳細な機能の一例を示すブロック図である。 図６は、本実施形態の診断支援装置により実行される処理の概要を説明する図である。 図７は、２つの光源を用いる方法と、１つの光源を用いる本実施形態との違いを示す説明図である。 図８は、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。 図９は、本実施形態の算出処理の一例を示すフローチャートである。 図１０は、事前に求めた距離を使用して角膜曲率中心の位置を算出する方法を示した図である。 図１１は、本実施形態の視線検出処理の一例を示すフローチャートである。 図１２は、本実施形態における診断支援処理の一例を示すフローチャートである。 図１３は、変形例１の視線検出装置による装置駆動方法の一例を説明するための図である。 図１４は、ＬＥＤ光源の制御に用いる回路の例を示す図である。 図１５は、受光部の構成例を示す図である。 図１６は、変形例２の視線検出装置による確認処理の一例を説明するための図である。

以下に、本発明にかかる検出装置および検出方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、以下では、視線検出結果を用いて発達障がいなどの診断を支援する診断支援装置に検出装置の一実施形態である視線検出装置を用いた例を説明する。適用可能な装置は診断支援装置に限られるものではない。また、本発明の検出装置は、視線検出以外に、視力検査や脳機能計測など被験者の状態を検出する装置に適用可能である。

本実施形態の視線検出装置（診断支援装置）は、１ヵ所に設置された照明部を用いて視線を検出する。また、本実施形態の視線検出装置（診断支援装置）は、視線検出前に被験者に１点を注視させて測定した結果を用いて、角膜曲率中心位置を高精度に算出する。

なお、照明部とは、光源を含み、被験者の眼球に光を照射可能な要素である。光源とは、例えばＬＥＤ（Light Emitting Diode）などの光を発生する素子である。光源は、１個のＬＥＤから構成されてもよいし、複数のＬＥＤを組み合わせて１ヵ所に配置することにより構成されてもよい。以下では、このように照明部を表す用語として「光源」を用いる場合がある。

また、２ヶ所以上に設置された照明部を用いて視線を検出するように構成してもよい。この場合は、例えば、特許文献１と同様の視線検出方法を適用できる。

本実施形態の検出装置は、さらに、周囲環境の変化等によって視線検出の精度が保てない場合に、視線検出を中断する。これにより、視線検出の精度の低下を抑止することができる。

図１は、本実施形態の診断支援装置１００による視線検出方法の一例を説明するための図である。図１は、診断支援装置１００と被験者１０とを横方向から観察した場合の図の例である。図１に示すように、診断支援装置１００は、表示部１０１と、筐体５０と、ステレオカメラ１０２と、ＬＥＤ光源１０３と、を備えている。ＬＥＤ光源１０３から近赤外光を照射したときに被験者の眼を含む撮像画像が、ステレオカメラ１０２により撮像される。撮像された撮像画像から、筐体５０内に内蔵される制御部等（後述）により、被験者の視線が検出される。

図２および図３は、本実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。

図２に示すように、本実施形態の診断支援装置は、表示部１０１と、ステレオカメラ１０２と、ＬＥＤ光源１０３と、を含む。ステレオカメラ１０２は、表示部１０１の下に配置される。ＬＥＤ光源１０３は、ステレオカメラ１０２に含まれる２つのカメラの中心位置に配置される。ＬＥＤ光源１０３は、例えば波長８５０ｎｍの近赤外線を照射する光源である。図２では、９個のＬＥＤによりＬＥＤ光源１０３（照明部）を構成する例が示されている。なお、ステレオカメラ１０２は、波長８５０ｎｍの近赤外光を透過できるレンズを使用する。

図３に示すように、ステレオカメラ１０２は、右カメラ２０２と左カメラ２０３とを備えている。ＬＥＤ光源１０３は、被験者の眼球１１１に向かって近赤外光を照射する。ステレオカメラ１０２で取得される画像（撮像画像）では、瞳孔１１２が低輝度で反射して暗くなり、眼球１１１内に虚像として生じる角膜反射１１３が高輝度で反射して明るくなる。従って、瞳孔１１２および角膜反射１１３の画像上の位置を２台のカメラ（右カメラ２０２、左カメラ２０３）それぞれで取得することができる。

さらに２台のカメラにより得られる瞳孔１１２および角膜反射１１３の位置から、瞳孔１１２および角膜反射１１３の位置の三次元世界座標値を算出する。本実施形態では、三次元世界座標として、表示部１０１の画面の中央位置を原点として、上下をＹ座標（上が＋）、横をＸ座標（向かって右が＋）、奥行きをＺ座標（手前が＋）としている。

図４は、診断支援装置１００の機能の概要を示す図である。図４では、図２および図３に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図４に示すように、診断支援装置１００は、右カメラ２０２と、左カメラ２０３と、ＬＥＤ光源１０３と、スピーカ２０５と、駆動・ＩＦ（interface）部３１３と、制御部３００と、記憶部１５０と、表示部１０１と、を含む。図４において、表示画面２０１は、右カメラ２０２および左カメラ２０３との位置関係を分かりやすく示しているが、表示画面２０１は表示部１０１において表示される画面である。なお、駆動部とＩＦ部は一体でもよいし、別体でもよい。

スピーカ２０５は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する音声出力部として機能する。

駆動・ＩＦ部３１３は、ステレオカメラ１０２に含まれる各部を駆動する。また、駆動・ＩＦ部３１３は、ステレオカメラ１０２に含まれる各部と、制御部３００とのインタフェースとなる。

制御部３００は、例えば、ＣＰＵ（Central Processing Unit）などの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆと、各部を接続するバスを備えているコンピュータなどにより実現できる。

記憶部１５０は、制御プログラム、測定結果、診断支援結果など各種情報を記憶する。記憶部１５０は、例えば、表示部１０１に表示する画像等を記憶する。表示部１０１は、診断のための対象画像等、各種情報を表示する。

図５は、図４に示す各部の詳細な機能の一例を示すブロック図である。図５に示すように、制御部３００には、表示部１０１と、駆動・ＩＦ部３１３が接続される。駆動・ＩＦ部３１３は、カメラＩＦ３１４、３１５と、ＬＥＤ駆動制御部３１６と、スピーカ駆動部３２２と、を備える。

駆動・ＩＦ部３１３には、カメラＩＦ３１４、３１５を介して、それぞれ、右カメラ２０２、左カメラ２０３が接続される。駆動・ＩＦ部３１３がこれらのカメラを駆動することにより、被験者を撮像する。

スピーカ駆動部３２２は、スピーカ２０５を駆動する。なお、診断支援装置１００が、印刷部としてのプリンタと接続するためのインタフェース（プリンタＩＦ）を備えてもよい。また、プリンタを診断支援装置１００の内部に備えるように構成してもよい。

制御部３００は、診断支援装置１００全体を制御する。制御部３００は、第１算出部３５１と、第２算出部３５２と、第３算出部３５３と、視線検出部３５４と、判定部３５５と、視点検出部３５６と、出力制御部３５７と、評価部３５８と、を備えている。なお、視線検出装置としては、少なくとも第１算出部３５１、第２算出部３５２、第３算出部３５３、視線検出部３５４、および判定部３５５が備えられていればよい。

制御部３００に含まれる各要素（第１算出部３５１、第２算出部３５２、第３算出部３５３、視線検出部３５４、判定部３５５、視点検出部３５６、出力制御部３５７、および、評価部３５８）は、ソフトウェア（プログラム）で実現してもよいし、ハードウェア回路で実現してもよいし、ソフトウェアとハードウェア回路とを併用して実現してもよい。

プログラムで実現する場合、当該プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

第１算出部３５１は、ステレオカメラ１０２により撮像された眼球の画像から、瞳孔の中心を示す瞳孔中心の位置（第１位置）を算出する。第２算出部３５２は、撮像された眼球の画像から、角膜反射の中心を示す角膜反射中心の位置（第２位置）を算出する。

第３算出部３５３は、ＬＥＤ光源１０３と角膜反射中心とを結ぶ直線と、から角膜曲率中心（第３位置）を算出する。例えば、第３算出部３５３は、この直線上で、角膜反射中心からの距離が所定値となる位置を、角膜曲率中心として算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値を用いることができる。

角膜の曲率半径値には個人差が生じうるため、事前に定められた値を用いて角膜曲率中心を算出すると誤差が大きくなる可能性がある。従って、第３算出部３５３が、個人差を考慮して角膜曲率中心を算出してもよい。この場合、第３算出部３５３は、まず目標位置を被験者に注視させたときに算出された瞳孔中心および角膜反射中心を用いて、瞳孔中心と目標位置とを結ぶ直線と、角膜反射中心とＬＥＤ光源１０３とを結ぶ直線と、の交点（第４位置）を算出する。そして第３算出部３５３は、瞳孔中心と算出した交点との距離を（第１距離）を算出し、例えば記憶部１５０に記憶する。

目標位置は、予め定められ、三次元世界座標値が算出できる位置であればよい。例えば、表示画面２０１の中央位置（三次元世界座標の原点）を目標位置とすることができる。この場合、例えば出力制御部３５７が、表示画面２０１上の目標位置（中央）に、被験者に注視させる画像（目標画像）等を表示する。これにより、被験者に目標位置を注視させることができる。

目標画像は、被験者を注目させることができる画像であればどのような画像であってもよい。例えば、輝度や色などの表示態様が変化する画像、および、表示態様が他の領域と異なる画像などを目標画像として用いることができる。

なお、目標位置は表示画面２０１の中央に限られるものではなく、任意の位置でよい。表示画面２０１の中央を目標位置とすれば、表示画面２０１の任意の端部との距離が最小になる。このため、例えば視線検出時の測定誤差をより小さくすることが可能となる。

距離の算出までの処理は、例えば実際の視線検出を開始するまでに事前に実行しておく。実際の視線検出時には、第３算出部３５３は、ＬＥＤ光源１０３と角膜反射中心とを結ぶ直線上で、瞳孔中心からの距離が、事前に算出した距離となる位置を、角膜曲率中心として算出する。

視線検出部３５４は、瞳孔中心と角膜曲率中心とから被験者の視線を検出する。例えば視線検出部３５４は、角膜曲率中心から瞳孔中心へ向かう方向を被験者の視線方向として検出する。

判定部３５５は、光源が照射する光以外の光（太陽光など。以下外光ともいう）に応じて変化するパラメータの値と予め定められた閾値とを比較することにより、視線検出の精度が低いか否かを判定し、判定結果を出力する。パラメータの値自体の代わりに、当該パラメータの値の変化の程度を示す値を閾値と比較してもよい。値の変化の程度を示す値とは、例えば、値の変化量（絶対値）、および、値の変化率などである。

パラメータは、例えば、瞳孔の大きさ（瞳孔径）、または、撮像画像の輝度などである。なお、パラメータはこれらに限られるものではない。例えば、角膜反射中心の位置、瞳孔中心の位置、および、視線方向などをパラメータとしてもよい。瞳孔の大きさなどのように、個人差が大きい計測値に関するパラメータを使用する場合は、個人差の影響を最小限とするために、値の変化率をパラメータとして用いることが望ましい。使用するパラメータは、上記のうち１つを使用してもよいし、複数組み合わせて使用してもよい。

瞳孔径は、撮像画像の低輝度の領域として検出された瞳孔（図３では瞳孔１１２）の大きさとして算出できる。撮像画像の輝度は、例えば、撮像画像の一部または全部の輝度の平均値などである。

パラメータとして瞳孔の大きさを用いる場合、判定部３５５は、例えば瞳孔の大きさの変化率と、予め定められた閾値とを比較する。変化率は、例えば、変化前の値に対する、変化前後の値の差の割合として算出できる。変化率が閾値以上となった場合、判定部３５５は、視線検出の精度が低いと判定し、精度が低いことを示す判定結果を出力する。

例えば太陽光が入射した場合、人間の生理現象として網膜に入射する光量を抑えるために瞳孔径が小さくなる。このため、瞳孔径の変化率が閾値以上となった場合には、太陽光が入射していると判断される。

判定部３５５は、瞳孔の大きさの値自体と、予め定められた閾値とを比較してもよい。例えば瞳孔の大きさが閾値以下となった場合、判定部３５５は、視線検出の精度が低いと判定し、精度が低いことを示す判定結果を出力する。パラメータとして撮像画像の輝度を用いる場合、判定部３５５は、輝度の値と閾値とを比較する。判定部３５５は、例えば輝度の値が閾値以上となった場合、視線検出の精度が低いと判定し、精度が低いことを示す判定結果を出力する。このように、使用するパラメータに応じて、視線検出の精度が低いと判断する条件（閾値以上か、閾値以下か、など）は変更される。また、比較する閾値は、使用するパラメータに応じて適切な値が設定される。

判定結果は、検出精度の低下を抑止するために利用できる。例えば、精度が低いことを示す判定結果が出力された場合、視線検出のための各処理を中断してもよい。具体的には、第１算出部３５１、第２算出部３５２、第３算出部３５３、および、視線検出部３５４のうち一部または全部が、処理を中断するように構成できる。これにより、精度が低下すると予想されるにも関わらず処理が実行されることを回避できる。

視線検出のための処理は継続し、視点検出部３５６、および、評価部３５８の少なくとも一方の処理を中断してもよい。これにより、精度が低い視線検出結果を用いて視点の検出および診断が実行されることを回避できる。

視点検出部３５６は、検出された視線方向を用いて被験者の視点を検出する。視点検出部３５６は、例えば、表示画面２０１で被験者が注視する点である視点（注視点）を検出する。視点検出部３５６は、例えば図３のような三次元世界座標系で表される視線ベクトルとＸＹ平面との交点を、被験者の注視点として検出する。

出力制御部３５７は、表示部１０１およびスピーカ２０５などに対する各種情報の出力を制御する。例えば、出力制御部３５７は、表示部１０１上の目標位置に目標画像を出力させる。また、出力制御部３５７は、診断画像、および、評価部３５８による評価結果などの表示部１０１に対する出力を制御する。

診断画像は、視線（視点）検出結果に基づく評価処理に応じた画像であればよい。例えば発達障がいを診断する場合であれば、発達障がいの被験者が好む画像（幾何学模様映像など）と、それ以外の画像（人物映像など）と、を含む診断画像を用いてもよい。

判定部３５５による判定結果が視線検出の精度が低いことを示す場合に、出力制御部３５７が、視線検出の精度が低いことを示す通知を出力してもよい。出力制御部３５７は、例えば、表示部１０１に対するエラー情報の表示、または、スピーカ２０５に対する音声の出力などの方法により、精度が低いことを示す通知を出力する。これにより、例えば検査者に対して外光を遮断する処置を促すことができる。また、出力制御部３５７は、表示部１０１への表示や音声の出力などの方法により精度が低いことを通知して、被験者もしくは診断者に視線検出処理の中断を選択させてもよい。

評価部３５８は、診断画像と、視点検出部３５６により検出された注視点とに基づく評価処理を行う。例えば発達障がいを診断する場合であれば、評価部３５８は、診断画像と注視点とを解析し、発達障がいの被験者が好む画像を注視したか否かを評価する。

図６は、本実施形態の診断支援装置１００により実行される処理の概要を説明する図である。図２〜図５で説明した要素については同一の符号を付し説明を省略する。

瞳孔中心４０７および角膜反射中心４０８は、それぞれ、ＬＥＤ光源１０３を点灯させた際に検出される瞳孔の中心、および、角膜反射点の中心を表している。角膜曲率半径４０９は、角膜表面から角膜曲率中心４１０までの距離を表す。

図７は、２つの光源（照明部）を用いる方法（以下、方法Ａとする）と、１つの光源（照明部）を用いる本実施形態との違いを示す説明図である。図２〜図５で説明した要素については同一の符号を付し説明を省略する。

方法Ａは、ＬＥＤ光源１０３の代わりに、２つのＬＥＤ光源５１１、５１２を用いる。方法Ａでは、ＬＥＤ光源５１１を照射したときの角膜反射中心５１３とＬＥＤ光源５１１とを結ぶ直線５１５と、ＬＥＤ光源５１２を照射したときの角膜反射中心５１４とＬＥＤ光源５１２とを結ぶ直線５１６との交点が算出される。この交点が角膜曲率中心５０５となる。

これに対し、本実施形態では、ＬＥＤ光源１０３を照射したときの、角膜反射中心５２２とＬＥＤ光源１０３とを結ぶ直線５２３を考える。直線５２３は、角膜曲率中心５０５を通る。また角膜の曲率半径は個人差による影響が少なくほぼ一定の値になることが知られている。このことから、ＬＥＤ光源１０３を照射したときの角膜曲率中心は、直線５２３上に存在し、一般的な曲率半径値を用いることにより算出することが可能である。

しかし、一般的な曲率半径値を用いて求めた角膜曲率中心の位置を使用して視点を算出すると、眼球の個人差により視点位置が本来の位置からずれて、正確な視点位置検出ができない場合がある。

図８は、視点検出（視線検出）を行う前に、角膜曲率中心位置と、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。図２〜図５で説明した要素については同一の符号を付し説明を省略する。

目標位置６０５は、表示部１０１上の一点に目標画像等を出して、被験者に見つめさせるための位置である。本実施形態では表示部１０１の画面の中央位置としている。直線６１３は、ＬＥＤ光源１０３と角膜反射中心６１２とを結ぶ直線である。直線６１４は、被験者が見つめる目標位置６０５（注視点）と瞳孔中心６１１とを結ぶ直線である。角膜曲率中心６１５は、直線６１３と直線６１４との交点である。第３算出部３５３は、瞳孔中心６１１と角膜曲率中心６１５との距離６１６を算出して記憶しておく。

図９は、本実施形態の算出処理の一例を示すフローチャートである。

まず出力制御部３５７は、表示部１０１の画面上の１点に目標画像を再生し（ステップＳ１０１）、被験者にその１点を注視させる。次に、制御部３００は、ＬＥＤ駆動制御部３１６を用いてＬＥＤ光源１０３を被験者の目に向けて点灯させる（ステップＳ１０２）。制御部３００は、左右カメラ（右カメラ２０２、左カメラ２０３）で被験者の目を撮像する（ステップＳ１０３）。

ＬＥＤ光源１０３の照射により、瞳孔部分は暗い部分（暗瞳孔）として検出される。またＬＥＤ照射の反射として、角膜反射の虚像が発生し、明るい部分として角膜反射点（角膜反射中心）が検出される。すなわち、第１算出部３５１は、撮像された画像から瞳孔部分を検出し、瞳孔中心の位置を示す座標を算出する。また、第２算出部３５２は、撮像された画像から角膜反射部分を検出し、角膜反射中心の位置を示す座標を算出する。なお、第１算出部３５１および第２算出部３５２は、左右カメラで取得した２つの画像それぞれに対して、各座標値を算出する（ステップＳ１０４）。

なお、左右カメラは、三次元世界座標を取得するために、事前にステレオ較正法によるカメラ較正が行われており、変換パラメータが算出されている。ステレオ較正法は、Ｔｓａｉのカメラキャリブレーション理論を用いた方法など従来から用いられているあらゆる方法を適用できる。

第１算出部３５１および第２算出部３５２は、この変換パラメータを使用して、左右カメラの座標から、瞳孔中心と角膜反射中心の三次元世界座標に変換を行う（ステップＳ１０５）。第３算出部３５３は、求めた角膜反射中心の世界座標と、ＬＥＤ光源１０３の中心位置の世界座標とを結ぶ直線を求める（ステップＳ１０６）。次に、第３算出部３５３は、表示部１０１の画面上の１点に表示される目標画像の中心の世界座標と、瞳孔中心の世界座標とを結ぶ直線を算出する（ステップＳ１０７）。第３算出部３５３は、ステップＳ１０６で算出した直線とステップＳ１０７で算出した直線との交点を求め、この交点を角膜曲率中心とする（ステップＳ１０８）。第３算出部３５３は、このときの瞳孔中心と角膜曲率中心との間の距離を算出して記憶部１５０などに記憶する（ステップＳ１０９）。記憶された距離は、その後の視点（視線）検出時に、角膜曲率中心を算出するために使用される。

算出処理で表示部１０１上の１点を見つめる際の瞳孔中心と角膜曲率中心との間の距離は、表示部１０１内の視点を検出する範囲で一定に保たれている。瞳孔中心と角膜曲率中心との間の距離は、目標画像を再生中に算出された値全体の平均から求めてもよいし、再生中に算出された値のうち何回かの値の平均から求めてもよい。

図１０は、視点検出を行う際に、事前に求めた瞳孔中心と角膜曲率中心との距離を使用して、補正された角膜曲率中心の位置を算出する方法を示した図である。注視点８０５は、一般的な曲率半径値を用いて算出した角膜曲率中心から求めた注視点を表す。注視点８０６は、事前に求めた距離を用いて算出した角膜曲率中心から求めた注視点を表す。

瞳孔中心８１１および角膜反射中心８１２は、それぞれ、視点検出時に算出された瞳孔中心の位置、および、角膜反射中心の位置を示す。直線８１３は、ＬＥＤ光源１０３と角膜反射中心８１２とを結ぶ直線である。角膜曲率中心８１４は、一般的な曲率半径値から算出した角膜曲率中心の位置である。距離８１５は、事前の算出処理により算出した瞳孔中心と角膜曲率中心との距離である。角膜曲率中心８１６は、事前に求めた距離を用いて算出した角膜曲率中心の位置である。角膜曲率中心８１６は、角膜曲率中心が直線８１３上に存在すること、および、瞳孔中心と角膜曲率中心との距離が距離８１５であることから求められる。これにより一般的な曲率半径値を用いる場合に算出される視線８１７は、視線８１８に補正される。また、表示部１０１の画面上の注視点は、注視点８０５から注視点８０６に補正される。

図１１は、本実施形態の視線検出処理の一例を示すフローチャートである。例えば、診断画像を用いた診断支援処理の中で視線を検出する処理として、図１１の視線検出処理を実行することができる。診断支援処理では、図１１の各ステップ以外に、診断画像を表示する処理、および、注視点の検出結果を用いた評価部３５８による評価処理などが実行される。

ステップＳ２０１〜ステップＳ２０５は、図９のステップＳ１０２〜ステップＳ１０６と同様であるため説明を省略する。

第３算出部３５３は、ステップＳ２０５で算出した直線上であって、瞳孔中心からの距離が、事前の算出処理によって求めた距離と等しい位置を角膜曲率中心として算出する（ステップＳ２０６）。

視線検出部３５４は、瞳孔中心と角膜曲率中心とを結ぶベクトル（視線ベクトル）を求める（ステップＳ２０７）。このベクトルが、被験者が見ている視線方向を示している。視点検出部３５６は、この視線方向と表示部１０１の画面との交点の三次元世界座標値を算出する（ステップＳ２０８）。この値が、被験者が注視する表示部１０１上の１点を世界座標で表した座標値である。視点検出部３５６は、求めた三次元世界座標値を、表示部１０１の二次元座標系で表される座標値（ｘ，ｙ）に変換する（ステップＳ２０９）。これにより、被験者が見つめる表示部１０１上の視点（注視点）を算出することができる。

次に、診断支援処理の例について説明する。図１２は、本実施形態における診断支援処理の一例を示すフローチャートである。図１２の例では、診断支援処理の中で視線検出の精度が低いかが判定され、低いと判定された場合には、診断支援のための評価値に影響させないために、所定の処理がスキップされる。

まず、制御部３００は、映像の再生を開始する（ステップＳ３０１）。次に、制御部３００は、映像の再生時間より僅かに短い時間を計測するタイマをリセットする（ステップＳ３０２）。次に、制御部３００は、表示画面２０１内の幾何学模様映像を注視した時にカウントアップするカウンタ１と、表示画面２０１内の人物映像を注視した時にカウントアップするカウンタ２をリセットする（ステップＳ３０３）。

なお、以下に説明する注視点測定は、例えば、同期して撮像するステレオカメラ１０２の１フレームごとに行う。すなわち所定の時間間隔ごとに注視点を測定する。従って、カウンタ１およびカウンタ２のカウント値は、それぞれ表示画面２０１内の幾何学模様映像および表示画面２０１内の人物映像の注視時間に対応する。

次に、視線検出部３５４および視点検出部３５６は、注視点検出を行う（ステップＳ３０４）。次に、判定部３５５は、瞳孔径の変化率が閾値以上であるか否かを判定する（ステップＳ３０５）。変化率が閾値以上の場合（ステップＳ３０５：Ｙｅｓ）、カウンタ１、カウンタ２に影響させないため、ステップＳ３０６〜ステップＳ３０９までの処理をスキップして、ステップＳ３１０に移動する。

変化率が閾値以上でない場合（ステップＳ３０５：Ｎｏ）、制御部３００は、注視点検出が失敗したか否かを判断する（ステップＳ３０６）。例えば、瞬きなどにより瞳孔および角膜反射の画像が得られない場合に、注視点検出が失敗する。また、注視点が表示画面２０１内に存在しない場合（表示画面２０１以外を見ていた場合）も、視点検出が失敗する。

注視点検出に失敗した場合（ステップＳ３０６：Ｙｅｓ）、カウンタ１、カウンタ２に影響させないため、ステップＳ３０７〜ステップＳ３０９までの処理をスキップして、ステップＳ３１０に移動する。

注視点検出が成功した場合（ステップＳ３０６：Ｎｏ）、制御部３００は、表示画面２０１上の注視点が表示画面２０１内の人物画像にあるか否かを調べる（ステップＳ３０７）。表示画面２０１内の人物画像以外にある場合（ステップＳ３０７：Ｎｏ）、制御部３００は、カウンタ１をカウントアップする（ステップＳ３０９）。制御部３００は、表示画面２０１上の注視点が表示画面２０１内の人物画像にある場合（ステップＳ３０７：Ｙｅｓ）、制御部３００は、カウンタ２のカウントアップする（ステップＳ３０８）。

次に、映像の終了を確認するため、制御部３００は、タイマの完了を調べる（ステップＳ３１０）。例えば、制御部３００は、タイマの値が映像の終了時間に対応する所定値に達した場合に、タイマが完了したと判定する。タイマが完了していない場合（ステップＳ３１０：Ｎｏ）、ステップＳ３０４に戻り処理を繰り返す。

タイマが完了した場合（ステップＳ３１０：Ｙｅｓ）、制御部３００は、映像の再生を停止させる（ステップＳ３１１）。次に、制御部３００は、カウンタ１のデータ（値）を出力する（ステップＳ３１２）。カウンタ１のデータは、表示画面２０１内の幾何学模様映像の注視時間に対応する。次に、制御部３００は、カウンタ２のデータを出力する（ステップＳ３１３）。カウンタ２のデータは、表示画面２０１内の人物映像の注視時間に対応する。次に評価部３５８は、カウンタ１とカウンタ２の割合を計算する（ステップＳ３１４）。例えば、評価部３５８は、カウンタ２の値に対するカウンタ１の値の割合を表す評価値を算出する。このような評価値は、発達障がいの可能性の指針になる。なお、評価値の算出方法はこれに限られるものではない。自然画および模様画像のいずれを注視しているかを判定可能な値であればどのような評価値を用いてもよい。表示画面２０１内の幾何学模様映像を注視した割合が高いほど、発達障がいの可能性が高くなる。評価部３５８は、算出した評価値を出力する（ステップＳ３１５）。

図１２の例では、注視点検出の後に視線検出の精度が低いかが判定され、低いと判定された場合に、ステップＳ３０６からステップＳ３０９の処理がスキップされた。上述のように、視線検出の精度が低いと判定された場合に、視線検出のための各処理を中断してもよい。例えば、図１１の視線検出処理の中で（例えばステップＳ２０３の後）、判定部３５５が瞳孔径の変化率が閾値以上であるかを判定してもよい。そして、変化率が閾値以上の場合に、視線検出処理内の以降の処理（例えばステップＳ２０４からステップＳ２０９）をスキップしてもよい。

また、図１２の例では、瞳孔径の変化率と閾値とを比較したが（ステップＳ３０５）、瞳孔径以外のパラメータを用いて判定してもよい。

（変形例１）
変形例１では、視線検出の精度が低いと判定された場合に、外光を遮断するための遮断装置を駆動させる。遮断装置は、例えば、電動のカーテンまたは電動のブラインドなどである。これにより外光の影響を低減させ、視線検出の精度を向上させることができる。また、本変形例では、遮断装置を駆動させるための駆動信号を示す光を、ＬＥＤ光源１０３に照射させるように制御する。すなわち、視線検出に用いるＬＥＤ光源１０３を、遮断装置を駆動させるためにも利用する。これにより、遮断装置を駆動させるための構成を簡略化することができる。

図１３は、本変形例の診断支援装置１００−２による装置駆動方法の一例を説明するための図である。図１３に示すように、診断支援装置１００−２は、遮断装置の一例である電動カーテン１３１１および電動ブラインド１３１２に接続される受光部１３０１に対向する位置に配置される。受光部１３０１は、ＬＥＤ光源１０３から照射される光を受光可能な位置に配置される。モーター制御回路１３０２は、受光部１３０１を介して診断支援装置１００−２から受信した駆動信号に従いモーター１３０３を駆動する。モーター１３０３は、電動カーテン１３１１または電動ブラインド１３１２を駆動させるモーターである。

電動カーテン１３１１および電動ブラインド１３１２はいずれか一方が備えられていてもよい。複数の遮断装置を備える場合は、受光部１３０１、モーター制御回路１３０２、および、モーター１３０３は、遮断装置ごとに備えてもよい。これらのうち一部または全部を複数の遮断装置に対して共通に用いるように構成してもよい。

図１４は、ＬＥＤ光源１０３の制御に用いる回路の例を示す図である。本変形例の駆動制御部は、例えば図１４のように、定電流回路１４１０と、ＰＷＭ信号生成部１４２１と、パルス信号生成部１４２２と、スイッチＳ１と、トランジスタ１４３１と、を備える。この駆動制御部は、上記実施形態のＬＥＤ駆動制御部３１６（図５）に相当する機能、および、遮断装置を駆動する駆動信号を示す光を照射させるようにＬＥＤ光源１０３を制御する機能を備えている。

定電流回路１４１０は、ＬＥＤ光源１０３の明るさを一定にするための定電流を出力する。定電流回路１４１０は、電圧源１４１１と、コイル１４１２と、ダイオード１４１３と、トランジスタ１４１４と、キャパシタ１４１５と、定電流制御部１４１６と、電流検出抵抗１４１７と、を備える。図１４の定電流回路１４１０は一例であり、定電流を出力できるものであればどのような構成であってもよい。

ＰＷＭ信号生成部１４２１は、ＬＥＤ光源１０３の明るさを調整するためのＰＷＭ制御で用いるＰＷＭ信号を生成する。例えば、撮像画像のうち眼部の画像の明るさに応じて発光デューティー比を調整したＰＷＭ信号がＬＥＤ光源１０３に出力される。

本変形例の制御部３００−２は、通常動作（視線検出を行う場合）では、スイッチＳ１をａ側に接続するように切り替える。視線検出の精度が低いと判定された場合、制御部３００−２はスイッチＳ１をｂ側に接続するように切り替える。これにより、ＬＥＤ光源１０３にパルス信号生成部１４２２が接続される。

パルス信号生成部１４２２は、遮断装置（電動カーテン１３１１、電動ブラインド１３１２）を駆動するための駆動信号を示す赤外光を照射させるためのパルス信号を生成する。パルス信号は、例えば遮断装置に対して定められる赤外線リモコンのデータフォーマットに従う信号となるように生成される。これにより、ＬＥＤ光源１０３を、遮断装置の赤外線リモコンの光源として利用可能となる。

制御部３００−２は、遮断装置の閉動作が完了する一定時間後に、再びスイッチＳ１をａ側に切り替え、視線検出動作を再開してもよい。

図１５は、受光部１３０１の構成例を示す図である。図１５の受光部１３０１は、フォトダイオード１５０１と、アンプ１５１１と、バンドパスフィルタ１５１２と、波形検出器１５１３と、トランジスタ１５１４と、抵抗１５１５と、オシレータ１５１６と、を備えている。アンプ１５１１は、電圧利得制御機能を備えていてもよい。波形検出器１５１３は、整流機能を備えていてもよい。なお、受光部１３０１は図１５の例に限られるものではなく、少なくともＬＥＤ光源１０３が照射する赤外光を検知できるものであればどのような構成であってもよい。

ＬＥＤ光源１０３は、照明用として使用するため、光の放射パワーが一般的な赤外線通信における光の放射パワーに比べて格段に大きい。このため、ＬＥＤ光源１０３を赤外線通信における送信手段として使用することで、通信距離が大幅に伸びて安定した通信が行える。また、赤外線通信を行う際に別途、専用の送信モジュールが不要なため、装置構成を簡略化し、コストを低減することができる。

なお、外光を遮断する遮断装置を駆動する代わりに、照明装置の光量を変化させる（光量を下げる等）、または、可動式の照明装置を移動させるように構成してもよい。このような構成により、外光（太陽光等）ではない光が視線検出に影響を与える環境であっても、光の影響を低減させることができる。

（変形例２）
変形例２の診断支援装置１００−３は、赤外線通信機能による送信の結果を、ステレオカメラ１０２で確認可能とする。例えば、診断支援装置１００−３は、ＬＥＤ光源１０３により信号を送信し、一定時間が経過した後、信号を受信した装置の応答をステレオカメラ１０２で撮像する。そして、診断支援装置１００−３は、撮像した画像を解析し、信号の受信状態（受信が完了したか否か）を確認することができる。

図１６は、本変形例の診断支援装置１００−３による確認処理の一例を説明するための図である。診断支援装置１００−３は、外部機器１６００と対向する位置に設置される。外部機器１６００は、例えば、視線検出結果または診断支援結果を表示するためのタブレット端末などである。外部機器１６００は、図１３と同様の受光部１３０１と、表示部１６１１と、を備えている。診断支援装置１００−３は、視線検出結果（検出した視線のデータなど）を外部機器１６００へ転送する場合、スイッチＳ１をｂ側に切り替え、ＬＥＤ光源１０３を赤外線通信における送信部として使用する。外部機器１６００は、データを受信した後、表示部に所定の情報（例えば“ＯＫ”のマーク）を表示する（図１６の画面１６２０）。診断支援装置１００−３は、ステレオカメラ１０２により撮像した撮像画像を解析し、所定の情報（“ＯＫ”など）が認識されたら通信完了とする。

赤外線通信により送信するデータは視線検出結果に限られるものではなく、どのようなデータであってもよい。ステレオカメラ１０２は、上述のようにキャリブレーション（較正）を行い、カメラパラメータを求める必要がある。キャリブレーションでは、例えば、既知の大きさの図形パターンまでの距離が相互に異なるように図形パターンが移動される。そして、移動ごとに図形パターンを撮像して、レンズの歪補正およびカメラパラメータの算出が行われる。図形パターンを移動させる装置を駆動する駆動信号を、赤外線通信により送信してもよい。

以上のように、本実施形態によれば、例えば以下のような効果が得られる。
（１）太陽光などの外光の入射による検出精度の低下を判定し、例えば視線検出を中断することができる。検出精度の低下は、画面に表示したり音声で報知したりすることで、被験者及び検査者に知らせることができる。
（２）外光の遮断装置を用いることで検査環境を整えることができる。
（３）光源（照明部）を２ヶ所に配置する必要がなく、１ヵ所に配置した光源で視線検出を行うことが可能となる。
（４）光源が１ヵ所になったため、装置をコンパクトにすることが可能となり、コストダウンも実現できる。

１００ 診断支援装置
１０１ 表示部
１０２ ステレオカメラ
１０３ ＬＥＤ光源
１５０ 記憶部
２０１ 表示画面
２０２ 右カメラ
２０３ 左カメラ
２０５ スピーカ
３００ 制御部
３１３ 駆動・ＩＦ部
３１６ ＬＥＤ駆動制御部
３２２ スピーカ駆動部
３５１ 第１算出部
３５２ 第２算出部
３５３ 第３算出部
３５４ 視線検出部
３５５ 判定部
３５６ 視点検出部
３５７ 出力制御部
３５８ 評価部

Claims (5)

1. 光を照射する照明部と、
   前記照明部から光が照射された被験者の状態を検出する検出部と、
   前記照明部が照射する光以外の光に応じて変化するパラメータの値、または、前記パラメータの値の変化の程度を示す値と、前記検出部による状態検出において所定の検出精度を得るための閾値とを比較する比較部と、を備え、
   前記検出部は、前記比較部による比較結果に応じて、前記パラメータの値、または、前記パラメータの値の変化の程度を示す値が、前記所定の検出精度よりも低い検出精度となることを示す値である場合に、状態検出を中断する、
   ことを特徴とする検出装置。
2. 光を照射する照明部と、
   前記照明部から光が照射された被験者の状態を検出する検出部と、
   前記照明部が照射する光以外の光に応じて変化するパラメータの値、または、前記パラメータの値の変化の程度を示す値と、前記検出部による状態検出において所定の検出精度を得るための閾値とを比較する比較部と、
   前記比較部による比較結果に応じて、前記パラメータの値、または、前記パラメータの値の変化の程度を示す値が、前記所定の検出精度よりも低い検出精度となることを示す値である場合に、検出精度が低いことを示す通知を出力する出力制御部と、
   を備えることを特徴とする検出装置。
3. 被験者を撮像する撮像部を備え、
   前記検出部は、前記撮像部により撮像された撮像画像から被験者の視線を検出する、
   ことを特徴とする請求項１または２に記載の検出装置。
4. 前記パラメータは、前記被験者の瞳孔の大きさ、または、前記撮像画像の輝度値を含む、
   ことを特徴とする請求項３に記載の検出装置。
5. 照明部から光が照射された被験者の状態を検出する検出ステップと、
   前記照明部が照射する光以外の光に応じて変化するパラメータの値、または、前記パラメータの値の変化の程度を示す値と、前記検出ステップによる状態検出において所定の検出精度を得るための閾値とを比較する比較ステップと、を備え、
   前記検出ステップは、前記比較ステップによる比較結果に応じて、前記パラメータの値、または、前記パラメータの値の変化の程度を示す値が、前記所定の検出精度よりも低い検出精度となることを示す値である場合に、状態検出を中断する、
   ことを特徴とする検出方法。