JP2015181798A - 検出装置および検出方法 - Google Patents

Abstract

【課題】検出の精度を向上させる。【解決手段】表示部と、被験者を撮像する撮像部と、撮像部により撮像された撮像画像から、被験者の視線方向を検出する視線検出部と、人物画像と、幾何学模様画像と、を含む診断画像を表示部に表示させる出力制御部と、視線方向に基づいて、人物画像内における被験者の視点である第１視点を検出し、幾何学模様画像内の幾何学模様の中心、幾何学模様の特徴部分、幾何学模様を描画する線の密度が他の部分より大きい部分、または幾何学模様が変化する部分の少なくとも１つを含む領域における被験者の視点である第２視点を検出する視点検出部と、を備える。【選択図】図４

Description

本発明は、検出装置および検出方法に関する。

最近、発達障がい者が増加傾向にあると言われている。発達障がいは、早期に発見し療育を開始することで症状を軽減し、社会に適応できる効果が高くなることがわかっている。我が国でも、１歳半検診時の問診などにより早期発見を目指している。しかし、精神科医不足や、問診に時間が掛かるなどの問題があり、その効果は十分とはいえない。そこで、客観的で効率的な発達障がいの診断支援装置が求められている。

発達障がい早期発見のためには、例えば１歳半検診時に診断できることが理想的である。また、検診時の使用について配慮することが必要である。発達障がい児の特徴として、対面する相手の目を見ない（視線をそらす）ことが挙げられる。また、発達障がい児の特徴として、人物映像より幾何学模様の映像を好むことが知られている。カメラで人の顔を撮影して、角膜反射と瞳孔の位置を計算することにより注視点を検出する方法などを応用して、発達障がいを診断支援する方法が提案されている。

特開２０１１−２０６５４２号公報 特開２００５−１９８７４３号公報

Pierce K et al.,"Preference for Geometric Patterns Early in Life as a Risk Factor for Autism."，Arch Gen Psychiatry. 2011 Jan;68（1）:101-109.

上記のように注視点を検出する方法や、発達障がいの被験者の診断を支援する方法が知られているが、さらに高精度の検出方法が求められていた。

本発明は、上記に鑑みてなされたものであって、検出の精度を向上できる検出装置および検出方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、表示部と、被験者を撮像する撮像部と、前記撮像部により撮像された撮像画像から、前記被験者の視線方向を検出する視線検出部と、人物画像と、幾何学模様画像と、を含む診断画像を前記表示部に表示させる出力制御部と、前記視線方向に基づいて、前記人物画像内における前記被験者の視点である第１視点を検出し、前記幾何学模様画像内の幾何学模様の中心、幾何学模様の特徴部分、幾何学模様を描画する線の密度が他の部分より大きい部分、または幾何学模様が変化する部分の少なくとも１つを含む領域における前記被験者の視点である第２視点を検出する視点検出部と、を備える。

本発明にかかる検出装置および検出方法は、検出の精度を向上できるという効果を奏する。

図１は、本実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。 図２は、本実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。 図３は、診断支援装置の機能の概要を示す図である。 図４は、図３に示す各部の詳細な機能の一例を示すブロック図である。 図５は、本実施形態の診断支援装置により実行される処理の概要を説明する図である。 図６は、２つの光源を用いる方法と、１つの光源を用いる本実施形態との違いを示す説明図である。 図７は、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。 図８は、本実施形態の算出処理の一例を示すフローチャートである。 図９は、事前に求めた距離を使用して角膜曲率中心の位置を算出する方法を示した図である。 図１０は、本実施形態の視線検出処理の一例を示すフローチャートである。 図１１は、診断画像の一例を示す図である。 図１２は、本実施形態で用いる診断画像の一例を示す図である。 図１３は、本実施形態で用いる診断画像の他の例を示す図である。 図１４は、図１２の診断画像を用いる場合の診断支援処理の一例を示すフローチャートである。 図１５は、図１３の診断画像を用いる場合の診断支援処理の一例を示すフローチャートである。 図１６は、本実施形態で用いる診断画像の他の例を示す図である。

以下に、本発明にかかる検出装置および検出方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、以下では、視線検出結果を用いて発達障がいなどの診断を支援する診断支援装置に検出装置を用いた例を説明する。適用可能な装置は診断支援装置に限られるものではない。

本実施形態の検出装置（診断支援装置）は、１ヵ所に設置された照明部を用いて視線を検出する。また、本実施形態の検出装置（診断支援装置）は、視線検出前に被験者に１点を注視させて測定した結果を用いて、角膜曲率中心位置を高精度に算出する。

なお、照明部とは、光源を含み、被験者の眼球に光を照射可能な要素である。光源とは、例えばＬＥＤ（Light Emitting Diode）などの光を発生する素子である。光源は、１個のＬＥＤから構成されてもよいし、複数のＬＥＤを組み合わせて１ヵ所に配置することにより構成されてもよい。以下では、このように照明部を表す用語として「光源」を用いる場合がある。

また、２ヶ所以上に設置された照明部を用いて視線を検出するように構成してもよい。この場合は、例えば、特許文献２と同様の視線検出方法を適用できる。

図１および２は、本実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。

図１に示すように、本実施形態の診断支援装置は、表示部１０１と、ステレオカメラ１０２と、ＬＥＤ光源１０３と、を含む。ステレオカメラ１０２は、表示部１０１の下に配置される。ＬＥＤ光源１０３は、ステレオカメラ１０２に含まれる２つのカメラの中心位置に配置される。ＬＥＤ光源１０３は、例えば波長８５０ｎｍの近赤外線を照射する光源である。図１では、９個のＬＥＤによりＬＥＤ光源１０３（照明部）を構成する例が示されている。なお、ステレオカメラ１０２は、波長８５０ｎｍの近赤外光を透過できるレンズを使用する。

図２に示すように、ステレオカメラ１０２は、右カメラ２０２と左カメラ２０３とを備えている。ＬＥＤ光源１０３は、被験者の眼球１１１に向かって近赤外光を照射する。ステレオカメラ１０２で取得される画像では、瞳孔１１２が低輝度で反射して暗くなり、眼球１１１内に虚像として生じる角膜反射１１３が高輝度で反射して明るくなる。従って、瞳孔１１２および角膜反射１１３の画像上の位置を２台のカメラ（右カメラ２０２、左カメラ２０３）それぞれで取得することができる。

さらに２台のカメラにより得られる瞳孔１１２および角膜反射１１３の位置から、瞳孔１１２および角膜反射１１３の位置の三次元世界座標値を算出する。本実施形態では、三次元世界座標として、表示部１０１の画面の中央位置を原点として、上下をＹ座標（上が＋）、横をＸ座標（向かって右が＋）、奥行きをＺ座標（手前が＋）としている。

図３は、診断支援装置１００の機能の概要を示す図である。図３では、図１および２に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図３に示すように、診断支援装置１００は、右カメラ２０２と、左カメラ２０３と、ＬＥＤ光源１０３と、スピーカ２０５と、駆動・ＩＦ（interface）部３１３と、制御部３００と、記憶部１５０と、表示部１０１と、を含む。図３において、表示画面２０１は、右カメラ２０２および左カメラ２０３との位置関係を分かりやすく示しているが、表示画面２０１は表示部１０１において表示される画面である。なお、駆動部とＩＦ部は一体でもよいし、別体でもよい。

スピーカ２０５は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する音声出力部として機能する。

駆動・ＩＦ部３１３は、ステレオカメラ１０２に含まれる各部を駆動する。また、駆動・ＩＦ部３１３は、ステレオカメラ１０２に含まれる各部と、制御部３００とのインタフェースとなる。

制御部３００は、例えば、ＣＰＵ（Central Processing Unit）などの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆと、各部を接続するバスを備えているコンピュータなどにより実現できる。

記憶部１５０は、制御プログラム、測定結果、診断支援結果など各種情報を記憶する。記憶部１５０は、例えば、表示部１０１に表示する画像等を記憶する。表示部１０１は、診断のための対象画像等、各種情報を表示する。

図４は、図３に示す各部の詳細な機能の一例を示すブロック図である。図４に示すように、制御部３００には、表示部１０１と、駆動・ＩＦ部３１３が接続される。駆動・ＩＦ部３１３は、カメラＩＦ３１４、３１５と、ＬＥＤ駆動制御部３１６と、スピーカ駆動部３２２と、を備える。

駆動・ＩＦ部３１３には、カメラＩＦ３１４、３１５を介して、それぞれ、右カメラ２０２、左カメラ２０３が接続される。駆動・ＩＦ部３１３がこれらのカメラを駆動することにより、被験者を撮像する。

スピーカ駆動部３２２は、スピーカ２０５を駆動する。なお、診断支援装置１００が、印刷部としてのプリンタと接続するためのインタフェース（プリンタＩＦ）を備えてもよい。また、プリンタを診断支援装置１００の内部に備えるように構成してもよい。

制御部３００は、診断支援装置１００全体を制御する。制御部３００は、第１算出部３５１と、第２算出部３５２と、第３算出部３５３と、視線検出部３５４と、視点検出部３５５と、出力制御部３５６と、評価部３５７と、を備えている。なお、視線検出装置としては、少なくとも第１算出部３５１、第２算出部３５２、第３算出部３５３、および、視線検出部３５４が備えられていればよい。

制御部３００に含まれる各要素（第１算出部３５１、第２算出部３５２、第３算出部３５３、視線検出部３５４、視点検出部３５５、出力制御部３５６、および、評価部３５７）は、ソフトウェア（プログラム）で実現してもよいし、ハードウェア回路で実現してもよいし、ソフトウェアとハードウェア回路とを併用して実現してもよい。

プログラムで実現する場合、当該プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

第１算出部３５１は、ステレオカメラ１０２により撮像された眼球の画像から、瞳孔の中心を示す瞳孔中心の位置（第１位置）を算出する。第２算出部３５２は、撮像された眼球の画像から、角膜反射の中心を示す角膜反射中心の位置（第２位置）を算出する。

第３算出部３５３は、ＬＥＤ光源１０３と角膜反射中心とを結ぶ直線と、から角膜曲率中心（第３位置）を算出する。例えば、第３算出部３５３は、この直線上で、角膜反射中心からの距離が所定値となる位置を、角膜曲率中心として算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値を用いることができる。

角膜の曲率半径値には個人差が生じうるため、事前に定められた値を用いて角膜曲率中心を算出すると誤差が大きくなる可能性がある。従って、第３算出部３５３が、個人差を考慮して角膜曲率中心を算出してもよい。この場合、第３算出部３５３は、まず目標位置を被験者に注視させたときに算出された瞳孔中心および角膜反射中心を用いて、瞳孔中心と目標位置とを結ぶ直線と、角膜反射中心とＬＥＤ光源１０３とを結ぶ直線と、の交点（第４位置）を算出する。そして第３算出部３５３は、瞳孔中心と算出した交点との距離を（第１距離）を算出し、例えば記憶部１５０に記憶する。

目標位置は、予め定められ、三次元世界座標値が算出できる位置であればよい。例えば、表示画面２０１の中央位置（三次元世界座標の原点）を目標位置とすることができる。この場合、例えば出力制御部３５６が、表示画面２０１上の目標位置（中央）に、被験者に注視させる画像（目標画像）等を表示する。これにより、被験者に目標位置を注視させることができる。

目標画像は、被験者を注目させることができる画像であればどのような画像であってもよい。例えば、輝度や色などの表示態様が変化する画像、および、表示態様が他の領域と異なる画像などを目標画像として用いることができる。

なお、目標位置は表示画面２０１の中央に限られるものではなく、任意の位置でよい。表示画面２０１の中央を目標位置とすれば、表示画面２０１の任意の端部との距離が最小になる。このため、例えば視線検出時の測定誤差をより小さくすることが可能となる。

距離の算出までの処理は、例えば実際の視線検出を開始するまでに事前に実行しておく。実際の視線検出時には、第３算出部３５３は、ＬＥＤ光源１０３と角膜反射中心とを結ぶ直線上で、瞳孔中心からの距離が、事前に算出した距離となる位置を、角膜曲率中心として算出する。

視線検出部３５４は、瞳孔中心と角膜曲率中心とから被験者の視線を検出する。例えば視線検出部３５４は、角膜曲率中心から瞳孔中心へ向かう方向を被験者の視線方向として検出する。

視点検出部３５５は、検出された視線方向を用いて被験者の視点を検出する。視点検出部３５５は、例えば、表示画面２０１で被験者が注視する点である視点（注視点）を検出する。視点検出部３５５は、例えば図２のような三次元世界座標系で表される視線ベクトルとＸＹ平面との交点を、被験者の注視点として検出する。

出力制御部３５６は、表示部１０１およびスピーカ２０５などに対する各種情報の出力を制御する。例えば、出力制御部３５６は、表示部１０１上の目標位置に目標画像を出力させる。また、出力制御部３５６は、診断画像、および、評価部３５７による評価結果などの表示部１０１に対する出力を制御する。

診断画像は、視線（視点）検出結果に基づく評価処理に応じた画像であればよい。例えば発達障がいを診断する場合であれば、発達障がいの被験者が好む画像（幾何学模様画像など）と、それ以外の画像（人物画像など）と、を含む診断画像を用いてもよい。画像は、静止画像であっても動画像であってもよい。幾何学模様画像は、例えば１以上の幾何学模様を含む画像である。人物画像は、例えば人物の顔を含む画像であればよい。なお、動物、植物、および自然の景観などをカメラで撮像した画像（静止画、動画）に人物が存在する画像を用いてもよい。また、人物などを模したキャラクタの画像（静止画、動画）を用いてもよい。

評価部３５７は、診断画像と、視点検出部３５５により検出された注視点とに基づく評価処理を行う。例えば発達障がいを診断する場合であれば、評価部３５７は、診断画像と注視点とを解析し、発達障がいの被験者が好む画像を注視したか否かを評価する。

図５は、本実施形態の診断支援装置１００により実行される処理の概要を説明する図である。図１〜図４で説明した要素については同一の符号を付し説明を省略する。

瞳孔中心４０７および角膜反射中心４０８は、それぞれ、ＬＥＤ光源１０３を点灯させた際に検出される瞳孔の中心、および、角膜反射点の中心を表している。角膜曲率半径４０９は、角膜表面から角膜曲率中心４１０までの距離を表す。

図６は、２つの光源（照明部）を用いる方法（以下、方法Ａとする）と、１つの光源（照明部）を用いる本実施形態との違いを示す説明図である。図１〜図４で説明した要素については同一の符号を付し説明を省略する。なお、左右カメラ（右カメラ２０２、左カメラ２０３）と制御部３００とが接続することについては図示せず省略する。

方法Ａは、ＬＥＤ光源１０３の代わりに、２つのＬＥＤ光源５１１、５１２を用いる。方法Ａでは、ＬＥＤ光源５１１を照射したときの角膜反射中心５１３とＬＥＤ光源５１１とを結ぶ直線５１５と、ＬＥＤ光源５１２を照射したときの角膜反射中心５１４とＬＥＤ光源５１２とを結ぶ直線５１６との交点が算出される。この交点が角膜曲率中心５０５となる。

これに対し、本実施形態では、ＬＥＤ光源１０３を照射したときの、角膜反射中心５２２とＬＥＤ光源１０３とを結ぶ直線５２３を考える。直線５２３は、角膜曲率中心５０５を通る。また角膜の曲率半径は個人差による影響が少なくほぼ一定の値になることが知られている。このことから、ＬＥＤ光源１０３を照射したときの角膜曲率中心は、直線５２３上に存在し、一般的な曲率半径値を用いることにより算出することが可能である。

しかし、一般的な曲率半径値を用いて求めた角膜曲率中心の位置を使用して視点を算出すると、眼球の個人差により視点位置が本来の位置からずれて、正確な視点位置検出ができない場合がある。

図７は、視点検出（視線検出）を行う前に、角膜曲率中心位置と、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。図１〜図４で説明した要素については同一の符号を付し説明を省略する。

目標位置６０５は、表示部１０１上の一点に目標画像等を出して、被験者に見つめさせるための位置である。本実施形態では表示部１０１の画面の中央位置としている。直線６１３は、ＬＥＤ光源１０３と角膜反射中心６１２とを結ぶ直線である。直線６１４は、被験者が見つめる目標位置６０５（注視点）と瞳孔中心６１１とを結ぶ直線である。角膜曲率中心６１５は、直線６１３と直線６１４との交点である。第３算出部３５３は、瞳孔中心６１１と角膜曲率中心６１５との距離６１６を算出して記憶しておく。

図８は、本実施形態の算出処理の一例を示すフローチャートである。

まず出力制御部３５６は、表示部１０１の画面上の１点に目標画像を再生し（ステップＳ１０１）、被験者にその１点を注視させる。次に、制御部３００は、ＬＥＤ駆動制御部３１６を用いてＬＥＤ光源１０３を被験者の目に向けて点灯させる（ステップＳ１０２）。制御部３００は、左右カメラ（右カメラ２０２、左カメラ２０３）で被験者の目を撮像する（ステップＳ１０３）。

ＬＥＤ光源１０３の照射により、瞳孔部分は暗い部分（暗瞳孔）として検出される。またＬＥＤ照射の反射として、角膜反射の虚像が発生し、明るい部分として角膜反射点（角膜反射中心）が検出される。すなわち、第１算出部３５１は、撮像された画像から瞳孔部分を検出し、瞳孔中心の位置を示す座標を算出する。また、第２算出部３５２は、撮像された画像から角膜反射部分を検出し、角膜反射中心の位置を示す座標を算出する。なお、第１算出部３５１および第２算出部３５２は、左右カメラで取得した２つの画像それぞれに対して、各座標値を算出する（ステップＳ１０４）。

なお、左右カメラは、三次元世界座標を取得するために、事前にステレオ較正法によるカメラ較正が行われており、変換パラメータが算出されている。ステレオ較正法は、Ｔｓａｉのカメラキャリブレーション理論を用いた方法など従来から用いられているあらゆる方法を適用できる。

第１算出部３５１および第２算出部３５２は、この変換パラメータを使用して、左右カメラの座標から、瞳孔中心と角膜反射中心の三次元世界座標に変換を行う（ステップＳ１０５）。第３算出部３５３は、求めた角膜反射中心の世界座標と、ＬＥＤ光源１０３の中心位置の世界座標とを結ぶ直線を求める（ステップＳ１０６）。次に、第３算出部３５３は、表示部１０１の画面上の１点に表示される目標画像の中心の世界座標と、瞳孔中心の世界座標とを結ぶ直線を算出する（ステップＳ１０７）。第３算出部３５３は、ステップＳ１０６で算出した直線とステップＳ１０７で算出した直線との交点を求め、この交点を角膜曲率中心とする（ステップＳ１０８）。第３算出部３５３は、このときの瞳孔中心と角膜曲率中心との間の距離を算出して記憶部１５０などに記憶する（ステップＳ１０９）。記憶された距離は、その後の視点（視線）検出時に、角膜曲率中心を算出するために使用される。

算出処理で表示部１０１上の１点を見つめる際の瞳孔中心と角膜曲率中心との間の距離は、表示部１０１内の視点を検出する範囲で一定に保たれている。瞳孔中心と角膜曲率中心との間の距離は、目標画像を再生中に算出された値全体の平均から求めてもよいし、再生中に算出された値のうち何回かの値の平均から求めてもよい。

図９は、視点検出を行う際に、事前に求めた瞳孔中心と角膜曲率中心との距離を使用して、補正された角膜曲率中心の位置を算出する方法を示した図である。注視点８０５は、一般的な曲率半径値を用いて算出した角膜曲率中心から求めた注視点を表す。注視点８０６は、事前に求めた距離を用いて算出した角膜曲率中心から求めた注視点を表す。

瞳孔中心８１１および角膜反射中心８１２は、それぞれ、視点検出時に算出された瞳孔中心の位置、および、角膜反射中心の位置を示す。直線８１３は、ＬＥＤ光源１０３と角膜反射中心８１２とを結ぶ直線である。角膜曲率中心８１４は、一般的な曲率半径値から算出した角膜曲率中心の位置である。距離８１５は、事前の算出処理により算出した瞳孔中心と角膜曲率中心との距離である。角膜曲率中心８１６は、事前に求めた距離を用いて算出した角膜曲率中心の位置である。角膜曲率中心８１６は、角膜曲率中心が直線８１３上に存在すること、および、瞳孔中心と角膜曲率中心との距離が距離８１５であることから求められる。これにより一般的な曲率半径値を用いる場合に算出される視線８１７は、視線８１８に補正される。また、表示部１０１の画面上の注視点は、注視点８０５から注視点８０６に補正される。なお、左右カメラ（右カメラ２０２、左カメラ２０３）と制御部３００とが接続することについては図示せず省略する。

図１０は、本実施形態の視線検出処理の一例を示すフローチャートである。例えば、診断画像を用いた診断処理の中で視線を検出する処理として、図１０の視線検出処理を実行することができる。診断処理では、図１０の各ステップ以外に、診断画像を表示する処理、および、注視点の検出結果を用いた評価部３５７による評価処理などが実行される。

ステップＳ２０１〜ステップＳ２０５は、図８のステップＳ１０２〜ステップＳ１０６と同様であるため説明を省略する。

第３算出部３５３は、ステップＳ２０５で算出した直線上であって、瞳孔中心からの距離が、事前の算出処理によって求めた距離と等しい位置を角膜曲率中心として算出する（ステップＳ２０６）。

視線検出部３５４は、瞳孔中心と角膜曲率中心とを結ぶベクトル（視線ベクトル）を求める（ステップＳ２０７）。このベクトルが、被験者が見ている視線方向を示している。視点検出部３５５は、この視線方向と表示部１０１の画面との交点の三次元世界座標値を算出する（ステップＳ２０８）。この値が、被験者が注視する表示部１０１上の１点を世界座標で表した座標値である。視点検出部３５５は、求めた三次元世界座標値を、表示部１０１の二次元座標系で表される座標値（ｘ，ｙ）に変換する（ステップＳ２０９）。これにより、被験者が見つめる表示部１０１上の視点（注視点）を算出することができる。

次に、診断支援処理の詳細について説明する。診断支援の方法として、例えば、左右に人物画像と幾何学模様画像とを並列させた診断画像を用いて、左右の各画像のエリア（領域）内を注視した時間を集計する方法が考えられる。図１１は、このような方法で表示する診断画像の一例を示す図である。表示画面２０１の中央付近の左に人物画像（エリアＨ）を含み、右に幾何学模様画像（エリアＫ）を含む診断画像が表示される。そして、エリアＨ全体およびエリアＫ全体で、それぞれ注視点の停留時間が測定される。このような方法では、例えば、人物画像（エリアＨ）内の顔部分を注視するのではなく、エリアＨの端部などに偶発的に視線が向いた場合であっても、人物画像を注視したと判断される。

そこで、本実施形態では、人物画像および幾何学模様画像に、診断支援に適する一部の領域（エリア）をそれぞれ設ける。そして、この部分を注視した時間を検出し、検出した時間を比較することにより診断支援を行う。例えば、人物画像中の顔の部分に判定エリア（第１特定領域）を設け、幾何学模様の中心部分に判定エリア（第２特定領域）を設ける。そして、それぞれの判定エリアの注視時間を基に判定する。これにより、人物の顔部分を特によく見たか、幾何学模様の中心をよく見たかで、定型発達の被験者と発達障がいの被験者との注視時間の差がより大きくなる。この結果、さらに高精度の検出を実現できる。

図１２は、本実施形態で用いる診断画像の一例を示す図である。図１１と同様に、表示画面２０１の中央付近の左に人物画像（エリアＨ）を含み、右に幾何学模様画像（エリアＫ）を含む診断画像が表示される。本実施形態では、人物画像および幾何学模様画像のそれぞれの中に、さらに特定の判定エリアを設ける。例えば、エリアＨは、エリア１Ａおよびエリア２Ａを判定エリアとして含む。また、エリアＫは、エリア３Ｂ、エリア４Ｂおよびエリア５Ｂを判定エリアとして含む。

エリア１Ａは、第１の人物（少女）の顔を含むエリアである。エリア２Ａは、第２の人物（赤ちゃん）の顔を含むエリアである。エリア３Ｂは、エリアＫ内の３つの幾何学模様のうち左上部の幾何学模様の中心を含むエリアである。エリア４Ｂは、下部の幾何学模様の中心を含むエリアである。エリア５Ｂは、中央右の幾何学模様の中心を含むエリアである。

被験者が人に興味があるか、幾何学模様に興味があるかを測定する場合、人に興味があると判定するエリアを、エリア１Ａおよびエリア２Ａの少なくとも１つとする。また、幾何学模様に興味があると判定するエリアを、エリア３Ｂ、エリア４Ｂ、およびエリア５Ｂの少なくとも１つとする。

図１３は、本実施形態で用いる診断画像の他の例を示す図である。図１３の例では、エリアＨは、エリア１２Ａおよびエリア１３Ａを判定エリアとして含む。また、エリアＫは、エリア１１Ｂを判定エリアとして含む。図１３は、図１２に対して、人物画像（エリアＨ）および幾何学模様画像（エリアＫ）の配置が異なる診断画像の例である。すなわち、図１３では、左が幾何学模様画像（エリアＫ）、右が人物画像（エリアＨ）となる。このように異なった配置の診断画像を用いることにより、被験者の視線が左右の位置関係に依存していないか確認し、より正確な診断を行うことが可能となる。

エリア１１Ｂは、エリアＫ内の幾何学模様全体の中心を含むエリアである。エリア１２Ａは、第１の人物（少女）の顔を含むエリアである。エリア１３Ａは、第２の人物（母親）の顔を含むエリアである。

被験者が人に興味があるか、幾何学模様に興味があるかを測定する場合、人に興味があると判定するエリアをエリア１２Ａおよびエリア１３Ａの少なくとも１つとする。また、幾何学模様に興味があると判定するエリアをエリア１１Ｂとする。

なお、図１２および１３では、判定エリアの形状を楕円（または円）としているが、判定エリアの形状はこれに限られるものではなく、任意の形状としてよい。また、例えば図１２では同心円状の幾何学模様を３つ含む幾何学模様画像の例が示されているが、幾何学模様の個数は任意でよい。上記のように診断画像は動画像であってもよく、この場合、画像の動きに合わせて判定エリアも移動させればよい。また、診断画像上の記号である黒い「○」の軌跡は、診断画像上で検出される注視点の軌跡の例を示している。

図１４は、図１２の診断画像を用いる場合の診断支援処理の一例を示すフローチャートである。

まず、制御部３００は、画像（映像）の再生を開始する（ステップＳ３０１）。次に、制御部３００は、映像の再生時間より僅かに短い時間を計測するタイマをリセットする（ステップＳ３０２）。次に、制御部３００は、人物画像内の判定エリアを注視した時にカウントアップするカウンタ１と、幾何学模様画像内の判定エリアを注視した時にカウントアップするカウンタ２と、双方のエリア内ではない場合にカウントアップするカウンタ３と、をリセットする（ステップＳ３０３）。

以下に説明する注視点測定は、例えば、同期して撮像するステレオカメラの１フレームごとに行う。すなわち所定の時間間隔ごとに注視点が測定される。従って、カウンタ１、カウンタ２、およびカウンタ３のカウント値は、注視時間に対応する。カウンタ１は、人物画像内の判定エリアで注視点（第１視点）が検出される時間（注視時間）に相当する。また、カウンタ２は、幾何学模様画像内の判定エリアで注視点（第２視点）が検出される時間（注視時間）に相当する。

次に、注視点検出が行われる（ステップＳ３０４）。注視点検出は、例えば図１０までで説明したような手順に従い、第１算出部３５１、第２算出部３５２、第３算出部３５３、および、視線検出部３５４により実行される。次に、制御部３００は、注視点検出が失敗したかを判断する（ステップＳ３０５）。例えば、瞬きなどにより瞳孔および角膜反射の画像が得られない場合に、注視点検出が失敗する。また、注視点が表示画面２０１内にない場合（表示画面２０１以外を見ていた場合）も、注視点検出が失敗する。

注視点検出に失敗した場合（ステップＳ３０５：Ｙｅｓ）、カウンタ１、カウンタ２、およびカウンタ３に影響させないため、ステップＳ３０６〜ステップＳ３１３までの処理をスキップして、ステップＳ３１４に移動する。

注視点検出が成功した場合（ステップＳ３０５：Ｎｏ）、制御部３００は、得られた注視点の座標より、注視点がエリア１Ａ内にあるか否かを判断する（ステップＳ３０６）。エリア１Ａ内にあれば（ステップＳ３０６：Ｙｅｓ）、制御部３００は、カウンタ１をカウントアップする（ステップＳ３１１）。エリア１Ａ内にない場合（ステップＳ３０６：Ｎｏ）、制御部３００は、注視点がエリア２Ａ内にあるか否かを判断する（ステップＳ３０７）。エリア２Ａ内にあれば（ステップＳ３０７：Ｙｅｓ）、制御部３００は、カウンタ１をカウントアップする（ステップＳ３１１）。

注視点がエリア２Ａ内にない場合（ステップＳ３０７：Ｎｏ）、制御部３００は、得られた注視点の座標より、注視点がエリア３Ｂ内にあるか否かを判断する（ステップＳ３０８）。エリア３Ｂ内にあれば（ステップＳ３０８：Ｙｅｓ）、制御部３００は、カウンタ２をカウントアップする（ステップＳ３１２）。エリア３Ｂ内にない場合（ステップＳ３０８：Ｎｏ）、制御部３００は、注視点がエリア４Ｂ内にあるか否かを判断する（ステップＳ３０９）。注視点がエリア４Ｂ内にあれば（ステップＳ３０９：Ｙｅｓ）、制御部３００は、カウンタ２をカウントアップする（ステップＳ３１２）。注視点がエリア４Ｂ内にない場合（ステップＳ３０９：Ｎｏ）、制御部３００は、注視点がエリア５Ｂ内にあるか否かを判断する（ステップＳ３１０）。エリア５Ｂ内にあれば（ステップＳ３１０：Ｙｅｓ）、制御部３００は、カウンタ２をカウントアップする（ステップＳ３１２）。

いずれの判定エリア内にも注視点がない場合は（ステップＳ３１０：Ｎｏ）、人の顔も、幾何学模様の中心付近も見ていないことになるので、制御部３００は、カウンタ３をカウントアップする（ステップＳ３１３）。

次に、映像の終了を確認するため、制御部３００は、タイマの完了を調べる（ステップＳ３１４）。例えば、制御部３００は、タイマの値が映像の終了時間に対応する所定値に達した場合に、タイマが完了したと判定する。完了していない場合（ステップＳ３１４：Ｎｏ）、ステップＳ３０４に戻り処理を繰り返す。

タイマが完了した場合（ステップＳ３１４：Ｙｅｓ）、制御部３００は、映像の再生を停止させる（ステップＳ３１５）。次に、制御部３００は、カウンタ１のデータを出力する（ステップＳ３１６）。カウンタ１のデータは、人物画像内の判定エリアの注視時間に対応する。次に、制御部３００は、カウンタ２のデータを出力する（ステップＳ３１７）。カウンタ２のデータは、幾何学模様内の判定エリアの注視時間に対応する。

次に、評価部３５７は、カウンタ１とカウンタ２の割合を計算する（ステップＳ３１８）。この場合の割合は、具体的に、カウンタ２の計数値に対するカウンタ１の計数値の割合、カウンタ１の計数値に対するカウンタ２の計数値の割合、カウンタ１の計数値＋カウンタ２の計数値に対するカウンタ１の計数値の割合、またはカウンタ１の計数値＋カウンタ２の計数値に対するカウンタ２の計数値の割合などである。このような評価値は、発達障がいの可能性の指針になる。幾何学模様内の判定エリアを注視した割合が高いほど、発達障がいの可能性が高くなる。評価部３５７は、算出した評価値（割合データ）を出力する（ステップＳ３１９）。

次に、評価部３５７は、評価に用いる全ての視点の計数値（カウンタ１の計数値＋カウンタ２の計数値＋カウンタ３の計数値）に対するカウンタ１の計数値の割合を計算する（ステップＳ３２０）。この値が高いほど、更に発達障がいの可能性が低いことになる。

次に、評価部３５７は、評価に用いる全ての視点の計数値（カウンタ１の計数値＋カウンタ２の計数値＋カウンタ３の計数値）に対するカウンタ２の計数値の割合を計算する（ステップＳ３２１）。この値が高いほど、更に発達障がいの可能性が高いことになる。

なお、評価値の算出方法は上記に限られるものではない。人物画像および模様画像のいずれを注視しているかを判定可能な値であればどのような評価値を用いてもよい。図１４の例では、３つの評価値を算出したが（ステップＳ３１８、ステップＳ３２０、ステップＳ３２１）、算出する評価値の個数は任意である。

このように、本実施形態では、人物画像および幾何学画像の全体（例えばエリアＨ、エリアＫ）ではなく、人物画像内および幾何学画像内の一部のエリアを、視点の検出対象（診断対象）とする。これにより、例えば、注視する意図がなく偶発的に視点がエリア内に入った場合に誤って注視点を検出することを回避できる。すなわち、検出（診断）の精度を向上させることができる。

図１５は、図１３の診断画像を用いる場合の診断支援処理の一例を示すフローチャートである。

ステップＳ４０１〜ステップＳ４０５は、図１４のステップＳ３０１〜ステップＳ３０５と同様であるため説明を省略する。

注視点検出が成功した場合、制御部３００は、得られた注視点の座標より、注視点がエリア１１Ｂ内にあるか否かを判断する（ステップＳ４０６）。エリア１１Ｂ内にあれば（ステップＳ４０６：Ｙｅｓ）、制御部３００は、カウンタ２をカウントアップする（ステップＳ４１０）。

注視点がエリア１１Ｂ内にない場合（ステップＳ４０６：Ｎｏ）、制御部３００は、注視点がエリア１２Ａ内にあるか否かを判断する（ステップＳ４０７）。エリア１２Ａ内にあれば（ステップＳ４０７：Ｙｅｓ）、制御部３００は、カウンタ１をカウントアップする（ステップＳ４０９）。エリア１２Ａ内にない場合（ステップＳ４０７：Ｎｏ）、制御部３００は、注視点がエリア１３Ａ内にあるか否かを判断する（ステップＳ４０８）。エリア１３Ａ内にあれば（ステップＳ４０８：Ｙｅｓ）、制御部３００は、カウンタ１をカウントアップする（ステップＳ４０９）。

いずれの判定エリア内にも注視点がない場合（ステップＳ４０８：Ｎｏ）、人の顔も、幾何学模様の中心付近も見ていないことになるので、制御部３００は、カウンタ３をカウントアップする（ステップＳ４１１）。

ステップＳ４１２〜ステップＳ４１９は、図１３のステップＳ３１４〜ステップＳ３２１と同様であるため説明を省略する。

なお、人物画像内に設ける判定エリアは顔部分を含むエリアに限られるものではない。同様に、幾何学模様画像内に設ける判定エリアは幾何学模様の中心を含むエリアに限られるものではない。各画像中で、定型発達被験者と発達障がい被験者との注視時間の差が大きくなるエリアであれば、どのようなエリアであってもよい。

例えば、顔部分の画像が大きいような場合であれば、人物画像内の目を含むエリアを判定エリアとしてもよい。また、幾何学模様画像内で、幾何学模様の特徴部分を含むエリア、幾何学模様を描画する線の密度が他の部分より大きい部分を含むエリア、幾何学模様が変化する部分を含むエリア、などを判定エリアとしてもよい。

また、診断画像は、人物画像と幾何学模様画像とを並列させた画像に限られるものではなく、人物画像と幾何学模様画像とを含んでいればどのような画像であってもよい。図１６は、本実施形態で用いる診断画像の他の例を示す図である。図１６は、人物画像を中央から左部に含み、右部に幾何学模様画像（エリアＫ）を含む診断画像の例である。エリア２２Ａおよびエリア２３Ａは、人物画像内の判定エリアである。エリア２１Ｂは、幾何学模様画像内の判定エリアである。図１６の診断画像を用いる場合は、図１３のエリア１２Ａ、１３Ａおよび１１Ｂの代わりに、エリア２２Ａ、２３Ａおよび２１Ｂを用いて、例えば図１５の診断支援処理を実行すればよい。

また、診断画像は、人物画像内および幾何学模様画像内のそれぞれに判定エリアを設けているが、人物画像については人物画像内に判定エリアを設けて、幾何学模様画像については幾何学模様画像全体を判定エリアとして視点を検出してもよい。また、人物画像については人物画像全体を判定エリアとして、幾何学模様画像については幾何学模様画像内に判定エリアを設けて視点を検出してもよい。少なくとも一方の画像内に判定エリアを設けることで、視点の検出の精度を向上することができる。

以上のように、本実施形態によれば、例えば以下のような効果が得られる。
（１）人物画像全体を見た注視時間と幾何学模様画像全体を見た注視時間を比較する従来方法より、定型発達被験者と発達障がい被験者との注視時間（評価結果）の差が大きくなるため、感度および特異度が高くなる。
（２）光源（照明部）を２ヶ所に配置する必要がなく、１ヵ所に配置した光源で視線検出を行うことが可能となる。
（３）光源が１ヵ所になったため、装置をコンパクトにすることが可能となり、コストダウンも実現できる。

１００ 診断支援装置
１０１ 表示部
１０２ ステレオカメラ
１０３ ＬＥＤ光源
１５０ 記憶部
２０１ 表示画面
２０２ 右カメラ
２０３ 左カメラ
２０５ スピーカ
３００ 制御部
３１３ 駆動・ＩＦ部
３１６ ＬＥＤ駆動制御部
３２２ スピーカ駆動部
３５１ 第１算出部
３５２ 第２算出部
３５３ 第３算出部
３５４ 視線検出部
３５５ 視点検出部
３５６ 出力制御部
３５７ 評価部

Claims (5)

1. 表示部と、
   被験者を撮像する撮像部と、
   前記撮像部により撮像された撮像画像から、前記被験者の視線方向を検出する視線検出部と、
   人物画像と、幾何学模様画像と、を含む診断画像を前記表示部に表示させる出力制御部と、
   前記視線方向に基づいて、前記人物画像内における前記被験者の視点である第１視点を検出し、前記幾何学模様画像内の幾何学模様の中心、幾何学模様の特徴部分、幾何学模様を描画する線の密度が他の部分より大きい部分、または幾何学模様が変化する部分の少なくとも１つを含む領域における前記被験者の視点である第２視点を検出する視点検出部と、
   を備える検出装置。
2. 前記第１視点と前記第２視点とに基づいて前記被験者の評価値を算出する評価部をさらに備える、
   請求項１に記載の検出装置。
3. 前記評価部は、前記第２視点の計数値に対する前記第１視点の計数値の割合、前記第１視点の計数値に対する前記第２視点の計数値の割合、評価に用いる全ての視点の計数値に対する前記第１視点の計数値の割合、または評価に用いる全ての視点の計数値に対する前記第２視点の計数値の割合のうち少なくとも１つに基づいて前記被験者の評価値を算出する、
   請求項２に記載の検出装置。
4. 光を照射する光源を含む照明部と、
   前記照明部によって光が照射され、前記撮像部によって撮像された被験者の眼球の画像から瞳孔の中心を示す第１位置を算出する第１算出部と、
   撮像された前記眼球の画像から角膜反射の中心を示す第２位置を算出する第２算出部と、
   前記光源と前記第２位置とを結ぶ直線に基づいて、角膜曲率中心を示す第３位置を算出する第３算出部と、をさらに備え、
   前記視線検出部は、前記第１位置と前記第３位置に基づいて前記被験者の視線を検出する、
   請求項１に記載の検出装置。
5. 被験者を撮像する撮像部により撮像された撮像画像から、前記被験者の視線方向を検出する視線検出ステップと、
   人物画像と、幾何学模様画像と、を含む診断画像を表示部に表示させる出力制御ステップと、
   前記視線方向に基づいて、前記人物画像内における前記被験者の視点である第１視点を検出し、前記幾何学模様画像内の幾何学模様の中心、幾何学模様の特徴部分、幾何学模様を描画する線の密度が他の部分より大きい部分、または幾何学模様が変化する部分の少なくとも１つを含む領域における前記被験者の視点である第２視点を検出する視点検出ステップと、
   を含む検出方法。