JP2016028669A - 瞳孔検出装置、および瞳孔検出方法 - Google Patents

Abstract

【課題】瞳孔の一部が欠損した画像等に対しても、より高精度に瞳孔を検出する。
【解決手段】目を撮像した画像から、瞳孔領域を特定する特定部と、特定部によって特定された瞳孔領域の輪郭を抽出する抽出部と、抽出部によって抽出された瞳孔領域の輪郭上の複数の点を選択する選択部と、選択部によって選択された複数の点を通る円の中心を算出する中心算出部と、中心算出部によって算出された円の中心から瞳孔領域の中心を検出する瞳孔検出部と、を備える。
【選択図】図４

Description

本発明は、瞳孔検出技術に関する。

カメラの高精度化、処理高速化、および小型化が進み、カメラで撮像した顔の画像から、被験者がモニタ画面などの観察面上で注視している位置を検出する視線検出装置が提案されている。当初は被験者の頭部を固定したり、頭部に検出装置を取り付ける技術が多かった。最近は被験者の負担を軽減するために、頭部に装置等を取り付けることが不要な非接触タイプが開発され、さらに精度の高い視線検出装置が求められている。非接触タイプの視線検出装置では、カメラ画像上の瞳孔と角膜反射の位置関係によって視線検出を行う。このため、カメラ画像上の瞳孔中心座標と角膜反射中心座標とを正確に求めることが重要である。

特許文献１は、角膜反射によって瞳孔の大部分が隠されてしまっている場合でも、角膜反射像の情報を積極的に利用することにより、瞳孔を安定して検出することができる技術を提案している。

特開２０１２−０２４１５４号公報

瞳孔の輪郭は本来円形であるが、角膜反射に遮られて一部が欠損した画像となる場合がある。このように瞳孔の一部が欠損している画像に対しても、高精度に瞳孔中心を検出できることが望ましい。

本発明は、上記に鑑みてなされたものであって、瞳孔の一部が欠損した画像等に対しても、より高精度に瞳孔を検出できる瞳孔検出装置、および瞳孔検出方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、目を撮像した画像から、瞳孔領域を特定する特定部と、前記特定部によって特定された前記瞳孔領域の輪郭を抽出する抽出部と、前記抽出部によって抽出された前記瞳孔領域の輪郭上の複数の点を選択する選択部と、前記選択部によって選択された複数の前記点を通る円の中心を算出する中心算出部と、前記中心算出部によって算出された前記円の中心から前記瞳孔領域の中心を検出する瞳孔検出部と、を備える。

本発明にかかる瞳孔検出装置、および瞳孔検出方法は、瞳孔の一部が欠損した画像等に対しても、より高精度に瞳孔を検出できるという効果を奏する。

図１は、本実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。 図２は、本実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。 図３は、診断支援装置の機能の概要を示す図である。 図４は、図３に示す各部の詳細な機能の一例を示すブロック図である。 図５は、本実施形態の診断支援装置により実行される処理の概要を説明する図である。 図６は、２つの光源を用いる方法と、１つの光源を用いる本実施形態との違いを示す説明図である。 図７は、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。 図８は、本実施形態の算出処理の一例を示すフローチャートである。 図９は、事前に求めた距離を使用して角膜曲率中心の位置を算出する方法を示した図である。 図１０は、本実施形態の視線検出処理の一例を示すフローチャートである。 図１１は、１つの光源を使用した場合の被験者の目の様子を示す図である。 図１２は、２つの光源を使用した場合の被験者の目の様子を示す図である。 図１３は、変形例１の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。 図１４は、変形例１の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。 図１５は、変形例１の診断支援装置の機能の概要を示す図である。 図１６は、図１５に示す各部の詳細な機能の一例を示すブロック図である。 図１７は、変形例１の診断支援装置により実行される処理の概要を説明する図である。 図１８は、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。 図１９は、変形例１の算出処理の一例を示すフローチャートである。 図２０は、変形例１の視線検出処理の一例を示すフローチャートである。 図２１は、変形例２の算出処理を説明するための図である。 図２２は、変形例２の算出処理の一例を示すフローチャートである。 図２３は、ステレオカメラにより撮像された撮像画像を示す図である。 図２４は、図２３の撮像画像から切り出した目画像の例を示す図である。 図２５は、瞳孔の輪郭を抽出した例を示す図である。 図２６は、本実施形態の瞳孔検出処理の一例を示すフローチャートである。 図２７は、抽出された瞳孔の輪郭の例を示す図である。 図２８は、選択された点の例を示す図である。 図２９は、図２８の３点を通る円の中心座標を求めた例を示す図である。 図３０は、図２８とは異なる３点が選択された例を示す図である。 図３１は、図３０の３点を通る円の中心座標を求めた例を示す図である。 図３２は、多くの円の中心座標を求めた結果を模式的に表した図である。 図３３は、１０００回の計算を行い求められた中心座標を示す図である。 図３４は、中心座標のＸ方向の度数分布の例を示す図である。 図３５は、中心座標のＹ方向の度数分布の例を示す図である。 図３６は、瞳孔中心の一例を示す図である。 図３７は、ピクセルで表された瞳孔領域の輪郭の例を示す図である。 図３８は、選択された点の例を示す図である。 図３９は、変形例３の瞳孔検出処理の一例を示すフローチャートである。 図４０は、検出される角膜反射領域の例を示す図である。 図４１は、瞳孔の輪郭の例を示す図である。 図４２は、瞳孔の輪郭から選択された点の例を示す図である。 図４３は、瞳孔の一部が隠れている例を説明する図である。 図４４は、瞳孔の輪郭の例を示す図である。

以下に、本発明にかかる瞳孔検出装置および瞳孔検出方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、以下では、視線検出結果を用いて発達障がいなどの診断を支援する診断支援装置に瞳孔検出装置を用いた例を説明する。適用可能な装置は診断支援装置に限られるものではない。

本実施形態の瞳孔検出装置（診断支援装置）は、１ヵ所に設置された照明部を用いて視線を検出する。また、本実施形態の瞳孔検出装置（診断支援装置）は、視線検出前に被験者に１点を注視させて測定した結果を用いて、角膜曲率中心位置を高精度に算出する。

なお、照明部とは、光源を含み、被験者の眼球に光を照射可能な要素である。光源とは、例えばＬＥＤ（Light Emitting Diode）などの光を発生する素子である。光源は、１個のＬＥＤから構成されてもよいし、複数のＬＥＤを組み合わせて１ヵ所に配置することにより構成されてもよい。以下では、このように照明部を表す用語として「光源」を用いる場合がある。

図１および２は、本実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。

図１に示すように、本実施形態の診断支援装置は、表示部１０１と、ステレオカメラ１０２と、ＬＥＤ光源１０３と、を含む。ステレオカメラ１０２は、表示部１０１の下に配置される。ＬＥＤ光源１０３は、ステレオカメラ１０２に含まれる２つのカメラの中心位置に配置される。ＬＥＤ光源１０３は、例えば波長８５０ｎｍの近赤外線を照射する光源である。図１では、９個のＬＥＤによりＬＥＤ光源１０３（照明部）を構成する例が示されている。なお、ステレオカメラ１０２は、波長８５０ｎｍの近赤外光を透過できるレンズを使用する。

図２に示すように、ステレオカメラ１０２は、右カメラ２０２と左カメラ２０３とを備えている。ＬＥＤ光源１０３は、被験者の眼球１１１に向かって近赤外光を照射する。ステレオカメラ１０２で取得される画像では、瞳孔１１２が低輝度で反射して暗くなり、眼球１１１内に虚像として生じる角膜反射１１３が高輝度で反射して明るくなる。従って、瞳孔１１２および角膜反射１１３の画像上の位置を２台のカメラ（右カメラ２０２、左カメラ２０３）それぞれで取得することができる。

さらに２台のカメラにより得られる瞳孔１１２および角膜反射１１３の位置から、瞳孔１１２および角膜反射１１３の位置の三次元世界座標値を算出する。本実施形態では、三次元世界座標として、表示部１０１の画面の中央位置を原点として、上下をＹ座標（上が＋）、横をＸ座標（向かって右が＋）、奥行きをＺ座標（手前が＋）としている。

図３は、診断支援装置１００の機能の概要を示す図である。図３では、図１および２に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図３に示すように、診断支援装置１００は、右カメラ２０２と、左カメラ２０３と、ＬＥＤ光源１０３と、スピーカ２０５と、駆動・ＩＦ（interface）部３１３と、制御部３００と、記憶部１５０と、表示部１０１と、を含む。図３において、表示画面２０１は、右カメラ２０２および左カメラ２０３との位置関係を分かりやすく示しているが、表示画面２０１は表示部１０１において表示される画面である。なお、駆動部とＩＦ部は一体でもよいし、別体でもよい。

スピーカ２０５は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する音声出力部として機能する。

駆動・ＩＦ部３１３は、ステレオカメラ１０２に含まれる各部を駆動する。また、駆動・ＩＦ部３１３は、ステレオカメラ１０２に含まれる各部と、制御部３００とのインタフェースとなる。

制御部３００は、例えば、ＣＰＵ（Central Processing Unit）などの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆと、各部を接続するバスを備えているコンピュータなどにより実現できる。

記憶部１５０は、制御プログラム、測定結果、診断支援結果など各種情報を記憶する。記憶部１５０は、例えば、表示部１０１に表示する画像等を記憶する。表示部１０１は、診断のための対象画像等、各種情報を表示する。

図４は、図３に示す各部の詳細な機能の一例を示すブロック図である。図４に示すように、制御部３００には、表示部１０１と、駆動・ＩＦ部３１３が接続される。駆動・ＩＦ部３１３は、カメラＩＦ３１４、３１５と、ＬＥＤ駆動制御部３１６と、スピーカ駆動部３２２と、を備える。

駆動・ＩＦ部３１３には、カメラＩＦ３１４、３１５を介して、それぞれ、右カメラ２０２、左カメラ２０３が接続される。駆動・ＩＦ部３１３がこれらのカメラを駆動することにより、被験者を撮像する。

スピーカ駆動部３２２は、スピーカ２０５を駆動する。なお、診断支援装置１００が、印刷部としてのプリンタと接続するためのインタフェース（プリンタＩＦ）を備えてもよい。また、プリンタを診断支援装置１００の内部に備えるように構成してもよい。

制御部３００は、診断支援装置１００全体を制御する。制御部３００は、特定部３５１と、抽出部３５２と、選択部３５３と、円中心算出部３５４と、瞳孔検出部３５５と、角膜反射検出部３５６と、曲率中心算出部３５７と、視線検出部３５８と、視点検出部３５９と、出力制御部３６０と、評価部３６１と、を備えている。なお、瞳孔検出装置としては、少なくとも特定部３５１、抽出部３５２、選択部３５３、円中心算出部３５４、および、瞳孔検出部３５５が備えられていればよい。

制御部３００に含まれる各要素（特定部３５１、抽出部３５２、選択部３５３、円中心算出部３５４、瞳孔検出部３５５、角膜反射検出部３５６、曲率中心算出部３５７、視線検出部３５８、視点検出部３５９、出力制御部３６０、および、評価部３６１）は、ソフトウェア（プログラム）で実現してもよいし、ハードウェア回路で実現してもよいし、ソフトウェアとハードウェア回路とを併用して実現してもよい。

プログラムで実現する場合、当該プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

特定部３５１は、ステレオカメラ１０２により撮像された眼球の画像から、瞳孔領域を特定する。抽出部３５２は、特定部３５１によって特定された瞳孔領域の輪郭を抽出する。選択部３５３は、抽出部３５２によって抽出された瞳孔領域の輪郭上の複数の点を選択する。円中心算出部３５４は、選択部３５３によって選択された複数の点を通る円の中心を算出する。瞳孔検出部３５５は、円中心算出部３５４によって算出された円の中心に基づき瞳孔領域の中心を検出する。すなわち、瞳孔検出部３５５は、瞳孔の中心を示す瞳孔中心の位置（第１位置）を検出する。角膜反射検出部３５６は、撮像された眼球の画像から、角膜反射の中心を示す角膜反射中心の位置（第２位置）を算出する。瞳孔検出部３５５および角膜反射検出部３５６が、瞳孔の中心を示す第１位置と、角膜反射の中心を示す第２位置と、を検出する位置検出部に相当する。

曲率中心算出部３５７は、ＬＥＤ光源１０３と角膜反射中心とを結ぶ直線（第１直線）から、角膜曲率中心（第４位置）を算出する。例えば、曲率中心算出部３５７は、この直線上で、角膜反射中心からの距離が所定値となる位置を、角膜曲率中心として算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値を用いることができる。

角膜の曲率半径値には個人差が生じうるため、事前に定められた値を用いて角膜曲率中心を算出すると誤差が大きくなる可能性がある。従って、曲率中心算出部３５７が、個人差を考慮して角膜曲率中心を算出してもよい。この場合、曲率中心算出部３５７は、まず目標位置（第３位置）を被験者に注視させたときに算出された瞳孔中心および角膜反射中心を用いて、瞳孔中心と目標位置とを結ぶ直線（第２直線）と、角膜反射中心とＬＥＤ光源１０３とを結ぶ直線（第１直線）と、の交点を算出する。そして曲率中心算出部３５７は、瞳孔中心と算出した交点との距離（第１距離）を算出し、例えば記憶部１５０に記憶する。

目標位置は、予め定められ、三次元世界座標値が算出できる位置であればよい。例えば、表示画面２０１の中央位置（三次元世界座標の原点）を目標位置とすることができる。この場合、例えば出力制御部３６０が、表示画面２０１上の目標位置（中央）に、被験者に注視させる画像（目標画像）等を表示する。これにより、被験者に目標位置を注視させることができる。

目標画像は、被験者を注目させることができる画像であればどのような画像であってもよい。例えば、輝度や色などの表示態様が変化する画像、および、表示態様が他の領域と異なる画像などを目標画像として用いることができる。

なお、目標位置は表示画面２０１の中央に限られるものではなく、任意の位置でよい。表示画面２０１の中央を目標位置とすれば、表示画面２０１の任意の端部との距離が最小になる。このため、例えば視線検出時の測定誤差をより小さくすることが可能となる。

距離の算出までの処理は、例えば実際の視線検出を開始するまでに事前に実行しておく。実際の視線検出時には、曲率中心算出部３５７は、ＬＥＤ光源１０３と角膜反射中心とを結ぶ直線上で、瞳孔中心からの距離が、事前に算出した距離となる位置を、角膜曲率中心として算出する。曲率中心算出部３５７が、ＬＥＤ光源１０３の位置と、表示部上の目標画像を示す所定の位置（第３位置）と、瞳孔中心の位置と、角膜反射中心の位置と、から角膜曲率中心（第４位置）を算出する算出部に相当する。

視線検出部３５８は、瞳孔中心と角膜曲率中心とから被験者の視線を検出する。例えば視線検出部３５８は、角膜曲率中心から瞳孔中心へ向かう方向を被験者の視線方向として検出する。

視点検出部３５９は、検出された視線方向を用いて被験者の視点を検出する。視点検出部３５９は、例えば、表示画面２０１で被験者が注視する点である視点（注視点）を検出する。視点検出部３５９は、例えば図２のような三次元世界座標系で表される視線ベクトルとＸＹ平面との交点を、被験者の注視点として検出する。

出力制御部３６０は、表示部１０１およびスピーカ２０５などに対する各種情報の出力を制御する。例えば、出力制御部３６０は、表示部１０１上の目標位置に目標画像を出力させる。また、出力制御部３６０は、診断画像、および、評価部３６１による評価結果などの表示部１０１に対する出力を制御する。

診断画像は、視線（視点）検出結果に基づく評価処理に応じた画像であればよい。例えば発達障がいを診断する場合であれば、発達障がいの被験者が好む画像（幾何学模様映像など）と、それ以外の画像（人物映像など）と、を含む診断画像を用いてもよい。

評価部３６１は、診断画像と、視点検出部３５９により検出された注視点とに基づく評価処理を行う。例えば発達障がいを診断する場合であれば、評価部３６１は、診断画像と注視点とを解析し、発達障がいの被験者が好む画像を注視したか否かを評価する。

図５は、本実施形態の診断支援装置１００により実行される処理の概要を説明する図である。図１〜図４で説明した要素については同一の符号を付し説明を省略する。

瞳孔中心４０７および角膜反射中心４０８は、それぞれ、ＬＥＤ光源１０３を点灯させた際に検出される瞳孔の中心、および、角膜反射点の中心を表している。角膜曲率半径４０９は、角膜表面から角膜曲率中心４１０までの距離を表す。

図６は、２つの光源（照明部）を用いる方法（以下、方法Ａとする）と、１つの光源（照明部）を用いる本実施形態との違いを示す説明図である。図１〜図４で説明した要素については同一の符号を付し説明を省略する。

方法Ａは、ＬＥＤ光源１０３の代わりに、２つのＬＥＤ光源５１１、５１２を用いる。方法Ａでは、ＬＥＤ光源５１１を照射したときの角膜反射中心５１３とＬＥＤ光源５１１とを結ぶ直線５１５と、ＬＥＤ光源５１２を照射したときの角膜反射中心５１４とＬＥＤ光源５１２とを結ぶ直線５１６との交点が算出される。この交点が角膜曲率中心５０５となる。

これに対し、本実施形態では、ＬＥＤ光源１０３を照射したときの、角膜反射中心５２２とＬＥＤ光源１０３とを結ぶ直線５２３を考える。直線５２３は、角膜曲率中心５０５を通る。また角膜の曲率半径は個人差による影響が少なくほぼ一定の値になることが知られている。このことから、ＬＥＤ光源１０３を照射したときの角膜曲率中心は、直線５２３上に存在し、一般的な曲率半径値を用いることにより算出することが可能である。

しかし、一般的な曲率半径値を用いて求めた角膜曲率中心の位置を使用して視点を算出すると、眼球の個人差により視点位置が本来の位置からずれて、正確な視点位置検出ができない場合がある。

図７は、視点検出（視線検出）を行う前に、角膜曲率中心位置と、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。図１〜図４で説明した要素については同一の符号を付し説明を省略する。なお、左右カメラ（右カメラ２０２、左カメラ２０３）と制御部３００とが接続することについては図示せず省略する。

目標位置６０５は、表示部１０１上の一点に目標画像等を出して、被験者に見つめさせるための位置である。本実施形態では表示部１０１の画面の中央位置としている。直線６１３は、ＬＥＤ光源１０３と角膜反射中心６１２とを結ぶ直線である。直線６１４は、被験者が見つめる目標位置６０５（注視点）と瞳孔中心６１１とを結ぶ直線である。角膜曲率中心６１５は、直線６１３と直線６１４との交点である。曲率中心算出部３５７は、瞳孔中心６１１と角膜曲率中心６１５との距離６１６を算出して記憶しておく。

図８は、本実施形態の算出処理の一例を示すフローチャートである。

まず出力制御部３６０は、表示部１０１の画面上の１点に目標画像を再生し（ステップＳ１０１）、被験者にその１点を注視させる。次に、制御部３００は、ＬＥＤ駆動制御部３１６を用いてＬＥＤ光源１０３を被験者の目に向けて点灯させる（ステップＳ１０２）。制御部３００は、左右カメラ（右カメラ２０２、左カメラ２０３）で被験者の目を撮像する（ステップＳ１０３）。

ＬＥＤ光源１０３の照射により、瞳孔部分は暗い部分（暗瞳孔）として検出される。またＬＥＤ照射の反射として、角膜反射の虚像が発生し、明るい部分として角膜反射点（角膜反射中心）が検出される。暗瞳孔を検出する瞳孔検出処理は、特定部３５１、抽出部３５２、選択部３５３、円中心算出部３５４、および、瞳孔検出部３５５によって実行される。瞳孔検出部３５５は、例えば検出した瞳孔中心の位置を示す座標を算出する。瞳孔検出処理の詳細は後述する。角膜反射検出部３５６は、撮像された画像から角膜反射部分を検出し、角膜反射中心の位置を示す座標を算出する。角膜反射検出部３５６は、例えば目を含む一定領域の中で最も明るい部分を含む所定の明るさ以上の領域を角膜反射として検出する。なお、瞳孔検出部３５５および角膜反射検出部３５６は、左右カメラで取得した２つの画像それぞれに対して、各座標値を算出する（ステップＳ１０４）。

なお、左右カメラは、三次元世界座標を取得するために、事前にステレオ較正法によるカメラ較正が行われており、変換パラメータが算出されている。ステレオ較正法は、Ｔｓａｉのカメラキャリブレーション理論を用いた方法など従来から用いられているあらゆる方法を適用できる。

瞳孔検出部３５５および角膜反射検出部３５６は、この変換パラメータを使用して、左右カメラの座標から、瞳孔中心と角膜反射中心の三次元世界座標に変換を行う（ステップＳ１０５）。曲率中心算出部３５７は、求めた角膜反射中心の世界座標と、ＬＥＤ光源１０３の中心位置の世界座標とを結ぶ直線を求める（ステップＳ１０６）。次に、曲率中心算出部３５７は、表示部１０１の画面上の１点に表示される目標画像の中心の世界座標と、瞳孔中心の世界座標とを結ぶ直線を算出する（ステップＳ１０７）。曲率中心算出部３５７は、ステップＳ１０６で算出した直線とステップＳ１０７で算出した直線との交点を求め、この交点を角膜曲率中心とする（ステップＳ１０８）。曲率中心算出部３５７は、このときの瞳孔中心と角膜曲率中心との間の距離を算出して記憶部１５０などに記憶する（ステップＳ１０９）。記憶された距離は、その後の視点（視線）検出時に、角膜曲率中心を算出するために使用される。

算出処理で表示部１０１上の１点を見つめる際の瞳孔中心と角膜曲率中心との間の距離は、表示部１０１内の視点を検出する範囲で一定に保たれている。瞳孔中心と角膜曲率中心との間の距離は、目標画像を再生中に算出された値全体の平均から求めてもよいし、再生中に算出された値のうち何回かの値の平均から求めてもよい。

図９は、視点検出を行う際に、事前に求めた瞳孔中心と角膜曲率中心との距離を使用して、補正された角膜曲率中心の位置を算出する方法を示した図である。注視点８０５は、一般的な曲率半径値を用いて算出した角膜曲率中心から求めた注視点を表す。注視点８０６は、事前に求めた距離を用いて算出した角膜曲率中心から求めた注視点を表す。

瞳孔中心８１１および角膜反射中心８１２は、それぞれ、視点検出時に算出された瞳孔中心の位置、および、角膜反射中心の位置を示す。直線８１３は、ＬＥＤ光源１０３と角膜反射中心８１２とを結ぶ直線である。角膜曲率中心８１４は、一般的な曲率半径値から算出した角膜曲率中心の位置である。距離８１５は、事前の算出処理により算出した瞳孔中心と角膜曲率中心との距離である。角膜曲率中心８１６は、事前に求めた距離を用いて算出した角膜曲率中心の位置である。角膜曲率中心８１６は、角膜曲率中心が直線８１３上に存在すること、および、瞳孔中心と角膜曲率中心との距離が距離８１５であることから求められる。これにより一般的な曲率半径値を用いる場合に算出される視線８１７は、視線８１８に補正される。また、表示部１０１の画面上の注視点は、注視点８０５から注視点８０６に補正される。

図１０は、本実施形態の視線検出処理の一例を示すフローチャートである。例えば、診断画像を用いた診断処理の中で視線を検出する処理として、図１０の視線検出処理を実行することができる。診断処理では、図１０の各ステップ以外に、診断画像を表示する処理、および、注視点の検出結果を用いた評価部３６１による評価処理などが実行される。

ステップＳ２０１〜ステップＳ２０５は、図８のステップＳ１０２〜ステップＳ１０６と同様であるため説明を省略する。

曲率中心算出部３５７は、ステップＳ２０５で算出した直線上であって、瞳孔中心からの距離が、事前の算出処理によって求めた距離と等しい位置を角膜曲率中心として算出する（ステップＳ２０６）。

視線検出部３５８は、瞳孔中心と角膜曲率中心とを結ぶベクトル（視線ベクトル）を求める（ステップＳ２０７）。このベクトルが、被験者が見ている視線方向を示している。視点検出部３５９は、この視線方向と表示部１０１の画面との交点の三次元世界座標値を算出する（ステップＳ２０８）。この値が、被験者が注視する表示部１０１上の１点を世界座標で表した座標値である。視点検出部３５９は、求めた三次元世界座標値を、表示部１０１の二次元座標系で表される座標値（ｘ，ｙ）に変換する（ステップＳ２０９）。これにより、被験者が見つめる表示部１０１上の視点（注視点）を算出することができる。

（変形例１）
変形例１の瞳孔検出装置（診断支援装置）は、２ヵ所に設置された照明部を用いて視線を検出する。

視点検出を精度よく行うためには、瞳孔位置を正しく検出できることが重要となっている。近赤外の光源を点灯させカメラで撮影した場合、カメラと光源の距離が一定以上離れていると、瞳孔は他の部分より暗くなることがわかっている。この特徴を用いて瞳孔位置が検出される。

上記実施形態では、装置を簡略化するために、２つの光源ではなく１つの光源を用いている。このような構成では、被験者によっては、カメラと光源の距離が十分でないことに起因して瞳孔が十分に暗くならず虹彩と区別がつかなくなる場合が生じうる。

また波長が異なりより吸光性の高い近赤外光源を使用することで、瞳孔を暗くすることが可能ではある。しかし、この波長に対するカメラの感度が低く画像処理精度が悪化することがわかっていた。

そこで本変形例では、２台のカメラに対して、光源をそれぞれのカメラの外側に２ヶ所配置する。そして、これらの２つの光源を相互に異なるタイミングで点灯させ、点灯している光源からの距離が長い方（遠い方）のカメラで撮影する。これにより、瞳孔をより暗く撮影し、瞳孔と他の部分とを、より高精度に区別することが可能となる。

この場合、点灯させる光源が異なるため、通常のステレオ方式による三次元計測を単純に適用することができない。すなわち、視点を求める際の光源と角膜反射を結ぶ直線を世界座標で算出することができない。そこで本変形例では、２つのタイミングでの、撮像に用いるカメラ相互の位置関係、および、点灯させる光源相互の位置関係を、仮想的な光源の位置（仮想光源位置）に対してそれぞれ対称とする。そして、２つの光源それぞれの点灯時に得られる２つの座標値を、左カメラによる座標値および右カメラによる座標値として世界座標に変換する。これにより、２つの光源それぞれの点灯時に得られる角膜反射位置を用いて、仮想光源と角膜反射を結ぶ直線を世界座標で算出すること、および、この直線に基づき視点を算出することが可能となる。

図１１は、１つの光源を使用した場合の被験者の目１１の様子を示す図である。図１１に示すように、虹彩１２と瞳孔１３との暗さの差が十分ではなく、区別が困難となる。図１２は、２つの光源を使用した場合の被験者の目２１の様子を示す図である。図１２に示すように、虹彩２２と瞳孔２３との暗さの差は、図１１と比較して大きくなっている。

以下、図１３〜図２０を用いて本変形例について説明する。上記実施形態と同様の構成については同一の符号を付し、説明を省略する場合がある。

図１３および１４は、本変形例の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。

図１３に示すように、本変形例の診断支援装置は、表示部１０１と、ステレオカメラを構成する右カメラ２０２、左カメラ２０３と、ＬＥＤ光源１０３ａ、１０３ｂと、を含む。右カメラ２０２、左カメラ２０３は、表示部１０１の下に配置される。ＬＥＤ光源１０３ａ、１０３ｂは、右カメラ２０２、左カメラ２０３それぞれの外側の位置に配置される。ＬＥＤ光源１０３ａ、１０３ｂは、例えば波長８５０ｎｍの近赤外線を照射する光源である。図１３では、９個のＬＥＤによりＬＥＤ光源１０３ａ、１０３ｂ（照明部）を構成する例が示されている。なお、右カメラ２０２、左カメラ２０３は、波長８５０ｎｍの近赤外光を透過できるレンズを使用する。なお、ＬＥＤ光源１０３ａ、１０３ｂと、右カメラ２０２、左カメラ２０３との位置を逆にして、ＬＥＤ光源１０３ａ、１０３ｂを、右カメラ２０２、左カメラ２０３それぞれの内側の位置に配置されていてもよい。

図１４に示すように、ＬＥＤ光源１０３ａ、１０３ｂは、被験者の眼球１１１に向かって近赤外光を照射する。ＬＥＤ光源１０３ａを照射したときに左カメラ２０３で撮影を行い、ＬＥＤ光源１０３ｂを照射したときに右カメラ２０２で撮影を行う。右カメラ２０２および左カメラ２０３と、ＬＥＤ光源１０３ａ、１０３ｂとの位置関係を適切に設定することにより、撮影される画像では、瞳孔１１２が低輝度で反射して暗くなり、眼球１１１内に虚像として生じる角膜反射１１３が高輝度で反射して明るくなる。従って、瞳孔１１２および角膜反射１１３の画像上の位置を２台のカメラ（右カメラ２０２、左カメラ２０３）それぞれで取得することができる。

図１５は、診断支援装置１００−２の機能の概要を示す図である。図１５では、図１３および１４に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図１５に示すように、診断支援装置１００−２は、右カメラ２０２と、左カメラ２０３と、左カメラ２０３用のＬＥＤ光源１０３ａと、右カメラ２０２用のＬＥＤ光源１０３ｂと、スピーカ２０５と、駆動・ＩＦ（interface）部３１３と、制御部３００−２と、記憶部１５０と、表示部１０１と、を含む。

図１６は、図１５に示す各部の詳細な機能の一例を示すブロック図である。図１６に示すように、制御部３００−２には、表示部１０１と、駆動・ＩＦ部３１３が接続される。

右カメラ２０２からはフレーム同期信号が出力される。フレーム同期信号は、左カメラ２０３とＬＥＤ駆動制御部３１６とに入力される。これにより、ＬＥＤ光源１０３ａ、１０３ｂを発光させ、それに対応して左右カメラ２０２による画像を取り込んでいる。

制御部３００−２は、診断支援装置１００−２全体を制御する。制御部３００−２は、特定部３５１と、抽出部３５２と、選択部３５３と、円中心算出部３５４と、瞳孔検出部３５５と、角膜反射検出部３５６と、曲率中心算出部３５７−２と、視線検出部３５８と、視点検出部３５９と、出力制御部３６０と、評価部３６１と、点灯制御部３６２−２と、を備えている。

制御部３００−２に含まれる各要素（特定部３５１、抽出部３５２、選択部３５３、円中心算出部３５４、瞳孔検出部３５５、角膜反射検出部３５６、曲率中心算出部３５７−２、視線検出部３５８、視点検出部３５９、出力制御部３６０、評価部３６１、および、点灯制御部３６２−２）は、ソフトウェア（プログラム）で実現してもよいし、ハードウェア回路で実現してもよいし、ソフトウェアとハードウェア回路とを併用して実現してもよい。

本変形例では、点灯制御部３６２−２を追加したこと、および、曲率中心算出部３５７−２の機能が、上記実施形態と異なっている。

点灯制御部３６２−２は、ＬＥＤ駆動制御部３１６を用いて、ＬＥＤ光源１０３ａ、１０３ｂの点灯を制御する。例えば点灯制御部３６２−２は、ＬＥＤ光源１０３ａ、１０３ｂを、相互に異なるタイミングで点灯するように制御する。タイミングの差（時間）は、例えば、被験者の視線の移動等による視線検出結果への影響が生じない時間として予め定められた時間とすればよい。

曲率中心算出部３５７−２は、仮想光源位置と角膜反射中心とを結ぶ直線（第１直線）から、角膜曲率中心（第４位置）を算出する。例えば、曲率中心算出部３５７−２は、この直線上で、角膜反射中心からの距離が所定値となる位置を、角膜曲率中心として算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値を用いることができる。

上記実施形態と同様に、曲率中心算出部３５７−２が、個人差を考慮して角膜曲率中心を算出してもよい。この場合、曲率中心算出部３５７−２は、まず目標位置（第３位置）を被験者に注視させたときに算出された瞳孔中心および角膜反射中心を用いて、瞳孔中心と目標位置とを結ぶ直線（第２直線）と、角膜反射中心と仮想光源位置とを結ぶ直線（第１直線）と、の交点を算出する。そして曲率中心算出部３５７−２は、瞳孔中心と算出した交点との距離（第１距離）を算出し、例えば記憶部１５０に記憶する。

距離の算出までの処理は、例えば実際の視線検出を開始するまでに事前に実行しておく。実際の視線検出時には、曲率中心算出部３５７−２は、仮想光源位置と角膜反射中心とを結ぶ直線上で、瞳孔中心からの距離が、事前に算出した距離となる位置を、角膜曲率中心として算出する。

図１７は、本変形例の診断支援装置１００−２により実行される処理の概要を説明する図である。図１３〜図１６で説明した要素については同一の符号を付し説明を省略する。

角膜反射点６２１は左カメラ２０３で撮影したときの画像上の角膜反射点を表す。角膜反射点６２２は右カメラ２０２で撮影したときの画像上の角膜反射点を表す。本変形例では、右カメラ２０２と右カメラ用のＬＥＤ光源１０３ｂ、および、左カメラ２０３と左カメラ用のＬＥＤ光源１０３ａは、例えば右カメラ２０２と左カメラ２０３の中間位置を通る直線に対して左右対称の位置関係にある。このため、右カメラ２０２と左カメラ２０３の中間位置（仮想光源位置）に仮想光源３０３があるとみなすことができる。角膜反射点６２４は、仮想光源３０３に対応する角膜反射点を表す。角膜反射点６２１の座標値と角膜反射点６２２の座標値を、左右カメラの座標値を三次元世界座標に変換する変換パラメータを用いて変換することにより、角膜反射点６２４の世界座標値が算出できる。仮想光源３０３と角膜反射点６２４を結ぶ直線５２３−２上に角膜の曲率中心５０５が存在する。従って、図６で表した光源が１ヵ所の視線検出方法と同等の方法で視点検出が可能である。

なお右カメラ２０２と左カメラ２０３との位置関係、および、ＬＥＤ光源１０３ａとＬＥＤ光源１０３ｂとの位置関係は、上述の位置関係に限られるものではない。例えば同一の直線に対して、それぞれの位置関係が左右対称となる関係であってもよいし、右カメラ２０２と左カメラ２０３と、ＬＥＤ光源１０３ａとＬＥＤ光源１０３ｂとは同一直線上になくてもよい。

図１８は、視点検出（視線検出）を行う前に、角膜曲率中心位置と、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。図１３〜図１６で説明した要素については同一の符号を付し説明を省略する。

目標位置６０５は、表示部１０１上の一点に目標画像等を出して、被験者に見つめさせるための位置である。本変形例では表示部１０１の画面の中央位置としている。直線６１３−２は、仮想光源３０３と角膜反射中心６１２とを結ぶ直線である。

図１９は、本変形例の算出処理の一例を示すフローチャートである。

まず出力制御部３６０は、表示部１０１の画面上の１点に目標画像を再生し（ステップＳ３０１）、被験者にその１点を注視させる。次に、点灯制御部３６２−２は、ＬＥＤ駆動制御部３１６を用いてＬＥＤ光源１０３ａ、１０３ｂのうち一方を被験者の目に向けて点灯させる（ステップＳ３０２）。制御部３００−２は、左右カメラ（右カメラ２０２、左カメラ２０３）のうち点灯したＬＥＤ光源からの距離が長い方のカメラで被験者の目を撮像する（ステップＳ３０３）。次に、点灯制御部３６２−２は、ＬＥＤ光源１０３ａ、１０３ｂのうち他方を被験者の目に向けて点灯させる（ステップＳ３０４）。制御部３００−２は、左右カメラのうち点灯したＬＥＤ光源からの距離が長い方のカメラで被験者の目を撮像する（ステップＳ３０５）。

なお、点灯したＬＥＤ光源からの距離が長いカメラ以外のカメラによる撮像を停止しなくてもよい。すなわち、少なくとも点灯したＬＥＤ光源からの距離が長い方のカメラで被験者の目を撮像し、撮像した画像が座標算出等に利用可能となっていればよい。

ＬＥＤ光源１０３ａまたはＬＥＤ光源１０３ｂの照射により、瞳孔部分は暗い部分（暗瞳孔）として検出される。またＬＥＤ照射の反射として、角膜反射の虚像が発生し、明るい部分として角膜反射点（角膜反射中心）が検出される。すなわち、瞳孔検出部３５５は、撮像された画像から瞳孔部分を検出し、瞳孔中心の位置を示す座標を算出する。瞳孔検出部３５５は、例えば目を含む一定領域の中で最も暗い部分を含む所定の明るさ以下の領域を瞳孔部分として検出する。また、角膜反射検出部３５６は、例えば目を含む一定領域の中で最も明るい部分を含む所定の明るさ以上の領域を角膜反射として検出する。また、角膜反射検出部３５６は、撮像された画像から角膜反射部分を検出し、角膜反射中心の位置を示す座標を算出する。なお、瞳孔検出部３５５および角膜反射検出部３５６は、左右カメラで取得した２つの画像それぞれに対して、各座標値を算出する（ステップＳ３０６）。

瞳孔検出部３５５および角膜反射検出部３５６は、この変換パラメータを使用して、左右カメラの座標から、瞳孔中心と角膜反射中心の三次元世界座標に変換を行う（ステップＳ３０７）。例えば瞳孔検出部３５５および角膜反射検出部３５６は、ＬＥＤ光源１０３ａが点灯されたときに左カメラ２０３により撮像された画像から得られた座標を左カメラ２０３の座標とし、ＬＥＤ光源１０３ｂが点灯されたときに右カメラ２０２により撮像された画像から得られた座標を右カメラ２０２の座標として、変換パラメータを用いて三次元世界座標への変換を行う。この結果得られる世界座標値は、仮想光源３０３から光が照射されたと仮定したときに左右カメラで撮像された画像から得られる世界座標値に対応する。曲率中心算出部３５７−２は、求めた角膜反射中心の世界座標と、仮想光源３０３の中心位置の世界座標とを結ぶ直線を求める（ステップＳ３０８）。次に、曲率中心算出部３５７−２は、表示部１０１の画面上の１点に表示される目標画像の中心の世界座標と、瞳孔中心の世界座標とを結ぶ直線を算出する（ステップＳ３０９）。曲率中心算出部３５７−２は、ステップＳ３０８で算出した直線とステップＳ３０９で算出した直線との交点を求め、この交点を角膜曲率中心とする（ステップＳ３１０）。曲率中心算出部３５７−２は、このときの瞳孔中心と角膜曲率中心との間の距離を算出して記憶部１５０などに記憶する（ステップＳ３１１）。記憶された距離は、その後の視点（視線）検出時に、角膜曲率中心を算出するために使用される。

事前に求めた瞳孔中心と角膜曲率中心との距離を使用して、補正された角膜曲率中心の位置を算出する方法は、上記実施形態で説明した図９と同様の方法を適用できる。

図２０は、本変形例の視線検出処理の一例を示すフローチャートである。

ステップＳ４０１〜ステップＳ４０７は、図１９のステップＳ３０２〜ステップＳ３０８と同様であるため説明を省略する。また、ステップＳ４０８〜ステップＳ４１１は、図１０のステップＳ２０６〜ステップＳ２０９と同様であるため説明を省略する。

（変形例２）
瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理は、図７および図８で説明した方法に限られるものではない。以下では、算出処理の他の例について図２１および図２２を用いて説明する。

図２１は、本変形例の算出処理を説明するための図である。図１〜図４および図７で説明した要素については同一の符号を付し説明を省略する。

線分１１０１は、目標位置６０５とＬＥＤ光源１０３とを結ぶ線分（第１線分）である。線分１１０２は、線分１１０１と平行で、瞳孔中心６１１と直線６１３とを結ぶ線分（第２線分）である。本変形例では、以下のように、線分１１０１、線分１１０２を用いて瞳孔中心６１１と角膜曲率中心６１５との距離６１６を算出して記憶しておく。

図２２は、本変形例の算出処理の一例を示すフローチャートである。

ステップＳ５０１〜ステップＳ５０７は、図８のステップＳ１０１〜ステップＳ１０７と同様であるため説明を省略する。

曲率中心算出部３５７は、表示部１０１の画面上の１点に表示される目標画像の中心と、ＬＥＤ光源１０３の中心とを結ぶ線分（図２１では線分１１０１）を算出するとともに、算出した線分の長さ（Ｌ１１０１とする）を算出する（ステップＳ５０８）。

曲率中心算出部３５７は、瞳孔中心６１１を通り、ステップＳ３０８で算出した線分と平行な線分（図２１では線分１１０２）を算出するとともに、算出した線分の長さ（Ｌ１１０２とする）を算出する（ステップＳ５０９）。

曲率中心算出部３５７は、角膜曲率中心６１５を頂点とし、ステップＳ５０８で算出した線分を下辺とする三角形と、角膜曲率中心６１５を頂点とし、ステップＳ５０９で算出した線分を下辺とする三角形とが相似関係にあることに基づき、瞳孔中心６１１と角膜曲率中心６１５との間の距離６１６を算出する（ステップＳ５１０）。例えば曲率中心算出部３５７は、線分１１０１の長さに対する線分１１０２の長さの比率と、目標位置６０５と角膜曲率中心６１５との間の距離に対する距離６１６の比率と、が等しくなるように、距離６１６を算出する。

距離６１６は、以下の（Ａ）式により算出することができる。なおＬ６１４は、目標位置６０５から瞳孔中心６１１までの距離である。
距離６１６＝（Ｌ６１４×Ｌ１１０２）／（Ｌ１１０１−Ｌ１１０２）・・・（Ａ）

曲率中心算出部３５７は、算出した距離６１６を記憶部１５０などに記憶する（ステップＳ５１１）。記憶された距離は、その後の視点（視線）検出時に、角膜曲率中心を算出するために使用される。

変形例２の処理は、ＬＥＤ光源１０３を仮想光源３０３に置き換えることにより、変形例１にも適用できる。

以下では、瞳孔検出処理の具体例を図２３〜図３６を用いて説明する。

図２３は、ステレオカメラ１０２により撮像された撮像画像の一例を示す図である。図２３の撮像画像は被験者の顔を撮像した画像の例であり、目領域１３０１を含む。図２４は、図２３の撮像画像から目領域１３０１を切り出した目画像の例を示す図である。図２４に示すように、目画像は、瞳孔１４０１と、虹彩１４０２と、角膜反射１４０３と、を含む。

一般的に瞳孔１４０１は虹彩１４０２に比べて暗く、また角膜反射１４０３よりも暗い。図２５は、この輝度差を利用して瞳孔の輪郭（円周）を抽出した例を示す図である。瞳孔の輪郭は本来円形であるはずだが、図２５の輪郭１５０１のように角膜反射１４０３に遮られて一部が欠損している場合が多い。また、輪郭１５０１が、髪の毛や瞼などの影響で欠損している場合もある。

本実施形態では、このように瞳孔の一部が欠損している画像に対してできる限り正確な瞳孔中心を求めることを可能とする。図２６は、本実施形態の瞳孔検出処理の一例を示すフローチャートである。

特定部３５１は、撮像画像から目領域を切り出す（ステップＳ６０１）。なお目を画像全体に撮像した撮像画像などの場合は、切り出す処理を省略してもよい。特定部３５１は、目領域内のピクセル輝度から瞳孔領域を特定する。特定部３５１は、例えば目を含む一定領域の中で最も暗い領域を含む所定の明るさ以下の領域を瞳孔領域として特定する。抽出部３５２は、特定された瞳孔領域の輪郭を抽出する（ステップＳ６０２）。図２７は、抽出された瞳孔の輪郭１６０１の例を示す図である。図２７に示すように、瞳孔の輪郭１６０１は、角膜反射領域１６０２の影響により欠損する場合がある。

選択部３５３は、処理回数のカウンタであるｎを０に初期化する（ステップＳ６０３）。選択部３５３は、処理回数ｎに１を加算する（ステップＳ６０４）。選択部３５３は、瞳孔の輪郭上の複数の点を選択する（ステップＳ６０５）。図２８は、選択された点１７０２の例を示す図である。点の選択方法はどのような方法であってもよいが、例えば、輪郭上の任意の３点をランダムに選択する方法を適用できる。

円中心算出部３５４は、選択された複数の点を通る円の中心を算出する（ステップＳ６０６）。選択された点を通る円の算出方法、および、円の中心の算出方法はどのような方法であってもよい。選択部３５３が３点を選択する方法を適用する場合は、円中心算出部３５４は、以下のような算出式により円の中心を算出できる。

選択された３点の座標を（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）と仮定する。この３点を通る円の中心座標（ｘ，ｙ）は以下の（１）式〜（６）式で求めることができる。
ｄ１＝ｘ１×ｘ１＋ｙ１×ｙ１ ・・・（１）
ｄ２＝ｘ２×ｘ２＋ｙ２×ｙ２ ・・・（２）
ｄ３＝ｘ３×ｘ３＋ｙ３×ｙ３ ・・・（３）
ｕ＝０．５／（ｘ１×ｙ２−ｘ２×ｙ１＋
ｘ２×ｙ３−ｘ３×ｙ２＋
ｘ３×ｙ１−ｘ１×ｙ３） ・・・（４）
ｘ＝ｕ×（ｄ１×ｙ２−ｄ２×ｙ１＋
ｄ２×ｙ３−ｄ３×ｙ２＋
ｄ３×ｙ１−ｄ１×ｙ３） ・・・（５）
ｙ＝ｕ×（ｘ１×ｄ２−ｘ２×ｄ１＋
ｘ２×ｄ３−ｘ３×ｄ２＋
ｘ３×ｄ１−ｘ１×ｄ３） ・・・（６）

図２９は、図２８の３点を通る円の中心座標１８０２を求めた例を示す図である。この場合は、１点が角膜反射によって欠損した部分に存在しているために本来の瞳孔中心に対してずれが生じている。

図３０は、図２８とは異なる３点（点１９０２）が選択された例を示す図である。図３１は、図３０の３点を通る円の中心座標２００２を求めた例を示す図である。図３０の例では、いずれの点も瞳孔の欠損部分にかかっていない。このため、中心座標２００２は図３１のように本来の瞳孔中心に近い位置となる。

図３２は、このような瞳孔の輪郭上のランダムな３点を選択して処理を繰り返し行い、多くの円の中心座標を求めた結果を模式的に表した図である。図３２では黒い点それぞれが、求められた中心座標を示す。

図３３は、実際の画像に対して１０００回の計算を行い求められた中心座標の例を示す図である。図３３では白い点それぞれが、求められた中心座標を示す。図３４および図３５は、それぞれ中心座標のＸおよびＹ方向の成分（Ｘ座標，Ｙ座標）の度数分布の例を示す図である。得られた中心座標のＸ方向の成分は、図３４のように本来の瞳孔中心のＸ座標２３０１をピークとした分布となる。また同様に、Ｙ方向の成分は、図３５のような本来の瞳孔中心のＹ座標２４０１をピークとした分布となる。

このように、選択部３５３による点の選択処理、および、円中心算出部３５４による算出処理を、複数回（Ｎ回（Ｎは２以上の整数））実行してもよい。図２６は、Ｎ＝１０００の場合の例を示している。すなわち、選択部３５３は、処理回数ｎが１０００以上であるか否かを判断する（ステップＳ６０７）。処理回数ｎが１０００未満の場合（ステップＳ６０７：Ｎｏ）、ステップＳ６０４に戻り処理を繰り返す。

処理回数ｎが１０００以上の場合（ステップＳ６０７：Ｙｅｓ）、瞳孔検出部３５５は、算出された中心座標の値に基づき、瞳孔領域の中心を検出する。例えば、Ｎ回の算出処理によりＮ個の中心座標の値が算出された場合、瞳孔検出部３５５は、複数の中心座標それぞれのＸ座標およびＹ座標を平均化することにより、瞳孔領域の中心の座標値を検出する。瞳孔検出部３５５は、例えば、以下の（７）式により、瞳孔領域のＸ座標の値を算出する（ステップＳ６０８）。また、瞳孔検出部３５５は、以下の（８）式により、瞳孔領域のＹ座標の値を算出する（ステップＳ６０９）。ＸｉおよびＹｉは、それぞれｉ番目（ｉは１≦ｉ≦Ｎを満たす整数）の円の中心座標のＸ座標値およびＹ座標値を表す。

瞳孔検出部３５５は、複数の中心座標の値のうち、基準位置から所定範囲内に含まれる複数の中心座標の値を対象として平均化を行ってもよい。基準位置から所定範囲内とは、例えば、Ｘ座標およびＹ座標それぞれの中央値（基準位置）に対する差分が所定範囲内であることを示す。基準位置は中央値に限られるものではなく、例えば度数が最大となる座標値であってもよい。

図３６は、このような処理により得られた瞳孔中心２５０２の一例を示す図である。図３６に示すように、瞳孔の一部が欠損している画像に対しても瞳孔中心に極めて近い座標を安定して得ることが可能になる。

選択部３５３による点の選択は、以下のような方法で実現してもよい。図３７は、各点がピクセルで表された瞳孔領域の輪郭の例を示す図である。図３７に示すように、コンピュータ上の画像では、輪郭上の座標は、ピクセル（整数）単位で表される。輪郭上のそれぞれの座標が、（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、・・・、（ｘｍ，ｙｍ）のように表される場合、選択部３５３は、例えば乱数で「１〜ｍ」の中から３つの数字を選択することで（ピクセル）座標を選択する。図３８は、選択された点２８０１の例を示す図である。

選択部３５３は、以下の場合を除外して選択してもよい。すなわち、選択部３５３は、例えば選択した３点が以下の条件に該当する場合に、選択処理をやり直してもよい。
（Ｃ１）選択した３点が同一の直線上に存在する場合（実際の画像ではノイズや誤差の影響により、選択した３点が同一の直線上に存在する可能性が０ではないため除外する）
（Ｃ２）３点から求められる円の半径値が他の円と大きく異なる場合（円の中心もずれている可能性が高いので除外する）

上記（Ｃ２）で「大きく異なる」とは、例えば以下のように判断する。まず選択部３５３は、全ての円の半径値の標準偏差σを求める。選択部３５３は、半径値のヒストグラムのピーク値から例えば±０．５σの範囲を超える半径値を、大きく異なる半径値と判断し、選択の対象から除外する。閾値である±０．５σは一例であり、これに限られるものではない。なおこの例ではピーク値が上述の基準位置に相当し、±０．５σの範囲が上述の所定範囲に相当する。

このように、本実施形態では、瞳孔の一部が欠損している画像に対しても瞳孔の輪郭上の異なる３点から瞳孔中心に近い座標を繰り返し求め、これを平均化するなどの方法で、精度良く瞳孔中心を求めることが可能となる。

（変形例３）
上記の方法では、図２７のように角膜反射領域が瞳孔円周内に入り、ランダムに選択した任意の点がこの領域に存在した場合（例えば図２８）に、瞳孔中心の誤差が大きくなる。そこで、本変形例では、瞳孔の輪郭を抽出した後に、瞳孔の輪郭のうち誤差の原因となりうる部分を削除する処理を行う。

図３９は、本変形例の瞳孔検出処理の一例を示すフローチャートである。ステップＳ７０１、ステップＳ７０２は、図２６のステップＳ６０１、ステップＳ６０２と同様であるため説明を省略する。

本変形例では、抽出部３５２は、抽出された瞳孔の輪郭から、誤差の原因となりうる所定の部分を削除する。例えば、角膜反射中心から一定範囲の領域内の部分、および、瞬きなどに起因して瞼によって隠されることにより生じた輪郭の部分などが、誤差の原因となりうる。図３９では、角膜反射中心から一定範囲の領域内の部分を削除する場合を例に説明する。

抽出部３５２は、撮像画像から角膜反射の中心座標を求める（ステップＳ７０３）。例えば抽出部３５２は、角膜反射検出部３５６と同様の方法により、角膜反射領域を検出し、検出した角膜反射領域の中心座標を求める。図４０は、検出される角膜反射領域２９０２の例を示す図である。

抽出部３５２の代わりに角膜反射検出部３５６が本ステップの処理を実行してもよい。また抽出部３５２が角膜反射検出部３５６と異なる方法により角膜反射領域および角膜反射領域の中心座標を求めてもよい。

抽出部３５２は、角膜反射の中心座標から一定範囲内の瞳孔の輪郭を、ステップＳ７０３で抽出した瞳孔の輪郭から削除する（ステップＳ７０４）。図４１は、削除後の瞳孔の輪郭３１０１の例を示す図である。

その後のステップＳ７０５〜ステップＳ７１１は、図２６のステップＳ６０３〜ステップＳ６０９と同様であるため説明を省略する。

例えばステップＳ７０９では、選択部３５３による点の選択処理、および、円中心算出部３５４による算出処理を、複数回（Ｎ回（Ｎは２以上の整数））実行しているが（図３９は、Ｎ＝１０００の場合の例を示している）、実際の瞳孔の輪郭の画像は凹凸があり、完全な円周ではないため複数回実行している。

例えばステップＳ７０７では、削除後の瞳孔の輪郭上から任意の３点がランダムに選択される。図４２は、削除後の瞳孔の輪郭３１０１から選択された点３２０２の例を示す図である。

図４３は、瞼によって瞳孔の一部が隠れている例を説明する図である。瞳孔の輪郭３３０１は、この例で抽出された瞳孔の輪郭を表す。領域３３０２は、瞼によって隠されたことにより生じた輪郭の部分を含む領域を表す。抽出部３５２が、このような領域を検出し、この領域内の輪郭を削除してもよい。例えば領域３３０２は、抽出された瞳孔の輪郭のうち、円周を構成しない線状（直線状など）の部分を含む領域として検出できる。領域３３０２を検出せずに、線状の部分を検出し、検出した線状の部分を瞳孔の輪郭から削除してもよい。なお、瞳孔の輪郭のうち誤差の原因となりうる所定の部分を検出する方法は上記に限られるものではない。

図４４は、図４３の瞳孔の輪郭３３０１から、領域３３０２に含まれる部分を削除した後の瞳孔の輪郭３４０１の例を示す図である。誤差の原因となりうる所定の部分を削除することにより、検出の精度をより向上させることが可能となる。

以上のように、本実施形態によれば、例えば以下のような効果が得られる。
（１）瞳孔の一部が角膜反射や瞼などによって欠損している画像に対しても瞳孔中心座標を安定して得ることができる。
（２）１ヶ所の光源（照明部）により視線検出を行うことが可能となる。
（３）光源を１ヵ所にすることで、装置をコンパクトにすることが可能となり、コストダウンも実現できる。
（４）２ヶ所の光源（２つの光源）を使う場合は、２つの光源のうち、２台のカメラからそれぞれ遠い光源を点灯させたときの画像を撮影し使用することにより、瞳孔だけをより暗く撮影でき、瞳孔検出精度、および視線検出精度を向上させることができる。
（５）２つの光源のうち、それぞれカメラから遠い１つの光源を使用するため、従来の方法に比べ２つの光源の位置を離す必要がなくコンパクトにすることが可能である。

１００、１００−２ 診断支援装置
１０１ 表示部
１０２ ステレオカメラ
１０３ ＬＥＤ光源
１５０ 記憶部
２０１ 表示画面
２０２ 右カメラ
２０３ 左カメラ
２０５ スピーカ
３００、３００−２ 制御部
３１３ 駆動・ＩＦ部
３１６ ＬＥＤ駆動制御部
３２２ スピーカ駆動部
３５１ 特定部
３５２ 抽出部
３５３ 選択部
３５４ 円中心算出部
３５５ 瞳孔検出部
３５６ 角膜反射検出部
３５７、３５７−２ 曲率中心算出部
３５８ 視線検出部
３５９ 視点検出部
３６０ 出力制御部
３６１ 評価部
３６２−２ 点灯制御部

Claims (7)

1. 目を撮像した画像から、瞳孔領域を特定する特定部と、
   前記特定部によって特定された前記瞳孔領域の輪郭を抽出する抽出部と、
   前記抽出部によって抽出された前記瞳孔領域の輪郭上の複数の点を選択する選択部と、
   前記選択部によって選択された複数の前記点を通る円の中心を算出する中心算出部と、
   前記中心算出部によって算出された前記円の中心から前記瞳孔領域の中心を検出する瞳孔検出部と、
   を備える瞳孔検出装置。
2. 前記選択部は、前記抽出部によって抽出された前記瞳孔領域の輪郭上の複数の点を、ランダムに選択する、
   請求項１に記載の瞳孔検出装置。
3. 前記選択部は、複数の前記点を選択する選択処理をＮ回（Ｎは２以上の整数）実行し、
   前記中心算出部は、前記選択処理により選択された複数の前記点を通る円の中心を算出する算出処理をＮ回実行する、
   請求項１または２に記載の瞳孔検出装置。
4. 前記瞳孔検出部は、Ｎ回の前記算出処理によって算出された複数の前記円の中心を平均することにより、前記瞳孔領域の中心を検出する、
   請求項３に記載の瞳孔検出装置。
5. 前記瞳孔検出部は、Ｎ回の前記算出処理によって算出されたＮ個の前記円の中心のうち、所定範囲内に含まれる複数の前記円の中心を平均することにより、前記瞳孔領域の中心を検出する、
   請求項４に記載の瞳孔検出装置。
6. 前記抽出部は、抽出した前記瞳孔領域の輪郭から所定の部分を削除し、
   前記選択部は、前記所定の部分が削除された前記瞳孔領域の輪郭上の複数の点を選択する、
   請求項１から５のいずれか１項に記載の瞳孔検出装置。
7. 目を撮像した画像から、瞳孔領域を特定する特定ステップと、
   前記特定ステップによって特定された前記瞳孔領域の輪郭を抽出する抽出ステップと、
   前記抽出ステップによって抽出された前記瞳孔領域の輪郭上の複数の点を選択する選択ステップと、
   前記選択ステップによって選択された複数の前記点を通る円の中心を算出する中心算出ステップと、
   前記中心算出ステップによって算出された前記円の中心から前記瞳孔領域の中心を検出する瞳孔検出ステップと、
   を含む瞳孔検出方法。