JP2012133088A - 撮像装置、撮像プログラムおよび信号処理装置 - Google Patents

Abstract

【課題】画素数の少ない撮像素子を用いて視線の精度の高い検出をすること。
【解決手段】撮像素子１ｂは、眼球を撮像する。特定部１ｄは、撮像素子１ｂが撮像した画像の角膜反射像の中心位置を、角膜反射像が撮像された画素を分割した領域毎の予め求めておいた光量分布に基づき特定する。
【選択図】図１

Description

本発明は撮像装置、撮像プログラムおよび信号処理装置に関する。

撮像装置の分野においては、撮像装置の撮像面（例えば、ファインダ等）を覗く観察者が、撮像面のどの方向を注視しているのかを検出する方法が知られている。観察者の視線情報を検出する方法の一例として、観察者の眼球を照明した照明光を、撮像素子（受光センサ）を用いて撮像し、角膜反射像（プルキニエ像）の位置と瞳孔の中心位置とのずれにより算出する方法が知られている。検出した視線情報は、例えば撮影レンズの自動焦点調節の機能を制御する技術等に用いられる。

特開平１０−９９２７６号公報 特開平９−６８６４５号公報

撮像装置の口径比が十分に小さい（解像度が高い）場合は、視線の検出の精度は、撮像素子の画素数および撮像素子のサイズの大きさに依存する。従って、撮像素子のサイズが小さい撮像装置では、画素数を増加させれば視線の検出の精度を高めることができる。

しかしながら、画素数を増加させると、装置のコストが増加すると言う問題があった。
本発明はこのような点に鑑みてなされたものであり、画素数の少ない撮像素子を用いて視線の精度の高い検出を図る撮像装置、撮像プログラムおよび信号処理装置を提供することを目的とする。

上記目的を達成するために、開示の撮像装置が提供される。この撮像装置は、撮像素子と、特定部とを有している。
撮像素子は、眼球を撮像する。特定部は、撮像素子が撮像した画像の角膜反射像の中心位置を、角膜反射像が撮像された画素を分割した領域毎の予め求めておいた光量分布に基づき特定する。

画素数の少ない撮像素子を用いて視線の精度の高い検出をすることができる。

第１の実施の形態の撮像装置を示す図である。 第２の実施の形態の撮像装置のハードウェアの一構成例を示す図である。 第２の実施の形態の撮像装置の機能を示すブロック図である。 撮像素子が受光した発光素子の光量分布を説明する図である。 センサＦＥが作成した光量分布の一例を示す図である。 ゲイン調整部のゲインの調整を説明する図である。 演算部の中心画素の決定処理を説明する図である。 演算部の角膜反射像の中心位置の特定処理を説明する図である。 テーブル格納部に格納されている光量分布のテーブルを示す図である。 光量分布作成部がグラフを作成する一例を説明する図である。 演算部の処理を示すフローチャートである。

以下、実施の形態の撮像装置を、図面を参照して詳細に説明する。
まず、実施の形態の撮像装置について説明し、その後、実施の形態をより具体的に説明する。

＜第１の実施の形態＞
図１は、第１の実施の形態の撮像装置を示す図である。
第１の実施の形態の撮像装置１は、発光素子１ａと、撮像素子１ｂと、決定部１ｃと、特定部１ｄと、視線検出部１ｅとを有している。

発光素子１ａは、観察者の眼球を撮像する際に発光する。この発光素子１ａとしては特に限定されないが、例えば、可視光領域よりも長い波長である近赤外領域（例えば７００ｎｍ〜１０００ｎｍ程度）の光を発光するＬＥＤ（Light Emitting Diode）等が挙げられる。

撮像素子１ｂは、発光素子１ａが発光した状態の観察者の眼球を撮像する。この撮像素子１ｂとしては、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等が挙げられる。

決定部１ｃは、撮像素子１ｂが撮像した画像の、角膜反射像の中心位置を撮像した画素（中心画素）を決定する。図１では、２５個の画素３のうち、斜線で示した画素３を中心画素に決定した場合を示している。

なお、中心画素の決定は、例えば決定部１ｃが、撮像素子１ｂが撮像した画像から作成した画素毎の光量を示すグラフと、角膜反射像の中心画素の識別用に用意したグラフとを比較することで決定することができる。角膜反射像の中心画素の識別用に用意したグラフは、撮像装置１の図示しない記憶部に記憶しておくことができる。

特定部１ｄは、撮像素子１ｂが撮像した画像（撮像面）の観察者の角膜反射像の中心位置を、角膜反射像が撮像された画素を分割した領域毎に予め求めておいた光量分布のグラフと、角膜反射像の光量分布との比較結果に基づいて、特定する。

本実施の形態では、特定部１ｄは、決定部１ｃが決定した画素３を複数の領域３ａ〜３ｉに分割する。そして、特定部１ｄは、眼球を撮像した撮像面の角膜反射像の光量分布を示すグラフと、領域３ａ〜３ｉ毎の予め求めておいた、当該領域に角膜反射像の中心位置が存在すると判断可能な光量分布を示すグラフとを比較する。そして、領域３ａ〜３ｉ毎に予め求めておいた光量分布のうち、角膜反射像の光量分布と最も類似度の高いグラフの領域を、角膜反射像の中心位置に特定することができる。

視線検出部１ｅは、特定部１ｄが特定した角膜反射像の中心位置と、観察者の瞳孔の中心位置の遷移（相対位置関係）とに基づいて、瞳孔の移動距離と方向（ベクトル）を算出することで、観察者の視線を検出する。

この撮像装置１によれば、特定部１ｄが、撮像素子１ｂが撮像した画像（撮像面）の観察者の角膜反射像の中心位置を、角膜反射像が撮像された画素を分割した領域３ａ〜３ｉそれぞれの予め求めておいた光量分布のグラフに基づき特定するようにした。これにより、画素数の少ない撮像素子を用いて視線の精度の高い検出を図ることができる。

なお、決定部１ｃ、特定部１ｄは、撮像装置１が有するＣＰＵ（Central Processing Unit）が備える機能により実現することができる。また、撮像装置１が有する図示しない記憶領域は、撮像装置１が有するＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等が備えるデータ記憶領域により実現することができる。

以下、実施の形態をより具体的に説明する。
＜第２の実施の形態＞
図２は、第２の実施の形態の撮像装置のハードウェアの一構成例を示す図である。

撮像装置１０は、ＣＰＵ１０１によって装置全体が制御されている。ＣＰＵ１０１には、バス１０８を介してＲＡＭ１０２と複数の周辺機器が接続されている。
ＲＡＭ１０２は、撮像装置１０の主記憶装置として使用される。ＲＡＭ１０２には、ＣＰＵ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１０２には、ＣＰＵ１０１による処理に使用する各種データが格納される。

バス１０８に接続されている周辺機器としては、ＲＯＭ１０３、信号処理回路１０４、入力インタフェース１０５、ドライブ装置１０６、および通信インタフェース１０７がある。

ＲＯＭ１０３は、データの書き込みおよび読み出しを行う。ＲＯＭ１０３は、撮像装置１０の二次記憶装置として使用される。ＲＯＭ１０３には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。

信号処理回路１０４には、モニタ１０４ａ、発光素子１０４ｂおよび撮像素子１０４ｃが接続されている。信号処理回路１０４は、ＣＰＵ１０１からの命令に従って、画像をモニタ１０４ａの画面に表示させる。モニタ１０４ａとしては、ＣＲＴ（Cathode Ray Tube）を用いた液晶表示装置等が挙げられる。この発光素子１０４ｂは、モニタ１０４ａの近傍に設けられており、信号処理回路１０４の制御により発光する。発光素子１０４ｂとしては第１の実施の形態の発光素子１ａと同様のものを用いることができる。

撮像素子１０４ｃは、例えばモニタ１０４ａの近傍に設けられており、モニタ１０４ａを覗く観察者の眼球を撮像できる位置に設けられている。この撮像素子１０４ｃは、いわゆるインカメラとして機能し、発光素子１０４ｂが発光した状態の眼球を撮像する。そして、撮像により得られた信号を信号処理回路１０４に送る。この撮像素子１０４ｃとしては、第１の実施の形態の撮像素子１ｂと同様のものを用いることができる。

この信号処理回路１０４は、所定のタイミングにて発光素子１０４ｂを発光させる。そして、撮像素子１０４ｃから受け取った信号に各種信号処理を施し、その処理結果をモニタ１０４ａに反映させる。例えば、信号処理回路１０４は、撮像素子１０４ｃから受け取った信号に基づいて観察者の視線を検出する。そして、信号処理回路１０４は、検出した視線に基づいて、モニタ１０４ａに表示された文字等をスクロールさせる。例えば、横書きの文書がモニタ１０４ａに表示されている場合に、視線がモニタ１０４ａ内の下側を見ていることが検出されると、文字をスクロールさせて現在表示されている続きの文書をモニタ１０４ａに表示させる。

入力インタフェース１０５には、操作キー１０５ａが接続されている。入力インタフェース１０５は、操作キー１０５ａから送られてくる信号をＣＰＵ１０１に送信する。なお、操作キーは、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド等が挙げられる。

ドライブ装置１０６は、フラッシュメモリ等の持ち運び可能な記録媒体に記録されたデータの読み取りを行う。
通信インタフェース１０７は、ネットワーク５０に接続されている。通信インタフェース１０７は、ネットワーク５０を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。

以上のようなハードウェア構成によって、本実施の形態の処理機能を実現することができる。
このようなハードウェア構成の撮像装置１０内には、以下のような機能が設けられる。

図３は、第２の実施の形態の撮像装置の機能を示すブロック図である。
撮像装置１０は、信号処理回路１０４の一部の機能を構成する視線検出部１１を有している。

視線検出部１１は、発光素子１０４ｂと撮像素子１０４ｃに接続されている。この視線検出部１１は、センサＦＥ（Front End）１１１と、ゲイン調整部１１２と、発光制御部１１３と、演算部１１４と、テーブル格納部１１５と、光量分布作成部１１６と、視線特定部１１７とを有している。

センサＦＥ１１１は、撮像素子１０４ｃが出力した信号のアンプ雑音、リセット雑音等各種雑音を除去する。
また、センサＦＥ１１１は、撮像素子１０４ｃが出力した信号の画素位置に応じた光量の分布を作成する。

図４は、撮像素子が受光した発光素子の光量分布を説明する図である。
発光素子１０４ｂは、発光素子１０４ｂの種別により、光の広がり（各角度での光の強度）が変化する。図４に示すグラフは、あるＬＥＤの光量分布を示している。縦軸が光の強度を示し、横軸が照射角度を示しており、図４では中心（０°）の強度を１としたときの各角度での強度の相対値を示している。図４に示すグラフでは、９０°付近の光量が、ほぼ０になっていることが分かる。観察者の眼球を撮像したときに角膜反射像の光量は、他の部分の光量よりも多くなる。従って、撮像した画像の光量の最も多い箇所を特定することで、角膜反射像の中心位置を特定することができる。

図５は、センサＦＥが作成した光量分布の一例を示す図である。
図５（ａ）は、撮像素子１０４ｃが撮像した画像の一部を示す図である。図５（ａ）に示す幅Ａ１は、撮像した瞳孔の幅を示している。また、幅Ａ２は、２つの角膜反射像のうちの１つの角膜反射像の幅を示している。また、画素Ｐ１は、画像内での画素の大きさを示している。前述したように、観察者の眼球を撮像したときに角膜反射像の光量は、他の部分の光量よりも多くなる。従って、撮像素子１０４ｃが撮像した画像は、光量が多い部分は白く写り、光量が少ない部分は黒く写る。

図５（ｂ）は、撮像素子１０４ｃが撮像した画像の角膜反射像が写った領域を拡大して示す図である。この画素領域は、縦方向（Ｙ方向）７画素、横方向（Ｘ方向）７画素の計４９個の画素Ｐ１を有している。

図５（ｃ）に示す光量分布のグラフは、横軸を図５（ｂ）に示す撮像素子１０４ｃのＡ−Ｂ線での各画素位置にとり、縦軸を光量にとって量子化したグラフである。前述したように、撮像素子１０４ｃが撮像した画像は、光量が多い部分は白く写り、光量が少ない部分は黒く写る。このため、受光領域の中心側の画素が受光した光量が、受光領域の辺部の画素が受光した光量よりも大きくなっている。再び図３に戻って説明する。

ゲイン調整部１１２は、演算部１１４からの指示等に従って、センサＦＥ１１１により雑音が消去された信号のゲインを調整する。例えば、設計者が、所望する発光素子１０４ｂの発光量を示す光量分布のグラフをゲイン調整部１１２に予め記憶しておく。

図６は、ゲイン調整部のゲインの調整を説明する図である。
図６（ａ）、図６（ｂ）における斜線で示したグラフは、横軸を図５（ｂ）に示す撮像素子１０４ｃのＡ−Ｂ線での各画素位置にとり、縦軸を光量にとって量子化したグラフである。また、図６（ａ）、図６（ｂ）における白く塗りつぶしたグラフは、ゲイン調整部１１２に予め記憶しておいた光量分布のグラフである。ゲイン調整部１１２に予め記憶しておいた光量分布のグラフは、例えば図４に示すグラフの光量分布に基づいて作成することができる。

ゲイン調整部１１２は、センサＦＥ１１１が出力する信号の光量分布とゲイン調整部１１２に予め記憶しておいた光量分布とを比較する。そして、センサＦＥ１１１が出力する信号の光量分布と予め記憶しておいた光量分布の差の平均二乗誤差が最小になるように、発光素子１０４ｂのゲインを調整する。例えば図６（ａ）に示す状態は、センサＦＥ１１１が出力する信号の光量分布の各値が、予め記憶しておいた光量分布の各値よりも大きくなっている。このときゲイン調整部１１２は、発光素子１０４ｂの発光量を小さくするように発光制御部１１３に指示する。また、図６（ｂ）に示す状態は、センサＦＥ１１１が出力する信号の光量分布の各値が、予め記憶しておいた光量分布の各値よりも小さくなっている。このときゲイン調整部１１２は、発光素子１０４ｂの発光量を大きくするように発光制御部１１３に指示する。

発光制御部１１３は、ゲイン調整部１１２の指示に基づいて、発光素子１０４ｂの発光量を調整する。
なお、ゲイン調整部１１２および発光制御部１１３は、変更部の一例である。

演算部１１４は、角膜反射像の中心位置を特定する。なお、演算部１１４は、決定部および特定部の一例である。
まず、演算部１１４は、センサＦＥ１１１が出力した光量分布と、予め作成しておいた歪みのない場合の角膜反射像の光量分布との変化を比較する。

図７は、演算部の中心画素の決定処理を説明する図である。
図７（ａ）は、図５（ｃ）に示したグラフと同じグラフである。すなわち、横軸を図５（ｂ）に示す撮像素子１０４ｃのＡ−Ｂ線での各画素位置にとり、縦軸を光量にとって量子化したグラフである。また、図７（ｂ）は、図４に示すグラフの光量分布に基づいて予め作成しておいた、歪みのない場合の角膜反射像の７画素分の光量分布のグラフを示している。

演算部１１４は、図７（ａ）に示すセンサＦＥ１１１が出力した光量分布と、図７（ｂ）に示す歪みのない場合の角膜反射像の光量分布との比較により、撮像素子１０４ｃの画素Ｐ１のうち角膜反射像が撮像された画素（以下、「中心画素」と言う）を決定する。中心画素を決定する方法としては、例えば光量が最も大きい画素の位置を中心画素に決定する方法や、所定領域内における光量の重心が位置する画素を中心画素に決定する方法等が挙げられる。本実施の形態では、光量分布の比較の結果、７×７画素の中心の画素Ｐ１を中心画素に決定した場合を例に説明する。以下、中心画素に決定した画素Ｐ１を、「中心画素ＣＰ１」と言う。

中心画素を決定すると、演算部１１４は、中心画素ＣＰ１内の角膜反射の中心位置を、テーブル格納部１１５に格納されている中心画素ＣＰ１を分割した領域毎の予め求めておいた光量分布に基づき特定する。

図８は、演算部の角膜反射像の中心位置の特定処理を説明する図である。
図８は、中心画素ＣＰ１の周辺の３×３画素を図示している。中心画素ＣＰ１の位置座標を（ｉ，ｊ）と規定し、図８の右方向および下方向を「＋」、左方向および上方向を「−」すると、中心画素ＣＰ１を取り囲む周辺の画素Ｐ１の位置座標は、図８に示すようになる。演算部１１４は、中心画素ＣＰ１をさらに分割した正方形状の区域（以下、「サブピクセル」と言う）を仮想的に設定する。本実施の形態では、中心画素ＣＰ１を３×３の９個のサブピクセルｓＰ１〜ｓＰ９に分割した例を示している。なお、サブピクセルの個数は、９個には限定されない。そして、演算部１１４は、センサＦＥ１１１が出力した光量分布を、テーブル格納部１１５に予め記憶されたサブピクセルｓＰ１〜ｓＰ９それぞれの位置に角膜反射像の中心位置が存在すると判断可能な光量分布と比較する。この比較により、演算部１１４は、最も類似度の高い光量分布に対応するサブピクセルの位置を、角膜反射像の中心位置に特定する。

この類似度は、以下のようにして求めることができる。
まず、演算部１１４は、サブピクセル毎に次式（１）を演算する。

式（１）において、ｖ（ｉ，ｊ）は、センサＦＥ１１１が出力した光量分布の位置座標（ｉ，ｊ）の中心画素ＣＰ１の階調値を示している。また、ｆ（ｓ，ｉ，ｊ）は、テーブル格納部１１５に予め格納された各サブピクセルの光量分布関数を示しており、ｓは、サブピクセルの位置を識別するパラメータである。

次に、演算部１１４は、最も値の小さいｄｅｌ＿ｓｕｍ（ｓ）が、予め定めた値以下であるか否かを判断する。そして、演算部１１４は、予め定めた値以下ではない場合、すなわち、テーブル格納部１１５に予め格納された各サブピクセルの光量分布との剥離が一定以上である場合、ゲイン調整部１１２にゲインの調整を指示する。この処理により、発光素子１０４ｂの光量を増加させることで、ｄｅｌ＿ｓｕｍ（ｓ）の値を小さくすることができる。従って、視線の検出精度を高めることができる。

演算部１１４は、所定時間毎に式（１）を用いて角膜反射像の中心位置を求める処理を繰り返し実行する。
テーブル格納部１１５は、センサＦＥ１１１が出力した光量分布の比較対象となる各サブピクセルの光量分布のグラフのテーブルを格納する。なお、テーブル格納部１１５は、記憶部の一例である。

図９は、テーブル格納部に格納されている光量分布のグラフのテーブルを示す図である。
図９に示すテーブル１１５ａには、サブピクセルｓＰ１〜ｓＰ９毎にグラフが用意されている。図９では、一例としてサブピクセルｓＰ１の光量分布のグラフＧ１と、サブピクセルｓＰ２の光量分布のグラフＧ２と、サブピクセルｓＰ２の光量分布のグラフＧ３とを示している。

各グラフは、各サブピクセルｓＰ１〜ｓＰ９に角膜反射像の中心位置が存在すると判断可能な比較用の光量分布を示している。なお、本実施の形態では、各サブピクセルに対応する光量分布をグラフ化してテーブル１１５ａに格納する例を示しているが、光量分布を関数によりテーブル１１５ａに格納するようにしてもよい。以下、この関数を「光量分布関数」と言う。

光量分布作成部１１６は、テーブル１１５ａの光量分布のグラフを作成する。
図１０は、光量分布作成部がグラフを作成する一例を説明する図である。
まず、光量分布作成部１１６は、発光素子１０４ｂを発光させる。そして、発光素子１０４ｂが発した光を撮像素子１０４ｃが受光できる状態にする。そして、撮像素子１０４ｃが受光した光量の分布が撮像素子１０４ｃのダイナミックレンジ内に収まるように発光素子１０４ｂの出力を調整する。この処理により、Ｘ方向、Ｙ方向それぞれの光量分布を取得する。

次に、光量分布作成部１１６は、各画素の階調値を読み取る。具体的には、例えば光量分布の中心が、受光領域の中心に存在する場合、Ｘ方向、Ｙ方向ともに光量中心を受光領域の中心に存在する画素Ｐ１の中央に設定する。設定した状態で、光量分布作成部１１６が、各画素の階調値を読み取る。光量分布作成部１１６は、読み取った階調値に基づいて光量分布のグラフを作成し、作成した光量分布のグラフを演算部１１４に送る。演算部１１４は、受け取った光量分布のグラフを記憶しておき、この光量分布のグラフに基づいて中心画素ＣＰ１を特定する。

次に、光量分布作成部１１６は、サブピクセル毎の光量分布のグラフを作成する。具体的には、光量分布の中心が各サブピクセルと一致するように、Ｘ方向、Ｙ方向の光量分布を撮像素子１０４ｃの受光領域に対して平行移動させて光量分布の中心をサブピクセルに一致させる。一致させた状態で４９画素の階調値ｖ（ｉ，ｊ）を読み取る。そして、この読み取り処理により取得した階調値ｖ（ｉ，ｊ）に基づいて、このサブピクセルでの光量分布のグラフを作成する。

光量分布作成部１１６は、４９画素の階調値の読み取り処理を、各サブピクセルについて行い、各サブピクセルでの光量分布のグラフを作成する。例えば１画素に設定するサブピクセルをＸ方向、Ｙ方向ともに３つ設定した場合には、設定した９個のサブピクセルについて４９画素の階調値の読み取り処理を行う。そして、作成した光量分布のグラフをテーブル格納部１１５に格納する。なお、本実施の形態では、グラフの作成に発光素子１０４ｂを使用したが、グラフの作成に使用する発光素子は、発光素子１０４ｂに限定されない。発光素子１０４ｂ以外の発光素子を使用する場合は、撮像光学系の点像に基づいてグラフを作成するのが好ましい。

視線特定部１１７は、演算部１１４が求めた角膜反射像の中心位置と、瞳孔の中心位置の遷移（相対位置関係）とに基づいて、瞳孔の移動距離と方向（ベクトル）を算出することで、観察者の視線を特定する。

次に、演算部１１４の処理を、フローチャートを用いて説明する。
図１１は、演算部の処理を示すフローチャートである。
［ステップＳ１］ 演算部１１４は、角膜反射像の中心画素ＣＰ１を決定する。その後、ステップＳ２に遷移する。

［ステップＳ２］ 演算部１１４は、中心画素ＣＰ１のサブピクセルｓＰ１〜ｓＰ９のうち、未選択のサブピクセルの位置座標（ｉ，ｊ）（ｉ＝ｉ０−１、ｉ０、ｉ０＋１，ｊ＝ｊ０−１、ｊ０、ｊ０＋１）の階調値ｖ（ｉ，ｊ）を取得する。その後、ステップＳ３に遷移する。

［ステップＳ３］ 演算部１１４は、テーブル格納部１１５に格納されているテーブル１１５ａを参照し、サブピクセルの位置を識別するパラメータｓに対応する光量分布関数ｆ（ｓ、ｉ、ｊ）を取得する。その後、ステップＳ４に遷移する。

［ステップＳ４］ 演算部１１４は、ステップＳ２にて取得した階調値ｖ（ｉ，ｊ）およびステップＳ３にて取得した光量分布関数ｆ（ｓ，ｉ，ｊ）を、式（１）に代入することで、ｄｅｌ＿ｓｕｍ（ｓ）を演算する。その後、ステップＳ５に遷移する。

［ステップＳ５］ 演算部１１４は、サブピクセルｓＰ１〜ｓＰ９の位置座標（ｉ，ｊ）全てにおいてｄｅｌ＿ｓｕｍ（ｓ）を演算したか否かを判断する。全てにおいてｄｅｌ＿ｓｕｍ（ｓ）を演算していない場合（ステップＳ５のＮｏ）、ステップＳ６に遷移する。全てにおいてｄｅｌ＿ｓｕｍ（ｓ）を演算した場合（ステップＳ５のＹｅｓ）、ステップＳ７に遷移する。

［ステップＳ６］ 演算部１１４は、位置のパラメータｓを変更する。その後、ステップＳ３に遷移する。
［ステップＳ７］ 演算部１１４は、ｄｅｌ＿ｓｕｍ（ｓ）の最小値ｄｅｌ＿ｓｕｍ（ｓｍｉｎ）を選択する。その後、ステップＳ８に遷移する。

［ステップＳ８］ 演算部１１４は、ｄｅｌ＿ｓｕｍ（ｓｍｉｎ）が所定値以下か否かを判断する。ｄｅｌ＿ｓｕｍ（ｓｍｉｎ）が所定値以下である場合（ステップＳ８のＹｅｓ）、ステップＳ９に遷移する。ｄｅｌ＿ｓｕｍ（ｓｍｉｎ）が所定値より大きい場合（ステップＳ８のＮｏ）、ステップＳ１０に遷移する。

［ステップＳ９］ 演算部１１４は、ｄｅｌ＿ｓｕｍ（ｓｍｉｎ）の位置ｓを角膜反射位置に決定する。その後、図１１の処理を終了する。
［ステップＳ１０］ 演算部１１４は、ゲイン調整部１１２にゲインの調整を指示する。その後、図１１の処理を終了する。

以上で、図１１の処理の説明を終了する。
以上述べたように、撮像装置１０によれば、演算部１１４が、角膜反射像の中心位置を、サブピクセル毎の予め求めておいた光量分布に基づき特定するようにした。これにより、例えば得られた角膜反射像の光量の加重平均から反射像の中心位置を算出する方法等に比べ、角膜反射像の中心位置を、より確実に特定することができる。

また、画素数の少ない撮像素子を使用しても比較的高い精度の視線を検出することができるため、画素数の多い撮像素子を使用する場合に比べ、撮像装置の製造コストを低くすることができる。

なお、本実施の形態では１つの発光素子１０４ｂを有する撮像装置１０を説明したが、これに限らず、撮像装置は発光素子を２つ以上有していてもよい。そして、各発光素子で撮像した画像のうち、角膜反射像が撮像されている画像を角膜反射像の中心位置の特定に用いるようにしてもよい。これにより、例えば眼鏡等により１つの発光素子の撮像した画像に角膜反射像が撮像されてなくても、他の発光素子の撮像した画像を用いて角膜反射像の中心位置を特定することができる。

なお、本実施の形態では、光量分布作成部１１６がテーブル１１５ａに格納する光量分布のグラフを作成した。しかし、テーブル１１５ａに格納する光量分布のグラフは、例えば、ダイナミックレンジが十分確保されている場合に、撮像素子１０４ｃよりも多くの画素数を有する撮像素子によって眼球を撮像した角膜反射像の光量分布のグラフを取得することもできる。取得する光量分布はガウス分布に近似した形状となるが、発光素子と受光センサの空間的配置または環境により変化することもあり、事前に実測した分布を取得するのが好ましい。

さらに、本実施の形態では、実測により光量分布を作成したが、計算により光量分布を求めてもよい。
以上、本発明の撮像装置、撮像プログラムおよび信号処理装置を、図示の実施の形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、本発明に、他の任意の構成物や工程が付加されていてもよい。

また、本発明は、前述した各実施の形態のうちの、任意の２以上の構成（特徴）を組み合わせたものであってもよい。
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、撮像装置１、１０、信号処理回路１０４、または視線検出部１１が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリ等が挙げられる。磁気記憶装置には、ハードディスクドライブ、フレキシブルディスク（ＦＤ）、磁気テープ等が挙げられる。光ディスクには、ＤＶＤ、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ／ＲＷ等が挙げられる。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）等が挙げられる。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送される毎に、逐次、受け取ったプログラムに従った処理を実行することもできる。

また、上記の処理機能の少なくとも一部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）等の電子回路で実現することもできる。

以上の第１〜第２の実施の形態に関し、さらに以下の付記を開示する。
（付記１） 眼球を撮像する撮像素子と、
前記撮像素子が撮像した画像の角膜反射像の中心位置を、前記角膜反射像が撮像された画素を分割した領域毎に予め求めておいた光量分布と前記角膜反射像の光量分布との比較結果に基づいて、特定する特定部と、
を有することを特徴とする撮像装置。

（付記２） 前記特定部は、前記領域毎に予め求めておいた光量分布と前記角膜反射像の光量分布とを比較した結果、前記領域毎に予め求めておいた光量分布のうち、前記角膜反射像の光量分布と最も類似度の高い光量分布の前記領域を、前記中心位置に特定することを特徴とする付記１記載の撮像装置。

（付記３） 前記眼球を撮像する際に発光する発光素子と、
前記類似度を示す値が所定値以下である場合、前記発光素子の光量を変更する変更部と、
をさらに有することを特徴とする付記２記載の撮像装置。

（付記４） 前記撮像素子が撮像した画像の、角膜反射像の中心位置を撮像した画素を決定する決定部をさらに有し、
前記特定部は、前記決定部が決定した画素を分割することを特徴とする付記１ないし３のいずれかに記載の撮像装置。

（付記５） 前記領域毎に予め求めておいた光量分布は、前記撮像素子の光量分布の中心を、前記各領域に合わせた状態で、前記撮像素子が有する全ての画素の階調値を読み取った値に基づいて作成することを特徴とする付記１ないし４のいずれかに記載の撮像装置。

（付記６） 前記領域毎の光量分布を記憶する記憶部をさらに有することを特徴とする付記１記載の撮像装置。
（付記７） コンピュータに、
眼球を撮像し、
撮像した画像の角膜反射像の中心位置を、前記角膜反射像が撮像された画素を分割した領域毎に予め求めておいた光量分布と前記角膜反射像の光量分布との比較結果に基づいて、特定する、
処理を実行させることを特徴とする撮像プログラム。

（付記８） 眼球を撮像する撮像素子が撮像した画像の角膜反射像の中心位置を、前記角膜反射像が撮像された画素を分割した領域毎に予め求めておいた光量分布と前記角膜反射像の光量分布との比較結果に基づいて、特定する特定部を有することを特徴とする信号処理回路。

１、１０ 撮像装置
１ａ、１０４ｂ 発光素子
１ｂ、１０４ｃ 撮像素子
１ｃ 決定部
１ｄ 特定部
１ｅ、１１ 視線検出部
１１１ センサＦＥ
１１２ ゲイン調整部
１１３ 発光制御部
１１４ 演算部
１１５ テーブル格納部
１１６ 光量分布作成部
１１７ 視線特定部
ＣＰ１ 中心画素
Ｇ１〜Ｇ３ グラフ
Ｐ１ 画素

Claims (7)

1. 眼球を撮像する撮像素子と、
   前記撮像素子が撮像した画像の角膜反射像の中心位置を、前記角膜反射像が撮像された画素を分割した領域毎に予め求めておいた光量分布と前記角膜反射像の光量分布との比較結果に基づいて、特定する特定部と、
   を有することを特徴とする撮像装置。
2. 前記特定部は、前記領域毎に予め求めておいた光量分布と前記角膜反射像の光量分布とを比較した結果、前記領域毎に予め求めておいた光量分布のうち、前記角膜反射像の光量分布と最も類似度の高い光量分布の前記領域を、前記中心位置に特定することを特徴とする請求項１記載の撮像装置。
3. 前記眼球を撮像する際に発光する発光素子と、
   前記類似度を示す値が所定値以下である場合、前記発光素子の光量を変更する変更部と、
   をさらに有することを特徴とする請求項２記載の撮像装置。
4. 前記撮像素子が撮像した画像の、角膜反射像の中心位置を撮像した画素を決定する決定部をさらに有し、
   前記特定部は、前記決定部が決定した画素を分割することを特徴とする請求項１ないし３のいずれかに記載の撮像装置。
5. 前記領域毎に予め求めておいた光量分布は、前記撮像素子の光量分布の中心を、前記各領域に合わせた状態で、前記撮像素子が有する全ての画素の階調値を読み取った値に基づいて作成することを特徴とする請求項１ないし４のいずれかに記載の撮像装置。
6. コンピュータに、
   眼球を撮像し、
   撮像した画像の角膜反射像の中心位置を、前記角膜反射像が撮像された画素を分割した領域毎に予め求めておいた光量分布と前記角膜反射像の光量分布との比較結果に基づいて、特定する、
   処理を実行させることを特徴とする撮像プログラム。
7. 眼球を撮像する撮像素子が撮像した画像の角膜反射像の中心位置を、前記角膜反射像が撮像された画素を分割した領域毎に予め求めておいた光量分布と前記角膜反射像の光量分布との比較結果に基づいて、特定する特定部を有することを特徴とする信号処理回路。

Images