JP2016110444A - 眼球識別装置及び眼球識別方法 - Google Patents

Abstract

【課題】簡易な認証処理により対象者の眼球を精度よく識別する。【解決手段】個人認証装置（情報処理装置２０）は、対象者の眼球をカメラ１０で撮像することで得られた第１瞳孔画像と、第１瞳孔画像が得られた後に対象者と同一或いは異なる対象者の眼球を撮像することで得られた第２瞳孔画像とを取得する画像取得部２１と、瞳孔における中心から輪郭上の複数のサンプリング点までの輪郭距離を算出する処理を、第１瞳孔画像及び第２瞳孔画像のそれぞれに対して実行する輪郭距離算出部２２と、第１瞳孔画像から得られた輪郭距離と第２瞳孔画像から得られた輪郭距離との相関値を判定することによって眼球を識別する個人認証部２３とを備える。【選択図】図４

Description

本発明は、人の眼球を識別する眼球識別装置及び眼球識別方法に関する。

近年、パーソナルコンピュータ等の情報処理装置において、特定のユーザを認証する機能が具備されている。例えば、このような認証技術は、予め登録されたユーザにのみ使用を制限したり、予め登録されたユーザ毎にカスタマイズされた情報（メニュー画面等）を出力するために利用される。

上記の認証技術の一例としては、ユーザの虹彩模様を識別する技術、ユーザの手のひらを識別する技術が知られている。また、人間の視線の動き（眼球運動）が個人ごとに特性が異なることを利用した認証技術も検討されている（下記非特許文献１）。

西垣正勝，高田愛美，「常時ユーザ認証−視線誘導型なりすまし検知に関する研究−」， 情報処理， Ｖｏｌ．５１， Ｎｏ．１， ｐｐ．３０−３４， ２０１０年１月

しかしながら、虹彩模様や手のひらを識別する認証方法では、予め対象者の虹彩模様等を写真で撮っておいてそれを利用することで簡単に認証されてしまう。そのため、いわゆる他人のなりすましを検知することが困難である。また、上記非特許文献１によれば、他人のなりすましの検知の精度を向上させることはできるが、対象者への負担が大きく、認証処理に長時間を要する傾向にある。具体的には、対象者に視線を動かせてその視線を追跡する処理が必要であるし、追跡の結果から個人間の特性の違いを計測する必要もある。

本発明は、上記課題に鑑みて為されたものであり、簡易な認証処理により対象者の眼球を精度よく識別することが可能な位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置を提供することを目的とする。

上記課題を解決するため、本発明者らは対象者の眼球の瞳孔を撮影することによって得られる瞳孔画像を、眼球の認証に利用する可能性について鋭意検討した。本発明者らは、これまで眼球の回転角度を計測する技術（“酒井俊介 他， 「瞳孔輪郭検出に基づく視軸周りの眼球回転角度計測の可能性の検討」， ２０１４年映像情報メディア学会年次大会， ２２−５”）について検討を続けている。その結果、瞳孔の輪郭上のサンプル点を抽出してその抽出結果を基に対象者の眼球を認証することを着想するに至った。

すなわち、本発明の一形態にかかる眼球識別装置は、対象者の眼球を識別する眼球識別装置であって、対象者の眼球を撮像することで得られた第１瞳孔画像と、該第１瞳孔画像が得られた後に対象者と同一或いは異なる対象者の眼球を撮像することで得られた第２瞳孔画像とを取得する画像取得部と、瞳孔の輪郭を算出する処理を、第１瞳孔画像および第２瞳孔画像のそれぞれに対して実行する輪郭算出部と、第１瞳孔画像から得られた瞳孔の輪郭と第２瞳孔画像から得られた前記瞳孔の輪郭との相関に基づいて前記眼球を識別する眼球識別部と、を備える。

或いは、本発明の他の形態にかかる眼球識別方法は、対象者の眼球を識別する眼球識別方法であって、眼球識別装置が、対象者の眼球を撮像することで得られた第１瞳孔画像と、該第１瞳孔画像が得られた後に対象者と同一或いは異なる対象者の眼球を撮像することで得られた第２瞳孔画像とを取得する画像取得ステップと、眼球識別装置が、瞳孔の輪郭を算出する処理を、第１瞳孔画像および第２瞳孔画像のそれぞれに対して実行する輪郭算出ステップと、眼球識別装置が、第１瞳孔画像から得られた瞳孔の輪郭と第２瞳孔画像から得られた瞳孔の輪郭との相関に基づいて眼球を識別する眼球識別ステップと、を備える。

上記形態の眼球識別装置或いは眼球識別方法によれば、第１瞳孔画像及び第２瞳孔画像における瞳孔の輪郭が算出され、第１瞳孔画像における輪郭と、第２瞳孔画像における輪郭との相関性を判定することによって対象者の眼球が識別される。このような第２瞳孔画像は、一般的に動的に撮像することによって取得されるものであるため、前もって撮っておいた画像を利用することは難しい。さらに、上記形態では、対象者に対する負担も少なく識別処理の計算量も軽減されている。その結果、対象者の眼球を、精度よく即座に識別することができる。

ここで、輪郭算出部は、瞳孔における中心から輪郭上の複数のサンプリング点までの輪郭距離を算出する処理を実行し、眼球識別部は、第１瞳孔画像から得られた輪郭距離と第２瞳孔画像から得られた輪郭距離との相関値を判定することによって眼球を識別することとしてもよい。この場合、第１瞳孔画像及び第２瞳孔画像における瞳孔の中心から瞳孔の輪郭上の複数のサンプル点までの輪郭距離が算出され、第１瞳孔画像における輪郭距離の系列データと、第２瞳孔画像における輪郭距離の系列データとの相関性を判定することによって対象者の眼球が識別される。その結果、対象者の眼球を、精度よく即座に識別することができる。

また、眼球識別部は、第１瞳孔画像および第２瞳孔画像のそれぞれにおいて、複数の輪郭距離に対してフィルタリングを実行することで、該フィルタリングされた複数の輪郭距離を取得し、第１瞳孔画像についてのフィルタリングされた複数の輪郭距離と、第２瞳孔画像についてのフィルタリングされた複数の輪郭距離との相関値を算出することとしてもよい。この場合には、フィルタリングにより一部の成分を除去することで、輪郭距離の系列（波形）から輪郭の歪み以外のノイズを除くことができる。その結果、画像間の輪郭距離の相関をより正確に求めて、眼球の識別結果をより正確に得ることができる。

また、画像取得部は、対象者の左右の眼球を同時もしくは別々に撮像した第１瞳孔画像と、対象者と同一もしくは異なる対象者の眼球を撮像した第２瞳孔画像とを取得し、輪郭算出部は、第１瞳孔画像及び第２瞳孔画像のそれぞれに含まれる瞳孔に対して輪郭距離を算出する処理を実行し、眼球識別部は、第１瞳孔画像から得られた左右の眼球に対応する２つの輪郭距離と第２瞳孔画像から得られた輪郭距離との相関値を判定することによって、第２瞳孔画像に映る眼球を対象者の左右の眼球として識別することとしてもよい。この場合には、眼球を撮像した第２瞳孔画像を利用して対象者の左右の眼球として識別することができる。その結果、対象者の左右の眼球を、精度よく即座に識別することができる。

また、眼球識別部による眼球の識別結果と、第２瞳孔画像とを少なくとも用いて対象者の視線を検出する視線検出部をさらに備えることとしてもよい。この場合には、個人間の誤差を考慮した対象者の視線検出を高精度に実現することができる。

また、視線検出部は、眼球の識別結果を基に眼球における視軸と光軸とのずれを補正するための補正値を特定し、補正値を基に視線を検出する、こととしてもよい。この場合、個人間の左右の眼球の視軸と光軸とのずれに起因する誤差を考慮した視線検出を高精度に実現することができる。

また、画像取得部は、対象者と同一もしくは異なる対象者の眼球を撮像した第２瞳孔画像を取得し、眼球識別部は、第２瞳孔画像に映る眼球を識別し、当該識別の結果を基に対象者に対する個人認証を実行する、こととしてもよい。この場合は、対象者の左右の眼球の識別処理を利用することで、迅速かつ高精度の個人認証を実現することができる。

さらに、眼球識別部は、第２瞳孔画像に映る２つの眼球の瞳孔面積の比を計算し、識別の結果とともに瞳孔面積の比を利用して個人認証を実行する、ことでもよい。こうすれば、個人認証の精度をさらに向上させることができる。

また、視線検出部は、所定の視標を表示させた状態で取得された第２瞳孔画像を基に視線を検出した後に、視標の位置と視線を基に計算される注視点の位置との差分から補正ベクトルを算出し、眼球識別部は、補正ベクトルを基に眼球を識別する、ことでもよい。こうすれば、補正ベクトルは個人の左右の眼球によって値が異なる性質を有するので、眼球識別の精度をさらに向上させることができる。

またさらに、輪郭算出部は、瞳孔の輪郭に近似する楕円を特定し、楕円の長径と短径との比を基に複数のサンプル点の中心から見た角度間隔を調整する、こととしてもよい。かかる構成を採れば、対象者の顔の向きに起因して画像上の瞳孔像の変形が生じた場合であっても、眼球識別の精度を維持することができる。

さらにまた、輪郭算出部は、瞳孔の輪郭に近似する楕円を特定し、当該楕円の長径と短径との比を基に瞳孔の画像を引き伸ばして補正画像を生成し、補正画像を対象に輪郭距離を算出する処理を実行する、こととしてもよい。かかる構成を採れば、対象者の顔の向きに起因して画像上の瞳孔像の変形が生じた場合であっても、眼球識別の精度を維持することができる。

本発明によれば、簡易な認証処理により対象者の眼球を精度よく識別することができる。

本発明の好適な第１実施形態に係る個人認証装置を示す斜視図である。 図１のカメラ１０のレンズ部分を示す平面図である。 図１の情報処理装置２０のハードウェア構成を示す図である。 図１の情報処理装置２０の機能構成を示すブロック図である。 図１の情報処理装置２０による差分画像の生成を示す図である。 図１の情報処理装置２０による画像の瞳孔部分に対する放射状走査のイメージを示す図である。 図１の情報処理装置２０による走査範囲を限定した放射状走査のイメージを示す図である。 対象者Ａの向きに応じた画像の瞳孔部分の形状の変化を示す図であり、（ａ）は対象者Ａがカメラ１０に対してまっすぐ向いた場合の図、（ｂ）は対象者Ａがカメラに対して斜めを向いた場合の図である。 図１の情報処理装置２０による瞳孔画像上における放射状走査のイメージを示す図である。 図１の情報処理装置２０によって算出された輪郭距離の系列を波形として示すグラフである。 図１の情報処理装置２０によって算出された輪郭距離の系列を波形として示すグラフである。 図１の情報処理装置２０によって算出されたフィルタリング後の輪郭距離の系列を波形として示すグラフである。 図１の情報処理装置２０によって算出された二つの系列（波形）の位相のずれと相関係数との関係を示すグラフである。 実施形態に係る情報処理装置２０の動作を示すフローチャートである。 本発明の第２実施形態にかかる情報処理装置２０Ａの機能構成を示すブロック図である。 本発明の第２実施形態において設定される座標系の位置関係を示す図である。 視線の検出を説明するための図である。 注視点検出のメカニズムを説明するための図である。

以下、図面を参照しつつ本発明に係る眼球識別装置、及び眼球識別方法の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。

［第１実施形態］
図１は、本発明の好適な第１実施形態に係る個人認証装置１の斜視図である。個人認証装置１は、対象者の左右の眼球を識別したうえで個人認証処理を実行するコンピュータシステムであり、このシステムにより、本実施形態にかかる眼球識別装置及び眼球識別方法が実現される。対象者とは、個人認証処理の対象となる人であり、被験者ともいうことができる。個人認証装置１の利用目的は何ら限定されない。例えば、特定の対象者にのみコンピュータシステムの利用を制限する目的、特定の対象者用にカスタマイズされた情報を自動で出力する目的で利用される。

同図に示すように、個人認証装置１は、ステレオカメラとして機能する一対のカメラ（第１のカメラおよび第２のカメラ）１０と、情報処理装置２０と、情報処理装置２０から出力された情報を表示させるディスプレイ装置３０とを含んで構成される。以下では、必要に応じて、一対のカメラ１０を、対象者Ａの左側にある左カメラ１０_Ｌと、対象者Ａの右側にある右カメラ１０_Ｒとに区別する。本実施形態では、対象者Ａの眼球の三次元位置を検出するためにカメラ１０がステレオカメラとして構成されているが、対象者Ａの眼球の三次元位置を検出する必要が無い場合にはカメラ１０が１台のカメラのみで構成されていてもよい。それぞれのカメラ１０は、情報処理装置２０と有線または無線により接続され、カメラ１０と情報処理装置２０との間で各種のデータ又は命令が送受信される。

カメラ１０は、対象者Ａの眼球およびその周辺を撮像するために用いられる。一対のカメラ１０は水平方向に沿って所定の間隔をおいて配置され、かつ、対象者Ａが確実に撮像できるように対象者Ａの顔より低い位置に設けられる。水平方向に対するカメラの仰角は、対象者Ａの眼球の確実な撮像と対象者Ａの視野範囲の妨げの回避との双方を考慮して、例えば２０〜３０度の範囲に設定される。

本実施形態では、カメラ１０は、インターレーススキャン方式の一つであるＮＴＳＣ方式のカメラである。ＮＴＳＣ方式では、１秒間に３０枚得られる１フレームの画像データは、奇数番目の水平画素ラインで構成される奇数フィールドと、偶数番目の水平画素ラインで構成される偶数フィールドとから構成され、奇数フィールドの画像と偶数フィールドの画像とが１／６０秒の間隔で交互に撮像されることで生成される。したがって、一つのフレームは、一対の奇数フィールドおよび偶数フィールドに相当する。なお、１つのフレームが奇数フィールドおよび偶数フィールドの両方を含むすべての水平画素ラインから構成されていてもよい。カメラ１０は、情報処理装置２０からの命令に応じて対象者Ａを撮像し、その結果生成した画像データを情報処理装置２０に出力する。

各カメラ１０の開口部周辺のレンズ部分を図２に模式的に示す。この図に示すように、カメラ１０では、対物レンズ１１が円形状の開口部１２に収容され、開口部１２近傍の外側に光源１３が設けられる。光源１３は、対象者Ａの顔に向けて照明光を照射するための機器であり、複数の発光素子１３ａと複数の発光素子１３ｂとからなる。発光素子１３ａは、出力光の波長が８５０ｎｍの半導体発光素子（ＬＥＤ）であり、開口部１２の縁に沿って等間隔でリング状に配される。発光素子１３ｂは、出力光の波長が９４０ｎｍの半導体発光素子（ＬＥＤ）であり、発光素子１３ａの外側に等間隔でリング状に配される。従って、カメラ１０の光軸から発光素子１３ｂまでの距離は、該光軸から発光素子１３ａまでの距離よりも大きい。それぞれの発光素子１３ａ，１３ｂは、カメラ１０の光軸に沿って照明光を出射するように設けられる。なお、光源１３の配置は、図２に示す構成に限定されず、カメラをピンホールモデルとみなすことができれば他の配置であってもよい。

情報処理装置２０は、カメラ１０の制御と、対象者Ａの個人認証処理とを実行するコンピュータである。情報処理装置２０は、据置型または携帯型のパーソナルコンピュータ（ＰＣ）により構築されてもよいし、ワークステーションにより構築されてもよいし、他の種類のコンピュータにより構築されてもよい。あるいは、情報処理装置２０は複数台の任意の種類のコンピュータを組み合わせて構築されてもよい。複数台のコンピュータを用いる場合には、これらのコンピュータはインターネットやイントラネットなどの通信ネットワークを介して接続される。

情報処理装置２０の一般的なハードウェア構成を図３に示す。情報処理装置２０は、オペレーティングシステムやアプリケーション・プログラムなどを実行するＣＰＵ（プロセッサ）１０１と、ＲＯＭおよびＲＡＭで構成される主記憶部１０２と、ハードディスクやフラッシュメモリなどで構成される補助記憶部１０３と、ネットワークカードあるいは無線通信モジュールで構成される通信制御部１０４と、キーボードやマウスなどの入力装置１０５と、ディスプレイ装置３０やプリンタなどの出力装置１０６とを備える。

後述する情報処理装置２０の各機能要素は、ＣＰＵ１０１または主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４や入力装置１０５、出力装置１０６などを動作させ、主記憶部１０２または補助記憶部１０３におけるデータの読み出しおよび書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２または補助記憶部１０３内に格納される。

図４に示すように、情報処理装置２０は機能的構成要素として画像取得部２１、輪郭距離算出部（輪郭算出部）２２、および個人認証部（眼球識別部）２３を備える。画像取得部２１は、カメラ１０の撮影タイミングとカメラ１０の光源１３の発光タイミングとを制御することで、カメラ１０から画像データを取得する機能要素である。輪郭距離算出部２２は、画像データに基づいて瞳孔の輪郭を特定し、その輪郭と瞳孔の中心との距離（輪郭距離）を算出する機能要素である。個人認証部２３は、算出された輪郭距離を基にして対象者Ａの左右の眼球を識別したうえで、もしくは、識別しながら個人認証処理を実行する機能要素である。情報処理装置２０による処理結果の出力先は何ら限定されない。例えば、情報処理装置２０は、個人認証処理結果をメモリやデータベースなどの記憶装置に格納しておいて、その処理結果を利用して情報処理装置２０における動作を制御してもよいし、処理結果を画像、図形、またはテキストでディスプレイ装置３０上に表示してもよいし、通信ネットワーク経由で他のコンピュータシステムに送信してもよい。

以下、情報処理装置２０の各機能要素の詳細の構成について説明する。

（瞳孔画像の取得）
眼に入った光は網膜で乱反射し、反射光のうち瞳孔を通り抜けた光は強い指向性をもって光源へ戻る性質がある。カメラの開口部近くにある光源が発光した時にカメラを露光させると、網膜で反射した光の一部がその開口部に入るため、瞳孔が瞳孔周辺よりも明るく写った画像を取得することができる。この画像が明瞳孔画像である。これに対して、カメラの開口部から離れた位置にある光源が発光した時にカメラを露光させると、眼から戻ってきた光はカメラの開口部にほとんど戻らないため、瞳孔が暗く写った画像を取得することができる。この画像が暗瞳孔画像である。また、透過率が高い波長の光を眼に照射すると、網膜での光の反射が多くなるので瞳孔が明るく写り、透過率が低い波長の光を眼に照射すると、網膜での光の反射が少なくなるので瞳孔が暗く写る。

本実施形態では、透過率が高い波長の光（中心波長が８５０ｎｍ）を発する発光素子１３ａが開口部１２に隣接した位置に設けられ、眼の透過率が低い波長の光（中心波長が９４０ｎｍ）を発する発光素子１３ｂが開口部１２から離れた位置に設けられる。画像取得部２１は、カメラ１０の奇数フィールドに合わせて発光素子１３ａを点灯させて明瞳孔画像を撮影し、カメラ１０の偶数フィールドに合わせて発光素子１３ｂを点灯させて暗瞳孔画像を撮影する。画像取得部２１は二つのカメラ１０の間で作動タイミングをわずかにずらし、個々のカメラ１０の露光時間はそのずらし時間以下に設定される。画像取得部２１は、各カメラ１０の露光時間中に、対応する発光素子１３ａおよび発光素子１３ｂを交互に発光させることで、一方のカメラ１０の光源１３からの光が他方のカメラ１０の画像に影響を与えないようにする（クロストークが起こらないようにする）。

画像取得部２１は、これらの一連の制御により得られる明瞳孔画像および暗瞳孔画像を取得する。得られる画像データは、奇数フィールド又は偶数フィールドのみに有効画素を有しているため、画像取得部２１は、隣接する有効画素の画素ラインの輝度平均をそのライン間の画素値に埋め込むことによって、明瞳孔画像または暗瞳孔画像を生成する。画像取得部２１は明瞳孔画像および暗瞳孔画像を輪郭距離算出部２２に出力する。

情報処理装置２０の画像取得部２１の制御により、各カメラ１０の撮影タイミングと当該カメラ１０の光源１３の発光タイミングとを同期させることによって、対象者Ａの左右の両方の眼球の瞳孔の周辺の画像が明瞳孔画像及び暗瞳孔画像として取得される。具体的には、各カメラの１フレームの撮影タイミング内で発光素子１３ａと発光素子１３ｂとが交互に点灯させることにより、奇数フィールドと偶数フィールドとに明瞳孔画像及び暗瞳孔画像が得られる。ここでは、左右の両方の瞳孔を同時に撮像した明瞳孔画像及び暗瞳孔画像が取得されているが、左右の両方の瞳孔を別々に撮像した明瞳孔画像及び暗瞳孔画像が取得されてもよい。

（瞳孔中心の検出）
輪郭距離算出部２２は、画像取得部２１から入力された瞳孔画像に基づいて、対象者Ａの左右の両方の眼の瞳孔中心を求める。輪郭距離算出部２２はｉ番目のフィールドの瞳孔画像と（ｉ＋１）番目のフィールドの瞳孔画像（すなわち、１枚の明瞳孔画像と１枚の暗瞳孔画像）との差分を取ることで差分画像を生成する。ｉ番目のフィールドの画像が撮影されてから（ｉ＋１）番目のフィールドの画像が撮影されるまでの間に対象者Ａの頭部が動かなければ、図５に示すように、単純に明瞳孔画像および暗瞳孔画像の差を取ることで、瞳孔部分（図５における符号Ｐ）が浮かび上がった差分画像を生成することができる。図５は両眼の瞳孔が写った差分画像を示しているが、上記の通り、輪郭距離算出部２２は左右の両方の瞳孔を別々に撮像した明瞳孔画像及び暗瞳孔画像を用いて、片方の眼についての差分画像を別々に得てもよい。なお、ｉ番目のフィールドの画像が撮影されてから（ｉ＋１）番目のフィールドの画像が撮影されるまでの間のわずかな時間に対象者Ａの頭部が動くと、これら２画像の間で瞳孔の位置にずれが生じ、その結果、良好な差分画像を得ることができない。そこで、輪郭距離算出部２２は、差分画像を得る前に明瞳孔画像および暗瞳孔画像に対して角膜反射に基づく位置補正を実行する。

瞳孔検出の方法は、前フィールド（ｉ番目のフィールド）での瞳孔の検出結果（前回の瞳孔検出結果）によって下記の２種類に分かれる。
（１）前フィールド（前回の瞳孔検出）で瞳孔を検出できなかった場合
（２）前フィールド（前回の瞳孔検出）で瞳孔を検出できた場合

前フィールドで瞳孔を検出できなかった場合には、輪郭距離算出部２２は画像全体から瞳孔を探索する。具体的には、輪郭距離算出部２２は、前フィールドの画像と次フィールド（（ｉ＋１）番目のフィールド）の画像との差分（明瞳孔画像と暗瞳孔画像との差分）を取ることで差分画像を取得する。そして、輪郭距離算出部２２はその差分画像に対して、Ｐタイル法によって決定された閾値で２値化を行い、さらに孤立点除去およびラベリングを行う。そして、輪郭距離算出部２２は、瞳孔らしい面積、縦横のサイズ、面積比、正方形度、および瞳孔特徴量等の形状パラメータに基づいて、ラベル付けされた画素の連結成分の中から瞳孔候補を選択する。そして、輪郭距離算出部２２は瞳孔候補の中で面積が比較的大きいものを左右の２つの瞳孔として設定する。

前フィールドで瞳孔を検出できた場合には、輪郭距離算出部２２は瞳孔追跡により瞳孔を決定して瞳孔の中心座標を算出する。まず、輪郭距離算出部２２はカルマンフィルタにより前フィールドでの瞳孔位置から次フィールド（（ｉ＋１）番目のフィールド）の瞳孔位置を予測する。続いて、輪郭距離算出部２２は予測位置を中心とする小ウィンドウ（例えば９０ピクセル×９０ピクセル）を次フィールドの瞳孔画像に設定する。続いて、輪郭距離算出部２２は前フィールドのウィンドウの位置を次フィールドのウィンドウの位置に合わせ（位置補正）、明瞳孔画像と暗瞳孔画像との差分を取る。続いて、輪郭距離算出部２２は、その処理で得られた差分画像に対してＰタイル法によって決定された閾値で２値化を行った後、孤立点除去およびラベリングを行う。続いて、輪郭距離算出部２２は、瞳孔らしい面積、サイズ、面積比、正方形度、および瞳孔特徴量等の形状パラメータに基づいて、ラベルづけされた画素の連結成分の中から瞳孔候補を選択する。そして、輪郭距離算出部２２は瞳孔候補の中で面積が最も大きいものを瞳孔として決定する。このような処理を繰り返して左右の２つの瞳孔を決定する。

続いて、輪郭距離算出部２２は角膜反射の位置を考慮して最終的な瞳孔を確定する。具体的には、輪郭距離算出部２２は、明瞳孔画像および暗瞳孔画像のそれぞれに対して、瞳孔位置を中心とした小ウィンドウ（例えば１６ピクセル×１６ピクセル）を設定し、その小ウィンドウの範囲のみを高分解像度化した画像データを作成し、その画像データから角膜反射を検出する。輪郭距離算出部２２は、小ウィンドウ内において、Ｐタイル法による２値化とラベリングとを行い、形状や輝度平均などの情報から角膜反射候補を選択する。そして、輪郭距離算出部２２は選択した部分の中心座標に対し分離度フィルタを与え、分離度と輝度を掛けて得られる特徴量を求める。その特徴量が一定値以上であれば、輪郭距離算出部２２は小ウィンドウの中心座標を角膜反射座標として検出し、二つの小ウィンドウの間での角膜反射の移動量を位置補正量として計算する。続いて、輪郭距離算出部２２は明瞳孔画像および暗瞳孔画像の間で角膜反射点が一致するように、前フィールド（ｉ番目のフィールド）の画像を、次フィールド（（ｉ＋１）番目のフィールド）の画像に位置補正量だけずらした上で、これら２画像から差分画像を生成する。一方、角膜反射を検出できなかった場合には、輪郭距離算出部２２は位置補正を行うことなく２画像の差分を取ることで差分画像を生成する。

続いて、輪郭距離算出部２２は、前フレームと輝度が大きく変化しないことを利用して、前フレームで検出された瞳孔の輝度平均を利用して、その平均輝度の半分の値を閾値として差分画像を２値化し、ラベリングを行う。続いて、輪郭距離算出部２２は、瞳孔らしい面積、サイズ、面積比、正方形度、および瞳孔特徴量等の形状パラメータに基づいて、ラベルづけされた画素の連結成分の中から瞳孔候補を選択する。そして、輪郭距離算出部２２は、予測瞳孔位置の近くにある瞳孔候補が求めるべき瞳孔であると判定する。さらに、輪郭距離算出部２２は、明瞳孔画像および暗瞳孔画像のそれぞれに対して、左右の２つの瞳孔位置を中心とした小ウィンドウを設定して上記処理を繰り返し、左右の２つの瞳孔位置を判定する。

（輪郭点の検出）
続いて、輪郭距離算出部２２はそれぞれの片眼の瞳孔の輪郭を求める。輪郭距離算出部２２は、判定した瞳孔位置を中心とする小ウィンドウ（例えば９０ピクセル×９０ピクセル）を差分画像に設定し、そのウィンドウ内を２倍に拡大することで高分解能画像（小ウィンドウが９０ピクセル×９０ピクセルであれば、１８０ピクセル×１８０ピクセルの画像）を生成する。続いて、輪郭距離算出部２２はその高分解能画像に対して、前フィールドで検出された瞳孔の輝度平均の半分の値を閾値とした２値化処理を行う。

続いて、輪郭距離算出部２２は２値化された高分解能画像に対して放射状走査を行うことでそれぞれの片眼の瞳孔像の輪郭点（サンプル点）を検出する。図６に示すように、本実施形態における放射状走査とは、瞳孔中心Ｃを通る直線状の走査線ＳＬ上に沿って画像を走査する処理を、当該走査線ＳＬの角度θを０〜３６０°の範囲で変化させながら実行する手法である。本実施形態では、２５６個の輪郭点を得るために、輪郭距離算出部２２は走査線を回転させる。ここで、瞳孔中心Ｃの座標は、瞳孔像に対して楕円フィッティングを実行して得られる楕円の中心座標である。図６の例では、走査方向を示す矢印Ａは瞳孔Ｐの外側から瞳孔中心Ｃに向かっているが、走査は瞳孔中心Ｃから瞳孔Ｐの外側に向かって行われてもよい。

輪郭点の特定方法の二つの例を以下に示す。第１の手法では、輪郭距離算出部２２は前回検出された瞳孔の中心からの距離Ｒを取得し、今回検出された瞳孔の中心座標から距離Ｒだけ離れた基準点の輝度値を求める。走査される画像は２値化画像であるので、求まる値は０（黒）または２５５（白）のどちらかである。その輝度値が０である場合には、輪郭距離算出部２２は、基準点から瞳孔の内側に向かって１ピクセルずつ走査し、輝度値が初めて２５５になる点（画素）を輪郭点として特定し、当該輪郭点の座標を求める。一方、求めた輝度値が２５５である場合には、輪郭距離算出部２２は、基準点から瞳孔の外側に向かって１ピクセルずつ走査し、最後に輝度値が２５５である点（画素）を輪郭点として特定し、当該輪郭点の座標を求める。輪郭距離算出部２２は走査線を変更する度にこの手法により輪郭点の座標を求める。

第２の手法については図７を参照しながら説明する。この第２の手法では、輪郭距離算出部２２は走査線ＳＬを変更しながら第１の手法と同様の処理を行うことで、３２個の基準輪郭点ＢＰを取得する。続いて、輪郭距離算出部２２は隣接する２個の基準輪郭点ＢＰ（基準輪郭点ＢＰのペア）について瞳孔中心Ｃからの距離の平均値Ｒ_ａｖｅを求め、平均値Ｒ_ａｖｅを含む所定の範囲を走査範囲ＳＲとして設定する。例えば、輪郭距離算出部２２は（Ｒ_ａｖｅ×０．９）〜（Ｒ_ａｖｅ×１．１）の範囲に走査範囲ＳＲを設定してもよい。そして、輪郭距離算出部２２は、当該隣接する２個の基準輪郭点ＢＰの間において、走査線ＳＬを変更しながら走査範囲ＳＲ内で走査を実行することで、当該２個の基準輪郭点ＢＰの間の個々の輪郭点ＣＰの座標を求める。輪郭距離算出部２２は、他の基準輪郭点ＢＰのペアに対しても同様に、平均値Ｒ_ａｖｅを求め、走査範囲ＳＲを設定し、走査線ＳＬを変更しながら走査範囲ＳＲ内で輪郭点ＣＰの座標を求める。したがって、設定される走査範囲ＳＲは基準輪郭点ＢＰのペア毎に異なる。この第２の手法では第１の手法よりも走査範囲が限定されるので、一つの走査線における処理時間が短縮され、ひいては、処理全体の処理時間も短縮することができる。

上記の第１及び第２の手法においては、輪郭距離算出部２２は、走査線ＳＬを下記の方法により変更する。すなわち、輪郭距離算出部２２は、瞳孔の輪郭に近似する楕円を楕円フィッティングにより特定し、その楕円の長径と短径との比を基にして探索する複数の輪郭点の楕円の中心から見た角度間隔を調整する。この走査線ＳＬの変更方法は、対象者Ａの視線のカメラ１０に対する向きが斜めになった場合でも眼球識別の精度を維持するために採用される。つまり、カメラ１０によって画像上に映る瞳孔はカメラ１０に対する対象者Ａの視線の向きによって楕円となる。図８（ａ）に示すように、対象者Ａがカメラ１０に対してまっすぐ向いた時の理想的な瞳孔の輪郭Ｐ_１に対しては、楕円フィッティングすることにより真円に近い円ＴＣ_１が得られる。これに対して、図８（ｂ）に示すように、対象者Ａがカメラ１０に対して水平方向に横を向いた時の瞳孔の輪郭Ｐ_２は輪郭Ｐ_１に比較して扁平率の高い縦長の形状となり、楕円フィッティングすることにより縦長の扁平率の高い楕円ＴＣ_２が得られる。このとき、楕円ＴＣ_２は、円ＴＣ_１の縦方向の幅をそのまま長径として有し、円ＴＣ_１の横方向の幅が縮まった短径を有する形状となる。ここで、図８（ａ）及び図８（ｂ）の瞳孔像に対して、中心から見て等角度間隔で放射状走査によって輪郭点をサンプリングすると、対象者Ａの視線のカメラ１０に対する向きが異なる場合に輪郭点の位置が互いに対応する位置では無くなってしまう。例えば、図８（ａ）の例において、縦方向の走査線上と、瞳孔中心を中心にして角度ζだけ回転した走査線上とで得られた輪郭点ＣＰ_１，ＣＰ_２を考える。これに対して、図８（ｂ）の例においては、同様な走査線上で得られた輪郭点ＣＰ_４は、輪郭点ＣＰ_２と対応する位置では無くなっている。従って、等角度間隔で放射状走査を実行すると、瞳孔が真円状か楕円状かは不明なため、長軸に一致する角度以外の任意の回転角度ζにおいて、フィッティングされた楕円の扁平率によって異なる位置の輪郭点をサンプリングすることになってしまう。図８（ｂ）では、輪郭点ＣＰ_２に対応する輪郭点は、輪郭点ＣＰ_２の縦方向の座標に一致する楕円ＴＣ_２上の点を通る走査線によってサンプリングされる点ＣＰ_５であるべきである。

そこで、輪郭距離算出部２２は、まず、等角度間隔で放射状走査を実行することにより仮の輪郭点をサンプリングし、仮の輪郭点の位置を用いて楕円フィッティングして楕円の式を算出する。そして、輪郭距離算出部２２は、算出した楕円の長径の長さと短径の長さの比を計算し、その比を基に放射状走査をするときの角度を調整しながら真の輪郭点を再度サンプリングする。

詳細には、輪郭距離算出部２２は、算出された楕円の式が真円の場合には等角度間隔で放射状走査を行って輪郭点をサンプリングし、算出された楕円の式が真円では無く楕円の場合には真円の場合のサンプリング位置に対応する輪郭点をサンプリングするように放射状走査の角度間隔を調整する。より具体的には、輪郭距離算出部２２は、図９に示すように、瞳孔の輪郭Ｐ_３に対してフィッティングにより真円ＴＣ_３が得られた場合には、放射状走査をするための走査線として水平方向からの傾き角度ζ_３を等間隔で（例えば、サンプル点が２５６個の場合は、１．４０６２５度間隔で）変更する。一方、輪郭距離算出部２２は、瞳孔の輪郭Ｐ_４に対してフィッティングにより短軸が水平方向に一致する縦長の楕円ＴＣ_４が得られた場合には、放射状走査をするための走査線の水平方向からの傾き角度ζ_４を、等間隔で変更されたζ_３に対して楕円ＴＣ_４の長径と短径との比を用いて下記式を適用することにより、調整する。
ζ_４＝ｔａｎ^−１｛（ａ／ｂ）・ｔａｎζ_３｝
［ここで、ａは楕円ＴＣ_４の長径、ｂは楕円ＴＣ_４の短径］
なお、輪郭距離算出部２２は、フィッティングした楕円ＴＣ_４の短軸の方向が水平方向に一致しない場合には、その短軸の方向に一致するように座標軸を回転させて上記の傾き角度ζ_４の調整演算を実行する。

また、輪郭距離算出部２２は、高分解能画像に対して２値化処理を行わずに当該画像に対して放射状走査を行うことで瞳孔の輪郭点を検出することも可能である。この場合には、輪郭距離算出部２２は、バイリニア補間などの補間処理を用いて、１ピクセル未満の単位で（例えば０．２ピクセル刻みで）輝度値を求め、その輝度値が所定の基準値に達する位置が輪郭点であると判定する。

（輪郭距離の計算）
瞳孔中心の座標と各輪郭点の座標とを求めると、輪郭距離算出部２２はそれぞれの片眼の瞳孔中心から各輪郭点までの距離（本明細書ではこれを「輪郭距離」という）を計算して個人認証部２３に出力する。本実施形態ではその距離の単位をピクセル（画素数）で示す。輪郭距離算出部２２は、それぞれの片眼の瞳孔の周方向に沿って２５６個の輪郭点に０〜２５５の識別番号（輪郭点番号）を付与することで、輪郭点［０］〜［２５５］の輪郭距離Ｒ（０）〜Ｒ（２５５）をそれぞれの瞳孔に対応付けて管理する。本明細書では、一つの瞳孔の画像（本実施形態では一つの差分画像）から得られる複数の輪郭距離を、「輪郭距離の系列」ともいう。なお、基準となる輪郭点番号０は、瞳孔の回転角度に関係なく、水平方向に対して予め定められた位置（例えば、走査線の角度が０°の時に検出された輪郭点）に付与され、その地点から時計回りまたは反時計回りに進むに従って、輪郭点番号１〜２５５が順に付与される。図１０は、個々の輪郭点の輪郭距離をプロットしたグラフであり、このグラフの横軸、縦軸はそれぞれ輪郭点番号、輪郭距離（単位はピクセル）である。図１０に示すように、輪郭距離の系列はグラフ上では波形のように表される。

ここで、輪郭距離算出部２２は、輪郭距離を算出する際には、瞳孔画像に対して楕円フィッティングして求めた楕円から長径と短径の比を計算し、その比を考慮して対象者Ａの視線がカメラ１０に対してまっすぐ向いた時の輪郭距離に換算された距離を算出する。図９の例において、瞳孔の輪郭Ｐ_４に対して輪郭点ＣＰ_７が得られた場合に、横方向をｘ軸とし縦方向をｙ軸とした場合の輪郭点ＣＰ_７の座標（ｘ_Ａ，ｙ_Ａ）と、対象者Ａの視線がカメラ１０に対してまっすぐ向いた際に得られる輪郭点ＣＰ_６の座標（ｘ_Ｂ，ｙ_Ｂ）との関係は、下記式のように与えられる。
ｘ_Ｂ＝（ａ／ｂ）・ｘ_Ａ， ｙ_Ｂ＝ｙ_Ａ
よって、輪郭距離算出部２２は、検出した輪郭点ＣＰ_７を輪郭点ＣＰ_６に変換してから輪郭距離を求めるように、補正した輪郭距離ｄを下記式を用いて算出する。
ｄ＝（ｘ_Ｂ ^２＋ｙ_Ｂ ^２）^１／２＝｛（（ａ／ｂ）・ｘ_Ａ）^２＋ｙ_Ａ ^２｝^１／２
なお、輪郭距離算出部２２は、楕円ＴＣ_４の短軸の方向が水平方向に一致しない場合には、水平方向がその短軸の方向に一致するように座標軸を回転させて上記の距離の補正演算を実行する。

（眼球識別処理）
個人認証部２３は、対象者Ａの左右の両方の瞳孔を撮像した画像（第１瞳孔画像）から上記の方法で２５６個×１組の輪郭距離を右基準輪郭距離Ｒ_１Ｒ（０）〜Ｒ_１Ｒ（２５５），左基準輪郭距離Ｒ_１Ｌ（０）〜Ｒ_１Ｌ（２５５）として予め取得し、それらを基準輪郭距離の系列Ｒ_１Ｒ，Ｒ_１Ｌとして予め記憶している。これを前提として、個人認証部２３は、対象者Ａ或いは対象者Ａと異なる対象者の一方の眼球を撮像した瞳孔画像（第２瞳孔画像）が画像取得部２１で取得されると、撮像した一方の眼球に関する輪郭距離Ｒ_２（０）〜Ｒ_２（２５５）を取得する。以下ではこの計算結果を輪郭距離の系列Ｒ_２ともいう。個人認証部２３は、輪郭距離の系列Ｒ_２を基準輪郭距離の系列Ｒ_１Ｒ，Ｒ_１Ｌと比較することで、第２瞳孔画像に映った一方の眼球の識別処理を実行する。この識別処理は、第２瞳孔画像に映った瞳孔の輪郭と第１瞳孔画像から得られた対象者Ａの左右の瞳孔の輪郭との相関性に基づいて、眼球の識別を行うことを意味する。そして、個人認証部２３は、眼球の識別処理を瞳孔画像（第２瞳孔画像）において撮像された両方の眼球について繰り返す。

図１１に示すように、丸で示される基準輪郭距離の系列Ｒ_１Ｒを示す波形（丸印の集合で示される波形）と、輪郭距離の系列Ｒ_２を示す波形（×印の集合で示される波形）とが得られたとする。個人認証部２３は、瞳孔の輪郭の歪み以外のノイズを軽減するために、それぞれの波形（輪郭距離の系列）をフーリエ変換によりフィルタリングする。本実施形態では個人認証部２３は高速フーリエ変換（ＦＦＴ）を用いる。個人認証部２３は、下記式（１）で示される時間関数ｆ（ｔ）のフーリエ変換Ｆ（ω）および下記式（２）の逆フーリエ変換において時間関数を輪郭点関数に置き換えることで、輪郭距離の系列をフィルタリングする。なお、フィルタリングの方法は例えば下記の参考文献に記載されている。
（参考文献）南 茂夫著、「科学計算のための波形データ処理」、ＣＱ出版社、１９８６年

個人認証部２３は、フーリエ変換後に、瞳孔点の歪みを如実に表す周波数帯だけを残して他の周波数帯の値を０とすることで、輪郭距離の系列に対するフィルタリングを行い、その後に逆フーリエ変換を実行することで、フィルタリングされた輪郭距離の系列（波形）を得る。

個人認証部２３が除去する（または残す）周波数成分の例を示す。例えば、対象者がカメラとずれた箇所を見た時には、画像上での瞳孔が楕円になる。このとき、輪郭距離の系列に対して少なくとも２Ｈｚの成分が生じるので、２Ｈｚの成分を０にする（除外する）ことが必要である。さらに、画像上での瞳孔が楕円になる場合には、輪郭距離の系列信号は２Ｈｚの正弦波信号になるわけではなく２Ｈｚの高調波成分を含むので、２Ｈｚの整数倍、すなわち、４Ｈｚ、６Ｈｚ、８Ｈｚ、…を除外してもよい。発明者らの経験から、一例として、５〜９Ｈｚの領域のみを残してこれ以外の周波数を除外するのが望ましいが、残す周波数帯はこの範囲に限定されない。１０Ｈｚ以上の高周波が存在すると相関のピークの波形がばらついて高い精度を得ることが難しくなるが、このことは、画像の分解能などによって改善し得るので、１０Ｈｚ以上の高周波を除外することは必須ではない。この他に、１Ｈｚの成分は、何らかの理由で瞳孔中心が正しく求まらないときにも生じるので、除外してもよい。さらに、３Ｈｚの成分を除外してもよいし、４Ｈｚ以下の成分をすべて除外してもよい。また、０Ｈｚは直流成分であって輪郭距離の平均に相当する成分であるため、瞳孔輪郭の歪みの情報ではない。この０Ｈｚの成分は計算速度にほとんど影響しないので、取り除くことが可能である。

図１２は、図１１に示す基準輪郭距離の系列Ｒ_１Ｒおよび輪郭距離の系列Ｒ_２に対して、５〜９Ｈｚの値のみを用いたフィルタリングを実行することで得られた波形である。グラフの横軸および縦軸はそれぞれ、輪郭点番号および輪郭距離（単位はピクセル）である。グラフ中における丸印は基準輪郭距離の系列Ｒ_１Ｒを示し、×印は輪郭距離の系列Ｒ_２を示す。このように、フーリエ変換を用いて輪郭距離の系列をフィルタリングすることで、瞳孔の歪みを示す成分のみを取り出すことができるので、基準位置における瞳孔輪郭と回転した瞳孔輪郭とを容易にかつ正確に比較が可能になる。

続いて、個人認証部２３は基準輪郭距離の系列Ｒ_１Ｒと輪郭距離の系列Ｒ_２との相関を求める。相関関数を求めるために、個人認証部２３は、基準輪郭距離の系列Ｒ_１Ｒの後に当該系列Ｒ_１Ｒをつなげることで（すなわち、同じ波形をつなげることで）基準輪郭距離に関する波形を２倍にし、その結果、基準輪郭距離Ｒ_１Ｒ（０）〜Ｒ_１Ｒ（５１１）が得られる。基準輪郭距離の系列Ｒ_１Ｒと輪郭距離の系列Ｒ_２との相関関数は、下記式（３）に示す演算により定義される。

ここで、ｕは二つの系列Ｒ_１Ｒ，Ｒ_２の間の輪郭点のずれ量を示し、ｕ＝０，１，２，…，２５５である。

個人認証部２３は、この相関関数を正規化して得られる下記式（４）を用いる。

ここで、

はそれぞれ、系列Ｒ_１Ｒ，Ｒ_２の相加平均である。Ｓ（ｕ）は−１から＋１の間の値をとり、−１に近いほど負の相関が高く、０であれば相関がなく、＋１に近いほど正の相関が高い。したがって、ずれ量ｕを０，１，２，…，２５５と変更して計算されるＳ（ｕ）の最大値ＭａｘＳを、系列Ｒ_１Ｒと系列Ｒ_２との相関性を示す値として得ることができる。個人認証部２３はこの相関値ＭａｘＳが予め設定された閾値以上の場合は、系列Ｒ_２に対応する瞳孔を対象者Ａの右の瞳孔と識別する。一方、同様な計算方法により、個人認証部２３は、基準輪郭距離の系列Ｒ_１Ｌと輪郭距離の系列Ｒ_２との相関値ＭａｘＳを求め、この相関値ＭａｘＳが予め設定された閾値以上の場合は、系列Ｒ_２に対応する瞳孔を対象者Ａの左の瞳孔と識別する。

ここで、先述の輪郭距離の系列のフィルタリングにおいて、直流成分に相当する０Ｈｚの成分を除外していれば、

はすべて零になるため、上記式（４）は、次式（４ａ）で代用できる。

なお、値Ｓ（ｕ）は変数ｕを変化させながら計算するが、分母については任意のｕに対して一度だけ計算すればよい。

ここで、眼球の回転が−９０°〜＋９０°の範囲で起きると仮定する場合には、個人認証部２３はその角度に対応する範囲内（ｕ＝０〜６３，１９２〜２５５）でのみ値Ｓ（ｕ）を求めればよい。

図１２を見ると二つの波形は似ており、したがって、輪郭点番号で示される位相がずれていることが予想される。この二つの波形に対して相関係数を求めたものを図１３のグラフに示す。このグラフの横軸は位相のずれであり、縦軸は正規化された相関係数Ｓ（ｕ）である。この図１３における最大値が、個人認証部２３によって算出される相関値ＭａｘＳである。

さらに、個人認証部２３は、瞳孔画像（第２瞳孔画像）上で撮像された２つの瞳孔に関して、瞳孔の識別処理を繰り返す。そして、個人認証部２３は、２つの瞳孔がそれぞれ対象者Ａの右の瞳孔および左の瞳孔と識別された場合には、瞳孔画像（第２瞳孔画像）において撮像された２つの瞳孔を有する対象者を対象者Ａであると認証（個人認証の成功）し、その認証結果を出力する。ここで、個人認証部２３は、個人認証を実行すると同時に対象者Ａの左右の眼球の識別を行うが、瞳孔画像上の２つの眼球の位置関係から左右を区別することができるので、その場合は、眼球の左右を識別した後に、個人認証を実行してもよい。認証結果の出力先は何ら限定されない。例えば、個人認証部２３はその認証結果を画像、図形、またはテキストでモニタに表示してもよいし、メモリやデータベースなどの記憶装置に格納してもよいし、通信ネットワーク経由で他のコンピュータシステムに送信してもよい。あるいは、個人認証部２３の個人認証結果に基づいて情報処理装置２０において任意の制御処理が実行されてもよい。例えば、予め登録されたユーザにのみ使用が可能なように制御したり、予め登録されたユーザ毎にカスタマイズされた情報（メニュー画面等）を出力するように制御したりする。

上述した本実施形態の個人認証装置１の動作、すなわち、本実施形態にかかる眼球識別方法の大まかな流れを図１４に示す。まず、画像取得部２１が、瞳孔の基準輪郭距離を求めるための画像（第１瞳孔画像）をカメラ１０から取得する（ステップＳ１０１、画像取得ステップ）。その後、輪郭距離算出部２２は、瞳孔の複数の輪郭点を特定して瞳孔中心から該複数の輪郭点のそれぞれまでの距離（輪郭距離）を算出する処理を、取得した画像上の左右の瞳孔を対象に実行する。そして、輪郭距離算出部２２は、眼球識別の基礎データとなる基準輪郭距離の系列Ｒ_１Ｒ，Ｒ_１Ｌを算出し記憶しておく（ステップＳ１０２、輪郭距離算出ステップ）。次に、画像取得部２１は、眼球識別処理の対象の眼球の輪郭距離を求めるための画像（第２瞳孔画像）をカメラ１０から取得する（ステップＳ１０３、画像取得ステップ）。続いて、輪郭距離算出部２２が、輪郭距離の系列Ｒ_２を算出する処理を、第２瞳孔画像に対して実行する（ステップＳ１０４、輪郭算出ステップ）。なお、瞳孔の基準輪郭距離を第１瞳孔画像から求めるための処理は、画像取得部２１が第２瞳孔画像を取得した後に実行されてもよい。そして、個人認証部２３が、第１瞳孔画像から得られた２つの輪郭距離系列Ｒ_１Ｒ，Ｒ_１Ｌと第２瞳孔画像から得られた複数の輪郭距離の系列Ｒ_２との相関値を算出した後、その相関値を判定することによって第２瞳孔画像に映った眼球の識別処理を実行する（ステップＳ１０５、眼球識別ステップ）。さらに、個人認証部２３が、第２瞳孔画像に映った２つの眼球の識別結果を基に個人認証を実行し、個人認証の処理結果を出力する（ステップＳ１０６）。なお、ステップＳ１０１〜Ｓ１０６の処理は少なくとも対象者Ａの片眼について実行されればよく、第２瞳孔画像に映った片眼の識別結果だけで個人認証が実行されてもよい。

以上説明した個人認証装置１及びそれを用いた眼球識別方法によれば、第１瞳孔画像及び第２瞳孔画像における瞳孔の中心から瞳孔の輪郭上の複数のサンプル点までの輪郭距離が算出され、第１瞳孔画像における基準輪郭距離の系列データと、第２瞳孔画像における輪郭距離の系列データとの相関性を判定することによって対象者Ａの眼球が識別される。このような第２瞳孔画像は、一般的に動的に撮像することによって取得されるものであるため、前もって撮っておいた画像を利用することは難しい。すなわち、本実施形態では、瞳孔をロバストに検出するために、瞳孔を明るくする光源と瞳孔を暗くする光源を利用し、それらを高速に交互に点灯させることによって明瞳孔画像と暗瞳孔画像とを交互に得て、それらの画像の差分から瞳孔の輪郭を検出している。そのため、予め目の写真を撮ってそれを使ってなりすましすることは不可能である。また、画像差分によって得られた瞳孔の輪郭は非常に鮮明であるため、画像の分解能さえ条件を満たせば、対象者Ａがカメラの遠方に位置しても瞳孔輪郭形状を得ることが可能である。さらに、上記形態では、対象者Ａに対する操作時の負担も少なく識別処理の計算量も軽減されている。その結果、対象者の眼球を、精度よく即座に識別することができる。加えて、個人認証装置１によれば、第２瞳孔画像に映る眼球のそれぞれを、対象者Ａの左の眼球又は右の眼球として識別することができる。

このような個人認証装置１の利用シーンとしては次のようなものが想定される。例えば、自動車の運転席に個人認証装置１を装備させ、自動車のドライバーが乗車してエンジンを始動させた際に個人認証装置１を起動させることが考えられる。そして、個人認証装置１によって登録したドライバーに関する個人認証が失敗したと判定された場合には、ドライバーがアクセルを踏んでも自動車が走らないように制御する。このような制御により自動車の盗難防止に役立つ。また、それ以外の利用シーンとして、複数のユーザが使用するコンピュータを個人認証装置１として動作させることが考えられる。すなわち、ユーザがパソコンの前に座ったことを契機に個人認証処理が起動され、そのユーザが登録された複数のユーザのうちの一人であると認証された場合にコンピュータを自動起動させる。さらに、認証されたユーザ毎にカスタマイズされたデスクトップ画面を自動で表示させる。このような制御により、複数のユーザに対してコンピュータの利便性を向上させることができる。

ここで、個人認証装置１の個人認証部２３は、第１瞳孔画像および第２瞳孔画像のそれぞれにおいて、複数の輪郭距離に対してフーリエ変換を実行して一部の成分を除去するフィルタリングを実行している。このようにすることで、輪郭距離の系列（波形）から輪郭の歪み以外のノイズを除くことができる。その結果、２つの画像間の輪郭距離の相関をより正確に求めて、眼球の識別結果をより正確に得ることができる。

また、個人認証装置１によれば、対象者Ａと同一もしくは異なる対象者の２つの眼球を撮像した第２瞳孔画像が取得され、第２瞳孔画像に映る２つの眼球が識別され、当該識別の結果を基に対象者に対する個人認証が実行されている。このように、対象者Ａの左右の眼球の識別処理を利用することで、迅速かつ高精度の個人認証を実現することができる。つまり、一人の対象者Ａについて瞳孔の形状は左右の眼で異なる。従って、２個の瞳孔の両方の識別結果を個人認証に用いることによってセキュリティを高めることができる。

また、本発明者らは、これまで瞳孔マウス（特開２００５−１８２２４７号公報を参照。）と呼ばれる技術を開発してきた。この技術では、２つの瞳孔が検出されたときに、カメラで撮影された画像内での位置関係から左右の瞳孔を区別している。瞳孔マウスでは左右の眼を閉じる動作をコンピュータのマウスの左右のボタンのクリック動作として検出するので、左右の眼を識別することは重要である。従来は、瞳孔マウスを使用中にどちらか一方の眼を閉じた場合には、閉じられる前に右瞳孔と判断されていた瞳孔がそのまま検出され続けていればそれを右瞳孔と判断し、左の眼が閉じたと判断している。しかし、この方法では、片眼を閉じているときさらに開いている方の眼が非検出となったときに、次に両眼が開くときまで左右の眼を区別することはできない。この問題は、対象者Ａの頭部の動きが頻繁な場合に発生しやすい。これは、頭部の動きが少なければ非検出の状態から再度検出された瞳孔の位置が閉じる前に最後に検出されていた瞳孔の位置に近いかどうかで左右の瞳孔の区別が可能であるが、頭部の動きが多ければ瞳孔の位置が大きく変わってしまいそのような区別が不可能になるからである。しかし、本実施形態の個人認証装置１を瞳孔マウスの技術に適用すればそのような問題は生じない。

さらに、個人認証装置１によれば、瞳孔の輪郭に近似する楕円を特定し、楕円の長径と短径との比を基に複数のサンプル点の中心から見た角度間隔が調整されている。このような調整処理を適用することで、対象者の顔の向きに起因して画像上の瞳孔像の変形が生じた場合であっても、眼球識別の精度を維持することができる。その結果、個人認証装置１によれば、対象者Ａの視線方向にかかわらず個人認証を実行可能となる。

［第２実施形態］
次に、本発明の第２実施形態にかかる個人認証装置１Ａについて説明する。図１５は、個人認証装置１Ａに含まれる情報処理装置２０Ａの機能構成を示している。同図に示すように、情報処理装置２０Ａは機能的構成要素として、画像取得部２１、輪郭距離算出部２２、および個人認証部２３に加えて、視線検出部２４をさらに備える。視線検出部２４は、個人認証部２３による眼球の識別結果と画像取得部２１によって取得される第２瞳孔画像とを少なくとも用いて、第２瞳孔画像に映る対象者Ａの視線を検出する。以下、視線検出部２４の機能について詳細に説明する。

［眼球識別結果を考慮した視線検出方法］
（瞳孔の３次元座標の算出）
視線検出部２４はステレオ法（ステレオマッチング）を用いて、第２瞳孔画像上での瞳孔中心座標から左右の瞳孔の３次元位置を計算する。ステレオ法とは、カメラのレンズの焦点距離、画像中心、画素サイズなどの内部パラメータと、カメラの位置や姿勢等の外部パラメータとを予め計測しておき、複数台のステレオカメラで対象物を撮影したときに、画像中の点の座標を基に、内部パラメータおよび外部パラメータを用いてその点の空間上の位置を決定する方法である。

視線検出部２４がステレオ法を用いて瞳孔の３次元座標を計算する際には、図１６に示すような座標系を用いる。同図に示す世界座標系（Ｘ_Ｗ，Ｙ_Ｗ，Ｚ_Ｗ）は、２台のカメラ１０が共有する原点Ｏ_Ｗが例えばディスプレイ装置３０の画面中央に位置する座標系である。カメラ座標系（Ｘ，Ｙ，Ｚ）は、その原点Ｃがカメラ１０の光学中心とされ、Ｚ軸が光学中心から画像面に垂直に引いた光軸と平行とされた座標系である。画像座標系（Ｘ_Ｇ，Ｙ_Ｇ）は、撮像素子が置かれる画像面に沿ってＸＹ平面と平行にされ、光軸と画像面の交点（画像中心）を原点Ｃ_ｉとする座標系である。点Ｐが目標点の座標とすると、カメラ１０を用いた際の画像座標系への投影点（Ｘ_ｄ，Ｙ_ｄ）は、画像のゆがみにより理想的な投影点（Ｘ_ｕ，Ｙ_ｕ）からずれることになる。したがって、ステレオ法を用いた３次元位置計測を精度良く行うためには、目標点Ｐの世界座標とその画像座標との対応づけを記録したキャリブレーションデータを予め取得する必要がある。例えば、外部パラメータとしての世界座標に対するカメラ座標系の平行移動ベクトルおよび世界座標系に対するカメラ座標系の回転行列や、内部パラメータとしての焦点距離、画像中心座標、スケール係数、レンズひずみ係数、撮像素子間隔等がキャリブレーションデータとして予め取得され、視線検出部２４に記憶される。

視線検出部２４は、２台のカメラ１０からの出力データを基に検出した画像座標系における瞳孔中心座標と、世界座標系における瞳孔中心座標との関係式を、キャリブレーションデータを参照しながら取得する。次に、視線検出部２４は、２つの関係式から世界座標系における対象者Ａの瞳孔の３次元座標を求める。同様にして、視線検出部２４は、対象者Ａの左右の瞳孔の３次元座標を求めることができる。

（視線検出）
続いて、視線検出部２４は左右の瞳孔の３次元座標に基づいて視線を検出する。図１７に示すように、瞳孔の３次元位置Ｐに基づいて、カメラ１０の開口部１２の中心を原点Ｏとし、その原点Ｏと瞳孔中心Ｐを結ぶ基準線ＯＰを法線とする仮想視点平面Ｘ’−Ｙ’を考える。ここで、Ｘ’軸は、世界座標系のＸ_Ｗ−Ｚ_ｗ平面と仮想視点平面との交線に相当する。

視線検出部２４は、画像面Ｓ_Ｇにおける角膜反射点Ｇから瞳孔中心Ｐまでのベクトルｒ_Ｇを算出し、そのベクトルｒ_Ｇを、距離ＯＰから求められたカメラの拡大率を用いて実寸に換算したベクトルｒに変換する。このとき、各カメラ１０をピンホールモデルと考え、角膜反射点Ｇと瞳孔中心Ｐとが、仮想視点平面Ｘ’−Ｙ’と平行な平面上にあると仮定する。つまり、視線検出部２４は、仮想視点平面と平行であって瞳孔Ｐの３次元座標を含む平面上において、瞳孔中心Ｐと角膜反射点Ｇの相対座標をベクトルｒとして算出し、このベクトルｒは角膜反射点Ｇから瞳孔中心Ｐまでの実距離を表す。

続いて、視線検出部２４は、対象者Ａの仮想視点平面上の注視点Ｔに関して、直線ＯＴの水平軸Ｘ’に対する傾きφが、ベクトルｒの画像面上の水平軸Ｘ_Ｇに対する傾きφ’と等しいと仮定する。さらに、視線検出部２４は、対象者Ａの視線ベクトル、すなわち、瞳孔中心Ｐと注視点Ｔとを結ぶベクトルＰＴと、基準線ＯＰとの成す角θを、ゲイン値ｋを含むパラメータを使った下記式（５）により計算する。
θ＝ｆ_１（ｒ）＝ｋ×｜ｒ｜ …（５）

このような角度φ，θの計算は、瞳孔中心Ｐの存在する平面上のベクトルｒを仮想視点平面上で拡大したものがそのまま対象者Ａの注視点に対応するとみなすことにより行われる。より詳しくは、対象者Ａの視線ＰＴの基準線ＯＰに対する角度θは、瞳孔中心と角膜反射の距離｜ｒ｜との間で線形関係を有すると仮定する。

角度θと距離｜ｒ｜とは線形近似できるという仮定、および二つの傾きφ，φ’が等しいという仮定を利用することで、（θ，φ）と（｜ｒ｜，φ’）とを１対１に対応させることができる。このとき、視線検出部２４は、カメラ１０の開口部１２の中心に設定された原点Ｏと、仮想視点平面上の注視点Ｔとを結ぶベクトルＯＴを次式（６）により得る。なお、ベクトルＯＰはカメラ１０から得られる。

最後に、視線検出部２４は視線ベクトルＰＴと視対象平面（ディスプレイ装置３０）との交点である注視点Ｑを次式（７）で求める。
Ｑ＝ｎＰＴ＋Ｐ …（７）

しかし、一般的にヒトの視軸（瞳孔中心および中心窩を通る軸）と光軸（角膜からレンズの中心へと延びる法線）との間にはずれがあり、対象者Ａがカメラを注視した際にも角膜反射と瞳孔中心とは一致しない。そこで、そのずれを補正する原点補正ベクトルｒ_０を定義し、カメラ画像から実測した角膜反射−瞳孔中心ベクトルをｒ’とすると、ベクトルｒはｒ＝ｒ’−ｒ_０で表されるので、式（５）は下記式（８）のように書き換えられる。
θ＝ｋ×｜ｒ’−ｒ_０｜ …（８）

計測されたｒ’に対して原点補正を行うことで、（θ，φ）と（｜ｒ｜，φ’）とを１対１に対応させることができ、精度の高い注視点検出を行うことができる。

このような角度φ，θの計算は、瞳孔中心Ｐの存在する平面上のベクトルｒ（＝ｒ’−ｒ_０）を仮想視点平面上で拡大したものがそのまま対象者Ａの注視点に対応するとみなすことにより行われている。より詳しくは、対象者Ａの視線ＰＴの基準線ＯＰに対する角度θは、瞳孔中心と角膜反射の距離の修正値｜ｒ’−ｒ_０｜との間で線形関係を有すると仮定している。なお、関数ｆ_１に含まれる原点補正ベクトルｒ_０には、対象者Ａがカメラを見たとき（θ＝０）の実寸の角膜反射−瞳孔中心間のベクトルが零ではないために、この角膜反射−瞳孔中心間のベクトルとして、ベクトルｒ_０が設定される。ここで、上記ゲイン値ｋ及び原点補正ベクトルｒ_０は、各対象者Ａや左右の眼球によって異なるため較正を行う必要がある。そこで、ゲイン値ｋ及び原点補正ベクトルｒ_０には、予め設定された初期値に対して後述するパラメータ補正処理によって補正された値が使用される。

さらに、視線検出部２４は、２台のカメラ１０の画像に対応して計算された角度φ，θであるφ_１，φ_２，θ_１，θ_２を参照して、対象者Ａのディスプレイ装置３０の画面上の注視点を検出する。ここで、注視点検出のメカニズムを説明するために図１８に示すような座標系を定義する。２台のステレオカメラ１０の位置に対応した原点Ｏ_１’，Ｏ_２’を有する２つの仮想視点平面Ｈ_１，Ｈ_２と、瞳孔中心Ｐを中心とした半径を任意とした仮想視点球面Ｓを定義する。２つの仮想視点平面Ｈ_１，Ｈ_２は、それぞれ、直線ＰＯ_１’，ＰＯ_２’に対して垂直な平面である。そして、瞳孔中心Ｐとディスプレイ画面上の注視点Ｑを通る直線（視線）と仮想視点球面Ｓとの交点をＧ_Ｓ、瞳孔中心Ｐと原点Ｏ_１’を通る直線と仮想視点球面Ｓとの交点をＯ_１、瞳孔中心Ｐと原点Ｏ_２’を通る直線と仮想視点球面Ｓとの交点をＯ_２とする。なお、視線ＰＱと仮想視点平面Ｈ_１との交点をＧ_１とすると、直線Ｏ_１’Ｇ_１と仮想視点平面Ｈ_１との水平軸の成す角がφ_１となる。同様に、視線ＰＱと仮想視点平面Ｈ_２との交点をＧ_２とすると、直線Ｏ_２’Ｇ_２と仮想視点平面Ｈ_２との水平軸の成す角がφ_２となる。さらに、仮想視点球面Ｓ上において、点Ｏ_１における点Ｏ_１を通る水平面と球面Ｓとの交線（曲線）と曲線Ｏ_１Ｇ_Ｓの成す角は、上記角度φ_１と等しくなる。同様に、仮想視点球面Ｓ上において、点Ｏ_２における点Ｏ_２を通る水平面と仮想視点球面Ｓとの交線（曲線）と曲線Ｏ_２Ｇ_Ｓの成す角は、上記角度φ_２と等しくなる。また、上述したように、点Ｐ，Ｏ_１，Ｏ_１’は同じ直線Ｌ_１上に存在し、点Ｐ，Ｏ_２，Ｏ_２’は同じ直線Ｌ_２上に存在するので、直線Ｌ_１と視線の成す角がθ_１となり、直線Ｌ_２と視線の成す角がθ_２となる。

視線検出部２４は、上記のような関係を用いることにより、既知である原点Ｏ_１’，Ｏ_２’の位置座標、及びディスプレイ装置３０の位置及び向きのデータを参照しながら、画面上の注視点を算出することができる。すなわち、２台のカメラ１０のカメラ画像によって計算された角度φ_１，φ_２，θ_１，θ_２から、仮想視点球面Ｓ上の点Ｇ_Ｓ，Ｏ_１，Ｏ_２の相対的位置関係を取得することができる。従って、視線検出部２４は、既知である原点Ｏ_１’，Ｏ_２’の座標と、既に計算された瞳孔中心Ｐの座標から、一意に視線ＰＧ_Ｓを求めることができ、その視線ＰＧ_Ｓとディスプレイ装置３０の画面との交点を計算することにより注視点Ｑを検出することができる。なお、角度φ_１，θ_１から求められる視線ＰＧ_Ｓと、角度φ_２，θ_２から求められる視線ＰＧ_Ｓがずれている場合にはそれらを平均したものを最終的な視線ベクトルとして計算することもできる。

ここで、視線検出部２４が視線の計算に用いる関数ｆ_１には、パラメータとしてゲイン値ｋ及び原点補正ベクトルｒ_０が含まれている。このゲイン値ｋは、上記式（８）を見ても分かるように、角膜反射−瞳孔中心ベクトルｒ’を調整後のベクトルｒ＝ｒ’−ｒ_０の大きさと視線を示す角度θが線形関係にあると仮定して、そのベクトルｒから角度θを求める時に使用する倍率である。理想的には、角度θとベクトル｜ｒ’｜とが線形関係にあれば、ゲイン値ｋさえ求まれば角度θが計算できるはずである。言い換えれば角度θ＝０のとき、つまり対象者Ａがカメラを注視したときはベクトル｜ｒ’｜＝０になるはずである。しかしながら、実際には眼球の視軸（視線）と光軸とは一致せず、角度θ＝０のときベクトル｜ｒ’｜≠０となる。さらに、対象者Ａが変われば角度θ＝０のときのベクトル｜ｒ｜は異なる。なお、眼球の視軸とは、対象者の眼球の中心窩と対象者の注視点とを結ぶ直線である。

以下、ｋ及びベクトルｒ_０の求め方について説明する。式（８）より、ベクトルθ_１，θ_２は、以下の式（９），（１０）でそれぞれ表される。
θ_１＝ｋｒ_１＝ｋ×（ｒ´_１―ｒ_０） …（９）
θ_２＝ｋｒ_２＝ｋ×（ｒ´_２―ｒ_０） …（１０）

なお、これらの式において原点補正ベクトルｒ_０は個々の眼球において一意に決定されるため、カメラに関係なくｒ_０とした。また、２台のカメラの間隔は角度で表され、次式（１１）で定義できる。

式（９）〜（１１）から、次式（１２）が得られ、この式（１２）から係数ｋ（較正値）が算出される。

２台のカメラの位置は既知であるから、∠Ｏ_１ＰＯ_２は常に既知である。したがって、対象者が特定の位置を注視しなくても、各カメラにおいて実測されるベクトルｒ’から係数ｋを算出することができる。

さらに、視線検出部２４は、１点較正法により、原点補正ベクトルｒ_０を求める。１点較正法による原点補正ベクトルｒ_０の求め方は、具体的には次の通りである。まず、視線検出部２４は、ディスプレイ装置３０の表示画面上の任意の位置に１点の視標（規定点）を表示させて、対象者Ａに当該視標を注視させる。この状態で、視線検出部２４は、投影仮想視点平面上の注視点を検出する。次に、視線検出部２４は、検出した注視点と視標の座標を投影仮想視点平面上に投影した点との差分を補正量として算出する。そして、視線検出部２４は、この補正量に基づいて原点補正ベクトルｒ_０を決定する。

視線検出部２４は、このようにして求めた係数ｋ及び原点補正ベクトルｒ_０を、対象者Ａの左右の眼球毎に記憶しておく。そして、視線検出部２４は、以降の視線検出時には、検出対象となる第２瞳孔画像に映る眼球の識別結果に応じて、識別された眼球に対応した係数ｋ及び原点補正ベクトルｒ_０を参照しながら上記式（８）を計算し、その計算結果を用いて対象者Ａの視線を検出する。

以上説明した個人認証装置１Ａによれば、個人間の誤差を考慮した対象者の視線検出を高精度に実現することができる。具体的には、個人間の左右の眼球の視軸と光軸とのずれに起因する誤差を考慮した視線検出を高精度に実現することができる。一般に、眼球は視軸と光軸とを有する。光軸は眼球の形状に基づく対称軸である。それに対して、視軸は対象者が注視している対象と網膜上の最も分解能の高い中心窩を結ぶ直線と定義できる。しかも、光軸に対して視軸がずれる方向、ずれる度合い（角度）は個人間で異なり、さらに個人において左右の眼でもそれらは異なる。注視点を検出するときに１点較正法により較正の必要があるのは、左右の眼球ごとに視軸と光軸のずれ角度（両者の直線のなす角度）とずれ方向（２つの直線が形成する平面の法線方向）を求める必要があるからである。従って、注視点較正をするために対象者に画面上の視標を注視させる際に、ずれの計測と同時に瞳孔形状を計測することもできるので、効率的に個人認証処理を実行することができる。

また、一般には、視線検出の際には較正処理が行われるが、この較正処理は対象者が変わる度に繰り返す必要がある。本実施形態では、対象者Ａに対して一度較正処理を行った際に取得した係数ｋ及び原点補正ベクトルｒ_０等の較正パラメータを記憶しておき、再度対象者Ａの視線を検出する際には、対象者Ａの眼球を識別し、識別した眼球に対応した較正パラメータを読み出して視線検出を実行する。これにより、対象者Ａの眼球が識別できれば再度較正処理を行う必要が無くなる。その結果、一度較正処理を行った眼球（登録済みの眼球）が個人認証装置１Ａの前に現れれば、即座に較正パラメータが読み出され、正確な視線が検出されることになる。対象者Ａにとっては特定の場所を見るという較正処理時の負担を軽減させることができる。

また、複数の対象者が個人認証装置１Ａの前に位置する場合にも、予め複数の対象者の瞳孔形状を登録しておけば、各対象者が特定でき、各対象者の左右の眼球の区別も可能となる。複数の対象者を検出対象とする場合は、ある対象者が別の対象者の前にいて後ろの対象者の片眼を隠すことがよくある。従来の視線検出技術においては、対象者の一方の瞳孔しか検出されない場合にその瞳孔が左右のどちらのものかが判断できなかったために、視線検出の際に左右の眼球のどちらに対応する較正パラメータを使用したらよいのか不明であった。もし、片眼の眼球を対象に視線検出をする際に誤ったほうの較正パラメータを使用すると視線検出の誤差が大きくなってしまう。これに対して、本実施形態の個人認証装置１Ａによれば、左右の眼の識別が可能とされるので、カメラ１０に映る眼球を対象とした視線検出の精度が高まる。それによって、複数の対象者が重なるようにカメラ１０の前にいる場合でも、カメラ１０の映る全ての対象者の眼の視線を正確に求めることができるようになる。このような個人認証装置１Ａは、テレビやパーソナルコンピュータを用いて広告を表示させている際に、較正処理が一度行われた複数の対象者の注目する座標を高精度に計測したい場合に特に有用と考えられる。

本発明は、上述した実施形態に限定されるものではない。

例えば、個人認証装置１の個人認証部２３は、瞳孔に関する輪郭距離の相関性を基に個人認証を行っていたが、それに加えて瞳孔の大きさを基に個人認証を実行してもよい。例えば、個人認証部２３は、第２瞳孔画像に映る左右の２つの眼の瞳孔面積の比を計算し、左右の眼球識別結果とともに瞳孔面積の比を利用して個人認証を実行してもよい。この場合、個人認証の精度をさらに向上させることができる。この際、個人認証部２３は、２つの眼の瞳孔面積の比を、輪郭距離算出部２２により２つの瞳孔に対してフィッティングにより求められた楕円の面積から求めてもよいし、輪郭距離算出部２２により生成された輪郭距離の系列より算出した瞳孔の面積から求めてもよい。

さらに、個人認証装置１Ａの個人認証部２３は、左右の眼球識別結果とともに、視線検出部２４において１点較正法により求められた原点補正ベクトルｒ_０を利用して、個人認証を実行してもよい。この原点補正ベクトルｒ_０は、個人の左右の眼球によって値が異なるため、個人認証の精度をさらに向上させることができる。特に、１点較正法によれば対象者Ａに１点を注視させることになるので視線方向がほぼ定まり、上述の瞳孔面積比が定まることにもなり、認証の精度が高まる。

また、個人認証装置１，１Ａの輪郭距離算出部２２は、眼球識別の基礎データとなる基準輪郭距離の系列Ｒ_１Ｒ，Ｒ_１Ｌを算出する際には、第１瞳孔画像に映る左右の瞳孔を次のようにして特定する。すなわち、輪郭距離算出部２２は、複数の瞳孔の三次元座標を総当たりのステレオマッチングで算出し、さらに、瞳孔間距離が標準的な範囲内にある２つの瞳孔の三次元座標を同一の対象者の瞳孔対のものであると判断する。このような処理は、不特定多数の対象者が次々にカメラ１０の前に現れる場合に有効である。すなわち、一瞬でも一人の対象者の瞳孔対の画像が得られれば、その瞳孔対がペアリングされると同時に左右の瞳孔が特定された上で瞳孔形状が記憶される。その後は、その対象者の片眼しか映らなくてもその片眼を識別することが可能となる。

また、個人認証装置１，１Ａの輪郭距離算出部２２は、瞳孔の輪郭点をサンプリングに際して放射状走査の角度間隔を調整していたが、このような角度間隔の調整に代えて次のように処理してもよい。すなわち、瞳孔画像の輪郭に近似する楕円を楕円フィッティングにより特定した後に、その楕円の長径及び短径を求める。そして、輪郭距離算出部２２は、その長径と短径との比を基にして楕円が円になるように瞳孔画像を短軸方向に引き伸ばす（又は長軸方向に縮める）処理を行い、引き伸ばされた（又は縮められた）瞳孔画像を対象に等角度間隔で放射状走査を行うことによって輪郭点をサンプリングする。このような画像の引き伸ばし処理は、GPU汎用計算（GPGPU；General-purposecomputing on GPU）によって容易に実現可能である。これにより、対象者Ａの顔の向きに起因して画像上の瞳孔像の変形が生じた場合であっても、眼球識別の精度を維持することができる。

１，１Ａ…個人認証装置、１０…カメラ、１０_Ｌ…左カメラ、１０_Ｒ…右カメラ、１３…光源、２０，２０Ａ…情報処理装置、２１…画像取得部、２２…輪郭距離算出部、２３…個人認証部（眼球識別部）、２４…視線検出部、３０…ディスプレイ装置、Ａ…対象者。

Claims (12)

1. 対象者の眼球を識別する眼球識別装置であって、
   対象者の眼球を撮像することで得られた第１瞳孔画像と、該第１瞳孔画像が得られた後に前記対象者と同一或いは異なる対象者の眼球を撮像することで得られた第２瞳孔画像とを取得する画像取得部と、
   瞳孔の輪郭を算出する処理を、前記第１瞳孔画像および前記第２瞳孔画像のそれぞれに対して実行する輪郭算出部と、
   前記第１瞳孔画像から得られた前記瞳孔の輪郭と前記第２瞳孔画像から得られた前記瞳孔の輪郭との相関に基づいて前記眼球を識別する眼球識別部と、
   を備える眼球識別装置。
2. 前記輪郭算出部は、前記瞳孔における中心から輪郭上の複数のサンプリング点までの輪郭距離を算出する処理を実行し、
   前記眼球識別部は、前記第１瞳孔画像から得られた前記輪郭距離と前記第２瞳孔画像から得られた前記輪郭距離との相関値を判定することによって前記眼球を識別する、
   請求項１記載の眼球識別装置。
3. 前記眼球識別部は、前記第１瞳孔画像および前記第２瞳孔画像のそれぞれにおいて、前記複数の輪郭距離に対してフィルタリングを実行することで、該フィルタリングされた複数の輪郭距離を取得し、前記第１瞳孔画像についての前記フィルタリングされた複数の輪郭距離と、前記第２瞳孔画像についての前記フィルタリングされた複数の輪郭距離との相関値を算出する、
   請求項２記載の眼球識別装置。
4. 前記画像取得部は、対象者の左右の眼球を同時もしくは別々に撮像した第１瞳孔画像と、前記対象者と同一もしくは異なる対象者の眼球を撮像した第２瞳孔画像とを取得し、
   前記輪郭算出部は、前記第１瞳孔画像及び前記第２瞳孔画像のそれぞれに含まれる瞳孔に対して前記輪郭距離を算出する処理を実行し、
   前記眼球識別部は、前記第１瞳孔画像から得られた前記左右の眼球に対応する２つの前記輪郭距離と前記第２瞳孔画像から得られた前記輪郭距離との相関値を判定することによって、前記第２瞳孔画像に映る眼球を前記対象者の左右の眼球として識別する、
   請求項２又は３記載の眼球識別装置。
5. 前記眼球識別部による眼球の識別結果と、前記第２瞳孔画像とを少なくとも用いて前記対象者の視線を検出する視線検出部をさらに備える、
   請求項４記載の眼球識別装置。
6. 前記視線検出部は、前記眼球の識別結果を基に前記眼球における視軸と光軸とのずれを補正するための補正値を特定し、前記補正値を基に前記視線を検出する、
   請求項５記載の眼球識別装置。
7. 前記画像取得部は、前記対象者と同一もしくは異なる対象者の眼球を撮像した前記第２瞳孔画像を取得し、
   前記眼球識別部は、前記第２瞳孔画像に映る眼球を識別し、当該識別の結果を基に前記対象者に対する個人認証を実行する、
   請求項４に記載の眼球識別装置。
8. 前記眼球識別部は、前記第２瞳孔画像に映る２つの眼球の瞳孔面積の比を計算し、前記識別の結果とともに前記瞳孔面積の比を利用して前記個人認証を実行する、
   請求項７に記載の眼球識別装置。
9. 前記視線検出部は、所定の視標を表示させた状態で取得された前記第２瞳孔画像を基に前記視線を検出した後に、前記視標の位置と前記視線を基に計算される注視点の位置との差分から補正ベクトルを算出し、
   前記眼球識別部は、前記補正ベクトルを基に前記眼球を識別する、
   請求項５記載の眼球識別装置。
10. 前記輪郭算出部は、前記瞳孔の輪郭に近似する楕円を特定し、前記楕円の長径と短径との比を基に前記複数のサンプル点の中心から見た角度間隔を調整する、
    請求項２〜８のいずれか１項に記載の眼球識別装置。
11. 前記輪郭算出部は、前記瞳孔の輪郭に近似する楕円を特定し、当該楕円の長径と短径との比を基に前記瞳孔の画像を引き伸ばして補正画像を生成し、前記補正画像を対象に前記輪郭距離を算出する処理を実行する、
    請求項２〜８のいずれか１項に記載の眼球識別装置。
12. 対象者の眼球を識別する眼球識別方法であって、
    眼球識別装置が、対象者の眼球を撮像することで得られた第１瞳孔画像と、該第１瞳孔画像が得られた後に前記対象者と同一或いは異なる対象者の眼球を撮像することで得られた第２瞳孔画像とを取得する画像取得ステップと、
    前記眼球識別装置が、瞳孔の輪郭を算出する処理を、前記第１瞳孔画像および前記第２瞳孔画像のそれぞれに対して実行する輪郭算出ステップと、
    前記眼球識別装置が、前記第１瞳孔画像から得られた前記瞳孔の輪郭と前記第２瞳孔画像から得られた前記瞳孔の輪郭との相関に基づいて前記眼球を識別する眼球識別ステップと、
    を備える眼球識別方法。

Images