JP2023040887A - 個人認証装置及び個人認証方法、プログラム - Google Patents

Abstract

【課題】眼球画像を用いて個人認証を行う場合に、被検者が眼鏡をかけている場合でも、個人認証の精度の低下を抑制する。【解決手段】ユーザーの眼球画像を取得する取得部と、眼球画像に写ったゴーストに基づいて、ユーザーが着用している眼鏡についての情報を推定する推定部と、眼球画像と眼鏡についての情報とに基づいて、ユーザーの個人認証を行う認証部とを備える。【選択図】 図１０

Description

本発明は、眼球画像を用いた個人認証技術に関する。

従来より、眼球画像を用いて人の視線の方向を検出したり、個人認証を行ったりする技術が知られている。このような技術では、被検者が眼鏡を装着している場合、眼鏡によるゴースト光が、視線検出や個人認証の精度に影響を与えるという問題がある。

この問題の対策として、特許文献１には、視線検出のキャリブレーション時に眼鏡の屈折率を判定し、注視点検出解析の補正を行う方法が開示されている。

また、特許文献２には、視線検出において、眼球を３方向から撮影し、３方向からの偏光情報を用いることで、眼鏡表面による反射光により画像が見えない箇所を複数情報から補う方法が開示されている。

国際公開第２０１４／０４６２０６号 国際公開第２０１７／０１４１３７号

しかしながら、特許文献１に開示されている方法においては、ゴースト光が入射すると、瞳孔に飽和した光が映り込み、眼球画像が欠けてしまうため、視線検出の精度が低下するという問題点がある。

また、特許文献２においては、装置が複雑化、高額化、大型化するうえ、ゴースト光の範囲は大きいため、いずれかの方向からの画像で必ずコースト光の影響を除くことができるわけではない。

これらの問題は、特許文献１及び特許文献２に記載の技術を個人認証に適用した場合でも同様である。

本発明は上述した課題に鑑みてなされたものであり、その目的は、眼球画像を用いて個人認証を行う場合に、被検者が眼鏡をかけている場合でも、個人認証の精度の低下を抑制することである。

本発明に係わる個人認証装置は、ユーザーの眼球画像を取得する取得手段と、前記眼球画像に写ったゴーストに基づいて、前記ユーザーが着用している眼鏡についての情報を推定する推定手段と、前記眼球画像と前記眼鏡についての情報とに基づいて、前記ユーザーの個人認証を行う認証手段と、を備えることを特徴とする。

本発明によれば、眼球画像を用いて個人認証を行う場合に、被検者が眼鏡をかけている場合でも、個人認証の精度の低下を抑制することが可能となる。

本発明の個人認証装置の第１の実施形態であるデジタルスチルカメラの外観を示す図。 デジタルスチルカメラの概略構成図。 デジタルスチルカメラのブロック構成を示す図。 眼球用撮像素子に投影される眼球像の概略図。 ユーザーによる表示素子の視認状態の説明図。 照明光の眼鏡表面による反射光を説明する図。 眼球像におけるゴースト発生状態を示す説明図。 入力された画像データから注視点位置を推定するＣＮＮの基本的な構成を示す説明図。 特徴検出細胞面での特徴検出処理および特徴統合細胞面での特徴統合処理の説明図。 第１の実施形態における個人認証処理のフローチャート。 第２の実施形態における個人認証処理のフローチャート。 第３の実施形態におけるファインダ内の視野を示す説明図。 第３の実施形態における視線検出方法の原理説明図。 第３の実施形態における眼鏡個別情報を利用した視線検出処理のフローチャート。 第３の実施形態における各個人と補正係数データの関係を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１の実施形態）
図１は、本発明の個人認証装置の第１の実施形態であるデジタルスチルカメラ１００の外観を示す図である。図１（ａ）はデジタルスチルカメラ１００の正面斜視図であり、図１（ｂ）はデジタルスチルカメラ１００の背面斜視図である。

デジタルスチルカメラ１００は、本実施形態においては、図１（ａ）に示すように、カメラ本体１００Ａに撮影レンズ１００Ｂが着脱自在に装着されて構成されている。カメラ本体１００Ａには、ユーザーからの撮像操作を受ける操作部材であるレリーズボタン１０５が配置されている。

また、図１（ｂ）に示すように、デジタルスチルカメラ１００の背面には、ユーザーがカメラ内部に含まれる後述する表示素子１１０を覗きこむための、接眼窓枠１２１及び接眼レンズ１１２が配置されている。また、眼球を照らす複数個の照明光源１１３ａ，１１３ｂ，１１３ｃ，１１３ｄが接眼レンズ１１２の周囲に配置されている。

図２は、図１（ａ）に図示したＹ軸とＺ軸が成すＹＺ平面でカメラ筐体を切った断面図であり、デジタルスチルカメラ１００の概略構成を示している。図１及び図２において、対応する部位は同じ符号で表記されている。

図２において、レンズ交換式カメラにおける撮影レンズ１００Ｂは、カメラ本体１００Ａに装着されている。本実施形態では、説明の便宜上、撮影レンズ１００Ｂの内部が２つのレンズ１５１，１５２で構成されているように示したが、実際は、周知の通りさらに多数のレンズで構成されている。

カメラ本体１００Ａは、撮影レンズ１００Ｂの予定結像面に配置された撮像素子１０２を備える。カメラ本体１００Ａには、カメラ全体を制御するＣＰＵ１０３、撮像素子１０２により撮像された画像を記録するメモリ部１０４が内包されている。また、撮像された画像を表示するための液晶等で構成される表示素子１１０、それを駆動する表示素子駆動回路１１１、表示素子１１０に表示された被写体像を観察するための接眼レンズ１１２が、接眼窓枠１２１内に配置されている。

ユーザーは、接眼窓枠１２１の内部を覗き込むことにより、表示素子１１０の虚像５０１を図５に示すような状態で見ることができる。具体的には、接眼レンズ１１２によって、表示素子１１０の虚像５０１が実際のサイズより拡大された状態で、接眼レンズ１１２から５０ｃｍ～２ｍ程度離れた位置に結像される。ユーザーは、この虚像５０１を視認することとなる。図５では、１ｍ離れた位置に結像するものとして図示されている。

照明光源１１３ａ～１１３ｄは、撮影者の眼球１１４を照明するための光源で、赤外発光ダイオードからなり、接眼レンズ１１２の周りに配置されている。照明光源１１３ａ～１１３ｄは、この光源の角膜反射による反射象と瞳孔との関係から視線方向を検出するために用いられる。

照明された眼球像と照明光源１１３ａ～１１３ｄの角膜反射による像は接眼レンズ１１２を透過し、光分割器１１５で反射され、受光レンズ１１６によってＣＣＤ等の光電変換素子を２次元的に配列した眼球用撮像素子１１７上に結像される。受光レンズ１１６は、撮影者の眼球１１４の瞳孔と眼球用撮像素子１１７とが共役な結像関係となるように配置されている。眼球用撮像素子１１７上に結像された眼球の像と、光源１１３ａ～１１３ｂの角膜反射による像の位置関係から、後述する所定のアルゴリズムで視線方向を検出することができる。また、本実施形態においては、撮影者（被検者）は、一例として眼鏡１４４のような光学部材を装着しており、この光学部材は、眼球１１４と接眼窓枠１２１の間に位置するものとする。

一方、撮影レンズ１００Ｂは、絞り１６１、絞り駆動装置１６２、レンズ駆動用モーター１６３、レンズ駆動部材１６４、フォトカプラー１６５を備える。レンズ駆動部材１６４は、ギヤ等からなる。また、フォトカプラー１６５は、レンズ駆動部材１６４に連動して回転するパルス板１６６の回転を検知して、焦点調節回路１６８に伝える。

焦点調節回路１６８は、レンズ駆動部材１６４の回転量の情報とカメラ側からのレンズ駆動量の情報とに基づいて、レンズ駆動用モーター１６３を所定量駆動させ、撮影レンズ１００Ｂを合焦状態に調節する。なお、撮影レンズ１００Ｂは、カメラ本体１００Ａのマウント接点１４７を介して、カメラ本体１００Ａとの信号のやり取りを行う。

図３は、デジタルスチルカメラ１００の電気的構成を示すブロック図である。カメラ本体１００Ａに内蔵されたＣＰＵ１０３には、視線検出回路３０１、測光回路３０２、自動焦点検出回路３０３、信号入力回路３０４、表示素子駆動回路１１１、照明光源駆動回路３０５が接続されている。また、ＣＰＵ１０３は、撮影レンズ１００Ｂ内に配置された焦点調節回路１６８、絞り駆動装置１６２に含まれる絞り制御回路３０６とも、マウント接点１４７を介して接続されている。ＣＰＵ１０３に付随したメモリ部１０４は、撮像素子１０２および眼球用撮像素子１１７からの撮像信号の記憶領域、及び、後述する視線の個人差を補正する視線補正データの記憶領域を有している。

視線検出回路３０１は、眼球用撮像素子１１７からの眼球画像信号をＡ／Ｄ変換し、この画像情報をＣＰＵ１０３に送信する。ＣＰＵ１０３は、視線検出に必要な眼球像の各特徴点を後述する所定のアルゴリズムに従って抽出し、更に各特徴点の位置から撮影者の視線を算出する。

測光回路３０２は、測光センサの役割も兼ねる撮像素子１０２から得られる信号に基づいて、被写界の明るさに対応した輝度信号を取得し、増幅、対数圧縮、Ａ／Ｄ変換を行い、被写界輝度情報として、ＣＰＵ１０３に送る。

自動焦点検出回路３０３は、撮像素子１０２における位相差検出のために使用される複数の画素からの信号をＡ／Ｄ変換し、ＣＰＵ１０３に送る。ＣＰＵ１０３は、これらの複数の画素の信号から、各焦点検出ポイントに対応するデフォーカス量を算出する。これは撮像面位相差ＡＦとして知られる公知の技術である。

図４は、眼球用撮像素子１１７の出力を示す図である。図４（ａ）は、眼球用撮像素子１１７から得られる反射像の画像例を示し、図４（ｂ）は、この画像例の領域αにおける、眼球用撮像素子１１７の信号出力強度を示す。なお、図４においては、水平方向をＸ軸、垂直方向をＹ軸とする。

このとき、照明光源１１３ａ，１１３ｂの角膜反射像が結像した像Ｐｄ’，Ｐｅ’のＸ軸方向（水平方向）の座標をＸｄ，Ｘｅとする。また、瞳孔４０１の端部４０１ａ，４０１ｂからの光束が結像した像ａ’,ｂ’のＸ軸方向の座標をＸａ、Ｘｂとする。

図４（ｂ）の輝度情報例（信号強度例）において、照明光源１１３ａ，１１３ｂの角膜反射光が結像した像Ｐｄ’，Ｐｅ’に相当する位置Ｘｄ，Ｘｅでは、極端に強いレベルの輝度が得られている。瞳孔４０１の領域に相当する、座標ＸａからＸｂの間の領域は、上記のＸｄ，Ｘｅの位置を除き、極端に低いレベルの輝度が得られる。これに対し、瞳孔４０１の外側の虹彩４０３の領域に相当する、Ｘａより小さいＸ座標の値を持つ領域及びＸｂより大きいＸ座標の値を持つ領域では、これらの２種の輝度レベルの中間の値が得られる。このようなＸ座標位置に対する輝度レベルの変動情報から、照明光源１１３ａ，１１３ｂの角膜反射光が結像した像Ｐｄ’，Ｐｅ’のＸ座標Ｘｄ，Ｘｅと、瞳孔端の像ａ’,ｂ’のＸ座標Ｘａ，Ｘｂを得ることができる。

また、受光レンズ１１６の光軸に対する眼球１１４の光軸の回転角θｘが小さい場合、眼球用撮像素子１１７上に結像する瞳孔中心ｃに相当する箇所（ｃ’とする）の座標Ｘｃは、Ｘｃ≒（Ｘａ＋Ｘｂ）／２と表すことができる。

これらのことから、眼球用撮像素子１１７上に結像する瞳孔中心に相当する箇所ｃ’のＸ座標、照明光源１１３ａ，１１３ｂの角膜反射像Ｐｄ’，Ｐｅ’の座標を見積もることができる。

図４（ａ）では、ユーザーの眼球がＹ軸に垂直な平面内で回転する場合の回転角θｘを算出する例を示しているが、ユーザーの眼球がＸ軸に垂直な平面内で回転する場合の回転角θｙの算出方法も同様である。

図５を用いて、接眼窓枠１２１への覗き込みの状態について説明する。図５は、表示素子１１０の虚像５０１を、ユーザーが、接眼窓枠１２１及び接眼レンズ１１２を介して視認している状態を示す、Ｙ軸の正方向から見た上面模式図である。なお、図５では、説明を分かりやすくするため、図１では図示していた接眼レンズ１１２を省略して示している。

ユーザーは、図５においては不図示の接眼レンズ１１２によって表示素子１１０の実際のサイズより拡大された虚像５０１を視認している。通常、ファインダの光学系は、虚像が接眼レンズ１１２から数十ｃｍ～２ｍ程度の距離に形成されるように調整されている。本実施形態では１ｍの距離に虚像が形成されるものとして図示されている。また、図５では、ユーザーが眼鏡１４４をかけており、眼球１１４と接眼窓枠１２１が眼鏡１４４を挟んで離れた位置にある状況を示している。

図５（ａ）は、ユーザーが、接眼窓枠１２１及び表示素子１１０の光軸中心とほぼ同位置に眼球中心が位置する状態で、画面のほぼ中央を注視している状態を示している。この状態では、ユーザーには視野範囲β１で示す領域が見えている。この状態で、現在見えていない画面端部における範囲γ１を見たい場合には、ユーザーは図５（ｂ）に示すように、頭部ごと眼球をＸ軸正方向（紙面下方向）に大きく並進移動させる傾向がある。

この並進移動によって眼球１１４の中心位置が光軸と垂直な方向にずれ、ずれた後の眼球における瞳孔４０１と接眼窓枠１２１の端を結ぶ直線ＯＣと直線ＯＣ’によって新たな視野範囲β２が形成される。視野範囲β２は、見えている範囲がＸ軸の負方向（紙面上方向）に寄り、並進移動前には見えていなかった範囲γ１が視野に含まれている。従って、ユーザーは並進移動によって範囲γ１を見ることに成功している。しかし、逆に紙面下方向の視野外になる範囲が範囲γ２’となり、図５（ａ）の範囲γ２より広がってしまう。

また、同様に図５（ａ）の状態では見えていない上記とは反対の画面端部範囲γ２を見たい場合には、ユーザーは図５（ｂ）とは反対に、頭部をＸ軸負方向（紙面上方向）に並進移動させて図５（ｃ）の状態とする。図５（ｂ）とは反対方向に頭部をずらすことによって、図５（ｃ）においては、直線ＯＤと直線ＯＤ’に挟まれた新たな視野範囲β３が形成される。視野範囲β３は、見えている範囲がＸ軸の正方向（紙面下方向）に寄り、図５（ａ）では視野範囲外だった範囲γ２が視野に含まれている。従って、ユーザーは頭部の並進移動によって、範囲γ２を見ることに成功している。しかし、逆に紙面上方向の視野外になる範囲が範囲γ１’となり、図５（ａ）の範囲γ１より広がってしまう。

また、上記のように頭部の並進移動が行われて接眼窓枠１２１を斜め方向から覗き込む視認状態においては、上記でも触れたように、眼球１１４が回転するだけでなく、頭部ごと傾けられる場合が多くある。これについて、以下説明する。

図５（ａ）～図５（ｃ）においては、ユーザーは、紙面上方向側の眼球（右目）で接眼窓枠１２１を通して表示素子１１０の虚像５０１を視認している状態にある。

ユーザーは前述したように覗き込み視認状態になると、例えば図５（ａ）から図５（ｂ）の状態に変化するが、この時、接眼窓枠１２１を覗いている紙面上方向側の眼球（右目）の回転だけでなく、符号θｈで示すように、頭部ごと傾けてのぞき込むことが多い。この時、ユーザーが眼鏡等の光学部材を装着していると、図５（ｂ）のように、頭部の傾きθｈとともに眼鏡１４４の傾きも同方向に変化する。すると、眼鏡１４４の光軸に対する傾きが変化するため、照明光源１１３ａ～１１３ｄの光が眼鏡１４４の表面に反射して生じるゴーストの位置もそれに応じて変化する。

上記のゴーストは、図６に示すように、照明光源１１３ａ～１１３ｄから照射された光が、眼鏡１４４に反射し、その反射光が矢印のように眼球用撮像素子１１７に入射することによって生じる。図６では照明光源１１３ａ又は１１３ｂからの光の経路を例として示しているが、照明光源１１３ｃ，１１３ｄからの光も同様に眼球用撮像素子１１７に入射しうる。

上記のゴーストは、図７（ａ）で示す眼球画像では、例えばＧａ、Ｇｂ、Ｇｃ、Ｇｄのように現れる。これらは照明光源１１３ａ，１１３ｂ，１１３ｃ，１１３ｄから発せられる光が眼鏡１４４の表面に反射することで生じるゴーストであり、各照明光源から発せられる光が眼球１１４の角膜表面で反射することで生じるプルキニエ像とは別に現れる。これらのゴーストは、ユーザーの装着する眼鏡１４４等の光学部材が正面を向いている場合には略左右対象に存在している。

それに対し、上述したように頭部に傾きθｈが生じると、図７（ｂ）に示すように、これらの眼球に映るゴーストが紙面右方向に向けて移動する。この時、図示のように眼球画像中央付近の領域にある瞳孔４０１の画像に、例えば照明光源１１３ａによるゴーストＧａ’が重なることで、瞳孔画像の一部が隠れてしまうことがある。瞳孔画像の一部が隠れることにより、眼球画像が欠けて、個人認証の精度が落ちるといった問題が生じる。

本実施形態においては、従来の個人認証では精度を落とす要因となっていたゴーストを、個人認証に活用することで、認証精度を向上させる。本実施形態においては、ゴーストによる眼鏡の種別の推定を深層学習した学習済みモデルを用いて行うものとする。なお、本実施形態においては、眼鏡の種別の情報を推定する例について説明するが、眼鏡の種別に限らず、その他眼鏡の反射率や屈折率や色などの眼鏡についての情報をゴーストから推定するようにしてもよい。

以下に、眼球用撮像素子１１７から得られる画像を、畳み込みニューラルネットワーク（以下、ＣＮＮ）に入力情報として入力することにより、眼鏡の種別を解析し、推定する手法について説明する。ＣＮＮを用いることで、より高精度な検出を行うことが可能となる。

ＣＮＮの基本的な構成について、図８および図９を用いて説明する。

図８（ａ）は、入力された２次元画像データから眼鏡の種別を推定するＣＮＮの基本的な構成を示す図である。入力する２次元画像データは、眼球用撮像素子１１７から得られた眼球画像を用いてもよいが、眼球画像の全体の明るさを下げるかフィルタをかけるなどの方法でゴーストを際立たせた画像を用いるほうがよい。なぜならば、ゴーストは前述の通り照明光源の反射によって生成されているため輝度が高く、また図８（ａ）のＣＮＮでは、眼鏡の種別の判定を目的としているため、ゴースト以外の信号を極力減らすことで判定の精度を上げることができるからである。

ＣＮＮの処理の流れは、左端を入力とし、右方向に処理が進んでいく。ＣＮＮは、特徴検出層（Ｓ層）と特徴統合層（Ｃ層）と呼ばれる２つの層を一つのセットとし、それらが階層的に並んで構成されている。

ＣＮＮでは、まずＳ層において、前段の階層で検出された特徴をもとに次の特徴を検出する。またＳ層において検出した特徴をＣ層で統合し、その階層における検出結果として次の階層に送る。

Ｓ層は、特徴検出細胞面からなり、特徴検出細胞面ごとに異なる特徴を検出する。また、Ｃ層は、特徴統合細胞面からなり、前段の特徴検出細胞面での検出結果をプーリングする。以下では、特に区別する必要がない場合、特徴検出細胞面および特徴統合細胞面を総称して特徴面と呼ぶ。本実施形態では、最終段階層である出力層はＣ層は用いずＳ層のみで構成している。

特徴検出細胞面での特徴検出処理、および特徴統合細胞面での特徴統合処理の詳細について、図９を用いて説明する。

特徴検出細胞面は、複数の特徴検出ニューロンにより構成され、特徴検出ニューロンは前段の階層のＣ層に所定の構造で結合している。また特徴統合細胞面は、複数の特徴統合ニューロンにより構成され、特徴統合ニューロンは同階層のＳ層に所定の構造で結合している。

図９に示した、Ｌ階層目Ｓ層のＭ番目細胞面内において、位置（ξ，ζ）の特徴検出ニューロンの出力値をｙ^LS _M(ξ,ζ)、Ｌ階層目Ｃ層のＭ番目細胞面内において、位置（ξ，ζ）の特徴統合ニューロンの出力値をｙ^LC _M(ξ,ζ)と表記する。その場合、それぞれのニューロンの結合係数をｗ^LS _M(n,u,v)、ｗ^LC _M(u,v) とすると、各出力値は以下のように表すことができる。

（数式１）のｆは活性化関数であり、ロジスティック関数や双曲正接関数などのシグモイド関数であれば何でもよく、例えばtanh関数で実現してよい。ｕ^LS _M(ξ,ζ)は、Ｌ階層目Ｓ層のＭ番目細胞面における、位置（ξ，ζ）の特徴検出ニューロンの内部状態である。（数式２）は、活性化関数を用いず単純な線形和をとっている。（数式２）のように活性化関数を用いない場合は、ニューロンの内部状態ｕ^LS _M(ξ,ζ)と出力値ｙ^LC _M(ξ,ζ)は等しい。また、（数式１）のｙ^L-1C _n(ξ+u,ζ+v)、（数式２）のｙ^LS _M(ξ+u,ζ+v) をそれぞれ特徴検出ニューロン、特徴統合ニューロンの結合先出力値と呼ぶ。

（数式１）及び（数式２）中のξ，ζ，ｕ，ｖ，ｎについて説明する。

位置（ξ，ζ）は、入力画像における位置座標に対応しており、例えばｙ^LS _M(ξ,ζ)が高い出力値である場合は、入力画像の画素位置（ξ，ζ）に、Ｌ階層目Ｓ層Ｍ番目細胞面において検出する特徴が存在する可能性が高いことを意味する。また、ｎは（数式２）において、Ｌ－１階層目Ｃ層ｎ番目細胞面を意味しており、統合先特徴番号と呼ぶ。基本的にＬ－１階層目Ｃ層に存在する全ての細胞面についての積和演算を行う。（ｕ，ｖ）は、結合係数の相対位置座標であり、検出する特徴のサイズに応じて有限の範囲（ｕ，ｖ）において積和演算を行う。このような有限な（ｕ，ｖ）の範囲を受容野と呼ぶ。また受容野の大きさを、以下では受容野サイズと呼び、結合している範囲の横画素数×縦画素数で表す。

また（数式１）において、Ｌ＝１つまり一番初めのＳ層では、ｙ^L-1C _n(ξ+u,ζ+v)は、入力画像ｙ^in_image(ξ+u,ζ+v)または、入力位置マップｙ^in_posi_map(ξ+u,ζ+v)となる。ちなみにニューロンや画素の分布は離散的であり、結合先特徴番号も離散的なので、ξ，ζ，ｕ，ｖ，ｎは連続な変数ではなく、離散的な値をとる。ここでは、ξ，ζは非負整数、ｎは自然数、ｕ，ｖは整数とし、何れも有限な範囲とする。

（数式１）中のｗ^LS _M(n,u,v)は、所定の特徴を検出するための結合係数分布であり、これを適切な値に調整することによって、所定の特徴を検出することが可能になる。この結合係数分布の調整が深層学習であり、ＣＮＮの構築においては、さまざまなテストパターンを提示して、ｙ^LS _M(ξ,ζ)が適切な出力値になるように、結合係数を繰り返し徐々に修正していくことで結合係数の調整を行う。

次に、（数式２）中のｗ^LC _M(u,v)は、２次元のガウシアン関数を用いており、以下の（数式３）のように表すことができる。

ここでも、（ｕ，ｖ）は有限の範囲としているので、特徴検出ニューロンの説明と同様に、有限の範囲を受容野といい、範囲の大きさを受容野サイズと呼ぶ。この受容野サイズは、ここではＬ階層目Ｓ層のＭ番目特徴のサイズに応じて適当な値に設定すればよい。（数式３）中の、σは特徴サイズ因子であり、受容野サイズに応じて適当な定数に設定しておけばよい。具体的には、受容野の一番外側の値がほぼ０とみなせるような値になるように設定するのがよい。

上述のような演算を各階層で行うことで、最終階層のＳ層において、眼鏡の種別の判定を行うのが、本実施形態における図８（ａ）のＣＮＮの構成である。

上記判定を行うことで、ゴーストにより眼鏡の種別を判定することが可能となる。なお、本実施形態では、上述の眼鏡の種別を推定するＣＮＮで構成される学習モデルは、あらかじめ、２次元画像データを入力とし、眼鏡の種類を教師データとして深層学習し終えた学習済みモデルである。

図８（ｂ）は、個人認証の判定を行うＣＮＮの構成を示す図である。図８（ｂ）のＣＮＮには、眼球用撮像素子１１７から得られた眼球画像と、眼鏡個別情報としての図８（ａ）での眼鏡種別の判定結果が入力される。ＣＮＮの構成および処理の流れは、入力の違いはあるものの図８（ａ）と同様であるため説明を省略する。

眼球画像だけを用いた個人認証であれば、ゴーストで眼球画像が欠けてしまった場合に識別の精度が低下することになるが、上記のように、眼鏡の種別の情報と眼球画像の両方を用いることにより、個人認証の精度を向上させることが可能となる。ここで、本実施形態では、上述の個人認証の判定を行うＣＮＮで構成される学習モデルは、あらかじめ、眼球画像および眼鏡種別を入力とし、個人を識別するための情報を教師データとして深層学習し終えた学習済みモデルである。なお、上述の学習済みモデルの出力は教師データと同じ個人を識別する情報が出力されることになるので、個人認証はそのデータをあらかじめ登録しておいた個人を識別する情報と比較して、一致したことが確認できたことで認証されることになる。ただし、個人認証の方法はこの手順の限りではない。例えば、後段の学習済みモデルの出力とあらかじめ登録しておいた個人を識別する情報との比較を、学習済みモデルに組み込んでもよい。この場合、学習は、例えば、眼球画像および眼鏡種別を入力とし、個人認証ができたかできていないかを示す情報を教師データとして学習する。

図１０は、カメラ本体１００Ａにおいて個人認証を行う制御の流れを示すフローチャートである。

ステップＳ１００１において、ＣＰＵ１０３は、照明光源１１３ａ，１１３ｂを点灯させて、ユーザーの眼球１１４に向けて赤外光を放射する。この赤外光によって照明されたユーザーの眼球１１４からの反射光は、眼球用撮像素子１１７上に受光レンズ１１６を通して結像される。そして、眼球用撮像素子１１７により光電変換がなされ、眼球像は電気信号として処理することが可能となる。

ステップＳ１００２では、ＣＰＵ１０３は、得られた眼球画像信号からゴーストの有無を判定する。ゴーストの有無は、眼球画像信号の中でのプルキニエ像以外の高輝度の画素の有無を調べることにより判定することができる。さらに詳細には、前述したゴースト発生の原理の通り、ゴーストはプルキニエ像と比べ大きさや形が異なるので、プルキニエ像と異なる高輝度の画素の有無を調べることにより判定可能である。

ステップＳ１００３では、ＣＰＵ１０３は、ゴーストがあると判定した場合は、処理をステップＳ１００４に進め、ゴーストが無いと判定した場合は、処理をステップＳ１００６に進める。

ステップＳ１００４では、ＣＰＵ１０３は、眼球画像信号を図８（ａ）に示したＣＮＮに入力し、眼鏡の種別を推定する。

ステップＳ１００５では、ＣＰＵ１０３は、眼鏡個別情報としての眼鏡の種別に関する情報を１つ目の入力、また眼球画像を２つ目の入力として図８（ｂ）に示したＣＮＮに入力し、個人認証を行う。

一方、ステップＳ１００６では、ゴーストが無いと判定されているので、ＣＰＵ１０３は、図８（ｂ）に示したＣＮＮに眼球画像信号を入力し、個人認証を行う。なお、図８（ｂ）のＣＮＮでは、眼鏡個別情報の入力が必要であるが、ステップＳ１００６の場合、眼鏡個別情報は無いと入力すればよい。また、別の方法として、図８（ｂ）のＣＮＮとは別に眼鏡なしの場合のＣＮＮを設け、個人認証を行ってもよい。眼鏡なしの場合のＣＮＮは、入力に眼鏡個別情報を用いずに、入力画像だけで個人を識別するように構成すればよい。

以上説明したように、眼鏡によるゴーストが発生した場合においても、眼球画像に加え、ゴーストの特徴に基づく眼鏡の種別情報を用いた個人認証を行うことにより、個人の認証精度の低下を抑制することが可能となる。

（第２の実施形態）
本実施形態では、眼球画像から行う個人認証の結果と、ゴーストの特徴の情報から行う個人認証の結果を用いて、最終的な個人認証を行うことで、ゴーストが発生した場合における認証精度を向上させる。

本実施形態では、図８（ａ）と同様のＣＮＮを用いて、眼鏡の種別を推定する。また、図８（ｂ）と同様のＣＮＮを用いて、図１０のステップＳ１００６と同様にして、入力に眼鏡個別情報を用いずに、眼球画像だけで個人を推定する。さらに、図８（ｃ）に示したＣＮＮを用いて、図８（ａ）のＣＮＮで得られた眼鏡の種別情報を用いて、個人を推定する。そして、最終的に、図８（ｂ）のＣＮＮで得られた個人の推定結果と、図８（ｃ）のＣＮＮで得られた個人の推定結果とを用いて個人認証を行う。なお、図８（ｃ）のＣＮＮの構成および処理の流れは、入力の違いはあるものの図８（ａ）と同様であるため説明を省略する。

図１１は、第２の実施形態における、カメラ本体１００Ａにおいて個人認証を行う制御の流れを示すフローチャートである。

図１０と同じステップ番号を付したステップＳ１００１～ステップＳ１００４とステップＳ１００６は、第１の実施形態を示す図１０と同様である。

ステップＳ１１０１では、ＣＰＵ１０３は、ステップＳ１００４で図８（ａ）のＣＮＮにより取得した眼鏡の種別を図８（ｃ）のＣＮＮに入力し、個人の推定を行う。

ステップＳ１１０２では、図８（ｂ）と同様のＣＮＮを用いて、図１０のステップＳ１００６と同様にして、入力に眼鏡個別情報を用いずに、眼球画像だけで個人を推定する。

ステップＳ１１０３では、ＣＰＵ１０３は、ステップＳ１１０１での個人の推定結果と、ステップＳ１１０２での個人の推定結果とを用いて、個人認証を行う。具体的な一例として、２つの推定結果に重み付けをし、それぞれの推定結果に係数をかけ合わせて加算することにより個人認証を行う方法が挙げられる。ただし、２つの推定結果を用いた個人認証の判定方法はこれに限らず適宜変えてよい。

一方、ステップＳ１００３でゴーストが無い場合は、眼球画像が欠けることが無いため、ＣＰＵ１０３は、ステップＳ１００６で、図１０のステップＳ１００６と同様に、眼球画像のみを入力として図８（ｂ）のＣＮＮを用いて個人の推定を行う。

以上説明したように、眼鏡によるゴーストが発生した場合において、眼球画像による個人の推定と、ゴーストの特徴の情報を用いた個人の推定を個別に行った後、それぞれの推定の結果を用いて個人認証を行うことにより、認証精度を向上させることができる。

（第３の実施形態）
本実施形態では、眼鏡を着用した場合の視線検出において、視線補正係数に関する課題を、第１の実施形態で説明した個人認証の手法を用いて解決する方法について説明する。

第１の実施形態の図４の説明で、眼球１１４の光軸の回転角θｘ，θｙが求められることを説明した。ここでは、さらに、注視点座標および視線補正係数の算出方法について説明する。

眼球光軸の回転角θｘ，θｙを用いて、表示素子１１０上でユーザーの視線の位置（注視している点の位置。以下、注視点と称する）を求める。注視点位置を表示素子１１０上での瞳孔４０１の中心ｃに対応する座標（Ｈｘ，Ｈｙ）で表すと、
Ｈｘ＝ｍ×（ Ａｘ×θｘ + Ｂｘ ）
Ｈｙ＝ｍ×（ Ａｙ×θｙ + Ｂｙ ）
と算出することができる。ここで、係数ｍはカメラのファインダ光学系の構成で定まる定数で、回転角θｘ，θｙを表示素子１１０上での瞳孔４０１の中心ｃに対応する位置座標に変換する変換係数である。係数ｍは、あらかじめ決定されてメモリ部１０４に記憶されているものとする。また、Ａｘ，Ｂｘ，Ａｙ，Ｂｙはユーザーの視線の個人差を補正する視線補正係数であり、後述するキャリブレーション作業を行うことで取得され、視線検出ルーチンが開始される前にメモリ部１０４に記憶されているものとする。

眼鏡を着用していないユーザーについては、視線補正係数を上記の通り求めることが出来る。しかし、眼鏡を着用しているユーザーは複数の眼鏡を使い分けていることがある。眼鏡ごとにレンズの形状が異なるため、当然ながら適切な視線補正係数も眼鏡ごとに異なる。したがって、眼鏡を着用するユーザーの場合、眼鏡ごとに複数の視線補正係数の中から適切な係数を選択して視線検出を行わなければならない。

これを実現する方法について、以下説明する。

まず、基本的な視線検出の方法と、視線補正係数の算出のために必要なキャリブレーションについて説明する。

図１２は、ファインダ内の視野を示した図で、表示素子１１０が動作した状態を示している。

図１２において、符号１２１０は視野マスク、符号１２２０は焦点検出領域を示している。また、符号１２３０－１～１２３０－１８０は、表示素子１１０に示されるスルー画像に、撮像面上における複数の焦点検出ポイントに対応する位置を重ねて表示した１８０個の測距点視標を示す。また、それらの指標の内、現在の推定注視点位置に対応する指標枠を、推定注視点Ａのように表示して示す。

図１３は、視線検出方法の原理説明図であり、図２の視線検出を行うための光学系の概略構成を示している。

図１３において、発光ダイオード等の照明光源１１３ａ，１１３ｂは、ユーザーに対して不感の赤外光を放射する。照明光源１１３ａ，１１３ｂは、受光レンズ１１６の光軸に対して略対称に配置され、ユーザーの眼球１１４を照らしている。眼球１１４で反射した照明光の一部は受光レンズ１１６によって、眼球用撮像素子１１７に集光される。

第１の実施形態の図４で説明したように、視線検出において眼球画像から眼球光軸の回転角度θｘ、θｙを取得し、瞳孔中心位置を表示素子１１０上において対応する位置に座標変換する演算を行って注視点位置を推定する。

しかし、人間の眼球の形状の個人差および眼鏡の形状差等の要因により、視線補正係数Ａｘ，Ａｙ，Ｂｘ，Ｂｙの値を適切な値に調整しなければ、図１２（ｂ）に示したように、実際に注視している位置Ｂと算出された推定注視点Ｃの位置にずれが生じてしまう。図１２（ｂ）の例では、位置Ｂの人物を注視しているのに、背景が注視されているとカメラ側が誤って推定しており、適切な焦点検出及び調整ができない状態に陥ってしまっている。

そこで、カメラによって撮像を行う前に、キャリブレーション作業を行い、ユーザーおよび使用している眼鏡に適切な視線補正係数の値を取得し、カメラに記憶させる必要がある。

従来、キャリブレーション作業は、撮像前にファインダ視野内に図１２（ｃ）のような位置の異なる複数の指標を強調表示し、ユーザーにその指標を見てもらうことで行われる。各指標注視時に注視点検出フローを実行し、算出された複数の推定注視点座標と各指標座標から適切な視線補正係数の値を求める作業を行うことが公知の技術として知られている。

ユーザーと、そのユーザーが着用する眼鏡の組み合わせごとに上記キャリブレーションを行うことにより、使用時の適切な視線補正係数を保持することが可能になる。つまり複数の眼鏡を着用するユーザーは眼鏡ごとにキャリブレーションを行うことが望ましい。

次に、図１４は、個人認証の結果を用いた視線補正係数の選択方法と視線検出の動作を示すフローチャートである。

図１０と同じステップ番号を付したステップＳ１００１～ステップＳ１００６は、第１の実施形態における個人認証を行う動作であり、図１０と同様の動作である。

ステップＳ１４０１では、ＣＰＵ１０３は、ステップＳ１００５またはＳ１００６の個人認証結果に基づいて、関連する視線補正係数をメモリ部１０４から読み出す。なお、個人認証結果と視線補正係数の関係について図１５を用いて説明する。第３の実施形態の課題は、眼鏡を着用するユーザーが複数の眼鏡を使い分けた場合に、適切な視線補正係数が異なることである。従って、図１５で示されているように、個人認証結果に加え、眼鏡の種別を、視線補正係数と関連付ける。これにより、複数の眼鏡を使い分けた場合にも対応可能な補正係数の管理とその視線補正係数の読み出しが可能となる。

ステップＳ１４０２では、ＣＰＵ１０３は、ステップＳ１４０１で得られた視線補正係数を用いて、前述した通り表示素子１１０上での瞳孔４０１の中心ｃの注視点座標（Ｈｘ，Ｈｙ）を算出する。

ステップＳ１４０３では、ＣＰＵ１０３は、メモリ部１０４に算出された注視点座標を記憶して、視線検出ルーチンを終了する。

以上説明したように、本実施形態によれば、各個人および眼鏡の種別と関連付けられた適切な視線補正係数を用いることにより、適切な注視点座標を得ることが可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、上記の実施形態では、個人認証にＣＮＮを用いる構成としたが、ＣＮＮを使用することに限定されるものではない。例えば、眼球画像からアイリスコードのような虹彩の特徴の情報を抽出し、この情報と眼鏡の種別の情報とを用いて、パターンマッチングにより個人を識別するようにしてもよい。また、眼鏡の種別の推定も、パターンマッチングを用いて行ってもよい。

（他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、１または複数のプロセッサーまたは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータまたは分離した複数のプロセッサーまたは回路のネットワークを含みうる。

プロセッサーまたは回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサーまたは回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、またはニューラルプロセッシングユニット（ＮＰＵ）を含みうる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：デジタルスチルカメラ、１００Ａ：カメラ本体、１００Ｂ：撮影レンズ、１０２： 撮像素子、１０３： ＣＰＵ、１０４： メモリ部、１１０： 表示素子、１１３ａ～１１３ｄ： 照明光源、１１４： 眼球、１１５：光分割器、１１６：受光レンズ、１１７：眼球用撮像素子、４０１：瞳孔、４０３：虹彩、１４４：眼鏡

Claims (16)

1. ユーザーの眼球画像を取得する取得手段と、
   前記眼球画像に写ったゴーストに基づいて、前記ユーザーが着用している眼鏡についての情報を推定する推定手段と、
   前記眼球画像と前記眼鏡についての情報とに基づいて、前記ユーザーの個人認証を行う認証手段と、
   を備えることを特徴とする個人認証装置。
2. 前記眼鏡についての情報とは、眼鏡の種別の情報であることを特徴とする請求項１に記載の個人認証装置。
3. 前記眼球画像にゴーストが生じているか否かを判定する判定手段をさらに備え、該判定手段によりゴーストが生じていないと判定された場合に、前記認証手段は、前記眼球画像のみに基づいて、前記ユーザーの個人認証を行うことを特徴とする請求項１または２に記載の個人認証装置。
4. 前記認証手段は、深層学習したニューラルネットワークを用いて個人を認証することを特徴とする請求項１乃至３のいずれか１項に記載の個人認証装置。
5. 前記推定手段は、深層学習したニューラルネットワークを用いて前記眼鏡についての情報を推定することを特徴とする請求項１乃至４のいずれか１項に記載の個人認証装置。
6. 前記認証手段は、前記眼球画像から特徴を抽出し、パターンマッチングを用いて個人を認証することを特徴とする請求項１乃至３のいずれか１項に記載の個人認証装置。
7. 前記推定手段は、前記眼球画像に基づいて、パターンマッチングを用いて前記眼鏡についての情報を推定することを特徴とする請求項１乃至３のいずれか１項に記載の個人認証装置。
8. 前記眼球画像は、少なくとも虹彩が写っている画像であることを特徴とする請求項１乃至７のいずれか１項に記載の個人認証装置。
9. 前記認証手段は、前記眼鏡についての情報から個人を識別する第１の識別と、前記眼球画像から個人を識別する第２の識別とを行い、前記第１の識別の結果と、前記第２の識別の結果とを用いて個人を認証することを特徴とする請求項１乃至８のいずれか１項に記載の個人認証装置。
10. 前記認証手段は、前記第１の識別の結果と前記第２の識別の結果とを重み付けして加算することにより、個人を認証することを特徴とする請求項９に記載の個人認証装置。
11. 前記眼鏡についての情報を、個人認証のための深層学習の入力情報に用いることを特徴とする請求項１乃至１０のいずれか１項に記載の個人認証装置。
12. 赤外光により前記ユーザーの眼球を照明する照明手段をさらに備えることを特徴とする請求項１乃至１１のいずれか１項に記載の個人認証装置。
13. 前記照明手段は、少なくとも２つの光源を有することを特徴とする請求項１２に記載の個人認証装置。
14. 前記照明手段によって照明された前記眼球画像から視線の検出を行う視線検出手段と、ユーザーの個人差と眼鏡についての情報に応じた補正係数を記憶する記憶手段とをさらに備え、前記視線検出手段は、同じユーザーが異なる眼鏡をかけた場合において、眼鏡についての情報に応じた前記補正係数を用いて視線を検出することを特徴とする請求項１３に記載の個人認証装置。
15. ユーザーの眼球画像を取得する取得工程と、
    前記眼球画像に写ったゴーストに基づいて、前記ユーザーが着用している眼鏡についての情報を推定する推定工程と、
    前記眼球画像と前記眼鏡についての情報とに基づいて、前記ユーザーの個人認証を行う認証工程と、
    を有することを特徴とする個人認証方法。
16. コンピュータを、請求項１乃至１４のいずれか１項に記載の個人認証装置の各手段として機能させるためのプログラム。

Images