JP2022098933A - 虹彩検出方法、虹彩検出装置、及び虹彩検出プログラム - Google Patents

Abstract

【課題】虹彩情報の検出精度のさらなる向上を図る。
【解決手段】虹彩検出方法は、人の顔を含む第１画像を取得し、第１画像から前記人の目の領域を含む第２画像を生成し、第２画像を二値化して、階調値が閾値より小さい画素が第１輝度値で表され、階調値が閾値以上の画素が第２輝度値で表された第３画像を生成し、第３画像において、第１輝度値を有する第１輝度領域内に表れる第２輝度値の画素であって所定の条件を満たす第２輝度値の画素を、第１輝度値の画素に置き換えて第４画像を生成し、第４画像を用いて人の虹彩の位置及び大きさの少なくとも一方に関する情報を含む虹彩情報を算出し、虹彩情報を出力する。
【選択図】図２

Description

本開示は、人の虹彩を検出する技術に関するものである。

画像から目に関する情報を検出する目検出技術は、人の感情又は覚醒度及び疲労度等の人の状態を推定するための要素技術として注目されている。目に関する情報の中でも虹彩の位置及び大きさに関する虹彩情報は、その他の目に関する情報を検出するための基本情報として使用されることもあるため、高精度に検出することが要求される。虹彩情報に関する特許文献として下記の文献が知られている。

例えば、特許文献１には、境界ボックス内の赤色チャネルの輝度に基づいて虹彩中心を決定し、虹彩中心に初期円を設定し、円上の画素の傾斜度を測定し、円を拡張しながら最大傾斜度を有する円を探索し、最大傾斜度を有する円の中心及び半径を虹彩中心及び虹彩半径として算出する技術が開示されている。

特許文献２には、画像を任意の閾値で二値化した場合の当該閾値よりも暗い部分を対象領域とし、対象領域の輪郭線を複数の異なる閾値毎に求め、全ての閾値で輪郭線を求めた後、どの閾値で二値化した時に得られる輪郭線が、真の虹彩顆粒の輪郭線であるかを判定する技術が開示されている。

特許第４７２３８３４号公報 特開平１１－１５５８３８号公報

しかしながら、特許文献１、２の手法では、外光及び背景等が角膜に映り込んだ場合、虹彩情報の検出精度が低下するため、さらなる改善の必要がある。

本開示は、上記課題を解決するためになされたものであり、虹彩情報の検出精度のさらなる向上を図ることを目的とする。

本開示の一態様に係る虹彩検出方法は、撮像装置により撮像された人の虹彩を検出する虹彩検出装置における虹彩検出方法であって、前記虹彩検出装置のコンピュータが、前記人の顔を含む第１画像を取得し、前記第１画像から前記人の目の領域を含む第２画像を生成し、前記第２画像を二値化して、階調値が閾値より小さい画素が第１輝度値で表され、階調値が閾値以上の画素が第２輝度値で表された第３画像を生成し、前記第３画像において、前記第１輝度値を有する第１輝度領域内に表れる前記第２輝度値の画素であって所定の条件を満たす前記第２輝度値の画素を、前記第１輝度値の画素に置き換えて第４画像を生成し、前記第４画像を用いて前記人の虹彩の位置及び大きさの少なくとも一方に関する情報を含む虹彩情報を算出し、前記虹彩情報を出力する。

本開示によれば、虹彩情報の検出精度のさらなる向上を図ることができる。

本開示の実施の形態１における虹彩検出システムの外観図である。 本開示の実施の形態１における虹彩検出システムの全体構成の一例を示すブロック図である。 本開示の実施の形態１における虹彩検出装置の処理の一例を示すフローチャートである。 虹彩検出処理の一例を示すフローチャートである。 顔領域を示す図である。 目検出領域を示す図である。 二値画像の一例を示す図である。 絞り込み処理が行われた二値画像の一例を示す図である。 二値画像の他の一例を示す図である。 局所領域を示す図である。 虹彩推定中心位置の説明図である。 瞳領域内に黒の島領域が現れた二値画像を示す図である。 塗りつぶし処理後の二値画像を示す図である。 瞳領域の左端画素及び右端画素が検出された二値画像を示す図である。 瞳領域の上端画素及び下端画素が検出された二値画像を示す図である。 本開示の実施の形態２における虹彩検出システムの全体構成の一例を示すブロック図である。 本開示の実施の形態２における虹彩検出装置の処理の一例を示すフローチャートである。 モルフォロジー勾配演算が実行される前の二値画像を示す図である。 二値画像に対して膨張処理及び収縮処理が実行された膨張画像及び収縮画像を示す図である。 勾配画像を示す図である。 目尻及び目頭が検出された二値画像を示す図である。 ディスプレイに表示される表示画面の一例を示す図である。 目に関する情報を説明するための図である。

（本開示に至る経緯）
人の目は白目と白目に取り囲まれた瞳とを含む。瞳はさらに正面から見てほぼ円形の瞳孔とそれを取り囲むドーナツ状の虹彩とに分けられる。正面から見て瞳の手前にはドーム状の角膜がある。外光及び背景等が角膜に映り込むと、その映り込みが高輝度の領域として瞳内に現れる。このような高輝度の領域が現れた目の画像に対して、画素値が閾値未満の暗い画素を第１輝度値（例えば白）で表し、画素値が閾値以上の明るい画素を第２輝度値（例えば黒）で表す二値化処理を適用すると、白領域において、瞳に相当する領域内に黒の島領域が現れる。このような黒の島領域が白領域内に現れると、虹彩中心位置及び虹彩の大きさといった虹彩情報を正確に検出できなくなる。

上記の特許文献１では、目の境界ボックス内の赤色チャネル映像の最大輝度値を有する画素の数を閾値と比較することによってハイライトの有無を判定し、ハイライトが存在すると判定した場合、ハイライト周囲のハイコントラスト領域の中心点を虹彩中心として設定することが開示されている（段落［００７６］）。

ここで、角膜に映り込む外光及び背景等の高輝度の領域は中心が必ずしも虹彩領域の中心に位置するとは限らない。しかしながら、特許文献１では、ハイコントラスト領域の中心が虹彩中心位置として設定されているため、ハイコントラスト領域の中心点が虹彩中心位置と一致していない場合、虹彩中心位置を正確に検出できないという課題がある。

上述の特許文献２では、全ての閾値で対象領域の輪郭線を求めた後、どの閾値で二値化した時に得られる輪郭線が、真の虹彩顆粒の輪郭線であるかが判定されている（請求項２）。

しかしながら、特許文献２では、外光及び背景の角膜への映り込みが何ら考慮されていないため、虹彩情報を高精度に検出できないという課題がある。

そこで、本発明者は、目を含む画像を二値化した場合、白領域内に現れる黒の画素を白の画素で置換し、置換後の画像に対して虹彩情報を検出すれば虹彩情報を正確に検出できるとの知見を得て、以下に示す本開示の各態様に相当するに至った。

本開示の一態様に係る虹彩検出方法は、撮像装置により撮像された人の虹彩を検出する虹彩検出装置における虹彩検出方法であって、前記虹彩検出装置のコンピュータが、前記人の顔を含む第１画像を取得し、前記第１画像から前記人の目の領域を含む第２画像を生成し、前記第２画像を二値化して、階調値が閾値より小さい画素が第１輝度値で表され、階調値が閾値以上の画素が第２輝度値で表された第３画像を生成し、前記第３画像において、前記第１輝度値を有する第１輝度領域内に表れる前記第２輝度値の画素であって所定の条件を満たす前記第２輝度値の画素を、前記第１輝度値の画素に置き換えて第４画像を生成し、前記第４画像を用いて前記人の虹彩の位置及び大きさの少なくとも一方に関する情報を含む虹彩情報を算出し、前記虹彩情報を出力する。

本構成によれば、第３画像において、第１輝度領域内に表れる第２輝度値の画素であって所定の条件を満たす第２輝度値の画素が第１輝度値の画素に置き換えられて第４画像が生成される。これにより、第１輝度領域内の瞳に相当する領域内に現れる第２輝度値の島領域が第１輝度値で塗りつぶされる。そして、塗りつぶされた二値画像である第４画像を用いて虹彩情報が算出される。その結果、角膜に映り込んだ外光及び背景の影響が抑制され、虹彩情報の検出精度のさらなる向上を図ることができる。

上記虹彩検出方法において、前記第４画像の生成では、前記第３画像を構成する複数の縦ラインのそれぞれについて、前記第３画像の上端側から最初に現れる前記第１輝度値の画素である上端画素と、前記第３画像の下端側から最初に現れる前記第１輝度値の画素である下端画素とをそれぞれ検出し、前記上端画素及び下端画素間の距離が第１基準距離よりも大きい場合、前記上端画素及び前記下端画素間に含まれる前記第２輝度値の画素を前記所定の条件を満たす前記第２輝度値の画素として判定してもよい。

本構成によれば、上端画素と下端画素との距離が第１基準距離よりも大きい縦ラインにおいて上端画素と下端画素との間にある第２輝度値の画素が第１輝度値の画素に置換されている。そのため、第３画像を構成する複数の縦ラインのうち瞳に相当する領域を構成する縦ラインについて、上述の置換を行うことができる。その結果、瞳に相当する領域内にある第２輝度値の島領域を重点的に第１輝度値で塗りつぶすことができる。

上記虹彩検出方法において、前記第１輝度値は前記第２輝度値よりも大きく、前記第４画像の生成では、前記第３画像を横方向に所定画素ずつ分割して複数の局所領域に分け、各局所領域の平均輝度値を算出し、前記平均輝度値が最大の局所領域の中心位置を虹彩推定中心位置として算出し、前記虹彩推定中心位置から第２基準距離以内にある前記縦ライン内の前記第２輝度値の画素に対してのみ前記所定の条件を満たすか否かを判定してもよい。

瞳はほぼ円形であるため、第３画像を横方向に所定画素ずつ分割して複数の局所領域に分けた場合、基本的には、瞳の中心側に位置する局所領域ほど平均輝度値は増大し、瞳の中心を含む局所領域において平均輝度値は最大になる。本構成によれば、第１輝度値が第２輝度値よりも大きく設定され、複数の局所領域のうち、平均輝度値が最大の局所領域の中心位置が虹彩推定中心位置として設定されている。そのため、本構成は簡便な処理で虹彩中心位置を推定できる。

また、瞳に相当する領域は虹彩推定中心位置から一定距離内に位置すると考えられる。本構成によれば、虹彩推定中心位置から第２基準距離内にある縦ラインについてのみ上述の置換が行われているため、瞳に相当する領域に位置する縦ラインに対して、上述の置換を行うことができる。そのため、白目の領域に塗りつぶしが行われることが回避される。

上記虹彩検出方法において、前記虹彩情報の算出では、前記第４画像に対して、前記虹彩推定中心位置から前記横方向の左側に最初に現れる前記第２輝度値を有する第１画素と、前記虹彩推定中心位置から前記横方向の右側に最初に現れる前記第２輝度値を有する第２画素とをそれぞれ検出し、前記第１画素及び前記第２画素の中間位置を前記横方向の虹彩中心位置として算出してもよい。

本構成によれば、第２輝度値の島領域が第１輝度値で塗りつぶされた第４画像において、虹彩推定中心位置から、横方向の左側に向けて第２輝度値を有する第１画素が検出され、横方向の右側に向けて第２輝度値を有する第２画素が検出され、第１画素及び第２画素の中間位置が横方向の虹彩中心位置として算出されている。そのため、横方向の虹彩中心位置を精度よく算出することができる。

上記虹彩検出方法において、前記虹彩情報の算出では、前記第４画像に対して、前記虹彩推定中心位置から縦方向の上側に最初に現れる前記第２輝度値の画素である第３画素と、前記虹彩推定中心位置から前記縦方向の下側に最初に現れる前記第２輝度値の画素である第４画素とをそれぞれ検出し、前記第３画素及び前記第４画素の中間位置を前記縦方向の虹彩中心位置として算出してもよい。

本構成によれば、瞳に相当する領域が第１輝度値で塗りつぶされた第４画像において、虹彩推定中心位置から、縦方向の上側に向けて第２輝度値を有する第３画素が検出され、縦方向の下側に向けて第２輝度値を有する第４画素が検出され、第３画素及び第４画素の中間位置が縦方向の虹彩中心位置として算出されている。そのため、縦方向の虹彩中心位置を精度よく算出することができる。

上記虹彩検出方法において、さらに、前記第３画像に基づいて上下のまぶたの位置をそれぞれ検出してもよい。

本構成によれば、虹彩情報の算出過程で得られる第３画像に基づいて上下のまぶたの位置がそれぞれ検出されているため、虹彩情報を算出しつつ上下のまぶたの位置を検出できる。

上記虹彩検出方法において、前記まぶたの位置の検出では、前記第３画像に対してモルフォロジー勾配演算を行うことによって前記まぶたの位置を検出してもよい。

本構成によれば、二値化された第３画像に対してモルフォロジー勾配演算を行うことによって上下のまぶたの位置が検出されているため、上下のまぶたの位置を精度よく検出できる。

上記虹彩検出方法において、前記第３画像は、前記人の左目及び右目のいずれか一方の二値画像であり、さらに、前記第３画像に基づいて目尻及び目頭の位置をそれぞれ検出してもよい。

本構成によれば、虹彩情報の算出過程で得られる二値化された第３画像に基づいて目尻及び目頭の位置がそれぞれ検出されているため、虹彩情報を算出しつつ目尻及び目頭の位置を検出できる。

上記虹彩検出方法において、前記目尻及び前記目頭の位置の検出では、前記第３画像において、前記第１輝度値を有する横方向の左端の画素の位置を前記目尻及び前記目頭のいずれか一方の位置として検出し、前記第１輝度値を有する前記横方向の右端の画素の位置を前記目尻及び前記目頭のいずれか他方の位置として検出してもよい。

本構成によれば、左目及び右目のいずれか一方の二値画像である第３画像において、第１輝度値を有する横方向の左端の画素の位置が、目尻及び目頭のいずれか一方の位置として検出され、第１輝度値を有する横方向の右端の画素の位置が目尻及び目頭のいずれか他方の位置として検出されている。そのため、目尻及び目頭の位置を容易に検出できる。

上記虹彩検出方法において、さらに、前記目尻及び前記目頭の位置に基づいて前記人の両目に関する情報を算出してもよい。

本構成によれば、目尻及び目頭の位置に基づいて人の両目に関する情報が算出されるため、例えば人の目に関する疾患の判断材料となる情報を算出することができる。

上記虹彩検出方法において、さらに、前記第３画像から上下のまぶたの位置と目尻及び目頭の位置とを検出し、検出結果に基づいて、虹彩中心位置及び上まぶたの位置間の距離と、前記虹彩中心位置及び下まぶたの位置間の距離と、前記虹彩中心位置及び前記目尻の位置間の距離と、前記虹彩中心位置及び前記目頭の位置間の距離とを算出してもよい。

本構成によれば、虹彩中心位置及び上まぶたの位置間の距離と、虹彩中心位置及び下まぶた間の距離と、虹彩中心位置及び目尻の位置間の距離と、虹彩中心位置及び目頭の位置間の距離とが算出されている。そのため、これらの距離を用いて人の感情及び人の状態を推定することができる。

上記虹彩検出方法において、さらに、前記虹彩情報をディスプレイに表示される前記人の顔画像に重畳して表示してもよい。

本構成によれば、虹彩情報がディスプレイに表示される人の顔画像に重畳表示されるため、虹彩情報の算出結果をリアルタイムで顔画像上に表示することができる。

本開示の別の一態様に係る虹彩検出装置は、撮像装置により撮像された人の虹彩を検出する虹彩検出装置であって、前記人の顔を含む第１画像を取得する画像取得部と、前記第１画像から前記人の目の領域を含む第２画像を検出する目領域検出部と、前記第２画像を二値化して、輝度が閾値より小さい画素が第１輝度値で表され、輝度が閾値以上の画素が第２輝度値で表された第３画像を生成する二値化処理部と、前記第３画像において、前記第１輝度値を有する第１輝度領域内に表れる前記第２輝度値の画素であって所定の条件を満たす前記第２輝度値の画素を、前記第１輝度値の画素に置き換えて第４画像を生成する置換部と、前記第４画像を用いて前記人の虹彩の位置及び大きさの少なくとも一方に関する情報を含む虹彩情報を算出する虹彩情報算出部と、前記虹彩情報を出力する出力部とを備える。

本開示の別の一態様に係る虹彩検出プログラムは、撮像装置により撮像された人の虹彩を検出する虹彩検出装置としてコンピュータを機能させる虹彩検出プログラムであって、前記人の顔を含む第１画像を取得する画像取得部と、前記第１画像から前記人の目の領域を含む第２画像を検出する目領域検出部と、前記第２画像を二値化して、輝度が閾値より小さい画素が第１輝度値で表され、輝度が閾値以上の画素が第２輝度値で表された第３画像を生成する二値化処理部と、前記第３画像において、前記第１輝度値を有する第１輝度領域内に表れる前記第２輝度値の画素であって所定の条件を満たす前記第２輝度値の画素を、前記第１輝度値の画素に置き換えて第４画像を生成する置換部と、前記第４画像を用いて前記人の虹彩の位置及び大きさの少なくとも一方に関する情報を含む虹彩情報を算出する虹彩情報算出部と、前記虹彩情報を出力する出力部としてコンピュータを機能させる。

これらの構成によれば、上記虹彩検出方法と同様の作用効果が得られる。

本開示は、このような虹彩検出プログラムによって動作する虹彩検出システムとして実現することもできる。また、このようなコンピュータプログラムを、ＣＤ－ＲＯＭ等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。

（実施の形態１）
図１は、本開示の実施の形態１における虹彩検出システム１００の外観図である。虹彩検出システム１００は、スマートフォン又はタブレット端末等の携帯端末装置により構成されている。但し、これは一例であり、虹彩検出システム１００は、据え置き型のコンピュータ又はクラウドサーバとカメラとディスプレイとを適宜組み合わせて構成されてもよい。

虹彩検出システム１００は、虹彩検出装置１、撮像装置２、及びディスプレイ３を含む。虹彩検出装置１は、撮像装置２により撮像された人Ｕ１の虹彩情報を算出する。

撮像装置２は、携帯端末装置に実装されたカメラで構成されている。撮像装置２は、所定のフレームレートでカラーの可視光画像が可能なカメラである。

ディスプレイ３は、携帯端末装置に実装された液晶表示装置又は有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）表示装置等の表示装置で構成されている。ディスプレイ３は、撮像装置２が撮像した人Ｕ１の顔の画像を表示する。さらに、ディスプレイ３は、人Ｕ１の顔の画像に虹彩検出装置１が算出した後述の虹彩情報を重畳表示させる。

図２は、本開示の実施の形態１における虹彩検出システム１００の全体構成の一例を示すブロック図である。虹彩検出装置１は、プロセッサ１０及びメモリ２０を含む。プロセッサ１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で構成されている。プロセッサ１０は、画像取得部１１、目領域検出部１２、二値化処理部１３、置換部１４、虹彩情報算出部１５、及び出力部１６を含む。画像取得部１１～出力部１６は例えばプロセッサ１０が虹彩検出プログラムを実行することで実現される。

画像取得部１１は、撮像装置２が撮像した画像を取得する。ここで、取得される画像には、人Ｕ１の顔が含まれる。以下、顔が含まれる画像を顔画像と呼ぶ。画像取得部１１は、所定のフレームレートで撮像される顔画像を順次に取得する。顔画像は人の顔を含む第１画像の一例である。

目領域検出部１２は、画像取得部１１が取得した顔画像から人物の顔を示す顔領域を検出する。目領域検出部１２は、顔領域を検出するために予め作成された分類器に顔画像を入力することで顔領域を検出すればよい。この分類器は、例えば、ハール（Ｈａａｒ）状のカスケード分類器で構成される。顔領域は、例えば顔の全体を含む程度のサイズを持つ矩形状の領域である。

目領域検出部１２は、顔領域から目検出領域を検出するために予め作成された分類器に入力して目検出領域を検出する。この分類器は、例えばハール状のカスケード分類器で構成される。目検出領域は、左目又は右目の大きさに所定のマージンを加えた程度のサイズを持つ矩形状の領域である。目領域検出部１２は、左目を含む目検出領域と、右目を含む目検出領域とのそれぞれ顔領域から検出する。目検出領域は人の目の領域を含む第２画像の一例である。以下、左目を含む目検出領域を「左の目検出領域」と呼び、右目を含む目検出領域を「右の目検出領域」と呼ぶ。両者を区別しない場合、単に目検出領域と呼ぶ。また、左目とは人Ｕ１を正面から見て左側に位置する目を指し、右目とは人Ｕ１を正面から見て右側に位置する目を指す。但し、これは一例であり、この関係は逆であってもよい。

二値化処理部１３は、目検出領域を二値化して、階調値が閾値より小さい画素が第１輝度値で表され、階調値が閾値以上の画素が第２輝度値で表された二値画像を生成する。二値画像は第３画像の一例である。目検出領域がカラー画像で構成されている場合、二値化処理部１３は、目検出領域を例えば０～２５５の階調値を有するグレースケール画像に変換し、変換したグレースケール画像に対して二値化処理を実行すればよい。二値化処理としては、例えば大津の二値化処理が採用できる。第１輝度値は例えば白であり、第２輝度値は例えば黒である。すなわち、本実施の形態では、暗い箇所は白で表され、明るい箇所は黒で表された二値画像が生成される。白の輝度値は例えば２５５で表され、黒の輝度値は例えば０で表される。

ここでは、撮像装置２が撮像する画像が８ビットで量子化された画像であるため、グレースケール画像は０～２５５の階調値を有しているが、これは一例である。撮像装置２が撮像する画像が１６ビット等の他のビット数で量子化された画像であれば、グレースケール画像は、そのビット数で表現可能な階調値を有していればよい。

二値化処理部１３は、左の目検出領域と右の目検出領域とのそれぞれについて二値画像を生成すればよい。

置換部１４は、二値画像において、白の画素からなる白領域（第１輝度領域）内に表れる黒の画素であって所定の条件を満たす黒の画素を、白画素に置き換える塗りつぶし処理を実行する。置換部１４は、左の目検出領域と右の目検出領域のそれぞれに対して塗りつぶし処理を実行する。これにより、白領域内の瞳に相当する領域（以下、瞳領域）内に現れる黒の島領域が白画素で塗りつぶされた二値画像が生成される。塗りつぶし処理が行われた二値画像は、第４画像の一例である。

詳細には、置換部１４は、二値画像を構成する複数の縦ラインのそれぞれについて、二値画像の上端側から最初に現れる白画素である上端画素と、二値画像の下端側から最初に現れる白画素である下端画素とをそれぞれ検出する。そして、置換部１４は、上端画素及び下端素間の距離が第１基準距離よりも大きい場合、上端画素及び下端画素間に含まれる黒画素を所定の条件を満たす黒画素として判定する。

また、置換部１４は、二値画像を横方向に所定画素ずつ分割して複数の局所領域に分け、各局所領域の平均輝度値を算出し、平均輝度値が最大の局所領域の中心位置を虹彩推定中心位置として算出し、前記虹彩推定中心位置から第２基準距離以内にある前記縦ライン内の黒画素に対してのみ所定の条件を満たすか否を判定する。

虹彩情報算出部１５は、塗りつぶし処理が行われた二値画像を用いて人の虹彩の位置及び大きさの少なくとも一方に関する情報を含む虹彩情報を算出する。虹彩の位置に関する情報には、虹彩中心位置が含まれる。虹彩の大きさに関する情報には、虹彩半径及び虹彩の外縁等が含まれる。

図６を参照する。本実施の形態では、目は、白目１０３と白目１０３に取り囲まれた正面から見て円形の瞳１１０とを含む。瞳１１０は、正面から見て円形の瞳孔１０１と、瞳孔１０１を取り囲むドーナツ状の虹彩１０２とを含む。本実施の形態では、虹彩１０２の中心位置と瞳１１０の中心位置と瞳孔１０１の中心位置とは同じとする。虹彩１０２の半径は虹彩１０２の中心位置から虹彩１０２の外縁までの距離を指す。

出力部１６は、画像取得部１１が取得した顔画像に虹彩情報算出部１５が算出した虹彩情報を重畳して表示画面を生成し、表示画面をディスプレイ３に表示する。

メモリ２０は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）により構成されプロセッサ１０の作業領域として使用される。

次に、図２に示す虹彩検出装置１の処理について説明する。図３は、本開示の実施の形態１における虹彩検出装置１の処理の一例を示すフローチャートである。なお、図３に示すフローチャートは、所定のサンプリング周期で実行される。所定のサンプリング周期は例えば撮像装置２のフレーム周期である。

ステップＳ１において、画像取得部１１は撮像装置２から顔画像を取得する。ステップＳ２において、目領域検出部１２は、顔領域を検出する分類器に顔画像を入力し、顔領域を検出する。図５は顔領域４０を示す図である。図５に示すように、目領域検出部１２は、額の上部と顎の下部と、耳の生え際とを含む矩形状の領域を顔領域４０として検出している。ここでは、顔領域４０は髪の全体を含んでいないが、髪の全体を含む領域であってもよい。図５では、顔画像は人Ｕ１を正面から撮影した画像であるため、左目と右目とが含まれている。

ステップＳ３において、目領域検出部１２は、ステップＳ２で抽出した顔領域４０を、目検出領域を検出する分類器に入力して目検出領域を検出する。図６は、目検出領域５０を示す図である。図６に示すように、目検出領域５０は、目の全域を含み、目の大きさに多少のマージンが加えられた矩形状の領域であることが分かる。図６では、左右のそれぞれの目検出領域５０が抽出されている。

ステップＳ４において、二値化処理部１３は、ステップＳ３で検出された目検出領域５０をグレースケール画像に変換する。グレースケール画像への変換処理としては、例えば目検出領域５０を構成する各画素の赤成分、緑成分、青成分のそれぞれの階調値の平均を算出する処理が採用できる。但し、これは一例であり、グレースケール画像への変換処理としては他の処理が採用されてもよい。

ステップＳ５において、二値化処理部１３は、グレースケール画像に変換された目検出領域５０を二値化して二値画像６０を生成する。図７は、二値画像６０の一例を示す図である。図７の例では、目検出領域５０において瞳及びまつ毛等の暗い部位が白で表され、白目及び肌等の明るい部位が黒で表された二値画像６０が生成されている。図７の例では、白の画素で構成された一塊の白領域Ｄ１によって目の情報が表されている。図７の例では、角膜への外光及び背景等の映り込みが少なかったため、白領域Ｄ１に黒の島領域が現れていない。角膜への映り込みがある場合、図１２に示すように黒の島領域Ｄ２が現れる。

ステップＳ６において、二値化処理部１３は、二値画像６０に対して、白領域Ｄ１の周囲の不要な黒の領域を除去する絞り込み処理を適用することによって二値画像７０を生成する。図８は、絞り込み処理が行われた二値画像７０の一例を示す図である。図８の例では、二値画像６０において白領域Ｄ１に外接矩形が設定され、この外接矩形の外側の黒の領域が除去されることにより二値画像７０が生成されている。これにより、二重まぶた、目の下のクマ、目の周囲にあるほくろ、及び目の周囲にあるめがねが除去され、以降の処理の精度を高めることができる。

図９は、二値画像７０の他の一例を示す図である。図９の例では、白領域Ｄ１が瞳を示す白領域Ｄ１１と、まつ毛を示す白領域Ｄ１２とに分離されている。図９の例のように瞳を示す白領域Ｄ１１ができている場合、白領域Ｄ１１の上下左右の中点を虹彩中心位置として決定することも可能である。

しかしながら、人Ｕ１の、まつ毛の濃さ、まつ毛周辺の化粧の程度、並びにつけまつ毛及びまつ毛エクステンション等の装飾具の影響により、図８に示すようにまつ毛と瞳とが一塊の白領域Ｄ１として現れることもある。この場合、単純に白領域Ｄ１の上下左右の中点を虹彩中心位置として決定してしまうと、決定された虹彩中心位置が実際の虹彩中心位置から大きくずれてしまい、虹彩中心位置の検出精度が低下してしまう。そこで、本実施の形態では、以降に示す虹彩検出処理を実行して虹彩中心位置の検出精度を高めている。

ステップＳ７において、置換部１４及び虹彩情報算出部１５は二値画像７０に対して虹彩検出処理を適用することによって、虹彩情報を算出する。虹彩情報検出処理の詳細は、図４のフローチャートで後述する。

ステップＳ８において、出力部１６は、ステップＳ７で算出された虹彩情報がステップＳ１で取得された顔画像に重畳された表示画面を生成し、ディスプレイ３に表示する。図３のフローチャートが所定のサンプリング周期で繰り返されることにより、虹彩情報が顔画像に重畳された表示画面がディスプレイ３にリアルタイムで表示される。

次に、虹彩検出処理の詳細について説明する。図４は、虹彩検出処理の一例を示すフローチャートである。ステップＳ４０において、置換部１４は、二値画像７０をＸ方向に所定画素ずつ分離して複数の局所領域に分割する。図１０は、局所領域７１を示す図である。Ｘ方向とは撮像装置２が撮像する画像の横方向（水平方向）を指す。図１０の例では、置換部１４は、二値画像７０を横方向に均等に１０分割する。これにより、二値画像７０は、Ｙ方向を長手方向とする短冊状の１０個の局所領域７１に分けられる。ここで、置換部１４は、二値画像７０を１０個の局所領域７１に分割したが、これは一例である。分割数は、２以上９以下の整数又は１１以上の整数であってもよい。Ｙ方向とは、撮像装置２が撮像する画像の縦方向（垂直方向）を指す。

ステップＳ４１において、置換部１４は、１０個の局所領域７１のそれぞれの平均輝度値を算出する。ここでは、白の輝度値が２５５であり、黒の輝度値が０であるため、平均輝度値は例えば下記の式で算出される。

平均輝度値＝局所領域７１の白の画素数×２５５／局所領域７１の画素数
ステップＳ４２において、置換部１４は、虹彩推定中心位置のＸ座標を算出する。図１１は、虹彩推定中心位置Ｐ３の説明図である。虹彩推定中心位置Ｐ３は、虹彩中心位置の推定位置であり、最終的に算出される虹彩中心位置とは異なる。二重まぶた、まつ毛の濃さ、及びつけまつ毛等の影響によりこれらの部位が白領域Ｄ１として大きく表れることがある。この場合、白目１０３の部位が塗りつぶされる可能性がある。このような事態を回避するために、本実施の形態では虹彩推定中心位置Ｐ３を算出している。

図１１の例では、左から５番目の局所領域７１ａの平均輝度値が最大である。そのため、置換部１４は、局所領域７１ａのＸ方向の中点の座標を虹彩推定中心位置Ｐ３のＸ座標として算出する。なお、局所領域７１のＸ方向の幅によっては、局所領域７１のＸ方向の中点が虹彩推定中心位置Ｐ３のＸ座標として妥当でない場合もある。この場合、局所領域７１のＸ方向の左端又は右端が虹彩推定中心位置Ｐ３のＸ座標として算出されてもよい。

ステップＳ４３において、置換部１４は、虹彩推定中心位置Ｐ３のＹ座標を算出する。図１１を参照し、置換部１４は、局所領域７１ａにおいて、白画素の最上端点Ｐ１と、白画素の最下端点Ｐ２とを検出し、最上端点Ｐ１と最下端点Ｐ２との中点を虹彩推定中心位置Ｐ３のＹ座標として算出する。なお、まつ毛及び化粧の影響で最上端点Ｐ１及び最下端点Ｐ２が左に隣接する局所領域７１ｂ又は右に隣接する局所領域７１ｃに現れることもある。そこで、置換部１４は、局所領域７１ａ～７１ｃのそれぞれの領域において最上端点及び最下端点を算出し、算出した３個の最上端点を平均して平均最上端点を求めるとともに算出した３個の最下端点を平均して平均最下端点を算出し、平均最上端点と平均最下端点との中点を虹彩推定中心位置Ｐ３のＹ座標として算出してもよい。

ステップＳ４４において、置換部１４は、二値画像７０に対して塗りつぶし処理を実行する。可視光画像においては、周囲の明るさ等により、角膜に外光及び背景等が映り込むことがある。この映り込みが大きい場合、黒色又は茶色である瞳内に白などの明るい色の領域が現れる。この場合、目の画像を二値化すると、瞳領域内に黒の島領域が現れ、虹彩情報を高精度に検出できなくなる。そこで、本実施の形態では、塗りつぶし処理を実行する。

図１２は、瞳領域内に黒の島領域Ｄ２が現れた二値画像７０を示す図である。図１２において左図は左目の二値画像７０を示し、右図は右目の二値画像７０を示している。図１２に示すように、左右の二値画像７０の両方において、中央に現れる瞳に相当する白領域Ｄ１内に黒の島領域Ｄ２が点在して現れていることが分かる。この黒の島領域Ｄ２を塗りつぶすのが塗りつぶし処理である。

塗りつぶし処理の詳細は下記の通りである。まず、置換部１４は、二値画像７０に対して虹彩推定中心位置Ｐ３のＸ座標にＹ方向と平行な縦ラインＬ１を設定する。次に、置換部１４は、縦ラインＬ１において二値画像７０の上端側から最初に現れる白画素を上端画素Ｐ４として検出する。次に、置換部１４は、縦ラインＬ１において二値画像７０の下端側から最初に現れる白画素を下端画素Ｐ５として検出する。次に、置換部１４は、上端画素Ｐ４と下端画素Ｐ５間の距離が第１基準距離よりも大きいか否かを判定する。次に、置換部１４は、上端画素Ｐ４及び下端画素Ｐ５間の距離が第１基準距離よりも大きいと判定した場合、縦ラインＬ１において上端画素Ｐ４及び下端画素Ｐ５間にある黒画素を所定の条件を満たす黒画素として判定し、この黒画素を白画素に置換する。一方、置換部１４は、上端画素Ｐ４と下端画素Ｐ５間の距離が第１基準距離以下と判定した場合、縦ラインＬ１に対する前記置換は行わない。第１基準距離としては、例えば、想定される虹彩直径を基準に妥当な距離が採用される。

置換部１４は、このような塗りつぶし処理を虹彩推定中心位置Ｐ３からＸ方向の左側に向けて左基準距離の範囲内の各縦ラインＬ１について実行すると共に虹彩推定中心位置Ｐ３からＸ方向の右側に向けて右基準距離の範囲内の各縦ラインＬ１について実行する。左基準距離範囲と右基準距離範囲との和は第２基準距離の一例である。左基準距離範囲と右基準距離範囲とは例えば同じ範囲である。第２基準距離としては、例えば、想定される虹彩直径よりも多少大きな距離が採用される。これにより、瞳領域に位置する縦ラインＬ１に対して重点的に塗りつぶし処理を適用することができる。

図１３は、塗りつぶし処理後の二値画像８０を示す図である。図１３の左図は図１２の左図の二値画像７０に対して塗りつぶし処理が適用された二値画像８０を示し、図１３の右図は図１２の右図の二値画像７０に対して塗りつぶし処理が適用された二値画像８０を示している。図１３に示すように、図１２に存在していた黒の島領域Ｄ２が白画素で塗りつぶされ、一塊の白画素からなる白領域Ｄ３が生成されていることが分かる。一方、まつ毛の部位にあった黒の島領域は塗りつぶし処理が行われていないことが分かる。すなわち、瞳領域に位置する縦ラインＬ１が重点的に塗りつぶされていることが分かる。

ステップＳ４５において、虹彩情報算出部１５は、瞳領域の左端画素及び右端画素をそれぞれ検出する。図１４は、瞳領域の左端画素Ｐ６（第１画素）及び右端画素Ｐ７（第２画素）が検出された二値画像８０を示す図である。置換部１４は、二値画像８０の白領域Ｄ３において、虹彩推定中心位置Ｐ３を起点として、Ｘ方向を左右に１画素ずつ輝度値の変化を調べる。そして、置換部１４は、Ｘ方向の左側に最初に現れる黒画素を左端画素Ｐ６として検出すると共に、Ｘ方向の右側に最初に現れる黒画素を右端画素Ｐ７として検出する。

ステップＳ４６において、虹彩情報算出部１５は、左端画素Ｐ６及び右端画素Ｐ７の中間位置を虹彩中心位置Ｐ０のＸ座標として算出する。

ステップＳ４７において、虹彩情報算出部１５は、瞳領域の上端画素及び下端画素をそれぞれ検出する。図１５は、瞳領域の上端画素Ｐ８（第３画素）及び下端画素Ｐ９（第４画素）が検出された二値画像８０を示す図である。虹彩情報算出部１５は、二値画像８０の白領域Ｄ３において、虹彩中心位置Ｐ０のＸ座標を起点として、Ｙ方向を上下に１画素ずつ輝度値の変化を調べる。そして、置換部１４は、Ｙ方向の上側に最初に現れる黒画素を上端画素Ｐ８として検出すると共に、Ｙ方向の下側に最初に現れる黒画素を下端画素Ｐ９として検出する。

ステップＳ４８において、虹彩情報算出部１５は、上端画素Ｐ８及び下端画素Ｐ９の中間位置を虹彩中心位置Ｐ０のＹ座標として算出する。以上により虹彩中心位置Ｐ０が算出される。

ステップＳ４９において、虹彩情報算出部１５は、虹彩半径を算出する。ここで、虹彩情報算出部１５は、虹彩中心位置Ｐ０及び左端画素Ｐ６間の距離、虹彩中心位置Ｐ０及び右端画素Ｐ７間の距離、又は両距離の平均値を虹彩半径として算出すればよい。或いは、虹彩情報算出部１５は、虹彩中心位置Ｐ０及び上端画素Ｐ８間の距離、虹彩中心位置Ｐ０及び下端画素Ｐ９間の距離、又は両距離の平均値を虹彩半径として算出してもよい。或いは、虹彩情報算出部１５は、これらの４つの距離の平均値を虹彩半径として算出してもよい。ステップＳ４９が終了すると処理は図３のステップＳ８に進む。さらに、虹彩情報算出部１５は、虹彩中心位置Ｐ０を中心とし、虹彩半径を半径とする円を虹彩外縁として算出してもよい。

このように、実施の形態１における虹彩検出装置１によれば、白領域Ｄ１内に表れる黒画素であって所定の条件を満たす黒画素が白画素に置き換えられた二値画像８０が生成され、二値画像８０から虹彩情報が算出されている。これにより、白領域内の瞳に相当する白領域Ｄ１内に現れる黒の島領域Ｄ２が白画素で塗りつぶされることになる。その結果、角膜に映り込んだ外光及び背景の影響が抑制され、虹彩情報の検出精度のさらなる向上を図ることができる。

（実施の形態２）
図１６は、本開示の実施の形態２における虹彩検出システム１００Ａの全体構成の一例を示すブロック図である。実施の形態２における虹彩検出装置１Ａは、まぶた、目尻、及び目頭を検出するものである。なお、実施の形態２において、実施の形態１と同一の構成要素には同一の符号を付して説明を省略する。

虹彩検出装置１Ａのプロセッサ１０Ａは、実施の形態１の虹彩検出装置１のプロセッサ１０に対して、さらにまぶた検出部１７及び目尻目頭検出部１８を含んでいる。

まぶた検出部１７は、二値化処理部１３により生成された二値画像７０から人Ｕ１の上まぶた及び下まぶたの位置を検出する。まぶた検出部１７は二値画像７０に対してモルフォロジー勾配演算を適用することで、上まぶた及び下まぶたの位置を検出すればよい。まぶた検出部１７は、左の二値画像７０及び右の二値画像７０のそれぞれについて、上まぶた及び下まぶたの位置を検出する。

目尻目頭検出部１８は、二値化処理部１３により生成された二値画像７０から目尻及び目頭の位置を検出する。ここで、目尻目頭検出部１８は、左の二値画像７０及び右の二値画像７０のそれぞれについて、目尻及び目頭の位置を検出する。

続いて、実施の形態２における虹彩検出装置１Ａの処理について説明する。図１７は、本開示の実施の形態２における虹彩検出装置１Ａの処理の一例を示すフローチャートである。なお、図１７のフローチャートにおいて図３と同じ処理には同じ処理番号が付されている。また、図１７では図３のステップＳ８は省かれている。

ステップＳ７に続くステップＳ９において、まぶた検出部１７はモルフォロジー勾配演算により上まぶた及び下まぶたの位置を検出する。図１８は、モルフォロジー勾配演算が実行される前の二値画像７０を示す図である。

まず、まぶた検出部１７は、二値画像７０に対して膨張処理を適用する。膨張処理は、注目画素の近傍に少なくとも１つの白画素があれば、注目画素を白画素に置き換える処理である。次に、まぶた検出部１７は、二値画像７０に対して収縮処理を適用する。収縮処理は、注目画素の近傍に少なくとも１つの黒画素があれば、注目画素を黒画素に置き換える処理である。図１９は、二値画像７０に対して膨張処理及び収縮処理が実行された膨張画像８１及び収縮画像８２を示す図である。

膨張処理が行われることにより、膨張画像８１に含まれる白領域Ｄ１は二値画像７０に含まれる白領域Ｄ１よりも膨張している。収縮処理が行われることにより、収縮画像８２に含まれる白領域Ｄ１は二値画像７０に含まれる白領域Ｄ１よりも収縮されている。

次に、まぶた検出部１７は、膨張画像８１から収縮画像８２を減じることで勾配画像を算出する。図２０は、勾配画像８３を示す図である。勾配画像８３には、二値画像７０の白領域Ｄ１のエッジＥ１が含まれている。

次に、まぶた検出部１７は、エッジＥ１の最上端位置を上まぶたの位置Ｐ１０として検出する。なお、まぶた検出部１７は、虹彩中心位置Ｐ０を通る縦ラインと上側のエッジＥ１との交点を上まぶたの位置Ｐ１０として検出してもよい。また、まぶた検出部１７は、虹彩中心位置Ｐ０を通る縦ラインと下側のエッジＥ１との交点を下まぶたの位置Ｐ１１として検出する。これにより、輝度変化が薄く二値画像７０において明確に表れ難い下まぶたの位置を検出することができる。なお、まぶた検出部１７は、勾配画像８３の左端と右端とをつなぐ上側のエッジＥ１の部分を上まぶたラインとして検出してもよい。

ステップＳ１０において、目尻目頭検出部１８は、目尻及び目頭の位置を検出する。図２１は、目尻及び目頭が検出された二値画像７０を示す図である。二値画像７０の枠は白領域Ｄ１の外接矩形であるため、二値画像７０において、白領域Ｄ１の左端のＸ座標は二値画像７０の左端のＸ座標（Ｘ１１）であり、白領域Ｄ１の右端のＸ座標は二値画像７０の右端のＸ座標（Ｘ１２）であり、両Ｘ座標は二値画像７０を生成する際に算出済みである。そこで、目尻目頭検出部１８は、算出済みの両Ｘ座標を利用して目尻の位置１２及び目頭の位置Ｐ１３を算出する。なお、図２１は、左の二値画像７０であるため、白領域Ｄ１の左端が目尻の位置Ｐ１２となり、白領域Ｄ１の右端が目頭の位置Ｐ１３となる。

詳細には、目尻目頭検出部１８は、Ｘ座標（Ｘ１１）において二値画像７０の下端から１画素ずつ上端に向けて白画素を探索していく。そして、目尻目頭検出部１８は、最初に検出した白画素のＹ座標を目尻の位置Ｐ１２のＹ座標として決定する。同様に、目尻目頭検出部１８は、Ｘ座標（Ｘ１２）において二値画像７０の下端から１画素ずつ上端に向けて白画素を探索していく。そして、目尻目頭検出部１８は、最初に検出した白画素のＹ座標を目頭の位置Ｐ１３のＹ座標として決定する。以上により、目尻の位置Ｐ１２及び目頭の位置Ｐ１３が検出される。

ステップＳ１１において、出力部１６は、虹彩情報をステップＳ１で算出された顔画像に重畳すると共に、目尻の位置Ｐ１２及び目頭の位置Ｐ１３を顔画像に重畳することにより、表示画面を生成し、ディスプレイ３に表示する。図２２は、ディスプレイ３に表示される表示画面Ｇ１の一例を示す図である。表示画面Ｇ１において、虹彩中心位置Ｐ０が瞳の中心に重畳表示されている。さらに、上まぶたの位置Ｐ１０と、下まぶたの位置Ｐ１１と、目尻の位置Ｐ１２と、目頭の位置Ｐ１３とが人Ｕ１の顔画像に重畳表示されている。さらに、虹彩外縁を示す円Ｌ４が顔画像に重畳表示されている。この円Ｌ４は、虹彩情報に含まれる虹彩半径を用いて算出される。さらに、上まぶたの位置Ｐ１０と、目尻の位置Ｐ１２と、目頭の位置Ｐ１３と、下まぶたの位置Ｐ１１とを通る矩形Ｌ３が顔画像に重畳表示されている。

これにより、表示画面Ｇ１は、虹彩情報をはじめとする人Ｕ１の目に関する情報を撮像装置２が撮像した顔画像に対してリアルタイムで表示することができる。

本開示は以下の変形例が採用できる。

（１）実施の形態１、２では、二値画像６０、７０、８０において、第１輝度値が白、第２輝度値が黒であったが、本開示はこれに限定されず、第１輝度値が黒、第２輝度値が白であってもよい。

（２）虹彩情報算出部１５は、さらに以下に示す目に関する情報を算出してもよい。図２３は、目に関する情報を説明するための図である。目に関する情報としては、距離ａ、距離ｂ、距離ｃ、距離ｄ、及び距離ｅが含まれる。

距離ａは上まぶたの位置Ｐ１０と虹彩中心位置Ｐ０との距離である。距離ａは上まぶたの位置Ｐ１０のＹ座標－虹彩中心位置Ｐ０のＹ座標により算出される。

距離ｂは下まぶたの位置Ｐ１１と虹彩中心位置Ｐ０との距離である。距離ｂは虹彩中心位置Ｐ０のＹ座標－下まぶたの位置Ｐ１１のＹ座標により算出される。

距離ｃは目尻の位置Ｐ１２と虹彩中心位置Ｐ０との距離である。左目の場合、距離ｃは虹彩中心位置Ｐ０のＸ座標－目尻の位置Ｐ１２のＸ座標により算出される。

距離ｄは目頭の位置Ｐ１３と虹彩中心位置Ｐ０との距離である。左目の場合、距離ｄは目頭の位置Ｐ１３のＸ座標－虹彩中心位置Ｐ０のＸ座標により算出される。

距離ｅは、上下まぶた間距離である。距離ｅは、上まぶたの位置Ｐ１０のＹ座標－下まぶたの位置Ｐ１１のＹ座標により算出される。

これにより、人Ｕ１の感情及び人の状態を推定することが可能となる。

（３）虹彩情報算出部１５は、さらに、人Ｕ１の両目に関する情報を算出してもよい。両目に関する情報としては、外眼角間距離、内眼角間距離、及び瞳孔間距離が含まれる。外眼角間距離は、左右の目尻間の距離である。外眼角間距離は、右目の目尻の位置Ｐ１３のＸ座標－左目の目尻の位置Ｐ１３のＸ座標により算出される。

内眼角間距離は、左右の目頭間の距離である。内眼角間距離は、右目の目頭の位置Ｐ１２のＸ座標－左目の目頭の位置Ｐ１２のＸ座標により算出される。

瞳孔間距離は、左右の虹彩中心位置Ｐ０間の距離である。外眼角間距離は、右目の虹彩中心位置Ｐ０のＸ座標－左目の虹彩中心位置Ｐ０のＸ座標により算出される。

さらに、虹彩情報算出部１５は、内眼角間距離／瞳孔間距離及び外眼角間距離／内眼角間距離を人Ｕ１の目に関する情報として算出してもよい。

（４）外光の映り込みによる瞳領域の輝度の向上等に起因して、本来、虹彩直径と推定されるサイズよりも大きい又は小さい虹彩直径が検出されることがある。この場合、虹彩情報を正確に検出できない。そこで、虹彩情報算出部１５は、虹彩直径と目尻目頭間距離とを算出して虹彩直径の目尻目頭間距離に対する比率を算出し、この比率が予め定められた基準比率範囲内にない場合、瞳領域の検出に失敗したと判定してもよい。この場合、虹彩情報算出部１５は、虹彩情報を出力部１６に出力せず、エラー信号を出力部１６に出力してもよい。

本開示によれば、虹彩情報を正確に算出できるため、虹彩検出の技術分野において有用である。

１ ：虹彩検出装置
２ ：撮像装置
３ ：ディスプレイ
１０ ：プロセッサ
１１ ：画像取得部
１２ ：目領域検出部
１３ ：二値化処理部
１４ ：置換部
１５ ：虹彩情報算出部
１６ ：出力部
１７ ：検出部
１８ ：目尻目頭検出部
２０ ：メモリ
１００ ：虹彩検出システム

Claims (14)

1. 撮像装置により撮像された人の虹彩を検出する虹彩検出装置における虹彩検出方法であって、
   前記虹彩検出装置のコンピュータが、
   前記人の顔を含む第１画像を取得し、
   前記第１画像から前記人の目の領域を含む第２画像を生成し、
   前記第２画像を二値化して、階調値が閾値より小さい画素が第１輝度値で表され、階調値が閾値以上の画素が第２輝度値で表された第３画像を生成し、
   前記第３画像において、前記第１輝度値を有する第１輝度領域内に表れる前記第２輝度値の画素であって所定の条件を満たす前記第２輝度値の画素を、前記第１輝度値の画素に置き換えて第４画像を生成し、
   前記第４画像を用いて前記人の虹彩の位置及び大きさの少なくとも一方に関する情報を含む虹彩情報を算出し、
   前記虹彩情報を出力する、
   虹彩検出方法。
2. 前記第４画像の生成では、前記第３画像を構成する複数の縦ラインのそれぞれについて、前記第３画像の上端側から最初に現れる前記第１輝度値の画素である上端画素と、前記第３画像の下端側から最初に現れる前記第１輝度値の画素である下端画素とをそれぞれ検出し、前記上端画素及び下端画素間の距離が第１基準距離よりも大きい場合、前記上端画素及び前記下端画素間に含まれる前記第２輝度値の画素を前記所定の条件を満たす前記第２輝度値の画素として判定する、
   請求項１記載の虹彩検出方法。
3. 前記第１輝度値は前記第２輝度値よりも大きく、
   前記第４画像の生成では、前記第３画像を横方向に所定画素ずつ分割して複数の局所領域に分け、各局所領域の平均輝度値を算出し、前記平均輝度値が最大の局所領域の中心位置を虹彩推定中心位置として算出し、前記虹彩推定中心位置から第２基準距離以内にある前記縦ライン内の前記第２輝度値の画素に対してのみ前記所定の条件を満たすか否かを判定する、
   請求項２記載の虹彩検出方法。
4. 前記虹彩情報の算出では、前記第４画像に対して、前記虹彩推定中心位置から前記横方向の左側に最初に現れる前記第２輝度値を有する第１画素と、前記虹彩推定中心位置から前記横方向の右側に最初に現れる前記第２輝度値を有する第２画素とをそれぞれ検出し、前記第１画素及び前記第２画素の中間位置を前記横方向の虹彩中心位置として算出する、
   請求項３記載の虹彩検出方法。
5. 前記虹彩情報の算出では、前記第４画像に対して、前記虹彩推定中心位置から縦方向の上側に最初に現れる前記第２輝度値の画素である第３画素と、前記虹彩推定中心位置から前記縦方向の下側に最初に現れる前記第２輝度値の画素である第４画素とをそれぞれ検出し、前記第３画素及び前記第４画素の中間位置を前記縦方向の虹彩中心位置として算出する、
   請求項３又は４記載の虹彩検出方法。
6. さらに、前記第３画像に基づいて上下のまぶたの位置をそれぞれ検出する、
   請求項１～５のいずれかに記載の虹彩検出方法。
7. 前記まぶたの位置の検出では、前記第３画像に対してモルフォロジー勾配演算を行うことによって前記まぶたの位置を検出する、
   請求項６記載の虹彩検出方法。
8. 前記第３画像は、前記人の左目及び右目のいずれか一方の二値画像であり、
   さらに、前記第３画像に基づいて目尻及び目頭の位置をそれぞれ検出する、
   請求項１～７のいずれかに記載の虹彩検出方法。
9. 前記目尻及び前記目頭の位置の検出では、前記第３画像において、前記第１輝度値を有する横方向の左端の画素の位置を前記目尻及び前記目頭のいずれか一方の位置として検出し、前記第１輝度値を有する前記横方向の右端の画素の位置を前記目尻及び前記目頭のいずれか他方の位置として検出する、
   請求項８記載の虹彩検出方法。
10. さらに、前記目尻及び前記目頭の位置に基づいて前記人の両目に関する情報を算出する、
    請求項８又は９記載の虹彩検出方法。
11. さらに、前記第３画像から上下のまぶたの位置と目尻及び目頭の位置とを検出し、検出結果に基づいて、虹彩中心位置及び上まぶたの位置間の距離と、前記虹彩中心位置及び下まぶたの位置間の距離と、前記虹彩中心位置及び前記目尻の位置間の距離と、前記虹彩中心位置及び前記目頭の位置間の距離とを算出する、
    請求項１～１０のいずれかに記載の虹彩検出方法。
12. さらに、前記虹彩情報をディスプレイに表示される前記人の顔画像に重畳して表示する、
    請求項１～１１のいずれかに記載の虹彩検出方法。
13. 撮像装置により撮像された人の虹彩を検出する虹彩検出装置であって、
    前記人の顔を含む第１画像を取得する画像取得部と、
    前記第１画像から前記人の目の領域を含む第２画像を検出する目領域検出部と、
    前記第２画像を二値化して、輝度が閾値より小さい画素が第１輝度値で表され、輝度が閾値以上の画素が第２輝度値で表された第３画像を生成する二値化処理部と、
    前記第３画像において、前記第１輝度値を有する第１輝度領域内に表れる前記第２輝度値の画素であって所定の条件を満たす前記第２輝度値の画素を、前記第１輝度値の画素に置き換えて第４画像を生成する置換部と、
    前記第４画像を用いて前記人の虹彩の位置及び大きさの少なくとも一方に関する情報を含む虹彩情報を算出する虹彩情報算出部と、
    前記虹彩情報を出力する出力部とを備える、
    虹彩検出装置。
14. 撮像装置により撮像された人の虹彩を検出する虹彩検出装置としてコンピュータを機能させる虹彩検出プログラムであって、
    前記人の顔を含む第１画像を取得する画像取得部と、
    前記第１画像から前記人の目の領域を含む第２画像を検出する目領域検出部と、
    前記第２画像を二値化して、輝度が閾値より小さい画素が第１輝度値で表され、輝度が閾値以上の画素が第２輝度値で表された第３画像を生成する二値化処理部と、
    前記第３画像において、前記第１輝度値を有する第１輝度領域内に表れる前記第２輝度値の画素であって所定の条件を満たす前記第２輝度値の画素を、前記第１輝度値の画素に置き換えて第４画像を生成する置換部と、
    前記第４画像を用いて前記人の虹彩の位置及び大きさの少なくとも一方に関する情報を含む虹彩情報を算出する虹彩情報算出部と、
    前記虹彩情報を出力する出力部としてコンピュータを機能させる、
    虹彩検出プログラム。

Images