JP2021002236A - 撮像装置、生体認証装置および携帯情報端末 - Google Patents

Abstract

【課題】画像のＳＮ比の低下を抑制可能な撮像装置を実現する。【解決手段】携帯情報端末（１）は、輝度値の組を有する所定の領域において、当該輝度値の組に基づいて、所定の領域ごとに、正反射光成分の少なくとも一部を除去する除去処理と、輝度値の組の平均値を算出する平均処理と、のいずれを実行するかを判定する処理判定部（２４）を有する。【選択図】図１

Description

本開示は、撮像装置、当該撮像装置を備える生体認証装置、および、当該生体認証装置を備える携帯情報端末に関する。

近年、撮像画像に基づく生体認証を行う技術が開発されている。そのような技術の一例が特許文献１に開示されている。特許文献１の撮像装置は、画素グループの画素ごとに偏光方向が異なるように設けられた偏光板を通して撮像対象を撮像する画像センサと、画素グループごとに最小輝度の画素を選択する画像選択部と、選択した画素から生成した撮像画像を出力する画像出力部とを備える。これにより、正反射光の影響を抑制できるため、精度の良い静脈パターンの抽出を行うことが可能となる。

国際公開２０１７／１４９６０８号

しかしながら、上記撮像装置においては、画像の全ての領域において、画素グループごとに最小輝度の画素を選択している。このため、ショットノイズの影響により、生成される画像のＳＮ比が低下する虞がある。特に外光の強度が比較的低い領域においては、ショットノイズの影響によるＳＮ比の低下が顕著になると考えられる。

本開示の一態様は、画像のＳＮ比の低下を抑制可能な撮像装置などを実現することを目的とする。

上記の課題を解決するために、本開示の一態様に係る撮像装置は、複数の画素を含む撮像素子と、偏光角が互いに異なる複数の偏光素子を備える偏光ユニットを複数備え、当該偏光ユニットが、前記複数の画素に対応付けられて配列されている偏光フィルタと、前記撮像素子における、前記複数の偏光素子の偏光角のそれぞれに対応する輝度値の組を有する所定の領域において、当該輝度値の組に基づいて、前記所定の領域ごとに正反射光成分の少なくとも一部を除去する除去処理を実行することができる除去処理部と、前記所定の領域ごとに、前記輝度値の組の平均値を算出する平均処理を実行することができる平均処理部と、前記所定の領域ごとに前記除去処理および前記平均処理のいずれを実行するかを判定する処理判定部と、を有する。

本開示の一態様に係る撮像装置によれば、画像のＳＮ比の低下を抑制できる。

実施形態１に係る携帯情報端末の要部の構成を示すブロック図である。 偏光フィルタおよび偏光ユニットの一例を示す図である。 被写体への映り込み強度が高い画素における輝度値の組の一例を示すグラフである。 被写体への映り込み強度が低い画素における輝度値の組の一例を示すグラフである。 平均処理に用いた輝度値の数と、照合の精度との関係を示すグラフである。 実施形態１に係る撮像装置における処理を示すフローチャートである。 屋外で撮像した画像における画素ごとの輝度値の組の、標準偏差の例を示す図である。 暗室で撮像した画像における画素ごとの輝度値の組の、標準偏差の例を示す図である。 実施形態１の変形例について説明するための図である。 実施形態２に係る携帯情報端末の要部の構成を示すブロック図である。 入射角算出部による入射角の算出方法について説明するための図である。 実施形態２に係る携帯情報端末において除去処理部が除去処理を実行する領域および平均処理部が平均処理を実行する領域を示す図である。 入射角閾値と、画像の照合の精度との関係の一例を示すグラフである。 入射角閾値と、画像の照合の精度との関係の別の例を示すグラフである。 実施形態２に係る携帯情報端末における処理を示すフローチャートである。 実施形態３に係る携帯情報端末の要部の構成を示すブロック図である。 実施形態３に係る携帯情報端末における処理を示すフローチャートである。 周辺画素平均値補間について説明するための図である。

〔実施形態１〕
以下、本開示の一実施形態について、詳細に説明する。

（携帯情報端末１の構成）
図１は、実施形態１に係る携帯情報端末１（生体認証装置、撮像装置）の要部の構成を示すブロック図である。図１に示すように、携帯情報端末１は、撮像部１０、画像処理部２０、認証部３０およびデータ格納部４０を備える。

撮像部１０は、携帯情報端末１のユーザの操作に基づいて被写体の赤外光画像を撮像する。本実施形態では、被写体は、ユーザの眼球である。撮像部１０は、撮像素子１１、偏光フィルタ１２、および赤外光源１４を備える。

撮像素子１１は、複数の画素から構成されるＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサなどである。それぞれの画素は、入射する光信号を電気信号に変換する受光素子を含む。受光素子は、例えばフォトダイオードである。

偏光フィルタ１２は、偏光角が互いに異なる複数の偏光素子を備える偏光ユニット１３（図２参照）を複数備えるマルチ偏光フィルタである。偏光ユニット１３は、撮像素子１１に含まれる複数の画素に対応付けられて配列されている。本実施形態では、偏光ユニット１３に含まれるそれぞれの偏光素子に対して、画素が１個ずつ対応付けられている。

図２は、偏光フィルタ１２および偏光ユニット１３の一例を示す図である。図２に示す例では、偏光フィルタ１２は、互いに偏光角が異なる偏光素子１２ａ、１２ｂ、１２ｃおよび１２ｄを含む偏光ユニット１３を複数備える。

図２に示すように、偏光素子１２ａの偏光角を０°とした場合、偏光素子１２ｂ〜１２ｄの偏光角は、それぞれ４５°、９０°および１３５°である。なお、偏光ユニット１３における偏光素子１２ａ〜１２ｄの位置関係は、図２に示した例に限定されない。

赤外光源１４は、被写体に対して赤外光を照射する光源である。被写体により反射された赤外光を、撮像素子１１に含まれる複数の画素が受光することで、撮像部１０は被写体の赤外光画像を撮像画像として撮像する。

本実施形態における被写体は、ユーザの眼球、特に虹彩である。携帯情報端末１において、撮像部１０は、ユーザの虹彩を含む画像を撮像することで、ユーザの生体情報、具体的には虹彩情報を取得する。

画像処理部２０は、撮像部１０が撮像した撮像画像について、画像処理を行う。画像処理部２０は、画像取得部２１、補間処理部２２、指標算出部２３、処理判定部２４、画像生成部２５および画像出力部２６を備える。

画像取得部２１は、撮像素子１１が撮像した撮像画像を撮像部１０から取得する。補間処理部２２は、画像取得部２１が取得した撮像画像について、補間すべき位置における各偏光角に対応する輝度値を、当該位置の周辺に位置する周辺画素の輝度値を用いて偏光角毎に補間し、当該位置の輝度値を、偏光角毎に対応する輝度値の組として規定する。「補間すべき位置」とは、携帯情報端末１の設計者により設定された、輝度値を補間する対象となる位置である。「補間すべき位置」は、各画素の位置と重なっていてもよいし、複数の画素の間の位置であってもよい。補間処理部２２による補間処理の具体的な方法については特に限定されず、最近傍画素（nearest neighbor）、線形補間（bilinear）、三次曲線補間（bicubic）、および周辺画素平均値補間などの公知技術から、携帯情報端末１の設計者が適宜選択すればよい。

図１８は、周辺画素平均値補間について説明するための図である。図１８を参照して、補間処理部２２による補間処理の一例としての周辺画素平均値補間について説明する。

偏光フィルタ１２において、図２に示したように偏光素子１２ａ〜１２ｄが配置されている場合、図１８に符号１８０１で示すように、偏光角が０°である光が入射する画素の周囲に、（ｉ）偏光角が４５°である光が入射する画素、および（ｉｉ）偏光角が１３５°である光が入射する画素がそれぞれ、上下または左右に２つずつ隣接する。また、偏光角が０°である光が入射する画素の周囲に、偏光角が９０°である光が入射する画素が斜め４方向に隣接する。

偏光角が４５°である光が入射する画素の輝度値をそれぞれI(45,1),I(45,2)とする。偏光角が９０°である光が入射する画素の輝度値をそれぞれI(90,1),I(90,2),I(90,3),I(90,4)とする。偏光角が１３５°である光が入射する画素の輝度値をそれぞれI(135,1),I(135,2)とする。この場合、周辺画素平均値補間では、偏光角が０°である光が入射する画素における、偏光角が４５°、９０°および１３５°である光の輝度値I45,I90,I135は、図１８に符号１８０２で示すように、それぞれ以下のとおり算出される。
I45=(I(45,1)+I(45,2))/2
I90=(I(90,1)+I(90,2)+I(90,3)+I(90,4))/4
I135=(I(135,1)+I(135,2))/2
これにより、偏光角が０°である光が入射する画素における、偏光角が４５°、９０°および１３５°である光の輝度値が算出される。偏光角が４５°、９０°または１３５°である光が入射する画素についても、同様の計算により、入射する光の偏光角以外の偏光角の光の輝度値が算出される。

指標算出部２３は、所定の領域ごとに、当該画素における輝度値の組に含まれる複数の輝度値の変動を示す変動指標を算出する。所定の領域とは、偏光フィルタ１２が備える複数の偏光素子の偏光角のそれぞれに対応する輝度値の組を有する領域である。本実施形態においては、補間処理部２２が画素ごとに輝度値の組を規定するため、所定の領域は個々の画素の領域である。ただし、後述するように、所定の領域は複数の画素を含む領域であってもよい。

本実施形態では、指標算出部２３が算出する変動指標は、輝度値の統計的ばらつきを示す指標である。具体的には、変動指標は、例えば標準偏差または変動係数である。撮像画像の輝度値には、被写体に入射した光が拡散反射された拡散反射光成分と、正反射された正反射光成分とが含まれる。正反射光成分は、生体認証においてはノイズとなる成分である。本実施形態における被写体は虹彩であるため、正反射光成分は、主に虹彩手前に存在する角膜において正反射された周囲の物体の像（環境光）が映り込む、映り込みとして画像に表れる。正反射光は偏光しており、偏光フィルタを経た結果、映り込みが強い領域においては、上記輝度値の組の中において輝度値の変動が大きくなるため、標準偏差または変動係数といった、統計的ばらつきを示す指標を用いて、映り込みの強さを判定することができる。以下の説明では、変動指標が標準偏差であるものとする。

処理判定部２４は、所定の領域ごとに、除去処理または平均処理のいずれを実行するかを判定する。除去処理とは、輝度値の組に基づいて、正反射光成分の少なくとも一部を除去する処理である。平均処理は、輝度値の組の平均値を算出する処理である。

図３は、被写体への映り込み強度が高い画素における輝度値の組の一例を示すグラフである。図３において、横軸は偏光角、縦軸は輝度値である。除去処理部２５ａは、被写体への映り込み強度が高い画素における輝度値の組を、図３に示すように、偏光角を変数とする三角関数として近似する。さらに除去処理部２５ａは、近似した三角関数における最小値を、その画素における輝度値として算出する。これにより、除去処理部２５ａは、当該画素において実際に受光した光の輝度値に含まれる正反射光成分の少なくとも一部を除去する。また、除去処理部２５ａは、輝度値の組を三角関数により近似せず、輝度値の組における最小の輝度値を当該画素における輝度値として選択してもよい。

図４は、被写体への映り込み強度が低い画素における輝度値の組の一例を示すグラフである。図４において、横軸は偏光角、縦軸は輝度値である。図４においては、偏光角が４５°である光の輝度が最小値Ｍｉｎ．をとる。また、図４には、４つの輝度値の平均値Ａｖｅ．が示されている。

被写体への映り込み強度が低い画素においては、図４に示すように、偏光角に依存する輝度値の変化は小さくなる。このような画素においては、輝度値に対する主なノイズはショットノイズである。画素におけるショットノイズの影響を低減する方法の例として、平均値を当該画素の輝度値とする方法とが挙げられる。

例えばある画素における輝度値の組が、偏光角が０°、４５°、９０°および１３５°の４種類の輝度値を含み、それらの輝度値の平均値を当該画素における輝度値として採用した場合、採用された輝度値におけるＳＮ比ＳＮ１は以下の式で表される。以下の式において、Ｉｎ（ｎ＝０、４５、９０、１３５）は、偏光角がｎ°である光の輝度値である。

ＳＮ１＝√（Ｉ０＋Ｉ４５＋Ｉ９０＋Ｉ１３５）
一方、ある画素における輝度値の組の最小値を当該画素における輝度値として採用した場合、採用された輝度値におけるＳＮ比ＳＮ２は以下の式で表される。以下の式において、Ｉｓは、Ｉｎの最小値である。

ＳＮ２＝√Ｉｓ
一般に、映り込みが生じていない画素においては、Ｉｎの値は偏光角によらずほぼ同等な値を示すことから、ＳＮ１はＳＮ２の２倍程度になる。ここで、除去処理部２５ａが除去処理を行った場合における画素の輝度値は、当該画素における輝度値の組の最小値に近い値となる。すなわち、映り込みが生じていない画素においては、平均処理部２５ｂが平均処理を行った場合のＳＮ比は、除去処理部２５ａが除去処理を行った場合のＳＮ比の約２倍となる。

このため、映り込みの強度が低い画素においては平均処理を行うことで、輝度値に対するショットノイズの影響を低減することができる。なお、輝度値の組がｍ個の輝度値を含む場合、平均処理部２５ｂが平均処理を行った場合のＳＮ比は、除去処理部２５ａが除去処理を行った場合のＳＮ比の約√ｍ倍となる。

以上のとおり、ある領域において、除去処理および平均処理のいずれを実行することが好ましいかは、当該領域における映り込みの強さにより異なる。携帯情報端末１では、処理判定部２４が所定の領域ごとに、除去処理または平均処理のいずれを実行するかを判定することで、単一の画像内において、領域ごとに除去処理または平均処理の、適切な処理を実行することができる。その結果、画像のＳＮ比の低下を抑制することができる。

本実施形態では、処理判定部２４は、所定の領域ごとに、当該画素における輝度値の標準偏差が所定の標準偏差閾値（第２閾値）以上である場合には、当該画素に対して除去処理を実行すると判定する。一方、処理判定部２４は、輝度値の標準偏差が所定の標準偏差閾値未満である場合には、当該画素に対して平均処理を実行すると判定する。これにより、画素ごとの映り込みの強さに基づいて、各画素に対して除去処理または平均処理のいずれかを実行することができる。

画像生成部２５は、補間処理部２２が所定の領域としての各画素に規定した輝度値の組に対して、除去処理または平均処理のいずれかを実行することで、処理後画像を生成する。処理後画像は、認証部３０による認証に用いられる認証用画像、またはデータ格納部４０に格納される登録画像として用いられる。画像生成部２５は、上述した除去処理を実行する除去処理部２５ａおよび上述した平均処理を実行する平均処理部２５ｂを備える。

また、後述する実施形態２または３においては、除去処理部２５ａは、画素ごとの正反射光成分のＳ偏光成分およびＰ偏光成分を算出して減算する、ＳＰ近似処理を行ってもよい。ＳＰ近似処理については実施形態２で説明する。

（平均処理についての実験）
平均処理に用いる輝度値の数と、照合の精度との関係について、以下の実験を行った。９種類の偏光角の偏光素子を含む偏光ユニットを複数有する偏光フィルタを備える撮像装置を用いて、環境光の映り込みが生じない暗室において虹彩を複数撮像した。撮像した画像における、偏光ユニットに対応する画素群ごとの輝度値の組のうち、一部またはすべての輝度値を用いて平均処理を実行した。具体的には、平均処理に用いる輝度値の数を、１、２、４、６、８および９の６通りに異ならせた画像をそれぞれ複数生成した。生成した画像を用いて認証処理を行って得点を算出し、当該得点の、平均処理に用いた輝度値の数ごとの平均値を抽出した。得点とは、認証処理における登録画像と認証用画像との一致度であり、一致度が高い程得点が高くなる。

図５は、平均処理に用いた輝度値の数と、照合の精度との関係を示すグラフである。図５において、横軸は、平均処理に用いる輝度値の数の平方根、縦軸は得点である。図５における得点の値は、平均処理に用いる画素数を１とした場合の値を１として規格化したものである。図５に示すように、得点の値は、平均処理に用いた輝度値の数の平方根に対して一次関数的に増加する。したがって、認証の精度も同様に、ＳＮ比に対して一次関数的に増加するといえる。

以上のとおり、携帯情報端末１においては、撮像画像のうち、被写体への映り込みの強い画素では除去処理部２５ａにより除去処理を実行し、当該画素における輝度値のうち、映り込みに起因する正反射光成分の少なくとも一部を除去する。一方、被写体への映り込みが弱い領域では平均処理部２５ｂにより平均処理を実行し、当該画素における輝度値のＳＮ比を改善する。携帯情報端末１においては、個々の画素について除去処理または平均処理のいずれかを行った処理後画像を登録画像としてデータ格納部４０に格納し、または予め登録された登録画像と照合するための認証用画像として用いることで、認証の精度を改善することができる。

また、上述したとおり、指標算出部２３、処理判定部２４、および画像生成部２５は、補間処理部２２が規定する、各画素における輝度値の組に対して処理を実行する。このため、撮像素子における１画素が、処理後画像における１画素に対応する。したがって、撮像素子の解像度と比較して処理後画像の解像度を低下させることなく、正反射光成分を除去する、またはＳＮ比の低下を抑制することができる。

なお、上述したとおり、所定の領域は、複数の画素を含む領域であってもよい。この場合、携帯情報端末１において、画像処理部２０は、必ずしも補間処理部２２を備える必要はない。画像処理部２０が補間処理部２２を備えない場合には、上述した所定の領域は、例えば偏光ユニット１３に対応する複数の画素に対応する領域である。この場合における輝度値の組は、偏光ユニット１３に含まれる偏光素子１２ａ〜１２ｄのそれぞれに対応する複数の画素における輝度値の集合である。この場合、所定の領域に対応する複数の画素から出力される輝度値（４つの輝度値）によって、処理後画像の１画素の輝度値が決定されてもよい。また、この場合、補間処理部２２による処理が不要となるため、画像処理部２０における処理量が低減される。

（携帯情報端末１における処理）
図６は、携帯情報端末１における処理を示すフローチャートである。携帯情報端末１においては、まず画像取得部２１が、撮像部１０から画像を取得する（Ｓ１１）。次に、補間処理部２２が、画像に含まれる各画素について、上述した補間処理を行うことで、画素ごとの輝度値の組を算出する（Ｓ１２）。さらに、指標算出部２３が、画素ごとに、輝度値の標準偏差を算出する（Ｓ１３）。

処理判定部２４は、１つの画素について、輝度値の標準偏差が閾値以上であるか否かを判定する（Ｓ１４）。輝度値の標準偏差が閾値以上である（Ｓ１４でＹＥＳ）場合には、除去処理部２５ａが除去処理を実行する（Ｓ１５）。一方、輝度値の標準偏差が閾値以上でない（Ｓ１３でＮＯ）場合には、平均処理部２５ｂが平均処理を実行する（Ｓ１６）。処理判定部２４は、全ての画素についてステップＳ１４の処理を実行する。さらに、全ての画素について除去処理部２５ａまたは平均処理部２５ｂがステップＳ１５またはＳ１６の処理を実行することで、画像生成部２５は処理後画像を生成する。

画像出力部２６は、処理後画像をデータ格納部４０または認証部３０へ出力する（Ｓ１７）。処理後画像を認証用画像として登録する場合には、画像出力部２６は、処理後画像をデータ格納部４０へ出力し、登録画像として格納する。一方、処理後画像により認証を行う場合には、画像出力部２６は、処理後画像を認証部３０へ出力する。認証部３０は、処理後画像を認証用画像として、予め登録された登録画像と比較することで認証を行う。

（処理の具体例）
図７は、屋外で撮像した画像における画素ごとの輝度値の組の、標準偏差の例を示す図である。図７には、屋外で撮像した画像の例が符号７１００で示されている。符号７１００の画像には、映り込みの強い領域Ｒｈが網掛けで示されている。

図７には、符号７１００で示した画像における直線Ｌ上の各画素における輝度値の標準偏差のグラフが符号７２００で示されている。符号７２００のグラフにおいて、横軸は直線Ｌ上における画素の位置を示し、縦軸は当該画素における輝度値の標準偏差を示す。符号７２００のグラフには、処理判定部２４による判定に用いられる標準偏差閾値が示されている。図７に示す例では、標準偏差閾値は、携帯情報端末１の設計者またはユーザが予め設定した一定の値である。具体的には、符号７２００のグラフは、上限を２５５として規格化した輝度値の標準偏差について、１００を標準偏差閾値として示している。

符号７２００のグラフに示すように、直線Ｌ上の画素のうち、領域Ｒｈに含まれる画素においては、輝度値の標準偏差は閾値以上の値となる。当該画素については、除去処理部２５ａが除去処理を行う。一方、直線Ｌ上の画素のうち、領域Ｒｈに含まれる画素以外の画素においては、輝度値の標準偏差は閾値未満の値となる。当該画素については、平均処理部２５ｂが平均処理を行う。

図８は、暗室で撮像した画像における画素ごとの輝度値の組の、標準偏差の例を示す図である。図８には、暗室で撮像した画像の例が符号８１００で示されている。符号８１００の画像は暗室で撮像した画像であるため、符号７１００の画像における領域Ｒｈのような、映り込みの強い領域は存在しない。

図８には、符号８１００で示した画像における直線Ｌ上の各画素における輝度値の標準偏差のグラフが符号８２００で示されている。符号８２００のグラフにおいて、横軸は直線Ｌ上における画素の位置を示し、縦軸は当該画素における輝度値の標準偏差を示す。符号８２００のグラフには、処理判定部２４による判定の閾値が示されている。符号８２００のグラフにおける判定の閾値は、図７における符号７２００のグラフにおける判定の閾値と同じである。

符号８２００のグラフに示すように、直線Ｌ上の画素における輝度値の標準偏差は、いずれも閾値未満である。このため、図８に符号８１００で示した画像においては、直線Ｌ上の全ての画素について、平均処理部２５ｂが平均処理を行う。

処理判定部２４による判定の閾値は、上述したとおり、携帯情報端末１の設計者またはユーザが予め設定した一定の値であってよい。また、当該閾値は、処理判定部２４が画像ごとに設定する値であってもよい。処理判定部２４が画像ごとに閾値を設定する場合、当該閾値は、例えば画素ごとの輝度値の標準偏差の、虹彩の画像全体での平均値である。

この場合、例えば処理判定部２４は、画像における虹彩の領域を特定する。さらに処理判定部２４は、当該領域における指標値の平均値を算出し、当該平均値を判定における閾値とする。指標値が標準偏差である場合には、処理判定部２４は、虹彩の領域に含まれる画素ごとの輝度の組について標準偏差を算出し、虹彩の領域の全体での標準偏差の平均値を算出して閾値とする。

処理判定部２４が虹彩の領域を特定する場合、当該領域は、瞳孔および睫毛の領域を含まないことが好ましい。例えば処理判定部２４は、画素ごとの輝度の平均値に所定の閾値を設け、輝度の平均値が当該閾値未満である画素について、瞳孔または睫毛の領域の画素であるものとして、指標の算出を行わないこととする。所定の閾値は、画素に対応する被写体の部位が瞳孔または睫毛である場合に想定される輝度の上限値である。

（変形例）
図９は、実施形態１の変形例について説明するための図である。図９には、画像における虹彩の領域ＲＩが、虹彩の中心から放射状に延びる直線、および虹彩の中心を中心とする同心円により、複数の小領域Ｒｓに区分されている。また、虹彩の領域ＲＩの一部には、映り込み像の領域ＲＮが重畳している。なお、簡単のため、図９では一部の小領域Ｒｓについてのみ符号を付している。

本変形例では、処理判定部２４は、小領域Ｒｓごとに除去処理および平均処理のいずれを実行するか判定する。具体的には、処理判定部２４は、まず画素ごとの輝度値の標準偏差が標準偏差閾値以上であるか否かを判定する。さらに、処理判定部２４は、小領域Ｒｓに含まれる画素の総数に対する、標準偏差が標準偏差閾値以上である画素の比率が所定の区分用閾値以上であるか否かを判定する。例えば１つの小領域Ｒｓについて、当該小領域Ｒｓに含まれる画素の総数がｎ個であり、標準偏差が標準偏差閾値以上である画素の数がｍ個であるものとする。この場合、処理判定部２４は、ｍ／ｎが区分用閾値以上であるか否かを判定する。

処理判定部２４は、上記の比率が区分用閾値以上である場合、小領域内の全ての画素について、除去処理を実行すると判定する。一方、処理判定部２４は、上記の比率が区分用閾値未満である場合、小領域内の全ての画素について、平均処理を実行すると判定する。区分用閾値は携帯情報端末１の設計者またはユーザなどにより適宜設定され、例えば０．５である。

上記の変形例によれば、小領域Ｒｓごとに、除去処理部２５ａが除去処理を実行するか、または平均処理部２５ｂが平均処理を実行する。このため、例えば映り込み像の領域ＲＮ内の画素など、輝度値の標準偏差が標準偏差閾値以上である画素であっても、当該画素を含む小領域Ｒｓ内の、他の画素における輝度値の標準偏差によっては、平均処理部２５ｂが平均処理を実行する場合もある。逆に、輝度値の標準偏差が標準偏差閾値未満の画素であっても、当該画素を含む小領域Ｒｓ内の、他の画素における輝度値の標準偏差によっては、除去処理部２５ａが除去処理を実行する場合もある。このような変形例によっても、画像のＳＮ比を抑制することができる。

〔実施形態２〕
本開示の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

図１０は、実施形態２に係る携帯情報端末２（生体認証装置、撮像装置）の要部の構成を示すブロック図である。図１０に示すように、携帯情報端末２は、指標算出部２３の代わりに入射角算出部２７を備える点で、携帯情報端末１と相違する。

入射角算出部２７は、画素ごとに、当該画素に対応する、撮像素子１１が撮像する被写体の部位に対する光の入射角を算出する。以下の説明では、当該光の入射角について、単に「画素における光の入射角」と称することがある。入射角の算出方法については後述する。また、携帯情報端末２において、処理判定部２４は、画素ごとに、入射角算出部２７が算出した入射角が所定の入射角閾値（第１閾値）以上である場合には、除去処理を実行すると判定する。一方、処理判定部２４は、入射角が入射角閾値未満である場合には、平均処理を実行すると判定する。

一般に、画素における光の入射角が大きい程、当該画素における映り込みの強度は高くなる傾向がある。携帯情報端末２における処理判定部２４は、上記のように判定することで、映り込みの強度が高いと考えられる画素に対しては除去処理を実行し、映り込みの強度が低いと考えられる画素に対しては平均処理を実行すると判定することができる。したがって、携帯情報端末２における処理判定部２４は、ノイズなどの影響により輝度値の分散が小さくなる場合においても画素ごとの処理を適切に判定することができる。

図１１は、入射角算出部２７による入射角の算出方法について説明するための図である。図１１には、撮像部１０と眼球Ｅとの位置関係、および、撮像部１０の撮像素子１１が撮像した眼球Ｅの画像ＩＥが示されている。図１１を参照して、画像ＩＥ上の画素ＰＩにおける光の入射角の算出方法を説明する。以下の説明において、各数値を以下のとおり規定する。

θ：画素ＰＩに対応する角膜の表面の点ＰＥで鏡面反射（正反射）して撮像部１０へ入射する環境光ＬＥの、角膜の表面への入射角（すなわち画素ＰＩにおける光の入射角）
ｒ１：撮像部１０のレンズと眼球Ｅの中心との距離
φ：撮像部１０と眼球Ｅの中心
Ｒ＿ｅｙｅ：角膜の曲率半径
ｒ２：虹彩の画像における瞳孔の中心と画素ＰＩとの画素間距離
Ｒ＿ｉｒｉｓ：虹彩の画像における瞳孔の中心と虹彩の外周との画素間距離
また、図１１における円Ｄは、入射角がθである画素の位置を示す。入射角がθである画素は、画像における瞳孔の中心を中心とする円Ｄ上に位置する。

このとき、
ｒ２＝Ｒ＿ｅｙｅ×sinφ
sinφ＝ｒ２／Ｒ＿ｅｙｅ
φ＝arcsin(ｒ２／Ｒ＿ｅｙｅ)
となる。ここで、撮像部１０と眼球Ｅの中心との距離、すなわち撮影距離が大きいため、θ≒φとすることができる。すなわち、
θ＝arcsin(ｒ２／Ｒ＿ｅｙｅ)
となる。

ｒ２は画素間距離であるため、Ｒ＿ｅｙｅの次元を画素数に合わせる必要がある。Ｒ＿ｅｙｅの画素数は虹彩画像の虹彩半径から算出する。一般的に、角膜の曲率半径は約７．７ｍｍであり、虹彩の半径は約６．０ｍｍであるため、
Ｒ＿ｅｙｅ／Ｒ＿ｉｒｉｓ＝７．７／６．０
とすることができる。したがって、
θ＝arcsin(ｒ２／(Ｒ＿ｉｒｉｓ×７．７／６．０))
となる。

図１２は、携帯情報端末２において除去処理部２５ａが除去処理を実行する領域Ｒｏおよび平均処理部２５ｂが平均処理を実行する領域Ｒｉを示す図である。図１２における円Ｃ上の画素に対応する虹彩の領域では、光の入射角が入射角閾値θｔｈである。円Ｃ上の画素、および円Ｃよりも外側の領域Ｒｏの画素に対しては、入射角が入射角閾値θｔｈ以上になるため、除去処理部２５ａが除去処理を実行する。円Ｃよりも内側の領域Ｒｉの画素に対しては入射角が入射角閾値未満になるため、平均処理部２５ｂが平均処理を実行する。

入射角閾値θｔｈの適切な値を導出するため、以下の実験を行った。晴天時の屋外にて、環境光の映り込みが一様に強い虹彩画像を撮像し、入射角閾値θｔｈを０°〜約４０°まで変動させた。入射角閾値θｔｈが０°の場合は、図１２における円Ｃの半径が０となるため、全ての領域において除去処理部２５ａが除去処理を実行する。また、θｔｈが５０°の場合は、図１２における円Ｃの半径が虹彩の画像の半径以上になるため、虹彩の全ての領域において平均処理部２５ｂが平均処理を実行する。

この実験では、除去処理部２５ａは、上述したＳＰ近似処理を行う。ＳＰ近似処理では、除去処理部２５ａは、画素における輝度値の組の、最大値から最小値を減算することで、Ｓ偏光の輝度値を近似して算出する。Ｐ偏光成分とＳ偏光成分との比率は、眼球Ｅへの光の入射角およびフレネルの法則により算出できる。したがって、除去処理部２５ａは、各画素におけるＳ偏光成分の輝度値、およびＰ偏光成分とＳ偏光成分との比率により、Ｐ偏光成分の輝度値を算出できる。除去処理部２５ａは、画素ごとに算出したＰ偏光成分およびＳ偏光成分の輝度値を、当該画素の輝度値から減算することで、正反射光成分の少なくとも一部を除去する。

図１３は、入射角閾値θｔｈと、画像の照合の精度との関係の一例を示すグラフである。図１３に示すグラフにおいて、横軸は入射角閾値、縦軸は得点である。得点については実施形態１において既に説明したとおりである。図１３には、全ての画素について除去処理部２５ａが除去処理を実行した場合の得点ｓｒ１および全ての画素について平均処理部２５ｂが平均処理を実行した場合の得点ｓｒ２が示されている。

図１３に示すように、入射角閾値θｔｈが５°以上かつ２０°以下の範囲Ｒａ１である場合における得点は、ｓｒ１よりも高くなる。これは、入射角が２０°までの領域においては、除去処理による映り込みの除去よりも、平均処理によるノイズ抑制の方が、得点を改善する効果が高いためと考えられる。

一方、入射角閾値θｔｈが２０°よりも大きい場合の得点はｓｒ１を超えない。これは、入射角が２０°を超える領域については、平均処理によるノイズ抑制よりも、除去処理による映り込みの除去の方が、得点を改善する効果が高いためと考えられる。

したがって、入射角閾値θｔｈは、５°以上かつ２０°以下の範囲で設定されることが好ましい。また、図１３に示すように、入射角閾値θｔｈが１１°以上かつ１８°以下の範囲では、得点が特に高くなる。このため、入射角閾値θｔｈは、１１°以上かつ１８°以下の範囲で設定されることがより好ましい。

図１４は、入射角閾値θｔｈと、画像の照合の精度との関係の別の例を示すグラフである。図１４に示すグラフにおいて、横軸は入射角閾値、縦軸は得点である。図１４には、全ての画素について除去処理部２５ａが除去処理を実行した場合の得点ｓｒ１、および全ての画素について平均処理部２５ｂが平均処理を実行した場合の得点ｓｒ２が示されている。

図１３に示すグラフは、除去処理部２５ａによる除去処理を、上述したＳＰ近似処理を用いた処理とした画像のものである。これに対し、図１４に示したグラフは、除去処理部２５ａによる除去処理を、画素ごとの輝度値の組における最小の輝度値を当該画素の輝度値として選択する処理とした画像のものである。

図１４に示すように、入射角閾値θｔｈが０°以上かつ４３°以下の範囲Ｒａ２である場合における得点は、ｓｒ１よりも高くなる。これは、入射角が４３°までの領域においては、除去処理による映り込みの除去よりも、平均処理によるノイズ抑制の方が、得点を改善する効果が高いためと考えられる。

一方、入射角閾値θｔｈが４３°よりも大きい場合の得点はｓｒ１を超えない。これは、入射角が４３°を超える領域については、平均処理によるノイズ抑制よりも、除去処理による映り込みの除去の方が、得点を改善する効果が高いためと考えられる。

したがって、除去処理部２５ａが最小の輝度値を当該画素の輝度値として選択する場合、入射角閾値θｔｈは、０°以上かつ４３°以下の範囲で設定されることが好ましい。また、図１４に示すように、入射角閾値θｔｈが１７°以上かつ３７°以下の範囲では、得点が特に高くなる。このため、入射角閾値θｔｈは、１７°以上かつ３７°以下の範囲で設定されることがより好ましい。

図１５は、携帯情報端末２における処理を示すフローチャートである。携帯情報端末２においては、まず画像取得部２１が、撮像部１０から画像を取得する（Ｓ２１）。次に、補間処理部２２が、画像に含まれる各画素について、上述した補間処理を行う（Ｓ２２）。さらに、入射角算出部２７が、各画素における入射角を算出する（Ｓ２３）。

処理判定部２４は、１つの画素について、当該画素に対応する被写体の領域に光が入射する入射角が入射角閾値θｔｈ以上であるか否かを判定する（Ｓ２４）。入射角が入射角閾値θｔｈ以上である場合には、処理判定部２４は当該画素について除去処理を実行するものと判定し、除去処理部２５ａが除去処理を実行する（Ｓ２５）。一方、入射角が入射角閾値θｔｈ未満である場合には、処理判定部２４は当該画素について平均処理を実行するものと判定し、平均処理部２５ｂが平均処理を実行する（Ｓ２６）。処理判定部２４は、全ての画素についてステップＳ２４の処理を実行する。さらに、全ての画素について除去処理部２５ａまたは平均処理部２５ｂがステップＳ２５またはＳ２６の処理を実行することで、画像生成部２５は処理後画像を生成する。画像出力部２６は、処理後画像をデータ格納部４０または認証部３０へ出力する（Ｓ２７）。

〔実施形態３〕
図１６は、実施形態３に係る携帯情報端末３（生体認証装置、撮像装置）の要部の構成を示すブロック図である。図１６に示すように、携帯情報端末３は、携帯情報端末１の構成に加えて、携帯情報端末２と同様の入射角算出部２７を備える。また、携帯情報端末３において、処理判定部２４は、画素ごとに、入射角が入射角閾値以上、かつ標準偏差が標準偏差閾値以上である場合に、当該画素に対して除去処理を実行すると判定する。一方、処理判定部２４は、入射角が入射角閾値未満、または標準偏差が標準偏差閾値未満である場合には、当該画素に対して平均処理を実行すると判定する。これにより、処理判定部２４は、画素における光の入射角に対して実際の映り込み強度が一様でない場合においても、当該画素に対する処理を適切に判定することができる。

図１７は、携帯情報端末３における処理を示すフローチャートである。携帯情報端末３においては、まず画像取得部２１が、撮像部１０から画像を取得する（Ｓ３１）。次に、補間処理部２２が、画像に含まれる各画素について、上述した補間処理を行うことで、画素ごとの輝度値の組を算出する（Ｓ３２）。さらに指標算出部２３が、画素ごとに、輝度値の標準偏差を算出するとともに、当該画素における入射角を算出する（Ｓ３３）。

処理判定部２４は、入射角が入射角閾値以上であるか否かを判定する（Ｓ３４）。入射角が入射角閾値以上である場合（Ｓ３４でＹＥＳ）、さらに処理判定部２４は、輝度値の標準偏差が標準偏差閾値以上であるか否かを判定する（Ｓ３５）。輝度値の標準偏差が標準偏差閾値以上である場合（Ｓ３５でＹＥＳ）、処理判定部２４は当該画素について除去処理を実行するものと判定し、除去処理部２５ａが除去処理を実行する（Ｓ３６）。一方、入射角が入射角閾値未満である場合（Ｓ３４でＮＯ）、または輝度値の標準偏差が標準偏差閾値未満である場合（Ｓ３５でＮＯ）、処理判定部２４は当該画素について平均処理を実行するものと判定し、平均処理部２５ｂが平均処理を実行する（Ｓ３７）。処理判定部２４は、全ての画素についてステップＳ３４の処理を実行し、必要な画素についてステップＳ３５の処理を実行する。さらに、全ての画素について除去処理部２５ａまたは平均処理部２５ｂがステップＳ３６またはＳ３７の処理を実行することで、画像生成部２５は処理後画像を生成する。画像出力部２６は、処理後画像をデータ格納部４０または認証部３０へ出力する（Ｓ３８）。

なお、図１７に示したフローでは、処理判定部２４による判定（ステップＳ３４およびＳ３５の処理）の前に、予め全ての画素について指標算出部２３が標準偏差を算出し、入射角算出部２７が入射角を算出した（Ｓ３３）。しかし、携帯情報端末３においては、予め入射角算出部２７が入射角を算出し、入射角が入射角閾値以上である画素についてのみ指標算出部２３が標準偏差を算出してもよい。この場合、指標算出部２３は、入射角が入射角閾値未満である画素については標準偏差を算出しないため、指標算出部２３による処理量が低減される。

〔ソフトウェアによる実現例〕
携帯情報端末１、２、および３の制御ブロック（特に指標算出部２３および入射角算出部２７）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、携帯情報端末１、２、および３は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本開示の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本開示の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

１、２、３ 携帯情報端末（生体認証装置、撮像装置）
１２ 偏光フィルタ
１２ａ、１２ｂ、１２ｃ、１２ｄ 偏光素子
１３ 偏光ユニット
２３ 指標算出部
２５ａ 除去処理部
２５ｂ 平均処理部
２７ 入射角算出部

Claims (11)

1. 複数の画素を含む撮像素子と、
   偏光角が互いに異なる複数の偏光素子を備える偏光ユニットを複数備え、当該偏光ユニットが、前記複数の画素に対応付けられて配列されている偏光フィルタと、
   前記撮像素子における、前記複数の偏光素子の偏光角のそれぞれに対応する輝度値の組を有する所定の領域において、当該輝度値の組に基づいて、前記所定の領域ごとに正反射光成分の少なくとも一部を除去する除去処理を実行することができる除去処理部と、
   前記所定の領域ごとに、前記輝度値の組の平均値を算出する平均処理を実行することができる平均処理部と、
   前記所定の領域ごとに前記除去処理および前記平均処理のいずれを実行するかを判定する処理判定部と、を有する撮像装置。
2. 前記所定の領域ごとに、当該領域に対応する、前記撮像素子により撮像される被写体の部位に対する光の入射角を算出する入射角算出部を備え、
   前記処理判定部は、前記所定の領域ごとに、
   前記入射角が所定の第１閾値以上である場合には、前記除去処理を実行すると判定し、
   前記入射角が前記第１閾値未満である場合には、前記平均処理を実行すると判定する請求項１に記載の撮像装置。
3. 前記所定の領域ごとに、当該領域における前記輝度値の組に含まれる複数の輝度値の変動を示す変動指標を算出する指標算出部を備え、
   前記処理判定部は、前記所定の領域ごとに、
   前記変動指標が所定の第２閾値以上である場合には、前記除去処理を実行すると判定し、
   前記変動指標が前記第２閾値未満である場合には、前記平均処理を実行すると判定する請求項１に記載の撮像装置。
4. 前記所定の領域ごとに、当該領域に対応する、前記撮像素子により撮像される被写体の部位に対する光の入射角を算出する入射角算出部と、
   前記所定の領域ごとに、当該領域における前記輝度値の組に含まれる複数の輝度値の変動を示す変動指標を算出する指標算出部とを備え、
   前記処理判定部は、前記所定の領域ごとに、
   前記入射角が所定の第１閾値以上、かつ前記変動指標が所定の第２閾値以上である場合には、前記除去処理を実行すると判定し、
   前記入射角が前記第１閾値未満、または前記変動指標が前記第２閾値未満である場合には、前記平均処理を実行すると判定する請求項１に記載の撮像装置。
5. 前記第２閾値は、前記所定の領域ごとの前記変動指標の、前記撮像素子が撮像した被写体の画像全体での平均値である請求項３または４に記載の撮像装置。
6. 前記変動指標は、前記輝度値の統計的ばらつきを示す指標である請求項３から５のいずれか１項に記載の撮像装置。
7. 前記統計的ばらつきを示す指標は、標準偏差または変動係数である請求項６に記載の撮像装置。
8. 前記所定の領域は、前記偏光ユニットに含まれる偏光素子のそれぞれに対応する複数の画素を含む領域であり、
   前記輝度値の組は、前記複数の画素における輝度値の集合である請求項１から７のいずれか１項に記載の撮像装置。
9. 前記所定の領域は、個々の画素の領域であり、
   前記撮像素子が撮像した撮像画像について、補間すべき位置における各偏光角に対応する輝度値を、当該位置の周辺に位置する周辺画素の輝度値を用いて偏光角ごとに補間し、当該位置の輝度値を、前記輝度値の組として規定する補間処理部を備える請求項１から７のいずれか１項に記載の撮像装置。
10. 請求項１から９のいずれか１項に記載の撮像装置を備える生体認証装置。
11. 請求項１０に記載の生体認証装置を備える携帯情報端末。