JP2020166761A - 撮像装置、およびその制御方法 - Google Patents

Abstract

【課題】画像のＳＮ比の低下を抑制する。【解決手段】携帯情報端末（１）は、補間すべき位置の輝度値を、偏光角毎に対応する輝度値の組として規定する補間処理部（２２）と、輝度値の組を用いて、撮像画像に含まれる正反射光成分の少なくとも一部を除去した映り込み除去画像を生成する映り込み除去画像生成部（２３ａ）と、輝度値の組の平均値を画素の輝度値とした平均値画像を生成する平均値画像生成部（２３ｂ）と、を備える。【選択図】図１

Description

本開示は、撮像装置等に関する。

近年、撮像画像に基づく生体認証を行う技術が開発されている。そのような技術の一例が特許文献１に開示されている。特許文献１の撮像装置は、画素グループの画素毎に偏光方向が異なるように設けられた偏光板を通して撮像対象を撮像する画像センサと、画素グループ毎に最小輝度の画素を選択する画像選択部と、選択した画素から生成した撮像画像を出力する画像出力部を備える。これにより、正反射光の影響を抑制できるため、精度の良い静脈パターンの抽出を行うことが可能となる。

国際公開2017/149608号

しかしながら、上記撮像装置においては、環境光の強度に依らず、画素グループ毎に最小輝度の画素を選択しているため、生成される画像のＳＮ比はショットノイズの影響を受けやすい。環境光の強度が比較的低い環境においては特に、ショットノイズの影響を受けてＳＮ比の低下が顕著になると考えられる。

本開示の一態様は、互いに異なる複数の偏光角（偏光方向）を有する偏光ユニットを用いた場合であっても、画像のＳＮ比の低下を抑制する撮像装置等を実現することを目的とする。

上記の課題を解決するために、本開示の一態様に係る撮像装置は、複数の画素を含む撮像素子と、偏光角が互いに異なる複数の偏光素子を備える偏光ユニットを複数備え、当該偏光ユニットが、前記複数の画素に対応付けられて配列されている偏光フィルタと、前記撮像素子が撮像した撮像画像について、補間すべき位置における各偏光角に対応する輝度値を、当該位置の周辺に位置する周辺画素の輝度値を用いて偏光角毎に補間し、当該位置の輝度値を、偏光角毎に対応する輝度値の組として規定する補間処理部と、前記輝度値の組を用いて、前記撮像画像に含まれる正反射光成分の少なくとも一部を除去した除去後画像を生成する除去後画像生成部と、前記複数の画素のそれぞれにおける前記輝度値の組の平均値を、当該画素の輝度値とした平均値画像を生成する平均値画像生成部と、前記除去後画像および前記平均値画像の少なくとも一方を、前記撮像画像に含まれる被写体の認証を行う認証装置に出力する画像出力部と、を備える。

また、上記の課題を解決するために、本開示の一態様に係る撮像装置の制御方法は、複数の画素を含む撮像素子と、偏光角が互いに異なる複数の偏光素子を備える偏光ユニットを複数備え、当該偏光ユニットが、前記複数の画素に対応付けられて配列されている偏光フィルタと、を備える撮像装置の制御方法であって、前記撮像素子が撮像した撮像画像について、補間すべき位置における各偏光角に対応する輝度値を、当該位置の周辺に位置する周辺画素の輝度値を用いて偏光角毎に補間し、当該位置の輝度値を、偏光角毎に対応する輝度値の組として規定する補間処理ステップと、前記輝度値の組を用いて、前記撮像画像に含まれる正反射光成分の少なくとも一部を除去した除去後画像を生成する除去後画像生成ステップと、前記複数の画素のそれぞれにおける前記輝度値の組の平均値を、当該画素の輝度値とした平均値画像を生成する平均値画像生成ステップと、前記除去後画像および前記平均値画像の少なくとも一方を、前記撮像画像に含まれる被写体の認証を行う認証装置に出力する画像出力ステップと、を含む。

本開示の一態様によれば、互いに異なる複数の偏光角を有する偏光ユニットを用いた場合であっても、画像のＳＮ比の低下を抑制する撮像装置等を実現できる。

実施形態１に係る携帯情報端末の要部の構成を示すブロック図である。 （ａ）は、偏光フィルタの一例を示す図であり、（ｂ）は、偏光ユニットの一例を示す図である。 （ａ）は、最近傍画素補間について説明するための図であり、（ｂ）は、線形補間について説明するための図であり、（ｃ）は、３次曲線補間について説明するための図である。 周辺画素平均値補間について説明するための図であって、（ａ）は、撮像素子に入射する入射する光の、画素ごとの偏光角の例を示す図であり、（ｂ）は、（ａ）における１つの画素と、その周囲の８つの画素における輝度値の例を示す図である。 （ａ）は、撮像部が撮像した撮像画像の概略を示す図であり、（ｂ）は、（ａ）に示した画像から補間処理部が抽出した偏光角ごとの画像を示す図であり、（ｃ）は、（ｂ）に示した画像を補間処理部が処理した画像を示す図である。 （ａ）は、撮像部が撮像した撮像画像の概略を示す図であり、（ｂ）は、（ａ）に示した画像から補間処理部が抽出した偏光角ごとの画像を示す図であり、（ｃ）は、（ｂ）に示した画像を補間処理部が処理した画像を示す図である。 （ａ）は、被写体に映り込みが生じている場合の、ある画素における輝度値の一例を示すグラフであり、（ｂ）は、被写体に映り込みが生じていない場合の、ある画素における輝度値の一例を示すグラフである。 実施形態１に係る携帯情報端末における処理を示すフローチャートである。 実施形態２に係る携帯情報端末の要部の構成を示すブロック図である。 実施形態２に係る携帯情報端末における処理を示すフローチャートである。 （ａ）は、実施形態１に係る携帯情報端末における認証を示す図であり、（ｂ）は、実施形態２に係る携帯情報端末における認証を示す図である。 実施形態３に係る携帯情報端末の要部の構成を示すブロック図である。 実施形態３に係る携帯情報端末における処理を示すフローチャートである。 実施形態３に係る携帯情報端末における処理について、具体的に示す図である。 実施形態４に係る携帯情報端末の要部の構成を示すブロック図である。

〔実施形態１〕
以下、本開示の一実施形態について、詳細に説明する。本明細書では、携帯情報端末１が虹彩認証を行うものとして説明するが、これに限られない、その他の生体認証（例：静脈認証、顔認証）においても適用可能である。

図１は、本実施形態に係る携帯情報端末１（撮像装置）の要部の構成を示すブロック図である。図１に示すように、携帯情報端末１は、撮像部１０、画像処理部２０、認証部３０（認証装置）およびデータ格納部４０を備える。

撮像部１０は、携帯情報端末１のユーザの操作に基づいて被写体の赤外光画像を撮像する。本実施形態では、被写体は、ユーザの眼球である。撮像部１０は、撮像素子１１、偏光フィルタ１２、および赤外光源１４を備える。

撮像素子１１は、複数の画素から構成されるＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサなどである。それぞれの画素は、入射する光信号を電気信号に変換する受光素子を含む。受光素子は、例えばフォトダイオードである。

偏光フィルタ１２は、偏光角が互いに異なる複数の偏光素子を備える偏光ユニット１３（図２の（ａ）および（ｂ）参照）を複数備えるマルチ偏光フィルタである。偏光ユニット１３は、撮像素子１１に含まれる複数の画素に対応付けられて配列されている。本実施形態では、偏光ユニット１３に含まれるそれぞれの偏光素子に対して、画素が１個ずつ対応付けられている。

図２の（ａ）は、偏光フィルタ１２の一例を示す図である。図２の（ｂ）は、偏光ユニット１３の一例を示す図である。図２の（ａ）および（ｂ）に示す例では、偏光フィルタ１２は、互いに偏光角が異なる偏光素子１２ａ、１２ｂ、１２ｃおよび１２ｄを含む偏光ユニット１３を複数備える。

図２の（ｂ）に示すように、偏光素子１２ａの偏光角を０°とした場合、偏光素子１２ｂ〜１２ｄの偏光角は、それぞれ４５°、９０°および１３５°である。なお、偏光ユニット１３における偏光素子１２ａ〜１２ｄの位置関係は、図２の（ｂ）に示した例に限定されない。

赤外光源１４は、被写体に対して赤外光を照射する光源である。被写体により反射された赤外光を、撮像素子１１に含まれる複数の画素が受光することで、撮像部１０は被写体の赤外光画像を撮像画像として撮像する。

画像処理部２０は、撮像部１０が撮像した撮像画像について、画像処理を行う。画像処理部２０は、画像取得部２１、補間処理部２２、画像生成部２３および画像出力部２４を備える。

画像取得部２１は、撮像素子１１が撮像した撮像画像を撮像部１０から取得する。

補間処理部２２は、補間すべき位置における各偏光角に対応する輝度値を、当該位置の周辺に位置する周辺画素の輝度値を用いて偏光角毎に補間し、当該位置の輝度値を、偏光角毎に対応する輝度値の組として規定する。

「補間すべき位置」とは、携帯情報端末１の設計者により設定された、輝度を補間する対象となる位置である。例えば、「補間すべき位置」が各画素の位置と重なっていてもよいし、複数の画素の間の位置であってもよい。

補間処理部２２による補間処理の具体的な方法については特に限定されず、最近傍画素（nearest neighbor）、線形補間（bilinear）、三次曲線補間（bicubic）などの公知技術から、携帯情報端末１の製造者が適宜選択すればよい。

図３の（ａ）は、最近傍画素補間について説明するための図である。座標が(x+dx1,y+dy1)である点の輝度値I(x+dx1,y+dy1)を補間する場合について、以下に説明する。以下の説明では、座標が(x+dx1,y+dy1)である点の周囲の４点の座標を(x,y)、(x,y+1)、(x+1,y)および(x+1,y+1)とする。また、それらの点における輝度値をI(x,y)、I(x,y+1)、I(x+1,y)およびI(x+1,y+1)とする。

このとき、輝度値I(x+dx1,y+dy1)は、以下の式により算出される。
I(x+dx1,y+dy1)=W(dx1,dy1)×I(x,y)+W(dx2,dy1)×I(x+1,y)
+W(dx1,dy2)×I(x,y+1)+W(dx2,dy2)×I(x+1,y+1)
ここで、dx2=dx1-1(<0)、dy2=dy1-1(<0)である。

W(dxi,dyk)(i=1,2、k=1,2)は重みづけ係数であり、以下のとおり決定される。
W(dxi,dyk)=1 （dxiおよびdykがいずれも-0.5より大きく、かつ0.5以下）
W(dxi,dyk)=0 （dxiおよびdykの少なくとも一方が-0.5以下、または0.5よりも大きい）
例えば、dx1=0.4,dy1=0.8の場合、dx2=-0.6,dy2=-0.2となり、右辺第3項のW(dx1,dy2)のみ1となる。このため、I(x+dx1,y+dy1)の値として、I(x,y+1)が採用される。また、4つの点のちょうど中間点となる、dx1=dy1=0.5の場合は、第1項のみ1となる。このため、I(x+dx1,y+dy1)の値として、I(x,y)が採用される。

図３の（ｂ）は、線形補間について説明するための図である。座標が(x+px1,y+py1)である点の輝度値I(x+px1,y+py1)を補間する場合について、以下に説明する。以下の説明では、座標が(x+px1,y+py1)である点の周囲の４点の座標を、最近傍画素補間の説明と同様に(x,y)、(x,y+1)、(x+1,y)および(x+1,y+1)とする。また、それらの点における輝度値をI(x,y)、I(x,y+1)、I(x+1,y)およびI(x+1,y+1)とする。

このとき、輝度値I(x+dx1,y+dy1)は、以下の式により算出される。
I(x+px1,y+py1)=W(px1,py1)×I(x,y)+W(px2,py1)×I(x+1,y)
+W(px1,py2)×I(x,y+1)+W(px2,py2)×I(x+1,y+1)
ここで、px1,px2,py1,py2≧0、px1+px2=1,py1+py2=1である。

W(pxi,dyk)(i=1,2、k=1,2)は重みづけ係数であり、以下の式により算出される。
W(pxi,pyk)=(1-pxi)×(1-pyk) （pxiおよびpykがいずれも1未満）
W(pxi,pyk)=0 （pxiおよびpykの少なくとも一方が1以上）
例えば、px1=0.4,py1=0.8の場合、px2=0.6,py2=0.2となる。この場合、輝度値は0.12×I(x,y)+0.08×I(x+1,y)+0.48×I(x,y+1)+0.32×I(x+1,y+1)となり、４つの点からの距離に応じた加重平均を求めていることになる。また、４つの点の中間点(dx1=dy1=0.5)における輝度値は、0.25×{I(x,y)+I(x+1,y)+I(x,y+1)+I(x+1,y+1)}となる。すなわち、中間点における輝度は、周囲の4点における輝度値の平均値となる。

図３の（ｃ）は、３次曲線補間について説明するための図である。座標が(x1+px1,y1+py1)である点の輝度値I(x1+px1,y1+py1)を補間する場合について、以下に説明する。以下の説明では、座標が(x1+px1,y1+py1)である点の周囲の１６点の座標を(x1,y1), …, (x1,y4), (x2,y1), …, (x4,y4)とする。また、それらの点における輝度値をI(x1,y1), …, I(x1,y4), I(x2,y1), …, I(x4,y4)とする。

また、x2≦x1+px1≦x3かつy2≦y1+py1≦y3である。さらに、x1〜x4とx1+px1との差の絶対値をそれぞれpx1,px2,px3およびpx4とし、y1〜y4とy1+py1との差の絶対値をそれぞれpy1,py2,py3およびpy4とする。すなわち、座標(x1+px1,y1+py1)は、(x2+px2,y2+py2)、(x3-px3,y3-py3)、または(x4-px4,y4-py4)とも表すことができる。

このとき、輝度値I(x1+px1,y1+py1)は、以下の式により算出される。

ここで、W(pxi,pyk)(i=1〜4、k=1〜4)は重みづけ係数であり、以下の式により算出される。以下の式において、「^2」および「^3」はそれぞれ２乗および３乗を示す。
W(pxi,pyk)=wx×wy
wx=1-(s+3)×pxi^2+(s+2)×pxi^3 (pxi≦1)
wx=-s×(4-8×pxi+5×pxi^2-pxi^3) (1<pxi≦2)
wx=0 (pxi>2)
wy=1-(s+3)×pyk^2+(s+2)×pyk^3 (pyk≦1)
wy=-s×(4-8×pyk+5×pyk^2-pyk^3) (1<pyk≦2)
wy=0 (pyk>2)
ここで、"s"は鮮鋭度と呼ばれる定数である。"s"の値は、通常は-0.5から-1.0の範囲に設定される。

図４は、周辺画素平均値補間について説明するための図であって、（ａ）は、撮像素子１１に入射する光の、画素ごとの偏光角の例を示す図であり、（ｂ）は、（ａ）における１つの画素と、その周囲の８つの画素における輝度値の例を示す図である。

偏光フィルタ１２において、図２の（ａ）および（ｂ）に示すように偏光素子１２ａ〜１２ｄが配置されている場合、図４の（ａ）および（ｂ）に示すように、偏光角が０°である光が入射する画素の周囲には、（ｉ）偏光角が４５°である光が入射する画素、および（ｉｉ）偏光角が１３５°である光が入射する画素がそれぞれ、上下または左右に２つずつ隣接する。また、偏光角が９０°である光が入射する画素が斜め４方向に隣接する。

偏光角が４５°である光が入射する画素の輝度値をそれぞれI(45,1),I(45,2)とする。偏光角が９０°である光が入射する画素の輝度値をそれぞれI(90,1),I(90,2),I(90,3),I(90,4)とする。偏光角が１３５°である光が入射する画素の輝度値をそれぞれI(135,1),I(135,2)とする。この場合、周辺画素平均値補間では、偏光角が０°である光が入射する画素における、偏光角が４５°、９０°および１３５°である光の輝度値I45,I90,I135は、それぞれ以下のとおり算出される。
I45=(I(90,1)+I(90,2))/2
I90=(I(90,1)+I(90,2)+I(90,3)+I(90,4))/4
I135=(I(135,1)+I(135,2))/2
これにより、偏光角が０°である光が入射する画素における、偏光角が４５°、９０°および１３５°である光の輝度値が算出される。偏光角が４５°、９０°または１３５°である光が入射する画素についても、同様の計算により、入射する光の偏光角以外の偏光角の光の輝度値が算出される。

補間処理部２２による具体的な処理の例、特に最近傍画素補間、線形補間および３次曲線補間について、以下に説明する。

図５の（ａ）は、撮像部１０が撮像した撮像画像の概略を示す図である。図５の（ｂ）は、図５の（ａ）に示した画像から補間処理部２２が抽出した偏光角ごとの画像を示す図である。図５の（ｃ）は、図５の（ｂ）に示した画像を補間処理部２２が処理した画像を示す図である。

図５の（ａ）に示すように、撮像部１０が撮像した撮像画像には、偏光角が０°、４５°、９０°および１３５°の４種類のうち、いずれかの光の輝度値が画素ごとに規則的に含まれている。補間処理部２２は、この撮像画像から、輝度値を偏光角ごとに抽出することで、図５の（ｂ）に示すように、偏光角ごとの４枚の画像を抽出する。さらに補間処理部２２は、抽出した４枚の画像のそれぞれについて、上述した補間方法のいずれかを用いて、縦横の画素数を元の撮像画像と同じ大きさになるように拡大する。図５の（ｂ）に示す例では、補間処理部２２は、偏光角ごとの４枚の画像について、縦横の画素数をそれぞれ２倍に拡大する。これにより、図５の（ａ）に示した撮像画像における各画素について、図５の（ｃ）に示すように偏光角ごとの輝度値が規定される。

補間処理部２２による具体的な処理の別の例について、以下に説明する。

図６の（ａ）は、撮像部１０とは別の撮像部が撮像した撮像画像の概略を示す図である。図６の（ｂ）は、図６の（ａ）に示した画像から補間処理部２２が抽出した偏光角ごとの画像を示す図である。図６の（ｃ）は、図６の（ｂ）に示した画像を補間処理部２２が処理した画像を示す図である。

図６の（ａ）に示す撮像画像を撮像した撮像部の偏光フィルタは、０°、２０°、４０°、６０°、８０°、１００°、１２０°、１４０°、および１６０°の、９種類の偏光角の偏光素子を備える。このため、図６の（ａ）に示す撮像画像には、９種類のうちいずれかの偏光角の光の輝度値が画素ごとに規則的に含まれている。補間処理部２２は、この撮像画像から、輝度値を偏光角ごとに抽出することで、図６の（ｂ）に示すように、偏光角ごとの９枚の画像を抽出する。さらに補間処理部２２は、９枚の画像のそれぞれについて、上述した補間方法のいずれかを用いて、縦横の画素数を元の撮像画像と同じ大きさになるように拡大する。図６の（ｂ）に示す例では、補間処理部２２は、９枚の画像について、縦横の画素数をそれぞれ３倍に拡大する。これにより、図６の（ａ）に示した撮像画像における各画素について、図６の（ｃ）に示すように偏光角ごとの輝度値が規定される。

画像生成部２３は、認証部３０による認証に用いる認証用画像またはデータ格納部４０に格納される登録画像を生成する。画像生成部２３は、映り込み除去画像生成部２３ａ（除去後画像生成部）および平均値画像生成部２３ｂを備える。

映り込み除去画像生成部２３ａは、補間処理部２２が規定した輝度値の組を用いて、撮像画像に含まれる正反射光成分の少なくとも一部を除去した映り込み除去画像（除去後画像）を生成する。正反射光成分は、撮像画像に映り込んだ被写体以外の像（映り込み像）として検出されるものである。

図７の（ａ）は、被写体に映り込みが生じている場合の、ある画素における輝度値の一例を示すグラフである。図７の（ａ）において、横軸は偏光角、縦軸は輝度値である。映り込みが生じている場合、ある画素における輝度値は、図７の（ａ）に示すように、偏光角を変数とする三角関数として近似できる。映り込み除去画像生成部２３ａは、三角関数曲線における最小値を、その画素における輝度値として、映り込み除去画像を生成する。

ただし、映り込み除去画像生成部２３ａは、それぞれの画素における輝度値を、必ずしも偏光角を変数とする三角関数として近似する必要はない。例えば映り込み除去画像生成部２３ａは、輝度値の組のうち最小の輝度値を、前記画素の輝度値として選択してもよい。この場合、輝度値を三角関数として近似する場合よりも映り込み除去画像生成部２３ａにおける処理を高速化できる。

平均値画像生成部２３ｂは、撮像素子１１が備える複数の画素のそれぞれにおける、補間処理部２２が規定した輝度値の組の平均値を、当該画素の輝度値とした平均値画像を生成する。

図７の（ｂ）は、被写体に映り込みが生じていない場合の、ある画素における輝度値の一例を示すグラフである。図７の（ｂ）において、横軸は偏光角、縦軸は輝度値である。映り込みが生じていない場合、４つの輝度値は、原理的にはすべて同一の値となる。しかし、実際の輝度値は、ショットノイズなどの影響により、図７の（ｂ）に示すように一定の誤差範囲内でランダムなばらつきが生じる。特に暗い環境下においては、このばらつきの影響が顕著に大きくなるため、輝度値におけるＳＮ（Signal-Noise）比が小さくなる。

平均値画像を用いる場合、輝度値のＳＮ比ＳＮ１は以下の式で表される。以下の式において、Ｉｎ（ｎ＝０、４５、９０、１３５）は、偏光角がｎ°である光の輝度値である。

ＳＮ１＝√（Ｉ０＋Ｉ４５＋Ｉ９０＋Ｉ１３５）
一方、各画素における輝度値を、当該画素における偏光角ごとの輝度値の最小値とした画像である最小値画像を用いる場合、輝度値のＳＮ比ＳＮ２は以下の式で表される。以下の式において、Ｉｓは、Ｉｎの最小値である。

ＳＮ２＝√Ｉｓ
一般に、被写体に映り込みが生じていない場合には、Ｉｎの値は偏光角によらずほぼ同等な値を示すことから、ＳＮ１はＳＮ２の２倍程度になる。このため、比較的暗い環境下など、映り込みが生じにくい環境においては、平均値画像を用いて認証を行うことでばらつきの影響を低減し、精度の高い認証を行うことができる。

画像出力部２４は、画像生成部２３が生成した映り込み除去画像および平均値画像を、データ格納部４０または認証部３０へ出力する。具体的には、認証を行う場合には、画像出力部２４は、映り込み除去画像および平均値画像を認証部３０へ出力する。ただし、画像出力部２４は、必ずしも映り込み除去画像および平均値画像の両方を出力する必要はなく、後述する実施形態のように、映り込み除去画像および平均値画像のいずれか一方を出力してもよい。すなわち、画像出力部２４は、映り込み除去画像および平均値画像の少なくとも一方を認証部３０に出力すればよい。なお、画像出力部２４は、映り込み除去画像および平均値画像の代わりに、認証用にコード化した映り込み除去画像および平均値画像のデータを出力してもよい。

また、登録画像を登録する場合には、画像出力部２４は、映り込み除去画像および平均値画像をデータ格納部４０へ格納する。この場合も、画像出力部２４は必ずしも映り込み除去画像および平均値画像の両方をデータ格納部４０へ格納する必要はなく、後述する実施形態のように、映り込み除去画像および平均値画像の一方のみをデータ格納部４０に格納してもよい。

認証部３０は、映り込み除去画像および平均値画像に基づいて、ユーザの認証を行う。携帯情報端末１において、認証部３０は、画像出力部２４が出力した映り込み除去画像および平均値画像のそれぞれを認証用画像として、予めデータ格納部４０に格納された登録画像に含まれる映り込み除去画像および平均値画像と順に照合して一致度を算出する。一致度は、例えばコード化されたデータにおけるハミング距離から導出される値である。

一致度が予め設定された閾値以上となる照合結果が得られた場合、認証部３０は認証を終了し、ユーザが本人であるとする認証結果を出力する。一方、予め設定された回数または時間での照合で、一致度が予め設定された閾値以上となる照合結果が得られなかった場合には、認証部３０はユーザが本人でないとして認証エラー（拒絶）を出力する。

データ格納部４０は、認証部３０における処理に必要な情報を記憶する記憶装置である。データ格納部４０は、例えば認証部３０による認証のための登録画像およびプログラムなどを記憶する。なお、認証部３０は、認証用画像をコード化して認証を行う。このため、データ格納部４０は、登録画像ではなく、登録画像をコード化したデータを格納していてもよい。また、携帯情報端末１は必ずしもデータ格納部４０を備える必要はなく、データ格納部４０として機能する記憶装置と通信可能に接続されていてもよい。

図８は、携帯情報端末１における処理（制御方法）を示すフローチャートである。携帯情報端末１においては、まず、画像取得部２１は、撮像部１０が撮像した撮像画像（ユーザの眼球を含む画像）を取得する（ＳＡ１）。次に、画像取得部２１が取得した撮像画像について、補間処理部２２が補間処理を実行する（ＳＡ２、補間処理ステップ）。補間処理後のデータに基づいて、映り込み除去画像生成部２３ａが映り込み除去画像を生成する（ＳＡ３、除去後画像生成ステップ）。また、平均値画像生成部２３ｂが平均値画像を生成する（ＳＡ４、平均値画像生成ステップ）。画像出力部２４は、映り込み除去画像および平均値画像を認証部３０またはデータ格納部４０へ出力する（ＳＡ５、画像出力ステップ）。その後、映り込み除去画像および平均値画像の登録を行う場合にはそれらの画像が登録画像としてデータ格納部４０に格納され、認証を行う場合には認証部３０が映り込み除去画像および平均値画像を認証用画像として認証を行う（ＳＡ６）。

なお、図８に示したフローチャートでは、映り込み除去画像生成部２３ａが映り込み除去画像を生成（ＳＡ３の処理）した後に、平均値画像生成部２３ｂが平均値画像を生成（ＳＡ４の処理）している。しかし、映り込み除去画像および平均値画像の生成の順番は、逆であってもよく、また並行して行われてもよい。

以上のとおり、携帯情報端末１によれば、撮像部１０により撮像した撮像画像について、補間処理部２２が、補間すべき位置における各偏光角に対応する輝度値を、当該位置の周辺に位置する周辺画素の輝度値を用いて補間し、偏光角ごとの輝度値の組を規定する。当該輝度値の組を用いて、映り込み除去画像生成部２３ａが映り込み除去画像を生成し、平均値画像生成部２３ｂが平均値画像を生成する。さらに、画像出力部２４は、映り込み除去画像および平均値画像を認証部３０またはデータ格納部４０へ出力する。したがって、互いに異なる複数の偏光角を有する偏光素子を含む偏光ユニットを用いた場合であっても、登録画像または認証用画像のＳＮ比の低下を抑制して認証を行うことができる。

例えば、映り込みが生じやすい環境下（例：比較的明るい環境下）において画像を取得した場合には、映り込み除去によるＳＮ比の低下は生じにくいため、登録画像または認証用画像として映り込み除去画像を採用する。これにより、精度良く認証を行うことができる。一方、映り込みが生じにくい環境下（例：比較的暗い環境下）において画像を取得した場合に、映り込み除去画像を採用すると、登録画像または認証用画像のＳＮ比の低下が生じやすい。この場合には、登録画像または認証用画像として平均値画像を採用する。これにより、環境光の強度が低い場合において生じやすい、登録画像または認証用画像のＳＮ比の低下を抑制して認証を行うことができる。このように、携帯情報端末１によれば、環境光の強度に依らず、精度良く認証を行うことができる。

特に、生体を用いた認証の一つである虹彩認証では、虹彩自体の輝度値が低いため、例えば同様に生体を用いた認証である静脈認証などと比較して、ＳＮ比の低下は著しいものになると考えられる。このため、携帯情報端末１によりＳＮ比の低下を抑制することは、虹彩認証において特に有用である。

なお、本開示の一態様に係る撮像装置は、携帯情報端末に限定されず、異なる種類の装置であってもよい。

〔実施形態２〕
本開示の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

図９は、本実施形態に係る携帯情報端末２（撮像装置）の要部の構成を示すブロック図である。図９に示すように、携帯情報端末２は、赤外光強度センサ５０（光強度センサ）と通信可能に接続される。赤外光強度センサ５０は、携帯情報端末１が備えていても構わないし、携帯情報端末１と通信可能に接続された外部装置が備えていても構わない。また、携帯情報端末２は、画像処理部２０の代わりに画像処理部６０を備える点で携帯情報端末１と相違する。画像処理部６０は、画像処理部２０の構成に加えて、生成画像決定部２５を備える。

赤外光強度センサ５０は、ユーザの眼球の周囲における環境光（外光）としての赤外光（環境光に含まれる赤外光）の強度を測定する光強度センサである。赤外光強度センサ５０は、測定した赤外光強度を生成画像決定部２５に出力する。

生成画像決定部２５は、赤外光強度センサ５０により測定された赤外光強度が所定強度以上であるか否かを判定し、判定結果に応じて、映り込み除去画像および平均値画像のいずれを生成するかについて決定する。

ここで、赤外光強度センサ５０が測定する赤外光強度が大きいほど、ユーザの眼球には強い映り込みが発生すると考えられる。そのため、生成画像決定部２５は、赤外光強度が所定強度以上であると判定した場合に、映り込み除去画像生成部２３ａに映り込み除去画像を生成させる。画像出力部２４は、受け取った映り込み除去画像を、認証部３０またはデータ格納部４０に出力する。

一方、赤外光強度センサ５０が測定する赤外光強度が比較的小さければ、上記映り込みの発生が無いか、認証結果に影響を与えない程度の映り込みしか発生していないと考えられる。そのため、生成画像決定部２５は、赤外光強度が所定強度未満である場合には、平均値画像生成部２３ｂに平均値画像を生成させる。そして、画像出力部２４は、受け取った平均値画像を、認証部３０またはデータ格納部４０に出力する。

すなわち、携帯情報端末２における画像出力部２４は、環境光の強度が所定強度以上である場合には、映り込み除去画像を出力し、環境光の強度が所定強度未満である場合には、平均値画像を出力する。

上記所定強度は、例えば以下の観点から設定される。

赤外光源１４が照射する赤外光の、目元における強度は、一概には決定できないが、概ね１０Ｗ／ｍ^２〜３０Ｗ／ｍ^２程度である。ユーザの眼球の周囲において、環境光に起因した赤外光の強度が、赤外光源１４が照射する赤外光の強度の５０％以上になると、映り込みの影響により認証に不具合が生じる可能性がある。この点を考慮して、映り込みの影響により認証に不具合が生じない程度の赤外光強度を、上記所定強度として設定しても構わない。

また、環境光の届きにくい屋内では、環境光に含まれる赤外光の強度はほぼ０Ｗ／ｍ^２である。一方、屋外では日陰であっても、環境光に含まれる赤外光の強度は数Ｗ／ｍ^２以上である。一般に、屋外では映り込みが発生しやすいため、ユーザが屋外にいることを想定した赤外光強度（例えば２Ｗ／ｍ^２）を上記所定強度として決定しても構わない。

図１０は、携帯情報端末２における処理（制御方法）を示すフローチャートである。携帯情報端末２においては、まず、画像取得部２１は、撮像部１０が撮像した撮像画像を取得する（ＳＢ１）。次に、生成画像決定部２５は、赤外光強度センサ５０が測定した赤外光強度が所定強度以上であるか否かを判定する（ＳＢ２）。

生成画像決定部２５は、赤外光強度が所定強度以上であると判定した場合（ＳＢ２でＹＥＳ）、映り込み除去画像生成部２３ａにより映り込み除去画像を生成させることを決定する。そのため、ＳＢ２でＹＥＳの場合、補間処理部２２が、画像取得部２１が取得した撮像画像に対する補間処理（ＳＢ３、補間処理ステップ）を実行した後、映り込み除去画像生成部２３ａは、補間処理後のデータに基づいて、映り込み除去画像を生成する（ＳＢ４、除去後画像生成ステップ）。その後、画像出力部２４は、生成された映り込み除去画像を、認証時であれば認証部３０に出力し、登録時であればデータ格納部４０に出力する（ＳＢ５、画像出力ステップ）。

一方、生成画像決定部２５は、赤外光強度が所定強度未満であると判定した場合（ＳＢ２でＮＯ）、平均値画像生成部２３ｂにより平均値画像を生成させることを決定する。そのため、ＳＢ２でＮＯの場合、補間処理部２２が、画像取得部２１が取得した撮像画像に対する補間処理（ＳＢ５、補間処理ステップ）を実行した後、平均値画像生成部２３ｂは、補間処理後のデータに基づいて平均値画像を生成する（ＳＢ６、平均値画像生成ステップ）。その後、画像出力部２４は、生成された平均値画像を、認証時であれば認証部３０に出力し、登録時であればデータ格納部４０に出力する（ＳＢ７、画像出力ステップ）。

認証時においては、認証部３０は、画像出力部２４から受け取った映り込み除去画像または平均値画像を認証用画像として、データ格納部４０に格納された登録画像と照合することで認証を行う（ＳＢ８）。一方、登録時においては、画像出力部２４から出力された映り込み除去画像または平均値画像が、登録画像としてデータ格納部４０に登録される（ＳＢ８）。

なお、図１０のフローチャートでは、赤外光強度センサ５０が測定した赤外光強度と所定強度との比較処理（ＳＢ２の処理）後に補間処理（ＳＢ３またはＳＢ５の処理）が実行されている。これに限らず、比較処理と補間処理とは並行して実行されても構わないし、補間処理後に比較処理が行われても構わない。

図１１の（ａ）は、実施形態１に係る携帯情報端末１における認証を示す図である。携帯情報端末１においては、画像生成部２３は、登録画像および認証用画像のそれぞれについて、映り込み除去画像および平均値画像のそれぞれを生成する。このため、携帯情報端末１においては、認証部３０は、図１１の（ａ）に示すように、登録画像と認証用画像とで、最大４通りの組み合わせについて認証を行う。

図１１の（ｂ）は、携帯情報端末２における認証を示す図である。携帯情報端末２においては、画像生成部２３は、登録画像および認証用画像のそれぞれについて、撮像時に赤外光強度センサ５０により測定した赤外光強度に基づいて、映り込み除去画像および平均値画像のいずれか一方のみを生成する。

例えば、登録画像の撮像時に、赤外光強度センサ５０により測定された赤外光強度が所定強度以上であった場合には、画像生成部２３は映り込み除去画像のみを生成する。その後、認証用画像の撮像時に、赤外光強度センサ５０により測定された赤外光強度が所定強度未満であった場合には、画像生成部２３は平均値画像のみを生成する。

つまりこの場合、登録画像としては、映り込み除去画像がデータ格納部４０に格納され、認証用画像としては、平均値画像が用いられる。そのため、認証部３０は、図１１の（ｂ）に示すように、１通りの組み合わせについてのみ認証を行えばよい。したがって、携帯情報端末２が認証に要する最大の時間は、携帯情報端末１と比較して１／４になる。すなわち、携帯情報端末２によれば、携帯情報端末１と比較して、認証に要する最大の時間を短縮できる。

また、上述したとおり、携帯情報端末２においては、画像生成部２３は、登録画像として、映り込み除去画像および平均値画像のいずれか一方のみを生成する。このため、携帯情報端末２においては、データ格納部４０に登録画像を格納するためのデータ領域を半減できる。

なお、本実施形態では携帯情報端末２に赤外光強度センサ５０を接続している。しかし、携帯情報端末２においては、赤外光強度センサ５０を接続せず、撮像素子１１を被写体の周囲における環境光の強度を測定する光強度センサとして利用しても良い。撮像素子１１は入射光強度に応じた電気信号を出力するため、これを用いて環境光の強度を推定することは可能である。

〔実施形態３〕
本開示の他の実施形態について、以下に説明する。

図１２は、本実施形態に係る携帯情報端末３（撮像装置）の要部の構成を示すブロック図である。図１２に示すように、携帯情報端末３は、画像処理部２０の代わりに画像処理部７０を備える点で携帯情報端末１と相違する。画像処理部７０は、画像処理部２０の構成に加えて、類似度算出部２６および画像選択部２７を備える。

携帯情報端末３において、撮像素子１１は、撮像画像を連続的に複数枚撮像することが可能である。画像取得部２１は、複数枚の撮像画像を取得する。補間処理部２２は、複数枚の撮像画像のそれぞれについて、上述した補間処理を行う。映り込み除去画像生成部２３ａは、複数枚の撮像画像のそれぞれについて、対応する映り込み除去画像を生成する。平均値画像生成部２３ｂは、複数枚の撮像画像のそれぞれについて、対応する平均値画像を生成する。

類似度算出部２６は、複数の映り込み除去画像相互間の第１類似度を算出する。また、類似度算出部２６は、複数の平均値画像相互間の第２類似度を算出する。第１類似度および第２類似度は、例えば認証部３０における登録画像と認証用画像との一致度と同様、ハミング距離から導出される値である。類似度算出部２６は、第１類似度および第２類似度を、画像取得部２１が取得した複数の画像に対応する映り込み除去画像および平均値画像から２枚を選択した組み合わせごとに算出する。例えば画像取得部２１が取得した撮像画像の数が２であれば、撮像画像に対応する映り込み除去画像および平均値画像はそれぞれ２枚である。このため類似度算出部２６が算出する第１類似度および第２類似度の数はそれぞれ１となる。また、例えば画像取得部２１が取得した撮像画像の数が３であれば、撮像画像に対応する映り込み除去画像および平均値画像はそれぞれ３枚である。このため類似度算出部２６が算出する第１類似度および第２類似度の数はそれぞれ３となる。

さらに、類似度算出部２６は、第１類似度に基づく第１値と、第２類似度に基づく第２値とを算出する。類似度算出部２６は、所定の設定により選択された第１類似度および第２類似度（例えばそれぞれの最大値または最小値）を、それぞれ第１値および第２値としてよい。また、類似度算出部２６は、第１類似度および第２類似度のそれぞれに対して所定の統計処理を施すことで得られる値（例えば平均値）を第１値および第２値としてもよい。

画像選択部２７は、画像出力部２４が出力する１画像を、第１値と第２値との比較により、類似度が高い画像群の中から選択する。すなわち、画像出力部２４は、第１値と第２値との比較により、類似度が高い画像群の中から選択された少なくとも１画像を出力する。画像選択部２７は、例えば、第１値と第２値とのうち、大きい方に対応する種類の画像群（第１値の方が第２値よりも高ければ映り込み除去画像、第２値の方が第１値よりも高ければ平均値画像）のうち、最も類似度が高い２枚の画像のいずれかを、またはその両方を、画像出力部２４が出力する出力画像として選択してよい。すなわち、画像選択部２７は、第１値の方が第２値よりも高い場合には、第１類似度が最も高い２枚の映り込み除去画像のいずれかを、またはその両方を、出力画像として選択する。また、画像選択部２７は、第２値の方が第１値よりも高い場合には、第２類似度が最も高い２枚の平均値画像のいずれかを、またはその両方を、出力画像として選択する。あるいはさらに、画像選択部２７は、２番目以降の類似度が高い組み合わせからの画像を選択しても良い。

図１３は、携帯情報端末３における処理（制御方法）のフローチャートである。携帯情報端末３においては、まず、画像取得部２１が、被写体の撮像画像を複数枚取得する（ＳＣ１）。次に、補間処理部２２が、複数枚の撮像画像のそれぞれについて補間処理を行う（ＳＣ２、補間処理ステップ）。さらに、映り込み除去画像生成部２３ａが複数の映り込み除去画像を生成し（ＳＣ３、除去後画像生成ステップ）、平均値画像生成部２３ｂが平均値画像を生成する（ＳＣ４、平均値画像生成ステップ）。

次に、類似度算出部２６が、第１類似度および第２類似度を算出し、さらに第１値および第２値を算出する（ＳＣ５）。画像選択部２７は、第１値および第２値、ならびに第１類似度または第２類似度に基づき、画像出力部２４が出力する画像を選択する（ＳＣ６）。その後、画像選択部２７が選択した画像を、画像出力部２４が出力する（ＳＣ７、画像出力ステップ）。登録時には当該画像はデータ格納部４０に格納され、認証時には当該画像に基づいて認証部３０が認証を行う（ＳＣ８）。

なお、図１３に示したフローチャートでは、映り込み除去画像生成部２３ａが複数の映り込み除去画像を生成（ＳＣ３の処理）した後に、平均値画像生成部２３ｂが複数の平均値画像を生成（ＳＣ４の処理）した。しかし、複数の映り込み除去画像および複数の平均値画像の生成の順番は逆であってもよく、また並行して行われてもよい。

図１４は、携帯情報端末３における処理について、より具体的に示す図である。図１４に示す例では、最初に画像取得部２１が、撮像部１０から複数の撮像画像を取得する。取得した撮像画像に対し、補間処理部２２が補間処理を行う。補間処理後の画像に基づき、映り込み除去画像生成部２３ａが複数の映り込み除去画像を生成し、平均値画像生成部２３ｂが複数の平均値画像を生成する。

類似度算出部２６は、複数の映り込み除去画像のうち、２枚ずつの組み合わせそれぞれについて第１類似度を算出する。同様に、類似度算出部２６は、複数の平均値画像のうち、２枚ずつの組み合わせそれぞれについて第２類似度を算出する。さらに類似度算出部２６は、第１類似度および第２類似度に基づいて第１値Ｃ１および第２値Ｃ２を算出する。

映り込みが弱い場合には、画像のＳＮ比が類似度に強く影響する。上述したとおり、平均値画像のＳＮ比は、映り込み除去画像のＳＮ比の約２倍になる。このため映り込みが弱い場合にはＣ１＜Ｃ２となる。

一方、映り込みが強い場合には、複数の画像間で映り込んでいる物体または認証者が移動することで、映り込み像の位置がずれることがある。この場合、映り込み除去画像では正反射光成分の少なくとも一部を除去しているので、平均値画像と比較して、各映り込み除去画像における映り込み像の位置ずれの影響を受けにくい。そのため、映り込み除去画像では平均値画像と比較して類似度が低下しにくい。このため映り込みが強い場合にはＣ１＞Ｃ２となる。

ただし、場合によってはＣ１とＣ２とに差が生じないことも考えられる。Ｃ１＝Ｃ２である場合には、画像選択部２７は、映り込み除去画像および平均値画像のどちらを出力画像に選択してもよい。例えば、画像選択部２７は、Ｃ１＜Ｃ２が真であるか否かを判定し、真であれば平均値画像、偽であれば映り込み除去画像を出力画像として選択してもよい。この場合、Ｃ１＝Ｃ２であれば画像選択部２７は映り込み除去画像を出力画像として選択することとなる。

このように、携帯情報端末３においては、類似度算出部２６が算出した第１値および第２値、並びに、第１類似度または第２類似度に基づいて、画像出力部２４が出力する画像を画像選択部２７が選択する。このため、携帯情報端末３においても、携帯情報端末２と同様、認証に要する最大の時間、および登録画像のデータ量を削減できる。さらに、携帯情報端末３は、携帯情報端末２とは異なり、赤外光強度についての判定を必要としないため、赤外光強度センサと接続される必要がない。したがって、携帯情報端末３によれば、携帯情報端末２と比較して部品点数を削減できる。

〔実施形態４〕
本開示の他の実施形態について、以下に説明する。

図１５は、本実施形態に係る携帯情報端末４（撮像装置）の要部の構成を示すブロック図である。図１５に示すように、携帯情報端末４は、画像処理部２０の代わりに画像処理部８０を備える点で携帯情報端末１と相違する。画像処理部８０は、画像処理部２０の構成に加えて、決定値判定部２８を備える。

携帯情報端末４において、映り込み除去画像生成部２３ａは、補間処理部２２により生成された輝度値の組について画素ごとに三角関数で近似するとともに、当該画素における近似の確からしさを表わす数値である決定係数を画素ごとに算出する。決定係数は例えばＲ２乗値である。さらに、映り込み除去画像生成部２３ａは、算出した決定係数に基づく、映り込み除去画像の決定値を算出する。決定値は、虹彩領域全体（画像において認証対象となる領域全体）における近似の確からしさを示す値である。映り込み除去画像生成部２３ａは、例えば所定の設定により選択された決定係数（例えば最大値または最小値）を決定値としてよい。また、映り込み除去画像生成部２３ａは、決定係数に対して所定の統計処理を施すことで得られる値（例えば平均値）を決定値としてもよい。

決定値判定部２８は、決定値が所定値以上であるか否か判定し、所定値以上であれば映り込み除去画像、所定値未満であれば平均値画像を、画像出力部２４が出力する出力画像として決定する。すなわち、携帯情報端末４において、画像出力部２４は、決定値が所定値以上である場合には、映り込み除去画像を出力し、決定値が所定値未満である場合には、平均値画像を出力する。

このように、携帯情報端末４においては、映り込み除去画像生成部２３ａが算出した決定値に基づいて、画像出力部２４が出力する出力画像を決定値判定部２８が決定する。このため、携帯情報端末４によっても、携帯情報端末２または３と同様、認証に要する最大の時間、および登録画像のデータ量を削減できる。

〔ソフトウェアによる実現例〕
携帯情報端末１、２、３および４の制御ブロック（特に補間処理部２２、画像生成部２３、画像出力部２４、および類似度算出部２６）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、携帯情報端末１〜４は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本開示の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本開示の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔本開示の形態の別表現〕
（構成１）本開示の一形態に係る撮像装置は、撮像対象を撮像する撮像部と、前記撮像対象に照明光を照射する光源と、画像処理を行う画像処理部と、登録画像が格納されるデータ格納部と、認証を行う認証部とを備え、前記撮像部は、偏光角が互いに異なる複数の画素から構成される偏光ユニットを含み、前記画像処理部は、取得された画像に対して補間すべき位置における各偏光角に対応する輝度値を周辺の画素を用いて算出する補間処理部と、前記補間処理部で算出された各画素の各輝度値から、映り込み除去画像を生成する映り込み除去画像生成部、および平均値画像を生成する平均値画像生成部と、を含む。

（構成２）本開示の一形態に係る撮像装置は、構成１において、前記撮像対象の周囲の環境光の強度を測定する光強度センサを備え、前記光強度センサが測定した前記環境光の強度が所定値以上の場合は、前記画像生成部は映り込み除去画像生成部で生成された画像を出力し、前記環境光の強度が所定値よりも小さい場合は、前記画像生成部は平均値画像生成部で生成された画像を出力しても構わない。

（構成３）本開示の一形態に係る撮像装置では、構成１において、前記撮像部は複数枚の画像を連続的に撮像でき、前記連続撮像されたそれぞれの画像に対し前記補間処理部にて補間処理を行い、さらに、前記映り込み除去画像生成部により映り込み除去画像を生成、および前記平均値画像生成部により平均値画像をそれぞれ生成し、前記複数の映り込み除去画像間および前記複数の平均値画像間での一致度を算出する一致度算出部をさらに備え、前記一致度算出部にて算出された一致度の高い画像群の中から登録用または認証用の画像を選択しても構わない。

（構成４）本開示の一形態に係る撮像装置では、構成１から３の何れかにおいて、前記偏光ユニットは、任意の基準に対し、０度、４５度、９０度、および１３５度の４つの偏光角を有していても構わない。

（構成５）本開示の一形態に係る撮像装置では、構成１から４の何れかにおいて、前記映り込み除去画像生成部は各画素の各輝度値から最小値を選択しても構わない。

（構成６）本開示の一形態に係る撮像装置では、構成１において、前記映り込み除去画像生成部は前記各画素の各輝度値から三角関数近似を行い、前記近似の際に得られる決定係数から映り込み除去画像または平均値画像のどちらかを選択しても構わない。

〔付記事項〕
本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

１、２、３、４ 携帯情報端末（撮像装置）
１１ 撮像素子
１２ 偏光フィルタ
１２ａ、１２ｂ、１２ｃ、１２ｄ 偏光素子
１３ 偏光ユニット
２２ 補間処理部
２３ａ 映り込み除去画像生成部（除去後画像生成部）
２３ｂ 平均値画像生成部
２４ 画像出力部
２６ 類似度算出部
３０ 認証部（認証装置）
５０ 赤外光強度センサ（光強度センサ）

Claims (7)

1. 複数の画素を含む撮像素子と、
   偏光角が互いに異なる複数の偏光素子を備える偏光ユニットを複数備え、当該偏光ユニットが、前記複数の画素に対応付けられて配列されている偏光フィルタと、
   前記撮像素子が撮像した撮像画像について、補間すべき位置における各偏光角に対応する輝度値を、当該位置の周辺に位置する周辺画素の輝度値を用いて偏光角毎に補間し、当該位置の輝度値を、偏光角毎に対応する輝度値の組として規定する補間処理部と、
   前記輝度値の組を用いて、前記撮像画像に含まれる正反射光成分の少なくとも一部を除去した除去後画像を生成する除去後画像生成部と、
   前記複数の画素のそれぞれにおける前記輝度値の組の平均値を、当該画素の輝度値とした平均値画像を生成する平均値画像生成部と、
   前記除去後画像および前記平均値画像の少なくとも一方を、前記撮像画像に含まれる被写体の認証を行う認証装置に出力する画像出力部と、を備える、撮像装置。
2. 前記被写体の周囲における環境光の強度を測定する光強度センサと通信可能に接続され、
   前記画像出力部は、
   前記環境光の強度が所定強度以上である場合には、前記除去後画像を出力し、
   前記環境光の強度が所定強度未満である場合には、前記平均値画像を出力する、請求項１に記載の撮像装置。
3. 前記撮像素子を前記光強度センサとして利用する、請求項２に記載の撮像装置。
4. 前記撮像素子は、前記撮像画像を、連続的に複数枚撮像することが可能であり、
   前記除去後画像生成部は、複数枚の前記撮像画像のそれぞれについて、前記除去後画像を生成し、
   前記平均値画像生成部は、複数枚の前記撮像画像のそれぞれについて、前記平均値画像を生成するものであり、
   前記除去後画像生成部が生成した複数枚の前記除去後画像相互間の第１類似度と、前記平均値画像生成部が生成した複数枚の前記平均値画像相互間の第２類似度とを算出する類似度算出部をさらに備え、
   前記画像出力部は、前記第１類似度に基づく第１値と、前記第２類似度に基づく第２値との比較により、類似度が高い画像群の中から選択された少なくとも１画像を出力する、請求項１に記載の撮像装置。
5. 前記除去後画像生成部は、前記輝度値の組について三角関数で近似することにより決定係数に基づく決定値を算出するものであり、
   前記画像出力部は、
   前記決定値が所定値以上である場合には、前記除去後画像を出力し、
   前記決定値が所定値未満である場合には、前記平均値画像を出力する、請求項１に記載の撮像装置。
6. 前記除去後画像生成部は、前記輝度値の組のうち最小の輝度値を、前記画素の輝度値として選択する、請求項１から５の何れか１項に記載の撮像装置。
7. 複数の画素を含む撮像素子と、
   偏光角が互いに異なる複数の偏光素子を備える偏光ユニットを複数備え、当該偏光ユニットが、前記複数の画素に対応付けられて配列されている偏光フィルタと、を備える撮像装置の制御方法であって、
   前記撮像素子が撮像した撮像画像について、補間すべき位置における各偏光角に対応する輝度値を、当該位置の周辺に位置する周辺画素の輝度値を用いて偏光角毎に補間し、当該位置の輝度値を、偏光角毎に対応する輝度値の組として規定する補間処理ステップと、
   前記輝度値の組を用いて、前記撮像画像に含まれる正反射光成分の少なくとも一部を除去した除去後画像を生成する除去後画像生成ステップと、
   前記複数の画素のそれぞれにおける前記輝度値の組の平均値を、当該画素の輝度値とした平均値画像を生成する平均値画像生成ステップと、
   前記除去後画像および前記平均値画像の少なくとも一方を、前記撮像画像に含まれる被写体の認証を行う認証装置に出力する画像出力ステップと、を含む、撮像装置の制御方法。

Images