JP2009087232A - 人物認証装置および人物認証方法 - Google Patents
人物認証装置および人物認証方法 Download PDFInfo
- Publication number
- JP2009087232A JP2009087232A JP2007258878A JP2007258878A JP2009087232A JP 2009087232 A JP2009087232 A JP 2009087232A JP 2007258878 A JP2007258878 A JP 2007258878A JP 2007258878 A JP2007258878 A JP 2007258878A JP 2009087232 A JP2009087232 A JP 2009087232A
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- gradation
- gradation image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】歩行者が撮影対象領域を歩行中に照明条件などの撮影環境が変動する場合であっても、安定した歩行者の顔画像をリアルタイムで取得できる。この結果として、高精度な顔画像による認証処理が実施できる顔認証装置1Aを提供できる。
【解決手段】顔認証装置1Aでは、高階調画像取得部101により歩行者の顔を含む高階調の画像を取得し、階調変換部103により取得した高階調画像の顔領域における明るさが最適となるような階調変換処理によって取得した高階調画像を低階調画像に変換し、明るさが最適化された低階調の画像に基づいて顔特徴抽出部104による顔特徴情報の抽出処理および顔照合部106による顔照合処理を行う。
【選択図】 図2
【解決手段】顔認証装置1Aでは、高階調画像取得部101により歩行者の顔を含む高階調の画像を取得し、階調変換部103により取得した高階調画像の顔領域における明るさが最適となるような階調変換処理によって取得した高階調画像を低階調画像に変換し、明るさが最適化された低階調の画像に基づいて顔特徴抽出部104による顔特徴情報の抽出処理および顔照合部106による顔照合処理を行う。
【選択図】 図2
Description
本発明は、たとえば、カメラなどで撮影される顔画像などの人物の生体情報に基づいて人物を認証する人物認証装置および人物認証方法に関する。
従来、顔画像を利用して歩行者を確認する人物認証装置では、登録者の顔を含む画像(顔画像)をカメラあるいはセンサなどから取得し、取得した顔画像を登録情報(以下、「辞書」と称する)として記録しておく。認証時には、上記人物認証装置は、歩行者の顔画像をカメラあるいはセンサなどを用いて収集し、収集した顔画像と登録情報としての顔画像との類似度を求める。上記類似度が所定の閾値以上である場合、人物認証装置は、歩行者が登録者である判定する。上記類似度が所定の閾値よりも小さい場合、人物認証装置は、歩行者が登録者でない(未登録者である)と判定する。
また、個人認証装置で利用されるカメラあるいはセンサには、撮影した画像の中央領域の明るさ或いは色合いから、ゲイン、アイリス、シャッター速度、ホワイトバランスといった制御パラメータを自動的に最適なものに調整する技術(たとえば中央重点測光)が搭載されているものが多い。これらの技術の公知例としては、たとえば、以下の特許文献1、2および3が挙げられる。
特許文献1には、肌色領域あるいは顔領域を検出し、その検出した領域を測光領域とすることにより、最適な画像を撮影するための制御を行う映像信号処理装置が開示されている。
また、特許文献2には、撮影画像における顔の写りの良さを最適にすることを目的として、撮影対象する人物の顔領域を検出し、その顔領域の明るさに基づいて露光制御を行う画像撮影装置が開示されている。
また、特許文献3には、歩行者の顔領域の明るさを最適にするために、歩行者の移動動作に伴う変動を検知し、変動要素を含む画像を除外し、顔領域の明るさが最適となるように制御する技術が開示されている。
また、特許文献2には、撮影画像における顔の写りの良さを最適にすることを目的として、撮影対象する人物の顔領域を検出し、その顔領域の明るさに基づいて露光制御を行う画像撮影装置が開示されている。
また、特許文献3には、歩行者の顔領域の明るさを最適にするために、歩行者の移動動作に伴う変動を検知し、変動要素を含む画像を除外し、顔領域の明るさが最適となるように制御する技術が開示されている。
上述した各公知例では、撮影済みの画像から判定したカメラパラメータにより次の画像を撮影するための制御を行う。すなわち、各公知例の技術では、撮影した画像と次に撮影する画像との撮影環境が同じであることを前提としている。言い換えれば、各公知例の技術は、現在までの撮影条件から未来の撮影条件を推測する必要がある。
しかしながら、たとえば、撮影環境の1つとしての照明環境は、人為的な要因(例えば照明のオンオフなど)も含むため、必ずしも現在までの状態から確実に推測することはできない。このような予測できない撮影環境の変化が起こる場合、上述した公知例では、顔認証に用いる顔画像として最適な状態の顔画像を取得ことができないことがある。
特開平11−146405号公報
特開2003−107555号公報
特開2007−148988号公報
しかしながら、たとえば、撮影環境の1つとしての照明環境は、人為的な要因(例えば照明のオンオフなど)も含むため、必ずしも現在までの状態から確実に推測することはできない。このような予測できない撮影環境の変化が起こる場合、上述した公知例では、顔認証に用いる顔画像として最適な状態の顔画像を取得ことができないことがある。
この発明の一形態では、人物認証を行うための安定した画像を取得することができ、精度の高い認証処理を行うことができる人物認証装置および人物認証方法を提供することを目的とする。
この発明の一形態としての人物認証装置は、歩行中の人物の顔を含む高階調画像を取得する取得手段と、この取得手段により取得した高階調画像における顔領域を検出する顔検出手段と、この顔検出手段により検出された顔領域における輝度分布に応じて高階調画像を低階調画像に変換する階調変換手段と、この階調変換手段により得られた低階調画像における顔領域から顔特徴情報を抽出する特徴抽出手段と、この特徴抽出手段により抽出された顔特徴情報と登録者の顔特徴情報とを照合することにより前記歩行中の人物が登録者であるか否かを認証する認証手段とを有する。
この発明の一形態としての人物認証装置は、連続的に歩行中の人物の顔を含む複数の高階調画像を取得する取得手段と、前記取得手段により取得した各高階調画像における顔領域を検出する顔検出手段と、前記顔検出手段により検出された顔領域の各高階調画像を前記取得手段により各高階調画像を取得した順に画像列として格納する格納手段と、前記格納手段により格納されている画像列における特定の高階調画像をその前後の高階調画像と統合し、その統合した高階調画像の輝度分布に応じて前記統合した高階調画像を低階調画像に変換する階調変換手段と、前記階調変換手段により得られた低階調画像における顔領域から顔特徴情報を抽出する特徴抽出手段と、前記特徴抽出手段により抽出された顔特徴情報と登録者の顔特徴情報とを照合することにより前記歩行中の人物が登録者であるか否かを認証する認証手段とを有する。
この発明の一形態としての人物認証方法は、歩行中の人物が登録者であるか否かを認証する人物認証装置に用いられる方法であって、歩行中の人物の顔を含む高階調画像を取得し、この取得した高階調画像における顔領域を検出し、この検出した顔領域における輝度分布に応じて高階調画像を低階調画像に階調変換し、この階調変換により得られた低階調画像における顔領域から顔特徴情報を抽出し、この抽出された顔特徴情報と登録者の顔特徴情報とを照合することにより、前記歩行中の人物が登録者であるか否かを認証する。
この発明の一形態としての人物認証方法は、歩行中の人物が登録者であるか否かを認証する人物認証装置に用いられる方法であって、連続的に歩行中の人物の顔を含む複数の高階調画像を取得し、前記取得する各高階調画像における顔領域を検出し、前記検出された顔領域の各高階調画像を前記各高階調画像を取得した順に画像列として格納手段に格納し、前記格納手段に格納されている画像列における特定の高階調画像をその前後の高階調画像と統合し、その統合した高階調画像の輝度分布に応じて前記統合した高階調画像を低階調画像に階調変換し、前記階調変換により得られた低階調画像における顔領域から顔特徴情報を抽出し、前記抽出した顔特徴情報と登録者の顔特徴情報との照合することにより前記歩行中の人物が登録者であるか否かを認証する。
この発明の一形態によれば、人物認証を行うための安定した画像を取得することができ、精度の高い認証処理を行うことができる人物認証装置および人物認証方法を提供できる。
以下、本発明を実施するための最良の形態について図面を参照して説明する。
図1は、後述する第1、第2および第3の実施の形態としての顔認証装置(人物認証装置)1(1A、1B、1C)が適用される顔認証システムの運用形態の例を示す図である。
図1に示す運用形態では、顔認証システムは、顔認証装置1、撮影装置11、表示装置12、通行制御装置13および入力装置14などにより構成されている。
上記撮影装置11は、歩行中の人物(歩行者)Mの顔を含む高階調の画像データを収集するものである。たとえば、上記撮影装置11は、CCDセンサなどの撮像素子を用い、高ビットのA/D変換器(例えば12bitA/D変換器)を備えたテレビジョンカメラから構成されている。なお、上記撮影装置11が歩行者Mの顔を撮影する領域(たとえば、図1で示す例においてC地点からB点で囲まれた歩行者の顔を撮影する範囲)を撮影対象領域と呼ぶことにする。
上記表示装置12は、たとえば、液晶表示装置などにより構成される。上記表示装置12は、歩行者Mに対して種々の案内を表示する。たとえば、表示装置12は、歩行者Mに対して撮影装置11に顔を向けるような案内を表示したり、顔画像による認証結果を表示したりする。また、表示装置12には、顔画像の登録時に操作案内などを表示するようにしても良い。
上記通行制御装置13は、歩行者Mの通行を制御するものである。通行制御装置13は、たとえば、図示しないドアあるいはゲートなどの開閉を制御することにより歩行者Mの通行を制御するように構成される。通行制御装置13は、たとえば、顔認証装置1による顔認証の結果に基づいて歩行者Mの通行を制御する。
上記通行制御装置13は、歩行者Mの通行を制御するものである。通行制御装置13は、たとえば、図示しないドアあるいはゲートなどの開閉を制御することにより歩行者Mの通行を制御するように構成される。通行制御装置13は、たとえば、顔認証装置1による顔認証の結果に基づいて歩行者Mの通行を制御する。
上記入力装置14は、当該顔認証システムにおける各装置の動作モードを切替える操作を行ったり、登録時あるいは認証時に個人を特定するための識別情報を入力したりするものである。入力装置14は、例えば、テンキー、キーボードあるいはタッチパネルなどで構成される。また、上記入力装置14は、撮影装置11あるいは表示装置12の近傍に設置したり、撮影装置11あるいは表示装置12と一体的に形成したりすることが可能である。
すなわち、図1に示す顔認証システムでは、例えば、通行制御装置13に向かって歩行する人物(歩行者)Mの顔をC地点からB地点の間で撮影装置11が撮影する。B地点からA地点までの間において、顔認証装置1は、撮影装置11によって撮影した画像から抽出される顔画像と予め登録されている登録者の顔画像との照合を行う。顔認証装置1は、顔画像による照合結果に基づいて歩行者が登録者であるか否かを認証する。顔認証装置1は、上記のような認証結果を表示装置12および通行制御装置13に出力する。
これにより、表示装置12は、顔認証装置1による認証結果を表示する。また、通行制御装置13は、顔認証装置1により歩行者Mが登録者であると判定された場合に当該歩行者Mの通行を許可とし、顔認証装置1により登録者でないと判定された場合に当該歩行者Mの通行を不許可とする。従って、顔認証システムでは、歩行者MがC地点から通行制御装置13の手前に到達する時には当該歩行者Mに対する認証結果が表示装置12に表示され、認証結果に基づいて通行制御装置13による通行制御が行われる。
次に、第1の実施の形態について説明する。
図2は、第1の実施の形態に係る顔認証装置1Aの構成例を示す図である。
図2に示すように、顔認証装置1Aは、高階調画像取得部101、顔検出部102、階調変換部103、顔特徴抽出部104、顔登録情報記録部105、顔照合部106、認証制御部107、入力部108、出力部109などから構成されている。また、顔認証装置1Aは、図1に示すような顔認証システムに適用される場合、撮影装置11、表示装置12、通行制御装置13および入力装置14が接続される。
図2は、第1の実施の形態に係る顔認証装置1Aの構成例を示す図である。
図2に示すように、顔認証装置1Aは、高階調画像取得部101、顔検出部102、階調変換部103、顔特徴抽出部104、顔登録情報記録部105、顔照合部106、認証制御部107、入力部108、出力部109などから構成されている。また、顔認証装置1Aは、図1に示すような顔認証システムに適用される場合、撮影装置11、表示装置12、通行制御装置13および入力装置14が接続される。
高階調画像取得部101は、上記撮影装置11により撮影された高階調の画像を取得するインターフェースである。つまり、高階調画像取得部101は、撮影装置11で撮影された歩行中の人物(歩行者)Mの顔を含む高階調の画像データを順次収集するものである。たとえば、高階調画像取得部101は、横方向512画素、縦方向512画素で、時間的に連続した複数枚の高階調のディジタル濃淡画像データを収集する。また、高階調画像取得部101は、収集した画像データを顔検出部102および階調変換部103に出力するようになっている。
上記顔検出部102は、高階調画像取得部101により取得した画像から顔が存在する候補領域(顔領域)を検出する処理を行う。また、顔検出部102は、検出した顔領域を示す情報を階調変換部103および顔特徴抽出部104に出力するようになっている。なお、顔検出部102では、顔領域を検出する手法として種々の手法が適用可能である。たとえば、顔検出部102は、文献1(三田.金子.堀.”微小な差異を含む画像の認証に適した空間差分確率テンプレートの提案”,第9会画像センシングシンポジウム講演論文集.SSII03.2003)に記載されている手法が適用可能である。上記文献1の手法では、事前に、顔の学習パターンから検出用辞書パターンを作成しておき、辞書パターンと高い類似度を持つパターンを顔領域として入力画像から探すようになっている。
上記階調変換部103は、高階調画像取得部101により取得した高階調の画像を低階調の画像に変換する処理を行うものである。階調変換部103は、高階調画像取得部101により取得した高階調の画像を、後述する顔特徴抽出部104による顔特徴情報の抽出処理あるいは顔照合部106による照合処理に適する低階調の画像に変換する。たとえば、ここでは、高階調画像とは高ビットのA/D変換器により出力された8bitより高ビットな画像データ(例えば12bit)とし、低階調画像とは8bit以下の画像データ(例えば8bit)とする。
特に、上記階調変換部103では、単に、ビットシフトにより高階調画像を低階調画像に変換するものではなく、少なくとも撮影装置11により撮影された画像の所望の画像領域(顔領域)における特徴が明確に現れるように階調を補正するものである。たとえば、階調変換部103は、高階調画像取得部101により取得した複数枚の画像データのうち変換対象となるt番目の画像データに対して顔検出部102が検出した顔領域を処理対象領域として設定する。このように設定された処理対象領域に対して、階調変換部103は、高階調画像の処理対象領域における輝度分布の上限値および下限値が低階調画像全体の最大値および最小値になるような階調変換を行う。なお、階調変換部103による階調変換処理の例については、後で詳細に説明するものとする。
上記顔特徴抽出部104は、顔検出部102により検出された顔領域から顔の特徴量としての顔特徴情報を抽出するものである。すなわち、顔特徴抽出部104は、階調変換部103により低階調に変換された画像のうち顔検出部102により検出された顔領域の画像から顔特徴情報を抽出する。例えば、顔特徴抽出部104は、低階調に変換された顔領域の画像から、顔の特徴点を基準に、一定の大きさ、形状に切り出し、その濃淡情報を特徴量(顔特徴情報)として用いる。顔特徴抽出部104は、算出した顔特徴情報を認証制御部107に出力するようになっている。
ここでは、mピクセル×nピクセルの領域の濃淡値をそのまま情報として用い、m×n次元の情報を特徴ベクトルとするものとする。これらの特徴ベクトルの相関行列を求め、K−L展開による正規直交ベクトルを求めることにより、部分空間が計算される。なお、部分空間は、特徴ベクトルの相関行列(または共分散行列)を求め、そのK−L展開による正規直交ベクトル(固有ベクトル)を求めることにより、計算される。ここで、部分空間は、固有値に対応する固有ベクトルを、固有値の大きな順にk個選び、その固有ベクトル集合を用いて表現するものとする。
上記顔特徴抽出部104では、相関行列Cdを特徴ベクトルから求め、相関行列Cd =Φd Λd Φd T と対角化して、固有ベクトルの行列Φを求めるものとする。この部分空間は、顔画像の照合を行うための顔特徴情報として利用される。なお、登録者の顔特徴情報は、あらかじめ登録者から取得し、それを辞書として登録しておけば良い。また、識別を行うための顔特徴情報として部分空間自身を利用してもよい。
上記顔登録情報記録部105は、登録者の顔画像あるいは顔特徴情報を記憶するものである。たとえば、顔登録情報記録部105は、認証制御部107による登録処理として、撮影装置11で撮影された画像から得られる顔画像あるいは顔特徴情報と上記入力装置14により入力される識別情報とを対応付けた登録者の情報(顔登録情報)を記憶する。すなわち、顔登録情報記録部105には、顔画像による認証処理において、歩行者の顔特徴量との類似度が算出される登録者の顔画像あるいは顔特徴情報が記憶される。顔登録情報記録部105は、必要に応じて顔照合部106に出力される。
上記顔照合部106は、歩行者の顔画像と登録者の顔画像との照合処理を行うものである。ここでは、顔照合部106は、歩行者の顔特徴情報と登録者の顔特徴情報との類似度を算出し、その算出結果を認証制御部107に出力するものとする。すなわち、顔照合部106の顔照合処理には、種々の手法を適用可能であるが、顔登録情報記録部105に記録されている顔登録情報を辞書パターンとし、認識対象者としての歩行者Mの顔特徴情報に対する類似度を計算するものとする。このような手法は、例えば、文献2(山口,福井,前田.”動画像を用いた顔認識システム”,信学技報PRMU97−50,pp.17−23,1997−06)に記載されている相互部分空間法を用いることで実現可能である。
上記認証制御部107は、当該顔認証装置1A全体の制御を司るものである。たとえば、認証制御部107は、顔登録情報を顔登録情報記録部105に記録する登録処理(登録処理モード)あるいは歩行者の顔特徴情報と顔登録情報記録部105に記録されている顔登録情報とを照合する照合処理(照合処理モード)を切替える処理を行う。登録処理モードにおいて、認証制御部107は、顔特徴抽出部104により得られる顔特徴情報と、入力部108により得られる顔特徴情報に対応する識別情報を対応付けた顔登録情報を生成し、顔登録情報記録部105に記録する。
すなわち、登録処理モードにおいて、顔登録情報記録部105には、認証制御部107の制御により、登録者の顔特徴情報が辞書パターンとして登録(記録)される。また、照合処理モードにおいて、認証制御部107は、顔特徴抽出部104により得られる歩行者の顔特徴情報を顔照合部106に出力し、顔照合部106に歩行者の顔特徴情報と顔登録情報記録部105に記録されている各顔登録情報(辞書パターン)との照合を行わせる。認証制御部107は、顔照合部106から照合結果として、歩行者の顔特徴情報に対する各辞書パターンとの類似度を取得する。このような照合結果として得られる類似度により、認証制御部107は、歩行者が登録者であるか否かを判定し、その判定結果を出力部109に出力する。たとえば、認証制御部107は、最大類似度が所定の閾値以上である場合、歩行者が最大類似度となる登録者であると判定し、最大類似度が所定の閾値以下である場合、歩行者が登録者でないと判定する。
上記入力部108は、上記入力装置14により入力された情報を取得するインターフェースである。上記入力部108は、上記入力装置14に入力された歩行者Mからの入力情報を認証制御部107に出力する。例えば、入力部108は、入力装置により入力される、登録処理モードあるいは照合処理モードなどの動作モードの切り替え指示、あるいは、個人を特定する識別情報(ID情報)などの入力装置14に入力された情報を取得し、認証制御部107に供給する。
上記出力部109は、認証制御部107により得られる出力情報を表示装置12あるいは通行制御装置13へ出力するインターフェースである。たとえば、照合処理モードにおいて、出力部109は、認証制御部107により得られた歩行者に対する認証結果を表示装置12および通行制御装置13へ出力する。この場合、出力部109は、表示装置12には認証結果および認証結果に基づく歩行者への案内などを示す表示情報を出力し、通行制御装置には登録者であると判定されたか否かを示す情報あるいは歩行者Mに対する通行の可否を示す情報を出力する。
次に、上記階調変換部103による階調変換処理について説明する。
図3(a)、(b)、(c)および(d)は、一般的なビットシフトによる階調変換処理の例を説明するための図である。
一般的に、高階調画像から低解像度画像に変換する手法としては、ビットシフトにより階調変換を行う手法がある。たとえば、ビットシフトによる階調変換処理では、図3(a)に示す12bitの高階調画像は、図3(b)に示すような8bitの低階調画像に変換される。すなわち、図3(a)および(b)から明らかなように、ビットシフトによる階調変換処理では、特定の領域あるいは画像全体の明るさが変更されない。一般に、撮影装置11が撮影する画像における特定領域の明るさを変更するには、図3(c)に示すように、撮影装置11で撮影した画像の信号を増幅する処理が行われる。ただし、画像信号の増幅自体は領域指定できないため、撮影装置11で撮影した画像全体の信号が増幅される。図3(c)に示すような高階調画像が得られた場合、ビットシフトによる階調変換によって、図3(d)に示すような低階調画像が得られる。
図3(a)、(b)、(c)および(d)は、一般的なビットシフトによる階調変換処理の例を説明するための図である。
一般的に、高階調画像から低解像度画像に変換する手法としては、ビットシフトにより階調変換を行う手法がある。たとえば、ビットシフトによる階調変換処理では、図3(a)に示す12bitの高階調画像は、図3(b)に示すような8bitの低階調画像に変換される。すなわち、図3(a)および(b)から明らかなように、ビットシフトによる階調変換処理では、特定の領域あるいは画像全体の明るさが変更されない。一般に、撮影装置11が撮影する画像における特定領域の明るさを変更するには、図3(c)に示すように、撮影装置11で撮影した画像の信号を増幅する処理が行われる。ただし、画像信号の増幅自体は領域指定できないため、撮影装置11で撮影した画像全体の信号が増幅される。図3(c)に示すような高階調画像が得られた場合、ビットシフトによる階調変換によって、図3(d)に示すような低階調画像が得られる。
しかしながら、図3(a)に示すような画像を図3(c)に示すような画像に変換するための信号増幅を行うには、既に撮影された画像(過去の画像)から増幅すべきパラメータを特定する必要がある。つまり、撮影した画像信号の一部を増幅させて明るさを補正するには、過去に撮影した画像から明るさを補正するための情報を推測する必要がある。これは、人為的な撮影環境などの急激な撮影環境の変化に対して必ずしも最適な補正を行うことができないことを示している。
上述のようなビットシフトによる階調変換に対して、上記階調変換部103は、高階調画像の所望の画像領域(顔領域)における特徴が明確に現れるように階調補正することにより明るさを補正するものである。以下、階調変換部103に適用される階調補正処理の例を説明する。
図4(a)および図4(b)は、上記階調変換部103に適用される階調変換処理の例を説明するための図である。図4(a)は、高階調画像の例であり、図4(b)は、図4(a)の高階調画像を階調変換部103により階調変換した低階調画像の例である。また、図5は、上記階調変換部103に適用される階調変換処理のための関数の例を示す図である。
図4(a)および図4(b)は、上記階調変換部103に適用される階調変換処理の例を説明するための図である。図4(a)は、高階調画像の例であり、図4(b)は、図4(a)の高階調画像を階調変換部103により階調変換した低階調画像の例である。また、図5は、上記階調変換部103に適用される階調変換処理のための関数の例を示す図である。
図4(a)に示す高階調画像では、輝度分布がa点からb点の間に集中している。このような輝度分布の高階調画像に対しては、a点からb点までの輝度分布が広がるような明るさ補正が施されるのが好ましい。また、図4(a)に示す輝度分布が人物の顔領域の画像によるものであると想定すると、上述のような明るさ補正を行うことにより、顔の特徴が抽出し易くなると考えられる。従って、上記階調変換部103では、高階調画像における上限値aと下限値bとを決定し、そのa点からb点までの値を低階調画像における最大値と最小値とにマッピングする階調変換処理を行う。このような階調変化処理によれば、図4(a)に示すような高階調画像は、図4(b)に示すような低階調画像に変換される。
上限値aおよび下限値bは、たとえば、単に、輝度分布における輝度値(たとえば、輝度値の平均値の大きさ)だけなく、分布の広がり(つまり、輝度分布の分散)などで表されるコントラストを考慮して決定することが可能である。すなわち、上限値aおよび下限値bは、画像全体における輝度値の全体値だけなく、輝度値の分布の広がりなどを考慮した値に設定される。このような上限値aおよび下限値bをそれぞれ最大値および最小値にマッピングする階調変換処理を行うことにより、特定の領域(顔領域)の高階調画像を照合処理に適した低階調画像に変換できる。
また、上述のような階調変換処理は、例えば、図5に示すように、高階調画像における上限値aおよび下限値bが、それぞれ低階調画像の最大値Z’nおよび最小値0になるような1次式に基づいて実現される。なお、階調変換処理は、図5に示すような1次式のみでなく、高階調画像における上限値aおよび下限値bがそれぞれ低階調画像の最大値Z’nおよび最小値0に変換されるような任意の関数が適用可能である。
すなわち、階調変換部103は、高階調画像取得部101により得られる複数枚の画像データのうち変換対象となるt番目の高階調の画像データと、それに画像に対する顔検出部102により得られる顔領域情報とを取得する。すると、階調変換部103は、高階調の画像データにおける顔領域を処理対象領域として設定する。処理対象領域を設定すると、階調変換部103は、当該処理対象領域における輝度分布に基づいて、階調変換の上限値aと下限値bとを決定する。上限値aと下限値bとを決定すると、階調変換部103は、所定の関数(例えば、図5に示すような1次式)に従って、上限値aおよび下限値bがそれぞれ低階調画像の最大値Z’nおよび最小値0になるような階調変換処理を行う。これにより、処理対象領域としての顔領域の画像は、明るさが補正された低階調画像に変換される。
次に、上記顔認証装置1Aにおける顔画像による認証処理(顔認証処理)の流れについて説明する。
図6は、第1の実施の形態としての顔認証装置1Aにおける顔認証処理の流れを説明するためのフローチャートである。
たとえば、図1に示すようなシステム構成において、歩行者MがC地点に侵入すると、撮影装置11は、当該歩行者MがB地点に至るまでの間(歩行者Mが撮影対象領域に存在する間)、当該歩行者の顔を含む画像を高階調で撮影する。上記撮影装置11により撮影された高階調画像は、順次、顔認証装置1Aへ供給される。
図6は、第1の実施の形態としての顔認証装置1Aにおける顔認証処理の流れを説明するためのフローチャートである。
たとえば、図1に示すようなシステム構成において、歩行者MがC地点に侵入すると、撮影装置11は、当該歩行者MがB地点に至るまでの間(歩行者Mが撮影対象領域に存在する間)、当該歩行者の顔を含む画像を高階調で撮影する。上記撮影装置11により撮影された高階調画像は、順次、顔認証装置1Aへ供給される。
すなわち、歩行者Mが撮影対象領域に存在する間、上記顔認証装置1Aでは、高階調画像取得部101により撮影装置11からの高階調画像を順次取得する(ステップS101)。高階調画像取得部101は、撮影装置11から取得した高階調画像を顔検出部102と階調変換部103とへ出力する。高階調画像取得部101から高階調画像が供給された顔検出部102は、当該高階調画像から人物の顔領域らしい領域を検出する(ステップS102)。上記顔検出部102は、検出した顔領域を示す情報を階調変換部103と顔特徴抽出部104とへ出力する。上記階調変換部103では、上記高階調画像取得部101から与えられた高階調画像に対する階調変換処理を行う(ステップS103)。
すなわち、上記階調変換部103では、上記高階調画像取得部101から与えられた高階調画像と上記顔検出部102から与えられた当該高階調画像における顔領域を示す情報とにより、顔領域の高階調画像における輝度分布を生成する。顔領域の輝度分布を生成すると、階調変換部103は、上述しように、輝度分布の状態から階調変換処理に用いられる高階調画像における上限値aと下限値bとを決定する。高階調画像における上限値aと下限値bとが決定すると、階調変換部103は、高階調画像における上限値aおよび下限値bがそれぞれ低階調画像の最大値Z’nおよび最小値0になるような階調変換処理を行う。これにより、階調変換部103は、取得した高階調画像における顔領域の画像の明るさを補正した低階調画像を得る。
上記のような階調変換処理により得られた画像は、顔特徴抽出部104に供給される。上記顔特徴抽出部104は、階調変換部103により低階調に変換された画像のうち顔検出部102により検出された顔領域から顔特徴情報を抽出する処理を行う(ステップS104)。
上述したステップS101〜S104の処理は、たとえば、上記撮影装置11が歩行者Mを撮影している間(ステップS105、NO)、繰り返し実行される。すなわち、歩行者MがC地点からB地点を越えた場合(ステップS105、YES)、上記顔認証装置1Aの認証制御部107は、当該歩行者Mの顔を撮影した高階調画像の取得処理を終了し、顔照合部106による顔照合処理に移行する(ステップS106)。なお、所定数のフレームの高階調画像を取得した場合、あるいは、顔領域が検出できた高階調画像が所定数に達した場合、認証制御部107は、上記ステップS101〜S104の処理を終了してステップS106へ以降するようにしても良い。
すなわち、歩行者の顔を撮影した高階調画像の取得が終了すると、上記認証制御部107は、照合処理モードであれば、上記顔特徴抽出部104により抽出された顔特徴情報を上記顔照合部106に供給し、顔登録情報記録部105に記録されている登録者の顔特徴情報との照合処理を行わせる。なお、顔照合部106による顔照合処理は、上記ステップS104で顔特徴情報が抽出されるごとに実施するようにしても良い。
上記顔照合部106は、上記認証制御部107により歩行者Mの顔特徴情報が与えられると、顔照合処理として、歩行者Mの顔特徴情報に対する上記顔登録情報記録部105に記録されている各登録者の顔特徴情報との類似度を算出する処理を行う(ステップS106)。この顔照合処理の結果は、上記顔照合部106から上記認証制御部107へ供給される。これにより、認証制御部107は、上記顔照合部106による顔照合処理の結果に基づいて歩行者Mが登録者であるか否かを判定する認証処理を行う(ステップS107)。
たとえば、上記顔照合部106から顔照合処理の結果が供給された認証制御部107は、最大類似度が所定の閾値(本人であることを判定するための閾値)以上であるか否かを判断する。この判断により最大類似度が所定の閾値以上である場合、上記認証制御部107は、当該歩行者Mが最大類似度となった登録者であると認証する。また、上記判断により最大類似度が所定の閾値未満である場合、上記認証制御部107は、当該歩行者Mが登録者でないと認証する。
上記のような認証結果は、認証制御部107から出力部109を介して表示装置12および通行制御装置13へ供給される。これにより、表示装置12には認証結果などが表示され、通行制御装置13は認証結果に基づく当該歩行者の通行制御を実施する。
なお、登録処理モードである場合、認証制御部107は、上記ステップS106及びS107の処理の代りに、上記ステップS104で抽出した顔特徴情報を当該歩行者(登録者)に与えられる識別情報(たとえば、入力装置14から入力部108を介して入力される識別情報)と対応づけた顔特徴情報として顔登録情報記録部105に記録する処理を行う。
なお、登録処理モードである場合、認証制御部107は、上記ステップS106及びS107の処理の代りに、上記ステップS104で抽出した顔特徴情報を当該歩行者(登録者)に与えられる識別情報(たとえば、入力装置14から入力部108を介して入力される識別情報)と対応づけた顔特徴情報として顔登録情報記録部105に記録する処理を行う。
以上、説明したように、第1の実施の形態に係る顔認証装置1Aでは、歩行者の顔を含む高階調画像を取得し、取得した高階調画像の顔領域における明るさが最適となるような階調変換処理により高階調画像を低階調画像に変換し、明るさが最適化された低階調の画像に基づいて顔特徴情報の抽出処理および顔照合処理を行うようになっている。
これにより、上記顔認証装置1Aによれば、試行内の照明条件が大きく異なる場合、つまり、歩行者が撮影対象領域を歩行中に照明条件などの撮影環境が変動する場合であっても、安定した顔画像をリアルタイムで取得できる。この結果として、上記顔認証装置1Aによれば、高精度な顔画像による認証処理が実施できる。
これにより、上記顔認証装置1Aによれば、試行内の照明条件が大きく異なる場合、つまり、歩行者が撮影対象領域を歩行中に照明条件などの撮影環境が変動する場合であっても、安定した顔画像をリアルタイムで取得できる。この結果として、上記顔認証装置1Aによれば、高精度な顔画像による認証処理が実施できる。
次に、第2の実施の形態について説明する。
図7は、第2の実施の形態に係る顔認証装置1Bの構成例を示す図である。
図7に示すように、顔認証装置1Bは、高階調画像取得部201、顔検出部202、高階調画像格納部210、階調変換部203、顔特徴抽出部204、顔登録情報記録部205、顔照合部206、認証制御部207、入力部208、出力部209などにより構成されている。また、顔認証装置1Bの運用形態としては、図1に示すような顔認証システムに適用されることが想定される。この場合、顔認証装置1Bには、図1に示すような撮影装置11、表示装置12、通行制御装置13および入力装置14が接続されているものとする。
図7は、第2の実施の形態に係る顔認証装置1Bの構成例を示す図である。
図7に示すように、顔認証装置1Bは、高階調画像取得部201、顔検出部202、高階調画像格納部210、階調変換部203、顔特徴抽出部204、顔登録情報記録部205、顔照合部206、認証制御部207、入力部208、出力部209などにより構成されている。また、顔認証装置1Bの運用形態としては、図1に示すような顔認証システムに適用されることが想定される。この場合、顔認証装置1Bには、図1に示すような撮影装置11、表示装置12、通行制御装置13および入力装置14が接続されているものとする。
なお、図7に示す顔認証装置1Bは、第1の実施の形態で説明した図2に示す顔認証装置1Aに高階調画像格納部210が付加された構成となっている。また、各部の処理内容としては、顔認証装置1Bの階調変換部203における処理内容が、顔認証装置1Aの階調変換部103における処理内容と異なっている。すなわち、図7に示す顔認証装置1Bにおける高階調画像取得部201、顔検出部202、顔特徴抽出部204、顔登録情報記録部205、顔照合部206、認証制御部207、入力部208、出力部209は、それぞれ第1の実施の形態で説明した顔認証装置1Aにおける高階調画像取得部101、顔検出部102、顔特徴抽出部104、顔登録情報記録部105、顔照合部106、認証制御部107、入力部108、出力部109と同等な処理を行う機能を有しているものである。このため、顔認証装置1Bにおける高階調画像格納部210および階調変換部203以外の各部については、詳細な説明を省略するものとする。
上記高階調画像格納部210は、高階調画像取得部201により連続的に取得する複数の高階調画像(高階調画像列)と、顔検出部202により得られる各高階調画像に対する顔領域を示す情報とを対応付けて格納する。上記高階調画像格納部210は、各歩行者ごとに、連続して取得した高階調画像における顔領域の画像を各歩行者の顔画像例として格納している。また、複数の歩行者が同一画像から同時に検出された場合、各歩行者の顔画像例が別々の領域に格納される。
図8は、高階調画像格納部210における各歩行者の画像列を記憶するための記憶領域の構成例を示す図である。図8に示すように、高階調画像格納部210には、各歩行者ごとに取得した高階調画像から検出された顔領域の画像列(各歩行者の高階調の顔画像列)が格納される。
図8は、高階調画像格納部210における各歩行者の画像列を記憶するための記憶領域の構成例を示す図である。図8に示すように、高階調画像格納部210には、各歩行者ごとに取得した高階調画像から検出された顔領域の画像列(各歩行者の高階調の顔画像列)が格納される。
上記階調変換部203は、高階調画像格納部210により格納される複数の高階調画像(高階調の顔画像列)に対して、階調変換処理を行う。処理対象領域の設定方法は、第1の実施の形態で説明した手法と同様である。つまり、階調変換部203は、各高階調画像における顔領域を処理対象領域として設定する。また、階調変換部203には、個々の高階調画像に対する階調変換方法も、第1の実施の形態で説明した階調変換部103と同様な階調変換処理が適用できる。たとえば、図5に示すような1次式に基づく階調変換処理が適用できる。
ただし、階調変換部203は、処理対象とする顔画像に対して、前後の顔画像を利用する点が、上記階調変換部103とは異なる。すなわち、階調変換部203では、処理対象とする顔画像に対して前後の複数の顔画像を統合し、統合した顔画像に対して階調変換を施す。このような複数の画像を統合する手法としては、たとえば、複数の画像から選出される代表値を選択する手法、移動平均を用いる方法、あるいは、中央値を用いる方法などが考えられる。このように、階調変換部203では、処理対象とする画像とその前後の複数の画像を統合し、その統合した画像を階調変換することにより低階調画像を得る。このような階調変換処理により得られた低階調画像は、階調変換部103から顔特徴抽出部204へ出力される。
たとえば、図9は、高階調画像格納部210に格納されているある歩行者に対する顔画像列の例であるものとする。図9に示すような高階調の画像列に対して、階調変換部203がt番目に取得した画像(t番目の画像)を階調変換の対象とする場合を想定する。この場合、階調変換部203は、変換対象となるt番目の画像だけでなく、時間的に連続する前後(t±iまで)の画像を利用する。たとえば、前後にそれぞれ2つ分の画像を利用する場合(つまり、i=2とする場合)、階調変換部203は、t−2、t−1、t、t+1、t+2番目の5つの高階調画像を統合する処理を行う。統合した高階調画像が得られると、階調変換部203は、統合した高階調画像を上記階調変換部103と同様な手法により、階調変換する。これにより得られた低階調画像をt番目の高階調画像に対する階調変換処理の結果とする。
たとえば、図9は、高階調画像格納部210に格納されているある歩行者に対する顔画像列の例であるものとする。図9に示すような高階調の画像列に対して、階調変換部203がt番目に取得した画像(t番目の画像)を階調変換の対象とする場合を想定する。この場合、階調変換部203は、変換対象となるt番目の画像だけでなく、時間的に連続する前後(t±iまで)の画像を利用する。たとえば、前後にそれぞれ2つ分の画像を利用する場合(つまり、i=2とする場合)、階調変換部203は、t−2、t−1、t、t+1、t+2番目の5つの高階調画像を統合する処理を行う。統合した高階調画像が得られると、階調変換部203は、統合した高階調画像を上記階調変換部103と同様な手法により、階調変換する。これにより得られた低階調画像をt番目の高階調画像に対する階調変換処理の結果とする。
上記のように、階調変換部203では、時間的に連続する複数の画像を利用した階調変換処理を実行することにより、歩行中の輝度変化を維持でき、検出される顔領域の画像を最適化でき、顔の特徴情報の検出誤差に対して頑強な階調変換処理が可能となる。
次に、上記顔認証装置1Bにおける顔画像による認証処理(顔認証処理)の流れについて説明する。
図10は、第2の実施の形態としての顔認証装置1Bにおける認証処理の流れを説明するためのフローチャートである。
たとえば、図1に示すようなシステム構成において、歩行者MがC地点に侵入すると、撮影装置11は、当該歩行者MがB地点に至るまでの間(歩行者Mが撮影対象領域に存在する間)、当該歩行者の顔を含む画像を高階調で連続的に撮影する。上記撮影装置11により撮影された高階調画像は、順次、顔認証装置1Bへ供給される。
図10は、第2の実施の形態としての顔認証装置1Bにおける認証処理の流れを説明するためのフローチャートである。
たとえば、図1に示すようなシステム構成において、歩行者MがC地点に侵入すると、撮影装置11は、当該歩行者MがB地点に至るまでの間(歩行者Mが撮影対象領域に存在する間)、当該歩行者の顔を含む画像を高階調で連続的に撮影する。上記撮影装置11により撮影された高階調画像は、順次、顔認証装置1Bへ供給される。
すなわち、歩行者Mが撮影対象領域に存在する間、上記顔認証装置1Bでは、高階調画像取得部201により撮影装置11からの高階調画像を順次取得する(ステップS201)。高階調画像取得部201は、撮影装置11から取得した高階調画像を高階調画像格納部210の記憶領域に格納するとともに、顔検出部202に出力する。高階調画像取得部201から高階調画像が供給された顔検出部202は、当該高階調画像から人物の顔領域らしい領域を検出する(ステップS202)。上記顔検出部202は、検出した顔領域を示す情報を高階調画像格納部210と顔特徴抽出部204とへ出力する。上記高階調画像格納部210では、顔検出部202による顔領域の検出結果に基づいて高階調画像取得部201から取得した高階調画像における顔領域の画像(高階調の顔画像)を抽出し、抽出した高階調の顔画像を当該歩行者Mの顔画像列として格納する(ステップS203)。
上述したステップS201〜S203の処理は、たとえば、上記撮影装置11が歩行者Mを撮影している間(ステップS204、NO)、繰り返し実行される。これにより、上記高階調画像格納部210には、上記撮影装置11が撮影した複数の高階調画像における歩行者Mの顔画像が当該歩行者Mの画像列として格納される。また、歩行者MがC地点からB地点を越えた場合(ステップS204、YES)、上記顔認証装置1Bの認証制御部107は、当該歩行者Mの顔を撮影した高階調画像の取得処理を終了し、階調変換部203による階調変換処理に移行する(ステップS205)。なお、所定数のフレームの高階調画像を取得した場合、あるいは、顔領域が検出できた高階調画像が所定数に達した場合、上記ステップS201〜S203の処理を終了してステップS205へ以降するようにしても良い。
上記高階調画像格納部210への画像列の格納処理が終了すると、上記階調変換部203では、上述したように、当該歩行者Mの画像例における各画像について、前後の画像を利用した階調変換処理を行う。すなわち、上記階調変換部103では、上記高階調画像格納部210に格納されている当該歩行者Mの画像例における各高階調画像(高階調の顔画像)について前後の高階調画像を統合し、統合した高階調画像に対して階調変換処理を施す。この場合の階調変換処理としては、統合した高階調画像(顔画像)における輝度分布を生成し、生成した輝度分布の状態から階調変換処理に用いられる高階調画像の上限値aと下限値bとを決定する。高階調画像の上限値aと下限値bとを決定すると、階調変換部203は、高階調画像における上限値aおよび下限値bがそれぞれ低階調画像の最大値Z’nおよび最小値0になるような階調変換処理を行う。これにより、階調変換部203は、処理対象とする高階調画像(高階調の顔画像)における明るさを補正した低階調画像を得る。
上記のような階調変換処理により得られた低階調画像は、顔特徴抽出部204に供給される。上記顔特徴抽出部204は、階調変換部203により得られた低階調画像から顔の特徴情報を抽出する処理を行う(ステップS206)。上記顔特徴抽出部204により抽出された顔の特徴情報は、歩行者Mの顔の特徴情報として認証制御部207へ供給される。これにより、上記認証制御部207は、照合処理モードであれば、上記顔特徴抽出部204により抽出された顔特徴情報を上記顔照合部206に供給し、顔登録情報記録部205に記録されている登録者の顔特徴情報との照合処理を行わせる。
上記顔照合部206は、上記認証制御部207により歩行者Mの顔特徴情報が与えられると、顔照合処理として、歩行者Mの顔特徴情報に対する上記顔登録情報記録部205に記録されている各登録者の顔特徴情報との類似度を算出する処理を行う(ステップS207)。この顔照合処理の結果は、上記顔照合部206から上記認証制御部207へ供給される。これにより、認証制御部207は、上記顔照合部206による顔照合処理の結果に基づいて歩行者Mが登録者であるか否かを判定する認証処理を行う(ステップS207)。
たとえば、上記顔照合部206から顔照合処理の結果が供給された認証制御部207は、最大類似度が所定の閾値(本人であることを判定するための閾値)以上であるか否かを判断する。この判断により最大類似度が所定の閾値以上である場合、上記認証制御部207は、当該歩行者Mが最大類似度となった登録者であると認証する。また、上記判断により最大類似度が所定の閾値未満である場合、上記認証制御部207は、当該歩行者Mが登録者でないと認証する。
また、上記のような認証結果は、認証制御部207から出力部209を介して表示装置12および通行制御装置13へ供給される。これにより、表示装置12には認証結果などが表示され、通行制御装置13は認証結果に基づく当該歩行者の通行制御を実施する。
なお、登録処理モードである場合、認証制御部207は、上記ステップS207及びS208の処理の代りに、上記ステップS206で抽出した顔特徴情報を当該歩行者(登録者)に与えられる識別情報(たとえば、入力装置14から入力部208を介して入力される識別情報)と対応づけた顔特徴情報として顔登録情報記録部205に記録する処理を行う。
なお、登録処理モードである場合、認証制御部207は、上記ステップS207及びS208の処理の代りに、上記ステップS206で抽出した顔特徴情報を当該歩行者(登録者)に与えられる識別情報(たとえば、入力装置14から入力部208を介して入力される識別情報)と対応づけた顔特徴情報として顔登録情報記録部205に記録する処理を行う。
以上、説明したように、第2の実施の形態に係る顔認証装置1Bでは、時間的に連続する複数の高階調画像を取得し、取得した各高階調画像における顔領域の画像を当該歩行者Mの顔画像列として高階調画像格納部210に格納しておき、上記高階調画像格納部210に格納された高階調の各顔画像についてはその前後の顔画像と統合して、顔画像の明るさが最適となるような階調変換を実行し、明るさが最適化された低階調の顔画像から顔特徴情報の抽出処理および顔照合処理を行うようになっている。
これにより、上記顔認証装置1Bによれば、試行内の照明条件が大きく異なる場合、つまり、歩行者が撮影対象領域を歩行中に照明条件などの撮影環境が変動する場合であっても、時間的に連続する複数の画像を利用して安定した顔画像をリアルタイムで取得できる。この結果として、上記顔認証装置1Aによれば、高精度な顔画像による認証処理が実施できる。
次に、第3の実施の形態について説明する。
以下に説明する第3の実施の形態は、上記第1の実施の形態で説明した顔認証装置1Aあるいは第2の実施の形態で説明した顔認証装置1Bのどちらにも適用できるものである。ここでは、第3の実施の形態が、第2の実施の形態で説明した顔認証装置1Bに適用された場合を想定して説明するものとする。
以下に説明する第3の実施の形態は、上記第1の実施の形態で説明した顔認証装置1Aあるいは第2の実施の形態で説明した顔認証装置1Bのどちらにも適用できるものである。ここでは、第3の実施の形態が、第2の実施の形態で説明した顔認証装置1Bに適用された場合を想定して説明するものとする。
図11は、第3の実施の形態としての顔認証装置1Cの構成例を示す図である。
図11に示すように、顔認証装置1Cは、高階調画像取得部301、顔検出部302、高階調画像格納部310、外れ値除去部311、階調変換部303、顔特徴抽出部304、顔登録情報記録部305、顔照合部306、認証制御部307、入力部308および出力部309などにより構成されている。また、顔認証装置1Cの運用形態としては、図1に示すような顔認証システムに適用されることが想定される。この場合、顔認証装置1Cには、図1に示すような撮影装置11、表示装置12、通行制御装置13および入力装置14が接続される。
図11に示すように、顔認証装置1Cは、高階調画像取得部301、顔検出部302、高階調画像格納部310、外れ値除去部311、階調変換部303、顔特徴抽出部304、顔登録情報記録部305、顔照合部306、認証制御部307、入力部308および出力部309などにより構成されている。また、顔認証装置1Cの運用形態としては、図1に示すような顔認証システムに適用されることが想定される。この場合、顔認証装置1Cには、図1に示すような撮影装置11、表示装置12、通行制御装置13および入力装置14が接続される。
なお、図11に示す顔認証装置1Cは、第2の実施の形態で説明した図7に示す顔認証装置1Bに外れ値除去部311が付加された構成となっている。すなわち、図11に示す顔認証装置1Cにおける高階調画像取得部301、顔検出部302、高階調画像格納部310、階調変換部303、顔特徴抽出部304、顔登録情報記録部305、顔照合部306、認証制御部307、入力部308および出力部309は、それぞれ第2の実施の形態で説明した顔認証装置1Bにおける高階調画像取得部201、顔検出部202、高階調画像格納部210、階調変換部203、顔特徴抽出部204、顔登録情報記録部205、顔照合部206、認証制御部207、入力部208、出力部209と同等な処理を行う機能を有しているものである。このため、顔認証装置1Cにおける外れ値除去部311以外の各部については、詳細な説明を省略するものとする。
上記外れ値除去部311は、顔領域の画像(顔画像)における輝度分布において、顔画像として適切な輝度分布から著しく外れた輝度値を除外する処理を行うものである。顔画像における適切な輝度分布から外れているか否かを判定する手法には、予め正しく教えられた顔領域の平均輝度分布を保持しておいて比較する方法、入力される顔領域の輝度分布を正規分布と仮定してヒストグラムの平均値と標準偏差によって外れ値を求める方法などが適用可能である。
また、上記外れ値除去部311により外れ値が除外された顔画像の輝度分布を示す情報は、階調変換部303に出力される。これにより、階調変換部303では、外れ値が除外された顔画像における輝度分布に基づいて上記上限値aおよび下限値bを決定することができる。この結果として、階調変換部303では、外れ値を除外しつつ、上記第2の実施の形態で説明した階調変換部203あるいは上記第1の実施の形態で説明した階調変換部103と同様な階調変換を実行できる。
たとえば、図12は、適切な輝度分布として判定される顔領域の輝度分布と外れ値として判定される背景領域の輝度分布とを含む画像の輝度分布を示す図である。一般に、顔領域と背景領域とは、輝度分布の特徴が異なると考えられる。つまり、顔領域における輝度分布と背景領域における輝度分布とは、図12に示すように、それぞれ異なるピークを有する分布となる。このため、適切な顔領域の輝度分布、あるいは、背景領域の輝度分布が判別できれば、背景領域の輝度分布を外れ値として除去する処理が可能となる。図12に示す例では、a点からb点の間の輝度分布が顔領域の輝度分布と判定し、上限値をa点として下限値をb点とする階調変換処理を行うことにより、背景領域の輝度分布が除外されることとなる。
なお、上記のような外れ値除去部311を有する顔認証装置1Cにおける顔認証処理では、たとえば、図10に示す顔認証装置1Bの顔認証処理におけるステップS205の階調変換処理の直前に、上述した外れ値除去部311による外れ値除去処理が実施される流れとなる。また、上記外れ値除去部311を第1の実施の形態で説明した顔認証装置1Aに適用する場合、顔認証処理は、たとえば、図6に示す顔認証装置1Aの顔認証処理におけるステップS103の階調変換処理の直前に、上述した外れ値除去部311による外れ値除去処理が実施される流れとなる。
以上、説明したように、第3の実施の形態の顔認証装置では、顔領域の輝度分布とは著しく外れた背景領域などの輝度値を除外し、顔領域の輝度分布として適切な輝度分布に基づいて階調変換処理のためのパラメータを決定し、そのパラメータにより顔領域の明るさが最適となるような階調変換を実行し、明るさが最適化された低階調の顔画像から顔特徴情報の抽出処理および顔照合処理を行うようになっている。これにより、第3の実施の形態の顔認証装置によれば、顔領域の検出精度が劣る場合でも、顔領域以外の背景領域など輝度分布を除外した安定した顔画像をリアルタイムで取得できる。
1(1A、1B、1C)…顔認証装置、11…撮影装置、12…表示装置、13…通行制御装置、14…入力装置、101、201、301…高階調画像取得部、102、202、302…顔検出部、103、203、303…階調変換部、104、204、304…顔特徴抽出部、105、205、305…顔登録情報記録部、106、206、306…顔照合部、107、207、307…認証制御部、108、208、308…入力部、109、209、309…出力部、210、310…高階調画像格納部、311…値除去部
Claims (12)
- 歩行中の人物の顔を含む高階調画像を取得する取得手段と、
この取得手段により取得した高階調画像における顔領域を検出する顔検出手段と、
この顔検出手段により検出された顔領域における輝度分布に応じて高階調画像を低階調画像に変換する階調変換手段と、
この階調変換手段により得られた低階調画像における顔領域から顔特徴情報を抽出する特徴抽出手段と、
この特徴抽出手段により抽出された顔特徴情報と登録者の顔特徴情報とを照合することにより前記歩行中の人物が登録者であるか否かを認証する認証手段と、
を有することを特徴とする人物認証装置。 - 前記階調変換手段は、前記顔検出手段により検出された顔領域の輝度分布における上限値及び下限値を決定し、前記上限値および前記下限値がそれぞれ変換後の低階調画像における最大値および最小値となるような階調変換を行う、
ことを特徴とする前記請求項1に記載の人物認証装置。 - 前記階調変換手段は、前記上限値および前記下限値がそれぞれ変換後の低階調画像における最大値および最小値に変換されるような1次式に基づいて階調変換を行う、
ことを特徴とする前記請求項2に記載の人物認証装置。 - さらに、前記顔検出手段により検出された顔領域における輝度分布から顔以外の領域の輝度値を判定し、前記顔以外の領域と判定された輝度値を除去した輝度分布を生成する除去手段を有し、
前記階調変換手段は、前記除去手段により顔以外の領域の輝度値が除去された輝度分布に基づいて階調変換を行う、
ことを特徴とする前記請求項1乃至3の何れかに記載の人物認証装置。 - 連続的に歩行中の人物の顔を含む複数の高階調画像を取得する取得手段と、
前記取得手段により取得した各高階調画像における顔領域を検出する顔検出手段と、
前記顔検出手段により検出された顔領域の各高階調画像を前記取得手段により各高階調画像を取得した順に画像列として格納する格納手段と、
前記格納手段により格納されている画像列における特定の高階調画像をその前後の高階調画像と統合し、その統合した高階調画像の輝度分布に応じて前記統合した高階調画像を低階調画像に変換する階調変換手段と、
前記階調変換手段により得られた低階調画像における顔領域から顔特徴情報を抽出する特徴抽出手段と、
前記特徴抽出手段により抽出された顔特徴情報と登録者の顔特徴情報とを照合することにより前記歩行中の人物が登録者であるか否かを認証する認証手段と、
を有することを特徴とする人物認証装置。 - 前記階調変換手段は、前記統合した高階調画の輝度分布における上限値及び下限値を決定し、前記上限値および前記下限値がそれぞれ変換後の低階調画像における最大値および最小値となるような階調変換を行う、
ことを特徴とする前記請求項5に記載の人物認証装置。 - 前記階調変換手段は、前記上限値および前記下限値がそれぞれ変換後の低階調画像における最大値および最小値に変換されるような1次式に基づいて階調変換を行う、
ことを特徴とする前記請求項6に記載の人物認証装置。 - さらに、前記統合した高階調画像の輝度分布から顔以外の領域の輝度値を判定し、前記顔以外の領域と判定された輝度値を除去した輝度分布を生成する除去手段を有し、
前記階調変換手段は、前記除去手段により顔以外の領域の輝度値が除去された輝度分布に基づいて階調変換を行う、
ことを特徴とする前記請求項5乃至7の何れかに記載の人物認証装置。 - 歩行中の人物が登録者であるか否かを認証する人物認証装置に用いられる人物認証方法であって、
歩行中の人物の顔を含む高階調画像を取得し、
この取得した高階調画像における顔領域を検出し、
この検出した顔領域における輝度分布に応じて高階調画像を低階調画像に階調変換し、
この階調変換により得られた低階調画像における顔領域から顔特徴情報を抽出し、
この抽出された顔特徴情報と登録者の顔特徴情報とを照合することにより、前記歩行中の人物が登録者であるか否かを認証する、
を有することを特徴とする人物認証方法。 - さらに、前記検出された顔領域における輝度分布から顔以外の領域の輝度値を判定し、前記顔以外の領域と判定された輝度値を除去した輝度分布を生成し、
前記階調変換は、前記顔以外の領域の輝度値が除去された輝度分布に基づいて階調変換を行う、
ことを特徴とする前記請求項9に記載の人物認証方法。 - 歩行中の人物が登録者であるか否かを認証する人物認証装置に用いられる人物認証方法であって、
連続的に歩行中の人物の顔を含む複数の高階調画像を取得し、
前記取得する各高階調画像における顔領域を検出し、
前記検出された顔領域の各高階調画像を前記各高階調画像を取得した順に画像列として格納手段に格納し、
前記格納手段に格納されている画像列における特定の高階調画像をその前後の高階調画像と統合し、その統合した高階調画像の輝度分布に応じて前記統合した高階調画像を低階調画像に階調変換し、
前記階調変換により得られた低階調画像における顔領域から顔特徴情報を抽出し、
前記抽出した顔特徴情報と登録者の顔特徴情報とを照合することにより前記歩行中の人物が登録者であるか否かを認証する、
ことを特徴とする人物認証方法。 - さらに、前記統合した高階調画像の輝度分布から顔以外の領域の輝度値を判定し、前記顔以外の領域と判定された輝度値を除去した輝度分布を生成し、
前記階調変換は、前記顔以外の領域の輝度値が除去された輝度分布に基づいて階調変換を行う、
ことを特徴とする前記請求項11に記載の人物認証方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007258878A JP2009087232A (ja) | 2007-10-02 | 2007-10-02 | 人物認証装置および人物認証方法 |
KR1020080089732A KR20090034272A (ko) | 2007-10-02 | 2008-09-11 | 인물 인증 장치 및 인물 인증 방법 |
US12/243,360 US20090087041A1 (en) | 2007-10-02 | 2008-10-01 | Person authentication apparatus and person authentication method |
EP08017390A EP2045759A3 (en) | 2007-10-02 | 2008-10-02 | Person authentication apparatus and person authentication method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007258878A JP2009087232A (ja) | 2007-10-02 | 2007-10-02 | 人物認証装置および人物認証方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009087232A true JP2009087232A (ja) | 2009-04-23 |
Family
ID=40219237
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007258878A Pending JP2009087232A (ja) | 2007-10-02 | 2007-10-02 | 人物認証装置および人物認証方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20090087041A1 (ja) |
EP (1) | EP2045759A3 (ja) |
JP (1) | JP2009087232A (ja) |
KR (1) | KR20090034272A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015021757A (ja) * | 2013-07-16 | 2015-02-02 | 株式会社キーエンス | 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器 |
JP2015021764A (ja) * | 2013-07-16 | 2015-02-02 | 株式会社キーエンス | 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器 |
JP2015021756A (ja) * | 2013-07-16 | 2015-02-02 | 株式会社キーエンス | 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器 |
JP2015021762A (ja) * | 2013-07-16 | 2015-02-02 | 株式会社キーエンス | 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体 |
JP2015505284A (ja) * | 2011-12-29 | 2015-02-19 | インテル コーポレイション | 車両の乗員を識別するシステム、方法、及び装置 |
JP2018136340A (ja) * | 2018-04-26 | 2018-08-30 | 株式会社キーエンス | 外観検査装置 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4459788B2 (ja) * | 2004-11-16 | 2010-04-28 | パナソニック株式会社 | 顔特徴照合装置、顔特徴照合方法、及びプログラム |
EP2372637B1 (en) * | 2010-03-02 | 2013-07-03 | Autoliv Development AB | A driver assistance system and method for a motor vehicle |
US20120023201A1 (en) * | 2010-07-26 | 2012-01-26 | Atlas Advisory Partners, Llc | Unified Content Delivery Platform |
JP2012252447A (ja) * | 2011-06-01 | 2012-12-20 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
JP5992276B2 (ja) * | 2012-09-20 | 2016-09-14 | 株式会社東芝 | 人物認識装置、及び方法 |
JP6070098B2 (ja) * | 2012-11-15 | 2017-02-01 | カシオ計算機株式会社 | 閾値設定装置、閾値設定方法及びプログラム |
CN106295470A (zh) * | 2015-05-21 | 2017-01-04 | 北京文安智能技术股份有限公司 | 一种银行自助服务区预警监测方法、装置及系统 |
US10991168B2 (en) | 2017-10-22 | 2021-04-27 | Todd Martin | System and method for image recognition registration of an athlete in a sporting event |
JP7204077B2 (ja) * | 2018-09-07 | 2023-01-16 | 株式会社アイシン | 脈波検出装置、車両装置、及び脈波検出プログラム |
WO2021186708A1 (ja) * | 2020-03-19 | 2021-09-23 | 日本電気株式会社 | 訪問推進装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体 |
KR102357155B1 (ko) | 2021-07-14 | 2022-02-08 | 황정봉 | 메쉬휀스 시공방법 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4469476B2 (ja) | 2000-08-09 | 2010-05-26 | パナソニック株式会社 | 眼位置検出方法および眼位置検出装置 |
JP4314016B2 (ja) * | 2002-11-01 | 2009-08-12 | 株式会社東芝 | 人物認識装置および通行制御装置 |
KR100608595B1 (ko) * | 2004-11-16 | 2006-08-03 | 삼성전자주식회사 | 얼굴 인식 방법 및 장치 |
JP2006236244A (ja) * | 2005-02-28 | 2006-09-07 | Toshiba Corp | 顔認証装置および入退場管理装置 |
KR101185525B1 (ko) | 2005-07-29 | 2012-09-24 | 텔레콤 이탈리아 소시에떼 퍼 아찌오니 | 서포트 벡터 머신 및 얼굴 인식에 기초한 자동 생체 식별 |
US7755670B2 (en) * | 2005-10-24 | 2010-07-13 | Nikon Corporation | Tone-conversion device for image, program, electronic camera, and tone-conversion method |
JP2007206833A (ja) * | 2006-01-31 | 2007-08-16 | Toshiba Corp | 生体照合方法および生体照合装置 |
US20080080748A1 (en) * | 2006-09-28 | 2008-04-03 | Kabushiki Kaisha Toshiba | Person recognition apparatus and person recognition method |
-
2007
- 2007-10-02 JP JP2007258878A patent/JP2009087232A/ja active Pending
-
2008
- 2008-09-11 KR KR1020080089732A patent/KR20090034272A/ko not_active Application Discontinuation
- 2008-10-01 US US12/243,360 patent/US20090087041A1/en not_active Abandoned
- 2008-10-02 EP EP08017390A patent/EP2045759A3/en not_active Withdrawn
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015505284A (ja) * | 2011-12-29 | 2015-02-19 | インテル コーポレイション | 車両の乗員を識別するシステム、方法、及び装置 |
US9573541B2 (en) | 2011-12-29 | 2017-02-21 | Intel Corporation | Systems, methods, and apparatus for identifying an occupant of a vehicle |
JP2015021757A (ja) * | 2013-07-16 | 2015-02-02 | 株式会社キーエンス | 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器 |
JP2015021764A (ja) * | 2013-07-16 | 2015-02-02 | 株式会社キーエンス | 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器 |
JP2015021756A (ja) * | 2013-07-16 | 2015-02-02 | 株式会社キーエンス | 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器 |
JP2015021762A (ja) * | 2013-07-16 | 2015-02-02 | 株式会社キーエンス | 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体 |
JP2018136340A (ja) * | 2018-04-26 | 2018-08-30 | 株式会社キーエンス | 外観検査装置 |
Also Published As
Publication number | Publication date |
---|---|
EP2045759A3 (en) | 2009-09-02 |
KR20090034272A (ko) | 2009-04-07 |
EP2045759A2 (en) | 2009-04-08 |
US20090087041A1 (en) | 2009-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009087232A (ja) | 人物認証装置および人物認証方法 | |
JP5567853B2 (ja) | 画像認識装置および方法 | |
JP4594945B2 (ja) | 人物検索装置および人物検索方法 | |
EP2052347B1 (en) | Real-time face tracking in a digital image acquisition device | |
KR101115370B1 (ko) | 화상 처리장치 및 화상 처리방법 | |
US8879802B2 (en) | Image processing apparatus and image processing method | |
KR100824757B1 (ko) | 걸음걸이를 이용한 생체 인식 방법 | |
JP2009059073A (ja) | 撮影装置、撮影方法、人物認識装置および人物認識方法 | |
JP6025557B2 (ja) | 画像認識装置、その制御方法及びプログラム | |
JP5963525B2 (ja) | 認識装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置 | |
JP5710940B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2005259049A (ja) | 顔面照合装置 | |
US20210256713A1 (en) | Image processing apparatus and image processing method | |
JP2011071925A (ja) | 移動体追尾装置および方法 | |
JP2009044526A (ja) | 撮影装置、撮影方法、人物認識装置および人物認識方法 | |
JP2013218393A (ja) | 撮像装置 | |
JP2008234619A (ja) | 顔認証装置および顔認証方法 | |
JP5539565B2 (ja) | 撮像装置及び被写体追跡方法 | |
US10140503B2 (en) | Subject tracking apparatus, control method, image processing apparatus, and image pickup apparatus | |
JP2009009206A (ja) | 画像中の輪郭抽出方法及びその画像処理装置 | |
JP2007068146A (ja) | 画像処理装置、ホワイトバランスの評価値を演算する方法、ホワイトバランスの評価値を演算する方法を実現するためのプログラムコードを有するプログラム、および、このプログラムを記憶した記憶媒体 | |
JP5995610B2 (ja) | 被写体認識装置及びその制御方法、撮像装置、表示装置、並びにプログラム | |
JP5247419B2 (ja) | 撮像装置および被写体追跡方法 | |
JP2013157675A (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
JP2009134593A (ja) | 顔認証装置および顔認証方法 |