JP2008009689A - 顔登録装置、顔認証装置および顔登録方法 - Google Patents

Abstract

【課題】カメラの撮影環境が異なっている場合であっても、撮影環境の影響を軽減した被写体の認証情報を登録可能とする。
【解決手段】登録装置１は、撮影環境の異なる登録用のカメラ２０２、カメラ２０３と監視用のカメラ２０１とから取得した学習用の被写体の顔画像の類似度合いを学習して画質を評価するための評価基準を作成する学習部２０と、特定の被写体の顔画像の画質を評価基準に基づいて評価する評価部１０と、画質の評価に応じて顔画像を選択し、選択された顔画像から認証情報を作成して登録認証情報として登録する登録部３０とを備えている。認証部４０は、監視用のカメラ２０１から取得して得た不特定の被写体の顔画像から作成される認証情報と登録認証情報とを照合し、登録されている者であるか否かを判定する。
【選択図】図２

Description

本発明は、顔登録装置、顔認証装置および顔登録方法に関し、特に、互いに異なる位置に設置されたカメラから取得された認証情報を登録するための顔登録装置、顔認証装置および顔登録方法に関する。

近年、社会のグローバル化に伴い、個人情報を始め、営業上の秘密や技術情報などに関し、情報セキュリティの確保を重視した社会環境が求められている。特に、秘密情報が保存された情報装置などを設置した管理エリアの入退室管理が急速に整備・強化されつつあり、ＩＣカードなどによる本人確認に加えて、アクセス時の本人認証の方法として、生体の指紋、虹彩、眼底血管、顔の特徴、腕や手などの血管パターンなど、その生体固有のいわゆるバイオメトリクス情報を用いた様々な認証方法が実用化されている。

これらのうち、装置の構成の容易さ、認証時の手軽さなどの扱い易さから、例えば顔の特徴を利用して本人認証を行う認証方法（以下、「顔認証」という）が部屋の出入口にある顔認証装置などに用いられている。

顔認証とは、被認証者（以下、「被写体」という）の顔を含む領域を撮影して得た顔画像から生成した認証に用いる情報（以下、「認証情報」という）とあらかじめ登録された認証情報（以下、「登録認証情報」という）とを比較照合し、互いに一致すると判定された場合には、被写体があらかじめ登録された者であると認証する方法である。

このような顔認証を用いて、人物を捜索する人物捜索システムが提案されている。この人物捜索システムは、施設の複数箇所に設置された複数台の監視カメラ、複数台の監視端末、およびサーバを有し、監視カメラの映像はサーバに記憶される。監視端末は、読取装置を介して迷子の顔写真を入力し、捜索依頼をサーバに送信する。サーバは、捜索依頼された迷子の顔画像と、既に記憶している顔画像とを照合し、迷子が映っている映像があるか否かの照合結果を監視端末へ送信する（例えば、特許文献１を参照）。

また、撮影した連写画像中から最も写りのよい静止画像を選択して表示し、あるいはプリントするようにしたものが提案されている（例えば、特許文献２を参照）。
特開２００４−１２６７１１号公報 特開２００１−８１３５号公報

しかしながら、施設の複数箇所に設けられた監視カメラそれぞれの設置場所と、特定の人物を認証するための監視カメラが設置された場所とが異なっている場合、監視カメラが設置される場所における取り付け位置の制限、周囲の照明器具の違いなどから、照明の条件、撮影距離の条件、撮影方向の条件などの撮影条件を合わせることが困難であった。このような場合には、それぞれの設置場所において最も写りのよい画像を監視カメラから取得しても、互いに異なる場所で取得された顔画像どうしは撮影環境の影響を受けており、照合するときの精度がばらつくといった課題があった。

本発明は、このような課題に鑑みてなされたものであり、カメラの撮影環境が異なっている場合であっても、撮影環境の影響を軽減した被写体の認証情報を登録可能な顔登録装置、顔認証装置および顔登録方法を提供することを目的とする。

この目的を達成するために、本発明の顔登録装置は、被写体を撮影する監視用の撮影部、ならびに監視用の撮影部と異なる位置から被写体を撮影する登録用の撮影部に接続され、登録用の撮影部から取得される特定の被写体の顔画像を登録する前に、学習用の被写体を監視用の撮影部と登録用の撮影部とで撮影し、監視用の撮影部から取得された学習用の被写体の顔画像を基準顔画像とし、登録用の撮影部から取得される学習用の被写体の顔画像を学習顔画像とし、基準顔画像と学習顔画像とを比較して得られる類似度合いを学習し、登録用の撮影部から取得される特定の被写体の顔画像を評価するための評価基準情報を作成する学習部と、学習部によって作成された評価基準情報を記憶する学習結果記憶部と、特定の被写体を登録するときに、学習結果記憶部に記憶されている評価基準情報に基づいて、登録用の撮影部から取得される複数の特定の被写体の顔画像を評価し、その評価に応じて登録用の顔画像を選択する選択部と、選択部で選択された登録用の顔画像から、登録認証情報を作成する認証情報作成部と、認証情報作成部で作成された登録認証情報を記憶する認証情報記憶部と、認証情報記憶部に登録認証情報を登録する認証情報登録部とを備えたことを特徴とする。

この構成によれば、カメラの撮影環境が異なっている場合であっても、撮影環境の影響を軽減した被写体の認証情報を登録できる。

また、学習部は、類似度合いを、基準顔画像から作成される認証情報と学習顔画像から作成される認証情報に基づいて作成してもよい。

これによれば、さらに、監視時の照合に用いられる認証情報、登録認証情報と同じ条件で類似度合いを比較することが可能となり、認証時の照合精度を高めることができる。

また、学習部は、複数の学習顔画像の中で、類似度合いが大きいものから順に、所定の数の学習顔画像を抽出し、抽出された学習顔画像から所定の指標に基づく分布を検出し、所定の指標の分布に基づいて、評価基準情報を作成するようにしてもよい。

これによれば、さらに、所定の指標を、撮影環境に合わせることが可能となる。

また、所定の指標は、登録用の撮影部の位置における撮影環境の情報であってもよい。

これによれば、さらに、撮影環境に応じて評価基準情報を作成できる。

また、撮影環境の情報は、特定の被写体と登録用の撮影部との撮影距離または特定の被写体の正面顔に対する顔の向きであってもよい。

これによれば、さらに、撮影距離または顔の向きに応じて、特定の被写体の顔画像を選択することができる。

また、評価基準情報は、所定の指標の分布の平均値であってもよい。

これによれば、さらに、所定の撮影距離または所定の正面顔に対する顔の向きを基準にできる。

また、選択部は、特定の被写体の複数の顔画像から所定の指標に基づく情報をそれぞれ検出し、検出された情報と評価基準情報とを比較し、その類似度合いの近いものから順に、登録用の顔画像として選択するようにしてもよい。

これによれば、さらに、撮影環境の近い登録認証情報を登録できる。

また、選択部は、類似度合いの最も大きいものを登録用の顔画像として選択するようにしてもよい。

これによれば、さらに、撮影環境の最も近い登録認証情報を登録できる。

また、本発明の顔認証装置は、上述の顔登録装置と、監視用の撮影部から取得される被写体の顔画像から認証情報を作成する認証情報作成部と、認証情報登録部に記憶されている登録認証情報と認証情報とを比較照合し、類似度を算出する照合部と、類似度が所定の閾値以上であるか否かを判定し、被写体が登録されている者か否かを判定する認証部とを備えたことを特徴とする。

この構成によれば、顔認証装置は、カメラの撮影環境が異なっている場合であっても、撮影環境の影響を軽減した被写体の登録認証情報を用いて認証することでき、認証時の認証精度のばらつきを抑えることができる。

また、認証部が、被写体が登録されている者と判定したときに、警報により報知する報知部をさらに備えてもよい。

この構成によれば、さらに、被写体が登録されている者と判定したときに、装置の使用者に、警報で報知することができる。

また、本発明の顔登録方法は、被写体を撮影する監視用の撮影部と監視用の撮影部と異なる位置から被写体を撮影する登録用の撮影部とに接続される顔登録装置を用いて、特定の被写体の認証情報を登録するための顔登録方法であって、登録用の撮影部から取得される特定の被写体の顔画像を登録する前に、学習用の被写体を監視用の撮影部と登録用の撮影部とで撮影し、監視用の撮影部から取得された学習用の被写体の顔画像を基準顔画像とし、登録用の撮影部から取得される学習用の被写体の顔画像を学習顔画像とし、基準顔画像と学習顔画像とを比較して得られる類似度合いを学習し、登録用の撮影部から取得される特定の被写体の顔画像を評価するための評価基準情報を作成する学習ステップと、学習ステップにおいて作成した評価基準情報を学習結果記憶部に記憶する学習結果記憶ステップと、特定の被写体を登録するときに、学習結果記憶部に記憶されている評価基準情報に基づいて、登録用の撮影部から取得される複数の特定の被写体の顔画像を評価し、その評価に応じて登録用の顔画像を選択する選択ステップと、選択ステップにおいて、選択された登録用の顔画像から、登録認証情報を作成する認証情報作成ステップと、認証情報作成ステップにおいて作成された登録認証情報を認証情報記憶部に記憶する認証情報記憶ステップと、認証情報記憶部に登録認証情報を登録する認証情報登録ステップとを備えたことを特徴とする。

この方法によれば、カメラの撮影環境が異なっている場合であっても、撮影環境の影響を軽減した被写体の認証情報を登録できる。

本発明によれば、カメラの撮影環境が異なっている場合であっても、撮影環境の影響を軽減した被写体の認証情報を登録可能な顔登録装置、顔認証装置および顔登録方法を提供することができる。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

（実施の形態）
まず、本発明の実施の形態である顔認証装置２（以下、「認証装置２」という）の構成について説明する。図１は、本発明の実施の形態における認証装置２の構成を説明する説明図である。

図１に示すように、例えば、監視室９０に設置された認証装置２には、後述するように、監視室９０の警備員により、店舗９２に設置されたカメラ２０２、店舗９３に設置されたカメラ２０３それぞれから取得された映像から、店舗９２または店舗９３で陳列棚にある商品の不正な入手、あるいは商品への悪戯などの不正行為を行う被写体（以下、「特定人物」という）が監視されており、特定人物が発見されるたびに、その特定人物の認証情報が登録認証情報として登録される。そして、認証装置２は、他の店舗、例えば店舗９１に設置されたカメラ２０１で取得される不特定の被写体１００の認証情報と登録認証情報とを比較照合し、被写体１００が登録されている者か否かを認証する。認証装置２は、認証結果から、被写体１００が登録された者と判定した場合にはアラームなどの警報で知らせる。

ここで、カメラ２０１が設置される店舗９１は、商品を陳列した棚７１が横に配置され、カメラ２０２が設置される店舗９２は棚７２が横に配置され、カメラ２０３が設置される店舗９３は棚７３が縦に配置されている。このため、同じ被写体１００を、カメラ２０１、カメラ２０２、カメラ２０３それぞれで撮影した場合であっても、撮影環境は店舗内の設置場所それぞれにより異なる。例えば、カメラ２０１は、店舗９１の出入口８１を斜め上方向から撮影可能な位置に設置され、カメラ２０２は店舗９２の出入口８２の正面から撮影可能な位置に設置され、カメラ２０３は店舗９３の出入口８３を斜め横方向から撮影可能な位置に設置される。さらに、店舗内の照明条件も陳列される棚の配置や、窓の配置により異なっている。

このように、撮影環境が異なるカメラそれぞれから得られる認証情報を用いて特定人物を認証する場合は、後述するように、まず、画質が近い顔画像を選択し、次に選択された顔画像から認証情報を作成するようにすれば、認証情報の照合精度のばらつきを抑えることができる。

図２を用いて、認証装置２について説明する。図２は、本発明の実施の形態における認証装置２の構成を示すブロック図である。

図２に示すように、認証装置２は、特定人物を登録するための登録装置１と、被写体を認証する認証部４０と、登録装置１を操作する操作部５０とを備えている。

まず、登録装置１について説明する。

登録装置１は、特定人物を登録する前に、撮影環境の異なる登録用のカメラ２０２、カメラ２０３と監視用のカメラ２０１とから取得した学習用の被写体の顔画像の類似度合いを学習して画質を評価するための評価基準情報を作成する学習部２０と、特定人物を登録するときに、特定の被写体の顔画像の画質を評価基準情報に基づいて評価する評価部１０と、画質の評価に応じて顔画像を選択し、選択された顔画像から認証情報を作成して登録認証情報として認証部４０に登録する登録部３０とを備えている。

学習部２０は、被写体の顔画像の類似度合いを算出する評価値算出部２１と、顔画像の類似度合いに基づいて評価基準情報を作成する評価基準情報作成部２２と、評価基準情報を記憶する学習結果記憶部２３と、評価基準情報を調整するための調整値入力部２４とを備えている。

学習部２０は、まず、特定人物を登録する前に、学習用の被写体１００を、カメラ２０１、カメラ２０２、カメラ２０３それぞれで撮影し、それぞれ取得された顔画像の類似度合いを学習し、撮影環境の情報を評価基準情報として、後述する、学習結果記憶部２３に記憶する。

評価値算出部２１は、あらかじめ設定する指標を記憶（図示せず）しており、この指標に基づいて、取得された顔画像の分布を作成する。ここで、指標とは、撮影環境の情報であり、例えば、顔の向き、撮影距離の他に、照明方向、周囲照明による顔の明るさなどである。

本発明の実施の形態では、指標として、顔の向きと撮影距離について説明する。また、撮影距離は、カメラ２０２で撮影して得た顔画像の眼間距離より、三角測量などを用いて被写体１００とカメラとの距離を検出する。また、顔の向きは、撮影して得た顔画像から、正面顔に対する顔向きの角度を検出する。

図３に示すように、評価値算出部２１は、学習用の被写体１００を、カメラ２０１、カメラ２０２、カメラ２０３それぞれで撮影し、それぞれ取得した顔画像から抽出した、顔の向きの角度（θ）と撮影距離（ｍ）とを軸とする座標空間にプロットする。これにより、被写体１００の顔をほぼ正面方向から撮影する、カメラ２０２によって撮影された複数の顔画像から抽出した指標の分布は、領域１０１のようになる。被写体１００の顔をほぼ正面方向から撮影する場合には、顔の向きはあまり変化せず、撮影距離が変化する。同様に、被写体１００の顔をほぼ正面で、天井から斜めに撮影する、カメラ２０１によって撮影された複数の顔画像から抽出された指標の分布は領域１０４のようになる。被写体１００の顔をほぼ正面で、天井から斜めに撮影する場合には、撮影距離と顔の向きが変化する。被写体１００の顔を斜め方向から撮影する、カメラ２０３によって撮影された複数の顔画像から抽出された指標の分布は領域１０５になる。被写体１００の顔を斜め方向から撮影する場合には、顔の向きの角度（θ）の変化が大きくなる。

また、このプロットされた指標の分布の中で、顔画像から作成した、認証情報の類似度が所定の値以上のものを抽出した分布は、それぞれ領域１０２、領域１０６となる。

認証情報の作成方法として、例えば、固有顔法（Ｍ．Ｔｕｒｋ ａｎｄ Ａ．Ｐｅｎｔｌａｎｄ，”Ｅｉｇｅｎｆａｃｅｓ ｆｏｒ Ｒｅｃｏｇｎｉｔｉｏｎ”，Ｊｏｕｒｎａｌ ｏｆ Ｃｏｇｎｉｔｉｖｅ Ｎｅｕｒｏｓｃｉｅｎｃｅ，Ｍａｒｃｈ １９９１．）などの一般に知られた技術を用いて、濃淡情報の主成分分析を行い、特徴量を抽出する。なお、周波数情報の特徴量を抽出するようにしてもよい。

次に、評価基準情報作成部２２は、領域１０２、領域１０６それぞれの領域内にある分布の平均値を求め、得られた平均値１０３、平均値１０７を、それぞれカメラ２０２用評価基準情報２２１、カメラ２０３用評価基準情報２２２として、学習結果記憶部２３に記憶する。

学習結果記憶部２３は、記憶されている評価基準情報２２１、評価基準情報２２２を、画質の基準情報として、画質値算出部１１に出力する。このカメラ２０２用評価基準情報２２１、カメラ２０３用評価基準情報２２２の登録は、認証装置２を用いて、特定人物の登録、監視を行う運用を開始する前に、１回だけ行えばよい。

このように、カメラ２０２用評価基準情報２２１、カメラ２０３用評価基準情報２２２を用いて、新たな被写体を登録すれば、監視を行うカメラ２０１と撮影環境が異なっていても、近い撮影環境の顔情報を選択し、その認証情報を作成することができる。

なお、後述するように、調整値入力部２４を使って、評価基準情報を調整するようにしてもよい。これにより、装置の使用者の判断により、カメラの撮影環境の情報を適切に反映させることが可能となる。

次に、評価部１０は、画質値算出部１１を有する。画質値算出部１１は、新たに特定人物の登録操作が行われたときに、学習部２０の評価基準情報に基づいて、顔画像を評価し、入力された顔画像に撮影環境の近さに応じた画質値を付与情報として付与する。ここで、カメラ２０１の位置での撮影環境に近いほど、画質値を高くする。なお、評価部１０において、マハラノビス距離の計算式などを適用して、画質値を、所定の指標の分布の平均値と、その分散より求めるようにしてもよい。

登録部３０は、画質値に基づいて顔画像を選択する選択部３１と、選択部３１で選択された顔画像から認証情報を作成する認証情報作成部３４と、認証情報作成部３４で作成された認証情報を認証情報記憶部４３に登録する認証情報登録部３５とを備えている。

選択部３１は、付与情報から、画質値の一番大きい顔画像を選択して出力する。なお、選択部３１は、画質値の順番に顔画像候補を表示部３２に表示し、入力部３３を使って装置の使用者が選択できるようにしてもよい。

認証情報作成部３４は、選択部３１で選択された顔画像から認証情報を作成する。

認証情報登録部３５は、認証情報作成部３４で作成された認証情報をカメラごとに、例えば、カメラ２０２用登録認証情報４３１、カメラ２０３用登録認証情報４３２として、認証情報記憶部４３に登録する。

認証部４０は、認証情報作成部４６と、照合部４１と、認証判定部４２と、認証情報記憶部４３と、報知部４４と、データベース（ＤＢ）４５とを備えている。

認証情報作成部４６は、カメラ２０１で撮影して得た顔画像から認証情報を作成する。認証情報は、顔画像を元にして周波数情報、濃淡情報などの主成分分析により特徴量を抽出し、認証情報を生成する。

照合部４１は、認証情報作成部４６で作成された認証情報と認証情報記憶部４３に登録されている登録認証情報４３１、登録認証情報４３２それぞれとを比較照合し、一致する度合いを示す類似度を出力する。

認証判定部４２は、類似度が所定の閾値以上か否かによって、カメラ２０１によって新たに撮影される不特定の被写体１００が、登録されている特定人物か否かを判断する。

報知部４４は、認証判定部４２で、特定人物と判定されたときにアラームなどの警報を鳴らす。

ＤＢ４５は、他の登録者の認証情報を記憶しているデータベースである。

次に、認証装置２の全体動作について、図４を用いて説明する。図４は、本発明の実施の形態における認証装置２の全体動作を説明するフローチャートである。

まず、認証装置２は、異なる撮影環境に設置されたカメラ２０１、カメラ２０２、カメラ２０３の設置環境を、後述する学習処理によって、学習する。

図４に示すように、認証装置２は、特定人物を登録する前に、カメラ２０１、カメラ２０２、カメラ２０３の撮影環境を学習するため、同一の学習用の被写体をカメラ２０１、カメラ２０２、カメラ２０３それぞれで撮影し、得られた顔画像の類似度合いを評価値算出部２１で比較照合することで算出し、特定人物を登録するときに、監視用のカメラ２０１と撮影環境が近い画質の顔画像を登録用のカメラ２０２、カメラ２０３から取得するために、評価基準情報作成部２２は、評価基準情報を作成する（Ｓ１０１）。

このステップ１０１が終了した後で、特定人物を登録するときに評価基準情報を使うことで、特定人物の監視を行う監視用カメラから取得される顔画像の画質に近いものを、異なる撮影環境に設置された登録用のカメラから取得される複数の顔画像から選択することが可能となる。これにより、撮影環境の違いによる認証時の精度のばらつきを軽減できる。

次に、認証装置２は、特定人物を、次のような、登録処理によって登録する。監視室９０で警備している警備員などの装置の使用者が、登録用のカメラ２０２、カメラ２０３からの映像を操作部５０に備えられたモニタ（図示せず）を使って、例えば不審な挙動を行う特定人物が映っているか否かを監視し、特定人物を発見したときに、操作部５０からの入力により、その被写体の顔画像を取得して登録する。認証装置２は、特定人物を登録するときに、評価基準情報に基づいて、登録用のカメラ２０２、カメラ２０３から取得された複数の顔画像から画質の近いものを選択し、選択された顔画像に対して認証情報を作成し、作成された認証情報を登録認証情報として登録する（Ｓ１０３）。

このステップ１０３で、登録用のカメラ２０２、カメラ２０３から認証情報が取得され、登録認証情報として登録が完了する。これにより、以後、認証装置２は、監視用のカメラ２０１を使って、不特定の被写体を撮影し、特定人物を認証することができる。

次に、認証装置２は、特定人物を、後述する認証処理によって、認証する。認証装置２は、監視用のカメラ２０１を使って、店舗９１に入店する、不特定の被写体を撮影し、監視用のカメラ２０１から取得される認証情報と登録認証情報とを比較照合し、認証する（Ｓ１０５）。認証装置２は、認証結果が特定人物と判定されたとき、アラームなどの警報を鳴らし、装置の使用者に報知する。

以降、ステップ１０３、ステップ１０５を繰り返し行うことで、認証装置２は、新たな特定人物の登録、認証ができ、監視用のカメラ２０１によって特定人物の監視を行うことができる。

以下、学習処理、登録処理、認証処理の詳細について説明する。

まず、学習処理について、図５を用いて、詳細に説明する。図５は、本発明の実施の形態における学習処理の動作を説明するフローチャートである。

図５に示すように、認証装置２は、特定人物を登録する前に、監視用のカメラ２０１から撮影環境を学習するために被写体１００の顔画像をＮ枚取得する（Ｓ２０１、Ｓ２０３）。例えば、Ｎ枚は３枚または９枚である。このように、取得回数をあらかじめ定めてもよいし、取得された顔画像の画質により、取得回数を変更してもよい。

認証装置２は、カメラ２０１で取得された顔画像から認証情報を作成する（Ｓ２０５）。ここで、認証装置２は、取得された顔画像のうち、鮮鋭度、顔の向き、明るさなどの画質条件により、認証情報を作成するための１枚を選択する。

次に、認証装置２は、監視用のカメラ２０１で撮影した被写体と同じ学習用の被写体１００を、登録用のカメラ２０２、カメラ２０３で撮影し、顔画像をＮ枚取得する（Ｓ２０７、Ｓ２０９）。

次に、認証装置２は、評価値算出部２１により、カメラ２０１、カメラ２０２、カメラ２０３から取得した複数の顔画像から、所定の指標、例えば撮影環境の情報である、顔の向きと撮影距離を抽出し、抽出された顔の向きと撮影距離を軸とする座標空間にプロットする。このプロットされた所定の指標の分布の中で、顔画像から作成した、認証情報の類似度が所定の値以上のものを抽出する（Ｓ２１１、Ｓ２１５）。

次に、認証装置２は、評価基準情報作成部２２により、抽出された所定の指標の分布の平均値を求め、得られた平均値を、それぞれカメラ２０２用評価基準情報２２１、カメラ２０３用評価基準情報２２２として作成する（Ｓ２１７）。

次に、認証装置２は、カメラ２０２用評価基準情報２２１、カメラ２０３用評価基準情報２２２を学習結果記憶部２３に記憶する（Ｓ２１９）。

これにより、カメラ２０２用評価基準情報２２１、カメラ２０３用評価基準情報２２２を使うことで、特定人物の監視を行う監視用のカメラ２０１から取得される顔画像の画質に近いものを、異なる撮影環境に設置された登録用のカメラ２０２、カメラ２０３から取得される複数の顔画像から選択することが可能となる。

次に、登録処理について、図６を用いて、詳細に説明する。図６は、本発明の実施の形態における登録処理の動作を説明するフローチャートである。

図６に示すように、認証装置２の操作者または使用者は、特定人物を登録するときに、登録用のカメラ２０２、カメラ２０３からの映像を操作部５０に備えられたモニタを使って監視し、映像の中で不審な挙動を行う特定人物を発見したときに、操作部５０からの入力により、その被写体の顔画像を取得する（Ｓ３０１、Ｓ３０２）。

認証装置２は、評価部１０により、学習結果記憶部２３に記憶されている、カメラ２０２用評価基準情報２２１、カメラ２０３用評価基準情報２２２に基づいて、登録用のカメラ２０２、カメラ２０３から取得された複数の顔画像に対して、撮影環境の画質の近さを示す画質値を算出して顔画像に付与情報として付与する。そして、認証装置２は、登録部３０により、付与されている画質値から画質の近い顔画像を選択し（Ｓ３０５）、選択された顔画像に対して認証情報を作成し（Ｓ３０７）、作成された認証情報をカメラごとに、カメラ２０２用登録認証情報４３１、カメラ２０３用登録認証情報４３２として、認証情報記憶部４３に登録する（Ｓ３０９）。

次に、認証処理について、図７を用いて、詳細に説明する。図７は、本発明の実施の形態における認証処理の動作を説明するフローチャートである。

次に、認証装置２は、特定人物を監視するときに、認証部４０により、監視用のカメラ２０１を使って、不特定の被写体を撮影し（Ｓ４０１）、映像の中に被写体の顔があれば（Ｓ４０３）、認証を行う。認証装置２は、監視用のカメラ２０１から取得された顔画像から認証情報を作成し（Ｓ４０５）、認証情報と登録認証情報とを比較照合し、認証する（Ｓ４０７）。これにより、認証装置２は、店舗９１に特定人物が入店したか否かを判定する。認証装置２は、認証結果が特定人物と判定されたとき（Ｓ４０９）、報知部４４により、アラームなどの警報を鳴らし装置の使用者に報知する（Ｓ４１１）。警報は、装置の使用者によって止められるまで鳴らされる。装置の使用者によって警報が止められた後、ステップ４０１に戻り、監視を続ける。

一方、認証結果が特定人物と判定されなかったときは、ステップ４０１に戻り、監視を続ける。

以上述べたように、本発明の実施の形態における認証装置２は、学習部２０により、学習用の被写体を用いて、監視用のカメラで取得される顔画像と登録用のカメラで取得される顔画像とを統計処理し、監視用カメラから取得される顔画像の画質に近いものを選択するために、登録用のカメラから取得する顔画像を評価するための評価基準情報を作成する。これにより、特定人物の監視を行う監視用カメラとから取得される顔画像の撮影環境に近い画質の顔画像を、異なる撮影環境に設置された登録用のカメラから取得される複数の顔画像から選択することができ、撮影環境の違いによる認証時の精度のばらつきを軽減できる。

また、認証装置２は、登録用のカメラ２０２、カメラ２０３から取得される複数の顔画像を、評価基準情報を使って選択し、選択された顔画像から認証情報を作成し、登録認証情報として登録することができる。これにより、認証装置２は、撮影環境が異なる監視用のカメラ２０１を使って、不特定の被写体を撮影しても、撮影環境が類似している顔画像から作成した登録認証情報を記憶しているので、特定人物を精度よく認証することができる。

また、認証装置２は、監視用のカメラ２０１を使って、店舗９１に入店する、不特定の被写体を撮影し、監視用のカメラ２０１から取得される認証情報と登録認証情報とを比較照合し、認証する。そして、認証装置２は、認証結果が特定人物と判定されたとき、アラームなどの警報を鳴らし、装置の使用者に報知するので、店舗９１に特定人物が入店したときには、装置の使用者はすぐに気がつくことができ、用心深く監視することや、捕らえるなどの対策を行うことができる。

なお、認証装置２は、学習処理により得られた、撮影環境の情報である、指標に基づいた検出値を利用することで、顔画像の画質改善を行うようにしてもよい。例えば、顔の向きが常に左側に向いて撮影される学習結果が得られた場合には、擬似的に向きを補正し、正面に近い顔画像に変換処理を実施し、画質改善を行ってもよい。また、他の指標により、例えば、暗い顔を明るく変換したり、照明方向に生じている陰影をなくしたりしてもよい。これにより、撮影して得た顔画像の画質を改善し、改善された顔画像を元にして周波数情報、濃淡情報などの主成分分析により特徴量を抽出し、認証情報を生成することができる。

また、本発明の実施の形態では、監視用のカメラと登録用のカメラを固定にしたが、監視用のカメラと登録用のカメラを共用にし、どのカメラでも被写体の登録および監視を行うようにしてもよい。例えば、図８に示すように、棚７４がレイアウトされた構内９４において、認証装置３に接続される、カメラの入力をそれぞれ切り換えることが可能な切換部６０を備え、登録装置１、認証部４０に接続するようにしてもよい。これにより、例えば、認証装置３は、監視用のカメラをカメラ２０２、登録用のカメラをカメラ２０１、カメラ２０３とすることもできる。また、認証装置３は、切換部６０により入力を切り換えることで、監視用のカメラをカメラ２０３、登録用のカメラをカメラ２０１、カメラ２０２とすることもできる。また、同様に、認証装置３は、切換部６０により入力を切り換えることで、監視用のカメラをカメラ２０１、登録用のカメラをカメラ２０２、カメラ２０３とすることもできる。このように、切換部６０を設けたことにより、接続されるどのカメラからでも特定人物を登録することもでき、監視をすることもできる。ここで、学習部２０は、それぞれ設定された監視用のカメラから取得される顔画像を基準顔画像とし、登録用のカメラから取得される顔画像を学習用顔画像として、基準顔画像と学習顔画像との類似度合いから、統計処理により、それぞれ評価基準情報を作成し、それぞれカメラごとに作成した評価基準情報を学習結果記憶部２３に記憶する。

監視用のカメラと登録用のカメラを共用した場合、図８に示すように、建物の構内９４内に、複数のカメラを設置し、構内９４の中で、不審な挙動を行う特定人物が発見された場合には、認証装置３の操作者または使用者は、操作部５０により、特定人物が映っているカメラから顔画像を取得し、特定人物を登録することができる。例えば、登録されている特定人物が、構内９４の出入口８４、出入口８５など、どこから入ってきても、構内９４内に設置したカメラで監視でき、認証装置３が備える報知部４４を使って、アラームなどの警報を鳴らすことができる。これにより、構内９４のどのカメラでも、特定人物を検知するたびに警報を鳴らすことができ、特定人物を容易に監視することができる。

また、表示部３２に、登録用のカメラ２０２、カメラ２０３の最適な設置場所を、監視用のカメラ２０１との顔画像の類似度より求め、表示するようにしてもよい。登録用のカメラ２０２、カメラ２０３の設置状態の表示方法として、装置設置者または装置使用者にわかり易いように、数値でなく、グラフィック画像による表示としてもよい。例えば、図９に示すように、統計情報からベストショットとして最適な場所の分布状態を画像で表示する。例えば、最適なカメラの設置エリアを領域３３１で表示し、そのエリア内に設置した場合の顔向き画像３３２を表示するようにしてもよい。また、その中で最もよいと思われる場所の領域に被写体１００の顔の向き、顔の明るさ、照明方向などの情報を含め、アニメなどのキャラクタを使って表示してもよい。なお、被写体の顔画像を利用してもよい。これにより、登録カメラの設置作業を行う場合において、数値を見て設置状況を把握するのに比べて、視覚的に状況を把握できるために作業効率を向上させることができる。

また、設置場所における撮影環境で、顔の向き、または撮影距離の影響が大きい場合、装置の使用者の判断により、適切に調整を行うようにしてもよい。これにより、例えば、学習部２０は、顔の向きに重み付けを与えるような統計処理や、撮影距離に重み付けを与える統計処理を行うことが可能となる。

微調整を行う場合の入力方法として、装置の使用者にわかり易いように、数値でなく、グラフィック画像による入力表示としてもよい。例えば、図１０に示すように、調整値入力部２４の入力操作を、スライダー２４２、２４４により行い、顔の向き、撮影距離の設置情報を入力できる。例えば、顔の向きのボタン２４１を押し、スライダー２４２を調整する。また、撮影距離のボタン２４３を押し、スライダー２４４を調整する。これにより、調整値入力部２４により、統計処理の重みを微調整でき、評価基準情報を調整することができる。

また、認証情報記憶部４３を登録装置１の内部に設け、認証部４０に出力するようにしてもよい。

また、本発明の実施の形態における顔登録装置を、集積回路などのハードウェアで実現してもよし、中央処理装置（ＣＰＵ）、デジタル信号処理装置（ＤＳＰ）などを用い、プログラムにより実行させてもよい。

ＣＰＵは、処理データを一時的に保持するランダムアクセスメモリ（ＲＡＭ）、ＣＰＵが実行するプログラムなどを格納するリードオンリメモリ（ＲＯＭ）に接続され、カメラ２０１からカメラ２０３で被写体の顔画像情報を取得し、本発明の実施の形態における学習処理、登録処理、認証処理などの処理を行う。

また、学習処理、登録処理、認証処理を行うプログラムは、あらかじめＲＯＭに格納してもよいし、接続されたハードディスクドライブ（ＨＤＤ）に格納してもよい。

本発明による、顔登録装置、顔認証装置および顔登録方法は、被写体の顔を撮影して得た認証情報を登録することができ、特に、カメラの撮影環境が異なっている場合であっても、撮影環境の影響を軽減した被写体の認証情報を登録可能な顔登録装置、顔認証装置および顔登録方法などとして有用である。

本発明の実施の形態における認証装置の構成を説明する説明図 同実施の形態における認証装置の構成を示すブロック図 同実施の形態における検出値の分布を説明する説明図 同実施の形態における認証装置の全体動作を説明するフローチャート 同実施の形態における学習処理の動作を説明するフローチャート 同実施の形態における登録処理の動作を説明するフローチャート 同実施の形態における認証処理の動作を説明するフローチャート 同実施の形態における認証装置の他の構成を説明する説明図 同実施の形態における表示部の表示例を説明する説明図 同実施の形態における調整値入力部を説明する説明図

符号の説明

１ 登録装置
２，３ 認証装置
１０ 評価部
１１ 画質値算出部
２０ 学習部
２１ 評価値算出部
２２ 評価基準情報作成部
２３ 学習結果データベース（ＤＢ）
２４ 調整値入力部
３０ 登録部
３１ 選択部
３２ 表示部
３３ 入力部
３４，４６ 認証情報作成部
３５ 認証情報登録部
４０ 認証部
４１ 照合部
４２ 認証判定部
４３ 認証情報記憶部
４４ 報知部
４５ データベース（ＤＢ）
５０ 操作部
６０ 切換部
７１，７２，７３，７４ 棚
８１，８２，８３，８４，８５ 出入口
９０ 監視室
９１，９２，９３ 店舗
９４ 構内
１００ 被写体
２０１，２０２，２０３ カメラ

Claims (11)

1. 被写体を撮影する監視用の撮影部、ならびに前記監視用の撮影部と異なる位置から前記被写体を撮影する登録用の撮影部に接続され、
   前記登録用の撮影部から取得される特定の被写体の顔画像を登録する前に、学習用の被写体を前記監視用の撮影部と前記登録用の撮影部とで撮影し、前記監視用の撮影部から取得された前記学習用の被写体の顔画像を基準顔画像とし、前記登録用の撮影部から取得される前記学習用の被写体の顔画像を学習顔画像とし、前記基準顔画像と前記学習顔画像とを比較して得られる類似度合いを学習し、前記登録用の撮影部から取得される前記特定の被写体の顔画像を評価するための評価基準情報を作成する学習部と、
   前記学習部によって作成された前記評価基準情報を記憶する学習結果記憶部と、
   前記特定の被写体を登録するときに、前記学習結果記憶部に記憶されている前記評価基準情報に基づいて、前記登録用の撮影部から取得される複数の前記特定の被写体の顔画像を評価し、その評価に応じて登録用の顔画像を選択する選択部と、
   前記選択部で選択された前記登録用の顔画像から、登録認証情報を作成する認証情報作成部と、
   前記認証情報作成部で作成された前記登録認証情報を記憶する認証情報記憶部と、
   前記認証情報記憶部に前記登録認証情報を登録する認証情報登録部と、
   を備えたことを特徴とする顔登録装置。
2. 前記学習部は、前記類似度合いを、前記基準顔画像から作成される認証情報と前記学習顔画像から作成される認証情報に基づいて作成することを特徴とする請求項１に記載の顔登録装置。
3. 前記学習部は、複数の前記学習顔画像の中で、前記類似度合いが大きいものから順に、所定の数の前記学習顔画像を抽出し、抽出された前記学習顔画像から所定の指標に基づく分布を検出し、前記所定の指標の分布に基づいて、前記評価基準情報を作成することを特徴とする請求項１または請求項２に記載の顔登録装置。
4. 前記所定の指標は、前記登録用の撮影部の位置における撮影環境の情報であることを特徴とする請求項３に記載の顔登録装置。
5. 前記撮影環境の情報は、前記特定の被写体と前記登録用の撮影部との撮影距離または前記特定の被写体の正面顔に対する顔の向きであることを特徴とする請求項４に記載の顔登録装置。
6. 前記評価基準情報は、前記所定の指標の分布の平均値であることを特徴とする請求項５に記載の顔登録装置。
7. 前記選択部は、前記特定の被写体の複数の顔画像から前記所定の指標に基づく情報をそれぞれ検出し、検出された前記情報と前記評価基準情報とを比較し、その類似度合いの近いものから順に、前記登録用の顔画像として選択することを特徴とする請求項３から請求項６までのいずれか１項に記載の顔登録装置。
8. 前記選択部は、前記類似度合いの最も大きいものを前記登録用の顔画像として選択することを特徴とする請求項７に記載の顔登録装置。
9. 請求項１から請求項８までのいずれか１項に記載の顔登録装置と、
   前記監視用の撮影部から取得される被写体の顔画像から認証情報を作成する認証情報作成部と、
   前記認証情報登録部に記憶されている前記登録認証情報と前記認証情報とを比較照合し、類似度を算出する照合部と、
   前記類似度が所定の閾値以上であるか否かを判定し、前記被写体が登録されている者か否かを判定する認証部と、
   を備えたことを特徴とする顔認証装置。
10. 前記認証部が、前記被写体が登録されている者と判定したときに、警報により報知する報知部をさらに備えたことを特徴とする請求項９に記載の顔認証装置。
11. 被写体を撮影する監視用の撮影部と前記監視用の撮影部と異なる位置から前記被写体を撮影する登録用の撮影部とに接続される顔登録装置を用いて、特定の被写体の認証情報を登録するための顔登録方法であって、
    前記登録用の撮影部から取得される前記特定の被写体の顔画像を登録する前に、学習用の被写体を前記監視用の撮影部と前記登録用の撮影部とで撮影し、前記監視用の撮影部から取得された前記学習用の被写体の顔画像を基準顔画像とし、前記登録用の撮影部から取得される前記学習用の被写体の顔画像を学習顔画像とし、前記基準顔画像と前記学習顔画像とを比較して得られる類似度合いを学習し、前記登録用の撮影部から取得される前記特定の被写体の顔画像を評価するための評価基準情報を作成する学習ステップと、
    前記学習ステップにおいて作成した前記評価基準情報を学習結果記憶部に記憶する学習結果記憶ステップと、
    前記特定の被写体を登録するときに、前記学習結果記憶部に記憶されている前記評価基準情報に基づいて、前記登録用の撮影部から取得される複数の前記特定の被写体の顔画像を評価し、その評価に応じて登録用の顔画像を選択する選択ステップと、
    前記選択ステップにおいて、選択された前記登録用の顔画像から、登録認証情報を作成する認証情報作成ステップと、
    前記認証情報作成ステップにおいて作成された前記登録認証情報を認証情報記憶部に記憶する認証情報記憶ステップと、
    前記認証情報記憶部に前記登録認証情報を登録する認証情報登録ステップと、
    を備えたことを特徴とする顔登録方法。

Images