JP2012069039A

JP2012069039A - ホワイトリスト内外判定装置及び方法

Info

Publication number: JP2012069039A
Application number: JP2010214883A
Authority: JP
Inventors: Hiroaki Yoshio; 宏明由雄
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2010-09-27
Filing date: 2010-09-27
Publication date: 2012-04-05
Anticipated expiration: 2030-09-27
Also published as: EP2624207A1; WO2012042702A1; US8929613B2; EP2624207A4; JP5873959B2; US20130177238A1

Abstract

【課題】ホワイトリスト内外判定装置の設置された場所により変低結果が不安定になる。
【解決手段】複数の事前学習画像を元に生成した１次変換式を用いて、画像から１次特徴データを抽出する１次特徴データ抽出手段と、前記事前学習画像および複数の応用学習画像から生成した２次変換式を用いて、画像から２次特徴データを抽出する２次特徴データ抽出手段と、前記１次変換式を用いて登録画像と照合画像とのマッチングを行う１次マッチング手段と、前記２次変換式を用いて登録画像と照合画像とのマッチングを行う２次マッチング手段とを有し、前記１次マッチング手段のマッチング結果と前記２次マッチング手段のマッチング結果の重みとを前記事前学習画像の枚数と前記応用学習画像の枚数に応じて変える。
【選択図】図１

Description

本発明は、設置環境が変わったときでも、新たな設置環境で取得した人物がホワイトリストに登録されている人物か否かを正しく判定できる、ホワイトリスト内外判定装置及び方法係るものである。

従来のホワイトリスト内外判定装置及び方法を図１２に示す。従来例では、まず、学習部１２１で、多数の学習用顔画像から事前学習１２２により、部分空間変換式１２３を求める。次に、この部分空間変換式１２３を用いて、登録顔入力１２５から入力した、ホワイトリストして登録すべき人物の画像を、登録顔特徴データ抽出１２６によって特徴量を求め、登録顔特徴データ群１２７に保持しておく。

一方、照合顔入力１２９から照合すべき顔画像が入力されると、部分空間変換式１２３により、照合すべき顔の特徴量が抽出され、マッチング部１３１によって、登録顔特徴データ群に登録された顔の特徴量とマッチングが行われる。

その結果、同一判定部１３２によって、照合顔の特徴量が登録顔特徴データ群に保持されたホワイトリストの顔画像の特徴量と等しいか否かが判定される。

また、特許文献１のように、顔全体の特徴量を求めるのではなく、顔の領域毎に部分空間を作成したり、経年変化を考慮して部分空間を作成して、特徴量を取得する方法がある。

さらに、固有顔を求めた上（ＰＣＡ）で、クラス内の分散を最小にし、かつクラス間の分散を最大にし（ＦＬＤ）、さらにＦＬＤの計算を容易にする方法（ＦｉｓｈｅｒＦａｃｅ）により、光源の変化があっても個人を認証可能なホワイトリスト内外判定装置がある（非特許文献１）。

以下、非特許文献１に記載されているＰＣＡ(Principal Component Analysis)，ＦＬＤ(Fisher’s Linear Discriminant)およびカーネルフィッシャー法について簡単に述べる。

ＰＣＡは、Ｎ個の顔画像を

とし、画像の分散行列を

としたとき、

となる、変換式により、画像空間の次元を縮退するものである。

また、ＦＬＤは、本人内分散を最小にして、他人間分散を最大にするもので、他人間分散を、

とし、本人内分散を、

としたとき、

を変換式とするものである。

最後に、ＦｉｓｈｅｒＦａｃｅ法は、ＦＬＤの計算を少ない画像でも容易に行うことを可能にする方法であって、

なお、

なお、

によって、表される。

これによって、_ＷＦＬＤの次元をｃ−１に削減できる。

特開平１１―１１５７１８号公報

"Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection", Peter N. Belhumer, Joao P. Hespanha, and David J. Kriegman, IEEE Transaction on Pattern Analysis and Machine Intelligence, vol.19, No.7 July, pp711-720.

しかしながら、従来の発明では、図１３に示すように、学習部１２１で用いた顔画像、登録部１２４で用いたホワイトリストに登録する顔画像、照合部１２８の顔画像の撮影条件が異なると、特徴量を求める際の条件が異なるため、誤発報が増えるという問題点があった。また、登録データ（ブラックリスト）が増えると、ホワイトリストに登録する人物の判別が困難になり、誤発報が増える、といった課題があった。

さらに、実環境で撮影した画像によって、部分空間を作るための変換式を作成した場合、部分空間を作るための画像が少ないと、安定した結果が得られない、という課題があった。

本発明はこれらの問題を解決し、学習部、登録部、照合部における撮影条件が異なったり、異なる環境に適応するための画像が少ない場合でも、照合する人物がホワイトリストに登録されているか否かを判定できる、ホワイトリスト内外判定装置及び方法を提供することを目的とする。

本発明のホワイトリスト内外判定装置は、複数の事前学習画像を元に生成した１次変換式を用いて、画像から１次特徴データを抽出する１次特徴データ抽出手段と、前記事前学習画像および複数の応用学習画像から生成した２次変換式を用いて、画像から２次特徴データを抽出する２次特徴データ抽出手段と、前記１次変換式を用いて登録画像と照合画像とのマッチングを行う１次マッチング手段と、前記２次変換式を用いて登録画像と照合画像とのマッチングを行う２次マッチング手段とを有し、前記１次マッチング手段のマッチング結果と前記２次マッチング手段のマッチング結果の重みとを前記事前学習画像の枚数と前記応用学習画像の枚数に応じて変えることを特徴としている。

この構成により、事前学習画像の枚数と応用学習画像の枚数との比率に応じて、前記１次マッチング手段のマッチング結果と前記２次マッチング手段のマッチング結果の重み付けを変えることが出来る。

また、本発明のホワイトリスト内外判定装置は、前記重みは、前記応用学習画像の枚数が少なくなるほど前記２次マッチング手段のマッチング結果の重みを小さくすることを特徴としている。

この構成により、応用学習画像の枚数が少なく、２次変換式によるマッチング結果が安定しないときでも、１次変換式によるマッチングの重みを大きくすることにより安定した結果を得ることが出来る。さらに、応用学習画像の枚数が多いときは、２次変換式によるマッチング結果の重みを大きくして、応用学習画像が取得された環境に適合したマッチング結果を得ることが出来る。

さらに、本発明のホワイトリスト内外判定装置は、前記類似度が所定の閾値より大きなとき、前記照合画像を前記登録画像として登録することを特徴としている。

この構成により、照合画像と登録画像との類似度が所定の閾値より大きなとき、照合画像を新たな登録画像として登録することが出来る。

本発明は、実環境で取得した照合画像がホワイトリストに登録された人物である否かを判定する際、実環境で取得した応用学習用の画像が少ないときは、事前学習で生成した変
換式に大きな重みを置くので、安定した判定結果が得られ、実環境で取得した応用学習用の画像が多いときは、応用学習用の画像で作成した変換式に大きな重みを置くので、実環境に適合した判定結果が得られる。

本発明の実施の形態１の構成を示すブロック構成図本発明の実施の形態１の処理の流れを示す説明図本発明の実施の形態１の初期設定処理の流れを示すフロー図本発明の実施の形態１の流れを示すフロー図本発明の実施の形態１の照合顔の判定その１の流れを示すフロー図本発明の実施の形態１の照合顔の判定その２の流れを示すフロー図本発明の実施の形態１の特徴を示す説明図本発明の実施の形態２の構成を示すブロック構成図本発明の実施の形態２の初期設定処理の流れを示すフロー図本発明の実施の形態２の利用状況を示す説明図本発明の実施の形態２の利用状況を示す説明図従来のホワイトリスト内外判定装置のブロック構成図従来のホワイトリスト内外判定装置の説明図

（実施の形態１）
以下、本願に係わる実施の形態１について、図面により詳細に説明する。図１は本発明のホワイトリスト内外判定装置の実施の形態１を示すブロック図である。

図１において、初期設定処理１は、事前学習手段１５、事前学習手段１５によって作成された１次変換式１６、登録顔サンプル応用学習手段１７、登録顔サンプル応用学習１７によって作成される２次変換式１８によって構成されている。

ホワイトリスト内外判定装置の初期設定処理１以外の構成としては、ホワイトリストの顔画像を入力する登録顔入力手段２、入力されたホワイトリストの顔画像を１次変換式１６で変換する１次特徴データ抽出手段３、抽出された１次特徴データを保持する１次特徴データ群５、入力されたホワイトリストの顔画像を２次変換式１８で変換する２次特徴データ抽出手段４、抽出された２次特徴データを保持する２次特徴データ群６、照合する顔を入力する照合顔入力手段７、照合する顔画像の１次特徴データおよび２次特徴データを抽出する１次・２次特徴データ抽出手段８、抽出された照合顔の１次特徴データと１次特徴データ群の間でマッチングを行う１次マッチング手段９、抽出された照合顔の２次特徴データと２次特徴データ群とのマッチングを行う２次マッチングを行う２次マッチング手段１０、１次マッチング手段９および２次マッチング手段１０の結果を用いて、照合画像がホワイトリストに登録されているものか否かを判定する同一判定手段１１によって構成されている。

次に、図２を用いて、本願の概要について述べる。最初に、非特許文献１に記載されているフィッシャーフェイス法を用いて、本人内分散を最小にしつつ、他人間分散を最大にして、ホワイトリスト内外判定を行う方法について述べる。

フィッシャーフェース法は、ＰＣＡによる学習結果が得られた後、クラス内分散を最小にし、クラス間分散を最大にするための計算を、クラス毎に与えられた少ない画像でも安定して計算できる方法である。

この方法を用いると、ホワイトリストに登録されている人物の顔画像について、本人間
分散を最小にし、他人間分散を最大にする変換式を得ることが出来る。

まず、非常に多くの顔画像（例えば３０００人分）を用いて、ＰＣＡ(Principal Component Analysis)法により特徴空間を作成する。また、ＦＬＤにより本人内分散を最小にし、他人間分散を最大にする（図２、２１）。この結果、１次変換式として、

が得られる（図２、１６）。

次に、ホワイトリスト照合装置を設置した環境で取得した顔画像の１次変換後の特徴データに対して、ＦｉｓｈｅｒＦａｃｅ法により、特徴空間の本人内分散を最小にし、他人間分散を最大にする（図２、２３）。この結果、２次変換式として、

が得られる（図２、１８）。

ホワイトリスト顔照合を行う際には、ホワイトリストに登録する顔画像（図２、２５）を

としたとき、（数１０）によって（図２、２６）

を得る。

一方、照合する顔画像を

としたとき、（数１０）によって（図２、２６）

を得る。

そして、閾値を_ＷＦＬＤとしたとき、
１次変換式による類似度を次のようにあらわす（図２、２８）。

類似度がマイナスになるときは、類似していないと判断し、類似度がプラスのときを考慮対象とする。

同様に、２次変換式によって得られたホワイトリストの特徴量をVw2、２次変換式によって得られた照合する顔画像の特徴量をVe2とすると、
ＦｉｓｈｅｒＦａｃｅによる類似度は次のようになる（図２、２９）。

ただし、_{ＴＦｉｓｈｅｒＦｉｅｌｄ}は閾値である。

重みをｗ１，ｗ２としたとき、最終的な類似度は以下によって求めることが出来る（図２、３０）。

ただし、

そして、Ｓの値（数１８）が所定の閾値以上のとき、照合する顔はホワイトリストに登録されているものとし、所定の閾値より小さいとき、照合する顔画像はホワイトリストにないと判断する。
このとき、学習モデルで用いた顔画像の枚数と、実空間で取得した画像の枚数の比率によってｗ１とｗ２の値を変える。

すなわち、本願の実施の形態１では、事前学習１５で用いた学習画像の枚数と登録顔サンプル応用学習１７で利用した画像の枚数の比率に応じて、１次変換式を利用して得られた類似度と２次変換式を利用して得られた類似度の寄与度を変えて最終的な類似度を求めるものである。

これにより、登録顔サンプル応用学習を行うときの枚数が少なく、２次変換式を利用した類似度の計算結果が不安定なときは、１次変換式を利用した類似度の結果の重みを大きくすることが出来るので、安定した結果が得られる。一方、登録顔サンプル応用学習を行うときの枚数が多いときは、２次変換式を利用した類似度の計算結果の重みを大きくすることが出来るので、実環境で登録顔サンプル応用学習用の画像を取得すれば、実環境に適合した結果を得ることが出来る。

次に、図１〜図６を用いて、本発明の実施の形態１の処理の流れについて説明する。最初に、図１の初期設定処理１について説明する。事前学習手段１５は、図２の２１で説明したように、多くの学習データから、ＰＣＡおよびＦＬＤを用いて、１次変換式１６を作成する。また、登録顔サンプル応用学習手段により、実環境で取得したサンプル画像を用いて、ＦｉｓｈｅｒＦａｃｅ法により、１次変換式１６から２次変換式１８を作成する。

図３は、初期設定処理１の流れを示している。事前学習データ入力（Ｓ３１）では、事前学習に用いるための例えば３０００人分といった非常に多くの顔画像を入力する。次に、ＰＣＡ，ＦＬＤによる１次変換式の作成（Ｓ３２）では、１次変換式１６（数１０）を求める。

次に、ホワイトリスト内外判定装置は、実際に稼動する場所に移動される。そして、実環境でのデータ取得（Ｓ３３）が行われる。次に、ＦｉｓｈｅｒＦａｃｅ法により２次変換式１８（数１１）の作成（Ｓ３４）が行われる。

次に、ホワイトリストに登録する顔画像の登録について述べる。図１において、ホワイトリストに登録する画像は、登録顔入力手段２から入力される。そして、１次特徴データ抽出手段３によって、１次変換式１６を用いて、１次特徴データが抽出され、１次特徴データ群５に保持される。

また、登録顔入力手段２から入力されたホワイトリストに登録する画像は、２次特徴データ抽出手段４によって、２次変換式１８を用いて２次特徴データが抽出され、２次特徴データ群６に保持される。
次に、ホワイトリスト内外判定装置が、実環境に設置されると、照合顔入力手段７により、実環境における人物の照合用の顔画像が入力される。

照合用の顔画像は、１次・２次特徴データ抽出手段８によって、１次変換式１６及び２次変換式１８を用いて、１次特徴データ及び２次特徴データが作成される。

そして、１次マッチング手段９により、照合用の顔画像の１次特徴データと、１次特徴データ群５に保持されている特徴データとのマッチング行われる。

同様に、２次マッチング手段１０により、照合用の顔画像の２次特徴データと、２次特徴データ群６に保持されている特徴データとのマッチング行われる。
そして、同一判定手段１１によって、照合用の顔画像がホワイトリストに登録されている顔画像と一致しているかどうかが判定される。
図４は、ホワイトリストに登録された人物の顔画像の登録から、照合用の顔画像の判定までを示したフローチャートである。

登録顔入力（Ｓ４１）では、ホワイトリストとして登録する顔画像を入力する。１次データ抽出（Ｓ４２）では、１次変換式１６を用いて、ホワイトリストに登録すべき顔画像の特徴量を抽出する。そして、１次データ保持（Ｓ４３）において、その特徴量を１次特徴データ群５に登録する。

２次データ抽出（Ｓ４４）では、２次変換式１８を用いて、ホワイトリストに登録すべき顔画像の特徴量を抽出する。そして、２次データ保持（Ｓ４５）において、その特徴量を２次特徴データ群６に登録する。

次に、照合顔の判定（Ｓ４６）において、照合顔の判定をおこなう。

図５および図６は、照合顔の判定（Ｓ４６）の内部を示しており、図５は手法その１を、図６は手法その２を示している。

図５において、照合顔入力（Ｓ５１）は、実環境において、照合顔入力手段７によって、ホワイトリストに登録された人物か否かを判定する照合顔データを入力する。

１次・２次特徴データ抽出（Ｓ５２）は、１次・２次特徴データ抽出手段８によって、１次変換式１６および２次変換式１８を用いて、照合顔の１次・２次特徴データを抽出する。

１次特徴データ読込（Ｓ５３）では、１次特徴データ５に保持されているホワイトリストに登録された顔画像の１次特徴を読み込む。

照合データとのマッチング（Ｓ５４）では、１次マッチング手段９によって、照合顔の特徴量と１次特徴データ群５に保持されていた特徴データとのマッチングを行う。

このとき、類似度α以上のデータ抽出（Ｍ個）（Ｓ５５）においては、Ｓ５４でマッチングされた結果で、類似度がα以上のホワイトリストに登録された人物を選ぶ。

Ｍ個分の２次特徴量は２次特徴データ群６から読み出される（Ｓ５６）。
照合データとの２次マッチング（Ｓ５７）においては、２次マッチング手段１０によって、Ｓ５６によって読み出されたＭ個分の２次特徴データと、照合顔の特徴量とのマッチングを行う。

そして、最も高類似度のデータ抽出（Ｓ５８）によって、最も高類似度のホワイトリストに登録された人物を選ぶ。

同一判定（Ｓ５９）では、類似度が所定の閾値（β）以上のとき、照合画像がホワイトリストに登録された人物と判定する。

この際の判定方法としては、数１６〜数１９で説明した方法を用い、ｗ１およびｗ２の値は、実環境で取得して、登録顔サンプル応用学習手段１７で用いた実環境で取得した画
像の枚数と、事前学習手段１５で用いた顔画像の枚数の比率によって決定する。

たとえば、登録データの人数が多い時は、
(w1:w2)=(0.2:0.8)
とし、登録データの人数が少ない時は、
(w1:w2)=(0.5:0.5)
のように設定する。

このようにすることにより、実環境で取得した登録顔サンプルが少ない場合は、２次変換式を用いて得られた類似度より、１次変換式を用いて得られた類似度を優先した類似度になるため、安定した結果を得ることが出来る。

次に、図６を用いて、図４の照合顔の判定（Ｓ４６）の手法その２について説明する。

図６において、１次特徴データ読込（Ｓ６３）までは、図５の手法その１と同じである。

また、２次特徴データ読込（Ｓ６４）では、２次マッチング手段１０により、２次データ特徴データ群６に保持してある全ての２次特徴量を読み込む。

照合データとの１次マッチング（Ｓ６５）では、１次マッチング手段９により、１次・２次特徴データ抽出手段８で抽出した照合画像の特徴量と、１次特徴データ群５から読み込んだ特徴量とのマッチングを行う。

照合データとの２次マッチング（Ｓ６６）では、２次マッチング手段１０により、１次・２次特徴データ抽出手段８で抽出した照合画像の特徴量と、２次特徴データ群６から読み込んだ特徴量とのマッチングを行う。

最後に同一判定手段（Ｓ６７）により、これらの類似度を用いて、照合画像がホワイトリストに登録されている顔画像と同一か否かを判定する。

同一判定の方法は、図５で説明した方法と同じである。

図７は、本願の発明のメリットを示したものである。例えば、事前登録データとして正面顔が多い場合でも、２次変換式で顔向き変化に対応できる。また、実環境で取得した正面顔以外の画像が少ない場合、２次変換式に依存しすぎてシステムが不安定になることを抑制できる。

また、照明条件が事前学習と異なる場合、2次変換式で実照明条件の違いをカバーできる、といったメリットがある。
（実施の形態２）
図８は、本発明の実施の形態２を示している。実施の形態２は、実施の形態１と比較して、登録顔の更新手段８１を新たに有している。

登録顔の更新手段８１は、実施の形態１において、類似度が所定の閾値（γ、γ≧β）のとき、実環境で取得した顔画像をホワイトリストに登録すべき顔画像とすることも出来る。これにより、ホワイトリストに登録されている顔画像を実環境に適したものにすることが出来る。

図９は、本発明の実施の形態２のフローを示している。実施の形態２において、同一判
定の結果、類似度が所定の閾値（γ、γ≧β）を超えていたとき、実環境で取得した画像をホワイトリストに登録する。

図１０、図１１は、本願の発明の利用状況を示したものである。図１０では、カメラ1による、病院における患者の無断外出や、カメラ2)による、病院内への未登録者の侵入2を示している。

入院患者の場合は、カメラによって撮影される機会が多いので、一度ホワイトリストに登録しておけば、ホワイトリストに登録された人物として何度も認識され更新されていくので、玄関から無断で打移出しようとする際に検出が容易になる。

一方、入院患者や病院で普段勤務している以外の人物は、ホワイトリストに登録された人物として照合されないので、不審者の侵入を容易に検知することができる。

図１１は、入院患者や病院で勤務している人物の居場所を確認する例を示したものである。事務室のパソコンから患者あるいは病院勤務者の氏名を入力すると、直前の数時間(又は数分)の期間で、リハビリ室のカメラ3)、廊下に設定されたカメラ4)、入院病室のカメラ5)、待合室に設置されているカメラ6)、玄関に設置されているカメラ7)、カメラ8)などから、該当する人物を探して表示する。
なお、図３において、ホワイトリスト内外判定装置は、実際に稼動する場所に移動されるが、必ずしも移動する必要はない。

本願は、病院などにおいて、ホワイトリストとして登録した人物の病院内の所在や、不審者の侵入などを検出できるホワイトリスト内外判定装置および方法に係わる発明である。

１初期設定処理
２登録顔入力手段
３１次特徴データ抽出手段
４２次特徴データ抽出手段
５１次特徴データ群
６２次特徴データ群
７照合顔入力手段
８１次・２次特徴データ抽出手段
９１次マッチング手段
１０２次マッチング手段
１１同一判定手段

Claims

複数の事前学習画像を元に生成した１次変換式を用いて、画像から１次特徴データを抽出する１次特徴データ抽出手段と、
前記事前学習画像および複数の応用学習画像から生成した２次変換式を用いて、画像から２次特徴データを抽出する２次特徴データ抽出手段と、
前記１次変換式を用いて登録画像と照合画像とのマッチングを行う１次マッチング手段と、
前記２次変換式を用いて登録画像と照合画像とのマッチングを行う２次マッチング手段とを有し、
前記１次マッチング手段のマッチング結果と前記２次マッチング手段のマッチング結果の重みとを前記事前学習画像の枚数と前記応用学習画像の枚数に応じて前記登録画像と前記照合画像の類似度を算出ことを特徴とするホワイトリスト内外判定装置。
前記重みは、前記応用学習画像の枚数が少なくなるほど前記２次マッチング手段のマッチング結果の重みを小さくすることを特徴とする請求項１に記載のホワイトリスト内外判定装置。
前記類似度が所定の閾値より大きなとき、前記照合画像を前記登録画像として登録することを特徴とするホワイトリスト内外判定装置。
複数の事前学習画像を元に生成した１次変換式を用いて、画像から１次特徴データを抽出する１次特徴データ抽出ステップと、
前記事前学習画像および複数の応用学習画像から生成した２次変換式を用いて、画像から２次特徴データを抽出する２次特徴データ抽出ステップと、
前記１次変換式を用いて登録画像と照合画像とのマッチングを行う１次マッチングステップと、
前記２次変換式を用いて登録画像と照合画像とのマッチングを行う２次マッチングステップとを有し、
前記１次マッチングステップのマッチング結果と前記２次マッチングステップのマッチング結果の重みとを前記事前学習画像の枚数と前記応用学習画像の枚数に応じて前記登録画像と前記照合画像の類似度を算出することを特徴とするホワイトリスト内外判定方法。