JP2007328572A - 顔認証装置および顔認証方法 - Google Patents

Abstract

【課題】 複数の監視カメラ１０，１１を設置した後，複数の監視カメラで監視対象領域を適切に分担して，認証もれを抑えることのできる顔認証装置１を提供する。
【解決手段】 ２台以上の監視カメラ１０，１１と，顔検出対象領域と対象顔サイズを記憶する検出設定記憶部２０，２１と，顔領域を検出する顔検出部３０，３１と，検出された顔画像から認証情報を抽出して登録認証情報４０１と比較照合する顔認証手段４０と，検出された各顔領域に対して顔認証に適しているかという観点で評価値を計算し，この評価値を元に顔検出対象領域および対象顔サイズを更新する検出設定更新部５０とを備える。
【選択図】図１

Description

本発明は，２台以上の監視カメラを店舗内や街頭に設置して顔認証を行う顔認証装置および顔認証方法に関するものである。

顔の特徴を利用して本人認証を行う認証方法（以下，「顔認証」という）は，店舗内や街頭で特定の人物を探す顔認証装置などに用いられている。

顔認証とは，被認証者（以下，「被写体」という）の顔を含む領域を撮影して得た顔画像から生成した認証に用いる情報（以下，「認証情報」という）とあらかじめ登録された認証情報（以下，「登録認証情報」という）とを比較照合し，照合スコアが所定の値以上になる場合には，被写体があらかじめ登録されたものであると認証する方法である。

従来の顔認証装置は，図７に示すように，被写体を撮影する監視カメラと，撮影した映像から顔を検出する顔検出手段と，検出した顔を登録認証情報と比較照合する顔認証手段と，顔検出対象領域と検出対象となる顔サイズを記憶する検出設定記憶手段で構成されている。撮像手段からの入力映像を時系列の静止画像にキャプチャしながら，各静止画像から顔を検出し，顔認証を行う。登録された人物を認証すると，アラームを出す。

特開２００１−８１３５号公報 特開２００２−２５９９８０号公報

しかしながら，従来の顔認証装置においては，複数の監視カメラを設置した後，オーバーラップした領域があった場合，どちらの監視カメラの画像を用いて良いのか，判別するのが難しいという問題があった。複数の監視カメラで同じ場所を撮影しているのに，どの監視カメラの画像も顔認証に使っていた。

本発明は，従来の問題を解決するためになされたもので，複数のカメラを設置した後，複数のカメラで監視対象領域を適切に分担して，認証もれを抑えることのできる顔認証装置および顔認証方法を提供することを目的とする。

本発明の顔認証装置は，被写体を撮影する２台以上の撮像手段と，顔検出対象領域および検出対象となる顔サイズを記憶する検出設定記憶部と，撮像手段から入力された画像を処理して顔領域を検出する顔検出部と，検出された顔画像から認証情報を抽出して登録認証情報と比較照合し，照合スコアが所定の値以上になる場合に被写体があらかじめ登録されたものであると認証する顔認証手段と，検出された各顔領域に対して顔認証に適しているかという観点で評価値を計算し，この評価値を元に顔検出対象領域および検出対象となる顔サイズを更新する検出設定更新部とを備える。

この構成により，複数の撮像手段で重複する撮像エリアに顔があるとき，評価値を最大にする撮像手段の画像だけから顔を検出するように，顔検出対象領域および検出対象となる顔サイズを決定することができる。顔検出対象領域を狭くし，検出対象となる顔サイズの範囲を狭くすることができるので，顔検出の所要時間が短くなり，顔を検出して認証する処理の試行回数が増える。被写体の顔は下を向き障害物に隠れることもあるので，試行
回数を増やすことで検出もれを抑えることとなる。また，撮像エリアに複数の被写体が存在する場合にも，検出もれを抑えることとなる。

また，検出設定更新部は，他人ではなく本人を照合したときの照合スコアだけを得るために，検出された顔領域の中から登録された被写体の顔領域を抽出するフィルタリング手段と，抽出された各顔領域に対して，同一時刻に各撮像手段で撮影された同一被写体の顔領域を集めて，同一時刻同一被写体毎に照合スコアの最大値を求め，各顔領域の照合スコアをこの最大値で正規化する評価値計算手段と，撮像手段毎に，顔領域と顔サイズの張る空間における評価値の分布を求め，評価値が小さくなる顔領域と顔サイズを，検出対象領域および検出対象となる顔サイズから除外する検出領域およびサイズ更新手段とを備える。

この構成により，複数の撮像手段の撮像エリアが重複していても，照合スコアを最大にする撮像手段の画像だけから顔を検出するように，顔検出対象領域および検出対象となる顔サイズを決定することができる。

さらに，顔検出部は，顔検出および顔認証の処理が所定の性能で動作しているかどうかを判定する負荷判定手段と，負荷が大きいときに，検出設定記憶部から顔検出対象領域および検出対象となる顔サイズを読み出して，顔検出対象領域と検出対象となる顔サイズを限定する検出設定切替手段と，顔検出対象領域の中から検出対象となる顔サイズの範囲内の顔領域を検出する顔検出処理手段とを備える。

この構成により，通行する人数が増えた状況のように，ＣＰＵの負荷が大きくなったときには，複数の撮像手段で重複する撮像エリアを，１台の撮像手段だけを使って顔認証することとなる。

本発明は，複数の撮像手段で重複する撮像エリアに顔がある場合に，その撮像エリア内で顔認証に最も適した撮像手段の画像だけから顔を検出するように，顔検出対象領域を狭くしたり，検出対象となる顔サイズの範囲を狭くすることによって，顔検出の所要時間を短くして，顔を検出して認証する処理の試行回数を増やし，検出もれを抑えるという効果を有する顔認証装置および顔認証方法を提供することができるものである。

以下，本発明の実施の形態の顔認証装置について，図面を用いて説明する。
（第１実施形態）

本発明の第１実施形態の顔認証装置を図１に示す。図１において，本実施形態の顔認証装置１は，被写体を撮影する監視カメラ１０，１１と，顔検出対象領域２０１，２１１および検出対象となる顔サイズ２０２，２１２を記憶する検出設定記憶部２０，２１と，監視カメラから入力された画像を処理して顔領域を検出する顔検出手段３０，３１と，検出された顔画像から認証情報を抽出して登録認証情報と比較照合し，照合スコアが所定の値以上になる場合に被写体があらかじめ登録されたものであると認証する顔認証手段４０と，検出された各顔領域に対して顔認証に適しているかという観点で評価値を計算し，この評価値を元に顔検出対象領域および検出対象となる顔サイズを更新する検出設定更新部５０とを有する。

顔検出部３０，３１は，顔検出および顔認証の処理が所定の性能で動作しているかどうかを判定する負荷判定手段３０１，３１１と，負荷が大きいときに，検出設定記憶部から顔検出対象領域および検出対象となる顔サイズを読み出して，顔検出対象領域と検出対象
となる顔サイズを限定する検出設定切替手段３０２，３１２と，顔検出対象領域の中から検出対象となる顔サイズの範囲内の顔領域を検出する顔検出処理手段３０３，３１３とを有する。

検出設定更新部５０は，他人ではなく本人を照合したときの照合スコアだけを得るために，検出された顔領域の中から登録された被写体の顔領域を抽出するフィルタリング手段５０１と，抽出された各顔領域に対して，同一時刻に各撮像手段で撮影された同一被写体の顔領域を集めて，同一時刻同一被写体毎に照合スコアの最大値を求め，各顔領域の照合スコアをこの最大値で正規化する評価値計算手段５０２と，監視カメラ毎に，顔領域と顔サイズの張る空間における評価値の分布を求め，評価値が小さくなる顔領域と顔サイズを，検出対象領域および検出対象となる顔サイズから除外する検出領域およびサイズ更新手段５０３，５１３とを有する。

登録認証情４０１は，顔記憶部４０２に保存される。

以上のように構成された顔認証装置について，図２〜図６を用いてその動作を説明する。

まず，顔検出部３０と顔検出部３１の間で同期をとっておく。例えば，１台のパソコンに２つのキャプチャボードを装着した場合には，パソコンの起動からの経過時間を取得することで，同期をとることができる。

第１の監視カメラ１０の映像は，第１のキャプチャボードに入力して時系列の静止画像列に変換するときに，パソコンの起動からの経過時間を付与する。第１の顔検出部３０が，この静止画像から顔を検出したときには，顔領域の情報に上記経過時間をリンクさせて保存する。第２の監視カメラ１１の映像についても同様の手法を採用し，第２のキャプチャボードに入力して時系列の静止画像列に変換するときに経過時間を付与して，第２の顔検出部３１で顔を検出したときに，顔領域の情報に経過時間をリンクさせて保存する。

第１の負荷判定手段３０１は，第１の顔検出処理手段３０３で単位時間あたりに検出される顔領域の総数が，所定の値を超えたときに，第１の検出設定切替手段３０２にメッセージを送る（ステップＳ１０００）。

第１の検出設定切替手段３０２は，第１の検出設定記憶部２０に記録されている顔検出対象領域データ２０１と，対象顔サイズデータ２０２を読み込み，第１の顔検出処理手段３０３に通知する。第１の顔検出処理手段３０３は，通知された顔検出対象領域の中から通知された対象顔サイズの範囲内の顔領域を検出するように，処理を変更する（ステップＳ１００１）。

この変更により，顔検出対象領域と，検出対象となる顔サイズの範囲が狭くなる。ただし，第１の監視カメラ１０で顔を検出しなくなった撮像エリアは，他の監視カメラ１１で顔検出されることになるので，検出もれは発生しない。

例えば，図３に示すように，第１の人物がいる地点９３１が，第１の監視カメラの顔検出対象領域９３５の内部にあり，かつ，第２の監視カメラに映り，かつ，第２の監視カメラの顔検出領域対象領域９３６ではない場所とし，第２の人物がいる地点９３２が，第２の監視カメラの顔検出対象領域９３６の内部にあり，かつ，第１の監視カメラに映り，かつ，第１の監視カメラの顔検出対象領域９３５ではない場所とするとき，第１の人物は第１の顔検出部３０で検出され，第２の人物は第２の顔検出部３１で検出される。図３において，矢印９３３，９３４は人物の顔向きを表す。

第１の負荷判定手段３０１は，第１の顔検出処理手段３０３で単位時間あたりに検出される顔領域の総数が，一定時間以上１個以下になったら，第１の検出設定切替手段３０２にメッセージを送る（ステップＳ１００２）。

第１の検出設定切替手段３０２は，画面全体を顔検出対象領域にして，検出対象となる顔サイズの範囲を出荷時の値に戻すように，第１の顔検出処理手段３０３に通知する。第１の顔検出処理手段３０３は，通知された顔検出対象領域の中から通知された対象顔サイズの範囲内の顔領域を検出するように，処理を変更する（ステップＳ１００３）。この変更により，顔検出対象領域と，検出対象となる顔サイズの範囲が広くなる。

第１の顔検出処理手段３０３で顔が検出されたとき，画像のキャプチャ時刻と顔領域中心の座標（ｘ，ｙ）と顔幅と接続されている監視カメラのＩＤをファイルに保存する（ステップＳ１００４，Ｓ１００５）。

第２の負荷判定手段３１１，第２の検出設定切替手段３１２，第２の顔検出処理手段３１３は，第１の監視カメラ１０ではなく第２の監視カメラ１１の映像が入力される点を除けば，第１の負荷判定手段３０１，第１の検出設定切替手段３０２，第１の顔検出処理手段３０３と同様の動作をする。

顔認証手段４０は，顔検出処理手段３０３，３１３が作成したファイルを読み取って顔画像を切り出して認証情報を生成し，顔記憶部４０２に記録された登録認証情報４０１と照合して照合スコアを計算する。照合スコアが所定の値以上になる場合には，被写体があらかじめ登録されたものであると認証し，アラームを発報する（ステップＳ１００６）。

図４に示すように，登録された人物が一人で歩行しているとき，登録されている顔が認証され，検出設定記憶部２０，２１の内容を更新する処理が自動的に実行されることになる。

図４の地点９４１に人物がいるときの第１の監視カメラ１０の映像を図５の（ａ）に示し，第２の監視カメラの映像を図５（ｂ）に示す。第２の監視カメラ１１の映像では横顔になるので，常時，第１の監視カメラの映像で顔認証するように，検出設定記憶部２０，２１の内容を更新する。図４において，点線９４４は，この人物の歩行経路を表す。

図４の地点９４２に人物がいるときの第１の監視カメラ１０の映像を図５（ｃ）に示し，第２の監視カメラ１１の映像を図５（ｄ）に示す。ＣＰＵに余裕があれば，地点９４２にいる人物の顔は，両方の監視カメラの映像で顔認証する。しかし，ＣＰＵにかかっている負荷が大きく，すべての顔を検出して認証することが難しいときは，第２の監視カメラ１１の映像だけで顔認証するように，検出設定記憶部２０，２１の内容を更新する。

図４の地点９４３に人物がいるときの第１の監視カメラ１０の映像を図５の（ｅ）に示し，第２の監視カメラ１１の映像を図５の（ｆ）に示す。第１の監視カメラ１０の映像では斜め後ろの顔になるので，第２の監視カメラ１１の映像だけで顔を検出して認証するように，検出設定記憶部２０，２１の内容を更新する。なお，図５の（ａ）〜（ｆ）において，顔認証に適している順序は，最も適しているのが図５（ｆ）の顔であり，図５（ａ）の顔，図５（ｄ）の顔，図５（ｃ）の顔の順番に顔認証に適さない顔になっていく。

検出設定記憶部２０の内容を更新する処理について，説明する。

フィルタリング手段５０１は，検出された顔領域の中から登録された被写体の顔領域を
抽出する。

評価値計算手段５０２が，抽出された各顔領域に対して，同一時刻に各撮像手段で撮影された同一被写体の顔領域を集めて，同一時刻同一被写体毎に照合スコアの最大値を求め，各顔領域の照合スコアをこの最大値で正規化する。

第１の検出領域およびサイズ更新手段５０３は，第１の顔検出部３０の顔検出対象領域および検出対象となる顔サイズを更新する。そのために，第１の検出領域およびサイズ更新手段５０３は，第１の顔検出部３０が検出した顔領域と顔サイズの張る空間における評価値の分布を求め，図６に示すように，評価値が小さくなる顔領域と顔サイズを，検出対象領域および検出対象となる顔サイズから除外する。図６において，データ９６１は，評価値が所定の値以下になるデータ（検出された顔）を表し，領域９６２は，更新後の検出対象領域および検出対象となる顔サイズを表す。

このような本発明の第１実施形態の顔認証装置によれば，検出された各顔領域に対して顔認証に適しているかという観点で評価値を計算し，この評価値を元に顔検出対象領域および検出対象となる顔サイズを更新する検出設定更新部５０を設けることにより，複数の監視カメラで重複する監視エリアに顔があるとき，評価値を最大にする監視カメラの画像だけから顔を検出するように，顔検出対象領域および検出対象となる顔サイズを決定することができる。顔検出対象領域を狭くし，検出対象となる顔サイズの範囲を狭くすることができるので，顔検出の所要時間が短くなり，顔を検出して認証する処理の試行回数が増える。被写体の顔は下を向き障害物に隠れることもあるので，試行回数を増やすことで検出もれを抑えることとなる。また，撮像エリアに複数の被写体が存在する場合にも，検出もれを抑えることとなる。

また，単位時間あたりに検出される顔領域の総数が，所定の値を超えたときにメッセージを送る負荷判定手段と，負荷が大きいときに，検出設定記憶部から顔検出対象領域および検出対象となる顔サイズを読み出して，顔検出対象領域と検出対象となる顔サイズを限定する検出設定切替手段と，顔検出対象領域の中から検出対象となる顔サイズの範囲内の顔領域を検出する顔検出処理手段とを設けることにより，通行する人数が増えた状況のように，ＣＰＵの負荷が大きくなったときには，複数の監視カメラで重複する監視エリアを，１台の監視カメラだけを使って顔認証することができる。

なお，手間のかかるキャリブレーションを実行しなくても，登録した人物が監視対象領域を所定の回数歩行するだけで，複数のカメラの監視対象領域を適切に分担させることができるという利点もある。

また，同一の場所にいる被写体であっても，通常は進行方向が異なると顔向きが異なるので，顔検出部で後頭部を検出しないことが望ましい。顔認証用に一般的に使われている顔検出技術は，後頭部を検出しないことが多い。

以上のように，本発明にかかる顔認証装置および顔認証方法は，複数の撮像手段で重複する撮像エリアに顔がある場合に，その撮像エリア内で顔認証に最も適した撮像手段の画像だけから顔を検出するように，顔検出対象領域を狭くし，検出対象となる顔サイズの範囲を狭くすることによって，顔検出の所要時間を短くして，顔を検出して認証する処理の試行回数を増やし，検出もれを抑えるという効果を有し，２台以上の監視カメラを店舗内や街頭に設置して顔認証を行う顔認証装置および顔認証方法等として有用である。

本発明の第１実施形態における顔認証装置のブロック図 本発明の第１実施形態における顔認証装置の動作説明のためのフロー図 本発明の第１実施形態における複数の監視カメラで監視対象領域を適切に分担する一例を示した説明図 本発明の第１実施形態における検出設定記憶部の内容を更新するための顔画像の取得位置の一例を示した説明図 本発明の第１実施形態における第１の監視カメラおよび第２の監視カメラの映像の一例を示す説明図 本発明の第１実施形態における検出領域およびサイズ更新手段の動作の一例を示す説明図 従来の顔認証装置のブロック図

符号の説明

１ 顔認識装置
１０ 監視カメラ
１１ 監視カメラ
２０ 検出設定記憶部
２１ 検出設定記憶部
３０ 顔検出部
３１ 顔検出部
４０ 顔認証手段
５０ 検出設定更新部
２０１ 顔検出対象領域
２０２ 対象顔サイズ
３０１ 負荷判定手段
３０２ 検出設定切替手段
３０３ 顔検出処理手段
２１１ 顔検出対象領域
２１２ 対象顔サイズ
３１１ 負荷判定手段
３１２ 検出設定切替手段
３１３ 顔検出処理手段
４０１ 登録認証情報
４０２ 顔記憶部
５０１ フィルタリング手段
５０２ 評価値計算手段
５０３ 検出領域およびサイズ更新手段
５１３ 検出領域およびサイズ更新手段

Claims (3)

1. 被写体を撮影する２台以上の撮像手段と，
   顔検出対象領域および検出対象となる顔サイズを記憶する検出設定記憶部と，
   撮像手段から入力された画像を処理して顔領域を検出する顔検出部と，
   検出された顔画像から認証情報を抽出して登録認証情報と比較照合し，照合スコアが所定の値以上になる場合に被写体があらかじめ登録されたものであると認証する顔認証手段と，
   検出された各顔領域に対して顔認証に適しているかという観点で評価値を計算し，この評価値を元に顔検出対象領域および検出対象となる顔サイズを更新する検出設定更新部と，
   を備える顔認証装置。
2. 検出設定更新部が，
   他人ではなく本人を照合したときの照合スコアだけを得るために，検出された顔領域の中から登録された被写体の顔領域を抽出するフィルタリング手段と，
   抽出された各顔領域に対して，同一時刻に各撮像手段で撮影された同一被写体の顔領域を集めて，同一時刻同一被写体毎に照合スコアの最大値を求め，各顔領域の照合スコアをこの最大値で正規化する評価値計算手段と，
   撮像手段毎に，顔領域と顔サイズの張る空間における評価値の分布を求め，評価値が小さくなる顔領域と顔サイズとを，検出対象領域および検出対象となる顔サイズから除外する検出領域およびサイズ更新手段と，
   を備える請求項１記載の顔認証装置。
3. 顔検出部が，
   顔検出および顔認証の処理が所定の性能で動作しているかどうかを判定する負荷判定手段と，
   負荷が大きいときに，検出設定記憶部から顔検出対象領域および検出対象となる顔サイズを読み出して，顔検出対象領域と検出対象となる顔サイズを限定する検出設定切替手段と，
   顔検出対象領域の中から検出対象となる顔サイズの範囲内の顔領域を検出する顔検出処理手段と，
   を備える請求項１または２記載の顔認証装置。
   

Images