JP2013003964A - 顔画像検索システム、及び顔画像検索方法 - Google Patents

Abstract

【課題】より効率的に顔画像の検索を行うことができる顔画像検索システム、及び顔画像検索方法を提供する。
【解決手段】予め複数の顔特徴をデータベースとして記憶する記憶部と、画像データを受信する画像受信部と、前記画像データから顔画像を検出する顔検出部と、前記顔検出部により検出された前記顔画像から顔特徴を抽出する特徴抽出部と、前記特徴抽出部により抽出された前記顔特徴と、前記データベースに含まれている前記顔特徴との類似度を算出し、算出した類似度に基づいて検索結果を出力する検索部と、前記検索部により出力された前記検索結果の量を計測する計測部と、前記検索結果量が予め設定された閾値以上である場合、前記検索部により出力された前記検索結果を選別する選別部と、前記選別部により選別された前記検索結果に基づいて検索結果画面を生成する表示制御部と、前記検索結果画面を出力する出力部と、を具備する。
【選択図】図２

Description

本発明の実施形態は、顔画像検索システム、及び顔画像検索方法に関する。

複数地点に設置された複数のカメラにより取得された画像の中から顔画像を検出し、この顔画像をデータベースから検索する顔画像検索システムがある。顔画像検索システムは、カメラにより取得した画像、または、記録装置に蓄積された画像などの中から顔画像を検出し、データベースに蓄積する。

特開２００７−１９００７６号公報

顔画像検索システムに顔画像を供給するカメラの数、または、顔画像検索システムのデータベース内の情報量が増加した場合、顔画像検索システムが出力する検索結果が増加する。この為、顔画像検索システムの監視者の負担が大きくなる可能性がある。これにより、顔画像検索システムの監視者による確認作業が間に合わない可能性があるという課題がある。

そこで、本発明は、より効率的に顔画像の検索を行うことができる顔画像検索システム、及び顔画像検索方法を提供することを目的とする。

一実施形態に係る顔画像検索システムは、予め複数の顔特徴をデータベースとして記憶する記憶部と、画像データを受信する画像受信部と、前記画像受信部により受信した前記画像データから顔画像を検出する顔検出部と、前記顔検出部により検出された前記顔画像から顔特徴を抽出する特徴抽出部と、前記特徴抽出部により抽出された前記顔特徴と、前記データベースに含まれている前記顔特徴との類似度を算出し、算出した類似度に基づいて検索結果を出力する検索部と、前記検索部により出力された前記検索結果の量を計測する計測部と、前記計測部により計測された前記検索結果量が予め設定された閾値以上である場合、前記検索部により出力された前記検索結果を選別する選別部と、前記選別部により選別された前記検索結果に基づいて検索結果画面を生成する表示制御部と、前記表示制御部により生成された前記検索結果画面を出力する出力部と、を具備する。

図１は、一実施形態に係る顔画像検索システムについて説明するための図である。 図２は、一実施形態に係る顔画像検索システムについて説明するための図である。 図３は、一実施形態に係る顔画像検索システムについて説明するための図である。 図４は、一実施形態に係る顔画像検索システムについて説明するための図である。 図５は、一実施形態に係る顔画像検索システムについて説明するための図である。 図６は、一実施形態に係る顔画像検索システムについて説明するための図である。

以下、図面を参照しながら、一実施形態に係る顔画像検索システム、及び顔画像検索方法について詳細に説明する。

図１は、一実施形態に係る顔画像検索システム１００の例を示す。

顔画像検索システム１００は、画像を取得するカメラ１０、クライアント２０、検索サーバ３０、及び表示装置４０などを備える。なお、図１では、顔画像検索システム１００は、複数のカメラ１０Ａ乃至１０Ｎ、複数のクライアント２０Ａ乃至２０Ｎ、複数の検索サーバ３０Ａ乃至３０Ｎ、及び複数の表示装置４０Ａ乃至４０Ｎを備える例が示されている。

カメラ１０、クライアント２０、検索サーバ３０、及び表示装置４０は、それぞれ互いにＬＡＮ、公衆回線、または他のデータ通信が可能なネットワークなどにより互いに接続されている。これにより、カメラ１０、クライアント２０、検索サーバ３０、及び表示装置４０は、互いにデータ通信を行うことができる。

カメラ１０は、所定の範囲から光を受光し、画像を取得する。例えば、カメラ１０Ａ乃至１０Ｎは、それぞれ異なる地点に設置される。これにより、カメラ１０は、それぞれの地点に存在する人物の画像を取得することができる。カメラ１０は、例えばｉｎｄｕｓｔｒｉａｌ ｔｅｌｅｖｉｓｉｏｎ（IＴＶ）カメラなどを備える。ＩＴＶカメラは、レンズにより受光される光に基づいて電気信号を生成し、電気信号をアナログディジタル（Ａ／Ｄ）変換器によりディジタル化し、画像データとして出力する。これにより、カメラ１０は、クライアント２０に画像データを出力することができる。

クライアント２０は、カメラ１０から出力された画像データに基づいて顔画像（顔画像データ）を検出する。なお、顔画像を検出する方法については後述する。

さらに、クライアント２０は、検出された顔画像データに基づいて、人物の顔特徴（ｆａｃｉａｌ ｆｅａｔｕｒｅ）を抽出する。さらに、クライアント２０は、顔画像データ、または顔特徴に基づいて、人物の属性を判別する。クライアント２０は、判別した属性に基づいて、属性を示す属性情報を生成する。クライアント２０は、検索サーバ３０に顔画像データ、顔特徴、及び属性情報を１つの人物情報（ｐｅｒｓｏｎａｌ ｄａｔａ）として出力する。

検索サーバ３０は、クライアント２０から出力された人物情報を格納する。検索サーバ３０は、複数の人物情報を含むデータベースを構築する。さらに、検索サーバ３０は、既にデータベースに登録されている人物情報に含まれている顔特徴と、クライアント２０から出力された人物情報に含まれている顔特徴との類似度を算出することにより、人物検索を行う。検索サーバ３０は、例えば、検索結果を表示装置４０などに表示することにより、特定の人物の過去のアクセスを顔画像検索システム１００の監視者に報知することができる。

これにより、顔画像検索システム１００は、顔画像を用いて、データベース中の人物情報を特定することができる。この結果、顔画像検索システム１００は、例えば、顧客データの中から特定の人物を探す、または不審者のデータベースから該当者を探すことなどを実現することができる。また、顔画像検索システム１００は、ＩＤ証の更新時の本人確認、またはＩＤ証の新規発行時の二重発行の防止などに用いることができる。

図２は、一実施形態に係る顔画像検索システム１００のより具体的な例を示す。図２は、例えば、顔画像検索システム１００の機能をブロックとして示す。

図２に示されるように、顔画像検索システム１００は、画像受信部１１０、顔検出部１２０、特徴抽出部１３０、検索部１４０、人物情報記憶部１４１、計測部１５０、選別部１６０、表示制御部１７０、及び出力部１８０を備える。

なお、画像受信部１１０、顔検出部１２０、及び特徴抽出部１３０は、例えば図１により示されたクライアント２０が備える。また、図１により示されたネットワークに接続されたさらに他のモジュールが上記の機能ブロックを備える構成であってもよい。また、顔画像検索システム１００は、上記の各ブロックを複数備える構成であってもよい。即ち、顔画像検索システム１００の各ブロックの数は、顔画像検索システム１００の入出力の数に応じて任意に増加させることができる。

画像受信部１１０は、カメラ１０から画像データを受信する。画像受信部１１０は、受信した画像データを顔検出部１２０に送信する。また、画像受信部１１０は、カメラ１０の代わりにデジタルビデオレコーダ（ＤＶＲ）などの映像を記録する記憶装置、またはメモリなどに記録されている画像データを受信する構成であってもよい。またさらに、画像受信部１１０は、アナログの映像信号（画像）を受信し、受信したアナログ映像信号をアナログディジタル変換し、変換されたディジタルの画像データを顔検出部１２０に送信する構成であってもよい。

顔検出部１２０は、画像受信部１１０から送信された画像データに基づいて、人物の顔が写り込んでいる領域（顔領域）の画像（顔画像）を検出する。顔検出部１２０は、検出した顔画像を特徴抽出部１３０に送信する。

顔検出部１２０は、例えば、画像データ内を予め用意されたテンプレートを移動させながら相関値を算出する。顔検出部１２０は、最も高い相関値が算出された領域を顔領域と特定する。これにより、顔検出部１２０は、画像データ内の人物の顔が映りこんでいる顔領域の顔画像を検出することができる。

また、顔検出部１２０は、固有空間法（ｅｉｇｅｎ ｓｐａｃｅ ｍｅｔｈｏｄ）、または部分空間法（ｓｕｂｓｐａｃｅ ｍｅｔｈｏｄ）などを利用して顔領域を検出する構成であってもよい。また、顔検出部１２０は、画像データの中から、目、鼻などの顔部位の位置を検出することにより、顔領域を検出する構成であってもよい。

なお、顔検出部１２０は、１枚の画像の中から１つの顔領域（顔特徴）を検出する場合、全画像に対してテンプレートとの相関値を求め最大となる位置とサイズを出力する。また、顔検出部１２０は、１枚の画像の中から複数の顔特徴を検出する場合、画像全体に対する相関値の局所最大値を求め、一枚の画像内での重なりを考慮して顔の候補位置を絞り込む。さらに、顔検出部１２０は、連続して入力された過去の画像との関係性（時間的な推移）を考慮し、最終的に複数の顔画像を同時に検出することができる。

また、顔検出部１２０は、人物がマスク、サングラス、または帽子などを着用している場合でも顔領域を検出することができるように、予め人物がマスク、サングラス、または帽子などを着用している場合の顔パターンをテンプレートとして記憶しておく構成であってもよい。

また、顔検出部１２０は、顔の特徴点の検出をする際に、顔の特徴点のすべての点が検出できない場合、一部の顔特徴点の評価値に基づいて処理を行う。即ち、顔検出部１２０は、一部の顔特徴点の評価値が予め設定される基準値以上である場合、二次元平面、または三次元的な顔のモデルを利用して検出された特徴点から残りの特徴点を推測することができる。

また、特徴点がまったく検出されない場合、顔検出部１２０は、顔全体のパターンを予め学習することにより、顔全体の位置を検出し、顔全体の位置から顔特徴点を推測することができる。

なお、カメラ１０が監視カメラなどである場合、連続したフレームにわたって同一人物が写り込む可能性が高い。そこで、顔検出部１２０は、人物が普通に歩行している場合に連続するフレームでどのあたりに移動するかの統計情報をもとに確率を算出し、もっとも確率が高くなる組合せを選択して連続して検出された顔領域の対応付けを行うことができる。これにより、顔検出部１２０は、複数のフレーム間に同一人物が移りこんでいるシーンから１つの顔領域を検出することができる。

また、顔検出部１２０は、カメラ１０におけるフレームレートが高い場合、オプティカルフローを利用するなどしてフレーム間における顔領域を対応付けることにより、複数のフレーム間に同一人物が移りこんでいるシーンから１つの顔領域を検出することができる。

また、顔検出部１２０は、例えば、人物の全身の領域を検出する構成であってもよい。顔検出部１２０は、例えば、人物が存在する場合の輝度勾配情報の分布がどのようにあらわれるかを複数の局所領域での共起性を利用して求める。人物が存在している場合、顔検出部１２０は、その人物が写り込んでいる領域を矩形情報として算出する。顔検出部１２０は、この検出結果に基づいて、この人物の顔が映りこんでいる顔領域を推定し、顔画像を検出する。また、顔検出部１２０は、上記の矩形状報に基づいて、人物の身長などを計測する構成であってもよい。

特徴抽出部１３０は、顔検出部１２０から送信された顔画像に基づいて顔特徴（ｆａｃｉａｌ ｆｅａｔｕｒｅ）を抽出する。顔特徴は、個人を識別するための特徴情報である。特徴抽出部１３０は、例えば、部分空間法（ｓｕｂｓｐａｃｅ ｍｅｔｈｏｄ）などを用いることにより顔特徴を算出することができる。特徴抽出部１３０は、抽出した顔特徴を検索部１４０に送信する。

特徴抽出部１３０は、例えば顔画像の濃淡情報を顔特徴として抽出する。特徴抽出部１３０は、ｍピクセル×ｎピクセルの領域の濃淡値をｍ×ｎ次元の特徴ベクトルとして抽出する。即ち、特徴抽出部１３０は、単純類似度法という手法を用いることにより、ベクトルとベクトルの長さをそれぞれ１とするように正規化を行い、内積を計算する。これにより、特徴抽出部１３０は、特徴ベクトル間の類似性を示す類似度を算出することができる。

また、特徴抽出部１３０は、顔画像に対して予め設定されたモデルを利用することにより、顔の向き、及び状態などを意図的に変動させた画像を作成し、この画像に基づいて顔特徴を抽出することもできる。

またさらに、特徴抽出部１３０は、上記したようにカメラ１０により連続して撮像された複数の顔画像に基づいて、より高い精度で顔特徴を抽出することもできる。例えば、特徴抽出部１３０は、文献（福井和広、山口修、前田賢一：「動画像を用いた顔認識システム」電子情報通信学会研究報告PRMU,vol97,No.113,pp17-24(1997)を用いる。この場合、特徴抽出部１３０は、例えば、相互部分空間法（ｍｕｔｕａｌ ｓｕｂｓｐａｃｅ ｍｅｔｈｏｄ）を用いることにより、顔特徴を抽出することができる。即ち、特徴抽出部１３０は、顔画像の特徴ベクトルの相関行列を算出し、算出した行列をＫ−Ｌ展開（ＫＬ ｅｘｐａｎｓｉｏｎ）することにより、固有ベクトル（ｅｉｇｅｎ ｖｅｃｔｏｒ）を求める。これにより、特徴抽出部１３０は、連続した画像から得られる顔の特徴を示す部分空間を計算する。

部分空間は、固有値の大きな順に選択されたｋ個の固有ベクトルの集合により表現することができる。本実施例では、相関行列Ｃｄを特徴ベクトルから算出し、Ｃｄ＝Φｄ×Δｄ×Φｄ×Ｔと対角化して、固有ベクトルの行列Φを算出する。

さらに、特徴抽出部１３０は、顔画像データ、または顔特徴に基づいて、人物の属性を判別する。特徴抽出部１３０は、判別した属性に基づいて、属性を示す属性情報を生成する。特徴抽出部１３０は、検索部１４０に顔画像データ、顔特徴、及び属性情報を１つの人物情報として出力する。

特徴抽出部１３０は、例えば、「年齢」、「性別」、「メガネの有無」、「帽子の有無」、「マスクの有無」などの属性を判別する。なお、特徴抽出部１３０は、さらに他の属性を判別する構成であってもよい。他の属性の例は、例えば、服装、表情、肥満度、裕福度、顔への装飾品の有無、人種、などがある。

例えば、年齢及び性別などの属性を判別する場合、特徴抽出部１３０は、年齢、及び性別のそれぞれに適した前処理を行うことにより、高い精度で属性を判別することができる。

通常、人物の顔は、年齢が高くなるほどしわが増えてくる。そこで、特徴抽出部１３０は、例えば、しわを強調する線分強調フィルタを顔特徴に対して重畳することにより、人物の年齢を判別することができる。

また、特徴抽出部１３０は、性別特有の部位（例えばひげなど）が強調される周波数成分を強調するフィルタ、または、骨格情報が強調されるようなフィルタを顔特徴に対して重畳する。これにより、特徴抽出部１３０は、人物の性別を判別することができる。

例えば、特徴抽出部１３０は、性別を判別する場合、判別結果として性別度を示す一つの数値を算出する。特徴抽出部１３０は、この数値と、予め設定される基準値とに基づいて、男女を判別する。しかし、基準値に近い値が算出された場合、特徴抽出部１３０は、性別を不明と判別する。

また、特徴抽出部１３０は、たとえば、顔検出処理によって求められた顔の部位の位置情報から目、目じり、または目頭の位置を特定する。これにより、特徴抽出部１３０は、両目付近の画像を切り出し、切り出した画像を部分空間の計算対称とすることにより、眼鏡の有無を判別することができる。

また、特徴抽出部１３０は、たとえば、顔検出処理によって求められた顔の部位の位置情報から口と鼻の位置を特定する。これにより、特徴抽出部１３０は、特定した口と鼻の位置の画像を切り出し、切り出した画像を部分空間の計算対称とすることにより、マスクの有無を判別することができる。

また、特徴抽出部１３０は、たとえば、顔検出処理によって求められた顔の部位の位置情報から目、及び眉の位置を特定する。これにより、特徴抽出部１３０は、顔の肌領域の上端を特定することができる。さらに、特徴抽出部１３０は、特定した顔の頭部領域の画像を切り出し、切り出した画像を部分空間の計算対称とすることにより、帽子の有無を判別することができる。

上記したように、特徴抽出部１３０は、顔特徴または顔画像に基づいて、年齢、性別、眼鏡の有無、マスクの有無、及び帽子の有無などの属性を判別することができる。即ち、特徴抽出部１３０は、顔の位置から推定可能な位置に存在する属性であれば如何なる物であっても特徴情報を抽出することができる。

また、人物が着用している着用物を直接的に検出するアルゴリズムも一般的に実用化されている。特徴抽出部１３０は、そのような手法を用いることにより属性を判別する構成であってもよい。また、例えば、特徴抽出部１３０は、メガネの種類、マスクの種類、帽子の種類、ひげ、ほくろ、しわ、怪我、髪型、髪の毛の色、服の色、服の形、帽子、装飾品、顔付近への着用物、表情、裕福度、及び人種などの属性をさらに判別する構成であってもよい。

検索部１４０及び人物情報記憶部１４１は、例えば、図１により示された検索サーバ３０が備える構成である。しかし、人物情報記憶部１４１と、検索部１４０とは、それぞれ個別に構成されたモジュールであってもよい。また、顔画像検索システム１００内に設置される人物情報記憶部１４１及び検索部１４０の数は、如何なる数であってもよい。

人物情報記憶部１４１は、特徴抽出部１３０から送信された人物情報を記憶するメモリである。人物情報記憶部１４１は、例えば図３により示されるように、複数の人物情報をデータベースとして記憶する。人物情報記憶部１４１は、例えば、個人ごとにＩＤ、顔特徴、顔画像、要注意フラグ、及び属性などを対応付けて記憶する。

要注意フラグは、特に優先して特定すべき人物か否かを示すフラグである。要注意フラグは、任意の操作入力によって設定される。

属性は、上記したように、例えば、性別、年齢、身長、帽子の有無、マスクの有無、メガネの有無などである。なお、人物情報記憶部１４１が記憶する顔特徴は、例えば特徴抽出部１３０により抽出されたデータである。即ち、人物情報記憶部１４１は、ｍ×ｎの特徴ベクトル、部分空間、ＫＬ展開を行う直前の相関行列などのうちのいずれか、または複数を記憶する。

なお、この実施例では、１つの人物情報記憶部１４１と、１つの検索部１４０とが対応する例を示す。しかし、顔画像検索システム１００は、１つの人物情報記憶部１４１と、複数の検索部１４０とが対応する構成であってもよい。また、顔画像検索システム１００は、複数の人物情報記憶部１４１と、１つの検索部１４０とが対応する構成であってもよい。また、人物情報記憶部１４１は、属性毎に情報を区分けして記憶する構成であってもよい。

検索部１４０は、特徴抽出部１３０から送信された人物情報に含まれている顔特徴と、人物情報記憶部１４１に記憶されている人物情報に含まれている顔特徴との類似度を算出する。検索部１４０は、例えば、特徴抽出部１３０から送信された人物情報に含まれている顔特徴と、人物情報記憶部１４１に記憶されている複数の人物情報の顔特徴とに基づいて類似度を算出し、算出した類似度の高い人物情報を人物情報記憶部１４１から検索する。検索部１４０は、検索結果を選別部１６０に送信する。

検索部１４０は、例えば、顔特徴としての部分空間の類似度を算出する。計算方法は、部分空間法や複合類似度法などの方法を用いてよい。この方法を用いることにより、検索部１４０は、人物情報記憶部１４１に予め蓄えられたデータベース中の人物情報の部分空間と、特徴抽出部１３０により算出された部分空間とが成す「角度」を類似度として算出する。検索部１４０は、入力データ列に対して相関行列Ｃｉｎを算出する。検索部１４０は、Ｃｉｎ＝ΦｉｎΔｉｎΦｉｎＴと対角化し、固有ベクトルΦｉｎを算出する。検索部１４０は、ΦｉｎとΦｄとで表される部分空間の部分空間間類似度（０．０〜１．０）を算出し、類似度として用いる。

計測部１５０は、画像データから検出された顔画像の検索処理の量と、顔画像検索システム１００の監視者の負担を計測する。

計測部１５０は、例えば、単位時間あたりの顔検出数、単位時間あたりの検索クエリ数、単位時間あたりの検索結果数、単位時間あたりの所定の閾値を越えた検索結果数、顔画像検索システム１００内の装置のＣＰＵの負荷、メモリ使用量、及びネットワークトラフィック量などの指標に基づいて、検索結果量を計測する。

計測部１５０は、例えば、単位時間あたりの顔検出数、単位時間あたりの検索クエリ数、単位時間あたりの検索結果数、単位時間あたりの所定の閾値を越えた検索結果数、顔画像検索システム１００内の装置のＣＰＵの負荷、メモリ使用量、及びネットワークトラフィック量のうちのいずれか、またはこれらのうちの複数が引用された関数などに基づいて、検索結果量を計測する。

計測部１５０は、検索結果量が、予め設定された閾値を超えた場合、選別部１６０にアラートを送信する。なお、この閾値は、任意で設定された値であってもよい。また、閾値は、時刻毎、曜日毎、日付毎、または月毎に設定された値であってもよい。

さらに、顔画像検索システム１００は、顔画像検索システム１００の監視者の人数、表示装置４０に表示された検索結果に応じた操作入力の有無、及びこの操作入力に要した時間などに基づいて、上記の閾値をさらに変動させる構成であってもよい。これにより、顔画像検索システム１００は、監視者の確認作業の効率を測定し、この効率に適した表示を行うことができる。

選別部１６０及び設定部１６１は、例えば、図１により示された検索サーバ３０が備える構成である。しかし、選別部１６０及び設定部１６１は、それぞれ個別に構成されたモジュールであってもよい。

設定部１６１は、選別部１６０による選別処理に用いられる選別条件を生成し、記憶する。設定部１６１は、顔画像検索システム１００の監視者による操作入力に基づいて操作信号を生成する操作部、及び設定画面などを表示する為の表示部などを接続される。設定部１６１は、設定画面を生成し、上記の表示部などに表示させる。図４は、設定部１６１により生成された設定画面の例を示す。

設定画面は、「カメラ」、「自動／手動（自動または手動）」、「場所優先度」、「日時優先度」、「混雑優先度」、及び「優先度の順序」などの項目を含む。顔画像検索システム１００は、これらの設定に基づいて、検索部１４０により検索された検索結果を選別する。

「カメラ」は、設定対象となるカメラ１０を示す項目である。即ち、図３により示される設定項目は、例えば、図１により示されるカメラ１０毎に設定される構成であってもよい。また、図１により示される全てのカメラ１０に共通して設定（一括設定）される構成であってもよい。

「自動／手動」は、選別条件を自動的に生成するか否かを設定するための項目である。「自動」が選択された場合、設定部１６１は、選別条件を自動的に生成する。例えばｍ設定部１６１は、過去の検索結果のヒット数、重要なイベントが発生した履歴などに基づいて選別条件を自動的に生成する。

また、「手動」が選択された場合、設定部１６１は、「場所優先度」、「日時優先度」、「混雑優先度」、及び「優先度の順序」などの項目と、操作入力とに基づいて、選別条件を生成する。

「場所優先度」は、カメラ１０が設置されている場所に基づいて設定された得点を示す。これにより、顔画像検索システム１００は、例えば金庫の付近などのセキュリティレベルの高い場所を優先させることができる。

「日時優先度」は、画像データが取得された日時に基づいて設定された得点である。これにより、顔画像検索システム１００は、これは特定のイベント開催日、開催時刻、または深夜などの警戒が必要な時刻に検出された人物を優先させることができる。

「混雑優先度」は、カメラ１０が設置されている場所の混雑度に基づいて決定された得点である。これにより、顔画像検索システム１００は、例えば出入場口などの混雑度の高い場所で取得された画像データに基づく検索結果を優先して表示させることができる。

なお、顔画像検索システム１００は、カメラ１０毎に混雑度を自動的に算出することができる。例えば、顔画像検索システム１００は、顔検出部１２０により検出された顔画像の数に基づいて得点を算出する。

「優先度の順序」は、選別処理において、優先度の低い検索結果と優先度の高い検索結果のどちらを優先して表示するかを示す項目である。例えば、高い優先度を優先させる場合、顔画像検索システム１００は、上記したように、セキュリティレベルの高い場所、警戒が必要な時刻、または混雑している場所で取得された画像データに基づく検索結果を優先させて表示する。

また、低い優先度を優先させる場合、顔画像検索システム１００は、混雑度の低い場所で取得された画像データに基づく検索結果を優先して表示させることができる。これにより、顔画像検索システム１００は、通常、人が出入りしない場所に人物が入場したことを検出することができる。

選別部１６０は、検索部１４０から送信された複数の検索結果と、設定部１６１により記憶されている選別条件とに基づいて選別処理を行い、選別処理の結果を表示制御部１７０に出力する。

選別部１６０は、計測部１５０からアラートを受信した場合、選別処理を行う。この場合、選別部１６０は、検索結果毎に優先度を算出する。選別部１６０は、算出した優先度の大小と、予め設定された表示件数とに基づいて、検索結果を選別する。選別部１６０は、選別された検索結果と優先度とを選別結果として表示制御部１７０に送信する。

選別部１６０は、検索結果と、選別条件とに基づいて個別に優先度を算出する。優先度は、例えば０から１００の点数でもよいし、確率値でもよい。

選別部１６０は、例えば、検索結果に応じて、選別条件のいずれかの項目に着目し、得点を算出し、算出した得点に基づいて優先度を算出する。即ち、選別部１６０は、例えば、「場所優先度」、「日時優先度」、及び「混雑優先度」のうちのいずれかに基づいて検索結果毎に得点を算出し、算出した得点に基づいて優先度を算出する。

また、選別部１６０は、例えば、検索結果に応じて、選別条件の各項目毎に得点を算出し、算出した得点を積算することにより優先度を算出する構成であってもよい。

またさらに、選別部１６０は、検索結果に応じて、選別条件の各項目毎に得点を算出し、算出した複数の得点に基づいてベクトル距離を算出し、算出したベクトル距離を優先度として用いる構成であってもよい。

例えば、Ｎ個のカメラ１０から画像データを取得する構成である場合、選別部１６０は、カメラｋ（ｋ＝１，２，，，，，，Ｎ）から受信した画像データに基づく検索結果にに基づいて算出したｎ＿ｋ個の得点のベクトル、あるいはスカラーをｐ（１，ｋ），，，，，ｐ（ん＿ｋ，ｋ）とする。この場合、選別部１６０は、例えば
max{ p(i,n_k) | k=1,2,...,N,i=1,2,...,n_k }
に基づいて優先度を算出する。

また、選別部１６０は、例えば、人物情報記憶部１４１により記憶されているデータベースにおいて、要注意フラグがＯＮである人物の検索結果を優先して表示する構成であってもよい。例えば、選別部１６０は、検索部１４０から受信した検索結果において要注意フラグがＯＮである場合、所定の得点または優先度を加算することができる。これにより、顔画像検索システム１００は、所定の人物に関する検索結果を優先して表示させることができる。

また、選別部１６０は、カメラ１０から受信した画像データに基づいて異常な行動が検出された場合、検索結果を優先して表示する構成であってもよい。例えば、顔画像検索システム１００は、カメラ１０から連続して受信した画像データに写り込んでいる人物の時間的な変化などに基づいて異常行動を検出する。例えば、顔画像検索システム１００は、連続するフレーム間のある人物の顔領域の移動距離などに基づいて異常行動を検出する。例えば、選別部１６０は、検索部１４０から受信した検索結果において異常行動が検出されていた場合、所定の得点または優先度を加算することができる。これにより、顔画像検索システム１００は、異常行動を起こした人物に関する検索結果を優先して表示させることができる。

上記したように、選別部１６０は、画像データが取得された場所、画像データが取得された時刻、画像データが取得された場所の混雑度、画像データが取得された際の異常行動の有無、及び検索結果における要注意フラグの有無などに基づいて得点を算出する。また、選別部１６０は、検索結果における年齢、性別、人種、及び種々の属性のうちの１つまたは複数に基づいて得点を算出する構成であってもよい。

表示制御部１７０は、選別部１６０から受信した選別結果に基づいて、検索結果を表示及び消去するタイミングを定める。さらに、表示制御部１７０は、逐次検索結果画面を生成し、出力部１８０に送信する。表示制御部１７０は、例えば、優先度に基づいて検索結果を表示する時間を算出し、算出した結果に基づいて検索結果画面を生成する。

例えば、表示制御部１７０は、優先度が高い順にＭ個の検索結果をr_1,...,r_Mと設定する。さらに、表示制御部１７０は、各検索結果の表示時間を優先度が高いものほど長い時間となるようにt_1,...,t_Mと定める。さらに、表示制御部１７０は、各検索結果の表示時間が予め設定された所定時間Ｔより長くなるように設定することもできる。また、表示制御部１７０は、自動スクロール速度を制御することで、表示時間をコントロールする構成であってもよい。

またさらに、表示制御部１７０は、検索結果の表示終了の判定を監視者の確認作業に基づいて行う構成であってもよい。即ち、表示制御部１７０は、優先度が所定値以上である検索結果を表示する場合、監視者による所定の操作入力が入力されるまで上記の検索結果を表示する構成であってもよい。即ち、表示制御部１７０は、図示されない操作部から所定の操作信号を受け取るまでの間、検索結果を検索結果画面に表示させるように検索結果画面を生成する構成であってもよい。

例えば、表示制御部１７０は、図６により示される検索結果画面を生成する。図６により示されるように、検索結果画面は、入力画像（画像データ）と、顔類似候補者の画像と、顔検索結果とを表示する。

入力画像は、各カメラ１０から受信した画像データが時系列的にスクロールする。顔類似候補者として表示されている検索結果は、最上段の入力画像に基づく検索結果である。

顔類似候補者は、例えば、上記の選別処理により選別された検索結果である。図６は、優先度の高いＮ個の検索結果が表示されている。即ち、顔類似候補者として表示されている検索結果は、優先度の高い検索結果である。

顔検索結果は、例えば、上記の選別処理により選別されなかった検索結果である。図６は、選別処理により選別されなかったＮ個の検索結果が表示されている。例えば、表示制御部１７０は、顔類似候補者を顔検索結果より長い時間表示するように検索結果画面を生成する。

表示制御部１７０は、顔類似候補者及び顔検索結果の画像の近傍に、算出した類似度、及びＩＤなどを表示しても良い。また、表示制御部１７０は、入力画像の近傍に撮像場所、日時などを表示してもよい。

また、表示制御部１７０は、顔検出部１２０により顔画像を検出した領域を矩形状の枠で囲んで表示してもよい。これにより、表示制御部１７０は、顔画像検索システム１００の監視者に対して検出された顔領域を報知することが出来る。

また、この検索結果画面で表示される顔類似候補者の数は任意で設定することができる。また、顔画像検索システム１００は、予め設定された閾値以上の類似度が算出された場合、アラームなどの音を用いて、顔画像検索システム１００の監視者に報知する構成であってもよい。

出力部１８０は、表示制御部１７０により生成された検索結果画面を表示部２００に出力する。

表示部２００は、映像などの画面を表示する表示装置を備える。表示部２００は、図１に示されたネットワークに接続され、出力部１８０から出力される画面を受け取り、表示する。なお、表示部２００の数は、複数であってもよい。この場合、出力部１８０は、検索結果画面を所望の表示部２００に出力する。

図６は、顔画像検索システム１００により実行される処理の例を示す。
画像受信部１１０は、カメラ１０から画像データを受信する（ステップＳ１１）。画像受信部１１０は、受信した画像データを顔検出部１２０に送信する。

顔検出部１２０は、画像受信部１１０から送信された画像データに基づいて、顔（顔画像）を検出する（ステップＳ１２）。顔検出部１２０は、検出した顔画像を特徴抽出部１３０に送信する。

特徴抽出部１３０は、顔検出部１２０から送信された顔画像に基づいて顔特徴を抽出する（ステップＳ１３）。さらに、特徴抽出部１３０は、抽出した顔特徴または顔画像に基づいて、属性を判別してもよい。

検索部１４０は、抽出された顔特徴と、人物情報記憶部１４１に記憶されている人物情報とに基づいて、検索を行う（ステップＳ１４）。即ち、検索部１４０は、抽出された顔特徴と、人物情報記憶部１４１に記憶されている人物情報に含まれている顔特徴との類似度を算出する。

さらに、計測部１５０は、検索結果量を計測する（ステップＳ１５）。計測部１５０は、計測した検索結果量が、予め設定された閾値以上であるか否か判定する（ステップＳ１６）。

計測した検索結果量が、予め設定された閾値以上である場合、選別部１６０は、検索部によって得られた検索結果と、予め設定された選別条件とに基づいて、検索結果を選別する（ステップＳ１７）。例えば、選別部１６０は、検索結果毎に優先度を算出し、優先度の上位Ｎ個の検索結果を選別結果として出力する。

表示制御部１７０は、選別結果に基づいて検索結果画面を生成する（ステップＳ１８）。例えば、表示制御部１７０は、算出された優先度に基づいて各検索結果を表示する表示時間を算出し、表示時間と検索結果とに基づいて、検索結果画面を生成する。

また、計測した検索結果量が、予め設定された閾値未満である場合、選別部１６０は、選別処理を行わない。この場合、表示制御部１７０は、検索部１４０により取得された検索結果に基づいて検索結果画面を生成する（ステップＳ１９）。

表示制御部１７０は、生成した検索結果画面を出力部１８０に送信する。この場合、出力部１８０は、表示制御部１７０から受信した検索結果画面を表示部２００に出力する（ステップＳ２０）。これにより、顔画像検索システム１００は、顔画像検索システム１００の監視者に逐次検索結果を報知することができる。さらに、顔画像検索システム１００は、高い優先度が算出された検索結果を長時間表示し、低い優先度が算出された検索結果を短時間表示することができる。即ち、顔画像検索システム１００は、算出された優先度に応じて検索結果の表示時間を制御することができる。

また、検索部１４０は、顔画像などから判定された属性に応じて、データベースを絞り込んで検索を行う構成であってもよい。即ち、人物情報記憶部１４１は、属性情報、人物情報の画像を取得したカメラのＩＤ、及び画像の取得日時などをデータベースの人物情報に付加する。この場合、検索部１４０は、画像データの撮像場所、日時、または属性などで検索対象を絞り込む事ができる。

上記したように、本実施形態に係る顔画像検索システム１００は、画像データから顔画像及び顔特徴を検出し、顔特徴に基づいて人物情報が複数含まれるデータベースの中から検索を行う。さらに、顔画像検索システム１００は、検索結果量を計測し、検索結果量が予め設定された閾値以上である場合、検索結果毎に優先度を算出し、算出された優先度に応じて検索結果を選別する。顔画像検索システム１００は、選別された検索結果と、優先度とに応じて検索結果画面を生成し、表示させる。

この構成により、顔画像検索システム１００は、予め設定された条件に基づいて検索結果を選別して表示させることができる。また、顔画像検索システム１００は、優先度に応じて検索結果の表示時間を制御することにより、優先度の高い検索結果を監視者に確実に確認させることができる。この結果、より効率的に顔画像の検索を行うことができる顔画像検索システム、及び顔画像検索方法を提供することができる。

なお、上述の各実施の形態で説明した機能は、ハードウエアを用いて構成するに留まらず、ソフトウエアを用いて各機能を記載したプログラムをコンピュータに読み込ませて実現することもできる。また、各機能は、適宜ソフトウエア、ハードウエアのいずれかを選択して構成するものであっても良い。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１０…カメラ、２０…クライアント、３０…検索サーバ、４０…表示装置、１００…顔画像検索システム、１１０…画像受信部、１２０…顔検出部、１３０…特徴抽出部、１４０…検索部、１４１…人物情報記憶部、１５０…計測部、１６０…選別部、１６１…設定部、１７０…表示制御部、１８０…出力部、２００…表示部。

Claims (10)

1. 予め複数の顔特徴をデータベースとして記憶する記憶部と、
   画像データを受信する画像受信部と、
   前記画像受信部により受信した前記画像データから顔画像を検出する顔検出部と、
   前記顔検出部により検出された前記顔画像から顔特徴を抽出する特徴抽出部と、
   前記特徴抽出部により抽出された前記顔特徴と、前記データベースに含まれている前記顔特徴との類似度を算出し、算出した類似度に基づいて検索結果を出力する検索部と、
   前記検索部により出力された前記検索結果の量を計測する計測部と、
   前記計測部により計測された前記検索結果量が予め設定された閾値以上である場合、前記検索部により出力された前記検索結果を選別する選別部と、
   前記選別部により選別された前記検索結果に基づいて検索結果画面を生成する表示制御部と、
   前記表示制御部により生成された前記検索結果画面を出力する出力部と、
   を具備する顔画像検索システム。
2. 前記選別部は、前記検索部から出力された前記検索結果と、予め設定された選別条件とに基づいて優先度を算出し、算出した前記優先度に基づいて前記検索結果を選別する請求項１に記載の顔画像検索システム。
3. 前記選別条件は、１つまたは複数の項目と、この項目ごとに設定された得点とを有し、
   前記選別部は、前記検索結果と、前記選別条件とに基づいて１つまたは複数の得点を算出し、算出された前記得点を統合して前記優先度を算出する請求項２に記載の顔画像検索システム。
4. 前記選別条件の項目は、前記画像データが取得された場所、前記画像データが取得された時刻、前記画像データが取得された場所の混雑度、及び前記画像データが取得された際の異常行動の有無を含み、
   前記選別部は、前記選別条件の各項目、並びに、前記検索結果における年齢、性別、人種、及び要注意フラグの有無のうちの１つまたは複数に基づいて前記得点を算出する請求項３に記載の顔画像検索システム。
5. 前記表示制御部は、前記優先度の高い順、または低い順に前記検索結果を優先させて前記検索結果画面に表示させるように前記検索結果画面を生成する、請求項２に記載の顔画像検索システム。
6. 前記表示制御部は、前記優先度に基づいて選別された前記検索結果を前記検索結果画面に表示する表示時間を算出し、算出した前記表示時間の間、前記検索結果を前記検索結果画面に表示させるように前記検索結果画面を生成する、請求項５に記載の顔画像検索システム。
7. 操作に基づいて操作信号を生成する操作部をさらに具備し、
   前記表示制御部は、前記操作部から所定の操作信号を受け取るまでの間、前記検索結果を前記検索結果画面に表示させるように前記検索結果画面を生成する、請求項５に記載の顔画像検索システム。
8. 前記計測部は、単位時間あたりの顔検出数、単位時間あたりの検索クエリ数、単位時間あたりの検索結果数、単位時間あたりの所定の閾値を越えた検索結果数、顔画像検索システム内の装置のＣＰＵの負荷、メモリ使用量、及びネットワークトラフィック量のうちのいずれか、またはこれらのうちの複数に基づいて、前記検索結果量を計測する、請求項２に記載の顔画像検索システム。
9. 前記出力部から出力された前記検索結果画面を受信し、受信した前記検索結果画面を表示する表示部をさらに具備する、請求項２に記載の顔画像検索システム。
10. 予め複数の顔特徴をデータベースとして記憶する記憶部を具備する顔画像検索システムに用いられる顔画像検索方法であって、
    画像データを受信し、
    受信した前記画像データから顔画像を検出し、
    検出された前記顔画像から顔特徴を抽出し、
    抽出された前記顔特徴と、前記データベースに含まれている前記顔特徴との類似度を算出し、算出した類似度に基づいて検索結果を出力し、
    出力された前記検索結果の量を計測し、
    計測された前記検索結果量が予め設定された閾値以上である場合、出力された前記検索結果を選別し、
    選別された前記検索結果に基づいて検索結果画面を生成し、
    生成された前記検索結果画面を出力する、
    顔画像検索方法。

Images