JP2017058833A

JP2017058833A - オブジェクト識別装置、オブジェクト識別方法及びプログラム

Info

Publication number: JP2017058833A
Application number: JP2015181781A
Authority: JP
Inventors: 佐藤　博; Hiroshi Sato; 博佐藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-09-15
Filing date: 2015-09-15
Publication date: 2017-03-23

Abstract

【課題】精度と速度を両立した判定を行うことができるオブジェクト識別装置を提供することを課題とする。【解決手段】オブジェクト識別装置は、入力画像及び登録画像に含まれるオブジェクトの特徴量及び属性情報を取得する手段と、入力画像及び登録画像に含まれるオブジェクトの属性情報を用いて、入力画像に含まれるオブジェクトと登録画像に含まれるオブジェクトが同一か否かを判定する属性判定手段と、入力画像に含まれるオブジェクトの特徴量と登録画像に含まれるオブジェクトの特徴量を用いて、入力画像に含まれるオブジェクトと登録画像に含まれるオブジェクトが同一か否かを判定する特徴量判定手段と、属性判定手段により入力画像に含まれるオブジェクトと登録画像に含まれるオブジェクトとが同一でないと判定された場合には、入力画像に含まれるオブジェクトに対して特徴量判定手段による判定を実行しないように制御する制御手段とを有する。【選択図】図１

Description

本発明は、オブジェクト識別装置、オブジェクト識別方法及びプログラムに関する。

パターン認識における識別技術、特に画像データ中の被写体であるオブジェクトが、別の画像中の被写体であるオブジェクトと同一のものであると識別する技術として、個人の顔を識別する顔識別技術がある。以下、本明細書では、オブジェクトの識別とは、オブジェクトの個体の違い（例えば、個人としての人物の違い）を判定することを意味する。また、オブジェクトの検出とは、個体を区別せずに同じ範疇に入るものを判定する（例えば、個人を区別せず、人物の顔を検出する）ことを意味する。顔識別における技術として、下記の特許文献１が知られている。また、人物の顔を検出する方法として、下記の非特許文献１が知られている。

特開２０１１−２３３１１９号公報

P. Viola and M. Jones，"Robust real-time face detection", pp.747, Eighth International Conference on Computer Vision (ICCV'01) - Volume 2, 2001.

顔識別のような画像認識技術を、デジタルカメラや監視カメラなどの組み込み機器で行う場合に、その処理速度が問題になる。組み込み機器だけでなく、クラウドやサーバサイドで処理を行う場合にも、処理を行う対象となる画像数が多くなれば、やはり処理速度が問題になる。一般的に、処理速度と識別精度はトレードオフの関係にあり、識別精度を向上させようとすると、処理量が多くなり、速度低下を招いてしまう。

特に、識別対象となる画像が逐次的に追加されながら、識別結果を全画像分について一定時間内に算出する必要がある場合には、処理速度の問題が一層顕著になる。具体的には、以下のようなケースである。すなわち、パーティー、結婚式、又はスポーツイベントなどの開催中に、参加者の写真を撮って、イベント終了後に、その参加者個人が映った画像を提供するサービスを行うような場合である。このようなサービスでは、例えば、イベントの参加受付時に、予め参加者の画像の習得と登録を行っておくことができる。イベント中に様々なタイミングで撮影した画像に対して、顔識別を行い、イベント終了後に、参加者が映った画像だけを選択して提示し、画像を購入してもらう。イベント開催中は、次々に撮影された画像が逐次的に処理対象としてサービスを行うシステムに入力され、イベント終了時までの一定時間内にその全てを処理する必要がある。大きなスポーツイベント等では、参加者の数が数万人に達する場合もあり、参加者が画像の提示を求めたタイミングで画像の検索を始めたのでは遅く、予め登録された顔画像と、イベント中に撮影された画像の照合を行っておく必要がある。さらに、このような場合、特に問題になるのは、イベントの終了時間間際に撮影された画像である。参加者に自分が映った画像を提供するのはイベント終了後であるが、イベント開始直後に撮影された画像に比べて、イベント終了間際に撮影された画像であるほど処理時間に余裕がない。参加者に提示する時間が決まっているためである。上記のようなケースでは、同じ画像であっても、逐次的に処理対象の画像が増えていくことによって、後から追加された画像の処理時間が十分に確保できず、認識精度の劣化を招いてしまう。特に何も対応せず、後から追加された画像の処理結果が、後から出てくるようにすると、イベント終了後の参加者への提示に間に合わなくなる。インターネット等で、後から提示するようにすることも考えられるが、それでも参加者の購入意欲が高いうちに、すなわち出来るだけイベント終了時から時間をおかずに提示する必要がある。

上記のような処理時間の課題に対して、特許文献１では、処理すべき顔の数を、混雑度計測手段によって計測し、その数によって、処理のパラメータを制御して、処理速度と認識精度の両立の問題に対処しようとしたものである。しかしながら、上記のようにイベントによっては数万人に達する参加者がおり、混雑度で処理内容を変えるにしても、そもそも常に混雑するようなことも考えられ、十分な効果を得られない可能性がある。また、特許文献１は、一定時間内に処理を終えるための制御ではなく、上記の課題を直接的に解決できるものとは言えない。処理すべき画像が逐次的に追加され、かつ、一定時間内に識別結果を算出しなければならないようなケースに画像識別技術を適用するには、上記のような課題がある。

本発明の目的は、精度と速度を両立した判定を行うことができるオブジェクト識別装置、オブジェクト識別方法及びプログラムを提供することである。

本発明のオブジェクト識別装置は、入力画像に含まれるオブジェクトの特徴量及び属性情報を取得する入力オブジェクト情報取得手段と、登録画像に含まれるオブジェクトの特徴量及び属性情報を取得する登録オブジェクト情報取得手段と、前記入力画像に含まれるオブジェクトの属性情報と前記登録画像に含まれるオブジェクトの属性情報とを用いて、前記入力画像に含まれるオブジェクトと前記登録画像に含まれるオブジェクトが同一か否かを判定する属性判定手段と、前記入力画像に含まれるオブジェクトの特徴量と前記登録画像に含まれるオブジェクトの特徴量を用いて、前記入力画像に含まれるオブジェクトと前記登録画像に含まれるオブジェクトが同一か否かを判定する特徴量判定手段と、前記属性判定手段により前記入力画像に含まれるオブジェクトと前記登録画像に含まれるオブジェクトとが同一でないと判定された場合には、当該入力画像に含まれるオブジェクトに対して前記特徴量判定手段による判定を実行しないように制御する制御手段とを有することを特徴とする。

本発明によれば、精度と速度を両立した判定を行うことができる。

オブジェクト識別装置の構成例を示す図である。オブジェクト識別方法を示すフローチャートである。オブジェクト登録手段の構成例を示すブロック図である。登録オブジェクト辞書データ生成部の構成例を示すブロック図である。入力オブジェクト識別手段の構成例を示すブロック図である。入力オブジェクト識別処理の一例を示すフローチャートである。入力オブジェクト識別用データ生成手段の構成例を示すブロック図である。入力オブジェクト識別演算部の構成例を示すブロック図である。入力オブジェクト識別演算処理の一例を示すフローチャートである。入力オブジェクト識別手段の構成例を示すブロック図である。入力オブジェクト識別演算手段の構成例を示すブロック図である。入力オブジェクト識別演算処理の一例を示すフローチャートである。

（第１の実施形態）
図１は、本発明の第１の実施形態によるオブジェクト識別装置１００の構成例を示すブロック図である。オブジェクト識別装置１００は、結像光学系１、撮像手段２、撮像制御手段３、画像記録手段４、オブジェクト登録手段５、入力オブジェクト識別手段６、外部出力手段７及び接続バス８を有する。外部出力手段７は、オブジェクト識別結果を出力する。オブジェクト登録手段５及び入力オブジェクト識別手段６は、例えば、それぞれ専用回路（ＡＳＩＣ）、プロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ、ＣＰＵなど）であってもよい。また、オブジェクト登録手段５及び入力オブジェクト識別手段６は、単一の専用回路及び汎用回路（パーソナルコンピュータ用ＣＰＵ）内部において実行されるプログラムであってもよい。

結像光学系１は、ズーム機構を備えた光学レンズで構成され、パン・チルト軸方向の駆動機構を備えていてもよい。撮像手段２は、映像センサであり、例えばＣＣＤ又はＣＭＯＳイメージセンサであり、不図示のセンサ駆動回路からの読み出し制御信号により所定の映像信号（例えば、サブサンプリング、ブロック読み出しして得られる信号）が画像データとして出力される。撮像制御手段３は、撮影者からの指示（画角調整指示、シャッター押下、など）及び、オブジェクト登録手段５又は入力オブジェクト識別手段６からの情報を基に、実際に撮影が行われるタイミングを制御する。画像記録手段４は、半導体メモリ等で構成され、撮像手段２から転送された画像データを保持し、オブジェクト登録手段５及び入力オブジェクト識別手段６からの要求に応じて、所定のタイミングで、画像データを転送する。

オブジェクト登録手段５は、画像データから識別の対象とするオブジェクトの情報を抽出し、記録及び保持する。オブジェクト登録手段５のより詳細な構成及び行われる処理の具体的な内容については、後で述べる。入力オブジェクト識別手段６は、画像記録手段４から取得した画像データ及びオブジェクト登録手段５から取得したデータを基に、オブジェクトの識別を行う。入力オブジェクト識別手段６に関して、具体的な構成及び行われる処理の詳細については、後で詳しく説明する。

外部出力手段７は、例えばＴＦＴ液晶などのモニタであり、撮像手段２及び画像記録手段４から取得した画像データを表示、又は、その画像データにオブジェクト登録手段５及び入力オブジェクト識別手段６の出力結果を重畳表示する。また、外部出力手段７は、オブジェクト登録手段５及び入力オブジェクト識別手段６の出力結果を電子データとして、外部メモリなどに出力するようにしてもよい。接続バス８は、上記の構成要素間の制御及びデータ接続を行うためのバスである。

なお、本実施形態では、撮像手段２、オブジェクト登録手段５及び入力オブジェクト識別手段６が１つの接続バス８で接続される形態について説明するが、オブジェクト登録手段５及び入力オブジェクト識別手段６が分離される形態であってもよい。その場合、接続バス８は、インターネット等の公衆回線を用いて接続すればよい。

図２は、オブジェクト識別装置１００によるオブジェクト識別方法の処理の一例を示すフローチャートである。この図２を参照しながら、オブジェクト識別装置１００が、入力オブジェクトの識別を行う処理について説明する。なお、以下では、画像中のオブジェクトが人物の顔である場合について説明するが、これに限るものでない。

まず、ステップＳ１では、オブジェクト識別装置１００は、起動時に起動処理を行う。起動処理は、例えば、後述するオブジェクト登録手段５及び入力オブジェクト識別手段６が必要なパラメータの読み出しなどを行う処理である。起動処理の具体的な内容については、後述のオブジェクト登録手段５及び入力オブジェクト識別手段６の説明時に詳しく説明する。

次に、ステップＳ２では、撮像手段２は、複数のイベント参加者の画像データを生成し、画像記録手段４は、その画像データを登録画像として記録する。オブジェクト登録手段５は、画像記録手段４から登録画像を取得する。なお、オブジェクト登録手段５は、登録画像の取得の際に、その画像内の人物についての識別子も一緒に取得するようにしてもよい。人物の識別子は、登録を行う作業者により、人物の名前を入力してもらったり、スポーツイベントではゼッケン番号などのユニークな識別子を入力してもらうことができる。作業者が入力できない場合は、オブジェクト登録手段５が内部的な識別子を発行してもよい。オブジェクト登録手段５は、同じ人物について複数の画像を登録する際には、それらが同じ人物であるとして、外部から識別子を指定することで、より精度を上げることができる。以上の処理により、オブジェクト登録手段５は、参加者の画像の登録を行う。

次に、ステップＳ３では、イベントが開始すると、撮像手段２は、複数のイベント参加者の画像データを逐次的に生成し、画像記録手段４は、その画像データを入力画像として逐次的に記録する。入力オブジェクト識別手段６は、画像記録手段４から入力画像を取得する。

次に、ステップＳ４では、入力オブジェクト識別手段６は、取得した入力画像に含まれるオブジェクト（以下、入力オブジェクトという）の検出を行う。入力オブジェクトは、例えば、人物又は人物の顔である。例えば、入力オブジェクト識別手段６は、入力画像に対して顔検出を行って、入力画像中から人物の顔の位置を特定する。入力画像から人物の顔を検出する方法については、例えば上記の非特許文献１の技術を用いることができる。オブジェクト登録手段５は、同様に、登録画像に含まれるオブジェクト（以下、登録オブジェクトという）の検出を行う。登録オブジェクトは、例えば、人物又は人物の顔である。例えば、オブジェクト登録手段５は、登録画像に対して顔検出を行って、登録画像中から人物の顔の位置を特定する。

次に、ステップＳ５では、入力オブジェクト識別手段６は、入力画像中に人物の顔（オブジェクト）があるか否かを判定し、人物の顔がある場合にはステップＳ６へ処理を進め、人物の顔がない場合には処理を終了する。

ステップＳ６では、入力オブジェクト識別手段６は、オブジェクト登録手段５により登録された複数の登録画像の中の１個の登録画像のオブジェクトを参照し、入力画像のオブジェクト識別処理、即ち個人の識別処理を行う。ステップＳ６の処理の具体的な処理内容については、後で詳しく説明する。

次に、ステップＳ７では、入力オブジェクト識別手段６は、すべての登録画像のオブジェクトの参照が終了したか否かを判定し、終了した場合にはステップＳ８に処理を進め、終了していない場合にはステップＳ６に処理を戻す。ステップＳ６では、次の登録画像のオブジェクトを参照する。

ステップＳ８では、入力オブジェクト識別手段６は、入力画像のオブジェクト識別処理の結果を出力する。すなわち、入力オブジェクト識別手段６は、入力画像のオブジェクトがどの登録画像のオブジェクトと同一かを示す識別情報、又は入力画像のオブジェクトに対応する登録画像のオブジェクトがないことを示す識別情報を出力する。外部出力手段７は、その識別情報をモニタに表示、又は外部メモリに出力する。

図３は、オブジェクト登録手段５の構成例を示すブロック図である。オブジェクト登録手段５は、登録オブジェクト辞書データ生成手段２１、登録オブジェクト辞書データ保持手段２２、及び登録オブジェクトデータ選択手段２５を有する。登録オブジェクト辞書データ保持手段２２は、属性情報保持手段２３及び部分特徴保持手段２４を有する。

例えば、イベントの参加受付時に、予め参加者の画像の撮像及び登録を行う。撮像手段２は、参加者の画像を撮像し、登録画像の画像データを生成する。画像記録手段４は、撮像手段２が出力する画像データを記録及び保持する。

登録オブジェクト辞書データ生成手段２１は、画像記録手段４から登録画像の画像データを取得し、その画像データに含まれる登録オブジェクトの辞書データを生成する。登録オブジェクトの辞書は、オブジェクトの個体を識別するために必要なデータであり、登録オブジェクトの特徴量及び属性方法を含む。登録オブジェクト辞書データ生成手段２１で行われる具体的な処理の内容については、後で詳しく説明する。

登録オブジェクト辞書データ保持手段２２は、属性情報保持手段２３及び部分特徴保持手段２４を有し、登録オブジェクト辞書データ生成手段２１により生成された辞書データを保持する。属性情報保持手段２３は、登録オブジェクトの属性情報、例えばオブジェクトが人物の顔である場合、性別、年齢、表情、顔の向き、などを保持する。属性情報は、登録オブジェクト辞書データ生成手段２１により生成してもよいし、登録時にユーザが入力してもよい。部分特徴保持手段２４は、登録オブジェクト辞書データ生成手段２１により生成された登録オブジェクトの特徴ベクトル（部分特徴量）を保持する。

登録オブジェクトデータ選択手段２５は、後述する入力オブジェクト識別手段６の要求に応じて、登録オブジェクト辞書データ保持手段２２から、識別に用いる辞書データ及び識別器のパラメータを取得し、入力オブジェクト識別手段６に出力する。

図４は、登録オブジェクト辞書データ生成手段２１の構成例を示すブロック図である。登録オブジェクト辞書データ生成手段２１は、部分特徴抽出手段３０及び属性情報取得手段３３を有する。

部分特徴抽出手段３０は、部分特徴パラメータ決定手段３１及び特徴ベクトル抽出手段３２を有し、登録画像に含まれる登録オブジェクトの特徴ベクトル（部分特徴量）を抽出する処理を行う。部分特徴パラメータ決定手段３１は、画像データに対して、特徴ベクトル抽出手段３２が特徴ベクトルを抽出するためのパラメータを決定する。パラメータとは、例えば、部分特徴を抽出する位置や範囲、などである。以下では、部分特徴を抽出するために定めた位置や範囲のことを部分領域と呼ぶ。また、後述するように、パラメータは、部分特徴を抽出する際の特徴量のパラメータも含む。部分領域の位置と範囲や、その他の特徴量のパラメータは、機械学習の方法を用いて予め決めておく。部分特徴量を抽出する部分領域の数は、処理時間などに応じて予め所定の数を決めておく。また、予め用意した学習用サンプルに対して、十分な識別性能を得られる数を計測して決める。部分特徴パラメータ決定手段３１が決定するパラメータは、１つの部分領域に対して複数あっても良い。１つの部分領域に複数の特徴抽出パラメータを設定する場合の目的や効果については、後で説明する。

特徴ベクトル抽出手段３２は、登録画像に含まれる登録オブジェクトの特徴ベクトルを抽出する。対象オブジェクトが人物の顔である場合、特徴ベクトル抽出手段３２は、顔を含む登録画像から、識別に必要なデータを特徴ベクトルとして取り出す処理を行う。例えば、特徴ベクトル抽出手段３２は、部分特徴パラメータ決定手段３１によって決定された部分領域から、その輝度値を特徴ベクトルとして抽出する。登録オブジェクトの特徴ベクトルは、画素値に直接的に由来する特徴量である。特徴ベクトル抽出手段３２は、輝度値による特徴ベクトル以外に、オブジェクトの部分領域の位置に対して不変な特徴量又は位置の変動に頑健な特徴量、例えば、輝度の頻度分布などを特徴ベクトルとして抽出してもよい。また、特徴ベクトル抽出手段３２は、上記のような輝度値を基本とする特徴量を抽出する際に、照明変動に対して頑健になるように、前処理を行ってもよい。例えば、特徴ベクトル抽出手段３２は、ガンマ補正やヒストグラム平坦化などの補正処理を行った後に、上記のような特徴抽出を行うことにより、最終的な認証精度を向上させることができる。補正処理のパラメータは、部分特徴パラメータ決定手段３１によって決定された値を適用する。部分特徴パラメータ決定手段３１の説明で言及したように、特徴ベクトル抽出手段３２は、１つの部分領域に対して、複数のパラメータを用いて、部分特徴量を抽出するようにしてもよい。異なるパラメータで抽出を行った部分特徴量は、それぞれ別の登録オブジェクト辞書データとして、登録オブジェクト辞書データ保持手段２２により記録される。このように、１つの部分領域に対して、複数のパラメータを用いて部分特徴量を抽出することによって、擬似的に複数の条件で登録するのと同じような効果を期待することができる。すなわち、登録時と認証時で照明条件などが大きく異なる場合に対応するために、登録時に複数の条件（パラメータ）で部分特徴量を抽出することにより、認証時に起こりえる変動に少しでも近い条件の部分特徴量を事前に用意することができる。上述のような、前処理のパラメータだけでなく、部分特徴量の抽出のパラメータそのものを複数用意して、それぞれ、別の特徴ベクトルとして抽出してもよい。例えば、輝度を２値化したものを特徴量として抽出する場合、２値化の閾値を複数用意すればよい。顔認証でよく用いられるLocal Binary Pattern（LBP）特徴も、注目画素に対する対象画素の輝度値の差でコード化を行うが、閾値を導入してもよい。輝度値の単純な大小ではなく、差が閾値より大きい場合にのみビットを立てることにより、照明変動に頑健な特徴量にすることができる。閾値を大きくすると、照明変動に対して頑健になるが、個人差も失われるので、ある照明条件に対して、認証に適切な閾値が存在する。この閾値を複数用意して、部分特徴量の抽出を行い、別の特徴ベクトルとして登録を行うことによって、様々な照明変動に対応しやすくする。

属性情報取得手段３３は、登録オブジェクトの属性情報、例えば人物の顔領域から得られる属性（年齢、性別、人種、髪型など）を検出する。また、属性情報取得手段３３は、顔だけでなく、顔領域を拡張した人体の領域から得られる属性情報（服装、装飾品など）を検出するようにしてもよい。年齢、性別、人種の検出方法については、公知の技術を用いることができる。例えば、顔画像の輝度情報を、予め所望の属性を検出するように訓練されたサポートベクターマシンなどの識別器に投入し、属性情報を取得することができる。人体に関する属性も同様であるが、服装の情報は、顔領域に対して、所定範囲にある画素について、色ヒストグラムを抽出し、それをもって属性情報としてもよい。もちろん、その色ヒストグラムを予め訓練した識別器に投入し、服装をカテゴライズした判別結果を属性情報とすることもできる。例えば、登録オブジェクトは人であり、登録オブジェクトの属性情報は、少なくとも、年齢、性別、人種、服装、髪型、及び装飾品のうちのいずれか１つを含む。

図５は、入力オブジェクト識別手段６の構成例を示すブロック図である。入力オブジェクト識別手段６は、入力オブジェクト識別用データ生成手段４１、登録オブジェクトデータ取得手段４２、入力オブジェクト識別演算手段４３、入力オブジェクト識別用データ保持手段４４、及び識別器学習手段４５を有する。

例えば、イベント開催中は、撮像手段２は、参加者の撮像を逐次的に行い、入力画像の画像データを生成する。画像記録手段４は、撮像手段２により生成された画像データを逐次的に記録する。

入力オブジェクト識別用データ生成手段４１は、入力オブジェクト情報取得手段であり、画像記録手段４から入力画像の画像データを取得し、その画像データに含まれる入力オブジェクトの識別用データの抽出を行う。入力オブジェクトの識別用データは、オブジェクトの識別に必要なであり、入力オブジェクトの特徴量及び属性情報を含む。登録オブジェクトデータ取得手段４２は、登録オブジェクト情報取得手段であり、オブジェクト登録手段５より、登録オブジェクトの辞書データ（特徴量及び属性情報を含む）を取得する。この際、登録オブジェクトデータ取得手段４２は、後述の入力オブジェクト識別用データ生成手段４１により抽出される識別用データと比較可能な（特徴次元が一致している）状態として、辞書データを取得する。

入力オブジェクト識別演算手段４３は、入力オブジェクト識別用データ生成手段４１により抽出された識別用データと、登録オブジェクトデータ取得手段４２により取得された辞書データとから、入力画像データに対するオブジェクトの識別処理を行う。ここで行われる処理については、後で詳しく説明する。

入力オブジェクト識別用データ保持手段４４は、入力オブジェクト識別用データ生成手段４１により抽出された識別用データを、入力オブジェクト識別演算手段４３の比較結果と対応付けて保持する。

識別器学習手段４５は、入力オブジェクト識別用データ保持手段４４に保持されている識別用データ及びその識別データと対応付けられて格納されている入力オブジェクト識別演算手段４３の比較結果とを用いて、識別器の機械学習を行う。識別器学習手段４５で行われる処理の具体的な内容については、後で詳しく説明する。

図６は、入力オブジェクト識別手段６が行う識別処理の一例を示すフローチャートである。まず、ステップＳ１１では、登録オブジェクトデータ取得手段４２は、オブジェクト登録手段５から登録オブジェクトの辞書データを取得する。次に、ステップＳ１２では、入力オブジェクト識別用データ生成手段４１は、画像記録手段４より入力画像を取得する。次に、ステップＳ１３では、入力オブジェクト識別用データ生成手段４１は、入力画像に含まれる入力オブジェクトの識別用データを生成する。ここで行われる処理については、後で詳しく説明する。次に、ステップＳ１４では、入力オブジェクト識別演算手段４３は、入力オブジェクト識別用データ生成手段４１により抽出された識別用データと、登録オブジェクトデータ取得手段４２により取得された辞書データとから、入力オブジェクト識別処理を行う。

入力オブジェクト識別演算手段４３は、入力オブジェクトの識別用データと登録オブジェクトの辞書データとの一致度をバイナリ（０又は１）で出力、又はその一致度を正規化した値を尤度（例えば０〜１の実数値）として出力する。登録オブジェクト（登録者）が複数（複数人）ある場合、入力オブジェクト識別演算手段４３は、それぞれの登録オブジェクト（登録者）に対して尤度を出力してもよいが、最も良く一致した登録オブジェクトに対する尤度だけを出力してもよい。また、入力オブジェクト識別演算手段４３は、登録オブジェクトに対する尤度ではなく、登録オブジェクトが属するクラスに対しての尤度を出力してもよい。すなわち、人物の場合、入力オブジェクト識別演算手段４３は、個々の登録顔画像への結果ではなく、人物のＩＤ（名前）に対する尤度を出力するようにする。なお、入力オブジェクト識別演算手段４３の処理の具体的な内容については、後で詳しく説明する。

図７は、入力オブジェクト識別用データ生成手段４１の構成例を示すブロック図である。入力オブジェクト識別用データ生成手段４１は、部分特徴抽出手段５０及び属性情報取得手段５３を有する。部分特徴抽出手段５０は、部分特徴パラメータ決定手段５１及び特徴ベクトル抽出手段５２を有する。入力オブジェクト識別用データ生成手段４１の構成及び行われる処理は、図４の登録オブジェクト辞書データ生成手段２１の構成及び行われる処理とほぼ同じであるので、説明を割愛する。すなわち、入力オブジェクト識別用データ生成手段４１は、入力画像に含まれる入力オブジェクトの特徴ベクトル（特徴量）を抽出し、入力オブジェクトの属性情報を取得する。例えば、入力オブジェクトは人である。入力オブジェクトの属性情報は、少なくとも、年齢、性別、人種、服装、髪型、及び装飾品のうちのいずれか１つを含む。入力オブジェクトの特徴ベクトルは、画素値に直接的に由来する特徴量であり、例えば輝度値に基づく特徴量である。

図８は、入力オブジェクト識別演算手段４３の構成例を示すブロック図である。入力オブジェクト識別演算手段４３は、入力オブジェクト識別用データ取得手段６１、登録オブジェクト辞書データ取得手段６２、部分特徴量類似度算出手段６３、類似度特徴生成手段６４、入力オブジェクト識別手段６５、及び識別器制御手段６６を有する。

入力オブジェクト識別用データ取得手段６１は、入力オブジェクト識別用データ生成手段４１から、入力オブジェクトの識別用データ（特徴ベクトル及び属性情報）を取得する。登録オブジェクト辞書データ取得手段６２は、登録オブジェクトデータ取得手段４２から、登録オブジェクトの辞書データ（特徴ベクトル及び属性情報）を取得する。部分特徴量類似度算出手段６３は、入力オブジェクト識別用データ取得手段６１が取得した入力オブジェクトの識別用データと、登録オブジェクト辞書データ取得手段６２が取得した登録オブジェクトの辞書データとの間の部分領域ごとの類似度を算出する。類似度特徴生成手段６４は、部分特徴量類似度算出手段６３により算出された部分領域ごとの類似度を連結し、類似度特徴を生成する。入力オブジェクト識別手段６５は、類似度特徴生成手段６４により生成された類似度特徴を基に、入力オブジェクトの識別を行う。

図９は、入力オブジェクト識別手段６の処理の一例を示すフローチャートである。まず、ステップＳ２０では、入力オブジェクト識別用データ取得手段６１は、入力オブジェクト識別用データ生成手段４１から、入力オブジェクトの識別用データ（特徴ベクトル及び属性情報）を取得する。次に、ステップＳ２１では、登録オブジェクト辞書データ取得手段６２は、登録オブジェクトデータ取得手段４２から、複数の登録オブジェクトの中の１個の登録オブジェクトの辞書データ（特徴ベクトル及び属性情報）を取得する。

次に、ステップＳ２２では、識別器制御手段６６は、識別器学習手段４５が出力する機械学習の結果と入力オブジェクト識別用データ生成手段４１により生成される識別用データとを基に、使用する識別器を判定する。ここで、使用する識別器とは、登録オブジェクトと入力オブジェクトの同一性を判定する２クラス識別器であるが、それらが複数あって、そのどれを用いるかを判定する。ここで、複数の識別器の種類は、識別に用いる情報の違いを表し、特徴ベクトルの識別器と属性情報の識別器を有する。入力オブジェクトの識別用データ及び登録オブジェクトの辞書データには、それぞれ顔画像の画素値に直接的に由来する特徴ベクトル（特徴量）と、年齢、性別、服装などの属性情報が含まれる。すなわち、識別器制御手段６６は、識別器学習手段４５が出力する機械学習の結果を基に、入力オブジェクト識別手段６５が識別（判定）を行うべき属性情報の種類を決定する。

次に、ステップＳ２３では、識別器制御手段６６は、ステップＳ２２の使用する識別器の判定結果に応じて、入力オブジェクトの属性情報と登録オブジェクトの属性情報を用いてオブジェクトの同一性を判定する属性判定を実行するか否かを決定する。例えば、入力画像を取得した時刻又は現在の時刻がイベント終了時刻の一定時間前の時刻（第１の閾値）より早い場合には、識別器制御手段６６は、属性判定を実行しないことを決定する。これに対し、入力画像を取得した時刻又は現在の時刻がイベント終了時刻の一定時間前の時刻（第１の閾値）より遅い場合には、識別器制御手段６６は、属性判定を実行することを決定する。識別器制御手段６６は、属性判定を実行することを決定した場合にはステップＳ２５に処理を進め、属性判定を実行しないことを決定した場合にはステップＳ２４に処理を進める。

ステップＳ２４では、入力オブジェクト識別手段６５は、入力オブジェクトの顔特徴量（特徴ベクトル）と登録オブジェクトの顔特徴量を用いて、入力オブジェクトの識別処理を行う特徴量判定を実行する。顔特徴量を用いた識別処理は、入力オブジェクトの特徴ベクトルと登録オブジェクトの特徴ベクトルを照合し、入力オブジェクトと登録オブジェクトが同一か否かを判定する。特徴ベクトルは、顔を部分領域に分けた単位で取得されるので、照合も部分領域単位で行われる。１つの領域に対する照合は、対応する２つの部分領域のデータをそれぞれベクトルとして扱い、２つのベクトルの類似度を部分特徴量類似度算出手段６３により算出することによって行われる。部分特徴量類似度算出手段６３は、２つのベクトルの内積をとることによって類似度を演算可能であるが、別の方法でもよい。部分特徴量類似度算出手段６３は、予め２つのベクトルが同一オブジェクトを表すか否かを訓練されたサポートベクターマシン（ＳＶＭ）を用意し、それに投入することによっても類似度を算出可能である。類似度特徴生成手段６４は、部分領域単位で類似度を算出した後、それらを連結して、類似度特徴を生成する。例えば、部分領域が５０か所あった場合、類似度特徴の次元数は５０になる。入力オブジェクト識別手段６５は、この類似度特徴を、予め訓練したＳＶＭに投入することによって、最終的な顔特徴量による識別結果を出力する。より簡単には、入力オブジェクト識別手段６５は、部分領域ごとの類似度の平均値をとり、平均値が予め定めた閾値より大きいか否かで、顔識別結果を出力してもよい。入力オブジェクト識別手段６５は、入力オブジェクトがどの登録オブジェクトと同一かを示す識別情報、又は入力オブジェクトに対応する登録オブジェクトがないことを示す識別情報を出力する。その後、ステップＳ２７に進む。

ステップＳ２５では、入力オブジェクト識別手段６５は、入力オブジェクト及び登録オブジェクトの属性情報を用いて、入力オブジェクトと登録オブジェクトが同一か否かを判定する属性判定を実行する。例えば、入力オブジェクト識別手段６５は、各属性情報検出器（年齢、性別、服装など）の出力値を連結してベクトルとし、予め訓練されたサポートベクターマシン（ＳＶＭ）に投入することによって、同一性を判定可能である。ＳＶＭの代わりに、ベイジアンネットワークを用いてもよい。ここでの判定方法は、属性情報を用いた同一性の判定が可能であれば、どのような方法を用いてもよい。

次に、ステップＳ２６では、入力オブジェクト識別手段６５は、ステップＳ２５の属性判定で入力オブジェクトと登録オブジェクトが同一であると判定された場合にはステップＳ２４に処理を進める。ステップＳ２４では、入力オブジェクト識別手段６５は、上記と同様に、入力オブジェクト及び登録オブジェクトの顔特徴量を用いて、入力オブジェクトと登録オブジェクトが同じか否かを判定する特徴量判定を実行する。一方、ステップＳ２６で、入力オブジェクト識別手段６５は、ステップＳ２５の属性判定で入力オブジェクトと登録オブジェクトが同一でないと判定された場合には、ステップＳ２４の特徴量判定を実行せずに、ステップＳ２７に処理を進めるように制御する。

ステップＳ２７では、入力オブジェクト識別演算手段４３は、全登録オブジェクトの辞書データについての処理を行ったか否かの判定を行う。入力オブジェクト識別演算手段４３は、全登録オブジェクトの辞書データについての処理を行った場合にはステップＳ２８に処理を進め、全登録オブジェクトの辞書データについての処理を行っていない場合にはステップＳ２１に処理を戻す。ステップＳ２１では、次の登録オブジェクトについての処理を行う。

ステップＳ２８では、入力オブジェクト識別手段６５は、入力オブジェクトがどの登録オブジェクトと同一かを示す識別情報、又は入力オブジェクトに対応する登録オブジェクトがないことを示す識別情報を判定結果として出力する。入力オブジェクト識別用データ保持手段４４は、入力オブジェクト識別用データ生成手段４１が生成する識別用データと、入力オブジェクト識別手段６５が出力する識別情報（尤度を含む）とを対応付けて格納する。

次に、ステップＳ２９では、識別器学習手段４５は、必要に応じて、属性情報による識別器の機械学習を行う。具体的には、識別器学習手段４５は、入力オブジェクト識別用データ保持手段４４に保持されている入力オブジェクトの識別用データとそれに対応する入力オブジェクト識別手段６５の判定結果を基に、属性情報による識別器の機械学習を行う。この機械学習は、入力オブジェクト識別手段６５が判定を行うべき属性情報の種類の機械学習である。ここで、「必要に応じて」とは、入力オブジェクト識別用データ保持手段４４に格納されているデータの数量などに応じての意味である。識別器学習手段４５は、その格納されているデータの数量が所定値より多い場合には、属性情報による同一性判定が十分な精度で行えるものと判断し、属性情報による同一性判定を行う識別器の学習を行う。ステップＳ２３では、識別器制御手段６６は、識別器学習手段４５が出力する学習結果を基に、属性情報を用いてオブジェクトの同一性を判定するか否かを決定する。例えば、識別器学習手段４５は、複数の属性情報の値を連結した特徴ベクトル（以下、属性ベクトルという）を入力とした２クラス判定サポートベクターマシン（ＳＶＭ）の学習を行えばよい。識別器学習手段４５は、このＳＶＭに２つのオブジェクトから取得した属性ベクトルを入力し、２つのオブジェクトが同一であるか判定する。ＳＶＭへの入力するデータは、１つのベクトルになっている必要があるので、２つの属性ベクトルを１つにする操作が必要である。ここでは、ＳＶＭへの入力するデータとして、２つのベクトルの差をとった差分ベクトルや、加算を行った加算ベクトルを用いることができる。また、差分ベクトルと加算ベクトルを連結したものをＳＶＭへの入力データとしてもよい。この場合、入力データは、元の属性ベクトルの２倍の次元数になる。また、属性ベクトルの要素の積をとった積ベクトルをＳＶＭへの入力データとしてもよい。積ベクトルの要素の和をとると、２つの属性ベクトルの内積と等しくなる。このように、識別器学習手段４５は、２つの属性ベクトルから１つのベクトルに変換を行い、２つのベクトルの同一性を判定するＳＶＭの学習を行う。

ＳＶＭの学習に用いるデータの教師ラベルは、ステップＳ２４で算出した顔特徴量による識別処理の結果から作り出すことができる。以下、その手順を説明する。入力オブジェクト識別用データ保持手段４４には、入力オブジェクトの識別用データと、顔特徴量による識別結果とが対応付けられて保持されている。識別器学習手段４５は、その識別結果によって、入力オブジェクトの識別用データが、どの登録オブジェクトに対応するかを判定することができる。識別結果の値（例えば、２つのベクトル間の類似度）が、どの登録オブジェクトに対しても所定の値より低ければ、該当登録オブジェクトなしとされる。入力オブジェクトの識別用データがどの登録オブジェクトに対応するかが分かれば、属性情報による識別器の学習データを生成することができる。すなわち、同じ登録オブジェクトに該当するとされた２つの入力オブジェクトの識別用データからは、同じ人物に属する（Intra-Personal Class）というラベルを、上述の手順で作成したベクトル（差分ベクトルなど）に付ければよい。同様に、異なる登録オブジェクトに属する２つの入力オブジェクトの識別データからは、異なる人物に属する（Extra-Personal Class）というラベルを付けることができる。ここで、一般的に、Intra-Personal Class と Extra-Personal Class とでは、後者のラベルが付いたデータの方が集まり易い。前者は、登録オブジェクトの数（異なる人物の数）に比例してしか作れないのに対して、後者は、その組み合わせの数だけ作ることが可能だからである。このため、ステップＳ２９の学習を行うタイミングは、Intra-Personal Class に属するデータの数を目安にして行うとよい。Intra-Personal Class に属するデータ数が、所定値に達したら、学習を行うようにする。また、所定値は、例えば、１００、２００、３００、・・・など複数設定しておき、ある程度データが蓄積されたら、繰り返し学習が行われるようにするとよい。

ここで、ステップＳ２２の使用識別器判定についてさらに説明する。上述のように、ステップＳ２２では、識別器制御手段６６は、入力オブジェクト及び登録オブジェクトの同一性の判定に、画像の画素値に直接的に由来する特徴量を用いるか、又は、オブジェクトの属性情報（年齢、性別、服装など）を用いるかどうかを決める。このような判定を行う理由は、属性情報を用いた同一性の判定は、特徴量による同一性の判定に比べて高速だが一般に精度が低いためである。画像の画素値に由来する特徴量に比べて、人種、性別などの属性情報は、１つ１つが１次元のスカラー値で表現できるため、それらを連結しても、相対的に次元が低く、したがって、同一性の判定にかかる演算コストも低い。しかし、属性情報を検出する検出器の精度が低ければ、複数の属性検出器の結果を連結して判定に用いても結果的に精度が低くなる。このため、属性情報だけを用いた識別処理は、精度の劣化を招くため、処理時間に余裕のある時は用いない。

入力画像の取得時刻又は現在の時刻がイベント終了時刻の一定時間前の時刻より早い場合（例えば、イベントの前半）には、ステップＳ２３からステップＳ２４に進む。これに対し、入力画像の取得時刻又は現在の時刻がイベント終了時刻の一定時間前の時刻より遅い場合（例えば、イベントの後半）には、ステップＳ２３からステップＳ２５に進む。ここで、ステップＳ２５の属性情報を用いたオブジェクトが同一か否かの判定は、ステップＳ２３の顔特徴量を用いたオブジェクトが同一か否かの判定に対して、判定の時間が短く、判定の精度が低い。イベントの前半では、イベント終了時刻までの処理時間に余裕があるので、高精度及び長処理時間の顔特徴量を用いたオブジェクトの同一性の判定を行う。イベントの後半では、イベント終了時刻までの処理時間に余裕がないので、短処理時間及び低精度の属性情報を用いたオブジェクトの同一性の判定を行う。ステップＳ２６で属性情報を用いた判定が同一でない（例えば服の色が違うなど）と判定された場合は、ステップＳ２４の顔特徴量による同一性判定を行わずに、入力オブジェクトと登録オブジェクトが同じでないと判定することができる。属性情報を用いたオブジェクトの同一性判定は、顔特徴量を用いたオブジェクトの同一性判定より、判定の時間が短いので、全体的に処理時間の大幅な短縮が可能になる。

（第２の実施形態）
本発明の第２の実施形態は、第１の実施形態に対して、属性情報による同一性判定を動的に学習して精度を高め、その精度を評価し、属性情報による同一性判定の重要度を変更していく点が異なる。以下、具体的に説明する。なお、重複の説明を避けるため、以下の説明において、第１の実施形態と同じ部分は、省略する。

本実施形態によるオブジェクト識別装置１００のハードウェア構成は、第１の実施形態と同じであるので、説明を省略する。本実施形態は、第１の実施形態に対して、入力オブジェクト識別手段６の一部の構成が異なり、処理の一部も異なる。以下、本実施形態が第１の実施形態と異なる点を中心に説明を行う。

図１０は、本発明の第２の実施形態による入力オブジェクト識別手段１０６の構成例を示すブロック図である。入力オブジェクト識別手段１０６は、第１の実施形態の入力オブジェクト識別手段６の代わりに設けられる。入力オブジェクト識別手段１０６は、入力オブジェクト識別用データ生成手段１４１、登録オブジェクトデータ取得手段１４２、入力オブジェクト識別演算手段１４３、入力オブジェクト識別用データ保持手段１４４、及び識別器学習手段１４５を有する。入力オブジェクト識別手段１０６は、図５の入力オブジェクト識別手段６と同様の構成を有する。ただし、入力オブジェクト識別演算部１４３及び識別器学習手段１４５は、それぞれ、図５の入力オブジェクト識別演算部１４３及び識別器学習手段１４５に対し、処理の内容が異なる。それ以外の各手段の役割及び処理の内容は、第１の実施形態と同じであるので、説明を割愛する。

図１１は、入力オブジェクト識別演算手段１４３の構成例を示すブロック図である。入力オブジェクト識別演算手段１４３は、入力オブジェクト識別用データ取得手段１６１、登録オブジェクト辞書データ取得手段１６２、部分特徴量類似度算出手段１６３、類似度特徴生成手段１６４、及び入力オブジェクト識別手段１６５を有する。さらに、入力オブジェクト識別演算手段１４３は、識別器制御手段１６６を有する。入力オブジェクト識別演算手段１４３は、図８の入力オブジェクト識別演算手段４３と同様の構成を有する。入力オブジェクト識別演算手段１４３の各手段の役割は、図８の入力オブジェクト識別演算手段４３の各手段と同じであるが、処理が異なるので、それについて以下説明する。

図１２は、入力オブジェクト識別演算手段１４３で行われる処理の一例を示すフローチャートである。まず、ステップＳ１２０では、入力オブジェクト識別用データ取得手段１６１は、入力オブジェクト識別用データ生成手段１４１から、入力オブジェクトの識別用データを取得する。次に、ステップＳ１２１では、登録オブジェクト辞書データ取得手段１６２は、登録オブジェクトデータ取得手段１４２から、複数の登録オブジェクトの中の１個の登録オブジェクトの辞書データを取得する。ここで、登録オブジェクト辞書データ取得手段１６２は、登録オブジェクトの辞書データとして、後述のように、属性情報によるオブジェクトの同一性判定を行う識別器を登録オブジェクトごとに用意することができるので、その情報も一緒に取得する。

次に、ステップＳ１２２では、識別器制御手段１６６は、識別器学習手段１４５の学習結果及び入力オブジェクト識別用データ生成手段１４１が出力する識別用データを基に、使用する識別器を判定する。ここで、使用する識別器とは、登録オブジェクトと入力オブジェクトの同一性を判定する２クラス識別器であるが、それらが複数あって、識別器制御手段１６６は、そのどれを用いるかを判定する。複数の識別器の種類は、識別に用いる情報の違いを表す。入力オブジェクトの識別用データ及び登録オブジェクトの辞書データには、それぞれ顔画像の画素値に直接的に由来する特徴量の他に、年齢、性別、服装などの属性情報が含まれる。また、ステップＳ１２１で取得した登録オブジェクトの辞書データに、どの識別器を用いるかの情報を予め含めておくことで、登録オブジェクトごとに、どの識別器を使うか変えることもできる。ステップＳ１２６の属性情報による同一性判定も同様で、個々の登録オブジェクトによって、用いる属性情報を変えることが可能である。例えば、登録オブジェクトの属性情報に、特徴的な属性情報があれば、その情報を用いるようにすればよい。

次に、ステップＳ１２３では、識別器制御手段１６６は、属性情報による判定の重要度を決定する。ここで、重要度とは、属性情報による入力オブジェクト及び登録オブジェクトの同一性判定結果をどの程度後段の処理で重要視するかの程度を示す。後述のように、ステップＳ１２６の属性情報による同一性の判定結果を用いて、ステップＳ１２７で顔特徴量による識別を行うか判定するが、その判定と、ステップＳ１２５の顔特徴量による識別処理の内容が、この重要度によって変わる。重要度によって上記の処理がどう変わるのかの詳細は後で説明する。重要度の決定は、例えば、入力オブジェクトの識別用データの取得時間によって決めることができる。例えば、識別器制御手段１６６は、入力画像の取得時刻又は現在の時刻がイベント終了時刻に近い場合には、重要度を高く設定し、入力画像の取得時刻又は現在の時刻がイベント終了時刻に対して遠い場合には、重要度を低く設定する。

また、重要度の決定は、上記以外に、入力オブジェクト識別用データ保持手段１４４に蓄積されたデータ量によって決めることもできる。すなわち、ステップＳ１２２で、どの識別器を用いるかを登録オブジェクトごとに決定した場合、入力オブジェクト識別用データ保持手段１４４に蓄積された当該登録オブジェクトと判定されたデータがどれ位あるかで、重要度を決定することができる。例えば、識別器学習手段１４５及び識別器制御手段１６６は、予め所定のデータ数を決めておき、その所定のデータ数に対して、入力オブジェクト識別用データ保持手段１４４に蓄積されたデータ数がどれくらいあるかで、重要度を決める。後述するように、登録オブジェクトごとに属性情報による同一性判定の識別器を学習した場合に、その信頼度は高くなると仮定できるので、このようにデータ数で重要度を決定する方法は妥当性がある。また、識別器の学習を行う処理の内部で、その重要度を算出することもできる。この場合は、登録オブジェクトの辞書データにその重要度を保持するようにすればよい。学習時に重要度を決める処理の詳細については、後で説明する。

次に、ステップＳ１２４では、識別器制御手段１６６は、ステップＳ１２２の使用する識別器の判定結果によって、属性情報によるオブジェクトの同一性判定を行うか否かを判定する。識別器制御手段１６６は、属性情報による同一性判定を行うと判定した場合にはステップＳ１２６に処理を進め、属性情報による同一性判定を行わないと判定した場合にはステップＳ１２５に処理を進める。

ステップＳ１２５では、部分特徴量類似度算出手段１６３、類似度特徴生成手段１６４及び入力オブジェクト識別手段１６５は、識別器制御手段１６６の制御の下、顔特徴（特徴ベクトル）を用いて、入力オブジェクトの識別処理を行う。ステップＳ１２５の処理は、図９のステップＳ２４の処理と基本的に同じであるが、後述するように、属性情報による同一性判定を用いる場合は、その処理の内容を変えてもよい。これについては後で説明する。その後、入力オブジェクト識別演算手段１４３は、ステップＳ１２８に処理を進める。

ステップＳ１２６では、部分特徴量類似度算出手段１６３、類似度特徴生成手段１６４及び入力オブジェクト識別手段１６５は、識別器制御手段１６６の制御の下、属性情報を用いて、入力オブジェクトと登録オブジェクトの同一性判定を行う。ステップＳ１２６の処理は、図９のステップＳ２５の処理と基本的に同じであるが、入力オブジェクトと登録オブジェクトが同一であるかどうかを最終的に判定する際に、ステップＳ１２３で取得した重要度を用いることができる。すなわち、入力オブジェクト識別手段１６５は、属性情報による同一性を判定する識別器（例えばＳＶＭ）の出力値が、閾値より大きいか小さいかで、同一であるか否かを判定するが、その閾値を重要度に応じて変化させる。重要度が高い場合は、閾値を予め定めた値より小さくすることによって、同一であると判定しやすくする。反対に、重要度が低い場合は、閾値を予め定めた値より大きくするか、そのまま予め定めた値を用いてもよい。これによって、重要度が高い場合に、属性情報による同一性の判定結果が、そのまま最終的な同一性の判定結果に反映されやすくなる。

次に、ステップＳ１２７では、入力オブジェクト識別手段１６５は、ステップＳ１２６で入力オブジェクトと登録オブジェクトが同一であると判定されたか否かを判定する。入力オブジェクト識別手段１６５は、同一であると判定された場合にはステップＳ１２５に処理を進め、同一でないと判定された場合にはステップＳ１２８に処理を進める。ステップＳ１２５では、部分特徴量類似度算出手段１６３、類似度特徴生成手段１６４及び入力オブジェクト識別手段１６５は、識別器制御手段１６６の制御の下、顔特徴（特徴ベクトル）を用いて、入力オブジェクトの識別処理を行う。顔特徴量による識別処理の詳細は、後で説明する。

ステップＳ１２８では、入力オブジェクト識別演算手段１４３は、全登録オブジェクトの辞書データについての処理を行ったか否かの判定を行う。入力オブジェクト識別演算手段４３は、全登録オブジェクトの辞書データについての処理を行った場合にはステップＳ１２９に処理を進め、全登録オブジェクトの辞書データについての処理を行っていない場合にはステップＳ１２１に処理を戻す。ステップＳ１２１では、次の登録オブジェクトについての処理を行う。

ステップＳ１２９では、入力オブジェクト識別手段１６５は、入力オブジェクトがどの登録オブジェクトと同一かを示す識別情報、又は入力オブジェクトに対応する登録オブジェクトがないことを示す識別情報を出力する。入力オブジェクト識別用データ保持手段１４４は、入力オブジェクト識別用データ生成手段１４１が生成する識別用データと、入力オブジェクト識別手段１６５が出力する識別情報とを対応付けて格納する。

次に、ステップＳ１３０では、識別器学習手段１４５は、属性情報による識別器の学習を行い、その重要度も算出する。学習を行うタイミングは、入力オブジェクト識別用データ保持手段１４４に格納されている入力オブジェクトの識別用データの数を基準にする。識別器学習手段１４５は、基準となるデータ数を複数用意して、何回か学習を繰り返すようにしてもよい。識別器の学習及び重要度の算出方法は、後で詳しく説明する。この属性情報による識別器の学習は、登録オブジェクトごとに行うことができる。その場合、識別器学習手段１４５は、学習結果及びその重要度を、登録オブジェクトの辞書データに追加し、図３の登録オブジェクト辞書データ保持手段２２に格納する。

次に、ステップＳ１２５の顔特徴量による識別処理について説明する。ステップＳ１２５の処理は、図９のステップＳ２４の処理と基本的に同じであるが、属性情報による判定の重要度に応じて、処理の内容がどのように変わるかを中心に説明する。

第１の実施形態の説明で述べたように、顔特徴量による識別処理は、顔を部分領域に分割して、部分領域ごとに、登録オブジェクトと入力オブジェクト間の類似度を算出し、それら複数の部分領域の類似度を統合して、判定する。ここでは、入力オブジェクト識別演算手段１４３は、属性情報による判定の重要度に応じて、識別に用いる部分領域の数を変えることができる。一般に、識別に用いる部分領域の数が多ければ多いほど、より高精度な識別結果が期待できる。また、部分領域の数が多いほど、照合を行う回数は増えるので、処理時間は増加する。属性情報による判定の重要度が高い場合に、識別に用いる部分領域の数を少なくすると、処理時間の削減が期待できる。これは、属性情報による同一性の判定の重要度が高い故に、ある程度精度が高いと期待して、顔特徴量による識別処理を簡略化して、高速性を重視していることに相当する。

部分領域の数を制御するのではなく、部分領域の特徴量をサブサンプリングする方法も考えられる。例えば、部分領域が１０×１０画素の正方形である場合、特徴次元は１００次元であるが、照合時にこの１００次元全てを用いるのではなく、１つ置きに飛ばしてサンプリングすることで、半分の５０次元を用いて照合を行う。照合は、典型的には内積演算であるので、処理量も半分になることが期待できる。当然、精度の劣化は起こるが、その分、属性情報による判定がそれを補うことを期待して、高速性を確保する。

当然ながら、両者を組み合わせて用いること、すなわち、部分領域の数を減らして、さらに、部分領域のサンプリング数も下げることで、より一層計算量を減らすことが可能である。属性情報による判定の重要性がより高い場合に、そのような組み合わせを行うことによって、さらなる高速化と、精度の両立が可能になる。

実際に、どの部分領域を減らすのか、又は、どのようなサンプリングレートにするのか、などの細かいパラメータは、事前の評価によって予め定めておくとよい。部分領域を減らしながら、比較的に精度に影響の少ない領域を事前に用意したサンプルについて調べておくことによって、精度劣化を最小限にすることが可能になる。サンプリングレートについても同様に行えばよい。

次に、識別器学習手段１４５の識別器の学習処理について説明する。ここでは、主に、属性情報による同一性の判定を行う識別器の学習について説明する。第１の実施形態で説明したように、属性情報による同一性の判定は、以下のようにして行う。すなわち、複数の属性検出器の検出結果を連結して、１つのベクトル（以下、属性ベクトルという）とし、登録オブジェクトと入力オブジェクトの両者の比較を行う。比較は、予め訓練されたサポートベクターマシン（ＳＶＭ）を用いる。識別器の学習は、最終的には、このＳＶＭの学習に帰着され、この学習処理は公知の方法を用いることができる。ここで、説明が必要なのは、ＳＶＭの学習に必要な教師データ付きの学習データと、属性情報による識別器の重要度の算出方法についてである。識別器学習手段１４５は、入力オブジェクト識別用データ保持手段１４４に格納されている顔特徴量による識別結果とそれに対応付けられた入力オブジェクトの識別用データを用いる。顔特徴量による識別結果は、比較的高精度であると期待できるため、特に同一性が高い（低い）と尤度高く判定されたものについては、それを教師データとして採用する。尤度については、事前に顔特徴量による識別器の出力を分析しておくことによって、値の大小によって、予め定めることが可能である。例えば、類似度がある値より大きく（小さく）出力されたものは、尤度が高いと判断する。識別器学習手段１４５は、この尤度が高いと判定された教師データ付きの学習データの数量をもって、属性情報による識別器の重要度とすることができる。多くのデータによって訓練されたＳＶＭは、少ないデータで学習したＳＶＭより結果の信頼性が高い（＝重要度が大きい）と考えられるからである。

以上のように、識別器制御手段１６６は、時刻に応じて重要度を決定することができる。ステップＳ１２３では、識別器制御手段１６６は、入力画像の取得時刻又は現在の時刻がイベント終了時刻の一定時間前の時刻（第４の閾値）より早い場合（第１の場合）には、低い重要度を決定する。その場合、ステップＳ１２６では、入力オブジェクト識別手段１６５は、入力画像に含まれるオブジェクトの属性情報と登録画像に含まれるオブジェクトの属性情報の類似度が第２の閾値より大きいか否かを判定する。ステップＳ１２７では、入力オブジェクト識別手段１６５は、上記の類似度が第２の閾値より大きい場合には、入力画像に含まれるオブジェクトと登録画像に含まれるオブジェクトが同一であると判定し、ステップＳ１２５に処理を進める。これに対し、入力オブジェクト識別手段１６５は、上記の類似度が第２の閾値より大きくない場合には、入力画像に含まれるオブジェクトと登録画像に含まれるオブジェクトが同一でないと判定し、ステップＳ１２８に処理を進める。

また、ステップＳ１２３では、識別器制御手段１６６は、入力画像の取得時刻又は現在の時刻がイベント終了時刻の一定時間前の時刻（第４の閾値）より遅い場合（第２の場合）には、高い重要度を決定する。その場合、ステップＳ１２６では、入力オブジェクト識別手段１６５は、入力画像に含まれるオブジェクトの属性情報と登録画像に含まれるオブジェクトの属性情報の類似度が第３の閾値より大きいか否かを判定する。この第３の閾値は、上記の第２の閾値より小さい。ステップＳ１２７では、入力オブジェクト識別手段１６５は、上記の類似度が第３の閾値より大きい場合には、入力画像に含まれるオブジェクトと登録画像に含まれるオブジェクトが同一であると判定し、ステップＳ１２５に処理を進める。これに対し、入力オブジェクト識別手段１６５は、上記の類似度が第３の閾値より大きくない場合には、入力画像に含まれるオブジェクトと登録画像に含まれるオブジェクトが同一でないと判定し、ステップＳ１２８に処理を進める。

また、識別器制御手段１６６は、データ量に応じて重要度を決定してもよい。ステップＳ１３０では、識別器学習手段１４５は、入力画像に含まれるオブジェクトの特徴量及び登録画像に含まれるオブジェクトの特徴量の類似度が第５の閾値より大きい又は第６の閾値より小さい場合に、尤度が高いと判定する。その場合、識別器学習手段１４５は、入力オブジェクト識別用データ保持手段１４４が保持しているオブジェクトの特徴量及び属性情報並びに判定結果を基に、入力オブジェクト識別手段１６５が判定を行うべき属性情報の種類を機械学習する。そして、識別器学習手段１４５は、その機械学習の結果を基に入力オブジェクト識別手段１６５が判定を行うべき属性情報の種類を決定する。

まず、入力画像及び登録画像に含まれるオブジェクトの特徴量の類似度が第５の閾値より大きい又は第６の閾値より小さい場合の入力オブジェクト識別用データ保持手段１４４が保持している判定結果の数が第７の閾値より少ない場合（第１の場合）を説明する。その場合、ステップＳ１２３では、識別器制御手段１６６は、低い重要度を決定する。その場合、ステップＳ１２６では、入力オブジェクト識別手段１６５は、入力画像に含まれるオブジェクトの属性情報と登録画像に含まれるオブジェクトの属性情報の類似度が第２の閾値より大きいか否かを判定する。ステップＳ１２７では、入力オブジェクト識別手段１６５は、上記の類似度が第２の閾値より大きい場合には、入力画像に含まれるオブジェクトと登録画像に含まれるオブジェクトが同一であると判定し、ステップＳ１２５に処理を進める。これに対し、入力オブジェクト識別手段１６５は、上記の類似度が第２の閾値より大きくない場合には、入力画像に含まれるオブジェクトと登録画像に含まれるオブジェクトが同一でないと判定し、ステップＳ１２８に処理を進める。

次に、入力画像及び登録画像に含まれるオブジェクトの特徴量の類似度が第５の閾値より大きい又は第６の閾値より小さい場合の入力オブジェクト識別用データ保持手段１４４が保持している判定結果の数が第７の閾値より多い場合（第２の場合）を説明する。その場合、ステップＳ１２３では、識別器制御手段１６６は、高い重要度を決定する。その場合、ステップＳ１２６では、入力オブジェクト識別手段１６５は、入力画像に含まれるオブジェクトの属性情報と登録画像に含まれるオブジェクトの属性情報の類似度が第３の閾値より大きいか否かを判定する。この第３の閾値は、上記の第２の閾値より小さい。ステップＳ１２７では、入力オブジェクト識別手段１６５は、上記の類似度が第３の閾値より大きい場合には、入力画像に含まれるオブジェクトと登録画像に含まれるオブジェクトが同一であると判定し、ステップＳ１２５に処理を進める。これに対し、入力オブジェクト識別手段１６５は、上記の類似度が第３の閾値より大きくない場合には、入力画像に含まれるオブジェクトと登録画像に含まれるオブジェクトが同一でないと判定し、ステップＳ１２８に処理を進める。

識別器学習手段１４５は、訓練誤差、又は、汎化誤差を重要度の算出に用いることもできる。識別器学習手段１４５は、ＳＶＭの学習で、学習データの識別を行って、その識別誤差を重要度とする（誤差が小さいほど重要度が大きい）ことが可能である。また、識別器学習手段１４５は、学習データを予め、学習用と、評価用に分割しておき、学習したＳＶＭで評価用のデータを評価し、その識別誤差を重要度算出に用いることで、より確度の高い重要度算出が可能になる。識別器学習手段１４５は、学習用と評価用のデータ分割を複数回行って、クロスバリデーションを行い、識別誤差の平均値を重要度算出に用いるとさらによい。

最後に、本実施形態の処理の目的と効果について説明する。本実施形態では、登録オブジェクトごとに、属性情報による同一性判定を重視するか、顔特徴量による識別処理を重視するか判定を行うことがポイントである。これにより、処理対象となる入力オブジェクトの画像データが逐次的に入力され、かつ、全体の処理時間が一定時間であるという制約の中で、高精度かつ高速な処理を行うこという、目的が達成可能になる。すなわち、処理時間に余裕のあるイベント前半では、高精度な顔特徴量による識別処理を行い、その識別結果を属性情報による同一性判定の識別器の学習データとして、入力オブジェクトの識別用データとともに保持する。保持したデータを用いて、属性情報による同一性判定の識別器の学習を行うことによって、より高精度な属性情報による同一性判定の識別器が構築可能になる。イベントが終盤になるにつれ、学習に用いるためのデータが増えてゆき、属性情報による同一性判定の識別器の精度が向上すると期待できる。そのため、全てのデータについて顔特徴量による識別処理をしなくても精度を保つことが可能になり、高速な属性情報による同一性判定の識別器によって、全体的な処理時間を抑えることが可能になる。一方で、十分な学習データが得られなかった登録オブジェクトについては、属性情報による同一性判定を重視しないことで、精度劣化を未然に防ぐことが可能になる。

第１及び第２の実施形態によれば、入力画像データが逐次的に入力され、かつ、一定時間内に処理を終えなくてはならない場合に、処理時間の制約の厳しい処理終盤における入力画像データに対しても、精度劣化を抑えつつ高速に識別結果を得ることができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

４１，１４１入力オブジェクト識別用データ生成手段、４２，１４２登録オブジェクトデータ取得手段、４３，１４３入力オブジェクト識別演算手段

Claims

入力画像に含まれるオブジェクトの特徴量及び属性情報を取得する入力オブジェクト情報取得手段と、
登録画像に含まれるオブジェクトの特徴量及び属性情報を取得する登録オブジェクト情報取得手段と、
前記入力画像に含まれるオブジェクトの属性情報と前記登録画像に含まれるオブジェクトの属性情報とを用いて、前記入力画像に含まれるオブジェクトと前記登録画像に含まれるオブジェクトが同一か否かを判定する属性判定手段と、
前記入力画像に含まれるオブジェクトの特徴量と前記登録画像に含まれるオブジェクトの特徴量を用いて、前記入力画像に含まれるオブジェクトと前記登録画像に含まれるオブジェクトが同一か否かを判定する特徴量判定手段と、
前記属性判定手段により前記入力画像に含まれるオブジェクトと前記登録画像に含まれるオブジェクトとが同一でないと判定された場合には、当該入力画像に含まれるオブジェクトに対して前記特徴量判定手段による判定を実行しないように制御する制御手段と
を有することを特徴とするオブジェクト識別装置。
さらに、前記属性判定手段による判定を実行するか否かを決定する決定手段を有し、
前記制御手段は、前記決定手段が前記属性判定手段による判定を実行しないことを決定した場合には、前記特徴量判定手段による判定を実行することを特徴とする請求項１記載のオブジェクト識別装置。
前記決定手段は、時刻が第１の閾値より早い場合には前記属性判定手段による判定を実行しないことを決定し、時刻が前記第１の閾値より遅い場合には前記属性判定手段による判定を実行することを決定することを特徴とする請求項２記載のオブジェクト識別装置。
さらに、前記入力オブジェクト情報取得手段により取得された入力画像に含まれるオブジェクトの特徴量及び属性情報とそれに対応する前記属性判定手段及び前記特徴量判定手段の判定結果とを対応付けて保持する保持手段と、
前記保持手段が保持している前記オブジェクトの特徴量及び属性情報並びに前記判定結果を基に前記属性判定手段が判定を行うべき属性情報の種類を機械学習し、前記機械学習の結果を基に前記属性判定手段が判定を行うべき属性情報の種類を決定する学習手段とを有することを特徴とする請求項１〜３のいずれか１項に記載のオブジェクト識別装置。
前記属性判定手段は、
前記入力画像に含まれるオブジェクトの属性情報と前記登録画像に含まれるオブジェクトの属性情報との類似度を算出し、
第１の場合には、前記類似度が第２の閾値より大きいか否かを判定し、前記類似度が前記第２の閾値より大きい場合には、前記入力画像に含まれるオブジェクトと前記登録画像に含まれるオブジェクトが同一であると判定し、前記類似度が前記第２の閾値より大きくない場合には、前記入力画像に含まれるオブジェクトと前記登録画像に含まれるオブジェクトが同一でないと判定し、
第２の場合には、前記類似度が第３の閾値より大きいか否かを判定し、前記類似度が前記第３の閾値より大きい場合には、前記入力画像に含まれるオブジェクトと前記登録画像に含まれるオブジェクトが同一であると判定し、前記類似度が前記第３の閾値より大きくない場合には、前記入力画像に含まれるオブジェクトと前記登録画像に含まれるオブジェクトが同一でないと判定し、
前記第３の閾値は、前記第２の閾値より小さいことを特徴とする請求項１〜３のいずれか１項に記載のオブジェクト識別装置。
前記第１の場合は、時刻が第４の閾値より早い場合であり、
前記第２の場合は、時刻が前記第４の閾値より遅い場合であることを特徴とする請求項５記載のオブジェクト識別装置。
さらに、前記入力オブジェクト情報取得手段により取得された入力画像に含まれるオブジェクトの特徴量及び属性情報とそれに対応する前記属性判定手段及び前記特徴量判定手段の判定結果とを対応付けて保持する保持手段と、
前記類似度が第５の閾値より大きい又は第６の閾値より小さい場合に、前記保持手段が保持している前記オブジェクトの特徴量及び属性情報並びに前記判定結果を基に前記属性判定手段が判定を行うべき属性情報の種類を機械学習し、前記機械学習の結果を基に前記属性判定手段が判定を行うべき属性情報の種類を決定する学習手段とを有し、
前記第１の場合は、前記類似度が前記第５の閾値より大きい又は前記第６の閾値より小さい場合の前記保持手段が保持している前記判定結果の数が第７の閾値より少ない場合であり、
前記第２の場合は、前記類似度が前記第５の閾値より大きい又は前記第６の閾値より小さい場合の前記保持手段が保持している前記判定結果の数が前記第７の閾値より多い場合であることを特徴とする請求項５記載のオブジェクト識別装置。
前記オブジェクトは人であり、
前記オブジェクトの属性情報は、少なくとも、年齢、性別、人種、服装、髪型、及び装飾品のうちのいずれか１つを含むことを特徴とする請求項１〜７のいずれか１項に記載のオブジェクト識別装置。
前記オブジェクトの特徴量は、画素値に直接的に由来する特徴量であることを特徴とする請求項１〜８のいずれか１項に記載のオブジェクト識別装置。
前記オブジェクトの特徴量は、輝度値に基づく特徴量であることを特徴とする請求項９記載のオブジェクト識別装置。
前記属性情報を用いた前記オブジェクトが同一か否かの判定の時間は、前記特徴量を用いた前記オブジェクトが同一か否かの判定の時間より短いことを特徴とする請求項１〜１０のいずれか１項に記載のオブジェクト識別装置。
入力オブジェクト情報取得手段により、入力画像に含まれるオブジェクトの特徴量及び属性情報を取得する入力オブジェクト情報取得ステップと、
登録オブジェクト情報取得手段により、登録画像に含まれるオブジェクトの特徴量及び属性情報を取得する登録オブジェクト情報取得ステップと、
属性判定手段により、前記入力画像に含まれるオブジェクトの属性情報と前記登録画像に含まれるオブジェクトの属性情報とを用いて、前記入力画像に含まれるオブジェクトと前記登録画像に含まれるオブジェクトが同一か否かを判定する属性判定ステップと、
特徴量判定手段により、前記入力画像に含まれるオブジェクトの特徴量と前記登録画像に含まれるオブジェクトの特徴量を用いて、前記入力画像に含まれるオブジェクトと前記登録画像に含まれるオブジェクトが同一か否かを判定する特徴量判定ステップとを有し、
前記属性判定ステップにおいて前記入力画像に含まれるオブジェクトと前記登録画像に含まれるオブジェクトとが同一でないと判定された場合には、当該入力画像に含まれるオブジェクトに対して前記特徴量判定ステップによる判定を実行しないようにすることを特徴とするオブジェクト識別方法。
入力画像に含まれるオブジェクトの特徴量及び属性情報を取得する入力オブジェクト情報取得ステップと、
登録画像に含まれるオブジェクトの特徴量及び属性情報を取得する登録オブジェクト情報取得ステップと、
前記入力画像に含まれるオブジェクトの属性情報と前記登録画像に含まれるオブジェクトの属性情報とを用いて、前記入力画像に含まれるオブジェクトと前記登録画像に含まれるオブジェクトが同一か否かを判定する属性判定ステップと、
前記入力画像に含まれるオブジェクトの特徴量と前記登録画像に含まれるオブジェクトの特徴量を用いて、前記入力画像に含まれるオブジェクトと前記登録画像に含まれるオブジェクトが同一か否かを判定する特徴量判定ステップと、
前記属性判定ステップにおいて前記入力画像に含まれるオブジェクトと前記登録画像に含まれるオブジェクトとが同一でないと判定された場合には、当該入力画像に含まれるオブジェクトに対して前記特徴量判定ステップによる判定を実行しないように制御する制御ステップと
をコンピュータに実行させるためのプログラム。