JP2012226609A - 情報処理装置、情報処理装置の制御方法、およびプログラム - Google Patents

Abstract

【課題】画像のオブジェクトの性別や年齢などの性質の判定結果である、属性判定結果が正解と異なる場合であっても識別性能の低下を抑制することを目的とする。
【解決手段】画像データを取得する取得部と、画像データからオブジェクトを検出する検出部と、検出手部により検出されたオブジェクトの性質を示す属性を判定する属性判定部と、画像データを登録可能である複数の登録部と、属性判定部により判定された属性に基づいて、複数の登録部のそれぞれに画像データが登録される場合、１つの登録部に登録される１つの画像データに対して、他の登録部に登録される画像データに対するリンク情報を付与する付与部と、を備える。
【選択図】 図２

Description

本発明は、入力されたデータが属するカテゴリを識別する情報処理装置、情報処理装置の制御方法、およびプログラムに関し、特に、データの属性に応じて辞書データを分割して識別処理を高速化・高精度化させる情報処理装置、情報処理装置の制御方法、およびプログラムに関する。

入力されたデータを、予め登録済みのデータと比較することにより、入力されたデータにより表現されるオブジェクトが、予め登録済みのどのカテゴリに属するかを識別する技術が多く提案されている。そのオブジェクト識別の具体例として、画像データを用いる人物認証がある。これは顔や指紋など個人に固有の特徴を用いて人物の識別を行うものであり、それぞれ顔認証、指紋認証などと呼ばれる。人物認証におけるカテゴリとは、個人を特定できる名前やＩＤである。人物認証を含むオブジェクト識別においては、識別を運用する前に予め識別したいオブジェクトの画像を登録画像として、名前やＩＤと併せて登録しておく必要がある。この登録を経たのち、識別を実際に運用できることになる。識別すべきオブジェクトの画像（以下、「入力画像」とも称する）が入力されると、予め登録されている登録画像のそれぞれと入力画像とを比較し、合致する登録画像がある場合には、その登録画像に対応する登録済みオブジェクトを識別結果として出力する。合致する登録画像がない場合には、該当オブジェクト無しとして出力する。以下、本明細書では、オブジェクトのカテゴリを識別することとは、オブジェクトの個体の違い（例えば、人物の違い）を判断することを意味する。一方、似た言葉にオブジェクトの検出というものがあるが、これは個体を区別せず同じ範疇に入るものを判定して検出する（例えば、個人を区別せず、画像から顔を検出する）ことを意味するものとする。

人物認証の適用例として、例えば建物への入退場を管理するセキュリティ用途の人物認証がある。このようなセキュリティ用途の人物認証では数千人から数万人単位で人物が登録されることがある。オブジェクト識別において登録画像が増えることはそれだけ識別する回数が増えることであり、識別処理に時間を要することになる。これは、ある時間内に人物認証を完了する必要がある場合に大きな問題になる。

識別処理に要する時間が増える問題に対して、識別処理を行う登録画像を限定し高速化する特許文献１や特許文献２のような認証の手法がある。

特許文献１では、予め登録済みの指紋に関して押圧などの属性を自動的に採取し、複数に分割された辞書のいずれかに登録画像を格納する。分割されたそれぞれの辞書には、同じ属性を持つ登録画像同士が集められ格納されている。識別すべき指紋を採取する際にも指紋と同時に押圧などの属性を自動的に採取し、この属性と合致する辞書に含まれる登録済みデータのみと識別を行うというものである。つまり、登録画像と入力画像の双方にそれぞれ属性判定を行い、その結果に基づいて識別処理の対象となる登録画像を少数に絞り込む。これにより全ての登録画像に対して識別を行う必要がなく、識別処理の高速化が可能となる。

また、属性判定を行って同じ属性のデータ同士を識別する利点として識別精度が向上できることが挙げられる。例えば顔認証において正面で撮影された顔画像と横顔で撮影された顔画像を識別することは、見た目の大きな違いから難しいといえる。しかしながら、正面同士、あるいは横顔同士で顔画像を比較して同一人物かどうかを判断することは正面と横顔とを比較する場合よりも容易であるといえる。そこで、顔画像の属性として顔向きを判定して、正面は正面の顔画像同士と、横顔は横顔の顔画像同士で識別するようにすれば、識別の精度を高めることができる。さらに正面同士の顔を識別する方法と、横顔同士の顔を識別する方法をそれぞれに適したものにすることによって、識別精度をさらに向上できる。

以下、本明細書では、オブジェクトの属性を判定することとは、カテゴリの違い（例えば、人物の違い）とは異なるオブジェクトの性質（例えば、性別や年齢）の判定を意味することとする。

特開２００２−１６３６５５号公報 特開平１１−３５３４８５号公報 特許３０７８１６６号公報 特開２００２−８０３２号公報

Neeraj Kumar,2009 "Attribute and Simile Classifiers for Face Verification", Proc. of Intl. Conference of Computer Vision H. Wang, 2004"Self quotient image for face recognition", Proc. of Intl. Conf. on Image Processing, Vol.2 Ajmal S. Mian 2008,"Keypoint Detection and Local Feature Matching for Textured 3D Face Recognition",International Journal of Computer Vision, vol. 79 Viola & Jones 2001 "Rapid Object Detection using a Boosted Cascade of Simple Features", Computer Vision and Pattern Recognition.

特許文献１に示したような、登録画像と入力画像との属性判定結果に基づいて、識別処理の対象となる登録画像を絞り込む手法では、属性判定結果に誤りがあった場合、正しく識別されないという問題がある。

この問題について、男女の判定を自動的に行って、登録処理および識別処理の対象となる辞書を絞り込む顔認証を例に挙げて、男女の判定が難しい中性的な顔立ちの男性の顔を扱う場合について以下に述べる。

登録すべき顔を登録する際、顔に対して性別の判定を行い、男性あるいは女性に対応する辞書に登録画像を格納する。このとき男女の判定が難しい中性的な男性の顔を登録する際、男性と判定されて正しく男性に対応する辞書に登録されるか、あるいは女性と誤判定されて誤った辞書に登録されるかは定かでない。また、識別すべき顔が入力されると、顔に対して性別の判定を行い、男性あるいは女性に対応する辞書に格納されている登録画像を識別処理の対象として識別する。このとき男女の判定が難しい男性の顔が入力されると、男性と判定されて男性に対応する辞書と識別するか、あるいは女性と誤判定されて誤った辞書と識別するかは登録時と同様に定かでない。このような登録時および識別時の属性判定の誤りにより、入力画像と、入力画像に該当する人物の登録画像をそもそも照合すらできない可能性がある。

さらに、男性の顔同士を識別する方法と女性の顔同士を識別する方法とが、それぞれに適したものになっている場合、もうひとつの問題が起こる。男女の判定が難しい中性的な男性の顔が女性と誤判定されて誤った辞書に登録されていた場合、女性同士を識別するのに適した方法で、さきほど誤判定された男性の顔を識別する場合がある。識別方法が本来想定していないデータを識別する必要があるため、十分な識別精度が得られない可能性がある。

回避策として、識別の方法を属性ごとに分けず共通化し、登録時に属性判定結果が信頼できない場合には男女両方の辞書に登録しておき、識別時に属性判定結果が信頼できない場合には男女両方の辞書を対象に識別処理を行うことが考えられる。しかしながら、このような手法では、本来の目的である識別処理の高速化や、識別精度の向上は達成できないという課題がある。

上記の課題に鑑み、本発明は、画像のオブジェクトの性別や年齢などの性質の判定結果である、属性判定結果が正解と異なる場合であっても識別性能の低下を抑制することを目的とする。

上記の目的を達成する本発明に係る情報処理装置は、
画像データを取得する取得手段と、
前記画像データからオブジェクトを検出する検出手段と、
前記検出手段により検出された前記オブジェクトの性質を示す属性を判定する属性判定手段と、
前記画像データを登録可能である複数の登録手段と、
前記属性判定手段により判定された属性判定結果に基づいて、前記複数の登録手段のそれぞれに前記画像データが登録される場合、１つの登録手段に登録される１つの画像データに対して、他の登録手段に登録される画像データを示すリンク情報を付与する付与手段と、
を備えることを特徴とする。

本発明によれば、画像のオブジェクトの性別や年齢などの性質の判定結果である、属性判定結果が正解と異なる場合であっても識別性能の低下を抑制することができる。

第１実施形態に係るオブジェクト識別装置１０００のブロック図。 第１実施形態に係る登録処理の手順を示すフローチャート。 第１実施形態に係る画像登録部１４００のブロック図。 第１実施形態に係る画像登録処理の具体例を示す図。 第１実施形態に係る識別処理の手順を示すフローチャート。 第１実施形態に係る画像識別部１３００のブロック図。 第２実施形態に係るオブジェクト識別装置２０００のブロック図。 第２実施形態に係る登録処理の手順を示すフローチャート。 第２実施形態に係る画像登録部２４００のブロック図。 第２実施形態に係る識別処理の手順を示すフローチャート。 第３実施形態に係る属性判定部１２００のブロック図。 第４実施形態に係る画像登録部４４００のブロック図。 第４実施形態に係る登録処理の手順を示すフローチャート。 第５実施形態に係る登録処理の手順を示すフローチャート。

（第１実施形態）
本実施形態ではオブジェクトの性質を示す属性として男女（性別）を判定し、カテゴリとして人物の違いを識別する顔認証を例に説明する。属性は性別に限らず人種や年齢など、人間が判定可能で、識別対象を適切な割合でいくつかに分類できるものであれば任意のものでよい。なお、本発明の用途は人物認証に限ったものではない。例えば、属性として自動車の車種（セダン・ハッチバックなど）を判定し、カテゴリとして自動車の型番を識別してもよい。

＜全体構成＞
図１は、本発明を適用可能な実施形態を示すオブジェクト識別装置１０００（情報処理装置１０００）の構成を示す。図１に示すように、オブジェクト識別装置１０００は、画像入力部１１００と、属性判定部１２００と、画像識別部１３００と、画像登録部１４００と、登録画像記録部１５００と、外部出力部１６００と、操作部１７００と、顔検出部１８００と、接続バス１９００とを備える。

画像入力部１１００は、画像を入力する。画像入力部１１００は、識別すべき画像データを供給する装置であれば限定しない。光学レンズと映像センサを備えた撮像装置であってもよく、画像データが保持されて、読み出し可能な半導体メモリでもよい。

属性判定部１２００は、オブジェクトの属性を判定する。画像識別部１３００は、画像を識別する。画像登録部１４００は、画像を登録可能である。属性判定部１２００、画像識別部１３００、および画像登録部１４００はそれぞれ専用回路（ＡＳＩＣ）、プロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ、ＣＰＵなど）であってもよい。あるいは単一の専用回路および汎用回路（ＰＣ用ＣＰＵ）内部において実行されるプログラムとして存在してもよい。属性判定部１２００、画像識別部１３００、および画像登録部１４００の詳細な構成に関しては、後述する。

登録画像記録部１５００は、画像入力部１１００により登録画像として入力された画像データを記録・保持する辞書として用いられる。典型的には、繰り返し書き換え可能な半導体メモリであってもよい。画像データを数十枚もしくはそれ以上を保持するために十分な容量を有してもよく、画像識別部１３００により使用される情報のみ保持可能な容量を有してもよい。登録画像記録部１５００は、属性判定部１２００により判定され得る属性の数だけ、それぞれの属性に対応する辞書を含む。登録画像記録部１５００は、辞書の数だけ物理的に複数の記憶媒体により構成されてもよく、単一の記憶媒体上で論理的に複数の辞書を構成（ファイルシステム上で複数のディレクトリに分ける方法など）してもよい。

外部出力部１６００は、属性判定部１２００による属性判定結果および画像識別部１３００によるオブジェクトの識別結果を外部に出力する。画像の登録時には属性判定部１２００の判定結果を出力し、画像の識別時には入力画像に対応するカテゴリの識別結果を出力する。外部出力部１６００は、典型的には、ＣＲＴやＴＦＴ液晶などのモニタであり、画像入力部１１００から取得した画像データを表示する。また、属性判定部１２００あるいは画像識別部１３００の出力を画像データに重畳表示してもよい。また、それらの結果を電子データとして外部の記憶媒体などに出力してもよく、紙媒体に印刷してもよい。なお、出力の方法は、上に挙げた限りではなく、さらに複数の方法を同時に行使してもよい。

操作部１７００は、オブジェクト識別装置１０００への指示を入力するために用いられ、属性判定部１２００が判定したオブジェクトの属性に対する正解の属性を得るために用いられる。典型的にはキーボードやマウスであり、装置表面に用意された複数のボタンなどから構成されてもよい。またタッチパネルの形式をとり、外部出力部１６００と統合する方法をとってもよい。あるいは磁気カードや、バーコードを読み取るカメラを用いてもよい。顔検出部１８００は、画像入力部１１００により取得された画像に対して、顔検出処理を行う。接続バス１９００は、上述した各処理部の制御・データ接続を行う。

＜登録フロー＞
図２のフローチャートを参照して、本実施形態におけるオブジェクト識別装置１０００が、顔画像を登録する処理の手順の一例を説明する。Ｓ１１０１において、画像入力部１１００は、登録すべき画像を取得する。

Ｓ１１０２において、顔検出部１８００は、Ｓ１１０１で取得した画像に対して、顔検出処理を行う。画像中から人物の顔を検出する方法については、公知の技術を用いればよい。例えば、特許文献３または特許文献４で提案されているような技術を用いることが出来る。

Ｓ１１０３において、顔検出部１８００は、Ｓ１１０２で顔を検出した後、画像中に顔が存在したか否かを判定する。画像中に顔が存在すると判定された場合（Ｓ１１０３；ＹＥＳ）、Ｓ１１０４へ進む。一方、画像中に顔が存在しないと判定された場合（Ｓ１１０３；ＮＯ）、処理を終了する。

Ｓ１１０４において、属性判定部１２００は、属性判定処理、即ち男女（性別）の判定処理を行う。次に、Ｓ１１０５において、外部出力部１６００は、属性判定結果を出力し、必要であれば操作者の訂正操作を操作部１７００により受け付ける。

外部出力部１６００は、属性判定結果を全ての場合について提示してもよいし、全ての場合についてではなく、属性判定の確からしさが低い場合に結果を尋ねる形で提示してもよい。なお、本実施形態では、属性判定の結果を操作者に提示し、それに対して訂正指示を受け付ける形で説明する。別の実施形態として、操作者から登録すべき画像の正しい属性（正属性）の情報を正解として受け付けてもよい。例えば、これから登録される本人が、画像を登録するのと同時に操作部１７００を通じて自身の属性を入力する。方法としてキーボートを通じて属性を入力するか、身分証となっている磁気カードを読み取られることにより自身の属性を入力するなどが挙げられる。何れにせよ、Ｓ１１０６以降の処理の流れは同じである。

Ｓ１１０６において、操作部１７００は、属性判定結果が誤りである（誤属性）ことを示す訂正指示を受け付けたか否かを判定する。訂正指示を受け付けたと判定された場合（Ｓ１１０６；ＹＥＳ）、ステップＳ１１０７へ進む。一方、訂正指示を受け付けていないと判定された場合（Ｓ１１０６；ＮＯ）、Ｓ１１０８へ進む。

Ｓ１１０７において、登録画像記録部１５００は、訂正された正しい属性に対応する辞書に画像を登録する。Ｓ１１０８において、登録画像記録部１５００は、外部出力部１６００により提示した属性判定について訂正指示を受け付けなかったので、属性判定結果を正しいものであるとみなす。そして、登録画像記録部１５００は、判定結果である正しい属性に対応する辞書に画像データ（第１の画像データ）を登録する。

Ｓ１１０９において、登録画像記録部１５００は、続いて、判定結果である正しくない属性に対応する辞書にも画像データ（第２の画像データ）を登録する。Ｓ１１１０において、登録画像記録部１５００は、そして、判定結果である正しくない属性に対応する辞書にＳ１１０９で登録した画像に、受け付けた訂正指示を記録する。

Ｓ１１１１において、顔検出部１８００は、受付けた画像の中にまだ処理していない顔があるか否かを判定する。処理していない顔があると判定された場合には（ステップＳ１１１１；ＹＥＳ）、ステップＳ１１０３に戻る。一方、処理していない顔がないと判定された場合には（ステップＳ１１１１；ＮＯ）、処理を終了する。なお、Ｓ１１０７、Ｓ１１０８、Ｓ１１０９、およびＳ１１１０の各処理については、後に詳述する。

＜属性判定処理＞
図２のＳ１１０４の属性判定処理について説明する。属性判定処理では、顔が男である確からしさと女である確からしさとを比較し、より確からしい属性を判定結果として出力する。属性判定処理についても顔検出と同様に、公知の技術を用いればよい。例えば、非特許文献１「において属性判定を実現するために用いられているＳｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ（ＳＶＭ）などの技術が利用できる。ＳＶＭについての詳しい説明は省略する。属性判定部１２００にＳＶＭを用いた場合、典型的には尤度と呼ばれる数値が出力される。本実施形態での属性判定は男女の２値分類であり、その場合［−１，＋１］の範囲で正規化された尤度が得られる。この値が正値であるかまたは負値であるかによって属性の判定をする。また、人種の判定などの多値分類の場合には、判定され得る属性のそれぞれに対応する尤度が出力される。この尤度が最も大きいもの、あるいは閾値以上の尤度を持つ複数の属性を取ることで属性を判定できる。本実施形態では男女の２値分類であるが、以降の第３実施形態で多値分類の場合について述べる。

＜画像登録処理＞
ここでは、図２のＳ１１０６からＳ１１１０の各処理について詳細に説明する。図３は、画像登録部１４００および登録画像記録部１５００の構成例を示すブロック図である。

画像登録部１４００は、辞書選択部１４１０と、男性用特徴量抽出部１４２０と、女性用特徴量抽出部１４３０と、登録処理訂正部１４４０とを備える。登録画像記録部１５００は、男性用特徴量保持部１５１０と、女性用特徴量保持部１５２０とを備える。ここで示す登録処理訂正部１４４０は、リンク情報を付与する付与手段として機能する。

辞書選択部１４１０は、登録画像を保存する辞書を、男性用特徴量保持部１５１０と女性用特徴量保持部１５２０とのいずれかから選択する。そして登録すべき画像を、選択した辞書に対応する特徴量抽出部に入力する。男性用特徴量抽出部１４２０は、画像入力部１１００により登録すべき画像が入力されると、画像を圧縮した特徴量に変換し、それを登録画像と名前・ＩＤと併せて男性用特徴量保持部１５１０に保存する。女性用特徴量抽出部１４３０は、同様に、画像入力部１１００により登録すべき画像が入力されると、画像を圧縮した特徴量に変換し、それを登録画像と名前・ＩＤと併せて女性用特徴量保持部１５２０に保存する。この処理で、登録画像だけでなく、画像を変換したものも保存する理由は以下である。一般的に顔画像には人物の違いから生じる見た目の変動と、照明・表情・顔の向きなどの変動から生じる同一人物内の見た目の変動が混在している。そのまま画像同士を識別しても、ノイズにあたる同一人物内の見た目の変動により十分な識別精度が得られない。従って、人物の違いから生じる見た目の変動、つまり個人差を表す特徴量のみを抽出して顔画像の識別に用いる。識別すべき画像が入力されるたびに各登録画像について特徴抽出処理を行う手間を省くために、登録画像を保存する際に特徴量も併せて保存しておく。

具体的な特徴量の抽出方法としては、公知のものを用いるとよい。特徴量抽出の前処理として、画像の全体的な明暗差を吸収するＳＱＩ（Ｓｅｌｆ Ｑｕｏｔｉｅｎｔ Ｉｍａｇｅ）変換（非特許文献２参照）や、顔の全体を用いず、個人の特徴が表れる部分領域のみを特徴量として用いる方法（非特許文献３参照）などがある。最終的に、典型的には画像そのものよりも小さい情報量に圧縮されたベクトルが特徴量として得られる。本実施形態では具体例として、以下の方法を用いて特徴量を抽出する。まず、顔画像から所定の数・形状・大きさの複数の部分領域を画像上に設定し、そこから画像を切り取る。切り取る部分領域は目・口・鼻など個人の特徴を表すと考えられる部位であり、前述の顔検出により定められた顔領域の中での相対的な位置から部分領域を切り取るとよい。そして切り取った部分領域それぞれについて、画像の輝度値を一列に並べたものを、それぞれ特徴ベクトルとして取得する。なお画像から切り出す部分領域の数や大きさは任意であるが、顔幅の半分程度の大きさになる領域を、顔の上に合計で数十から数百個、設定するとよい。ところで、特徴ベクトルとして輝度値（画素値）を直接取得した場合、わずかな照明の変化などで特徴量が大きく変化してしまうため、識別に有効でない特徴量である場合がある。そこで、輝度値を直接特徴ベクトルにするのではなく、ガボアフィルタ、ＳＱＩ変換、ＤｏＧ変換など、何らかのフィルタ演算を施した結果から特徴ベクトルを抽出してもよい。そして、さらに部分領域から得られた特徴ベクトルに所定の変換を施す。この特徴ベクトルの変換は、例えば、主成分分析（ＰＣＡ）による次元圧縮や、独立成分分析（ＩＣＡ）による次元圧縮などである。特徴ベクトルの変換方法としてＰＣＡを用いた場合、その基底数（特徴ベクトルの次元削減数）や、どの基底を用いるか、などのパラメータが存在する。基底数の代わりに、基底ベクトルに対応する固有値の和、すなわち累積寄与率をパラメータ指標としてもよい。これらのパラメータや変換方法は、部分領域ごとに異なったものにすることもできる。以上の処理により、登録画像１枚に対応する特徴量として、複数の部分領域から抽出した特徴ベクトルを得る。

部分領域の数・位置・大きさや基底などのパラメータを適切に定めることにより、男性用特徴量抽出部１４２０、女性用特徴量抽出部１４３０のそれぞれにおいて、より識別に適した特徴量を抽出できる。特徴抽出の最適化の典型的な例として、男性用特徴量抽出部１４２０では、男性同士において個人差を良く表す顔の一部分の上に多くの部分領域を設定し特徴ベクトルを抽出してもよい。パラメータの最適化は人手で行っても良いが、非特許文献４に示すような機械学習の方法で、予め用意した多数の男性の顔画像から個人差を良く表す顔の特徴を学習してもよい。男性同士の画像から得る特徴量を比較した際、同一人物同士であればより強く同一人物であることを示し、別人物同士であればより強く別人物であることを示す結果が得られる特徴量を抽出するようにすれば、識別精度が向上する。同様に、女性用特徴量抽出部１４３０についても、女性同士において良く識別できる特徴量を抽出するパラメータを求めておく。なお、図３では男性用特徴量抽出部１４２０と女性用特徴量抽出部１４３０とを別のブロックとして描写しているが、必ずしも属性判定結果毎に分ける必要はない。二つの処理間で異なる回路やプログラムコードを必要とせず、位置や数などのパラメータが異なるだけであれば特徴量抽出部を共通化してもよい。その際には別途、特徴量抽出に用いるパラメータを属性ごとに保持する記憶媒体などを用意すればよい。

登録処理訂正部１４４０は、属性判定部１２００から属性判定結果を、操作部１７００から訂正指示を取得し、辞書選択部１４１０がどの辞書を選択するかを制御する。また、登録処理訂正部１４４０が操作部１７００から訂正指示を得た場合には、正しくない属性に対応する辞書、つまり属性判定結果に対応する辞書にさきほど保存された特徴量に対して、リンク情報を付与する。リンク情報の内容は、「この登録画像に対応する人物○○の属性は正しくは××であり、属性××に対応する辞書に人物○○の登録画像が保存されている」というものである。さらに登録処理訂正部１４４０は、訂正された正しい属性に対応する辞書に登録画像を保存するよう、正しい属性に対応する特徴量抽出部を駆動する。

＜画像登録処理の具体例＞
この画像登録処理を、図２のフローチャートに沿って具体例で説明する。登録すべき画像として、男性か女性か判断が難しい中性的な顔立ちの女性Ａの画像が画像入力部１１００より入力され、属性判定部１２００で誤って男性と判定された場合の例を述べる。まず外部出力部１６００が、人物Ａの画像に対する属性判定結果を提示する（Ｓ１１０５）。そこで、操作部１７００経由で女性Ａの属性は男性ではなく女性であるという訂正指示を受ける（Ｓ１１０６；ＹＥＳ）。登録処理訂正部１４４０は、訂正された属性に対応する正しい辞書、つまり女性に対応する辞書を選択し、女性用特徴量抽出部１４３０が特徴量と登録画像とを女性用特徴量保持部１５２０に保存する（Ｓ１１０７）。さらに、判定された属性に対応する正しくない辞書、つまり男性に対応する辞書に、男性用特徴量抽出部１４２０が特徴量と登録画像とを保存する（Ｓ１１０９）。最後に、登録処理訂正部１４４０は、さきほど男性用特徴量保持部１５１０に保存された登録画像に対して、リンク情報を付加する（Ｓ１１１０）。その内容は「この登録画像に対応する人物Ａの属性は正しくは女性であり、女性に対応する辞書（女性用特徴量保持部１５２０）に人物Ａの登録画像が保存されている」というものである。この一連の処理によって最終的に登録画像記録部１５００の各辞書に保存されているものを図４に示す。図４において、男性用特徴量保持部１５１０は、人物Ａの特徴量、人物Ｂの特徴量、人物Ｃの特徴量、…、を記録している。一方、女性用特徴量保持部１５２０は、人物Ａの特徴量、人物Ｄの特徴量、人物Ｅの特徴量、…、を記録している。人物Ａの特徴量は、男性用特徴量保持部１５１０と、女性用特徴量保持部１５２０の両方に記録されている。ただし、男性用特徴量保持部１５１０に記録されている人物Ａの特徴量には、リンク情報が付与されている。

＜識別フロー＞
図５のフローチャートは、本実施形態におけるオブジェクト識別装置１０００が、顔画像を識別する処理の一例を示したものである。

Ｓ１２０１において、画像入力部１１００は、入力画像を取得する。Ｓ１２０２において、顔検出部１８００は、続いて、取得した画像データに対して、顔検出処理を行う。Ｓ１２０３において、顔検出部１８００は、顔検出処理の結果、画像中に顔が存在するか否かを判定する。画像中に顔が存在すると判定された場合（Ｓ１２０３；ＹＥＳ）、Ｓ１２０４へ進む。一方、画像中に顔が存在しないと判定された場合（Ｓ１２０３；ＮＯ）、処理を終了する。

Ｓ１２０４において、属性判定部１２００は、属性判定処理、即ち男女（性別）の判定処理を行う。顔検出処理および属性判定処理については、図２を参照して説明した顔検出処理（Ｓ１１０２）および属性判定処理（Ｓ１１０４）と同一の処理を用いてもよい。

Ｓ１２０５において、続いて画像識別部１３００は、属性判定処理（Ｓ１２０４）の結果に対応する辞書に含まれる登録画像と、入力画像とを比較して登録画像の中から入力画像に類似する画像を選び出す。詳しい説明は後で述べるが、識別処理では、登録画像のそれぞれについて、入力画像とどれほど同一人物らしいかを表す類似度を算出する。それらの類似度を比較して、最も類似度が高い登録画像を選び出す。

Ｓ１２０６において、画像識別部１３００は、登録画像の中で最も入力画像との類似度が高いものにリンク情報が付加されているか否かを判定する。リンク情報が付加されていると判定された場合（Ｓ１２０６；ＹＥＳ）、ステップ１２０７へ進む。一方、リンク情報が付加されていないと判定された場合（Ｓ１２０６；ＮＯ）、ステップ１２０８へ進む。

Ｓ１２０７において、画像識別部１３００は、リンク情報に記されている訂正後の属性に対応する辞書に含まれている、同じ人物の登録画像とのみ識別処理を行う。この識別処理のやり直しは、入力画像と登録画像の類似度がどれだけ高いかに関わらず行われ、識別処理をやり直すきっかけとなった最初の識別結果は破棄される。

Ｓ１２０８において、画像識別部１３００は、識別をやり直した結果得られた登録画像（識別をやり直していない場合、Ｓ１２０５で識別された登録画像）の類似度と、予め定められた閾値とを比較し、その類似度が閾値以上であるか否かを判定する（閾値判定処理）。類似度が閾値以上であると判定された場合（Ｓ１２０８；ＹＥＳ）、ステップＳ１２０９へ進む。一方、類似度が閾値よりも小さいと判定された場合（Ｓ１２０８；ＮＯ）、ステップＳ１２１０へ進む。

Ｓ１２０９において、外部出力部１６００は、カテゴリ判定結果として、登録画像に対応する人物の名前、あるいはＩＤを出力する。Ｓ１２１０において、外部出力部１６００は、カテゴリ判定結果として、該当人物無しを出力する。

Ｓ１２１１において、顔検出部１８００は、受け付けた画像の中にまだ処理していない顔があるか否かを判定する。処理していない顔があると判定された場合には（ステップＳ１２１１；ＹＥＳ）、ステップＳ２１０３に戻る。一方、処理していない顔がないと判定された場合には（ステップＳ１２１１；ＮＯ）、処理を終了する。

＜識別処理＞
ここでは、図５のＳ１２０５からＳ１２０７の各処理について、詳細に説明する。図６は、画像識別部１３００および登録画像記録部１５００の構成例を示すブロック図である。

画像識別部１３００は、辞書選択部１３１０と、男性用特徴量抽出部１３２０と、男性用相関算出部１３３０と、女性用特徴量抽出部１３４０と、女性用相関算出部１３５０と、識別処理訂正部１３６０と、識別結果出力部１３７０とを備える。登録画像記録部１５００は、男性用特徴量保持部１５１０と、女性用特徴量保持部１５２０とを備えており、図３に示した構成と同一である。

辞書選択部１３１０は、識別すべき入力画像を画像入力部１１００から得て、また、識別すべき入力画像の属性判定結果を属性判定部１２００から得て、識別対象とする登録画像が存在する辞書を、男性用特徴量保持部１５１０と女性用特徴量保持部１５２０とのいずれかから１つ選択する。また入力画像に対する特徴抽出と識別の方法を、男性用特徴量抽出部１３２０と女性用特徴量抽出部１３４０のいずれかから１つ選択する。

男性用特徴量抽出部１３２０または女性用特徴量抽出部１３４０は、入力画像を特徴量に変換する。ここで行う具体的な特徴量の抽出方法は、図３に示した男性用特徴量抽出部１４２０または女性用特徴量抽出部１４３０における抽出方法と同一である。これは登録画像と入力画像で同じ方法で特徴量を抽出しないと、画像同士を比較することができないからである。

続いて、男性用相関算出部１３３０または女性用相関算出部１３５０は、入力画像から得た特徴量と、選択された辞書から取り出された登録画像の特徴量とを比較する。この処理により登録画像のそれぞれについて、入力画像とどの程度同一人物らしいかを表す類似度を得ることができる。類似度を算出する方法として、典型的には特徴ベクトル同士の距離あるいは角度を類似度とする方法が考えられる。本実施形態では、１つの画像について、複数設定された部分領域から、対応する複数の特徴ベクトルが得られている。そこで、同じ部分領域から抽出された登録画像と入力画像とで対応する特徴ベクトル同士で部分領域の類似度を求め、それら複数の部分領域の類似度を平均したものを、登録画像１つと入力画像との類似度とする。この類似度と予め定められた閾値とを比較し、登録画像と入力画像の人物の同異を判定する。なお、男性用相関算出部１３３０および女性用相関算出部１３５０は、それぞれ識別に用いる特徴量が異なる。このため結果として、男性用相関算出部１３３０は男性同士、女性用相関算出部１３５０は女性同士の識別において、人物をより識別できるようになっている。なお図５では、男性用相関算出部１３３０および女性用相関算出部１３５０を別のブロックとして描写しているが、必ずしも属性判定結果毎に分ける必要はない。二つの処理間で異なる回路やプログラムコードを必要とせず、処理する特徴ベクトルの数やサイズなどが異なるだけであれば、特徴量抽出部と同様に相関算出部を共通化してもよい。その際には別途、類似度の算出に必要なパラメータを属性ごとに保持する記憶媒体などを用意すればよい。男性用相関算出部１３３０または女性用相関算出部１３５０は、全ての登録画像について類似度を求め、最終的に最も類似度が高い登録画像とその類似度を識別処理訂正部１３６０に入力する。

識別処理訂正部１３６０は、男性用相関算出部１３３０または女性用相関算出部１３５０で選択された登録画像に、登録時に付加されたリンク情報が付与されているか否かを判定する。リンク情報が付与されてないと判定された場合には、何の処理も行わず登録画像とその類似度とを識別結果出力部１３７０に入力する。一方、リンク情報が付与されていると判定された場合には、リンク情報に記された正しい辞書に保持されている登録画像（正しい登録画像）とのみ識別をやり直す。正しい辞書に対応する特徴量抽出部において入力画像の特徴量を改めて抽出し、正しい辞書に対応する相関算出部で、入力画像とリンク情報に記された正しい登録画像との類似度を算出する。そして正しい登録画像とその類似度を識別結果出力部１３７０に入力する。

識別結果出力部１３７０は、入力された登録画像の類似度と、予め定められている閾値とを比較する。類似度が閾値以上であれば、入力画像に対する該当人物を、その登録画像に対応する人物として出力する。一方、類似度が閾値を超えない場合には該当人物無しとして出力する。この閾値が低すぎると、登録されていない人物が入力された場合でも登録されている人物のいずれかとして判定してしまう。しかしながら、閾値が高すぎると登録されている人物が入力されても該当人物なしとして判定されてしまう。どちらの間違いを重視するか用途に基づいて、装置の運用前に事前に閾値を調整しておく必要がある。

画像登録処理の説明では、特徴量抽出、つまり識別の方法を属性に合わせて適したものにするとよいことを述べた。本実施形態において、典型的には、男性に対応する識別の方法で男性の同一人物を識別した際には、特に高い類似度が得られ、また別人物を識別した際には特に低い類似度が得られる。女性についても同様である。そこでより閾値を高く設定しておくことで、誤った該当人物を出力する可能性を低減することができる。なお、例えば男性に対応する識別の方法で女性の同一人物を識別した例外的な場合に、特に高い類似度が得られるかは定かではない。これは識別の方法を最適化する際に例外的な学習データを用いていないためである。

本発明の識別処理の効果は、属性判定結果に誤りがある際の識別処理の負荷が小さいことである。本発明ではなく典型的な方法では、登録時に属性判定結果が信頼できない画像については、複数の辞書に画像を登録しておく。また識別時に属性判定結果が信頼できない入力画像については属性判定されうる先の複数の辞書に含まれる全ての登録画像を対象に識別を行うため、識別すべき登録画像が増え、負荷が大きくなる。それに対して本発明では、たとえ識別時に属性判定結果が信頼できなくても、偶然にも属性判定結果が正しければ識別の負荷は通常通り辞書ひとつ分である。また、偶然にも属性判定結果が誤りだった場合でも、識別の負荷は辞書ひとつ分＋１人分で済む。

＜識別処理の具体例＞
ここまでの識別処理を、登録処理の説明において図４を用いて説明した具体例を挙げて、図５のフローチャートに沿って改めて説明する。図４の例では、正しくは女性である人物Ａが誤って男性と判定され、男性および女性両方の辞書に登録画像が保持されている。また、男性に対応する辞書に存在する人物Ａの登録画像には図４に示すようなリンク情報が付加されていることを述べた。

入力画像として人物Ａの画像が与えられた場合について説明する。まず、属性判定部１２００が入力画像について性別を判定する（Ｓ１２０４）。このときも登録時と同様、女性ではなく誤って男性と判定されることがあり得る。男性と誤判定された場合、男性用特徴量抽出部１３２０は入力画像から特徴量を抽出する。そして男性用相関算出部１３３０は、入力画像と、男性用特徴量保持部１５１０に保持されている登録画像とを識別し、最も類似度が高い登録画像ひとつを得る（Ｓ１２０５）。この登録画像が該当人物Ａのものでありリンク情報が付加されている場合（Ｓ１２０６；ＹＥＳ）、女性用特徴量保持部１５２０に保持されている人物Ａの登録画像のみと入力画像を識別する。具体的には、女性用特徴量抽出部１３４０で改めて入力画像について特徴量を抽出し、女性用相関算出部１３５０は、女性用特徴量保持部１５２０に保持されている人物Ａの登録画像と入力画像とを比較する。そして登録画像とその類似度を識別結果出力部１３７０に入力する（Ｓ１２０７）。最後に、識別結果出力部１３７０は登録画像の類似度を閾値と比較し、特に高い類似度が得られており閾値以上であれば（Ｓ１２０８；ＹＥＳ）、該当人物を人物Ａとして出力する（Ｓ１２０９）。

また別の例として、人物Ａによく似ているが人物Ａではない未登録の男性が入力画像として入ってきた場合について説明する。まず、属性判定部１２００が入力画像について性別を判定する（Ｓ１２０４）。入力画像について男性と判定された場合、男性用特徴量抽出部１３２０は入力画像から特徴量を抽出する。そして男性用相関算出部１３３０は、入力画像と、男性用特徴量保持部１５１０に保持されている登録画像とを比較し、最も類似度が高い登録画像ひとつを得る（Ｓ１２０５）。入力画像は人物Ａとよく似ているため、この選ばれた登録画像が該当人物Ａのものであることがあり得る。登録画像が該当人物Ａのものでありリンク情報が付加されている場合（Ｓ１２０６；ＹＥＳ）、女性用特徴量保持部１５２０に保持されている人物Ａの登録画像のみと入力画像とを比較する。具体的には、先ほどの例と同様に、女性用特徴量抽出部１３４０で改めて入力画像について特徴量を抽出し、女性用相関算出部１３５０は、女性用特徴量保持部１５２０に保持されている人物Ａの登録画像と入力画像とを比較する。そして、登録画像とその類似度とを識別結果出力部１３７０に入力する（Ｓ１２０７）。最後に、識別結果出力部１３７０は、登録画像の類似度と閾値とを比較する（Ｓ１２０８）。類似度が閾値以上であれば（Ｓ１２０８；ＹＥＳ）、該当人物を人物Ａとして出力するが、そうではなく該当人物無しとして出力する（Ｓ１２１０）ことが望ましい。女性用相関算出部１３５０で人物Ａと男性の人物Ａに似た人物を識別した場合には、特に高い類似度は得られず、閾値以下になる。

（第２実施形態）
第１実施形態では、画像を登録する際、登録すべき画像の属性判定結果の正解として外部から訂正指示を受け取り、それに基づいて辞書に登録した画像にリンク情報を付加した。それに対して本実施形態では、外部から属性判定結果の正解を受け取れない場合でも、属性判定結果の信頼度を評価して、自動的に登録画像にリンク情報を付加する。

＜全体の構成＞
図７は、本発明を適用可能な実施形態を示すオブジェクト識別装置２０００の構成を示すブロック図である。図７に示すように、
オブジェクト識別装置２０００は、画像入力部２１００と、属性判定部２２００と、画像識別部２３００と、画像登録部２４００と、登録画像記録部２５００と、接続バス２６００と、顔検出部２７００とを備える。

画像入力部２１００は、画像を入力する。属性判定部２２００は、オブジェクトの属性を判定する。画像識別部２３００は、画像を識別する。画像登録部２４００は、画像を登録する。登録画像記録部２５００は、登録画像を保持する。また、接続バス２６００は、各構成要素の制御・データ接続を行う。顔検出部２７００は、画像入力部２１００により入力された画像から顔を検出する。第１実施形態との違いは、オブジェクトの識別結果および属性判定結果を出力する外部出力部や、オブジェクト識別装置２０００への指示を入力する操作部を備えていない点である。

＜登録フロー＞
図８は、本実施形態におけるオブジェクト識別装置２０００が、顔画像を登録する処理の一例を示したものである。この図８を参照しながら、このオブジェクト識別装置２０００が、顔画像を登録する実際の処理について説明する。第１実施形態との違いは、属性判定処理（Ｓ２１０４）よりも後の処理である。

まず、ステップＳ２１０１において、画像入力部２１００は、登録すべき画像を取得する。ステップＳ２１０２において、顔検出部２７００は、Ｓ２１０１で取得した画像に対して、顔検出処理を行う。Ｓ２１０３において、顔検出部２７００は、Ｓ２１０２で顔を検出した後、画像中に顔が存在したか否かを判定する。画像中に顔が存在すると判定された場合（Ｓ２１０３；ＹＥＳ）、Ｓ２１０４へ進む。一方、画像中に顔が存在しないと判定された場合（Ｓ２１０３；ＮＯ）、処理を終了する。

Ｓ２１０４において、属性判定部２２００は、属性判定処理、即ち男女（性別）の判定処理を行う。Ｓ２１０５において、画像登録部２４００は、登録すべき画像について判定された属性判定結果が、信頼できるものであるか否かを評価し判定する。なお、ここでの評価方法の詳細は後述する。属性判定結果が信頼できると判定された場合（Ｓ２１０６；ＹＥＳ）、Ｓ２１０８へ進む。一方、属性判定結果が信頼できないと判定された場合（Ｓ２１０６；ＮＯ）、Ｓ２１０７へ進む。

Ｓ２１０７において、登録画像記録部２５００は、全ての辞書に画像を登録する。Ｓ２１０８において、登録画像記録部２５００は、判定された属性に対応する辞書に画像を登録する。Ｓ２１０９において、登録画像記録部２５００は、全ての辞書に対して登録される画像のそれぞれについて、訂正指示を付加する。ここでの訂正指示の付加処理について詳しくは後述する。

Ｓ２１１０において、顔検出部２７００は、受け付けた画像の中にまだ処理していない顔があるか否かを判定する。処理していない顔があると判定された場合には（ステップＳ２１１０；ＹＥＳ）、ステップＳ２１０４に戻る。一方、処理していない顔がないと判定された場合には（ステップＳ２１１０；ＮＯ）、処理を終了する。

＜画像登録処理＞
ここでは、図８のＳ２１０４からＳ２１０９までの各処理について詳細に説明する。図９は、画像登録部２４００の構成例を示すブロック図である。画像登録部２４００は、辞書選択部２４１０と、男性用特徴量抽出部２４２０と、女性用特徴量抽出部２４３０と、登録処理訂正部２４４０と、属性判定結果評価部２４５０とを備える。第１実施形態で示す図３との差異は、登録処理訂正部２４４０では、外部から得られた属性判定結果に対する訂正指示がない点と、属性判定結果評価部２４５０を新たに備える点である。

属性判定結果評価部２４５０は、属性判定部２２００で求めた登録すべき画像の属する属性が、信頼できるか否かの２通りに判定する。信頼できないということは、属性判定結果が誤りである可能性あるということである。属性判定結果を評価する方法として典型的には、属性判定結果として出力される数値を調べるとよい。第１実施形態での属性判定部１２００は画像の２値分類であり、その場合画素値に基づいて［−１，＋１］の範囲で正規化された尤度が出力される。この場合には、予め定められたゼロの近傍の範囲内に尤度がある場合に属性判定結果の信頼性が低く、両方の属性が判定され得る属性であると判断できる。また別の例として、属性判定部１２００が画像の多値分類である場合には、画素値に基づいて、判定され得る属性のそれぞれに対応する尤度が出力される。この場合には、尤度の最も大きいものが予め定められた閾値以下であり、さらにその尤度と同じ程度大きい尤度が他にも存在する場合に、属性判定結果の信頼性が低いと判断できる。さらに、最も大きい尤度と同じ程度に尤度が高い属性が、誤判定され得る属性であると判断できる。

登録処理訂正部２４４０は、属性判定結果評価部２４５０から得た評価結果に基づいて、登録の方法を制御する。属性判定結果評価部２４５０が、登録すべき画像についての属性判定結果が信頼できないと判定した場合、登録処理訂正部２４４０は、全ての辞書に画像を登録する。また、それぞれの辞書に登録された画像に、他の全ての辞書に登録された画像を示すリンク情報を付加し、それぞれの辞書に登録された画像が互いに互いを示し合うようにする。正しくない属性に対応する辞書、つまり属性判定結果に対応する辞書にさきほど保存された特徴量に対して、リンク情報を付加する。リンク情報の内容は、「この登録画像に対応する人物○○の属性は××あるいは△△である可能性もあり、属性××と△△に対応する辞書に人物○○の登録画像が保存されている」というものである。

＜画像登録処理の具体例＞
この画像登録処理を、図８のフローチャートに沿って具体例で説明する。登録すべき画像として、男性か女性か判断が難しい中性的な顔立ちの人物Ａの画像が画像入力部２１００により入力され、属性判定部２２００で判定された結果である信頼度が低い場合の例を述べる。まず、属性判定結果評価部２４５０は、人物Ａの画像に対する属性判定結果が信頼できないという評価を行う（Ｓ２１０６；ＮＯ）。登録処理訂正部２４４０は、男性用および女性用の全ての属性について、対応する特徴量抽出部を駆動し、特徴量と登録画像とを特徴量保持部に保存する（Ｓ２１０７）。さらに、男性に対応する辞書に登録された人物Ａの登録画像に、以下のようなリンク情報が付加される。リンク情報の内容は、「この登録画像に対応する人物Ａの属性は女性である可能性もあり、女性に対応する辞書（女性用特徴量保持部２５２０）に人物Ａの登録画像が保存されている」というものである（Ｓ２１０９）。また同時に女性に対応する辞書に登録された人物Ａの登録画像に、以下のようなリンク情報を付加する。リンク情報の内容は、「この登録画像に対応する人物Ａの属性は男性である可能性もあり、男性に対応する辞書（男性用特徴量保持部２５１０）に人物Ａの登録画像が保存されている」というものである（Ｓ２１０９）。

＜識別フロー＞
図１０は、本実施形態におけるオブジェクト識別装置２０００が、顔画像を識別する処理の一例を示したものである。第１実施形態における図５との差異は、Ｓ２２０８の処理である。第１実施形態では、リンク情報による識別のやり直しがあった場合には最初の識別結果は破棄されて、最後に行った識別結果に基づいて該当人物の有無を判定しオブジェクト識別装置２０００の最終的な出力としていた。本実施形態では、リンク情報による識別のやり直しがあった場合には、最初の識別結果とやり直した識別結果とのうち、少なくとも１つ以上の識別結果において登録画像の類似度が閾値以上となった場合に、該当人物ありとして出力する。これは、登録画像についての正しい属性が与えられていないため、識別のやり直し前と後の識別結果どちらを優先すべきかを決定する情報がないためである。

Ｓ２２０１において、画像入力部１１００は、入力画像を取得する。Ｓ２２０２において、顔検出部２７００は、続いて、取得した画像データに対して、顔検出処理を行う。

Ｓ２２０３において、顔検出部２７００は、顔検出処理の結果、画像中に顔が存在するか否かを判定する。画像中に顔が存在すると判定された場合（Ｓ２２０３；ＹＥＳ）、Ｓ２２０４へ進む。一方、画像中に顔が存在しないと判定された場合（Ｓ２２０３；ＮＯ）、処理を終了する。Ｓ２２０４において、属性判定部２２００は、属性判定処理、即ち男女（性別）の判定処理を行う。

Ｓ２２０５において、続いて画像識別部２３００は、属性判定処理（Ｓ２２０４）の結果に対応する辞書に含まれる登録画像と、入力画像とを比較して登録画像データの中から入力画像に類似する画像を選び出す。具体的には類似度算出処理を行う。

Ｓ２２０６において、画像識別部２３００は、登録画像データの中で最も入力画像との類似度が高いものにリンク情報が付与されているか否かを判定する。リンク情報が付与されていると判定された場合（Ｓ２２０６；ＹＥＳ）、ステップ２２０７へ進む。一方、リンク情報が付加されていないと判定された場合（Ｓ２２０６；ＮＯ）、ステップ２２０８へ進む。

Ｓ２２０７において、画像識別部２３００は、リンク情報に記されている訂正後の属性に対応する辞書に含まれている、リンク先の同じ人物の登録画像とのみ識別処理を行う。この識別処理のやり直しは、入力画像と登録画像の類似度がどれだけ高いかに関わらず行われる。

Ｓ２２０８において、画像識別部１３００は、リンク情報による識別のやり直しがあった場合には、最初の識別結果とやり直した識別結果とのうち、少なくとも１つ以上の識別結果において登録画像の類似度が閾値以上であるか否かを判定する（閾値判定処理）。一方、リンク情報がなく、識別のやり直しがない場合には、最初の識別結果に対してのみ登録画像の類似度が閾値以上であるか否かを判定する。

登録画像の類似度が閾値以上である識別結果が１つ以上存在すると判定された場合（Ｓ２２０８；ＹＥＳ）、ステップＳ２２０９へ進む。一方、登録画像の類似度が閾値以上である識別結果が１つもないと判定された場合（Ｓ２２０８；ＮＯ）、ステップＳ２２１０へ進む。

Ｓ２２０９において、外部出力部１６００は、カテゴリ判定結果として、登録画像に対応する人物の名前、あるいはＩＤを出力する。Ｓ２２１０において、外部出力部１６００は、カテゴリ判定結果として、該当人物無しを出力する。

Ｓ２２１１において、顔検出部２７００は、受け付けた画像の中にまだ処理していない顔があるか否かを判定する。処理していない顔があると判定された場合には（ステップＳ２２１１；ＹＥＳ）、ステップＳ２２０３に戻る。一方、処理していない顔がないと判定された場合には（ステップＳ２２１１；ＮＯ）、処理を終了する。 本実施形態の効果は、属性判定結果に対する正解が得られない場合についてのものである。登録すべき画像の属性判定結果の信頼度が低い場合に、全ての辞書に画像を登録しておくことで、識別時の属性判定結果がどのようなものであっても、辞書が異なるため識別できないという問題を避けることができる。また、リンク情報に基づいて少数の登録画像と再度識別を行うのみであるため、全ての辞書に登録されている全ての登録画像と再度識別する負荷を回避できるという効果がある。

（第３実施形態）第１実施形態では画像を登録・識別する際、画像を男性あるいは女性の２通りに分類する属性判別処理を１つ行っていた。それに対して本実施形態では、複数種類の属性判別処理を組み合わせて画像を複数通りに分類する点が第１実施形態とは異なる。本実施形態では、属性として男女に加えてさらに年齢層（大人/子供）を判定し、カテゴリとして人物の違いを識別する顔認証を例に具体的に説明する。

＜属性判定処理＞
第１実施形態における図１を参照して、オブジェクト識別装置１０００が備える属性判定部１２００について、第１実施形態との差異を説明する。本実施形態における属性判定部１２００の構成を図１１に示す。属性判定部１２００は、性別判定部１２１０と、年齢層判定部１２２０とを備える。第１実施形態では、属性判定部１２００は性別判定部１２１０のみから構成されていた。性別判定部１２１０は、属性判定部１２００に入力された画像が男性であるか女性であるかを判定する。年齢層判定部１２２０は、同様に、属性判定部１２００に入力された画像が大人であるか子供であるかを判定する。本実施形態において属性判定部１２００が出力する属性は、二つの属性判定結果の組み合わせとなる。つまり、「男性の大人」、「男性の子供」、「女性の大人」、および「女性の子供」の４通りとなる。

性別判定部１２１０も年齢層判定部１２２０も、第１実施形態で引用した非特許文献１に記載されているような機械学習の方法を使用できる。性別判定部１２１０を学習する際には予め男女のラベルが付けられた顔画像を、年齢層判定部１２２０を学習する際には予め大人/子供のラベルが付けられた顔画像を、それぞれ多数入力することで男女の境界と大人/子供の境界を定めることができる。

＜登録・識別処理＞
本実施形態における登録フローおよび識別フローは、第１実施形態で説明した登録フローおよび識別フローと同様である。ただし、登録画像記録部１５００には、属性判定部１２００で判定され得る属性のそれぞれに対応した数の特徴量保持部が必要である。それに従って画像登録部１４００では属性判定部１２００で判定され得る属性のそれぞれに対応した特徴量抽出部が、同様に画像識別部１３００では特徴量抽出部と相関算出部とが必要である。

本実施形態では、判定できる属性が性別と年齢の２つになった場合の構成例を示した。これに加えてさらに判定できる属性が３つ以上になった場合も、人種のように２つ以上の判定候補がある属性判定を用いる場合も、本実施形態で述べた方法で対応できる。第３実施形態は以上である。

（第４実施形態）
第１実施形態では画像を登録する際に、登録すべき画像の属性判定結果をユーザに提示し、そしてそれが誤りである場合にはユーザから訂正指示を受け付けて、登録画像と併せて記録することを述べた。第２実施形態では画像を登録する際、登録すべき画像の正しい属性が外部から得られない場合に、属性判定結果の信頼度を利用して自動的にリンク情報を記録することを述べた。それに対して、本実施形態では、外部から訂正指示を受け付ける方法と属性判定結果の信頼度を評価する方法の両方を備え、明示的な訂正指示がなくても、場合に応じて自動的にリンク情報を登録画像に設定する。

属性判定処理が属性判定を誤る顔画像には、常に安定して判定結果が誤りとなる人物がいることも考えられる。しかしながら、多くの場合は同じ人物であっても撮影条件によって判定結果が正しかったり誤りであったり、不安定な人物の画像となることが考えられる。顔画像は同一人物であっても、顔の向き・表情・照明など撮影条件の変化によって大きな変動にさらされる。そのため属性判定の境界線上にいるような人物、つまり第１実施形態の具体例で示した中性的な顔立ちの人物Ａのような場合、顔画像の変動によって属性判定結果がぶれてしまう可能性がある。そのような属性判定結果が不安定な人物の顔画像を登録する際、属性判定を誤れば、訂正指示によって登録画像にリンク情報を付加できる。しかしながら、偶然にも属性判定に成功した場合、訂正指示はなく登録画像にリンク情報は付加されない。リンク情報が付加されていない状態でその人物の顔画像を識別した場合、属性判定を誤った際にその人物の登録画像と入力画像とを識別できないという問題が生じる。

そこで、本実施形態では、登録時において、属性判定結果に対する訂正指示の有無にかかわらず、属性判定結果の信頼性が低い顔画像に対して自動的にリンク情報を登録画像に設定する。

＜登録フロー＞
図１２は、本実施形態における画像登録部４４００のブロック図である。画像登録部４４００は、辞書選択部４４１０と、男性用特徴量抽出部４４２０と、女性用特徴量抽出部４４３０と、登録処理訂正部４４４０と、属性判定結果評価部４４５０とを備える。

辞書選択部４４１０は、辞書選択部１４１０または辞書選択部２４１０と同様の機能を有する。男性用特徴量抽出部４４２０は、男性用特徴量抽出部１４２０または男性用特徴量抽出部２４２０と同様の機能を有する。女性用特徴量抽出部４４３０は、女性用特徴量抽出部１４３０または女性用特徴量抽出部２４３０と同様の機能を有する。登録処理訂正部４４４０は、登録処理訂正部１４４０または登録処理訂正部２４４０と同様の機能を有する。属性判定結果評価部４４５０は、属性判定結果評価部２４５０と同様の機能を有する。第１実施形態および第２実施形態との差異は、操作部１７００から属性判定結果の訂正指示を受け付けることができ、かつ属性判定結果評価部４４５０を備え、属性判定結果が信頼できるか否か評価もできる点である。

図１３のフローチャートは、本実施形態における登録処理の手順を示す。Ｓ４１０１乃至Ｓ４１１０の各処理は、第１実施形態における登録処理の手順を示す図２のＳ１１０１乃至Ｓ１１１０の各処理と同様である。また、Ｓ４１１４の処理は、Ｓ１１１１の処理と同様である。一方、図２との差異は、Ｓ４１１１、Ｓ４１１２、およびＳ４１１３の各処理が追加されている点である。

Ｓ４１１１において、画像登録部４４００は、属性判定結果から、結果の信頼性が低いため誤判定され得る属性が１つ以上存在するか否かを判定する。ここでの属性判定結果評価の方法は第２実施形態と同じであるため説明を省略する。誤判定され得る属性が存在すると判定された場合（Ｓ４１１１；ＹＥＳ）ステップＳ４１１２へ進む。一方、誤判定され得る属性が存在しないと判定された場合（Ｓ４１１１；ＮＯ）、Ｓ４１１４へ進む。

Ｓ４１１２において、登録画像記録部１５００は、その誤判定され得る属性に対応する辞書に画像を登録する。

Ｓ４１１３において、登録画像記録部１５００は、誤判定され得る属性に対応する辞書に登録された画像について、以下のようなリンク情報を付加する。リンク情報の内容は、「この登録画像に対応する人物○○の属性は正しくは××であり、正しくは属性××に対応する辞書に人物○○の登録画像が保存されている」というものである。

＜画像登録処理の具体例＞
本実施形態の画像登録処理を、図１３のフローチャートを参照して具体例で説明する。登録すべき画像として第１実施形態で述べた女性Ａの画像が画像入力部１１００より入力され、属性判定部１２００で正しく女性と判定された場合の例を述べる。訂正指示が得られなかった場合（Ｓ４１０６；ＮＯ）、まず女性用特徴量抽出部４４３０は、登録すべき画像から特徴量を抽出し、女性用特徴量保持部１５２０に保存する（Ｓ４１０７）。続いて属性判定結果の信頼性が低く、男性に誤判定され得るかどうかチェックする。男性に誤判定され得る場合（Ｓ４１１１；ＹＥＳ）、男性用特徴量抽出部４４２０は登録すべき画像から特徴量を抽出し、男性用特徴量保持部１５１０に保存する（Ｓ４１１２）。そして男性用特徴量保持部１５１０に保存した登録画像に、以下のようなリンク情報を付加する。リンク情報の内容は、「この登録画像に対応する人物Ａの属性は正しくは女性であり、女性に対応する辞書に人物Ａの登録画像が保存されている」という内容である（Ｓ４１１３）。

本実施形態の効果は、属性判定の信頼度が低くなってしまう画像に対して、画像の登録時に偶然にも属性判定処理が成功したか否かにかかわらず、識別時において属性判定結果の誤りを訂正して識別精度の低下を防止できることである。

（第５実施形態）
第４実施形態では画像を登録する際に、登録すべき画像についての属性判定結果の信頼度が低い場合に、自動的にリンク情報を付加することを述べた。それに対して本実施形態では、属性判定結果が誤りで訂正指示を受け付けた場合でも、属性判定結果の信頼度が十分高い場合には、属性判定結果を正解の属性として登録を行うというものである。なお重複を避けるため、以下の説明においては、前述した実施形態と同じ部分は省略する。本実施形態に記されていない各処理部の機能は前述した実施形態で説明した各処理部の機能と同一である。

属性判定処理が属性判定を誤る顔画像には、同じ人物であっても撮影条件によって判定結果が正しかったり誤りであったり、不安定な人物の顔画像があることを第４実施形態で述べた。その一方、常に安定して判定結果が誤りである人物の顔画像があることも考えられる。それは本実施形態における性別判定を行う顔認証では、男性的な顔つきの女性であり、あるいはその反対が挙げられる。そのような正しい属性と顔画像からわかる外見が一致しない人物を、正しい属性に対応する方法で登録する場合、識別精度が低下する可能性がある。なぜなら、第１実施形態で述べた男性用特徴量抽出部１４２０または女性用特徴量抽出部１４３０は、「男性同士を識別する場合に適した特徴量」あるいは「女性同士を識別する場合に適した特徴量」を抽出しないからである。すなわち、より正確には「男性らしい外見の顔同士を識別する場合に適した特徴量」あるいは「女性らしい外見の顔同士を識別する場合に適した特徴量」を抽出するからである。従って、正しい属性に反していても、顔画像からわかる外見に則した方法で登録するほうが有効な場合があるといえる。そこで本実施形態では、登録時において属性判定結果が正しい属性とは異なっていても、属性判定結果の信頼度が十分に高ければ、判定結果の属性を正しい属性とみなす。また、逆に正しい属性を、誤判定される可能性がある属性とみなす。そして、その上で登録処理を行う。以下、詳しく説明する。

＜登録フロー＞
図１４のフローチャートは、本実施形態における登録処理の手順を示す。Ｓ５１０１乃至Ｓ５１０６の各処理は、Ｓ１１０１乃至Ｓ１１０６の各処理と同様である。第１実施形態における図２との差異は、登録すべき画像についての属性判定結果について訂正指示を得た（Ｓ５１０６；ＹＥＳ）後に、Ｓ５１０７からＳ５１１３までの各処理が追加されている点である。なお、Ｓ５１１０の処理は、Ｓ１１０８の処理と同様であり、Ｓ５１１４の処理はＳ１１１１の処理と同様である。

以下、差異のある処理について説明する。第１実施形態に示したように、操作部１７００が、登録すべき画像についての属性判定結果について訂正指示を得たと判定した場合（Ｓ５１０６；ＹＥＳ）、Ｓ５１０７へ進む。一方、訂正指示を得ていないと判定した場合（Ｓ５１０６；ＮＯ）、Ｓ５１１０へ進む。

Ｓ５１０７において、属性判定結果評価部２４５０は、属性判定結果の信頼度が十分に高いかどうかを評価して判定する。その方法としては第２実施形態に示した方法と同じように、属性判定結果として出力される数値を調べるとよい。信頼度が十分に高いと判定された場合（Ｓ５１０７；ＹＥＳ）、Ｓ５１０８へ進む。一方、信頼度が低いと判定された場合（Ｓ５１０７；ＮＯ）、Ｓ５１０９へ進む。

信頼度が十分に高いと判定された場合（Ｓ５１０７；ＹＥＳ）には、顔画像からわかる外見が正しい属性と一致しないと判断し、判定された属性を正しい属性とみなす。さらに、リンク情報から得た正しい属性を、誤判定される可能性がある正しくない属性とみなす。このように属性の正誤のすり替えを行う。その後、Ｓ５１０８において、正しい属性（判定された属性）に対応する辞書に画像を登録する。さらに、Ｓ５１０９において、正しくない属性（リンク情報から得た属性）に対応する辞書にも画像を登録する。

一方、信頼度が低いと判定された場合（Ｓ５１０７；ＮＯ）、第１実施形態で示した登録処理と同様の処理を行う。Ｓ５１１１において、訂正された属性に対応する正しい辞書に画像を登録する。Ｓ５１１２において、判定された属性に対応する正しくない辞書にも画像を登録する。

Ｓ５１１３において、正しくない属性（リンク情報から得た属性）に対応する辞書に登録された画像について、以下のようなリンク情報を付加する。リンク情報の内容は、「この登録画像に対応する人物○○の属性は正しくは××であり、正しくは属性××に対応する辞書に人物○○の登録画像が保存されている」というものである。

＜画像登録処理の具体例＞
本実施形態の画像登録処理を、第４実施形態で説明した図１２を参照しつつ、図１４のフローチャートに沿って具体例で説明する。登録すべき画像として、外見が男性に近い女性Ｂが、誤って男性と判定される場合を例に述べる。女性Ｂの画像が画像入力部１１００により入力され、属性判定部１２００により誤って男性と判定される。正しくは女性である旨の訂正指示が得られた場合（Ｓ５１０６；ＹＥＳ）、属性判定結果の信頼度が十分に高いか否かを評価して判定する（Ｓ５１０７）。その信頼度が十分に高いと判定された場合（Ｓ５１０７；ＹＥＳ）、女性Ｂの正しい属性を男性とみなす。まず、男性用特徴量抽出部４４２０は、登録すべき画像から特徴量を抽出し、男性用特徴量保持部１５１０に保存する（Ｓ５１０８）。また、女性用特徴量抽出部４４３０は、登録すべき画像から特徴量を抽出し、女性用特徴量保持部１５２０に保存する（Ｓ５１０９）。そして女性用特徴量保持部１５２０に保存した登録画像に、以下のようなリンク情報を付加する。「この登録画像に対応する人物Ｂの属性は正しくは男性であり、男性に対応する辞書に人物Ｂの登録画像が保存されている」という内容である（Ｓ５１１３）。

本実施形態の効果は、正しい属性と顔画像からわかる外見が一致しない画像に対してのものである。そのような画像を正しい属性に則した方法で無理に登録すると識別精度の低下が考えられるため、属性判定結果の信頼度が十分に高い場合に限り顔画像からわかる外見に則した方法で登録することで、識別精度の低下を防止できる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (12)

1. 画像データを取得する取得手段と、
   前記画像データからオブジェクトを検出する検出手段と、
   前記検出手段により検出された前記オブジェクトの性質を示す属性を判定する属性判定手段と、
   前記画像データを登録可能である複数の登録手段と、
   前記属性判定手段により判定された属性に基づいて、前記複数の登録手段のそれぞれに前記画像データが登録される場合、１つの登録手段に登録される１つの画像データに対して、他の登録手段に登録される画像データに対するリンク情報を付与する付与手段と、
   を備えることを特徴とする情報処理装置。
2. 前記属性判定手段により判定された属性が前記オブジェクトの性質を正しく示す正属性であるか否かを評価する評価手段をさらに備え、
   前記評価手段により前記属性が前記オブジェクトの性質を正しく示していない誤属性であると評価された場合、前記正属性に対応する登録手段は、前記画像データを第１の画像データとして登録し、前記誤属性に対応する登録手段は、前記画像データを第２の画像データとして登録し、
   前記付与手段は、前記第１の画像データに対するリンク情報を前記第２の画像データに対して付与することを特徴とする請求項１に記載の情報処理装置。
3. ユーザからの訂正指示を受け付ける受付手段をさらに備え、
   前記評価手段は、前記属性判定手段により判定された属性に対して前記受付手段による前記訂正指示の受け付けの有無に従って、前記判定された属性が前記オブジェクトの性質を正しく示す正属性であるか否かを評価することを特徴とする請求項２に記載の情報処理装置。
4. 前記判定された属性が前記オブジェクトの性質を正しく示す前記正属性であるか否かを評価する信頼度を、前記オブジェクトの画素値に基づいて算出する算出手段をさらに備え、
   前記評価手段は、前記判定された属性の信頼度が閾値よりも小さい場合に、前記判定された属性を前記オブジェクトの性質を正しく示していない前記誤属性であると評価し、前記判定された属性の信頼度が閾値以上である場合に、前記判定された属性を前記オブジェクトの性質を正しく示す前記正属性であると評価することを特徴とする請求項２に記載の情報処理装置。
5. ユーザからの訂正指示を受け付ける受付手段と、
   前記判定された属性が前記オブジェクトの性質を正しく示す正属性であるか否かを評価する信頼度を、前記オブジェクトの画素値に基づいて算出する算出手段と、をさらに備え、
   前記評価手段は、
   前記属性判定手段により判定された属性に対して前記受付手段による前記訂正指示の受け付けがあり、且つ、前記判定された属性の信頼度が閾値よりも小さい場合に、
   前記判定された属性を前記オブジェクトの性質を正しく示していない前記誤属性であると評価し、前記訂正指示により訂正された属性を前記オブジェクトの性質を正しく示す前記正属性であると評価することを特徴とする請求項２に記載の情報処理装置。
6. 前記評価手段は、
   前記属性判定手段により判定された属性に対して前記受付手段による前記訂正指示の受け付けがあり、且つ、前記判定された属性の信頼度が閾値以上である場合に、
   前記判定された属性を前記オブジェクトの性質を正しく示す前記正属性であると評価し、前記訂正指示により訂正された属性を前記オブジェクトの性質を正しく示していない前記誤属性であると評価することを特徴とする請求項５に記載の情報処理装置。
7. 前記取得手段により新たに取得された画像データから前記検出手段により検出されたオブジェクトの判定された属性に対応する登録手段に含まれる登録画像データと、前記取得手段により新たに取得された画像データとを比較して、前記登録画像データのそれぞれについて、前記画像データとの類似度を算出する類似度算出手段と、
   前記類似度が最も高い登録画像データを選択する選択手段と、
   前記選択手段により選択された登録画像データに前記リンク情報が付与されているか否かを判定する判定手段と、をさらに備え、
   前記判定手段により前記リンク情報が付与されていると判定された場合、リンク先の登録画像データに対して、前記類似度算出手段は、前記リンク先の登録画像データと前記取得手段により新たに取得された画像データとの類似度をさらに算出することを特徴とする請求項１に記載の情報処理装置。
8. 前記判定手段により前記リンク情報が付与されていると判定された場合、前記類似度算出手段により算出された前記リンク先の登録画像データと、前記取得手段により新たに取得された画像データとの類似度が閾値以上であるか否か判定し、
   前記判定手段により前記リンク情報が付与されていないと判定された場合、前記選択手段により選択された登録画像データと、前記取得手段により新たに取得された画像データとの類似度が閾値以上であるか否か判定する閾値判定手段をさらに備えることを特徴とする請求項７に記載の情報処理装置。
9. 前記類似度算出手段により算出された前記リンク先の登録画像データと、前記取得手段により新たに取得された画像データとの類似度と、
   前記選択手段により選択された登録画像データと、前記取得手段により新たに取得された画像データとの類似度と、
   のうち少なくとも１つが閾値以上であるか否か判定する閾値判定手段をさらに備えることを特徴とする請求項７に記載の情報処理装置。
10. 前記閾値判定手段により前記類似度が閾値以上であると判定された登録画像データを出力する出力手段をさらに備えることを特徴とする請求項８または９に記載の情報処理装置。
11. 取得手段と、検出手段と、属性判定手段と、複数の登録手段と、付与手段とを備える情報処理装置の制御方法であって、
    前記取得手段が、画像データを取得する取得工程と、
    前記検出手段が、前記画像データからオブジェクトを検出する検出工程と、
    前記属性判定手段が、前記検出工程により検出された前記オブジェクトの性質を示す属性を判定する属性判定工程と、
    前記複数の登録手段のそれぞれが、前記画像データを登録する複数の登録工程と、
    前記付与手段が、前記属性判定工程により判定された属性に基づいて、前記複数の登録手段のそれぞれに前記画像データが登録される場合、１つの登録手段に登録される１つの画像データに対して、他の登録手段に登録される画像データに対するリンク情報を付与する付与工程と、
    を備えることを特徴とする情報処理装置の制御方法。
12. コンピュータに請求項１１に記載の情報処理装置の制御方法の各工程を実行させるためのプログラム。

Images