JP2016031679A - オブジェクト識別装置、オブジェクト識別方法及びプログラム - Google Patents

Abstract

【課題】 与えられた画像データ群を照合して人物ごとのまとまりに分割・分類する上で、画像データ数に伴って増加する照合すべきペアの数を、識別精度を落とさずに削減する。
【解決手段】 複数の画像を保持する保持手段と、画像の撮影条件を判定する条件判定手段と、それぞれの撮影条件の差に基づいて、画像同士を照合するか否か判定する照合判定手段と、前記照合判定手段によって照合すると判定された画像同士を照合してオブジェクトの同異を判定するための類似度を求める照合手段と、第一の画像と第二の画像とを照合して得た類似度が所定の閾値以上のとき、第一の画像と第二の画像とを同じカテゴリに併合する併合手段とを備え、前記保持手段に保持されている画像同士について、照合するか否かの判定と照合と併合とを繰り返すオブジェクト識別装置。
【選択図】 図１

Description

本発明は、撮影された画像データが属するカテゴリを識別するオブジェクト識別装置において、画像データの数が多い場合でも識別精度を維持しながら処理負荷の増加を抑えるものである。

ふたつの画像データを照合することにより、画像データに表現されるオブジェクトが同じカテゴリか否かを識別する技術が多く提案されている。そのオブジェクト識別技術の具体例として人物認証がある。人物認証におけるカテゴリとは、個人のことを示す。人物認証の代表的な技術は、人物の顔や指紋など個人に固有の特徴を画像データ化して用いるものであり、それぞれ顔認証、指紋認証などと呼ばれる。人物認証のひとつの運用例は、入力された画像データひとつを、予め登録済みの画像データそれぞれと識別することにより、入力された画像データの人物が、予め登録済みのどの人物であるか判定するものである。ここでの登録済みとは、個人を特定できる名前やＩＤと併せて画像データが保管されていることを意味する。

この運用例の具体例には特許文献１に示すような、特定人物の認証用途が挙げられる。人物認証の二つ目の運用例としては、与えられた画像データ群の中で相互に照合・識別することにより、画像データ群を人物ごとのカテゴリに分割・分類するものがある。具体的には特許文献２に示す時間的・場所的に閉じた写真の整理用途や、不特定多数の人物が写る公衆監視画像を対象にしたＲｅ−Ｉｄｅｎｔｉｆｉｃａｔｉｏｎと呼ばれるタスク（非特許文献１）が挙げられる。また、不正行為を行ったなどの特定人物をいったん仮登録して、他の全カメラの映像からその特定人物が正面で写っている顔画像を顔照合で検索する特許文献３などが挙げられる。

上に挙げた運用例では、登録済みの人物や、与えられる画像データ群の増加に伴って、照合しなければいけない画像データのペアの数が加速度的に増加する。この問題に対応するため、照合するペアを絞り込む技術がいくつか提案されている。人物の画像データから属性を求め、その属性が近い人物同士だけを照合する特許文献１や、撮影された条件が近い画像データのペアだけを照合する特許文献４が挙げられる。また、すべての登録データと特徴の組について計算された特徴量からなる特徴量テーブルを生成しておき、照合データの特徴量を計算し、当該特徴量と特徴量テーブルから次に照合すべき登録データの順序を制御する特許文献５などが挙げられる。

特開平１１−３５３４８５号公報 米国特許第８２１３６８９号明細書 特開２０１３−１９６０４３号公報 特許第４９１０８２７号公報 特開２０１０−２４４５１１号公報

Ｃｕｓｔｏｍ Ｐｉｃｔｏｒｉａｌ Ｓｔｒｕｃｔｕｒｅｓ ｆｏｒ Ｒｅ−ｉｄｅｎｔｉｆｉｃａｔｉｏｎ： Ｄ． Ｓ． Ｃｈｅｎｇ， Ｍ． Ｃｒｉｓｔａｎｉ， Ｍ． Ｓｔｏｐｐａ， Ｌ． Ｂａｚｚａｎｉ ａｎｄ Ｖ． Ｍｕｒｉｎｏ： ２０１１ Ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ ｂａｓｅｄ ｍｕｌｔｉ−ｖｉｅｗ ｆａｃｅ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒｅｃｏｇｎｉｔｉｏｎ： Ｙ． Ｌｉ， Ｓ． Ｇｏｎｇ， Ｊ． Ｓｈｅｒｒａｈ， ａｎｄ Ｈ． Ｌｉｄｄｅｌｌ： ２００４ Ｔｏｗａｒｄｓ Ｐｏｓｅ Ｒｏｂｕｓｔ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ： Ｄ． Ｌｉ， Ｚ． Ｌｅｉ， ａｎｄ Ｓ． Ｌｉ： ２０１２ Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌｓ − Ｔｈｅｉｒ Ｔｒａｉｎｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎ： Ｔ．Ｆ． Ｃｏｏｔｅｓ， Ｃ．Ｊ． Ｔａｙｌｏｒ， Ｄ． Ｃｏｏｐｅｒ， ａｎｄ Ｊ． Ｇｒａｈａｍ： １９９８ Ｍｕｌｔｉ−Ｓｕｂｒｅｇｉｏｎ Ｂａｓｅｄ Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ａｐｐｒｏａｃｈ Ｔｏｗａｒｄ Ｐｏｓｅ Ｉｎｖａｒｉａｎｔ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ： Ｔ． Ｋａｎａｄｅ ａｎｄ Ａ． Ｙａｍａｄａ： ２００３

本発明が解決しようとする課題は、与えられた画像データ群を照合して人物ごとのまとまりに分割・分類する上で、画像データ数に伴って増加する照合すべきペアの数を、識別精度を落とさずに削減することである。
人物認証では、ふたつの画像データに写るオブジェクトの撮影条件が異なる際に、識別の精度が著しく低下してしまう。顔認証の例を挙げると、同じ人物でも顔の向きや照明条件が変わることで画像データの上での見た目が大きく変わってしまい、誤って同一人物の顔画像を異なる人物として判定してしまう場合がある。

特許文献４に開示されている方法は、識別精度が低いと思われる照合を初めから行わないことで高速化を図る方法である。これは識別精度そのものを上げる方法ではなく、また照合を行わないことで認証できない画像データを増やしてしまう恐れがある方法でもある。その一方、全ての画像データを総当たりで照合する方法がある。ある画像データについて、同一人物の画像データと近い撮影条件で少なくとも一回照合できれば、その画像データをカテゴリに分類できる、つまり認証することができる。しかし総当たり照合は画像データ数に対して照合すべきペアの数が爆発的に増加するため、現実的な方法としては考えにくい。
前記の如く、本発明の目的は、与えられた画像データ群を照合してオブジェクトごと（例えば、人物ごと）のまとまりに分割・分類する上で、画像データ数に伴って増加する照合すべきペアの数を、識別精度を落とさずに削減する技術を提供することにある。

上記目的を達成するために本発明の一態様に係るオブジェクト識別装置は以下のような構成を備える。即ち、
複数の画像を保持する保持手段と、
画像の撮影条件を判定する条件判定手段と、
それぞれの撮影条件の差に基づいて、画像同士を照合するか否か判定する照合判定手段と、
前記照合判定手段によって照合すると判定された画像同士を照合してオブジェクトの同異を判定するための類似度を求める照合手段と、
第一の画像と第二の画像とを照合して得た類似度が所定の閾値以上のとき、第一の画像と第二の画像とを同じカテゴリに併合する併合手段とを備え、
前記保持手段に保持されている画像同士について、照合するか否かの判定と照合と併合を繰り返すこと、を特徴とする。

与えられた画像データ群を照合してオブジェクトごとのカテゴリに分割・分類する上で、識別精度を落とさずに照合すべきペアの数を削減することができる。

実施例１に係るオブジェクト識別装置の機能ブロック図およびハードウェア構成図。 実施例１に係る処理過程の例を示す図。 実施例１に係る処理の全体を示すフローチャート。 図３のステップＳ１１０３の詳細を示すフローチャート。 実施例１に係る効果がある処理過程の例を示す図。 実施例２に係る誤認証する処理過程の例を示す図。 実施例２に係る処理の全体を示すフローチャート。 実施例２に係る効果がある処理過程の例を示す図。 実施例１および実施例３におけるカテゴリＩＤの遷移を示す図。 実施例３に係る処理過程の例を示す図。 実施例３に係る処理の全体を示すフローチャート。 図１１のステップＳ３１０６の詳細を示すフローチャート。

［実施例１］
以下、図面を参照して本発明の実施例を詳細に説明する。本実施例では与えられた画像データ群のうち一部に、人物のカテゴリを示す識別子が割り当てられ登録されており、これを登録カテゴリおよびその画像データを登録画像と呼ぶ。残りの画像データを未処理画像と呼び、登録カテゴリと未処理画像を照合・識別することにより、全ての未処理画像を登録カテゴリに分類する例を述べる。本実施例では画像データに写るオブジェクトとして人間の顔を扱う顔認証を、また顔の撮影条件として、顔と撮像装置の位置関係によって生じるＹａｗ方向の向きを例に説明する。以下簡便のために、人間の顔が写る画像データを単に画像として呼び、また顔のＹａｗ方向の向きは単に顔向きと呼ぶ。
画像として１つの画像中に複数の顔が写る場合ももちろん考えられるが、本実施例では簡便のために１つの画像中に１つの顔のみ写る場合を説明する。複数の顔が写る画像を処理する場合には、本実施例の方法を行う前に画像中から顔が写る領域それぞれを切りぬいて、１つの顔のみ写る画像をそれぞれ生成しておくとよい。顔領域の切りぬきには公知の顔検出の方法などを用いることが望ましい。

＜全体の構成＞
図１は、本発明の実施例におけるオブジェクト識別装置１０００の構成を示す図である。
図１（ａ）は、オブジェクト識別装置１０００の機能ブロック図を示す。図１（ａ）に示すように、オブジェクト識別装置１０００は、画像保持部１１００、条件判定部１２１０、照合可否判定部１２２０、照合部１２３０、カテゴリ化部１２４０、画像登録部１３００、外部出力部１４００を備える。
画像保持部１１００は、識別すべき画像（未処理画像群）を保持し、未処理画像を供給する装置であれば良い。典型的には、全ての未処理画像にランダムアクセスが可能な半導体メモリのような記憶媒体であり、画像を複数保持するために十分な大容量を持つことが望ましい。あるいは、本実施例では説明しないが、記憶媒体の代わりに未処理画像を順次供給する撮像装置であっても構わない。

条件判定部１２１０は、画像の撮影条件を判定する。
照合可否判定部１２２０は、画像間の撮影条件（例えば、被写体の顔の向き）の差が予め定められた閾値より小さいか否かに基づいて、画像間の照合の可否を判定する照合判定を行う。
照合部１２３０は、画像同士を照合して、画像間の類似度を求めて、求めた類似度に基づいてオブジェクト（例えば、画像に写っている人物の顔や全身）の同異を判定する。
カテゴリ化部１２４０は、第一の画像と第二の画像とを照合して得た類似度が所定の閾値以上のとき、第一の画像と第二の画像とを同じカテゴリに併合する。
条件判定部１２１０、照合可否判定部１２２０、照合部１２３０、およびカテゴリ化部１２４０は専用回路（ＡＳＩＣ）、プロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ、ＣＰＵなど）であってもよい。あるいは単一の専用回路および汎用回路（ＰＣ用ＣＰＵ）内部において実行されるプログラムとして存在してもよい。

画像登録部１３００は登録画像を保持し、人物のカテゴリを示す識別子が割り当てられた画像を保持する。典型的には、繰り返し書き換え可能な半導体メモリであるのがよい。登録画像は典型的には人手で与えるものであり、画像保持部１１００にある画像を選択して識別子を付加する外部インターフェイスを持つことが実現方法として考えられる。

外部出力部１４００は、画像登録部１３００に集められたデータを適切な形で外部に出力する。外部出力部１４００は画像の識別結果を出力可能であれば良く、典型的には、ＣＲＴやＴＦＴ液晶などのモニタであり、画像保持部１１００から取得した画像を一覧表示する。または、画像に画像登録部１３００の出力を重畳表示する。また、それらの結果を電子データとして外部の記憶媒体などに出力することや、紙媒体に印刷する形式をとってもよい。なお、出力の手段は上に挙げた限りではなく、さらに複数の手段を同時に行使してもよい。

図１（ｂ）は、オブジェクト識別装置１０００のハードウェア構成の一例を示す。図１（ｂ）に示すオブジェクト識別装置１０００は、ＣＰＵ１５１０、ＲＯＭ１５２０、ＲＡＭ１５３０、ＨＤＤ１５４０、ビデオコントローラ１５５０、ＵＳＢコントローラ１５６０、ネットワークコントローラ１５７０を備える。
ＣＰＵ１５１０は、ＲＯＭ１５２０に記憶されたブートプログラムを実行して、ＨＤＤ１５４０にインストールされているＯＳや制御プログラム等を読み出してＲＡＭ１５３０に展開する。そしてそのＲＡＭ１５３０に展開されたプログラムを実行して、オブジェクト識別装置１０００全体の動作を制御し、図１（ａ）に示した各機能ブロックを実現する。

ＲＡＭ１５３０は、ＣＰＵ１５１０の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ１５４０は、画像データや各種プログラム等を記憶している。ネットワークコントローラ１５７０およびＬＡＮ（図示せず）を介して他の装置から画像等を受信する。または、ＵＳＢコントローラ１５６０およびＵＳＢフラッシュメモリ（図示せず）を介して他の装置から画像等を受信する。
ビデオコントローラ１５５０は、ＣＰＵ１５１０によりＶＲＡＭ（図示せず）に書き込まれた表示用ビットマップデータを読み取って、ＣＲＴ、ＬＣＤ、ＰＤＰ等のディスプレイ（図示せず）に転送する。ユーザは、ディスプレイにより、カテゴリ処理前の画像やカテゴリ処理の結果を認識することができる。

＜全体処理フロー＞
図２は、本実施例におけるオブジェクト識別装置が、画像保持部１１００に与えられた未処理画像群を処理していく過程の図例である。
図２（ａ）は登録カテゴリと未処理画像群の初期状態を表している。画像Ａがカテゴリ１、画像Ｂがカテゴリ２に登録されている。この状態から未処理画像Ｃを処理しようとする場合、未処理画像Ｃをカテゴリ１の登録画像Ａとカテゴリ２の登録画像Ｂの合計２つの画像のそれぞれと識別（照合）することになる。

図２（ｂ）は処理中の状態を表している。図中のカテゴリ１に属する画像に写っている人物と未処理画像Ｃに写っているは同一人物であると識別され、未処理画像Ｃはカテゴリ１に併合された。この状態から未処理画像Ｄを処理しようとする場合、未処理画像Ｄをカテゴリ１の登録画像ＡとＣ、カテゴリ２の登録画像Ｂの合計３つの画像のそれぞれと識別（照合）することになる。
図２（ｃ）は処理が完了した最終的な状態を表している。全ての未処理画像が登録カテゴリと識別され、画像ＣとＤはカテゴリ１に併合され、画像ＥとＦはカテゴリ２に併合された状態となった。どの登録画像とも同一人物であると判定されなかった画像Ｇは登録外人物となった。

図３は、条件判定部１２１０、照合可否判定部１２２０、照合部１２３０、およびカテゴリ化部１２４０で行う処理の全体フローチャートである。この図３を参照しながら、オブジェクト識別装置が画像を識別する実際の処理について説明する。
始めに、画像保持部１１００から未処理画像をひとつ取得して（Ｓ１１０１）、画像登録部１３００から登録カテゴリをひとつ取得する（Ｓ１１０２）。続いて、未処理画像と登録カテゴリを識別し、人物の同異を判定するための類似度を得る（Ｓ１１０３）。この処理の詳細については後述する。

未処理画像と全ての登録カテゴリとの識別を行い（Ｓ１１０４）、いずれか１つの登録カテゴリと同一人物であるか（いずれか１つの登録カテゴリに属するか）、あるいはどの登録カテゴリにも属さないかのいずれかに判定する（Ｓ１１０５）。このＳ１１０５の処理についてものちほど詳しく説明する。ある登録カテゴリと同一人物であると判定された場合（Ｓ１１０５でＹｅｓ）、未処理画像を、その登録カテゴリに併合する（Ｓ１１０６）。このＳ１１０６における処理が請求項に記載のカテゴリ化手段における処理に対応する。あるいは、同一人物と判定されなかった場合（Ｓ１１０５でＮｏ）は何もしない。

ここまで述べたＳ１１０２からＳ１１０６までの処理を行った未処理画像は処理済みとする。ただし次の＜識別フロー＞で述べるが、未処理画像と全ての登録カテゴリとの識別を行えない場合もあり、その未処理画像は再び画像保持部１１００に戻され処理されるのを待つことになる。全ての未処理画像を処理したか否かを判断し（Ｓ１１０７）、全ての未処理画像を処理したら、全体の処理を終了する。

＜識別フロー＞
図３における未処理画像と登録カテゴリの識別（Ｓ１１０３）の詳細を説明する。この処理では、未処理画像に写っている人物と登録カテゴリに属する画像に写っている人物との類似度を算出し、算出された類似度に基づいて同一人物であるかを判定する。
図４は、図３におけるＳ１１０３の詳細フローチャートである。この図４を参照しながら、条件判定部１２１０、照合可否判定部１２２０、照合部１２３０、およびカテゴリ化部１２４０が未処理画像を識別する実際の処理について説明する。はじめに未処理画像ひとつを取得（Ｓ１２０１）して、識別対象となる登録カテゴリから登録画像をひとつ取得する（Ｓ１２０２）。続いて、未処理画像と登録画像が識別可能なペアであるかどうか判定する（Ｓ１２０３）。

本実施例では具体的には、ふたつの画像中の顔向きの差がある程度小さければ識別可能、ある程度以上差が大きい場合は識別不可能として判定する。その理由は以下である。人間の顔は向きが変わると画像上での見た目が大きく変わり、同一人物であっても別人として判定してしまう可能性が高くなる、つまり人物の同異を判定する精度が低下してしまうためである。未処理画像および登録画像の顔向きを求めるために、非特許文献２に記載されているような公知の方法を用いることができる。

また識別可能あるいは識別不可能と判定する顔向きの差の大きさは、実際に用いる顔画像識別方法（Ｓ１２０４）の特質に基づいて、装置の運用前に決定しておくことがよい。このＳ１２０３における処理が、請求項に記載の条件判定手段と照合判定手段における処理に対応する。続いて、識別可能なペアと判定された場合（Ｓ１２０３でＹｅｓ）は、未処理画像と登録画像を識別して、未処理画像と登録画像が同じ人物である度合いを示す類似度を得る（Ｓ１２０４）。この詳細な顔画像識別の方法の例は後述する。

あるいは、識別不可能なペアと判定された場合（Ｓ１２０３でＮｏ）は、識別処理を行わない。この理由は初めから精度が低いと分かる識別を避けることで、全体処理の高速化を図るためである。そして、以上の一連の処理を登録カテゴリ内の全ての登録画像について行う（Ｓ１２０５）。最後に、未処理画像と各登録画像の類似度を考慮して、未処理画像と登録カテゴリが同一人物であるかを判定しうる最終的な類似度を求める（Ｓ１２０６）。ここの処理についても詳細を後述する。

＜識別処理＞
図４に示した未処理画像と登録画像の識別（Ｓ１２０４）について、詳細を説明する。ただし、本実施例において顔画像識別の方法は任意でよく、以下に述べる方法は簡易的な例である。
顔画像識別は大きく、個人の識別に必要な特徴量を抽出する工程と、特徴量同士を比較して類似度を求める工程に分かれる。前者の工程では、まず顔画像に特徴量を抽出する矩形領域を設定する。領域の大きさは任意であるが、個人の特徴をよく表す目や口などの器官がもれなく入るように、しかし背景などは入らないように、一辺が目幅のおおよそ１．５倍程度の正方形を顔の中央に配置するとよい。

続いて矩形領域内の画素値を左上から右下に向かって順に取り出し、一列につなげてベクトルとする。これを特徴量とする。なお、説明した方法は顔向きの変化による影響を受けやすい。顔向きの変化による画像上の見た目の変化を避ける特徴抽出の方法など公知の方法が多く提案されており（非特許文献３）、そのような方法を導入して顔向きに対する識別精度劣化をできるだけ抑えることが本来は望ましい。

また顔画像から目や口などの器官位置を検出する方法として公知の方法（非特許文献４）を利用することができる。
類似度を求める工程では、特徴量を比較して類似度を求める方法として、類似度が大きいほど特徴量が似ていることを表すような方法を選ぶ。例として、特徴量のベクトル同士が成す角度のコサインをとる方法、または特徴量のベクトル間のユークリッド距離の逆数をとったものが挙げられる。

ここで得られたコサインの値あるいはユークリッド距離が、未処理画像と登録画像の類似度となる。ただしこの時点での類似度をそのまま用いることは望ましくない。なぜなら、本人間で得られた類似度であっても、画像の変動がない正面顔同士で得られたものと、正面顔と斜め顔の間で得られた類似度では、画像の変動の影響で後者の類似度が小さい場合があるからである。「正面顔」は正面から撮影した顔を意味し、「斜め顔」は斜めから撮影した顔を意味する。

このままでは正面顔同士の他人間の類似度が正面と斜めの本人間の類似度より大きい場合があり、識別精度の低下の原因となる。そこで非特許文献５に示すような公知の方法で、類似度を顔向きの違いによらないよう正規化しておくとよい。詳細は割愛するが、この方法は各顔向きでの類似度の生起確率分布を予め求めておき、それに従って、ある顔向きで得られたある類似度を本人間で得られた確率に変換する方法である。

図４に示した類似度の統合（Ｓ１２０６）について、詳細を説明する。図４のＳ１２０２からＳ１２０５の工程では、ひとつの登録カテゴリ内に登録画像が複数ある場合に、未処理画像と登録画像との類似度が登録画像の数だけ得られている。ここの処理では、得られた少なくとも１つ以上の類似度を統合して、未処理画像と登録カテゴリとの間の類似度を求める。この処理の方法は任意であるが、得られた類似度の平均を求める、あるいは、得られた類似度の中で最大のものをひとつ選出するか、などの方法がある。

＜最終識別処理＞
図３に示した未処理画像と登録カテゴリの同異の最終判定（Ｓ１１０５）について、詳細を説明する。ここの処理では、図３のＳ１１０２からＳ１１０４の工程で得られた少なくとも１つ以上の未処理画像と登録カテゴリ間の類似度から、未処理画像がいずれかの登録カテゴリに属するか否か最終的に判定する。

この処理の方法は任意であるが、典型的には以下のように行うことがよい。まず、得られた類似度から、最大のものをひとつ選出する。そしてその最大の類似度が予め定められた閾値を超えるか否かで同一人物か否かを判定することがもっとも単純な方法である。類似度が閾値を超えれば、未処理画像はその類似度に対応する登録カテゴリに属すると判定する。あるいは、閾値を超えなければ未処理画像はどの登録カテゴリにも属さないと判定する。

この閾値は装置の運用前に予め調整しておくことが望ましく、閾値の大小で以下２つのトレードオフを制御できる。閾値を大きくすると、他人間の画像のペアを本人間の画像のペアと判定してしまう可能性は減るが、本人間の画像のペアを他人間の画像のペアと判定してしまう可能性が増える。逆に閾値を小さくすると、本人間の画像のペアを他人間の画像のペアと判定してしまう可能性は減るが、他人間を本人間と判定してしまう可能性が増える。装置に求められる性能に合わせて調整するとよい。

＜発明の要点＞
本発明の要点は以下のとおりである。登録画像と未処理画像の間の撮影条件の違いが大きく、高い精度で識別できる見込みが少ない場合には、この未処理画像の識別処理を後回しにする。別の未処理画像を識別して追加登録した後に、さきほど後回しにした未処理画像について再び識別を試みる。後回しにした未処理画像と撮影条件が近い登録画像が追加登録された場合には、その追加登録された登録画像と高い精度で識別できる見込みが高いので、改めてさきほどの未処理画像を識別する。これにより、識別処理を省略して高速化しつつも、追加登録によって初めは識別できなかった画像も最終的には識別できるようになるという効果がある。

図５に示す具体例を交えながら本発明の要点を説明する。図中では簡便のため、ひとつの人物Ａのみ（登録カテゴリＡのみ）を記しているが、実際の運用例では登録カテゴリは複数あり、未処理画像も複数ある（人物Ａ以外の未処理画像も含まれる）。
図５（ａ）は登録カテゴリと未処理画像の初期状態を表している。登録カテゴリＡに人物Ａの正面顔ａ１が登録されており、未処理画像には人物Ａの画像ａ２とａ３が存在している。登録画像ａ１と未処理画像ａ３とは顔向きの差が大きく識別精度が期待できないと判定して、識別処理をしない。一方、登録画像ａ１と未処理画像ａ２とは顔向きの差が小さいため十分に識別可能と判定して、識別処理を行う。

図５（ｂ）はその結果を表している。登録画像ａ１と未処理画像ａ２との間で閾値以上の類似度が得られたため、未処理画像ａ２を人物Ａであると判定して、画像ａ２は人物Ａの登録画像となった。そして新たな登録画像ａ２と未処理画像ａ３とは顔向きの差が小さいため十分に識別可能と判定して、識別処理を行う。新たな登録画像ａ２と未処理画像ａ３との間で閾値以上の類似度が得られた。
図５（ｃ）はその結果を表している。登録画像ａ２と未処理画像ａ３との間で閾値以上の類似度が得られたため、最終的に全ての画像を人物Ａとして判定することができた。

本実施例では撮影条件として被写体の顔向きを例に説明したが、撮影条件はこれに限定されるものではない。識別の精度を下げてしまう撮影条件、例えば顔を照らす照明条件なども、ここに述べた撮影条件に含まれる。
本実施例では顔向きが異なると識別精度が低いため識別しない例を説明したが、顔向き以外の撮影条件が異なり、その結果として識別しなくても人物の同異が高精度で分かる例を補足する。

非特許文献１で示したＲｅ−Ｉｄｅｎｔｉｆｉｃａｔｉｏｎのタスクでは、比較的遠距離から撮影した公衆監視画像を処理する場合も考えられ、人の顔だけでなく人の全身の画像も使って人物を識別することができる。そのとき、識別するか否かを判定する条件として顔向きや照明だけでなく、人の体型・髪型・服装なども利用できる場合がある。例えば同じ日に撮影された公衆監視画像であれば同一人物の体型・髪型・服装などが変化する可能性は少なく、体型・髪型・服装いずれかが異なる人物間は照合しなくてもほぼ間違いなく異なる人物同士であると判断し得る。つまり今述べたＲｅ−Ｉｄｅｎｔｉｆｉｃａｔｉｏｎタスクのような場合でも、与えられた画像データ群を照合して人物ごとのカテゴリに分割・分類する上で、識別精度を落とさずに照合すべきペアの数を削減する効果を発揮できる。
［実施例２］
実施例１では、未処理画像を順次ひとつずつ識別していく際に、未処理画像を識別する順番について言及しなかった。本実施例ではさらに未処理画像を識別する順番を制御し、誤識別を減らす方法について述べる。なお重複を避けるため、以下の説明においては、前実施例と同じ部分は省略している。本実施例に記されていない各部の機能は実施例１と同一である。

＜全体処理フロー＞
未処理画像をひとつ取得する処理（図３、Ｓ１１０１）で、無作為に画像を選ぶ場合、図６に示すような状態になる可能性がある。図６に示す状態では、登録カテゴリＡおよびＢがあり、登録カテゴリＡに登録画像ａ１とａ２が登録され、登録カテゴリＢに登録画像ｂ１が登録されている。未処理画像には人物Ａに属するａ３、人物Ｂに属するｂ２およびｂ３がある。未処理画像ｂ３と登録画像ａ１とは顔向きが大きく異なる。未処理画像ｂ３と登録画像ａ２とは顔向きがあまり異ならない。未処理画像ｂ３と登録画像ｂ１とは顔向きが大きく異なる。この状態から未処理画像ｂ３を識別しようとした場合、本人である登録カテゴリＢとは全く識別できず、本来他人である登録カテゴリＡの登録画像ａ２のみと識別した結果から最終的な判定を下してしまう。

図７に本実施例での全体フローチャートを示す。全ての未処理画像の撮影条件（実施例２では、顔向き）を予め判定しておき（Ｓ２１０１）〜（Ｓ２１０３）、登録カテゴリに登録された登録画像の状態に基づいて処理すべき未処理画像を選択する（Ｓ２１０４）。なお、Ｓ２１０５以降の処理については実施例１と同じであるため割愛する。

＜未処理画像選択＞
図７に示した「未処理画像を選択」する処理（Ｓ２１０４）について詳細を説明する。図７のフローチャートでは割愛したが、登録画像の顔向きも全て判定され既知であるとして説明する。Ｓ２１０４の処理では、未処理画像の待ち行列を生成する。生成される待ち行列は、登録画像と識別可能であると判定された未処理画像を先頭とし、識別できない登録カテゴリがひとつでもあると判定された未処理画像をそれよりも後とする。

そして、待ち行列の先頭の未処理画像をひとつ選択する。待ち行列は例えば次のようにつくればよい。未処理画像と各登録画像の顔向きの差を求め、差の合計値が小さい未処理画像から先頭に並べる。ただし、顔向きの差が大きいため全く識別できない登録カテゴリがひとつでもある未処理画像は待ち行列の最後尾に配置する。この待ち行列は、図７の（Ｓ２１０９）で未処理画像がいずれかの登録カテゴリに追加登録された場合には再生成することが望ましい。

図８を用いて、未処理画像を選択する順番を制御して誤識別を回避する具体例を説明する。
図８（ａ）は図６と同じ状況である。ただしこの次に識別処理の対象として未処理画像ｂ３ではなく未処理画像ｂ２が選択される。
なぜなら登録画像ｂ１と未処理画像ｂ３は顔向きの差が大きく識別不能であるため、未処理画像ｂ３は識別できない登録カテゴリがひとつでもある画像である。そして、上で述べたとおり、識別できない登録カテゴリがひとつでもある画像は待ち行列の最後尾に配置される。未処理画像ａ３も同様の理由で待ち行列の最後尾に配置される。この結果、未処理画像ｂ２が待ち行列の先頭に配置される。

図８（ｂ）は、図８（ａ）の状態から未処理画像ｂ２が選択され識別処理が実行された結果を表している。
未処理画像ｂ２と登録画像ａ１との類似度は閾値未満であり、かつ未処理画像ｂ２と登録画像ａ２との類似度も閾値未満であり、一方、未処理画像ｂ２と登録画像ｂ１との類似度は閾値超であった。その結果、未処理画像ｂ２が登録カテゴリＢに属すべき画像と判定され、登録カテゴリＢに追加登録された。

この状態であれば、「未処理画像ｂ３の顔向き」と「登録カテゴリＢに新たに属することとなった登録画像ｂ２の顔向き」との差は識別が可能な程度であるから、登録画像ｂ２と未処理画像ｂ３との識別が実行される。
登録画像ｂ２と未処理画像ｂ３との識別の結果、登録画像ｂ２と未処理画像ｂ３との類似度は閾値超であったため、図６とは異なり、未処理画像ｂ３は登録カテゴリＢに属する画像であると識別することができる。

［実施例３］
実施例１では、予めカテゴリの登録があり、全ての未処理画像を登録済みのカテゴリに併合していく例を述べた。実施例３では与えられた画像群に明示的なカテゴリの登録はなく、画像群の中で相互に照合・識別することにより、画像群を人物ごとのカテゴリに分割・分類する例を述べる。本実施例においては画像群の各画像について登録画像あるいは未処理画像の区別はなく、全て単に画像と呼ぶ。
また実施例２と同様に重複を避けるため、以下の説明においては、前実施例と同じ部分は省略している。本実施例に記されていない各部の機能は実施例１と同一である。

＜全体の構成＞
図９は、実施例１および実施例３におけるカテゴリＩＤの遷移を示す図である。図９（１ａ）〜（１ｃ）は実施例１に関し、図９（３ａ）〜（３ｃ）は実施例３に関する。画像ＩＤは画像を一意に識別可能な識別子である。図９の撮影条件フィールドには被写体の顔の向きなどの撮影条件を示すデータが記憶される。なお、同図に示す画像ＩＤ、撮影条件、カテゴリＩＤは図１の画像登録部１３００に記憶される。

画像ＩＤとカテゴリＩＤとの関係に関しては、図９（１ａ）は図２（ａ）に、図９（１ｂ）は図２（ｂ）に、図９（１ｃ）は図２（ｃ）に、それぞれ対応する。同様に、図９（３ａ）は図１０（ａ）に、図９（３ｂ）は図１０（ｂ）に、図９（３ｃ）は図１０（ｃ）に、それぞれ対応する。

＜全体処理フロー＞
図１０は、本実施例におけるオブジェクト識別装置が、画像保持部３１００に与えられた画像群を処理していく過程の図例である。
図１０（ａ）は画像保持部３１００の初期状態を表している。各画像と同じ数だけのカテゴリがあり、各カテゴリにはひとつの画像が属している。
図１０（ｂ）は処理中の状態を表している。図中のカテゴリ１など、画像同士は識別され、同一人物と判定された画像は一つのカテゴリに併合されていく。
図１０（ｃ）は処理が完了した最終的な状態を表している。図１０（ｂ）でのカテゴリ１の画像Ａとカテゴリ３の画像Ｃとの間など、複数の画像を含むカテゴリ間でいずれかの画像ペアが同一人物と判定されれば、さらにカテゴリが併合されることになる。あるいは、どの画像とも同一人物であると判定されなかった画像は、画像Ｇのように単独のカテゴリが維持される。

図１１は、識別部３２００で行う処理の全体フローチャートである。実施例１における全体フローチャート（図３）との違いのひとつ目は、実施例２と同様に最初に全ての画像について撮影条件を判定しておくことである（Ｓ３１０１）〜（Ｓ３１０３）。ふたつ目の違いは、実施例１では未処理画像ひとつと登録カテゴリを識別（Ｓ１１０３）したが、本実施例ではカテゴリ同士を識別（Ｓ３１０６）、つまり画像群と画像群とを識別する場合があることである。ここで取得されるカテゴリは便宜上、第一カテゴリと第二カテゴリと呼ぶ。カテゴリ同士の識別（Ｓ３１０６）については別途説明する。

図１１に示したカテゴリの取得（Ｓ３１０４、Ｓ３１０５）は、実施例２と同様の考えに基づいて、第一カテゴリに属する画像のいずれかと識別可能な画像を少なくともひとつ以上含む第二カテゴリを取得する。この理由は実施例２と同様に、たとえ同一人物が写っている画像を含むカテゴリ間であっても、一方のカテゴリに属する画像と他方のカテゴリに属する画像との間で撮影条件が大きく異なるために全く識別ができずに他人間と誤判定されることを避けるためである。

＜識別フロー＞
図１２は、図１１におけるカテゴリ間の識別（Ｓ３１０６）の詳細フローチャートである。図１２を参照しながら、識別部３２００がカテゴリ間を識別する実際の処理について説明する。図１２と実施例１における図４との違いは、第一カテゴリに含まれる画像と第二カテゴリに含まれる画像を取り出して（Ｓ３２０１、Ｓ３２０２）、総当たりで照合して類似度を得ることである（Ｓ３２０５、Ｓ３２０６）。画像と画像を識別する方法（Ｓ３２０４）や、得られた類似度を統合する方法は実施例１と同じである。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０００ オブジェクト識別装置
１１００ 画像保持部
１２１０ 条件判定部
１２２０ 照合可否判定部
１２３０ 照合部
１２４０ カテゴリ化部
１３００ 画像登録部
１４００ 外部出力部
３０００ オブジェクト識別装置
３１００ 画像保持部
３２００ 画像識別部
３３００ 識別結果保持部
３４００ 外部出力部

Claims (9)

1. 複数の画像を保持する保持手段と、
   画像の撮影条件を判定する条件判定手段と、
   それぞれの撮影条件の差に基づいて、画像同士を照合するか否か判定する照合判定手段と、
   前記照合判定手段によって照合すると判定された画像同士を照合してオブジェクトの同異を判定するための類似度を求める照合手段と、
   第一の画像と第二の画像とを照合して得た類似度が所定の閾値以上のとき、第一の画像と第二の画像とを同じカテゴリに併合する併合手段と
   を備え、
   前記保持手段に保持されている画像同士について、照合するか否かの判定と照合と併合とを繰り返すこと、を特徴とするオブジェクト識別装置。
2. 前記保持手段に保持されている全ての画像同士について、新たにカテゴリに併合される画像がなくなるまで、照合するか否かの判定と照合と併合とを繰り返すこと、
   を特徴とする請求項１に記載のオブジェクト識別装置。
3. 画像を一意に識別可能な識別子と、前記撮影条件と、画像が属するカテゴリを示す識別子とを対応づけて登録する登録手段をさらに備え、
   前記登録手段は、第一の画像といずれかのカテゴリに登録された複数の第二の画像とを照合して得られた類似度の中の最大の類似度が所定の閾値以上のとき、前記最大の類似度に対応する第二の画像の識別子と対応づけて、第一の画像を追加登録すること、
   を特徴とする請求項１に記載のオブジェクト識別装置。
4. 前記保持手段に保持されている全ての画像について、新たに識別子を対応づけられる画像がなくなるまで、照合するか否かの判定と照合と追加登録とを繰り返すこと、
   を特徴とする請求項３に記載のオブジェクト識別装置。
5. 前記撮影条件が、オブジェクトの向きおよび照明条件であること
   を特徴とする請求項１乃至４のいずれか１項に記載のオブジェクト識別装置。
6. 前記オブジェクトが、人の顔であること
   を特徴とする、請求項１乃至５のいずれか１項に記載のオブジェクト識別装置。
7. 前記オブジェクトが、人の全身であること
   を特徴とする、請求項１乃至６のいずれか１項に記載のオブジェクト識別装置。
8. コンピュータを、請求項１乃至７のいずれか１項に記載のオブジェクト識別装置の各手段として機能させるためのプログラム。
9. 保持手段に保持された複数の画像の撮影条件を判定する条件判定工程と、
   それぞれの撮影条件の差に基づいて、画像同士を照合するか否か判定する照合判定工程と、
   前記照合判定工程によって照合すると判定された画像同士を照合してオブジェクトの同異を判定するための類似度を求める照合工程と、
   第一の画像と第二の画像とを照合して得た類似度が所定の閾値以上のとき、第一の画像と第二の画像とを同じカテゴリに併合する併合工程と
   を備え、
   前記保持手段に保持されている画像同士について、前記照合判定工程と前記照合工程と前記併合工程とを繰り返すこと、を特徴とするオブジェクト識別方法。

Images