JP2015060421A - 類似画像検索方法及び類似画像検索装置 - Google Patents

Abstract

【課題】簡易にかつ堅牢性に優れた画像データの類似判定を行う。【解決手段】基準画像データ及び比較画像データの特徴点の特徴量に基づいて、これら基準画像データ及び比較画像データの特徴点の対応する組を決定する。次いで、基準画像データ及び比較画像データの特徴点の任意の組を複数選択し、選択された特徴点の組の一方の特徴点の座標値が他方の特徴点の座標値に一致するように座標変換を行う。この状態で残りの組の基準画像データ及び比較画像データの特徴点間の距離の合計を算出し、残りの組の基準画像データ及び比較画像データの特徴点間の距離の合計が所定の閾値以下であれば、この比較画像データを基準画像データに類似する比較画像データであると判定する。【選択図】図３

Description

本発明は、基準画像データに類似する比較画像データを検索する類似画像検索方法及び類似画像検索装置に関する。

大量の数の比較画像データの中から、基準画像データに類似する比較画像データを検索するニーズが存在する。一例として、デジタルスチルカメラ等により撮像された画像データを記憶媒体内に取り込んで管理する画像管理装置において、取り込もうとする比較画像データが既に記憶媒体内に取り込まれている基準画像データと同一または解像度、縮尺が異なるのみのデータであった場合、この比較画像データは基準画像データに類似するものであると考え、重複して取り込む作業をしないことが好ましい。そこで、このような画像管理装置において、比較画像データと基準画像データとの類似の有無を判定するニーズが存在する。

従来、このような基準画像データに類似する比較画像データを検索する類似画像検索方法としては、基準画像データ及び比較画像データの特徴点の組を算出し、これら特徴点の組から２以上の特徴点の組を選択し、これら特徴点の組の座標が合致するようにアフィン変換を行って類似判定をする技術が知られている（特許文献１、２参照）。

特開２００６−６５３９９号公報 特開２０１０−２７２０９１号公報

しかしながら、上述した従来の技術においては、画像管理装置において簡易にかつ堅牢性に優れた類似画像検索を行うという観点からは問題を抱えていた。

まず、特許文献１に示された従来の技術においては、基準画像データと比較画像データとの特徴点の組をアフィン変換した際のアフィン変換パラメータをパラメータ空間上に投影し、近接するアフィン変換パラメータをクラスタリングして最小自乗法を適用することで画像データの類似を判定している。従って、このアフィン変換パラメータがある程度収束することが類似判定の条件となるので、アフィン変換パラメータが大きく散逸する場合には類似判定を容易に行うことができず、堅牢性に欠ける可能性がある。加えて、アフィン変換パラメータの大半が収束していた場合でも、最小自乗法により得られる近似関数から遠い位置にある比較画像データは考慮の対象となりにくく、また、アフィン変換パラメータが一様に分布していた場合は類似判定が困難になるなど、この点からも堅牢性に欠ける可能性があった。

また、特許文献２に示された従来の技術においては、アフィン変換による座標の変換量に一定の閾値を設け、閾値以下である場合にのみ類似判定を行っているので、画像が回転した場合や透視変換された場合などアフィン変換による座標の変換量が大きい時には類似判定が行えず、同様に堅牢性に欠ける可能性がある。

さらに、特許文献１及び特許文献２に示された従来の技術のいずれも、複雑な算出手順によるものであり、限られたハードウェア構成を備えるような画像管理装置への適用が難しい可能性があった。

本発明は上述した課題に鑑みてなされたものであり、簡易にかつ堅牢性に優れた画像データの類似判定を行うことの可能な類似画像検索方法及び類似画像検索装置の提供を、その目的の一つとしている。

本発明は、基準画像データに類似する比較画像データを検索する類似画像検出方法に適用される。そして、基準画像データ及び比較画像データの特徴点を算出する工程と、算出された基準画像データ及び比較画像データの特徴点の特徴量に基づいて、これら基準画像データ及び比較画像データの特徴点の対応する組を決定する工程と、基準画像データ及び比較画像データの特徴点の任意の組を複数選択し、選択された特徴点の組の一方の特徴点の座標値が他方の特徴点の座標値に一致するように座標変換を行う工程と、複数組の特徴点の座標値が一致する座標変換を行った状態で、残りの組の基準画像データ及び比較画像データの特徴点間の距離を算出し、得られた距離の合計を算出する工程と、残りの組の基準画像データ及び比較画像データの特徴点間の距離の合計が所定の閾値以下であれば、この比較画像データを基準画像データに類似する比較画像データであると判定する工程とを設けることで、上述した目的の少なくとも一つを解決している。

ここで、座標変換を行う工程においては、基準画像データ及び比較画像データの特徴点の任意の組を３つ以上選択することが好ましい。また、座標変換はアフィン変換であることが好ましい。さらに、基準画像データ及び比較画像データに対して顔認識処理を行って被写体の顔が撮像されている領域を決定する工程を設けた場合、特徴点を算出する工程において、領域内の特徴点を算出することが好ましい。

さらに、特徴点の対応する組を決定する工程において、算出された基準画像データ及び比較画像データの特徴点の特徴量のうち同じ特徴量を持つ複数の特徴点の組が存在するか否かを判定し、基準画像データ及び比較画像データの特徴点の特徴量のうち同じ特徴量を持つ複数の特徴点の組が存在すれば、これら基準画像データ及び比較画像データの特徴点の対応する組を決定し、座標変換を行う工程において、同じ特徴量を持つ基準画像データ及び比較画像データの特徴点の任意の組を複数選択することが好ましい。

また、本発明は、基準画像データに類似する比較画像データを検索する類似画像検出装置に適用される。そして、基準画像データ及び比較画像データの特徴点を算出する特徴点算出部と、特徴点算出部により算出された基準画像データ及び比較画像データの特徴点の特徴量に基づいて、これら基準画像データ及び比較画像データの特徴点の対応する組を決定する対応特徴点決定部と、基準画像データ及び比較画像データの特徴点の任意の組を複数選択し、選択された特徴点の組の一方の特徴点の座標値が他方の特徴点の座標値に一致するように座標変換を行う座標変換部と、座標変換部により複数組の特徴点の座標値が一致する座標変換を行った状態で、残りの組の基準画像データ及び比較画像データの特徴点間の距離を算出し、得られた距離の合計を算出する距離算出部と、距離算出部により算出された距離の合計が所定の閾値以下であれば、この比較画像データを基準画像データに類似する比較画像データであると判定する判定部とを設けることで、上述した目的の少なくとも一つを解決している。

さらに、本発明は、複数の比較画像データの中から、基準画像データに類似する比較画像データを検索する類似画像検出方法に適用される。そして、基準画像データ及び比較画像データの特徴点を算出する工程と、算出された基準画像データ及び比較画像データの特徴点の特徴量に基づいて、これら基準画像データ及び比較画像データの特徴点の対応する組を決定する工程と、基準画像データ及び比較画像データの特徴点の任意の組を複数選択し、選択された特徴点の組の一方の特徴点の座標値が他方の特徴点の座標値に一致するように座標変換を行う工程と、複数組の特徴点の座標値が一致する座標変換を行った状態で、残りの組の基準画像データ及び比較画像データの特徴点間の距離を算出し、得られた距離の合計を複数の比較画像データのそれぞれについて算出する工程と、残りの組の基準画像データ及び比較画像データの特徴点間の距離の合計が最小値を取る比較画像データを基準画像データに類似する比較画像データであると判定する工程とを設けることで、上述した目的の少なくとも一つを解決している。

本発明によれば、簡易にかつ堅牢性に優れた画像データの類似判定を行うことの可能な類似画像検索方法及び類似画像検索装置を提供することができる。

本発明の第１実施形態である情報処理装置を含む画像処理システムの概略構成を示すブロック図である。 第１実施形態の情報処理装置の概略構成を示すブロック図である。 第１実施形態の情報処理装置の機能構成を示す機能ブロック図である。 第１実施形態の情報処理装置の動作の概要の一例を説明するための図である。 第１実施形態の情報処理装置の動作の概要の他の例を説明するための図である。 第１実施形態の情報処理装置の動作の概要のまた他の例を説明するための図である。 第１実施形態の情報処理装置の動作の概要のまた他の例を説明するための図である。 第１実施形態の情報処理装置の動作の一例を説明するためのフローチャートである。 第１実施形態の情報処理装置の動作の他の例を説明するためのフローチャートである。 本発明の第２実施形態である情報処理装置の機能構成を示す機能ブロック図である。 第２実施形態の情報処理装置の動作の一例を説明するためのフローチャートである。 第２実施形態の情報処理装置の動作の他の例を説明するためのフローチャートである。 本発明の第３実施形態である情報処理装置の動作の一例を説明するためのフローチャートである。 第３実施形態の情報処理装置の動作の他の例を説明するためのフローチャートである。 本発明の第４実施形態である情報処理装置の機能構成を示す機能ブロック図である。 第４実施形態の情報処理装置の動作の一例を説明するためのフローチャートである。 第４実施形態の情報処理装置の動作の他の例を説明するためのフローチャートである。 本発明の第５実施形態である情報処理装置を含む画像処理システムの概略構成を示すブロック図である。 第５実施形態の情報処理装置の機能構成を示す機能ブロック図である。

以下、図面を参照して、本発明の実施形態である類似画像検索方法及び類似画像検索装置について説明する。
（第１実施形態）
図１は、本発明の第１実施形態である類似画像検索方法が適用される、類似画像検索装置として機能する情報処理装置を含む画像処理システムの概略構成を示す図である。図１において、第１実施形態の情報処理装置を含む画像処理システムＳは、情報処理装置１、第１の撮像装置２、第２の撮像装置３及び画像表示装置４を備える。

情報処理装置１は、これら第１及び第２の撮像装置２、３により撮像された画像ファイルを取り込み、この画像ファイルを表示する表示画面を生成するための表示画面生成用信号を生成する。また、情報処理装置１は、第１及び第２の撮像装置２、３から画像ファイルを取り込む際に、既に情報処理装置１内に取り込まれた画像ファイルと取り込むべき画像ファイルとが類似しているか否かを判定し、類似していると判定した場合は当該画像ファイルの取り込み作業を行わない。情報処理装置１の詳細については後述する。第１の撮像装置２及び第２の撮像装置３は、被写体を撮像して画像ファイルを生成する。第１の撮像装置２及び第２の撮像装置３は、例えばスマートフォンやデジタルスチルカメラである。

第１の撮像装置２によって撮像された画像ファイルは、無線ＬＡＮ等の無線通信手段を介して情報処理装置１に取り込まれる。また、第２の撮像装置３によって撮像された画像ファイルは、一例として、データ転送ケーブルの一例であるＵＳＢ（Universal Serial Bus）ケーブル５により情報処理装置１に取り込まれる。あるいは、第１、第２の撮像装置２、３によって撮像された画像ファイルはメモリーカード６に格納され、このメモリーカード６が情報処理装置１に挿入されることにより情報処理装置１に取り込まれる。

画像表示装置４は、一例として、データ転送ケーブルの一例であるＨＤＭＩ（High Definition Multimedia Interface：登録商標）ケーブル７により情報処理装置１に接続されている。情報処理装置１から出力される表示画面生成用信号はこのＨＤＭＩケーブル７を介して画像表示装置４に入力され、画像表示装置４は、入力された表示画面生成用信号に基づいてその表示画面４ａに画像を表示する。あるいは、画像表示装置４は、コンポジット映像信号の送受信が可能なＲＣＡ端子を有するケーブル、Ｓ端子を有するケーブルにより情報処理装置１に接続されてもよく、さらには、画像表示装置４は、コンポーネント映像信号の送受信が可能なＤ端子を有するケーブルにより情報処理装置１に接続されてもよい。あるいは、画像表示装置４は、無線ＬＡＮ等の無線通信手段を介して情報処理装置１に接続されてもよい。画像表示装置４は、例えばＴＶ、モニタ、スマートフォンやタブレット端末である。

（第１実施形態の情報処理装置の構成）
図２は、本発明の第１実施形態である情報処理装置１の概略構成を示すブロック図である。図２において、本実施形態の情報処理装置１は、ＣＰＵ（Central Processing Unit）１０、ＲＯＭ（Read Only Memory）１１、ＲＡＭ（Random Access Memory）１２、入出力デバイス１３、ＨＤＭＩインタフェース（Ｉ／Ｆ）１４、ネットワークインタフェース（Ｉ／Ｆ）１５、ＨＤＤ部（Hard Disk Drive）１６及び無線ＬＡＮインタフェース（Ｉ／Ｆ）１７を備えており、これらはバスにより互いに接続されている。

ＣＰＵ１０は、後述するＲＯＭ１１内に格納されたファームウェア等のプログラムが実行されることにより、情報処理装置１全体の制御を行う。また、ＣＰＵ１０は、ＲＯＭ１１内に格納されたプログラムが実行されることにより、図３に示すような各機能部としても動作する。図３に示す各機能部の動作については後述する。ＲＯＭ１１には、上述したファームウェア等のプログラムが格納されている。ＲＡＭ１２は情報処理装置１のワークメモリとして機能し、ＣＰＵ１０を含めた情報処理装置１の動作時に一時的に使用されるプログラム、データ等が格納される。

入出力デバイス１３は、入力インタフェース（Ｉ／Ｆ）１３ａ、入力指示部１３ｂ、カードインタフェース（Ｉ／Ｆ）１３ｃ及びＵＳＢインタフェース（Ｉ／Ｆ）１３ｄを備える。入力インタフェース１３ａには入力指示部１３ｂ及び入力機器２０が接続され、ユーザが入力指示部１３ｂまたは入力機器２０を操作することにより入力される入力信号を受信する。入力指示部１３ｂとしては、例えば画像取り込み指示ボタン等が挙げられ、また、入力機器２０としては、例えばリモコン、キーボード、マウス等が挙げられる。カードインタフェース１３ｃはカードスロット（図略）を備え、このカードスロットに挿入されたメモリーカード６に対してデータの読み出し／書き込みを行う。メモリーカード６の形式に限定はなく、一例としてmini、microを含むＳＤメモリーカード、メモリースティック（登録商標）が好適に挙げられる。ＵＳＢインタフェース１３ｄはＵＳＢコネクタ（図略）を備え、このＵＳＢコネクタに直接、あるいはＵＳＢケーブル５を介して接続されたＵＳＢ機器２１に対してデータの読み出し／書き込みを行う。ＵＳＢ機器２１としては、ＵＳＢフラッシュメモリ、ＵＳＢコネクタを備えた第１及び第２の撮像装置２、３が挙げられる。

ＨＤＭＩインタフェース１４はＨＤＭＩコネクタ（図略）を備え、このＨＤＭＩコネクタにＨＤＭＩケーブル（図略）を介して接続されたＨＤＭＩ出力機器２２に対してＡＶストリーム（映像信号及び音声信号）を出力する。ＨＤＭＩ出力機器２２としては、例えば画像表示装置４が挙げられる。ネットワークインタフェース１５はネットワークコネクタ（図略）を備え、このネットワークコネクタにネットワークケーブル（図略）を介してルータ２３が接続され、このルータ２３がインターネット等のＷＡＮ（Wide Area Network）８に接続されることで、外部ネットワークとの間でデータの送受信がされる。このネットワークインタフェース１５は、例えばＩＥＥＥ（The Institute of Electrical and Electronics Engineers）８０２．３規格に基づく有線通信を行うものである。

ＨＤＤ部１６は、ＨＤＤ１６ｂとＨＤＤインタフェース（Ｉ／Ｆ）１６ａとを備える。ＨＤＤ１６ｂは、記録媒体であるディスクと、このディスクの回転を行う回転部と、ディスクに対してデータの読み出し／書き込みを行うヘッド部とを備える（いずれも不図示）。ＨＤＤインタフェース１６ａは、このＨＤＤ１６ｂに対するデータの読み出し／書き込み指令があった場合に、ＨＤＤ１６ｂ全体の制御を行うとともに、データの読み出し／書き込み制御を行い、読み出されたデータを出力する。また、このＨＤＤ１６ｂには、第１及び第２の撮像装置２、３から取り込んだ基準画像ファイル５０、比較画像ファイル５１及び閾値データ５２が格納されている。基準画像ファイル５０及び比較画像ファイル５１は、そのファイル構成等は同一である。従って、画像ファイル一般について説明する時には、画像ファイル５０と称して説明をする。

画像ファイル５０をＨＤＤ１６ｂに格納する手法は任意であるが、一例として、上述のように第１及び第２の撮像装置２、３が撮像して得られた画像ファイルをメモリーカード６内に格納し、このメモリーカード６をカードインタフェース１３ｃのカードスロットに挿入して、入力指示部１３ｂが操作されたことによりこのメモリーカード６内に格納された画像ファイルをＨＤＤ１６ｂ内に取り込む手法が挙げられる。また、画像ファイルを撮像した第２の撮像装置３に接続されたＵＳＢケーブル５をＵＳＢインタフェース１３ｄのＵＳＢコネクタに挿入して、入力指示部１３ｂが操作されたことにより第２の撮像装置３内に格納された画像ファイルをＨＤＤ１６ｂ内に取り込んでもよい。また、第１の撮像装置２と情報処理装置１の無線ＬＡＮインタフェース２４との間で無線通信を確立して、第１の撮像装置２からの指示により第１の撮像装置２内に格納された画像ファイルを無線通信経由でＨＤＤ１６ｂ内に取り込んでもよい。さらに、ＷＡＮ８に存在する画像ファイルをルータ２３及びネットワークインタフェース１５を介してＨＤＤ１６ｂ内に取り込んでもよい。

この際、第１、第２の撮像装置２、３等から取り込まれた画像ファイルは、ＨＤＤ１６ｂに取り込まれている基準画像ファイルと重複するか否かが判定され、重複する画像ファイルについては最終的にＨＤＤ１６ｂに取り込まれない処理が行われる。すなわち、一時的に比較画像ファイル５１としてＨＤＤ１６ｂ内に取り込まれ、その後、後述する類比判定の結果、既にＨＤＤ１６ｂ内に取り込まれている基準画像ファイル５０と類似しないと判定された場合に、基準画像ファイル５０となる。一方、既にＨＤＤ１６ｂ内に取り込まれている基準画像ファイル５０と類似すると判定された場合は、一時的にＨＤＤ１６ｂ内に取り込まれた比較画像ファイル５１は、このＨＤＤ１６ｂから消去される。あるいは、第１、第２の撮像装置２、３等から取り込まれた画像ファイルは、ＨＤＤ１６ｂに取り込まれる際に後述する類比判定が行われ、既にＨＤＤ１６ｂ内に取り込まれている基準画像ファイル５０と類似しないと判定された場合はそのままＨＤＤ１６ｂに取り込まれて基準画像ファイル５０となる。一方、既にＨＤＤ１６ｂ内に取り込まれている基準画像ファイル５０と類似すると判定された場合は、最終的にＨＤＤ１６ｂ内に取り込まることなく、このＨＤＤ１６ｂから消去される。従って、情報処理装置１のＨＤＤ１６ｂ内には、比較画像ファイル５１が常に格納されているとは限らない。なお、図２において画像ファイル５０は１つのみ図示されているが、本実施例において画像ファイル５０は複数個ＨＤＤ１６ｂ内に格納されていてもよい。

無線ＬＡＮインタフェース１７は、例えばＩＥＥＥ８０２．１１規格に準拠して無線クライアント２５と無線通信を行う。この無線ＬＡＮインタフェース１７は、情報処理装置１を無線ＬＡＮアクセスポイントとして動作させることが可能である。無線クライアント２５としては、例えば第１の撮像装置２が挙げられる。

（第１実施形態の情報処理装置の機能構成）
図３は、第１実施形態の情報処理装置１の機能構成を示す機能ブロック図である。図３において、本実施形態の情報処理装置１は、制御部３０、記憶部３１、入力部３２及び出力部３３を備える。

記憶部３１には、基準画像ファイル５０、比較画像ファイル５１及び閾値データ５２が格納されている。基準画像ファイル５０及び比較画像ファイル５１はそれぞれ基準画像データ５０ａ及び比較画像データ５１ａを備える。基準画像データ５０ａ及び比較画像データ５１ａは、そのデータ構成等は同一である。従って、画像データ一般について説明する時には、画像データ５０ａと称して説明をする。

制御部３０は、特徴点算出部３４、対応特徴点決定部３５、座標変換部３６、距離算出部３７、判定部３８及び顔認識処理部３９を備える。

顔認識処理部３９は、画像ファイル５０の画像データ５０ａに対して顔認識処理を行う。より詳細には、顔認識処理部３９は、記憶部３１に格納されている基準画像ファイル５０、及び第１、第２の撮像装置２、３等から取り込まれた比較画像ファイル５１に対して、基準画像データ５０ａ及び比較画像データ５１ａに撮像されている被写体の顔認識処理を行う。そして、顔認識処理部３９は、少なくとも被写体の顔が撮像されている領域を画像データ５０ａから抽出し、この領域に関する情報、一例として基準画像データ５０ａ及び比較画像データ５１ａにおける、被写体の顔が撮像されている領域を示す画素範囲に関するデータを特徴点算出部３４に出力する。顔認識処理部３９による顔認識処理の具体的手法については公知のものが好適に採用可能であるので、ここではこれ以上の詳細な説明を省略する。なお、顔認識処理部３８は、被写体の顔が撮像されている領域を抽出することなく、単に基準画像データ５０ａ及び比較画像データ５１ａに撮像されている被写体の顔認識処理を行うのみでもよい。

特徴点算出部３４は、基準画像データ５０ａ及び比較画像データ５１ａの特徴点を算出する。より詳細には、特徴点算出部３４は、画像データに存在する局所点（キーポイント）における特徴量を算出する。局所点は、一例として、画像データ５０ａの複数のDifference-of-Gaussian画像から得られた極値、あるいは、画像データ５０ａを構成する画素からコーナーとして抽出された画素として得られる。特徴量は、この局所点の周辺の勾配量等から算出され、ベクトル量、あるいはバイナリコードとして算出される。本実施形態における特徴点とは、上述した局所点を意味する。基準画像データ５０ａ及び比較画像データ５１ａの特徴点を算出するアルゴリズムとしては、画像データの拡大・縮小や回転に依存しないものが好ましく、このようなアルゴリズムとしては、ＯＲＢ（Oriented FAST and Rotated BRIEF）、ＳＩＦＴ（Scale Invariant Feature Transform）、及びＳＵＲＦ（Speeded-Up Robust Features）などが挙げられる。これらアルゴリズムは周知のものであるので、ここではこれ以上の詳細な説明を省略する。当然、例示した以外の周知の特徴量算出アルゴリズムが好適に採用可能である。特徴点算出部３４により算出された特徴点及びこの特徴点における特徴量は、一時的に記憶部３１に格納される。

ここで、特徴点算出部３４は、顔認識処理部３９が出力した被写体の顔が撮像されている領域に関する情報を受け入れ、好ましくは、基準画像データ５０ａ及び比較画像データ５１ａのうち、被写体の顔が撮像されている領域内における特徴点を算出することが好ましい。領域内で特徴点を算出するか、あるいは、基準画像データ５０ａ及び比較画像データ５１ａの全領域において特徴点を算出するかは任意であり、好ましくは、ユーザ等により事前にいずれの手法によって特徴点を算出するかについて設定される。特徴点算出部３４が顔認識処理部３９の出力を受け入れて特徴点を算出するかどうかについては任意であり、基準画像データ５０ａ及び比較画像データ５１ａの全てについて特徴量を算出してもよい。

対応特徴点決定部３５は、特徴点算出部３４により算出された基準画像データ５０ａ及び比較画像データ５１ａの特徴点の特徴量に基づいて、これら基準画像データ５０ａ及び比較画像データ５１ａの特徴点の対応する組を決定する。上述のように、基準画像データ５０ａ及び比較画像データ５１ａの特徴点にはそれぞれ対応する特徴量が特徴点算出部３４により算出され、加えて、個々の特徴量は、ベクトル量あるいはバイナリコードとして算出される。基準画像データ５０ａ及び比較画像データ５１ａにおいて同一または類似する形状等を有する位置の特徴量であるベクトル量あるいはバイナリコードは対応する値あるいは次元を有することが知られている。そこで、対応特徴点決定部３５は、特徴点の特徴量を参照して、基準画像データ５０ａ及び比較画像データ５１ａの特徴点の中から、対応する特徴点の組を決定する。対応する特徴点の組を決定するアルゴリズムも周知であるので、ここではこれ以上の説明を省略する。

座標変換部３６は、対応特徴点決定部３５が決定した、基準画像データ５０ａ及び比較画像データ５１ａの特徴点の任意の組を３つ選択し、選択された特徴点の組の一方の特徴点の座標値が他方の特徴点の座標値に一致するように座標変換を行う。好ましくは、座標変換部３６は、アフィン変換により、選択された特徴点の組の一方の特徴点の座標値が他方の特徴点の座標値に一致するように座標変換を行う。

距離算出部３７は、座標変換部３６により３組の特徴点の座標値が一致する座標変換を行った状態で、残りの組の基準画像データ５０ａ及び比較画像データ５１ａの特徴点間の距離を算出し、得られた距離の合計を算出する。

判定部３８は、距離算出部３７により算出された距離の合計が所定の閾値以下であれば、比較画像ファイル５１を基準画像ファイル５０に類似する比較画像ファイル５１であると判定する。この閾値は、判定部３８の判定結果に基づいて情報処理装置１がどのような処理を行うかによって定められる。本実施形態では、上述のように、第１、第２の撮像装置２、３等から取り込んだ画像ファイルについて、記憶部３１に取り込まれている基準画像ファイル５０と重複するか否かの判定を行うために、比較画像ファイル５１と基準画像ファイル５０の類似判定を行っているので、閾値を小さい値に設定して、実質的に同一な画像ファイルの取り込みを行わないことが好ましい。

入力部３２は、第１、第２の撮像装置２、３を含む外部入力機器から情報処理装置１に入力される各種データの入力を受け付け、入力された各種データを制御部３０に入力し、あるいは記憶部３１に格納する。出力部３３は、表示画面生成用信号を含む、制御部３０または記憶部３１内の各種データを、画像表示装置４を含む外部出力機器に出力する。

以上の構成において、制御部３０及び制御部３０を構成する特徴点算出部３４、対応特徴点決定部３５、座標変換部３６、距離算出部３７、判定部３８及び顔認識処理部３９は主にＣＰＵ１０により構成され、記憶部３１は主にメモリーカード６、ＲＯＭ１１、ＲＡＭ１２、ＨＤＤ部１６及びデータ記憶機能を有するＵＳＢ機器２１により構成され、入力部３２は主に入出力デバイス１３、ネットワークインタフェース１５及び無線ＬＡＮインタフェース１７により構成され、出力部３３は主にＨＤＭＩインタフェース１４、ネットワークインタフェース１５及び無線ＬＡＮインタフェース１７により構成される。図３に示す情報処理装置１の各機能部の動作については後に詳述する。

（第１実施形態の動作の概要）
次に、図４〜図７を参照して、本実施形態の情報処理装置１の動作の概要について説明する。

図４に示すように、情報処理装置１の記憶部３１には基準画像データ５０ａが格納され、また、第１、第２の撮像装置２、３から２枚の画像データが比較画像データ５１ａとして記憶部３１に取り込まれたものとする。ここで、２枚の比較画像データ５１ａのうち、図４において右上部に示された比較画像データ５１ａ（以下、図４〜図７の説明において５１ａ−１という符号で示す）は基準画像データ５０ａと同一であり、図４において右下部に示された比較画像データ５１ａ（以下、図４〜図７の説明において５１ａ−２という符号で示す）は基準画像データ５０ａに類似するものの同一ではない。以下、情報処理装置１によって、これら比較画像データ５１ａ−１、５１ａ−２が基準画像データ５０ａに類似するか否かの判定動作について説明する。

まず、情報処理装置１の特徴点算出部３４は、これら基準画像データ５０ａ及び比較画像データ５１ａ−１、５１ａ−２の特徴点を算出する。一例として、特徴点算出部３４による算出の結果、図５の黒丸に示すような位置に基準画像データ５０ａ及び比較画像データ５１ａ−１、５１ａ−２の特徴点が算出されたものとする。なお、図５に示す特徴点の数及びその位置はあくまでも説明のためのものであり、実際に算出されたものとは必ずしも一致しない。

次いで、情報処理装置１の対応特徴点決定部３５は、特徴点算出部３４が算出した特徴点に基づいて、基準画像データ５０ａ及び比較画像データ５１ａ−１、５１ａ−２の特徴点の対応する組を決定する。一例として、対応特徴点決定部３５による決定動作の結果、図６の破線で示すように基準画像データ５０ａ及び比較画像データ５１ａ−１、５１ａ−２の特徴点の対応する組が決定されたものとする。この際、基準画像データ５０ａ及び比較画像データ５１ａ−１、５１ａ−２の特徴点の対応する組を結ぶライン（図６における破線）が互いに交叉する場合、このような特徴点の対応する組は除外することが好ましい。なお、図６においては対応する組を３つのみ図示しているが、実際には対応特徴点決定部３５により多数の組が決定されうる。また、図６に示す特徴点の対応の組もあくまで説明のためのものであり、実際に算出されたものとは必ずしも一致しない。

さらに、情報処理装置１の座標変換部３６は、対応特徴点決定部３５が決定した、基準画像データ５０ａ及び比較画像データ５１ａの特徴点の任意の組を３つ選択する。一例として、座標変換部３６は、図６に白丸で示す特徴点の組を３つ選択したものとする。次いで、座標変換部３６は、選択された特徴点の組の一方の特徴点の座標値が他方の特徴点の座標値に一致するようにアフィン変換を行う。

座標変換部３６が行うアフィン変換の算出式の一例について説明する。ｎ個（ｎは自然数でｎ≧３）の特徴点の組を有する基準画像データ５０ａ及び比較画像データ５１ａにおいて、対応する組の一方の特徴点の座標値を他法の特徴点の座標値に対応させる場合、アフィン変換行列Affineを、回転とＸ−Ｙ方向の平行移動に限定した場合、このアフィン変換行列Affine変換行列は次のように表すことができる。

ここで、ｉは自然数であり、１≦ｉ≦ｎである。

比較画像データ５１ａの特徴点の座標値img_a(i)及び基準画像データ５０ａの特徴点の座標値img_b(i)をそれぞれ

とした場合、特徴点の組（ｉ＝１，２，３）の座標値を（１）式に代入することで、アフィン変換行列Affineのアフィン変換パラメータであるT_x，T_y，θを算出することができる。そして、このアフィン変換行列Affineを用いれば、比較画像データ５１ａ−１、５１ａ−２の特徴点の座標値img_a(i)から、座標変換後の比較画像データ５１ａ−１、５１ａ−２の座標値dst_a(i)を算出することができる。

座標変換部３６により座標変換がされた状態を図７に示す。実際には比較画像データ５１ａ−１、５１ａ−２の特徴点の３組の座標値が一致するような座標変換が行われるが、図７では見えやすさの観点から基準画像データ５０ａと比較画像データ５１ａ−１、５１ａ−２とを若干ずらして表示している。図７に示すように、比較画像データ５１ａ−１は基準画像データ５０ａと同一の画像データであるので、特徴点の３組の座標値が一致するような座標変換が行われると、残りの特徴点の組の座標値も一致する。一方、比較画像データ５１ａ−２は基準画像データ５０ａに類似するものの同一の画像データではないので、特徴点の３組の座標値が一致するような座標変換が行われても、残りの特徴点の組の座標値が一致するとは限らない。

次いで、距離算出部３７は、座標変換部３６により３組の特徴点の座標値が一致する座標変換を行った状態で、残りの組の基準画像データ５０ａ及び比較画像データ５１ａ−１、５１ａ−２の特徴点間の距離を算出し、得られた距離の合計を算出する。

特徴点間の距離の合計値Ｌは、座標変換後の比較画像データ５１ａ−１、５１ａ−２の座標値dst_a(i)及び基準画像データ５０ａの特徴点の座標値img_b(i)を用いて、次式により算出することができる。

そして、判定部３８は、距離算出部３７により算出された距離Ｌの合計が所定の閾値以下であれば、比較画像データ５１ａを基準画像データ５０ａに類似する比較画像ファイル５１であると判定する。

図７に示す例では、比較画像データ５１ａ−１は基準画像データ５０ａと同一の画像データであるので、特徴点の３組の座標値が一致するような座標変換が行われると、残りの特徴点の組の座標値も一致するため、距離算出部３７が算出した距離Ｌの合計は０になる。一方、比較画像データ５１ａ−２は基準画像データ５０ａに類似するものの同一の画像データではないので、特徴点の３組の座標値が一致するような座標変換が行われても、残りの特徴点の組の座標値が一致するとは限らないため、距離算出部３７が算出した距離Ｌの合計は０以上の値になる。

従って、判定部３８は、比較画像データ５１ａ−１については距離Ｌの合計が０であり、所定の閾値以下であるので、基準画像データ５０ａに類似する比較画像データ５１ａ−１であると判定する。一方、比較画像データ５１ａ−２については距離Ｌの合計は０以上の値である。本実施形態では、上述のように閾値が小さい値に設定されており、図７に示す例においては比較画像データ５１ａ−２について距離算出部３７が算出した距離Ｌの合計は閾値を超えるものとする。そこで、判定部３８は、比較画像データ５１ａ−２は基準画像データ５０ａに類似しないデータであると判定する。この後、比較画像データ５１ａ−１は記憶部３１から消去され、一方、比較画像データ５１ａ−２は基準画像データ５０ａとなる。

（第１実施形態の動作）
図８〜図９は、本実施形態の情報処理装置１による類似画像検索方法の動作を説明するためのフローチャートである。

図８に示すフローチャートは、第１、第２の撮像装置２等から画像ファイルが記憶部３１に取り込まれ、（一時的に）比較画像ファイル５１として格納された段階から開始する。まず、ステップＳ１では、制御部３０が、記憶部３１に格納されている比較画像ファイル５１のうち、任意の比較画像ファイル５１を１枚選択する。次に、ステップＳ２では、情報処理装置１の制御部３０が、記憶部３１に格納されている基準画像ファイル５０のうち、任意の基準画像ファイル５０を１枚選択する。

次いで、ステップＳ３では、特徴点算出部３４が、ステップＳ１及びステップＳ２で選択された基準画像ファイル５０及び比較画像ファイル５１の画像データ５０ａ、５１ａの特徴点を算出する。

ステップＳ４では、対応特徴点決定部３５が、特徴点算出部３４が算出した基準画像データ５０ａ、及び比較画像データ５１ａの特徴点の対応する組を探索する。次いで、ステップＳ５では、対応特徴点決定部３５が、特徴点算出部３４が算出した基準画像データ５０ａ及び比較画像データ５１ａの特徴点の対応する組を決定する。対応特徴点決定部３５による基準画像データ５０ａ及び比較画像データ５１ａの特徴点の対応する組の探索及び決定動作手順については既に説明したので、ここではこれ以上の説明を省略する。

ステップＳ６では、座標変換部３６が、ステップＳ５において対応特徴点決定部３５が決定した、基準画像データ５０ａ及び比較画像データ５１ａの特徴点の任意の組を３つ選択する。次いで、ステップＳ７では、座標変換部３６が、ステップＳ７で選択した基準画像データ５０ａ及び比較画像データ５１ａの特徴点の任意の３組について、アフィン変換により、選択した特徴点の組の一方の特徴点の座標値が他方の特徴点の座標値に一致するように座標変換を行う。座標変換部３６による座標変換手順についても既に説明したので、ここではこれ以上の説明を省略する。

ステップＳ８では、距離算出部３７が、座標変換部３６により３組の特徴点の座標値が一致する座標変換を行った状態で、残りの組の基準画像データ５０ａ及び比較画像データ５１ａの特徴点間の距離Ｌを算出する。次いで、ステップＳ９では、距離算出部３７が、ステップＳ８で算出した特徴点間の距離Ｌの合計を算出する。ステップＳ９において距離算出部３７が算出した特徴点間の距離Ｌの合計は、一時的に記憶部３１内に格納される。特徴点間の距離算出手順についても既に説明したので、ここではこれ以上の説明を省略する。

ステップＳ１０では、判定部３８により、距離算出部３７により算出された距離Ｌの合計が所定の閾値以下であるか否かが判定され、距離Ｌの合計が所定の閾値以下である（ステップＳ１０においてＹＥＳ）と判定された場合は、プログラムはステップＳ１１に移行し、ステップＳ１において選択された比較画像ファイル５１がステップＳ２において選択された基準画像ファイル５０に類似するものとして決定される。この後、プログラムはステップＳ１５に移行する。

一方、距離Ｌの合計が所定の閾値を超える（ステップＳ１０においてＮＯ）と判定された場合は、プログラムはステップＳ１２に移行し、ステップＳ１において選択された比較画像ファイル５１はステップＳ２において選択された基準画像ファイル５０に類似しないものとして決定される。

次いで、ステップＳ１３では、制御部３０により、記憶部３１内に格納されている全ての基準画像ファイル５０とステップＳ１において選択された比較画像ファイル５１との類比判定を行ったか否かが判定され、全ての基準画像ファイル５０とステップＳ１において選択された比較画像ファイル５１との類比判定を行った（ステップＳ１３においてＹＥＳ）と判定された場合は、プログラムはステップＳ１５に移行し、ステップＳ１において選択された比較画像ファイル５１との類比判定を行っていない基準画像ファイル５０が存在する（ステップＳ１３においてＮＯ）と判定された場合は、ステップＳ１４において、制御部３０が、記憶部３１に格納されている次の基準画像ファイル５０を選択する。以降、ステップＳ３〜ステップＳ１４に示す動作が繰り返される。

次いで、ステップＳ１５では、制御部３０により、記憶部３１内に格納されている全ての比較画像ファイル５１に対して類比判定を行ったか否かが判定され、全ての比較画像ファイル５１に対して類比判定を行った（ステップＳ１５においてＹＥＳ）と判定された場合は、プログラムは終了し、まだ類比判定を行っていない比較画像ファイル５１が存在する（ステップＳ１５においてＮＯ）と判定された場合は、ステップＳ１６において、制御部３０が、記憶部３１に格納されている次の比較画像ファイル５１を選択する。以降、ステップＳ２〜ステップＳ１６に示す動作が繰り返される。

（第１実施形態の効果）
以上説明したように、本実施形態の情報処理装置１によれば、基準画像ファイル５０と比較画像ファイル５１との類比判定を行うことができる。ここで、本実施形態の情報処理装置１では、基準画像データ５０ａと比較画像データ５１ａとの特徴点を算出してこれら基準画像データ５０ａと比較画像データ５１ａとの特徴点との対応する組を決定し、これら特徴点の対応する組から任意の３組を選択して、選択された特徴点の組の一方の特徴点の座標値が他方の特徴点の座標値に一致するようなアフィン変換を行い、さらに、座標変換をした状態で残りの特徴点の組の間の距離の合計値を算出し、この合計値が所定の閾値以下である場合に、比較画像データ５１ａが基準画像データ５０ａに類似していると判定している。従って、従来の画像類比判定技術に比較して簡易に類比判定を行えるとともに、比較画像データ５１ａが基準画像データ５０ａを回転したものであった場合にも確実に類比判定を行うことができ、堅牢性に優れた類比判定を行うことができる。以上から、本実施形態の情報処理装置１によれば、簡易にかつ堅牢性に優れた画像データの類似判定を行うことの可能な類似画像検索方法及び情報処理装置１を提供することができる。

（第２実施形態）
上述の第１実施形態では、基準画像ファイル５０と比較画像ファイル５１との類比判定を行う度に、特徴点算出部３４がこれら基準画像ファイル５０及び比較画像ファイル５１のデータ５０ａ、５１ａの特徴点を算出していた。比較画像ファイル５１は撮像装置２、３等から情報処理装置１へ新たに取り込まれた画像ファイルに相当するので、類比判定動作を行う度に特徴点算出部３４が比較画像データ５１ａの特徴点を算出する必要があるが、基準画像ファイル５０は情報処理装置１の記憶部３１に既に取り込まれており、類比判定を行う度に特徴点算出部３４が基準画像データ５０ａの特徴点を算出する必要はないとも考えられる。

そこで、第２実施形態では、基準画像ファイル５０の基準画像データ５０ａについては予め特徴点算出部３４が特徴点の座標値及び特徴量を算出して、記憶部３１の特徴点データベース５３に格納しておくことで、類比判定動作の高速化を図っている。

図１０は、本発明の第２実施形態である情報処理装置１の機能構成を示す機能ブロック図である。ここで、第２実施形態の情報処理装置１は、上述の第１実施形態の情報処理装置１と、特徴点算出部３４、対応特徴点決定部３５、座標変換部３６及び記憶部３１の構成及び動作が異なるだけで、その他の構成要素は同一である。従って、同一の構成要素については同一の符号を付し、その説明を簡略化する。

記憶部３１には、基準画像ファイル５０の基準画像データ５０ａについて予め特徴点算出部３４が算出した、特徴点の座標値及び特徴量が特徴点データベース５３に格納されている。特徴点算出部３４が基準画像データ５０ａの特徴点を算出するタイミングは任意であり、比較画像データ５１ａに対する類比判定動作に先立って行っていれば足りる。

特徴点算出部３４は、基準画像データ５０ａについては、上述のように類比判定動作に先立って、比較画像データ５１ａについては、類比判定動作の都度、特徴点及び特徴量算出動作を行う。また、対応特徴点決定部３５は、特徴点の対応する組を決定する際に、特徴点算出部３４が算出した基準画像データ５０ａ及び比較画像データ５１ａの特徴点の特徴量のうち同じ特徴量を持つ３組の特徴点の組が存在するか否かを判定し、基準画像データ及び比較画像データの特徴点の特徴量のうち同じ特徴量を持つ３組の特徴点の組が存在すれば、これら基準画像データ及び比較画像データの特徴点の対応する組を決定する。より詳細には、対応特徴点決定部３５は、基準画像データ５０ａの特徴点の特徴量については特徴点データベース５３から読み出し、比較画像データ５１の特徴点の特徴量については、特徴点算出部３４が類比判定動作の度に算出した特徴点及び特徴量を用いる。さらに、座標変換部３６は、座標変換を行う際に、対応特徴点決定部３５により同じ特徴量を持つと判定された基準画像データ及び比較画像データの特徴点の組を３組複数選択する。

図１１及び図１２は、第２実施形態の情報処理装置１による類似画像検索方法の動作を説明するためのフローチャートである。図１１において、ステップＳ２０〜ステップＳ２１までの動作は、図８に示す第１実施形態のステップＳ１〜ステップＳ２の動作と同一であるので、説明を省略する。

ステップＳ２２では、対応特徴点決定部３５が、ステップＳ２１で選択された基準画像データ５０ａの特徴点及び特徴量を特徴点データベース５３から読み出す。ステップＳ２３では、特徴点算出部３４が、ステップＳ２０で選択された比較画像データ５１ａの特徴点及び特徴量を算出する。ステップＳ２４では、対応特徴点決定部３５が、基準画像データ５０ａ及び比較画像データ５１ａの特徴点の特徴量のうち同じ特徴量を持つ３組の特徴点の組を探索する。

そして、ステップＳ２５では、ステップＳ２４での探索の結果、基準画像データ５０ａ及び比較画像データ５１ａの特徴点の特徴量のうち同じ特徴量を持つ３組の特徴点の組が存在するか否かを判定し、基準画像データ５０ａ及び比較画像データ５１ａの特徴点の特徴量のうち同じ特徴量を持つ３組の特徴点の組が存在する（ステップＳ２５においてＹＥＳ）場合は、プログラムはステップＳ２６に移行し、基準画像データ５０ａ及び比較画像データ５１ａの特徴点の特徴量のうち同じ特徴量を持つ３組の特徴点の組が存在しない（ステップＳ２５においてＮＯ）場合は、プログラムはステップＳ３３に移行する。

ステップＳ２６では、対応特徴点決定部３５が、特徴点算出部３４が算出した基準画像データ５０ａ及び比較画像データ５１ａの特徴点の対応する組を決定する。ステップＳ２７では、座標変換部３６が、ステップＳ２５で探索した、基準画像データ５０ａ及び比較画像データ５１ａの特徴点の特徴量のうち同じ特徴量を持つ３組の特徴点の組について、アフィン変換により、選択した特徴点の組の一方の特徴点の座標値が他方の特徴点の座標値に一致するように座標変換を行う。

これ以降、図１１及び図１２において、ステップＳ２８〜ステップＳ３６までの動作は、図８〜図９に示す第１実施形態のステップＳ８〜ステップＳ１６の動作と同一であるので、説明を省略する。

従って、本実施形態によっても、上述した第１実施形態と同様の効果を奏することができる。特に、本実施形態では、基準画像ファイル５０の基準画像データ５０ａについて予め特徴点算出部３４が算出した、特徴点の座標値及び特徴量が特徴点データベース５３に格納されているので、類比判定動作の都度、特徴点算出部３４が基準画像データ５０ａの特徴量算出動作を行う必要がなく、これにより、類比判定動作のさらなる高速化を図ることができる。

（第３実施形態）
上述の第１実施形態では、類比判定を同一の画像ファイル取り込み判定に用いていた。このため、判定部３８における閾値が比較的小さい値に設定されていた。判定部３８における閾値は、小さく設定すれば、基準画像データ５０ａと略同一である比較画像データ５１ａについて類似であると判定することになり、大きく設定すれば、基準画像データ５０ａと同一のみならず基準画像データ５０ａの一部を変形したような類似の比較画像データ５１ａについても類似であると判定することができる。

加えて、判定部３８において閾値を設けることなく、距離算出部３７が、３組の特徴点の座標値が一致する座標変換を行った状態で、残りの組の基準画像データ５０ａ及び比較画像データ５１ａの特徴点間の距離を算出し、得られた距離の合計を複数の比較画像データ５１ａのそれぞれについて算出し、判定部３８が、残りの組の基準画像データ５０ａ及び比較画像データ５１ａの特徴点間の距離の合計が最小値を取る比較画像データ５１ａを、基準画像データ５０ａに類似する比較画像データ５１ａであると判定してもよい。

このように、閾値を設けることなく、特徴点間の距離の合計が最小値を取る比較画像データ５１ａを、基準画像データ５０ａに類似する比較画像データ５１ａであると判定することにより、例えば顔認識処理において基準画像データ５０ａに撮像された被写体に最も類似する被写体が撮像された比較画像データ５１ａを抽出することができる。

ここで、第３実施形態の情報処理装置１は、上述の第１実施形態の情報処理装置１と、距離算出部３７及び判定部３８の動作が若干異なるだけで、その他の構成要素は同一である。従って、同一の構成要素については同一の符号を付し、その説明を簡略化する。

図１３及び図１４は、第３実施形態の情報処理装置１による類似画像検索方法の動作を説明するためのフローチャートである。図１３及び図１４において、ステップＳ４０〜ステップＳ４９までの動作は、ステップＳ４２及びステップＳ４３を除いて図８〜図９に示す第１実施形態のステップＳ１〜ステップＳ９の動作と同一であるので、説明を省略する。

但し、本実施形態では、ステップＳ４１における基準画像ファイル５１の選択動作の後、ステップＳ４２において、顔認識処理部３９が、ステップＳ４０及びステップＳ４１で選択された基準画像ファイル５０、及び比較画像ファイル５１に対して、少なくとも被写体の顔が撮像されている領域を画像データ５０ａ、５１ａから抽出している。顔認識処理部３９が抽出した、基準画像データ５０ａ及び比較画像データ５１ａにおける、被写体の顔が撮像されている領域に関する情報は特徴点算出部３４に出力される。次いで、ステップＳ４３では、特徴点算出部３４が、ステップＳ４０及びステップＳ４１で選択された基準画像ファイル５０、及び比較画像ファイル５１の画像データ５０ａ、５１ａのうち、顔認識処理部３９が抽出した領域内における特徴点を算出する。特徴点算出部３４による特徴点算出手順については既に説明したので、ここではこれ以上の説明を省略する。

ステップＳ５０では、制御部３０により、記憶部３１内に格納されている全ての基準画像ファイル５０とステップＳ２０において選択された比較画像ファイル５１との類比判定を行ったか否かが判定され、全ての基準画像ファイル５０とステップＳ４０において選択された比較画像ファイル５１との類比判定を行った（ステップＳ５０においてＹＥＳ）と判定された場合は、プログラムはステップＳ５２に移行し、ステップＳ４０において選択された比較画像ファイル５１との類比判定を行っていない基準画像ファイル５０が存在する（ステップＳ５０においてＮＯ）と判定された場合は、ステップＳ５１において、制御部３０が、記憶部３１に格納されている次の基準画像ファイル５０を選択する。以降、ステップＳ４２〜ステップＳ５１に示す動作が繰り返される。

ステップＳ５２では、判定部３８が、ステップＳ４６で選択された任意の３組の対応する特徴点の組を除く、残りの組の基準画像データ５０ａ及び比較画像データ５１ａの特徴点間の距離の合計の最小値を探索する。次いで、ステップＳ５３では、ステップＳ５２において探索された、残りの組の基準画像データ５０ａ及び比較画像データ５１ａの特徴点間の距離の合計が最小値となる比較画像データ５１ａを探索し、この比較画像データ５１ａを、基準画像データ５０ａに類似する比較画像データ５１ａであると判定する。

ステップＳ５４では、制御部３０により、記憶部３１内に格納されている全ての比較画像ファイル５１に対して類比判定を行ったか否かが判定され、全ての比較画像ファイル５１に対して類比判定を行った（ステップＳ５４においてＹＥＳ）と判定された場合は、プログラムは終了し、まだ類比判定を行っていない比較画像ファイル５１が存在する（ステップＳ５４においてＮＯ）と判定された場合は、ステップＳ５５において、制御部３０が、記憶部３１に格納されている次の比較画像ファイル５１を選択する。以降、ステップＳ４１〜ステップＳ５５に示す動作が繰り返される。

従って、本実施形態によっても、上述の第１実施形態と同様の効果を奏することができる。

（第４実施形態）
上述の第３実施形態では、類比判定動作の度に、顔認識処理部３９が、ステップＳ４０及びステップＳ４１で選択された基準画像ファイル５０、及び比較画像ファイル５１に対して、少なくとも被写体の顔が撮像されている領域を画像データ５０ａ、５１ａから抽出している。比較画像ファイル５１は撮像装置２、３等から情報処理装置１へ新たに取り込まれた画像ファイルに相当するので、類比判定動作を行う度に顔認識処理部３９が顔認識処理を行う必要があるが、基準画像ファイル５０は情報処理装置１の記憶部３１に既に取り込まれており、類比判定を行う度に顔認識処理部３９が顔認識処理を行う必要はないとも考えられる。

そこで、第４実施形態では、基準画像ファイル５０の基準画像データ５０ａについては、予め顔認識処理部３９が顔認識処理をして少なくとも被写体の顔が撮像されている領域を抽出し、抽出された領域に対して特徴点算出部３４が予め記憶部３１の人物データベース５４に個々の被写体の特徴点及び特徴量を格納しておくことで、類比判定動作の高速化を図っている。

図１５は、本発明の第４実施形態である情報処理装置１の機能構成を示す機能ブロック図である。ここで、第２実施形態の情報処理装置１は、上述の第１実施形態の情報処理装置１と、特徴点算出部３４、顔認識処理部３９及び記憶部３１の構成及び動作が異なるだけで、その他の構成要素は同一である。従って、同一の構成要素については同一の符号を付し、その説明を簡略化する。

記憶部３１には、基準画像ファイル５０の基準画像データ５０ａについて予め顔認識処理部３９が算出した、少なくとも被写体の顔が撮像されている領域に対応する、特徴点算出部３４が算出した個々の被写体に対応する特徴点の座標値及び特徴量が人物データベース５４に格納されている。顔認識処理部３９が、基準画像データ５０ａにおける少なくとも被写体の顔が撮像されている領域を抽出するタイミング、及び、特徴点算出部３４が抽出された領域に対して特徴点を算出するタイミングは任意であり、比較画像データ５１ａに対する類比判定動作に先立って行っていれば足りる。

顔認識処理部３９は、基準画像データ５０ａについては、上述のように類比判定動作に先立って、予め顔認識処理をして少なくとも被写体の顔が撮像されている領域を抽出する。また、特徴点算出部３４は、基準画像データ５０ａについては、上述のように類比判定動作に先立って、顔認識処理部３９が抽出した領域について、比較画像データ５１ａについては、類比判定動作の都度、特徴点及び特徴量算出動作を行う。この際、顔認識処理部３９は、基準画像データ５０ａに複数の被写体が撮像されている場合は、個々の被写体に対応して、少なくとも被写体の顔が撮像されている領域を複数個画像データ５０ａから抽出し、特徴点算出部３４は、複数の領域のそれぞれについて、すなわち個々の被写体に対応して特徴点及び特徴量算出動作を行う。

図１６及び図１７は、第４実施形態の情報処理装置１による類似画像検索方法の動作を説明するためのフローチャートである。図１６において、ステップＳ６０〜ステップＳ６１までの動作は、図１３に示す第３実施形態のステップＳ４０〜ステップＳ４１の動作と同一であるので、説明を省略する。

ステップＳ６２では、特徴点算出部３４が、ステップＳ４１で選択された基準画像データ５０ａに対応する個々の被写体の特徴点及び特徴量を人物データベース５４から読み出す。ステップＳ６３では、顔認識処理部３９が、ステップＳ６０選択された比較画像ファイル５１に対して、少なくとも被写体の顔が撮像されている領域を画像データ５１ａから抽出する。この際、顔認識処理部３９は、比較画像データ５１ａに複数の被写体が撮像されている場合は、個々の被写体に対応して、少なくとも被写体の顔が撮像されている領域を複数個画像データ５１ａから抽出する。

ステップＳ６４では、ステップＳ６３で顔認識処理部３９が抽出した領域のうち、いずれか一つの領域を選択する。ステップＳ６５では、特徴点算出部３４が、ステップＳ６４で選択された領域について特徴点算出動作を行う。

これ以降、図１６及び図１７において、ステップＳ６６〜ステップＳ７１までの動作は、図１３〜図１４に示す第３実施形態のステップＳ４４〜ステップＳ４９の動作と同一であるので、説明を省略する。

ステップＳ７２では、制御部３０により、ステップＳ６３で顔認識処理部３９が抽出した領域のうち、全ての領域に対して類比判定を行ったか否かが判定され、全ての領域に対して類比判定を行った（ステップＳ７２においてＹＥＳ）と判定された場合は、プログラムはステップＳ７４に移行し、まだ類比判定を行っていない領域が存在する（ステップＳ７２においてＮＯ）と判定された場合は、ステップＳ７３において、制御部３０が次の領域を選択する。以降、ステップＳ６４〜ステップＳ７３に示す動作が繰り返される。

これ以降、図１７において、ステップＳ７４〜ステップＳ７９までの動作は、図１４に示す第３実施形態のステップＳ５０〜ステップＳ５５の動作と同一であるので、説明を省略する。

従って、本実施形態によっても、上述した第３実施形態と同様の効果を奏することができる。特に、本実施形態では、基準画像ファイル５０の基準画像データ５０ａについて、予め顔認識処理部３９が算出した、少なくとも被写体の顔が撮像されている領域に対応する、特徴点算出部３４が算出した個々の被写体に対応する特徴点の座標値及び特徴量が人物データベース５４に格納されているので、類比判定動作の都度、基準画像データ５０ａについて顔認識処理部３９が領域抽出動作をし、特徴点算出部３４が特徴量算出動作を行う必要がなく、これにより、類比判定動作のさらなる高速化を図ることができる。

（第５実施形態）
図１８は、本発明の第２実施形態である画像処理システムＳの概略構成を示す図である。本実施形態の画像処理システムＳと上述の第１実施形態である画像処理システムとの相違点は、本実施形態の情報処理装置１はインターネット等のＷＡＮ８を介してサーバ装置９に接続されている点である。従って、第１実施形態と同様の構成要素については同一の符号を付し、その説明を簡略化する。

図１９は、第２実施形態の画像処理システムＳの機能構成を示す機能ブロック図である。図１３において、本実施形態の情報処理装置１は、制御部３０、記憶部３１、第１の入力部３２ａ及び第１の出力部３３ａを備え、また、本実施形態のサーバ装置９も制御部９０、記憶部９１、第２の入力部９２及び第２の出力部９３を備える。

記憶部３１には、第１実施形態と同様の比較画像ファイル５１が格納されている。第１の出力部３３ａは、第１実施形態の出力部３３と同一の機能を有するとともに、比較画像ファイル５１の比較画像データ５１ａをサーバ装置９に送信する。また、第１の入力部３２ａは、第１実施形態の入力部３２と同一の機能を有するとともに、サーバ装置９の判定部９８の判定結果を受信する。

本実施形態において、サーバ装置９の制御部９０は、特徴点算出部９４、対応特徴点決定部９５、座標変換部９６、距離算出部９７、判定部９８及び顔認識処理部９９を備える。特徴点算出部９４、対応特徴点決定部９５、座標変換部９６、距離算出部９７、判定部９８及び顔認識処理部９９の機能は、第１実施形態の特徴点算出部３４、対応特徴点決定部３５、座標変換部３６、距離算出部３７、判定部３８及び顔認識処理部３９のそれと同一であるが、本実施形態の特徴点算出部９４、対応特徴点決定部９５、座標変換部９６、距離算出部９７、判定部９８及び顔認識処理部９９は、いずれもサーバ装置９の記憶部９１に記憶された基準画像データ５０ａと、情報処理装置１の記憶部３１に格納された比較画像データ５１ａとに基づいて各種動作を行う。

記憶部９１には、第１実施形態の基準画像ファイル５０と同様の基準画像ファイル５０が格納されている。第２の入力部９２は、情報処理装置１から送信された比較画像ファイル５１の比較画像データ５１ａを受信し、第２の出力部９３は、サーバ装置９の判定部９８の判定結果を情報処理装置１に送信する。

そして、第１及び第２の入力部３２ａ、９２と第１及び第２の出力部３３ａ、９３とは通信回線１００により接続されている。

従って、本実施形態によっても、上述した第１実施形態と同様の効果を得ることができる。

なお、本実施形態において、図１８に示した例ではサーバ装置９に１台の情報処理装置１が接続されていたが、サーバ装置９との間でデータの送受信を行う情報処理装置１は１台に限定されず、複数台の情報処理装置１がサーバ装置９に接続されていてもよい。また、複数の情報処理装置１がＷＡＮ８を介して接続されている場合、いずれか１台の情報処理装置１がサーバ装置９として動作する構成も可能である。

また、上述の実施形態では、情報処理装置１からサーバ装置９に比較画像データ５１ａを送信し、サーバ装置９は類比判定の結果を情報処理装置１に返送していたが、情報処理装置１から送信するデータはこの実施形態に限定されず、種々の変形例が可能である。一例として、情報処理装置１の特徴点算出部３４が算出した特徴点情報をサーバ装置１に送信し、サーバ装置１はこの特徴点情報に基づいて類比判定を行い、その結果を情報処理装置１に返送する構成が挙げられる。このような構成を採用すると、情報処理装置１とサーバ装置９との間の通信データ量を上述の実施形態に比較して削減することができ、通信回線１００の通信負荷を削減することができる。加えて、比較画像データ５１ａを送信する上述の実施形態に比較してプライバシー保護の観点からも有利である。このような構成は、上述した、複数の情報処理装置１をＷＡＮ８を介して接続し、いずれか１台の情報処理装置１をサーバ装置９として動作させる構成に好適に適用可能である。

（変形例）
なお、本発明の類似画像検索方法及び類似画像検索装置は、その細部が上述の各実施形態に限定されず、種々の変形例が可能である。一例として、上述の第２実施形態のように、本発明の類似画像検索方法及び類似画像検索装置を顔認識処理に用いる場合、同一の被写体に対して、例えば顔の向きを変化させた複数の基準画像ファイル５０を用意することで、顔認識処理の精度を向上することができる。加えて、同一の被写体に対して複数の基準画像ファイル５０を用意する際に、被写体の撮像を開始してから当該被写体であることが認識されるまでの時間内に複数の基準画像ファイル５０を撮像する、あるいは、上述した時間内に撮像された基準画像ファイル５０に対して変移の量を記録するなどして、基準画像ファイル５０と比較画像ファイル５１との類比判定にある程度の幅を持たせれば、顔認識処理の精度をより向上することができる。

また、上述の第３及び第４実施形態において、基準画像データ５０ａ及び比較画像データ５１ａの特徴点間の距離の最小値を検出するのみならず、これら基準画像データ５０ａ及び比較画像データ５１ａの特徴点間の距離が最小値を取る比較画像ファイル５１を先頭にして順次距離が大きくなる順に、または最大値を取る比較画像ファイル５１を先頭にして順次距離が小さくなる順に比較画像ファイル５１を並べて表示してもよい。あるいは、基準画像データ５０ａ及び比較画像データ５１ａの特徴点間の距離が最小値から一定の大きさの幅にある比較画像ファイル５１を、基準画像ファイル５０に類似する比較画像ファイル５１の群として表示してもよい。

さらに、上述の各実施形態においては、基準画像データ５０ａと比較画像データ５１ａとの特徴点との対応する組を決定し、これら特徴点の対応する組から任意の３組を選択して、選択された特徴点の組の一方の特徴点の座標値が他方の特徴点の座標値に一致するような座標変換を行っていたが、特徴点の対応する組から選択する組の数は３組に限定されず、複数組であれば特段の限定はない。但し、３組であれば類似画像検出処理を簡易に行うことができ、４組であれば顔認識における横顔の奥行きに対応するような透視変換された画像についても類似画像検出処理が可能になるという利点がある。

そして、上述の各実施形態において、情報処理装置１を動作させるプログラムはＲＯＭ１１、ＨＤＤ部１６等に格納されて提供されていたが、不図示の光学ディスクドライブ、カードインタフェース１３ｃ、ＵＳＢインタフェース１３ｄ等を用いて、プログラムが格納されたＤＶＤ（Digital Versatile Disc）、ＵＳＢフラッシュメモリ装置、メモリーカード６等を接続し、このＤＶＤ等からプログラムを情報処理装置１に読み込んで動作させてもよい。また、ＷＡＮ８上の装置内にプログラムを格納しておき、ネットワークインタフェース１５を介してこのプログラムを情報処理装置１に読み込んで動作させてもよい。さらに、上述の各実施形態において、情報処理装置１は複数のハードウェア要素により構成されていたが、これらハードウェア要素の一部の動作をＣＰＵ１０がプログラムの動作により実現することも可能である。加えて、上述の各実施形態ではＨＤＤ部１６を用いていたが、ＨＤＤ部１６以外の記憶媒体、一例としてＳＳＤ（Solid State Drive）装置やメモリーカード等の周知の記憶媒体を用いることも可能である。

１ 情報処理装置
２、３ 撮像装置
４ 画像表示装置
５ ＵＳＢケーブル
６ メモリーカード
７ ＨＤＭＩケーブル
８ ＷＡＮ
９ サーバ装置
１０ ＣＰＵ
１１ ＲＯＭ
１２ ＲＡＭ
１３ 入出力デバイス
１３ａ 入力インタフェース
１３ｂ 入力指示部
１３ｃ カードインタフェース
１３ｄ ＵＳＢインタフェース
１４ ＨＤＭＩインタフェース
１５ ネットワークインタフェース
１６ ＨＤＤ部
１６ａ ＨＤＤインタフェース
１６ｂ ＨＤＤ
１７ 無線ＬＡＮインタフェース
２０ 入力機器
２１ ＵＳＢ機器
２２ ＨＤＭＩ出力機器
２３ ルータ
３０、９０ 制御部
３１、９１ 記憶部
３２、３２ａ、９２ 入力部
３３、３３ａ、９３ 出力部
３４、９４ 特徴点算出部
３５、９５ 対応特徴点決定部
３６、９６ 座標変換部
３７、９７ 距離算出部
３８、９８ 判定部
３９、９９ 顔認識処理部
５０ 基準画像ファイル
５０ａ 基準画像データ
５１ 比較画像ファイル
５１ａ 比較画像データ
５２ 閾値データ
５３ 特徴点データベース
５４ 人物データベース

Claims (7)

1. 基準画像データに類似する比較画像データを検索する類似画像検出方法において、
   前記基準画像データ及び前記比較画像データの特徴点を算出する工程と、
   算出された前記基準画像データ及び前記比較画像データの特徴点の特徴量に基づいて、これら基準画像データ及び比較画像データの特徴点の対応する組を決定する工程と、
   前記基準画像データ及び前記比較画像データの特徴点の任意の組を複数選択し、選択された前記特徴点の組の一方の前記特徴点の座標値が他方の前記特徴点の座標値に一致するように座標変換を行う工程と、
   前記複数組の特徴点の座標値が一致する座標変換を行った状態で、残りの組の前記基準画像データ及び前記比較画像データの特徴点間の距離を算出し、得られた距離の合計を算出する工程と、
   残りの組の前記基準画像データ及び前記比較画像データの特徴点間の距離の合計が所定の閾値以下であれば、この比較画像データを基準画像データに類似する比較画像データであると判定する工程と
   を備えることを特徴とする類似画像検出方法。
2. 前記座標変換を行う工程においては、前記基準画像データ及び前記比較画像データの特徴点の任意の組を３つ以上選択することを特徴とする請求項１記載の類似画像検出方法。
3. 前記座標変換はアフィン変換であることを特徴とする請求項２記載の類似画像検索方法。
4. 基準画像データ及び比較画像データに対して顔認識処理を行って被写体の顔が撮像されている領域を決定する工程を備え、
   前記特徴点を算出する工程においては、前記領域内の特徴点を算出する
   ことを特徴とする請求項１〜３のいずれかに記載の類似画像検出方法。
5. 前記特徴点の対応する組を決定する工程において、算出された前記基準画像データ及び前記比較画像データの特徴点の特徴量のうち同じ特徴量を持つ複数の特徴点の組が存在するか否かを判定し、前記基準画像データ及び前記比較画像データの特徴点の特徴量のうち同じ特徴量を持つ複数の特徴点の組が存在すれば、これら基準画像データ及び比較画像データの特徴点の対応する組を決定し、
   前記座標変換を行う工程において、同じ特徴量を持つ前記基準画像データ及び前記比較画像データの特徴点の任意の組を複数選択する
   ことを特徴とする請求項１〜４のいずれかに記載の類似画像検出方法。
6. 基準画像データに類似する比較画像データを検索する類似画像検出装置において、
   前記基準画像データ及び前記比較画像データの特徴点を算出する特徴点算出部と、
   前記特徴点算出部により算出された前記基準画像データ及び前記比較画像データの特徴点の特徴量に基づいて、これら基準画像データ及び比較画像データの特徴点の対応する組を決定する対応特徴点決定部と、
   前記基準画像データ及び前記比較画像データの特徴点の任意の組を複数選択し、選択された前記特徴点の組の一方の前記特徴点の座標値が他方の前記特徴点の座標値に一致するように座標変換を行う座標変換部と、
   前記座標変換部により前記複数組の特徴点の座標値が一致する座標変換を行った状態で、残りの組の前記基準画像データ及び前記比較画像データの特徴点間の距離を算出し、得られた距離の合計を算出する距離算出部と、
   前記距離算出部により算出された距離の合計が所定の閾値以下であれば、この比較画像データを基準画像データに類似する比較画像データであると判定する判定部と
   を備えることを特徴とする類似画像検出装置。
7. 複数の比較画像データの中から、基準画像データに類似する比較画像データを検索する類似画像検出方法において、
   基準画像データ及び比較画像データの特徴点を算出する工程と、
   算出された前記基準画像データ及び前記比較画像データの特徴点の特徴量に基づいて、これら基準画像データ及び比較画像データの特徴点の対応する組を決定する工程と、
   前記基準画像データ及び前記比較画像データの特徴点の任意の組を複数選択し、選択された前記特徴点の組の一方の前記特徴点の座標値が他方の前記特徴点の座標値に一致するように座標変換を行う工程と、
   前記複数組の特徴点の座標値が一致する座標変換を行った状態で、残りの組の前記基準画像データ及び比較画像データの特徴点間の距離を算出し、得られた距離の合計を複数の前記比較画像データのそれぞれについて算出する工程と、
   残りの組の基準画像データ及び比較画像データの特徴点間の距離の合計が最小値を取る比較画像データを基準画像データに類似する比較画像データであると判定する工程と
   を備えることを特徴とする類似画像検索方法。
   

Images