JP2021086438A

JP2021086438A - 画像検索装置、画像検索方法、及びプログラム

Info

Publication number: JP2021086438A
Application number: JP2019215596A
Authority: JP
Inventors: 昌弘松下; Masahiro Matsushita
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-11-28
Filing date: 2019-11-28
Publication date: 2021-06-03
Anticipated expiration: 2039-11-28
Also published as: JP7431563B2; US11941045B2; US20210165818A1

Abstract

【課題】画像検索において再検索の実施回数を抑制する。【解決手段】第１の評価方式によるクエリ画像との第１の類似度に基づいて、前記クエリ画像と関連する画像を複数の検索対象画像から検索する。検索された画像について正解であることと不正解であることとの少なくとも一方を示すフィードバックを取得する。前記フィードバックに従って類似度の評価方式を前記第１の評価方式から第２の評価方式に変更することが前記画像の検索結果に与える影響の評価を取得する。前記第２の評価方式による前記クエリ画像との第２の類似度に基づく、前記クエリ画像と関連する画像の前記複数の検索対象画像からの検索を、前記影響の評価に応じて制御する。【選択図】図１

Description

本発明は、画像検索装置、画像検索方法、及びプログラムに関する。

近年、監視カメラの映像内から特定の人物が映っているシーンを、人物画像をクエリとして検索するシステムの実用化が進んでいる。人物画像を用いた検索を行う際には、多次元ベクトルからなる特徴量を画像から抽出し、特徴量の類似度に基づいて検索を行う方法が一般的である。

また、そのような検索方法において、ユーザが検索結果に満足できなかった場合には、その検索結果に正解又は不正解であるというラベルをユーザの手で付与することにより、そのラベルを用いて検索結果を更新する適合性フィードバックと呼ばれる技術が開発されてきた。古典的な適合性フィードバックの一例は、非特許文献１に記載されている方式をベースとするものであり、クエリ特徴量を補正して再検索を行う。

Ｒｏｃｃｈｉｏ，Ｊ．Ｒｅｌｅｖａｎｃｅｆｅｅｄｂａｃｋｉｎｉｎｆｏｒｍａｔｉｏｎｒｅｔｒｉｅｖａｌ，１９７１

しかしながら、検索母集団が大きく、及び検索に時間を要するような場合には、検索実施時の待ち時間が長くなりやすい。例えば、複数の監視カメラの数日分の映像を対象に検索する場合などでは、分オーダーの時間がかかる場合もある。加えてフィードバックと再検索を数回繰り返すことにより検索結果を絞り込んでいく場合には、何分も待たされる処理を数回実行することになり、ユーザにとっては煩雑な作業となる。

本発明は、画像検索において再検索の実施回数を抑制することを目的とする。

本発明の目的を達成するために、例えば、一実施形態に係る画像検索装置は以下の構成を備える。すなわち、第１の評価方式によるクエリ画像との第１の類似度に基づいて、前記クエリ画像と関連する画像を複数の検索対象画像から検索する検索手段と、前記検索手段により検索された画像について正解であることと不正解であることとの少なくとも一方を示すフィードバックを取得する第１の取得手段と、前記フィードバックに従って類似度の評価方式を前記第１の評価方式から第２の評価方式に変更することが前記画像の検索結果に与える影響の評価を取得する第２の取得手段と、前記第２の評価方式による前記クエリ画像との第２の類似度に基づく、前記クエリ画像と関連する画像の前記複数の検索対象画像からの検索を、前記影響の評価に応じて制御する制御手段と、を備えることを特徴とする。

画像検索において再検索の実施回数を抑制する。

実施形態１に係る機能構成及びハードウェア構成の一例を示す図。実施形態１に係る画像検索装置の検索処理の一例を示す図。実施形態１に係る画像検索装置のフィードバック処理の一例を示す図。実施形態１に係る画像検索装置の再検索処理の一例を示す図。実施形態１に係る画像検索方法における処理例のフローチャート。実施形態１に係る画像検索装置の再検索ボタンを説明するための図。実施形態１に係る画像検索装置のフィードバック画面の一例を示す図。実施形態２に係る機能構成及びハードウェア構成の一例を示す図。実施形態２に係る画像検索方法における処理例のフローチャート。実施形態２に係る特徴空間における類似度の分布の一例を示す図。実施形態２に係る画像検索方法における評価処理の一例のフローチャート。実施形態３に係る機能構成及びハードウェア構成の一例を示す図。実施形態３に係る画像検索方法における処理例のフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［実施形態１］
本実施形態に係る画像検索装置は、検索母集団となる検索対象画像から、クエリ画像との類似度に基づいて、クエリ画像と関連する検索結果を取得する。次いで、検索結果に対するユーザのフィードバックを取得し、及び、そのフィードバックの有効性を評価する。つまり、画像検索装置は、フィードバックに従って類似度の評価方式を変更し、その変更が画像の検索結果に与える影響を評価する。さらに、そのような影響の評価結果に応じて、変更された評価方式に従う類似度に基づく検索母集団からの再検索を行うかどうかを制御する。ユーザのフィードバックとは、画像についての、その画像がクエリ画像に対して正解か不正解かのラベルを含む、ユーザから与えられる情報である。本実施形態においては、ユーザのフィードバックは、検索対象画像の画像群から取得された検索結果に含まれる画像について与えられる。

また、本実施形態に係る画像検索装置は、上述のフィードバックに応じた影響の評価のため、検索結果の上位（つまり、類似度の高いもの）のみに対して、新たに算出された類似度に基づいて再検索（リランキング）を行い、その結果を提示することができる。以下においては、そのような検索結果の上位のみに対して実施する再検索を「リランキング」と呼び、及び、検索母集団に対する再検索を単に「再検索」と呼ぶものとする。また、本実施形態に係る画像検索装置は、上述の検索結果の上位について、リランキングに用いるため、ＲＡＭなどの比較的読み込み速度の速いストレージにデータを格納してもよい。このような構成によれば、件数が少ない検索結果の上位のみを対象としてリランキングを行うため、高速な再検索（リランキング）が可能となり、及び、フィードバックの効果が早急に確認可能となる。

本実施形態においては、フィードバックの有効性を、リランキングの結果に基づいてユーザが評価する。すなわち、ユーザが、リランキングの結果に基づいて検索に対するフィードバックの有効性が確認できたと判断した時に、検索母集団に対する再検索を指示することにより、多大な処理時間を要しやすい再検索の実施回数を抑制することが可能となる。したがって、検索結果上位のみについてリランキングを行う迅速な処理の結果に基づいてフィードバックの有効性を確認することにより、ユーザのフィードバックによる検索の利便性を向上させることができる。

以下、フィードバックの有効性とは、無用な再検索とはならない可能性を示す情報であるとし、及び、有効であるとはそのような可能性が高いことを示すものとする。すなわち、フィードバックとして、何枚の画像を正解又は不正解データとして指定すれば期待通りの検索結果が得られるかは、クエリ画像と検索母集団に依存する。例えば、首周りの色を指定すれば特定の人物を他の人物と弁別できるのであれば、首周りの色がクエリ画像とは異なる画像を不正解として指定することにより、有効な再検索を行うことができる。一方で、首周りの色、鞄の色、及びシャツの色を指定することが、特定の人物を他の人物と弁別するために必要なことがある。この場合、首周りの色及び鞄の色がクエリ画像とは異なる画像を不正解として指定しても、シャツの色が異なる画像を検索結果からは排除できないため、このようなフィードバックは有効ではないフィードバックと呼べるかもしれない。また、無用な再検索とは、再検索の総計実施回数を増やしてしまうような再検索であるものとする。つまり、例えば、時間を要しやすい再検索を行ったにも関わらずユーザの所望の結果が得られず、再びフィードバックを行う必要が生じてしまうような再検索のことである。さらに、単に類似度と記載されている場合は、その類似度は、その例においてクエリ画像として設定される特徴量との類似度であるとする。

本実施形態に係る画像検索装置は、撮像デバイスから送信された映像を解析し、ユーザに検索結果を提示するサーバである。図１（Ａ）は、本実施形態に係る画像検索装置のハードウェア構成の一例を示すブロック図である。ＣＰＵ１０１は、ＲＯＭ１０２に格納されている制御プログラムを実行することにより、本実施形態に係る画像検索装置全体の制御を行う。ＲＯＭ１０２に格納されている制御プログラムは、オブジェクト抽出部１０３、特徴量抽出部１０４、登録部１０５、特徴量検索部１０６、及び算出部１２４を有する。ＲＯＭ１０２の有する各機能部については後述する。ＲＡＭ１０７は、本実施形態に係る画像検索装置の各構成要素からの各種データを一時的に格納する。また、ＲＡＭ１０７は、プログラムを展開することにより、それらのプログラムをＣＰＵ１０１が実行可能な状態にする。また、後述の通常検索部１１７、フィードバック検索部１１９、及びリランキング部１２３など、図１（Ｂ）に示される画像検索装置１２０が有する各構成も、同様に、ＣＰＵ１０１がメモリ上のプログラムを実行することにより実現される。

記憶部１０８は、本実施形態に係る画像検索装置の処理対象（つまり、検索対象）となるデータを格納する。記憶部１０８の媒体としては、ＨＤＤ、フラッシュメモリ、又は各種光学メディアなどが用いられてもよい。入力部１０９は、例えばキーボード又はタッチパネルなどで構成されており、画像検索装置へのユーザからの入力を取得する。処理の詳細は図５において後述するが、ユーザは、入力部１０９を用いて、例えば、検索条件、クエリ画像、又は検索結果に対するフィードバック情報（正解又は不正解の指定）などを情報処理措置へと入力することができる。表示部１１０は、例えば液晶ディスプレイなどで構成されており、画像検索装置における処理の結果をユーザに対して表示する。本実施形態においては、表示部１１０は、検索結果、リランキング結果、又は再検索結果などを表示することができる。また、本実施形態に係る画像検索装置は、通信部１１１を介して撮像装置などの他の装置と通信をすることができる。

図１（Ｂ）は本実施形態に係る画像検索装置が行う情報処理のデータフローの一例を示すブロック図である。図１（Ｂ）の例においては、本実施形態に係る画像検索装置は、画像検索装置１２０として示される部分であり、及び、通信部１１１を介して外部にある撮像装置１２１が取得した監視映像１１２を取得する。監視映像１１２は、ここでは逐次的に撮像される画像で構成されるものとするが、特にそのように限定されるわけではない

画像検索装置１２０が行うデータ登録処理においては、オブジェクト抽出部１０３は、取得した監視映像１１２を解析し、及び映像内に映っているオブジェクトを抽出する。本実施形態においては説明のため、オブジェクト抽出部１０３が抽出するオブジェクトは人物領域であるものとするが、特にそれに限定されるわけではない。例えば、オブジェクト抽出部１０３はオブジェクトとして顔領域を抽出してもよい。次いで、特徴量抽出部１０４は、オブジェクト抽出部１０３が抽出したオブジェクトから、そのオブジェクトの特徴量である登録特徴量１１３を抽出する。登録部１０５は、特徴量抽出部１０４が抽出した登録特徴量１１３をデータベース１１４に登録する。データベース１１４は、検索母集団となる情報を格納する。データベース１１４には、監視映像１１２を構成する画像について、オブジェクト領域を切り出したサムネイル画像、撮像時刻情報、及び撮像カメラ情報などが登録されていてもよい。そのような構成によれば、ユーザが検索を行う際に、データベース１１４に登録されたそれらの情報と登録特徴量１１３とを対応付けて利用することができる。図１（Ｂ）の例においては、データベース１１４は記憶部１０８に配置される。

本実施形態に係る検索処理においては、画像検索装置１２０は、まず入力部１０９を介してユーザからクエリ画像１１５を取得する。次いで、画像検索装置１２０が行うデータ登録処理と同様に、オブジェクト抽出部１０３がクエリ画像１１５に映っているオブジェクトを抽出する。さらに、特徴量抽出部１０４が、クエリ画像１１５内に抽出されたオブジェクトの特徴量であるクエリ特徴量１１６を抽出する。

通常検索部１１７は、通常検索（つまり、初回の検索）を行う。通常検索部１１７は、データベース１１４に登録された登録特徴量１１３から、特徴量に基づいて算出される類似度に応じて、クエリ特徴量１１６と類似する特徴量を検索する。また、通常検索部１１７は、リランキングを行うオブジェクト（リランキング対象）のリストとして、類似度に従って検索対象画像から選択されるオブジェクトのリストを検索結果１２２として取得する。この例においては、通常検索部１１７は、類似度の高い順に所定件数の特徴量に対応するオブジェクトのリストを検索結果１２２として取得する。通常検索部１１７は、通常検索時には、算出部１２４を介して、予め定められた類似度算出方式を用いて類似度を算出するが、詳細な説明は後述する。また、ここで検索結果の件数として設定される所定件数は特に限定されず、適宜所望の値として設定されてもよい。さらに、通常検索部１１７は、検索結果１２２を、該当するオブジェクトの特徴量と共にＲＡＭ１０７上に保存する。次に、通常検索部１１７は、検索結果１２２のオブジェクトのサムネイル画像を表示部１１０に出力する。例えば検索結果１２２の件数が多い場合において、通常検索部１１７は、１画面中に所定の数のサムネイル画像を提示し、及びスクロール操作によって続く結果を確認できるようにしてもよい。ここで１画面中に表示されるサムネイル画像の数は特に限定されず、例えば５０件の画像が表示されてもよい。

表示部１１０は、通常検索部１１７による検索結果１２２をユーザに提示する。ユーザは、入力部１０９を介して、表示部１１０に表示されている検索結果１２２のサムネイル画像の中から、クエリ画像１１５内のオブジェクトと一致したオブジェクトを映している正解画像、又は正解ではない不正解画像を指定することができる。リランキング部１２３は、画像についての正解又は不正解のユーザによる指定結果を示すラベル情報を、フィードバック情報１１８として取得する。また、フィードバック検索部１１９がフィードバック情報１１８を取得し、及び再度検索処理を行ってもよい。以下においては簡単のため、正解又は不正解とは、ユーザが表示部１１０上で選択する画像に関する上述の正解又は不正解を指すものとする。

フィードバック情報１１８は、ユーザが指定した画像について、その画像が正解又は不正解画像のいずれかであるかを示すラベル情報と、その画像に対応するオブジェクトの特徴量とを含んでいる。算出部１２４は、フィードバックに従って類似度の評価方式を変更する。本実施形態に係る算出部１２４は、クエリ特徴量１１６と、正解データ又は不正解データの特徴量と、の共通性に基づいて、クエリ画像と検索対象画像との間の類似度算出方式を作成する。ここで作成した類似度算出方式を用いてリランキング部１２３がリランキングを行い、及びそのリランキング結果からユーザがフィードバックの有効性を確認することにより、検索精度の向上を図ることができる。類似度算出方式の作成方法については、ステップＳ５０６〜Ｓ５０９において詳述する。

リランキング部１２３は、検索結果１２２のオブジェクトの特徴量を対象として、算出部１２４で作成した類似度算出方式を用いて類似度を算出することにより、類似度に応じた配列のリランキング結果１２５を取得する。取得したリランキング結果１２５は表示部１１０に表示される。例えば、検索対象画像が数百万件ある場合においても、検索結果１２２が１０００件として設定されている場合、リランキング部１２３は、検索結果１２２と同数の１０００件の類似度を算出し、及び類似度の高い順にリランキングして提示することができる。そのような場合、リランキング部１２３は、１０００件の検索結果に含まれていなかった正解画像を新たに検出することはないが、検索結果に含まれる処理対象の少なさから、迅速に表示部１１０へと反映させることが可能である。したがって、検索結果１２２のみを母集団としたフィードバックの効果をユーザが即座に確認することが可能となる。

本実施形態においては、リランキング結果１２５をユーザが評価することにより、フィードバックの有効性が確認できたかどうかが判断される。リランキング結果１２５は表示部１１０に提示され、及びユーザは表示部１１０上に即座に反映されたリランキングの結果を確認することができる。次いでユーザは、リランキング結果を評価することにより、自身が与えたフィードバックによって検索結果の精度を向上させることができると判断した場合に、フィードバック検索（再検索）の指示を出すことができる。

フィードバック検索部１１９は、データベース１１４が有する特徴量を対象として、算出部１２４が作成した類似度算出方式を用いて類似度を算出する。このような処理によれば、１０００件の検索結果１２２からは漏れてしまっていた正解画像を検出できる可能性がある。リランキング部１２３及びフィードバック検索部１１９によるリランキング結果１２５及び検索結果１２２は、通常検索時と同様に表示部１１０に出力されてもよい。リランキング結果として表示部１１０に提示されるサムネイル画像を提示する形式及び件数は特に限定されないが、この例においては説明のため、通常検索結果において提示されるサムネイル画像とそれぞれ同様に行われるものとする。

なお、入力部１０９及び表示部１１０は別の装置に備わっている装置であってもよく、通信部１１１を介してクエリ特徴量及び検索結果の送受信を行ってもよい。また、制御プログラムはＲＯＭ１０２に格納されているもののみに限らず、そのいくつかを別装置に備える構成であってもよい。例えば、オブジェクト抽出部１０３及び特徴量抽出部１０４を別のサーバに備え、並びに、画像検索装置１２０は登録部１０５及び特徴量検索部１０６のみを備える構成としてもよい。このような構成とする場合には、映像を解析する処理と検索に関する処理で装置を分けることが可能となり、したがってそれぞれの処理に適したハードウェアスペックを選択することができる。

オブジェクト抽出部１０３が人体領域を検出する方法は特に限定されない。以下においては、オブジェクト抽出部１０３は、人物領域の特徴を事前に学習しておき、並びにその上で入力画像内を探索窓で走査することにより、各探索窓が人体領域であるか否かを判定する方式を用いるものとする。そのための学習方法としては、例えば、アンサンブル学習又はＣＮＮ（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｔｒａｌＮｅｔｗｏｒｋ）等の深層学習手法が用いられてもよい。また、特徴量抽出部１０４がオブジェクトの特徴量を検出する方法も特に限定はされない。例えば、特徴量抽出部１０４は、人物領域内の部分領域の色ヒストグラムを特徴量として検出してもよいし、ＣＮＮ等の深層学習手法によって抽出する方法を用いてもよい。

本実施形態において記述されるフローチャートの各ステップに対応する処理は、ＣＰＵを用いてソフトウェアで実現されてもよいし、電子回路などのハードウェアで実現されるようにしてもよい。

図２〜図４は、本実施形態に係る検索操作及びフィードバックに基づく検索精度向上の概要を示すものである。この例では、ユーザは、表示部１１０上に表示されたサムネイル画像から、検索したい人物とは明らかに異なる箇所がある画像を不正解画像として指定する。またユーザは、不正解画像を選択した後にリランキングを指示することができる。次いで、画像検索装置１２０はリランキングを実行し、及びリランキング結果１２５を提示する。さらにユーザは、リランキング結果から検索精度向上の効果が充分な結果となったと判断した場合に、再検索を指示してもよい。その結果、画像検索装置１２０は、最初の検索では漏れてしまっていた画像も含んだ検索結果を取得することが可能となる。このような処理によれば（この例においては３回のリランキングと１回の再検索とによれば）、効果が充分なフィードバックによる検索結果を取得することができる。したがって、リランキングを行わずに毎回再検索を行う場合と比べ、高速に結果を得やすくなる。

以下に、図２〜図４に示される例の詳細なステップを説明する。図２（Ａ）は、ユーザが検索したい人物の画像（クエリ画像２０１）の特徴のある箇所を表した図である。画像検索装置１２０は、クエリ画像２０１が入力されると、データベース内からクエリ画像２０１と類似する服装の画像を検索し、並びに、図２（Ｂ）に示すように、例えば類似度が上位１０００件となる検索結果リスト２０２を取得し及び提示することができる。画像検索装置１２０は、１０００件の結果を１つの画像には表示できないため、５０件ごとにページをわけて表示することができる。つまり、画像検索装置１２０は、検索結果１ページ目には類似度上位１〜５０件の結果、検索結果２ページ目には上位５１〜１００件の結果、及び検索結果３ページ目には上位１０１〜１５０件の結果、のように検索結果を表示することができる。画像検索装置１２０は、検索直後は検索結果１ページ目２０３を表示し、並びに、ユーザの指示に従って次のページ、前のページ、又は指定のページを表示してもよい。また、画像検索装置１２０は、図２に示されるようなページ分割ではなく、画面スクロールで同様の機能を実現してもよい。

この例では、検索結果２０５が最もクエリ画像２０１との類似度が高く、検索結果内の先頭に表示されている。しかし、検索結果２０５は、クエリ画像２０１とシャツ及び首回りの色柄は類似しているが、カバンを持っていないことから、クエリ画像２０１に写る人物とは異なる人物が写されている。また、検索結果１ページ目２０３には、クエリ画像２０１とは首回りの色柄が異なる検索結果２０７が存在する。さらに、検索結果３ページ目２０４には、クエリ画像２０１とはシャツの色柄が異なる検索結果２０７が存在する。データベース１１４内には、クエリ画像２０１と同一人物の画像ではあるが、撮影条件（撮影方向及び照明条件等）が異なるなどの理由で、検索結果２０８のように１ページ目の下位に表示される画像が記録されていることがある。また、データベース１１４内には、検索結果２０９として後のページで表示される予定になっている画像や、又は上位１０００件の検索結果リスト２０２には入らずに２１０のようにランク外２１１のリストに含まれる画像が記録されていることもある。ランク外のリストは本来ユーザには把握し得ないリストであるが、以下においては説明のため、ランク外のリストもランク外２１１として明記される。

ユーザは、図３（Ａ）に示されるように、検索結果２０５が不正解である旨をフィードバック内容３１２として入力する。画像検索装置１２０は、そのフィードバックに基づいて即座にリランキングを実行し、及び検索画面にリランキングの結果を反映することができる。クエリ画像２０１と検索結果２０５とが比較された場合には、両者の間で鞄が異なっているため、画像検索装置１２０は、鞄を示す特徴の重みを大きくした類似度算出方式を作成し、及び作成した類似度算出方式を用いてリランキングを行う。その結果、画像検索装置１２０は、図３（Ｂ）の検索結果リスト３１３に示されるように、検索結果の上位から、クエリ画像２０１と鞄に違いのある結果を排除する。

しかしながら、検索結果リスト３１３に表示される上位には、首回りの色柄がクエリ画像２０１と異なる検索結果２０６が残ったままである。したがってユーザは、図３（Ｃ）に示されるように、引き続き検索結果リスト３１３内の検索結果２０６が不正解である旨をフィードバック内容３１４として入力する。画像検索装置１２０は、そのフィードバックに基づいて（つまり、首回りの色柄を示す特徴の重みを大きくした類似度算出方式を作成し、及び作成した類似度算出方式を用いて）即座にリランキングを実行し、検索画面にリランキングの結果を反映することができる。その結果、画像検索装置１２０は、図３（Ｄ）の検索結果リスト３１５に示されるように、検索結果の上位から、クエリ画像２０１と首回りの色柄に違いのある結果を排除する。

しかし、今度は、シャツの色柄が異なる検索結果２０７が検索結果の１ページ目に表示されるようになる。したがってユーザは、図４（Ａ）に示されるように、検索結果リスト３１５に表示される検索結果２０７が不正解である旨をフィードバック内容４１６として入力する。画像検索装置１２０は、そのフィードバックに基づいて即座にリランキングを実行し、検索画面にリランキングの結果を反映することができる。その結果、画像検索装置１２０は、図４（Ｂ）の検索結果リスト４１７に示されるように、検索結果の上位から、クエリ画像２０１とシャツの色柄に違いのある結果を排除する。ここまでの操作が実行されても、ランク外２１１の画像２１０は、リランキング対象ではないため、検索結果としては表示されない。

ユーザは、ここまでのリランキング結果に基づいてフィードバック内容の効果を確認し、及び再検索の指示を出すことができる。画像検索装置１２０は、再検索の指示を取得した場合、直前のリランキングで用いられた類似度算出方式を用いて、クエリ画像２０１の特徴量とデータベース１１４内の画像の特徴量との類似度を算出し、及び算出された類似度に基づいた再検索結果を表示する。その結果、ランク外２１１の画像２１０も検索対象として検索が行われるため、図４（Ｃ）の検索結果リスト４１８に示されるように、画像２１０が検索結果として検出されるようになる。このような構成によれば、画像検索装置１２０は、ユーザがフィードバックを入力するたびにリアルタイムでリランキングを行い、リランキング結果を表示することができる。また、ユーザは、フィードバックの有効性が確認できたと判断した時に、再検索を実行する指示を出すことができる。

また、本実施形態においては、ユーザは、リランキング結果を確認することでフィードバック内容の効果を確認したうえで、再検索ボタンを押下する。しかしながら、再検索ボタンが新規に用意されることは必須ではない。例えば図６（Ａ）に示されるように、通常検索部１１７が行う検索の指示を出すボタンと再検索用のボタンが共通のボタンであってもよい。そのような構成の場合は、フィードバックが与えられた状態で検索ボタンが押下された時に、再検索が実施される。また、図６（Ｂ）に示されるように、検索ボタンと再検索ボタンの両方のボタンが設けられていてもよい。再検索ボタンは、フィードバックが与えられて初めてアクティブになるように設定されることで、無用な再検索が実施されにくいように構成されていてもよい。

なお、図２ではユーザが不正解の画像を指定する例が示されたが、検索結果に正解画像が含まれている場合には、不正解の代わりに正解が指定されるような構成であってもよい。ユーザが正解を指定した場合、正解画像同士の特徴量又はクエリ画像及び正解画像の特徴量の共通部分に、クエリ画像に写るオブジェクトの特徴がよく表れていると考えられる。このため、画像検索装置１２０は、図２〜４の例と同様に、上述の共通部分の次元の重みを大きくした類似度算出方式を作成し、及び作成した類似度算出方式でリランキングを行うことができる。次いで、画像検索装置１２０は、再検索の指示が与えられた場合に、直前に作成した類似度算出方式で再検索を行うことにより、フィードバックに基づく再検索の精度向上の効果を得ることができる。また、正解と不正解との両方を指定した場合には、双方の重み計算方法を組み合わせることで統合した重みを得ることができる。

なお、フィードバックとしては、正解又は不正解の画像を追加指定するのみではなく、正解又は不正解の画像の過去の指定を取り消すことができるようにしてもよい。その場合、画像検索装置１２０は、指定が取り消されていない正解又は不正解画像とクエリ画像とに基づいて、リランキング及び再検索を行えばよい。その際は、画像検索装置１２０は、図７に示されるようなユーザフィードバック画面を設けることにより、ユーザが正解及び不正解の確認と再設定とを実行できるようにしてもよい。

また、フィードバック内容を設定する方法は特に限定されない。入力部１０９は、例えば、ユーザが画像をクリックした場合に正解か不正解かを選択するリストを表示してもよく、マウスの左クリックで正解の選択を、及び右クリックで不正解の選択を行うようにしてもよい。本実施例においては、正解又は不正解の選択がなされた場合、即座にリランキングを実行し、及びその結果を画面に反映するが、特にそのように限定されるわけではない。例えば、リランキング部１２３は、リランキングを行うユーザの指示に応じて、リランキングを行ってもよい。つまり、リランキング部１２３がリランキングボタンを用意し、及び、ユーザは、１つ以上の正解又は不正解画像を選択した後にリランキングボタンを押下することによりリランキングを行う指示を入力してもよい。次いで、リランキング部１２３は、そのリランキング受付（検索指示受付）により、リランキングを実行してもよい。

以下、画像検索装置１２０が行う上述の処理のうち、検索関連の処理について、フローチャートに従って説明する。図５は、本実施形態に係る画像検索装置１２０が行う特徴量検索処理の一例を示したフローチャートである。まず、ステップＳ５０１で通常検索部１１７は、ユーザが入力したクエリ画像から抽出されたクエリ特徴量を取得する。また、通常検索部１１７は、検索対象である画像の撮像時刻及びカメラ等の、データベース１１４に対して検索範囲を指定するユーザ入力を取得することができる。通常検索部１１７に入力される検索範囲は、データベース１１４内のすべての画像であってもよく、特定の時刻に写された人物、若しくは特定のカメラで写された人物を検索したい場合には、撮影時刻又はカメラ名で照合対象を絞り込んだ画像であってもよい。ステップＳ５０２で通常検索部１１７は、指定された検索範囲の画像の特徴量を照合対象に設定する。次に、ステップＳ５０３で通常検索部１１７は、算出部１２４を介して、クエリ画像の特徴量と照合対象の特徴量との類似度を算出する。特徴量の類似度の算出方法は特に限定されないが、例えば、各種距離関数の逆数を利用することにより、特徴量間の距離が近いほど類似度が高くなるように算出してもよい。本実施形態においては、算出部１２４は、距離の計算にユークリッド距離を用いるものとする。

この時、通常検索部１１７は、照合対象の特徴量のうち、予め設定される所定閾値よりも類似度が高くなる特徴量、又は類似度が高い方から所定件数（例えば１０００件）の特徴量などの基準により、類似度が高い特徴量を選定する。次いで、通常検索部１１７は、選定した特徴量とその特徴量に対応する画像とをＲＡＭ１０７上に保持しておく。ここで通常検索部１１７が用いる上出の閾値及び所定件数の値は特に限定されず、それぞれ適宜所望の値が設定されてもよい。

ステップＳ５０４で通常検索部１１７は、ステップＳ５０３で選定した類似度が高い特徴量から、類似度上位から所定件数分（例えば５０件）の特徴量を取得し、及び選択した特徴量に対応するサムネイル画像を表示部１１０に出力する。ここで通常検索部１１７が取得する所定件数は、表示画面の大きさなどに応じて事前に定められていてもよく、ユーザが閲覧したい件数として動的に指定されてもよい。検索結果のサムネイル画像を表示する形態は、類似度の降順にソート及び表示する形態が一般的であるが、特にそのようには限定されない。検索結果として、通常検索部１１７は、例えば、撮影時刻などでソートした画像を表示部１１０上に表示してもよい。以下においては説明のため、検索結果は類似度上位から降順に取得及び表示されるものとする。

ステップＳ５０５で通常検索部１１７は、ユーザからのフィードバックがあるかどうか、すなわち、ユーザが検索結果に対して正解又は不正解画像の指定を行ったかどうかを確認する。フィードバックがある場合には、処理はステップＳ５０６へと進み、ステップＳ５０９までの一連のリランキング処理が行われる。フィードバックがない場合には、処理はステップＳ５１０へと進み、及びユーザからの再検索の指示があるかどうかが確認される。再検索の指示がある場合には、処理はステップＳ５１１からステップＳ５１２にかけての再検索処理へと進む。再検索の指示がない場合には、処理はステップＳ５１３へと進み、及び検索を終了するかどうかが確認される。検索を終了しない場合には、処理はステップＳ５０５へと戻り、及び画像検索装置１２０が各処理を再び行う。検索を終了する場合には、通常検索部１１７は本フローを終了する。

次に、ステップＳ５０６からステップＳ５０９までのリランキング処理について説明する。本実施形態に係るリランキング処理においては、ユーザが指定した画像に対応するラベル情報と特徴量とに基づいて、類似度算出方式が作成される。ステップＳ５０６でリランキング部１２３は、ステップＳ５０３で選定された画像の特徴量を、照合対象として設定する。ステップＳ５０７でリランキング部１２３は、ステップＳ５０５でユーザが正解又は不正解画像として指定した検索結果に対応する特徴量と、その検索結果が正解又は不正解画像のいずれであるかを判別するラベル情報と、をセットで取得する。つまり、ユーザが指定した画像についてのフィードバック情報を取得する。次いでリランキング部１２３は、Ｓ５０７で取得した画像の特徴量を、その画像のラベル情報に応じて、類似度算出方式を作成するために用いる特徴量として設定する。なお、本処理の実行が２回目以降である場合は、その回のステップＳ５０５でユーザによって指定された結果のフィードバック情報は、前回までのフィードバック情報に追加される。

ステップＳ５０８で算出部１２４は、ステップＳ５０７で取得したフィードバック情報に基づいて、類似度算出方式を作成するためのパラメータ群として、重みベクトルｗ＝（ｗ^１、ｗ^２、・・・、ｗ^ｄ）を算出する。ここで、ｄは用いられる特徴空間の次元数である。また、重みベクトルｗは、各要素として、特徴量の次元ごとの変換のための重み係数を有している。特徴量の次元ごとにこの重みベクトルの各要素をかけ合わせたものを特徴量として用いることで、類似度算出方式を変更した類似度を算出することができる。

まずユーザからのフィードバックによって不正解の特徴量が指定された場合の重み計算について説明を行う。ユーザからａ個の不正解特徴量ｎが指定された場合には、クエリ特徴量をｑとすると、ｉ番目の次元の重みｗ^ｉは、例えば以下の式（１）及び式（２）によって算出される。

式（１）で算出部１２４は、次元ごとにクエリ特徴量と書く不正解特徴量との差分の総和を取ることで、次元ごとの重み値ｗ＿ｌｏｃａｌ^ｉを計算する。本式によれば、クエリ特徴量と不正解特徴量の数値との差が大きい次元ほど、算出される重み値が大きくなる。クエリ特徴量と不正解特徴量の数値の差が大きい次元は、クエリと不正解を識別するための特徴をよく示していると考えられるため、そのような次元の重みを大きくすることで、不正解との違いを強調する効果が得られる。逆に、クエリ特徴量と不正解特徴量の数値の差が小さい次元ほど、算出される重み値が小さくなる。クエリ特徴量と不正解特徴量の数値の差が小さい次元は、クエリと不正解の違いの識別に寄与しにくいと考えられるため、そのような次元の重みを小さくすることで検索結果に与える影響を小さくする。

式（２）で算出部１２４は、最終重み値ｗ^ｉを得るための正規化を行う。この式においては、算出部１２４は、各次元の重みの総和が次元数ｄとなるように正規化を行う。このような処理によれば、類似度算出方式の変更前後での距離の絶対値の取り得る値の差を小さくすることができる。

式（１）及び式（２）においては、クエリ特徴量と不正解特徴量との差分の次元間の相対値に基づいて重みが決定されるため、一部の次元にのみわずかな差がある場合にでも、その次元の重みが大きくなってしまう。この問題を回避するために、例えば、クエリ特徴量と不正解特徴量の数値の差が所定値以下の場合には、式（１）で算出する重みを０としてもよい。

次に、ユーザからのフィードバックによって正解の特徴量が指定された場合の重み計算について説明を行う。ユーザからのフィードバックによってａ個の正解特徴量ｑが指定された場合には、クエリ特徴量をｑとすると、ｉ番目の次元の重みｗ^ｉは、例えば以下の式（３）及び上述の式（２）によって算出される。

式（３）で算出部１２４は、次元ごとに正解特徴量の集合の偏差平方和の逆数を取ることで、次元ごとの重みを計算する。本式によれば、正解特徴量同士の数値の分散が小さい次元ほど、算出される重み値が大きくなる。正解特徴量の数値の分散が小さい次元は正解の特徴をよく示していると考えられるため、そのような次元の重みを大きくすることにより、正解特徴量に基づく類似度を高くしやすくなる。逆に、正解特徴量同士の数値の分散が大きい次元ほど、算出される重み値が小さくなる。正解特徴量の数値の分散が大きい次元は、正解の識別に寄与しにくいと考えられるため、そのような次元の重みを小さくすることで検索結果に与える影響を小さくする。次いで算出部１２４は、式（３）を用いて相対的な重みを得た後に、最終重み値を得るための正規化を式（２）によって行う。なお、正解特徴量の集合にさらにクエリ特徴量を追加することにより、正解とクエリとの共通性を考慮する構成としてもよい。

正解及び不正解がユーザによって両方指定された場合では、算出部１２４は、例えば式（１）及び式（３）を組み合わせた以下の式（４）を用いることにより、重みを計算することができる。

ステップ５０９でリランキング部１２３は、重みベクトルを用いて作成した類似度算出方式を利用して、クエリ特徴量と照合対象との特徴量の類似度を算出する。リランキング部１２３は、作成した類似度算出方式で類似度を算出する場合では、特徴量に重みをかけた上で特徴量間のユークリッド距離を算出してもよく、重み付きユークリッド距離を用いて距離を直接算出してもよい。リランキング部１２３は、クエリ特徴量ｑと照合対象の特徴量ｘとの重み付きユークリッド距離を、例えば以下の式（５）を用いることにより算出することができる。式（５）によれば、正解と不正解との識別に有効な次元の重みが大きくなるため、識別に有効な次元の特徴量の差が大きい場合に距離が大きく（類似度が小さく）なり、及び識別に有効な次元の特徴量の差が小さい場合に距離が小さく（類似度が大きく）なる。また、識別に有効ではない次元は重みが小さくなるため、そのような次元の違いは距離計算結果へと影響を与えにくくなっている。

次に、処理はステップＳ５０４に戻る。通常検索部１１７は、ステップＳ５０９で算出した類似度が高い特徴量を、上位から所定件数分（例えば５０件）取得し、及び取得した特徴量に対応するサムネイル画像を表示部１１０へと出力する。

次に、ステップＳ５１１からステップＳ５１２までの再検索処理についての説明を行う。まず、ステップＳ５１１でフィードバック検索部１１９は、ステップＳ５０１で指定された検索範囲の画像の特徴量を照合対象に設定する。そして、ステップＳ５１２でフィードバック検索部１１９は、直前のリランキング処理で算出した（つまり、直前のステップＳ５０８で算出した）重みベクトルを用いて作成した類似度算出方式を用いて、クエリ特徴量と照合対象との特徴量の類似度を算出する。次に、処理はステップＳ５０４に戻る。フィードバック検索部１１９は、Ｓ５０９で算出した類似度が高い特徴量を、上位所定数件分（例えば５０件）選択し、及び選択された特徴量に対応するサムネイル画像を表示部１１０に出力する。

なお、算出部１２４が利用可能な重み計算方法は、前述の式（１）〜（４）に限定されるものではない。算出部１２４は、式（１）においては、例えば、クエリと不正解との差分の絶対値ではなく差分の割合を利用してもよく、又は算出される重みを０又は１の２値にしてもよい。重みを２値にした場合では、重みが０の次元については類似度に全く寄与しなくなるため、次元削減の効果がある。つまり、計算量を削減することができる。

また、ステップＳ５０３において通常検索部１１７は、リランキング結果として出力される所定件数（例えば１０００件）よりも多くの件数（例えば５０００件）の特徴量及びサムネイル画像を、ＲＡＭ１０７上に保存してもよい。そのような場合、リランキング部１２３は、ＲＡＭ上に保存したすべての特徴量を用いてリランキングを行い、及び、上述のリランキング結果として出力する所定件数のみのサムネイル画像を表示部に表示してもよい。このような処理によれば、リランキングと再検索との間の誤差が小さくなるため、リランキングの精度を向上させることができる。ここで、通常検索部１１７がＲＡＭ１０７上に保存する特徴量及びサムネイル画像の件数は特に限定されない。通常検索部１１７は、例えば、リランキング結果として所定件数の画像が出力される場合には、その所定件数の定数倍（Ｎ倍）（Ｎ＞１）の件数の特徴量を、リランキング対象の特徴量としてＲＡＭ１０７上に保存してもよい。また例えば、通常検索部１１７は、所定閾値よりも類似度が高くなる照合対象がリランキング結果として出力される場合には、その所定閾値の定数倍（Ｋ倍）（Ｋ＜１）よりも類似度が高くなる照合対象をＲＡＭ１０７上に保存してもよい。

このような構成によれば、ユーザによってフィードバックが指定された場合に、直前の検索結果の上位のみをリランキング及び表示することにより、フィードバックの効果を早急に確認することができる。さらに、フィードバックの有効性が確認できたと判断された時に再検索の指示がなされることにより、処理時間を要する再検索の実施回数を抑制することができる。したがって、ユーザのフィードバックによる検索の利便性を向上させることができる。

［実施形態２］
以下、実施形態２に係る画像検索装置についての説明を行う。実施形態１に係る画像検索装置は、フィードバックの効果をユーザが確認し、及び、フィードバックの有効性が確認できたと判断された場合には、ユーザが再検索を指示するように構成されている。しかしながら、リランキング結果の上位を確認しただけでは、フィードバックの効果が充分には確認できない場合がある。例えば、通常検索部１１７による検索結果の上位に既に正解画像が集まっていて、ユーザによるフィードバックを与えたリランキング（再検索）を実行しても上位の結果が変わらない場合などである。

そのような観点から、本実施形態に係る画像検索装置においては、結果評価部８２７が、フィードバックの有効性を評価する。つまり、再検索を実施するための充分なフィードバックが与えられたかどうかを評価する。特に本実施形態においては、結果評価部８２７は、リランキング結果を評価することにより、再検索に有効なフィードバックが与えられたかどうかを評価することができる。結果評価部８２７は、有効なフィードバックが与えられたと判断した場合には、例えば、再検索ボタンを目立つ表示にする又は再検索ボタンをアクティブにするなどにより、ユーザに再検索の実施を提案するように構成されていてもよい。有効なフィードバックが与えられたことを確認した後にユーザが再検索を実施することにより、無用な再検索の実施を抑制することが可能となる。したがって、ユーザのフィードバックによる検索の利便性を向上させることができる。

図８（Ａ）は、本実施形態に係る画像検索装置のハードウェア構成の一例を示すブロック図である。図８（Ａ）に示される画像検索装置は、ＲＯＭ１０２に評価部８２６が格納されていることを除いて図１（Ａ）と同様の構成を有するため、重複する説明は省略する。また、図８（Ｂ）は本実施形態に係る画像検索装置８２０が行う情報処理のデータフローの一例を示すブロック図であり、評価部８２６として結果評価部８２７を有することを除き図１（Ｂ）と同様の構成を有するため、重複する説明は省略する。本実施形態においては、結果評価部８２７がリランキング結果１２５を評価することにより、再検索に有効なフィードバックが与えられたかどうかを評価する。

図９は、本実施形態に係る画像検索装置８２０が行う特徴量検索処理の一例を示したフローチャートである。図９に示される例においては、画像検索装置８２０は、類似度算出後にフィードバックの有効性を評価するステップＳ９１４を行うことを除き、実施形態１の図５と同様の処理を行う。

ステップＳ９１４においては、結果評価部８２７がフィードバックの有効性を評価する。結果評価部８２７は、例えば、各リランキング対象について、検索時とリランキング後との配列の関係に基づいてフィードバックが有効であるかどうかを判断してもよい。また例えば、結果評価部８２７は、各リランキング対象について、検索時とリランキング後との類似度の関係に基づいてフィードバックが有効であるかどうかを判断してもよい。さらに例えば、結果評価部８２７は、リランキング対象の検索時の（つまり、リランキング前の）類似度の分布とリランキング後の上位の結果の検索時の類似度の分布との関係に基づいてフィードバックが有効であるかどうかを判断してもよい。以下、上記３つの方法についてそれぞれ説明を行う。

［１．検索時とリランキング後との配列の関係に基づいて判断を行う方法］
リランキング対象の検索時とリランキング後との各検索結果の順位の変動があった場合には、前回の検索では検出できなかった画像との順位の入れ替えが発生し得る。再検索により前回の検索で検出できなかった画像が検出できた時、順位の変動が小さい場合には検索結果の下位に現れる程度であることが推測されるが、順位の変動が大きい場合には再検索結果の上位に現れる可能性がある。したがって、この例においては、結果評価部８２７は、リランキング対象の検索時とリランキング後との順位の変動量が所定閾値を超えた場合に再検索に有効なフィードバックが与えられたと判断する。

検索時とリランキング後との順位の変動量ｄｉｆｆ＿ｒａｎｋの算出方法の一例として、結果評価部８２７は、リランキング対象の検索時の順位をｉ、及びリランキング後の順位のｒｅｒａｎｋ_ｉとした場合に、下記の式（６）を用いることができる。

ここで、結果評価部８２７は、順位の変動量を算出するために、すべての順位の差の絶対値を足し合わせているが、特にこの方法に限定されるわけではない。例えば、結果評価部８２７は、順位が上がったリランキング対象のみ、又は順位が下がったリランキング対象のみについて、式（６）に示されるように差の絶対値を足し合わせてもよい。また例えば、結果評価部８２７は、検索時の順位が上位であるリランキング対象のみ、又はリランキング後の順位が上位であるリランキング対象のみを用いてもよい。さらに例えば、リランキング前後での差が大きいリランキング対象のみ（例えば差が最大となるリランキング対象のみ）を用いるようにしてもよい。また、式（６）においては差の絶対和を算出しているが、代わりに差の二乗和を算出するようにしてもよい。

そして、結果評価部８２７は、算出されたｄｉｆｆ＿ｒａｎｋが所定閾値よりも大きくなった時に、有効なフィードバックが与えられたと判断する。ここで所定閾値として設定される値は特に限定されない。所定閾値の値は、例えば予め所望の値に設定されていてもよく、又はｄｉｆｆ＿ｒａｎｋがリランキング対象の数に依存するという観点から、リランキング対象の数に基づいて動的に決定されてもよい。

［２．検索時とリランキング後との類似度の関係に基づいて判断を行う方法］
リランキングにより各リランキング対象の類似度の変動があった場合には、再検索を行うことで、前回の検索では検出できなかった画像の類似度も変動することにより、順位の入れ替えが発生する可能性がある。したがって、この例においては、結果評価部８２７は、検索時とリランキング後との類似度の変動量が所定閾値を超えた時に、有効なフィードバックが与えられたと判断する。

検索時とリランキング後との類似度の変動量ｄｉｆｆ_ｓｉｍの算出方法の一例として、結果評価部８２７は、下記の式（７）を用いることができる。ここで、リランキング対象の検索時の類似度をｓｉｍ＿ｓｅａｒｃｈ_ｉ、及びリランキング後の類似度を時ｓｉｍ＿ｒｅｒａｎｋ_ｉとする。

ここでは、結果評価部８２７は、リランキング前後で類似度の上昇が最も大きいものと類似度の下降が最も大きいものとを抽出し、及び、それらの差を類似度の変動量ｄｉｆｆ_ｓｉｍとしているが、類似度の変動量の算出方法は特にこれには限定されない。例えば、結果評価部８２７は、類似度の差の絶対値が最大のものを類似度の変動量としてもよい。また、結果評価部８２７は、類似度の差の大きい方から所定個数の類似度を用いて上記式（７）の計算を行うことにより類似度の算出を行ってもよい。

そして、結果評価部８２７は、算出されたｄｉｆｆ_ｓｉｍが所定閾値よりも大きくなった場合に、有効なフィードバックが与えられたと判断する。ここで所定閾値として設定される値は特に限定されない。所定閾値の値は、例えば予め所望の値に設定されていてもよく、又はｄｉｆｆ_ｓｉｍが検索時の類似度及びリランキング後の類似度に依存するという観点から、それらの値に基づいて動的に決定されてもよい。

［３．リランキング対象の検索時の類似度の分布とリランキング後の上位の結果の検索時の類似度の分布との関係に基づいて判断を行う方法］
リランキング結果の上位の一部は、再検索結果の上位にも含まれている可能性が高い。例えば、再検索結果の上位１００件がすべてリランキング対象に含まれている場合には、リランキング結果の上位１００件が再検索結果の上位１００件と一致することは自明である。つまり、再検索を行っても、その再検索結果はリランキング結果と変わらないことになる。リランキング結果の上位と再検索結果の上位とで何件が一致するのかは、どのようなフィードバックが与えられたかに依存する。

この例においては、結果評価部８２７は、リランキング対象の検索時の類似度の分布とリランキング後の上位の結果の検索時の類似度の分布との関係が所定の関係を満たす場合に、有効なフィードバックが与えられたと判断する。例えば、結果評価部８２７は、上述の所定の関係として、リランキング後の上位の結果の検索時の類似度の分布が、リランキング対象の検索時の類似度の分布の十分に内側に存在しているかどうかを評価する。十分に内側に収まっている場合には、リランキング後の上位の結果は、再検索を行っても大きく変動しない可能性が高い。つまり、有効なフィードバックが与えられていない可能性が高い。

本実施形態に係る通常検索部１１７は、ユーザに提示するリランキング結果の件数よりも多くの件数の検索結果１２２を取得し、及びリランキング部１２３はその取得した検索結果１２２に対してリランキングを行ってもよい。つまり、例えば検索結果又はリランキング結果を１０００件取得したい場合においても、内部的には通常検索部１１７は上位５０００件の検索結果を保持しておき、及び、リランキング部１２３その５０００件を対象にリランキングを行ってもよい。そのような場合においては、結果評価部８２７は、リランキングを行った中の上位１０００件の類似度の分布に基づいて、有効なフィードバックが与えられたかどうかを判断する。

図１０は、特徴空間におけるリランキング対象の検索時の類似度の分布とリランキング後の上位の結果の検索時の類似度の分布との関係を説明するための図である。特徴量の次元数は特に限定されず、実際には３次元以上であることが想定されるが、ここでは説明のため２次元として表現される。図１０（Ａ）の１００１はクエリ画像の特徴量である。なお、上述のように、クエリ画像の特徴量との距離が近い点ほど類似度が高くなる。正円１００２は、リランキング対象（例えば検索結果の上位５０００件）の特徴量の範囲であるリランキング範囲であり、及び、重みベクトルｗが次元ごとに異なる重みを有していない場合は、クエリ画像１００１を中心とした正円となる。楕円１００３は、リランキング後の上位の結果（例えばリランキング結果の上位１０００件）の特徴量を同じ特徴空間にマッピングした例であり、及び、重みベクトルｗが次元ごとの重みを有しているため、クエリ画像１００１を中心とした楕円となる。

ここで、結果評価部８２７は、リランキング後の上位の結果の特徴量のうち、類似度が最小値となる特徴量を取得する。図１０（Ａ）の例においては、上述の特徴量は１００４であるとする。次いで、結果評価部８２７は、リランキング後の類似度が１００４と同じ値になる特徴量のうちの、検索時の類似度が最小となる特徴量の値を取得する。すなわち、楕円１００３の周上で、クエリ画像１００１から最も離れた特徴量１００５及び１００６の値を取得する。この特徴量は、特徴空間の楕円１００３上で類似度が最小となる点を、類似度演算式を用いて算術的に取得した特徴量であるので、必ずしもリランキング対象として存在するとは限らない。さらに、結果評価部８２７は、１００５及び１００６の特徴量の検索時の類似度を求め、及びその値をｍｉｎ＿ｒｅｓｕｌｔとする。

次に、結果評価部８２７は、リランキング対象の特徴量の検索時の類似度の最小値ｍｉｎ＿ｒｅｒａｎｋを取得する。図１０（Ａ）の例においては、結果評価部８２７は、正円１００２の円周上の特徴量１００７を取得する。ｍｉｎ＿ｒｅｓｕｌｔがｍｉｎ＿ｒｅｒａｎｋよりも大きい場合は、図１０（Ａ）のように、楕円１００３は正円１００２に接することなく内部に存在することになる。この時、リランキング後の上位の結果はリランキング範囲内に収まっていることが保証される。したがって、リランキング範囲外を含めた再検索を実施したとしても、すなわち、正円１００２よりも広い範囲を検索対象としたとしても、再検索結果は楕円１００３のまま変わらない。

一方で、ｍｉｎ＿ｒｅｓｕｌｔがｍｉｎ＿ｒｅｒａｎｋ以下となる場合の一例が図１０（Ｂ）に示されている。楕円１００９は、リランキング後の上位の結果（例えばリランキング結果の上位１０００件）の特徴量を同じ特徴空間にマッピングした例であり、及び、正円１００２は図１０（Ａ）と同様である。図１０（Ｂ）の例においては、リランキング後の上位の結果の特徴量のうちの類似度が最小となる特徴量は、楕円１００９上の特徴量１００８であるとする。また、リランキング後の類似度が１００８と同じ値になる特徴量のうちの検索時の類似度が最小となる特徴量は、特徴量１０１０及び１０１１であり、並びに、これらの類似度の値がｍｉｎ＿ｒｅｓｕｌｔとなる。結果評価部８２７は、このｍｉｎ＿ｒｅｓｕｌｔと、上述のｍｉｎ＿ｒｅｒａｎｋ（つまり、特徴量１００７）とを取得する。ｍｉｎ＿ｒｅｓｕｌｔがｍｉｎ＿ｒｅｒａｎｋより小さくなる場合には、図１０（Ｂ）のように、楕円１００９は正円１００２をはみ出している。この時、正円１００２からはみ出した領域に存在する点１０１２は、リランキングでは検出されないが、リランキング範囲外を含めた再検索時には検出されることが推測される特徴量である。したがって、結果評価部８２７は、このような場合に再検索に有効なフィードバックが与えられたと判断することができる。

また、ｍｉｎ＿ｒｅｓｕｌｔと同値の結果の全てがリランキング範囲に入っているとは限らない（すなわち、正円１００２上の特徴量が必ずしもリランキング対象として存在するとは限らない）。したがって、ｍｉｎ＿ｒｅｓｕｌｔとｍｉｎ＿ｒｅｒａｎｋが等しい場合も、再検索により新たな特徴量が検出される可能性がある。したがって、結果評価部８２７は、そのような場合にも再検索に必要なフィードバックが与えられたと判断してもよい。さらに、結果評価部８２７は、ｍｉｎ＿ｒｅｒａｎｋからｍｉｎ＿ｒｅｓｕｌｔを引いた差分が所定閾値以上である時に、再検索に必要なフィードバックが与えられたと判断してもよい。つまり、１０（Ｂ）の例では、楕円１００９が正円１００２から充分にはみ出している時に、再検索に必要なフィードバックが与えられたと判断してもよい。ここでの閾値は特に限定されず、適宜所望の値として設定されてもよい。

また、検索を高速に実現するために、クラスタリングなどにより分類されたインデクスを用いる場合があり、及び、そのような場合は、ｍｉｎ＿ｒｅｒａｎｋよりも類似度が高い結果がリランキング範囲に入っていない時もある。したがって、結果評価部８２７は、ｍｉｎ＿ｒｅｓｕｌｔとｍｉｎ＿ｒｅｒａｎｋを直接比較するのではなく、ｍｉｎ＿ｒｅｒａｎｋに１よりも大きい係数をかけ合わせてから比較するようにしてもよい。

図１１は、本実施形態に係る結果評価部８２７が類似度の分布を評価する処理の一例を示すフローチャートである。まず、ステップＳ１１０１で結果評価部８２７は、リランキング結果の上位Ｎ件（例えば１０００件）のうちの最小の類似度を取得する。これは、図１０（Ａ）における特徴量１００４の類似度であり、また図１０（Ｂ）においては特徴量１００８の類似度である。ステップＳ１１０２で結果評価部８２７は、リランキング後の類似度がステップＳ１１０１で取得した類似度と同値になる特徴空間上の点の中で、検索時の類似度が最小となる点の類似度を取得し、及びここで取得した類似度をｍｉｎ＿ｒｅｓｕｌｔとする。これは、図１０（Ａ）における特徴量１００５及び１００６の類似度、また図１０（Ｂ）における特徴量１０１０及び１０１１の類似度である。ステップＳ１１０３で結果評価部８２７は、リランキング範囲（例えば５０００件）の検索時での最小の類似度を取得し、及びここで取得した類似度をｍｉｎ＿ｒｅｒａｎｋとする。これは図１０（Ａ）及び図１０（Ｂ）における特徴量１００７の類似度である。

次いで、ステップＳ１１０３で結果評価部８２７は、ｍｉｎ＿ｒｅｒａｎｋとｍｉｎ＿ｒｅｓｕｌｔとを比較する。ｍｉｎ＿ｒｅｓｕｌｔがｍｉｎ＿ｒｅｒａｎｋよりも大きい場合は、すなわち、例えば図１０（Ａ）に示されるような状態である場合は、処理はステップＳ１１０５へと進む。ステップＳ１１０５で結果評価部８２７は、再検索は不要と判断し、及び本フローを終了する。一方で、ｍｉｎ＿ｒｅｓｕｌｔがｍｉｎ＿ｒｅｒａｎｋ以下である場合は、すなわち、例えば図１０（Ｂ）に示されるような状態である場合は、処理はステップＳ１１０６へと進む。ステップＳ１１０６で結果評価部８２７は、再検索に有効なフィードバックが与えられたと判断し、及び本フローを終了する。

図１１の例においては、リランキング結果１０００件に基づくｍｉｎ＿ｒｅｓｕｌｔと、リランキング範囲５０００件に基づくｍｉｎ＿ｒｅｒａｎｋと、が比較されている。しかし、ｍｉｎ＿ｒｅｓｕｌｔの取得の過程は上述のようには限らず、例えば、結果評価部８２７は、表示しているページに応じて、ｍｉｎ＿ｒｅｓｕｌｔを取得しなおすようにしてもよい。すなわち、各ページ５０件の結果を表示できる装置で１ページ目のみを閲覧している場合はリランキング結果５０件のみに基づいて、又は２ページ目までを閲覧した場合はリランキング結果１００件に基づいてｍｉｎ＿ｒｅｓｕｌｔを取得してもよい。そのような場合、ｍｉｎ＿ｒｅｓｕｌｔはページを送るたびに小さくなっていく。結果評価部８２７は、ｍｉｎ＿ｒｅｓｕｌｔがｍｉｎ＿ｒｅｒａｎｋ以下になった時に再検索ボタンを目立つ表示に変えてもよい。また、そのｍｉｎ＿ｒｅｓｕｌｔがｍｉｎ＿ｒｅｒａｎｋ以下になった時に再検索を行った場合、閲覧していた直前のページまでの再検索結果はリランキング結果と変わらないことが推測される。したがって、そのような場合、結果評価部８２７は、閲覧していたページからリランキング結果の表示を開始してもよい。

結果評価部８２７は、上記３つの方法のうちの１つを実施することにより評価を行ってもよく、これらのうちの複数を実施することにより総合的な評価を行ってもよい。例えば、１つ目の順位の変動量で判断する方法では、最初の検索結果が特徴空間上で偏りがある場合に正しく機能しないことがある。すなわち、検索結果の上位の順位の変動は小さいが、それらの類似度の変動は大きくなりやすい場合では、１つ目の方法は正しく機能しないことがある。このような場合においては、２つ目の類似度の変動量で判断する方法が有効となる。逆に、順位が変わっても類似度はあまり変わらない場合もある。そのような場合においては、１つ目の方法が有効となる。また、結果評価部８２７は、１つ目の方法及び２つ目の方法のどちらかの条件がそろった場合に、再検索に有効なフィードバックが与えられたと判断してもよい。

３つ目の類似度の分布を用いる方法は、リランキング後の順位が再検索の順位と同じであることを保証することが可能な方法である。結果評価部８２７は、リランキング後の順位が再検索の順位と同じであることが保証できなくなった時に、１つ目の方法及び二つ目の方法と併用してもよい。

本実施形態に係る結果評価部８２７は、リランキング結果を評価することで、再検索に有効なフィードバックが与えられたかどうかを判断する。結果評価部８２７は、有効なフィードバックが与えられたと判断したときに、その有効性の提示を行ってもよい。例えば、結果評価部８２７は、有効性の提示を行うために、再検索ボタンを目立つ表示にしてもよく、再検索ボタンをアクティブにしてもよい。また、結果評価部８２７は、バー表示などのデータを視覚化した形で有効性の度合いを表示してもよい。ユーザは、結果評価部による有効性の提示を確認した後に再検索を実施することにより、無用な再検索の実施を抑制することが可能となる。

このような構成によれば、リランキング結果を目視確認するだけではフィードバックの有効性を評価できない場合であっても、結果評価部８２７による評価に基づいて、ユーザのフィードバックの効果を確認することができる。したがって、ユーザのフィードバックによる検索の利便性を向上させることができる。

なお、本実施形態に係る画像検索装置８２０は、フィードバックの効果を判断するための構成を有するため、リランキング結果１２５をユーザに確認させるために表示部１１０に表示することは特に必須ではない。また、ユーザが再検索ボタンの表示などを確認してから再検索を実施する指示を出してもよく、画像検索装置８２０が、フィードバックが有効であると判断した時に再検索を自動で実施するように構成されていてもよい。さらに、画像検索装置８２０は、フィードバックが有効であると判断した場合に、バックグラウンドで再検索を実施しておき、及び、ユーザによる再検索指示を取得した時に再検索結果を表示することにより、体感的な返答時間を削減するように構成されていてもよい。

［実施形態３］
以下、実施形態３に係る画像検索装置についての説明を行う。実施形態３に係る画像検索装置は、実施形態２に係る画像検索装置は、リランキング結果を評価することにより、再検索に有効なフィードバックが与えられたかどうかを判断した。本実施形態に係る画像検索装置は、類似度を算出するために用いられる評価パラメータに基づいて、フィードバックの有効性を評価する。すなわち、類似度算出方式を評価することにより、再検索に有効なフィードバックが与えられたかどうかを判断することができる。したがって、本実施形態に係る画像検索装置は、リランキングを行うことなく、類似度がどのように変わるかにより、フィードバックの有効性の評価を行うことが可能である。

実施形態１及び実施形態２に係るリランキング部１２３は、検索結果の中から正解又は不正解の画像をユーザが指定することにより、フィードバック情報を取得した。次いで、リランキング部１２３はフィードバック情報とクエリ画像との特徴量の共通性に基づいて類似度算出方式を作成した。本実施形態に係る画像検索装置が用いる正解又は不正解の画像は、検索結果の中から選択されるのではなく、手持ち画像の中から提供される。つまり、例えば見た目が似ていない正解画像、又は見た目が似ている不正解画像を予め与えられることにより、本実施形態に係る画像検索装置は、その画像とクエリ画像との特徴量の共通性に基づいた類似度算出方式を作成することができる。したがって、ここで作成した類似度算出方式を用いることにより、初回の検索から、特徴のある箇所を強調した検索を実施することができる。

本実施形態に係る画像検索装置のハードウェア構成の一例は、図８（Ａ）と同様である。図１２は、本実施形態に係る画像検索装置が行う情報処理のデータフローの一例を示すブロック図である。図１２は、リランキング部１２３及びリランキング結果１２５が削除され、並びに、評価部８２６として、結果評価部８２７の代わりに方式評価部１２２８を有していることを除き、図８（Ｂ）と同様の構成を有するため、重複する説明は省略する。本実施形態においては、方式評価部１２２８が、類似度算出方式を評価することにより、再検索に有効なフィードバックが与えられたかどうかを評価する。つまり、実施形態１及び実施形態２で実行されていたリランキング処理は不要である。

図１３は、本実施形態に係る画像検索装置が行う特徴量検索処理の一例を示すフローチャートである。図１３においては、ステップＳ９１４の代わりにステップＳ１３１６が実行されることを除き図９と同様の処理を行うため、重複する説明は省略する。以下、ステップＳ１３１６で行われる評価方法の一例についての説明を行う。

Ｓ５０８で作成された重みベクトルの次元ごとの重みのばらつきが大きい場合は、類似度に変動があると考えられ、及び、前回の検索では検出できなかった画像の類似度も変わってくると考えられる。したがって、方式評価部１２２８は、そのような場合において、再検索に有効なフィードバックが与えられたと判断する。

ステップＳ１３１６において方式評価部１２２８は、重みベクトルの次元ごとの重みのばらつきｄｉｆｆ＿ｗｅｉｇｈｔを算出する方法の一例として、下記の式（８）を用いることができる。ここで、重みベクトルについて、各次元の重みをｗ_ｉとし、及び各次元の重みの平均のｗ重みベクトルの次元ごとの重みのばらつきをｗ’とする。式（８）においては、重みのばらつきとして各次元の重みの偏差平方和を算出しているが、各次元の重みの最大の値が重みのばらつきとされてもよい。

方式評価部１２２８は、例えば、ｄｉｆｆ＿ｗｅｉｇｈｔが所定閾値よりも大きくなった場合に、有効なフィードバックが与えられたと判断することができる。また、方式評価部１２２８は、次元ごとに重みが所定閾値を超えているかを判定し、及び、所定閾値を超えている次元の数に基づいて、有効なフィードバックが与えられたどうかを評価してもよい。ここで、所定閾値とされる値はそれぞれ予め与えられているものとするが、それらの値は特に限定はされない。

なお、本実施形態に係る画像検索装置は、次元ごとの重みを用いて有効なフィードバックが与えられたかどうかを判断する場合においては、リランキングを行う必要はない。したがって、ステップＳ５０８の後に上述の判断を行うことが可能である。方式評価部１２２８は、有効なフィードバックが与えられたと判断したときに、その有効性の提示を、実施形態２における結果評価部８２７と同様に行ってもよい。つまり、ステップＳ１３１６での判断に基づいて、再検索ボタンを目立つ表示にしたり、又は再検索ボタンをアクティブにしたりすることができる。

本実施形態では、予め与えられた正解又は不正解の画像に基づく類似度算出方式を用いることにより、初回の検索から特徴のある箇所を強調した検索が行われた。一方で、実施形態１，２と同様に、正解又は不正解の画像は予め与えられていなくてもよい。この場合において、初回の検索においては、上述のように予め定められた類似度算出方式を用いることができ、例えば、初期状態の重みベクトルを用いることができる。初期状態の重みベクトルは、予め与えられており、その値は特に限定はされない。具体例として、初期状態の重みベクトルの各要素は等しい値（例えばｗ_ｉ＝１）を有していてもよい。このような場合、方式評価部１２２８は、重み係数がフラットでなくなった場合に、再検索に有効なフィードバックが与えられたと判断してもよい。例えば、方式評価部１２２８は、ステップＳ５０８で得られた各次元の重み係数の分散が所定閾値を超えた場合に、再検索に有効なフィードバックが与えられたと判断してもよい。ここで所定閾値とされる値は予め与えられているものとするが、それらの値は特に限定はされない。

このような構成によれば、類似度算出方式を評価することにより、再検索に有効なフィードバックが与えられたかどうかを判断することができる。したがって、リランキングを行うことなく、類似度がどのように変わるかによる評価により、無用な再検索の実施を抑制することが可能となる。

また、本実施形態に係る画像検索装置は、実施形態２に記載される評価方法を用いて評価を行うようにしてもよい。つまり、リランキング結果の評価と、類似度算出方式の評価と、を併用することにより、有効なフィードバックが与えられたかどうかを判断してもよい。

（その他の実施形態）
上述の実施形態においては、人物領域から抽出した特徴量が例として用いられているが、特にこれに限定するものではない。例えば、人物画像から年齢及び性別などの属性が推測され、並びにそれらの属性を用いた検索において、本手法が用いられてもよい。すなわち、クエリ画像と正解又は不正解画像との属性の共通性に基づいて類似度算出方式が変更されてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１：ＣＰＵ、１０２：ＲＯＭ、１０３：オブジェクト抽出部、１０４：特徴量抽出部、１０５：登録部、１０６：特徴量検索部、１０７：ＲＡＭ、１０８：記憶部、１０９：入力部、１１０：表示部、１１１：通信部、１２４：算出部

Claims

第１の評価方式によるクエリ画像との第１の類似度に基づいて、前記クエリ画像と関連する画像を複数の検索対象画像から検索する検索手段と、
前記検索手段により検索された画像について正解であることと不正解であることとの少なくとも一方を示すフィードバックを取得する第１の取得手段と、
前記フィードバックに従って類似度の評価方式を前記第１の評価方式から第２の評価方式に変更することが前記画像の検索結果に与える影響の評価を取得する第２の取得手段と、
前記第２の評価方式による前記クエリ画像との第２の類似度に基づく、前記クエリ画像と関連する画像の前記複数の検索対象画像からの検索を、前記影響の評価に応じて制御する制御手段と、
を備えることを特徴とする、画像検索装置。
前記第１の取得手段は、前記第１の類似度に従って選択された前記複数の検索対象画像の一部である第１の画像群をユーザに提示し、前記第１の画像群のうちの少なくとも１つの画像について、前記ユーザからの前記フィードバックを取得することを特徴とする、請求項１に記載の画像検索装置。
前記第２の取得手段は、前記第１の画像群を含む、前記第１の類似度に従って選択された前記複数の検索対象画像の一部である第２の画像群のそれぞれについて、前記第２の類似度を算出することを特徴とする、請求項２に記載の画像検索装置。
前記第２の取得手段は、前記第２の画像群の少なくとも一部を前記第２の類似度に応じた配列で表示し、前記配列に対するユーザの評価を前記影響の評価として取得することを特徴とする、請求項３に記載の画像検索装置。
前記第２の画像群は、前記第１の画像群よりも多くの画像を含み、
前記第２の画像群の少なくとも一部は、前記第２の画像群から前記第２の類似度に従って選択された、前記第１の画像群と同数の画像であることを特徴とする、請求項４に記載の画像検索装置。
前記第２の取得手段は、前記第１の取得手段がフィードバックを取得するたびに、前記第２の画像群の少なくとも一部を、前記フィードバックに従って評価された類似度に応じた配列で表示することを特徴とする、請求項４又は５に記載の画像検索装置。
前記第２の取得手段は、ユーザの指示に応じて、前記第２の画像群の少なくとも一部を、前記フィードバックに従って評価された類似度に応じた配列で表示することを特徴とする、請求項４又は５に記載の画像検索装置。
前記第２の取得手段は、前記第２の画像群についての、前記第１の類似度に応じた配列と、前記第２の類似度に応じた配列と、の関係に基づいて、前記影響の評価を行うことを特徴とする、請求項３乃至７の何れか１項に記載の画像検索装置。
前記第２の取得手段は、前記第２の画像群に含まれる画像についての、前記第１の類似度に応じた前記第２の画像群における順位と、前記第２の類似度に応じた前記第２の画像群における順位と、の間の変動量に基づいて、前記影響の評価を行うことを特徴とする、請求項８に記載の画像検索装置。
前記第２の取得手段は、前記第２の画像群についての、前記第１の類似度と前記第２の類似度との関係に基づいて、前記影響の評価を行うことを特徴とする、請求項３乃至９の何れか一項に記載の画像検索装置。
前記第２の取得手段は、前記第２の画像群に含まれる画像についての、前記第１の類似度と前記第２の類似度との間の変動量に基づいて、前記影響の評価を行うことを特徴とする、請求項１０に記載の画像検索装置。
前記第２の取得手段は、前記第１の画像群又は前記第２の画像群が有する前記第１の類似度の分布と、前記第２の画像群のうちの前記第２の類似度がより大きい第３の画像群が有する前記第１の類似度の分布と、の関係に基づいて、前記影響の評価を行うことを特徴とする、請求項３乃至１１の何れか一項に記載の画像検索装置。
前記第２の取得手段は、前記第３の画像群が有する前記第１の類似度の分布が、前記第２の画像群が有する前記第１の類似度の分布の内部に収まっているか否かに基づいて、前記影響の評価を行うことを特徴とする、請求項１２に記載の画像検索装置。
前記第２の取得手段は、前記第２の評価方式で用いられる評価パラメータに基づいて、前記影響の評価を行うことを特徴とする、請求項３乃至１３の何れか一項に記載の画像検索装置。
前記第２の取得手段は、前記影響の評価結果をユーザに提示することを特徴とする、請求項８乃至１４の何れか一項に記載の画像検索装置。
前記第２の取得手段は、前記影響が有効であると評価すると、前記第２の類似度に基づく前記クエリ画像と関連する画像の前記複数の検索対象画像からの検索をユーザに提案することを特徴とする、請求項１５に記載の画像検索装置。
前記第１の取得手段は、前記フィードバックを取り消す指示をさらに取得し、
前記第２の取得手段は、取り消されていない前記フィードバックに従って類似度の評価方式を前記第１の評価方式から前記第２の評価方式に変更することが前記画像の検索結果に与える影響の評価を取得することを特徴とする、請求項１乃至１６の何れか一項に記載の画像検索装置。
前記第２の取得手段は、前記フィードバックに基づいて、前記第２の類似度を算出するために用いる、画像が有する特徴量の次元ごとの重みを決定することを特徴とする、請求項１乃至１７の何れか一項に記載の画像検索装置。
第１の評価方式によるクエリ画像との第１の類似度に基づいて、前記クエリ画像と関連する画像を複数の検索対象画像から検索する工程と、
検索された画像について正解であることと不正解であることとの少なくとも一方を示すフィードバックを取得する工程と、
前記フィードバックに従って類似度の評価方式を前記第１の評価方式から第２の評価方式に変更することが前記画像の検索結果に与える影響の評価を取得する工程と、
前記第２の評価方式による前記クエリ画像との第２の類似度に基づく、前記クエリ画像と関連する画像の前記複数の検索対象画像からの検索を、前記影響の評価に応じて制御する工程と、
を備えることを特徴とする、画像検索方法。
コンピュータを、請求項１乃至１８の何れか一項に記載の画像検索装置の各手段として機能させるためのプログラム。