JP2019164555A - 画像検索システム、画像検索装置および画像検索方法 - Google Patents

Abstract

【課題】特定の画像に対する意図しない検索結果の出力を抑制可能とする。【解決手段】画像検索手段により、検索要求に応じて、登録された画像を類似度に基づき検索を行う。第１の登録手段により、検索要求の検索結果として応答される第１の画像を登録する。第２の登録手段により、検索結果として応答された第１の画像を検証するための第２の画像を登録する。画像検索手段により類似する複数の第１の画像が検索された場合に、第２の画像を用いて、類似する複数の第１の画像から検索結果として応答する１の画像を判定する。【選択図】図１７

Description

本発明は、画像検索システム、画像検索装置および画像検索方法に関する。

例えばカメラで撮像して得た撮像画像から特徴点を抽出して、予め登録された画像群から類似した特徴点を多く持つ画像を検索する画像検索技術が知られている。この画像検索技術を利用して、特定の写真や印刷物の画像を様々な電子データと関連付けて画像検索用データベース（ＤＢ）に登録し、これら写真や印刷物を撮像した撮像画像を用いてこの画像検索用ＤＢから類似画像を検索して、類似画像に関連付けられた電子データを提示する画像検索システムが知られている（例えば特許文献１）。

例えば、商品を販売する事業者が、商品の画像を含む被写体を用意すると共に、画像検索用ＤＢに対し、当該商品の画像とこの画像に関連付けた連携情報とを登録しておく。ユーザにより、当該被写体を撮像した撮像画像が画像検索システムに送信されると、画像検索システムは、撮像画像に基づく画像検索により当該画像に関連付けられた連携情報を取得し、取得した連携情報を、ユーザに返す。事業者は、商品の画像に基づき連携情報に示される情報をユーザに提供できる。

また、特許文献２には、類似度に基づき画像を検索する技術が開示されている。特許文献２によれば、画像を検索する際に、予め定めているソート順に従って検索結果を表示し、ユーザは、検索結果の表示に基づき所望の画像を選択することができる。

ところが、従来の画像検索システムにおいては、撮像画像に含まれる画像と類似する複数の画像が画像検索用ＤＢに登録されている場合に、事業者が意図していない画像が高い確率で検索されてしまう場合があるという問題点があった。

この問題に対し、例えば意図せず検索されてしまう画像を画像検索用ＤＢから削除する方法が考えられる。しかしながら、当該画像が別の画像検索に用いられる場合があり、この場合には当該画像を画像検索用ＤＢから削除できないことになる。また、画像検索用ＤＢの管理方法によっては、画像検索用ＤＢからの画像の削除を、例えば１日に１回の特定の時刻でなければ実行できないなど、時間などによる制限が存在する場合もある。

また例えば、上述の問題に対し、撮像画像に基づき類似の画像を複数検索してユーザに提示し、ユーザに選択を促す方法も考えられる。しかしながら、この方法では、用意した画像に対して意図した検索結果を提示させたいと考える事業者の要求と相容れないという問題点があった。

本発明は、上記に鑑みてなされたものであって、特定の画像に対する意図しない検索結果の出力を抑制可能とすることを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、画像を類似度に基づき検索する画像検索システムであって、検索要求に応じて、登録された画像を類似度に基づき検索を行う画像検索手段と、検索要求の検索結果として応答される第１の画像を登録する第１の登録手段と、検索結果として応答された第１の画像を検証するための第２の画像を登録する第２の登録手段と、画像検索手段により類似する複数の第１の画像が検索された場合に、第２の画像を用いて、類似する複数の第１の画像から検索結果として応答する１の画像を判定する判定手段と、を有する。

本発明によれば、特定の画像に対する意図しない検索結果の出力が抑制可能となるという効果を奏する。

図１は、実施形態に適用可能な情報処理システムの一例の構成を示す図である。 図２は、実施形態に係る画像検索システムのシステム構成の例を示すブロック図である。 図３は、既存技術に係る画像検索を説明するための図である。 図４は、実施形態に係る、画像検索システムに含まれる画像検索用ＤＢの一例の構成を示すブロック図である。 図５は、実施形態に適用可能な画像検索サーバの一例の構成を示すブロック図である。 図６は、実施形態に係る画像検索サーバの機能を説明するための一例の機能ブロック図である。 図７は、実施形態に適用可能な登録端末の一例のハードウェア構成を示すブロック図である。 図８は、実施形態に適用可能な登録端末の機能を説明するための一例の機能ブロック図である。 図９は、実施形態に適用可能な登録画面の例を示す図である。 図１０は、実施形態に適用可能な、登録ツールにより表示される連携情報設定画面の例を示す図である。 図１１は、実施形態に適用可能な、対象領域が指定された場合に登録ツールにより表示される優先画像公開期限設定画面の例を示す図である。 図１２は、実施形態に係る、対象領域の画像を画像検索用ＤＢに登録する登録処理を示す一例のフローチャートである。 図１３は、実施形態に係る検索処理の第１の例について説明するための図である。 図１４は、実施形態に係る検索処理の第１の例について説明するための図である。 図１５は、実施形態に係る検索処理の第２の例について説明するための図である。 図１６は、実施形態に係る検索処理の第２の例について説明するための図である。 図１７は、実施形態に係る検索処理を示す一例のフローチャートである。

以下に添付図面を参照して、画像検索システム、画像検索装置および画像検索方法の実施形態を詳細に説明する。図１は、実施形態に適用可能な情報処理システムの一例の構成を示す図である。図１において、情報処理システム３は、それぞれネットワーク２を介して接続される、検索端末３０と、実施形態に係る画像検索システム１と、を含む。

画像検索システム１は、画像検索サーバ１０と、登録サーバ２０と、登録端末４０と、メンテナンス用端末５０と、を含む。これらのうち、登録サーバ２０および登録端末４０は、この画像検索システム１を運営するサービス提供者と、当該サービス提供者と所定の契約を交わした者（事業者と呼ぶ）と、に限定して利用可能とされている。また、画像検索サーバ１０は、一般ユーザおよび事業者が利用可能とされている。さらに、メンテナンス用端末５０は、サービス提供者に限定して利用可能とされている。

画像検索サーバ１０は、画像と連携情報とが関連付けられて格納される画像検索用データベース（ＤＢ）と、画像検索部とを含む。画像検索サーバ１０は、ネットワーク２を介して受信した画像に基づき画像検索を行い、画像に対応する連携情報を検索結果として出力する。画像検索サーバ１０は、検索結果として取得した連携情報を、当該画像の送信元に返す。

例えば、一般ユーザは、特定の画像を含む被写体３１を検索端末３０により撮像する。検索端末３０は、被写体３１を撮像した撮像画像をネットワーク２を介して画像検索システム１に送信する。当該撮像画像は、画像検索システム１において、画像検索サーバ１０に渡される。画像検索サーバ１０は、検索端末３０から送信された撮像画像に基づき画像検索を行い、例えば被写体３１に含まれる特定の画像に類似した画像を、画像検索用ＤＢから検索する。画像検索サーバ１０は、検索された画像に関連付けられた連携情報を、検索端末３０に返す。

連携情報が例えばＷｅｂサイト６０のＵＲＬ(Uniform Resource Locator)であれば、一般ユーザは、この連携情報に基づき、Ｗｅｂサイト６０にアクセスして、特定のコンテンツを取得することができる。例えば、コンテンツを提供するためのＷｅｂサイト６０を運営する事業者を考え、当該事業者は、特定の画像を含む被写体３１を用意すると共に、当該特定の画像を画像検索用ＤＢに登録しておく。こうすることで、当該事業者は、当該被写体３１を撮像させることで一般ユーザをＷｅｂサイト６０にアクセスさせ、当該一般ユーザにコンテンツを提供することができる。

登録サーバ２０は、画像検索サーバ１０と同等の構成を含み、ネットワーク２を介して受信した画像に基づく画像検索を行い、画像に対応する連携情報を検索結果として出力する。事業者は、登録端末４０を用いて登録サーバ２０に画像を登録し、検索端末３０から登録サーバ２０にアクセスして、当該画像に係る検索をテストすることができる。例えば、サービス提供者は、事業者による登録画像のテストが完了すると、メンテナンス用端末５０を用いて、登録サーバ２０における画像検索用ＤＢの内容を画像検索サーバ１０における画像検索用ＤＢに反映させる。

図２は、実施形態に係る画像検索システム１のシステム構成の例を示すブロック図である。なお、図２において、上述した図１と共通する部分には同一の符号を付して、詳細な説明を省略する。

画像検索システム１において、画像検索サーバ１０は、上述したように、一般ユーザからの検索要求に応じて参照される、公開用の画像検索用ＤＢを含む。一方、画像検索システム１において、登録サーバ２０は、事業者が画像および連携情報を公開用の画像検索用ＤＢに登録する前に、試用にて画像および連携情報を登録する、試用の画像検索用ＤＢを含む。試用の画像検索用ＤＢに登録された画像および連携情報は、サービス提供者により、公開用の画像検索用ＤＢにアップロードされる。

画像検索サーバ１０は、当該画像検索サーバ１０で動作するモジュールとして、画像検索サービス１００と、ＤＢ管理サービス１０１と、画像検索用ＤＢ１０２と、インタフェース部１０３と、ログ収集サービス１０４と、を含む。

インタフェース部１０３は、画像検索サーバ１０の各部、および、登録サーバ２０とに対するインタフェースである。インタフェース部１０３は、Ｗｅｂアプリに対するインタフェースを含み、例えば検索端末３０に搭載される、この画像検索システム１による画像検索機能を利用するための、Ｗｅｂアプリとして構成される検索アプリと協働して、検索端末３０と画像検索サービス１００およびＤＢ管理サービス１０１との間の通信を行う。

画像検索用ＤＢ１０２は、上述した公開用の画像検索用ＤＢであって、画像と、連携情報とが関連付けられて登録される。画像検索用ＤＢ１０２は、画像を、例えば、画像の特徴を抽出した特徴情報として登録する。連携情報は、例えばＵＲＬである。

ＤＢ管理サービス１０１は、画像検索用ＤＢ１０２に登録される特徴情報および連携情報の管理を行う。ＤＢ管理サービス１０１は、例えば、後述するインタフェース部１０３からの要求に応じて、画像検索用ＤＢ１０２に登録される特徴情報および連携情報を更新する。また、ＤＢ管理サービス１０１は、ＤＢ管理用アプリケーションにより、後述する画像検索サービス１００の要求に応じて、画像検索用ＤＢ１０２に登録される特徴情報を参照して、画像検索サービス１００に返す。

画像検索サービス１００は、検索端末３０により被写体３１が撮像された撮像画像と、この撮像画像に基づく画像検索を要求する検索要求とがインタフェース部１０３を介して渡される。画像検索サービス１００は、インタフェース部１０３から渡された検索要求に従い、撮像画像を解析して特徴情報を抽出する。画像検索サービス１００は、抽出した特徴情報に基づき、ＤＢ管理サービス１０１に対して画像検索用ＤＢ１０２に登録される特徴情報の参照を要求し、当該登録される特徴情報から、抽出した特徴情報に対する類似度が高い特徴情報を検索する。

画像検索サービス１００は、ＤＢ管理サービス１０１に対して、検索結果の特徴情報に関連付けられて画像検索用ＤＢ１０２に登録される連携情報を要求する。ＤＢ管理サービス１０１は、この要求に応じて画像検索用ＤＢ１０２から連携情報を取り出し、画像検索サービス１００に渡す。画像検索サービス１００は、ＤＢ管理サービス１０１から渡された連携情報を、インタフェース部１０３から検索端末３０に返す。

ログ収集サービス１０４は、例えば検索端末３０からインタフェース部１０３へのアクセスに応じたログ情報を収集し、収集したログ情報を後述するステータスＤＢ２１４に登録する。

登録サーバ２０は、画像検索サービス２００と、ＤＢ管理サービス２０１と、画像検索用ＤＢ２０２と、インタフェース部２０３と、を含む。これら画像検索サービス２００、ＤＢ管理サービス２０１および画像検索用ＤＢ２０２は、画像検索サーバ１０に含まれる画像検索サービス１００、ＤＢ管理サービス１０１および画像検索用ＤＢ１０２と同等の機能を有する。ここで、画像検索用ＤＢ２０２は、上述した試用の画像検索用ＤＢである。

例えば、ＤＢ管理サービス２０１は、上述したＤＢ管理サービス１０１と同等の機能を有し、画像検索用ＤＢ２０２に登録される画像（特徴情報）および連携情報の管理を行う。

事業者は、検索端末３０を用いて被写体３１を撮像し、撮像画像および検索要求をインタフェース部２０３に送信する。これにより、事業者は、画像検索用ＤＢ２０２に登録された画像を撮像画像に基づき参照し、当該画像に関連付けられて画像検索用ＤＢ２０２に登録された連携情報を取得し、画像検索用ＤＢ２０２に登録された画像および連携情報を確認することができる。

登録サーバ２０は、さらに、インタフェース部２１０と、ユーザ管理サービス２１１と、ユーザＤＢ２１２と、ログ管理サービス２１３と、ステータスＤＢ２１４と、を含む。ユーザ管理サービス２１１は、ユーザＤＢ２１２に登録されるユーザ情報を管理する。ログ管理サービス２１３は、ステータスＤＢ２１４に格納されるログ情報を管理する。

インタフェース部２０３および２１０は、Ｗｅｂアプリに対応するインタフェースを含む。インタフェース部２０３は、例えば登録端末４０に搭載される、提供者が画像検索用ＤＢ２０２に対する画像（特徴情報）の登録、当該画像に関連付けられる連携情報の設定などを行うための、Ｗｅｂアプリとして構成される登録ツール４１と協働して、登録端末４０と画像検索サービス２００およびＤＢ管理サービス２０１との間の通信を行う。

インタフェース部２１０は、登録端末４０に搭載される、提供者がユーザ管理サービス２１１によるユーザ情報の管理を行うための、Ｗｅｂアプリとして構成される管理ツールと協働して、登録端末４０とユーザ管理サービス２１１との間の通信を行う。なお、登録端末４０は、ログ管理サービス２１３とは、直接的に通信を行い、ステータスＤＢ２１４に格納されるログ情報を閲覧することが可能である。

メンテナンス用端末５０は、画像検索用ＤＢ１０２に登録される画像（特徴情報）および連携情報のメンテナンスを行う。また、メンテナンス用端末５０は、画像検索用ＤＢ２０２に登録される画像（特徴情報）および連携情報を、画像検索サーバ１０内の画像検索用ＤＢ１０２にアップロードする。この、メンテナンス用端末５０による画像および連携情報のアップロードは、例えば、バッチ処理により、開始時間を夜間に指定して実行される。

［既存技術に係る画像検索］
ここで、上述した画像検索システム１における、既存技術に係る画像検索について、概略的に説明する。図３は、既存技術に係る画像検索を説明するための図である。画像検索システム１において、図３（ｂ）に示す画像３０１ａ、３０１ｂおよび３０１ｃは、画像検索サーバ１０が有する画像検索用ＤＢに登録される、検索対象の画像である。理解を容易とするために、画像３０１ａは、果実の「ミカン」の画像、画像３０１ｂは、果実の「オレンジ」の画像、画像３０１ｃは、果実の「オレンジ」を含む複数の果実を含んだ画像であるものとする。また、事業者は、画像３０１ｂを含む被写体３１を用意し、画像３０１ｂに対して、当該事業者が運営するＷｅｂサイトのＵＲＬを連携情報として関連付けているものとする。

一般ユーザは、検索端末３０を用いて被写体３１を撮像し、撮像画像を、検索を行う検索画像として、検索要求と共に画像検索サーバ１０に送信する。図３（ａ）は、この検索画像３００の例を示す。検索画像３００は、例えば検索端末３０のカメラと被写体３１との位置関係、露光や被写体３１に対する外光の反射など様々な影響により、元の画像３０１ｂと完全に一致した画像とはならないことが多い。

画像検索サーバ１０は、画像検索用ＤＢに登録される画像３０１ａ、３０１ｂおよび３０１ｃと、検索画像３００と、の類似度をそれぞれ求める。以下では、類似度をスコアの値で表し、検索画像と登録画像とが完全に一致した場合にスコアが値「１００」、全く類似点が無い場合にスコアが値「０」とし、スコアの値が大きいほど、高い類似度を示すものとする。

検索画像３００に基づく検索の結果、図３（ｂ）に例示されるように、画像３０１ａ、３０１ｂおよび３０１ｃについて、それぞれスコアの値「７０」、「６０」および「３０」が得られたものとする。画像検索サーバ１０が、画像検索により得られた各スコア値のうち最も値の大きなスコア値に従い検索結果を採用する場合、図３（ｂ）の例では、被写体３１を用意した事業者が意図した画像３０１ｂとは異なる、画像３０１ａが検索結果として採用され、当該画像３０１ａに関連付けられた連携情報が、一般ユーザの検索端末３０に送信される。したがって、当該事業者は、意図した結果を得られないことになる。

実施形態では、この点を解消するために、画像検索用ＤＢにおいて、検索要求の検索結果として応答される画像３０１ａ、３０１ｂおよび３０１ｃを登録するためのＤＢ（通常ＤＢと呼ぶ）と、検索結果として優先して採用させたい画像３０１ｂを登録するためのＤＢ（優先ＤＢと呼ぶ）と、を設ける。以下、適宜、通常ＤＢに登録される画像を通常画像（第１の画像）と呼び、優先ＤＢに登録される画像を優先画像（第２の画像）と呼ぶ。実施形態では、通常画像に対する検索結果を、優先画像を用いて検証する。

画像検索サーバ１０は、検索端末３０から送信された、画像３０１ｂを含む被写体３１を撮像した撮像画像を検索画像３００として、先ず、通常ＤＢおよび優先ＤＢを対象として第１の画像検索を行う。次に、第１の画像検索の検索結果に応じて、優先ＤＢに登録される優先画像（この例では画像３０１ｂ）を検索画像３００として用いて、通常ＤＢを対象として第２の画像検索を行う。画像検索サーバ１０は、第１の検索結果において最も類似度の高い画像の、第２の画像検索の検索結果における優先度の順位に基づき、検索端末３０からの検索要求に応じた最終的な検索結果を決定する。

このように、実施形態では、事業者の意図する画像３０１ｂを含む被写体３１を撮像した撮像画像に基づき通常ＤＢおよび優先ＤＢを対象として第１の画像検索を行い、優先ＤＢに登録される優先画像に基づき第２の画像検索を行う。そして、第２の画像検索の結果に基づき第１の画像検索の検索結果を評価する。これにより、被写体３１を撮像した撮像画像に基づく画像検索の検索結果を、より正確に取得することができる。

［実施形態に係る画像検索システムのより詳細な構成］
次に、実施形態に係る画像検索システム１のより詳細な構成について説明する。図４は、実施形態に係る、画像検索システム１に含まれる画像検索用ＤＢの一例の構成を示すブロック図である。図４（ａ）は、画像検索サーバ１０に含まれる画像検索用ＤＢ１０２の構成例を示し、図４（ｂ）は、登録サーバ２０に含まれる画像検索用ＤＢ２０２の構成例を示す。

図４（ａ）において、画像検索用ＤＢ１０２は、通常ＤＢ１０２ａと、優先ＤＢ１０２ｂと、を含む。通常ＤＢ１０２ａは、画像ＤＢ１０２０ａと、連携情報ＤＢ１０２１ａと、を含む。画像ＤＢ１０２０ａは、上述した、検索要求に対する検索結果として応答させる画像（通常画像）が登録され、連携情報ＤＢ１０２１ａは、画像ＤＢ１０２０ａに登録される通常画像に関連付けられた連携情報が登録される。

優先ＤＢ１０２ｂも同様に、画像ＤＢ１０２０ｂと、連携情報ＤＢ１０２１ｂと、を含む。画像ＤＢ１０２０ｂは、検索結果として優先して採用させたい画像（優先画像）が登録され、連携情報ＤＢ１０２１ｂは、画像ＤＢ１０２０ｂに登録される優先画像に関連付けられた連携情報が登録される。

図４（ｂ）に例示される画像検索用ＤＢ２０２は、図４（ａ）の画像検索用ＤＢ１０２と同等の構成を有する。すなわち、図４（ｂ）において、通常ＤＢ２０２ａは、図４（ａ）の通常ＤＢ１０２ａと対応し、通常ＤＢ２０２ａに含まれる画像ＤＢ２０２０ａおよび連携情報ＤＢ２０２１ａは、それぞれ、画像ＤＢ１０２０ａおよび連携情報ＤＢ１０２１ａに対応する。同様に、図４（ｂ）において、優先ＤＢ２０２ｂは、図４（ａ）の優先ＤＢ１０２ｂと対応し、優先ＤＢ２０２ｂに含まれる画像ＤＢ２０２０ｂおよび連携情報ＤＢ２０２１ｂは、それぞれ、画像ＤＢ１０２０ｂおよび連携情報ＤＢ１０２１ｂに対応する。

この優先ＤＢ１０２ｂおよび２０２ｂへの優先画像および連携情報の登録は、例えば、当該画像検索システム１を利用可能な事業者のうち、この画像検索システム１のサービス提供者に対して優先画像の登録に関する特定の契約をさらに交わした者が限定的に利用できるものとし、通常ＤＢ１０２ａおよび２０２ａへの通常画像および連携情報の登録と区別する。

図５は、実施形態に適用可能な画像検索サーバ１０の一例の構成を示すブロック図である。なお、図５の構成は、登録サーバ２０にも適用可能である。

図５において、画像検索サーバ１０は、それぞれバス１００５に接続される、ＣＰＵ(Central Processing Unit)１０００と、ＲＯＭ(Read Only Memory)１００１と、ＲＡＭ(Random Access Memory)１００２と、ストレージ１００３と、通信インタフェース（Ｉ／Ｆ）１００４と、を含む。ストレージ１００３は、不揮発にデータを記憶可能な記憶媒体であって、ハードディスクドライブや、フラッシュメモリを適用することができる。

ＣＰＵ１０００は、ＲＯＭ１００１およびストレージ１００３に記憶されるプログラムに従い、ＲＡＭ１００２をワークメモリとして用いて、この画像検索サーバ１０の全体の動作を制御する。通信Ｉ／Ｆ１００４は、ネットワーク２を介した通信や、登録サーバ２０との通信を制御する。

図６は、実施形態に係る画像検索サーバ１０の機能を説明するための一例の機能ブロック図である。なお、図６に示される機能構成は、登録サーバ２０にも同様に適用可能である。

図６において、画像検索サーバ１０は、通信部１０１０と、制御部１０１１と、画像検索部１０１２と、登録部１０１３と、判定部１０１４と、削除部１０１５と、を含む。また、登録部１０１３は、通常ＤＢ登録部１０１３ａと、優先ＤＢ登録部１０１３ｂと、を含む。

これら通信部１０１０、制御部１０１１、画像検索部１０１２、登録部１０１３（通常ＤＢ登録部１０１３ａおよび優先ＤＢ登録部１０１３ｂ）、判定部１０１４および削除部１０１５は、ＣＰＵ１０００上で実施形態に係る画像検索プログラムが動作することで実現される。これに限らず、通信部１０１０、制御部１０１１、画像検索部１０１２、登録部１０１３（通常ＤＢ登録部１０１３ａおよび優先ＤＢ登録部１０１３ｂ）、判定部１０１４および削除部１０１５の一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。

通信部１０１０は、通信Ｉ／Ｆ１００４を制御して、ネットワーク２を介した通信を行う。また、通信部１０１０は、図６が画像検索サーバ１０の機能を示す場合には、登録サーバ２０との通信を行い、登録サーバ２０の機能を示す場合には、画像検索サーバ１０との通信を行う。制御部１０１１は、この画像検索サーバ１０（登録サーバ２０）の全体の動作を制御する。

画像検索部１０１２は、検索要求に応じて、画像検索用ＤＢ１０２に登録される画像を対象画像として、検索画像の検索を行う。すなわち、画像検索部１０１２は、例えば通信部１０１０から受け取った検索画像を解析して特徴情報を抽出し、抽出した特徴情報に基づき、画像検索用ＤＢ１０２に登録された各画像の、検索画像に対する類似度を求める。画像検索部１０１２は、求めた類似度に応じて「０」乃至「１００」の値を取るスコアを出力する。

登録部１０１３は、画像検索用ＤＢ１０２に対して画像および連携情報の登録を行う。より詳細には、登録部１０１３において、通常ＤＢ登録部１０１３ａは、通常ＤＢ１０２ａに含まれる画像ＤＢ１０２０ａおよび連携情報ＤＢ１０２１ａに、通常画像および連携情報を登録する（第１の登録手段）。同様に、登録部１０１３において、優先ＤＢ登録部１０１３ｂは、優先ＤＢ１０２ｂに含まれる画像ＤＢ１０２０ｂおよび連携情報ＤＢ１０２１ｂに、優先画像および連携情報を登録する（第２の登録手段）。

判定部１０１４は、上述した第１の画像検索および第２の画像検索に応じた、類似画像の判定処理を行う。削除部１０１５は、通常ＤＢ１０２ａおよび優先ＤＢ１０２ｂに登録される画像および連携情報を削除する。

図７は、実施形態に適用可能な登録端末４０の一例のハードウェア構成を示すブロック図である。図７に示される登録端末４０において、バス４０１０に対してＣＰＵ４０００、ＲＯＭ４００１、ＲＡＭ４００２およびグラフィクスＩ／Ｆ４００３が接続される。また、バス４０１０に対して、ストレージ４００４、データＩ／Ｆ４００５、入力デバイス４００６、通信Ｉ／Ｆ４００７が接続される。

ストレージ４００４は、データを不揮発に記憶することが可能な記憶媒体であって、ハードディスクドライブやフラッシュメモリを適用することができる。ストレージ４００４は、ＣＰＵ４０００が実行するためのプログラムや各種データが格納される。ＣＰＵ４０００は、ＲＯＭ４００１およびストレージ４００４に記憶されるプログラムに従い、ＲＡＭ４００２をワークメモリとして用いて、この登録端末４０の全体を制御する。グラフィクスＩ／Ｆ４００３は、ＣＰＵ４０００により生成された表示制御信号を、ディスプレイ４００８が表示可能な信号に変換して出力する。

データＩ／Ｆ４００５は、外部機器との間でデータの入出力を行う。データＩ／Ｆ４００５としては、例えば、ＵＳＢ(Universal Serial Bus)やＢｌｕｅｔｏｏｔｈ（登録商標）といったインタフェースを適用することができる。入力デバイス４００６は、マウスやタブレットといったポインティングデバイスや、キーボードであって、ユーザ入力を受け付ける。ユーザは、例えばディスプレイ４００８の表示に応じて入力デバイス４００６を操作することで、登録端末４０に対して指示を出すことができる。通信Ｉ／Ｆ４００７は、ＣＰＵ４０００の制御に従いネットワーク２を介した通信を行う。

なお、図１に示したメンテナンス用端末５０は、この図７と同様の構成で実現可能であるので、ここでの説明を省略する。

図８は、実施形態に適用可能な登録端末４０の機能を説明するための一例の機能ブロック図である。図８において、登録端末４０は、登録ツール４１を含み、登録ツール４１は、通信部４１０と、設定部４１１と、入力部４１２と、表示部４１３と、取得部４１４と、を含む。

通信部４１０は、通信Ｉ／Ｆ４００７を制御して、ネットワーク２を介した通信を行う。入力部４１２は、入力デバイス４００６に対する入力操作で入力された情報を受け付ける。設定部４１１は、登録対象の画像に対して連携情報の設定を行う。表示部４１３は、ディスプレイ４００８に表示させるための表示情報を生成する。

取得部４１４は、登録端末４０の外部から画像を取得する。取得部４１４は、他の機器からネットワーク２を介して送信された画像を取得してもよいし、ＣＤ(Compact Disk)やＤＶＤ(Digital Versatile Disk)といった記録媒体を介して画像を受け取ってもよい。さらに、取得部４１４は、紙などの印刷媒体から画像を取得してもよい。また、取得部４１４は、例えば入力部４１２に受け付けられた情報に従い、画像に関連付ける連携情報のための情報を取得する。

登録端末４０に含まれる登録ツール４１の各部（通信部４１０、設定部４１１、入力部４１２、表示部４１３および取得部４１４）は、Ｗｅｂアプリとして構成され、登録端末４０が登録サーバ２０とアクセスすることにより登録サーバ２０から読み込まれ、ＣＰＵ４０００上で動作するプログラムにより実現される。

より具体的には、登録端末４０は、一般的なコンピュータに搭載されるものと同等のブラウザアプリケーション（以下、ブラウザ）が搭載される。ブラウザは、ＣＰＵ４０００上で動作して、例えばＨＴＭＬ(HyperText Markup Language)に従い記述されたファイルを読み込み、所定の動作を行う。

例えば、画像検索システム１において登録サーバ２０は、登録端末４０において登録ツール４１を構成するためのプログラムを、登録サーバ２０が有するストレージなどに予め記憶しておく。登録端末４０において、ブラウザを用いて登録サーバ２０のインタフェース部２０３にアクセスし、登録サーバ２０が有する当該プログラムを読み込む。ブラウザに読み込まれた当該プログラムにより、登録端末４０上に、Ｗｅｂアプリとしての登録ツール４１が形成される。これに限らず、当該プログラムを記憶するサーバを別途、設けてもよい。

図９〜図１１を用いて、登録端末４０において登録ツール４１により表示される登録画面の例について説明する。図９〜図１１に示される各画面は、登録端末４０に搭載されるブラウザに例えば画像検索システム１から読み込まれたプログラムに従い、登録端末４０のディスプレイ４００８に表示される。

図９は、実施形態に適用可能な登録画面の例を示す図である。図９において、登録画面４８０は、ヘッダ領域４８１と、サムネイル表示領域４８３と、ページ編集領域４８４と、プレビュー領域４８５と、対象領域一覧領域４８６と、ツールバー４８８とを含む。

ヘッダ領域４８１は、この登録画面４８０の登録対象となるキャンペーンの名前が左端に表示され、右端には、登録端末４０にログインしているユーザの権限で利用できるメニューが表示されるユーザメニュー表示部４８２が配置される。なお、キャンペーンは、ここでは、事業者が、画像検索システム１を利用して、自身のＷｅｂサイト（例えばＷｅｂサイト６０）により一般ユーザに対してコンテンツを提供する一連の処理を含む。

サムネイル表示領域４８３は、キャンペーンに係る各画像を縮小したサムネイル画像４８３０₁、４８３０₂、４８３０₃、…が表示されている。なお、顧客は、キャンペーンに係る画像を、予め登録端末４０に読み込ませ例えばストレージ４００４に保存しておく。登録端末４０に当該画像が保存されていない場合、サムネイル表示領域４８３は、空欄の表示となる。

ページ編集領域４８４は、キャンペーンに含まれる各画像のうち、編集対象となる画像４８４０が表示される。例えば、登録ツール４１は、サムネイル表示領域４８３に表示される各サムネイル画像４８３０₁、４８３０₂、４８３０₃、…から選択したサムネイル画像の元画像を、画像４８４０としてページ編集領域４８４に表示させる。

登録ツール４１は、ページ編集領域４８４に表示される画像４８４０に対して、例えばユーザによる入力デバイス４００６の操作に応じて範囲が指定された場合、指定された範囲を対象領域として設定することができる。図９の例では、ページ編集領域４８４の画像４８４０に対して矩形の範囲により対象領域４８４１ａおよび４８４１ｂがそれぞれ設定されている。登録ツール４１は、設定された各対象領域４８４１ａおよび４８４１ｂを識別する識別情報を生成し、各対象領域４８４１ａおよび４８４１ｂに関連付ける。

プレビュー領域４８５は、ページ編集領域４８４において編集中の画像が検索端末３０に表示される画面をエミュレートしたプレビュー画面４８５０を表示する。

対象領域一覧領域４８６は、編集対象のキャンペーンに含まれる各画像に設定された各対象領域に付加されている連携情報の一覧が、各対象領域を示すボタン４９０₁、４９０₂、４９０₃、…により一覧で表示される。また、対象領域は、複数の連携情報を含むことができ、この場合、例えばボタン４９０₃に含むアイコン４９１、４９１、…のように示される。ボタン４９０₁、４９０₂、…を指定することで、連携情報設定画面が表示される。

図１０は、実施形態に適用可能な、ボタン４９０₁、４９０₂、…が指定された場合に登録ツール４１により表示される連携情報設定画面の例を示す図である。図１０において、連携情報設定画面４９００（図ではリンク設定画面として示す）は、入力領域４９０１および４９０２と、ボタン４９０３および４９０４とを含む。入力領域４９０１は、この連携情報設定画面４９００において設定される連携情報のタイトルを入力するための領域である。入力領域４９０２は、連携情報を入力するための領域である。ここでは、入力領域４９０２は、連携情報として、ネットワーク２上の情報資源に対するリンクを示すリンク情報である例えばＵＲＬが入力される。

ボタン４９０３は、入力領域４９０１および４９０２の入力内容を確定するためのボタンであって、登録ツール４１は、当該ボタン４９０３の操作に応じて入力領域４９０１および４９０２の入力内容を記憶する。また、ボタン４９０４は、この連携情報設定画面４９００による処理をキャンセルするためのボタンであって、登録ツール４１は、当該ボタン４９０４の操作に応じて入力領域４９０１および４９０２の入力内容を例えば破棄する。

なお、ここでは、連携情報としてＵＲＬを設定するものとして説明しているが、連携情報として設定可能な情報は、ＵＲＬに限定されない。連携情報としては、ＵＲＬ以外にも、電話番号、位置情報（緯度、経度）、など、検索端末３０上で利用可能な他の情報を用いることができる。

説明は図９に戻り、ツールバー４８８には、ページ編集領域４８４に表示されるページ（画像）を指定するページ指定部４８８０と、登録ツール４１が備える様々な機能を実行させるためのボタンまたはボタン群４８８１〜４８８５、４８８７および４８８９と、優先画像の設定を行うためのボタン４９５と、が配置される。これらのうち、ボタン４８８１は、登録画面４８０から直前の画面に戻るためのボタンである。

ボタン４８８２は、登録端末４０から画像検索システム１に対して画像をアップロードするためのボタンである。ボタン４８８２が操作されると、登録ツール４１は、表示部４１３により、ファイル選択画面の表示を行う。ファイル選択画面は、例えば登録端末４０のＣＰＵ４０００上で動作するＯＳにより提供される、標準のファイル選択画面を適用することができる。

ファイル選択画面において所望の画像のファイルを選択して所定の操作を行うことで、登録端末４０は、選択された画像のファイルを登録サーバ２０に送信する。登録サーバ２０は、登録端末４０から送信された画像のファイルを、例えば、登録サーバ２０が有するストレージやメモリなどに記憶する。

ボタン群４８８３は、ページ編集領域４８４に表示される画像４８４０の表示サイズを調整するための２つのボタンを含む。ボタン４８８４は、ページ編集領域４８４内に領域を設定する領域設定モードを、対象領域の設定を行う対象領域設定モードに切り替えるためのボタンである。登録ツール４１は、このボタン４８８４が操作され編集モードが対象領域設定モードに切り替えられた上で、ページ編集領域４８４に表示される画像４８４０上に領域が指定された場合に、当該領域を対象領域に設定する。

ボタン４８８５は、ページ編集領域４８４内に領域を指定する領域設定モードを、画像検索サーバ１０による特徴情報の抽出の対象としないマスク領域を指定するマスク設定モードに切り替えるためのボタンである。登録ツール４１は、このボタン４８８５が操作され編集モードがマスク設定モードに切り替えられた上で、ページ編集領域４８４に表示される画像４８４０上に領域が指定された場合に、当該領域をマスク領域に設定する。

実施形態では、指定された対象領域に含まれる画像を、優先画像に設定することができる。一例として、登録画面４８０おいて、優先画像に関する設定を行うためのボタン４９５を設けることができる。例えば、優先画像として登録したい画像を含む対象領域（例えば対象領域４８４１ａ）を指定し、ボタン４９５を操作することで、当該対象領域４８４１ａに含まれる画像を優先画像に設定することができる。

また、実施形態においては、当該優先画像に期限を設けることが可能である。例えば、対象領域（例えば対象領域４８４１ａ）を指定し、ボタン４９５を操作することで、優先画像公開期限設定画面が表示される。図１１は、実施形態に適用可能な、対象領域が指定され、ボタン４９５が操作された場合に登録ツール４１により表示される優先画像公開期限設定画面の例を示す図である。

図１１において、優先画像公開期限設定画面４９５０は、入力領域４９５１と、ボタン４９５３および４９５４と、を含む。入力領域４９５１は、登録画面４８０においてボタン４９５の操作に応じて設定された優先画像の、画像検索サーバ１０により一般ユーザに対して公開される期限すなわち公開の終了日時を入力するための領域である。入力領域４９５１が空欄の場合には、優先画像の公開期限が無期限に設定される。

ボタン４９５３は、上述のボタン４９５の操作に応じて指定された対象領域に対する優先画像の設定を確定するためのボタンである。登録ツール４１は、当該ボタン４９５３の操作に応じて、当該対象領域（例えば対象領域４８４１ａ）を優先画像として設定すると共に、入力領域４９５１の入力内容を記憶する。また、ボタン４９５４は、当該指定された対象領域に対する優先画像の設定をキャンセルするためのボタンである。登録ツール４１は、当該ボタン４９５４の操作に応じて、対象領域に対する優先画像の指定を破棄する。

ボタン群４８８７は、情報のコピー、ペーストおよび削除をそれぞれ実行するための３つのボタンを含む。ボタン４８８９は、登録画面４８０において編集中のキャンペーンの保存を、登録サーバ２０に指示する。このボタン４８８９の操作に応じて、登録端末４０からアップロードされた画像と、当該画像に対応する連携情報とが関連付けられて登録サーバ２０が有する画像検索用ＤＢ２０２に保存され、登録される。

図１２は、実施形態に係る、ボタン４８８９の操作に応じて対象領域の画像を画像検索用ＤＢ２０２に登録する登録処理を示す一例のフローチャートである。図１２のフローチャートによる処理は、例えば、１回のボタン４８８９の操作に応じて、登録画面４８０において対象としているキャンペーンに指定された各対象領域について実行される。

なお、図１２のフローチャートによる処理は、図６に示す画像検索サーバ１０における登録部１０１３（通常ＤＢ登録部１０１３ａおよび優先ＤＢ登録部１０１３ｂ）に対応する、登録サーバ２０の機能により実行される。図１２のフローチャートの説明において、登録部１０１３、通常ＤＢ登録部１０１３ａおよび優先ＤＢ登録部１０１３ｂは、登録サーバ２０における機能であるものとする。

ステップＳ２００で、登録部１０１３は、登録ツール４１により指定された対象領域の画像を取得する。次のステップＳ２０１で、登録部１０１３は、ステップＳ２００で取得された対象領域の画像が、優先画像として設定された画像であるか否かを判定する。登録部１０１３は、当該対象領域の画像が優先画像として設定された画像であると判定した場合（ステップＳ２０１、「Ｙｅｓ」）、処理をステップＳ２０２に移行する。

ステップＳ２０２で、登録部１０１３は、優先ＤＢ登録部１０１３ｂにより、当該優先画像を、画像検索用ＤＢ２０２における優先ＤＢ２０２ｂの画像ＤＢ２０２０ｂに登録する。また、登録部１０１３は、優先ＤＢ登録部１０１３ｂにより、当該優先画像に関連付けられる公開期限と連携情報とを、画像検索用ＤＢ２０２における優先ＤＢ２０２ｂの連携情報ＤＢ２０２１ｂに登録する。

登録部１０１３は、上述したステップＳ２０１で、当該対象領域の画像が優先画像として設定されていない、すなわち、通常画像として設定されていると判定した場合（ステップＳ２０１、「Ｎｏ」）、処理をステップＳ２１０に移行させる。ステップＳ２１０で、登録部１０１３は、通常ＤＢ登録部１０１３ａにより、当該通常画像を、画像検索用ＤＢ２０２における通常ＤＢ２０２ａの画像ＤＢ２０２０ａに登録する。また、登録部１０１３は、通常ＤＢ登録部１０１３ａにより、当該通常画像に関連付けられる連携情報を、画像検索用ＤＢ２０２における通常ＤＢ２０２ａの連携情報ＤＢ２０２１ａに登録する。

ステップＳ２０３またはステップＳ２１０による登録が完了すると、図１２のフローチャートによる一連の処理が終了される。

このように、登録サーバ２０が有する画像検索用ＤＢ２０２に対して、優先画像および通常画像が登録されることで、例えば事業者は、検索端末３０から登録サーバ２０にアクセスして、画像検索用ＤＢ２０２に登録された優先画像および通常画像に基づく画像検索を実行できる。事業者は、例えば、この登録サーバ２０に登録された優先画像および通常画像に基づく画像検索の結果に応じて、画像検索システム１のサービス提供者に対して、登録サーバ２０に登録される優先画像および通常画像、ならびに、これらに関連付けられた連携情報を画像検索サーバ１０の画像検索用ＤＢ１０２に反映させるよう依頼する。

サービス提供者は、例えば、メンテナンス用端末５０によるバッチ処理により、登録サーバ２０における画像検索用ＤＢ２０２の登録内容を、画像検索サーバ１０における画像検索用ＤＢ１０２に反映させる。

バッチ処理により、例えば、画像検索用ＤＢ２０２における通常ＤＢ２０２ａの画像ＤＢ２０２０ａおよび連携情報ＤＢ２０２１ａの登録内容が、画像検索サーバ１０に送信される。画像検索サーバ１０において、登録部１０１３は、通常ＤＢ登録部１０１３ａにより、登録サーバ２０から送信された通常ＤＢ２０２ａの画像ＤＢ２０２０ａおよび連携情報ＤＢ２０２１ａの登録内容を、通常ＤＢ１０２ａの画像ＤＢ１０２０ａおよび連携情報ＤＢ１０２１ａに登録する。

同様に、画像検索用ＤＢ２０２における優先ＤＢ２０２ｂの画像ＤＢ２０２０ｂおよび連携情報ＤＢ２０２１ｂの登録内容が、画像検索サーバ１０に送信される。画像検索サーバ１０において、登録部１０１３は、優先ＤＢ登録部１０１３ｂにより、登録サーバ２０から送信された優先ＤＢ２０２ｂの画像ＤＢ２０２０ｂおよび連携情報ＤＢ２０２１ｂの登録内容を、優先ＤＢ１０２ｂの画像ＤＢ１０２０ｂおよび連携情報ＤＢ１０２１ｂに登録する。

これにより、優先画像および通常画像、ならびに、連携情報が公開され、一般ユーザによる、画像検索システム１が提供する画像検索の利用が可能となる。

［実施形態に係る検索処理の詳細］
次に、実施形態に係る検索処理について、より詳細に説明する。図１３および図１４は、実施形態に係る検索処理の第１の例について説明するための図である。なお、図１３および図１４において、上述した図３と共通する部分には同一の符号を付して、詳細な説明を省略する。また、以下では、画像検索サーバ１０における処理について説明する。以下に説明する処理は、登録サーバ２０に対しても同様に適用可能である。

上述したように、実施形態では、通常ＤＢ１０２ａおよび優先ＤＢ１０２ｂを対象とする第１の画像検索と、第１の画像検索の検索結果に応じた、通常ＤＢ１０２ａを対象とする第２の画像検索と、を実行する。

図１３は、実施形態に係る、第１の検索処理を説明するための図である。図１３（ｂ）に例示されるように、通常ＤＢ１０２ａに、通常画像として画像３０１ａ、３０１ｂおよび３０１ｃが登録されているものとする。図１３（ｂ）において、画像３０１ｂは、果実の「オレンジ」の画像を含み、画像３０１ａは、果実の「ミカン」の画像を含み、画像３０１ｃは、果実の「オレンジ」を含む複数の果実を含んだ画像であるものとする。また、事業者は、画像３０１ｂを含む被写体３１を用意する。事業者は、画像３０１ｂと同一の画像である画像３０２を、優先画像として優先ＤＢ１０２ｂに登録する。

検索端末３０により、画像３０１ｂを含む被写体３１が撮像された撮像画像が、検索画像３００（図１３（ａ）参照）として検索端末３０から画像検索サーバ１０に送信されるものとする。

画像検索サーバ１０において、画像検索部１０１２は、検索画像３００に基づき通常ＤＢ１０２ａおよび優先ＤＢ１０２ｂを検索対象として検索を行う。画像検索部１０１２は、この検索の結果、検索画像３００に対する各画像３０２、ならびに、画像３０１ａ、３０１ｂおよび３０１ｃの類似度を、それぞれスコアの値「６０」、「７０」、「６０」および「３０」として得ている。すなわち、画像３０１ａの類似度が最も高く、事業者が期待する画像３０１ｂが次に類似度の高い検索結果となっている。

なお、画像検索部１０１２は、スコアの値に閾値を定め、画像に対して求めたスコアの値が閾値以下の場合に、当該画像は、検索画像３００と類似していないと判定する。閾値を例えばスコア値「３０」とした場合、図１３（ｂ）の各画像３０２、ならびに、画像３０１ａ、３０１ｂおよび３０１ｃは、それぞれスコアの値が「３０」以上であって、検索画像と類似している画像であると判定される。

次に、画像検索部１０１２は、第２の画像検索を実行する。図１４は、実施形態に係る第２の画像検索を説明するための図である。図１４（ａ）に示されるように、画像検索部１０１２は、優先ＤＢ１０２ｂに登録される画像３０２を新たな検索画像として、図１４（ｂ）に示されるように、通常ＤＢ１０２ａのみを検索対象として検索を行う。

この場合、通常ＤＢ１０２ａに登録される画像３０１ｂは、新たな検索画像として用いられている画像３０２と同一の画像である。したがって、画像３０１ｂは、スコアの値が画像の一致を示す値「１００」となる。一方、上述した第１の画像検索において最も類似度が高いとされた画像３０１ａは、新たな検索画像としての画像３０２に対するスコアが値「５０」とされ、通常ＤＢ１０２ａ内での類似度の順位が２位となっている。換言すれば、画像３０１ａは、通常ＤＢ１０２ａにおいてスコアが値「１００」の画像３０１ｂに対して次の順位の類似度の画像となる。

なお、上述の第１の画像検索において最も類似度が低いとされた画像３０１ｃは（図１３（ｂ）参照）、第２の画像検索においてスコアが値「２０」であり（図１４（ｂ）参照）最も類似度が低いままである。

この場合、実施形態に係る画像検索サーバ１０において、判定部１０１４は、第１の画像検索において優先度が最も高い、すなわち、優先度が１位の画像３０１ａの優先度が、第２の画像検索において２位以上となったため、優先画像である画像３０２を検索結果として採用することができると判定する。

すなわち、第２の画像検索の結果によれば、画像３０１ａは、優先画像である画像３０２とは異なるが、画像３０２自身を除けば通常ＤＢ１０２ａにおいて検索画像である画像３０２に対して最も類似度が高い画像であるとされる。一方、第１の画像検索の結果によれば、画像３０１ｂに基づく撮像画像による検索画像３００に対して、優先ＤＢ１０２ｂおよび通常ＤＢ１０２ａを含めて、画像３０１ａの類似度が最も高い。

これらの結果から、画像３０１ａは、画像３０１ｂに基づく検索画像３００に対する類似度が高く、且つ、優先画像と同一の画像３０１ｂに対する類似度が高いことが分かる。したがって、優先画像である画像３０２（画像３０１ｂ）を、検索画像３００に対する検索結果として採用して良いと判定できる。判定部１０１４は、この画像３０２に対応する画像３０１ｂを、検索結果として採用する。

次に、優先画像を検索結果として判定することが好ましくない例について、図１５および図１６を用いて説明する。図１５および図１６は、実施形態に係る検索処理の第２の例について説明するための図である。なお、図１５および図１６において、上述した図３と共通する部分には同一の符号を付して、詳細な説明を省略する。

図１５は、上述の図１３と同様に、実施形態に係る第１の検索処理を説明するための図である。図１３（ｂ）と同様に、通常ＤＢ１０２ａには、通常画像として画像３０１ａ、３０１ｂおよび３０１ｃが登録され、優先ＤＢ１０２ｂに、優先画像として、画像３０１ｂと同一の画像３０２が登録されているものとする。

この例では、例えば画像３０１ｂを含む被写体３１が撮像された撮像画像が、検索画像３０３として（図１５（ａ）参照）検索端末３０から画像検索サーバ１０に送信されるものとする。ここで、被写体３１に含まれる画像は、例えば画像３０１ｃであって、この被写体３１の一部を拡大して撮像した撮像画像が検索画像３０３として用いられるものとする。この場合、検索画像３０３は、画像３０１ｂ（果実のオレンジ）を含むが、他の果実の画像も含まれた画像となっている。

画像検索サーバ１０において、画像検索部１０１２は、第１の画像検索により、検索画像３０３に基づき通常ＤＢ１０２ａおよび優先ＤＢ１０２ｂを検索対象として検索を行う。画像検索部１０１２は、この検索の結果、検索画像３０３に対する各画像３０２、ならびに、画像３０１ｃ、３０１ｂおよび３０１ａの類似度を、それぞれスコアの値「３０」、「５０」、「３０」および「２０」として得ている。すなわち、画像３０１ｃの類似度が最も高くなっている。また、画像３０１ａは、スコアが値「２０」とされ、閾値より低いため、類似していないと判定される。

次に、画像検索部１０１２は、第２の画像検索を実行する。図１６は、上述の図１４と同様に、実施形態に係る第２の画像検索を説明するための図である。図１６（ａ）に示されるように、画像検索部１０１２は、優先ＤＢ１０２ｂに登録される画像３０２を新たな検索画像として、図１６（ｂ）に示されるように、通常ＤＢ１０２ａのみを検索対象として検索を行う。

この場合、通常ＤＢ１０２ａに登録される画像３０１ｂは、新たな検索画像として用いられている画像３０２と同一の画像である。したがって、画像３０１ｂは、スコアの値が画像の一致を示す値「１００」となる。一方、上述した第１の画像検索において最も類似度が高いとされた画像３０１ｃは、新たな検索画像としての画像３０２に対するスコアが値「２０」とされ、通常ＤＢ１０２ａ内での類似度の順位が３位となっている。また、第１の画像検索において最も類似度が低いとされた画像３０１ａの画像３０２に対するスコアが値「５０」とされ、通常ＤＢ１０２ａ内での類似度の順位が２位となっている。換言すれば、画像３０１ｃの類似度は、第１の検索結果における順位（１位）から、３位以下の順位に下がっている。これは、画像３０１ｃの順位が、通常ＤＢ１０２ａにおいて、スコアが値「１００」の画像３０１ｂに対して次の順位のさらに次の順位となったことを意味する。

この場合、実施形態に係る画像検索サーバ１０において、判定部１０１４は、第１の画像検索において優先度が最も高い、すなわち、優先度が１位の画像３０１ｃが、第２の画像検索において優先度が３位以下となったため、優先画像である画像３０２を検索結果として採用することが好ましくないと判定する。

すなわち、第２の画像検索の結果によれば、画像３０１ｃは、優先画像である画像３０２とは異なり、且つ、通常ＤＢ１０２ａにおいて、当該画像３０２自身を除き、検索画像である画像３０２に対する類似度が当該画像３０１ｃより高い画像（この例では画像３０１ａ）が存在するとされる。一方、第１の画像検索の結果によれば、画像３０１ｃが拡大され画像３０１ｂを一部に含む撮像画像による検索画像３０３に対して、優先ＤＢ１０２ｂおよび通常ＤＢ１０２ａを含めて、画像３０１ｃの類似度が最も高い。

これらの結果から、画像３０１ｃは、画像３０１ｂを一部に含む検索画像３０３に対する類似度が高い一方で、優先画像と同一の画像３０１ｂに対する類似度が低い。したがって、優先画像である画像３０２（画像３０１ｂ）を、検索画像３０３に対する検索結果として採用することが好ましくないと判定できる。この場合には、第１の画像検索の結果に従い、画像３０１ｃを、検索画像３０３に対する検索結果として採用する。

なお、通常ＤＢ１０２ａには、検索対象となる画像が３以上、登録されていることが好ましい。

図１３〜図１６を用いて説明したように、実施形態では、通常ＤＢ１０２ａおよび優先ＤＢ１０２ｂを対象とする画像検索に対して、優先画像を検索画像として用いて通常ＤＢ１０２ａを対象として再検索を行うと、検索画像に対して類似度の低い画像は、再検索の検索結果において類似度の順位が２位以上にならないことが分かる。したがって、実施形態に係る検索方法によれば、特定の画像に対して意図しない検索結果が出力されることを抑制可能となる。

図１７は、実施形態に係る検索処理を示す一例のフローチャートである。この図１７のフローチャートによる各処理は、画像検索サーバ１０において実行される。また、図１７のフローチャートによる各処理は、登録サーバ２０においても同様に実行できる。

図１７において、ステップＳ３００で、画像検索サーバ１０は、検索端末３０から送信された、撮像画像と、この撮像画像に基づく検索を要求する検索要求とを取得する。次のステップＳ３０１で、画像検索サーバ１０は、画像検索部１０１２により、ステップＳ３００で取得された撮像画像を検索画像として、通常ＤＢ１０２ａおよび優先ＤＢ１０２ｂにそれぞれ登録される画像を検索対象として第１の画像検索を実行する。

次のステップＳ３０２で、判定部１０１４は、通常ＤＢ１０２ａにおいて第１の画像検索により検索画像に対してヒットした、すなわち、検索画像に対して類似度が閾値以上の画像が存在したか否かを判定する。判定部１０１４は、ヒットしたと判定した場合（ステップＳ３０２、「Ｙｅｓ」）、処理をステップＳ３０３に移行させる。ステップＳ３０３で、判定部１０１４は、優先ＤＢ１０２ｂにおいて当該検索画像に対してヒットしたか否かを判定する。ヒットしたと判定した場合（ステップＳ３０３、「Ｙｅｓ」）、処理をステップＳ３０４に移行させる。

ステップＳ３０４で、判定部１０１４は、優先ＤＢ１０２ｂに登録される優先画像を検索画像として用いて、通常ＤＢ１０２ａに登録される画像を検索対象として、第２の画像検索を実行する検索要求を、画像検索部１０１２に対して通知する。画像検索部１０１２は、この検索要求に応じて、当該第２の画像検索を実行する。

ステップＳ３０５で、判定部１０１４は、ステップＳ３０１およびステップＳ３０４での第２の画像検索の結果に基づき、ステップＳ３０１で実行された画像検索によりスコアが１位の画像のスコアの順位が、ステップＳ３０４の画像検索の結果、何位に変動したかを判定する。

判定部１０１４は、ステップＳ３０５で、第１の画像検索においてスコアの順位が１位の画像について、第２の画像検索によりスコアの順位が２位以上になったと判定した場合（ステップＳ３０５、「２位以上」）、処理をステップＳ３０６に移行させる。ステップＳ３０６で、判定部１０１４は、検索要求に応じた画像検索の検索結果として、優先画像を採用する。

一方、判定部１０１４は、ステップＳ３０５で、第１の画像検索においてスコアの順位が１位の画像について、第２の画像検索によりスコアの順位が３位以下になったと判定した場合（ステップＳ３０５、「３位以下」）、処理をステップＳ３０７に移行させる。ステップＳ３０７で、判定部１０１４は、ステップＳ３０４で実行された通常ＤＢ１０２ａに対する画像検索において優先度が１位の画像を、検索要求に応じた画像検索の検索結果として採用する。

上述したステップＳ３０２で、判定部１０１４は、通常ＤＢ１０２ａにおいて第１の画像検索により検索画像に対してヒットしなかったと判定した場合（ステップＳ３０２、「Ｎｏ」）、処理をステップＳ３１０に移行させる。ステップＳ３１０で、判定部１０１４は、優先ＤＢ１０２ｂにおいて当該検索画像に対してヒットしたか否かを判定する。ヒットしたと判定した場合（ステップＳ３１０、「Ｙｅｓ」）、判定部１０１４は、処理をステップＳ３０６に移行させる。ステップＳ３０６で、判定部１０１４は、検索要求に応じた画像検索の検索結果として、優先画像を採用する。

一方、判定部１０１４は、ヒットしなかったと判定した場合（ステップＳ３１０、「Ｎｏ」）、検索画像に対応する画像が通常ＤＢ１０２ａおよび優先ＤＢ１０２ｂの何れにも登録されていなかったとして、図１７のフローチャートによる一連の処理を終了させる。

また、判定部１０１４は、上述したステップＳ３０３で、優先ＤＢ１０２ｂにおいて当該検索画像に対してヒットしなかったと判定した場合（ステップＳ３０３、「Ｎｏ」）、処理をステップＳ３０７に移行させる。ステップＳ３０７で、判定部１０１４は、ステップＳ３０１で実行された通常ＤＢ１０２ａおよび優先ＤＢ１０２ｂに対する画像検索のうち、通常ＤＢ１０２ａにおいて優先度が１位の画像を、検索要求に応じた画像検索の検索結果として採用する。

ステップＳ３０６またはステップＳ３０７による検索結果の採用が行われると、図１７のフローチャートによる一連の処理が終了される。

なお、上述したステップＳ３０２において、通常ＤＢ１０２ａでヒットした画像が１の画像のみであった場合に、以降の処理を省略して、このヒットした１の画像を検索結果として採用することができる。

なお、上述の各実施形態は、本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形による実施が可能である。

１ 画像検索システム
２ ネットワーク
３ 情報処理システム
１０ 画像検索サーバ
２０ 登録サーバ
３０ 検索端末
３１ 被写体
４０ 登録端末
４１ 登録ツール
５０ メンテナンス用端末
１０２，２０２ 画像検索用ＤＢ
１０２ａ，２０２ａ 通常ＤＢ
１０２ｂ，２０２ｂ 優先ＤＢ
３００，３０３ 検索画像
３０１ａ，３０１ｂ，３０１ｃ，３０２ 画像
４８０ 登録画面
４９５ ボタン
１０１２ 画像検索部
１０１３ 登録部
１０１３ａ 通常ＤＢ登録部
１０１３ｂ 優先ＤＢ登録部
１０１４ 判定部
１０２０ａ，１０２０ｂ，２０２０ａ，２０２０ｂ 画像ＤＢ
１０２１ａ，１０２１ｂ，２０２１ａ，２０２１ｂ 連携情報ＤＢ
４８４１ａ，４８４１ｂ 対象領域
４９００ 連携情報設定画面
４９５０ 優先画像公開期限設定画面

特開２０１４−０１０７２３号公報 特開２０１２−２４２８４５号公報

Claims (7)

1. 画像を類似度に基づき検索する画像検索システムであって、
   検索要求に応じて、登録された画像を類似度に基づき検索を行う画像検索手段と、
   前記検索要求の検索結果として応答される第１の画像を登録する第１の登録手段と、
   前記検索結果として応答された前記第１の画像を検証するための第２の画像を登録する第２の登録手段と、
   前記画像検索手段により類似する複数の前記第１の画像が検索された場合に、前記第２の画像を用いて、類似する複数の前記第１の画像から検索結果として応答する１の画像を判定する判定手段と、
   を有する画像検索システム。
2. 前記第２の登録手段は、
   前記第１の登録手段に登録される前記第１の画像のうち１の画像と対応する画像を、前記第２の画像として登録する
   請求項１に記載の画像検索システム。
3. 前記画像検索手段は、
   前記検索要求に応じて前記第１の画像および前記第２の画像に対して第１の検索を行い、
   前記判定手段は、
   前記画像検索手段が前記第１の画像および前記第２の画像に対する前記第１の検索を行った前記検索結果が、類似度が閾値以上の前記第１の画像を含む場合に、前記画像検索手段に対して該第２の画像に基づき前記第１の画像に対する第２の検索を行うよう要求する前記検索要求を通知する
   請求項１または請求項２に記載の画像検索システム。
4. 前記判定手段は、
   前記第１の画像および前記第２の画像のうち前記第１の検索による検索結果での類似度が最も高いとされた画像の、前記第２の検索による検索結果での類似度に基づき、該第１の画像および該第２の画像のうち何れの画像を採用するかを判定する
   請求項３に記載の画像検索システム。
5. 前記判定手段は、
   前記第１の検索による検索結果での類似度が最も高いと判定された画像の、前記第２の検索による検索結果での類似度が、該第２の検索による該検索結果における全ての画像の類似度に対して２位以上の場合に前記第２の画像を採用し、３位以下の場合に前記第１の画像のうち最も類似度が高い画像を採用する
   請求項４に記載の画像検索システム。
6. 画像を類似度に基づき検索する画像検索装置であって、
   検索要求に応じて、登録された画像を類似度に基づき検索を行う画像検索手段と、
   前記検索要求の検索結果として応答される第１の画像を登録する第１の登録手段と、
   前記検索結果として応答された前記第１の画像を検証するための第２の画像を登録する第２の登録手段と、
   前記画像検索手段により類似する複数の前記第１の画像が検索された場合に、前記第２の画像を用いて、類似する複数の前記第１の画像から検索結果として応答する１の画像を判定する判定手段と、
   を有する画像検索装置。
7. 画像を類似度に基づき検索する画像検索システムの画像検索方法であって、
   検索要求に応じて、登録された画像を類似度に基づき検索を行う画像検索ステップと、
   前記検索要求の検索結果として応答される第１の画像を登録する第１の登録ステップと、
   前記検索結果として応答された前記第１の画像を検証するための第２の画像を登録する第２の登録ステップと、
   前記画像検索ステップにより類似する複数の前記第１の画像が検索された場合に、前記第２の画像を用いて、類似する複数の前記第１の画像から検索結果として応答する１の画像を判定する判定ステップと、
   を有する画像検索方法。