JP2016095787A - 情報処理装置、情報処理システム、情報処理方法および情報処理プログラム - Google Patents

Abstract

【課題】類似画像の検索をより高精度に実行可能とする。【解決手段】画像検索装置は、画像と連携情報とが関連付けられて登録される登録部から検索対象画像に類似する画像を検索する検索部と、検索された画像に関連付けられた連携情報を端末装置に送信する送信部とを備える。実施形態の情報処理装置は、画像検索装置の登録部に対する画像と連携情報との登録を制御する。実施形態の情報処理装置は、登録部に登録するための登録対象画像から所定領域を抽出して所定領域の画像を検索部に送信し、検索部の検索結果に基づき、所定領域に類似する画像を含む類似画像が登録部に登録されているか否かを判定する。登録部に類似画像が登録されていると判定された場合に、その旨の通知を行う。【選択図】図６

Description

本発明は、情報処理装置、情報処理システム、情報処理方法および情報処理プログラムに関する。

例えばカメラで撮像して得た撮像画像から特徴点を抽出して、予め登録された画像群から類似した特徴点を多く持つ画像を検索する画像検索技術が知られている。この画像検索技術を利用して、特定の写真や印刷物の画像を様々な電子データと関連付けてデータベースに登録し、これら写真や印刷物を撮像した撮像画像を用いてこのデータベースから類似画像を検索して、類似画像に関連付けられた電子データを提示する技術が知られている（例えば特許文献１）。

ここで、上述したような画像検索技術を用いた画像検索サービスにおいて、データベースに対して新規に画像（画像Ａとする）を登録する場合、登録する新規画像に類似する画像（画像Ｂとする）が既に登録されている事態が起こり得る。この場合、ユーザが画像Ａに対応した撮像画像に基づき画像検索サービスのデータベースを検索しても、画像Ａに類似する画像Ｂが検索されてしまい、ユーザは、意図した検索結果を得られないおそれがあるという問題点があった。

本発明は、上記に鑑みてなされたものであって、類似画像の検索をより高精度に実行可能とすることを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、画像と連携情報とが関連付けられて登録される登録部から検索対象画像に類似する画像を検索する検索部と、検索された画像に関連付けられた連携情報を端末装置に送信する送信部とを備える画像検索装置の登録部に対する画像と連携情報との登録を制御する情報処理装置であって、登録部に登録するための登録対象画像から所定領域を抽出する抽出部と、所定領域の画像を検索部に送信し、検索部の検索結果に基づき、所定領域に類似する画像を含む類似画像が登録部に登録されているか否かを判定する判定部と、登録部に類似画像が登録されていると判定された場合に、その旨の通知を行う通知部とを有することを特徴とする。

本発明によれば、類似画像の検索がより高精度に実行可能となるという効果を奏する。

図１は、各実施形態に適用可能な画像検索システムの一例の構成を概略的に示す図である。 図２は、各実施形態に係る情報処理システムの一例の構成を概略的に示す図である。 図３は、各実施形態に適用可能な登録端末のハードウェアの一例の構成を示すブロック図である。 図４は、各実施形態に係る登録サーバのハードウェアの一例の構成を示すブロック図である。 図５は、各実施形態に適用可能な検索端末のハードウェアの一例の構成を示すブロック図である。 図６は、各実施形態に係る登録端末の機能を説明するための一例の機能ブロック図である。 図７は、各実施形態に適用可能な検索端末の機能を説明するための一例の機能ブロック図である。 図８は、各実施形態に係る、登録端末において登録ツールによって実行される画像登録処理の一例を示すフローチャートである。 図９は、各実施形態に係るログイン画面の例を示す図である。 図１０は、各実施形態に係るメニュー画面の例を示す図である。 図１１は、各実施形態に係る登録情報一覧画面の例を示す図である。 図１２は、各実施形態に係る公開設定画面の例を示す図である。 図１３は、各実施形態に係るキャンペーン登録画面の例を示す図である。 図１４は、各実施形態に係る編集画面の例を示す図である。 図１５は、各実施形態に係るファイル選択画面の例を示す図である。 図１６は、各実施形態に係るキャンペーン設定画面の例を示す図である。 図１７は、各実施形態に係る警告画面の例を示す図である。 図１８は、各実施形態に係る、チェック対象の画像に対して部分的に類似する画像を類似画像として検索することを説明するための図である。 図１９は、第１の実施形態に係る類似画像チェック処理を説明するための図である。 図２０は、第１の実施形態に係る類似画像チェック処理を説明するための図である。 図２１は、第２の実施形態に係る類似画像チェック処理を説明するための図である。 図２２は、第２の実施形態に係る類似画像チェック処理を説明するための図である。 図２３は、第２の実施形態に係る類似画像チェック処理を説明するための図である。 図２４は、第２の実施形態に係る類似画像チェック処理を説明するための図である。 図２５は、第３の実施形態に係る類似画像チェック処理を説明するための図である。

以下に添付図面を参照して、情報処理装置、情報処理システム、情報処理方法および情報処理プログラムの実施形態を詳細に説明する。

（各実施形態に適用可能なシステム）
図１は、各実施形態に適用可能な画像検索システムの一例の構成を概略的に示す。図１において、画像検索システムは、画像検索サーバ１０を含み、登録端末２０および検索端末３０とネットワークを介して通信が可能とされている。画像検索サーバ１０は、１台の情報処理装置により構成してもよいし、互いに接続された複数台の情報処理装置により機能を分散させて構成してもよい。

画像検索サーバ１０は、登録端末２０から送信された画像および連携情報を関連付けてデータベースに登録する。画像検索サーバ１０は、検索端末３０から送信された、被写体４０を撮像した撮像画像に基づきデータベースに登録された画像を検索して、検索された画像に関連付けられた連携情報を検索端末３０に送信する。

画像検索サーバ１０は、解析部１２と、検索部１３と、画像検索用データベース（ＤＢ）１１とを備える。画像検索用ＤＢ１１は、画像データベース（ＤＢ）１４と、連携情報データベース（ＤＢ）１５とを含む。画像ＤＢ１４は、画像を検索可能に登録する。連携情報ＤＢ１５は、画像ＤＢ１４に登録された画像と連携するための連携情報が、当該画像と関連付けられて登録される。

より詳細には、画像検索サーバ１０は、登録対象となる画像を解析部１２により解析して、当該画像の特徴を表す特徴情報を抽出する。画像検索サーバ１０は、抽出された特徴情報を、画像を識別するための画像識別情報と関連付けて画像ＤＢ１４に格納する。画像検索サーバ１０は、また、ユーザに提供するための連携情報を画像識別情報と関連付けて連携情報ＤＢ１５に格納する。画像（特徴情報）および連携情報がそれぞれ画像識別情報に関連付けられて画像ＤＢ１４および連携情報ＤＢ１５に格納されることで、当該画像の画像検索用ＤＢ１１への登録が行われる。

登録端末２０は、画像と、当該画像に関連付けるための連携情報とを取得して、画像検索サーバ１０に送信する。画像検索サーバ１０は、登録端末２０から送信された画像および連携情報を、上述したようにして画像ＤＢ１４および連携情報ＤＢ１５に格納し、画像の画像検索用ＤＢ１１への登録を行う。

なお、図１の例では、登録端末２０は、被写体４０を撮像した撮像画像を、画像検索用ＤＢ１１に登録するための画像として用いている。これはこの例に限定されず、登録端末２０は、画像検索用ＤＢ１１に登録するための画像として、外部から供給された画像や、登録端末２０の内部で作成した画像を用いてもよい。

検索端末３０は、撮像機能を備え、被写体４０を撮像した画像をネットワークを介して画像検索サーバ１０に送信することができる。検索端末３０は、例えばユーザ操作に応じて撮像機能を起動させて被写体４０を撮像し、撮像して得た画像と、この画像に類似する画像の検索を要求する検索要求とを画像検索サーバ１０に送信する。画像検索サーバ１０は、検索端末３０から送信された画像および検索要求に応じて画像ＤＢ１４から当該画像に類似する画像を検索し、検索された画像の識別情報を検索結果として出力する。

例えば、検索端末３０から送信された画像は、画像検索サーバ１０の検索部１３に受信される。検索部１３は、受信した画像を解析部１２に渡す。解析部１２は、検索部１３から渡された画像を解析して当該画像から特徴情報を抽出し、抽出した特徴情報を検索部１３に渡す。検索部１３は、解析部１２から渡された特徴情報に基づき、当該特徴情報と類似度の高い特徴情報を画像ＤＢ１４から検索する。検索部１３は、検索された特徴情報に対応する画像識別情報に関連付けられた連携情報を連携情報ＤＢ１５から取得して、検索端末３０に送信する。

連携情報は、例えばインターネット４１上のＷｅｂサイト４２ａやＷｅｂサイト４２ｂのＵＲＬ(Uniform Resource Locator)を含むことができる。この場合、検索端末３０は、被写体４０を撮像した撮像画像に基づき画像検索サーバ１０で検索され送信された連携情報に応じて、インターネット４１を介してＷｅｂサイト４２ａやＷｅｂサイト４２ｂにアクセスすることができる。

図２は、各実施形態に係る情報処理システムの一例の構成を概略的に示す。なお、図２において、上述した図１と共通する部分には同一の符号を付して、詳細な説明を省略する。

図２において、情報処理システム１は、画像検索サーバ１０と、登録端末２０と、登録サーバ５０とを含む。情報処理システム１は、ユーザ管理サーバ６０をさらに含んでもよい。なお、図２では、説明のため、画像検索用ＤＢ１１が画像検索サーバ１０の外部に接続されるように示されている。また、画像検索用ＤＢ１１は、画像ＤＢ１４に登録される画像に関するメタデータを格納するメタデータＤＢをさらに有する。

ここで、情報処理システム１において、画像の登録は、キャンペーンを単位として行われる。キャンペーンは、１以上の画像と、各画像に関連付けられる各連携情報とを含み、メタデータは、キャンペーンの属性情報を含む。また、キャンペーンに含まれる各画像を、適宜、ページと記述する。換言すれば、キャンペーンは、ページ単位で画像が含まれる。

画像検索サーバ１０は、上述したように、検索端末３０からインターネット４１を介して送信された画像（撮像画像）を解析部１２で解析して特徴情報を抽出し、検索部１３により、抽出した特徴情報と類似した特徴情報を画像ＤＢ１４から検索する。そして、画像検索サーバ１０は、画像ＤＢ１４から検索された特徴情報に関連付けられた画像識別情報に対応する連携情報を連携情報ＤＢ１５から取得して、検索端末３０に送信する。

登録サーバ５０は、画像検索用ＤＢ１１と対応する画像検索用ＤＢ１１’を備え、画像検索サーバ１０と同様に、解析部１２および検索部１３を含む。また、画像検索用ＤＢ１１’は、画像検索用ＤＢ１１’に含まれる画像に関するメタデータを格納するメタデータＤＢをさらに含む。

登録端末２０は、登録ツール２１を含む。登録端末２０は、顧客６２ａ、６２ｂ、６２ｃ、…から画像および画像に関連付けるための連携情報がそれぞれ提供される。登録端末２０は、顧客６２ａ、６２ｂ、６２ｃ、…から提供された各画像に対して連携情報をそれぞれ関連付けて登録サーバ５０に送信する。この、顧客６２ａ、６２ｂ、６２ｃ、…から提供された画像に連携情報を関連付けて登録サーバ５０に送信する処理は、登録端末２０において登録ツール２１により実行される処理である。

登録サーバ５０は、登録端末２０から送信された画像および連携情報を画像検索用ＤＢ１１’に登録する。すなわち、登録サーバ５０は、端末装置２０から送信された画像を、登録サーバ５０に含まれる解析部１２で解析して、当該画像から、当該画像の特徴を表す特徴情報を抽出する。登録サーバ５０は、抽出された特徴情報に画像識別情報を関連付けて、画像検索用ＤＢ１１’に含まれる画像ＤＢ１４に格納し、画像ＤＢ１４に格納した画像に対応する連携情報に画像識別情報を関連付けて連携情報ＤＢ１５に格納して、画像の画像検索用ＤＢ１１’への登録を行う。

なお、画像ＤＢ１４および連携情報ＤＢ１５に格納される画像および連携情報は、さらに、登録を行ったユーザを示す情報（ユーザＩＤなど）を含むメタデータが関連付けられる。ユーザ情報は、後述するユーザＤＢ６１から取得することができる。

登録サーバ５０への画像の登録に際して、登録端末２０は、登録を行おうとする画像と類似した画像が登録サーバ５０に既に登録されているか否かをチェックする、類似画像チェックを行うことができる。

例えば、登録端末２０は、類似画像が既に登録されているか否かをチェックしたい画像を登録サーバ５０に送信する。登録サーバ５０は、この要求に応じて、登録端末２０から送信された画像を解析部１２で解析して特徴情報を抽出し、抽出した特徴情報に基づき、検索部１３により画像検索用ＤＢ１１’内の画像ＤＢ１４を検索し、検索結果を登録端末２０に送信する。登録端末２０は、例えば、登録サーバ５０から送信された検索結果を示すメッセージを例えばディスプレイに表示させて提示する。このメッセージにより、チェック対象の画像に類似する画像が既に画像検索用ＤＢ１１’に登録されているか否かを知ることができ、その結果に応じて画像の変更や修正を行うことができる。

登録サーバ５０は、画像検索用ＤＢ１１’に登録された画像（特徴情報）および連携情報のうち、公開可能に設定された画像および連携情報を画像検索サーバ１０に送信して、画像検索用ＤＢ１１に登録させる。例えば、登録サーバ５０は、夜間など所定のタイミングで画像検索サーバ１０と通信を行い、登録サーバ５０の画像検索用ＤＢ１１’に登録されている画像のうち、公開可能に設定されており、且つ、画像検索サーバ１０の画像検索用ＤＢ１１に未登録の画像を検索する。そして、登録サーバ５０は、検索された画像と、当該画像に関連付けられている連携情報とを画像検索サーバ１０に送信する。画像検索サーバ１０は、登録サーバ５０から送信された画像および連携情報を、画像検索用ＤＢ１１に登録する。

ユーザ管理サーバ６０は、ユーザＤＢ６１を備え、情報処理システム１を利用するユーザの情報を管理する。例えば、ユーザＤＢ６１は、顧客６２ａ、６２ｂ、６２ｃ、…の情報や、登録端末２０（登録ツール２１）の機能を利用可能なユーザの情報、画像検索サーバ１０および登録サーバ５０を管理する管理者の情報が登録される。

ユーザ管理サーバ６０は、例えば、全体管理者、ドメイン管理者、クライアント管理者およびクライアントの４つの階層でユーザ情報を管理する。全体管理者は、ドメイン管理者、クライアント管理者およびクライアントの情報にアクセス可能な権限を有する。ドメイン管理者は、クライアント管理者およびクライアントの情報にアクセス可能な権限を有し、クライアント管理者は、クライアントの情報にアクセス可能な権限を有する。クライアントは、各クライアント自身の情報のみ、アクセス可能とされている。ユーザＤＢ６１に登録される各情報は、登録端末２０から登録ツール２１を用いて、各階層に与えられた権限に応じて閲覧および編集することが可能である。

図３は、各実施形態に適用可能な登録端末２０のハードウェアの一例の構成を示す。図３に示される登録端末２０において、バス２０００に対してＣＰＵ２００１、ＲＯＭ(Read Only Memory)２００２、ＲＡＭ(Random Access Memory)２００３および表示制御部２００４が接続される。また、バス２０００に対して、ストレージ２００６、データＩ／Ｆ（インターフェイス）２００７、入力デバイス２００８および通信Ｉ／Ｆ２００９が接続される。

ストレージ２００６は、データを不揮発に記憶することが可能な記憶媒体であって、例えばハードディスクドライブが用いられる。これに限らず、ストレージ２００６として、フラッシュメモリなどの不揮発性の半導体メモリを用いてもよい。ストレージ２００６は、ＣＰＵ２００１が実行するためのプログラムや各種データが格納される。

ＣＰＵ２００１は、ＲＯＭ２００２およびストレージ２００６に記憶されるプログラムに従い、ＲＡＭ２００３をワークメモリとして用いて、この登録端末２０の全体を制御する。

表示制御部２００４は、ＣＰＵ２００１により生成された表示制御信号を、表示デバイス２００５が表示可能な信号に変換して出力する。表示制御部２００４は、ＣＰＵ２００１により生成された表示制御信号に基づき表示デバイス２００５を駆動する。表示デバイス２００５は、表示制御部２００４により駆動されて表示制御信号に応じた表示を行う。

データＩ／Ｆ２００７は、外部機器との間でデータの入出力を行う。データＩ／Ｆ２００７としては、例えば、ＵＳＢ(Universal Serial Bus)やＢｌｕｅｔｏｏｔｈ（登録商標）といったインターフェイスを適用することができる。通信Ｉ／Ｆ２００９は、ＣＰＵ２００１の制御に従いネットワークを介した通信を無線通信により行う。

入力デバイス２００８は、例えばマウスなどのポインティングデバイスや、キーボードを含み、ユーザ入力を受け付ける。ユーザは、例えば表示デバイス２００５に対する表示に応じて入力デバイス２００８を操作することで、登録端末２０に対して指示を出すことができる。

図４は、各実施形態に係る登録サーバ５０のハードウェアの一例の構成を示す。図４において、登録サーバ５０は、バス１０００に対してＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３、ストレージ１００４および通信部１００５が接続される。ストレージ１００４は、データを不揮発に記憶することが可能な記憶媒体であって、例えばハードディスクドライブである。これに限らず、ストレージ１００４として、フラッシュメモリなどの不揮発性の半導体メモリを用いてもよい。

ＣＰＵ１００１は、ＲＯＭ１００２およびストレージ１００４に記憶されるプログラムに従い、ＲＡＭ１００３をワークメモリとして用いて、この登録サーバ５０の全体を制御する。

ストレージ１００４は、ＣＰＵ１００１が実行するためのプログラムや各種データが格納される。また、上述した画像検索用ＤＢ１１’は、このストレージ１００４上の記憶領域を用いて構成される。なお、図４では、ストレージ１００４が１のハードウェアから構成されるように示しているが、これはこの例に限定されず、例えば複数のストレージ装置を１つのストレージ１００４として統合的に管理するようにしてもよい。

通信部１００５は、ＣＰＵ１００１の制御に従いネットワークを介した通信を無線通信により行う通信Ｉ／Ｆを含む。

なお、図４では、登録サーバ５０が１のハードウェアから構成されるように示しているが、これはこの例に限定されず、登録サーバ５０を、同等の構成を有する複数のサーバ装置を統合的に制御することで構成してもよい。また、画像検索サーバ１０は、登録サーバ５０と同様の構成で実現可能であるので、ここでの説明を省略する。

図５は、各実施形態に適用可能な検索端末３０のハードウェアの一例の構成を示す。図５に示される検索端末３０において、バス３０００に対してＣＰＵ３００１、ＲＯＭ３００２、ＲＡＭ３００３および表示制御部３００４が接続される。また、バス３０００に対して、ストレージ３００６、データＩ／Ｆ３００７、入力デバイス３００８、通信Ｉ／Ｆ３００９、撮像部３０１０およびＧＰＳ部３０１１が接続される。

ストレージ３００６は、データを不揮発に記憶することが可能な記憶媒体であって、例えばフラッシュメモリなどの不揮発性の半導体メモリである。これに限らず、ストレージ３００６としてハードディスクドライブを用いてもよい。ストレージ３００６は、ＣＰＵ３００１が実行するためのプログラムや各種データが格納される。なお、ストレージ３００６およびＲＯＭ３００２は、例えば１つの書き換え可能な不揮発性半導体メモリなどを共用してもよい。

ＣＰＵ３００１は、ＲＯＭ３００２およびストレージ３００６に記憶されるプログラムに従い、ＲＡＭ３００３をワークメモリとして用いて、この検索端末３０の全体を制御する。表示制御部３００４は、ＣＰＵ３００１により生成された表示制御信号を、表示デバイス３００５が表示可能な信号に変換して出力する。

データＩ／Ｆ３００７は、外部機器との間でデータの入出力を行う。データＩ／Ｆ３００７としては、例えば、ＵＳＢやＢｌｕｅｔｏｏｔｈ（登録商標）といったインターフェイスを適用することができる。

表示制御部３００４は、ＣＰＵ３００１により生成された表示制御信号に基づき表示デバイス３００５を駆動する。表示デバイス３００５は、例えばＬＣＤ(Liquid Crystal Display)を含み、表示制御部３００４により駆動されて表示制御信号に応じた表示を行う。

入力デバイス３００８は、ユーザ入力を受け付ける。ユーザは、例えば表示デバイス３００５に対する表示に応じて入力デバイス３００８を操作することで、検索端末３０に対して指示を出すことができる。なお、入力デバイス３００８と表示デバイス３００５とを一体的に構成し、押圧した位置に応じた制御信号を出力すると共に、表示デバイス３００５の画像を透過するタッチパネルとして構成すると、好ましい。

通信Ｉ／Ｆ３００９は、ＣＰＵ３００１の制御に従いネットワークを介した通信を無線通信により行う。

撮像部３０１０は、光学系と、撮像素子と、光学系および撮像素子の制御駆動回路とを備え、撮像素子から出力される撮像信号に所定の処理を施してディジタル信号による撮像画像として出力する。撮像部３０１０は、入力デバイス３００８に対するユーザ操作による指示に従い、撮像やズームなどの機能を実行する。撮像部３０１０から出力された撮像画像は、バス３０００を介してＣＰＵ３００１に送られ、プログラムに従い所定の画像処理を施される。撮像部３０１０から出力され画像処理を施した撮像画像を、例えばストレージ３００６に記憶することができる。また、ＣＰＵ３００１は、ストレージ３００６から撮像画像を読み出して、通信Ｉ／Ｆ３００９によりネットワークに対して送信することができる。

ＧＰＳ部３０１１は、ＧＰＳ(Global Positioning System)による信号を受信し、受信した信号に基づき緯度および経度からなる現在位置を計算する。

図６は、各実施形態に係る登録端末３０の機能を説明するための一例の機能ブロック図である。登録端末２０は、登録ツール２１を含み、登録ツール２１は、取得部２０１と、抽出部２０２と、判定部２０３と、通知部２０４と、通信部２０５と、表示部２０６と、入力部２０７とを含む。これら取得部２０１、抽出部２０２、判定部２０３、通知部２０４、通信部２０５、表示部２０６および入力部２０７は、ＣＰＵ２００１上で動作するプログラムにより実現される。

通信部２０５は、ネットワークを介した通信を制御し、ネットワーク上にデータを送信する送信部と、ネットワークからのデータを受信する受信部として機能する。

表示部２０６は、表示デバイス２００５に表示させるための表示情報を生成する。すなわち、登録端末２０において、ＣＰＵ２００１は、表示部２０６により生成された表示情報に基づき表示制御信号を生成し、生成した表示制御信号を表示制御部２００４に渡す。表示制御部２００４は、この表示制御信号に従い表示デバイス２００５に対して表示情報に従った表示を行う。なお、以下では、この、表示部２０６が生成した表示情報に従い表示デバイス２００５に表示を行う一連の動作を、表示部２０６が表示を行う、などのように記述する。入力部２０７は、入力デバイス２００８に対する入力操作で入力された情報を受け付ける。

取得部２０１は、登録端末２０の外部から画像を取得する。取得部２０１は、例えば顧客６２ａから画像を取得する。取得部２０１は、顧客６２ａが有する他の機器からネットワークを介して送信された画像を取得してもよいし、ＣＤ(Compact Disk)やＤＶＤ(Digital Versatile Disk)といった記録媒体を介して画像を受け取ってもよい。さらに、取得部２０１は、紙などの印刷媒体から画像を取得してもよい。また、取得部２０１は、顧客６２ａから、画像に関連付ける連携情報のための情報を取得する。

抽出部２０２は、取得部２０１により取得された画像における所定領域の画像を抽出する。判定部２０３は、登録サーバ５０に登録しようとする画像の一部または全体と類似する画像が登録サーバ５０に既に登録されているか否かを判定する。通知部２０４は、判定部２０３による判定結果を示す情報の通知を行う。

上述した登録ツール２１に含まれる取得部２０１、抽出部２０２、判定部２０３、通知部２０４、通信部２０５、表示部２０６および入力部２０７は、ＣＰＵ２００１上で動作する情報処理プログラムによって実現される。この情報処理プログラムは、例えばストレージ２００６に予め記憶させて提供される。これに限らず、この情報処理プログラムを、ネットワークに接続されたコンピュータ上に格納し、通信Ｉ／Ｆ２００９によりネットワーク経由でダウンロードさせることにより提供するように構成することができる。また、この情報処理プログラムを、ネットワーク経由で提供または配布するように構成してもよい。

これに限らず、情報処理プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録して提供してもよい。この場合、記録媒体に記録された情報処理プログラムは、例えばデータＩ／Ｆ２００７に接続された外部のドライブ装置を介して登録端末２０に供給される。これに限らず、記録媒体に記録された情報処理プログラムを、パーソナルコンピュータなど他の情報処理装置上に一旦記憶させ、この他の情報処理装置から通信Ｉ／Ｆ２００９やデータＩ／Ｆ２００７を介した通信により、登録端末２０に供給してもよい。

情報処理プログラムは、例えば、上述した各部（取得部２０１、抽出部２０２、判定部２０３、通知部２０４、通信部２０５、表示部２０６および入力部２０７）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ２００１が例えばストレージ２００６から情報処理プログラムを読み出して実行することにより上記各部が主記憶装置（例えばＲＡＭ２００３）上にロードされ、各部が主記憶装置上に生成されるようになっている。

図７は、各実施形態に適用可能な検索端末３０の機能を説明するための一例の機能ブロック図である。図７において、検索端末３０は、撮像処理部３０１と、検索要求部３０２と、選択部３０３と、受信部３０４と、送信部３０５と、入力部３０６と、表示部３０７とを有する。

これら撮像処理部３０１、検索要求部３０２、選択部３０３、受信部３０４、送信部３０５、入力部３０６および表示部３０７は、ＣＰＵ３００１上で動作するプログラムによって実現される。これに限らず、撮像処理部３０１、検索要求部３０２、選択部３０３、受信部３０４、送信部３０５、入力部３０６および表示部３０７のうち一部または全部を、互いに協働して動作するハードウェアにより実現してもよい。

撮像処理部３０１は、検索端末３０が備えるカメラ機能を起動して撮像部３０１０を制御し、撮像画像を出力する。受信部３０４は、ネットワークを介して送信されるデータの受信処理を行う。送信部３０５は、ネットワークを介したデータの送信処理を行う。入力部３０６は、検索端末３０が備える入力デバイス３００８に対する入力操作を受け付け、操作に応じたデータを取得する。表示部３０７は、検索端末３０が備える表示デバイス３００５に対する情報の表示を制御する。入力部３０６と表示部３０７とで、検索端末３０のＵＩ(User Interface)が構成される。

検索要求部３０２は、撮像処理部３０１により取得された撮像画像に基づく検索を要求する検索要求を生成する。検索要求部３０２は、撮像画像と、生成した検索要求とを送信部３０５から画像検索サーバ１０に対して送信する。選択部３０３は、検索要求に応じて画像検索サーバ１０から返される連携情報から所望の情報を選択するための選択画面を生成し、表示部３０７に渡す。また、選択部３０３は、選択画面に応じて入力部３０６が受け付けた入力操作に応じて、選択された連携情報に対応する処理を行う。

（各実施形態に係る画像登録処理）
次に、実施形態に係る画像登録処理について説明する。図８は、各実施形態に係る、登録端末２０において登録ツール２１によって実行される画像登録処理の一例を示すフローチャートである。なお、図８のフローチャートの処理に先立って、登録ツール２１を利用するユーザの情報（ユーザＩＤおよびパスワード）は、ユーザ管理サーバ６０によりユーザＤＢ６１に登録されているものとする。また、以下において、画像は、キャンペーンを単位として登録されるものとする。

登録端末２０において登録ツール２１が起動されると、ステップＳ１００で、登録ツール２１は、ユーザに対するログイン処理を行う。例えば、登録ツール２１は、表示部２０６により図９に例示されるログイン画面４００の表示を行う。図９の例では、ログイン画面４００は、ユーザ情報（ユーザＩＤおよびパスワード）を入力するための入力部４０１と、ログインを指示するためのボタン４０２と、パスワードの再発行を依頼するためのボタン４０３とが配置されている。

例えば、登録ツール２１は、入力部４０１にユーザＩＤおよびパスワードが入力されると、入力されたユーザＩＤおよびパスワードをユーザ管理サーバ６０に送信し、ユーザＩＤの認証を要求する。登録ツール２１は、ユーザ管理サーバ６０からの、ユーザＩＤの認証が成功したことを示す情報を受信した場合に、処理をステップＳ１０１に移行させる。

ステップＳ１０１で、登録ツール２１は、表示部２０６により、図１０に例示されるメニュー画面４１０の表示を行う。図１０の例では、メニュー画面４１０は、タブ４１１ａ、４１１ｂおよび４１１ｃと、ボタン群４１２と、検索入力部４１３と、リスト表示領域４１４と、終了ボタン４１５とが配置される。

タブ４１１ａ、４１１ｂおよび４１１ｃは、メニュー項目を選択して登録ツール２１の動作モードを決定するためのタブである。タブ４１１ａおよび４１１ｂは、ユーザ管理モードに移行するためのタブであって、操作することでそれぞれ管理者一覧およびクライアント一覧が表示される。また、タブ４１１ｃは、画像登録モードに移行するためのタブであって、操作することでキャンペーン一覧が表示される。

リスト表示領域４１４は、タブ４１１ａ、４１１ｂおよび４１１ｃにより選択したメニュー項目に対応するリストが表示される。図１０の例では、タブ４１１ｂが操作されクライアント一覧が選択されている。以下では、リストの各行をレコードと呼び、各列を項目と呼ぶ。

ボタン群４１２は、リスト表示領域４１４に表示されるリストに対する処理を選択する。図１０の例では、ボタン群４１２は４個のボタンを含み、各ボタンは、左から、「新規登録」、「編集」、「削除」、「ＣＳＶ出力」の各機能が割り当てられている。「新規登録」ボタンは、リスト表示領域４１４に表示されるリストに対して新規にレコードを追加する。「編集」ボタンは、リスト表示領域４１４に表示されるリストにおいて選択されたレコードの情報を編集する。「削除」ボタンは、リスト表示領域４１４に表示されるリストにおいて選択されたレコードの情報を削除する。「ＣＳＶ出力」は、リスト表示領域４１４に表示されるリストの情報をＣＳＶ(Comma-Separated Values)形式のテキストファイルで出力する。

検索入力部４１３は、リスト表示領域４１４に表示されるリストから、選択または入力された検索キーに基づきレコードが選択される。終了ボタン４１５は、登録ツール２１による処理を終了する。

説明は図８に戻り、ステップＳ１０１でメニュー表示がなされると、処理が次のステップＳ１０２に移行され、登録ツール２１は、タブ４１１ａ、４１１ｂおよび４１１ｃ、ならびに、終了ボタン４１５の何れかが操作され、処理が選択されるのを待機する。若し、終了ボタン４１５が操作された場合、登録ツール２１は、処理をステップＳ１０３に移行させ、ユーザのログアウト処理を行い、登録ツール２１の動作を終了させる。

また、ステップＳ１０２で、タブ４１１ａまたはタブ４１１ｂが操作されユーザ管理モードが選択された場合、登録ツール２１は、処理をステップＳ１０４に移行させる。そして、登録ツール２１は、ステップＳ１０４において、ステップＳ１０２でタブ４１１ａおよび４１１ｂの何れが操作されたかに応じて、管理者一覧画面およびクライアント一覧画面のうち何れかの表示を行う。登録ツール２１は、管理者一覧画面またはクライアント一覧画面での処理が終了した旨の操作がなされると、処理をステップＳ１０１に戻し、メニュー表示を行う。

さらに、ステップＳ１０２で、タブ４１１ｃが操作され画像登録モードが選択された場合、登録ツール２１は、処理をステップＳ１０５に移行させる。ステップＳ１０５で、登録ツール２１は、表示部２０６により、図１１に例示するような登録情報一覧画面４２０の表示を行い、ユーザ操作を待機する。図１１において、登録情報一覧画面４２０は、ボタン４２１ａ〜４２１ｄと、検索入力部４２２と、リスト表示領域４２３と、終了ボタン４２４とが配置される。

リスト表示領域４２３は、登録サーバ５０に登録されるキャンペーンのリストが表示される。このとき、登録ツール２１は、登録サーバ５０に登録されるキャンペーンのうち、登録ツール２１にログインしたユーザがアクセス可能なキャンペーンを選択してリスト表示領域４２３に表示させることができる。例えば、登録ツール２１は、ユーザ管理サーバ６０からログイン中のユーザに関する情報を取得し、この情報に基づき登録サーバ５０のメタデータＤＢから、当該ユーザがアクセス可能なキャンペーンのリストを取得する。

ボタン４２１ａは、リスト表示領域４２３に表示されるリストに対して新規にレコードを追加する「新規登録」ボタンである。ボタン４２１ｂは、リスト表示領域４２３に表示されるリストにおいて選択されたレコードの情報を編集する「編集」ボタンである。ボタン４２１ｃは、リスト表示領域４２３に表示されるリストにおいて選択されたレコードの情報を削除する「削除」ボタンである。また、ボタン４２１ｄは、リスト表示領域４２３に表示されるリストにおいて選択されたレコードに登録されたキャンペーンの公開および非公開を設定するためのボタンである。

図１１の例では、リスト表示領域４２３に表示されるリストにおいて、各レコードは、「キャンペーン名」、「クライアント名」、「ユーザＩＤ」、「担当者名」、「公開ページ数」、「利用ページ数」、「最終更新日」、「状態」、「担当管理者」、「所属ドメイン」、「備考」および「ＣＳＶ出力」の各項目を含む。レコードの情報は、当該レコードに示されるキャンペーンのメタデータであって、例えば、登録サーバ５０における画像検索用ＤＢ１１’に含まれるメタデータＤＢに格納される。

なお、レコードは、キャンペーン単位に作成され、１つのキャンペーンに含まれる１以上の画像に関連付けられるもので、例えば、メタデータＤＢに登録されるメタデータに基づき生成される。登録ツール２１は、リスト表示領域４２３に表示されるレコードの情報を、登録サーバ５０の画像検索用ＤＢ１１’に含まれるメタデータＤＢから取得することができる。

リスト表示領域４２３に表示されるリストの各レコードにおいて、項目「キャンペーン名」は、レコードに登録されるキャンペーンに付けられた名前を示す。項目「クライアント名」は、そのレコードのキャンペーンの所有者を示す。項目「ユーザＩＤ」は、そのレコードのキャンペーンの所有者のＩＤを示す。項目「担当者名」は、そのレコードのキャンペーンの情報を入力したユーザ名を示す。

項目「公開ページ数」は、そのレコードのキャンペーンに含まれるページのうち、公開するように設定された公開ページ数を示す。例えば、後述する対象領域が指定されたページが、公開ページとされる。項目「利用ページ数」は、そのレコードのキャンペーンに含まれる全ページ数を示す。すなわち、項目「利用ページ数」に示されるページ数は、そのレコードのキャンペーンが非公開状態であっても表示される。なお、項目「公開ページ数」および「利用ページ数」が何れも「０」となっているレコードは、キャンペーン情報の登録だけ行って、未だ画像が登録されていないことを示す。

項目「最終更新日」は、そのレコードのキャンペーンの情報を最後に編集した日付を示す。項目「状態」は、そのレコードのキャンペーンが公開状態および非公開状態の何れの状態にあるかを示す。項目「担当管理者」は、そのレコードのキャンペーンを担当するユーザの上位の管理者を示す。項目「所属ドメイン」は、項目「担当管理者」が属するドメインの情報を示す。項目「備考」は、任意の情報を入力することができる。また、項目「ＣＳＶ出力」は、そのレコードの情報をＣＳＶ形式のテキストファイルで出力する。

ステップＳ１０５で登録情報一覧画面４２０が表示されると、登録ツール２１は、処理を次のステップＳ１１０に移行させ、ボタン４２１ａ〜４２１ｄ、ならびに、終了ボタン４２４に対する操作を待機する。以下、各ボタンに対する操作に応じた処理を、下記の項目（１）〜（５）に従い説明する。

（１）ステップＳ１１０で、登録ツール２１は、処理の終了を指示するボタン４２４が操作された場合、例えば処理をステップＳ１０１に戻し、メニュー表示を行う。

（２）ステップＳ１１０で、登録ツール２１は、リスト表示領域４２３においてレコードが選択された状態で、キャンペーンの公開および非公開を設定するためのボタン４２１ｄが操作された場合、処理をステップＳ１２０に移行させる。ステップＳ１２０で、登録ツール２１は、表示部２０６により、選択されたレコードに示されるキャンペーンの公開および非公開を設定するための公開設定画面の表示を行う。

図１２は、公開設定画面の例を示す。図１２において、公開設定画面４３０は、公開設定部４３１と、ＯＫボタン４３２ａおよびキャンセルボタン４３２ｂとが配置される。図１２の例では、公開設定部４３１は、ラジオボタンにより公開および非公開を排他的に設定可能となっており、選択されたレコードの項目「公開状態」の値が初期値とされる。登録ツール２１は、ＯＫボタン４３２ａが操作されると、公開設定部４３１において公開および非公開の何れかに設定された公開状態が当該レコードに対して設定される。登録ツール２１は、公開状態が設定されると、リスト表示領域４２３の表示を更新して、処理をステップＳ１０５に戻す。また、登録ツール２１は、キャンセルボタン４３２ｂが操作された場合、当該レコードの公開状態を公開設定画面４３０の表示前の状態として、処理をステップＳ１０５に戻す。

（３）ステップＳ１１０で、登録ツール２１は、リスト表示領域４２３においてレコードが選択された状態で、画像の削除を指定するボタン４２１ｃが操作された場合、処理をステップＳ１２１に移行させる。ステップＳ１２１で、登録ツール２１は、選択されたレコードの情報を削除する。このとき、登録ツール２１は、レコードの削除を本当に行うか否か、また、レコードに関連付けられた画像の情報を含めてレコードを削除するか否かなどの確認画面を表示させると、好ましい。登録ツール２１は、レコードが削除されると、リスト表示領域４２３の表示を更新して、処理をステップＳ１０５に戻す。

（４）ステップＳ１１０で、登録ツール２１は、画像の編集を指示するボタン４２１ｂが操作された場合、処理をステップＳ１２２に移行させる。ステップＳ１２２で、登録ツール２１は、登録情報一覧画面４２０のリスト表示領域４２３に表示されるリストにおいて選択されたレコードに示されるキャンペーンに含まれる画像を、登録サーバ５０から取得する。登録ツール２１は、取得した画像に連携情報が関連付けられている場合、この連携情報も取得する。そして、登録ツール２１は、処理をステップＳ１２４に移行させる。

（５）また、ステップＳ１１０で、登録ツール２１は、新規登録を指示するボタン４２１ａが操作された場合、処理をステップＳ１２３に移行させ、新規キャンペーンの登録処理を実行する。ステップＳ１２３において、登録ツール２１は、先ず、表示部２０６により、キャンペーンの新規登録を行うための、図１３に例示されるようなキャンペーン登録画面４４０の表示を行う。

図１３において、キャンペーン登録画面４４０は、キャンペーン名およびユーザＩＤを入力するための入力部４４１および４４２と、ＯＫボタン４４３ａおよびキャンセルボタン４４３ｂとが配置される。入力部４４１に入力された文字列が、レコードにおける項目「キャンペーン名」の値となる。同様に、入力部４４２に入力された文字列が、レコードにおける項目「ユーザＩＤ」の値となる。

登録ツール２１は、ＯＫボタン４４３ａが操作されると、キャンペーン登録画面４４０において入力部４４１および４４２に入力された各文字列を当該レコードの項目「キャンペーン名」および「ユーザＩＤ」として設定し、処理をステップＳ１２４に移行させる。

ステップＳ１２４で、登録ツール２１は、表示部２０６により、キャンペーンの情報を編集するための編集画面の表示を行う。図１４は、編集画面の例を示す。図１４において、編集画面４８０は、ヘッダ領域４８１と、サムネイル表示領域４８３と、ページ編集領域４８４と、プレビュー領域４８５と、対象領域一覧領域４８６と、リンクアイコン一覧領域４８７と、ツールバー４８８とを含む。

ヘッダ領域４８１は、この編集画面４８０の編集対象となるキャンペーンの名前が左端に表示され、右端には、登録ツール２１にログインしているユーザの権限で利用できるメニューが表示されるユーザメニュー表示部４８２が配置される。

サムネイル表示領域４８３は、キャンペーンに含まれる各画像を縮小したサムネイル画像が表示される領域である。例えば、処理が上述のキャンペーン情報の編集を指示するステップＳ１２２からこのステップＳ１２４に移行された場合、登録ツール２１は、ステップＳ１２２で登録サーバ５０から取得された、リスト表示領域４２３から選択されたレコードに示されるキャンペーンに含まれる各画像を登録サーバ５０の画像ＤＢ１４から取得する。そして、登録ツール２１は、取得した各画像を縮小してサムネイル画像を生成し、サムネイル表示領域４８３に表示させる。図１４の例では、サムネイル表示領域４８３に対し、サムネイル画像４８３０₁、４８３０₂、４８３０₃、…が表示されている。

なお、処理が上述のキャンペーン情報の新規登録を指示するステップＳ１２３からこのステップＳ１２４に移行した場合は、サムネイル表示領域４８３は、空欄となる。また、サムネイル表示領域４８３の右端に設けられるスクロールバーを操作することで、サムネイル表示領域４８３外に仮想的に表示される他のサムネイル画像を、サムネイル表示領域４８３内に順次表示させることができる。

ページ編集領域４８４は、キャンペーンに含まれる各画像のうち、編集対象となる画像４８４０が表示される。例えば、登録ツール２１は、サムネイル表示領域４８３に表示される各サムネイル画像４８３０₁、４８３０₂、４８３０₃、…から選択したサムネイル画像の元画像を、画像４８４０としてページ編集領域４８４に表示させる。図１４の例では、サムネイル表示領域４８３においてサムネイル画像４８３０₂が選択され、この選択されたサムネイル画像４８３０₂の元画像が画像４８４０としてページ編集領域４８４に表示されている。また、サムネイル表示領域４８３では、選択され現在ページ編集領域４８４に表示されるサムネイル画像４８３０₂が周囲の枠４８３２により強調表示されて示されている。

登録ツール２１は、ページ編集領域４８４に表示される画像４８４０に対して範囲が指定された場合、指定された範囲を対象領域として設定することができる。範囲の指定は、例えばユーザによる入力デバイス２００８の操作が入力部２０７に受け付けられてなされる。例えば、ページ編集領域４８４に表示される画像４８４０内の任意の２点を指定することで、指定された２点を対角上の頂点とする矩形範囲が指定される。図１４の例では、ページ編集領域４８４の画像４８４０に対して矩形の範囲により対象領域４８４１ａおよび４８４１ｂがそれぞれ設定されている。

登録ツール２１は、設定された対象領域４８４１ａおよび４８４１ｂを、例えば領域内の色を領域外と異ならせて表示させることで、対象領域４８４１ａおよび４８４１ｂを明示的に示すことができる。また、対象領域の形状は、矩形に限られず、閉じた形状であれば任意の形状を設定することができる。

登録ツール２１は、設定された各対象領域４８４１ａおよび４８４１ｂを識別する識別情報（通し番号など）を生成し、各対象領域４８４１ａおよび４８４１ｂに関連付ける。識別情報は、編集対象のキャンペーンに含まれる各画像を通して対象領域を識別可能に生成される。

また、詳細は後述するが、登録ツール２１は、ページ編集領域４８４において設定された対象領域４８４１ａおよび４８４１ｂに対して、１以上の連携情報を関連付けることができる。

さらに、登録ツール２１は、サムネイル表示領域４８３に表示される各サムネイル画像４８３０₁、４８３０₂、４８３０₃、…ページ編集領域４８４において何らかの編集、例えば対象領域の指定が行われ、且つ、未保存の画像に対応するサムネイル画像に対して、マーカ画像４８３１を付加する。

プレビュー領域４８５は、ページ編集領域４８４において編集中の画像がこの情報処理システム１に対応するアプリケーションプログラムにより検索端末３０の表示デバイス３００５に表示される画面をエミュレートしたプレビュー画面４８５０を表示する。登録ツール２１は、プレビュー領域４８５において、ページ編集領域４８４において設定された各対象領域４８４１ａおよび４８４１ｂを強調表示などにより明示的に表示させる。また、登録ツール２１は、プレビュー領域４８５において、各対象領域４８４１ａおよび４８４１ｂに設定された連携情報を示す情報を、各対象領域４８４１ａおよび４８４１ｂに対応させて表示させる。

対象領域一覧領域４８６は、編集対象のキャンペーンに含まれる各画像に設定された各対象領域に付加されている連携情報の一覧がアイコン画像６００、６００、…にて表示される。図１４の例では、登録ツール２１は、連携情報を、対応する対象領域に付加された識別情報（通し番号）毎に纏めて対象領域一覧領域４８６に表示している。また、対象領域一覧領域４８６において、右端に設けられるスクロールバーを操作することで、対象領域一覧領域４８６外に仮想的に表示される他の対象領域の連携情報を、対象領域一覧領域４８６内に順次表示させることができる。

リンクアイコン一覧領域４８７は、対象領域に対して設定可能な連携情報を、各連携情報に対応するアイコン画像６００、６００、…を用いて一覧表示する。登録ツール２１は、リンクアイコン一覧領域４８７に表示されるアイコン画像６００を所謂ドラッグアンドドロップ操作により移動させ、ページ編集領域４８４内に設定された例えば対象領域４８４１ａに重ねることで、当該アイコン画像６００、６００、…に対応する連携情報を当該対象領域４８４１ａに関連付けることができる。また、１つの対象領域に対して、複数の連携情報を関連付けることができる。

リンクアイコン一覧領域４８７において、右端に設けられるスクロールバーを操作することで、リンクアイコン一覧領域４８７外に仮想的に配置される他のアイコン画像６００を、リンクアイコン一覧領域４８７内に順次登場させ表示させることができる。

なお、対象領域に対して連携情報が関連付けられた場合に、当該対象領域の所定位置に、関連付けられた連携情報を示すアイコン画像６００を表示させることができる。こうすることで、当該対象領域４８４１ａにどの連携情報を関連付けたかを容易に知ることができ、好ましい。また、対象領域に対する連携情報の関連付けは、プレビュー領域４８５の表示に反映させる。

ツールバー４８８には、ページ編集領域４８４に表示されるページ（画像）を指定するページ指定部４８８０と、登録ツール２１が備える様々な機能を実行させるためのボタンまたはボタン群４８８１〜４８８９とが配置される。ボタン４８８１は、編集画面４８０から登録情報一覧画面４２０に戻るためのボタンである。

ボタン４８８２は、登録端末２０から登録サーバ５０に対して画像をアップロードするためのボタンである。ボタン４８８２が操作されると、登録ツール２１は、表示部２０６により、例えば図１５に例示されるようなファイル選択画面４６０の表示を行う。図１５において、ファイル選択画面４６０は、例えば登録端末２０のＣＰＵ２００１上で動作するＯＳ(Operating System)により提供される、標準のファイル選択画面であって、フォルダ指定部４６１と、ファイル一覧表示領域４６２と、ファイル名表示部４６３と、ファイル形式指定部４６４と、ボタン４６５および４６６とが配置される。

ファイル一覧表示領域４６２は、フォルダ指定部４６１で指定されたフォルダに格納されるファイルの一覧を表示する。ファイル形式指定部４６３は、ファイル一覧表示領域４６２に表示させるファイルの形式を指定する。ファイル名表示部４６３は、ファイル一覧表示領域４６２において選択されたファイルのファイル名を表示する。ファイル一覧表示領域４６２に表示されるファイルから１以上のファイルを選択してボタン４６５を操作することで、例えば、選択されたファイルを示す情報がＯＳから登録ツール２１に渡される。登録ツール２１は、ＯＳから渡されたファイル情報に示されるファイルを端末装置２０から登録サーバ５０に送信し、画像の登録サーバ５０に対するアップロードを実行する。ボタン４６６は、ファイルのアップロードを行わずに編集画面４８０に戻る際に用いる。

図１４の説明に戻り、ボタン群４８８３は、ページ編集領域４８４に表示される画像４８４０の表示サイズを調整するための２つのボタンを含む。

ボタン４８８４は、ページ編集領域４８４内に領域を設定する領域設定モードを、対象領域の設定を行う対象領域設定モードに切り替える。登録ツール２１は、このボタン４８８４が操作され編集モードが対象領域設定モードに切り替えられた上で、ページ編集領域４８４に表示される画像４８４０上に領域が指定された場合に、当該領域を対象領域に設定する。

ボタン４８８５は、ページ編集領域４８４内に領域を指定する領域設定モードを、解析部１２による特徴情報の抽出の対象としないマスク領域を指定するマスク設定モードに切り替える。登録ツール２１は、このボタン４８８５が操作され編集モードがマスク設定モードに切り替えられた上で、ページ編集領域４８４に表示される画像４８４０上に領域が指定された場合に、当該領域をマスク領域に設定する。

ボタン４８８６は、キャンペーンの詳細を設定するためのキャンペーン設定画面を表示させるためのボタンである。図１６は、キャンペーン設定画面の例を示す。図１６において、キャンペーン設定画面４５０は、表示領域４５１ａおよび４５１ｂと、入力領域４５１ｃ〜４５１ｅ、４５３および４５４と、公開方法設定部４５２と、ボタン４５４ａおよび４５５ｂとが配置される。表示領域４５１ａおよび４５１ｂは、それぞれ、図１１に示した登録情報一覧画面４２０におけるレコードの項目「ユーザ名」および「クライアント名」の値が変更不可に表示される。

入力領域４５１ｃは、キャンペーン名を入力する。入力領域４５１ｃは、デフォルトで登録情報一覧画面４２０におけるレコードの項目「キャンペーン名」の値が入力されている。入力領域４５１ｄは、検索端末３０において当該キャンペーンを表示させる際に用いる表示名を入力する。入力領域４５１ｅは、例えばキャンペーンの登録を行う担当者の名前を入力する。

公開方法設定部４５２は、キャンペーンの公開方法を設定する。なお、ここでいう公開は、検索端末３０上で所定の操作を行った場合の検索端末３０における動作をいう。図１６の例では、公開方法設定部４５２は、設定項目として「コレクション」と、「ＳＮＳ＃Ａ」および「ＳＮＳ＃Ｂ」といった複数のＳＮＳ(Social Networking Service)と、「外部アプリ」とが設けられている。公開方法設定部４５２は、同時に複数の公開方法を指定可能となっている。

公開方法設定部４５２で設定可能な公開方法のうち、設定項目「コレクション」は、キャンペーンの情報を検索端末３０に保存する。設定項目「ＳＮＳ＃Ａ」および「ＳＮＳ＃Ｂ」は、それぞれ、キャンペーンの情報をＳＮＳ＃ＡやＳＮＳ＃Ｂに投稿する。設定項目「ＳＮＳ＃Ａ」および「ＳＮＳ＃Ｂ」において、「投稿にＵＲＬを含めるか？」にチェックを入れることで、投稿内容にＵＲＬを含めることができる。設定項目「外部アプリ」は、検索端末３０において当該情報処理システム１に対応するアプリケーションプログラムに対して外部のアプリケーションプログラムを用いてキャンペーンの情報を表示させる。

入力領域４５３は、公開方法設定部４５２において設定項目「ＳＮＳ＃Ａ」および「ＳＮＳ＃Ｂ」による公開を設定した場合に、ＳＮＳ＃ＡおよびＳＮＳ＃Ｂにキャンペーンの情報を投稿する際の投稿文を入力する。入力領域４５４は、例えばキャンペーンに関する備考が入力される。

ボタン４５５ａは、入力領域４５１ｃ〜４５１ｅ、４５３および４５４と、公開方法設定部４５２に入力および設定された情報をキャンペーンの設定情報として反映させて、編集画面４８０に戻る。このキャンペーンの設定情報は、当該キャンペーンのメタデータに含まれる。登録ツール２１は、ボタン４５５ａが操作された場合、例えば、入力領域４５１ｃ〜４５１ｅ、ならびに、４５３および４５４に入力された情報と、公開方法設定部４５２により設定された設定値とに基づき、キャンペーンに対応するレコードやメタデータを更新する。ボタン４５５ｂは、キャンペーンに対応するレコードやメタデータの更新を行わずに、編集画面４８０に戻る。

説明は図１４に戻り、ボタン群４８８７は、情報のコピー、ペーストおよび削除をそれぞれ実行する３つのボタンを含む。

ボタン４８８８は、編集画面４８０のページ編集領域４８４に現在表示されている画像（ページ）４８４０の一部または全部に類似する部分を含む画像が画像検索サーバ１０に既に登録されているか否かをチェックする類似画像チェックを行う。これは、例えば、画像検索サーバ１０の代わりに登録サーバ５０を対象とし、登録サーバ５０に登録される画像のうち、キャンペーンの設定情報により「公開」が設定された画像をチェック対象とすることで行う。これに限らず、登録サーバ５０に登録される「非公開」が設定される画像をさらにチェック対象としてもよいし、画像検索サーバ１０を直接的にチェック対象としてもよい。登録ツール２１は、登録サーバ５０から送信された検索結果を、表示部２０６に表示する。ユーザは、この検索結果に基づき画像の再編集を行うことができる。

このとき、登録ツール２１は、例えば、ボタン４８８４の操作に応じて設定された対象領域内の画像のみをチェックの対象として登録サーバ５０に送信し、類似画像の検索を要求してもよい。また、登録ツール２１は、ボタン４８８５の操作に応じて設定されたマスク領域内の画像をチェックの対象から除外することもできる。さらに、登録ツール２１は、ページ編集領域４８４に現在表示されている画像４８４０を分割し、分割した画像のそれぞれを登録サーバ５０に送信して類似画像の検索を要求して、各々の画像について類似画像チェックを行ってもよい。

ボタン４８８９は、編集画面４８０において編集中のキャンペーンの保存を指示する。

ここで、説明を図８に戻し、ボタン４８８９が操作されると、登録ツール２１は、処理をステップＳ１２５に移行させ、キャンペーンの保存処理を開始する。保存処理が開始されると、登録ツール２１は、処理をステップＳ１２６に移行させ、保存対象のキャンペーンが新規登録のキャンペーンであるか否かを判定する。登録ツール２１は、処理が上述したステップＳ１２２からこのステップＳ１２６に移行された場合に、新規登録のキャンペーンではないと判定し、処理をステップＳ１２７に移行させる。

一方、登録ツール２１は、処理が上述したステップＳ１２３からこのステップＳ１２６に移行された場合に、新規登録のキャンペーンであると判定し、処理をステップＳ１３０に移行させる。

ステップＳ１３０で、登録ツール２１は、保存対象のキャンペーンに含まれる画像のうち対象領域が設定された画像について、上述した、各画像の一部または全部に類似する部分を含む画像が登録サーバ５０に既に登録されているか否かを判定する、類似画像チェックを実行する。例えば、登録ツール２１は、保存対象のキャンペーンに含まれる全ての画像を登録サーバ５０に送信し、類似画像の検索を要求する。登録ツール２１は、次のステップＳ１３１で、検索結果に基づき登録サーバ５０に類似画像が登録されていないと判定した場合、処理をステップＳ１２７に移行させる。

一方、登録ツール２１は、ステップＳ１３１で、検索結果に基づき登録サーバ５０に類似画像が登録されていると判定した場合、処理をステップＳ１３２に移行させる。登録ツール２１は、ステップＳ１３２で、表示部２０６により例えば図１７に例示される警告画面の表示を行う。図１７において、警告画面４７０は、登録サーバ５０に類似画像が既に登録されている旨を示す警告メッセージ４７１が表示されると共に、「はい」ボタン４７２および「いいえ」ボタン４７３が配置される。

登録ツール２１は、警告画面４７０において「いいえ」ボタン４７３が操作された場合、類似画像の登録に対する回避処理を実行することができる。一例として、登録ツール２１は、表示部２０６により、類似画像の登録に対する回避処理の実行を促すメッセージの表示を行い、処理をステップＳ１２４に戻す。この場合、回避処理としては、例えば、保存対象のキャンペーンに含まれる画像の変更や、当該画像に対するマスク領域の設定、対象領域の変更などが考えられる。回避処理が実行されると、処理がステップＳ１２７に移行される。

一方、登録ツール２１は、警告画面４７０において「はい」ボタン４７２が操作された場合、上述した回避処理を実行せずに処理をステップＳ１２７に移行させ、画像の登録を実行することができる。

ステップＳ１２７で、登録ツール２１は、キャンペーンの情報を登録サーバ５０に送信し、登録サーバ５０に対して登録される情報の更新を要求する。例えば、登録ツール２１は、キャンペーンに含まれる各画像と、各画像に関連付けられる各連携情報と、当該キャンペーンのメタデータとを登録サーバ５０に送信する。登録サーバ５０は、登録ツール２１からの要求に応じて、登録端末２０から送信された各情報に基づき画像ＤＢ１４および連携情報ＤＢ１５と、メタデータＤＢとを更新する。

登録ツール２１は、ステップＳ１２７で登録サーバ５０に対する情報更新の要求を送信すると、処理をステップＳ１０５に戻す。

上述のような構成において、画像検索サーバ１０の画像ＤＢ１４に互いに似た特徴情報を持つ複数の画像が登録されていると、画像検索サーバ１０は、画像検索の際に誤認識をしてしまうおそれがある。そのため、登録端末２０から登録サーバ５０に対し、登録ツール２１を用いて画像を登録する際に、当該画像に類似した画像が既に登録サーバ５０に登録されていないかどうかをチェックすることが好ましい。そして、登録端末２０において、チェック結果に応じて、登録を行う画像の変更などを行う。

ここで、画像の特徴情報を用いて類似度を判定する場合、例えばチェック対象の画像に対して部分的に類似する画像を、類似画像として検索することができる。一例として、図１８（ａ）に例示されるように、複数のオブジェクト４１ａ、４１ｂおよび４１ｃが含まれる画像４２を、登録ツール２１を用いて登録サーバ５０に登録する場合について考える。このとき、登録サーバ５０には、図１８（ｂ）に例示される、オブジェクト４１ｂと類似度が高いオブジェクト４３のみを含む画像４４が既に登録されているものとする。

この場合において、登録ツール２１は、画像４２を登録端末２０から登録サーバ５０に送信し、画像４２に対する類似画像チェックを登録サーバ５０に要求する。登録サーバ５０は、登録ツール２１により送信された画像４２内の一部の領域に含まれるオブジェクト４１ｂと類似度の高いオブジェクト４３を含む画像４４を示す情報を、検索結果として登録端末２０に返す。したがって、登録ツール２１は、判定部２０３により、画像４２に類似する画像が登録サーバ５０に既に登録されていると判定する。

ここで、登録ツール２１を操作しているユーザは、登録サーバ５０に既に登録されていると判定された画像に対して類似度が高いと判定された画像が、画像４２に含まれる各オブジェクト４１ａ、４１ｂおよび４１ｃのうち何れであるかを知ることは、困難である。すなわち、登録サーバ５０の画像ＤＢ１４には、画像が特徴情報として登録されており、ユーザが特徴情報から元の画像を知ることは難しいと考えられる。そのため、ユーザは、類似画像が登録サーバ５０に登録されていないと判定されるようにするために、画像４２に如何なる編集を加えるかを判断することが極めて困難になるおそれがある。

（第１の実施形態）
第１の実施形態に係る類似画像チェック処理について、図１９および図２０を用いてより具体的に説明する。なお、図１９および図２０において、上述の図１８と共通する部分には同一の符号を付して、詳細な説明を省略する。図１９および図２０に例示される画像４２が、図１４の編集画面４８０におけるページ編集領域４８４に表示される。

第１の実施形態では、チェック対象の画像に対して領域を設定し、類似画像チェックを、この設定された領域内の画像について実行する。図１９に例示されるように、画像４２に含まれるオブジェクト４１ａ、４１ｂおよび４１ｃをそれぞれ含むように、対象領域４５ａ、４５ｂおよび４５ｃが設定されているものとする。チェック対象として設定する領域として、この対象領域４５ａ、４５ｂおよび４５ｃを用いることができる。

例えば、登録ツール２１は、編集画面４８０においてボタン４８８８が操作され類似画像チェックが指示された場合、または、図８のステップＳ１３０での類似画像チェックにおいて、抽出部２０２により、画像４２から指定された対象領域４５ａの画像を抽出する。そして、登録ツール２１は、抽出した対象領域４５ａの画像を通信部２０５により登録サーバ５０に送信して、対象領域４５ａの画像に対する類似画像の検索を要求する。

登録サーバ５０は、解析部１２により、この対象領域４５ａの画像から特徴情報を抽出し、検索部１３は、抽出された特徴情報に類似する特徴情報を画像ＤＢ１４から検索し、検索結果を登録端末２０に返す。登録端末２０において、登録ツール２１は、例えば通知部２０４および表示部２０６により、検索結果を画面表示などしてユーザに通知する。

以上の類似画像チェック処理を、画像４２に含まれる各対象領域４１ａ〜４１ｃについて実行する。類似画像チェック処理を行う対象領域の指定は、登録ツール２１に対するユーザ操作により行ってもよいし、登録ツール２１が画像４２内に設定された各対象領域４１ａ〜４１ｂをそれぞれ指定して行ってもよい。

このようにすることで、ユーザは、登録サーバ５０に、画像４２に指定された対象領域４５ａ〜４５ｃのうち何れの領域の画像に類似する画像が登録されているかを容易に知ることができる。したがって、ユーザは、対象領域４５ａ〜４５ｃのうち、類似画像が既に登録されていると判定された領域の画像の変更などを行うことで、登録サーバ５０に既に登録されている画像と類似する画像が登録されてしまう事態を回避でき、類似画像の検索精度が向上される。

（第２の実施形態）
次に、第２の実施形態について、図２１〜図２４を用いて説明する。なお、図２１、図２２および図２４において、上述の図１８および図１９と共通する部分には同一の符号を付して、詳細な説明を省略する。

第２の実施形態では、画像４２を分割し、分割された分割領域のそれぞれについて、類似画像チェックを行う。図２１（ａ）は、画像４２を縦方向に３分割し、上から分割領域４６_T、４６_Cおよび４６_Bを形成した例である。また、図２１（ｂ）は、画像４２を格子状に４分割し、左上の分割領域４６_LTと、右上の分割領域４６_RTと、左下の分割領域４６_LBと、右下の分割領域４６_RBとを形成した例である。

なお、画像４２を分割する分割位置および分割数については、特に限定されない。登録ツール２１は、ユーザ操作により指定された位置を分割位置に設定してもよいし、画像４２の内容に応じて分割位置を設定してもよい。勿論、図２１（ａ）および図２１（ｂ）の例のように、分割位置を固定的に設定してもよい。以下では、図２１（ｂ）に示されるように、画像４２を格子状に４分割するものとして説明する。

例えば、登録ツール２１は、編集画面４８０においてボタン４８８８が操作され類似画像チェックが指示された場合、または、図８のステップＳ１３０での類似画像チェックにおいて、画像４２から分割領域４６_LT、４６_RT、４６_LBおよび４６_RBの画像を抽出部２０２によりそれぞれ抽出し、抽出した各画像を通信部２０５により登録サーバ５０に送信する。

登録サーバ５０は、これら分割領域４６_LT、４６_RT、４６_LBおよび４６_RBの画像それぞれについて、類似画像の検索処理を実行する。すなわち、登録サーバ５０は、解析部１２により、分割領域４６_LT、４６_RT、４６_LBおよび４６_RBの各画像から特徴情報をそれぞれ抽出する。検索部１３は、抽出された各特徴情報について、類似する特徴情報をそれぞれ画像ＤＢ１４から検索し、それぞれの検索結果を登録端末２０に返す。

登録ツール２１は、判定部２０３により、分割領域４６_LT、４６_RT、４６_LBおよび４６_RBの各画像に対する検索の結果、図２２に例示されるように、画像４２の左上の分割領域４６_LTの画像に類似する類似画像が登録サーバ５０に既に登録されていた（ＮＧ）と判定したものとする。また、登録ツール２１は、判定部２０３により、他の分割領域４６_RT、４６_LBおよび４６_RBの各画像については、それぞれ類似する類似画像が登録サーバ５０に登録されていない（ＯＫ）と判定したものとする。

この場合、登録ツール２１は、通知部２０４および表示部２０６により、例えばエラー画面を表示させることができる。図２３は、エラー画面の一例を示す。図２３において、エラー画面５００は、登録サーバ５０に類似画像が既に登録されている画像を含む領域が画像４２内に存在する旨をエラーを示す警告メッセージ５０１と、当該領域の画像４２内の位置を示す位置情報５０２とが表示される。この例では、分割領域４６_LT、４６_RT、４６_LBおよび４６_RBのうち左上の分割領域４６_LTの画像に類似する類似画像が登録サーバ５０に既に登録されていたので、通知部２０４は、位置情報５０２として「左上」を表示している。

登録ツール２１は、通知部２０４および表示部２０６により、図２３に示されるエラー画面５００に対し、警告メッセージ５０１に示されるエラーを回避するためのアドバイスメッセージ５０３をさらに表示させている。この例では、アドバイスメッセージ５０３は、マスク領域を設定することで、エラーが回避される可能性があることを示唆している。

図２４は、画像４２に対してマスク領域を設定した例を示す。この例では、図２３に斜線を付して示すように、類似する類似画像が登録サーバ５０に既に登録されていた、左上の分割領域４６_LTにマスク領域が設定されている。登録ツール２１は、上述したように、ボタン４８８５を操作して、画像４２上の分割領域４６_LTを指定することで、この分割領域４６_LTをマスク領域に設定する。

登録サーバ５０は、検索対象の画像にマスク領域が設定されている場合、当該画像の特徴情報を、このマスク領域以外の領域から抽出する。そのため、この画像４２を登録サーバ５０に登録した場合、検索対象の画像がマスク領域内の画像に類似する画像であっても、この画像４２が検索結果として出力されることが防がれ、類似画像の検索精度が向上される。

（第３の実施形態）
次に、第３の実施形態について、図２５を用いて説明する。なお、図２５において、上述の図１８および図１９と共通する部分には同一の符号を付して、詳細な説明を省略する。

第３の実施形態では、画像４２の特定の領域をマスク領域として固定的に設定する。例えば製品カタログなどの画像では、図２５（ａ）に例示されるように、製品のブランドやメーカのロゴ画像４７が所定位置（この例では画像４２の右上隅）に配置されている場合が多い。また、このロゴ画像４７は、ブランドやメーカにより形状が固定的とされており、さらに、輪郭が明確であることが多い。そのため、ロゴ画像４７は特徴情報が明確に現れ易く、ロゴ画像４７を含む画像を検索対象の画像として類似画像検索を行った場合、当該検索対象の画像に含まれる画像の如何に関わらず、ロゴ画像４７に基づく類似画像が検索結果として得られてしまうおそれがある。

例えば、図２５（ａ）の例では、対象領域４５ｂに含まれるオブジェクト４１ｂの画像に類似した画像を登録サーバ５０（または画像検索サーバ１０）から検索しようとしても、ロゴ画像４７に類似した画像を含む画像が検索結果として出力されてしまう可能性がある。この場合、検索結果の画像はオブジェクト４１ｂに類似した画像を含むとは限らず、検索精度が低くなる。

そこで、第３の実施形態では、登録ツール２１は、ロゴ画像４７を含む画像４２を登録サーバ５０に登録する際に、抽出部２０２により、図２５（ｂ）に斜線を付して示すように、ロゴ画像４７を含むロゴ画像領域４８を抽出し、マスク領域として設定する。ロゴ画像領域４８は、登録ツール２１に対するユーザ操作により画像（ページ）毎に設定することができる。これに限らず、登録ツール２１は、ロゴ画像領域４８の座標情報を予め取得しておき、この座標情報に従いロゴ画像領域４８を自動的に設定してもよい。さらに、登録ツール２１は、画像マッチングなどの手法を用いて、登録対象の画像からロゴ画像領域４８を抽出してもよい。

このように、ロゴ画像領域４８をマスク領域とした画像４２を登録サーバ５０に登録することで、ロゴ画像４７の影響を排除して類似画像検索を実行できる。そのため、ロゴ画像４７を含む画像４２に対する類似画像検索をより高精度に実行することができる。

なお、上述の各実施形態は、本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形による実施が可能である。

１ 情報処理システム
１０ 画像検索サーバ
１１，１１’ 画像検索用ＤＢ
１２ 解析部
１３ 検索部
１４ 画像ＤＢ
１５ 連携情報ＤＢ
２０ 登録端末
２１ 登録ツール
３０ 検索端末
５０ 登録サーバ
６０ ユーザ管理サーバ
６１ ユーザＤＢ
２０１ 取得部
２０２ 抽出部
２０３ 判定部
２０４ 通知部
２０５ 通信部
２０６ 表示部
４００ ログイン画面
４１０ メニュー画面
４２０ 登録情報一覧画面
４３０ 公開設定画面
４４０ キャンペーン登録画面
４５０ キャンペーン設定画面
４８０ 編集画面
４８４ ページ編集領域
４８５ プレビュー領域
４８６ 対象領域一覧領域
４８７ リンクアイコン一覧領域
４８８ ツールバー

特開２０１４−０１０７２３号公報

Claims (9)

1. 画像と連携情報とが関連付けられて登録される登録部から検索対象画像に類似する画像を検索する検索部と、検索された画像に関連付けられた該連携情報を端末装置に送信する送信部とを備える画像検索装置の該登録部に対する画像と連携情報との登録を制御する情報処理装置であって、
   前記登録部に登録するための登録対象画像から所定領域を抽出する抽出部と、
   前記所定領域の画像を前記検索部に送信し、前記検索部の検索結果に基づき、該所定領域に類似する画像を含む類似画像が前記登録部に登録されているか否かを判定する判定部と、
   前記登録部に前記類似画像が登録されていると判定された場合に、その旨の通知を行う通知部と
   を有する情報処理装置。
2. 前記抽出部は、
   前記登録対象画像から複数の所定領域を抽出し、
   前記通知部は、
   前記判定部により、前記複数の所定領域のうち少なくとも１つの領域に対応する前記類似画像が前記登録部に登録されていると判定された場合に、前記複数の所定領域のうちどの領域に該類似画像に類似する画像が含まれるかを通知する
   請求項１に記載の情報処理装置。
3. 前記検索部が前記検索対象画像に類似する画像を検索する際に検索対象から除外するマスク領域を前記登録対象画像に設定するマスク設定部をさらに有する
   請求項２に記載の情報処理装置。
4. 前記マスク設定部は、
   予め定められた画像が含まれる領域を前記マスク領域として前記登録対象画像に設定する
   請求項３に記載の情報処理装置。
5. 前記マスク設定部は、
   前記複数の所定領域のうち前記類似画像に類似する画像が含まれる領域を前記マスク領域として前記登録対象画像に設定する
   請求項３に記載の情報処理装置。
6. 前記抽出部は、
   前記登録対象画像を分割して前記複数の所定領域を抽出する
   請求項２乃至請求項４の何れか１項に記載の情報処理装置。
7. 画像と連携情報とが関連付けられて登録される登録部から検索対象画像に類似する画像を検索する検索部と、検索された画像に関連付けられた該連携情報を端末装置に送信する送信部とを備える画像検索装置と、該登録部に対する画像と連携情報との登録を制御する情報処理装置とを含む情報処理システムであって、
   前記登録部に登録するための登録対象画像を取得する取得部と、
   前記登録対象画像から所定領域を抽出する抽出部と、
   前記所定領域の画像を前記検索部に送信し、前記検索部の検索結果に基づき、該所定領域に類似する画像を含む類似画像が前記登録部に登録されているか否かを判定する判定部と、
   前記登録部に前記類似画像が登録されていると判定された場合に、その旨の通知を行う通知部と
   を備える情報処理システム。
8. 画像と連携情報とが関連付けられて登録される登録部から検索対象画像に類似する画像を検索する検索部と、検索された画像に関連付けられた該連携情報を端末装置に送信する送信部とを備える画像検索装置の該登録部に対する画像と連携情報との登録を制御する情報処理方法であって、
   前記登録部に登録するための登録対象画像を取得する取得ステップと、
   前記登録対象画像から所定領域を抽出する抽出ステップと、
   前記所定領域の画像を前記検索部に送信し、前記検索部の検索結果に基づき、該所定領域に類似する画像を含む類似画像が前記登録部に登録されているか否かを判定する判定ステップと、
   前記登録部に前記類似画像が登録されていると判定された場合に、その旨の通知を行う通知ステップと
   を有する情報処理方法。
9. 画像と連携情報とが関連付けられて登録される登録部から検索対象画像に類似する画像を検索する検索部と、検索された画像に関連付けられた該連携情報を端末装置に送信する送信部とを備える画像検索装置の該登録部に対する画像と連携情報との登録を制御する情報処理方法をコンピュータに実行させるための情報処理プログラムであって、
   前記情報処理方法は、
   前記登録部に登録するための登録対象画像から所定領域を抽出する抽出ステップと、
   前記所定領域の画像を前記検索部に送信し、前記検索部の検索結果に基づき、該所定領域に類似する画像を含む類似画像が前記登録部に登録されているか否かを判定する判定ステップと、
   前記登録部に前記類似画像が登録されていると判定された場合に、その旨の通知を行う通知ステップと
   を有する情報処理プログラム。

Images