JP2010113429A - 画像検索装置、画像検索方法、情報処理プログラム及び記録媒体 - Google Patents

Abstract

【課題】検索用画像の入力を補助することが可能な画像検索システムを提供すること。
【解決手段】画像検索の実行を操作するたのユーザインタフェースであって、第１の画像及び第２の画像を夫々取得する画像情報取得部２３２と、第１の画像と第２の画像とを組み合わせて画像検索の検索条件となる条件画像を生成する画像情報編集部２３５と、生成された条件画像に基づいて画像検索の実行を指示する検索実行指示部２３４とを有する。
【選択図】図２３

Description

本発明は、画像検索装置、画像検索方法、情報処理プログラム及び記録媒体に関し、特に画像検索における検索の方法に関する。

電子データに対する検索技術、あるいは検索結果の表示技術は、検索対象の情報量の増大による検索結果数の増大のため、ますます重要な技術となっている。なぜなら、求める情報が大量の検索結果に埋もれてしまい、見つけることが困難になっているからである。このような検索技術として、画像を検索用画像として入力し、既に格納されている検索用画像から上記入力された画像に類似する画像を抽出する画像検索方法が提案されている（例えば、特許文献１参照）。

特許文献１に示されるような画像検索技術は、例えば、公開特許公報の検索等に用いられる。例えば、公開特許公報等の文献に含まれる図面を検索する場合、図面を検索キーとして設定し、その図面に類似する図面を含む文献を抽出することが行なわれる。この他、商標検索等、複数の画像情報が格納されたデータベースにおいて、画像情報を検索キーとして画像情報を検索する場合であれば、同様に用いられ得る。
特開２００２−２４５０８７号公報

特許文献１に示されるような従来の画像検索においては、検索キーとして設定された画像（以降、キー画像とする）全体と検索対象となる画像（以降、検索対象画像とする）全体との類似度の判定を前提としている。そのため、キー画像に類似する画像を含む検索対象画像であっても、全体との関係では類似度が高く算出されなかった。

これに対して、本願発明者は、画像から文書領域、写真領域、表領域等の複数の領域を抽出し、夫々の領域毎に画像のマッチングを行なう方法を発明し、出願を行なった（特願２００７−０２２１０８）。上記の方法においては、抽出した夫々の領域毎にヒストグラム等の数値列データを生成し、その数値列データに基づいて画像のマッチングを行なう。これにより、キー画像及び検索対象画像の一部についての画像検索が可能となる。このような画像の一部によるマッチングは、商標検索等において特に有効である。

また、画像検索においては、検索用画像を用意する必要があるが、その検索用画像は電子情報として情報処理端末に入力する必要がある。従って、抽出すべき画像が想定されている場合であっても、その画像が電子情報として存在しない場合、情報処理端末を操作して画像を描画する等の方法により検索用画像を用意する必要がある。しかしながら、情報処理端末を操作して画像を描画すること等に慣れていないユーザにとっては、上記検索用画像を用意することが困難であり、結果的に画像検索を実行することができない。

本発明は、上記実情を考慮してなされたものであり、検索用画像の入力を補助することが可能な画像検索システムを提供することを目的する。

上記課題を解決するため、請求項１に記載の発明は、画像検索の実行を操作する画像検索操作装置であって、第１の画像及び第２の画像を夫々取得する画像情報取得部と、前記第１の画像と前記第２の画像とを組み合わせて前記画像検索の検索条件となる条件画像を生成する条件画像生成部と、前記生成された条件画像に基づいて前記画像検索の実行を指示する画像検索実行指示部とを有する。

また、請求項２に記載の発明は、請求項１に記載の画像検索操作装置において、前記条件画像生成部は、前記取得された第１の画像及び前記第２の画像の少なくとも一方の一部を組み合わせて前記条件画像を生成することを特徴とする。

また、請求項３に記載の発明は、請求項１または２に記載の画像検索操作装置において、前記第１の画像及び前記第２の画像の少なくとも一方が、ユーザによって入力された画像であることを特徴とする。

また、請求項４に記載の発明は、請求項１乃至３いずれかに記載の画像検索操作装置において、前記第１の画像及び前記第２の画像の少なくとも一方が、既に実行された画像検索における検索条件である画像に類似する類似画像として抽出された画像であることを特徴とする。

また、請求項５に記載の発明は、請求項１乃至４いずれかに記載の画像検索操作装置において、実行された画像検索の結果を表示するための表示情報を出力する表示情報出力部を更に有し、前記表示される画像検索の結果は、前記条件画像に類似する画像として抽出された類似画像を含み、前記表示情報出力部は、前記類似画像において前記条件画像に類似する部分を明示するように前記表示情報を出力することを特徴とする。

また、請求項６に記載の発明は、請求項５に記載の画像検索操作装置において、前記表示情報出力部は、前記類似画像において前記条件画像に類似する部分を囲む線を表示するように前記表示情報を出力することを特徴とする。

また、請求項７に記載の発明は、請求項６に記載の画像検索操作装置において、前記第１の画像及び前記第２の画像の少なくとも一方が、既に実行された画像検索における検索条件である画像に類似する類似画像として抽出された画像であり、前記条件画像生成部は、前記取得された第１の画像及び前記第２の画像の少なくとも一方における前記線で囲まれた部分を組み合わせて前記条件画像を生成することを特徴とする。

また、請求項８に記載の発明は、検索対象の画像から検索条件の画像である条件画像に類似する類似画像を抽出する画像検索システムであって、第１の画像及び第２の画像を夫々取得する画像情報取得部と、前記第１の画像と前記第２の画像とを組み合わせて前記条件画像を生成する画像生成部と、前記生成された条件画像に基づいて画像検索の実行を指示する画像検索実行指示部と、前記指示に応じて前記条件画像に基づいて前記画像検索を実行する画像検索実行部と、前記実行された画像検索の結果を表示する表示情報を生成する表示情報生成部とを有する。

また、請求項９に記載の発明は、請求項８に記載の画像検索システムにおいて、前記表示情報生成部は、前記類似画像において前記条件画像に類似する部分を明示するように前記表示情報を生成することを特徴とする。

また、請求項１０に記載の発明は、請求項９に記載の画像検索システムにおいて、前記表示情報生成部は、前記類似画像において前記条件画像に類似する部分を囲む線を表示するように前記表示情報を生成することを特徴とする。

また、請求項１１に記載の発明は、画像検索の実行を操作する画像検索操作方法であって、画像情報取得部が、第１の画像及び第２の画像を夫々取得し、条件画像生成部が、前記第１の画像と前記第２の画像とを組み合わせて前記画像検索の検索条件となる条件画像を生成し、画像検索実行指示部が、前記生成された条件画像に基づいて前記画像検索の実行を指示する。

また、請求項１２に記載の発明は、情報処理装置を、画像検索の実行を操作する画像検索操作装置として動作させるための制御プログラムであって、第１の画像及び第２の画像を夫々取得するステップと、前記第１の画像と前記第２の画像とを組み合わせて前記画像検索の検索条件となる条件画像を生成するステップと、前記生成された条件画像に基づいて前記画像検索の実行を指示するステップとを前記情報処理装置に実行させることを特徴とする。

また、請求項１３に記載の発明は、記録媒体であって、請求項１２に記載の制御プログラムを情報処理装置が読取可能な形式で記録したことを特徴とする。

本発明の一態様によれば、検索用画像の入力を補助することが可能な画像検索システムを提供することができる。

以下、図面を参照して、本発明の実施形態を詳細に説明する。本実施形態においては、画像検索装置の例として、入力された画像に基づいて予め格納されている検索対象画像情報を検索し、入力された画像に類似する画像を抽出する装置を例として説明する。

図１は、本実施の形態に係る画像検索システムの運用形態の例を示す図である。図１に示すように、本実施形態に係る画像検索システムは、画像検索装置１、クライアント装置２及び画像情報ＤＢ２００を含む。画像検索装置１、クライアント装置２及び画像情報ＤＢ２００は、ネットワーク３を介して接続されている。

クライアント装置２は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の一般的な情報処理装置によって構成される。また、クライアント装置２は、携帯電話等の移動通信端末や、ＭＦＰ（ＭｕｌｔｉＦｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）等によって構成することができる。画像検索装置１は、ネットワークを介してクライアント装置２と接続されており、クライアント装置２からの検索要求を受けて画像情報ＤＢ２００に格納されている画像情報を検索する。画像情報ＤＢ２００は、検索対象の情報として複数の画像情報を記憶している。即ち、画像情報ＤＢ２００は、検索対象画像記憶部である。画像情報ＤＢ２００は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の不揮発性記憶媒体によって構成される。

尚、図１に示すように、本実施形態においては、画像情報ＤＢ２００が画像検索装置１とは別に設けられている例を説明するが、画像情報ＤＢ２００を画像検索装置１内部に構成することも可能である。更に、画像情報ＤＢ２００、画像検索装置１及びクライアント装置２が１体の装置として構成されても良い。

次に、本実施形態に係る画像検索装置１、クライアント装置２等の情報処理端末のハードウェア構成について説明する。図２は、本実施形態に係情報処理端末のハードウェア構成を示すブロック図である。以下の説明においては、画像検索装置１のハードウェア構成として説明する。図２に示すように、本実施形態に係る画像検索装置１は、一般的なサーバやＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の情報処理端末と同様の構成を有する。

即ち、本実施形態に係る画像検索装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０、ＨＤＤ４０及びＩ／Ｆ５０がバス８０を介して接続されている。また、Ｉ／Ｆ５０にはＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）６０及び操作部７０が接続されている。

ＣＰＵ１０は演算手段であり、画像検索装置１全体の動作を制御する。ＲＡＭ２０は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ１０が情報を処理する際の作業領域として用いられる。ＲＯＭ３０は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムが格納されている。ＨＤＤ４０は、情報の読み書きが可能な不揮発性の記憶媒体であり、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や各種の制御プログラム、アプリケーション・プログラム等が格納される。

Ｉ／Ｆ５０は、バス８０と各種のハードウェアやネットワーク等を接続し制御する。ＬＣＤ６０は、ユーザが画像検索装置１の状態を確認するための視覚的ユーザインタフェースである。操作部７０は、キーボードやマウス等、ユーザが画像検索装置１に情報を入力するためのユーザインタフェースである。

尚、図１において説明したように、本実施形態に係る画像検索装置１は、サーバとして運用される。従って、ＬＣＤ６０及び操作部７０等のユーザインタフェースは省略可能である。この他、画像検索装置１は、情報処理機能を有する端末であれば、どのような実現態様であっても良い。例えば、一般的なＰＣ、ＭＦＰ等が考えられる。

このようなハードウェア構成において、ＲＯＭ３０やＨＤＤ４０若しくは図示しない光学ディスク等の記憶媒体に格納されたプログラムがＲＡＭ２０に読み出され、ＣＰＵ１０の制御に従って動作することにより、ソフトウェア制御部が構成される。このようにして構成されたソフトウェア制御部と、ハードウェアとの組み合わせによって、本実施形態に係る画像検索装置１の機能を実現する機能ブロックが構成される。

次に、本実施形態に係る画像検索装置１の機能ブロックについて、図３を参照して説明する。図３は、本実施形態に係る画像検索装置１の機能ブロックを示すブロック図である。図３に示すように、本実施形態に係る画像検索装置１は、検索制御部１００、情報入力部１１０、ネットワークＩ／Ｆ１２０及び表示部１３０を有する。

情報入力部１１０は、ユーザが画像検索装置１を操作して検索制御部１００に情報を入力するための構成であり、図２に示すＩ／Ｆ５０及び操作部７０によって実現される。ネットワークＩ／Ｆ１２０は、画像検索装置１がネットワークを介して情報を取得し、若しくはネットワークを介して情報を送信するためのインタフェースであり、図２に示すＩ／Ｆ５０によって実現される。具体的な例としては、ネットワークＩ／Ｆ１２０は、Ｅｔｈｅｒｎｅｔ（登録商標）接続のインタフェースや、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）接続のインタフェースによって実現される。

表示部１３０は、画像検索装置１の動作状態や、検索結果等が表示される構成であり、図２に示すＩ／Ｆ５０及びＬＣＤ６０によって実現される。検索制御部１００は、本実施形態に係る画像検索装置１の検索機能を担う画像検索実行部であり、入力画像情報取得部１０１、画像処理部１０２、文字情報変換部１０３、類似度算出部１０４及び抽出結果処理部１０５を有する。

入力画像情報取得部１０１は、ユーザによって情報入力部１１０を介して入力された画像情報若しくはネットワークＩ／Ｆ１２０を介してネットワーク経由で入力された画像情報を入力画像情報、即ち検索条件となる条件画像として取得する画像取得部として機能する。画像取得部は、図２に示すＲＡＭ２０にロードされたプログラムがＣＰＵ１０の制御に従って動作することにより構成される。

画像処理部１０２は、入力画像情報取得部１０１が取得した条件画像に対して所定の処理を実行し、数値列情報を生成する。画像処理部１０２が実行する処理については、後に詳述する。文字情報変換部１０３は、画像処理部１０２が生成した数値列情報を文字列情報に変換して文字列情報を生成する。

類似度算出部１０４は、文字情報変換部１０３によって生成された文字情報に基づき、条件画像と検索対象画像との類似度を算出する。そして、類似度算出部１０４は、検索対象画像とその画像の条件画像に対する類似度とが関連付けられた情報（以降、類似度一覧情報とする）を生成する。類似度算出部１０４は、図２に示すＲＡＭ２０にロードされたプログラムがＣＰＵ１０の制御に従って動作することにより構成される。類似度算出部１０４による類似度の算出方法としては既存の画像検索技術を用いることができる。

抽出結果処理部１０５は、類似度算出部１０４によって生成された類似度一覧情報を表示部１３０に表示し、若しくはクライアント装置２の表示部に表示させるための表示情報を生成して出力する。即ち、抽出結果処理部１０５は、類似度の算出結果を表示させるための表示情報を生成する表示情報生成部として機能する。表示情報生成部は、図２に示すＲＡＭ２０にロードされたプログラムがＣＰＵ１０の制御に従って動作することにより構成される。

次に、画像情報ＤＢ２００に格納されている情報について説明する。図４に、画像情報ＤＢ２００が記憶している情報の例を示す。上述したように、画像情報ＤＢ２００は、検索対象の画像情報を記憶している。そして、図４に示すように、画像情報ＤＢ２００は、検索対象の画像のＩＤ、画像タイトル及び文字列情報を記憶している。画像のＩＤとは、検索対象の画像を一意に識別する情報である。また、画像タイトルは、検索対象の画像の名称である。そして、文字列情報とは、夫々の画像情報について、上述した画像処理部１０２及び文字情報変換部１０３による処理と同様の処理により生成された文字列情報である。この文字列情報が、画像検索において用いられる検索対象文字列情報である。

次に、本実施形態に係る画像検索装置１の動作について図を参照して説明する。図５は、本実施形態に係る画像検索システムにおける検索動作を示すシーケンス図である。図５に示すように、画像情報ＤＢ２００に登録されている画像情報を検索する際、先ず、ユーザはクライアント装置２を操作して検索用画像入力画面を表示するための情報を画像検索装置１に要求する（Ｓ５０１）。画像検索装置１は、クライアント装置２からの要求に応じて、検索用画像入力画面を表示するための情報を送信する（Ｓ５０２）。

クライアント装置２は、画像検索装置１から検索用画像入力画面を取得すると、検索用画像入力画面を表示する（Ｓ５０３）。ここで、検索用画像入力画面とは、検索用画像情報を入力するための画面である。以下、本実施形態の説明においては、ユーザがクライアント装置２を操作して画像検索装置１の機能を利用する場合を例として説明する。即ち、ユーザは、クライアント装置２を操作して画像検索装置１による画像検索の実行を操作する。即ち、クライアント装置２が画像検索操作装置として機能する。

クライアント装置２は、ユーザによる操作に従い、検索用画像入力画面を介して入力された入力画像の情報（以降、入力画像情報とする）を画像検索装置１に送信する（Ｓ５０４）。本実施形態において入力される入力画像情報の例を図６に示す。画像検索装置１に送信された入力画像情報は、ネットワークＩ／Ｆ１２０から画像検索装置１に入力され、検索制御部１００の入力画像情報取得部１０１が取得する（Ｓ５０５）。Ｓ５０５において画像検索装置１が取得した入力画像情報が、条件画像として用いられる。即ち、入力画像情報取得部１０１が、条件画像を取得する画像取得部として機能する。入力画像情報取得部１０１は、取得した入力画像情報を画像処理部１０２に入力する。

画像処理部１０２は、条件画像としての入力画像情報を取得すると、取得した画像情報に対して所定の画像処理を実行する（Ｓ５０６）。Ｓ５０６における画像処理部１０２による処理について、図７を参照して詳細に説明する。図７は、Ｓ５０６における画像処理部１０２の処理を示すフローチャートである。

図７に示すように、画像処理部１０２、は条件画像を取得すると（Ｓ７０１）、条件画像の輪郭を強調する処理を実行する（Ｓ７０２）。即ち、画像処理部１０２が輪郭強調部として機能する。Ｓ７０２の輪郭強調処理については、既存の方法を用いることが可能であり、詳細な説明を省略する。Ｓ７０２の輪郭強調処理の結果生成される画像の例を図８（ａ）に示す。図８（ａ）に示すように、Ｓ７０２の輪郭強調処理の結果、図６の画像の輪郭が強調された画像が生成される。

そして、画像処理部１０２は、輪郭が強調された画像の最も外側の輪郭（以降、最外輪郭とする）を抽出する（Ｓ７０３）。即ち、画像処理部１０２が、輪郭抽出部として機能する。Ｓ７０３の最外輪郭抽出処理については、既存の方法を用いることが可能であり、詳細な説明を省略する。Ｓ７０３の最外輪郭抽出処理の結果生成される画像の例を図８（ｂ）に示す。

図８（ｂ）に示すように、Ｓ７０３の処理の結果、図８（ａ）の画像における最も外側の輪郭が抽出される。Ｓ７０３の最外輪郭抽出処理においては、元の画像の輪郭がかすれている場合等、輪郭が正確に抽出できない場合がある。これに対して、Ｓ７０２の輪郭強調処理を実行することにより、輪郭がかすれた図面であっても最外輪郭抽出処理を正確に実行することが可能となる。

そして、画像処理部１０２は、図８（ｂ）に示すように最外輪郭として生成された画像の中心点及び画像の方向（以降、画像方向とする）を計算により抽出する（Ｓ７０４）。即ち、画像処理部１０２が、中心計算部として機能する。本実施形態に係るＳ７０４の処理において、画像処理部１０２は、図８（ｂ）に示す画像の重心を計算することにより、中心点を抽出する。重心の計算方法については、公知の方法を用いることが可能であるため、詳細な説明を省略する。

また、画像処理部１０２は、図８（ｂ）に示す画像の幅が最も広い方向を縦方向とし、縦方向に直行する方向を横方向として画像の方向を抽出する（Ｓ７０４）。Ｓ７０４の処理の結果、図８（ｃ）に示すように中心点及び画像の方向が抽出される。

中心点及び画像方向を抽出すると、画像処理部１０２は、抽出した中心点から最外輪郭までの距離（以降、輪郭距離とする）を、中心点の周囲一周に渡って、即ち３６０度に亘って算出する（Ｓ７０５）。即ち、画像処理部１０２が、距離算出部として機能する。Ｓ７０５における輪郭距離の算出態様を図８（ｄ）に示す。図８（ｄ）に破線で示すように、Ｓ７０５においては、中心点からの任意の方向において、中心点と最外輪郭との距離を算出する。輪郭距離の算出に際しては、中心点から任意の方向に引いた直線と最外輪郭とが交差する点の座標と、中心点の座標との距離を計算する。

本実施形態に係るＳ７０５において、画像処理部１０２は、図８（ｄ）に示すように、画像の縦方向を０°及び１８０°の方向とし、０°から３５９°まで、１°毎に輪郭距離を算出する。全角度について輪郭距離の算出が完了すると、画像処理部１０２は、図９に示すように、角度と輪郭距離とが関連付けられた数値列情報を生成する（Ｓ７０６）。

尚、図９の例においては、角度と輪郭距離とが関連付けられた情報を数値列情報としているが、“○○”、“▽▽”、“◇◇”・・・、“××”のように、輪郭距離のみが角度順に並べられた情報を数値列情報としても良い。この数値列情報は、図６に示す画像、即ち条件画像の形状を数値化した情報と言うことができる。

Ｓ７０６の処理により数値列情報が生成されると、画像処理部１０２は、数値列情報の高周波成分を除去、即ち、ダウン・サンプリングする（Ｓ７０７）。換言すると、画像処理部１０２は、数値列情報を平滑化する。本実施形態においては、上述したように、Ｓ７０６の結果生成された数値列情報は、０°から３５９°までの３６０個の数値を含むため、１°につき１個の値を有する。本実施形態においては、Ｓ７０７の処理により、数値列情報を、４°につき１個の値を有し、合計で９０個の値によって構成されるようにダウン・サンプリングする。

図１０に、Ｓ７０７における画像処理部１０２による処理の態様を示す。図１０に示すように、Ｓ７０７の処理において、画像処理部１０２は、数値列情報に含まれる夫々の数値を４つ毎にグループ化し、その数値の平均値を算出して新たな数値列情報とする。尚、ダウン・サンプリングに際しては、図１０に示す態様の他、公知の様々な方法を用いることが可能である。このような処理により高周波成分の除去が完了し、ダウン・サンプリングされた数値列情報（以降、ダウン・サンプリング情報とする）が生成される。尚、上記ダウン・サンプリング情報は、平滑化数値列情報と言うこともできる。

高周波成分の除去が完了すると、画像処理部１０２は、生成されたダウン・サンプリング情報の数値を正規化する（Ｓ７０８）。本実施形態に係るＳ７０８の処理において、画像処理部１０２は、図１０に示すように生成されたダウン・サンプリング情報に含まれる夫々の数値を、含まれる数値のうち最も大きい数値で割り、その結果算出された数値を量子化することにより正規化を行う。この他、Ｓ７０８の正規化処理においては、公知の様々な方法を用いることが可能である。本実施形態においては、上記量子化により、ダウン・サンプリング情報に含まれる各数値を８段階の数値に変換する。正規化による効果については後述する。

Ｓ７０８の処理により、ダウン・サンプリング情報に含まれる各数値は正規化された正規化数値となる。このように生成された情報（以降、正規化数値列情報とする）は、ヒストグラムとして視覚的に表示することが可能である。図１１は、図７の処理の結果生成された正規化数値列情報のヒストグラムを示す図である。図１１に示すヒストグラムは、図６に示す画像、即ち条件画像の形状を示すヒストグラムである。尚、図１１に示すヒストグラムは正規化されているため無次元であり、条件画像の大きさに関わらず条件画像の形状を示すヒストグラムである。このような処理により、図５のＳ５０６における画像処理が完了する。

Ｓ５０６において画像処理が完了すると、文字情報変換部１０３が、上記生成された正規化数値列情報を変換して文字列情報を生成する（Ｓ５０７）。即ち、文字情報変換部１０３が、文字列情報生成部として機能する。Ｓ５０７において、文字情報変換部１０３は、正規化された数値と文字とが関連付けられた情報（以降、変換対応情報とする）を参照して文字情報変換を実行する。図１２に、変換対応情報の例を示す。

上述したように、本実施形態に係る正規化数値列情報は、 “１”〜“８”の８段階の数値によって構成されている。そして、図１２に示すように、変換対応情報は、“１”〜“８”の数値夫々が“ａ”〜“ｈ”夫々の文字と関連付けられた情報である。文字情報変換部１０３は、図１２に示すような変換対応情報を参照し、正規化数値を対応する文字に変換し、数値列情報から文字列情報を生成する。尚、本実施形態において、変換対応情報は文字情報変換部１０３が保持している。

Ｓ５０７の処理により生成される文字列情報の例を図１３に示す。図１３に示すように、Ｓ５０７の処理により夫々の文字情報は連結され、連続した文字列の情報が生成される。

尚、図４において説明した文字列情報（以降、蓄積文字列情報とする）は、図１３に示す文字列情報（以上、条件文字列情報とする）に対応する情報である。即ち、蓄積文字列情報も、条件文字列情報と同様に、夫々の画像に基づき、図７において説明した処理を経て生成された文字列情報である。

図１４（ａ）〜図１４（ｄ）は、蓄積文字列情報の生成態様を示す図であり、図８に対応する図面である。図１４（ａ）〜図１４（ｄ）の例においては、図６の画像に表示された図形を傾けて表示した画像を例としている。

図１４（ａ）に示されるように、蓄積文字列情報の生成に際しても、まず輪郭強調が実行される。そして、図１４（ｂ）に示されるように、最外輪郭が抽出される。そして、図１４（ｃ）に示されるように、中心点及び画像の向きが抽出される。そして、図１４（ｄ）に示されるように、輪郭距離が算出される。

図１４（ｄ）の処理によって数値列情報が生成され、図７において説明した処理と同様にダウン・サンプリング及び数値の正規化を経て正規化数値列情報が生成される。更に、図１２において説明した変換対応情報に基づき、図１５に示すような文字情報が蓄積文字列情報として生成される。

Ｓ５０７の処理が完了すると、類似度算出部１０４は、Ｓ５０７の処理において生成された文字列情報に基づき、条件画像と画像情報ＤＢ２００に格納されている画像との類似度を算出する（Ｓ５０８）。Ｓ５０８の処理において、類似度算出部１０４は、ネットワークＩ／Ｆ１２０を介して画像情報ＤＢ２００から蓄積画像の蓄積文字列情報を取得し、条件文字列情報との一致度を計算する。

条件文字列情報と蓄積文字列情報との一致度の算出に際して、本実施形態に係る類似度算出部１０４は、Ｎ−ｇｒａｍによる文字検索を実行する。本実施形態に係るＮ−ｇｒａｍによる文字検索の態様を図１６に示す。図１６は、図１３の文字列と図１５の文字列において、Ｎ−ｇｒａｍによる文字検索として３（ｔｒｉ）−ｇｒａｍによる文字検索を実行する場合を示す図である。

３−ｇｒａｍは、正規化された数値３つ分に該当する最外輪郭の形状、即ち、図８（ｃ）に示す中心点の所定の角度から１２°分の最外輪郭の形状を示す文字列である。即ち、３−ｇｒａｍによる文字列検索を実行する場合は、図１７に太線で示すように、中心点の所定の角度から１２°分の最外輪郭の形状について、図１４（ａ）〜（ｄ）に示すような検索対象の画像の最外輪郭全体の形状とのマッチングを実行することとなる。

尚、上述したように、文字列情報への変換に際しては、ダウン・サンプリングされた数値列情報を用いるため、Ｎ−ｇｒａｍは入力された画像そのものの形状を大まかにした形状を示す。これにより、画像のノイズを除去することができる他、形状が大まかに一致する画像を類似画像として抽出することができる。

上述したように、図１４（ａ）〜（ｄ）の元の画像は、図６に示す画像が回転した画像であり、その形状は同一である。従って、図１６に示すように、図１３の文字列と図１５の文字列とは多くの文字列が一致し、高い類似度が算出される。尚、Ｓ５０８における類似度の算出処理においては、Ｎ−ｇｒａｍによる文字検索の他、サフィックス・アレイ（接尾辞配列）を用いたｌｃｐ（ｌｏｎｇｅｓｔ ｃｏｍｍｏｎ ｐｒｅｆｉｘ）による文字検索方法など、公知の様々な文字検索方法を用いることが可能である。

類似度算出部１０４は、画像情報ＤＢ２００に格納されている全画像情報に対して図１６に示すような文字検索を実行し、図４に示す画像ＩＤとその画像について算出された類似度とが関連付けられた類似度一覧情報を生成する。

類似度算出部１０４は、Ｓ５０８の処理により類似度一覧情報を生成すると、類似度が所定の閾値を超える画像を類似画像として抽出する（Ｓ５０９）。尚、この閾値とは、算出された類似度に基づいて、検索対象の画像、即ち画像情報ＤＢ２００に格納されている蓄積画像が類似画像であるか否かを判断するために設定される値である。即ち、画像情報ＤＢ２００に格納されている画像が類似画像に該当するか否かを判断するための情報である。換言すると、条件画像と特徴の一致しない画像を抽出結果から除くために設定される値である。

上記閾値は、Ｓ５０８における類似度の算出態様に応じて設定される。例えば、Ｓ５０８における類似度の算出処理において、形状が一致しない画像は類似度が“０％”として算出され、形状が少しでも一致する画像は“０％”ではない類似度が算出されるような算出態様を用いる場合、上記の閾値は“０％”として設定される。

この他、Ｓ５０８における類似度の算出態様によっては、上記の閾値は“０％”以外の値に設定され得る。また、上記の閾値を、条件画像と形状の一致しない画像を抽出結果から除くために設定する他、条件画像と形状の一致度が高い画像を抽出するために設定しても良い。この場合、上記の閾値はより高い値に設定される。類似度算出部１０４は、Ｓ５０９の処理により抽出した画像、即ち類似画像を含む類似度一覧情報（以降、抽出結果情報とする）を抽出結果処理部１０５に入力する。

抽出結果処理部１０５は、抽出結果情報を取得すると、抽出された類似画像の表示順序を決定する。そして、抽出結果処理部１０５は、抽出結果を表示するための表示情報を生成し、ネットワークＩ／Ｆ１２０を介してクライアント装置２に送信する（Ｓ５１０）。Ｓ５１０において、画像検索装置１は、算出された類似度の順に類似画像を表示する順序を決定する。クライアント装置２は、画像検索装置１から受信した表示情報に基づいて、表示部に抽出結果を表示し（Ｓ５１１）、処理を終了する。

このように、本実施形態に係る画像検索装置１は、画像の中心点から最外輪郭までの距離を全方向に亘って求めることにより数値列情報を生成し、生成された数値列情報を正規化して文字列情報に変換し、変換された文字列情報に基づいて文字検索を行うことにより類似画像を検索する。従って、図１７において説明したように、Ｎ−ｇｒａｍやｌｃｐによる文字検索を実行することにより、画像の輪郭形状の部分毎に形状の類似度を判断することができる。その結果、図８（ｃ）や図１４（ｃ）に示す画像の方向の抽出が誤っていた場合であっても、画像の形状に基づいて適切な類似度を算出することが可能となる。即ち、回転した画像であっても正確に類似画像として抽出可能な画像検索装置を提供することが可能となる。

尚、上記実施形態においては、図９において説明したように、０°〜３５９°の順に輪郭距離を並べて数値列情報を生成し、ダウン・サンプリング処理、正規化処理及び文字変換処理を経て図１３に示すような条件文字列情報を生成する例を説明した。換言すると、上記実施形態においては、算出された中心の周囲を時計回りに算出された数値列情報相当する文字列情報に基づいて文字検索を実行する例を説明した。

この他、３５９°〜０°の順に輪郭距離を並べて生成された数値列情報についても、条件文字列情報を生成し、検索条件として用いることが好ましい。換言すると、算出された中心の周囲を反時計回りに算出された数値列情報に相当する文字列情報に基づいて文字検索を実行することが好ましい。これにより、左右非対称（ａｓｙｍｍｅｔｒｙ）である画像であって左右反転している画像についても高い類似度が算出され、類似画像として容易に抽出することが可能となる。

尚、上述した３５９°〜０°の順に輪郭距離を並べて生成された数値列情報についての条件文字列情報は、図１３に示すように生成された文字列情報の文字順序を逆にすることによっても生成することが可能である。このように、文字順を逆にすることによって生成された文字列情報は、逆文字列情報と言うことができる。この他、Ｓ７０６において生成された数値列情報とその数値列情報の数値の並び順を逆にした数値列情報（以降、逆数値列情報とする）とに基づいて夫々文字列情報を生成しても良い。

次に、本実施形態に係る要旨の１つとして、Ｓ５１１においてクライアント装置２に表示される画面、即ち、本実施形態に係る画像検索システムのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）について説明する。図１８は、Ｓ５１１においてクライアント装置２のＬＣＤ６０等の表示部に表示されるＧＵＩのうち、検索結果表示画面を示す図である。図１８に示すように、本実施形態に係る検索結果表示画面は、検索対象指定部１８１、条件画像表示部１８２、再検索指示部１８３、画像編集画面表示指示部１８４、類似画像表示部１８５及びアルゴリズム選択部１８７を有する。また、類似画像表示部１８５には複数の類似画像が表示され、夫々の画像毎にフィードバック画像指定部１８６が設けられている。

検索対象指定部１８１は、画像情報ＤＢ２００に記憶されている夫々の蓄積画像の全体を検索対象とするか、若しくは蓄積画像の一部分を検索対象とするかを指定する部位である。ユーザはマウスなどのユーザＩ／Ｆを操作し、“全体検索”、“部分検索”の文字の横に表示されたトグルを操作することによって全体検索と部分検索とを切り替える。

条件画像表示部１８２は、Ｓ５０４において入力された入力画像情報を条件画像として表示する表示部である。図１８の例においては、図６に示す画像が表示されている。尚、条件画像の左上に表示されているチェックボックスについては後述する。再検索指示部１８３は、検索条件を変更した上で再度の検索の実行を指示する部位であり、主にフィードバック検索の実行に用いられる。ユーザは、マウス等を操作して再検索指示部１８３をクリックすることにより、再検索が実行する。

画像編集画面表示指示部１８４は、条件画像を編集するためのＧＵＩである画像編集画面の表示をユーザが要求するための部位である。画像編集画面については後に詳述する。類似画像表示部１８５は、Ｓ５０９の処理の結果抽出された類似画像が表示される部位である。上述したように、本実施形態において、類似画像は、Ｓ５０８において算出された類似度の順に表示される。また、類似画像表示部１８５には、夫々の類似画像の類似度が数字及びバーの長さによって表示されている。

フィードバック画像指定部１８６は、再検索指示部１８３をクリックしてフィードバック検索を実行する際のフィードバック画像を指定するためのチェックボックスである。類似画像として抽出された画像を検索条件に追加して更に検索を実行する場合、検索条件に追加したい画像のフィードバック画像指定部１６８をチェックし、再検索指示部１８３をクリックすることにより、フィードバック検索が実行される。

アルゴリズム選択部１８７は、画像検索を実行する際のアルゴリズムを選択するためのチェックボックスが表示された部分である。本実施形態に係る画像検索システムにおいては、上記説明した“重心距離ヒストグラム”による類似度の算出の他、“画素ヒストグラム”及び“輪郭ヒストグラム”により類似度を算出し、若しくはそれらを組み合わせて類似度を算出することができる。ユーザは、アルゴリズム選択部１８７のチェックボックスをチェックすることにより、類似度の算出において用いるアルゴリズムを選択する。

例えば、図１８に示す“Ｂ”、“Ｆ”の画像をフィードバック画像として指定し、フィードバック検索を実行した場合の検索結果表示画面を図１９に示す。図１９に示すように、フィードバック検索を実行した場合、フィードバック画像として指定された画像が条件画像表示部１８２に追加される。図１９に示す画面において、各条件画像の左上に表示されているチェックボックスのチェックを解除して再検索を実行することにより、チェックを解除した画像を条件画像から削除することができる。

尚、フィードバック検索の実行に際して、まずクライアント装置２がネットワークを介してフィードバック画像として指定された画像のＩＤを画像検索装置１に送信する。フィードバック画像として指定された画像のＩＤを取得すると、指定されたＩＤの画像情報を画像情報ＤＢ２００から条件画像として取得する。そして、元の画像及びフィードバック画像を条件画像として、図５のＳ５０６以降の処理を実行する。この他、フィードバック検索の実行に際しては公知の様々な方法を用いることが可能である。

次に、検索対象指定部１８１を指定して部分画像検索を実行した場合の検索結果表示画面の例を図２０に示す。図２０に示すように、部分画像検索を実行した場合、類似画像として抽出された画像のうち、類似と判断された部分（以降、類似部分とする）がハイライトされて表示される。本実施形態においては、類似部分が破線により囲まれて示されているが、赤線の枠で囲むなど、他の方法であっても良い。尚、類似画像検索の実行に際しては、公知の様々な方法を用いることが可能であり、詳細な説明を省略する。このように、類似部分をハイライトして表示することにより、条件画像に類似する部分として判断された部分をユーザが容易に把握することが可能となる。

次に、画像編集画面表示指示部１８４を操作して画像編集画面を表示した場合の例を図２１に示す。図２１に示す画像編集画面は、図１９の状態において画像編集画面の表示を指示した場合を例とする図である。図２１に示すように、画像編集画面は、条件画像表示部２１１及び編集画像表示部２１２を有し、条件画像表示部２１１に表示された画像を用いて編集画像表示部２１２に新規に画像を作り出す画面である。

条件画像表示部２１１には、図１９に示すように条件画像として選択されている画像が表示される。尚、条件画像として条件画像表示部１８２に表示される前であっても、フィードバック画像指定部１８６がチェックされた状態で画像編集画面表示指示部１８４を操作した場合に、図２１に示すように条件画像表示部２１１に表示させても良い。

編集画像表示部２１２は、ユーザの編集によって生成された画像を表示する表示部である。図２１に示すように、ユーザが、条件画像のいずれかの一部分を選択して横に表示された矢印をクリックすることにより、選択した部分が編集画像表示部２１２に表示される。また、画像編集画面において、図２０に示すように類似部分として囲まれた部分を切り取る操作ボタンを設けても良い。これにより、ユーザの操作を好適に補助することが可能である。

また、ユーザは、マウス等を用いて操作することにより、編集画像表示部２１２に表示された画像を編集することが可能である。編集画像表示部２１２に表示された画像の編集態様としては、例えば拡大、縮小、回転、反転等を行うことができる。

また、画像編集画面において、ユーザは、条件画像表示部２１１に表示された複数の画像を組み合わせて新規に画像を生成することも可能である。そのような場合の例を図２２に示す。図２２は、条件画像表示部２１１に表示されている画像のうち、最も上に表示されている画像と最も下に表示されている画像の一部とを組み合わせた画像を生成した場合の例である。

ユーザは、図２２に示すように、画像編集画面においてマウス等のユーザＩ／Ｆを操作することにより、条件画像表示部２１１に表示されている画像の全部若しくは一部を選択して編集画像表示部２１２に表示させる。条件画像表示部２１１に表示されている画像の複数に対して同様の操作を実行することにより、図２２に示すように複数の画像を組み合わせて新たな画像を表示することができる。

そして、ユーザは、画像編集画面の右下に表示された“ＯＫ”ボタンを操作することにより、図２１、図２２において説明した方法により編集画像表示部２１２に生成した画像を、検索結果表示画面の条件画像表示部１８２に追加することができる。

このように本実施形態に係る画像検索システムのＧＵＩにおいては、図６に示すようなユーザが入力した画像や、図１８に示す“Ｂ”、“Ｆ”の画像のような検索の結果類似画像として抽出された画像を組み合わせて新しい画像を生成する機能（以降、画像組み合わせ編集機能とする）を有する。これにより、検索用画像の入力を補助することが可能な画像検索システムを提供することができる。

また、本実施形態に係る画像検索システムのＧＵＩにおいては、図２１において説明したように、条件画像表示部２１１に表示された各画像の一部を切り取って編集画像表示部２１２に挿入する機能（以降、画像切り取り機能とする）を有する。これにより、ユーザが検索用画像を生成する差異の利便性を更に向上することが可能となる。

また、本実施形態に係る画像検索システムのＧＵＩにおいては、部分検索を実行した場合、図２０において説明したように、条件画像に類似すると判断された類似部分を囲むことにより明示して表示する機能（以降、類似部分ハイライト機能）を有する。これにより、類似部分をユーザが容易に把握することが可能となる。また、この類似部分ハイライト機能により、図２１に示すように、画像編集画面において画像の一部を切り取る際のユーザの操作を補助することが可能となる。即ち、類似部分ハイライト機能と画像切り取り機能若しくは画像組み合わせ機能とを組み合わせることにより、ユーザの利便性を更に向上することができる。

また、本実施形態に係る画像検索システムにおいては、上述したように、フィードバック検索を実行する機能（以降、フィードバック検索機能とする）を有する。これにより、検索結果の適合度を向上することが可能である。また、フィードバック検索の実行に際して、上述した画像組み合わせ編集機能、画像切り取り機能及び類似部分ハイライト機能を用いることにより、フィードバック検索における条件画像の追加が容易になるため、ユーザの利便性を向上することが可能となる。

尚、図１８〜図２２に示す画面は、上述したように、クライアント装置２が画像検索装置１から取得した表示情報に基づいて表示する。画像検索装置１においては、上述したように、抽出結果処理部１０５が、類似度算出部１０４から取得した抽出結果情報に基づいて表示情報を生成する。即ち、抽出結果処理部１０５は、図１８〜図２２において説明したような機能を有するＧＵＩを表示するための表示情報を生成する。

また、図５のＳ５０３において表示される検索用画像入力画面及び図１８〜図２２において説明したようなＧＵＩ等の画像検索システムのＧＵＩは、例えば、ウェブブラウザによって提供される。即ち、ユーザは、クライアント装置２においてウェブブラウザを介して画像検索システムのＧＵＩを閲覧する。従って、抽出結果処理部１０５は、図１８〜図２２において説明したような画面を表示するための表示情報として、ウェブブラウザで閲覧するための情報を生成する。これにより、クライアント装置２は、特別な機能を有する必要がなく、一般的なウェブブラウザがインストールされているＰＣ等の情報処理装置があれば、本実施形態に係る画像検索システムを利用することが可能である。

図２３を参照して、本実施形態に係る画像検索システムのＧＵＩの機能構成について説明する。図２３に示すように、本実施形態に係るＧＵＩは、操作情報取得部２３１、画像情報取得部２３２、表示情報出力部２３３、検索実行指示部２３４及び画像情報編集部２３５を有する。図２３に示す機能構成は、クライアント装置２において、ＲＡＭ２０にロードされたプログラムがＣＰＵ１０の制御に従って動作することにより構成される。ＲＡＭ２０にロードされるプログラムとは、ウェブブラウザを構成するアプリケーション・プログラム及び上述した表示情報である。

操作情報取得部２３１は、ユーザがクライアント装置２の操作部７０を操作して入力した操作情報を取得する。例えば、操作情報取得部２３１は、図１８の検索対象指定部１８１、再検索指示部１８３、画像編集画面表示指示部１８４、フィードバック画像指定部１８６への操作や、図２１の画像編集画面における画像編集の操作情報を取得する。

画像情報取得部２３２は、ユーザによって入力された画像情報や類似画像として抽出された画像情報を取得する。例えば、画像情報取得部２３２は、図５のＳ５０４においてユーザによって入力された画像を条件画像として取得する。また、画像情報取得部２３２は、図５におけるＳ５０９の処理の結果、類似画像として抽出された画像の情報を取得する。また、画像情報取得部２３２が取得した画像は、図２１に示す画像編集画面における条件画像表示部２１１に表示される画像となる。即ち、画像情報取得部２３２が、画像編集画面において編集され若しくは組み合わされる複数の画像を取得する。

表示情報出力部２３３は、図５のＳ５０３において表示される検索用画像入力画面及び図１８〜図２２において説明したようなＧＵＩを表示するための情報（以降、画面描画情報とする）を出力する。この画面描画情報は、Ｉ／５０を介してＬＣＤ６０に入力され、ＬＣＤ６０に夫々のＧＵＩが表示される。

表示情報出力部２３３は、操作情報取得部２３１が取得した操作情報に応じて表示を切り替える。例えば、操作情報取得部２３１が、図１８の検索対象指定部１８１を“全体検索”から“部分検索”に切り替える操作の情報を取得した場合、表示情報出力部２３３は、検索対象指定部１８１のトグルを切り替えるように表示情報を出力する。

検索実行指示部２３４は8、ユーザによる操作、即ち、操作情報取得部２３１が取得した情報に応じて、画像検索装置１に画像検索の実行を指示するコマンドを送信する。例えば、検索実行指示部２３４は、図５のＳ５０４において、入力された画像を条件画像として検索を実行するコマンドを出力する。また、操作情報取得部２３１が、再検索指示部１８３を押下する操作の情報を取得した場合、検索実行指示部２３４は、フィードバック画像指定部１８６のチェック等により検索条件として指定されている画像を条件画像として検索を実行するコマンドを出力する。即ち、検索実行指示部２３４は、画像検索の実行を指示する画像検索実行指示部として機能する。

画像情報編集部２３５は、図２１、図２２において説明した機能を担う構成であり、ユーザの操作、即ち、操作情報取得部２３１が取得した情報に応じて、画像情報を編集し、編集後の画像情報を生成する。即ち、画像情報編集部２３５が、画像情報取得部２３２によって取得された画像を編集し若しくは複数の画像を組み合わせて条件画像を生成する条件画像生成部として機能する。このように、図２３に示すような機能ブロックがクライアント装置２において構成されることにより、クライアント装置２が画像検索操作装置として機能する。

この他、クライアント装置２に専用のアプリケーション・ソフトウェアをインストールすることによっても、上記と同様の効果を得ることが可能である。この場合であっても、抽出結果処理部１０５は、抽出結果情報に基づき、クライアント装置２にインストールされている専用のアプリケーション・ソフトウェアが図１８〜図２２に示すＧＵＩを表示するための情報をクライアント装置２に送信する。この場合、クライアント装置２にインストールされたアプリケーション・ソフトウェアと抽出結果処理部１０５とが連動して図１８〜図２２に示すＧＵＩを生成する。

この場合において抽出結果処理部１０５が送信する情報は、例えば、類似画像として抽出された画像の情報若しくは、画像情報ＤＢ２００において類似画像として抽出された画像が格納されている格納先を示す情報である。上記格納先を示す情報は、例えばＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）情報である。他方、クライアント装置２にインストールされたアプリケーション・ソフトウェアは、図１８〜図２２において説明した夫々の機能を担う。

本実施形態に係る画像検索システムは、例えば、商標検索システムとして使用することができる。即ち、画像情報ＤＢ２００は、商標の情報を記憶しているデータベースである。特に、商標として公開される画像は、背景が白色であり、輪郭が明確な画像が多い。従って、画像の輪郭を抽出する本実施形態を商標検索に適用することにより、高い効果を得ることができる。この他、検索対象である画像情報ＤＢ２００に格納されている画像情報の例として、公開特許公報等の特許文献に含まれる図面の情報等が考えられる。

また、上記実施形態においては、図４に示すように、画像情報ＤＢ２００に検索対象の画像の文字列情報が格納されている例を説明した。これにより、ユーザからの検索要求に対するレスポンスにおいて必要となる処理量を低減することが可能となる。この他、検索対象の画像の文字列情報は、画像処理部１０２及び文字情報変換部１０３によって図５のＳ５０８に示す処理の中で算出するようにしても良い。これにより、画像情報ＤＢ２００に格納する情報量を低減することが可能となる。

また、上記実施形態においては、図７〜図１３において説明したような手法による画像検索を例として説明したが、上述した画像検索手法は一例である。即ち、他の画像検索手法であっても、図１８〜図２２において説明したＧＵＩを備えることにより、上記と同様の効果を得ることができる。

本発明の実施形態に係る画像検索システムの運用形態を示す図である。 本発明の実施形態に係る画像検索装置のハードウェア構成を模式的に示すブロック図である。 本発明の実施形態に係る画像検索装置の機能構成を示すブロック図である。 本発明の実施形態に係る画像情報ＤＢに記憶されている情報の例を示す図である。 本発明の実施形態に係る画像検索システムの動作を示すシーケンス図である。条件画像の例を示す図である。 本発明の実施形態に係る検索条件としての画像を示す図である。 本発明の実施形態に係る画像処理部の動作を示すフローチャートである。 本発明の実施形態に係る画像処理部による画像処理の態様を示す図である。 本発明の実施形態に係る画像処理部によって生成される情報の例を示す図である。 本発明の実施形態に係るダウン・サンプリングの例を示す図である。 本発明の実施形態に係る画像処理部によって生成された数値列情報をヒストグラムとして示す図である。 本発明の実施形態に係る変換対応情報の例を示す図である。 本発明の実施形態に係る文字情報変換部１０３によって生成された文字列情報の例を示す図である。 本発明の実施形態に係る検索対象の画像の画像処理態様の例を示す図である。 本発明の実施形態に係る検索対象の画像の文字列情報の例を示す図である。 本発明の実施形態に係る類似度算出処理における文字検索の実行態様を示す図である。 本発明の実施形態に係るＮ−ｇｒａｍに対応する画像の部分の例を示す図である。 本発明の実施形態に係る画像検索システムのＧＵＩの例を示す図である。 本発明の実施形態に係る画像検索システムのＧＵＩの例を示す図である。 本発明の実施形態に係る画像検索システムのＧＵＩの例を示す図である。 本発明の実施形態に係る画像検索システムのＧＵＩの例を示す図である。 本発明の実施形態に係る画像検索システムのＧＵＩの例を示す図である。 本発明の実施形態に係る画像検索システムのＧＵＩの機能構成を示す図である。

符号の説明

１ 画像検索装置
２ クライアント装置
１０ ＣＰＵ
２０ ＲＡＭ
３０ ＲＯＭ
４０ ＨＤＤ
５０ Ｉ／Ｆ
６０ ＬＣＤ
７０ 操作部
８０ バス
１００ 検索制御部
１０１ 入力画像情報取得部
１０２ 画像処理部
１０３ 文字情報変換部
１０４ 類似度算出部
１０５ 抽出結果処理部
１１０ 情報入力部
１２０ ネットワークＩ／Ｆ
１３０ 表示部
１８１ 検索対象指定部
１８２ 条件画像表示部
１８３ 再検索指示部
１８４ 画像編集画面表示指示部
１８５ 類似画像表示部
２００ 画像情報ＤＢ
２１１ 条件画像表示部
２１２ 編集画像表示部
２３１ 操作情報取得部
２３２ 画像情報取得部
２３３ 表示情報出力部
２３４ 検索実行指示部
２３５ 画像情報編集部

Claims (13)

1. 画像検索の実行を操作する画像検索操作装置であって、
   第１の画像及び第２の画像を夫々取得する画像情報取得部と、
   前記第１の画像と前記第２の画像とを組み合わせて前記画像検索の検索条件となる条件画像を生成する条件画像生成部と、
   前記生成された条件画像に基づいて前記画像検索の実行を指示する画像検索実行指示部とを有する、画像検索操作装置。
2. 前記条件画像生成部は、前記取得された第１の画像及び前記第２の画像の少なくとも一方の一部を組み合わせて前記条件画像を生成することを特徴とする、請求項１に記載の画像検索操作装置。
3. 前記第１の画像及び前記第２の画像の少なくとも一方が、ユーザによって入力された画像であることを特徴とする、請求項１または２に記載の画像検索操作装置。
4. 前記第１の画像及び前記第２の画像の少なくとも一方が、既に実行された画像検索における検索条件である画像に類似する類似画像として抽出された画像であることを特徴とする、請求項１乃至３いずれかに記載の画像検索操作装置。
5. 実行された画像検索の結果を表示するための表示情報を出力する表示情報出力部を更に有し、
   前記表示される画像検索の結果は、前記条件画像に類似する画像として抽出された類似画像を含み、
   前記表示情報出力部は、前記類似画像において前記条件画像に類似する部分を明示するように前記表示情報を出力することを特徴とする、請求項１乃至４いずれかに記載の画像検索操作装置。
6. 前記表示情報出力部は、前記類似画像において前記条件画像に類似する部分を囲む線を表示するように前記表示情報を出力することを特徴とする、請求項５に記載の画像検索操作装置。
7. 前記第１の画像及び前記第２の画像の少なくとも一方が、既に実行された画像検索における検索条件である画像に類似する類似画像として抽出された画像であり、
   前記条件画像生成部は、前記取得された第１の画像及び前記第２の画像の少なくとも一方における前記線で囲まれた部分を組み合わせて前記条件画像を生成することを特徴とする、請求項６に記載の画像検索操作装置。
8. 検索対象の画像から検索条件の画像である条件画像に類似する類似画像を抽出する画像検索システムであって、
   第１の画像及び第２の画像を夫々取得する画像情報取得部と、
   前記第１の画像と前記第２の画像とを組み合わせて前記条件画像を生成する画像生成部と、
   前記生成された条件画像に基づいて画像検索の実行を指示する画像検索実行指示部と
   前記指示に応じて前記条件画像に基づいて前記画像検索を実行する画像検索実行部と、
   前記実行された画像検索の結果を表示する表示情報を生成する表示情報生成部とを有する、画像検索システム。
9. 前記表示情報生成部は、前記類似画像において前記条件画像に類似する部分を明示するように前記表示情報を生成することを特徴とする、請求項８に記載の画像検索システム。
10. 前記表示情報生成部は、前記類似画像において前記条件画像に類似する部分を囲む線を表示するように前記表示情報を生成することを特徴とする、請求項９に記載の画像検索システム。
11. 画像検索の実行を操作する画像検索操作方法であって、
    画像情報取得部が、第１の画像及び第２の画像を夫々取得し、
    条件画像生成部が、前記第１の画像と前記第２の画像とを組み合わせて前記画像検索の検索条件となる条件画像を生成し、
    画像検索実行指示部が、前記生成された条件画像に基づいて前記画像検索の実行を指示する、画像検索操作方法。
12. 情報処理装置を、画像検索の実行を操作する画像検索操作装置として動作させるための制御プログラムであって、
    第１の画像及び第２の画像を夫々取得するステップと、
    前記第１の画像と前記第２の画像とを組み合わせて前記画像検索の検索条件となる条件画像を生成するステップと、
    前記生成された条件画像に基づいて前記画像検索の実行を指示するステップとを前記情報処理装置に実行させることを特徴とする、制御プログラム。
13. 請求項１２に記載の制御プログラムを情報処理装置が読取可能な形式で記録したことを特徴とする、記録媒体。

Images