JP5353299B2 - 画像検索システム、画像検索装置、及び画像検索方法 - Google Patents

Description

本発明は、画像検索システム、画像検索装置、情報端末、及び画像検索方法の分野に関する。

近年、画像読取装置付き携帯情報端末が広く普及している。特にカメラ付き携帯電話は、各種アプリケーションや通信機能などを備え、その用途や使い方において新たな可能性を広げている。

このようなカメラ付き携帯電話の使い方の一例として、特許文献１に記載される発明が挙げられる。ユーザはカメラ機能付き携帯電話で気になる商品を撮影し、撮影した画像データをインターネットを介してサーバに送信する。サーバは、様々な商品や人物、ロゴマークなどの画像を登録したＤＢ（Data Base）と、ＤＢ内の画像データの関連情報を登録したＤＢを有しており、画像データに対して画像認識処理を行い、ＤＢ内の画像データから、画像データと一致度の高いデータを検索し、関連情報ＤＢから対応する関連情報を抽出する。関連情報は、インターネットを介してユーザに提示される。ユーザは、撮影した画像データを送信するだけで気になる商品の関連情報が得られることが記載されている。

ところで、一般のインターネット上の検索エンジンにおいては、テキストを入力し、その入力ワードをキーとして関連するＨＴＭＬ文書等を検索するものであるため、検索方法としてはテキスト検索方式と分類できる。他に、インターネット上でも画像検索と呼ばれる検索方法も登場してきてはいるが、テキストを入力し、その入力ワードをキーとして、画像毎に関連付けられたキーワードで検索して紐付く画像を出力するものであるため、これもまた検索方法としてはテキスト検索方式であるといえる。

これに対して、入力された画像を検索画像として関連する画像（及び関連情報）を検索する検索方法は、画像検索方式といえる。前述のカメラ付き携帯電話の例で用いられる技術は、この画像検索方式である。ユーザがカメラ付携帯電話などを利用して対象を撮影し、撮影によって得られた対象画像をクエリ（検索画像）として、一致度の高い画像（データ）を検索する技術である。

このような画像検索技術は、例えば特許文献２や非特許文献１が詳しい。ＤＢには予め電子文書が格納されており、ユーザは携帯電話付属のカメラで紙文書の一部を撮影し画像を取得すると、撮影画像に基づいて画像検索装置により該当する電子文書が検索されるものである。特にこれら文献に記載される画像検索技術は、紙文書の一部画像からでも該当する電子文書を検索できる点、撮影された一部画像の電子文書における位置／箇所が特定できる点で優れている。

しかしながら、いずれの画像検索技術においても、入力画像（撮影画像）からのみでは、検索結果として一の電子文書に特定しきれない場合がある。

特許文献１においては、対象（物）の一部を撮影しその画像データに基づいて画像認識処理およびメタデータ抽出処理を行い、対応するデータを特定する方法が記載されているが、一意に特定できなかった場合の対応が記載されておらず、複数の画像（及び関連情報）が検索されてくる場合がある。

特許文献２や非特許文献１においても、入力画像が電子文書の一部画像ゆえ、検索結果として複数の画像が検索される場合がある。全体的には全く異なる画像であっても部分的に近似する画像であれば同一（又は近似）画像である、として検索されうるからである。また携帯の情報端末による撮影ゆえ、入力画像において大いにゆがみが生じる場合が想定される。手操作による撮影の為必ずしもきれいに撮影できるとは限らず、オリジナルの電子文書と程遠い画像が入力されれば、一意に絞り込むことはより困難となる。

検索結果として複数の電子文書が取得された場合、或いは取得された文書がなかった場合、検索を反復的に行うこと、また各反復はテキストパターンの異なる部分集合を使うことも考えられるが（例えば特許文献２参照）、その具体的な方法について十分提案されていない。また単純に、検索された複数の候補画像を提示してユーザに選択させたり、書誌情報や属性情報の入力を促して最終的に一の画像に絞り込む方法も考えられる。図１に、従来の複数の候補画像の絞込みを促す画面の一例を示しておく。（ａ）は、検索された複数の候補画像を画面に表示させ、ユーザに一の画像を選択させるようにした画面表示例であり、（ｂ）は、電子文書の書籍名・書写書誌の情報の追加入力を促して一の画像に絞り込めるようにした画面表示例である。図に示されるこれらの手法は従来から馴染みのある絞込み手法といえる。

以上本発明では上記のような問題に鑑みて、一部画像に基づいて、電子画像を好適に検索する画像検索システム、画像検索装置、情報端末、画像検索方法を提供することを目的とする。より具体的には、一部画像に基づいて検索された候補画像が複数ある場合に、複数の候補画像から意図する電子画像を一意に絞り込む新たな画像検索システム、画像検索装置、情報端末、画像検索方法を本発明により提案する。

そこで上記課題を解決するため、本発明に係る画像検索システムは、画像入力装置を有する情報端末と、検索の対象となる対象画像が記憶された記憶装置と、前記画像入力装置により入力された入力画像に基づいて前記入力画像を一部に含む対象画像を前記記憶装置から検索する画像検索装置とからなる画像検索システムであって、前記画像検索装置は、前記画像入力装置により入力された第一の入力画像に基づいて、前記第一の入力画像を一部に含む対象画像を前記記憶装置から検索する検索手段と、前記検索手段により前記第一の入力画像を一部に含む対象画像の候補画像が複数検索されたとき、当該候補画像に基づいて、当該候補画像から一の対象画像を特定するに推奨される第二の入力画像を算出する推奨部分画像算出手段と、算出された第二の入力画像を前記情報端末に要求する推奨部分画像要求手段とを有し、前記検索手段は、前記情報端末から入力された第二の入力画像に基づいて、前記第二の入力画像を一部に含む対象画像を前記候補画像から検索して一の対象画像を特定し、前記情報端末は、前記画像検索装置から前記第二の入力画像の要求を受信する推奨部分画像要求受信手段と、受信された第二の入力画像の要求に基づき、前記対象画像に対応する被写体において、前記第二の入力画像として入力が推奨される部分を明示的に表示する推奨部分表示手段とを有する。

また上記課題を解決するため、前記画像検索システムにおいて、前記第二の入力画像は、複数の前記候補画像において画素値間の差分が最も大きい部分を含む画像であることを特徴とする。

また上記課題を解決するため、前記画像検索システムにおいて、前記検索手段は、前記画像入力装置により入力された第一の入力画像の一部に基づいて、前記第一の入力画像の一部を一部に含む対象画像を前記記憶装置から検索し、前記推奨部分画像算出手段は、算出した第二の入力画像が、入力された当該第一の入力画像に含まれるとき、記推奨部分画像要求手段は、第二の入力画像を前記情報端末に要求せず、前記検索手段は、当該第一の入力画像に含まれる第二の入力画像に基づいて、前記第二の入力画像を一部に含む対象画像を前記候補画像から検索して一の対象画像を特定することを特徴とする。

なお、本発明の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、などに適用したものも本発明の態様として有効である。

本発明によれば、一部画像に基づいて、電子画像を好適に検索する画像検索システム、画像検索装置、情報端末、画像検索方法を提供することができる。

従来の複数の候補画像の絞込みを促す画面の一例を示す図である。 本発明に係る一実施形態におけるシステム構成図の一例である。 本発明に係る画像検索サーバ１の一実施形態の主要構成を示すハードウェア構成図である。 画像検索サーバ１の一実施形態の主要機能構成を示す機能ブロック図である。 入力画像と対象画像の大小関係を示す図の一例である。 画像検索サーバ１と情報端末３の動作を説明するシーケンス図である。 推奨部分画像の入力を促す画面の一例を示す図である。 検索結果を表示する画面の一例を示す図である。 画像検索サーバ１に焦点を当てた対象画像検索処理を説明するフローチャート図である。 推奨部分画像算出処理を概念的に説明する図の一例である。 各候補画像の差分値を表現した図の一例である。 検索画像と入力画像と対象画像の大小関係を示す図の一例である。

以下、本発明を実施するための形態を各実施形態において図面を用いて説明する。

[実施形態１]
＜構成＞
はじめに、具体的な発明の内容を説明する前に、本発明を実施するにあたってのシステム構成について説明する。図２は、本発明に係る一実施形態におけるシステム構成図の一例である。画像検索サーバ１、記憶装置２、及び情報端末３が、ネットワーク（情報通信網）４を介して接続されている。画像検索サーバ１は、情報端末３に画像検索サービスを提供する画像検索装置である。情報端末３から入力された画像に基づいて、記憶装置２内からこれに一致する画像（電子文書）を検索する。記憶装置２には、検索対象となる画像（電子文書）が予め格納されている。情報端末３は、画像撮影装置（デジタルカメラ等）や表示装置（表示画面）を備える携帯情報処理端末である。ＰＤＡ（Personal Digital Assistants）、携帯電話等の情報処理機器から構成され、ウェブブラウザ（ウェブコンテンツ閲覧ソフトウェア）を備える。ネットワーク４は、電話通信網、情報通信網、インターネット網を含む。

紙文書５は、情報端末３の被写体であり、例えば新聞や雑誌である。情報端末３を使用して紙文書５の一部画像を撮影し、画像検索サーバ１に撮影された一部画像をネットワーク４を介して送信する。画像検索サーバ１は、入力された一部画像に基づいて、記憶装置２内からこれに一致する（であろう）画像を検索（取得）する。検索された画像は、情報端末３に送信され、表示装置（表示画面）に表示される。

なお、記憶装置２は画像検索サーバ１と同一筐体内の装置として構成してもよいし、ネットワーク４上に別途構築されてもよい。また情報端末３に画像検索サーバ１の有する画像検索機能を持たせるように構成することもできる。即ち、図中に示されるシステム構成はあくまで一例であり、本発明に係る各機能（詳細後述）を一に統合させてもネットワーク４上に分散して接続しようともその実現は可能である。以下各々詳しく説明する。

（画像検索サーバ）
図３は、本発明に係る画像検索サーバ１の一実施形態の主要構成を示すハードウェア構成図である。画像検索サーバ１のハードウェア構成について簡単に説明しておく。画像検索サーバ１は、例えば一般的な情報処理装置でもよく、主要な構成として、ＣＰＵ１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、補助記憶装置１０４、記憶媒体読取装置１０５、入力装置１０６、表示装置１０７、及び通信装置１０８を含む構成である。

ＣＰＵ１０１は、マイクロプロセッサ及びその周辺回路から構成され、ＰＣ１全体を制御する回路である。また、ＲＯＭ１０２は、ＣＰＵ１０１で実行される所定の制御プログラム（ソフトウェア部品）を格納するメモリであり、ＲＡＭ１０３は、ＣＰＵ１０１がＲＯＭ１０２に格納された所定の制御プログラム（ソフトウェア部品）を実行して各種の制御を行うときの作業エリア（ワーク領域）として使用するメモリである。

補助記憶装置１０４は、汎用のＯＳ（Operating System）、各種情報を格納する装置であり、不揮発性の記憶装置であるＨＤＤ（Hard Disk Drive）などが用いられる。なお、上記各種情報は、補助記憶装置１０４以外にも、ＣＤ−ＲＯＭ（Compact Disk - ROM）やＤＶＤ（Digital Versatile Disk）などの記憶媒体やその他のメディアを記憶されてもよく、これらの記憶媒体に格納された各種情報は、記憶媒体読取装置１０５などのドライブ装置を介して読み取ることが可能である。また補助記憶装置１０４は、上記の記憶装置２を含んで構築されるものとする。

入力装置１０６は、サーバ管理者が各種入力操作を行うための装置である。入力装置１０６は、マウス、キーボードなどを含む。表示装置１０７は、いわゆるディスプレイで例えばＬＣＤ(Liquid Crystal Display)、ＣＲＴ(Cathode Ray Tube)などから構成される。次に、通信装置１０８は、ネットワーク４を介して情報端末３との通信を行う装置である。有線ネットワークや無線ネットワークなど含む各種ネットワーク形態に応じた通信をサポートする。

図４は、画像検索サーバ１の一実施形態の主要機能構成を示す機能ブロック図である。画像検索サーバ１は、主な機能部として、部分画像受付部４０１、検索部４０２、検索結果出力部４０３、推奨部分画像算出部４０４、推奨部分画像要求部４０５、ＤＢ４０６、候補画像メモリ４０７を含む構成である。各機能部の機能動作については再度詳細に説明を行うので、ここでは簡単に説明する。

部分画像受付部４０１は、情報端末３から入力された部分画像（推奨部分画像含む）の受付を行なう機能を有している。即ち、画像入力装置から検索画像（クエリ）を受け付ける機能を有する。

検索部４０２は、情報端末３から入力された部分画像（第一の入力画像）に基づいて、部分画像を一部に含む対象画像をＤＢ４０６から検索する機能を有している。また、情報端末３から入力された推奨部分画像（第二の入力画像）に基づいて、推奨部分画像を一部に含む対象画像を、候補画像から検索する機能を有している。候補画像は、部分画像（第一の入力画像）に基づく検索では、該当する一の対象画像に絞りきることができない場合の、対象画像の候補とされる複数の画像をいう。

検索結果出力部４０３は、入力画像に基づいてＤＢ４０６から検索された対象画像を、検索結果として情報端末３に出力する機能を有している。

推奨部分画像算出部４０４は、複数の候補画像が検索されてきたとき、当該候補画像に基づいて、当該候補画像から一の対象画像を特定するに推奨される推奨部分画像（第二の入力画像）を算出する機能を有している。推奨部分画像は複数の候補画像に基づき算出され、複数の候補画像の中から一の対象画像を特定する為に用いられる。画像検索サーバ１側が複数の候補画像の中から一の対象画像を特定する為、情報端末３に対してその特定用途に推奨する部分画像である。詳細は再度後述する。

推奨部分画像要求部４０５は、推奨部分画像を情報端末３に要求し、ユーザに推奨部分画像の入力を促す機能を有している。

ＤＢ４０６は、検索の対象となる対象画像（電子文書）が予め格納されている。また対象画像毎に、対応する文書情報（文書名、発行者、発効日、属性情報等）も付されている。候補画像メモリ４０７は、前述の候補画像を一時的に格納するメモリである。推奨部分画像算出部４０４が推奨部分画像の算出に際し、候補画像メモリ４０７から候補画像を取得する。

なお上記説明したこれらの機能は、実際にはＣＰＵ１０１が実行するプログラムによりコンピュータ（画像検索サーバ１）に実現させるものである。

（画像）
次に本実施形態に係る画像に関し言及しておく。図５は、入力画像と対象画像の大小関係を示す図の一例である。

入力画像（撮影画像）５０１は、画像検索サーバ１に入力される部分画像である。つまり具体的には、情報端末３付属のカメラで紙文書（例えば新聞紙）５０２の一部を撮影したものである。被写体である紙文書の一部を撮影した画像であるので、一部画像という。この一部画像は、対象画像検索の為に検索画像（クエリ）として使用される。なお図の例では、新聞紙５０２の左上付近が撮影されて一部画像として取得されている。

対象画像５０３は、ＤＢ４０６に格納され検索の対象となる検索対象画像であり、前述の紙文書（新聞紙）５０２に対応する電子文書である。従って、入力画像５０１と対象画像５０３の大小関係としては、入力画像は対象画像より小さくなる。

＜動作＞
図６は、画像検索サーバ１と情報端末３の動作を説明するシーケンス図である。具体的には、画像検索に際し、情報端末３と画像検索サーバ１との全体的なやり取りを説明するものである。以下、順（ステップ）を追って説明していく。

まず情報端末３で、紙文書から一部画像が取得（撮影）される（Ｓ６０１）。取得された一部画像は、画像検索サーバ１に送信される（Ｓ６０２）。言い換えれば、まずユーザは情報端末３付属のカメラで紙文書（被写体）を撮影し、これを一部画像として画像検索サーバ１に送信する。なお、紙文書の撮影箇所は、紙面上の任意の箇所が撮影されたものとする。

部分画像受付部４０１は一部画像を受付けると、検索部４０２はその一部画像に基づいて、部分画像を一部に含む対象画像をＤＢ４０６から検索する。検索方法は、例えば、前述の非特許文献１に記載される検索技術が適用できる。勿論、これ以外にも一部画像に基づいて対象画像を検索できる検索方法によってもよい。ここではこの検索処理により一の対象画像に絞ることができず、複数の対象画像（候補画像）が検索されたものとする。本発明の画像検索サーバ１は、候補画像の中から如何に一の対象画像を特定するかに係るものであるからである。

因みに、入力された画像が新聞紙や雑誌等から取得された一部画像である場合、見出しやレイアウト枠、広告欄といった箇所は、紙面上共通している場合も多く、一部画像がそのような箇所が撮影されたものであると、一の対象画像に絞ること難しい。よって全体的には全く異なる画像であっても部分的に近似する画像であれば同一（又は近似）画像であるとして検索される可能性が大きいのである。また情報端末３による撮影ゆえ、入力画像において大いにゆがみが生じる場合も想定される。手操作による撮影の為必ずしもきれいに撮影できるとは限らず、オリジナルの電子文書と程遠い画像が入力されれば、一意に絞り込むことはより困難となる。従って、一回の検索処理（一の入力画像）により一の対象画像に絞れず、複数の対象画像（候補画像）が検索されてくることがある。

再び図６に戻り、検索結果出力部４０３は、通常、検索された対象画像を検索結果として情報端末３に出力するが、ここでは一の対象画像を特定できなかった為、その出力を保留し検索された複数の候補画像を候補画像メモリ４０７に一時的に保存する（Ｓ６０４）。また同時に推奨部分画像算出部４０４に対し、推奨部分画像を算出するよう命令を行なう。

推奨部分画像算出部４０４は、複数の候補画像が検索されてきたので、当該候補画像に基づいて、推奨部分画像を算出する（Ｓ６０５）。推奨部分画像は、候補画像から一の対象画像を特定するに用いられる画像であり、一の対象画像に特定し易いように画像検索サーバ１側で情報端末３に対して推奨する画像である。一先ず説明を進め、推奨部分画像の算出については後述する。

推奨部分画像要求部４０５は、推奨部分画像を情報端末３に要求し（Ｓ６０６）、ユーザに推奨部分画像の入力を促す。

情報端末３は、推奨部分画像の要求を受け、これに従って推奨される部分画像の取得（撮影）を行なう（Ｓ６０７）。情報端末３は、既に一部画像を取得しているが（Ｓ６０１）、要求に従って、紙文書から先の一部画像と異なる部分の画像の取得を行なうのである。どこの部分を撮影すべきかについて、推奨部分画像の要求により具体的にその箇所が推奨されている。取得された推奨部分画像は、画像検索サーバ１に送信される（Ｓ６０８）。

図７に、推奨部分画像の入力を促す画面の一例を示す。情報端末３の表示画面には、紙文書（被写体）全体において、先に入力した一部画像に該当する検索該当部分と、あらたに画像取得を要求する箇所（推奨部分）とが明示的に表示されている。ユーザは情報端末３の表示画面でこの表示を確認してから、紙文書（被写体）の推奨部分（付近）を付属のカメラで再び撮影し、これを推奨部分画像として画像検索サーバ１に送信する。なお、図７に示されるような対象画像の全体（全体枠）は、例えば、初回の検索（図６のＳ６０３）において、複数の候補画像を検索しつつも、その候補画像の中から最も入力された一部画像と近しいと推定される代表画像を暫定的に利用して、この代表画像の全体画像上に、推奨部分画像を表示するとよい。

検索部４０２は、入力された推奨部分画像に基づいて、推奨部分画像を一部に含む対象画像を、候補画像メモリ４０７内の候補画像から検索する（Ｓ６０９）。即ち、推奨部分画像に基づいて、候補画像から一の対象画像に絞りきる。検索方法は、前述と同様の検索部４０２の有する検索技術によればよい。なお、仮にここで候補画像から一の対象画像に絞りきれない場合、その候補画像を候補画像メモリ４０７に再び保存し（Ｓ６０４）、改めてその候補画像から推奨部分画像を算出する上述の動作を繰り返すことができる。

検索結果出力部４０３は、一の対象画像を、検索結果として情報端末３に出力する。情報端末３は、自身が備える表示装置に対象画像を表示させる（Ｓ６１１）。図８に、検索結果を表示する画面の一例を示す。最終的に一の対象画像が検索され、情報端末３において、文書情報（文書名、発行者、発効日、属性情報等）とともに表示されている。以上、図６を用いて全体的な検索処理動作の説明を行った。

図９は、画像検索サーバ１に焦点を当てた対象画像検索処理を説明するフローチャート図である。前述のシーケンスと重複する点もあるが確認的に説明を行う。

情報端末３で、紙文書から一部画像が取得（撮影）され、画像検索サーバ１に送信される。そして、部分画像受付部４０１は一部画像を受付けると、検索部４０２はその一部画像に基づいて、部分画像を一部に含む対象画像をＤＢ４０６から検索する（Ｓ９０１）。

Ｓ９０２において、検索された対象画像（候補画像）が複数である場合は、推奨部分画像算出処理へ進む。一方、検索された対象画像が複数でない場合、即ち一の対象画像に特定されたことになるので処理を終了する。

推奨部分画像算出部４０４は、複数の候補画像が検索されてきたので、当該候補画像に基づいて、情報端末３に入力要求すべき推奨部分画像を算出する（Ｓ９０３）。

Ｓ９０４では情報端末３から推奨部分画像の入力を待機している状態にあり、推奨部分画像を取得すると、検索部４０２は、情報端末３から入力された推奨部分画像に基づいて、推奨部分画像を一部に含む対象画像を、候補画像メモリ４０７内の候補画像から検索する（再びＳ９０１）。即ち、推奨部分画像に基づいて、候補画像から一の対象画像に絞りきる。一の対象画像に絞りきれた場合、Ｓ９０２に遷移して処理を終了する。

ここで候補画像から一の対象画像に絞りきれない場合、その候補画像を候補画像メモリ４０７に再び保存し、その候補画像から推奨部分画像を算出する上述の動作を繰り返すことができる。続いて、推奨部分画像算出部４０４の推奨部分画像算出処理（Ｓ６０５）を詳しく説明する。

（推奨部分画像算出処理）
前述したように、推奨部分画像算出部４０４は、複数の候補画像が検索されたとき、当該候補画像に基づいて、推奨部分画像を算出する。推奨部分画像は、候補画像から一の対象画像を特定するに用いられる画像であり、一の対象画像に特定し易いように画像検索サーバ１側で情報端末３に対して推奨する画像である。即ち、推奨部分画像算出部４０４は、複数の候補画像を解析し、画像として相互に類似していない箇所／部分を特定する。そして、複数の候補画像から一の対象画像を特定する際に、その相互に類似していない箇所（推奨部分画像）を検索画像（クエリ）として用いることにより、精度よく所望される一の対象画像を特定する。

図１０は、推奨部分画像算出処理を概念的に説明する図の一例である。図に示されるように、３つの候補画像が検索されている。

推奨部分画像算出するにあたって、推奨部分画像算出部４０４は、処理を行い易くする為、候補画像の大きさがそれぞれ異なる場合に、まず全ての候補画像に対して正規化処理を行いその大きさを統一する。例えば、候補画像データの縦の画素数の最大値、横の画素数の最大値をそれぞれHmax、Wmaxとして、候補画像データの縦、横の画素数が、Hmax、Wmaxとなるように拡大処理（画素の補間処理）を行うことで実現できる。

次に複数の候補画像から２の候補画像を取得する。ここでは、まず候補画像１と候補画像２を取得する。そして、画素（Ｘ，Ｙ）毎にＲ、Ｇ、Ｂ値の差の絶対値の和をとる。具体的に、候補画像１と候補画像２において、ある画素の座標（ｘ，ｙ）におけるＲ、Ｇ、Ｂ値の差の絶対値の和、Ｄ１２（ｘ，ｙ）は、
Ｄ１２（ｘ，ｙ）＝｜Ｒ１（ｘ，ｙ）−Ｒ２（ｘ，ｙ）｜＋｜Ｇ１（ｘ，ｙ）−Ｇ２（ｘ，ｙ）｜＋｜Ｂ１（ｘ，ｙ）−Ｂ２（ｘ，ｙ）｜
と表現できる。

そして同様に、候補画像１と候補画像３、候補画像２と候補画像３においても同様に、ある画素の座標（ｘ，ｙ）におけるＲ、Ｇ、Ｂ値の差の絶対値の和、Ｄ１３（ｘ，ｙ）及びＤ２３（ｘ，ｙ）は、
Ｄ１３（ｘ，ｙ）＝｜Ｒ１（ｘ，ｙ）−Ｒ３（ｘ，ｙ）｜＋｜Ｇ１（ｘ，ｙ）−Ｇ３（ｘ，ｙ）｜＋｜Ｂ１（ｘ，ｙ）−Ｂ３（ｘ，ｙ）｜ ，
Ｄ２３（ｘ，ｙ）＝｜Ｒ２（ｘ，ｙ）−Ｒ３（ｘ，ｙ）｜＋｜Ｇ２（ｘ，ｙ）−Ｇ３（ｘ，ｙ）｜＋｜Ｂ２（ｘ，ｙ）−Ｂ３（ｘ，ｙ）｜
と表現できる。

そして、候補画像１と候補画像２、候補画像１と候補画像３、候補画像２と候補画像３において、ある画素の座標（ｘ，ｙ）における全候補画像のＲ、Ｇ、Ｂ値の差の絶対値の和は、
Ｄ１２３（Ｘ，Ｙ）＝Ｄ１２（ｘ，ｙ）＋Ｄ１３（ｘ，ｙ）＋Ｄ２３（ｘ，ｙ）
と表現できる。

図１１は、各候補画像の差分値を表現した図の一例である。特に、図１１（ａ）は、候補画像１−３の同一サイズの画像において、ｘｙ座標が対応する画素位置毎に、全候補画像のＲ、Ｇ、Ｂ値の差の絶対値の和であるＤ１２３（Ｘ，Ｙ）を表現したものである。各座標内ではそれぞれこの値を有する。そして、（ａ）について所定ブロック（ｎ×ｍ：ｎ、ｍ＞０）に分割したものを（ｂ）に示す。また、図中の斜線部分はＤ１２３（Ｘ，Ｙ）の値が、比較的大きい部分を示している。さらに、（ｃ）に示されるように、ブロック毎のＤ１２３（Ｘ，Ｙ）の値の総和を算出し、最も総和の値が大きい箇所を算出する。また、総和の値が所定の閾値以上であるブロックをいくつか算出してもよい。このように算出されたブロックに相当する箇所が、推奨部分画像（推奨部分画像の箇所）とされる。総和の値が所定の閾値以上であるブロックがいくつか算出された場合は、これら複数を推奨部分画像として、情報端末３に選択的に要求することもできる。再び図７を参照すると、対象文書（電子文書）上において、推奨部分画像（丸斜線部）は、先の最も総和の値が大きいブロックに対応するように、表示されている。勿論、推奨部分画像（丸斜線部）は、他にも例えば、色で表示する、ハッチングで表示する、矩形枠で表示する、周辺色と反転した色で表示する等、ユーザがわかり易く認識できるように表示されるとよい。

なお、図１１（ａ）において、初回の検索時に入力された一部画像に対応する座標では、Ｄ１２３（Ｘ，Ｙ）の値を０にするなどしておくとよい。一部画像に対応（相当）するブロックが推奨部分画像相当に選択され、再度一部画像と同一の画像が検索画像（クエリ）として使用されないようにする為である。

ところで、図７に示されるような対象画像の全体（全体枠）をどのように表現するかという問題がある。例えば、初回の検索（図６のＳ６０３）において、複数の候補画像を検索しつつも、その候補画像の中から最も入力された一部画像と近しいと推定される代表画像を暫定的に利用して、この代表画像の全体画像上に、推奨部分画像を表示するとよい。また他にも、抽象的に仮の対象画像を表示しその枠型のみ表示する、単純に候補画像１の画像を表示する、全候補画像１−３（又は所定の候補画像まで、ある閾値を超えた候補まで）の正規化処理後の複数の候補画像の画素値（カラーの場合はＲＧＢそれぞれ）の平均値を使って対象画像全体（全体枠）を作成する方法等がある。

以上のように、画像検索サーバ１は、一の部分画像からのみでは一の対象画像を検索しきれない場合、候補画像から一の対象画像に特定し易い推奨部分画像を、情報端末３に要求する。推奨部分画像は、複数の候補画像において画像として相互に差異が顕著である箇所を含む画像であるので、画像検索サーバ１は情報端末３から推奨部分画像を取得すれば、候補画像から一の対象画像を精度よく特定することが可能となる。

また情報端末３（ユーザ側）にとっても、情報端末３の表示画面を確認し具体的に紙文書（被写体）のどの箇所（付近）をカメラで再び撮影すればよいのか一目瞭然であるため、漠然と一部画像を再送信というような場合に比べて、使い勝手が非常によい。

[実施形態２]
図１２は、検索画像と入力画像と対象画像の大小関係を示す図の一例である。本実施形態では、上述の実施形態１に比して、検索画像（クエリ）として使用される画像の点で異なっている。図５と対比的に説明する。図５においては、入力画像（撮影画像）５０１は、情報端末３付属のカメラで紙文書（例えば新聞紙）５０２の一部を撮影した一部画像であった。そしてこの一部画像は、対象画像検索の為に検索画像（クエリ）として使用された。

しかしながらこれに対し、本実施形態においては、図１２に示されるように、一部画像と検索画像（クエリ）５０４とは等しくない。つまり、検索画像５０４は、一部画像５０１の一部が使用されるのである。従って、検索画像５０４と、入力された一部画像５０１と、対象画像５０３との大小関係としては、小さい順に、検索画像５０４、一部画像５０１、対象画像５０３の順となる。このように本実施形態においては、撮影された入力画像（一部画像）のさらにその一部を検索画像として使用する。

このように構成することで、まず検索画像が小さくなる分、検索処理が高速になる。さらに、推奨部分画像算出部４０４が推奨部分画像を算出するとき、算出された推奨部分画像が、一部画像５０１に含まれていれば（且つ検索画像５０４以外の領域部分）、推奨部分画像要求部４０５が推奨部分画像を要求し、情報端末３が推奨部分画像を取得（撮影）して画像検索サーバ１に再度送信する操作を削減できる。つまり、推奨部分画像を算出される際、推奨部分画像とされる画像が一部画像５０１に含まれていれば、既に当該推奨部分画像が取得されていることになるので、情報端末３側で当該推奨部分画像を取得する必要はないのである。

また先の実施形態１において、総和の値が所定の閾値以上であるブロックをいくつか算出し、複数の推奨部分画像を算出する方法を述べた。これに関連して、複数の推奨部分画像が算出されたとき、この複数の推奨部分画像の中に一部画像５０１に含まれている推奨部分画像があれば、この推奨部分画像を最優先に（複数の候補画像から一の対象画像の検索処理に）使用する。こうすることにより一部画像５０１を再利用できる可能性はより高まり、即ち情報端末３が推奨部分画像を取得（撮影）して画像検索サーバ１に再度送信する操作を削減できる可能性をより高めることができる。

＜総括＞
以上、本発明によれば、一部画像に基づいて、電子画像を好適に検索する画像検索システム、画像検索装置、情報端末、及び画像検索方法を提供することが可能となる。より具体的には、一部画像に基づいて検索された候補画像が複数ある場合に、複数の候補画像から意図する電子画像を一意に絞り込む新たな画像検索システム、画像検索装置、情報端末、及び画像検索方法を提案できる。

なお、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

例えば、実施形態において情報端末３を取り上げて付属のカメラで入力されるべき画像が取得されたが、代用的にスキャナ等の画像読み取り装置による画像入力でもよいし、さらには既に保持される画像を入力されるべき画像（一部画像又は推奨部分画像）とすることも可能である。また、推奨部分画像の算出において、Ｒ、Ｇ、Ｂ全ての値を用いて算出を行ったが、必ずしもＲ，Ｇ，Ｂ全ての値を使用する必要はなく、処理速度向上の為Ｇ値のみを使用することも可能である。また、対象画像として文書画像に代表される対象画像を例に取り上げて説明を行ったが、必ずしも画像に限られず、ワープロ文書や表計算ソフトなどのアプリケーションファイルの場合、一旦これらを画像ファイルに変換を行うことで本発明を適用可能である。画像への変換は、例えば、プリンタドライバを利用して画像ファイル（ビットマップファイル）に変換したり、ベクターラスタ変換の処理により画像ファイルに変換できる。

１ 画像検索サーバ
２ 記憶装置
３ 情報端末
４ ネットワーク
５ 紙文書
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 補助記憶装置
１０５ 記憶媒体読取装置
１０６ 入力装置
１０７ 表示装置
１０８ 通信装置
４０１ 部分画像受付部
４０２ 検索部
４０３ 検索結果部
４０４ 推奨部分画像算出部
４０５ 推奨部分画像要求部
４０６ ＤＢ
４０７ 候補画像メモリ

特開２００５−２１５９２２号公報 特開２００６−１０７４９５号公報

ジョナサン ハル、バーナ エロル、ジェイミー グラハム、シーファ ク、岸 秀信、ホーヘ マラレダ、ダニエル バン オルスト「ミックスド・メディア・リアリティ（ＭＭＲ）：紙と電子世界をつなぐ新しい方法」リコーテクニカルレポート、Ｎｏ３３、２００７年１２月、http://www.ricoh.co.jp/about/business_overview/report/33/pdf/A3314.pdf

Claims (9)

1. 情報端末から取得した入力画像に基づいて、当該入力画像を一部に含む対象画像を記憶装置から検索する画像検索装置を含む画像検索システムであって、
   前記画像検索装置は、
   前記情報端末から取得した第一の入力画像に基づいて、前記第一の入力画像を一部に含む対象画像を前記記憶装置から検索する検索手段と、
   前記検索手段により前記第一の入力画像を一部に含む対象画像となる複数の候補画像が検索されたとき、当該複数の候補画像のうち、２つの候補画像同士の全組み合わせの画像差に基づいて、当該候補画像の中から一の対象画像を特定するに推奨される部分画像を算出する推奨部分画像算出手段と、
   前記算出された部分画像に基づいて、前記情報端末に部分画像要求を送信する推奨部分画像要求手段とを有し、
   前記検索手段は、前記情報端末から前記部分画像要求に応じて入力された第二の入力画像に基づいて、前記第二の入力画像を一部に含む対象画像を前記複数の候補画像から検索して一の対象画像を特定し、
   前記情報端末で、
   前記部分画像要求に基づき、前記対象画像に対応する被写体において、前記第二の入力画像として取得が推奨される部分を明示的に表示させること、
   を有することを特徴とする画像検索システム。
2. 前記推奨部分画像算出手段は、前記複数の候補画像において画素値間の差分が最も大きい部分を含む前記部分画像を算出すること、
   を特徴とする請求項１に記載の画像検索システム。
3. 前記検索手段は、前記画像入力装置により入力された第一の入力画像の一部に基づいて、前記第一の入力画像の一部を一部に含む対象画像を前記記憶装置から検索し、
   前記推奨部分画像算出手段は、前記算出した部分画像が、前記入力された第一の入力画像に含まれるとき、
   前記推奨部分画像要求手段は、前記情報端末に前記部分画像要求を送信せず、
   前記検索手段は、前記第一の入力画像に含まれる部分画像に基づいて、当該部分画像を一部に含む対象画像を前記候補画像から検索して一の対象画像を特定すること、
   を特徴とする請求項１又は２に記載の画像検索システム。
4. 情報端末から取得した入力画像に基づいて、当該入力画像を一部に含む対象画像を記憶装置から検索する画像検索装置であって、
   前記情報端末から取得した第一の入力画像に基づいて、前記第一の入力画像を一部に含む対象画像を前記記憶装置から検索する検索手段と、
   前記検索手段により前記第一の入力画像を一部に含む対象画像となる複数の候補画像が検索されたとき、当該複数の候補画像のうち、２つの候補画像同士の全組み合わせの画像差に基づいて、当該候補画像の中から一の対象画像を特定するに推奨される部分画像を算出する推奨部分画像算出手段と、
   前記算出された部分画像に基づいて、前記情報端末に部分画像要求を送信する推奨部分画像要求手段とを有し、
   前記検索手段は、前記情報端末から前記部分画像要求に応じて入力された第二の入力画像に基づいて、前記第二の入力画像を一部に含む対象画像を前記複数の候補画像から検索して一の対象画像を特定すること、
   を特徴とする画像検索装置。
5. 前記推奨部分画像算出手段は、前記複数の候補画像において画素値間の差分が最も大きい部分を含む前記部分画像を算出すること、
   を特徴とする請求項４に記載の画像検索装置。
6. 前記検索手段は、前記画像入力装置により入力された第一の入力画像の一部に基づいて、前記第一の入力画像の一部を一部に含む対象画像を前記記憶装置から検索し、
   前記推奨部分画像算出手段は、前記算出した部分画像が、前記入力された第一の入力画像に含まれるとき、
   前記推奨部分画像要求手段は、前記情報端末に前記部分画像要求を送信せず、
   前記検索手段は、前記第一の入力画像に含まれる部分画像に基づいて、当該部分画像を一部に含む対象画像を前記候補画像から検索して一の対象画像を特定すること、
   を特徴とする請求項４又は５に記載の画像検索装置。
7. 情報端末から取得した入力画像に基づいて、当該入力画像を一部に含む対象画像を記憶装置から検索する画像検索装置を含む画像検索システムにおける画像検索方法であって、
   前記画像検索装置は、
   前記情報端末から取得した第一の入力画像に基づいて、前記第一の入力画像を一部に含む対象画像を前記記憶装置から検索する検索手順と、
   前記検索手順により前記第一の入力画像を一部に含む対象画像となる複数の候補画像が検索されたとき、当該複数の候補画像のうち、２つの候補画像同士の全組み合わせの画像差に基づいて、当該候補画像の中から一の対象画像を特定するに推奨される部分画像を算出する推奨部分画像算出手順と、
   前記算出された部分画像に基づいて、前記情報端末に部分画像要求を送信する推奨部分画像要求手順とを有し、
   前記検索手順は、前記情報端末から前記部分画像要求に応じて入力された第二の入力画像に基づいて、前記第二の入力画像を一部に含む対象画像を前記複数の候補画像から検索して一の対象画像を特定し、
   前記情報端末で、
   前記部分画像要求受信された第二の入力画像の要求に基づき、前記対象画像に対応する被写体において、前記第二の入力画像として取得が推奨される部分を明示的に表示させる推奨部分表示手順と、
   を有することを特徴とする画像検索方法。
8. 前記推奨部分画像算出手段は、前記複数の候補画像において画素値間の差分が最も大きい部分を含む前記部分画像を算出すること、
   を特徴とする請求項７に記載の画像検索方法。
9. 前記検索手順は、前記画像入力装置により入力された第一の入力画像の一部に基づいて、前記第一の入力画像の一部を一部に含む対象画像を前記記憶装置から検索し、
   前記推奨部分画像算出手順は、前記算出した部分画像が、前記入力された第一の入力画像に含まれるとき、
   前記推奨部分画像要求手順は、前記情報端末に前記部分画像要求を送信せず、
   前記検索手順は、前記第一の入力画像に含まれる部分画像に基づいて、当該部分画像を一部に含む対象画像を前記候補画像から検索して一の対象画像を特定すること、
   を特徴とする請求項７又は８に記載の画像検索方法。

Images