JP2010218109A - 画像検索装置及び画像検索方法 - Google Patents

Abstract

【課題】入力画像に基づいて、高速且つ精度良く、入力画像を一部に含む画像の検索を行なう画像検索装置及び画像検索方法を提供すること。
【解決手段】本発明に係る画像検索装置は、入力された入力画像に基づいて入力画像を一部に含む対象画像を記憶装置から検索する画像検索装置であって、入力画像から、入力画像の第一の特徴量を抽出し、入力画像の第一の特徴量と、対象画像の第一の特徴量とのマッチング判定を行い、対象画像及び当該対象画像における前記入力画像の位置情報を、候補対象画像として検索し、入力画像と、位置情報から特定された候補対象画像の部分画像とから、入力画像及び部分画像の第二の特徴量を抽出し、入力画像の第二の特徴量と、部分画像の第二の特徴量とのマッチング判定を行い、マッチングすると判定された部分画像の第二の特徴量に対応する対象画像を、検索結果とする。
【選択図】図１

Description

本発明は、画像検索装置及び画像検索方法の分野に関する。

画像マッチング技術においては、一般に、まずマッチングしようとする二の画像から抽象化された特徴量をそれぞれ抽出（算出）し、その特徴量を比較することにより高速に精度よく画像のマッチングを行う技術が知られている。特徴量を利用するのは、画像の画素単位情報を逐一比較することでマッチ判定を行うような方法では、現実的ではないからである。

そのような画像マッチング技術の応用として、紙文書から元の電子文書を検索しようとする試みがある。画像入力装置を用いて、電子文書を紙媒体に印刷したものである紙文書の一部又は全体を画像入力（取得）し、その入力画像の特徴量を抽出する。一方、電子文書は画像化（文書画像）されるとともに、その特徴量が抽出されて記憶装置に予め登録されている。そして、入力画像の特徴量と文書画像の特徴量とが比較され、特徴量間の距離が近い文書画像を入力画像と一致する文書画像であると判定する。

このような紙文書と電子文書画像との画像マッチングを具体的に適用した一例として、ユーザがカメラ付携帯電話などを利用して対象を撮影し、撮影によって得られた対象画像をクエリ（検索画像）として一致度の高い画像（データ）を検索するシステムがある。このような画像検索技術は、例えば、特許文献１及び非特許文献１が詳しい。ＤＢ（Data Base）には予め電子文書が格納されており、ユーザは携帯電話付属のカメラで紙文書の一部を撮影し画像を取得すると、撮影画像に基づいて画像検索装置により該当する電子文書が検索されるものである。特に、特許文献１及び非特許文献１に記載される画像検索技術は、紙文書の一部画像からでも該当する電子文書を検索できる点、撮影された一部画像の電子文書における位置／箇所が特定できる点で優れている。

また特許文献２には、実用的な時間内で精度の高い原本検索を実現する文書検索装置、文書検索方法及び記録媒体の発明が記載されている。文書画像内のテキストブロックについては文字認識を用いたテキスト特徴情報、画像部分についてはイメージ特徴情報を利用し、両特徴情報それぞれのマッチングを行い、それぞれの類似度を統合して検索結果を求めるものである。より詳細には、まず検索文書のイメージに対してブロックセレクション処理を施し、テキストブロックに対しては文字認識処理を実行し、得られたテキストデータに基づいてテキスト特徴情報を生成する。また検索文書のイメージに基づいてイメージ特徴情報を生成する。そして、生成されたテキスト特徴情報とイメージ特徴情報を用いて文書データベースを検索し、複数の文書より当該検索文書に対応する文書を取得する。ここで、検索においては、複数の文書の各々と検索文書との間の類似度を、テキスト特徴情報とイメージ特徴情報のおのおのについて求め、求めた類似度を統合して検索結果を決定する。

しかしながら、上述いずれの画像検索技術においても、検索結果として一の電子文書（又は原本）を特定しきれない場合がある。つまり、複数の画像のレイアウト、図面、写真などが似通っている場合には、入力画像が示す本当の画像（オリジナル画像）が検索されず別の画像が検索されうる。画像情報を抽象化し特徴量を抽出して、その特徴量の比較により画像マッチングを行うので、特徴量空間において複数の異なる画像が非常に近い場所に存在する場合、このようなことが起こりうるのである。これは仮に、入力した画像と似ている画像を検索したいような場合（類似画像検索）には問題ないが、入力画像そのものと同一の画像を検索したい場合やはり問題となる。

特許文献１及び非特許文献１では、紙文書の一部画像からでも該当する電子文書を検索可能であるが、入力画像が一部画像ゆえ、検索結果として複数の画像が検索される場合がある。全体的には全く異なる画像であっても部分的に近似する画像であれば同一（又は近似）画像であるとして検索されうるからである。また入力画像が携帯電話等によるものであると、入力画像において大いにゆがみが生じる場合が想定される。手操作による撮影の為必ずしもきれいに撮影できるとは限らず、オリジナルの電子文書と程遠い画像が入力されれば、一意に絞り込むことはより困難となる。

特許文献２では、特徴量を二種類使用しているので、文書画像にテキストとイメージが混在している場合には、その検索精度は比較的高い。しかしながら、文書画像がテキストだけ、イメージだけで構成される場合には、特徴量を二種類使用していたとしてもその効果を発揮できず、別の画像が検索されてくる場合がある。また、検索対象となる画像において大きな領域が必要となり、検索結果を得るのに時間がかかるという問題もある。

以上本発明では上記のような問題に鑑みて、入力画像に基づいて、高速且つ精度良く、入力画像を一部に含む画像の検索を行なう画像検索装置及び画像検索方法を提供することを目的とする。より具体的には、入力画像を検索対象画像の一部の画像とすることで高速に画像検索を行なうとともに、一部画像ゆえ生じやすい誤検索を防止して、精度の高い画像検索を行なう画像検索装置を本発明により提案する。

そこで上記課題を解決するため、本発明に係る画像検索装置は、検索の対象となる対象画像と前記対象画像から抽出された対象画像の第一の特徴量とが対応付けて記憶された記憶装置と接続され、入力された入力画像に基づいて前記入力画像を一部に含む対象画像を前記記憶装置から検索する画像検索装置であって、前記入力画像から、入力画像の第一の特徴量を抽出する第一特徴量抽出手段と、前記入力画像の第一の特徴量と、前記対象画像の第一の特徴量とのマッチング判定を行い、マッチングすると判定された前記対象画像の第一の特徴量に対応する対象画像及び当該対象画像における前記入力画像の位置情報を、候補対象画像として検索する第一特徴マッチング検索手段と、前記入力画像と、前記位置情報から特定された前記候補対象画像の部分画像とから、前記入力画像及び前記部分画像の第二の特徴量を抽出する第二特徴量抽出手段と、前記入力画像の第二の特徴量と、前記部分画像の第二の特徴量とのマッチング判定を行い、マッチングすると判定された前記部分画像の第二の特徴量に対応する対象画像を、検索結果とする第二特徴マッチング検索手段とを有する。

また上記課題を解決するため、前記画像検索装置において、前記第二特徴量抽出手段は、前記入力画像及び前記部分画像を二値化する二値化手段と、二値化された前記入力画像及び前記部分画像から、前記第二の特徴量としてブロッブを検出するブロッブ検出手段とを有し、前記第二特徴マッチング検索手段は、検出された前記入力画像及び前記部分画像のブロッブの形状比較に基づいて、前記第二の特徴量のマッチング判定を行うブロッブ形状比較手段とを有する。

また上記課題を解決するため、前記画像検索装置において、前記第二特徴量抽出手段は、前記入力画像及び前記部分画像を二値化する二値化手段と、二値化された前記入力画像及び前記部分画像をブロック分割し、前記第二の特徴量としてブロック毎に相関値を算出する相関値算出手段とを有し、前記第二特徴マッチング検索手段は、算出された前記入力画像及び前記部分画像の相関値に基づいて、前記第二の特徴量のマッチング判定を行う相関値比較手段とを有する。

また上記課題を解決するため、前記画像検索装置において、前記第二特徴量抽出手段は、前記入力画像及び前記部分画像を二値化する二値化手段と、二値化された前記入力画像及び前記部分画像から、水平方向及び垂直方向に画素値のヒストグラムをとって、前記第二の特徴量として射影プロファイルを算出する射影プロファイル算出手段とを有し、前記第二特徴マッチング検索手段は、算出された前記入力画像及び前記部分画像の射影プロファイルに基づいて、前記第二の特徴量のマッチング判定を行う射影プロファイル比較手段と、を有する。

また上記課題を解決するため、前記画像検索装置において、前記第二特徴量抽出手段は、前記入力画像及び前記部分画像を二値化する二値化手段と、二値化された前記入力画像及び前記部分画像から、水平方向及び垂直方向に画素値のヒストグラムをとって射影プロファイルを算出する射影プロファイル算出手段と、算出された前記入力画像及び前記部分画像の射影プロファイルから、前記第二の特徴量として射影プロファイルの相関値を算出する相関値算出手段とを有し、前記第二特徴マッチング検索手段は、算出された前記入力画像及び前記部分画像の射影プロファイルの相関値に基づいて、射影プロファイルの相関値のマッチング判定を行う射影プロファイル相関値比較手段とを有する。

また上記課題を解決するため、前記画像検索装置において、前記第二特徴量抽出手段は、前記入力画像及び前記候補対象画像から、前記第二の特徴量として文字の位置情報、大きさ情報、文字コードの少なくともいずれかを取得するＯＣＲ手段とを有し、前記第二特徴マッチング検索手段は、取得された文字の位置情報、大きさ情報、文字コードの少なくともいずれかに基づいて、前記第二の特徴量のマッチング判定を行う射影プロファイル相関値比較手段とを有する。

なお、本発明の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、などに適用したものも本発明の態様として有効である。

本発明によれば、入力画像に基づいて、高速且つ精度良く、入力画像を一部に含む画像の検索を行なう画像検索装置及び画像検索方法を提供することができる。

本発明に係る一実施形態におけるシステム構成図の一例である。 本発明に係る画像検索サーバ１の一実施形態の主要構成を示すハードウェア構成図である。 画像検索サーバ１の一実施形態の主要機能構成を示す機能ブロック図である。 ＤＢ３０７のデータ構造を模式的に示す図の一例である。 文書画像登録を説明するフローチャートである。 第一特徴抽出処理を説明するフローチャートである。 第一の特徴量を示す図の一例である。 インデックス作成処理を説明するフローチャートである。 量子化を説明する図の一例である。 画像検索処理１を説明するフローチャートである。 特徴量マッチングより取得される情報を示す図の一例である。 正解特徴点推定を説明するフローチャートである。 正解特徴点推定を説明する図の一例である。 一部画像と文書画像との位置対応を示す図の一例である。 画像検索処理２を説明するフローチャートである。 ブロッブ比較による第二の特徴量マッチングを説明するフローチャートである。 ブロッブを示す図の一例である。 画素単位の比較である相互相関による第二の特徴量マッチングを説明するフローチャートである。 相関算出を示す図の一例である。 射影プロファイルによる第二の特徴量マッチングを説明するフローチャートである。 射影プロファイルを示す図の一例である。 光学文字認識による第二の特徴量マッチングを説明するフローチャートである。

以下、本発明を実施するための形態を各実施形態において図面を用いて説明する。

[構成]
はじめに、具体的な発明の内容を説明する前に、本発明を実施するにあたって一実施形態としてのシステム構成について説明する。図１は、本発明に係る一実施形態におけるシステム構成図の一例である。画像検索サーバ１、記憶装置２、及び情報端末３が、ネットワーク（情報通信網）４を介して接続されている。画像検索サーバ１は、情報端末３に画像検索サービスを提供する画像検索装置である。情報端末３から入力された画像に基づいて、記憶装置２内からこれに一致する文書画像（以下単に画像という場合がある）を検索する。記憶装置２には、検索対象となる文書画像（及び文書画像に対応する電子文書）が予め格納されている。情報端末３は、画像撮影装置（デジタルカメラ等）や表示装置（表示画面）を備える携帯情報処理端末である。ＰＤＡ（Personal Digital Assistants）、携帯電話等の情報処理機器から構成され、ウェブブラウザ（ウェブコンテンツ閲覧ソフトウェア）を備える。ネットワーク４は、電話通信網、情報通信網、インターネット網を含む。

紙文書５は、情報端末３の被写体であり、例えば新聞や雑誌である。情報端末３を使用して紙文書５の一部画像を撮影し、画像検索サーバ１に撮影された一部画像をネットワーク４を介して送信する。一部画像は、被写体（紙文書５）の一部を撮影した画像であるので、一部画像とよぶ。この一部画像は、対象画像検索の為に画像検索サーバ１に入力され検索画像（クエリ）として使用される。勿論、被写体の全体画像を撮影し全体画像を画像検索サーバ１に入力してもよいが一部画像の方が高速な検索が可能である。画像検索サーバ１は、入力された一部画像に基づいて、記憶装置２内からこれに一致する（であろう）画像を検索（取得）する。検索された画像は、情報端末３に送信され、表示装置（表示画面）に表示される。

なお、記憶装置２は画像検索サーバ１と同一筐体内の装置として構成してもよいし、ネットワーク４上に別途構築されてもよい。また情報端末３に画像検索サーバ１の有する画像検索機能を持たせるように構成することもできる。即ち、図中に示されるシステム構成はあくまで一例であり、本発明に係る各機能（詳細後述）を一に統合させてもネットワーク４上に分散して接続しようともその実現は可能である。以下各々詳しく説明する。

＜画像検索サーバ＞
図２は、本発明に係る画像検索サーバ１の一実施形態の主要構成を示すハードウェア構成図である。画像検索サーバ１のハードウェア構成について簡単に説明しておく。画像検索サーバ１は、例えば一般的な情報処理装置でもよく、主要な構成として、ＣＰＵ１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、補助記憶装置１０４、記憶媒体読取装置１０５、入力装置１０６、表示装置１０７、及び通信装置１０８を含む構成である。

ＣＰＵ１０１は、マイクロプロセッサ及びその周辺回路から構成され、ＰＣ１全体を制御する回路である。また、ＲＯＭ１０２は、ＣＰＵ１０１で実行される所定の制御プログラム（ソフトウェア部品）を格納するメモリであり、ＲＡＭ１０３は、ＣＰＵ１０１がＲＯＭ１０２に格納された所定の制御プログラム（ソフトウェア部品）を実行して各種の制御を行うときの作業エリア（ワーク領域）として使用するメモリである。

補助記憶装置１０４は、汎用のＯＳ（Operating System）、各種情報を格納する装置であり、不揮発性の記憶装置であるＨＤＤ（Hard Disk Drive）などが用いられる。なお、上記各種情報は、補助記憶装置１０４以外にも、ＣＤ−ＲＯＭ（Compact Disk - ROM）やＤＶＤ（Digital Versatile Disk）などの記憶媒体やその他のメディアを記憶されてもよく、これらの記憶媒体に格納された各種情報は、記憶媒体読取装置１０５などのドライブ装置を介して読み取ることが可能である。また補助記憶装置１０４は、上記の記憶装置２を含んで構築されるものとする。

入力装置１０６は、サーバ管理者が各種入力操作を行うための装置である。入力装置１０６は、マウス、キーボードなどを含む。表示装置１０７は、いわゆるディスプレイで例えばＬＣＤ(Liquid Crystal Display)、ＣＲＴ(Cathode Ray Tube)などから構成される。次に、通信装置１０８は、ネットワーク４を介して情報端末３との通信を行う装置である。有線ネットワークや無線ネットワークなど含む各種ネットワーク形態に応じた通信をサポートする。

図３は、画像検索サーバ１の一実施形態の主要機能構成を示す機能ブロック図である。画像検索サーバ１は、主な機能部として、第一特徴量抽出部３０１、第一特徴量マッチング検索部３０２、第二特徴量抽出部３０３、第二特徴量抽出マッチング検索部３０４、検索結果出力部３０５、一時メモリ３０６、及びＤＢ３０７を含む構成である。各機能部の機能動作については再度詳細に説明を行うので、ここでは簡単に説明する。

第一特徴量抽出部３０１は、入力画像（例えば一部画像）から、入力画像の第一の特徴量を抽出する機能を有している。具体的には、情報端末３から入力された入力画像から、特徴量を抽出する。勿論、情報端末３から全部画像（被写体全体の画像）が入力されてもよいが、検索速度の観点から、これより小さい一部画像の方がより望ましい。入力された一部画像からの第一の特徴量の抽出方法に関しては後述する。

第一特徴量マッチング検索部３０２は、第一特徴量抽出部３０１で抽出された入力画像の第一の特徴量と、ＤＢ３０７に記憶されている対象画像（例えば文書画像）の第一の特徴量とのマッチング判定を行い、マッチングすると判定された対象画像の第一の特徴量に対応する対象画像を、候補対象画像（例えば候補文書画像）として、ＤＢ３０７から検索する機能を有している。検索された候補対象画像は、一時メモリ３０６に格納される。

第二特徴量抽出部３０３は、入力画像と候補対象画像とから、入力画像及び候補対象画像の第二の特徴量を抽出する機能を有している。第二の特徴量の抽出方法に関しては後述する。

第二特徴量抽出マッチング検索部３０４は、入力画像の第二の特徴量と、対象画像の第二の特徴量とのマッチング判定を行い、マッチングすると判定された対象画像の第二の特徴量に対応する対象画像を、検索結果とする機能を有している。この対象画像は検索結果というべきもので、画像検索サーバ１が、入力された入力画像に基づいて検索を行なった検索結果としての画像、即ち入力画像を一部に含む対象画像（例えば検索された文書画像）に相当する。

検索結果出力部３０５は、第二特徴量抽出マッチング検索部３０４で検索結果とされた対象画像を（情報端末３に）出力する。勿論、対象画像に代えて、対象画像に対応する電子文書を出力することもできる。

一時メモリ３０６は、入力画像と候補対象画像を一時的に格納する。具体的には、情報端末３からの一部画像を格納し、また第一特徴量マッチング検索部３０２で検索された候補文書画像を格納する。

ＤＢ３０７は、検索の対象となる対象画像（例えば文書画像）と対象画像から抽出された対象画像の第一の特徴量とが、予め対応付けて登録（記憶）されている。ＤＢ３０７のデータ構造については後述する。

なお上記説明したこれらの機能は、実際にはＣＰＵ１０１が実行するプログラムによりコンピュータ（画像検索サーバ１）に実現させるものである。

＜ＤＢ＞
図４は、ＤＢ３０７のデータ構造を模式的に示す図の一例である。ＤＢ３０７は、上述したように、検索の対象となる対象画像（例えば文書画像）と対象画像から抽出された対象画像の第一の特徴量とが、予め対応付けて登録（記憶）されている。図に示されるように、ＤＢ３０７は、さらに複数のＤＢ、即ち、文書画像が登録された文書画像ＤＢａ１〜ａＮ、文書画像から抽出した第一の特徴量が登録された特徴量ＤＢｂ１〜ｂＮ、画像検索時の高速な検索処理に寄与するよう作成されたインデックス（検索索引）が登録されたインデックスｃ１〜ｃＮを含んでいる。文書画像ＤＢが複数存在するのは、文書画像を分類・整理するためである。例えば、新聞の画像を登録する場合は、各社毎の新聞を異なるデータベースに分類しておくことで管理が容易になったり、画像検索の精度が向上するメリットがある。勿論、新聞だけでなく、雑誌や書籍、企業別（企業内文書ならば組織）、文書ジャンル別毎にデータベースを分類することもできる。特徴量ＤＢ及びインデックスは、文書画像ＤＢに対応するように、文書画像ＤＢの分類に応じて、同数分が作成される。つまり例えば、特徴量ＤＢｂ１は、文書画像ＤＢａ１内の文書画像から抽出した第一の特徴量が登録された特徴量ＤＢであり、インデックスｃ１は、文書画像ＤＢａ１内の文書画像に基づいて作成されたインデックスである。

[動作]
画像検索サーバ１の動作について説明を行う。以下、文書画像登録、検索処理１及び検索処理２毎に順を追って説明をしていく。

＜文書画像登録＞
図５は、文書画像登録を説明するフローチャートである。上述したように、ＤＢ３０７は、対象画像検索に先立って、予め文書画像ＤＢ、特徴量ＤＢ及びインデックスが登録されたＤＢである。ＤＢ３０７に文書画像が登録されると、登録に伴って、文書画像の特徴量及びインデックスが作成される。

はじめに、管理者等により検索の対象となる文書画像及び付帯情報が入力されると（Ｓ５０１）、入力された文書画像に他の画像と識別するための識別子である画像ＩＤが付与され、使用されるＤＢ設定が行われる（Ｓ５０２）。どの文書画像ＤＢ（ａ１〜ａＸ）に登録するかは、文書画像の付帯情報によって決定される。例えば、文書画像ＤＢは文書の発行体（発行元）毎に分類されて設けられているので、当該文書画像の付帯情報に含まれる発行体の情報に従って登録されるＤＢが決定されるのである。また入力されるデータが電子文書であれば、例えば文書ファイルから画像データに変換するソフトウェアが用意されておりそれを使うことで容易に電子文書から文書画像への変換を行える。

次に、入力された文書画像から第一の特徴量を抽出する（Ｓ５０３）。そして、抽出した第一の特徴量と、画像ＩＤ、画像ファイルパスが関連付けられて特徴量ＤＢに登録される（Ｓ５０４）。さらに登録する文書画像の付帯情報（発刊日、号数等）を併せて登録しておくと検索時に画像の絞り込みができるので検索精度向上に寄与する。

その後、検索を高速化させるためのインデックスを作成し、対応するインデックスに登録される（Ｓ５０５）。

・第一の特徴量抽出
ここで、第一の特徴量を抽出（Ｓ５０３）に関し言及する。図６は、第一特徴抽出処理を説明するフローチャートである。本発明に係る第一特徴抽出処理は、実際、本出願人による特許文献１及び非特許文献１に記載される技術を適用することができる。以下、概略的に説明する。

はじめに、入力された画像（文書画像）をグレースケール化してから画像を二値化する（Ｓ６０１）。入力される画像には様々な明るさの画像が含まれるが、特に情報端末３等のカメラで撮影した場合、その画像は周りの明るさなどに強く影響される。従って、使用する二値化方法は単純な固定閾値二値化ではなく、画像の明るさに応じた動的な二値化が望ましい。例えば、本出願人による特許第4018310号「画像二値化装置、画像撮像装置、画像二値化方法、画像撮像方法およびその方法の各工程としてコンピュータを機能させるためのプログラムを記録したコンピュータ読取可能な記録媒体」を本二値化処理として適用できる。二値画像は、背景が白画素、前景や文字が黒画素を示す。

次に、二値化した画像から距離画像を作成する（Ｓ６０２）。これはある注目画素から最も近い黒画素までの距離を各画素の値に割り当てた画像である。即ち、注目画素が黒画素であるならば、その画素における距離は0となる。注目画素が白画素であるならば、その周囲で最も近い黒画素までの距離をその画素の値とする。この距離画像は、文字と文字の間や行間、線と線の間に極大値が尾根上につながったものである。

距離画像が作成されたのでそのスケルトン化を行う（Ｓ６０３）。これは、先に述べた尾根上の極大値を検出し、その画素を1、それ以外を0とするものである。尾根上の極大値の検出方法は、3x3画素のマスク内で、横方向、縦方向、斜め方向のいずれかでマスクの中心画素の値が最大であり、かつその中心画素の値がマスク内の最大画素値と比較して所定の値以上低すぎないことを検出することで実現できる。

次に、特徴点として検出する（Ｓ６０４）。スケルトン化された距離画像は、１画素幅の線が連なっている状態である。特徴点検出において、スケルトン化された距離画像の１画素幅の線が接合している部分(その線が交差する所(T字交差、十字交差等)の画素)を特徴点として検出する。なお、特徴点は一つの画像に多く存在している。

次に、各特徴点から第一の特徴量(特徴ベクトル)を算出する（Ｓ６０５）。特徴点を中心とし、特徴点の位置の距離の2倍の長さを1辺とする正方形を、特徴ベクトルを算出する空間とする。それを縦横それぞれ四つに分割して16の小正方形をつくる。グレースケール画像の対応する各小正方形に含まれる全画素で、8方向に近似された勾配方向を算出する。その算出した勾配方向のヒストグラムを各小正方形で算出する。即ち16の小正方形それぞれで8つの要素を持つ勾配方向ヒストグラムが作成される。そのヒストグラムの8要素の値を16小正方形すべてで1次元的に並べたものを特徴ベクトルとする。即ちこの特徴ベクトルは8x16=128で128次元を有する。

ここで、128次元の特徴ベクトルを用いて特徴量比較を行うのは困難である。また、特徴点の画素値である距離を半径とした空間には、前景や文字がない。従ってその空間では特徴がないに等しいので、ベクトルの次元を下げる処理を行う（Ｓ６０６）。ベクトルの次元を下げるための方法として主成分分析(PCA)を利用し、ベクトルの次元を14次元まで下げる。

以上このようにして、第一の特徴量の抽出ができたので、図７に示されるように、画像ファイルパス、画像ＩＤ、特徴点(位置)、及び特徴ベクトルが関連付けられて特徴量ＤＢに登録される（Ｓ５０４）。

・インデックス作成
次に、検索を高速化させるためのインデックス作成処理に関し言及する。図８は、インデックス作成処理を説明するフローチャートである。本発明に係るインデックス作成処理は、実際、本出願人による特許文献１及び非特許文献１に記載される技術を適用することができる。本第一特徴抽出処理は、画像登録及び画像検索時、共通に使用できる機能である。以下、概略的に説明する。

まず、14次元の特徴ベクトルをkd-treeを利用して量子化し、量子化された特徴ベクトル、画像ＩＤをインデックスに追加する（Ｓ８０１）。具体的な量子化方法を図９に示す。図に示されるkd-treeは、14次元の空間を段階的に小さな空間に分割し、ある特徴ベクトルが最終的にどの葉ノードに収まるかを示したものである。

特徴ベクトルvec1がどの葉ノードに収まるかを説明する。まず、特徴ベクトルがルートから探索され、14次元の全空間が4つの点に代表される空間に分割される。各代表点は枝ノードに相当する。特徴ベクトルvec1と枝ノードの代表点との距離を計算し、それらの距離のうち最も小さい枝ノードに特徴ベクトルvec1は収まる。次に、その枝ノードからさらに4つの枝ノードが分かれ、それぞれに代表点が割り当てられ、特徴ベクトルvec1との距離を計算する。それらのうちで最小の距離をもつ枝ノードに特徴ベクトルvec1は収まる。以上の処理を繰り返して、最終的に特徴ベクトルvec1は一番下の葉ノードに収まる。具体的に図９の場合では、番号6をもつ葉ノードである。

このように、特徴ベクトルvec1は葉ノード6に量子化される。この特徴ベクトルvec1は、関連する画像ＩＤ、特徴点の位置を有するのでインデックスファイルの葉ノード6には、画像ＩＤと特徴点が追加される。因みに、図９では各枝ノードの枝数は4であったが、実際のkd-treeの枝数、深さは図とは異なり、枝数は10、深さは6が使用される。すると葉ノードの総数は10の6乗個の10万個である。

以上、文書画像登録について説明を行った。このようにして検索の対象となる文書画像を、第一の特徴量及びインデックスとともにＤＢ３０７に登録（更新）しておく（Ｓ８０２）。そして、当該画像文書は紙文書として紙に印刷される。情報端末３のカメラなどでその印刷された紙文書の某ページの一部が撮影され、その一部画像を検索画像（クエリ）として、ＤＢ３０７から文書画像の検索が行なわれることになる。次に、この文書画像の検索処理を説明していく。

なお、これまで説明した文書画像登録(処理)は、画像検索サーバ１が行なう動作として説明したが必ずしも画像検索サーバ１によらずともよい。つまり、別の装置により、画像検索サーバ１の対象画像検索に先立って、上述したＤＢが予め作成されてもよい。

＜検索処理１＞
図１０は、画像検索処理１を説明するフローチャートである。ユーザは情報端末３を使用して紙文書５の一部画像を撮影し、画像検索サーバ１に撮影された一部画像をネットワーク４を介して送信する。この一部画像は、文書画像の検索の為に画像検索サーバ１に入力され検索画像（クエリ）として使用される。画像検索サーバ１は、以下説明する検索処理１及び検索処理２により、入力された一部画像に基づいて、ＤＢ３０７内からこれに一致する文書画像を検索する。そして検索された文書画像は、検索結果として情報端末３に送信され、表示装置（表示画面）に表示されるのである。

なお、画像検索処理１は、入力画像から、入力画像の第一の特徴量を抽出（第一特徴量抽出手段）し、入力画像の第一の特徴量と、対象画像の第一の特徴量とのマッチング判定を行い、マッチングすると判定された対象画像の第一の特徴量に対応する対象画像を、候補対象画像として検索する（第一特徴マッチング検索手段）までの処理に対応するものである。

画像検索にあたってはじめに、検索用情報が入力される。情報端末３から、一部画像と付帯情報がネットワーク４を介して画像検索サーバ１に送信される（Ｓ１００１）。付帯情報は、上述したように、例えば現在撮影している新聞（雑誌）の種類や発行体、発刊日、号数を含む情報である。これらの情報は、情報端末３のアプリケーションを用いて画像検索サーバ１に送られるようになっている。アプリケーションはカメラを起動して画像を撮影するとともに付帯情報を設定できるようになっており、その撮影画像に付帯情報を付して画像検索サーバ１に送ることができる。送信方法は、例えば、httpプロトコルを用いたネットワーク通信、送信ファイル形式はxml形式を採用できる。なお、一部画像は取り出し易いよう一時メモリ３０６に格納しておく。

次に、付帯情報からどの文書画像ＤＢを使用するかを設定する（Ｓ１００２）。例えば、付帯情報により発行体がＡ新聞社である場合、文書画像ＤＢ１、及びこれに対応する特徴量ＤＢ１、インデックス１が設定される。

次に、前述の第一特徴量抽出部３０１が一部画像から第一の特徴量の抽出を行う（Ｓ１００３）。特徴量ＤＢ内の特徴量と比較するためである。従って、一部画像の第一の特徴量は、前述の画像登録で行われた抽出処理方法と同一の処理によって抽出する。

そして次に、第一特徴量マッチング検索部３０２が一部画像の第一特徴量を用いて、ＤＢ３０７に記憶されている文書画像の第一の特徴量との特徴量マッチングを行う（Ｓ１００４）。特徴量マッチングは、kd-treeを用いて、一部画像から抽出された量子化された特徴ベクトルがどの葉ノードに収まるかを計算する。各特徴ベクトルが収まる葉ノードに登録されている画像ＩＤ、特徴点(位置)を取得する。その具体的な情報を図１１に示す。ここでは、画像ＩＤ「００１１」、「０１００」、「０００１」、及びそれらの特徴点が取得されている。そして図１１に示した情報を元に、一部画像がどの登録されている画像であるかを検索する。ここで得られる検索結果は、候補文書画像の画像ＩＤと、一部画像を含むと推定される文書画像内の部分領域である（Ｓ１００５）。なお、候補文書画像（画像ＩＤ及び部分領域）は、取り出し易いよう一時メモリ３０６に格納しておく。

第一特徴量マッチングについてもう少し説明を行う。一部画像の特徴ベクトルを入力し特徴ベクトル量子化までは、画像登録時のインデックス処理と同様である。ここで、特徴ベクトルが収まるべき葉ノードが決定する。次にインデックス検索で、該当葉ノードに登録されている画像ＩＤと特徴点を全て取得する(図１１)。第一特徴量マッチングにおいて、画像ＩＤと特徴点を取得したので、その中から正解と思われる画像ＩＤと特徴点を推定する。

図１２は、正解特徴点推定を説明するフローチャートである。最初に正解と思われる画像ＩＤとそれに含まれる特徴点を推定して抽出する。その後、一部画像が示している領域が、元の文書画像のどの領域(部分)に当たるかの画像位置検出を行い、一部画像が写っている領域を決定する。

図１３は、正解特徴点推定を説明する図の一例である。まず、特徴量マッチングにより、インデックス検索から得られた画像ＩＤとそれに対応する特徴点のリストが得られる。画像ＩＤ「００１１」、「０１００」、「０００１」と、それぞれ取得した特徴点の位置関係は、図のように示される。それらのうち、どの特徴点が最も正解に近いかをＲＡＮＳＡＣ（RANdom SAmple Consensus）推定を使用して推定を行う。得られる結果は、図に示されるように、画像ＩＤと、その中で正解と思われる破線で囲った特徴点群である。

図１４は、一部画像と文書画像との位置対応を示す図の一例である。ここで正解らしい特徴点群が得られたので、一部画像を処理することで得られた特徴点と位置の対応をとる。特徴点間の位置関係の矛盾がないように、二画像間の点の対応をとることができる。各特徴点の対応をとるのが難しい場合は、特徴ベクトル間の距離を計算し、最も小さくなるように対応をとっていけばよい。このように特徴点同士で対応が取れたので、一部画像がどのようにゆがんでいるかを計算することができて、その四隅の頂点が、文書画像のどの位置に対応するかを計算することができる。これは射影変換をすれば容易に計算できる。図のように、実線で囲まれた領域は、文書画像において、一部画像が表している部分領域であると推定される。なお、画像ＩＤ及び部分領域（又は部分領域を特定する座標情報）は、候補文書画像として含み、取り出し易いよう一時メモリ３０６に格納しておく。なお、候補文書画像における部分領域は、上記座標情報からその位置を特定可能である。

＜検索処理２＞
図１５は、画像検索処理２を説明するフローチャートである。画像検索処理２では、前述の推定された部分領域と、一部画像（入力画像）が本当に一致するかを確認するものである。これまで画像検索処理２では、入力された一部画像から抽象化した第一の特徴量を用いて、画像検索を行っていた。しかしながら、検索の誤りやレイアウトが似た文書同士が検索されて、どちらが正しい文書画像かを最終的に判定しかねる場合がある。このような場合、以下に説明するような画像の画素間での比較、別の特徴量を用いた画像の比較等を用いることで、推定された文書画像が本当に正しいかどうかをより高い精度で判定することができる。

ここで、比較の対象となる画像は、入力された一部画像（入力画像）と、一時メモリ３０６内の候補文書画像における部分領域を上記座標情報からその位置を特定し切り出した部分画像（候補文書画像の部分画像）である。因みに、候補文書画像の全体画像を利用する場合に比べ、部分画像はその画像サイズが小さいことから、画素比較を行っても高速にでき、検索処理全体の性能にほとんど影響はない。

再び図１５を参照する。カメラで撮影した一部画像が歪んでいる状態であると、二つの画像比較が正しく行われないので、まず画像変換を行う（Ｓ１５０１）。変換を行う画像は、一部画像と同一であると推定された文書画像の部分領域である。部分領域は、上述したように、一時メモリ３０６に格納されているので、ここから取得される。そして部分領域を一部画像と同じサイズ・同じ形になるように変形させる。この変換操作は、射影変換で実現できることは前述した。また、紙文書自体が曲がっていたり、ゆがんでいる場合が想定されるが、四隅の頂点だけを対応付けて射影変換するのではなく、対応する特徴点が多数あるならば、複数の特徴点を用いて矩形を作ってその中を射影変換すれば、そのようなゆがみにも対応できる。このようにして、同じサイズの画像を作成し、画像比較を行う準備を整える。

次に、画像比較を行うため、第二特徴量抽出部３０３が、比較対象の二画像の領域から第二の特徴量を抽出し（Ｓ１５０２）、第二特徴マッチング検索部３０４が第二の特徴量が二つの画像領域が一致するか否かのマッチング判定を行う（Ｓ１５０３）。そして、検索結果出力部３０５は、第二特徴量抽出マッチング検索部３０４で検索結果とされた対象画像を情報端末３に出力する（Ｓ１５０４）。

以下、第二の特徴量の抽出（Ｓ１５０２）、及び第二の特徴量マッチング判定（Ｓ１５０３）について、実施の形態毎に説明していく。

（実施形態１）
図１６は、ブロッブ比較による第二の特徴量マッチングを説明するフローチャートである。

まずはじめに、一部画像と、一部画像と同一であると推定された文書画像の部分領域について、それぞれの画像の背景を白、前景や文字の部分を黒とする二値化処理を行う(Ｓ１６０１)。この場合の二値化処理は、前述の本出願人による特許第4018310号を利用するよい。カメラで撮影した画像の背景の明るさが変化しても前景や文字だけが正しく黒と判定されるため、安定した結果が自動的に得られる。

次に、二値化の結果、黒画素と判定され、孤立している前景や文字の部分を塊(ブロッブ)として検出する（Ｓ１６０２）。ブロッブのプロパティ（第二の特徴量）として、ブロッブを包含する外接矩形、ブロッブの重心座標、及び黒画素数の割合をそれぞれ算出する。図１７に、ブロッブの一例を示す。

そして、主要なブロッブ同士(外接矩形の各辺が所定の長さ以上有するブロッブをいう)の外接矩形の大きさ、重心、及び黒画素数の割合を比較する（Ｓ１６０３）。比較の具体的な判定方法としては、例えば、外接矩形の縦辺同士の長さの比、横辺同士の長さの比がそれぞれ長いほうの辺を基準として90%以上100%以下であること、重心の座標間の距離が外接矩形の各辺の最長の10%以下であること、黒画素数の割合の比が90%以上100%以下であることとすることができる。このようにして比較した結果、同一でないと判定されたブロッブが存在しなければ、二画像が一致すると判定される（第二の特徴量マッチング判定）。

（実施形態２）
図１８においては、画素単位の比較である相互相関による第二の特徴量マッチングを説明するフローチャートである。

まず相互相関の演算を簡単にするため、一部画像と、一部画像と同一であると推定された文書画像の部分領域について、画像の二値化処理を行う。これは前述の二値化処理方法を用いる（Ｓ１８０１）。

次に、それぞれ画像を小ブロックに分割し小ブロック毎に相互相関値（第二の特徴量）の演算を行って、領域が一致しているか否かを判定する（Ｓ１８０２）。相互相関を演算するときは、黒画素を「１」、白画素を「−１」として畳み込み演算を行う。図１９に、相関算出の一例を示す。図に示されるように、小ブロック領域を所定の範囲内(例えば上下左右に10画素以内)で少しずつずらしながら相関値を演算していくと、あるずらし位置で相関値に鋭いピークが現れる場合がある。この場合、二つの小ブロックが一致していると判定することができる（Ｓ１８０３）。相関値ピーク判定には、極大判定および、近傍の相関値との差分が所定以上あるという方法を使う。相関値のピークを持つ小ブロックが、画像に含まれる全小ブロックの数と比較して、所定の割合(例えば90%)より大きければ二つの画像は一致すると判定される（第二の特徴量マッチング判定）。

（実施形態３）
図２０は、射影プロファイルによる第二の特徴量マッチングを説明するフローチャートである。画像の水平方向、垂直方向に画素値のヒストグラムをとる射影プロファイルを算出し、その形状比較を行うことで画像マッチング判定を行う。

まず一部画像と、一部画像と同一であると推定された文書画像の部分領域について、画像の二値化処理を行う。これは前述の二値化処理方法を用いる（Ｓ２００１）。

次に、ライン毎、コラム毎に画素値の総和を取り、最大値が255になるように正規化することで、各方向の射影プロファイル（第二の特徴量）を作成する（Ｓ２００２）。図２１に、射影プロファイルの一例を示す。プロファイルはノイズの影響を避けるために、移動平均をとって滑らかにするとよい。

次に、プロファイル比較を行う（Ｓ２００３）。具体的には、各方向のプロファイルの増減をその増減の幅に応じて文字列に符号化する(差分文字列符号化)。例えば、隣接するプロファイル値との差を、現プロファイル値Vc、前プロファイル値Vpとして、Vc-Vpが下記のような関係のとき、その差を所定の文字列に置き換える。
Vc-Vp >100 のとき、文字列A
100 >= Vc-Vp > 75 のとき、文字列B
75 >= Vc-Vp> 50 のとき、文字列C
50 >= Vc-Vp > 25 のとき、文字列D
25 >= Vc-Vp > 0 のとき、文字列E
0 >= Vc-Vp > -25 のとき、文字列F
-25 >= Vc-Vp > -50 のとき、文字列G
-50 >= Vc-Vp > -75 のとき、文字列H
-75 >= Vc-Vp > -100 のとき、文字列I
-100 >= Vc-Vp のとき、文字列J
その後、文字列パターンマッチングにおいて二つの文字列セットの比較を行い、一致する文字数を算出する。具体的に例えば、文字列ACBEFGEと文字列ACCEEGEとの比較で、一致している文字の数を算出する。これをライン、コラムの両プロファイルで実施し、二つの一致文字数が所定の値より大きければ、二画像は一致すると判定される（第二の特徴量マッチング判定）。また、プロファイル比較は、上記の方法だけでなく、相互相関を利用して、相関値のピークの有無を検出して一致度を判定してもよい。

（実施形態４）
図２２は、光学文字認識による第二の特徴量マッチングを説明するフローチャートである。一部画像と、一部画像と同一であると推定された文書画像の部分領域について、画像のＯＣＲ処理を行う（Ｓ２２０１）。ＯＣＲの結果、文字の位置情報、大きさ情報、文字コードが取得されるので、それらを比較し、文字の位置が同じか、一方の画像にしか文字がないか、文字コードが違うものが多いか、などの基準を用いて文字比較を行う（Ｓ２２０２）。所定の一致度以上であれば、二画像は一致すると判定される（第二の特徴量マッチング判定）。本実施形態による方法は、文字が多い画像に有効である。

上記4つの実施形態を示したが、必ずしも一種類で判定しなければならないものではなく、複数の実施形態を組合せて複合的に判定してもよい。

＜総括＞
以上、本発明に係る画像検索サーバ１によれば、検索対象画像の一部画像に相当する入力画像の第一の特徴量を用いて第一の特徴量マッチングを行って、候補とする画像の検索を行なう。また、検索された候補対象画像の部分画像（領域部分）を対象として、入力画像一部画像と部分画像との第二の特徴量を用いて第二の特徴量マッチングを行って、最終的に検索結果とする画像の検索を行なうので、高速に画像検索を行なうとともに生じやすい誤検索を防止して、精度の高い画像検索を行なう
即ち本発明によれば、入力画像に基づいて、高速且つ精度良く、入力画像を一部に含む画像の検索を行なう画像検索装置を提供することが可能となる。より具体的には、入力画像を検索対象画像の一部の画像とすることで高速に画像検索を行なうとともに、一部画像ゆえ生じやすい誤検索を防止して、精度の高い画像検索を行なう画像検索装置を本発明により提案することが可能となる。

なお、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１ 画像検索サーバ
２ 記憶装置
３ 情報端末
４ ネットワーク
５ 紙文書
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 補助記憶装置
１０５ 記憶媒体読取装置
１０６ 入力装置
１０７ 表示装置
１０８ 通信装置
３０１ 第一特徴量抽出部
３０２ 第一特徴量マッチング検索部
３０３ 第二特徴量抽出部
３０４ 第二特徴量マッチング検索部
３０５ 検索結果出力部
３０６ 一時メモリ
３０７ ＤＢ

特開２００９−２０８８９号公報 特開２００４−３３４３４１号公報

ジョナサン ハル、バーナ エロル、ジェイミー グラハム、シーファ ク、岸 秀信、ホーヘ マラレダ、ダニエル バン オルスト「ミックスド・メディア・リアリティ（ＭＭＲ）：紙と電子世界をつなぐ新しい方法」リコーテクニカルレポート、Ｎｏ３３、２００７年１２月、http://www。ricoh。co。jp/about/business_overview/report/33/pdf/A3314。pdf

Claims (12)

1. 検索の対象となる対象画像と前記対象画像から抽出された対象画像の第一の特徴量とが対応付けて記憶された記憶装置と接続され、入力された入力画像に基づいて前記入力画像を一部に含む対象画像を前記記憶装置から検索する画像検索装置であって、
   前記入力画像から、入力画像の第一の特徴量を抽出する第一特徴量抽出手段と、
   前記入力画像の第一の特徴量と、前記対象画像の第一の特徴量とのマッチング判定を行い、マッチングすると判定された前記対象画像の第一の特徴量に対応する対象画像及び当該対象画像における前記入力画像の位置情報を、候補対象画像として検索する第一特徴マッチング検索手段と、
   前記入力画像と、前記位置情報から特定された前記候補対象画像の部分画像とから、前記入力画像及び前記部分画像の第二の特徴量を抽出する第二特徴量抽出手段と、
   前記入力画像の第二の特徴量と、前記部分画像の第二の特徴量とのマッチング判定を行い、マッチングすると判定された前記部分画像の第二の特徴量に対応する対象画像を、検索結果とする第二特徴マッチング検索手段と、
   を有することを特徴とする画像検索装置。
2. 前記第二特徴量抽出手段は、
   前記入力画像及び前記部分画像を二値化する二値化手段と、
   二値化された前記入力画像及び前記部分画像から、前記第二の特徴量としてブロッブを検出するブロッブ検出手段とを有し、
   前記第二特徴マッチング検索手段は、
   検出された前記入力画像及び前記部分画像のブロッブの形状比較に基づいて、前記第二の特徴量のマッチング判定を行うブロッブ形状比較手段と、
   を有することを特徴とする請求項１に記載の画像検索装置。
3. 前記第二特徴量抽出手段は、
   前記入力画像及び前記部分画像を二値化する二値化手段と、
   二値化された前記入力画像及び前記部分画像をブロック分割し、前記第二の特徴量としてブロック毎に相関値を算出する相関値算出手段とを有し、
   前記第二特徴マッチング検索手段は、
   算出された前記入力画像及び前記部分画像の相関値に基づいて、前記第二の特徴量のマッチング判定を行う相関値比較手段と、
   を有することを特徴とする請求項１に記載の画像検索装置。
4. 前記第二特徴量抽出手段は、
   前記入力画像及び前記部分画像を二値化する二値化手段と、
   二値化された前記入力画像及び前記部分画像から、水平方向及び垂直方向に画素値のヒストグラムをとって、前記第二の特徴量として射影プロファイルを算出する射影プロファイル算出手段とを有し、
   前記第二特徴マッチング検索手段は、
   算出された前記入力画像及び前記部分画像の射影プロファイルに基づいて、前記第二の特徴量のマッチング判定を行う射影プロファイル比較手段と、
   を有することを特徴とする請求項１に記載の画像検索装置。
5. 前記第二特徴量抽出手段は、
   前記入力画像及び前記部分画像を二値化する二値化手段と、
   二値化された前記入力画像及び前記部分画像から、水平方向及び垂直方向に画素値のヒストグラムをとって射影プロファイルを算出する射影プロファイル算出手段と、
   算出された前記入力画像及び前記部分画像の射影プロファイルから、前記第二の特徴量として射影プロファイルの相関値を算出する相関値算出手段とを有し、
   前記第二特徴マッチング検索手段は、
   算出された前記入力画像及び前記部分画像の射影プロファイルの相関値に基づいて、射影プロファイルの相関値のマッチング判定を行う射影プロファイル相関値比較手段と、
   を有することを特徴とする請求項１に記載の画像検索装置。
6. 前記第二特徴量抽出手段は、
   前記入力画像及び前記候補対象画像から、前記第二の特徴量として文字の位置情報、大きさ情報、文字コードの少なくともいずれかを取得するＯＣＲ手段とを有し、
   前記第二特徴マッチング検索手段は、
   取得された文字の位置情報、大きさ情報、文字コードの少なくともいずれかに基づいて、前記第二の特徴量のマッチング判定を行う射影プロファイル相関値比較手段と、
   を有することを特徴とする請求項１に記載の画像検索装置。
7. 検索の対象となる対象画像と前記対象画像から抽出された対象画像の第一の特徴量とが対応付けて記憶された記憶装置と接続され、入力された入力画像に基づいて前記入力画像を一部に含む対象画像を前記記憶装置から検索する画像検索装置における画像検索方法であって、
   コンピュータが、
   前記入力画像から、入力画像の第一の特徴量を抽出する第一特徴量抽出手順と、
   前記入力画像の第一の特徴量と、前記対象画像の第一の特徴量とのマッチング判定を行い、マッチングすると判定された前記対象画像の第一の特徴量に対応する対象画像及び当該対象画像における前記入力画像の位置情報を、候補対象画像として検索する第一特徴マッチング検索手順と、
   前記入力画像と、前記位置情報から特定された前記候補対象画像の部分画像とから、前記入力画像及び前記部分画像の第二の特徴量を抽出する第二特徴量抽出手順と、
   前記入力画像の第二の特徴量と、前記部分画像の第二の特徴量とのマッチング判定を行い、マッチングすると判定された前記部分画像の第二の特徴量に対応する対象画像を、検索結果とする第二特徴マッチング検索手順と、
   を有することを特徴とする画像検索方法。
8. 前記第二特徴量抽出手順は、
   前記入力画像及び前記部分画像を二値化する二値化手順と、
   二値化された前記入力画像及び前記部分画像から、前記第二の特徴量としてブロッブを検出するブロッブ検出手順とを有し、
   前記第二特徴マッチング検索手順は、
   検出された前記入力画像及び前記部分画像のブロッブの形状比較に基づいて、前記第二の特徴量のマッチング判定を行うブロッブ形状比較手順と、
   を有することを特徴とする請求項７に記載の画像検索方法。
9. 前記第二特徴量抽出手順は、
   前記入力画像及び前記部分画像を二値化する二値化手順と、
   二値化された前記入力画像及び前記部分画像をブロック分割し、前記第二の特徴量としてブロック毎に相関値を算出する相関値算出手順とを有し、
   前記第二特徴マッチング検索手順は、
   算出された前記入力画像及び前記部分画像の相関値に基づいて、前記第二の特徴量のマッチング判定を行う相関値比較手順と、
   を有することを特徴とする請求項７に記載の画像検索方法。
10. 前記第二特徴量抽出手順は、
    前記入力画像及び前記部分画像を二値化する二値化手順と、
    二値化された前記入力画像及び前記部分画像から、水平方向及び垂直方向に画素値のヒストグラムをとって、前記第二の特徴量として射影プロファイルを算出する射影プロファイル算出手順とを有し、
    前記第二特徴マッチング検索手順は、
    算出された前記入力画像及び前記部分画像の射影プロファイルに基づいて、前記第二の特徴量のマッチング判定を行う射影プロファイル比較手順と、
    を有することを特徴とする請求項７に記載の画像検索方法。
11. 前記第二特徴量抽出手順は、
    前記入力画像及び前記部分画像を二値化する二値化手順と、
    二値化された前記入力画像及び前記部分画像から、水平方向及び垂直方向に画素値のヒストグラムをとって射影プロファイルを算出する射影プロファイル算出手順と、
    算出された前記入力画像及び前記部分画像の射影プロファイルから、前記第二の特徴量として射影プロファイルの相関値を算出する相関値算出手順とを有し、
    前記第二特徴マッチング検索手順は、
    算出された前記入力画像及び前記部分画像の射影プロファイルの相関値に基づいて、射影プロファイルの相関値のマッチング判定を行う射影プロファイル相関値比較手順と、
    を有することを特徴とする請求項７に記載の画像検索方法。
12. 前記第二特徴量抽出手順は、
    前記入力画像及び前記候補対象画像から、前記第二の特徴量として文字の位置情報、大きさ情報、文字コードの少なくともいずれかを取得するＯＣＲ手順とを有し、
    前記第二特徴マッチング検索手順は、
    取得された文字の位置情報、大きさ情報、文字コードの少なくともいずれかに基づいて、前記第二の特徴量のマッチング判定を行う射影プロファイル相関値比較手順と、
    を有することを特徴とする請求項７に記載の画像検索方法。

Images