JP2007164648A - 類似画像検索装置、類似画像検索方法、プログラム及び情報記録媒体 - Google Patents

Abstract

【課題】ターゲット画像を曖昧な記憶を頼りに検索する用途に好適な類似画像検索装置を実現する。
【解決手段】類似度算出処理部１１６は、問い合わせ画像と検索対象画像についてのレイアウト特徴量及び画像性質特徴量を用いて問い合わせ画像と検索対象画像の類似度を算出し、類似度の高い順に検索対象画像を順位付けするが、類似度の算出においてはレイアウト特徴量に画像性質特徴量より大きな重みを持たせる。検索対象画像は画像ＤＢ１１９の登録画像であり、その特徴量は特徴量ＤＢより類似度算出処理部に読み込まれる。問い合わせ画像が画像ＤＢの登録画像である場合には、その特徴量は特徴量ＤＢより読み込まれる。問い合わせ画像が未登録画像である場合には、その特徴量は各特徴量算出処理部１１４，１１５により算出され類似度算出処理部に入力される。
【選択図】図１

Description

本発明は、類似画像検索技術に係り、特に、ターゲット画像をそれについての曖昧な記憶を頼りに検索する用途に好適な類似画像検索装置及び方法に関する。

特許文献１に記載の画像検索装置においては、画像間の類似度算出に例えば３種類の特徴量ａ，ｂ，ｃを用いる。検索時に、特徴量ａに関する問い合わせ画像Ａ，特徴量ｂに関する問い合わせ画像Ｂ，特徴量ｃに関する問い合わせ画像Ｃを指定する。例えば、特徴量ａが色特徴量ならばターゲット画像と配色の雰囲気が似た画像を問い合わせ画像Ａとして指定し、特徴量ｂがエッジ特徴量ならばターゲット画像と構造の雰囲気が似た画像を問い合わせ画像Ｂとして指定し、特徴量ｃがテクスチャ特徴量ならばターゲット画像とテクスチャの雰囲気が似た画像を問い合わせ画像Ｃとして指定する。そして、問い合わせ画像Ａ，Ｂ，Ｃより特徴量ａ，ｂ，ｃを抽出し、検索対象画像（データベース登録画像）との間で特徴量ａ，ｂ，ｃの類似度（距離）を算出し、それらを合計して総合類似度（距離）とする。この類似度の合計の際に、特徴量ａ，ｂ，ｃの類似度に重み付けをつける態様も記載されている。

特許文献２に記載の情報処理装置においては、画像を属性毎のブロックに領域分割する。そして、入力画像と登録画像（電子データ）との対応ブロック間の位置、サイズ、属性と、ブロック内部の色、テクスチャ等の特徴量の類似率を求める。全ブロックの類似率を合計して総合類似率を求めるが、その際にブロックの占有率に応じた重み付けをする。

特許文献３に記載の画像検索装置においては、検索の際にキーワードとレイアウト情報を指定する。登録画像のインデックスとして、キーワードやレイアウト情報が含まれる。レイアウト情報は、たとえば、タイトルの有無、段組の有無、表の有無等を雛形（メニュー）を選ぶことにより指定する。キーワードとレイアウト情報を用いてインデックスを検索し、条件に合った電子データを特定する。

特開２０００−２８５１４１号公報 特開２００４−３４８７０６号公報 特開２００３−３３０９６５号公報

紙文書をスキャナ等の入力デバイスを使用して電子化する電子ファイリング等の装置は従来より存在していたが、大量に紙文書を扱う業務用途として使用されるにとどまっていた。しかし、スキャナの低価格化やスキャン機能を搭載したＭＦＰ(Multi Function Printer)の普及、ｅ−文書法等の法制化により、一般にもそのハンドリングの良さや利便性が認知され、紙文書をスキャンして電子化する機会が増えてきている。

また、紙文書のスキャンと同時に電子化された文書画像データをデータベース（以下ＤＢ）化して管理する画像ＤＢの用途も増えてきている。例えば紙文書の原本を保存しておく必要があっても管理のし易さという点で画像ＤＢを構築する場合もある。このような文書画像ＤＢにおいては、サーバ装置をおいて多数の人がアクセスする大規模なものから、個人のＰＣ内にＤＢを構築するパーソナル用途のものまで様々である。また、近年のＭＦＰでは内臓のＨＤＤに文書を蓄積する機能を備えており、ＭＦＰをベースとして文書画像ＤＢを構築する例もある。

このような文書画像ＤＢにおいて、大量の文書画像から所望の文書画像を検索するために検索機能を備えたものがある。現在主流の検索機能は、ＯＣＲ(Optical Character Reader)処理により認識した結果をキーワードとしてテキストベースでの全文検索または概念検索等を行うのが一般的となっている。しかし、このようなテキストベースの検索には
(1)ＯＣＲの精度に依存する
(2)検索キーワードが必要
(3)ヒット数が多い場合の絞り込みが困難
という問題点がある。

上記(1)については、ＯＣＲにより100%の正解率を得ることは現状では不可能であるため、入力した検索キーワードの部分にＯＣＲのミスがあればヒットしないという問題が生じる。上記(2)については、テキストベースの検索は、例えば、インターネットのＨＰを検索するような未知のものを検索する場合や、そのキーワードが明らかな場合には有効性が高いが、例えば数年前に入力した記憶が曖昧な文書を検索するような場合には、適切なキーワードが思い浮かばなければ検索することができない。また、ページ全体が写真やグラフィクスで文章が存在しない文書を検索することはできない。上記(3)については、テキストベースの検索の場合には順位付けが困難であるため、キーワードにヒットしたものは同格に扱われる。そのため、ヒット数が多い場合、ヒットした多数の文書画像を一つ一つ確認する必要があり、ユーザビリティが悪い。

一方、画像の特徴を用いて類似画像を検索する技術がある。特許文献１，２に記載の装置はその例である。しかし、特許文献１記載の装置の場合、文書画像中の図や表、写真、文章等の要素を同系列で扱ってしまうため期待する順位付け結果が得られないことが多い。また、特許文献２記載の装置の場合、領域分割した各オブジェクト毎に類似度を算出して総合類似度を算出するため、例えば、ターゲット文書と同じ写真が用いられた文書は、それがターゲット文書と同写真以外は内容が異なるものであっても類似性の高いものとして検索されてしまうといった問題がある。

また、特許文献３に記載の画像検索装置は、キーワードとレイアウト情報を指定して画像の絞込みを行うものである。一般のユーザが適切なレイアウト情報を指定することは容易でないため、同文献ではレイアウトの雛形（メニュー）を選ぶ方法が示されている。しかし、レイアウト情報によって少ない数の文書画像に絞り込もうとすると、多数のレイアウトの雛形を用意しなければならず、その選択が煩瑣となり利用しにくいものとなる。また、レイアウト雛形の数を少なくすると文書を効率的に絞り込むことができなくなる。また、キーワードによるテキストベースの検索に関して上に述べたような制約がある。

さて、ターゲット画像についての曖昧な記憶を頼りに、画像データベースからターゲット画像を検索する場合、ターゲット画像と同一の画像又は一部要素が同一の画像を問い合わせ画像として使用することは困難であるため、オブジェクトの類似度よりも画像の全体的雰囲気の類似度が重要になる。特許文献１，２に記載されたような装置は、そのような点が配慮されていない。

よって、本発明の目的は、ターゲット画像についての曖昧な記憶を頼りに画像データベース等からターゲット画像を検索する用途に適したユーザビリティの優れた類似画像検索装置及び方法を提供することにある。

請求項１記載の発明は、検索対象画像と問い合わせ画像との類似度を、それら画像より取得されたレイアウトに関する特徴量（以下、レイアウト特徴量と記す）及びレイアウト以外の性質に関する特徴量（以下、画像性質特徴量と記す）を用いて算出し、この類似度の算出においてレイアウト特徴量に画像性質特徴量より大きな重みを持たせ、算出された類似度の高い順に検索対象画像を順位付けすることを特徴とする類似画像検索方法である。

請求項２記載の発明は、検索対象画像と問い合わせ画像との類似度を、それら画像より取得されたレイアウトに関する特徴量（以下、レイアウト特徴量と記す）を用いて算出し、算出された類似度の高い順に検索対象画像を順位付けし、このようにして順位付けされた検索対象画像を所定数順位毎に２以上のグループに分割し、各グループ毎に、グループ内の検索対象画像と問い合わせ画像との類似度を、それら画像より取得されたレイアウト以外の性質に関する特徴量（以下、画像性質特徴量と記す）を用いて算出し、算出された類似度の高い順にグループ内の検索対象画像を順位付けすることを特徴とする類似画像検索方法である。

請求項３記載の発明は、問い合わせ画像と検索対象画像との類似度を算出し、算出された類似度の高い順に検索対象画像を順位付けする類似度算出処理手段を有し、前記類似度算出処理手段は、問い合わせ画像と検索対象画像との類似度を、それら画像より取得されたレイアウトに関する特徴量（以下、レイアウト特徴量と記す）及びレイアウト以外の性質に関する特徴量（以下、画像性質特徴量と記す）を用いて算出し、この類似度の算出においてレイアウト特徴量に画像性質特徴量より大きな重みを持たせることを特徴とする類似画像検索装置である。

請求項４記載の発明は、問い合わせ画像及び検索対象画像の類似度を、それら画像より取得されたレイアウトに関する特徴量（以下、レイアウト特徴量と記す）を用いて算出し、算出された類似度の高い順に検索対象画像を順位付けするレイアウト類似度算出処理手段と、前記レイアウト類似度算出処理手段により順位付けされた検索対象画像を所定数順位毎に２以上のグループに分割し、各グループ毎に、グループ内の検索対象画像と問い合わせ画像との類似度を、それら画像より取得されたレイアウト以外の性質に関する特徴量（以下、画像性質特徴量と記す）を用いて算出し、算出された類似度の高い順にグループ内の検索対象画像を順位付けする画像性質類似度算出処理手段とを有することを特徴とする類似画像検索装置である。

請求項５記載の発明は、画像からレイアウトに関する特徴量（以下、レイアウト特徴量と記す）を取得するレイアウト特徴量抽出手段と、画像からレイアウト以外の性質に関する特徴量（以下、画像性質特徴量と記す）を取得する画像性質特徴量抽出手段と、画像が登録された画像データベースと、前記画像データベースに登録された画像について前記レイアウト特徴量抽出手段により取得されたレイアウト特徴量及び前記画像性質特徴量抽出手段により取得された画像性質特徴量が登録された特徴量データベースと、前記画像データベースに登録された画像又は前記画像データに未登録の画像を問い合わせ画像として指定する手段と、問い合わせ画像と前記画像データベースに登録されている検索対象画像との類似度を算出し、算出された類似度の高い順に検索対象画像を順位付けする類似度算出処理手段と、前記類似度算出処理手段により順位付けされた検索対象画像を検索結果として表示する手段とを有し、前記類似度算出処理手段は、問い合わせ画像についての、前記レイアウト特徴量抽出手段及び前記画像性質特徴量抽出手段により取得された、又は、前記特徴量データベースに登録されているレイアウト特徴量及び画像性質特徴量と、前記画像データベースに登録されている検索対象画像についての前記特徴量データベースに登録されているレイアウト特徴量及び画像性質特徴量を用いて、問い合わせ画像と検索対象画像との類似度を算出し、この類似度の算出においてレイアウト特徴量に画像性質特徴量より大きな重みを持たせることを特徴とする類似画像検索装置である。

請求項６記載の発明は、画像からレイアウトに関する特徴量（以下、レイアウト特徴量と記す）を取得するレイアウト特徴量抽出手段と、画像からレイアウト以外の性質に関する特徴量（以下、画像性質特徴量と記す）を取得する画像性質特徴量抽出手段と、画像が登録された画像データベースと、前記画像データベースに登録された画像について前記レイアウト特徴量抽出手段により取得されたレイアウト特徴量が登録されたレイアウト特徴量データベースと、前記画像データベースに登録された画像について前記画像性質特徴量抽出手段により取得された画像性質特徴量が登録された画像性質特徴量データベースと、前記画像データベースに登録された画像又は前記画像データに未登録の画像を問い合わせ画像として指定する手段と、問い合わせ画像についての、前記レイアウト特徴量抽出手段により取得された、又は、前記レイアウト特徴量データベースに登録されているレイアウト特徴量、及び、前記画像データベースに登録されている検索対象画像についての前記特徴量データベースに登録されているレイアウト特徴量を用いて、問い合わせ画像と検索対象画像との類似度を算出し、算出された類似度の高い順に検索対象画像を順位付けするレイアウト類似度算出処理手段と、前記レイアウト類似度算出処理手段により順位付けされた検索対象画像を所定数順位毎に２以上のグループに分割し、各グループ毎に、グループ内の検索対象画像についての前記画像性質特徴量データベースに登録されている画像性質特徴量、及び、問い合わせ画像についての、前記画像性質特徴量抽出手段により取得された又は前記画像性質特徴量データベースに登録されている画像性質特徴量を用いて、検索対象画像と問い合わせ画像との類似度を算出し、算出された類似度の高い順にグループ内の検索対象画像を順位付けする画像性質類似度算出処理手段と、前記画像性質類似度算出処理手段により順位付けされた検索対象画像を検索結果として表示する手段とを有することを特徴とする類似画像検索装置である。

請求項７記載の発明は、請求項５又は６記載の発明に係る類似画像検索装置であって、前記画像性質特徴量抽出手段によって取得される画像性質特徴量に画像の色、エッジ及びテクスチャに関する特徴量が含まれることを特徴とする類似画像検索装置である。

請求項８記載の発明は、請求項５又は６記載の発明に係る類似画像検索装置であって、前記レイアウト特徴量抽出手段は、画像のレイアウト解析を行って画像中のオブジェクトとその属性を検出するレイアウト解析処理手段と、このレイアウト解析処理手段によるレイアウト解析の結果に基づいて画像のレイアウト特徴量を算出するレイアウト特徴量算出手段とからなることを特徴とする類似画像検索装置である。

請求項９記載の発明は、請求項８記載の発明に係る類似画像検索装置であって、前記レイアウト特徴量算出手段は、画像の領域分割を２種類以上の異なった分割数で行い、分割領域毎にレイアウト特徴量を算出することを特徴とする類似画像検索装置である。

請求項１０記載の発明は、請求項９記載の発明に係る類似画像検索装置であって、前記レイアウト特徴量算出手段により算出される前記分割領域毎のレイアウト特徴量に、分割領域内の属性毎のオブジェクトの面積率、オブジェクトの個数及びオブジェクト毎の面積率が含まれることを特徴とする類似画像検索装置である。

請求項１１記載の発明は、請求項５又は６記載の発明に係る類似画像検索装置であって、前記レイアウト特徴量抽出手段は、画像のレイアウト解析を行って画像中のオブジェクトとその属性を検出するレイアウト解析処理手段と、このレイアウト解析処理手段により検出された各オブジェクトにその属性に応じた一様データ又はテクスチャをマーキングしたレイアウト画像を生成するレイアウト画像生成処理手段と、このレイアウト画像生成処理手段により生成されたレイアウト画像からレイアウト特徴量を算出するレイアウト特徴量算出処理手段とからなることを特徴とする類似画像検索装置である。

請求項１２記載の発明は、請求項１１記載の発明に係る類似画像検索装置であって、前記レイアウト画像生成処理手段によってオブジェクトにマーキングされる一様データ又はテクスチャの類似性とオブジェクトの属性の類似性とを対応させることを特徴とする類似画像検索装置である。

請求項１３記載の発明は、請求項３又は４記載の発明に係る類似画像検索装置の類似度算出処理手段としてコンピュータを機能させるプログラムである。

請求項１４記載の発明は、請求項４記載の発明に係る類似画像検索装置のレイアウト類似度算出処理手段及び画像性質類似度算出処理手段としてコンピュータを機能させるプログラムである。

請求項１５記載の発明は、請求項５乃至１２のいずれか１項記載の発明に係る類似画像検索装置の手段のうち、少なくとも問い合わせ画像を指定する手段と検索結果を表示する手段以外の各手段としてコンピュータを機能させるプログラムである。

請求項１６記載の発明は、請求項１３，１４又は１５記載の発明に係るプログラムが記録された、コンピュータが読み取り可能な情報記録媒体である。

本発明の類似画像検索方法又は装置は、ターゲット画像をその曖昧な記憶を頼りに検索する用途に最適である。すなわち、請求項１，３，５，７〜１２に係る類似画像検索方法又は装置は、検索対象画像及び問い合わせ画像より取得されたレイアウト特徴量及び画像性質特徴量を用い、かつ、レイアウト特徴量に画像性質特徴量より大きな重みを持たせて算出した類似度により検索対象画像を順位付けすることによって、請求項２，４，６，７〜１２に係る類似画像検索方法又は装置は、検索対象画像及び問い合わせ画像より取得されたレイアウト特徴量を用いて算出した類似度により検索対象画像を順位付けし、順位付けされた検索対象画像をグループ別に、検索対象画像及び問い合わせ画像より取得された画像性質特徴量を用いて算出された類似度により最終的に順位付けすることによって、画像の大局的な情報であるレイアウトを優先した類似画像検索を行う。しかも画像より取得されたレイアウト特徴量を用いるため、利用者がレイアウト情報を指定する必要はない。このようなレイアウト優先の類似画像検索によれば、ターゲット画像とレイアウトが近いと思われる問い合わせ画像を用いることにより、ターゲット画像とレイアウトが近い画像が検索されるため、検索された画像の中でターゲット画像により近いと思われる画像を問い合わせ画像として用い検索を繰り返すことにより、ターゲット画像についての曖昧な記憶を頼りにターゲット画像を容易に絞り込むことができ、またレイアウト情報を利用者が指定する必要がなく、検索のユーザビリティが向上する。また、請求項７〜１２に係る類似画像検索装置は、類似度算出のための精度の良い特徴量の算出が可能となる。また、請求項９，１０に係る類似画像検索装置は、レイアウト特徴量算出時における動的なオブジェクトの選択動作や画像による特徴量の数の相違がなくなり、類似度算出処理の高速性を保つ上で有利である。また、請求項１１，１２に係る類似画像検索装置は、レイアウト情報によって作成したレイアウト画像からレイアウト特徴量を算出するに際して、レイアウトの属性を属性の類似性に応じて表す事が可能となるため、オブジェクトの属性が異なる画像同士を類似性の低いものとして扱う影響を軽減することできる。請求項１３，１４，１５に係るプログラム又は請求項１６に係る情報記録媒体に記録されたプログラムによれば、コンピュータを利用して請求項３〜１２に係る類似画像検索装置を容易に実現可能となる。

以下、本発明の実施の形態について、いくつかの実施例を用いて説明する。

図１は、本実施例に係る類似画像検索装置の機能的構成を説明するためのブロック図である。ここに例示した類似画像検索装置は、クライアント装置１００とサーバ装置１１０を有線／無線ＬＡＮやインターネット等の外部通信路１０４を介し接続した構成であるが、後述するように、このようなサーバ・クライアント構成に必ずしも限定されない。

クライアント装置１００は、ユーザからの指示を入力するための手段である入力デバイス１０３、検索結果として画像その他の情報を表示するための手段である表示デバイス１０１、ユーザから入力された指示の解釈や、サーバ装置１１０との通信、表示デバイス１０１の制御等を行う手段である処理制御部１０２を含む。

このようなクライアント装置１００は、具体的には例えば、パーソナルコンピュータ（ＰＣ）等のコンピュータであったり、ＰＤＡ（Personal Digital(Data) Assistants）、携帯電話機その他のモバイル端末等であり、処理制御部１０２はＰＣやモバイル端末等の組み込みコンピュータで動作するアプリケーションプログラムとして実現される。

サーバ装置１１０は、クライアント装置１００からのコマンドに応じて類似画像検索を行って検索結果をクライアント装置１００へへ出力するものであって、画像データベース（ＤＢ）１１８、特徴量データベース（ＤＢ）１１７、画像ＤＢ制御処理部１１９、類似度算出処理部１１６、レイアウト解析処理部１１３、レイアウト特徴量算出処理部１１５、画像性質特徴量算出処理部１１４、外部通信路１０４とのインターフェースである外部インターフェース１１１を含む構成である。

レイアウト解析処理部１１３は、画像のレイアウトを解析し画像要素を領域分割してオブジェクト化するとともにオブジェクトの属性を判定し、その結果であるレイアウト情報を出力する手段である。レイアウト特徴量算出処理部１１５は、レイアウト解析処理部１１３より出力されるレイアウト情報から画像のレイアウトに関する特徴量（レイアウト特徴量）を算出する手段である。画像性質特徴量算出処理部１１４は、画像のレイアウト以外の性質に関する特徴量（画像性質特徴量）を算出する手段である。

画像ＤＢ１１８は画像が登録されているデータベースである。特徴量ＤＢ１１７は、画像ＤＢ１１８に登録されている各画像に関し画像性質特徴量算出処理部１１４及びレイアウト特徴量算出処理部１１５によってそれぞれ算出された画像性質特徴量及びレイアウト特徴量のデータが登録画像と対応付けられて蓄積されたデータベースである。例えば、登録画像とそれに関する特徴量データは、同一のＩＤ（識別情報）を付して管理される。

類似度算出処理部１１６は、問い合わせ画像（画像ＤＢ１１８に登録されている画像又は外部より入力される未登録の画像）に関する特徴量と、各登録画像に関する特徴量とから、問い合わせ画像と登録画像との類似度を算出し、類似度の高い所定数までの登録画像を類似画像として選択し、それら類似画像を類似度の高い順に順位付けする手段である。類似度算出処理部１１６からは、それら順位付けられた類似画像を表す情報が画像ＤＢ制御処理部１１９へ出力されるが、ここでは各類似画像（登録画像）のＩＤが順位付けられて出力されるものとして説明する。画像ＤＢ制御処理部１１９は、画像ＤＢ１１９に対する画像の登録、画像の読み出し等を制御する手段である。

このようなサーバ装置１１０は例えば図２に示すようなコンピュータ上にソフトウェアによって実現される。図２において、２０１はプログラムに応じた演算や処理を実行するＣＰＵ、２０２はプログラムのコードや画像の符号データ等のデータを一時的に記憶するために使用される揮発性のメモリ、２０３は画像データやプログラム等を保存するためのハードディスク、２０５はモニタ、２０４はモニタ２０５に表示するためのデータを蓄積するためのビデオメモリである。ビデオメモリ２０４に書き込まれた画像データは定期的にモニタ２０５へ表示される。２０６はマウスやキーボード等の入力デバイス、２０７はインターネットやLAN等の外部通信路１０４を介してデータを送受信する外部インターフェース、２０８は上記各構成要素を相互接続するためのバスである。このようなコンピュータにおいて、画像ＤＢ１１８と特徴量ＤＢ１１７はハードディスク２０３に保持されることになろう。そして、コンピュータをサーバ装置１１０の各手段１１３，１１４，１１５，１１６，１１９として機能させるためのアプリケーションプログラムが、例えばハードディスク２０３よりメモリ２０２にロードされ、ＣＰＵ２０１で実行されることにより、コンピュータはサーバ装置１１０として動作する。このようなプログラム、及び、同プログラムが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子等のコンピュータが読み取り可能な各種の情報記録（記憶）媒体も本発明に包含されるものである。なお、後記実施例２，３に係るサーバ装置１１０について同様である。

クライアント装置１００も同様に、ＰＣのようなコンピュータやモバイル端末等の組み込みコンピュータのハードウェアを利用しソフトウェアにより実現可能であることは前述した通りである。そのためのプログラム、及び、同プログラムが記録された各種の情報記録（記憶）媒体も本発明に包含される。なお、後記実施例２，３に係るクライアント装置１００について同様である。

なお、サーバ装置１１０をＭＦＰ（Multi Function Printer）等の機器にハードウェア又はソフトウェアとして実装することも可能である。また、本実施例に係る画像検索システムは、サーバ装置とクライアント装置とに分離せず、例えば１つのＰＣやＭＦＰ等の機器に、図１の構成要素を一体的に実装する構成とすることも可能である。これは後記実施例２，３についても同様である。

次に、レイアウト解析処理部１１３について説明する。レイアウト解析処理部１１３は、画像のレイアウト解析によって画像を画像要素単位（オブジェクト）に分割するとともに各オブジェクトの属性判定を行うことによりレイアウト情報を生成する。

このようなレイアウト解析処理は、ＯＣＲ処理の前処理等でよく使用されており、そのための様々な手法が公開されている。レイアウト解析処理には、それら公知の手法を用いることができる。例えば特開２００１−２９７３０３号公報に開示されていような、文書画像の背景色を特定し、その背景色を用いて文書画像から背景領域以外の画素を抽出し、該画素を統合して連結成分を生成し、該連結成分を少なくとも形状特徴を用いて所定の領域に分類することにより、文字領域や写真領域を識別する手法を用いることができる。また、文字領域識別に、例えば特開平７−７３２７１号公報に開示されているような、適応的な２値化処理を行ったのちに外接矩形の形状を利用して文字領域を識別する手法を用いることもできる。また、例えば特開平７−２２１９６８号公報に開示されているような、画像の黒領域の隣接関係を解析して長方形に分離し、この長方形の大きさや黒領域の分布密度に基づいて画像の文字、写真、図形(グラフィックス)、表の各領域を識別する手法を用いることもできる。このような公知の手法(またはその組み合わせ)を用いることにより、文字領域や写真領域、グラフィックス領域、表領域等の属性毎の領域分割（オブジェクト化）およびその属性判定が可能となる。また、その際に、文字領域の位置やサイズ、文字の大きさ等に基づいてタイトル領域の識別等を行えば、類似画像検索時の類似度判定の精度を向上させることができる。

なお、分割されたオブジェクトの属性判定については、例えば、分割された領域のヒストグラムや周波数的な特徴量等を取得して、予め特徴量と属性の関係を学習させたニューラルネットワークやサポートベクタマシン等のパターン認識手法を使用する等しても良い。また、レイアウト解析処理の前に、その精度を高めるために、入力画像に対してスキュー補正や裏写り除去等の前処理を行うようにすればさらに好適である。

以上のレイアウト解析の例を図４に示す。図４において、（ａ）は入力画像（原稿）を示し、（ｂ）はそのレイアウト解析結果を示す。この例では、画像はタイトル、文字、図形又は写真の属性を持つ６個のオブジェクトに分割されている。

次に、レイアウト特徴量算出処理部１１５について説明する。レイアウト特徴算出処理部１１５は、画像（ページ）全体を異なる分割数で分割し、各分割数の場合の分割領域毎の特徴量をレイアウト情報から算出する。この分割数には１を含めることができる。つまり、画像全体を分割領域として特徴量を求めることも可能である。

分割数を１，４，１２として、それぞれの分割数でのレイアウト特徴量を算出する場合のレイアウト特徴量算出部１１５の機能的構成を図４に示す。図４において、４０１，４０２はページ分割処理部、４０３，４０４及び４０５は特徴量算出処理部である。

レイアウト解析処理部１１３から出力されたページ単位のレイアウト情報４００が入力されるが、これを図５の（ａ）に模式的に示す。このレイアウト情報はそのまま特徴量算出処理部４０３に入力する。つまり、特徴量算出処理部４０３においては、ページ全体を１つの分割領域として、つまり、分割数＝１として、特徴量の算出を行う。

ページ分割処理部４０１は、図５の（ｂ）に示すようにページを１〜４の４領域に分割し、レイアウト情報を４つの分割領域毎に分割して特徴量算出処理部４０４へ入力する。したがって、特徴量算出処理部４０４においては、図５の（ｂ）に示す各分割領域毎に特徴量を算出することになる。

ページ分割処理部４０２は、図５の（ｃ）に示すようにページを１〜１２の１２領域に分割し、レイアウト情報を１２の分割領域毎に分割して特徴量算出処理部４０５へ入力する。したがって、特徴量算出処理部４０５においては、図５の（ｃ）に示す各分割領域毎に特徴量を算出することになる。

特徴量算出処理部４０３，４０４，４０５はそれぞれ、各分割領域における
・属性（タイトル、文字、図形、写真、表等）毎のオブジェクトの面積率
・オブジェクトの個数
・オブジェクト毎の面積率
を特徴量として算出する。

属性毎のオブジェクトの面積率は、分割領域内のオブジェクトの種類および構成の類似度を測るための特徴量であり、オブジェクトの個数およびオブジェクト毎の面積率は分割領域内での属性によらないオブジェクト構成の類似性を図る特徴量である。オブジェクト毎の面積率は、面積率の大きい所定数（１以上）のオブジェクトについて算出することとすれば、特徴量の数が画像によって変化することを防ぐことができる（ただし、分割領域内のオブジェクト数が上記所定数未満の場合、この特徴量を０とする）。オブジェクトの位置的な特徴は、ページ分割数の多いレイアウト情報を処理することにより自動的に算出されることになる。

レイアウト特徴量算出処理部１１５を以上のような構成とすることによって、レイアウト特徴量算出時における動的なオブジェクトの選択動作や画像による特徴量の数の相違がなくなるため、類似画像検索時の類似度算出処理の高速化に有利である。ちなみに、前記特許文献１には、類似画像検索時に問い合わせ画像と比較する画像から問い合わせ画像の各オブジェクトに対応したオブジェクトを抽出し、オブジェクトの位置、サイズ、属性を比較して類似度を算出する手法が開示されている。しかし、かかる方法では、検索時に動的に被類似度算出画像のオブジェクトを選択する必要が生じるため、類似度算出処理に要する時間が非常に増加する懸念がある。上に述べた本実施例に係るレイアウト特徴量算出処理方法によれば、そのような動的なオブジェクト選択動作は不要となる。

なお、レイアウト特徴量算出処理におけるページの分割数や分割方法は上に述べた例に限らない。なお、分割を画像のサイズによらず等分とすることによって、画像サイズによって分割数が異なることによる複雑化を吸収することができる。また、分割数を多くすればオブジェクトの形状に対する精度の向上が見込める。

次に画像性質特徴量算出処理部１１４について説明する。画像の性質として色味、輪郭（エッジ）、模様（テクスチャ）を選び、それらに関する特徴量を算出する場合の画像性質特徴量算出処理部１１４の機能的構成を図６に示す。図６において、３０１は解像度変換処理部、３０２は色特徴量算出処理部、３０３はエッジ特徴量算出処理部、３０４はテクスチャ特徴量算出処理部である。

入力画像３００に対して解像度変換処理部３０１で解像度変換処理を施し、入力画像３００を所定の低い解像度の画像に変換してから各特徴量算出処理部４０３，４０４，４０５へ入力する。このような解像度変換を行う狙いは次の通りである。通常、文書画像は文字の判読性を保つために200〜300dpi程度の解像度を持つが、画像性質の特徴量の算出にはそれほど高い解像度を必要とせず、また、解像度を下げたほうが特徴量算出に要する時間を短縮できるからである。また、低解像度化することによって、入力画像中の文字や網点等の局所的なエッジが無効化されるため、特徴量算出精度の向上を期待できるからである。なお、入力画像３００が低解像度画像の場合や、特徴量算出処理時間の短縮の必要がない場合等は、解像度変換処理を省いてもよい。

解像度変換処理後の画像データから、色特徴量算出処理部３０２で色特徴量が算出され、エッジ特徴量算出処理部３０３でエッジ特徴量が算出され、テクスチャ特徴量算出処理部３０４でテクスチャ特徴量が算出される。これら３種の特徴量の算出には公知の手法を用いることができる。例えば、色特徴量については、画像の色ヒストグラム等を使用すればよい。色ヒストグラムは、適当な色空間（例えばＬａｂ，Ｌｕｖ，ＨＳＶなどが一般的）を選択し、その色空間を複数の領域に分割し、画像の各画素が色空間中のどの領域に対応するかを調べ、領域毎の画素数を全体の画素数により正規化することによって色特徴量を算出する手法を用いることができる。エッジ特徴量については、適当なエッジ抽出フィルタ等を用いて算出することができる。テクスチャ特徴量は、例えば同時生起行列に基づくテクスチャ抽出処理によって得ることができる（参考文献：高木幹夫雄及び下田陽久監修，「画像解析ハンドブック」，東京大学出版会，１９９１年）。

次に、画像登録時の動作について図７に示すフローチャートを参照して説明する。図１において、サーバ装置１１０内の破線は画像登録時のデータフローを示している。

クライアント装置１００のユーザが入力デバイス１０３より処理制御部１０２に対し画像データの登録指示を入力することにより、この登録指示が処理制御部１０２（アプリケーションプログラム）によって外部通信路１０４を介しサーバ装置１１０へ送信され（ステップ１０１）、登録すべき画像のデータが例えば外部通信路１０４を介してサーバ装置１１０へ入力される（ステップＳ１０２）。この画像データは外部インターフェース１１１を経由して取り込まれ、画像ＤＢ制御処理部１１９の制御によって画像ＤＢ１１８へ登録される（ステップＳ１０３）。当該画像データはレイアウト解析処理部１１３及び画像性質特徴量算出処理部１１４へも入力され、レイアウト解析処理部１１３により当該画像のレイアウト情報が得られ、このレイアウト情報からレイアウト特徴量算出処理部１１５によってレイアウト特徴量が算出されるとともに、画像性質特徴量算出処理部１１４によって当該画像の画像性質特徴量が算出される（ステップＳ１０４）。このようにして得られた当該画像のレイアウト特徴量及び画像性質特徴量のデータは、当該画像と関連付けられて（具体的には前述のように当該画像と同一のＩＤを付けられて）特徴量ＤＢ１１７に蓄積される（ステップＳ１０５）。

ここでは、画像データとその特徴量データとが画像ＤＢ１１８と特徴量ＤＢ１１７とに別々に蓄積されるものとしている。しかし、画像データと特徴量データを、例えばＸＭＬ(eXtensible Markup Langage)等の言語を使用し階層的なデータ構造として同一のデータベースに蓄積することにより、画像ＤＢ１１８と特徴量ＤＢ１１７を統合する形態をとることも可能である。また、画像ＤＢ１１８と特徴量ＤＢ１１７の一方又は両方をサーバ装置１１０の外部に設ける形態をとることも可能である。また、登録すべき画像データを外部通信路１０４を経由してサーバ装置１１０へ入力するものとしたが、スキャナやデジタルカメラ等の画像入力装置から直接的に画像データをサーバ装置１１０へ入力する形態をとることも可能である。

次に、類似画像検索動作について説明する。図８は、その説明のためのフローチャートである。図８において、左側に示すステップはクライアント側の処理ステップであり、右側のステップはサーバ側の処理ステップである。

ステップＳ２０１： クライアント装置100において、ユーザは入力デバイス１０３を通じて処理制御部１０２に対し、検索したい文書画像（ターゲット画像）とレイアウトが類似していると思われる文書画像を、問い合わせ画像として指定するとともに類似画像検索を指示する。処理制御部１０２はサーバ装置１１０へ、問い合わせ画像を指定して類似画像検索の指示を通知する。

問い合わせ画像として、画像ＤＢ１１８に登録済みの画像を指定することも外部ファイルにある画像から選択することもできる。外部ファイルにある画像が問い合わせ画像として指定された場合には、外部インターフェース１１１を介して外部通信路を通じ問い合わせ画像が入力される。図１には、この場合を想定し外部ファイルから問い合わせ画像１１２が入力された様子を示している。画像ＤＢ１１８に登録済みの画像が問い合わせ画像として指定された場合には、問い合わせ画像そのものの取り込みは不要であり、またステップＳ２０２，Ｓ２０３の処理も不要である。問い合わせ画像を登録済み画像の中からのみ選ぶという制限を加える場合には、画像ＤＢ１１８と特徴量ＤＢ１１７を別途作成しておくならば、特徴量を取得するための各手段１１３，１１４，１１５をサーバ装置１１０に備えておく必要もない。このことは後記実施例２，３においても同様である。

ここでは、問い合わせ画像１１２が外部ファイルから入力されたものとして以下の処理を説明する。

ステップＳ２０２： レイアウト解析処理部１１３により問い合わせ画像１１２に対し前記レイアウト解析処理が行われ、レイアウト情報が生成される。

ステップＳ２０３： 画像性質特徴量算出処理部１１４で問い合わせ画像１１３の画像性質特徴量が算出される。また、レイアウト特徴量算出処理部１１５で、レイアウト解析処理部１１３より入力されたレイアウト情報からレイアウト特徴量が算出される。算出された画像性質特徴量とレイアウト特徴量は類似度算出処理部１１６へ入力される。なお、画像ＤＢ１１８に登録済みの画像が問い合わせ画像として指定された場合には、その画像に関する特徴量データが特徴量ＤＢ１１７から類似度算出処理１１６に読み出される。

ステップＳ２０４： 類似度算出処理部１１６では、特徴量ＤＢ１１７より読み出した登録済みの各画像のレイアウト特徴量及び画像性質特徴量と、問い合わせ画像のレイアウト特徴量及び画像性質特徴量とを用いて画像間の類似度を算出し、登録済み画像を類似度の高いものから順位付けをする。このようにして順位付けした所定数の登録済み画像のＩＤを画像ＤＢ制御処理部１１９へ出力する。つまり、この段階で問い合わせ画像に類似した画像が検索されたわけである。

ここで、類似度算出処理部１１６における類似度算出処理について図９を参照して説明する。特徴量ＤＢ１１７に蓄積されている登録画像の特徴量は、特徴量の種類毎に図９に示すような特徴空間にマップされる。類似度算出においては、問合せ画像の特徴量も同様に特徴空間にマップされる。図９に示すポイント（黒点）は特徴空間にマップされた画像を示し、問合せ画像のポイントと各画像のポイントとの距離が画像の類似度となる。画像の特徴量の多くはベクトルデータであり、ポイント間の距離の計算には一般にユークリッド距離などのベクトルの距離定義式が利用される。画像の類似度は、特徴量毎に算出された類似度に重みを掛けて算出される。

すなわち、レイアウト特徴量の数をｎ個、各レイアウト特徴量の重みをLi、各レイアウト特徴量の類似度をＤi、画像性質特徴量の数をｍ個、各画像性質特徴量の重みをSj、各画像性質特徴量の類似度をｄj、レイアウト特徴量全体に対する重みをα、画像性質特徴量全体に対する重みをβとすると、画像の類似度Ｒは次の式（１）により算出される。ただし、式（１）において、α＜βの関係に選ばれる。

この例では、各特徴量の類似度が距離であるため、画像の類似度Ｒは、その値が小さいほど類似度は高いことを意味する。つまり、α＜βに設定することは、類似度計算の際にレイアウト特徴量の重みを画像性質特徴量の重みより大きくすることである。

なお、ＬｉやＳｊに予めα、βの値を掛けておき、全てのレイアウト特徴量の重みが画像性質特徴量の重みよりも大きくなるように設定しても良い。ここで、ＬｉやＳｊは各特徴量を正規化するための係数とみなす事が出来る。α、βは作為的な順位付けの為に使用される。ユーザの設定等によりＬｉ、Ｓｊの特定な重みを重くするような処理を行っても良い。また、α、βの重みも同様にユーザの指示に応じて変更するようにしても良い。

このように、レイアウト特徴量の重みを画像性質特徴量よりも重くする（重視する）ことによって、レイアウト特性に偏重した（ページの大局的な情報を優先した）類似画像検索が可能となる。このような大局的な情報を優先した類似画像検索によれば、ターゲット画像に関する曖昧な記憶を頼りに画像を絞り込み、容易にターゲット画像に到達することができる。

ステップＳ２０５： 前述のように、類似度算出処理部１１６は類似度に高い順に順位付けした画像のＩＤを画像ＤＢ制御処理部１１９へ入力する。画像ＤＢ制御処理部１１９は、そのＩＤを用いて、それら順位付けされた画像のデータを画像ＤＢ１１８より順に読み出し、外部インターフェース１１１により外部通信路１０４を介しクライアント装置１００へ送信させる。

ステップＳ２０６： クライアント装置１００の処理制御部１０３は、サーバ装置１１０より受信した画像を類似度の高い順に表示デバイス１０１に表示させる。この場合の表示方法は、特に限定されないが、例えば類似画像検索で一般的なサムネイルの一覧表示を用いることができる。

ユーザは、表示デバイス１０１に表示された画像中にターゲット画像が含まれているか確認し、ターゲット画像が見つかったならば「検索終了」の指示を入力デバイス１０３から入力し、類似画像検索を終了させることができる。表示された画像中にターゲット画像が含まれていない場合には、「再検索」の指示を入力し、類似画像検索を継続させることができる。

ステップ２０７: ユーザは、「再検索」の指示を入力した場合には、新たな問い合わせ画像を指定して類似画像検索を指示することができる。この際、表示デバイス１０１に表示されている前回検索された画像の中から、記憶しているターゲット画像のレイアウトに最も似ている画像を選び、それを新たな問い合わせ画像として指定することができる。つまり、前回の検索結果を利用した絞り込み検索を行うことが可能である。勿論、全く別の画像を問い合わせ画像として指定することも可能である。このような問い合わせ画像の指定と類似画像検索の指示が処理制御部１０２によりサーバ装置１１０へ通知される。

これに対し、サーバ装置１１０では前回の類似検索指示の場合と同様な処理の流れで類似画像検索が実行される。

以上のように、記憶しているターゲット画像にレイアウトが近いと思われる問い合わせ画像を用いて検索を開始するため、検索の初期の段階では、検索結果にターゲット画像が含まれている可能性は必ずしも高いとは限らない。しかし、検索結果中に最初の問い合わせ画像によりもターゲット画像に近い画像が含まれている可能性は高い。したがって、検索結果中のターゲット画像に近い画像を問い合わせ画像として選択し再度検索するという再帰的な類似画像検索を繰り返すことにより、問い合わせ画像とターゲット画像との類似度が次第に高くなり、登録画像中のターゲット画像の表示順位が上がる結果となる。これはあたかも、ターゲット画像を手繰り寄せるような効果をもたらす。しかも、前述したように類似度算出の際にレイアウト特徴量の重みを画像性質特徴量よりも重くし（重視し）、レイアウト（ページの大局的な情報）を優先した類似画像検索が行われる。よって、ターゲット画像に関する曖昧な記憶を頼りにして画像の絞り込みを行い、容易にターゲット画像に到達することができるため、ユーザビリティが大きく向上する。たなみに、従来のテキストベースの検索では、ターゲット画像を絞り込むことができない場合には、ユーザが多くの画像を確認するという頻雑かつ非効率な作業を必要とした。

なお、本実施例は、画像としてスキャンデータのようなラスタ画像を想定してレイアウト解析処理や特徴量算出処理を説明した。各種のアプリケーションソフトウェアにより生成される画像データやＰＤＦフォーマットの画像データの場合でも、それら画像データをラスタライズすることにより同様に扱うことができ、またそのような画像データの構造情報を使用してレイアウト解析を行うような構成とすることも可能である。

以上の説明から明らかなように、本実施例は請求項３，５，７，８，９，１０に係る発明の一実施例に相当する。また、本実施例は請求項１に係る発明の一実施例でもあることは明らかである。なお、レイアウト解析処理部１１３とレイアウト特徴量算出処理部１１５は、請求項５のレイアウト特徴量抽出手段を構成するものである。また、画像性質特徴量算出処理部１１４は請求項５の画像性質特徴量抽出手段に対応するものである。

図１０は、本実施例に係る類似画像検索装置の機能的構成を説明するためのブロック図である。前記実施例１との相違について次に説明する。

本実施例においては、特徴量ＤＢは、レイアウト特徴量ＤＢ１２１と画像性質特徴量ＤＢ１２３に分離されている。画像の登録時に、レイアウト特徴量算出処理部１１６により算出されたレイアウト特徴量は画像と対応付けられたレイアウト特徴量ＤＢ１２０に蓄積され、画像性質特徴量算出処理部１１４により算出された画像性質特徴量は画像と対応付けられて画像性質特徴量ＤＢ１２２に蓄積される。ただし、特徴量ＤＢを必ずしも物理的に２分割する必要はない。

また、類似度算出処理手段が、レイアウト類似度算出処理部１２０と画像性質類似度算出処理部１２２とに分離されている。レイアウト類似度算出処理部１２０は、類似画像検索時に、レイアウト特徴量を用いて問い合わせ画像と登録画像の類似度（レイアウト類似度と呼ぶ）を算出し、レイアウト類似度の高い順に登録画像を順位付けする処理を行う手段である。画質性質類似度算出処理部１２２は、類似画像検索時に、レイアウト類似度により順位付けされた登録画像に関して、所定数順位毎に、画像性質特徴量を用いて問い合わせ画像との類似度（画像性質類似度と呼ぶ）を算出し、画像性質類似度の高い順に登録画像の順位を付け直す手段である。つまり、レイアウト特徴により大局的な順位付けを行い、次に画像性質特徴により局所的な順位付けの変更を行う。

より詳しく説明すると、まずレイアウト類似度算出処理部１２０でレイアウト特徴量のみを用いて問い合わせ画像と登録画像のレイアウト類似度を式（２）により算出される。上述べたように２段階の順位付けを行うため、前記式（１）で用いられたような重みαは不要である。

このようなレイアウト類似度算出処理により、例えば図１１の上段に示すようにレイアウト類似度の高い順に登録画像の順位付けが行われたものとする。

次に、レイアウト類似度により順位付けられた登録画像を例えば１０順位毎に分けて、画像性質類似度算出処理部１２２で画像性質特徴量を用いて問い合わせ画像との画像性質類似度を算出する。この場合、その算出は式（３）により行われる。

画像性質類似度算出処理により、図１１の中段に示すように、レイアウト類似度による順位１〜１０の登録画像は画像性質類似度の高い順に順位が付け直される。レイアウト類似度による順位１１〜２０の登録画像、順位２１〜３０の登録画像も同様に画像性質類似度の高い順に順位が付け直される。かくして、最終的に図１１の下段に示すように順位付けがなされる。

このような最終的な順位付けに従って、それに対応した登録画像のＩＤが画像ＤＢ制御処理部１１１へ送られることにより、それらＩＤを持つ画像が順位付けに従った順に画像ＤＢより読み出されてクライアント装置１００へ送られ、表示デバイス１０１に検索結果として表示されることになる。

以上の説明から明らかなように、本実施例においても、画像のレイアウト特徴で大局的な類似度順位が決定されるため、ターゲット画像のレイアウトについての曖昧な記憶を頼りにターゲット画像を容易に絞り込むことができ、ユーザビリティの良好な類似画像検索が可能となる。

以上の説明から明らかなように、本実施例は、請求項４，６，７，８，９，１０に係る発明の一実施例に相当する。また、本実施例は請求項２に係る発明の一実施例でもあることは明らかである。なお、レイアウト解析処理部１１３とレイアウト特徴量算出処理部１１５は、請求項６のレイアウト特徴量抽出手段を構成するものである。また、画像性質特徴量算出処理部１１４は請求項６の画像性質特徴量抽出手段に対応するものである。

図１２は、本実施例に係る類似画像検索装置の機能的構成を説明するためのブロック図である。前記実施例１との相違について次に説明する。

本実施例においては、レイアウト解析処理部１１３とレイアウト特徴量算出処理部１１５の間にレイアウト画像生成処理部１３０が追加され、また、レイアウト特徴量算出処理部１１５の構成が変更されている。

レイアウト画像生成処理部１３０は、レイアウト解析処理部１１３によるレイアウト情報を入力として、画像中の各オブジェクトを、その属性に応じてマーキングした画像（レイアウト画像）を生成する手段である。このマーキングは、オブジェクトを、その属性に応じた一様データで塗りつぶす方法や、属性に応じたテクスチャで塗りつぶす方法を用いることができる。例えば図３（ａ）に示す文書画像がレイアウト解析により図３（ｂ）のようなオブジェクトに分割された場合、図３（ｂ）の各オブジェクトを属性対応の一様データで塗りつぶした如きレイアウト画像、又は、図１３に示すような各オブジェクトを属性対応のテクスチャで塗りつぶしたマーキング画像が生成される。

オブジェクトを属性に応じた一様データで塗りつぶすマーキング方法が、処理が簡単でありレイアウト特徴量算出処理部１１５の構成も単純になるため、好ましいであろう。

一様データで塗りつぶすマーキング方法においては、塗りつぶしデータによって属性を数値化することが可能である。この場合、属性の類似性を塗りつぶしデータの値に関連付けることかできる。これについて図１４により説明する。

図１４は、属性の類似性を考慮した数値化の説明図である。例えば、属性判定での属性種類を、文字、タイトル、表、図形、写真とした場合に、文字と最も類似性のある属性としてタイトル、次に表、図形、写真の順とし、それぞれの類似度合いに応じて距離を設定して数値化する。例えば、「文字とタイトルは類似性が高いので近距離とする。」、「写真と図形は類似性が高いので近距離とする」等々として、白地を０、文字を128、タイトルを150、表を190、図形を230、写真を250のように数値化し、その数値で対応する属性のオブジェクトを塗りつぶす。このようにすれば、属性の異なるオブジェクトを全く別のものとして扱わずに属性の類似性を数値化して、レイアウト類似度の算出を行う事が可能となる。このようにオブジェクトを属性に応じた数値により表した場合、レイアウト画像生成処理部130から出力される画像はグレー画像となる。なお、数値に代えて色で属性を表すようにしてもよい。

オブジェクトを属性に応じたテクスチャを塗りつぶすマーキング方法の場合に、属性の類似性の高いオブジェクトに類似性の高いテクスチャを使用することができる。図１３に示したレイアウト画像は、属性の類似性を考慮したテクスチャでオブジェクトを塗りつぶした例であり、文字系のオブジェクトに斜線のテクスチャ、写真系のオブジェクトに水平・垂直線のオブジェクトが用いられている。

レイアウト特徴量算出処理１１５では画像性質特徴量算出処理部１１４と同様な処理によってレイアウト特徴量を算出することができる。だだし、オブジェクトをテクスチャでマーキングする方法の場合には、色特徴量を使用する必要はない。

本実施例においては、レイアウト情報によって作成したレイアウト画像からレイアウト特徴量を算出するに際して、レイアウトの属性を属性の類似性に応じて表す事が可能となるため、オブジェクトの属性が異なる画像同士を類似性の低いものとして扱う影響を軽減することが可能となり、人の曖昧な記憶を頼りにした画像の絞り込みを容易にしてユーザビリティを向上させることができる。

なお、本実施例は前記実施例１の構成をベースとしたものであるが、前記実施例２の構成をベースにすることも可能である。すなわち、実施例２の構成において、レイアウト解析処理部１１３とレイアウト特徴算出処理部１３０の間にレイアウト画像生成処理部１３０を挿入した構成とすることも可能である。

以上の説明から明らかなように、本実施例は、請求項１１，１２に係る発明の一実施例に相当する。また、本実施例は請求項１に係る発明の一実施例でもあることは明らかである。レイアウト解析処理部１１３とレイアウト画像生成処理部１３０とレイアウト特徴量算出処理部１１５は、請求項１１のレイアウト特徴量抽出手段を構成するものである。

実施例１に係るシステム構成を示すブロック図である。 コンピュータの構成例を示すブロック図である。 レイアウト解析を説明するための図である。 レイアウト特徴量算出処理部の機能的構成を示すブロック図である。 レイアウト特徴量算出のための画像分割を説明するための図である。 画像性質特徴量算出処理部の機能的構成を示すブロック図である。 画像登録動作を説明するためのフローチャートである。 類似画像検索動作を説明するためのフローチャートである。 特徴空間上での類似度算出の概念図である。 実施例２に係るシステム構成を示すブロック図である。 レイアウト類似度と画像性質類似度とによる段階的な順序付けの説明図である。 実施例３に係るシステム構成を示すブロック図である。 テクスチャで塗りつぶす方法によるレイアウト画像の説明図である。 オブジェクトの属性の類似性とオブジェクトの塗りつぶしデータの値との対応付けを説明するための図である。

符号の説明

１００ クライアント装置
１０１ 表示デバイス
１０２ 処理制御部（アプリケーションプログラム）
１０３ 入力デバイス
１０４ 外部通信路
１１０ サーバ装置
１１１ 外部インターフェース
１１２ 問い合わせ画像
１１３ レイアウト解析処理部
１１４ 画像性質特徴量算出処理部
１１５ レイアウト特徴量算出処理部
１１６ 類似度算出処理部
１１７ 特徴量ＤＢ
１１８ 画像ＤＢ
１１９ 画像ＤＢ制御処理部
１２０ レイアウト類似度算出処理部
１２１ レイアウト特徴量ＤＢ
１２２ 画像性質類似度算出処理部
１２３ 画像性質特徴量ＤＢ
１３０ レイアウト画像生成処理部

Claims (16)

1. 検索対象画像と問い合わせ画像との類似度を、それら画像より取得されたレイアウトに関する特徴量（以下、レイアウト特徴量と記す）及びレイアウト以外の性質に関する特徴量（以下、画像性質特徴量と記す）を用いて算出し、この類似度の算出においてレイアウト特徴量に画像性質特徴量より大きな重みを持たせ、
   算出された類似度の高い順に検索対象画像を順位付けすることを特徴とする類似画像検索方法。
2. 検索対象画像と問い合わせ画像との類似度を、それら画像より取得されたレイアウトに関する特徴量（以下、レイアウト特徴量と記す）を用いて算出し、算出された類似度の高い順に検索対象画像を順位付けし、
   このようにして順位付けされた検索対象画像を所定数順位毎に２以上のグループに分割し、各グループ毎に、グループ内の検索対象画像と問い合わせ画像との類似度を、それら画像より取得されたレイアウト以外の性質に関する特徴量（以下、画像性質特徴量と記す）を用いて算出し、算出された類似度の高い順にグループ内の検索対象画像を順位付けすることを特徴とする類似画像検索方法。
3. 問い合わせ画像と検索対象画像との類似度を算出し、算出された類似度の高い順に検索対象画像を順位付けする類似度算出処理手段を有し、
   前記類似度算出処理手段は、問い合わせ画像と検索対象画像との類似度を、それら画像より取得されたレイアウトに関する特徴量（以下、レイアウト特徴量と記す）及びレイアウト以外の性質に関する特徴量（以下、画像性質特徴量と記す）を用いて算出し、この類似度の算出においてレイアウト特徴量に画像性質特徴量より大きな重みを持たせることを特徴とする類似画像検索装置。
4. 問い合わせ画像及び検索対象画像の類似度を、それら画像より取得されたレイアウトに関する特徴量（以下、レイアウト特徴量と記す）を用いて算出し、算出された類似度の高い順に検索対象画像を順位付けするレイアウト類似度算出処理手段と、
   前記レイアウト類似度算出処理手段により順位付けされた検索対象画像を所定数順位毎に２以上のグループに分割し、各グループ毎に、グループ内の検索対象画像と問い合わせ画像との類似度を、それら画像より取得されたレイアウト以外の性質に関する特徴量（以下、画像性質特徴量と記す）を用いて算出し、算出された類似度の高い順にグループ内の検索対象画像を順位付けする画像性質類似度算出処理手段とを有することを特徴とする類似画像検索装置。
5. 画像からレイアウトに関する特徴量（以下、レイアウト特徴量と記す）を取得するレイアウト特徴量抽出手段と、
   画像からレイアウト以外の性質に関する特徴量（以下、画像性質特徴量と記す）を取得する画像性質特徴量抽出手段と、
   画像が登録された画像データベースと、
   前記画像データベースに登録された画像について前記レイアウト特徴量抽出手段により取得されたレイアウト特徴量及び前記画像性質特徴量抽出手段により取得された画像性質特徴量が登録された特徴量データベースと、
   前記画像データベースに登録された画像又は前記画像データに未登録の画像を問い合わせ画像として指定する手段と、
   問い合わせ画像と前記画像データベースに登録されている検索対象画像との類似度を算出し、算出された類似度の高い順に検索対象画像を順位付けする類似度算出処理手段と、 前記類似度算出処理手段により順位付けされた検索対象画像を検索結果として表示する手段とを有し、
   前記類似度算出処理手段は、問い合わせ画像についての、前記レイアウト特徴量抽出手段及び前記画像性質特徴量抽出手段により取得された、又は、前記特徴量データベースに登録されているレイアウト特徴量及び画像性質特徴量と、前記画像データベースに登録されている検索対象画像についての前記特徴量データベースに登録されているレイアウト特徴量及び画像性質特徴量を用いて、問い合わせ画像と検索対象画像との類似度を算出し、この類似度の算出においてレイアウト特徴量に画像性質特徴量より大きな重みを持たせることを特徴とする類似画像検索装置。
6. 画像からレイアウトに関する特徴量（以下、レイアウト特徴量と記す）を取得するレイアウト特徴量抽出手段と、
   画像からレイアウト以外の性質に関する特徴量（以下、画像性質特徴量と記す）を取得する画像性質特徴量抽出手段と、
   画像が登録された画像データベースと、
   前記画像データベースに登録された画像について前記レイアウト特徴量抽出手段により取得されたレイアウト特徴量が登録されたレイアウト特徴量データベースと、
   前記画像データベースに登録された画像について前記画像性質特徴量抽出手段により取得された画像性質特徴量が登録された画像性質特徴量データベースと、
   前記画像データベースに登録された画像又は前記画像データに未登録の画像を問い合わせ画像として指定する手段と、
   問い合わせ画像についての、前記レイアウト特徴量抽出手段により取得された、又は、前記レイアウト特徴量データベースに登録されているレイアウト特徴量、及び、前記画像データベースに登録されている検索対象画像についての前記特徴量データベースに登録されているレイアウト特徴量を用いて、問い合わせ画像と検索対象画像との類似度を算出し、算出された類似度の高い順に検索対象画像を順位付けするレイアウト類似度算出処理手段と、
   前記レイアウト類似度算出処理手段により順位付けされた検索対象画像を所定数順位毎に２以上のグループに分割し、各グループ毎に、グループ内の検索対象画像についての前記画像性質特徴量データベースに登録されている画像性質特徴量、及び、問い合わせ画像についての、前記画像性質特徴量抽出手段により取得された又は前記画像性質特徴量データベースに登録されている画像性質特徴量を用いて、検索対象画像と問い合わせ画像との類似度を算出し、算出された類似度の高い順にグループ内の検索対象画像を順位付けする画像性質類似度算出処理手段と、
   前記画像性質類似度算出処理手段により順位付けされた検索対象画像を検索結果として表示する手段とを有することを特徴とする類似画像検索装置。
7. 前記画像性質特徴量抽出手段によって取得される画像性質特徴量に画像の色、エッジ及びテクスチャに関する特徴量が含まれることを特徴とする請求項５又は６記載の類似画像検索装置。
8. 前記レイアウト特徴量抽出手段は、画像のレイアウト解析を行って画像中のオブジェクトとその属性を検出するレイアウト解析処理手段と、このレイアウト解析処理手段によるレイアウト解析の結果に基づいて画像のレイアウト特徴量を算出するレイアウト特徴量算出手段とからなることを特徴とする請求項５又は６記載の類似画像検索装置。
9. 前記レイアウト特徴量算出手段は、画像の領域分割を２種類以上の異なった分割数で行い、分割領域毎にレイアウト特徴量を算出することを特徴とする請求項８記載の類似画像検索装置。
10. 前記レイアウト特徴量算出手段により算出される前記分割領域毎のレイアウト特徴量に、分割領域内の属性毎のオブジェクトの面積率、オブジェクトの個数及びオブジェクト毎の面積率が含まれることを特徴とする請求項９記載の類似画像検索装置。
11. 前記レイアウト特徴量抽出手段は、画像のレイアウト解析を行って画像中のオブジェクトとその属性を検出するレイアウト解析処理手段と、このレイアウト解析処理手段により検出された各オブジェクトにその属性に応じた一様データ又はテクスチャをマーキングしたレイアウト画像を生成するレイアウト画像生成処理手段と、このレイアウト画像生成処理手段により生成されたレイアウト画像からレイアウト特徴量を算出するレイアウト特徴量算出処理手段とからなることを特徴とする請求項５又は６記載の類似画像検索装置。
12. 前記レイアウト画像生成処理手段によりオブジェクトにマーキングされる一様データ又はテクスチャの類似性とオブジェクトの属性の類似性とを対応させることを特徴とする請求項１１記載の類似画像検索装置。
13. 請求項３又は４記載の類似画像検索装置の類似度算出処理手段としてコンピュータを機能させるプログラム。
14. 請求項４記載の類似画像検索装置のレイアウト類似度算出処理手段及び画像性質類似度算出処理手段としてコンピュータを機能させるプログラム。
15. 請求項５乃至１２のいずれか１項記載の類似画像検索装置の手段のうち、少なくとも問い合わせ画像を指定する手段と検索結果を表示する手段以外の各手段としてコンピュータを機能させるプログラム。
16. 請求項１３，１４又は１５記載のプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。

Images