JP2004334337A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2004334337A JP2004334337A JP2003125815A JP2003125815A JP2004334337A JP 2004334337 A JP2004334337 A JP 2004334337A JP 2003125815 A JP2003125815 A JP 2003125815A JP 2003125815 A JP2003125815 A JP 2003125815A JP 2004334337 A JP2004334337 A JP 2004334337A
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- similarity
- document
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】検索クエリ画像のアスペクト比と、該検索クエリ画像を複数のメッシュブロックに分割した各メッシュブロックの画像特徴量の位置配列からなるレイアウト画像特徴量を抽出する。検索クエリ画像を少なくとも2種類の回転角で回転した場合に、各回転角におけるアスペクト比に基づいて、それぞれがアスペクト比とレイアウト画像特徴量とを対応付けた画像群を記憶している記憶媒体から検索対象画像を各回転角毎に選出する。選出された検索対象画像のレイアウト画像特徴量と、検索クエリ画像のレイアウト画像特徴量中の画像特徴量の位置配列を各回転角に応じて変更した場合のレイアウト画像特徴量との類似比較を各回転角毎に実行する。各回転角毎に得られる類似度の内の最大の類似度を、検索クエリ画像と検索対象画像の総合類似度として決定する。決定した総合類似度に対応する検索対象画像を検索結果画像として出力する。
【選択図】 図13A
Description
【発明の属する技術分野】
本発明は、検索条件となる比較元画像と、その比較先画像との類似度に基づいて、類似画像検索を行う画像処理技術に関するものである。
【0002】
【従来の技術】
従来、検索対象画像中の部分画像のレイアウトに基づいて、所望のレイアウトを有する画像を類似画像検索する場合には、検索条件となる検索クエリ画像を変倍してM×NあるいはM×Mのブロックに分割し、各ブロックに対して代表色を決定し、検索時には、その代表色と、検索対象画像のブロックの代表色の差異でもって、検索結果となる画像を決定するものがある。
【0003】
一方で、画像中の文字行を抽出し、文字行画像を4方向回転した場合にそれぞれ得られる文字画像に対しOCR処理を施し、その尤度が最大となる方向を文書方向とする方向検知処理が、特許文献1や2で提案されている。そして、この方向検知処理を上述の画像中のレイアウトを利用した類似画像検索に適応した場合には、検索クエリ画像を適宜回転してその画像特徴量を算出した上で、検索対象画像の画像特徴量との類似比較を行い、その各回転した時における類似度の内、最大値となる時の回転角度における類似度を総合類似度として、検索クエリ画像の向きやレイアウトを有する画像を検出することが可能である。
【0004】
【特許文献1】
特許第3186712号
【特許文献2】
特許第3186246号
【発明が解決しようとする課題】
しかしながら、上記従来の類似画像検索においては、検索クエリ画像を変倍した上で、類似画像検索を行うので、もともとの画像のアスペクト比が失われた状態で類似画像検索が実行されることになり、適切に所望の画像を検索できない場合があった。
【0005】
また、本来の方向検知処理の処理対象である文字画像パターン辞書のような、そのパターン数が限定されている環境にこの方向検知処理を適応する場合には問題とはならないが、処理対象の画像の数が日々更新され変化するような環境で実現される類似画像検索に方向検知処理を適応する場合には、その処理時間が大きな問題となる。
更に、画像が文字を含まない場合には正しく方向検知処理を行うことはできず、たとえ登録画像が全て文字を含み方向検知処理により正しい向きに補正して検索のための情報を抽出していたとしても、クエリ画像が文字を含まない場合には必ず回転を考慮した検索を行わなければ所望の画像を検索できない。
【0006】
更に、また、紙文書等の原稿から検索クエリ画像を生成して、類似画像検索を行う場合には、その生成時の原稿の向きによって検索クエリ画像のレイアウトが異なることになり、同一レイアウトでも向きによって検索精度が著しく異なってしまい、場合によっては、所望の画像を検索できない場合があった。
【0007】
本発明は上記の課題を解決するためになされたものであり、所望の画像を効率的に検索することができる画像処理技術を提供することを目的とする。
【0008】
【課題を解決するための手段】
上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
検索条件となる検索クエリ画像と、その検索対象画像との類似度に基づいて、類似画像検索を行う画像処理装置であって、
前記検索クエリ画像のアスペクト比と、該検索クエリ画像を複数のメッシュブロックに分割した各メッシュブロックの画像特徴量の位置配列からなるレイアウト画像特徴量を抽出する抽出手段と、
前記検索クエリ画像を少なくとも2種類の回転角で回転した場合に、各回転角におけるアスペクト比に基づいて、それぞれがアスペクト比とレイアウト画像特徴量とを対応付けた画像群を記憶している記憶媒体から検索対象画像を前記各回転角毎に選出する選出手段と、
前記選出手段で選出された検索対象画像のレイアウト画像特徴量と、前記検索クエリ画像のレイアウト画像特徴量中の画像特徴量の位置配列を前記各回転角に応じて変更した場合のレイアウト画像特徴量との類似比較を前記各回転角毎に実行する比較手段と、
前記比較手段によって前記各回転角毎に得られる類似度の内の最大の類似度を、前記検索クエリ画像と前記検索対象画像の総合類似度として決定する決定手段と、
前記決定手段で決定した総合類似度に対応する検索対象画像を検索結果画像として出力する出力手段と
を備える。
【0009】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【0010】
図1は本発明の実施形態の画像処理システムの構成を示すブロック図である。
【0011】
この画像処理システムは、オフィス10とオフィス20とをインターネット等のネットワーク104で接続された環境で実現する。
【0012】
オフィス10内に構築されたLAN107には、複数種類の機能を実現する複合機であるMFP(Multi Function Peripheral)100、MFP100を制御するマネージメントPC101、クライアントPC102、文書管理サーバ106及びそのデータベース105、及びプロキシサーバ103が接続されている。
【0013】
オフィス10内のLAN107及びオフィス20内のLAN108は、双方のオフィスのプロキシサーバ103を介してネットワーク104に接続されている。
【0014】
MFP100は、特に、紙文書を電子的に読み取る画像読取部と、画像読取部から得られる画像信号に対する画像処理を実行する画像処理部を有し、この画像信号はLAN109を介してマネージメントPC101に送信することができる。
【0015】
マネージメントPC101は、通常のPCであり、内部に画像記憶部、画像処理部、表示部、入力部等の各種構成要素を有するが、その構成要素の一部はMFP100に一体化して構成されている。
【0016】
尚、ネットワーク104は、典型的にはインターネットやLANやWANや電話回線、専用デジタル回線、ATMやフレームリレー回線、通信衛星回線、ケーブルテレビ回線、データ放送用無線回線等のいずれか、またはこれらの組み合わせにより実現されるいわゆる通信ネットワークであり、データの送受信が可能であれば良い。
【0017】
また、マネージメントPC101、クライアントPC102、文書管理サーバ等の各種端末はそれぞれ、汎用コンピュータに搭載される標準的な構成要素(例えば、CPU、RAM、ROM、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等)を有している。
【0018】
次に、MFP100の詳細構成について、図2を用いて説明する。
【0019】
図2は本発明の実施形態のMFPの詳細構成を示すブロック図である。
【0020】
図2において、原稿台とオートドキュメントフィーダ(ADF)を含む画像読取部110は、束状のあるいは1枚の原稿画像を光源(不図示)で照射し、原稿反射像をレンズで固体撮像素子上に結像し、固体撮像素子からラスタ状の画像読取信号を所定密度(600DPI等の)のラスタ画像として得る。
【0021】
また、MFP100は、画像読取信号に対応する画像を印刷部112で記録媒体に印刷する複写機能を有し、原稿画像を1つ複写する場合には、この画像読取信号をデータ処理部115で画像処理して記録信号を生成し、これを印刷部112によって記録媒体上に印刷させる。一方、原稿画像を複数複写する場合には、記憶部111に一旦一つ分の記録信号を記憶保持させた後、これを印刷部112に順次出力して記録媒体上に印刷させる。
【0022】
一方、クライアントPC102から出力される記録信号は、LAN107及びネットワークIF114を介してデータ処理部115が受信し、データ処理部115は、その記録信号を印刷部112で記録可能なラスターデータに変換した後、印刷部112によって記録媒体上に印刷させる。
【0023】
MFP100への操作者の指示は、MFP100に装備されたキー操作部とマネージメントPC101に接続されたキーボード及びマウスからなる入力部113から行われ、これら一連の動作はデータ処理部115内の制御部(不図示)で制御される。また、操作入力の状態表示及び処理中の画像データの表示は、表示部116で行われる。
【0024】
記憶部111は、マネージメントPC101からも制御され、MFP100とマネージメントPC101とのデータの送受信及び制御は、ネットワークIF117及びLAN109を介して行われる。
【0025】
尚、MFP100では、後述する各種処理を実行するための各種操作・表示をユーザに提供するユーザインタフェースを、表示部116及び入力部113によって実現している。このユーザインタフェースでは、例えば、登録対象の画像データを紙文書から登録するのか電子文書から登録するのかを選択的に指定することが可能である。
【0026】
本発明による画像処理システムで実行する処理としては、大きく分けて画像データを登録する登録処理と、所望の画像データを検索する検索処理の2つがある。
【0027】
尚、本実施形態では、画像処理システム全体の処理効率を向上するために、以下に説明する各種処理を、画像処理システムを構成する各種端末に分散させて実行するようにしているが、1つの端末(例えば、MFP100)上で実行するようにしても構わない。
【0028】
まず、登録処理について説明する。
【0029】
[登録処理]
登録対象の画像データの登録方法としては、紙文書をスキャン入力して生成した画像データを登録する場合と、文書作成アプリケーション等で作成された電子文書をラスタ画像に展開した画像データを登録する場合がある。
【0030】
図3は本発明の実施形態の登録処理を示すフローチャートである。
【0031】
まず、ステップS301で、ユーザによるユーザインタフェースの操作内容に基づいて、紙文書登録であるか否かを判定する。紙文書登録である場合(ステップS301でYES)、ステップS302に進み、紙文書登録処理を行う。尚、この処理の詳細については後述する。一方、紙文書登録でない場合(ステップS301でNO)、ステップS303に進む。
【0032】
ステップS303で、電子文書登録であるか否かを判定する。電子文書登録である場合(ステップS303でYES)、ステップS304に進み、電子文書登録処理を行う。尚、この処理の詳細については後述する。一方、電子文書登録でない場合(ステップS303でNO)、処理を終了する。
【0033】
次に、ステップS302の紙文書登録処理の詳細について、図4を用いて説明する。
【0034】
図4は本発明の実施形態の紙文書登録処理の詳細を示すフローチャートである。
【0035】
尚、この処理は、画像読取部110のADFに、登録対象の紙文書がセットされ、入力部113の登録ボタンが操作された時点で開始される。また、登録対象の紙文書は、1枚でも複数枚でも可能であるが、複数枚の場合は、その紙文書から得られる画像データ群(ページ画像群)を1つのファイルとして管理することになる。
【0036】
まず、ステップS403で、登録ボタンが操作されると、画像読取部110で読み取る紙文書を特定するための文書IDを発行する。
【0037】
ステップS404で、ADFに紙文書があるか否かを判定する。紙文書がない場合(ステップS404でNO)、ステップS409に進む。一方、紙文書がある場合(ステップS404でYES)、ステップS405に進み、画像読取部110によってADFから紙文書を1枚スキャンする。
【0038】
ステップS406で、スキャン画像を特定するためのページIDを追加発行して、記憶部111に記憶する。ステップS407で、スキャン画像数を示すページ数Mをカウントアップする。ステップS408で、ページIDでファイル名を生成してスキャン画像データを記憶装置111へ記憶する一方、記憶部111から順次スキャン画像データをLAN109経由でマネージメントPC101へ転送する。
【0039】
尚、このスキャン画像データは、例えば、JPEG形式の画像であるとするが、これに限定されるものではなく、色情報を保存しておくことが可能な画像形式(例えば、GIF、BMP)であればどのようなものでも良い。
【0040】
一方、ステップS404において、ADFに紙文書がなくなった場合(ステップS404でNO)、ステップS409で、マネージメントPC101からLAN109を介して文書管理サーバ106へ全スキャン画像データファイルを送信して、そのスキャン画像データをマネージメントPC101で一時記憶する。ステップS410で、文書管理サーバ106は、データベース105上で文書IDとページIDを対応付けて記憶する。
【0041】
ステップS411で、文書管理サーバ106で、画像検索インデックス生成処理を実行する。尚、この処理の詳細については後述する。ステップS412で、マネージメントPC101上の一時記憶したスキャン画像データを消去し、登録処理を終了する。
【0042】
ここで、データベース105のデータスキーマについて、図5及び図6を用いて説明する。
【0043】
このデータスキーマは、文書IDに関連付けた情報を管理する文書管理スキーマとページIDに関連付けた情報を管理するページ管理スキーマを少なくとも有している。
【0044】
図5は本発明の実施形態のデータベースのデータスキーマの内、文書管理スキーマを示す図である。
【0045】
図5に示す文書管理スキーマでは、文書IDと、登録対象画像の登録日時と、その文書IDに対応するスキャン画像群それぞれを特定するページIDを対応づけて記憶している。
【0046】
また、電子文書による登録の場合には、その電子文書の存在場所を示すアドレス情報を、更に、文書IDと対応づけて記憶している。逆に、紙文書による登録の場合には、アドレス情報は、NULLとなる。
【0047】
ここで、アドレスとは、URLや、サーバ名とディレクトリ、ファイル名からなる電子データの格納先を示すフルパス情報である。
【0048】
図5の例では、文書ID0000001の画像が、2002年12月19日10:00に登録を開始し、1ページの紙文書による登録であった場合を示している。同様に、文書ID0000002の画像が、2002年12月20日10:00から登録を開始し、2ページの紙文書による登録であった場合を示している。
【0049】
図6は本発明の実施形態のデータベースのデータスキーマの内、ページ管理スキーマを示す図である。
【0050】
図6に示すページ管理スキーマでは、ページIDと、そのページIDが属する文書IDと、文書管理サーバ106上におけるスキャン画像のファイル名からなるアドレス情報を対応づけて記憶している。
【0051】
次に、ステップS304の電子文書登録処理の詳細について、図7を用いて説明する。
【0052】
図7は本発明の実施形態の電子文書登録処理の詳細を示すフローチャートである。
【0053】
尚、この処理は、クライアントPC102からマネージメントPC101へ電子文書を転送しておき、ユーザインタフェース上に提示される電子文書のリストから所望の電子文書が選択されて、入力部113の登録ボタンが操作された時点で開始される。
【0054】
まず、ステップS503で、登録ボタンが操作されると、選択された電子文書を特定するための文書IDを発行する。
【0055】
ステップS504で、電子文書のラスタ画像に展開するラスタ化が終了したか否かを判定する。ラスタ化が終了した場合(ステップS504でYES)、ステップS509に進む。一方、ラスタ化が終了していない場合(ステップS504でNO)、ステップ505に進み、1ページ分の電子文書のラスタ画像(ページ画像)を生成する。
【0056】
ステップS506で、ラスタ画像を特定するためのページIDを追加発行して、記憶部111に記憶する。ステップS507で、ラスタ画像数を示すページ数Mをカウントアップする。ステップS508で、ページIDでファイル名を生成してラスタ画像データを記憶装置111へ記憶する一方、記憶部111から順次ラスタ画像データをLAN109経由でマネージメントPC101へ転送する。
【0057】
尚、このラスタ画像データは、例えば、JPEG形式の画像であるとするが、これに限定されるものではなく、色情報を保存しておくことが可能な画像形式(例えば、GIF、BMP)であればどのようなものでも良い。
【0058】
一方、ステップS504において、ラスタ化が終了した場合(ステップS504でYES)、ステップS509で、マネージメントPC101からLAN109を介して文書管理サーバ106へ全ラスタ画像データファイルを送信して、そのラスタ画像データをマネージメントPC101で一時記憶する。ステップS510で、文書管理サーバ106は、データベース105上で文書IDとページIDを対応付けて記憶する。
【0059】
ステップS511で、文書管理サーバ106で、画像検索インデックス生成処理を実行する。尚、この処理の詳細については後述する。ステップS412で、マネージメントPC101上の一時記憶したラスタ画像データを消去し、登録処理を終了する。
【0060】
尚、この処理によって生成されるラスター画像データに関する文書ID及びページIDの関係を、図5の例で説明すると、文書ID0000003の画像は、アドレス情報がC:¥Doc¥Web.htmlであり、2002年12月21日10:00から登録を開始し、印刷した場合には3ページの紙原稿になる電子文書による登録であったことを示している。
【0061】
尚、文書ID0000003の画像は、そのオリジナルが電子文書であるため、図6に示したような、ページID毎のJPEG画像を記憶管理しなくても、オリジナルの電子文書から任意のページのラスタ画像データを必要に応じて生成することが可能である。しかしながら、後述する検索処理を行う上では、オリジナルの電子文書とは別に、その電子文書の各ページに対するラスタ画像データを記憶管理しておくほうが、検索速度を向上する観点からは好ましい。
【0062】
次に、ステップS411あるいはステップS511の画像検索インデックス生成処理の詳細について、図8を用いて説明する。
【0063】
[画像検索インデックス生成処理]
図8は本発明の実施形態の画像検索インデックス生成処理の詳細を示すフローチャートである。
【0064】
尚、この画像検索インデックス生成処理とは、登録されている文書の画像データを検索する場合の検索条件に用いる画像データの特徴量(画像検索インデックス)を生成する処理である。
【0065】
まず、ステップS601で、以下の処理を行ったページの内、処理済のページ数を示すページカウンタIを0にリセットする。ステップS602で、図4あるいは図5でページ数Mを参照して、I<Mであるか否かを判定する。I<Mでない場合(ステップS602でNO)、即ち、未処理のページがない場合、処理を終了する。一方、I<Mである場合(ステップS602でYES)、ステップS603に進む。
【0066】
ステップS603で、処理対象のページ画像から複数の部分領域画像を抽出し、また、その個数Nを取得する。
【0067】
ここで、部分領域画像の抽出とは、例えば、図9(a)のラスタ画像を、図9(b)のように、意味のあるブロック毎の塊として認識し、該ブロック各々の属性(文字(TEXT)/図画(PICTURE)/写真(PHOTO)/線(LINE)/表(TABLE)等)を判定し、異なる属性を持つ部分領域画像を抽出する処理である。
【0068】
この部分領域画像を抽出する処理の実施形態を以下に説明する。
【0069】
まず、入力画像を白黒に二値化し、輪郭線追跡を行って黒画素輪郭で囲まれる画素の塊を抽出する。面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡を行って白画素の塊を抽出、さらに一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。
【0070】
このようにして得られた黒画素の塊を、大きさ及び形状で分類し、異なる属性を持つ部分領域へ分類していく。例えば、縦横比が1に近く、大きさが一定の範囲の部分領域は文字相当の画素塊とし、さらに近接する文字が整列良くグループ化可能な部分を文字部分領域、扁平な画素塊を線部分領域、一定大きさ以上でかつ矩形の白画素塊を整列よく内包する黒画素塊の占める範囲を表部分領域、不定形の画素塊が散在している領域を写真部分領域、それ以外の任意形状の画素塊を図画部分領域とする。
【0071】
そして、部分領域画像を抽出する処理では、不定形の画素塊が散在している写真部分領域で、かつその領域が矩形状のものを部分領域画像として抽出する。
【0072】
次に、ステップS604で、処理済の部分領域画像の個数を示すカウンタJを0にリセットする。ステップS605で、J<Nであるか否かを判定する。J<Nでない場合(ステップS605でNO)、つまり、未処理の部分領域画像がなくなった場合、カウンタIをインクリメントして、ステップS602に戻る。
【0073】
一方、J<Nである場合(ステップS605でYES)、つまり、未処理の部分領域画像がある場合、ステップS606に進み、部分領域画像のアスペクト比及びカラーレイアウト画像特徴量を算出する。
【0074】
ここで、アスペクト比は、部分領域画像の横の画素数に対する縦の画素数の比と定義する。また、カラーレイアウト画像特徴量は、処理対象画像(部分領域画像)を複数のメッシュブロックに分割した各メッシュブロックに属する画素のRGBの平均値(画像特徴量)である。
【0075】
尚、本実施形態では、図10に示すように、画像を縦横それぞれ、例えば、9メッシュブロックに分割し、図11に示すような走査順で、各メッシュブロックにおけるRGBの平均値の位置配列を、カラーレイアウト画像特徴量として保持する。
【0076】
ステップ607で、処理対象の部分領域画像と特定するための画像IDを発行する。ステップS608で、データベース105へ、処理対象の部分領域画像の画像IDと、その部分領域画像が属するページのページIDとを対応づけ、更に、更に、アスペクト比とカラーレイアウト画像特徴量を対応付けて記憶する。その後、カウンタJをインクリメントして、ステップS605に戻る。
【0077】
ここで、ステップS607の処理によってデータベース105に管理される画像特徴量管理データスキーマの例を示すと、図12のようになる。
【0078】
次に、検索処理について説明する。
【0079】
[検索処理]
この検索処理は、検索条件となる検索クエリ画像を有する紙文書を画像読取部110でスキャンして、検索クエリ画像を生成して、その検索クエリ画像に類似する画像を有する文書を検索する。そして、検索後の文書に対しては、各種後処理(例えば、印刷、配信、記憶等)を実行することができるが、以下の例では、文書を検索して印刷する場合の検索処理について、図13A、図13Bおよび図14を用いて説明する。
【0080】
図13A及び図13Bは本発明の実施形態の検索処理を示すフローチャートである。
【0081】
尚、この処理は、画像読取部110のADFあるいは原稿台に、検索条件となる紙文書をセットした状態で、入力部113の「検索クエリ画像を含む文書のプリント」ボタンが操作された時点で開始される。また、検索条件となる紙文書は、1枚でも複数枚でも可能であるが、複数枚の場合には、それぞれの紙文書から得られる複数画像を検索クエリ画像群とし、その検索クエリ画像群を用いて検索された画像を共通に含む画像群を検索結果とする。更に、ADFあるいは原稿台にセットする紙文書の向きには、特に、制限は設けていない。
【0082】
そのため、紙文書から得られる検索クエリ画像の向きは、様々な向きが存在する。そこで、本実施形態では、検索クエリ画像の向きを考慮した検索処理を実行することで、検索クエリ画像の向きに依存することなく、精度の良い検索クエリ画像を含む文書画像を検索することが可能となる。
【0083】
ステップS1303で、「検索クエリ画像を含む文書のプリント」ボタンが操作された時点で、画像読取部110でセットされている紙文書をスキャンし、スキャンした画像を検索クエリ画像として、マネージメントPC101へ転送する。
【0084】
ステップS1304で、マネージメントPC101で、検索クエリ画像から部分領域画像を抽出する。尚、この抽出は、図8のステップS603の処理と同様の方法で実行する。ステップS1305で、図8のステップS606と同様にして、抽出した部分領域画像のアスペクト比とカラーレイアウト画像特徴量を算出する。
【0085】
ステップS1306で、部分領域画像のアスペクト比及びカラーレイアウト画像特徴量と、データベース105に登録されている画像のアスペクト比及びカラーレイアウト画像特徴量との類似比較を画像特徴量比較処理を実行する。尚、この処理の詳細については後述するが、特に、本実施形態では、画像特徴量として、画像のアスペクト比及びカラーレイアウト画像特徴量に加えて、その画像を回転した場合に得られる画像特徴量を考慮した、画像特徴量比較処理を行う。
【0086】
そして、この画像特徴量比較処理によって、部分領域画像と第一閾値以上の類似度を有する画像の画像ID群を取得して、これを検索結果とする。
【0087】
次に、ステップS1307で、データベース105中の図12のデータスキーマを参照して、取得した画像IDをページIDへ変換するとともに、その類似度をページIDに対応させてデータベース105に追加記憶する。
【0088】
次に、ステップS1308で、未処理の部分領域画像があるか否かを判定する。未処理の部分領域画像がない場合(ステップS1308でNO)、ステップS1313に進む。一方、未処理の部分領域画像がある場合(ステップS1308でYES)、ステップS1309に進む。
【0089】
尚、ステップS1309を含む、それ以降のステップS1311までの処理、つまり、ステップS1309〜ステップS1311の処理は、ステップS1305〜ステップS1307の処理に対応する。また、ステップS1308〜ステップS1312の処理は、部分領域画像が複数存在する場合に、各部分領域画像に対する処理となっている。
【0090】
そして、ステップS1312で、ステップS1311で既に取得されている画像IDに対応するページIDと、新たに取得された画像IDに対応するページIDの論理積をとり、それによって得られるページID群と、複数の同一ページIDが存在する場合には、それぞれに対して算出された類似度の平均を算出して、これをそのページIDに対応させてデータベース105に追加記憶する。
【0091】
ステップS1308において、未処理の部分領域画像がない場合(ステップS1308でNO)、ステップS1313に進み、データベース105に記憶されている類似度の降順でページIDをソートする。ステップS1314で、データベース105中の図12のデータスキーマを参照して、ソートされた各ページIDをそれぞれ文書IDへ変換する。尚、ページIDの類似度は、変換後もそのまま文書IDへ受け継がせる。
【0092】
以上の処理が、検索クエリ画像に基づいて、データベース105から画像を検索する検索処理である。
【0093】
次に、この検索処理によって得られる検索結果を利用して、ユーザが所望するクエリ画像を含む文書の印刷を効率的に行うための処理について、図13Bを用いて説明する。
【0094】
まず、ステップS1315において、検索ヒットした文書(文書ID)が1つであるか否かを判定する。即ち、検索クエリ画像との類似度が第一閾値以上である文書が1つであるか否かを判定する。検索ヒットした文書が1つである場合(ステップS1315でYES)、ステップS1316に進み、データベース105の図5のデータスキーマを参照して、文書IDに対応するアドレス情報があるか否か、つまり、文書が電子文書によって登録されたものであるか紙文書によって登録されたものであるか否かを確認する。
【0095】
確認の結果に基づいて、ステップS1317で、文書IDに対応する文書が電子文書であるか否かを判定する。電子文書である場合(ステップS1317でYES)、ステップS1318に進み、その電子文書をレンダリングして印刷部112より印刷する。
【0096】
尚、検索された文書が電子文書である場合には、その電子文書で直接印刷したほうが、高品位の印刷を実現することができるので、このような処理となる。
【0097】
一方、ステップS1317で、電子文書でない場合(ステップS1317でNO)、ステップS1324に進み、データベース105の図5のデータスキーマを参照して、文書IDに対応するページID群を登録順に取得する。ステップS1325で、データベース105の図6のデータスキーマを参照して、取得したページID群に対応するアドレス情報を取得する。
【0098】
そして、ステップS1326で、取得したアドレス情報が示す画像データを用いて印刷部112より印刷する。
【0099】
一方、ステップS1315において、検索ヒットした文書が1つでない場合(ステップS1315でNO)、ステップS1319に進み、第1番目と第2番目の候補となる文書の類似度の差が第二閾値以上であるか否かを判定する。第二閾値以上の場合(ステップS1319でYES)、第2番目以下の文書はノイズとみなすことができるので、ステップS1316に進む。一方、第二閾値未満である場合(ステップS1319でNO)、複数の候補の中からユーザが所望する候補を選択する必要があるので、その選択処理を行うためのステップS1320以降の処理に進む。
【0100】
ステップS1320で、データベース105の図6のデータスキーマを参照して、ステップS1312で取得したページIDを対応するアドレス情報へ変換する。ステップS1321で、データベース105の図5のデータスキーマを参照して、ステップS1313で取得した文書IDの登録日時情報を取得する。
【0101】
ステップS1322で、ステップS1320及びステップS1321で取得した情報に基づいて、検索結果一覧画面を生成し、表示部116に表示する。
【0102】
ここで、検索結果一覧画面の一例について、図14を用いて説明する。
【0103】
図14は本発明の実施形態の検索結果一覧画面の一例を示す図である。
【0104】
図14に示すように、検索結果一覧画面は、検索ヒットした文書のサムネイル画像と、その類似度と登録日時情報を併記した画像一覧を、類似度の降順で表示画面の左上から順に表示する。
【0105】
尚、文書が複数頁で構成されている場合にも、その文書のサムネイル画像が表示され、その前後の頁の文書のサムネイル画像を参照するための頁スクロールキー(図中の「←」、「→」)が表示される。また、頁スクロールキーの中央にある円(○)は、文書の先頭に戻るためのキーである。
【0106】
また、この検索結果一覧画面に係る操作は、例えば、入力部113で構成されるボタンやキーを用いて実行しても良いし、例えば、表示部116上にタッチパネルが構成されている場合には、そのタッチ操作で実行しても良い。
【0107】
ステップS1323で、検索結果一覧画面を介して、ユーザからの文書の選択操作を受け付け、文書が選択されると、ステップS1316に進む。
【0108】
次に、ステップS1306の画像特徴量比較処理の詳細について、図15を用いて説明する。
【0109】
図15は本発明の実施形態の画像特徴量比較処理の詳細を示すフローチャートである。
【0110】
尚、上述したように、本実施形態の画像特徴量比較処理では、画像のアスペクト比及びカラーレイアウト画像特徴量との類似比較において、検索クエリ画像の向きを考慮した比較を行う。
【0111】
ここで、処理対象である矩形からなる画像の0度回転と180度回転におけるアスペクト比は同じ値であり、また90度回転と270度回転におけるアスペクト比も同じ値であるので、画像特徴量比較処理では、これらの点を考慮して実行する。また、通常、画像特徴量比較の計算コストは、アスペクト比の比較の計算コストに比べて十分大きいことから、各回転角度におけるアスペクト比がある許容範囲に入った比較対象画像の画像特徴量だけを類似比較することが最も効率が良い。
【0112】
まず、ステップS1401で、検索クエリ画像の部分領域画像のアスペクト比とカラーレイアウト画像特徴量を取得する。ステップS1402で、画像特徴量比較を行う前に、データベース105の図12のデータスキーマを参照して、0度回転と180度回転におけるアスペクト比が所定許容範囲内にある画像ID群を取得(選出)する。
【0113】
尚、この所定許容範囲内とは、アスペクト比の差が所定範囲内あるいはアスペクト比の比率が所定範囲内であることを示す。
【0114】
ステップS1403で、取得した画像ID群に対応する画像群を母集団として、各画像のカラーレイアウト画像特徴量と検索クエリ画像の部分領域画像のカラーレイアウト画像特徴量との類似比較を行い、得られた類似度を0度回転時の類似度としてデータベース105に記憶する。
【0115】
ステップS1404で、検索クエリ画像の部分領域画像のメッシュブロックの各位置における画像特徴量の位置を180度回転変換した180度回転カラーレイアウト画像特徴量を生成する。ステップS1405で、0度回転と180度回転におけるアスペクト比が所定許容範囲内にある画像を母集団として、各画像のカラーレイアウト画像特徴量と180度回転カラーレイアウト画像特徴量との類似比較を行い、得られた類似度を180度回転時の類似度としてデータベース105に記憶する。
【0116】
同様にして、部分領域画像のメッシュブロックの各位置における画像特徴量の位置を90度、270度回転変換した90度回転、270度回転カラーレイアウト画像特徴量での類似比較を、以下の処理で実行する。
【0117】
まず、ステップS1406で、データベース105の図12のデータ好きmーアを参照して、90度回転と270度回転におけるアスペクト比の逆数と所定許容範囲にある画像ID群を取得する。ステップS1407で、検索クエリ画像の分領域画像のメッシュブロックの各位置における画像特徴量の位置を90度回転変換した90度回転カラーレイアウト画像特徴量を生成する。
【0118】
ステップS1408で、90度回転と270度回転におけるアスペクト比の逆数と所定許容範囲内にある画像を母集団として、各画像のカラーレイアウト画像特徴量と90度回転カラーレイアウト画像特徴量との類似比較を行い、得られた類似度を90度回転時の類似度としてデータベース105に記憶する。
【0119】
ステップS1409で、検索クエリ画像のメッシュブロックの各位置における画像特徴量の位置を270度回転変換した270度回転カラーレイアウト画像特徴量を生成する。
【0120】
ステップS1410で、90度回転と270度回転におけるアスペクト比の逆数と所定許容範囲内にある画像を母集団として、各画像のカラーレイアウト画像特徴量と270度回転カラーレイアウト画像特徴量との類似比較を行い、得られた類似度を270度回転時の類似度としてデータベース105に記憶する。
【0121】
ステップS1411で、各回転角度での類似比較で用いた母集団に属する画像IDの論理和をとり、各画像の各回転角度における類似度の内、最も大きいものをその画像の総合類似度に決定する。ステップS1412で、総合類似度を降順でソートし、第一閾値以上の総合類似度の画像IDとその総合類似度の対を検索結果に決定する。
【0122】
以上の処理によって、アスペクト比を用いた回転の性質を考慮した画像特徴量の類似比較を実行することで、効率良く回転を考慮した検索クエリ画像と類似した画像を検索することが可能となる。
【0123】
尚、図15のステップS1411では、各回転角度における類似度の内、最も大きいものをその画像の総合類似度としているが、これに限定されない。例えば、0度回転と180度回転時のそれぞれの類似度の内、高いほうを第1総合類似度候補とし、90度回転と270回転時のそれぞれの類似度の内、高いほうを第2総合類似度候補とし、この第1及び第2総合類似度候補の内、高いほうを最終的な総合類似度としても良い。
【0124】
ここで、ステップS1404、ステップS1405、ステップS1407及びステップS1410における回転変換の補足説明を行う。
【0125】
上述したように、本実施形態のカラーレイアウト画像特徴量は、処理対象画像を図10のようにメッシュブロックに分割した場合の各メッシュブロックのRGBチャネルの平均値を、図11に示すような走査順の位置配列として構成したものである。
【0126】
そして、このようなカラーレイアウト画像特徴量に対し、ステップS1404、ステップS1405、ステップS1407及びステップS1410における回転変換を行ったカラーレイアウト画像特徴量を生成する場合には、図11の走査順で示される番号に対応する各画像特徴量を、90度回転の場合には図16(a)、180度回転の場合には図16(b)、270度回転の場合には図16(c)の走査順となるように、各メッシュブロックの画像特徴量の位置を並び替える(変更する)。
【0127】
そして、比較の際には、この並び替えた画像特徴量からなるカラーレイアウト画像特徴量において、各メッシュブロック毎に比較対象の画像特徴量と比較する。
【0128】
ここで、比較元画像(検索クエリ画像の部分領域画像)の着目メッシュブロックの色平均値(R0,G0,B0)、比較先画像(データベース105に登録されている画像)の着目メッシュブロックの色平均値(R1,G1,B1)、着目メッシュブロック間の類似距離dとすると、
d=sqrt((R0−R1)*(R0−R1)+(G0−G1)*(G0−G1)+(B0−B1)*(B0−B1))
となる。この算出した類似距離dを全メッシュブロックについて算出し、各メッシュブロックの類似距離の総和である累積類似距離Dsumを算出する。この、累積類似距離Dsumから類似度Simを決定する。
【0129】
この類似度Simの決定は、例えば、図17に示すような、Dsumが0の時に類似度Simが100となるような、非線形特性を有する累積類似距離−類似度変換テーブルを参照することで決定することができる。
【0130】
以上説明したように、上記実施形態によれば、検索条件とする画像をどのような向きで入力しても、その向きを考慮した類似画像検索を実行することで、精度良く所望の画像を検索することができる。また、向きを考慮した類似画像検索においては、検索条件の画像のアスペクト比に基づいて、検索対象画像の絞り込みを行った上で行うので、より高速に類似画像検索を実行することができる。
【0131】
尚、上記実施形態では、検索した文書に対する処理の一例として、「検索クエリ画像を含む文書のプリント」を実行する場合を説明したが、これ以外にも検索した文書を利用した各種後処理を実行することができる。例えば、「検索クエリ画像を含む文書の送信」も実現することも可能であり、この場合、上記実施形態における「検索文書の印刷」を「検索文書をメールへの添付ファイルで送信」あるいは「検索文書の文書管理サーバ106上でのアドレス情報をメールのテキスト内容として送信」と読み替えることで実現することができる。
【0132】
具体的には、図13Bのフローチャートにおいて、ステップS1318及びS1326で行う印刷処理を、「メールアドレスを指定して、メールアドレスへメールへの添付ファイルとして送信」あるいは「メールアドレスを指定し、その格納アドレスを予め指定されたメールアドレスへメールの本文に書き込み送信」する送信処理として実行すれば良い。
【0133】
また、図14の検索結果一覧画面において、複数頁で構成されている文書の場合には、文書の各頁をスクロールしてユーザが確認できる構成を示したが、ユーザが選択した2文書の差異を強調した表示を行っても良い。
【0134】
また、図14の画像特徴量比較処理においては、アスペクト比が同じ値となる0度回転と180度回転、90度回転と270度回転を対にして処理を実行することが効率上重要であり、この対の関係が保持できるのであれば、その処理順序は制限されるものではない。
【0135】
また、処理対象画像の画像特徴量として、RGBの平均値を算出する例を示したが、これに限定されるものではなく、例えば、処理対象画像の最頻色を画像特徴量として抽出するようにしても良い。
【0136】
以上説明した実施形態における、画像処理装置は、パーソナルコンピュータ等の情報処理装置でもって実現できるし、その機能を実現する手順としての方法の発明として捉えることができる。また、コンピュータにより実現できるわけであるから、本発明はそれぞれの装置で実行されるコンピュータプログラム、更には、そのコンピュータプログラムを格納し、コンピュータが読み込めるCD−ROM等のコンピュータ可読記憶媒体にも適用できるのは明らかであろう。
【0137】
従って、上記実施形態に係る実施態様を列挙すると、次の通りである。すなわち、画像処理装置及びその方法、プログラムは、次のようになる。
【0138】
<実施態様1> 検索条件となる検索クエリ画像と、その検索対象画像との類似度に基づいて、類似画像検索を行う画像処理装置であって、
前記検索クエリ画像のアスペクト比と、該検索クエリ画像を複数のメッシュブロックに分割した各メッシュブロックの画像特徴量の位置配列からなるレイアウト画像特徴量を抽出する抽出手段と、
前記検索クエリ画像を少なくとも2種類の回転角で回転した場合に、各回転角におけるアスペクト比に基づいて、それぞれがアスペクト比とレイアウト画像特徴量とを対応付けた画像群を記憶している記憶媒体から検索対象画像を前記各回転角毎に選出する選出手段と、
前記選出手段で選出された検索対象画像のレイアウト画像特徴量と、前記検索クエリ画像のレイアウト画像特徴量中の画像特徴量の位置配列を前記各回転角に応じて変更した場合のレイアウト画像特徴量との類似比較を前記各回転角毎に実行する比較手段と、
前記比較手段によって前記各回転角毎に得られる類似度の内の最大の類似度を、前記検索クエリ画像と前記検索対象画像の総合類似度として決定する決定手段と、
前記決定手段で決定した総合類似度に対応する検索対象画像を検索結果画像として出力する出力手段と
を備えることを特徴とする画像処理装置。
【0139】
<実施態様2> 前記2種類の回転角は、0度回転と180度回転からなる第1回転角グループと、90度回転と270度回転からなる第2回転角グループである
ことを特徴とする実施態様1に記載の画像処理装置。
【0140】
<実施態様3> 前記決定手段は、前記第1及び第2回転角グループそれぞれにおいて得られる類似度群の内、最大の類似度を第1及び第2総合類似度候補に決定し、この第1及び第2総合類似度候補の内、高いほうを前記総合類似度に決定する
ことを特徴とする実施態様2に記載の画像処理装置。
【0141】
<実施態様4> 前記選出手段は、前記アスペクト比の差が所定範囲内にある画像を検索対象画像として前記記憶媒体から選出する
ことを特徴とする実施態様1に記載の画像処理装置。
【0142】
<実施態様5> 前記抽出手段は、前記検索クエリ画像中の所定属性の部分領域画像毎に前記アスペクト比と前記レイアウト画像特徴量を抽出し、
前記比較手段による比較は、前記部分領域画像単位で実行する
ことを特徴とする実施態様1に記載の画像処理装置。
【0143】
<実施態様6> 前記検索クエリ画像を入力する入力手段と、
前記入力手段で入力した検索クエリ画像に対応する前記検索結果画像に対する後処理を実行する実行手段と、
前記入力手段による入力と前記実行手段による後処理の実行指示を1回の操作で実現する操作手段と
を更に備えることを特徴とする実施態様1に記載の画像処理装置。
【0144】
<実施態様7> 前記実行手段による後処理とは、前記検索結果画像の印刷、配信、記憶のいずれか、あるいはそれらの任意の組み合わせである
ことを特徴とする実施態様6に記載の画像処理装置。
【0145】
<実施態様8> 前記記憶媒体に記憶される画像は、単数あるいは複数枚の紙文書をスキャン入力によって登録した画像、あるいは電子文書のラスタ画像をページ単位で登録した画像である
ことを特徴とする実施態様1に記載の画像処理装置。
【0146】
<実施態様9> 前記出力手段は、前記総合類似度を降順で前記検索対象画像をソートし、前記総合類似度が第一閾値以上となる検索対象画像が1つ、あるいは前記第一閾値以上の検索対象画像が複数で、かつ第1番目と第2番目の検索対象画像の総合類似度の差が第二閾値以上である場合には、前記第1番目の検索対象画像を前記検索結果画像として出力する
ことを特徴とする実施態様1に記載の画像処理装置。
【0147】
<実施態様10> 前記出力手段は、前記第一閾値以上の検索対象画像が複数で、かつ第1番目と第2番目の検索対象画像の総合類似度の差が第二閾値未満である場合には、前記第一閾値以上の検索対象画像の一覧を検索結果一覧として表示する表示手段と
を備えることを特徴とする実施態様9に記載の画像処理装置。
【0148】
<実施態様11> 前記検索結果一覧は、検索対象画像と、その総合類似度及び登録日時を含む
ことを特徴とする実施態様10に記載の画像処理装置。
【0149】
<実施態様12> 検索条件となる検索クエリ画像と、その検索対象画像との類似度に基づいて、類似画像検索を行う画像処理方法であって、
前記検索クエリ画像のアスペクト比と、該検索クエリ画像を複数のメッシュブロックに分割した各メッシュブロックの画像特徴量の位置配列からなるレイアウト画像特徴量を抽出する抽出工程と、
前記検索クエリ画像を少なくとも2種類の回転角で回転した場合に、各回転角におけるアスペクト比に基づいて、それぞれがアスペクト比とレイアウト画像特徴量とを対応付けた画像群を記憶している記憶媒体から検索対象画像を前記各回転角毎に選出する選出工程と、
前記選出工程で選出された検索対象画像のレイアウト画像特徴量と、前記検索クエリ画像のレイアウト画像特徴量中の画像特徴量の位置配列を前記各回転角に応じて変更した場合のレイアウト画像特徴量との類似比較を前記各回転角毎に実行する比較工程と、
前記比較工程によって前記各回転角毎に得られる類似度の内の最大の類似度を、前記検索クエリ画像と前記検索対象画像の総合類似度として決定する決定工程と、
前記決定工程で決定した総合類似度に対応する検索対象画像を検索結果画像として出力する出力工程と
を備えることを特徴とする画像処理方法。
【0150】
<実施態様13> 検索条件となる検索クエリ画像と、その検索対象画像との類似度に基づいて、類似画像検索を行う画像処理を実現するプログラムであって、
前記検索クエリ画像のアスペクト比と、該検索クエリ画像を複数のメッシュブロックに分割した各メッシュブロックの画像特徴量の位置配列からなるレイアウト画像特徴量を抽出する抽出工程のプログラムコードと、
前記検索クエリ画像を少なくとも2種類の回転角で回転した場合に、各回転角におけるアスペクト比に基づいて、それぞれがアスペクト比とレイアウト画像特徴量とを対応付けた画像群を記憶している記憶媒体から検索対象画像を前記各回転角毎に選出する選出工程のプログラムコードと、
前記選出工程で選出された検索対象画像のレイアウト画像特徴量と、前記検索クエリ画像のレイアウト画像特徴量中の画像特徴量の位置配列を前記各回転角に応じて変更した場合のレイアウト画像特徴量との類似比較を前記各回転角毎に実行する比較工程のプログラムコードと、
前記比較工程によって前記各回転角毎に得られる類似度の内の最大の類似度を、前記検索クエリ画像と前記検索対象画像の総合類似度として決定する決定工程のプログラムコードと、
前記決定工程で決定した総合類似度に対応する検索対象画像を検索結果画像として出力する出力工程のプログラムコードと
を備えることを特徴とするプログラム。
【0151】
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【0152】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム(実施形態では図に示すフローチャートに対応したプログラム)を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【0153】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【0154】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。
【0155】
プログラムを供給するための記録媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などがある。
【0156】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
【0157】
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【0158】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【0159】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【0160】
【発明の効果】
以上説明したように、本発明によれば、所望の画像を効率的に検索することができる画像処理技術を提供できる。
【図面の簡単な説明】
【図1】本発明の実施形態の画像処理システムの構成を示すブロック図である。
【図2】本発明の実施形態のMFPの詳細構成を示すブロック図である。
【図3】本発明の実施形態の登録処理を示すフローチャートである。
【図4】本発明の実施形態の紙文書登録処理の詳細を示すフローチャートである。
【図5】本発明の実施形態のデータベースのデータスキーマの内、文書管理スキーマを示す図である。
【図6】本発明の実施形態のデータベースのデータスキーマの内、ページ管理スキーマを示す図である。
【図7】本発明の実施形態の電子文書登録処理の詳細を示すフローチャートである。
【図8】本発明の実施形態の画像検索インデックス生成処理の詳細を示すフローチャートである。
【図9】本発明の実施形態1の画像ブロック抽出の一例を示す図である。
【図10】本発明の実施形態の画像メッシュブロック分割の一例を示す図である。
【図11】本発明の実施形態の順序決定テーブルの一例を示す図である。
【図12】本発明の実施形態のデータベースのデータスキーマの内、画像特徴量管理スキーマを示す図である。
【図13A】本発明の実施形態の検索処理を示すフローチャートである。
【図13B】本発明の実施形態の検索処理を示すフローチャートである。
【図14】本発明の実施形態の検索結果一覧画面の一例を示す図である。
【図15】本発明の実施形態の画像特徴量比較処理の詳細を示すフローチャートである。
【図16】本発明の実施形態のカラーレイアウト画像特徴量の変換を説明するための図である。
【図17】本発明の実施形態の累積類似距離−類似度変換テーブルの一例を示す図である。
【符号の説明】
100 MFP
101 マネージメントPC
102 クライアントPC
103 プロキシサーバ
104 ネットワーク
105 データベース
106 文書管理サーバ
107 LAN
110 画像読取部
111 記憶部
112 印刷部
113 入力部
114、117 ネットワークI/F
115 データ処理部
116 表示部
Claims (1)
- 検索条件となる検索クエリ画像と、その検索対象画像との類似度に基づいて、類似画像検索を行う画像処理装置であって、
前記検索クエリ画像のアスペクト比と、該検索クエリ画像を複数のメッシュブロックに分割した各メッシュブロックの画像特徴量の位置配列からなるレイアウト画像特徴量を抽出する抽出手段と、
前記検索クエリ画像を少なくとも2種類の回転角で回転した場合に、各回転角におけるアスペクト比に基づいて、それぞれがアスペクト比とレイアウト画像特徴量とを対応付けた画像群を記憶している記憶媒体から検索対象画像を前記各回転角毎に選出する選出手段と、
前記選出手段で選出された検索対象画像のレイアウト画像特徴量と、前記検索クエリ画像のレイアウト画像特徴量中の画像特徴量の位置配列を前記各回転角に応じて変更した場合のレイアウト画像特徴量との類似比較を前記各回転角毎に実行する比較手段と、
前記比較手段によって前記各回転角毎に得られる類似度の内の最大の類似度を、前記検索クエリ画像と前記検索対象画像の総合類似度として決定する決定手段と、
前記決定手段で決定した総合類似度に対応する検索対象画像を検索結果画像として出力する出力手段と
を備えることを特徴とする画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003125815A JP2004334337A (ja) | 2003-04-30 | 2003-04-30 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003125815A JP2004334337A (ja) | 2003-04-30 | 2003-04-30 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004334337A true JP2004334337A (ja) | 2004-11-25 |
JP2004334337A5 JP2004334337A5 (ja) | 2006-02-09 |
Family
ID=33502972
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003125815A Pending JP2004334337A (ja) | 2003-04-30 | 2003-04-30 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004334337A (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007164648A (ja) * | 2005-12-16 | 2007-06-28 | Ricoh Co Ltd | 類似画像検索装置、類似画像検索方法、プログラム及び情報記録媒体 |
JP2007334445A (ja) * | 2006-06-12 | 2007-12-27 | Fuji Xerox Co Ltd | 画像処理装置及びプログラム |
JP2009277045A (ja) * | 2008-05-15 | 2009-11-26 | Sharp Corp | 画像処理装置、画像形成装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体 |
CN101277368B (zh) * | 2007-03-28 | 2011-04-06 | 夏普株式会社 | 图像处理装置、系统、方法、和图像形成装置 |
CN103903249A (zh) * | 2012-12-27 | 2014-07-02 | 纽海信息技术(上海)有限公司 | 图像匹配系统及方法 |
JP2015060339A (ja) * | 2013-09-18 | 2015-03-30 | 株式会社プロフィールド | 書籍情報処理装置、書籍情報処理方法、およびプログラム |
JP2015149078A (ja) * | 2012-03-06 | 2015-08-20 | アップル インコーポレイテッド | 画像を閲覧するためのアプリケーション |
JP2018159970A (ja) * | 2017-03-22 | 2018-10-11 | シャープ株式会社 | 画像処理装置、制御プログラムおよび制御方法 |
KR20190033451A (ko) * | 2017-09-21 | 2019-03-29 | 캐논 가부시끼가이샤 | 화상 처리 장치, 화상 처리 방법, 및 저장 매체 |
US10282055B2 (en) | 2012-03-06 | 2019-05-07 | Apple Inc. | Ordered processing of edits for a media editing application |
US10552016B2 (en) | 2012-03-06 | 2020-02-04 | Apple Inc. | User interface tools for cropping and straightening image |
US10936173B2 (en) | 2012-03-06 | 2021-03-02 | Apple Inc. | Unified slider control for modifying multiple image properties |
-
2003
- 2003-04-30 JP JP2003125815A patent/JP2004334337A/ja active Pending
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007164648A (ja) * | 2005-12-16 | 2007-06-28 | Ricoh Co Ltd | 類似画像検索装置、類似画像検索方法、プログラム及び情報記録媒体 |
JP2007334445A (ja) * | 2006-06-12 | 2007-12-27 | Fuji Xerox Co Ltd | 画像処理装置及びプログラム |
CN101277368B (zh) * | 2007-03-28 | 2011-04-06 | 夏普株式会社 | 图像处理装置、系统、方法、和图像形成装置 |
JP2009277045A (ja) * | 2008-05-15 | 2009-11-26 | Sharp Corp | 画像処理装置、画像形成装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体 |
JP4565015B2 (ja) * | 2008-05-15 | 2010-10-20 | シャープ株式会社 | 画像処理装置、画像形成装置、画像処理システム、画像処理プログラムおよびその記録媒体 |
US8224095B2 (en) | 2008-05-15 | 2012-07-17 | Sharp Kabushiki Kaisha | Image processing apparatus, image forming apparatus, image processing system, and image processing method |
US10936173B2 (en) | 2012-03-06 | 2021-03-02 | Apple Inc. | Unified slider control for modifying multiple image properties |
US10942634B2 (en) | 2012-03-06 | 2021-03-09 | Apple Inc. | User interface tools for cropping and straightening image |
JP2015149078A (ja) * | 2012-03-06 | 2015-08-20 | アップル インコーポレイテッド | 画像を閲覧するためのアプリケーション |
US11481097B2 (en) | 2012-03-06 | 2022-10-25 | Apple Inc. | User interface tools for cropping and straightening image |
US11119635B2 (en) | 2012-03-06 | 2021-09-14 | Apple Inc. | Fanning user interface controls for a media editing application |
US10552016B2 (en) | 2012-03-06 | 2020-02-04 | Apple Inc. | User interface tools for cropping and straightening image |
US10282055B2 (en) | 2012-03-06 | 2019-05-07 | Apple Inc. | Ordered processing of edits for a media editing application |
US10545631B2 (en) | 2012-03-06 | 2020-01-28 | Apple Inc. | Fanning user interface controls for a media editing application |
CN103903249A (zh) * | 2012-12-27 | 2014-07-02 | 纽海信息技术(上海)有限公司 | 图像匹配系统及方法 |
CN103903249B (zh) * | 2012-12-27 | 2017-10-13 | 北京京东尚科信息技术有限公司 | 图像匹配系统及方法 |
JP2015060339A (ja) * | 2013-09-18 | 2015-03-30 | 株式会社プロフィールド | 書籍情報処理装置、書籍情報処理方法、およびプログラム |
JP2018159970A (ja) * | 2017-03-22 | 2018-10-11 | シャープ株式会社 | 画像処理装置、制御プログラムおよび制御方法 |
KR20190033451A (ko) * | 2017-09-21 | 2019-03-29 | 캐논 가부시끼가이샤 | 화상 처리 장치, 화상 처리 방법, 및 저장 매체 |
KR102403964B1 (ko) | 2017-09-21 | 2022-06-02 | 캐논 가부시끼가이샤 | 화상 처리 장치, 화상 처리 방법, 및 저장 매체 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4371965B2 (ja) | 画像処理装置、画像処理方法 | |
US8203748B2 (en) | Image processing apparatus, control method therefor, and program | |
US8174724B2 (en) | Image processing apparatus, control method therefor, and program | |
JP4920928B2 (ja) | 画像処理装置及びその制御方法、プログラム | |
JP4533273B2 (ja) | 画像処理装置及び画像処理方法、プログラム | |
US7551753B2 (en) | Image processing apparatus and method therefor | |
US9710524B2 (en) | Image processing apparatus, image processing method, and computer-readable storage medium | |
JP2004334336A (ja) | 画像処理装置 | |
JP2004265384A (ja) | 画像処理システム及び情報処理装置、並びに制御方法及びコンピュータプログラム及びコンピュータ可読記憶媒体 | |
JP2005159517A (ja) | 画像処理装置及びその制御方法、プログラム | |
JP2004334337A (ja) | 画像処理装置 | |
US8219594B2 (en) | Image processing apparatus, image processing method and storage medium that stores program thereof | |
JP4541770B2 (ja) | 画像処理装置及びその制御方法、プログラム | |
JP2004348467A (ja) | 画像検索装置及びその制御方法、プログラム | |
JP2006333248A (ja) | 画像処理装置、画像処理方法、プログラム及び記憶媒体 | |
JP2005149097A (ja) | 画像処理システム及び画像処理方法 | |
JP2005149210A (ja) | 画像処理装置及びその制御方法、プログラム | |
JP2005151455A (ja) | 画像処理装置、情報処理装置及びそれらの制御方法、プログラム | |
JP4047222B2 (ja) | 画像処理装置及びその制御方法、プログラム | |
JP4405861B2 (ja) | 画像処理装置、情報処理装置及びそれらの制御方法、プログラム | |
JP6012700B2 (ja) | 情報処理装置、情報処理方法、情報処理システム、コンピュータプログラム | |
JP2010092141A (ja) | 画像処理システム、画像読取装置、画像処理装置および画像処理プログラム | |
JP2006023946A (ja) | 画像処理装置及びその制御方法、プログラム | |
JP5745010B2 (ja) | 情報処理装置、情報処理方法、情報処理システム、コンピュータプログラム | |
JP5420032B2 (ja) | 情報処理装置、情報処理方法、情報処理システム、コンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051215 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081212 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090302 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090626 |