JP2009188951A - 画像処理方法、画像処理装置、画像読取装置、画像形成装置、画像処理システム、プログラムおよび記録媒体 - Google Patents

画像処理方法、画像処理装置、画像読取装置、画像形成装置、画像処理システム、プログラムおよび記録媒体 Download PDF

Info

Publication number
JP2009188951A
JP2009188951A JP2008029676A JP2008029676A JP2009188951A JP 2009188951 A JP2009188951 A JP 2009188951A JP 2008029676 A JP2008029676 A JP 2008029676A JP 2008029676 A JP2008029676 A JP 2008029676A JP 2009188951 A JP2009188951 A JP 2009188951A
Authority
JP
Japan
Prior art keywords
image data
information
grant information
registered
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008029676A
Other languages
English (en)
Other versions
JP4970301B2 (ja
Inventor
Yosuke Konishi
陽介 小西
Atsutoshi Morimoto
淳寿 森本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2008029676A priority Critical patent/JP4970301B2/ja
Priority to CN2009100053154A priority patent/CN101505349B/zh
Priority to US12/367,285 priority patent/US8300944B2/en
Publication of JP2009188951A publication Critical patent/JP2009188951A/ja
Application granted granted Critical
Publication of JP4970301B2 publication Critical patent/JP4970301B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Facsimiles In General (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

【課題】入力された画像データに対して適切な付与情報を付与し、これによってそれら付与情報に基づき画像データを正確に検索できるようにする。
【解決手段】画像処理装置システムは、登録画像データに設定された付与情報を格納している管理サーバ102と、入力画像データが登録画像データに類似するか否かを判定する類似度判定処理部14と、類似度判定処理部14にて入力画像データが登録画像データに類似すると判定された場合に、付与情報を付与情報格納手段から取得する付与情報取得処理部16と、取得された付与情報を入力画像データに付与する制御部1とを備える。
【選択図】図1

Description

本発明は、入力された画像データに付与情報を付与して例えばそれら画像データの検索を可能とする画像処理方法、画像処理装置、画像読取装置、画像形成装置、画像処理システム、プログラムおよび記録媒体に関するものである。
近年、文書の電子化処理として、紙の原稿をスキャナ等で読み取って画像データとし、記録媒体に保存することが行われている。例えば、特許文献1に記載の発明では次のような処理が行われている。
例えばUI(ユーザインターフェース)によって入力されたインデックス情報と、電子化された領域指定用ドキュメントの領域情報とを関連づけて認識領域データベースに格納する。上記領域情報は、領域指定用ドキュメントについてのOCR処理する対象となる領域を表す(段落〔0034〕の記載)。次に、外部のUIやシステムから入力される領域選択情報(例えば、OCRするイメージを読み取るデバイス情報)からインデックスデータを生成し、このインデックスデータ(インデックス情報)に対応する領域情報を上記認識領域データベースに格納されたデータから選択して取得する(段落〔0036〕の記載)。そして、取得した領域情報により指定される領域に対して領域指定用ドキュメントのOCR処理を行う。
上記のように、文書の電子化処理においては、通常、画像データを記録媒体に保存する場合に、保存した画像データについての検索を可能とするため、画像データに付与情報が付加されている。
特開2007−141159(平成19年06月07日公開) 国際公開第2006/092957号パンフレット(2006年9月8日公開)
ところで、例えば、各種申請書や契約書など、電子化された複数種類の画像データを記録媒体に保存する場合、例えば同一種類の画像データを検索して抽出したいといった要望がある。この場合、上記画像データに検索のキーワードとなる付与情報を付与する処理が必要となり、このように各画像データに手作業により付与情報を付与することはユーザにとって大きな負担となる。一方、上記特許文献1のように、イメージを読み取るデバイス情報から付与情報を作成した場合、画像データの種類を無視することになるので、正確な検索を行うことができないという問題点を有している。
したがって、本発明は、入力された画像データに対して例えば画像データが示す画像の種類に応じた付与情報など、適切な付与情報を付与でき、これによってそれら付与情報に基づいて各画像データを正確に検索できるようにする画像処理方法、画像処理装置、画像読取装置、画像形成装置、画像処理システム、プログラムおよび記録媒体の提供を目的としている。
本発明の画像処理装置は、登録画像データに設定された付与情報を格納している付与情報格納手段と、入力画像データが前記登録画像データに類似するか否かを判定する判定部と、前記判定部にて前記入力画像データが前記登録画像データに類似すると判定された場合に、前記付与情報を前記付与情報格納手段から取得する付与情報取得部と、前記付与情報取得部にて取得された付与情報を前記入力画像データに付与する付与情報付与部とを備えていることを特徴としている。
また、本発明の画像処理方法は、入力画像データが登録画像データに類似するか否かを判定する判定ステップと、前記判定ステップにて前記入力画像データが前記登録画像データに類似すると判定した場合に、登録画像データに設定された付与情報を格納している付与情報格納手段から前記付与情報を取得する付与情報取得ステップと、前記付与情報取得ステップにて取得した付与情報を前記入力画像データに付与する付与情報付与ステップとを備えていることを特徴としている。
上記の構成によれば、判定部(判定ステップ)では、入力画像データが登録画像データに類似するか否かを判定する。この判定において入力画像データが登録画像データに類似すると判定された場合、付与情報取得部(付与情報取得ステップ)では、登録画像データに設定された付与情報を格納している付与情報格納手段から付与情報を取得する。付与情報付与部(付与情報付与ステップ)では、取得した付与情報を入力画像データに付与する。
これにより、入力された画像データに対して例えば画像データが示す画像の種類に応じた付与情報など、適切な付与情報を付与することができる。したがって、その付与情報に基づいて各画像データを正確に検索することができる。
なお、画像処理装置に入力される原稿画像データは、例えば、スキャナにて原稿を読み取ることにより得られた画像データ、あるいは電子データのフォーマットに、コンピュータ(ソフトウェア)を用いて必要事項を入力して作成される電子データである。すなわち、例えば、紙に印刷されたあるいは記載された画像を電子化したもの、および電子データとして直接作成されたもの(電子申請書など)である。
上記の画像処理装置において、前記付与情報格納手段は、複数の登録画像データについてのそれら登録画像データごとに設定された付与情報を格納しており、前記付与情報取得部は、前記判定部にて前記入力画像データが前記複数の登録画像データのうちの第1の登録画像データに類似すると判定された場合に、前記第1の登録画像データに設定されている付与情報を前記付与情報格納手段から取得する構成としてもよい。なお、上記第1の登録画像データは、複数の登録画像データが存在する場合に、それら登録画像データのいずれか一つである。
上記の構成によれば、付与情報取得部は、判定部にて入力画像データが複数の登録画像データのうちの第1の登録画像データに類似すると判定された場合に、第1の登録画像データに設定されている付与情報を付与情報格納手段から取得する。取得された付与情報は、前記付与情報付与部により入力画像データに付与される。したがって、各入力画像データに対して、適切に付与情報を付与することができる。
上記の画像処理装置において、前記付与情報格納手段は、前記付与情報を前記登録画像データの特徴量と関連づけて格納しており、前記判定部は、前記入力画像データから特徴量を抽出する特徴量抽出部と、前記特徴量抽出部にて抽出された前記入力画像データの特徴量と前記付与情報格納手段に格納されている登録画像データの特徴量とを比較して、これら両画像データの類似の有無を判定する類似判定部とを備えている構成としてもよい。
上記の構成によれば、判定部の特徴量抽出部は入力画像データから特徴量を抽出し、判定部の類似判定部は、特徴量抽出部にて抽出された入力画像データの特徴量と付与情報格納手段に格納されている登録画像データの特徴量とを比較して、これら両画像データの類似の有無を判定する。この類似判定部にて入力画像データが登録画像データに類似すると判定された場合、前記付与情報取得部により付与情報格納手段から付与情報が取得され、前記付与情報付与部により、取得された付与情報が入力画像データに付与される。
これにより、入力された画像データに対して例えば画像データが示す画像の種類に応じた付与情報など、適切な付与情報を付与することができる。したがって、その付与情報に基づいて各画像データを正確に検索することができる。
上記の画像処理装置において、前記付与情報格納手段は、複数の前記登録画像データを区別するための画像インデックスとこの画像インデックスにより特定される登録画像データに設定された前記付与情報とを関連づけて格納しており、前記付与情報取得部は、前記判定部にて前記入力画像データが前記複数の登録画像データのうちの第1の登録画像データに類似すると判定された場合に、前記第1の登録画像データに設定されている前記画像インデックスを前記付与情報格納手段に送信し、前記付与情報格納手段から、送信した前記画像インデックスに関連付けられている付与情報を取得する構成としてもよい。
上記の構成によれば、付与情報取得部は、判定部にて入力画像データが複数の登録画像データのうちの第1の登録画像データに類似すると判定された場合に、第1の登録画像データに設定されている画像インデックスを付与情報格納手段に送信し、付与情報格納手段から、送信した画像インデックスに関連付けられている付与情報を取得する。取得された付与情報は、前記付与情報付与部により入力画像データに付与される。これにより、入力された画像データに対して例えば画像データが示す画像の種類に応じた付与情報など、適切な付与情報を付与することができる。したがって、その付与情報に基づいて各画像データを正確に検索することができる。
本発明の画像処理装置は、複数の登録画像データについてのそれら登録画像データごとに設定された付与情報を格納している付与情報格納手段と、入力画像データが前記登録画像データに類似するか否かを判定する判定部と、前記判定部にて前記入力画像データが類似すると判定された前記登録画像データに設定されている付与情報を前記付与情報格納手段から取得する付与情報取得部と、前記付与情報取得部にて取得された付与情報を表示手段に表示させる表示制御部と、前記入力画像データに付与する付与情報を選択する入力に基づいて、前記表示手段に表示させた付与情報のうちの選択された付与情報を前記入力画像データに付与する付与情報付与部とを備えていることを特徴としている。
上記の構成によれば、判定部は、入力画像データが登録画像データに類似するか否かを判定する。付与情報取得部は、判定部において入力画像データが登録画像データに類似すると判定された場合に、登録画像データに設定された付与情報を格納している付与情報格納手段から付与情報を取得する。表示制御部は、付与情報取得部にて取得された付与情報を表示手段、例えば画像処理装置に接続されている表示手段、あるいは画像処理装置にネットワークを介して接続されているユーザ端末装置(コンピュータ)の表示手段に表示させる。この場合、さらに入力画像データに付与する付与情報を選択する旨の表示を表示手段に行わせてもよい。表示手段での表示に応じてユーザにより入力画像データに付与する付与情報を選択する入力が行われると、付与情報付与部は、その入力に基づいて、選択された付与情報を入力画像データに付与する。
これにより、入力画像データに類似する登録画像データが複数存在する場合であっても、入力された画像データに対して例えば画像データが示す画像の種類に応じた付与情報など、適切な付与情報を付与することができる。したがって、その付与情報に基づいて各画像データを正確に検索することができる。
上記の画像処理装置において、前記付与情報格納手段には前記付与情報とともに前記付与情報が変更された場合の履歴を示す変更履歴情報が格納されており、前記変更履歴情報に基づいて、前記付与情報付与部により付与情報が付与された入力画像データの付与情報を更新する付与情報更新部を備えている構成としてもよい。
上記の構成によれば、付与情報格納手段に格納されている付与情報が変更されると、その変更を示す変更履歴情報に基づいて、付与情報更新部は、付与情報付与部により付与情報が付与された入力画像データの付与情報を更新する。
これにより、付与情報格納手段に格納されている付与情報が変更された場合であっても、その変更を付与情報が付与された入力画像データの付与情報に反映させることができる。したがって、付与情報格納手段の付与情報変更前に付与情報が付与されていた入力画像データに対しても、変更後の付与情報に基づく検索を確実に行うことができる。
本発明の画像処理システムは、画像処理装置とこの画像処理装置と通信可能な管理装置とを備え、前記管理装置は、複数の登録画像データごとに設定された付与情報を格納しており、前記画像処理装置は、入力画像データが前記登録画像データに類似するか否かを判定する判定部と、前記判定部にて前記入力画像データが前記複数の登録画像データのうちの第1の登録画像データに類似すると判定された場合に、前記第1の登録画像データに設定されている付与情報を前記管理装置から取得する付与情報取得部と、前記付与情報取得部にて取得された付与情報を前記入力画像データに付与する付与情報付与部とを備えていることを特徴としている。
上記の構成によれば、画像処理装置において、判定部は入力画像データが前記登録画像データに類似するか否かを判定し、付与情報取得部は、判定部にて入力画像データが複数の登録画像データのうちの第1の登録画像データに類似すると判定された場合に、管理装置と通信し、第1の登録画像データに設定されている付与情報を管理装置から取得する。付与情報付与部は、付与情報取得部にて取得された付与情報を入力画像データに付与する。
これにより、入力された画像データに対して例えば画像データが示す画像の種類に応じた付与情報など、適切な付与情報を付与することができる。したがって、その付与情報に基づいて各画像データを正確に検索することができる。
上記の画像処理システムにおいて、前記管理装置は、複数の前記登録画像データを区別するための画像インデックスとこの画像インデックスにより特定される登録画像データに設定された前記付与情報とを関連づけて格納しており、前記付与情報取得部は、前記判定部にて前記入力画像データが前記複数の登録画像データのうちの第1の登録画像データに類似すると判定された場合に、前記第1の登録画像データに設定されている前記画像インデックスを前記管理装置に送信し、前記管理装置から、送信した前記画像インデックスに関連付けられている付与情報を取得する構成としてもよい。
上記の構成によれば、画像処理装置において、付与情報取得部は、判定部にて入力画像データが複数の登録画像データのうちの第1の登録画像データに類似すると判定された場合に、第1の登録画像データに設定されている画像インデックスを管理装置に送信し、管理装置から、送信した画像インデックスに関連付けられている付与情報を取得する。取得された付与情報は、前記付与情報付与部により入力画像データに付与される。これにより、入力された画像データに対して例えば画像データが示す画像の種類に応じた付与情報など、適切な付与情報を付与することができる。したがって、その付与情報に基づいて各画像データを正確に検索することができる。
本発明の画像読取装置は、原稿の画像を読み込んで画像データを取得する画像入力装置と、前記画像入力装置から入力された画像データを処理する、いずれかの上記画像処理装置とを備えていることを特徴としている。
また、本発明の画像形成装置は、原稿の画像を読み込んで画像データを取得する画像入力装置と、前記画像入力装置から入力された画像データを処理する、いずれかの上記画像処理装置と、画像データに基づいて印刷を行う画像出力装置とを備えていることを特徴としている。
上記の構成によれば、画像読取装置および画像形成装置において、それらが備える画像入力装置により原稿の画像を読み込んで取得した画像データに対して、それら画像データを検索するための付与情報を適切に付与することができる。
以上のように、本発明の画像形成装置では、入力画像データが登録画像データに類似するか否かを判定し、この判定において入力画像データが登録画像データに類似すると判定された場合に、登録画像データに設定された付与情報を取得し、入力画像データに付与する。これにより、入力された画像データに対して例えば画像データが示す画像の種類に応じた付与情報など、適切な付与情報を付与することができる。したがって、その付与情報に基づいて各画像データを正確に検索することができる。
〔実施の形態1〕
本発明の実施の形態を図面に基づいて以下に説明する。
図1は本実施の形態における画像処理システム100の構成を示すブロック図である。この画像処理システム100は画像処理装置101と管理サーバ(付与情報格納手段、管理装置)102とを備えている。画像処理装置101は、例えば図2に示すデジタルカラー複合機(画像処理装置、画像形成装置)103に備えられる。
画像処理装置101は外部からの入力画像データを処理する。この入力画像データは、例えば原稿をスキャナにて読み込んで得られた画像データ、あるいは外部装置にて作成された画像データである。この処理において、画像処理装置101は、入力画像データとメモリ(付与情報格納手段)3に格納されている登録画像データとを比較し、登録画像データが示す画像を含んでいる入力画像データについては、その入力画像データに対して登録画像データに設定されている付与情報を付与する。なお、上記登録画像データは、例えば各種申請書、各種契約書、各種アンケート用紙など、定型のフォームを有するものである。この場合、登録画像データとしては、上記定型フォームに対して手書き等の書き込みのないものが好ましい。
画像処理装置101は、図1に示すように、制御部(付与情報付与部、表示制御部)1、文書照合処理部2およびメモリ(記憶手段)3を備えている。
文書照合処理部2は、特徴点算出部(特徴量抽出部)11、特徴量算出部(特徴量抽出部)12、投票処理部(判定部、類似判定部)13、類似度判定処理部(判定部、類似判定部)14、登録処理部15および付与情報取得処理部(付与情報取得部)16を備えている。
特徴点算出部11は、入力画像データの文字列や罫線の連結部分を抽出し、連結部分の重心を特徴点として算出する。図3は特徴点算出部11の構成を示すブロック図である。図3に示すように、特徴点算出部11は、無彩化処理部21、解像度変換部22、MTF処理部23、2値化処理部24および重心算出部25を備えている。
無彩化処理部21は、基準画像データおよび参照画像データ等の入力画像データがカラー画像であった場合に、入力画像データを無彩化して明度もしくは輝度信号に変換する。例えば、下記式より輝度Yを求める。
Figure 2009188951
なお、無彩化処理21は、上式による方法に限定されず、RGB信号をCIE1976L***信号(CIE : Commission International de l'Eclairage、 L*: 明度、a*, b*::色度)に変換するものであってもよい。
解像度変換部22は、入力画像データが画像入力装置で光学的に変倍されていた場合に、所定の解像度になるように入力画像データを再度変倍する。上記画像入力装置は、例えば、原稿の画像を読み取って画像データに変換するスキャナであり、図2に示すデジタルカラー複写機ではカラー画像入力装置(画像入力装置)111がそれに相当する。
また、解像度変換部22は、後段でのデータ処理量を軽減するために、画像入力装置により等倍の設定にて読み込まれる解像度よりも解像度を落とすための解像度変換部としても用いられる。例えば、600dpi(dot per inch)で読み込まれた画像データを300dpiに変換する。
MTF処理部23は、画像入力装置の空間周波数特性が画像入力装置の種類ごとに異なることによる影響を吸収するために用いられる。すなわち、画像入力装置が備えるCCDの出力する画像信号には、レンズやミラー等の光学部品、CCDの受光面のアパーチャ開口度、転送効率や残像、物理的な走査による積分効果および操作むら等に起因しMTFの劣化が生じている。このMTFの劣化により、読み込まれた画像がぼやけたものとなっている。そこで、MTF補正処理部23は、適切なフィルタ処理(強調処理)を施すことにより、MTFの劣化により生じるぼやけを修復する処理を行う。また、後段の特徴量算出部12の特徴点抽出部31での処理に不要な高周波成分を抑制するためにも用いる。すなわち、混合フィルタを用いて強調および平滑化処理を行う。なお、この混合フィルタのフィルタ係数は、例えば図4に示すものである。
2値化処理部24は、無彩化処理部21にて無彩化された画像データの輝度値(輝度信号)または明度値(明度信号)を閾値と比較することにより画像データを2値化し、この2値化した画像データをメモリ3に格納する。
重心算出部25は、2値化処理部24において2値化された画像データ(例えば、「1」、「0」で表される画像データ)の各画素に対してラベリング(ラベル付け処理)を行い、同一ラベルを付した画素を連結して形成された複数画素からなる領域である連結領域を特定する。次に、特定した連結領域の重心を特徴点として抽出し、抽出した特徴点を特徴量算出部12へ出力する。なお、上記特徴点は、2値画像における座標値(x座標、y座標)で表すことができる。
図5は、2値化された画像データから抽出された連結領域およびこの連結領域の重心の一例を示す説明図であり、「A」という文字に対応する連結領域およびその連結領域の重心(特徴点)を示している。また、図6は、2値化された画像データに含まれる文字列から抽出された複数の連結領域の各重心(特徴点)の一例を示す説明図である。
特徴量算出部12(図1参照)は、特徴点算出部11にて算出された特徴点を用いて、回転、拡大、縮小に対して不変な量、すなわち画像の回転、平行移動、拡大縮小を含む幾何学的変化に対して不変なパラメータである特徴量を算出する。特徴量を計算するために注目特徴点の近傍の特徴点を選択して用いる。図7は特徴量算出部12の構成を示すブロック図である。特徴量算出部12は、図7に示すように、特徴点抽出部31、不変量算出部32およびハッシュ値算出部33を備えている。
特徴点抽出部31は、特徴点算出部11にて算出された特徴点が画像データにおいて複数存在する場合に、1つの特徴点を注目特徴点とし、この注目特徴点の周辺の特徴点を、注目特徴点からの距離が近いものから順に所定数だけ周辺特徴点として抽出する。図8の例では、上記所定数を4点とし、特徴点aを注目特徴点とした場合に特徴点b,c,d,eの4点が周辺特徴点として抽出され、特徴点bを注目特徴点とした場合には特徴点a,c,e,fの4点が周辺特徴点として抽出される。
また、特徴点抽出部31は、上記のように抽出した周辺特徴点4点の中から選択し得る3点の組み合わせを抽出する。例えば、図9(a)〜図9(d)に示すように、図8に示した特徴点aを注目特徴点とした場合、周辺特徴点b,c,d,eのうちの3点の組み合わせ、すなわち、周辺特徴点b,c,d、周辺特徴点b,c,e、周辺特徴点b,d,e、周辺特徴点c,d,eの各組み合わせが抽出される。
不変量算出部32は、特徴点抽出部31において抽出された各組み合わせについて、幾何学的変形に対する不変量(特徴量の1つ)Hijを算出する。
ここで、iは注目特徴点を示す数(iは1以上の整数)であり、jは周辺特徴点3点の組み合わせを示す数(jは1以上の整数)である。本実施形態では、周辺特徴点同士を結ぶ線分の長さのうちの2つの比を不変量Hijとする。
上記線分の長さは、各周辺特徴点の座標値に基づいて算出できる。例えば、図9(a)の例において、特徴点bと特徴点cとを結ぶ線分の長さをA11、特徴点bと特徴点dとを結ぶ線分の長さをB11とすると、不変量H11は、H11=A11/B11である。また、図9(b)の例において、特徴点bと特徴点cとを結ぶ線分の長さをA12、特徴点bと特徴点eとを結ぶ線分の長さをB12とすると、不変量H12は、H12=A12/B12である。また、図9(c)の例において、特徴点bと特徴点dとを結ぶ線分の長さをA13、特徴点bと特徴点eとを結ぶ線分の長さをB13とすると、不変量H13は、H13=A13/B13である。また、図9(d)の例において、特徴点cと特徴点dとを結ぶ線分の長さをA14、特徴点cと特徴点eとを結ぶ線分の長さをB14とすると、不変量H14は、H14=A14/B14である。このようにして、図9(a)〜図9(d)の例では、不変量H11,H12,H13,H14が算出される。
なお、上記の例では、注目特徴点に最も近い周辺特徴点と2番目に近い周辺特徴点とを結ぶ線分をAij、注目特徴点に最も近い周辺特徴点と3番目に近い周辺特徴点とを結ぶ線分をBijとしたが、これに限らず、不変量Hijの算出に用いる線分は任意の方法で選定すればよい。
ハッシュ値算出部33は、例えば、
Hi=(Hi1×10+Hi2×10+Hi3×10+Hi4×10)/D
という式における余りの値をハッシュ値(特徴量の1つ)Hiとして算出し、得られたハッシュ値をメモリ8に格納する。なお、上記Dは余りが取り得る値の範囲をどの程度に設定するかに応じて予め設定される定数である。例えば、上式における上記Hiの商が「10」である場合、余りは「0」〜「9」となり、これが算出するハッシュ値の取り得る範囲となる。また、iは自然数であり特徴点の数を表している。
上記不変量Hijの算出方法は特に限定されるものではない。例えば、注目特徴点の近傍5点の複比、近傍n点(nはn≧5の整数)から抽出した5点の複比、近傍n点から抽出したm点(mは、m<nかつm≧5の整数)の配置、およびm点から抽出した5点の複比に基づいて算出される値などを注目特徴点についての上記不変量Hijとしてもよい。なお、複比とは、直線上の4点または平面上の5点から求められる値であり、幾何学的変換の一種である射影変形に対する不変量として知られている。
また、ハッシュ値Hiを算出するための式についても上記の式に限るものではなく、他のハッシュ関数(例えば特許文献2に記載されているハッシュ関数のうちのいずれか)を用いてもよい。
特徴量算出部12の各部は、1つの注目特徴点に対する周辺特徴点の抽出およびハッシュ値Hiの算出が終わると、注目特徴点を他の特徴点に変更して周辺特徴点の抽出およびハッシュ値の算出を行い、全ての特徴点についてのハッシュ値を算出する。
図8の例では、特徴点aを注目特徴点とした場合の周辺特徴点およびハッシュ値の抽出が終わると、次に特徴点bを注目特徴点とした場合の周辺特徴点およびハッシュ値の抽出を行う。なお、図8の例では、特徴点bを注目特徴点とした場合、特徴点a,c,e,fの4点が周辺特徴点として抽出される。
そして、図10(a)〜図10(d)に示すように、これら周辺特徴点a,c,e,fの中から選択される3点の組み合わせ(周辺特徴点a,e,f、周辺特徴点a,e,c、周辺特徴点a,f,c、周辺特徴点e,f,c)を抽出し、各組み合わせについてハッシュ値Hiを算出し、メモリ3に格納する。そして、この処理を各特徴点について繰り返し、各特徴点を注目特徴点とした場合のハッシュ値をそれぞれ求めてメモリ3に記憶させる。
なお、特徴量としての上記ハッシュ値は一例であって、これに限定されるものではなく、他のハッシュ関数を用いることができる。上記では、周辺の他の特徴点として4点を抽出する例を示しているが、4点に限定されるものではない。例えば、6点抽出するようにしてもよい。この場合、6点の特徴点から5点を抽出し、5点を抽出する6通りそれぞれの方法について、5点から3点を抽出して不変量を求め、ハッシュ値を算出するようにしてもよい。
特徴量算出部12は、登録モードにおいて、入力画像データを登録画像データとして登録する登録処理が行われる場合、上記のように算出した入力画像データの各特徴点についてのハッシュ値(特徴量)を登録処理部15に送る。
登録モードにおいては、投票処理部13および類似度判定処理部14の処理はスルー(何も処理を行わない)となる。一方、入力画像データを登録画像データと照合する照合モードにおいては、登録処理部15の処理はスルーとなる。
登録処理部15は、入力画像データのうち、登録画像データとして登録するものについての登録処理を行う。この登録処理を行う場合、画像処理装置101は登録モードに設定される。登録モードでは、入力画像データすなわち登録画像データが特徴点算出部11および特徴量算出部12にて処理され、登録処理部15は、特徴量算出部12にて算出された特徴量(ハッシュ値)に応じた画像インデックスをその登録画像データの画像インデックスとして登録する。すなわち、登録画像データの特徴量(ハッシュ値)は、その登録画像データの種類、例えば各種申請書や契約書などの種類によって異なる。したがって、特徴量(ハッシュ値)に適当な画像インデックスを対応づけることが可能である。
登録処理部15は、特徴量算出部12が算出した各特徴点についてのハッシュ値と、画像データを表すインデックス(画像IDk)とを、図11(a)に示すように、メモリ3に設けられたハッシュテーブルに順次登録していく。図11(a)から、画像インデックスID1の画像データはハッシュ値H1,H2,H3,H4,H5,H6…を有し、画像インデックスID2の画像データはハッシュ値H3,H6…を有していることが分かる。なお、ハッシュ値が同じ場合には、例えば図11(a)に示したハッシュ値H1とハッシュ値H5とが同じ場合には、図11(b)に示すように、これらを一つにまとめてもよい。
画像処理装置101に対する登録モードの選択や登録画像(登録画像データ)の指定、並びに照合モードの選択は、画像処理装置101の制御部1に接続されている入力操作部(図示せず)をユーザが操作して行うことができる。あるいは、画像処理装置101が図2に示すデジタルカラー複合機(画像形成装置)103に備えられている場合、操作パネル(表示手段)115をユーザが操作して行うことができる。
投票処理部13は、入力画像データを登録画像データと照合する照合モードにおいて、特徴量算出部12にて入力画像データから算出された特徴量(ハッシュ値)を、ハッシュテーブルに登録されている複数の登録画像データの特徴量(ハッシュ値)と比較し、図12に示すように、同じハッシュ値を有する登録画像データに投票する。
図12は、登録画像データID1,ID2,ID3の得票数の一例を示すグラフである。すなわち、投票処理部13は、登録画像データ毎に、登録画像データが有するハッシュ値と同じハッシュ値が入力画像データから算出された回数をカウントし、カウント値をメモリ3に記憶させる。なお、図11(b)に示すハッシュテーブルを使用する場合において、入力画像データから算出した入力原稿の有するハッシュ値にH1があった場合には、原稿ID1に2票投票される。
類似度判定処理部14は、投票処理部13の処理結果である各登録画像データの画像インデックスおよび各登録画像データの得票数をメモリ3から読み出し、最大得票数を得た登録画像データの画像インデックスと、その得票数である最大得票数を抽出する。なお、ここで抽出された画像インデックスは、付与情報取得処理部16において付与情報取得用に使用される。
さらに、類似度判定処理部14では、抽出した最大得票数を類似の度合いを示す類似度として扱い、予め定められている閾値THと比較して類似性の有無、すなわち入力画像データが登録画像データを含んでいることの有無を判定する。具体的には、最大得票数が予め定められた閾値TH以上である場合には「類似性あり」(入力画像データは登録画像データを含んでいる)と判定し、閾値未満である場合には「類似性なし」(入力画像データは登録画像データを含んでいない)と判定する。
なお、本実施形態においては、最も簡単な例として、特徴量算出部12は、1つの特徴点(注目特徴点)に対して1つのハッシュ値を算出するものとしているが、これに限らず、1つの特徴点(注目特徴点)に対して複数のハッシュ値を算出するようにしてもよい。例えば、注目特徴点の周辺特徴点として6点を抽出し、この6点から5点を抽出した6通りの組み合わせそれぞれについて、5点から3点を抽出して不変量を求めてハッシュ値を算出する方法を用いてもよい。この場合には、1つの特徴点に対して6個のハッシュ値が算出されることになる。類似度判定処理部14で扱われる最大得票数は、特徴点の数×1つの特徴点(注目特徴点)から算出されるハッシュ値の数で表される。
付与情報取得処理部16は、類似度判定処理部14において入力画像データ(第1の入力画像データ)が登録画像データと「類似性あり」(入力画像データは登録画像データを含んでいる)と判定された場合において、その登録画像データの画像インデックスを管理サーバ102に送信し、送信した画像インデックスに対応付けられた付与情報を管理サーバ102から取得し、出力する。
上記付与情報は、管理サーバ102に登録されている登録画像データの種類を示す情報や登録画像データに関連する情報である。一例として、登録画像データとして、例えば見積書、決裁書、申請書あるいは契約書などの各種書類の画像データが登録されている場合、付与情報にはそれら各種書類の書類名を表す情報が使用される。
管理サーバ102は、画像処理装置101とネットワークを介して接続されており、図13に示すように、画像インデックスとそれに対応する付与情報とを関連づけて管理している。また、管理サーバ102は、付与情報取得処理部16からの要求に応じて画像インデックスに対応する付与情報を付与情報取得処理部16に送信する。図13は、管理サーバ102が管理する、画像インデックスと付与情報との対応関係の一例を示す説明図である。
付与情報の設定は、管理サーバ102に対して画像インデックスを登録する際に同時に行われる。あるいは、管理サーバ102に予め登録されている画像インデックスに対して後から設定される。付与情報の設定は、管理サーバ102が備えている例えばキーボード等の入力操作部からユーザが行うことができる。あるいは、画像処理装置101の制御部1に接続されている入力操作部(図示せず)からユーザが行うことができる。この場合、画像処理装置101は管理サーバ102と通信し、入力された情報を管理サーバ102に送信する。あるいは、画像処理装置101が図2に示すデジタルカラー複合機103に備えられている場合、操作パネル115からユーザが行うことができる。
制御部1は、文書照合処理部2の各部を制御するとともに、文書照合処理部2からメモリ3へのアクセスを制御する。また、制御部1は、付与情報取得処理部16から出力された付与情報を対応する入力画像データ(上記第1の入力画像データ)に埋め込む処理を行う。
上記の構成において、本実施の形態の画像処理システム100における照合モードの動作を図14(a)(b)のフローチャートに基づいて以下に説明する。図14(a)は照合モードにおける画像処理装置101の動作を示すフローチャート、図14(b)は照合モードにおける管理サーバ102の動作を示すフローチャートである。
照合モードが設定されると、図14(a)に示すように、画像処理装置101では、特徴点算出部11が入力画像データの各特徴点を算出し(S1)、特徴量算出部12が特徴点算出部11にて算出された各特徴点の特徴量を算出する(S2)。
次に、投票処理部13は、特徴点算出部11にて算出された特徴量(ハッシュ値)を、メモリ3が保持するハッシュテーブルに登録されている複数の登録画像データの特徴量(ハッシュ値)と比較し、同じ特徴量(ハッシュ値)を有する登録画像データに投票する(S3)。
次に、類似度判定処理部14は、最大得票数を得た登録画像データを抽出し、その最大得票数が閾値TH以上であるか否か、すなわち入力画像データと登録画像データとの類似性の有無(入力画像データが登録画像データを含んでいるか否か)を判定する(S4)。
この判定において、最大得票数が閾値TH未満、すなわち入力画像データと登録画像データとの類似性無し(入力画像データは登録画像データを含んでいない)と判定した場合、S9に進み、その入力画像データを付与情報無しとして、付与情報を埋め込むこと無しに、共有サーバ(図示せず)の所定のフォルダに送信する。
一方、S4での判定において、最大得票数が閾値TH以上、すなわち入力画像データと登録画像データとの類似性有り(入力画像データは登録画像データを含んでいる)と判定した場合、その類似性有りとした登録画像データの画像インデックスをメモリ3から取得する(S5)。
次に、付与情報取得処理部16は、S5において取得された画像インデックスを管理サーバ102に送信し、その画像インデックスに対応する付与情報の有無を管理サーバ102に対して問い合わせる(S6)。
次に、付与情報取得処理部16は、上記問い合わせの結果、管理サーバ102に送信した画像インデックスに対応する付与情報が登録されており、管理サーバ102から付与情報が送信されてくると、その付与情報を出力する(S7)。なお、管理サーバ102に送信した画像インデックスに対応する付与情報が存在しない場合、ユーザに付与情報を要求するようにしてもよい。この場合、画像処理装置101がデジタルカラー複合機103に備えられている構成では、操作パネル115の表示部において、付与情報を入力する旨の要求を行う。
次に、制御部1は、付与情報取得処理部16から出力された付与情報を上記入力画像データに埋め込む(S8)。その後、その入力画像データを例えば共有サーバ(図示せず)に送信する(S9)。共有サーバでは入力画像データを所定のフォルダに格納する。この場合のフォルダへの仕分けは、画像インデックスに応じて入力画像データを分類(ファイリング)してもよいし、また付与情報に基づいて分類してもよい。
一方、管理サーバ102では、図14(b)に示すように、画像処理装置101からの付与情報についての問い合わせの有無を判定し(S11)、この問い合わせがあると、画像処理装置101から送信されてきた画像インデックスに対応する付与情報の有無を確認する(S12)。
その結果、送信されてきた画像インデックスに対応する付与情報が存在する場合には、その付与情報を画像処理装置101に送信する(S13)。
画像処理システム100では、以上の処理を画像処理装置101に入力されてくる各入力画像データに対して行うことにより、それら入力画像データに対して、入力画像データに応じた付与情報を適切に付与することができる。これにより、例えば上記共有サーバに格納された画像データ(入力画像データ)を付与情報に基づいて正確に検索することができる。
ここで、入力画像データに付与情報を埋め込む処理について、図15および図16に基づいて説明する。
PDFファイルでは情報を複数のレイヤーに分けて格納することができる。したがって、入力画像データがPDFファイルである場合、図15に示すように、一つのレイヤーに付与情報を透明テキストとして挿入することができる。また、PDFファイルではメタデータを格納する「文書情報辞書」を含めることが可能である。したがって、入力画像データがPDFファイルである場合、図16に示すように、その中のキーワード格納用の領域に付与情報を格納するようにしてもよい。
本実施の形態においては、管理サーバ102が画像インデックスとそれに対応する付与情報とを関連づけて管理しており、付与情報取得処理部16が管理サーバ102から画像インデックスに対応する付与情報を取得する構成としている。しかしながら、管理サーバ102を使用することなく、画像インデックスと付与情報との対応関係を示す画像インデックス・付与情報対応情報をメモリ3に格納しておき、付与情報取得処理部16がメモリ3から付与情報を取得するようにしてもよい。
〔実施の形態2〕
本発明の他の実施の形態を図面に基づいて以下に説明する。
本実施の形態の画像処理装置101では、画像インデックスを使用せず、特徴量算出部12により算出された特徴量(ハッシュ値)を、直接、付与情報と対応付けて処理する。また、本実施の形態では、図1に示した管理サーバ102を使用しない構成となっている。
付与情報の設定は、画像処理装置101の登録モードにおいて、例えば画像データを登録画像データとして登録する際に同時に登録画像データに対して設定される。これら登録画像データおよび付与情報の登録は、例えば制御部1に接続されている入力操作部(図示せず)からユーザが行うことができる。あるいは、画像処理装置101が図2に示すデジタルカラー複合機103に備えられている場合、操作パネル115からユーザが行うことができる。
登録モードでは、登録画像データが特徴点算出部11および特徴量算出部12にて処理され、登録処理部15では、特徴量算出部12が算出した各特徴点についてのハッシュ値と付与情報とを、図17に示すように、メモリ3に設けられたハッシュテーブルに登録する。なお、ハッシュ値と付与情報とを、メモリ3に代えて管理サーバ102が格納する構成も可能である。
投票処理部13は、入力画像データを登録画像データと照合する照合モードにおいて、特徴量算出部12にて入力画像データから算出された特徴量(ハッシュ値)を、ハッシュテーブルに登録されている複数の登録画像データ(付与情報)の特徴量(ハッシュ値)と比較し、図18に示すように、同じハッシュ値を有する登録画像データ(付与情報)に投票する。図18は、登録画像データ(付与情報)である決裁書A,決裁書B,見積書Aの得票数の一例を示すグラフである。本実施の形態において、特徴点算出部11および特徴量算出部12は特徴量抽出部として機能する。
類似度判定処理部14は、投票処理部13の処理結果である各登録画像データ(付与情報)の得票数をメモリ3から読み出し、そのうちから最大得票数を抽出する。さらに、類似度判定処理部14では、抽出した最大得票数を類似の度合いを示す類似度として扱い、予め定められている閾値THと比較して類似性の有無、すなわち入力画像データが登録画像データを含んでいることの有無を判定する。本実施の形態において投票処理部13および類似度判定処理部14は類似判定部として機能する。
付与情報取得処理部16は、類似度判定処理部14において入力画像データが登録画像データ(付与情報)と「類似性あり」(入力画像データは登録画像データを含んでいる)と判定された場合において、その付与情報をメモリ3から取得し、出力する。
上記の構成において、本実施の形態の画像処理システム100における照合モードの動作を図19に基づいて以下に説明する。図19は照合モードにおける画像処理装置101の動作を示すフローチャートである。
照合モードが設定されると、図19に示すように、画像処理装置101では、特徴点算出部11が入力画像データの各特徴点を算出し(S21)、特徴量算出部12が特徴点算出部11にて算出された各特徴点の特徴量を算出する(S22)。
次に、投票処理部13は、特徴点算出部11にて算出された特徴量(ハッシュ値)を、メモリ3が保持するハッシュテーブルに登録されている複数の登録画像データ(付与情報)の特徴量(ハッシュ値)と比較し、同じ特徴量(ハッシュ値)を有する登録画像データ(付与情報)に投票する(S23)。
次に、類似度判定処理部14は、最大得票数を得た登録画像データ(付与情報)を抽出し、その最大得票数が閾値TH以上であるか否か、すなわち入力画像データと登録画像データとの類似性の有無(入力画像データが登録画像データを含んでいるか否か)を判定する(S24)。
この判定において、最大得票数が閾値TH未満、すなわち入力画像データと登録画像データとの類似性無し(入力画像データは登録画像データを含んでいない)と判定された場合、S27に進み、その入力画像データを付与情報無しとして、付与情報を埋め込むこと無しに、共有サーバ(図示せず)の所定のフォルダに送信する。
一方、S24での判定において、最大得票数が閾値TH以上、すなわち入力画像データと登録画像データとの類似性有り(入力画像データは登録画像データを含んでいる)と判定された場合、付与情報取得部16はその付与情報をメモリ3から取得し、出力する(S25)。
次に、制御部1は、付与情報取得処理部16から出力された付与情報を上記入力画像データに埋め込む(S26)。その後、その入力画像データを共有サーバ(図示せず)の所定のフォルダに送信する(S27)。
以上の処理を画像処理装置101に入力されてくる各入力画像データに対して行うことにより、それら入力画像データに対して、入力画像データに応じた付与情報を適切に付与することができる。これにより、例えば上記共有サーバに格納された画像データ(入力画像データ)を付与情報に基づいて正確に検索することができる。なお、入力画像データに付与情報を埋め込む処理については、前述のとおりである。
〔実施の形態3〕
本発明のさらに他の実施の形態を図面に基づいて以下に説明する。
図20は本実施の形態における画像処理システム200の構成を示すブロック図である。この画像処理システム200は、画像処理装置201と管理サーバ(付与情報格納手段、管理装置)202とを備えている。画像処理装置201は、表示パネル(表示手段)44を備えるとともに、前記制御部1、類似度判定処理部14および付与情報取得処理部16
に代えて制御部(付与情報付与部、表示制御部、付与情報更新部)41、類似度判定処理部(判定部、類似判定部)42および付与情報取得処理部(付与情報取得部)43を備えている。画像処理システム200が図2に示すデジタルカラー複合機(画像処理装置、画像形成装置)103に備えられる場合、表示パネル44は操作パネル115により代用される。
登録処理部15は、図1の構成と同様、登録モードにおいて、特徴量算出部12が算出した各特徴点についてのハッシュ値と、画像データを表すインデックス(画像IDk)とを、図11(a)に示したように、メモリ3に設けられたハッシュテーブルに順次登録していく。投票処理部13は前述の投票動作を行う。
類似度判定処理部42は、投票処理部13の処理結果である、各登録画像データの画像インデックスおよび各登録画像データの得票数をメモリ3から読み出し、それら登録画像データを所定の閾値THと比較して類似性の有無、すなわちそれら入力画像データが登録画像データを含んでいる可能性の有無を判定する。具体的には、得票数が閾値TH以上である場合には「類似性あり」(入力画像データは登録画像データを含んでいる可能性有り)と判定し、得票数が閾値未満である場合には「類似性なし」(入力画像データは登録画像データを含んでいる可能性なし)と判定する。
付与情報取得処理部43は、類似度判定処理部42において「類似性あり」と判定された場合に、そのような判定結果となった登録画像データ(画像インデックス)のリスト、すなわち候補画像インデックスリストを作成する。さらに、付与情報取得処理部43は、上記候補画像インデックスリストを管理サーバ202に送信し、送信した候補画像インデックスリストに挙げた各画像インデックスに対応付けられている付与情報を管理サーバ202から取得し、候補画像インデックスリストに対応した候補付与情報リストを作成する。
制御部41は、文書照合処理部2の各部を制御するとともに、文書照合処理部2からメモリ3へのアクセスを制御する。また、制御部41は、付与情報取得処理部43が作成した候補付与情報リストを表示パネル44に表示させる。この場合、同時に候補付与情報リストの付与情報からいずれか一つの付与情報の選択を促す旨の表示を行わせる。さらに、制御部41は、選択された付与情報を対応する入力画像データ(第1の入力画像データ)に埋め込む処理を行う。
管理サーバ202は、図1に示した画像処理システム100と同様、図21に示すように、画像インデックスとそれに対応する付与情報とを関連づけて管理している。また、管理サーバ202は、付与情報取得処理部43からの要求に応じて各画像インデックスに対応する付与情報を付与情報取得処理部43に送信する。この場合、管理サーバ202は、付与情報取得処理部43から提供された候補画像インデックスリストに対して、各画像インデックスに対応した付与情報を追加して候補付与情報リストを作成し、それを付与情報取得処理部43に送信する。
なお、管理サーバ202からは候補画像インデックスリストに挙がっている各画像インデックスに対応した付与情報を付与情報取得処理部43に送信し、付与情報取得処理部43が候補付与情報リストを作成するようにしてもよい。また、画像インデックスや付与情報の設定方法については前述のとおりである。
上記の構成において、本実施の形態の画像処理システム200における照合モードの動作を図22(a)(b)のフローチャートに基づいて以下に説明する。図22(a)は照合モードにおける画像処理装置201の動作を示すフローチャート、図22(b)は照合モードにおける管理サーバ202の動作を示すフローチャートである。
照合モードが設定されると、図22(a)に示すように、画像処理装置201では、特徴点算出部11が入力画像データの各特徴点を算出し(S31)、特徴量算出部12が特徴点算出部11にて算出された各特徴点の特徴量を算出する(S32)。
次に、投票処理部13は、特徴点算出部11にて算出された特徴量(ハッシュ値)を、メモリ3が保持するハッシュテーブルに登録されている複数の登録画像データの特徴量(ハッシュ値)と比較し、同じ特徴量(ハッシュ値)を有する登録画像データに投票する(S33)。
次に、類似度判定処理部42は、各登録画像データの得票数をメモリ3から読み出し、それら得票数に基づいて、入力画像データと各登録画像データとの類似性の有無を判定する。すなわち、得票数が閾値TH以上の登録画像データを抽出する(S34)。
この判定において、得票数が閾値TH以上の登録画像データがなければ、S39に進み、その入力画像データを付与情報無しとして、付与情報を埋め込むこと無しに、共有サーバ(図示せず)の所定のフォルダに送信する。
一方、S34での判定において、得票数が閾値TH以上の登録画像データがあれば、付与情報取得処理部43は、それら登録画像データの画像インデックスをメモリ3から取得し、それら登録画像データについての候補画像インデックスリストを作成する(S35)。
次に、付与情報取得処理部43は、その候補画像インデックスリストを管理サーバ202に送信し、候補画像インデックスリストに挙がっている画像インデックスに対応した付与情報の有無を管理サーバ202に対して問い合わせる(S36)。
次に、付与情報取得処理部43は、上記問い合わせの結果、候補画像インデックスリストに挙がっている画像インデックスに対応した付与情報が管理サーバ202に登録されており、管理サーバ202から候補画像インデックスリストに対応した候補付与情報リストが送信されてくると、その候補付与情報リストを出力する(S37)。
次に、制御部41は、表示パネル44において、付与情報取得処理部43から出力された候補付与情報リストを表示させるとともに、ユーザに対して候補付与情報リストに挙がっているいずれかの付与情報の選択を促す旨の表示を行わせる(S38)。
次に制御部41は、ユーザによりいずれかの付与情報を選択する入力が行われると、選択された付与情報を対応する入力画像データ(上記第1の入力画像データ)に埋め込む処理を行う(S39)。その後、その入力画像データを例えば共有サーバ(図示せず)に送信する(S40)。なお、例えば所定時間以内にユーザにより付与情報が選択されなかった場合、S39およびS40の処理は行わず、動作を終了する。
一方、管理サーバ202では、図22(b)に示すように、画像処理装置201からの付与情報についての問い合わせの有無、すなわち画像処理装置201からの候補画像インデックスリストの受信の有無を判定する(S51)。
この判定の結果、管理サーバ202は、候補画像インデックスリストを受信していると、候補画像インデックスリストに挙がっている各画像インデックスに対応する付与情報の有無を確認し(S52)、その結果を反映した候補付与情報リストを作成する(S53)。すなわち、候補付与情報リストは、画像インデックスに対応する付与情報があれば、その付与情報が対応する画像インデックスの位置に追加され、画像インデックスに対応する付与情報がなければ、付与情報なしという情報が対応する画像インデックスの位置に追加されたものとなる。
なお、図22(a)のS34において類似原稿が存在しない場合、およびS37において管理サーバ202に候補画像インデックスリストの画像インデックスに対応する付与情報が登録されていない場合、制御部41はその旨を表示パネル44に表示させ、ユーザに対して付与情報の入力を要求するようにしてもよい。
また、S34において、得票数が閾値TH以上の登録画像データが一つであった場合には、S38において表示パネル44での候補付与情報リストの表示を行わず、S39において、その登録画像データの付与情報を入力画像データに付与するようにしてもよい。
画像処理システム200では、以上の処理を画像処理装置201に入力されてくる各入力画像データに対して行うことにより、それら入力画像データに対して、入力画像データに応じた付与情報を適切に付与することができる。これにより、例えば上記共有サーバに格納された画像データ(入力画像データ)を付与情報に基づいて正確に検索することができる。
本実施の形態においては、管理サーバ202が画像インデックスとそれに対応する付与情報とを関連づけて管理しており、付与情報取得処理部43が管理サーバ202から画像インデックスに対応する付与情報を取得する構成としている。しかしながら、管理サーバ202を使用することなく、画像インデックスと付与情報との対応関係を示す画像インデックス・付与情報対応情報をメモリ3に格納しておき、付与情報取得処理部43がメモリ3から付与情報を取得し、その付与情報から例えば制御部41が候補付与情報リストを作成するようにしてもよい。
以上の実施の形態に示した画像処理システム100,200では、登録されている付与情報を変更することができる。ここでは、管理サーバ102,202に直接アクセスして変更する場合と画像処理装置101,201に対する操作により変更する場合とについて説明する。
(1)管理サーバに直接アクセスして付与情報を変更する場合
管理サーバ102,202では、例えば図13に示したように、付与情報が登録画像データ(画像インデックス)と対応づけて管理されている。ここで、画像インデックスID2において付与情報として「担当者A」を「担当者C」に変更すること、あるいは「担当者C」を追加することになった場合、管理者(ユーザ)は次の操作を行う。
管理者(ユーザ)は、ユーザの端末装置(コンピュータ)からネットワークを介して管理サーバ102,202にアクセスし、「担当者A」を「担当者C」に変更、あるいは「担当者C」を追加する。この処理を行った場合、それ以降に入力画像データに埋め込まれる付与情報は、変更後の付与情報となる。
(2)画像処理装置に対する操作により付与情報を変更する場合
ここでは、画像処理装置101,201が図2に示すデジタルカラー複合機103に備えられている場合について説明する。管理サーバ102,202では、例えば図13に示したように、付与情報が登録画像データ(画像インデックス)と対応づけて管理されている。
ここで、画像インデックスID2において付与情報として「担当者A」を「担当者C」に変更すること、あるいは「担当者C」を追加することになった場合、管理者(ユーザ)は、例えば図2のデジタルカラー複合機103の操作パネル115において次の操作を行う。管理者(ユーザ)は、デジタルカラー複合機103(画像処理装置101,201)を付与情報変更モードに設定し、画像インデックスID2に対応する画像データを入力する。この画像データの入力は、例えばスキャナとしてのカラー画像入力装置111から原稿画像を読み込むことにより行う。
画像処理装置101,201に入力された画像データは、照合モードの場合と同様、特徴点算出部11、特徴量算出部12、投票処理部13および類似度判定処理部14,42にて処理される。そして、類似度判定処理部14,42において類似性ありと判定された場合に、付与情報取得処理部16,43は、登録画像データの画像インデックスに対応する付与情報を取得し、制御部1,41はその付与情報を操作パネル115の表示部に表示させる。
次に、管理者(ユーザ)は、上記表示部の表示を見ながら、付与情報の削除、変更あるいは追加を行い、その変更結果を反映した付与情報の再登録を指示する。この指示に基づき、例えば制御部1,41の動作により、管理サーバ102,202において例えば図13のように登録されている付与情報が変更される。この処理を行った場合、それ以降に入力画像データに埋め込まれる付与情報は、変更後の付与情報となる。
また、本実施の形態の画像処理システム100,200では、管理サーバ102,202に格納されている付与情報の変更を反映して、画像データ(例えば共有サーバに格納されている画像データ)に埋め込まれている付与情報を変更することができる。管理サーバ102,202は、図23に示すように、付与情報の変更履歴を管理している。この変更履歴は、上記(1)(2)の処理により付与情報を変更した結果である。図23では、例えば登録原稿Aの付与情報である「見積書A」が、2007/10/5に「見積書B」に変更されたことを示している。
既に画像データ(電子化ファイル)に埋め込まれている付与情報を変更する場合には、例えば、ユーザの端末装置(コンピュータ)にインストールされている専用アプリケーションを使用する。この場合、ユーザの端末装置は、付与情報更新部として画像処理システム100,200に含まれる。本実施の形態における付与情報の変更動作を図24(a)(b)のフローチャートに基づいて以下に説明する。図24(a)は画像データ(電子化ファイル)に埋め込まれている付与情報を変更する場合のユーザの端末装置の動作を示すフローチャートであり、図24(b)は同動作に伴う管理サーバ102,202の動作を示すフローチャートである。
付与情報を変更する場合、ユーザの端末装置では、図24(a)に示すように、付与情報が付与された画像データ(電子化ファイル)が保存されている例えば共有サーバのフォルダがユーザにより指定されると(S61)、上記フォルダ内の各画像データに埋め込まれている付与情報とその付与情報に付加されている変更日時情報を抽出する(S62)。
次に、ユーザの端末装置は、抽出した各付与情報と各付与情報に付加されている変更日時情報とを管理サーバ102,202に送信し、各付与情報について上記変更日時情報が示す変更日時よりも後の時点での付与情報の変更の有無を問い合わせる(S63)。
この問い合わせに対して変更済みの付与情報を管理サーバ102,202から受信すると(S64)、ユーザの端末装置では、その付与情報を新付与情報として、該当する画像データの付与情報を変更し、処理を終了する(S65)。この場合、変更した付与情報に付加される変更日時は、管理サーバ102,202において管理されている変更日時である。
一方、管理サーバ102,202では、付与情報変更の有無についての問い合わせの有無を判定する(S71)。その結果、付与情報変更の有無についての問い合わせがあると、受信した付与情報と変更日時情報から、その変更日時情以降に変更されている付与情報を抽出する(S72)。そして、抽出した付与情報を新付与情報とし、変更日時を付加してユーザの端末装置に送信し、処理を終了する(S73)。
なお、付与情報が変更されていることをユーザが知っている場合には、次のような処理により、付与情報を変更してもよい。すなわち、ユーザの端末装置により、例えば共有サーバに格納されている、付与情報が付与済みの画像データを読み込み、変更される前の付与情報をキーワードとして、付与情報変更対象の画像データを抽出し、その画像データの付与情報を変更するようにしてもよい。付与情報の変更を行う処理は、上記の場合と同様、専用のアプリケーションを用いて行う。
また、上記の例では、画像データに埋め込まれている付与情報の変更をユーザの端末装置を使用して行うようになっている。しかしながら、例えば管理サーバ102,202において付与情報が変更された場合に、この変更に基づき、例えば共有サーバに格納されている、該当する登録画像データの付与情報を自動的に変更するようにしてもよい。
例えば、上述のユーザの端末装置の機能(専用のアプリケーション)を管理サーバ102,202が備え、管理している付与情報が変更された場合に、ユーザからの変更指示の入力を待つことなく、自動的に図24(a)(b)に示した一連の処理を行うものである。この場合、管理サーバ102,202は付与情報更新部として機能する。
あるいは、管理サーバ102,202を備えない、画像処理システム100,200において、制御部1,41がメモリ3において付与情報を管理し、上述のユーザの端末装置の機能(専用のアプリケーション)を制御部1,41が備えている場合であって、管理している付与情報が変更された場合に、ユーザからの変更指示の入力を待つことなく、制御部1,41が自動的に図24(a)(b)に示した一連の処理を行うものである。この場合、制御部1,41は付与情報更新部として機能する。
また、以上の例では、デジタルカラー複合機103(画像処理装置101,102)がハッシュテーブルを備え、管理サーバ102,202が画像インデックスに対応した付与情報を関連付けて格納しているものとなっている。しかしながら、ハッシュテーブルと画像インデックスに対応した付与情報とを共に管理サーバ102,202に格納しておき、デジタルカラー複合機103(画像処理装置101,102)からは、画像データの特徴量を管理サーバ102に送信し、管理サーバ102,202において類似判定を行い、類似していると判定した場合に、付与情報をデジタルカラー複合機103(画像処理装置101,102)に送信し、デジタルカラー複合機103(画像処理装置101,102)において付与情報を画像データに埋め込むようにしてもよい。この場合の構成例を図25に示す。
図25は本発明のさらに他の実施の形態における画像処理システム300の構成を示すブロック図である。この画像処理システム300は画像処理装置301と管理サーバ302とを備える。画像処理装置301は、例えばデジタルカラー複合機103に対応し、特徴点算出部11、特徴量算出部12、付与情報取得処理部16、メモリ3およびMFP制御部51を備える。MFP制御部51は、画像処理装置301の各部の動作、メモリ3に対する書き込みおよび読み出し動作、並びに管理サーバ302との通信動作を制御する。
管理サーバ302は、投票処理部13、類似度判定処理部14、登録処理部15、メモリ62およびサーバ制御部61を備える。サーバ制御部61は、管理サーバ302の各部の動作、メモリ62に対する書き込みおよび読み出し動作、並びに画像処理装置301との通信動作を制御する。この画像処理システム300の動作は、以上の各例において説明したとおりである。
次に、上記の画像処理装置101,201,301を適用したデジタルカラー複合機103の構成について説明する。図2はコピー機能、プリンタ機能、ファクシミリ送信機能およびscan to e-mail機能等を備えたデジタルカラー複合機103の構成を示すブロック図である。
図2に示すように、デジタルカラー複合機103は、カラー画像入力装置111、カラー画像処理装置112、カラー画像出力装置(画像出力装置)113および通信装置114を備えている。
カラー画像入力装置111は、例えばCCDなどの光学情報を電気信号に変換するデバイスを備えたスキャナ部より構成され、原稿からの反射光像をRGBのアナログ信号として出力する。
カラー画像入力装置111にて読み取られたアナログ信号は、カラー画像処理装置112内を、A/D変換部121、シェーディング補正部122、入力階調補正部124、領域分離処理部124、文書照合処理部125、色補正部126、黒生成下色除去部127、空間フィルタ処理部128、出力階調補正部129、および階調再現処理部130の順で送られ、CMYKのデジタルカラー信号として、カラー画像出力装置113へ出力される。
A/D変換部121は、RGBのアナログ信号をデジタル信号に変換するもので、シェーディング補正部122では、A/D変換部121より送られてきたデジタルのRGB信号に対して、カラー画像入力装置111の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施す。
入力階調補正部123は、シェーディング補正部122にて各種の歪みが取り除かれたRGB信号に対して、カラーバランスを整えると同時に、濃度信号などに変換する処理を施す。また、下地濃度の除去やコントラストなどの画質調整処理を行う。
領域分離処理部124は、RGB信号より、入力画像中の各画素を文字領域、網点領域、写真領域の何れかに分離するものである。領域分離処理部124は、分離結果に基づき、画素がどの領域に属しているかを示す領域識別信号を、黒生成下色除去部127、空間フィルタ処理部128および階調再現処理部130へと出力するとともに、入力階調補正部124より出力された入力信号をそのまま後段の色補正部126に出力する。
文書照合処理部125は、図1に示した文書照合処理部2に相当するものである。文書照合処理部125を領域分離処理部124の後段に設けるのではなく、シェーディング補正部122と入力階調補正部123との間、あるいは、入力階調補正部123と並列して設けてもよい。この場合、カラーバランスを整える処理、および濃度信号に変換する処理はシェーディング補正部122にて行われる。
色補正部126では、色再現の忠実化を図るために、不要吸収成分を含むCMY色材の分光特性に基づいた色濁りを取り除く処理を行う。
黒生成下色除去部127は、色補正後のCMYの3色信号から黒(K)信号を生成する黒生成、元のCMY信号から黒生成で得たK信号を差し引いて新たなCMY信号を生成する処理を行う。これによりCMYの3色信号はCMYKの4色信号に変換される。
空間フィルタ処理部128は、黒生成下色除去部127より入力されるCMYK信号の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理を行い、空間周波数特性を補正する。これにより出力画像のぼやけや粒状性劣化を軽減することができる。階調再現処理部130では、空間フィルタ処理部128と同様に、CMYK信号の画像データに対して、領域識別信号に基づいて後述する所定の処理が施される。
例えば、領域分離処理部124にて文字に分離された領域は、文字の再現性を高めるために、空間フィルタ処理部128における空間フィルタに高周波成分の強調量が大きいフィルタが用いられる。同時に、階調再現処理部130においては、高域周波成分の再現に適した高解像度のスクリーンによる二値化もしくは多値化処理が実施される。
また、領域分離処理部124にて網点に分離された領域に関しては、空間フィルタ処理部128において、入力網点成分を除去するためのローパス・フィルタ処理が施される。そして、出力階調補正部129では、濃度信号などの信号をカラー画像出力装置113の特性値である網点面積率に変換する出力階調補正処理を行った後、階調再現処理部130で、最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理が施される。領域分離処理部124にて写真に分離された領域に関しては、階調再現性を重視したスクリーンでの二値化または多値化処理が行われる。
上述した各処理が施された画像データは、一旦、記憶装置(図示せず)に記憶され、所定のタイミングで読み出されてカラー画像出力装置113に入力される。
このカラー画像出力装置113は、画像データを紙などの記録媒体上に出力するものである。例えば、電子写真方式やインクジェット方式を用いたカラー画像出力装置等を挙げることができるが、特に限定されるものではない。なお、以上の処理は図示しないCPU(Central Processing Unit)により制御される。
通信装置114は、例えば、モデムやネットワークカードにより構成され、ファクシミリの送信を行うときは、モデムにて相手先との送信手続きを行う。送信可能な状態が確保されると、所定の形式で圧縮された画像データ(スキャナで読み込まれた画像データ)をメモリ(図示せず)から読み出し、圧縮形式の変更など必要な処理を施して、相手先に通信回線を介して順次送信する。
また、通信装置114によりファクシミリを受信する場合、CPU(図示せず)は、通信手続きを行いながら相手先から送信されてくる画像データを受信して画像処理装置112に入力する。画像処理装置112では、受信した画像データを、圧縮/伸張処理部(図示せず)にて伸張処理を施す。伸張された画像データは、必要に応じて、回転処理や解像度変換処理が行なわれ、出力階調補正、階調再現処理が施され、カラー画像出力装置113より出力される。
さらに通信装置114は、ネットワークカードやLANケーブルを介してネットワークに接続されたコンピュータや他のデジタル複合機とデータ通信を行なう。
また、上記の例では、デジタルカラー複合機103について説明したが、この複合機はモノクロの複合機であっても構わない。
また、本実施の形態の画像処理装置101,201,301は、画像読取装置にも適用可能である。図26は、本実施の形態の画像処理装置101,201,301を適用したカラー画像読取装置(画像処理装置)105の構成を示すブロック図である。このカラー画像読取装置(画像読取装置)105は例えばフラットベッドスキャナである。
図26に示すように、カラー画像読取装置105は、A/D変換部121、シェーディング補正部122および文書照合処理部125を有する画像処理部117を備え、この画像処理部117にカラー画像入力装置111と通信装置114とが接続された構成である。
画像処理部117の各部とカラー画像入力装置111との構成および機能は前述のとおりである。画像処理部117は通信装置114を介して管理サーバ102,202と通信する。画像処理部117の詳細な動作、および管理サーバ102,202を含んだ画像処理システムの動作は前述のとおりである。
本発明はコンピュータに実行させるためのプログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)を記録したコンピュータ読み取り可能な記録媒体に、上記した文書照合並びに出力制御を行う画像処理方法を記録するものとすることもできる。この結果、文書照合並びに出力制御を行う画像処理方法を行うプログラムコードを記録した記録媒体を持ち運び自在に提供することができる。
なお、本実施の形態では、この記録媒体としては、マイクロコンピュータで処理が行われるためにメモリ(図示せず)、例えばROMのようなものそのものがプログラムメディアであってもよいし、また、外部記憶装置(図示せず)としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。
いずれの場合においても、格納されているプログラムコードはマイクロプロセッサがアクセスして実行させる構成であってもよいし、あるいは、いずれの場合もプログラムコードを読み出し、読み出されたプログラムコードは、マイクロコンピュータのプログラム記憶エリア(図示せず)にダウンロードされて、そのプログラムコードが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスクやハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD等の光ディスクのディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)、フラッシュROM等による半導体メモリを含めた固定的にプログラムコードを担持する媒体であってもよい。
また、本実施の形態においては、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムコードをダウンロードするように流動的にプログラムコードを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムコードをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであってもよい。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
上記記録媒体は、デジタルカラー画像形成装置やコンピュータシステムに備えられるプログラム読み取り装置により読み取られることで上述した画像処理方法が実行される。
また、コンピュータシステムは、フラットベッドスキャナ・フィルムスキャナ・デジタルカメラなどの画像入力装置、所定のプログラムがロードされることにより上記画像処理方法など様々な処理が行われるコンピュータ、コンピュータの処理結果を表示するCRTディスプレイ・液晶ディスプレイなどの画像表示装置およびコンピュータの処理結果を紙などに出力するプリンタより構成される。さらには、ネットワークを介してサーバーなどに接続するための通信手段としてのネットワークカードやモデムなどが備えられる。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明の実施の形態における画像処理システムの構成を示すブロック図である。 図1に示した画像処理装置を備えるデジタルカラー複合機の構成を示すブロック図である。 図2に示した特徴点算出部の構成を示すブロック図である。 図3に示したMTF補正処理部が備える混合フィルタのフィルタ係数を示す説明図である。 図1に示した特徴点算出部の処理により、2値化された画像データから抽出された連結領域およびこの連結領域の重心の一例を示す説明図である。 図1に示した特徴点算出部の処理により、2値化された画像データに含まれる文字列から抽出された複数の連結領域の各重心(特徴点)の一例を示す説明図である。 図1に示した特徴量算出部の構成を示すブロック図である。 図7に示した特徴点抽出部での注目特徴点に対する周辺特徴点の抽出動作の説明図である。 図9(a)は、特徴点抽出部にて抽出された周辺特徴点4点の中から選択し得る3点の組み合わせの一例を示すものであって、注目特徴点aに対する周辺特徴点b,c,dの組合せの例を示す説明図、図9(b)は、同注目特徴点aに対する周辺特徴点b,c,eの組合せの例を示す説明図、図9(c)は、同注目特徴点aに対する周辺特徴点b,d,eの組合せの例を示す説明図、図9(d)は、同注目特徴点aに対する周辺特徴点c,d,eの組合せの例を示す説明図である。 図10(a)は、特徴点抽出部にて抽出された周辺特徴点4点のうちの一つに注目特徴点を移した場合に選択し得る3点の周辺特徴点の組み合わせの一例を示すものであって、注目特徴点bに対する周辺特徴点a,e,fの組合せの例を示す説明図、図10(b)は、同注目特徴点bに対する周辺特徴点a,e,cの組合せの例を示す説明図、図10(c)は、同注目特徴点bに対する周辺特徴点a,f,cの組合せの例を示す説明図、図10(d)は、同注目特徴点bに対する周辺特徴点e,f,cの組合せの例を示す説明図である。 図11(a)は、図1に示した登録処理部により作成されるハッシュテーブルを示す説明図、図11(b)は11(a)に示したハッシュテーブルの他の形態を示す説明図である。 図1に示した投票処理部による複数の登録画像データに対する投票動作を示す説明図である。 図1に示した管理サーバにおいて、画像インデックスとそれに対応する付与情報とを関連づけて管理している状態を示す説明図である。 図14(a)は図1に示した画像処理装置における照合モードの動作を示すフローチャート、図14(b)は図1に示した管理サーバにおける照合モードの動作を示すフローチャートである。 図1に示した画像処理装置により、入力画像データとしてのPDFファイルに付与情報として透明テキストを埋め込む処理の説明図である。 図1に示した画像処理装置により、入力画像データとしてのPDFファイルにおけるキーワード格納用の領域に付与情報を格納する処理の説明図である。 本発明の他の実施の形態において、図1に示した登録処理部により作成されるハッシュテーブルを示す説明図である。 本発明の他の実施の形態における図1に示した投票処理部による複数の登録画像データに対する投票動作を示す説明図である。 本発明の他の実施の形態における画像処理装置の照合モードの動作を示す説明図である。 本発明のさらに他の実施の形態における画像処理システムの構成を示すブロック図である。 図20に示した管理サーバにおいて、画像インデックスとそれに対応する付与情報とを関連づけて管理している状態を示す説明図である。 図22(a)は図20に示した画像処理装置における照合モードの動作を示すフローチャート、図22(b)は図20に示した管理サーバにおける照合モードの動作を示すフローチャートである。 図1に示した管理サーバにおける付与情報の変更履歴の管理状態を示す説明図である。 図24(a)は図23に示した付与情報の変更履歴に基づく、画像データに埋め込まれた付与情報の変更動作を示すフローチャート、図24(b)は図1に示した管理サーバにおける、上記付与情報の変更動作を示すフローチャートである。 本発明のさらに他の実施の形態における画像処理システムの構成を示すブロック図である。 本発明の実施の形態の画像処理装置を適用したカラー画像読取装置の構成を示すブロック図である。
符号の説明
1 制御部(付与情報付与部、表示制御部、付与情報更新部)
2 文書照合処理部
3 メモリ(付与情報格納手段)
11 特徴点算出部(特徴量抽出部)
12 特徴量算出部(特徴量抽出部)
13 投票処理部(判定部、類似判定部)
14 類似度判定処理部(判定部、類似判定部)
15 登録処理部
16 付与情報取得処理部(付与情報取得部)
41 制御部(付与情報付与部、表示制御部、付与情報更新部)
42 類似度判定処理部(判定部、類似判定部)
43 付与情報取得処理部(付与情報取得部)
44 表示パネル(表示手段)
51 MFP制御部
100 画像処理システム
101 画像処理装置
102 管理サーバ(付与情報格納手段、管理装置、付与情報更新部)
103 デジタルカラー複合機(画像形成装置)
105 カラー画像読取装置(画像読取装置)
111 カラー画像入力装置(画像入力装置)
113 カラー画像出力装置(画像出力装置)
115 操作パネル(表示手段)
117 画像処理部
200 画像処理システム
201 画像処理装置
202 管理サーバ(付与情報格納手段、管理装置、付与情報更新部)

Claims (13)

  1. 登録画像データに設定された付与情報を格納している付与情報格納手段と、
    入力画像データが前記登録画像データに類似するか否かを判定する判定部と、
    前記判定部にて前記入力画像データが前記登録画像データに類似すると判定された場合に、前記付与情報を前記付与情報格納手段から取得する付与情報取得部と、
    前記付与情報取得部にて取得された付与情報を前記入力画像データに付与する付与情報付与部とを備えていることを特徴とする画像処理装置。
  2. 前記付与情報格納手段は、複数の登録画像データについてのそれら登録画像データごとに設定された付与情報を格納しており、
    前記付与情報取得部は、前記判定部にて前記入力画像データが前記複数の登録画像データのうちの第1の登録画像データに類似すると判定された場合に、前記第1の登録画像データに設定されている付与情報を前記付与情報格納手段から取得することを特徴とする請求項1に記載の画像処理装置。
  3. 前記付与情報格納手段は、前記付与情報を前記登録画像データの特徴量と関連づけて格納しており、
    前記判定部は、前記入力画像データから特徴量を抽出する特徴量抽出部と、
    前記特徴量抽出部にて抽出された前記入力画像データの特徴量と前記付与情報格納手段に格納されている登録画像データの特徴量とを比較して、これら両画像データの類似の有無を判定する類似判定部とを備えていることを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記付与情報格納手段は、複数の前記登録画像データを区別するための画像インデックスとこの画像インデックスにより特定される登録画像データに設定された前記付与情報とを関連づけて格納しており、
    前記付与情報取得部は、前記判定部にて前記入力画像データが前記複数の登録画像データのうちの第1の登録画像データに類似すると判定された場合に、前記第1の登録画像データに設定されている前記画像インデックスを前記付与情報格納手段に送信し、前記付与情報格納手段から、送信した前記画像インデックスに関連付けられている付与情報を取得することを特徴とする請求項2に記載の画像処理装置。
  5. 複数の登録画像データについてのそれら登録画像データごとに設定された付与情報を格納している付与情報格納手段と、
    入力画像データが前記登録画像データに類似するか否かを判定する判定部と、
    前記判定部にて前記入力画像データが類似すると判定された前記登録画像データに設定されている付与情報を前記付与情報格納手段から取得する付与情報取得部と、
    前記付与情報取得部にて取得された付与情報を表示手段に表示させる表示制御部と、
    前記入力画像データに付与する付与情報を選択する入力に基づいて、前記表示手段に表示させた付与情報のうちの選択された付与情報を前記入力画像データに付与する付与情報付与部とを備えていることを特徴とする画像処理装置。
  6. 前記付与情報格納手段には前記付与情報とともに前記付与情報が変更された場合の履歴を示す変更履歴情報が格納されており、
    前記変更履歴情報に基づいて、前記付与情報付与部により付与情報が付与された入力画像データの付与情報を更新する付与情報更新部を備えていることを特徴とする請求項1から5のいずれか1項に記載の画像処理装置。
  7. 画像処理装置とこの画像処理装置と通信可能な管理装置とを備え、
    前記管理装置は、複数の登録画像データごとに設定された付与情報を格納しており、
    前記画像処理装置は、入力画像データが前記登録画像データに類似するか否かを判定する判定部と、
    前記判定部にて前記入力画像データが前記複数の登録画像データのうちの第1の登録画像データに類似すると判定された場合に、前記第1の登録画像データに設定されている付与情報を前記管理装置から取得する付与情報取得部と、
    前記付与情報取得部にて取得された付与情報を前記入力画像データに付与する付与情報付与部とを備えていることを特徴とする画像処理システム。
  8. 前記管理装置は、複数の前記登録画像データを区別するための画像インデックスとこの画像インデックスにより特定される登録画像データに設定された前記付与情報とを関連づけて格納しており、
    前記付与情報取得部は、前記判定部にて前記入力画像データが前記複数の登録画像データのうちの第1の登録画像データに類似すると判定された場合に、前記第1の登録画像データに設定されている前記画像インデックスを前記管理装置に送信し、前記管理装置から、送信した前記画像インデックスに関連付けられている付与情報を取得することを特徴とする請求項7に記載の画像処理システム。
  9. 原稿の画像を読み込んで画像データを取得する画像入力装置と、前記画像入力装置から入力された画像データを処理する請求項1から6のいずれか1項に記載の画像処理装置ととを備えていることを特徴とする画像読取装置。
  10. 原稿の画像を読み込んで画像データを取得する画像入力装置と、前記画像入力装置から入力された画像データを処理する請求項1から6のいずれか1項に記載の画像処理装置と、画像データに基づいて印刷を行う画像出力装置とを備えていることを特徴とする画像形成装置。
  11. 入力画像データが登録画像データに類似するか否かを判定する判定ステップと、
    前記判定ステップにて前記入力画像データが前記登録画像データに類似すると判定した場合に、登録画像データに設定された付与情報を格納している付与情報格納手段から前記付与情報を取得する付与情報取得ステップと、
    前記付与情報取得ステップにて取得した付与情報を前記入力画像データに付与する付与情報付与ステップとを備えていることを特徴とする画像処理方法。
  12. 請求項1から6のいずれか1項に記載の画像処理装置の前記の各部としてコンピュータを機能させるためのプログラム。
  13. 請求項12に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2008029676A 2008-02-08 2008-02-08 画像処理方法、画像処理装置、画像読取装置、画像形成装置、画像処理システム、プログラムおよび記録媒体 Active JP4970301B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008029676A JP4970301B2 (ja) 2008-02-08 2008-02-08 画像処理方法、画像処理装置、画像読取装置、画像形成装置、画像処理システム、プログラムおよび記録媒体
CN2009100053154A CN101505349B (zh) 2008-02-08 2009-02-05 图像处理方法、装置及系统、图像读取装置和形成装置
US12/367,285 US8300944B2 (en) 2008-02-08 2009-02-06 Image processing method, image processing apparatus, image reading apparatus, image forming apparatus, image processing system, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008029676A JP4970301B2 (ja) 2008-02-08 2008-02-08 画像処理方法、画像処理装置、画像読取装置、画像形成装置、画像処理システム、プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2009188951A true JP2009188951A (ja) 2009-08-20
JP4970301B2 JP4970301B2 (ja) 2012-07-04

Family

ID=40938931

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008029676A Active JP4970301B2 (ja) 2008-02-08 2008-02-08 画像処理方法、画像処理装置、画像読取装置、画像形成装置、画像処理システム、プログラムおよび記録媒体

Country Status (3)

Country Link
US (1) US8300944B2 (ja)
JP (1) JP4970301B2 (ja)
CN (1) CN101505349B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014215930A (ja) * 2013-04-30 2014-11-17 株式会社トレカラボ 買取価格査定システム
JP2015109506A (ja) * 2013-12-03 2015-06-11 日本電信電話株式会社 マーカ埋め込み装置及びマーカ埋め込みプログラム、並びにマーカ検出装置及びマーカ検出プログラム
JP2015201042A (ja) * 2014-04-08 2015-11-12 日本電信電話株式会社 ハッシュ関数生成方法、ハッシュ値生成方法、装置、及びプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6011185B2 (ja) * 2012-09-14 2016-10-19 株式会社バッファロー 画像情報処理システム、画像情報処理装置、及びプログラム
JP6349817B2 (ja) * 2014-03-19 2018-07-04 富士通株式会社 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
US9792042B2 (en) * 2015-10-21 2017-10-17 Red Hat, Inc. Systems and methods for set membership matching
JP6799354B2 (ja) 2016-10-26 2020-12-16 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、及びプログラム
JP7128665B2 (ja) * 2018-06-11 2022-08-31 富士フイルム株式会社 画像処理装置,画像処理方法ならびに画像処理プログラムおよびそのプログラムを格納した記録媒体
JP7247496B2 (ja) * 2018-09-14 2023-03-29 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
CN112328339B (zh) * 2020-10-10 2024-04-30 Oppo(重庆)智能科技有限公司 通知消息的显示方法、装置、存储介质及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10326212A (ja) * 1997-05-26 1998-12-08 Fujitsu Ltd データ管理装置
JP2001273187A (ja) * 2000-03-27 2001-10-05 Web Intelligence Network Co Ltd Web情報管理装置、Web情報管理方法およびWeb情報管理プログラムを記録した記録媒体
JP3488063B2 (ja) * 1997-12-04 2004-01-19 株式会社エヌ・ティ・ティ・データ 情報分類方法、装置及びシステム
JP2005202590A (ja) * 2004-01-14 2005-07-28 Kddi Corp マスメイル検出方式およびメイルサーバ
JP2006099341A (ja) * 2004-09-29 2006-04-13 Bank Of Tokyo-Mitsubishi Ufj Ltd 更新履歴生成装置及びプログラム
WO2006092957A1 (ja) * 2005-03-01 2006-09-08 Osaka Prefecture University Public Corporation 文書・画像検索方法とそのプログラム、文書・画像登録装置および検索装置
JP2007011472A (ja) * 2005-06-28 2007-01-18 Canon Inc 情報処理方法及びその装置、プログラム、コンピュータ可読メモリ
JP2007172195A (ja) * 2005-12-21 2007-07-05 Canon Inc 画像処理装置の制御方法および画像処理装置
JP2007280106A (ja) * 2006-04-07 2007-10-25 Seiko Epson Corp 画像データに対するキーワードの付与

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6389178B1 (en) * 1994-07-28 2002-05-14 Lucent Technologies Inc. Method of downsampling documents
EP1156430A2 (en) * 2000-05-17 2001-11-21 Matsushita Electric Industrial Co., Ltd. Information retrieval system
JP2001357045A (ja) 2000-06-13 2001-12-26 Nippon Telegr & Teleph Corp <Ntt> 画像管理装置,画像管理方法および画像管理プログラムの記録媒体
US6735337B2 (en) * 2001-02-02 2004-05-11 Shih-Jong J. Lee Robust method for automatic reading of skewed, rotated or partially obscured characters
US6640009B2 (en) * 2001-02-06 2003-10-28 International Business Machines Corporation Identification, separation and compression of multiple forms with mutants
JP4366119B2 (ja) * 2003-05-29 2009-11-18 キヤノン株式会社 文書処理装置
JP4213112B2 (ja) * 2004-11-09 2009-01-21 シャープ株式会社 画像検索装置、画像形成装置、画像検索装置の制御方法、画像検索プログラムおよびコンピュータ読取り可能な記録媒体
US8036497B2 (en) * 2005-03-01 2011-10-11 Osaka Prefecture University Public Corporation Method, program and apparatus for storing document and/or image using invariant values calculated from feature points and method, program and apparatus for retrieving document based on stored document and/or image
JP2006332912A (ja) 2005-05-24 2006-12-07 Sharp Corp 画像形成装置、画像検索方法、制御プログラムおよびコンピュータ読取り可能な記録媒体ならびに画像検索装置
JP2007141159A (ja) 2005-11-22 2007-06-07 Fuji Xerox Co Ltd 画像処理装置、画像処理方法、及び画像処理プログラム
JP2007299210A (ja) * 2006-04-28 2007-11-15 Sharp Corp 画像処理装置、画像形成装置、画像読取装置及び画像処理方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10326212A (ja) * 1997-05-26 1998-12-08 Fujitsu Ltd データ管理装置
JP3488063B2 (ja) * 1997-12-04 2004-01-19 株式会社エヌ・ティ・ティ・データ 情報分類方法、装置及びシステム
JP2001273187A (ja) * 2000-03-27 2001-10-05 Web Intelligence Network Co Ltd Web情報管理装置、Web情報管理方法およびWeb情報管理プログラムを記録した記録媒体
JP2005202590A (ja) * 2004-01-14 2005-07-28 Kddi Corp マスメイル検出方式およびメイルサーバ
JP2006099341A (ja) * 2004-09-29 2006-04-13 Bank Of Tokyo-Mitsubishi Ufj Ltd 更新履歴生成装置及びプログラム
WO2006092957A1 (ja) * 2005-03-01 2006-09-08 Osaka Prefecture University Public Corporation 文書・画像検索方法とそのプログラム、文書・画像登録装置および検索装置
JP2007011472A (ja) * 2005-06-28 2007-01-18 Canon Inc 情報処理方法及びその装置、プログラム、コンピュータ可読メモリ
JP2007172195A (ja) * 2005-12-21 2007-07-05 Canon Inc 画像処理装置の制御方法および画像処理装置
JP2007280106A (ja) * 2006-04-07 2007-10-25 Seiko Epson Corp 画像データに対するキーワードの付与

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014215930A (ja) * 2013-04-30 2014-11-17 株式会社トレカラボ 買取価格査定システム
JP2015109506A (ja) * 2013-12-03 2015-06-11 日本電信電話株式会社 マーカ埋め込み装置及びマーカ埋め込みプログラム、並びにマーカ検出装置及びマーカ検出プログラム
JP2015201042A (ja) * 2014-04-08 2015-11-12 日本電信電話株式会社 ハッシュ関数生成方法、ハッシュ値生成方法、装置、及びプログラム

Also Published As

Publication number Publication date
CN101505349B (zh) 2011-08-17
CN101505349A (zh) 2009-08-12
US8300944B2 (en) 2012-10-30
JP4970301B2 (ja) 2012-07-04
US20090202156A1 (en) 2009-08-13

Similar Documents

Publication Publication Date Title
JP4970301B2 (ja) 画像処理方法、画像処理装置、画像読取装置、画像形成装置、画像処理システム、プログラムおよび記録媒体
JP4538507B2 (ja) 画像照合方法、画像照合装置、画像データ出力処理装置、プログラム及び記憶媒体
JP4604100B2 (ja) 画像処理方法、画像処理装置、画像形成装置、プログラムおよび記憶媒体
JP4565015B2 (ja) 画像処理装置、画像形成装置、画像処理システム、画像処理プログラムおよびその記録媒体
US7272269B2 (en) Image processing apparatus and method therefor
JP4310356B2 (ja) 画像処理方法、画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム及び記録媒体
US8131083B2 (en) Image processing apparatus, image forming apparatus, image processing system, and image processing method having storage section, divided into a plurality of regions, for storing identification information for identifying reference image
JP4362528B2 (ja) 画像照合装置、画像照合方法、画像データ出力処理装置、プログラム、及び記録媒体
US8351706B2 (en) Document extracting method and document extracting apparatus
JP4399486B2 (ja) 画像処理装置、外部記憶装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、プログラムおよびその記録媒体
JP4913094B2 (ja) 画像照合方法、画像照合装置、画像データ出力処理装置、プログラム及び記憶媒体
JP4436858B2 (ja) 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体
JP2009031876A (ja) 画像処理装置およびそれを備えた画像形成装置、画像読取装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体
JP4362538B2 (ja) 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体
US8107738B2 (en) Image processing method, image processing apparatus, image forming apparatus, image reading apparatus and memory product
JP2009065571A (ja) 画像照合装置、画像照合方法、画像データ出力処理装置、プログラム、及び記録媒体
JP4486995B2 (ja) 画像処理システム
JP4362537B2 (ja) 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体
JP4588771B2 (ja) 画像処理方法、画像処理装置、画像形成装置、プログラム及び記憶媒体
JP4487003B2 (ja) 画像データ出力処理装置、画像データ出力処理方法、プログラム及び記録媒体
JP4393556B2 (ja) 画像処理方法、画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム及びコンピュータでの読み取りが可能な記録媒体
JP2008154216A (ja) 画像処理方法、画像処理装置、画像形成装置、原稿読取装置、コンピュータプログラム及び記録媒体
JP4340714B2 (ja) 原稿抽出方法、原稿抽出装置、コンピュータプログラム及び記録媒体
JP2008245147A (ja) 画像処理装置、画像読取装置、画像形成装置、画像処理方法、コンピュータプログラム、及び記録媒体
JP2008123456A (ja) 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム及び記録媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100202

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110308

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110426

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110607

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110901

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120403

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120404

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150413

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4970301

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150