JP2008245147A - 画像処理装置、画像読取装置、画像形成装置、画像処理方法、コンピュータプログラム、及び記録媒体 - Google Patents

Abstract

【課題】画像データと予め登録されているフォーマットとを照合し、照合結果に基づいて画像データの登録、及び画像データの出力制御を行う画像処理装置、画像読取装置、画像形成装置、画像処理方法、コンピュータプログラム、及び記録媒体の提供。
【解決手段】入力画像について下地除去処理を行い（Ｓ１２）、フォーマット情報を抽出すると共に（Ｓ１３）、エリア認識処理を行い（Ｓ１４）、背景情報を抽出する（Ｓ１５）。次いで、フォーマット情報に関して算出した特徴点を用いて特徴量の算出を行い（Ｓ１７）、既に登録されている登録フォーマットとの類似度判定処理を行う（Ｓ１９）。登録フォーマットに類似していない場合、特徴量を登録し（Ｓ２１）、フォーマット情報、背景情報を圧縮して（Ｓ２２）、互いに関連付けて登録する。
【選択図】図１３

Description

本発明は、画像データと予め登録されているフォーマットとを照合し、照合結果に基づいて画像データの登録、及び画像データの出力制御を行う画像処理装置、画像読取装置、画像形成装置、画像処理方法、コンピュータプログラム、及び記録媒体に関する。

従来、スキャナで原稿を読み取り、事前に登録されている画像データと照合して、その類似度を判定する画像処理として、ＯＣＲなどで画像からキーワードを抽出してキーワードによるマッチングを行う方法、対象画像を罫線のある帳票画像に限定して、罫線特徴によるマッチングを行う方法などが提案されている（例えば、特許文献１及び２を参照）。

特許文献１には、紙幣、商品券、有価証券などの特定の原稿のＲＧＢ空間上の画像データを格納しておき、原稿画像を読み取り、読み取った画像データと特定原稿の画像データとを色空間上で比較し、特定原稿との類似度が高い場合、画像出力を禁止する処理、メモリに保持された画像データを消去する処理、入力機器の表示部に出力不可能のメッセージを出力する処理、又は出力画像を黒く塗り潰す、あるいは、全面白の画像を出力する処理を行う画像処理装置が記載されている。

また、特許文献２には、入力文書の特徴からデスクリプタを生成し、このデスクリプタとデスクリプタデータベースを用いて、入力文書と文書データベース中の文書とのマッチングを行う画像処理装置が記載されている。デスクリプタデータベースは、デスクリプタを記録し、かつ、デスクリプタが抽出される特徴を含む文書のリストを指し示す。デスクリプタは、文書のデジタル化により生じる歪みや入力文書と文書データベース中の整合する文書との間の差異に対し不変となるように選ばれる。デスクリプタデータベースがスキャンされるときに、文書データベース中の各文書に対する投票を累積し、最高得票数の１文書または得票数がある閾値を超えた文書を整合文書として出力するように構成されている。

また、一方で、情報公開法の試行により行政機関が保有する行政文書情報を開示請求に応じて開示する場合、請求対象となる行政文書内の情報を行政機関の職員等が電子的に、行政文書の全部が開示できる「開示」、行政文書の全部が開示できない「不開示」、行政文書の一部に不開示情報を含み、その部分を墨塗り等で判読不能な状態で開示する「部分開示」の何れかに分類し、迅速かつ不開示部分の漏洩がないように安全に情報公開することがなされている。

このような事務処理を迅速するための技術も提案されている（例えば、特許文献３を参照）。この特許文献３に開示されている技術では、行政文書等の文書中の不開示文字列を不開示番号と文字数の組でなる符号に変換して開示文書ファイルに保存すると共に、不開示番号をポインタとして不開示文字列を不開示ファイルに保存する。文書の開示要求があったときは、開示文書ファイルから該当する保存開示文書を読み出し、保存開示文書の符号部分を符号中の文字数分の黒塗り文字に変換して出力する。文書の閲覧要求があったときは、開示文書ファイルから該当する保存開示文書を読み出し、保存開示文書の符号部分を、符号中の不開示番号による不開示ファイルの参照により取得した不開示文字列に変換して原文書を出力することを行う。
特許第３３３７７００号公報 特開平７−２８２０８８号公報 特開２００５−３３８９０３号公報

しかしながら、特許文献１に記載された画像処理装置では、読み取られた原稿画像が特定画像と類似していると判定されたとき、出力画像全体が黒く塗り潰されるので、紙幣、商品券、有価証券に対しては有効であるが、個人情報など一部分のみを隠蔽すれば良い場合、無駄な処理となる。

また、特許文献２に記載された画像処理装置では、オリジナルの原稿がそのまま格納されているので、照合結果を基にオリジナルの原稿を出力することは可能であるが、メモリ容量が膨大になるという問題点を有している。また、個人情報等を隠蔽することは考慮されていない。

また、特許文献３に記載された画像処理装置では、不開示文字列を抽出して符号化するなど、ソフトウェアで処理が可能なフォーマットであれば問題ないが、JPEG、TIFFなどのフォーマットでは対応することができず、一般的ではない。

本発明は斯かる事情に鑑みてなされたものであり、入力画像から下地を除去した画像を抽出し、入力画像から画像の背景に係る背景情報を生成し、入力画像が予め記憶された記憶画像に非類似であると判定した場合、抽出した画像を生成した背景情報に関連付けて記憶手段に記憶させる構成とすることにより、個人情報等を隠蔽する場合であっても容易に処理を行うことができる画像処理装置、画像読取装置、画像形成装置、画像処理方法、コンピュータプログラム、及び記録媒体を提供することを目的とする。

本発明に係る画像処理装置は、記憶手段に記憶されている記憶画像と外部から入力された入力画像との類比を判定し、判定結果に応じた処理を行う画像処理装置において、前記入力画像から下地を除去した画像を抽出する手段と、前記入力画像から画像の背景に係る背景情報を生成する手段と、前記入力画像が前記記憶画像に非類似であると判定した場合、抽出した画像を生成した背景情報に関連付けて前記記憶手段に記憶させる手段とを備えることを特徴とする。

本発明にあっては、入力画像から下地を除去した画像を抽出し、入力画像から画像の背景に係る背景情報を生成し、入力画像が予め記憶された記憶画像に非類似であると判定した場合、抽出した画像を生成した背景情報に関連付けて記憶手段に記憶させるようにしているため、個人情報が入力画像に含まれる場合であっても背景情報と置換することによって、個人情報の隠蔽が容易である。また、背景情報を除いた画像を用いて照合処理を行えるので、入力画像の背景情報が記憶画像の背景情報と異なる場合であっても、誤判定が抑制される。

本発明に係る画像処理装置は、前記背景情報に基づいて背景画像を生成する手段と、該手段により生成した背景画像と前記抽出した画像とを合成する手段とを更に備えることを特徴とする。

本発明にあっては、背景情報に基づいて背景画像を生成し、生成した背景画像と抽出した画像とを合成するようにしているため、オリジナルのフォーマットと同一の原稿画像が得られる。

本発明に係る画像処理装置は、前記入力画像が前記記憶画像に類似していると判定した場合、前記入力画像が書き込みを加えた画像であるか否かを判断する手段と、書き込みを加えた画像であると判断した場合、該書き込みに対応した画像を抽出する手段と、前記背景情報に基づく背景画像を複数の矩形領域に分割する手段と、抽出した前記書き込みに対応した画像を、前記矩形領域に対応付けて前記記憶手段に記憶させる手段とを備えることを特徴とする。

本発明にあっては、書き込みに対応した画像を抽出し、この画像を背景画像から抽出した矩形領域に対応付けて記憶させるようにしているため、書き込まれた情報を出力しない場合には、代わりに背景情報を出力することで情報の漏洩が防止される。また、違和感がない画像として出力される。

本発明に係る画像処理装置は、前記記憶手段に記憶させる画像及び背景情報を圧縮する手段と、前記記憶手段に圧縮されて記憶されている画像及び背景情報を伸張する手段とを更に備えることを特徴とする。

本発明にあっては、抽出した画像及び背景情報を圧縮するようにしているため、メモリサイズが削減される。

本発明に係る画像処理装置は、前記記憶手段に記憶させる画像、背景情報、及び前記書き込みに対応した画像を圧縮する手段と、前記記憶手段に圧縮されて記憶されている画像、背景情報、及び前記書き込みに対応した画像を伸張する手段とを更に備えることを特徴とする。

本発明にあっては、抽出した画像、背景情報、書き込みに対応した画像を圧縮するようにしているため、メモリサイズが削減される。

本発明に係る画像読取装置は、原稿の画像を読み取る読取手段と、前述した発明の何れか１つに記載の画像処理装置とを備え、該読取手段により読み取った画像から下地を除去した画像を抽出し、抽出した画像と該画像の背景に係る背景情報とを関連付けて記憶するようにしてあることを特徴とする。

本発明にあっては、読取手段により読み取った画像から下地を除去した画像を抽出し、抽出した画像とこの画像の背景に係る背景情報とを関連付けて記憶するようにしているため、スキャナ装置等への適用が可能である。

本発明に係る画像形成装置は、前述した発明の何れか１つに記載の画像処理装置と、該画像処理装置により合成された画像をシート上に形成する手段とを備えることを特徴とする。

本発明にあっては、前述した画像処理装置により合成された画像をシート上に形成する手段を備えるため、プリンタ装置、デジタル複写機、デジタル複合機等への適用が可能である。

本発明に係る画像処理方法は、記憶装置に記憶された記憶画像と新たに取得した画像との類比を判定し、判定結果に応じた処理を行う画像処理方法において、前記取得した画像から下地を除去した画像を抽出し、前記取得した画像から画像の背景に係る背景画像を生成し、前記取得した画像が前記記憶画像に非類似であると判定した場合、抽出した画像を生成した背景情報に関連付けて前記記憶装置に記憶させることを特徴とする。

本発明にあっては、入力画像から下地を除去した画像を抽出し、入力画像から画像の背景に係る背景情報を生成し、入力画像が予め記憶された記憶画像に非類似であると判定した場合、抽出した画像を生成した背景情報に関連付けて記憶手段に記憶させるようにしているため、個人情報が入力画像に含まれる場合であっても背景情報と置換することによって、個人情報の隠蔽が容易である。また、背景情報を除いた画像を用いて照合処理を行えるので、入力画像の背景情報が記憶画像の背景情報と異なる場合であっても、誤判定が抑制される。

本発明に係るコンピュータプログラムは、画像を記憶装置へ記憶させるコンピュータプログラムにおいて、コンピュータに、入力された入力画像から下地を除去した画像を抽出させるステップと、コンピュータに、前記入力画像から画像の背景に係る背景情報を生成させるステップと、コンピュータに、前記記憶装置に記憶されている画像と前記入力画像との類比を判定させるステップと、コンピュータに、非類似と判定された場合、抽出させた画像を生成させた背景情報に関連付けて前記記憶装置に記憶させるステップとを有することを特徴とする。

本発明にあっては、コンピュータで前述の画像処理装置の各手段が実現される。

本発明に係る記録媒体は、画像を記憶装置へ記憶させるコンピュータプログラムが記録されているコンピュータでの読み取りが可能な記録媒体において、コンピュータに、入力された入力画像から下地を除去した画像を抽出させるステップと、コンピュータに、前記入力画像から画像の背景に係る背景情報を生成させるステップと、コンピュータに、前記記憶装置に記憶されている画像と前記入力画像との類比を判定させるステップと、コンピュータに、非類似と判定された場合、抽出させた画像を生成させた背景情報に関連付けて前記記憶装置に記憶させるステップとを有するコンピュータプログラムが記録されていることを特徴とする。

本発明にあっては、記録媒体から読み出されたコンピュータプログラムによって前述の画像処理装置の各手段が実現される。

本発明による場合は、入力画像から下地を除去した画像を抽出し、入力画像から画像の背景に係る背景情報を生成し、入力画像が予め記憶された記憶画像に非類似であると判定した場合、抽出した画像を生成した背景情報に関連付けて記憶手段に記憶させるようにしている。したがって、個人情報が入力画像に含まれる場合であっても背景情報と置換することによって、容易に個人情報を隠蔽することができる。また、個人情報を隠蔽するために該当箇所を部分的に黒く塗りつぶす必要がないため、違和感のない画像を出力することができる。更に、背景情報を除いた画像を用いて照合処理を行えるので、入力画像の背景情報が記憶画像の背景情報と異なる場合であっても、誤判定を抑制することができる。

本発明による場合は、背景情報に基づいて背景画像を生成し、生成した背景画像と抽出した画像とを合成するようにしている。したがって、オリジナルのフォーマットと同一の原稿画像を得ることができる。

本発明による場合は、書き込みに対応した画像を抽出し、この画像を背景画像から抽出した矩形領域に対応付けて記憶させるようにしている。したがって、書き込まれた情報を出力しない場合には、代わりに背景情報を出力することで情報の漏洩を防止することができる。また、情報を隠蔽するために該当箇所を黒く塗りつぶす必要がないため、違和感のない画像を出力することができる。

本発明による場合は、抽出した画像及び背景情報を圧縮するようにしているため、メモリサイズを削減することができる。

本発明による場合は、抽出した画像、背景情報、書き込みに対応した画像を圧縮するようにしているため、メモリサイズを削減することができる。

本発明による場合は、読取手段により読み取った画像から下地を除去した画像を抽出し、抽出した画像とこの画像の背景に係る背景情報とを関連付けて記憶するようにしているため、スキャナ装置等に適用することができる。

本発明による場合は、前述した画像処理装置により合成された画像をシート上に形成する手段を備えるため、プリンタ装置、デジタル複合機等への適用が可能である。

本発明による場合は、コンピュータで前述の画像処理装置の各手段が実現される。

本発明による場合は、記録媒体から読み出されたコンピュータプログラムによって前述の画像処理装置の各手段が実現される。

以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
実施の形態１．
図１は本発明に係る画像処理装置を備える画像処理システムの内部構成を説明するブロック図である。本実施の形態に係る画像処理システムは、操作パネル１、画像入力装置３、画像処理装置５、画像出力装置７を備える。

操作パネル１は、ユーザによる操作を受付けるためのインタフェースであり、各種スイッチ、ボタン等の操作部と、ユーザに対して報知すべき情報、画像等を表示する表示部とを備える。

画像入力装置３は、原稿の画像を光学的に読み取る手段であり、読取用の原稿に光を照射する光源、ＣＣＤ（Charge Coupled Device） のようなイメージセンサ等を備えている。画像入力装置３では、所定の読取位置にセットされた原稿からの反射光像を当該イメージセンサに結像させ、ＲＧＢ（R : Red, G : Green, B : Blue）のアナログ電気信号を出力する。画像入力装置３が出力したアナログ電気信号は画像処理装置５へ入力される。

画像処理装置５は、画像入力装置３から出力されるアナログ電気信号をデジタル電気信号に変換した後、適宜の画像処理を行い、得られた画像データを画像出力装置７へ出力する。なお、画像処理装置５の内部構成、動作等については後に詳述することとする。

画像出力装置７は、画像処理装置５が出力する画像信号に基づいて用紙、ＯＨＰフィルム等のシート上に画像形成を行う手段である。そのため、画像出力装置７は、感光体ドラムを所定の電位に帯電させる帯電器、外部から受付けた画像データに応じてレーザ光を発して感光体ドラム上に静電潜像を生成させるレーザ書込装置、感光体ドラム表面に形成された静電潜像にトナーを供給して顕像化する現像器、感光体ドラム表面に形成されたトナー像を用紙上に転写する転写器等（不図示）を備えており、電子写真方式にて利用者が所望する画像を用紙上に形成する。なお、レーザ書込装置を用いた電子写真方式により画像形成を行う他、インクジェット方式、熱転写方式、昇華方式等により画像形成を行う構成であってもよい。

次に、画像処理装置５の内部構成について説明する。ＡＤ変換部５０は、画像入力装置３から入力されたＲＧＢのアナログ信号をデジタル信号に変換する。シェーディング補正部５１は、ＡＤ変換部５０から出力されたデジタル形式のＲＧＢ信号に対して、画像入力装置３の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施す。シェーディング補正されたＲＧＢ信号は、入力階調補正部５２へ出力される。

入力階調補正部５２は、シェーディング補正部５１にて各種の歪みが取り除かれたＲＧＢ信号に対して、ＲＧＢの反射率信号を濃度信号など画像処理システムにて扱い易い信号に変換するとともにカラーバランスを整える処理を行う。また、下地濃度の除去やコントラストなどの画質調整処理が施される。画質調節された信号は、領域分離処理部５３及びエリア認識処理部５４へ出力される。

領域分離処理部５３は、ＲＧＢ信号より、入力画像中の各画素を文字領域、網点領域、写真領域の何れかに分離する処理を行う。領域分離処理部５３は、分離結果に基づき、画素がどの領域に属しているかを示す領域識別信号を後段の文書照合処理部５５、色補正部５６、黒生成下色除去部５７、空間フィルタ処理部５８、階調再現処理部５９へ出力すると共に、入力されたＲＧＢ信号をそのまま後段の文書照合処理部５５へ出力する。

エリア認識処理部５４は、ＲＧＢ信号に基づく画像を、文字画像エリア、背景エリア、写真画像エリアなどの矩形領域に分離し、各エリアに応じて文書照合処理を行うものである。領域分離処理部５３及びエリア認識処理部５４の双方を設けるのではなく、エリア認識処理部５４のみを設けるようにしても良い。

文書照合処理部５５は、入力された画像（入力画像）が予め記憶されている記憶画像（以下、登録フォーマットという）に類似しているか否かの判定を行い、判定信号を出力する。例えば、類似原稿であると判定された場合には出力（コピー、ファックスや電子配信）をキャンセルする。または、予め指定されたフォルダに画像データを保存する等の処理を実施する。

色補正部５６は、色再現の忠実化再現のために、不要吸収成分を含むＣＭＹ色材の分光特性に基づいた色濁りを取り除く処理を行うものである。色補正されたＲＧＢ信号は、後段の黒生成下色除去部５７へ出力される。黒生成下色除去部５７は、色補正後のＣＭＹの３色信号から黒（Ｋ）信号を生成する黒生成、元のＣＭＹ信号から黒生成で得たＫ信号を差し引いた新たなＣＭＹ信号を生成する処理を行う。この処理によってＣＭＹの３色信号はＣＭＹＫの４色信号に変換される。

黒生成処理の一例として、スケルトンブラックによる黒生成を行う方法がある。この方法では、スケルトンカーブの入出力特性をｙ＝ｆ（ｘ）、入力されるデータをＣ，Ｍ，Ｙ、出力されるデータをＣ’，Ｍ’，Ｙ’，Ｋ’、ＵＣＲ率（UCR : Under Color Removal）をα（０＜α＜１）とすると、黒生成下色除去処理は以下の式で表される。

Ｋ’＝ｆ｛ｍｉｎ（Ｃ，Ｍ，Ｙ）｝
Ｃ’＝Ｃ−αＫ’
Ｍ’＝Ｍ−αＫ’
Ｙ’＝Ｙ−αＫ’

空間フィルタ処理部５８は、黒生成下色除去部５７より入力されるＣＭＹＫ信号の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理を行い、空間周波数特性を補正することによって出力画像のぼやけや粒子状劣化を防ぐように処理を行う。

例えば、領域分離処理部５３にて文字に分離された領域は、特に黒文字又は色文字の再現性を高めるために、空間フィルタ処理部５８による空間フィルタ処理における鮮鋭強調処理で高周波数の強調量が大きくされる。同時に、階調再現処理部５９においては、高周波数の再現に適した高解像度のスクリーンでの二値化又は多値化処理が選択される。また、領域分離処理部５３にて網点領域に分離された領域に関しては、空間フィルタ処理部５８において、入力網点成分を除去するためのローパスフィルタ処理が施される。そして、階調再現処理部５９で最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理を施す。また、領域分離処理部５３にて写真に分離された領域に関しては、階調再現性を重視したスクリーンでの二値化又は多値化処理が行われる。

前述した各処理が施された画像データは、一旦記憶手段（不図示）に記憶され、所定のタイミングで読出されて画像出力装置７へ出力される。

図２は文書照合処理部５５の内部構成を示すブロック図である。文書照合処理部５５は、制御部５５０、特徴点算出部５５１、特徴量算出部５５２、投票処理部５５３、類似度判定処理部５５４、書き込み領域抽出部５５５、登録制御部５５６、圧縮／復号処理部５５７、合成処理部５５８、記憶部５５９を備える。

制御部５５０は、例えばＣＰＵであり、前述したハードウェア各部の制御を行う。特徴点算出部５５１は、入力画像に含まれる文字列、罫線などから連結部分を抽出し、連結部分の重心を特徴点として算出する。特徴量算出部５５２は、特徴点算出部５５１で算出された特徴点を用いて、回転、拡大、縮小に対して不変な量である特徴量（ハッシュ値）を算出する。投票処理部５５３は、特徴量算出部５５２で算出された特徴量を用いて予め登録している登録フォーマットに投票する。類似度判定処理部５５４は、投票結果を用いて入力画像と登録フォーマットとの類比を判定する。

書き込み領域抽出部５５５は、入力画像が登録フォーマットに類似していると判定された場合、入力画像から、登録フォーマットに書き込まれた文字列、画像等の抽出を行う。登録制御部５５６は、入力画像が登録フォーマットに類似している場合には、この登録フォーマットと関連付けるＩＤを設定し、抽出された領域毎の画像データを圧縮／復号処理部５５７へ出力する。また、入力画像が登録フォーマットに類似していない場合には、この入力画像を登録フォーマットとして登録させるように促すメッセージを操作パネル１に表示する。

圧縮／復号処理部５５７は、書き込み領域抽出部５５５によって抽出された画像データを、ＭＨ（Modified Huffman）、ＭＲ（Modified Read）、ＭＭＲ（Modified ModifiedRead）、ＪＰＥＧ（Joint Photographic Experts Group）などの方法を用いて圧縮する。ＭＨは、１ラインごとにライン中の白ランと黒ランのランレングスをハフマン符号で符号化し、１ライン分の符号の終わりにライン同期信号ＥＯＬを付加する符号化方式である。ＭＲは、ＭＨを改良したもので、圧縮率を上げるために前のラインとの相関を利用して符号化を行う符号化方式である。１ライン目はＭＨで符号化するが、２ライン目からＫライン目までは直前のラインとの相関を利用して符号化する。再びＫ＋１ライン目はＭＨで符号化し、同様のことを繰り返す。ＭＭＲは、Ｋ＝∞のＭＲに相当し、常に前のラインとの相関を利用して符号化を行う符号化方式である。ＪＰＥＧでは、画像を所定サイズのブロックに分割し、そのブロック単位で離散コサイン変換を用いて空間周波数領域位に変換する。そして、変換したデータを量子化によって情報量を落としてからハフマン符号によるエントロピー符号化を行う。圧縮された画像データは記憶部５５９に格納される。また、圧縮された状態で記憶部５５９に格納されている画像データを出力する場合、圧縮／復号処理部５５７は画像データの復号を行う。合成処理部５５８は、復号した画像データを登録フォーマットに合成する処理を行う。

以下、文書照合処理部５５での処理内容について詳細に説明する。図３は特徴点算出部５５１の構成を示すブロック図である。特徴点算出部５５１は、無彩化処理部５５１０、解像度変換部５５１１、フィルタ処理部５５１２、２値化処理部５５１３、及び重心算出部５５１４を備えている。

無彩化処理部５５１０は、入力画像データがカラー画像であった場合に無彩化して、明度信号又は輝度信号に変換するための処理部である。例えば、下記の変換式により輝度信号を求める。

Ｙｊ＝０．３０Ｒｊ＋０．５９Ｇｊ＋０．１１Ｂｊ

ここで、Ｙｊは各画素の輝度値、Ｒｊ，Ｇｊ，Ｂｊは各画素の色成分を表す。また、この方法ではなく、ＲＧＢ信号をＣＩＥ１９７６Ｌ^* ａ^* ｂ^* 信号（CIE : Commission International de l'Eclairage、 Ｌ^*： 明度、ａ^* , ｂ^* ：色度）に変換しても良い。

解像度変換部５５１１は、入力画像データが画像入力装置３にて光学的に変倍されていた場合に、所定の解像度になるように再度変倍する処理部である。また、解像度変換部５５１１では、後段の処理量を軽減するために、画像入力装置３にて等倍時に読込まれる解像度よりも解像度を落とすための解像度変換としても用いられる。例えば、６００ｄｐｉ（dot per inch）で読み込まれた画像データを３００ｄｐｉに変換する。

フィルタ処理部５５１２は、画像入力装置の空間周波数特性が機種ごとに異なることを吸収するために用いられる処理部である。ＣＣＤが出力する画像信号には、レンズやミラー等の光学部品、ＣＣＤの受光面のアパーチャ開口度、転送効率や残像、物理的な走査による積分効果及び走査ムラ等に起因して、画像のぼけなどの劣化が生じている。フィルタ処理部５５１２は、適切なフィルタ処理（強調処理）を施すことにより、ＭＴＦの劣化により生じるぼやけを修復する処理を行う。また、後段の処理に不要な高周波成分を抑制するためにも用いる。すなわち、混合フィルタを用いて強調及び平滑化処理を行う。

図４はフィルタ処理部５５１２にて用いられる混合フィルタの一例を示す概念図である。混合フィルタは、例えば、７×７の大きさを有する。入力された画像の画素を走査し、混合フィルタによる演算処理をすべての画素に対して行う。なお、混合フィルタの大きさは、７×７の大きさに限定されるものではなく、３×３、５×５などの大きさであってもよい。また、フィルタ係数の数値は一例であって、これに限定されるものではなく、使用される画像入力装置３の特性などに応じて適宜設定される。

２値化処理部５５１３は、無彩化された画像データから重心算出に適した２値画像データを作成する処理部である。

重心算出部５５１４は、２値化されたデータから連結成分の重心を求め、これを特徴点として特徴量算出部５５２へ出力する。重心の算出方法としては、従来手法を用いることができる。すなわち、２値画像の２値化情報に基づいて各画素に対してラベリングを行い、同一ラベルが付された画素によって連結された連結領域を特定し、特定した連結領域の重心を特徴点として算出する。

図５は特徴点の抽出例を示す模式図である。図５（ａ）は、前述した手法により、「Ａ」の文字が連結領域として特定された例であり、図中の黒丸で示した点が特徴点（重心）として算出された様子を示している。図５（ｂ）は、同様に「書」の文字から連結領域を抽出した例であるが、連結領域が２つの領域に分割されて特定されている様子を示している。この場合、各連結領域から特徴点（重心）が算出されるため、１つの文字から２つの特徴点（特徴点Ａ，特徴点Ｂ）が算出されることになる。

次に、特徴量の算出手法について説明する。特徴量算出部５５２は、特徴点算出部５５１によって算出された複数の特徴点から画像の特徴量を算出する。このとき、算出された特徴点の任意の１つを注目特徴点として選択し、その注目特徴点から距離が小さい４つの特徴点を周辺特徴点として選択する。

図６は注目特徴点及び周辺特徴点を示す説明図である。図６は特徴点算出部５５１によって６つの特徴点Ｐ１〜Ｐ６が算出された様子を示している。このとき、特徴量算出部５５２が特徴点Ｐ３を注目特徴点として選択した場合、特徴点Ｐ１，Ｐ２，Ｐ４，Ｐ５が周辺特徴点として選択される。特徴量算出部５５２は、選択した注目特徴点（Ｐ３）及び周辺特徴点（Ｐ１，Ｐ２，Ｐ４，Ｐ５）を用いて、入力画像の傾き、移動、回転等により不変な不変量を算出し、算出した不変量から入力画像の特徴量を算出する。

図７は注目特徴点Ｐ３による不変量の算出例を説明する説明図である。注目特徴点Ｐ３と周辺特徴点Ｐ１，Ｐ２，Ｐ４，Ｐ５との間の距離を用いて、不変量Ｈ３ｊを、Ｈ３ｊ＝（Ａ３ｊ／Ｂ３ｊ）×Ｃ／Ｄにより定義する。ここで、ｊ＝１，２，３の値をとり、Ａ３ｊ、Ｂ３ｊはそれぞれ特徴点間の距離を示し、Ｃは規格化の定数、Ｄは予め定められた定数を示す。すなわち、３通りの不変量が算出され、不変量Ｈ３１の値は（Ａ３１／Ｂ３１）×Ｃ／Ｄ（図７（ａ）参照）、不変量Ｈ３２の値は（Ａ３２／Ｂ３２）×Ｃ／Ｄ（図７（ｂ）参照）、不変量Ｈ３３の値は（Ａ３３／Ｂ３３）×Ｃ／Ｄとなる（図７（ｃ）参照）。これらの不変量Ｈ３ｊは、例えば、原稿読取時に原稿が回転、移動、傾いた場合であっても値が変化せず、後段の類似判定において画像の類比判定を精度良く行うことができる。

図８は注目特徴点を特徴点Ｐ４とした場合の不変量の算出例を説明する説明図である。特徴量算出部５５２は、周辺特徴点として特徴点Ｐ２，Ｐ３，Ｐ５，Ｐ６を選択する。このとき、不変量Ｈ４ｊ（ｊ＝１，２，３）は、前述と同様に、Ｈ４ｊ＝（Ａ４ｊ／Ｂ４ｊ）×Ｃ／Ｄにより算出することができる。すなわち、不変量Ｈ４１の値は（Ａ４１／Ｂ４１）×Ｃ／Ｄ（図８（ａ）参照）、不変量Ｈ４２の値は（Ａ４２／Ｂ４２）×Ｃ／Ｄ（図８（ｂ）参照）、不変量Ｈ４３の値は（Ａ４３／Ｂ４３）×Ｃ／Ｄとなる（図８（ｃ）参照）。

他の特徴点Ｐ１，Ｐ２，Ｐ５，Ｐ６を注目特徴点として選択した場合も同様であり、特徴量算出部５５２は、注目特徴点を順次変更し、各特徴点Ｐ１，Ｐ２，…，Ｐ６を選択した場合の不変量Ｈｉｊ（ｉ＝１，２，…，６：ｊ＝１，２，３）を算出する。

次いで、特徴量算出部５５２は、各注目特徴点により算出された不変量を用いて特徴量（ハッシュ値）Ｈｉを算出する。注目特徴点を特徴点Ｐｉとした場合のハッシュ値Ｈｉは、Ｈｉ＝（Ｈｉ１×１０² ＋Ｈｉ２×１０¹ ＋Ｈｉ３×１０⁰）／Ｅで表される。ここで、Ｅは余りをどの程度設定するかにより決定される定数であり、例えば、Ｅ＝１０とした場合、余りは０〜９の値をとり、これが算出するハッシュ値の取り得る範囲となる。

なお、特徴量としての上記ハッシュ値は一例であって、これに限定されるものではなく、他のハッシュ関数を用いることができる。また、上記では、周辺特徴点として４つを選択する構成としたが、４つに限定されるものではない。例えば、６つを抽出するようにしてもよい。この場合、６つの特徴点から５つを抽出し、５つを抽出する６通り夫々の方法について、５点から３点を抽出して不変量を求め、ハッシュ値を算出するようにしてもよい。

画像データ格納部５５９に登録フォーマットとして記憶される記憶画像はこのようにして算出されるハッシュ値と関連付けられる。図９はハッシュ値と登録フォーマットとの関連付けを示すハッシュテーブルの例を示す概念図である。ハッシュテーブルは、ハッシュ値及び登録フォーマットを表すインデックスの各欄により構成される。すなわち、図９（ａ）に示すように、登録フォーマットを示すインデックスに対応して、画像中の位置を示すポイントインデックス、及び不変量が登録されている。画像の類似度を判定するために、予め照合する画像、文書画像などをハッシュテーブルに登録しておく。なお、図９（ｂ）に示すように、ハッシュ値が等しい場合、（Ｈ１＝Ｈ５）、ハッシュテーブル１２ｂの２つのエントリを１つにまとめることもできる。

投票処理部５５３は、特徴量算出部５５２が算出したハッシュ値（特徴量）に基づいて、ハッシュテーブルを検索し、登録されているインデックスの原稿に投票する。このとき、入力画像のどの特徴点が、どの登録フォーマットのどの特徴点に投票したのかを記憶する。図１０は投票結果を集計するための集計テーブルの一例を示す概念図である。図１０に示した例では、入力画像の特徴点Ｐ１に対して求めた特徴量（ハッシュ値）が登録されている登録フォーマットＩＤ１の特徴点ｆ１の特徴量と一致していると判定されている。入力画像の他の特徴点Ｐ２〜Ｐ７についても同様である。また、事前に、登録フォーマットの各特徴点を識別するインデックスとその特徴点の座標とを格納しておく。図１１は登録フォーマットのインデックスと特徴点の座標とを格納するテーブルの一例を示す概念図である。

図１２は投票結果の一例を示すグラフである。横軸は登録フォーマットの種類、縦軸は投票数を表している。図１２に示した例は、３種類の登録フォーマット（「Ｎ１」〜「Ｎ３」）について投票が行われている様子を示している。投票を累積加算した投票結果は類似度判定処理部５５４へ出力される。

類似度判定処理部５５４は、投票処理部５５３から入力された投票結果に基づいて、画像の類似度を判定し、判定結果を制御部５５０へ通知する。類似度判定処理部５５４は、投票処理部５５３から入力された投票数（得票数）を予め定めた閾値と比較し、投票数が閾値以上である場合、入力画像が登録フォーマットに類似すると判定する。類似度判定処理部５５４は、投票処理部５５３から入力された投票数が閾値より小さい場合、類似する原稿がないと判定して、その結果を制御部５５０へ通知する。

なお、上記判定方法は一例であり、別の方法として、例えば、原稿毎の最大得票数（原稿毎に求められる特徴点の数など）で得票数を除算して正規化した後、類比判定を行ってもよい。

以下、画像処理装置５が実行する処理について具体的に説明する。図１３はフォーマットを登録する際の処理手順を説明するフローチャートである。定型フォーマットを登録する際には登録モードが選択される（ステップＳ１１）。この場合、入力階調補正部５２において、ＲＧＢの反射率信号を濃度信号に変換し、カラーバランスの調整がなされた信号を、一旦、ハードディスクなどの記憶手段に格納しておく。

次いで、入力階調補正部５２において下地除去処理を行い（ステップＳ１２）、フォーマット情報を抽出する（ステップＳ１３）。下地除去処理の方法としては、例えば、色成分毎にヒストグラムを作成し、予め定めた閾値以上の度数を有する濃度区分があるか否かを、低濃度側より探索していく。このようにして求めた色成分毎の濃度区分のうち、最も濃度の低い濃度区分を抽出する。各色成分に対して、上記抽出された濃度区分を基準値とし同じ補正曲線を用いて下地除去を行う。これにより、色地の下地があったとしても除去することができる。すなわち、白下地をベースとしたフォーマットが抽出される。図１４はフォーマット情報の抽出例を示す模式図である。図１４（ａ）は抽出前のフォーマットを示している。このフォーマットは有彩色の下地をベースとした申込書であり、申込番号欄、氏名欄、住所欄、電話番号欄、支店名欄、日付欄、時間欄を有している。これに対して、入力階調補正部５２にて下地除去処理を行って有彩色の下地を除去した場合、図１４（ｂ）に示したような白色の下地をベースとしたフォーマットが得られる。

次いで、エリア認識処理部５４においてエリア認識処理を行い（ステップＳ１４）、背景情報を抽出する（ステップＳ１５）。エリア認識処理では、一旦、記憶手段に格納した画像データ、すなわち、下地除去を行っていない画像データを用いる。ここでは、特開平８−３１７１９７号公報に記載されている方法を用いて矩形領域の抽出を行う。

画像データは８ビット（２５６階調）でありＲＧＢ信号であるとする。まず、入力画像データに対して２値化処理を行って２値化画像を求める。次に、ラン膨脹手段により、２値化画像の黒画素を膨脹する処理を行って黒画素部（ラン）を求め、ラン膨張信号を出力する。上記ラン膨脹信号を、ラベリング手段に入力し、ラン膨張信号をもとに連結するランを１つのエリアとして統合（ラベリング）し、その統合されたエリアの特徴を示す情報が信号をＳ３として出力する。また、ラベリング手段から出力された信号Ｓ３を、外接矩形抽出手段に入力し、上記信号をもとに、ラベリングされたそれぞれのエリアに外接する矩形の大きさを求め、その結果を信号Ｓ４として出力する。

図１５及び図１６は背景情報の抽出例を示す模式図である。例えば、図１４（ａ）に示したフォーマットに対して、エリア認識処理を施すと図１５に示す４つのエリアが抽出される。エリア２、エリア４は表全体を示しているので、更に構成要素に分割し、構成要素毎に座標と背景情報（色成分毎の画素値）を抽出して格納する。座標は、図１４（ａ）に示すフォーマットより求めておく。また、エリア１〜エリア４の背景領域であるエリア５についても、図１６に示すように小領域（この例では（１）〜（１３）の１３個の小領域）に分割し、各小領域の座標と背景情報とを格納しておく。図１７は各読込原稿の登録例を示す概念図であり、図１８は背景情報の登録例を示す概念図である。

背景情報は、例えば、上記下地除去の際に求められた基準値（最も濃度の低い濃度区分）より予め定められた値α（例えば１０）を減じた値を用いて行う。この値をＴＨｓとすると、Ｒ≧ＴＨｓ、Ｇ≧ＴＨｓ、Ｂ≧ＴＨｓを充たす場合、背景であると判定する。図１９は、図１４（ａ）に示すフォーマットに対して、抽出された背景情報を示したものである。背景情報については、ノイズを除去するために平滑化処理を施し、その結果を格納するようにしても良い。

以上では、表が含まれるフォーマットを例に説明したが、フォーマットに必ずしも表が含まれている必要はなく、文字列のみからなるフォーマットであっても良い。この場合、背景情報は、文字列の部分（図１５のエリア１及びエリア３に対応する箇所）と文字列以外の部分が複数の矩形領域に分けられて格納される。

次いで、文書照合処理部５５は、下地が除去されたフォーマット（入力画像）について照合処理を行う。そのため、文書照合処理部５５は下地が除去されたフォーマットの特徴点を算出する特徴点算出処理を実行する（ステップＳ１６）。前述したように、入力画像を２値化した後、２値化情報に基づいて各画素に対してラベリングを行い、同一ラベルが付された画素が連結した連結領域を特定し、特定した連結領域の重心を特徴点として算出する。

次いで、文書照合処理部５５は、算出した特徴点に基づいて入力画像の特徴量を算出する特徴量算出処理を行う（ステップＳ１７）。このとき、文書照合処理部５５の特徴量算出部５５２は、算出された特徴点のうち１つを注目特徴点として選択し、注目特徴点と周辺特徴点とを用いて、入力画像の移動、回転等により不変な不変量を算出し、算出した不変量から入力画像の特徴量を算出する。

次いで、文書照合処理部５５は、特徴量算出部５５２が算出した特徴量としてのハッシュ値に基づいて、図１０に示したようなハッシュテーブルを検索し、登録されているインデックスの登録フォーマットに投票する投票処理を行う（ステップＳ１８）。

次いで、文書照合処理部５５は、投票結果に基づいて入力画像と登録フォーマットとの類似度を判定する類似度判定処理を行い（ステップＳ１９）、入力画像が登録フォーマットに類似しているか否かを判定する（ステップＳ２０）。すなわち、ハッシュテーブルに登録されている各登録フォーマットの得票数と予め定めた閾値とを比較し、投票数が閾値以上である場合、入力画像が登録フォーマットに類似であると判定し、閾値以上の得票数を持つ登録フォーマットがない場合、入力画像は登録フォーマットに類似していないと判定する。

入力画像が登録フォーマットに類似していないと判断した場合（Ｓ２０：ＮＯ）、入力画像より抽出された特徴量（ハッシュ値）をハッシュテーブルに登録し（ステップＳ２１）、フォーマット及び背景情報を圧縮し（ステップＳ２２）、原稿を表すインデックスに対応付けて図１７及び図１８に示したテーブルに登録する。なお、フォーマット及び背景情報は、デジタル複写機・複合機ではなく、ネットワークを介して接続されたサーバに格納してもよい。

また、入力画像が登録フォーマットに類似していると判断した場合（Ｓ２０：ＹＥＳ）、登録済みであることを操作パネル１の表示部に表示する（ステップＳ２３）。

次に、フォーマットを出力する際の処理手順について説明する。図２０はフォーマットを出力する際の処理手順を説明するフローチャートである。前述と同様に、入力階調補正部５２において下地除去処理を行い（ステップＳ３１）、入力画像から下地色を除去したフォーマット情報を抽出する。

次いで、文書照合処理部５５において、抽出したフォーマット情報について特徴点算出処理（ステップＳ３２）、特徴量算出処理（ステップＳ３３）、投票処理（ステップＳ３４）を行い、既に登録されている登録フォーマットとの類似度判定処理（ステップＳ３５）を行う。

類似度判定処理の結果、入力画像から抽出したフォーマットと登録フォーマットとが類似しているか否かを判断し（ステップＳ３６）、類似していると判断した場合（Ｓ３６：ＹＥＳ）、暗号化されて登録されているフォーマット及び背景情報を復号し（ステップＳ３７）、復号したフォーマット及び背景情報を合成する（ステップＳ３８）。合成手法としては、例えば、フォーマットと背景情報とを比較し、画素値が小さい方のデータを出力する方法が挙げられる。そして、合成処理によって得られたフォーマットを出力する（ステップＳ３９）。

また、類似度判定処理の結果、類似なしと判定された場合（Ｓ３６：ＮＯ）、出力許可信号を出力する（ステップＳ４０）。このとき、下地除去を施した画像データを出力しても良く、ハードディスクなどの記憶手段に格納してある画像データを読み出して入力階調補正部５２で下地除去を行わないで以降の処理を行い（文書照合処理は除く）出力するようにしても良い。このとき、下地除去を行うか否かを操作パネル１の表示部に表示し、選択するようにしても良い。

実施の形態２．
実施の形態では、入力画像からフォーマット及び背景情報を抽出して登録処理を行ったが、オリジナルの原稿（フォーマット）に対して書き込みが行われている場合、書き込みが行われた領域を抽出し、フォーマット及び背景情報と共に登録する構成であってもよい。

図２１は書き込み領域を登録する際の処理手順を示すフローチャートである。書き込み領域を登録する際には登録モードが選択される（ステップＳ４１）。この場合、入力階調補正部５２において、ＲＧＢの反射率信号を濃度信号に変換し、カラーバランスの調整がなされた信号を、一旦、ハードディスクなどの記憶手段に格納しておく。

次いで、入力画像について特徴点算出処理（ステップＳ４２）、特徴量算出処理（ステップＳ４３）、投票処理（ステップＳ４４）を行い、既に登録されている登録フォーマットとの類似度判定処理（ステップＳ４５）を行う。

類似度判定処理の結果、入力画像から抽出したフォーマットと登録フォーマットとが類似しているか否かを判断し（ステップＳ４６）、類似していると判断した場合（Ｓ４６：ＹＥＳ）、文書照合処理部５５の書き込み領域抽出部５５５において書き込み領域抽出処理を行う（ステップＳ４７）。書き込み領域抽出処理の詳細については後に詳述することとするが、ここでは、オリジナルの原稿（フォーマット）に、人の手又はプリンタなどにより書き込みが行われた領域を抽出する処理を行う。

書き込み領域を抽出した後、抽出した書き込み領域に対して圧縮処理を行い（ステップＳ４８）、圧縮した書き込み領域を、登録フォーマットとの関連付けを表すフォームＩＤ（原稿を表すインデックス）と共に記憶手段に保存する（ステップＳ４９）。

一方、ステップＳ４６で入力画像から抽出したフォーマットと登録フォーマットとが類似していないと判断した場合（Ｓ４６：ＮＯ）、フォーマットを登録する旨を操作パネル１の表示部に表示する（ステップＳ５０）。

図２２は書き込み領域抽出処理の手順を説明するフローチャートである。書き込み領域抽出部５５５は、読み込まれた入力画像の座標系を登録フォーマットの座標系に変換する（ステップＳ５１）。そのため、まず、入力画像について算出した特徴点の座標と、類似していると判定された登録フォーマットにおける特徴点の座標との対応付けを行う。図２３は入力画像と登録フォーマットとの間の対応付けを説明する説明図である。登録フォーマットについては４つの特徴点の座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）が登録されており、これら４つの特徴点の座標が、入力画像について算出された４つの特徴点の座標（ｘ１’，ｙ１’）、（ｘ２’，ｙ２’）、（ｘ３’，ｙ３’）、（ｘ４’，ｙ４’）と夫々対応付けられている様子を示している。

登録フォーマットの特徴点の座標を用いて作成した行列をＰｉｎ、入力画像の特徴点の座標を用いて作成した行列をＰｏｕｔ、２つの行列Ｐｉｎ，Ｐｏｕｔの間の変換行列をＡとした場合、登録フォーマット上の座標と入力画像上の座標との間には以下の関係式が成り立つ。

行列Ｐｉｎは正方行列ではないので、両辺にＰｉｎの転地行列Ｐｉｎ^T を乗算し、さらにＰｉｎ^T Ｐｉｎの逆行列を乗算することにより、変換行列Ａを求めることができる。

入力画像上の任意の座標（ｘ’，ｙ’）と登録フォーマット上の座標（ｘ，ｙ）との間には以下の関係式が成り立つ。

変換行列Ａを用いた座標変換は、入力画像から抽出すべき領域を求めるために利用される。例えば、図１４（ａ）に示したフォーマットのうち、例えば、氏名欄、住所欄、電話番号欄に記録された文字列を書き込みとして抽出する場合、これらの欄に対応した矩形領域を抽出する。そのため、各矩形領域を特定する座標値を登録フォーマット毎に格納しておく。例えば、氏名欄の四隅の座標を（ｘ１３，ｙ１３）、（ｘ１３，ｙ１４）、（ｘ１４，ｙ１３）、（ｘ１４，ｙ１４）とした場合、矩形領域の対角を表す２つの座標（ｘ１３，ｙ１３）及び（ｘ１４，ｙ１４）を格納しておく。住所欄、電話番号欄についても同様である。図２４は各登録フォーマット毎に抽出領域を定めたテーブルの一例を示す概念図である。このテーブルには、登録フォーマットを表すインデックスに対応付けて、抽出領域を定める２つの対角座標と項目名とが格納されている。また、図２４に示したテーブルには、抽出領域に含まれる情報の開示の可否が設定されている。開示の可否の設定は、例えば、操作パネル１の操作部を用いてユーザが行う。

次いで、変換行列Ａの逆行列を用いて入力画像の座標系を登録フォーマットの座標系に変換した後、入力画像と登録フォーマットとの間の差分を領域毎に算出する（ステップＳ５２）。このとき、原稿を読み込む際の画素値の再現性等も考慮し、画像データが２５６階調で表される場合、画素値が５〜１０程度の差であるときには同じであるとみなして差分をとる。

次いで、登録フォーマットの領域の画素数に対して、同じであると判定された画素数の比率を算出し（ステップＳ５３）、この比率が閾値ＴＨｗｒ（例えば、０．９９）より小さいか否かを判断する（ステップＳ５４）。閾値ＴＨｗｒより小さいと判断した場合（Ｓ５４：ＹＥＳ）、書き込みありと判定し（ステップＳ５５）、閾値ＴＨｗｒ以上であると判断した場合（Ｓ５４：ＮＯ）、書き込みなしと判定する（ステップＳ５６）。

次いで、抽出した全ての領域の処理が終了したか否かを判断し（ステップＳ５７）、終了していないと判断した場合（Ｓ５７：ＮＯ）、処理をステップＳ５２へ戻す。また、抽出した全ての領域の処理が終了したと判断した場合（Ｓ５７：ＹＥＳ）、本フローチャートによる処理を終了する。

次に、フォーマットを出力する際の処理手順について説明する。図２５はフォーマットを出力する際の処理手順を説明するフローチャートである。前述と同様に、入力階調補正部５２において下地除去処理を行い（ステップＳ６１）、入力画像から下地色を除去したフォーマット情報を抽出する。

次いで、文書照合処理部５５において、抽出したフォーマット情報について特徴点算出処理（ステップＳ６２）、特徴量算出処理（ステップＳ６３）、投票処理（ステップＳ６４）を行い、既に登録されている登録フォーマットとの類似度判定処理（ステップＳ６５）を行う。

類似度判定処理の結果、入力画像から抽出したフォーマットと登録フォーマットとが類似しているか否かを判断する（ステップＳ６６）。類似していると判断した場合（Ｓ６６：ＹＥＳ）、暗号化されて登録されているフォーマット、書き込み情報、及び背景情報を復号し（ステップＳ６７）、フォーマット生成処理を行う（ステップＳ６８）。フォーマット生成処理については後に詳述することとするが、ここでは、書き込み情報の開示が許可されているか否かの設定に応じてフォーマットの生成を行う。そして、フォーマット生成処理によって生成されたフォーマットの出力を行う（ステップＳ６９）。

また、類似度判定処理の結果、類似なしと判定された場合（Ｓ６６：ＮＯ）、出力許可信号を出力する（ステップＳ７０）。このとき、下地除去を施した画像データを出力しても良く、ハードディスクなどの記憶手段に格納してある画像データを読み出して入力階調補正部５２で下地除去を行わないで以降の処理を行い（文書照合処理は除く）出力するようにしても良い。このとき、下地除去を行うか否かを操作パネル１の表示部に表示し、選択するようにしても良い。

図２６はフォーマット生成処理の手順を示すフローチャートである。フォーマット生成処理では、まず、書き込み領域を抽出し（ステップＳ７１）、書き込み情報の開示が可能であるか否かを図２４に示したテーブルのフラグに基づいて判断する（ステップＳ７２）。

開示が不許可とされている場合（Ｓ７２：ＮＯ）、書き込み情報に対応する背景情報を抽出し（ステップＳ７３）、書き込み情報を抽出した背景情報に置き換える置き換え処理を実行する（ステップＳ７４）。次いで、置き換えた背景情報をフォーマットに合成する合成処理を行う（ステップＳ７５）。合成処理については、前述と同様に、フォーマットと背景情報を比較し、画素値の小さい方のデータを出力する方法を用いることができる。一方、書き込み情報の開示が許可されていると判断した場合（Ｓ７２：ＹＥＳ）、書き込み情報の出力を行い（ステップＳ７６）、出力した書き込み情報のフォーマットに対する合成処理を行う（Ｓ７５）。

次いで、全ての領域について処理が終了したか否かを判断し（ステップＳ７７）、終了していないと判断した場合（Ｓ７７：ＮＯ）、処理をステップＳ７２へ戻す。全ての領域について処理が終了したと判断した場合（Ｓ７７：ＹＥＳ）、本フローチャートによる処理を終了する。

実施の形態３．
本実施の形態では、画像読取装置への適用例について説明する。図２７は本実施の形態に係る画像読取装置の内部構成を示すブロック図である。本実施の形態に係る画像読取装置９は画像読取部９１及び画像処理部９２を備える。画像読取部９１は、原稿の画像を光学的に読み取るために走査ユニット、結像レンズ、ＣＣＤラインセンサ、給送タイミングセンサなどを備える。

画像処理部９２は、ＡＤ変換部９２１、シェーディング補正部９２２、入力階調補正部９２３、領域分離処理部９２４、エリア認識処理部９２５、及び文書照合処理部９２６を備える。ＡＤ変換部９２１は、画像読取部９１にて読み取ったアナログ信号をデジタル信号に変換するものである。シェーディング補正部９２２は、画像読取部９１の照明系・結像系・撮像系で生じる各種歪みを取り除くためのシェーディング補正を行うものである。

入力階調補正部９２３は、カラーバランスを整えると同時に、下地の検出および下地濃度の除去やコントラストなどの画質調整処理を施こすものである。

領域分離処理部９２４は、ＲＧＢ信号より、入力画像中の各画素を文字領域、網点領域、写真領域の何れかに分離する処理を行う。領域分離処理部９２４は、分離結果に基づき、画素がどの領域に属しているかを示す領域識別信号を後段の文書照合処理部９２６へ出力すると共に、入力されたＲＧＢ信号をそのまま文書照合処理部９２６へ出力する。

エリア認識処理部９２５は、ＲＧＢ信号に基づく画像を、文字画像エリア、背景エリア、写真画像エリアなどの矩形領域に分離し、各エリアに応じて文書照合処理を行うものである。領域分離処理部９２４及びエリア認識処理部９２５の双方を設けるのではなく、エリア認識処理部９２５のみを設けるようにしても良い。

文書照合処理部９２６は、入力された画像（入力画像）が予め記憶されている記憶画像（以下、登録フォーマットという）に類似しているか否かの判定を行い、判定信号を出力する。例えば、類似原稿であると判定された場合には出力（コピー、ファックスや電子配信）をキャンセルする。または、予め指定されたフォルダに画像データを保存する等の処理を実施する。

画像処理部９２にて画像処理が施されたＲＧＢ信号および原稿種別判別信号は、コンピュータやプリンタに入力され原稿種別に応じた処理がなされる。

実施の形態４．
実施の形態１及び２では、各処理をハードウェアにより実現する構成としたが、ソフトウェアの処理により本発明を実現する構成としてもよい。

図２８は本発明のコンピュータプログラムがインストールされた画像処理装置の内部構成を説明するブロック図である。図中１００は、本実施の形態に係る画像処理装置であり、具体的にはパーソナルコンピュータ、ワークステーション等である。画像処理装置１００はＣＰＵ１０１を備えており、ＣＰＵ１０１にはＲＯＭ１０３、ＲＡＭ１０４、ハードディスク１０５、外部記憶部１０６、入力部１０７、表示部１０８、通信ポート１０９等のハードウェアがバス１０２を介して接続されている。ＣＰＵ１０１は、ＲＯＭ１０３に予め格納された制御プログラムに従って前述のハードウェア各部を制御する。

ＲＡＭ１０４は前述の制御プログラム、又は本発明に係るコンピュータプログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）の実行中に生成される各種データを一時的に記憶する揮発性のメモリである。ハードディスク１０５は、磁気記録媒体を有する記憶手段であり、本発明のコンピュータプログラムのプログラムコード等が記憶される。外部記憶部１０６は、本発明のコンピュータプログラムのプログラムコードを記録した記録媒体Ｍからプログラムコードを読取るための読取装置を備えている。記録媒体Ｍとしては、ＦＤ（Flexible Disk）、ＣＤ−ＲＯＭ等を用いることができる。外部記憶部１０６によって読取られたプログラムコードはハードディスク１０５に格納される。ＣＰＵ１０１はハードディスク１０５に格納された本発明に係るプログラムコードをＲＡＭ１０４上にロードして実行することにより、装置全体を、実施の形態１乃至３で説明したような画像処理を実現する装置として機能させる。

入力部１０７は、外部から画像データを取得するためのインタフェースとして機能する。入力部１０７には、例えば、カラースキャナ装置などが接続される。表示部１０８は、処理対象の画像データ、画像処理中の画像データ、画像処理後の画像データ等を表示するためのインタフェースとして機能する。表示部１０８に液晶ディスプレイ装置などの外部表示装置を接続して画像データを表示する構成であってもよく、表示部１０８自身が表示装置を備え、画像データを表示する構成であってもよい。通信ポート１０９は、外部にプリンタ１５０を接続するためのインタフェースである。画像処理された画像データをプリンタ１５０にて印刷する場合、画像処理装置１００は、前記画像データを基にプリンタ１５０にてデコード可能なプリントデータを生成し、生成したプリントデータをプリンタ１５０へ送信する。

なお、本実施の形態では、各種演算をＣＰＵ１０１が実行する構成としたが、画像処理に係る演算を行う専用のチップを別途設け、ＣＰＵ１０１からの指示により演算を行う構成としてもよい。

また、本発明に係るコンピュータプログラムコードを記録する記録媒体Ｍとしては、前述したＦＤ及びＣＤ−ＲＯＭの他に、ＭＯ、ＭＤ、ＤＶＤ等の光ディスク、ハードディスク等の磁気記録媒体、ＩＣカード、メモリカード、光カード等のカード型記録媒体、マスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリの利用も可能である。また、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークから本発明に係るコンピュータプログラムコードをダウンロードするようにしてもよい。

また、本発明のコンピュータプログラムは、単体のアプリケーションプログラム、ユーティリティプログラムとして提供される形態であってもよく、他のアプリケーションプログラム、ユーティリティプログラムに組み込み、そのプログラムの一部の機能として提供する形態であってもよい。例えば、その一形態としてプリンタドライバに組み込んで提供する形態が考えられる。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明に係る画像処理装置を備える画像処理システムの内部構成を説明するブロック図である。 文書照合処理部の内部構成を示すブロック図である。 特徴点算出部の構成を示すブロック図である。 フィルタ処理部にて用いられる混合フィルタの一例を示す概念図である。 特徴点の抽出例を示す模式図である。 注目特徴点及び周辺特徴点を示す説明図である。 注目特徴点Ｐ３による不変量の算出例を説明する説明図である。 注目特徴点を特徴点Ｐ４とした場合の不変量の算出例を説明する説明図である。 ハッシュ値と登録フォーマットとの関連付けを示すハッシュテーブルの例を示す概念図である。 投票結果を集計するための集計テーブルの一例を示す概念図である。 登録フォーマットのインデックスと特徴点の座標とを格納するテーブルの一例を示す概念図である。 投票結果の一例を示すグラフである。 フォーマットを登録する際の処理手順を説明するフローチャートである。 フォーマット情報の抽出例を示す模式図である。 背景情報の抽出例を示す模式図である。 背景情報の抽出例を示す模式図である。 各読込原稿の登録例を示す概念図である。 背景情報の登録例を示す概念図である。 図１４（ａ）に示すフォーマットに対して、抽出された背景情報を示したものである。 フォーマットを出力する際の処理手順を説明するフローチャートである。 書き込み領域を登録する際の処理手順を示すフローチャートである。 書き込み領域抽出処理の手順を説明するフローチャートである。 入力画像と登録フォーマットとの間の対応付けを説明する説明図である。 各登録フォーマット毎に抽出領域を定めたテーブルの一例を示す概念図である。 フォーマットを出力する際の処理手順を説明するフローチャートである。 フォーマット生成処理の手順を示すフローチャートである。 本実施の形態に係る画像読取装置の内部構成を示すブロック図である。 本発明のコンピュータプログラムがインストールされた画像処理装置の内部構成を説明するブロック図である。

符号の説明

１ 操作パネル
３ 画像入力装置
５ 画像処理装置
７ 画像出力装置
５０ ＡＤ変換部
５１ シェーディング補正部
５２ 入力階調補正部
５３ 領域分離処理部
５４ エリア認識処理部
５５ 文書照合処理部
５６ 色補正部
５７ 黒生成下色除去部
５８ 空間フィルタ部
５９ 階調再現処理部

Claims (10)

1. 記憶手段に記憶されている記憶画像と外部から入力された入力画像との類比を判定し、判定結果に応じた処理を行う画像処理装置において、
   前記入力画像から下地を除去した画像を抽出する手段と、前記入力画像から画像の背景に係る背景情報を生成する手段と、前記入力画像が前記記憶画像に非類似であると判定した場合、抽出した画像を生成した背景情報に関連付けて前記記憶手段に記憶させる手段とを備えることを特徴とする画像処理装置。
2. 前記背景情報に基づいて背景画像を生成する手段と、該手段により生成した背景画像と前記抽出した画像とを合成する手段とを更に備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記入力画像が前記記憶画像に類似していると判定した場合、前記入力画像が書き込みを加えた画像であるか否かを判断する手段と、書き込みを加えた画像であると判断した場合、該書き込みに対応した画像を抽出する手段と、前記背景情報に基づく背景画像を複数の矩形領域に分割する手段と、抽出した前記書き込みに対応した画像を、前記矩形領域に対応付けて前記記憶手段に記憶させる手段とを備えることを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記記憶手段に記憶させる画像及び背景情報を圧縮する手段と、前記記憶手段に圧縮されて記憶されている画像及び背景情報を伸張する手段とを更に備えることを特徴とする請求項２に記載の画像処理装置。
5. 前記記憶手段に記憶させる画像、背景情報、及び前記書き込みに対応した画像を圧縮する手段と、前記記憶手段に圧縮されて記憶されている画像、背景情報、及び前記書き込みに対応した画像を伸張する手段とを更に備えることを特徴とする請求項３に記載の画像処理装置。
6. 原稿の画像を読み取る読取手段と、請求項１乃至請求項５の何れか１つに記載の画像処理装置とを備え、該読取手段により読み取った画像から下地を除去した画像を抽出し、抽出した画像と該画像の背景に係る背景情報とを関連付けて記憶するようにしてあることを特徴とする画像読取装置。
7. 請求項１乃至請求項５の何れか１つに記載の画像処理装置と、該画像処理装置により合成された画像をシート上に形成する手段とを備えることを特徴とする画像形成装置。
8. 記憶装置に記憶された記憶画像と新たに取得した画像との類比を判定し、判定結果に応じた処理を行う画像処理方法において、
   前記取得した画像から下地を除去した画像を抽出し、前記取得した画像から画像の背景に係る背景画像を生成し、前記取得した画像が前記記憶画像に非類似であると判定した場合、抽出した画像を生成した背景情報に関連付けて前記記憶装置に記憶させることを特徴とする画像処理方法。
9. 画像を記憶装置へ記憶させるコンピュータプログラムにおいて、
   コンピュータに、入力された入力画像から下地を除去した画像を抽出させるステップと、コンピュータに、前記入力画像から画像の背景に係る背景情報を生成させるステップと、コンピュータに、前記記憶装置に記憶されている画像と前記入力画像との類比を判定させるステップと、コンピュータに、非類似と判定された場合、抽出させた画像を生成させた背景情報に関連付けて前記記憶装置に記憶させるステップとを有することを特徴とするコンピュータプログラム。
10. 画像を記憶装置へ記憶させるコンピュータプログラムが記録されているコンピュータでの読み取りが可能な記録媒体において、
    コンピュータに、入力された入力画像から下地を除去した画像を抽出させるステップと、コンピュータに、前記入力画像から画像の背景に係る背景情報を生成させるステップと、コンピュータに、前記記憶装置に記憶されている画像と前記入力画像との類比を判定させるステップと、コンピュータに、非類似と判定された場合、抽出させた画像を生成させた背景情報に関連付けて前記記憶装置に記憶させるステップとを有するコンピュータプログラムが記録されていることを特徴とするコンピュータでの読み取りが可能な記録媒体。
    

Images