JP2010130634A

JP2010130634A - 画像処理装置、画像データ出力処理装置、画像処理方法、プログラムおよびその記録媒体

Info

Publication number: JP2010130634A
Application number: JP2008306433A
Authority: JP
Inventors: Yosuke Konishi; 陽介小西; Masakazu Ohira; 雅和大平
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2008-12-01
Filing date: 2008-12-01
Publication date: 2010-06-10

Abstract

【課題】入力される画像データの所定の方向に対する回転角度を適切に判定する。
【解決手段】原稿画像データに基づいて原稿画像についての複数の特徴点を算出し（Ｓ３）、上記特徴点同士の位置関係に基づいて上記原稿画像の特徴量を算出し（Ｓ４）、原稿画像の特徴量と記憶手段に予め記憶されている各登録画像の特徴量とを比較して上記原稿画像に類似している登録画像を判定し（Ｓ８）、上記原稿画像の特徴点の座標と、上記原稿画像に類似すると判定された登録画像の特徴点の座標とに基づいて上記登録画像に対する上記原稿画像の回転角度を判定する（Ｓ１０）。
【選択図】図１

Description

本発明は、画像データに含まれる原稿画像の特徴点を算出する特徴点算出部を備えた画像処理装置、画像データ出力処理装置、画像処理方法、画像処理プログラムおよびその記録媒体に関するものである。

従来より、スキャナで読み取った原稿画像の正規の方向に対する向き（９０°回転、天地反転、２７０°回転など）を判定する処理として、ＯＣＲ（Optical Character Reader）機能を利用した判定処理が行われている。

例えば、特許文献１には、ＯＣＲ技術を用い文字認識を行い、切り出した文字をパターン化し、文字パターンの特徴とデータベース化された文字パターン情報とを比較する処理を、切り出された文字パターンを０°、９０°、１８０°、２７０°回転させた場合についてそれぞれ行い、各回転角度毎に判別可能な文字数を比較し、判別可能な文字数が最も多い回転角度に基づいて原稿の向きを判定する技術が開示されている。
特開平６−１８９０８３（平成６年７月８日公開）国際公開第２００６／０９２９５７号パンフレット（平成１８年９月８日公開）中居友弘、黄瀬浩一、岩村雅一著「複比の投票に基づく文書画像検索と射影歪み補正」、画像の認識・理解シンポジウム（ＭＩＲＵ２００５）（情報処理学会コンピュータビジョンとイメージメディア研究会主催）予稿集、ｐｐ．５３８−５４５

しかしながら、従来の技術では、複数の画像データの向きを所定の向きに自動的に統一することが困難であった。

例えば、上記特許文献１の技術では、原稿画像に含まれる文字の方向に基づいて原稿の向きを判定しているので、原稿内に方向の異なる文字が混在しているような場合などに、原稿の向きを適切に判定できない場合があり、複数の画像データの向きを所定の向きに自動的に統一することが困難であった。

このため、画像データの向きを統一したい場合にはユーザが入力される画像データに対してその都度向きを設定する必要があった。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、入力される画像データの所定の方向に対する回転角度を適切に判定することにある。

本発明の画像処理装置は、上記の課題を解決するために、原稿画像の画像データである原稿画像データに基づいて上記原稿画像についての複数の特徴点を算出する特徴点算出部と、上記特徴点同士の位置関係に基づいて上記原稿画像の幾何学的変形に対して不変な量である特徴量を算出する特徴量算出部と、登録原稿の画像である登録画像の特徴量と当該登録画像の識別情報と当該登録画像の特徴点の座標とを互いに対応付けて記憶する記憶手段と、上記特徴量算出部によって算出された原稿画像の特徴量と上記記憶手段に記憶されている各登録画像の特徴量とを比較して上記原稿画像に類似している登録画像を判定すると類似度判定部とを備えた画像処理装置であって、上記原稿画像の特徴点の座標と、上記原稿画像に類似すると判定された登録画像の特徴点の座標とに基づいて上記登録画像に対する上記原稿画像の回転角度を判定する方向判定処理部を備えていることを特徴としている。なお、上記原稿画像データは、原稿画像を読み取ることで取得されたものであってもよく、画像処理装置に通信可能に接続された他の装置から通信によって取得したものであってもよく、各種記録媒体に記録された画像データを読み出すことで取得したものであってもよく、予め規定されたフォーマットに対してユーザが入力した情報に基づく画像であってもよい。また、上記幾何学的変形とは、例えば原稿画像に対する回転、拡大、縮小、平行移動等の処理を意味する。

上記の構成によれば、類似度判定部が、特徴量算出部によって算出された原稿画像の特徴量と記憶手段に記憶されている各登録画像の特徴量とを比較して上記原稿画像に類似している登録画像を判定する。そして、方向判定処理部が、原稿画像の特徴点の座標と、原稿画像に類似すると判定された登録画像の特徴点の座標とに基づいて上記登録画像に対する原稿画像の回転角度を判定する。

これにより、予め登録しておいた登録画像に対する原稿画像の回転角度を容易かつ適切に判定することができる。したがって、定型フォームの照合用情報を所望の向きで読み込んだ画像を登録画像として登録しておくことにより、例えば、入力画像データに文字方向の異なる文章が混在している場合や、手書き文字が多く含まれている場合であっても、この入力画像データの登録画像に対する回転角度を判定することができる。また、複数の定型フォームをそれぞれ登録画像として登録しておくことにより、原稿画像の読み取り時にユーザが特別な設定処理を行わなくても、類似する登録画像を検出してこの登録画像に対する原稿画像の回転角度を自動的に判定することができる。

また、上記方向判定処理部は、上記原稿画像の特徴点の座標を上記原稿画像に類似すると判定された登録画像の特徴点の座標と一致させるように回転させるための行列式を算出し、この行列式における回転移動に関する係数の値に基づいて上記回転角度を９０°単位で判定する構成としてもよい。

上記の構成によれば、簡単な行列演算によって原稿画像の向きを判定できるので、方向判定処理部の構成を簡略化するとともに、方向判定に要する時間を短縮できる。また、原稿画像が上下反転した状態で読み取られた場合、および原稿画像の文字方向と登録画像の文字方向とが異なっている場合に、原稿画像の登録画像に対する向きを判定することができる。

また、上記方向判定処理部の判定した回転角度に基づいて、上記原稿画像の向きを当該原稿画像に類似する上記登録画像の向きに一致させるかあるいは近づけるように上記原稿画像データに９０°単位で回転処理を施す回転処理部を備えている構成としてもよい。

上記の構成によれば、原稿画像が上下反転した状態で読み取られた場合や、原稿画像データにおける文字方向と登録画像の文字方向とが異なっている場合などに、原稿画像の向きと登録画像の向きとを一致させることができる。また、９０°単位での回転処理は比較的容易な演算で実現できるので、例えばアフィン変換等による方向補正を行う場合に比べて回転処理に要する処理時間を短縮できる。

本発明の画像データ出力装置は、画像データに対して出力処理を施す画像データ出力処理装置であって、上記したいずれかの画像処理装置を備えていることを特徴としている。なお、上記出力処理の内容は特に限定されるものではないが、一例としては、原稿画像データに対する印刷処理、複写処理、送信処理、表示処理、所定の保存先へのファイリング処理等が挙げられる。また、上記画像データ出力装置は、原稿画像データと方向判定処理部の判定結果とを出力するものであってもよく、方向判定処理部の判定結果に基づいて原稿画像データに対して原稿画像の向きを当該原稿画像に類似する登録画像の向きに一致させるように回転処理を施した画像データを出力するものであってもよい。

本発明の画像処理方法は、上記の課題を解決するために、原稿画像の画像データである原稿画像データに基づいて上記原稿画像についての複数の特徴点を算出する特徴点算出工程と、上記特徴点同士の位置関係に基づいて上記原稿画像の幾何学的変形に対して不変な量である特徴量を算出する特徴量算出工程と、上記特徴量算出工程によって算出された原稿画像の特徴量と記憶手段に予め記憶されている登録画像の特徴量とを比較して上記原稿画像に類似している登録画像を判定する類似度判工程とを含む画像処理方法であって、上記原稿画像の特徴点の座標と、上記原稿画像に類似すると判定された登録画像の特徴点の座標とに基づいて上記登録画像に対する上記原稿画像の回転角度を判定する方向判定工程を含むことを特徴としている。

上記の方法によれば、特徴量算出工程によって算出された原稿画像の特徴量と記憶手段に記憶されている各登録画像の特徴量とを比較して上記原稿画像に類似している登録画像を判定する。そして、原稿画像の特徴点の座標と、原稿画像に類似すると判定された登録画像の特徴点の座標とに基づいて上記登録画像に対する原稿画像の回転角度を判定する。

なお、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより、上記画像処理装置をコンピュータにて実現させる画像処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に含まれる。

以上のように、本発明の画像処理装置は、上記原稿画像の特徴点の座標と、上記原稿画像に類似すると判定された登録画像の特徴点の座標とに基づいて上記登録画像に対する上記原稿画像の回転角度を判定する方向判定処理部を備えている。

また、本発明の画像処理方法は、上記原稿画像の特徴点の座標と、上記原稿画像に類似すると判定された登録画像の特徴点の座標とに基づいて上記登録画像に対する上記原稿画像の回転角度を判定する方向判定工程を含む。

それゆえ、本発明の画像処理装置および画像処理方法によれば、予め登録しておいた登録画像に対する原稿画像の回転角度を容易かつ適切に判定することができる。

本発明の一実施形態について説明する。なお、本実施形態では、主に、本発明をデジタルカラー複写機に適用する場合の一例について説明する。

図２は、本実施形態にかかるデジタルカラー複写機（画像データ出力処理装置）１の概略構成を示すブロック図である。

図２に示すように、デジタルカラー複写機１は、カラー画像入力装置２、カラー画像処理装置３、カラー画像出力装置４、および操作パネル６を備えている。

カラー画像入力装置２は、原稿の画像を読み取って画像データを生成するものであり、例えばＣＣＤ（Charge Coupled Device ）などの光学情報を電気信号に変換するデバイスを備えたスキャナ部（図示せず）より構成されている。ここでは、カラー画像入力装置２は、原稿からの反射光像を、ＲＧＢ（Ｒ：赤・Ｇ：緑・Ｂ：青）のアナログ信号としてカラー画像処理装置３に出力する。

図３は、カラー画像入力装置２の一構成例を示す断面図である。この図に示すカラー画像入力装置２は、上部筐体６０と下部筐体６１とを備えている。上部筐体（原稿カバー）６０は、原稿押さえマット５７、整合ローラ対５５、原稿搬送路５６、イメージセンサ部５３、上側原稿搬送ガイド５８等を備えており、下部筐体６１は、第１コンタクトガラス５１、第２コンタクトガラス５２、読取部７０、遮光部材５９等を備えている。また、上部筐体６０は下部筐体６１に対して開閉可能に構成されている。

なお、カラー画像入力装置２は、（１）第１コンタクトガラス５１上に載置された原稿の下面側を読取部７０によって読み取る静止読取モード、（２）第２コンタクトガラス５２上を走行（移動）する原稿の下面側を読取部７０によって読み取る走行読取モード、および（３）第２コンタクトガラス５２上を走行（移動）する原稿の下面側を読取部７０によって読み取るとともに、上面側をイメージセンサ部５３で読み取る両面読取モードを備えている。

整合ローラ対５５は、走行読取モードおよび両面読取モードにおいて、搬送されてきた原稿の先端が搬送方向に垂直になるように原稿の角度を整合させるためのものである。搬送された原稿の先端が回転停止状態の整合ローラ対５５のニップ部に付き当たることによってこの原稿に所定の撓みを形成され、その後、整合ローラ５５を回転させることによって上記原稿の向きが整合されて整合ローラ対５５の下流側に搬送される。

イメージセンサ部５３は、両面モードが選択されたときに、第２コンタクトガラス５２上を搬送される原稿の上面側の画像を読み取るためのものである。

原稿押さえマット５７は、静止読取モードが選択されたときに、第１コンタクトガラス５１上に載置された原稿を第１コンタクトガラス５１側に押さえつけて原稿の位置を安定させるためのものである。

読取部７０は、第１走査ユニット６３、第２走査ユニット６４、結像レンズ６５、およびＣＣＤ（Charge Coupled Device）６６を備えている。

第１走査ユニット６３は、原稿の読み取り面を露光する光源（露光ランプ）６２と、原稿からの反射光を第２走査ユニット６４に向けて反射する第１反射ミラー６７とを備えている。

なお、第１走査ユニット６３は、静止読取モード時には、第１コンタクトガラス５１に対して平行に図のＰの位置から右に向かって原稿サイズに応じた距離だけ一定速度Ｖで移動しながら、第１コンタクトガラス５１上に載置された原稿を光源６２から出射した光で露光し、原稿からの反射光を第１反射ミラー６７で反射させて第２走査ユニット６４に導く。上記の原稿サイズは、図示しない原稿サイズ検出手段（例えば、フォトトランジスタなどの光電変換素子からなる原稿サイズ検出手段）によって第１コンタクトガラス５１上に載置された原稿サイズを検知した結果であってもよく、ユーザが操作パネル６を介して入力したものであってもよい。

また、第１走査ユニット６３は、走行読取モード時および両面読取モード時には、第２コンタクトガラス５２に対向する所定の位置において、第２コンタクトガラス５２上を搬送される原稿を光源６２から出射した光で露光し、原稿からの反射光を第１反射ミラー６７で反射させて第２走査ユニット６４に導く。

第２走査ユニット６４は、第２反射ミラー６８と第３反射ミラー６９とを備えており、これら両ミラーによって第１反射ミラー６７から入射した光を結像レンズ６５およびＣＣＤ６６に導くように構成されている。なお、第２走査ユニット６４は、静止読取モードでは第１走査ユニット６３に追随してＶ／２の速度で移動するようになっている。

遮光部材５９は、読取部５４の光源６２の光が、イメージセンサ部５３に入射することによってイメージセンサ部５３が画像を適切な濃度で読み取れなくなることを防止するためのものである。

結像レンズ６５は、第３反射ミラー６９から入射した原稿からの反射光を、ＣＣＤ６６上に結像させるためのものである。

ＣＣＤ６６は、結像レンズ６５を介して入射した光をアナログの電気信号に変換するためのものである。なお、この電気信号は、後述するカラー画像処理装置３によってデジタルの画像データに変換される。なお、両面読取モードの場合、読取部７０によって読み取られた原稿の下面側の画像データがカラー画像処理装置３に入力されて処理され、その後、イメージセンサ部５３によって読み取られた原稿の上面側の画像データがカラー画像処理装置３に入力されて処理される。カラー画像処理装置３において原稿の下面側の画像データが処理されている間、イメージセンサ部５３によって読み取られた原稿の上面側の画像データは図示しないメモリに一旦格納されており、原稿の上面側の画像データに対する処理が終了した時にこのメモリから読み出されてカラー画像処理装置３に送られ、処理が施される。

カラー画像処理装置３は、カラー画像入力装置２から入力されたアナログ信号に、種々の処理を施すと共にカラー画像出力装置４が扱える形に変換して、カラー画像出力装置へと出力するものである。

カラー画像処理装置３は、入力段にＲＧＢのアナログ信号をデジタル信号に変換するＡ／Ｄ（アナログ／デジタル）変換部１１を備えている。カラー画像処理装置３に入力されたアナログ信号の画像データは、このＡ／Ｄ変換部１１にてデジタル信号に変換される。

デジタル信号に変換されＲＧＢ信号は、その後、シェーディング補正部１２、文書照合処理部１３、入力階調補正部１４、領域分離処理部１５、色補正部１６、黒生成下色除去部１７、空間フィルタ処理部１８、出力階調補正部１９、階調再現処理部２０の順で送られ、最終的にはデジタル信号のＣＭＹＫ信号となる。そして、階調再現処理部２０より出力されたデジタル信号のＣＭＹＫ信号は、図示しないメモリに一旦格納された後、カラー画像出力装置４へと出力される。

シェーディング補正部１２は、Ａ／Ｄ変換部１１より送られてきたデジタルのＲＧＢ信号に対して、カラー画像入力装置２の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施すものである。シェーディング補正部１２にて各種の歪みが取り除かれたＲＧＢ信号（ＲＧＢの濃度信号）は、文書照合処理部１３へと出力される。

文書照合処理部１３は、シェーディング補正部１２より送られてきたＲＧＢ信号（入力画像データ）より当該画像データの画像の特徴量を抽出し、（１）抽出した特徴量を当該入力画像データ（原稿画像）のインデックス（原稿ＩＤ）と関連付けて後述するメモリ８に記憶（登録）する登録処理、および／または、（２）抽出した特徴量をメモリ８に予め登録されている登録原稿の画像の特徴量と比較し、入力画像データに含まれる原稿画像が登録原稿の画像に類似しているか否かを判定する類似性判定処理（照合処理）を行う。また、文書照合処理部１３は、類似性判定処理において、登録原稿の画像に類似していると判定した場合、入力画像データに含まれる原稿画像の登録画像に対する方向（回転角度）を算出し、入力画像データに対して両画像の方向を一致させるように原稿画像を回転させる処理を行う。

また、文書照合処理部１３は、シェーディング補正部１２より送られてきたＲＧＢ信号（入力画像データ）をそのまま後段の入力階調補正部１４へと出力する。文書照合処理部１３の詳細については後述する。

なお、本実施形態では、文書照合処理部１３をシェーディング補正部１２と入力階調補正部１４との間に設けているが、これに限るものではない。例えば、領域分離処理部１５の後段に設けてもよく、入力階調補正部１４と並列に設けてもよい。文書照合処理部１３と入力階調補正部１４と並列に設ける場合、カラーバランスを整える処理、および濃度信号に変換する処理はシェーディング補正部１２で行うようにすればよい。

入力階調補正部１４は、シェーディング補正部１２にて各種の歪みが取り除かれたＲＧＢ信号に対して、カラーバランスを整えると同時に、濃度信号などカラー画像処理装置３に採用されている画像処理システムの扱い易い信号に変換する処理を施すものである。また、下地濃度の除去やコントラストなどの画質調整処理を行う。

領域分離処理部１５は、ＲＧＢ信号より、入力画像中の各画素を文字領域、網点領域、写真領域の何れかに分離するものである。領域分離処理部１５は、分離結果に基づき、画素がどの領域に属しているかを示す領域識別信号を、黒生成下色除去部１７、空間フィルタ処理部１８、および階調再現処理部２０へと出力すると共に、入力階調補正部１４から入力された入力信号をそのまま後段の色補正部１６に出力する。

色補正部１６は、色再現の忠実化実現のために、不要吸収成分を含むＣＭＹ（Ｃ：シアン・Ｍ：マゼンタ・Ｙ：イエロー）色材の分光特性に基づいた色濁りを取り除く処理を行うものである。

黒生成下色除去部１７は、色補正後のＣＭＹの３色信号から黒（Ｋ）信号を生成する黒生成、元のＣＭＹ信号から黒生成で得たＫ信号を差し引いて新たなＣＭＹ信号を生成する処理を行うものである。これにより、ＣＭＹの３色信号はＣＭＹＫの４色信号に変換される。

空間フィルタ処理部１８は、黒生成下色除去部１７より入力されるＣＭＹＫ信号の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理を行い、空間周波数特性を補正する。これにより、出力画像のぼやけや粒状性劣化を軽減することができる。

階調再現処理部２０は、空間フィルタ処理部１８と同様、ＣＭＹＫ信号の画像データに対して領域識別信号を基に所定の処理を施すものである。

例えば、領域分離処理部１５にて文字に分離された領域は、特に黒文字あるいは色文字の再現性を高めるために、空間フィルタ処理部１８による空間フィルタ処理における鮮鋭強調処理で高周波数の強調量が大きくされる。同時に、階調再現処理部２０においては、高域周波数の再現に適した高解像度のスクリーンでの二値化または多値化処理が選択される。

また、領域分離処理部１５にて網点領域に分離された領域に関しては、空間フィルタ処理部１８において、入力網点成分を除去するためのローパス・フィルタ処理が施される。そして、出力階調補正部１９では、濃度信号などの信号をカラー画像出力装置４の特性値である網点面積率に変換する出力階調補正処理を行った後、階調再現処理部２０で、最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理（中間調生成）が施される。領域分離処理部１５にて写真に分離された領域に関しては、階調再現性を重視したスクリーンでの二値化または多値化処理が行われる。

上述した各処理が施された画像データは、一旦、図示しないメモリに記憶されたのち、所定のタイミングで読み出されてカラー画像出力装置４に入力される。

カラー画像出力装置４は、カラー画像処理装置３から入力された画像データを記録材（例えば紙等）上に出力するものである。カラー画像出力装置４の構成は特に限定されるものではなく、例えば、電子写真方式やインクジェット方式を用いたカラー画像出力装置を用いることができる。

操作パネル６は、例えば、液晶ディスプレイなどの表示部と設定ボタンなどより構成され（いずれも図示せず）、デジタルカラー複写機１の主制御部（図示せず）の指示に応じた情報を上記表示部に表示するとともに、上記設定ボタンを介してユーザから入力される情報を上記主制御部に伝達する。ユーザは、操作パネル６を介して入力画像データに対する処理要求、処理枚数などを入力することができる。

上記主制御部は、例えばＣＰＵ（Central Processing Unit）等からなり、図示しないＲＯＭ等に格納されたプログラムや各種データ、操作パネル６から入力される情報等に基づいて、デジタルカラー複写機１の各部の動作を制御する。

次に、文書照合処理部１３の詳細について説明する。本実施形態にかかる文書照合処理部１３は、入力画像データから複数の特徴点を抽出し、抽出した各特徴点に対して局所的な特徴点の集合を決定し、決定した各集合から特徴点の部分集合を選択し、選択した各部分集合を特徴付ける量として、部分集合中の特徴点に関する複数の組み合わせに基づいて、幾何学的変換に対する不変量をそれぞれ求め、求めた各不変量を組み合わせてハッシュ値（特徴量）を計算し、計算したハッシュ値に対応する登録画像に投票することにより、入力画像データに類似する登録画像の検索、当該登録画像に対する類似性の判定処理（類似あり／類似なしの判定）を行う。また、入力画像データから抽出した特徴点の座標と、類似すると判定された登録画像の特徴点の座標とに基づいて入力画像データに含まれる原稿画像の上記登録画像に対する向きを判定し、両画像の向きを一致させるように原稿画像を回転させる。

図４は、文書照合処理部１３の概略構成を示すブロック図である。この図に示すように、文書照合処理部１３は、特徴点算出部３１、特徴量算出部３２、投票処理部３３、類似度判定処理部３４、方向判定処理部３５、回転処理部３６、登録処理部３７、制御部７、およびメモリ８を備えている。なお、本実施形態では、上記特徴点抽出部の機能を特徴点算出部３１と特徴量算出部３２とによって実現するようになっている。ただし、これに限らず、単独の構成によって上記特徴点抽出部の機能を実現してもかまわない。

制御部７は、文書照合処理部１３の各部の動作およびメモリ８へのアクセスを制御する。なお、制御部７は、デジタルカラー複写機１の各部の動作を制御するための主制御部に備えられていてもよく、主制御部とは別に備えられ、主制御部と協同して文書照合処理部１３の動作を制御するものであってもよい。

メモリ８は、文書照合処理部１３の各部の処理に用いられる各種データ、処理結果等を記憶するものである。

特徴点算出部３１は、入力画像データより、文字列や罫線の連結部分を抽出し、連結部分の重心を特徴点として算出するものである。また、特徴点算出部３１は、各特徴点の座標を算出する。ここで、入力画像データは、登録画像の登録処理においては登録される画像の画像データであり、類似性判定処理においては登録画像との照合を行う照合対象画像の画像データである。本実施形態では、定型フォームの文書に関する画像を登録画像として登録しておき、原稿から読み取った原稿画像と登録画像との類似性判定を行い、原稿画像の向きを類似する登録画像の向きに自動的に統一するようになっている。

図５は、特徴点算出部３１の概略構成を示すブロック図である。この図に示すように、特徴点算出部３１は、無彩化処理部４１、解像度変換部４２、ＭＴＦ処理部４３、２値化処理部４４、重心算出部４５を備えている。

無彩化処理部４１は、シェーディング補正部１２から入力された画像データ（ＲＧＢ信号）がカラー画像であった場合に、この画像データを無彩化して、明度信号もしくは輝度信号に変換するものである。

例えば、無彩化処理部４１は、下記式（１）によりＲＧＢ信号を輝度信号Ｙに変換する。

Ｙｊ＝０．３０Ｒｊ＋０．５９Ｇｊ＋０．１１Ｂｊ・・・（１）
ここで、Ｙｊは各画素の輝度信号であり、Ｒｊ，Ｇｊ，Ｂｊは各画素のＲＧＢ信号における各色成分であり、添え字のｊは画素毎に付与された値（ｊは１以上の整数）である。

あるいは、ＲＧＢ信号をＣＩＥ１９７６Ｌ^*ａ^*ｂ^*信号（ＣＩＥ:Commission International de l'Eclairage、Ｌ^*：明度、a^*,ｂ^*:色度）に変換してもよい。

解像度変換部４２は、入力画像データがカラー画像入力装置２で光学的に変倍されている場合に、所定の解像度になるように再度変倍する処理部である。なお、解像度変換部４２により、後段の各部の処理量を軽減するために、カラー画像入力装置２で等倍時に読み込まれる解像度よりも解像度を落とすための解像度変換処理（例えば６００ｄｐｉ（dot per inch）で読み込まれた画像データを３００ｄｐｉに変換する処理）を行うようにしてもよい。

ＭＴＦ（modulation transfer function）処理部４３は、カラー画像入力装置２の空間周波数特性が機種ごとに異なることを吸収（調整）するために用いられる。具体的には、ＣＣＤの出力する画像信号には、レンズやミラー等の光学部品、ＣＣＤの受光面のアパーチャ開口度、転送効率や残像、物理的な走査による積分効果および操作むら等に起因しＭＴＦの劣化が生じている。このＭＴＦの劣化により、読み込まれた画像がぼやけたものとなっている。そこで、ＭＴＦ処理部４３は、適切なフィルタ処理（強調処理）を施すことにより、ＭＴＦの劣化により生じるぼやけを修復する処理を行う。また、ＭＴＦ処理部４３は、後段の重心算出部４５における特徴点抽出処理に不要な高周波成分を抑制する処理を行う。すなわち、混合フィルタ（図示せず）を用いて強調および平滑化処理を行う。なお、図６は、この混合フィルタにおけるフィルタ係数の一例を示している。

２値化処理部４４は、無彩化された画像データ（輝度値（輝度信号）または明度値（明度信号））と、予め設定された閾値とを比較することにより画像データを二値化する。

重心算出部４５は、２値化処理部４４で２値化された画像データ（例えば、「１」、「０」で表される）に基づいて、各画素に対してラベリング（ラベル付け処理）を行う。そして、同一ラベルが付された画素が連結した連結領域を特定し、特定した連結領域の重心を特徴点として抽出する。さらに、抽出した特徴点を特徴量算出部３２へ出力する。なお、上記特徴点は、二値画像における座標値（ｘ座標、ｙ座標）として算出される。

図７は、入力画像データから抽出された連結領域およびこの連結領域の重心の一例を示す説明図であり、「Ａ」という文字列に対応する連結領域および重心を示している。また、図８は、入力画像データに含まれる文字列から抽出された複数の連結領域の各重心（特徴点）の一例を示す説明図である。

特徴量算出部３２は、特徴点算出部３１で算出された特徴点を用いて、原稿画像の回転、拡大、縮小、平行移動等の幾何学的変形に対して不変な量である特徴量（ハッシュ値および／または不変量）を算出するものである。

図９は、特徴量算出部３２の概略構成を示すブロック図である。この図に示すように、特徴量算出部３２は、特徴点抽出部３２ａ、不変量算出部３２ｂ、ハッシュ値算出部３２ｃを備えている。

特徴点抽出部３２ａは、図１０に示すように、１つの特徴点を注目特徴点とし、この注目特徴点の周辺の特徴点を、注目特徴点からの距離が近いものから順に所定数（ここでは４点）だけ周辺特徴点として抽出する。図１０の例では、特徴点ａを注目特徴点とした場合には特徴点ｂ，ｃ，ｄ，ｅの４点が周辺特徴点として抽出され、特徴点ｂを注目特徴点とした場合には特徴点ａ，ｃ，ｅ，ｆの４点が周辺特徴点として抽出される。

また、特徴点抽出部３２ａは、上記のように抽出した周辺特徴点４点の中から選択し得る３点の組み合わせを抽出する。例えば、図１１（ａ）〜図１１（ｄ）に示すように、図１２に示した特徴点ａを注目特徴点とした場合、周辺特徴点ｂ，ｃ，ｄ，ｅのうちの３点の組み合わせ、すなわち、周辺特徴点ｂ，ｃ，ｄ、周辺特徴点ｂ，ｃ，ｅ、周辺特徴点ｂ，ｄ，ｅ、周辺特徴点ｃ，ｄ，ｅの各組み合わせが抽出される。

次に、不変量算出部３２ｂは、抽出した各組み合わせについて、幾何学的変形に対する不変量（特徴量の１つ）Ｈｉｊを算出する。

ここで、ｉは注目特徴点を示す数（ｉは１以上の整数）であり、ｊは周辺特徴点３点の組み合わせを示す数（ｊは１以上の整数）である。本実施形態では、周辺特徴点同士を結ぶ線分の長さのうちの２つの比を不変量Ｈｉｊとする。

上記線分の長さは、各周辺特徴点の座標値に基づいて算出できる。例えば、図１１（ａ）の例では、特徴点ｂと特徴点ｃとを結ぶ線分の長さをＡ１１、特徴点ｂと特徴点ｄとを結ぶ線分の長さをＢ１１とすると、不変量Ｈ１１はＨ１１＝Ａ１１／Ｂ１１である。

また、図１１（ｂ）の例では、特徴点ｂと特徴点ｃとを結ぶ線分の長さをＡ１２、特徴点ｂと特徴点ｅとを結ぶ線分の長さをＢ１２とすると、不変量Ｈ１２はＨ１２＝Ａ１２／Ｂ１２である。また、図１１（ｃ）の例では、特徴点ｂと特徴点ｄとを結ぶ線分の長さをＡ１３、特徴点ｂと特徴点ｅとを結ぶ線分の長さをＢ１３とすると、不変量Ｈ１３はＨ１３＝Ａ１３／Ｂ１３である。また、図１１（ｄ）に示した例では、特徴点ｃと特徴点ｄとを結ぶ線分の長さをＡ１４、特徴点ｃと特徴点ｅとを結ぶ線分の長さをＢ１４とすると、不変量Ｈ１４はＨ１４＝Ａ１４／Ｂ１４である。このようにして、図１１（ａ）〜図１１（ｄ）の例では、不変量Ｈ１１，Ｈ１２，Ｈ１３，Ｈ１４が算出される。

なお、上記の例では、注目特徴点に最も近い周辺特徴点と２番目に近い周辺特徴点とを結ぶ線分をＡｉｊ、注目特徴点に最も近い周辺特徴点と３番目に近い周辺特徴点とを結ぶ線分をＢｉｊとしたが、これに限らず、不変量Ｈｉｊの算出に用いる線分は任意の方法で選定すればよい。

次に、ハッシュ値算出部３２ｃは、次式
Ｈｉ＝（Ｈｉ１×１０^３＋Ｈｉ２×１０^２＋Ｈｉ３×１０^１＋Ｈｉ４×１０^０）／Ｄ
における余りの値をハッシュ値（特徴量の１つ）Ｈｉとして算出し、メモリ８に記憶させる。なお、上記Ｄは余りが取り得る値の範囲をどの程度に設定するかに応じて予め設定される定数である。

なお、不変量Ｈｉｊの算出方法は特に限定されるものではなく、例えば、注目特徴点の近傍５点の複比、近傍ｎ点（ｎはｎ≧５の整数）から抽出した５点の複比、近傍ｎ点から抽出したｍ点（ｍはｍ＜ｎかるｍ≧５の整数）の配置およびｍ点から抽出した５点の複比に基づいて算出される値などを注目特徴点についての上記不変量Ｈｉｊとしてもよい。なお、複比とは、直線上の４点または平面上の５点から求められる値であり、幾何学的変換の一種である射影変形に対する不変量として知られている。

また、ハッシュ値Ｈｉの算出するための式についても上記式に限るものではなく、他のハッシュ関数（例えば特許文献２に記載されているハッシュ関数のうちのいずれか）を用いてもよい。

また、特徴量算出部３２の各部は、１つの注目特徴点に対する周辺特徴点の抽出およびハッシュ値Ｈｉの算出が終わると、注目特徴点を他の特徴点に変更して周辺特徴点の抽出およびハッシュ値の算出を行い、全ての特徴点についてのハッシュ値を算出する。

図１０の例では、特徴点ａを注目特徴点とした場合の周辺特徴点およびハッシュ値の抽出が終わると、次に特徴点ｂを注目特徴点とした場合の周辺特徴点およびハッシュ値の抽出を行う。図１０の例では、特徴点ｂを注目特徴点とした場合、特徴点ａ，ｃ，ｅ，ｆの４点が周辺特徴点として抽出される。

そして、図１２（ａ）〜図１２（ｄ）に示すように、これら周辺特徴点ａ，ｃ，ｅ，ｆの中から選択される３点の組み合わせ（周辺特徴点ａ，ｅ，ｆ、周辺特徴点ａ，ｅ，ｃ、周辺特徴点ａ，ｆ，ｃ、周辺特徴点ｅ，ｆ，ｃ）を抽出し、各組み合わせについてハッシュ値Ｈｉを算出し、メモリ８に記憶させる。そして、この処理を各特徴点について繰り返し、各特徴点を注目特徴点とした場合のハッシュ値をそれぞれ求めてメモリ８に記憶させる。

なお、特徴量算出部３２は、入力画像データに含まれる原稿画像を登録画像として登録する登録処理を行う場合には、上記のように算出した入力画像データの各特徴点についてのハッシュ値（特徴量）と特徴点算出部３１の算出した各特徴点の座標とを登録処理部３７に送る。また、特徴量算出部３２は、入力画像データに含まれる原稿画像が既に登録されている登録画像に類似するかどうかの判定処理（類似性判定処理）を行う場合には、上記のように算出した入力画像データの各特徴点についてのハッシュ値と特徴点算出部３１の算出した各特徴点の座標とを投票処理部３３に送る。あるいは、特徴量算出部３２が上記のように算出した入力画像データの各特徴点についてのハッシュ値（特徴量）と特徴点算出部３１の算出した各特徴点の座標とが投票処理部３３、類似度判定処理部３４、方向判定処理部３５、回転処理部３６、登録処理部３７に順次送られ、登録処理を行う場合には投票処理部３３および類似度判定処理部３４の処理をスルー（何も処理を行わない）とし、類似度判定処理を行う場合は登録処理部３７の処理をスルーとするようにしてもよい。

登録処理部３７は、特徴量算出部３２が算出した各特徴点についてのハッシュ値と、入力画像データ（原稿画像）を表すインデックス（原稿ＩＤ）とを対応付けてメモリ８に備えられるハッシュテーブル（図示せず）に順次登録していく（図１３（ａ）参照）。また、ハッシュ値がすでに登録されている場合は、当該ハッシュ値に対応付けて原稿ＩＤを登録する。原稿ＩＤは重複することなく順次番号が割り当てられる。この際、上記したように、同じ登録原稿から読み取った画像であっても解像度毎に異なる原稿ＩＤを用いるようにしてもよく、同じ登録原稿から読み取った画像については解像度にかかわらず同じ原稿ＩＤを用いるようにしてもよい。

なお、メモリ８に登録されている原稿の数が所定値（例えば、登録可能な原稿の数の８０％）より多くなった場合、古い原稿ＩＤを検索して順次消去するようにしてもよい。また、消去された原稿ＩＤは、新たな入力画像データの原稿ＩＤとして再度使用できるようにしてもよい。また、算出されたハッシュ値が同値である場合（図１３（ｂ）の例ではＨ１＝Ｈ５）、これらを１つにまとめてハッシュテーブルに登録してもよい。

また、図１３（ｂ）の例では、Ｈ１＝Ｈ５であり、これらをＨ１の１つにまとめてハッシュテーブルに登録されているが、このようなテーブル値において、入力画像データから算出した入力原稿の有するハッシュ値にＨ１があった場合は、原稿ＩＤ１には、２票投票される。

また、登録処理部３７は、図１４に示すように、登録画像における各特徴点の識別記号（特徴点を表すインデックス）とこれら各特徴点の座標とを対応付けてメモリ８に記憶させる。

投票処理部３３は、入力画像データから算出した各特徴点のハッシュ値をメモリ８に登録されている登録画像のハッシュ値と比較し、同じハッシュ値を有する登録画像に投票する。そして、投票処理部３３は、図１５に示すように、入力画像データに含まれる原稿画像における各特徴点ｐ１，ｐ２，・・・について、どの登録画像のどの特徴点に投票したのかをメモリ８に記憶しておく。図１５の例では、照合対照画像の特徴点ｐ１に対して求めた特徴量（ハッシュ値）が登録画像ＩＤ１の特徴点ｆ１の特徴量と一致し、照合対照画像の特徴点ｐ２に対して求めた特徴量（ハッシュ値）が登録画像ＩＤ３の特徴点ｆ２の特徴量と一致していると判定されている。図１６は、登録画像ＩＤ１，ＩＤ２，ＩＤ３に対する投票結果（投票数）の一例を示すグラフである。なお、投票処理の方法は、例えば非特許文献１に記載されている方法を用いることができる。

また、投票処理部３３は、ハッシュ値が一致する入力画像データ（入力画像データに含まれる原稿画像）の特徴点と登録画像の特徴点との位置関係を求め、メモリ８に記憶しておく（入力画像データに含まれる原稿画像の特徴点と登録画像の特徴点との位置合わせを行う。位置関係の算出方法の詳細については後述する。）。

類似度判定処理部３４は、メモリ８から投票処理部３３の投票処理結果である各登録画像のインデックスおよび各登録画像に対する投票数を読み出し、最大得票数を得た登録画像のインデックスと、その得票数である最大得票数を抽出する。

そして、抽出された最大得票数を類似の度合いを示す類似度として扱い、予め定められている閾値ＴＨと比較して類似性（入力画像データが登録画像の画像データであるかどうか）を判定する。つまり、最大得票数が予め定められた閾値ＴＨ以上である場合には「類似性あり」と判定し、閾値未満である場合には「類似性なし」と判定する。

あるいは、抽出された得票数をその原稿が有している最大得票数で除算して正規化し、その結果と予め定められている閾値との比較を行うことで類似性を判定してもよい。この場合の閾値の例としては、例えば、０．８以上に設定する方法が挙げられる。なお、手書き部分があると、投票数は最大得票数より大きくなることがあるため、類似度は１より大きくなる場合もあり得る。最大得票数は、特徴点の数と１つの特徴点（注目特徴点）から算出されるハッシュ値の数との積で表される。なお、本実施形態では、１つの特徴点（注目特徴点）に対して１つのハッシュ値を算出するものとしているが、これに限らず、１つの特徴点（注目特徴点）に対して複数のハッシュ値を算出するようにしてもよい。例えば、注目特徴点の周辺特徴点として６点を抽出し、この６点から５点を抽出した６通りの組み合わせそれぞれについて、５点から３点を抽出して不変量を求めてハッシュ値を算出する方法を用いてもよい。この場合には、１つの特徴点に対して６個のハッシュ値が算出されることになる。

方向判定処理部３５は、入力画像データに含まれる原稿画像が登録画像に類似していると判定された場合に、この原稿画像の方向判定処理、すなわち登録画像に対する原稿画像の回転角度を判定する処理を行う。

まず、方向判定処理部３５は、入力画像データに含まれる原稿画像の特徴点の座標系を、類似していると判定された登録画像の特徴点の座標系に一致させるための変換係数を算出する。

例えば、図１５に示した例において、入力画像データに含まれる原稿画像が登録画像ＩＤ１に類似していると判定された場合、この原稿画像の座標系における各特徴点の座標を登録画像ＩＤ１の座標系における座標に変換するための変換係数を算出する。図１７および表１は、これら両座標系における特徴点の座標の対応関係を示している。

登録画像の座標系における各特徴点の座標についての行列をＰｉｎ、これら各特徴点の入力画像データに含まれる原稿画像の座標系における座標についての行列をＰｏｕｔ、両行列の変換係数をＡとすると、下記式の関係になる。

Ｐｏｕｔ＝Ｐｉｎ×Ａ
Ｐｉｎは正方行列ではないので、下記式に示すように、両辺にＰｉｎの転置行列Ｐｉｎ^Ｔを乗算し、さらにＰｉｎ^ＴＰｉｎの逆行列を乗算する。
Ｐｉｎ^ＴＰｏｕｔ＝Ｐｉｎ^ＴＰｉｎ×Ａ
（Ｐｉｎ^ＴＰｉｎ）^−１Ｐｉｎ^ＴＰｏｕｔ＝Ａ
そして、方向判定処理部３５は、上記のように算出した変換係数Ａにおける回転移動に該当する係数（ａ，ｂ，ｄ，ｅ）の値より、入力画像データに含まれる原稿画像の方向判定処理を行う。

具体的には、
（１）ａ，ｅの値と１との差分絶対値が共に閾値以下であり、ｂ，ｄの値と０との差分絶対値が共に閾値以下である場合、原稿画像の登録画像に対する回転角度は０°であると判定し、回転なしを示す制御信号を回転処理部３６に出力する。
（２）ａ，ｅの値と０との差分絶対値が共に閾値以下であり、ｂの値と１との差分絶対値が閾値以下であり、ｄの値と−１との差分絶対値が閾値以下である場合、原稿画像の登録画像に対する回転角度は時計回りに９０°であると判定し、反時計回りに９０°回転させるための制御信号を回転処理部３６に出力する。
（３）ａ，ｅの値と−１との差分絶対値が共に閾値以下であり、ｂ，ｄの値と０との差分絶対値が共に閾値以下である場合、原稿画像の登録画像に対する回転角度は時計回りに１８０°であると判定し、反時計回りに１８０°回転させるための制御信号を回転処理部３６に出力する。
（４）ａ，ｅの値と０との差分絶対値が共に閾値以下であり、ｂの値と−１との差分絶対値が閾値以下であり、ｄの値と１との差分絶対値が閾値以下である場合、原稿画像の登録画像に対する回転角度は時計回りに２７０°であると判定し、反時計回りに２７０°回転させるための制御信号を回転処理部３６に出力する。

回転処理部３６は、方向判定処理部３５の判定結果に基づいて、入力画像データに含まれる原稿画像の方向と登録画像の方向とを一致させるように原稿画像の回転処理を行う。なお、本実施形態では文書照合処理部１３に回転処理部３６を設けているが、これに限らず、回転処理部３６を文書照合処理部とは別に設けるようにしてもよい。この場合、文書照合処理部１３から回転処理部３６に回転角度を示す制御信号を出力し、回転処理部３６がこの制御信号に基づいて回転処理を行うようにすればよい。

次に、文書照合処理部１３における処理の流れについて、図１に示すフロー図を参照しながら説明する。

まず、制御部７は、入力画像データ、およびユーザから入力される処理要求（指示入力）を取得する（Ｓ１、Ｓ２）。なお、入力画像データは、カラー画像入力装置２で原稿画像を読み取ることによって取得してもよく、通信装置（図示せず）によって外部の装置から送信される入力画像データを取得してもよく、カードリーダー（図示せず）等を介して各種記録媒体から入力画像データを読み出して取得してもよい。

次に、制御部７は、特徴点算出部３１に特徴点算出処理を実行させ（Ｓ３）、特徴量算出部３２に特徴量を算出させる（Ｓ４）。

次に、制御部７は、上記処理要求によって要求されている処理が登録処理であるか否かを判断する（Ｓ５）。そして、登録処理であると判断した場合、制御部７は、特徴量算出部３２が算出した特徴量と原稿ＩＤ（登録画像のＩＤ）とを対応付けてメモリ８のハッシュテーブルに登録させ（Ｓ６）、処理を終了する。

一方、登録処理ではないと判断した場合（類似性の判定処理であると判断した場合）、制御部７は、投票処理部３３に投票処理を実行させ（Ｓ７）、類似度判定処理部３４に類似性の判定処理を実行させる（Ｓ８）。

そして、類似度判定処理部３４が類似なしと判定した場合には、入力画像データの登録処理を行うか否かを判断する（Ｓ９）。この判断は、例えば操作パネル６の表示部に登録処理を行うか否かをユーザに問い合わせる画面を表示させ、それに対するユーザの指示入力に応じて判断すればよい。登録処理を行うと判断した場合、制御部７は、特徴量算出部３２が算出した特徴量と原稿ＩＤ（登録画像のＩＤ）とを対応付けてメモリ８のハッシュテーブルに登録させ（Ｓ６）、処理を終了する。一方、登録処理を行わないと判断した場合、制御部７はそのまま処理を終了する。

また、Ｓ８において類似度判定処理部３４が類似ありと判定した場合、制御部７は、方向判定処理部３５に方向判定処理を行わせる（Ｓ１０）。そして、方向判定処理の結果に基づいて回転処理部３６に回転処理を行わせ（Ｓ１１）、処理を終了する。

以上のように、本実施形態にかかるデジタルカラー複写機１は、原稿画像の特徴点の座標と、原稿画像に類似すると判定された登録画像の特徴点の座標とに基づいて上記登録画像に対する上記原稿画像の回転角度を判定する方向判定処理部３５を備えている。

なお、本実施形態では、本発明をデジタルカラー複写機１に適用する場合について説明したが、本発明の適用対象はこれに限るものではなく、例えば、図１８に示すように、デジタルカラー複合機（ＭＦＰ：Multi-Function Printer、画像データ出力処理装置）１００に適用してもよい。このデジタルカラー複合機１００は、コピー機能、プリンタ機能、ファクシミリ機能、スキャナ機能、scan to e-mail機能等を有している。なお、図１８においては、デジタルカラー複写機１において説明したものと同等の機能を有する部材には、同じ記号を付しており、それらの説明については省略する。

ここで、通信装置５は、例えばモデムやネットワークカードより構成される。通信装置５は、ネットワークカード、ＬＡＮケーブル等を介して、ネットワークに接続された他の装置（例えば、パーソナルコンピュータ、サーバー装置、他のデジタル複合機、ファクシミリ装置等）とデータ通信を行う。

通信装置５は、画像データを送信する場合、相手先との送信手続きを行って送信可能な状態が確保されると、所定の形式で圧縮された画像データ（スキャナで読み込まれた画像データ）をメモリから読み出し、圧縮形式の変更など必要な処理を施して、通信回線を介して相手先に順次送信する。

また、通信装置５は、画像データを受信する場合、通信手続きを行うとともに、相手先から送信されてくる画像データを受信してカラー画像処理装置３に入力する。受信した画像データは、カラー画像処理装置３で伸張処理、回転処理、解像度変換処理、出力階調補正、階調再現処理などの所定の処理が施され、カラー画像出力装置４によって出力される。なお、受信した画像データを記憶装置（図示せず）に保存し、カラー画像処理装置３が必要に応じて読み出して上記所定の処理を施すようにしてもよい。

また、図１８の構成では、類似性判定処理をデジタルカラー複合機１００に備えられた文書照合処理部１３において行っているが、これに限るものではない。例えば、制御部７および文書照合処理部１３が有する機能の一部または全部を、デジタルカラー複合機１００に通信可能に接続された外部装置において実行するようにしてもよい。

さらに、前述したデジタルカラー複写機１の場合、入力画像データは、スキャナにて原稿を読み取って入力される画像データであったが、デジタルカラー複合機１００においては、上記入力画像データとして、スキャナにて原稿を読み取り入力される画像データと、コンピュータ（ソフトウェア）を用いて作成される電子データ、例えば、電子データのフォーマットに、コンピュータ（ソフトウェア）を用いて必要事項を入力して作成される電子データとがある。実使用を考えた場合、紙ベースのデータを電子化したものと、電子データで直接作成したもの（電子申請など）との２通りが考えられる。

また、本実施形態では、本発明をデジタルカラー複写機あるいはデジタルカラー複合機に適用する場合について説明したが、これに限らず、モノクロの複合機に適用してもよい。また、複合機に限らず、例えば単体のファクシミリ通信装置、複写機、画像読取装置などに適用してもよい。

例えば、図１９は、本発明をフラットベッドスキャナ（画像データ出力処理装置）１０１に適用した場合の構成例を示すブロック図である。

この図に示すように、フラットベッドスキャナ１０１は、カラー画像入力装置２とカラー画像処理装置３’とを備えている。カラー画像処理装置３’は、Ａ／Ｄ変換部１１、シェーディング補正部１２、文書照合処理部１３、制御部７（図１９では図示せず）、メモリ８（図１９では図示せず）から構成されており、これに、カラー画像入力装置２が接続され、全体として画像読取装置を構成している。なお、カラー画像入力装置２およびカラー画像処理装置３’におけるＡ／Ｄ変換部１１、シェーディング補正部１２、文書照合処理部１３、制御部７、メモリ８の機能は、上述したデジタルカラー複写機１と略同様であるのでここでは説明を省略する。

なお、フラットベッドスキャナ１０１は、制御信号は、カラー画像入力装置２によって読み込まれた画像データとともにネットワークを介してプリンタや複合機に出力される。あるいは、コンピュータを介してプリンタや複合機に出力してもよく、プリンタや複合機に直接出力してもよい。制御信号を受け取ったプリンタや複合機、コンピュータは、この制御信号に示された処理内容を判断して実行する。

また、上記各実施形態において、デジタルカラー複写機１、デジタルカラー複合機１００、フラットベッドスキャナ１０１に備えられる文書照合処理部１３および制御部７を構成する各部（各ブロック）を、ＣＰＵ等のプロセッサを用いてソフトウェアによって実現してもよい。この場合、デジタルカラー複写機１、デジタルカラー複合機１００、フラットベッドスキャナ１０１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデジタルカラー複写機１、デジタルカラー複合機１００、フラットベッドスキャナ１０１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、デジタルカラー複写機１、デジタルカラー複合機１００、フラットベッドスキャナ１０１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによって達成される。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、デジタルカラー複写機１、デジタルカラー複合機１００、フラットベッドスキャナ１０１を通信ネットワークと接続可能に構成し、通信ネットワークを介して上記プログラムコードを供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

また、デジタルカラー複写機１、デジタルカラー複合機１００、フラットベッドスキャナ１０１の各ブロックは、ソフトウェアを用いて実現されるものに限らず、ハードウェアロジックによって構成されるものであってもよく、処理の一部を行うハードウェアと当該ハードウェアの制御や残余の処理を行うソフトウェアを実行する演算手段とを組み合わせたものであってもよい。

本発明のコンピュータシステムは、フラットベッドスキャナ・フィルムスキャナ・デジタルカメラなどの画像入力装置、所定のプログラムがロードされることにより上記類似度算出処理や類似性判定処理など様々な処理が行われるコンピュータ、コンピュータの処理結果を表示するＣＲＴディスプレイ・液晶ディスプレイなどの画像表示装置、およびコンピュータの処理結果を紙などに出力するプリンタ等の画像形成装置により構成されてもよい。さらには、ネットワークを介してサーバーなどに接続するための通信手段としてのネットワークカードやモデムなどが備えられていてもよい。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、画像データに含まれる原稿画像の特徴点を算出する特徴点算出部を備えた画像処理装置に適用できる。

本発明の一実施形態にかかる画像処理装置に備えられる文書照合処理部おける処理の流れを示すフロー図である。本発明の一実施形態にかかる画像形成装置（画像処理装置）の概略構成を示すブロック図である。図１の画像形成装置に備えられる画像読取装置の断面図である。図１の画像形成装置に備えられる文書照合処理部の概略構成を示すブロック図である。図４の文書照合処理部に備えられる特徴点算出部の概略構成を示すブロック図である。図５に示した特徴点算出部のＭＴＦ処理部に備えられる混合フィルタのフィルタ係数の一例を示す説明図である。図５に示した特徴点算出部によって入力画像データから抽出される連結領域およびこの連結領域の重心の一例を示す説明図である。図５に示した特徴点算出部によって入力画像データに含まれる文字列から抽出された複数の連結領域の各重心（特徴点）の一例を示す説明図である。図４の文書照合処理部に備えられる特徴量算出部の概略構成を示すブロック図である。図５に示した特徴量算出部によって特徴量を算出する際に抽出される注目特徴点および周辺特徴点の一例を示す説明図である。（ａ）〜（ｄ）は、図９の特徴量算出部によって特徴量を算出する際に抽出される注目特徴点および周辺特徴点の組み合わせの一例を示す説明図である。（ａ）〜（ｄ）は、図９の特徴量算出部によって特徴量を算出する際に抽出される注目特徴点および周辺特徴点の組み合わせの一例を示す説明図である。（ａ）および（ｂ）は、図２に示した画像処理装置において、ハッシュテーブルに登録される各特徴点についてのハッシュ値および入力画像データを表すインデックスの一例を示す説明図である。図２に示した画像処理装置のメモリに記憶される、各登録画像の原稿ＩＤと、各登録画像の特徴点と、これら各特徴点の座標との関係を示す説明図である。図４の文書照合処理部に備えられる投票処理部における投票処理を説明するための説明図である。図４の文書照合処理部に備えられる投票処理部における、各登録画像に対する投票数の一例を示すグラフである。図４の文書照合処理部に備えられる方向判定処理部おいて、入力画像データにおける各特徴点の入力画像データの座標系における位置とこの入力画像データに類似している登録画像の座標系における位置との対応関係を示す説明図である。本発明の他の実施形態にかかる画像データ出力処理装置の概略構成を示すブロック図である。本発明のさらに他の実施形態にかかる画像データ出力処理装置の概略構成を示すブロック図である。

符号の説明

１デジタルカラー複写機（画像データ出力処理装置）
２カラー画像入力装置
３，３’ カラー画像処理装置（画像処理装置）
４カラー画像出力装置（出力処理部）
５通信装置（出力処理部）
６操作パネル
７制御部
８メモリ（記憶手段）
１３文書照合処理部
３１特徴点算出部
３２特徴量算出部
３３投票処理部
３４類似度判定処理部
３５方向判定処理部
３６回転処理部
３７登録処理部
１００デジタルカラー複合機（画像データ出力処理装置）
１０１フラットベッドスキャナ（画像データ出力処理装置）

Claims

原稿画像の画像データである原稿画像データに基づいて上記原稿画像についての複数の特徴点を算出する特徴点算出部と、
上記特徴点同士の位置関係に基づいて上記原稿画像の幾何学的変形に対して不変な量である特徴量を算出する特徴量算出部と、
登録原稿の画像である登録画像の特徴量と当該登録画像の識別情報と当該登録画像の特徴点の座標とを互いに対応付けて記憶する記憶手段と、
上記特徴量算出部によって算出された原稿画像の特徴量と上記記憶手段に記憶されている各登録画像の特徴量とを比較して上記原稿画像に類似している登録画像を判定する類似度判定部とを備えた画像処理装置であって、
上記原稿画像の特徴点の座標と、上記原稿画像に類似すると判定された登録画像の特徴点の座標とに基づいて上記登録画像に対する上記原稿画像の回転角度を判定する方向判定処理部を備えていることを特徴とする画像処理装置。
上記方向判定処理部は、
上記原稿画像の特徴点の座標を上記原稿画像に類似すると判定された登録画像の特徴点の座標と一致させるように回転させるための行列式を算出し、この行列式における回転移動に関する係数の値に基づいて上記回転角度を９０°単位で判定することを特徴とする請求項１に記載の画像処理装置。
上記方向判定処理部の判定した回転角度に基づいて、上記原稿画像の向きを当該原稿画像に類似する上記登録画像の向きに一致させるように上記原稿画像データに９０°単位で回転処理を施す回転処理部を備えていることを特徴とする請求項２に記載の画像処理装置。
画像データに対して出力処理を施す画像データ出力処理装置であって、
請求項１から３のいずれか１項に記載の画像処理装置を備えていることを特徴とする画像データ出力処理装置。
原稿画像の画像データである原稿画像データに基づいて上記原稿画像についての複数の特徴点を算出する特徴点算出工程と、
上記特徴点同士の位置関係に基づいて上記原稿画像の幾何学的変形に対して不変な量である特徴量を算出する特徴量算出工程と、
上記特徴量算出工程によって算出された原稿画像の特徴量と記憶手段に予め記憶されている登録画像の特徴量とを比較して上記原稿画像に類似している登録画像を判定する類似度判定工程とを含む画像処理方法であって、
上記原稿画像の特徴点の座標と、上記原稿画像に類似すると判定された登録画像の特徴点の座標とに基づいて上記登録画像に対する上記原稿画像の回転角度を判定する方向判定工程を含むことを特徴とする画像処理方法。
請求項１から３のいずれか１項に記載の画像処理装置を動作させるプログラムであって、コンピュータを上記の各部として機能させるためのプログラム。
請求項６に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。