JP2008228211A

JP2008228211A - 画像出力方法、画像処理装置、画像形成装置、画像読取装置、コンピュータプログラム及び記録媒体

Info

Publication number: JP2008228211A
Application number: JP2007067308A
Authority: JP
Inventors: Takahiro Omichi; 隆広大道
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2007-03-15
Filing date: 2007-03-15
Publication date: 2008-09-25

Abstract

【課題】本人照合のために、装置側に予め個人情報を記憶させておく必要がなく、個人情報が流出する問題が全くなく、不特定多数の利用者が存在する環境でも画像処理装置のセキュリティ性が確保される画像出力方法を提供する。
【解決手段】メモリ２４０が基準画像の特徴を示す特徴量及び個人情報についての対象画像の位置情報を記憶し、画像を複数受け付けたとき、特徴量算出部２４２が受け付けた画像の特徴を示す特徴量を算出し、類似度判定処理部２４５が算出した特徴量と記憶してある特徴量との関係に基づいて受け付けた画像に対応する基準画像を決定し、個人情報領域抽出部２４６が決定した基準画像の対象位置情報に基づいて受け付けた画像が含む対象画像を抽出し、個人情報照合部２４７が抽出した対象画像が相互に類似していると判断したとき、制御部２４９が受け付けた画像のいずれかを出力する。
【選択図】図２

Description

本発明は、個人情報についての対象画像を含む画像を受け付け、受け付けた画像を出力する画像出力方法、該方法を実行する画像処理装置、該画像処理装置を備える画像形成装置、前記画像処理装置を備える画像読取装置、前記方法をコンピュータに実行させるコンピュータプログラム及び該コンピュータプログラムを記録した記録媒体に関する。

近年、個人情報保護に対する意識が高まっており、例えば、画像処理装置であるデジタル複合機において、運転免許証、旅券、保険証などの個人情報が記載してある書面についての画像を読み取った場合、利用者が個人情報の本人であると認証できたときのみ、読み取った画像を出力するようにしてあるセキュリティ機能を備えるものがある。

かかる場合、本人認証をする方法として、生体認証方法が用いられる。生体認証方法は、利用者の指紋又は静脈パターンなどの生体情報を予め装置側に記憶しておき、装置を利用する都度、利用者の生体情報を受け付け、受け付けた生体情報と、予め記憶してある生体情報との類似度を判定することにより、実行される（例えば、特許文献１）。かかる生体認証方法は、安価で、高い認証精度を備える装置が開発されたため、広く普及している。
特開２００６−１４６３９５号公報

しかしながら、特許文献１に記載された認証方法にあっては、装置側に、利用者の生体情報を個人情報として記憶しておく必要があったため、例えば、公共機関、コンビニエンスストア、コピーセンターなど、不特定多数の利用者が存在する環境で、画像処理装置を利用する場合、画像処理装置が不正操作され、記憶してある個人情報が流出するという問題を有している。

本発明はかかる事情に鑑みてなされたものであり、その目的とするところは、基準画像の特徴を示す特徴量及び個人情報についての対象画像の位置情報を記憶し、画像を複数受け付けたとき、受け付けた画像の特徴を示す特徴量を算出し、算出した特徴量と記憶してある特徴量との関係から、受け付けた画像に対応する基準画像を決定し、決定した基準画像の対象位置情報に基づいて、受け付けた画像が含む対象画像を抽出し、抽出した対象画像が相互に類似しているとき、本人照合ができたとして、受け付けた画像のいずれかを出力することにより、本人照合のために、装置側に予め個人情報を記憶させておく必要がなく、個人情報が流出する問題が全くなく、不特定多数の利用者が存在する環境でも画像処理装置のセキュリティ性が確保される画像出力方法を提供することにある。

また、本発明の他の目的は、前記画像出力方法を実行するための画像処理装置を提供することにある。

また、本発明の他の目的は、前記画像処理装置を備える画像形成装置を提供することにある。

また、本発明の他の目的は、前記画像処理装置を備える画像読取装置を提供することにある。

また、本発明の他の目的は、前記画像出力方法をコンピュータに実行させるコンピュータプログラムを提供することにある。

また、本発明の他の目的は、該コンピュータプログラムを記録してある記録媒体を提供することにある。

また、本発明の他の目的は、受け付けた画像のうち、所定の部分画像の特徴を示す特徴量を算出し、算出した特徴量と、予め記憶してある特徴量との関係に基づいて、受け付けた画像に対応する基準画像を決定するようにしてあることにより、例えば、所定の部分画像を、特徴量の高い部分の画像とすることで、基準画像の決定の精度を高めることができる画像処理装置を提供することにある。

また、本発明の他の目的は、受け付けた複数の画像のうち、先に受け付けた画像の特徴を示す特徴量を算出し、受け付けた画像に対応する基準画像を決定し、受け付けた画像が含む対象画像を抽出するように制御するようにしてあることにより、受け付けた複数の画像を効率よく処理できる画像処理装置を提供することにある。

上記課題を解決するために本発明に係る画像出力方法は、個人情報についての対象画像を含む画像を受け付け、受け付けた画像を出力する画像出力方法において、前記対象画像を所定の位置に含む基準画像の特徴を示す特徴量及び前記対象画像の位置情報を予め記憶し、画像を複数受け付けたとき、受け付けた画像の特徴を示す特徴量を夫々算出し、算出した特徴量と記憶してある特徴量との関係に基づいて、受け付けた画像に対応する基準画像を決定し、決定した基準画像の前記対象画像の位置情報に基づいて、受け付けた画像が含む対象画像を抽出し、抽出した対象画像が相互に類似しているとき、受け付けた画像のいずれかを出力することを特徴とする。

また、本発明に係る画像処理装置は、個人情報についての対象画像を含む画像を受け付け、受け付けた画像を出力する画像処理装置において、前記対象画像を所定の位置に含む基準画像の特徴を示す特徴量及び前記対象画像の位置情報を予め記憶してあるテーブルと、画像を複数受け付けたとき、受け付けた画像の特徴を示す特徴量を夫々算出する算出手段と、算出した特徴量と前記テーブルに記憶してある特徴量との関係に基づいて、受け付けた画像に対応する基準画像を決定する決定手段と、決定した基準画像の前記対象画像の位置情報に基づいて、受け付けた画像が含む対象画像を抽出する抽出手段と、抽出した対象画像が相互に類似しているか否かを判断する手段とを備え、抽出した対象画像が相互に類似していると判断したとき、受け付けた画像のいずれかを出力するようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、前記算出手段は、受け付けた画像のうち、所定の部分画像の特徴を示す特徴量を夫々算出し、前記決定手段は、算出した前記部分画像の前記特徴量と、前記テーブルに記憶してある特徴量との関係に基づいて、受け付けた画像に対応する基準画像を決定するようにしてあることを特徴とする。

また、本発明に係る画像処理装置は、前記算出手段、決定手段及び抽出手段が、受け付けた複数の画像のうち、先に受け付けた画像の特徴を示す特徴量を算出し、受け付けた画像に対応する基準画像を決定し、受け付けた画像が含む対象画像を抽出するように制御する制御手段を更に備えることを特徴とする。

また、本発明に係る画像形成装置は、前述の画像処理装置と、該画像処理装置が出力した画像をシートに形成する画像形成手段とを備えることを特徴とする。

また、本発明に係る画像読取装置は、前述の画像処理装置と、該画像処理装置が受け付けるべき画像を読み取り、読み取った画像を前記画像処理装置へ出力する画像読取手段とを備えることを特徴とする。

また、本発明に係るコンピュータプログラムは、コンピュータに、個人情報についての対象画像を含む画像を受け付け、受け付けた画像を出力させるコンピュータプログラムにおいて、コンピュータに、前記対象画像を所定の位置に含む基準画像の特徴を示す特徴量及び前記対象画像の位置情報を記憶させるステップと、コンピュータに、画像を複数受け付けたとき、受け付けた画像の特徴を示す特徴量を夫々算出させるステップと、コンピュータに、算出した特徴量と記憶してある特徴量との関係に基づいて、受け付けた画像に対応する基準画像を決定させるステップと、コンピュータに、決定した基準画像の前記対象画像の位置情報に基づいて、受け付けた画像が含む対象画像を抽出させるステップと、コンピュータに、抽出した対象画像が相互に類似しているか否かを判断させるステップと、コンピュータに、抽出した対象画像が相互に類似していると判断したとき、受け付けた画像のいずれかを出力させるステップとを実行させることを特徴とする。

また、本発明に係る記録媒体は、前述のコンピュータプログラムを記憶してあることを特徴とする。

本発明にあっては、個人情報についての対象画像を所定の位置に含む基準画像の特徴を示す特徴量及び対象画像の位置情報を予め記憶してあるのみであり、個人情報自体を記憶しない。また、照合の都度、基準画像の位置情報に基づいて、受け付けた画像から対象画像を抽出し、抽出した対象画像が相互に類似するか否かを判定することにより、本人照合を行い、抽出した対象画像が相互に類似するとき、受け付けた画像を出力する。

また、本発明にあっては、例えば、被発給者にかかわらず内容が定まっている不変領域の部分画像の特徴量に基づいて、受け付けた画像に対応する基準画像を決定する。

また、本発明にあっては、受け付けた複数の画像のうち、先に受け付けた画像の特徴を示す特徴量を算出し、受け付けた画像に対応する基準画像を決定し、受け付けた画像が含む対象画像を抽出するように制御する。

本発明にあっては、本人照合のために、装置側に予め個人情報を記憶させておく必要がなく、個人情報が流出する問題が全くなく、不特定多数の利用者が存在する環境でも画像処理装置のセキュリティ性が確保できる。

また、本発明にあっては、例えば、所定の部分画像を、特徴量の高い部分の画像とすることで、基準画像の決定の精度を高めることができ、受け付けた画像が不正書類である場合、早期段階で受け付けを拒否することができる。

また、本発明にあっては、画像を複数受け付けた際、処理の手順に混乱を与えることなく、効率よく照合処理することができる。

以下、本発明に係る画像出力方法、該方法を実行するための画像処理装置、該画像処理装置を備える画像形成装置、前記画像処理装置を備える画像読取装置、コンピュータに前記方法を実行させるコンピュータプログラム及び該コンピュータプログラムを記録してある記録媒体について、実施の形態を示す図面に基づいて説明する。図１は本発明に係る画像形成装置の構成を示すブロック図である。

図中１００は、画像形成装置であり、画像形成装置１００は、例えば、デジタルカラー複写機、並びに、複合機能、プリンタ機能、ファクシミリ機能及び電子メール通信機能などを備えた複合機が該当する。画像形成装置１００は、カラー画像入力装置１、カラー画像処理装置２、カラー画像出力装置３及び操作パネル４で構成されている。

カラー画像入力装置１は、例えば、ＣＣＤ（Charge Coupled Device）を備えたスキャナが該当し、運転免許証、旅券、保険証などの個人情報が記載してある原稿の画像から、反射光像をＲＧＢのアナログ信号として読み取り、読み取ったＲＧＢ信号をカラー画像処理装置２へ出力する。

カラー画像出力装置３は、カラー画像処理装置２が所定の処理を施して出力した画像データを、記録紙（シート）上に出力する画像形成手段である。例えば、電子写真方式又はインクジェット方式が該当する。また、カラー画像出力装置３は、ハードディスクのような記録媒体上に出力するようにしてもよい。例えば、ハードディスクへの書込装置、又は、ＬＡＮ通信機能を備えてサーバへのアクセスが可能な装置などが該当するが、これに限定するものではない。

カラー画像処理装置２は、以下の処理部を備え、ＡＳＩＣ（Application Specific Integrated Circuit）などにより構成されている。

Ａ／Ｄ変換部２０は、カラー画像入力装置１から出力されたアナログのＲＧＢ信号を受け付け、受け付けたアナログのＲＧＢ信号をデジタル信号に変換し、変換したデジタルのＲＧＢ信号をシェーディング補正部２１へ出力する。

シェーディング補正部２１は、Ａ／Ｄ変換部２０から出力されたデジタルのＲＧＢ信号を受け付け、受け付けたデジタルのＲＧＢ信号に対して、カラー画像入力装置１での照明系、結像系、撮像系などで生じた各種の歪みを除去するための補正処理を行う。

入力階調補正部２２は、シェーディング補正部２１から出力されたデジタルのＲＧＢ信号を受け付け、受け付けたＲＧＢ信号に対して、カラーバランスを整えるための処理を行うと共に、濃度信号など、カラー画像処理装置２で適用されている画像処理システムが扱い易い信号に変換する処理を行い、補正したデジタルのＲＧＢ信号を領域分離処理部２３へ出力する。

領域分離処理部２３は、入力階調補正部２２から出力されたデジタルのＲＧＢ信号を受け付け、受け付けたデジタルのＲＧＢ信号に基づいて、受け付けた原稿画像中の各画素が、文字領域、網点領域、写真領域の何れかに分離する。領域分離処理部２３は、分離結果に基づいて、各画素が属している領域を示す領域識別信号を生成して黒生成下色除去部２６、空間フィルタ処理部２７、階調再現処理部２９へ出力する。また、領域分離処理部２３は、受け付けたデジタルのＲＧＢ信号をそのまま、文書照合処理部２４へ出力する。

文書照合処理部２４は、領域分離処理部２３から出力されたデジタルのＲＧＢ信号を受け付け、受け付けたデジタルのＲＧＢ信号に基づいて、原稿画像の特徴を示す特徴点を算出する。文書照合処理部２４は、算出した特徴点から複数の特徴点を選択する。文書照合処理部２４は、選択した特徴点に基づいて、不変量とした特徴量（ハッシュ値）を算出する。文書照合処理部２４は、算出した特徴量に基づいて、原稿画像が相互に類似しているか否かを判断し、判断の結果に応じた判定信号を出力する。また、文書照合処理部２４は、算出した原稿画像の特徴量と、予め記憶してある基準画像の特徴を示す特徴量とに基づいて、両画像が相互に類似しているか否かを判断し、判断の結果に応じた判定信号を出力する。尚、かかる処理の手順は後述する。また、本実施の形態では、文書照合処理部２４は、領域分離処理部２３の次に設置する例を説明したが、これに限らず、入力階調補正部２２と並設してもよい。

色補正処理部２５は、文書照合処理部２４から出力されたデジタルのＲＧＢ信号を受け付け、受け付けたデジタルのＲＧＢ信号をＣＭＹの色空間の信号に変換するものであり、色再現を忠実にするため、不要吸収成分を含むＣＭＹ色材の分光特性に基づいた色濁りを除去する処理を行うものである。そして、色補正処理部２５は、補正したＣＭＹの信号を黒生成下色除去部２６へ出力する。

黒生成下色除去部２６は、色補正処理部２５から出力されたＣＭＹ信号を受け付け、受け付けたＣＭＹ信号に基づいて、Ｋ（黒）信号を生成すると共に、受け付けたＣＭＹ信号からＫ信号を差し引いて新たなＣＭＹ信号を生成し、生成したＣＭＹＫ信号を空間フィルタ処理部２７へ出力する。このように、ＣＭＹの３色信号は、ＣＭＹＫの４色信号に変換される。

空間フィルタ処理部２７は、黒生成下色除去部２６から出力されたＣＭＹＫ信号を受け付け、受け付けたＣＭＹＫ信号の画像データに対して、領域分離処理部２３から受け付けた領域識別信号に基づく、デジタルフィルタを介した空間フィルタ処理を行う。これにより、前記画像データの空間周波数特性は補正され、当該画像は、出力する際のぼやけ、粒状性劣化が軽減される。例えば、空間フィルタ処理部２７は、文字の再現性を高めるため、領域分離処理部２３で文字領域に分離された領域に、鮮鋭強調処理を施して高周波成分を強調する。また、空間フィルタ処理部２７は、領域分離処理部２３で網点領域に分離された領域に、入力網点成分を除去するためのローパス・フィルタ処理を施す。空間フィルタ処理部２７は、処理後のＣＭＹＫ信号を出力階調補正部２８へ出力する。

出力階調補正部２８は、空間フィルタ処理部２７から出力されたＣＭＹＫ信号を受け付け、受け付けたＣＭＹＫ信号に対して、カラー画像出力装置３の特性値である網点面積率に変換する出力階調補正処理を行う。出力階調補正部２８は、補正したＣＭＹＫ信号を階調再現処理部２９へ出力する。

階調再現処理部２９は、出力階調補正部２８から出力されたＣＭＹＫ信号を受け付け、受け付けたＣＭＹＫ信号に対して、領域分離処理部２３から受け付けた領域識別信号に基づいて、それぞれの領域に応じた階調を再現できるように階調再現処理（中間調生成）を行うものである。例えば、文字に分離された領域は、文字の再現性を高めるため、高周波成分の再現に適するように二値化処理又は多値化処理を行う。網点や写真に分離された領域については、階調再現性を重視したスクリーンでの２値化又は多値化処理を行う。

そして、カラー画像処理装置２は、階調再現処理部２９で処理されたＣＭＹＫ信号（画像データ）を記憶部（図示せず）に記憶しておき、画像形成をする際、記憶してあるＣＭＹＫ信号をカラー画像出力装置３へ出力する。以上の制御は、ＣＰＵ（図示せず）により行う。

次に、カラー画像処理装置２が備える文書照合処理部２４の構成について説明する。図２は文書照合処理部の構成を示すブロック図、図３は特徴点算出部の構成を示すブロック図である。

文書照合処理部２４は、特徴点算出部２４１、特徴量算出部２４２、照合用データ生成部２４３、投票処理部２４４、類似度判定処理部２４５、個人情報領域抽出部２４６、個人情報照合部２４７、入力インタフェース２４８、制御部２４９及びこれらと接続してあるメモリ２４０から構成されている。

特徴点算出部２４１は、受け付けた原稿に記載された文字列又は罫線などの連結部分を抽出し、抽出した連結部分の重心を特徴点として算出する。特徴点算出部２４１は、無彩化処理部２４１０、解像度変換部２４１１、ＭＴＦ補正処理部２４１２、二値化処理部２４１３及び重心算出部２４１４から構成されている。

無彩化処理部２４１０は、受け付けた画像データがカラー画像である場合、受け付けた画像を無彩化し、輝度信号又は明度信号に変換し、変換後の画像データを解像度変換部２４１１へ出力する。無彩化処理部２４１０は、下式により輝度信号を算出する。

Ｙ_j＝０．３０Ｒ_j＋０．５９Ｇ_j＋０．１１Ｂ_j
但し、Ｙ_j：各画素の輝度値, Ｒ_jＧ_jＢ_j：各画素の色成分

また、上式に限らず、ＲＧＢ信号をＣＩＥ１９７６Ｌ^*ａ^*ｂ^*信号に変換する方法であってもよい。

解像度変換部２４１１は、無彩化処理部２４１０から出力された画像データを受け付け、受け付けた画像を再度変倍し、変倍した画像のデータをＭＴＦ補正処理部２４１２へ出力する。尚、変倍は、受け付けた画像がカラー画像入力装置１で光学的に変倍された場合であっても所定の解像度になるように行われる。

ＭＴＦ補正処理部２４１２は、解像度変換部２４１１から出力された画像データを受け付け、受け付けた画像が有する空間周波数特性を補正し、補正した画像データを二値化処理部２４１３へ出力する。ＭＴＦ（Modulation Transfer function）は、ＣＣＤの受光面のアパーチャ開口度、転送効率、残像、物理的な操作による積分効果及び操作むらなどにより、劣化が生じる。そこで、ＭＴＦ補正処理部２４１２は、適切なフィルタ処理を画像に施すことにより、かかるぼやけなどを修復する。

図４は混合フィルタの一例を示す説明図である。フィルタ処理は、フィルタ係数を配した混合フィルタを用いて強調及び平滑化することにより行われる。

二値化処理部２４１３は、ＭＴＦ補正処理部２４１２から出力された画像データを受け付け、受け付けた画像の輝度値（輝度信号）又は明度値（明度信号）を所定の閾値と比較する。二値化処理部２４１３は、比較の結果に基づいて、受け付けた画像を二値化し、二値化した画像を重心算出部２４１４へ出力する。

重心算出部２４１４は、二値化処理部２４１３から出力された画像データを受け付け、受け付けた画像から連結成分の重心を算出し、算出した重心の座標値を含む各種情報を出力する。例えば、重心の算出は、受け付けた画像の画素毎の二値化情報に基づいて、各画素に対してラベリングを行い、同一のラベルが付された画素が連結している連結領域を特定し、特定した連結領域の重心を特徴点として算出することにより行われる。特徴点は、当該画像における座標値（ｘ座標、ｙ座標）により示される。重心算出部２４１４は、算出した特徴点の座標値を含む各種情報を特徴量算出部２４２へ出力する。尚、特徴点は、同一の算出方法で同一の画像を処理したとき、常に同一の結果が算出される。即ち、特徴点は、処理を実行する度に、その出現状態が異なるようなことはない。

特徴量算出部２４２は、特徴点算出部２４１から出力された特徴点の座標値を含む各種情報を受け付け、受け付けた各種情報に基づいて、回転、拡大又は縮小に対しての不変量である特徴量（ハッシュ値）を算出する。

具体的には、特徴量算出部２４２は、以下の方法を行うことにより、ハッシュ値を算出する。特徴量算出部２４２は、受け付けた特徴点の座標値に基づいて、特徴点を算出する。図５は連結領域の特徴点の一例を示す説明図、図６は文字列に対する特徴点の算出結果を示す説明図である。特徴点の算出は、１つの文字領域から注目すべき特徴点Ｐを算出するか、又は、文字列から注目すべき特徴点Ｐを算出する。また、特徴量算出部２４２は、注目すべき特徴点に対して、周辺の特徴点を数点算出する。更にまた、特徴量算出部２４２は、算出した周辺の特徴点から、不変量であるハッシュ値を算出する。

図７は特徴量の算出例を説明する概念図である。注目すべき特徴点に対する、周辺の特徴点を数点算出する方法は、図７（ａ）乃至（ｌ）に示す要領で行われる。

まず、第１のステップを図７（ａ）に示す。算出した複数の特徴点のうち、最左端の特徴点を注目特徴点として設定する（図中、二重丸で示す）。次に、注目特徴点の近傍にある４点の特徴点を周辺特徴点として設定する（図中、白丸で示す）。その他の特徴点は使用しない（図中、点線丸で示す）。次に、４点の周辺特徴点のうち、３点の周辺特徴点を選出し、選出した周辺特徴点相互の距離を夫々、Ａ１１、Ｂ１１と設定する。設定した距離の比、即ち、Ｈ₁₁＝Ａ１１／Ｂ１１を算出する。

第２のステップを図７（ｂ）に示す。４点の周辺特徴点のうち、３点の周辺特徴点を再選出する。再選定した周辺特徴点相互の距離を夫々、Ａ１２、Ｂ１２と設定する。設定した距離の比、即ち、Ｈ₁₂＝Ａ１２／Ｂ１２を算出する。

第３のステップを図７（ｃ）に示す。４点の周辺特徴点のうち、３点の周辺特徴点を再々選出する。再々選定した周辺特徴点相互の距離を夫々、Ａ１３、Ｂ１３と設定する。設定した距離の比、即ち、Ｈ₁₃＝Ａ１３／Ｂ１３を算出する。

特徴点の算出には、注目特徴点に対する周辺特徴点の選出方法、周辺特徴点からの３点の選出方法、３点間距離の設定方法が厳格に規定してある算出方法（アルゴリズム）が適用される。従って、受け付けた原稿が回転して各特徴点の読取り座標が変動した場合でも、特徴点の分布が同一であれば、Ｈ₁₁、Ｈ₁₂、Ｈ₁₃の算出手順及び算出した値も同一である。即ち、Ｈ₁₁、Ｈ₁₂、Ｈ₁₃は、不変量になる。

また、図７（ｄ）乃至（ｆ）に示すとおり、算出した複数の特徴点のうち、最左端から２番目の特徴点を注目特徴点に再設定し、同様のアルゴリズムにより、Ｈ₂₁、Ｈ₂₂、Ｈ₂₃を算出する。

また、図７（ｇ）乃至（ｉ）に示すとおり、算出した複数の特徴点のうち、最左端から３番目の特徴点を注目特徴点に再設定し、同様のアルゴリズムにより、Ｈ₃₁、Ｈ₃₂、Ｈ₃₃を算出する。

更にまた、図７（ｊ）乃至（ｌ）に示すとおり、算出した複数の特徴点のうち、最左端から４番目の特徴点を注目特徴点に再設定し、同様のアルゴリズムにより、Ｈ₄₁、Ｈ₄₂、Ｈ₄₃を算出する。

以降、全ての特徴点を注目特徴点に設定するまで、同様のアルゴリズムにより、不変量Ｈ_u1乃至Ｈ_u3を順次算出する。

不変量Ｈ_u1乃至Ｈ_u3からハッシュ値Ｈ_uを算出する方法は、以下のとおりである。具体的には、算出した不変量Ｈ_u1乃至Ｈ_u3に基づく下式により、ハッシュ値Ｈ_uを算出し、算出したハッシュ値Ｈ_uを特徴量とする。

Ｈ_u＝（Ｈ_u1×１０²＋Ｈ_u2×１０¹＋Ｈ_u3×１０⁰）ｍｏｄＤ
但し、ｕ：各特徴点の通し番号（ｕ＝１、２、３、…）
Ｄ：ハッシュ値の取りうる範囲を決定する為の係数（Ｄ＝１以上の整数）
ｍｏｄ＝右辺第１項目の演算結果をＤで除した際の余りを算出する演算子

上式で算出したハッシュ値Ｈ_uは、不変量Ｈ_u1乃至Ｈ_u3から算出される値であるから不変である。従って、各特徴点と該特徴点に対応するハッシュ値Ｈ_uとは、一対の関係をなす。また、係数Ｄは、ハッシュ値Ｈ_uの余り値を取りうる値を決定する係数である。例えば、Ｄ＝１００，０００と設定した場合、ハッシュ値Ｈ_uは、０乃至９９，９９９の１００，０００通りの値を取りうることになる。従って、係数Ｄの値を大きくすることで、後述するハッシュテーブル生成する場合であって、複数の原稿画像を文書照合用データとして登録するとき、各文書の特徴量の特性を照合用データに反映させ易くできる。但し、テーブルのデータ容量は増大する。

尚、本実施の形態では、ハッシュ値Ｈ_uを算出する方法として、上式を用いた例を説明したが、これに限らず、ハッシュ値算出関数を用いた式を用いてもよい。

特徴量算出部２４２は、算出したハッシュ値Ｈ_uを含む各種情報を出力する。ここで、制御部２４９は、操作パネル４が受け付けた選択指示を入力インタフェース２４８を介して受け付け、受け付けた選択指示に応じて、特徴量算出部２４２に以下の処理をさせる。

選択指示が、基準画像の作成及び記憶（以下「登録処理」という）の場合、特徴量算出部２４２は、受け付けた原稿画像に基づいて、算出したハッシュ値Ｈ_uを含む各種情報を照合用データ生成部２４３へ出力する。受け付けた原稿画像は、基準画像として扱われ、原稿画像を照合する際に用いられる各種照合用データが生成され、メモリ２４０に記憶される。尚、本実施の形態では、基準画像として受け付けた原稿を「テンプレート原稿」と示す。

一方、選択指示が、メモリ２４０に記憶してある基準画像との類似度判定（以下「文書照合判定」という）の場合、特徴量算出部２４２は、受け付けた原稿画像に基づいて、算出したハッシュ値Ｈ_uを含む各種情報を投票処理部２４４へ出力する。受け付けた原稿画像は、基準画像との類似度判定が行われ、後述する個人情報領域が抽出され、メモリ２４０に記憶される。尚、本実施の形態では、文書照合判定の際に受け付けた原稿を「印字原稿」と示す。また、本実施の形態では、印字原稿の特徴点と区別すべく、テンプレート原稿の特徴点をｆ_uを示して説明する。

照合用データ生成部２４３は、特徴量算出部２４２が、受け付けたテンプレート原稿に基づいて、算出したハッシュ値Ｈ_uを含む各種情報を受け付け、受け付けた各種情報に基づいて、文書照合に用いる各種データを生成し、生成した各種データをメモリ２４０に出力する。生成する各種データは、例えば、ハッシュテーブル、テンプレート原稿の特徴点座標テーブル、個人情報領域座標テーブルが該当する。ここで、本実施の形態で示す「個人情報領域」は、本発明の個人情報を示す対象画像が位置する領域を意味する。

また、テンプレート原稿は、複数の種類が存在する。テンプレート原稿に係る、特徴量及び個人情報領域の位置情報などの各種データは、テンプレート原稿毎にメモリ２４０に記憶される。従って、テンプレート原稿には、インデックスＩＤ_kが付与される。但し、ｋは、登録する原稿に付する通し番号であり、ｋ＝１、２、３、…、ｎである。例えば、旅券、運転免許証、戸籍抄本、…の順で画像を受け付けたとき、受け付けた順に、旅券：ＩＤ₁、運転免許証：ＩＤ₂、戸籍抄本：ＩＤ₃、…のように、インデックスが付与される。

図８はハッシュテーブルの一例を示す説明図である。照合用データ生成部２４３が生成するハッシュテーブルは、テンプレート原稿の特徴点ｆ_uに対するハッシュ値Ｈ_uを格納するフィールドと、それに対応するテンプレート原稿を表すインデックスＩＤ_kを格納するフィールドを有するレコードが列方向に追加されるように形成してある。照合用データ生成部２３４は、ハッシュテーブルを以下の手順で生成する。

初期状態のハッシュテーブルのフィールドは、Ｎｕｌｌである。格納処理後のハッシュテーブルは、テンプレート画像から算出された特徴点の点数に応じた、レコードが生成される。照合用データ生成部２３４は、格納すべきハッシュ値Ｈ_uを左フィールドに格納し、格納したフィールドに対応する右フィールドにインデックスＩＤ_kを格納するように生成する（図８（ａ）参照）。例えば、インデックスＩＤ₁のテンプレート画像のハッシュ値Ｈ_uは、図８（ａ）に示すように、ハッシュテーブルに格納される。

続いて、インデックスＩＤ₂のテンプレート画像のハッシュ値Ｈ_uを格納する場合、照合用データ生成部２３４は、格納すべきハッシュ値Ｈ_uが、ハッシュテーブルの左フィールドに格納してある値と一致するか否かを夫々判定し、一致すると判定したとき、該フィールドに対応する右フィールドにインデックスＩＤ₂を追記する。例えば、インデックスＩＤ₂のテンプレート画像のハッシュ値Ｈ_uは、Ｈ₃及びＨ₆の値と一致するとき、図８（ｂ）に示すように、ハッシュテーブルに格納される。

続いて、インデックスＩＤ₃のテンプレート画像のハッシュ値Ｈ_uを格納する場合、照合用データ生成部２３４は、格納すべきハッシュ値Ｈ_uが、ハッシュテーブルの左フィールドに格納してある値と一致するか否かを夫々判定し、一致すると判定したとき、該フィールドに対応する右フィールドにインデックスＩＤ₃を追記する。例えば、インデックスＩＤ₃のテンプレート画像のハッシュ値Ｈ_uは、Ｈ₂及びＨ₆の値と一致するとき、図８（ｃ）に示すように、ハッシュテーブルに格納される。

尚、本実施の形態では、ハッシュテーブルのレコードは、テンプレート原稿の特徴点ｆ_uに対するハッシュ値Ｈ_u毎に生成される例を説明したが、これに限らず、ハッシュ値Ｈ_uが同値のレコードが併合されてもよい。図９は他の実施例に係るハッシュテーブルの一例を示す説明図である。例えば、ハッシュ値Ｈ₁とハッシュ値Ｈ₅とが同値である場合、該当するレコードがされ、併合されたレコードに右フィールドには、インデックスが「ＩＤ₁，ＩＤ₁」のように二重登録される。また、これを纏めて、「ＩＤ₁」というようにしてもよい。

図１０は、特徴点座標テーブルの一例を示す説明図である。照合用データ生成部２４３が生成するテンプレート原稿の特徴点座標テーブルは、行方向にレコードが形成され、列方向に特徴点座標フィールドが形成されている。レコードは、特徴点ｆ_u毎に形成されている。特徴点座標フィールドは、インデックスＩＤ_k毎に形成されている。特徴点座標フィールドには、座標値（ＦＸ_ku，ＦＹ_ku）が格納される。

図１１はテンプレート原稿の画像の一例を示す説明図、図１２は個人情報領域座標テーブルの一例を示す説明図である。照合用データ生成部２４３が生成する個人情報領域座標テーブルは、テンプレート原稿に記載してある個人情報領域の座標値を格納してある。また、テンプレート原稿の画像は、例えば、日付、氏名、住所、電話番号及び記入事項などの欄が個人情報領域として記載されている書面の画像である（図１１（ａ）参照）。照合すべき個人情報領域の選定は、操作パネル４で受け付けた領域指定を入力インタフェース２４８を介して受け付け、受け付けた領域指定に応じて行われる。本実施の形態では、日付、氏名、住所及び電話番号の欄を選定した一例を説明する。

照合用データ生成部２４３は、選定した個人情報領域の矩形領域左上端を開始点、右下端を終了点と定義する（図１１（ｂ）参照）。照合用データ生成部２４３は、定義した開始点及び終了点の座標値を個人情報領域テーブルに格納する。座標値は、テンプレート原稿の画像の左上端を原点（０，０）とし、右方向及び下方向に大きくなる。尚、本実施の形態で示す、個人情報領域の画像は、本発明の個人情報を示す対象画像に該当し、個人情報領域の座標値は、本発明の個人情報を示す対象画像が位置する位置情報に該当する。

個人情報座標テーブルは、行方向にレコードが形成され、列方向にインデックス、座標値、個人情報領域名称のフィールドが形成されている。レコードは、インデックスＩＤ_k毎に形成されている。インデックスのフィールドには、テンプレート原稿のインデックスＩＤ_kが格納される。座標値のフィールドには、選定した全ての個人情報領域の開始点及び終了点の座標値が格納される。個人情報領域名称のフィールドには、選定した個人情報領域の名称が格納される。

尚、本実施の形態では、照合用データ生成部２４３が生成する各種データとして、ハッシュテーブル、テンプレート原稿の特徴点座標テーブル及び個人情報領域座標テーブルを生成する一例を説明したが、これに限らず、その他の照合用データを生成するようにしてもよい。

投票処理部２４４は、特徴量算出部２４２から出力されたハッシュ値Ｈ_uを含む各種情報を受け付け、受け付けたハッシュ値Ｈ_uに基づいて、ハッシュテーブルに格納してあるインデックスＩＤ_kのテンプレート原稿に対して投票を行う。図１３は、得票数分布データの一例を示す説明図である。受け付けた印字原稿とテンプレート原稿との照合を行う場合、投票処理部２４４は、例えば、受け付けた印字原稿から最初に算出した特徴点ｐ₁のハッシュ値Ｈ₁が、ハッシュテーブルに格納してあるハッシュ値Ｈ₃と一致するときは、ハッシュ値Ｈ₃のレコードの右フィールドに「ＩＤ₁、ＩＤ₂」が格納してあるので、ＩＤ₁及びＩＤ₂に夫々１票を投票する。以降、投票処理部２４４は、受け付けた印字原稿から算出した全ての特徴点ｐ_uのハッシュ値Ｈ_uについて、同様の投票を順次行う。投票処理部２４４は、インデックスＩＤ_kのテンプレート原稿毎の得票数分布データを生成する。投票処理部２４４は、生成した得票数分布データをメモリ２４０へ出力する。メモリ２４０は得票数分布データを受け付けて記憶しておく。

投票処理部２４４は、得票数分布データの生成と共に、印字データの特徴点ｐ_uが、どのテンプレート原稿のどの特徴点に投票したのかを記憶しておく。具体的には、投票処理部２４４は、特徴点座標テーブルとの照合処理を行い、その結果を照合マトリックスとして記憶することにより行う。図１４は照合マトリックスの一例を示す説明図である。照合マトリックスは、行方向にレコードが形成され、列方向にインデックスＩＤ_k毎のフィールドが形成されている。レコードは、テンプレート原稿の特徴点ｆ_u毎に形成されている。照合マトリックスは、メモリ２４０に格納されている。

投票処理部２４４は、例えば、受け付けた印字原稿から最初に算出した特徴点ｐ₁のハッシュ値Ｈ₁が、ハッシュテーブルに格納してあるハッシュ値Ｈ₃と一致するときは、特徴点座標テーブルに基づいて、特徴点ｐ₁の座標値と、ＩＤ₁の各特徴点ｆ_uの座標値（ＦＸ_1u，ＦＹ_1u）及びＩＤ₂の各特徴点Ｆ_uの座標値（ＦＸ_2u，ＦＹ_2u）との比較を行う。投票処理部２４４は、例えば、比較の結果、ＩＤ₂の特徴点ｆ₁に該当すると判断したとき、照合マトリックスの該当するフィールドにｐ₁を格納する。以降、投票処理部２４４は、同様の処理を繰り返す。

類似度判定処理部２４５は、投票処理部２４４が生成した得票数分布データに基づいて、得票数が最大となるインデックスＩＤ_kのテンプレート原稿及びその得票数を選出する。類似度判定処理部２４５は、選出した得票数とメモリ２４０に記憶してある所定の閾値（図示せず）とを比較し、比較の結果に基づいて類似度を算出する。または、類似度判定処理部２４５は、選出した得票数をそのテンプレート原稿に投票された最大得票数で除算して正規化し、正規化した数とメモリ２４０に記憶してある所定の閾値（図示せず）とを比較して比較の結果に基づいて類似度を算出する。類似度判定処理部２４５は、算出した類似度を個人情報領域抽出部２４６又は個人情報照合部２４７へ出力する。

所定の閾値は、例えば、０．８以上にしておく。但し、受け付けた原稿に手書き部分がある場合、投票数が最大投票数を超えることがあるため、所定の閾値は１を超えることがある。また、最大得票数は、特徴点の数×注目特徴点により求められるハッシュ値Ｈ_uの数に該当する。

尚、ハッシュ値Ｈ_uは、注目特徴点から１つの値として算出されるが（図８参照）、これに限らず、複数の値を算出するようにしてもよい。この場合、注目特注点の周辺にある６つの周辺特徴点を算出し、算出した６つの周辺特徴点のうち、５つの周辺特徴点を再算出する。再算出の組み合わせは６通りになる。再算出した５つの周辺特徴点から更に３点の周辺特徴点を再々算出し、再々算出した３点の周辺特徴点に基づいて、ハッシュ値を算出する。ハッシュ値の算出方法は、前記のとおりである。

個人情報領域抽出部２４６は、類似度判定処理部２４５から出力された類似度を受け付ける。個人情報領域抽出部２４６は、受け付けた類似度の結果、受け付けた印字原稿がテンプレート原稿のいずれかに類似していると判定したとき、メモリ２４０に記憶してある個人情報領域座標テーブルに基づいて、座標値を特定する。また、個人情報領域抽出部２４６は、特定した座標値に基づいて、受け付けた印字原稿に記載してある個人情報領域の画像（対象画像）データを抽出する。

具体的には、まず、個人情報領域抽出部２４６は、受け付けた印字原稿の画像の座標系をテンプレート原稿の画像の座標系に変換することで、位置合わせを行う。図１５は個人情報領域抽出部が行う位置合せ演算を説明する概念図である。個人情報領域抽出部２４６は、テンプレート原稿の特徴点座標テーブルに格納してある座標値と、受け付けた印字原稿の特徴点ｐ_uの座標点との対応をとる。例えば、類似度判定処理部２４５が、受け付けた印字原稿とインデックスＩＤ₁のテンプレート原稿とが類似すると判定したとき、個人情報領域抽出部２４６は、特徴点座標テーブルのインデックスＩＤ₁の列を参照して、印字原稿の特徴点ｐ₃、ｐ₄、ｐ₆及びｐ₇の座標値と、テンプレート原稿の特徴点ｆ₃、ｆ₄、ｆ₆及びｆ₇の座標値とを用いて位置合わせの演算を行う。個人情報領域抽出部２４６は、印字原稿の特徴点ｐ₃、ｐ₄、ｐ₆及びｐ₇の座標値、及び、テンプレート原稿の特徴点ｆ₃、ｆ₄、ｆ₆及びｆ₇の座標値を下表にとおり設定する。

また、個人情報領域抽出部２４６は、テンプレート原稿の特徴点座標についての行列をＰ_inとし、印字原稿の特徴点座標についての行列をＰ_outとし、変換係数をＡとして、下式により変換係数を算出する。

その結果、Ｐ_out＝Ｐ_in×Ａの関係が成立する。ここで、個人情報領域抽出部２４６は、Ｐ_inが正方行列ではないので、両辺にＰ_inの転置行列Ｐ_in ^Tを乗算し、更にＰ_in ^TＰ_inの逆行列を乗算する。具体的には、下式のとおりである。

個人情報領域抽出部２４６は、算出した変換係数に基づいて、印字原稿の画像の座標位置を算出する。個人情報領域抽出部２４６は、算出した変換係数に基づいて、テンプレート原稿上の任意の座標（ｘ，ｙ）を、印字原稿上の座標（ｘ’，ｙ’）に変換する。その結果、（ｘ’，ｙ’，１）＝（ｘ，ｙ，１）×Ａの関係が成立する。

個人情報領域抽出部２４６は、選定した座標値全てについて座標変換を行う。例えば、受け付けた印字原稿がインデックスＩＤ₁のテンプレート原稿に類似するとき、インデックスＩＤ₁のテンプレート原稿には日付欄、氏名欄、住所欄、電話番号欄についての座標値が格納してあるから（図１２参照）、個人情報領域抽出部２４６は、該座標値についての座標変換を行い、印字原稿上での矩形領域の開始点及び終了点の座標値を算出した上で、矩形領域内の画像データを個人情報として読み取る。

次に、個人情報領域抽出部２４６は、受け付けた印字原稿画像とテンプレート原稿画像との差分を、個人情報領域毎に算出する。このとき、個人情報領域抽出部２４６は、原稿画像を受け付けた際の画素値の再現性などを考慮し、例えば、画像データが２５６階調である場合、算出した画素値の差が５乃至１０程度であるならば、同一として処理する。

次に、個人情報領域抽出部２４６は、算出した差分（同一であると判定した画素数）の比率を算出する。個人情報領域抽出部２４６は、算出した比率が所定の閾値（例えば、０．９９）未満のとき、該領域には個人情報が記載されていると判断し、該領域の画像データを個人情報の照合用データとして抽出してメモリ２４０へ出力する。メモリ２４０は、個人情報領域の画像データを受け付けて記憶する。

以上、個人情報領域抽出部２４６が前記処理を実行することにより、原稿画像を受け付けた際、受け付けた原稿画像に回転スキューが生じた場合でも、個人情報領域を確実に抽出することができる。また、本発明の方法によれば、特徴点算出及び特徴量算出において、原稿に回転スキューが生じた場合でも、同一の結果を得られ、印字原稿とテンプレート原稿との一致判定及び個人情報領域の抽出についての精度を低下しないようにできる。

尚、投票処理部２４４、類似度判定処理部２４５及び個人情報領域抽出部２４６は、印字原稿画像の個人情報領域のみならず、後述する確認用原稿画像の不変領域及び個人情報領域に対しても同様の処理を実行する。

個人情報照合部２４７は、メモリ２４０に格納してある個人情報領域の画像データを複数受け付け、受け付けた複数の個人情報領域の画像データが相互に類似しているか否かを判定する。複数の個人情報領域の画像データは、同種原稿の画像を複数受け付け、受け付けた画像から抽出される。例えば、個人情報照合部２４７は、印字原稿として旅券の画像データを受け付け、確認用原稿として運転免許証の画像を受け付け、受け付けた原稿の画像から氏名欄などの個人情報領域の画像データを夫々抽出する。そして、個人情報照合部２４７は、抽出した個人情報領域の一致点を抽出し、抽出した一致点の点数が所定の閾値を超える場合、個人情報の画像データは相互に類似すると判定する。詳細は後述する。

尚、個人情報照合部２４７は、文字情報変換機能を備える。氏名欄などの個人情報領域の画像データは、手書き文字が記載された欄、ワープロ文字が記載された欄などが混在しており、同一の書体に基づく画像データとは限らない。そこで、個人情報照合部２４７は、ＯＣＲ（Optical Character Reader）などの外部ユニット（図示せず）により、個人情報領域の画像データを文字情報に変換し、変換した文字情報に基づいて、個人情報領域の画像データの類似性を判定する。

また、個人情報照合部２４７は、個人情報領域の記載フォーマット変換機能も備える。例えば、旅券及び運転免許証の画像から抽出した生年月日欄の画像データの類似を判定する場合であって、旅券の生年月日欄には「２１ＦＥＢ１９７２」のように記載され、運転免許証の生年月日欄には「昭和４７年２月２１日」のように記載されているときは、ＯＣＲなどで文字情報変換しても、正確な判定ができない。そこで、個人情報照合部２４７は、旅券の生年月日欄の「２１ＦＥＢ１９７２」のデータ及び運転免許証の生年月日欄の「昭和４７年２月２１日」のデータを夫々、「１９７２／０２／２１」のデータに変換する。「１９７２／０２／２１」のデータは、予め設定されメモリ２４０に記憶してある記載フォーマット「ＹＹＹＹ／ＭＭ／ＤＤ」（但し、ＹＹＹＹは西暦、ＭＭは月、ＤＤは日を示す。）を用いて変換される。

具体的には、インデックスＩＤ₁のテンプレート原稿が旅券、インデックスＩＤ₂のテンプレート原稿が運転免許証というように、書面の種類を示す種類情報を、入力インタフェース２４８を介して操作パネル４から受け付ける。そして、テンプレート原稿の登録処理の際、受け付けた種類情報も対応付けてメモリ２４０に記憶しておく。更に、種類情報には、所定の記載フォーマットを対応付けて記憶しておく。例えば、個人情報照合部２４７は、類似度判定処理部２４５から受け付けた類似度に基づいて、受け付けた印字原稿がインデックスＩＤ₁のテンプレート原稿と類似していると判定したとき、メモリ２４０に格納してある個人情報領域の画像データを受け付けると共に、種類情報及び記載フォーマットを読み出し、読み出した記載フォーマットに基づいて、個人情報領域の画像データを文字情報に変換する。尚、本実施の形態では、個人情報照合部２４７が個人情報領域の記載フォーマット変換機能を備える例を説明したが、これに限らず、制御部２４９が備えてもよい。

入力インタフェース２４８は、ユーザの入力情報を受け付ける操作パネル４に接続してあり、操作パネル４が受け付けたユーザの入力情報を受け付ける。操作パネル４は、例えば、キーボード、マウス又はタッチパネルなどが該当する。

制御部２４９は、特徴点算出部２４１、特徴量算出部２４２、照合用データ生成部２４３、投票処理部２４４、類似度判定処理部２４５、個人情報領域抽出部２４６及び個人情報照合部２４７間の動作を制御する。また、制御部２４９は、照合用データ生成部２４３、投票処理部２４４、類似度判定処理部２４５、個人情報領域抽出部２４６及び個人情報照合部２４７と、メモリ２４０とのアクセスを制御する。

メモリ２４０は、ＤＲＡＭ、ＳＲＡＭ、マスクＲＯＭ又はフラッシュＲＯＭなどで構成されている。メモリ２４０は、照合用データ生成部２４３、投票処理部２４４、類似度判定処理部２４５、個人情報領域抽出部２４６及び個人情報照合部２４７と接続しており、各部での処理で発生したデータを記憶し、又は、記憶してあるデータを各部に出力する。メモリ２４０は、制御部２４９により制御される。

次に、カラー画像処理装置２が実行する画像処理の手順について説明する。図１６はカラー画像処理装置における画像処理の手順を説明するフローチャートである。

カラー画像入力装置１は、原稿画像のデータを読み取り、読み取った原稿画像のデータをカラー画像処理装置２へ出力する。カラー画像処理装置２は、カラー画像入力装置１から出力された原稿画像を受け付ける（Ｓ１０１）。また、カラー画像処理装置２は、操作パネル４を介して受け付けた選択指示に応じて、文書照合判定を実行するか否かを判断し（Ｓ１０２）、文書照合判定を実行すると判断した場合（Ｓ１０２でＹＥＳ）、登録処理を実行する（Ｓ１０３）。該処理において、受け付けた原稿画像はテンプレート原稿として扱われる。カラー画像処理装置２は、登録処理が完了する旨の示す登録完了処理信号を出力したか否かを判断し（Ｓ１０４）、登録完了信号を出力していないと判断した場合（Ｓ１０４でＮＯ）、登録処理を続行する。

一方、カラー画像処理装置２は、登録完了信号を出力したと判断した場合（Ｓ１０４でＹＥＳ）、受け付けた原稿画像をテンプレート原稿として各種データをメモリ２４０に格納し、処理を終了する。

カラー画像処理装置２は、ステップＳ１０２において、文書照合判定を実行しないと判断した場合（Ｓ１０２でＮＯ）、文書照合判定処理を実行する（Ｓ１０５）。当該処理において、受け付けた原稿画像は印字原稿として扱われる。カラー画像処理装置２は、印字原稿のカラー画像出力装置３への出力を許可する許可信号を出力したか否かを判断し（Ｓ１０６）、許可信号を出力したと判断した場合（Ｓ１０６でＹＥＳ）、印字原稿をカラー画像出力装置３へ出力する旨の判定信号を出力する（Ｓ１１１）。カラー画像処理装置２は、印字原稿をカラー画像出力装置３へ出力した後、該処理においてメモリ２４０に記憶したデータを消去し（Ｓ１１２）、処理を終了する。

カラー画像処理装置２は、ステップＳ１０６で許可信号を出力していないと判断した場合（Ｓ１０６でＮＯ）、更に、テンプレート原稿との照合を通過した旨の照合通過信号を出力したか否かを判断し（Ｓ１０７）、照合通過信号を出力していないと判断した場合（Ｓ１０７でＮＯ）、照合を通過できない旨の照合不通過通知を操作パネル４へ出力する（Ｓ１０８）。カラー画像処理装置２は、照合不通過通知を出力した後、当該処理においてメモリ２４０に記憶したデータを消去し（Ｓ１１２）、処理を終了する。

カラー画像処理装置２は、ステップＳ１０７で照合通過信号を出力したと判断した場合（Ｓ１０７でＹＥＳ）、印字原稿と確認用原稿との個人情報領域間の一致点を抽出し（Ｓ１０９）、一致点が所定の閾値以上であるか否かを判断する（Ｓ１１０）。カラー画像処理装置２は、一致点が所定の閾値未満であると判断した場合（Ｓ１１０でＮＯ）、照合を通過できない旨の照合不通過通知を操作パネル４へ出力し（Ｓ１０８）、当該処理においてメモリ２４０に記憶したデータを消去し（Ｓ１１２）、処理を終了する。

一方、カラー画像処理装置２は、ステップＳ１１０で、一致点が所定の閾値以上であると判断した場合（Ｓ１１０でＹＥＳ）、印字原稿をカラー画像出力装置３へ出力する旨の判定信号を出力する（Ｓ１１１）。カラー画像処理装置２は、印字原稿をカラー画像出力装置３へ出力した後、当該処理においてメモリ２４０に記憶したデータを消去し（Ｓ１１２）、処理を終了する。尚、カラー画像出力装置３へ出力するデータは、印字原稿に限らず、確認用原稿であってもよい。

次に、カラー画像処理装置２が実行する登録処理の手順について説明する。図１７はカラー画像処理装置における登録処理の手順を説明するフローチャート、図１８は、テンプレート原稿の対象の一例を示す図である。テンプレート原稿の対象としては、旅券、運転免許証、国民健康保険証、年金手帳、戸籍抄謄本、住民票など、統一されたフォーマットで、かつ、被発給者にかかわらず定型の表記箇所が存在するものが候補として挙げられる。以下、日本国旅券の身分証明事項欄をデジタルカラー複合機にテンプレート原稿として登録する処理の手順を一例に挙げる。

旅券の身分証明事項欄においては、外務大臣による在外諸官への要請文である領域Ａ₁、定型文の領域Ａ₂のように、被発給者にかかわらず不変である不変表記欄と、住所の領域Ａ₃、生年月日の領域₄及び自署の領域₅のように、被発給者毎に文書内容が異なる変動表記欄（個人情報領域となり得る）とが存在しており、各項目の記載位置（領域）は定まっている。

カラー画像処理装置２は、操作パネル４を介して領域指定を受け付け（Ｓ２０１）、受け付けた領域指定に応じて、登録すべき領域を決定する（Ｓ２０２）。該ステップにより、旅券の身分証明事項欄のうち、不変領域と、変動領域とに区別して登録処理を実行できる。

カラー画像処理装置２は、決定した領域の矩形領域左上端（開始点）及び同右下端（終了点）の座標値を算出し（Ｓ２０３）、算出した座標値を位置情報としてメモリ２４０に記憶する。変動領域の座標値を算出した場合、算出した座標値を、個人情報領域の位置情報として個人情報領域座標テーブルに格納する。一方、不変領域の座標値を算出した場合、次ステップに進む。

カラー画像処理装置２は、算出した座標値に基づいて、特徴点を算出し（Ｓ２０４）、算出した特徴点に基づいて、特徴量を算出する（Ｓ２０５）。カラー画像処理装置２は、算出した座標値にインデックスを付与した照合用データを生成して（Ｓ２０６）、特徴点座標テーブルに格納する。また、算出した特徴量にインデックスを付与した照合用データを生成して（Ｓ２０６）、ハッシュテーブルに格納する。カラー画像処理装置２は、操作パネル４から受け付けた種類情報を、インデックスを付与した照合用データに更に付与する（Ｓ２０７）。カラー画像処理装置２は、テンプレート原稿の全領域に対して処理を実行したか否かを判断し（Ｓ２０８）、全領域に対して処理を実行していないと判断した場合（Ｓ２０８でＮＯ）、ステップＳ２０３に戻って座標値を算出する。

一方、カラー画像処理装置２は、全領域に対して処理を実行していると判断した場合（Ｓ２０８でＹＥＳ）、登録処理の完了を示す登録完了信号を出力し（Ｓ２０９）、登録処理を終了する。

次に、カラー画像処理装置２が実行する文書照合判定処理の手順について説明する。図１９はカラー画像処理装置における文書照合判定処理の手順を説明するフローチャートである。

カラー画像入力装置１は、印字原稿のデータを読み取り、読み取った印字原稿のデータをカラー画像処理装置２へ出力する。カラー画像処理装置２は、カラー画像入力装置１から出力された印字原稿を受け付け、受け付けた印字原稿の特徴量を算出する（Ｓ３０１）。印字原稿から算出する特徴量は、不変領域及び変動領域を含む全領域の特徴量である。カラー画像処理装置２は、算出した特徴量に基づいて、ハッシュテーブルに格納してあるテンプレート原稿への投票を行い（Ｓ３０２）、得票数分布データを生成する。カラー画像処理装置２は、生成した得票数分布データに基づいて、類似度判定処理を行い、受け付けた印字原稿がテンプレート原稿と類似しているか否かを判定する（Ｓ３０３）。カラー画像処理装置２は、受け付けた印字原稿がテンプレート原稿と類似していないと判定した場合（Ｓ３０３でＮＯ）、印字原稿のカラー画像出力装置３への出力を許可する許可信号を出力し（Ｓ３０４）、文書照合判定処理を終了する。尚、カラー画像処理装置２は、個人情報を含む原稿である場合、テンプレート原稿として登録すべき旨の通知を操作パネル４へ出力するようにしてもよい。

一方、カラー画像処理装置２は、受け付けた印字原稿がテンプレート原稿と類似していると判定した（Ｓ３０３でＹＥＳ）、個人情報領域の抽出処理を実行し（Ｓ３０５）、印字原稿とは別に、確認用原稿画像及び種類情報を受け付ける（Ｓ３０６）。すなわち、確認用原稿画像は、印字原稿から抽出した個人情報がユーザ本人のものであるか否かを確認するために必要とされる。カラー画像処理装置２は、確認用原稿画像の入力を促す通知を操作パネル４を介して出力する。カラー画像入力装置１は、確認用原稿画像を受け付け、受け付けた確認用原稿画像をカラー画像処理装置２へ出力する。カラー画像処理装置２は、カラー画像入力装置２から出力された確認用原稿画像を受け付けると共に、該原稿画像の種類情報を操作パネルを介して受け付ける。尚、受け付けた確認用原稿画像の種類情報が、格納してあるテンプレート原稿の種類情報のいずれかと同一である場合、確認用原稿画像の受け付けを拒否する。

カラー画像処理装置２は、受け付けた確認用原稿画像から不変領域及び変動領域（個人情報領域）を抽出する（Ｓ３０７）。カラー画像処理装置２は、確認用原稿画像の種類情報を受け付けているから、確認用原稿画像とテンプレート原稿との照合は不変領域のみを対象とすればよい。カラー画像処理装置２は、抽出した不変領域及び個人情報領域内から、確認用原稿画像の特徴量を算出し（Ｓ３０８）、算出した特徴量に基づいて、ハッシュテーブルに格納してあるテンプレート原稿への投票を行い（Ｓ３０９）、得票数分布データを生成する。カラー画像処理装置２は、生成した得票数分布データに基づいて、類似度判定処理を行い、受け付けた確認用原稿画像がテンプレート原稿と類似しているか否かを判定する（Ｓ３１０）。カラー画像処理装置２は、確認用原稿画像がテンプレート原稿と類似していないと判定した場合（Ｓ３１０でＮＯ）、照合を通過できない旨の照合不通過通知を操作パネル４へ出力し（Ｓ３１１）、文書照合判定処理を終了する。

一方、カラー画像処理装置２は、確認用原稿画像がテンプレート原稿と類似していると判定した場合（Ｓ３１０でＹＥＳ）、テンプレート原稿との照合を通過した旨の照合通過信号を出力し（Ｓ３１２）、文書照合判定処理を終了する。カラー画像処理装置２は、確認用原稿画像とテンプレート原稿との照合において、不変領域のみを対象とするから、印字原稿の場合に比べ、高い精度で照合できる。その結果、確認用原稿画像とテンプレート原稿との照合においては、所定の閾値を、印字原稿の場合より高めに設定し、よりシビアな条件設定を行うことで確認用原稿画像の誤判定発生の抑止することができる。

次に、カラー画像処理装置２が実行する個人情報領域の抽出処理の手順について説明する。図２０はカラー画像処理装置における個人情報領域の抽出処理の手順を説明するフローチャートである。尚、図２０では、印字原稿の個人情報領域を抽出する処理手順の一例を図示しているが、確認用原稿画像の不変領域及び個人情報領域を抽出する際も同様の処理手順を行う。

カラー画像処理装置２は、受け付けた印字原稿の座標系をテンプレート原稿の座標系に変更し（Ｓ４０１）、受け付けた印字原稿画像とテンプレート原稿画像との差分を領域毎に算出する（Ｓ４０２）。カラー画像処理装置２は、領域毎に算出した差分の比率を算出し（Ｓ４０３）、算出した比率が所定の閾値未満であるか否かを判断する（Ｓ４０４）。カラー画像処理装置２は、算出した比率が所定の閾値以上であると判断した場合（Ｓ４０４でＮＯ）、全領域に対して判断したか否かを判定し（Ｓ４０６）、全領域に対して判断していないと判定した場合（Ｓ４０６でＮＯ）、ステップＳ４０２に戻り、領域毎に差分を算出する。

一方、カラー画像処理装置２は、全領域に対して判断したと判定した場合（Ｓ４０６でＹＥＳ）、個人情報領域の抽出処理を終了する。

また、カラー画像処理装置２は、ステップＳ４０４で算出した比率が所定の閾値未満であると判断した場合（Ｓ４０４でＹＥＳ）、該当する領域を個人情報領域として抽出し（Ｓ４０５）、全領域に対して判断したか否かを判定し（Ｓ４０６）、全領域に対して判断していないと判定した場合（Ｓ４０６でＮＯ）、ステップＳ４０２に戻り、領域毎に差分を算出する。

以上、本発明は、あらゆる書面に対して適用可能な「文書照合」の技術を応用した個人認証システムを採用することにより、既存の生体認証技術をベースとする個人認証システムでは必須となっていた、機器内部へのユーザの生体情報及び個人情報の常時保存の必要性を解消させた。本発明は、原稿面上の個人情報欄の座標情報のみを常時記憶しており、個人情報自体はユーザが印字原稿入力後、文書照合処理の指示した場合のみ、一時的に作成される。これにより、ユーザの生体情報の漏洩管理を行う必要がなく、安全性及び保守性に優れたセキュリティ機器を構築することができる。また、本発明は、生体認証のように、特定のユーザグループ内でしか効力を発揮できないセキュリティ機器に対して、不特定多数のユーザに対して等しく対応可能な公共性の非常に高いセキュリティ機器を構築することができる。

尚、前記実施の形態では、カラー画像処理装置２は、カラー画像入力装置１が印字原稿を受け付ける際、操作パネル４を介して種類情報を受け付けないようにして一例を説明したが、これに限らず、カラー画像入力装置１が印字原稿を受け付けると共に、種類情報、例えば、格納してあるテンプレート原稿のいずれかに該当するかの情報を操作パネル４を介して受け付けるようにしてもよい。その結果、カラー画像処理装置２は、全領域ではなく、不変領域のみを対象として、特徴量を算出し、照合を行うだけで、印字原稿とテンプレート原稿との類似度判定を実行することができるから、高い照合精度を確保することができる。その結果、カラー画像処理装置２は、原稿画像の受け付け段階で、偽造文書などの不正文書を判別して拒否することができる。

また、前記実施の形態では、画像形成装置１００を一例として説明したが、画像読取装置であってもよい。図２１は本発明に係る画像読取装置の構成を示すブロック図である。

図中２００は、画像読取装置であり、画像読取装置２００は、例えば、フラッドヘッドスキャナが該当する。画像読取装置２００は、カラー画像入力装置１、カラー画像処理装置２から構成されている。カラー画像処理装置２は、Ａ／Ｄ変換部２０、シェーディング補正部２１０及び文書照合処理部２４から構成されている。Ａ／Ｄ変換部２０は、カラー画像入力装置１から出力されたアナログのＲＧＢ信号を受け付け、受け付けたアナログのＲＧＢ信号をデジタル信号に変換し、変換したデジタルのＲＧＢ信号をシェーディング補正部２１０へ出力する。

シェーディング補正部２１０は、Ａ／Ｄ変換部２０から出力されたデジタルのＲＧＢ信号を受け付け、受け付けたデジタルのＲＧＢ信号に対して、カラー画像入力装置１での照明系、結像系、撮像系などで生じた各種の歪みを除去するための補正処理を行うとともに、ＲＧＢの反射率信号を濃度信号に変換する。

文書照合処理部２４は、シェーディング補正処理部２１０から出力されたデジタルのＲＧＢ信号を受け付け、受け付けたデジタルのＲＧＢ信号に基づいて、原稿画像の特徴を示す特徴点を算出する。文書照合処理部２４は、算出した特徴点から複数の特徴点を選択し、選択した特徴点に基づいて特徴量（ハッシュ値）を算出する。文書照合処理部２４は、算出した特徴量に基づいて、原稿画像が相互に類似しているか否かを判断し、判断の結果に応じた判定信号を出力する。また、文書照合処理部２４は、算出した原稿画像の特徴量と、予め記憶してある基準画像の特徴を示す特徴量とに基づいて、両画像が相互に類似しているか否かを判断し、判断の結果に応じた判定信号を出力する。

画像読取装置２００は、シェーディング補正処理がなされたＲＧＢ信号と文書照合処理の判定結果である判定信号が、コンピュータやプリンタに出力され、コンピュータあるいはプリンタは、上記判定信号に基づいて、上記ＲＧＢ信号（原稿画像）の出力制御を行う。

本発明はコンピュータに実行させるためのコンピュータプログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を記録したコンピュータでの読み取り可能な記録媒体に、文書照合を用いた個人認証処理の制御を行うコンピュータプログラムコードを記録することもできる。この結果、上記原稿登録処理、原稿分類処理、原稿画像の構成の検知処理の制御を行うコンピュータプログラムコードを記録した記録媒体を持ち運び自在に提供することができる。記録媒体としては、マイクロコンピュータで処理が行われるために図示しないメモリ、例えばＲＯＭのようなプログラムメディアであってもよく、図示しない外部記憶装置としてのプログラム読取装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。

いずれの場合においても、格納されているコンピュータプログラムコードはマイクロプロセッサがアクセスして実行させる構成であってもよいし、コンピュータプログラムコードを読み出し、読み出されたコンピュータプログラムコードは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、そのコンピュータプログラムコードが実行される方式であってもよい。この場合、ダウンロード用のコンピュータプログラムは予め本体装置に格納されているものとする。

ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスク並びにＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリを含めた固定的にコンピュータプログラムを担持する媒体であってもよい。

また、この場合、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからコンピュータプログラムコードをダウンロードするように流動的にコンピュータプログラムコードを担持する媒体であってもよい。なお、このように通信ネットワークからコンピュータプログラムコードをダウンロードする場合には、そのダウンロード用のコンピュータプログラムは予め本体装置に格納しておくか、あるいは別の記録媒体からインストールされるものであってもよい。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明に係る画像形成装置の構成を示すブロック図である。文書照合処理部の構成を示すブロック図である。図３は特徴点算出部の構成を示すブロック図である。混合フィルタの一例を示す説明図である。連結領域の特徴点の一例を示す説明図である。文字列に対する特徴点の算出結果を示す説明図である。特徴量の算出例を説明する概念図である。ハッシュテーブルの一例を示す説明図である。他の実施例に係るハッシュテーブルの一例を示す説明図である。特徴点座標テーブルの一例を示す説明図である。テンプレート原稿の画像の一例を示す説明図である。個人情報領域座標テーブルの一例を示す説明図である。得票数分布データの一例を示す説明図である。照合マトリックスの一例を示す説明図である。個人情報領域抽出部が行う位置合せ演算を説明する概念図である。カラー画像処理装置における画像処理の手順を説明するフローチャートである。カラー画像処理装置における登録処理の手順を説明するフローチャートである。テンプレート原稿の対象の一例を示す図である。カラー画像処理装置における文書照合判定処理の手順を説明するフローチャートである。カラー画像処理装置における個人情報領域の抽出処理の手順を説明するフローチャートである。本発明に係る画像読取装置の構成を示すブロック図である。

符号の説明

１カラー画像入力装置
２カラー画像処理装置
２４文書照合処理部
２４０メモリ
２４１特徴点算出部
２４２特徴量算出部
２４３照合用データ生成部
２４４投票処理部
２４５類似度判定処理部
２４６個人情報領域抽出部
２４７個人情報照合部
２４８入力インタフェース
２４９制御部
３カラー画像出力装置
１００画像形成装置
２００画像読取装置
４操作パネル

Claims

個人情報についての対象画像を含む画像を受け付け、受け付けた画像を出力する画像出力方法において、
前記対象画像を所定の位置に含む基準画像の特徴を示す特徴量及び前記対象画像の位置情報を予め記憶し、
画像を複数受け付けたとき、受け付けた画像の特徴を示す特徴量を夫々算出し、
算出した特徴量と記憶してある特徴量との関係に基づいて、受け付けた画像に対応する基準画像を決定し、
決定した基準画像の前記対象画像の位置情報に基づいて、受け付けた画像が含む対象画像を抽出し、
抽出した対象画像が相互に類似しているとき、受け付けた画像のいずれかを出力することを特徴とする画像出力方法。
個人情報についての対象画像を含む画像を受け付け、受け付けた画像を出力する画像処理装置において、
前記対象画像を所定の位置に含む基準画像の特徴を示す特徴量及び前記対象画像の位置情報を予め記憶してあるテーブルと、
画像を複数受け付けたとき、受け付けた画像の特徴を示す特徴量を夫々算出する算出手段と、
算出した特徴量と前記テーブルに記憶してある特徴量との関係に基づいて、受け付けた画像に対応する基準画像を決定する決定手段と、
決定した基準画像の前記対象画像の位置情報に基づいて、受け付けた画像が含む対象画像を抽出する抽出手段と、
抽出した対象画像が相互に類似しているか否かを判断する手段と
を備え、
抽出した対象画像が相互に類似していると判断したとき、受け付けた画像のいずれかを出力するようにしてあることを特徴とする画像処理装置。
前記算出手段は、受け付けた画像のうち、所定の部分画像の特徴を示す特徴量を夫々算出し、
前記決定手段は、算出した前記部分画像の前記特徴量と、前記テーブルに記憶してある特徴量との関係に基づいて、受け付けた画像に対応する基準画像を決定するようにしてあることを特徴とする請求項２に記載の画像処理装置。
前記算出手段、決定手段及び抽出手段が、受け付けた複数の画像のうち、先に受け付けた画像の特徴を示す特徴量を算出し、受け付けた画像に対応する基準画像を決定し、受け付けた画像が含む対象画像を抽出するように制御する制御手段を更に備えることを特徴とする請求項２又は３に記載の画像処理装置。
請求項２乃至４の何れか１つに記載の画像処理装置と、
該画像処理装置が出力した画像をシートに形成する画像形成手段と
を備えることを特徴とする画像形成装置。
請求項２乃至４の何れか１つに記載の画像処理装置と、
該画像処理装置が受け付けるべき画像を読み取り、読み取った画像を前記画像処理装置へ出力する画像読取手段と
を備えることを特徴とする画像読取装置。
コンピュータに、個人情報についての対象画像を含む画像を受け付け、受け付けた画像を出力させるコンピュータプログラムにおいて、
コンピュータに、前記対象画像を所定の位置に含む基準画像の特徴を示す特徴量及び前記対象画像の位置情報を記憶させるステップと、
コンピュータに、画像を複数受け付けたとき、受け付けた画像の特徴を示す特徴量を夫々算出させるステップと、
コンピュータに、算出した特徴量と記憶してある特徴量との関係に基づいて、受け付けた画像に対応する基準画像を決定させるステップと、
コンピュータに、決定した基準画像の前記対象画像の位置情報に基づいて、受け付けた画像が含む対象画像を抽出させるステップと、
コンピュータに、抽出した対象画像が相互に類似しているか否かを判断させるステップと、
コンピュータに、抽出した対象画像が相互に類似していると判断したとき、受け付けた画像のいずれかを出力させるステップと
を実行させることを特徴とするコンピュータプログラム。
請求項７に記載のコンピュータプログラムを記憶してあることを特徴とするコンピュータ読み取り可能な記録媒体。