本発明の一実施形態について説明する。なお、本実施形態では、本発明をデジタルカラー複写機に適用する場合の一例について説明する。
図2は、本実施形態にかかるデジタルカラー複写機(画像データ出力処理装置)1の概略構成を示すブロック図である。
図2に示すように、デジタルカラー複写機1は、カラー画像入力装置2、カラー画像処理装置3、カラー画像出力装置4、及び操作パネル6を備えている。
カラー画像入力装置2は、原稿の画像を読み取って画像データを生成するものであり、例えばCCD(Charge Coupled Device )などの光学情報を電気信号に変換するデバイスを備えたスキャナ部(図示せず)より構成されている。ここでは、カラー画像入力装置2は、原稿からの反射光像を、RGB(R:赤・G:緑・B:青)のアナログ信号としてカラー画像処理装置3に出力する。
カラー画像処理装置3は、カラー画像入力装置2から入力されたアナログ信号に、種々の処理を施すと共にカラー画像出力装置4が扱える形に変換して、カラー画像出力装置へと出力するものである。
カラー画像処理装置3は、入力段にRGBのアナログ信号をデジタル信号に変換するA/D(アナログ/デジタル)変換部11を備えている。カラー画像処理装置3に入力されたアナログ信号の画像データは、このA/D変換部11にてデジタル信号に変換される。
デジタル信号に変換されRGB信号は、その後、シェーディング補正部12、原稿種別判別部13、文書照合処理部14、入力階調補正部15、編集処理部16、領域分離処理部17、色補正部18、黒生成下色除去部19、空間フィルタ処理部20、出力階調補正部21、階調再現処理部22の順で送られ、最終的にはデジタル信号のCMYK信号となる。そして、階調再現処理部22より出力されたデジタル信号のCMYK信号は、メモリ23に一旦格納された後、カラー画像出力装置4へと出力される。
カラー画像処理装置3を構成する上記各部の処理について説明する。シェーディング補正部12は、A/D変換部11より送られてきたデジタルのRGB信号に対して、カラー画像入力装置2の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施すものである。また、シェーディング補正部12は、カラーバランスの調整、及び濃度信号などカラー画像処理装置3に採用されている画像処理システムの扱い易い信号に変換する処理を施すものでもある。
シェーディング補正部12にて、各種の歪みが取り除かれ、カラーバランスの調整がなされたRGB信号(RGBの濃度信号)は、原稿種別判別部13へと出力される。
原稿種別判別部13は、シェーディング補正部12より送られてきたRGB信号より、入力された画像データの原稿種別を判別するものである。原稿が文字原稿であるか、印刷写真原稿であるか、あるいは、文字と印刷写真が混在した文字印刷写真原稿であるかなどの原稿種別の判別を行う。このような原稿種別の判別結果は、後段の処理に用いられる。
また、原稿種別判別部13は、シェーディング補正部12より出力された入力信号をそのまま、後段の文書照合処理部14にも出力する。
文書照合処理部(類似性判定部・出力処理制御部)14は、原稿種別判別部13より送られてきたRGB信号(入力画像データ)より、特徴点を抽出し、抽出した各特徴点に基づいて入力画像データの画像の特徴量を抽出する機能を有している。
文書照合処理部14は、登録モードでは、入力されてくる登録対象の画像データより画像の特徴量を抽出すると共に、抽出した特徴量を、後述するように、登録原稿を表すインデックス(原稿ID)と共に、記憶手段に登録する。
また、照合モードでは、入力されてくる照合対象原稿の画像データより特徴量を抽出すると共に、既に登録されている登録原稿の特徴量と比較して、照合対象原稿の画像(以下、照合対象画像とも称する)が登録原稿の画像に類似しているか否かを判定する類似性判定処理を行う。なお、以下、照合対象原稿の画像と登録原稿の画像との比較を、照合対象原稿と登録原稿の比較と表現する。
さらに、文書照合処理部14は、出力処理制御部14としての機能も有しており、類似性判定処理において、登録原稿に類似していると判定すると、入力画像データに対する出力処理(カラー複写機では画像形成処理)を禁止したりする、制御信号を出力するようになっている。
そして、詳細については後述するが、本実施形態では、文書照合処理部14は、入力画像データが、割付原稿ものである場合、含まれる複数の原稿画像単位で登録原稿の画像に類似するか否かの判定が可能であり、各々の判定結果に基づいて、割付原稿に含まれる複数の原稿画像単位での出力処理を規制できるものである。
また、文書照合処理部14は、原稿種別判別部13をスルーしてきた入力信号をそのまま、さらに後段の入力階調補正部15へと出力する。
入力階調補正部15は、文書照合処理部14より送られてきたRGB信号に対して、下地色(下地色の濃度成分:下地濃度)の除去やコントラストなどの画質調整処理を施すものである。
編集処理部16は、入力画像データ(照合対象原稿)が割付原稿のものであり、編集処理が必要な場合に、入力階調補正部15より送られてきた、下地色(下地色の濃度成分:下地濃度)の除去やコントラストなどの画質調整処理が施されたRGB信号に対して、編集処理を行うものである。
前述したように、本実施形態では、照合モードにおいては、照合対象原稿が割付原稿である場合、それ含まれる複数の原稿画像単位で登録原稿の画像に類似するか否かの判定が可能であり、割付原稿に含まれる複数の原稿画像のうちの特定の原稿画像の出力処理のみを規制することもできる。
編集処理部16は、このような処理を担うものであり、文書照合処理部14より送られてくる制御信号に基づいて、登録原稿に類似すると判定された原稿画像に対してのみ、その出力処理を規制する。
例えば、出力処理が禁止されている場合は、編集処理部16は、割付原稿における該当する原稿画像のみ不可視となるように、その原稿画像に相当する画像データのみ、データ値を「0」或いは「255(8ビットの場合)」に置き換える。これにより、割付原稿は、禁止されている原稿画像の部分のみが塗り潰された状態、或いは白紙状態となる。
このようにして、編集処理部16にて編集されたRGB信号は、領域分離処理部17に送られる。なお、入力階調補正部15より送られてきたRGB信号が、割付原稿のものでない場合や、割付原稿のものであっても編集処理が不要の場合は、入力階調補正部15より送られたRGB信号は、編集処理部16をスルーして領域分離処理部17へと送られる。
領域分離処理部17は、RGB信号より、入力画像中の各画素を文字領域、網点領域、写真領域のいずれかに分離するものである。領域分離処理部17は、分離結果に基づき、画素がどの領域に属しているかを示す領域識別信号を、色補正部18、黒生成下色除去部19、空間フィルタ処理部20、及び階調再現処理部22へと出力する。また、領域分離処理部17は、入力階調補正部15より出力された入力信号をそのまま後段の色補正部18にも出力する。
色補正部18は、色再現の忠実化実現のために、不要吸収成分を含むCMY(C:シアン・M:マゼンタ・Y:イエロー)色材の分光特性に基づいた色濁りを取り除く処理を行うものである。
黒生成下色除去部19は、色補正後のCMYの3色信号から黒(K)信号を生成する黒生成、元のCMY信号から黒生成で得たK信号を差し引いて新たなCMY信号を生成する処理を行うものである。これにより、CMYの3色信号はCMYKの4色信号に変換される。
空間フィルタ処理部20は、黒生成下色除去部19より入力されるCMYK信号の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理を行い、空間周波数特性を補正する。これにより、出力画像のぼやけや粒状性劣化を軽減することができる。階調再現処理部22も、空間フィルタ処理部20と同様、CMYK信号の画像データに対して領域識別信号を基に所定の処理を施すものである。
例えば、領域分離処理部17にて文字に分離された領域は、特に黒文字あるいは色文字の再現性を高めるために、空間フィルタ処理部20による空間フィルタ処理における鮮鋭強調処理で高周波数の強調量が大きくされる。同時に、階調再現処理部22においては、高域周波数の再現に適した高解像度のスクリーンでの二値化または多値化処理が選択される。
また、領域分離処理部17にて網点領域に分離された領域に関しては、空間フィルタ処理部20において、入力網点成分を除去するためのローパス・フィルタ処理が施される。
そして、出力階調補正部21では、濃度信号などの信号をカラー画像出力装置4の特性値である網点面積率に変換する出力階調補正処理を行った後、階調再現処理部22で、最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理(中間調生成)が施される。領域分離処理部17にて写真に分離された領域に関しては、階調再現性を重視したスクリーンでの二値化または多値化処理が行われる。
さらに、本実施形態では、原稿種別判別の結果が、これら領域分離処理後の各処理に加味され、各処理においては、各領域が混在しないと判別された場合は上述した領域分離処理と同様である一方、複数の領域が混在すると判別された場合はそれぞれの領域処理の中間パラメータを使用し、原稿種別判別処理で判別されなかった領域処理のパラメータは使用しない。
例えば、入力画像が文字原稿であると判別された場合は、領域分離処理では、文字及び線画として領域分離されたところを有効とし、網点及び印画紙といった連続階調と判別されたところは、例えば、文字原稿であったとしても原稿の種類によっては誤判別される場合があるので、誤分離とみなして、反映させない。
そして、その領域分離処理結果に基づいて、出力階調補正処理及び階調再現処理では、ハイライトを多めに除去したり、コントラストを大きくするような補正曲線を用いる。
また、色文字に対しては、彩度を重視した色補正処理を行う一方、黒文字に対しては、黒生成/下色除去処理では黒生成量が多めに設定される。また、文字に対しては、空間フィルタ処理でエッジを強調し、平滑化処理を弱くするようにフィルタ係数を設定する等のパラメータの切り替え等が行われる。
また、入力画像が文字/印画紙写真原稿であると判別された場合は、各処理において、文字原稿処理と印画紙写真原稿処理の中間パラメータを用いた処理が行われる。領域分離処理では、文字、線画又は印画紙として領域分離されたところを有効とし、網点といった領域分離されたところは、例えば、文字・印画紙原稿であったとしても原稿の種類によっては誤判別される場合があるため、誤分離とみなして、反映させない。
文字原稿又は印画紙写真原稿のいずれを重視するかにより、出力階調補正処理及び階調再現処理では、印画紙写真原稿処理と文字原稿処理との中間のパラメータを用いてハイライトの除去やコントラストの調整を行い、また、彩度の強弱や階調性のバランスが極端にならないような色補正処理を行う。一方、黒生成/下色除去処理では、印画紙写真画像に影響が出ない程度に黒生成量の調整を行う。
このようにして各処理が施された画像データは、一旦、図示しないメモリに記憶されたのち、所定のタイミングで読み出されてカラー画像出力装置4に入力される。
そして、上記した文書照合処理部15による照合モード時の類似性判定処理にて、登録原稿に類似していると判定され、例えば、照合対象の原稿の出力処理を禁止する制御信号が出力された場合は、このメモリより画像データを読み出す際に、不可視となるように、当該頁の画像データのデータ値が「0」或いは「255(8ビットの場合)」に置き換えられる。これにより、カラー画像出力装置4より出力される出力物は、頁全体が塗り潰された状態、或いは白紙状態となる。
カラー画像出力装置4は、カラー画像処理装置3から入力された画像データを記録材(例えば紙等)上に出力するものである。カラー画像出力装置4の構成は特に限定されるものではなく、例えば、電子写真方式やインクジェット方式を用いたカラー画像出力装置を用いることができる。
操作パネル6は、例えば、液晶ディスプレイなどの表示部と設定ボタンなどより構成され(いずれも図示せず)、デジタルカラー複写機1の主制御部(図示せず)の指示に応じた情報を上記表示部に表示するとともに、上記設定ボタンを介してユーザから入力される情報を上記主制御部に伝達する。ユーザは、操作パネル6を介して入力画像データに対する処理要求、処理枚数などを入力することができる。
上記主制御部は、例えばCPU(Central Processing Unit)等からなり、図示しないROM等に格納されたプログラムや各種データ、操作パネル6から入力される情報等に基づいて、デジタルカラー複写機1の各部の動作を制御する。
次に、文書照合処理部(画像照合部、出力処理制御部)14の詳細について説明する。
本実施形態にかかる文書照合処理部14は、まず、入力画像データから複数の特徴点を抽出し、抽出した各特徴点に対して局所的な特徴点の集合を決定する。次に、決定した各集合から特徴点の部分集合を選択し、選択した各部分集合を特徴付ける量として、部分集合中の特徴点に関する複数の組み合わせに基づいて、幾何学的変換に対する不変量をそれぞれ求める。そして、求めた各不変量を組み合わせて特徴点毎に特徴量であるハッシュ値を計算する。
入力画像データが登録対象原稿のものである登録モードでは、算出したハッシュ値を、登録原稿を表すインデックス(原稿ID)に対応付けてテーブルに格納する。
一方、入力画像データが照合対象原稿のものである照合モードでは、計算したハッシュ値に対応する登録原稿に投票すると共に、照合対象原稿の画像(以下、照合対象画像)の特徴点がどの登録原稿のどの特徴点に投票したかを記憶させておく。そして、投票が終了すると、投票結果と、照合対象画像上におけるハッシュ値が一致した登録原稿の特徴点の分布とを考慮して、照合対象画像と登録原稿との類似性を判定する。
図3は、文書照合処理部14の概略構成を示すブロック図である。この図に示すように、文書照合処理部14は、特徴点算出部31、特徴量算出部32、投票処理部33、類似度判定処理部34、登録処理部35、制御部7、メモリ8を備えている。
制御部7は、文書照合処理部14の各部の動作を制御する。なお、制御部7は、デジタルカラー複写機1の各部の動作を制御するための主制御部に備えられていてもよく、主制御部とは別に備えられ、主制御部と協同して文書照合処理部14の動作を制御するものであってもよい。
制御部7は、文書照合処理部14による類似性判定処理の結果、類似性なしと判定された場合には当該画像データに対する出力処理を許可する制御信号を出力する。一方、制御部7は、類似性ありと判定された場合には、入力画像データに対する出力処理を規制する制御信号を出力する。
出力処理を規制するにあたり、制限の内容は、登録原稿毎に定められており、最も優先度の高い厳しい制限は、出力処理の禁止である。また、制御部7は、照合対象原稿が割付原稿である場合、出力処理の規制のし方として、2つのモードを有している。
1つは、登録原稿に類似すると判定され原稿画像の部分に対してのみ、出力処理を規制する通常モードである。通常モードでは、上記した編集処理部16が、登録原稿に類似すると判定された原稿画像に対してのみ、その出力処理を規制する。
もう1つは、通常モードよりも厳しい、強制モードである。強制モードでは、割付原稿が登録原稿に類似する原稿画像を含んでいた場合、割付原稿に含まれるすべての原稿画像に対して、類似すると判定された登録原稿に設定されている制限が適用される。そして、その際、登録原稿に類似する原稿画像が複数あり、それぞれ規制内容が異なる場合は、最も優先度の高い規制(最も厳しい制限)が選択される。つまり、例えば、出力処理が禁止されている登録原稿に類似する原稿画像が含まれていると判定されると、割付原稿に含まれる全ての原稿画像を不可視とする制御信号が出力される。
メモリ8は、文書照合処理部14の各部の処理に用いられる各種データ、処理結果等を記憶するものである。後述するハッシュテーブル、座標管理テーブル、特徴点対応テーブル等は、このメモリ8に設けられる。
特徴点算出部31は、入力画像データより、文字列や罫線の連結部分を抽出し、連結部分の重心を特徴点として算出するものである。ここで、入力画像データは、登録モードでは、登録対象の原稿の画像データであり、類似判定処理においては、照合対象の原稿の画像データ(以下、照合対象画像データと称することもある)である。
図4は、特徴点算出部31の概略構成を示すブロック図である。なお、図4に示す特徴点算出部31の構成は一例であって、これに限るものではなく、例えば従来から公知の種々の法によって特徴点を算出してもよい。
図4に示すように、特徴点算出部31は、無彩化処理部41、解像度変換部42、MTF処理部43、2値化処理部44、重心算出部45を備えている。
無彩化処理部41は、シェーディング補正部12から入力された画像データ(RGB信号)がカラー画像であった場合に、この画像データを無彩化して、明度信号もしくは輝度信号に変換するものである。
例えば、無彩化処理部41は、下記式(1)によりRGB信号を輝度信号Yに変換する。
Yj=0.30Rj+0.59Gj+0.11Bj ・・・(1)
ここで、Yjは各画素の輝度信号であり、Rj,Gj,Bjは各画素のRGB信号における各色成分であり、添え字のjは画素毎に付与された値(jは1以上の整数)である。
あるいは、RGB信号をCIE1976L*a*b*信号(CIE:Commission International de l'Eclairage、L*:明度、a*,b*:色度)に変換してもよい。
解像度変換部42は、入力画像データに対して変倍処理を行うものである。例えば、入力画像データは、カラー画像入力装置2で光学的に変倍されている場合がある。このような場合に、解像度変換部42は、所定の解像度(以下、デフォルト解像度)になるように、入力画像データを再度変倍する。
MTF(modulation transfer function)処理部43は、カラー画像入力装置2の空間周波数特性が機種ごとに異なることを吸収(調整)するために用いられる。CCDの出力する画像信号には、レンズやミラー等の光学部品、CCDの受光面のアパーチャ開口度、転送効率や残像、物理的な走査による積分効果及び走査むら等に起因しMTFの劣化が生じている。このMTFの劣化により、読み込まれた画像がぼやけたものとなっている。
MTF処理部43は、適切なフィルタ処理(強調処理)を施すことにより、MTFの劣化により生じるぼやけを修復する処理を行う。また、後段の重心算出部45における特徴点抽出処理に不要な高周波成分を抑制するためにも用いる。すなわち、混合フィルタ(図示せず)を用いて強調及び平滑化処理を行う。なお、図6は、この混合フィルタにおけるフィルタ係数の一例を示している。
2値化処理部44は、無彩化された画像データ(輝度値(輝度信号)または明度値(明度信号))と、予め設定された閾値とを比較することにより画像データを二値化する。
重心算出部45は、2値化処理部44で2値化された画像データ(例えば、「1」、「0」で表される)に基づいて、各画素に対してラベリング(ラベル付け処理)を行う。そして、同一ラベルが付された画素が連結した連結領域を特定し、特定した連結領域の重心を特徴点として抽出する。ここで、重心である特徴点は、二値画像における座標値(X,Y)にて表されており、算出された特徴点の座標値が、特徴量算出部32へ出力される。
図7は、入力画像データから抽出された連結領域及びこの連結領域の重心の一例を示す説明図であり、「A」という文字列に対応する連結領域及び重心を示している。また、図8は、入力画像データに含まれる文字列から抽出された複数の連結領域の各重心(特徴点)の一例を示す説明図である。
再び、文書照合処理部14の概略構成を示すブロックである図3に戻り、特徴量算出部32は、特徴点算出部31で算出された特徴点を用いて、原稿画像の回転、平行移動、拡大、縮小等の幾何学的変形に対して不変な量である特徴量(ハッシュ値及び/または不変量)を算出するものである。
図5は、特徴量算出部32の概略構成を示すブロック図である。この図に示すように、特徴量算出部32は、特徴点抽出部32a、不変量算出部32b、ハッシュ値算出部32cを備えている。
特徴点抽出部32aは、図9に示すように、1つの特徴点を注目特徴点とし、この注目特徴点の周辺の特徴点を、注目特徴点からの距離が近いものから順に所定数(ここでは4点)だけ周辺特徴点として抽出する。図9の例では、特徴点aを注目特徴点とした場合には特徴点b,c,d,eの4点が周辺特徴点として抽出され、特徴点bを注目特徴点とした場合には特徴点a,c,e,fの4点が周辺特徴点として抽出される。
また、特徴点抽出部32aは、上記のように抽出した周辺特徴点4点の中から選択し得る3点の組み合わせを抽出する。例えば、図10(a)〜図10(d)に示すように、図9に示した特徴点aを注目特徴点とした場合、周辺特徴点b,c,d,eのうちの3点の組み合わせ、すなわち、周辺特徴点b,c,d、周辺特徴点b,c,e、周辺特徴点b,d,e、周辺特徴点c,d,eの各組み合わせが抽出される。
次に、不変量算出部32bは、抽出した各組み合わせについて、幾何学的変形に対する不変量(特徴量の1つ)Hijを算出する。
ここで、iは注目特徴点を示す数(iは1以上の整数)であり、jは周辺特徴点3点の組み合わせを示す数(jは1以上の整数)である。本実施形態では、周辺特徴点同士を結ぶ線分の長さのうちの2つの比を不変量Hijとする。
上記線分の長さは、各周辺特徴点の座標値に基づいて算出できる。例えば、図10(a)の例では、特徴点bと特徴点cとを結ぶ線分の長さをA11、特徴点bと特徴点dとを結ぶ線分の長さをB11とすると、不変量H11はH11=A11/B11である。
また、図10(b)の例では、特徴点bと特徴点cとを結ぶ線分の長さをA12、特徴点bと特徴点eとを結ぶ線分の長さをB12とすると、不変量H12はH12=A12/B12である。また、図10(c)の例では、特徴点bと特徴点dとを結ぶ線分の長さをA13、特徴点bと特徴点eとを結ぶ線分の長さをB13とすると、不変量H13はH13=A13/B13である。また、図10(d)に示した例では、特徴点cと特徴点dとを結ぶ線分の長さをA14、特徴点cと特徴点eとを結ぶ線分の長さをB14とすると、不変量H14はH14=A14/B14である。このようにして、図10(a)〜図10(d)の例では、不変量H11,H12,H13が算出される。
なお、上記の例では、注目特徴点に最も近い周辺特徴点と2番目に近い周辺特徴点とを結ぶ線分をAij、注目特徴点に最も近い周辺特徴点と3番目に近い周辺特徴点とを結ぶ線分をBijとしたが、これに限らず、不変量Hijの算出に用いる線分は任意の方法で選定すればよい。
次に、ハッシュ値算出部32cは、次式(2)
Hi=(Hi1×103+Hi2×102+Hi3×101+Hi4×100)/D ‥‥(2)
における余りの値をハッシュ値(特徴量の1つ)Hiとして算出し、メモリ8に記憶させる。なお、上記Dは余りが取り得る値の範囲をどの程度に設定するかに応じて予め設定される定数である。
なお、不変量Hijの算出方法は特に限定されるものではなく、例えば、注目特徴点の近傍5点の複比、近傍n点(nはn≧5の整数)から抽出した5点の複比、近傍n点から抽出したm点(mはm<nかるm≧5の整数)の配置及びm点から抽出した5点の複比に基づいて算出される値などを注目特徴点についての上記不変量Hijとしてもよい。なお、複比とは、直線上の4点または平面上の5点から求められる値であり、幾何学的変換の一種である射影変形に対する不変量として知られている。
また、ハッシュ値Hiの算出するための式についても上記式(2)に限るものではなく、他のハッシュ関数(例えば特許文献4に記載されているハッシュ関数のうちのいずれか)を用いてもよい。
また、特徴量算出部32の各部は、1つの注目特徴点に対する周辺特徴点の抽出及びハッシュ値Hiの算出が終わると、注目特徴点を他の特徴点に変更して周辺特徴点の抽出及びハッシュ値の算出を行い、全ての特徴点についてのハッシュ値を算出する。
図9の例では、特徴点aを注目特徴点とした場合の周辺特徴点及びハッシュ値の抽出が終わると、次に特徴点bを注目特徴点とした場合の周辺特徴点及びハッシュ値の抽出を行う。図9の例では、特徴点bを注目特徴点とした場合、特徴点a,c,e,fの4点が周辺特徴点として抽出される。
そして、図11(a)〜図11(d)に示すように、これら周辺特徴点a,c,e,fの中から選択される3点の組み合わせ(周辺特徴点a,e,f、周辺特徴点a,e,c、周辺特徴点a,f,c、周辺特徴点e,f,c)を抽出し、各組み合わせについてハッシュ値Hiを算出し、メモリ8に記憶させる。そして、この処理を各特徴点について繰り返し、各特徴点を注目特徴点とした場合のハッシュ値をそれぞれ求めてメモリ8に記憶させる。
なお、特徴量算出部32は、入力画像データを登録原稿として登録する処理を行う登録モードでは、上記のように算出した入力画像データの各特徴点についてのハッシュ値(特徴量)を、図3に示す登録処理部35に送る。
登録処理部35は、特徴量算出部32が算出した各特徴点についてのハッシュ値と、当該入力画像データである登録原稿を表すインデックスID(ID1,ID2…)と、当該特徴点を表すインデックスf(f1,f2…)とを、メモリ8に設けられた図示しないハッシュテーブルに順次登録していく(図12(a)参照)。
ここで、ハッシュ値がすでに登録されている場合は、当該ハッシュ値に対応付けて原稿インデックスを登録する。原稿インデックスは重複することなく順次番号が割り当てられる。
そして、特徴点を表すインデックスfは、メモリ8に設けられた図示しない座標管理テーブルにおいて、図14に示すように、原稿を表すインデックスID毎に座標値に対応付けられており、同じ原稿でインデックスfは重複することなく順次番号が割り当てられる。
例えば、図12(a)に示すハッシュテーブルの内容であれば、ハッシュ値H1は、インデックスID1の登録原稿におけるインデックスf1(座標(X11,Y11))の特徴点のもつ値であり、また、ハッシュ値H3は、インデックスID1の登録原稿におけるインデックスf4(座標(X14,Y14))の特徴点と、インデックスID2の登録原稿におけるインデックスf1(座標(X21,Y21))の特徴点とがもつ値である、ことを示している。
なお、ハッシュテーブルに登録されている原稿の数が所定値(例えば、登録可能な原稿の数の80%)より多くなった場合、古いインデックスIDを検索して順次消去するようにしてもよい。また、消去されたインデックスIDは、新たな入力画像データのインデックスIDとして再度使用できるようにしてもよい。また、算出されたハッシュ値が同値である場合、図12(b)の例に示すように、これらを1つにまとめてハッシュテーブルに登録してもよい。ここでは、H1=H5として、H1にまとめられている。
そして、特徴量算出部32は、入力画像データの画像が既に登録されている登録原稿の画像であるかどうかの判定処理を行う場合(照合モード)には、上記のように算出した入力画像データの各特徴点についてのハッシュ値を、各特徴点の座標値に対応付けられた特徴点を表す特徴点インデックスp(p1,p2…)と共に、投票処理部33に送る。
なお、特徴点インデックスとしては、説明を分かり易くするために、登録原稿の特徴点については「f」を、照合対象画像の特徴点については「p」を用いて、区別する。
投票処理部33は、照合対象原稿の入力画像データからら算出した各特徴点のハッシュ値をハッシュテーブルに登録されているハッシュ値と比較し、同じハッシュ値を有する登録原稿に投票する(図13参照)。図13は、登録原稿ID1,ID2,ID3、ID4に対する得票数の一例を示すグラフである。
例えば、前出の図12(a)に示すハッシュテーブルの内容において、照合対象画像よりハッシュ値H1が算出されると、ID1の登録原稿に1票を投じ、照合対象画像よりハッシュ値H3が算出されると、ID1とID2の各登録原稿に、1票づつ投じる。
また、図12(b)に示す例では、H1=H5であり、これらをH1の1つにまとめてハッシュテーブルに登録されているので、照合対象画像よりハッシュ値H1が算出されると、ID1の登録原稿に2票を投じる。
そして、本実施形態では、投票処理部33は、投票の際に、ハッシュ値が一致した照合対象画像の特徴点と登録原稿の特徴点との対応付けを行い、図示しない特徴点対応テーブルに記憶していくようになっている。
図15は、特徴点対応テーブルの内容を示している。図15の例では、照合対象画像のインデックスp1の特徴点に対して求めたハッシュ値が、インデックスID1の登録原稿におけるインデックスf1の特徴点のハッシュ値と一致し、また、照合対象画像のインデックスp2の特徴点に対して求めたハッシュ値が、インデックスID3の登録原稿のインデックスf2の特徴点のハッシュ値と一致する、と判定されたことを示している。
図1(a)に、投票処理部33による投票処理の手順を示す。図1(a)に示すように、投票処理部33は、まず、照合対象画像のインデックスpの特徴点(以下、特徴点p)について、登録原稿のハッシュ値と比較し(S1)、ハッシュ値が一致する登録原稿に投票する(S2)。具体的には、照合対象画像の特徴点pのハッシュ値と同じハッシュ値がハッシュテーブルに格納されているか否かをまず判定し、格納されている場合は、そのハッシュ値をもつ登録原稿に投票する。
また、投票処理部33は、投票と共に、照合対象画像の特徴点pのハッシュ値と同じハッシュ値をもつ登録原稿のインデックスID及び特徴点のインデックスfを、ハッシュテーブルより読み出して、上記した特徴点対応テーブルに記憶させる(S3)。
このようなS1〜S3の処理を、照合対象画像において抽出された全ての特徴点pについて繰り返し行い、S4にて、照合対象画像において抽出された全ての特徴点pについて終了したと判定すると、投票処理を終了する。
投票処理により、前述した図13に示すような投票結果を示すグラフと、図15に示すような特徴点対応テーブルが得られる。
類似度判定処理部34は、メモリ8から投票処理部33の投票処理結果である、各登録原稿に対する得票数、及びハッシュ値が一致した照合対象画像の特徴点と登録原稿の特徴点との対応付けに基づいて、照合対象画像に登録原稿が含まれているか否かを判定すると共に、含まれている場合は、照合対象画像のどの部分が登録原稿に類似するかを、判定するものである。
図1(b)に、類似度判定処理部34による類似度判定処理の手順を示す。図1(b)に示すように、類似度判定処理部34は、まず、各登録原稿に対する投票結果に基づいて、最大得票数を得た登録原稿を選出する(S11)。図13に示すような投票結果の場合、インデックスID1の登録原稿が選択される。
次に、類似度判定処理部34は、選出した登録原稿における、ハッシュ値が一致した特徴点fの座標を用いて、当該登録原稿を照合対象画像上の座標値にて表すための座標変換係数Aを算出する(S12)。
ここで、座標変換係数Aの取得について図16、図17を用いて説明する。類似度判定処理部34は、特徴点対応テーブル(図15参照)を参照して、選出された登録原稿について、ハッシュ値が一致している4つの特徴点に対し、その座標と、照合対象画像の特徴点の座標とを取得する。
図16に、類似度判定処理部34にて取得された、登録原稿の4つの特徴点の座標値と、これらに対応する照合対象画像の4つの特徴点の座標値を示し、図17には、登録原稿と照合対象画像との間での、各特徴点同士の対応イメージを示す。なお、図17より分かるように、照合対象画像が割付原稿である場合、元の原稿が縮小されると共に、回転されている。
類似度判定処理部34は、登録原稿の特徴点の座標についての行列をPin、照合対象画像の特徴点の座標についての行列をPout、座標変換係数をAとして、下記式(1)より、座標変換係数Aを算出する。
ここで、Pinは正方行列ではないため、両辺にPinの転置行列PinTを乗算し、さらにPinTPinの逆行列を乗算する。
このようにして求めた座標変換係数Aを用いて、照合対象画像の座標位置を算出することで、登録原稿上の任意の座標(x,y)を照合対象画像上の座標(x’,y’)に変換できる。
再び、図1(b)に戻り、類似度判定処理部34は、算出された座標変換係数Aを用いて、S11で選出された登録原稿におけるハッシュ値が一致した全ての特徴点fを照合対象画像上の座標に変換する(S13)。
これにより、例えば、図18に示すように、照合対象原稿が2つの原稿画像が割り付けられた2in1原稿であって、そのうちの座標原点Oに近い上半分の原稿画像が、最大得票数を得たインデックスID1の登録原稿に類似している場合、最大得票数を得たインデックスID1の登録原稿におけるハッシュ値が一致した特徴点は、照合対象画像上の上半分に集中して分布することとなる。
類似度判定処理部34は、このような選出された登録原稿におけるハッシュ値が一致した特徴点の照合対象画像上の分布状態(特徴点の座標位置)より、登録原稿の照合対象画像上の位置を特定する(S14)。図18に示すような分布状態であれば、類似度判定処理部34は、照合対象原稿は2in1原稿であると特定すると共に、2in1原稿の上半分の領域に相当する照合対象画像における所定領域の画像が、インデックスID1の登録原稿に類似すると判定する。
続いて、類似度判定処理部34は、投票結果に基づいて、選択すべき全ての登録原稿について終了したかどうかを判定する(S15)。例えば、投票結果が、図13に示すような、インデックスID1の登録原稿とインデックスID3の登録原稿の2つの得票数が、他の登録原稿に比して大きく突出していた場合、この2つの登録原稿に類似する可能性が高い。
そのため、このような場合は、S15にて、選択すべき全ての登録原稿について終了を終了していないと判定し、次に大きな得票数を得た登録原稿、ここではインデックスID3の登録原稿を選出して(S16)、S12に戻り、S12〜S15(4in1等の原稿であればS16も含む)までの処理を、ID3の登録原稿に対しても行う。
これにより、図18に示すように、照合対象原稿が2つの原稿画像が割り付けられた2in1原稿であって、残り下半分の原稿画像が、2番目に大きな得票数を得たインデックスID3の登録原稿に類似している場合は、S14において、類似度判定処理部34は、2in1原稿の下半分の領域に相当する照合対象画像における所定領域の画像が、インデックスID3の登録原稿に類似すると判定する。
また、S11、S15、S16、において登録原稿を選出するにあたり、例えば、抽出された上位の得票数を類似の度合いを示す類似度として扱い、予め定められている閾値THと比較して類似性(入力画像データが登録原稿の画像データであるかどうか)を判定する構成が好ましい。
つまり、最大得票数が予め定められた閾値TH以上である場合には、「類似性あり」と判定して、S11で登録原稿を選択してS12以降の処理を実行し、S15,S16では、2番目の得票数が予め定められた閾値TH以上である場合には、「選択すべき登録原稿がある」或いは「類似性あり」と判定して、S12に戻る。
このとき、閾値THは、最大得票数から2番目、3番目と得票数が低下するに従い、順次低く設定しておくことで、判定精度を上げることができる。
そして、類似度判定処理部34による判定結果を示す判定信号は、上述したように制御部7に送られ、制御部7は、通常モードであれば、登録原稿に類似すると判定された原稿画像に対してのみ出力処理を規制する。一方、強制モードであれば、割付原稿に含まれるすべての原稿画像に対して、最も優先度の高い厳しい制限に出力処理を規制する。
図19(a)に、2in1原稿である場合に、上半分、下半分の各領域にある画像に対してその出力処理を規制する手法を示す。上述したように、類似度判定処理部34の類似度判定処理により、割付原稿である場合は、2in1原稿、或いは4in1原稿といった、割付状態を検出することができる。つまり、図18で示したように、照合対象画像の上半分或いは下半分の領域に、登録原稿の特徴点が集中した場合、2in1原稿であると推測できる。
制御部7は、図19(a)に示すように、予め、2in1原稿である場合、原稿サイズおよび原稿の方向(A4縦、横等の原稿が置かれている方向)の検知結果および有効画像領域より2つの領域Q1,Q2の座標値を、例えば、対角の2点(白丸)の座標値の情報等にて予め取得している。原稿サイズ、原稿の方向検知は、例えば、カラー画像入力装置2内に配置されたフォトトランジスタなどの光電変換素子により、原稿台に載置された、主走査方向、副走査方向の原稿サイズを検知する方法や、操作パネル6より、ユーザにて選択された原稿サイズを制御部にて検知する方法などを用いることができ、また、有効画像領域は、2in1原稿において、画像データが存在する領域を予め定めておくものである。したがって、2in1原稿であり、2つある領域Q1,Q2のうちのいずれが登録原稿に類似するかを特定できれば、その領域の画像データに対して、出力処理を規制することは容易に実施できる。2in1原稿の2つの領域Q1,Q2(有効画像領域)の代わりに原稿サイズの2分の1の領域を用いるようにしても良い。
同様に、図19(b)は、4in1原稿である場合に、上半分左側と右側、下半分左側と右側の4つの領域Q1〜Q4の何れかに登録原稿の特徴点が集中した場合、4in1原稿であると推測できる。
制御部7は、図19(b)に示すように、予め、4in1原稿である場合の4つの領域Q1〜Q4の座標値を、上記と同様に対角の2点(白丸)の座標値の情報等にて予め取得しておくことで、4in1原稿であり、4つある領域Q1〜Q4のうちのいずれが登録原稿に類似するかを特定できれば、その領域の画像データに対して、出力処理を規制することは容易に実施できる。
また、類似度判定処理部34は、さらに、各登録原稿に対する得票数を投票総数(入力画像データから抽出された特徴点の総数)で除算して正規化することで類似度を算出し、この類似度と予め定められている閾値TH(例えば投票総数の80%)との比較を行うことによって類似性を判定してもよい。
また、類似度判定処理部34は、各登録原稿に対する得票数を、ハッシュ値の登録数が最も多い登録原稿についてのハッシュ値の登録数(最大登録数)で除算して正規化することで類似度を算出し、この類似度と予め定められている閾値TH(例えば投票総数の80%)との比較を行うことによって類似性を判定してもよい。
つまり、算出した類似度が閾値TH以上である場合には「類似性あり」と判定し、閾値TH未満である場合には「類似性なし」と判定すればよい。なお、この場合、入力画像データから抽出されるハッシュ値の総数は上記最大登録数よりも大きくなる場合があるため(特に原稿及び/または登録原稿の少なくとも一部に手書き部分がある場合など)、類似度の算出値は100%を超える場合も有り得る。
また、類似性を判定する際の閾値THは、各登録原稿について一定に設定されていても、或いは、各登録原稿の重要度等に応じて登録原稿毎に設定されていてもよい。登録原稿の重要度は、例えば、紙幣、有価証券、極秘書類、社外秘の書類等については重要度を最大にし、秘密書類については重要度を紙幣等よりも低くするといったように、登録原稿に応じて段階的に設定してもよい。
この場合、メモリ8に、登録原稿の重要度に応じた重み付け係数を当該登録原稿のインデックスと関連付けて記憶させておき、類似度判定処理部34が、最大得票数を得た登録原稿に対応する閾値THを用いて類似性を判定するようにすればよい。
また、類似性を判定する際、閾値THは一定にする一方、各登録原稿に対する得票数(各登録原稿の得票数)に各登録原稿の重み係数を掛けて類似性を判定するようにしてもよい。
この場合、メモリ8に、各登録原稿の重要度に応じた重み付け係数を各登録原稿のインデックスと関連付けて記憶させておき、類似度判定処理部34が、各登録原稿の得票数に当該登録原稿の重み付け係数を掛けた補正得票数を算出し、この補正得票数に基づいて類似性を判定するようにすればよい。
例えば、最大補正得票数と閾値THとを比較してもよく、最大補正得票数を投票総数で正規化したものを閾値THと比較してもよく、最大補正得票数を最大登録数で正規化したものを閾値THと比較してもよい。また、この場合、重み係数は、例えば、1より大きい値であって、かつ登録原稿の重要度が高くなるにつれて大きい値になるように設定すればよい。
また、本実施形態では、1つの特徴点(注目特徴点)に対して1つのハッシュ値を算出するものとしているが、これに限らず、1つの特徴点(注目特徴点)に対して複数のハッシュ値を算出するようにしてもよい。例えば、注目特徴点の周辺特徴点として6点を抽出し、この6点から5点を抽出した6通りの組み合わせそれぞれについて、5点から3点を抽出して不変量を求めてハッシュ値を算出する方法を用いてもよい。この場合には、1つの特徴点に対して6個のハッシュ値が算出されることになる。
次に、デジタルカラー複写機1における類似性判定処理について、図20に示すフロー図を参照しながら説明する。
制御部7は、操作パネル6を介してユーザからの指示入力を受け付けると、登録モードが選択されているか否かを判定する(S21)。ここで、登録モードが選択されている場合は、入力画像データを登録処理する。
まず、制御部7は、文書照合処理部14の各部を制御して、特徴点の算出、及び算出された各特徴点の座標算出を行わせる(S22,S23)。算出された各特徴点の座標は、特徴点を表すインデックスfに対応付けて、座標管理テーブルに格納される。続いて、特徴量算出処理を行わせ(S24)を行わせ、算出された特徴量を、原稿を表すインデックスIDと特徴点を表すインデックスfと共にハッシュテーブルに格納する登録処理(S5)を行わせる。
一方、S1において、登録モードではない、つまり照合モードであると判定すると、S27に以降し、特徴点を算出させる(S27)。そして、S27にて算出された特徴点に基づいて、同様に、算出された各特徴点の座標算出を行わせる(S28)。算出された各特徴点の座標は、特徴点を表すインデックスpに対応付けて、メモリ8の作業領域に格納される。続いて、特徴量算出処理を行わせ(S29)を行わせ、投票処理(S30)、類似性判定処理(S31)を行わせる。
このS30、S31においては、既に説明したように、照合対象原稿が割付原稿である場合には、割付原稿に含まれる画像単位で登録原稿との類似性が判定され、登録原稿に類似する場合は、照合対象原稿上の画像位置が特定される。
そして、S31にて、類似すると判定されると、強制モードが設定されているか否かを判定する(S32)。ここで、強制モードが設定されている場合は、割付原稿に含まれるすべての原稿画像に対して、類似すると判定された登録原稿に設定されている制限を適用し、かつ、類似する登録原稿が複数あり、制限が異なる場合は、最も優先度の高い規制にて出力処理を規制する制御信号を出力させる(S33)。
一方、強制モードが設定されていない場合は、S34に進み、割付原稿に含まれる各原稿画像のうち、登録原稿に類似すると判定され原稿画像の部分に対してのみ、出力処理を規制する制御信号を出力させる。
割付原稿ではない場合は、強制モードの設定に関係なく、出力処理を規制する制御信号が出力される。
なお、S31にて、類似するものがないと判定されると、S35に進み、判定信号「0」として、出力処理をそのまま許可する制御信号を出力する。
ところで、上記実施の形態では、類似度判定処理部34は、登録原稿におけるハッシュ値が一致した特徴点の照合対象画像上の分布状態(特徴点の座標位置)より、登録原稿の照合対象画像上の位置を特定することで、割付原稿であるか否かの判定を行っていたが、別の実施の形態として、以下のようにすることもできる。
本実施の形態では、類似度判定処理部は、1度目の類似判定処理の結果、複数の登録画像に類似していると判定された場合、図28に示すように、類似していると判定された登録原稿の数に応じて、照合対象原稿を2分の1或いは4分の1というように分割して、それぞれの領域に存在する特徴点より算出された特徴量を用いて、2度目の投票処理を行う。
照合対象原稿の画像全体を対象として照合判定を行った1度目の類似度判定処理の結果、閾値を超えた登録原稿の数が複数ある場合は、類似する登録原稿の数に応じて、照合対象原稿を分割する。割付原稿の割付数は、2、4、6、8、9等というように予め定められているので、類似する登録原稿の数が上記割付数と一致する場合には、その値にて分割し、一致しない場合には、上記割付数のうち、類似する登録原稿の数よりも大きい値を用いて分割する。つまり、閾値を超えた登録原稿の数が3であれば4を、5であれば6を、7であれば8を選択して分割する。そして、各分割領域の投票処理を行い、分割領域毎の類似する登録原稿を特定していく。なお、分割領域の投票処理の結果、閾値を超えた登録原稿の数が複数ある場合は、さらに大きい値を用いて分割する。なお、あまり細かく分割しても意味がないので、分割数の最大は、8または9程度に定めておく。また、分割数に応じた各画像位置は、上述したように、予め決まっている。
以下では、閾値を超えた登録原稿の数が2であり、照合対象原稿を2分割して類似判定を行う例について説明する。
類似判定処理の結果、図27のような得票数を獲得し、インデックスID1の登録原稿AとインデックスID2の登録原稿Bに類似していると判定された場合、図28に示す一点鎖線L1のように、照合対象原稿を2分の1に分割し、a領域とb領域とする。そして、それぞれの領域における特徴点の特徴量を用いて2度目の投票処理を行う。
そして、2領域の投票結果に応じて、以下のように判断する。
1)2度目の投票処理のa領域の投票結果が、登録原稿Aのみ得票数が閾値を超えている図29に示すようなものであり、b領域の投票結果が、登録原稿Bのみ得票数が閾値を超えている図30のようなものであった場合、類似度判定処理部は、照合対象原稿を、登録原稿Aと登録原稿Bの両方の画像を含む2in1原稿であると判断する。
2)2度目の投票処理のa領域(或いはb領域)の投票結果が、図29に示すようなものであり、他方のb領域(或いはa領域)の投票結果が、登録原稿Aも登録原稿Bも得票数が閾値以下の図31に示すようなものであった場合は、類似度判定処理部は、照合対象原稿を、a領域(或いはb領域)に登録原稿Aを含む2in1原稿であると判断する。
3)2度目の投票処理のa領域(或いはb領域)の投票結果が、図30に示すようなものであり、他方のb領域(或いはa領域)の投票結果が、登録原稿Aも登録原稿Bも得票数が閾値以下の図31に示すようなものであった場合は、類似度判定処理部は、照合対象原稿を、a領域(或いはb領域)に登録原稿Bを含む2in1原稿であると判断する。
4)2度目の投票処理のa領域、b領域の投票結果がいずれも、登録原稿Aも登録原稿Bも得票数が閾値以下の図31に示すようなものであった場合は、類似度判定処理部は、照合対象原稿は、1度目の投票処理で得票数の多いほうの登録原稿、つまり、図27の結果であれば、登録原稿A(割付原稿ではない)と判断する。
5)2度目の投票処理のa領域、b領域の少なくとも一方の投票結果が、登録原稿Aも登録原稿Bも得票数が閾値を超えた図27に示すようなものであった場合は、類似度判定処理部は、照合対象原稿をさらに、図28に示す破線L21にて分割し、照合対象原稿を4分割する。そして、各領域において、3度目の投票処理を行い、4つの領域の投票処理の結果をもとに、上記と同様の基準にて判断する。
なお、このような判定結果に応じた、入力画像データの出力処理の扱については、前記した実施の形態と同じである。
また、上記した説明では、類似度判定処理部は、類似判定処理の結果、複数の登録画像に類似していると判定する基準として、閾値を複数の登録原稿が超えた場合を例示したが、例えば、最も得票数の多い登録原稿と、2番目、3番目、…に得票数の多い登録原稿との間で得票数の差をもとめ、差が所定値以下であるものを全て、類似する登録原稿としてもよい。
次に、この他の実施形態のデジタルカラー複写機における類似性判定処理について、図32に示すフロー図を参照しながら説明する。
なお、S21〜S31、S32〜S35の処理は、先の実施形態の説明に用いた、図20のフローチャートと同じである。したがって、共通のステップ番号を付して、説明は省略する。
S31における類似性判定処理が、上記した1度目の類似性判定処理である。S31にて、類似する登録原稿がある場合は、S41に進み、類似する登録原稿が複数であるいか否かが判定され、複数でないつまり1つの場合は、S31で類似すると判定された登録原稿に予め定められている処理を表す制御信号を出力する(S48)。
S41にて複数であると判定されると、照合対象原稿を、類似する登録原稿の数に応じて分割し、分割した領域ごとに、投票処理を行わせ(S42)、各領域の投票処理結果をもとに、当該照合対象原稿の類似性判定処理を行わせる(S43)。
なお、図32では省略しているが、S42の分割した領域ごとの投票処理の結果、S41と同様のステップを実施し、1つの領域内に、類似する登録原稿が複数含まれていると判断されると、さらに分割数を上げて、領域ごとの投票処理、続く類似性判定処理を、繰り返し行わせる。
S43の類似性判定処理にて、割付原稿でないと判定されると、S44に進み、類似すると判定された登録原稿に予め定められている処理を表す制御信号を出力する。一方、割付原稿であると判定されると、S32に移行する。
ここで、上記したるデジタルカラー複写機(画像データ出力処理装置)1の変形例について説明する。
ここでは、原稿種別判別部13が、さらに、入力画像データを読み取った元である当該原稿が割付原稿であるか否かの判別も行うと共に、割付原稿である場合はその割り付けの状態も求めるようになっている。
その方法について説明する。原稿種別判別部13は、RGB信号(画像データ)より、当該画像の主走査方向及び副走査方向のライン毎に、画素値が0から1、1から0に変化する反転回数(または、エッジの数)の分布を求め、これに基づいて割付原稿であるか否かと、割付原稿である場合はその割付数を検出する。
図21は、用紙短手方向(原稿短手方向)でもある副走査方向に延びる文字列を有し、行間が用紙長手方向(原稿長手方向)でもある主走査方向に並ぶ画像を有する非割付原稿の、主走査方向及び副走査方向における各反転回数のヒストグラムである。
このような非割付原稿の場合、図21に示すように、主走査方向における反転回数の分布には、文章中の行間に対応して、所定の間隔毎に反転回数が現れる。一方、副走査方向における反転回数の分布は、原稿周辺部の余白部分を除いて連続した分布となる。
このような図21に示す原稿を2in1にて処理した割付原稿は、図22に示すように、割付原稿の用紙長手方向でもある主走査方向に並んで2つの画像が割り付けられ、それら各画像が、その元原稿における用紙短手方向でもある主走査方向に延びる文字列を有し、行間が用紙長手方向でもある副走査方向に並ぶこととなる。
このような割付原稿の場合、主走査方向及び副走査方向における各反転回数のヒストグラムは、図22に示すように、主走査方向における反転回数には、連続した分布が2つ形成されると共に、反転回数の分布と分布との間に、空白部分に応じた空白領域が存在する。一方、副走査方向における反転回数は、行間に対応して、所定の間隔毎に反転回数が現れる。
このようなヒストグラムを基に、主走査方向における反転回数に連続した分布が2つあり、2つの分布間に形成される、反転回数が所定値(例えば、20)以下の空白領域が、例えば、(割付原稿のレイアウトにもよるが)20mm程度(解像度が300dpiの場合、170ライン程度)存在するとき、当該照合対象画像は、2in1原稿のものであると判定する。このとき、割付数は2となる。
但し、空白領域の存在を判定する場合には、反転回数が所定値以下のラインに、最初のラインまたは最終のラインが含まれる場合は、原稿周辺部の余白領域であると判断して、これを除外する必要がある。
このように、主走査方向及び副走査方向における反転回数の分布を求め、空白領域の有無を判定することで、2in1原稿であるか否かを判別することができる。
なお、ここでは、割付数が2の2in1原稿の場合の判別基準を例示したが、割付数が4の4in1原稿の場合は、主走査方向、副走査方向ともに、原稿画像間を分ける空白部分に応じた空白領域が現れ、同様にして判別できる。
また、ここでは、主走査方向、副走査方向のライン毎に、反転回数(または、エッジの数)の分布を求めたが、ライン毎の画素値の平均値や分散値を用いても良い。
その他、このような画像データを用いて割付原稿であるか否かを判別する方法以外に、設定条件より、割付原稿であるかどうかを判別することも可能である。
例えば、操作パネル6を用いた入力操作にて、画像モードにおける分割画像出力モードが選択された場合には、これをデジタルカラー複写機1の各部の動作を制御するための主制御部(CPU)が認識することで、入力された画像データが割付原稿のものであることを判別できる。
または、カラー画像入力装置2が、コンピュータに接続されたスキャナの場合であれば、読み取り条件の設定画面(スキャナドライバの設定画面)において、原稿種別を選択するので、この選択結果を上記主制御部(CPU)が認識することで判別できる。
そして、編集処理部16が、上記した原稿種別判別部13にて求められた割付状態に応じて、割付原稿を分割する位置を決定してこれに基づいて画像を分割し、分割した各部分の画像に対して回転処理、拡大処理を行って、1頁ずつの画像データに変換する編集処理を行う。これにより、割付原稿の複数の原稿画像を1頁ずつ出力処理する頁単位処理が可能になる。
文書照合処理部14は、頁単位処理において、割付原稿に登録原稿に類似する原稿画像が含まれていると判定すると、強制モードでは、全頁の出力処理を規制し、通常モードでは、該当する頁の出力処理のみを規制する。
また、例えば、精度よく判定を行って処理を行う場合、登録原稿におけるハッシュ値が一致した特徴点の照合対象画像上の分布状態、あるいは、照合対象原稿を分割して、それぞれの領域に存在する特徴点を用いて投票処理を行う際に、上記判定結果を参照するようにしても良い。例えば、割付数の検出結果を参照して、特徴点の照合対象画像上の分布状態や特徴点を用いた投票処理を行う構成とすることもできる。
このように、割付数を参照するようにすることで、割付数を検出する構成が別に必要になるが、割付原稿を判定する判定精度を向上させることができる。なお、割付数を参照して処理を行うか否かは、例えば、通常モードと高精度モードを設けておき、操作パネルより選択できるようにしておけば良い。
但し、本願発明は、たとえこのような割付状態を検出したり、ユーザに入力させたりすることなく、画像照合技術を用いて、照合対象原稿が割付原稿のものであるか否かを判断し、割付原稿であれば、割付原稿に含まれる各画像の判定結果に基づいて画像単位で出力処理を制御可能であるという点に利点を有するものである。
また、本実施形態では、本発明をデジタルカラー複写機1に適用する場合について説明したが、本発明の適用対象はこれに限るものではなく、例えば、図23に示すように、デジタルカラー複合機(MFP:Multi-Function Printer)100に適用してもよい。このデジタルカラー複合機100は、コピー機能、プリンタ機能、ファクシミリ機能、スキャナ機能、scan to e-mail機能、ファイリング機能等を有している。
なお、図23においては、デジタルカラー複写機1において説明したものと同等の機能を有する部材には、同じ記号を付しており、それらの説明については省略する。
ここで、送信装置5は、例えばモデムやネットワークカードより構成される。送信装置5は、ネットワークカード、LANケーブル等を介して、ネットワークに接続された他の装置(例えば、パーソナルコンピュータ、サーバー装置、他のデジタル複合機、ファクシミリ装置等)とデータ通信を行う。
送信装置5は、画像データを送信する場合、相手先との送信手続きを行って送信可能な状態が確保されると、所定の形式で圧縮された画像データ(スキャナで読み込まれた画像データ)をメモリから読み出し、圧縮形式の変更など必要な処理を施して、通信回線を介して相手先に順次送信する。
また、送信装置5は、画像データを受信する場合、通信手続きを行うとともに、相手先から送信されてくる画像データを受信してカラー画像処理装置3に入力する。受信した画像データは、カラー画像処理装置3で伸張処理、回転処理、解像度変換処理、出力階調補正、階調再現処理などの所定の処理が施され、カラー画像出力装置4によって出力される。なお、受信した画像データを記憶装置(図示せず)に保存し、カラー画像処理装置3が必要に応じて読み出して上記所定の処理を施すようにしてもよい。
また、複合機100では、操作パネル6を用いて、ユーザの入力画像データに対する処理要求(例えば処理モード(複写、印刷、送信、編集など)、処理枚数(複写枚数、印刷枚数)、入力画像データの送信先など)を入力することができ、文書照合処理部14に制御部7は、類似ありと判定された場合に、複写処理だけでなく、印刷、送信、編集などの出力処理について規制する。
例えば、ファクシミリを送信するモードが選択され、文書照合処理部14において、出力禁止であると判定された場合、メモリに格納されている画像データの消去を行い、ファックスの送信を行わないようにする。あるいは、登録原稿ではあっても、ファックス送信が許可されている場合(登録原稿を表すインデックスIDと送信先を対応付けて、予め格納しておく)は、送信先のデータを参照して送信するようにしても良い。
図24を用いて、上記したデジタルカラー複合機100におけるファックス処理について説明する。なお、図24では、処理がスルーとなる処理部を点線で表している。ここでは使用するが、ファックス処理においては、領域分離処理部17は必須ではない。また、ファックス送信の場合、階調再現処理部22の後、解像度変換部、圧縮/伸張処理部で処理が行われる。
送信においては、カラー画像入力装置2より読み込まれた、例えば8ビットの入力画像データはカラー画像処理装置3において上記の各処理が施され、入力階調補正部15で、例えば、マトリクス演算等によりRGB信号を輝度信号(図24ではK信号)に変換する。輝度信号に変換された画像データは、領域分離処理部17、空間フィルタ処理部20で所定の処理がなされ、階調再現処理部22において、例えば、誤差拡散処理により2値化される。2値化された画像データは、必要に応じて回転処理がなされ、圧縮/伸張処理部にて、所定の形式で圧縮されて、不図示のメモリに格納される。
送信装置(例えば、モデム)5にて相手先との送信手続きを行い送信可能な状態が確保されると、画像データは所定の形式で圧縮された状態で上記メモリから読み出され、圧縮形式の変更など必要な処理が施され、相手先に通信回線を介して順次送信される。
一方、受信においては、相手先から通信回線を介して画像が送信されてくると、制御部は、通信手続きを行いながら相手先から送信されてくる画像を受信すると共に、所定の形式に圧縮された状態の受信画像データは、カラー画像処理装置3に入力される。
カラー画像処理装置3に入力された受信画像データは、圧縮/伸張処理部での処理により伸張されページ画像として送信されてきた原稿画像が再現される。再現された原稿画像は、カラー画像出力装置の能力に応じて、回転処理がなされ解像度変換部にて解像度変換処理が行なわれる。ページ単位の画像として再現された画像データは、カラー画像出力装置より出力される、
なお、以上では、モノクロの画像データを処理する場合を例として示したが、例えば、領域分離処理部17と空間フィルタ処理部20との間に、カラー画像入力装置2より読み込まれたRGB信号に対し、色再現の忠実化実現のために不要吸収成分を含む、トナーやインクのCMY(C:シアン・M:マゼンタ・Y:イエロー)色材の分光特性に基づいた色濁りを取り除く処理を行う色補正部18、および、色補正後のCMYの3色信号から黒(K)信号を生成する黒生成、元のCMY信号から黒生成で得たK信号を差し引いて新たなCMY信号を生成する黒生成下色除去部を備えたカラー画像処理装置を用いても構わない。
さらに、デジタルカラー複合機100においては、上記入力画像データとして、スキャナにて原稿を読み取り入力される画像データと、コンピュータ(ソフトウェア)を用いて作成される電子データ、例えば、電子データのフォーマットに、コンピュータ(ソフトウェア)を用いて必要事項を入力して作成される電子データ、すなわち、紙ベースのデータを電子化したもの、電子データで直接作成したもの(電子申請など)、2通りが考えられる。
また、図23の構成では、類似性判定処理をデジタルカラー複合機100に備えられた文書照合処理部14において行っているが、これに限るものではない。例えば、制御部7及び文書照合処理部14が有する機能の一部または全部を、デジタルカラー複合機100に通信可能に接続された外部装置において実行するようにしてもよい。
その他、本発明を、例えば、モノクロの複合機に適用してもよい。また、複合機に限らず、例えば単体のファクシミリ通信装置、複写機、画像読取装置などに適用してもよい。
例えば、図25は、本発明をフラットベッドスキャナ101に適用した場合の構成例を示すブロック図である。
この図に示すように、フラットベッドスキャナ101は、カラー画像入力装置2とカラー画像処理装置3’とを備えている。カラー画像処理装置3’は、A/D変換部11、シェーディング補正部12、文書照合処理部14、制御部7(図25では図示せず)、メモリ8(図25では図示せず)から構成されており、これに、カラー画像入力装置2が接続され、全体として画像データ出力処理装置を構成している。なお、カラー画像入力装置(画像読取手段)2におけるA/D変換部11、シェーディング補正部12、文書照合処理部14、制御部7、メモリ8の機能は、上述したデジタルカラー複写機1と略同様であるのでここでは説明を省略する。
また、上記各実施形態において、デジタルカラー複写機1、複合機100、フラットベッドスキャナ101に備えられる文書照合処理部及び制御部を構成する各部(各ブロック)は、CPU等のプロセッサを用いてソフトウェアによって実現される。すなわち、デジタルカラー複写機1、複合機100、フラットベッドスキャナ101は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラム及び各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデジタルカラー複写機1の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、デジタルカラー複写機1、複合機100、フラットベッドスキャナ101に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによって達成される。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、デジタルカラー複写機1、複合機100、フラットベッドスキャナ101を通信ネットワークと接続可能に構成し、通信ネットワークを介して上記プログラムコードを供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
また、デジタルカラー複写機1、複合機100、フラットベッドスキャナ101の各ブロックは、ソフトウェアを用いて実現されるものに限らず、ハードウェアロジックによって構成されるものであってもよく、処理の一部を行うハードウェアと当該ハードウェアの制御や残余の処理を行うソフトウェアを実行する演算手段とを組み合わせたものであってもよい。
本発明のコンピュータシステムは、フラットベッドスキャナ・フィルムスキャナ・デジタルカメラなどの画像入力装置、所定のプログラムがロードされることにより上記類似度算出処理や類似性判定処理など様々な処理が行われるコンピュータ、コンピュータの処理結果を表示するCRTディスプレイ・液晶ディスプレイなどの画像表示装置、及びコンピュータの処理結果を紙などに出力するプリンタ等の画像形成訴追により構成されてもよい。さらには、ネットワークを介してサーバーなどに接続するための通信手段としてのネットワークカードやモデムなどが備えられていてもよい。
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。