〔実施の形態1〕
本発明の実施の一形態について説明すれば、以下の通りである。本実施の形態にかかる画像判断装置は、オリジナル画像に対して付加画像が付加された特定画像データ(以下、単に、特定画像データと称する)から上記付加画像を除去した除去画像データ(以下、単に除去画像と称する)を作成し、当該除去画像と比較対象である比較画像とを比較して、両者の類似度を求めることにより、特定画像と比較画像との類似度を求める構成である。
そして、本実施の形態にかかる画像形成装置は、上記画像判断装置によって判断された類似度に基づいて、上記特定画像と比較画像とのいずれかを画像形成するかを決定し、決定された画像を画像形成する構成である。以下の説明では、上記画像判断装置を備えた画像形成装置について説明する。
なお、上記付加画像とは、オリジナル画像に付加されたと推定される画像を示している。つまり、上記付加画像とは、オリジナル画像に対して後から追加(付加)、または、オリジナル画像が画像形成される前に既に記録材に記録されていた可能性が高いと判断される画像である。従って、上記付加画像は、必ずしも、元のオリジナル画像に対して後で付加された画像である必要はない。また、上記オリジナル画像とは、例えば、1つの画像データに基づいて記録材の上に形成されたものである。そして、上記特定画像は、オリジナル画像に付加画像が追加された状態の画像である。具体的には、上記特定画像は、例えば、1つの画像データに基づいて記録材上に画像形成されたオリジナル画像の上に、人の手によって後から手書きで追記された状態のものである。
図1は、本実施の形態にかかる画像形成装置1の概略の構成を示すブロック図である。上記画像形成装置1は、図1に示すように、画像判断装置2、画像読取部4、通信部3、印刷画像取得部5、画像形成部6、表示部8、操作部9および記憶部7を備えている。
上記画像読取部4は、原稿載置台(図示せず)に載置された原稿を、例えば、撮像素子等を用いて光学的に読取り、読取画像を得るものである。上記画像読取部4としては、例えば、スキャナ等が挙げられる。
上記通信部3は、上記画像形成装置1とネットワークを介して接続されている各種装置に対して種々の情報を送受信するものである。そして、上記通信部3は、外部(各種装置)から画像を受信するものである。
上記記憶部7は、画像判断装置2において、上記通信部3または画像読取部4から取得した画像と比較するための比較画像を少なくとも記憶するものである。
上記画像判断装置2は、画像読取部4によって読取られた読取画像または通信部3を介して受信した画像と、記憶部7に記憶されている比較画像との類似度を求めるものである。また、上記画像判断装置2は、求めた類似度に基づいて、上記読取画像または画像と同じであると推定される比較画像の候補(1つでも複数でもよい)を決定するものである。なお、以下の説明では、通信部3を介して受信した画像と画像読取部4によって読取られた読取画像とを併せて特定画像として説明する。つまり、上記画像判断装置2は、特定画像と比較画像との類似度を求めるものである。なお、上記画像判断装置2の詳細な構成については後述する。
上記画像形成部6は、上記特定画像および比較画像を画像形成するものである。また、上記画像形成部6は、補正部(図示せず)を備えている。上記補正部は、画像形成するべき画像(比較画像、特定画像)に対して、画像形成部6の特性に応じて補正を施すものである。つまり、上記画像形成部6では、特定画像および比較画像に対して階調補正等の補正が行われた画像が出力される。なお、画像形成部6に送信される特定画像および比較画像が、例えば、既に、画像形成部6の特性に応じた補正が施されている場合には、上記補正部における補正は行われず、そのまま画像形成されることとなる。
上記印刷画像取得部5は、画像判断装置2によって求められた特定画像と比較画像との類似度に基づいて、画像形成すべき画像を取得するものである。具体的には、上記印刷画像取得部5は、画像判断装置2による比較画像と特定画像との類似度の判断の結果、または、操作部9から入力された画像形成命令に基づいて、画像形成部6にて画像形成すべき印刷画像を取得するものである。
上記表示部8は、種々の情報を表示するものである。例えば、上記表示部8は、画像判断装置2によって特定画像との類似度が高いと判断された比較画像を表示する。
上記操作部9は、各種の操作に関する入力を行うものである。換言すると、上記操作部9は、操作者によって入力された種々の命令を受け付けるものである。
ここで、図1を参照して、上記画像判断装置2の詳細な構成について説明する。上記画像判断装置2は、特定画像取得部10、比較画像取得部40、除去画像生成部20および決定部30を備えている。
上記特定画像取得部10は、通信部3を介して受信した画像または画像読取部4によって読取られた読取画像を特定画像として取得するものである。換言すると、上記特定画像取得部10は、操作者が画像形成を望んでいる画像(特定画像)を取得するものである。
比較画像取得部40は、上記記憶部7から、上記特定画像の比較対象である比較画像を取得するものである。
上記除去画像生成部20は、特定画像取得部10によって取得された特定画像を解析して、オリジナルの部分(オリジナル画像)に付加されている部分(付加画像)を検出して、上記オリジナルの部分から当該付加されている部分を除去することにより、除去画像を生成するものである。つまり、除去画像生成部20は、特定画像から付加画像を除去することにより、オリジナル画像の部分のみが存在する除去画像を生成するものである。例えば、通信を介して受信した画像(特定画像)および画像読取部4にて読み取れられた読取画像(特定画像)には、元の原稿(オリジナル画像)の内容に、手書き等によって追記された部分(付加画像)が存在する場合がある。この場合、上記除去画像生成部20では、上記追記されたと推定される部分を判断して、特定画像から当該追記された部分を除去することで、元の原稿の内容のみを抽出し除去画像を作成している。ている。なお、上記除去画像生成部20の詳細な構成については後述する。
上記決定部30は、除去画像生成部20によって生成された除去画像と比較画像取得部40によって取得された比較画像とを比較して、類似度(類似の度合い)を判定するものである。より具体的には、上記決定部30は、上記除去画像と、上記比較画像取得部40が記憶部7から取得した複数の比較画像のそれぞれとを比較して、それぞれの差異(類似度)を求める。そして、上記決定部30は、上記差異(類似度)に基づいて、上記除去画像と最も類似している比較画像を決定するものである。そして、上記決定部30は、比較部32を備えている。上記比較部32は、除去画像と比較画像とを比較して、その差異を求めるものである。
このように、画像判断装置2では、除去画像と比較画像とを比較して、上記除去画像と類似度が高いと判断される比較画像を決定している。
図2は、画像判断装置2の構成を説明するブロック図である。ここで、除去画像生成部20の詳細について説明する。上記除去画像生成部20は、図2に示すように、領域分離部21、付加画像特定部22および付加画像除去部23を備えている。
上記領域分離部21は、特定画像を種々の領域に分離するものである。具体的には、上記領域分離部21は、特定画像を、例えば、文字領域、背景領域および網点・写真領域に分離する。
上記付加画像特定部22は、上記特定画像から、オリジナル画像に付加されている付加画像を特定するものである。換言すると、上記付加画像特定部22は、オリジナル画像に付加画像が付加された状態の特定画像から、当該付加画像と推定される部分を特定するものである。また、上記付加画像特定部22は、上記領域分離部21によって分離された領域のうち、上記文字領域および/または背景領域から、付加画像を特定している。
そして、上記付加画像特定部22は、ヒストグラム算出部24、回転処理部25および色判定部26を備えている。
上記ヒストグラム算出部24は、上記特定画像のブロックヒストグラムおよび濃度ヒストグラムを求めるものである。ここで、ブロックヒストグラムとは、例えば、ある画素が、白または黒であるかを判断するヒストグラムである。具体的には、画素に含まれる情報(例えば、画素の濃度)をある閾値を境界として、二分しブロックヒストグラムを作成する。つまり、上記ヒストグラム算出部24は、画像中の黒画素の空間的な分布を判断するために、上記特定画像を複数のブロックに分割し、各ブロックの黒画素をカウントしてヒストグラムを作成する。また、濃度ヒストグラムは、画像全体の画素濃度分布を判断するために、画素の濃度を所定濃度範囲ごとに集計したヒストグラムである。また、上記ヒストグラム算出部24は、少なくとも文字領域および/または背景領域の濃度ヒストグラムを算出している。
上記回転処理部25は、上記ヒストグラム算出部24によって算出されたブロックヒストグラムの結果に基づいて、特定画像全体の傾きを補正するものである。例えば、画像読取部4にて、原稿が傾いた状態で読取られた場合、読取画像も傾いた状態のものが得られる。そこで、回転処理部25は、上記ブロックヒストグラムの結果に基づいて、上記傾きを補正する。具体的には、上記ヒストグラム算出部24は、ブロックヒストグラムの結果に基づいて、例えば、空白でない複数の画素からなる矩形のブロックが周期的に配置されている場合には、その領域を文字列と判断し、その文字列の傾きを検出することができる。そして、上記回転処理部25では、上記文字列の傾きに基づいて、特定画像を回転処理することで、原稿が正常な位置で読取られた場合と同じ傾きのない画像とすることができる。
上記色判定部26は、特定画像に含まれるカラー画像を特定する。具体的には、上記色判定部26は、少なくとも上記特定画像の有彩色・無彩色の判定を行う。なお、カラー画像を特定する方法としては、上記の他に、明度、彩度および色相に基づいて特定してもよい。
そして、付加画像特定部22は、上記ヒストグラム算出部24および色判定部26の結果に基づいて、特定画像中の付加画像の領域を特定する。付加画像を特定する方法としては、例えば、以下の方法が挙げられる。
具体的には、例えば、付加画像特定部22は、ヒストグラム算出部24によって算出された濃度ヒストグラムの結果に基づき、濃度値が所定範囲に分布する領域を付加画像であると判断する。例えば、鉛筆等で原稿に追記した場合、鉛筆による追記部分は、トナーやインクと比べて、濃度値は低い値になる。従って、濃度ヒストグラムに基づく濃度値を用いて付加画像を特定することで、例えば、鉛筆等による追記部分を特定することができる。
また、付加画像特定部22は、ヒストグラム算出部24によって算出されたブロックヒストグラムの結果に基づいて、文字列であるか否かと文字列である場合にはこの文字列の傾きとを判断することができる。そして、上記付加画像特定部22は、上記文字列の傾きが全体と異なる文字列を付加画像であると判断する。例えば、原稿に文字列を手書きで記載した場合、文字の大きさは不均一になり、文字列の傾きの不均一になる。従って、上記回転手処理部によって特定画像の傾きを補正した後における全体の文字列(複数の文字列)の傾きと異なる傾きの文字列は、手書きによって追記された可能性が高い。そこで、複数の文字列の傾きと異なる傾きを有する文字列を付加画像とすることで、例えば、鉛筆等による追記部分を特定することができる。
また、付加画像特定部22は、少なくとも文字領域および/または背景領域の色判定部26による判定結果に基づいて、有彩色と判断された部分を付加画像であると判断する。例えば、文字原稿の場合には、当該原稿は白黒の場合が多く、この原稿に印(通常赤色)が押された場合にはこの部分が付加画像に相当し、有彩色の領域が形成されることになる。そこで、上記付加画像特定部22は、有彩色の部分を付加画像として特定することで、例えば印等による追記部分を特定することができる。
このようにして、上記付加画像特定部22は、特定画像に含まれる付加画像を特定することができる。なお、上記の説明では、濃度ヒストグラムに基づく濃度値、文字列の傾きの度合いおよび有彩色・無彩色の有無によって付加画像を判断しているが、付加画像を特定する方法としては上記に限定されるものではない。また、上記付加画像特定部22は、上記例示の全ての方法を用いて付加画像を判断する必要はなく、上記判定方法のうち少なくとも1つの方法を用いて付加画像を特定すればよい。また、上記例示の付加画像の特定方法を、操作者が適宜選択可能になるようにしてもよい。また、例えば、単に画素の濃度値が所定の値以下または濃度値が所定範囲内の領域を付加画像としてもよい。
上記付加画像除去部23は、上記付加画像特定部22によって特定された付加画像を、上記特定画像から除去するものである。そして、上記付加画像除去部23によって付加画像が除去された特定画像が除去画像となる。
次に、上記決定部30について説明する。
上記決定部30は、比較部32と特徴点生成部31を備えている。上記特徴点生成部31は、除去画像から当該除去画像の特徴点を生成するものである。上記特徴点とは、上記除去画像の特徴を示す情報であり、上記除去画像を特定することができる情報である。上記特徴点としては、具体的には、例えば、原稿の特定の場所に記載されている可能性が高い情報や罫線情報、各画像領域(文字領域、背景領域、網点・写真領域等)の配置情報等が挙げられる。また、原稿の特定場所に記載されている可能性が高い情報とは、例えば、原稿の上方に付されている社名やロゴ、原稿の下方に付されている頁情報等が挙げられる。上記特徴点生成部31は、上記除去画像から上記特徴点を抽出する。また、本実施の形態では、上記特徴点生成部31は、比較画像取得部40が取得した比較画像の特徴点も抽出している。
また、上記特徴点生成部31は、文字認識部33および罫線認識部34を備えている。上記文字認識部33は、除去画像の文字領域に記載されている文字を認識するものである。これにより、上記特徴点生成部31は、除去画像に記載されている文字を認識することができ、上記除去画像に記載された特定の文字情報を特徴点とすることができる。なお、上記文字認識部33は、外部の辞書情報記録部60に記録されている辞書情報に基づいて認識した文字情報の認識の精度を挙げている。また、辞書情報記録部60は、例えば、ICカード判断部71を備えたユーザID入力部70からユーザ情報の入力を記録し、当該ユーザ情報を辞書情報として記録している。また、上記ICカード判断部71では、例えば、非接触に他からの情報を受け付けることができる。この上記辞書情報記録部60およびユーザIDは、画像形成装置1に備えられていても良く、また、別体で設けられていても良い。
上記罫線認識部34は、除去画像上の罫線(線)を認識するものである。特に、表が除去画像中の大部分を占める場合には、上記罫線(線)が当該除去画像の特徴を示す特徴点となる。
上記比較部32は、除去画像と比較画像とを比較して、両者の類似度を求めるものである。本実施の形態では、上記特徴点生成部31によって生成された除去画像の特徴点と比較画像の特徴点とを比較することで類似度を求めている。
ここで、比較部32の詳細な構成を説明する。
上記比較部32は、様式比較部35と文字比較部36とを備えている。様式比較部35は、上記特徴点生成部31によって生成された特徴点のうち、様式に関するものを比較するものである。具体的には、様式比較部35は、除去画像と比較画像とにそれぞれ形成されている線(罫線)同士や、文字領域の位置同士を比較する。つまり、様式比較部35は、除去画像と比較画像との全体の構成(各画像領域の配置)を比較する。
上記文字比較部36は、特徴点生成部31によって生成された比較画像と除去画像の特徴点のうち、特定の場所に存在する文字情報同士を比較する。具体的には、上記文字比較部36は、特徴点生成部31によって抽出された例えば、社名や作成者、頁数等の文字情報同士を比較する。
そして、上記比較部32は、これら文字比較部36と様式比較部35との比較結果に基づいて、除去画像と比較画像との類似度を算出する。なお、具体的な類似度の算出方法については後述する。
また、上記決定部30は、比較部32によって算出された類似度に基づいて、上記除去画像と対応する比較画像を決定する。具体的には、上記比較部32によって除去画像と記憶部7に記憶されている複数の比較画像のそれぞれとが比較された後、上記決定部30は、算出された複数の類似度のうち、所定値よりも高い類似度を有する比較画像を、上記除去画像と対応する画像であると決定する。すなわち、上記算出された類似度が全て所定値以下である場合には、上記決定部30は、上記除去画像と対応する画像はないと判断する。また、上記決定部30は、上記所定値以上である類似度を有する比較画像のうち、最も高い類似度である比較画像を上記除去画像と対応する画像であると決定してもよい。
また、例えば、上記決定部30によって上記除去画像との類似度が所定値以上である比較画像を決定し、その中から操作者が対応する画像を決定するようにしてもよい。
このようにして、画像判断装置2では、上記特定画像の中から付加画像を除いた除去画像と対応する(つまり、類似度が高い)比較画像を決定する。
ここで、図1を参照して、上記画像形成装置1における各ブロック間でやり取りされる情報について説明する。
まず、上記画像読取部4にて画像形成すべき原稿が読取られ読取画像が生成される、または、通信部3にて外部から送信されてきた画像形成すべき画像が受信される。次に、画像判断装置2の特定画像取得部10は、上記読取画像(画像)を特定画像として取得する。
そして、特定画像取得部10にて取得された特定画像は除去画像生成部20に送信される。除去画像生成部20では、受信した特定画像を領域分離し、その後、上記特定画像に含まれる付加画像を付加画像特定部22によって特定する。そして、付加画像除去部23では、上記特定画像から付加画像が除去されて、除去画像が生成される。
そして、除去画像生成部20によって生成された除去画像を取得した決定部30は、特徴点生成部31を動作させて、当該除去画像から上記特定画像を特定するための特徴点を生成する。
一方、比較画像取得部40は、記憶部7に記憶されている上記除去画像と比較するべき画像を比較画像として取得する。そして、比較画像取得部40は、取得した比較画像を決定部30に送信する。
このとき、比較画像を特定するための特徴点が生成されていない状態で、上記決定部30が比較画像を受信した場合には、上記決定部30は、特徴点生成部31を動作させて、比較画像の特徴点を生成する。また、例えば、既に記憶部7に上記比較画像の特徴点と、当該比較画像とが記憶されている場合には、上記比較画像取得部40は、上記特徴点を比較画像として上記決定部30に送信する。
次に、上記決定部30は、比較部32を動作させて上記除去画像の特徴点と比較画像の特徴点とを比較し、両者の類似度を算出する。そして、上記決定部30は、算出された類似度のうち、所定値よりも高い類似度である比較画像を決定する。
次に、上記決定部30は、上記所定値よりも類似度が高い比較画像の結果を印刷画像取得部5に送信する。
そして、印刷画像取得部5では、表示部8を動作させて、上記結果に基づく比較画像を表示する。つまり、印刷画像取得部5は、表示部8に、上記所定値よりも高い類似度の比較画像を表示する。そして、操作者は、操作部9を用いて、この表示部8に表示された結果に基づいて特定画像を画像形成するか、類似度が高い比較画像を画像形成するかを選択する。そして、操作者による選択命令は、操作部9を介して印刷画像取得部5に与えられる。
上記印刷画像取得部5は、上記選択命令に基づいて、特定画像を画像形成する旨を受信した場合には、特定画像取得部10を動作させて上記特定画像を取得する。一方、印刷画像取得部5は、上記比較画像を画像形成する旨を受信した場合には、上記比較画像取得部40を動作させて比較画像を取得する。そして、上記印刷画像取得部5は、取得した特定画像または比較画像を画像形成部6に送信し、画像形成部6に画像形成動作を行わせる。
なお、上記の説明では、上記決定部30が所定値よりも高い類似度である比較画像を決定し、最終的にどの比較画像または特定画像を画像形成すべきかを操作者が選択する例について説明している。しかしながら、例えば、画像判断装置2が、画像形成すべき画像(特定画像、比較画像)を決定するようにしてもよい。この場合には、上記決定部30は、類似度が最も高い比較画像を決定した後、この類似度が画像形成すべき所定値よりも高い場合には比較画像を画像形成することを決定し、上記類似度が上記所定値よりも低い場合には特定画像を画像形成することを決定すればよい。そして、上記決定部30は、上記決定に基づいて、画像形成すべき画像(特定画像、比較画像)に関する情報を印刷画像取得部5に送信すればよい。これにより、操作者は、単に原稿を画像読取部4に読取らせるだけで、所望の画像を画像形成することができる。
図3は、上記画像判断装置2における画像比較にかかる処理を説明するフローチャートである。以下に、図3を参照して、本実施の形態における画像比較処理について説明する。
まず、特定画像取得部10は、画像読取部4または通信部3から特定画像を取得する(S10)。次に、上記除去画像生成部20は、上記特定画像取得部10によって取得された特定画像に含まれる付加画像を除去して、除去画像を生成する除去画像生成処理を行う(S11)。
次に、比較画像取得部40は、記憶部7から比較画像を取得する(S12)。その後、上記決定部30は、上記除去画像および比較画像の特徴点を生成するための特徴点生成処理を行う(S13)。そして、上記比較部32は、生成した上記特徴点に基づいて、除去画像と比較画像とを比較して両者の類似度を算出する(S14)。
次に、決定部30は、上記算出された類似度に基づいて、当該類似度が所定値よりも高いか否かを判断する(S15)。そして、上記ステップS15にて、上記類似度が所定値よりも高い場合には、この類似度の比較画像を特定画像と対応している画像候補とする(S16)。また、上記ステップS15にて、上記類似後が所定値以下である場合には、ステップS17に進む。
そして、上記決定部30は、他に比較すべき比較画像が存在するか否かを判断する(S17)。上記ステップS17にて、他に比較すべき比較画像が存在する場合には、決定部30は比較画像取得部40に他の比較画像を取得するための命令を出し、処理はステップS12に進む。
上記ステップS17にて、他に比較すべき比較画像が存在しない場合には、決定部30は、特定画像と類似している比較画像を決定する(S18)。具体的には、決定部30は、ステップS16にて、類似度が所定値以上の比較画像全てを除去画像と対応する画像候補として決定してもよく、また、上記類似度が最も高い比較画像のみを画像候補としてもよい。
このようにして、画像判断装置2は、特定画像から付加画像を除去した除去画像と比較画像との類似度に基づいて、上記除去画像(特定画像)と対応している画像候補を決定している。
図4は、除去画像生成部20における除去画像生成処理の流れを説明するフローチャートである。図4を参照して、除去画像生成処理について説明する。
特定画像取得部10から特定画像を取得した除去画像生成部20は、まず、領域分離部21を動作させて、上記特定画像の領域分離を行う。具体的には、上記領域分離部21は、上記特定画像を、例えば、文字領域、背景領域および網点・写真領域の3つの領域に分離する(S20)。次に、上記付加画像特定部22のヒストグラム算出部24は、上記文字領域のブロックヒストグラムを算出する(S21)。
次に、付加画像特定部22の回転処理部25は、上記文字領域のブロックヒストグラムの結果に基づいて、上記特定画像の回転処理を行う。具体的には、回転処理部25は、ブロックヒストグラムの結果より文字列の傾きを算出し、画像が傾いているか否かを判断する(S22)。そして、上記回転処理部25は、上記ステップS22の結果に基づいて回転処理を行う(S23)。次に、付加画像特定部22は、複数の文字列の傾きと異なっている傾きを有する文字列があるか否かを判断する(S24)。そして、複数の文字列の傾きと異なっている傾きを有する文字列があると判断すると、上記付加画像特定部22は、上記傾きが他と異なっている文字列を付加画像と特定する(S25)。
一方、領域分離部21によって特定画像の領域分離が行われた後、ヒストグラム算出部24は、文字領域および背景領域の濃度ヒストグラムを算出する(S30)。そして、上記付加画像特定部22は、上記濃度ヒストグラムの結果から、濃度ヒストグラムに基づく濃度値が所定範囲内の領域が存在するか否かを判断する(S31)。
そして、上記ステップS31にて、濃度ヒストグラムの値が所定範囲内の領域が存在すると判断した場合、上記付加画像特定部22は、当該領域を付加画像と特定する(S32)。
また、領域分離部21によって特定画像の領域分離が行われた後、上記色判定部26は、文字領域および背景領域の色の判定を行う。具体的には、色判定部26は、文字領域および背景領域の有彩色・無彩色の領域判定を行う(S40)。そして、上記付加画像特定部22は、上記色判定部26による有彩色・無彩色の判定結果より、文字領域および背景領域に有彩色の部分が存在するか否かを判断する(S41)。そして、上記付加画像特定部22は、有彩色の部分があると判断すると、当該有彩色の部分を付加画像と特定する(S42)。
これら、ステップS21〜S25までの傾き判定処理と、ステップS30〜S32までの濃度判定処理と、ステップS40〜S42までの色判定処理とは、並列に行ってもよいし、順番に行っても良い。
そして、上記の各判定処理の後、上記付加画像除去部23は、上記特定画像に付加画像が含まれているか否かを判断する(S26)。上記ステップS26にて、付加画像があると判断した場合には、付加画像除去部23は、特定画像から上記付加画像を除去することにより、除去画像を生成する(S27)。一方、上記ステップS26にて、付加画像がないと判断した場合には、付加画像除去部23は、上記特定画像を除去画像とする(28)。
このようにして、除去画像生成部20は、除去画像を生成する。
なお、上記の説明では、付加画像を特定するために、傾き判定処理と濃度判定処理と色判定処理との3つの処理を行っているが、少なくとも1つの判定処理を行って付加画像を特定すればよい。また、他の方法を用いて付加画像を特定してもよい。
図5は、特徴点生成部31における特徴点生成処理の流れを説明するフローチャートである。図5を参照して、特徴点生成処理について説明する。
まず、特徴点生成部31は、特徴点を生成するために除去画像を取得する(S50)。
次に、特徴点生成部31は、文字認識部33および罫線認識部34を動作させて、除去画像中に含まれる文字列の文字認識および除去画像中に含まれる罫線(線)を認識する(S51)。具体的には、文字認識部33は、除去画像生成部20にて特定画像の領域分離結果に基づいて、文字領域と判断されている領域について文字認識を行う。また、このとき、文字認識部33は、辞書情報記録部60に記録されている辞書情報に基づいて文字認識を行う。
次に、特徴点生成部31は、文字認識部33による文字認識結果に基づいて、除去画像中に社名に関する社名情報が記載されているか否かを判断する(S52)。具体的には、操作者が予め辞書情報記録部60に社名情報を記録しておく。そして、上記特徴点生成部31は、文字認識部33によって認識した文字列の中に、辞書情報記録部60に記録されている社名情報と同じ情報が含まれているか否かを判断する。なお、このとき、特徴点生成部31は、除去画像中に社名情報が含まれているか否かを判断する際に、例えば、除去画像の上部付近のみに社名情報が含まれているか否かを判断するようにしてもよい。
上記ステップS52にて、除去画像中に社名情報が含まれていると判断すると、上記特徴点生成部31は、特徴点に上記社名情報を加える(S53)。具体的には、上記特徴点生成部31は、図示しない特徴点情報格納部を有しており、その中に上記除去画像の特徴点を示す特徴点情報を格納している。そして、特徴点生成部31は、その特徴点情報に上記社名情報を加えることで特徴点を作成している。
上記ステップS53の後、または、上記ステップS52にて除去画像中に社名情報が含まれていないと判断した場合、上記特徴点生成部31は、上記除去画像中に機密事項に関する内容が含まれているか否かを判断する。上記機密事項に関する内容とは、例えば、“極秘”や“社外秘”等の除去画像中に機密事項が含まれていることを示す文字列である。つまり、上記特徴点生成部31は、除去画像中に機密事項が含まれていることを示す文字列が当該除去画像中に含まれているか否かを判断する(S54)。これにより、特徴点生成部31は、除去画像中に機密事項に関する内容が含まれているか否かを判断することができる。
上記ステップS54にて、除去画像中に上記機密事項に関する内容が含まれていると判断すると、特徴点生成部31は、上記特徴点に、上記機密事項が含まれていることを示す文字列(機密事項情報)を加える(S55)。そして、処理はステップS56に進む。また、上記ステップS54にて、除去画像中に機密事項に関する内容が含まれていないと判断すると、処理はステップS56に進む。なお、一般に上記“極秘”や“社外秘”等の文字列は画像の上部に記載されていることが多い。このため、上記特徴点生成部31は、例えば、除去画像の上部のみに上記文字列があるか否かを判断するようにしても良い。
次に、上記特徴点生成部31は、上記除去画像中に、他と比べて大きなサイズの文字(文字列)があるか否かを判断する(S56)。
そして、上記ステップS56にて、除去画像中に他と比べて大きなサイズの文字(文字列)があると判断すると、特徴点生成部31は、特徴点に上記大きなサイズの文字の内容を加える(S57)。そして、処理はステップS58に進む。また、上記ステップS56にて、除去画像中に他と比べて大きなサイズの文字(文字列)がないと判断すると、処理はステップS58に進む。
次に、上記特徴点生成部31は、上記除去画像中に、日付情報が含まれているか否かを判断する(S58)。そして、除去画像中に日付情報が含まれていると判断すると、特徴点生成部31は、上記特徴点に上記日付情報を加える(S59)。そして、処理はステップS60に進む。また、上記ステップS58にて、除去画像中に日付情報がないと判断すると、処理はステップS60に進む。なお、一般に上記日付情報は画像の上部に記載されていることが多い。このため、上記特徴点生成部31は、例えば、除去画像の上部のみに上記日付情報があるか否かを判断するようにしても良い。
次に、上記特徴点生成部31は、上記除去画像中に、所属(部署名)に関する情報が含まれているか否かを判断する(S60)。そして、除去画像中に所属(部署名)に関する情報が含まれていると判断すると、特徴点生成部31は、上記特徴点に上記所属(部署名)に関する情報を加える(S61)。そして、処理はステップS62に進む。また、上記ステップS60にて、除去画像中に所属(部署名)に関する情報がないと判断すると、処理はステップS62に進む。なお、一般に上記所属(部署名)に関する情報は画像の上部に記載されていることが多い。このため、上記特徴点生成部31は、例えば、除去画像の上部のみに上記所属(部署名)に関する情報があるか否かを判断するようにしても良い。
次に、上記特徴点生成部31は、上記除去画像中に、名前に関する名前情報が含まれているか否かを判断する(S62)。そして、除去画像中に名前情報が含まれていると判断すると、特徴点生成部31は、上記特徴点に上記名前情報を加える(S63)。そして、処理はステップS64に進む。また、上記ステップS62にて、除去画像中に名前情報がないと判断すると、処理はステップS64に進む。なお、一般に上記名前情報は画像の上部に記載されていることが多い。このため、上記特徴点生成部31は、例えば、除去画像の上部のみに上記名前情報があるか否かを判断するようにしても良い。
次に、上記特徴点生成部31は、上記除去画像中に、バージョン情報が含まれているか否かを判断する(S64)。そして、除去画像中にバージョン情報が含まれていると判断すると、特徴点生成部31は、上記特徴点に上記バージョン情報を加える(S65)。そして、処理はステップS66に進む。また、上記ステップS64にて、除去画像中にバージョン情報がないと判断すると、処理はステップS66に進む。なお、一般に上記バージョン情報は画像の下部に記載されていることが多い。このため、上記特徴点生成部31は、例えば、除去画像の下部のみに上記バージョン情報があるか否かを判断するようにしても良い。
次に、上記特徴点生成部31は、上記除去画像中に、表、すなわち、罫線が含まれているか否かを判断する(S66)。そして、除去画像中に罫線が含まれていると判断すると、特徴点生成部31は、上記特徴点に上記罫線に関する罫線情報を加える(S67)。そして、特徴点生成処理を終了する。また、上記ステップS64にて、除去画像中に罫線がないと判断すると、特徴点生成処理を終了する。
このようにして、特徴点生成部31は、除去画像の特徴点を生成している。そして、このようにして生成された特徴点に基づいて、比較部32は、除去画像と比較画像との類似度を判断する。具体的には、上記比較部32は、文字比較部36を動作させて、除去画像と比較画像との特徴点に含まれる文字列同士を比較する。また、比較部32は、様式比較部35を動作させて、除去画像と比較画像との特徴点に含まれる罫線情報同士を比較する。そして、比較部32は、この2つの比較結果に基づいて、上記除去画像と比較画像との類似度を算出する。上記類似度の算出方法としては、例えば、特徴点に含まれる各項目のうち、一致した数によって算出してもよく、また、上記各項目に重み付けを行って、類似の度合いを求めても良い。
なお、上記の説明では、特徴点生成部31は、除去画像中に特定の文字列が含まれている場合に、当該文字列を特徴点としている。しかしながら、例えば、上記文字列とその文字列が除去画像中のどの位置に配置されているかを示す位置情報とを併せて特徴点としてもよい。つまり、特徴点生成部31は、特定の文字列のみを特徴点としてもよく、特定の文字列と当該文字列の位置情報との両方を特徴点としてもよい。
また、上記の説明では、除去画像の特徴点を生成する方法について説明しているが、比較画像の特徴点を生成する場合でも上記と同様にすればよい。
また、上記の説明は、特徴点を生成するための一例であり、上記方法に限定されるものではない。従って、例えば、別の項目を特徴点として設定・判断してもよいし、上記例示のうちのいくつかのみを特徴点として設定・判断してもよい。
また、上記の説明では、特徴点生成部31は、認識した文字および罫線に基づいて特徴点を生成しているが、例えば、会社のロゴやマーク等の記号や図形等を特徴点としてもよい。
図6は、上記画像判断装置2によって判断された類似度に基づいて画像形成処理を行う画像形成処理を説明するフローチャートである。図6を参照して、画像形成処理について説明する。
上記画像判断装置2にて、除去画像と比較画像との比較に基づいて両者の類似度が判断された後、その判断結果は、印刷画像取得部5に送信される。換言すると、印刷画像取得部5は、上記判断結果を取得する。そして、判断結果を取得した印刷画像取得部5は、上記判断結果に基づいて、比較画像取得部40を動作させて、類似度が高いと判断された比較画像を取得する(S70)。そして、印刷画像取得部5は、取得した比較画像を、表示部8に表示する(S71)。
その後、操作者は、表示部8に表示された類似度が高いと判断された比較画像に基づいて、この比較画像を画像形成するか、それとも、上記特定画像を画像形成するかの選択を行う。具体的には、操作者は、操作部9を操作して、画像形成を行う画像を決定する。
このとき、印刷画像取得部5は、操作者からの選択結果を取得する(S72)と、当該選択結果に基づいて画像形成部6を動作させて、画像形成を行う(S73)。
具体的には、操作者からの比較画像を画像形成する指示を受信した場合には、上記印刷画像取得部5は、取得している比較画像を画像形成部6に送信する。そして、画像形成部6にて当該比較画像の画像形成が行われる。一方、操作者からの特定画像を画像形成する指示を受信した場合には、上記印刷画像取得部5は、特定画像取得部10から特定画像を取得し、この特定画像を画像形成部6に送信する。そして、画像形成部6にて当該特定画像の画像形成が行われる。
このようにして、画像判断装置2によって判断された上記両者の類似度の結果に基づいて画像形成が行われる。
以上のように、本実施の形態にかかる画像判断装置2は、オリジナル画像に対して付加画像が付加された特定画像を取得する特定画像取得部10と、比較対象である比較画像を取得する比較画像取得部40と、上記特定画像から、上記付加画像を特定するとともに、上記特定画像から上記付加画像を除くことにより除去画像を生成する除去画像生成部20と、上記除去画像と上記比較画像とを比較し、当該比較結果に基づいて、上記特定画像と比較画像との類似度を求める決定部30とを備えている構成である。
上記の構成によれば、特定画像取得部10を介して取得した特定画像が、比較画像取得部40を介して取得した比較対象である比較画像と対応しているか否かを判断する際に、オリジナル画像に対して付加された付加画像と推定される部分を、上記特定画像から除去した除去画像と比較画像とを比較することで判断している。具体的には、例えば、特定画像から、元の画像に対して手書き等で後から追記された部分と推定される部分を除去した除去画像を生成し、この除去画像と比較画像とを比較して、両者の類似度を求めている。そして、上記除去画像と比較画像との類似度を、比較画像の特定画像に対する類似度としている。これにより、例えば、元の画像に手書き等で追記してしまった原稿の状態の特定画像であっても、追記部分を除去した状態で比較することができるので、オリジナル画像と比較画像との類似度を求めることができる。
従って、例えば、オリジナル画像を比較画像として記憶装置7に記憶させている場合に、手書きした状態の画像である特定画像から当該オリジナル原稿の画像を検索することができる。
このように上記の構成とすることにより、オリジナル原稿に手書き等が加えられている原稿(特定画像)の場合であっても、正確に上記オリジナル原稿と対応する画像(比較画像)を判断することができる。
また、本実施の形態にかかる画像判断装置2は、上記比較画像取得部40は、複数の比較画像を取得するものであり、上記決定部30は、上記複数の比較画像のうち、上記特定画像との類似度が最も高い比較画像を決定する構成がより好ましい。
上記の構成によれば、複数の比較画像を取得して、その中から特定画像との類似度が最も高い比較画像を決定することができる。
なお、上記決定部30は、例えば、比較画像と特定画像との類似度が所定の閾値以上であり、かつ、上記類似度が最も高い比較画像を決定してもよい。このように、類似度が所定の閾値以上のものの中から比較画像を決定することにより、類似度が所定の閾値よりも小さいものは特定画像と対応していないと判断することができる。
また、本実施の形態にかかる画像判断装置2は、上記特定画像から黒および白以外のカラー画像を特定する色判定部26を備え、上記除去画像生成部20は、特定画像における黒および白以外のカラー画像を、付加画像とする構成がより好ましい。
例えば、契約書や公式文書等の通常の文章は、黒で印字される場合が多く、その画像(オリジナル画像)の上に後から赤等の色で印が押される場合が多い。また、例えば、元の文書(オリジナル画像)に対して添削や何らかの追記を行う場合には、元の色とは違った色で追記する場合が多い。このように、追記される部分(付加画像)には黒以外の色を使用する場合が多く、黒および白以外のカラー画像を付加画像とすることによって、特定画像から、付加画像と推定される部分を特定することができる。
なお、カラー画像を特定する方法としては、例えば、有彩色の画像と無彩色の画像とに分けて、有彩色の画像をカラー画像と特定してもよく、例えば、画像の各画素の明度、彩度、色相等に基づいてカラー画像を特定してもよい。
また、本実施の形態にかかる画像判断装置2は、上記特定画像の濃度ヒストグラムを求めるヒストグラム算出部24を備え、上記除去画像生成部20は、濃度ヒストグラムに基づく濃度値が所定範囲内に分布する画像を、付加画像とする構成がより好ましい。
上記の構成によれば、特定画像の濃度ヒストグラムを算出して、当該濃度ヒストグラムに基づく濃度値が所定範囲内に分布する画像を付加画像としている。
例えば、トナーやインク等で画像が形成されている原稿に、鉛筆等を用いて追記した場合、当該鉛筆等で追記した部分とトナーやインクの画像とは濃度ヒストグラムは異なり、鉛筆等の追記部分の方が濃度値は低い。
このように、濃度ヒストグラムに基づく濃度値の値を用いて付加画像を特定することによって、鉛筆等で追記した画像を付加画像とすることができる。
また、本実施の形態にかかる画像判断装置2は、上記特定画像から文字列を抽出するとともに、上記文字列の傾きを検出するヒストグラム算出部24および付加画像特定部22とを備え、上記除去画像生成部20は、複数の文字列と傾きの異なる文字列を付加画像とする構成がより好ましい。
上記の構成によれば、複数の文字列と傾きの異なる文字列を付加画像と判断している。例えば、人が紙に文章を記載した場合、その文字列の傾きは一定にならない場合が多い。
このように、文字列の傾きを用いて付加画像を特定することによって、人の手によって追記した部分(画像)を付加画像とすることができる。
なお、上記文字列の抽出方法としては、例えば、特定画像を領域分離して、文字領域を抽出した後、この文字領域のブロックヒストグラム(文字領域を複数の矩形領域に分割し、各領域で算出された濃度ヒストグラム)に基づいて、文字列を抽出すればよい。従って、上記ヒストグラム算出部24は、必ずしも抽出した文字列に含まれる文字を認識する必要はない。
また、本実施の形態にかかる画像判断装置2は、さらに、上記除去画像から上記特定画像を特定するための特徴点を抽出する特徴点生成部31を備え、上記決定部30は、上記特徴点に基づいて上記類似度を求めるものである構成がより好ましい。
上記の構成によれば、上記決定部30は特定画像を特定するための特徴点を用いて、上記特定画像(除去画像)と比較画像との類似度を求めている。
これにより、例えば、画素単位で、除去画像(特定画像)と比較画像とを比較する構成に比べて、より高速に類似度を算出することができる。
また、本実施の形態にかかる画像判断装置2は、上記特徴点生成部31は、除去画像中の特定場所の画像を抽出して上記特徴点とするものである構成がより好ましい。
上記の構成によれば、除去画像中の特定場所の画像を抽出して上記特徴点としている。例えば、1つのテンプレートを用いて複数の文書を作成する場合、これら複数の文書には、同じ場所に同じ記号や文字等が配置される場合が多い。このように、特定場所にある画像を特徴点とすることで、除去画像の特徴がより正確に表された特徴点を生成することができる。
また、本実施の形態にかかる画像判断装置2は、上記特徴点生成部31は、除去画像に含まれる文字を認識する文字認識部33を備えるとともに、認識した特定の文字情報を特徴点とするものである構成がより好ましい。
上記の構成によれば、除去画像に含まれる特定の文字情報を上記特徴点としている。例えば、1つのテンプレートを用いて複数の文書を作成する場合、これら複数の文書には例えば、社名や個人名等が同じ場所に配置されている場合が多い。このように、画像を文字認識して特定の文字情報を特徴点とすることで、除去画像の特徴がより正確に表された特徴点を生成することができる。
また、本実施の形態にかかる画像判断装置2は、上記特徴点生成部31は、除去画像から線を抽出して上記特徴点とするものである構成がより好ましい。
上記の構成によれば、除去画像から線、特に直線を抽出して特徴点としている。上記線を抽出することにより、例えば、除去画像上の表や罫線の位置を特定することができる。この罫線や表は、除去画像の特徴を明確に示す特徴点となりえる。このように、線を抽出して特徴点とすることにより、除去画像の特徴がより正確に表された特徴点を生成することができる。
本実施の形態にかかる画像形成装置1は、オリジナル画像に対して付加画像が付加された特定画像を取得する特定画像取得部10と、比較対象である比較画像を取得する比較画像取得部40と、上記特定画像から、上記付加画像を特定するとともに、上記特定画像から上記付加画像を除くことにより除去画像を生成する除去画像生成部20と、上記除去画像と上記比較画像とを比較し、当該比較結果に基づいて、上記特定画像と比較画像との類似度を求める決定部30と、上記決定部30の比較結果に基づいて、上記特定画像と比較画像とのいずれかを画像形成するか決定する印刷画像取得部5と、上記印刷画像取得部5によって決定された画像を画像形成する画像形成部6とを備えることを特徴としている。
上記の構成によれば、例えば、画像読取装置4等によって読取られた画像形成すべき特定画像と類似した比較画像が、記憶装置7に記憶されている複数の比較画像の中にあるか否かを検索し、特定画像と比較画像とのいずれかを画像形成するかを判断している。つまり、例えば、画像形成すべき特定画像のオリジナル画像に基づいて作成した比較画像が記憶装置7に記憶されている場合には、当該比較画像に基づいて画像形成を行うことができる。
また、本実施の形態にかかる画像判断方法は、オリジナル画像に対して付加画像が付加された特定画像を取得する特定画像取得工程と、比較対象である比較画像を取得する比較画像取得工程と、上記特定画像から、上記付加画像を特定するとともに、上記特定画像から上記付加画像を除くことにより除去画像を生成する除去画像作成工程と、上記除去画像と上記比較画像とを比較し、当該比較結果に基づいて、上記特定画像と比較画像との類似度を求める比較工程とを含む方法である。
上記の構成によれば、特定画像から上記付加画像を除去した除去画像と比較画像とを比較している。これにより、オリジナル画像と比較画像との類似度を判断することができる。
なお、図示していないが、例えば、上記画像判断部による判断を行わずに、画像読取部4にて読取られた読取画像または通信部3を介して受信した画像をそのまま画像形成する場合には、上記読取画像(画像)は、直接、画像形成部6に送信される。
また、上記の説明では、比較部32は、特徴点生成部31によって生成された除去画像の特徴点と比較画像の特徴点とを比較して類似度を求めている。しかしながら、除去画像と比較画像との類似度を求める方法としては、上記に限定されるものではなく、例えば、除去画像と比較画像とを画素単位で比較してもよい。
また、上記の説明では、特徴点生成部31が、比較画像の特徴点も抽出する例について説明しているが、例えば、上記記憶部7に、比較画像と当該比較画像の特徴点とを対応付けて記憶させている場合には、特徴点抽出部は、比較画像の特徴点を抽出しなくてもよい。
また、上記の説明では、画像形成装置1が画像判断装置2および画像読取部4を備えている例について説明している。しかしながら、上記に限定されるものではなく、例えば、上記画像形成装置1と画像読取部4と画像判断装置2とが互いに別体に設けられており、これらがネットワークを介して接続されている構成であってもよい。以下にこれについて説明する。
図7は、本実施の形態にかかる画像形成システムの概略構成を示すブロック図である。図7に示すように、上記画像形成システムは、画像判断装置2と画像読取装置4(画像読取部4)と画像形成装置1と記憶装置7(記憶部7)とを備えている。
そして、上記画像形成装置1は、画像形成部6と印刷画像取得部5とを備えている。そして、上記画像判断装置2は、上記構成に加えてネットワークI/F50を有している。上記ネットワークI/F50は、各種の情報を送受信するものである。
そして、上記画像形成システムの構成とした場合でも、画像読取装置4にて読取られた読取画像と対応する比較画像を記憶装置7から探し出すことができる。
また、本実施の形態にかかる画像判断装置2は、上記特徴点生成部31が、除去画像を複数の領域に分割して当該分割領域の画像種別を判断するとともに、除去画像全体に対する上記判断された画像種別の割合、および/または、除去画像における各画像種別の配置を上記特徴点として抽出する構成としてもよい。
「除去画像を複数の領域に分割する」とは、除去画像が示す画像を複数の領域に分割したものと対応するように除去画像を複数に分割することを示している。具体的には、複数の画素で読取られた領域を1つのまとまりとして1つの領域を形成することであり、例えば、8×8ドットの矩形を1つの領域として、当該領域の画像種別を判断している。
上記の構成によれば、除去画像を複数の領域に分割して、その分割領域の画像種別を判断し、除去画像全体に対する上記判断された画像種別の割合、および/または、除去画像における各画像種別の配置を上記特徴点として、特定画像(除去画像)と対応する比較画像を取得している。
これにより、画素単位で比較する前に、記録装置に記憶されている比較画像を簡単に篩い分けできるので、記録装置に記憶されている比較画像全部を画素単位で比較する必要がない。従って、より高速に特定画像と類似している比較画像を決定することができる。
また、本実施の形態にかかる画像判断装置2は、上記特徴点生成部31が、除去画像を複数の領域に分割して当該分割領域を文字領域、網点領域、写真領域の何れかの領域に分離するとともに、当該分離された各領域の割合を上記特徴点として抽出する構成としてもよい。
「除去画像を複数の領域に分割する」とは、除去画像が示す画像を複数の領域に分割したものと対応するように除去画像を複数に分割することを示している。
上記の構成によれば、複数の領域に分割した後、これらの領域が文字領域、網点領域、写真領域の何れかの領域に相当するか分離し、この分離された各領域の割合を特徴点として、比較画像の中から特定画像(除去画像)と対応する原稿候補画像を取得している。これにより、画素単位で比較する場合と比べて処理量の少ない処理で、記憶装置7に記憶されている比較画像を篩い分けし(原稿候補画像を取得し、)その後で取得された原稿候補画像を画素単位で比較するので、除去画像と対応する比較画像を決定するまでの時間をより短くすることができる。
また、本実施の形態にかかる画像判断装置2は、上記特徴点生成部31は、除去画像を複数の領域に分割して当該分割領域を文字領域、網点領域、写真領域の何れかの領域に分離するとともに、分離された各領域のいずれかの割合を上記特徴点として抽出するものであり、さらに、上記割合に応じて、特徴点として使用する領域を異ならせるものである構成としてもよい。
上記の構成によれば、複数の領域に分割した後、これらの領域が文字領域、網点領域、写真領域の何れかの領域に相当するか分離し、除去画像全体に対する分離された各領域のいずれかの割合に基づいて、特徴点を抽出している。これにより、簡単な処理で、記憶装置7に記憶されている比較画像を篩い分けできるので、除去画像と対応する比較画像を決定するまでの時間をより短くすることができる。また、上記分離された領域の割合に応じて特徴点として抽出する領域を異ならせている。具体的には、特徴点として使用する領域の全体に対する割合がかなり小さい場合には、誤差を多く含むことになり、特徴点として適切でない場合があるため、全体に対する割合が大きい領域を特徴点として用いることで、より適切な特徴点を抽出することができる。つまり、各領域の割合に応じて特徴点として使用する領域を異ならせることにより、より適切な特定画像と対応している比較画像を取得することができる。
〔実施の形態2〕
本発明の他の実施の形態について説明すれば、以下の通りである。なお、説明の便宜上、前記実施の形態1にて示した各部材と同一の機能を有する部材には、同一の符号を付記し、その説明を省略する。
本実施の形態にかかる画像判断装置2は、除去画像生成部20にて生成された除去画像をベクトル表現形式のベクトル画像に変換し、除去画像と比較画像とをベクトル表現形式で比較する構成である。
図8は、本実施の形態にかかる画像形成装置1の概略の構成を示すブロック図である。図8に示すように、上記画像形成装置1の画像判断装置2には、SVG変換部80が備えられている。また、上記記憶部7にもSVG変換部80が備えられている。そして、画像判断装置2に設けられているSVG変換部80は、除去画像生成部20によって生成された除去画像をベクトル画像に変換し、この変換したベクトル画像を決定部30に送信するために、上記除去画像生成部20と決定部30との間に設けられている。
なお、これらSVG変換部80は、画像を、同じ形式でベクトル表現形式のベクトル画像に変換するものである。また、これらSVG変換部80は、1つであってもよく、それぞれ別体で設けられていてもよい。ここでは説明の便宜上別体の場合について説明する。
上記SVG変換部80は、画像をベクトル表現形式のベクトル画像に変換するものである。上記ベクトル画像とは、ベクター画像とも呼ばれ、スケーラブル(拡大縮小可能)な画像である。具体的には、上記ベクトル画像とは、画像を、点の座標とそれを結ぶ線や面の方程式のパラメータ、および、塗りつぶしや特殊効果等の描画情報の集合として表現したものである。このベクトル画像は、どのように拡大してもなめらかな線を表示することができ(画像を拡大および縮小しても見え方が同じになる)、また、データ量もそれほど大きくならないという特性を有する。上記ベクトル画像としては、SVG(Scalable Vector Graphics)規格や、SVG−T規格等の画像が挙げられる。また、例えば、JPEG形式や、GIF形式等の画像の場合には、画像を拡大するとドットが荒くなり見づらくなるが、ベクトル画像は、表示する大きさを変更した場合であっても見づらくなることがない。
なお、ベクトル画像と変換前の元の画像とは、単に表現形式が異なっているものであり、画像の内容は同じものである。
また、上記決定部30は、さらに変倍処理部39を備えている。変倍処理部30は、除去画像と比較画像とをベクトル表現形式で比較する前に、両者のベクトル画像の大きさを同じにするものである。
図9は、ベクトル画像を説明する図面である。図中の上部の画像の場合、図中の下部に示すような形式でベクトル画像は表現される。つまり、ベクトル画像は、例えば、ビットマップ形式のような、各画素に関する情報を有しているのではなく、例えば、直線、円、矩形および曲線等の集合体として記述される。また、ベクトル画像においても、文字は文字領域に文字情報として、写真等の画像は網点・写真領域に画像情報として記録されている。
そして、本実施の形態では、上記SVG変換部80は、上記決定部30にて、上記特定画像と比較画像とをベクトル画像同士で比較するために、上記SVG変換部80にて作成されたベクトル画像よりも細かい要素からなるベクトル画像を作成するチェック用データ作成部81を備えている。このチェック用データ作成部81は、SVG変換部80にて除去画像がベクトル表現形式に変換されたベクトル画像が生成された後、上記決定部30にて比較するためのベクトル画像(以下、除去ベクトル画像)を作成するものである。この除去ベクトル画像について説明する。除去画像を単にベクトル画像に変換した場合には、長い直線や、大きな四角といった、大きな形状の数式を表すものになる場合がある。一方で、例えば、比較画像のベクトル画像は、短い直線や小さな四角等の集合体で表されている場合がある。この場合、両者を比較した場合には、決定部30は、両者は一致しないと判断される場合がある。そこで、上記チェック用データ作成部81を用いて、一度作成されたベクトル画像を、最小単位の線(直線、および曲線)または弧(円、楕円を含む)等の要素で記載されたベクトル画像(除去ベクトル画像)を作成する。具体的には、チェック用データ作成部81は、SVG変換部80によって作成された四角形を表すベクトル表現形式のベクトル画像を、4本の直線で表されたベクトル表現形式のベクトル画像にする。
つまり、本実施の形態では、単に、除去画像と比較画像とのベクトル画像同士を比較するものではなく、除去画像のベクトル画像から、比較に適した状態の除去ベクトル画像を作成し、この除去ベクトル画像と比較ベクトル画像とを比較している。
そして、本実施の形態では、上記決定部30は、チェック用データ作成部81で生成された除去ベクトル画像と、比較画像のベクトル画像(以下、比較ベクトル画像)とを、比較して、類似度を求めている。すなわち、上記除去ベクトル画像とは、比較画像と比較するためのベクトル画像である。
図10は、決定部30による除去ベクトル画像と比較ベクトル画像との比較方法を説明する図面である。また、図11は、上記決定部30による除去ベクトル画像と比較ベクトル画像との比較処理を説明するフローチャートである。図10、図11を参照して、両ベクトル画像の比較方法について説明する。
まず、SVG変換部80にて図10(a)に示すように、除去画像からベクトル表現形式に変換されたベクトル画像(図中ではチェック用SVG画像)が生成される。次に、上記図10(b)に示すように、チェック用データ作成部81にて当該ベクトル画像から除去ベクトル画像が生成される。
そして、上記決定部30にて、除去ベクトル画像と比較ベクトル画像とを比較する。
具体的には、図10(b)と図10(d)とに示すように、矩形に相当する除去ベクトル画像の各要素を除去ベクトル画像から消去する。また、図10(c)と図10(e)に示すように、比較ベクトル画像からも上記除去ベクトル画像から消去した部分を含む要素消去する。
次に、図10(d)と図10(f)とに示すように、決定部30は、残った除去ベクトル画像の要素に、比較ベクトル画像にまだ含まれる部分があるか判断し、ある場合には、該当する要素を除去する。
これを繰り返すことで、除去ベクトル画像は、図(b)(d)(f)(h)(j)に示すように最終的に何も残らない状態になる。この場合には、上記決定部30は、除去ベクトル画像と比較ベクトル画像とは類似していると判断する。
なお、上記の説明では、図19(c)(e)(g)(i)(k)に示すように、除去ベクトル画像に含まれる要素を除去した結果、比較ベクトル画像に何も残らない状態になり、この場合を類似していると判断しているが、例えば、除去ベクトル画像は何も残らず、比較ベクトル画像にはいくらかの要素が残った場合でも類似していると判断してもよい。
また、図示しないが、除去ベクトル画像の各要素と比較ベクトル画像の各要素との比較を行った結果、除去ベクトル画像の要素が残った場合には、両者は類似していないと判断する。
次に、上記決定部30が、除去ベクトル画像と比較ベクトル画像との比較処理を行った後、最終的に両者が類似しているか否かを判断する比較処理について図11を参照して説明する。
まず、SVG変換部80にて除去画像からベクトル画像が生成された後(S80)、上記チェック用データ作成部81にて当該ベクトル画像から除去ベクトル画像が生成される(S81)。上記ベクトル画像は、上記ベクトル画像と比べると、最小単位の要素に分けられた状態のベクトル表現形式になっている。そして、決定部30によって比較ベクトル画像が取得され(S82)、上記決定部30にて上記除去ベクトル画像と比較ベクトル画像との比較が行われる(S83)。
具体的には、決定部30は、まず、除去ベクトル画像と比較ベクトル画像とが同じ大きさであるか否かを判断する(S84)。そして、上記ステップS84にて、同じ大きさでないと判断した場合には、上記決定部30は、変倍処理部39を動作させて、除去ベクトル画像および/または比較ベクトル画像の変倍処理を行い両者の大きさを同じにする(S85)。この変倍処理については後述する。そして、処理はステップS86に進む。また、上記ステップS84にて、除去ベクトル画像と比較ベクトル画像とが同じ大きさであると判断した場合には、処理はステップS86に進む。
次に、決定部30は、除去ベクトル画像を構成している任意の要素を取り出し(S85)、当該除去ベクトル画像を構成している要素が、比較ベクトル画像に含まれているか否かを判断する(S87)。そして、上記ステップS87にて、含まれていると判断すると、決定部30は、除去ベクトル画像の比較ベクトル画像に含まれている要素の部分を消去する(S88)。なお、上記除去ベクトル画像を構成しているある要素が、比較ベクトル画像に含まれているか否かの判断については、上記除去ベクトルの各要素について行ってもよく、また、一度に行ってもよい。
なお、上記ステップS87にて、含まれていないと判断した場合には、除去ベクトル画像と上記比較ベクトル画像とは、類似していないと判断し、処理は、ステップS17に進む。
次に、上記決定部30は、上記ステップS88にて比較ベクトル画像に含まれる要素を消去した後の状態における、除去ベクトル画像の要素が未だ残っているか否かを判断する(S89)。
上記ステップS89にて、残っていると判断した場合には、処理はステップS83に戻る。一方、上記ステップS89にて、残っていないと判断した場合には、上記決定部30は、上記除去ベクトル画像と比較ベクトル画像とは類似していると判断する。そして、上記決定部30は、特徴点生成部31を動作させて、要素を消去する前の除去ベクトル画像または除去画像のベクトル画像と比較ベクトル画像との特徴点を生成する特徴点生成処理を行う(S13)。そして、上記比較部32は、生成した上記特徴点に基づいて、除去画像と比較画像とを比較して両者の類似度を算出する(S14)。なお、上記ステップS13における特徴点生成処理については、上述の説明と同様であり、詳細な説明を省略するが、本実施の形態にかかる特徴点生成処理は、ベクトル画像に基づいて特徴点を生成している。
次に、決定部30は、上記算出された類似度に基づいて、当該類似度が所定値よりも高いか否かを判断する(S15)。そして、上記ステップS15にて、上記類似度が所定値よりも高い場合には、この類似度の比較画像を特定画像と対応している画像候補とする(S16)。また、上記ステップS15にて、上記類似後が所定値以下である場合には、ステップS17に進む。
そして、上記決定部30は、他に比較すべき比較画像が存在するか否かを判断する(S17)。上記ステップS17にて、他に比較すべき比較画像が存在する場合には、決定部30は比較画像取得部40に他の比較画像を取得するための命令を出し、処理はステップS12に進む。
上記ステップS17にて、他に比較すべき比較画像が存在しない場合には、決定部30は、特定画像と類似している比較画像を決定する(S18)。
このようにして、本実施の形態では、特定画像と比較画像とのそれぞれのベクトル画像同士を比較して、その結果を特定画像と対応する比較画像の抽出に用いている。
なお、上記の例では、除去ベクトル画像に含まれる要素が比較ベクトル画像に全て含まれているか否かを判断した後、上記除去ベクトル画像(チェック用画像のベクトル画像)または除去画像のベクトル画像と比較ベクトル画像との特徴点を比較している。しかしながら、例えば、いずれか一方のみを用いて、特定画像と対応している比較画像を決定してもよい。
図12は、変倍処理を説明する図面である。図12に示すように、例えば、除去ベクトル画像と比較ベクトル画像とを比較する場合、両者の大きさが異なった場合、両者が同じであるか否かを判断することは困難である。ベクトル画像では、画像が方程式等の数式で記述されており、例えば、線分の長さが異なった場合には、他の数式で記述される場合がある。そこで、上記決定部30は、上記両者を比較する前に、当該両者の大きさが互いに同じであるか否かを判断し、異なっている場合には、変倍処理部39を動作させて、両者の大きさを同じにしている。
具体的に、両者の大きさを同じにする方法としては、上記決定部30は、例えば、各画像の外縁または外縁の四隅(4つの角)の画像の種類を比較する。そして、両者の画像の種類が同じである場合には、上記決定部30は、上記四隅間の距離を、除去ベクトル画像と比較ベクトル画像とについてそれぞれ測定する。そして、その測定された長さに基づいて、上記決定部30は、変倍処理部39を動作させて変倍処理を行う。
なお、他の変倍方法としては、例えば、領域分離処理によって分離された各領域の割合を、除去ベクトル画像と比較ベクトル画像とで比較し、同じである(誤差がある一定の範囲内である)場合には、両者の画像の同じに配置、例えば、画像の端部に配置されている画像が同じであるか判断する。そして、同じである場合には、その画像の大きさをそれぞれ取得し、それぞれの大きさに基づいて、両者の大きさが同じになるように変倍処理を施せばよい。なお、変倍処理は、除去ベクトル画像または比較ベクトル画像のみを変倍処理することにより、上記両者の大きさを同じにしてもよく、また、除去ベクトル画像と比較ベクトル画像との両方を変倍処理して両者の大きさを同じにしてもよい。なかでも、除去ベクトル画像のみを変倍処理して、両者の大きさを同じにすることが処理量をより少なくすることができるのでより好ましい。
以上のように、本実施の形態にかかる画像判断装置2は、上記除去画像生成部20によって生成された除去画像をベクトル表現形式のベクトル画像に変換するSVG比較部80を備え、上記比較画像取得部40は、比較画像のベクトル画像を取得するものであり、上記決定部30は、除去画像のベクトル画像と比較画像のベクトル画像とを比較するものである構成である。
上記の構成によれば、除去画像からベクトル画像を生成して、除去画像と比較画像とのベクトル画像同士を比較している。上記ベクトル画像は、例えば、ビットマップ形式等の各画素に関する情報を有する画像と比べて、情報量が少ない。従って、除去画像のベクトル画像と比較画像のベクトル画像と比較して、両者の類似度を求めることにより、類似度を判断するために必要な処理量を少なくすることができる。
なお、上記比較画像取得部40が、例えば、ビットマップ表現形式の比較画像を取得する場合には、さらに、上記比較画像のベクトル画像を生成するSVG比較部80を備えていても良い。また、特定画像を取得する特定画像取得部10が、ベクトル表現形式の特定画像を取得する場合には、上記画像判断装置2は、上記SVG比較部80を備えていなくても良い。すなわち、本発明にかかる画像判断装置2は、上記特定画像取得部10は、特定画像のベクトル画像を取得するものであり、上記比較画像取得部40は、比較画像のベクトル画像を取得するものであり、上記決定部30は、除去画像のベクトル画像と比較画像のベクトル画像とを比較するものであってもよい。
また、本発明にかかる画像判断装置2は、上記除去画像生成部20によって生成された除去画像をベクトル表現形式のベクトル画像に変換するSVG比較部80と、比較画像をベクトル表現形式のベクトル画像に変換するSVG比較部80とを備え、上記決定部30は、除去画像のベクトル画像と比較画像のベクトル画像とを比較するものであってもよい。
なお、上記の説明では、説明の便宜上、除去ベクトル画像および比較ベクトル画像の各要素を消去しているが、実際の比較処理を行う際には消去する必要はなく、単に除去ベクトル画像に含まれる全ての要素が、比較ベクトル画像に含まれているか否かを判断すればよい。
また、上記の説明では、SVG変換部80で、除去画像からベクトル表現形式のベクトル画像を作成した後、さらに、チェック用データ作成部81にて上記決定部30で比較するための除去ベクトル画像を作成している。しかしながら、ベクトル画像同士を比較する方法としては上記に限定されるものではなく、SVG変換部80にて得られたベクトル画像が最小単位の直線または円で構成されている場合には、SVG変換部80にて変換されたベクトル画像と、記憶部7に記憶されている比較画像のベクトル画像とを比較してもよい。
最後に、画像形成装置1、および画像判断装置2の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、画像形成装置1、および画像判断装置2は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置7(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像形成装置1、および画像判断装置2の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読取り可能に記録した記録媒体を、上記画像形成装置1、および画像判断装置2に供給し、そのコンピュータ(またはCPU52やMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、画像形成装置1、および画像判断装置2を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
このように本明細書において、手段とは必ずしも物理的手段を意味するものではなく、各手段の機能がソフトウェアによって実現される場合も包含する。さらに、一つの手段の機能が、二つ以上の物理的手段により実現されても、もしくは、二つ以上の手段の機能が、一つの物理的手段により実現されてもよい。
また、本実施の形態にかかる画像判断装置2は、原稿の特徴を抽出して検索条件を抽出して、この条件に適したデータを抽出する画像判断装置2において、原稿に対して追記された部分を除去して検索条件とする構成であってもよい。
また、本実施の形態にかかる画像判断装置2は、原稿に対して色部分を除去した部分を検索条件とするものである構成であってもよい。また、本実施の形態にかかる画像判断装置2は、原稿に対して手書き部分を除去した部分を検索条件とする構成であってもよい。
また、本実施の形態にかかる画像判断装置2は、原稿に対して低濃度部分を除去した部分を検索条件とする構成であってもよい。また、本実施の形態にかかる画像判断装置2は、原稿に対して追記された部分を除去した状態の原稿からさらに原稿の特徴点を検出して検索条件とする構成であってもよい。また、本実施の形態にかかる画像判断装置2は、原稿の特徴点として原稿画像に付された特定のパターン情報(ロゴ、印、マークなど)を用いる構成であってもよい。また、本実施の形態にかかる画像判断装置2は、原稿の特徴点として原稿の特定領域の画像情報(見出し、発信先、発信元、発行日付など)を用いる構成であってもよい。また、本実施の形態にかかる画像判断装置2は、原稿の特徴点として原稿の罫線(枠)情報用いる構成であってもよい。
また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。