JP2010225047A - ノイズ成分除去装置、ノイズ成分除去プログラムを記録した媒体 - Google Patents

Abstract

【課題】 グラデーションのような画像領域が含まれている場合に、適切な閾値を設定することができなかった。
【解決手段】 矩形領域の検出（Ｓ１）では、画像データの中で文字や絵柄が含まれる矩形領域を設定する。矩形領域の特徴値検出（Ｓ２）では、各矩形領域のヒストグラムから歪度、尖度、最頻値、中央値、平均値を求める。ヒストグラムの形状判定（Ｓ３）では、特徴値をもとにヒストグラムの形状を判定する。矩形領域の閾値設定（Ｓ４）では、判定されたヒストグラムの形状に対応した手法で閾値を算出する。二値化（Ｓ５）では、設定された閾値を用いて画像を二値化する。本発明は、入力画像の文字や絵柄を矩形領域として検出し、検出した矩形領域内のヒストグラムの形状を五つの類型に判別し、それぞれのヒストグラムの形状に対応した手法で適切な閾値を設定する。
【選択図】 図１

Description

本発明は、ノイズ成分除去装置、ノイズ成分除去プログラムを記録した媒体に関する。

特許文献１に開示される従来技術では、原稿の二値化画像から文字領域を含む複数の領域に分割し、文字領域が適切に二値化されているかどうか判定を行い、その判定結果により文字領域の二値化が不適切である場合は、その文字領域を再度二値化する。

より具体的には、この技術では以下の処理を行う。
１．領域の判定方法としては、二値化画像から検出した黒画素を中心とする周辺の８画素を連結した周辺８連結を走査していく。連結した一つの塊の大きさを判定値に用いており、各領域を文字またはそれ以外の絵(図)、表(枠)、線といったものに分割する。
２．１の処理で文字以外と判定された領域については、縦長、横長、斜め線状の場合、線として判定する。
３．２の処理で線と判定されなかった場合は、領域の輪郭が四角形であるかないかで四角形でない場合は、絵(図)として判定する。
４．３の処理にて絵(図)以外と判定された領域は領域内の白画素塊が四角形である場合は表(枠)として判断し、それ以外の場合は絵(図)として判定する。
５．１〜４の処理にて文字、絵(図)領域と判定されたものの集合を文字領域とし、その領域内の小さな黒画素塊をノイズと考え、そのノイズ塊の高さ平均を求める。
６．５の処理で求めたノイズ塊の高さ平均を用いて、小黒画素塊、大黒画素塊に分類する。
７．以下の条件を満たす場合、文字領域に再二値化が必要であると判断する。
・大黒画素塊に対する小黒画素塊の個数が所定の割合以上である。
・大黒画素塊に隣りあう全ての小黒画素塊の水平距離が全て所定値以下である。
・ノイズ塊の数が所定値以上である。
８．７の処理にて再二値化が必要な場合は、文字色と背景色のピークを検出し、それらが最も良く分離できる値を閾値とする。
これによりグラデーション等の二値化結果が良好に得られるとされている。

特開2002−314806

上述した特許文献１の技術においては、上記１〜７の処理を行なうもののグラデーションのような画像を適切に二値化することはできない。
グラデーションのような画像は段階的に濃度が変化しているため、ある一定の閾値で二値化した場合、閾値以上と閾値以下の境目がはっきりする。従来技術のような判定では、縦長、横長、四角形などに領域画判定されて、線や表(枠)などに判定されてしまい、必ずしも適切な結果とはならない。例えば、黒枠線で囲まれたグラデーションのような画像において、特に顕著である。

また、グラデーションの画像領域において再二値化が必要であると判断された場合も、文字色と背景色のピークを検出し、それらが最も良く分離できる値を閾値とする方法や周知の方法を使用することが示されている。
しかし、グラデーションの画像領域のヒストグラムは段階的な濃度変化であるため、細かなピークがある山なりのヒストグラムになる。そのため、文字と背景を分離するようなピークの検出は難しい。

一方、周知の方法としてＰタイル法、モード法や判別分析法が知られているが、上記のグラデーションのようなヒストグラムについて適切な閾値を求めることは難しい。
さらに、対象とするグラデーションの領域における文字が黒文字か白抜き文字かにより、適切な閾値の値は異なるという課題があった。

本発明の目的は、原稿にグラデーションのような画像領域が含まれている場合に適切にグラデーション領域であることを判別し、また、グラデーション領域における黒文字、白抜き文字に関係なく適切な閾値を設定することにある。

上記課題を解決するため、本発明においては、上記画像データにおける所定の領域を処理対象として設定する処理対象設定手段と、
上記画像データにおける上記設定された領域を対象として各画素の階調値の度数分布を求める度数分布取得手段と、
上記度数分布の度数分布状況にもとづき、同度数分布の形状として歪度を求める形状判定手段と、
判定された度数分布の形状に対応づけられた手法で上記閾値を設定する閾値設定手段と、
上記閾値を利用して上記画像データから不要な成分を除去するノイズ成分除去手段とを具備する構成としてある。

上記のように構成した本発明においては、処理対象設定手段が上記画像データにおける所定の領域を処理対象として設定すると、度数分布取得手段は上記画像データにおける上記設定された領域を対象として各画素の階調値の度数分布を求める。そして、形状判定手段が上記度数分布の度数分布状況にもとづいて同度数分布の形状として歪度を求めると、閾値設定手段は判定された度数分布の形状に対応づけられた手法で上記閾値を設定し、ノイズ成分除去手段が上記閾値を利用して上記画像データから不要な成分を除去する。

本発明の他の態様においては、上記形状判定手段は、上記歪度として度数分布における左右の非対称性の指標を求める構成としてある。
上記のように構成した本態様においては、形状判定手段は上記度数分布における分布状況の形状を判定するにあたり、度数分布における左右の非対称性の指標を歪度として求める。

本発明の他の態様においては、上記形状判定手段は、上記度数分布の度数分布状況にもとづいて尖度を求め、
上記閾値設定手段は、形状判定手段で求められた尖度と上記歪度とに対応づけられた手法で上記閾値を設定する構成としてある。
上記のように構成した本態様においては、形状判定手段は、上記度数分布の度数分布状況にもとづいて上記歪度に加えて尖度を求め、閾値設定手段は求められた尖度と歪度とに対応づけられた手法で上記閾値を設定する。

本発明の他の態様においては、上記形状判定手段は、上記尖度として正規分布と対比した分布の尖り具合の指標を求める構成としてある。
上記のように構成した本態様においては、形状判定手段は上記度数分布における分布状況の形状を判定するにあたり、正規分布と対比した分布の尖り具合の指標を求める。

本発明の他の態様においては、上記形状判定手段は、上記画像データにおける階調値の平均値と最頻値とを求め、
上記閾値設定手段は、求められた平均値と最頻値との差異が所定の値より大きいときに対応した手法で上記閾値を算出する構成としてある。
上記のように構成した本態様においては、形状判定手段は、上記歪度などに加え、上記画像データにおける階調値の平均値と最頻値とを求め、閾値設定手段は、求められた平均値と最頻値との差異が所定の値より大きいときに対応した手法で上記閾値を算出する。

本発明の他の態様においては、上記形状判定手段は、上記画像データにおける階調値の平均値と最頻値とを求め、
上記閾値設定手段は、求められた平均値と最頻値との差異が所定の値より小さいときに対応した手法で上記閾値を算出する構成としてある。
上記のように構成した本態様においては、形状判定手段は、上記歪度などに加え、上記画像データにおける階調値の平均値と最頻値とを求め、閾値設定手段は、求められた平均値と最頻値との差異が所定の値より小さいときに対応した手法で上記閾値を算出する。

本発明の他の態様においては、上記閾値設定手段は、上記画像データを対象として階調値が大きく変化する境界領域を検出するとともに、上記境界領域における明度の高い側の画素の階調値の平均値を取得し、かつ、上記領域内の平均値と対比し、同対比結果に対応した手法で上記閾値を算出する構成としてある。
上記のように構成した本態様においては、閾値設定手段は、上記画像データを対象として階調値が大きく変化する境界領域を検出するとともに、上記境界領域における明度の高い側の画素の階調値の平均値を取得し、かつ、上記領域内の平均値と対比し、同対比結果に対応した手法で上記閾値を算出する。

本発明の他の態様においては、上記画像データにおける所定の領域を処理対象として設定する処理対象設定ステップと、
上記画像データにおける上記設定された領域を対象として各画素の階調値の度数分布を求める度数分布取得ステップと、
上記度数分布の度数分布状況にもとづき、同度数分布の形状として歪度を求める形状判定ステップと、
判定された度数分布の形状に対応づけられた手法で上記閾値を設定する閾値設定ステップと、
上記閾値を利用して上記画像データから不要な成分を除去するノイズ成分除去ステップとを具備する構成としてある。

上記のように構成した本態様においては、処理対象設定ステップにて上記画像データにおける所定の領域を処理対象として設定すると、度数分布取得ステップでは上記画像データにおける上記設定された領域を対象として各画素の階調値の度数分布を求める。そして、形状判定ステップにて上記度数分布の度数分布状況にもとづいて同度数分布の形状として歪度を求めると、閾値設定ステップでは判定された度数分布の形状に対応づけられた手法で上記閾値を設定し、ノイズ成分除去ステップにて上記閾値を利用して上記画像データから不要な成分を除去する。

むろん、その記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。その他、供給方法として通信回線を利用して行なう場合でも本発明が利用されていることにはかわりない。
さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものではなく、一部を記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。

本発明をソフトウェアで実現する場合、ハードウェアやオペレーティングシステムを利用する構成とすることも可能であるし、これらと切り離して実現することもできる。例えば、各種の演算処理といっても、その実現方法はオペレーティングシステムにおける所定の関数を呼び出して処理することも可能であれば、このような関数を呼び出すことなくハードウェアから入力することも可能である。そして、実際にはオペレーティングシステムの介在のもとで実現するとしても、プログラムが媒体に記録されて流通される過程においては、このプログラムだけで本発明を実施できるものと理解することができる。

また、本発明をソフトウェアで実施する場合、発明がプログラムを記録した媒体として実現されるのみならず、本発明がプログラム自体として実現されるのは当然であり、プログラム自体も本発明に含まれる。

上記のように構成した本発明によれば、文字などを含む領域では、その階調の度数分布状況に特徴が見られ、その形状を判定することで適切な二値化を設定できる。
また、請求項２の発明によれば、形状判定に利用する歪度を容易に求めることができる また、請求項３の発明によれば、歪度に加えて尖度も利用することにより、形状判定の対応度合いを上げて、より適切な閾値を設定することができる。

また、請求項４の発明によれば、形状判定に利用する尖度を容易に求めることができる。
また、請求項５の発明によれば、歪度などに加えて平均値と最頻値とを利用することにより、形状判定の対応度合いを上げて、より適切な閾値を設定することができる。
また、請求項６の発明によれば、歪度などに加えて平均値と最頻値とを利用することにより、形状判定の対応度合いを上げて、より適切な閾値を設定することができる。

また、請求項７の発明によれば、上記境界領域における明度の高い側の画素である白いエッジは、黒い文字（黒文字）あるいは白抜きの文字（白文字）に関する情報を有しているおり、形状判定の一つとしてその階調値の平均値を取得しつつ元の画像データの平均値と対比することにより、例えばグラデーションにおける黒文字、グラデーションにおける白文字を判定することできる。そして、それぞれに適切な閾値を算出する。
また、請求項８の発明によれば、文字などを含む領域では、その階調の度数分布状況に特徴が見られ、その形状を判定することで適切な二値化を設定できる。

ノイズ成分除去処理のフローチャートである。 矩形領域の検出を説明する図である。 左肩上がりのヒストグラムを説明する図である。 右肩上がりのヒストグラムを説明する図である。 双峰型のヒストグラムを説明する図である。 グラデーションにおける黒文字のヒストグラムを説明する図である。 グラデーションにおける白文字のヒストグラムを説明する図である。 ヒストグラムの形状判定のフローチャートである。 グラデーションにおける黒文字と白文字のヒストグラムを説明する図である。 ノイズ成分除去の結果を示す図である。

以下、図面を参照しながら、本発明の実施の形態について、詳細に説明する。
図１は、ノイズ成分除去処理のフローチャートである。
同図は、メインルーチンとして、矩形領域の検出（Ｓ１）、矩形領域の特徴値検出（Ｓ２）、ヒストグラムの形状判定（Ｓ３）、矩形領域の閾値設定（Ｓ４）、二値化（Ｓ５）の各処理を示している。

次に、これらについて説明する。
矩形領域の検出（Ｓ１）は、画像データの中で文字や絵柄が含まれる矩形領域を設定する処理である。矩形領域の特徴値検出（Ｓ２）は、各矩形領域のヒストグラムから歪度、尖度、最頻値、中央値、平均値を求める処理である。ヒストグラムの形状判定（Ｓ３）は、特徴値をもとにヒストグラムの形状を判定する処理である。矩形領域の閾値設定（Ｓ４）は、判定されたヒストグラムの形状に対応した手法で閾値を算出する処理である。二値化（Ｓ５）は、設定された閾値を用いて画像を二値化する処理である。

次に、これらの関係について説明する。
矩形領域の検出（Ｓ１）にて検出された各矩形領域毎に、矩形領域の特徴値検出（Ｓ２）はヒストグラムを作成し、同ヒストグラムを利用して形状判定に利用する特徴値を取得する。矩形領域の特徴値検出（Ｓ２）にて各矩形領域毎に特徴値を取得した後、ヒストグラムの形状判定（Ｓ３）では同特徴値を利用してヒストグラムの形状判定（Ｓ３）を行う。ヒストグラムの形状判定（Ｓ３）により各矩形領域毎にヒストグラムの形状が判定されるので、矩形領域の閾値設定（Ｓ４）では判定された形状に対応した手法で閾値を設定する。矩形領域の閾値設定（Ｓ４）にて設定された閾値を利用し、二値化（Ｓ５）では、取得して画像データを二値化する。

本発明は、文字認識のための前処理という位置づけにある。例えば、文字を印刷した書類などをスキャナーなどで多値画像で読み込んだり、風景の中に文字が含まれる写真の画像データなどを処理対象とする。入力が直にスキャナーやデジタルスチルカメラなどである必要はなく、他の機器で取得された画像データを通信によって取得する場合でも全く同様である。文字認識には、いわゆる文字だけでなく、記号等の認識も当然に含まれる。
このような文字認識では処理対象とする画像データが文字部分と背景とに明確に分離されているほど認識効率が良いため、文字以外の成分をノイズ成分として除去する本発明の処理が利用される。

各処理の詳細については、順次説明する。
本発明の原理は、入力画像の文字や絵柄を矩形領域として検出し、検出した矩形領域内のヒストグラムの形状を双峰型のヒストグラム、グラデーションにおける黒文字のヒストグラム、グラデーションにおける白文字のヒストグラム、右肩上がりのヒストグラム、左肩上がりのヒストグラムに判別し、それぞれのヒストグラムの形状に対応した手法で適切な閾値を設定する。

図２は、矩形領域の検出を説明する図である。
矩形領域を検出する手法としては、ある一定の閾値で二値化した画像またはエッジ画像(エッジとそれ以外の画素とを二値で示した画像)についてラベリングまたは輪郭追跡を行うことにより検出された領域の外接矩形を設定する方法が知られている。
本図では、矩形領域の検出を行った場合の模式図を示している。
同図は上下二段に図を並べており、上段には左右に図を二つ並べて示している。上段左方が多値の入力画像のイメージを示しており、まず、一定の閾値で単純二値化する。二値化後のイメージを上段右方に示している。さらに、この二値化後の画像データを処理対象として輪郭追跡し、概説矩形を取得すると、下段に示すイメージの矩形領域を設定できる。

なお、二値化の閾値については画像全体のヒストグラムのピークを背景領域の濃度分布と考え、そのピークに一番近い谷を領域分離の二値化閾値として用いている。
また、先にエッジ画素を検出してその結果をエッジ画像とし、このエッジ画像について輪郭追跡を行なって外接矩形領域を検出して各矩形領域を設定することもできる。
本実施例ではこの手法で矩形領域を設定する。

図３は、左肩上がりのヒストグラムを説明する図である。
ここで、矩形領域の特徴値検出（Ｓ２）について説明する。矩形領域の特徴値検出（Ｓ２）では、各矩形領域ごとにヒストグラム（度数分布）を求める工程と、求められたヒストグラムから歪度、尖度、最頻値、中央値、平均値を求める工程とからなる。なお、これらは必ずしもヒストグラムを求める工程を必須とするものでもない。
すなわち、歪度と尖度は、矩形領域内の総画素数、各画素の階調値、階調値の平均値、標準偏差が分かれば求められる。中央値はヒストグラムから求めるのが最も容易であるが、必須ではない。平均値は総画素数と各画素の階調値とから求められる。

以下に、歪度、尖度の公式を示す。これらは統計学で使用される値である。
歪度は、度数分布の左右の非対称性の指標を定義する値である。

歪度が正の場合は値が大きいほどヒストグラムの右の裾野が長く、負の場合は値が小さいほどヒストグラムの左の裾野が長いことを示す。

尖度は、正規分布を基準とした度数分布の尖り具合を定義する値である。


尖度が正の場合はヒストグラムが正規分布に比べ尖っていることを示し、負の場合は反対に平坦であることを示す。
なお、「歪度」、「尖度」の公式におけるｎは矩形領域内の総画素数、ｘｉは階調値、μは平均値、Ｓは標準偏差、ｉは１，２〜ｎの整数を示す。

図３〜図７は、矩形領域の検出（Ｓ１）で使用した画像と、各矩形領域の特徴値を記している。
各図は上段に全幅方向の第一の領域を有し、下段には左右方向に区切られつつ、左方には上下に区切られた領域を有しており、左方の上段を第二の領域、左方の下段を第三の領域、右方を第四の領域と呼ぶ。そして、第一の領域には、形状判定された名称を示し、第二領域には画像のイメージを示し、第三領域には特徴値のリストを示し、第四領域にはヒストグラムを示している。第三領域では、上方から、平均値、最頻値、中央値、歪度、尖度の順に示している。

なお、ヒストグラムの横軸は階調値を示し、「０〜２５５」はデータを８ｂｉｔで扱った場合を想定している。階調値と明るさは、階調値「０」が最も暗く、「２５５」に近づくほど画像が明るくなっていく関係にある。また、縦軸は矩形領域内の画素が示す階調値の度数を示しており、各図において各升目ごとに同数の画素数として記している。
図３は左肩上がりのヒストグラム（Ｓ２５）と形状判定される矩形領域についての図を示している。画像は、下地が濃いめで、白抜きの文字を有している。ヒストグラムは下地成分を反映して暗い側に一つの大きなピークを有し、白抜きの文字を反映して明るい側に一つの小さなピークを有している。

図４は、右肩上がりのヒストグラムと形状判定される矩形領域についての図を示している。画像は、下地が薄目で、黒文字を有している。ヒストグラムは薄目の下地成分を反映して明るい一つの大きなピークを有し、黒文字を反映して暗い側に複数の小さめのピークを有している。
図５は、双峰型のヒストグラムと形状判定される矩形領域についての図を示している。画像は、下地がほとんど無く、黒文字だけを有している。ヒストグラムは紙色成分を反映して暗い側に一つの大きなピークを有し、黒文字を反映して明るい側に一つの大きめピークを有している。

図６は、グラデーションにおける黒文字のヒストグラムと形状判定される矩形領域についての図を示している。画像は、背景のグラデーションを反映して暗い側から明るい側にわたって広く分布している。しかし、後述するように白文字か黒文字かの判定結果によって、着目すべき谷が異なっている。黒文字の場合は、ヒストグラムの左の端の谷に着目する。
図７は、グラデーションにおける白文字のヒストグラムと形状判定される矩形領域についての図を示している。画像は、背景のグラデーションを反映して暗い側から明るい側にわたって広く分布している。しかし、後述するように白抜きの文字か、黒文字かの判定結果によって、着目すべき谷が異なっている。白文字の場合は、ヒストグラムの右の端の谷に着目する。

図８は、ヒストグラムの形状判定のフローチャートである。
同図は、ヒストグラムの形状判定ルーチンとして、歪度と尖度の閾値との対比（Ｓ２１）、中央値と平均値の差と閾値との対比（Ｓ２２）、最頻値と平均値との対比（Ｓ２３）、右肩上がりのヒストグラム（Ｓ２４）、左肩上がりのヒストグラム（Ｓ２５）、グラデーションのヒストグラム（Ｓ２６）、双峰型のヒストグラム（Ｓ２７）の各処理を示している。

次に、これらについて説明する。
歪度と尖度の閾値との対比（Ｓ２１）は、歪度と尖度について絶対値を閾値と対比する処理である。中央値と平均値の差と閾値との対比（Ｓ２２）は、中央値と平均値の差の絶対値を求め、閾値と対比する処理である。最頻値と平均値との対比（Ｓ２３）は、最頻値と平均値とを対比する処理である。右肩上がりのヒストグラム（Ｓ２４）は、判定結果は右肩上がりのヒストグラムである。左肩上がりのヒストグラム（Ｓ２５）は、判定結果は左肩上がりのヒストグラムである。グラデーションのヒストグラム（Ｓ２６）は、判定結果はグラデーションのヒストグラムである。双峰型のヒストグラム（Ｓ２７）は、判定結果は双峰型のヒストグラムである。

次に、これらの関係について説明する。
歪度と尖度の閾値との対比（Ｓ２１）にて、歪度の絶対値が第一の閾値よりも大きく、かつ、尖度の絶対値が第二の閾値よりも大きいと判断される場合には、中央値と平均値の差と閾値との対比（Ｓ２２）にて、中央値と平均値との差を求めつつ、同差が第三の閾値よりも小さいか判断する。歪度と尖度の閾値との対比（Ｓ２１）にて、歪度の絶対値が第一の閾値よりも大きくなく、あるいは、尖度の絶対値が第二の閾値よりも大きくないと判断される場合には、最頻値と平均値との対比（Ｓ２３）にて、最頻値が平均値よりも大きいか判断する。中央値と平均値の差と閾値との対比（Ｓ２２）により、中央値と平均値との差を求めつつ、同差が第三の閾値よりも小さいと判断された場合には、グラデーションのヒストグラム（Ｓ２６）にて、ヒストグラムがグラデーションの形状と判定する。中央値と平均値の差と閾値との対比（Ｓ２２）にて、中央値と平均値との差を求めつつ、同差が第三の閾値よりも小さくないと判断された場合には、双峰型のヒストグラム（Ｓ２７）にてヒストグラムが双峰型の形状と判定する。最頻値と平均値との対比（Ｓ２３）にて、最頻値が平均値よりも大きいと判断された場合には、右肩上がりのヒストグラム（Ｓ２４）にて、ヒストグラムが右肩上がりの形状と判定する。最頻値と平均値との対比（Ｓ２３）にて、最頻値が平均値よりも大きくないと判断された場合には、左肩上がりのヒストグラム（Ｓ２５）にて、ヒストグラムが左肩上がりの形状と判定する。

ヒストグラムの形状判定（Ｓ３）について説明する。このヒストグラムの形状判定（Ｓ３）では、矩形領域の特徴値検出（Ｓ２）で求めた各特徴値をもとにヒストグラムの形状を判定する。

図３に示す左肩上がりのヒストグラムの場合は、歪度が「１．９４１」であり、尖度が「１．９４６」である。第一の閾値（閾値１）として、「１．５」、第二の閾値として「１．５」として設定してあれば、歪度の絶対値が閾値１よりも大きく、かつ、尖度の絶対値が閾値２よりも大きいことになるので、処理Ｓ２１にてＹｅｓと判定される。
次に、最頻値は「６１」であり、平均値は「８５」である。このため、処理２１にてＮｏと判定され、処理（Ｓ２５）において左肩上がりのヒストグラムと形状判定される。なお、同処理では後述する閾値設定のために判定結果を示すフラグをオンにするといった処理を行う。

図４に示す右肩上がりのヒストグラムの場合は、歪度の絶対値が「２．５０９」であり、尖度が「５．１２０」である。上述した第一の閾値（閾値１）と第二の閾値との対比の結果、歪度の絶対値が閾値１よりも大きく、かつ、尖度の絶対値が閾値２よりも大きいことになるので、処理Ｓ２１にてＹｅｓと判定される。
次に、最頻値は「２１１」であり、平均値は「１９４」である。このため、処理２１にてＹｅｓと判定され、処理（Ｓ２４）において右肩上がりのヒストグラムと形状判定される。同処理では判定結果を示すフラグをオンにする。

図５に示す双峰型のヒストグラムの場合は、歪度の絶対値が「０．３１５」であり、尖度の絶対値が「０．３１５」である。上述した第一の閾値（閾値１）と第二の閾値との対比の結果、歪度の絶対値が閾値１よりも小さく、また、尖度の絶対値が閾値２よりも小さいことになるので、処理Ｓ２１にてＮｏと判定され、処理Ｓ２２の判定を行う。
処理Ｓ２２では、中央値と平均値との差の絶対値と、第三の閾値（閾値３）と対比する。中央値は「２３８」であり、平均値は「１５８」であるから、差は「８０」となり、閾値３として「５０」を設定している場合、対比の結果はＮｏと判定され、処理（Ｓ２７）にて双峰型のヒストグラムと形状判定される。同処理では判定結果を示すフラグをオンにする。

図６に示すグラデーションにおける黒文字のヒストグラムの場合は、歪度の絶対値が「０．３２２」であり、尖度の絶対値が「１．０６８」である。上述した第一の閾値（閾値１）と第二の閾値との対比の結果、歪度の絶対値が閾値１よりも小さく、また、尖度の絶対値が閾値２よりも小さいことになるので、処理Ｓ２１にてＮｏと判定され、処理Ｓ２２の判定を行う。
中央値は「９９」であり、平均値は「１０６」であるから、差は「７」となり、閾値３として「５０」を設定している場合、処理２２での対比の結果はＹｅｓと判定され、処理（Ｓ２８）にてグラデーションのヒストグラムと形状判定される。

また、図７に示すグラデーションにおける白文字のヒストグラムの場合は、歪度の絶対値が「０．３６９」であり、尖度の絶対値が「０．９２９」である。上述した第一の閾値（閾値１）と第二の閾値との対比の結果、歪度の絶対値が閾値１よりも小さく、また、尖度の絶対値が閾値２よりも小さいことになるので、処理Ｓ２１にてＮｏと判定され、処理Ｓ２２の判定を行う。
中央値は「１０５」であり、平均値は「１１４」であるから、差は「９」となり、閾値３として「５０」を設定している場合、処理２２での対比の結果はＹｅｓと判定され、処理（Ｓ２８）にてグラデーションのヒストグラムと形状判定される。

図９は、グラデーションにおける黒文字と白文字のヒストグラムを説明する図である。引き続き、形状判定について説明する。
同図は、左右方向にグラデーションにおける黒文字の場合と、グラデーションにおける白文字の場合について、分けて説明している。それぞれにおいて、最上段には表題として黒文字と、白文字の区別を表記しており、中段では左方に該当する画像のイメージを記載するとともに、右方には上段に領域内の全ての画素を対象とした階調値のヒストグラムを記載し、下段に領域内の白いエッジに該当する画素だけの階調値を対象としたヒストグラムを記載している。そして、最下段にはそれぞれの判定式を示している。

黒文字と判定されるのは、矩形領域内の全画素の階調値の平均値（Ｈｍｅａｎ）が白いエッジの画素の階調値の平均値（Ｈｍｅａｎ＿Ｗ）と等しいか大きい場合である。
一方、白文字と判定されるのは、矩形領域内の全画素の階調値の平均値（Ｈｍｅａｎ）が白いエッジの画素の階調値の平均値（Ｈｍｅａｎ＿Ｗ）よりも小さい場合である。
グラデーションのヒストグラムの処理（Ｓ２６）では、この対比を行なうことで、グラデーションのヒストグラムについて、黒文字と白文字の区別の判定を行う。

同処理では、グラデーションのヒストグラムについて、矩形領域内の白エッジのヒストグラムの平均値を求める処理と、この白いエッジの平均値と矩形領域内の全体の平均値とを対比する処理とを実行する。そして、両者の大小関係から黒文字か、白文字かを判定する。グラデーションにおける黒文字のヒストグラムなのかグラデーションにおける白文字のヒストグラムなのかを判断する。

ここで、エッジとは隣接あるいは近隣の範囲の画素間で階調値が大きく変化する境界領域と定義づけることができ、さらに白いエッジとは境界領域における明るい側の画素を指す。このようにして判定される白いエッジの画素の階調値について、階調値ごとに画素の度数を求める。
なお、最終的に使用するのは平均値だけであるから、ヒストグラムの作成は必須ではない。

図９で左方に示すグラデーションにおける黒文字のヒストグラムの場合、領域全体の画素の階調値の平均値は「１０５」であり、白いエッジの画素の階調値の平均値は「９９」である。従って、Ｈｍｅａｎ＞Ｈｍｅａｎ＿Ｗとなり、左方の最下段に示す判定式が成立するので、グラデーションにおける黒文字のヒストグラムと形状判定されることになる。

一方、右方に示すグラデーションにおける白文字のヒストグラムの場合、領域全体の画素の階調値の平均値は「１１４」であり、白いエッジの画素の階調値の平均値は「１８９」である。従って、Ｈｍｅａｎ＜Ｈｍｅａｎ＿Ｗとなり、右方の最下段に示す判定式が成立するので、グラデーションにおける白文字のヒストグラムと形状判定されることになる。
以上の判定が処理（Ｓ２６）内で行われる。

このように、ヒストグラムの形状判定（Ｓ３）により形状判定が行われるので、矩形領域の閾値設定（Ｓ４）では、判定されたヒストグラムの形状に応じた手法で閾値を設定する。

各形状判定結果と閾値の算出手法との対応関係は以下のようにしている。
・双峰型のヒストグラムの場合、二値化閾値は領域内の全画素の階調値の平均値とする。
・グラデーションにおける黒文字のヒストグラムの場合、二値化閾値は、領域内の全画素の階調値のヒストグラムにおける左端の谷の階調値を設定する。
・グラデーションにおける白文字のヒストグラムの場合、二値化閾値は、領域内の全画素の階調値ヒストグラムにおける右端の谷の階調値を設定する。
・右肩上がりのヒストグラムの場合、二値化閾値は、（２×平均値−最頻値）を設定する。
・左肩上がりのヒストグラムの場合、二値化閾値は、（２×平均値−最頻値）を設定する。

なお、右肩上がりのヒストグラムと左肩上がりのヒストグラムは二値化閾値の算出方法が同じであるため、ヒストグラムの形状判定（Ｓ３）にて、「偏りがあるヒストグラム」として同じ判定結果とし、同じ手法で閾値を設定しても良い。

図１０は、処理Ｓ１〜処理Ｓ４を経て求められた閾値を利用して二値化した結果の画像を示している。
同図では左列の上段に濃い下地に白抜きの文字が記載された入力画像の二値化結果を示し、左列の中段には下地のある領域に黒文字が記載された入力画像の二値化結果を示し、左列の下段には下地がほぼ無い領域に黒文字が記載された入力画像の二値化結果を示している。
また、中央列にはグラデーションに黒文字が記載された入力画像の二値化結果を示し、右列にはグラデーションに白抜きの文字が記載された入力画像の二値化結果を示している。
いずれの場合にも、記載されている文字と背景とを正確に区別して二値化、すなわちノイズ成分を除去している。
なお、応用として、上記処理にてエッジ検出の結果を考慮することでより鮮明な二値化結果となる。例えば、小さなフォントサイズ（６ｐｔなど）の文字や込み入った文字の部分では文字のにじみ部分が発生し、文字と背景との境目にちょうど中間的な階調値をもった画素が存在してしまう。しかし、予めエッジ検出処理を実行すると、エッジが強調されて境目に生じる中間的な階調値がなくなる。従って、この後で二値化処理を行うと小さな文字や込み入った部分でも文字部分と背景とを明確に分離することができるようになる。むろん、小さな文字や込み入った部分以外にも同様の効果を奏する部分もあり、単純二値化に加えてエッジ検出の結果を考慮することが有効といえる。

以上、説明したように、本実施例では、以下の作用と効果を有する。
入力画像の文字や絵柄を矩形領域として検出し、検出した矩形領域内のヒストグラムの形状を判定し文字領域について高精度な二値化閾値を求める。
ヒストグラムの形状には様々ものがあり、文字領域についてその形状を判定することで適切な二値化閾値が設定できる。

形状の判定は、矩形領域内のヒストグラムの形状をテキストにおける双峰型のヒストグラム、グラデーションにおける黒文字のヒストグラム、グラデーションにおける白文字のヒストグラム、右肩上がりのヒストグラム、左肩上がりのヒストグラムに判別する。
文字領域のヒストグラムとしては、上記した５つに判別することでより適切な二値化の閾値を設定できる。

ヒストグラムの判別には歪度、尖度、平均値、最頻値、中央値を用いる。
判定値に歪度、尖度、平均値、最頻値、中央値を使用することで双峰型のヒストグラム、グラデーションのヒストグラム、右肩上がりのヒストグラム、左肩上がりのヒストグラムを簡単に判別できる。
さらに、矩形領域内の白いエッジのヒストグラムを用いることでグラデーションにおける黒文字のヒストグラム、グラデーションにおける白文字のヒストグラムを判定する。

白いエッジのヒストグラムを用いることでグラデーションにおける黒文字のヒストグラム、グラデーションにおける白
文字のヒストグラムを簡単に判別できる。
双峰型のヒストグラムとして判別された場合は矩形領域内のヒストグラムの平均値を二値化閾値として用いる。
グラデーションにおける黒文字のヒストグラムとして判別された場合は矩形領域内のヒストグラムの左端の谷の階調値値を二値化閾値として用いる。

グラデーションにおける白文字のヒストグラムとして判別された場合は矩形領域内のヒストグラムの右端の谷の階調値を二値化閾値として用いる。
右肩上がりのヒストグラム、左肩上がりのヒストグラムとして判別された場合は矩形領域内の二値化閾値を（２×ヒストグラムの平均値−ヒストグラムの最頻値）とする。
このように、各形状に合わせて閾値の設定方法を変えることにより精度の良い閾値を設定できる。

また、本発明の要旨は、入力画像の文字や絵柄を矩形領域として検出し、検出した矩形領域内の輝度分布(以降、ヒストグラムと記す)の形状を判定し文字領域について高精度な二値化閾値を求めることといえる。

次に、特許請求の範囲の記載と実施例の各構成部品との対応を示す。
特許請求の範囲に記載した処理対象設定手段は、矩形領域の検出（Ｓ１）の処理によって構成されている。
特許請求の範囲に記載した度数分布取得手段は、矩形領域の特徴値検出（Ｓ２）の処理によって構成されている。
特許請求の範囲に記載した形状判定手段は、矩形領域の特徴値検出（Ｓ２）と、ヒストグラムの形状判定（Ｓ３）と、歪度と尖度の閾値との対比（Ｓ２１）と、中央値と平均値の差と閾値との対比（Ｓ２２）と、最頻値と平均値との対比（Ｓ２３）と、右肩上がりのヒストグラム（Ｓ２４）と、左肩上がりのヒストグラム（Ｓ２５）と、グラデーションのヒストグラム（Ｓ２６）と、双峰型のヒストグラム（Ｓ２７）との各処理によって構成されている。

特許請求の範囲に記載した閾値設定手段は、矩形領域の閾値設定（Ｓ４）の処理によって構成されている。
特許請求の範囲に記載したノイズ成分除去手段は、二値化（Ｓ５）の処理によって構成されている。

特許請求の範囲に記載した処理対象設定ステップは、矩形領域の検出（Ｓ１）の処理によって構成されている。
特許請求の範囲に記載した度数分布取得ステップは、矩形領域の特徴値検出（Ｓ２）の処理によって構成されている。
特許請求の範囲に記載した形状判定ステップは、矩形領域の特徴値検出（Ｓ２）と、ヒストグラムの形状判定（Ｓ３）と、歪度と尖度の閾値との対比（Ｓ２１）と、中央値と平均値の差と閾値との対比（Ｓ２２）と、最頻値と平均値との対比（Ｓ２３）と、右肩上がりのヒストグラム（Ｓ２４）と、左肩上がりのヒストグラム（Ｓ２５）と、グラデーションのヒストグラム（Ｓ２６）と、双峰型のヒストグラム（Ｓ２７）との各処理によって構成されている。

特許請求の範囲に記載した閾値設定ステップは、矩形領域の閾値設定（Ｓ４）の処理によって構成されている。
特許請求の範囲に記載したノイズ成分除去ステップは、二値化（Ｓ５）の処理によって構成されている。

なお、本発明はソフトウェアを利用して各構成手段を実現しているが、ハードウェア、例えばアナログ回路やデジタル回路で実現することもできるし、ＡＳＩＣのような論理的作用をなすＩＣなどで実現することも可能である。
なお、本発明は上記実施例に限られるものでないことは言うまでもない。当業者であれば言うまでもないことであるが、
・上記実施例の中で開示した相互に置換可能な部材および構成等を適宜その組み合わせを変更して適用すること
・上記実施例の中で開示されていないが、公知技術であって上記実施例の中で開示した部材および構成等と相互に置換可能な部材および構成等を適宜置換し、またその組み合わせを変更して適用すること
・上記実施例の中で開示されていないが、公知技術等に基づいて当業者が上記実施例の中で開示した部材および構成等の代用として想定し得る部材および構成等と適宜置換し、またその組み合わせを変更して適用すること
は本発明の一実施例として開示されるものである。

本発明は、ノイズ成分除去プログラムを記録した媒体に利用することができる。

Ｓ１…矩形領域の検出、Ｓ２…矩形領域の特徴値検出、Ｓ３…ヒストグラムの形状判定、Ｓ４…矩形領域の閾値設定、Ｓ５…二値化、Ｓ２１…歪度と尖度の閾値との対比、Ｓ２２…中央値と平均値の差と閾値との対比、Ｓ２３…最頻値と平均値との対比、Ｓ２４…右肩上がりのヒストグラム、Ｓ２５…左肩上がりのヒストグラム、Ｓ２６…グラデーションのヒストグラム、Ｓ２７…双峰型のヒストグラム

Claims (8)

1. 多数の画素からなる画像における多値の画像データを入力し、所定の閾値を設定してノイズ成分を除去する（同画像データを二値化する）ノイズ成分除去装置において、
   上記画像データにおける所定の領域を処理対象として設定する処理対象設定手段と、
   上記画像データにおける上記設定された領域を対象として各画素の階調値の度数分布を求める度数分布取得手段と、
   上記度数分布の度数分布状況にもとづき、同度数分布の形状として歪度を求める形状判定手段と、
   判定された度数分布の形状に対応づけられた手法で上記閾値を設定する閾値設定手段と、
   上記閾値を利用して上記画像データから不要な成分を除去するノイズ成分除去手段とを具備することを特徴とするノイズ成分除去装置。
2. 上記形状判定手段は、上記歪度として度数分布における左右の非対称性の指標を求めることを特徴とする請求項１に記載のノイズ成分除去装置。
3. 上記形状判定手段は、上記度数分布の度数分布状況にもとづいて尖度を求め、
   上記閾値設定手段は、形状判定手段で求められた尖度と上記歪度とに対応づけられた手法で上記閾値を設定することを特徴とする請求項１または請求項２のいずれかに記載のノイズ成分除去装置。
4. 上記形状判定手段は、上記尖度として正規分布と対比した分布の尖り具合の指標を求めることを特徴とする請求項３に記載のノイズ成分除去装置。
5. 上記形状判定手段は、上記画像データにおける階調値の平均値と最頻値とを求め、
   上記閾値設定手段は、求められた平均値と最頻値との差異が所定の値より大きいときに対応した手法で上記閾値を算出することを特徴とする請求項１〜請求項４のいずれかに記載のノイズ成分除去装置。
6. 上記形状判定手段は、上記画像データにおける階調値の平均値と最頻値とを求め、
   上記閾値設定手段は、求められた平均値と最頻値との差異が所定の値より小さいときに対応した手法で上記閾値を算出することを特徴とする請求項１〜請求項４のいずれかに記載のノイズ成分除去装置。
7. 上記閾値設定手段は、上記画像データを対象として階調値が大きく変化する境界領域を検出するとともに、上記境界領域における明度の高い側の画素の階調値の平均値を取得し、かつ、上記領域内の平均値と対比し、同対比結果に対応した手法で上記閾値を算出することを特徴とする請求項５または請求項６のいずれかに記載のノイズ成分除去装置。
8. 多数の画素からなる画像における多値の画像データを入力し、所定の閾値を設定してノイズ成分を除去する（同画像データを二値化する）ノイズ成分除去プログラムを記録した媒体において、
   上記画像データにおける所定の領域を処理対象として設定する処理対象設定ステップと、
   上記画像データにおける上記設定された領域を対象として各画素の階調値の度数分布を求める度数分布取得ステップと、
   上記度数分布の度数分布状況にもとづき、同度数分布の形状として歪度を求める形状判定ステップと、
   判定された度数分布の形状に対応づけられた手法で上記閾値を設定する閾値設定ステップと、
   上記閾値を利用して上記画像データから不要な成分を除去するノイズ成分除去ステップとを具備することを特徴とするノイズ成分除去プログラムを記録した媒体。