JP2007006142A - 画像処理方法、画像形成装置、プログラム及び記録媒体 - Google Patents

Abstract

【課題】 文字の色を少ない色数で表現する際、カラー画像中の文字の色が偏った場合や使用頻度の低い文字色がある場合でも、精度よく文字の色の推定が行えるようにする。
【解決手段】 カラー画像から文字領域を抽出するステップと、色空間をＮ色の代表点で分割するステップと、前記文字領域の文字を構成する画素を前記分割した色空間に分類するステップと、分類結果の画素数に基づいて分割した色空間毎の構成色数を決定するステップと、前記分割した色空間毎に分類された画素の画素値でヒストグラムを作成するステップと、作成したヒストグラムから前記分割した色空間毎に、色の出現度合いを求め、求めた出現度合いの大きい画素値を順に前記決定した構成色数だけ構成色とするステップとを設けた。
【選択図】 図１

Description

本発明は、カラー画像処理方法、複写機、印刷装置、ファクシミリ等の画像形成装置に関し、特にカラー画像中の文字色を少ない色数で表す技術に関する。

カラー画像に対してＪＰＥＧ以上のファイルサイズの圧縮が可能となる高圧縮ＰＤＦという技術がよく用いられている。この技術ではカラー画像中の写真や文字などを、その特徴から分類し、それぞれの特徴にあった圧縮技術を用いることで高圧縮を実現している。図６および図７は、高圧縮ＰＤＦにおける画像圧縮の原理を説明する図である。高圧縮ＰＤＦでは、文字の領域と文字以外の領域とを分離し、文字が単一色に見えるという特徴から、文字の色毎の二値画像を作成することで文字領域部分のファイルサイズを削減し、従来に較べさらなる高圧縮を実現している（図７参照）。
しかし、プリンタによるカラー印刷やスキャナによる読み込みなどで取得したカラー画像中の文字を構成する画素は、完全に単一色とはならない。図８は変色（劣化）した文字の例を示す図である。同図のように、文字を構成する画素の色（この場合は無彩色に見える）は色々な色の成分からなり、たとえ同じ文字であっても図のようにモザイク状となる。そのため文字矩形を抽出し、それらの矩形内の画素値（例えばＲＧＢの成分値）を求めて文字色を推定すると、原稿が黒一色で書かれた場合であっても、スキャナなどでの読み取り時の文字色の劣化により、多数の黒色文字（純粋の黒だけでなく、濃いグレーや他の色成分が混ざった黒に近い色）が求められ、上記のファイルサイズ削減による高圧縮を困難にしている。
そこで、一般的には色空間で色クラスタリング等の処理を行い、カラー画像中の色数を減らすという処理が行われている。色クラスタリングは現在様々な方法が提案されており、例えばＰＡ法はカラー画像の画素から３次元ヒストグラムを作成し、ヒストグラムでの頻度が高い色を順に取る手法である（非特許文献１参照）。
また、色空間を格子上に分割し、その格子内に入る画素の重心を求め、重心をその格子の色にする方法も提案されている（非特許文献２参照）。
なお、カラー文書画像から背景色を取り除き、文字を構成する画素の色（複数）から代表色を１色求め、その色を文字の色とする方法もある（特許文献１）。
特開２００２−２３６９２１公報 P.Heckbert, "Color image quantization for frame buffer display"， Computer Graphics, 1982, vol.16, no.3, pp.297-307 長谷 博行など，"カラー文書画像中の文字領域抽出を目的とした色分割についての検討"，信学論， 2000, Vol.J83-D-II No.5, pp.1294-1304

しかし、非特許文献１のＰＡ法は、カラー画像の全画素から３次元ヒストグラムを作成するため、カラー画像内の文字色に偏りがある場合などは、その偏っている色の周辺の色を多く取ってしまうという欠点がある。また、ＰＡ法の欠点を改良した非特許文献２では、格子の大きさによっては使用頻度の低い文字の色が無視されたり、重心を求めることによって色が変化するなどの問題があった。
本発明は、上述した実情を考慮してなされたものであって、文字の色を少ない色数で表現する際、カラー画像中の文字の色が偏った場合や使用頻度の低い文字色がある場合でも、精度よく文字の色の推定が行える画像処理技術を提供することを目的とする。

上記の課題を解決するために、請求項１に記載の画像処理方法は、カラー画像から文字領域を抽出する抽出ステップと、色空間をＮ色の代表点で分割する分割ステップと、前記文字領域の文字を構成する画素を前記分割ステップにより分割した色空間に分類する分類ステップと、分類結果の画素数に基づいて分割した色空間毎の構成色数を決定する構成色数決定ステップと、前記分割した色空間毎に分類された画素の画素値でヒストグラムを作成するヒストグラム作成ステップと、作成したヒストグラムから前記分割ステップにより分割した色空間毎に、色の出現度合いを求め、求めた出現度合いの大きい画素値を順に前記構成色数決定ステップにより決定した構成色数だけ構成色とする構成色ステップとを備えたことを特徴とする。
また、請求項２の画像処理方法は、カラー画像から文字領域を抽出する抽出ステップと、色空間をＮ色の代表点で分割する分割ステップと、前記文字領域の文字を構成する画素を前記分割ステップにより分割した色空間に分類する分類ステップと、分類結果の画素数に基づいて分割した色空間毎の構成色数を決定する構成色数決定ステップと、前記分割した色空間毎に分類された画素の画素値でヒストグラムを作成するヒストグラム作成ステップと、作成したヒストグラムから前記分割した色空間毎に色の出現度合いを求め、それらを合成する合成ステップと、合成した出現度合いの大きい画素値を順に構成色とする構成色ステップとを備えたことを特徴とする。
また、請求項３の画像処理方法は、カラー画像から文字領域を抽出する抽出ステップと、ＨＳＶ色空間をＮ色の代表点で分割する分割ステップと、前記文字領域の文字を構成する画素を前記分割ステップにより分割した色空間に分類する分類ステップと、分類結果の画素数に基づいて分割した色空間毎の構成色数を決定する構成色数決定ステップと、前記分割した色空間毎に分類された画素の画素値で軸ヒストグラムを作成するヒストグラム作成ステップと、作成した軸ヒストグラムから前記分割した色空間毎に前記決定した構成色数だけ、各軸の頻度の大きい画素値を順に組にして構成色とする構成色ステップとを備えたことを特徴とする。

また、請求項４は、請求項１、２または３記載の画像処理方法において、前記色空間をＮ色の代表点で分割する分割ステップは、色空間を４色（黒、赤、緑、青）の代表点で分割することを特徴とする。
また、請求項５は、請求項１、２または３記載の画像処理方法において、前記色空間をＮ色の代表点で分割する分割ステップは、色空間を所定の色のグループで指定した代表点を用いて段階的に分割することを特徴とする。
また、請求項６は、請求項１、２または３記載の画像処理方法において、前記色空間をＮ色の代表点で分割する分割ステップは、前記代表点を任意に指定するようにしたことを特徴とする。
また、請求項７は、請求項１〜６のいずれか１項に記載の画像処理方法において、前記決定した構成色を用いて文字を構成する各画素の画素値を一番近い構成色の画素値に変更するステップを設けたことを特徴とする。
また、請求項８は、請求項１〜７のいずれか１項に記載の画像処理方法を用いて画像処理を行う画像形成装置である。
また、請求項９は、コンピュータを、請求項８に記載の画像形成装置として機能させるためのプログラムである。
また、請求項１０は、コンピュータに、請求項１〜７のいずれか１項に記載の画像処理方法を実現させるためのプログラムである。
また、請求項１１は、請求項９または１０に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、劣化して増大した文字色を少ない文字色にすることができ、画像圧縮の効果が増大する。
また、文書中に少数しかない文字色でも精度よく取り出すことができ、従来法よりも精度良く色数の推定が可能になる。
さらに、事前情報等によって色空間を自由に分割できるので、文字の色を理想的な色あるいは所望の色に変更することが可能となる。

以下、図面を参照して、本発明の実施形態を詳細に説明する。

図１は本発明の画像処理手順を示すフローチャートである。
イメージスキャナなどの入力機器、またはインターネットなどネットワークよりカラー画像を取得し（ステップＳ１）、取得したカラー画像から文字の領域を抽出する（ステップＳ２）。文字領域を判別するアルゴリズムは多く公開されており、例えば特開平８−１２３９０１号などを使用することができる。次に、文字色を分類するために、色空間を分割するための代表点を決定する（ステップＳ３）。決定方法は、サンプル画像から求める方法や事前の知識を活用して与える方法等がある。
代表点をサンプル画像から求める方法は、スキャナやプリンタなどの文字の色が単一色から劣化した原因と思われる過程が既知の場合に、劣化過程を考慮した色空間の分割が可能になる。例えば、想定されているシステムが既知の場合には、そのシステムで出力された文書を代表色毎に用意して、その文書を用いて各代表色の情報（例えば、平均や分散など）を求めて代表色にする。
事前の知識を活用して与える方法では、様々な事前知識や条件（例えば、カラー文書画像には黒文字が多いなど）によって色空間をその特性に合わせて分割できるという利点がある。例えば、黒い文字はカラー文書画像に比較的多い文字という事前知識があった場合には、黒の代表点のみ２点用意する、または黒文字の分布を仮定する場合などは黒の分散を比較的大きく見積もるなどが可能である。図２は、文字色の割合の例を示す図である。例えば、オフィス文書には黒文字が多く使われているという事前知識から、黒は他の色より広い区間を占めるように代表点を設定する。
本実施例として、色空間を４色（黒、赤、緑、青）の代表色で分割し、それぞれの代表点をＲＧＢ空間の（Ｒ，Ｇ，Ｂ）＝（１２８，１２８，１２８），（２５５，０，０），（０，２５５，０），（０，０，２５５）の４点とする。これら４色に分割した理由としては、「黒」はカラー文書画像中に多く見られる文字色で、「赤、緑、青」は文書中で強調したり目立たせるのに使用される色であり、光の３原色で色を表す上で重要な色であるという理由からである。この他に、代表点を６色（黒、赤、緑、青、黄、シアン、マジェンタ）で指定してもよい。すなわち、文書がどのくらい多彩な色で書かれているかによって色分割を変更すると効果的である。なお、ここで言う色空間は、ＲＧＢや、ＨＳＶ、Ｌ＊ｕ＊ｖ＊などの色空間モデルを示している。例えば、色差式を使って分類する場合などはＬ＊ｕ＊ｖ＊を用いる方が良い。この実施例１では、ＲＧＢを用いた例である。

次に、ステップＳ２で抽出した文字領域の文字を構成する画素を画素値（Ｒ，Ｇ，Ｂ）を基にステップ３で与えた代表点で代表する色空間に分類する（ステップＳ４）。図３は、色空間の分割の例を示す図である。破線で示す領域はそれぞれ、上記代表点（×印）で分割された色空間である。各画素の色による分類方法は距離による分類（ユークリッド距離やマハラノビス距離など）、判別関数による分類（参考文献：石井健一郎、“わかりやすいパターン認識”、オーム社、１９９８年）、色差式の大小比較（参考文献：大田登、“色彩工学”、東京電機大学出版、２００１年）などで行う。画素が分類された各々の集合（色空間）をＷ_i（ｉ＝１，…，Ｎ）とする。Ｎは代表点数で、本実施例では、Ｎ＝４である。
次に、分割した各色空間で取られる構成色の最大数ｍ_i（ｉ＝１，…，Ｎ）を求める（ステップＳ５）。ｍ_iを求める方法は、事前の知識によって決定する方法（例えば、黒と赤に分類された文字はそれぞれ１色のみである）などもあるが、ここでは、画素の集合Ｗ_iに含まれる画素数ｔ_i（ｉ＝１，…，Ｎ）と、文字領域全体の画素数Ｔ＝Σｔ_iから、分割した各色空間で取られる構成色（採用する色）の最大数ｍ_iを下記のように求める。
すなわち、ｍ_i＝ｉｎｔ（ｔ_i＊１０／Ｔ）そして、総構成色数Ｍは、Ｍ＝Σｍ_iとなる。上の式では、１０は文字領域全体の文字の色数をほぼ１０色にすることを示している。この例では、全体の１０％がＷ_iに分類されないと、その色は存在しないと扱われる。つまりｍ_i＝０となる。
ｍ_i＝ｉｎｔ（（ｔ_i／Ｔ＋０．０９）＊１０）としてもよい。この例では、例えば全画素１万個中１００個（１％）の画素が存在すれば、その色の文字が存在するとして処理される。この修正項（０．０９）をあまり大きい値にすると、ノイズを文字色に採用してしまい、反対に小さい値にすると、実際に存在する色の文字が別の色になってしまう。勿論、１０も０．０９も、パラメータとして実行時に変更できるようにしてもよい。

次に、ステップＳ４で分類された画素Ｗｉの集合毎に画素値のヒストグラムＨ_i（ｒ，ｇ，ｂ）（ｉ＝１，…，Ｎ）を作成する（ステップＳ６）。このＨ_i（ｒ，ｇ，ｂ）という表記は、要素数がそれぞれｒ、ｇ、ｂ個の３次元の行列（配列）を表すものとし、例えば、Ｈ（２５６，２５６，２５６）という配列がＮ個あり、ヒストグラムＨの場合、配列要素に入る値は画素値の度数である。以降も同様の表記を用いて説明する。そして、求めたヒストグラムＨ_i（ｒ，ｇ，ｂ）（ｉ＝１，…，Ｎ）をＷ_iの画素数ｔ_iで各々割る。これによってヒストグラムＨ_i（ｒ，ｇ，ｂ）は、代表点で分割した色空間ｉにおける色の出現率を表すＰ_i（ｒ、ｇ、ｂ）（ｉ＝１，…、Ｎ）となる。
即ち、Ｐ_i（ｒ，ｇ，ｂ）＝Ｈ_i（ｒ，ｇ，ｂ）／ｔ_iで、左辺は色空間ｉにおける、ある色（ｒ，ｇ，ｂ）の出現割合を表す。そして、分割した色空間ｉ毎に、色の出現率Ｐ_i（ｒ，ｇ，ｂ）の大きい順にステップ５で求めたｍ_iの数だけ、それぞれの色空間ｉごとに構成色Ｃ_ij（ｒ，ｇ，ｂの画素値 ｊ＝１，…，ｍ_i）を取り出す（ステップＳ７）。
なお、文字の各画素の色は最終的に、それぞれの色空間ごとにＰ_i（ｒ，ｇ，ｂ）の値の大きい順に取り出した色Ｃ_ijのうち一番距離が近い色に変更することで、文字色の減色を行うことができる（ステップＳ８）。この場合、ｍ_i＝１なら色空間の代表点の画素値にしてもよい。こうすると、劣化した色を忠実に再現するのではなく、理想の色あるいは所望の色に変換することもできる。
以上の処理を行うことで、カラー画像から従来手法よりも精度よく文字の色数を求めることができる。その主な理由は、代表点をサンプル画像によって決定した場合には、スキャナやプリンタの特性を考慮した色分割が適切に行えること、代表点を事前の知識を活用して決定した場合には、色の分布の偏りや、人間が容易に見分けられる色（例えば、黒、赤、青、緑など）などの事前情報により、色空間の分割を適切に行えること、色空間を分割し、分割した色空間毎の色の出現確率を参照することにより、文字の色が偏っていても、それぞれの分類で色を評価できること、また、分類された画素数から分割した色空間の構成色数を決定できることによる。

この実施例２では、構成色Ｃのとり方において実施例１との違いがある。従って処理については、図１のフローチャートで、ステップＳ６までは同じである。本実施例のステップ７では、Ｐ_i（ｒ，ｇ，ｂ）を用いて正規化した出現率Ａ（ｒ，ｇ，ｂ）を求める。
すなわち、
Ａ（ｒ，ｇ，ｂ）＝（ΣＰ_i（ｒ，ｇ，ｂ））／Ｎ（ｉ＝１，…，Ｎ）
のように正規化する。この式は、Ｎ個のＰ（ｒ，ｇ，ｂ）の配列要素同士を足し合わせＮで割り、行列Ａの対応する配列要素に代入することを意味する。こうすることにより、分割した色空間ｉと無関係となる。そして、出現率Ａ（ｒ，ｇ，ｂ）から値の大きい順に構成色Ｃ_jを最大Ｍ個取り出す。ただし、取り出した色の出現率Ａ（ｒ，ｇ，ｂ）が所定の閾値Ｘよりも小さい場合は構成色として採用せずに処理を終了する。
以上の処理を行うことにより、カラー画像から従来手法よりも精度よく文字の色数を求めることができる。その主な理由は、色空間を分割し、分割した色空間毎の色の出現率とすることにより、文字の色が偏っていても、それぞれの分類で色を評価できること、閾値Ｘを決定することにより、色クラスタリングの結果を制御できることによる。

まず、実施例１のステップＳ６までの処理を行う。但し、この実施例では、色空間モデルとして、ＲＧＢ空間でなく、色空間を構成する各軸が互いに独立な（または相関が低い）色空間を用いることとする。
図４はＨＳＶ色空間モデルを説明する図である。同図において、Ｈは基準となる０°から反時計周りに計った角度で、例えば０°は赤、１２０°は緑のように色相を表す。Ｓは彩度を表し、中心からの距離で外に行くほど高く、Ｖは明度を表し、上に行くほど高くなる。原色は、明度Ｖ、彩度Ｓともに１００％である。
本実施例では、ＨＳＶ空間を用いるが、主成分分析による軸変換を行って、直交系への変換を行っても良い。従って、代表点もＨＳＶで与え、ＲＧＢ画素値は公知の変換式（例えば、前掲の大田登著“色彩工学”）を用いて変換する。
まず、ヒストグラムＨ_i（ｈ，ｓ，ｖ）（ｉ＝１，…，Ｎ）を用いて、色空間を構成する各軸（Ｈ，Ｓ，Ｖ）毎のヒストグラムＵｈ_i（ｈ）、Ｕｓ_i（ｓ）、Ｕｖ_i（ｖ）を作成する。そして、Ｕｈ_i（ｈ）、Ｕｓ_i（ｓ）、Ｕｖ_i（ｖ）毎に最大値を取り出して、構成色候補Ｃ’を作る。Ｃ’はそのときの各ｈ、ｓ、ｖの値を画素値とした色である。
分割した色空間で取り出した構成色数Ｃ’がｍ_i以下ならば、Ｈ_i（ｈ，ｓ，ｖ）から取り出した構成色候補Ｃ’に対応する値を削除（配列要素をクリア）して、Ｃ’を構成色Ｃ_jとし、上記の処理を繰り返す。分割した色空間で取り出した現在の構成色数がｍ_iを超えたならば分割した色空間ｉでの処理を終了する。この処理は、すべての分割した色空間ｉについて行う。
以上の処理を行うことにより、カラー画像から従来手法よりも精度よく文字の色数を求めることができる。主な理由は、文書中に多い色の文字を順に削除できるため、偏りに左右されずに構成色を取り出せること、また、分類された画素数から分割した色空間の構成色数を決定できることによる。

これまでの実施例では、Ｎ色（例えば黒、赤、緑、青）によって色空間を分割したが、段階的に分割してもよい。例えば、２色（無彩色、有彩色）に分割後、各３色（黒、灰、白）、（赤、緑、青）で分割するような方法でもよい。分類の方法は、例えば無彩色をまとめて抽出するには、上記実施例１、２で使用したＲＧＢ色空間を用い、有彩色をｘｙ色度図を用いて分類するとよい。黒や灰色は文書画像に比較的多く存在しているため、ヒストグラムの上位から色を決定すると、精度を低下させる原因になる。ｘｙ色度図では、黒、灰色などの無彩色はｘｙ色度図全体に広がるため、ｘｙ色度図を分割する場合などは、まず無彩色と有彩色を分離する必要がある。

図５は本発明を実施するためのハードウエア構成例を示す図である。本発明の機能は、ソフトウェアによって実現するものであり、ＣＰＵ１、メモリ２、ハードディスク４、入力装置５、ＣＤ−ＲＯＭドライブ３、ディスプレイ６、マウスなどからなる汎用の処理装置（例えばパーソナルコンピュータ）や同様な構成のハードウエアで実施可能である。
本発明の機能を複写機や印刷装置、ファクシミリ等の画像形成装置に組み込む場合は、画像形成装置に備わったＣＰＵやメモリ等を利用してもよいし、必要に応じて上記のハードウエアとプログラム等を追加すればよい。
本発明をパーソナルコンピュータで実施する場合は、ＣＤ−ＲＯＭなどの記録媒体７には、本発明の処理機能や処理手順を実現するためのプログラムが記録されている。また、処理対象の原稿画像は、例えば入力装置５を通してハードディスク４などに格納されている。ＣＰＵ１は、記録媒体７から上述した処理機能、手順を実現するためのプログラムを読み出し実行し、画像処理の結果をハードディスク４に保存し、必要に応じてディスプレイ６に出力すればよい。

本発明の画像処理手順を示すフローチャートである。 文字色の割合の例を示す図である。 色空間の分割の例を示す図である。 ＨＳＶ色空間モデルを説明する図である。 本発明を実施するためのハードウエア構成例を示す図である。 高圧縮ＰＤＦにおける画像圧縮の原理を説明する図である。 高圧縮ＰＤＦにおける画像圧縮の原理を説明する図である。 変色（劣化）した文字の例を示す図である。

符号の説明

１…ＣＰＵ、
２…メモリ、
３…ＣＤ−ＲＯＭドライブ、
４…ハードディスク、
５…入力装置、
６…ディスプレイ、
７…記録媒体、
８…バス

Claims (11)

1. カラー画像から文字領域を抽出する抽出ステップと、色空間をＮ色の代表点で分割する分割ステップと、前記文字領域の文字を構成する画素を前記分割ステップにより分割した色空間に分類する分類ステップと、分類結果の画素数に基づいて分割した色空間毎の構成色数を決定する構成色数決定ステップと、前記分割した色空間毎に分類された画素の画素値でヒストグラムを作成するヒストグラム作成ステップと、作成したヒストグラムから前記分割ステップにより分割した色空間毎に、色の出現度合いを求め、求めた出現度合いの大きい画素値を順に前記構成色数決定ステップにより決定した構成色数だけ構成色とする構成色ステップとを備えたことを特徴とする画像処理方法。
2. カラー画像から文字領域を抽出する抽出ステップと、色空間をＮ色の代表点で分割する分割ステップと、前記文字領域の文字を構成する画素を前記分割ステップにより分割した色空間に分類する分類ステップと、分類結果の画素数に基づいて分割した色空間毎の構成色数を決定する構成色数決定ステップと、前記分割した色空間毎に分類された画素の画素値でヒストグラムを作成するヒストグラム作成ステップと、作成したヒストグラムから前記分割した色空間毎に色の出現度合いを求め、それらを合成する合成ステップと、合成した出現度合いの大きい画素値を順に構成色とする構成色ステップとを備えたことを特徴とする画像処理方法。
3. カラー画像から文字領域を抽出する抽出ステップと、ＨＳＶ色空間をＮ色の代表点で分割する分割ステップと、前記文字領域の文字を構成する画素を前記分割ステップにより分割した色空間に分類する分類ステップと、分類結果の画素数に基づいて分割した色空間毎の構成色数を決定する構成色数決定ステップと、前記分割した色空間毎に分類された画素の画素値で軸ヒストグラムを作成するヒストグラム作成ステップと、作成した軸ヒストグラムから前記分割した色空間毎に前記決定した構成色数だけ、各軸の頻度の大きい画素値を順に組にして構成色とする構成色ステップとを備えたことを特徴とする画像処理方法。
4. 前記色空間をＮ色の代表点で分割する分割ステップは、色空間を４色（黒、赤、緑、青）の代表点で分割することを特徴とする請求項１、２または３記載の画像処理方法。
5. 前記色空間をＮ色の代表点で分割する分割ステップは、色空間を所定の色のグループで指定した代表点を用いて段階的に分割することを特徴とする請求項１、２または３記載の画像処理方法。
6. 前記色空間をＮ色の代表点で分割する分割ステップは、前記代表点を任意に指定するようにしたことを特徴とする請求項１、２または３記載の画像処理方法。
7. 請求項１〜６のいずれか１項に記載の画像処理方法において、前記決定した構成色を用いて文字を構成する各画素の画素値を一番近い構成色の画素値に変更するステップを設けたことを特徴とする画像処理方法。
8. 請求項１〜７のいずれか１項に記載の画像処理方法を用いて画像処理を行う画像形成装置。
9. コンピュータを、請求項８に記載の画像形成装置として機能させるためのプログラム。
10. コンピュータに、請求項１〜７のいずれか１項に記載の画像処理方法を実現させるためのプログラム。
11. 請求項９または１０に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。