JP2014078786A - 画像処理装置、画像処理方法及び画像処理方法を記録した記録媒体 - Google Patents

Abstract

【課題】画像をブロックに分割し、ＤＣＴ変換を用いて網点と文字と写真の像域分離を精度よく行う。
【解決手段】画像処理装置の画像処理手段に、画像入力手段から入力された画像データをブロック単位に分割する分割部と、各ブロックの画素をＤＣＴ変換するＤＣＴ変換部と、ＤＣＴ変換された周波数成分のうちＤＣ成分を除く周波数成分をジグザグスキャンするジグザグスキャン部と、スキャンされたデータのピークを調べるために注目データを２倍し、その前後のデータを引いた値をジグザグレートとして算出するジグザグレート算出部と、低周波帯域、高周波帯域及び全周波帯域におけるジグザグレートの絶対値の和をそれぞれ算出し、算出された低周波帯域、高周波帯域及び全周波帯域におけるジグザグレートの絶対値の和を用いて各ブロックを文字、網点又は写真のいずれかと判定する判定部と、判定された各ブロックに対して文字、網点、写真のいずれかであるかに応じてフィルタ処理する処理部とを備える。
【選択図】図７

Description

本発明は、ＤＣＴ（Discrete Cosine Transform）変換を用いた像域分離を行う画像処理装置、画像処理方法に関するものである。ＤＣＴ変換は、離散コサイン変換とも称され、画像信号の空間的な冗長成分を取り除いて画像信号を圧縮する直交変換の一手法である。

ディジタル複写機などの画像処理装置で取り扱われる原稿には、文字原稿、網点原稿、写真原稿などがある。そして、これら原稿を画像処理装置によって再生処理する場合、それぞれに要求される画質評価が異なるため、像域分離処理によって各領域に最適な処理が施される。このような像域分離処理としては、従来から種々の方法が提案されている。例えば、特許文献１では、画像をブロックに分割し、ＤＣＴ変換を用いて網点と文字の像域分離を精度よく行う像域分離方法を提供する。

しかしながら、従来の像域分離処理では、文字と網点の２つしか分離できない。一方、最近では、写真と文字が混在している画像も多い。写真には、クリアトナーで光沢感を出す方法が最近よく用いられる。

本発明の課題は、画像をブロックに分割し、ＤＣＴ変換を用いて網点と文字と写真の像域分離を精度よく行うことにある。

上記課題を解決するために、画像を入力する画像入力手段と、入力した画像を処理する画像処理手段と、処理した画像を出力する画像出力手段とを有する画像処理装置にして、前記画像処理手段に、前記画像入力手段から入力された画像データをブロック単位に分割する分割部と、各ブロックの画素をＤＣＴ変換するＤＣＴ変換部と、ＤＣＴ変換された周波数成分のうちＤＣ成分を除く周波数成分をジグザグスキャンするジグザグスキャン部と、スキャンされたデータのピークを調べるために注目データを２倍し、その前後のデータを引いた値をジグザグレートとして算出するジグザグレート算出部と、低周波帯域、高周波帯域及び全周波帯域におけるジグザグレートの絶対値の和をそれぞれ算出し、算出された低周波帯域、高周波帯域及び全周波帯域におけるジグザグレートの絶対値の和を用いて各ブロックを文字ブロック、網点ブロック又は写真ブロックのいずれかと判定する判定部と、判定された各ブロックに対して文字、網点、写真のいずれかであるかに応じて平滑化若しくはエッジ強調する処理部とを備える。ここで、低周波帯域は例えばＤＣ成分を除く全周波帯域の低周波１／４の部分（図４〜６のグラフにおける横軸での番号２〜１６程度）で、高周波帯域は例えば全周波帯域の１／２から高周波方向に全周波帯域の１／４の間の周波数（図４〜６のグラフにおける横軸での番号３３〜４８程度）であると規定することができる。

本発明によれば、画像を小ブロックに分割し、各ブロックをＤＣＴ変換して出力される６４個の係数をジグザグスキャンして、低周波成分と高周波成分におけるジグザグレートを求め、その特徴から網点画像部分と文字画像部分と写真部分を分離するので、高精度に像域分離することができる。

本発明の実施例に係るブロック構成図である。 ＤＣＴ変換を説明する図である。 ＤＣＴ変換された係数ブロックをジグザグスキャンする図である。 文字画像の周波数特性を示す図である。 網点画像の周波数特性を示す図である。 写真画像の周波数特性を示す図である。 実施例１における像域分離処理のフローチャートである。 実施例２における像域分離処理のフローチャートである。 周囲のブロックを見て分離結果を補正する例を示す図である。

以下、本発明の実施の形態を図面により具体的に説明する。
（実施例１）
図１は、本発明の第１実施例のブロック構成図であり、上段は像域分離結果を算出する部分で、下段は像域分離結果を受けて、結果に応じた画像をブロック単位で画像出力部に送る部分である。図１において、画像入力部１は、ＣＣＤ素子等の光電変換素子を有し、画像情報である原稿を読み取ってＲＧＢの３色に色分解し、８ビットのディジタル信号を出力する。ＤＣＴ変換部８では、画像入力部１から出力された８×８画素の画像データ（Ｇ成分）をＤＣＴ変換する。本実施例では、Ｇ成分を用いたが、ＲＧＢ画像をＬ＊ａ＊ｂ変換して、Ｌ＊成分（明度成分：人間の視覚特性を考慮した明るさ）など、画像の明るさを表すデータを用いてもよい。ジグザグスキャン部３では、ＤＣ成分を除いた６３個の周波数成分をスキャンする（詳細は後述）。ジグザグレート算出部４で、前記６３個のデータのピーク度合いを算出する（詳細は後述）。像域分離部５で、ジグザグレート算出部４で算出されたジグザグレートに基づいて、前記８×８画素のブロック単位で、文字ブロック・網点ブロック・写真ブロックに分離し、判定結果を後段に渡す。

ガンマ補正部６ａ〜６ｃは画像入力部１でずれたＲＧＢ画像を、画素毎にそれぞれ予め用意してあるテーブルで本来のＲＧＢに補正する。ＣＣＤ素子などの光電変換素子により原稿を読み取る際に、高周波成分が小さくなってしまい、ぼやけた画像になってしまうので、それを補正するために、ＭＴＦ補正部７ａ〜７ｃにおいて、高周波成分を元に戻すべくハイパスフィルタにかける。色補正部８では、入力ＲＧＢを出力装置に合ったＹＭＣＫに変換する。平滑化処理部９で、モアレを抑制するためにローパスフィルタをかける。網点ブロック用のデータを作成する部分である。符号１０ａはエッジ強調部１で、文字部分のエッジを強調するための強いハイパスフィルタをかける。これによって文字の鮮鋭性が向上する。文字ブロック用のデータを作成する部分である。符号１０ｂはエッジ強調部２で、写真部分の鮮鋭性を再現するために、エッジ強調部１（１０ａ）よりも高周波成分を持ち上げる度合いの弱いハイパスフィルタを掛ける。符号１１ａ〜１１ｄはディザ処理部で、擬似階調が出るように変換処理する。セレクタ１２では、像域分離部５からの判定結果に応じて、網点ブロック用データ、文字ブロック用データ、写真ブロック用データの何れかを選択して、ブロック単位のＹＭＣＫ画像データを出力する。なお、像域分離結果で、文字・網点・写真の何れにも判定されなかったときには、色補正部からフィルタをかける（文字・網点・写真ブロック特有の処理）ことなくディザ処理部に送られたデータを選択し出力する。このようにフィルタ処理することなく出力することで、誤判定による画像の劣化を防止することができる。符号１３はカラープリンタなどの画像出力部である。

ＤＣＴ変換部２では、画像を構成する画素を８×８画素のブロックに分割し、８×８画素のブロックを階調（輝度）から、周波数に変換する。それぞれの画素の値をｆ（ｉ，ｊ）と表す（但し、ｉ＝０〜７、ｊ＝０〜７）と、ＤＣＴによる写像Ｆ（ｕ，ｖ）は、
Ｆ（ｕ，ｖ）＝（２・Ｃ（ｕ）・Ｃ（ｖ）／Ｎ）ΣΣｆ（ｉ，ｊ）・ｃｏｓ｛（２ｉ＋１）ｕπ／２Ｎ｝・ｃｏｓ｛（２ｊ＋１）ｖπ／２Ｎ｝
と表される。この２次元ＤＣＴの結果をＤＣＴ係数と呼び、８×８の係数マトリックスで与えられる（図２）。但し、積和演算は、ｉ、ｊ＝０から７まで行う。また、Ｎ＝８、ｕ，ｖ＝０，１〜７、Ｃ（ｗ）＝１／√２（ｗ＝０のとき）または１（ｗ＝１，２〜７のとき）である。

ジグザグスキャン部３において、ＤＣＴ変換された結果は、８×８からなる水平／垂直の空間周波数係数の２次元マトリックスであるので、ジグザグスキャンという方法で１次元に変換する。図３に示すように、ＤＣ成分を除いた６３個の周波数成分を低周波部分から始めて高周波成分の方向に、斜めにスキャンしていく。２次元マトリックスの周囲にきたら一つ高周波部分に移動して、再び斜めにスキャンする（図中の番号は、スキャン順を表す）。

そして、ジグザグレートという概念を導入し、文字ブロックと網点ブロックと写真ブロックの判定に用いる。すなわち、ジグザグスキャンして得られた６３個のデータのピークを調べるためにジグザグレート算出部４で操作するもので、次の手順で行う。

ピークであるか否かを調べる部分のデータを２倍し、その前後のデータを引いた値（ジグザグレート）を求める。このデータを、（ｕ，ｖ）＝（０，０）と（７，７）の点を除いた６１個求める。つまり、ジグザグレート［ｉ］＝ジグザグ［ｉ］×２−ジグザグ［ｉ−１］−ジグザグ［ｉ＋１］で（１≦ｉ≦６３）

像域分離部５は、ジグザグレート算出部４からのデータを用いて、文字ブロック・網点ブロック・写真ブロックの何れかを判定し、判定結果をセレクタ１２と画像出力部１３に送る部分である。写真ブロックと判定された場合は画像出力部１３でＣＭＹＫトナーも加えて光沢をもたせる。文字ブロック・網点ブロック・写真ブロックの何れとも判定されなかった場合には、不明ブロックとして、画像出力部１３とセレクタ１２に判定結果を送る。

ジグザグレートを用いた文字、網点、写真ブロックの像域分離は、次のようにして行う。すなわち、ブロック単位でＤＣＴ変換したとき、文字画像と網点画像と写真画像とでは、図４、図５、図６に示すように異なる周波数特性を有する。図４は文字画像の周波数特性を示し、図５は網点画像の周波数特性を示し、図６は写真画像の周波数特性を示す（横軸はスキャン位置、縦軸はＤＣＴ係数である）。つまり、文字画像では低周波成分にピークが多く現れ易く、網点画像では高周波成分にピークが多く現れ易く、写真画像ではピークが現れない。したがって、ジグザグレートの絶対値の和において、文字画像と網点画像と写真画像とでは異なり、文字画像においては低周波の部分で高い値を示し、高周波の部分で低い値を示す。一方、網点画像はその逆で、低周波の部分ではその値が小さく、高周波の部分ではその値が大きい。写真画像では、全周波数帯域でのジグザグレートの和が文字画像や写真画像に比べて小さい。

そこで、ＤＣ成分を除いた６３個の周波数成分を低周波部分から始めて高周波成分の方向に斜めにスキャンする。このようにして得られた６３個のデータのピークを調べるために、ピークであるか否かを調べる部分のデータを２倍し、その前後のデータを引いた値（ジグザグレート）を求める。文字ブロック、網点ブロック、写真ブロックにおける各ジグザグレートの絶対値の和に関する特徴を取り込める条件を設定し、各ブロックの判定を行う。このような、像域分離処理を、分割されたブロックにＤＣＴ変換を施すことで行うのである。

図７は、本実施例の像域分離処理の一例を示すフローチャートである。先ず、８画素×８画素のブロックを取り込む（Ｓ１）。次に、取り込んだブロックをＤＣＴ変換して８×８＝６４係数の周波数成分に変換する（Ｓ２）。次いで、ＤＣ成分を除く６３係数の周波数成分をジグザグスキャンし、ジグザグスキャンデータから６１個のジグザグレートを求める（Ｓ３）。次に、低周波帯域のジグザグレートの絶対値の和SumZrateLowを算出し（Ｓ４）、高周波帯域のジグザグレートの絶対値の和SumZrateHighを算出し（Ｓ５）、全周波帯域のジグザグレートの絶対値の和SumZrateAllを算出する（Ｓ６）。

次いで、低周波部分におけるジグザグレートの絶対値の和が所定値th１より小さいか否かを判定し、また高周波部分におけるジグザグレートの絶対値の和が所定値th２より大きいか否かを判定し（Ｓ７）、低周波部分におけるジグザグレートの絶対値の和が所定値th１より小さく、かつ高周波部分におけるジグザグレートの絶対値の和が所定値th２より大きいとき、該ブロックは網点ブロックと判定し、平滑化フィルタをかけたブロックをセレクタで選択する指示を出す（Ｓ８）。

網点ブロックと判定されなかった場合、高周波部分におけるジグザグレートの絶対値の和が所定値th３より大きいか否かを判定し、低周波部分におけるジグザグレートの絶対値の和が所定値th４より小さいか否かを判定し（Ｓ９）、高周波部分におけるジグザグレートの絶対値の和が所定値th３より大きく、かつ低周波部分におけるジグザグレートの絶対値の和が所定値th４より小さいとき、該ブロックは文字ブロックと判定し、強くエッジ強調されたブロックをセレクタで選択する指示を出す（Ｓ１０）。

文字ブロックとも網点ブロックとも判定されなかった場合、該ブロックは写真ブロックと判定し、弱くエッジ強調されたブロックをセレクタで選択する指示を出す（Ｓ１１）。また、画像出力部においてクリアトナーを施す指示を出す（Ｓ１２）。クリアトナーを施すことで光沢感のある写真画像を出力できる。

本実施例では、網点ブロック→文字ブロック→写真ブロックの順に判定したが、それに限られず、文字ブロック→網点ブロック→写真ブロックの順で判定してもよい。

（実施例２）
判定結果が不明である場合の態様も加えた例である。図１〜図６に関する説明は実施例１の場合と同じである。ところで、分離誤りが起こる原因の一つとして、文字部分と網点部分と写真部分の３つに分けることが挙げられる。つまり、何れかに判定することが困難な部分に対しても分離処理するからである。判定困難な部分は、何れかに分離するよりも、フィルタ処理することなく、入力画像をそのまま出力させた方が致命的な誤りは減少する。そこで、本実施例では、分離が難しいブロックに対しては、エッジ強調や平滑化フィルタ処理を行わない指示を与える。

図８は、本実施例の像域分離処理の一例を示すフローチャートである。先ず、８画素×８画素のブロックを取り込む（Ｓ１’）。ブロックの平均輝度値AveKidoを算出する（Ｓ２’）。次に、取り込んだブロックをＤＣＴ変換して８×８＝６４係数の周波数成分に変換する（Ｓ３’）。次いで、ＤＣ成分を除く６３係数の周波数成分をジグザグスキャンし、ジグザグスキャンデータから６１個のジグザグレートを求める（Ｓ４’）。次に、低周波帯域のジグザグレートの絶対値の和SumZrateLowを算出し（Ｓ５’）、高周波帯域のジグザグレートの絶対値の和SumZrateHighを算出し（Ｓ６’）、全周波帯域のジグザグレートの絶対値の和SumZrateAllを算出する（Ｓ７’）。

次いで、低周波部分におけるジグザグレートの絶対値の和が所定値th１より小さいか否かを判定し、高周波部分におけるジグザグレートの絶対値の和が所定値th２より大きいか否かを判定し（Ｓ８’）、低周波部分におけるジグザグレートの絶対値の和が所定値th１より小さく、かつ高周波部分におけるジグザグレートの絶対値の和が所定値th２より大きいとき、該ブロックは網点ブロックと判定し、平滑化フィルタをかけたブロックをセレクタで選択する指示を出す（Ｓ９’）。

網点ブロックと判定されなかった場合、高周波部分におけるジグザグレートの絶対値の和が所定値th３より大きいか否かを判定し、低周波部分におけるジグザグレートの絶対値の和が所定値th４より小さいか否かを判定し（Ｓ１０’）、高周波部分におけるジグザグレートの絶対値の和が所定値th３より大きく、かつ低周波部分におけるジグザグレートの絶対値の和が所定値th４より小さいとき、該ブロックは文字ブロックと判定し、強くエッジ強調されたブロックをセレクタで選択する指示を出す（Ｓ１１’）。

文字ブロックとも網点ブロックとも判定されなかった場合、８×８画素の平均輝度AveKidoが所定の値th５よりも小さく、かつ全周波帯域のジグザグレートの絶対値の和が所定の値th６よりも小さいとき、該ブロックは写真ブロックと判定し（Ｓ１２’）、弱くエッジ強調されたブロックをセレクタで選択する指示を出す（Ｓ１３’）。また、画像出力部においてクリアトナーを施す指示を出す（Ｓ１４’）。

文字ブロックとも網点ブロックとも写真ブロックとも判定されなかったブロックは、判定不能ブロックとして、フィルタ処理をしないブロックをセレクタで選択する指示を出す（Ｓ１５’）。

本実施例でも、網点ブロック→文字ブロック→写真ブロックの順に判定したが、それに限られず、網点ブロック・文字ブロック・写真ブロックを任意の順で判定してもよい。
本実施例では、第１から第６の所定値を決め、夫々の条件で文字ブロックと網点ブロックと写真ブロックの判定を行い、セレクタ１２に夫々の判定画像の選択信号を出力するものである。

（実施例３）
周囲のブロック情報を参照して判定結果を補正する例である。周囲のブロック情報を参照して像域分離するので、或るブロックから急に誤判定するという分離誤りを防止でき、高精度な判定が実現する。図１〜図６、図８に関する説明は実施例２と同じである。本実施例では、周囲の４ブロック（注目ブロックの上、左、２つ左、斜め上のブロック）の情報を、上記した判定条件の定数部分にｋｅｙとして組み込む。なお、ブロックの判定をラスター順に行うため、注目ブロックの右ブロックや下のブロックはまだ判定されていないので、使えない。
key＝0.25（flag(上)＋flag(左)）＋0.125（flag(２つ左)＋flag(斜め右上)＋flag(斜め左上)）
ここで、ｆｌａｇは、文字ならば−１、網点ならば１、写真ならば０の値をとるようにする（図９）。

ｋｅｙを条件に組み込むことによって、周囲が文字のブロックは、文字と判定され易くなり、周囲が網点のブロックは網点と判定され易くなり、周囲が写真のブロックは写真と判定され易くなる。

前述したジグザグレートを用いた判定にｋｅｙを組み込んだ場合は、以下のようになる。すなわち、低周波部分におけるジグザグレートの絶対値の和＜th1＋ｋｅｙ×定数ａで、かつ高周波部分におけるジグザグレートの絶対値の和＞th2＋ｋｅｙ×定数ｂのとき、網点画像と判定する。定数ａは、正の定数で絶対値がth1よりも小さい値にする。定数ｂは、負の定数であり、絶対値がth2よりも小さい値にする。高周波部分におけるジグザグレートの絶対値の和＜th3＋ｋｅｙ×定数ｃで、かつ低周波部分におけるジグザグレートの絶対値の和＞th4＋ｋｅｙ×定数ｄのとき、文字画像と判定する。定数ｃは、負の定数で絶対値がth3よりも小さい値にする。対数ｄは正の整数であり、絶対値がth4よりも小さい値にする。

８×８画素の平均輝度AveKido＜th5、かつ全周波帯域におけるジグザグレートの絶対値の和≦th6＋ｋｅｙ×定数ｅのとき、写真画像と判定する。定数ｅは正の定数であり、絶対値はth6よりも小さい値にする。

定数ａ，ｂ，ｃ，ｄ，ｅは、上記条件のもと、分離精度が向上するように設定する。絶対値の大きさについては、定数ａ，ｂ，ｃ，ｄはほぼ同じ値を設定し、定数ｅの絶対値は定数ａ，ｂ，ｃ，ｄよりも小さな値に設定する。

なお、以上のような画像処理方法を独立して記録媒体に記録し、複写機、ファクシミリ、プリンタなどの画像形成装置画像におけるＣＰＵで読み取るように構成することも考えられる。

１ 画像入力部
２ ＤＣＴ変換部
３ ジグザグスキャン部
４ ジグザグレート算出部
５ 像域分離部
６ ガンマ補正部
７ ＭＴＦ補正部
８ 色補正部
９ 平滑化処理部
１０ エッジ強調部
１１ ディザ処理部
１２ セレクタ
１３ 画像出力部

特開平６−３０３４２５号公報

Claims (9)

1. 画像を入力する画像入力手段と、入力した画像を処理する画像処理手段と、処理した画像を出力する画像出力手段とを有する画像処理装置にして、前記画像処理手段に、前記画像入力手段から入力された画像データをブロック単位に分割する分割部と、各ブロックの画素をＤＣＴ変換するＤＣＴ変換部と、ＤＣＴ変換された周波数成分のうちＤＣ成分を除く周波数成分をジグザグスキャンするジグザグスキャン部と、スキャンされたデータのピークを調べるために注目データを２倍し、その前後のデータを引いた値をジグザグレートとして算出するジグザグレート算出部と、低周波帯域、高周波帯域及び全周波帯域におけるジグザグレートの絶対値の和をそれぞれ算出し、算出された低周波帯域、高周波帯域及び全周波帯域におけるジグザグレートの絶対値の和を用いて各ブロックを文字ブロック、網点ブロック又は写真ブロックのいずれかと判定する判定部と、判定された各ブロックに対して文字、網点、写真のいずれかであるかに応じて平滑化若しくはエッジ強調する処理部とを備える、画像処理装置。
2. 低周波帯域におけるジグザグレートの絶対値の和が第１所定値より小さく且つ高周波帯域におけるジグザグレートの絶対値の和が第２所定値より大きい場合に注目ブロックを網点ブロックと判定し、高周波帯域におけるジグザグレートの絶対値の和が第３所定値より小さく且つ全周波帯域におけるジグザグレートの絶対値の和が第４所定値より大きい場合に注目ブロックを文字ブロックと判定することを特徴とする請求項１に記載の画像処理装置。
3. 分割されたブロック毎に輝度を求めて平均を算出する平均輝度算出部を更に設けて、判定に際して平均輝度を加味することを特徴とする請求項１に記載の画像処理装置。
4. ブロックの平均輝度が第５所定値より小さく且つ全周波帯域におけるジグザグレートの絶対値の和が第６所定値より小さい場合に注目ブロックを文字ブロックと判定し、網点ブロック、文字ブロック、写真ブロックの何れにも判定できない場合には地肌であると判定して、平滑化もエッジ強調も行わないことを特徴とする請求項３に記載の画像処理装置。
5. 写真ブロックと判定した場合に当該ブロックにクリアトナーを施すことを特徴とする請求項１〜４のいずれか一項に記載の画像処理装置。
6. 注目ブロックの周囲のブロックの判定情報を参照して、注目ブロックの判定結果を補正することを特徴とする請求項１〜５のいずれか一項に記載の画像処理装置。
7. 画像入力手段から入力された画像データをブロック単位に分割するステップと、各ブロックの画素をＤＣＴ変換するステップと、ＤＣＴ変換された周波数成分のうちＤＣ成分を除く周波数成分をジグザグスキャンして、スキャンされたデータのピークを調べるために注目データを２倍し、その前後のデータを引いた値をジグザグレートとして算出するステップと、低周波帯域、高周波帯域及び全周波帯域におけるジグザグレートの絶対値の和をそれぞれ算出するステップと、算出された低周波帯域、高周波帯域及び全周波帯域におけるジグザグレートの絶対値の和を用いて各ブロックを文字ブロック、網点ブロック又は写真ブロックのいずれかと判定するステップと、判定された各ブロックに対して文字、網点、写真のいずれかであるかに応じて平滑化若しくはエッジ強調するステップとを有する、画像処理方法。
8. 分割されたブロック毎に輝度を求めて平均を算出する平均輝度算出ステップを更に設けて、判定に際して平均輝度を加味することを特徴とする請求項７に記載の画像処理方法。
9. 請求項７又は８に記載の画像処理方法を記録し、ＣＰＵで読み取り可能な記録媒体。

Images