JP2004303075A - 画像処理装置および方法 - Google Patents

Abstract

【課題】解像度の低下などの弊害を抑えつつ、低周波および高周波のノイズを低減することのできる画像処理技術を提供する。
【解決手段】入力された画像データから着目画素およびその近傍画素が抽出され（Ｓ９００１）、抽出された画素の平均値を用いて各画素が２つのカテゴリに分割される（Ｓ９００４）。そして、各カテゴリの平均画素値が算出され（Ｓ９００５）、算出された各カテゴリの平均画素値のうち、着目画素の画素値に近似する方の値が平滑化データとして出力される（Ｓ９００６）。
【選択図】 図９

Description

【０００１】
【発明の属する技術分野】
本発明は、画像データのノイズ低減処理技術に関する。
【０００２】
【従来の技術】
デジタルカメラにて撮影された画像やスキャナなどにおいてＣＣＤ等のセンサーにより光学的に読み込まれた画像には、各種のノイズ、例えば高周波ノイズや、斑状ノイズなどの低周波ノイズが付加されている。
【０００３】
これらのノイズのうち高周波ノイズを低減するためには、一般的にローパスフィルタが多く用いられるが、メディアンフィルタを用いる例もある（例えば特許文献１を参照。）。
【０００４】
【特許文献１】
特開平４−２３５４７２号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、上述のような各種フィルタ処理を全画像データに対して施すと、ノイズだけでなく画像の高周波成分までも低減してしまうため、画質が低下してしまう。また、上述のような各種フィルタ処理は主に高周波ノイズを低減することを目的としており、比較的大きな斑状ノイズなどの低周波ノイズの低減には全く効果がない。
【０００６】
本発明はこうした課題を解決するものであり、解像度の低下などの弊害を抑えつつ、低周波および高周波のノイズを低減することのできる画像処理技術を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の一側面によれば、入力された画像データから着目画素およびその近傍画素が抽出され、抽出されたそれらの画素の平均値（第１の平均値）を用いて各画素が２つのカテゴリに分割される。そして、各カテゴリの平均画素値が算出され、算出された各カテゴリの平均画素値（第２の平均値）のうち、着目画素の画素値に近似する方の値が平滑化データとして出力される。
【０００８】
本発明の別の側面によれば、着目画素が平坦領域に属するか否かが判断され、着目画素が平坦領域に属すると判断されたときは、上記第１の平均値が平滑化データとして出力され、着目画素が平坦領域に属さないと判断されたときは、上記第２の平均値のうち、着目画素の画素値に近似する方の値が平滑化データとして出力される。
【０００９】
本発明のさらに別の側面によれば、入力画像がまず縮小され、縮小後の画像に対して、着目画素およびその近傍画素が抽出され、抽出されたそれらの画素の平均値（第１の平均値）を用いて各画素が２つのカテゴリに分割される。そして、各カテゴリの平均画素値が算出され、算出された各カテゴリの平均画素値（第２の平均値）のうち、着目画素の画素値に近似する方の値が平滑化データとして出力される。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明と直接的に関係のない部分について図面および説明を省略する。
【００１１】
（第１の実施形態）
図１は、本実施形態における画像処理装置の機能構成を示すブロック図である。図１の機能構成は専用ハードウェアによって実現することもできるし、ソフトウェアによって実現することもできる。
【００１２】
図１において、１は画素抽出部であり、入力された画像データから着目画素およびその近傍画素を抽出する。ここでは着目画素を含むｎ×ｍ（ただし、ｎ、ｍは整数）の矩形領域（ウインドウ領域）の画素を抽出する。そして、これらの画素値を２のウインドウ平均演算部と、３のカテゴリ分割部へと渡す。
【００１３】
ウインドウ平均演算部２は、画素抽出部１より渡されたウインドウ領域中の画素値の平均値を算出し、カテゴリ分割部３に渡す。
【００１４】
カテゴリ分割部３は、画素抽出部１から渡されたウインドウ領域中の各画素値を、ウインドウ平均演算部２から渡された各画素値の平均値をしきい値とする２値化を行い、しきい値未満の場合を領域０、しきい値以上の場合を領域１としてカテゴリ分割する。カテゴリ分割部３は、ウインドウ内の画素の領域０の画素位置情報を４の領域０平均演算部に出力し、領域１の画素位置情報を５の領域１平均演算部に出力する。
【００１５】
８および１１はタイミング調整部であり、入力画像データを各処理におけるレイテンシ相当分遅延させる。
【００１６】
領域０平均演算部４は、カテゴリ分割部３からの領域０の画素位置情報をもとに、タイミング調整部１１によって遅延された入力画像から画素を抽出し、それらの画素値の平均値を算出して、６の領域０差分値生成部および１０の画素値選択部へ渡す。同様に、領域１平均演算部５は、カテゴリ分割部３からの領域１の画素位置情報をもとに、タイミング調整部１１によって遅延された入力画像から画素を抽出し、それらの画素値の平均値を算出して、７の領域１差分値生成部および１０の画素値選択部へと渡す。
【００１７】
領域０差分値生成部６は、領域０平均演算部４から渡される領域０の平均値とタイミング調整部８によって遅延された着目入力画素値との差分の絶対値を生成し、９の比較部へと渡す。同様に、領域１差分値生成部７は、領域１平均演算部５から渡される領域１の平均値とタイミング調整部８によって遅延された着目入力画素値との差分の絶対値を生成し、９の比較部へと渡す。
【００１８】
比較部９は、領域０差分値生成部６および領域１差分値生成部７から渡される領域０と１の差分値を比較して、その比較結果（どちらの領域の差分値が小さいか）を１０の画素値選択部へ渡す。
【００１９】
画素値選択部１０は、差分値が小さい方の領域の平均値を出力する。すなわち、比較部９から領域０の方が値が小さいという情報が比較部９より渡された場合には、領域０平均演算部４からの領域０の平均値を出力し、その逆の場合には領域１平均演算部５からの領域１の平均値を出力する。
【００２０】
図９は、上記した構成の画像処理装置による画像平滑化処理を示すフローチャートである。
【００２１】
以下の処理は平滑化対象である全ての画素に対して個別に繰り返されることに留意されたい。ここで、平滑化対象画素とは入力画像に含まれる全ての画素というわけではなく、画像の一部分であっても良い。画素の選択方法については実際の適用時の個別の理由により異なる。
【００２２】
また、この処理は入力画像の各信号（プレーン信号）に対してなされる。つまり、ＲＧＢデータ形式の画像に対しては、Ｒ，Ｇ，Ｂ個別に、ＹＣｂＣｒデータ形式の画像に対してはＹ，Ｃｂ，Ｃｒ個別にといったようにして処理がなされる。
【００２３】
ここでは入力画像がＲＧＢデータ形式で与えられ、そのうちのＲデータを着目プレーンデータとした場合の説明を行うが、実際にはこの処理をＧ，Ｂデータに対しても行う。
【００２４】
まず、ステップＳ９００１で、画素抽出を行う。ここでは平滑化対象画素とその近傍画素から、例えばｎ×ｍ（ｎ、ｍは整数）のウインドウ領域中の画素を抽出する。
【００２５】
次に、ステップＳ９００２で、抽出されたウインドウ領域中の画素値の平均値を算出する。
【００２６】
次のステップＳ９００３では、算出された平均値を用いて、ウインドウ領域中の画素データを２値化する。この２値化は上記平均値とウインドウ領域中の各画素データとを比較して、その大小によって０と１を出力する。
【００２７】
ステップＳ９００４では、上記の２値化出力が０である画素と１である画素とで２つのカテゴリに分け、各カテゴリの画素位置情報を出力する。
【００２８】
ステップＳ９００５では、各カテゴリの画素位置情報をもとに各カテゴリの平均値を算出する。
【００２９】
ステップＳ９００６では、これら２つのカテゴリ平均値のそれぞれについて着目入力画素値との差分をとり、その差分値が小さい方、すなわち、着目入力画素値に近い方、の領域の平均値を出力する。
【００３０】
以上の平滑化処理の効果について説明する。
【００３１】
まず、ステップＳ９００２〜Ｓ９００４の処理によって、ウインドウ領域中の各画素が複数のカテゴリに分割される。典型的には上述のように、ウインドウ領域中の画素値の平均値でもって２つのカテゴリに分割される。
【００３２】
ここで、ウインドウ領域内にエッジが存在した場合には、ステップＳ９００３の処理によってエッジを境にして２つのカテゴリに分けることができる。なぜなら、ウインドウ内平均値が画素値の変動範囲の間の値を取るということと、エッジ部では画素値の変動が大きいため、そのウインドウ内平均値を用いることにより、エッジ部を境にして２つの領域に分割されやすいからである。
【００３３】
また、ステップＳ９００５で各カテゴリの平均値を算出することで、高周波ノイズを低減させることができる。また、各カテゴリの平均値を算出し（ステップＳ９００５）、ステップＳ９００６でこれらの平均値のそれぞれについて入力画像データとの差分を取り、差分値の小さい方のカテゴリの平均値を選択することによって、入力画像との相関が取れ、エッジ部のボケなどを抑制した良好な平滑化結果を得ることができる。従来のように、上記したカテゴリ分けを行わなずに求めた平均値を用いて処理を行った場合には、エッジにおいて過剰な平滑化が生じてしまう。
【００３４】
以上のように本実施形態によれば、解像度の低下などの弊害、とりわけ、エッジ部のボケなどを抑えつつ、かつ良好な平滑化が行え、高周波ノイズ、低周波ノイズの低減を行うことができる。
【００３５】
ところで、ステップＳ９００１のウインドウサイズについて、より広範囲の画素を抽出することは、より広範囲の画素データを用いて平滑化を行うことを意味する。斑状の低周波ノイズを低減するためには広範囲のデータ用いて平滑化する必要があるが、この斑のサイズによってどれくらいの範囲からデータを抽出し、処理すべきかは異なる。また、あまり広範囲のデータを用いて処理を行うと、過剰な平滑化がなされてしまう。また、ＣＣＤの特性などにより各プレーンで付加されるノイズの特性（斑サイズなど）が異なるし、プレーンによって人間の視感度も異なる、つまり平滑化によるボケの感じ具合も異なる。このようなことから、画素の抽出範囲は各プレーン（Ｒ，Ｇ，Ｂ）毎に個別に設定できることが好ましい。低周波ノイズの低減具合や画像への弊害などを考慮してプレーンごとにどの位のデータを用いるかを設定する必要があるが、この抽出範囲は実際の処理結果などをもとに経験的に設定することになる。
【００３６】
このように、プレーン単位に平滑化でどれ位の範囲のデータを用いるかなどを個別に設定できることが好ましい。これにより、さらに効果的な低周波ノイズの低減を行うことができる。
【００３７】
（第２の実施形態）
第１の実施形態は、とりわけ、ウインドウ領域内にエッジが存在した場合に、そのエッジを過剰に平滑化してしまうことなく良好な平滑化効果を得る、というものであった。しかし、ウインドウ領域内にエッジが存在しないような平坦な領域においては、より強力な平滑化を施したほうがよい場合が多い。そこで、第２の実施形態では、着目画素が平坦部にあるか否かによって平滑化処理を切り換えるようにする。
【００３８】
図２は、本実施形態における画像処理装置の機能構成を示すブロック図である。図２の構成は図１と共通する部分が多いので、図１と同様の部分には同一の参照番号を付して、それらの説明は省略し、以下では異なる部分について説明する。
【００３９】
図１の構成と異なる点は、１２で示す平坦領域検出部および、１３で示す第２の画素値選択部が更に設けられている点である。
【００４０】
平坦領域検出部１２は、画素抽出部１より渡されたウインドウ内の画素値を用いて、着目画素が平坦部に存在するかどうかを判断し、そのの判断結果の情報を第２の画素値選択部１３へ渡す。着目画素が平坦部にあるか否かを判断する方法としては、具体的には以下のような方法が考えられる。
【００４１】
第１の方法は、画素抽出部１より渡されたウインドウ内の画素値のレンジ（最大値と最小値との差分）をしきい値処理する方法である。つまり、レンジがあるしきい値以下である場合には平坦部とみなし、それ以外の場合は非平坦部とみなす。この方法は画素データの変動を直接的に評価するため処理が軽い。
【００４２】
第２の方法は、画素抽出部１より渡されたウインドウ内で大きい方から２番目の画素値と小さい方から２番目の画素値との差分値をしきい値処理する方法である。これによれば、ある程度高周波ノイズの影響を抑制しつつ、平滑化などによって「なまらない」画素データに対して変動を評価することができる。
【００４３】
第３の方法は、領域０平均演算部４および領域１平均演算部５において求められる各カテゴリ平均値の差分値を用いる方法である。この場合、各平均値を用いて抽出された画素範囲が平坦か判断するため、ある程度の画素数があれば高周波ノイズの影響を受けない堅牢な判断を行うことができる。ただし、この場合は、図２に示した接続構成を変え、領域０平均演算部４および領域１平均演算部５から各カテゴリの平均値を入力することになる。
【００４４】
第２の画素値選択部１３は、第１の画素値選択部１０の後段に設けられ、平坦処理検出部１２より渡された、着目画素が平坦部に存在するかどうかの情報をもとに、ウインドウ平均演算部２の出力または第１の画素値選択部１０の出力かのいずれかを出力値として切り換える。具体的には、着目画素が平坦部に存在する場合には、ウインドウ平均演算部２から渡されるウインドウ内平均値（すなわち、カテゴリ分割を用いない平均値）を出力し、着目画素が平坦部にない場合には、第１の画素選択部１０から渡される、カテゴリ分割を用いた第１の実施形態による平均値を出力する。
【００４５】
図１０は、図２の構成の画像処理装置による画像平滑化処理を示すフローチャートである。ステップＳ９００１〜ステップＳ９００６は、第１の実施形態における図９のフローと同様であるため説明を省略する。また、第１の実施形態と同様に、ここではＲＧＢデータ形式の入力画像が与えられ、そのうちのＲデータを着目プレーンデータとした場合の説明を行うが、実際にはこの処理をＧ，Ｂデータに対しても行う。
【００４６】
ステップＳ９００５で各カテゴリの平均画素値が算出されると、ステップＳ９００７で、平坦領域検出部１２により、着目画素が平坦部に存在するかどうかを検出する。ここではステップＳ９００１で抽出されたウインドウ領域中の画素値のレンジを用いてしきい値処理を行い、着目画素が平坦領域に存在するかどうかを判断する。もちろん、上記したように、ウインドウ領域中の画素値のレンジ（最大値と最小値との差分値）の代わりに、２番目に大きい値と２番目に小さい値との差分値を用いてもよいし、ステップＳ９００５により得られる各カテゴリ平均値の差分値を用いてもよい。
【００４７】
次に、ステップＳ９００８で、ステップＳ９００７から渡される着目画素が平坦部に存在するかどうかの情報によって、次の処理を切り換える。着目画素が平坦部に存在する場合には、ステップＳ９００９で、（カテゴリ分割を用いない）ウインドウ平均値を出力し、着目画素が平坦部に存在しない場合には、ステップＳ９００６により得られるデータ、すなわち、各カテゴリ平均画素値のうち、入力した着目画素に近いほうを出力する。
【００４８】
以上の平滑化処理の効果について説明する。
【００４９】
本実施形態では、平坦領域検出情報を用いて、着目画素が平坦部内にある場合は、単純なウインドウ平均画素値を平滑化データとして出力し、着目画素が平坦部内にない場合には、各カテゴリの平均値のうち着目画素に近いほうの値を平滑化データとして出力することによって、平坦部ではより多くの画素データ、つまりより広範囲な画素データを用いた平滑化を行うことができる。画像に付加している各種ノイズは平坦領域において特に認識されやすいという特性があるため、平滑度合いを強めた処理を実現できる。よって、本実施形態によれば、エッジを保持しつつ、平坦部に対してはより強力に低周波ノイズの低減を行うことができる。
【００５０】
（第３の実施形態）
第３の実施形態は、第１の実施形態によるノイズ低減効果を維持しつつ、参照すべき画素データ数を削減できるようにしたものである。
【００５１】
図３は、本実施形態における画像処理装置の機能構成を示すブロック図である。図３の構成は図１と共通する部分が多いので、図１と同様の部分には同一の参照番号を付して、それらの説明は省略し、以下では異なる部分について説明する。
【００５２】
図１の構成と異なる点は、画素抽出部１の前段に、入力画像データの縮小を行う画像縮小部１４が設けられている点である。画像縮小部１４における画像縮小処理としては例えば、画像の縮小率に応じたｋ×ｌ（ｋ、ｌは整数）のウインドウ領域の平均値を求め、その平均値を縮小画像の１画素値とするものでもよいし、複数の画素値の演算により得られるようなアルゴリズムを用いたものでもよい。ただし、単純な画素の間引きによって画像を縮小するのは必ずしも好適ではない。画像の縮小による高周波ノイズの低減が期待できなくなるからである。
【００５３】
上記構成の画像処理装置による画像平滑化処理は図１１のフローチャートに示すとおりである。概ね第１の実施形態における図９のフローチャートと同様であるが、はじめにステップＳ９０１０として入力画像縮小処理が行われ、以降の処理は縮小画像データを用いて行われる。ただし、実際には、ステップＳ９００６により得られる平滑化データは入力画像と同じ解像度で出力されることに留意されたい。すなわち、ステップＳ９００６で各カテゴリ平均値と入力画素値との比較を行う場合には、縮小画像領域で得られた各カテゴリ平均値とその位置に対応した入力画像の各画素値との比較を繰り返し行うことになる。
【００５４】
本実施形態による効果は、以下のとおりである。
【００５５】
本実施形態では、入力画像を単純な画素間引きではなく、ウインドウ領域平均値などを用いて縮小することで、画像に付加している高周波ノイズを低減できる。そして、縮小画像データを用いて第１の実施形態に相当する処理を行う。したがって、縮小画像領域で画素抽出を行うため、より狭い範囲のデータを抽出しても広範囲のデータを抽出するのと等価となる。つまり、同時に参照すべき画素データ数を削減し、かつ、参照範囲を狭めることができる。これにより、画素参照ウインドウに制約があるような場合においても、広範囲なデータを用いることができる。
【００５６】
また、第１の実施形態での平滑化出力データは複数の画素データから得られる平均値であるから、縮小方法によっては第１実施形態によるノイズ低減方法の性能を維持できる。この抽出範囲も第１の実施形態と同様に実際の処理結果などをもとに経験的に設定することになる。
【００５７】
従来、縮小画像を例えば入力画像サイズへ拡大する際には、拡大後の画像データ、ここでは入力画像データはないため、ある種の補間関数などを用いて拡大画像を得る。しかし、本発明ではノイズを低減するために用いる平滑化画像を得る際に参照範囲の拡大などを狙って縮小および拡大というステップを踏むが、元画像データも保持しているために拡大時にこれを利用することができる。つまり、従来の拡大方法よりも元画像データに忠実な結果が得られる。
【００５８】
以上により、縮小画像を用いることによって第１の実施形態のノイズ低減効果を維持しつつ、同時参照画素数などを軽減した、メモリ消費量を削減した処理が実現できる。また、縮小処理自体が高周波ノイズの低減も兼ね揃えることができる。
【００５９】
（第４の実施形態）
第４の実施形態は、第２の実施形態に第３の実施形態を適用したもので、着目画素が平坦部にあるか否かによって、第３の実施形態による平滑化処理と別の平滑化処理とを切り換えるようにするものである。
【００６０】
図４は、第４の実施形態における画像処理装置の機能構成を示すブロック図で、図３の構成と異なる点は、平坦領域検出部１２および第２の画素値選択部１３が更に設けられている点である。言い換えると、第２の実施形態である図２の構成において、画素抽出部１の前段に、入力画像データの縮小を行う画像縮小部１４が設けられている。
【００６１】
かかる構成の画像処理装置による画像平滑化処理は図１２のフローチャートに示すとおりで、概ね第２の実施形態における図１０のフローチャートと同様であるが、はじめにステップＳ９０１０として入力画像縮小処理が行われ、以降の処理は縮小画像データを用いて行われる。ただし、実際には、ステップＳ９００６により得られる平滑化データは入力画像と同じ解像度で出力されることに留意されたい。すなわち、ステップＳ９００６で各カテゴリ平均値と入力画素値との比較を行う場合には、縮小画像領域で得られた各カテゴリ平均値とその位置に対応した入力画像の各画素値との比較を繰り返し行うことになる。
【００６２】
これにより、第３の実施形態による効果に加え、エッジを保持しつつ、平坦部に対してはより強力に低周波ノイズの低減を行うことができる。
【００６３】
（第５の実施形態）
第５の実施形態は、第１の実施形態による出力値または、入力画素値のいずれかを最終的な出力値として選択するもので、これにより視覚的に良好なよりエッジぼけなどの弊害の少ないノイズ低減結果を得ようとするものである。
【００６４】
図５は、本実施形態における画像処理装置の機能構成を示すブロック図である。図５の構成は図１と共通する部分が多いので、図１と同様の部分には同一の参照番号を付して、それらの説明は省略し、以下では異なる部分について説明する。
【００６５】
１５の差分値生成部は、１８のタイミング調整部により各処理におけるレイテンシ相当分遅延された入力画素値と、画素値選択部１３から渡される、第１の実施形態により得られた平滑化データとの差分値を生成し、１６の比較部へと渡す。
【００６６】
比較部１６は、差分値生成部１５から渡された差分値と所定のしきい値Ｔｈ１とを比較して、その差分値がしきい値以上か否かという情報を１７で示す第３の画素値選択部へと渡す。
【００６７】
第３の画素値選択部１７は、比較部１６から渡された情報をもとに、第１の実施形態により得られた平滑化データ、または、タイミング調整部１８によって遅延された入力画素値、のいずれかを出力として切り換える。具体的には、タイミング調整部１８により遅延された入力画素値と、画素値選択部１３から渡される第１の実施形態により得られた平滑化データとの差分値がしきい値以上であるという情報が、比較部１６から渡された場合は、タイミング調整部１８により遅延された入力画素値を出力する。他方、上記しきい値未満であるという情報が比較部１６から渡された場合は、画素値選択部１３から渡される第１の実施形態により得られた平滑化データを出力する。
【００６８】
図１３は、本実施形態における画像平滑化処理を示すフローチャートである。ステップＳ９０１１は実施形態１による処理である。ステップＳ９０１２では、ステップＳ９０１１により得られた平滑化データとそれに対応した入力画像データとの差分値を用いてしきい値処理し、差分値がしきい値以上か否かに応じていずれかのデータを出力する。
【００６９】
図１５は、ステップＳ９０１２の処理の詳細を示すフローチャートである。まず、ステップＳ９０１７において、入力画像データとステップＳ９０１１による平滑化データとの差分値を、しきい値と比較し、その差分値がしきい値以上の場合はステップＳ９０１８で入力画像データを出力し、その差分値がしきい値未満の場合はステップＳ９０１９でステップＳ９０１１で得られた平滑化データを出力する。
【００７０】
ステップＳ９０１２でのしきい値処理は、各画素、各プレーンで独立に行うことに留意されたい。これはデジタルカメラなどでＣＣＤを通して得られる画像データに付加されるノイズはプレーン間の相関がないため、ノイズ低減処理もプレーン単位で行う必要があるためである。
【００７１】
このように、各プレーン独立で処理を行うことによって、平滑化の度合いをプレーンによって切り替えることが可能になる。つまり、本実施形態によれば、ノイズがあまり付加していないプレーンに対しては入力画像データをできる限り維持するようにといった調整ができる。
【００７２】
（第６の実施形態）
第６の実施形態は、第２の実施形態に前述の第５の実施形態を適用したもので、第２の実施形態による平滑化データと入力画像データとの差分値に応じて、いずれかを出力値として選択するものである。
【００７３】
図６は、本実施形態における画像処理装置の機能構成を示すブロック図で、平坦領域検出部１２および第２の画素値選択部１３を有する図５の構成に、差分値生成部１５、比較部１６、第３の画素値選択部、およびタイミング調整部１８が更に設けられた構成である。
【００７４】
かかる構成により、前述した図１３および図１５のフローチャートに従う処理を同様に適用することができる。ただし、ステップＳ９０１１は「実施形態２の平滑化処理」を行うステップとなる。
【００７５】
本実施形態によれば、第５の実施形態で説明したとおり、各プレーン独立で処理を行うことによって、平滑化の度合いをプレーンによって切り替えることが可能になる他、以下のような効果も得られる。
【００７６】
ステップＳ９０１２で、しきい値処理によって平滑化データと入力画像データのうちどちらを出力するかを判断する際に、画像のエッジ付近では元画像データをより多く出力するようにしきい値を調整することによってエッジの再現具合を変化させることができる。本実施形態の場合はこの際にステップＳ９０１１内に含まれるステップＳ９００７（図１０を参照）の平坦領域検出の結果を利用することができる。つまり、非平坦部と判断された画素に対してはしきい値処理に用いるしきい値を平坦部におけるしきい値より小さく設定し、入力画像データを出力させやすくすることによってエッジ情報を保持させることができる。
【００７７】
逆に、平坦領域ではしきい値をより大きく設定し、平滑化データを出力させやすくすることによって、平滑化の度合いを強め、より一層のノイズ低減が図れる。
【００７８】
このようにＣＣＤノイズの特性や、ノイズが平坦領域の方が認識されやすいといった特性を考慮して、しきい値をプレーンや画像の平坦情報などを元に変化させるとより一層のノイズ低減効果が得られる。
【００７９】
この方法については画像の平坦領域抽出結果を用いる場合の例を前述したが、それ以外にも以下のような点に留意するとより効果的である。具体的には次のように設定する。
【００８０】
ＣＣＤノイズの特性によっては特定のプレーンに対してノイズが特に付加するような傾向があるため、そのプレーンに対してはよりノイズ低減データを選択しやすいようにステップＳ９０１７におけるしきい値を大きく設定する。
【００８１】
以上の事柄は、入力画像としてＪＰＥＧ画像を扱う場合において、特に重要である。なぜなら、ＪＰＥＧ画像は符号化の過程において、画像データの高周波信号を大幅に切り捨てているため、その時点で高周波ノイズは切り落とされているとともに、この画像データを処理するうえでは、残された高周波成分をいかにして保持するかが重要となる。それに対して、本実施形態を用いると、高周波ノイズに対する平滑化などはあまりなされないが、高周波成分を保持して、低周波ノイズの平滑化に絞っての平滑化が行えるためＪＰＥＧ画像データに対しては非常に効果的である。
【００８２】
また、非平坦部では複数の平滑化データを用意しているため、エッジの近傍まで平滑化データを出力してもエッジぼけなどの弊害が抑制できるし、エッジと平坦部の境界の元画像データ選択部と平滑化データ選択部の切り替わりを認識させづらくできる。
【００８３】
またステップＳ９０１７（図５を参照）におけるしきい値が、平坦部と急峻部とで急激に変化すると、ノイズ低減画像データの採用された領域と、元画像データが採用された領域との切り換り部分が目立つ可能性がある。このしきい値を急激に切り換らないようにすれば、これを防止することができるため留意する。
【００８４】
（第７の実施形態）
第７の実施形態は、第３の実施形態に第５の実施形態に適用したものである。
【００８５】
図７は、本実施形態における画像処理装置の機能構成を示す図で、図１の構成と異なる点は、画素抽出部１の前段に、入力画像データの縮小を行う画像縮小部１４が設けられている点である。
【００８６】
この構成により、はじめに図１２のステップＳ９０１０のような入力画像縮小処理が行われ、図１３に示した処理は、縮小画像データを用いて行われることは理解されよう。ただし、ステップＳ９０１１は「実施形態３の平滑化処理」を行うステップとなる。
【００８７】
本実施形態によれば、第５の実施形態で説明したとおり、各プレーン独立で処理を行うことによって、平滑化の度合いをプレーンによって切り替えることが可能になる他、高周波ノイズを低減し、同時に参照すべき画素データ数を削減することができる。
【００８８】
（第８の実施形態）
第８の実施形態は、第４の実施形態に第５の実施形態に適用したものである。
【００８９】
図８は、本実施形態における画像処理装置の機能構成を示す図で、図６の構成と異なる点は、画素抽出部１の前段に、入力画像データの縮小を行う画像縮小部１４が設けられている点である。
【００９０】
この構成により、はじめに図１２のステップＳ９０１０のような入力画像縮小処理が行われ、図１３に示した処理は、縮小画像データを用いて行われることは理解されよう。ただし、ステップＳ９０１１は「実施形態４の平滑化処理」を行うステップとなる。
【００９１】
本実施形態によれば、第５の実施形態で説明したとおり、各プレーン独立で処理を行うことによって、平滑化の度合いをプレーンによって切り替えることが可能になる他、高周波ノイズを低減し、同時に参照すべき画素データ数を削減することができ、さらに、エッジを保持しつつ、平坦部に対してはより強力に低周波ノイズの低減を行うことができる。
【００９２】
（第９の実施形態）
上述した第５〜第８の実施形態においては、図１３のフローチャートに替えて、図１４のフローチャートよる画像平滑化処理を適用することもできる。
【００９３】
図１４において、ステップＳ９０１３では、入力画像データが最大階調値付近かどうかを判断する。ここで最大階調値付近と判断された場合には、ステップＳ９０１４で入力画像データを出力する。その他の場合は、ステップＳ９０１１において実施形態１〜４のうちの対応する平滑化処理がなされたのちに、ステップＳ９０１２で階調値選択処理がなされる。
【００９４】
かかる画像平滑化処理による効果は次のとおりである。
【００９５】
上述した第１〜第３の実施形態における平滑化処理およびノイズ低減処理は、低周波ノイズを低減するために広範囲データを用いた平滑化を行っている。そのため、入力画像では最大階調値を取っているため、印刷のための誤差拡散処理などを施した場合にドットが生成されないような領域に対しても、出力画像を用いるとドットを発生させてしまうといった各種の弊害が発生する。もともとハイライト部分は印刷のための各種処理を施しても、あまりドットが配置されないような領域であるため、わずかなドット打ち込み数の増加が弊害として認識されやすい。そこで、本実施形態のように、入力画像データで最大階調値やその付近の値をとるような画素に対してはステップＳ９０１４で入力画像データをそのまま出力することによって、これらの弊害を防止できる。
【００９６】
以上説明した本発明の実施形態によれば、画像データに付加された各種高周波ノイズおよび低周波ノイズのどちらとも低減することができる。
【００９７】
また、ノイズ低減処理に平滑化を用いるにもかかわらず、画像データのエッジ情報を保持することができる。
【００９８】
また、元画像データを保持しているため、ノイズ低減処理における階調値選択処理においてそれらを利用し、エッジなどの高周波成分を多く含むような領域に対しては元画像データを用いるので、画像データの解像度を維持することもできる。
【００９９】
また、縮小画像を用いた場合の処理はある程度の縮小率以内であれば縮小画像を用いない場合の処理とほぼ等価である。つまり、ノイズ低減効果を維持しつつ、処理量の削減ができる。
【０１００】
さらに、縮小画像を用いることによって、同様の理由により、ノイズ低減効果を維持しつつ、同時に参照すべき画素データ数を削減し、かつ、同じ広範囲のデータを参照する際にも、より狭い参照範囲で済ませることができる。
【０１０１】
（他の実施形態）
以上、本発明の実施形態を詳述したが、本発明は、例えばシステム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。また、本発明は、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【０１０２】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータがその供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。その場合、プログラムの機能を有していれば、その形態はプログラムである必要はない。
【０１０３】
従って、本発明の機能処理をコンピュータで実現するために、そのコンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の特許請求の範囲には、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１０４】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【０１０５】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０１０６】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、そのホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明のクレームに含まれるものである。
【０１０７】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１０８】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１０９】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【０１１０】
【発明の効果】
本発明によれば、解像度の低下などの弊害を抑えつつ、低周波および高周波のノイズを低減することのできる画像処理技術を提供することができる。
【図面の簡単な説明】
【図１】第１の実施形態における画像処理装置の機能構成を示すブロック図である。
【図２】第２の実施形態における画像処理装置の機能構成を示すブロック図である。
【図３】第３の実施形態における画像処理装置の機能構成を示すブロック図である。
【図４】第４の実施形態における画像処理装置の機能構成を示すブロック図である。
【図５】第５の実施形態における画像処理装置の機能構成を示すブロック図である。
【図６】第６の実施形態における画像処理装置の機能構成を示すブロック図である。
【図７】第７の実施形態における画像処理装置の機能構成を示すブロック図である。
【図８】第８の実施形態における画像処理装置の機能構成を示すブロック図である。
【図９】第１の実施形態に係る画像処理装置の動作手順を説明するためのフローチャートである。
【図１０】第２の実施形態に係る画像処理装置の動作手順を説明するためのフローチャートである。
【図１１】第３の実施形態に係る画像処理装置の動作手順を説明するためのフローチャートである。
【図１２】第４の実施形態に係る画像処理装置の動作手順を説明するためのフローチャートである。
【図１３】第５ないし８の各実施形態に係る画像処理装置の動作手順を説明するためのフローチャートである。
【図１４】第９の実施形態に係る画像処理装置の動作手順を説明するためのフローチャートである。
【図１５】第５ないし９の各実施形態における階調値選択処理の例示的な動作手順を説明するためのフローチャートである。
【符号の説明】
１ 画素抽出部
２ ウインドウ平均演算部
３ カテゴリ分割部
４ 領域０平均演算部
５ 領域１平均演算部
６ 領域０差分値生成部
７ 領域１差分値生成部
８ タイミング調整部
９ 比較部
１０ 画素値選択部
１１ タイミング調整部
１２ 平坦領域検出部
１３ 画素値選択部
１４ 画像縮小部
１５ 差分値生成部
１６ 比較部
１７ 画素値選択部
１８ タイミング調整部

Claims (12)

1. 画像データの平滑化処理を行う画像処理装置であって、
   入力された画像データから着目画素およびその近傍画素を抽出する抽出手段と、
   前記抽出手段により抽出された画素の平均値を算出する第１の平均値算出手段と、
   算出された前記平均値を用いて前記画素データ抽出手段により抽出された各画素を２つのカテゴリに分割する分割手段と、
   各カテゴリの平均画素値を算出する第２の平均値算出手段と、
   算出された各カテゴリの平均画素値のうち、着目画素の画素値に近似する方の値を平滑化データとして出力する出力手段と、を有することを特徴とする画像処理装置。
2. 画像データの平滑化処理を行う画像処理装置であって、
   入力された画像データから着目画素およびその近傍画素を抽出する抽出手段と、
   前記抽出手段により抽出された画素の平均値を算出する第１の平均値算出手段と、
   算出された前記平均値を用いて前記画素データ抽出手段により抽出された各画素を２つのカテゴリに分割する分割手段と、
   各カテゴリの平均画素値を算出する第２の平均値算出手段と、
   着目画素が平坦領域に属するか否かを判断する判断手段と、
   着目画素が平坦領域に属すると判断されたときは、前記第１の平均値算出手段により算出された平均値を平滑化データとして出力し、着目画素が平坦領域に属さないと判断されたときは、前記第２の平均値算出手段により算出された各カテゴリの平均画素値のうち、着目画素の画素値に近似する方の値を平滑化データとして出力する出力手段と、を有することを特徴とする画像処理装置。
3. 画像データの平滑化処理を行う画像処理装置であって、
   入力された画像を縮小する画像縮小手段と、
   前記画像縮小手段により縮小された画像から着目画素およびその近傍画素を抽出する抽出手段と、
   前記抽出手段により抽出された画素の平均値を算出する第１の平均値算出手段と、
   算出された前記平均値を用いて前記画素データ抽出手段により抽出された各画素を２つのカテゴリに分割する分割手段と、
   各カテゴリの平均画素値を算出する第２の平均値算出手段と、
   算出された各カテゴリの平均画素値のうち、着目画素の画素値に近似する方の値を平滑化データとして出力する出力手段と、を有することを特徴とする画像処理装置。
4. 画像データの平滑化処理を行う画像処理装置であって、
   入力された画像を縮小する画像縮小手段と、
   前記画像縮小手段により縮小された画像から着目画素およびその近傍画素を抽出する抽出手段と、
   前記抽出手段により抽出された画素の平均値を算出する第１の平均値算出手段と、
   算出された前記平均値を用いて前記画素データ抽出手段により抽出された各画素を２つのカテゴリに分割する分割手段と、
   各カテゴリの平均画素値を算出する第２の平均値算出手段と、
   着目画素が平坦領域に属するか否かを判断する判断手段と、
   着目画素が平坦領域に属すると判断されたときは、前記第１の平均値算出手段により算出された平均値を平滑化データとして出力し、着目画素が平坦領域に属さないと判断されたときは、前記第２の平均値算出手段により算出された各カテゴリの平均画素値のうち、着目画素の画素値に近似する方の値を平滑化データとして出力する出力手段と、を有することを特徴とする画像処理装置。
5. さらに、前記出力手段により出力された値と着目画素の画素値との差分値に応じて、当該出力手段により出力された値または当該注目画素の画素値のいずれかを平滑化データとして選択する第２の選択手段を有することを特徴とする請求項１から４までのいずれかに記載の画像処理装置。
6. 画像データの平滑化処理を行うための画像処理方法であって、
   入力された画像データから着目画素およびその近傍画素を抽出する抽出ステップと、
   前記抽出ステップにより抽出された画素の平均値を算出する第１の平均値算出ステップと、
   算出された前記平均値を用いて前記画素データ抽出ステップにより抽出された各画素を２つのカテゴリに分割する分割ステップと、
   各カテゴリの平均画素値を算出する第２の平均値算出ステップと、
   算出された各カテゴリの平均画素値のうち、着目画素の画素値に近似する方の値を平滑化データとして出力する出力ステップと、を有することを特徴とする画像処理方法。
7. 画像データの平滑化処理を行うための画像処理方法であって、
   入力された画像データから着目画素およびその近傍画素を抽出する抽出ステップと、
   前記抽出ステップにより抽出された画素の平均値を算出する第１の平均値算出ステップと、
   算出された前記平均値を用いて前記画素データ抽出ステップにより抽出された各画素を２つのカテゴリに分割する分割ステップと、
   各カテゴリの平均画素値を算出する第２の平均値算出ステップと、
   着目画素が平坦領域に属するか否かを判断する判断ステップと、
   着目画素が平坦領域に属すると判断されたときは、前記第１の平均値算出ステップにより算出された平均値を平滑化データとして出力し、着目画素が平坦領域に属さないと判断されたときは、前記第２の平均値算出ステップにより算出された各カテゴリの平均画素値のうち、着目画素の画素値に近似する方の値を平滑化データとして出力する出力ステップと、を有することを特徴とする画像処理方法。
8. 画像データの平滑化処理を行うための画像処理方法であって、
   入力された画像を縮小する画像縮小ステップと、
   前記画像縮小ステップにより縮小された画像から着目画素およびその近傍画素を抽出する抽出ステップと、
   前記抽出ステップにより抽出された画素の平均値を算出する第１の平均値算出ステップと、
   算出された前記平均値を用いて前記画素データ抽出ステップにより抽出された各画素を２つのカテゴリに分割する分割ステップと、
   各カテゴリの平均画素値を算出する第２の平均値算出ステップと、
   算出された各カテゴリの平均画素値のうち、着目画素の画素値に近似する方の値を平滑化データとして出力する出力ステップと、を有することを特徴とする画像処理方法。
9. 画像データの平滑化処理を行うための画像処理方法であって、
   入力された画像を縮小する画像縮小ステップと、
   前記画像縮小ステップにより縮小された画像から着目画素およびその近傍画素を抽出する抽出ステップと、
   前記抽出ステップにより抽出された画素の平均値を算出する第１の平均値算出ステップと、
   算出された前記平均値を用いて前記画素データ抽出ステップにより抽出された各画素を２つのカテゴリに分割する分割ステップと、
   各カテゴリの平均画素値を算出する第２の平均値算出ステップと、
   着目画素が平坦領域に属するか否かを判断する判断ステップと、
   着目画素が平坦領域に属すると判断されたときは、前記第１の平均値算出ステップにより算出された平均値を平滑化データとして出力し、着目画素が平坦領域に属さないと判断されたときは、前記第２の平均値算出ステップにより算出された各カテゴリの平均画素値のうち、着目画素の画素値に近似する方の値を平滑化データとして出力する出力ステップと、を有することを特徴とする画像処理方法。
10. さらに、前記出力ステップにより出力された値と着目画素の画素値との差分値に応じて、当該出力ステップにより出力された値または当該注目画素の画素値のいずれかを平滑化データとして選択する第２の選択ステップを有することを特徴とする請求項６から９までのいずれかに記載の画像処理方法。
11. 請求項６から１０までのいずれかに記載の画像処理方法をコンピュータにより実現させるためのプログラム。
12. 請求項１１に記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。

Images