JP2007060464A - 中間調画像の推定方法及びシステム - Google Patents

Abstract

【課題】 エッジにおける鮮明さを維持しつつ、ノイズ低減を図る。
【解決手段】 疑似階調画像を構成する２値画像データを平均化処理する（Ｓ１）。平均化処理された平均化画像データにおける着目画素を順次移動させながら、各着目画素近傍の局所的性質に基づいて各着目画素近傍の平均化画像データの標本点数ｍを決定する（Ｓ３）。決定された標本点数ｍの平均化画像データに対して回帰直線又は回帰曲線を当てはめる（Ｓ４）。当てはめられた回帰直線又は回帰曲線に基づいて疑似階調画像の中間調画像を推定する（Ｓ６）。
【選択図】 図２

Description

この発明は、疑似階調表現された２値画像から中間調画像を推定するする中間調画像の推定方法及びシステムに関する。

この種の中間調画像の推定処理は、逆ハーフトーン処理とも呼ばれ、例えばファクシミリ通信における受信側で良質な画像を表示するために有効である。また、ハーフトーン処理画像の拡大、縮小（非特許文献１）にも有効である。この逆ハーフトーン処理の方法として、従来より平滑化法、回帰直線濃度推定法（非特許文献２）等が提案されている。

中でも回帰直線濃度推定法は、階調数が大きく、ノイズが小さい方式であるとされている。この方法は、所定の標本点数ｍ毎に階調濃度に関する回帰直線を求める方法である。回帰直線は、複数の異なる方向について求められ、これら複数の異なる方向の回帰直線の平均値によって原画像の階調濃度を推定するという方法である。従来、この回帰直線を求める際の標本点数ｍは固定的に定められていた。
山下春生、南光孝彦、"２値画像の多値化に関する検討−多値化解像度変換−"、画電学誌、vol.23,No.5,pp.464-470(1994) 山田英明、松原俊幸、菊池健晴、竹田裕紀、町野勝行、"疑似中間画像からの中間調画像推定、信学技法、vol.IC93-13,pp17-24,1993

しかしながら、上述した従来の中間調画像の推定方法では、標本点数ｍを少なく設定した場合、処理画像において階調濃度の変化が少なくなるべき領域でのノイズが多くなるという問題がある。逆に、標本点数ｍを多く設定した場合、処理画像においてエッジとなるべき領域がぼけて不鮮明となるという問題がある。

この発明は、このような点に鑑みなされたもので、エッジにおける鮮明さを維持しつつ、ノイズ低減を図ることができる中間調画像の推定方法及びシステムを提供することを目的とする。

本発明に係る中間調画像の推定方法は、疑似階調画像を構成する２値画像データを平均化処理するステップと、前記平均化処理された平均化画像データにおける着目画素を順次移動させながら、各着目画素近傍の局所的性質に基づいて各着目画素近傍の平均化画像データの標本点数ｍを決定するステップと、前記決定された標本点数ｍの平均化画像データに対して回帰直線又は回帰曲線を当てはめるステップと、当てはめられた回帰直線又は回帰曲線に基づいて前記疑似階調画像の中間調画像を推定するステップとを備えたことを特徴とする。

また、本発明に係る中間調画像の推定システムは、疑似階調画像を構成する２値画像データを平均化処理する手段と、前記平均化処理された平均化画像データにおける着目画素を順次移動させながら、各着目画素近傍の局所的性質に基づいて各着目画素近傍の平均化画像データの標本点数ｍを決定する手段と、前記決定された標本点数ｍの平均化画像データに対して回帰直線又は回帰曲線を当てはめる手段と、当てはめられた回帰直線又は回帰曲線に基づいて前記疑似階調画像の中間調画像を推定する手段とを備えたことを特徴とする。

なお、標本点数ｍは、例えば、着目画素とその近傍画素との差分値が所定のしきい値曲線を超えたときの着目画素と近傍画素との距離として決定することができる。

この場合、しきい値曲線は、前記着目画素を最大値とする正規分布曲線であることが望ましい。

また、中間調画像は、前記疑似階調画像の複数の異なる方向についての前記回帰直線又は回帰曲線の平均値を求め、この平均値に基づいて推定されることが望ましい。

本発明によれば、回帰直線又は回帰曲線を求める際の標本点数ｍを画像の位置、階調濃度の変化等の局所的性質によって可変とするようにしているので、各箇所に適した画像処理が実現でき、エッジにおける鮮明さを維持しつつ、ノイズ低減を図ることができる。

以下、図面を参照して、この発明の好ましい実施の形態について説明する。図１は、本発明の一実施例に係る中間調画像の推定方法を適用したシステム構成例を示すブロック図である。

ファクシミリ装置１で受信された２値画像データは、一旦、画像メモリ２に格納される。中間調推定システム３は、画像メモリ２から２値画像データを読み出し、中間調画像の推定処理を実行して中間調画像データを画像メモリ２に格納する。画像メモリ２に格納された中間調画像データは、表示装置４によって、適宜、拡大、縮小表示される。

次に、中間調推定システム３における中間調画像の推定処理の詳細を説明する。図２は、中間調画像の推定処理を示すフローチャートである。
（１）平均化処理
まず、２値画像から大まかな濃度情報を算出するため、中間調推定システム３は、着目画素とその８近傍の画素に関して平滑化処理を実行する（Ｓ１）。このとき、二次元空間の座標（ｉ，ｊ）における原画像の階調濃度をｆ（ｉ，ｊ）、フィルタマトリクスをＭ（ｉ，ｊ）とすれば、平均化処理後の画像の階調濃度ｇ（ｉ，ｊ）は、次のように表すことができる。

ここで、フィルタマトリクスＭ（ｉ，ｊ）は、例えば次式のように表されたものである。

平滑化処理を８近傍としている理由は、平滑化処理を行う領域が広い場合、像のエッジのボケが避けられなくなるからである。また、同様な理由で、フィルタマトリクスは、着目画素における重みを２としている。
（２）ｍの決定
次に、処理開始座標及び処理方向を決定し（Ｓ２）、階調濃度の変化に応じて、回帰直線（又は回帰曲線）を計算する際の標本点数ｍを決定する（Ｓ３）。従来の回帰直線近似法では、ｍの値は固定されていたが、ここでは画像の局所的な性質によって可変にする。階調濃度の変化が小さくなると考えられる領域では、ｍの値が大きくなるように設定する。逆に、階調濃度の変化が大きくなると考えられる領域では、ｍの値が小さくなるように設定する。なお、ｍの決定方法の具体例については後ほど詳述する。
（３）回帰直線による濃度推定
続いて、図３に示すように、着目画素Ｐからｍ画素における階調濃度の一次直線を最小２乗法によって決定する（Ｓ４）。
（４）ステップＳ２〜Ｓ４の処理を、図４に示すように、着目画素Ｐから見た全ての方向、すなわち８方向に関して行う（Ｓ５）。そして、着目画素Ｐから見た８方向に関する回帰直線の値の平均をとることによって、階調濃度が求められる（Ｓ６）。
（５）更に、ステップＳ２〜Ｓ６の処理を、全ての画素に対して繰り返すことによって、逆ハーフトーン処理は完了する（Ｓ７）。

次に、標本点数ｍの決定処理（Ｓ３）の一例について詳述する。

標本点数ｍを少なくした場合、処理画像において、階調濃度の変化が少なくなるべき領域でノイズが多くなる。一方、標本点数ｍを多くした場合、処理画像においてエッジとなるべき領域で不鮮明となる。上記の２点はトレードオフの関係にあるので、画像の局所的性質によって標本点数ｍを可変にすれば、両者の欠点を補うことができると考えられる。

画像の局所的性質は、着目画素とその近傍画素との濃度差によって把握することができる。すなわち、濃度差が大きいエッジのような部分では標本点数ｍをより少なくして急峻な濃度差を再現する。また、濃度差が小さい部分では、標本点数ｍを多くして、ノイズによる影響を排除する。

一方、図５に示すように、着目画素ｇ（ｊ）を含むｍ個の標本点の画素ｇ（ｊ）〜ｇ（ｊ＋ｍ−１）によって回帰直線が求められるとすると、標本点数ｍが少ないほど、回帰直線にノイズによる影響が大きく現れる。このため、急峻なエッジ部分とノイズとは明確に区別する必要がある。このため、本実施形態では、着目画素ｇ（ｊ）の近傍では濃度差の判定のためのしきい値を大きく設定し、着目画素ｇ（ｊ）から離れるに従ってしきい値が小さくなるようなしきい値曲線を使用する。これにより、最もノイズの影響が大きなｍが小さな領域でのノイズの影響を効果的に排除することができる。

図６は、このような標本点数ｍの決定処理を示すフローチャートである。

まず、回帰直線の計算には少なくとも標本点が３点は必要なので、着目画素を含めて３画素の領域を用意する。すなわち、ｍ＝３とする（Ｓ１１）。

次に、着目画素ｇ（ｊ）とｇ（ｊ＋ｍ−１）の濃度差Ｅｊｍを求め、この濃度差Ｅｊｍがしきい値曲線Ｇ（ｍ−１）以内であれば（Ｓ１２）、ｍに１を加える（Ｓ１３）。

なお、Ｇ（ｘ）は、例えば以下に示すガウス分布関数であるが、これは一例であって、他の任意の正規分布関数でも良い。

ここで、Ｈはしきい値曲線Ｇ（ｘ）のピーク値の高さ、Ｗはガウス分布の広がり（半値幅）である。

濃度差Ｅｊｍとしきい値曲線Ｇ（ｘ）との比較及びｍの加算は、濃度差Ｅｊｍがしきい値曲線Ｇ（ｍ−１）を超えるまで繰り返されるが、濃度差Ｅｊｍがしきい値曲線Ｇ（ｍ−１）を超えるか（Ｓ１２）、又は着目画素が画像の端部に到達したら（Ｓ１４）、そのときのｍの値を標本点数ｍとして決定する（Ｓ１５）。

図７は、以上の処理の具体例を示している。まず、横軸の最も左側に位置する１番目の着目画素から右に２番目の画素と着目画素との濃度差Ｅｊｍがしきい値曲線Ｇ（ｍ−１）を超えているため、１番目の標本点数ｍ１は、“３”に設定される。次に、３番目の画素を着目画素にして、この画素にしきい値曲線Ｇ（ｍ−１）の原点位置をセットすると、着目画素から右に３番目の画素と着目画素との濃度差Ｅｊｍがしきい値曲線Ｇ（ｍ−１）を超えているため、２番目の標本点数ｍ２は、“４”に設定される。

これにより、階調濃度の変化が少ない部分では回帰直線の当てはめ領域を拡大し、階調濃度の変化が大きい部分では、ノイズによる影響を排除しつつ、回帰直線の当てはめ領域を狭くして再現性を高めることができる。

次に、最小２乗法の適用における計算領域を決定する際に、重要となるパラメータ、すなわち式（３）におけるしきい値曲線のピーク値Ｈ並びに広がりＷについて検討する。本発明者は、５種類の試験画像（ヘアバンドの女性、Lenna、スイスの山村、チューリップ畑及び濃度勾配カーテン）を使用した。これらの画像は、いずれも画素サイズが２５６×２５６画素で、疑似中間調処理に誤差拡散法を適用している。

再生像をＳＮ比で評価するとして、これを最大ならしめるＨ並びにＷを、ＧＡ（遺伝的アルゴリズム）を使用して探索した。探索の際、Ｈ並びにＷにおける遺伝子は８ビットであるとした。ＳＮ比（ＳＮＲ）は、次式によって計算した。

ここで、Ｉ_ｏｒｇは原画像の階調濃度、Ｉ_ｅｓｔは処理画像の階調濃度、Ｉ_ｍａｘは階調濃度の最大値（ここでは２５５）である。Ｈは０から２５５の範囲内で探索を行い、Ｗは０．６２から∞、すなわち√２．５５の逆数から０の逆数の範囲とした。
上記の探索結果を表１に示す。

図８（ａ）は上記“ヘアバンドの女性”の原図（２値画像）、図８（ｂ）は、理想的推定画像、図８（ｃ）は平均化処理のみの推定画像、図８（ｄ）は従来の最小２乗法により逆ハーフトーン処理でｍ＝４の場合の推定画像、図８（ｅ）は同じくｍ＝７の場合の推定画像、図８（ｆ）は、逆誤差拡散法による推定画像、図８（ｇ）は、本実施形態の手法である計算領域を可変とした場合の最小２乗法を用いた逆ハーフトーン処理による推定画像、すなわち、可変計算領域型最小２乗法による逆ハーフトーン処理による推定画像である。なお、式（３）のＨ，Ｖは表１に示した最適値を用いている。

本実施形態による推定画像は、他の方法と比較して、ノイズは少なくなっており、階調濃度の変化の少ない領域で、十分な改善がなされている。また、エッジにおけるぼけも見られない。その理由は、階調濃度の変化が少ない領域で最小２乗法の計算における標本点数を多くし、階調濃度の変化が急峻な領域で最小２乗法の計算における標本点数を少なくしているためである。従って、階調濃度の変化の少ない領域で滑らかな復元がなされ、階調濃度の変化の大きい領域でもぼけの影響が少ない逆ハーフトーン処理が行える。表２は処理結果に対する数値的な評価を示している。評価のための指数としてＳＮ比を用いた。その結果、提案手法は、従来法と比較して約２ｄＢ画質の改善がなされている。従って、ノイズの少ない画像の復元がなされている。

次に、図９に示すようなエッジ部分が比較的明確な画像“スイスの山村”、すなわち空間周波数が高い領域が比較的多い画像に関して議論を行う。図９（ａ）は原画像、すなわち復元を行う前の２値画像である。この画像は、理想的推定画像（図９（ｂ））に対して誤差拡散法によるハーフトーン処理を行ったものである。図９（ｃ）は平均化処理のみの推定画像、図９（ｄ）は、従来方式である計算領域を固定した場合の最小２乗法を用いた逆ハーフトーン処理による推定画像である。ここでは、前述した非特許文献２において望ましいとされるｍ＝４を選んだ。推定画像において、背景の部分でノイズが残っており、改善の効果はまだ不充分である。その理由は、階調濃度の変化が少ない領域で最小２乗法の計算における標本点数が少ないために、推定された階調濃度にばらつきが生じやすいことである。

図９（ｅ）はｍ＝７の従来手法による推定画像、図９（ｆ）は逆誤差拡散法による推定画像、図９（ｇ）は、本実施形態提案手法である計算領域を可変とした場合の最小２乗法を用いた逆ハーフトーン処理による推定画像である。すなわち、可変計算領域型最小２乗法による逆ハーフトーン処理による推定画像である。なお、式（３）のＨ，Ｖは表１に示した最適値を用いている。本実施形態による推定画像は、この場合も、従来方法と比較して、ノイズは少なくなっており、階調濃度の変化の少ない領域で、十分な改善がなされている。エッジにおけるぼけも見られない。その理由は、階調濃度の変化が少ない領域で最小２乗法の計算における標本点数を多くし、階調濃度の変化が急峻な領域で最小２乗法の計算における標本点数を少なくしているためである。従って、階調濃度の変化の少ない領域で滑らかな復元がなされ、階調濃度の変化の大きい領域でもぼけの影響が少ない逆ハーフトーン処理が行えるといえる。しかし、この場合は理想的処理画像（図９（ｂ））と比較するとエッジとなる部分のぼけはまだ残っていることがわかる。これは、最小２乗法を行う際に、エッジとなるべき領域を雑音とみなしてしまっていることが原因と考えられる。

表３は処理結果に対する比較を示している。比較のための指数としてＳＮ比を用いた。このＳＮ比は、式（４）によって計算した。その結果、提案手法は、従来法（ｍ＝４） と比較して約０．２ｄＢではあるが、画質の改善効果が見られる。従って、この場合もノイズの少ない画像の復元がなされていると言える。

以上の２つの例から、本実施形態の方法はＳＮ比の改善に、有効であることが示された。特に、その有効性は比較的空間周波数の低い領域を多くもった画像に対して顕著に表れると言うことができる。

このように、上記実施形態では、最小２乗法を用いた逆ハーフトーン処理において、計算領域を階調濃度の変化に応じて可変とした。その結果、計算領域を固定とした場合と比較して、ボケが少なく、ノイズの小さい推定画像が得られた。また、逆誤差拡散法と比較しても提案手法はＳＮ比の改善がなされた。

なお、先の実施形態では、ｍ個の画素に対して回帰直線を当てはめたが、画素に当てはめるのは直線に限らず回帰曲線であっても良い。また、標本点数ｍの上限値については特に言及しなかったが、理論的には画像の横のサイズまでの数を取り得る。

また、標本点数ｍの決定方法としては、上述した方法だけでなく、画像の濃度分布を何らかの方法でセグメンテーションできれば、他の方法を用いても良い。

本発明の一実施形態に係る中間調画像の推定システムの構成を示すブロック図である。 同システムにおける中間調画像の推定処理を示すフローチャートである。 同システムにおける画素と回帰直線とを示す図である。 同システムにおける回帰直線の全算出方向を説明するための図である。 同システムにおける標本点数ｍの決定処理における着目画素とその周辺画素と関係を示す図である。 同システムにおける標本点数ｍの決定処理を示すフローチャートである。 同システムにおける標本点数ｍの決定処理の一例を示す図である。 原画像と従来方式及び本実施形態の方式を用いた推定画像の一例を示す図である。 原画像と従来方式及び本実施形態の方式を用いた推定画像の他の例を示す図である。

符号の説明

１…ファクシミリ装置、２…画像メモリ、３…中間調推定システム、４…表示装置。

Claims (5)

1. 疑似階調画像を構成する２値画像データを平均化処理するステップと、
   前記平均化処理された平均化画像データにおける着目画素を順次移動させながら、各着目画素近傍の局所的性質に基づいて各着目画素近傍の平均化画像データの標本点数ｍを決定するステップと、
   前記決定された標本点数ｍの平均化画像データに対して回帰直線又は回帰曲線を当てはめるステップと、
   当てはめられた回帰直線又は回帰曲線に基づいて前記疑似階調画像の中間調画像を推定するステップと
   を備えたことを特徴とする中間調画像の推定方法。
2. 前記標本点数ｍを決定するステップは、着目画素とその近傍画素との差分値が所定のしきい値曲線を超えたときの前記着目画素と近傍画素との距離を前記標本点数ｍと決定するステップであることを特徴とする請求項１記載の中間調画像の推定方法。
3. 前記しきい値曲線は、前記着目画素を最大値とする正規分布曲線であることを特徴とする請求項２記載の中間調画像の推定方法。
4. 前記中間調画像を推定するステップは、前記疑似階調画像の複数の異なる方向についての前記回帰直線又は回帰曲線の平均値を求め、この平均値に基づいて前記中間調画像を推定するステップであることを特徴とする請求項１〜３のいずれか１項記載の中間調画像の推定方法。
5. 疑似階調画像を構成する２値画像データを平均化処理する手段と、
   前記平均化処理された平均化画像データにおける着目画素を順次移動させながら、各着目画素近傍の局所的性質に基づいて各着目画素近傍の平均化画像データの標本点数ｍを決定する手段と、
   前記決定された標本点数ｍの平均化画像データに対して回帰直線又は回帰曲線を当てはめる手段と、
   当てはめられた回帰直線又は回帰曲線に基づいて前記疑似階調画像の中間調画像を推定する手段と
   を備えたことを特徴とする中間調画像の推定システム。