JP2010081497A - ノイズ除去装置及びノイズ除去方法 - Google Patents

Abstract

【課題】色差信号の横方向の筋を発生させず、低コストなノイズ除去装置を提供する。
【解決手段】１ライン分のラインバッファを設け、ラインバッファ内の着目画素に対応するデータ値と着目画素のデータ値の差の絶対値が閾値より小さい場合には、着目画素の値をラインバッファの値とする。そして、着目画素とラインバッファの値を着目画素の値の割合を少なくしてブレンドし、ラインバッファに格納する。ラインバッファのデータ値と着目画素のデータ値の差の絶対値が閾値以上の場合には、着目画素の値をそのまま出力値とし、着目画素の割合を大きくしてラインバッファの値とブレンドし、ラインバッファに格納する。
【選択図】図１

Description

本発明は、デジタル画像を生成し、色成分にノイズが発生する際、画像への色成分のざらつきを低減するノイズ除去装置及びノイズ除去方法に関する。

デジタルカメラやスキャナー等の光学装置を用いて、デジタル画像を生成する際、色成分にノイズが発生し、画像にざらつきが発生することが問題となっている。
近年、光学機器は携帯電話などのモバイル製品にもカメラモジュールとして搭載されており、低コスト、小面積の色ノイズフィルタ回路が必要となっている。カメラモジュールは、益々高画素化が進み、一画素あたりの光量、面積が減少している。

色ノイズは、被写体への照度が低い場合、より一層発生しやすいことが知られているため、カメラモジュールでは益々色ノイズの問題が発生することが予想される。そこで、低コストで、小面積な、色ノイズフィルタが必要となっている。

色ノイズを除去する方法には、ローパスフィルタや、εフィルタ、メディアンフィルタ、ラプララシアンフィルタ等の一般的なフィルタを適用することが考えられる。色ノイズを最適に除去するためには、縦５画素×横５画素程度の画素からローパスフィルタ処理、もしくは、メディアンフィルタ処理を実施する方法が考えられる。

しかし、回路実装上、画像フレームで最低5ライン分程の大きなメモリ空間が必要になるため、低コスト、小面積が要求される近年の携帯電話などのモバイル機器には、不適格な面を持つ。

従来技術として、特許文献１には、画像のノイズを除去し、かつ、その画像の劣化を抑制する画像処理装置が開示されている。特許文献２には、簡単な構成で色エッジの検出が可能で、色滲みを防ぎながら色ノイズ除去を行うことが出来る画像処理装置が開示されている。
特開２００３−２５９１２６号公報 特開２００３−１２３０６３号公報

縦５画素×横５画素程度の画素からローパスフィルタ処理を実施して色ノイズを除去する例を図５及び図６に示す。
縦５画素×５画素のブロックの中心を着目画素とした場合、ローパスフィルタでは、周辺の画素を一定の比率で混ぜ合わせたものを、着目画素の色差として採用する方法が知られている。また、特願２００８−０２９８１２号に記載の技術のように、より広い範囲からの画素を使用することで、色ノイズを低減させ、着目画素の色差を真値に近づけることができる。ただし、このような回路を実装するためには、図６のように、必要なライン数分のデータを保持するためのメモリ空間が必要となる。仮に、画像フレームの水平方向にのみ色ノイズフィルタをかけることを想定した場合、水平方向に必要な画素数分のバッファがあれば、ローパスフィルタや、εフィルタ、メディアンフィルタ、特願２００８−０２９８１２号記載のフィルタ等を適用するのは、回路実装上問題ない。しかし、水平方向の画素のみで色ノイズフィルタを適用した場合、水平方向に色差信号の筋が発生してしまうため、垂直方向の画素を使用して色ノイズフィルタを実行する方法が必要となる。垂直方向の画素を使用して色ノイズフィルタ処理を実施するためには、垂直方向に必要なライン数分だけラインバッファを用意しなければならず、必要なライン数分のデータを保持するメモリ空間が必要となってしまう。よって、低コスト、小面積が要求される近年の携帯電話などのモバイル機器には、コストアップ、面積増加となることが問題となっている。

本発明の課題は、色差信号の横方向の筋を発生させず、低コストなノイズ除去装置を提供することである。

本発明のノイズ除去装置は、デジタル画像のノイズを低減するノイズ除去装置において、格納されている画素値と処理対象の着目画素値を一定の割合でブレンドした値であるブレンド値を、画像の１ライン分格納するラインバッファ手段と、該ラインバッファ手段上のブレンド値と着目画素値との絶対値の差分が閾値未満ならばブレンド値を採用し、閾値以上ならば着目画素自体を選択出力する選択出力手段とを備える。

本発明によれば、色差信号の横方向の筋を発生させず、低コストなノイズ除去装置を提供することができる。

本実施形態においては、垂直方向の画素データを保持するラインバッファを、1ライン分のラインバッファを用意するだけで色ノイズを低減できる方法を適用する。ここで、１ライン分のラインバッファは、Ｙ成分、Ｃｂ成分、Ｃｒ成分の３成分を格納する３つのバッファからなる。ラインバッファには、ラインバッファ上の値と着目画素値を一定の割合でブレンドした値を格納する。着目画素に色ノイズフィルタを適用する際、ラインバッファ上のブレンド値と着目画素値との差分の絶対値が閾値未満ならばブレンド値を採用し、閾値以上ならば着目画素自体を採用する手法を採用する。閾値を設定することで、色差信号の境界を見分け、境界付近での色成分の混色を防ぐ。なお、ラインバッファ上のブレンド値は単純にブレンドした画素値を格納するだけでは、色差信号の境界付近に色ニジミが発生してしまうため、ラインバッファ上のブレンド値と着目画素値との差分の絶対値が閾値未満か、閾値以上の場合の二通りに分けて、ブレンド比を変化させる手法を採用する。ただし、このままでは、色差信号の変化が少ない画素が連続した場合、例えば、色差信号の境界付近の画素で、設定した閾値以内に収まるような画素が連続した場合、垂直方向に色ニジミが発生してしまうことがある。そこで、ラインバッファ上のブレンド値と、着目画素値との差分の正・負の方向をカウントする機能を持ち、設定した回数よりも一定方向に画素値の変化が続いた場合にはラインバッファ上のブレンド値を破棄して、新たに着目画素値をラインバッファに格納することで、色ニジミを低減できる。さらに、この方法を適用することで列ごとに色ズレが発生してしまうことがあるため、垂直方向にノイズ除去した後の画素値を用いて、水平方向にローパスフィルタ、もしくは特願２００８−０２９８１２号記載のフィルタ等をかける手法を採用することで、色差信号の境界付近に発生した色ズレを低減する。

本実施形態により、１ラインのラインバッファを用いるだけで、画像データの垂直方向にも色ノイズ除去フィルタを適用できるため、ノイズ除去に必要なラインバッファを削減でき、ＬＳＩの面積削減とコストパフォーマンスの向上が見込まれる。また、従来、１ラインのラインバッファを用いるだけで色ノイズ除去フィルタを構成した場合、色ニジミが発生してしまっていたが、本実施形態により、極力色ニジミを低減した状態で、色ノイズを除去することが可能となる。

図１は、本発明の実施形態を説明する図である。
画像フレームに対して、垂直方向の画素データを保持するラインバッファの数を減らす
ため、1ライン分のラインバッファを用意すれば色ノイズを低減できる方法の例を示す。本実施形態では、水平方向と垂直方向の処理を分けて考える必要がある。まず、水平方向の色ノイズ除去方法は、ローパスフィルタや、εフィルタ、メディアンフィルタ、ラプラシアンフィルタ等の一般的なフィルタや、特願２００８−０２９８１２号記載のフィルタを適用することが考えられ、水平方向の色ノイズ除去方法を適用した後の画素を輝度Ｙ、色差Ｃｂ、Ｃｒに分けて、ラインバッファに格納する。ただし、ラインバッファには、ラインバッファに格納していた値と着目画素値を一定の割合でブレンドした値を格納する。ブレンド方法は、例えば、αブレンドと呼ばれる方法を用いる。αブレンドにおいては、着目画素の値をＡ、ラインバッファに格納していた値をＢとすると、ブレンド値は、αＡ＋（１−α）Ｂで与えられる。ここで、αは、０以上、１以下の実数である。αは、２つの値のブレンドの割合を示す。

ブレンド値と着目画素値の差分の絶対値が閾値未満ならば着目画素値をブレンド値と置き換え、閾値以上ならば着目画素値をそのまま使用する。閾値との比較は、輝度成分は、ブレンド値と着目画素値の差分の絶対値を閾値と比較し、色差成分は、Ｃｂのブレンド値と着目画素値の差分の絶対値と、Ｃｒのブレンド値と着目画素値の差分の絶対値の和を閾値と比較する。輝度成分と色差成分は別々にラインバッファに格納しているため、輝度と色差にはそれぞれ個別に閾値を設定し、両方とも閾値内と判定した場合にのみ、着目画素値をブレンド値と置き換える。着目画素とラインバッファ値とのブレンド比（上記のα）は、ブレンド値と着目画素値の差分の絶対値が閾値未満か閾値以上かを判定して、変化させる。閾値未満ならば、着目画素をブレンドする割合を低めに設定し（例えば、α＝０．２など）、閾値以上ならば、着目画素をブレンドする割合を高めに設定することで（例えば、α＝０．９など）、色差の境界付近で色ニジミが発生するのを防ぐ。ラインバッファとの対応は、図１に示す。

図１において、画像フレームの画素を１ラインずつ処理していく場合に、現在の処理ラインの１つ前の処理ラインまでの処理において得られたブレンド値が１ライン分のラインバッファに格納される。処理中の着目画素の１ライン内での位置と同じラインバッファ内の位置に着目画素とブレンドするべきデータが格納されている。１ライン分のラインバッファは、画素のＹ成分、Ｃｂ成分、Ｃｒ成分のそれぞれを格納するために、３つのラインバッファからなる。

なお、閾値の判定には輝度と色差を使用しているため、輝度の変化にも有効である。また、輝度成分Ｙ、色差成分Ｃｂ、Ｃｒにそれぞれラインバッファの画素値と、着目画素値との差分を正・負の方向だけで垂直方向にカウントする機能を持ち、設定した回数よりも一定方向に画素値の変化が続いた場合には、ラインバッファのブレンド値を破棄して着目画素値を格納することで、色ニジミを低減できる。さらに、左記の方法を適用することで列ごとに色ズレができてしまうことがあるため、垂直方向にノイズ除去した後の画素値を用いて、水平方向にローパスフィルタ、もしくは特願２００８−０２９８１２号記載のフィルタ等をかける手法を採用することで、色差信号の境界付近に発生した色ズレを低減することができる。

図２は、本発明の実施形態に従った、色ノイズ除去装置のブロック構成図である。
着目画素のＹデータは、乗算器１０において、ブレンド比ベータが乗算され、Ｚ^−１と記載されているＩＩＲフィルタを適用するブロック１２に入力される。ＩＩＲフィルタによってフィルタリングされた後のデータは、乗算器１１において、１−βが乗算され、加算器９において、フィルタリング前のデータとブレンドされる。ＩＩＲフィルタリング部１２からの出力は、ブレンド値となり、減算器１３において、着目画素のＹデータとの差分が取られる。差分データは、ブロック１４において、絶対値に変換され、ε演算器１５において、閾値と比較される。また、Ｙ傾きカウンタ１６は、差分データが正であった回
数、あるいは、負であった回数をカウントし、ブレンド比βの値を制御する。ε演算器１５の出力は、ＡＮＤ回路３５に入力される。なお、以下のブレンド比αは可変とするが、Ｙデータのブレンド比であるベータは、固定としても良い。このとき、βは、０．２５などとすることが考えられる。

着目画素のＣｂ、Ｃｒデータは、乗算器１７、２５において、ブレンド比αが乗算されるとともに、ＩＩＲフィルタリング部１９、２７において、ＩＩＲフィルタによって、フィルタリングされた後、乗算器１８、２６によって１−αが乗算され、加算器２４、２８において、フィルタリング前の値とブレンドされる。ＩＩＲフィルタリング部１９、２７の出力であるブレンド値と着目画素のＣｂ、Ｃｒデータとは、減算器２０、２９において減算され、差分データが演算される。差分データは、ブロック２１、３０において、絶対値に変換され、加算器３３で加算された後に、ε演算器３４によって閾値と比較される。ε演算器３４の出力は、ＡＮＤ回路３５に入力される。ＡＮＤ回路３５の出力は、セレクタ２３、３２に入力され、Ｃｒ、Ｃｂデータについて、ブレンド値を出力するか、着目画素の値をそのまま出力するかの選択に使用される。Ｃｂ傾きカウンタ２２と、Ｃｒ傾きカウンタ３１は、ブレンド値と着目画素の値との差分が、正である回数、あるいは、負である回数をカウントし、ブレンド比α、ブレンド比βの値を制御する。

図３は、本実施形態の全体の処理フローである。
ステップＳ１０において、ｉ、ｊを０に初期化する。ステップＳ１１において、１ライン分について、従来技術の水平方向のノイズフィルタを適用する。ステップＳ１２において、着目画素のＹ、Ｃｂ、Ｃｒデータをロードする。ステップＳ１３において、Ｙ、Ｃｂ、Ｃｒについて、カウンタ値が０以上で、ラインバッファの値から着目画素の値を引いた値が０以上の場合は、カウンタ値を１つカウントアップし、カウンタ値が０未満で、ラインバッファの値から着目画素の値を引いた値が０未満の場合は、カウンタ値を１つカウントダウンし、それ以外は、カウンタ値を０にリセットする。ステップＳ１４において、Ｙのカウンタ値が所定値（ここでは、５と−５）より大きい、あるいは、小さく、かつ、Ｃｂ、Ｃｒのカウンタ値の１つが、所定値より大きい、あるいは、小さいか否かを判断する。ステップＳ１４の判断がＹｅｓの場合には、ステップＳ１６において、着目画素のＣｂ、Ｃｒ値を作業領域に設定し、ステップＳ１７において、ラインバッファに、着目画素を設定し、ステップＳ２３に進む。

ステップＳ１４の判断がＮｏの場合には、ステップＳ１５において、Ｙデータのラインバッファの値と着目画素の値の差の絶対値が閾値εＹより小さく、かつ、Ｃｂデータのラインバッファの値と着目画素の値の差の絶対値と、Ｃｒデータのラインバッファの値と着目画素の値の差の絶対値の加算値が閾値εＣより小さいか否かを判断する。ステップＳ１５の判断がＹｅｓの場合には、ステップＳ１８において、ラインバッファの値を作業領域に設定し、ステップＳ１９において、αを小さな値に設定し、ステップＳ２２に進む。ステップＳ１５の判断がＮｏの場合には、ステップＳ２０において、着目画素の値を作業領域に設定し、ステップＳ２１において、αを大きな値に設定し、ステップＳ２２に進む。

ステップＳ２２においては、ラインバッファにブレンド値を設定し、ステップＳ２３に進む。ステップＳ２３では、特願２００８−０２９８１２号記載のフィルタ、もしくは、ローパスフィルタによって、作業領域のデータを使って、着目画素のたとえば左右４画素分について、フィルタリングを行い、着目画素の出力データを生成する。ステップＳ２４においては、ｉの値が画像の水平方向サイズ未満か否かを判断する。ステップＳ２４の判断がＹｅｓの場合には、ステップＳ２５において、ｉを１つインクリメントし、ステップＳ１１に戻る。ステップＳ２４の判断がＮｏの場合には、ステップＳ２６において、ｉを０に初期化し、ステップＳ２７において、ｊが画面の縦方向サイズ未満か否かを判断する。ステップＳ２７の判断がＹｅｓの場合、ステップＳ２８において、ｊを１つインクリメントし、ステップＳ１１に戻る。ステップＳ２７の判断がＮｏの場合には、処理を終了する。

ステップＳ１３のカウンタは、着目画素のデータのラインバッファのデータに対する変化が、同じ方向に一定回数継続する場合には、平滑化してはいけない色の変化があると判断するためのものであり、この場合には、着目画素のデータのそのままを出力画素値とするものである。

図４は、本発明の実施形態に従った色ノイズ除去装置が適用されるカメラのブロック図である。
センサ４０で取得された信号は、プリプロセス部４１によって処理された後、カラー処理部４２において、Ｂａｙｅｒデータから、ＹＣｂＣｒデータに変換される。変換後のＹＣｂＣｒデータは、本実施形態が適用される色ノイズ除去装置４３で色ノイズが除去された後、ＪＰＥＧ部４４で符号化され、外部Ｉ／Ｆ部４５を介して、外部媒体４７に格納されたり、表示部４６を介して、ＬＣＤ４８などの表示装置によって表示される。

上記実施形態では、水平方向の色ノイズ除去フィルタを行った画素を基に、垂直方向の色ノイズ除去を行っているが、垂直方向に本発明と同等の色ノイズ除去方法を行った後に、水平方向の色ノイズ除去を行ってもよい。

また、ラインバッファを１ライン分に限定して垂直方向の色ノイズ除去を行っているが、ラインバッファを２ライン以上用いて、ラインバッファにブレンド値を格納してもよい。

更に、ラインバッファを１ライン分用意するだけで、色ノイズを除去しているが、同様の手法で輝度ノイズを除去しても良い。
また、輝度成分のブレンド比率βを０．２５に固定しているが、色差成分のブレンド比率と同じように、図３のステップＳ１５の条件分岐に応じて、βを可変としてもよい。

本発明の実施形態を説明する図である。 本発明の実施形態に従った、色ノイズ除去装置のブロック構成図である。 本実施形態の全体の処理フローである。 本発明の実施形態に従った色ノイズ除去装置が適用されるカメラのブロック図である。 従来の、縦５画素×横５画素程度の画素からローパスフィルタ処理を実施して色ノイズを除去する例を示す図（その１）である。 従来の、縦５画素×横５画素程度の画素からローパスフィルタ処理を実施して色ノイズを除去する例を示す図（その２）である。

符号の説明

１０、１１、１７、１８、２５、２６ 乗算器
９、２４、２８、３３ 加算器
１２、１９、２７ ＩＩＲフィルタリング部
１３、２０、２９ 減算器
１４、２１、３０ 絶対値取得部
１５、３４ ε演算部
１６ Ｙ傾きカウンタ
２２ Ｃｂ傾きカウンタ
３１ Ｃｒ傾きカウンタ
３５ ＡＮＤ回路
４０ センサ
４１ プリプロセス部
４２ カラー処理部
４３ 色ノイズ除去装置
４４ ＪＰＥＧ部
４５ 外部Ｉ／Ｆ部
４６ 表示部
４７ 外部媒体
４８ ＬＣＤ

Claims (8)

1. デジタル画像のノイズを低減するノイズ除去装置において、
   格納されている画素値と処理対象の着目画素値を一定の割合でブレンドした値であるブレンド値を、画像の１ライン分格納するラインバッファ手段と、
   該ラインバッファ手段上のブレンド値と着目画素値との絶対値の差分が閾値未満ならばブレンド値を採用し、閾値以上ならば着目画素自体を選択出力する選択出力手段と、
   を備えることを特徴とするノイズ除去装置。
2. Ｃｂデータ、Ｃｒデータについて、それぞれ１ライン分の前記ラインバッファ手段にブレンド値を格納する際、該ラインバッファ手段上のブレンド値と着目画素値との絶対値の差分が閾値未満か、閾値以内かによって、該ラインバッファ手段上のブレンド値と着目画素値とをブレンドする割合を変化させることを特徴とする請求項１に記載のノイズ除去装置。
3. 前記ラインバッファ手段に格納するＹＣｂＣｒデータの中で、Ｙデータのみのラインバッファ上のブレンド値と着目画素値のブレンド比を０．２５に固定していることを特徴とする請求項２に記載のノイズ除去装置。
4. 前記ラインバッファ手段上のブレンド値と、着目画素値との差分の正・負の方向の継続回数をカウントするカウント手段を更に備え、
   設定した回数よりも一定方向に画素値の変化が続いた場合には、該ラインバッファ手段上のブレンド値を破棄して、該ラインバッファ手段に着目画素値を格納することを特徴とする請求項２に記載のノイズ除去装置。
5. 前記ラインバッファ手段上のブレンド値と、着目画素値との差分の正・負の方向の継続回数をカウントする際、輝度Ｙ、色差Ｃｂ、Ｃｒそれぞれに分けてカウントすることで、輝度Ｙのカウンタが設定値を超え、尚且つ、色差Ｃｂ、Ｃｒどちらかのカウンタが設定値を超えることを、該ラインバッファ手段上のブレンド値を破棄する条件とすることを特徴とする請求項４に記載のノイズ除去装置。
6. 前記選択出力手段の出力値に対し、水平方向にノイズ低減のためのフィルタ処理を適用することを特徴とする請求項１に記載のノイズ除去装置。
7. 前記選択出力手段は、輝度信号は、そのまま画素値を出力し、色信号についてのみ選択出力することを特徴とする請求項１に記載のノイズ除去装置。
8. 格納されている画素値と処理対象の着目画素値を一定の割合でブレンドした値であるブレンド値を、画像の１ライン分格納するラインバッファ手段を備える、デジタル画像のノイズを低減するノイズ除去方法において、
   該ラインバッファ手段上のブレンド値と着目画素値との絶対値の差分が閾値未満ならばブレンド値を採用し、閾値以上ならば着目画素自体を選択出力する
   ことを特徴とするノイズ除去方法。