JP2012134658A - ノイズ低減装置、ノイズ低減方法およびノイズ低減プログラム - Google Patents

Abstract

【課題】メモリの容量を変更せずに、画像データに対してノイズ低減効果を高める。
【解決手段】データが記憶されるラインメモリ１２と、外部から入力された画像データの画素値を、該画素値のビット数より小さくかつ各ラインの全画素で同一のビット数で表される符号に変換し、該変換により得られた符号をラインメモリ１２に複数のライン数分記憶させる符号化部１１と、ラインメモリ１２から符号を複数のライン数分読み出し、符号を復号する復号ユニット１３´と、復号ユニット１３´による復号により得られた画像データ中に含まれるノイズを低減するノイズ低減処理部１４と、を備える。
【選択図】図１

Description

本発明は、ノイズ低減装置、ノイズ低減方法およびノイズ低減プログラムに関する。

従来、画像データに含まれるノイズを低減するためには、画像データの行（ライン）毎にラインメモリに一時格納された画像データに対して、その格納された画像データに対してノイズ低減処理が行われる。ノイズ低減効果を高めるためには、ラインメモリの使用効率を高める必要がある。一般的に、画像を所定の数の列毎に（短冊状に割って）処理をすることにより、画像を行毎に格納するラインメモリのメモリ量を削減する技術が知られている。

また、ラインメモリの容量を低減させる方法としては、リサイズ処理を水平・垂直に分離し、ハードウェアが水平方向のリサイズ処理を行うが、一方、ソフトウェアが垂直方向のリサイズを行うことにより、ラインメモリの容量を削減することができることが示されている（特許文献１参照）。また、複数ライン毎に、画像データを圧縮する方法が示されている（特許文献２参照）。

特開２０００−６９４１８号公報 特開２００２−４４４５９号公報

画像データのノイズを低減させる効果を高めるには、より多くの画素に対して画素値を平均する処理を行う必要があり、それにはラインメモリが一度に保持できる画像データのライン数を増やす必要がある。ライン数を増加させることは、ラインメモリの容量を増加させることになり、その結果、回路面積の増大およびコストの増大を招くという問題があった。

本発明は、上記問題に鑑みてなされたものであり、メモリの容量を変更せずに、画像データに対してノイズ低減効果を高めることを可能とするノイズ低減装置、ノイズ低減方法およびノイズ低減プログラムを提供することを課題とする。

上記の課題を解決するために、本発明の一態様であるノイズ低減装置は、データが記憶される記憶部と、外部から入力された画像データの各ラインについて、該ラインの各画素値を、該画素値のビット数より小さくかつ該ラインの全画素で同一のビット数で表される符号に変換し、該変換により得られた符号を前記記憶部に複数のライン数分記憶させる符号化部と、前記記憶部から前記符号を前記複数のライン数分読み出し、前記符号を復号する復号部と、前記復号部による復号により得られた画像データ中に含まれるノイズを低減するノイズ低減処理部と、を備えることを特徴とする。

本発明によれば、ノイズ低減装置は、符号化部による符号化の際の圧縮率を高めることにより、ノイズ低減処理部に入力される画像データのライン数を増加させ、ノイズ低減処理対象となる画素数を増加させることにより、ノイズ低減効果を向上させることができる。
また、記憶部の記憶容量を変更せずに、符号化を行う符号化部と、復号を行う復号部とを設ける構成にすることにより、ラインメモリのサイズを変えずに、ノイズ低減処理部によるノイズ低減の効果を向上させることができる。

第１の実施形態におけるノイズ低減装置のブロック構成図である。 第１の実施形態におけるノイズ低減装置の処理の流れを示したフローチャートである。 第２の実施形態におけるノイズ低減装置のブロック構成図である。 通常動作モード時におけるノイズ低減装置の処理の概要を示したブロック構成図である。 第２の実施形態におけるノイズ低減装置の処理の流れを示したフローチャートである。 第２の実施形態のノイズ低減処理部の変形例である。 第３の実施形態におけるノイズ低減装置のブロック構成図である。 第３の実施形態におけるノイズ低減装置の処理の流れを示したフローチャートである。

＜第１の実施形態＞
第１の実施形態のノイズ低減装置１０は、ラインメモリの容量を変更せずに、各画素のデータを符号化することによりデータ量を圧縮し、ラインメモリに格納できるライン数を増加させる。これにより、ノイズ低減処理部１４では、増加させたライン分の画像データに対して、一度にノイズ低減処理を行う画素数を増やすことができるので、ノイズ低減効果を高めることができる。

以下、本発明の実施形態について、図面を参照して詳細に説明する。図１は、第１の実施形態におけるノイズ低減装置１０のブロック構成図である。ノイズ低減装置１０は、符号化部１１と、ラインメモリ（記憶部）１２と、復号ユニット１３´と、ノイズ低減処理部１４とを備える。ここで、復号ユニット１３´は、復号部１３＿１、１３＿２、…、１３＿１０から構成される１０個の復号部１３＿ｉ（ｉは１から１０までの整数）を備える。

符号化部１１は、ノイズ低減装置１０の外部から入力された１２ビットの画像データに対して、画像データの行（ライン）毎に、ＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ、差分パルス符号変調）符号化を施すことにより、画像データを６ビットの符号に変換する。
符号化部１１は、ライン毎に変換により得られた符号をラインメモリ１２に記憶させる。

例えば、解像度がＳＶＧＡ（Ｓｕｐｅｒ Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）の画像データの場合、１ラインは８００画素になるので、符号化部１１は、１ライン分の画像データである２４００（６［ｂｉｔ］×８００）ｂｉｔ毎に、符号をラインメモリ１２に記憶させる。

その際、符号化部１１は、６ビットに符号化されたライン毎の符号データを順次、ラインメモリ１２に順に格納させていく。符号化部１１が１０ライン目の画像データをラインメモリ１２に格納させた場合、次に１１ライン目の画像データを１ライン目の画像データを格納したラインメモリ１２のメモリ空間に格納させる。以下、上記の処理を繰り返すことにより、ラインメモリ１２には、直近の符号化により得られた１０ライン分の符号が記憶されていることとなる。

なお、符号化部１１の符号化方法は、ＤＰＣＭに限らず、１ラインに含まれるすべての画素で、符号化後のビット数が常に同一となる等長符号化であればよい。

例えば、符号化部１１に入力された画像データが、１２ビットで先頭ラインから画素値が１００、１２０、１１５、１１８、…と並んでいるものとする。
符号化部１１は、ラインの先頭の画素値（例えば、１００）については、画素値をそのまま符号化する。符号化部１１は、２つ目以降の画素に対して、対象となる画素値からその直前の画素値を差分した値（差分値）を算出する。上記の例では、符号化部１１は、対象となる画素値からその直前の画素値を差分した値（差分値）である２０、−５、３、…を算出する。

符号化部１１は、算出した差分値を、所定のビット数（例えば、６ビット）の符号に変換する際に、差分値に正負があることを考慮して、差分値の絶対値を所定のビット数から正負符号を表すための１ビットを引いたビット数（例えば、５ビット）に相当する段階（例えば、３２（＝２^５）段階）のデータに変換する。その変換の際、符号化部１１は、算出した差分値の絶対値（差異）が小さいほど、変換後の値が同じになる差分値の範囲が小さくなるように変換する。

換言すると、符号化部１１は、外部から入力された画像データの各ラインについて、該ラインの各画素値を、該画素値のビット数より小さくかつ該ラインの全画素で同一のビット数で表される符号に変換し、該変換により得られた符号をラインメモリ１２に複数のライン数分記憶させる。
符号化部１１では、隣接する画素値の差異が小さいほど細かく、隣接する画素値の差異が大きいほど粗く符号化されるので、画像データに含まれるグラデーションのように滑らかに画素値が変化する画像領域において、変換後の画像データの劣化が目立たないようにすることができる。

ラインメモリ１２は、符号化部１１により記憶された６ビットの符号を１０ライン分保持する。
復号ユニット１３´は、ラインメモリ１２から上記符号を複数のライン数分読み出し、上記符号を復号する。

具体的には、復号ユニット１３´を構成する各復号部１３＿ｉは、以下の処理を、各復号部１３＿ｉが並列に行う。ラインメモリ１２から記憶されている画像データのうちｉライン目に相当する符号を読み出す。復号部１３＿ｉは、画像データのｉライン目に相当する符号を復号することにより、元のデータサイズと同じ１２ビットの画像データを生成し、その画像データをノイズ低減処理部１４に出力する。

上記処理をまとめると、符号化部１１は、上記圧縮符号化が施されていない画像データの画素値をラインメモリ１２が記憶可能な最大ライン数（例えば、５［ライン］）に上記画素値のビット数（例えば、１２［ビット］）を乗じた数を、符号のビット数（例えば、６［ビット］）で割ったライン数分（例えば、５×１２／６＝１０ライン分）、符号を記憶させる。

ラインメモリ１２に記憶させたライン数分（例えば、１０ライン分）の復号部１３＿ｉからなる復号ユニット１３´は、ラインメモリ１２から並列に記憶させたライン数分（例えば、１０ライン分）符号を読み出す。

ノイズ低減処理部１４は、復号部１３による復号により得られた画像データ中に含まれるノイズを低減する。具体的には、ノイズ低減処理部１４は、１０ライン同時に入力された画像データに対して、所定の数の列（例えば、１０列）毎に、画素値の平均値を算出する。具体的には、ノイズ低減処理部１４は、入力されたラインの画像データのうちの所定の数の列（例えば、１０列）の画素の画素値の総和を算出し、その総和を画素数（例えば、１００）で割ることにより、画素値の平均値を算出する。

ノイズ低減処理部１４は、入力画像データの画素値を、算出した画素値の平均値に変更し、変更された画素値を有する画像データ（例えば、１２ビット）をノイズ低減装置１０の外部に出力する。

ここで、ノイズ低減に用いる画素の総数をタップ数と呼ぶ。本実施形態の例では、１０ライン×１０列なので、タップ数は１００となる。
ノイズ低減処理部１４は、入力される画像データのライン数分の画素値をノイズ低減処理のタップとして使うことができる。入力される画像データのライン数が多くなればなるほどタップ数を増やすことができ、ノイズ低減効果を大きくすることができる。

図２は、ノイズ低減装置１０の処理の流れを示したフローチャートである。まず、符号化部１１は入力された画像データに対して、ライン毎にＤＰＣＭ符号化を行う（ステップＳ１０１）。次に、符号化部１１は、ＤＰＣＭ符号化により得られた符号をライン毎にラインメモリ１２に記憶させる（ステップＳ１０２）。

次に、各復号部１３＿ｉは、ラインメモリ１２からＤＰＣＭ符号化により得られた符号を画像データのライン毎に他の復号部と並列に読み出し、読み出したＤＰＣＭ符号化により得られた符号に対して、ＤＰＣＭ復号を行う（ステップＳ１０３）。ノイズ低減処理部１４は、ＤＰＣＭ復号により得られた１０ライン分の画像データを用いて平均値を算出し、復号により得られた画像データの画素値を平均値に変更する（ステップＳ１０４）。以上で、本フローチャートの処理を終了する。

＜第１の実施形態の効果＞
以上、本実施形態のノイズ低減装置１０は、符号化部１１にて画像データを圧縮することで、ノイズ低減処理部１４に入力される画像データのライン数を増加させ、ノイズ低減処理のタップ数を増加させることにより、ノイズ低減効果を向上させることができる。

また、本実施形態に示された技術を用いれば、符号化部１１による符号化の際の圧縮率を高めることにより、ノイズ低減処理部１４に入力される画像データのライン数を増加させることができるので、ノイズ低減処理部１４において、タップ数を同じにしたまま、すなわちノイズ低減効果を同じにしたまま、メモリの容量を削減することができる。例えば、１２ビットを６ビットに符号化する場合、ノイズ低減処理部１４はメモリの容量を５０％削減することができる。

本実施形態のノイズ低減装置１０は、ラインメモリ１２の記憶容量を変更せずに、等長符号化を行う符号化部１１と、復号を行う復号部１３＿ｉとを設ける構成にすることにより、ラインメモリ１２のサイズを変えずに、ノイズ低減処理部１４によるノイズ低減の効果を向上させることができる。
また、本実施形態のノイズ低減装置１０は、ラインメモリ１２のメモリ容量を単純に２倍にした構成の装置よりもラインメモリ規模を大幅に小さくできるため、回路面積を小さくすることができる。

また、本実施形態のノイズ低減装置１０は、符号化部１１によるＤＰＣＭ符号化では画質の劣化はほとんど生じず、ノイズ低減の効果を大きくすることができるので、最終画質の品位を向上させることができる。
また、本実施形態のノイズ低減装置１０は、符号化部１１による画像データの圧縮を使ってラインメモリ１２の使用効率を上げるものであり、符号化部１１と復号部１３＿ｉとを追加すればよく、ノイズ低減処理のアルゴリズム自体は変える必要がない。

＜第２の実施形態＞
第１の実施形態におけるノイズ低減装置１０では、あらゆる画像や条件においてＤＰＣＭ圧縮による画質劣化が視覚的に目立たないと立証することは困難なため、圧縮率をあまり高く設定することは出来ない。
そこで、第２の実施形態におけるノイズ低減装置２０は、入力された画像データに対してノイズ低減処理する通常動作モードと、圧縮された画像データに対してノイズ低減処理するＤＰＣＭ動作モードと、を切り替える構成をとる。

ここで、ＤＰＣＭ符号化による画質の劣化は、画像のグラデーション領域に段差が見える現象が主である。その現象は入力された画像データに含まれるノイズが少ない場合に視覚的に目立ちやすい。そのため、ノイズ低減装置２０は、入力される画像にノイズが少ない場合、ＤＰＣＭ動作モードから通常動作モードに切り替え、ＤＰＣＭ符号化を行わないこととする。

また、通常動作モードでは、ＤＰＣＭ動作モードに比べてノイズ低減処理部１４ｂに入力される画像データのライン数が減少してタップ数も減少することから、ノイズ低減処理の効果も小さくなってしまう。しかし、そもそも画像データにノイズが少なければ、ノイズ低減処理を行う必要性も低いため、ノイズ低減処理部１４ｂによるノイズ低減効果が低下しても、ノイズ低減装置２０から出力される画像データの画質にほとんど影響はない。

これにより、ノイズ低減装置２０は、ＤＰＣＭ動作モード時にＤＰＣＭ符号化による画質の劣化が視覚的に分かる場合には、通常動作モードに切り替えることができるので、ＤＰＣＭ動作モード時における符号化部１１ｂにおける画像の圧縮率を高く設定することができる。

図３は、第２の実施形態におけるノイズ低減装置２０のブロック構成図である。ノイズ低減装置２０は、符号化部１１ｂと、ラインメモリ１２ｂと、復号部１３ｂと、ノイズ低減処理部１４ｂと、切替制御部２１と、第１の切替部２２と、第２の切替部２３とを備える。ノイズ低減処理部１４ｂは、小平均化部２４と、大平均化部２５と、第３の切替部２６とを備える。

符号化部１１ｂは、図１の符号化部１１と同様に、入力された１２ビットの画像データに対してＤＰＣＭ符号化を行い、ＤＰＣＭ符号化により得られた６ビットの符号を第１の切替部２２の第２の入力ポートに出力する。

切替制御部２１は、ノイズ低減装置２０の外部から入力された通常動作モードかＤＰＣＭ動作モードかを選択する選択信号ｓに応じて、第１の切替部２２と、第２の切替部２３と、第３の切替部２６とに、通常動作モードとＤＰＣＭ動作モードとを切り替える切替信号ｋを送信する。
これにより、切替制御部２１は、第１の切替部２２、第２の切替部２３および第３の切替部２６それぞれに入力されたデータのうち出力するデータを連動して切り替えるように制御する。

第１の切替部２２、第２の切替部２３および第３の切替部２６は、切替信号ｋに応じて、入力された２つのデータのうち、どちらのデータを出力するか切り替える。第１の切替部２２、第２の切替部２３および第３の切替部２６は、それぞれ入力されるデータを受け取るための第１のポートと第２のポートとを備える。

通常動作モードに切り替える切替信号ｋが入力された場合、次にＤＰＣＭ動作モードに切り替える切替信号ｋが入力されるまでは、第１の切替部２２、第２の切替部２３および第３の切替部２６は、第１のポートを介して入力されるデータを出力する。
一方、ＤＰＣＭ動作モードに切り替える切替信号ｋが入力された場合、次に通常動作モードに切り替える切替信号ｋが入力されるまでは、第１の切替部２２と、第２の切替部２３と、第３の切替部２６は、第２のポートを介して入力されるデータを出力する。

第１の切替部２２は、通常動作モード時には、外部から第１のポートを介して入力された画像データをライン毎に、ラインメモリ１２ｂに記憶させる。また、第１の切替部２２は、ＤＰＣＭ動作モード時には、符号化部１１ｂから第２のポートを介して入力された符号をライン毎に、ラインメモリ１２ｂに記憶させる。

ラインメモリ１２ｂは、図１のラインメモリ１２と同様に、第１の切替部２２から入力された画像データをライン毎に保持する。具体的には、通常動作モード時には、ラインメモリ１２ｂは、１画素あたり１２ビットのデータを５ライン保持する。ＤＰＣＭ動作モード時には、ラインメモリ１２ｂは、１画素あたり６ビットのデータを１０ライン保持する。

復号部１３ｂは、図１の復号部１３と同様に、ラインメモリ１２ｂから符号を読み出し、この符号を復号することにより１２ビットの画像データを生成し、この画像データを１０ライン並列に第２の切替部２３に出力する。

第２の切替部２３は、通常動作モードに切り替える切替信号ｋが入力された場合、ラインメモリ１２ｂから画像データを第１のポートを介して５ライン並列で読み出し、読み出した画像データを５ライン並列で小平均化部２４に出力する。第２の切替部２３は、ＤＰＣＭ動作モードに切り替える切替信号ｋが入力された場合、復号部１３ｂから１０ライン並列で第２のポートを介して入力された復号により得られた画像データを、１０ライン並列で大平均化部２５に出力する。

小平均化部２４は、第２の切替部２３から入力された５ライン分の画像データに対して、所定の数の列（例えば、５列）毎に、画素値の平均値を算出する。具体的には、小平均化部２４は、入力された５ラインの画像データのうちの所定の数の列（例えば、５列）の画素の画素値の総和を算出し、その総和を画素数（例えば、２５）で割ることにより、画素値の平均値を算出する。

小平均化部２４は、入力画像データの画素値を、算出した画素値の平均値に変更し、変更された画素値を有する画像データ（例えば、１２ビットの画像データ）を第３の切替部２６に出力する。

大平均化部２５は、第２の切替部２３から入力された１０ライン分の画像データに対して、所定の数の列（例えば、１０列）毎に、画素値の平均値を算出する。具体的には、大平均化部２５は、入力された１０ラインの画像データのうちの所定の数の列（例えば、１０列）の画素の画素値の総和を算出し、その総和を画素数（例えば、１００）で割ることにより、画素値の平均値を算出する。

大平均化部２５は、入力画像データの画素値を、算出した画素値の平均値に変更し、変更された画素値を有する画像データ（例えば、１２ビットの画像データ）を第３の切替部２６に出力する。

第３の切替部２６は、通常動作モードに切り替える切替信号ｋが入力された場合、小平均化部２４から第１のポートを経由して入力された画像データをノイズ低減装置２０の外部に出力する。第３の切替部２６は、ＤＰＣＭ動作モードに切り替える切替信号ｋが入力された場合、大平均化部２５から第２のポートを経由して入力された画像データ（例えば、１２ビットの画像データ）を、ノイズ低減装置２０の外部に出力する。

これにより、切替制御部２１は、切替信号ｋを第１の切替部２２と、第２の切替部２３と、第３の切替部２６とに出力することにより、通常動作モードとＤＰＣＭ動作モードを切り替えることができる。

図４は通常動作モード時におけるノイズ低減装置１０の処理の概要を示したブロック構成図である。図４に示すように、通常動作モード時には、画像データはそのまま１ライン毎にラインメモリ１２ｂに格納される。ノイズ低減処理部１４ｂは、ラインメモリ１２ｂに格納された５ライン分の画像データを読み出す。ノイズ低減処理部１４ｂの小平均化部２４は、５ライン×５列毎に画素値の平均値を算出し、入力画像データの画素値を平均値に変更する。そして、小平均化部２４は、変更した画素値を有する画像データをノイズ低減装置２０の外部に出力する。

ＤＰＣＭ動作モード時には、第１の実施形態と同様に、ノイズ低減処理部１４ｂは、図１に示す処理の流れで入力された画像データに含まれるノイズを低減させる。

図５は、第２の実施形態におけるノイズ低減装置２０の処理の流れを示したフローチャートである。図５（ａ）は、通常動作モード時におけるノイズ低減装置２０の処理の流れを示したフローチャートである。まず、ノイズ低減装置２０のラインメモリ１２ｂは、外部から入力された画像データをライン毎に保持する（ステップＳ２０１）。次に、ノイズ低減処理部１４ｂは、５ライン×５列のタップで画素値を平均することにより、画像データのノイズを低減させる（ステップＳ２０２）。以上で、本フローチャートの処理を終了する。

図５（ｂ）は、ＤＰＣＭ動作モード時におけるノイズ低減装置２０の処理の流れを示したフローチャートである。ステップＳ３０１からステップＳ３０４までの処理は、図２のステップＳ１０１からステップＳ１０４までの処理と同様である。

まず、符号化部１１ｂは、入力された画像データをＤＰＣＭ符号化する（ステップＳ３０１）。次に、符号化部１１ｂは、符号化した画像データをラインメモリ１２ｂにライン毎に記憶させる（ステップＳ３０２）。

次に、復号部１３ｂは、ラインメモリ１２ｂから１０ライン並列で画像データを読み出し、読み出したライン毎の画像データに対して、並列に復号を行う（ステップＳ３０３）。
次に、ノイズ低減処理部１４ｂの大平均化部２５は、第２の切替部２３から入力された復号により得られた画像データに対して、１０ライン×１０列のタップでノイズ低減処理を行う（ステップＳ３０４）。以上で、本フローチャートの処理を終了する。

以上、本実施形態のノイズ低減装置２０は、通常動作モードとＤＰＣＭ動作モードとを切り替えることにより、同一サイズのラインメモリ１２ｂで、記憶するライン数を切り替えることができる。

これにより、ＤＰＣＭ圧縮符号化による画質劣化が視覚的に目立つ場合に、ＤＰＣＭ圧縮を行わない通常動作モードに切り替えることができるので、符号化部１１ｂの圧縮率を高く設定することができる。その結果、ノイズ低減処理部１４ｂのタップ数を増やすことができるので、ノイズ低減処理部１４ｂによるノイズ低減の効果を向上させることができる。
すなわち、ノイズ低減装置２０は、符号化部１１ｂの圧縮率を高くしてノイズ低減処理部１４ｂが一度にノイズ低減処理するライン数を増やすという構成をとることにより、ノイズ低減の効果を向上させることができる。

＜ノイズ低減処理部の変形例＞
図６は、第２の実施形態のノイズ低減処理部１４ｂの変形例である。ノイズ低減処理部１４ｃは、小平均化部２４ｃと、大平均化部２５ｃとを備える。
通常動作モード時には、小平均化部２４ｃは、切替制御部１２の制御に基づいて、第２の切替部２３と接続されている１０ラインの配線のうち中央に位置する５ラインの配線を介して、画像データを受け取り、上述した図３の小平均化部２４と同様に、５×５のタップで平均化した画素値を有する画像データをノイズ低減装置２０の外部に出力する。

ＤＰＣＭ動作モード時には、大平均化部２５ｃは、切替制御部１２の制御に基づいて、第２の切替部２３から１０ラインの配線を介して、復号により得られた画像データを受け取り、上述した図３の大平均化部２５と同様に、１０×１０のタップで平均化した画素値を有する画像データをノイズ低減装置２０の外部に出力する。
これにより、ノイズ低減装置２０は、小平均化部２４ｃを大平均化部２５ｃに包含させる構成をとることにより、ノイズ低減処理部１４ｃの回路面積を削減することができる。その結果、ノイズ低減装置２０全体の回路面積を削減することができる。

＜第３の実施形態＞
第２の実施形態におけるノイズ低減装置２０は、外部から切替制御部２１に入力される選択信号ｓに応じて、通常動作モードとＤＰＣＭ動作モードとを切り替えることを説明した。第３の実施形態では、ノイズ低減装置３０が、自装置に外部から入力された画像に含まれるノイズ量または外部の撮影装置から入力された撮影情報の少なくともいずれか１つに基づいて、通常動作モードとＤＰＣＭ動作モードとを切り替えることを説明する。

図７は、第３の実施形態におけるノイズ低減装置３０のブロック構成図である。なお、図３と共通する要素には同一の符号を付し、その説明を省略する。
図７のノイズ低減装置３０の構成は、図３のノイズ低減装置２０の構成に対して、ノイズ検出部３１と、判定部３２とが追加され、切替制御部２１が切替制御部２１ｄに、第１の切替部２２ｂが第１の切替部２２ｄに、第２の切替部２３ｄが第２の切替部２３ｄに、第３の切替部２６ｂが第３の切替部２６ｄに変更されたものになっている。

ノイズ検出部３１は、ノイズ低減装置３０の外部から入力された画像データに含まれるノイズ量を検出し、検出したノイズ量を示す情報を判定部３２に出力する。具体的には、例えば、ノイズ検出部３１は、入力された画像データに対してアダマール変換を施して、画像に含まれる周波数毎の強度を分離する演算を行い、高周波数域の強度に応じたノイズ量を算出する。

判定部３２は、ノイズ低減装置３０の外部の撮影装置（不図示）から撮影情報（例えば、ＩＳＯ感度を示す情報）を受け取る。
判定部３２は、所定の画像フレーム毎に、ノイズ量を示す情報または撮影情報の少なくともいずれか１つに基づいて、入力された画像データにノイズ量が多く含まれているか否かを判定する。

判定部３２は、ノイズ量を示す情報のみが入力された場合、ノイズ量を示す情報が所定のノイズ量を超えていれば、入力された画像データにノイズ量が多く含まれていると判定する。一方、判定部３２は、ノイズ量を示す情報が所定のノイズ量以下の場合、判定部３２は、入力された画像データにノイズ量が多く含まれていないと判定する。

判定部３２は、ＩＳＯ感度を示す情報のみが入力された場合、ＩＳＯ感度を示す情報が所定のＩＳＯ感度を超えていれば（例えば、ＩＳＯ４００を超えている場合）、入力された画像データにノイズ量が多く含まれていると判定する。これは、一般にＩＳＯ感度を上げると画像データに含まれるノイズ量が増えるということを利用している。一方、判定部３２は、ＩＳＯ感度を示す情報が所定のＩＳＯ感度以下の場合、判定部３２は、入力された画像データにノイズ量が多く含まれていないと判定する。

判定部３２は、ノイズ量を示す情報とＩＳＯ感度を示す情報とが両方入力された場合、ノイズ量を示す情報またはＩＳＯ感度を示す情報のうちいずれか１つでも、それぞれに設定された所定の閾値を超えている場合、入力された画像データにノイズ量が多く含まれていると判定する。一方、判定部３２は、ノイズ量を示す情報とＩＳＯ感度を示す情報の両方とも、それぞれに設定された所定の閾値以下の場合、入力された画像データにノイズ量が多く含まれていないと判定する。
そして、判定部３２は、上記判定後、判定結果を示す情報ｒを切替制御部２１ｄに出力する。

切替制御部２１ｄは、入力された画像データにノイズ量が多く含まれていないという判定結果を示す情報ｒを受け取った場合、第１の切替部２２ｄと、第２の切替部２３ｄと、第３の切替部２６ｄとに通常動作モードに切り替える切替信号ｋを出力する。
切替制御部２１ｄは、入力された画像データにノイズ量が多く含まれているという判定結果を示す情報ｒを受け取った場合、第１の切替部２２ｄと、第２の切替部２３ｄと、第３の切替部２６ｄとにＤＰＣＭ動作モードに切り替える切替信号ｋを出力する。

第１の切替部２２ｄは、図３の第１の切替部２２と同様に、切替制御部２１ｄから入力された切替信号ｋに基づき、外部から第１のポートを介して入力された画像データをラインメモリ１２ｂに記憶させるか、符号化部１１ｂから第２のポートを介して入力された符号をラインメモリ１２ｂに記憶させるかを切り替える。

具体的には、第１の切替部２２ｄは、切替制御部２１ｄから入力された切替信号ｋが通常動作モードに切り替える切替信号ｋの場合、外部から第１のポートを介して入力された画像データをラインメモリ１２ｂに出力する。
一方、第１の切替部２２ｄは、切替制御部２１ｄから入力された切替信号ｋがＤＰＣＭ動作モードに切り替える切替信号ｋの場合、符号化部１１ｂから第２のポートを介して入力された符号をラインメモリ１２ｂに出力する。

第２の切替部２３ｄは、図３の第２の切替部２３と同様に、切替制御部２１ｄから入力された切替信号ｋに基づき、ノイズ低減処理部１４ｄに出力するデータを切り替える。
具体的には、第２の切替部２３ｄは、切替制御部２１ｄから入力された切替信号ｋが通常動作モードに切り替える切替信号ｋの場合、ラインメモリ１２ｂから画像データを５ライン並列で、第１のポートを介して読み出し、読み出した画像データを５ライン並列でノイズ低減処理部１４ｄの小平均化部２４に出力する。

一方、第３の切替部２６ｄは、切替制御部２１ｄから入力された切替信号ｋがＤＰＣＭ動作モードに切り替える切替信号ｋの場合、復号部１３ｂから画像データを１０ライン並列で、第２のポートを介して読み出し、読み出した画像データを１０ライン並列でノイズ低減処理部１４ｄの大平均化部２５に出力する。

図８は、第３の実施形態におけるノイズ低減装置３０の処理の流れを示したフローチャートである。まず、ノイズ検出部３１は、入力された画像データに含まれるノイズ量を検出する（ステップＳ４０１）。次に、判定部３２は、所定の画像フレーム毎に、ノイズ量を示す情報またはＩＳＯ感度を示す情報のうちいずれか１つでも、それぞれに設定された所定の閾値を超えたか否か判定する（ステップＳ４０２）。

ノイズ量が所定のノイズ量を超えておらず、ＩＳＯ感度が所定のＩＳＯ感度を超えていない場合（ステップＳ４０２ ＮＯ）、判定部３２は、入力された画像データにノイズ量が多く含まれていないと判定する。そして、切替制御部２１ｄは、通常動作モードで動作させるように第１の切替部２２ｄと、第２の切替部２３ｄと、第３の切替部２３ｄとに通常動作モードに切り替える切替信号ｋを出力する（ステップＳ４０３）。

第１の切替部２２ｄは、外部から入力された画像データをライン毎にラインメモリ１２ｂに記憶させる（ステップＳ４０４）。
次に、第２の切替部２３ｄは、ラインメモリ１２ｂから画像データを５ライン並列に読み出し、読み出した画像データを５ライン並列でノイズ低減処理部１４ｄの小平均化部２４に出力する（ステップＳ４０５）。
ノイズ低減処理部１４ｄの小平均化部２４は、第２の切替部２３ｄから入力された画像データに対して、５×５のタップでノイズ低減処理を行う（ステップＳ４０６）。

一方、ノイズ量が所定のノイズ量を超えたか、またはＩＳＯ感度が所定のＩＳＯ感度を超えた場合（ステップＳ４０２ ＹＥＳ）、判定部３２は、入力された画像データにノイズ量が多く含まれていると判定する。そして、切替制御部２１ｄは、ＤＰＣＭ動作モードで動作させるように第１の切替部２２ｄと、第２の切替部２３ｄと、第３の切替部２６ｄとにＤＰＣＭ動作モードに切り替える切替信号ｋを出力する（ステップＳ４０７）。

ステップＳ４０８からステップＳ４１１までの処理は、図５（ｂ）に示されたステップＳ３０１からステップＳ３０４までの処理と同一であるので、その処理の説明を省略する。以上で、本フローチャートの処理を終了する。

以上により、本実施形態のノイズ低減装置３０は、自装置の外部から入力された画像に含まれるノイズ量または自装置の外部から入力された撮影情報の少なくともいずれか１つに基づいて、入力された画像に含まれるノイズが多いか否か判定する。そして、ノイズ低減装置３０は、該判定結果に基づいて、通常動作モードとＤＰＣＭ動作モードとを切り替えることにより、ラインメモリ１２ｂとノイズ低減処理部１４ｄとを組み合わせるという構成を取る事により、同一サイズのラインメモリ１２ｂで、記憶するライン数を切り替えることができる。

これにより、ノイズ低減装置３０は、ＤＰＣＭ圧縮符号化による画質劣化が視覚的に目立つ場合に、ＤＰＣＭ圧縮符号化を行わない通常動作モードへ切り替えることができるので、符号化部１１ｂの圧縮率を高く設定することができる。その結果、ノイズ低減処理部１４ｄのタップ数を増やすことができるので、ノイズ低減処理部１４ｄによるノイズ低減の効果を向上させることができる。

なお、本実施形態におけるノイズ低減装置３０は、ノイズ低減処理部１４ｄは、図６に示されたノイズ低減処理部１４ｃに差し替えられたものであってもよい。
また、本実施形態における判定部３２は、自装置の外部から入力された情報であって、画像データに含まれるノイズ量を示す情報または自装置の外部から入力された撮影情報の少なくともいずれか１つに基づいて、入力された画像に含まれるノイズが多いか否か判定してもよい。

なお、各実施形態において、符号化部１１は、１２ビットの画像データから６ビットの画像データに等長符号化したが、これに限らず、第１のビット数の画像データから第１のビット数よりも少ないビット数の画像データに等長符号化すればよい。
例えば、符号化部１１は、１０ビットの画像データから５ビットの画像データに、または１４ビットの画像データから６ビットの画像データに等長符号化してもよい。

また、各実施形態において、符号化部１１は、符号化後のビット数を画像の領域に応じて変化させてもよい。
例えば、符号化部１１は、あるラインでは１２ビットの画像データを６ビットの画像データに符号化し、別のラインでは１２ビットの画像データを８ビットの画像データに符号化してもよい。

また、各実施形態において、符号化部（１１、１１ｂ）は、圧縮方式としてＤＰＣＭを用いたが、これに限らず、等長符号化であればどんな方式でもよい。さらに、符号化部（１１、１１ｂ）による圧縮方式は、回路規模が小さく実装できる方式であれば、尚良い。また、符号化部（１１、１１ｂ）による圧縮方式は、画質劣化が少ない方式であれば、尚良い。

一般的な短冊処理のように、所定の列数分まとまった列毎に処理単位を分ける方法では、そのまとまった列をまたがってノイズ低減処理することはできなかった。本発明の実施形態におけるノイズ低減装置（１０、２０、３０）は、そのような処理単位に分けることはしないので、ノイズ低減処理部（１４、１４ｂ、１４ｄ）は、ノイズ低減する列の幅を自由に設定することができる。

短冊処理は、所定の数分だけまとまった列の間に重なり（のりしろ）が発生する分、処理クロックが上がり、消費電力や発熱の増加が問題となる。また、ノイズ低減処理部（１４、１４ｂ、１４ｄ）のノイズ低減アルゴリズムによっては短冊処理が行えない処理もある。また、短冊処理は、システム制御も複雑になり設計・検証に時間がかかる。各実施形態のノイズ低減装置（１０、２０、３０）は、これらの問題が起きないという有利な効果を有する。

各実施形態のノイズ低減装置（１０、２０、３０）は、全てハードウェアに実装可能であり、ソフトウェアによる処理は増えないので、不図示のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の負担が増すことはない。

また、本発明の各実施形態のノイズ低減装置（１０、２０、３０）の機能またはその機能の一部をコンピュータで実現するようにしてもよい。この場合、その機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたコンピュータプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定期間プログラムを保持するものを含んでもよい。また上記のコンピュータプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているコンピュータプログラムとの組み合わせにより実現するものであってもよい。

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１０、２０、３０ ノイズ低減装置
１１、１１ｂ 符号化部
１２、１２ｂ ラインメモリ（記憶部）
１３＿１、１３＿２、…、１３＿１０、１３ｂ 復号部
１３´ 復号ユニット
１４、１４ｂ、１４ｃ、１４ｄ ノイズ低減処理部
２１ 切替制御部
２２ 第１の切替部
２３ 第２の切替部
２４ 小平均化部
２５ 大平均化部
２６ 第３の切替部
３１ ノイズ検出部
３２ 判定部

Claims (8)

1. データが記憶される記憶部と、
   外部から入力された画像データの各ラインについて、該ラインの各画素値を、該画素値のビット数より小さくかつ該ラインの全画素で同一のビット数で表される符号に変換し、該変換により得られた符号を前記記憶部に複数のライン数分記憶させる符号化部と、
   前記記憶部から前記符号を前記複数のライン数分読み出し、前記符号を復号する復号部と、
   前記復号部による復号により得られた画像データ中に含まれるノイズを低減するノイズ低減処理部と、
   を備えることを特徴とするノイズ低減装置。
2. 前記符号化部は、前記外部から入力された画像データの画素値を前記記憶部が記憶可能な最大ライン数に前記画素値のビット数を乗じた数を前記符号のビット数で割ったライン数分、前記記憶部に前記符号を記憶させ、
   前記復号部は、前記記憶部から前記符号を前記記憶部に記憶させたライン数分読み出すことを特徴とする請求項１に記載のノイズ低減装置。
3. 外部から入力されたノイズ低減を高めるか否か選択する選択信号に基づいて、前記画像データをそのまま用いてノイズ低減するか前記復号部による復号により得られた画像データを用いてノイズ低減するかを切り替えるよう制御する切替制御部と、
   前記切替制御部による制御に基づき、前記画像データと前記符号化部により変換された符号とのうちいずれを前記記憶部に記憶させるか切り替える第１の切替部と、
   前記切替制御部による制御に基づき、前記記憶部から前記複数のライン数より少ない所定のライン数分の前記画像データを読み出して、該読み出した画像データを前記ノイズ低減処理部に出力するか、前記復号部による復号により得られた画像データを前記複数のライン数分、前記ノイズ低減処理部に出力するかを切り替える第２の切替部と、
   を備え、
   前記ノイズ低減処理部は、前記切替制御部による制御に基づき、前記第２の切替部から出力されたデータのライン数に基づいて、該データのノイズを低減することを特徴とする請求項１または請求項２に記載のノイズ低減装置。
4. 自装置の外部から入力された撮影情報に基づいて、前記画像データに含まれるノイズが多いか否か判定する判定部を備え、
   前記切替制御部は、前記判定部による判定結果に基づいて、前記第１の切替部と前記第２の切替部とを制御することを特徴とする請求項３に記載のノイズ低減装置。
5. 前記画像データのノイズ量を検出するノイズ検出部と、
   前記判定部は、前記撮影情報と前記ノイズ量とに基づいて、前記入力された画像データに含まれるノイズが多いか否か判定することを特徴とする請求項４に記載のノイズ低減装置。
6. 前記ノイズ低減処理部は、
   前記第２の切替部から前記所定のライン数分のデータが出力された場合に、該出力されたデータに対してノイズ低減する大平均化部と、
   前記第２の切替部から前記複数のライン数分のデータが出力された場合に、該出力されたデータに対してノイズ低減する小平均化部と、
   前記切替制御部による制御に基づき、前記大平均化部によりノイズ低減されたデータを出力するか、前記小平均化部によりノイズ低減されたデータを出力するかを切り替える第３の切替部と、
   を更に備えることを特徴とする請求項３から請求項５のいずれか１項に記載のノイズ低減装置。
7. データが記憶される記憶部を備えるノイズ低減装置が実行するノイズ低減方法であって、
   外部から入力された画像データの各ラインについて、該ラインの各画素値を、該画素値のビット数より小さくかつ該ラインの全画素で同一のビット数で表される符号に変換し、該変換により得られた符号を前記記憶部に複数のライン数分記憶させる符号化手順と、
   前記記憶部から前記符号を前記複数のライン数分読み出し、前記符号を復号する復号手順と、
   前記復号手順による復号により得られた画像データ中に含まれるノイズを低減するノイズ低減処理手順と、
   を有することを特徴とするノイズ低減方法。
8. データが記憶される記憶部を備えるノイズ低減装置であるコンピュータに、
   外部から入力された画像データの各ラインについて、該ラインの各画素値を、該画素値のビット数より小さくかつ該ラインの全画素で同一のビット数で表される符号に変換し、該変換により得られた符号を前記記憶部に複数のライン数分記憶させる符号化ステップと、
   前記記憶部から前記符号を前記複数のライン数分読み出し、前記符号を復号する復号ステップと、
   前記復号手順による復号により得られた画像データ中に含まれるノイズを低減するノイズ低減処理ステップと、
   を実行させるためのノイズ低減プログラム。

Images