JP2007274064A - ノイズ低減装置 - Google Patents

Abstract

【課題】デジタルビデオカメラやデジタルスチルカメラにおいて、少ない回路の追加によって、アナログ回路やＣＣＤにより発生するノイズを効率よく除去することができるノイズ低減装置を実現することを目的とする。
【解決手段】ノイズ成分を抽出するための画像を、意図的にデフォーカス状態時に撮影した画像とし、これらの画像に対し周波数領域変換手段１０２により周波数変換を行いノイズ成分抽出手段１０３でノイズ成分を抽出することにより、カメラ固有のノイズ成分をノイズ成分除去手段１０５で除去する。これにより、ＣＣＤ電荷の揺らぎなどによるノイズ（ショットノイズ）、ＣＣＤ読み出し動作によるノイズ（リセットノイズ）、アンプによるノイズを検出することが可能となる。
【選択図】図１

Description

本発明は、デジタルビデオカメラ、及びデジタルスチルカメラにおいて、その入力画像信号が持つノイズを除去するためのノイズ低減装置に関するものである。

一般に、画像撮像装置により画像信号を記録する際、ノイズの影響による画質劣化は避けることができない。そのため画像撮像装置には、画像信号に含まれるノイズ成分を低減するためにノイズ低減装置が搭載されている。このノイズ低減装置によって画像信号のノイズ成分を低減させることで画質を向上させる処理がなされている。
ノイズ低減装置としては、画像信号を空間周波数に変換し、高い周波数の成分などをノイズとみなすことによってノイズを検出し、画像信号成分とノイズ成分を分離する手法が種々提案されている。

特許文献１では、２次元ＤＣＴなどの周波数変換処理により画像信号を周波数領域へと変換し、高い周波数に対して微小レベル信号をゼロにコアリングすることで、周波数依存のノイズを除去する手法を提案している。画像信号に対する非直線処理の適用範囲を適宜変更することで、ノイズ除去特性の適応制御にも良好に対応することが可能であり、画像の座標位置に寄らないノイズ除去が実現できる。

しかしながら、上記文献を含む一般のノイズ低減装置においては、画像入力デバイスから画像符号化装置に至るまでに混入するノイズは画像入力デバイスの後段、画像符号化装置の前段に配置されるのが通常であった。このようなノイズ低減装置は、画像入力デバイスに依存したものであり、画像入力デバイスによって要求されるノイズ特性も異なる。したがって、ノイズの特性を決定する方法が複雑であるという問題がある。

そこで、このような問題を解決するために特許文献２では、図８のような構成のノイズ検出装置を提案している。上記文献では、基準信号発生手段２０６をノイズ発生源である画像取り込み装置２０１とその後段に配置された周波数領域変換手段２０２に入力し、それぞれの信号に対しＤＣＴ変換を施して、その結果の差分をとることによって画像入力系の周波数固有のノイズ成分を検出している。検出されたノイズ成分はノイズ成分記憶手段２０５に記憶される。ノイズ除去の段階では、ノイズ除去対象信号とノイズ成分記憶手段２０６に記憶されているノイズ成分の差分をとることによってノイズ成分を除去している。これは、周波数依存度が高いノイズを除去する場合はその効果は大きい。
特開平１０−３０４３６１号公報 特開平５−３００４６８号公報

しかしながら前記装置をデジタルビデオカメラやデジタルスチルカメラ等に応用した場合、アナログ回路やＣＣＤなどのデバイスにより発生するノイズを検出することが不可能である。また、基準信号発生手段そのものが持つノイズの影響も無視することができない。

そこで、本発明は、基準信号発生手段の代わりに、意図的にデフォーカス状態で撮影した画像や、光を遮断した状態で撮影した画像からノイズ成分を抽出することによって、アナログ回路やＣＣＤにより発生するノイズを除去することができるノイズ低減装置を提供することを目的とする。

上記目的を達成するために、本発明のノイズ低減装置は、画像を取り込む撮像手段
と、前記撮像手段の出力画像信号を周波数変換し、変換画像信号として出力する周波数変換手段と、前記撮像手段を制御し、参照用画像信号を得る撮像制御手段と、前記周波数変換手段で前記参照用画像信号を周波数変換し、ノイズ成分を抽出するノイズ成分抽出手段と、前記ノイズ成分を記憶するノイズ成分記憶手段と、前記変換画像信号から、前記ノイズ成分を差し引くノイズ成分除去手段とを備える。

このような構成により、従来のデジタルビデオカメラ、及びデジタルスチルカメラに新規ハードウェアを追加することなく、アナログ回路やＣＣＤにより発生するノイズを効率よく除去することができる。

（実施の形態１）
以下、本特許の実施の形態１について図を用いて説明する。

図1は本特許のノイズ除去装置の構成を示すブロック図である。１０１は被写体を画像信号へと変換する撮像手段、１０６は撮像手段から所望の出力を得るための制御を行う撮像制御手段、１０２は画像信号を周波数領域への変換を行う周波数領域変換手段、１０３は周波数領域に変換された画像信号からある特定の周波数をノイズとみなして検出するノイズ成分検出手段、１０４はノイズ成分検出手段１０３により検出された周波数領域でのノイズ成分を記憶するノイズ成分記憶手段、１０５はノイズ除去対象画像信号を周波数領域に変換したものとノイズ成分記憶手段１０４に記憶されたノイズ成分を差し引いてノイズを除去するノイズ成分除去手段である。

上記のように構成された本発明のノイズ低減装置の動作について図２のフローチャートを参照しながら説明する。撮像制御手段１０６はデジタルビデオカメラやデジタルスチルカメラに通常搭載されているアナログ回路やＣＣＤ等に加え、意図的にレンズを動作させデフォーカス状態にすることができる焦点調節手段とする。まず、ノイズ成分を抽出するために本撮影前にデフォーカス状態になるようにレンズを自動的に調節する（Ｓ６）。次にデフォーカス状態のまま被写体を画像信号へと変換する（Ｓ２）。さらに周波数領域変換手段１０２により、画像信号を周波数領域へと変換する（Ｓ３）。その際、画像信号の周波数領域への変換は二次元ＤＣＴ変換を用いる。

ここで、周波数領域に変換した画像信号の垂直空間周波数方向の座標をｉ、水平空間周波数方向の座標をｊとし、周波数領域に変換する前の画像信号の垂直座標をｘ、水平座標をｙとする。上式において、Ｆ（ｉ,ｊ）は周波数領域に変換した画像信号の座標（ｉ，ｊ）の値、ｆ（ｘ，ｙ）は周波数領域に変換する前の画像信号の座標（ｘ，ｙ）の値、Ｎは二次元ＤＣＴ変換を適用するブロックのサイズをそれぞれ表している。図４に８×８のブロックに対して二次元ＤＣＴ変換を施した結果を示す。図４において、左上の成分は低周波数の成分を表しており、右下に近づくほど周波数成分が高くなる。

デフォーカスの状態で撮影した画像は大きな輝度の変化はなく、全体として滑らかな画像信号となる。したがって、二次元ＤＣＴ変換を行うと低周波に成分が集中する。そのときの周波数成分を図５に示す。このとき、図５においては左上の領域に画像成分が集中することとなり、それ以外の領域の成分はノイズであるとみなすことができる。垂直空間周波数方向の座標をｉ、水平空間周波数方向の座標をｊ、座標（ｉ，ｊ）の周波数成分の値をＸｉｊとすると、以下の条件を満たしたときに、その座標の成分をノイズとみなして検出する。

このように、ノイズ成分抽出手段１０３により周波数領域でのノイズ成分を検出する（Ｓ７）。上式においてａの値を５、ｂの値を４と設定したときの、図５の画像信号から検出されたノイズ成分を図６に示す。一番左上の座標を（０，０）とすると、座標値（i，j）が（４，６）、（５，４）、（７，５）の位置にそれぞれノイズとして８，５，５という成分が検出されている。なお、画像信号の周波数領域変換に用いる式は二次元ＤＣＴ変換に限らず、ＦＦＴ変換やウェーブレット変換を用いても良い。

ノイズ成分抽出手段１０３によって検出されたノイズ成分は、ノイズ成分記憶手段１０４においてメモリなどに記憶しておく（Ｓ８）。

次に、ノイズ成分記憶手段１０４にノイズ成分が記憶されている状態で、通常撮影を行う処理の流れについて説明する。通常撮影時、撮像制御手段１０６では通常の焦点調節処理を行い（Ｓ１）、画像信号を取り込む（Ｓ２）。次に周波数領域変換手段１０２により二次元ＤＣＴ変換を施し、画像信号を周波数領域のデータへと変換する（Ｓ３）。最後に、ノイズ成分除去手段１０５において、ノイズ成分記憶手段１０４に記憶されたノイズ成分と、ノイズ除去対象画像信号との差分を取ることにより通常撮影画像からノイズ成分を除去する（Ｓ４）。ノイズを除去するための式を以下に示す。

ここで、Ｙはノイズ除去対象画像信号、Ｘはノイズ成分記憶手段１０４に記憶されているノイズ成分、Ｚはノイズ除去後の画像信号をそれぞれ表している。また式中のパラメータcはノイズ成分に与える重みであり、この重みをノイズ成分に付加して差分を取ることで、様々な特性のノイズに対応することができる。図４の画像信号から図６のノイズ成分を除去した結果を図７に示す。このとき、ノイズ成分の重みcの値は１としている。図７より、座標値（４，６）、（５，４）、（７，５）のノイズが低減されていることが分かる。なおノイズ除去の式は線形である必要がなく、非線形の式を用いてもよい。

自然画は隣接するピクセルの相関性が強く、ノイズは隣接するピクセルの相関が弱いという特徴をもっている。ここで、意図的に撮影時にデフォーカス状態にすることで、隣接ピクセルの相関性をより強めることができ、逆に相関性が弱い領域を目出たせることができる。この相関性が弱い部分をノイズとみなすことで、ノイズ成分の抽出を効率よく実現することが可能となる。また、焦点調節機能という本来デジタルビデオカメラやデジタルスチルカメラが備え持っている機能を利用することにより、新たなハードウェアを追加することなく、少ない回路の追加によってアナログ回路やＣＣＤにより発生するノイズを効率よく除去することができるノイズ低減装置を実現することができる。
（実施の形態２）
以下、本特許の実施の形態２について図を用いて説明する。実施の形態２におけるノイズ低減装置の構成は上記実施の形態１と同じである。

実施の形態２のノイズ低減装置について、図３のフローチャートを参照しながら説明する。撮像制御手段１０６はデジタルビデオカメラやデジタルスチルカメラに通常搭載されているアナログ回路やＣＣＤ等に加え、光を遮断することができる光量制御手段であり、光を遮断した状態で撮影し、その画像信号を得ることができる。まず、ノイズ成分を抽出するために本撮影前に光を遮断するように光量制御を行う（Ｓ１６）。次にその状態のまま被写体を画像信号へと変換する（Ｓ１２）。次に、周波数領域変換手段１０２により、画像信号を周波数領域へと変換する（Ｓ１３）。以降の処理は実施の形態１と同様である。

光を遮断して画像を撮影することにより、画像全体にわたって輝度がゼロとなる。このとき、画像にノイズが全く含まれない場合、二次元ＤＣＴ変換により周波数領域に変換された信号は図５の左上の成分のみとなる。したがって、画像にノイズが含まれている場合、低周波領域の成分以外はノイズとみなすことができる。

本手法によれば、光量調節機能という本来デジタルビデオカメラやデジタルスチルカメラが備え持っている機能を利用することにより、新たなハードウェアを追加することなく、少ない回路の追加によってアナログ回路やＣＣＤにより発生するノイズを効率よく除去することができるノイズ低減装置を実現することができる。また、実施の形態１と比較して、入力画像が全ての画素の輝度がゼロである信号となるため、ノイズ成分の分離がより効率的に実現でき、ノイズの誤検出も抑えることができる。

本発明のノイズ低減装置によれば、従来のデジタルビデオカメラ、及びデジタルスチルカメラに新規ハードウェアを追加することなく、アナログ回路やＣＣＤにより発生するノイズを効率よく除去することができるので、撮像装置を備える機器において有用である。

本発明の一実施の形態におけるノイズ低減装置の構成を示すブロック図 本発明の実施の形態１におけるノイズ低減装置の動作を示すフローチャート 本発明の実施の形態２におけるノイズ低減装置の動作を示すフローチャート 二次元ＤＣＴ変換を施した画像信号を示す図 二次元ＤＣＴ変換を施したノイズ成分抽出対象画像信号を示す図 抽出したノイズ成分を示す図 ノイズを除去した画像信号を示す図 従来のノイズ低減装置の構成を示すブロック図

符号の説明

１０１ 撮像手段
１０２ 周波数変換手段
１０３ ノイズ成分抽出手段
１０４ ノイズ成分記憶手段
１０５ ノイズ成分除去手段
２０１ 画像取り込み手段
２０２ 周波数変換手段
２０３ ノイズ成分除去手段
２０４ ノイズ成分抽出手段
２０５ ノイズ成分記憶手段
２０６ 基準信号発生手段

Claims (3)

1. 画像を取り込む撮像手段と、
   前記撮像手段の出力画像信号を周波数変換し、変換画像信号として出力する周波数変換手段と、
   前記撮像手段を制御し、参照用画像信号を得る撮像制御手段と、
   前記周波数変換手段で前記参照用画像信号を周波数変換し、ノイズ成分を抽出するノイズ成分抽出手段と、
   前記ノイズ成分を記憶するノイズ成分記憶手段と、
   前記変換画像信号から、前記ノイズ成分を差し引くノイズ成分除去手段とを備えたノイズ低減装置。
2. 前記撮像制御手段はフォーカスを制御する焦点調節手段であり、
   前記参照用画像信号は、デフォーカス状態で撮影した画像信号である請求項１記載のノイズ低減装置。
3. 前記撮像制御手段は光量制御手段であり、
   前記参照用画像信号は、前記光量制御手段で光を遮断した状態で撮影した画像信号である請求項１記載のノイズ低減装置。