JP2006197455A - ノイズリダクション装置 - Google Patents

Abstract

【課題】入力映像信号が動きを持っている信号の場合、１フィールドもしくは１フレーム前の信号との非相関成分を利用しているために、以前の信号成分が残留し、残像が副作用として発生していた。この残像とノイズ除去率のバランスをとって設定することが必要となり、十分なノイズ除去ができない状態も存在した。
【解決手段】動き検出部２３から出力される画像動き情報に基づき、３ＤＮＲ部１００におけるリミッターレベルと乗算係数を可変設定する構成としたことにより、画像動きが大きい時（手振れが大きい時）は、リミッターレベルと乗算係数を下げ、残像の抑圧度を上げることができ、一方、画像動きが小さい時（手振れが小さい時）は、リミッターレベルと乗算係数を上げ、ノイズ除去効果を優先させることができる。
【選択図】図１

Description

本発明は、ビデオメモリーを使用して行う３次元（時間軸）ノイズリダクション（以下３ＤＮＲ）とそのノイズ成分演算回路のアルゴリズムに関するものである。

近年、ビデオカメラは画質の向上の要望が高く、特にノイズの削減の要望が高い。

以下に従来の３次元（時間軸）ノイズリダクション（以下３ＤＮＲ）について説明する。

従来、３ＤＮＲはビデオメモリーで一定時間前の画像と現剤の画像の信号を比較して、その差分をノイズ成分とみなし、そのノイズ成分を振幅およびゲインを補正して３ＤＮＲ回路入力信号から除算する回路構成となっている。

図３において、１１は入力される画像（動画）のうち１フレームあるいは１フィールドの画像を記憶する記憶手段であるビデオメモリであり、一般にはフレームメモリあるいはフィールドメモリが用いられる。

１６はビデオメモリ１１から読み出される１フレーム前あるいは１フィールド前の画像と現在の画像とを減算する第１の減算器であり、出力信号はフレーム間あるいはフィールド間の差分データとなる。すなわち、本手段で得られる信号は、時間的非相関成分のノイズ信号である。

１２は第１の減算器１６から出力されるノイズ信号の振幅を制限する振幅制限手段であるノイズ信号リミッター回路である。

１７はノイズ信号リミッター回路１２から出力される振幅制限されたノイズ信号に所定係数（後述する）を乗算する乗算器である。

３００は前述のビデオメモリ１１とノイズ信号リミッター回路１２と第１の減算器１６と乗算器１７とを備えた３次元ノイズリダクション（以下３ＤＮＲと記す）部である。

１３はリミッター回路１２において振幅制限処理を行う際のリミッターレベルを設定するリミッターレベル設定部で、本構成ではリミッターレベルＫ１は固定値としている。１４は乗算器１７においてリミッター回路２２から出力される信号に乗算する係数を設定する乗算器係数設定部で、本構成では乗算係数Ｋ２は固定値としている。

以上のように構成された従来の画像拡大装置について、以下その動作について説明する。

まず、３ＤＮＲブロックに入力された映像信号はその信号と１フィールドもしくは１フレーム以前の信号と差分を計算する。ここで抽出された時間的非相関成分がノイズとみなされる。そのノイズ成分は一般的にそのまま入力信号から減算されることはなく、振幅を制限するノイズリミッター回路１２、ノイズリミッター回路出力にゲイン補正をする乗算回路を経て、元信号から除算される。一般的にはこれらのノイズリミッター回路リミッターレベル設定値１３および、乗算器乗算係数設定値１４は一定の値、もしくは照度を変数とする設定である。
特開平１０−１７８５６０号公報

しかしながら上記の従来の構成では、入力映像信号が動きを持っている信号の場合、１フィールドもしくは１フレーム前の信号との非相関成分を利用しているために、以前の信号成分が残留し、残像が副作用として発生していた。この残像とノイズ除去率のバランスをとって設定することが必要となり、十分なノイズ除去ができない状態も存在した。

本発明は上記従来の問題点を解決するもので、残像とノイズ除去を入力映像に適応的に対応できる特徴を有する。

この目的を達成するために本発明のノイズリダクション装置は、入力される映像信号を所定フレーム分あるいは所定フィールド分記憶する記憶手段と、前記記憶手段から読み出した映像信号と入力映像信号とで減算処理する第１の減算手段と、前記第１の減算手段からの信号を振幅制限する振幅制限手段と、前記振幅制限手段から出力される信号のゲイン調整を行う乗算手段と、前記乗算手段からの信号と入力映像信号とで減算処理する第２の減算手段と、入力映像信号の時間軸方向の動きを検出し動きベクトル信号を出力する動き検出手段と、前記動き検出手段からの動きベクトル信号に基づき前記振幅制限手段のリミッターレベルを設定する第１の設定手段と、前記動き検出手段からの動きベクトル信号に基づき前記乗算手段における乗算係数を設定する第２の設定手段とを備え、前記動き検出手段で検出した画像の動きベクトルが大きい場合は、前記第１の設定手段で設定されるリミッターレベルを低く、前記第２の設定手段で設定される乗算係数を小さくし、前記動き検出手段で検出した画像の動きベクトルが小さい場合は、前記第１の設定手段で設定されるリミッターレベルを高く、前記第２の設定手段で設定される乗算係数を大きくするものである。

この構成によって、動いている映像に対しても残像の抑圧され、且つ、ノイズ抑圧効果の高い映像を実現できる。

以上のように本発明は、映像の動きに連動して３ＤＮＲの設定を可変し、残像感が少なく、且つノイズ抑圧効果の高い映像が得られるという優れた効果が得られる。

本発明の請求項１に記載の発明は、入力される映像信号を所定フレーム分あるいは所定フィールド分記憶する記憶手段と、前記記憶手段から読み出した映像信号と入力映像信号とで減算処理する第１の減算手段と、前記第１の減算手段からの信号を振幅制限する振幅制限手段と、前記振幅制限手段から出力される信号のゲイン調整を行う乗算手段と、前記乗算手段からの信号と入力映像信号とで減算処理する第２の減算手段と、入力映像信号の時間軸方向の動きを検出し動きベクトル信号を出力する動き検出手段と、前記動き検出手段からの動きベクトル信号に基づき前記振幅制限手段のリミッターレベルを設定する第１の設定手段と、前記動き検出手段からの動きベクトル信号に基づき前記乗算手段における乗算係数を設定する第２の設定手段とを備え、前記動き検出手段で検出した画像の動きベクトルが大きい場合は、前記第１の設定手段で設定されるリミッターレベルを低く、前記第２の設定手段で設定される乗算係数を小さくし、前記動き検出手段で検出した画像の動きベクトルが小さい場合は、前記第１の設定手段で設定されるリミッターレベルを高く、前記第２の設定手段で設定される乗算係数を大きくする構成としたことにより、画像の動きに連動し３ＤＮＲ設定を可変させることにより残像を抑圧する作用を実現するものである。

以下、本発明の実施の形態について、図面を用いて説明する。

（実施の形態１）
図１は本発明の実施の形態のノイズリダクション回路のの構成を示すブロック図、図２（ａ）は同実施の形態における動きベクトルに対するリミッターレベルの特性を示す特性図、図２（ｂ）は同様に動きベクトルに対するノイズ乗算器係数の特性を示す特性図である。なお、本実施の形態のノイズリダクション装置は、ビデオカメラやデジタルスチルカメラなどの撮像装置に用いられるものであり、以下の説明ではビデオカメラに用いたものとして説明している。

図１において、２１は入力される画像（動画）のうち１フレームあるいは１フィールドの画像を記憶する記憶手段であるビデオメモリであり、一般にはフレームメモリあるいはフィールドメモリが用いられる。

２６はビデオメモリ２１から読み出される１フレーム前あるいは１フィールド前の画像と現在の画像とを減算する第１の減算手段である第１の減算器であり、出力信号はフレーム間あるいはフィールド間の差分データとなる。すなわち、本手段で得られる信号は、時間的非相関成分のノイズ信号である。

２２は第１の減算器２６から出力されるノイズ信号の振幅を制限する振幅制限手段であるノイズ信号リミッター回路である。

２７はノイズ信号リミッター回路２２から出力される振幅制限されたノイズ信号に所定係数（後述する）を乗算しゲイン調整を行う乗算手段である乗算器である。

１００は前述のビデオメモリ２１とノイズ信号リミッター回路２２と第１の減算器２６と乗算器２７とを備えた３次元ノイズリダクション（以下３ＤＮＲと記す）部である。

２８は入力される映像信号から、乗算器２７から出力されるノイズ信号を減算する第２の減算手段である第２の減算器で、第２の減算器２８の出力信号が本装置の出力信号となり、すなわちノイズ成分が除去された映像信号が出力されるわけである。

２３は動き検出手段である手ぶれ補正用動き検出回路で、図示していないが別途設けられた手振れ補正回路に用いられる動き検出手段に相当する。手振れ補正回路は、一般にビデオカメラやデジタルスチルカメラに搭載されているものであり、入力される映像信号の１フレーム前の画像との比較で画像のブレ（具体的には機器本体のブレ）を検出するものである。このような手振れ補正回路は既知のものであるため、これ以上の詳細説明は省略する。本実施の形態における動き検出回路２３は、画像の動き（機器本体のブレ）の動きベクトルを出力している。

２４は動き検出回路２３から出力される動きベクトル信号に連動してノイズ信号リミッター回路２２におけるノイズリミッターレベルを可変させる第１の設定手段であるリミッターレベル設定部で、具体的な可変特性は図２（ａ）に示している通りであり、動きベクトルが小さい時はリミッターレベルを大きく設定し、動きベクトルが大きくなるにつれリミッターレベルを小さく設定している。なお、本実施の形態では、可変特性を図２（ａ）に示すように構成したが、必ずしもこの特性に限るものではなく、少なくとも動きベクトルが小さい時にレベルが高く、動きベクトルが大きい時にレベルが小さくなるように設定してあればよい。

２５は動き検出回路２３から出力される動きベクトル信号に連動して乗算器２７における乗算係数の設定を可変させる第２の設定手段である乗算器係数設定部であり、係数の設定特性は図２（ｂ）に示す通りであり、動きベクトルが小さい時は係数を大きく設定し、動きベクトルが大きくなるにつれ係数を小さく設定している。なお、本実施の形態では、可変特性を図２（ｂ）に示すように構成したが、必ずしもこの特性に限るものではなく、少なくとも動きベクトルが小さい時に係数が高く、動きベクトルが大きい時に係数が小さくなるように設定してあればよい。

２９は映像信号が入力される入力端子、３０は本装置にてノイズリダクションが行われた映像信号が出力される出力端子である。

２００はリミッターレベル設定部２４と乗算器係数設定部２５とを備えた３ＤＮＲ制御手段である３ＤＮＲ制御回路である。

以上のように構成された本実施の形態のノイズリダクション回路について、以下その動作について説明する。

まず、３ＤＮＲ部を用いたノイズリダクション動作について説明する。

レンズや撮像素子などからなる光学手段（図示せず）や映像信号処理手段から出力される映像信号は、入力端子２９から本装置へ入力される。入力端子２９へ入力された映像信号は第２の減算器２８を介してビデオメモリ２１に入力されるとともに、第１の減算器２６に入力される。ビデオメモリ２１は例えば１フレームの映像信号を一時記憶できるフレームメモリで構成されており、所定のタイミングでビデオメモリ２１から読み出される。本実施の形態では、ビデオメモリ２１から読み出される映像信号は、１フレーム遅延させたものとしており、よって、第１の減算器２６にはビデオメモリ２１から１フレーム前の映像信号が入力される。一方で第１の減算器２６は現在の映像が入力される。

第１の減算器２６では、ビデオメモリ２１からの１フレーム前の映像信号と、現在の映像信号とを減算処理する。すなわち、時間軸非相関成分に相当するノイズ信号を抽出するわけである。第１の減算器２６から出力されるノイズ信号はリミッター回路２２に入力され、ノイズ信号の振幅制限処理が行われる。振幅制限されたノイズ信号は、乗算器２７に入力される。乗算器２７は、後述する乗算器係数設定部２５から出力される乗算係数と、リミッター回路２２から出力されるのノイズ信号とを乗算処理する。乗算器２７から出力されるノイズ信号は第２の減算器２８に入力され、入力端子２９から入力される映像信号との間で減算処理される。すなわち、入力される映像信号からノイズ成分を除去するわけである。ノイズが除去された映像信号は、出力端子３０から出力される。

次に、３ＤＮＲ制御回路２００を用いた画像動き連動のノイズリダクション動作について説明する。

入力端子２９から入力された映像信号は、動き検出回路２３にも入力されており、動き検出回路２３において画像の動きベクトルを算出する。具体的には、一般に画像動き補正回路（手振れ補正回路）に用いられる動き検出回路の動作と同等であり、例えば１フレーム前の映像信号との間での時間軸相関に基づき、画像の動きベクトル（動き方向、動き量など）を算出する。

動き検出回路２３で検出された画像の動きベクトルは、リミッターレベル設定部２４と乗算器係数設定部２５とに入力される。リミッターレベル設定部２４では、図２（ａ）の特性に基づき、入力される動きベクトルに応じたリミッターレベルを設定する。設定されたリミッターレベルによって、リミッター回路２２における振幅制限動作が制御される。一方、乗算器係数設定部２５では、図２（ｂ）の特性に基づき、入力される動きベクトルに応じた乗算器係数を設定する。設定された乗算器係数を乗算器２８に入力し、前述したように乗算器２８において乗算動作が行われる。

前述のリミッターレベル設定部２４と乗算器係数設定部２５の動作について、さらに具体的に説明する。リミッターレベル設定部２４と乗算器係数設定部２５における設定値としては、動きが大きい被写体（動きベクトルが大きい時）は、ノイズリミッターレベル設定値及び乗算係数は、動きベクトルの発生しない場合（動きベクトルが小さい時）と比較して小さい出力をするように設定される。このように設定することにより、映像の動きが少ない時（動きベクトルが小さい時）にはノイズ抑圧効果を上げるべくリミッターレベルを高くし、乗算係数を上げる設定が可能となる。また、映像の動きが大きい時（動きベクトルが大きい時）には、残像を発生させにくくするために、ノイズリミッターレベルを抑え乗算器係数を下げる設定が可能になる。

図２（ａ）、図２（ｂ）にそのリミッターレベルと乗算係数の設定例を示す。一般的に映像信号内の動きが大きく、動きベクトルが大きい時（すなわち手振れが強い時）に残像が目立つので、リミッターレベル及び乗算係数は小さな値に設定し、残像の抑圧度を上げる。また、映像の動きが少なく、動きベクトルが小さい時（手振れが弱い時）には残像が目立たないために、リミッターレベル及び乗算係数は大きな値に設定し、ノイズ除去率を高める設定にすることが可能である。

以上のように本実施の形態によれば、動き検出部２３から出力される画像動き情報に基づき、３ＤＮＲ部１００におけるリミッターレベルと乗算係数を可変設定する構成としたことにより、画像動きが大きい時（手振れが大きい時）は、リミッターレベルと乗算係数を下げ、残像の抑圧度を上げることができ、一方、画像動きが小さい時（手振れが小さい時）は、リミッターレベルと乗算係数を上げ、ノイズ除去効果を優先させることができる。

本発明は、画像動きに応じて３ＤＮＲのノイズ除去の強さを可変する構成としたものであり、応用範囲としては、ビデオカメラやデジタルスチルカメラなどの撮像装置に用いて有効である。

本発明の実施の形態におけるノイズリダクション装置の構成を示すブロック図 （ａ）同実施の形態における動きベクトルに対するノイズリミッターレベル設定の模式図（ｂ）同実施の形態における動きベクトルに対するノイズ乗算器係数設定の模式図 従来の３ＤＮＲ回路の構成を示すブロック図

符号の説明

２１ ビデオメモリ
２２ リミッター回路
２３ 動き検出回路
２４ リミッターレベル設定部
２５ 乗算器係数設定部

Claims (1)

1. 入力される映像信号を所定フレーム分あるいは所定フィールド分記憶する記憶手段と、前記記憶手段から読み出した映像信号と入力映像信号とで減算処理する第１の減算手段と、前記第１の減算手段からの信号を振幅制限する振幅制限手段と、前記振幅制限手段から出力される信号のゲイン調整を行う乗算手段と、前記乗算手段からの信号と入力映像信号とで減算処理する第２の減算手段と、入力映像信号の時間軸方向の動きを検出し動きベクトル信号を出力する動き検出手段と、前記動き検出手段からの動きベクトル信号に基づき前記振幅制限手段のリミッターレベルを設定する第１の設定手段と、前記動き検出手段からの動きベクトル信号に基づき前記乗算手段における乗算係数を設定する第２の設定手段とを備え、
   前記動き検出手段で検出した画像の動きベクトルが大きい場合は、前記第１の設定手段で設定されるリミッターレベルを低く、前記第２の設定手段で設定される乗算係数を小さくし、
   前記動き検出手段で検出した画像の動きベクトルが小さい場合は、前記第１の設定手段で設定されるリミッターレベルを高く、前記第２の設定手段で設定される乗算係数を大きくすることを特徴とするノイズリダクション装置。

Images