JP2009027604A - ノイズ低減装置およびノイズ低減方法 - Google Patents

Abstract

【課題】動画像のノイズを低減する際の演算処理量を低減する。
【解決手段】各画素が一部の色成分のみを有する入力フレーム画像Ｆ１を含む動画像のノイズ低減装置４００ａは、動画像中で動きのある動領域と、動領域以外の静領域と、を検出する動き検出部４１２と、複数の入力フレーム画像に時間的平滑化処理を施して時間平滑フレーム画像Ｇ０を生成する時間平滑化処理部と、を備えている。時間平滑化処理部は、個々のフレーム画像を構成する画素毎に時間的平滑化処理の度合を設定可能であり、各画素が有する色成分を増加させないように画素毎に時間的平滑化処理を施す。静領域画素における時間的平滑化処理の度合は、動領域画素における時間的平滑化処理の度合よりも高くなるように設定される。
【選択図】図３

Description

この発明は、カラー動画像のノイズを低減する技術に関する。

動画像を構成する画像データに累積的な加算処理を施す巡回型フィルタを用いて、動画像のノイズを低減することが行われている。このような巡回型フィルタでは、バッファメモリに格納された前のフレームの旧画像データと、入力された新画像データと、の加重平均を行い、加重平均結果をバッファメモリに格納する処理が行われる。このとき、このとき、加重平均の重み付けによっては、動画像のノイズが十分低減できなかったり、ノイズ低減後の動画像に残像が発生する。そこで、新画像データと旧画像データとの差分に基づいて処理後のデータを生成することで、残像の抑制を行うことが提案されている（例えば、特許文献１参照）。

特開平６−１６９９２０号公報 特開平９−３２２０２０号公報

しかしながら、このような巡回型フィルタにおいてカラー動画像のノイズを低減する場合、画像データの情報量の増加に伴って、画像データを格納するバッファメモリの容量が増大するとともに、ノイズ低減処理に要する演算処理量が増大する。この問題は、巡回型フィルタを用いたノイズ低減処理のみならず、非巡回型フィルタを用いたノイズ低減処理などの、時間的な平滑化処理を行うノイズ低減処理に共通する。

本発明は、上述した従来の課題を解決するためになされたものであり、カラー動画像のノイズを低減する際の演算処理量を低減する技術を提供することを目的とする。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。

［適用例１］
各画素が複数の色成分のうちの一部の色成分のみを有する複数の入力フレーム画像を含む動画像のノイズを低減するノイズ低減装置であって、前記動画像中で動きのある動領域と、前記動領域以外の静領域と、を検出する動き検出部と、前記複数の入力フレーム画像に時間的平滑化処理を施して時間平滑フレーム画像を生成する時間平滑化処理部と、を備え、前記時間平滑化処理部は、前記複数の入力フレーム画像の個々のフレーム画像を構成する画素毎に前記時間的平滑化処理の度合を設定可能に構成されており、前記静領域に属する静領域画素における前記時間的平滑化処理の度合は、前記動領域に属する動領域画素における前記時間的平滑化処理の度合よりも高くなるように設定され、前記時間平滑化処理部は、前記時間的平滑化処理において各画素が有する色成分を増加させないように、前記画素毎に前記時間的平滑化処理を施す、ノイズ低減装置。

この適用例によれば、画素毎に時間的平滑化処理を行うことにより、入力フレーム画像の各画素が有する色成分を増加させることなく動画像のノイズ低減が行われる。そのため、一部の色成分のみについて演算処理を行うことで時間的平滑化処理が行なうことが可能となるので、ノイズ低減処理における演算処理量を低減することができる。

［適用例２］
適用例１記載のノイズ低減装置であって、さらに、前記複数の入力フレーム画像のそれぞれに対して空間的平滑化処理を施して空間平滑フレーム画像を生成する空間平滑化フィルタと、前記時間平滑フレーム画像と前記空間平滑フレーム画像とを混合する平滑画像混合部と、を備え、前記平滑画像混合部は、画素毎に前記時間平滑フレーム画像と前記空間平滑フレーム画像との混合比率を設定可能に構成されており、前記静領域画素における前記時間平滑フレーム画像の混合比率は、前記動領域画素における前記時間平滑フレーム画像の混合比率よりも高くなるように設定されている、ノイズ低減装置。

この適用例によれば、時間的な平滑化処理を施した時間平滑フレーム画像と、入力フレーム画像に空間的な平滑化処理を施した空間平滑フレーム画像と、が混合される。そして、時間的平滑化処理の度合が低い動領域の画素については、空間平滑フレーム画像の混合比率が高められ、時間的平滑化処理の度合いが高い静領域の画素については、空間平滑フレーム画像の混合比率が低くされる。そのため、動領域での残像の発生を抑制するとともに、動画像全体のノイズを良好に低減することができる。

［適用例３］
適用例１または２記載のノイズ低減装置であって、前記時間平滑化処理部は、前記時間平滑フレーム画像を格納するフレーム格納部と、前記フレーム格納部に格納され、前記時間平滑化処理部に入力される現フレームの現フレーム画像と、現フレームの直前のフレームにおいて生成された前フレーム時間平滑画像と、を混合することにより現フレームの時間平滑画像を生成する重畳処理部と、を備え、前記時間的平滑化処理の度合は、前記重畳処理部における、前記現フレーム画像と前記前フレーム時間平滑画像との混合比率を指定することにより設定される、ノイズ低減装置。

この適用例によれば、時間的平滑化処理は、現フレーム画像と、現フレームの直前のフレームにおいて生成され、フレーム格納部に格納された前フレーム時間平滑画像と、を混合することにより行なうことができる。そのため、フレーム格納部は、１フレーム分の前フレーム時間平滑画像を格納できればよく、時間的平滑化処理のに要するフレーム格納部のメモリ容量をより低減することができる。

［適用例４］
複数の入力フレーム画像を含む動画像のノイズを低減するノイズ低減装置であって、前記動画像中で動きのある動領域と、前記動領域以外の静領域と、を検出する動き検出部と、前記複数の入力フレーム画像に時間的平滑化処理を施して時間平滑フレーム画像を生成する時間平滑化処理部と、前記複数の入力フレーム画像のそれぞれに対して空間的平滑化処理を施して空間平滑フレーム画像を生成する空間平滑化フィルタと、前記時間平滑フレーム画像と前記空間平滑フレーム画像とを混合する平滑画像混合部と、を備え、前記時間平滑化処理部は、前記複数の入力フレーム画像の個々のフレーム画像を構成する画素毎に前記時間的平滑化処理の度合を設定可能に構成されており、前記静領域に属する静領域画素における前記時間的平滑化処理の度合は、前記動領域に属する動領域画素における前記時間的平滑化処理の度合よりも高くなるように設定され、前記平滑画像混合部は、画素毎に前記時間平滑フレーム画像と前記空間平滑フレーム画像との混合比率を設定可能に構成されており、前記静領域画素における前記時間平滑フレーム画像の混合比率は、前記動領域画素における前記時間平滑フレーム画像の混合比率よりも高くなるように設定されている、ノイズ低減装置。

この適用例によれば、時間的な平滑化処理を施した時間平滑フレーム画像と、入力フレーム画像に空間的な平滑化処理を施した空間平滑フレーム画像と、が混合される。そして、時間的平滑化処理の度合が低い動領域の画素については、空間平滑フレーム画像の混合比率が高められ、時間的平滑化処理の度合いが高い静領域の画素については、空間平滑フレーム画像の混合比率が低くされる。そのため、動領域での残像の発生を抑制するとともに、動画像全体のノイズを良好に低減することができる。

なお、本発明は、種々の態様で実現することが可能である。例えば、ノイズ低減装置およびノイズ低減方法、そのノイズ低減装置および方法を適用したビデオカメラ、ビデオカメラの制御装置および制御方法、それらのノイズ低減装置および方法、ビデオカメラ、ビデオカメラ制御装置および制御方法、を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の態様で実現することができる。

次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ｂ．第２実施例：
Ｃ．第３実施例：
Ｄ．変形例：

Ａ．第１実施例：
図１は、本発明の一実施例としてのビデオカメラ１０の概略構成を示す概略構成図である。ビデオカメラ１０は、撮像レンズ１００と、イメージセンサ２００と、前処理部３００と、ノイズ低減部４００と、後処理部５００と、ビデオ信号生成部６００と、を備えている。

撮像レンズ１００は、被写体からの光をイメージセンサ２００の撮像面２０２に集光することにより、撮像面２０２に被写体の像を形成する。なお、撮像レンズ１００は、通常、複数の単レンズや絞り機構を備えているが、図１では、１枚の単レンズとして描いている。

イメージセンサ２００は、カラーフィルタ２１０と、撮像面２０２側に複数のセンサ素子が設けられた撮像素子２２０とを備えている。カラーフィルタ２１０には、撮像素子２２０に設けられた複数のセンサ素子に対応して、ＲＧＢの原色フィルタが複数形成されている。カラーフィルタ２１０が有するＲＧＢ各色の原色フィルタは、市松模様状（「Ｂａｙｅｒ配列」と呼ばれる）に配置されている。撮像面２０２上に形成された被写体の像は、原色フィルタによりＲＧＢの３色の色光に分解される。そして、分解された色光が、撮像素子２２０に設けられたセンサ素子に入射する。

撮像素子２２０の各センサ素子は、そのセンサ素子に入射した光量に応じて、電荷を生成し蓄積する。各センサ素子に蓄積された電荷量を表す電気信号（画像信号）は、図示しない増幅器により増幅される。増幅された画像信号は、Ａ−Ｄ変換器（図示しない）によりデジタルデータに変換され、画像データＢＤ１が生成される。ビデオカメラ１０においては、１画面（フレーム）分の画像データＢＤ１が周期的に生成される。

上述のように、各センサ素子へは、Ｂａｙｅｒ配列のカラーフィルタ２１０により分解された色光が入射する。そのため、撮像素子２２０により生成される画像データＢＤ１は、個々のセンサ素子に対応する画素が、ＲＧＢのいずれか１色のみの色成分値を有するデータ（Ｂａｙｅｒデータ）となっている。なお、撮像素子２２０としては、例えば、増幅器とＡ−Ｄ変換器が組み込まれたＣＭＯＳイメージセンサや、増幅器とＡ−Ｄ変換器（併せて、「アナログフロントエンド」と呼ばれる）が取り付けられたＣＣＤイメージセンサを使用することができる。

撮像素子２２０により生成された画像データＢＤ１は、前処理部３００に供給される。前処理部３００は、撮像素子２２０から供給された画像データＢＤ１にクランプ処理やホワイトバランス調整処理等の処理を施すことにより、画像データＢＤ２を生成する。前処理部３００における処理においては、ＲＧＢのそれぞれの色成分値に対して別個に処理が施される。そのため、前処理部３００において生成される画像データＢＤ２も、Ｂａｙｅｒデータとなっている。

前処理部３００により生成された画像データＢＤ２は、ノイズ低減部４００に供給される。ノイズ低減部４００は、前処理部３００から供給される画像データＢＤ２にノイズ低減処理を施すことにより、画像データＢＤ３を生成する。ノイズ低減部４００においても、ＲＧＢのそれぞれの色成分値に対して別個にノイズ低減処理が施される。そのため、ノイズ低減部４００により生成される画像データＢＤ３も、Ｂａｙｅｒデータとなっている。なお、ノイズ低減部４００の具体的な構成および機能については、後述する。

ノイズ低減部４００により生成された画像データＢＤ３は、後処理部５００に供給される。後処理部５００は、補間処理を行うための補間処理部５１０を備えている。補間処理部５１０は、画像データＢＤ３の各画素に欠落している色成分値を生成する。具体的には、画像データＢＤ３の各画素毎に、その画素に欠落している色成分値を周囲の画素の色成分値から補間・生成する。これにより、補間処理が施された画像データは、各画素がＲＧＢの３色の色成分値を有する画像データとなる。後処理部５００は、補間処理が施された画像データに対して、色調整処理（コントラスト調整処理、色補正処理）等の処理を施して画像データＩＭＧを生成する。なお、色調整処理の内容は、本発明に影響しないので、ここではその説明を省略する。

後処理部５００により生成された画像データＩＭＧは、ビデオ信号生成部６００に供給される。ビデオ信号生成部６００は、後処理部５００から供給される画像データＩＭＧから、モニタ装置が受け取り可能な所定の形式のビデオ信号ＶＳＧを生成する。生成されたビデオ信号ＶＳＧがビデオカメラ１０に接続されたモニタ装置に供給されることにより、モニタ装置には被写体の画像が表示される。

図２は、第１実施例におけるノイズ低減部４００の機能的な構成を示すブロック図である。ノイズ低減部４００は、フレーム蓄積部４１０と、画像混合部４２０と、空間平滑化フィルタ４３０と、を備えている。

フレーム蓄積部４１０は、動き検出部４１２と、フレームメモリ４１４とを有している。フレームメモリ４１４は、画像データＢＤ２の１フレーム分の画像（フレーム画像）をそれぞれ格納する２つの格納エリアを有している。ノイズ低減部４００に入力されるフレーム画像Ｆ１は、フレーム毎に、フレームメモリ４１４の２つの格納エリアに交互に書き込まれる。そして、フレームメモリ４１４に格納された直前のフレーム画像Ｆ０は、２つの格納エリアのうちフレーム画像Ｆ１が書き込みが行われていない格納エリアから読み出される。

なお、フレームメモリ４１４にフレーム画像を格納する２つの格納エリアを設け、読み出しと書き込みとを互いに異なるエリアに対して交互に行うことにより、ノイズ低減部４００が生成する画像データＢＤ３の１秒あたりのフレーム数（フレームレート）を、ノイズ低減部４００に供給される画像データＢＤ２のフレームレートと異なるものとすることができる。フレームレートを変換する必要がない場合は、フレームメモリ４１４は、１つのフレーム画像を格納できればよい。

動き検出部４１２は、画像データＢＤ２の各画素について、被写体中で動きがある部分に相当する画像領域（動領域）の画素であるか、被写体中で動きがない部分に相当する画像領域（静領域）の画素であるかを判断する。そして、各画素が、動領域に属する画素（動領域画素）と、静領域に属する画素（静領域画素）とのいずれであるかの判断結果を表す動き検出結果ＭＤを画像混合部４２０に供給する。

具体的には、動き検出部４１２は、判定対象となる画素（対象画素）について、フレームメモリ４１４に書き込まれるフレーム画像Ｆ１での色成分値（以下、「画素値」とも呼ぶ）と、フレームメモリ４１４から読み出されるフレーム画像Ｆ０での色成分値の差分Δを算出する。差分Δは、例えば、２つのフレーム画像Ｆ１，Ｆ０のそれぞれの対象画素の画素値ｐ１，ｐ０を用いて、以下の式（１）で算出することができる。

Δ＝｜ｐ１−ｐ０｜ …（１）

ここで、式（１）の右辺は、フレーム画像Ｆ１の画素値ｐ１から、フレーム画像Ｆ０の画素値ｐ０を引いた差の絶対値を表している。

動領域画素の画素値は、通常、被写体中での動きに伴って時間とともに変動するので、２つのフレーム画像Ｆ１，Ｆ０間の画素値の差分Δは大きくなる。これに対し、静領域画素の画素値は、通常、時間的変動が小さいため、２つのフレーム画像Ｆ１，Ｆ０間の画素値の差分Δは小さくなる。そこで、動き検出部４１２は、上記の式（１）で算出した差分Δと予め設定された閾値Δｃと比較し、差分Δが閾値Δｃよりも大きい（Δ＞Δｃ）場合、対象画素が動領域画素であると判断する。一方、差分Δが閾値Δｃ以下である（Δ≦Δｃ）場合、対象画素が静領域画素であると判断する。なお、閾値Δｃは、動領域画素の画素値の変動幅と、静領域画素の画素値の変動幅と、を実験的に求め、得られた変動幅に基づいて決定することができる。例えば、画素値が８ビットの数値（０〜２５５）で表される場合には、閾値Δｃは１５０に設定される。

フレームメモリ４１４から読み出されたフレーム画像Ｆ０は、直接、あるいは、空間平滑化フィルタ４３０を介して、画像混合部４２０に供給される。空間平滑化フィルタ４３０は、フレーム画像Ｆ０に空間平滑化処理を施して、フレーム画像Ｆ０’を生成する。フレーム画像Ｆ０の平滑化は、例えば、フレーム画像Ｆ０にガウシアンフィルタやメディアンフィルタ等の空間平滑化フィルタをかけることにより行うことができる。平滑化を施すことにより、空間周波数におけるフレーム画像Ｆ０の高周波成分が低減され、平滑化されたフレーム画像Ｆ０’の空間周波数成分は低周波成分が相対的に高くなる。そのため、空間平滑化フィルタ４３０は、「空間ローパスフィルタ（空間ＬＰＦ）」とも呼ばれる。

画像混合部４２０は、混合比率決定部４２２と、混合処理部４２４と、を備えている。混合比率決定部４２２は、動き検出部４１２から供給される動き検出結果ＭＤに基づいて、混合処理部４２４において混合される２つの画像の混合比率Ａ（０≦Ａ≦１）を決定する。なお、動き検出結果ＭＤに基づく混合比率Ａの決定方法については、後述する。

混合処理部４２４は、フレームメモリ４１４から直接供給されるフレーム画像Ｆ０と、空間平滑化フィルタ４３０により平滑化されたフレーム画像Ｆ０’と、を混合比率決定部４２２で決定された混合比率Ａに基づいて画素毎に混合する。具体的には、２つのフレーム画像Ｆ０，Ｆ０’の画素値ｐ，ｐ’から、出力する画像データＢＤ３の画素値ｑを次の式（２）に基づいて算出する。

ｑ＝Ａ×ｐ＋（１−Ａ）×ｐ’ …（２）

上記の式（２）から明らかなように、混合比率Ａが０に近づくに従って、画像データＢＤ３の画素値ｑのうち、平滑化されたフレーム画像Ｆ０’の画素値ｐ’が占める割合が大きくなる。一方、混合比率Ａが１に近づくに従って、画像データＢＤ３の画素値ｑのうち、平滑化されていないフレーム画像Ｆ０の画素値ｐが占める割合が大きくなる。このように、混合比率Ａを変化させることにより、出力される画像データＢＤ３における平滑化の度合を変化させることができる。

混合比率決定部４２２は、動き検出部４１２から供給される動き検出結果ＭＤに基づいて、動領域画素については平滑化の度合いを下げ、静領域画素については平滑化の度合を高めるように、混合比率Ａを決定する。混合比率決定部４２２は、例えば、以下のように混合比率Ａを決定する。
（ａ）動領域画素については、混合比率Ａ＝２７／３２（約０．８４）
（ｂ）静領域画素については、混合比率Ａ＝１６／３２（０．５）

このように、混合比率決定部４２２は、動領域画素に対しては、混合比率Ａを大きな値に設定する。一方、静領域画素に対しては、混合比率Ａを小さい値に設定する。そのため、ノイズ低減部４００が出力する画像データＢＤ３のうち、動領域では空間平滑化の度合いが低くなり、静領域では空間平滑化の度合が高くなる。以上の説明から明らかなように、空間平滑化フィルタ４３０と画像混合部４２０とにより構成される空間平滑化処理部は、画素毎に空間平滑化の度合を設定することができる。

一般に、空間平滑化を行うことにより、被写体の画像にはぼけが生じる。そのため、画質に対するノイズの影響が少ない場合には、空間平滑化の度合を少なくすることが好ましい。通常、被写体中で動きがある部分の画像は、ノイズが目立ちにくい。そのため、動領域に対して空間平滑化の度合を低くすることにより、ぼけによる動領域の画質が低下することを抑制することができる。これに対し、被写体中で動きのない部分の画像は、ノイズが目立ちやすい。そのため、静領域に対して空間平滑化の度合いを高くすることにより、ノイズによる静領域の画質の低下を抑制することができる。

このように、第１実施例によれば、ノイズが目立ちにくい動領域に対しては空間平滑化の度合を低くして、動領域の画像のぼけが抑制される。一方、ノイズが目立ちやすい静領域に対しては空間平滑化の度合いを高くすることにより、静領域のノイズをより低減する。これにより、画像全体に対するノイズの影響を低減するとともに、動きがある部分のぼけによる画質の低下を抑制することができる。

なお、第１実施例では、画素毎に空間平滑化の度合を設定するため、画素毎に２つのフレーム画像Ｆ０，Ｆ０’の混合比率Ａを決定しているが、空間平滑化の度合の設定は他の方法により行うこともできる。例えば、動き検出部４１２からの動き検出結果ＭＤに基づいて、空間平滑化フィルタ４３０における平滑化パラメータを画素毎に設定することも可能である。この場合、画像混合部４２０を省略することもできる。但し、空間平滑化フィルタ４３０の構成がより簡単になる点で、第１実施例のように、空間平滑化が施されていない非平滑フレーム画像Ｆ０と、空間平滑化が施された平滑フレーム画像Ｆ０’と、の混合比率Ａを設定することにより空間平滑化の度合を設定するのが好ましい。

Ｂ．第２実施例：
図３は、第２実施例におけるノイズ低減部４００ａの機能的な構成を示すブロック図である。第２実施例は、ノイズ低減部４００ａの構成が第１実施例のノイズ低減部４００（図２）と異なっている点で、第１実施例と異なっている。他の点は、第１実施例と同じである。

第２実施例のノイズ低減部４００ａは、画像重畳部４４０と、フレーム蓄積部４１０ａと、を備えている。フレーム蓄積部４１０ａは、フレームメモリ４１４が重畳フレームメモリ４１６に置き換えられている点で、第１実施例のフレーム蓄積部４１０（図２）と異なっている。他の点は、第１実施例のフレーム蓄積部４１０と同じである。

重畳フレームメモリ４１６は、書き込まれるフレーム画像が画像重畳部４４０から供給されるフレーム画像Ｇ１に変更されている点と、書き込まれるフレーム画像の変更に伴って読み出される直前のフレーム画像Ｇ０に変更されている点とで、第１実施例のフレームメモリ４１４（図２）と異なっている。ただし、重畳フレームメモリ４１６の構成および動作は、第１実施例のフレームメモリ４１４と同じであるので、ここではその説明を省略する。

画像重畳部４４０は、重畳比率決定部４４２と重畳処理部４４４とを備えている。重畳比率決定部４４２は、動き検出部４１２から供給される動き検出結果ＭＤに基づいて、重畳処理部４４４における処理に使用される重畳比率Ｂ（０≦Ｂ≦１）を決定する。なお、動き検出結果ＭＤに基づく重畳比率Ｂの決定方法については、後述する。

重畳処理部４４４は、ノイズ低減部４００ａに供給されたフレーム画像Ｆ１と、重畳フレームメモリ４１６から読み出されたフレーム画像Ｇ０と、を重畳比率決定部４４２により決定された重畳比率Ｂに基づいて画素毎に混合して、フレーム画像Ｇ１を生成する。具体的には、２つのフレーム画像Ｆ１，Ｇ０の画素値ｐ，ｒから、フレーム画像Ｇ１の画素値ｓを次の式（３）に基づいて算出する。

ｓ＝（１−Ｂ）×ｐ＋Ｂ×ｒ …（３）

生成されたフレーム画像Ｇ１は、重畳フレームメモリ４１６に供給され、重畳フレームメモリ４１６に書き込まれる。そして、重畳フレームメモリ４１６に格納された直前のフレーム画像Ｇ０が読み出され、画像重畳部４４０においてフレーム画像Ｆ１と混合される。

図４（ａ）および図４（ｂ）は、重畳フレームメモリ４１６に格納されるフレーム画像Ｇ０の画素値に対して、ノイズ低減部４００ａに順次入力されるフレーム画像Ｆ１の画素値が反映される割合（フレーム比率）の時間的変化を示す説明図である。図４（ａ）は、重畳比率Ｂが１６／３２（＝０．５）の場合におけるフレーム比率の時間変化を示しており、図４（ｂ）は、重畳比率Ｂが５／３２（≒０．１６）の場合におけるフレーム比率の時間変化を示している。

ビデオカメラ１０の起動直後（第１フレーム）では、ノイズ低減部４００ａに入力されたフレーム画像（＃１）がそのまま重畳フレームメモリ４１６に格納される。そして、次の第２フレームにおいて、第１フレームで入力されたフレーム画像（＃１）と第２フレームで入力されたフレーム画像（＃２）とが、重畳比率Ｂに従って混合され、混合された画像が重畳フレームメモリ４１６に格納される。そのため、図４（ａ）の例では、２つのフレーム画像（＃１，＃２）のフレーム比率はいずれも５０％となる。一方、図４（ｂ）の例では、第２フレームで入力されたフレーム画像（＃２）のフレーム比率が約８４％、第１フレームで入力されたフレーム画像のフレーム比率が約１６％となり、フレーム画像（＃１）の影響が図４（ａ）の場合と比べて低くなる。

同様に、次の第３フレームにおいて、図４（ａ）の例では、２つのフレーム画像（＃１，＃２）のフレーム比率はいずれも２５％となり、第３フレームで入力されたフレーム画像（＃３）のフレーム比率が５０％となる。これに対して、図４（ｂ）の例では、第１フレームで入力されたフレーム画像（＃１）のフレーム比率は約２％にまで低下する。

このように、重畳比率Ｂがより高い図４（ａ）の例では、先のフレーム画像の画素値がより長い期間反映される。そのため、重畳フレームメモリ４１６（図３）に格納されたフレーム画像Ｇ０は、より長い時間にわたって平均化されるので、ノイズ低減部４００ａから出力されるフレーム画像Ｇ０のノイズの低減の度合いが高くなる。その一方、動領域画素においては、先のフレーム画像の画素値がより長い期間反映されるため、ノイズ低減部４００ａから出力されるフレーム画像Ｇ０の動領域には残像が発生する。これに対し、重畳比率Ｂがより低い図４（ｂ）の例では、先のフレーム画像の画素値が反映される期間が短くなることにより、フレーム画像Ｇ０のノイズの低減度合いが低くなる一方、フレーム画像Ｇ０に残像が発生することを抑制することができる。

図４（ａ）および図４（ｂ）から解るように、ノイズ低減部４００ａ（図３）に入力されたフレーム画像Ｆ１と、重畳フレームメモリ４１６に格納された前のフレーム画像Ｇ０と、を混合して重畳フレーム画像Ｇ１を生成し、生成されたフレーム画像Ｇ１を重畳フレームメモリ４１６に格納する処理によれば、画素値は時間的に平滑化される。このように、時間的平滑化を行うフィルタは、「巡回型フィルタ」あるいは「ＩＩＲフィルタ」とも呼ばれる。従って、重畳処理部４４４と重畳フレームメモリ４１６とは、併せて巡回型フィルタを構成しているといえる。また、重畳比率Ｂは、巡回型フィルタにおける時間的平滑化の度合を指定するパラメータともいうことができる。

重畳比率決定部４４２は、動き検出部４１２から供給される動き検出結果ＭＤに基づいて、動領域については残像の発生を抑制し、残像が発生しない静領域についてはノイズをより低減するように重畳比率Ｂを決定する。重畳比率決定部は、例えば、以下のように重畳比率Ｂを決定する。
（ａ）動領域画素については、Ｂ＝５／３２（約０．１６）
（ｂ）静領域画素については、Ｂ＝１６／３２（０．５）

このように、重畳比率決定部４４２は、動領域画素に対しては、重畳比率Ｂを小さな値に設定する。一方、静領域画素に対しては、重畳比率Ｂを大きい値に設定する。そのため、ノイズ低減部４００ａが出力する画像データＢＤ３のうち、動領域では残像の発生が抑制されるとともに、静領域ではノイズが良好に低減される。

なお、第２実施例は、フレーム画像の時間平滑化によりノイズを低減しているため、空間平滑化処理によるぼけの発生を抑制できる点で、第１実施例よりも好ましい。一方、第１実施例は、フレーム画像の時間平滑化による残像の発生を抑制できる点で第２実施例よりも好ましい。

Ｃ．第３実施例：
図５は、第３実施例におけるノイズ低減部４００ｂの機能的な構成を示すブロック図である。第３実施例は、ノイズ低減部４００ｂの構成が第２実施例のノイズ低減部４００ａ（図３）と異なっている点で、第２実施例と異なっている。他の点は、第２実施例と同じである。

第３実施例のノイズ低減部４００ｂは、タイミング調整部４５０と空間平滑化フィルタ４３０と画像混合部４２０ｂとが付加されている点と、フレーム蓄積部４１０ｂに非重畳フレームメモリ４１８が付加されている点とで、図３に示す第２実施例のノイズ低減部４００ａと異なっている。他の点は、第２実施例のノイズ低減部４００ａと同じである。

空間平滑化フィルタ４３０および画像混合部４２０ｂの混合処理部４２４は、それぞれ、第１実施例のノイズ低減部４００に設けられた、空間平滑化フィルタ４３０および混合処理部４２４と同じである。画像混合部４２０ｂの混合比率決定部４２２ｂは、混合比率Ａの決定方法（後述する）が異なっている点で、第１実施例の混合比率決定部４２２と異なっている。

第３実施例のノイズ低減部４００ｂでは、入力されるフレーム画像Ｆ１は、画像重畳部４４０とタイミング調整部４５０との双方に供給される。画像重畳部４４０に供給されたフレーム画像Ｆ１は、第２実施例と同様に時間平滑化が施されることによりノイズが低減される。そして、重畳フレームメモリ４１６から出力されるフレーム画像Ｇ０は、混合処理部４２４に直接供給される。

一方、タイミング調整部４５０は、フレーム画像Ｆ１に、重畳処理部４４４による２つのフレーム画像Ｆ１，Ｇ０の混合処理に要する処理時間分の遅延をかけ、遅延されたフレーム画像Ｆ１’を生成する。遅延フレーム画像Ｆ１’は、非重畳フレームメモリ４１８に格納される。非重畳フレームメモリ４１８に格納された前フレーム画像Ｆ０は、重畳フレームメモリ４１６がフレーム画像Ｇ０を出力するタイミングに同期して、空間平滑化フィルタ４３０に供給される。空間平滑化フィルタ４３０により空間的に平滑化されたフレーム画像Ｆ０’は、混合処理部４２４に供給される。

混合処理部４２４は、重畳フレームメモリ４１６から供給される時間的に平滑化されたフレーム画像Ｇ０と、空間平滑化フィルタにより空間的に平滑化されたフレーム画像Ｆ０’とを混合する。

混合比率決定部４２２ｂは、重畳比率Ｂが低い動領域画素については、空間的に平滑化されたフレーム画像Ｆ０’の画素値を、時間的に平滑化されたフレーム画像Ｇ０の画素値よりも高い割合で反映するように混合比率Ａを決定する。一方、重畳比率が低い静領域画素については、時間的に平滑化されたフレーム画像Ｇ０の画素値を、空間的に平滑化されたフレーム画像Ｆ０’の画素値よりも高い割合で反映するように混合比率Ａを決定する。混合比率決定部４２２ｂは、具体的には、以下のように混合比率Ａを決定する。
（ａ）動領域画素については、混合比率Ａ＝１６／３２（０．５）
（ｂ）静領域画素については、混合比率Ａ＝２７／３２（約０．８４）

このように、動領域画素に対して、重畳比率Ｂがより小さな値に設定されることにより、ノイズ低減部４００ｂが出力する画像データＢＤ３の動領域では残像の発生が抑制される。また、動領域画素に対して、混合比率Ａがより小さな値に設定されることにより、空間的に平滑化されたフレーム画像Ｆ０’の画素値がより強く反映されるので、動領域画素のノイズが空間平滑化により低減される。

一方、静領域画素に対しては、混合比率Ａがより大きな値に設定されることにより、ノイズ低減部４００ｂが出力する画像データＢＤ３の静領域では、時間的に平滑化されたフレーム画像Ｇ０の画素値がより強く反映される。そのため、静領域においては、空間平滑化の度合いが低減するので、静領域の画像のぼけが抑制される。そして、静領域画素に対して、重畳比率Ｂがより大きな値に設定されることにより、残像の問題が少ない静領域のノイズは時間的平滑化により良好に低減される。

このように、第３実施例によれば、動領域画素に対して混合比率Ａと重畳比率Ｂとをいずれもより小さな値に設定することにより、残像の発生を抑制するとともにノイズが良好に低減される。一方、静領域画素に対して、混合比率Ａと重畳比率Ｂとをいずれもより大きな値に設定する、空間平滑化に伴うぼけの発生を抑制することができる。そのため、第３実施例によれば、残像の発生を抑制するとともに、画像全体のノイズを低減することができる。

なお、第３実施例では、重畳比率決定部４４２が、動き検出部４１２から供給される動き検出結果ＭＤに基づいて重畳比率Ｂを決定しているが、重畳比率決定部４４２を省略することも可能である。このようにしても、混合処理部４２４における混合比率Ａをより小さい値に設定して、空間平滑化されたフレーム画像Ｆ０’の画素値をより強く反映させることにより、残像の発生を抑制することができる。但し、重畳比率Ｂを低減することによりより残像の発生をより良好に抑制することができる点で、重畳比率Ｂを動き検出結果ＭＤに基づいて決定するのがより好ましい。

第３実施例は、ノイズ低減部４００ｂにおいて、静領域と動領域とのいずれの領域におけるノイズも低減することで、画像全体のノイズが低減できるる点で、第１および第２実施例よりも好ましい。一方、第１および第２実施例は、ノイズ低減部４００（図２），４００ａ（図３）の構成がより簡単となる点で、第３実施例よりも好ましい。

Ｄ．変形例：
なお、この発明は上記実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｄ１．変形例１：
上記各実施例では、ノイズ低減部４００（図１）は、補間処理部５１０を有する後処理部５００の前に配置され、ノイズ低減処理は補間処理前のＢａｙｅｒデータに対して施されるが、ノイズ低減処理を補間処理後のデータに対して施すものとしてもよい。但し、ＲＧＢのいずれか１色の色成分値毎にノイズ低減処理を施すことによりノイズ低減処理に要する演算処理量を低減することができる点で、ノイズ低減処理をＢａｙｅｒデータに対して施すことがより好ましい。

Ｄ２．変形例２：
上記第２ないし第３実施例では、時間的な平滑化処理は巡回型フィルタによって行われているが、一般に、複数のフレーム画像を用いて時間的に平滑化されたフレーム画像が生成可能であれば、任意の時間的平滑化処理方法を用いることができる。時間的な平滑化処理は、例えば、非巡回型フィルタを用いて行うことも可能である。但し、フレーム画像を格納するフレームメモリの容量をより低減することができる点で、巡回型フィルタを用いて時間的平滑化処理を行うのが好ましい。

Ｄ３．変形例３：
上記各実施例では、動き検出部は、フレームメモリに格納されたフレーム画像の画素値と、フレームメモリに入力されるフレーム画像の画素値との差分に基づいて、各画素が動領域と静領域とのいずれに属するかを決定しているが、他の方法により各画素が動領域と静領域とのいずれに属するかを決定することも可能である。例えば、フレーム画像を複数のブロックに分割し、ブロック毎にその変化を検出することも可能である。また、複数のフレーム画像から移動体の位置と動きベクトルを検出し、移動体の位置と動きベクトルとに基づいて各画素が動領域と静領域とのいずれに属するかを決定することも可能である。

Ｄ４．変形例４：
上記各実施例では、本発明をビデオカメラに適用しているが、本発明は動画像の入出力を行う装置であれば任意の装置に適用することができる。本発明は、例えば、ビデオレコーダやビデオディスク等の動画記録装置および動画再生装置、テレビやプロジェクタ等の動画表示装置に適用することも可能である。

本発明の一実施例としてのビデオカメラ１０の概略構成を示す概略構成図。 第１実施例におけるノイズ低減部４００の機能的な構成を示すブロック図。 第２実施例におけるノイズ低減部４００ａの機能的な構成を示すブロック図。 フレーム比率の時間的変化を示す説明図。 第３実施例におけるノイズ低減部４００ｂの機能的な構成を示すブロック図。

符号の説明

１０…ビデオカメラ
１００…撮像レンズ
２００…イメージセンサ
２０２…撮像面
２１０…カラーフィルタ
２２０…撮像素子
３００…前処理部
４００，４００ａ，４００ｂ…ノイズ低減部
４１０，４１０ａ，４１０ｂ…フレーム蓄積部
４１２…動き検出部
４１４…フレームメモリ
４１６…重畳フレームメモリ
４１８…非重畳フレームメモリ
４２０，４２０ｂ…画像混合部
４２２，４２２ｂ…混合比率決定部
４２４…混合処理部
４３０…空間平滑化フィルタ
４４０…画像重畳部
４４２…重畳比率決定部
４４４…重畳処理部
４５０…タイミング調整部
５００…後処理部
５１０…補間処理部
６００…ビデオ信号生成部

Claims (5)

1. 各画素が複数の色成分のうちの一部の色成分のみを有する複数の入力フレーム画像を含む動画像のノイズを低減するノイズ低減装置であって、
   前記動画像中で動きのある動領域と、前記動領域以外の静領域と、を検出する動き検出部と、
   前記複数の入力フレーム画像に時間的平滑化処理を施して時間平滑フレーム画像を生成する時間平滑化処理部と、
   を備え、
   前記時間平滑化処理部は、前記複数の入力フレーム画像の個々のフレーム画像を構成する画素毎に前記時間的平滑化処理の度合を設定可能に構成されており、
   前記静領域に属する静領域画素における前記時間的平滑化処理の度合は、前記動領域に属する動領域画素における前記時間的平滑化処理の度合よりも高くなるように設定され、
   前記時間平滑化処理部は、前記時間的平滑化処理において各画素が有する色成分を増加させないように、前記画素毎に前記時間的平滑化処理を施す、
   ノイズ低減装置。
2. 請求項１記載のノイズ低減装置であって、さらに、
   前記複数の入力フレーム画像のそれぞれに対して空間的平滑化処理を施して空間平滑フレーム画像を生成する空間平滑化フィルタと、
   前記時間平滑フレーム画像と前記空間平滑フレーム画像とを混合する平滑画像混合部と、
   を備え、
   前記平滑画像混合部は、画素毎に前記時間平滑フレーム画像と前記空間平滑フレーム画像との混合比率を設定可能に構成されており、
   前記静領域画素における前記時間平滑フレーム画像の混合比率は、前記動領域画素における前記時間平滑フレーム画像の混合比率よりも高くなるように設定されている、
   ノイズ低減装置。
3. 請求項１または２記載のノイズ低減装置であって、
   前記時間平滑化処理部は、
   前記時間平滑フレーム画像を格納するフレーム格納部と、
   前記フレーム格納部に格納され、前記時間平滑化処理部に入力される現フレームの現フレーム画像と、現フレームの直前のフレームにおいて生成された前フレーム時間平滑画像と、を混合することにより現フレームの時間平滑画像を生成する重畳処理部と、
   を備え、
   前記時間的平滑化処理の度合は、前記重畳処理部における、前記現フレーム画像と前記前フレーム時間平滑画像との混合比率を指定することにより設定される、
   ノイズ低減装置。
4. 複数の入力フレーム画像を含む動画像のノイズを低減するノイズ低減装置であって、
   前記動画像中で動きのある動領域と、前記動領域以外の静領域と、を検出する動き検出部と、
   前記複数の入力フレーム画像に時間的平滑化処理を施して時間平滑フレーム画像を生成する時間平滑化処理部と、
   前記複数の入力フレーム画像のそれぞれに対して空間的平滑化処理を施して空間平滑フレーム画像を生成する空間平滑化フィルタと、
   前記時間平滑フレーム画像と前記空間平滑フレーム画像とを混合する平滑画像混合部と、
   を備え、
   前記時間平滑化処理部は、前記複数の入力フレーム画像の個々のフレーム画像を構成する画素毎に前記時間的平滑化処理の度合を設定可能に構成されており、
   前記静領域に属する静領域画素における前記時間的平滑化処理の度合は、前記動領域に属する動領域画素における前記時間的平滑化処理の度合よりも高くなるように設定され、
   前記平滑画像混合部は、画素毎に前記時間平滑フレーム画像と前記空間平滑フレーム画像との混合比率を設定可能に構成されており、
   前記静領域画素における前記時間平滑フレーム画像の混合比率は、前記動領域画素における前記時間平滑フレーム画像の混合比率よりも高くなるように設定されている、
   ノイズ低減装置。
5. 各画素が複数の色成分のうちの一部の色成分のみを有する複数の入力フレーム画像を含む動画像のノイズを低減するノイズ低減方法であって、
   （ａ）前記動画像中で動きのある動領域と、前記動画像中で動きのない静領域と、を検出する工程と、
   （ｂ）前記複数の入力フレーム画像に時間的平滑化処理を施して時間平滑フレーム画像を生成する工程と、
   前記工程（ａ）における、前記静領域に属する静領域画素に対する前記時間的平滑化処理の度合を、前記動領域に属する動領域画素に対する前記時間的平滑化処理の度合よりも高くなるように設定する工程と、
   を備え、
   前記工程（ａ）は、前記時間的平滑化処理において各画素が有する色成分を増加させないように、前記画素毎に前記時間的平滑化処理を施す、
   ノイズ低減方法。

Images