JP2009094784A - ノイズ低減処理装置、ノイズ低減処理方法、及び電子機器 - Google Patents

Abstract

【課題】本発明は、従来の３次元ノイズ低減処理に対して、より精度の高いノイズ低減処理を行うことができ、そのノイズが収束するまでに必要なフレーム数及び時間を短縮することができるノイズ低減処理装置およびノイズ低減処理方法を提供することを目的とする。
【解決手段】３次元ノイズ低減処理部３０において、ノイズ判定部３７で、複数フレームそれぞれの画像信号において、いずれの画像信号にノイズの影響が大きいか判定する。そして、帰還係数算出部３３より、ノイズ検出部３１で検出されたノイズ量に乗算する帰還係数が算出されると、帰還係数調整部３８において、このノイズ判定部３７の判定結果に従って、帰還係数が調整されて乗算部３４に出力される。
【選択図】図２

Description

本発明は、複数のフレームを用いて画像のノイズを低減するノイズ低減処理装置及びノイズ低減処理方法に関するもので、特に、時系列に連続した複数フレームによりノイズ検出する３次元ノイズ低減処理を行うノイズ低減処理装置及びノイズ低減処理方法に関する。又、本発明は、このノイズ低減処理装置を備えた電子機器に関する。

近年、各種デジタル技術の発展に伴い、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子によってデジタル画像を撮影するデジタルカメラやデジタルビデオなどといった撮像装置や、デジタル画像を表示する液晶ディスプレイやプラズマテレビなどといった表示装置が広く普及しつつある。そして、このような撮像装置や表示装置における、複数のフレームによって構成される動画像のノイズを低減するための、各種のノイズ低減技術が提案されている。

このノイズ低減技術の１つとして、１フレームの画像でノイズ低減を行う２次元ノイズ低減処理が挙げられる。この２次元ノイズ低減処理では、１フレームの画像に対して、空間的なローパスフィルタを作用させて、注目画素と周辺画素との画素値を平滑化することで、対象フレームにおけるノイズを低減する。この２次元ノイズ低減処理では、１フレーム内でのノイズ低減処理であるため、周辺画素の画素値による影響を受け、画像がぼけるという欠点がある。それに対して、時間的に連続する２つのフレームの信号を加算することによって時間的なローパスフィルタを作用させ、ノイズを低減しようとする３次元ノイズ低減処理が、別のノイズ低減技術として用いられている。

この３次元ノイズ低減処理を行う従来の３次元ノイズ低減処理装置について、その構成を図１４に示す。図１４に示すように、従来の３次元ノイズ低減処理装置は、固体撮像素子で取得された現フレームの画像信号と１フレーム前の画像信号とを比較することでノイズを検出するノイズ検出部３１と、現フレーム及び１フレーム前の２フレーム間の画像信号を比較することで動き量を検出する動き検出部３２と、動き検出部３２で検出された動き量に基づいて帰還係数を設定する帰還係数算出部３３と、帰還係数算出部３３からの帰還係数をノイズ検出部３１で得られたノイズに乗算する乗算部３４と、固体撮像素子で取得された現フレームの画像信号より乗算部３４で得られたノイズを減算する減算部３５と、減算部３５でノイズ除去された１フレーム分の画像信号を一時的に格納するフレームメモリ３６と、備える。

このように構成される従来の３次元ノイズ低減処理装置は、現フレームとなる画像信号が入力されると、ノイズ検出部３１において、フレームメモリ３６に格納された１フレーム前の画像信号との差分が求められ、この差分に基づいてノイズ量が検出される。又、動き量検出部３２において、現フレームと１フレーム前の画像信号間における被写体の動き量を検出する。そして、動き量が大きいときに帰還係数の値が小さくなるように、帰還係数算出部３３で帰還係数の値が算出され、乗算部３４に与えられる。

よって、乗算部３４では、ノイズ検出部３１で得られたノイズに、帰還係数算出部３３で算出された帰還係数を乗算することで、現フレームと１フレーム前の画像信号間で確認される真のノイズを算出して、減算部３５に与える。これにより、減算部３５では、現フレームの画像信号から、乗算部３４により求められたノイズを減算することで、ノイズ低減された現フレームの画像信号を出力する。このようにノイズ低減された現フレームの画像信号は、３次元ノイズ低減処理装置の後段に出力されるとともに、フレームメモリ３６に与えられて、次のフレームの画像信号のノイズ低減のために一時的に格納される。

又、複数のフィールドにより構成される時空間において、画素値が同一レベルとなる平面を推定することにより、注目画素と空間的及び時間的に近い位置の周辺画素を選択し、その周辺画素と共にフィルタ処理を施すことでノイズの低減を行う画像処理方法が提案されている（特許文献１参照）。この画像処理方法によると、複数のフィールドにおいて予め設定した画素位置の組み合わせによる画素値を、推定した平面の平面式に代入することにより、ノイズ低減を行うための画素位置に相当する定常方向を決定する。このとき、決定した定常方向に基づいて、フィルタのタップ位置と係数を決定して、複数のフィールドに対してフィルタ処理を施すことで、ノイズ低減を施す。
特開２０００−２０１２８３号公報

上述した図１４のような構成の３次元ノイズ低減処理装置では、ＩＩＲ（Infinite Impulse Response）フィルタを構成することによって、連続するフレームより成る時間方向の画像信号に対して、フレーム間の相関より効果的なノイズ低減を行うことで、エッジの急峻さを保存することができる。しかしながら、このＩＩＲフィルタの場合、空間方向にノイズ低減を行うＦＩＲ（Finite Impulse Response）フィルタと異なり、前フレームのノイズの影響を受けるため、ノイズ低減を収束するのに多くのフレームが必要となる。これにより、ノイズ低減が収束するまでの時間がかかり、被写体に動物体を有する場合、その動物体に追従してノイズが残り、再生画像に尾引きのように見える部分が発生する。

又、図１４の構成の３次元ノイズ低減処理装置による処理を行ったとき、連続する２フレーム間での平滑化がなされることでノイズ低減がなされることとなる。そのため、例えば、帰還係数算出部３３により算出された帰還係数が０．５となる場合、図１５（ａ）に示すように、現フレームの画像信号にノイズが重畳された場合であっても、又、図１５（ｂ）に示すように、１フレーム前の画像信号にノイズが重畳された場合であっても、図１５（ｃ）に示すように、ノイズ低減後のノイズ量が同等となる。

又、特許文献１に記載の画像処理方法においては、上述したように、時間的に隣接した複数フィールドより、時空間における平面を推定するとともに、推定した平面における平面式に画素値を代入することで、その定常方向を算出するものとしている。即ち、図１４のような構成の３次元ノイズ低減処理装置のように、２フレーム間の画像信号によるノイズ低減を行うのではなく、更に複数フレームの画像信号を必要とし、その演算も複雑なものとなる。

上記の問題を鑑みて、本発明は、従来の３次元ノイズ低減処理に対して、より精度の高いノイズ低減処理を行うことができ、そのノイズが収束するまでに必要なフレーム数及び時間を短縮することができるノイズ低減処理装置およびノイズ低減処理方法を提供することを目的とする。

上記目的を達成するために、本発明のノイズ低減処理装置は、取得時間の異なる複数フレームの画像信号を用いて現フレームのノイズ量を画素毎に検出するノイズ検出部と、前記複数フレームの画像信号より現フレームの動き量を画素毎に検出する動き量検出部と、前記ノイズ検出部で検出されたノイズ量と前記動き量検出部で検出された動き量とに基づいて前記複数フレームの画像信号を加重加算する演算部と、を備えるノイズ低減処理装置において、ノイズ低減を行う注目画素について、前記複数フレーム間でのノイズ量の大小を判定するノイズ判定部を備え、前記演算部が、前記ノイズ判定部で判定された前記複数フレーム間でのノイズ量の大小に基づいて係数を調整して、前記複数フレームの画像信号を加重加算することを特徴とする。

このようなノイズ低減処理装置において、前記演算部が、前記動き量検出部で検出された動き量に基づいて前記ノイズ検出部で検出されたノイズ量を乗算する帰還係数を画素毎に設定する帰還係数算出部と、前記ノイズ判定部で判定された前記複数フレーム間でのノイズ量の大小に基づいて、前記注目画素に対して前記帰還係数算出部で設定された前記帰還係数の値を調整する帰還係数調整部と、該帰還係数調整部で値が調整された前記帰還係数を前記ノイズ検出部で検出されたノイズ量に乗算する第１乗算部と、該第１乗算部で得られたノイズ量を現フレームの画像信号から減算する減算部と、を有する。

これらのノイズ低減処理装置の前記ノイズ判定部において、前記複数フレームそれぞれの画像信号において、前記注目画素の画素値と周辺画素の画素値とを比較し、前記注目画素のバラツキ量を算出した後、前記複数フレームそれぞれの画像信号に対して算出した前記注目画素のバラツキ量の比較結果をノイズ判定結果として出力するものとしても構わない。

前記注目画素のバラツキ量の算出方法として、前記注目画素及び当該注目画素の周辺画素の画素値の平均値ｘavと、前記注目画素の画素値ｘとの差分の絶対値｜ｘ−ｘav｜を算出するものとしても構わない。又、前記注目画素及び当該注目画素の周辺画素の画素値の平均偏差ｘmdevを算出するものとしても構わない。更に、前記注目画素及び当該注目画素の周辺画素の画素値の平均値ｘavと、前記注目画素の画素値ｘとの差分の絶対値｜ｘ−ｘav｜を算出するとともに、前記注目画素及び当該注目画素の周辺画素の画素値の平均偏差ｘmdevを算出した後、当該差分の絶対値｜ｘ−ｘav｜と平均偏差ｘmdevとの差分（｜ｘ−ｘav｜−ｘmdev）を算出するものとしても構わない。

又、前記ノイズ判定部において、前記複数フレームそれぞれの画像信号において、前記注目画素の画素値と周辺画素の画素値とを昇順又は降順に並び替えて、前記複数フレームそれぞれの前記注目画素の画素値の順位を確認し、並び替え後の複数フレームそれぞれの前記注目画素の画素値の順位の比較結果をノイズ判定結果として出力するものとしても構わない。

上述のノイズ低減処理装置において、前記帰還係数調整部が、前記ノイズ判定部からの判定結果によって、前記帰還係数を調整する帰還係数調整量を算出する帰還係数調整量算出部と、前記帰還係数調整量算出部で取得した前記帰還係数調整量を、前記帰還係数算出部で設定された前記帰還係数の値に乗算して、調整後の帰還係数として前記第１乗算部に出力する第２乗算部と、を備えるものとしても構わない。

そして、前記帰還係数調整量算出部において、前記ノイズ判定部で現フレームでのノイズ量が現フレーム以外のノイズ量よりも小さいことが判定されたとき、前記帰還係数調整量の値を１よりも小さい値とするとともに、前記ノイズ判定部で現フレームでのノイズ量が現フレーム以外のノイズ量よりも大きいことが判定されたとき、前記帰還係数調整量の値を１よりも大きい値とするものとしても構わない。更に、前記帰還係数が０以上１以下の値であるとともに、第２乗算部で調整された帰還係数を、０以上１以下でクリップするものとしても構わない。

本発明の電子機器は、外部入力又は撮像により複数フレームとなる画像による画像信号が与えられるとともに、該画像信号のノイズを低減するノイズ低減処理装置を備えた電子機器において、前記ノイズ低減処理装置として、上述のいずれかのノイズ低減処理装置を備え、現フレームを含む複数フレームの画像信号により現フレームの画像信号のノイズを低減することを特徴とする。

本発明のノイズ低減処理方法は、取得時間の異なる複数フレームの画像信号を用いて現フレームのノイズ量を画素毎に検出するノイズ検出ステップと、前記複数フレームの画像信号より現フレームの動き量を画素毎に検出する動き量検出ステップと、前記ノイズ検出ステップで検出されたノイズ量と前記動き量検出ステップで検出された動き量とに基づいて前記複数フレームの画像信号を加重加算する演算ステップと、を備えるノイズ低減処理方法において、ノイズ低減を行う注目画素について、前記複数フレーム間でのノイズ量の大小を判定するノイズ判定ステップを備え、前記演算ステップにおいて、前記ノイズ判定ステップで判定された前記複数フレーム間でのノイズ量の大小に基づいて係数を調整して、前記複数フレームの画像信号を加重加算することを特徴とする。

本発明によると、ノイズ判定部において、複数フレーム間でのノイズ量を判定し、その判定結果によって係数を調整して、複数フレームの画像信号を加重加算することで、精度の高いノイズの低減処理を行うことができる。これによって、各フレームのノイズ量に応じた加重加算が行うことができるため、ノイズの影響を抑制することができ、ノイズが収束するまでに必要なフレーム数及び時間を短縮することができる。

本発明の実施の形態について、図面を参照して説明する。尚、以下では、本発明における画像処理装置（以下では、「画像処理部」に含まれる）を備えたデジタルカメラやデジタルビデオなどの撮像装置を例に挙げて説明する。

（撮像装置の構成）
まず、撮像装置の内部構成について、図面を参照して説明する。図１は、撮像装置の内部構成を示すブロック図である。

図１の撮像装置は、アナログ信号である画像信号を出力する撮像部１と、撮像部１から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog FrontEnd）２と、外部から入力された音声を電気信号に変換するマイク３と、ＡＦＥ２からのデジタル信号となる画像信号に対してノイズ低減処理などを含む各種画像処理を施す画像処理部４と、マイク３からのアナログ信号である音声信号をデジタル信号に変換する音声処理部５と、画像処理部４からの画像信号と音声処理部５からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部６と、圧縮処理部６で圧縮符号化された圧縮符号化信号を外部メモリ２０に記録するドライバ部７と、ドライバ部７で外部メモリ２０から読み出した圧縮符号化信号を伸長して復号する伸長処理部８と、伸長処理部８で復号されて得られた画像信号による画像の表示を行うディスプレイ９と、伸長処理部８からの音声信号をアナログ信号に変換する音声出力回路部１０と、音声出力回路部１０からの音声信号に基づいて音声を再生出力するスピーカ１１と、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するＴＧ（Timing Generator）１２と、撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１３と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１４と、ユーザからの指示が入力される操作部１５と、メモリ１４と各ブロックとの間でデータのやりとりを行うためのバス回線１６と、ＣＰＵ１３と各ブロックとの間でデータのやりとりを行うためのバス回線１７と、を備える。

このように構成される撮像装置では、撮像部１において、ＣＣＤ又はＣＭＯＳセンサなどの固体撮像素子に、レンズにより構成される光学系を介して、被写体からの光が入射される。そして、撮像動作を行うことが操作部１５によって指示されると、撮像部１の固体撮像素子の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ２に出力される。このとき、撮像部１では、ＴＧ１２からのタイミング制御信号が与えられることによって、固体撮像素子の水平走査及び垂直走査が行われて、画素毎のデータとなる画像信号が出力される。そして、ＡＦＥ２において、アナログ信号である画像信号がデジタル信号に変換されて、画像処理部４に入力されると、ノイズ低減処理などを含む各種画像処理が施される。

画像処理部４で画像処理が施された画像信号が圧縮処理部６に与えられる。このとき、マイク３に音声入力されることで得られたアナログ信号である音声信号が、音声処理部５でデジタル信号に変換されて、圧縮処理部６に与えられる。これにより、圧縮処理部６では、デジタル信号である画像信号及び音声信号に対して、ＭＰＥＧ圧縮符号方式に基づいて、圧縮符号化してドライバ部７に与えて、外部メモリ２０に記録させる。又、このとき、外部メモリ２０に記録された圧縮信号がドライバ部７によって読み出されて伸長処理部８に与えられて、伸長処理が施されて画像信号が得られる。この画像信号がディスプレイ９に与えられて、現在、撮像部１を通じて撮影されている被写体画像が表示される。

尚、上述では、動画撮影時の動作について説明したが、静止画像撮影が指示された場合においても、マイク３による音声信号の取得がなく、画像信号のみの圧縮信号が外部メモリ２０に記録されるだけとなるが、その基本動作については動画撮影時の動作と同様である。又、この静止画像撮影の場合、操作部１５によって撮影された静止画像に対する圧縮信号が外部メモリ２０に記録されるだけでなく、撮像部１によって撮影されている現時点の画像に対する圧縮信号が外部メモリ２０に一時的に記録される。これにより、現在撮影されている画像に対する圧縮信号が伸長処理部８で伸長されることで、撮像部１によって撮影されている現時点の画像がディスプレイ９に表示され、ユーザが確認することができる。

このように撮像動作を行うとき、ＴＧ１２によって、ＡＦＥ２、画像処理部４、音声処理部５、圧縮処理部６、及び伸長処理部８に対してタイミング制御信号が与えられ、撮像部１による１フレームごとの撮像動作に同期した動作が行われる。又、静止画像撮影のときは、操作部１５によるシャッタ動作に基づいて、ＴＧ１２より、撮像部１、ＡＦＥ２、画像処理部４、及び、圧縮処理部６それぞれに対してタイミング制御信号が与えられ、各部の動作タイミングを同期させる。

又、外部メモリ２０に記録された動画または画像を再生することが、操作部１５を通じて指示されると、外部メモリ２０に記録された圧縮信号は、ドライバ部７によって読み出されて伸長処理部８に与えられる。そして、伸長処理部８において、ＭＰＥＧ圧縮符号方式に基づいて、伸長復号されて、画像信号及び音声信号が取得される。そして、画像信号がディスプレイ９に与えられて画像が再生されるとともに、音声信号が音声出力回路部１０を介してスピーカ１１に与えられて音声が再生される。これにより、外部メモリ２０に記録された圧縮信号に基づく動画が音声とともに再生される。又、圧縮信号が画像信号のみより成るときは、ディスプレイ９に画像のみが再生されることとなる。

（３次元ノイズ低減処理）
このような撮像装置において、画像処理部４内には、ＡＦＥ２においてデジタル信号に変換された画像信号に対してノイズ低減処理を施す３次元ノイズ低減処理部３０（図２参照）が設けられている。尚、３次元ノイズ低減処理部３０は、［特許請求の範囲］におけるノイズ低減処理装置に相当する。そして、図２に示す３次元ノイズ低減処理部３０は、図１４に示す３次元ノイズ低減処理装置の構成に更に、現フレーム及び１フレーム前の画像信号のいずれがノイズの影響が大きいか判定するノイズ判定部３７と、ノイズ判定部３７の判定結果に基づいて帰還係数算出部３３で求められた帰還係数の値を調整する帰還係数調整部３８と、を追加した構成となる。

このように構成される３次元ノイズ低減処理部３０では、画像処理部４内における３次元ノイズ低減処理部３０よりも前段の回路又はＡＦＥ２より与えられる現フレームの画像信号と、フレームメモリ３６に一時的に格納されている１フレーム前の画像信号とが入力される。そして、この現フレーム及び１フレーム前それぞれの画像信号は、図１４の構成の３次元ノイズ低減処理装置と同様、ノイズ検出部３１及び動き量検出部３２に入力されるとともに、新たに追加された構成となるノイズ判定部３７にも入力される。尚、以下の説明において、画像処理部４内における３次元ノイズ低減処理部３０よりも前段の回路又はＡＦＥ２からの画像信号について、単に、「外部からの画像信号」と呼ぶものとする。

１．ノイズ検出
まず、ノイズ検出部３１におけるノイズの検出動作について説明する。ノイズ検出部３１では、まず、外部より入力された現フレームの画像信号から、フレームメモリ３６より読み出された１フレーム前の画像信号を減算することによって、各画素の差分信号値ｘを求める。そして、算出した各画素の差分信号値ｘに基づいて、ノイズ検出値Ｎ＝ｆ（ｘ）を算出し、このノイズ検出値Ｎを乗算部３４に出力する。ここで、関数ｆ（ｘ）としては、例えば、図３のような関係となる以下の（１）式に示されるような関数が用いられる。

上記（１）式に示される関数ｆ（ｘ）（図３参照）は、各画素の差分信号値ｘの絶対値が閾値ｔｈ（ｔｈ＞０）を超える場合にはノイズ検出値Ｎ（＝ｆ（ｘ））を抑えるものであり、これによって動き部分を誤ってノイズと検出してしまう誤動作を防止できる。又、差分信号値ｘ及びノイズ検出値Ｎについては、注目画素毎に、現フレーム及び１フレーム前の画像信号が与えられて算出される。

２．動き量検出
次に、動き量検出部３２の構成と、この動き量検出部３２における被写体の動き量の検出動作について説明する。動き量検出部３２は、図４に示すように、現フレーム及び１フレーム前の画像信号が入力されて画素毎に減算を行う減算部３２１と、減算部３２１で得られた各画素の差分の絶対値を算出する絶対値化部３２２と、絶対値化部３２２で得られた各画素の差分の絶対値に対してフィルタ処理を行うフィルタ部３２３と、を備える。

図４に示す構成の動き量検出部３２による動き量の検出動作について、その概略的な動作ブロックを図５に示す。図５に示すように、外部からの現フレームの画像信号Ｆ１と、フレームメモリからの１フレーム前の画像信号Ｆ２とが、減算部３２１に入力される。そして、減算部３２１において、現フレーム及び１フレーム前の画像信号Ｆ１，Ｆ２について、その差分を画素毎に算出する。即ち、減算部３２１において、現フレーム及び１フレーム前の画像信号Ｆ１，Ｆ２において同一となる画素位置毎に、その画素値の差分が算出され、２フレーム間の差分信号として絶対値化部３２２に出力される。

そして、絶対値化部３２２では、各画素位置の差分値を絶対値化することで、減算部３２１から入力された差分信号を絶対値化し、得られた絶対値化信号をフィルタ部３２３に出力する。このフィルタ部３２３は、例えば、注目画素を中心としたｍ画素×ｎ画素（図５の場合、３画素×５画素）の画素値を平均化するローパスフィルタによって、構成される。そして、ｍ画素×ｎ画素それぞれの画素位置に対するフィルタ係数を１としたローパスフィルタによって、絶対値化部３２２からの絶対値化信号に対する演算を行うことで、その注目画素の動き量を算出する。

このとき、１フレーム前及び現フレームの画像信号の間に動きが発生した場合は、動きが発生した領域全体において、２つの画像信号間における差分値の絶対値が、減算部３２１及び絶対値化部３２２によって、比較的大きな値として算出される。一方、１フレーム前及び現フレームの画像信号のいずれかにノイズが発生した場合は、一般的に、動きが発生した場合と比べて小さな領域において、２つの画像信号間における差分値の絶対値が、減算部３２１及び絶対値化部３２２によって、比較的大きな値として算出される。よって、フィルタ部３２３により、ｍ画素×ｎ画素（図５の場合、３画素×５画素）となる、注目画素を含むある程度大きな領域に対して、ローパスフィルタ処理を施すことによって、注目画素におけるノイズ信号と動き量を示す信号との分離精度が高めることができる。

即ち、注目画素を含むｍ画素×ｎ画素による領域についてローパスフィルタ処理が施されて、その領域内の各画素の差分値の絶対値が平均化される。そのため、１フレーム前及び現フレームの画像信号の間に動きが発生した場合は、注目画素だけでなく、ローパスフィルタ処理を施す領域内の各画素においても、その差分値の絶対値が大きくなるため、フィルタ部３２３によるローパスフィルタ処理後の値が大きくなる。一方、１フレーム前及び現フレームの画像信号のいずれかにノイズが発生した場合は、一般的に注目画素及び注目画素近傍の画素における差分値の絶対値が大きくなるため、動きが発生した場合に比べて、フィルタ部３２３によるローパスフィルタ処理後の値が小さくなる。

このように、動き量検出部３２の各ブロックでの演算動作が行われることで、フィルタ部３２３によるローパスフィルタ処理後の値を現フレームにおける各画素に対する動き量とし、得られた動き量は帰還係数検出部３３に出力される。そして、ローパスフィルタ処理後の値が動き量検出部３２から動き量として出力されるため、動き量検出部３２において、後述するように、動き量検出部３２から出力される動き量が所定値より大きくなると、動きが発生したことを検出して、その動き量により帰還係数を算出することができる。

３．帰還係数算出
上述のように動き量検出部３２で検出された各画素位置での動き量が、帰還係数算出部３３に与えられると、帰還係数算出部３３において、ノイズ検出部３１で検出されたノイズ量に乗算する帰還係数が、画素毎に求められる。即ち、帰還係数検出部３３は、動き量検出部３２より入力された各画素の動き量ｙに対して各画素の帰還係数ｋ１＝ｇ（ｙ）を算出し、この帰還係数ｋ１を帰還係数調整部３８に出力する。ここで、関数ｇ（ｙ）としては、例えば、図６のような関係となる以下の（２）式に示されるような関数が用いられる。

上記（２）式に示される関数ｇ（ｙ）（図６参照）は、各画素の動き量ｙに対して、その値の増加に伴って一次関数的に帰還係数ｋ１を１から減少させるとともに、動き量ｙが閾値ｔｈＡ以上となると、帰還係数ｋ１を０とする。これによって、動き量ｙの小さい画素に対するノイズ検出部３１によるノイズ低減効果、即ち、３次元ノイズ低減処理の効果を大きくするとともに、動き量ｙの大きい画素に対するノイズ検出部３１によるノイズ低減効果、即ち、３次元ノイズ低減処理の効果を小さくしている。尚、帰還係数ｋ１を０とする動き量ｙに対する閾値ｔｈＡは、入力される画像信号の信号レベル及びノイズレベルの関係（例えば、Ｓ／Ｎ比など）に応じて決定することが望ましい。

４．ノイズ判定
次に、ノイズ判定部３７における現フレーム及び１フレーム前それぞれの画像信号のノイズ量の判定動作について、以下に説明する。このノイズ判定部３７では、注目画素毎に、現フレームにおける周辺画素とのバラツキ量curdifと、１フレーム前における周辺画素とのバラツキ量predifとをそれぞれ算出した後、現フレーム及び１フレーム前それぞれのバラツキ量の差（curdif - predif）を、ノイズ判定量として帰還係数調整部３８に出力する。

このように動作するノイズ判定部３７において、現フレーム及び１フレーム前それぞれのバラツキ量curdif，predifを算出するために、例えば、図７に示すように、注目画素Ｘ５を中心とする３画素×３画素となる画素Ｘ１〜Ｘ９の画素値が用いられる。即ち、図７のように配列される画素Ｘ１〜Ｘ９において、注目画素Ｘ５以外の８画素Ｘ１〜Ｘ４，Ｘ６〜Ｘ９を周辺画素として、この周辺画素Ｘ１〜Ｘ４，Ｘ６〜Ｘ９に対する注目画素Ｘ５の画素値のバラツキ量が算出される。このバラツキ量の算出について、複数例を挙げて説明する。

４−１．バラツキ量算出の第１例
現フレーム及び１フレーム前それぞれのバラツキ量curdif，predifの算出方法の第１例について、以下に説明する。本例では、現フレーム及び１フレーム前のそれぞれの画像信号に対して、１画素毎に、注目画素とその周辺画素によるｍ画素×ｎ画素の画素値の平均値ｘavを求めるとともに、この平均値ｘavと注目画素の画素値ｘとの差分の絶対値｜ｘ−ｘav｜を求める。そして、現フレーム及び１フレーム前のそれぞれの画像信号に対して算出された平均値ｘavと注目画素の画素値ｘとの差分の絶対値｜ｘ−ｘav｜が、それぞれのフレームのバラツキ量とされる。

即ち、図７に示すように、注目画素Ｘ５を中心とする３画素×３画素となる画素Ｘ１〜Ｘ９の画素値が用いられる場合、周辺画素及び注目画素による画素Ｘ１〜Ｘ９の平均値ｘavが、以下の（３）式により算出される。そして、算出された画素Ｘ１〜Ｘ９の平均値ｘavと注目画素Ｘ５の画素値ｘ５との差分の絶対値｜ｘ５−ｘav｜が、バラツキ量として算出される。これにより、周辺画素との平均値との差分が大きい注目画素ほど、そのバラツキ量が大きいものと判定することができる。

よって、現フレームの画像信号において、１画素毎に、注目画素の周辺画素との平均値curavが求められた後、この平均値curavと注目画素の画素値curとの差分の絶対値｜cur−curav｜が、現フレームの画像信号におけるバラツキ量curdifとして算出される。又、１フレーム前の画像信号において、１画素毎に、注目画素の周辺画素との平均値preavが求められた後、この平均値preavと注目画素の画素値preとの差分の絶対値｜pre−preav｜が、１フレーム前の画像信号におけるバラツキ量predifとして算出される。

４−２．バラツキ量算出の第２例
現フレーム及び１フレーム前それぞれのバラツキ量curdif，predifの算出方法の第２例について、以下に説明する。本例では、現フレーム及び１フレーム前のそれぞれの画像信号に対して、１画素毎に、注目画素とその周辺画素によるｍ画素×ｎ画素の画素値の平均偏差ｘmdevを求めて、それぞれのフレームのバラツキ量とする。尚、第１例のようにして、注目画素とその周辺画素によるｍ画素×ｎ画素の画素値の平均値ｘavを算出した後、注目画素とその周辺画素によるｍ画素×ｎ画素の画素値と平均値ｘavとの差分の絶対値に対する平均値を算出することによって、平均偏差ｘmdevを求めることができる。

即ち、図７に示すように、注目画素Ｘ５を中心とする３画素×３画素となる画素Ｘ１〜Ｘ９の画素値が用いられる場合、周辺画素及び注目画素による画素Ｘ１〜Ｘ９の平均偏差ｘmdevが、以下の（４）式により、バラツキ量として算出される。尚、（４）式における画素Ｘ１〜Ｘ９の平均値ｘavは、上述の第１例における（３）式により算出される。これにより、注目画素及び周辺画素による平均偏差が大きいものほど、そのバラツキ量が大きいものと判定することができる。

よって、現フレームの画像信号において、１画素毎に、周辺画素及び注目画素による平均偏差curmdevが求められ、この平均偏差curmdevが、現フレームの画像信号におけるバラツキ量curdifとして算出される。又、１フレーム前の画像信号において、周辺画素及び注目画素による平均偏差premdevが求められ、この平均偏差premdevが、現フレームの画像信号におけるバラツキ量predifとして算出される。

４−３．バラツキ量算出の第３例
現フレーム及び１フレーム前それぞれのバラツキ量curdif，predifの算出方法の第３例について、以下に説明する。本例では、現フレーム及び１フレーム前のそれぞれの画像信号に対して、１画素毎に、第１例で算出された、注目画素及び周辺画素によるｍ画素×ｎ画素の画素値の平均値ｘavと注目画素の画素値ｘとの差分の絶対値｜ｘ−ｘav｜と、第２例で算出された平均偏差ｘmdevとを算出する。

そして、この差分の絶対値｜ｘ−ｘav｜と平均偏差ｘmdevとの差分（｜ｘ−ｘav｜−ｘmdev）を、それぞれのフレームのバラツキ量として算出する。これにより、周辺画素との平均値との偏差と平均偏差との差が大きい注目画素ほど、そのバラツキ量が大きいものと判定することができる。又、得られたバラツキ量の値curdif，predifが０よりも小さい値となる場合は、このバラツキ量の値curdif，predifを０とする。

よって、現フレームの画像信号において、１画素毎に、注目画素の周辺画素との平均値curavと注目画素の画素値curとの差分の絶対値｜cur−curav｜、及び、注目画素の周辺画素との平均偏差curmdevが求められる。そして、現フレームの画像信号におけるバラツキ量curdifとして、注目画素における偏差｜cur−curav｜と平均偏差curmdevとの差分（｜cur−curav｜−curmdev）が算出される。又、１フレーム前の画像信号において、１画素毎に、注目画素の周辺画素との平均値preavと注目画素の画素値preとの差分の絶対値｜pre−preav｜、及び、注目画素の周辺画素との平均偏差premdevが求められる。そして、現フレームの画像信号におけるバラツキ量predifとして、注目画素における偏差｜pre−preav｜と平均偏差premdevとの差分（｜pre−preav｜−premdev）が算出される。

４−４．バラツキ量算出の第４例
現フレーム及び１フレーム前それぞれのバラツキ量curdif，predifの算出方法の第４例について、以下に説明する。本例においては、上述の第１例〜第３例と異なり、現フレーム及び１フレーム前それぞれの画像信号における、注目画素と周辺画素とによる２フレーム×ｍ画素×ｎ画素の画素値について、値の低いもの（昇順）又は値の高いもの（降順）から順番に並び替えを行う。尚、以下では、値の低いものから順番に（昇順）並び替えを行うものとして説明する。

そして、並び替えを行った画素値において、現フレーム及び１フレーム前それぞれの画像信号における注目画素の画素値の位置curpos，preposを確認し、並び替え後の中央位置（ｍ×ｎ＋１／２）からの距離｜curpos−（ｍ×ｎ＋１／２）｜／（ｍ×ｎ），｜prepos−（ｍ×ｎ＋１／２）｜／（ｍ×ｎ）を、バラツキ量の値curdif，predifとして算出する。

本例における算出方法について、図７に示すように、注目画素Ｘ５を中心とする３画素×３画素となる画素Ｘ１〜Ｘ９の画素値が用いられる場合を例に挙げて説明する。１フレーム前の画像信号における注目画素Ｘｐ５及び周辺画素Ｘｐ１〜Ｘｐ４，Ｘｐ６〜Ｘｐ９の画素値が、図８（ａ）のような値（各画素の括弧内の値）となるとともに、現フレームの画像信号における注目画素Ｘｃ５及び周辺画素Ｘｃ１〜Ｘｃ４，Ｘｃ６〜Ｘｃ９の画素値が、図８（ｂ）のような値（各画素の括弧内の値）となるものとする。尚、図８において、各画素位置における括弧内に示す数値が、画素値を示すものとする。

即ち、図８（ａ）に示すように、１フレーム前の画像信号においては、画素Ｘｐ１〜Ｘｐ３の画素値を「１」、画素Ｘｐ４の画素値を「４」、画素Ｘｐ５〜Ｘｐ７の画素値を「７」、画素Ｘｐ８の画素値を「８」、画素Ｘｐ９の画素値を「９」とする。又、図８（ｂ）に示すように、現フレームの画像信号においては、画素Ｘｃ１〜Ｘｃ３，Ｘｃ５の画素値を「１」、画素Ｘｃ４の画素値を「４」、画素Ｘｃ６，Ｘｃ７の画素値を「７」、画素Ｘｃ８の画素値を「８」、画素Ｘｃ９の画素値を「９」とする。

このとき、画素値が「１」となる画素から順番に並び替えを行うと、図９に示すように、まず、画素値が「１」となる画素Ｘｐ１〜Ｘｐ３，Ｘｃ１〜Ｘｃ３，Ｘｃ５の７画素を並べると、次に、画素値が「４」となる画素Ｘｐ４，Ｘｃ４の２画素を並べる。そして、画素値が「７」となる画素Ｘｐ５〜Ｘｐ７，Ｘｃ６，Ｘｃ７の５画素を並べた後、画素値が「８」となる画素Ｘｐ８，Ｘｃ８の２画素を並べる。その後、更に、画素値が「９」となる画素Ｘｐ９，Ｘｃ９の２画素を並べる。尚、図９では、画素値を白塗りの丸印内に示すとともに、図の下側の数字が各画素値の順番を表し、昇順により並び替えを行っていることを示す。

そして、図９のように並び替えを行ったとき、１フレーム前の画像信号における注目画素Ｘｐ５の画素値が「７」であることから、１０〜１４番目に並んだ画素群に含まれるとともに、現フレームの画像信号における注目画素Ｘｃ５の画素値が「１」であることから、１〜７番目に並んだ画素群に含まれることとなる。又、図９に示すように、並び替えを行ったときの中央位置Ｍが、９．５（＝３×３＋１／２）番目の画素位置となる。

この図９のような並び替えを行うと、現フレーム及び１フレーム前それぞれの注目画素の位置と中央位置Ｍとの距離が求められることによって、現フレーム及び１フレーム前それぞれのバラツキ量curdif，predifが取得される。このとき、図９に示すように、注目画素の画素値と同一の画素値となる画素が他に存在する場合、中央位置Ｍに最も近い画素位置を、並び替え後の注目画素の画素位置とみなすものとする。よって、現フレーム及び１フレーム前それぞれの注目画素Ｘｃ５，Ｘｐ５は、図９のような並び替え後の画素位置として、７番目及び１０番目の画素位置となる。

即ち、現フレームの画像信号における注目画素Ｘｃ５の位置curposが「７」となるとともに、１フレーム前の画像信号における注目画素Ｘｐ５の位置preposが「１０」となる。これにより、現フレーム及び１フレーム前の画像信号における注目画素と周辺画素が図８のような関係となるとき、現フレームの画像信号における注目画素のバラツキ量curdifが、｜７−９．５｜／９＝５／１８となり、１フレーム前の画像信号における注目画素のバラツキ量predifが、｜１０−９．５｜／９＝１／１８となる。

尚、本例においては、上述したように、注目画素の画素値と同一の画素値となる画素が他に存在する場合、中央位置Ｍに最も近い画素位置を、並び替え後の注目画素の画素位置とみなすものとしたが、並び替え後の画素位置の決定については、これに限るものではない。例えば、注目画素の画素値と同一の画素値となる画素が他に存在する場合において、この同一の画素値となる複数の画素の中央位置を、並び替え後の注目画素の画素位置と設定するものとしても構わない。

即ち、図９のように並び替えが行われた場合、現フレームの注目画素Ｘｃ５と同一の画素値となる画素群が１〜７番目になることから、注目画素Ｘｃ５の位置curposが、その中央位置の「４」となる。同様に、１フレーム前の注目画素Ｘｐ５と同一の画素値となる画素群が１０〜１４番目になることから、注目画素Ｘｃ５の位置preposが、その中央位置の「１２」となる。よって、このとき、現フレームの画像信号における注目画素のバラツキ量curdifが、｜４−９．５｜／９＝１１／１８となり、１フレーム前の画像信号における注目画素のバラツキ量predifが、｜１２−９．５｜／９＝５／１８となる。

５．帰還係数調整
次に、帰還係数調整部３８の構成と、この帰還係数調整部３８における帰還係数の調整動作について説明する。帰還係数調整部３８は、図１０に示すように、ノイズ判定部３７で判定されて得られた各画素のノイズ判定量（curdif - predif）に基づいて帰還係数調整量ｋ２を算出する帰還係数調整量算出部３８１と、帰還係数算出部３３で算出された帰還係数ｋ１に帰還係数調整量算出部３８１で算出された帰還係数調整量ｋ２を乗算する乗算部３８２と、乗算部３８２での演算で得られる帰還係数を０以上１以下でクリップした後に乗算部３４に出力するクリップ部３８３と、を備える。

このように帰還係数調整部３８が構成されるとき、帰還係数調整量算出部３８１では、画素毎に、ノイズ判定部３７で算出されたノイズ判定量ｚ（＝curdif - predif）に基づいて、帰還係数調整量ｋ２＝ｈ（ｚ）を算出し、この帰還係数調整量ｋ２を乗算部３８２に出力する。ここで、関数ｈ（ｚ）としては、例えば、図１１のような関係となる以下の（５）式に示されるような関数が用いられる。

上記（５）式に示される関数ｈ（ｚ）（図１１参照）は、閾値ｔｈａを０より大きい値（即ち、−ｔｈａを０より小さい値）として、各画素のノイズ判定量ｚ（＝curdif - predif）が０のときには、帰還係数調整量ｋ２＝ｈ（ｚ）を１とする。そして、ノイズ判定量ｚが負のとき、換言すれば、１フレーム前のバラツキ量predifが大きいときは、帰還係数調整量ｋ２を１以下の値とし、逆に、ノイズ判定量ｚが正のとき、換言すれば、現フレームのバラツキ量curdifが大きいときは、帰還係数調整量ｋ２を１より大きい値とする。尚、帰還係数ｋ２を０とする動き量ｚに対する閾値ｔｈａは、入力される画像信号の信号レベル及びノイズレベルの関係（例えば、Ｓ／Ｎ比など）に応じて決定することが望ましい。

このようにして、帰還係数調整量算出部３８１において、ノイズ判定量ｚ（＝curdif - predif）に基づく帰還係数調整量ｋ２が取得されると、この帰還係数調整量ｋ２が乗算部３８２に与えられる。そして、乗算部３８２において、帰還係数算出部３３で算出された帰還係数ｋ１に対して、帰還係数調整量ｋ２を乗算することで、ノイズ判定部３７で判定されたノイズ判定量に基づいて調整された帰還係数ｋを取得することができる。

即ち、１フレーム前のバラツキ量predifが大きいときは、帰還係数調整量ｋ２が１より小さくなるため、乗算部３８２での演算により、帰還係数算出部３３で算出された帰還係数ｋ１よりも小さい帰還係数ｋに変更することができる。これにより、１フレーム前の画像信号に比べて、１フレーム前の画像信号にノイズが多く含まれるものと判定して、減算部３５で現フレームの画像信号より減算するノイズ量を小さくすることができる。

一方、現フレームのバラツキ量curdifが大きいときは、帰還係数調整量ｋ２が１より大きくなるため、乗算部３８２での演算により、帰還係数算出部３３で算出された帰還係数ｋ１よりも大きい帰還係数ｋに変更することができる。これにより、１フレーム前の画像信号に比べて、現フレームの画像信号にノイズが多く含まれるものと判定して、減算部３５で現フレームの画像信号より減算するノイズ量を大きくすることができる。

この乗算部３８２での乗算により得られた帰還係数ｋがクリップ部３８３に出力されると、帰還係数ｋを、０以上１以下の値となるようにクリップする。即ち、帰還係数ｋが、（１）０≦ｋ＜１のときは、乗算部３８２から出力された帰還係数ｋをそのまま乗算部３４に出力し、（２）１≦ｋのときは、乗算部３８２から出力された帰還係数ｋを「１」として乗算部３４に出力する。

６．ノイズ低減処理
上述のようにして、ノイズ検出部３１においてノイズ検出値が得られるとともに、帰還係数調整部３８において、ノイズ判定部３７で算出されたノイズ判定量に基づいて、帰還係数算出部３３で算出された帰還係数が調整されると、乗算部３４において、ノイズ低減を行うためのノイズ量が調整される。このノイズ量の調整により、ノイズの発生した可能性が高い画像信号がフィードバックされにくくなり、ノイズが収束するまでに必要なフレーム数及び時間を短縮することができる。即ち、乗算部３４では、画素毎に、ノイズ検出部３１で得られたノイズ検出値Ｎに対して、帰還係数調整部３８より出力される帰還係数ｋを乗算することで、減算部３５に出力するノイズ量Ｎｚ（＝ｋ×Ｎ）を算出する。

そして、乗算部３４で算出されたノイズ量Ｎｚが減算部３５に与えられると、減算部３５において、画素毎に算出されたノイズ量Ｎｚに基づいて、各画素の画像信号のノイズ低減処理を行う。即ち、減算部３５では、画素毎に、外部より入力される現フレームの画像信号から、乗算部３４で算出されたノイズ量Ｎｚを減算することで、ノイズ低減された画像信号を取得して、画像処理部４内の後段の回路に出力する。尚、この画像処理部４内の後段の回路として、ノイズ低減後の画像信号より輝度信号及び色差信号を生成する信号処理部が挙げられる。

又、このようにしてノイズ低減処理部３０から、減算部３５でノイズ低減された画像信号が外部に出力されるとき、このノイズ低減された画像信号が、ノイズ低減処理部３０内のフレームメモリ３６に与えられて、次のフレームの画像信号のノイズ低減処理に利用されるために一時的に格納される。

（３次元ノイズ低減処理部の別構成）
上述したように、本発明の３次元ノイズ低減処理部３０について、図２に示すように、フレームメモリ３６について、減算部３５でノイズ低減された画像信号を格納するものとしたが、図１２に示すように、外部から入力される画像信号が直接入力されて格納されるものとしても構わない。即ち、図１２に示す構成のように、ノイズ低減されていない画像信号がフレームメモリ３６に格納されるものとしても、ノイズ判定部３７において、現フレームと１フレーム前とのノイズ量の判定を行うことができるため、発生したノイズを早く収束させることができる。

（撮像装置以外の適用例）
尚、上述の説明において、図１に示すような構成の撮像装置を例に挙げて、本発明について説明したが、撮像装置に限らず、液晶ディスプレイやプラズマテレビなどの画像のデジタル処理を行う表示装置においても、本発明における画像処理方法を利用可能である。図１３に、上述した３次元ノイズ低減処理部を行う画像処理装置（「画像処理部」に相当）を備えた表示装置を示す。

図１３に示す表示装置は、図１に示す撮像装置と同様、画像処理部４、伸長処理部８、ディスプレイ部９、音声出力回路部１０、スピーカ部１１、タイミングジェネレータ１２、ＣＰＵ１３、メモリ１４、操作部１５、及び、バス回線１６，１７を備える。そして、外部で受信した放送信号を選局するチューナ部２１と、チューナ部２１で選局した放送信号を復調する復調部２２と、外部から入力されたデジタル信号となる圧縮信号が入力されるインターフェース２３とを、更に備える。

この図１３の表示装置は、放送信号を受信する場合は、チューナ部２１で所望のチャンネルの放送信号を選局した後、復調部２２で放送信号を復調することで、ＭＰＥＧ圧縮符号方式による圧縮信号となるデジタル信号が得られる。このデジタル信号が伸長処理部８に与えられると、圧縮信号であるデジタル信号に対して、ＭＰＥＧ圧縮符号方式による伸長処理が施される。

そして、伸長処理部８で伸長処理して得られた画像信号が、画像処理部４に与えられて、上述のノイズ低減処理部３０によるノイズ低減処理が成される。その後、ノイズ低減処理が施された画像信号がディスプレイ部９に与えられて、画像再生がなされる。又、伸長処理部８の伸長処理で得られた音声信号が、音声出力回路部１０を通じてスピーカ部１１に与えられることで、音声が再生出力される。

又、図１の撮像装置又は図１３の表示装置において、画像処理部４でノイズ低減処理が成される画像について、動画像であっても構わないし、静止画像であっても構わない。尚、上述では、動画像となる画像信号が入力されたときの動作を中心に、各処理動作の説明を行っている。

本発明は、画像信号に対して３次元ノイズ低減処理を行う撮像装置や表示装置に適用することが可能である。

は、本発明のノイズ低減処理装置となる３次元ノイズ低減処理部を備えた撮像装置の内部構成を示すブロック図である。 は、図１の撮像装置における画像処理部内の３次元ノイズ低減処理部の構成を示すブロック図である。 は、ノイズ検出動作を行う際の関数ｆ（ｘ）を示すグラフである。 は、図２の３次元ノイズ低減処理部内における動き量検出部の構成を示すブロック図である。 は、図４の動き量検出部による動き量の検出動作の概略的な動作ブロックである。 は、帰還係数算出動作を行う際の関数ｇ（ｙ）を示すグラフである。 は、注目画素と周辺画素との関係を示す図である。 は、バラツキ量算出の第４例を説明するための現フレームと１フレーム前の注目画素及び周辺画素の画素値の例を示す図である。 は、図８に例示した画素値を並び替えたときの状態を示す図である。 は、図２の３次元ノイズ低減処理部内における帰還係数調整部の構成を示すブロック図である。 は、帰還係数調整量算出動作を行う際の関数ｈ（ｚ）を示すグラフである。 は、図１の撮像装置における画像処理部内の３次元ノイズ低減処理部の別の構成を示すブロック図である。 は、本発明のノイズ低減処理装置となる３次元ノイズ低減処理部を備えた表示装置の内部構成を示すブロック図である。 は、従来の３次元ノイズ低減処理装置の構成を示すブロック図である。 は、図１４の３次元ノイズ低減処理装置によるノイズ低減処理前後の画像信号の関係を示す図である。

符号の説明

１ 撮像部
２ ＡＦＥ
３ マイク
４ 画像処理部
５ 音声処理部
６ 圧縮処理部
７ ドライバ部
８ 伸長処理部
９ ディスプレイ
１０ 音声出力回路部
１１ スピーカ
１２ ＴＧ
１３ ＣＰＵ
１４ メモリ
１５ 操作部
１６，１７ バス回線
２０ 外部メモリ
３０ ３次元ノイズ低減処理部
３１ ノイズ検出部
３２ 動き量検出部
３３ 帰還係数算出部
３４ 乗算部
３５ 減算部
３６ フレームメモリ
３７ ノイズ判定部
３８ 帰還係数調整部
３２１ 減算部
３２２ 絶対値化部
３２３ フィルタ部
３８１ 帰還係数調整量算出部
３８２ 乗算部
３８３ クリップ部

Claims (8)

1. 取得時間の異なる複数フレームの画像信号を用いて現フレームのノイズ量を画素毎に検出するノイズ検出部と、前記複数フレームの画像信号より現フレームの動き量を画素毎に検出する動き量検出部と、前記ノイズ検出部で検出されたノイズ量と前記動き量検出部で検出された動き量とに基づいて前記複数フレームの画像信号を加重加算する演算部と、を備えるノイズ低減処理装置において、
   ノイズ低減を行う注目画素について、前記複数フレーム間でのノイズ量の大小を判定するノイズ判定部を備え、
   前記演算部が、前記ノイズ判定部で判定された前記複数フレーム間でのノイズ量の大小に基づいて係数を調整して、前記複数フレームの画像信号を加重加算することを特徴とするノイズ低減処理装置。
2. 前記演算部が、
   前記動き量検出部で検出された動き量に基づいて前記ノイズ検出部で検出されたノイズ量を乗算する帰還係数を画素毎に設定する帰還係数算出部と、
   前記ノイズ判定部で判定された前記複数フレーム間でのノイズ量の大小に基づいて、前記注目画素に対して前記帰還係数算出部で設定された前記帰還係数の値を調整する帰還係数調整部と、
   該帰還係数調整部で値が調整された前記帰還係数を前記ノイズ検出部で検出されたノイズ量に乗算する第１乗算部と、
   該第１乗算部で得られたノイズ量を現フレームの画像信号から減算する減算部と、
   を有することを特徴とする請求項１に記載のノイズ低減処理装置。
3. 前記ノイズ判定部において、
   前記複数フレームそれぞれの画像信号において、前記注目画素の画素値と周辺画素の画素値とを比較し、前記注目画素のバラツキ量を算出した後、
   前記複数フレームそれぞれの画像信号に対して算出した前記注目画素のバラツキ量の比較結果をノイズ判定結果として出力することを特徴とする請求項１又は請求項２に記載のノイズ低減処理装置。
4. 前記ノイズ判定部において、
   前記複数フレームそれぞれの画像信号において、前記注目画素の画素値と周辺画素の画素値とを昇順又は降順に並び替えて、前記複数フレームそれぞれの前記注目画素の画素値の順位を確認し、
   並び替え後の複数フレームそれぞれの前記注目画素の画素値の順位の比較結果をノイズ判定結果として出力することを特徴とする請求項１又は請求項２に記載のノイズ低減処理装置。
5. 前記帰還係数調整部が、
   前記ノイズ判定部からの判定結果によって、前記帰還係数を調整する帰還係数調整量を算出する帰還係数調整量算出部と、
   前記帰還係数調整量算出部で取得した前記帰還係数調整量を、前記帰還係数算出部で設定された前記帰還係数の値に乗算して、調整後の帰還係数として前記第１乗算部に出力する第２乗算部と、
   を備えることを特徴とする請求項１〜請求項４のいずれかに記載のノイズ低減処理装置。
6. 前記帰還係数調整量算出部において、
   前記ノイズ判定部で現フレームでのノイズ量が現フレーム以外のノイズ量よりも小さいことが判定されたとき、前記帰還係数調整量の値を１よりも小さい値とするとともに、
   前記ノイズ判定部で現フレームでのノイズ量が現フレーム以外のノイズ量よりも大きいことが判定されたとき、前記帰還係数調整量の値を１よりも大きい値とすることを特徴とする請求項５に記載のノイズ低減処理装置。
7. 外部入力又は撮像により複数フレームとなる画像による画像信号が与えられるとともに、該画像信号のノイズを低減するノイズ低減処理装置を備えた電子機器において、
   前記ノイズ低減処理装置として、請求項１〜請求項６のいずれかに記載のノイズ低減処理装置を備え、現フレームを含む複数フレームの画像信号により現フレームの画像信号のノイズを低減することを特徴とする電子機器。
8. 取得時間の異なる複数フレームの画像信号を用いて現フレームのノイズ量を画素毎に検出するノイズ検出ステップと、前記複数フレームの画像信号より現フレームの動き量を画素毎に検出する動き量検出ステップと、前記ノイズ検出ステップで検出されたノイズ量と前記動き量検出ステップで検出された動き量とに基づいて前記複数フレームの画像信号を加重加算する演算ステップと、を備えるノイズ低減処理方法において、
   ノイズ低減を行う注目画素について、前記複数フレーム間でのノイズ量の大小を判定するノイズ判定ステップを備え、
   前記演算ステップにおいて、前記ノイズ判定ステップで判定された前記複数フレーム間でのノイズ量の大小に基づいて係数を調整して、前記複数フレームの画像信号を加重加算することを特徴とするノイズ低減処理方法。

Images