JP2009165168A - 画像処理方法および画像処理装置 - Google Patents

Abstract

【課題】撮影画像のノイズ軽減を高精度に行う。
【解決手段】 Org(t)を基準画とし、Org(t+1)を参照画としてブロック単位の動き予測を行い、動きベクトルを得る(S1)。動き補償によってＭＣ画MC(t+1)を得る(S2)。Org(t)
と、MC(t+1)と撮影条件に基づくノイズ量とから画素単位の加算判定を行い、加算重みを
得る(S3)。Org(t)と、MC(t+1)とが加算重みによって加算され、処理後のNR(t)を得る(S4)。NR(t)とOrg(t+2)とから得た動きベクトルによって、MC(t+2)を得る(S6)。Org(t)と、MC(t+2)と撮影条件に基づくノイズ量とから加算重みを得(S7)、Org(t)と、MC(t+2)とが加算重みによって加算され、処理後のNR'(t)を得る(S8)。
【選択図】図１０

Description

この発明は、撮像装置に適用可能で、ノイズ軽減を行う画像処理方法および画像処理装置に関する。

近年、カメラ、ビデオでの撮影時に、より低照度下での撮影や、より短い露光時間での撮影が求められている。しかしながら、低照度下や短い露光時間では、入射光量が少ないため電荷蓄積量が減少し、明るい像を得る為には信号を増幅する必要がある。その際に撮像素子やアナログ回路にて生じるノイズも増幅され、得られる像はノイズの多い低画質のものになってしまう。この問題の改善策として、長時間の露光を行うことで電荷蓄積量を増加させ、ランダム成分を相対的に低くすることでＳ／Ｎを改善することができる。しかしながら、長時間露光は、露光中の手ぶれによる画像のにじみ（露光にじみと適宜称する）を発生させるため、三脚などによって撮像装置を固定する必要があった。

他の方法として、露光にじみが殆ど生じないシャッター速度例えば１／３０秒でもって撮像することを繰り返し、この連写により得られた複数の画像を加算平均することによって、時間方向に無相関なノイズを低減する方法がある。しかしながら、手ブレなどによるカメラの移動や動被写体により画像のボケや動被写体の多重露光状のひきずりといった劣化が生じる問題がある。

さらに、下記の特許文献１には、連写により得られた複数の画像の手振れを補正して重ね合わせることが記載されている。ここでの手振れは、露光期間の間隔例えば１フィールド、１フレームの間で生じる手振れである。特許文献２にも同様に、全露光時間を複数の露光期間に分割し、各露光期間で得られた画像を手ぶれ補正して加算することで画質の良好な画像を得ることが記載されている。

特開平９−２６１５２６号公報

特開平１１−７５１０５号公報

特許文献１または特許文献２に記載されているように、動き補正した複数の画像を加算する方法は、不要な動き被写体などが進入した画像およびローコントラストの画像では、検出される動きベクトルの精度が低くなり、画質の改善が不充分となる欠点があった。また、１フレーム単位での重み付け係数でもって加算する処理は、精度が不充分であった。さらに、露光時間が長くなると、ノイズが増加するので、同一の露光量であってもシャッター速度によってノイズ量が相違する場合がある。このような撮影条件を考慮しないと高精度にノイズを除去することができない。

したがって、この発明の目的は、高精度にノイズを除去することが可能な画像処理方法および画像処理装置を提供することにある。

上述した課題を解決するために、この発明は、時間的に連続する第１および第２静止画を使用して、ノイズが軽減された画像が出力される画像処理方法であって、
第２静止画に対し、ブロック単位の動き補償を行うステップと、
第１静止画と動き補償を行った第２静止画と撮影条件に基づくノイズ量とを使用して加算重みを設定するステップと、
第１静止画および動き補償を行った第２静止画を、加算重みに応じて加算もしくは加重平均して処理後の画像を得るステップと
を有する画像処理方法である。
この発明は、時間的に連続する第１、第２および第３静止画を使用して、ノイズが軽減された画像を生成する画像処理方法であって、
第２静止画に対し、ブロック単位の動き補償を行うステップと、
第１静止画と動き補償を行った第２静止画と撮影条件に基づくノイズ量とを使用して第１加算重みを設定するステップと、
第１静止画および動き補償を行った第２静止画を、第１加算重みに応じて加算もしくは加重平均して処理後の画像を得るステップと
第３静止画に対し、ブロック単位の動き補償を行うステップと、
処理後の画像と動き補償を行った第３静止画と撮影条件に基づくノイズ量とを使用して第２加算重みを設定するステップと、
処理後の画像および動き補償を行った第３静止画を、第２加算重みに応じて加算もしくは加重平均して処理後の画像を得るステップと
を有する画像処理方法である。

この発明は、単位時間間隔で入力される動画に対して、ノイズ軽減を行う画像処理方法であって、
１単位時間前の処理後の画像に対し、ブロック単位の動き補償を行うステップと、
現在の動画と動き補償を行った１単位時間前の処理後の画像と撮影条件に基づくノイズ量とを使用して加算重みを設定するステップと、
現在の動画および動き補償を行った１単位時間前の処理後の画像を、加算重みに応じて加算もしくは加重平均して、現在の動画に対応するする処理後の画像を得るステップと
を有する画像処理方法である。
この発明は、単位時間間隔で入力される動画に対して、ノイズ軽減を行う画像処理方法であって、
現在の動画と１単位時間前の処理後の画像とからブロック単位の動きベクトルを求め、１単位時間前の処理後の画像と、２単位時間前の動き補償後の画像に対し、動きベクトルによって動き補償を行うステップと、
現在の動画と動き補償を行った１単位時間前の処理後の画像と撮影条件に基づくノイズ量とを使用して第１加算重みを設定するステップと、
現在の動画および動き補償を行った１単位時間前の処理後の画像を、第１加算重みに応じて加算もしくは加重平均して、第１の処理後の画像を得るステップと、
動き補償された２単位時間前の動き補償後の画像と第１の処理後の画像と撮影条件に基づくノイズ量とを使用して第２加算重みを設定するステップと、
動き補償された２単位時間前の動き補償後の画像および第１の処理後の画像を、第２加算重みに応じて加算もしくは加重平均して、現在の動画に対応する第２の処理後の画像を得るステップと
を有する画像処理方法である。

この発明は、時間的に連続する第１および第２静止画を使用して、ノイズが軽減された画像が生成する画像処理装置であって、
第２静止画に対し、ブロック単位の動き補償を行う動き補償装置と、
第１静止画と動き補償を行った第２静止画と撮影条件に基づくノイズ量とを使用して加算重みを設定する判定装置と、
第１静止画および動き補償を行った第２静止画を、加算重みに応じて加算もしくは加重平均して処理後の画像を得る加算装置と
を有する画像処理装置である。
この発明は、時間的に連続する第１、第２および第３静止画を使用して、ノイズが軽減された画像を生成する画像処理装置であって、
動き補償装置と、判定装置と、加算装置とを備え、
動き補償装置によって、第２静止画に対し、ブロック単位の動き補償を行い、
判定装置によって、第１静止画と動き補償を行った第２静止画と撮影条件に基づくノイズ量とを使用して第１加算重みを設定し、
加算装置によって、第１静止画および動き補償を行った第２静止画を、第１加算重みに応じて加算もしくは加重平均を行い処理後の画像を得、
動き補償装置によって、第３静止画に対し、ブロック単位の動き補償を行い、
判定装置によって、処理後の画像と動き補償を行った第３静止画と撮影条件に基づくノイズ量とを使用して第２加算重みを設定し、
加算装置によって、処理後の画像および動き補償を行った第３静止画を、第２加算重みに応じて加算もしくは加重平均を行い処理後の画像を得る
ようにした画像処理装置である。

この発明は、単位時間間隔で入力される動画に対して、ノイズ軽減を行う画像処理装置であって、
動き補償装置と、判定装置と、加算装置とを備え、
動き補償装置によって、１単位時間前の処理後の画像に対し、ブロック単位の動き補償を行い、
判定装置によって、現在の動画と動き補償を行った１単位時間前の処理後の画像と撮影条件に基づくノイズ量とを使用して加算重みを設定し、
加算装置によって、現在の動画および動き補償を行った１単位時間前の処理後の画像を、加算重みに応じて加算もしくは加重平均して、現在の動画に対応するする処理後の画像を得る
ようにした画像処理装置である。
この発明は、単位時間間隔で入力される動画に対して、ノイズ軽減を行う画像処理装置であって、
動き補償装置と、判定装置と、加算装置とを備え、
現在の動画と１単位時間前の処理後の画像とからブロック単位の動きベクトルを求め、１単位時間前の処理後の画像と、２単位時間前の動き補償後の画像に対し、動きベクトルによって動き補償を行い、
現在の動画と動き補償を行った１単位時間前の処理後の画像と撮影条件に基づくノイズ量とを使用して第１加算重みを設定し、
現在の動画および動き補償を行った１単位時間前の処理後の画像を、第１加算重みに応じて加算もしくは加重平均して、第１の処理後の画像を得、
動き補償された２単位時間前の動き補償後の画像と第１の処理後の画像と撮影条件に基づくノイズ量とを使用して第２加算重みを設定し、
動き補償された２単位時間前の動き補償後の画像および第１の処理後の画像を、第２加算重みに応じて加算もしくは加重平均して、現在の動画に対応する第２の処理後の画像を得る
ようにした画像処理装置である。

この発明によれば、低照度下での撮影時にカメラの移動や動被写体についてもノイズ軽減効果を得ることができる。この発明では、画素単位で加算判定を行うことによって高精度のノイズ軽減を行うことができる。また、ブロック歪みの発生を抑えることができ、さらに、平坦部に生じる大きなサイズの色ノイズを軽減することができる。

以下、この発明の一実施の形態による画像処理装置を備える撮像装置の一例を示す。撮像装置について図面を参照しながら説明する。一実施の形態の全体の構成が図１に示されている。撮像光学系（図示せず）を介された被写体光が撮像素子１０１に入射される。

撮像光学系は、被写体の拡大／縮小を行うためのズームレンズ、焦点距離を調整するためのフォーカスレンズ、光量を調整するためのアイリス（絞り）、ＮＤ(Neutral Density)フィルタ、並びにこれらのレンズおよびアイリスを駆動する駆動回路を備えている。ズ
ームレンズ、フォーカスレンズ、ＩＲＩＳ、およびＮＤフィルタは、図示しないが、ドライバにより駆動される。

撮像素子１０１は、ＣＣＤ（Charge Coupled Device)、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)等である。撮像素子１０１によって被写体光に応じた撮像信号が
捕捉される。なお 撮像装置の一例は、動画および静止画の撮影が可能なカムコーダ（カメラおよびレコーダの意味）であるが、静止画ディジタルカメラ、ＰＤＡ(Personal Digital Assistants)、携帯電話機等であっても良い。

撮像素子１０１は、原色系と補色系のいずれでもよく、入射された被写体像を光電変換したＲＧＢ各色の原色信号または補色系の撮像信号の色信号ごとに、サンプルホールドされ、ＡＧＣ（Automatic Gain Control)によってゲインが制御され、Ａ／Ｄ変換によって
デジタル信号とされた撮像信号（ロウデータと称する）を出力する。撮像素子１０１からのロウデータがＩＣ(Integrated Circuit) として構成されたカメラ信号処理部１０２に
供給される。カメラ信号処理部１０２において、現像処理や輝度、色差信号への変換処理がなされる。

カメラ信号処理部１０２からの入力画像信号がノイズ軽減装置１０３に供給され、ノイズ軽減処理がなされる。ノイズ軽減装置１０３からは、ノイズが軽減された出力画像信号が得られる。ノイズ軽減装置１０３に対して、カメラ制御部（マイクロコンピュータで構成される）１０４からノイズ量推定に用いる撮影条件情報が供給される。撮影条件情報は、撮影モード、露光時間、ゲイン等である。

図２は、ノイズ軽減装置１０３の一例を示す。ノイズ軽減装置１０３は、フレームメモリ２０１、動き予測装置２０２、動き補償装置２０３、加算判定装置２０４、加算装置２０５、隠れ領域処理装置２０６を有する。

ノイズ軽減装置１０３の各構成要素について説明する。動き予測装置２０２に対して基準画および参照画が入力される。動き予測装置２０２は、画像サイズにより指定されたブロック単位に入力する参照画を基準画に対して位置合わせを行い、ブロック単位の動きベクトルＭＶを出力する。動きベクトルＭＶは、基準画に対する参照画の動きの量と方向を示す。例えばブロックマッチング法によって動きベクトルＭＶを検出することができる。ブロックの大きさとして、例えばマクロブロックを使用することができる。

動き補償装置２０３は、動きベクトルＭＶに応じて入力する画像の動き補償を行い、動き補償画像（ＭＣ画と適宜称する）を出力する。この際、一組の画像間で求めた動きベクトルＭＶに対し、入力画像をスイッチＳＷによって切り替え、スイッチＳＷで選択された画像の動き補償を行うこともある。スイッチＳＷは、参照画と前フレームのＭＣ画との一方を選択して動き補償装置２０３に入力する。

ＭＣ画が加算判定装置２０４および加算装置２０５に供給される。基準画が加算判定装置２０４および加算装置２０５に供給される。さらに、カメラ制御部からの撮影条件情報が加算判定装置２０４に供給される。加算装置２０５は、加算判定装置２０４にて形成された加算重みを使用して重み付け加算を行う。

この発明は、静止画および動画の両者のノイズ軽減に対して適用できる。例えば静止画撮影時には、複数枚の静止画を連写する。撮像装置の最速の連写速度で連写がなされる。撮像素子１０１がＣＣＤの場合には、例えば毎秒２枚程度の速度で連写がなされ、撮像素子１０１がＣＭＯＳの場合には、例えば毎秒３０〜６０枚程度の速度で連写がなされる。この場合には、最初に撮影された画像が基準画とされ、２番目に撮影された画像が参照画とされ、参照画が動きベクトルＭＶで動き補償されてＭＣ画が形成され、基準画とＭＣ画とが加算判定装置２０４からの加算重みを使用して加算装置２０５で加算され、ノイズ軽減された画像（ＮＲ画と適宜称する）が形成される。

加算装置２０５から出力される第１番目のＮＲ画がフレームメモリ２０１に記憶される。第１番目のＮＲ画が基準画として扱われ、第２番目の撮影画像が参照画として扱われ、これらの２枚の画像によって上述したのと同様のノイズ軽減動作がなされる。ノイズ軽減動作を繰り返すことによって、ランダムノイズ成分が減少される。

隠れ領域処理装置２０６に対して基準画およびＭＣ画が供給される。隠れ領域処理装置２０６は、基準画に対して時間的に１枚以上離れた画のＭＣ画を参照画として用いる時、信頼度の低い隠れ領域のＭＣ部分の画質の劣化の伝播を抑えるために設けられている。処理後の画像がフレームメモリ２０１に格納される。

加算装置２０５で使用される加算重みが画素単位で加算判定装置２０４にて形成される。加算重みは、加算の信頼度を表す。すなわち、基準画とＭＣ画の間で、動き補償の正しさを判定し、基準画とＭＣ画とを加算した際に劣化を生じさせずに、ノイズを低減させるような画素を信頼度が高いとする。具体的には、異なる時間で撮影した画像中で、同一物体の同一部分を撮影した画素同士を加算した際は、加算により時間に無相関なノイズを低減できるため、信頼度が高いと言える。信頼度は、言い換えると、同一の画像に対してノイズが重畳されているのか、または異なる画像に対してノイズが重畳されているのかを表しており、可能な限りノイズ量のみに対応して加算重みが形成されることが高精度のノイズ軽減処理にとって必要とされる。加算重みは、信頼度が低いと０、信頼度が高いと１の値を持つものとされる。後述するように、基準画とＭＣ画との加重平均が加算装置２０５で計算されるが、加重平均の重みは、加算重みに帰還率を乗じた値である。例えば帰還率を１／３に設定すれば、加算重みが０〜１に変化する際に、加重平均でのＭＣ画に対する重みが０〜１／３で変化することになる。

加算判定装置２０４の一例を図３に示す。加算判定装置２０４は、同様の判定部が輝度信号Ｙと、二つの色差信号Ｃｂ，Ｃｒとのそれぞれについて設けられている。輝度信号Ｙに関する判定部の構成について最初に説明する。

基準画およびＭＣ画の空間的に同一位置の画素データがプレフィルタ３００および３０１を介して減算器３０２に供給され、画素値の差が演算され、絶対値演算器３０３にて絶対値に変換される。プレフィルタ３００および３０１は、画像中の高周波成分をカットし加算判定の効果を向上させる。絶対値演算器３０３は入力信号の絶対値を出力する。差の絶対値が画素加算判定器３０４に供給される。

画素加算判定器３０４には、ノイズ量推定器３０５の出力信号が供給される。ノイズ量推定器３０５は、画素値に対応したノイズ量を推定し、また、画像中のノイズ量に影響を与える撮影モードや露光時間、ゲイン情報といった撮影条件情報を外部から入力し、予め各条件で測定した輝度値とノイズ量の関係のデータをテーブルとして有する。このテーブルから、該当条件の輝度値とノイズ量の関係を求め、入力した輝度値に対応するノイズ量を出力する。

例えば露光時間が長くなると、ランダムノイズが増加する傾向がある。また、撮像信号を増幅するゲインが大きくなると、ランダムノイズが増加する傾向がある。したがって、撮影条件としてシャッター速度および／またはゲインの情報を使用し、予めシャッター速度および／またはゲインのそれぞれに対応して画素値とノイズ量とのテーブルを作成して用意しておく。さらに、撮像装置が備えている撮影モードを撮影条件として使用しても良い。なお、撮影条件は、例えばフレームごとに設定される。

図４は、ノイズ量推定器３０５が備えている画素値対ノイズ量のテーブルを概念的に示している。異なる撮影条件１から撮影条件Ｎのそれぞれに関して画素値とノイズ量の関係が規定されている。ノイズ量推定器３０５は、画像中のノイズ量に影響を与える撮影モード、シャッター速度（露光時間）、ゲイン等を撮影条件情報としてカメラ制御部１０４から入力し、予め各撮影条件で測定した輝度値とノイズ量の関係のデータから、該当条件の輝度値とノイズ量の関係を求め、該当撮影条件での入力輝度値に対応するノイズ量を出力する。

ノイズ量推定器３０５からのノイズ量と絶対値演算器３０３からの画素値（輝度）の差分絶対値とが画素加算判定器３０４に供給される。差分絶対値が画素加算判定器３０４に対する入力指標値である。画素加算判定器３０４が指標値に対応する加算の信頼度である加算重みを出力する。

図５に画素加算判定器の一例を示す。輝度画素加算判定器３０４は、ノイズ量推定器３０５からのノイズ量を判定閾値へ変換する変換器６０１と判定曲線生成器６０２と加算判定器６０３からなる。変換器６０１は、視覚特性に基づき決定されたテーブルを用いてノイズ量を判定閾値に変換し、判定閾値を出力する。判定閾値に応じて判定曲線の形状が決定される。判定曲線は、誤差量を表す入力指標値と、誤差に対する信頼度を表す加算重みとの対応を表す判定曲線の形状を現す。

図６に使用可能な判定曲線のいくつかの例を示す。各曲線を示すグラフの横軸が入力指標値であり、縦軸が指標値に対する加算重みを示す。各曲線において、加算重みが１から変化する指標値の値と、加算重みが０なる指標値の値とが判定閾値である。判定閾値の大きさがノイズ量に応じた値とされる。ノイズ量が多いと、判定閾値がより大きな指標値とされる。

判定曲線生成器６０２は、変換器６０１の出力である判定閾値を用いて、判定曲線を決定し出力する。判定曲線は、例えばテーブルとして構成されてメモリに格納される。この判定曲線を用いて加算判定器６０３が指標値を入力し、その指標値に対応する加算重みを出力する。この加算重みが画素加算判定器３０４から乗算器３０６に供給される。加算判定器３０４の一連の変換、計算および判定は、画素単位に画素値に応じたノイズ量を用いて生成する判定曲線を用いるので、画素単位で行われる。

図７に示す判定曲線の一例は、判定閾値１までの指標値に対しては出力（指標値に対する加算重み）が１であり、判定閾値１から判定閾値２までの間では、指標値に対して加算重みが徐々に０に向かって減少する。判定閾値１および判定閾値２によって、判定曲線の形状が規定される。ノイズ量が多いと、判定閾値１および判定閾値２に対応する指標値が大きな値とされる。図７に示す判定曲線によって、入力指標値が対応する加算重みに変換されて出力される。

加算判定器３０４から出力される加算重みが乗算器３０６に供給され、輝度信号の移動平均に関して、上述した画素差分絶対値と同様に求めた加算重みと乗算される。乗算器３０６の出力が乗算器３２５に供給され、輝度信号の移動分散に関して、上述した画素差分絶対値と同様に求めた加算重みと乗算される。さらに、乗算器３２５の出力が乗算器３２６に供給され、色信号の画素、移動平均および移動分散に関して求めた加算重みと乗算される。乗算器３２６の出力に加算判定装置２０４の生成した加算重みが取り出される。この加算重みが加算装置２０５に供給される。

次に、指標値が輝度信号の移動平均差分絶対値および移動分散差分絶対値の場合について説明する。図３に示すように、基準画およびＭＣ画の空間的に同一位置の画素データがプレフィルタ３００および３０１を介して移動平均演算器３１０および３１１に供給される。同様に、基準画およびＭＣ画の空間的に同一位置の画素データがプレフィルタ３００および３０１を介して移動分散演算器３２０および３２１に供給される。

移動平均演算器３１０および３１１は、計算する画素（中心画素）を中心とする矩形領域例えば（５×５）画素の領域内の画素値の移動平均を計算する。中心画素の移動に応じ、矩形領域を前画素の計算領域とオーバーラップさせながらずらして移動平均の演算を行う。移動分散演算器３２０および３２１は、計算する画素（中心画素）を中心とする矩形領域の領域内の画素値の分散を計算する。中心画素の移動に応じ、矩形領域を前画素の計算領域とオーバーラップさせながらずらして移動分散の演算を行う。

移動平均および移動分散に関して加算重みを求めるのは、ノイズ量の減少をより正確に行うためである。例えば複数画素の領域の移動平均または移動分散が異なっている時には、画素値の差分絶対値をノイズと判定するよりも、画像が相違しているものと判定する方がより正しい場合が多いからである。

移動平均演算器３１０および３１１の出力信号が減算器３１２に供給され、移動分散演算器３２０および３２１の出力信号が減算器３２２に供給され、移動平均の差および移動分散の差がそれぞれ演算され、絶対値演算器３１３および３２３にて絶対値に変換される。絶対値演算器３１３は移動平均の差信号の絶対値を出力し、絶対値演算器３２３は移動分散の差信号の絶対値を出力する。差の絶対値が移動平均加算判定器３１４および移動分散加算判定器３２４にそれぞれ供給される。

移動平均加算判定器３１４および移動分散加算判定器３２４には、ノイズ量推定器３０５の出力信号が供給される。移動平均加算判定器３１４および移動分散加算判定器３２４は、それぞれ画素加算判定器３０４（図５参照）と同様の構成とされ、ノイズ量を変換した判定閾値により判定曲線（テーブル）を生成する。この判定曲線の指標値として、移動平均差分絶対値および移動分散差分絶対値を与えることによって、加算重みが求められる。輝度信号の移動平均加算判定器３１４からの加算重みが乗算器３０６に供給され、輝度信号の移動分散加算判定器３２４からの加算重みが乗算器３２５に供給される。

以上が輝度信号の画素差分絶対値、移動平均差分絶対値、および移動分散差分絶対値をそれぞれ指標値として加算重みを求める処理である。色信号に関しても同様に、加算重みが求められる。コンポーネントカラービデオ信号の場合、（４：２：０）、（４：２：２）、（４：１：１）のように、輝度信号Ｙに関するサンプリング周波数と、色差信号Ｃｂに関するサンプリング周波数と、色差信号Ｃｒに関するサンプリング周波数との比が表される。色差信号ＣｂおよびＣｒのそれぞれに関して、上述した輝度信号Ｙと同様に、加算重みが求められる。

輝度信号と色差信号Ｃｂ，Ｃｒとは、画像上の同一の領域に関して加算重みの生成処理が行われる。上述したサンプリング周波数の比から分かるように、輝度信号Ｙに関して求められた加算重みに比して色差信号Ｃｒ，Ｃｂに関して求められた加算重みの数が不足する。この問題を解決するために、補間を行うアップサンプリング回路５２７が設けられ、アップサンプリング回路５２７からの色差信号に関する加算重みが乗算器３２６に供給され、輝度信号に関する加算重みと乗算される。

色差信号Ｃｂに関する処理について説明する。基準画の色差信号Ｃｂがプレフィルタ４００を介してノイズ量推定器４０５に供給される。ノイズ量推定器４０５に撮影条件情報が供給される。ノイズ量推定器４０５は、輝度信号に関するノイズ量推定器３０５と同様に各撮影条件に応じた画素値とノイズ量との関係を示すテーブルによって、ノイズ推定器４０５からノイズ量の推定値を出力する。ノイズ量の推定値が画素加算判定器４０４に対して出力される。

基準画の色差信号ＣｂおよびＭＣ画の色差信号Ｃｂがそれぞれプレフィルタ４００および４０１を介して減算器４０２に供給され、減算器４０２の出力が絶対値演算器４０３により絶対値に変換され、画素加算判定器４０４によって画素差分絶対値を指標値とする加算重みが求められる。画素加算判定器４０４が上述した画素加算判定器３０４（図５参照）と同様の構成とされ、画素加算判定器４０４が指標値（画素差分絶対値）に対応する加算の信頼度である加算重みを出力する。

次に、指標値が色差信号Ｃｂの移動平均差分絶対値および移動分散差分絶対値の場合について説明する。基準画およびＭＣ画の空間的に同一位置の画素データがプレフィルタ４００および４０１を介して移動平均演算器４１０および４１１に供給される。同様に、基準画およびＭＣ画の空間的に同一位置の画素データがプレフィルタ４００および４０１を介して移動分散演算器４２０および４２１に供給される。移動平均演算器４１０および４１１は、計算する画素（中心画素）を中心とする矩形領域内の画素値の移動平均を計算する。中心画素の移動に応じ、矩形領域を前画素の計算領域とオーバーラップさせながらずらして移動平均の演算を行う。移動分散演算器４２０および４２１は、計算する画素（中心画素）を中心とする矩形領域の領域内の画素値の分散を計算する。中心画素の移動に応じ、矩形領域を前画素の計算領域とオーバーラップさせながらずらして移動分散の演算を行う。移動平均および移動分散に関して加算重みを求めるのは、ノイズ量の減少をより正確に行うためである。

移動平均演算器４１０および４１１の出力信号が減算器４１２に供給され、移動平均の差が演算され、移動分散演算器４２０および４２１の出力信号が減算器４２２に供給され、移動分散の差が演算され、絶対値演算器４１３および４２３にて絶対値に変換される。移動平均加算判定器４１４および移動分散加算判定器４２４には、ノイズ量推定器４０５の出力信号が供給される。移動平均加算判定器４１４および移動分散加算判定器４２４が上述した画素加算判定器３０４（図５参照）と同様の構成とされ、画素加算判定器４１４および４２４が移動平均差分絶対値および移動分散差分絶対値をそれぞれ指標値として、加算の信頼度である加算重みを出力する。

色差信号Ｃｂの移動平均加算判定器４１４からの加算重みが乗算器４０６に供給され、加算判定器４０４からの加算重みと乗算される。色差信号Ｃｂの移動分散加算判定器４２４からの加算重みが乗算器４２５に供給され、乗算器４０６の出力と乗算される。

他の色差信号Ｃｒに関しても上述した色差信号Ｃｂと同様の構成が設けられている。すなわち、プレフィルタ５００，５０１、ノイズ量推定器５０５、減算器５０２、絶対値演算器５０３、画素加算判定器５０４によって、色差信号Ｃｒの画素差分絶対値を指標値とする加算重みが求められる。色差信号Ｃｒの移動平均差分絶対値を指標値とする加算重みは、プレフィルタ５００，５０１、ノイズ量推定器５０５、移動平均演算器５１０，５１１、減算器５１２、絶対値演算器５１３、移動平均加算判定器５１４によって求められる。色差信号Ｃｒの移動分散差分絶対値を指標値とする加算重みは、プレフィルタ５００，５０１、ノイズ量推定器５０５、移動分散演算器５２０，５２１、減算器５２２、絶対値演算器５２３、移動平均加算判定器５２４によって求められる。

画素差分絶対値を指標値とする加算重みと、移動平均差分絶対値を指標値とする加算重みとが乗算器５０６にて乗算され、乗算器５０６の出力と、移動分散差分絶対値を指標値とする加算重みとが乗算器５２５にて乗算される。乗算器５２５から出力される色差信号Ｃｒに関する加算重みと、上述した色差信号Ｃｂに関する加算重みとが乗算器５２６にて乗算される。乗算器５２６の出力がアップサンプリング回路５２７に供給される。アップサンプリング回路５２７は、色差フォーマットに応じて色差の加算重みを補間し、点数を輝度加算重みに揃える。アップサンプリング回路５２７の出力が乗算器３２６にて乗算される。乗算器３２６の出力が注目する画素の最終的な信頼度を示す加算重みである。加算重みは、輝度画素、輝度移動平均、輝度移動分散、色差画素、色差移動平均、色差移動分散のそれぞれの信頼度を表し、それぞれ０から１の連続値で表される。

加算装置２０５の一例を図８に示す。乗算器６０５によって加算判定装置２０４の出力である加算重みに対し、ＭＣ画に対する帰還係数であるｗを乗じる。乗算器６０５から出力される係数（αで表す）が乗算器６０６に供給され、ＭＣ画に乗じられる。係数αが減算器６０７に供給され、（１−α）が生成され、（１−α）が乗算器６０８に供給され、基準画に乗じられる。乗算器６０６および６０８の出力が加算器６０９によって加算され、加算器６０９からノイズ除去後の画像であるＮＲ画が取り出される。帰還係数ｗは、例えば最初のフレームを０番目とし、以降のフレームを１番目、２番目、・・・・、ｋ番目とした時に、１／（ｋ＋１）とされる。この例では、同一の画像にノイズが存在していると判断されて加算重みが最大値（１）の場合に、α＝１／２となり、画像が相違していると判断されて加算重みが最小値（０）の場合に、α＝０となる。

隠れ領域処理装置２０６の一例を図９に示す。隠れ領域処理装置２０６は、基準画に対して時間的に１枚以上離れた画のＭＣ画を参照画として用いる時、信頼度の低い隠れ領域のＭＣ部分の画質の劣化の伝播を抑えるために備えられている。図９に示すように、減算器６１１により基準画とＭＣ画の差分値が求められ、減算器６１２において差分値から閾値Ｔｈｒが減算される。減算結果がスイッチコントローラ６１３に供給される。信頼度の低い隠れ領域に含まれる画素は、閾値Ｔｈｒよりも大きな画素、すなわち、減算結果が正として検出される。

スイッチ６１４の一方の入力端子に対してＭＣ画の画素が供給され、その他方の入力端子に対して基準画の画素が供給される。スイッチ６１４によって、差分値が閾値Ｔｈｒより大きな画素は、基準画の画素で置き換えられる。スイッチ６１４の出力画像がフレームメモリ２０１（図２参照）に格納され、スイッチ６１４の出力画像が次のフレームの処理において参照画として用いられる。

上述したこの発明の一実施の形態について、処理の具体例に基づいてより詳細に説明する。最初に、静止画処理例えば３枚の静止画を連写により取得し、ノイズ軽減を行う処理について図１０のフローチャートおよび図１１を参照して説明する。時刻ｔ、ｔ＋１、ｔ＋２のそれぞれにおいて撮影された３枚の静止画をそれぞれOrg(t),Org(t+1),Org(t+2)として表記する。

フローチャート中の最初のステップＳ１において、動き予測装置２０２がOrg(t)を基準画とし、Org(t+1)を参照画として動き予測を行い、動きベクトルＭＶを得る。基準画Org(t)に対する参照画Org(t+1)の動きを示す動きベクトルＭＶを得る処理が図１１においては、動き予測ＳＴ１として示されている。

ステップＳ２において、動き補償装置２０３が動きベクトルＭＶを用いて参照画Org(t+1)に対する動き補償を行い、ＭＣ画MC(t+1)を得る。図１１では、ＭＣ画を得る処理がス
テップＳＴ２として示されている。

ステップＳ３では、基準画Org(t)と、動き補償によって位置合わせがなされたＭＣ画MC(t+1)とから加算判定装置２０４が加算判定を行い、加算重みが得られる。図１１では、
加算重みを得る処理がステップＳＴ３として示されている。

ステップＳ４では、基準画Org(t)と、ＭＣ画MC(t+1)とが加算装置２０５において、加
算重みによって重み付け加算される。図１１では、加算処理がステップＳＴ４として示されている。加算によって、ノイズ軽減後のＮＲ画NR(t)が得られる。

次に、ステップＳ５において、動き予測装置２０２がＮＲ画NR(t)を基準画とし、静止
画Org(t+2)を参照画として動き予測を行い、動きベクトルＭＶを得る。基準画NR(t)に対
する参照画Org(t+2)の動きを示す動きベクトルＭＶを得る処理が図１１においては、動き予測ＳＴ５として示されている。

ステップＳ６において、動き補償装置２０３が動きベクトルＭＶを用いて参照画Org(t+2)に対する動き補償を行い、ＭＣ画MC(t+2)を得る。図１１では、ＭＣ画を得る処理がス
テップＳＴ６として示されている。

ステップＳ７では、基準画Org(t)と、動き補償によって位置合わせがなされたＭＣ画MC(t+2)とから加算判定装置２０４が加算判定を行い、加算重みが得られる。図１１では、
加算重みを得る処理がステップＳＴ７として示されている。

ステップＳ８では、基準画Org(t)と、ＭＣ画MC(t+2)とが加算装置２０５において、加
算重みによって重み付け加算される。図１１では、加算処理がステップＳＴ８として示されている。加算によって、ノイズ軽減後のＮＲ画NR'(t)が得られる。

上述したように、基準画に対し、動き補償によってその他の画像を位置合わせし、基準画とＭＣ画とを加算する。加算結果のＮＲ画を次の処理の基準画として用い、同様の処理でＮＲ画を得る。このように、静止画の場合では、再帰的な処理がなされる。

上述した図１０および図１１に示す処理において、動き予測および動き補償がブロック（例えばマクロブロック）単位で行われ、加算判定処理および加算処理が画素単位で行われる。このことは、以下に説明する動画処理においても同様である。また、上述した例は、３枚の静止画を入力する例であるが、２枚または４枚以上の静止画を入力しても同様の再帰的な処理がなされる。

次に、動画処理であって、２枚の動画を加算する処理について、図１２のフローチャートおよび図１３を参照して説明する。時刻ｔにおいて撮影された最新の画像（フレーム）をそれぞれOrg(t)として表記し、１フレーム前の処理後の画像をNR(t-1)と表記する。上
述した静止画処理では、連写によって複数の静止画を得ているが、動画処理では、連続的に撮影を行っており、所定のフレームレート例えば１／３０秒間隔で各フレームが入力される。

最初のステップＳ１１において、動き予測装置２０２がOrg(t)を基準画とし、NR(t-1)
を参照画として動き予測を行い、動きベクトルＭＶを得る。基準画Org(t)に対する参照画NR(t-1)の動きを示す動きベクトルＭＶを得る処理が図１３においては、動き予測ＳＴ１
１として示されている。

ステップＳ１２において、動き補償装置２０３が動きベクトルＭＶを用いて参照画NR(t-1)に対する動き補償を行い、ＭＣ画MC(t-1)を得る。図１３では、ＭＣ画を得る処理がステップＳＴ１２として示されている。

ステップＳ１３では、基準画Org(t)と、動き補償によって位置合わせがなされたＭＣ画MC(t-1)とから加算判定装置２０４が加算判定を行い、加算重みが得られる。図１３では
、加算重みを得る処理がステップＳＴ１３として示されている。

ステップＳ１４では、基準画Org(t)と、ＭＣ画MC(t-1)とが加算装置２０５において、
加算重みによって重み付け加算される。図１３では、加算処理がステップＳＴ１４として示されている。加算によって、ノイズ軽減後のＮＲ画(NR(t))が得られる。次のフレーム
の画像Org(t+1)の処理は、ＮＲ画NR(t)が参照画として使用されて上述したのと同様の処
理がなされる。

このように動画処理時には、最新の時刻の画像に対して過去の画像を位置合わせして加算する。動画では、動き予測を加算枚数の回数だけ行う時間が少ないので、動き予測は、１枚前の画像に対してのみ行い、２枚以上離れた時刻の画像については、１枚前の時に加算したＭＣ画を記憶しておき、１枚前の画像との動きベクトルを参照して動き補償を行う。これにより動き予測の回数を１枚の画像について１回で行うことができる。

図１４のフローチャートおよび図１５は、動画処理であって、３枚の動画を加算する処理を示す。時刻ｔにおいて撮影された最新の画像（フレーム）をそれぞれOrg(t)として表記し、１フレーム前の処理後の画像をNR(t-1)と表記し、１枚前の時に加算し、記憶され
ているＭＣ画をMC(t-2)と表記する。

最初のステップＳ２１において、動き予測装置２０２がOrg(t)を基準画とし、NR(t-1)
を参照画として動き予測を行い、動きベクトルＭＶを得る。基準画Org(t)に対する参照画NR(t-1)の動きを示す動きベクトルＭＶを得る処理が図１５においては、動き予測ＳＴ２
１として示されている。

ステップＳ２２において、動き補償装置２０３が動きベクトルＭＶを用いて参照画NR(t-1)に対する動き補償を行い、ＭＣ画MC(t-1)を得る。図１５では、ＭＣ画MC(t-1)を得る
処理がステップＳＴ２２として示されている。

ステップＳ２３では、基準画Org(t)と、動き補償によって位置合わせがなされたＭＣ画MC(t-1)とから加算判定装置２０４が加算判定を行い、加算重みが得られる。図１５では
、加算重みを得る処理がステップＳＴ２３として示されている。

ステップＳ２４では、基準画Org(t)と、ＭＣ画MC(t-1)とが加算装置２０５において、
加算重みによって重み付け加算される。図１５では、加算処理がステップＳＴ２４として示されている。加算によって、ノイズ軽減後のＮＲ画(NR(t))が得られる。

ステップＳ２５において、動き補償装置２０３が動きベクトルＭＶを用いてＭＣ画MC(t-2)に対する動き補償を行い、ＭＣ画MC'(t-2)を得る。図１５では、ＭＣ画MC'(t-2)を得
る処理がステップＳＴ２５として示されている。

ステップＳ２６では、基準画としてのＮＲ画NR(t)と、ＭＣ画MC'(t-2)とから加算判定
装置２０４が加算判定を行い、加算重みが得られる。図１５では、加算重みを得る処理がステップＳＴ２６として示されている。

ステップＳ２７では、ＮＲ画NR(t)と、ＭＣ画MC'(t-2)とが加算装置２０５において、
加算重みによって重み付け加算される。図１５では、加算処理がステップＳＴ２７として示されている。加算によって、ノイズ軽減後のＮＲ画NR'(t)が得られる。

上述した処理のように、動き予測は、ステップＳ２１（ＳＴ２１）の一度のみ行い、動きベクトルＭＶをNR(t-1)およびMC(t-2)に適用して動き補償を行うことで、計算量を大きく増やさずに３枚の画像を加算することができる。

図１６のフローチャートおよび図１７は、３枚の動画を加算する処理および隠れ領域処理を示す。時刻ｔにおいて撮影された最新の画像（フレーム）をそれぞれOrg(t)として表記し、１フレーム前の処理後の画像をNR(t-1)と表記し、１枚前の時に加算し、記憶され
ているＭＣ画をMC'(t-2)と表記する。

ステップＳ３１（ＳＴ３１）の動き予測、並びにステップＳ３２（ＳＴ３２）の動き補償は、図１４および図１５におけるステップＳ２１（ＳＴ２１）およびステップＳ２２（ＳＴ２２）と対応する処理である。

ステップＳ３３（ＳＴ３３）の加算判定、並びにステップＳ３４（ＳＴ３４）の加算は、図１４および図１５におけるステップＳ２３（ＳＴ２３）およびステップＳ２４（ＳＴ２４）と対応する処理である。加算によって、ノイズ軽減後のＮＲ画NR(t)が得られる。

ステップＳ３５において、次のフレームのノイズ軽減処理のために、隠れ領域処理装置２０６がＭＣ画MC(t-1)に対して隠れ領域処理を行い、ＭＣ画MC'(t-1)が得られる。図１
７では，動き補償によって移動物体に隠されていた隠れ領域の範囲がＲで示され、隠れ領域処理がステップＳＴ３５として示されている。

ステップＳ３６において、動き補償装置２０３が動きベクトルＭＶを用いてＭＣ画MC'(t-2)に対する動き補償を行い、ＭＣ画MC''(t-2)を得る。図１７では、ＭＣ画MC''(t-2)を得る処理がステップＳＴ３６として示されている。

ステップＳ３７では、基準画としてのＮＲ画NR(t)と、ＭＣ画MC''(t-2)とから加算判定装置２０４が加算判定を行い、加算重みが得られる。図１７では、加算重みを得る処理がステップＳＴ３７として示されている。

ステップＳ３８では、ＮＲ画NR(t)と、ＭＣ画MC''(t-2)とが加算装置２０５において、加算重みによって重み付け加算される。図１７では、加算処理がステップＳＴ３８として示されている。加算によって、ノイズ軽減後のＮＲ画NR'(t)が得られる。

上述した処理のように、単位時間（１フレーム）前の処理画NR(t-1)を動き補償した画
像MC(t-1)に対し、隠れ領域処理を行いMC'(t-1)を作成し、それを次の時間のノイズ軽減
処理で用いることによって、隠れ領域での画像劣化の伝播を抑えて３枚の画像の加算を行うことができる。

次に、この発明の他の実施の形態について説明する。上述したこの発明の一実施の形態は、基準とする画像に対してその他の画像をブロック単位で動き補償したＭＣ画を作成し、画素単位の加算判定を行うことによって、手振れや、動被写体に対してもノイズ軽減効果を得ることができる。しかしながら、特定の条件の下では、動き推定および動き補償に起因する劣化が目立つ問題が生じる。

すなわち、多数のＭＣ画を加算する場合で、複数のＭＣ画の同一位置にほぼ同一のブロック歪みが生じており、且つその歪みの画素値が基準画の画素値に近い場合には、加算による劣化が蓄積し、処理画像にブロック状の歪みが生じる。実際には、カメラの動きが少ない状況で、複数の画像を撮影した際に、基準画のみに動被写体が存在し、他の画像では、その動被写体が撮影されていない状況で、動被写体部分の動き推定を正しく行うことができず、ほぼ全てのＭＣ画においてほぼ同一のブロック状歪みが発生する。

さらに、特定の条件の下では、目立つノイズの軽減効果が不十分となる問題が生じる可能性がある。すなわち、平坦部に生じる空間的に大きなサイズの色ノイズは、その大きさに加えて振幅が大きく、加算判定において加算重みを大きくすると判定できず、ノイズ除去が困難である。

これらの問題の解消のために、基準画とＭＣ画の加算判定を画素単位で行う時に、次の操作を行う。まず、ＭＣ画に生じるブロック歪みについて検討すると、ノイズの存在する領域では、ブロック境界がノイズに紛れて目立たず、ノイズの少ない領域では、ブロック境界が目立つ。そこで、ノイズが少なく、且つ平坦な領域、すなわち、ノイズが目立ちやすい領域を検出し、その領域では、加算重みをより小とする補正を行う。この加算重みの補正によって、ＭＣ画に生じるブロック歪みを抑制することができる。

平坦部に生じる空間的に大きなサイズの色ノイズの軽減処理について説明する。基準画とＭＣ画の画素単位の色差差分が大きな場合に、平坦で且つ色ノイズの生じる領域以上の範囲で演算した色差差分の平均値が小さな領域は、色ノイズと判定して、加算重みを増大させる。

このように加算重みを補正する処理を行うこの発明の他の実施の形態によるノイズ軽減装置の構成を図１８に示す。ノイズ軽減装置は、フレームメモリ２０１、動き予測装置２０２、動き補償装置２０３、加算判定装置２０４、加算重み補正装置２０７、加算装置２０５を有する。なお、一実施の形態と同様に、隠れ領域処理装置を備えても良い。

加算判定装置２０４から出力される加算重みを補正する加算重み補正装置２０７以外の構成は、上述した一実施の形態と同様である。すなわち、加算判定装置（図３に示される構成）から出力される加算重みを補正する加算重み補正装置を示す。上述した一実施の形態における撮像装置の構成（図１）、ノイズ軽減装置の構成（図２）、並びに加算判定装置に関連する構成および特性（図４等）は、他の実施の形態においても同様である。

図１９は、加算判定装置（図３に示される構成）から出力される加算重みを補正する加算重み補正装置を示す。加算判定装置から出力される加算重みが乗算器３３２に供給される。乗算器３３２に対して、上述した色ノイズの抑制を考慮した加算判定器３３１で生成された加算重みが供給される。

乗算器３３２の出力信号がクリップ回路３３３に供給され、クリップ回路３３３によって１を越える値が１にクリップされる。クリップ回路３３３の出力信号が乗算器３３４に供給される。乗算器３３４に対して、上述したＭＣ画ブロックノイズの抑制を考慮した加算判定器３３６で生成された加算重みが供給される。乗算器３３４の出力にノイズ対策のために補正された加算重みが得られる。この加算重みが加算装置２０５に供給される。

ブロックノイズ対策の加算判定器３３６に対して加算器３３５の出力信号が供給される。加算器３３５の一つの入力として、プレフィルタ３００を介した輝度基準画に関して輝度移動分散演算器３２０で求められた移動分散が供給され、その他の入力として、アップサンプリング回路３３８の出力信号が供給される。

アップサンプリング回路３３８に対して加算器３３７の出力信号が供給される。加算器３３７の一つの入力として、プレフィルタ４００を介した色差（Ｃｂ）基準画に関して色差移動分散演算器４２０で求められた移動分散が供給され、その他の入力として、プレフィルタ４００を介した色差（Ｃｒ）基準画に関して色差移動分散演算器５２０で求められた移動分散が供給される。輝度および色差の移動分散を演算する矩形領域の大きさとが同一となるように設定されている。アップサンプリング回路３３８は、画素数が輝度信号に比して少ない色差信号に対する補間のために設けられている。

加算判定器３３６は、加算器３３５から供給される入力信号（分散値の和）に対して図２０に示すように、加算重みを補正する。入力信号が判定の閾値ＴＨより小さい範囲では、入力信号に対応して増加する加算重みを出力し、入力信号が閾値ＴＨ以上の範囲では、１の値の加算重みを出力する。１に設定された加算重みは、加算判定装置からの加算重みに乗算されても影響を与えない。

基準画の分散値の和が小さい領域は、ノイズが少なく、且つ平坦な領域、すなわち、ノイズが目立ちやすい領域と推定できる。そのような領域では、加算重みをより小とする補正を行うことによって、ＭＣ画に生じるブロック歪みを抑制することができる。１より小に設定された加算重みは、加算判定装置からの加算重みに乗算され、加算重みを減少させる。

色ノイズ対策の加算判定器３３１には、輝度移動分散演算器３２０からの輝度基準画の分散と、色差移動平均演算器３４０からの移動平均とが入力される。色差（Ｃｂ）基準画の画素絶対値差分と、色差（Ｃｒ）基準画の画素絶対値差分とが加算器３３９で加算され、加算器３３９から出力される色差差分絶対値の移動平均が移動平均演算器３４０において演算される。移動平均演算器３２０および３４０は、値を演算する画素を中心とする矩形領域の移動平均を求める。この矩形領域の大きさは、除去しようとする色ノイズよりも大きな領域とされる。

加算判定器３３１は、図２１に示すような処理を行うハードウェアまたはソフトウェアの構成とされる。まず、最初のステップＳ４１において、輝度分散値がある閾値の範囲内にあるか否かが判定される。閾値の範囲内にあることは、平坦領域であることを意味する。平坦領域でない場合には、ステップＳ４４において、加算重みが１に設定され、処理が終了する。１に設定された加算重みは、加算判定装置からの加算重みに乗算されても影響を与えない。

ステップＳ４１において平坦領域と判定されると、色差の差分絶対値の移動平均がある閾値の範囲内にあるか否かが判定される。ステップＳ４１の判定結果が肯定の場合は、色ノイズ領域と判定され、ステップＳ４３の処理がなされる。ステップＳ４１の判定結果が否定の場合には、ステップＳ４４の処理（加算重み＝１）がされる。

ステップＳ４３では、加算重みとして１より大きな値を設定して処理を終了する。１より大に設定された加算重みは、加算判定装置からの加算重みに乗算され、加算重みを増大させ、色ノイズの除去効果を増加させる。閾値および設定する加算重みの具体的数値は、視覚的な影響を考慮して設定される。若し、１より大の加算重みを乗算した結果が１を越えるような値となった場合には、クリップ回路３３３により１とされる。

上述したこの発明の他の実施の形態によれば、一実施の形態と同様のノイズ軽減効果に加えて、ブロック歪みの発生を抑えることができ、また、平坦部に生じる空間的に大きなサイズの色ノイズを軽減することができる。

以上、この発明の実施の形態について具体的に説明したが、この発明は、上述の実施の形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。例えば上述した例では、基準画とＭＣ画とを加重平均しているが、加算するようにしても良い。すなわち、手振れもノイズも無いが暗い画像を、位置合わせして加算判定をして加算重みに応じて複数枚加算し、最後に画素毎に正規化を行うようにしても良い。

この発明の一実施の形態の全体の構成を示すブロック図である。 この発明の一実施の形態におけるノイズ軽減装置の一例のブロック図である。 この発明の一実施の形態における加算判定装置の一例のブロック図である。 加算判定装置内のノイズ量推定器が備えている画素値対ノイズ量のテーブルを概念的に示す略線図である。 加算判定装置内の画素加算判定器の一例を示すブロック図である。 使用可能な判定曲線のいくつかの例を示す略線図である。 判定曲線の一例を示す略線図である。 加算判定装置内の加算装置の一例を示すブロック図である。 加算判定装置内の隠れ領域処理装置の一例を示すブロック図である。 この発明の一実施の形態における静止画処理を説明するためのフローチャートである。 静止画処理における参照関係を説明するための略線図である。 この発明の一実施の形態における２枚の動画を加算する動画処理を説明するためのフローチャートである。 ２枚の動画を加算する動画処理における参照関係を説明するための略線図である。 この発明の一実施の形態における３枚の動画を加算する動画処理を説明するためのフローチャートである。 ３枚の動画を加算する動画処理における参照関係を説明するための略線図である。 この発明の一実施の形態における３枚の動画を加算する動画処理（隠れ領域処理を含む）を説明するためのフローチャートである。 ３枚の動画を加算する動画処理（隠れ領域処理を含む）における参照関係を説明するための略線図である。 この発明の一実施の形態におけるノイズ軽減装置の一例のブロック図である。 この発明の他の実施の形態の加算重み補正装置の構成例を示すブロック図である。 この発明の他の実施の形態におけるブロックノイズ軽減処理を説明するための略線図である。 この発明の他の実施の形態における色ノイズ軽減処理を説明するための略線図である。

１０１・・・撮像素子
１０２・・・カメラ信号処理部
１０３・・・ノイズ軽減装置
１０４・・・カメラ制御部
２０１・・・フレームメモリ
２０２・・・動き予測装置
２０３・・・動き補償装置
２０４・・・加算判定装置
２０５・・・加算装置
２０６・・・隠れ領域処理装置
２０７・・・加算重み補正装置
３００，３０１，４００，４０１，５００，５０１・・・プレフィルタ
３１０，３１１・・・輝度移動平均演算器
４１０，４１１，５１０，５１１・・・色差移動分散演算器
３２０，３２１・・・輝度移動分散演算器
４２０，４２１，５２０，５２１・・・色差移動分散演算器
３１３，３２３，４１３，４２３，５１３，５２３・・・絶対値演算器
３０５・・・輝度ノイズ量推定器
４０５・・・色差（Ｃｂ）ノイズ量推定器
５０５・・・色差（Ｃｒ）ノイズ量推定器
３０４・・・輝度画素加算判定器
３１４・・・輝度移動平均加算判定器
３２４・・・輝度移動分散加算判定器
４０４，５０４・・・色差画素加算判定器
４１４，５１４・・・色差移動平均加算判定器
４２４，５２４・・・色差移動分散加算判定器
３３８，５２７・・・アップサンプリング回路
６０１・・・ノイズ量→判定閾値変換器
６０２・・・判定曲線生成器
３３１・・・色ノイズ対策の加算判定装置
３３６・・・ＭＣ画のブロック歪み対策の加算判定装置

Claims (11)

1. 時間的に連続する第１および第２静止画を使用して、ノイズが軽減された画像が出力される画像処理方法であって、
   前記第２静止画に対し、ブロック単位の動き補償を行うステップと、
   前記第１静止画と前記動き補償を行った前記第２静止画と撮影条件に基づくノイズ量とを使用して加算重みを設定するステップと、
   前記第１静止画および前記動き補償を行った前記第２静止画を、前記加算重みに応じて加算もしくは加重平均して処理後の画像を得るステップと
   を有する画像処理方法。
2. 時間的に連続する第１、第２および第３静止画を使用して、ノイズが軽減された画像を生成する画像処理方法であって、
   前記第２静止画に対し、ブロック単位の動き補償を行うステップと、
   前記第１静止画と前記動き補償を行った前記第２静止画と撮影条件に基づくノイズ量とを使用して第１加算重みを設定するステップと、
   前記第１静止画および動き補償を行った前記第２静止画を、前記第１加算重みに応じて加算もしくは加重平均して処理後の画像を得るステップと
   前記第３静止画に対し、ブロック単位の動き補償を行うステップと、
   前記処理後の画像と動き補償を行った第３静止画と撮影条件に基づくノイズ量とを使用して第２加算重みを設定するステップと、
   前記処理後の画像および動き補償を行った前記第３静止画を、前記第２加算重みに応じて加算もしくは加重平均して処理後の画像を得るステップと
   を有する画像処理方法。
3. 単位時間間隔で入力される動画に対して、ノイズ軽減を行う画像処理方法であって、
   １単位時間前の処理後の画像に対し、ブロック単位の動き補償を行うステップと、
   現在の動画と動き補償を行った前記１単位時間前の処理後の画像と撮影条件に基づくノイズ量とを使用して加算重みを設定するステップと、
   現在の動画および動き補償を行った前記１単位時間前の処理後の画像を、前記加算重みに応じて加算もしくは加重平均して、前記現在の動画に対応するする処理後の画像を得るステップと
   を有する画像処理方法。
4. 単位時間間隔で入力される動画に対して、ノイズ軽減を行う画像処理方法であって、
   現在の動画と１単位時間前の処理後の画像とからブロック単位の動きベクトルを求め、前記１単位時間前の処理後の画像と、２単位時間前の動き補償後の画像に対し、前記動きベクトルによって動き補償を行うステップと、
   前記現在の動画と動き補償を行った前記１単位時間前の処理後の画像と撮影条件に基づくノイズ量とを使用して第１加算重みを設定するステップと、
   現在の動画および動き補償を行った前記１単位時間前の処理後の画像を、前記第１加算重みに応じて加算もしくは加重平均して、第１の処理後の画像を得るステップと、
   動き補償された前記２単位時間前の動き補償後の画像と前記第１の処理後の画像と撮影条件に基づくノイズ量とを使用して第２加算重みを設定するステップと、
   動き補償された前記２単位時間前の動き補償後の画像および前記第１の処理後の画像を、前記第２加算重みに応じて加算もしくは加重平均して、前記現在の動画に対応する第２の処理後の画像を得るステップと
   を有する画像処理方法。
5. さらに、前記加算重みまたは前記第１および第２加算重みを補正する補正ステップを有し、
   前記補正ステップは、
   前記処理後の画像にブロック歪みが発生する場合を検出し、
   検出された前記ブロック歪みを軽減するように、前記加算重みまたは前記第１および第２加算重みを補正する
   請求項１乃至４に記載の画像処理方法。
6. さらに、前記加算重みまたは前記第１および第２加算重みを補正する補正ステップを有し、
   前記補正ステップは、
   前記処理後の画像に平坦部で生じる大きなサイズの色ノイズを検出し、
   検出された前記色ノイズを軽減するように、前記加算重みまたは前記第１および第２加算重みを補正する
   請求項１乃至４に記載の画像処理方法。
7. 前記画素単位で行われる加算の信頼度判定は、
   画素値対ノイズ量のテーブルを複数個有し、撮影条件に応じて選択された前記テーブルによってノイズ量を推定するステップと、
   推定した前記ノイズ量に応じて、二つの画像の空間的に同一位置の二つの画素に関する指標値と加算重みとの関係を示すテーブルを生成するステップと、
   前記テーブルによって前記指標値に対する加算重みを求めるステップと
   からなり、
   前記指標値は、前記二つの画素の画素差分絶対値と、前記二つの画素の移動平均差分絶対値と、前記二つの画素の移動分散差分絶対値とである
   請求項１乃至４に記載の画像処理方法。
8. 時間的に連続する第１および第２静止画を使用して、ノイズが軽減された画像が生成する画像処理装置であって、
   前記第２静止画に対し、ブロック単位の動き補償を行う動き補償装置と、
   前記第１静止画と前記動き補償を行った前記第２静止画と撮影条件に基づくノイズ量とを使用して加算重みを設定する判定装置と、
   前記第１静止画および前記動き補償を行った前記第２静止画を、前記加算重みに応じて加算もしくは加重平均して処理後の画像を得る加算装置と
   を有する画像処理装置。
9. 時間的に連続する第１、第２および第３静止画を使用して、ノイズが軽減された画像を生成する画像処理装置であって、
   動き補償装置と、判定装置と、加算装置とを備え、
   前記動き補償装置によって、前記第２静止画に対し、ブロック単位の動き補償を行い、
   前記判定装置によって、前記第１静止画と動き補償を行った前記第２静止画と撮影条件に基づくノイズ量とを使用して第１加算重みを設定し、
   前記加算装置によって、前記第１静止画および動き補償を行った前記第２静止画を、前記第１加算重みに応じて加算もしくは加重平均を行い処理後の画像を得、
   前記動き補償装置によって、前記第３静止画に対し、ブロック単位の動き補償を行い、
   前記判定装置によって、前記処理後の画像と動き補償を行った第３静止画と撮影条件に基づくノイズ量とを使用して第２加算重みを設定し、
   前記加算装置によって、前記処理後の画像および動き補償を行った前記第３静止画を、前記第２加算重みに応じて加算もしくは加重平均を行い処理後の画像を得る
   ようにした画像処理装置。
10. 単位時間間隔で入力される動画に対して、ノイズ軽減を行う画像処理装置であって、
    動き補償装置と、判定装置と、加算装置とを備え、
    前記動き補償装置によって、１単位時間前の処理後の画像に対し、ブロック単位の動き補償を行い、
    前記判定装置によって、現在の動画と動き補償を行った前記１単位時間前の処理後の画像と撮影条件に基づくノイズ量とを使用して加算重みを設定し、
    前記加算装置によって、現在の動画および動き補償を行った前記１単位時間前の処理後の画像を、前記加算重みに応じて加算もしくは加重平均して、前記現在の動画に対応するする処理後の画像を得る
    ようにした画像処理装置。
11. 単位時間間隔で入力される動画に対して、ノイズ軽減を行う画像処理装置であって、
    動き補償装置と、判定装置と、加算装置とを備え、
    現在の動画と１単位時間前の処理後の画像とからブロック単位の動きベクトルを求め、前記１単位時間前の処理後の画像と、２単位時間前の動き補償後の画像に対し、前記動きベクトルによって動き補償を行い、
    前記現在の動画と動き補償を行った前記１単位時間前の処理後の画像と撮影条件に基づくノイズ量とを使用して第１加算重みを設定し、
    現在の動画および動き補償を行った前記１単位時間前の処理後の画像を、前記第１加算重みに応じて加算もしくは加重平均して、第１の処理後の画像を得、
    動き補償された前記２単位時間前の動き補償後の画像と前記第１の処理後の画像と撮影条件に基づくノイズ量とを使用して第２加算重みを設定し、
    動き補償された前記２単位時間前の動き補償後の画像および前記第１の処理後の画像を、前記第２加算重みに応じて加算もしくは加重平均して、前記現在の動画に対応する第２の処理後の画像を得る
    ようにした画像処理装置。

Images