JP2001126061A - 画像処理装置および画像処理方法、並びにデータ処理装置およびデータ処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 動画像データから、より効果的に、ノイズを
除去する。 【解決手段】 ノイズ量推定部２では、ＭＥ部１で検出
された動きベクトルに基づいて、入力画素の動きが判定
され、その判定結果に基づいて、その入力画素の静止し
ている部分のノイズ量が推定される。ノイズリダクショ
ン部３では、入力画素のノイズ量に基づいて、その入力
画素の信頼性を表す入力信頼度が計算される。一方、メ
モリ５には、１フレーム前の入力画素を処理した処理結
果としての出力画素が記憶されており、メモリ４には、
その出力画素の信頼性を表す出力信頼度が記憶されてい
る。そして、ノイズリダクション部３では、入力画素
と、その入力画素に対応する、１フレーム前の出力画素
との重み付け加算が、それぞれの入力信頼度と出力信頼
度から求められた値を重みとして行われ、その加算値
が、入力画素に対する出力画素として出力される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び画像処理方法、並びにデータ処理装置およびデータ処
理方法に関し、特に、例えば、動画像等のデータに含ま
れるノイズの除去を、より効果的に行うことができるよ
うにする画像処理装置および画像処理方法、並びにデー
タ処理装置およびデータ処理方法に関する。

【０００２】

【従来の技術】例えば、伝送や再生等された画像データ
や音声データなどのデータには、一般に、時間的に変動
するノイズが含まれているが、データに含まれるノイズ
を除去する方法としては、従来より、入力データ全体の
平均（以下、適宜、全平均という）や、入力データの局
所的な平均である移動平均を求めるものなどが知られて
いる。

【０００３】

【発明が解決しようとする課題】しかしながら、全平均
を計算する方法は、データに含まれるノイズの度合い、
即ち、データのＳ／Ｎ（Signal/Noise）が一定である場
合は有効であるが、データのＳ／Ｎが変動する場合に
は、Ｓ／Ｎの悪いデータが、Ｓ／Ｎの良いデータに影響
し、効果的にノイズを除去することが困難となることが
ある。

【０００４】また、移動平均を計算する方法では、入力
されたデータから時間的に近い位置にあるデータの平均
が求められるため、その処理結果は、データのＳ／Ｎの
変動の影響を受ける。即ち、データのＳ／Ｎの良い部分
については、処理結果のＳ／Ｎも良くなるが、Ｓ／Ｎの
悪い部分については、処理結果のＳ／Ｎも悪くなる。

【０００５】本発明は、このような状況に鑑みてなされ
たものであり、データに含まれるノイズの度合いが一定
の場合だけでなく、時間的に変動する場合であっても、
そのノイズを、効果的に除去することができるようにす
るものである。

【０００６】

【課題を解決するための手段】本発明の画像処理装置
は、入力画素の動きを判定する動き判定手段と、入力画
素の動きの判定結果に基づいて、その入力画素の静止し
ている部分のノイズ量を推定する推定手段と、ノイズ量
に基づいて、入力画素の信頼性を表す入力信頼度を計算
する入力信頼度計算手段と、出力画素の信頼性を表す出
力信頼度を計算する出力信頼度計算手段と、入力信頼度
および出力信頼度に基づいて、入力画素を処理し、出力
画素を出力する処理手段とを含むことを特徴とする。

【０００７】本発明の画像処理方法は、入力画素の動き
を判定する動き判定ステップと、入力画素の動きの判定
結果に基づいて、その入力画素の静止している部分のノ
イズ量を推定する推定ステップと、ノイズ量に基づい
て、入力画素の信頼性を表す入力信頼度を計算する入力
信頼度計算ステップと、出力画素の信頼性を表す出力信
頼度を計算する出力信頼度計算ステップと、入力信頼度
および出力信頼度に基づいて、入力画素を処理し、出力
画素を出力する処理ステップとを含むことを特徴とす
る。

【０００８】本発明のデータ処理装置は、入力データの
信頼性を表す入力信頼度を計算する入力信頼度計算手段
と、出力データの信頼性を表す出力信頼度を計算する出
力信頼度計算手段と、出力信頼度の補正に用いる出力補
正項を算出する出力補正項算出手段と、出力信頼度を、
出力補正項に基づいて補正する出力補正手段と、入力信
頼度、および補正された出力信頼度に基づいて、入力デ
ータを処理し、出力データを出力する処理手段とを含む
ことを特徴とする。

【０００９】本発明のデータ処理方法は、入力データの
信頼性を表す入力信頼度を計算する入力信頼度計算ステ
ップと、出力データの信頼性を表す出力信頼度を計算す
る出力信頼度計算ステップと、出力信頼度の補正に用い
る出力補正項を算出する出力補正項算出ステップと、出
力信頼度を、出力補正項に基づいて補正する出力補正ス
テップと、入力信頼度、および補正された出力信頼度に
基づいて、入力データを処理し、出力データを出力する
処理ステップとを含むことを特徴とする。

【００１０】本発明の画像処理装置および画像処理方法
においては、入力画素の動きが判定され、その判定結果
に基づいて、その入力画素の静止している部分のノイズ
量が推定される。さらに、そのノイズ量に基づいて、入
力画素の信頼性を表す入力信頼度が計算され、また、出
力画素の信頼性を表す出力信頼度が計算される。そし
て、入力信頼度および出力信頼度に基づいて、入力画素
が処理され、出力画素が出力される。

【００１１】本発明のデータ処理装置およびデータ処理
方法においては、入力データの信頼性を表す入力信頼度
が計算されるとともに、出力データの信頼性を表す出力
信頼度が計算され、出力信頼度の補正に用いる出力補正
項が算出される。そして、出力信頼度が、出力補正項に
基づいて補正され、入力信頼度、および補正された出力
信頼度に基づいて、入力データが処理され、出力データ
が出力される。

【００１２】

【発明の実施の形態】以下、本発明を適用したノイズ除
去装置について説明するが、その前に、本発明によるノ
イズ除去の原理について説明する。

【００１３】いま、説明を簡単にするために、図１
（Ａ）に示すような、真値が一定で、かつ時間的に変動
するノイズが重畳された入力データについて、その足し
込み（積算）を行うことで、時間的に変動するノイズを
除去することを考えると、ノイズの度合いとしての、例
えば、ノイズのレベルが大きい入力データ（従って、Ｓ
／Ｎの悪いデータ）については、その重みを小さくし
（あまり考慮しないようにする）、ノイズのレベルの小
さい入力データ（従って、Ｓ／Ｎの良いデータ）につい
ては、その重みを大きくして足し込みを行うことによ
り、ノイズを効果的に除去することができる。

【００１４】従って、入力データの評価値として、例え
ば、図１（Ｂ）に示すような、入力データの、真値に対
する近さ、即ち、入力データが真値であることの信頼性
を表す信頼度を求め、その信頼度に対応した重み付けを
入力データに対して行いながら、その平均（重み付け加
算値）を計算することで、ノイズを効果的に除去するこ
とができる。

【００１５】そこで、いま、時刻ｔにおける入力デー
タ、出力データ、入力データの信頼度を、それぞれｘ
（ｔ），ｙ（ｔ），αｘ（ｔ）と表すと、次式にしたが
い、入力データｘ（ｔ）について、その信頼度αｘ
（ｔ）に対応した重みを用いた重み付け加算を行うこと
で、ノイズを効果的に除去した出力データｙ（ｔ）を得
ることができる。

【００１６】

【数１】 ・・・（１） ここで、式（１）では、入力データｘ（ｔ）には、その
信頼度αｘ（ｔ）が大きいほど、大きな重みが与えられ
る。

【００１７】式（１）から、現在時刻ｔから１サンプル
前の出力データｙ（ｔ−１）は、次式で求められる。

【００１８】

【数２】 ・・・（２）

【００１９】また、出力データｙ（ｔ）についても、そ
の出力データｙ（ｔ）の評価値として、真値に対する近
さ、即ち、出力データｙ（ｔ）が真値であることの信頼
性を表す信頼度αｙ（ｔ）を導入し、現在時刻ｔから１
サンプル前の出力データｙ（ｔ−１）の信頼度αｙ（ｔ
−１）を、次式で定義する。

【００２０】

【数３】 ・・・（３） ここで、式（３）によれば、出力データｙ（ｔ−１）の
信頼度αｙ（ｔ−１）は、それまでに処理された入力デ
ータｘ（ｉ）の信頼度αｘ（ｉ）の積算値で与えられて
おり（ｉ＝０，１，２，・・・，ｔ−１）、従って、出
力データｙ（ｔ−１）の信頼度αｙ（ｔ−１）は、いま
までに入力された入力データが真値に近いものが多けれ
ば大きくなり、少なければ小さくなることになる。即
ち、出力データｙ（ｔ−１）の信頼度αｙ（ｔ−１）に
は、いままでに入力された入力データの真値に対する近
さ（信頼性）が反映される。そして、いままでに入力さ
れた入力データが真値に近いということは、出力データ
ｙ（ｔ−１）も真値に近いということになり、逆に、い
ままでに入力された入力データが真値から離れていると
いうことは、出力データｙ（ｔ−１）も真値から離れて
いるということになる。従って、式（３）で表される信
頼度αｙ（ｔ−１）は、出力データｙ（ｔ−１）の真値
に対する近さを表すことになる。

【００２１】式（１）乃至（３）から、出力データｙ
（ｔ）と、その信頼度αｙ（ｔ）は、式（４）と（５）
でそれぞれ表される。

【００２２】

【数４】 ・・・（４） αｙ（ｔ）＝αｙ（ｔ−１）＋αｘ（ｔ） ・・・（５）

【００２３】また、時刻ｔにおいて、出力データｙ
（ｔ）を求めるのに用いる重みを、ｗ（ｔ）と表し、こ
れを、次式で定義する。

【００２４】 ｗ（ｔ）＝αｙ（ｔ−１）／（αｙ（ｔ−１）＋αｘ（ｔ）） ・・・（６）

【００２５】式（６）から、次式が成り立つ。

【００２６】 １−ｗ（ｔ）＝αｘ（ｔ）／（αｙ（ｔ−１）＋αｘ（ｔ）） ・・・（７）

【００２７】式（６）および（７）を用いると、式
（４）における出力データｙ（ｔ）は、次のような乗算
と加算による重み付け平均（重み付け加算）によって表
すことができる。

【００２８】 ｙ（ｔ）＝ｗ（ｔ）ｙ（ｔ−１）＋（１−ｗ（ｔ））ｘ（ｔ） ・・・（８）

【００２９】なお、式（８）で用いる重みｗ（ｔ）（お
よび１−ｗ（ｔ））は、式（６）から、１サンプル前の
出力データｙ（ｔ−１）の信頼度αｙ（ｔ−１）と、現
在の入力データｘ（ｔ）の信頼度αｘ（ｔ）とから求め
ることができる。また、式（５）における現在の出力デ
ータｙ（ｔ）の信頼度αｙ（ｔ）も、その１サンプル前
の出力データｙ（ｔ−１）の信頼度αｙ（ｔ−１）と、
現在の入力データｘ（ｔ）の信頼度αｘ（ｔ）とから求
めることができる。

【００３０】ここで、入力データｘ（ｔ）の信頼度αｘ
（ｔ）、または出力データｙ（ｔ）の信頼度αｙ（ｔ）
として、それぞれの時間的近傍にある幾つかの入力デー
タまたは出力データの分散σｘ（ｔ）２、またはσｙ
（ｔ）２の逆数を用いることとすると、即ち、信頼度α
ｘ（ｔ），信頼度αｙ（ｔ）を、式 αｘ（ｔ）＝１／σｘ（ｔ）２ αｙ（ｔ）＝１／σｙ（ｔ）２ ・・・（９） とおくと、式（８）における重みｗ（ｔ）は、次式で求
めることができる。

【００３１】 ｗ（ｔ）＝σｘ（ｔ）２／（σｙ（ｔ−１）２＋σｘ（ｔ）２） ・・・（１０）

【００３２】この場合、式（８）における１−ｗ（ｔ）
は、次式で求めることができる。

【００３３】 ｗ（ｔ）＝σｙ（ｔ−１）２／（σｙ（ｔ−１）２＋σｘ（ｔ）２） ・・・（１１）

【００３４】また、σｙ（ｔ）２は、次式で求めること
ができる。

【００３５】 σｙ（ｔ）２＝ｗ（ｔ）２σｙ（ｔ−１）２＋（１−ｗ（ｔ））２σｘ（ ｔ）２ ・・・（１２）

【００３６】式（４）と（５）から導かれる式（８）
は、式（４）から明らかなように、入力データｘ（ｔ）
に対して、その信頼度αｘ（ｔ）に相当する重み付けを
するとともに、１サンプル前の出力データｙ（ｔ−１）
に対して、その信頼度αｙ（ｔ−１）に相当する重み付
けをし、これらを加算したものを、入力データｘ（ｔ）
からノイズを除去した出力データｙ（ｔ）とするもので
ある。

【００３７】そして、入力データｘ（ｔ）に対する重み
に相当する信頼度αｘ（ｔ）は、その入力データｘ
（ｔ）の真値への近さを表しており、１サンプル前の出
力データｙ（ｔ−１）に対する重みに相当する信頼度α
ｙ（ｔ−１）は、その出力データｙ（ｔ−１）の真値へ
の近さを表している。いまの場合、真値が一定としてい
るから、入力データｘ（ｔ）と出力データｙ（ｔ−１）
のうちの、より真値に近い方に重みをおいて加算を行う
式（８）により出力データｙ（ｔ）を求めれば、この出
力データｙ（ｔ）は、より真値に近いものとなることに
なる。

【００３８】即ち、式（１）から導かれる（式（１）と
等価な）式（８）によって求められる出力データｙ
（ｔ）は、過去に入力された入力データのうち、信頼度
の小さいものには小さな重み付けをするとともに、信頼
度の大きいものには大きな重み付けをし、このような重
み付けを行った過去の入力データを積算したものであ
る。より直感的には、出力データｙ（ｔ）は、ノイズを
多く含む入力データの影響が小さくなり、かつノイズの
少ない入力データの影響が大きくなるように、入力デー
タの加算を行ったものである。

【００３９】従って、単に平均をとる全平均の場合に
は、Ｓ／Ｎの悪い入力データも、また良い入力データ
も、出力データに対して、同等の影響を与えるが、式
（８）によれば、Ｓ／Ｎの悪い入力データは、出力デー
タに対して、ほとんど影響を与えず、また、Ｓ／Ｎ良い
入力データは、出力データに対して、大きな影響を与え
る。その結果、単に平均をとる全平均の場合に比較し
て、より効果的にノイズが除去された出力データを得る
ことができる。

【００４０】さらに、移動平均をとる場合には、時間的
に離れた入力データは、Ｓ／Ｎの良いものであっても、
出力データに対して、まったく影響を与えず、時間的に
近い入力データは、Ｓ／Ｎの悪いものであっても、出力
データに対して大きな影響を与える。これに対して、式
（８）によれば、上述のように、入力データの時間的な
近さは関係なく、Ｓ／Ｎの良し悪しによって、出力デー
タに対する影響力が異なる。その結果、移動平均をとる
場合に比較して、より効果的にノイズが除去された出力
データを得ることができる。

【００４１】以上から、式（８）によれば、出力データ
は、信頼度の高い（真値に近い）入力データによる影響
によって、真値に近いものとなる。従って、信頼度の高
い入力データが処理されるにつれて、出力データは、真
値に近づいていくことになる。即ち、出力データのＳ／
Ｎは、時間の経過とともに改善されていく。

【００４２】なお、上述の場合においては、真値が一定
であると仮定したが、真値が変化するデータの系列につ
いては、例えば、真値が一定であるとみなせる区間に区
切り、その区間ごとに、処理を行うようにすれば良い。

【００４３】また、上述の場合においては、入力データ
の信頼度（以下、適宜、入力信頼度という）として、そ
の時間的近傍にある幾つかの入力データの分散を用いる
こととしたため、その幾つかの入力データの入力がある
までは、入力信頼度、さらには、出力データ、およびそ
の信頼度（以下、適宜、出力信頼度という）を求めるこ
とができないが、入力信頼度を求めることができる入力
データの入力があるまでは、例えば、入力信頼度および
出力信頼度のいずれも計算せず、また、出力データとし
ては、いままで入力された入力データの単純な平均値を
求めて出力するようにすることができる。但し、入力信
頼度を求めることができる入力データの入力があるまで
の対処方法は、これに限定されるものではない。

【００４４】次に、入力データｘ（ｔ）が、例えば、音
声データのような、いわば１次元のデータの系列である
場合には、出力データｙ（ｔ−１）は、入力データｘ
（ｔ）の１サンプル前の入力データｘ（ｔ−１）の処理
結果となるが、入力データｘ（ｔ）が、例えば、画像デ
ータのような、いわば２次元のデータの系列である場
合、出力データｙ（ｔ−１）は、入力データｘ（ｔ）
の、例えば１フレーム（またはフィールド）前の入力デ
ータｘ（ｔ−１）の処理結果となる。

【００４５】即ち、いま、第ｔフレームの画素（正確に
は、画素の画素値）をｘ（ｔ）と表し、この画素ｘ
（ｔ）を、入力画素として、式（８）によってノイズの
除去を行い、その結果得られる出力画素を出力する場合
には、入力画素ｘ（ｔ−１）は、第ｔフレームの入力画
素ｘ（ｔ）に対応する、第ｔ−１フレームの入力画素を
表し、従って、ｙ（ｔ−１）は、その入力画素ｘ（ｔ−
１）からノイズを除去した出力画素を表す。

【００４６】そして、画像には、一般に動きがあるか
ら、入力画素ｘ（ｔ）の位置と、その１フレーム前の出
力画素ｙ（ｔ−１）の位置とは、一致していないことが
あり、従って、式（８）によってノイズの除去を行う場
合には、入力画素ｘ（ｔ）に対応する出力画素ｙ（ｔ−
１）を検出する必要がある。

【００４７】入力画素ｘ（ｔ）に対応する出力画素ｙ
（ｔ−１）は、入力画素ｘ（ｔ）の動きベクトル（ここ
では、入力画素ｘ（ｔ）を基準とし、出力画素ｘ（ｔ−
１）の位置を表すようなベクトルとする）を検出し、そ
の動きベクトルに基づいて行うことが可能であるが、動
きベクトルが必ずしも正しく求められるとは限らない。
従って、そのような動きベクトルに基づいて、出力画素
ｙ（ｔ−１）を検出しても、その出力画素ｙ（ｔ−１）
が、入力画素ｘ（ｔ）に真に対応する、前のフレームの
画素からずれたものである場合がある。

【００４８】このような出力画素ｙ（ｔ−１）は、式
（８）の計算において本来用いるべき値からずれた値と
なるから、そのずれの分だけ、出力画素ｙ（ｔ−１）の
出力信頼度αｙ（ｔ−１）は低下するものと考えられ
る。

【００４９】即ち、入力画素ｘ（ｔ）に動きがある場合
には、その動きが、出力画素ｙ（ｔ−１）の出力信頼度
αｙ（ｔ−１）に影響を与える。

【００５０】そこで、ここでは、動きベクトルの信頼性
（真値への近さ）を表す信頼度（以下、適宜、ベクトル
信頼度という）ｍを導入し、これを補正項として、出力
信頼度αｙ（ｔ−１）を、ｍ×αｙ（ｔ−１）に補正す
ることとする。

【００５１】この場合、式（５）により求めることとし
た出力信頼度αｙ（ｔ）は、次式により求められること
になる。

【００５２】 αｙ（ｔ）＝ｍαｙ（ｔ−１）＋αｘ（ｔ） ・・・（１３）

【００５３】また、式（６）により求めることとした重
みｗ（ｔ）は、次式により求められることになる。

【００５４】 ｗ（ｔ）＝ｍαｙ（ｔ−１）／（ｍαｙ（ｔ−１）＋αｘ（ｔ）） ・・・（１４）

【００５５】ところで、ここでは、上述のように、出力
信頼度αｙ（ｔ−１）は、ベクトル信頼度ｍを乗算する
ことで補正されるから、ベクトル信頼度ｍは、動きベク
トルが真値に近いほど１に近く、真値から離れるほど、
１未満の小さいあたいにする必要がある。そこで、ここ
では、ベクトル信頼度ｍを、例えば、次式で定義するも
のとする。

【００５６】 ｍ＝Ｎ（ｔ）／Ｄ（ｔ） ・・・（１５） ここで、Ｎ（ｔ）は、入力画素ｘ（ｔ）のノイズ量（の
推定値）を表す。また、Ｄ（ｔ）は、入力画素ｘ（ｔ）
について求められた動きベクトルによる動き補償後の残
差を表す。なお、この残差としては、ここでは、例え
ば、入力画素ｘ（ｔ）と、その入力画素ｘ（ｔ）に対応
する１フレーム前の出力画素ｙ（ｔ−１）（その入力画
素ｘ（ｔ）の位置を基準として、動きベクトル分だけ移
動した位置にある１フレーム前の出力画素ｙ（ｔ−
１））との差分の絶対値を用いることとする。

【００５７】この場合、Ｄ（ｔ）は、ノイズを含む入力
画素ｘ（ｔ）と、ノイズが除去された出力画素ｙ（ｔ−
１）とを用いて計算されるから、そこには、真の残差の
他、ノイズも含まれる。従って、式（１５）によれば、
ベクトル信頼度ｍは、［ノイズ量］／（［ノイズ量］＋
［真の残差］）という計算で求められることになるか
ら、真の残差が０に近づけば、１に近づき、真の残差が
大きければ、１未満の小さな値になることになる。

【００５８】次に、図２は、以上のような原理により画
像からノイズを除去するノイズ除去装置の一実施の形態
の構成例を示している。即ち、このノイズ除去装置にお
いては、入力画素ｘ（ｔ）の動きベクトルが検出され、
式（１５）によって、そのベクトル信頼度ｍが求められ
る。そして、そのベクトル信頼度ｍを補正項として、出
力信頼度αｙ（ｔ−１）を補正しながら、式（１４）に
よって、重みｗ（ｔ）を求め、最終的には、式（８）を
計算することによって、入力画素ｘ（ｔ）からノイズを
効果的に除去した出力画素ｙ（ｔ）が出力されるように
なっている。

【００５９】即ち、ノイズ除去の対象である入力画像を
構成する入力画素は、ＭＥ（動き検出）部１、ノイズ量
推定部２、およびノイズリダクション部３に供給される
ようになっている。

【００６０】ＭＥ部１には、入力画素の他、メモリ５に
記憶された１フレーム前の出力画素が供給されるように
なっており、ＭＥ部１は、入力画素の動きベクトルを検
出して、ノイズ量推定部２およびノイズリダクション部
３に供給するようになっている。ノイズ量推定部２は、
そこに入力される入力画像のノイズ量を、例えば、１フ
レーム単位で推定し、ノイズリダクション部３に供給す
るようになっている。

【００６１】ノイズリダクション部３には、上述したよ
うに、入力画素、その動きベクトル、およびノイズ量が
供給される他、メモリ４から１フレーム前の出力画素の
出力信頼度が供給されるとともに、メモリ５から１フレ
ーム前の出力画素が供給されるようになっている。そし
て、ノイズリダクション部３は、入力画素の入力信頼度
を計算し、さらに、式（８），（１３）乃至（１５）に
したがって、入力画素を処理し、それからノイズを除去
した出力画素を出力するようになっている。この出力画
素は、入力画素の処理結果として出力される他、メモリ
５に供給されるようにもなっている。また、ノイズリダ
クション部３では、上述したように、式（１４）にした
がって処理が行われることにより、出力画像の出力信頼
度が求められるが、この出力信頼度は、メモリ４に供給
されるようになっている。

【００６２】メモリ４または５は、ノイズリダクション
部３が出力する出力信頼度または出力画素を、それぞれ
記憶するようになっている。

【００６３】次に、図３のフローチャートを参照して、
図１のノイズ除去装置の処理について説明する。

【００６４】ＭＥ部１に対して、あるフレームの入力画
素の入力が開始されると、メモリ５において、そこに記
憶されている１フレーム前の出力画素が読み出され、Ｍ
Ｅ部１に供給される。ＭＥ部１では、ステップＳ１にお
いて、そこに供給される入力画素と１フレーム前の出力
画素とを用いて、その入力画素の動きベクトルが、例え
ば、後述する可変ブロックサイズブロックマッチングを
行うことにより検出され、ノイズ量推定部２およびノイ
ズリダクション部３に供給される。

【００６５】ノイズ量推定部２では、ステップＳ２にお
いて、入力画素の動きベクトルに基づいて、その入力画
素を有するフレーム（以下、適宜、注目フレームとい
う）の静止している部分（静止部分）が判定され、その
静止部分の入力画素を用いて、注目フレームのノイズ量
が推定される。このノイズ量の推定結果は、ノイズリダ
クション部３に供給される。

【００６６】ノイズリダクション部３では、ノイズ量推
定部２からのノイズ量に基づいて、入力画素ｘ（ｔ）の
入力信頼度αｘ（ｔ）が求められ、さらに、メモリ４ま
たは５それぞれに記憶された１フレーム前の出力信頼度
αｙ（ｔ−１）または出力画素ｙ（ｔ−１）を用いて、
式（８），（１３）乃至（１５）が計算される。これに
より、入力画素ｘ（ｔ）からノイズを除去した出力画素
ｙ（ｔ）およびその出力信頼度αｙ（ｔ）が求められ
る。そして、この出力画素ｙ（ｔ）または出力信頼度α
ｙ（ｔ）は、それぞれ、メモリ５または４に供給されて
記憶される。

【００６７】以上のようにして、注目フレームを構成す
るすべての入力画素の処理が終了すると、ステップＳ４
に進み、次のフレームが存在するかどうかが判定され、
存在すると判定された場合、ステップＳ１に戻り、以
下、同様の処理が繰り返される。また、ステップＳ４に
おいて、次のフレームが存在しないと判定された場合、
処理を終了する。

【００６８】次に、図４は、図２のＭＥ部１の構成例を
示している。

【００６９】現フレームメモリ１１には、注目フレーム
を構成する入力画素ｘ（ｔ）が順次供給されるようにな
っており、現フレームメモリ１１は、その入力画素ｘ
（ｔ）を順次記憶するようになっている。また、現フレ
ームメモリ１１は、そこに記憶された入力画素ｘ（ｔ）
のうちの、所定の注目入力画素を中心とする所定のサイ
ズのブロック（以下、適宜、参照ブロックという）を構
成するものを、アドレス出力部２１が出力するアドレス
にしたがって読み出し、差分絶対値和演算部１３に供給
するようにもなっている。

【００７０】前フレームメモリ１２には、メモリ５に記
憶された、注目フレームの１フレーム前のフレームを構
成する出力画素ｙ（ｔ−１）が順次供給されるようにな
っており、前フレームメモリ１２は、この前フレーム
（注目フレームの１フレーム前のフレーム）の出力画素
ｙ（ｔ−１）を順次記憶するようになっている。また、
前フレームメモリ１２は、そこに記憶された出力画素ｙ
（ｔ−１）のうちの、参照ブロックと同一のサイズのブ
ロック（以下、適宜、検出ブロックという）を構成する
ものを、アドレス出力部２１が出力するアドレスにした
がって読み出し、差分絶対値和演算部１３に供給するよ
うにもなっている。

【００７１】差分絶対値和演算部１３は、現フレームメ
モリ１１からの参照ブロックを構成する入力画素と、前
フレームメモリ１２からの検出ブロックを構成する出力
画素とについて、それぞれのブロック内で同一位置にあ
るものどうしの差分を演算し、さらに、その絶対値和を
求め、これを残差として、残差メモリ１４に供給するよ
うになっている。残差メモリ１４は、差分絶対値和演算
部１３からの残差を記憶するようになっている。

【００７２】最小値検出部１５は、残差メモリ１４に記
憶された残差のうちの最小値（以下、適宜、最小残差と
いう）を検出し、差分演算部１７に供給するようになっ
ている。さらに、最小値検出部１５は、最小残差が残差
メモリ１４に記憶されていたアドレスを、コントローラ
２０に供給するようにもなっている。

【００７３】次点検出部１６は、残差メモリ１４に記憶
された残差のうちの２番目に小さいもの（以下、適宜、
次点残差という）を検出し、差分演算部１７に供給する
ようになっている。差分演算部１７は、次点検出部１６
より供給される次点残差と、最小値検出部１５より供給
される最小残差との差分値を演算し、即ち、次点残差か
ら最小残差を減算し、その差分値を、判定部１８に供給
するようになっている。

【００７４】判定部１８は、差分演算部１７からの差分
値に基づいて、参照ブロックおよび検出ブロックのブロ
ックサイズを拡大するかどうかを判定し、その判定結果
を、ブロックサイズ拡大指示部１９に供給するようにな
っている。また、判定部１８は、その判定結果にしたが
い、コントローラ２０から供給される候補ベクトルを、
入力画素の動きベクトルとして出力するようにもなって
いる。

【００７５】ブロックサイズ拡大指示部１９は、判定部
１８の判定結果にしたがい、参照ブロックおよび検出ブ
ロックのブロックサイズの拡大を、コントローラ２０に
指示するようになっている。

【００７６】コントローラ２０は、現フレームメモリ１
１に記憶された注目フレームの各入力画素を、順次、注
目入力画素とし、その注目入力画素を中心とする参照ブ
ロック内にある入力画素が現フレームメモリ１１に記憶
されているアドレスを出力するように、アドレス出力部
２１を制御するようになっている。さらに、コントロー
ラ２０は、入力画素の動きベクトルの候補となる複数の
ベクトル（候補ベクトル）を順次設定し、注目入力画素
から、その候補ベクトルの分だけずれた位置にある出力
画素を中心とする検出ブロック内にある出力画素が前フ
レームメモリ１２に記憶されているアドレスを出力する
ように、アドレス出力部２１を制御するようになってい
る。なお、この場合における参照ブロックおよび検出ブ
ロックのブロックサイズは、ブロックサイズ拡大指示部
１９からの指示に基づいて設定されるようになってい
る。

【００７７】さらに、コントローラ２０は、最小値検出
部１５からの、最小残差が残差メモリ１４に記憶されて
いたアドレスに基づいて、その最小残差が得られたとき
の候補ベクトルを認識し、その候補ベクトルを、判定部
１８に供給するようになっている。

【００７８】アドレス出力部２１は、コントローラ２０
の制御にしたがい、現フレームメモリ１１または前フレ
ームメモリ１２それぞれに対して、読み出すべき入力画
素または出力画素のアドレスを供給するようになってい
る。

【００７９】以上のように構成されるＭＥ部１では、可
変ブロックサイズブロックマッチングを行うことによ
り、注目フレームを構成する各入力画素の動きベクトル
が検出されるようになっている。

【００８０】即ち、例えば、いま、ある程度大きな物体
が動いている画像が表示された第ｎ−１および第ｎフレ
ームについて、第ｎフレームを注目フレームとして動き
検出を行う場合に、検出ブロックおよび参照ブロック
が、図５（Ａ）に示すように、大きな物体に包含されて
しまうようなブロックサイズであるときには、検出ブロ
ックおよび参照ブロックが、物体内からはみ出さないよ
うな位置にあれば、いずれの位置における残差（ここで
は、差分絶対値和演算部１３で計算される差分絶対値
和）も、それほど大きな違いがないため、精度の高い動
きベクトルを検出することが困難となる。

【００８１】そこで、このような場合には、図５（Ｂ）
に示すように、検出ブロックおよび参照ブロックのブロ
ックサイズを大きくする（拡大する）。検出ブロックお
よび参照ブロックのブロックサイズが拡大されることに
より、検出ブロックおよび参照ブロックは、物体に包含
されず、はみ出すようになるので、残差は、検出ブロッ
クが、参照ブロックに対応する位置にある場合と、ない
場合とで、大きく異なるようになり、その結果、精度の
高い動きベクトルを検出することが可能となる。

【００８２】以上のように、必要に応じて、ブロックサ
イズを変更して、ブロックマッチング（最小残差の検
出）を行うのが、可変ブロックサイズブロックマッチン
グである。

【００８３】次に、図６のフローチャートを参照して、
図４のＭＥ部１による動きベクトル検出処理について説
明する。

【００８４】現フレームメモリ１１には、入力画素ｘ
（ｔ）が順次供給されて記憶され、また、前フレームメ
モリ１２には、メモリ５に記憶された出力画素ｙ（ｔ−
１）が順次供給されて記憶される。

【００８５】そして、動きベクトル検出処理では、まず
最初に、ステップＳ１１において、ブロックサイズ拡大
指示部１９が、ブロックサイズを所定の初期値に設定
し、コントローラ２０に供給する。コントローラ２０
は、ブロックサイズ拡大指示部１９から指示のあったブ
ロックサイズ（以下、適宜、指示サイズという）の参照
ブロックまたは検出ブロックの画素を、現フレームメモ
リ１１または前フレームメモリ１２からそれぞれ読み出
すためのアドレスを出力するように、アドレス出力部２
１を制御する。

【００８６】即ち、コントローラ２０は、現フレームメ
モリ１１に記憶された注目フレームのある入力画素を、
注目入力画素とし、その注目入力画素を中心とする、指
示サイズの参照ブロック内にある入力画素が現フレーム
メモリ１１に記憶されているアドレスを出力するよう
に、アドレス出力部２１を制御する。さらに、コントロ
ーラ２０は、入力画素の動きベクトルの候補となる複数
の候補ベクトルを順次設定し、注目入力画素から、その
候補ベクトルの分だけずれた位置にある出力画素を中心
とする、指示サイズの検出ブロック内にある出力画素が
前フレームメモリ１２に記憶されているアドレスを出力
するように、アドレス出力部２１を制御する。

【００８７】これにより、現フレームメモリ１１から
は、注目入力画素を中心とする参照ブロック内にある入
力画素が読み出され、差分絶対値和演算部１３に供給さ
れる。さらに、前フレームメモリ１２からは、注目入力
画素から、複数の候補ベクトルそれぞれの分だけずれた
位置にある出力画素を中心とする検出ブロック内にある
出力画素が、順次読み出され、差分絶対値和演算部１３
に供給される。そして、現フレームメモリ１１からの参
照ブロックと、前フレームメモリ１２からの、複数の候
補ベクトルに対応する検出ブロックそれぞれとのブロッ
クマッチングが行われる。

【００８８】即ち、差分絶対値和演算部１３では、ステ
ップＳ１２において、参照ブロックと、複数の候補ベク
トルに対する検出ブロックそれぞれとについて、対応す
る画素どうしの差分絶対値和が演算される。これらの差
分絶対値和は、複数の候補ベクトルそれぞれに対する残
差として、残差メモリ１４に供給される。残差メモリ１
４では、差分絶対値演算部１３からの複数の候補ベクト
ルそれぞれに対する残差が、その対応するアドレスに記
憶される。

【００８９】そして、ステップＳ１３に進み、最小値検
出部１５において、残差メモリ１４に記憶された残差の
うちの最小残差ε１が検出されるとともに、次点検出部
１６において、次点残差ε２が検出される。この最小残
差ε１および次点残差ε２は、いずれも、差分演算部１
７に供給され、その差分値ε２−ε１が演算される。差
分演算部１７で求められた差分値ε２−ε１は、判定部
１８に供給され、判定部１８では、ステップＳ１４にお
いて、差分値ε２−ε１が所定の閾値εより大きいかど
うかが判定される。

【００９０】ステップＳ１４において、差分値ε２−ε
１が所定の閾値εより大きくないと判定された場合、即
ち、最小残差ε１と次点残差ε２との間に、あまり差が
なく、従って、図５（Ａ）に示したように、ブロックサ
イズが小さいと考えられる場合、ステップＳ１５に進
み、ブロックサイズ拡大指示部１９は、コントローラ２
０に対して、ブロックサイズの拡大を指示する。この場
合、コントローラ２０は、ブロックサイズ拡大指示部１
９からの指示にしたがってブロックサイズを拡大した参
照ブロックおよび検出ブロックについて、上述した場合
と同様のアドレスを出力するように、アドレス出力部２
１を制御する。

【００９１】これにより、現フレームメモリ１１から、
注目入力画素を中心とする、拡大された参照ブロック内
にある入力画素が読み出されるとともに、前フレームメ
モリ１２から、注目入力画素を基準として、複数の候補
ベクトルそれぞれの分だけずれた位置にある出力画素を
中心とする、拡大された検出ブロック内にある出力画素
が、順次読み出され、ステップＳ１２に戻り、以下、同
様の処理が繰り返される。即ち、大きいブロックサイズ
の参照ブロックおよび検出ブロックを用いて、ブロック
マッチングが行われる。

【００９２】一方、ステップＳ１４において、差分値ε
２−ε１が所定の閾値εより大きいと判定された場合、
即ち、最小残差ε１と次点残差ε２との間に、大きな差
があり、従って、図５（Ｂ）に示したように、ブロック
サイズが適切な大きさであると考えられる場合、ステッ
プＳ１６に進み、判定部１８において、最小残差ε１が
得られた候補ベクトルが、注目入力画素の動きベクトル
として出力される。

【００９３】即ち、この場合、最小値検出部１５は、最
小残差ε１が記憶されていた残差メモリ１４のアドレス
を、コントローラ２０に出力し、コントローラ２０は、
このアドレスから最小残差ε１が得られた候補ベクトル
を認識する。そして、コントローラ２０は、この候補ベ
クトルを、判定部１８に供給し、判定部１８は、コント
ローラ２０からの候補ベクトルを、注目入力画素の動き
ベクトルとして出力する。

【００９４】そして、ステップＳ１７に進み、現フレー
ムメモリ１１に記憶されたフレームの入力画素すべて
を、注目入力画素として、その動きベクトルを検出した
かどうかが判定される。ステップＳ１７において、現フ
レームメモリ１１に記憶されたフレームの入力画素すべ
てを、まだ、注目入力画素としていないと判定された場
合、ステップＳ１１に戻り、まだ注目入力画素とされて
いない入力画素が、新たに注目入力画素とされ、以下、
同様の処理が繰り返される。

【００９５】また、ステップＳ１７において、現フレー
ムメモリ１１に記憶されたフレームの入力画素すべて
を、注目入力画素としたと判定された場合、ステップＳ
１８に進み、次に処理すべきフレームが存在するかどう
かが判定される。ステップＳ１８において、次に処理す
べきフレームが存在すると判定された場合、即ち、現フ
レームメモリ１１に、次のフレームが供給された場合、
ステップＳ１１に戻り、以下、同様の処理が繰り返され
る。

【００９６】一方、ステップＳ１８において、次に処理
すべきフレームが存在しないと判定された場合、動きベ
クトル検出処理を終了する。

【００９７】なお、ここでは、可変ブロックサイズブロ
ックマッチングによって、動きベクトルの検出を行うよ
うにしたが、動きベクトルの検出は、参照ブロックおよ
び検出ブロックのブロックサイズを固定にして行うこと
も可能である。

【００９８】次に、図７は、図２のノイズ量推定部２の
構成例を示している。

【００９９】処理すべき入力画素ｘ（ｔ）は、遅延回路
３１および分散計算部３９に入力されるようになってい
る。また、ＭＥ部１で検出された入力画素ｘ（ｔ）の動
きベクトルは、遅延回路３５および静止判定部４２に供
給されるようになっている。

【０１００】遅延回路３１は、そこに入力される入力画
素ｘ（ｔ）を１フレーム分の時間だけ遅延し、入力画素
ｘ（ｔ−１）として、遅延回路３２および分散計算部３
９に供給するようになっている。遅延回路３２は、遅延
回路３１からの入力画素ｘ（ｔ−１）を１フレーム分の
時間だけ遅延し、入力画素ｘ（ｔ−２）として、遅延回
路３３および分散計算部３９に供給するようになってい
る。遅延回路３３は、遅延回路３２からの入力画素ｘ
（ｔ−２）を１フレーム分の時間だけ遅延し、入力画素
ｘ（ｔ−３）として、遅延回路３４および分散計算部３
９に供給するようになっている。遅延回路３４は、遅延
回路３３からの入力画素ｘ（ｔ−３）を１フレーム分の
時間だけ遅延し、入力画素ｘ（ｔ−４）として、分散計
算部３９に供給するようになっている。

【０１０１】遅延回路３５乃至３８それぞれは、動きベ
クトルについて、遅延回路３１乃至３４における場合と
同様の遅延処理を行うようになっている。従って、例え
ば、いま、入力画素ｘ（ｔ）の動きベクトルを、ｖ
（ｔ）と表すと、遅延回路３５乃至３８は、動きベクト
ルｖ（ｔ−１）乃至ｖ（ｔ−４）を、それぞれ出力す
る。この動きベクトルｖ（ｔ−１）乃至ｖ（ｔ−４）
は、静止判定部４３乃至４６にそれぞれ供給されるよう
になっている。

【０１０２】分散計算部３９は、そこに供給される入力
画素ｘ（ｔ）乃至ｘ（ｔ−４）の分散を演算し、分散積
算メモリ４０に供給するようになっている。分散積算メ
モリ４０は、メモリコントローラ４８の制御の下、分散
計算部３９から供給される分散の積算を行うようになっ
ている。分散値フレーム平均計算部４１は、分散積算メ
モリ４０において積算された分散の平均値を演算し（分
散の積算値を、その積算された分散の数で除算し）、そ
れを、入力画素ｘ（ｔ）のノイズ量として出力するよう
になっている。

【０１０３】静止判定部４２は、そこに入力される動き
ベクトルｖ（ｔ）に基づいて、入力画素ｘ（ｔ）が静止
している部分のものであるかどうかを判定し、その判定
結果を、連続静止位置検出部４７に供給するようになっ
ている。静止判定部４２乃至４６も、静止判定部４２と
同様に、遅延回路３５乃至３８から供給される動きベク
トルｖ（ｔ−１）乃至ｖ（ｔ−４）に基づいて、入力画
素ｘ（ｔ−１）乃至ｘ（ｔ−４）が静止している部分の
ものであるかどうかを、それぞれ判定し、その判定結果
を、連続静止位置検出部４７に供給するようになってい
る。

【０１０４】連続静止位置検出部４７は、静止判定部４
２乃至４６からの判定結果に基づいて、連続したフレー
ムにおいて、静止している部分の画素の位置を検出する
ようになっている。即ち、連続静止位置検出部４７は、
静止判定部４２乃至４６からの判定結果が、いずれも静
止しているものとなっている位置の入力画素ｘ（ｔ）を
検出し、その位置を、メモリコントローラ４８に供給す
るようになっている。

【０１０５】メモリコントローラ４８は、分散計算部３
９が出力する分散のうち、連続静止位置検出部４７から
供給された、静止している位置にある画素から求められ
たもののみを積算するように、分散積算メモリ４０を制
御するようになっている。さらに、メモリコントローラ
４８には、新たなフレームの入力画素の供給が開始され
ることを示すフレームリセット信号が供給されるように
なっており、メモリコントローラ４８は、このフレーム
リセット信号を受信すると、分散値フレーム平均計算部
４１に、分散積算メモリ４０に記憶された分散の積算値
の平均値を計算させるとともに、分散積算メモリ４０の
記憶値を０にリセットするようになっている。

【０１０６】以上のように構成されるノイズ量推定部２
では、いま処理（ノイズを除去する処理）の対象となっ
ているフレーム（注目フレーム）を構成する入力画素の
うちの、静止している部分だけを用いて、入力画素のノ
イズ量を推定するノイズ量推定処理が行われるようにな
っている。

【０１０７】即ち、図８は、ノイズ量推定処理を説明す
るためのフローチャートである。

【０１０８】ノイズ量推定処理では、まず最初に、ステ
ップＳ２１において、注目フレームを構成する所定の入
力画素を、注目入力画素ｘ（ｔ）として、その注目入力
画素ｘ（ｔ）と、それと同一位置にある、過去４フレー
ムの入力画素ｘ（ｔ−１）乃至ｘ（ｔ−４）との５画素
を用いて、分散が計算されるとともに、その５画素ｘ
（ｔ）乃至ｘ（ｔ−４）それぞれが、静止している部分
の画素（静止画素）であるかどうかの静止判定が行われ
る。

【０１０９】即ち、遅延回路３１および分散計算部３９
には、注目フレームを構成する入力画素ｘ（ｔ）が供給
され、また、遅延回路３５および静止判定部４２には、
ＭＥ部１で検出された入力画素ｘ（ｔ）の動きベクトル
ｖ（ｔ）が供給される。

【０１１０】そして、遅延回路３１乃至３４それぞれで
は、そこに入力される入力画素が、１フレーム分の時間
だけ遅延され、分散計算部３９に供給される。即ち、こ
れにより、分散計算部３９には、入力画素ｘ（ｔ）乃至
ｘ（ｔ−４）が供給される。分散計算部３９では、入力
画素ｘ（ｔ）乃至ｘ（ｔ−４）の分散が求められ、分散
積算メモリ４０に供給される。

【０１１１】一方、遅延回路３５乃至３８それぞれで
は、そこに入力される動きベクトルが、１フレーム分の
時間だけ遅延され、静止判定部４３乃至４６に供給され
る。従って、静止判定部４２乃至４６には、入力画素ｘ
（ｔ）乃至ｘ（ｔ−４）の動きベクトルｖ（ｔ）乃至ｖ
（ｔ−４）がそれぞれ供給される。そして、静止判定部
４２乃至４６では、そこに入力される動きベクトルｖ
（ｔ）乃至ｖ（ｔ−４）に基づいて、入力画素ｘ（ｔ−
１）乃至ｘ（ｔ−４）が静止している部分のものである
かどうかが、それぞれ判定され、その判定結果が、連続
静止位置検出部４７に供給される。

【０１１２】連続静止位置検出部４７では、静止判定部
４２乃至４６それぞれにおける静止判定結果に基づき、
注目入力画素ｘ（ｔ）の位置が、連続したフレーム（こ
こでは、第ｔ−４フレームから第ｔフレームまでの５フ
レーム）において、静止している部分となっているかど
うかが検出される。この検出結果は、メモリコントロー
ラ４８に供給される。

【０１１３】メモリコントローラ４８では、ステップＳ
２２において、連続静止位置検出部４７の出力に基づい
て、注目入力画素ｘ（ｔ）の位置が、連続したフレーム
で、静止している部分となっているかどうかが判定され
る。ステップＳ２２において、注目入力画素ｘ（ｔ）の
位置が、連続したフレームで、静止している部分となっ
ていないと判定された場合、即ち、注目入力画素ｘ
（ｔ）と同一位置にあるｘ（ｔ−１）乃至ｘ（ｔ−４）
のうちのいずれかが動きを有するものである場合、メモ
リコントローラ４８は、分散積算メモリ４０に、分散計
算部３９からの分散を破棄するように指令し、ステップ
Ｓ２３をスキップして、ステップＳ２４に進む。従っ
て、この場合、分散積算メモリ４０では、分散計算部３
９からの分散、即ち、動きを有する画素から求められた
分散は積算されずに破棄される。

【０１１４】一方、ステップＳ２２において、注目入力
画素ｘ（ｔ）の位置が、連続したフレームで、静止して
いる部分となっていると判定された場合、即ち、注目入
力画素ｘ（ｔ）と同一位置にあるｘ（ｔ−１）乃至ｘ
（ｔ−４）のうちのいずれも動きを有しないものである
場合、ステップＳ２３に進み、メモリコントローラ４８
は、分散積算メモリ４０に、分散計算部３９からの分散
を積算するように指令し、ステップＳ２４に進む。従っ
て、この場合、分散積算メモリ４０では、分散計算部３
９からの分散、即ち、静止している画素から求められた
分散が、既に記憶されている分散に積算され、その積算
値が、新たに記憶される。

【０１１５】ステップＳ２４では、注目フレームのすべ
ての入力画素を、注目入力画素として、処理を行ったか
どうかが判定され、まだ、行っていないと判定された場
合、ステップＳ２１に戻り、注目フレームを構成する入
力画素のうちの、まだ注目入力画素とされていないもの
を、新たに注目入力画素として、ステップＳ２１以下の
処理が繰り返される。

【０１１６】また、ステップＳ２４において、注目フレ
ームのすべての入力画素を、注目入力画素として、処理
を行ったと判定された場合、ステップＳ２５に進み、分
散値フレーム平均計算部４１において、注目フレームを
構成する各入力画素に含まれるノイズ量が求められる。

【０１１７】即ち、注目フレームのすべての入力画素に
ついての処理が終了すると、メモリコントローラ４８に
は、フレームリセット信号が入力される。メモリコント
ローラ４８は、フレームリセット信号を受信すると、分
散値フレーム平均計算部４１に、分散積算メモリ４０に
記憶された分散の積算値の平均値を計算させるととも
に、分散積算メモリ４０の記憶値を０にリセットする。

【０１１８】分散値フレーム平均計算部４１では、メモ
リコントローラ４８の制御にしたがい、分散積算メモリ
４０に記憶された分散の積算値の平均値が計算される。
分散積算メモリ４０では、上述したことから、静止して
いる画素から求められた分散のみが積算され、その積算
値が記憶されており、従って、分散値フレーム平均計算
部４１では、そのような静止している画素（ここでは、
５フレーム連続して静止している画素）から求められた
分散の平均値が求められる。この平均値は、注目フレー
ム（第ｔフレーム）の入力画素に含まれるノイズ量Ｎ
（ｔ）として出力される。

【０１１９】そして、ステップＳ２６に進み、次のフレ
ームの入力画素およびその動きベクトルが存在するかど
うかが判定され、存在すると判定された場合、ステップ
Ｓ２１に戻り、そのフレームを、新たに注目フレームと
して、以下、同様の処理が繰り返される。

【０１２０】また、ステップＳ２６において、次のフレ
ームの入力画素およびその動きベクトルが存在しないと
判定された場合、ノイズ量推定処理を終了する。

【０１２１】以上のように、ノイズ量推定部２では、注
目フレームから、５フレーム前までの５フレームの間静
止し続けている同一位置の５つ画素が検出され、そのよ
うな５画素の分散の平均値が、注目フレームの入力画素
に含まれるノイズ量であると推定される。従って、この
場合、ノイズ量の推定に、動きのある画素が用いられな
いため、画像の動きの影響が、推定されたノイズ量に反
映されることを防止することができる。即ち、画像の動
きの影響がほとんどないノイズ量（真のノイズ量に近い
ノイズ量）を推定することができる。

【０１２２】なお、上述の場合においては、注目フレー
ムから、５フレーム前までの間静止し続けている同一位
置の５つ画素から分散を求めるようにしたが、分散を求
める対象とする画素は５画素に限定されるものではな
い。

【０１２３】次に、図９は、図２のノイズリダクション
部３の構成例を示している。このノイズリダクション部
３においては、入力画素ｘ（ｔ）からノイズを除去する
ノイズリダクション処理が行われるようになっている。

【０１２４】即ち、メモリコントローラ５１または５２
には、ＭＥ部１で検出された入力画素ｘ（ｔ）の動きベ
クトルｖ（ｔ）が供給されるようになっており、メモリ
コントローラ５１または５２は、その動きベクトルｖ
（ｔ）に基づいて、メモリ４または５の読み出しアドレ
スを設定し、それぞれから、１フレーム前の出力画素ｙ
（ｔ−１）の出力信頼度αｙ（ｔ−１）または出力画素
ｙ（ｔ−１）を読み出すようになっている。さらに、メ
モリコントローラ５１は、メモリ４から読み出した出力
信頼度αｙ（ｔ−１）を、重み／信頼度算出部５５に供
給し、メモリコントローラ５２は、メモリ５から読み出
した出力画素ｙ（ｔ−１）を、フレーム間差分演算部５
３および重み付き平均演算部５６に供給するようになっ
ている。

【０１２５】フレーム間差分演算部５３には、上述した
ように、メモリコントローラ５２から出力画素ｙ（ｔ−
１）が供給される他、入力画素ｘ（ｔ）が供給されるよ
うになっている。そして、フレーム間差分演算部５３
は、入力画素ｘ（ｔ）と、それに対応する１フレーム前
の出力画素ｙ（ｔ−１）との差分の絶対値、即ち、入力
画素ｘ（ｔ）について検出された動きベクトルｖ（ｔ）
の残差Ｄ（ｔ）を演算し、ベクトル信頼度算出部５４に
供給するようになっている。

【０１２６】ベクトル信頼度算出部５４には、上述した
ように、フレーム間差分演算部５３から残差Ｄ（ｔ）が
供給される他、ノイズ量推定部２から入力画素ｘ（ｔ）
のノイズ量Ｎ（ｔ）が供給されるようになっている。そ
して、ベクトル信頼度算出部５４は、残差Ｄ（ｔ）とノ
イズ量Ｎ（ｔ）とを用い、式（１５）にしたがって、動
きベクトルｖ（ｔ）の信頼性を表すベクトル信頼度ｍを
演算し、重み／信頼度算出部５５に供給するようになっ
ている。

【０１２７】重み／信頼度算出部５５には、上述したよ
うに、メモリコントローラ５１から出力信頼度αｙ（ｔ
−１）が供給されるとともに、ベクトル信頼度算出部５
４からベクトル信頼度ｍが供給される他、ノイズ量推定
部２から入力画素ｘ（ｔ）のノイズ量Ｎ（ｔ）が供給さ
れるようになっている。そして、重み／信頼度算出部５
５は、ノイズ量Ｎ（ｔ）に基づいて、入力画素ｘ（ｔ）
の入力信頼度αｘ（ｔ）を求め、その入力信頼度、メモ
リコントローラ５１からの出力信頼度αｙ（ｔ−１）、
およびベクトル信頼度算出部５４からベクトル信頼度ｍ
を用いて、式（１３）または（１４）にしたがい、入力
画素ｘ（ｔ）に対する出力画素ｙ（ｔ）の出力信頼度α
ｙ（ｔ）、または出力画素ｙ（ｔ）を求めるための重み
ｗ（ｔ）をそれぞれ求めるようになっている。重み／信
頼度算出部５５で求められた出力信頼度αｙ（ｔ）は、
メモリ４に供給されて記憶され、重みｗ（ｔ）は、重み
付き平均演算部５６に供給されるようになっている。

【０１２８】重み付き平均演算部５６は、そこに供給さ
れる入力画素ｘ（ｔ）、出力画素ｙ（ｔ−１）、および
重みｗ（ｔ）を用いて、式（８）にしたがい、重み付き
平均（重み付け加算値）を演算し、その結果得られる値
を、入力画素ｘ（ｔ）からノイズを除去した出力画素ｙ
（ｔ）（入力画素ｘ（ｔ）に対する出力画素ｙ（ｔ））
として出力するようになっている。

【０１２９】次に、図１０のフローチャートを参照し
て、図９のノイズリダクション部３が行うノイズリダク
ション処理について説明する。

【０１３０】処理すべき入力画素ｘ（ｔ）である注目入
力画素ｘ（ｔ）は、フレーム間差分演算部５３および重
み付き平均演算部５６に供給され、このとき、ステップ
Ｓ３１において、その注目入力画素ｘ（ｔ）に対応す
る、１フレーム前の出力画素ｙ（ｔ−１）が、フレーム
間差分演算部５３および重み付き平均演算部５６に供給
されるとともに、その出力信頼度αｙ（ｔ−１）が、重
み／信頼度算出部５５に供給される。

【０１３１】即ち、注目入力画素ｘ（ｔ）が、フレーム
間差分演算部５３および重み付き平均演算部５６に供給
されるのと同時に、その注目入力画素ｘ（ｔ）の動きベ
クトルｖ（ｔ）が、メモリコントローラ５１および５２
に供給される。

【０１３２】メモリコントローラ５１は、動きベクトル
ｖ（ｔ）に基づき、メモリ４において、注目入力画素ｘ
（ｔ）に対応する１フレーム前の出力画素ｙ（ｔ−１）
の出力信頼度αｙ（ｔ−１）が記憶されているアドレス
を算出し、そのアドレスから、出力信頼度αｙ（ｔ−
１）を読み出して、重み／信頼度算出部５５に供給す
る。また、メモリコントローラ５２にも、動きベクトル
ｖ（ｔ）に基づき、メモリ５において、注目入力画素ｘ
（ｔ）に対応する１フレーム前の出力画素ｙ（ｔ−１）
が記憶されているアドレスを算出し、そのアドレスか
ら、出力画素ｙ（ｔ−１）を読み出して、フレーム間差
分演算部５３および重み付き平均演算部５６に供給す
る。

【０１３３】そして、ステップＳ３２に進み、フレーム
間差分演算部５３において、メモリコントローラ５２か
ら出力画素ｙ（ｔ−１）と、入力画素ｘ（ｔ）との差分
の絶対値、即ち、注目入力画素ｘ（ｔ）について検出さ
れた動きベクトルｖ（ｔ）の残差Ｄ（ｔ）が演算され
る。この残差Ｄ（ｔ）は、ベクトル信頼度算出部５４に
供給される。

【０１３４】ベクトル信頼度算出部５４には、注目入力
画素ｘ（ｔ）のフレーム（注目フレーム）についての処
理が開始されるときに、ノイズ量推定部２からノイズ量
Ｎ（ｔ）が供給されるようになっており、ベクトル信頼
度算出部５４では、ステップＳ３３において、残差Ｄ
（ｔ）とノイズ量Ｎ（ｔ）とを用い、式（１５）にした
がって、動きベクトルｖ（ｔ）の信頼性を表すベクトル
信頼度ｍが演算される。そして、このベクトル信頼度ｍ
が、重み／信頼度算出部５５に供給され、ステップＳ３
４に進む。

【０１３５】ステップＳ３４では、重み／信頼度算出部
５５において、注目入力画素ｘ（ｔ）の入力信頼度αｘ
（ｔ）が計算され、さらに、入力画素ｘ（ｔ）に対する
出力画素ｙ（ｔ）の出力信頼度αｙ（ｔ）と、その出力
画素ｙ（ｔ）を求めるための重みｗ（ｔ）が求められ
る。

【０１３６】即ち、重み／信頼度算出部５５では、ノイ
ズ量Ｎ（ｔ）を用いて、次式にしたがい、注目入力画素
ｘ（ｔ）の入力信頼度αｘ（ｔ）が求められる。

【０１３７】 αｘ（ｔ）＝１／Ｎ（ｔ） ・・・（１６） ここで、Ｎ（ｔ）は、上述したように、画像の動きの影
響がほとんどないノイズ量（真のノイズ量に近いノイズ
量）であるから、式（１６）に示したように、これを用
いて、入力信頼度αｘ（ｔ）を規定することで、注目入
力画素ｘ（ｔ）の信頼性を、精度良く表す入力信頼度が
得られることになる。なお、ノイズ量Ｎ（ｔ）は、上述
したように、注目フレームから、５フレーム前までの間
静止し続けている同一位置の５つ画素の分散の平均値で
あり、従って、注目フレームについて、１つだけ得られ
る。その結果、そのようなノイズ量Ｎ（ｔ）から求めら
れる入力信頼度αｘ（ｔ）も、注目フレームについて、
１つだけ得られる。即ち、ここでは、注目フレームの各
入力画素に含まれるノイズ量は、すべてＮ（ｔ）である
として、入力信頼度αｘ（ｔ）が求められる。

【０１３８】さらに、重み／信頼度算出部５５では、式
（１６）によって求められた入力信頼度αｘ（ｔ）の
他、メモリコントローラ５１からの出力信頼度αｙ（ｔ
−１）、およびベクトル信頼度算出部５４からベクトル
信頼度ｍを用いて、式（１３）または（１４）にしたが
い、入力画素ｘ（ｔ）に対する出力画素ｙ（ｔ）の出力
信頼度αｙ（ｔ）、または出力画素ｙ（ｔ）を求めるた
めの重みｗ（ｔ）がそれぞれ求められる。そして、出力
信頼度αｙ（ｔ）は、メモリ４に供給されて記憶され、
重みｗ（ｔ）は、重み付き平均演算部５６に供給され
る。

【０１３９】重み付き平均演算部５６では、ステップＳ
３５において、注目入力画素ｘ（ｔ）、メモリコントロ
ーラ５２からの出力画素ｙ（ｔ−１）、および重み／信
頼度算出部５５からの重みｗ（ｔ）を用いて、式（８）
にしたがい、重み付き平均が演算される。即ち、重み付
き平均演算部５６は、１−ｗ（ｔ）とｗ（ｔ）を重みと
して、注目入力画素ｘ（ｔ）と、その注目入力画素ｘ
（ｔ）に対応する、１フレーム前の出力画素ｙ（ｔ−
１）との重み付け加算値を演算し、その加算値を、入力
画素ｘ（ｔ）からノイズを除去した出力画素ｙ（ｔ）と
して出力する。この出力画素ｙ（ｔ）は、メモリ５に供
給されて記憶される。

【０１４０】その後、ステップＳ３６に進み、注目フレ
ームの画素すべてについて処理を行ったか否かが判定さ
れ、まだ行っていないと判定された場合、ステップＳ３
１に戻り、まだ、注目フレームの入力画素のうち、ま
だ、注目入力画素とされていないものを、新たに注目入
力画素として、ステップＳ３１以下の処理が繰り返され
る。

【０１４１】また、ステップＳ３６において、注目フレ
ームの画素すべてについて処理を行ったと判定された場
合、ステップＳ３７に進み、次に処理すべきフレームが
存在するか否かが判定される。ステップＳ３７におい
て、次に処理すべきフレームが存在すると判定された場
合、ステップＳ３１に戻り、次に処理すべきフレーム
を、新たに注目フレームとして、以下、同様の処理が繰
り返される。

【０１４２】一方、ステップＳ３６において、次に処理
すべきフレームが存在しないと判定された場合、ノイズ
リダクション処理を終了する。

【０１４３】以上のように、静止している部分の画素の
みを用いて、入力画素ｘ（ｔ）に含まれるノイズ量を推
定し、そのノイズ量から、入力信頼度αｘ（ｔ）を求
め、また、動きベクトルｖ（ｔ）のベクトル信頼度ｍを
求め、そのベクトル信頼度ｍを補正項として、出力信頼
度αｙ（ｔ−１）を補正するようにしたので、動画像か
らのノイズの除去を、より効果的に行うことが可能とな
る。

【０１４４】ところで、上述の場合には、ベクトル信頼
度ｍによって、出力信頼度を補正するようにしたが、こ
のように出力信頼度を補正する他、入力信頼度も補正す
るようにすることが可能である。

【０１４５】即ち、上述の場合には、ノイズ量推定部２
において、時間方向において連続して静止している入力
画素の分散の平均値を計算し、その逆数を、入力画素ｘ
（ｔ）の入力信頼度αｘ（ｔ）とするようにしたが、こ
の場合、その静止している入力画素の平均値を真値とし
ていることになる。しかしながら、この平均値は、入力
画素の真値に一致するとは限らず、従って、入力画素ｘ
（ｔ）が真値であることの信頼性を表す入力信頼度αｘ
（ｔ）としては、例えば、式（１７）で表されるよう
な、入力画素ｘ（ｔ）の、その真値Ｘに対する誤差を直
接反映する値を用いるのが理想的である（式（１７）で
は、入力画素ｘ（ｔ）の、真値Ｘに対する自乗誤差の逆
数を、入力信頼度αｘ（ｔ）としており、これは、入力
画素ｘ（ｔ）に含まれるノイズのパワーの自乗の逆数で
ある）。

【０１４６】 αｘ（ｔ）＝１／（ｘ（ｔ）−Ｘ）２ ・・・（１７）

【０１４７】式（１７）において、入力画素ｘ（ｔ）の
真値Ｘは不明であるから、真値Ｘを用いずに、入力信頼
度αｘ（ｔ）を求める必要があり、このため、上述の場
合においては、静止している入力画素の平均値を、入力
画素の真値とみなして、入力信頼度αｘ（ｔ）を求めて
いる。

【０１４８】従って、静止している入力画素の平均値
が、入力画素の真値からずれている場合には、そのずれ
ている分、入力信頼度αｘ（ｔ）が表す入力画素の信頼
性は、いわば当てにならないものとなる。

【０１４９】即ち、いま、入力画素の真値とみなす、静
止している入力画素の平均値を、仮の真値Ｘ’とし、そ
の仮の真値Ｘ’に対する入力画素ｘ（ｔ）の自乗誤差の
逆数を、入力信頼度αｘ（ｔ）として用いることを考え
ると、この入力信頼度αｘ（ｔ）は、次式で与えられ
る。

【０１５０】 αｘ（ｔ）＝１／△ｘ（ｔ）２ ＝１／（ｘ（ｔ）−Ｘ’）２ ・・・（１８）

【０１５１】式（１８）における△ｘ（ｔ）２は、入力
画素ｘ（ｔ）の、仮の真値Ｘ’に対する自乗誤差（（ｘ
（ｔ）−Ｘ’）２）であるから、入力画素ｘ（ｔ）に含
まれるノイズを概ね見積もることができるが、この自乗
誤差△ｘ（ｔ）２には、真値に対する仮の真値Ｘ’の誤
差が含まれていないため、真値Ｘに対する入力画素ｘ
（ｔ）の自乗誤差（ｘ（ｔ）−Ｘ）２とは、図１１に示
すように、基本的に異なる値となる。

【０１５２】そこで、仮の真値Ｘ’に対する入力画素ｘ
（ｔ）の自乗誤差△ｘ（ｔ）２が、真値Ｘに対する入力
画素ｘ（ｔ）の自乗誤差（ｘ（ｔ）−Ｘ）２に等しいこ
との信頼性、即ち、仮の真値Ｘ’が真値Ｘに等しいこと
の信頼性を表す仮真値信頼度を、入力信頼度αｘ（ｔ）
の補正に用いる補正項（補正値）σＸ’２として導入
し、これによって、仮の真値Ｘ’に対する入力画素ｘ
（ｔ）の自乗誤差△ｘ（ｔ）２の逆数として表される入
力信頼度αｘ（ｔ）を補正することにより、より信頼性
の高い入力信頼度αｘ（ｔ）（入力画素ｘ（ｔ）が真値
であることの信頼性を、より正確に表す入力信頼度αｘ
（ｔ））を求めるようにすることができる。

【０１５３】即ち、いま、仮の真値Ｘ’として、例え
ば、式（１９）に示すような、入力画素ｘ（ｔ）を含
む、過去Ｎ個の入力画素ｘ（ｔ）乃至ｘ（ｔ−（Ｎ−
１））の平均値（移動平均）を用いることとする。

【０１５４】

【数５】 ・・・（１９） なお、式（１９）において、ｘの上にバー（−）を付し
たものが、入力画素ｘ（ｔ）乃至ｘ（ｔ−（Ｎ−１））
の平均値を表すが、本明細書中では、このｘの上にバー
（−）を付したものを、以下、適宜、ｘ〜と表す。

【０１５５】この場合、補正項σＸ’２としては、例え
ば、次式に示すような、入力画素ｘ（ｔ）を含む、過去
Ｎ個の入力画素ｘ（ｔ）乃至ｘ（ｔ−（Ｎ−１））の分
散の平均値σｘ〜２を用いることができる。

【０１５６】

【数６】 ・・・（２０） ここで、式（２０）における右辺の分子を、Ｎ−１で除
算したものが、入力画素ｘ（ｔ）乃至ｘ（ｔ−（Ｎ−
１））の分散であり、式（２０）では、これを、Ｎで除
算することにより、入力画素ｘ（ｔ）乃至ｘ（ｔ−（Ｎ
−１））の分散の平均値σｘ〜２を求めている。なお、
式（２０）により求められるσｘ〜２は、統計学上は、
「平均値の分散」と呼ばれるが、意味的には、分散をＮ
で除算することから、「分散の平均値」の方が分かりや
すいので、ここでは、「分散の平均値」と呼ぶこととす
る。

【０１５７】この場合、入力信頼度αｘ（ｔ）は、例え
ば、次式にしたがって補正することができる。

【０１５８】 αｘ（ｔ）＝１／（△ｘ（ｔ）２＋σＸ’２） ・・・（２１）

【０１５９】式（２１）においては、仮の真値Ｘ’に対
する入力画素ｘ（ｔ）の自乗誤差△ｘ（ｔ）２（補正前
の入力信頼度の逆数）が、補正項σＸ’２によって補正
され、その逆数が補正された入力信頼度αｘ（ｔ）とし
て求められている。即ち、自乗誤差△ｘ（ｔ）２と、補
正項σＸ’２との加算値の逆数が、補正された入力信頼
度αｘ（ｔ）として求められている。

【０１６０】統計的には、仮の真値Ｘ’に対する入力画
素ｘ（ｔ）の自乗誤差△ｘ（ｔ）２は、真値Ｘに対する
入力画素ｘ（ｔ）の自乗誤差（ｘ（ｔ）−Ｘ）２よりも
小さく見積もられることが多いことから、式（２１）に
示すように、自乗誤差△ｘ（ｔ）２と、補正項σＸ’２
とを加算し、その加算値の逆数を、入力信頼度αｘ
（ｔ）とすることで、入力画素ｘ（ｔ）が真値であるこ
との信頼性を、より正確に表す入力信頼度αｘ（ｔ）を
得ることができる。

【０１６１】ここで、式（１７）乃至（２１）では、仮
の真値Ｘ’と入力データｘ（ｔ）との自乗誤差の逆数で
定義される入力信頼度αｘ（ｔ）を補正するようにした
が、式（１６）で表される入力信頼度αｘ（ｔ）も、上
述の場合と同様に補正することが可能である。

【０１６２】なお、本発明は、画像データや、音声デー
タ、その他のデータからのノイズの除去を行う場合に適
用可能である。

【０１６３】また、本実施の形態では、本発明につい
て、ノイズの除去という観点から説明を行ったが、本発
明においては、上述したように、出力データが時間の経
過とともに改善されるように、入力データが処理される
ことから、例えば、入力データの波形整形（波形等化）
などを行う場合にも適用可能である。

【０１６４】

【発明の効果】本発明の画像処理装置および画像処理方
法によれば、入力画素の動きが判定され、その判定結果
に基づいて、その入力画素の静止している部分のノイズ
量が推定される。さらに、そのノイズ量に基づいて、入
力画素の信頼性を表す入力信頼度が計算されるととも
に、出力画素の信頼性を表す出力信頼度が計算される。
そして、入力信頼度および出力信頼度に基づいて、入力
画素が処理され、出力画素が出力される。従って、動画
像のデータに含まれるノイズの除去を、より効果的に行
うことが可能となる。

【０１６５】本発明のデータ処理装置およびデータ処理
方法によれば、入力データの信頼性を表す入力信頼度が
計算されるとともに、出力データの信頼性を表す出力信
頼度が計算され、出力信頼度の補正に用いる出力補正項
が算出される。そして、出力信頼度が、出力補正項に基
づいて補正され、入力信頼度、および補正された出力信
頼度に基づいて、入力データが処理され、出力データが
出力される。従って、例えば、出力データが真値である
ことの信頼性を、より正確に表す出力信頼度を得ること
が可能となり、これを用いることで、より効果的なノイ
ズの除去等が可能となる。

【図面の簡単な説明】

【図１】入力データと、その信頼度とを示す図である。

【図２】本発明を適用したノイズ除去装置の一実施の形
態の構成例を示すブロック図である。

【図３】図２のノイズ除去装置の処理を説明するための
フローチャートである。

【図４】図２のＭＥ部１の構成例を示すブロック図であ
る。

【図５】可変ブロックサイズブロックマッチングを説明
するための図である。

【図６】図４のＭＥ部１の処理を説明するためのフロー
チャートである。

【図７】図２のノイズ量推定部２の構成例を示すブロッ
ク図である。

【図８】図７のノイズ量推定部２の処理を説明するため
のフローチャートである。

【図９】図２のノイズリダクション部３の処理を説明す
るためのフローチャートである。

【図１０】図９のノイズリダクション部３の処理を説明
するためのフローチャートである。

【図１１】仮の真値Ｘ’と、真値Ｘとの関係を示す図で
ある。

【符号の説明】

１ ＭＥ部， ２ ノイズ量推定部， ３ ノイズリダ
クション部， ４，５メモリ， １１ 現フレームメモ
リ， １２ 前フレームメモリ， １３ 差分絶対値和
演算部， １４ 残差メモリ， １５ 最小値検出部，
１６ 次点検出部， １７ 差分演算部， １８ 判
定部， １９ ブロックサイズ拡大指示部， ２０ コ
ントローラ， ２１ アドレス出力部， ３１乃至３８
遅延回路， ３９ 分散計算部， ４０ 分散積算メ
モリ， ４１ 分散値フレーム平均計算部， ４２乃至
４６ 判定部， ４７ 連続静止位置検出部， ４８メ
モリコントローラ， ５１，５２ メモリコントロー
ラ， ５３ フレーム間差分演算部， ５４ ベクトル
信頼度算出部， ５５ 重み／信頼度算出部，５６ 重
み付き平均演算部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 CA12 CA16 CB12 CB16 CC02 CE02 CH08 CH18 DA06 DA17 5C021 PA42 PA56 PA57 PA58 PA66 PA67 PA76 PA79 RA01 RA16 RB06 RB07 SA24 YA01 5L096 AA13 BA08 BA16 BA18 EA05 EA23 EA37 EA39 FA19 GA08 GA19 HA03 LA05 LA10 MA03

Claims (13)

【特許請求の範囲】
1. 【請求項１】 入力画素を処理し、その処理結果として
   の出力画素を出力する画像処理装置であって、 前記入力画素の動きを判定する動き判定手段と、 前記入力画素の動きの判定結果に基づいて、その入力画
   素の静止している部分のノイズ量を推定する推定手段
   と、 前記ノイズ量に基づいて、前記入力画素の信頼性を表す
   入力信頼度を計算する入力信頼度計算手段と、 前記出力画素の信頼性を表す出力信頼度を計算する出力
   信頼度計算手段と、 前記入力信頼度および出力信頼度に基づいて、前記入力
   画素を処理し、前記出力画素を出力する処理手段とを含
   むことを特徴とする画像処理装置。
2. 【請求項２】 前記入力信頼度および出力信頼度に基づ
   いて、所定の重み係数を求める重み係数算出手段をさら
   に含み、 前記処理手段は、注目している前記入力画素である注目
   入力画素と、その注目入力画素に対応する、前の画面の
   前記出力画素とを、前記重み係数を重みとして重み付け
   加算し、その加算値を、前記注目入力画素に対する前記
   出力画素として出力することを特徴とする請求項１に記
   載の画像処理装置。
3. 【請求項３】 前記入力画素の動きベクトルを検出する
   動きベクトル検出手段をさらに含み、 前記動き判定手段は、前記入力画素の動きを、前記動き
   ベクトルに基づいて判定することを特徴とする請求項１
   に記載の画像処理装置。
4. 【請求項４】 前記動きベクトルの信頼性を表すベクト
   ル信頼度を計算するベクトル信頼度計算手段と、 前記ベクトル信頼度に基づいて、前記出力信頼度を補正
   する補正手段とをさらに含み、 前記処理手段は、前記入力信頼度および補正された前記
   出力信頼度に基づいて、前記入力画素を処理することを
   特徴とする請求項３に記載の画像処理装置。
5. 【請求項５】 前記ベクトル信頼度計算手段は、前記ノ
   イズ量と、前記動きベクトルの残差とに基づいて、前記
   ベクトル信頼度を計算することを特徴とする請求項４に
   記載の画像処理装置。
6. 【請求項６】 入力画素を処理し、その処理結果として
   の出力画素を出力する画像処理方法であって、 前記入力画素の動きを判定する動き判定ステップと、 前記入力画素の動きの判定結果に基づいて、その入力画
   素の静止している部分のノイズ量を推定する推定ステッ
   プと、 前記ノイズ量に基づいて、前記入力画素の信頼性を表す
   入力信頼度を計算する入力信頼度計算ステップと、 前記出力画素の信頼性を表す出力信頼度を計算する出力
   信頼度計算ステップと、 前記入力信頼度および出力信頼度に基づいて、前記入力
   画素を処理し、前記出力画素を出力する処理ステップと
   を含むことを特徴とする画像処理方法。
7. 【請求項７】 入力データを処理し、その処理結果とし
   ての出力データを出力するデータ処理装置であって、 前記入力データの信頼性を表す入力信頼度を計算する入
   力信頼度計算手段と、 前記出力データの信頼性を表す出力信頼度を計算する出
   力信頼度計算手段と、 前記出力信頼度の補正に用いる出力補正項を算出する出
   力補正項算出手段と、 前記出力信頼度を、前記出力補正項に基づいて補正する
   出力補正手段と、 前記入力信頼度、および補正された前記出力信頼度に基
   づいて、前記入力データを処理し、前記出力データを出
   力する処理手段とを含むことを特徴とするデータ処理装
   置。
8. 【請求項８】 前記入力信頼度および出力信頼度に基づ
   いて、所定の重み係数を求める重み係数算出手段をさら
   に含み、 前記処理手段は、注目している前記入力データである注
   目入力データと、前回出力された前記出力データとを、
   前記重み係数を重みとして重み付け加算し、その加算値
   を、前記注目入力データに対する前記出力データとして
   出力することを特徴とする請求項７に記載のデータ処理
   装置。
9. 【請求項９】 前記入力データおよび出力データは、画
   像を構成する画素であり、 前記処理手段は、注目している前記入力データとしての
   入力画素である注目入力画素と、その注目入力画素に対
   応する、前の画面の前記出力データとしての出力画素と
   を、前記重み係数を重みとして重み付け加算し、その加
   算値を、前記注目入力画素に対する前記出力画素として
   出力することを特徴とする請求項８に記載のデータ処理
   装置。
10. 【請求項１０】 前記入力データおよび出力データは、
    画像を構成する画素であり、 前記入力データとしての入力画素の動きベクトルを検出
    する動きベクトル検出手段をさらに含み、 前記出力補正項算出手段は、前記動きベクトルの信頼性
    を表すベクトル信頼度を求め、そのベクトル信頼度を、
    前記出力補正項として出力することを特徴とする請求項
    ７に記載のデータ処理装置。
11. 【請求項１１】 前記入力画素のノイズ量を推定する推
    定手段をさらに含み、 前記出力補正項算出手段は、前記ノイズ量と、前記動き
    ベクトルの残差とに基づいて、前記ベクトル信頼度を求
    めることを特徴とする請求項１０に記載のデータ処理装
    置。
12. 【請求項１２】 前記入力信頼度の補正に用いる入力補
    正項を算出する入力補正項算出手段と、 前記入力信頼度を、前記入力補正項に基づいて補正する
    入力補正手段とをさらに含み、 前記処理手段は、補正された前記入力信頼度および出力
    信頼度に基づいて、前記入力データを処理し、前記出力
    データを出力することを特徴とする請求項７に記載のデ
    ータ処理装置。
13. 【請求項１３】 入力データを処理し、その処理結果と
    しての出力データを出力するデータ処理方法であって、 前記入力データの信頼性を表す入力信頼度を計算する入
    力信頼度計算ステップと、 前記出力データの信頼性を表す出力信頼度を計算する出
    力信頼度計算ステップと、 前記出力信頼度の補正に用いる出力補正項を算出する出
    力補正項算出ステップと、 前記出力信頼度を、前記出力補正項に基づいて補正する
    出力補正ステップと、 前記入力信頼度、および補正された前記出力信頼度に基
    づいて、前記入力データを処理し、前記出力データを出
    力する処理ステップとを含むことを特徴とするデータ処
    理方法。