JP2000232384A

JP2000232384A - データ処理装置およびデータ処理方法

Info

Publication number: JP2000232384A
Application number: JP11031121A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Kenji Tanaka; 健司田中; Koji Ota; 浩二太田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-02-09
Filing date: 1999-02-09
Publication date: 2000-08-22
Anticipated expiration: 2019-02-09
Also published as: EP1028390A3; CN1561092B; US6999633B1; KR100753345B1; CN1263327A; TW469736B; EP1028390A2; CN1561092A; JP4224882B2; ID24776A; CN1169088C; KR20000076619A

Abstract

(57)【要約】【課題】入力データに含まれるノイズを効果的に除去
した出力データを得る。【解決手段】入力データから、注目している注目入力
データと値の近い類似入力データ、即ち、例えば、注目
入力データとの差分の絶対値が、所定の閾値ｔｈ以下の
ものが抽出され、その類似入力データを近似する直線が
求められる。そして、その直線上の点が、注目入力デー
タに対する出力データとして出力される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、データ処理装置お
よびデータ処理方法に関し、特に、例えば、データに含
まれるノイズの効果的な除去を、容易に行うことができ
るようにするデータ処理装置およびデータ処理方法に関
する。

【０００２】

【従来の技術】例えば、伝送や再生等された画像データ
や音声データなどのデータには、一般に、時間的に変動
するノイズが含まれているが、データに含まれるノイズ
を除去する方法としては、従来より、入力データ全体の
平均（以下、適宜、全平均という）や、入力データの局
所的な平均である移動平均を求めるもの、さらには、注
目しているデータを、その近傍にあるデータのメディア
ン（中央値）に置き換えるものなどが知られている。ま
た、画像については、例えば、ある１のフレームを参照
フレームとして、他の１のフレームの動きベクトルを求
め、その動きベクトルによって、他の１フレームの動き
補償を行い、その動き補償後のフレームと、参照フレー
ムとの加重平均を求めることにより、ノイズを除去する
方法が知られている。

【０００３】

【発明が解決しようとする課題】しかしながら、全平均
を計算する方法は、データに含まれるノイズの度合い、
即ち、データのＳ／Ｎ（Signal/Noise）が一定である場
合は有効であるが、データのＳ／Ｎが変動する場合に
は、Ｓ／Ｎの悪いデータが、Ｓ／Ｎの良いデータに影響
し、効果的にノイズを除去することが困難となることが
ある。

【０００４】また、移動平均を計算する方法では、入力
されたデータから時間的に近い位置にあるデータの平均
が求められるため、その処理結果は、データのＳ／Ｎの
変動の影響を受ける。即ち、データのＳ／Ｎの良い部分
については、処理結果のＳ／Ｎも良くなるが、Ｓ／Ｎの
悪い部分については、処理結果のＳ／Ｎも悪くなる。さ
らに、全平均や移動平均を計算する方法によれば、デー
タが平滑化されるから、画像に適用すると、データが急
激に変化する部分、即ち、急峻なエッジ等が失われるこ
とになる。

【０００５】また、メディアンに置き換える方法では、
データの時間的な順序が無視されるため、元の波形の特
徴が大きく損なわれることがある。

【０００６】さらに、動きベクトルを用いる方法では、
動きベクトルの検出を誤ると、処理後の画像の画質が大
きく劣化する。

【０００７】本発明は、このような状況に鑑みてなされ
たものであり、データに含まれるノイズを、容易かつ効
果的に除去することができるようにするものである。

【０００８】

【課題を解決するための手段】本発明のデータ処理装置
は、入力データから、注目している注目入力データと値
の近い類似入力データを抽出する抽出手段と、類似入力
データを用いて処理を行い、出力データを求める処理手
段とを含むことを特徴とする。

【０００９】本発明のデータ処理方法は、入力データか
ら、注目している注目入力データと値の近い類似入力デ
ータを抽出する抽出ステップと、類似入力データを用い
て処理を行い、出力データを求める処理ステップとを含
むことを特徴とする。

【００１０】上記構成のデータ処理装置およびデータ処
理方法においては、入力データから、注目している注目
入力データと値の近い類似入力データが抽出され、その
類似入力データを用いて処理が行われることで、出力デ
ータが求められる。

【００１１】

【発明の実施の形態】図１は、本発明を適用したＮＲ
（Noise Reduction）処理回路の第１実施の形態の構成
例を示している。

【００１２】このＮＲ処理回路においては、画像を対象
としたＮＲ処理が行われるようになされており、ＮＲ処
理すべき画像は、例えば、フレーム単位で、フレームメ
モリ部１に供給されるようになされている。フレームメ
モリ部１は、複数フレーム（例えば、１０乃至２０フレ
ームなど）を記憶することのできる記憶容量を有し、そ
こに供給される画像を一時記憶する。画像処理部２は、
フレームメモリ部１に記憶された画像を読み出し、その
画像からノイズを除去するための処理（ＮＲ処理）を行
う。画像処理部２において処理された画像は、フレーム
メモリ部３に供給される。フレームメモリ部３は、画像
処理部２から供給される画像を一時記憶して出力する。

【００１３】次に、図２は、図１の画像処理部２の構成
例を示している。

【００１４】フレームメモリ１（図１）に記憶された画
像は、適宜読み出され、必要に応じて、重み関数設定部
１１または画素値方向重み付け部１２に供給されるよう
になされている。

【００１５】重み関数設定部１１は、後述するような画
素値方向の重み関数ｗ_Val、垂直方向の重み関数ｗ_Ver、
水平方向の重み関数ｗ_Hor、時間方向の重み関数ｗ_Frを
適応的に設定し、重み関数ｗ_Valを画素値方向重み付け
部１２に、重み関数ｗ_Verおよびｗ_Horを空間方向重み付
け部１３に、重み関数ｗ_Frを時間方向重み付け部１４
に、それぞれ供給するようになされている。

【００１６】画素値方向重み付け部１２は、そこに供給
される画素に対して、重み関数ｗ_Va _lにしたがった重み
付けを行い、空間方向重み付け部１３に供給するように
なされている。空間方向重み付け部１３は、画素値方向
重み付け部１２からの画素に対して、重み関数ｗ_Verお
よびｗ_Horにしたがった重み付けを行い、時間方向重み
付け部１４に供給するようになされている。時間方向重
み付け部１４は、空間方向重み付け部１３からの画素に
対して、重み関数ｗ_Frにしたがった重み付けを行い、加
算部１５に供給するようになされている。加算部１５
は、時間方向重み付け部１４からの画素（画素値）を順
次加算して出力するようになされている。

【００１７】次に、図３のフローチャートを参照して、
図２の画像処理部２の動作について説明する。

【００１８】まず最初に、ステップＳ１において、重み
関数が設定される。即ち、ステップＳ１では、重み関数
設定部１１において、フレームメモリ部１に記憶された
画像が適宜読み出され、いま注目しているフレーム（注
目フレーム）のノイズ量が推定される。さらに、重み関
数設定部１１では、その推定されたノイズ量に基づい
て、重み関数ｗ_Val，ｗ_Ver，ｗ_Hor、およびｗ_Frが設定
される。

【００１９】ここで、画像処理部２においては、ある注
目画素の画素値が、複数の画素の画素値の重み付け加算
値で置き換えられることにより、ノイズの除去が行われ
るようになされており、重み関数ｗ_Valは、重み付け加
算値の計算に用いる処理対象画素と注目画素との画素値
の差分に対応した重み付けを、処理対象画素に対して行
うためのもので、本実施の形態では、例えば、次のよう
なガウス分布の式ｆ（ｘ）で与えられるようになされて
いる。

【００２０】ｆ（ｘ）＝１／（（２π）^1/2σ）ｅｘｐ（−（ｘ−μ）²／（２σ²））・・・（１）但し、μは平均値を、σは標準偏差を、それぞれ表す。

【００２１】また、重み関数ｗ_Ver，ｗ_Hor、およびｗ_Fr
は、処理対象画素に対して、その処理対象画素と注目画
素との間の空間的、時間的距離に対応した重み付けを行
うためのもので、本実施の形態では、例えば、やはり、
式（１）に示したようなガウス分布で与えられるように
なされている。但し、重み関数は、ガウス分布以外の形
で与えることも可能である。

【００２２】従って、重み関数ｗ_Valは、注目画素と処
理対象画素との画素値の差分subの関数であり、正確に
は、ｗ_Val（sub）と表される。重み関数ｗ_Ver，ｗ_Hor、
またはｗ_Frも、同様に、注目画素と処理対象画素との垂
直方向の距離ｊ、水平方向の距離ｉ、または時間方向の
距離ｋの関数であり、正確には、それぞれｗ
_Ver（ｊ），ｗ_Hor（ｉ）、またはｗ_Fr（ｋ）と表され
る。

【００２３】ここで、ガウス分布で与えられる重み関数
ｗ_Valを図４（Ａ）に、同じくガウス分布で与えられる
重み関数ｗ_Ver，ｗ_Hor、およびｗ_Frを図４（Ｂ）に、そ
れぞれ示す。なお、図４（Ｂ）においては、重み関数ｗ
_Ver，ｗ_Hor、およびｗ_Frをまとめて、ｗ_Locと表してあ
る。

【００２４】重み関数設定部１１では、推定されたノイ
ズ量に基づいて、重み関数ｗ_Val，ｗ_Ver，ｗ_Hor、およ
びｗ_Frを規定する式（１）の標準偏差σが設定され、そ
れにより得られる重み関数ｗ_Val，ｗ_Ver，ｗ_Hor，ｗ_Fr
が、画素値方向重み付け部１２、空間方向重み付け部１
３、時間方向重み付け部１４に供給される。即ち、重み
関数ｗ_Valは画素値方向重み付け部１２に、重み関数ｗ
_Verおよびｗ_Horは空間方向重み付け部１３に、重み関数
ｗ_Frは時間方向重み付け部１４に、それぞれ供給され
る。

【００２５】そして、ステップＳ２に進み、画素値方向
重み付け部１２、空間方向重み付け部１３、時間方向重
み付け部１４、および加算部１５において、重み付け加
算が行われ、その重み付け加算結果が、注目画素の新た
な画素値として出力される。

【００２６】即ち、いま、フレームメモリ部１に記憶さ
れた画像の第ｔフレームの、上からｙ＋１番目で、左か
らｘ＋１番目の画素の画素値を、Ｌ［ｔ］［ｙ］［ｘ］
と表すと、画素値方向重み付け部１２、空間方向重み付
け部１３、時間方向重み付け部１４、および加算部１５
において、次式で示されるＬ’［ｔ］［ｙ］［ｘ］が、
注目画素の新たな画素値として求められる。

【００２７】

【数１】・・・（２）

【００２８】その後、ステップＳ３に進み、１フレーム
の画素すべてを注目画素として、処理を行ったかどうか
が判定され、まだ処理を行っていないと判定された場
合、ステップＳ２に戻り、まだ処理の対象としていない
画素を、新たな注目画素として、同様の処理を繰り返
す。また、ステップＳ３において、１フレームの画素す
べてを注目画素として、処理を行ったと判定された場
合、ステップＳ１に戻り、次のフレームを新たな注目フ
レームとして、以下、同様の処理を繰り返す。

【００２９】即ち、図２の画像処理部２では、上述した
ように、重み付け加算を行うことで、注目画素の画素値
のノイズを除去した新たな画素値が求められるようにな
されているが、その際の重み付けは、まず、画素値方向
重み付け部１２において、注目画素の画素値Ｌ［ｔ］
［ｙ］［ｘ］と、重み付け加算値の計算に用いる処理対
象画素の画素値Ｌ［ｔ＋ｋ］［ｙ＋ｊ］［ｘ＋ｉ］との
差分（Ｌ［ｔ＋ｋ］［ｙ＋ｊ］［ｘ＋ｉ］−Ｌ［ｔ］
［ｙ］［ｘ］）に基づいて行われる。

【００３０】その結果、注目画素と近い画素値の処理対
象画素に対しては大きな重みが用いられ、注目画素と離
れた画素値の処理対象画素に対しては小さな重みが用い
られることとなり、即ち、極端には、注目画素と離れた
画素値の処理対象画素に対する重みは０とされることと
なり、これにより、注目画素と比較的近い画素値の処理
対象画素のみが抽出され、そのような処理対象画素を用
いた重み付け加算を行うことで、注目画素の画素値のノ
イズを除去した新たな画素値が求められる。

【００３１】さらに、重み付けは、空間方向重み付け部
１３において、注目画素と、重み付け加算を行う処理対
象画素との間の垂直方向の距離ｊ、および水平方向の距
離ｉに基づいて行われるようになされている。即ち、注
目画素と空間的に近い処理対象画素に対しては大きな重
みが用いられ、注目画素と空間的に遠い処理対象画素に
対しては小さな重みが用いられる。

【００３２】また、重み付けは、時間方向重み付け部１
４において、注目画素と、重み付け加算を行う処理対象
画素との間の時間方向の距離ｋに基づいて行われるよう
になされている。即ち、注目画素と時間的に近い処理対
象画素に対しては大きな重みが用いられ、注目画素と時
間的に遠い処理対象画素に対しては小さな重みが用いら
れる。

【００３３】以上のように、注目画素と空間的、時間的
に近い処理対象画素に対しては、ある程度の重みが与え
られ、注目画素と空間的、時間的に遠い処理対象画素の
重みは０とされる。

【００３４】従って、図５に示すように、注目画素と同
じような画素値の画素が抽出され、さらに、その中か
ら、注目画素と空間的、時間的に近い画素が抽出され、
そのような画素を用いての重み付け加算値が、注目画素
の新たな画素値として求められるので、注目画素に含ま
れるノイズを、容易かつ効果的に除去することができ
る。

【００３５】次に、図６は、図２の重み関数設定部１１
の構成例を示している。

【００３６】いま注目フレームを、第ｎフレームとする
と、差分回路２１には、その第ｎフレームと、その次の
第ｎ＋１フレームとが供給される。差分回路２１は、第
ｎフレームと第ｎ＋１フレームとの、対応する画素値ど
うしの差分を計算し、そのような差分で構成されるフレ
ーム（差分フレーム）を、ブロック分割回路２２に供給
する。

【００３７】ブロック分割回路２２は、差分回路２１か
らの差分フレームを、所定の画素数のブロック（例え
ば、横と縦それぞれが、８乃至１６画素程度のブロッ
ク）に分割し、ＲＭＳ（Root Mean Square）計算回路２
３に供給する。ＲＭＳ計算回路２３では、ブロック分割
回路２２からの各ブロックの画素値の差分のＲＭＳが計
算される。各ブロックについてのＲＭＳは、ＲＭＳ計算
回路２３からヒストグラム生成回路２４に供給される。
ヒストグラム生成回路２４では、ＲＭＳ計算回路２３か
らの各ブロックについてのＲＭＳのヒストグラムが生成
され、ノイズ量推定回路２５に供給される。

【００３８】ノイズ量推定回路２５では、ヒストグラム
生成回路２４からのＲＭＳのヒストグラムから、注目フ
レームである第ｎフレームのノイズ量が推定される。

【００３９】即ち、ノイズ量推定回路２５は、例えば、
ＲＭＳのヒストグラムにおいて、０でない最小のＲＭＳ
を検出し、その最小のＲＭＳを、注目フレームのノイズ
量として出力する。ここで、画像の信号成分とノイズ成
分とが無相関であると仮定すれば（上述したように、横
と縦それぞれが、８画素以上のブロックについては、こ
のように仮定しても問題ない）、統計的には、差分フレ
ームにおいて、信号成分を有するブロックのＲＭＳは、
信号成分を有しないブロックのＲＭＳより大になるか
ら、信号成分を有しないブロックのＲＭＳ、即ち、ノイ
ズのみのブロックのＲＭＳは、ＲＭＳのヒストグラムに
おいて、最小値として現れる。

【００４０】なお、ＲＭＳのヒストグラムにおいて、０
でない最小のＲＭＳは、フレームによって大きく変動す
る場合があり、従って、０でない最小のＲＭＳを、その
ままノイズ量として用いると、ノイズ量が、フレームご
とに大きく変動することがある。そこで、例えば、ＲＭ
Ｓのヒストグラムに対して、例えば、ｙ＝ｅ^-x等による
重み付けをし（小さなＲＭＳには大きな重みを、大きな
ＲＭＳには小さな重みを、それぞれ乗算し）、さらに、
その重み付け後のＲＭＳの加重平均を演算し、その加重
平均値を、ノイズ量と推定するようにすることも可能で
ある。この場合、ノイズ量が、フレームごとに大きく変
動することはなく、ある程度安定した値が得られる。

【００４１】ノイズ量推定回路２５において推定された
ノイズ量は、重み関数設定回路２６に供給される。重み
関数設定回路２６では、ノイズ量推定回路２５からの注
目フレームのノイズ量に基づき、重み関数ｗ_Val，
ｗ_Ver，ｗ_Hor、およびｗ_Frとしてのガウス分布の標準偏
差σが設定される。

【００４２】即ち、重み関数設定回路２６は、例えば、
ノイズ量が大きい場合には、重み関数ｗ_Valの標準偏差
σを大きくする。このようにノイズ量にしたがって、重
み関数ｗ_Valの標準偏差σを変えることで、元の画像に
含まれるノイズに応じた最適なＮＲ処理を行うことが可
能となる。

【００４３】なお、元の画像の動き量、あるいは動きの
有無を検出し、その検出結果に基づいて、重み関数ｗ
_Val，ｗ_Ver，ｗ_Hor、およびｗ_Frとしてのガウス分布の
標準偏差σを設定するようにすることも可能である。即
ち、画像が動きを有するもの（動き系画像）である場合
には、重み関数ｗ_Verおよびｗ_Horの標準偏差σを大きく
し、画像がほとんど動きのないもの（静止画系画像）で
ある場合には、重み関数ｗ_Frの標準偏差σを大きくする
ようにすることができる。この場合、元の画像の動きを
考慮したＮＲ処理を行うことが可能となる。

【００４４】次に、図７乃至図１０を参照して、図１の
画像処理部２により画像をＮＲ処理したシミュレーショ
ン結果について説明する。

【００４５】図７および図９は、ＮＲ処理の対象とした
画像を示している。なお、図７は静止系画像であり、図
９は動き系画像である。

【００４６】図８は、図７の画像を対象としたシミュレ
ーション結果を、図１０は、図９の画像を対象としたシ
ミュレーション結果を、それぞれ示している。

【００４７】図８において、曲線Ａ１は、図７の画像の
Ｓ／Ｎを示しており、開始の部分と終わりの部分のフレ
ームのＳ／Ｎが約３３ｄＢに、中間の部分のフレームの
Ｓ／Ｎが約４０ｄＢになっている。

【００４８】曲線Ａ２は、図７の画像を対象に、図２の
画像処理部２によるＮＲ処理を行った結果得られる画像
のＳ／Ｎを示しており、曲線Ａ３およびＡ４は、図７の
画像を対象に、動き判定付き平均（動き判定を行い、動
きのない部分の画素について平均をとる手法）によるＮ
Ｒ処理を行った結果得られる画像のＳ／Ｎを示してい
る。なお、曲線Ａ３とＡ４とでは、動き判定を行う際の
パラメータの値が異なっている。

【００４９】また、図１０において、曲線Ｂ１は、図９
の画像のＳ／Ｎを示しており、図７の画像と同様に、開
始の部分と終わりの部分のフレームのＳ／Ｎが約３３ｄ
Ｂに、中間の部分のフレームのＳ／Ｎが約４０ｄＢにな
っている。

【００５０】曲線Ｂ２は、図９の画像を対象に、図２の
画像処理部２によるＮＲ処理を行った結果得られる画像
のＳ／Ｎを示しており、曲線Ｂ３は、図９の画像を対象
に、動き判定付き平均によるＮＲ処理を行った結果得ら
れる画像のＳ／Ｎを示している。

【００５１】図８および図１０から、図２の画像処理部
２によるＮＲ処理によれば、静止系画像か、動き系画像
かにかかわらず、さらに、元の画像のＳ／Ｎにもよら
ず、効果的にノイズが除去され、Ｓ／Ｎが向上している
ことが分かる。

【００５２】なお、上述の場合においては、注目画素と
画素値の近い画素の中から、注目画素と空間的、時間的
に近い画素を抽出するようにしたが、その際、空間的な
方向については、水平方向のみ、または垂直方向のみに
注目して、画素の抽出を行うようにすることが可能であ
る。

【００５３】次に、以上のように、注目画素と画素値の
近い画素を抽出し、そのような画素を対象とした重み付
け加算を行うことによって、ノイズが除去される（Ｓ／
Ｎが向上する）原理について説明する。なお、ここで
は、説明を簡単にするため、重み付け加算として、最も
単純な相加平均を考える。

【００５４】画素値の観測値と真値との間の誤差、即
ち、ノイズが正規分布となると仮定すると（このような
仮定をしても、基本的に問題ない）、画素値の観測値
も、図１１に示すように、正規分布になる。

【００５５】いま、ある注目画素の画素値の観測値が、
Ｃであったとすると、そのような観測値Ｃに近い画素
は、図１１においてＤで示す、観測値Ｃの周辺に分布す
る。そして、観測値Ｃに近い画素の相加平均を、Ｃ’と
すると、その相加平均値Ｃ’は、図１１の正規分布のう
ちの、Ｄで示す斜線部分の面積を２等分するような値と
なる。従って、画素値の観測値が正規分布であれば、観
測値Ｃに近い画素値の相加平均値Ｃ’は、真値に近づく
から、観測値Ｃに近い画素の相加平均をとることによ
り、ノイズが低減されることになる。

【００５６】図１２は、ある画像を構成する各画素の画
素値の観測値と真値との間の誤差の分布を示している。
注目画素と画素値の近い画素の相加平均を計算すること
で、この分布は、図１３に示すようになる。

【００５７】即ち、相加平均を演算することで、誤差Ｅ
を有していた画素の誤差の分布は、図１３においてＦで
示すようになる。この場合、誤差が、元の誤差Ｅよりも
増加する画素も多少は存在するが、ほとんどの画素の誤
差は、元の誤差Ｅよりも減少する。その結果、誤差の分
布は、図１３に実線で示すように、元の分布（図１２）
に比較して、急峻なもの（従って、誤差の小さい画素が
増加したもの）となる。

【００５８】なお、以上のようなノイズ除去（低減）の
原理から明らかなように、重み付け加算によってノイズ
を低減した画像を対象に、再び、重み付け加算を計算す
ることによって、さらなるノイズの低減を図ることがで
きる。

【００５９】ここで、上述の重み関数ｗ_Valの標準偏差
σを設定することは、図１１に示した重み付け加算に用
いるデータの範囲Ｄを設定することに対応する。

【００６０】次に、図１４は、本発明を適用したＮＲ処
理回路の第２実施の形態の構成例を示している。

【００６１】このＮＲ処理回路においては、入力データ
から、注目している入力データ（注目入力データ）と値
の近い入力データが抽出され、その抽出された入力デー
タを用いて、注目入力データに含まれるノイズの除去
（低減）が行われるようになされている。

【００６２】即ち、入力データは、ラッチ回路３１₁お
よび前処理部３２に供給される。ラッチ回路３１₁は、
そこに供給される入力データを、例えば、その入力デー
タが供給されるタイミングに同期してラッチ（記憶）
し、その後段のラッチ回路３１₂および前処理部３２に
供給する。ラッチ回路３１₂または３１₃それぞれは、ラ
ッチ回路３１₁と同様に、その前段のラッチ回路３１₁ま
たは３１₂が出力する入力データをラッチし、その後段
のラッチ回路３１₃または３１₄と、前処理部３２に供給
する。ラッチ回路３１₄は、その前段のラッチ回路３１₃
が出力する入力データをラッチし、前処理部３２に供給
する。

【００６３】従って、いま、ラッチ回路３１₁および前
処理部３２に、入力データｘ（ｔ＋２）が供給されたと
すると、前処理部３２には、さらに、ラッチ回路３１₁
乃至３１₄それぞれでラッチされた入力データｘ（ｔ＋
１），ｘ（ｔ），ｘ（ｔ−１），ｘ（ｔ−２）も供給さ
れる。即ち、前処理部３２には、連続する５サンプルの
入力データｘ（ｔ＋２）乃至ｘ（ｔ−２）が同時に供給
される。前処理部３２は、５サンプルの入力データｘ
（ｔ＋２）乃至ｘ（ｔ−２）のうちの、いわば中心のｘ
（ｔ）を注目入力データとして後述するような前処理を
行うことで、５サンプルの入力データｘ（ｔ＋２）乃至
ｘ（ｔ−２）の中から、注目入力データｘ（ｔ）と値の
近いものを抽出し、モデル化部３３に供給する。

【００６４】モデル化部３３は、所定のモデルに基づ
き、前処理部３２からの入力データを用いて近似処理を
行うことで、注目入力データｘ（ｔ）に対する出力デー
タｙ（ｔ）を求める。

【００６５】即ち、モデル化部３３は、ここでは、線形
回帰部４１と出力計算部４２から構成されている。線形
回帰部４１は、例えば、一次式（直線）で表されるモデ
ルによって、前処理部３２からの入力データを用いて近
似処理を行うことで、入力データを局所的にモデル化す
る。具体的には、線形回帰部４１は、前処理部３２から
の入力データを線形回帰によって一次式のモデルに当て
はめる。

【００６６】ここで、線形回帰とは、図１５に示すよう
に、一次式ｙ＝ａｔ＋ｂによって表される直線と、前処
理部３２からの入力データ（図１５において●印で示
す）それぞれとの間の２乗誤差の総和が最小になるよう
な定数ａおよびｂを求めることを意味する。

【００６７】定数ａおよびｂが求められると、線形回帰
部４１は、その定数ａ，ｂを、出力計算部４２に供給す
る。出力計算部４２は、線形回帰部４１からの定数ａ，
ｂを用いて、式ｙ（ｔ）＝ａｔ＋ｂを演算し、その結果
得られるｙ（ｔ）を、注目入力データｘ（ｔ）に対する
出力データとして出力する。

【００６８】以上の処理を、各時刻ｔにおける入力デー
タｘ（ｔ）を対象に行うことで、図１６に示すように、
入力データｘ（ｔ）のノイズを効果的に低減（除去）し
た（真値に近い、従って、Ｓ／Ｎの良い）出力データｙ
（ｔ）を得ることができる。

【００６９】ところで、一次式で表されるモデルは、真
値が連続性を有する場合には有効であるが、真値が連続
性を有しない場合、即ち、例えば、真値が不連続な変化
点を有する場合には、そのような変化点において、一次
式で表されるモデルから得られる出力データｙ（ｔ）
は、図１７に示すように、その波形が鈍ったものにな
る。

【００７０】そこで、前処理部３２は、そこに入力され
る５サンプルの入力データから、一次式で表されるモデ
ルに適合するもののみを抽出し、線形回帰部４１に供給
するようになされている。

【００７１】即ち、前処理部３２では、注目入力データ
ｘ（ｔ）と、そこに入力される入力データｘ（ここで
は、ｘ（ｔ＋２）乃至ｘ（ｔ−２））それぞれと、注目
入力データｘ（ｔ）との差分の絶対値（｜ｘ（ｔ）−ｘ
｜）が計算され、その絶対値が所定の閾値ｔｈ以下（未
満）となる入力データだけが抽出され、線形回帰部４１
に供給される。従って、線形回帰部４１では、図１８に
示すように、注目入力データを基準とする±ｔｈの範囲
内にある入力データのみを用いて線形回帰が行われるた
め、真値が不連続な変化点において、出力データｙ
（ｔ）の波形が鈍ったものになることを防止することが
できる。即ち、真値が不連続な変化点を有する場合であ
っても、図１９に示すように、そのような真値に追随す
るような出力データｙ（ｔ）を得ることができる。

【００７２】次に、図２０は、本発明を適用したＮＲ処
理回路の第３実施の形態の構成例を示している。なお、
図中、図１４における場合と対応する部分については、
同一の符号を付してあり、以下では、その説明は、適宜
省略する。即ち、図２０のＮＲ処理回路は、ノイズ量推
定部５１が新たに設けられている他は、図１４における
場合と同様に構成されている。

【００７３】図１４のＮＲ処理回路においては、前処理
部３２において用いられる閾値ｔｈが固定とされていた
が、図２０のＮＲ処理回路においては、前処理部３２に
おいて用いられる閾値ｔｈが、入力データに含まれるノ
イズ量に基づいて適応的に設定されるようになされてい
る。

【００７４】即ち、ノイズ量推定部５１には、前処理部
３２に供給されるのと同一の５サンプルの入力データｘ
（ｔ＋２）乃至ｘ（ｔ−２）が供給されるようになされ
ており、ノイズ量推定部５１は、入力データのノイズ量
を推定し、前処理部３２に供給するようになされてい
る。そして、前処理部３２においては、ノイズ量推定部
５１からのノイズ量に基づいて、閾値ｔｈが設定される
ようになされている。

【００７５】次に、図２１のフローチャートを参照し
て、その動作について説明する。

【００７６】まず最初に、ステップＳ１１において、５
サンプルの入力データｘ（ｔ＋２）乃至ｘ（ｔ−２）
が、前処理部３２およびノイズ量推定部５１に入力され
る。そして、ノイズ量推定部５１では、ステップＳ１２
において、５サンプルの入力データｘ（ｔ＋２）乃至ｘ
（ｔ−２）に含まれるノイズ量が推定される。即ち、ノ
イズ量推定部５１は、例えば、５サンプルの入力データ
ｘ（ｔ＋２）乃至ｘ（ｔ−２）の分散が演算され、その
分散に基づいて、入力データのノイズ量が推定される。
このノイズ量は、ノイズ量推定部５１から前処理部３２
に供給される。

【００７７】前処理部３２は、ステップＳ１３におい
て、ノイズ量推定部５１からのノイズ量に基づいて、閾
値ｔｈを設定し、即ち、ノイズ量が大のときは、大きな
閾値ｔｈを設定し、ノイズ量が小のときは、小さな閾値
ｔｈを設定し、５サンプルの入力データｘ（ｔ＋２）乃
至ｘ（ｔ−２）から、注目入力データｘ（ｔ）との差分
の絶対値が閾値ｔｈ以下となるものを抽出する。この前
処理部３２で抽出された入力データは、モデル化部３３
に供給される。

【００７８】モデル化部３３では、ステップＳ１４にお
いて、前処理部３２からの入力データが局所的にモデル
化され、これにより、それらの入力データを最も良く近
似する一次式ｙ＝ａｔ＋ｂを規定する定数ａおよびｂが
求められる。さらに、モデル化部３３では、ステップＳ
１５において、ステップＳ１４で求められた定数ａおよ
びｂを用いて、式ｙ（ｔ）＝ａｔ＋ｂが演算され、その
結果得られるｙ（ｔ）が、注目入力データｘ（ｔ）に対
する出力データとして出力される。

【００７９】そして、ステップＳ１６に進み、入力デー
タが終了したかどうかが判定される。ステップＳ１６に
おいて、入力データが終了していないと判定された場
合、新たな入力データが供給されるのを待って、ステッ
プＳ１１に戻り、ステップＳ１１以降の処理を繰り返
す。また、ステップＳ１６において、入力データが終了
したと判定された場合、処理を終了する。

【００８０】次に、図２２は、本発明を適用したＮＲ処
理回路の第４実施の形態の構成例を示している。なお、
図中、図１４または図２０における場合と対応する部分
については、同一の符号を付してあり、以下では、その
説明は、適宜省略する。即ち、図２２のＮＲ処理回路
は、誤差計算部６１が新たに設けられていることを除け
ば、図１４における場合と同様に構成されている。

【００８１】図１４のＮＲ処理回路においては、前処理
部３２において用いられる閾値ｔｈが固定とされていた
が、図２２のＮＲ処理回路においては、図２０における
場合と同様に、前処理部３２において用いられる閾値ｔ
ｈが、入力データに含まれるノイズ量に基づいて適応的
に設定されるようになされている。但し、図２０におい
ては、入力データのノイズ量が、入力データの分散に基
づいて推定されるようになされていたが、図２２におい
ては、入力データをモデル化したときのモデル化誤差に
基づいて推定されるようになされている。

【００８２】即ち、誤差計算部６１には、５サンプルの
入力データｘ（ｔ＋２）乃至ｘ（ｔ−２）と、その５サ
ンプルの入力データを最も良く近似する一次式ｙ＝ａｔ
＋ｂを規定する定数ａおよびｂが供給されるようになさ
れている。

【００８３】そして、誤差計算部６１は、例えば、次式
で示されるモデル化誤差ｅを計算し、そのモデル化誤差
ｅに基づいて、入力データのノイズ量を推定する。

【００８４】 e=|a×(t+2)+b-x(t+2)|+|a×(t+1)+b-x(t+1)|+|a×t+b-x(t)| +|a×(t-1)+b-x(t-1)|+|a×(t-2)+b-x(t-2)| ・・・（３）

【００８５】誤差計算部６１で得られたノイズ量は、前
処理部３２に供給される。そして、前処理部３２では、
誤差計算部６１からのノイズ量に基づいて、閾値ｔｈが
設定され、以下、図２０における場合と同様の処理が行
われる。

【００８６】以上のように、入力データから、注目入力
データと値の近いものを抽出し、その抽出した入力デー
タを局所的にモデル化するようにしたので、そのモデル
に当てはまらない入力データの成分、即ち、ノイズを低
減することができる。

【００８７】なお、上述の場合においては、入力データ
として、一次元のデータを用いるようにしたが、本発明
は、画像などの２次元以上のデータを入力データとする
場合にも適用可能である。ここで、入力データがＮ次元
の場合には、線形回帰において用いる一次式のモデル
は、次式で表される。

【００８８】

【数２】・・・（４）

【００８９】また、上述の場合においては、入力データ
を近似するモデルとして、一次式を用いるようにした
が、入力データを近似するモデルとしては、その他、例
えば、Ｎ次多項式や、各種の形状を近似可能なベジェ曲
線等を用いることも可能である。

【００９０】さらに、入力データを近似する手法は、線
形回帰に限定されるものではない。

【００９１】なお、本実施の形態では、本発明につい
て、ノイズの除去という観点から説明を行ったが、本発
明によれば、入力データの波形整形（波形等化）などを
行うことも可能である。

【００９２】

【発明の効果】以上の如く、本発明のデータ処理装置お
よびデータ処理方法によれば、入力データから、注目し
ている注目入力データと値の近い類似入力データが抽出
され、その類似入力データを用いて処理が行われること
で、出力データが求められる。従って、入力データに含
まれるノイズを効果的に除去した出力データを得ること
ができる。

【図面の簡単な説明】

【図１】本発明を適用したＮＲ処理回路の第１実施の形
態の構成例を示すブロック図である。

【図２】図１の画像処理部２の構成例を示すブロック図
である。

【図３】図２の画像処理部２の動作を説明するためのフ
ローチャートである。

【図４】重み関数を示す図である。

【図５】図２の画像処理部２の動作を説明するための図
である。

【図６】図２の重み関数設定部１１の構成例を示すブロ
ック図である。

【図７】シミュレーションに用いた画像を示すディスプ
レイ上に表示された中間階調の写真である。

【図８】図７の画像を用いたシミュレーション結果を示
す図である。

【図９】シミュレーションに用いた画像を示すディスプ
レイ上に表示された中間階調の写真である。

【図１０】図９の画像を用いたシミュレーション結果を
示す図である。

【図１１】注目画素と画素値の近い画素の加重平均によ
ってノイズが除去される原理を説明するための図であ
る。

【図１２】観測値と真値との間の誤差の分布を示す図で
ある。

【図１３】観測値と真値との間の誤差の分布を示す図で
ある。

【図１４】本発明を適用したＮＲ処理回路の第２実施の
形態の構成例を示すブロック図である。

【図１５】入力データのモデル化を説明するための図で
ある。

【図１６】図１４のＮＲ処理回路による処理結果を示す
図である。

【図１７】図１４のＮＲ処理回路による処理結果を示す
図である。

【図１８】図１４の前処理部３２の処理を説明するため
の図である。

【図１９】図１４のＮＲ処理回路による処理結果を示す
図である。

【図２０】本発明を適用したＮＲ処理回路の第３実施の
形態の構成例を示すブロック図である。

【図２１】図２０のＮＲ処理回路の動作を説明するため
のフローチャートである。

【図２２】本発明を適用したＮＲ処理回路の第４実施の
形態の構成例を示すブロック図である。

【符号の説明】

１フレームメモリ部，２画像処理部，３フレ
ームメモリ部，１１重み関数設定部，１２画素値
方向重み付け部，１３空間方向重み付け部，１４
時間方向重み付け部，１５加算部，２１差分
回路，２２ブロック分割回路，２３ＲＭＳ計算回
路，２４ヒストグラム生成回路，２５ノイズ量
推定回路，２６重み関数設定回路，３１₁乃至３
１₄ラッチ回路，３２前処理部，３３モデル化
部，４１線形回帰部，４２出力計算部，５１
ノイズ量推定部，６１誤差計算部

───────────────────────────────────────────────────── フロントページの続き (72)発明者太田浩二東京都品川区北品川６丁目７番35号ソニー株式会社内Ｆターム(参考） 5C021 PA12 PA16 PA53 PA66 PA67 PA77 PA79 RA01 RB06 RB07 RB08 SA24 YA01 5K052 AA01 BB16 EE00 FF31 GG20

Claims

【特許請求の範囲】

【請求項１】入力データを処理し、その処理結果とし
ての出力データを出力するデータ処理装置であって、前記入力データから、注目している注目入力データと値
の近い類似入力データを抽出する抽出手段と、前記類似入力データを用いて処理を行い、前記出力デー
タを求める処理手段とを含むことを特徴とするデータ処
理装置。
【請求項２】前記抽出手段は、前記入力データに対し
て、その入力データと前記注目入力データとの差分に対
応した第１の重み付けを行うことにより、前記類似入力
データを抽出することを特徴とする請求項１に記載のデ
ータ処理装置。
【請求項３】前記抽出手段は、前記第１の重み付け
を、前記入力データに対して、所定の重み関数を乗算す
ることにより行うことを特徴とする請求項２に記載のデ
ータ処理装置。
【請求項４】前記重み関数を、適応的に設定する設定
手段をさらに含むことを特徴とする請求項３に記載のデ
ータ処理装置。
【請求項５】前記入力データに含まれるノイズ量を推
定する推定手段をさらに含み、前記設定手段は、推定された前記ノイズ量に基づいて、
前記重み関数を設定することを特徴とする請求項４に記
載のデータ処理装置。
【請求項６】前記処理手段は、前記類似入力データに
対して、その類似入力データと前記注目入力データとの
時間または空間的な近さに対応した第２の重み付けを行
い、その第２の重み付けが行われた前記類似入力データ
の加算値を求め、前記注目入力データに対する出力デー
タとして出力することを特徴とする請求項２に記載のデ
ータ処理装置。
【請求項７】前記処理手段は、前記第２の重み付け
を、前記類似入力データに対して、所定の重み関数を乗
算することにより行うことを特徴とする請求項６に記載
のデータ処理装置。
【請求項８】前記重み関数を、適応的に設定する設定
手段をさらに含むことを特徴とする請求項７に記載のデ
ータ処理装置。
【請求項９】前記入力データに含まれるノイズ量を推
定する推定手段をさらに含み、前記設定手段は、推定された前記ノイズ量に基づいて、
前記重み関数を設定することを特徴とする請求項８に記
載のデータ処理装置。
【請求項１０】前記抽出手段は、前記入力データと前
記注目入力データとの差分に基づいて、前記入力データ
から、前記類似入力データを抽出することを特徴とする
請求項１に記載のデータ処理装置。
【請求項１１】前記抽出手段は、前記入力データのう
ち、前記注目入力データと時間または空間的に近いもの
の中から、前記類似入力データを抽出することを特徴と
する請求項１に記載のデータ処理装置。
【請求項１２】前記抽出手段は、前記注目入力データ
との差分が所定の閾値以下の前記入力データを、前記類
似入力データとして抽出することを特徴とする請求項１
に記載のデータ処理装置。
【請求項１３】前記閾値を、適応的に設定する設定手
段をさらに含むことを特徴とする請求項１２に記載のデ
ータ処理装置。
【請求項１４】前記入力データに含まれるノイズ量を
推定する推定手段をさらに含み、前記設定手段は、推定された前記ノイズ量に基づいて、
前記閾値を設定することを特徴とする請求項１３に記載
のデータ処理装置。
【請求項１５】前記推定手段は、前記入力データとそ
の入力データに対する出力データとの差分、または前記
入力データの分散に基づいて、前記ノイズ量を推定する
ことを特徴とする請求項１４に記載のデータ処理装置。
【請求項１６】前記処理手段は、前記類似入力データ
を用いて近似処理を行うことにより、前記出力データを
求めることを特徴とする請求項１２に記載のデータ処理
装置。
【請求項１７】前記処理手段は、所定のモデルを用い
て前記近似処理を行うことを特徴とする請求項１６に記
載のデータ処理装置。
【請求項１８】前記処理手段は、一次式で表されるモ
デルを用いて前記近似処理を行うことを特徴とする請求
項１７に記載のデータ処理装置。
【請求項１９】入力データを処理し、その処理結果と
しての出力データを出力するデータ処理方法であって、前記入力データから、注目している注目入力データと値
の近い類似入力データを抽出する抽出ステップと、前記類似入力データを用いて処理を行い、前記出力デー
タを求める処理ステップとを含むことを特徴とするデー
タ処理方法。