JP2000059652A

JP2000059652A - ノイズ除去装置及びノイズ除去方法

Info

Publication number: JP2000059652A
Application number: JP22479498A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Yasushi Tatsuhira; 靖立平; Hideo Nakaya; 秀雄中屋; Yuji Okumura; 裕二奥村; Takanari Hoshino; 隆也星野; Toshihiko Hamamatsu; 俊彦浜松; Yasushi Noide; 泰史野出; Masaaki Hattori; 正明服部; Masaru Inoue; 賢井上
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-08-07
Filing date: 1998-08-07
Publication date: 2000-02-25

Abstract

(57)【要約】【課題】本発明は、ノイズ除去装置に関し、従来に比し
て一段と正確にノイズのみを除去し得るようにする。【解決手段】第１の画像データ（Ｓ５１）から抽出され
たノイズデータ（Ｓ５８）をクラス分類し、そのクラス
コード（Ｓ７４）に応じた予測データ（Ｓ７５）を発生
して第２の画像データ（Ｓ７６）を生成するノイズ除去
装置（５０）を設けることにより、精細度の劣化を回避
しながらノイズを除去し得、かくして従来に比して一段
と正確にノイズの除去のみを行い得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はノイズ除去装置及び
ノイズ除去方法に関し、例えば画像データに含まれるノ
イズを除去するノイズ除去装置に適用して好適なもので
ある。

【０００２】

【従来の技術】従来、画像データに含まれるノイズが時
間的にランダムに発生する性質を利用して、時間的に連
続するフレーム画像を平均化することによりノイズを除
去するノイズ除去装置がある。このノイズ除去装置で
は、例えば画像データが静止画像の場合には、その信号
成分はフレーム間に相関関係があり、かつノイズ成分は
フレーム間に相関関係がないことから、連続する複数の
フレーム画像を平均化することによりノイズ成分を除去
することができる。

【０００３】

【発明が解決しようとする課題】ところでかかる構成の
ノイズ除去装置においては、画像データが動画像の場合
には、時間的に連続する動画像を平均化すると、精細度
の劣化した動画像（いわゆるぼけ画像）しか生成するこ
とができず、画質の劣化を引き起こしていた。そこでこ
のような問題を回避するものとして、画像データが静止
画像のときだけに上述の平均化処理を施し、画像データ
が動画像のときには入力された画像データをそのまま出
力するノイズ除去装置がある。しかしながらこのノイズ
除去装置では、画像データが静止画像の場合にはノイズ
を除去し得るのに対して、画像データが動画像の場合に
は、ノイズを除去し得ない問題があった。

【０００４】このように画像データが動画像の場合に
は、時間的に連続するフレーム画像を平均化すると、ノ
イズを除去し得るが、精細度の劣化による画質の劣化を
引き起こす一方、入力されるフレーム画像をそのまま出
力すると、精細度の劣化による画質の劣化は回避し得る
が、ノイズを除去し得ないという問題があった。

【０００５】本発明は以上の点を考慮してなされたもの
で、従来に比して一段と正確にノイズの除去のみを行い
得るノイズ除去装置を提案しようとするものである。

【０００６】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、第１の画像データのノイズを除去
して第２の画像データを生成するノイズ除去装置におい
て、第１の画像データに含まれるノイズデータを抽出す
るノイズデータ抽出手段と、ノイズデータから注目画素
を含む複数の画素を選定し、当該複数の画素の信号レベ
ル分布に基づいて注目画素をクラス分類することにより
ノイズクラスを決定するノイズクラス決定手段と、ノイ
ズクラス決定手段によって決定されたノイズクラスに応
じたクラスコードを生成するクラスコード生成手段と、
クラスコードに応じて予測データを発生する予測データ
発生手段と、予測データを基に第２の画像データの注目
画素を予測演算する予測演算手段とを設けるようにし
た。

【０００７】第１の画像データから抽出されたノイズデ
ータをクラス分類し、そのクラスコードに応じた予測デ
ータを基に第２の画像データを生成することにより、精
細度の劣化を回避しながら第１の画像データに含まれる
ノイズを除去し得る。

【０００８】

【発明の実施の形態】以下図面について、本発明の一実
施の形態を詳述する。

【０００９】（１）クラス分類適応処理の原理ここでは例えば標準解像度の画像データ（以下、これを
ＳＤ（Standard Definition ）画像データと呼ぶ）をそ
の各画素の信号レベル分布に応じたクラスに分類し、ク
ラス毎に所定のデータ処理を施すことにより高解像度の
画像データ（以下、これをＨＤ（High Definition ）画
像データと呼ぶ）を生成するいわゆるクラス分類適応処
理の原理について説明する。

【００１０】図１は、このクラス分類適応処理を実現す
るアップコンバータ１の回路構成を示す。アップコンバ
ータ１は、外部から供給される例えば８ビットのパルス
符号変調（ＰＣＭ：Pulse Code Modulation ）データで
なるＳＤ画像データＳ１をクラス分類部２及び予測演算
部３に入力する。クラス分類部２は、例えば図２に示す
ように、ＳＤ画像データＳ１のうち注目画素及び当該注
目画素を中心とした複数の周辺画素でなる合計７画素
（タップ）をクラス分類用の画素（以下、これをクラス
タップと呼ぶ）として設定し、それらの信号レベル分布
に基づいてクラスコードＳ２を生成する。因みに、図中
実線は第１フィールドを示し、点線は第２フィールドを
示す。

【００１１】このクラス分類部２によってクラスコード
Ｓ２を生成する方法としては、ＰＣＭデータを直接使用
する（すなわちＰＣＭデータをそのままクラスデータＳ
２とする）方法や、ＡＤＲＣ（Adaptive Dynamic Range
Coding ）等のデータ圧縮方法を用いてクラス数を削減
するような方法が考えられる。このうちＰＣＭデータを
そのままクラスコードＳ２とする方法では、クラスタッ
プとして８ビットのＰＣＭデータを７タップ用いること
から、クラス数が２⁵⁶という膨大な数のクラス数に分類
されることになり、実用上問題がある。

【００１２】そこで実際には、クラス分類部２は、ＡＤ
ＲＣのようなデータ圧縮処理（すなわち再量子化処理）
を施すことによりクラス数を削減するようになされてい
る。このＡＤＲＣによる分類法は、注目画素を中心とす
る近傍領域内の数タップからＡＤＲＣコードを、次式

【００１３】

【数１】

【００１４】によって求め、当該ＡＤＲＣコードに基づ
いてクラスコードＳ２を生成する手法を用いている。こ
こで、ｃ_iはＡＤＲＣコード、ｘ_iは各クラスタップの
入力画素値、ＭＩＮは領域内にある各クラスタップの入
力画素値のうちの最小画素値、ＤＲは領域内のダイナミ
ックレンジ（最大画素値と最小画素値との差分）、ｋは
再量子化ビット数である。

【００１５】すなわちＡＤＲＣによる分類法は、領域内
のダイナミックレンジから再量子化ビット数に応じた量
子化ステップ幅を算出し、入力画素値から最小画素値を
減算した画素値を量子化ステップ幅に応じて再量子化す
るものである。例えば領域内の７タップにおいて各クラ
スタップを１ビットに再量子化する１ビットＡＤＲＣを
行う場合では、領域内のダイナミックレンジに基づいて
７タップの各入力画素値を適応的に１ビット量子化し、
その結果、７タップの入力画素値を７ビットのデータに
削減することができるので、全体としてクラス数を１２
８クラスにまで削減することができる。

【００１６】図１に戻って、予測係数ＲＯＭ（Read Onl
y Memory）４は、後述する学習回路１０によって予め生
成された各クラス毎に対応した予測係数データＳ３を格
納しており、クラス分類部２から供給されるクラスコー
ドＳ２に応じた予測係数データＳ３を読み出し、これを
予測演算部３に送出する。予測演算部３は、例えば図３
に示すように、外部から入力されるＳＤ画像データＳ１
のうち、注目画素及び当該注目画素を中心とした複数の
周辺画素でなる合計１３タップを予測演算用の画素（以
下、これを予測タップと呼ぶ）として選定し、当該予測
タップの各画素値と予測係数データＳ３とを用いて、線
形一次結合でなる次式

【００１７】

【数２】

【００１８】によって表される積和演算を行うことによ
り、予測タップには存在しないＨＤ画素の集まりである
ＨＤ画像データＳ４を生成し、これを外部に出力する。
ここで、ｘ_i′は各ＨＤ画素値、ｘ_iは各予測タップの
画素値、ｗ_iは予測係数、ｎは予測タップ数であり、こ
の場合ｎは１３である。

【００１９】ところで図４は、予測係数ＲＯＭ４に格納
されている予測係数データを生成する学習回路１０の回
路構成を示し、当該学習回路１０は、予測係数データを
予め生成して、これを予測係数ＲＯＭ４に格納するよう
になされている。学習回路１０は、いわゆる教師信号と
してのＨＤ画像データＳ１０を垂直間引きフィルタ１１
及び予測係数算出回路１２に入力する。学習回路１０
は、ＨＤ画像データＳ１０を垂直間引きフィルタ１１及
び水平間引きフィルタ１２によって間引くことにより、
生徒信号としてのＳＤ画像データＳ１１を生成し、これ
をクラス分類部１４及び予測係数算出回路１２に入力す
るようになされている。

【００２０】クラス分類部１４は、図１に示すアップコ
ンバータのクラス分類部２と同様の構成でなり、ＳＤ画
像データＳ１１からクラスタップを選定し、その信号レ
ベル分布に基づいてクラスコードＳ１２を生成した後、
これを予測係数算出回路１２に送出する。予測係数算出
回路１２は、ＨＤ画像データＳ１０及びＳＤ画像データ
Ｓ１１を基に、クラスコードＳ１２が示すクラスに応じ
た予測係数をクラス毎に算出し、その結果得た予測係数
データＳ１３を予測係数ＲＯＭ４に格納する。

【００２１】この場合、予測係数算出回路１２は、上述
の（２）式における予測係数ｗを最小自乗法によって求
めるようになされている。具体的には予測係数算出回路
１２は、ＸをＳＤ画素値、Ｗを予測係数、ＹをＨＤ画素
値として、いわゆる観測方程式と呼ばれる次式

【００２２】

【数３】

【００２３】を生成するように各データを収集する。こ
こでｍは予測するＨＤ画素の画素数を示す学習データ
数、ｎは予測タップ数である。

【００２４】次に予測係数算出回路１２は、この（３）
式を基に、次式

【００２５】

【数４】

【００２６】に示す残差方程式を立てる。従って各予測
係数ｗ_iは、この（４）式から、次式

【００２７】

【数５】

【００２８】が最小のときに最適な値となることがわか
る。すなわち次式

【００２９】

【数６】

【００３０】を満たすように予測係数ｗ_iが算出され
る。

【００３１】そこで予測係数算出回路１２は、このｎ個
ある（６）式を満たすようなｗ₁、ｗ₂、……、ｗ_nを
算出すればよいことになり、上述の（４）式から、次式

【００３２】

【数７】

【００３３】を得、これら（６）及び（７）式から、次
式

【００３４】

【数８】

【００３５】を求める。そして予測係数算出回路１２
は、上述の（４）及び（８）式から、次式

【００３６】

【数９】

【００３７】によって表される正規方程式を生成する。
このようにして予測係数算出回路１２は、予測タップ数
ｎと同一次数の連立方程式でなる正規方程式を生成し、
掃き出し法（Gauss Jordanの消去法）を用いてこの正規
方程式を解くことにより、各予測係数ｗ_iを算出する。

【００３８】以下、学習回路１０による予測係数生成手
順について図５に示すフローチャートを用いて説明す
る。ステップＳＰ１から入ったステップＳＰ２におい
て、学習回路１０は、教師信号としてのＨＤ画像データ
Ｓ１０から生徒信号としてのＳＤ画像データＳ１１を生
成することにより、予測係数を生成するのに必要な学習
データを生成する。ステップＳＰ３において、学習回路
１０は、予測係数を生成するのに必要十分な学習データ
が得られたか否か判定し、その結果、未だ必要十分な学
習データが得られていないと判断された場合にはステッ
プＳＰ３において否定結果を得ることによりステップＳ
Ｐ４に移行する。

【００３９】ステップＳＰ４において、学習回路１０
は、ＳＤ画像データＳ１１からクラスタップを選定し、
その信号レベル分布に基づいてクラス分類を行う。ステ
ップＳＰ５において、学習回路１０は、各クラス毎に上
述の（９）式でなる正規方程式を生成し、ステップＳＰ
２に戻って同様の処理手順を繰り返すことにより、予測
係数を生成するのに必要十分な正規方程式を生成する。

【００４０】これに対してステップＳＰ３において肯定
結果が得られると、このことは必要十分な学習データが
得られたことを表しており、このとき学習回路１０はス
テップＳＰ６に移って、上述の（９）式でなる正規方程
式を掃き出し法によって解くことにより、予測係数
ｗ₁、ｗ₂、……、ｗ_nを各クラス毎に生成する。そし
てステップＳＰ７において、学習回路１０は、生成した
各クラス毎の予測係数ｗ₁、ｗ₂、……、ｗ_nを予測係
数ＲＯＭ４（図１）に格納し、ステップＳＰ８において
当該予測係数生成手順を終了する。

【００４１】（２）クラス分類適応処理を適用したノイ
ズ除去装置の構成まず図６を用いて予測係数を算出する学習回路２０の構
成を説明する。この学習回路２０は、教師信号（すなわ
ち学習データ）として例えばＳＤ画像データ（以下、こ
れを画像データと呼ぶ）Ｓ２０をノイズ重畳回路２１及
び予測係数算出回路２２に入力するようになされてい
る。ノイズ重畳回路２１は、この画像データＳ２０にラ
ンダムノイズを重畳し、その結果得られる画像データＳ
２１を波形クラス領域切り出し回路２３、ノイズ除去処
理回路２４、減算回路２５、動きクラス領域切り出し回
路２６及び予測領域切り出し回路２７に出力する。

【００４２】波形クラス領域切り出し回路２３は、例え
ば図７に示すように、画像データＳ２１のうち、注目画
素及び当該注目画素を中心とした複数の周辺画素でなる
合計７タップを波形クラス分類用のタップ（以下、これ
を波形クラスタップと呼ぶ）として選定し、それらの信
号レベル分布を示す波形クラスタップデータＳ２２を波
形クラス決定回路２８に出力する。波形クラス決定回路
２８は、波形クラスタップデータＳ２２に対して例えば
ＡＤＲＣのようなデータ圧縮処理を施すことにより波形
クラスコードＳ２３を生成し、これをクラスコード発生
回路２９に出力する。

【００４３】ノイズ除去処理回路２４は、図８に示すよ
うに、いわゆる巡回型構成のノイズリデューサでなり、
入力される画像データＳ２１に含まれるノイズを当該画
像データＳ２１の動き量に応じて低減するものである。
まずノイズ除去処理回路２４は、画像データＳ２１を乗
算回路３０に入力する。乗算回路３０には、ノイズ除去
係数決定回路３１からノイズ除去係数ｋが供給されてお
り、当該乗算回路３０は、１からこのノイズ除去係数ｋ
を減算し、その減算結果と画像データＳ２１とを乗算す
ることにより第１の重み付け画像データＳ２４を生成
し、これを加算回路３２に出力する。

【００４４】ところでフレームメモリ３３は、前回ノイ
ズが除去されたノイズ除去画像データＳ２５を保持して
おり、これを乗算回路３４に出力するようになされてい
る。乗算回路３４には、ノイズ除去係数決定回路３１か
らノイズ除去係数ｋが供給されており、当該乗算回路３
４は、このノイズ除去係数ｋとノイズ除去画像データＳ
２５とを乗算することにより第２の重み付け画像データ
Ｓ２６を生成し、これを加算回路３２に出力する。加算
回路３２は、第１の重み付け画像データＳ２４と第２の
重み付け画像データＳ２６とを加算することによりノイ
ズを除去したノイズ除去画像データＳ２７を生成し、こ
れをフレームメモリ３３に送出して当該フレームメモリ
３３に記憶すると共に、後段の減算回路２５に出力す
る。

【００４５】このノイズ除去係数ｋは、画像データＳ２
１の動き量に応じて値０から１までの範囲で変化するも
のであり、ノイズ除去処理回路２４は、ノイズ除去係数
ｋが１の場合にはフレームメモリ３３に記憶されている
ノイズ除去画像データＳ２５を出力し、ノイズ除去係数
ｋが０の場合には画像データＳ２１をそのまま出力す
る。従ってノイズ除去処理回路２４では、ノイズ除去係
数ｋが大きくなるとノイズを効果的に除去し得る一方、
画像データＳ２１が動画像のときには精細度が大きく劣
化する。

【００４６】図６に戻って、減算回路２５は、ノイズが
重畳されている画像データＳ２１とノイズが除去された
ノイズ除去画像データＳ２７との差分をとることにより
ノイズデータＳ２８を生成し、これをノイズクラス領域
切り出し回路３５に出力する。ノイズクラス領域切り出
し回路３５は、例えば図９に示すように、ノイズデータ
Ｓ２８のうち、注目画素及び当該注目画素を中心とした
複数の周辺画素でなる合計９タップをノイズクラス分類
用のタップ（以下、これをノイズクラスタップと呼ぶ）
として選定し、それらの信号レベル分布を示すノイズク
ラスタップデータＳ２９をノイズクラス決定回路３６に
出力する。

【００４７】ノイズクラス決定回路３６は、ノイズクラ
スタップデータＳ２９からそのダイナミックレンジを算
出し、当該ダイナミックレンジとノイズ除去係数決定回
路３１から供給されるノイズ除去係数ｋとに基づいてノ
イズクラスコードＳ３０を生成し、これをクラスコード
発生回路２９に送出する。ノイズクラス決定回路３６
は、例えば供給されたノイズ除去係数ｋが３クラスに分
類されている場合に、ダイナミックレンジを３クラスに
分類すると、ノイズクラスタップを９クラスに分類する
ことになる。

【００４８】動きクラス領域切り出し回路２６は、例え
ば図１０に示すように、画像データＳ２１のうち、注目
画素及び当該注目画素を中心とした複数の周辺画素でな
る合計９タップを動きクラス分類用のタップ（以下、こ
れを動きクラスタップと呼ぶ）として設定し、それらの
信号レベル分布を示す動きクラスタップデータＳ４０を
動きクラス決定回路４０に送出する。

【００４９】動きクラス決定回路４０は、今回の動きク
ラスタップデータＳ４０と前フレームの動きクラスタッ
プデータとの差分を基に動きクラスコードＳ４１を生成
し、これをクラスコード発生回路２９及びノイズ除去係
数決定回路３１に送出する。動きクラス決定回路４０
は、動きクラスタップデータＳ４０を例えば動きの有り
無しのような２クラスに分類する。

【００５０】ノイズ除去係数決定回路３１は、動きクラ
ス決定回路４０から供給される動きクラスコードＳ４１
に応じてノイズ除去係数ｋを値０から値１までの範囲で
変化させ、これをノイズ除去処理回路２４及びノイズク
ラス決定回路３６に送出するようになされている。すな
わちノイズ除去処理回路３１は、ノイズ除去係数ｋを、
画像データＳ２１の精細度が劣化することを避けながら
そのノイズを除去し得るような値に選定する。

【００５１】クラスコード発生回路２９は、波形クラス
コードＳ２３、ノイズクラスコードＳ３０及び動きクラ
スコードＳ４１に基づいてクラスコードＳ４２を生成
し、これを予測係数算出回路２２に送出する。また予測
領域切り出し回路２７は、例えば図１１に示すように、
画像データＳ２１のうち、注目画素及び当該注目画素を
中心とした複数の周辺画素でなる合計１３タップを予測
タップとして選定し、それらの信号レベルを示す予測タ
ップデータＳ４３を予測係数算出回路２２に送出する。

【００５２】予測係数算出回路２２は、クラスコード発
生回路２９から供給されるクラスコードＳ４２に基づい
て、予測タップデータＳ４３と画像データＳ２０の注目
画素とから正規方程式を各クラス毎に生成し、当該正規
方程式を解くことにより予測係数をクラス毎に算出して
これらを予測係数ＲＯＭ４１に格納する。

【００５３】次に図１２を用いてノイズ除去装置５０の
構成について説明する。ノイズ除去装置５０は、ノイズ
の含まれている画像データＳ５１を波形クラス領域切り
出し回路５３、ノイズ除去処理回路５４、減算回路５
５、動きクラス領域切り出し回路５６及び予測領域切り
出し回路５７に入力する。

【００５４】波形クラス領域切り出し回路５３は、図６
に示す学習回路２０の波形クラス領域切り出し回路２３
と同様の構成でなり、画像データＳ５１のうち波形クラ
スタップを切り出し、それらの信号レベル分布を示す波
形クラスタップデータＳ５２を波形クラス決定回路５８
に送出する。波形クラス決定回路５８は、図６に示す学
習回路２０の波形クラス決定回路２８と同様の構成でな
り、波形クラスタップデータＳ５２から波形クラスコー
ドＳ５３を生成し、これをクラスコード発生回路５９に
送出する。

【００５５】ノイズ除去処理回路５４は、図６に示すノ
イズ除去処理回路２４と同様の構成でなり、ノイズ除去
係数決定回路６１から供給されるノイズ除去係数ｋ′に
基づいて画像データＳ５１のノイズを除去し、その結果
得たノイズ除去画像データＳ５７を減算回路５５に送出
する。減算回路５５は、図６に示す減算回路２５と同等
の構成でなり、画像データＳ５１とノイズ除去画像デー
タＳ５７との差分をとることによりノイズデータ５８を
生成し、これをノイズクラス領域切り出し回路６５に送
出する。

【００５６】ノイズクラス領域切り出し回路６５は、図
６に示すノイズクラス領域切り出し回路３５と同様の構
成でなり、ノイズデータＳ５８のうちノイズクラスタッ
プを切り出し、それらの信号レベル分布を示すノイズク
ラスタップデータＳ５９をノイズクラス決定回路６６に
送出する。ノイズクラス決定回路６６は、図６に示すノ
イズクラス決定回路３６と同様の構成でなり、ノイズ除
去係数決定回路６１から供給されるノイズ除去係数ｋ′
とノイズクラスタップデータＳ５９とに基づいてノイズ
クラスコードＳ６０を生成し、これをクラスコード発生
回路５９に送出する。

【００５７】動きクラス領域切り出し回路５６は、図６
に示す動きクラス領域切り出し回路２６と同様の構成で
なり、画像データＳ５１のうち動きクラスタップを切り
出し、それらの信号レベル分布を示す動きクラスタップ
データＳ７０を動きクラス決定回路７０に送出する。動
きクラス決定回路７０は、図６に示す動きクラス決定回
路４０と同様の構成でなり、動きクラスタップデータＳ
７０から動きクラスコードＳ７１を生成し、これをクラ
スコード発生回路５９及びノイズ除去係数決定回路６１
に送出する。ノイズ除去係数決定回路６１は、図６に示
すノイズ除去係数決定回路３１と同様の構成でなり、動
きクラスコードＳ７１に応じてノイズ除去係数ｋ′を決
定し、これをノイズ除去処理回路５４及びノイズクラス
決定回路６６に送出するようになされている。

【００５８】予測領域切り出し回路５７は、図６に示す
予測領域切り出し回路２７と同様の構成でなり、画像デ
ータＳ５１のうち予測タップを切り出し、それらの信号
レベルを示す予測タップデータＳ７３を予測演算回路７
１に送出する。クラスコード発生回路５９は、図６に示
すクラスコード発生回路２９と同様の構成でなり、波形
クラスコードＳ５３、ノイズクラスコードＳ６０及び動
きクラスコードＳ７１からクラスコードＳ７４を生成
し、これを予測係数ＲＯＭ７２に送出する。

【００５９】予測係数ＲＯＭ７２は、図６に示す予測係
数ＲＯＭ４１と同様の構成でなり、図６に示す学習回路
２０によって算出された予測係数データを各クラス毎に
格納している。そして予測係数ＲＯＭ７２は、クラスコ
ードＳ７４が供給されると、当該クラスコードＳ７４に
応じたクラスの予測係数データＳ７５を読み出し、これ
を予測演算回路７１に送出する。予測演算回路７１は、
予測タップデータＳ７３と予測係数データＳ７５との積
和演算を行うことにより、ノイズを除去したノイズ除去
画像データＳ７６を生成し、これを外部に出力する。

【００６０】以上の構成において、学習回路２０は、ノ
イズを重畳した画像データＳ２１の複数の画素から波形
クラスコードＳ２３を決定すると共に、画像データＳ２
１に含まれるノイズデータＳ２８の複数の画素からノイ
ズクラスコードＳ３０を決定し、さらに画像データＳ２
１の複数の画素から動きクラスコードＳ４１を決定した
後、これら波形クラスコードＳ２３、ノイズクラスコー
ドＳ３０及び動きクラスコードＳ４１を基にクラスコー
ドＳ４２を生成する。そして学習回路２０は、クラスコ
ードＳ４２に基づいて、ノイズが重畳された画像データ
Ｓ２１の複数の画素と、画像データＳ２０の注目画素と
から予測係数を各クラス毎に算出し、これらを予測係数
ＲＯＭ４１に格納する。

【００６１】ノイズ除去装置５０は、画像データＳ５１
の複数の画素から波形クラスコードＳ５３を決定すると
共に、画像データＳ５１に含まれるノイズデータＳ５８
の複数の画素からノイズクラスコードＳ６０を決定し、
さらに画像データＳ５１の複数の画素から動きクラスコ
ードＳ７１を決定した後、これら波形クラスコードＳ５
３、ノイズクラスコードＳ６０及び動きクラスコードＳ
７１を基にクラスコードＳ７４を生成する。そしてノイ
ズ除去装置５０は、このクラスコードＳ７４に基づいて
予測係数ＲＯＭ７２から予測係数データＳ７５を読み出
し、当該予測係数データＳ７５が示す各予測係数と画像
データＳ５１の複数の画素との積和演算を行うことによ
り、ノイズ除去画像データＳ７６を生成する。

【００６２】このように画像データＳ５１の複数の画素
から波形クラスコードＳ５３を決定し、また画像データ
Ｓ５１に含まれるノイズデータＳ５８の複数の画素から
ノイズクラスコードＳ６０を決定し、さらに画像データ
Ｓ５１の複数の画素から動きクラスコードＳ７１を決定
した後、これら波形クラスコードＳ５３、ノイズクラス
コードＳ６０及び動きクラスコードＳ７１を基にクラス
コードＳ７４を生成し、当該クラスコードＳ７４に応じ
た予測係数データＳ７５を予測係数ＲＯＭ７２から読み
出して予測演算することにより、精細度の劣化を回避し
ながらノイズを除去し得る。

【００６３】以上の構成によれば、波形クラスコードＳ
５３、ノイズクラスコードＳ６０及び動きクラスコード
Ｓ７１を基にクラスコードＳ７４を生成し、当該クラス
コードＳ７４に応じた予測係数データＳ７５を用いて予
測演算することにより、精細度の劣化を回避しながらノ
イズを除去し得る、かくして従来に比して一段と画質を
向上し得る。

【００６４】なお上述の実施の形態においては、図７に
示すように、波形クラスタップとして、画像データＳ２
１及びＳ５１から７タップを選定した場合について述べ
たが、本発明はこれに限らず、要は、注目画素及び当該
注目画素を中心とした複数の周辺画素を選定すれば良
い。

【００６５】また上述の実施の形態においては、図９に
示すように、ノイズクラスタップとして、ノイズデータ
Ｓ２８及びＳ５８から９タップを選定した場合について
述べたが、本発明はこれに限らず、要は、注目画素及び
当該注目画素を中心とした複数の周辺画素を選定すれば
良い。

【００６６】また上述の実施の形態においては、図１０
に示すように、動きクラスタップとして、画像データＳ
２１及びＳ５１から９タップを選定した場合について述
べたが、本発明はこれに限らず、要は、注目画素及び当
該注目画素を中心とした複数の周辺画素を選定すれば良
い。

【００６７】また上述の実施の形態においては、図１１
に示すように、予測タップとして、画像データＳ２１及
びＳ５１から１３タップを選定した場合について述べた
が、本発明はこれに限らず、要は、注目画素及び当該注
目画素を中心とした複数の周辺画素を選定すれば良い。

【００６８】また上述の実施の形態においては、ノイズ
除去処理回路２４及び５４として巡回型構成のノイズリ
デューサを適用した場合について述べたが、本発明はこ
れに限らず、例えば非巡回型構成のノイズリデューサの
ようなこの他種々のノイズ除去処理回路を適用しても良
い。

【００６９】また上述の実施の形態においては、ノイズ
重畳回路２１によってランダムノイズを画像データＳ２
０に重畳した場合について述べたが、本発明はこれに限
らず、例えば実際のテレビジョン信号から抽出したノイ
ズのように、この他種々のノイズを重畳しても良い。

【００７０】また上述の実施の形態においては、ノイズ
クラスタップデータＳ２９及びＳ５９のダイナミックレ
ンジからノイズクラスコードＳ３０及びＳ６０を決定し
た場合について述べたが、本発明はこれに限らず、例え
ばノイズクラスタップデータＳ２９及びＳ５９のレベル
変動を示すアクティビティのように、この他種々のデー
タを基にノイズクラスコードを決定しても良い。

【００７１】さらに上述の実施の形態においては、ノイ
ズを含むＳＤ画像でなる画像データＳ５１を、ノイズを
除去したＳＤ画像でなるノイズ除去画像データＳ７６に
変換した場合について述べたが、本発明はこれに限ら
ず、例えばノイズを含むＳＤ画像データをノイズを除去
したＨＤ画像データに変換しても良く、この他種々のフ
ォーマット変換に本発明を広く適用し得る。

【００７２】

【発明の効果】上述のように本発明によれば、第１の画
像データから抽出されたノイズデータをクラス分類し、
そのクラスコードに応じた予測データを発生して第２の
画像データを生成することにより、精細度の劣化を回避
しながらノイズを除去し得、かくして従来に比して一段
と正確にノイズの除去のみを行い得る。

【図面の簡単な説明】

【図１】アップコンバータの構成を示すブロック図であ
る。

【図２】クラスタップの配置例を示す略線図である。

【図３】予測タップの配置例を示す略線図である。

【図４】学習回路の構成を示すブロック図である。

【図５】予測係数の生成手順を示すフローチャートであ
る。

【図６】本発明による学習回路の一実施の形態を示すブ
ロック図である。

【図７】波形クラスタップの配置例を示す略線図であ
る。

【図８】ノイズ除去処理回路の構成を示すブロック図で
ある。

【図９】ノイズクラスタップの配置例を示す略線図であ
る。

【図１０】動きクラスタップの配置例を示す略線図であ
る。

【図１１】予測タップの配置例を示す略線図である。

【図１２】本発明によるノイズ除去装置の構成を示すブ
ロック図である。

【符号の説明】

２０……学習回路、２２……予測係数算出回路、２３、
５３……波形クラス領域切り出し回路、２４、５４……
ノイズ除去処理回路、２５、５５……減算回路、２６、
５６……動きクラス領域切り出し回路、、２７、５７…
…予測領域切り出し回路、２８、５８……波形クラス決
定回路、２９、５９……クラスコード発生回路、３５、
６５……ノイズクラス領域切り出し回路、３６、６６…
…ノイズクラス決定回路、４０、７０……動きクラス決
定回路、４１、７２……予測係数ＲＯＭ、７１……予測
演算回路。

───────────────────────────────────────────────────── フロントページの続き (72)発明者中屋秀雄東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者奥村裕二東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者星野隆也東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者浜松俊彦東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者野出泰史東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者服部正明東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者井上賢東京都品川区北品川６丁目７番35号ソニー株式会社内Ｆターム(参考） 5B057 CA08 CA12 CA16 CB08 CB12 CB16 CC02 CE02 CE09 CG07 CH07 CH08 CH09 DA08 DB02 DC19 DC40 5C021 PA12 PA17 PA56 PA58 PA66 PA67 PA72 PA79 PA80 RB05 RB06 RB07 RB08 RC01 SA24 YA01 YC08 YC09 5C059 KK01 LA00 LB11 LC03 MA00 MD02 NN24 PP04 UA38

Claims

【特許請求の範囲】

【請求項１】第１の画像データのノイズを除去して第２
の画像データを生成するノイズ除去装置において、上記第１の画像データに含まれるノイズデータを抽出す
るノイズデータ抽出手段と、上記ノイズデータから注目画素を含む複数の画素を選定
し、当該複数の画素の信号レベル分布に基づいて上記注
目画素をクラス分類することによりノイズクラスを決定
するノイズクラス決定手段と、上記ノイズクラス決定手段によって決定された上記ノイ
ズクラスに応じたクラスコードを生成するクラスコード
生成手段と、上記クラスコードに応じて予測データを発生する予測デ
ータ発生手段と、上記予測データを基に上記第２の画像データの上記注目
画素を予測演算する予測演算手段とを具えることを特徴
とするノイズ除去装置。
【請求項２】上記第１の画像データから注目画素を含む
複数の画素を選定し、当該複数の画素の信号レベル分布
に基づいて上記注目画素をクラス分類することにより波
形クラスを決定する波形クラス決定手段を具え、上記ク
ラスコード生成手段は、上記ノイズクラス及び上記波形
クラスからクラスコードを生成することを特徴とする請
求項１に記載のノイズ除去装置。
【請求項３】上記第１の画像データから注目画素を含む
複数の画素を選定し、当該複数の画素の動き量に応じて
上記注目画素をクラス分類することにより動きクラスを
決定する動きクラス決定手段を具え、上記クラスコード
生成手段は、上記ノイズクラス及び上記動きクラスから
上記クラスコードを生成することを特徴とする請求項１
に記載のノイズ除去装置。
【請求項４】上記第１の画像データから注目画素を含む
複数の画素を選定し、当該複数の画素の信号レベル分布
に基づいて上記注目画素をクラス分類することにより波
形クラスを決定する波形クラス決定手段と、上記第１の画像データから注目画素を含む複数の画素を
選定し、当該複数の画素の動き量に応じて上記注目画素
をクラス分類することにより動きクラスを決定する動き
クラス決定手段とを具え、上記クラスコード生成手段
は、上記ノイズクラス、上記波形クラス及び上記動きク
ラスからクラスコードを生成することを特徴とする請求
項１に記載のノイズ除去装置。
【請求項５】上記予測データは、上記第１の画像データから選定された上記複数の画素に
対応して存在する予測係数でなり、上記予測演算手段は、上記クラスコードに応じて発生された上記各予測係数と
上記第１の画像データの上記複数の画素とから上記第２
の画像データの上記注目画素を生成することを特徴とす
る請求項１に記載のノイズ除去装置。
【請求項６】上記予測データは、上記第２の画像データに対応する学習データを用いて予
め生成されていることを特徴とする請求項１に記載のノ
イズ除去装置。
【請求項７】第１の画像データのノイズを除去して第２
の画像データを生成するノイズ除去方法において、上記第１の画像データに含まれるノイズデータを抽出
し、上記ノイズデータから注目画素を含む複数の画素を選定
し、当該複数の画素の信号レベル分布に基づいて上記注
目画素をクラス分類することによりノイズクラスを決定
し、決定された上記ノイズクラスに応じたクラスコードを生
成し、上記クラスコードに応じて予測データを発生し、上記予測データを基に上記第２の画像データの上記注目
画素を予測演算することを特徴とするノイズ除去方法。
【請求項８】上記第１の画像データから注目画素を含む
複数の画素を選定し、当該複数の画素の信号レベル分布
に基づいて上記注目画素をクラス分類することにより波
形クラスを決定し、上記ノイズクラス及び上記波形クラスからクラスコード
を生成することを特徴とする請求項７に記載のノイズ除
去方法。
【請求項９】上記第１の画像データから注目画素を含む
複数の画素を選定し、当該複数の画素の動き量に応じて
上記注目画素をクラス分類することにより動きクラスを
決定し、上記ノイズクラス及び上記動きクラスから上記クラスコ
ードを生成することを特徴とする請求項７に記載のノイ
ズ除去方法。
【請求項１０】上記第１の画像データから注目画素を含
む複数の画素を選定し、当該複数の画素の信号レベル分
布に基づいて上記注目画素をクラス分類することにより
波形クラスを決定し、上記第１の画像データから注目画素を含む複数の画素を
選定し、当該複数の画素の動き量に応じて上記注目画素
をクラス分類することにより動きクラスを決定し、上記ノイズクラス、上記波形クラス及び上記動きクラス
からクラスコードを生成することを特徴とする請求項７
に記載のノイズ除去方法。
【請求項１１】上記予測データは、上記第１の画像データから選定された上記複数の画素に
対応して存在する予測係数でなり、上記クラスコードに応じて発生された上記各予測係数と
上記第１の画像データの上記複数の画素とから上記第２
の画像データの上記注目画素を生成することを特徴とす
る請求項７に記載のノイズ除去方法。
【請求項１２】上記予測データは、上記第２の画像データに対応する学習データを用いて予
め生成されていることを特徴とする請求項７に記載のノ
イズ除去方法。