JP2007251690A - 画像処理装置および方法、学習装置および方法、並びにプログラム - Google Patents

画像処理装置および方法、学習装置および方法、並びにプログラム Download PDF

Info

Publication number
JP2007251690A
JP2007251690A JP2006073560A JP2006073560A JP2007251690A JP 2007251690 A JP2007251690 A JP 2007251690A JP 2006073560 A JP2006073560 A JP 2006073560A JP 2006073560 A JP2006073560 A JP 2006073560A JP 2007251690 A JP2007251690 A JP 2007251690A
Authority
JP
Japan
Prior art keywords
class
image data
image
unit
tap
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006073560A
Other languages
English (en)
Other versions
JP2007251690A5 (ja
Inventor
Tetsujiro Kondo
哲二郎 近藤
Hideki Mori
英樹 森
Masashi Uchida
真史 内田
Takuo Morimura
卓夫 守村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006073560A priority Critical patent/JP2007251690A/ja
Publication of JP2007251690A publication Critical patent/JP2007251690A/ja
Publication of JP2007251690A5 publication Critical patent/JP2007251690A5/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】より高画質の高解像度の画像を生成することができるようにする。
【解決手段】SD画像信号から予測タップ抽出部２０６は予測タップを抽出し、クラスタップ抽出部２０３はクラスタップを抽出する。ノイズ加算量指定部２０２は、クラスタップを構成する画素の画素値から求められるアクティビティに基づいたクラス分類をするためのDR閾値を指定する。DRクラス分類部２０４は、DR閾値と、クラスタップのアクティビティとを比較した結果に基づいて、DRクラス分類を行う。また、波形クラス分類部２０５は、抽出したクラスタップに基づいて、波形クラス分類を行う。高解像度処理部２０７は、DRクラス分類と波形クラス分類の結果により特定される注目画素のクラスに対応する係数と、予測タップに基づいて、より高解像度のHD画像信号を生成する。本発明は、テレビジョン受像機に適用できる。
【選択図】図１３

Description

本発明は、画像処理装置および方法、学習装置および方法、並びにプログラムに関し、特に、より高画質の高解像度の画像を生成することができるようにした画像処理装置および方法、学習装置および方法、並びにプログラムに関する。
本出願人は、入力画像信号に乗っているノイズ成分を除去して高解像度の画像信号に変換する手法として、クラス分類適応処理を先に提案している（例えば、特許文献１）。クラス分類適応処理は、入力画像の所定の領域の複数の画素の画素値と、教師画像および生徒画像を用いた学習により、あらかじめ求めておいた予測係数との線形１次式を演算することにより、入力画像から高解像度の出力画像を求める信号処理である。
特開２００２−２１８４１３号公報
しかしながら、入力画像信号に乗っているノイズ成分を除去する手法として、生徒画像に対してノイズ成分を付加することで学習を行い、それにより得られた予測係数などのノイズ除去成分を用いてノイズ成分を除去する処理を行う場合、ノイズ除去の性能が学習時に付加したノイズ成分の特性に大きく左右されることになる。特に、通常用いられている波形クラス分類の信頼性が、ノイズ成分による原波形の変化によってどのように変化するかといった点が不明確であるために、ボケ易くなるなど、クラス分類適応処理の長所が生かされにくくなる状況にあった。
また、従来の手法では、学習時の環境と出力画像生成時、すなわち予測時の環境とが、基本的に一致している場合にはノイズ除去の性能が高いが、不一致が大きい場合にはその性能が低下するという問題もあった。
本発明はこのような状況に鑑みてなされたものであり、より高画質の高解像度の画像を生成することができるようにするものである。
本発明の第１の側面の画像処理装置は、第１の画像データから第２の画像データを生成する画像処理装置において、前記第２の画像データの注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像データから予測タップとして抽出する第１の抽出手段と、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データから第１のクラスタップとして抽出する第２の抽出手段と、前記第１のクラスタップのアクティビティに基づいたクラス分類をするための第１の閾値を指定する指定手段と、指定した前記第１の閾値と、前記第１のクラスタップのアクティビティとを比較した結果に基づいて、前記注目画素を第１のクラスに分類する第１の分類手段と、前記第１のクラスタップのパターンに基づいて、前記注目画素を第２のクラスに分類する第２の分類手段と、前記第１のクラスおよび前記第２のクラスにより特定される前記注目画素のクラスに対応する第１の係数と、前記予測タップに基づいて、前記第２の画像データを演算する演算手段とを備える。
前記指定手段には、ユーザにより第２の閾値が指示された場合、指示された前記第２の閾値に基づいた値を、前記第１の閾値として指定させ、前記ユーザにより前記第２の閾値が指示されなかった場合、前記第１の画像データから検出されるノイズレベルに基づいた値を、前記第１の閾値として指定させることができる。
前記第１の分類手段には、前記アクティビティが前記第１の閾値を超える場合、原信号成分が支配的となる前記第１のクラスに属するように前記注目画素を分類させ、前記アクティビティが前記第１の閾値よりも小さい場合、ノイズ成分が支配的となる前記第１のクラスに属するように前記注目画素を分類させることができる。
前記演算手段には、前記第１のクラスに分類されている前記注目画素のうち、前記原信号成分が支配的となる前記第１のクラスに属している前記注目画素に対して、前記原信号成分を保ちながら前記ノイズ成分を除去するように演算させ、前記ノイズ成分が支配的となる前記第１のクラスに属している前記注目画素に対して、前記ノイズ成分を除去するように演算させることができる。
前記第２の画像データの画質を指定するためのパラメータを入力する入力手段と、入力した前記パラメータに基づいて、前記第１の係数を生成するための元となる第２の係数から前記第１の係数を生成する生成手段と、動きにより前記注目画素をクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データから第２のクラスタップとして抽出する第３の抽出手段と、前記第２のクラスタップの動きに基づいて、前記注目画素を第３のクラスに分類する第３の分類手段とをさらに設けることができ、前記演算手段は、前記第１のクラス、前記第２のクラス、および前記第３のクラスにより特定される前記注目画素のクラスに対応する前記第１の係数と、前記予測タップに基づいて、前記第２の画像データを演算させることができる。
前記パラメータには、前記第２の画像データの水平方向と垂直方向の解像度を示す値とさせることができる。
本発明の第１の画像処理方法は、第１の画像データから第２の画像データを生成する画像処理方法において、前記第２の画像データの注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像データから予測タップとして抽出する第１の抽出ステップと、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出する第２の抽出ステップと、前記クラスタップのアクティビティに基づいたクラス分類をするための閾値を指定する指定ステップと、指定した前記閾値と、前記クラスタップのアクティビティとを比較した結果に基づいて、前記注目画素を第１のクラスに分類する第１の分類ステップと、前記クラスタップのパターンに基づいて、前記注目画素を第２のクラスに分類する第２の分類ステップと、前記第１のクラスおよび前記第２のクラスにより特定される前記注目画素のクラスに対応する係数と、前記予測タップに基づいて、前記第２の画像データを演算する演算ステップとを含む。
本発明の第１の側面のプログラムは、第１の画像データから第２の画像データを生成する画像処理をコンピュータに行わせるプログラムにおいて、前記第２の画像データの注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像データから予測タップとして抽出する第１の抽出ステップと、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出する第２の抽出ステップと、前記クラスタップのアクティビティに基づいたクラス分類をするための閾値を指定する指定ステップと、指定した前記閾値と、前記クラスタップのアクティビティとを比較した結果に基づいて、前記注目画素を第１のクラスに分類する第１の分類ステップと、前記クラスタップのパターンに基づいて、前記注目画素を第２のクラスに分類する第２の分類ステップと、前記第１のクラスおよび前記第２のクラスにより特定される前記注目画素のクラスに対応する係数と、前記予測タップに基づいて、前記第２の画像データを演算する演算ステップとを含む。
本発明の第１の側面においては、第２の画像データの注目している画素である注目画素を予測するために用いる複数の画素が、第１の画像データから予測タップとして抽出され、注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素が、第１の画像データから第１のクラスタップとして抽出され、第１のクラスタップのアクティビティに基づいたクラス分類をするための第１の閾値が指定され、指定された第１の閾値と、第１のクラスタップのアクティビティとを比較した結果に基づいて、注目画素が第１のクラスに分類され、第１のクラスタップのパターンに基づいて、注目画素が第２のクラスに分類され、第１のクラスおよび第２のクラスにより特定される注目画素のクラスに対応する第１の係数と、予測タップに基づいて、第２の画像データが演算される。
本発明の第２の側面の学習装置は、第１の画像データから第２の画像データを生成するために用いられる第１の係数を学習する学習装置において、前記第２の画像データに相当する画像データの注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像データに相当する画像データから予測タップとして抽出する第１の抽出手段と、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データに相当する画像データから第１のクラスタップとして抽出する第２の抽出手段と、前記第１の画像データに相当する画像データのノイズ成分のアクティビティから求められる閾値と、前記第１のクラスタップのアクティビティとを比較した結果に基づいて、前記注目画素を第１のクラスに分類する第１の分類手段と、前記第１のクラスタップのパターンに基づいて、前記注目画素を第２のクラスに分類する第２の分類手段と、前記第１のクラスおよび前記第２のクラスにより特定される前記注目画素のクラスごとに、前記第１の画像データに相当する画像データと前記予測タップから前記第１の係数を演算する第１の演算手段とを備える。
前記第１の分類手段には、前記アクティビティが前記閾値を超える場合、原信号成分が支配的となる前記第１のクラスに属するように前記注目画素を分類させ、前記アクティビティが前記閾値よりも小さい場合、ノイズ成分が支配的となる前記第１のクラスに属するように前記注目画素を分類させることができる。
前記第１の画像データに相当する画像データの画質を指定するためのパラメータを入力する入力手段と、動きにより前記注目画素をクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データに相当する画像データから第２のクラスタップとして抽出する第３の抽出手段と、前記第２のクラスタップの動きに基づいて、前記注目画素を第３のクラスに分類する第３の分類手段と、入力した前記パラメータに基づいて、前記第１のクラス、前記第２のクラス、および前記第３のクラスにより特定される前記注目画素のクラスごとに、前記第１の画像データに相当する画像データと前記予測タップから第２の係数を演算する第２の演算手段とをさらに設けることができる。
前記第２の係数には、前記パラメータに基づいて、前記第１のクラス、前記第２のクラス、および前記第３のクラスにより特定される前記注目画素のクラスに対応する前記第１の係数を生成するための元となる係数とさせることができる。
前記パラメータには、前記第１の画像データに相当する画像データの水平方向と垂直方向の解像度を示す値とさせることができる。
本発明の第２の側面の学習方法は、第１の画像データから第２の画像データを生成するために用いられる係数を学習する学習方法において、前記第２の画像データに相当する画像データの注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像データに相当する画像データから予測タップとして抽出する第１の抽出ステップと、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データに相当する画像データからクラスタップとして抽出する第２の抽出ステップと、前記第１の画像データに相当する画像データのノイズ成分のアクティビティから求められる閾値と、前記クラスタップのアクティビティとを比較した結果に基づいて、前記注目画素を第１のクラスに分類する第１の分類ステップと、前記第クラスタップのパターンに基づいて、前記注目画素を第２のクラスに分類する第２の分類ステップと、前記第１のクラスおよび前記第２のクラスにより特定される前記注目画素のクラスごとに、前記第１の画像データに相当する画像データと前記予測タップから前記係数を演算する演算ステップとを含む。
本発明の第２の側面のプログラムは、第１の画像データから第２の画像データを生成するために用いられる係数を学習する学習処理をコンピュータに行わせるプログラムにおいて、前記第２の画像データに相当する画像データの注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像データに相当する画像データから予測タップとして抽出する第１の抽出ステップと、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データに相当する画像データからクラスタップとして抽出する第２の抽出ステップと、前記第１の画像データに相当する画像データのノイズ成分のアクティビティから求められる閾値と、前記クラスタップのアクティビティとを比較した結果に基づいて、前記注目画素を第１のクラスに分類する第１の分類ステップと、前記第クラスタップのパターンに基づいて、前記注目画素を第２のクラスに分類する第２の分類ステップと、前記第１のクラスおよび前記第２のクラスにより特定される前記注目画素のクラスごとに、前記第１の画像データに相当する画像データと前記予測タップから前記係数を演算する演算ステップとを含む。
本発明の第２の側面においては、第２の画像データに相当する画像データの注目している画素である注目画素を予測するために用いる複数の画素が、第１の画像データに相当する画像データから予測タップとして抽出され、注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素が、第１の画像データに相当する画像データから第１のクラスタップとして抽出され、第１の画像データに相当する画像データのノイズ成分のアクティビティから求められる閾値と、第１のクラスタップのアクティビティとを比較した結果に基づいて、注目画素が第１のクラスに分類され、第１のクラスタップのパターンに基づいて、注目画素が第２のクラスに分類され、第１のクラスおよび第２のクラスにより特定される注目画素のクラスごとに、第１の画像データに相当する画像データと予測タップから第１の係数が演算される。
以上のように、本発明の第１の側面によれば、より高画質の高解像度の画像を生成することができる。特に、本発明の第１の側面によれば、ノイズ成分による原波形の変化に応じてノイズを除去し、より高画質の高解像度の画像を生成することができる。
本発明の第２の側面によれば、より高画質の高解像度の画像を生成するための係数を生成することができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の第１の側面の画像処理装置は、第１の画像データから第２の画像データを生成する画像処理装置（例えば、図１３の出力画像生成装置１１２）において、前記第２の画像データの注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像データから予測タップとして抽出する第１の抽出手段（例えば、図１３の予測タップ抽出部２０６）と、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データから第１のクラスタップとして抽出する第２の抽出手段（例えば、図１３のクラスタップ抽出部２０３）と、前記第１のクラスタップのアクティビティに基づいたクラス分類をするための第１の閾値を指定する指定手段（例えば、図１３のノイズ加算量指定部２０２）と、指定した前記第１の閾値と、前記第１のクラスタップのアクティビティとを比較した結果に基づいて、前記注目画素を第１のクラスに分類する第１の分類手段（例えば、図１３のDRクラス分類部２０４）と、前記第１のクラスタップのパターンに基づいて、前記注目画素を第２のクラスに分類する第２の分類手段（例えば、図１３の波形クラス分類部２０５）と、前記第１のクラスおよび前記第２のクラスにより特定される前記注目画素のクラスに対応する第１の係数と、前記予測タップに基づいて、前記第２の画像データを演算する演算手段（例えば、図１３の高解像度化処理部２０７）とを備える。
前記指定手段は、ユーザにより第２の閾値が指示された場合、指示された前記第２の閾値に基づいた値を、前記第１の閾値として指定し（例えば、図１７のステップＳ４６の処理を実行する図１３のノイズ加算量指定部２０２）、前記ユーザにより前記第２の閾値が指示されなかった場合、前記第１の画像データから検出されるノイズレベルに基づいた値を、前記第１の閾値として指定する（例えば、図１７のステップＳ４５の処理を実行する図１３のノイズ加算量指定部２０２）ことができる。
前記第１の分類手段は、前記アクティビティが前記第１の閾値を超える場合、原信号成分が支配的となる前記第１のクラスに属するように前記注目画素を分類し（例えば、図１７のステップＳ５３の処理を実行する図１３のDRクラス分類部２０４）、前記アクティビティが前記第１の閾値よりも小さい場合、ノイズ成分が支配的となる前記第１のクラスに属するように前記注目画素を分類する（例えば、図１７のステップＳ５２の処理を実行する図１３のDRクラス分類部２０４）ことができる。
前記演算手段は、前記第１のクラスに分類されている前記注目画素のうち、前記原信号成分が支配的となる前記第１のクラスに属している前記注目画素に対して、前記原信号成分を保ちながら前記ノイズ成分を除去するように演算し、前記ノイズ成分が支配的となる前記第１のクラスに属している前記注目画素に対して、前記ノイズ成分を除去するように演算する（例えば、図１７のステップＳ５５の処理を実行する図１３の高解像度化処理部２０７）ことができる。
この第１の側面の画像処理装置には、前記第２の画像データの画質を指定するためのパラメータを入力する入力手段（例えば、図１９の画質選択値入力部３２１）と、入力した前記パラメータに基づいて、前記第１の係数を生成するための元となる第２の係数から前記第１の係数を生成する生成手段（例えば、図１９の係数データ生成部３２３）と、動きにより前記注目画素をクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データから第２のクラスタップとして抽出する第３の抽出手段（例えば、図１９の動きクラスタップ抽出部３２５）と、前記第２のクラスタップの動きに基づいて、前記注目画素を第３のクラスに分類する第３の分類手段（例えば、図１９の動きクラス分類部３２６）とをさらに設け、前記演算手段は、前記第１のクラス、前記第２のクラス、および前記第３のクラスにより特定される前記注目画素のクラスに対応する前記第１の係数と、前記予測タップに基づいて、前記第２の画像データを演算する（例えば、図２１のステップＳ１１８の処理）ことができる。
前記パラメータは、前記第２の画像データの水平方向と垂直方向の解像度を示す値であるようにすることができる。
本発明の第１の側面の画像処理方法またはプログラムは、第１の画像データから第２の画像データを生成する画像処理方法、または第１の画像データから第２の画像データを生成する画像処理をコンピュータに行わせるプログラムにおいて、前記第２の画像データの注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像データから予測タップとして抽出し（例えば、図１７のステップＳ４７の処理）、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出し（例えば、図１７のステップＳ４８の処理）、前記クラスタップのアクティビティに基づいたクラス分類をするための閾値を指定し（例えば、図１７のステップＳ４４乃至ステップＳ４５の処理）、指定した前記閾値と、前記クラスタップのアクティビティとを比較した結果に基づいて、前記注目画素を第１のクラスに分類し（図１７のステップＳ５０乃至ステップＳ５３の処理）、前記クラスタップのパターンに基づいて、前記注目画素を第２のクラスに分類し（図１７のステップＳ５４の処理）、前記第１のクラスおよび前記第２のクラスにより特定される前記注目画素のクラスに対応する係数と、前記予測タップに基づいて、前記第２の画像データを演算する（例えば、図１７のステップＳ５５の処理）ステップを含む。
本発明の第２の側面の学習装置は、第１の画像データから第２の画像データを生成するために用いられる第１の係数を学習する学習装置（例えば、図１１の学習装置１１１）において、前記第２の画像データに相当する画像データの注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像データに相当する画像データから予測タップとして抽出する第１の抽出手段（例えば、図１１の予測タップ抽出部１５８）と、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データに相当する画像データから第１のクラスタップとして抽出する第２の抽出手段（例えば、図１１のクラスタップ抽出部１５５）と、前記第１の画像データに相当する画像データのノイズ成分のアクティビティから求められる閾値と、前記第１のクラスタップのアクティビティとを比較した結果に基づいて、前記注目画素を第１のクラスに分類する第１の分類手段（例えば、図１１のDRクラス分類部１５６）と、前記第１のクラスタップのパターンに基づいて、前記注目画素を第２のクラスに分類する第２の分類手段（例えば、図１１の波形クラス分類部１５７）と、前記第１のクラスおよび前記第２のクラスにより特定される前記注目画素のクラスごとに、前記第１の画像データに相当する画像データと前記予測タップから前記第１の係数を演算する第１の演算手段（例えば、図１１の係数学習部１５９）とを備える。
前記第１の分類手段は、前記アクティビティが前記閾値を超える場合、原信号成分が支配的となる前記第１のクラスに属するように前記注目画素を分類し（例えば、図１６のステップＳ２１の処理を実行する図１１のDRクラス分類部１５６）、前記アクティビティが前記閾値よりも小さい場合、ノイズ成分が支配的となる前記第１のクラスに属するように前記注目画素を分類する（例えば、図１６のステップＳ２０の処理を実行する図１１のDRクラス分類部１５６）ことができる。
この第２の側面の学習装置には、前記第１の画像データに相当する画像データの画質を指定するためのパラメータを入力する入力手段（例えば、図１８の画質選択値入力部３０１）と、動きにより前記注目画素をクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データに相当する画像データから第２のクラスタップとして抽出する第３の抽出手段（例えば、図１８の動きクラスタップ抽出部３０３）と、前記第２のクラスタップの動きに基づいて、前記注目画素を第３のクラスに分類する第３の分類手段（例えば、図１８の動きクラス分類部３０４）と、入力した前記パラメータに基づいて、前記第１のクラス、前記第２のクラス、および前記第３のクラスにより特定される前記注目画素のクラスごとに、前記第１の画像データに相当する画像データと前記予測タップから第２の係数を演算する第２の演算手段（例えば、図１８の係数種学習部３０６）とを設けることができる。
前記第２の係数は、前記パラメータに基づいて、前記第１のクラス、前記第２のクラス、および前記第３のクラスにより特定される前記注目画素のクラスに対応する前記第１の係数を生成するための元となる係数であるようにすることができる。
前記パラメータは、前記第１の画像データに相当する画像データの水平方向と垂直方向の解像度を示す値であるようにすることができる。
本発明の第２の側面の学習方法またはプログラムは、第１の画像データから第２の画像データを生成するために用いられる係数を学習する学習方法、または第１の画像データから第２の画像データを生成するための用いられる係数を学習する学習処理をコンピュータに行わせるプログラムにおいて、前記第２の画像データに相当する画像データの注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像データに相当する画像データから予測タップとして抽出し（例えば、図１６のステップＳ１５の処理）、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データに相当する画像データからクラスタップとして抽出し（例えば、図１６のステップＳ１６の処理）、前記第１の画像データに相当する画像データのノイズ成分のアクティビティから求められる閾値と、前記クラスタップのアクティビティとを比較した結果に基づいて、前記注目画素を第１のクラスに分類し（例えば、図１６のステップＳ１８乃至ステップＳ２１の処理）、前記第クラスタップのパターンに基づいて、前記注目画素を第２のクラスに分類し（例えば、図１６のステップＳ２２の処理）、前記第１のクラスおよび前記第２のクラスにより特定される前記注目画素のクラスごとに、前記第１の画像データに相当する画像データと前記予測タップから前記係数を演算する（例えば、図１６のステップＳ２４の処理）ステップを含む。
以下、図面を参照しながら本発明の実施の形態について説明する。
図１は、本発明を適用した画像変換装置１の一実施の形態の構成を示すブロック図である。画像変換装置１は、巡回型IP変換部１１、出力位相変換部１２、自然画予測部１３、人工画予測部１４、自然画人工画判定部１５、および合成部１６により構成される。また、巡回型IP変換部１１は、IP変換部２１および巡回型変換部２２により構成される。
巡回型IP変換部１１のIP変換部２１および巡回型変換部２２には、処理対象となるインターレース方式のSD（Standard Definition）画像が入力される。
IP変換部２１は、所定の方法に基づいて、入力されたインターレース方式のSD画像（以下、入力画像とも称する）をプログレッシブ方式のHD（High Definition）画像（以下、中間画像とも称する）にIP変換し、IP変換したプログレッシブ方式のHD画像を巡回型変換部２２に供給する。
巡回型変換部２２は、入力画像と、１フレーム前に巡回型変換部２２から出力されたプログレッシブ方式のHD画像（以下、出力画像とも称する）との間の動きベクトルを求める。巡回型変換部２２は、入力画像の画素値と、求めた動きベクトルに基づいて、出力画像に動き補償を施した画像の画素値とを、巡回係数を用いて重み付け加算することにより、中間画像の画質を向上させる。巡回型変換部２２は、中間画像をより高画質のプログレッシブ方式のHD画像である出力画像に変換し、出力画像を出力位相変換部１２に供給する。
なお、巡回係数は、中間画像の各画素について、変換前の入力画像において画素が存在する位置にあるか否か、動きベクトルの垂直方向の大きさ、および動きベクトルの確からしさを表す信頼度に基づいて設定される。
出力位相変換部１２は、巡回型変換部２２から供給されるHD画像に対して、水平方向および垂直方向に補間を行うことにより、より高画質のHD画像を生成する。出力位相変換部１２は、そのHD画像を、自然画予測部１３、人工画予測部１４、および自然画人工画判定部１５に供給する。
自然画予測部１３は、出力位相変換部１２から供給されるHD画像から、そのHD画像に比べて高品質なHD画像(以下、自然高品質画像と称する)を予測する。具体的には、自然画予測部１３は、HD画像の特徴に応じて、そのHD画像から求められる自然高品質画像の画素である注目画素を、自然画像の特徴に適したクラスに分類する。そして、自然画予測部１３は、そのクラスに対応する、自然高品質画像を予測するための予測係数と、HD画像とを用いて演算することにより、出力位相変換部１２から供給されたHD画像から、自然高品質画像を予測する。自然画予測部１３は、その自然高品質画像を合成部１６に供給する。
ここで、自然画像とは、後述する人工画像ではない画像のことであり、自然界に存在するものをそのまま撮像することにより得られる画像である。
人工画予測部１４は、自然画予測部１３と同様に、出力位相変換部１２から供給されるHD画像から、そのHD画像に比べて高品質なHD画像(以下、人工高品質画像と称する)を予測する。具体的には、人工画予測部１４は、HD画像の特徴に応じて、そのHD画像から求められる人工高品質画像の画素である注目画素を、人工画像の特徴に適したクラスに分類する。そして、人工画予測部１４は、そのクラスに対応する、人工高品質画像を予測するための予測係数と、HD画像とを用いて演算することにより、出力位相変換部１２から供給されたHD画像から、人工高品質画像を予測する。人工画予測部１４は、その人工高品質画像を合成部１６に出力する。
ここで、人工画像とは、文字や単純な図形などの、階調が少なく位相情報であるエッジ位相情報がはっきりした、すなわち、平坦部分が多い人工的な画像である。換言すれば、人工画像は、文字や単純図形などの階調があまり無く、輪郭などの位相情報が支配的になっている画像である。
自然画人工画判定部１５は、出力位相変換部１２より供給されるHD画像の各画素について、人工画像に分類される領域、または、自然画像に分類される領域のいずれの領域に属するかを判定し、判定結果を人工画率として合成部１６に出力する。すなわち、人工画率とは、人工画像と自然画像との中間に分類される領域において自然画像における人工画像の割合を０乃至１の値で示したものである。
合成部１６は、自然画人工画判定部１５より供給される判定結果に基づいて、自然画予測部１３から供給される自然高品質画像の各画素の画素値と、人工画予測部１４から供給される人工高品質画像の各画素の画素値とを人工画率に応じた割合で合成する。
次に、図２のフローチャートを参照して、図１の画像変換装置１により実行される画像変換処理を説明する。なお、この処理は、例えば、外部から画像I1の入力が開始されたとき開始される。
ステップＳ１において、IP変換部２１は、IP変換処理を行う。具体的には、IP変換部２１は、外部から入力されるインターレース方式の画像I1をIP変換することにより、画像P1を生成する。
また、画像I1をそのままIP変換するのではなく、IP変換する前に、ノイズ除去などの画質を向上させる画像処理を画像I1に施すようにしてもよい。
ステップＳ２において、巡回型変換部２２は、巡回型変換処理を行う。巡回型変換処理により、画像P1がより高画質の画像P2に変換され、画像P2が出力位相変換部１２に供給される。
ステップＳ３において、出力位相変換部１２は、出力位相変換処理を行う。具体的には、出力位相変換部１２は、巡回型変換部２２から供給されるSD画像に対して、水平方向および垂直方向に補間を行うことにより、HD画像を生成する。出力位相変換部１２は、そのHD画像を、自然画予測部１３、人工画予測部１４、および自然画人工画判定部１５に供給する。
ステップＳ４において、自然画予測部１３は、自然画予測処理を行う。具体的には、自然画予測部１３は、出力位相変換部１２から供給されるHD画像から、そのHD画像に比べて高品質な自然高品質画像を予測する。すなわち、自然画予測部１３は、HD画像の特徴に応じて、そのHD画像から求められる自然高品質画像の画素である注目画素を、自然画像の特徴に適したクラスに分類する。そして、自然画予測部１３は、そのクラスに対応する、自然高品質画像を予測するための予測係数と、HD画像とを用いて演算することにより、出力位相変換部１２から供給されたHD画像から、自然高品質画像を予測する。自然画予測部１３は、その自然高品質画像を合成部１６に供給する。
ステップＳ５において、人工画予測部１４は、人工画予測処理を行う。具体的には、人工画予測部１４は、自然画予測部１３と同様に、出力位相変換部１２から供給されるHD画像から、そのHD画像に比べて高品質な人工高品質画像を予測する。すなわち、人工画予測部１４は、HD画像の特徴に応じて、そのHD画像から求められる人工高品質画像の画素である注目画素を、人工画像の特徴に適したクラスに分類する。そして、人工画予測部１４は、そのクラスに対応する、人工高品質画像を予測するための予測係数と、HD画像とを用いて演算することにより、出力位相変換部１２から供給されたHD画像から、人工高品質画像を求める。人工画予測部１４は、その人工高品質画像を合成部１６に出力する。
ステップＳ６において、自然画人工画判定部１５は、自然画人工画判定処理を行う。具体的には、自然画人工画判定部１５は、出力位相変換部１２より供給されるHD画像の各画素について、人工画像に分類される領域、または、自然画像に分類される領域のいずれの領域に属するかを判定し、判定結果を人工画率として合成部１６に出力する。
ステップＳ７において、合成部１６は、画像を合成する。具体的には、合成部１６は、自然画人工画判定部１５より供給される判定結果に基づいて、自然画予測部１３から供給される自然高品質画像の各画素の画素値と、人工画予測部１４から供給される人工高品質画像の各画素の画素値とを人工画率に応じた割合で合成する。合成部１６は、合成した画像を後段の装置に出力する。
なお、複数の画像の画像変換を連続して行う場合、上述したステップＳ１乃至ステップＳ７の処理が繰り返し実行される。
次に、図３乃至図２１を参照して、図１のIP変換部２１が行うIP変換処理の一例として、クラス分類適応処理を用いたIP変換処理について説明する。すなわち、例えば、図１のIP変換部２１は、図３を参照して後述する出力画像生成装置１１２に対応しており、出力画像生成装置１１２は、外部から入力される画像I1をIP変換することにより、画像P1を生成する。なお、以下の説明では、画像I1をSD画像、画像P1をHD画像として説明する。
図３は、本発明を適用した画像処理システム１０１の原理的構成を説明する図である。
図３に示されるように、画像処理システム１０１は、学習装置１１１と出力画像生成装置１１２の２つの装置で構成されている。このうちの出力画像生成装置１１２がIP変換部２１に対応している。
学習装置１１１においては、入力される画像に対して、後述する学習により、従来から用いられていた波形クラス分類とともに、DRクラス分類を行うことで、クラスごとの予測係数が、入力波形においてノイズ成分が支配的なクラスの係数群であるDR小クラス係数群C1と、原信号成分が支配的なクラスの係数群であるDR大クラス係数群C2とのいずれかに分類される。
また、出力画像生成装置１１２においても、入力される画像に対して、波形クラス分類とともに、DRクラス分類を行うことで、学習によりDR小クラス係数群C1とDR大クラス係数群C2とに分類されているクラスの予測係数を用いて、例えば、ノイズ除去処理や、DRC（Digital Reality Creation）処理のような高解像度化処理を行うことにより、高解像度の画像が生成される。
なお、学習装置１１１に入力される高画質画像信号は、高解像度の画像信号であるHD画像信号であるとし、そのHD画像信号を変換することにより得られる画像信号は、例えば、標準解像度の画像信号であるSD画像信号であるとする。また、出力画像生成装置１１２に入力される画像信号は、SD画像信号であるとし、そのSD画像信号を変換することにより得られる高画質画像信号は、HD画像信号であるとする。なお、以下、適宜、SD画像信号に対応する画像をSD画像とも称し、HD画像信号に対応する画像をHD画像とも称する。
具体的には、学習装置１１１は、学習により、DR小クラス係数群C1またはDR大クラス係数群C2のいずれか一方に分類される予測係数をクラスごと生成する。すなわち、図４に示されるように、学習装置１１１は、教師画像信号としてのHD画像信号から、縮小処理により生徒信号としてのSD画像信号を生成し、そのSD画像信号に対して、ノイズ成分を付加して生徒画像信号としてのSD画像信号を生成する。そして、学習装置１１１は、生徒画像信号としてのノイズ成分が付加されたSD画像信号（以下、ノイズ付加SD画像信号と称し、ノイズ付加SD画像信号に対応する画像をノイズ付加SD画像と称する）と、教師画像信号としてのHD画像信号に基づいて、波形クラス分類およびDRクラス分類の処理を行い、クラスごとの予測係数を学習する。その結果、学習装置１１１は、DR小クラス係数群C1またはDR大クラス係数群C2のいずれか一方に分類される予測係数をクラスごとに生成することになる。
ここで、波形クラス分類とは、例えば、ADRC(Adaptive Dynamic Range Coding)などにより、生成する画像（予測画像）を構成する画素を、順次、注目画素とし、さらにその注目画素を、幾つか（複数）のクラスのうちのいずれかにクラス分けする処理をいう。なお、クラス分類を行うのに用いる複数の画素、またはその画素値のことをクラスタップという。
DRクラス分類とは、クラスタップのアクティビティに基づいたクラス分類をするための所定の閾値と、クラスタップのアクティビティとを比較し、その結果により、注目画素をDR小クラス係数群C1とDR大クラス係数群C2とにクラス分けする処理をいう。これにより、波形クラス分類の有効性を評価し、ノイズ除去性能と高解像度信号予測性能の両者を適応的なバランスで用いることが可能となる。
また、学習装置１１１におけるDRクラス分類では、ノイズ成分が持つアクティビティと、入力信号のアクティビティとの比較の結果によってクラス分類されることになる。
すなわち、上述したように、ノイズ付加SD画像信号は、基となるSD画像信号に、ノイズ成分を付加することで生成されるが、ノイズ付加SD画像信号のアクティビティとSD画像信号のアクティビティとの関係を見た場合、図５に示すように、ノイズ付加SD画像信号のアクティビティは、SD画像信号のアクティビティの大きさに対する、付加されるノイズ成分のアクティビティの大きさによって変化する。
なお、アクティビティとは、例えば、ダイナミックレンジ、隣接している画素間の差分の絶対値の総和、または画素値の分散などの、画素の画素値の変化の大きさを示す値である。なお、以下、便宜的に、アクティビティをDRとも称して説明する。
図５のグラフは、SD画像信号とノイズ成分から生成されるノイズ付加SD画像信号の波形を示している。図５において、６つのグラフのうち、左側の２つのグラフはSD画像信号の波形を示し、中央の２つのグラフはノイズ成分の波形を示し、右側の２つのグラフはノイズ付加SD画像信号の波形を示している。また、図５の６つのグラフのうち、上側の３つのグラフはSD画像信号のアクティビティが小さい場合のグラフを示し、下側の３つのグラフはSD画像信号のアクティビティが大きい場合のグラフを示している。
すなわち、図中下側の３つのグラフで示すように、SD画像信号のアクティビティが充分大きい場合、ノイズ成分が付加されても、ノイズ付加SD画像信号の波形が、ノイズ成分から受ける影響は比較的小さく、ほぼSD画像信号の波形が保持されている。
それに対して、図中上側の３つのグラフで示すように、SD画像信号のアクティビティが小さい場合、相対的にノイズ成分のアクティビティが大きくなり、ノイズ付加SD画像信号の波形は、ノイズ成分にマスクされ、ノイズ成分の影響が無視できない状態になる。
具体的には、図中上側のノイズ成分のグラフでは、そのアクティビティが-3から5までの間の値であるが、図中上側のSD画像信号のグラフでは、そのアクティビティが10から14までの間の値となっており、ノイズ成分よりもSD画像信号のほうが、アクティビティが小さくなっている。この場合、図中上側のノイズ付加SD画像信号のグラフでは、ノイズが乗っている波形の情報がノイズにマスクされている。
すなわち、ノイズ付加SD画像信号のアクティビティの値が、ノイズ成分のアクティビティの値と同程度か、またはそれよりも小さくなる場合、ノイズにマスクされて、入力されるSD画像信号の波形が残らない可能性が非常に高くなる。そこで、ノイズ付加SD画像信号のアクティビティに対して、所定の閾値を用いて判定を行うことにより、ノイズ成分の影響を大きく受けるノイズ付加SD画像信号と、ノイズの影響がそれほど大きくないノイズ付加SD画像信号とを別クラスに分けるようにする。
具体的には、学習により、図５の上側に示したような、例えば、ノイズ付加SD画像信号のアクティビティが小さい波形のクラスでは、入力波形の情報に多く含まれているノイズを除去するための、DR小クラス係数群C1に属する予測係数が生成され、図５の下側に示すような、ノイズ付加SD画像信号のアクティビティが大きな波形のクラスでは、入力波形の概形をある程度保ちつつノイズを除去するための、DR大クラス係数群C2に属する予測係数が生成される。
なお、図５のSD画像信号とノイズ付加SD画像信号のグラフにおいては、説明を分かり易くするために、図中上側と下側のグラフにおける縦軸のスケールを変えている（SD画像信号のグラフでは0乃至16と0乃至35、ノイズ付加SD画像信号のグラフでは0乃至18と0乃至35）。
画像処理装置としての出力画像生成装置１１２は、学習装置１１１により生成された予測係数を、入力される入力画像に適用して、出力画像を生成し、出力する。すなわち、図６に示されるように、出力画像生成装置１１２は、入力されるSD画像に対して、波形クラス分類およびDRクラス分類の処理を行うことにより、そのSD画像の特徴に応じて、注目画素を、DR小クラス係数群C1またはDR大クラス係数群C2に属するクラスに分類する。そして、出力画像生成装置１１２は、SD画像と、学習装置１１１において、あらかじめ学習しておいたDR小クラス係数群C1またはDR大クラス係数群C2に属しているクラスごとの予測係数とを用いて、高解像度化処理を行うことによりHD画像を生成する。
DRクラス分類の方法は、入力されるSD画像信号のアクティビティが、所定の閾値を超えるかによりクラスを分ける。具体的には、図５の上側のグラフで示したように、ノイズ付加SD画像信号である、SD画像信号のアクティビティが所定の閾値よりも小さい場合、そのクラスは、DR小クラス係数群C1に属するように分類される。これにより、高解像度化処理においては、SD画像信号は、その波形の情報に多く含まれているノイズを積極的に除去するように処理される。また、図５の下側のグラフで示したように、ノイズ付加SD画像信号である、SD画像信号のアクティビティが所定の閾値を超える場合、そのクラスは、DR大クラス係数群C2に属するように分類される。これにより、高解像度化処理においては、SD画像信号は、その波形の概形をある程度保ちつつノイズを除去するように処理される。
また、DRクラス分類に用いる閾値は、図６に示されるように、外部から指定される。例えば、図７に示されるように、ノイズのアクティビティ（以下、ノイズアクティビティと称する）を検出する回路（以下、ノイズ検出回路と称する）が設けられる。ノイズ検出回路は、例えば、入力されるSD画像信号からノイズアクティビティを検出し、検出された検出値（以下、ノイズアクティビティ検出値と称する）に基づいて、動的に閾値を指定する。
具体的には、画像信号は、例えば、MPEG2（Moving Picture Experts Group phase 2）などの方式で圧縮され、伝送される。この場合、離散コサイン変換（DCT（Discrete Cosine Transformation））が行われる。図８に示すように、デジタル画像のフレームは、圧縮の単位であるブロック（以下、DCT処理ブロックと称する）に分けられ（図８では9×14（個）のDCT処理ブロックに分けられ）、各DCT処理ブロックごとに離散コサイン変換が行われる。このためDCT処理ブロックの境界においてブロックノイズが発生する場合がある。そこで、ノイズ検出回路において、このブロックノイズをノイズアクティビティとして検出することができる。
具体的には、図９の左側に示すように、図８のデジタル画像のフレームにおいて、あるブロック境界ｂにおける境界画素の画素値a1と、この境界画素に対して、ブロック境界線bと直交する方向に隣接する画素の画素値を、それぞれ、画素値a0と画素値a2とし、図９の右側に示すように、境界画素における２次微分値の絶対値を|d|とした場合、絶対値|d|は、次式で表される。
|d|＝|（a0−a1）−（a1−a2）|・・・（１）
一般的に、絶対値|d|は、ブロックノイズが大きいほど、値が大きくなる傾向にあるので、絶対値|d|を入力された画像信号に含まれるノイズアクティビティであると考えることが可能となる。すなわち、ノイズ検出回路は、ノイズアクティビティ検出値として絶対値|d|を検出し、その検出された絶対値|d|を用いて、所定の閾値を指定する。
なお、ノイズアクティビティを検出する方法は、上述した例に限らず、例えば、特開２０００−３５０２０２号公報に開示されている、デジタルノイズ検出に用いられている特徴量を使用することができる。
また、DRクラス分類に用いる閾値は、ユーザにより指定されるようにしてもよい。図１０に示すように、ユーザにより閾値が指定される場合、ユーザは、自分の判断で所定の閾値を設定する。この場合、ユーザは、生成するHD画像信号において、どの範囲の信号成分の波形を除去し、どの範囲の信号成分の波形を保つかを選択できる。さらにまた、ユーザが所定の値を指定し、その指定された値に基づいて、動的に閾値を変更して設定することもできる。その結果、ユーザは、ノイズ除去の効果の特性をコントロールすることが可能となる。
このように、出力画像生成時のDRクラス分類の基準値（閾値）を、例えば、ノイズ検出回路やユーザの操作などにより指定することができるようにすることで、学習環境時と一致している場合に限らず、学習環境時とは異なる特性のノイズに対しても対応可能となり、様々な環境で適応的に、より高質の画像を生成することができる。
図１１は、学習装置１１１のより具体的な機能的構成例を示すブロック図である。
学習装置１１１は、画像入力部１５１、縮小画像生成部１５２、ノイズ加算量指定部１５３、ノイズ成分加算部１５４、クラスタップ抽出部１５５、DRクラス分類部１５６、波形クラス分類部１５７、予測タップ抽出部１５８、係数学習部１５９、および係数記録部１６０を含むようにして構成される。
画像入力部１５１は、フレームまたはフィールド単位などにより入力される教師画像としてのHD画像信号を、縮小画像生成部１５２および係数学習部１５９に供給する。このHD画像信号は、後述する図１３の高解像度化処理部２０７が生成、出力するHD画像信号に相当する画像信号である。
縮小画像生成部１５２は、画像入力部１５１から供給されるHD画像信号に基づいて、HD画像の解像度を落とした縮小画像（SD画像）を生成する。縮小画像生成部１５２は、生成したSD画像に対応するSD画像信号をノイズ成分加算部１５４に供給する。
ノイズ加算量指定部１５３は、生成する係数データが最適となるように、SD画像信号に加算させるノイズ成分のノイズアクティビティを指定し、指定したノイズアクティビティに基づいたノイズ成分をノイズ成分加算部１５４に供給する。また、ノイズ加算量指定部１５３は、指定したノイズアクティビティからDR閾値を求め、求められたDR閾値をDRクラス分類部１５６に供給する。
ここで、DR閾値とは、DRクラス分類を行うときの基準となる閾値である。例えば、DR閾値には、ノイズ成分が持つアクティビティが指定され、DRクラス分類では、その指定されたDR閾値と、入力信号のアクティビティとが比較されることによって、クラス分類が行われる。
ノイズ成分加算部１５４は、縮小画像生成部１５２から供給されるSD画像信号に、ノイズ加算量指定部１５３から供給されるノイズ成分を加算して、生徒画像としてのノイズ付加SD画像信号を生成する。ノイズ成分加算部１５４は、生成されたノイズ付加SD画像信号をクラスタップ抽出部１５５および予測タップ抽出部１５８に供給する。このノイズ付加SD画像信号成分は、後述する図１３の低解像度画像入力部２０１より出力されるSD画像信号に相当する画像信号である。
なお、ノイズ加算量指定部１５３において指定されたノイズアクティビティをノイズ成分加算部１５４に供給することにより、ノイズ成分加算部１５４に、そのノイズアクティビティに基づいたノイズ成分を生成させ、SD画像信号に付加させるようにしてもよい。
クラスタップ抽出部１５５は、ノイズ成分加算部１５４から供給されるノイズ付加SD画像信号を変換して得ようとするHD画像信号を構成する画素を、順次、注目画素とし、さらに、その注目画素を、幾つか（複数）のクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の画素の画素値をクラスタップとして、ノイズ成分加算部１５４から供給されるノイズ付加SD画像信号から抽出する。クラスタップ抽出部１５５は、抽出したクラスタップをDRクラス分類部１５６および波形クラス分類部１５７に供給する。
DRクラス分類部１５６は、クラスタップ抽出部１５５から供給されるクラスタップを構成する画素の画素値から求められるアクティビティ（以下、クラスタップDRと称する）と、ノイズ加算量指定部１５３から供給されるDR閾値とを比較し、比較の結果に基づいて、DRクラス分類を行う。DRクラス分類部１５６は、DRクラス分類の結果をDRクラス番号として、係数学習部１５９に供給する。
波形クラス分類部１５７は、クラスタップ抽出部１５５から供給されるクラスタップを構成する画素に基づいて、すなわち、各位置のクラスタップの画素値のパターンに基づいて（つまり波形に基づいて）、注目画素を波形クラス分類する。波形クラス分類部１５７は、波形クラス分類の結果得られるクラスに対応する波形クラス番号を、係数学習部１５９に供給する。なお、DRクラス分類部１５６と波形クラス分類部１５７の詳細は図１２を参照して後述する。
予測タップ抽出部１５８は、注目画素の画素値を予測するのに用いる複数の画素の画素値を予測タップとして、ノイズ成分加算部１５４から供給されるノイズ付加SD画像信号から抽出する。予測タップ抽出部１５８は、抽出した予測タップを係数学習部１５９に供給する。
具体的には、予測タップ抽出部１５８は、注目画素に対応するノイズ付加SD画像の画素に対して、空間的または時間的に近い位置にある複数の画素を、ノイズ付加SD画像信号から、予測タップとして抽出する。予測タップ抽出部１５８は、例えば、ノイズ付加SD画像信号の、注目画素に対応する位置に最も近い画素と、その画素に空間的に隣接する画素などを予測タップとして抽出する。
なお、予測タップとクラスタップは、同一のタップ構造を有するものとすることも、異なるタップ構造を有するものとすることも可能である。
係数学習部１５９には、画像入力部１５１から供給されるHD画像信号、波形クラス分類部１５７から供給される波形クラス番号、および予測タップ抽出部１５８から供給される予測タップの他に、DRクラス分類部１５６からDRクラス番号が供給される。係数学習部１５９は、教師画像としてのHD画像信号を構成する画素のうちの注目画素と、生徒画像としての予測タップを構成する画素とを対象とした足し込みを、波形クラス番号とDRクラス番号に基づいたクラスごとに行う。
すなわち、生徒画像としてのノイズ付加SD画像上の予測タップを構成する画素の画素値をＴ1，Ｔ2，Ｔ3，・・・，Ｔi，・・・，Ｔnとし、各予測タップに対応する係数データをそれぞれＷ1，Ｗ2，Ｗ3，・・・，Ｗi，・・・，Ｗnとし、教師画像としてのHD画像上の画素の画素値を求める所定の予測演算として、例えば、線形１次式を採用することとすると、HD画像上の画素の画素値Ｌ'は、次の線形１次式によって求められる。
Ｌ'＝Ｗ1Ｔ1＋Ｗ2Ｔ2＋・・・＋ＷiＴi＋・・・＋ＷnＴn・・・（２）
実際のHD画像上の画素の画素値としての真値をＬとすると、その予測誤差ｅは、次式で表される。
Figure 2007251690
この誤差ｅに対して、最小自乗法を適用して、次式が得られる。
Figure 2007251690
上記式から、次の正規方程式が得られる。
Figure 2007251690
係数学習部１５９は、この正規方程式を、クラスごとにたて、例えば、掃き出し法（Gauss-Jordanの消去法）などで解くことにより、係数データＷnをクラスごとに算出する。
係数学習部１５９は、算出した係数データＷnを係数記録部１６０に供給する。
なお、例えば、波形クラス番号のコードと、DRクラス番号のコードを表すビット列とを一列に並べたビット列などを、注目画素のクラスを表すクラスコードとして表すことが可能である。
係数記録部１６０は、係数学習部１５９から供給される係数データを記録する。このとき、係数データは、クラスごとに求められているが、各クラスは、波形クラス番号とDRクラス番号に基づいて分類されているので、波形クラスで分類されているとともに、DRクラスでも分類されていることになる。換言すれば、係数データは、DR小クラス係数群C1またはDR大クラス係数群C2のいずれかに属しているクラスの予測係数となる。
図１１のDRクラス分類部１５６と波形クラス分類部１５７は、図１２に示されるように構成される。この構成例においては、DRクラス分類部１５６は、ダイナミックレンジ演算部１８１、判定部１８２、およびクラス番号出力部１８３により構成され、波形クラス分類部１５７は、クラス番号出力部１９１により構成される。
ダイナミックレンジ演算部１８１は、クラスタップ抽出部１５５から供給されるクラスタップを構成する画素の画素値から求められるクラスタップDRを演算する。ダイナミックレンジ演算部１８１は、演算したクラスタップDRを判定部１８２に供給する。
判定部１８２は、ダイナミックレンジ演算部１８１から供給されるクラスタップDRと、ノイズ加算量指定部１５３から供給されるDR閾値とを比較し、クラスタップDRがDR閾値以上となるかを判定する。判定部１８２は、判定結果をクラス番号出力部１８３に供給する。
クラス番号出力部１８３は、判定部１８２から供給される判定結果に基づいて、DRクラス番号を係数学習部１５９に出力する。具体的には、例えば、クラス番号出力部１８３は、判定部１８２からの判定結果が、クラスタップDRがDR閾値以上であることを示している場合、１であるDRクラス番号を係数学習部１５９に出力し、クラスタップDRがDR閾値よりも小さいことを示している場合、０であるDRクラス番号を係数学習部１５９に出力する。
すなわち、０であるDRクラス番号が出力されたクラスは、DR小クラス係数群C1に属し、１であるDRクラス番号が出力されたクラスは、DR大クラス係数群C2に属することになり、これにより、DRクラス分類が行われる。
クラス番号出力部１９１は、クラスタップ抽出部１５５からのクラスタップを構成する画素に基づいて、波形クラス分類を行う。クラス番号出力部１９１は、波形クラス分類の結果得られるクラスに対応する波形クラス番号を係数学習部１５９に出力する。
波形クラス分類を行う方法としては、上述したように、例えば、ADRCなどを採用することができる。ADRCを用いる方法では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
例えば、KビットADRCにおいては、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR1=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDR1に基づいて、クラスタップを構成する画素がKビットに再量子化される。すなわち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR1/2Kで除算される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。したがって、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され、これにより、各画素の画素値が１ビットとされる。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。クラス番号出力部１９１は、このようにして、クラスタップをADRC処理して得られるADRCコードを、波形クラス番号として出力する。
なお、クラス番号出力部１９１は、その他、例えば、クラスタップを構成する画素を、ベクトルのコンポーネントとみなし、そのベクトルをベクトル量子化することなどによって、クラス分類を行うことも可能である。
図１３は、画像処理装置としての出力画像生成装置１１２のより具体的な機能的構成例を示すブロック図である。
出力画像生成装置１１２は、低解像度画像入力部２０１、ノイズ加算量指定部２０２、クラスタップ抽出部２０３、DRクラス分類部２０４、波形クラス分類部２０５、予測タップ抽出部２０６、高解像度化処理部２０７、係数保持部２０８、および高解像度画像出力部２０９を含むようにして構成される。なお、クラスタップ抽出部２０３、DRクラス分類部２０４、波形クラス分類部２０５、および予測タップ抽出部２０６は、図１１のクラスタップ抽出部１５５、DRクラス分類部１５６、波形クラス分類部１５７、および予測タップ抽出部１５８と同一の構成とされている。
低解像度画像入力部２０１は、フレームまたはフィールド単位などにより入力されるSD画像信号を、ノイズ加算量指定部２０２、クラスタップ抽出部２０３、および予測タップ抽出部２０６に供給する。
ノイズ加算量指定部２０２は、最適にDRクラスを分類させるDR閾値をDRクラス分類部２０４に供給する。具体的には、ノイズ加算量指定部２０２は、ユーザにより所定の閾値が指定された場合、その閾値をDR閾値としてDRクラス分類部２０４に供給する。また、ノイズ加算量指定部２０２は、ユーザにより閾値が指定されていない場合、例えば、図７を参照して上述したノイズ検出回路などを内蔵し、ユーザにより閾値が指定されていない場合、低解像度画像入力部２０１から供給されるSD画像信号から、ノイズアクティビティ検出値を検出し、そのノイズアクティビティ検出値に基づいたDR閾値をDRクラス分類部２０４に供給する。ノイズ加算量指定部２０２の詳細は図１４を参照して後述する。
クラスタップ抽出部２０３は、低解像度画像入力部２０１から供給されるSD画像信号を変換して得ようとするHD画像信号を構成する画素を、順次、注目画素として、SD画像信号からクラスタップを抽出する。クラスタップ抽出部２０３は、抽出したクラスタップをDRクラス分類部２０４および波形クラス分類部２０５に供給する。
DRクラス分類部２０４は、クラスタップ抽出部２０３から供給されるクラスタップを構成する画素の画素値から求められるクラスタップDRと、ノイズ加算量指定部２０２から供給されるDR閾値とを比較し、比較の結果に基づいて、DRクラス分類を行う。DRクラス分類部２０４は、DRクラス分類の結果をDRクラス番号として、高解像度化処理部２０７に供給する。
波形クラス分類部２０５は、クラスタップ抽出部２０３から供給されるクラスタップを構成する画素に基づいて、注目画素を波形クラス分類する。波形クラス分類部２０５は、波形クラス分類の結果得られるクラスに対応する波形クラス番号を、高解像度化処理部２０７に供給する。DRクラス分類部２０４と波形クラス分類部２０５の詳細は図１５を参照して後述する。
予測タップ抽出部２０６は、注目画素の画素値を予測するのに用いる複数の画素の画素値である予測タップを、低解像度画像入力部２０１から供給されるSD画像信号から抽出する。予測タップ抽出部２０６は、抽出した予測タップを高解像度化処理部２０７に供給する。
具体的には、予測タップ抽出部２０６は、注目画素に対応するSD画像の画素に対して、空間的または時間的に近い位置にある複数の画素を、SD画像信号から予測タップとして抽出する。
係数保持部２０８は、上述した学習装置１１１による学習によって、所定のクラスごとに求められ、係数記録部１６０に記録された係数である係数データを保持している。上述したように、この係数データは、クラスごとに求められているが、各クラスは、波形クラス番号とDRクラス番号に基づいて分類されているので、波形クラスで分類されているとともに、DRクラスでも分類されている。
高解像度化処理部２０７には、波形クラス分類部２０５から供給される波形クラス番号、および予測タップ抽出部２０６から供給される予測タップの他に、DRクラス分類部２０４からDRクラス番号が供給される。高解像度化処理部２０７は、係数保持部２０８から、DRクラス番号と波形クラス番号に基づいたクラス対応するアドレスに記憶されている係数データを取得する。そして、高解像度化処理部２０７は、取得した係数データと予測タップとを用いて、注目画素の真値の予測値を求める、例えば、式（２）などの所定の予測演算を行う。これにより、高解像度化処理部２０７は、注目画素の画素値の予測値、すなわち、HD画像信号を構成する画素の画素値を求めて、高解像度画像出力部２０９に供給する。
高解像度画像出力部２０９は、例えば、高解像度化処理部２０７から供給されるHD画像信号に対応したHD画像を外部の機器に出力し、表示させる。
また、図１３のノイズ加算量指定部２０２は、図１４に示されるように構成される。この構成例においては、ノイズ加算量指定部２０２は、ノイズ成分検出部２２１、判定部２２２、およびDR閾値出力部２２３を含むようにして構成される。
ノイズ成分検出部２２１は、例えば、図７を参照して上述した、ノイズ検出回路などからなり、低解像度画像入力部２０１から供給されるSD画像信号からノイズレベルを検出することにより、ノイズアクティビティ検出値を検出する。ノイズ成分検出部２２１は、検出したノイズアクティビティ検出値を判定部２２２に供給する。
判定部２２２は、ユーザにより所定の閾値が指示されたかを判定する。判定部２２２は、ユーザにより所定の閾値が指示された場合、その閾値をDR閾値出力部２２３に供給する。また、判定部２２２は、ユーザにより所定の閾値が指示されていない場合、ノイズ成分検出部２２１から供給されたノイズアクティビティ検出値をDR閾値出力部２２３に供給する。
DR閾値出力部２２３は、判定部２２２の判定結果に基づいて、判定部２２２から供給される閾値に基づいたDR閾値をDRクラス分類部２０４に出力する。また、DR閾値出力部２２３は、判定部２２２の判定結果に基づいて、判定部２２２から供給されるノイズアクティビティ検出値に基づいたDR閾値をDRクラス分類部２０４に出力する。
図１３のDRクラス分類部２０４と波形クラス分類部２０５は、図１５に示されるように構成される。この構成例においては、DRクラス分類部２０４は、ダイナミックレンジ演算部２３１、判定部２３２、およびクラス番号出力部２３３により構成され、波形クラス分類部２０５は、クラス番号出力部２４１により構成される。
ダイナミックレンジ演算部２３１は、クラスタップ抽出部２０３から供給されるクラスタップを構成する画素の画素値から求められるクラスタップDRを演算する。ダイナミックレンジ演算部２３１は、演算したクラスタップDRを判定部２３２に供給する。
判定部２３２は、ダイナミックレンジ演算部２３１から供給されるクラスタップDRと、ノイズ加算量指定部２０２から供給されるDR閾値とを比較し、クラスタップDRがDR閾値以上となるかを判定する。判定部２３２は、判定結果をクラス番号出力部２３３に供給する。
クラス番号出力部２３３は、判定部２３２から供給される判定結果に基づいて、DRクラス番号を高解像度化処理部２０７に供給する。具体的には、例えば、クラス番号出力部２３３は、判定部２３２からの判定結果が、クラスタップDRがDR閾値以上であることを示している場合、１であるDRクラス番号を高解像度化処理部２０７に出力し、クラスタップDRがDR閾値よりも小さいことを示している場合、０であるDRクラス番号を高解像度化処理部２０７に出力する。
クラス番号出力部２４１は、クラスタップ抽出部２０３からのクラスタップを構成する画素に基づいて、例えば、ADRCなどを用いて、波形クラス分類を行う。クラス番号出力部２４１は、波形クラス分類の結果得られるクラスに対応する波形クラス番号を高解像度化処理部２０７に出力する。なお、クラス番号出力部２４１の詳細は、クラス番号出力部１９１と同様であるので、その詳細な説明は省略する。
次に、図１６のフローチャートを参照して、図１１の学習装置１１１による、係数学習の処理について説明する。
ステップＳ１１において、画像入力部１５１は、フレーム単位などで入力される、教師画像としてのHD画像信号を縮小画像生成部１５２および係数学習部１５９に供給する。
ステップＳ１２において、縮小画像生成部１５２は、画像入力部１５１からのHD画像信号に対して、例えば、HD画像の解像度を落とすように処理を施して、HD画像よりも低解像度のSD画像を生成し、生成したSD画像に対応するSD画像信号をノイズ成分加算部１５４に供給する。
ステップＳ１３において、ノイズ加算量指定部１５３は、SD画像信号に加算するノイズアクティビティであるノイズ加算量を指定する。具体的には、ノイズ加算量指定部１５３は、ユーザからの指示に基づいて、係数学習部１５９により生成される係数データに適したノイズアクティビティを指定し、指定したノイズアクティビティに基づいたノイズ成分をノイズ成分加算部１５４に供給する。また、ノイズ加算量指定部１５３は、指定したノイズアクティビティに基づいたDR閾値として、例えば、指定したノイズアクティビティと同じ値をDRクラス分類部１５６に供給する。
ステップＳ１４において、ノイズ成分加算部１５４は、縮小画像生成部１５２からのSD画像信号に、ノイズ加算量指定部１５３からのノイズ成分を加算して、生徒画像としてのノイズ付加SD画像信号を生成し、クラスタップ抽出部１５５および予測タップ抽出部１５８に供給する。
ステップＳ１５において、予測タップ抽出部１５８は、ノイズ付加SD画像信号から予測タップを抽出し、係数学習部１５９に供給する。
ステップＳ１６において、クラスタップ抽出部１５５は、ノイズ付加SD画像信号からクラスタップを抽出し、DRクラス分類部１５６および波形クラス分類部１５７に供給する。
ステップＳ１７において、クラスタップ抽出部１５５と予測タップ抽出部１５８は、全フレームのデータが終了したかを判定する。
ステップＳ１７において、データがまだ終了していないと判定された場合、ステップＳ１８において、ダイナミックレンジ演算部１８１は、クラスタップ抽出部１５５からのクラスタップからクラスタップDRを演算し、判定部１８２に供給する。クラスタップDRとしては、例えば、クラスタップのダイナミックレンジが演算される。
ステップＳ１９において、判定部１８２は、ダイナミックレンジ演算部１８１からのクラスタップDRと、ノイズ加算量指定部１５３からのDR閾値とを比較し、クラスタップDRがDR閾値以上となるかを判定する。
ステップＳ１９において、クラスタップDRがDR閾値よりも小さいと判定された場合、ステップＳ２０において、クラス番号出力部１８３は、判定部１８２からの判定結果に基づいて、０であるDRクラス番号を係数学習部１５９に出力する。一方、ステップＳ１９において、クラスタップDRがDR閾値以上であると判定された場合、ステップＳ２１において、クラス番号出力部１８３は、判定部１８２からの判定結果に基づいて、１であるDRクラス番号を係数学習部１５９に出力する。
ステップＳ２２において、クラス番号出力部１９１は、クラスタップ抽出部１５５からのクラスタップを構成する画素に基づいて、注目画素を波形クラス分類し、その結果得られるクラスに対応する波形クラス番号を係数学習部１５９に出力する。
ステップＳ２３において、係数学習部１５９は、正規化方程式を生成する。具体的には、係数学習部１５９は、式（５）に示される正規方程式を生成する。その後、処理は、ステップＳ１５に戻り、ステップＳ１７において、全フレームのデータが終了したと判定されるまで、ステップＳ１５乃至ステップＳ２３の処理が繰り返し実行される。
ステップＳ１７において、全フレームのデータが終了したと判定された場合、ステップＳ２４において、係数学習部１５９は、式（５）に示される正規方程式を、掃き出し法などにより解くことで、係数データを生成し、係数記録部１６０に供給する。また、式（５）の正規方程式を、波形クラス番号とDRクラス番号に基づいたクラスごとにたてて解くことにより、係数データがクラスごとに求められる。すなわち、係数データは、クラスごとに求められているが、各クラスは、波形クラス番号とDRクラス番号に基づいて分類されているので、波形クラスで分類されているとともに、DRクラスでも分類されていることになる。
ステップＳ２５において、係数記録部１６０は、係数学習部１５９からの係数データを記録して、係数学習の処理は終了する。
以上のようにして、学習装置１１１においては、係数学習の処理を行うことにより、波形クラス番号とDRクラス番号に基づいたクラスごとの係数データが係数記録部１６０に記録される。このように、係数学習の処理においては、入力される信号の波形を用いて、積極的に高解像度化を行う係数と、ノイズが支配的な波形に対して積極的にノイズ除去を行う係数との２種類に分類される予測係数を求めることができる。
次に、図１７のフローチャートを参照して、図１３の出力画像生成装置１１２による、出力画像生成の処理について説明する。
ステップＳ４１において、低解像度画像入力部２０１は、フレーム単位などで入力されてくるSD画像信号を、ノイズ加算量指定部２０２、クラスタップ抽出部２０３、および予測タップ抽出部２０６に供給する。
ステップＳ４２において、低解像度画像入力部２０１は、全フレームのデータが終了したかを判定する。
ステップＳ４２において、まだ全フレームのデータが終了していないと判定された場合、ステップＳ４３において、ノイズ成分検出部２２１は、低解像度画像入力部２０１からのSD画像信号からノイズレベルを検出することにより、ノイズアクティビティ検出値を検出し、判定部２２２に供給する。
ステップＳ４４において、判定部２２２は、ユーザの操作により、所定の閾値が指定されたかを判定する。
ステップＳ４４において、所定の閾値が指定されていないと判定された場合、ステップＳ４５において、DR閾値出力部２２３は、判定部２２２の判定結果に基づいて、ノイズ成分検出結果であるノイズアクティビティ検出値に基づいたDR閾値をDRクラス分類部２０４に出力する。一方、ステップＳ４４において、所定の閾値が指定されたと判定された場合、ステップＳ４６において、DR閾値出力部２２３は、判定部２２２の判定結果に基づいて、ユーザにより指定された所定の閾値に基づいたDR閾値をDRクラス分類部２０４に出力する。
このように、ノイズ成分検出部２２１を用いることで、入力される信号のノイズ特性に合わせて、予測係数を適応的に選択させることが可能となり、学習時の環境と異なる特性のノイズも確実に抑制し、高画質化を実現することが可能となる。また、ユーザにより、予測係数を使い分ける基準値が指定されることで、ユーザの好みに応じたノイズ除去性能を選択させることも可能となる。
ステップＳ４７において、予測タップ抽出部２０６は、SD画像信号から予測タップを抽出し、高解像度化処理部２０７に供給する。
ステップＳ４８において、クラスタップ抽出部２０３は、SD画像信号からクラスタップを抽出し、DRクラス分類部２０４および波形クラス分類部２０５に供給する。
ステップＳ４９において、クラスタップ抽出部２０３と予測タップ抽出部２０６は、対象フレームのデータが終了したかを判定する。
ステップＳ４９において、対象フレームのデータがまだ終了していないと判定された場合、ステップＳ５０において、ダイナミックレンジ演算部２３１は、クラスタップ抽出部２０３からのクラスタップを構成する画素の画素値からクラスタップDRを演算し、判定部２３２に供給する。
ステップＳ５１において、判定部２３２は、ダイナミックレンジ演算部２３１からのクラスタップDRと、ノイズ加算量指定部２０２からのDR閾値とを比較して、クラスタップDRがDR閾値以上となるかを判定する。
ステップＳ５１において、クラスタップDRがDR閾値よりも小さいと判定された場合、ステップＳ５２において、クラス番号出力部２３３は、判定部２３２からの判定結果に基づいて、０であるDRクラス番号を高解像度化処理部２０７に出力する。一方、ステップＳ５１において、クラスタップDRがDR閾値以上であると判定された場合、ステップＳ５３において、クラス番号出力部２３３は、判定部２３２からの判定結果に基づいて、１であるDRクラス番号を高解像度化処理部２０７に出力する。
ステップＳ５４において、クラス番号出力部２４１は、クラスタップ抽出部２０３からのクラスタップを構成する画素に基づいて、注目画素を波形クラス分類し、その結果得られるクラスに対応する波形クラス番号を高解像度化処理部２０７に出力する。
ステップＳ５５において、高解像度化処理部２０７は、HD画像の画素データを生成し、そのHD画像の画素データを高解像度画像出力部２０９に供給する。具体的には、高解像度化処理部２０７は、係数保持部２０８から、DRクラス番号と波形クラス番号に基づいたクラスに対応する予測係数を取得し、その係数係数と、予測タップ抽出部２０６からの予測タップとを用いて、式（２）の予測演算を行って、HD画像の画素データを生成する。
予測係数は、ノイズのアクティビティに応じて異なるクラスになるように設定されている。したがって、高解像度化処理部２０７により、DR小クラス係数群C1に属しているクラスに対しては、SD画像信号の波形の情報に多く含まれているノイズが積極的に除去されるように、高解像度化する処理が行われ、DR大クラス係数群C2に属しているクラスに対しては、SD画像信号の波形の概形をある程度保ちつつノイズが除去されるように高解像度化する処理が行われる。その結果、より高画質の高解像度の画像を生成することができる。
ステップＳ４７乃至ステップＳ５５の処理は、ステップＳ４９において、１フレーム分のデータの処理が終了したと判定されるまで繰り返し実行される。１フレーム分のデータの処理が終了したと判定された場合、処理は、ステップＳ４１に戻り、それ以降の処理が繰り返し実行される。ステップＳ４２において、全フレームのデータが終了したと判定された場合、出力画像生成の処理は終了する。
以上のようにして、出力画像生成装置１１２においては、学習装置１１１で学習された予測係数に基づき、SD画像信号からHD画像信号が生成される。このように、出力画像生成の処理においては、入力される画像に対してノイズの除去と高解像度化の処理を行うとき、学習により、積極的に高解像度化を行う係数と、ノイズが支配的な波形に対して積極的にノイズ除去を行う係数との２種類に分類される予測係数が求められているので、それらの予測係数によって、ノイズ除去の性能の向上、およびノイズ除去における波形のボケなどの弊害を低減することができる。
ところで、本出願人は、例えば、特開２００２−２１８４１３号公報などにおいて、係数種形式によるDRC処理を先に提案している。本発明は、このような係数種形式によるDRC処理を適用することもできる。そこで、以下、係数種データの学習によって得られるクラスごとの係数種を用いて行われるDRC処理について説明する。なお、係数種データとは、係数データを生成する、いわば種（元）になるデータである。
図１８は、係数種形式による学習装置１１１の具体的な機能的構成例を示すブロック図である。
なお、図１１に示す場合と同様の部分には、同一の番号が付してあり、その説明は繰り返しになるので適宜省略する。すなわち、図１８において、学習装置１１１は、図１１の学習装置１１１に、さらに、画質選択値入力部３０１、タップ選択制御部３０２、動きクラスタップ抽出部３０３、動きクラス分類部３０４、およびクラス合成部３０５が追加され、図１１の係数学習部１５９および係数記録部１６０の代わりに、係数種学習部３０６および係数種記録部３０７を含むようにして構成される。
画質選択値入力部３０１は、SD画像およびノイズ付加SD画像を生成するときに使用する画質選択番号h,vを、縮小画像生成部１５２およびノイズ加算量指定部１５３に供給する。
ここで、画質選択番号h,vとは、水平と垂直の解像度を決めるパラメータh,vに対応しており、これにより画像の解像度が決定される。例えば、縮小画像生成部１５２は、HD画像信号からSD画像信号を生成するとき、パラメータh,vをそれぞれ９段階に可変することにより、合計81種類のSD画像信号を生成する。そして、ノイズ成分加算部１５４は、パラメータh,vをそれぞれ９段階に可変することによりノイズ加算量指定部１５３が、合計81種類のノイズ成分を供給してくるので、縮小画像生成部１５２からの81種類のSD画像信号と、ノイズ加算量指定部１５３からの81種類のノイズとをそれぞれ加算して、81種類のノイズ付加SD画像信号を生成する。
タップ選択制御部３０２には、ユーザの指示に基づいて、変換方法を指示するための変換方法選択信号が制御信号として供給される。タップ選択制御部３０２は、変換方法選択信号に基づいて、動きクラス分類に用いる動きクラスタップ位置データを、動きクラスタップ抽出部３０３に供給する。また、タップ選択制御部３０２は、後述する動きクラス分類部３０４から供給される動きクラス番号および変換方法選択信号に基づいて、クラスタップの抽出に用いるクラスタップ位置データをクラスタップ抽出部１５５に供給し、予測タップの抽出に用いる予測タップ位置データを予測タップ抽出部１５８に供給する。これにより、クラスタップ抽出部１５５、予測タップ抽出部１５８、および動きクラスタップ抽出部３０３においては、変換方法に対応したタップ位置データに基づいて、タップの選択が行われる。
動きクラスタップ抽出部３０３は、ノイズ成分加算部１５４から供給されるノイズ付加SD画像信号を変換して得ようとするHD画像信号を構成する画素を、順次、注目画素とし、さらに、その注目画素を、主に動きの程度によりクラス分けをする動きクラス分類を行うのに用いる複数の画素の画素値である動きクラスタップを、ノイズ成分加算部１５４から供給されるノイズ付加SD画像信号から抽出する。動きクラスタップ抽出部３０３は、抽出した動きクラスタップを動きクラス分類部３０４に供給する。
動きクラス分類部３０４は、動きクラスタップ抽出部３０３から供給される動きクラスタップを構成する画素に基づいて、フレーム間差分を算出し、その差分の絶対値の平均値に対して閾値処理を行うことにより、注目画素を動きクラス分類する。動きクラス分類部３０４は、動きクラス分類の結果得られる動きクラスに対応する動きクラス番号を、タップ選択制御部３０２およびクラス合成部３０５に供給する。
クラス合成部３０５には、波形クラス分類部１５７から供給される波形クラス番号と、動きクラス分類部３０４から供給される動きクラス番号の他に、DRクラス分類部１５６からDRクラス番号が供給される。クラス合成部３０５は、波形クラス番号、動きクラス番号、およびDRクラス番号に基づいて、所定の演算を行うことにより、それらの番号を合成し、HD画像信号を構成する画素のうち、注目画素が属するクラスを示す合成クラス番号を生成する。クラス合成部３０５は、生成した合成クラス番号を係数種学習部３０６に供給する。
係数種学習部３０６には、画像入力部１５１から供給されるHD画像信号と、予測タップ抽出部１５８から供給される予測タップの他に、クラス合成部３０５から合成クラス番号が供給される。係数種学習部３０６は、予測タップを構成する画素を生徒画像とし、HD画像信号を教師画像として、合成クラス番号に基づいたクラスごとの係数種データを生成する。係数種学習部３０６は、生成した係数種データを係数種記録部３０７に供給し、記録させる。
すなわち、図１９を参照して後述する、係数種形式による出力画像生成装置１１２の高解像度化処理部２０７では、次式に基づいて入力されたSD画像信号からより高解像度のHD画像信号を生成し、高解像度画像として出力する。
Figure 2007251690
上記式において、ｙは、HD画像の画素データを示し、ｘiは、SD画像の画素データを表し、Ｗiは、係数データを表す。また、ｎは、予測タップの数を表し、ｉは、予測タップの番号を示す。すなわち、HD画素データｙは、SD画素データｘiと係数データＷiとの積和演算により生成される。
係数データＷiは、次式により表される。
Figure 2007251690
上記式において、ｗijは、係数種データを表し、h,vは、水平と垂直の解像度を決めるパラメータを表している。パラメータh,vは、画質選択値入力部３０１より画質選択番号h,vとして供給されるパラメータである。
また、例えば、上述した式（７）の係数種データｗijは、次のようにして求めることができる。すなわち、上述した式（７）は次式のように書き換えることができる。
Figure 2007251690
上記式におけるｔj（j=0乃至9）は、次式のように定義される。
ｔ0＝１，ｔ1＝ｖ，ｔ2＝ｈ，ｔ3＝ｖ2，ｔ4＝ｖｈ，ｔ5＝ｈ2，
ｔ6＝ｖ3，ｔ7＝ｖ2ｈ，ｔ8＝ｖｈ2，ｔ9＝ｈ3
・・・（９）
最終的に、学習によって未定係数ｗxyが求められる。すなわち、最小自乗法により、クラスごとに、複数のSD画素データとHD画素データとを用いて、二乗誤差を最小にする係数値が決定される。学習数をｍ，ｋ（１≦ｋ≦ｍ）番目の学習データにおける誤差をｅk、二乗誤差の総和をＥとすると、式（６）および式（７）を用いて、二乗誤差の総和Ｅは式（１０）により表される。ここで、ｘikは、SD画像のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙkはそれに対応するｋ番目のHD画像の画素データを表している。
Figure 2007251690
最小自乗法による解法では、式（１１）に示されるように、式（１０）のｗxyによる偏微分が０になるようなｗxyが求められる。
Figure 2007251690
以下、Ｘipjq，Ｙipを、それぞれ、式（１２）または式（１３）のように定義すると、式（１１）は、行列を用いて式（１４）のように書き換えられる。
Figure 2007251690
Figure 2007251690
この方程式は、一般に正規方程式と呼ばれている。この正規方程式は、掃き出し法（Gauss-Jordanの消去法）などを用いて、ｗxyについて解かれ、係数種データｗijが算出される。
図１９は、係数種形式による出力画像生成装置１１２の具体的な機能的構成例を示すブロック図である。
なお、図１３に示す場合と同様の部分には、同一の番号が付してあり、その説明は繰り返しになるので適宜省略する。すなわち、図１９において、出力画像生成装置１１２は、図１３の出力画像生成装置１１２に、さらに、画質選択値入力部３２１、係数種保持部３２２、係数データ生成部３２３、タップ選択制御部３２４、動きクラスタップ抽出部３２５、動きクラス分類部３２６、およびクラス合成部３２７が追加されるようにして構成される。なお、タップ選択制御部３２４、動きクラスタップ抽出部３２５、動きクラス分類部３２６、およびクラス合成部３２７は、図１８のタップ選択制御部３０２、動きクラスタップ抽出部３０３、動きクラス分類部３０４、およびクラス合成部３０５と同様に構成される。
画質選択値入力部３２１は、例えば、ユーザによるリモートコントローラの操作などにより入力される画質指定値h,vを取得する。画質選択値入力部３２１は、取得した画質指定値h,vを係数データ生成部３２３に供給する。
ここで、画質指定値h,vとは、上述した、画質選択番号h,vと同様に、水平と垂直の解像度を決めるパラメータh,vに対応しており、これにより画像の解像度が決定される。
係数種保持部３２２は、上述した、係数種の学習により生成され、係数種記録部３０７に記録された係数種データをクラスごとに保持する。
係数データ生成部３２３には、画質選択値入力部３２１から画質指定値h,vが供給され、係数種保持部３２２から係数種データが供給される。係数データ生成部３２３は、各クラスの係数種データと画質指定値h,vの値を用いて、式（７）により、クラスごとに、画質指定値h,vの値に対応した推定式の係数データを生成する。係数データ生成部３２３は、生成した係数データを高解像度化処理部２０７に供給する。
このとき、生成された各クラスの係数データは、学習時に、合成クラス番号に基づいたクラスごとの予測係数となるので、波形クラスと動きクラスで分類されているとともに、DRクラスでも分類されており、積極的に高解像度化を行う係数と、ノイズが支配的な波形に対して積極的にノイズ除去を行う係数との２種類に分類されている。
タップ選択制御部３２４には、ユーザからの指示に基づいて、変換方法選択信号が制御信号として供給される。タップ選択制御部３２４は、変換方法選択信号に基づいて、動きクラスタップ位置データを動きクラスタップ抽出部３２５に供給する。また、タップ選択制御部３２４は、後述する動きクラス分類部３２６から供給される動きクラス番号および変換方法選択信号に基づいて、クラスタップ位置データをクラスタップ抽出部２０３に供給し、予測タップ位置データを予測タップ抽出部２０６に供給する。これにより、クラスタップ抽出部２０３、予測タップ抽出部２０６、および動きクラスタップ抽出部３２５においては、変換方法に対応したタップ位置データに基づいて、タップの選択が行われる。
動きクラスタップ抽出部３２５は、低解像度画像入力部２０１から供給されるSD画像信号を変換して得ようとするHD画像信号を構成する画素を、順次、注目画素とし、動きクラスタップを、低解像度画像入力部２０１から供給されるSD画像信号から抽出する。動きクラスタップ抽出部３２５は、抽出した動きクラスタップを動きクラス分類部３２６に供給する。
動きクラス分類部３２６は、動きクラスタップ抽出部３２５から供給される動きクラスタップを構成する画素に基づいて、フレーム間差分を算出し、その差分の絶対値の平均値に対して閾値処理を行うことにより、注目画素を動きクラス分類する。動きクラス分類部３２６は、動きクラス分類の結果得られる動きクラスに対応する動きクラス番号を、タップ選択制御部３２４およびクラス合成部３２７に供給する。
クラス合成部３２７には、波形クラス分類部２０５から供給される波形クラス番号と、動きクラス分類部３２６から供給される動きクラス番号の他に、DRクラス分類部２０４からDRクラス番号が供給される。クラス合成部３２７は、波形クラス番号、動きクラス番号、およびDRクラス番号に基づいて、所定の演算を行うことにより、それらの番号を合成して、合成クラス番号を生成する。クラス合成部３２７は、生成した合成クラス番号を高解像度化処理部２０７に供給する。
高解像度化処理部２０７には、予測タップ抽出部２０６から予測タップ、係数データ生成部３２３から係数データ、クラス合成部３２７から合成クラス番号のそれぞれが供給される。高解像度化処理部２０７は、合成クラス番号に基づいた各クラスごとの係数データにより、その係数データと予測タップとを用いて、式（６）に従って、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、高解像度化処理部２０７は、注目画素の画素値、すなわち、HD画像信号を構成する画素値を求めて、高解像度画像出力部２０９に供給し、出力させる。
次に、図２０のフローチャートを参照して、図１８の学習装置１１１による、係数種学習の処理について説明する。
ステップＳ７１において、画質選択値入力部３０１は、ユーザの指示に基づいて、学習に使用される、例えば、水平と垂直の解像度を決めるパラメータh,vに対応する画質選択番号h,vにより特定される画質のパターンを選択し、選択された画質の画質選択番号h,vを、縮小画像生成部１５２およびノイズ加算量指定部１５３に供給する。
ステップＳ７２において、画質選択値入力部３０１は、まだ全ての画質パターンに対して学習が終了したかを判定する。
ステップＳ７２において、学習が終わっていないと判定された場合、ステップＳ７３において、画像入力部１５１は、例えば、フレーム単位などで入力されるHD画像信号を、縮小画像生成部１５２および係数種学習部３０６に供給する。
ステップＳ７４において、縮小画像生成部１５２は、画質選択値入力部３０１により選択された画質選択番号h,vに基づいて、画像入力部１５１からのHD画像信号の解像度を落とすことにより、SD画像信号を生成し、ノイズ成分加算部１５４に供給する。
ステップＳ７５において、ノイズ加算量指定部１５３は、画質選択値入力部３０１からの画質選択番号h,vに基づいて、生成する画質パターンの係数データに適したノイズアクティビティを指定する。ノイズ加算量指定部１５３は、指定されたノイズアクティビティに基づいて、ノイズ成分をノイズ成分加算部１５４に供給し、DR閾値をDRクラス分類部１５６に供給する。
ステップＳ７６において、ノイズ成分加算部１５４は、縮小画像生成部１５２からのSD画像信号と、ノイズ加算量指定部１５３からのノイズ成分とを加算してノイズ付加SD画像信号を生成し、クラスタップ抽出部１５５、予測タップ抽出部１５８、および動きクラスタップ抽出部３０３に供給する。
ステップＳ７７において、クラスタップ抽出部１５５、予測タップ抽出部１５８、および動きクラスタップ抽出部３０３は、ノイズ付加SD画像信号を構成する画素の画素値を取得する。具体的には、動きクラスタップ抽出部３０３は、ノイズ成分加算部１５４からのノイズ付加SD画像信号から、タップ選択制御部３０２からの動きクラスタップ位置データに基づいて、動きクラスタップを抽出し、動きクラス分類部３０４に供給する。なお、クラスタップ抽出部１５５と予測タップ抽出部１５８による画素値を取得する処理は、図１６のステップＳ１５とステップＳ１６の処理と同様であり、その説明は繰り返しになるので省略する。
ステップＳ７８において、クラスタップ抽出部１５５、予測タップ抽出部１５８、および動きクラスタップ抽出部３０３は、全フレームのデータが終了したかを判定する。
ステップＳ７８において、データがまだ終了していないと判定された場合、ステップＳ７９において、動きクラス分類部３０４は、動きクラスタップ抽出部３０３からの動きクラスタップを構成する画素に基づいて、動きクラス分類を行う。動きクラス分類部３０４は、動きクラス分類の結果得られる動きクラスに対応する動きクラス番号を、タップ選択制御部３０２およびクラス合成部３０５に供給する。
具体的には、動きクラス分類部３０４では、動きクラスタップ抽出部３０３により選択的に取り出される動きクラスタップを構成する、異なるフレームの画素から、その差分が算出され、さらにその差分の絶対値の平均値に対する閾値処理が行われ、動きの指標である動きクラスが検出される。そして、動きクラス分類部３０４は、検出された動きクラスに基づいて、動きクラス分類を行う。
ステップＳ８０乃至ステップＳ８４の処理において、図１６のステップＳ１８乃至ステップＳ２２における場合と同様に、DRクラス分類部１５６によるDRクラス分類と、波形クラス分類部１５７による波形クラス分類が行われる。
ステップＳ８５において、クラス合成部３０５は、DRクラス分類部１５６からのDRクラス番号、波形クラス分類部１５７からの波形クラス番号、および動きクラス分類部３０４からの動きクラス番号に基づいて、注目画素が属するクラスを示す合成クラス番号を得るための演算を行うことにより、合成クラス番号を生成し、係数種学習部３０６に供給する。
ステップＳ８６において、係数種学習部３０６は、画像入力部１５１からのHD画像信号を教師画像とし、予測タップ抽出部１５８からの予測タップを生徒画像として、クラス合成部３０５から供給される合成クラス番号に基づいて、クラスごとに、式（１４）に示される正規方程式を生成する。その後、処理は、ステップＳ７７に戻り、ステップＳ７８において、全フレームのデータが終了したと判定されるまで、ステップＳ７７乃至ステップＳ８６の処理が繰り返し実行される。
ステップＳ７８において、全フレームのデータが終了したと判定された場合、処理は、ステップＳ７１に戻り、次の画質パターンを選択し、ステップＳ７２において、ステップＳ７１で選択される全ての画質パターンに対して学習が終了したと判定されるまで、ステップＳ７１乃至ステップＳ８６の処理が繰り返し実行される。
すなわち、ステップＳ７１において、画質選択値入力部３０１からの画質選択番号h,vが順次変更され、水平および垂直の帯域が段階的に変化した複数のノイズ付加SD画像信号が順次生成されるので、これにより、係数種学習部３０６では、多くの学習データが登録された正規方程式が生成されることになる。
ステップＳ７２において、全ての画質パターンに対して学習が終了したと判定された場合、ステップＳ８７において、係数種学習部３０６は、式（１４）に示される正規方程式を、掃き出し法などによりクラスごとに解くことで、各クラスの係数種データを生成し、係数種記録部３０７に供給する。
ステップＳ８８において、係数種記録部３０７は、係数種学習部３０６からの係数種データを記録して、係数種学習の処理は終了する。
以上のようにして、学習装置１１１においては、係数種学習の処理を行うことにより、DRクラス番号、波形クラス番号、および動きクラス番号に基づいたクラスごとの係数データを生成するための係数種データが係数種記録部３０７に記録される。そして、この係数種データが、図１９の係数種保持部３２２に保持される。このように、係数種学習の処理においては、入力される信号の波形を用いて、積極的に高解像度化を行う係数と、ノイズが支配的な波形に対して積極的にノイズ除去を行う係数との２種類に分類される予測係数を求めることができる。
次に、図２１のフローチャートを参照して、図１９の出力画像生成装置１１２による、係数種形式での出力画像生成の処理について説明する。
ステップＳ１０１およびステップＳ１０２の処理は、図１７のステップＳ４１およびステップＳ４２の処理と同様であり、その説明は省略する。
ステップＳ１０３において、画質選択値入力部３２１は、例えば、ユーザによるリモートコントローラの操作により入力される画質指定値h,vを取得し、係数データ生成部３２３に供給する。
ステップＳ１０４において、係数データ生成部３２３は、画質選択値入力部３２１からの画質指定値h,vおよび係数種保持部３２２から取得した各クラスの係数種データに基づいて、例えば、式（７）により、式（６）の推定式の係数データを生成し、高解像度化処理部２０７に供給する。
ステップＳ１０５乃至ステップＳ１０８の処理は、図１７のステップＳ４３乃至ステップＳ４６の処理と同様であり、その説明は省略する。
ステップＳ１０９において、クラスタップ抽出部２０３、予測タップ抽出部２０６、および動きクラスタップ抽出部３２５は、SD画像信号を構成する画素の画素値を取得する。
具体的には、動きクラスタップ抽出部３２５は、タップ選択制御部３２４からの動きクラスタップ位置データに基づいて、低解像度画像入力部２０１からのSD画像信号から、動きクラスタップを抽出し、動きクラス分類部３２６に供給する。また、クラスタップ抽出部２０３と予測タップ抽出部２０６により、図１７のステップＳ４７とステップＳ４８の処理と同様に、画素値が取得される。
ステップＳ１１０において、クラスタップ抽出部２０３、予測タップ抽出部２０６、および動きクラスタップ抽出部３２５は、対象フレームのデータが終了したかを判定する。
ステップＳ１１０において、対象フレームのデータがまだ終了していないと判定された場合、ステップＳ１１１において、動きクラス分類部３２６は、動きクラスタップ抽出部３２５により選択的に取り出される動きクラスタップを構成する画素から、フレーム間の差分を算出し、さらにその差分の絶対値の平均値に対する閾値処理を行って、動きクラスを検出する。動きクラス分類部３２６は、検出された動きクラスに基づいて、動きクラス分類を行い、その結果得られる動きクラスに対応する動きクラス番号を、タップ選択制御部３２４およびクラス合成部３２７に供給する。
ステップＳ１１２乃至ステップＳ１１６の処理において、図１７のステップＳ５０乃至ステップＳ５４における場合と同様に、DRクラス分類部２０４によるDRクラス分類と、波形クラス分類部２０５による波形クラス分類が行われる。
ステップＳ１１７において、クラス合成部３２７は、DRクラス分類部２０４からのDRクラス番号、波形クラス分類部２０５からの波形クラス番号、および動きクラス分類部３２６からの動きクラス番号に基づいて、注目画素が属するクラスを示す合成クラス番号を得るための演算を行うことにより、合成クラス番号を生成し、高解像度化処理部２０７に供給する。
ステップＳ１１８において、高解像度化処理部２０７は、HD画素の画素データを生成し、そのHD画素の画素データを高解像度画像出力部２０９に出力する。具体的には、高解像度化処理部２０７は、クラス合成部３２７からの合成クラス番号に基づいた係数データを係数データ生成部３２３より取得し、その係数データと、予測タップ抽出部２０６からの予測タップを用いて、式（６）に従って、注目画素の真値の予測値を求める所定の演算を行うことにより、HD画像信号を生成する。
この場合においても、予測係数は、ノイズアクティビティに応じて異なるクラスになるように設定される。したがって、図１３の実施の形態における場合と同様に、DR小クラス係数群C1に属しているクラスに対しては、SD画像信号の波形の情報に多く含まれているノイズが積極的に除去される、すなわち、波形の情報の混ざり具合が積極的に除去されるように、高解像度化する処理が行なわれ、DR大クラス係数群C2に属しているクラスに対しては、SD画像信号の波形の概形をある程度保ちつつノイズが除去されるように高解像度化する処理が行われる。その結果、より高画質で高解像度の画像を生成することが可能となる。
ステップＳ１０９乃至ステップＳ１１８の処理は、ステップＳ１１０において、１フレーム分のデータの処理が終了したと判定されるまで繰り返し実行される。１フレーム分のデータの処理が終了したと判定された場合、処理は、ステップＳ１０１に戻り、それ以降の処理が繰り返し実行される。ステップＳ１０２において、全フレームのデータが終了したと判定された場合、出力画像生成の処理は終了する。
以上のようにして、出力画像生成装置１１２においては、学習装置１１１で学習された係数種データに基づき、SD画像信号からHD画像信号が生成される。このように、入力される画像に対してノイズの除去と高解像度化の処理を行うとき、学習により、積極的に高解像度化を行う係数と、ノイズが支配的な波形に対して積極的にノイズ除去を行う係数の２種類の係数が求められているので、それらの係数によって、ノイズ除去の性能の向上、およびノイズ除去における波形のボケなどの弊害を低減することができる。
このように、本提案では、ノイズ成分が持つと想定されるアクティビティと入力信号のアクティビティとを比較し、その結果によりクラス分類を行うことで、波形クラス分類の有効性を評価し、ノイズ除去性能と高解像度信号予測性能の両者を適応的なバランスで実現することが可能となる。
また、本提案では、出力画像生成時のクラス分類の基準値を外部ノイズ検出回路の値や、ユーザ指定のノイズ除去ボリューム値と連動して動的に決定することにより、学習時環境と一致している場合に限らず、様々な環境で適応的に動作しその性能を保つことができる。
なお、本発明は、テレビジョン受像機、ハードディスクレコーダ、DVD(Digital Versatile Disk)装置などに適用することができる。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図２２は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）４０１は、ROM（Read Only Memory）４０２、または記録部４０８に記録されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）４０３には、CPU４０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU４０１、ROM４０２、およびRAM４０３は、バス４０４により相互に接続されている。
CPU４０１にはまた、バス４０４を介して入出力インターフェース４０５が接続されている。入出力インターフェース４０５には、マイクロホンなどよりなる入力部４０６、ディスプレイ、スピーカなどよりなる出力部４０７が接続されている。CPU４０１は、入力部４０６から入力される指令に対応して各種の処理を実行する。そして、CPU４０１は、処理の結果を出力部４０７に出力する。
入出力インターフェース４０５に接続されている記録部４０８は、例えばハードディスクからなり、CPU４０１が実行するプログラムや各種のデータを記録する。通信部４０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
また、通信部４０９を介してプログラムを取得し、記録部４０８に記録してもよい。
入出力インターフェース４０５に接続されているドライブ４１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア４１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部４０８に転送され、記録される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図２２に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVDを含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア４１１、または、プログラムが一時的もしくは永続的に格納されるROM４０２や、記録部４０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部４０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
本発明を適用した画像変換装置の一実施の形態の構成を示すブロック図である。 図１の画像変換装置による画像変換処理を説明するフローチャートである。 本発明を適用した画像処理システムの原理的構成を説明する図である。 係数学習の処理を説明する図である。 ノイズアクティビティについて説明する図である。 高解像度画像生成の処理における閾値の指定を説明する図である。 高解像度画像生成の処理における閾値の指定を説明する図である。 ノイズアクティビティの検出方法について説明する図である。 ノイズアクティビティの検出方法について説明する図である。 高解像度画像生成の処理における閾値の指定を説明する図である。 学習装置の機能的構成を示すブロック図である。 図１１のDRクラス分類部と波形クラス分類部の構成を示すブロック図である。 出力画像生成装置の機能的構成を示すブロック図である。 図１３のノイズ加算量指定部の構成を示すブロック図である。 図１３のDRクラス分類部と波形クラス分類部の構成を示すブロック図である。 係数学習の処理を説明するフローチャートである。 出力画像生成の処理を説明するフローチャートである。 係数種形式による学習装置の機能的構成を示すブロック図である。 係数種形式による出力画像生成装置の機能的構成を示すブロック図である。 係数種学習の処理を説明するフローチャートである。 係数種形式による出力画像生成の処理を説明するフローチャートである。 パーソナルコンピュータの構成を示すブロック図である。
符号の説明
１０１ 画像処理システム， １１１ 学習装置， １１２ 出力画像生成装置， １５１ 画像入力部， １５２ 縮小画像生成部， １５３ ノイズ加算量指定部， １５４ ノイズ成分加算部， １５５ クラスタップ抽出部， １５６ DRクラス分類部， １５７ 波形クラス分類部， １５８ 予測タップ抽出部， １５９ 係数学習部， １６０ 係数記録部， １８１ ダイナミックレンジ演算部， １８２ 判定部， １８３ クラス番号出力部， １９１ クラス番号出力部， ２０１ 低解像度画像入力部， ２０２ ノイズ加算量指定部， ２０３ クラスタップ抽出部， ２０４ DRクラス分類部， ２０５ 波形クラス分類部， ２０６ 予測タップ抽出部， ２０７ 高解像度化処理部， ２０８ 係数保持部， ２０９ 高解像度画像出力部， ２２１ ノイズ成分検出部， ２２２ 判定部， ２２３ DR閾値出力部， ２３１ ダイナミックレンジ演算部， ２３２ 判定部， ２３３ クラス番号出力部， ２４１ クラス番号出力部， ３０１ 画質選択値入力部， ３０２ タップ選択制御部， ３０３ 動きクラスタップ抽出部， ３０４ 動きクラス分類部， ３０５ クラス合成部， ３０６ 係数種学習部， ３０７ 係数種記録部， ３２１ 画質選択値入力部， ３２２ 係数種保持部， ３２３ 係数データ生成部， ３２４ タップ選択制御部， ３２５ 動きクラスタップ抽出部， ３２６ 動きクラス分類部， ３２７ クラス合成部

Claims (15)

  1. 第１の画像データから第２の画像データを生成する画像処理装置において、
    前記第２の画像データの注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像データから予測タップとして抽出する第１の抽出手段と、
    前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データから第１のクラスタップとして抽出する第２の抽出手段と、
    前記第１のクラスタップのアクティビティに基づいたクラス分類をするための第１の閾値を指定する指定手段と、
    指定した前記第１の閾値と、前記第１のクラスタップのアクティビティとを比較した結果に基づいて、前記注目画素を第１のクラスに分類する第１の分類手段と、
    前記第１のクラスタップのパターンに基づいて、前記注目画素を第２のクラスに分類する第２の分類手段と、
    前記第１のクラスおよび前記第２のクラスにより特定される前記注目画素のクラスに対応する第１の係数と、前記予測タップに基づいて、前記第２の画像データを演算する演算手段と
    を備える画像処理装置。
  2. 前記指定手段は、ユーザにより第２の閾値が指示された場合、指示された前記第２の閾値に基づいた値を、前記第１の閾値として指定し、前記ユーザにより前記第２の閾値が指示されなかった場合、前記第１の画像データから検出されるノイズレベルに基づいた値を、前記第１の閾値として指定する
    請求項１に記載の画像処理装置。
  3. 前記第１の分類手段は、前記アクティビティが前記第１の閾値を超える場合、原信号成分が支配的となる前記第１のクラスに属するように前記注目画素を分類し、前記アクティビティが前記第１の閾値よりも小さい場合、ノイズ成分が支配的となる前記第１のクラスに属するように前記注目画素を分類する
    請求項１に記載の画像処理装置。
  4. 前記演算手段は、前記第１のクラスに分類されている前記注目画素のうち、前記原信号成分が支配的となる前記第１のクラスに属している前記注目画素に対して、前記原信号成分を保ちながら前記ノイズ成分を除去するように演算し、前記ノイズ成分が支配的となる前記第１のクラスに属している前記注目画素に対して、前記ノイズ成分を除去するように演算する
    請求項３に記載の画像処理装置。
  5. 前記第２の画像データの画質を指定するためのパラメータを入力する入力手段と、
    入力した前記パラメータに基づいて、前記第１の係数を生成するための元となる第２の係数から前記第１の係数を生成する生成手段と、
    動きにより前記注目画素をクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データから第２のクラスタップとして抽出する第３の抽出手段と、
    前記第２のクラスタップの動きに基づいて、前記注目画素を第３のクラスに分類する第３の分類手段と
    をさらに備え、
    前記演算手段は、前記第１のクラス、前記第２のクラス、および前記第３のクラスにより特定される前記注目画素のクラスに対応する前記第１の係数と、前記予測タップに基づいて、前記第２の画像データを演算する
    請求項１に記載の画像処理装置。
  6. 前記パラメータは、前記第２の画像データの水平方向と垂直方向の解像度を示す値である
    請求項５に記載の画像処理装置。
  7. 第１の画像データから第２の画像データを生成する画像処理方法において、
    前記第２の画像データの注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像データから予測タップとして抽出する第１の抽出ステップと、 前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出する第２の抽出ステップと、
    前記クラスタップのアクティビティに基づいたクラス分類をするための閾値を指定する指定ステップと、
    指定した前記閾値と、前記クラスタップのアクティビティとを比較した結果に基づいて、前記注目画素を第１のクラスに分類する第１の分類ステップと、
    前記クラスタップのパターンに基づいて、前記注目画素を第２のクラスに分類する第２の分類ステップと、
    前記第１のクラスおよび前記第２のクラスにより特定される前記注目画素のクラスに対応する係数と、前記予測タップに基づいて、前記第２の画像データを演算する演算ステップと
    を含む画像処理方法。
  8. 第１の画像データから第２の画像データを生成する画像処理をコンピュータに行わせるプログラムにおいて、
    前記第２の画像データの注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像データから予測タップとして抽出する第１の抽出ステップと、 前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出する第２の抽出ステップと、
    前記クラスタップのアクティビティに基づいたクラス分類をするための閾値を指定する指定ステップと、
    指定した前記閾値と、前記クラスタップのアクティビティとを比較した結果に基づいて、前記注目画素を第１のクラスに分類する第１の分類ステップと、
    前記クラスタップのパターンに基づいて、前記注目画素を第２のクラスに分類する第２の分類ステップと、
    前記第１のクラスおよび前記第２のクラスにより特定される前記注目画素のクラスに対応する係数と、前記予測タップに基づいて、前記第２の画像データを演算する演算ステップと
    を含むプログラム。
  9. 第１の画像データから第２の画像データを生成するために用いられる第１の係数を学習する学習装置において、
    前記第２の画像データに相当する画像データの注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像データに相当する画像データから予測タップとして抽出する第１の抽出手段と、
    前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データに相当する画像データから第１のクラスタップとして抽出する第２の抽出手段と、
    前記第１の画像データに相当する画像データのノイズ成分のアクティビティから求められる閾値と、前記第１のクラスタップのアクティビティとを比較した結果に基づいて、前記注目画素を第１のクラスに分類する第１の分類手段と、
    前記第１のクラスタップのパターンに基づいて、前記注目画素を第２のクラスに分類する第２の分類手段と、
    前記第１のクラスおよび前記第２のクラスにより特定される前記注目画素のクラスごとに、前記第１の画像データに相当する画像データと前記予測タップから前記第１の係数を演算する第１の演算手段と
    を備える学習装置。
  10. 前記第１の分類手段は、前記アクティビティが前記閾値を超える場合、原信号成分が支配的となる前記第１のクラスに属するように前記注目画素を分類し、前記アクティビティが前記閾値よりも小さい場合、ノイズ成分が支配的となる前記第１のクラスに属するように前記注目画素を分類する
    請求項９に記載の学習装置。
  11. 前記第１の画像データに相当する画像データの画質を指定するためのパラメータを入力する入力手段と、
    動きにより前記注目画素をクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データに相当する画像データから第２のクラスタップとして抽出する第３の抽出手段と、
    前記第２のクラスタップの動きに基づいて、前記注目画素を第３のクラスに分類する第３の分類手段と、
    入力した前記パラメータに基づいて、前記第１のクラス、前記第２のクラス、および前記第３のクラスにより特定される前記注目画素のクラスごとに、前記第１の画像データに相当する画像データと前記予測タップから第２の係数を演算する第２の演算手段と
    をさらに備える請求項９に記載の学習装置。
  12. 前記第２の係数は、前記パラメータに基づいて、前記第１のクラス、前記第２のクラス、および前記第３のクラスにより特定される前記注目画素のクラスに対応する前記第１の係数を生成するための元となる係数である
    請求項１１に記載の学習装置。
  13. 前記パラメータは、前記第１の画像データに相当する画像データの水平方向と垂直方向の解像度を示す値である
    請求項１１に記載の学習装置。
  14. 第１の画像データから第２の画像データを生成するために用いられる係数を学習する学習方法において、
    前記第２の画像データに相当する画像データの注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像データに相当する画像データから予測タップとして抽出する第１の抽出ステップと、
    前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データに相当する画像データからクラスタップとして抽出する第２の抽出ステップと、
    前記第１の画像データに相当する画像データのノイズ成分のアクティビティから求められる閾値と、前記クラスタップのアクティビティとを比較した結果に基づいて、前記注目画素を第１のクラスに分類する第１の分類ステップと、
    前記第クラスタップのパターンに基づいて、前記注目画素を第２のクラスに分類する第２の分類ステップと、
    前記第１のクラスおよび前記第２のクラスにより特定される前記注目画素のクラスごとに、前記第１の画像データに相当する画像データと前記予測タップから前記係数を演算する演算ステップと
    を含む学習方法。
  15. 第１の画像データから第２の画像データを生成するために用いられる係数を学習する学習処理をコンピュータに行わせるプログラムにおいて、
    前記第２の画像データに相当する画像データの注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像データに相当する画像データから予測タップとして抽出する第１の抽出ステップと、
    前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データに相当する画像データからクラスタップとして抽出する第２の抽出ステップと、
    前記第１の画像データに相当する画像データのノイズ成分のアクティビティから求められる閾値と、前記クラスタップのアクティビティとを比較した結果に基づいて、前記注目画素を第１のクラスに分類する第１の分類ステップと、
    前記第クラスタップのパターンに基づいて、前記注目画素を第２のクラスに分類する第２の分類ステップと、
    前記第１のクラスおよび前記第２のクラスにより特定される前記注目画素のクラスごとに、前記第１の画像データに相当する画像データと前記予測タップから前記係数を演算する演算ステップと
    を含むプログラム。
JP2006073560A 2006-03-16 2006-03-16 画像処理装置および方法、学習装置および方法、並びにプログラム Pending JP2007251690A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006073560A JP2007251690A (ja) 2006-03-16 2006-03-16 画像処理装置および方法、学習装置および方法、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006073560A JP2007251690A (ja) 2006-03-16 2006-03-16 画像処理装置および方法、学習装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2007251690A true JP2007251690A (ja) 2007-09-27
JP2007251690A5 JP2007251690A5 (ja) 2009-04-30

Family

ID=38595502

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006073560A Pending JP2007251690A (ja) 2006-03-16 2006-03-16 画像処理装置および方法、学習装置および方法、並びにプログラム

Country Status (1)

Country Link
JP (1) JP2007251690A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009152820A (ja) * 2007-12-20 2009-07-09 Sony Corp 学習装置および方法、画像処理装置および方法、並びにプログラム
WO2017078072A1 (ja) * 2015-11-06 2017-05-11 クラリオン株式会社 物体検知方法及び物体検知システム
CN109934244A (zh) * 2017-12-15 2019-06-25 京瓷办公信息系统株式会社 格式类别学习系统以及图像处理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000059652A (ja) * 1998-08-07 2000-02-25 Sony Corp ノイズ除去装置及びノイズ除去方法
JP2000348020A (ja) * 1999-06-09 2000-12-15 Sony Corp データ処理装置およびデータ処理方法、並びに媒体
JP2002218413A (ja) * 2000-11-15 2002-08-02 Sony Corp 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、係数データ生成装置および生成方法、並びに情報提供媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000059652A (ja) * 1998-08-07 2000-02-25 Sony Corp ノイズ除去装置及びノイズ除去方法
JP2000348020A (ja) * 1999-06-09 2000-12-15 Sony Corp データ処理装置およびデータ処理方法、並びに媒体
JP2002218413A (ja) * 2000-11-15 2002-08-02 Sony Corp 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、係数データ生成装置および生成方法、並びに情報提供媒体

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009152820A (ja) * 2007-12-20 2009-07-09 Sony Corp 学習装置および方法、画像処理装置および方法、並びにプログラム
WO2017078072A1 (ja) * 2015-11-06 2017-05-11 クラリオン株式会社 物体検知方法及び物体検知システム
US10755384B2 (en) 2015-11-06 2020-08-25 Clarion Co., Ltd. Object detection method and object detection system
CN109934244A (zh) * 2017-12-15 2019-06-25 京瓷办公信息系统株式会社 格式类别学习系统以及图像处理装置
CN109934244B (zh) * 2017-12-15 2023-04-28 京瓷办公信息系统株式会社 格式类别学习系统以及图像处理装置

Similar Documents

Publication Publication Date Title
US8331710B2 (en) Image processing apparatus and method, learning apparatus and method, and program
JP4470899B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP2013021635A (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP4915341B2 (ja) 学習装置および方法、画像処理装置および方法、並びにプログラム
JP4026491B2 (ja) 画像信号処理装置、画像信号処理方法、並びにプログラムおよび媒体
JP4362895B2 (ja) データ処理装置およびデータ処理方法、並びに記録媒体
JP4193871B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP4517409B2 (ja) データ処理装置およびデータ処理方法
JP4650123B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP4470898B2 (ja) 画像処理装置および方法、並びに、プログラム
JP4552261B2 (ja) ディジタル情報変換装置および方法、並びに画像情報変換装置および方法
JP4548942B2 (ja) 分類適応型空間−時間フォーマット変換方法及び装置
JP2007251690A (ja) 画像処理装置および方法、学習装置および方法、並びにプログラム
JP2003319348A (ja) データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
JP4490351B2 (ja) 階層間予測処理方法，階層間予測処理装置，階層間予測処理プログラムおよびその記録媒体
JP2010118940A (ja) 画像処理装置、画像処理方法、及びプログラム
US20110243462A1 (en) Coefficient learning apparatus and method, image processing apparatus and method, program, and recording medium
JPH0983961A (ja) クラス予測係数の学習方法並びにクラス分類適応処理を用いた信号変換装置および方法
JP3693187B2 (ja) 信号変換装置及び信号変換方法
JP2000348019A (ja) データ処理装置およびデータ処理方法、並びに媒体
JP4552262B2 (ja) ノイズ低減装置および方法
JP4770704B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP4505729B2 (ja) 画像処理装置、画像処理方法、プログラム、および記録媒体
JP4470282B2 (ja) 画像処理装置および画像処理方法
JP4552263B2 (ja) ディジタル信号処理装置および方法、並びにディジタル画像信号処理装置および方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090316

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090316

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120515