JP2000092456A - 画像変換装置および方法、学習装置および方法、画像変換システム、並びに提供媒体 - Google Patents

Abstract

(57)【要約】 【課題】 劣化した画像を補正する。 【解決手段】 領域切り出し部１は、特徴量抽出部３の
出力する特徴量に対応して、入力された画像データから
所定の範囲の画素データをクラスタップのセットとして
切り出し、これを近傍波形推定部４、およびADRCパター
ン抽出部７に出力する。領域切り出し部２は、入力され
た画像データから所定範囲の画素データを予測タップの
セットとして切り出し、その予測タップを構成する画素
データを予測次数切換部６に出力する。近傍波形推定部
４は、入力されたクラスタップの中の注目画素の近傍の
波形特性を検出して、その情報を予測次数選択部５に出
力する。予測次数選択部５は、入力された近傍差分値に
基づいて、適用する高次結合の次数を１次乃至３次のう
ちのいずれかを選択する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像変換装置およ
び方法、学習装置および方法、画像変換システム、並び
に提供媒体に関し、特に、入力された画像信号を同一フ
ォーマットもしくは異なるフォーマットの画像信号に変
換する際に、入力された画像データの画質が悪くとも、
確実に画質が補正されたか、もしくは画質が改善された
画像信号を提供できるようにした画像変換装置および方
法、学習装置および方法、画像変換システム、並びに提
供媒体に関する。

【０００２】

【従来の技術】本出願人は、例えば、特開平８−５１５
９９号として、より高解像度の画素データを得ることが
できるようにする技術を提案している。この提案におい
ては、例えばＳＤ(Standard Definition)画素データか
らなる画像データから、ＨＤ(High Definition)画素デ
ータからなる画像データを創造する場合、創造するＨＤ
画素データの近傍に位置するＳＤ画素データを用いてク
ラス分類を行い（クラスを決定し）、それぞれのクラス
毎に、予測係数を学習させておき、その予測係数とＳＤ
画素データとの線形１次結合をＨＤ画素データとしてい
た。

【０００３】また、本出願人は、特願平１０−２３２５
０１号として、予測係数とＳＤ画素データとの単一の高
次結合（例えば、２次結合）の結果をＨＤ画素データと
することにより、創造するＨＤ画素データの予測精度を
より向上させる技術を提案している。

【０００４】

【発明が解決しようとする課題】ところで、上述したよ
うな高次結合を用いて画素データを創造する技術は、画
像の複雑な部分（空間周波数が高い部分）を創造する場
合には有効である。しかしながら、画像の平坦な部分
（空間周波数が低い部分）を創造する場合には、必ずし
も高次結合による処理は必要ない。したがって、創造す
る全ての画素を単一の高次結合を用いて創造した場合、
不必要な演算を行うことにより、その処理に要する時間
が長くなる課題があった。

【０００５】また、最適な予測係数を求める学習装置に
単一の高次結合を適用した場合、画像の多くの部分を占
める平坦な部分の影響を受け、高次結合を適用したこと
による効果が低減する課題があった。

【０００６】本発明はこのような状況に鑑みてなされた
ものであり、画像の部分的な特性に対応して、適用する
高次結合の次数を変化することにより、入力された画像
データの画質を効率よく補正することができるようした
ものである。

【０００７】

【課題を解決するための手段】請求項１に記載の画像変
換装置は、第１の画像信号の中からクラスコードを生成
するための複数の画素データをクラスタップとして抽出
するクラスタップ抽出手段と、クラスタップをクラス分
類する分類手段と、クラスタップの空間波形を推定する
推定手段と、推定手段が推定した空間波形に対応して高
次結合の次数を選択する選択手段と、分類手段が分類し
た結果と選択手段が選択した次数に対応する予測係数を
発生する発生手段と、予測係数を、第１の画像信号の選
択手段が選択した次数の高次結合の予測演算に用いて第
２の画像信号を生成する生成手段とを備えることを特徴
とする。

【０００８】請求項８に記載の画像変換方法は、第１の
画像信号の中からクラスコードを生成するための複数の
画素データをクラスタップとして抽出するクラスタップ
抽出ステップと、クラスタップをクラス分類する分類ス
テップと、クラスタップの空間波形を推定する推定ステ
ップと、推定ステップで推定した空間波形に対応して高
次結合の次数を選択する選択ステップと、分類ステップ
で分類した結果と選択ステップで選択した次数に対応す
る予測係数を発生する発生ステップと、予測係数を、第
１の画像信号の選択ステップで選択した次数の高次結合
の予測演算に用いて第２の画像信号を生成する生成ステ
ップとを含むことを特徴とする。

【０００９】請求項９に記載の提供媒体は、第１の画像
信号の中からクラスコードを生成するための複数の画素
データをクラスタップとして抽出するクラスタップ抽出
ステップと、クラスタップをクラス分類する分類ステッ
プと、クラスタップの空間波形を推定する推定ステップ
と、推定ステップで推定した空間波形に対応して高次結
合の次数を選択する選択ステップと、分類ステップで分
類した結果と選択ステップで選択した次数に対応する予
測係数を発生する発生ステップと、予測係数を、第１の
画像信号の選択ステップで選択した次数の高次結合の予
測演算に用いて第２の画像信号を生成する生成ステップ
とを含む処理を画像変換装置に実行させるコンピュータ
が読み取り可能なプログラムを提供することを特徴とす
る。

【００１０】請求項１０に記載の学習装置は、第１の画
像信号の中からクラスコードを生成するための複数の画
素データをクラスタップとして抽出するクラスタップ抽
出手段と、クラスタップをクラス分類する分類手段と、
クラスタップの空間波形を推定する推定手段と、推定手
段が推定した空間波形に対応して高次結合の次数を選択
する選択手段と、分類手段が分類した結果と選択手段が
選択した次数に基づいてクラスコードを発生する発生手
段と、第１の画像信号と第２の画像信号とからなる正規
方程式を用いて予測係数を生成する生成手段と、生成手
段が生成した予測係数を発生手段が発生したクラスコー
ドに対応するアドレスに記憶する記憶手段とを備えるこ
とを特徴とする。

【００１１】請求項１６に記載の学習方法は、第１の画
像信号の中からクラスコードを生成するための複数の画
素データをクラスタップとして抽出するクラスタップ抽
出ステップと、クラスタップをクラス分類する分類ステ
ップと、クラスタップの空間波形を推定する推定ステッ
プと、推定ステップで推定した空間波形に対応して高次
結合の次数を選択する選択ステップと、分類ステップで
分類した結果と選択ステップで選択した次数に基づいて
クラスコードを発生する発生ステップと、第１の画像信
号と第２の画像信号とからなる正規方程式を用いて予測
係数を生成する生成ステップと、生成ステップで生成し
た予測係数を発生ステップで発生したクラスコードに対
応するアドレスに記憶する記憶ステップとを含むことを
特徴とする。

【００１２】請求項１７に記載の提供媒体は、第１の画
像信号の中からクラスコードを生成するための複数の画
素データをクラスタップとして抽出するクラスタップ抽
出ステップと、クラスタップをクラス分類する分類ステ
ップと、クラスタップの空間波形を推定する推定ステッ
プと、推定ステップで推定した空間波形に対応して高次
結合の次数を選択する選択ステップと、分類ステップで
分類した結果と選択ステップで選択した次数に基づいて
クラスコードを発生する発生ステップと、第１の画像信
号と第２の画像信号とからなる正規方程式を用いて予測
係数を生成する生成ステップと、生成ステップで生成し
た予測係数を発生ステップで発生したクラスコードに対
応するアドレスに記憶する記憶ステップとを含む処理を
学習装置に実行させるコンピュータが読み取り可能なプ
ログラムを提供することを特徴とする。

【００１３】請求項１８に記載の画像変換システムは、
第１の画像信号の中からクラスコードを生成するための
複数の画素データをクラスタップとして抽出するクラス
タップ抽出手段と、クラスタップをクラス分類する分類
手段と、クラスタップの空間波形を推定する推定手段
と、推定手段が推定した空間波形に対応して高次結合の
次数を選択する選択手段と、分類手段が分類した結果と
選択手段が選択した次数に基づいてクラスコードを発生
する発生手段と、第１の画像信号と第２の画像信号とか
らなる正規方程式を用いて予測係数を生成する生成手段
と、生成手段が生成した予測係数を発生手段が発生した
クラスコードに対応するアドレスに記憶する記憶手段と
を備える学習装置と、第１の画像信号の中からクラスコ
ードを生成するための複数の画素データをクラスタップ
として抽出するクラスタップ抽出手段と、クラスタップ
をクラス分類する分類手段と、クラスタップの空間波形
を推定する推定手段と、推定手段が推定した空間波形に
対応して高次結合の次数を選択する選択手段と、分類手
段が分類した結果と選択手段が選択した次数に対応する
予測係数を発生する発生手段と、予測係数を、第１の画
像信号の選択手段が選択した次数の高次結合の予測演算
に用いて第２の画像信号を生成する生成手段とを備える
画像変換装置とを備えることを特徴とする。

【００１４】請求項１に記載の画像変換装置、請求項８
に記載の画像変換方法、および請求項９に記載の提供媒
体においては、第１の画像信号の中からクラスコードを
生成するための複数の画素データがクラスタップとして
抽出され、クラスタップがクラス分類され、クラスタッ
プの空間波形が推定される。さらに、推定された空間波
形に対応して高次結合の次数が選択され、分類された結
果と選択された次数に対応する予測係数が発生され、そ
の予測係数を、第１の画像信号の選択された次数の高次
結合の予測演算に用いて第２の画像信号が生成される。

【００１５】請求項１０に記載の学習装置、請求項１６
に記載の学習方法、および請求項１７に記載の提供媒体
においては、第１の画像信号の中からクラスコードを生
成するための複数の画素データがクラスタップとして抽
出され、クラスタップがクラス分類され、クラスタップ
の空間波形が推定される。さらに、推定された空間波形
に対応して高次結合の次数が選択され、分類された結果
と選択された次数に基づいてクラスコードが発生され
る。また、第１の画像信号と第２の画像信号とからなる
正規方程式を用いて予測係数が生成され、生成された予
測係数が発生されたクラスコードに対応するアドレスに
記憶される。

【００１６】請求項１８に記載の画像変換システムにお
いては、学習装置で、第１の画像信号の中からクラスコ
ードを生成するための複数の画素データがクラスタップ
として抽出され、クラスタップがクラス分類され、クラ
スタップの空間波形が推定される。さらに、推定された
空間波形に対応して高次結合の次数が選択され、分類さ
れた結果と選択された次数に基づいてクラスコードが発
生される。また、第１の画像信号と第２の画像信号とか
らなる正規方程式を用いて予測係数が生成され、生成さ
れた予測係数が発生されたクラスコードに対応するアド
レスに記憶される。また、画像変換装置で、第１の画像
信号の中からクラスコードを生成するための複数の画素
データがクラスタップとして抽出され、クラスタップが
クラス分類され、クラスタップの空間波形が推定され
る。さらに、推定された空間波形に対応して高次結合の
次数が選択され、分類された結果と選択された次数に対
応する予測係数が発生され、その予測係数を、第１の画
像信号の選択された次数の高次結合の予測演算に用いて
第２の画像信号が生成される。

【００１７】

【発明の実施の形態】以下に本発明の実施の形態を説明
するが、特許請求の範囲に記載の発明の各手段と以下の
実施の形態との対応関係を明らかにするために、各手段
の後の括弧内に、対応する実施の形態（但し一例）を付
加して本発明の特徴を記述すると、次のようになる。但
し勿論この記載は、各手段を記載したものに限定するこ
とを意味するものではない。

【００１８】請求項１に記載の画像変換装置は、第１の
画像信号の中からクラスコードを生成するための複数の
画素データをクラスタップとして抽出するクラスタップ
抽出手段（例えば、図１の領域切り出し部１）と、クラ
スタップをクラス分類する分類手段（例えば、図１のAD
RCパターン抽出部７）と、クラスタップの空間波形を推
定する推定手段（例えば、図１の近傍波形推定部４）
と、推定手段が推定した空間波形に対応して高次結合の
次数を選択する選択手段（例えば、図１の予測次数選択
部５）と、分類手段が分類した結果と選択手段が選択し
た次数に対応する予測係数を発生する発生手段（例え
ば、図１のROMテーブル９）と、予測係数を、第１の画
像信号の選択手段が選択した次数の高次結合の予測演算
に用いて第２の画像信号を生成する生成手段（例えば、
図１の１次予測部１０）とを備えることを特徴とする。

【００１９】請求項３に記載の画像変換装置は、第１の
画像信号の画像のぼけの程度を表す特徴量を検出して、
その検出結果に対応して、クラスタップ抽出手段のクラ
スタップの抽出動作を制御する検出手段（例えば、図１
の特徴量抽出部３）をさらに備えることを特徴とする。

【００２０】請求項７に記載の画像変換装置は、第１の
画像信号の中から予測演算を行うための複数の画素デー
タを予測タップとして抽出する予測タップ抽出手段（例
えば、図１の領域切り出し部２）をさらに備え、生成手
段は、予測タップ抽出手段からの予測タップと、発生手
段からの予測係数を用いて予測演算することにより第２
の画像信号を生成することを特徴とする。

【００２１】請求項１０に記載の学習装置は、第１の画
像信号の中からクラスコードを生成するための複数の画
素データをクラスタップとして抽出するクラスタップ抽
出手段（例えば、図１４の領域切り出し部３３）と、ク
ラスタップをクラス分類する分類手段（例えば、図１４
のADRCパターン抽出部３７）と、クラスタップの空間波
形を推定する推定手段（例えば、図１４の近傍波形推定
部３４）と、推定手段が推定した空間波形に対応して高
次結合の次数を選択する選択手段（例えば、図１４の予
測次数選択部３５）と、分類手段が分類した結果と選択
手段が選択した次数に基づいてクラスコードを発生する
発生手段（例えば、図１４のクラスコード生成部３８）
と、第１の画像信号と第２の画像信号とからなる正規方
程式を用いて予測係数を生成する生成手段（例えば、図
１４の逆行列演算部４２）と、生成手段が生成した予測
係数を発生手段が発生したクラスコードに対応するアド
レスに記憶する記憶手段（例えば、図１４のROMテーブ
ル９）とを備えることを特徴とする。

【００２２】請求項１２に記載の学習装置は、第１の画
像信号の画像のぼけの程度を表す特徴量を検出して、そ
の検出結果に対応して、クラスタップ抽出手段のクラス
タップの抽出動作を制御する検出手段（例えば、図１４
の特徴量抽出部３２）をさらに備えることを特徴とす
る。

【００２３】請求項１８の画像変換システムは、第１の
画像信号の中からクラスコードを生成するための複数の
画素データをクラスタップとして抽出するクラスタップ
抽出手段（例えば、図１４の領域切り出し部３３）と、
クラスタップをクラス分類する分類手段（例えば、図１
４のADRCパターン抽出部３７）と、クラスタップの空間
波形を推定する推定手段（例えば、図１４の近傍波形推
定部３４）と、推定手段が推定した空間波形に対応して
高次結合の次数を選択する選択手段（例えば、図１４の
予測次数選択部３５）と、分類手段が分類した結果と選
択手段が選択した次数に基づいてクラスコードを発生す
る発生手段（例えば、図１４のクラスコード生成部３
８）と、第１の画像信号と第２の画像信号とからなる正
規方程式を用いて予測係数を生成する生成手段（例え
ば、図１４の逆行列演算部４２）と、生成手段が生成し
た予測係数を発生手段が発生したクラスコードに対応す
るアドレスに記憶する記憶手段（例えば、図１４のROM
テーブル９）とを備える学習装置と、第１の画像信号の
中からクラスコードを生成するための複数の画素データ
をクラスタップとして抽出するクラスタップ抽出手段
（例えば、図１の領域切り出し部１）と、クラスタップ
をクラス分類する分類手段（例えば、図１のADRCパター
ン抽出部７）と、クラスタップの空間波形を推定する推
定手段（例えば、図１の近傍波形推定部４）と、推定手
段が推定した空間波形に対応して高次結合の次数を選択
する選択手段（例えば、図１の予測次数選択部５）と、
分類手段が分類した結果と選択手段が選択した次数に対
応する予測係数を発生する発生手段（例えば、図１のRO
Mテーブル９）と、予測係数を、第１の画像信号の選択
手段が選択した次数の高次結合の予測演算に用いて第２
の画像信号を生成する生成手段（例えば、図１の１次予
測部１０）とを備える画像変換装置とを備えることを特
徴とする。

【００２４】なお、本明細書においてシステムの用語
は、複数の装置、手段などにより構成される全体的な装
置を意味するものである。

【００２５】本発明を適用した画像変換装置の第１の構
成例について、図１を参照して説明する。同図には、例
えば画質の悪い（ぼけた画像の）ＳＤ画像データ（また
は、ＨＤ画像データ）を、画質改善されたＳＤ画像デー
タ（または、ＨＤ画像データ）に変換する構成例が示さ
れている。以下においては、入力画像データがＳＤ画像
データである場合について説明する。

【００２６】例えば、画質の悪い（ぼけた画像の）ＳＤ
画像データが、入力端子を介して画像変換装置に入力さ
れる。入力された画像データは、領域切り出し部１、領
域切り出し部２、および特徴量抽出部３に供給される。
特徴量抽出部３は、入力されたＳＤ画像データのぼけ量
を表す特徴量を検出し、その検出した特徴量を領域切り
出し部１、および領域切り出し部２に出力するようにな
されている。

【００２７】領域切り出し部１は、入力された画像デー
タから所定の範囲の画素データをクラスタップのセット
として切り出し、これを近傍波形推定部４、およびADRC
(Adaptive Dynamic Range Coding)パターン抽出部７に
出力する。領域切り出し部１において切り出されるクラ
スタップは、特徴量抽出部３の出力する特徴量に対応し
て制御される。

【００２８】領域切り出し部２は、入力された画像デー
タから所定範囲の画素データを予測タップのセットとし
て切り出し、その予測タップを構成する画素データを予
測次数切換部６に出力する。この領域切り出し部２によ
り切り出される予測タップのセットは、特徴量抽出部３
の出力するぼけ量を表す特徴量に対応して制御される。

【００２９】近傍波形推定部４は、領域切り出し部１か
ら入力されたクラスタップの注目画素近傍の波形特性
（その詳細は図７を参照して後述する）を検出して、そ
の情報（近傍差分値）を予測次数選択部５に出力する。
予測次数選択部５は、近傍波形推定部４から入力された
近傍差分値に基づいて、適用する高次結合の次数として
１次乃至３次のうちのいずれかを選択し、その情報を予
測次数切換部６、およびクラスコード生成部８に出力す
るようになされている。予測次数切換部６は、領域切り
出し部２から入力された予測タップを、１次予測部１０
乃至３次予測部１２のうちの、予測次数選択部５から入
力された高次結合の次数に対応するものに出力するよう
になされている。

【００３０】ADRCパターン抽出部７は、空間内の波形表
現を目的としたクラス分類を行い、分類したクラスをク
ラスコード生成部８に出力する。クラスコード生成部８
は、予測次数選択部５から入力された高次結合の次数
と、ADRCパターン抽出部７から入力されたクラスとを用
いてクラスコードを生成し、ROMテーブル９−１乃至９
−３（以下、特にROMテーブル９−１乃至９−３を個々
に区別する必要がない場合、単にROMテーブル９と記述
する）に出力する。

【００３１】ROMテーブル９においては、クラスコード
生成部８から入力されたクラスコードに対応する予測係
数のセットが読み出され、１次予測部１０乃至３次予測
部１２のうちの対応するものに供給される。すなわち、
クラスコードは、ROMテーブル９のアドレスに対応して
おり、そのアドレスに予め記憶されている予測係数のセ
ットが読み出されて１次予測部１０乃至３次予測部１２
の対応するものに供給されるようになされている。な
お、ROMテーブル９−１乃至９−３には、それぞれ、後
述する学習装置（図１４）により生成された１次結合用
の予測係数、２次結合用の予測係数、または３次結合用
の予測係数が予め記録されている。

【００３２】１次予測部１０は、予測次数切換部６から
入力された予測タップと、ROMテーブル９−１から入力
された予測係数との１次結合を演算して、その演算結果
を画質を補正した画像データとして出力する。２次予測
部１１は、予測次数切換部６から入力された予測タップ
と、ROMテーブル９−２から入力された予測係数との２
次結合を演算して、その演算結果を画質を補正した画像
データとして出力する。３次予測部１２は、予測次数切
換部６から入力された予測タップと、ROMテーブル９−
３から入力された予測係数との３次結合を演算して、そ
の演算結果を画質を補正した画像データとして出力す
る。これらの出力された画像データは、例えば図示しな
い表示デバイスで表示されたり、記録デバイスに記録さ
れたり、伝送デバイスで伝送されるようになされてい
る。

【００３３】次に、その動作について説明する。領域切
り出し部１は、画像データが入力されると、入力された
画像データの中から、所定の画素データをクラスタップ
として切り出す処理を実行する。例えば、図２に示すよ
うに、所定の注目画素データを中心として、その注目画
素データに対応する位置のデータ画素と、上下左右に隣
接する画素データの合計５個の画素データをクラスタッ
プとして切り出す。あるいは、図３に示すように、注目
画素データに対応する画素データと、上下左右方向に３
画素分離れた位置に隣接する画素データをクラスタップ
として抽出する。どのような画素データがクラスタップ
として切り出されるかは、特徴量抽出部３の出力するぼ
け量を表す特徴量に対応して決定される。

【００３４】ここで、図４のフローチャートを参照し
て、特徴量抽出部３の特徴量抽出処理について説明す
る。ステップＳ１において、特徴量抽出部３は、入力さ
れた各画素データに対するフレーム毎の自己相関係数を
算出する。そして、この自己相関係数を画素データのぼ
け量を表す特徴量の尺度に利用する。すなわち、図５に
示すように、１フレームの画像データが７２０画素×４
８０画素の画素データで構成されているものとすると、
所定の注目画素に対してその注目画素を中心として、７
２０画素×４８０画素の画素データのうちの５１２画素
×２５６画素の画素データからなるブロック（以下、こ
のブロックを、適宜、基準ブロックと呼ぶ）を構成し、
その基準ブロックの位置を画素単位で所定の範囲内を上
下左右方向に移動させ、移動させたときのそれぞれの位
置に対応する自己相関係数を算出する。

【００３５】例えば、所定の注目画素データを中心とし
た基準ブロック内の各画素値をＸ_ij（ｉ＝０，１，２，
・・・，ｎ、ｊ＝０，１，２，・・・，ｍ）、基準ブロ
ック内の画素値の平均値をＸ_av、基準ブロックが移動さ
れた位置に対応するブロック内の各画素値をＹ_ij（ｉ＝
０，１，２，・・・，ｎ、ｊ＝０，１，２，・・・，
ｍ）、そのブロック内の画素値の平均値をＹ_avとする
と、基準ブロックを移動させたときのその位置に対応す
る自己相関係数は、次式（１）で表される。

【数１】

【００３６】なお、上述したように、本実施の形態で
は、基準ブロックが５１２画素×２５６画素の画素デー
タから構成されているため、ｎ＝５１１、ｍ＝２５５の
値となる。このようにして、所定の範囲内で基準ブロッ
クをシフトしてそれぞれの位置に対応する自己相関係数
を得ることができる。

【００３７】図６は、このようにして求められた自己相
関係数の例を表している。ブロック（基準ブロック）を
シフトしないとき、自己相関係数は１である。これに対
して、フレームＦ１の場合、例えば、ブロック（基準ブ
ロック）を右方向に３画素分シフトしたとき、自己相関
係数は０．８５に低下し、さらに、シフト量を増加させ
るに従って、自己相関係数は、より小さい値に低下す
る。このことは、ブロック（基準ブロック）を左方向に
シフトした場合にも同様である。

【００３８】一方、フレームＦ２においては、ブロック
（基準ブロック）を１画素分右または左方向にシフトし
たとき、自己相関係数が０．８５に低下し、それ以上シ
フトすると、自己相関係数はさらに低下する。このこと
は、フレームＦ１は、フレームＦ２に比べて、周囲との
自己相関が強い、つまり、フレームＦ１は、フレームＦ
２に比べてぼけ量が大きいことを意味している。

【００３９】特徴量抽出部３は、ステップＳ２におい
て、自己相関係数が所定の基準値（例えば、０．８５）
となる画素シフト量を求め、ステップＳ３で、その画素
シフト量を、ぼけ量を表す特徴量として出力する。つま
り、所定の範囲内で、基準ブロックをシフトしたとき
の、それぞれの位置に対応する自己相関係数と基準値を
比較することにより、自己相関係数が基準値となる画素
シフト量を求める。図６の例の場合、入力された画素デ
ータがフレームＦ１の画素データである場合、特徴量は
３とされ、入力された画素データがフレームＦ２の画素
データである場合、特徴量は１とされる。

【００４０】領域切り出し部１は、特徴量抽出部３か
ら、特徴量１が入力されたとき、例えば、図２に示すよ
うに、狭い間隔内に配置された画素データをクラスタッ
プとして切り出す（抽出する）。これに対して、特徴量
３が入力されたとき、領域切り出し部１は、図３に示す
ように、より広い間隔で配置されている画素データをク
ラスタップとして切り出す（抽出する）。

【００４１】図６に示すように、特徴量が１である画像
（フレームＦ２）は、強い自己相関を有する画素データ
の範囲が狭くなっている。そこで、図２に示すように、
クラスタップを構成する画素データとしても狭い範囲に
配置されているものを選択する。これに対して、特徴量
が３である画像（フレームＦ１）の場合、強い自己相関
を有する範囲がより広くなっている。そこで、図３に示
すように、クラスタップを構成する画素データも、より
広い範囲から切り出すようにする。このように、ぼけ量
を表す特徴量に応じて、クラスタップとして切り出す画
素データをダイナミックに変化させるようにすること
で、より適切なクラスタップを切り出すことが可能とな
る。

【００４２】図示は省略するが、領域切り出し部２にお
ける予測タップも、領域切り出し部１におけるクラスタ
ップの切り出しと同様に、特徴量抽出部３の出力するぼ
け量を表す特徴量に対応して、予測タップとして切り出
す画素データをダイナミックに変化させる。なお、この
領域切り出し部２において切り出される予測タップは、
領域切り出し部１において切り出されるクラスタップと
同一にしてもよいし、異なるものとしてもよい。

【００４３】近傍波形推定部４は、図７に示すように、
領域切り出し部１から入力されたクラスタップの中の注
目画素のレベルx[k]と、その両隣の画素のレベルx[k-
1]，x[K+1]との差分ｄ０(=x[k]-x[k-1])，ｄ１(=x[k]-x
[k+1])を演算して予測次数選択部５に出力する。予測次
数選択部５は、差分ｄ０と差分ｄ１とを比較し、図７
(A)に示すように、ｄ０とｄ１が等しい場合、高次結合
の次数を２次に選択し、図７(B)に示すように、ｄ０と
ｄ１の符号が異なり、その絶対値が等しい場合、高次結
合の次数を１次に選択し、さらに、図７(C)に示すよう
に、ｄ０とｄ１の絶対値が異なる場合、高次結合の次数
を３次に選択して、選択した次数を予測次数切換部６、
およびクラスコード生成部８に出力する。

【００４４】予測次数切換部６は、領域切り出し部２か
ら入力された予測タップを、１次予測部１０乃至３次予
測部１２のうちの、予測次数選択部５から入力された高
次結合の次数に対応するものに出力する。

【００４５】ADRCパターン抽出部７は、領域切り出し部
１で切り出されたクラスタップに対してADRC処理を実行
してクラス分類を行い、その情報をクラスコード生成部
８に出力する。すなわち、クラスタップとして抽出され
た５つの画素データ内のダイナミックレンジをＤＲ、ビ
ット割当をｎ、クラスタップとしての各画素データのレ
ベルをＬ、再量子化コードをＱとするとき、次式を演算
する。 Ｑ＝｛（Ｌ−MIN＋０．５）×２ⁿ／ＤＲ｝ ＤＲ＝MAX−MIN＋１

【００４６】なお、ここで｛ ｝は切り捨て処理を意味
する。また、MAXとMINは、クラスタップを構成する５つ
の画素データ内の最大値と最小値をそれぞれ表してい
る。これにより、例えば領域切り出し部１で切り出され
たクラスタップを構成する５個の画素データが、それぞ
れ例えば８ビット（ｎ＝８）で構成されているとする
と、これらのそれぞれが２ビットに圧縮される。したが
って、空間クラスを表すデータは合計１０ビットで表さ
れる。

【００４７】クラスコード生成部８は、ADRCパターン抽
出部７から入力された空間クラスを表すデータに、予測
次数選択部５より供給される高次結合の次数を表すビッ
トを付加してクラスコードを生成する。例えば、高次結
合の次数が２ビットで表されるとすると、１２ビットの
クラスコードが発生され、ROMテーブル９に出力され
る。

【００４８】ROMテーブル９においては、入力されたク
ラスコードに対応するアドレスから予測係数のセットが
読み出され、１次予測部１０乃至３次予測部１２のうち
の対応するものに供給される。

【００４９】ここで、予測係数のセットについて説明す
る。本実施の形態においては、予測演算に用いられる高
次結合の次数として、注目画素の近傍の空間的な特徴に
基づいて１次乃至３次のうちのいずれかが選択される。
例えば、３次結合が選択された場合、実測値（予測タッ
プ）をｘ_iとし、実測値の１次の予測係数をａ_iとし、実
測値の２次の予測係数をｂ_iとし、実測値の３次の予測
係数をｃ_iとすると、補正された画素データとなる最確
値ｙ_mは次式（２）によって表される。ただし、Ｎは予
測タップを構成する画素数である。

【数２】

【００５０】また、２次結合が選択された場合、最確値
ｙ_mは式（２）の右辺から第３項を削除したもので表さ
れ、１次結合が選択された場合、最確値ｙ_mは式（２）
の右辺の第１項だけで表される。

【００５１】例えば、２次結合が選択された場合につい
て説明する。この場合、最確値ｙ_mは上述したように、
次式（３）により表される。

【数３】

【００５２】ここで、真値をｙ_tとし、誤差をｅとすれ
ば、最小自乗法の誤差方程式は、次式（４）のように表
すことができる。

【数４】

【００５３】式（３）から明らかなように、係数ａ_i，
ｂ_iは、最確値ｙ_mを与える係数であるので、その係数ａ
_i，ｂ_iは、誤差を示す式（４）の値を最小値とするはず
である。式（４）の値を最小とする係数ａ_i，ｂ_iを求め
るには、次式（５）に示すように、式（４）を係数
ａ_i，ｂ_iで偏微分した式が０となる係数ａ_i，ｂ_iを求め
ればよい。ただし、Ｄは式（４）の最右辺である。

【数５】

【００５４】式（５）を係数ａ_i，ｂ_iで整理し、行列を
用いて表現すれば、次式（６）に示すようになる。

【数６】

【００５５】さらに、式（６）の左辺の２Ｎ×２Ｎの行
列の逆行列を演算して、式（６）の両辺に左から乗ずれ
ば、実測値の１次の予測係数ａ_i、および実測値の２次
の予測係数ｂ_iが求められる。なお、１次結合、または
３次結合に用いられる予測係数も同様にして求めること
ができる。

【００５６】１次予測部１０は、予測次数切換部６から
入力された予測タップと、ROMテーブル９−１から入力
された予測係数との１次結合を演算して、その演算結果
を画質を補正した画像データとして出力する。２次予測
部１１は、予測次数切換部６から入力された予測タップ
と、ROMテーブル９−２から入力された予測係数との２
次結合を演算して、その演算結果を画質を補正した画像
データとして出力する。３次予測部１２は、予測次数切
換部６から入力された予測タップと、ROMテーブル９−
３から入力された予測係数との３次結合を演算して、そ
の演算結果を画質を補正した画像データとして出力す
る。

【００５７】図８は、領域切り出し部２で切り出された
予測タップがＮ個の画素から構成される場合における３
次予測部１２の詳細な構成例を示している。入力信号と
して予測次数切換部６から供給された予測タップ（画素
データＸ₀乃至Ｘ_N-1）のうちの画素データＸ₀は、２乗
演算部２１−１、３乗演算部２２−１、および係数乗算
部２３−１に供給される。２乗演算部２１−１および３
乗演算部２２−１は、それぞれ供給された画素データＸ
₀を２乗、または３乗して、対応する係数乗算部２４−
１、または係数乗算部２５−１に出力する。これに対し
て、ROMテーブル９から、係数乗算部２３−１乃至２５
−１のそれぞれに、対応する予測係数ａ₀，ｂ₀、または
ｃ₀が供給される。

【００５８】係数乗算部２３−１乃至２５−１は、入力
された画素データと予測係数とを乗算して積和部２６−
１に出力する。積和部２６−１は、係数乗算部２３−１
乃至２５−１のそれぞれから入力された乗算結果を加算
して、予測出力１として積和部２７に出力する。

【００５９】同様に、２次演算部２１−ｉ乃至積算部２
６−ｉ（ｉ＝１乃至Ｎ−１）において、予測次数切換部
６から供給された予測タップの画素データＸ_i、並びにR
OMテーブル９から供給される予測係数ａ_i，ｂ_i、および
ｃ_iを用いて予測出力ｉ＋１が演算されて、積和部２７
に供給される。

【００６０】積和部２７は、積和部２６−１乃至２６−
Ｎから入力された予測出力１乃至Ｎを加算して、画質
（ぼけ）が補正された画素データとなる予測結果を出力
する。

【００６１】なお、２次予測部１１は、図８に示した３
次予測部１２の構成例から、３乗演算部２２−ｉ（ｉ＝
１乃至Ｎ）、および係数演算部２５−ｉを削除したもの
であり、１次予測部１０は、さらに２乗演算部２１−
ｉ、および係数乗算部２４−ｉを削除したものであるの
で、その詳細な説明は省略する。また、１次予測部１０
乃至３次予測部１２を一体化し、時分割で１次結合乃至
３次結合を演算するようにしてもよい。

【００６２】図９は、特徴量抽出部３における他の特徴
量抽出処理の例を表している。この例においては、ステ
ップＳ１１において、所定の注目画素の近傍のエッジが
検出される。ステップＳ１２において、検出したエッジ
に対応するエッジコードが特徴量として出力される。例
えば、図１０に示すように、右上から左下方向に、斜め
のエッジが検出された場合、特徴量抽出部３は、エッジ
コード０を出力し、図１１に示すように、水平方向のエ
ッジが検出された場合、エッジコード１を出力する。

【００６３】領域切り出し部１は、特徴量抽出部３よ
り、図１０に示すエッジコード０が入力されたとき、図
１２に示すような画素データをクラスタップとして切り
出す（抽出する）。このクラスタップは、右上から左下
方向に延在するエッジを検出するのに最適な画素データ
で構成されている。これに対して、領域切り出し部１
は、図１１に示すようなエッジコード１が入力されたと
き、図１３に示すような画素データをクラスタップとし
て切り出す（抽出する）。このクラスタップは、水平方
向のエッジを検出するのに最適な画素データで構成され
る。領域切り出し部２においても同様に、エッジコード
に対応して予測タップを構成する画素データの切り出し
（抽出）処理が実行される。

【００６４】このように、入力された画素データの自己
相関、エッジといった特徴量に対応して切り出すクラス
タップ、または予測タップとして切り出す画素データを
ダイナミックに変化させることができ、さらにクラスタ
ップの空間波形に対応して高次結合の次数を変化させる
ことができるので、より適切な予測演算結果を得ること
が可能となる。

【００６５】図１４は、図１のROMテーブル９−１乃至
９−３が記憶するクラス毎（クラスコード毎）の予測係
数のセットを学習によって得る学習装置の構成例を示し
ている。この構成例においては、例えば、画質の良好な
教師信号（学習信号）としてのＳＤ画像データを用いて
クラス毎（クラスコード毎）の予測係数のセットを生成
する構成が示されている。

【００６６】例えば、画質の良好な教師信号（学習信
号）としての画像データが、予測次数切換部３６に入力
されるとともに、ローパスフィルタ(LPF)３１に入力さ
れる。ローパスフィルタ３１は、入力された教師信号
（学習信号）としての画像データの高域成分を除去する
ことで、画質の劣化した生徒信号（学習信号）を生成す
る。ローパスフィルタ２１から出力された、画質の劣化
した生徒信号（学習信号）は、ぼけ量を表す特徴量を抽
出する特徴量抽出部３２、並びにクラスタップおよび予
測タップとして所定の範囲の画像データを切り出す（抽
出する）領域切り出し部３３に入力される。

【００６７】特徴量抽出部３２は、入力された画質の劣
化した生徒信号（学習信号）の画素データのぼけ量を表
す特徴量を抽出し、その特徴量を領域切り出し部３３に
供給する。領域切り出し部３３は、入力されたぼけ量を
表す特徴量に対応して、クラスタップおよび予測タップ
として切り出す画素データをダイナミックに変化させ、
切り出したクラスタップおよび予測タップを近傍波形推
定部３４、予測次数切換部３６、およびADRCパターン抽
出部３７に出力する。

【００６８】予測次数切換部３６は、画質の良好な教師
信号（学習信号）、および領域切り出し部３３から入力
された予測タップを、予測次数選択部３５から入力され
る高次結合の次数に対応して、１次予測正規方程式行列
メモリ３９乃至３次予測正規方程式行列メモリ４１のう
ちのいずれかに供給する。

【００６９】なお、近傍波形推定部３４乃至クラスコー
ド生成部３８のそれぞれの構成および動作は、図１に示
された近傍波形推定部４乃至クラスコード生成部８と同
一であるので、その説明は省略する。

【００７０】１次予測正規方程式行列メモリ３９乃至３
次予測正規方程式行列メモリ４１は、入力された教師信
号（学習信号）と予測次数切換部３６から供給された予
測タップとしての画素データとを、クラス毎（クラスコ
ード毎）に予め記憶している正規方程式行列に代入し、
その正規方程式行列（例えば、上述した式（６））を逆
行列演算部４２に供給する。行列演算部４２は、供給さ
れた正規方程式行列を解き（例えば式（６）の場合、左
辺の２Ｎ×２Ｎの行列の逆行列を演算して、両辺に左か
ら乗ずる）、クラス毎の予測係数のセットを演算する。
求められたクラス毎の予測係数のセットは、ROMメモリ
９−１乃至９−３に供給され、クラスコードに対応する
アドレスに記憶される。

【００７１】図１５は、本発明を適用した画像変換装置
の第２の構成例を示している。この画像変換装置は、例
えば図１６に示すように、低解像度のＳＤ画像データ
を、水平および垂直方向の解像度（画素数）がそれぞれ
２倍であるＨＤ画像データに変換するものである。この
画像変換装置においては、入力された画像データが、領
域切り出し部５１、領域切り出し部５２、および特徴量
抽出部５３に供給される。特徴量抽出部５３は、入力さ
れたＳＤ画像データのぼけ量を表す特徴量を検出し、そ
の検出した特徴量を領域切り出し部５１、および領域切
り出し部５２に出力するようになされている。

【００７２】領域切り出し部５１は、入力された画像デ
ータから所定の範囲の画素データをクラスタップのセッ
トとして切り出し、これを近傍波形推定部５４、および
ADRCパターン抽出部５７に出力する。領域切り出し部５
１において切り出されるクラスタップは、特徴量抽出部
５３の出力する特徴量に対応して制御される。

【００７３】領域切り出し部５２は、入力された画像デ
ータから所定範囲の画素データを予測タップのセットと
して切り出し、その予測タップを構成する画素データを
予測次数切換部５６に出力する。この領域切り出し部５
２により切り出される予測タップのセットは、特徴量抽
出部５３の出力するぼけ量を表す特徴量に対応して制御
される。

【００７４】近傍波形推定部５４は、領域切り出し部５
１から入力されたクラスタップの中の注目画素の近傍の
波形特性を検出して、その情報（近傍差分値）を予測次
数選択部５５に出力する。予測次数選択部５５は、近傍
波形推定部５４から入力された近傍差分値に基づいて、
適用する高次結合の次数として１次乃至３次のうちのい
ずれかを選択し、その情報を予測次数切換部５６、およ
びクラスコード生成部５８に出力するようになされてい
る。予測次数切換部５６は、領域切り出し部５２から入
力された予測タップを、１次予測部６０乃至３次予測部
６２のうちの、予測次数選択部５５から入力された高次
結合の次数に対応するものに出力するようになされてい
る。

【００７５】ADRCパターン抽出部５７は、空間内の波形
表現を目的としたクラス分類を行い、分類したクラスを
クラスコード生成部５８に出力する。クラスコード生成
部５８は、予測次数選択部５５から入力された高次結合
の次数と、ADRCパターン抽出部５７から入力されたクラ
スとを用いてクラスコードを生成し、ROMテーブル５９
−１乃至５９−３（以下、特にROMテーブル５９−１乃
至５９−３を個々に区別する必要がない場合、単にROM
テーブル５９と記述する）に出力する。

【００７６】ROMテーブル９においては、クラスコード
生成部５８から入力されたクラスコードに対応する予測
係数のセットが読み出され、１次予測部６０乃至３次予
測部６２のうちの対応するものに供給される。すなわ
ち、クラスコードは、ROMテーブル５９のアドレスに対
応しており、そのアドレスに予め記憶されている予測係
数のセットが読み出されて１次予測部６０乃至３次予測
部６２のうちの対応するものに供給されるようになされ
ている。なお、ROMテーブル５９−１乃至５９−３に
は、後述する学習装置（図１７）が生成した１次結合用
の予測係数、２次結合用の予測係数、または３次結合用
の予測係数が予め記録されている。

【００７７】１次予測部６０は、予測次数切換部５６か
ら入力された予測タップと、ROMテーブル５９−１から
入力された予測係数との１次結合を演算して、その演算
結果をＨＤ画像データとして出力する。２次予測部６１
は、予測次数切換部５６から入力された予測タップと、
ROMテーブル５９−２から入力された予測係数との２次
結合を演算して、その演算結果をＨＤ画像データとして
出力する。３次予測部６２は、予測次数切換部５６から
入力された予測タップと、ROMテーブル５９−３から入
力された予測係数との３次結合を演算して、その演算結
果をＨＤ画像データとして出力する。なお、ここでは、
例えば、図１６に示した注目画素ａを中心とする３×３
個のＳＤ画素ａ乃至ｉの予測タップが用いられた場合、
同図の注目画素ａを中心とする２×２個のＨＤ画素Ａ乃
至Ｄの画素データが演算されるようになされている。

【００７８】これらの出力された画像データは、例えば
図示しない表示デバイスで表示されたり、記録デバイス
に記録されたり、伝送デバイスで伝送される。

【００７９】次に、その動作について説明する。領域切
り出し部５１は、画像データが入力されると、入力され
た画像データの中から、所定の画素データをクラスタッ
プとして切り出す処理を実行する。例えば、図２に示す
ように、所定の注目画素データを中心として、その注目
画素データに対応する位置のデータ画素と、上下左右に
隣接する画素データの合計５個の画素データをクラスタ
ップとして切り出す。あるいは、図３に示すように、注
目画素データに対応する画素データと、上下左右方向に
３画素分離れた位置に隣接する画素データをクラスタッ
プとして抽出する。どのような画素データがクラスタッ
プとして切り出されるかは、特徴量抽出部５３の出力す
るぼけ量を表す特徴量に対応して決定される。領域切り
出し部５２は、特徴量抽出部５３の出力するぼけ量を表
す特徴量に対応して、入力された画像データから所定範
囲の画素データを予測タップのセットとして切り出し、
その予測タップを構成する画素データを予測次数切換部
５６に出力する。例えば、図１６に示すように、注目画
素ａを中心とする３×３のＳＤ画素ａ乃至ｉが切り出さ
れて予測次数切換部５６に出力される。なお、この領域
切り出し部５２において切り出される予測タップは、領
域切り出し部５１において切り出されるクラスタップと
同一にしてもよい。

【００８０】近傍波形推定部５４は、図７に示すよう
に、領域切り出し部５１から入力されたクラスタップの
中の注目画素のレベルx[k]と、その両隣の画素のレベル
x[k-1]，x[K+1]との差分ｄ０(=x[k]-x[k-1])，ｄ１(=x
[k]-x[k+1])を演算して予測次数選択部５５に出力す
る。予測次数選択部５５は、差分ｄ０と差分ｄ１とを比
較し、その結果が、図７(A)に示すように、ｄ０とｄ１
が等しい場合、高次結合の次数を２次に選択し、図７
(B)に示すように、ｄ０とｄ１の符号が異なり、その絶
対値が等しい場合、高次結合の次数を１次に選択し、さ
らに、図７(C)に示すように、ｄ０とｄ１の絶対値が異
なる場合、高次結合の次数を３次に選択して、選択した
次数を予測次数切換部５６、およびクラスコード生成部
５８に出力する。

【００８１】予測次数切換部５６は、領域切り出し部５
２から入力された予測タップを、１次予測部６０乃至３
次予測部６２のうちの、予測次数選択部５５から入力さ
れた高次結合の次数に対応するものに出力する。

【００８２】ADRCパターン抽出部５７は、領域切り出し
部５１で切り出されたクラスタップに対してADRC処理を
実行してクラス分類を行い、その情報をクラスコード生
成部５８に出力する。クラスコード生成部５８は、ADRC
パターン抽出部５７から入力された空間クラスを表すデ
ータに、予測次数選択部５５より供給される高次結合の
次数を表すビットを付加してクラスコードを生成する。
例えば、高次結合の次数が２ビットで表されるとする
と、１２ビットのクラスコードが発生され、ROMテーブ
ル５９に出力される。

【００８３】ROMテーブル５９においては、入力された
クラスコードに対応する予測係数のセットが読み出さ
れ、１次予測部６０乃至３次予測部６２のうちの対応す
るものに供給される。

【００８４】１次予測部６０は、予測次数切換部５６か
ら入力された予測タップと、ROMテーブル５９−１から
入力された予測係数との１次結合を演算して、その演算
結果をＨＤ画像データとして出力する。２次予測部６１
は、予測次数切換部５６から入力された予測タップと、
ROMテーブル５９−２から入力された予測係数との２次
結合を演算して、その演算結果をＨＤ画像データとして
出力する。３次予測部６２は、予測次数切換部５６から
入力された予測タップと、ROMテーブル５９−３から入
力された予測係数との３次結合を演算して、その演算結
果をＨＤ画像データとして出力する。なお、１次予測部
６０乃至３次予測部６２の構成および動作については、
図８で説明したものと同様であるので、その説明は省略
する。

【００８５】この出力されたＨＤ画像データが、例えば
図示しない表示デバイスで表示されたり、記録デバイス
に記録されたり、伝送デバイスで伝送される。

【００８６】図１７は、図１５のROMテーブル５９−１
乃至５９−３に記憶されるクラス毎（クラスコード毎）
の予測係数のセットを学習によって求める学習装置の構
成例を示している。この構成例においては、例えば、高
解像度のＨＤ画像データを教師信号（学習信号）として
用い、クラス毎（クラスコード毎）の予測係数のセット
を生成する構成が示されている。

【００８７】例えば、教師信号（学習信号）として高解
像度のＨＤ画像データが、予測次数切換部７６に入力さ
れるとともに、間引き部７１に入力される。間引き部７
１は、入力された教師信号（学習信号）としてのＨＤ画
像データから、水平および垂直方向の解像度を低下させ
たＳＤ画像データを生成する。すなわち、間引き部７１
は、例えば図１６に示すように、２×２個のＨＤ画素Ａ
乃至Ｄの画素値を平均し、その値をＨＤ画素Ａ乃至Ｄの
中心に位置するＳＤ画素ａの画像データ（学習信号）と
する。

【００８８】間引き部７１から出力された、ＳＤ画素の
生徒信号（学習信号）は、ぼけ量を表す特徴量を抽出す
る特徴量抽出部７２、並びにクラスタップおよび予測タ
ップとして所定の範囲の画像データを切り出す（抽出す
る）領域切り出し部７３に入力される。

【００８９】特徴量抽出部７２は、入力されたＳＤ画素
の生徒信号（学習信号）のぼけ量を表す特徴量を抽出
し、その特徴量を領域切り出し部７３に供給する。領域
切り出し部７３は、入力されたぼけ量を表す特徴量に対
応して、クラスタップおよび予測タップとして切り出す
画素データをダイナミックに変化させ、切り出したクラ
スタップおよび予測タップを近傍波形推定部７４、予測
次数切換部７６、およびADRCパターン抽出部７７に出力
する。

【００９０】予測次数切換部７６は、高解像度の教師信
号（学習信号）、および領域切り出し部７３から入力さ
れた予測タップを、予測次数選択部７５から入力される
高次結合の次数に対応して１次予測正規方程式行列メモ
リ７９乃至３次予測正規方程式行列メモリ８１のうちの
いずれかに供給する。

【００９１】なお、近傍波形推定部７４乃至クラスコー
ド生成部７８のそれぞれの構成および動作は、図１５に
示された近傍波形推定部５４乃至クラスコード生成部５
８と同様であるので、その説明は省略する。

【００９２】１次予測正規方程式行列メモリ７９乃至３
次予測正規方程式行列メモリ８１は、入力された教師信
号（学習信号）と予測次数切換部７６から供給された予
測タップとしての画素データとを、クラス毎（クラスコ
ード毎）に予め記憶している正規方程式行列に代入し、
その正規方程式行列を逆行列演算部８２に供給する。行
列演算部８２は、供給された正規方程式行列を解き、ク
ラス毎の予測係数のセットを演算する。求められたクラ
ス毎の予測係数のセットは、ROMメモリ５９−１乃至５
９−３に供給され、クラスコードに対応するアドレスに
記憶される。

【００９３】なお、本実施の形態においては、クラス毎
の予測係数のセットを、図１４または図１７に示した構
成によって演算して求めるようにしたが、コンピュータ
を用いてシミュレーションで演算して求めるようにして
もよい。

【００９４】このように、本実施の形態によれば、画像
の部分的な空間波形に対応して高次結合の次数を変化さ
せるので、無駄な演算を行うことなく生成される画像の
精度を高くすることができる。

【００９５】また、本実施の形態においては、高次結合
の次数として、１次乃至３次のうちのいずれかを用いる
ようにしたが、３次以上の高次結合を用いるようにして
もよい。

【００９６】また、クラスタップまたは予測タップとし
て切り出される画素データの数は、上述した例に限ら
ず、その数はいくつであってもよい。ただし、クラスタ
ップまたは予測タップとして切り出す数を多くすればす
るほど画質改善の精度、または生成される高解像度画素
の精度は高くなるが、演算量が多くなったり、メモリが
大きくなったりするため、演算量、ハード面での負荷が
大きくなるため、最適な数を設定する必要がある。

【００９７】さらに、本実施の形態においては、ＳＤ画
像信号からＳＤ画像信号への変換（ＳＤ−ＳＤ変換）、
ＨＤ画像信号からＨＤ画像信号への変換（ＨＤ−ＨＤ変
換）、およびＳＤ画像信号からＨＤ画像信号への変換
（ＳＤ−ＨＤ変換）について記載されているが、本発明
はこれに限らず、他のフォーマット（インターレース信
号、ノンインターレース信号など）の変換にももちろん
適用可能である。ただし、この場合、クラスタップまた
は予測タップとして画像データを切り出す際には、注目
画素データとなる画素は実際には存在しないため、切り
出しの対象画素データとはならない。

【００９８】なお、本発明の主旨を逸脱しない範囲にお
いて、さまざまな変形や応用例が考えられる。したがっ
て、本発明の要旨は本実施の形態に限定されるものでは
ない。

【００９９】また、上述したような処理を行うコンピュ
ータプログラムをユーザに提供する提供媒体としては、
磁気ディスク、CD-ROM、固体メモリなどの記録媒体の
他、ネットワーク、衛星などの通信媒体を利用すること
ができる。

【０１００】

【発明の効果】以上のように、請求項１に記載の画像変
換装置、請求項８に記載の画像変換方法、および請求項
９に記載の提供媒体によれば、クラスタップの空間波形
を推定し、推定した空間波形に基づいて高次結合の次数
を選択するようにしたので、入力された画像データの画
質を効率よく補正することが可能となる。

【０１０１】また、請求項１０に記載の学習装置、請求
項１６に記載の学習方法、および請求項１７に記載の提
供媒体によれば、クラスタップをクラス分類し、クラス
タップの空間波形を推定し、推定した空間波形に基づい
て高次結合の次数を選択し、分類した結果と選択した次
数に基づくクラスコードに対応するアドレスに生成した
予測係数を記憶するようにしたので、入力された画像デ
ータの画質を効率よく補正することが可能な予測係数を
求めることができる。

【０１０２】さらに、請求項１８に記載の画像変換シス
テムによれば、クラスコードに対応するアドレスに生成
した予測係数を記憶し、クラスタップの空間波形を推定
し、推定した空間波形に基づいて高次結合の次数を選択
するようにしたので、入力された画像データの画質を効
率よく補正することが可能となる。

【図面の簡単な説明】

【図１】本発明を適用した画像変換装置の第１の構成例
を示すブロック図である。

【図２】図１の領域切り出し部１における切り出し処理
を説明する図である。

【図３】図１の領域切り出し部１における切り出し処理
を説明する図である。

【図４】図１の特徴量抽出部３における特徴量抽出処理
を説明するフローチャートである。

【図５】図４のステップＳ１の自己相関係数を算出する
処理を説明する図である。

【図６】図４のステップＳ１において算出される自己相
関係数を説明する図である。

【図７】図１の近傍波形推定部４における近傍波形推定
処理を説明する図である。

【図８】図１の３次予測部１２の詳細な構成例を示すブ
ロック図である。

【図９】図１の特徴量抽出部３における他の特徴量抽出
処理を説明するフローチャートである。

【図１０】図１の特徴量抽出部３における他の特徴量抽
出の例を示す図である。

【図１１】図１の特徴量抽出部３における他の特徴量抽
出の例を示す図である。

【図１２】図１の領域切り出し部１における切り出し処
理を説明する図である。

【図１３】図１の領域切り出し部１における切り出し処
理を説明する図である。

【図１４】本発明を適用した学習装置の構成例を示すブ
ロック図である。

【図１５】本発明を適用した画像変換装置の第２の構成
例を示すブロック図である。

【図１６】図１５の領域切り出し部５２における切り出
し処理を説明する図である。

【図１７】本発明を適用した学習装置の他の構成例を示
すブロック図である。

【符号の説明】

１，２ 領域切り出し部， ３ 特徴量抽出部， ４
近傍波形推定部， ５予測次数選択部， ６ 予測次数
切換部， ７ ADRCパターン抽出部， ８クラスコード
発生部， ９ ROMテーブル， １０ １次予測部，
１１ ２次予測部， １２ ３次予測部， ２１ ２乗
演算部， ２２ ３乗演算部， ２３乃至２５ 係数乗
算部， ２６ 積和部， ２７ 積和部， ３１ LP
F，３２ 特徴量抽出部， ３３ 領域切り出し部，
３４ 近傍波形推定部， ３５ 予測次数選択部， ３
６ 予測次数切換部， ３７ ADRCパターン抽出部，３
８ クラスコード生成部， ３９ １次予測正規方程式
行列メモリ， ４０２次予測正規方程式行列メモリ，
４１ ３次予測正規方程式行列メモリ，４２ 逆行列演
算部， ５１，５２ 領域切り出し部， ５３ 特徴量
抽出部，５４ 近傍波形推定部， ５５ 予測次数選択
部， ５６ 予測次数切換部，５７ ADRCパターン抽出
部， ５８ クラスコード発生部， ５９ ROMテーブ
ル， ６０ １次予測部， ６１ ２次予測部， ６２
３次予測部， ７１間引き部， ７２ 特徴量抽出
部， ７３ 領域切り出し部， ７４ 近傍波形推定
部， ７５ 予測次数選択部， ７６ 予測次数切換
部， ７７ ADRCパターン抽出部， ７８ クラスコー
ド生成部， ７９ １次予測正規方程式行列メモリ，
８０ ２次予測正規方程式行列メモリ， ８１ ３次予
測正規方程式行列メモリ， ８２ 逆行列演算部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 立平 靖 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 中屋 秀雄 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 浜松 俊彦 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 白木 寿一 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 安藤 一隆 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 野出 泰史 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内

Claims (18)

【特許請求の範囲】
1. 【請求項１】 複数の画素データからなる第１の画像信
   号を複数の画素データからなる第２の画像信号に変換す
   る画像変換装置において、 前記第１の画像信号の中からクラスコードを生成するた
   めの複数の画素データをクラスタップとして抽出するク
   ラスタップ抽出手段と、 前記クラスタップをクラス分類する分類手段と、 前記クラスタップの空間波形を推定する推定手段と、 前記推定手段が推定した前記空間波形に対応して高次結
   合の次数を選択する選択手段と、 前記分類手段が分類した結果と前記選択手段が選択した
   次数に対応する予測係数を発生する発生手段と、 前記予測係数を、前記第１の画像信号の前記選択手段が
   選択した次数の高次結合の予測演算に用いて前記第２の
   画像信号を生成する生成手段とを備えることを特徴とす
   る画像変換装置。
2. 【請求項２】 前記推定手段は、クラスタップ内の注目
   画素と、その両隣の画素とのレベルの差分を比較して空
   間波形を推定することを特徴とする請求項１に記載の画
   像変換装置。
3. 【請求項３】 前記第１の画像信号の画像のぼけの程度
   を表す特徴量を検出して、その検出結果に対応して、前
   記クラスタップ抽出手段のクラスタップの抽出動作を制
   御する検出手段をさらに備えることを特徴とする請求項
   １に記載の画像変換装置。
4. 【請求項４】 前記第２の画像信号は前記第１の画像信
   号より画質改善された信号であることを特徴とする請求
   項１に記載の画像変換装置。
5. 【請求項５】 前記第１の画像信号と前記第２の画像信
   号は同じフォーマットの画像信号であることを特徴とす
   る請求項１に記載の画像変換装置。
6. 【請求項６】 前記第１の画像信号と前記第２の画像信
   号は異なるフォーマットの画像信号であることを特徴と
   する請求項１に記載の画像変換装置。
7. 【請求項７】 前記第１の画像信号の中から予測演算を
   行うための複数の画素データを予測タップとして抽出す
   る予測タップ抽出手段をさらに備え、 前記生成手段は、前記予測タップ抽出手段からの予測タ
   ップと、前記発生手段からの予測係数を用いて予測演算
   することにより前記第２の画像信号を生成することを特
   徴とする請求項１に記載の画像変換装置。
8. 【請求項８】 複数の画素データからなる第１の画像信
   号を複数の画素データからなる第２の画像信号に変換す
   る画像変換方法において、 前記第１の画像信号の中からクラスコードを生成するた
   めの複数の画素データをクラスタップとして抽出するク
   ラスタップ抽出ステップと、 前記クラスタップをクラス分類する分類ステップと、 前記クラスタップの空間波形を推定する推定ステップ
   と、 前記推定ステップで推定した前記空間波形に対応して高
   次結合の次数を選択する選択ステップと、 前記分類ステップで分類した結果と前記選択ステップで
   選択した次数に対応する予測係数を発生する発生ステッ
   プと、 前記予測係数を、前記第１の画像信号の前記選択ステッ
   プで選択した次数の高次結合の予測演算に用いて前記第
   ２の画像信号を生成する生成ステップとを含むことを特
   徴とする画像変換方法。
9. 【請求項９】 複数の画素データからなる第１の画像信
   号を複数の画素データからなる第２の画像信号に変換す
   る画像変換装置に、 前記第１の画像信号の中からクラスコードを生成するた
   めの複数の画素データをクラスタップとして抽出するク
   ラスタップ抽出ステップと、 前記クラスタップをクラス分類する分類ステップと、 前記クラスタップの空間波形を推定する推定ステップ
   と、 前記推定ステップで推定した前記空間波形に対応して高
   次結合の次数を選択する選択ステップと、 前記分類ステップで分類した結果と前記選択ステップで
   選択した次数に対応する予測係数を発生する発生ステッ
   プと、 前記予測係数を、前記第１の画像信号の前記選択ステッ
   プで選択した次数の高次結合の予測演算に用いて前記第
   ２の画像信号を生成する生成ステップとを含む処理を実
   行させるコンピュータが読み取り可能なプログラムを提
   供することを特徴とする提供媒体。
10. 【請求項１０】 複数の画素データからなる第１の画像
    信号を複数の画素データからなる第２の画像信号に変換
    するとき、前記第１の画像信号との高次結合に用いられ
    る予測係数を生成する学習装置において、 前記第１の画像信号の中からクラスコードを生成するた
    めの複数の画素データをクラスタップとして抽出するク
    ラスタップ抽出手段と、 前記クラスタップをクラス分類する分類手段と、 前記クラスタップの空間波形を推定する推定手段と、 前記推定手段が推定した前記空間波形に対応して高次結
    合の次数を選択する選択手段と、 前記分類手段が分類した結果と前記選択手段が選択した
    次数に基づいてクラスコードを発生する発生手段と、 前記第１の画像信号と前記第２の画像信号とからなる正
    規方程式を用いて前記予測係数を生成する生成手段と、 前記生成手段が生成した予測係数を前記発生手段が発生
    したクラスコードに対応するアドレスに記憶する記憶手
    段とを備えることを特徴とする学習装置。
11. 【請求項１１】 前記推定手段は、クラスタップ内の注
    目画素と、その両隣の画素とのレベルの差分を比較して
    空間波形を推定することを特徴とする請求項１０に記載
    の学習装置。
12. 【請求項１２】 前記第１の画像信号の画像のぼけの程
    度を表す特徴量を検出して、その検出結果に対応して、
    前記クラスタップ抽出手段のクラスタップの抽出動作を
    制御する検出手段をさらに備えることを特徴とする請求
    項１０に記載の学習装置。
13. 【請求項１３】 前記第２の画像信号は前記第１の画像
    信号より画質改善された信号であることを特徴とする請
    求項１０に記載の学習装置。
14. 【請求項１４】 前記第１の画像信号と前記第２の画像
    信号は同じフォーマットの画像信号であることを特徴と
    する請求項１０に記載の学習装置。
15. 【請求項１５】 前記第１の画像信号と前記第２の画像
    信号は異なるフォーマットの画像信号であることを特徴
    とする請求項１０に記載の学習装置。
16. 【請求項１６】 複数の画素データからなる第１の画像
    信号を複数の画素データからなる第２の画像信号に変換
    するとき、前記第１の画像信号との高次結合に用いられ
    る予測係数を生成する学習方法において、 前記第１の画像信号の中からクラスコードを生成するた
    めの複数の画素データをクラスタップとして抽出するク
    ラスタップ抽出ステップと、 前記クラスタップをクラス分類する分類ステップと、 前記クラスタップの空間波形を推定する推定ステップ
    と、 前記推定ステップで推定した前記空間波形に対応して高
    次結合の次数を選択する選択ステップと、 前記分類ステップで分類した結果と前記選択ステップで
    選択した次数に基づいてクラスコードを発生する発生ス
    テップと、 前記第１の画像信号と前記第２の画像信号とからなる正
    規方程式を用いて前記予測係数を生成する生成ステップ
    と、 前記生成ステップで生成した予測係数を前記発生ステッ
    プで発生したクラスコードに対応するアドレスに記憶す
    る記憶ステップとを含むことを特徴とする学習方法。
17. 【請求項１７】 複数の画素データからなる第１の画像
    信号を複数の画素データからなる第２の画像信号に変換
    するとき、前記第１の画像信号との高次結合に用いられ
    る予測係数を生成する学習装置に、 前記第１の画像信号の中からクラスコードを生成するた
    めの複数の画素データをクラスタップとして抽出するク
    ラスタップ抽出ステップと、 前記クラスタップをクラス分類する分類ステップと、 前記クラスタップの空間波形を推定する推定ステップ
    と、 前記推定ステップで推定した前記空間波形に対応して高
    次結合の次数を選択する選択ステップと、 前記分類ステップで分類した結果と前記選択ステップで
    選択した次数に基づいてクラスコードを発生する発生ス
    テップと、 前記第１の画像信号と前記第２の画像信号とからなる正
    規方程式を用いて前記予測係数を生成する生成ステップ
    と、 前記生成ステップで生成した予測係数を前記発生ステッ
    プで発生したクラスコードに対応するアドレスに記憶す
    る記憶ステップとを含む処理を実行させるコンピュータ
    が読み取り可能なプログラムを提供することを特徴とす
    る提供媒体。
18. 【請求項１８】 複数の画素データからなる第１の画像
    信号を複数の画素データからなる第２の画像信号に変換
    するとき、前記第１の画像信号との高次結合に用いられ
    る予測係数を学習する学習装置と、前記学習装置で生成
    された前記予測係数を用いて、前記第１の画像信号を前
    記第２のが増進号に変換する画像変換装置からなる画像
    変換システムにおいて、 前記学習装置は、 前記第１の画像信号の中からクラスコードを生成するた
    めの複数の画素データをクラスタップとして抽出するク
    ラスタップ抽出手段と、 前記クラスタップをクラス分類する分類手段と、 前記クラスタップの空間波形を推定する推定手段と、 前記推定手段が推定した前記空間波形に対応して高次結
    合の次数を選択する選択手段と、 前記分類手段が分類した結果と前記選択手段が選択した
    次数に基づいてクラスコードを発生する発生手段と、 前記第１の画像信号と前記第２の画像信号とからなる正
    規方程式を用いて前記予測係数を生成する生成手段と、 前記生成手段が生成した予測係数を前記発生手段が発生
    したクラスコードに対応するアドレスに記憶する記憶手
    段とを備え、 前記画像変換装置は、 前記第１の画像信号の中からクラスコードを生成するた
    めの複数の画素データをクラスタップとして抽出するク
    ラスタップ抽出手段と、 前記クラスタップをクラス分類する分類手段と、 前記クラスタップの空間波形を推定する推定手段と、 前記推定手段が推定した前記空間波形に対応して高次結
    合の次数を選択する選択手段と、 前記分類手段が分類した結果と前記選択手段が選択した
    次数に対応する予測係数を発生する発生手段と、 前記予測係数を、前記第１の画像信号の前記選択手段が
    選択した次数の高次結合の予測演算に用いて前記第２の
    画像信号を生成する生成手段とを備えることを特徴とす
    る画像変換システム。