JP2001084368A - データ処理装置およびデータ処理方法、並びに媒体 - Google Patents

Abstract

(57)【要約】 【課題】 データの処理性能を向上させる。 【解決手段】 中心画素を始点とする各方向Ｄ₁，Ｄ₂，
・・・，Ｄ₁₆について、その方向にあるＳＤ画素の波形
特性（画素値の特性）に基づき、最終的にタップを構成
させるＳＤ画素が決定される。即ち、各方向Ｄ_iについ
て、その方向にあるＳＤ画像の波形特性に基づいて、図
４に示すように、その方向にあるタップを構成させるＳ
Ｄ画素の位置が移動される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、データ処理装置お
よびデータ処理方法、並びに媒体に関し、例えば、画像
データ等のデータ処理を行う際の、その処理性能を向上
させることができるようにするデータ処理装置およびデ
ータ処理方法、並びに媒体に関する。

【０００２】

【従来の技術】本件出願人は、例えば、画像の画質等の
向上その他の画像の改善を行うための処理として、クラ
ス分類適応処理を、先に提案している。

【０００３】クラス分類適応処理は、クラス分類処理と
適応処理とからなり、クラス分類処理によって、データ
を、その性質に基づいてクラス分けし、各クラスごとに
適応処理を施すものであり、適応処理は、以下のような
手法のものである。

【０００４】即ち、適応処理では、例えば、入力画像
（クラス分類適応処理の処理対象の画像）を構成する画
素（以下、適宜、入力画素という）と、所定の予測係数
との線形結合により、原画像の画素の予測値を求めるこ
とで、その入力画像に含まれるノイズを除去した画像
や、入力画像に生じているぼけを改善した画像、解像度
を向上させた画像等が得られるようになっている。

【０００５】具体的には、例えば、いま、原画像（例え
ば、ノイズを含まない画像や、ぼけのない画像、解像度
の高い画像等）を教師データとするとともに、その原画
像にノイズを重畳したり、あるいはぼかしを付加した入
力画像を生徒データとして、原画像を構成する画素（以
下、適宜、原画素という）の画素値ｙの予測値Ｅ［ｙ］
を、幾つかの入力画素（入力画像を構成する画素）の画
素値ｘ₁，ｘ₂，・・・の集合と、所定の予測係数ｗ₁，
ｗ₂，・・・の線形結合により規定される線形１次結合
モデルにより求めることを考える。この場合、予測値Ｅ
［ｙ］は、次式で表すことができる。

【０００６】 Ｅ［ｙ］＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・・・・（１） 式（１）を一般化するために、予測係数ｗの集合でなる
行列Ｗ、生徒データの集合でなる行列Ｘ、および予測値
Ｅ［ｙ］の集合でなる行列Ｙ’を、

【０００７】

【数１】 で定義すると、次のような観測方程式が成立する。

【０００８】 ＸＷ＝Ｙ’・・・（２） ここで、行列Ｘの成分ｘ_ijは、ｉ件目の生徒データの集
合（ｉ件目の教師データｙ_iの予測に用いる生徒データ
の集合）の中のｊ番目の生徒データを意味し、行列Ｗの
成分ｗ_jは、式（１）において、生徒データの集合の中
のｊ番目の生徒データとの積が演算される予測係数を表
す。また、ｙ_iは、ｉ件目の教師データを表し、従っ
て、Ｅ［ｙ_i］は、ｉ件目の教師データの予測値を表
す。

【０００９】そして、この観測方程式に最小自乗法を適
用して、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求め
ることを考える。この場合、教師データとなる原画素の
真の画素値（真値）ｙの集合でなる行列Ｙ、および原画
素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合で
なる行列Ｅを、

【００１０】

【数２】 で定義すると、式（２）から、次のような残差方程式が
成立する。

【００１１】 ＸＷ＝Ｙ＋Ｅ・・・（３） この場合、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求
めるための予測係数ｗ _iは、自乗誤差

【００１２】

【数３】 を最小にすることで求めることができる。

【００１３】従って、上述の自乗誤差を予測係数ｗ_iで
微分したものが０になる場合、即ち、次式を満たす予測
係数ｗ_iが、原画素の画素値ｙに近い予測値Ｅ［ｙ］を
求めるため最適値ということになる。

【００１４】

【数４】 ・・・（４） そこで、まず、式（３）を、予測係数ｗ_iで微分するこ
とにより、次式が成立する。

【００１５】

【数５】 ・・・（５） 式（４）および（５）より、式（６）が得られる。

【００１６】

【数６】 ・・・（６） さらに、式（３）の残差方程式における生徒データｘ、
予測係数ｗ、教師データｙ、および残差ｅの関係を考慮
すると、式（６）から、次のような正規方程式を得るこ
とができる。

【００１７】

【数７】 ・・・（７） 式（７）の正規方程式を構成する各式は、生徒データｘ
および教師データｙを、ある程度の数だけ用意すること
で、求めるべき予測係数ｗの数と同じ数だけたてること
ができ、従って、式（７）を解くことで（但し、式
（７）を解くには、式（７）において、予測係数ｗにか
かる係数で構成される行列が正則である必要がある）、
最適な予測係数ｗを求めることができる。なお、式
（７）を解くにあたっては、例えば、掃き出し法（Gaus
s-Jordanの消去法）などを用いることが可能である。

【００１８】以上のようにして、最適な予測係数ｗを求
めておき、さらに、その予測係数ｗを用い、式（１）に
より、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求める
のが適応処理である。

【００１９】なお、適応処理は、入力画像には含まれて
いないが、原画像に含まれる成分が再現される点で、例
えば、単なる補間処理とは異なる。即ち、適応処理で
は、式（１）だけを見る限りは、いわゆる補間フィルタ
を用いての補間処理と同一であるが、その補間フィルタ
のタップ係数に相当する予測係数ｗが、教師データｙを
用いての、いわば学習により求められるため、原画像に
含まれる成分を再現することができる。このことから、
適応処理は、いわば画像の創造（解像度想像）作用があ
る処理ということができ、上述したように、入力画像か
らノイズやぼけを除去した原画像の予測値を求める他、
例えば、低解像度または標準解像度の画像を、高解像度
の画像に変換するような場合にも用いることができる。

【００２０】

【発明が解決しようとする課題】上述したように、クラ
ス分類適応処理では、各クラスごとに適応処理が施され
るが、その前段で行われるクラス分類では、予測値を求
めようとする原画素（原画素は、学習時以外において
は、実際に存在するわけではないため、ここでは、想定
することになる）に注目し、その注目画素の位置の周辺
にある複数の入力画素が抽出され、その性質（例えば、
その複数の入力画素の画素値のパターンや、画素値の傾
斜等）に基づいて、注目画素がクラス分けされる。そし
て、このクラス分類に用いられる複数の入力画素として
は、注目画素から見て、固定の位置にある入力画素が抽
出される。

【００２１】しかしながら、クラス分類適応処理によっ
て、例えば、ぼけのある入力画像を、そのぼけを改善し
た画像に変換する場合等において、その入力画像のぼけ
の度合いに関係なく、注目画素から見て、固定の位置に
ある入力画素を、注目画素のクラス分類に用いたので
は、その注目画素の性質を十分に反映したクラス分けが
困難となることがある。

【００２２】即ち、例えば、ぼけ度（ぼけの度合い）の
小さい入力画像を対象にクラス分類適応処理を行う場合
においては、注目画素から見て、比較的近い位置にある
入力画素を用いてクラス分類を行う方が、注目画素の性
質を十分に反映したクラス分けを行うことができる。ま
た、ぼけ度の大きい入力画像を対象にクラス分類適応処
理を行う場合においては、注目画素から見て、比較的遠
い位置にある入力画素を用いてクラス分類を行う方が、
その性質を十分に反映したクラス分けを行うことができ
る。

【００２３】さらに、例えば、注目画素の位置の周辺部
分の入力画像が平坦なものである場合には、ある程度の
変化が見られる入力画像の広い範囲にある入力画素を用
いてクラス分類を行う方が、注目画素の性質を十分に反
映したクラス分けを行うことができる。

【００２４】従って、注目画素から見て、固定の位置に
ある入力画素を、注目画素のクラス分類に用いたので
は、その注目画素の性質を十分に反映したクラス分けが
できず、その結果、クラス分類適応処理の処理性能が劣
化すること、即ち、クラス分類処理によって、入力画像
を十分に改善した画像が得られないことがある。

【００２５】また、適応処理でも、注目画素から見て、
固定の位置にある入力画素を用いて、式（１）の線形予
測式が演算され、注目画素の予測値が求められるが、こ
の場合も、クラス分類における場合と同様に、必要に応
じて、注目画素から見て、可変の位置にある入力画素を
用いて、式（１）の線形予測式を演算した方が、注目画
素に対する予測誤差の小さい予測値が求められることが
予想される。

【００２６】本発明は、このような状況に鑑みてなされ
たものであり、例えば、クラス分類適応処理等の処理性
能を向上させることができるようにするものである。

【００２７】

【課題を解決するための手段】本発明の第１のデータ処
理装置は、入力データの波形特性に基づいて、入力デー
タから抽出する複数のデータを決定する決定手段と、決
定手段における決定にしたがい、予測値を求めようとす
る出力データである注目出力データについて、複数のデ
ータを、入力データから抽出する抽出手段と、抽出手段
において抽出された複数のデータに基づいて、注目出力
データの予測値を求める予測手段とを含むことを特徴と
する。

【００２８】第１のデータ処理装置には、抽出手段にお
いて抽出された複数のデータに基づき、注目出力データ
についてクラス分類を行い、対応するクラスコードを出
力するクラス分類手段をさらに設けることができ、この
場合、予測手段には、クラスコードに対応する所定の予
測係数を用いて、注目出力データの予測値を求めさせる
ことができる。

【００２９】また、予測手段には、予測係数を用いて、
注目出力データを、線形一次予測させることができる。
さらに、予測手段には、予測係数と、抽出手段において
抽出された複数のデータとを用いて、注目出力データ
を、線形一次予測させることができる。

【００３０】第１のデータ処理装置には、クラスコード
ごとに、予測係数を記憶している予測係数記憶手段をさ
らに設けることができる。

【００３１】決定手段には、入力データの極値を検出さ
せ、その検出結果に基づいて、入力データから抽出する
複数のデータを決定させることができる。また、決定手
段には、入力データどうしの差分値を演算させ、その演
算結果に基づいて、入力データから抽出する複数のデー
タを決定させることができる。さらに、決定手段には、
入力データを近似する関数に対する入力データの誤差を
演算させ、その演算結果に基づいて、入力データから抽
出する複数のデータを決定させることができる。

【００３２】入力データおよび出力データは、画像デー
タとすることができる。さらに、この場合、抽出手段に
は、入力データとしての画像データから、注目出力デー
タとしての画素に対して、空間的または時間的に周辺に
ある画素を抽出させることができる。

【００３３】本発明の第１のデータ処理方法は、入力デ
ータの波形特性に基づいて、入力データから抽出する複
数のデータを決定する決定ステップと、決定ステップに
おける決定にしたがい、予測値を求めようとする出力デ
ータである注目出力データについて、複数のデータを、
入力データから抽出する抽出ステップと、抽出ステップ
において抽出された複数のデータに基づいて、注目出力
データの予測値を求める予測ステップとを含むことを特
徴とする。

【００３４】本発明の第１の媒体がコンピュータに実行
させるプログラムは、入力データの波形特性に基づい
て、入力データから抽出する複数のデータを決定する決
定ステップと、決定ステップにおける決定にしたがい、
予測値を求めようとする出力データである注目出力デー
タについて、複数のデータを、入力データから抽出する
抽出ステップと、抽出ステップにおいて抽出された複数
のデータに基づいて、注目出力データの予測値を求める
予測ステップとを含むことを特徴とする。

【００３５】本発明の第２のデータ処理装置は、予測係
数の学習のための教師となる教師データから、生徒とな
る生徒データを生成する生成手段と、生徒データの波形
特性に基づいて、生徒データから抽出する複数のデータ
を決定する決定手段と、決定手段における決定にしたが
い、予測値を求めようとする教師データである注目教師
データについて、複数のデータを、生徒データから抽出
する抽出手段と、抽出手段において抽出された複数のデ
ータに基づいて、予測係数を求める演算手段とを含むこ
とを特徴とする。

【００３６】第２のデータ処理装置には、抽出手段にお
いて抽出された複数のデータに基づき、注目教師データ
についてクラス分類を行い、対応するクラスコードを出
力するクラス分類手段をさらに設けることができ、この
場合、演算手段には、抽出手段において抽出された複数
のデータを用いて、クラスコードごとに、予測係数を求
めさせることができる。

【００３７】演算手段には、線形一次予測によって、教
師データが得られるようにするための予測係数を求めさ
せることができる。また、演算手段には、抽出手段にお
いて抽出された複数のデータを用いての線形一次予測に
よって、教師データが得られるようにするための予測係
数を求めさせることができる。

【００３８】決定手段には、生徒データの極値を検出さ
せ、その検出結果に基づいて、生徒データから抽出する
複数のデータを決定させることができる。また、決定手
段には、生徒データどうしの差分値を演算させ、その演
算結果に基づいて、生徒データから抽出する複数のデー
タを決定させることができる。さらに、決定手段には、
生徒データを近似する関数に対する生徒データの誤差を
演算させ、その演算結果に基づいて、生徒データから抽
出する複数のデータを決定させることができる。

【００３９】生徒データおよび教師データは、画像デー
タとすることができる。この場合、抽出手段には、生徒
データとしての画像データから、注目教師データとして
の画素に対して、空間的または時間的に周辺にある画素
を抽出させることができる。

【００４０】本発明の第２のデータ処理方法は、予測係
数の学習のための教師となる教師データから、生徒とな
る生徒データを生成する生成ステップと、生徒データの
波形特性に基づいて、生徒データから抽出する複数のデ
ータを決定する決定ステップと、決定ステップにおける
決定にしたがい、予測値を求めようとする教師データで
ある注目教師データについて、複数のデータを、生徒デ
ータから抽出する抽出ステップと、抽出ステップにおい
て抽出された複数のデータに基づいて、予測係数を求め
る演算ステップとを含むことを特徴とする。

【００４１】本発明の第２の媒体がコンピュータに実行
させるプログラムは、予測係数の学習のための教師とな
る教師データから、生徒となる生徒データを生成する生
成ステップと、生徒データの波形特性に基づいて、生徒
データから抽出する複数のデータを決定する決定ステッ
プと、決定ステップにおける決定にしたがい、予測値を
求めようとする教師データである注目教師データについ
て、複数のデータを、生徒データから抽出する抽出ステ
ップと、抽出ステップにおいて抽出された複数のデータ
に基づいて、予測係数を求める演算ステップとを含むこ
とを特徴とする。

【００４２】本発明の第３のデータ処理装置は、入力デ
ータの波形特性に基づいて、入力データから抽出する複
数のデータを決定する第１の決定手段と、第１の決定手
段における決定にしたがい、予測値を求めようとする出
力データである注目出力データについて、第１の複数の
データを、入力データから抽出する第１の抽出手段と、
第１の抽出手段において抽出された第１の複数のデータ
に基づいて、注目出力データの予測値を求める予測手段
と、予測係数の学習のための教師となる教師データか
ら、生徒となる生徒データを生成する生成手段と、生徒
データの波形特性に基づいて、生徒データから抽出する
複数のデータを決定する第２の決定手段と、第２の決定
手段における決定にしたがい、予測値を求めようとする
教師データである注目教師データについて、第２の複数
のデータを、生徒データから抽出する第２の抽出手段
と、第２の抽出手段において抽出された複数のデータに
基づいて、予測係数を求める演算手段とを含むことを特
徴とする。

【００４３】本発明の第１のデータ処理装置およびデー
タ処理方法、並びに媒体においては、入力データの波形
特性に基づいて、入力データから抽出する複数のデータ
が決定され、その決定にしたがい、予測値を求めようと
する出力データである注目出力データについて、複数の
データが、入力データから抽出される。そして、その抽
出された複数のデータに基づいて、注目出力データの予
測値が求められる。

【００４４】本発明の第２のデータ処理装置およびデー
タ処理方法、並びに媒体においては、予測係数の学習の
ための教師となる教師データから、生徒となる生徒デー
タが生成され、その生徒データの波形特性に基づいて、
生徒データから抽出する複数のデータが決定される。そ
して、その決定にしたがい、予測値を求めようとする教
師データである注目教師データについて、複数のデータ
が、生徒データから抽出され、その抽出された複数のデ
ータに基づいて、予測係数が求められる。

【００４５】本発明の第３のデータ処理装置において
は、入力データの波形特性に基づいて、入力データから
抽出する複数のデータが決定され、その決定にしたが
い、予測値を求めようとする出力データである注目出力
データについて、第１の複数のデータが、入力データか
ら抽出される。そして、その抽出された第１の複数のデ
ータに基づいて、注目出力データの予測値が求められ
る。一方、予測係数の学習のための教師となる教師デー
タから、生徒となる生徒データが生成され、その生徒デ
ータの波形特性に基づいて、生徒データから抽出する複
数のデータが決定される。そして、その決定にしたが
い、予測値を求めようとする教師データである注目教師
データについて、第２の複数のデータが、生徒データか
ら抽出され、その抽出された複数のデータに基づいて、
予測係数が求められる。

【００４６】

【発明の実施の形態】図１は、本発明を適用した画像処
理装置の一実施の形態の構成例を示している。

【００４７】この画像処理装置においては、例えば、解
像度の低いＳＤ(Standard Density)画像が、入力画像と
して入力されると、その入力画像に対して、クラス分類
適応処理が施されることにより、高解像度の画像（ＨＤ
(High Density)画像）が出力されるようになっている。

【００４８】即ち、この画像処理装置は、フレームメモ
リ１、クラスタップ生成回路２、予測タップ生成回路
３、クラス分類回路４、係数RAM(Random Access Memor
y)５、予測演算回路６、およびタップ決定回路７から構
成され、そこには、解像度の改善を行う対象となる入力
画像（ＳＤ画像）が入力されるようになっている。

【００４９】フレームメモリ１は、画像処理装置に入力
される入力画像を、例えば、フレーム単位で一時記憶す
るようになされている。なお、本実施の形態では、フレ
ームメモリ１は、複数フレームの入力画像を、バンク切
換によって記憶することができるようになっており、こ
れにより、画像処理装置に入力される入力画像が動画で
あっても、その処理をリアルタイムで行うことができる
ようになっている。

【００５０】クラスタップ生成回路２は、クラス分類適
応処理により、予測値を求めようとする原画素（ここで
は、解像度の高いＨＤ画像の画素）を、注目画素とし
て、その注目画素についてのクラス分類に用いる入力画
素を、タップ決定回路７からのタップ情報にしたがい、
フレームメモリ１に記憶された入力画像から抽出し、こ
れを、クラスタップとして、クラス分類回路４に出力す
るようになっている。

【００５１】予測タップ生成回路３は、予測演算回路６
において注目画素の予測値を求めるのに用いる入力画素
を、タップ決定回路７からのタップ情報にしたがい、フ
レームメモリ１に記憶された入力画像から抽出し、これ
を予測タップとして、予測演算回路６に供給するように
なされている。

【００５２】クラス分類回路４は、クラスタップ生成回
路２からのクラスタップに基づいて、注目画素をクラス
分類し、その結果得られるクラスに対応するクラスコー
ドを、係数RAM５に対して、アドレスとして与えるよう
になされている。即ち、クラス分類回路４は、クラスタ
ップ生成回路２からのクラスタップを、例えば、１ビッ
トADRC(Adaptive Dynamic Range Coding)処理し、その
結果得られるADRCコードを、クラスコードとして、係数
RAM５に出力するようになっている。

【００５３】ここで、KビットADRC処理においては、例
えば、クラスタップを構成する入力画素の画素値の最大
値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局
所的なダイナミックレンジとし、このダイナミックレン
ジDRに基づいて、クラスタップを構成する入力画素がK
ビットに再量子化される。即ち、クラスタップを構成す
る画素の画素値の中から、最小値MINが減算され、その
減算値がDR/2^Kで除算（量子化）される。従って、クラ
スタップが、１ビットADRC処理された場合には、そのク
ラスタップを構成する各入力画素の画素値は１ビットと
されることになる。そして、この場合、以上のようにし
て得られる、クラスタップを構成する各画素についての
１ビットの画素値を、所定の順番で並べたビット列が、
ADRCコードとして出力される。

【００５４】係数RAM５は、後述する学習装置において
学習が行われることにより得られるクラスごとの予測係
数を記憶しており、クラス分類回路４からクラスコード
が供給されると、そのクラスコードに対応するアドレス
に記憶されている予測係数を読み出し、予測演算回路６
に供給するようになっている。

【００５５】予測演算回路６は、係数RAM５から供給さ
れる、注目画素のクラスについての予測係数ｗ，ｗ₂，
・・・と、予測タップ生成回路３からの予測タップ（を
構成する各画素の画素値）ｘ₁，ｘ₂，・・・とを用い
て、式（１）に示した演算を行うことにより、注目画素
ｙの予測値Ｅ［ｙ］を求め、これを、解像度を改善した
画素の画素値として出力するようになっている。

【００５６】タップ決定回路７は、フレームメモリ１に
記憶された入力画像の波形特性に基づいて、クラスタッ
プおよび予測タップを構成させる入力画素を決定し、そ
のクラスタップおよび予測タップを構成させる入力画素
に関する情報（以下、適宜、タップ情報という）を、ク
ラスタップ生成回路２および予測タップ生成回路３に供
給するようになっている。

【００５７】即ち、タップ決定回路７は、例えば、図２
に点線で囲んで示すように、注目画素の位置にある入力
画素を中心画素（ここでは、例えば、重心の位置にある
画素を意味する）として、例えば、横×縦が５×５画素
でなる正方形状のクラスタップおよび予測タップ（以
下、適宜、両者をまとめて、単に、タップという）を、
クラスタップ生成回路および予測タップ生成回路３に構
成させる基本的なタップ（以下、適宜、基本タップとい
う）として想定する。

【００５８】ここで、図２において、×印は、ＨＤ画像
を構成する画素（ＨＤ画素）を示しており、○印は、入
力画像としてのＳＤ画像を構成する画素（ＳＤ画素）を
示している。従って、図２では、ＳＤ画像は、ＨＤ画像
の横と縦それぞれの画素数を、１／２にしたものとなっ
ている。

【００５９】タップ決定回路７は、基本タップを想定す
ると、例えば、図３に示すように、その中心画素を始点
として、基本タップの他のＳＤ画素（入力画素）を通る
方向を検出する。ここで、基本タップが、上述したよう
に、５×５画素で構成されるときは、図３に示したよう
に、中心画素を始点とする１６の方向Ｄ₁乃至Ｄ₁₆が検
出されることになる。

【００６０】さらに、タップ決定回路７は、各方向Ｄ_i
（ここでは、ｉ＝１，２，・・・，１６）について、そ
の方向にあるＳＤ画素の波形特性（画素値の特性）に基
づいて、最終的にタップを構成させるＳＤ画素を決定す
る。即ち、各方向Ｄ_iについて、その方向にあるＳＤ画
像の波形特性に基づいて、図４に示すように、その方向
にあるタップを構成するＳＤ画素の位置が移動される。
そして、タップ決定回路７は、その移動の結果、最終的
にタップを構成することとなったＳＤ画素の位置に関す
る情報を、タップ情報として、クラスタップ生成回路２
および予測タップ生成回路３に供給する。

【００６１】次に、図５のフローチャートを参照して、
図１の画像処理装置において行われる、入力画像の解像
度を改善する解像度改善処理について説明する。

【００６２】フレームメモリ１には、解像度改善処理の
対象であるＳＤ画像（動画像）が、入力画像として、フ
レーム単位で順次供給され、フレームメモリ１では、そ
のようにフレーム単位で供給される入力画像が順次記憶
されていく。

【００６３】そして、予測値を求めようとする所定のＨ
Ｄ画素が注目画素とされ、ステップＳ１において、タッ
プ決定回路７は、フレームメモリ１に記憶された入力画
像の波形特性に基づいて、注目画素についてのタップを
構成させる入力画素を決定し、その入力画素の位置に関
するタップ情報を、クラスタップ生成回路２および予測
タップ生成回路３に出力する。

【００６４】クラスタップ生成回路２または予測タップ
生成回路３は、タップ決定回路７からタップ情報を受信
すると、ステップＳ２において、そのタップ情報にした
がい、予測値を求めようとする注目画素についてのクラ
スタップまたは予測タップを構成させる入力画素を、フ
レームメモリ１から読み出し、これによりクラスタップ
または予測タップをそれぞれ構成する。このクラスタッ
プまたは予測タップは、クラス分類回路４または予測演
算回路６にそれぞれ供給される。

【００６５】クラス分類回路４は、クラスタップ生成回
路２からクラスタップを受信すると、ステップＳ３にお
いて、そのクラスタップに基づき、注目画素についてク
ラス分類を行い、その結果得られるクラスコードを、係
数RAM５に対して、アドレスとして出力する。係数RAM５
は、ステップＳ４において、クラス分類回路４からのク
ラスコードに対応するアドレスに記憶されている予測係
数を読み出し、予測演算回路６に供給する。

【００６６】予測演算回路６では、ステップＳ５におい
て、予測タップ生成回路３からの予測タップと、係数RA
M５からの予測係数とを用いて、式（１）に示した線形
予測式の演算が行われることにより、注目画素（ＨＤ画
素）ｙの予測値Ｅ［ｙ］が求められ、ステップＳ６に進
む。ステップＳ６では、予測係数演算回路６が、ステッ
プＳ５で求めた注目画素ｙの予測値Ｅ［ｙ］を、解像度
を改善したＨＤ画素として出力し、ステップＳ７に進
む。

【００６７】ステップＳ７では、注目画素のフレームを
構成するすべてのＨＤ画素の予測値が求められたかどう
かが判定され、まだ求められていないと判定された場
合、ステップＳ１に戻り、まだ予測値の求められていな
いＨＤ画素を、新たに注目画素として、ステップＳ１以
降の処理が繰り返される。

【００６８】また、ステップＳ７において、注目画素の
フレームを構成するすべてのＨＤ画素の予測値が求めら
れたと判定された場合、ステップＳ８に進み、次に処理
すべきＨＤ画像のフレームに対応する入力画像（ＳＤ画
像）が、フレームメモリ１に記憶されているかどうかが
判定される。ステップＳ８において、次に処理すべきＨ
Ｄ画像のフレームに対応する入力画像が、フレームメモ
リ１に記憶されていると判定された場合、その、次に処
理すべきＨＤ画像のフレームの所定のＨＤ画素を、新た
に注目画素として、ステップＳ１に戻り、以下、同様の
処理が繰り返される。

【００６９】一方、ステップＳ８において、次に処理す
べきＨＤ画像のフレームに対応する入力画像が、フレー
ムメモリ１に記憶されていないと判定された場合、解像
度改善処理を終了する。

【００７０】次に、図６のフローチャートを参照して、
タップ決定回路７で行われる、図５のステップＳ１にお
けるタップ決定処理の第１の実施の形態について説明す
る。

【００７１】なお、以下、適宜、クラス分類や、式
（１）の線形予測式の演算に用いるＳＤ画素の集合全体
の他、その画素１つ１つも、タップという。

【００７２】タップ決定回路７では、ステップＳ１１に
おいて、基本タップが設定される。即ち、ステップＳ１
１では、図２に点線で囲んで示したように、注目画素の
位置にある入力画素を中心画素として、横×縦が５×５
画素でなるタップが、基本タップとして設定される。

【００７３】そして、ステップＳ１２に進み、図３に示
したように、中心画素を始点として、基本タップの他の
ＳＤ画素を通る１６の方向Ｄ₁乃至Ｄ₁₆が検出され、ス
テップＳ１３に進む。

【００７４】ステップＳ１３では、ステップＳ１２で検
出された１６の方向Ｄ₁乃至Ｄ₁₆を表す変数ｉが、例え
ば１に初期化され、ステップＳ１４に進み、各方向Ｄ_i
上の、タップを表す変数ｊが、例えば１に初期化され、
ステップＳ１５に進む。

【００７５】ステップＳ１５では、方向Ｄ_i上の、中心
画素からｊ番目にあるタップＴ_i,jとなっているＳＤ画
素（の画素値）が極値となっているかどうかが判定され
る。ステップＳ１５において、タップＴ_i,jとなってい
るＳＤ画素が極値となっていないと判定された場合、ス
テップＳ１６に進み、方向Ｄ_i上のタップＴ_i,jと、それ
より外側（中心画素側ではない方）のタップが、例え
ば、中心画素から１画素だけ離れた位置に移動される。
そして、ステップＳ１５に戻り、以下、同様の処理が繰
り返される。

【００７６】また、ステップＳ１５において、タップＴ
_i,jとなっているＳＤ画素が極値となっていると判定さ
れた場合、ステップＳ１７に進み、変数ｊが１だけイン
クリメントされ、ステップＳ１８に進む。ステップＳ１
８では、変数ｊが、方向Ｄ_i上にある、中心画素以外の
タップを構成する画素数Ｊ_i以下であるかどうかが判定
される。

【００７７】ここで、例えば、図３において、方向
Ｄ₁，Ｄ₃，Ｄ₅，・・・，Ｄ₁₅についてのＪ_iは２であ
り、方向Ｄ₂，Ｄ₄，Ｄ₆，・・・，Ｄ₁₆についてのＪ_iは
１である。

【００７８】ステップＳ１８において、変数ｊが、方向
Ｄ_i上にある、中心画素以外のタップを構成する画素数
Ｊ_i以下であると判定された場合、即ち、方向Ｄ_i上にあ
る、中心画素以外のタップを構成するＳＤ画素のすべて
が、まだ、極値をとっているものとされていない場合、
ステップＳ１５に戻り、その極値でないＳＤ画素の位置
にあるタップＴ_i,jを対象に、同様の処理が繰り返され
る。

【００７９】また、ステップＳ１８において、変数ｊ
が、方向Ｄ_i上にある、中心画素以外のタップを構成す
る画素数Ｊ_i以下でないと判定された場合、即ち、方向
Ｄ_i上にある、中心画素以外のタップを構成するＳＤ画
素のすべてが、極値をとっているものとされた場合、ス
テップＳ１９に進み、変数ｉが１だけインクリメントさ
れる。そして、ステップＳ２０に進み、変数ｉが、ステ
ップＳ１２で検出された方向の総数Ｉ（図３の実施の形
態では、１６）以下であるかどうかが判定される。

【００８０】ステップＳ２０において、変数ｉがＩ以下
であると判定された場合、即ち、ステップＳ１２で検出
されたすべての方向について、まだ、極値となっている
ＳＤ画素がタップとされていない場合、ステップＳ１４
に戻り、以下、同様の処理が繰り返される。

【００８１】一方、ステップＳ２０において、変数ｉが
Ｉ以下でないと判定された場合、即ち、ステップＳ１２
で検出されたすべての方向について、極値となっている
ＳＤ画素がタップとされた場合、ステップＳ２１に進
み、いま、タップを構成しているＳＤ画素の位置に関す
る情報が、タップ情報として、クラスタップ生成回路２
および予測タップ生成回路３に出力され、リターンす
る。

【００８２】以上のようなタップ決定処理の第１の実施
の形態によれば、クラスタップ生成回路２および予測タ
ップ生成回路３において、例えば、図７に示すようなタ
ップが構成されることになる。

【００８３】即ち、図７（後述する図９および図１１に
おいても同様）は、図３に示した１６の方向のうちの、
例えば、方向Ｄ₁に注目し、その方向Ｄ₁と、それと１８
０度反対の方向Ｄ₉にあるＳＤ画素を示している。

【００８４】なお、図７（図９および図１１においても
同様）では、タップを構成する中心画素の位置をｎで表
し、さらに、その位置ｎからｍ画素（ｍは正の整数）だ
け、Ｄ₁の方向にある画素の位置をｎ−ｍで表すととも
に、位置ｎからｍ画素だけ、Ｄ₉の方向にある画素の位
置をｎ＋ｍで表している。

【００８５】また、図７（図９および図１１においても
同様）において、×印は、ＳＤ画素（の画素値）を示し
ており、○印は、タップ（となっているＳＤ画素）を示
している。

【００８６】図７（Ａ）は、基本タップを示しており、
従って、中心画素となっているＳＤ画素に対して、方向
Ｄ₁については、その方向に隣接する２つのＳＤ画素
が、また、方向Ｄ₉についても、その方向に隣接する２
つのＳＤ画素が、タップとなっている。

【００８７】図７（Ｂ）は、図７（Ａ）の基本タップか
ら、図６のタップ決定処理によって構成されるタップを
示しており、中心画素となっているＳＤ画素に対して、
方向Ｄ₁については、その方向に沿って最初に現れる極
大値となっているＳＤ画素と、極小値となっているＳＤ
画素がタップとなっており、また、方向Ｄ₉について
も、その方向に沿って最初に表される極小値となってい
るＳＤ画素と、極大値となっているＳＤ画素がタップと
なっている。

【００８８】次に、図８のフローチャートを参照して、
タップ決定回路７で行われる、図５のステップＳ１にお
けるタップ決定処理の第２の実施の形態について説明す
る。

【００８９】タップ決定回路７では、ステップＳ３１ま
たはＳ３２において、図６のステップＳ１１またはＳ１
２における場合とそれぞれ同様の処理が行われ、これに
より、基本タップの設定と、中心画素を始点とする、基
本タップの他のＳＤ画素を通る１６の方向Ｄ₁乃至Ｄ₁₆
の検出が行われる。

【００９０】そして、ステップＳ３３に進み、図６のス
テップＳ１３における場合と同様に、ステップＳ３２で
検出された方向を表す変数ｉが、例えば１に初期化さ
れ、ステップＳ３４に進み、方向Ｄ_i上にあるタップと
なっているＳＤ画素のダイナミックレンジＤＲ_iが演算
される。即ち、ステップＳ３４では、方向Ｄ_i上にある
タップとなっているＳＤ画素すべて（中心画素を含む）
の中から最大値と最小値（最大の画素値と最小の画素
値）が検出され、その最大値と最小値との差分が、ダイ
ナミックレンジＤＲ_iとして求められる。

【００９１】ダイナミックレンジＤＲ_iの算出後は、ス
テップＳ３５に進み、そのダイナミックレンジＤＲ
_iが、あらかじめ設定された閾値ｔｈより大であるかど
うかが判定される。ステップＳ３５において、ダイナミ
ックレンジＤＲ_iが閾値ｔｈ以下であると判定された場
合、即ち、方向Ｄ_i上にあるタップとなっているＳＤ画
素どうしの間に、それほど大きな変化がなく、従って、
方向Ｄ_i上のタップに、定常性が認められる場合、ステ
ップＳ３６に進み、方向Ｄ_i上のタップどうしの間隔
が、例えば、１画素分だけ拡がるように、中心画素を除
く、タップを構成するＳＤ画素が変更される。そして、
ステップＳ３４に進み、以下、同様の処理が繰り返され
る。

【００９２】また、ステップＳ３５において、ダイナミ
ックレンジＤＲ_iが閾値ｔｈより大であると判定された
場合、即ち、方向Ｄ_i上にあるタップとなっているＳＤ
画素どうしの間に、比較的大きな変化があり、従って、
方向Ｄ_i上のタップに、定常性がないと認められる場
合、ステップＳ３７に進み、変数ｉが１だけインクリメ
ントされる。そして、ステップＳ３８に進み、変数ｉ
が、ステップＳ３２で検出された方向の総数Ｉ以下であ
るかどうかが判定される。

【００９３】ステップＳ３８において、変数ｉがＩ以下
であると判定された場合、即ち、ステップＳ３２で検出
されたすべての方向について、まだ、ダイナミックレン
ジが閾値ｔｈより大となるＳＤ画素がタップとされてい
ない場合、ステップＳ３４に戻り、以下、同様の処理が
繰り返される。

【００９４】一方、ステップＳ３８において、変数ｉが
Ｉ以下でないと判定された場合、即ち、ステップＳ３２
で検出されたすべての方向について、ダイナミックレン
ジが閾値ｔｈより大となるＳＤ画素がタップとされた場
合、ステップＳ３９に進み、いま、タップを構成してい
るＳＤ画素の位置に関する情報が、タップ情報として、
クラスタップ生成回路２および予測タップ生成回路３に
出力され、リターンする。

【００９５】以上のようなタップ決定処理の第２の実施
の形態によれば、クラスタップ生成回路２および予測タ
ップ生成回路３において、例えば、図９に示すようなタ
ップが構成されることになる。

【００９６】即ち、図９（Ａ）は、図７（Ａ）と同様
に、基本タップを示しており、従って、中心画素となっ
ているＳＤ画素に対して、方向Ｄ₁については、その方
向に隣接する２つのＳＤ画素が、また、方向Ｄ₉につい
ても、その方向に隣接する２つのＳＤ画素が、タップと
なっている。

【００９７】図９（Ｂ）は、図９（Ａ）の基本タップか
ら、図８のタップ決定処理によって構成されるタップを
示しており、方向Ｄ₁およびＤ₉のいずれについても、そ
のダイナミックレンジＤＲ₁およびＤＲ₉を閾値ｔｈより
大とするようなＳＤ画素がタップとなっている。

【００９８】なお、図８および図９の実施の形態では、
方向Ｄ_i上にあるタップとなっているＳＤ画素のうちの
最大値と最小値との差分であるダイナミックレンジＤＲ
_iが閾値ｔｈより大となるように、タップとなるＳＤ画
素どうしの間隔を拡げるようにしたが、その他、例え
ば、方向Ｄ_i上にあるタップとなっているＳＤ画素の隣
接するものどうしの差分が閾値ｔｈより大となるよう
に、タップとなるＳＤ画素どうしの間隔を拡げるように
すること等も可能である。

【００９９】次に、図１０のフローチャートを参照し
て、タップ決定回路７で行われる、図５のステップＳ１
におけるタップ決定処理の第３の実施の形態について説
明する。

【０１００】タップ決定回路７では、ステップＳ４１乃
至Ｓ４３において、図６のステップＳ１１乃至Ｓ１３に
おける場合とそれぞれ同様の処理が行われる。これによ
り、基本タップの設定、中心画素を始点とする、基本タ
ップの他のＳＤ画素を通る１６の方向Ｄ₁乃至Ｄ₁₆の検
出、およびその検出された方向を表す変数ｉの初期化が
行われる。

【０１０１】そして、ステップＳ４４に進み、方向Ｄ_i
上にある基本タップとなっているＳＤ画素（の画素値）
を近似する関数としての、例えば、直線（以下、適宜、
近似直線という）Ｌ_iが求められ、ステップＳ４５に進
む。ステップＳ４５では、方向Ｄ_i上のタップとなって
いるＳＤ画素（中心画素を含む）それぞれの、近似直線
Ｌ_iに対する誤差（例えば、自乗誤差）が求められ、さ
らに、その誤差の積算値が求められる。そして、ステッ
プＳ４６に進み、その誤差の積算値が、所定の閾値より
大であるかどうかが判定される。

【０１０２】ステップＳ４６において、誤差の積算値が
所定の閾値より大でないと判定された場合、即ち、方向
Ｄ_i上にあるタップとなっているＳＤ画素どうしの間
に、それほど大きな変化がなく、定常性が認められる場
合、ステップＳ４７に進み、方向Ｄ_i上の、中心画素以
外のタップすべてが、その方向Ｄ_iに沿って（外側
に）、例えば、１画素分だけ移動される。そして、ステ
ップＳ４５に進み、以下、同様の処理が繰り返される。

【０１０３】また、ステップＳ４６において、誤差の積
算値が所定の閾値より大であると判定された場合、即
ち、方向Ｄ_i上にあるタップとなっているＳＤ画素どう
しの間に、比較的大きな変化があり、定常性が認められ
ない場合、ステップＳ４８に進み、変数ｉが１だけイン
クリメントされる。そして、ステップＳ４９に進み、変
数ｉが、ステップＳ４２で検出された方向の総数Ｉ以下
であるかどうかが判定される。

【０１０４】ステップＳ４９において、変数ｉがＩ以下
であると判定された場合、即ち、ステップＳ４２で検出
されたすべての方向について、まだ、誤差の積算値が所
定の閾値より大となるＳＤ画素がタップとされていない
場合、ステップＳ４４に戻り、以下、同様の処理が繰り
返される。

【０１０５】一方、ステップＳ４９において、変数ｉが
Ｉ以下でないと判定された場合、即ち、ステップＳ４２
で検出されたすべての方向について、誤差の積算値が所
定の閾値より大となるＳＤ画素がタップとされた場合、
ステップＳ５０に進み、いまタップを構成しているＳＤ
画素の位置に関する情報が、タップ情報として、クラス
タップ生成回路２および予測タップ生成回路３に出力さ
れ、リターンする。

【０１０６】以上のようなタップ決定処理の第３の実施
の形態によれば、クラスタップ生成回路２および予測タ
ップ生成回路３において、例えば、図１１に示すような
タップが構成されることになる。

【０１０７】即ち、図１１（Ａ）は、図７（Ａ）と同様
に、基本タップを示しており、従って、中心画素となっ
ているＳＤ画素に対して、方向Ｄ₁については、その方
向に隣接する２つのＳＤ画素が、また、方向Ｄ₉につい
ても、その方向に隣接する２つのＳＤ画素が、タップと
なっている。

【０１０８】図１１（Ｂ）は、図１１（Ａ）の基本タッ
プから、図１０のタップ決定処理によって構成されるタ
ップを示しており、方向Ｄ₁およびＤ₉のいずれについて
も、その近似直線Ｌ₁およびＬ₉に対する誤差の積算値を
所定の閾値より大とするようなＳＤ画素がタップとなっ
ている。

【０１０９】なお、図１０および図１１の実施の形態で
は、方向Ｄ_i上にある、基本タップとなっているＳＤ画
素を近似する直線Ｌ_iに対する、タップを構成するＳＤ
画素の誤差の積算値に基づいて、タップを構成させるＳ
Ｄ画素を決定するようにしたが、その他、例えば、誤差
の分散等に基づいて、タップを構成させるＳＤ画素を決
定するようにすることも可能である。

【０１１０】また、図１０の実施の形態では、ステップ
Ｓ４７において、方向Ｄ_i上の、中心画素以外のタップ
すべてを、その方向Ｄ_iに沿って、例えば、１画素分だ
け移動するようにしたが、ステップＳ４７では、その
他、例えば、方向Ｄ_i上のタップどうしの間隔を、例え
ば１画素分拡げるように、タップを移動するようにして
も良い。

【０１１１】さらに、図１０および図１１の実施の形態
では、方向Ｄ_i上にある、基本タップとなっているＳＤ
画素を近似する関数として、直線を求め、その直線に対
する誤差に基づいて、タップを決定するようにしたが、
その他、例えば、２以上の方向にある、基本タップとな
っているＳＤ画素を近似する関数である平面や曲面を求
め、その平面や曲面に対する誤差に基づいて、タップを
決定するようにすることも可能である。

【０１１２】次に、図１２は、図１の係数RAM５に記憶
させるクラスごとの予測係数を求める学習装置の一実施
の形態の構成例を示している。

【０１１３】フレームメモリ６１には、教師データｙと
なる原画像（ここでは、解像度の高いＨＤ画像）が、例
えば、フレーム単位で供給されるようになっており、フ
レームメモリ６１は、その原画像を、一時記憶するよう
になっている。間引き回路６２は、フレームメモリ６１
に記憶された、予測係数の学習において教師データｙと
なる原画像を読み出し、その原画像を構成する画素数を
間引くことにより、生徒データとしての、解像度の低い
ＳＤ画像を生成するようになっている。印３、間引き回
路６２は、例えば、図２に×印で示したＨＤ画像の、横
と縦の画素数を、それぞれ１／２に間引くことにより、
同じく図２に○印で示すＳＤ画素を生成するようになっ
ている。このＳＤ画像は、フレームメモリ６３に供給さ
れるようになっている。

【０１１４】フレームメモリ６３は、間引き回路６２か
らのＳＤ画像を一時記憶するようになっている。なお、
フレームメモリ６１および６３は、図１のフレームメモ
リ１と同様に構成されている。

【０１１５】クラスタップ生成回路６４または予測タッ
プ生成回路６５は、フレームメモリ６３に記憶されたＳ
Ｄ画像を構成するＳＤ画素を用い、図１のクラスタップ
生成回路２または予測タップ生成回路３と同様に、タッ
プ決定回路７２からのタップ情報にしたがって、注目画
素となっている教師データについて、クラスタップまた
は予測タップを構成し、クラス分類回路６６または加算
回路６７にそれぞれ供給するようになっている。なお、
予測タップは、加算回路６７にも供給されるようになっ
ている。

【０１１６】クラス分類回路６６は、図１のクラス分類
回路４と同様に構成され、クラスタップ生成回路６４か
らのクラスタップに基づいて、注目画素をクラス分類
し、対応するクラスコードを、予測タップメモリ６８お
よび教師データメモリ７０に対して、アドレスとして与
えるようになっている。

【０１１７】加算回路６７は、クラス分類回路６６が出
力するクラスコードに対応するアドレスの記憶値を、予
測タップメモリ６８から読み出し、その記憶値と、予測
タップ生成回路６５からの予測タップを構成するＳＤ画
素（の画素値）とを加算することで、式（７）の正規方
程式の左辺における、予測係数ｗの乗数となっているサ
メーション（Σ）に相当する演算を行う。そして、加算
回路６７は、その演算結果を、クラス分類回路６６が出
力するクラスコードに対応するアドレスに、上書きする
形で記憶させるようになっている。

【０１１８】予測タップメモリ６８は、クラス分類回路
６６が出力するクラスに対応するアドレスの記憶値を読
み出し、加算回路６７に供給するとともに、そのアドレ
スに、加算回路６７の出力値を記憶するようになってい
る。

【０１１９】加算回路６９は、フレームメモリ６１に記
憶された原画像を構成する原画素のうちの、注目画素
を、教師データｙとして読み出すとともに、クラス分類
回路６６が出力するクラスコードに対応するアドレスの
記憶値を、教師データメモリ７０から読み出し、その記
憶値と、フレームメモリ６１から読み出した教師データ
（原画素）ｙとを加算することで、式（７）の正規方程
式の右辺におけるサメーション（Σ）に相当する演算を
行う。そして、加算回路６９は、その演算結果を、クラ
ス分類回路６６が出力するクラスコードに対応するアド
レスに、上書きする形で記憶させるようになっている。

【０１２０】なお、加算回路６７および６９では、式
（７）における乗算も行われる。即ち、加算器６７で
は、予測タップを構成するＳＤ画素ｘどうしの乗算も行
われ、また、加算器６９では、予測タップを構成するＳ
Ｄ画素ｘと、教師データｙとの乗算も行われる。従っ
て、加算器６９では、予測タップを構成するＳＤ画素ｘ
が必要となるが、これは、上述のように、予測タップ生
成回路６５から供給されるようになっている。

【０１２１】教師データメモリ７０は、クラス分類回路
６６が出力するクラスコードに対応するアドレスの記憶
値を読み出し、加算回路６９に供給するとともに、その
アドレスに、加算回路６９の出力値を記憶するようにな
っている。

【０１２２】演算回路７１は、予測タップメモリ６８ま
たは教師データメモリ７０それぞれから、各クラスコー
ドに対応するアドレスに記憶されている記憶値を順次読
み出し、式（７）に示した正規方程式をたてて、これを
解くことにより、クラスごとの予測係数を求めるように
なっている。即ち、演算回路７１は、予測タップメモリ
６８または教師データメモリ７０それぞれの、各クラス
コードに対応するアドレスに記憶されている記憶値か
ら、式（７）の正規方程式をたて、これを解くことによ
り、クラスごとの予測係数を求めるようになっている。

【０１２３】タップ決定回路７２は、図１のタップ決定
回路７と同様のタップ決定処理を行うことで、クラスタ
ップ生成回路６４および予測タップ生成回路６５に生成
させるタップに関するタップ情報を決定し、クラスタッ
プ生成回路６４および予測タップ生成回路６５に供給す
るようになっている。

【０１２４】次に、図１３のフローチャートを参照し
て、図１２の学習装置において行われる、クラスごとの
予測係数を求める学習処理について説明する。

【０１２５】学習装置には、教師データとなる原画像
（動画像）としてのＨＤ画像が、フレーム単位で供給さ
れるようになっており、そのＨＤ画像は、フレームメモ
リ６１において順次記憶されていく。そして、フレーム
メモリ６１に記憶された原画像としてのＨＤ画像は、ス
テップＳ６１において、間引き回路６２に供給され、そ
こで、ＳＤ画像とされる。このＳＤ画像は、生徒データ
として、間引き回路６２からフレームメモリ６３に供給
されて記憶される。

【０１２６】そして、タップ決定回路７２は、フレーム
メモリ６３に記憶されたＳＤ画像のフレームに対応する
ＨＤ画像のフレームの所定のＨＤ画素を注目画素とし、
ステップＳ６２において、図１のタップ決定回路７にお
ける場合と同様にして、その注目画素についてのタップ
を構成させるＳＤ画素を決定し、そのＳＤ画素に関する
タップ情報を、クラスタップ生成回路６４および予測タ
ップ生成回路６５に出力する。

【０１２７】クラスタップ生成回路６４または予測タッ
プ生成回路６５では、ステップＳ６３において、タップ
決定回路７２からのタップ情報にしたがい、注目画素に
ついてのクラスタップまたは予測タップを構成させるＳ
Ｄ画素が、フレームメモリ６３から読み出され、クラス
タップまたは予測タップがそれぞれ構成される。そし
て、クラスタップは、クラス分類回路６６に供給され、
予測タップは、加算回路６７および６９に供給される。

【０１２８】クラス分類回路６６では、ステップＳ６４
において、図１のクラス分類回路４における場合と同様
にして、クラスタップ生成回路６４からのクラスタップ
を用いて、注目画素がクラス分類され、そのクラス分類
結果としてのクラスコードが、予測タップメモリ６８お
よび教師データメモリ７０に対して、アドレスとして与
えられる。

【０１２９】そして、ステップＳ６５に進み、予測タッ
プ（生徒データ）、教師データの足し込みが行われる。

【０１３０】即ち、ステップＳ６５では、予測タップメ
モリ６８は、クラス分類回路６６が出力するクラスコー
ドに対応するアドレスの記憶値を読み出し、加算回路６
７に供給する。加算回路６７は、予測タップメモリ６８
から供給される記憶値と、予測タップ生成回路６５から
供給されるの予測タップを構成するＳＤ画素とを用い
て、式（７）の正規方程式の左辺における、予測係数の
乗数となっているサメーション（Σ）に相当する演算を
行う。そして、加算回路６７は、その演算結果を、クラ
ス分類回路６６が出力するクラスコードに対応する、予
測タップメモリ６８のアドレスに、上書きする形で記憶
させる。

【０１３１】さらに、ステップＳ６５では、教師データ
メモリ７０は、クラス分類回路６６が出力するクラスコ
ードに対応するアドレスの記憶値を読み出し、加算回路
６９に供給する。加算回路６９は、フレームメモリ６１
から、注目画素を読み出し、その読み出した注目画素と
なっているＨＤ画素、予測タップ、および教師データメ
モリ７０から供給された記憶値を用いて、式（７）の正
規方程式の右辺におけるサメーション（Σ）に相当する
演算を行う。そして、加算回路６９は、その演算結果
を、クラス分類回路６６が出力するクラスコードに対応
する、教師データメモリ７０のアドレスに、上書きする
形で記憶させる。

【０１３２】その後、ステップＳ６６に進み、注目画素
のフレームを構成するすべてのＨＤ画素を、注目画素と
して処理を行ったか否かが判定され、まだ行っていない
と判定された場合、ステップＳ６２に戻り、まだ注目画
素としていないＨＤ画素を、新たに注目画素として、以
下、同様の処理が繰り返される。

【０１３３】また、ステップＳ６６において、注目画素
のフレームを構成するすべてのＨＤ画素を、注目画素と
して処理を行ったと判定された場合、ステップＳ６７に
進み、次に処理すべきＨＤ画像のフレームが、フレーム
メモリ６１に記憶されているかどうかが判定される。ス
テップＳ６７において、次に処理すべきＨＤ画像のフレ
ームが、フレームメモリ６１に記憶されていると判定さ
れた場合、ステップＳ６１に戻り、その、次に処理すべ
きＨＤ画像のフレームを対象に、同様の処理が繰り返さ
れる。

【０１３４】また、ステップＳ６７において、次に処理
すべきＨＤ画像のフレームが、フレームメモリ６１に記
憶されていないと判定された場合、即ち、あらかじめ学
習用に用意しておいたすべてのＨＤ画像を用いて処理を
行った場合、ステップＳ６８に進み、演算回路７１は、
予測タップメモリ６８または教師データメモリ７０それ
ぞれから、各クラスコードに対応するアドレスに記憶さ
れている記憶値を順次読み出し、式（７）に示した正規
方程式をたてて、これを解くことにより、クラスごとの
予測係数を求める。さらに、演算回路７１は、ステップ
Ｓ６９において、その求めたクラスごとの予測係数を出
力して、学習処理を終了する。

【０１３５】なお、以上のような予測係数の学習処理に
おいて、予測係数を求めるのに必要な数の正規方程式が
得られないクラスが生じる場合があり得るが、そのよう
なクラスについては、例えば、デフォルトの予測係数を
出力するようにすること等が可能である。

【０１３６】以上のように、タップを構成するＳＤ画素
の波形特性に基づいて、そのタップを構成させるＳＤ画
素を決定するようにしたので、例えば、注目画素の性質
を十分に反映したクラス分けを行うためのクラスタップ
や、予測値の予測誤差を小さくする予測タップの構成が
可能となり、その結果、クラス分類適応処理の処理性能
を向上させることができる。

【０１３７】次に、上述した一連の処理は、ハードウェ
アにより行うこともできるし、ソフトウェアにより行う
こともできる。一連の処理をソフトウェアによって行う
場合には、そのソフトウェアを構成するプログラムが、
専用のハードウェアとしての画素処理装置や学習装置に
組み込まれているコンピュータ、または各種のプログラ
ムをインストールすることで各種の処理を行う汎用のコ
ンピュータ等にインストールされる。

【０１３８】そこで、図１４を参照して、上述した一連
の処理を実行するプログラムをコンピュータにインスト
ールし、コンピュータによって実行可能な状態とするた
めに用いられる媒体について説明する。

【０１３９】プログラムは、図１４（Ａ）に示すよう
に、コンピュータ１０１に内蔵されている記録媒体とし
てのハードディスク１０２や半導体メモリ１０３に予め
インストールした状態でユーザに提供することができ
る。

【０１４０】あるいはまた、プログラムは、図１４
（Ｂ）に示すように、フロッピーディスク１１１、CD-R
OM(Compact Disc Read Only Memory)１１２，MO(Magnet
o optical)ディスク１１３，DVD(Digital Versatile Di
sc)１１４、磁気ディスク１１５、半導体メモリ１１６
などの記録媒体に、一時的あるいは永続的に格納し、パ
ッケージソフトウエアとして提供することができる。

【０１４１】さらに、プログラムは、図１４（Ｃ）に示
すように、ダウンロードサイト１２１から、ディジタル
衛星放送用の人工衛星１２２を介して、コンピュータ１
０１に無線で転送したり、LAN(Local Area Network)、
インターネットといったネットワーク１３１を介して、
コンピュータ１２３に有線で転送し、コンピュータ１０
１において、内蔵するハードディスク１０２などに格納
させるようにすることができる。

【０１４２】本明細書における媒体とは、これら全ての
媒体を含む広義の概念を意味するものである。

【０１４３】また、本明細書において、媒体により提供
されるプログラムを記述するステップは、必ずしもフロ
ーチャートとして記載された順序に沿って時系列に処理
する必要はなく、並列的あるいは個別に実行される処理
（例えば、並列処理あるいはオブジェクトによる処理）
も含むものである。

【０１４４】次に、図１５は、図１４のコンピュータ１
０１の構成例を示している。

【０１４５】コンピュータ１０１は、図１５に示すよう
に、CPU(Central Processing Unit)１４２を内蔵してい
る。CPU１４２には、バス１４１を介して、入出力イン
タフェース１４５が接続されており、CPU１４２は、入
出力インタフェース１４５を介して、ユーザによって、
キーボードやマウス等で構成される入力部１４７が操作
されることにより指令が入力されると、それにしたがっ
て、図１４（Ａ）の半導体メモリ１０３に対応するROM
(Read Only Memory)１４３に格納されているプログラム
を実行する。あるいは、また、CPU１４２は、ハードデ
ィスク１０２に格納されているプログラム、衛星１２２
若しくはネットワーク１３１から転送され、通信部１４
８で受信されてハードディスク１０２にインストールさ
れたプログラム、またはドライブ１４９に装着されたフ
ロッピディスク１１１、CD-ROM１１２、MOディスク１１
３、DVD１１４、若しくは磁気ディスク１１５から読み
出されてハードディスク１０２にインストールされたプ
ログラムを、RAM(Random Access Memory)１４４にロー
ドして実行する。そして、CPU１４２は、その処理結果
を、例えば、入出力インタフェース１４５を介して、LC
D(Liquid CryStal Display)等で構成される表示部１４
６に、必要に応じて出力する。

【０１４６】なお、クラス分類適用処理は、教師データ
と生徒データとを用いて、クラスごとに予測係数を求め
る学習を行い、その予測係数と入力データとを用いた線
形一次予測により、入力データから、教師データの予測
値を求めるものであるから、学習に用いる教師データお
よび生徒データによって、所望の予測値を求めるための
予測係数を得ることが可能となる。即ち、例えば、教師
データとして、ぼけのない画像を用いるとともに、生徒
データとして、その画像にぼけを付加した画像を用いる
ことで、ぼけを改善する予測係数を得ることができる。
また、例えば、教師データとして、ノイズを含まない画
像を用いるとともに、生徒データとして、その画像にノ
イズを付加した画像を用いることで、ノイズの除去を行
う予測係数を得ることができる。従って、本発明は、上
述したような解像度を向上させる場合の他、ノイズを除
去する場合や、ぼけを改善する場合、その他、例えば波
形等化を行う場合等に適用可能である。

【０１４７】また、本実施の形態では、動画像を、クラ
ス分類適用処理の対象としたが、動画像の他、静止画、
さらには、音声や、記録媒体から再生された信号（RF(R
adioFrequency)信号）等を対象とすることも可能であ
る。

【０１４８】さらに、本実施の形態では、クラスタップ
および予測タップは、同一のタップ情報にしたがって構
成されることから、同一の画素で構成されることになる
が、クラスタップと予測タップとは、異なる構成とする
こと、即ち、異なるタップ情報にしたがって構成するこ
とも可能である。

【０１４９】また、本実施の形態では、クラスタップお
よび予測タップのいずれも、タップ情報にしたがい、注
目画素から見て可変の位置のＳＤ画素で構成するように
したが、クラスタップまたは予測タップのうちのいずれ
か一方は、注目画素から見て固定の位置のＳＤ画素で構
成することが可能である。

【０１５０】さらに、本実施の形態では、タップを構成
しているＳＤ画素が極値かどうかや、そのダイナミック
レンジ、近似直線等に対する誤差に基づいて、タップを
構成させるＳＤ画素を決定するようにしたが、それら以
外の、タップを構成しているＳＤ画素の波形上の特徴
（波形特性）に基づいて、タップを構成させるＳＤ画素
を決定することが可能である。

【０１５１】また、本実施の形態では、中心画素を始点
とする各方向ごとに、タップを構成させるＳＤ画素を決
定するようにしたが、タップを構成させる画素は、必ず
しも、そのような方向ごとに決定する必要はない。

【０１５２】さらに、本実施の形態では、画像処理装置
と、その画像処理装置で用いるクラスごとの予測係数を
学習する学習装置とを、別々の装置として構成するよう
にしたが、これらの画像処理装置と学習装置とは一体的
に構成することも可能である。そして、この場合、学習
装置には、リアルタイムで学習を行わせ、画像処理装置
で用いる予測係数を、リアルタイムで更新させるように
することが可能である。

【０１５３】また、本実施の形態では、係数RAM５に、
あらかじめクラスごとの予測係数を記憶させておくよう
にしたが、この予測係数は、例えば、入力画像（ＳＤ画
像）とともに、画像処理装置に供給するようにすること
も可能である。

【０１５４】さらに、クラスタップおよび予測タップ
は、空間方向および時間方向のいずれの方向にある画素
を用いて構成することも可能である。

【０１５５】なお、学習処理では、上述したように、予
測タップを用いて、式（７）のサメーション（Σ）に相
当する足し込みが行われるが、注目画素から見て異なる
位置のＳＤ画素で構成される予測タップを用いた足し込
みは、それらの予測タップの、対応する画素どうしを対
象に行われる。

【０１５６】即ち、図３に示したように、基本タップ
を、中心画素を中心とする５×５画素の２５画素で構成
するとすると、本実施の形態では、図３に示した１６の
方向Ｄ ₁乃至Ｄ₁₆それぞれの上にある任意の画素で、予
測タップが構成される。従って、ある予測タップと、他
の予測タップとは、中心画素から見て異なる位置にある
画素で構成されるが、この場合、例えば、ある予測タッ
プにおいて、方向Ｄ₁の、中心画素から１番目にあるタ
ップとしての画素は、他の予測タップにおいて、方向Ｄ
₁の、中心画素から１番目にあるタップとしての画素と
足し込まれる。

【０１５７】さらに、クラス分類も、同様の観点から行
われる。即ち、例えば、あるクラスタップを構成する各
方向のタップとしての各画素（の画素値）が、他のクラ
スタップを構成する、対応する方向の、中心画素から対
応する順番にあるタップとしての画素それぞれに等しい
場合は、その２つのクラスタップそれぞれを用いたクラ
ス分類結果は、同一になる（同一のクラスにクラス分類
される）。

【０１５８】

【発明の効果】以上の如く、本発明の第１のデータ処理
装置およびデータ処理方法、並びに媒体によれば、入力
データの波形特性に基づいて、入力データから抽出する
複数のデータが決定され、その決定にしたがい、予測値
を求めようとする出力データである注目出力データにつ
いて、複数のデータが、入力データから抽出される。そ
して、その抽出された複数のデータに基づいて、注目出
力データの予測値が求められる。従って、注目出力デー
タに近い予測値を求めることが可能となる。

【０１５９】本発明の第２のデータ処理装置およびデー
タ処理方法、並びに媒体によれば、予測係数の学習のた
めの教師となる教師データから、生徒となる生徒データ
が生成され、その生徒データの波形特性に基づいて、生
徒データから抽出する複数のデータが決定される。そし
て、その決定にしたがい、予測値を求めようとする教師
データである注目教師データについて、複数のデータ
が、生徒データから抽出され、その抽出された複数のデ
ータに基づいて、予測係数が求められる。従って、教師
データに近い予測値を求めることが可能な予測係数を得
ることが可能となる。

【０１６０】本発明の第３のデータ処理装置によれば、
入力データの波形特性に基づいて、入力データから抽出
する複数のデータが決定され、その決定にしたがい、予
測値を求めようとする出力データである注目出力データ
について、第１の複数のデータが、入力データから抽出
される。そして、その抽出された第１の複数のデータに
基づいて、注目出力データの予測値が求められる。一
方、予測係数の学習のための教師となる教師データか
ら、生徒となる生徒データが生成され、その生徒データ
の波形特性に基づいて、生徒データから抽出する複数の
データが決定される。そして、その決定にしたがい、予
測値を求めようとする教師データである注目教師データ
について、第２の複数のデータが、生徒データから抽出
され、その抽出された複数のデータに基づいて、予測係
数が求められる。従って、その予測係数を用いること
で、注目出力データに近い予測値を求めることが可能と
なる。

【図面の簡単な説明】

【図１】本発明を適用した画像処理装置の一実施の形態
の構成例を示すブロック図である。

【図２】基本タップを示す図である。

【図３】図１のタップ決定回路７の処理を説明するため
の図である。

【図４】図１のタップ決定回路７の処理を説明するため
の図である。

【図５】図１の画像処理装置による解像度改善処理を説
明するためのフローチャートである。

【図６】図５のステップＳ１における第１のタップ決定
処理を説明するためのフローチャートである。

【図７】図５のステップＳ１における第１のタップ決定
処理を説明するための図である。

【図８】図５のステップＳ１における第２のタップ決定
処理を説明するためのフローチャートである。

【図９】図５のステップＳ１における第２のタップ決定
処理を説明するための図である。

【図１０】図５のステップＳ１における第３のタップ決
定処理を説明するためのフローチャートである。

【図１１】図５のステップＳ１における第３のタップ決
定処理を説明するための図である。

【図１２】本発明を適用した学習装置の一実施の形態の
構成例を示すブロック図である。

【図１３】図１２の学習装置による学習処理を説明する
ためのフローチャートである。

【図１４】本発明を適用した媒体を説明するための図で
ある。

【図１５】図１４のコンピュータ１０１の構成例を示す
ブロック図である。

【符号の説明】

１ フレームメモリ， ２ クラスタップ生成回路，
３ 予測タップ生成回路， ４ クラス分類回路， ５
係数RAM， ６ 予測演算回路， ７ タップ決定回
路， ６１ フレームメモリ， ６２ 間引き回路，
６３ フレームメモリ， ６４ クラスタップ生成回
路， ６５ 予測タップ生成回路， ６６クラス分類回
路， ６７ 加算回路， ６８ 予測タップメモリ，
６９ 加算回路， ７０ 教師データメモリ， ７１
演算回路， ７２ タップ決定回路， １０１ コンピ
ュータ， １０２ ハードディスク， １０３ 半導体
メモリ， １１１ フロッピーディスク， １１２ CD
-ROM， １１３ MOディスク， １１４ DVD， １１
５ 磁気ディスク， １１６ 半導体メモリ， １２１
ダウンロードサイト， １２２ 衛星， １３１ ネ
ットワーク， １４１ バス， １４２ CPU， １４
３ ROM， １４４ RAM， １４５ 入出力インタフェ
ース， １４６ 表示部， １４７ 入力部， １４８
通信部，１４９ ドライブ

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 BA28 CA19 CE09 CG03 CH08 CH11 DC07 DC09 5C021 PA53 PA56 PA66 PA67 PA72 PA76 PA79 RB00 RB05 RB08 XB07 YA01 YB04 YC08 ZA11

Claims (24)

【特許請求の範囲】
1. 【請求項１】 入力データを処理して、その入力データ
   に対する出力データを予測するデータ処理装置であっ
   て、 前記入力データの波形特性に基づいて、前記入力データ
   から抽出する複数のデータを決定する決定手段と、 前記決定手段における決定にしたがい、予測値を求めよ
   うとする前記出力データである注目出力データについ
   て、複数のデータを、前記入力データから抽出する抽出
   手段と、 前記抽出手段において抽出された複数のデータに基づい
   て、前記注目出力データの予測値を求める予測手段とを
   含むことを特徴とするデータ処理装置。
2. 【請求項２】 前記抽出手段において抽出された複数の
   データに基づき、前記注目出力データについてクラス分
   類を行い、対応するクラスコードを出力するクラス分類
   手段をさらに含み、 前記予測手段は、前記クラスコードに対応する所定の予
   測係数を用いて、前記注目出力データの予測値を求める
   ことを特徴とする請求項１に記載のデータ処理装置。
3. 【請求項３】 前記予測手段は、前記予測係数を用い
   て、前記注目出力データを、線形一次予測することを特
   徴とする請求項２に記載のデータ処理装置。
4. 【請求項４】 前記予測手段は、前記予測係数と、前記
   抽出手段において抽出された複数のデータとを用いて、
   前記注目出力データを、線形一次予測することを特徴と
   する請求項３に記載のデータ処理装置。
5. 【請求項５】 前記クラスコードごとに、前記予測係数
   を記憶している予測係数記憶手段をさらに含むことを特
   徴とする請求項２に記載のデータ処理装置。
6. 【請求項６】 前記決定手段は、前記入力データの極値
   を検出し、その検出結果に基づいて、前記入力データか
   ら抽出する複数のデータを決定することを特徴とする請
   求項１に記載のデータ処理装置。
7. 【請求項７】 前記決定手段は、前記入力データどうし
   の差分値を演算し、その演算結果に基づいて、前記入力
   データから抽出する複数のデータを決定することを特徴
   とする請求項１に記載のデータ処理装置。
8. 【請求項８】 前記決定手段は、前記入力データを近似
   する関数に対する前記入力データの誤差を演算し、その
   演算結果に基づいて、前記入力データから抽出する複数
   のデータを決定することを特徴とする請求項１に記載の
   データ処理装置。
9. 【請求項９】 前記入力データおよび出力データは、画
   像データであることを特徴とする請求項１に記載のデー
   タ処理装置。
10. 【請求項１０】 前記抽出手段は、前記入力データとし
    ての画像データから、前記注目出力データとしての画素
    に対して、空間的または時間的に周辺にある画素を抽出
    することを特徴とする請求項９に記載のデータ処理装
    置。
11. 【請求項１１】 入力データを処理して、その入力デー
    タに対する出力データを予測するデータ処理方法であっ
    て、 前記入力データの波形特性に基づいて、前記入力データ
    から抽出する複数のデータを決定する決定ステップと、 前記決定ステップにおける決定にしたがい、予測値を求
    めようとする前記出力データである注目出力データにつ
    いて、複数のデータを、前記入力データから抽出する抽
    出ステップと、 前記抽出ステップにおいて抽出された複数のデータに基
    づいて、前記注目出力データの予測値を求める予測ステ
    ップとを含むことを特徴とするデータ処理方法。
12. 【請求項１２】 入力データを処理して、その入力デー
    タに対する出力データを予測するデータ処理を行うため
    のプログラムを、コンピュータに実行させる媒体であっ
    て、 前記入力データの波形特性に基づいて、前記入力データ
    から抽出する複数のデータを決定する決定ステップと、 前記決定ステップにおける決定にしたがい、予測値を求
    めようとする前記出力データである注目出力データにつ
    いて、複数のデータを、前記入力データから抽出する抽
    出ステップと、 前記抽出ステップにおいて抽出された複数のデータに基
    づいて、前記注目出力データの予測値を求める予測ステ
    ップとを含むことを特徴とするプログラムを、前記コン
    ピュータに実行させる媒体。
13. 【請求項１３】 入力データを処理し、その入力データ
    に対する出力データを予測するのに用いる予測係数を学
    習するデータ処理装置であって、 前記予測係数の学習のための教師となる教師データか
    ら、生徒となる生徒データを生成する生成手段と、 前記生徒データの波形特性に基づいて、前記生徒データ
    から抽出する複数のデータを決定する決定手段と、 前記決定手段における決定にしたがい、予測値を求めよ
    うとする前記教師データである注目教師データについ
    て、複数のデータを、前記生徒データから抽出する抽出
    手段と、 前記抽出手段において抽出された複数のデータに基づい
    て、前記予測係数を求める演算手段とを含むことを特徴
    とするデータ処理装置。
14. 【請求項１４】 前記抽出手段において抽出された複数
    のデータに基づき、前記注目教師データについてクラス
    分類を行い、対応するクラスコードを出力するクラス分
    類手段をさらに含み、 前記演算手段は、前記抽出手段において抽出された複数
    のデータを用いて、前記クラスコードごとに、前記予測
    係数を求めるを含むことを特徴とする請求項１３に記載
    のデータ処理装置。
15. 【請求項１５】 前記演算手段は、線形一次予測によっ
    て、前記教師データが得られるようにするための前記予
    測係数を求めることを特徴とする請求項１３に記載のデ
    ータ処理装置。
16. 【請求項１６】 前記演算手段は、前記抽出手段におい
    て抽出された複数のデータを用いての線形一次予測によ
    って、前記教師データが得られるようにするための前記
    予測係数を求めることを特徴とする請求項１５に記載の
    データ処理装置。
17. 【請求項１７】 前記決定手段は、前記生徒データの極
    値を検出し、その検出結果に基づいて、前記生徒データ
    から抽出する複数のデータを決定することを特徴とする
    請求項１３に記載のデータ処理装置。
18. 【請求項１８】 前記決定手段は、前記生徒データどう
    しの差分値を演算し、その演算結果に基づいて、前記生
    徒データから抽出する複数のデータを決定することを特
    徴とする請求項１３に記載のデータ処理装置。
19. 【請求項１９】 前記決定手段は、前記生徒データを近
    似する関数に対する前記生徒データの誤差を演算し、そ
    の演算結果に基づいて、前記生徒データから抽出する複
    数のデータを決定することを特徴とする請求項１３に記
    載のデータ処理装置。
20. 【請求項２０】 前記生徒データおよび教師データは、
    画像データであることを特徴とする請求項１３に記載の
    データ処理装置。
21. 【請求項２１】 前記抽出手段は、前記生徒データとし
    ての画像データから、前記注目教師データとしての画素
    に対して、空間的または時間的に周辺にある画素を抽出
    することを特徴とする請求項２０に記載のデータ処理装
    置。
22. 【請求項２２】 入力データを処理し、その入力データ
    に対する出力データを予測するのに用いる予測係数を学
    習するデータ処理方法であって、 前記予測係数の学習のための教師となる教師データか
    ら、生徒となる生徒データを生成する生成ステップと、 前記生徒データの波形特性に基づいて、前記生徒データ
    から抽出する複数のデータを決定する決定ステップと、 前記決定ステップにおける決定にしたがい、予測値を求
    めようとする前記教師データである注目教師データにつ
    いて、複数のデータを、前記生徒データから抽出する抽
    出ステップと、 前記抽出ステップにおいて抽出された複数のデータに基
    づいて、前記予測係数を求める演算ステップとを含むこ
    とを特徴とするデータ処理方法。
23. 【請求項２３】 入力データを処理し、その入力データ
    に対する出力データを予測するのに用いる予測係数を学
    習するデータ処理を行うためのプログラムを、コンピュ
    ータに実行させる媒体であって、 前記予測係数の学習のための教師となる教師データか
    ら、生徒となる生徒データを生成する生成ステップと、 前記生徒データの波形特性に基づいて、前記生徒データ
    から抽出する複数のデータを決定する決定ステップと、 前記決定ステップにおける決定にしたがい、予測値を求
    めようとする前記教師データである注目教師データにつ
    いて、複数のデータを、前記生徒データから抽出する抽
    出ステップと、 前記抽出ステップにおいて抽出された複数のデータに基
    づいて、前記予測係数を求める演算ステップとを含むこ
    とを特徴とするプログラムを、前記コンピュータに実行
    させる媒体。
24. 【請求項２４】 入力データを処理して、その入力デー
    タに対する出力データを予測する第１の装置と、 前記出力データを予測するのに用いる予測係数を学習す
    る第２の装置とを備えるデータ処理装置であって、 前記第１の装置は、 前記入力データの波形特性に基づいて、前記入力データ
    から抽出する複数のデータを決定する第１の決定手段
    と、 前記第１の決定手段における決定にしたがい、予測値を
    求めようとする前記出力データである注目出力データに
    ついて、第１の複数のデータを、前記入力データから抽
    出する第１の抽出手段と、 前記第１の抽出手段において抽出された第１の複数のデ
    ータに基づいて、前記注目出力データの予測値を求める
    予測手段とを含み、 前記第２の装置は、 前記予測係数の学習のための教師となる教師データか
    ら、生徒となる生徒データを生成する生成手段と、 前記生徒データの波形特性に基づいて、前記生徒データ
    から抽出する複数のデータを決定する第２の決定手段
    と、 前記第２の決定手段における決定にしたがい、予測値を
    求めようとする前記教師データである注目教師データに
    ついて、第２の複数のデータを、前記生徒データから抽
    出する第２の抽出手段と、 前記第２の抽出手段において抽出された複数のデータに
    基づいて、前記予測係数を求める演算手段とを含むこと
    を特徴とするデータ処理装置。