JP2003319348A - データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 - Google Patents

データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体

Info

Publication number
JP2003319348A
JP2003319348A JP2002125628A JP2002125628A JP2003319348A JP 2003319348 A JP2003319348 A JP 2003319348A JP 2002125628 A JP2002125628 A JP 2002125628A JP 2002125628 A JP2002125628 A JP 2002125628A JP 2003319348 A JP2003319348 A JP 2003319348A
Authority
JP
Japan
Prior art keywords
data
tap
learning
class
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002125628A
Other languages
English (en)
Other versions
JP4238516B2 (ja
Inventor
Tetsujiro Kondo
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002125628A priority Critical patent/JP4238516B2/ja
Priority to KR1020037016846A priority patent/KR100968987B1/ko
Priority to CNB038007746A priority patent/CN1306807C/zh
Priority to EP03717683A priority patent/EP1501296A1/en
Priority to US10/482,136 priority patent/US7679675B2/en
Priority to PCT/JP2003/005080 priority patent/WO2003092284A1/ja
Publication of JP2003319348A publication Critical patent/JP2003319348A/ja
Application granted granted Critical
Publication of JP4238516B2 publication Critical patent/JP4238516B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4023—Decimation- or insertion-based scaling, e.g. pixel or line decimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Abstract

(57)【要約】 【課題】 画像を、より画質の良い画像に変換する。 【解決手段】 クラスタップ生成回路２と予測タップ生
成回路３は、ＨＤ画像の注目ブロックのＨＤ画素をクラ
ス分類するのに用いるクラスタップと、注目ブロックの
ＨＤ画素を求めるのに用いる予測タップを、ＳＤ画像か
ら生成し、クラス分類回路４は、クラスタップに基づい
て、注目ブロックのＨＤ画素をクラス分類する。係数RA
M７は、学習の教師となる教師データと、学習の生徒と
なる生徒データとの関係を、教師データに所定の拘束条
件を与えて、１以上のクラスごとに学習することにより
得られたタップ係数から、注目ブロックのＨＤ画素のク
ラスのタップ係数を取得し、予測演算回路８と復号回路
９は、そのタップ係数と、予測タップとを用いて、注目
ブロックのＨＤ画素を求める。本発明は、例えば、テレ
ビジョン受像機に適用できる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、データ変換装置お
よびデータ変換方法、学習装置および学習方法、並びに
プログラムおよび記録媒体に関し、特に、例えば、画像
データを、より高画質の画像データに変換すること等が
できるようにするデータ変換装置およびデータ変換方
法、学習装置および学習方法、並びにプログラムおよび
記録媒体に関する。
【０００２】
【従来の技術】本件出願人は、例えば、画像の画質等の
向上その他の画像の変換を行うデータ変換処理として、
クラス分類適応処理を、先に提案している。
【０００３】クラス分類適応処理は、クラス分類処理と
適応処理とからなり、クラス分類処理によって、データ
を、その性質に基づいてクラス分けし、各クラスごとに
適応処理を施すものであり、適応処理とは、以下のよう
な手法の処理である。
【０００４】即ち、適応処理では、例えば、低画質また
は標準画質の画像（以下、適宜、ＳＤ(Standard Defini
tion)画像という）データが、所定のタップ係数を用い
てマッピング（写像）されることにより、高画質の画像
（以下、適宜、ＨＤ(High Definition)画像という）デ
ータに変換される。
【０００５】いま、このタップ係数を用いてのマッピン
グ方法として、例えば、線形１次結合モデルを採用する
こととすると、ＨＤ画像データを構成する画素（以下、
適宜、ＨＤ画素という）（の画素値）ｙは、ＳＤ画像デ
ータを構成する画素（以下、適宜、ＳＤ画素という）か
ら、ＨＤ画素を予測するための予測タップとして抽出さ
れる複数のＳＤ画素と、タップ係数とを用いて、次の線
形１次式（線形結合）によって求められる。
【０００６】
【数１】 ・・・（１）
【０００７】但し、式（１）において、ｘnは、ＨＤ画
素ｙについての予測タップを構成する、ｎ番目のＳＤ画
像データの画素の画素値を表し、ｗnは、ｎ番目のＳＤ
画素（の画素値）と乗算されるｎ番目のタップ係数を表
す。なお、式（１）では、予測タップが、Ｎ個のＳＤ画
素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてあ
る。
【０００８】ここで、ＨＤ画素の画素値ｙは、式（１）
に示した線形１次式ではなく、２次以上の高次の式によ
って求めるようにすることも可能である。
【０００９】いま、第ｋサンプルのＨＤ画素の画素値の
真値をｙkと表すとともに、式（１）によって得られる
その真値ｙkの予測値をｙk’と表すと、その予測誤差ｅ
kは、次式で表される。
【００１０】
【数２】 ・・・（２）
【００１１】式（２）の予測値ｙk’は、式（１）にし
たがって求められるため、式（２）のｙk’を、式
（１）にしたがって置き換えると、次式が得られる。
【００１２】
【数３】 ・・・（３）
【００１３】但し、式（３）において、ｘn,kは、第ｋ
サンプルのＨＤ画素についての予測タップを構成するｎ
番目のＳＤ画素を表す。
【００１４】式（３）の予測誤差ｅkを０とするタップ
係数ｗnが、ＨＤ画素を予測するのに最適なものとなる
が、すべてのＨＤ画素について、そのようなタップ係数
ｗnを求めることは、一般には困難である。
【００１５】そこで、タップ係数ｗnが最適なものであ
ることを表す規範として、例えば、最小自乗法を採用す
ることとすると、最適なタップ係数ｗnは、統計的な誤
差としての、例えば、次式で表される自乗誤差の総和Ｅ
を最小にすることで求めることができる。
【００１６】
【数４】 ・・・（４）
【００１７】但し、式（４）において、Ｋは、ＨＤ画素
ｙkと、そのＨＤ画素ｙkについての予測タップを構成す
るＳＤ画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットの
サンプル数を表す。
【００１８】式（４）の自乗誤差の総和Ｅを最小（極
小）にするタップ係数ｗnは、その総和Ｅをタップ係数
ｗnで偏微分したものを０とするものであり、従って、
次式を満たす必要がある。
【００１９】
【数５】 ・・・（５）
【００２０】そこで、上述の式（３）をタップ係数ｗn
で偏微分すると、次式が得られる。
【００２１】
【数６】 ・・・（６）
【００２２】式（５）と（６）から、次式が得られる。
【００２３】
【数７】 ・・・（７）
【００２４】式（７）のｅkに、式（３）を代入するこ
とにより、式（７）は、式（８）に示す正規方程式で表
すことができる。
【００２５】
【数８】 ・・・（８）
【００２６】式（８）の正規方程式は、ＨＤ画素ｙkと
ＳＤ画素ｘn,kのセットを、ある程度の数だけ用意する
ことで、求めるべきタップ係数ｗnの数と同じ数だけた
てることができ、従って、式（８）を解くことで（但
し、式（８）を解くには、式（８）において、タップ係
数ｗnにかかる左辺の行列が正則である必要がある）、
最適なタップ係数ｗnを求めることができる。なお、式
（８）を解くにあたっては、例えば、掃き出し法（Gaus
s-Jordanの消去法）などを採用することが可能である。
【００２７】以上のように、多数のＨＤ画素ｙ1，ｙ2，
・・・，ｙKを、タップ係数の学習の教師となる教師デ
ータとするとともに、各ＨＤ画素ｙkについての予測タ
ップを構成するＳＤ画素ｘ1,k，ｘ2,k，・・・，ｘN,k
を、タップ係数の学習の生徒となる生徒データとして、
式（８）を解くことにより、最適なタップ係数ｗnを求
める学習を行っておき、さらに、そのタップ係数ｗnを
用い、式（１）により、ＳＤ画像データを、ＨＤ画像デ
ータにマッピング（変換）するのが適応処理である。
【００２８】なお、適応処理は、ＳＤ画像には含まれて
いないが、ＨＤ画像に含まれる成分が再現される点で、
例えば、単なる補間処理等とは異なる。即ち、適応処理
では、式（１）だけを見る限りは、いわゆる補間フィル
タを用いての補間処理と同一であるが、その補間フィル
タのタップ係数に相当するタップ係数ｗnが、教師デー
タとしてのＨＤ画像データと生徒データとしてのＳＤ画
像データとを用いての学習により求められるため、ＨＤ
画像に含まれる成分を再現することができる。このこと
から、適応処理は、いわば画像の創造（解像度想像）作
用がある処理ということができる。
【００２９】ここで、タップ係数ｗnの学習では、教師
データｙと生徒データｘとの組み合わせとして、どのよ
うなものを採用するかによって、各種の変換を行うタッ
プ係数ｗnを求めることができる。
【００３０】即ち、例えば、教師データｙとして、ＨＤ
画像データを採用するとともに、生徒データｘとして、
そのＨＤ画像データにノイズやぼけを付加したＳＤ画像
データを採用した場合には、画像を、そのノイズやぼけ
を除去した画像に変換するタップ係数ｗnを得ることが
できる。また、例えば、教師データｙとして、ＨＤ画像
データを採用するとともに、生徒データｘとして、その
ＨＤ画像データの解像度を劣化させたＳＤ画像データを
採用した場合には、画像を、その解像度を向上させた画
像に変換するタップ係数ｗnを得ることができる。さら
に、例えば、教師データｙとして、画像データを採用す
るとともに、生徒データｘとして、その画像データをＤ
ＣＴ(Discrete Cosine Transform)変換したＤＣＴ係数
を採用した場合には、ＤＣＴ係数を画像データに変換す
るタップ係数ｗnを得ることができる。
【００３１】
【発明が解決しようとする課題】上述したように、クラ
ス分類適応処理においては、式（４）の自乗誤差の総和
Ｅを最小にするタップ係数ｗnがクラスごとに求めら
れ、そのタップ係数ｗnを用い、式（１）が演算される
ことにより、ＳＤ画像が、高画質のＨＤ画像に変換され
る。即ち、タップ係数ｗnと、ＳＤ画像から生成される
予測タップｘnとを用いて、式（１）が演算されること
により、ＨＤ画像を構成するＨＤ画素が求められる。
【００３２】従って、先に提案したクラス分類適応処理
によれば、個々のＨＤ画素に注目した場合には、各ＨＤ
画素について、真値に対する予測誤差を統計的に最小に
する画素値を求めることができる。
【００３３】即ち、いま、図１Ａに示すように、例え
ば、水平、垂直、または斜め方向に隣接する２つのＨＤ
画素ｙkとｙk+1を考えた場合に、ＨＤ画素ｙkについて
は、その真値ｙkに対する予測の誤差ｅkを統計的に最小
にする予測値ｙk’を得ることができ、また、ＨＤ画素
ｙk+1についても同様に、その真値ｙk+1に対する予測誤
差ｅk+1を統計的に最小にする予測値ｙk+1’を得ること
ができる。
【００３４】しかしながら、先に提案したクラス分類適
応処理では、例えば、図１Ａに示したような、真値が右
肩上がりになる２つのＨＤ画素ｙkとｙk+1の並びに関し
て、図１Ｂに示すように、ＨＤ画素ｙkについては、真
値より大きい予測値ｙk’が得られ、ＨＤ画素ｙk+1につ
いては、真値より小さい予測値ｙk+1’が得られること
があった。
【００３５】そして、この場合、ＨＤ画素ｙkの予測値
ｙk’と、ＨＤ画素ｙk+1の予測値ｙk +1’の並びが、図
１Ｂに示すように、右肩下がりになることがある。
【００３６】このように、真値の並びが右肩上がりであ
るのにも関わらず、右肩下がりの予測値の並びが得られ
る場合には、画素値の変化が真値の変化と逆になること
から、見た目の画質が劣化することがあった。
【００３７】本発明は、このような状況に鑑みてなされ
たものであり、例えば、画像データを、より高画質の画
像データに変換することができるようにするものであ
る。
【００３８】
【課題を解決するための手段】本発明の第１のデータ変
換装置は、注目している第２のデータのサンプルである
注目サンプルを１以上のクラスのうちのいずれかのクラ
スにクラス分けするクラス分類を行うのに用いるクラス
タップを、第１のデータから生成するクラスタップ生成
手段と、クラスタップに基づいて、注目サンプルをクラ
ス分類するクラス分類手段と、注目サンプルを求めるの
に用いる予測タップを、第１のデータから生成する予測
タップ生成手段と、学習の教師となる、第２のデータに
対応する教師データと、学習の生徒となる、第１のデー
タに対応する生徒データとの関係を、教師データに所定
の拘束条件を与えて、１以上のクラスごとに学習するこ
とにより得られたタップ係数から、注目サンプルのクラ
スのタップ係数を取得するタップ係数取得手段と、注目
サンプルのクラスのタップ係数と、予測タップとを用い
て、注目サンプルを求める演算手段とを備えることを特
徴とする。
【００３９】本発明の第１のデータ変換方法は、注目し
ている第２のデータのサンプルである注目サンプルを１
以上のクラスのうちのいずれかのクラスにクラス分けす
るクラス分類を行うのに用いるクラスタップを、第１の
データから生成するクラスタップ生成ステップと、クラ
スタップに基づいて、注目サンプルをクラス分類するク
ラス分類ステップと、注目サンプルを求めるのに用いる
予測タップを、第１のデータから生成する予測タップ生
成ステップと、学習の教師となる、第２のデータに対応
する教師データと、学習の生徒となる、第１のデータに
対応する生徒データとの関係を、教師データに所定の拘
束条件を与えて、１以上のクラスごとに学習することに
より得られたタップ係数から、注目サンプルのクラスの
タップ係数を取得するタップ係数取得ステップと、注目
サンプルのクラスのタップ係数と、予測タップとを用い
て、注目サンプルを求める演算ステップとを備えること
を特徴とする。
【００４０】本発明の第１のプログラムは、注目してい
る第２のデータのサンプルである注目サンプルを１以上
のクラスのうちのいずれかのクラスにクラス分けするク
ラス分類を行うのに用いるクラスタップを、第１のデー
タから生成するクラスタップ生成ステップと、クラスタ
ップに基づいて、注目サンプルをクラス分類するクラス
分類ステップと、注目サンプルを求めるのに用いる予測
タップを、第１のデータから生成する予測タップ生成ス
テップと、学習の教師となる、第２のデータに対応する
教師データと、学習の生徒となる、第１のデータに対応
する生徒データとの関係を、教師データに所定の拘束条
件を与えて、１以上のクラスごとに学習することにより
得られたタップ係数から、注目サンプルのクラスのタッ
プ係数を取得するタップ係数取得ステップと、注目サン
プルのクラスのタップ係数と、予測タップとを用いて、
注目サンプルを求める演算ステップとを備えることを特
徴とする。
【００４１】本発明の第１の記録媒体は、注目している
第２のデータのサンプルである注目サンプルを１以上の
クラスのうちのいずれかのクラスにクラス分けするクラ
ス分類を行うのに用いるクラスタップを、第１のデータ
から生成するクラスタップ生成ステップと、クラスタッ
プに基づいて、注目サンプルをクラス分類するクラス分
類ステップと、注目サンプルを求めるのに用いる予測タ
ップを、第１のデータから生成する予測タップ生成ステ
ップと、学習の教師となる、第２のデータに対応する教
師データと、学習の生徒となる、第１のデータに対応す
る生徒データとの関係を、教師データに所定の拘束条件
を与えて、１以上のクラスごとに学習することにより得
られたタップ係数から、注目サンプルのクラスのタップ
係数を取得するタップ係数取得ステップと、注目サンプ
ルのクラスのタップ係数と、予測タップとを用いて、注
目サンプルを求める演算ステップとを備えるプログラム
が記録されていることを特徴とする。
【００４２】本発明の第１の学習装置は、タップ係数の
学習の教師となる、第２のデータに対応する教師データ
のうちの注目している注目データを１以上のクラスのう
ちのいずれかのクラスにクラス分けするクラス分類を行
うのに用いるクラスタップを、学習の生徒となる、第１
のデータに対応する生徒データから生成するクラスタッ
プ生成手段と、クラスタップに基づいて、注目データを
クラス分類するクラス分類手段と、注目データを求める
のに用いる予測タップを、生徒データから生成する予測
タップ生成手段と、注目データと予測タップを用い、教
師データと生徒データとの関係を、教師データに所定の
拘束条件を与えて、１以上のクラスごとに学習すること
により、１以上のクラスごとのタップ係数を求める学習
手段とを備えることを特徴とする。
【００４３】本発明の第１の学習方法は、タップ係数の
学習の教師となる、第２のデータに対応する教師データ
のうちの注目している注目データを１以上のクラスのう
ちのいずれかのクラスにクラス分けするクラス分類を行
うのに用いるクラスタップを、学習の生徒となる、第１
のデータに対応する生徒データから生成するクラスタッ
プ生成ステップと、クラスタップに基づいて、注目デー
タをクラス分類するクラス分類ステップと、注目データ
を求めるのに用いる予測タップを、生徒データから生成
する予測タップ生成ステップと、注目データと予測タッ
プを用い、教師データと生徒データとの関係を、教師デ
ータに所定の拘束条件を与えて、１以上のクラスごとに
学習することにより、１以上のクラスごとのタップ係数
を求める学習ステップとを備えることを特徴とする。
【００４４】本発明の第２のプログラムは、タップ係数
の学習の教師となる、第２のデータに対応する教師デー
タのうちの注目している注目データを１以上のクラスの
うちのいずれかのクラスにクラス分けするクラス分類を
行うのに用いるクラスタップを、学習の生徒となる、第
１のデータに対応する生徒データから生成するクラスタ
ップ生成ステップと、クラスタップに基づいて、注目デ
ータをクラス分類するクラス分類ステップと、注目デー
タを求めるのに用いる予測タップを、生徒データから生
成する予測タップ生成ステップと、注目データと予測タ
ップを用い、教師データと生徒データとの関係を、教師
データに所定の拘束条件を与えて、１以上のクラスごと
に学習することにより、１以上のクラスごとのタップ係
数を求める学習ステップとを備えることを特徴とする。
【００４５】本発明の第２の記録媒体は、タップ係数の
学習の教師となる、第２のデータに対応する教師データ
のうちの注目している注目データを１以上のクラスのう
ちのいずれかのクラスにクラス分けするクラス分類を行
うのに用いるクラスタップを、学習の生徒となる、第１
のデータに対応する生徒データから生成するクラスタッ
プ生成ステップと、クラスタップに基づいて、注目デー
タをクラス分類するクラス分類ステップと、注目データ
を求めるのに用いる予測タップを、生徒データから生成
する予測タップ生成ステップと、注目データと予測タッ
プを用い、教師データと生徒データとの関係を、教師デ
ータに所定の拘束条件を与えて、１以上のクラスごとに
学習することにより、１以上のクラスごとのタップ係数
を求める学習ステップとを備えるプログラムが記録され
ていることを特徴とする。
【００４６】本発明の第２のデータ変換装置は、注目し
ている第２のデータのサンプルである注目サンプルを１
以上のクラスのうちのいずれかのクラスにクラス分けす
るクラス分類を行うのに用いるクラスタップを、第１の
データから生成するクラスタップ生成手段と、クラスタ
ップに基づいて、注目サンプルをクラス分類するクラス
分類手段と、注目サンプルを求めるのに用いる予測タッ
プを、第１のデータから生成する予測タップ生成手段
と、学習の教師となる、第２のデータに対応する教師デ
ータの複数サンプルから得られる特徴と、学習の生徒と
なる、第１のデータに対応する生徒データの複数サンプ
ルとの関係を、１以上のクラスごとに学習することによ
り得られたタップ係数から、注目サンプルのクラスのタ
ップ係数を取得するタップ係数取得手段と、注目サンプ
ルのクラスのタップ係数と、予測タップとを用いて、注
目サンプルを求める演算手段とを備えることを特徴とす
る。
【００４７】本発明の第２のデータ変換方法は、注目し
ている第２のデータのサンプルである注目サンプルを１
以上のクラスのうちのいずれかのクラスにクラス分けす
るクラス分類を行うのに用いるクラスタップを、第１の
データから生成するクラスタップ生成ステップと、クラ
スタップに基づいて、注目サンプルをクラス分類するク
ラス分類ステップと、注目サンプルを求めるのに用いる
予測タップを、第１のデータから生成する予測タップ生
成ステップと、学習の教師となる、第２のデータに対応
する教師データの複数サンプルから得られる特徴と、学
習の生徒となる、第１のデータに対応する生徒データの
複数サンプルとの関係を、１以上のクラスごとに学習す
ることにより得られたタップ係数から、注目サンプルの
クラスのタップ係数を取得するタップ係数取得ステップ
と、注目サンプルのクラスのタップ係数と、予測タップ
とを用いて、注目サンプルを求める演算ステップとを備
えることを特徴とする。
【００４８】本発明の第３のプログラムは、注目してい
る第２のデータのサンプルである注目サンプルを１以上
のクラスのうちのいずれかのクラスにクラス分けするク
ラス分類を行うのに用いるクラスタップを、第１のデー
タから生成するクラスタップ生成ステップと、クラスタ
ップに基づいて、注目サンプルをクラス分類するクラス
分類ステップと、注目サンプルを求めるのに用いる予測
タップを、第１のデータから生成する予測タップ生成ス
テップと、学習の教師となる、第２のデータに対応する
教師データの複数サンプルから得られる特徴と、学習の
生徒となる、第１のデータに対応する生徒データの複数
サンプルとの関係を、１以上のクラスごとに学習するこ
とにより得られたタップ係数から、注目サンプルのクラ
スのタップ係数を取得するタップ係数取得ステップと、
注目サンプルのクラスのタップ係数と、予測タップとを
用いて、注目サンプルを求める演算ステップとを備える
ことを特徴とする。
【００４９】本発明の第３の記録媒体は、注目している
第２のデータのサンプルである注目サンプルを１以上の
クラスのうちのいずれかのクラスにクラス分けするクラ
ス分類を行うのに用いるクラスタップを、第１のデータ
から生成するクラスタップ生成ステップと、クラスタッ
プに基づいて、注目サンプルをクラス分類するクラス分
類ステップと、注目サンプルを求めるのに用いる予測タ
ップを、第１のデータから生成する予測タップ生成ステ
ップと、学習の教師となる、第２のデータに対応する教
師データの複数サンプルから得られる特徴と、学習の生
徒となる、第１のデータに対応する生徒データの複数サ
ンプルとの関係を、１以上のクラスごとに学習すること
により得られたタップ係数から、注目サンプルのクラス
のタップ係数を取得するタップ係数取得ステップと、注
目サンプルのクラスのタップ係数と、予測タップとを用
いて、注目サンプルを求める演算ステップとを備えるプ
ログラムが記録されていることを特徴とする。
【００５０】本発明の第２の学習装置は、タップ係数の
学習の教師となる、第２のデータに対応する教師データ
のうちの注目している注目データを１以上のクラスのう
ちのいずれかのクラスにクラス分けするクラス分類を行
うのに用いるクラスタップを、学習の生徒となる、第１
のデータに対応する生徒データから生成するクラスタッ
プ生成手段と、クラスタップに基づいて、注目データを
クラス分類するクラス分類手段と、注目データを求める
のに用いる予測タップを、生徒データから生成する予測
タップ生成手段と、注目データと予測タップを用い、教
師データの複数サンプルから得られる特徴と生徒データ
の複数サンプルとの関係を、１以上のクラスごとに学習
することにより、１以上のクラスごとのタップ係数を求
める学習手段とを備えることを特徴とする。
【００５１】本発明の第２の学習方法は、タップ係数の
学習の教師となる、第２のデータに対応する教師データ
のうちの注目している注目データを１以上のクラスのう
ちのいずれかのクラスにクラス分けするクラス分類を行
うのに用いるクラスタップを、学習の生徒となる、第１
のデータに対応する生徒データから生成するクラスタッ
プ生成ステップと、クラスタップに基づいて、注目デー
タをクラス分類するクラス分類ステップと、注目データ
を求めるのに用いる予測タップを、生徒データから生成
する予測タップ生成ステップと、注目データと予測タッ
プを用い、教師データの複数サンプルから得られる特徴
と生徒データの複数サンプルとの関係を、１以上のクラ
スごとに学習することにより、１以上のクラスごとのタ
ップ係数を求める学習ステップとを備えることを特徴と
する。
【００５２】本発明の第４のプログラムは、タップ係数
の学習の教師となる、第２のデータに対応する教師デー
タのうちの注目している注目データを１以上のクラスの
うちのいずれかのクラスにクラス分けするクラス分類を
行うのに用いるクラスタップを、学習の生徒となる、第
１のデータに対応する生徒データから生成するクラスタ
ップ生成ステップと、クラスタップに基づいて、注目デ
ータをクラス分類するクラス分類ステップと、注目デー
タを求めるのに用いる予測タップを、生徒データから生
成する予測タップ生成ステップと、注目データと予測タ
ップを用い、教師データの複数サンプルから得られる特
徴と生徒データの複数サンプルとの関係を、１以上のク
ラスごとに学習することにより、１以上のクラスごとの
タップ係数を求める学習ステップとを備えることを特徴
とする。
【００５３】本発明の第４の記録媒体は、タップ係数の
学習の教師となる、第２のデータに対応する教師データ
のうちの注目している注目データを１以上のクラスのう
ちのいずれかのクラスにクラス分けするクラス分類を行
うのに用いるクラスタップを、学習の生徒となる、第１
のデータに対応する生徒データから生成するクラスタッ
プ生成ステップと、クラスタップに基づいて、注目デー
タをクラス分類するクラス分類ステップと、注目データ
を求めるのに用いる予測タップを、生徒データから生成
する予測タップ生成ステップと、注目データと予測タッ
プを用い、教師データの複数サンプルから得られる特徴
と生徒データの複数サンプルとの関係を、１以上のクラ
スごとに学習することにより、１以上のクラスごとのタ
ップ係数を求める学習ステップとを備えるプログラムが
記録されていることを特徴とする。
【００５４】本発明の第１のデータ変換装置および第１
のデータ変換方法、並びに第１のプログラムおよび第１
の記録媒体においては、注目している第２のデータのサ
ンプルである注目サンプルを１以上のクラスのうちのい
ずれかのクラスにクラス分けするクラス分類を行うのに
用いるクラスタップと、注目サンプルを求めるのに用い
る予測タップが、第１のデータから生成され、クラスタ
ップに基づいて、注目サンプルがクラス分類される。そ
して、学習の教師となる、第２のデータに対応する教師
データと、学習の生徒となる、第１のデータに対応する
生徒データとの関係を、教師データに所定の拘束条件を
与えて、１以上のクラスごとに学習することにより得ら
れたタップ係数から、注目サンプルのクラスのタップ係
数が取得され、そのタップ係数と、予測タップとを用い
て、注目サンプルが求められる。
【００５５】本発明の第１の学習装置および第１の学習
方法、並びに第２のプログラムおよび第２の記録媒体に
おいては、タップ係数の学習の教師となる、第２のデー
タに対応する教師データのうちの注目している注目デー
タを１以上のクラスのうちのいずれかのクラスにクラス
分けするクラス分類を行うのに用いるクラスタップと、
注目データを求めるのに用いる予測タップが、学習の生
徒となる、第１のデータに対応する生徒データから生成
され、クラスタップに基づいて、注目データがクラス分
類される。そして、注目データと予測タップを用い、教
師データと生徒データとの関係を、教師データに所定の
拘束条件を与えて、１以上のクラスごとに学習すること
により、１以上のクラスごとのタップ係数が求められ
る。
【００５６】本発明の第２のデータ変換装置および第２
のデータ変換方法、並びに第３のプログラムおよび第３
の記録媒体においては、注目している第２のデータのサ
ンプルである注目サンプルを１以上のクラスのうちのい
ずれかのクラスにクラス分けするクラス分類を行うのに
用いるクラスタップと、注目サンプルを求めるのに用い
る予測タップが、第１のデータから生成され、クラスタ
ップに基づいて、注目サンプルがクラス分類される。さ
らに、学習の教師となる、第２のデータに対応する教師
データの複数サンプルから得られる特徴と、学習の生徒
となる、第１のデータに対応する生徒データの複数サン
プルとの関係を、１以上のクラスごとに学習することに
より得られたタップ係数から、注目サンプルのクラスの
タップ係数が取得され、注目サンプルのクラスのタップ
係数と、予測タップとを用いて、注目サンプルが求めら
れる。
【００５７】本発明の第２の学習装置および第２の学習
方法、並びに第４のプログラムおよび第４の記録媒体に
おいては、タップ係数の学習の教師となる、第２のデー
タに対応する教師データのうちの注目している注目デー
タを１以上のクラスのうちのいずれかのクラスにクラス
分けするクラス分類を行うのに用いるクラスタップと、
注目データを求めるのに用いる予測タップが、学習の生
徒となる、第１のデータに対応する生徒データから生成
され、クラスタップに基づいて、注目データがクラス分
類される。そして、注目データと予測タップを用い、教
師データの複数サンプルから得られる特徴と生徒データ
の複数サンプルとの関係を、１以上のクラスごとに学習
することにより、１以上のクラスごとのタップ係数が求
められる。
【００５８】
【発明の実施の形態】図２は、本発明を適用した画像処
理装置の一実施の形態の構成例を示している。
【００５９】この画像処理装置においては、例えば、ぼ
けたＳＤ画像が入力され、そのＳＤ画像に対して、クラ
ス分類適応処理が施されることにより、ＳＤ画像のぼけ
度にかかわらず、そのぼけが十分に改善されたＨＤ画像
（ぼけ改善画像）が出力されるようになっている。
【００６０】即ち、この画像処理装置は、フレームメモ
リ１、クラスタップ生成回路２、予測タップ生成回路
３、クラス分類回路４、フレームメモリ１０、主画素処
理回路１１、および副画素処理回路１２から構成され、
そこには、ぼけの改善を行う対象となるＳＤ画像が入力
される。
【００６１】フレームメモリ１は、画像処理装置に入力
されるＳＤ画像を、例えば、フレーム（またはフィール
ド）単位で一時記憶する。なお、本実施の形態では、フ
レームメモリ１は、複数フレームのＳＤ画像を、バンク
切換によって記憶することができるようになっており、
これにより、画像処理装置に入力されるＳＤ画像が動画
であっても、その処理をリアルタイムで行うことができ
るようになっている。
【００６２】クラスタップ生成回路２は、クラス分類適
応処理により求めようとするＨＤ画像（ここでは、ＳＤ
画像からぼけを完全に排除した、ぼけのない理想的なＨ
Ｄ画像）を、複数のＨＤ画素（サンプル）からなるブロ
ックにブロック化（分割）し、さらに、各ブロックを、
順次、注目ブロックとする。そして、クラスタップ生成
回路２は、注目ブロックを構成するＨＤ画素についての
クラス分類に用いるクラスタップを、フレームメモリ１
に記憶されたＳＤ画像から生成し、クラス分類回路４に
出力する。即ち、クラスタップ生成回路２は、例えば、
注目ブロックの位置から空間的または時間的に近い位置
にある複数のＳＤ画素（サンプル）を、フレームメモリ
１に記憶されたＳＤ画像から抽出することによりクラス
タップとし、クラス分類回路４に出力する。
【００６３】具体的には、クラスタップ生成回路２は、
例えば、図３に示すように、ＨＤ画像を、垂直方向に隣
接する２つのＨＤ画素からなるブロックに分割し、各ブ
ロックを、順次、注目ブロックとする。
【００６４】ここで、図３において、○印がＳＤ画像を
構成するＳＤ画素を表し、×印がＨＤ画像を構成するＨ
Ｄ画素を表している。また、図３では、ＨＤ画像は、水
平方向と垂直方向それぞれの画素数が、ＳＤ画像の２倍
の画像になっている。
【００６５】クラスタップ生成回路２は、注目ブロック
について、例えば、図３に示すように、その注目ブロッ
クの位置から近い横×縦が３×３個のＳＤ画素を、フレ
ームメモリ１に記憶されたＳＤ画素から抽出することに
よりクラスタップとする。
【００６６】なお、以下、適宜、ＨＤ画像をブロック化
したブロックの上側のＨＤ画素と下側のＨＤ画素を、そ
れぞれｙ(1)とｙ(2)と表す。また、以下、適宜、クラス
タップを構成する３×３個のＳＤ画素のうちの、第１行
第１列、第１行第２列、第１行第３列、第２行第１列、
第２行第２列、第２行第３列、第３行第１列、第３行第
２列、第３行第３列のＳＤ画素を、それぞれ、ｘ(1)，
ｘ(2)，ｘ(3)，ｘ(4)，ｘ(5)，ｘ(6)，ｘ(7)，ｘ(8)，
ｘ(9)と表す。
【００６７】予測タップ生成回路３は、予測演算回路６
において注目ブロックを構成するＨＤ画素（の予測値）
を求めるのに用いる予測タップを、フレームメモリ１に
記憶されたＳＤ画像から生成し、予測演算回路６に供給
する。即ち、クラスタップ生成回路２は、例えば、注目
ブロックの位置から空間的または時間的に近い位置にあ
る複数のＳＤ画素を、フレームメモリ１に記憶されたＳ
Ｄ画像から抽出することにより予測タップとし、予測演
算回路６に供給する。
【００６８】なお、ここでは、説明を簡単にするため
に、予測タップ生成回路３は、注目ブロックを構成する
ＨＤ画素について、クラスタップと同一のタップ構造の
予測タップ、即ち、３×３のＳＤ画素からなる予測タッ
プを生成するものとする。
【００６９】但し、クラスタップとするＳＤ画素と、予
測タップとするＳＤ画素とは、同一である必要はない。
即ち、クラスタップと予測タップは、それぞれ独立に構
成（生成）することが可能である。また、クラスタップ
や予測タップのタップ構造は、図３に示した、３×３個
のＳＤ画素に限定されるものではない。
【００７０】図２に戻り、クラス分類回路４は、クラス
タップ生成回路２からのクラスタップに基づいて、注目
ブロックを構成するＨＤ画素をクラス分類し、その結果
得られる注目ブロックを構成するＨＤ画素のクラスに対
応するクラスコードを、主画素処理回路１１と副画素処
理回路１２に供給する。即ち、クラス分類回路４は、ク
ラスタップ生成回路２からのクラスタップを、例えば、
１ビットADRC(Adaptive Dynamic Range Coding)処理
し、その結果得られるADRCコードを、クラスコードとし
て、主画素処理回路１１と副画素処理回路１２に出力す
る。
【００７１】なお、KビットADRC処理においては、クラ
スタップを構成するＳＤ画素の画素値の最大値MAXと最
小値MINが検出され、DR=MAX-MINを、局所的なダイナミ
ックレンジとし、このダイナミックレンジDRに基づい
て、クラスタップを構成するＳＤ画素がKビットに再量
子化される。即ち、クラスタップを構成する各ＳＤ画素
の画素値から、最小値MINが減算され、その減算値がDR/
2Kで除算（量子化）される。従って、クラスタップが、
１ビットADRC処理された場合には、そのクラスタップを
構成する各ＳＤ画素の画素値は１ビットとされることに
なる。そして、この場合、以上のようにして得られる、
クラスタップを構成する各ＳＤ画素についての１ビット
の画素値を、所定の順番で並べたビット列が、ADRCコー
ドとして出力される。但し、クラス分類は、その他、例
えば、クラスタップを構成するＳＤ画素を、ベクトルの
コンポーネントとみなし、そのベクトルをベクトル量子
化すること等によって行うことも可能である。また、ク
ラス分類としては、１クラスのクラス分類を行うことも
可能である。この場合、クラス分類回路４は、どのよう
なクラスタップが供給されても、固定のクラスコードを
出力するものとなる。
【００７２】ここで、本実施の形態では、クラスタップ
生成回路２において、注目ブロックを構成するＨＤ画素
ｙ(1)とｙ(2)それぞれについて、同一のクラスタップが
生成される。従って、クラス分類回路４では、注目ブロ
ックを構成するＨＤ画素ｙ(1 )とｙ(2)それぞれが、同一
のクラスにクラス分類される。このことから、クラス分
類回路４では、注目ブロックのＨＤ画素がクラス分類さ
れているということができるとともに、注目ブロックが
クラス分類されているということもできる。
【００７３】なお、クラスタップ生成回路２では、注目
ブロックを構成するＨＤ画素ｙ(1)とｙ(2)それぞれにつ
いて、別々のタップ構造のクラスタップを生成するよう
にすることも可能である。同様に、予測タップ生成回路
３でも、注目ブロックを構成するＨＤ画素ｙ(1)とｙ(2)
それぞれについて、別々のタップ構造の予測タップを生
成するようにすることが可能である。但し、注目ブロッ
クを構成するＨＤ画素ｙ(1)とｙ(2)それぞれについて、
別々のタップ構造のクラスタップや予測タップを生成す
る場合には、主画素処理回路１１と副画素処理回路１２
それぞれに、各回路で求めようとするＨＤ画素について
生成されたクラスタップから求められたクラスコードお
よび予測タップを供給するようにする必要がある。
【００７４】フレームメモリ１０は、主画素処理回路１
１で求められるＨＤ画素と、副画素処理回路１２で求め
られるＨＤ画素を一時記憶し、例えば、１フレーム分の
ＨＤ画素を記憶すると、そのＨＤ画素で構成される１フ
レームのＨＤ画像を出力する。なお、フレームメモリ１
０は、フレームメモリ１と同様に構成されており、これ
により、主画素処理回路１１や副画素処理回路１２から
供給されるＨＤ画素の記憶と、フレームメモリ１０に記
憶されたＨＤ画素の読み出しとを同時に行うことができ
るようになっている。
【００７５】主画素処理回路１１は、係数RAM(Random A
ccess Memory)５と予測演算回路６から構成されてお
り、注目ブロックを構成するＨＤ画素のうちの、主画素
を注目画素とし、その主画素（の予測値）を求めて、フ
レームメモリ１０に供給し、その主画素の位置に対応す
るアドレスに記憶させる。
【００７６】即ち、係数RAM５は、学習の教師となるＨ
Ｄ画像データである教師データと、学習の生徒となるＳ
Ｄ画像データである生徒データとの関係を、１以上のク
ラスごとに学習することにより得られたタップ係数を記
憶している。そして、係数RAM５は、クラス分類回路４
から注目ブロック（のＨＤ画素）のクラスコードが供給
されると、そのクラスコードに対応するアドレスに記憶
されているタップ係数を読み出すことにより、注目ブロ
ックを構成するＨＤ画素のうちの主画素のクラスのタッ
プ係数を取得し、予測演算回路６に供給する。なお、係
数RAM５に記憶されるタップ係数の学習方法についての
詳細は、後述する。
【００７７】予測演算回路６は、係数RAM５から供給さ
れる、主画素のクラスについてのタップ係数ｗ1，ｗ2，
・・・と、予測タップ生成回路３からの予測タップ（を
構成する各ＳＤ画素の画素値）ｘ1，ｘ2，・・・とを用
いて、式（１）に示した積和演算を行うことにより、主
画素ｙ（の予測値）を求め、これを、ぼけを改善したＨ
Ｄ画素の画素値とし、フレームメモリ１０に供給して記
憶させる。
【００７８】ここで、本実施の形態においては、ＨＤ画
像をブロック化して得られる各ブロックを構成するＨＤ
画素の中には、例えば、少なくとも１つの主画素と、主
画素以外の画素である副画素とが存在する。主画素は、
教師データと生徒データとの関係を、教師データに拘束
条件を与えずに学習することにより得られたタップ係数
を用いて求められるＨＤ画素を意味し、副画素は、教師
データと生徒データとの関係を、教師データに拘束条件
を与えて学習することにより得られたタップ係数を用い
て求められるＨＤ画素を意味する。
【００７９】なお、本実施の形態では、図３に示したＨ
Ｄ画像のブロックを構成する２つのＨＤ画素のうちの、
例えば、上側のＨＤ画素ｙ(1)が主画素であり、下側の
ＨＤ画素ｙ(2)が副画素であるとする。
【００８０】副画素処理回路１２は、係数RAM７、予測
演算回路８、復号回路９から構成されており、注目ブロ
ックを構成するＨＤ画素のうちの、副画素ｙ(2)（の予
測値）を求め、フレームメモリ１０に供給して、その副
画素の位置に対応するアドレスに記憶させる。
【００８１】即ち、係数RAM７は、学習の教師となるＨ
Ｄ画像データである教師データと、学習の生徒となるＳ
Ｄ画像データである生徒データとの関係を、教師データ
に拘束条件を与えて、１以上のクラスごとに学習するこ
とにより得られたタップ係数を記憶している。そして、
係数RAM７は、クラス分類回路４から注目ブロックのク
ラスコードが供給されると、そのクラスコードに対応す
るアドレスに記憶されているタップ係数を読み出すこと
により、注目ブロックを構成するＨＤ画素のうちの副画
素のクラスのタップ係数を取得し、予測演算回路６に供
給する。なお、同一ブロックの主画素と副画素について
は、ここでは、上述したように、同一のクラスタップが
生成されるので、そのクラスも同一である。また、係数
RAM７に記憶されるタップ係数の学習方法についての詳
細は、後述する。
【００８２】予測演算回路８は、係数RAM７から供給さ
れる、副画素のクラスについてのタップ係数と、予測タ
ップ生成回路３からの予測タップ（を構成する各ＳＤ画
素の画素値）とを用いて、式（１）に示した演算に対応
する積和演算を行うことにより、副画素と、フレームメ
モリ１０に既に記憶されているＨＤ画素との差分値△ｙ
（の予測値）を求め、復号回路９に供給する。ここで、
本実施の形態では、予測演算回路８において、注目ブロ
ックの副画素ｙ(2)について、例えば、その副画素ｙ(2)
と、その注目ブロックの主画素ｙ(1)との差分値△ｙ
（＝ｙ(2)−ｙ(1)）が求められるものとする。
【００８３】復号回路９は、予測演算回路８から供給さ
れる副画素についての差分値を、副画素に復号する。即
ち、本実施の形態では、副画素ｙ(2)についての差分値
△ｙとして、その副画素ｙ(2)と、その副画素のブロッ
クの主画素ｙ(1)との差分値が採用されているため、復
号回路９は、フレームメモリ１０から、注目ブロックの
主画素（の予測値）ｙ(1)を読み出し、予測演算回路８
から供給される差分値△ｙと加算することで、副画素
（の予測値）ｙ(2)（＝△ｙ＋ｙ(1)）を求める。そし
て、復号回路９は、求めた副画素を、フレームメモリ１
０に供給して記憶させる。
【００８４】次に、図４のフローチャートを参照して、
図２の画像処理装置が行う、ＳＤ画像をＨＤ画像に変換
する画像変換処理について説明する。
【００８５】フレームメモリ１には、画像変換処理の対
象としてのＳＤ画像（動画像）が、フレーム単位で順次
供給され、フレームメモリ１では、そのようにフレーム
単位で供給されるＳＤ画像が順次記憶されていく。
【００８６】そして、ステップＳ１において、クラスタ
ップ生成回路２は、これから求めようとするＨＤ画像の
フレーム（フレームメモリ１０に記憶させるＨＤ画像の
フレーム）を、注目フレームとして、その注目フレーム
を、図３で説明したように、垂直方向に並ぶ２つのＨＤ
画素ｙ(1)とｙ(2)からなるブロックにブロック化し、ス
テップＳ２に進む。
【００８７】ステップＳ２では、クラスタップ生成回路
２は、注目フレームを構成するブロックのうち、まだ注
目ブロックとしていないブロックのうちの１つを注目ブ
ロックとして選択し、ステップＳ３に進む。
【００８８】ステップＳ３では、クラスタップ生成回路
２と予測タップ生成回路３が、注目ブロックの位置に空
間的または時間的に近い複数のＳＤ画素を、フレームメ
モリ１に記憶されたＳＤ画像から抽出することにより、
クラスタップと予測タップをそれぞれ生成する。さら
に、ステップＳ３では、クラスタップ生成回路２が、注
目ブロックについてのクラスタップを、クラス分類回路
４に供給するとともに、予測タップ生成回路３が、注目
ブロックについての予測タップを、主画素処理回路１１
および副画素処理回路１２に供給し、ステップＳ４に進
む。
【００８９】ステップＳ４では、クラス分類回路４は、
クラスタップ生成回路２から供給されるクラスタップに
基づき、注目ブロック（を構成する主画素ｙ(1)と副画
素ｙ( 2)それぞれ）についてクラス分類を行い、その結
果得られる注目ブロックのクラスを表すクラスコード
を、主画素処理回路１１および副画素処理回路１２に供
給して、ステップＳ５に進む。
【００９０】ステップＳ５では、主画素処理回路１１の
係数RAM５が、クラス分類回路４から供給されるクラス
コードに対応するアドレスに記憶されているタップ係数
を読み出し、これにより、注目ブロック（を構成する主
画素ｙ(1)）のクラスのタップ係数を取得して、予測演
算回路６に供給する。さらに、ステップＳ５では、副画
素処理回路１２の係数RAM７が、クラス分類回路４から
供給されるクラスコードに対応するアドレスに記憶され
ているタップ係数を読み出し、これにより、注目ブロッ
ク（を構成する副画素ｙ(2)）のクラスのタップ係数を
取得して、予測演算回路８に供給する。
【００９１】その後、ステップＳ６に進み、主画素処理
回路１１は、注目ブロックの主画素を、注目画素とし
て、その注目画素（の予測値）ｙ(1)を算出する。即
ち、ステップＳ６では、主画素処理回路１１において、
予測演算回路６が、予測タップ生成回路３からの予測タ
ップと、係数RAM５からのタップ係数とを用いて、式
（１）に示した演算を行い、注目画素としての主画素
（の予測値）ｙ(1)を求める。さらに、ステップＳ６で
は、予測演算回路６は、求めた主画素ｙ(1)を、フレー
ムメモリ１０に供給し、その主画素ｙ(1)の位置に対応
するアドレスに記憶させ、ステップＳ７に進む。
【００９２】ステップＳ７では、副画素処理回路１２
は、注目ブロックの副画素を、注目画素として、その注
目画素（の予測値）ｙ(2)を算出する。即ち、ステップ
Ｓ７では、副画素処理回路１２において、予測演算回路
８が、予測タップ生成回路３からの予測タップと、係数
RAM７からのタップ係数とを用いて、式（１）に対応す
る積和演算（この演算の詳細については、後述する）を
行い、注目画素としての副画素ｙ(2)と主画素であるＨ
Ｄ画素ｙ(1)との差分値（の予測値）△ｙを求め、復号
回路９に供給する。さらに、ステップＳ７では、復号回
路９が、予測演算回路８から供給される差分値△ｙに、
ステップＳ６で求められ、フレームメモリ１０に記憶さ
れている主画素ｙ(1)を加算することにより、注目画素
としての副画素（の予測値）ｙ(2)を求める。そして、
復号回路９は、その副画素ｙ(2)を、フレームメモリ１
０に供給し、その副画素ｙ(2)の位置に対応するアドレ
スに記憶させ、ステップＳ８に進む。
【００９３】ステップＳ８では、クラスタップ生成回路
２が、注目フレームを構成するブロックのうち、まだ、
注目ブロックとしていないブロックが存在するかどうか
を判定し、存在すると判定した場合、ステップＳ２に戻
り、以下、同様の処理を繰り返す。
【００９４】また、ステップＳ８において、注目ブロッ
クとしていないブロックが存在しないと判定された場
合、即ち、注目フレームを構成するすべてのＨＤ画素
が、フレームメモリ１０に記憶された場合、ステップＳ
９に進み、フレームメモリ１０は、その注目フレームの
ＨＤ画像を、そこから読み出して出力し、ステップＳ１
０に進む。
【００９５】ステップＳ１０では、クラスタップ生成回
路２が、次に求めるべきＨＤ画像のフレームが存在する
かどうかを判定し、存在すると判定した場合、ステップ
Ｓ１に戻り、そのフレームを、新たに注目フレームとし
て、以下、同様の処理を繰り返す。
【００９６】また、ステップＳ１０において、次に求め
るべきＨＤ画像のフレームが存在しないと判定された場
合、処理を終了する。
【００９７】次に、図５は、図２の係数RAM５に記憶さ
せるクラスごとのタップ係数を求める学習を行う学習装
置の一実施の形態の構成例を示している。
【００９８】学習用データベース２１には、タップ係数
の学習用の画像データとしての、例えばＨＤ画像データ
が記憶されている。
【００９９】学習対生成回路２２は、学習用データベー
ス２１に記憶された学習用の画像データから、タップ係
数の学習に用いられる教師データと生徒データのセット
である学習対データを生成し、学習対データベース６３
に供給する。
【０１００】即ち、学習対生成回路２２は、学習用デー
タベース２１に記憶された学習用の画像データを読み出
し、その学習用の画像データであるＨＤ画像データを、
例えば、そのまま教師データとする。ここで、図２の画
像処理装置で得られるＨＤ画像は、図５の学習装置で教
師データとして用いられるＨＤ画像データの画質に対応
したものとなる。
【０１０１】さらに、学習対生成回路２２は、教師デー
タとしてのＨＤ画像データの画質を劣化させることによ
り、即ち、例えば、教師データとしてのＨＤ画像データ
の画素を間引き、さらに、ＬＰＦ(Low Pass Filter)で
フィルタリングすること等により、その教師データとし
てのＨＤ画像データをぼかしたＳＤ画像データである生
徒データを生成する。ここで、生徒データとしてのＳＤ
画像データは、図２の画像処理装置で処理対象となるＳ
Ｄ画像データに対応した画質のものとする必要がある。
【０１０２】学習対生成回路２２は、上述のようにし
て、教師データと、その教師データに対応する生徒デー
タ（教師データから生成された生徒データ）とを生成す
ると、その教師データと生徒データのセットを、学習対
データとして、学習対データベース２３に供給する。
【０１０３】学習対データベース２３は、学習対生成回
路２２からの学習対データを一時記憶する。
【０１０４】クラスタップ生成回路２４は、学習対デー
タベース２３に記憶された学習対データにおける教師デ
ータとしてのＨＤ画像を、図２のクラスタップ生成回路
２における場合と同一のブロックにブロック化し、各ブ
ロックを、順次、注目ブロックとする。さらに、クラス
タップ生成回路２４は、注目ブロック（を構成する主画
素と副画素それぞれ）についてのクラスタップを、学習
対データベース２３に記憶された学習対データにおける
生徒データとしてのＳＤ画像から生成し、クラス分類回
路２６に供給する。ここで、クラスタップ生成回路２４
は、図２のクラスタップ生成回路２が生成するのと同一
のタップ構造のクラスタップを生成する。
【０１０５】予測タップ生成回路２５は、注目ブロック
（を構成する主画素と副画素それぞれ）についての予測
タップを、学習対データベース２３に記憶された学習対
データにおける生徒データとしてのＳＤ画像から生成
し、足し込み回路２７に供給する。ここで、予測タップ
生成回路２５は、図２の予測タップ生成回路３が生成す
るのと同一のタップ構造のクラスタップを生成する。
【０１０６】クラス分類回路２６は、図２のクラス分類
回路４と同様に構成され、クラスタップ生成回路２４か
らのクラスタップに基づいて、注目ブロック（を構成す
る主画素と副画素それぞれ）をクラス分類し、注目ブロ
ックのクラスを表すクラスコードを、足し込み回路２７
に供給する。
【０１０７】足し込み回路２７およびタップ係数演算回
路２８は、学習対データベース２３に記憶された学習対
データにおける、注目ブロックの主画素となっている教
師データと、予測タップ生成回路２５から供給される予
測タップとを用い、学習対データベース２３に記憶され
た学習対データとしての教師データと生徒データとの関
係を、クラス分類回路２６から供給されるクラスごとに
学習することにより、クラスごとのタップ係数を求め
る。
【０１０８】即ち、足し込み回路２７は、クラス分類回
路２６が出力するクラスコードごとに、予測タップ生成
回路２５から供給される予測タップと、学習対データベ
ース２３に記憶された学習対データにおける、注目ブロ
ックの主画素となっている教師データであるＨＤ画素と
を対象とした、式（８）の足し込みを行う。
【０１０９】具体的には、足し込み回路２７は、クラス
分類回路２６から供給されるクラスコードに対応するク
ラスごとに、予測タップを構成する生徒データとしての
ＳＤ画素ｘn,kを用い、式（８）の左辺の行列における
ＳＤ画素どうしの乗算（ｘn,kｘn',k）と、サメーショ
ン（Σ）に相当する演算を行う。
【０１１０】さらに、足し込み回路２７は、やはり、ク
ラス分類回路２６から供給されるクラスコードに対応す
るクラスごとに、予測タップを構成する生徒データとし
てのＳＤ画素ｘn,kと注目ブロックにおける主画素とな
っている教師データであるＨＤ画素ｙkを用い、式
（８）の右辺のベクトルにおけるＳＤ画素ｘn,kおよび
ＨＤ画素ｙkの乗算（ｘn,kｙk）と、サメーション
（Σ）に相当する演算を行う。
【０１１１】足し込み回路２７は、学習対データベース
２３に記憶された学習対データにおける教師データとし
てのＨＤ画像のブロックすべてを注目ブロックとして、
上述の足し込みを行うことにより、各クラスについて、
式（８）に示した正規方程式をたてると、その正規方程
式を、タップ係数演算回路２８に供給する。
【０１１２】タップ係数演算回路２８は、足し込み回路
２７から、各クラスについての式（８）の正規方程式を
受信し、その正規方程式を解くことにより、クラスごと
のタップ係数を求めて出力する。
【０１１３】タップ係数メモリ２９は、タップ係数演算
回路２８が出力するクラスごとのタップ係数を記憶す
る。
【０１１４】次に、図６は、図５の学習対生成回路２２
の構成例を示している。
【０１１５】学習対生成回路２２には、学習用データベ
ース２１（図５）に記憶された学習用の画像データとし
てのＨＤ画像データが供給され、学習対生成回路２２
は、そのＨＤ画像データを、そのまま教師データとして
出力する。
【０１１６】また、間引き回路３１は、学習用の画像デ
ータとしてのＨＤ画像データの画素を間引き、その間引
きによって得られるＳＤ画像データを、ＬＰＦ３２に供
給する。ここで、本実施の形態では、図３で説明したよ
うに、図２の画像処理装置において、ＳＤ画像データ
が、その水平方向と垂直方向それぞれの画素数が２倍に
されたＨＤ画像データに変換されるため、間引き回路３
１では、その逆に、学習用の画像データとしてのＨＤ画
像データを構成する水平方向と垂直方向それぞれの画素
数が１／２に間引かれる。
【０１１７】ＬＰＦ３２は、所定の周波数特性を有する
ＬＰＦで、間引き回路３１から供給されるＳＤ画像デー
タをフィルタリングすることにより、そのＳＤ画像デー
タをぼかしたＳＤ画像データを得て、生徒データとして
出力する。
【０１１８】学習対生成回路２２は、以上のようにして
得られる教師データと生徒データのセットを、学習対デ
ータとして、学習対データベース２３（図５）に出力す
る。
【０１１９】次に、図７のフローチャートを参照して、
図５の学習装置において行われる、クラスごとのタップ
係数を求める学習処理について説明する。
【０１２０】まず最初に、ステップＳ１１において、学
習対生成回路２２は、学習用データベース２１から学習
用の画像データを読み出し、教師データと生徒データを
生成する。さらに、ステップＳ１１では、学習対生成回
路２２は、その教師データと生徒データとをセットにす
ることで学習対データを生成し、学習対データベース２
３に供給して記憶させる。
【０１２１】そして、ステップＳ１２に進み、クラスタ
ップ生成回路２４は、学習対データベース２３に記憶さ
れた学習対データにおける教師データとしてのＨＤ画像
データを、図２のクラスタップ生成回路２における場合
と同様に、垂直方向に並ぶ２つのＨＤ画素の単位のブロ
ックにブロック化し、ステップＳ１３に進む。
【０１２２】ステップＳ１３では、クラスタップ生成回
路２４は、学習対データベース２３に記憶された学習対
データにおける教師データとしてのＨＤ画像のブロック
の中から、まだ注目ブロックとしていないもののうちの
１つを注目ブロックとして選択し、ステップＳ１４に進
む。ステップＳ１４では、クラスタップ生成回路２４と
予測タップ生成回路２５は、注目ブロック（の主画素）
についてのクラスタップと予測タップを、学習対データ
ベース２３に記憶された生徒データとしてのＳＤ画素か
ら、それぞれ生成し、そのクラスタップと予測タップ
を、クラス分類回路２６と足し込み回路２７にそれぞれ
供給して、ステップＳ１５に進む。
【０１２３】ステップＳ１５では、クラス分類回路２６
が、図２のクラス分類回路４における場合と同様にし
て、クラスタップ生成回路２４からのクラスタップを用
いて、注目ブロック（の主画素）をクラス分類し、その
注目ブロックのクラスを表すクラスコードを、足し込み
回路２７に供給して、ステップＳ１６に進む。
【０１２４】ステップＳ１６では、足し込み回路２７
が、学習対データベース２３から、注目ブロックの主画
素となっているＨＤ画素を、注目画素として読み出す。
さらに、ステップＳ１６では、足し込み回路２７が、ク
ラス分類回路２６から供給されるクラスコードが表す注
目ブロックのクラスごとに、予測タップ生成回路２５か
ら供給される予測タップ、および学習対データベース２
３から読み出した注目画素を対象とした、上述した式
（８）における足し込みを行い、ステップＳ１７に進
む。
【０１２５】そして、ステップＳ１７では、クラスタッ
プ生成回路２４は、学習対データベース２３に記憶され
た教師データとしてのＨＤ画像データのブロックの中
に、まだ注目ブロックとしていないものがあるかどうか
を判定する。ステップＳ１７において、学習対データベ
ース２３に記憶された教師データのブロックの中に、ま
だ注目ブロックとしていないものがあると判定された場
合、ステップＳ１３に戻り、以下、同様の処理が繰り返
される。
【０１２６】また、ステップＳ１７において、学習対デ
ータベース２３に記憶された教師データのブロックの中
に、注目ブロックとしていないものがないと判定された
場合、足し込み回路２７は、いままでのステップＳ１６
における足し込みによって、クラスごとに得られた式
（８）の正規方程式を、タップ係数演算回路２８に供給
して、ステップＳ１８に進む。
【０１２７】ステップＳ１８では、タップ係数演算回路
２８は、足し込み回路２７から供給される、各クラスご
との式（８）の正規方程式を解くことにより、クラスご
とのタップ係数を求め、タップ係数メモリ２９に供給し
て記憶させ、処理を終了する。
【０１２８】以上のようにして、タップ係数メモリ２９
に記憶されたクラスごとのタップ係数が、図２の画像処
理装置における係数RAM５に記憶されている。従って、
その係数RAM５を有する主画素処理回路１１では、本件
出願人が先に提案したクラス分類適応処理における場合
と同様にして、主画素としてのＨＤ画素が求められる。
【０１２９】なお、以上のようなタップ係数の学習処理
において、用意する学習用の画像データ等によっては、
タップ係数を求めるのに必要な数の正規方程式が得られ
ないクラスが生じる場合があり得るが、そのようなクラ
スについては、例えば、タップ係数演算回路２８におい
て、デフォルトのタップ係数を出力するようにすること
等が可能である。あるいは、タップ係数を求めるのに必
要な数の正規方程式が得られないクラスが生じた場合に
は、新たに学習用の画像データを用意して、再度、タッ
プ係数の学習を行うようにしても良い。このことは、後
述する学習装置におけるタップ係数の学習についても、
同様である。
【０１３０】次に、図８は、図２の係数RAM７に記憶さ
せるクラスごとのタップ係数を求める学習を行う学習装
置の一実施の形態の構成例を示している。
【０１３１】図８の学習装置は、図５の学習用データベ
ース２１、学習対生成回路２２、学習対データベース２
３、クラスタップ生成回路２４、予測タップ生成回路２
５、クラス分類回路２６、足し込み回路２７、タップ係
数演算回路２８、タップ係数メモリ２９とそれぞれ同様
に構成される学習用データベース４１、学習対生成回路
４２、学習対データベース４３、クラスタップ生成回路
４４、予測タップ生成回路４５、クラス分類回路４６、
足し込み回路４７、タップ係数演算回路４８、タップ係
数メモリ４９から構成されている。
【０１３２】従って、図８の学習装置では、基本的に
は、図５の学習装置における場合と同様にして、１以上
のクラスごとのタップ係数が求められるようになってい
る。但し、図８の学習装置は、教師データと生徒データ
との関係を、教師データに所定の拘束条件を与えて、１
以上のクラスごとに学習することにより、１以上のクラ
スごとのタップ係数を求めるようになっている。
【０１３３】即ち、図８の学習装置では、例えば、教師
データのブロックにおける主画素と副画素との関係を拘
束する拘束条件を与えて、教師データと生徒データとの
関係の学習が行われる。具体的には、例えば、主画素と
副画素の差分値を拘束する拘束条件を与えて、教師デー
タと生徒データとの関係の学習が行われる。
【０１３４】ここで、主画素ｙ(1)と副画素ｙ(2)の差分
値△ｙを拘束して、教師データと生徒データとの関係を
学習することにより、即ち、理想的には、式（１）の積
和演算で求められる主画素の予測値ｙ(1)’と副画素の
予測値ｙ(2)’について、その差分値△ｙ’＝ｙ(2)’−
ｙ(1)’が、副画素の真値ｙ(2)から主画素の真値ｙ(1)
を減算して得られる差分値の真値△ｙ＝ｙ(2)−ｙ(1)に
一致するという拘束条件の下で、教師データと生徒デー
タとの関係を学習することにより、主画素の真値ｙ(1)
と副画素の真値ｙ(2)との間の関係を維持した副画素の
予測値ｙ(2)’を求めるタップ係数を得ることができ
る。
【０１３５】そして、そのようなタップ係数を用いて、
ＳＤ画像をＨＤ画像に変換した場合には、拘束条件の効
果によって、つまり、主画素と副画素の差分値が拘束さ
れることによって、前述の図１Ｂで説明したような、画
素値の変化が真値の変化と逆になることを防止すること
ができる。
【０１３６】ところで、副画素ｙ(2)から主画素ｙ(1)を
減算して得られる差分値△ｙを拘束する拘束条件とし
て、例えば、上述したように、主画素の予測値ｙ(1)’
と副画素の予測値ｙ(2)’の差分値（以下、適宜、差分
値の予測値ともいう）△ｙ’＝ｙ(2)’−ｙ(1)’が、主
画素の真値ｙ(1)と副画素の真値ｙ(2)の差分値である差
分値の真値△ｙ＝ｙ(2)−ｙ(1)に一致するという条件を
採用した場合に、すべてのブロックの主画素と副画素
に、その拘束条件を満足させることは困難である。
【０１３７】そこで、図８の学習装置では、差分値の予
測値△’ｙの、その真値△ｙに対する予測誤差を統計的
に最小にするという拘束条件の下で、教師データと生徒
データとの関係の学習が行われる。
【０１３８】即ち、例えば、いま、主画素ｙ(1)と副画
素ｙ(2)を求めるためのタップ係数を、それぞれｗn (1)
とｗn (2)とそれぞれ表すと、主画素ｙ(1)と副画素ｙ(2)
は、タップ係数ｗn (1)とｗn (2)それぞれと、予測タップ
ｘnを用い、式（１）にしたがって、式（９）と（１
０）によりそれぞれ求められる。
【０１３９】
【数９】 ・・・（９）
【０１４０】
【数１０】 ・・・（１０）
【０１４１】いま、タップ係数ｗn (1)とｗn (2)の差分値
△ｗnを次式で定義する。
【０１４２】
【数１１】 ・・・（１１）
【０１４３】この場合、式（９）乃至（１１）から、差
分値△ｙは、次の積和演算で求められることになる。
【０１４４】
【数１２】 ・・・（１２）
【０１４５】差分値の予測値△’ｙの、その真値△ｙに
対する予測誤差を統計的に最小にするという拘束条件
は、例えば、差分値の予測値△’ｙの予測誤差の総和を
最小にすることによって満足させることができ、そのよ
うな予測誤差の総和を最小にするタップ係数△ｗnが、
拘束条件を満たすタップ係数となる。
【０１４６】そして、差分値の予測値△’ｙの予測誤差
の総和を最小にするタップ係数△ｗ nは、例えば、最小
自乗法によって求めることができる。
【０１４７】ところで、式（１２）は、式（１）におけ
るＨＤ画素ｙを、差分値△ｙに置き換えるとともに、タ
ップ係数ｗnを、タップ係数△ｗnに置き換えた式と等価
である。従って、式（１２）により求められる差分値ｙ
の予測誤差の総和を最小にするタップ係数△ｗnは、や
はり、式（８）のＨＤ画素ｙを、差分値△ｙに置き換え
るとともに、タップ係数ｗnを、タップ係数△ｗnに置き
換えることによって得られる式（１３）の正規方程式を
解くことによって求めることができる。
【０１４８】
【数１３】 ・・・（１３）
【０１４９】図８の学習装置では、以上のようにして、
教師データｙkと生徒データｘkとの関係を、教師データ
ｙkに上述の拘束条件を与えて、１以上のクラスごとに
学習することにより、１以上のクラスごとのタップ係数
△ｗnを求めるようになっている。
【０１５０】従って、図８の学習装置で行われる学習
は、教師データのブロックの主画素ｙ (1)と副画素ｙ(2)
の差分値△ｙを、拘束条件によって拘束された教師デー
タ（以下、適宜、拘束教師データという）として、その
拘束教師データ△ｙと、生徒データｘkとの関係を学習
することと等価である。
【０１５１】このため、学習対生成回路４２では、教師
データそのものと生徒データとのセットではなく、拘束
教師データと生徒データとのセットが、学習対データと
して生成されるようになっている。また、足し込み回路
４７では、やはり、教師データそのものと生徒データを
対象とした式（８）の足し込みではなく、拘束教師デー
タと生徒データを対象とした式（１３）における足し込
みが行われるようになっている。
【０１５２】次に、図９は、図８の学習対生成回路４２
の構成例を示している。
【０１５３】学習対生成回路４２には、学習用データベ
ース４１（図８）に記憶された学習用の画像データとし
てのＨＤ画像データが供給され、学習対生成回路４２
は、そのＨＤ画像データを、教師データとして、間引き
回路５１、メモリ５３、およびセレクタ５５に供給す
る。
【０１５４】間引き回路５１は、図６の間引き回路３１
と同様に、教師データとしてのＨＤ画像データの画素を
間引き、その間引きによって得られるＳＤ画像データ
を、ＬＰＦ５２に供給する。ＬＰＦ５２は、図６のＬＰ
Ｆ３２と同様の、所定の周波数特性を有するＬＰＦで、
間引き回路５１から供給されるＳＤ画像データをフィル
タリングすることにより、そのＳＤ画像データをぼかし
たＳＤ画像データを得て、そのＳＤ画像データを構成す
るＳＤ画素を、生徒データとして出力する。
【０１５５】一方、メモリ５３は、学習用データベース
４１から供給される教師データとしてのＨＤ画像データ
を一時記憶し、そのＨＤ画像データをブロックにブロッ
ク化したときに、ブロックの主画素ｙ(1)となるＨＤ画
素を、演算回路５４に供給する。
【０１５６】演算回路５４は、学習用データベース４１
から供給される教師データとしてのＨＤ画像データのう
ち、そのＨＤ画像データをブロックにブロック化したと
きに、ブロックの副画素ｙ(2)となるＨＤ画素を受信す
る。さらに、演算回路５４は、ブロックの副画素ｙ(2)
から、メモリ５３より供給されるそのブロックの主画素
ｙ(1)を減算することにより、差分値△ｙ＝ｙ(2)−ｙ
(1)を求め、その差分値△ｙを、セレクタ５５に出力す
る。
【０１５７】セレクタ５５は、学習用データベース４１
から供給される教師データとしてのＨＤ画像データのう
ち、そのＨＤ画像データをブロックにブロック化したと
きに、ブロックの主画素となるＨＤ画素については、そ
のＨＤ画素を選択し、副画素となるＨＤ画素について
は、演算回路５４が出力する差分値△ｙを選択して、拘
束教師データとして出力する。
【０１５８】従って、セレクタ５５が出力する拘束教師
データにおいては、主画素は、教師データとしてのＨＤ
画素そのものの画素値を有するものとなっており、副画
素は、その副画素の画素値から主画素の画素値を減算し
た値の画素値を有するものとなっている。
【０１５９】学習対生成回路４２は、以上のようにして
得られる拘束教師データと生徒データのセットを、学習
対データとして、学習対データベース４３（図８）に出
力する。
【０１６０】次に、図１０のフローチャートを参照し
て、図８の学習装置において行われる、クラスごとのタ
ップ係数を求める学習処理について説明する。
【０１６１】まず最初に、ステップＳ２１において、学
習対生成回路４２は、学習用データベース４１から学習
用の画像データを読み出し、拘束教師データと生徒デー
タを生成する。さらに、ステップＳ２１では、学習対生
成回路４２は、その拘束教師データと生徒データとをセ
ットにすることで学習対データを生成し、学習対データ
ベース４３に供給して記憶させる。
【０１６２】そして、ステップＳ２２に進み、クラスタ
ップ生成回路４４は、学習対データベース４３に記憶さ
れた学習対データにおける拘束教師データを、図２のク
ラスタップ生成回路２における場合と同様に、垂直方向
に並ぶ２つのＨＤ画素の単位のブロックにブロック化
し、ステップＳ２３に進む。
【０１６３】ステップＳ２３では、クラスタップ生成回
路４４は、学習対データベース４３に記憶された学習対
データにおける拘束教師データのブロックの中から、ま
だ注目ブロックとしていないもののうちの１つを注目ブ
ロックとして選択し、ステップＳ２４に進む。ステップ
Ｓ２４では、クラスタップ生成回路４４と予測タップ生
成回路４５は、注目ブロック（の副画素）についてのク
ラスタップと予測タップを、学習対データベース４３に
記憶された生徒データとしてのＳＤ画素から、それぞれ
生成し、そのクラスタップと予測タップを、クラス分類
回路４６と足し込み回路４７にそれぞれ供給して、ステ
ップＳ２５に進む。
【０１６４】ステップＳ２５では、クラス分類回路４６
が、図２のクラス分類回路４における場合と同様にし
て、クラスタップ生成回路４４からのクラスタップを用
いて、注目ブロック（の副画素）をクラス分類し、その
注目ブロックのクラスを表すクラスコードを、足し込み
回路４７に供給して、ステップＳ２６に進む。
【０１６５】ステップＳ２６では、足し込み回路４７
が、学習対データベース４３から、注目ブロックの副画
素となっているＨＤ画素（の画素値である差分値△ｙ）
を、注目画素として読み出す。さらに、ステップＳ２６
では、足し込み回路４７が、クラス分類回路４６から供
給されるクラスコードが表す注目ブロックのクラスごと
に、予測タップ生成回路４５から供給される予測タッ
プ、および学習対データベース４３から読み出した注目
画素を対象とした、上述した式（１３）における足し込
みを行い、ステップＳ２７に進む。
【０１６６】そして、ステップＳ２７では、クラスタッ
プ生成回路４４は、学習対データベース４３に記憶され
た拘束教師データのブロックの中に、まだ注目ブロック
としていないものがあるかどうかを判定する。ステップ
Ｓ２７において、学習対データベース４３に記憶された
拘束教師データのブロックの中に、まだ注目ブロックと
していないものがあると判定された場合、ステップＳ２
３に戻り、以下、同様の処理が繰り返される。
【０１６７】また、ステップＳ２７において、学習対デ
ータベース４３に記憶された拘束教師データのブロック
の中に、注目ブロックとしていないものがないと判定さ
れた場合、足し込み回路４７は、いままでのステップＳ
２６における足し込みによって、クラスごとに得られた
式（１３）の正規方程式を、タップ係数演算回路４８に
供給して、ステップＳ２８に進む。
【０１６８】ステップＳ２８では、タップ係数演算回路
４８は、足し込み回路４７から供給される、各クラスご
との式（１３）の正規方程式を解くことにより、クラス
ごとのタップ係数△ｗnを求め、タップ係数メモリ４９
に供給して記憶させ、処理を終了する。
【０１６９】以上のようにして、タップ係数メモリ４９
に記憶されたクラスごとのタップ係数△ｗnが、図２の
画像処理装置における係数RAM７に記憶されている。そ
して、その係数RAM７を有する副画素処理回路１２で
は、予測演算回路８において、係数RAM７に記憶された
タップ係数△ｗnと、予測タップｘnとを用い、式（１）
に対応する式（１２）の積和演算が行われることによっ
て、予測誤差の総和を最小にする、副画素ｙ(2)の、主
画素ｙ(1)に対する差分値△ｙ（の予測値）が求められ
る。さらに、復号回路９において、差分値△ｙは、既に
求められてフレームメモリ１０に記憶されている主画素
ｙ(1)（の予測値）と加算され、これにより、副画素ｙ
(2)（の予測値）が求められる。
【０１７０】従って、副画素は、主画素との関係を維持
するタップ係数を用いて求められることから、図２の画
像処理装置では、求められるＨＤ画像の画素値の変化が
真値の変化と逆になるようなことを防止して、より高画
質のＨＤ画像を得ることができる。
【０１７１】次に、図１１は、図８の学習対生成回路４
２の他の構成例を示している。なお、図中、図９におけ
る場合と対応する部分については、同一の符号を付して
あり、以下では、その説明は、適宜省略する。即ち、図
１１の学習対生成回路４２は、クラス分類適応処理回路
６０が新たに設けられている他は、図９における場合と
同様に構成されている。
【０１７２】クラス分類適応処理回路６０には、ＬＰＦ
５２が出力する生徒データとしてのＳＤ画像データが供
給されるようになっており、クラス分類適応処理回路６
０は、その生徒データとしてのＳＤ画像データを対象
に、本件出願人が先に提案したクラス分類適応処理を施
すことにより、教師データとしてのＨＤ画像データ（の
予測値）を求め、メモリ５３に供給する。
【０１７３】即ち、クラス分類適応処理回路６０は、図
２のフレームメモリ１、クラスタップ生成回路２、予測
タップ生成回路３、クラス分類回路４、係数RAM５、予
測演算回路６とそれぞれ同様に構成されるフレームメモ
リ６１、クラスタップ生成回路６２、予測タップ生成回
路６３、クラス分類回路６４、係数RAM６５、予測演算
回路６６で構成され、図２における場合と同様にして、
ＬＰＦ５２から供給される生徒データとしてのＳＤ画像
データをＨＤ画像データに変換するクラス分類適応処理
を行い、その結果得られるＨＤ画像データを、メモリ５
３に供給する。
【０１７４】但し、クラス分類適応処理回路６０では、
ＨＤ画像データのブロックが、すべて主画素で構成され
るものとして、クラス分類適応処理が行われる。即ち、
クラス分類適応処理回路６０では、係数RAM６５に、図
５の学習装置によって求められたタップ係数が記憶され
ており、ＨＤ画像データのブロックを構成するＨＤ画素
は、すべて、その係数RAM６５に記憶されたタップ係数
を用いた式（１）の積和演算を行うことによって求めら
れる。
【０１７５】従って、図１１の実施の形態では、メモリ
５３には、学習用データベース４１に記憶された学習用
の画像データとしての教師データそのものではなく、ク
ラス分類適応処理回路６０によって求められた、教師デ
ータの予測値が記憶される。その結果、図１１の演算回
路５４では、学習用データベース４１から供給される教
師データとしてのＨＤ画像データのうち、そのＨＤ画像
データをブロックにブロック化したときに、ブロックの
副画素ｙ(2)となるＨＤ画素から、メモリ５３に記憶さ
れたそのブロックの主画素ｙ(1)の予測値を減算するこ
とにより、差分値△ｙが求められる。即ち、ブロックの
副画素ｙ(2)となるＨＤ画素から、そのブロックの主画
素ｙ(1)そのものではなく、クラス分類適応処理回路６
０で求められた主画素ｙ(1)の予測値が減算されること
により、差分値△ｙが求められ、拘束教師データとされ
る。
【０１７６】従って、学習対生成回路４２が図９に示し
たように構成される場合よりも、副画素の予測精度の高
い（副画素の予測誤差が小さい）タップ係数を求めるこ
とが可能となる。
【０１７７】即ち、図２の画像処理装置では、副画素処
理回路１２の予測演算回路８において、予測タップｘk
とタップ係数△ｗnを用いた式（１２）の積和演算が行
われることにより、副画素ｙ(2)と主画素ｙ(1)の差分値
△ｙの予測値が求められ、さらに、復号回路９におい
て、予測演算回路８で求められた差分値ｙの予測値に、
主画素処理回路１１で求められた主画素ｙ(1)の予測値
が加算されることで、副画素ｙ(2)の予測値が求められ
る。
【０１７８】従って、図２の画像処理装置において、副
画素を求めるのに用いられるのが、主画素の真値ではな
く、その予測値であることから、図８の学習装置でも、
学習対生成回路４２において、主画素の真値ではなく、
その予測値を用いて、拘束教師データを生成した方が、
図２の画像処理装置における副画素の予測精度を向上さ
せることができる。
【０１７９】なお、図１１の実施の形態では、クラス分
類適応処理回路６０において、教師データとしてのＨＤ
画像データのすべてのＨＤ画素（の予測値）を求めるよ
うにしたが、その後段のメモリ５３および演算回路５４
では、クラス分類適応処理回路６０が出力するＨＤ画素
のうち、図２の画像処理装置において主画素とされるＨ
Ｄ画素だけが使用される。従って、クラス分類適応処理
回路６０では、図２の画像処理装置において主画素とさ
れるＨＤ画素のみを求め、副画素とされるＨＤ画素につ
いては無視する（特に処理をしない）ようにすることが
可能である。
【０１８０】次に、図１２は、本発明を適用した画像処
理装置の他の一実施の形態の構成例を示している。な
お、図中、図２における場合と対応する部分について
は、同一の符号を付してあり、以下では、その説明は、
適宜省略する。即ち、図１２の画像処理装置は、副画素
処理回路１２が、係数RAM７、予測演算回路８、および
復号回路９に代えて、係数RAM７７および予測演算回路
７８で構成されている他は、図２における場合と同様に
構成されている。
【０１８１】係数RAM７７には、図２の係数RAM５に記憶
されたクラスごとのタップ係数ｗnと、係数RAM７に記憶
されたタップ係数△ｗnとを加算して得られるクラスご
とのタップ係数が記憶されている。そして、係数RAM７
７は、クラス分類回路４から供給される注目ブロックの
クラスコードが表すクラスのタップ係数を読み出すこと
により、そのタップ係数を取得し、予測演算回路７８に
供給する。
【０１８２】予測演算回路７８は、係数RAM７７から供
給される注目ブロックのクラスのタップ係数と、予測タ
ップ生成回路３から供給される注目ブロックの予測タッ
プとを用いて、式（１）に対応する積和演算を行うこと
により、注目ブロックの副画素（の予測値）を求める。
さらに、予測演算回路７８は、求めた副画素を、フレー
ムメモリ１０の対応するアドレスに供給して記憶させ
る。
【０１８３】即ち、拘束教師データを用いた学習によれ
ば、式（１２）の積和演算に用いられる、副画素ｙ(2)
から主画素ｙ(1)を減算した差分値△ｙを求めるタップ
係数△ｗnが得られるが、このタップ係数△ｗnは、式
（１１）で定義されるものである。
【０１８４】そして、式（１１）によれば、タップ係数
ｗn (2)は、次式によって求めることができる。
【０１８５】
【数１４】 ・・・（１４）
【０１８６】式（１４）によれば、タップ係数ｗ
n (2)は、拘束教師データを用いた学習によって求められ
るタップ係数△ｗnから得られる。従って、タップ係数
ｗn (2)も、拘束教師データを用いた学習によって求めら
れたものということができる。そして、タップ係数ｗn
(2)によれば、式（１）に対応する式（１０）の積和演
算によって、副画素ｙ(2)（の予測値）を求めることが
できる。
【０１８７】そこで、図１２の実施の形態では、係数RA
M７７に、式（１４）で表されるクラスごとのタップ係
数ｗn (2)が記憶されており、予測演算回路７８におい
て、そのタップ係数ｗn (2)と、予測タップ生成回路３が
出力する予測タップｘnとを用いて、式（１０）の積和
演算が行われることにより、副画素ｙ(2)が求められ
る。
【０１８８】従って、図１２の画像処理装置では、図４
のステップＳ５において、係数RAM７からタップ係数△
ｗnが取得される代わりに、係数RAM７７からタップ係数
ｗn ( 2)が取得され、ステップＳ８において、係数RAM７
に記憶されたタップ係数△ｗnと予測タップｘnを用いた
式（１２）の積和演算によって、差分値△ｙが求めら
れ、さらに、その差分値△ｙと主画素ｙ(1)とが加算さ
れることにより、副画素ｙ(2)が求められる代わりに、
係数RAM７７に記憶されたタップ係数ｗn (2)と予測タッ
プｘnを用いた式（１０）の積和演算によって、副画素
ｙ(2)が求められる他は、図４で説明した場合と同様の
処理が行われるため、図１２の画像処理装置の処理につ
いて説明は、省略する。
【０１８９】図１２の画像処理装置においても、図２の
画像処理装置における場合と同様に、副画素は、主画素
との関係を維持するタップ係数を用いて求められるの
で、やはり、求められるＨＤ画像の画素値の変化が真値
の変化と逆になるようなことを防止して、より高画質の
ＨＤ画像を得ることができる。
【０１９０】ここで、係数RAM７７に記憶させるタップ
係数ｗn (2)は、図５の学習装置で求められたタップ係数
ｗn (1)と、図８の学習装置で求められたタップ係数Δｗ
nとを、別途加算することによって求めることも可能で
あるし、図５と図８の学習装置を、一体的に構成し、か
つ、タップ係数演算回路２８が出力するタップ係数ｗ n
(1)と、タップ演算回路４８が出力するタップ係数Δｗn
とを加算する回路を設けた学習装置によって求めるよう
にすることも可能である。
【０１９１】なお、図２の実施の形態では、副画素処理
回路１２において、主画素と副画素の差分値を、図３に
示したＳＤ画素の画素値ｘ(1)乃至ｘ(9)そのものを予測
タップとして用いて求めるようにしたが、主画素と副画
素の差分値については、ＳＤ画素の画素値ｘ(1)乃至ｘ
(9)の差分値を予測タップとして用いて求めるようにす
ることが可能である。即ち、主画素と副画素の差分値に
ついては、例えば、ＳＤ画素の画素値ｘ(1)乃至ｘ(9)の
うちの垂直方向に並ぶ２つのＳＤ画素どうしの差分値で
あるｘ(1)−ｘ(4)，ｘ(2)−ｘ(5)，ｘ(3)−ｘ(6)，ｘ
(4)−ｘ(7)，ｘ(5)−ｘ(8)，ｘ(6)−ｘ(9)を予測タップ
として用いて求めるようにすることが可能である。但
し、この場合、図８の学習装置でも、同様の予測タップ
を用いる必要がある。
【０１９２】また、本実施の形態では、説明を簡単にす
るために、ＨＤ画像データを、垂直方向に並ぶ２つのＨ
Ｄ画素でなるブロックに分割するようにしたが、ブロッ
クは、３以上のＨＤ画素で構成することが可能である。
即ち、ブロックは、例えば、図１３に示すように、横×
縦が２×２のＨＤ画素ｙ(1)，ｙ(2)，ｙ(3)，ｙ(4)で構
成することが可能である。
【０１９３】さらに、ブロックにおいて、主画素とする
ＨＤ画素は、１つに限定されるものではない。即ち、例
えば、図１３に示したように、４つのＨＤ画素ｙ(1)乃
至ｙ( 4)でブロックを構成した場合には、例えば、その
うちの１つのＨＤ画素ｙ(1)だけを主画素とするととも
に、残りの３つのＨＤ画素ｙ(2)乃至ｙ(4)を副画素とす
ることもできるし、あるいは、例えば、そのうちの２つ
のＨＤ画素ｙ(1)およびｙ(2)を主画素とし、残りの２つ
のＨＤ画素ｙ(3)およびｙ(4)を副画素とすることもでき
る。
【０１９４】また、図８の学習装置では、学習対生成回
路４２において、副画素から主画素を減算して得られる
差分値を、拘束教師データとして用いるようにしたが、
拘束教師データとしては、その他、例えば、副画素から
他の副画素を減算して得られる差分値を採用することも
可能である。即ち、例えば、図１３に示したように、４
つのＨＤ画素ｙ(1)乃至ｙ(4)でブロックを構成し、その
うちの１つのＨＤ画素ｙ(1)だけを主画素とするととも
に、残りの３つのＨＤ画素ｙ(2)乃至ｙ(4)を副画素とし
た場合には、例えば、副画素ｙ(2)については、その副
画素ｙ(2)から主画素ｙ(1)を減算して得られる差分値
を、副画素ｙ(3)については、その副画素ｙ (3)から副画
素ｙ(2)を減算して得られる差分値を、副画素ｙ(4)につ
いては、その副画素ｙ(4)から副画素ｙ(3)を減算して得
られる差分値を、それぞれ拘束教師データとして採用す
ることが可能である。但し、この場合、図２の画像処理
装置における復号回路９では、副画素ｙ(2)は、予測演
算回路８が出力する差分値に、フレームメモリ１０に記
憶された主画素ｙ(1)を加算することで、副画素ｙ
(3)は、予測演算回路８が出力する差分値に、フレーム
メモリ１０に記憶された副画素ｙ(2)を加算すること
で、副画素ｙ(4)は、予測演算回路８が出力する差分値
に、フレームメモリ１０に記憶された副画素ｙ(3)を加
算することで、それぞれ求められることになる。
【０１９５】さらに、本実施の形態では、教師データと
しての副画素に、１つの画素である主画素との差分値を
拘束する拘束条件しか与えなかったが、副画素には、複
数の画素それぞれとの差分値を拘束する拘束条件を与え
ることが可能である。即ち、例えば、図１３に示した場
合において、ｙ(4)を副画素とすると、副画素ｙ(4)につ
いては、差分値ｙ(4)−ｙ(1)，ｙ(4)−ｙ(2)，ｙ(4)−
ｙ(3)を拘束教師データとして、図８の足し込み回路４
７における足し込みに用いるようにすることが可能であ
る。
【０１９６】また、図２の実施の形態では、上下に隣接
する２つのＨＤ画素を１ブロックとし、さらに、そのブ
ロックにおける上側のＨＤ画素と下側のＨＤ画素を、そ
れぞれ主画素と副画素として、副画素の差分値の予測値
と、主画素の予測値とを加算することにより、副画素の
予測値を求める（副画素を復号する）ようにしたが、１
フレーム（またはフィールド）の各ＨＤ画素は、その
他、例えば、次のようにして求めることが可能である。
即ち、各ＨＤ画素（の予測値）は、例えば、そのＨＤ画
素を副画素として、その副画素の差分値の予測値と、そ
の上側に隣接するＨＤ画素の予測値とを加算することで
求めるようにすることが可能である。なお、この場合、
最上行のＨＤ画素は、そのＨＤ画素を主画素として、そ
の予測値を求めることにより復号しても良いし、また、
最上行のＨＤ画素については、その真値を、何らかの方
法で取得するようにしても良い。
【０１９７】さらに、本実施の形態では、学習装置にお
いて、教師データと生徒データとの関係を、教師データ
に所定の拘束条件を与えて学習することにより、教師デ
ータである複数のＨＤ画素どうしの関係を反映したＨＤ
画素の予測値を求めることができるタップ係数を求める
ようにしたが、この教師データに拘束条件を与えた学習
は、教師データの複数サンプル（複数のＨＤ画素）から
得られる特徴と、生徒データ（のサンプル）との関係を
学習していると言い換えることができる。
【０１９８】即ち、図８の学習装置では、上述したよう
に、副画素（の画素値の真値）から主画素を減算して得
られる差分値を拘束教師データとして、その拘束教師デ
ータと、生徒データとの関係が学習される。この場合
に、副画素から主画素を減算して得られる差分値は、主
画素としてのＨＤ画素と、副画素としてのＨＤ画素と
の、２つのＨＤ画素の特徴を表しているということがで
き、従って、図８の学習装置では、教師データの複数の
ＨＤ画素から得られる特徴と、生徒データの複数のＳＤ
画素との関係が学習され、両者を対応付けるタップ係数
が求められているということができる。
【０１９９】なお、教師データの複数のＨＤ画素から得
られる特徴は、差分値に限定されるものではない。
【０２００】また、特徴を求める複数のＨＤ画素も、２
つのＨＤ画素に限定されるものではなく、３以上のＨＤ
画素を採用することが可能である。
【０２０１】即ち、教師データの複数のＨＤ画素から得
られる特徴としては、例えば、３つのＨＤ画素から得ら
れる差分値などを採用することができる。この場合、図
８の学習装置では、例えば、教師データにおいて、上下
方向（または左右方向）に隣接する３つのＨＤ画素を、
上から順にａ，ｂ，ｃとして、上から２番目のＨＤ画素
ｂから一番上のＨＤ画素ａを減算した差分値△１＝ｂ−
ａが求められる。さらに、その差分値△１を、上から２
番目のＨＤ画素ｂに加算することで、一番下のＨＤ画素
ｃの、いわば仮の予測値ｃ’＝ｂ＋△１が求められる。
そして、ＨＤ画素ｃの仮の予測値ｃ’から、その真値ｃ
を減算して得られる差分値△２＝ｃ’−ｃが、３つのＨ
Ｄ画素ａ，ｂ，ｃから得られる特徴として用いられ、こ
の差分値△２と、生徒データ（から得られる予測タッ
プ）とを対応付けるタップ係数が学習される。
【０２０２】なお、この場合、図２の画像処理装置で
は、一番上のＨＤ画素ａと上から２番目のＨＤ画素ｂ
は、例えば、主画素とされ、主画素処理回路１１におい
て、それぞれの予測値が求められる。そして、一番下の
ＨＤ画素ｃについては、副画素処理回路１２において、
主画素処理回路１１で求められたＨＤ画素ａとｂ（の予
測値）から、それらの差分値△１（の予測値）が求めら
れ、主画素処理回路１１で求められたＨＤ画素ｂと加算
されることで、ＨＤ画素ｃの仮の予測値ｃ’が求められ
る。さらに、副画素処理回路１２において、３つのＨＤ
画素ａ，ｂ，ｃから得られる特徴としての差分値△２
（の予測値）が、学習により得られたタップ係数を用い
て求められ、その差分値△２を、ＨＤ画素ｃの仮の予測
値ｃ’から減算することで、ＨＤ画素ｃ（の予測値）が
求められる。
【０２０３】次に、上述した一連の処理は、ハードウェ
アにより行うこともできるし、ソフトウェアにより行う
こともできる。一連の処理をソフトウェアによって行う
場合には、そのソフトウェアを構成するプログラムが、
汎用のコンピュータ等にインストールされる。
【０２０４】そこで、図１４は、上述した一連の処理を
実行するプログラムがインストールされるコンピュータ
の一実施の形態の構成例を示している。
【０２０５】プログラムは、コンピュータに内蔵されて
いる記録媒体としてのハードディスク１０５やＲＯＭ１
０３に予め記録しておくことができる。
【０２０６】あるいはまた、プログラムは、フレキシブ
ルディスク、CD-ROM(Compact DiscRead Only Memory)，
MO(Magneto Optical)ディスク，DVD(Digital Versatile
Disc)、磁気ディスク、半導体メモリなどのリムーバブ
ル記録媒体１１１に、一時的あるいは永続的に格納（記
録）しておくことができる。このようなリムーバブル記
録媒体１１１は、いわゆるパッケージソフトウエアとし
て提供することができる。
【０２０７】なお、プログラムは、上述したようなリム
ーバブル記録媒体１１１からコンピュータにインストー
ルする他、ダウンロードサイトから、ディジタル衛星放
送用の人工衛星を介して、コンピュータに無線で転送し
たり、LAN(Local Area Network)、インターネットとい
ったネットワークを介して、コンピュータに有線で転送
し、コンピュータでは、そのようにして転送されてくる
プログラムを、通信部１０８で受信し、内蔵するハード
ディスク１０５にインストールすることができる。
【０２０８】コンピュータは、CPU(Central Processing
Unit)１０２を内蔵している。CPU１０２には、バス１
０１を介して、入出力インタフェース１１０が接続され
ており、CPU１０２は、入出力インタフェース１１０を
介して、ユーザによって、キーボードや、マウス、マイ
ク等で構成される入力部１０７が操作等されることによ
り指令が入力されると、それにしたがって、ROM(Read O
nly Memory)１０３に格納されているプログラムを実行
する。あるいは、また、CPU１０２は、ハードディスク
１０５に格納されているプログラム、衛星若しくはネッ
トワークから転送され、通信部１０８で受信されてハー
ドディスク１０５にインストールされたプログラム、ま
たはドライブ１０９に装着されたリムーバブル記録媒体
１１１から読み出されてハードディスク１０５にインス
トールされたプログラムを、RAM(Random Access Memor
y)１０４にロードして実行する。これにより、CPU１０
２は、上述したフローチャートにしたがった処理、ある
いは上述したブロック図の構成により行われる処理を行
う。そして、CPU１０２は、その処理結果を、必要に応
じて、例えば、入出力インタフェース１１０を介して、
LCD(Liquid Crystal Display)やスピーカ等で構成され
る出力部１０６から出力、あるいは、通信部１０８から
送信、さらには、ハードディスク１０５に記録等させ
る。
【０２０９】ここで、本明細書において、コンピュータ
に各種の処理を行わせるためのプログラムを記述する処
理ステップは、必ずしもフローチャートとして記載され
た順序に沿って時系列に処理する必要はなく、並列的あ
るいは個別に実行される処理（例えば、並列処理あるい
はオブジェクトによる処理）も含むものである。
【０２１０】また、プログラムは、１のコンピュータに
より処理されるものであっても良いし、複数のコンピュ
ータによって分散処理されるものであっても良い。さら
に、プログラムは、遠方のコンピュータに転送されて実
行されるものであっても良い。
【０２１１】なお、本実施の形態では、本発明を、ＳＤ
画像データをＨＤ画像データに変換する場合を例に説明
したが、本発明は、その他、例えば、音声データを、よ
り高音質の音声データに変換する場合にも適用可能であ
る。
【０２１２】さらに、本発明は、ＳＤ画像データを、そ
の画素数（サンプル数）を多くしたＨＤ画像データ、即
ち、空間解像度を向上させたＨＤ画像データに変換した
り、時間方向の解像度（フレームまたはフィールド数）
を向上させたＨＤ画像データや、レベル方向の解像度
（画素値に割り当てられたビット数）を向上させたＨＤ
画像データに変換する場合の他、例えば、画像を拡大す
る場合などにも適用可能である。
【０２１３】また、本実施の形態では、画像を変換する
画像処理装置と、その画像処理装置で用いるクラスごと
のタップ係数を学習する学習装置とを、別々の装置とし
て構成するようにしたが、画像処理装置と学習装置とは
一体的に構成することも可能である。そして、この場
合、学習装置には、リアルタイムで学習を行わせ、画像
処理装置で用いるタップ係数を、リアルタイムで更新さ
せるようにすることが可能である。
【０２１４】さらに、本実施の形態では、係数RAM５や
７、７７に、あらかじめクラスごとのタップ係数を記憶
させておくようにしたが、このタップ係数は、例えば、
ＳＤ画像とともに、画像処理装置に供給するようにする
ことも可能である。
【０２１５】さらに、本実施の形態では、１次式によっ
て、ＨＤ画素を求めるようにしたが、ＨＤ画素は、２次
以上の式によって、求めるようにすることも可能であ
る。
【０２１６】また、クラスタップや予測タップは、１つ
のフレームだけではなく、複数フレームのＳＤ画像デー
タからＳＤ画素を抽出することによって構成することが
可能である。
【０２１７】さらに、ＨＤ画像データのブロックも、１
つのフレームだけではなく、複数フレームのＨＤ画像デ
ータのＨＤ画素によって構成することが可能である。
【０２１８】なお、図２や図１２の画像処理装置は、例
えば、テレビジョン放送信号を受信して画像を表示する
テレビジョン受像機や、ＤＶＤから画像データを再生し
て出力するＤＶＤ再生装置、ビデオテープから画像デー
タを再生して出力するＶＴＲその他の画像を処理する装
置などに適用可能である。
【０２１９】
【発明の効果】以上の如く、本発明によれば、データ
を、より品質の良いデータに変換することが可能とな
る。
【図面の簡単な説明】
【図１】画質が劣化する場合を説明する図である。
【図２】本発明を適用した画像処理装置の第１実施の形
態の構成例を示すブロック図である。
【図３】ＨＤ画像データのブロックと、クラスタップお
よび予測タップを示す図である。
【図４】画像処理装置の処理を説明するフローチャート
である。
【図５】係数RAM５に記憶させるタップ係数を学習する
学習装置の一実施の形態の構成例を示すブロック図であ
る。
【図６】学習対生成回路２２の構成例を示すブロック図
である。
【図７】係数RAM５に記憶させるタップ係数を学習する
学習処理を説明するフローチャートである。
【図８】係数RAM７に記憶させるタップ係数を学習する
学習装置の一実施の形態の構成例を示すブロック図であ
る。
【図９】学習対生成回路４２の構成例を示すブロック図
である。
【図１０】係数RAM７に記憶させるタップ係数を学習す
る学習処理を説明するフローチャートである。
【図１１】学習対生成回路４２の他の構成例を示すブロ
ック図である。
【図１２】本発明を適用した画像処理装置の第２実施の
形態の構成例を示すブロック図である。
【図１３】ＨＤ画像データのブロックの他の例を示す図
である。
【図１４】本発明を適用したコンピュータの一実施の形
態の構成例を示すブロック図である。
【符号の説明】
１ フレームメモリ， ２ クラスタップ生成回路，
３ 予測タップ生成回路， ４ クラス分類回路， ５
係数RAM， ６ 予測演算回路， ７ 係数RAM， ８
予測演算回路， ９ 復号回路， １０ フレーム
メモリ， １１主画素処理回路， １２ 副画素処理回
路， ２１ 学習用データベース，２２ 学習対生成回
路， ２３ 学習対データベース， ２４ クラスタッ
プ生成回路， ２５ 予測タップ生成回路， ２６ ク
ラス分類回路， ２７ 足し込み回路， ２８ タップ
係数演算回路， ２９ タップ係数メモリ， ３１間引
き回路， ３２ ＬＰＦ， ４１ 学習用データベー
ス， ４２ 学習対生成回路， ４３ 学習対データベ
ース， ４４ クラスタップ生成回路， ４５予測タッ
プ生成回路， ４６ クラス分類回路， ４７ 足し込
み回路， ４８ タップ係数演算回路， ４９ タップ
係数メモリ， ５１ 間引き回路，５２ ＬＰＦ， ５
３ メモリ， ５４ 演算回路， ５５ セレクタ，
６０クラス分類適応処理回路， ６１ フレームメモ
リ， ６２ クラスタップ生成回路， ６３ 予測タッ
プ生成回路， ６４ クラス分類回路， ６５ 係数RA
M， ６６ 予測演算回路， ７７ 係数RAM， ７８
予測演算回路， １０１ バス， １０２ CPU， １
０３ ROM， １０４ RAM， １０５ ハードディス
ク， １０６ 出力部， １０７ 入力部， １０８
通信部， １０９ドライブ， １１０ 入出力インタフ
ェース， １１１ リムーバブル記録媒体
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B056 BB02 BB11 BB23 BB28 BB42 BB51 BB72 HH03 5B057 AA20 CA08 CA12 CA16 CB08 CB12 CB16 CC01 CD06 CE02 CE03 5C063 BA03 BA04 BA08 CA01 CA05 CA11 CA29 CA36

Claims (44)

    【特許請求の範囲】
  1. 【請求項１】 第１のデータを第２のデータに変換する
    データ変換装置であって、 注目している前記第２のデータのサンプルである注目サ
    ンプルを１以上のクラスのうちのいずれかのクラスにク
    ラス分けするクラス分類を行うのに用いるクラスタップ
    を、前記第１のデータから生成するクラスタップ生成手
    段と、 前記クラスタップに基づいて、前記注目サンプルをクラ
    ス分類するクラス分類手段と、 前記注目サンプルを求めるのに用いる予測タップを、前
    記第１のデータから生成する予測タップ生成手段と、 学習の教師となる、前記第２のデータに対応する教師デ
    ータと、前記学習の生徒となる、前記第１のデータに対
    応する生徒データとの関係を、前記教師データに所定の
    拘束条件を与えて、前記１以上のクラスごとに学習する
    ことにより得られたタップ係数から、前記注目サンプル
    のクラスのタップ係数を取得するタップ係数取得手段
    と、 前記注目サンプルのクラスのタップ係数と、前記予測タ
    ップとを用いて、前記注目サンプルを求める演算手段と
    を備えることを特徴とするデータ変換装置。
  2. 【請求項２】 前記所定の拘束条件は、前記教師データ
    の第１のサンプルと第２のサンプルとの関係を拘束する
    条件であることを特徴とする請求項１に記載のデータ変
    換装置。
  3. 【請求項３】 前記所定の拘束条件は、前記教師データ
    の第１と第２のサンプルどうしの差分値を拘束する条件
    であることを特徴とする請求項２に記載のデータ変換装
    置。
  4. 【請求項４】 前記タップ係数は、前記教師データの前
    記第１と第２のサンプルどうしの差分値と、前記生徒デ
    ータとの関係を学習することにより得られたものであ
    り、 前記演算手段は、 前記注目サンプルについて、前記注目サンプルと、前記
    注目サンプル以外の前記第２のデータの所定のサンプル
    との差分値を、前記タップ係数と予測タップとを用いて
    求め、 前記注目サンプルについて求められた差分値と、前記所
    定のサンプルとを加算することにより前記注目サンプル
    を求めることを特徴とする請求項３に記載のデータ変換
    装置。
  5. 【請求項５】 前記タップ係数は、 前記教師データの前記第１と第２のサンプルどうしの差
    分値と、前記生徒データとの関係を学習することにより
    得られた第１のタップ係数と、 前記教師データの前記第１のサンプルと、前記生徒デー
    タとの関係を学習することにより得られた第２のタップ
    係数とを加算したものであり、 前記演算手段は、前記タップ係数と予測タップを用い
    て、前記注目サンプルを求めることを特徴とする請求項
    ３に記載のデータ変換装置。
  6. 【請求項６】 前記演算手段は、前記タップ係数と予測
    タップとを用いた積和演算を行うことにより、前記注目
    サンプルを求めることを特徴とする請求項１に記載のデ
    ータ変換装置。
  7. 【請求項７】 前記第１と第２のデータは、画像データ
    であることを特徴とする請求項１に記載のデータ変換装
    置。
  8. 【請求項８】 前記第２のデータは、前記第１のデータ
    よりも高品質のデータであることを特徴とする請求項１
    に記載のデータ変換装置。
  9. 【請求項９】 第１のデータを第２のデータに変換する
    データ変換方法であって、 注目している前記第２のデータのサンプルである注目サ
    ンプルを１以上のクラスのうちのいずれかのクラスにク
    ラス分けするクラス分類を行うのに用いるクラスタップ
    を、前記第１のデータから生成するクラスタップ生成ス
    テップと、 前記クラスタップに基づいて、前記注目サンプルをクラ
    ス分類するクラス分類ステップと、 前記注目サンプルを求めるのに用いる予測タップを、前
    記第１のデータから生成する予測タップ生成ステップ
    と、 学習の教師となる、前記第２のデータに対応する教師デ
    ータと、前記学習の生徒となる、前記第１のデータに対
    応する生徒データとの関係を、前記教師データに所定の
    拘束条件を与えて、前記１以上のクラスごとに学習する
    ことにより得られたタップ係数から、前記注目サンプル
    のクラスのタップ係数を取得するタップ係数取得ステッ
    プと、 前記注目サンプルのクラスのタップ係数と、前記予測タ
    ップとを用いて、前記注目サンプルを求める演算ステッ
    プとを備えることを特徴とするデータ変換方法。
  10. 【請求項１０】 第１のデータを第２のデータに変換す
    るデータ変換処理を、コンピュータに行わせるプログラ
    ムであって、 注目している前記第２のデータのサンプルである注目サ
    ンプルを１以上のクラスのうちのいずれかのクラスにク
    ラス分けするクラス分類を行うのに用いるクラスタップ
    を、前記第１のデータから生成するクラスタップ生成ス
    テップと、 前記クラスタップに基づいて、前記注目サンプルをクラ
    ス分類するクラス分類ステップと、 前記注目サンプルを求めるのに用いる予測タップを、前
    記第１のデータから生成する予測タップ生成ステップ
    と、 学習の教師となる、前記第２のデータに対応する教師デ
    ータと、前記学習の生徒となる、前記第１のデータに対
    応する生徒データとの関係を、前記教師データに所定の
    拘束条件を与えて、前記１以上のクラスごとに学習する
    ことにより得られたタップ係数から、前記注目サンプル
    のクラスのタップ係数を取得するタップ係数取得ステッ
    プと、 前記注目サンプルのクラスのタップ係数と、前記予測タ
    ップとを用いて、前記注目サンプルを求める演算ステッ
    プとを備えることを特徴とするプログラム。
  11. 【請求項１１】 第１のデータを第２のデータに変換す
    るデータ変換処理を、コンピュータに行わせるプログラ
    ムが記録されている記録媒体であって、 注目している前記第２のデータのサンプルである注目サ
    ンプルを１以上のクラスのうちのいずれかのクラスにク
    ラス分けするクラス分類を行うのに用いるクラスタップ
    を、前記第１のデータから生成するクラスタップ生成ス
    テップと、 前記クラスタップに基づいて、前記注目サンプルをクラ
    ス分類するクラス分類ステップと、 前記注目サンプルを求めるのに用いる予測タップを、前
    記第１のデータから生成する予測タップ生成ステップ
    と、 学習の教師となる、前記第２のデータに対応する教師デ
    ータと、前記学習の生徒となる、前記第１のデータに対
    応する生徒データとの関係を、前記教師データに所定の
    拘束条件を与えて、前記１以上のクラスごとに学習する
    ことにより得られたタップ係数から、前記注目サンプル
    のクラスのタップ係数を取得するタップ係数取得ステッ
    プと、 前記注目サンプルのクラスのタップ係数と、前記予測タ
    ップとを用いて、前記注目サンプルを求める演算ステッ
    プとを備えるプログラムが記録されていることを特徴と
    する記録媒体。
  12. 【請求項１２】 第１のデータを第２のデータに変換す
    るのに用いられる所定のタップ係数を求める学習を行う
    学習装置であって、 前記タップ係数の学習の教師となる、前記第２のデータ
    に対応する教師データのうちの注目している注目データ
    を１以上のクラスのうちのいずれかのクラスにクラス分
    けするクラス分類を行うのに用いるクラスタップを、前
    記学習の生徒となる、前記第１のデータに対応する生徒
    データから生成するクラスタップ生成手段と、 前記クラスタップに基づいて、前記注目データをクラス
    分類するクラス分類手段と、 前記注目データを求めるのに用いる予測タップを、前記
    生徒データから生成する予測タップ生成手段と、 前記注目データと予測タップを用い、前記教師データと
    生徒データとの関係を、前記教師データに所定の拘束条
    件を与えて、前記１以上のクラスごとに学習することに
    より、前記１以上のクラスごとの前記タップ係数を求め
    る学習手段とを備えることを特徴とする学習装置。
  13. 【請求項１３】 前記学習手段は、前記教師データの第
    １のサンプルと第２のサンプルとの関係を拘束する拘束
    条件を与えて、前記教師データと生徒データとの関係を
    学習することを特徴とする請求項１２に記載の学習装
    置。
  14. 【請求項１４】 前記学習手段は、前記教師データの第
    １と第２のサンプルどうしの差分値を拘束する拘束条件
    を与えて、前記教師データと生徒データとの関係を学習
    することを特徴とする請求項１３に記載の学習装置。
  15. 【請求項１５】 前記学習手段は、前記教師データの前
    記第１と第２のサンプルどうしの差分値と、前記生徒デ
    ータとの関係を学習することにより、前記タップ係数を
    求めることを特徴とする請求項１４に記載の学習装置。
  16. 【請求項１６】 前記学習手段は、 前記教師データの前記第１と第２のサンプルどうしの差
    分値と、前記生徒データとの関係を学習することにより
    第１のタップ係数を求めるとともに、前記教師データの
    前記第１のサンプルと、前記生徒データとの関係を学習
    することにより第２のタップ係数を求め、 前記第１と第２のタップ係数を加算することにより、最
    終的なタップ係数を求めることを特徴とする請求項１４
    に記載の学習装置。
  17. 【請求項１７】 前記学習手段は、前記第１のデータ
    を、その第１のデータと前記タップ係数との積和演算を
    行うことにより、前記第２のデータに変換する前記タッ
    プ係数を求めることを特徴とする請求項１２に記載の学
    習装置。
  18. 【請求項１８】 前記第１と第２のデータは、画像デー
    タであることを特徴とする請求項１２に記載の学習装
    置。
  19. 【請求項１９】 前記第２のデータは、前記第１のデー
    タよりも高品質のデータであることを特徴とする請求項
    １２に記載の学習装置。
  20. 【請求項２０】 第１のデータを第２のデータに変換す
    るのに用いられる所定のタップ係数を求める学習を行う
    学習方法であって、 前記タップ係数の学習の教師となる、前記第２のデータ
    に対応する教師データのうちの注目している注目データ
    を１以上のクラスのうちのいずれかのクラスにクラス分
    けするクラス分類を行うのに用いるクラスタップを、前
    記学習の生徒となる、前記第１のデータに対応する生徒
    データから生成するクラスタップ生成ステップと、 前記クラスタップに基づいて、前記注目データをクラス
    分類するクラス分類ステップと、 前記注目データを求めるのに用いる予測タップを、前記
    生徒データから生成する予測タップ生成ステップと、 前記注目データと予測タップを用い、前記教師データと
    生徒データとの関係を、前記教師データに所定の拘束条
    件を与えて、前記１以上のクラスごとに学習することに
    より、前記１以上のクラスごとの前記タップ係数を求め
    る学習ステップとを備えることを特徴とする学習方法。
  21. 【請求項２１】 第１のデータを第２のデータに変換す
    るのに用いられる所定のタップ係数を求める学習処理
    を、コンピュータに行わせるプログラムであって、 前記タップ係数の学習の教師となる、前記第２のデータ
    に対応する教師データのうちの注目している注目データ
    を１以上のクラスのうちのいずれかのクラスにクラス分
    けするクラス分類を行うのに用いるクラスタップを、前
    記学習の生徒となる、前記第１のデータに対応する生徒
    データから生成するクラスタップ生成ステップと、 前記クラスタップに基づいて、前記注目データをクラス
    分類するクラス分類ステップと、 前記注目データを求めるのに用いる予測タップを、前記
    生徒データから生成する予測タップ生成ステップと、 前記注目データと予測タップを用い、前記教師データと
    生徒データとの関係を、前記教師データに所定の拘束条
    件を与えて、前記１以上のクラスごとに学習することに
    より、前記１以上のクラスごとの前記タップ係数を求め
    る学習ステップとを備えることを特徴とするプログラ
    ム。
  22. 【請求項２２】 第１のデータを第２のデータに変換す
    るのに用いられる所定のタップ係数を求める学習処理
    を、コンピュータに行わせるプログラムが記録されてい
    る記録媒体であって、 前記タップ係数の学習の教師となる、前記第２のデータ
    に対応する教師データのうちの注目している注目データ
    を１以上のクラスのうちのいずれかのクラスにクラス分
    けするクラス分類を行うのに用いるクラスタップを、前
    記学習の生徒となる、前記第１のデータに対応する生徒
    データから生成するクラスタップ生成ステップと、 前記クラスタップに基づいて、前記注目データをクラス
    分類するクラス分類ステップと、 前記注目データを求めるのに用いる予測タップを、前記
    生徒データから生成する予測タップ生成ステップと、 前記注目データと予測タップを用い、前記教師データと
    生徒データとの関係を、前記教師データに所定の拘束条
    件を与えて、前記１以上のクラスごとに学習することに
    より、前記１以上のクラスごとの前記タップ係数を求め
    る学習ステップとを備えるプログラムが記録されている
    ことを特徴とする記録媒体。
  23. 【請求項２３】 第１のデータを第２のデータに変換す
    るデータ変換装置であって、 注目している前記第２のデータのサンプルである注目サ
    ンプルを１以上のクラスのうちのいずれかのクラスにク
    ラス分けするクラス分類を行うのに用いるクラスタップ
    を、前記第１のデータから生成するクラスタップ生成手
    段と、 前記クラスタップに基づいて、前記注目サンプルをクラ
    ス分類するクラス分類手段と、 前記注目サンプルを求めるのに用いる予測タップを、前
    記第１のデータから生成する予測タップ生成手段と、 学習の教師となる、前記第２のデータに対応する教師デ
    ータの複数サンプルから得られる特徴と、前記学習の生
    徒となる、前記第１のデータに対応する生徒データの複
    数サンプルとの関係を、前記１以上のクラスごとに学習
    することにより得られたタップ係数から、前記注目サン
    プルのクラスのタップ係数を取得するタップ係数取得手
    段と、 前記注目サンプルのクラスのタップ係数と、前記予測タ
    ップとを用いて、前記注目サンプルを求める演算手段と
    を備えることを特徴とするデータ変換装置。
  24. 【請求項２４】 前記教師データの複数サンプルは、前
    記教師データの第１のサンプルと第２のサンプルの２つ
    のサンプルであることを特徴とする請求項２３に記載の
    データ変換装置。
  25. 【請求項２５】 前記教師データの複数サンプルから得
    られる特徴は、前記第１と第２のサンプルどうしの差分
    値であることを特徴とする請求項２４に記載のデータ変
    換装置。
  26. 【請求項２６】 前記タップ係数は、前記教師データの
    前記第１と第２のサンプルどうしの差分値と、前記生徒
    データの複数サンプルとの関係を学習することにより得
    られたものであり、 前記演算手段は、 前記注目サンプルについて、前記注目サンプルと、前記
    注目サンプル以外の前記第２のデータの所定のサンプル
    との差分値を、前記タップ係数と予測タップとを用いて
    求め、 前記注目サンプルについて求められた差分値と、前記所
    定のサンプルとを加算することにより前記注目サンプル
    を求めることを特徴とする請求項２５に記載のデータ変
    換装置。
  27. 【請求項２７】 前記タップ係数は、 前記教師データの前記第１と第２のサンプルどうしの差
    分値と、前記生徒データの複数サンプルとの関係を学習
    することにより得られた第１のタップ係数と、 前記教師データの前記第１のサンプルと、前記生徒デー
    タの複数サンプルとの関係を学習することにより得られ
    た第２のタップ係数とを加算したものであり、 前記演算手段は、前記タップ係数と予測タップを用い
    て、前記注目サンプルを求めることを特徴とする請求項
    ２５に記載のデータ変換装置。
  28. 【請求項２８】 前記演算手段は、前記タップ係数と予
    測タップとを用いた積和演算を行うことにより、前記注
    目サンプルを求めることを特徴とする請求項２３に記載
    のデータ変換装置。
  29. 【請求項２９】 前記第１と第２のデータは、画像デー
    タであることを特徴とする請求項２３に記載のデータ変
    換装置。
  30. 【請求項３０】 前記第２のデータは、前記第１のデー
    タよりも高品質のデータであることを特徴とする請求項
    ２３に記載のデータ変換装置。
  31. 【請求項３１】 第１のデータを第２のデータに変換す
    るデータ変換方法であって、 注目している前記第２のデータのサンプルである注目サ
    ンプルを１以上のクラスのうちのいずれかのクラスにク
    ラス分けするクラス分類を行うのに用いるクラスタップ
    を、前記第１のデータから生成するクラスタップ生成ス
    テップと、 前記クラスタップに基づいて、前記注目サンプルをクラ
    ス分類するクラス分類ステップと、 前記注目サンプルを求めるのに用いる予測タップを、前
    記第１のデータから生成する予測タップ生成ステップ
    と、 学習の教師となる、前記第２のデータに対応する教師デ
    ータの複数サンプルから得られる特徴と、前記学習の生
    徒となる、前記第１のデータに対応する生徒データの複
    数サンプルとの関係を、前記１以上のクラスごとに学習
    することにより得られたタップ係数から、前記注目サン
    プルのクラスのタップ係数を取得するタップ係数取得ス
    テップと、 前記注目サンプルのクラスのタップ係数と、前記予測タ
    ップとを用いて、前記注目サンプルを求める演算ステッ
    プとを備えることを特徴とするデータ変換方法。
  32. 【請求項３２】 第１のデータを第２のデータに変換す
    るデータ変換処理を、コンピュータに行わせるプログラ
    ムであって、 注目している前記第２のデータのサンプルである注目サ
    ンプルを１以上のクラスのうちのいずれかのクラスにク
    ラス分けするクラス分類を行うのに用いるクラスタップ
    を、前記第１のデータから生成するクラスタップ生成ス
    テップと、 前記クラスタップに基づいて、前記注目サンプルをクラ
    ス分類するクラス分類ステップと、 前記注目サンプルを求めるのに用いる予測タップを、前
    記第１のデータから生成する予測タップ生成ステップ
    と、 学習の教師となる、前記第２のデータに対応する教師デ
    ータの複数サンプルから得られる特徴と、前記学習の生
    徒となる、前記第１のデータに対応する生徒データの複
    数サンプルとの関係を、前記１以上のクラスごとに学習
    することにより得られたタップ係数から、前記注目サン
    プルのクラスのタップ係数を取得するタップ係数取得ス
    テップと、 前記注目サンプルのクラスのタップ係数と、前記予測タ
    ップとを用いて、前記注目サンプルを求める演算ステッ
    プとを備えることを特徴とするプログラム。
  33. 【請求項３３】 第１のデータを第２のデータに変換す
    るデータ変換処理を、コンピュータに行わせるプログラ
    ムが記録されている記録媒体であって、 注目している前記第２のデータのサンプルである注目サ
    ンプルを１以上のクラスのうちのいずれかのクラスにク
    ラス分けするクラス分類を行うのに用いるクラスタップ
    を、前記第１のデータから生成するクラスタップ生成ス
    テップと、 前記クラスタップに基づいて、前記注目サンプルをクラ
    ス分類するクラス分類ステップと、 前記注目サンプルを求めるのに用いる予測タップを、前
    記第１のデータから生成する予測タップ生成ステップ
    と、 学習の教師となる、前記第２のデータに対応する教師デ
    ータの複数サンプルから得られる特徴と、前記学習の生
    徒となる、前記第１のデータに対応する生徒データの複
    数サンプルとの関係を、前記１以上のクラスごとに学習
    することにより得られたタップ係数から、前記注目サン
    プルのクラスのタップ係数を取得するタップ係数取得ス
    テップと、 前記注目サンプルのクラスのタップ係数と、前記予測タ
    ップとを用いて、前記注目サンプルを求める演算ステッ
    プとを備えるプログラムが記録されていることを特徴と
    する記録媒体。
  34. 【請求項３４】 第１のデータを第２のデータに変換す
    るのに用いられる所定のタップ係数を求める学習を行う
    学習装置であって、 前記タップ係数の学習の教師となる、前記第２のデータ
    に対応する教師データのうちの注目している注目データ
    を１以上のクラスのうちのいずれかのクラスにクラス分
    けするクラス分類を行うのに用いるクラスタップを、前
    記学習の生徒となる、前記第１のデータに対応する生徒
    データから生成するクラスタップ生成手段と、 前記クラスタップに基づいて、前記注目データをクラス
    分類するクラス分類手段と、 前記注目データを求めるのに用いる予測タップを、前記
    生徒データから生成する予測タップ生成手段と、 前記注目データと予測タップを用い、前記教師データの
    複数サンプルから得られる特徴と生徒データの複数サン
    プルとの関係を、前記１以上のクラスごとに学習するこ
    とにより、前記１以上のクラスごとの前記タップ係数を
    求める学習手段とを備えることを特徴とする学習装置。
  35. 【請求項３５】 前記学習手段は、前記教師データの第
    １のサンプルと第２のサンプルの２つのサンプルと、前
    記生徒データの複数サンプルとの関係を学習することを
    特徴とする請求項３４に記載の学習装置。
  36. 【請求項３６】 前記学習手段は、前記教師データの第
    １と第２のサンプルどうしの差分値を、前記教師データ
    の複数サンプルから得られる特徴として求めることを特
    徴とする請求項３５に記載の学習装置。
  37. 【請求項３７】 前記学習手段は、前記教師データの前
    記第１と第２のサンプルどうしの差分値と、前記生徒デ
    ータの複数サンプルとの関係を学習することにより、前
    記タップ係数を求めることを特徴とする請求項３６に記
    載の学習装置。
  38. 【請求項３８】 前記学習手段は、 前記教師データの前記第１と第２のサンプルどうしの差
    分値と、前記生徒データの複数サンプルとの関係を学習
    することにより第１のタップ係数を求めるとともに、前
    記教師データの前記第１のサンプルと、前記生徒データ
    の複数サンプルとの関係を学習することにより第２のタ
    ップ係数を求め、 前記第１と第２のタップ係数を加算することにより、最
    終的なタップ係数を求めることを特徴とする請求項３６
    に記載の学習装置。
  39. 【請求項３９】 前記学習手段は、前記第１のデータ
    を、その第１のデータと前記タップ係数との積和演算を
    行うことにより、前記第２のデータに変換する前記タッ
    プ係数を求めることを特徴とする請求項３４に記載の学
    習装置。
  40. 【請求項４０】 前記第１と第２のデータは、画像デー
    タであることを特徴とする請求項３４に記載の学習装
    置。
  41. 【請求項４１】 前記第２のデータは、前記第１のデー
    タよりも高品質のデータであることを特徴とする請求項
    ３４に記載の学習装置。
  42. 【請求項４２】 第１のデータを第２のデータに変換す
    るのに用いられる所定のタップ係数を求める学習を行う
    学習方法であって、 前記タップ係数の学習の教師となる、前記第２のデータ
    に対応する教師データのうちの注目している注目データ
    を１以上のクラスのうちのいずれかのクラスにクラス分
    けするクラス分類を行うのに用いるクラスタップを、前
    記学習の生徒となる、前記第１のデータに対応する生徒
    データから生成するクラスタップ生成ステップと、 前記クラスタップに基づいて、前記注目データをクラス
    分類するクラス分類ステップと、 前記注目データを求めるのに用いる予測タップを、前記
    生徒データから生成する予測タップ生成ステップと、 前記注目データと予測タップを用い、前記教師データの
    複数サンプルから得られる特徴と生徒データの複数サン
    プルとの関係を、前記１以上のクラスごとに学習するこ
    とにより、前記１以上のクラスごとの前記タップ係数を
    求める学習ステップとを備えることを特徴とする学習方
    法。
  43. 【請求項４３】 第１のデータを第２のデータに変換す
    るのに用いられる所定のタップ係数を求める学習処理
    を、コンピュータに行わせるプログラムであって、 前記タップ係数の学習の教師となる、前記第２のデータ
    に対応する教師データのうちの注目している注目データ
    を１以上のクラスのうちのいずれかのクラスにクラス分
    けするクラス分類を行うのに用いるクラスタップを、前
    記学習の生徒となる、前記第１のデータに対応する生徒
    データから生成するクラスタップ生成ステップと、 前記クラスタップに基づいて、前記注目データをクラス
    分類するクラス分類ステップと、 前記注目データを求めるのに用いる予測タップを、前記
    生徒データから生成する予測タップ生成ステップと、 前記注目データと予測タップを用い、前記教師データの
    複数サンプルから得られる特徴と生徒データの複数サン
    プルとの関係を、前記１以上のクラスごとに学習するこ
    とにより、前記１以上のクラスごとの前記タップ係数を
    求める学習ステップとを備えることを特徴とするプログ
    ラム。
  44. 【請求項４４】 第１のデータを第２のデータに変換す
    るのに用いられる所定のタップ係数を求める学習処理
    を、コンピュータに行わせるプログラムが記録されてい
    る記録媒体であって、 前記タップ係数の学習の教師となる、前記第２のデータ
    に対応する教師データのうちの注目している注目データ
    を１以上のクラスのうちのいずれかのクラスにクラス分
    けするクラス分類を行うのに用いるクラスタップを、前
    記学習の生徒となる、前記第１のデータに対応する生徒
    データから生成するクラスタップ生成ステップと、 前記クラスタップに基づいて、前記注目データをクラス
    分類するクラス分類ステップと、 前記注目データを求めるのに用いる予測タップを、前記
    生徒データから生成する予測タップ生成ステップと、 前記注目データと予測タップを用い、前記教師データの
    複数サンプルから得られる特徴と生徒データの複数サン
    プルとの関係を、前記１以上のクラスごとに学習するこ
    とにより、前記１以上のクラスごとの前記タップ係数を
    求める学習ステップとを備えるプログラムが記録されて
    いることを特徴とする記録媒体。
JP2002125628A 2002-04-26 2002-04-26 データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 Expired - Fee Related JP4238516B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2002125628A JP4238516B2 (ja) 2002-04-26 2002-04-26 データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
KR1020037016846A KR100968987B1 (ko) 2002-04-26 2003-04-22 데이터 변환 장치 및 데이터 변환 방법, 학습 장치 및 학습 방법, 및 기록 매체
CNB038007746A CN1306807C (zh) 2002-04-26 2003-04-22 数据转换装置及方法、学习设备及方法
EP03717683A EP1501296A1 (en) 2002-04-26 2003-04-22 Data converting apparatus, data converting method, learning apparatus, leaning method, program, and recording medium
US10/482,136 US7679675B2 (en) 2002-04-26 2003-04-22 Data converting apparatus, data converting method, learning apparatus, leaning method, program, and recording medium
PCT/JP2003/005080 WO2003092284A1 (fr) 2002-04-26 2003-04-22 Procede et dispositif de conversion de donnees, procede et dispositif d'apprentissage, logiciel, et support d'enregistrement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002125628A JP4238516B2 (ja) 2002-04-26 2002-04-26 データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2003319348A true JP2003319348A (ja) 2003-11-07
JP4238516B2 JP4238516B2 (ja) 2009-03-18

Family

ID=29267571

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002125628A Expired - Fee Related JP4238516B2 (ja) 2002-04-26 2002-04-26 データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体

Country Status (6)

Country Link
US (1) US7679675B2 (ja)
EP (1) EP1501296A1 (ja)
JP (1) JP4238516B2 (ja)
KR (1) KR100968987B1 (ja)
CN (1) CN1306807C (ja)
WO (1) WO2003092284A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008038748A1 (fr) * 2006-09-28 2008-04-03 Sony Corporation Dispositif et procédé d'opération de coefficient de prévision, dispositif et procédé d'opération de données d'image, programme et support d'enregistrement
JP2008098800A (ja) * 2006-10-10 2008-04-24 Sony Corp 画像処理装置、画像処理方法、及びプログラム
JP2008124639A (ja) * 2006-11-09 2008-05-29 Sony Corp 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4066146B2 (ja) * 2002-04-26 2008-03-26 ソニー株式会社 データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
JP4311166B2 (ja) * 2003-11-05 2009-08-12 ソニー株式会社 情報信号の処理装置および処理方法、それに使用される係数種データの生成装置および生成方法、並びに各方法を実行するためのプログラム、そのプログラムを記録した媒体
JP4915341B2 (ja) * 2007-12-20 2012-04-11 ソニー株式会社 学習装置および方法、画像処理装置および方法、並びにプログラム
JP5061883B2 (ja) * 2007-12-21 2012-10-31 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および学習装置
JP2014200000A (ja) * 2013-03-29 2014-10-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2014200008A (ja) * 2013-03-29 2014-10-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
KR101651085B1 (ko) 2014-08-26 2016-09-05 알파비젼(주) 열가소성 플라스틱 조명반사체 및 그 제조방법과 성형몰드구조
IN2015CH02866A (ja) * 2015-06-09 2015-07-17 Wipro Ltd
EP3637363B1 (en) * 2017-06-05 2023-05-24 Rakuten Group, Inc. Image processing device, image processing method and image processing program

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3669530B2 (ja) 1995-06-30 2005-07-06 ソニー株式会社 画像信号変換装置及び画像信号変換方法
JP3671469B2 (ja) 1995-09-19 2005-07-13 ソニー株式会社 予測係数の学習方法並びに信号変換装置および方法
JP3864400B2 (ja) * 1996-10-04 2006-12-27 ソニー株式会社 画像処理装置および画像処理方法
JP3743077B2 (ja) * 1996-10-31 2006-02-08 ソニー株式会社 画像信号変換装置および方法
WO1998030027A1 (en) 1996-12-26 1998-07-09 Sony Corporation Picture signal coding device, picture signal coding method, picture signal decoding device, picture signal decoding method, and recording medium
JP3844030B2 (ja) * 1996-12-26 2006-11-08 ソニー株式会社 画像信号符号化装置および画像信号符号化方法、画像信号復号装置および画像信号復号方法
US5912708A (en) * 1996-12-26 1999-06-15 Sony Corporation Picture signal encoding device, picture signal encoding method, picture signal decoding device, picture signal decoding method, and recording medium
JP4517409B2 (ja) * 1998-11-09 2010-08-04 ソニー株式会社 データ処理装置およびデータ処理方法
JP4362895B2 (ja) 1999-06-21 2009-11-11 ソニー株式会社 データ処理装置およびデータ処理方法、並びに記録媒体
JP4395677B2 (ja) 2000-01-14 2010-01-13 ソニー株式会社 学習装置および学習方法、並びに記録媒体
JP2001236339A (ja) * 2000-02-23 2001-08-31 Olympus Optical Co Ltd クラス分類装置
JP2001318745A (ja) * 2000-05-11 2001-11-16 Sony Corp データ処理装置およびデータ処理方法、並びに記録媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008038748A1 (fr) * 2006-09-28 2008-04-03 Sony Corporation Dispositif et procédé d'opération de coefficient de prévision, dispositif et procédé d'opération de données d'image, programme et support d'enregistrement
JP2008098800A (ja) * 2006-10-10 2008-04-24 Sony Corp 画像処理装置、画像処理方法、及びプログラム
JP2008124639A (ja) * 2006-11-09 2008-05-29 Sony Corp 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム

Also Published As

Publication number Publication date
EP1501296A1 (en) 2005-01-26
WO2003092284A1 (fr) 2003-11-06
KR100968987B1 (ko) 2010-07-09
US7679675B2 (en) 2010-03-16
JP4238516B2 (ja) 2009-03-18
KR20040101896A (ko) 2004-12-03
CN1306807C (zh) 2007-03-21
CN1543744A (zh) 2004-11-03
US20050111749A1 (en) 2005-05-26

Similar Documents

Publication Publication Date Title
US20100202711A1 (en) Image processing apparatus, image processing method, and program
JP2003319348A (ja) データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
JP2013021635A (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP4362895B2 (ja) データ処理装置およびデータ処理方法、並びに記録媒体
JP2002300538A (ja) 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する種係数データの生成装置および生成方法、並びに情報提供媒体
JP3702464B2 (ja) データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
JP4193495B2 (ja) 画像信号処理装置、画像信号処理方法およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びにコンピュータ読み取り可能な記憶媒体およびプログラム
JP2001222702A (ja) 画像処理装置および画像処理方法、並びに記録媒体
JP2001084368A (ja) データ処理装置およびデータ処理方法、並びに媒体
JP4470898B2 (ja) 画像処理装置および方法、並びに、プログラム
JP4066146B2 (ja) データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
JP4442076B2 (ja) データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
JP4135045B2 (ja) データ処理装置およびデータ処理方法、並びに媒体
JP2007251690A (ja) 画像処理装置および方法、学習装置および方法、並びにプログラム
JP3693187B2 (ja) 信号変換装置及び信号変換方法
JP4058671B2 (ja) 記憶制御装置および記憶制御方法、並びにプログラムおよび記録媒体
JP4154647B2 (ja) データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体
JP4505729B2 (ja) 画像処理装置、画像処理方法、プログラム、および記録媒体
JP4225039B2 (ja) データ処理装置および方法、記録媒体、並びにプログラム
JP4310691B2 (ja) 画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラム
JP2008118519A (ja) 画像変換装置及び画像変換方法、学習装置及び学習方法、並びにプログラム
JP4491701B2 (ja) データ処理装置およびデータ処理方法、並びに記録媒体
JP2001195586A (ja) 学習装置および学習方法、並びに媒体
JP2001298713A (ja) 画像処理装置および画像処理方法、並びに記録媒体
KR101108635B1 (ko) 계수 데이터의 생성 장치 및 생성 방법, 정보 신호의 처리 장치 및 처리 방법, 및 그것을 기록한 매체

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081125

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081208

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130109

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees