JP2001320682A

JP2001320682A - データ処理装置およびデータ処理方法、並びに記録媒体およびプログラム

Info

Publication number: JP2001320682A
Application number: JP2001045251A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Kazutaka Ando; 一隆安藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-02-29
Filing date: 2001-02-21
Publication date: 2001-11-16
Also published as: TW577201B

Abstract

(57)【要約】【課題】各種の画質の画像を提供する。【解決手段】向上情報生成部１１は、番組として放送
される画像（放送用画像）の画質を向上させるための複
数種類の向上情報を生成する。統合部１２は、向上情報
生成部１１が生成する複数種類の向上情報のうちの１以
上を、放送用画像に埋め込むこと等によって統合し、統
合信号を出力する。この統合信号は、送信部１３を介し
て送信される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、データ処理装置お
よびデータ処理方法、並びに記録媒体およびプログラム
に関し、特に、例えば、各種の画質の画像を提供するこ
と等ができるようにするデータ処理装置およびデータ処
理方法、並びに記録媒体およびプログラムに関する。

【０００２】

【従来の技術】近年、わが国においても、ケーブルテレ
ビジョン放送や、ディジタル衛星放送といった、有料で
の番組放送サービスの提供が浸透しつつある。

【０００３】

【発明が解決しようとする課題】ところで、有料での番
組放送サービスにおいては、視聴可能な番組に応じて、
あるいは実際に視聴した番組に応じて、課金が行われる
のが一般的であるが、さらに、番組としての画像の画質
を、ユーザが支払う視聴料等に応じて変えることができ
れば、よりきめ細やかなサービスを提供することができ
る。

【０００４】本発明は、このような状況に鑑みてなされ
たものであり、各種の画質の画像を提供すること等がで
きるようにするものである。

【０００５】

【課題を解決するための手段】本発明の第１のデータ処
理装置は、データの品質を向上させるための向上情報を
生成する向上情報生成手段と、データに対して、向上情
報を埋め込む埋め込み手段とを備えることを特徴とす
る。

【０００６】向上情報生成手段には、データの品質を向
上させた品質向上データの予測値を予測するのに用いる
予測係数を、向上情報として生成させることができる。

【０００７】向上情報生成手段には、予測係数を、所定
のクラスごとに生成させることができる。

【０００８】向上情報生成手段には、教師となる教師デ
ータのうちの注目している注目教師データのクラスを求
めるのに用いるクラスタップを、生徒となる生徒データ
を用いて構成するクラスタップ構成手段と、クラスタッ
プに基づいて、注目教師データのクラスを求めるクラス
分類を行うクラス分類手段と、注目教師データを予測す
るのに、予測係数とともに用いる予測タップを、生徒デ
ータを用いて構成する予測タップ構成手段と、教師デー
タおよび予測タップを用いて、クラスごとの予測係数を
求める予測係数演算手段とを設けることができる。

【０００９】向上情報生成手段には、複数種類の向上情
報を生成させることができる。

【００１０】向上情報生成手段には、異なるクラス数に
ついての予測係数を、複数種類の向上情報として生成さ
せることができる。

【００１１】向上情報生成手段には、異なる品質の生徒
データまたは教師データを用いることにより求められる
複数種類の予測係数を、複数種類の向上情報として生成
させることができる。

【００１２】向上情報生成手段には、少なくとも、予測
係数と、線形補間を行うための情報とを、複数種類の向
上情報として生成させることができる。

【００１３】向上情報生成手段には、異なる構成のクラ
スタップまたは予測タップを用いることにより求められ
る複数種類の予測係数を、複数種類の向上情報として生
成させることができる。

【００１４】向上情報生成手段には、クラス分類を、異
なる方法で行うことにより求められる複数種類の予測係
数を、複数種類の向上情報として生成させることができ
る。

【００１５】向上情報生成手段には、データの品質を向
上させた品質向上データの予測値を予測するのに用い
る、データのクラスを表すクラスコードを、向上情報と
して生成させることができる。

【００１６】向上情報生成手段には、学習の教師となる
教師データのうちの注目している注目教師データを予測
するのに用いる予測タップを、学習の生徒となる生徒デ
ータを用いて構成する予測タップ構成手段と、学習を行
うことにより求められた、クラスコードごとの予測係数
を記憶する予測係数記憶手段と、予測タップおよび予測
係数を用いて、注目教師データの予測値を求める予測演
算手段と、注目教師データの予測値を最小にする予測係
数のクラスコードを検出するクラスコード検出手段とを
設け、クラスコード検出手段において検出されたクラス
コードを、向上情報として出力させることができる。

【００１７】向上情報生成手段には、学習の教師となる
教師データのうちの注目している注目教師データのクラ
スを求めるのに用いるクラスタップを、教師データを用
いて構成するクラスタップ構成手段と、クラスタップに
基づいて、注目教師データのクラスを求めるクラス分類
を行うクラス分類手段とを設け、クラス分類手段におい
て求められたクラスに対応するクラスコードを、向上情
報として出力させることができる。

【００１８】埋め込み手段には、データが有するエネル
ギの偏りを利用して、データおよび向上情報を元に戻す
ことができるように、データに、向上情報を埋め込ませ
ることができる。

【００１９】埋め込み手段には、スペクトラム拡散を行
うことにより、データに、向上情報を埋め込ませること
ができる。

【００２０】埋め込み手段には、データの１ビット以上
を、向上情報に変更することにより、データに、向上情
報を埋め込ませることができる。

【００２１】データは、画像データとすることができ、
向上情報は、画像データの画質を向上させる情報とする
ことができる。

【００２２】本発明の第１のデータ処理方法は、データ
の品質を向上させるための向上情報を生成する向上情報
生成ステップと、データに対して、向上情報を埋め込む
埋め込みステップとを備えることを特徴とする。

【００２３】本発明の第１の記録媒体は、データの品質
を向上させるための向上情報を生成する向上情報生成ス
テップと、データに対して、向上情報を埋め込む埋め込
みステップとを備えるプログラムが記録されていること
を特徴とする。

【００２４】本発明の第１のプログラムは、データの品
質を向上させるための向上情報を生成する向上情報生成
ステップと、データに対して、向上情報を埋め込む埋め
込みステップとを備えることを特徴とする。

【００２５】本発明の第２のデータ処理装置は、埋め込
みデータから、向上情報を抽出する抽出手段と、データ
の品質を、向上情報を用いて向上させる向上手段とを備
えることを特徴とする。

【００２６】向上情報は、データの品質を向上させた品
質向上データの予測値を予測するのに用いる予測係数と
することができ、この場合、向上手段には、データおよ
び予測係数を用いることにより、品質向上データの予測
値を求めさせることができる。

【００２７】向上情報は、所定のクラスごとに求められ
た予測係数とすることができ、この場合、向上手段に
は、データおよびクラスごとの予測係数を用いることに
より、品質向上データの予測値を求めさせることができ
る。

【００２８】向上手段には、注目している品質向上デー
タである注目品質向上データのクラスを求めるのに用い
るクラスタップを、データを用いて構成するクラスタッ
プ構成手段と、クラスタップに基づいて、注目品質向上
データのクラスを求めるクラス分類を行うクラス分類手
段と、注目品質向上データを予測するのに、予測係数と
ともに用いる予測タップを、データを用いて構成する予
測タップ構成手段と、注目品質向上データの予測値を、
その注目品質向上データのクラスの予測係数と、予測タ
ップとを用いて求める予測手段とを設けることができ
る。

【００２９】向上情報は、データの品質を向上させた品
質向上データの予測値を予測するのに用いる所定のクラ
スごとの予測係数の、そのクラスを表すクラスコードと
し、向上手段には、データおよびクラスコードに対応す
る予測係数を用いることにより、品質向上データの予測
値を求めさせることができる。

【００３０】向上手段には、注目している品質向上デー
タである注目品質向上データを予測するのに、予測係数
とともに用いる予測タップを、データを用いて構成する
予測タップ構成手段と、注目品質向上データの予測値
を、向上情報としてのクラスコードに対応する予測係数
と、予測タップとを用いて求める予測手段とを設けるこ
とができる。

【００３１】埋め込みデータは、複数種類の向上情報が
埋め込まれているものとすることができる。

【００３２】埋め込みデータは、異なるクラス数につい
ての予測係数が、複数種類の向上情報として埋め込まれ
ているものとすることができる。

【００３３】予測係数は、生徒となる生徒データと、教
師となる教師データとを用いて生成されるものとするこ
とができ、この場合、埋め込みデータは、異なる品質の
生徒データまたは教師データを用いることにより求めら
れる複数種類の予測係数が、複数種類の向上情報として
埋め込まれているものとすることができる。

【００３４】埋め込みデータは、少なくとも、予測係数
と、線形補間を行うための情報とが、複数種類の向上情
報として埋め込まれているものとすることができる。

【００３５】埋め込みデータは、異なる構成のクラスタ
ップまたは予測タップを用いることにより求められる複
数種類の予測係数が、複数種類の向上情報として埋め込
まれているものとすることができる。

【００３６】埋め込みデータは、クラス分類を、異なる
方法で行うことにより求められる複数種類の予測係数
が、複数種類の向上情報として埋め込まれているものと
することができる。

【００３７】本発明の第２のデータ処理装置には、複数
種類の向上情報から、データの品質を向上させるのに用
いるものを選択する向上情報選択手段をさらに設けるこ
とができる。

【００３８】抽出手段には、データが有するエネルギの
偏りを利用して、埋め込みデータから、向上情報を抽出
させることができる。

【００３９】抽出手段には、逆スペクトラム拡散を行う
ことにより、埋め込みデータから、向上情報を抽出させ
ることができる。

【００４０】抽出手段には、埋め込みデータの１ビット
以上を、向上情報として抽出させることができる。

【００４１】データは、画像データとすることができ、
向上情報は、画像データの画質を向上させる情報とする
ことができる。

【００４２】本発明の第２のデータ処理方法は、埋め込
みデータから、向上情報を抽出する抽出ステップと、デ
ータの品質を、向上情報を用いて向上させる向上ステッ
プとを備えることを特徴とする。

【００４３】本発明の第２の記録媒体は、埋め込みデー
タから、向上情報を抽出する抽出ステップと、データの
品質を、向上情報を用いて向上させる向上ステップとを
備えるプログラムが記録されていることを特徴とする。

【００４４】本発明の第２のプログラムは、埋め込みデ
ータから、向上情報を抽出する抽出ステップと、データ
の品質を、向上情報を用いて向上させる向上ステップと
を備えることを特徴とする。

【００４５】本発明の第３のデータ処理装置は、データ
の品質を向上させるための複数種類の向上情報を生成す
る向上情報生成手段と、データと、１種類以上の向上情
報とを送信する送信手段とを備えることを特徴とする。

【００４６】本発明の第３のデータ処理装置には、複数
種類の向上情報の中から、データとともに送信するもの
を選択する向上情報選択手段をさらに設けることができ
る。

【００４７】向上情報選択手段には、データを受信する
受信装置からの要求に応じて、向上情報を選択させるこ
とができる。

【００４８】本発明の第３のデータ処理装置には、向上
情報選択手段が選択する向上情報に応じて、課金処理を
行う課金手段をさらに設けることができる。

【００４９】向上情報生成手段には、少なくとも、デー
タの品質を向上させた品質向上データの予測値を予測す
るのに用いる予測係数を、向上情報として生成させるこ
とができる。

【００５０】向上情報生成手段には、予測係数を、所定
のクラスごとに生成させることができる。

【００５１】向上情報生成手段には、教師となる教師デ
ータのうちの注目している注目教師データのクラスを求
めるのに用いるクラスタップを、生徒となる生徒データ
を用いて構成するクラスタップ構成手段と、クラスタッ
プに基づいて、注目教師データのクラスを求めるクラス
分類を行うクラス分類手段と、注目教師データを予測す
るのに、予測係数とともに用いる予測タップを、生徒デ
ータを用いて構成する予測タップ構成手段と、教師デー
タおよび予測タップを用いて、クラスごとの予測係数を
求める予測係数演算手段とを設けることができる。

【００５２】向上情報生成手段には、異なるクラス数に
ついての予測係数を、複数種類の向上情報として生成さ
せることができる。

【００５３】向上情報生成手段には、異なる品質の生徒
データまたは教師データを用いることにより求められる
複数種類の予測係数を、複数種類の向上情報として生成
させることができる。

【００５４】向上情報生成手段には、少なくとも、予測
係数と、線形補間を行うための情報とを、複数種類の向
上情報として生成させることができる。

【００５５】向上情報生成手段には、異なる構成のクラ
スタップまたは予測タップを用いることにより求められ
る複数種類の予測係数を、複数種類の向上情報として生
成させることができる。

【００５６】向上情報生成手段には、クラス分類を、異
なる方法で行うことにより求められる複数種類の予測係
数を、複数種類の向上情報として生成させることができ
る。

【００５７】送信手段には、データが有するエネルギの
偏りを利用して、データおよび向上情報を元に戻すこと
ができるように、データに、向上情報を埋め込んで、デ
ータおよび１種類以上の向上情報を送信させることがで
きる。

【００５８】送信手段には、スペクトラム拡散を行うこ
とにより、データに、向上情報を埋め込んで、データお
よび１種類以上の向上情報を送信させることができる。

【００５９】送信手段には、データの１ビット以上を、
向上情報に変更することにより、データに、向上情報を
埋め込んで、データおよび１種類以上の向上情報を送信
させることができる。

【００６０】送信手段には、データと、複数種類の向上
情報のすべてを送信させることができる。

【００６１】データは、画像データとすることができ、
向上情報は、画像データの画質を向上させる情報とする
ことができる。

【００６２】本発明の第３のデータ処理方法は、データ
の品質を向上させるための複数種類の向上情報を生成す
る向上情報生成ステップと、データと、１種類以上の向
上情報とを送信する送信ステップとを備えることを特徴
とする。

【００６３】本発明の第３の記録媒体は、データの品質
を向上させるための複数種類の向上情報を生成する向上
情報生成ステップと、データと、１種類以上の向上情報
とを送信する送信ステップとを備えるプログラムが記録
されていることを特徴とする。

【００６４】本発明の第３のプログラムは、データの品
質を向上させるための複数種類の向上情報を生成する向
上情報生成ステップと、データと、１種類以上の向上情
報とを送信する送信ステップとを備えることを特徴とす
る。

【００６５】本発明の第４のデータ処理装置は、データ
および１種類以上の向上情報を受信する受信手段と、デ
ータの品質を、１種類以上の向上情報のうちのいずれか
を用いて向上させる向上手段と、データの品質を向上さ
せるのに用いた向上情報に応じて、課金処理を行う課金
手段とを備えることを特徴とする。

【００６６】受信手段には、複数種類の向上情報を受信
させることができ、この場合、本発明の第４のデータ処
理装置には、複数種類の向上情報の中から、データの品
質を向上させるのに用いるものを選択する向上情報選択
手段をさらに設けることができる。

【００６７】向上情報選択手段には、ユーザからの要求
に応じて、向上情報を選択させることができる。

【００６８】本発明の第４のデータ処理装置には、デー
タの品質を向上させるのに用いる向上情報を、データお
よび１種類以上の向上情報を送信する送信装置に要求す
る要求手段をさらに設けることができ、この場合、受信
手段には、送信装置が、要求手段の要求に応じて送信し
てくる向上情報を受信させることができる。

【００６９】向上情報は、データの品質を向上させた品
質向上データの予測値を予測するのに用いる予測係数と
することができ、この場合、向上手段には、データおよ
び予測係数を用いることにより、品質向上データの予測
値を求めさせることができる。

【００７０】向上情報は、所定のクラスごとに求められ
た予測係数とすることができ、この場合、向上手段に
は、データおよびクラスごとの予測係数を用いることに
より、品質向上データの予測値を求めさせることができ
る。

【００７１】向上手段には、注目している品質向上デー
タである注目品質向上データのクラスを求めるのに用い
るクラスタップを、データを用いて構成するクラスタッ
プ構成手段と、クラスタップに基づいて、注目品質向上
データのクラスを求めるクラス分類を行うクラス分類手
段と、注目品質向上データを予測するのに、予測係数と
ともに用いる予測タップを、データを用いて構成する予
測タップ構成手段と、注目品質向上データの予測値を、
その注目品質向上データのクラスの予測係数と、予測タ
ップとを用いて求める予測手段とを設けることができ
る。

【００７２】受信手段には、複数種類の向上情報を受信
させることができる。

【００７３】受信手段には、異なるクラス数についての
予測係数を、複数種類の向上情報として受信させること
ができる。

【００７４】予測係数は、生徒となる生徒データと、教
師となる教師データとを用いて生成されるものとするこ
とができ、この場合、受信手段には、異なる品質の生徒
データまたは教師データを用いることにより求められる
複数種類の予測係数を、複数種類の向上情報として受信
させることができる。

【００７５】受信手段には、少なくとも、予測係数と、
線形補間を行うための情報とを、複数種類の向上情報と
して受信させることができる。

【００７６】受信手段には、異なる構成のクラスタップ
または予測タップを用いることにより求められる複数種
類の予測係数を、複数種類の向上情報として受信させる
ことができる。

【００７７】受信手段には、クラス分類を、異なる方法
で行うことにより求められる複数種類の予測係数を、複
数種類の向上情報として受信させることができる。

【００７８】受信手段には、データに、１種類以上の向
上情報が埋め込まれた埋め込みデータを受信させること
ができ、この場合、第４のデータ処理装置には、埋め込
みデータから、向上情報を抽出する抽出手段をさらに設
けることができる。

【００７９】抽出手段には、データが有するエネルギの
偏りを利用して、埋め込みデータから、向上情報を抽出
させることができる。

【００８０】抽出手段には、逆スペクトラム拡散を行う
ことにより、埋め込みデータから、向上情報を抽出させ
ることができる。

【００８１】抽出手段には、埋め込みデータの１ビット
以上を、向上情報として抽出させることができる。

【００８２】データは、画像データとすることができ、
向上情報は、画像データの画質を向上させる情報とする
ことができる。

【００８３】本発明の第４のデータ処理方法は、データ
および１種類以上の向上情報を受信する受信ステップ
と、データの品質を、１種類以上の向上情報のうちのい
ずれかを用いて向上させる向上ステップと、データの品
質を向上させるのに用いた向上情報に応じて、課金処理
を行う課金ステップとを備えることを特徴とする。

【００８４】本発明の第４の記録媒体は、データおよび
１種類以上の向上情報を受信する受信ステップと、デー
タの品質を、１種類以上の向上情報のうちのいずれかを
用いて向上させる向上ステップと、データの品質を向上
させるのに用いた向上情報に応じて、課金処理を行う課
金ステップとを備えるプログラムが記録されていること
を特徴とする。

【００８５】本発明の第４のプログラムは、データおよ
び１種類以上の向上情報を受信する受信ステップと、デ
ータの品質を、１種類以上の向上情報のうちのいずれか
を用いて向上させる向上ステップと、データの品質を向
上させるのに用いた向上情報に応じて、課金処理を行う
課金ステップとを備えることを特徴とする。

【００８６】本発明の第１のデータ処理装置およびデー
タ処理方法、並びに記録媒体およびプログラムにおいて
は、データの品質を向上させるための向上情報が生成さ
れ、データに対して、向上情報が埋め込まれる。

【００８７】本発明の第２のデータ処理装置およびデー
タ処理方法、並びに記録媒体およびプログラムにおいて
は、埋め込みデータから、向上情報が抽出され、データ
の品質が、向上情報を用いて向上される。

【００８８】本発明の第３のデータ処理装置およびデー
タ処理方法、並びに記録媒体およびプログラムにおいて
は、データの品質を向上させるための複数種類の向上情
報が生成され、データと、１種類以上の向上情報とが送
信される。

【００８９】本発明の第４のデータ処理装置およびデー
タ処理方法、並びに記録媒体およびプログラムにおいて
は、データおよび１種類以上の向上情報が受信され、デ
ータの品質が、１種類以上の向上情報のうちのいずれか
を用いて向上される一方、そのデータの品質を向上させ
るのに用いた向上情報に応じて、課金処理が行われる。

【００９０】

【発明の実施の形態】図１は、本発明を適用したディジ
タル衛星放送システム（システムとは、複数の装置が論
理的に集合した物をいい、各構成の装置が同一筐体中に
あるか否かは問わない）の一実施の形態の構成例を示し
ている。

【００９１】送信装置１では、番組放送に対応する電波
としての衛星放送波が、アンテナ（パラボラアンテナ）
１Ａから衛星２に送出される。衛星（通信衛星または放
送衛星）２は、送信装置１からの衛星放送波を受信し、
その衛星放送波に対して、増幅その他の必要な処理を行
って送出する。

【００９２】衛星２から送出された衛星放送波は、受信
装置３のアンテナ（パラボラアンテナ）３Ａで受信さ
れ、表示等される。

【００９３】また、送信装置１と受信装置３とは、例え
ば、公衆回線、インターネット、ＣＡＴＶ(Cable Telev
ision)網、無線通信網等の双方向の通信が可能なネット
ワーク４を介して通信可能となっており、送信装置１と
受信装置３との間では、ネットワーク４を介しての課金
の情報のやりとり等の課金処理が行われる。

【００９４】なお、図１の実施の形態では、説明を簡単
にするために、１つの受信装置３しか図示していない
が、受信装置３と同一構成の受信装置は、複数設けるこ
とが可能である。

【００９５】次に、図２は、図１の送信装置１の構成例
を示している。

【００９６】向上情報生成部１１には、番組として放送
される画像データ（以下、適宜、放送用画像データとい
う）、またはその放送用画像データと内容が同一で、画
質がより高い画像データ（高画質の画像データ）が入力
されるようになっている。向上情報生成部１１は、受信
装置３において、放送用画像データの画質を向上させる
ための向上情報を生成する。

【００９７】即ち、向上情報生成部１１には、放送用画
像データの画質を向上させる向上方式を選択する方式選
択信号も供給されるようになっている。向上情報生成部
１１は、そこに供給される方式選択信号にしたがって、
１種類以上の向上情報を生成する。向上情報生成部１１
が生成する向上情報は、統合部１２に供給されるように
なっている。

【００９８】統合部１２には、向上情報生成部１１から
向上情報が供給される他、放送用画像データも供給され
るようになっている。統合部１２は、放送用画像データ
と、向上情報とを統合し、統合信号を生成して、送信部
１３に供給する。

【００９９】ここで、放送用画像データと、向上情報と
の統合の方法としては、例えば、時分割多重化や、周波
数多重化の他、後述するような埋め込み(embedded codi
ng)等を用いることが可能である。また、放送用画像デ
ータと、向上情報とは、統合せずに、別の番組として送
信することも可能である。

【０１００】送信部１３は、統合部１２が出力する統合
信号に対して、変調、増幅、その他の必要な処理を施し
て、アンテナ１Ａに供給する。

【０１０１】課金処理部１４は、通信インタフェース１
５およびネットワーク４を介して、受信装置３と通信す
ることにより、受信装置３への番組提供に対する課金処
理を行う。

【０１０２】通信インタフェース１５は、ネットワーク
４を介しての通信制御を行う。

【０１０３】次に、図３のフローチャートを参照して、
図２の送信装置１で行われる番組の送信処理について説
明する。

【０１０４】まず最初に、ステップＳ１において、向上
情報生成部１１は、そこに供給される方式選択信号にし
たがって、放送用画像データの画質を向上させるための
１種類以上の向上情報を生成し、統合部１２に供給す
る。ここで、向上情報を生成する放送用画像データの単
位（以下、適宜、向上情報生成単位という）は、例え
ば、１フレーム単位でも良いし、１番組単位等でも良
い。

【０１０５】統合部１２は、向上情報生成部１１から、
向上情報を受信すると、ステップＳ２において、放送用
画像データと、向上情報とを統合し、統合信号を生成し
て、送信部１３に供給する。送信部１３では、ステップ
Ｓ３において、統合部１２が出力する統合信号に対し
て、変調、増幅、その他の必要な処理を施して、アンテ
ナ１Ａに供給する。これにより、統合信号は、衛星放送
波として、アンテナ１Ａから送出される。

【０１０６】その後、ステップＳ１に戻り、以下、同様
の処理が繰り返される。

【０１０７】次に、図４は、図１の受信装置３の構成例
を示している。

【０１０８】衛星２を介して放送されている衛星放送波
は、アンテナ３Ａで受信され、その受信信号は、受信部
２１に供給されるようになっている。受信部２１は、ア
ンテナ３Ａからの受信信号に対して、増幅、復調、その
他の必要な処理を施し、統合信号を得て、抽出部２２に
供給する。

【０１０９】抽出部２２は、受信部２１からの統合信号
から、放送用画像データと、１種類以上の向上情報とを
抽出し、放送用画像データを、品質向上部２４に供給す
るとともに、１種類以上の向上情報を、選択部２３に供
給する。

【０１１０】選択部２３は、抽出部２２からの１種類以
上の向上情報から、課金処理部２７からの画質レベル信
号に対応する種類のものを選択し、その向上情報ととも
に、その向上情報によって画質を向上させる向上方式を
選択する方式選択信号を、品質向上部２４に供給する。

【０１１１】品質向上部２４は、抽出部２２から供給さ
れる放送用画像データに対して、方式選択信号が表す方
式の処理を、選択部２３から供給される向上情報を用い
て施す。これにより、品質向上部２４は、画質を向上さ
せた画像データを得て、表示部２５に供給する。表示部
２５は、例えば、ＣＲＴ(Cathode Ray Tube)や、液晶パ
ネル、DMD(Dynamic Mirror Device)等で構成され、品質
向上部２４から供給される画像データに対応する画像を
表示する。

【０１１２】操作部２６は、表示部２５に表示される画
像の画質を選択するとき等に、ユーザによって操作さ
れ、その操作に対応する操作信号は、課金処理部２７に
供給されるようになっている。

【０１１３】課金処理部２７は、操作部２６からの操作
信号に基づいて、ユーザが選択した画質に対する課金処
理を行う。即ち、課金処理部２７は、操作部２６からの
操作信号に基づいて、ユーザが要求する画質を認識し、
その画質の程度を表す画質レベル信号を、選択部２３に
供給する。これにより、選択部２３では、ユーザが要求
する画質を得るのに適した向上情報を選択する。さら
に、課金処理部２７は、画質レベル信号を、通信インタ
フェース２８およびネットワーク４を介して、送信装置
１に送信する。

【０１１４】ここで、このようにして、課金処理部２７
から送信装置１に対して送信される画質レベル信号は、
送信装置１（図２）において、通信インタフェース１５
を介して、課金処理部１４で受信される。課金処理部１
４では、その画質レベル信号に応じて、受信装置３のユ
ーザに対する課金が行われる。即ち、課金処理部１４
は、例えば、ユーザごとの視聴料金を計算し、送信装置
１側の口座番号、ユーザの口座番号、および積算された
視聴料金を少なくとも含む課金信号を、通信インタフェ
ース１５およびネットワーク４を介して、図示せぬ課金
センタ（銀行センタ）に送信する。課金センタは、課金
信号を受信すると、視聴料金に対応する金額を、ユーザ
の口座から減額するとともに、送信装置１側の口座を増
額するような決済処理を行う。

【０１１５】通信インタフェース２８は、ネットワーク
４を介しての通信制御を行う。

【０１１６】次に、図５のフローチャートを参照して、
図４の受信装置３で行われる番組の受信処理について説
明する。

【０１１７】アンテナ３Ａが衛星放送波を受信すること
により出力する受信信号は、受信部２１に供給される。
受信部２１では、ステップＳ１１において、その受信信
号が受信され、統合信号に変換される。この統合信号
は、抽出部２２に供給される。

【０１１８】抽出部２２では、ステップＳ１２におい
て、受信部２１からの統合信号から、放送用画像データ
と、１種類以上の向上情報とが抽出される。そして、放
送用画像データは、品質向上部２４に供給され、１種類
以上の向上情報は、選択部２３に供給される。

【０１１９】選択部２３は、ステップＳ１３において、
抽出部２２からの１種類以上の向上情報から、課金処理
部２７からの画質レベル信号に対応する種類のものを選
択し、その向上情報とともに、その向上情報によって画
質を向上させる向上方式を表す方式選択信号を、品質向
上部２４に供給する。

【０１２０】品質向上部２４は、ステップＳ１４におい
て、抽出部２２から供給される放送用画像データに対し
て、方式選択信号が表す方式の処理を、選択部２３から
供給される向上情報を用いて施す。これにより、品質向
上部２４は、画質を向上させた画像データを得て、表示
部２５に供給して表示させる。そして、ステップＳ１１
に戻り、以下、同様の処理が繰り返される。

【０１２１】以上の受信処理において、課金処理部２７
が出力する画質レベル信号は、ユーザが操作部２６を操
作することにより要求した画質に対応したものである。
従って、表示部２５では、ユーザが要求する画質の画像
が表示されることになる。

【０１２２】次に、画像データの画質を向上させる手法
としては、例えば、本件出願人が先に提案したクラス分
類適応処理を用いることができる。

【０１２３】クラス分類適応処理は、クラス分類処理と
適応処理とからなり、クラス分類処理によって、データ
を、その性質に基づいてクラス分けし、各クラスごとに
適応処理を施すものである。適応処理は、以下のような
手法のものである。

【０１２４】即ち、適応処理では、例えば、標準解像度
あるいは低解像度のＳＤ(StandardDefinition)画像を構
成する画素（以下、適宜、ＳＤ画素という）と、所定の
予測係数との線形結合により、そのＳＤ画像の解像度を
向上させたＨＤ(High Definition)画像の画素の予測値
を求めることで、そのＳＤ画像の解像度を向上させた画
像が得られる。

【０１２５】具体的には、例えば、いま、あるＨＤ画像
を教師データとするとともに、そのＨＤ画像の画素数を
少なくする等して解像度等の画質を劣化させたＳＤ画像
を生徒データとする。そして、ＨＤ画像を構成する画素
（以下、適宜、ＨＤ画素という）の画素値ｙの予測値Ｅ
［ｙ］を、幾つかのＳＤ画素（ＳＤ画像を構成する画
素）の画素値ｘ₁，ｘ₂，・・・の集合と、所定の予測係
数ｗ₁，ｗ₂，・・・の線形結合により規定される線形１
次結合モデルにより求めることを考える。この場合、予
測値Ｅ［ｙ］は、次式で表すことができる。

【０１２６】Ｅ［ｙ］＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・・・・（１）

【０１２７】式（１）を一般化するために、予測係数ｗ
_jの集合でなる行列Ｗ、生徒データｘ_ijの集合でなる行
列Ｘ、および予測値Ｅ［ｙ_j］の集合でなる行列Ｙ’
を、

【数１】で定義すると、次のような観測方程式が成立する。

【０１２８】ＸＷ＝Ｙ’・・・（２）ここで、行列Ｘの成分ｘ_ijは、ｉ件目の生徒データの集
合（ｉ件目の教師データｙ_iの予測に用いる生徒データ
の集合）の中のｊ番目の生徒データを意味し、行列Ｗの
成分ｗ_jは、生徒データの集合の中のｊ番目の生徒デー
タとの積が演算される予測係数を表す。また、ｙ_iは、
ｉ件目の教師データを表し、従って、Ｅ［ｙ_i］は、ｉ
件目の教師データの予測値を表す。なお、式（１）の左
辺におけるｙは、行列Ｙの成分ｙ_iのサフィックスｉを
省略したものであり、また、式（１）の右辺におけるｘ
₁，ｘ₂，・・・も、行列Ｘの成分ｘ_ijのサフィックスｉ
を省略したものである。

【０１２９】式（２）の観測方程式に最小自乗法を適用
して、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求め
ることを考える。この場合、教師データとなるＨＤ画素
の真の画素値ｙの集合でなる行列Ｙ、およびＨＤ画素の
画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる
行列Ｅを、

【数２】で定義すると、式（２）から、次のような残差方程式が
成立する。

【０１３０】ＸＷ＝Ｙ＋Ｅ・・・（３）この場合、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を
求めるための予測係数ｗ_jは、自乗誤差

【数３】を最小にすることで求めることができる。

【０１３１】従って、上述の自乗誤差を予測係数ｗ_jで
微分したものが０になる場合、即ち、次式を満たす予測
係数ｗ_jが、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］
を求めるため最適値ということになる。

【０１３２】

【数４】・・・（４）

【０１３３】そこで、まず、式（３）を、予測係数ｗ_j
で微分することにより、次式が成立する。

【０１３４】

【数５】・・・（５）

【０１３５】式（４）および（５）より、式（６）が得
られる。

【０１３６】

【数６】・・・（６）

【０１３７】さらに、式（３）の残差方程式における生
徒データｘ_ij、予測係数ｗ_j、教師データｙ_i、および残
差ｅ_iの関係を考慮すると、式（６）から、次のような
正規方程式を得ることができる。

【０１３８】

【数７】・・・（７）

【０１３９】式（７）の正規方程式を構成する各式は、
生徒データｘ_ijおよび教師データｙ _iのセットを、ある
程度の数だけ用意することで、求めるべき予測係数ｗ_j
の数Ｊと同じ数だけたてることができる。従って、式
（７）を解くことで（但し、式（７）を解くには、式
（７）において、予測係数ｗ_jにかかる係数で構成され
る行列が正則である必要がある）、最適な予測係数ｗ_j
を求めることができる。なお、式（７）を解くにあたっ
ては、例えば、掃き出し法（Gauss-Jordanの消去法等）
などを用いれば良い。

【０１４０】以上のようにして、最適な予測係数ｗ_jを
求めておき、さらに、その予測係数ｗ_jを用い、式
（１）により、ＨＤ画素の画素値ｙの予測値Ｅ［ｙ］を
求めるのが適応処理である。

【０１４１】なお、適応処理は、ＳＤ画像には含まれて
いないが、ＨＤ画像に含まれる成分が再現される点で、
例えば、単なる補間処理とは異なる。即ち、適応処理で
は、式（１）だけを見る限りは、いわゆる補間フィルタ
を用いての補間処理と同一であるが、その補間フィルタ
のタップ係数に相当する予測係数ｗが、教師データｙを
用いての、いわゆる学習により求められるため、ＨＤ画
像に含まれる成分を再現することができる。このことか
ら、適応処理は、いわば画像の創造（解像度想像）作用
がある処理ということができる。

【０１４２】また、ここでは、適応処理について、解像
度を向上させる場合を例にして説明したが、適応処理
は、その他、例えば、適応処理前と後とで画素数が変わ
らなくてもかまわず、画像からノイズやぼけを除去した
画像の予測値を求めること等に用いることができる。こ
の場合、適応処理によれば、ノイズの除去や、ぼけの改
善等の画質の向上を図ることが可能となる。

【０１４３】図６は、以上のようなクラス分類適応処理
により、向上情報として、予測係数を求める場合の、図
２の向上情報生成部１１の構成例を示している。

【０１４４】なお、図６の実施の形態においては、放送
用画像データと同一内容の高画質の画像データが存在
し、これが、予測係数を学習するための教師データとし
て、向上情報生成部１１に供給されるものとする。

【０１４５】教師データとしての高画質の画像データ
は、例えば、フレーム単位で、フレームメモリ３１に供
給され、フレームメモリ３１は、そこに供給される教師
データを順次記憶する。

【０１４６】ダウンコンバータ３２は、フレームメモリ
３１に記憶された教師データを、例えば、フレーム単位
で読み出し、ＬＰＦ(Low Pass Filter)をかけたり、間
引き等を行うことで、基本的には、放送用画像データと
同一画質、即ち、ここでは低画質の画像データを、予測
係数を学習するための生徒データとして生成し、フレー
ムメモリ３３に供給する。

【０１４７】フレームメモリ３３は、ダウンコンバータ
３２が出力する生徒データとしての低画質の画像データ
を、例えば、フレーム単位で順次記憶する。

【０１４８】予測タップ構成回路３４は、フレームメモ
リ３１に記憶された教師データとしての画像（以下、適
宜、教師画像という）を構成する画素（以下、適宜、教
師画素という）を、順次、注目画素とし、その注目画素
の位置に対応する、生徒データとしての画像（以下、適
宜、生徒画像という）の位置から空間的または時間的に
近い位置にある幾つかの生徒データの画素（以下、適
宜、生徒画素という）を、制御回路４０からの制御信号
にしたがって、フレームメモリ３３から読み出し、予測
係数との乗算に用いる予測タップとして構成する。

【０１４９】即ち、例えば、図７に示すように、生徒画
像が、教師画像の画素を、１／４に間引いたものである
とすると、予測タップ構成回路３４は、制御回路４０か
らの、ある制御信号にしたがって、例えば、注目画素の
位置に対応する、生徒画像の位置から空間的に近い位置
にある４つの生徒画素ａ，ｂ，ｃ，ｄを、予測タップと
する。また、予測タップ構成回路３４は、制御回路４０
からの、他の制御信号にしたがって、例えば、注目画素
の位置に対応する、生徒画像の位置から空間的に近い位
置にある９つの生徒画素ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，
ｈ，ｉを、予測タップとする。

【０１５０】なお、基本的には、予測タップとして、４
つの生徒画素ａ乃至ｄを用いるよりは、９つの生徒画素
を用いる方が、教師画素の予測精度が高くなり、より高
画質の画像（を得るための予測係数）が得られる。

【０１５１】ここで、予測タップ（後述するクラスタッ
プについても同様）は、図７に示したように、長方形状
となる画素で構成する他、十字形状、ひし形状、その他
の任意の形状となる画素で構成することが可能である。
また、予測タップは、隣接する画素ではなく、１つおき
等の画素で構成することも可能である。

【０１５２】図６に戻り、予測タップ構成回路３４で構
成された予測タップは、正規方程式加算回路３７に供給
されるようになっている。

【０１５３】クラスタップ構成回路３５は、注目画素
を、幾つかのクラスのうちのいずれかに分類するための
クラス分類に用いる生徒画素を、フレームメモリ３３か
ら読み出す。即ち、クラスタップ構成回路３５は、注目
画素の位置に対応する、生徒画像の位置から空間的また
は時間的に近い位置にある幾つかの生徒画素を、制御回
路４０からの制御信号にしたがって、フレームメモリ３
３から読み出し、クラス分類に用いるクラスタップとし
て、クラス分類回路３６に供給する。

【０１５４】なお、予測タップとクラスタップとは、同
一の生徒画素で構成することもできるし、異なる生徒画
素で構成することもできる。

【０１５５】クラス分類回路３６は、クラスタップ構成
回路３５からのクラスタップに基づき、制御回路４０か
らの制御信号にしたがった方法で、注目画素をクラス分
類し、その結果得られる注目画素のクラスに対応するク
ラスコードを、正規方程式加算回路３７に供給する。

【０１５６】ここで、クラス分類を行う方法としては、
例えば、閾値を用いる方法や、ADRC(Adaptive Dynamic
Range Coding)を用いる方法等がある。

【０１５７】閾値を用いる方法では、例えば、クラスタ
ップを構成する生徒画素の画素値が、所定の閾値より大
きいか（閾値以上か）否かによって２値化され、その２
値化結果にしたがって、注目画素のクラスが決定され
る。

【０１５８】また、ADRCを用いる方法では、クラスタッ
プを構成する生徒画素が、ADRC処理され、その結果得ら
れるADRCコードにしたがって、注目画素のクラスが決定
される。

【０１５９】なお、KビットADRCにおいては、例えば、
クラスタップを構成する生徒画素の画素値の最大値MAX
と最小値MINが検出され、DR=MAX-MINを、クラスタップ
の局所的なダイナミックレンジとされる。そして、この
ダイナミックレンジDRに基づいて、クラスタップを構成
する生徒画素がKビットに再量子化される。即ち、クラ
スタップを構成する画素の画素値の中から、最小値MIN
が減算され、その減算値がDR/2^Kで除算（量子化）され
る。従って、クラスタップが、例えば、１ビットADRC処
理された場合には、そのクラスタップを構成する各生徒
画素の画素値は１ビットとされることになる。そして、
この場合、以上のようにして得られる、クラスタップを
構成する各画素についての１ビットの画素値を、所定の
順番で並べたビット列が、ADRCコードとして出力され
る。

【０１６０】従って、ADRCによれば、クラスタップが、
Ｎ個の生徒画素で構成され、そのクラスタップのＫビッ
トADRC処理結果がクラスコードとされる場合には、注目
画素は、（２^N）^Kクラスのうちのいずれかのクラスにク
ラス分類されることになる。

【０１６１】正規方程式加算回路３７は、フレームメモ
リ３１から、注目画素となっている教師画素を読み出
し、予測タップ（を構成する生徒画素）、注目画素（教
師画素）を対象とした足し込みを行う。

【０１６２】即ち、正規方程式加算回路３７は、クラス
分類回路３６から供給されるクラスコードに対応するク
ラスごとに、予測タップ（生徒画素）を用い、式（７）
の正規方程式の左辺における、予測係数の乗数となって
いる、生徒画素どうしの乗算（ｘ_in×ｘ_im）と、サメー
ション（Σ）に相当する演算を行う。

【０１６３】さらに、正規方程式加算回路３７は、やは
り、クラス分類回路３６から供給されるクラスコードに
対応するクラスごとに、予測タップ（生徒画素）および
注目画素（教師画素）を用い、式（７）の正規方程式の
右辺における、生徒画素と注目画素（教師画素）の乗算
（ｘ_in×ｙ_i）と、サメーション（Σ）に相当する演算
を行う。

【０１６４】正規方程式加算回路３７は、以上の足し込
みを、フレームメモリ３１に記憶された教師画素すべて
を、注目画素として行い、これにより、クラスごとに、
式（７）に示した正規方程式がたてられる。そして、こ
の正規方程式に基づいて、所定の教師画素数ごとに向上
情報が生成される。

【０１６５】予測係数決定回路３８は、正規方程式加算
回路３７においてクラスごとに生成された正規方程式を
解くことにより、クラスごとの予測係数を求め、メモリ
３９の、各クラスに対応するアドレスに供給する。メモ
リ３９は、予測係数決定回路３８から供給される予測係
数を、向上情報として記憶し、必要に応じて、統合部１
２（図２）に供給する。

【０１６６】なお、正規方程式加算回路３７において、
予測係数を求めるのに必要な数の正規方程式が得られな
いクラスが生じる場合があり得る。予測係数決定回路３
８は、そのようなクラスについては、例えば、デフォル
トの予測係数（例えば、比較的多くの教師画像を用い
て、あらかじめ求められた予測係数など）を出力する。

【０１６７】制御回路４０には、放送用画像データの画
質を向上させる向上方式を選択する方式選択信号（図
２）が供給されるようになっている。制御回路４０は、
その方式選択信号が表す向上方式によって、放送用画像
データの画質を向上させるのに必要な向上情報が生成さ
れるように、予測タップ構成回路３４、クラスタップ構
成回路３５、およびクラス分類回路３６を制御する。

【０１６８】ここで、本実施の形態では、受信装置３で
使用される向上方式（に用いられる向上情報）によっ
て、課金処理部１４が課金する金額（視聴料等）が異な
るようになっている。

【０１６９】課金される金額（課金額）は、向上方式と
して、例えば、クラス分類処理を使用するかどうかによ
って設定することができる。即ち、例えば、図８（Ａ）
に示すように、向上方式として、線形補間を使用する場
合、適応処理のみを使用する場合、クラス分類適応処理
を使用する場合の３つの場合で、課金額を異なる額にす
ることができる。

【０１７０】なお、適応処理のみを使用する場合とは、
クラス分類を行わずに、適応処理のみを行う場合を意味
し、従って、クラス分類適応処理におけるクラスが１つ
（モノクラス）しかない場合に相当する。

【０１７１】また、向上方式として、線形補間を使用す
る場合には、予測係数は必要ないため、向上情報生成部
１１では、特に処理は行われず、例えば、線形補間を指
示する旨が、向上情報として出力される。

【０１７２】課金額は、さらに、向上方式として使用す
るクラス分類適応処理におけるクラス数によって設定す
ることもできる。即ち、例えば、図８（Ｂ）に示すよう
に、向上方式として、線形補間を使用する場合、クラス
数の少ないクラス分類適応処理を使用する場合、クラス
数の多いクラス分類適応処理を使用する場合の３つの場
合で、課金額を異なる額にすることができる。

【０１７３】また、課金額は、向上方式として使用する
クラス分類適応処理における予測係数を生成するのに用
いる生徒画像または教師画像の画質によって設定するこ
ともできる。即ち、例えば教師画像の画質が良い場合に
は、放送用画像データの画質を大きく向上させることの
できる、いわば性能の高い予測係数が得られるし、逆
に、教師画像の画質があまり良くない場合には、放送用
画像データの画質を少ししか向上させない、いわば性能
の低い予測係数が得られる。そこで、例えば、図８
（Ｃ）に示すように、向上方式として、線形補間を使用
する場合、性能の低い予測係数によるクラス分類適応処
理を使用する場合、性能の高い予測係数によるクラス分
類適応処理を使用する場合の３つの場合で、課金額を異
なる額にすることができる。

【０１７４】さらに、課金額は、向上方式として使用す
るクラス分類適応処理において構成されるクラスタップ
や予測タップによって設定することも可能である。即
ち、クラスタップや予測タップの構成の仕方（タップの
形状や、タップを構成する画素数、空間方向もしくは時
間方向の一方または両方の画素からタップを構成する
等）によっては、上述したように、得られる画像の画質
が異なるので、この構成の仕方によって、課金額を異な
る額にすることができる。

【０１７５】また、課金額は、向上方式として使用する
クラス分類適応処理におけるクラス分類の方法によって
設定することも可能である。即ち、図８（Ｄ）に示すよ
うに、向上方式として、線形補間を使用する場合、上述
の閾値によるクラス分類を用いた適応処理を使用する場
合、ADRC処理によるクラス分類を用いた適応処理を使用
する場合の３つの場合で、課金額を異なる額とすること
ができる。

【０１７６】向上方式と、方式選択信号とは、例えば、
図８（Ａ）乃至図８（Ｄ）に示すように対応付けること
ができ、制御回路４０は、そこに供給される方式選択信
号に対応する向上方式に用いる向上情報が得られるよう
に指示を行う制御信号を、予測タップ構成回路３４、ク
ラスタップ構成回路３５、およびクラス分類回路３６に
出力する。なお、向上方式としては、上述したものの複
数の組み合わせを採用することも可能である。

【０１７７】次に、図９のフローチャートを参照して、
図６の向上情報生成部１１により行われる、向上情報を
生成する向上情報生成処理について説明する。

【０１７８】まず最初に、ステップＳ２１において、向
上情報生成単位に相当する分の教師画像がフレームメモ
リ３１に記憶される。そして、ステップＳ２２に進み、
制御回路４０は、そこに供給される方式選択信号に対応
する向上方式に用いる向上情報が得られるように指示を
行う制御信号を、予測タップ構成回路３４、クラスタッ
プ構成回路３５、およびクラス分類回路３６に供給す
る。これにより、予測タップ構成回路３４、クラスタッ
プ構成回路３５、およびクラス分類回路３６は、制御信
号にしたがった向上方式に用いる向上情報としての予測
係数が得られるような処理を行うように設定される。

【０１７９】なお、制御回路４０に供給される方式選択
信号には、複数の向上方式を表す情報が含まれており、
制御回路４０は、その複数の向上方式に対応する制御信
号を、ステップＳ２２の処理が行われるごとに、順次出
力する。

【０１８０】また、制御回路４０が出力する制御信号
が、線形補間を表す場合には、メモリ３９に、線形補間
を指示する旨が、向上情報として記憶される。そして、
ステップＳ２３乃至Ｓ２８の処理はスキップされ、ステ
ップＳ２９に進む。

【０１８１】ステップＳ２２の処理後は、ステップＳ２
３に進み、ダウンコンバータ３２において、フレームメ
モリ３１に記憶された教師画像に対して、必要に応じ
て、ＬＰＦ(Low Pass Filter)がかけられ、あるいは間
引きが行われ、放送用画像データと同一画質の画像が、
生徒画像として生成されて、フレームメモリ３３に供給
されて記憶される。

【０１８２】なお、生徒画像は、放送用画像データと異
なる画質の画像とすることもでき、その場合には、その
旨の制御信号が、制御回路４０からダウンコンバータ３
２に供給され、ダウンコンバータ３２では、制御回路４
０からの制御信号にしたがった画質の生徒画像が生成さ
れる。

【０１８３】そして、ステップＳ２４に進み、フレーム
メモリ３１に記憶された教師画素のうちの、まだ、注目
画素とされていないものが、注目画素とされ、予測タッ
プ構成回路３４において、制御回路４０からの制御信号
にしたがった構成の、注目画素についての予測タップ
が、フレームメモリ３３に記憶された生徒画素を用いて
構成される。さらに、ステップＳ２４では、クラスタッ
プ構成回路３５において、制御回路４０からの制御信号
にしたがった構成の、注目画素についてのクラスタップ
が、フレームメモリ３３に記憶された生徒画素を用いて
構成される。そして、予測タップは、正規方程式加算回
路３７に供給され、クラスタップは、クラス分類回路３
６に供給される。

【０１８４】クラス分類回路３６は、ステップＳ２５に
おいて、クラスタップ構成回路３５からのクラスタップ
に基づき、制御回路４０からの制御信号にしたがった方
法で、注目画素をクラス分類し、その結果得られるクラ
スに対応するクラスコードを、正規方程式加算回路３７
に供給し、ステップＳ２６に進む。

【０１８５】ステップＳ２６では、正規方程式加算回路
３７において、フレームメモリ３１から、注目画素とな
っている教師画素が読み出され、予測タップ（を構成す
る生徒画素）、注目画素（教師画素）を対象として、上
述したような足し込みが行われる。

【０１８６】そして、ステップＳ２７に進み、制御回路
４０により、フレームメモリ３１に記憶された、向上情
報生成単位の教師画素すべてを注目画素として、足し込
みを行ったかどうかが判定され、まだ、教師画素のすべ
てを注目画素として、足し込みを行っていないと判定さ
れた場合、ステップＳ２４に戻る。この場合、まだ、注
目画素されていない教師画素のうちの１つが、新たに注
目画素とされ、ステップＳ２４乃至Ｓ２７の処理が繰り
返される。

【０１８７】また、ステップＳ２７において、制御回路
４０により、向上情報生成単位の教師画素すべてを注目
画素として、足し込みを行ったと判定された場合、即
ち、正規方程式加算回路３７においてクラスごとの正規
方程式が得られた場合、ステップＳ２８に進み、予測係
数決定回路３８は、そのクラスごとに生成された正規方
程式をそれぞれ解くことにより、クラスごとの予測係数
を求め、メモリ３９の、各クラスに対応するアドレスに
供給する。メモリ３９は、予測係数決定回路３８から供
給される予測係数を、向上情報として記憶する。

【０１８８】なお、メモリ３９は、複数バンクを有して
おり、これにより、複数種類の向上情報を同時に記憶す
ることができるようになっている。

【０１８９】その後、ステップＳ２９に進み、制御回路
４０は、そこに供給された方式選択信号に含まれる、複
数の向上方式のすべてについて、向上情報が得られたか
どうかを判定する。

【０１９０】ステップＳ２９において、方式選択信号に
含まれる、複数の向上方式に用いられる複数の向上情報
の中で、まだ得られていないものがあると判定された場
合、ステップＳ２２に戻り、制御回路４０は、まだ向上
情報が得られていな向上方式に対応する制御信号を出力
し、以下、上述の場合と同様の処理が繰り返される。

【０１９１】一方、ステップＳ２９において、方式選択
信号に含まれる、複数の向上方式のすべてについて、向
上情報が得られたと判定された場合、即ち、方式選択信
号に含まれる、複数の向上方式それぞれに用いられる、
複数種類の向上情報が、メモリ３９に記憶された場合、
ステップＳ３０に進み、メモリ３９から、その複数種類
の向上情報が読み出され、統合部１２（図２）に供給さ
れて処理を終了する。

【０１９２】なお、図９の向上情報生成処理は、フレー
ムメモリ３１に、向上情報生成単位分の教師画像が供給
されるごとに繰り返し行われる。

【０１９３】ところで、図６の実施の形態においては、
放送用画像データと同一内容の高画質の画像データが存
在することを前提としたが、そのような高画質の画像デ
ータが存在しない場合（例えば、元の原画像をそのまま
放送用画像データとして用いる場合）がある。この場合
には、教師画像が存在しないこととなるため、図６の向
上情報生成部１１では、向上情報としての予測係数を生
成することができないことになる。

【０１９４】そこで、図１０は、送信装置１が原画像と
同じサイズの画像を送出する際、教師画像となる高画質
の画像データなしで、向上情報としての予測係数を生成
可能な向上情報生成部１１の他の構成例を示している。
なお、図中、図６における場合と対応する部分について
は、同一の符号を付してあり、以下では、その説明は、
適宜省略する。即ち、図１０の向上情報生成部１１は、
ダウンコンバータ３２が設けられておらず、フレームメ
モリ４１、特徴量推定回路４２、仮教師データ生成回路
４３、および仮生徒データ生成回路４４が新たに設けら
れている他は、基本的に、図６における場合と同様に構
成されている。

【０１９５】図１０の向上情報生成部１１では、真の教
師画像が存在しないため、真の教師画像と、生徒画像と
しての放送用画像データとの関係と同様の関係となるよ
うな仮の教師画像と、仮の生徒画像（以下、適宜、それ
ぞれを、仮教師画像と、仮生徒画像という）とを、放送
用画像データから生成し、これらの仮教師画像および仮
生徒画像を用いて、向上情報としての予測係数を生成す
るようになっている。

【０１９６】即ち、フレームメモリ４１には、放送用画
像データが供給されるようになっており、フレームメモ
リ４１は、そこに供給される放送用画像データを、向上
情報生成単位で記憶するようになっている。

【０１９７】特徴量推定回路４２は、フレームメモリ４
１に記憶された放送用画像データの特徴量を求め、仮教
師データ生成回路４３および仮生徒データ生成回路４４
に供給するようになっている。

【０１９８】ここで、放送用画像データの特徴量として
は、例えば、水平方向や、垂直方向の自己相関係数、画
素値のヒストグラム、隣接する画素どうしの差分値のヒ
ストグラム（アクティビティのヒストグラム）等を用い
ることができる。

【０１９９】仮教師データ生成回路４３は、特徴量推定
回路４２からの放送用画像データの特徴量に基づいて、
放送用画像データに対する本来の教師画像（真の教師画
像）の特徴量（以下、適宜、推定教師特徴量という）を
推定する。さらに、仮教師データ生成回路４３は、フレ
ームメモリ４１に記憶された放送用画像データに対し
て、ＬＰＦをかけ、さらに間引き等を行うことで、推定
教師特徴量と同様の特徴量を有する画像を生成し、その
画像を、仮教師画像として、フレームメモリ３１および
仮生徒データ生成回路４４に供給する。

【０２００】仮生徒データ生成回路４４は、仮生徒デー
タ生成回路４３から供給される仮教師画像に対して、Ｌ
ＰＦをかけることで、特徴量推定回路４２から供給され
る、本来の生徒画像である放送用画像データの特徴量と
同様の特徴量を有する画像を生成し、その画像を、仮生
徒画像として、フレームメモリ３３に供給する。

【０２０１】次に、図１１のフローチャートを参照し
て、図１０の向上情報生成部１１により行われる、向上
情報を生成する向上情報生成処理について説明する。

【０２０２】フレームメモリ４１に、放送用画像データ
が供給されて記憶されると、まず最初に、ステップＳ４
１において、特徴量推定回路４２は、フレームメモリ４
１に記憶された放送用画像データの特徴量を抽出し、仮
教師データ生成回路４３および仮生徒データ生成回路４
４に供給する。

【０２０３】仮教師データ生成回路４３は、特徴量推定
回路４２から、放送用画像データの特徴量を受信する
と、ステップＳ４２において、その特徴量に基づいて、
放送用画像データに対する本来の教師画像の特徴量（推
定教師特徴量）を推定し、ステップＳ４３に進む。ステ
ップＳ４３では、仮教師データ生成回路４３は、推定教
師特徴量に基づいて、推定教師特徴量と同様の特徴量を
有する画像を、放送用画像データから得るための、ＬＰ
Ｆのフィルタ特性と間引き幅（間引き率）を設定し、ス
テップＳ４４に進む。

【０２０４】ステップＳ４４では、仮教師データ生成回
路４３は、設定された間引き幅で、フレームメモリ４１
に記憶された放送用画像データを間引き、さらに、その
間引き後の画像に対して、設定されたフィルタ特性のＬ
ＰＦをかけ、仮教師画像を生成する。

【０２０５】ここで、ステップＳ４４において、放送用
画像データを間引くのは、高画質の画像は、それより画
質の低い同じサイズの画像に比較して、自己相関の形状
が急峻になることから、空間周波数が高く、自己相関の
形状が急峻になるような画像を、仮教師画像として得る
ためである。

【０２０６】ステップＳ４４の処理後は、ステップＳ４
５に進み、仮教師データ生成回路４３は、ステップＳ４
４で生成した仮教師画像の特徴量を求め、その特徴量
が、推定教師特徴量に近似するかどうかを判定する。ス
テップＳ４５において、仮教師画像の特徴量が、推定教
師特徴量に近似していないと判定された場合、ステップ
Ｓ４６に進み、仮教師データ生成回路４３は、放送用画
像データにかけるＬＰＦのフィルタ特性または間引き幅
の設定値を変更し、ステップＳ４４に戻る。これによ
り、仮教師画像の生成をやり直す。

【０２０７】一方、ステップＳ４５において、仮教師画
像の特徴量が、推定教師特徴量に近似すると判定された
場合、その仮教師画像を、フレームメモリ３１に供給し
て記憶させるとともに、仮生徒データ生成回路４４に供
給し、ステップＳ４７に進む。

【０２０８】ステップＳ４７では、仮生徒データ生成回
路４４は、仮生徒データ生成回路４３から供給される仮
教師画像に対してかけるＬＰＦのフィルタ特性を設定
し、ステップＳ４８に進む。

【０２０９】ステップＳ４８では、仮生徒データ生成回
路４４は、仮教師画像に対して、設定されたフィルタ特
性のＬＰＦをかけ、仮生徒画像を生成する。

【０２１０】そして、ステップＳ４９に進み、仮生徒デ
ータ生成回路４４は、ステップＳ４８で生成した仮生徒
画像の特徴量を求め、その特徴量が、特徴量推定回路４
２から供給される、放送用画像データの特徴量に近似す
るかどうかを判定する。ステップＳ４９において、仮生
徒画像の特徴量が、放送用画像データの特徴量に近似し
ていないと判定された場合、ステップＳ５０に進み、仮
生徒データ生成回路４４は、仮教師画像にかけるＬＰＦ
のフィルタ特性の設定値を変更し、ステップＳ４８に戻
る。これにより、仮生徒画像の生成をやり直す。

【０２１１】一方、ステップＳ４９において、仮生徒画
像の特徴量が、放送用画像データの特徴量に近似すると
判定された場合、その仮生徒画像を、フレームメモリ３
３に供給して記憶させ、ステップＳ５１に進む。

【０２１２】ステップＳ５１乃至Ｓ５８では、フレーム
メモリ３１に記憶された仮教師画像を、本来の教師画像
とするとともに、フレームメモリ３３に記憶された仮生
徒画像を、本来の生徒画像として、図９のステップＳ２
２，Ｓ２４乃至Ｓ３０における場合とそれぞれ同様の処
理が行われ、これにより、複数種類の向上情報が生成さ
れ、メモリ３９に記憶される。そして、この複数種類の
向上情報が、メモリ３９から読み出され、統合部１２
（図２）に供給されて処理を終了する。ここで、図１１
の実施の形態においては、教師画像と生徒画像のサイズ
が同一であるため、構成されるクラスタップおよび予測
タップは、図７に示した場合と異なるが、教師画像の中
の注目画素の位置の周辺に位置する生徒画像の複数の画
素から、クラスタップおよび予測タップを構成する点に
ついては、図９の実施の形態における場合と同様であ
る。

【０２１３】なお、図１１の向上情報生成処理も、図９
における場合と同様に、フレームメモリ４１に、向上情
報生成単位分の放送用画像データが供給されるごとに繰
り返し行われる。

【０２１４】次に、図１２は、送信装置１（図２）の向
上情報生成部１１が、図６や図９に示したように構成さ
れる場合の、受信装置３（図４）の品質向上部２４の構
成例を示している。

【０２１５】フレームメモリ５１には、抽出部２２（図
４）が出力する放送用画像データが供給されるようにな
っている。フレームメモリ５１は、その放送用画像デー
タを、向上情報生成単位で記憶する。

【０２１６】予測タップ構成回路５２は、制御回路５７
からの制御信号にしたがい、図６の予測タップ構成回路
３４と同様の処理を行い、これにより、フレームメモリ
５１に記憶された放送用画像データを用いて、予測タッ
プを構成し、予測演算回路５６に供給する。

【０２１７】クラスタップ構成回路５３は、制御回路５
７からの制御信号にしたがい、図６のクラスタップ構成
回路３５と同様の処理を行い、これにより、フレームメ
モリ５１に記憶された放送用画像データを用いて、クラ
スタップを構成し、クラス分類回路５４に供給する。

【０２１８】クラス分類回路５４は、制御回路５７から
の制御信号にしたがい、図６のクラス分類回路３６と同
様の処理を行い、これにより、クラスタップ構成回路５
３からのクラスタップを用いたクラス分類結果としての
クラスコードを、アドレスとしてメモリ５５に供給す
る。

【０２１９】メモリ５５は、選択部２３（図４）から供
給される向上情報としての予測係数を記憶する。さら
に、メモリ５５は、クラス分類回路５４からのクラスコ
ードに対応するアドレスに記憶されている予測係数を読
み出し、予測演算回路５６に供給する。

【０２２０】予測演算回路５６は、予測タップ構成回路
５２から供給される予測タップと、メモリ５５から供給
される予測係数とを用いて、式（１）に示した線形予測
演算（積和演算）を行い、その結果得られる画素値を、
放送用画像データの画質を向上させた高画質画像（教師
画像）の予測値として出力する。

【０２２１】制御回路５７には、選択部２３（図４）が
出力する方式選択信号が供給されるようになっている。
制御回路５７は、その方式選択信号に基づいて、図６の
制御回路４０における場合と同様の制御信号を、予測タ
ップ構成回路５２、クラスタップ構成回路５３、および
クラス分類回路５４に出力する。

【０２２２】ここで、選択部２３から制御回路５７に供
給される方式選択信号は、図６の制御回路４０に供給さ
れる方式選択信号に含まれる複数の向上方式を表す情報
のうち、ユーザの要求に応じて課金処理部２７（図４）
が出力する画質レベル信号に対応する１つの情報だけを
含むものである。従って、制御回路５７は、ユーザが要
求する画質の画像が得られるように、予測タップ構成回
路５２、クラスタップ構成回路５３、およびクラス分類
回路５４を制御する。

【０２２３】次に、図１３のフローチャートを参照し
て、図１２の品質向上部２４において行われる、放送用
画像の画質を向上させる品質向上処理について説明す
る。

【０２２４】受信装置３（図４）において、抽出部２２
から品質向上部２４に対して、向上情報生成単位の放送
用画像データが供給されると、選択部２３から品質向上
部２４に対して、複数の向上情報の中から、画質レベル
信号に基づいて選択された１種類（１セット）の向上情
報が、その向上情報を用いて画質を向上させる向上方式
を表す方式選択信号とともに供給される。

【０２２５】そして、ステップＳ６１において、フレー
ムメモリ５１に、抽出部２２から供給される放送用画像
データが、向上情報生成単位で記憶される。また、ステ
ップＳ６１では、選択部２３から供給される向上情報
が、メモリ５５に記憶される。さらに、ステップＳ６１
では、制御回路５７において、選択部２３から供給され
る方式選択信号が受信され、その方式選択信号に対応す
る向上方式によって、放送用画像データの画質を向上さ
せるように指示を行う制御信号を、予測タップ構成回路
５２、クラスタップ構成回路５３、およびクラス分類回
路５４に供給する。これにより、予測タップ構成回路５
２、クラスタップ構成回路５３、およびクラス分類回路
５４は、制御回路５７からの制御信号が表す向上方式に
したがった処理を行うように設定される。

【０２２６】なお、本実施の形態では、制御回路５７に
供給される方式選択信号が、線形補間を表す場合を除い
て、メモリ５５に記憶される向上情報は、予測係数であ
る。

【０２２７】また、制御回路５７に供給される方式選択
信号が、線形補間を表す場合には、制御回路５７は、予
測演算回路５６に対して、フレームメモリ５１に記憶さ
れた放送用画像データを線形補間することを指示する制
御信号を供給する。この場合、予測演算回路５６は、フ
レームメモリ５１に記憶された放送用画像データを、予
測タップ構成回路５２を介して読み出し、線形補間を行
って出力する。そして、この場合、ステップＳ６２以降
の処理は行われない。

【０２２８】ステップＳ６１の処理後は、ステップＳ６
２に進み、フレームメモリ５１に記憶された放送用画像
データの画質を向上させた高画質画像を構成する画素の
うちの、まだ、注目画素とされていないものの１つが、
注目画素とされ、予測タップ構成回路５２において、制
御回路５７からの制御信号にしたがった構成の、注目画
素についての予測タップが、フレームメモリ５１に記憶
された放送用画像データの画素を用いて構成される。さ
らに、ステップＳ６２では、クラスタップ構成回路５３
において、制御回路５７からの制御信号にしたがった構
成の、注目画素についてのクラスタップが、フレームメ
モリ５１に記憶された放送用画像データの画素を用いて
構成される。そして、予測タップは、予測演算回路５６
に供給され、クラスタップは、クラス分類回路５４に供
給される。

【０２２９】クラス分類回路５４は、ステップＳ６３に
おいて、クラスタップ構成回路５３からのクラスタップ
を用いて、制御回路５７からの制御信号にしたがった方
法で、注目画素をクラス分類し、その結果得られるクラ
スに対応するクラスコードを、メモリ５５に対して、ア
ドレスとして供給し、ステップＳ６４に進む。

【０２３０】ステップＳ６４では、メモリ５５におい
て、ステップＳ６１で記憶された向上情報としての予測
係数のうち、クラス分類回路５４からのクラスコードで
表されるアドレスに記憶されているものが読み出され、
予測演算回路５６に供給される。

【０２３１】予測演算回路５６は、ステップＳ６５にお
いて、予測タップ構成回路５２から供給される予測タッ
プと、メモリ５５から供給される予測係数とを用いて、
式（１）に示した線形予測演算を行い、その結果得られ
る画素値を、注目画素の予測値として、一時記憶する。

【０２３２】そして、ステップＳ６６に進み、制御回路
５７により、フレームメモリ５１に記憶された放送用画
像データのフレームに対応する高画質画像のフレームを
構成する画素すべてを注目画素として、その予測値を求
めたかどうかが判定される。ステップＳ６６において、
高画質画像のフレームを構成する画素すべてを注目画素
として、まだ、予測値を求めていないと判定された場
合、ステップＳ６２に戻り、高画質画像のフレームを構
成する画素のうち、まだ注目画素とされていないもの
が、新たに注目画素とされ、以下、同様の処理が繰り返
される。

【０２３３】一方、ステップＳ６６において、高画質画
像のフレームを構成する画素すべてを注目画素として、
予測値を求めたと判定された場合、ステップＳ６７に進
み、予測演算回路５６は、それまでに求めた予測値でな
る高画質の画像を、表示部２５（図４）に順次出力し、
処理を終了する。

【０２３４】なお、図１３の品質向上処理は、フレーム
メモリ５１に、向上情報生成単位分の放送用画像データ
が供給されるごとに繰り返し行われる。

【０２３５】以上のように、送信装置１から、複数種類
の向上情報を送信し、受信装置３において、その複数種
類の向上情報から、ユーザの要求に応じた画質に対応す
るものを選択し、その選択した向上情報を用いて、画質
を向上させるようにしたので、ユーザの要求に応じた画
質の画像の提供が可能となり、さらに、ユーザに提供し
た画像の画質に応じて、きめ細かな課金を行うことがで
きる。

【０２３６】なお、上述の場合においては、送信装置１
から、複数種類の向上情報を送信し、受信装置３におい
て、その複数種類の向上情報から、ユーザの要求に応じ
た画質に対応するものを選択するようにしたが、その
他、例えば、送信装置１においては、受信装置３からユ
ーザの要求を、前もって受け付け、その要求に応じた画
質に対応する向上情報だけを、受信装置３に送信するよ
うにすることが可能である。この場合、図２に点線で示
したように、課金処理部１４からの制御にしたがって、
統合部１２において、ユーザからの要求に応じた画質に
対応する向上情報だけが、統合信号に含められる。

【０２３７】さらに、上述の場合には、複数種類の向上
情報として、複数種類の予測係数や線形補間を指示する
旨を送信するようにしたが、その他、例えば、複数種類
の予測係数は、送信装置１から送信せずに、受信装置３
のメモリ５５にあらかじめ求めた予測係数を記憶させて
おき、複数種類の向上情報としては、メモリ５５に記憶
された複数種類の予測係数のいずれを用いるかに関する
情報を送信するようにすることが可能である。

【０２３８】また、上述の場合には、向上方式として、
クラス分類適応処理および線形補間を用いるようにした
が、その他の処理を、向上方式として採用することも可
能である。

【０２３９】さらに、上述の場合には、向上情報生成部
１１において、予測係数を向上情報として生成し、品質
向上部２４において、その予測係数を用いてクラス分類
適応処理を行うことにより、画像の画質を向上させるよ
うにしたが、その他、例えば、向上情報生成部１１で
は、注目画素の予測に用いるのに適切な予測係数のクラ
スコードを、向上情報として求め、品質向上部２４で
は、そのクラスコードの予測係数を用いて適応処理を行
うことにより、画像の画質を向上させることが可能であ
る。

【０２４０】即ち、向上情報生成部１１および品質向上
部２４には、あらかじめ学習を行うことにより得られ
る、クラスごとの予測係数を記憶させておく。そして、
向上情報生成部１１では、あらかじめ記憶している各ク
ラスの予測係数を用いて、適応処理を行うことにより、
高画質の画像の予測値を求め、各画素ごとに、最も真値
に近い予測値が得られたときの予測係数のクラスコード
を、向上情報として求める。一方、品質向上部２４で
は、あらかじめ記憶している予測係数のうち、向上情報
としてのクラスコードに対応するものを用いて、高画質
の画像の予測値を求め、画質を向上させた画像を得る。
この場合、受信装置３では、送信装置１（向上情報生成
部１１）において得られるのと同一画質の画像が得られ
ることになる。

【０２４１】なお、この場合には、向上情報生成部１１
および品質向上部２４において、上述したようなクラス
分類は、行われないことになる。即ち、向上情報生成部
１１では、予測値を求めるのに適切な予測係数のクラス
コードが、例えば、すべてのクラスの予測係数を用いて
適応処理（予測演算）を行うことにより求められ、品質
向上部２４では、そのようなクラスコードを向上情報と
して、そのクラスコードの予測係数を用いて適応処理を
行うことにより、画像の品質が向上されるので、向上情
報生成部１１および品質向上部２４のいずれにおいて
も、クラス分類を行う必要がない。

【０２４２】即ち、図１４は、注目画素の予測に用いる
のに適切な予測係数のクラスコードを、向上情報として
求める向上情報生成部１１の構成例を示している。な
お、図中、図６における場合と対応する部分について
は、同一の符号を付してあり、以下では、その説明は、
適宜省略する。

【０２４３】メモリ１０１には、後述する学習装置（図
１６）において学習が行われることにより求められるク
ラスごとの予測係数が記憶されている。メモリ１０１
は、制御回路４０により制御され、各クラスの予測係数
を、順次読み出し、予測演算回路１０２に供給する。

【０２４４】予測演算回路１０２には、メモリ１０１か
ら予測係数が供給される他、予測タップ構成回路３４か
ら予測タップが供給されるようになっている。予測演算
回路１０２は、図１２の予測演算回路５６と同様に、予
測タップ構成回路３４から供給される予測タップと、メ
モリ１０１から供給される予測係数とを用いて、式
（１）に示した線形予測演算（積和演算）を行う。但
し、予測演算回路１０２は、ある予測タップについて、
メモリ１０１から順次供給される各クラスの予測係数そ
れぞれとの線形予測演算を行い、教師画素の予測値を求
める。従って、予測演算回路１０２では、各教師画素に
ついて、全クラス数と同一の数の予測値が求められるこ
とになる。

【０２４５】予測演算回路１０２で求められた予測値
は、比較回路１０３に供給されるようになっている。さ
らに、比較回路１０３には、フレームメモリ３１から教
師画像も供給されるようになっている。比較回路１０３
は、フレームメモリ３１から供給される教師画像を構成
する教師画素と、予測演算回路１０２から供給される、
その教師画素の、各クラスの予測係数から求められた予
測値それぞれとを比較することにより、予測誤差を求
め、検出回路１０４に供給する。

【０２４６】検出回路１０４は、比較回路１０３から供
給される予測誤差を最も小さくする教師画素の予測値を
検出する。さらに、検出回路１０４は、その予測値が得
られたときの予測係数のクラスを表すクラスコードを検
出し、向上情報として出力する。

【０２４７】次に、図１５のフローチャートを参照し
て、図１４の向上情報生成部１１により行われる、向上
情報を生成する向上情報生成処理について説明する。

【０２４８】まず最初に、ステップＳ１１１において、
向上情報生成単位に相当する分の教師画像がフレームメ
モリ３１に記憶される。そして、ステップＳ１１２に進
み、制御回路４０は、そこに供給される方式選択信号に
対応する向上方式に用いる向上情報が得られるように指
示を行う制御信号を、予測タップ構成回路３４に供給す
る。これにより、予測タップ構成回路３４は、制御信号
にしたがった向上方式に用いる向上情報としてのクラス
コードが得られるような処理を行うように設定される。

【０２４９】なお、制御回路４０に供給される方式選択
信号には、複数の向上方式を表す情報が含まれており、
制御回路４０は、その複数の向上方式に対応する制御信
号を、ステップＳ１１２の処理が行われるごとに、順次
出力する。

【０２５０】また、制御回路４０が出力する制御信号
が、線形補間を表す場合には、メモリ３９に、線形補間
を指示する旨が、向上情報として記憶される。そして、
ステップＳ１１３乃至Ｓ１２２の処理はスキップされ、
ステップＳ１２３に進む。

【０２５１】ステップＳ１１２の処理後は、ステップＳ
１１３に進み、ダウンコンバータ３２において、フレー
ムメモリ３１に記憶された教師画像に対して、必要に応
じて、ＬＰＦ(Low Pass Filter)がかけられ、あるいは
間引きが行われ、放送用画像データと同一画質の画像
が、生徒画像として生成されて、フレームメモリ３３に
供給されて記憶される。

【０２５２】なお、図１５の実施の形態においても、図
９の実施の形態と同様に、生徒画像は、放送用画像デー
タと異なる画質の画像とすることもでき、その場合に
は、その旨の制御信号が、制御回路４０からダウンコン
バータ３２に供給され、ダウンコンバータ３２では、制
御回路４０からの制御信号にしたがった画質の生徒画像
が生成される。

【０２５３】そして、ステップＳ１１４に進み、フレー
ムメモリ３１に記憶された教師画素のうちの、まだ、注
目画素とされていないものが、注目画素とされ、予測タ
ップ構成回路３４において、制御回路４０からの制御信
号にしたがった構成の、注目画素についての予測タップ
が、フレームメモリ３３に記憶された生徒画素を用いて
構成される。この予測タップは、予測演算回路１０２に
供給される。

【０２５４】その後、ステップＳ１１５に進み、制御回
路４０は、クラスをカウントする変数ｉに、初期値とし
ての０をセットし、ステップＳ１１６に進む。ステップ
Ｓ１１６では、制御回路４０が、変数ｉを、アドレスと
して、メモリ１０１に与える。これにより、ステップＳ
１１６では、メモリ１０１から、クラスコード＃ｉに対
応する予測係数が読み出され、予測演算回路１０２に供
給される。

【０２５５】予測演算回路１０２は、ステップＳ１１７
において、予測タップ構成回路３４から供給される予測
タップと、メモリ１０１から供給される予測係数とを用
いて、式（１）に示した線形予測演算を行い、その結果
得られる画素値を、注目画素の予測値として、比較回路
１０３に供給する。

【０２５６】比較回路１０３は、ステップＳ１１８にお
いて、注目画素の画素値を、フレームメモリ３１から読
み出し、予測演算回路１０２からの予測値と比較するこ
とで、その予測値の予測誤差を求める。さらに、ステッ
プＳ１１８において、比較回路１０３は、予測誤差を、
検出回路１０４に供給し、ステップＳ１１９に進む。

【０２５７】ステップＳ１１９では、制御回路４０が、
変数ｉを１だけインクリメントして、ステップＳ１２０
に進む。ステップＳ１２０では、制御回路４０が、変数
ｉが、全クラス数であるＮ未満であるかどうかを判定
し、変数ｉがＮ未満であると判定した場合、ステップＳ
１１６に戻り、以下、同様の処理を繰り返す。

【０２５８】また、ステップＳ１２０において、変数ｉ
がＮ未満でないと判定された場合、即ち、注目画素につ
いて、すべてのクラスに対応する予測係数を用いて、予
測値の予測誤差が求められた場合、ステップＳ１２１に
進み、検出回路１０４は、注目画素について、その予測
誤差を最小にする予測係数のクラスを検出し、そのクラ
スに対応するクラスコードを、向上情報として記憶す
る。

【０２５９】そして、ステップＳ１２３に進み、制御回
路４０は、そこに供給された方式選択信号に含まれる、
複数の向上方式のすべてについて、向上情報が得られた
かどうかを判定する。

【０２６０】ステップＳ１２３において、方式選択信号
に含まれる、複数の向上方式に用いられる複数の向上情
報の中で、まだ得られていないものがあると判定された
場合、ステップＳ１１２に戻り、制御回路４０は、まだ
向上情報が得られていな向上方式に対応する制御信号を
出力し、以下、上述の場合と同様の処理が繰り返され
る。

【０２６１】一方、ステップＳ１２３において、方式選
択信号に含まれる、複数の向上方式のすべてについて、
向上情報が得られたと判定された場合、即ち、方式選択
信号に含まれる、複数の向上方式それぞれに用いられ
る、複数種類の向上情報が、検出回路１０４に記憶され
た場合、ステップＳ１２４に進み、検出回路１０４か
ら、その複数種類の向上情報が読み出され、統合部１２
（図２）に供給されて処理を終了する。

【０２６２】なお、図１５の向上情報生成処理は、図９
の実施の形態と同様に、フレームメモリ３１に、向上情
報生成単位分の教師画像（例えば、１フレーム分の教師
画像）が供給されるごとに繰り返し行われる。

【０２６３】次に、図１６は、図１４のメモリ１０１に
記憶させるクラスごとの予測係数を求める学習装置の一
実施の形態の構成例を示している。

【０２６４】図１６の実施の形態において、フレームメ
モリ１１１、ダウンコンバータ１１２、フレームメモリ
１１３、予測タップ構成回路１１４、クラスタップ構成
回路１１５、クラス分類回路１１６、正規方程式加算回
路１１７、予測係数決定回路１１８、メモリ１１９は、
図６に示した向上情報生成部１１のフレームメモリ３
１、ダウンコンバータ３２、フレームメモリ３３、予測
タップ構成回路３４、クラスタップ構成回路３５、クラ
ス分類回路３６、正規方程式加算回路３７、予測係数決
定回路３８、メモリ３９とそれぞれ同様に構成されてい
る。

【０２６５】従って、図１６の学習装置では、基本的に
は、図６の向上情報生成部１１と同様の処理が行われる
ことにより、クラスごとの予測係数が求められる。図１
４のメモリ１０１には、図１６の学習装置においてあら
かじめ学習を行うことにより求められたクラスごとの予
測係数が記憶されている。

【０２６６】なお、図１６の実施の形態では、ダウンコ
ンバータ１１２、予測タップ構成回路１１４、クラスタ
ップ構成回路１１５、およびクラス分類回路１１６を制
御することにより、タップ構成やクラス分類方法を変え
て、複数種類の予測係数を求めることが可能である。

【０２６７】次に、図１７は、向上情報生成部１１が図
１４に示したように構成される場合の、受信装置３（図
４）の品質向上部２４の構成例を示している。なお、図
中、図１２における場合と対応する部分については、同
一の符号を付してあり、以下では、その説明は、適宜省
略する。

【０２６８】クラスコード記憶部１２１は、向上情報と
してのクラスコードを記憶する。即ち、いまの場合、送
信装置１からは、放送用画像データの画質を向上させた
高画質画像の各画素ごとに、クラスコードが、向上情報
として送信される。この向上情報としてのクラスコード
は、受信装置３（図４）の選択部２３から品質向上部２
４（図１７）に供給され、クラスコード記憶部１２１
は、この向上情報としてのクラスコードを記憶する。そ
して、クラスコード記憶部１２１は、記憶したクラスコ
ードを、制御回路５７からの制御にしたがって、メモリ
１２２にアドレスとして与える。

【０２６９】メモリ１２２は、図１６の学習装置におい
て求められたクラスごとの予測係数を記憶しており、ク
ラスコード記憶部１２１からアドレスとして与えられる
クラスコードに対応する予測係数を読み出し、予測演算
回路５６に供給する。

【０２７０】次に、図１８のフローチャートを参照し
て、図１７の品質向上部２４において行われる、放送用
画像の画質を向上させる品質向上処理について説明す
る。

【０２７１】受信装置３（図４）において、抽出部２２
から品質向上部２４に対して、向上情報生成単位の放送
用画像データが供給されると、選択部２３から品質向上
部２４に対して、複数の向上情報から、画質レベル信号
に基づいて選択された１種類（１セット）の向上情報
が、その向上情報を用いて画質を向上させる向上方式を
表す方式選択信号とともに供給される。

【０２７２】そして、ステップＳ１３１において、フレ
ームメモリ５１には、抽出部２２から供給される放送用
画像データが、向上情報生成単位で記憶される。また、
ステップＳ１３１では、選択部２３から供給される向上
情報が、メモリ１２１に記憶される。さらに、ステップ
Ｓ１３１では、制御回路５７において、選択部２３から
供給される方式選択信号が受信され、その方式選択信号
に対応する向上方式によって、放送用画像データの画質
を向上させるように指示を行う制御信号を、予測タップ
構成回路５２に供給する。これにより、予測タップ構成
回路５２は、制御回路５７からの制御信号が表す向上方
式にしたがった処理を行うように設定される。

【０２７３】なお、本実施の形態では、制御回路５７に
供給される方式選択信号が、線形補間を表す場合を除い
て、メモリ１２１に記憶される向上情報は、クラスコー
ドである。

【０２７４】また、制御回路５７に供給される方式選択
信号が、線形補間を表す場合には、制御回路５７は、予
測演算回路５６に対して、フレームメモリ５１に記憶さ
れた放送用画像データを線形補間することを指示する制
御信号を供給する。この場合、予測演算回路５６は、フ
レームメモリ５１に記憶された放送用画像データを、予
測タップ構成回路５２を介して読み出し、線形補間を行
って出力する。そして、この場合、ステップＳ１３２以
降の処理は行われない。

【０２７５】ステップＳ１３１の処理後は、ステップＳ
１３２に進み、フレームメモリ５１に記憶された放送用
画像データの画質を向上させた高画質画像を構成する画
素のうちの、まだ、注目画素とされていないものの１つ
が、注目画素とされ、予測タップ構成回路５２におい
て、制御回路５７からの制御信号にしたがった構成の、
注目画素についての予測タップが、フレームメモリ５１
に記憶された放送用画像データの画素を用いて構成され
る。この予測タップは、予測演算回路５６に供給され
る。

【０２７６】そして、ステップＳ１３３に進み、制御回
路５７は、注目画素に対する向上情報としてのクラスコ
ードを読み出すように、クラスコード記憶部１２１を制
御する。これにより、クラスコード記憶部１２１から
は、注目画素に対する向上情報としてのクラスコードが
読み出され、メモリ１２２に供給される。

【０２７７】メモリ１２２では、ステップＳ１３３にお
いて、クラスコード記憶部１２１からのクラスコードで
表されるアドレスに記憶されている予測係数が読み出さ
れ、予測演算回路５６に供給される。

【０２７８】予測演算回路５６は、ステップＳ１３５に
おいて、予測タップ構成回路５２から供給される予測タ
ップと、メモリ５５から供給される予測係数とを用い
て、式（１）に示した線形予測演算を行い、その結果得
られる画素値を、注目画素の予測値として、一時記憶す
る。

【０２７９】そして、ステップＳ１３６に進み、制御回
路５７により、フレームメモリ５１に記憶された放送用
画像データのフレームに対応する高画質画像のフレーム
を構成する画素すべてを注目画素として、その予測値を
求めたかどうかが判定される。ステップＳ１３６におい
て、高画質画像のフレームを構成する画素すべてを注目
画素として、まだ、予測値を求めていないと判定された
場合、ステップＳ１３２に戻り、高画質画像のフレーム
を構成する画素のうち、まだ注目画素とされていないも
のが、新たに注目画素とされ、以下、同様の処理が繰り
返される。

【０２８０】一方、ステップＳ１３６において、高画質
画像のフレームを構成する画素すべてを注目画素とし
て、予測値を求めたと判定された場合、ステップＳ１３
７に進み、予測演算回路５６は、それまでに求めた予測
値でなる高画質の画像を、表示部２５（図４）に順次出
力し、処理を終了する。

【０２８１】なお、図１８の品質向上処理は、図１３の
実施の形態と同様に、フレームメモリ５１に、向上情報
生成単位分の放送用画像データが供給されるごとに繰り
返し行われる。

【０２８２】次に、図１４および図１７の実施の形態に
おいて、図１４のメモリ１０１および図１７のメモリ１
２２に共通して記憶させておく予測係数は、図１６の学
習装置において、クラスタップを、ＳＤ画像を用いて構
成してクラス分類を行うことにより得られたものである
が、メモリ１０１および１２２に共通して記憶させてお
く予測係数は、ＳＤ画像ではなく、ＨＤ画像を用いて、
クラスタップを構成してクラス分類を行うことにより得
られるものを採用することができる。この場合、向上情
報生成部１１において、向上情報とするクラスコード
は、上述したように、各クラスの予測係数それぞれ用い
て、注目画素の予測値を求めることなく得ることが可能
である。即ち、この場合は、向上情報生成部１１におい
て、ＨＤ画像を構成する各画素について、そのＨＤ画像
を用いてクラスタップを構成してクラス分類を行い、そ
の結果得られるクラスコードを、向上情報とすれば良
い。

【０２８３】そこで、図１９は、ＨＤ画像（教師画像）
からクラスタップを構成してクラス分類を行うことによ
り、向上情報としてのクラスコードを求める向上情報生
成部１１の構成例を示している。なお、図中、図６にお
ける場合と対応する部分については同一の符号を付して
あり、以下では、その説明は、適宜省略する。即ち、図
１９の向上情報生成部１１は、ダウンコンバータ３２、
フレームメモリ３３、予測タップ構成回路３４、正規方
程式加算回路３７、および予測係数決定回路３８が設け
られていない他は、図６における場合と同様に構成され
ている。

【０２８４】次に、図２０のフローチャートを参照し
て、図１９の向上情報生成部１１により行われる、向上
情報を生成する向上情報生成処理について説明する。

【０２８５】まず最初に、ステップＳ１４１において、
向上情報生成単位に相当する分の教師画像がフレームメ
モリ３１に記憶される。そして、ステップＳ１４２に進
み、制御回路４０は、そこに供給される方式選択信号に
対応する向上方式に用いる向上情報が得られるように指
示を行う制御信号を、クラスタップ構成回路３５および
クラス分類回路３６に供給する。これにより、クラスタ
ップ構成回路３５、およびクラス分類回路３６は、制御
信号にしたがった向上方式に用いる向上情報としてのク
ラスコードが得られるような処理を行うように設定され
る。

【０２８６】なお、制御回路４０に供給される方式選択
信号には、上述した場合と同様に、複数の向上方式を表
す情報が含まれており、制御回路４０は、その複数の向
上方式に対応する制御信号を、ステップＳ１４２の処理
が行われるごとに、順次出力する。

【０２８７】また、制御回路４０が出力する制御信号
が、線形補間を表す場合には、メモリ３９に、線形補間
を指示する旨が、向上情報として記憶される。そして、
ステップＳ１４３乃至Ｓ１４５の処理はスキップされ、
ステップＳ１４６に進む。

【０２８８】ステップＳ１４２の処理後は、ステップＳ
１４３に進み、フレームメモリ３１に記憶された教師画
素のうちの、まだ、注目画素とされていないものが、注
目画素とされ、クラスタップ構成回路３５において、制
御回路４０からの制御信号にしたがった構成の、注目画
素についてのクラスタップが、フレームメモリ３１に記
憶された教師画素を用いて構成される。そして、クラス
タップは、クラス分類回路３６に供給される。

【０２８９】クラス分類回路３６は、ステップＳ１４４
において、クラスタップ構成回路３５からのクラスタッ
プに基づき、制御回路４０からの制御信号にしたがった
方法で、注目画素をクラス分類し、その結果得られるク
ラスに対応するクラスコードを、メモリ３９に供給して
記憶させ、ステップＳ１４５に進む。

【０２９０】ステップＳ１４５では、制御回路４０によ
り、フレームメモリ３１に記憶された、向上情報生成単
位の教師画素すべてを注目画素として、クラス分類を行
ったかどうかが判定され、まだ、教師画素のすべてを注
目画素として、クラス分類を行っていないと判定された
場合、ステップＳ１４３に戻る。この場合、まだ、注目
画素されていない教師画素のうちの１つが、新たに注目
画素とされ、ステップＳ１４４およびＳ１４５の処理が
繰り返される。

【０２９１】また、ステップＳ１４５において、制御回
路４０により、向上情報生成単位の教師画素すべてを注
目画素として、足し込みを行ったと判定された場合、ス
テップＳ１４６に進み、制御回路４０は、そこに供給さ
れた方式選択信号に含まれる、複数の向上方式のすべて
について、向上情報が得られたかどうかを判定する。

【０２９２】ステップＳ１４６において、方式選択信号
に含まれる、複数の向上方式に用いられる複数の向上情
報の中で、まだ得られていないものがあると判定された
場合、ステップＳ１４２に戻り、制御回路４０は、まだ
向上情報が得られていな向上方式に対応する制御信号を
出力し、以下、上述の場合と同様の処理が繰り返され
る。

【０２９３】一方、ステップＳ１４６において、方式選
択信号に含まれる、複数の向上方式のすべてについて、
向上情報としてのクラスコードが得られたと判定された
場合、即ち、方式選択信号に含まれる、複数の向上方式
それぞれに用いられる、複数種類の向上情報としてのク
ラスコードが、メモリ３９に記憶された場合、ステップ
Ｓ１４７に進み、メモリ３９から、その複数種類の向上
情報が読み出され、統合部１２（図２）に供給されて処
理を終了する。

【０２９４】なお、図２０の向上情報生成処理も、フレ
ームメモリ３１に、向上情報生成単位分の教師画像が供
給されるごとに繰り返し行われる。

【０２９５】次に、図２１は、向上情報生成部１１が図
１９に示したように構成される場合の、受信装置３（図
４）の品質向上部２４の構成例を示している。なお、図
中、図１７における場合と対応する部分については、同
一の符号を付してあり、以下では、その説明は、適宜省
略する。即ち、図２１の品質向上部２４は、メモリ１２
２に替えて、メモリ１３１が設けられている他は、図１
７における場合と同様に構成されている。

【０２９６】図１７の実施の形態では、メモリ１２２
に、図１６の学習装置において、生徒画素から構成され
るクラスタップを用いてクラス分類を行う学習を行うこ
とにより得られるクラスごとの予測係数が記憶されてい
たが、図２１の実施の形態では、メモリ１３１に、教師
画素から構成されるクラスタップを用いてクラス分類を
行う学習を行うことにより得られるクラスごとの予測係
数が記憶されている。

【０２９７】即ち、図２２は、教師画素から構成される
クラスタップを用いてクラス分類を行う学習を行う学習
装置の一実施の形態の構成例を示している。なお、図
中、図１６における場合と対応する部分については、同
一の符号を付してあり、以下では、その説明は、適宜省
略する。即ち、図２２の学習装置は、基本的に、図１６
における場合と同様に構成されている。

【０２９８】但し、図２２の学習装置においては、クラ
スタップ構成回路１１５が、フレームメモリ１１３に記
憶された生徒画像ではなく、フレームメモリ１１１に記
憶された教師画像からクラスタップを構成するようにな
っている。なお、クラスタップ構成回路１１５は、図１
９の向上情報生成部１１を構成するクラスタップ構成回
路３５と同一のクラスタップを構成する。

【０２９９】以上のように、向上情報として、クラスコ
ードを用いる場合においても、ユーザの要求に応じて画
質を向上させることができる。従って、この場合も、ユ
ーザの要求に応じた画質の画像の提供が可能となり、さ
らに、ユーザに提供した画像の画質に応じて、きめ細か
な課金を行うことができる。

【０３００】なお、上述のように、向上情報としてクラ
スコードを用いる場合も、放送用画像データと同一内容
の高画質の画像データが存在しないケースに対し、向上
情報として予測係数を用いる場合と同様にして対処可能
である。

【０３０１】次に、上述したように、放送用画像データ
と、向上情報とは、例えば、時分割多重化や周波数多重
化等によって統合信号とすることが可能であるが、放送
用画像データに対して、向上情報を埋め込む(embed)こ
とによって、統合信号とすることも可能である。

【０３０２】そこで、放送用画像データに対して、向上
情報を埋め込む埋め込み方法、およびその方法によって
埋め込まれた向上情報を復号する復号方法について説明
する。

【０３０３】一般に、情報と呼ばれるものは、エネルギ
（エントロピー）の偏り（普遍性）を有し、この偏り
が、情報（価値ある情報）として認識される。即ち、例
えば、ある風景を撮影して得られる画像が、そのような
風景の画像であると人によって認識されるのは、画像
（画像を構成する各画素の画素値など）が、その風景に
対応したエネルギの偏りを有するからであり、エネルギ
の偏りがない画像は、雑音等にすぎず、情報としての利
用価値はない。

【０３０４】従って、価値ある情報に対して、何らかの
操作を施し、その情報が有する本来のエネルギの偏り
を、いわば破壊した場合でも、その破壊されたエネルギ
の偏りを元に戻すことで、何らかの操作が施された情報
も、元の情報に戻すことができる。即ち、情報を操作し
て得られる操作結果データは、その情報が有する本来の
エネルギの偏りを利用して、元の価値ある情報に復号す
ることができる。

【０３０５】ここで、情報が有するエネルギ（の偏り）
を表すものとしては、例えば、相関性がある。

【０３０６】情報の相関性とは、その情報の構成要素
（例えば、画像であれば、その画像を構成する画素やラ
インなど）どうしの相関（例えば、自己相関や、ある構
成要素と他の構成要素との距離など）を意味する。例え
ば、画像の相関性を表すものとしては、画像のライン間
の相関があり、この相関を表す相関値としては、例え
ば、２つのラインにおける、対応する各画素値の差分の
２乗和等を用いることができる（この場合、相関値が小
さいことは、ライン間の相関が大きいことを表し、相関
値が大きいことは、ライン間の相関が小さいことを表
す）。

【０３０７】即ち、画像については、例えば、その上か
ら１行目のライン（第１ライン）と、他のラインとの相
関は、一般に、第１ラインとの距離が近いラインほど大
きくなり、第１ラインとの距離が遠いラインほど小さく
なる。従って、第１ラインから近いほど、第１ラインと
の相関が大きくなり、遠いほど相関が小さくなるという
相関の偏りがある。

【０３０８】そこで、いま、第１ラインから比較的近い
第Ｍラインと、第１ラインから比較的遠い第Ｎラインと
の画素値を入れ替える操作を行い（１＜Ｍ＜Ｎ）、その
入れ替え後の画像について、第１ラインと、他のライン
との相関を計算値すると、第１ラインから近い第Ｍライ
ン（入れ替え前の第Ｎライン）との相関が小さくなり、
第１ラインから遠い第Ｎライン（入れ替え前の第Ｍライ
ン）との相関が大きくなる。

【０３０９】従って、入れ替え後の画像では、第１ライ
ンから近いほど相関が大きくなり、遠いほど相関が小さ
くなるという相関性の偏りが破壊されている。しかしな
がら、画像については、一般に、第１ラインから近いほ
ど相関が大きくなり、遠いほど相関が小さくなるという
相関性の偏りを利用することにより、破壊された相関性
の偏りを復元することができる。即ち、入れ替え後の画
像において、第１ラインから近い第Ｍラインとの相関が
小さく、第１ラインから遠い第Ｎラインとの相関が大き
いのは、画像が有する本来の相関性の偏りからすれば、
明らかに不自然であり（おかしく）、第Ｍラインと第Ｎ
ラインとは入れ替えるべきである。そして、入れ替え後
の画像における第Ｍラインと第Ｎラインとを入れ替える
ことで、本来の相関性の偏りを有する画像、即ち、元の
画像を復号することができる。

【０３１０】この場合、例えば、画像の何ライン目を移
動するかや、どのラインどうしを入れ替えるかなどが、
向上情報にしたがって決定され、そのようなラインの移
動や入れ替えが、画像に向上情報を埋め込むことにな
る。また、そのようにして向上情報が埋め込まれた画
像、即ち、ラインの入れ替えられた画像を、その相関を
利用して、ラインを元の位置に入れ替えることにより、
元の画像に戻すことが、画像および向上情報を復号する
こととなる。即ち、元の画像に戻すときに、何ライン目
を移動したかや、どのラインどうしを入れ替えたかなど
を検出することが、向上情報を復号することになる。

【０３１１】以上のように、画像が有するエネルギの偏
りを利用して復号を行うことができるように、その画像
に対して、向上情報を埋め込む場合には、その埋め込み
が行われた画像を、元の画像が有するエネルギの偏りを
利用することにより、復号のためのオーバヘッドなし
で、元の画像および向上情報に復号することができる。

【０３１２】また、画像に対して、向上情報を埋め込む
ことにより得られる画像（以下、適宜、埋め込み画像と
いう）は、元の画像と異なる画像とされ、人が価値ある
情報として認識することのできる画像ではなくなること
から、元の画像については、オーバヘッドなしの暗号化
を実現することができる。

【０３１３】次に、図２３は、上述のように、放送用画
像データに対して、向上情報を埋め込むことにより統合
信号を生成する図２の統合部１２の構成例を示してい
る。

【０３１４】フレームメモリ６１は、放送用画像データ
を、例えば、１フレーム単位で記憶する。なお、フレー
ムメモリ６１は、複数バンクで構成され、バンク切り替
えを行うことにより、そこに供給される放送用画像デー
タの記憶、後述するような列の入れ替え、およびフレー
ムメモリ６１からのデータの読み出しを、同時に行うこ
とができるようになっている。

【０３１５】スワップ情報生成部６２は、向上情報生成
部１１（図２）からの向上情報を受信し、その向上情報
に基づいて、フレームメモリ６１に記憶された１フレー
ムの画像（放送用画像データ）の各列の位置を、どのよ
うに入れ替えるかを表すスワップ情報を生成する。即
ち、フレームメモリ６１に記憶された１フレームの画像
が、Ｍ行Ｎ列の画素で構成される場合において、その画
像の第ｎ列（左からｎ番目の列）を、第ｎ’列に入れ替
えるときには、スワップ情報生成部６２において、ｎと
ｎ’とが対応付けられたスワップ情報が生成される
（ｎ，ｎ’は、１以上Ｎ以下の整数）。

【０３１６】ここで、１フレームの画像の列数がＮ列で
ある場合、その入れ替え方は、そのすべての列を入れ替
えの対象とすると、Ｎ！（！は、階乗を表す）通りだけ
ある。従って、この場合、１フレームには、最大で、ｌ
ｏｇ₂（Ｎ！）ビットの向上情報の埋め込みが可能とな
る。

【０３１７】スワップ情報生成部６２で生成されたスワ
ップ情報は、スワッピング部６３に供給されるようにな
っており、スワッピング部６３は、スワップ情報生成部
６２から供給されるスワップ情報にしたがって、フレー
ムメモリ６１に記憶された１フレームの画像の各列の位
置を入れ替える。これにより、フレームメモリ６１に記
憶された放送用画像データに、向上情報が埋め込まれ
る。

【０３１８】次に、図２４のフローチャートを参照し
て、図２３の統合部１２において行われる埋め込み処理
について説明する。

【０３１９】フレームメモリ６１には、放送用画像デー
タが供給され、フレームメモリ６１では、その放送用画
像データが、順次記憶される。

【０３２０】一方、スワップ情報生成部６２では、ステ
ップＳ７１において、１フレームの画像（放送用画像デ
ータ）に埋め込み可能なデータ量の向上情報が、向上情
報生成部１１から受信される。即ち、例えば、上述した
ように、１フレームの放送用画像データの列数がＮ列で
あり、そのすべての列を入れ替えの対象とする場合に
は、１フレームには、最大で、ｌｏｇ₂（Ｎ！）ビット
の向上情報の埋め込みが可能であるから、そのようなビ
ット数（以下）の向上情報が受信される。

【０３２１】そして、スワップ情報生成部６２は、ステ
ップＳ７２に進み、ステップＳ７１で受信した向上情報
に基づいて、スワップ情報を生成する。即ち、スワップ
情報生成部６２は、向上情報に基づき、フレームメモリ
６１に記憶された埋め込み処理の対象となっているフレ
ーム（以下、適宜、処理対象フレームという）の第１列
乃至第Ｎ列のうちの、例えば、第１列を除く第２列乃至
第Ｎ列それぞれを、第何列に入れ替えるかを表すスワッ
プ情報を生成する。このスワップ情報は、スワッピング
部６３に供給される。

【０３２２】スワッピング部６３は、スワップ情報生成
部６２からスワップ情報を受信すると、ステップＳ７３
に進み、そのスワップ情報にしたがって、フレームメモ
リ６１に記憶された処理対象フレームの各列の位置を入
れ替える。これにより、処理対象フレームに、向上情報
が埋め込まれ、このようにして向上情報が埋め込まれた
放送用画像データ（埋め込み画像）は、フレームメモリ
６１から読み出され、統合信号として、送信部１３（図
２）に供給される。

【０３２３】なお、フレームの各列の位置の入れ替え
は、フレームメモリ６１における画像データ（を構成す
る画素）の記憶位置を変更することで行うことができる
が、その他、例えば、フレームメモリ６１からフレーム
を読み出すときのアドレスを制御することによって、結
果として、列の位置の入れ替えが行われたフレームが、
フレームメモリ６１から読み出されるようにしても良
い。

【０３２４】また、本実施の形態では、上述したよう
に、スワップ情報には、第２列乃至第Ｎ列それぞれを、
第何列に入れ替えるかを表す情報が含まれているが、第
１列を、第何列に入れ替えるかを表す情報は含まれてい
ない。従って、スワッピング部３７では、第２列乃至第
Ｎ列それぞれの入れ替えは行われるが、第１列の入れ替
えは行われない。この理由については後述する。

【０３２５】処理対象フレームの第２列乃至第Ｎ列すべ
ての入れ替えが終了すると、ステップＳ７４に進み、フ
レームメモリ６１に、まだ処理対象フレームとされてい
ない放送用画像データのフレームが記憶されているかど
うかが判定され、記憶されていると判定された場合、ス
テップＳ７１に戻り、まだ処理対象フレームとされてい
ないフレームを新たに処理対象フレームとして、以下、
同様の処理が繰り返される。

【０３２６】また、ステップＳ７４において、フレーム
メモリ６１に、処理対象フレームとされていないフレー
ムが記憶されていないと判定された場合、埋め込み処理
を終了する。

【０３２７】以上のような埋め込み処理によれば、ある
１フレームの画像（ここでは、放送用画像データ）は、
次のような埋め込み画像としての統合信号とされる。

【０３２８】即ち、いま、向上情報が、例えば、図２５
に示すように、Ｎ列（図２５（Ａ））の処理対象フレー
ムの第２列を第６列に（図２５（Ｂ））、第３列を第９
列に（図２５（Ｃ））、第４列を第７列に（図２５
（Ｄ））、第５列を第３列に（図２５（Ｅ））、第６列
を第８列に（図２５（Ｆ））、第７列を第４列に（図２
５（Ｇ））、第８列を第５列に（図２５（Ｈ））、第９
列を第２列に（図２５（Ｉ））、・・・、第Ｎ列を第Ｎ
列に、それぞれ入れ替えるものに対応するとすると、そ
のような入れ替えを表すスワップ情報が、スワップ情報
生成部６２において生成される。そして、スワッピング
部６３では、例えば、図２５（Ｊ）に示すようなフレー
ムが、上述のようなスワップ情報にしたがい、第２列が
第６列に、第３列が第９列に、第４列が第７列に、第５
列が第３列に、第６列が第８列に、第７列が第４列に、
第８列を第５列に、第９列が第２列に、・・・、第Ｎ列
が第Ｎ列に、それぞれ入れ替えられる。その結果、図２
５（Ｊ）の画像は、図２５（Ｋ）に示すような埋め込み
画像とされる。

【０３２９】以上のように、フレームメモリ６１に記憶
された画像を構成する１以上の画素の集合としての、各
列の画素の位置を、向上情報に対応して入れ替えること
により、各列に、向上情報を埋め込む場合には、その逆
の入れ替えを行うことで、元の画像を復号することがで
き、さらに、どのような入れ替えを行ったかということ
が向上情報となる。従って、画像の画質の劣化を極力な
くし、かつデータ量を増加せずに、画像に向上情報を埋
め込むことができる。

【０３３０】即ち、向上情報が埋め込まれた画像であ
る、列の位置の入れ替えが行われた画像の各列は、その
画像の相関性、即ち、ここでは、元の画像と同様の正し
い位置にある列との間の相関を利用することにより、オ
ーバヘッドなしで、元の位置に入れ替えることができ、
さらに、その入れ替え方により、向上情報を復号ことが
できる。従って、その結果得られる復号画像（再生画
像）には、基本的に、向上情報を埋め込むことによる画
質の劣化は生じない。

【０３３１】なお、埋め込み画像に、正しい位置にある
列が存在しない場合には、上述のように画像の相関性を
利用して、画像と向上情報を復号するのは困難である。
そこで、ここでは、図２４の埋め込み処理において、各
フレームの第１列は、入れ替えを行わないようにしてい
る。

【０３３２】但し、第１列を含むすべての列を入れ替え
の対象として、埋め込みを行うことも可能であり、この
場合、入れ替え後の列の少なくとも１以上の元の位置
を、オーバヘッドとして、埋め込み画像としての統合信
号に含めることで、画像と向上情報の復号が容易に可能
となる。

【０３３３】また、向上情報は、列を、順次入れ替える
ことにより、画像に埋め込んでいくことも可能である
し、すべての列を一度に入れ替えることにより、画像に
埋め込むことも可能である。即ち、向上情報に基づい
て、ある列を入れ替え、次の向上情報に基づいて、次の
列を入れ替えるといったことを繰り返すことで、向上情
報を画像に埋め込むことも可能であるし、すべての列の
入れ替えパターンを、向上情報に基づいて決定し、その
ような入れ替えを一度に行うことで、向上情報を画像に
埋め込むことも可能である。

【０３３４】次に、図２６は、送信装置１（図２）の統
合部１２が図２３に示したように構成される場合の、受
信装置３（図４）の抽出部２２の構成例を示している。

【０３３５】フレームメモリ７１は、図２３のフレーム
メモリ６１と同様に構成されており、受信部２１（図
４）が出力する統合信号としての埋め込み画像を、例え
ば、フレーム単位で順次記憶する。

【０３３６】スワッピング部７２は、フレームメモリ７
１に記憶された埋め込み画像のうちの、処理の対象とな
っているフレーム（処理対象フレーム）における、既に
元の位置に入れ替えられた最新の列と、他の列（まだ、
元の位置に戻されていない列）との相関を計算し、その
相関に基づいて、処理対象フレームの中の、まだ元の位
置に戻されていない列の位置を入れ替えることで元に戻
す（列の位置を復号する）。さらに、スワッピング部７
２は、フレームの各列をどのように入れ替えたかを表す
スワップ情報を、スワップ情報変換部７３に供給する。

【０３３７】スワップ情報変換部７３は、スワッピング
部７２からのスワップ情報、即ち、処理対象フレームの
各列の、入れ替え前の位置と、入れ替え後の位置との対
応関係に基づいて、埋め込み画像に埋め込まれた向上情
報を復号する。

【０３３８】次に、図２７のフローチャートを参照し
て、図２６の抽出部２２において行われる、埋め込み画
像を復号して、元の放送用画像データと向上情報を抽出
する復号処理について説明する。

【０３３９】フレームメモリ７１では、そこに供給され
る埋め込み画像（符号化データ）が、例えば、１フレー
ム単位で順次記憶される。

【０３４０】一方、スワッピング部７２では、ステップ
Ｓ８１において、フレームの列数をカウントするための
変数ｎに、初期値としての、例えば、１がセットされ、
ステップＳ８２に進み、変数ｎが、フレームの列数であ
るＮから１を減算したＮ−１以下であるかどうかが判定
される。

【０３４１】ステップＳ８２において、変数ｎがＮ−１
以下であると判定された場合、ステップＳ８３に進み、
スワッピング部７２は、フレームメモリ７１に記憶され
た処理対象のフレームから、第ｎ列の画素（画素列）を
読み出し、その第ｎ列の各画素（の画素値）を要素とし
て並べたベクトル（以下、適宜、列ベクトルという）ｖ
_nを生成する。ここで、本実施の形態では、上述したよ
うに、フレームがＭ行の画素で構成されるから、列ベク
トルｖ_n（後述する列ベクトルｖ_kも同様）は、Ｍ次元の
ベクトルとなる。

【０３４２】その後、ステップＳ８４において、第ｎ列
より右側にある列をカウントするための変数ｋに、初期
値としてのｎ＋１がセットされ、ステップＳ８５に進
み、スワッピング部７２は、第ｋ列の画素を読み出し、
その第ｋ列の画素を要素とする列ベクトルｖ_kを生成し
て、ステップＳ８６に進む。

【０３４３】ステップＳ８６では、スワッピング部７２
において、列ベクトルｖ_nおよびｖ_kを用いて、第ｎ列と
第ｋ列との相関が求められる。

【０３４４】即ち、スワッピング部７２では、列ベクト
ルｖ_nとｖ_kとの距離ｄ（ｎ，ｋ）が、次式にしたがって
計算される。

【０３４５】ｄ（ｎ，ｋ）＝｜ｖ_n−ｖ_k｜＝（Σ（Ａ（ｍ，ｎ）−Ａ（ｍ，ｋ））²）^1/2 ・・・（８）但し、上式において、Σは、ｍを、１からＭに変化させ
てのサメーションを表す。また、また、Ａ（ｉ，ｊ）
は、処理対象になっているフレームの第ｉ行第ｊ列の画
素（画素値）を表す。

【０３４６】そして、スワッピング部７２では、列ベク
トルｖ_nとｖ_kとの距離ｄ（ｎ，ｋ）の逆数１／ｄ（ｎ，
ｋ）が、第ｎ列と第ｋ列との相関（を表す相関値）とし
て求められる。

【０３４７】第ｎ列と第ｋ列との相関の算出後は、ステ
ップＳ８７に進み、変数ｋが、フレームの列数であるＮ
から１を減算したＮ−１以下であるかどうかが判定され
る。ステップＳ８７において、変数ｋがＮ−１以下であ
ると判定された場合、ステップＳ８８に進み、変数ｋが
１だけインクリメントされ、ステップＳ８５に戻り、以
下、ステップＳ８７において、変数ｋがＮ−１以下でな
いと判定されるまで、ステップＳ８５乃至Ｓ８８の処理
を繰り返す。即ち、これにより、第ｎ列と、それより右
側にある埋め込み画像の列それぞれとの相関が求められ
る。

【０３４８】その後、ステップＳ８７において、変数ｋ
がＮ−１以下でないと判定されると、ステップＳ８８に
進み、スワッピング部７２において、第ｎ列との相関を
最大にするｋが求められる。そして、第ｎ列との相関を
最大にするｋを、例えばＫと表すと、スワッピング部７
２は、ステップＳ９０において、フレームメモリ７１に
記憶された処理対象のフレームの第ｎ＋１列と第Ｋ列と
をスワッピング、即ち、第Ｋ列を、第ｎ列の右隣の第ｎ
＋１列に入れ替える。

【０３４９】その後、ステップＳ９１において、変数ｎ
が１だけインクリメントされ、ステップＳ８２に戻り、
以下、ステップＳ８２において、変数ｎがＮ−１以下で
ないと判定されるまで、ステップＳ８２乃至Ｓ９１の処
理を繰り返す。

【０３５０】ここで、本実施の形態では、埋め込み画像
の第１列は、元の画像の第１列のままであるから、変数
ｎが、初期値である１のときは、第１列との相関が最も
高い埋め込み画像の列が、第１列の右隣の第２列に入れ
替えられる。第１列との相関が最も高い列は、画像の相
関性から、基本的に、元の画像の第２列であるから、こ
の場合、埋め込み処理において、埋め込み画像のどこか
の列に入れ替えられた元の画像の第２列は、元の位置に
戻される（復号される）ことになる。

【０３５１】そして、変数ｎが２となると、上述したよ
うにして元の位置に入れ替えられた第２列との相関が最
も高い埋め込み画像の列が、その第２列の右隣の第３列
に入れ替えられる。第２列との相関が最も高い列は、や
はり、画像の相関性から、基本的に、元の画像の第３列
であるから、この場合、埋め込み符号化処理において、
埋め込み画像のどこかの列に入れ替えられた元の画像の
第３列は、元の位置に戻されることになる。

【０３５２】以下、同様にして、フレームメモリ７１に
記憶された埋め込み画像は、元の画像（放送用画像デー
タ）に復号されていく。

【０３５３】そして、ステップＳ８２において、変数ｎ
がＮ−１以下でないと判定された場合、即ち、埋め込み
画像を構成する第２列乃至第Ｎ列すべてが、画像の相関
性を利用して元の位置に戻され、これにより、フレーム
メモリ７１に記憶された埋め込み画像が、元の画像（放
送用画像データ）が復号された場合、ステップＳ９２に
進み、その復号された画像が、フレームメモリ７１から
読み出される。さらに、ステップＳ９２では、スワッピ
ング部７２が、埋め込み画像を元の画像に復号した際
の、埋め込み画像の第２列乃至第Ｎ列それぞれの入れ替
え方を表すスワップ情報が、スワップ情報変換部７３に
出力される。そして、スワップ情報変換部７３では、ス
ワッピング部７２からのスワップ情報に基づいて、埋め
込み画像に埋め込まれていた向上情報が復号されて出力
される。

【０３５４】その後、ステップＳ９３に進み、フレーム
メモリ７１に、まだ処理の対象とされていない埋め込み
画像のフレームが記憶されているかどうかが判定され、
記憶されていると判定された場合、ステップＳ８１に戻
り、まだ処理の対象とされていない埋め込み画像のフレ
ームを新たに処理対象として、以下、同様の処理が繰り
返される。

【０３５５】また、ステップＳ９３において、フレーム
メモリ７１に、処理の対象とされていないフレームが記
憶されていないと判定された場合、復号処理を終了す
る。

【０３５６】以上のように、向上情報が埋め込まれた画
像である埋め込み画像を、画像の相関性を利用して、元
の画像と向上情報に復号するようにしたので、その復号
のためのオーバヘッドがなくても、埋め込み画像を、元
の画像と向上情報に復号することができる。従って、そ
の復号画像には、基本的に、向上情報を埋め込むことに
よる画質の劣化は生じない。

【０３５７】なお、図２７の復号処理においては、既に
復号された最新の１列（例えば、ｎ＝１の場合において
は、埋め込み時に入れ替えられていない第１列）と、ま
だ復号されていない列との相関を求め、その相関に基づ
いて、既に復号された最新の列の右隣の位置に入れ替え
られるべき列を検出するようにしたが、その他、例え
ば、既に復号された複数の列と、まだ復号されていない
列との相関を演算することにより、既に復号された最新
の列の右隣に入れ替えられるべき列を検出するようにす
ることも可能である。

【０３５８】また、上述の場合には、列の入れ替えによ
り、放送用画像データに、向上情報を埋め込むようにし
たが、埋め込みは、行の入れ替えや、時間方向に並ぶ所
定数のフレームの同一位置にある画素列の位置の入れ替
え、さらには、列と行の両方の入れ替え等によって行う
ことも可能である。

【０３５９】さらに、埋め込みは、列等を入れ替えると
いう操作ではなく、画素値を、向上情報に基づいて操作
したり、水平ライン等を、向上情報に基づいてローテシ
ョンしたりすること等によって行うことも可能である。
いずれの場合にも、エネルギの偏りを利用して、元の情
報を復号することができる。

【０３６０】なお、このように、エネルギの偏りを利用
して、元の情報を復号することができるように埋め込み
を行う方法については、本件出願人が先に提案した、例
えば、特願平１０−２０００９３号や、特願平１０−２
２２９５１号、特願平１０−３３３７００号、特願平１
１−１２９９１９号、特願平１１−１６０５２９号、特
願平１１−１６０５３０号、特願平１１−２８４１９８
号（特願平１０−２８５３１０号を基礎とする国内優先
権主張出願）、特願平１１−２８４１９９号（特願平１
０−２８５３０９号を基礎とする国内優先権主張出
願）、特願平１１−２８４２００号（特願平１０−２８
５３０８号を基礎とする国内優先権主張出願）等に、そ
の詳細が記載されており、これらに記載されている方法
は、統合部１２および抽出部２２において採用すること
ができる。

【０３６１】次に、放送用画像データに対して、向上情
報を埋め込む埋め込み方法としては、スペクトラム拡散
を採用することもできる。

【０３６２】そこで、図２８は、スペクトラム拡散を利
用して、放送用画像データに向上情報を埋め込む場合
の、送信装置（図２）の統合部１２の構成例を示してい
る。

【０３６３】向上情報生成部１１（図２）が出力する向
上情報は、スペクトラム拡散信号生成回路８１に供給さ
れるようになっており、スペクトラム拡散信号生成回路
８１は、所定のタイミングで、例えば、Ｍ系列等のＰＮ
(Pseudo random Noise)符号列を順次生成する。そし
て、スペクトラム拡散信号生成回路８１は、そのＰＮ符
号列によって、向上情報をスペクトラム拡散し、スペク
トラム拡散信号を得て、加算回路８２に供給する。

【０３６４】加算回路８２には、スペクトラム拡散信号
生成回路８１からスペクトラム拡散信号が供給される
他、放送用画像データも供給されるようになっており、
加算回路８２は、放送用画像データに、スペクトラム拡
散信号を重畳し、これにより、放送用画像データに向上
情報を埋め込んだ統合信号を得て、送信部１３（図２）
に出力する。

【０３６５】なお、放送用画像データおよびスペクトラ
ム拡散信号は、Ｄ／Ａ(Digital Analog)変換した後に、
加算回路８２に供給するようにすることもできる。

【０３６６】次に、図２９は、送信装置１（図２）の統
合部１２が図２８に示したように構成される場合の、受
信装置３（図４）の抽出部２２の構成例を示している。

【０３６７】受信部２１（図４）が出力する統合信号
は、逆スペクトラム拡散回路９１と復号回路９２に供給
されるようになっている。

【０３６８】逆スペクトラム拡散回路９１は、図２８の
スペクトラム拡散信号生成回路８１が生成するのと同様
のＰＮ符号列を生成し、そのＰＮ符号列に基づいて、統
合信号を逆スペクトラム拡散し、これにより、向上情報
を復号する。この復号された向上情報は、選択部２３
（図４）に供給される。

【０３６９】さらに、逆スペクトラム拡散回路９１は、
生成したＰＮ符号列を、復号回路９２に供給する。

【０３７０】復号回路９２は、逆スペクトラム拡散回路
９１からのＰＮ符号列に基づいて、統合信号に重畳され
ているスペクトラム拡散信号を除去し、これにより、放
送用画像データを復号する。この復号された放送用画像
データは、品質向上部２４（図４）に供給される。

【０３７１】なお、図２９において、抽出部２２は、復
号回路９２を設けずに構成することが可能である。この
場合、品質向上部２４に対しては、スペクトラム拡散信
号が重畳された放送用画像データが供給されることにな
る。

【０３７２】以上、エネルギの偏りを利用して、元の情
報を復号することができるように埋め込みを行う方法
と、スペクトラム拡散を利用して埋め込みを行う方法に
ついて説明したが、放送用画像データに対する向上情報
の埋め込みには、その他、例えば、従来の電子透かしを
利用することも可能である。

【０３７３】即ち、放送用画像データを構成する画素
の、例えば、下位１ビットや２ビット等を、向上情報に
変更（置換）することで、放送用画像データに、向上情
報を埋め込むことが可能である。

【０３７４】次に、上述した一連の処理は、ハードウェ
アにより行うこともできるし、ソフトウェアにより行う
こともできる。一連の処理をソフトウェアによって行う
場合には、そのソフトウェアを構成するプログラムが、
汎用のコンピュータ等にインストールされる。

【０３７５】そこで、図３０は、上述した一連の処理を
実行するプログラムがインストールされるコンピュータ
の一実施の形態の構成例を示している。

【０３７６】プログラムは、コンピュータに内蔵されて
いる記録媒体としてのハードディスク２０５やＲＯＭ２
０３に予め記録しておくことができる。

【０３７７】あるいはまた、プログラムは、フロッピー
（登録商標）ディスク、CD-ROM(Compact Disc Read Onl
y Memory)，MO(Magneto optical)ディスク，DVD(Digita
l Versatile Disc)、磁気ディスク、半導体メモリなど
のリムーバブル記録媒体２１１に、一時的あるいは永続
的に格納（記録）しておくことができる。このようなリ
ムーバブル記録媒体２１１は、いわゆるパッケージソフ
トウエアとして提供することができる。

【０３７８】なお、プログラムは、上述したようなリム
ーバブル記録媒体２１１からコンピュータにインストー
ルする他、ダウンロードサイトから、ディジタル衛星放
送用の人工衛星を介して、コンピュータに無線で転送し
たり、LAN(Local Area Network)、インターネットとい
ったネットワークを介して、コンピュータに有線で転送
し、コンピュータでは、そのようにして転送されてくる
プログラムを、通信部２０８で受信し、内蔵するハード
ディスク２０５にインストールすることができる。

【０３７９】コンピュータは、CPU(Central Processing
Unit)２０２を内蔵している。CPU２０２には、バス２
０１を介して、入出力インタフェース２１０が接続され
ており、CPU２０２は、入出力インタフェース２１０を
介して、ユーザによって、キーボードやマウス等で構成
される入力部２０７が操作されることにより指令が入力
されると、それにしたがって、ROM(Read Only Memory)
２０３に格納されているプログラムを実行する。あるい
は、また、CPU２０２は、ハードディスク２０５に格納
されているプログラム、衛星若しくはネットワークから
転送され、通信部２０８で受信されてハードディスク２
０５にインストールされたプログラム、またはドライブ
２０９に装着されたリムーバブル記録媒体２１１から読
み出されてハードディスク２０５にインストールされた
プログラムを、RAM(Random Access Memory)２０４にロ
ードして実行する。これにより、CPU２０２は、上述し
たフローチャートにしたがった処理、あるいは上述した
ブロック図の構成により行われる処理を行う。そして、
CPU２０２は、その処理結果を、必要に応じて、例え
ば、入出力インタフェース２１０を介して、LCD(Liquid
CryStal Display)やスピーカ等で構成される出力部２
０６から出力、あるいは、通信部２０８から送信、さら
には、ハードディスク２０５に記録等させる。

【０３８０】ここで、本明細書において、コンピュータ
に各種の処理を行わせるためのプログラムを記述する処
理ステップは、必ずしもフローチャートとして記載され
た順序に沿って時系列に処理する必要はなく、並列的あ
るいは個別に実行される処理（例えば、並列処理あるい
はオブジェクトによる処理）も含むものである。

【０３８１】また、プログラムは、１のコンピュータに
より処理されるものであっても良いし、複数のコンピュ
ータによって分散処理されるものであっても良い。さら
に、プログラムは、遠方のコンピュータに転送されて実
行されるものであっても良い。

【０３８２】なお、本実施の形態においては、画像デー
タを対象としたが、本発明は、その他、例えば、オーデ
ィオデータ等を対象とすることも可能である。

【０３８３】さらに、本実施の形態では、埋め込み画像
を、衛星回線を介して提供する場合について説明した
が、埋め込み画像の提供は、その他、地上波や、インタ
ーネット、ＣＡＴＶ網等の各種の伝送媒体を介して行う
ことも可能であるし、光ディスクや光磁気ディスク、磁
気テープ、半導体メモリ等の各種の記録媒体に記録して
行うことも可能である。

【０３８４】

【発明の効果】本発明の第１のデータ処理装置およびデ
ータ処理方法、並びに記録媒体およびプログラムによれ
ば、データの品質を向上させるための向上情報が生成さ
れ、データに対して、向上情報が埋め込まれる。従っ
て、例えば、向上情報が埋め込まれた状態のデータ、向
上情報が抽出された状態のデータ、向上情報によって品
質が向上されたデータ等の提供が可能となる。

【０３８５】本発明の第２のデータ処理装置およびデー
タ処理方法、並びに記録媒体およびプログラムによれ
ば、埋め込みデータから、向上情報が抽出され、データ
の品質が、向上情報を用いて向上される。従って、品質
の高いデータの提供を受けることが可能となる。

【０３８６】本発明の第３のデータ処理装置およびデー
タ処理方法、並びに記録媒体およびプログラムによれ
ば、データの品質を向上させるための複数種類の向上情
報が生成され、データと、１種類以上の向上情報とが送
信される。従って、複数の品質のデータの提供が可能と
なる。

【０３８７】本発明の第４のデータ処理装置およびデー
タ処理方法、並びに記録媒体およびプログラムによれ
ば、データおよび１種類以上の向上情報が受信され、デ
ータの品質が、１種類以上の向上情報のうちのいずれか
を用いて向上される一方、そのデータの品質を向上させ
るのに用いた向上情報に応じて、課金処理が行われる。
従って、支払額に応じた品質のデータの提供を受けるこ
とが可能となる。

【図面の簡単な説明】

【図１】本発明を適用した放送システムの一実施の形態
の構成例を示す図である。

【図２】送信装置１の構成例を示すブロック図である。

【図３】送信装置１の処理を説明するフローチャートで
ある。

【図４】受信装置３の構成例を示すブロック図である。

【図５】受信装置３の処理を説明するフローチャートで
ある。

【図６】向上情報生成部１１の第１の構成例を示すブロ
ック図である。

【図７】予測タップ（クラスタップ）の構成を示す図で
ある。

【図８】方式選択信号と向上方式との対応関係を示す図
である。

【図９】図６の向上情報生成部１１の処理を説明するフ
ローチャートである。

【図１０】向上情報生成部１１の第２の構成例を示すブ
ロック図である。

【図１１】図１０の向上情報生成部１１の処理を説明す
るフローチャートである。

【図１２】品質向上部２４の第１の構成例を示すブロッ
ク図である。

【図１３】図１２の品質向上部２４の処理を説明するフ
ローチャートである。

【図１４】向上情報生成部１１の第３の構成例を示すブ
ロック図である。

【図１５】図１４の向上情報生成部１１の処理を説明す
るフローチャートである。

【図１６】予測係数を求める学習装置の第１の構成例を
示すブロック図である。

【図１７】品質向上部２４の第２の構成例を示すブロッ
ク図である。

【図１８】図１７の品質向上部２４の処理を説明するフ
ローチャートである。

【図１９】向上情報生成部１１の第４の構成例を示すブ
ロック図である。

【図２０】図１９の向上情報生成部１１の処理を説明す
るフローチャートである。

【図２１】品質向上部２４の第３の構成例を示しブロッ
ク図である。

【図２２】予測係数を求める学習装置の第２の構成例を
示すブロック図である。

【図２３】統合部１２の構成例を示すブロック図であ
る。

【図２４】図２４の統合部１２の処理を説明するフロー
チャートである。

【図２５】画像の列の入れ替えを説明する図である。

【図２６】抽出部２２の構成例を示すブロック図であ
る。

【図２７】図２６の抽出部２２の処理を説明するフロー
チャートである。

【図２８】統合部１２の他の構成例を示すブロック図で
ある。

【図２９】抽出部２２の他の構成例を示すブロック図で
ある。

【図３０】本発明を適用したコンピュータの一実施の形
態の構成例を示すブロック図である。

【符号の説明】

１送信装置，１Ａアンテナ，２衛星，３
受信装置，３Ａアンテナ，４ネットワーク，
１１向上情報生成部，１２統合部，１３送信
部，１４課金処理部，１５通信インタフェー
ス，２１受信部，２２抽出部，２３選択
部，２４品質向上部，２５表示部，２６操作
部，２７課金処理部，２８通信インタフェー
ス，３１フレームメモリ，３２ダウンコンバー
タ，３３フレームメモリ，３４予測タップ構成回
路，３５クラスタップ構成回路，３６クラス分
類回路，３７正規方程式加算回路，３８予測係
数決定回路，３９メモリ，４０制御回路，４
１フレームメモリ，４２特徴量推定回路，４３
仮教師データ生成回路，４４仮生徒データ生成回
路，５１フレームメモリ，５２予測タップ構成
回路，５３クラスタップ構成回路，５４クラス分
類回路，５５メモリ，５６予測演算回路，５
７制御回路，６１フレームメモリ，６２スワ
ップ情報生成部，６３スワッピング部，７１フ
レームメモリ，７２スワッピング部，７３スワ
ップ情報変換部，８１スペクトラム拡散信号生成回
路，８２加算回路，９１逆スペクトラム拡散回
路，９２復号回路，１０１メモリ，１０２予
測演算回路，１０３比較回路，１０４検出回
路，１１１フレームメモリ，１１２ダウンコン
バータ，１１３フレームメモリ，１１４予測タッ
プ構成回路，１１５クラスタップ構成回路，１１
６クラス分類回路，１１７正規方程式加算回路，
１１８予測係数決定回路，１１９メモリ，１２
１クラスコード記憶部，１２２，１３１メモリ，
２０１バス，２０２ CPU，２０３ ROM，２
０４ RAM，２０５ハードディスク，２０６出
力部，２０７入力部，２０８通信部，２０９
ドライブ，２１０入出力インタフェース，２１１
リムーバブル記録媒体

Claims

【特許請求の範囲】

【請求項１】データの品質を向上させるための向上情
報を生成する向上情報生成手段と、前記データに対して、前記向上情報を埋め込む埋め込み
手段とを備えることを特徴とするデータ処理装置。
【請求項２】前記向上情報生成手段は、前記データの
品質を向上させた品質向上データの予測値を予測するの
に用いる予測係数を、前記向上情報として生成すること
を特徴とする請求項１に記載のデータ処理装置。
【請求項３】前記向上情報生成手段は、前記予測係数
を、所定のクラスごとに生成することを特徴とする請求
項２に記載のデータ処理装置。
【請求項４】前記向上情報生成手段は、教師となる教師データのうちの注目している注目教師デ
ータのクラスを求めるのに用いるクラスタップを、生徒
となる生徒データを用いて構成するクラスタップ構成手
段と、前記クラスタップに基づいて、前記注目教師データのク
ラスを求めるクラス分類を行うクラス分類手段と、前記注目教師データを予測するのに、前記予測係数とと
もに用いる予測タップを、前記生徒データを用いて構成
する予測タップ構成手段と、前記教師データおよび予測タップを用いて、前記クラス
ごとの前記予測係数を求める予測係数演算手段とを有す
ることを特徴とする請求項３に記載のデータ処理装置。
【請求項５】前記向上情報生成手段は、複数種類の前
記向上情報を生成することを特徴とする請求項４に記載
のデータ処理装置。
【請求項６】前記向上情報生成手段は、異なるクラス
数についての前記予測係数を、前記複数種類の向上情報
として生成することを特徴とする請求項５に記載のデー
タ処理装置。
【請求項７】前記向上情報生成手段は、異なる品質の
前記生徒データまたは教師データを用いることにより求
められる複数種類の予測係数を、前記複数種類の向上情
報として生成することを特徴とする請求項５に記載のデ
ータ処理装置。
【請求項８】前記向上情報生成手段は、少なくとも、
前記予測係数と、線形補間を行うための情報とを、前記
複数種類の向上情報として生成することを特徴とする請
求項５に記載のデータ処理装置。
【請求項９】前記向上情報生成手段は、異なる構成の
前記クラスタップまたは予測タップを用いることにより
求められる複数種類の予測係数を、前記複数種類の向上
情報として生成することを特徴とする請求項５に記載の
データ処理装置。
【請求項１０】前記向上情報生成手段は、前記クラス
分類を、異なる方法で行うことにより求められる複数種
類の予測係数を、前記複数種類の向上情報として生成す
ることを特徴とする請求項５に記載のデータ処理装置。
【請求項１１】前記向上情報生成手段は、前記データ
の品質を向上させた品質向上データの予測値を予測する
のに用いる、データのクラスを表すクラスコードを、前
記向上情報として生成することを特徴とする請求項１に
記載のデータ処理装置。
【請求項１２】前記向上情報生成手段は、学習の教師となる教師データのうちの注目している注目
教師データを予測するのに用いる予測タップを、学習の
生徒となる生徒データを用いて構成する予測タップ構成
手段と、学習を行うことにより求められた、前記クラスコードご
との予測係数を記憶する予測係数記憶手段と、前記予測タップおよび予測係数を用いて、前記注目教師
データの予測値を求める予測演算手段と、前記注目教師データの予測値を最小にする前記予測係数
のクラスコードを検出するクラスコード検出手段とを有
し、前記クラスコード検出手段において検出された前記クラ
スコードを、前記向上情報として出力することを特徴と
する請求項１１に記載のデータ処理装置。
【請求項１３】前記向上情報生成手段は、学習の教師となる教師データのうちの注目している注目
教師データのクラスを求めるのに用いるクラスタップ
を、前記教師データを用いて構成するクラスタップ構成
手段と、前記クラスタップに基づいて、前記注目教師データのク
ラスを求めるクラス分類を行うクラス分類手段とを有
し、前記クラス分類手段において求められたクラスに対応す
るクラスコードを、前記向上情報として出力することを
特徴とする請求項１１に記載のデータ処理装置。
【請求項１４】前記埋め込み手段は、前記データが有
するエネルギの偏りを利用して、前記データおよび向上
情報を元に戻すことができるように、前記データに、前
記向上情報を埋め込むことを特徴とする請求項１に記載
のデータ処理装置。
【請求項１５】前記埋め込み手段は、スペクトラム拡
散を行うことにより、前記データに、前記向上情報を埋
め込むことを特徴とする請求項１に記載のデータ処理装
置。
【請求項１６】前記埋め込み手段は、前記データの１
ビット以上を、前記向上情報に変更することにより、前
記データに、前記向上情報を埋め込むことを特徴とする
請求項１に記載のデータ処理装置。
【請求項１７】前記データは、画像データであり、前記向上情報は、前記画像データの画質を向上させる情
報であることを特徴とする請求項１に記載のデータ処理
装置。
【請求項１８】データの品質を向上させるための向上
情報を生成する向上情報生成ステップと、前記データに対して、前記向上情報を埋め込む埋め込み
ステップとを備えることを特徴とするデータ処理方法。
【請求項１９】コンピュータに実行させるプログラム
が記録されている記録媒体であって、データの品質を向上させるための向上情報を生成する向
上情報生成ステップと、前記データに対して、前記向上情報を埋め込む埋め込み
ステップとを備えるプログラムが記録されていることを
特徴とする記録媒体。
【請求項２０】コンピュータに実行させるプログラム
であって、データの品質を向上させるための向上情報を生成する向
上情報生成ステップと、前記データに対して、前記向上情報を埋め込む埋め込み
ステップとを備えることを特徴とするプログラム。
【請求項２１】データに対して、そのデータの品質を
向上させるための向上情報が埋め込まれた埋め込みデー
タを処理するデータ処理装置であって、前記埋め込みデータから、前記向上情報を抽出する抽出
手段と、前記データの品質を、前記向上情報を用いて向上させる
向上手段とを備えることを特徴とするデータ処理装置。
【請求項２２】前記向上情報は、前記データの品質を
向上させた品質向上データの予測値を予測するのに用い
る予測係数であり、前記向上手段は、前記データおよび予測係数を用いるこ
とにより、前記品質向上データの予測値を求めることを
特徴とする請求項２１に記載のデータ処理装置。
【請求項２３】前記向上情報は、所定のクラスごとに
求められた前記予測係数であり、前記向上手段は、前記データおよびクラスごとの予測係
数を用いることにより、前記品質向上データの予測値を
求めることを特徴とする請求項２２に記載のデータ処理
装置。
【請求項２４】前記向上手段は、注目している前記品質向上データである注目品質向上デ
ータのクラスを求めるのに用いるクラスタップを、前記
データを用いて構成するクラスタップ構成手段と、前記クラスタップに基づいて、前記注目品質向上データ
のクラスを求めるクラス分類を行うクラス分類手段と、前記注目品質向上データを予測するのに、前記予測係数
とともに用いる予測タップを、前記データを用いて構成
する予測タップ構成手段と、前記注目品質向上データの予測値を、その注目品質向上
データのクラスの前記予測係数と、前記予測タップとを
用いて求める予測手段とを有することを特徴とする請求
項２３に記載のデータ処理装置。
【請求項２５】前記向上情報は、前記データの品質を
向上させた品質向上データの予測値を予測するのに用い
る所定のクラスごとの予測係数の、そのクラスを表すク
ラスコードであり、前記向上手段は、前記データおよび前記クラスコードに
対応する予測係数を用いることにより、前記品質向上デ
ータの予測値を求めることを特徴とする請求項２１に記
載のデータ処理装置。
【請求項２６】前記向上手段は、注目している前記品質向上データである注目品質向上デ
ータを予測するのに、前記予測係数とともに用いる予測
タップを、前記データを用いて構成する予測タップ構成
手段と、前記注目品質向上データの予測値を、前記向上情報とし
てのクラスコードに対応する予測係数と、前記予測タッ
プとを用いて求める予測手段とを有することを特徴とす
る請求項２５に記載のデータ処理装置。
【請求項２７】前記埋め込みデータには、複数種類の
前記向上情報が埋め込まれていることを特徴とする請求
項２４に記載のデータ処理装置。
【請求項２８】前記埋め込みデータには、異なるクラ
ス数についての前記予測係数が、前記複数種類の向上情
報として埋め込まれていることを特徴とする請求項２７
に記載のデータ処理装置。
【請求項２９】前記予測係数は、生徒となる生徒デー
タと、教師となる教師データとを用いて生成されるもの
であり、前記埋め込みデータには、異なる品質の前記生徒データ
または教師データを用いることにより求められる複数種
類の予測係数が、前記複数種類の向上情報として埋め込
まれていることを特徴とする請求項２７に記載のデータ
処理装置。
【請求項３０】前記埋め込みデータには、少なくと
も、前記予測係数と、線形補間を行うための情報とが、
前記複数種類の向上情報として埋め込まれていることを
特徴とする請求項２７に記載のデータ処理装置。
【請求項３１】前記埋め込みデータには、異なる構成
の前記クラスタップまたは予測タップを用いることによ
り求められる複数種類の予測係数が、前記複数種類の向
上情報として埋め込まれていることを特徴とする請求項
２７に記載のデータ処理装置。
【請求項３２】前記埋め込みデータには、前記クラス
分類を、異なる方法で行うことにより求められる複数種
類の予測係数が、前記複数種類の向上情報として埋め込
まれていることを特徴とする請求項２７に記載のデータ
処理装置。
【請求項３３】前記複数種類の向上情報から、前記デ
ータの品質を向上させるのに用いるものを選択する向上
情報選択手段をさらに備えることを特徴とする請求項２
７に記載のデータ処理装置。
【請求項３４】前記抽出手段は、前記データが有する
エネルギの偏りを利用して、前記埋め込みデータから、
前記向上情報を抽出することを特徴とする請求項２１に
記載のデータ処理装置。
【請求項３５】前記抽出手段は、逆スペクトラム拡散
を行うことにより、前記埋め込みデータから、前記向上
情報を抽出することを特徴とする請求項２１に記載のデ
ータ処理装置。
【請求項３６】前記抽出手段は、前記埋め込みデータ
の１ビット以上を、前記向上情報として抽出することを
特徴とする請求項２１に記載のデータ処理装置。
【請求項３７】前記データは、画像データであり、前
記向上情報は、前記画像データの画質を向上させる情報
であることを特徴とする請求項２１に記載のデータ処理
装置。
【請求項３８】データに対して、そのデータの品質を
向上させるための向上情報が埋め込まれた埋め込みデー
タを処理するデータ処理方法であって、前記埋め込みデータから、前記向上情報を抽出する抽出
ステップと、前記データの品質を、前記向上情報を用いて向上させる
向上ステップとを備えることを特徴とするデータ処理方
法。
【請求項３９】データに対して、そのデータの品質を
向上させるための向上情報が埋め込まれた埋め込みデー
タを処理するのに、コンピュータに実行させるプログラ
ムが記録されている記録媒体であって、前記埋め込みデータから、前記向上情報を抽出する抽出
ステップと、前記データの品質を、前記向上情報を用いて向上させる
向上ステップとを備えるプログラムが記録されているこ
とを特徴とする記録媒体。
【請求項４０】データに対して、そのデータの品質を
向上させるための向上情報が埋め込まれた埋め込みデー
タを処理するのに、コンピュータに実行させるプログラ
ムであって、前記埋め込みデータから、前記向上情報を抽出する抽出
ステップと、前記データの品質を、前記向上情報を用いて向上させる
向上ステップとを備えることを特徴とするプログラム。
【請求項４１】データの品質を向上させるための複数
種類の向上情報を生成する向上情報生成手段と、前記データと、１種類以上の前記向上情報とを送信する
送信手段とを備えることを特徴とするデータ処理装置。
【請求項４２】前記複数種類の向上情報の中から、前
記データとともに送信するものを選択する向上情報選択
手段をさらに備えることを特徴とする請求項４１に記載
のデータ処理装置。
【請求項４３】前記向上情報選択手段は、前記データ
を受信する受信装置からの要求に応じて、前記向上情報
を選択することを特徴とする請求項４２に記載のデータ
処理装置。
【請求項４４】前記向上情報選択手段が選択する前記
向上情報に応じて、課金処理を行う課金手段をさらに備
えることを特徴とする請求項４３に記載のデータ処理装
置。
【請求項４５】前記向上情報生成手段は、少なくと
も、前記データの品質を向上させた品質向上データの予
測値を予測するのに用いる予測係数を、前記向上情報と
して生成することを特徴とする請求項４１に記載のデー
タ処理装置。
【請求項４６】前記向上情報生成手段は、前記予測係
数を、所定のクラスごとに生成することを特徴とする請
求項４５に記載のデータ処理装置。
【請求項４７】前記向上情報生成手段は、教師となる教師データのうちの注目している注目教師デ
ータのクラスを求めるのに用いるクラスタップを、生徒
となる生徒データを用いて構成するクラスタップ構成手
段と、前記クラスタップに基づいて、前記注目教師データのク
ラスを求めるクラス分類を行うクラス分類手段と、前記注目教師データを予測するのに、前記予測係数とと
もに用いる予測タップを、前記生徒データを用いて構成
する予測タップ構成手段と、前記教師データおよび予測タップを用いて、前記クラス
ごとの前記予測係数を求める予測係数演算手段とを有す
ることを特徴とする請求項４６に記載のデータ処理装
置。
【請求項４８】前記向上情報生成手段は、異なるクラ
ス数についての前記予測係数を、前記複数種類の向上情
報として生成することを特徴とする請求項４７に記載の
データ処理装置。
【請求項４９】前記向上情報生成手段は、異なる品質
の前記生徒データまたは教師データを用いることにより
求められる複数種類の予測係数を、前記複数種類の向上
情報として生成することを特徴とする請求項４７に記載
のデータ処理装置。
【請求項５０】前記向上情報生成手段は、少なくと
も、前記予測係数と、線形補間を行うための情報とを、
前記複数種類の向上情報として生成することを特徴とす
る請求項４７に記載のデータ処理装置。
【請求項５１】前記向上情報生成手段は、異なる構成
の前記クラスタップまたは予測タップを用いることによ
り求められる複数種類の予測係数を、前記複数種類の向
上情報として生成することを特徴とする請求項４７に記
載のデータ処理装置。
【請求項５２】前記向上情報生成手段は、前記クラス
分類を、異なる方法で行うことにより求められる複数種
類の予測係数を、前記複数種類の向上情報として生成す
ることを特徴とする請求項４７に記載のデータ処理装
置。
【請求項５３】前記送信手段は、前記データが有する
エネルギの偏りを利用して、前記データおよび向上情報
を元に戻すことができるように、前記データに、前記向
上情報を埋め込んで、前記データおよび１種類以上の向
上情報を送信することを特徴とする請求項４１に記載の
データ処理装置。
【請求項５４】前記送信手段は、スペクトラム拡散を
行うことにより、前記データに、前記向上情報を埋め込
んで、前記データおよび１種類以上の向上情報を送信す
ることを特徴とする請求項４１に記載のデータ処理装
置。
【請求項５５】前記送信手段は、前記データの１ビッ
ト以上を、前記向上情報に変更することにより、前記デ
ータに、前記向上情報を埋め込んで、前記データおよび
１種類以上の向上情報を送信することを特徴とする請求
項４１に記載のデータ処理装置。
【請求項５６】前記送信手段は、前記データと、前記
複数種類の向上情報のすべてを送信することを特徴とす
る請求項４１に記載のデータ処理装置。
【請求項５７】前記データは、画像データであり、前記向上情報は、前記画像データの画質を向上させる情
報であることを特徴とする請求項４１に記載のデータ処
理装置。
【請求項５８】データの品質を向上させるための複数
種類の向上情報を生成する向上情報生成ステップと、前記データと、１種類以上の前記向上情報とを送信する
送信ステップとを備えることを特徴とするデータ処理方
法。
【請求項５９】コンピュータに実行させるプログラム
が記録されている記録媒体であって、データの品質を向上させるための複数種類の向上情報を
生成する向上情報生成ステップと、前記データと、１種類以上の前記向上情報とを送信する
送信ステップとを備えるプログラムが記録されているこ
とを特徴とする記録媒体。
【請求項６０】コンピュータに実行させるプログラム
であって、データの品質を向上させるための複数種類の向上情報を
生成する向上情報生成ステップと、前記データと、１種類以上の前記向上情報とを送信する
送信ステップとを備えることを特徴とするプログラム。
【請求項６１】データと、そのデータの品質を向上さ
せるための１種類以上の向上情報とを受信して処理する
データ処理装置であって、前記データおよび１種類以上の向上情報を受信する受信
手段と、前記データの品質を、前記１種類以上の向上情報のうち
のいずれかを用いて向上させる向上手段と、前記データの品質を向上させるのに用いた前記向上情報
に応じて、課金処理を行う課金手段とを備えることを特
徴とするデータ処理装置。
【請求項６２】前記受信手段は、複数種類の向上情報
を受信し、前記複数種類の向上情報の中から、前記データの品質を
向上させるのに用いるものを選択する向上情報選択手段
をさらに備えることを特徴とする請求項６１に記載のデ
ータ処理装置。
【請求項６３】前記向上情報選択手段は、ユーザから
の要求に応じて、前記向上情報を選択することを特徴と
する請求項６２に記載のデータ処理装置。
【請求項６４】前記データの品質を向上させるのに用
いる前記向上情報を、前記データおよび１種類以上の向
上情報を送信する送信装置に要求する要求手段をさらに
備え、前記受信手段は、前記送信装置が、要求手段の要求に応
じて送信してくる前記向上情報を受信することを特徴と
する請求項６１に記載のデータ処理装置。
【請求項６５】前記向上情報は、前記データの品質を
向上させた品質向上データの予測値を予測するのに用い
る予測係数であり、前記向上手段は、前記データおよび予測係数を用いるこ
とにより、前記品質向上データの予測値を求めることを
特徴とする請求項６１に記載のデータ処理装置。
【請求項６６】前記向上情報は、所定のクラスごとに
求められた前記予測係数であり、前記向上手段は、前記データおよびクラスごとの予測係
数を用いることにより、前記品質向上データの予測値を
求めることを特徴とする請求項６５に記載のデータ処理
装置。
【請求項６７】前記向上手段は、注目している前記品質向上データである注目品質向上デ
ータのクラスを求めるのに用いるクラスタップを、前記
データを用いて構成するクラスタップ構成手段と、前記クラスタップに基づいて、前記注目品質向上データ
のクラスを求めるクラス分類を行うクラス分類手段と、前記注目品質向上データを予測するのに、前記予測係数
とともに用いる予測タップを、前記データを用いて構成
する予測タップ構成手段と、前記注目品質向上データの予測値を、その注目品質向上
データのクラスの前記予測係数と、前記予測タップとを
用いて求める予測手段とを有することを特徴とする請求
項６６に記載のデータ処理装置。
【請求項６８】前記受信手段は、複数種類の前記向上
情報を受信することを特徴とする請求項６７に記載のデ
ータ処理装置。
【請求項６９】前記受信手段は、異なるクラス数につ
いての前記予測係数を、前記複数種類の向上情報として
受信することを特徴とする請求項６８に記載のデータ処
理装置。
【請求項７０】前記予測係数は、生徒となる生徒デー
タと、教師となる教師データとを用いて生成されるもの
であり、前記受信手段は、異なる品質の前記生徒データまたは教
師データを用いることにより求められる複数種類の予測
係数を、前記複数種類の向上情報として受信することを
特徴とする請求項６８に記載のデータ処理装置。
【請求項７１】前記受信手段は、少なくとも、前記予
測係数と、線形補間を行うための情報とを、前記複数種
類の向上情報として受信することを特徴とする請求項６
８に記載のデータ処理装置。
【請求項７２】前記受信手段は、異なる構成の前記ク
ラスタップまたは予測タップを用いることにより求めら
れる複数種類の予測係数を、前記複数種類の向上情報と
して受信することを特徴とする請求項６８に記載のデー
タ処理装置。
【請求項７３】前記受信手段は、前記クラス分類を、
異なる方法で行うことにより求められる複数種類の予測
係数を、前記複数種類の向上情報として受信することを
特徴とする請求項６８に記載のデータ処理装置。
【請求項７４】前記受信手段は、前記データに、前記
１種類以上の向上情報が埋め込まれた埋め込みデータを
受信し、前記埋め込みデータから、前記向上情報を抽出する抽出
手段をさらに備えることを特徴とする請求項６１に記載
のデータ処理装置。
【請求項７５】前記抽出手段は、前記データが有する
エネルギの偏りを利用して、前記埋め込みデータから、
前記向上情報を抽出することを特徴とする請求項７４に
記載のデータ処理装置。
【請求項７６】前記抽出手段は、逆スペクトラム拡散
を行うことにより、前記埋め込みデータから、前記向上
情報を抽出することを特徴とする請求項７４に記載のデ
ータ処理装置。
【請求項７７】前記抽出手段は、前記埋め込みデータ
の１ビット以上を、前記向上情報として抽出することを
特徴とする請求項７４に記載のデータ処理装置。
【請求項７８】前記データは、画像データであり、前記向上情報は、前記画像データの画質を向上させる情
報であることを特徴とする請求項６１に記載のデータ処
理装置。
【請求項７９】データと、そのデータの品質を向上さ
せるための１種類以上の向上情報とを受信して処理する
データ処理方法であって、前記データおよび１種類以上の向上情報を受信する受信
ステップと、前記データの品質を、前記１種類以上の向上情報のうち
のいずれかを用いて向上させる向上ステップと、前記データの品質を向上させるのに用いた前記向上情報
に応じて、課金処理を行う課金ステップとを備えること
を特徴とするデータ処理方法。
【請求項８０】データと、そのデータの品質を向上さ
せるための１種類以上の向上情報とを受信して処理する
のに、コンピュータに実行させるプログラムが記録され
ている記録媒体であって、前記データおよび１種類以上の向上情報を受信する受信
ステップと、前記データの品質を、前記１種類以上の向上情報のうち
のいずれかを用いて向上させる向上ステップと、前記データの品質を向上させるのに用いた前記向上情報
に応じて、課金処理を行う課金ステップとを備えるプロ
グラムが記録されていることを特徴とする記録媒体。
【請求項８１】データと、そのデータの品質を向上さ
せるための１種類以上の向上情報とを受信して処理する
のに、コンピュータに実行させるプログラムであって、前記データおよび１種類以上の向上情報を受信する受信
ステップと、前記データの品質を、前記１種類以上の向上情報のうち
のいずれかを用いて向上させる向上ステップと、前記データの品質を向上させるのに用いた前記向上情報
に応じて、課金処理を行う課金ステップとを備えること
を特徴とするプログラム。