JP2003264837A

JP2003264837A - 復号装置および復号方法、学習装置および学習方法、並びにプログラムおよび記録媒体

Info

Publication number: JP2003264837A
Application number: JP2002061419A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Toshihiko Hamamatsu; 俊彦浜松; Takeharu Nishikata; 丈晴西片; Hideki Otsuka; 秀樹大塚; Takeshi Kunihiro; 威國弘; Takafumi Morifuji; 孝文森藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-03-07
Filing date: 2002-03-07
Publication date: 2003-09-19
Anticipated expiration: 2022-03-07
Also published as: JP4081745B2

Abstract

(57)【要約】【課題】符号化データを、高画質の画像に復号する。【解決手段】ミスマッチ検出部１は、ＭＰＥＧ符号化
された符号化データに含まれるＤＣＴタイプの正しさ
を、その符号化データに含まれる動きベクトルに基づい
て判定し、その判定結果を表すミスマッチ情報を、復号
処理部２に供給する。復号処理部２は、符号化データか
ら、予測タップとするものを、ミスマッチ情報に基づい
て抽出することにより、そのミスマッチ情報に応じたタ
ップ構造の予測タップを構成する。さらに、復号処理部
２は、その予測タップと、あらかじめ学習を行うことに
より求められたタップ係数とを用いて線形１次予測演算
を行うことにより、高画質の画像データの予測値を求め
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、復号装置および復
号方法、学習装置および学習方法、並びにプログラムお
よび記録媒体に関し、特に、例えば、画像データを符号
化した符号化データを、高品質（高画質）の画像に復号
することができるようにする復号装置および復号方法、
学習装置および学習方法、並びにプログラムおよび記録
媒体に関する。

【０００２】

【従来の技術】画像（動画像）データの高能率符号化方
式としては、例えば、ＭＰＥＧ(Moving Picture Expert
s Group)方式が知られており、ＭＰＥＧ方式では、画像
データが、横×縦が８×８画素のブロック単位で、水平
および垂直の２方向についてＤＣＴ（Discrete Cosine
Transform）変換され、さらに量子化される。

【０００３】このように、ＭＰＥＧ方式では、画像デー
タがＤＣＴ変換されるが、例えば、ＭＰＥＧ２方式で
は、ＤＣＴ変換の対象となるブロックのＤＣＴタイプ
を、マクロブロック単位で、フレームＤＣＴモードとフ
ィールドＤＣＴモードに切り替えることができる。フレ
ームＤＣＴモードでは、ブロックが、同一フレームの画
素から構成され、そのようなブロックの画素値がＤＣＴ
変換される。また、フィールドＤＣＴモードでは、ブロ
ックが、同一フィールドの画素から構成され、そのよう
なブロックの画素値がＤＣＴ変換される。

【０００４】ＤＣＴタイプを、フレームＤＣＴモードま
たはフィールドＤＣＴモードのうちのいずれとするか
は、基本的には、例えば、画像の動きや、周辺のマクロ
ブロックとの連続性等の画像の特性に基づき、復号画像
におけるブロック歪みモスキートノイズ等を低減するよ
うに決定される。即ち、例えば、動きの大きい画像につ
いては、フィールドＤＣＴモードが選択され、動きのほ
とんどない画像(静止している画像)については、フレー
ムＤＣＴモードが選択される。

【０００５】

【発明が解決しようとする課題】ところで、ＭＰＥＧ２
方式においては、デコーダ側においてオーバーフローお
よびアンダーフローが生じないように、符号化データの
データレートが制限される。そして、この符号化データ
のデータレートを制限するために、本来、フレームＤＣ
ＴモードまたはフィールドＤＣＴモードに設定すべきＤ
ＣＴタイプが、フィールドＤＣＴモードまたはフレーム
ＤＣＴモードに、いわば不適切に設定されることがあ
る。

【０００６】即ち、ＤＣＴタイプとしては、一般には、
フィールドを構成する画素間の相関（例えば、フィール
ドを構成する、隣接する画素どうしの差分の自乗和の逆
数など）（以下、適宜、フィールド画素相関という）
が、フレームを構成する画素間の相関（例えば、フレー
ムを構成する、隣接する画素どうしの差分の自乗和の逆
数など）（以下、適宜、フレーム画素相関という）より
大であれば、フィールドＤＣＴモードが設定され、フレ
ーム画素相関が、フィールド画素相関より大であれば、
フレームＤＣＴモードが設定される。

【０００７】しかしながら、符号化データが、データレ
ートの制限を受ける場合には、ＤＣＴタイプは、フィー
ルド画素相関とフレーム画素相関の大小に関係なく、そ
の制限されたデータレートに基づいて設定され、従っ
て、例えば、動きの大きい画像について、フィールドＤ
ＣＴモードではなく、フレームＤＣＴモードが設定され
るような、不適切なＤＣＴタイプが設定されることがあ
る。

【０００８】このような不適切なＤＣＴタイプが設定さ
れた場合であっても、デコーダ側では、その不適切なＤ
ＣＴタイプにしたがって、符号化データを復号しなけれ
ばならず、復号画像の画質が劣化する課題があった。

【０００９】また、動きのある画像が、高圧縮率でＭＰ
ＥＧ２符号化された場合には、データレートの制限に起
因して、あるフレームのマクロブロックと、次のフレー
ムの対応するマクロブロックとにおいて、同一の動き物
体が表示されているのにもかかわらず、異なるＤＣＴタ
イプが設定されることがあり、その結果、動きが不自然
な復号画像が得られることがあった。

【００１０】一方、復号側において、復号画像から、フ
レームＤＣＴモードとフィールドＤＣＴモードのうちの
いずれを設定するのが適切であったのかを判定すること
は困難である。

【００１１】本発明は、このような状況に鑑みてなされ
たものであり、符号化データを、高品質（高画質）の画
像に復号することができるようにするものである。

【００１２】

【課題を解決するための手段】本発明の復号装置は、符
号化データに含まれる第１の復号制御情報の正しさを、
その符号化データに含まれる第２の復号制御情報に基づ
いて判定し、その判定結果を表すミスマッチ情報を出力
する判定手段と、ミスマッチ情報に基づいて、符号化デ
ータを復号する復号手段とを備えることを特徴とする。

【００１３】本発明の復号方法は、符号化データに含ま
れる第１の復号制御情報の正しさを、その符号化データ
に含まれる第２の復号制御情報に基づいて判定し、その
判定結果を表すミスマッチ情報を出力する判定ステップ
と、ミスマッチ情報に基づいて、符号化データを復号す
る復号ステップとを備えることを特徴とする。

【００１４】本発明の第１のプログラムは、符号化デー
タに含まれる第１の復号制御情報の正しさを、その符号
化データに含まれる第２の復号制御情報に基づいて判定
し、その判定結果を表すミスマッチ情報を出力する判定
ステップと、ミスマッチ情報に基づいて、符号化データ
を復号する復号ステップとを備えることを特徴とする。

【００１５】本発明の第１の記録媒体は、符号化データ
に含まれる第１の復号制御情報の正しさを、その符号化
データに含まれる第２の復号制御情報に基づいて判定
し、その判定結果を表すミスマッチ情報を出力する判定
ステップと、ミスマッチ情報に基づいて、符号化データ
を復号する復号ステップとを備えるプログラムが記録さ
れていることを特徴とする。

【００１６】本発明の学習装置は、学習用の画像データ
から、タップ係数の学習の教師となる教師データを生成
して出力する教師データ生成手段と、学習用の画像デー
タから、タップ係数の学習の生徒となる生徒データを生
成して出力する生徒データ生成手段と、学習用の画像デ
ータを符号化し、複数の復号制御情報を含む学習用の符
号化データを出力する符号化手段と、学習用の符号化デ
ータに含まれる第１の復号制御情報の正しさを、その学
習用の符号化データに含まれる第２の復号制御情報に基
づいて判定し、その判定結果を表すミスマッチ情報を出
力する判定手段と、ミスマッチ情報に基づき、教師デー
タと生徒データを用いて、タップ係数を学習する学習手
段とを備えることを特徴とする。

【００１７】本発明の学習方法は、学習用の画像データ
から、タップ係数の学習の教師となる教師データを生成
して出力する教師データ生成ステップと、学習用の画像
データから、タップ係数の学習の生徒となる生徒データ
を生成して出力する生徒データ生成ステップと、学習用
の画像データを符号化し、複数の復号制御情報を含む学
習用の符号化データを出力する符号化ステップと、学習
用の符号化データに含まれる第１の復号制御情報の正し
さを、その学習用の符号化データに含まれる第２の復号
制御情報に基づいて判定し、その判定結果を表すミスマ
ッチ情報を出力する判定ステップと、ミスマッチ情報に
基づき、教師データと生徒データを用いて、タップ係数
を学習する学習ステップとを備えることを特徴とする。

【００１８】本発明の第２のプログラムは、学習用の画
像データから、タップ係数の学習の教師となる教師デー
タを生成して出力する教師データ生成ステップと、学習
用の画像データから、タップ係数の学習の生徒となる生
徒データを生成して出力する生徒データ生成ステップ
と、学習用の画像データを符号化し、複数の復号制御情
報を含む学習用の符号化データを出力する符号化ステッ
プと、学習用の符号化データに含まれる第１の復号制御
情報の正しさを、その学習用の符号化データに含まれる
第２の復号制御情報に基づいて判定し、その判定結果を
表すミスマッチ情報を出力する判定ステップと、ミスマ
ッチ情報に基づき、教師データと生徒データを用いて、
タップ係数を学習する学習ステップとを備えることを特
徴とする。

【００１９】本発明の第２の記録媒体は、学習用の画像
データから、タップ係数の学習の教師となる教師データ
を生成して出力する教師データ生成ステップと、学習用
の画像データから、タップ係数の学習の生徒となる生徒
データを生成して出力する生徒データ生成ステップと、
学習用の画像データを符号化し、複数の復号制御情報を
含む学習用の符号化データを出力する符号化ステップ
と、学習用の符号化データに含まれる第１の復号制御情
報の正しさを、その学習用の符号化データに含まれる第
２の復号制御情報に基づいて判定し、その判定結果を表
すミスマッチ情報を出力する判定ステップと、ミスマッ
チ情報に基づき、教師データと生徒データを用いて、タ
ップ係数を学習する学習ステップとを備えるプログラム
が記録されていることを特徴とする。

【００２０】本発明の復号装置および復号方法、並びに
第１のプログラムおよび第１の記録媒体においては、符
号化データに含まれる第１の復号制御情報の正しさが、
その符号化データに含まれる第２の復号制御情報に基づ
いて判定され、その判定結果を表すミスマッチ情報が出
力される。そして、そのミスマッチ情報に基づいて、符
号化データが復号される。

【００２１】本発明の学習装置および学習方法、並びに
第２のプログラムおよび第２の記録媒体においては、学
習用の画像データから、タップ係数の学習の教師となる
教師データが生成されるとともに、生徒となる生徒デー
タが生成される。また、学習用の画像データが符号化さ
れ、複数の復号制御情報を含む学習用の符号化データが
出力される。そして、学習用の符号化データに含まれる
第１の復号制御情報の正しさが、その学習用の符号化デ
ータに含まれる第２の復号制御情報に基づいて判定さ
れ、その判定結果を表すミスマッチ情報が出力される。
さらに、そのミスマッチ情報に基づき、教師データと生
徒データを用いて、タップ係数の学習が行われる。

【００２２】

【発明の実施の形態】図１は、本発明を適用した復号装
置の一実施の形態の構成例を示している。

【００２３】復号装置には、図示せぬ記録媒体（例え
ば、光ディスクや、光磁気ディスク、相変化ディスク、
磁気テープ、半導体メモリ等）から再生された符号化デ
ータ、または伝送媒体（例えば、インターネットや、Ｃ
ＡＴＶ網、衛星回線、地上波等）を介して伝送されてく
る符号化データが、復号対象として入力されるようにな
っている。ここで、符号化データは、画像（動画像）デ
ータを所定の符号化方式で符号化して得られるもので、
少なくとも、その復号を制御するための復号制御情報を
含んでいる。

【００２４】なお、符号化データとしては、例えば、画
像データをＭＰＥＧ２方式で符号化したもの等を採用す
ることができる。

【００２５】ここで、ＭＰＥＧ２方式では、符号化側に
おいて、画像データ（原画像）がブロック単位でＤＣＴ
変換され、さらに量子化される。また、符号化側では、
符号化対象の画像データについて、動きベクトルが検出
されるとともに、符号化データがローカルデコードさ
れ、そのローカルデコードされた画像データを参照画像
として、その参照画像について、検出された動きベクト
ルを用いて動き補償が施されることにより、予測画像が
生成される。そして、符号化対象の画像と予測画像との
差分が演算されることにより、残差画像が求められ、そ
の残差画像が、上述のようにＤＣＴ変換、量子化され
る。さらに、符号化側では、ブロック単位でのＤＣＴ変
換にあたって、ＤＣＴタイプ（フレームＤＣＴモードま
たはフィールドＤＣＴモード）が、マクロブロック単位
で設定される。

【００２６】一方、画像データ（原画像または残差画
像）をＤＣＴ変換し、さらに量子化して得られるＤＣＴ
係数を、量子化ＤＣＴ係数というものとすると、復号側
では、量子化ＤＣＴ係数が、逆量子化され、ＤＣＴ係数
とされる。さらに、復号側では、そのＤＣＴ係数が逆Ｄ
ＣＴ変換され、その結果得られる画素が、ＤＣＴタイプ
にしたがい、フレーム構造に並べ替えられることで、画
像データが復号され、あるいは残差画像データが求めら
れる。そして、残差画像データについては、既に復号さ
れた画像データを参照画像として、その参照画像につい
て、動きベクトルを用いて動き補償が施されることによ
り、予測画像データが生成される。そして、残差画像デ
ータと予測画像データとが加算されることにより、画像
データが復号される。

【００２７】従って、画像データをＭＰＥＧ２方式で符
号化して得られる符号化データには、画像データ（原画
像または残差画像）をＤＣＴ変換し、さらに量子化して
得られるＤＣＴ係数、つまり、画像データの直接の符号
化結果の他、復号側において、そのＤＣＴ係数を画像に
復号するのに必要な情報、即ち、動きベクトルや、ＤＣ
Ｔタイプなどの復号を制御する情報（以下、適宜、復号
制御情報という）も含まれる。なお、符号化データに
は、動きベクトルやＤＣＴタイプの他、ピクチャタイプ
や、テンポラルリファレンス、その他の復号制御情報も
含まれる。

【００２８】復号装置に入力された符号化データは、ミ
スマッチ検出部１と復号処理部２に供給されるようにな
っている。

【００２９】ミスマッチ検出部１は、符号化データから
ミスマッチ情報を検出する。即ち、ミスマッチ検出部１
は、符号化データに含まれる復号制御情報の正しさを判
定し、その判定結果を表すミスマッチ情報を、復号処理
部２に出力する。復号処理部２は、ミスマッチ検出部１
から供給されるミスマッチ情報に基づいて、符号化デー
タを復号し、その結果得られる復号データを出力する。

【００３０】次に、図２のフローチャートを参照して、
図１の復号装置の処理（復号処理）について説明する。

【００３１】ミスマッチ検出部１と復号処理部２には、
符号化データが供給され、ミスマッチ検出部１は、まず
最初に、ステップＳ１において、符号化データからミス
マッチ情報を検出し、復号処理部２に供給して、ステッ
プＳ２に進む。ステップＳ２では、復号処理部２が、ミ
スマッチ検出部１から供給されるミスマッチ情報に基づ
いて、そのミスマッチ情報が検出された符号化データを
復号し、復号画像データを出力して、ステップＳ３に進
む。ステップＳ３では、ミスマッチ検出部１または復号
処理部２が、復号すべき符号化データが、まだ存在する
かどうかを判定する。ステップＳ３において、復号すべ
き符号化データが、まだ存在すると判定された場合、ス
テップＳ１に戻り、以下、同様の処理が繰り返される。

【００３２】また、ステップＳ３において、復号すべき
符号化データが存在しないと判定された場合、処理を終
了する。

【００３３】次に、図３は、本発明を適用した復号装置
の他の実施の形態の構成例を示している。なお、図中、
図１における場合と対応する部分については、同一の符
号を付してあり、以下では、その説明は、適宜省略す
る。即ち、図３の復号装置は、パラメータ記憶部３が、
新たに設けられている他は、基本的に、図１の復号装置
と同様に構成されている。

【００３４】パラメータ記憶部３は、後述する学習装置
による学習によって得られたパラメータを記憶してお
り、復号処理部２は、パラメータ記憶部３に記憶された
パラメータを用いて、そこに供給される符号化データを
復号する。

【００３５】従って、図３の復号装置では、復号処理部
２において、符号化データの復号が、パラメータ記憶部
３に記憶されたパラメータを用いて行われる他は、図１
の復号装置と同様の処理が行われるため、その処理につ
いての説明は省略する。

【００３６】次に、図４は、図３のパラメータ記憶部３
に記憶させるパラメータを学習する学習装置の一実施の
形態の構成例を示している。

【００３７】学習用データ記憶部１１は、パラメータの
学習に用いられる画像（動画像）データである学習用デ
ータを記憶している。

【００３８】符号化部１２は、学習用データ記憶部１１
に記憶されている学習用データを読み出し、図３の復号
装置で復号対象とする符号化データと同一の符号化方式
で、学習用データを符号化する。学習用データを符号化
することにより得られる符号化データ（以下、適宜、学
習用符号化データという）は、符号化部１２からミスマ
ッチ検出部１３に供給されるようになっている。

【００３９】ミスマッチ検出部１３は、図３のミスマッ
チ検出部１と同様に構成され、符号化部１２から供給さ
れる符号化データから、ミスマッチ情報を検出し、学習
処理部１４に供給する。

【００４０】学習処理部１４は、学習用データ記憶部１
１に記憶されている学習用データを読み出し、その学習
用データから、パラメータについての学習の教師となる
教師データと、その学習の生徒となる生徒データを生成
する。さらに、学習処理部１４は、ミスマッチ検出部１
３から供給されるミスマッチ情報に基づき、生成した教
師データと生徒データを用いて、生徒データを教師デー
タに変換するパラメータを学習する。

【００４１】次に、図５のフローチャートを参照して、
図４の学習装置の処理（学習処理）について説明する。

【００４２】まず最初に、ステップＳ１１において、符
号化部１２は、学習用データ記憶部１１に記憶されてい
る学習用データを読み出して符号化し、その結果得られ
る学習用符号化データを、ミスマッチ検出部１３に供給
して、ステップＳ１２に進む。ステップＳ１２では、ミ
スマッチ検出部１３が、符号化部１２から供給される符
号化データから、ミスマッチ情報を検出し、学習処理部
１４に供給して、ステップＳ１３に進む。

【００４３】ステップＳ１３では、学習処理部１４が、
学習用データ記憶部１１から、学習用データを読み出
し、その学習用データから、教師データと生徒データを
生成する。さらに、学習処理部１４は、ミスマッチ検出
部１３から供給されるミスマッチ情報に基づき、生成し
た教師データと生徒データを用いて、パラメータを学習
する。

【００４４】即ち、学習処理部１４は、ミスマッチ情報
に基づき、生徒データから、対応する教師データを得る
ことができるようにするのに最適なパラメータを算出す
ることができるようにするための処理（学習）を行う。

【００４５】そして、ステップＳ１４に進み、符号化部
１２または学習処理部１４が、まだ処理していない学習
用データが、学習用データ記憶部１１に記憶されている
かどうかを判定する。ステップＳ１４において、まだ処
理していない学習用データが、学習用データ記憶部１１
に記憶されていると判定された場合、ステップＳ１１に
戻り、その、まだ処理していない学習用データを対象
に、以下、同様の処理が繰り返される。

【００４６】また、ステップＳ１４において、まだ処理
していない学習用データが、学習用データ記憶部１１に
記憶されていないと判定された場合、即ち、学習用デー
タ記憶部１１に記憶された学習用データすべてを用いて
学習を行った場合、ステップＳ１５に進み、学習処理部
１４は、ステップＳ１３の学習結果に基づき、パラメー
タを算出し、処理を終了する。

【００４７】次に、図６は、図３の復号装置の詳細構成
例を示している。

【００４８】復号制御情報抽出部２１には、画像データ
を、例えばＭＰＥＧ２方式で符号化して得られる符号化
データが、復号対象として供給されるようになってお
り、復号制御情報抽出部２１は、符号化データから、そ
の符号化データに含まれる複数（複数種類）の復号制御
情報、即ち、本実施の形態では、例えば、ＤＣＴタイ
プ、ピクチャタイプ、動きベクトルを抽出して、判定部
２２に供給する。

【００４９】判定部２２は、復号制御情報抽出部２１か
ら供給される複数の復号制御情報のうちの１つの（１つ
の種類の）復号制御情報の正しさを、他の（他の種類
の）復号制御情報に基づいて判定する。そして、判定部
２２は、その１つの復号制御情報の正しさの判定結果と
してのミスマッチ情報を、復号処理部２に出力する。

【００５０】なお、以上の復号制御情報抽出部２１およ
び判定部２２が、図３のミスマッチ検出部１を構成して
いる。

【００５１】前処理部３１には、復号対象の符号化デー
タが供給されるようになっており、前処理部３１は、符
号化データに対して、所定の前処理を施し、その結果得
られる前処理データを、クラス分類適応処理部３２に供
給する。

【００５２】クラス分類適応処理部３２は、前処理部３
１から供給される前処理データから、後述する予測タッ
プおよびクラスタップを構成し、係数メモリ４１に記憶
されたパラメータを用いて、後述するクラス分類適応処
理を行う。そして、クラス分類適応処理部３２は、クラ
ス分類適応処理を行うことによって得られるデータ（以
下、適宜、適応処理データという）を、後処理部３３に
出力する。

【００５３】また、クラス分類適応処理部３２には、ミ
スマッチ検出部１の判定部２２が出力するミスマッチ情
報が供給されるようになっており、クラス分類適応処理
部３２は、このミスマッチ情報に基づき、クラス分類適
応処理を行う。

【００５４】後処理部３３は、クラス分類適応処理部３
２が出力するデータに対して、所定の後処理を施し、こ
れにより、符号化データを、高画質の画像データに復号
して出力する。

【００５５】なお、以上の前処理部３１、クラス分類適
応処理部３２、および後処理部３３が、図３の復号処理
部２を構成している。

【００５６】係数メモリ４１は、クラス分類適応処理部
３２がクラス分類適応処理を行うのに用いる、後述する
クラスごとのタップ係数を記憶している。

【００５７】なお、この係数メモリ４１によって、図３
のパラメータ記憶部３が構成されている。

【００５８】次に、図７および図８を参照して、図６の
ミスマッチ検出部１の処理について説明する。

【００５９】図７は、ＭＰＥＧ２方式において、フレー
ムＤＣＴモードでＤＣＴ変換されるブロック（図７Ａ）
と、フィールドＤＣＴモードでＤＣＴ変換されるブロッ
ク（図７Ｂ）を示している。

【００６０】なお、図７の実施の形態では、輝度信号の
ブロックを示してある。また、図７において（後述する
図８においても同様）、影を付してあるラインは、奇数
ライン（トップフィールド）を表し、影を付していない
ラインは、偶数ライン（ボトムフィールド）を表す。

【００６１】フレームＤＣＴモードでは、横×縦が１６
×１６画素で構成されるマクロブロックが、図７Ａに示
すように、左上、左下、右上、または右下の４つの８×
８画素のブロックに分割され、各ブロックがＤＣＴ変換
される。

【００６２】一方、フィールドＤＣＴモードでは、マク
ロブロックは、図７Ｂに示すように、上側の８ラインが
奇数ライン（トップフィールド）で構成され、下側の８
ラインが偶数ライン（ボトムフィールド）で構成される
ように、画素の位置が並べ替えられる。そして、その並
べ替え後のマクロブロックが、左上、左下、右上、また
は右下の４つの８×８画素のブロックに分割され、各ブ
ロックがＤＣＴ変換される。

【００６３】以上のように、フレームＤＣＴモードで
は、同一フレームを構成する８×８画素のブロック単位
で、ＤＣＴ変換が行われ、フィールドＤＣＴモードで
は、同一フィールドを構成する８×８画素のブロック単
位で、ＤＣＴ変換が行われる。

【００６４】ところで、例えば、いま、円形の動き物体
が、水平方向に移動している画像を考えた場合、あるフ
レームを構成するトップフィールドとボトムフィールド
において、円形の動き物体は、例えば、図８Ａに示すよ
うに、その動きに対応して、少しずれた位置に表示され
る。このため、このような動き物体が表示された画像に
ついては、フレーム画素相関よりも、フィールド画素相
関の方が大になり、フィールドＤＣＴモードでＤＣＴ変
換を行うことにより、滑らかな動きの復号画像を得るこ
とができる。

【００６５】しかしながら、ＭＰＥＧ方式では、前述し
たように、動き物体が表示された画像について、データ
レートの制限に起因して、符号化データのデータ量を低
減するために、フィールドＤＣＴモードではなく、フレ
ームＤＣＴモードで、画像データがＤＣＴ変換される場
合がある。

【００６６】いま、円形の動き物体が表示されている部
分の一部のマクロブロックについて、フレームＤＣＴモ
ードが設定されるとともに、他のマクロブロックについ
て、フィールドＤＣＴモードが設定され、ＤＣＴ変換が
行われたとすると、フレームＤＣＴモードが設定された
マクロブロックについては、例えば、図８Ｂに示すよう
に、円形の動き物体のエッジ部分がぼやけた復号画像が
得られる。

【００６７】ここで、図８Ｂは、２×２個のマクロブロ
ックのうち、右上のマクロブロックのＤＣＴタイプがフ
レームＤＣＴモードとされ、他の３つのマクロブロック
のＤＣＴタイプがフィールドＤＣＴモードとされた場合
の復号画像を示している。

【００６８】ＤＣＴタイプを、フレームＤＣＴモードま
たはフィールドＤＣＴモードのうちのいずれとするか
は、マクロブロック単位で設定されることから、異なる
フレームの対応するマクロブロック（同一位置のマクロ
ブロック）であっても、ＤＣＴタイプが異なる場合があ
る。そして、動き物体が表示されている、ある位置のマ
クロブロックのＤＣＴタイプが、フレーム単位で変化す
ると、復号画像における動き物体の動きは、不自然なも
のとなる。

【００６９】このような復号画像におけるエッジ部分の
ぼけ（ぶれ）や、不自然な動きは、フィールドＤＣＴモ
ードでＤＣＴ変換すべきマクロブロックが、データレー
トの制限から、フレームＤＣＴモードでＤＣＴ変換され
たこと、即ち、動きのある部分は、フィールドＤＣＴモ
ードでＤＣＴ変換すべきであるのに、フレームＤＣＴモ
ードでＤＣＴ変換されたことに起因する。従って、フィ
ールドＤＣＴモードでＤＣＴ変換すべきマクロブロック
を、フレームＤＣＴモードでＤＣＴ変換したことは、復
号画像の画質を向上させる観点からは、正しくない（適
切でない）ということができ、符号化データに含まれる
復号制御情報の１つである、そのようなフレームＤＣＴ
モードを表すＤＣＴタイプも正しくないということがで
きる。

【００７０】そこで、ミスマッチ検出部１は、例えば、
符号化データに含まれるＤＣＴタイプの正しさを判定
し、その判定結果を表すミスマッチ情報を出力する。

【００７１】即ち、ミスマッチ検出部１は、例えば、動
きのある画像が表示されているマクロブロックのＤＣＴ
タイプが、フレームＤＣＴモードとなっている場合、そ
のマクロブロックのＤＣＴタイプが正しくないと判定す
る。一方、ミスマッチ検出部１は、例えば、動きのある
画像が表示されているマクロブロックのＤＣＴタイプ
が、フィールドＤＣＴモードとなっている場合と、マク
ロブロックに動きがない画像が表示されている場合は、
そのマクロブロックのＤＣＴタイプが正しいと判定す
る。

【００７２】なお、ミスマッチ検出部１は、マクロブロ
ック（に表示された画像）に動きがあるかどうかを、符
号化データに含まれる復号制御情報の他の１つである、
例えば、そのマクロブロックの動きベクトルに基づいて
判定する。

【００７３】次に、図９は、図６のクラス分類適応処理
部３２の構成例を示している。

【００７４】クラス分類適応処理は、クラス分類処理と
適応処理とからなり、クラス分類処理によって、データ
が、その性質に基づいてクラス分けされ、各クラスごと
に適応処理が施される。

【００７５】ここで、適応処理について、低画質の画像
（以下、適宜、低画質画像という）を、高画質の画像
（以下、適宜、高画質画像という）に変換する場合を例
に説明する。

【００７６】この場合、適応処理では、低画質画像を構
成する画素（以下、適宜、低画質画素という）と、所定
のタップ係数との線形結合により、その低画質画像の画
質を向上させた高画質画像の画素の予測値を求めること
で、その低画質画像の画質を高画質化した画像が得られ
る。

【００７７】具体的には、例えば、いま、ある高画質画
像データを教師データとするとともに、その高画質画像
の画質を劣化させた低画質画像データを生徒データとし
て、高画質画像を構成する画素（以下、適宜、高画質画
素という）ｙの予測値Ｅ［ｙ］を、幾つかの低画質画素
（低画質画像を構成する画素の画素値）ｘ₁，ｘ₂，・・
・の集合と、所定のタップ係数ｗ₁，ｗ₂，・・・の線形
結合により規定される線形１次結合モデルにより求める
ことを考える。この場合、予測値Ｅ［ｙ］は、次式で表
すことができる。

【００７８】Ｅ［ｙ］＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・・・・（１）

【００７９】式（１）を一般化するために、タップ係数
ｗ_jの集合でなる行列Ｗ、生徒データｘ_ijの集合でなる
行列Ｘ、および予測値Ｅ［ｙ_j］の集合でなる行列Ｙ’
を、

【数１】で定義すると、次のような観測方程式が成立する。

【００８０】ＸＷ＝Ｙ’ ・・・（２）

【００８１】ここで、行列Ｘの成分ｘ_ijは、ｉ件目の生
徒データの集合（ｉ件目の教師データｙ_iの予測に用い
る生徒データの集合）の中のｊ番目の生徒データを意味
し、行列Ｗの成分ｗ_jは、生徒データの集合の中のｊ番
目の生徒データとの積が演算されるタップ係数を表す。
また、ｙ_iは、ｉ件目の教師データを表し、従って、Ｅ
［ｙ_i］は、ｉ件目の教師データの予測値を表す。な
お、式（１）の左辺におけるｙは、行列Ｙの成分ｙ_iの
サフィックスｉを省略したものであり、また、式（１）
の右辺におけるｘ₁，ｘ₂，・・・も、行列Ｘの成分ｘ_ij
のサフィックスｉを省略したものである。

【００８２】式（２）の観測方程式に最小自乗法を適用
して、高画質画素（の画素値）ｙに近い予測値Ｅ［ｙ］
を求めることを考える。この場合、教師データとなる高
画質画素の真値ｙの集合でなる行列Ｙ、および高画質画
素ｙの予測値Ｅ［ｙ］の残差（真値ｙに対する誤差）ｅ
の集合でなる行列Ｅを、

【数２】で定義すると、式（２）から、次のような残差方程式が
成立する。

【００８３】ＸＷ＝Ｙ＋Ｅ・・・（３）

【００８４】この場合、高画質画素ｙに近い予測値Ｅ
［ｙ］を求めるためのタップ係数ｗ_jは、自乗誤差

【数３】を最小にすることで求めることができる。

【００８５】従って、上述の自乗誤差をタップ係数ｗ_j
で微分したものが０になる場合、即ち、次式を満たすタ
ップ係数ｗ_jが、高画質画素ｙに近い予測値Ｅ［ｙ］を
求めるため最適値ということになる。

【００８６】

【数４】・・・（４）

【００８７】そこで、まず、式（３）を、タップ係数ｗ
_jで微分することにより、次式が成立する。

【００８８】

【数５】・・・（５）

【００８９】式（４）および（５）より、式（６）が得
られる。

【００９０】

【数６】・・・（６）

【００９１】さらに、式（３）の残差方程式における生
徒データｘ_ij、タップ係数ｗ_j、教師データｙ_i、および
残差ｅ_iの関係を考慮すると、式（６）から、次のよう
な正規方程式を得ることができる。

【００９２】

【数７】・・・（７）

【００９３】なお、式（７）に示した正規方程式は、行
列（共分散行列）Ａおよびベクトルｖを、

【数８】で定義するとともに、ベクトルＷを、数１で示したよう
に定義すると、式ＡＷ＝ｖ・・・（８）で表すことができる。

【００９４】式（７）における各正規方程式は、生徒デ
ータｘ_ijおよび教師データｙ_iのセットを、ある程度の
数だけ用意することで、求めるべきタップ係数ｗ_jの数
Ｊと同じ数だけたてることができ、従って、式（８）
を、ベクトルＷについて解くことで（但し、式（８）を
解くには、式（８）における行列Ａが正則である必要が
ある）、最適なタップ係数ｗ_jを求めることができる。
なお、式（８）を解くにあたっては、例えば、掃き出し
法（Gauss-Jordanの消去法）などを用いることが可能で
ある。

【００９５】以上のように、生徒データと教師データを
用いて、最適なタップ係数（ここでは、生徒データから
教師データの予測値を求めた場合に、その予測値の自乗
誤差の総和を最小にするタップ係数）ｗ_jを求める学習
をしておき、さらに、そのタップ係数ｗ_jを用い、式
（１）により、教師データｙに近い予測値Ｅ［ｙ］を求
めるのが適応処理である。

【００９６】なお、適応処理は、低画質画像には含まれ
ていないが、高画質画像に含まれる成分が再現される点
で、単なる補間とは異なる。即ち、適応処理では、式
（１）だけを見る限りは、いわゆる補間フィルタを用い
ての単なる補間と同一に見えるが、その補間フィルタの
タップ係数に相当するタップ係数ｗが、教師データと生
徒データを用いての学習により求められるため、教師デ
ータとしての高画質画像に含まれる成分を再現すること
ができる。このことから、適応処理は、いわば画像の創
造作用がある処理ということができる。

【００９７】ここで、生徒データとしては、例えば、教
師データとしての高画質の画像データをＭＰＥＧ符号化
し、さらにＭＰＥＧ復号して得られる復号画像データを
用いることができる。この場合、ＭＰＥＧ符号化におけ
る量子化に起因して生じるブロック歪み等を低減した高
画質の画像を求めることのできるタップ係数を得ること
ができる。

【００９８】さらに、例えば、教師データとして、高画
質の画像データを用いるとともに、生徒データとして、
教師データとしての画像データをＤＣＴ変換し、さらに
量子化、逆量子化して得られるＤＣＴ係数を用いるよう
にすることも可能である。この場合、ＤＣＴ係数を、高
画質の画像（の予測値）に変換するタップ係数を得るこ
とができる。

【００９９】また、上述の場合には、高画質画像の予測
値を、線形１次予測するようにしたが、その他、高画質
画像の予測値は、２次以上の式によって予測することも
可能である。

【０１００】図９のクラス分類適応処理部３２は、上述
のようなクラス分類適応処理を行うようになっている。

【０１０１】即ち、前処理部３１（図６）が出力する前
処理データは、タップ抽出部５１および５２に供給され
るようになっている。

【０１０２】タップ抽出部５１は、得ようとしている適
応処理データを、注目データとし、さらに、その注目デ
ータを予測するのに用いる前処理データの幾つかを、予
測タップとして抽出する。また、タップ抽出部５２は、
注目データをクラス分類するのに用いる前処理データの
幾つかを、クラスタップとして抽出する。

【０１０３】ここで、タップ抽出部５１および５２に
は、判定部２２（図６）が出力するミスマッチ情報も供
給されるようになっている。そして、タップ抽出部５１
と５２は、ミスマッチ情報に基づき、予測タップとクラ
スタップの構造を、それぞれ変更するようになってい
る。

【０１０４】なお、ここでは、説明を簡単にするため
に、予測タップとクラスタップは、同一のタップ構造を
有するものとする。但し、予測タップとクラスタップと
は、異なるタップ構造とすることが可能である。

【０１０５】タップ抽出部５１で得られた予測タップ
は、予測部５４に供給され、タップ抽出部５２で得られ
たクラスタップは、クラス分類部５３に供給される。

【０１０６】クラス分類部５３には、クラスタップの
他、ミスマッチ情報も供給されるようになっており、ク
ラス分類部５３は、タップ抽出部５２からのクラスタッ
プとミスマッチ情報に基づき、注目データをクラス分類
し、その結果得られるクラスに対応するクラスコード
を、係数メモリ４１に供給する。

【０１０７】係数メモリ４１は、各クラスコードに対応
するアドレスに、そのクラスコードに対応するクラスの
タップ係数を記憶しており、クラス分類部５３から供給
されるクラスコードに対応するアドレスに記憶されてい
るタップ係数を、予測部５４に供給する。

【０１０８】予測部５４は、タップ抽出部５１が出力す
る予測タップと、係数メモリ４１が出力するタップ係数
とを取得し、その予測タップとタップ係数とを用いて、
式（１）に示した線形予測演算を行う。これにより、予
測部５４は、適応処理データ（の予測値）を求めて出力
する。

【０１０９】次に、図１０のフローチャートを参照し
て、図６の復号装置の処理（復号処理）について説明す
る。

【０１１０】クラス分類適応処理部３２（図９）のタッ
プ抽出部５１では、得ようとしている適応処理データ
が、注目データとされ、ステップＳ２１において、ミス
マッチ検出部１が、その注目データに対応する符号化デ
ータ（以下、適宜、注目符号化データという）から、ミ
スマッチ情報を生成する。

【０１１１】即ち、ミスマッチ検出部１では、復号制御
情報抽出部２１が、注目符号化データから、複数の復号
制御情報としての、例えば、動きベクトルやＤＣＴタイ
プなどを抽出し、判定部２２に供給する。そして、判定
部２２は、例えば、復号制御情報抽出部２１から供給さ
れる動きベクトルなどに基づいて、同じく復号制御情報
抽出部２１から供給されるＤＣＴタイプの正しさを判定
し、その判定結果としてのミスマッチ情報を、クラス分
類適応処理部３２に供給する。

【０１１２】そして、ステップＳ２２に進み、前処理部
３１は、注目データについての予測タップとクラスタッ
プを構成するのに必要な前処理データを得るための符号
化データに対して、前処理を施し、その結果得られる前
処理データを、クラス分類適応処理部３２に供給する。

【０１１３】クラス分類適応処理部３２（図９）では、
ステップＳ２３において、タップ抽出部５１と５２が、
前処理部３１から供給される前処理データを用い、例え
ば、ミスマッチ検出部１からのミスマッチ情報に基づく
タップ構造の予測タップとクラスタップを、それぞれ構
成する。そして、予測タップは、タップ抽出部５１から
予測部５４に供給され、クラスタップは、タップ抽出部
５２からクラス分類部５３に供給される。

【０１１４】クラス分類部５３は、タップ抽出部５２か
ら、注目データについてのクラスタップを受信し、ステ
ップＳ２４において、そのクラスタップと、ミスマッチ
検出部１から供給されるミスマッチ情報に基づき、注目
データをクラス分類し、注目データのクラスを表すクラ
スコードを、係数メモリ４１に出力する。

【０１１５】係数メモリ４１は、クラス分類部５３から
供給されるクラスコードに対応するアドレスに記憶され
ているタップ係数を読み出して出力する。予測部５４
は、ステップＳ２５において、係数メモリ４１が出力す
るタップ係数を取得し、ステップＳ２６に進む。

【０１１６】ステップＳ２６では、予測部５４が、タッ
プ抽出部５１が出力する予測タップと、係数メモリ４１
から取得したタップ係数とを用いて、式（１）に示した
線形予測演算を行う。これにより、予測部５４は、注目
データとしての適応処理データ（の予測値）を求め、後
処理部３３に供給する。

【０１１７】後処理部３３（図６）は、ステップＳ２７
において、クラス分類適応処理部３２（の予測部５４）
からの注目データに対して、所定の後処理を施し、これ
により、復号画像データを得て出力する。

【０１１８】その後、ステップＳ２８に進み、まだ、注
目データとしていない適応処理データがあるかどうかが
判定される。ステップＳ２８において、まだ、注目デー
タとしていない適応処理データがあると判定された場
合、その、まだ注目データとされていない適応処理デー
タのうちの１つが、新たに注目データとされ、ステップ
Ｓ２１に戻り、以下、同様の処理が繰り返される。

【０１１９】また、ステップＳ２８において、まだ、注
目データとされていない適応処理データがないと判定さ
れた場合、処理を終了する。

【０１２０】次に、図１１は、図６の係数メモリ４１に
記憶させるタップ係数を学習する場合の、図４の学習装
置の詳細構成例を示している。

【０１２１】図１１の実施の形態において、ミスマッチ
検出部１３は、復号制御情報抽出部７１および判定部７
２から構成されており、符号化部１２が出力する符号化
データは、復号制御情報抽出部７１に供給されるように
なっている。復号制御情報抽出部７１または判定部７２
は、図６の復号制御情報抽出部２１または判定部２２と
それぞれ同様に構成されており、図６で説明した場合と
同様に、後述する注目教師データに対応する符号化デー
タから、ミスマッチ情報を求めて、学習処理部１４に供
給する。

【０１２２】学習処理部１４は、適応学習部６０、教師
データ生成部６１、および生徒データ生成部６３から構
成されている。

【０１２３】適応学習部６０は、教師データ記憶部６
２、生徒データ記憶部６４、タップ抽出部６５および６
６、クラス分類部６７、足し込み部６８、およびタップ
係数算出部６９から構成され、教師データ生成部６１
は、逆後処理部６１Ａから構成され、生徒データ生成部
６３は、符号化部６３Ａおよび前処理部６３Ｂから構成
されている。

【０１２４】逆後処理部６１Ａは、学習用データ記憶部
１１から学習用データを読み出し、図６の後処理部３３
が行う処理と相補的な関係にある処理（以下、適宜、逆
後処理という）を行う。即ち、例えば、学習用データを
ｙとするとともに、図６の後処理部３３が、適応処理デ
ータｘに対して施す後処理を、関数ｆ（ｘ）で表すとす
ると、逆後処理部６１Ａは、学習用データｙに対して、
関数ｆ^-1（ｙ）（ｆ^-1（）は、関数ｆ（）の逆関数を表
す）で表される処理を逆後処理として施し、その結果得
られるデータを、教師データとして、適応学習部６０に
出力する。なお、逆後処理部６１Ａが出力する教師デー
タは、図６のクラス分類適応処理部３２から後処理部３
３に供給される適応処理データに相当する。

【０１２５】教師データ記憶部６２は、教師データ生成
部６１（の逆後処理部６１Ａ）が出力する教師データを
一時記憶する。

【０１２６】符号化部６３Ａは、学習用データ記憶部１
１から学習用データを読み出し、符号化部１２と同一の
符号化方式、即ち、本実施の形態では、例えば、ＭＰＥ
Ｇ２方式で符号化して出力する。従って、符号化部６３
Ａは、符号化部１２が出力するのと同一の符号化データ
を出力する。なお、符号化部１２と６３Ａとは、１つの
符号化部で共用することが可能である。

【０１２７】前処理部６３Ｂは、符号化部６３Ａが出力
する符号化データに対して、図６の前処理部３１が行う
のと同一の前処理を施し、その結果得られる前処理デー
タを、生徒データとして、適応学習部６０に出力する。
なお、前処理部６３Ｂが出力する生徒データは、図６の
前処理部３１からクラス分類適応処理部３２に供給され
る前処理データに相当する。

【０１２８】生徒データ記憶部６４は、生徒データ生成
部６３（の前処理部６３Ｂ）が出力する生徒データを一
時記憶する。

【０１２９】タップ抽出部６５は、教師データ記憶部６
２に記憶された教師データを、順次、注目教師データと
し、その注目教師データについて、生徒データ記憶部６
４に記憶された生徒データを抽出することにより、図９
のタップ抽出部５１が構成するのと同一のタップ構造の
予測タップを構成して出力する。なお、タップ抽出部６
５には、ミスマッチ検出部１３（の判定部７２）が出力
するミスマッチ情報が供給されるようになっており、タ
ップ抽出部６５は、図９のタップ抽出部５１と同様に、
注目教師データについてのミスマッチ情報に基づいて、
予測タップのタップ構造を変更するようになっている。

【０１３０】タップ抽出部６６は、注目教師データにつ
いて、生徒データ記憶部６４に記憶された生徒データを
抽出することにより、図９のタップ抽出部５２が構成す
るのと同一のタップ構造のクラスタップを構成して出力
する。なお、タップ抽出部６６には、ミスマッチ検出部
１３が出力するミスマッチ情報が供給されるようになっ
ており、タップ抽出部６６は、図９のタップ抽出部５２
と同様に、注目教師データについてのミスマッチ情報に
基づいて、クラスタップのタップ構造を変更するように
なっている。

【０１３１】クラス分類部６７には、タップ抽出部６６
が出力するクラスタップと、ミスマッチ検出部１３が出
力するミスマッチ情報が供給されるようになっている。
クラス分類部６７は、注目教師データについてのクラス
タップとミスマッチ情報に基づき、注目教師データにつ
いて、図９のクラス分類部５３と同一のクラス分類を行
い、その結果得られるクラスに対応するクラスコード
を、足し込み部６８に出力する。

【０１３２】足し込み部６８は、教師データ記憶部６２
から、注目教師データを読み出し、その注目教師データ
と、タップ抽出部６５から供給される注目教師データに
ついて構成された予測タップを構成する生徒データを対
象とした足し込みを、クラス分類部６７から供給される
クラスコードごとに行う。

【０１３３】即ち、足し込み部６８は、クラス分類部６
７から供給されるクラスコードに対応するクラスごと
に、予測タップ（生徒データ）を用い、式（８）の行列
Ａにおける各コンポーネントとなっている、生徒データ
どうしの乗算（ｘ_inｘ_im）と、サメーション（Σ）に相
当する演算を行う。

【０１３４】さらに、足し込み部６８は、やはり、クラ
ス分類部６７から供給されるクラスコードに対応するク
ラスごとに、予測タップ（生徒データ）および教師デー
タを用い、式（８）のベクトルｖにおける各コンポーネ
ントとなっている、生徒データと教師データの乗算（ｘ
_inｙ_i）と、サメーション（Σ）に相当する演算を行
う。

【０１３５】即ち、足し込み部６８は、前回、注目教師
データとされた教師データについて求められた式（８）
における行列Ａのコンポーネントと、ベクトルｖのコン
ポーネントを、その内蔵するメモリ（図示せず）に記憶
しており、その行列Ａまたはベクトルｖの各コンポーネ
ントに対して、新たに注目教師データとされた教師デー
タについて、その教師データｙ_iおよび生徒データx_in(x
_im)を用いて計算される、対応するコンポーネントｘ_in
ｘ_imまたはｘ_inｙ_iを足し込む（行列Ａ、ベクトルｖに
おけるサメーションで表される加算を行う）。

【０１３６】そして、足し込み部６８は、教師データ記
憶部６２に記憶された教師データすべてを注目教師デー
タとして、上述の足し込みを行うことにより、各クラス
について、式（８）に示した正規方程式をたてると、そ
の正規方程式を、タップ係数算出部６９に供給する。

【０１３７】タップ係数算出部６９は、足し込み部６８
から供給されるクラスごとの正規方程式を解くことによ
り、各クラスごとのタップ係数を求めて出力する。

【０１３８】次に、図１２のフローチャートを参照し
て、図１１の学習装置の処理（学習処理）について、説
明する。

【０１３９】まず最初に、ステップＳ３１において、教
師データ生成部６１と生徒データ生成部６３が、学習用
データ記憶部１１に記憶された学習用データから、教師
データと生徒データを、それぞれ生成する。教師データ
は、教師データ生成部６１から教師データ記憶部６２に
供給されて記憶され、生徒データは、生徒データ生成部
６３から生徒データ記憶部６４に供給されて記憶され
る。

【０１４０】その後、タップ抽出部６５は、教師データ
記憶部６２に記憶された教師データのうち、まだ、注目
教師データとしていないものを、注目教師データとす
る。そして、ステップＳ３２において、符号化部１２
は、学習用データ記憶部１１に記憶された学習用データ
を符号化し、これにより、注目教師データに対応する符
号化データ（注目教師データに対応する学習用データを
符号化したもの）を得て、ミスマッチ検出部１３に供給
する。

【０１４１】ミスマッチ検出部１３は、符号化部１２か
ら供給される符号化データから、注目教師データについ
てのミスマッチ情報を生成し、学習処理部１４のタップ
抽出部６５および６６、並びにクラス分類部６７に供給
する。

【０１４２】そして、ステップＳ３４に進み、タップ抽
出部６５が、ミスマッチ情報に基づき、注目教師データ
について、生徒データ記憶部６４に記憶された生徒デー
タを読み出して予測タップを構成し、足し込み部６８に
供給するとともに、タップ抽出部６６が、やはり、ミス
マッチ情報に基づき、注目教師データについて、生徒デ
ータ記憶部６４に記憶された生徒データを読み出してク
ラスタップを構成し、クラス分類部６７に供給する。

【０１４３】クラス分類部６７は、ステップＳ３５にお
いて、注目教師データについてのクラスタップとミスマ
ッチ情報に基づき、注目教師データについてクラス分類
を行い、その結果得られるクラスに対応するクラスコー
ドを、足し込み部６８に出力する。

【０１４４】足し込み部６８は、ステップＳ３６におい
て、教師データ記憶部６２から注目教師データを読み出
し、その注目教師データと、タップ抽出部６５からの予
測タップを用い、式（８）の行列Ａとベクトルｖのコン
ポーネントを計算する。さらに、足し込み部６８は、既
に得られている行列Ａとベクトルｖのコンポーネントの
うち、クラス分類部６７からのクラスコードに対応する
ものに対して、注目データと予測タップから求められた
行列Ａとベクトルｖのコンポーネントをそれぞれ足し込
み、ステップＳ３７に進む。

【０１４５】ステップＳ３７では、タップ抽出部６５
が、教師データ記憶部６２に、まだ、注目教師データと
していない教師データが記憶されているかどうかを判定
する。ステップＳ３７において、注目教師データとして
いない教師データが、まだ、教師データ記憶部６２に記
憶されていると判定された場合、タップ抽出部６５は、
まだ注目教師データとしていない教師データを、新た
に、注目教師データとして、ステップＳ３２に戻り、以
下、同様の処理が繰り返される。

【０１４６】また、ステップＳ３７において、注目教師
データとしていない教師データが、教師データ記憶部６
２に記憶されていないと判定された場合、足し込み部６
８は、いままでの処理によって得られたクラスごとの行
列Ａおよびベクトルｖのコンポーネントで構成される式
（８）の正規方程式を、タップ係数算出部６９に供給
し、ステップＳ３８に進む。

【０１４７】ステップＳ３８では、タップ係数算出部６
９は、足し込み部６８から供給される各クラスごとの正
規方程式を解くことにより、各クラスごとに、タップ係
数を求めて出力し、処理を終了する。

【０１４８】なお、学習用データ記憶部１１に記憶され
ている学習用データの数が十分でないこと等に起因し
て、タップ係数を求めるのに必要な数の正規方程式が得
られないクラスが生じることがあり得るが、そのような
クラスについては、タップ係数算出部６９は、例えば、
デフォルトのタップ係数を出力するようになっている。

【０１４９】次に、図１３は、符号化データが画像デー
タをＭＰＥＧ２方式で符号化したものである場合の、図
６の復号装置の第１の詳細構成例を示している。

【０１５０】図１３の実施の形態では、復号制御情報抽
出部２１は、逆ＶＬＣ部１１１で構成されている。逆Ｖ
ＬＣ部１１１は、例えば、後述するＭＰＥＧデコーダ１
１６を構成する逆ＶＬＣ部１２１（図１４）と同様に構
成されており、符号化データから、複数の復号制御情報
としての、例えば、ＤＣＴタイプ、ピクチャタイプ、マ
クロブロック（ＭＢ）タイプ、動きベクトルを抽出し、
判定部２２に供給する。

【０１５１】判定部２２は、フィールド／フレーム判定
部１１２、イントラ／ノンイントラ判定部１１３、静動
判定部１１４、およびミスマッチ情報生成部１１５から
構成されている。

【０１５２】フィールド／フレーム判定部１１２は、逆
ＶＬＣ部１１１が出力するＤＣＴタイプに基づいて、注
目データに対応する画素を有するブロック（以下、適
宜、注目ブロックという）が、フレームＤＣＴモードと
フィールドＤＣＴモードのうちのいずれでＤＣＴ変換さ
れたかを判定し、その判定結果を、ミスマッチ情報生成
部１１５に供給する。

【０１５３】イントラ／ノンイントラ判定部１１３は、
逆ＶＬＣ部１１１が出力するピクチャタイプとマクロブ
ロックタイプに基づいて、注目ブロック（を含むマクロ
ブロック）が、イントラ符号化とノンイントラ符号化の
うちのいずれで符号化されているのかを判定し、その判
定結果を、ミスマッチ情報生成部１１５に供給する。

【０１５４】静動判定部１１４は、逆ＶＬＣ部１１１が
出力する動きベクトルに基づいて、注目ブロックの動き
の有無（注目ブロックに表示された画像の動きの有無）
を判定し、その判定結果を、ミスマッチ情報生成部１１
５に供給する。

【０１５５】ミスマッチ情報生成部１１５は、フィール
ド／フレーム判定部１１２、イントラ／ノンイントラ判
定部１１３、および静動判定部１１４の出力に基づい
て、逆ＶＬＣ部１１１が出力する注目ブロック（を含む
マクロブロック）のＤＣＴタイプの正しさを判定し、そ
の判定結果としてのミスマッチ情報を生成して、クラス
分類適応処理部３２に供給する。

【０１５６】ここで、図１３の実施の形態では、前処理
部３１は、ＭＰＥＧデコーダ１１６で構成されており、
ＭＰＥＧデコーダ１１６は、符号化データをＭＰＥＧ２
方式で復号し、その結果得られる復号画像データを、前
処理データとして、クラス分類適応処理部３２に供給す
る。

【０１５７】次に、図１４は、図１３のＭＰＥＧデコー
ダ１１６の構成例を示している。

【０１５８】符号化データは、逆ＶＬＣ部１２１に供給
される。逆ＶＬＣ部１２１は、符号化データから、量子
化ＤＣＴ係数（量子化されたＤＣＴ係数）のＶＬＣコー
ド（量子化ＤＣＴ係数を可変長符号化したもの）を分離
するとともに、量子化ステップ、動きベクトル、ピクチ
ャタイプ、テンポラルリファレンス、その他の復号制御
情報を分離する。

【０１５９】そして、逆ＶＬＣ部１２１は、量子化ＤＣ
Ｔ係数のＶＬＣコードを逆ＶＬＣ処理することで、量子
化ＤＣＴ係数に復号し、逆量子化部１２２に供給する。
さらに、逆ＶＬＣ部１２１は、量子化ステップを逆量子
化部１２２に、動きベクトルを動き補償部１２５に、ピ
クチャタイプをメモリ１２６に、テンポラルリファレン
スをピクチャ選択部１２７に、それぞれ供給する。

【０１６０】逆量子化部１２２は、逆ＶＬＣ部１２１か
ら供給される量子化ＤＣＴ係数を、同じく逆ＶＬＣ部１
２１から供給される量子化ステップで逆量子化し、その
結果得られるＤＣＴ係数を、逆ＤＣＴ変換部１２３に供
給する。逆ＤＣＴ変換部１２３は、逆量子化部１２２か
ら供給されるＤＣＴ係数を、逆ＤＣＴ変換し、演算部１
２４に供給する。

【０１６１】演算部１２４には、逆ＤＣＴ変換部１２３
の出力の他、動き補償部１２５の出力も供給されるよう
になっており、演算部１２４は、逆ＤＣＴ変換部１２３
の出力に対して、動き補償部１２５の出力を、必要に応
じて加算することにより、復号画像データを得て出力す
る。

【０１６２】即ち、ＭＰＥＧ符号化では、ピクチャタイ
プとして、Ｉ，Ｐ，Ｂの３つが定義されており、各ピク
チャは、横×縦が８×８画素のブロック単位で、ＤＣＴ
変換されるが、その際、Ｉピクチャのブロックは、他の
フレームまたはフィールドを参照せずに（予測画像との
差分が計算されずに）イントラ(intra)符号化され、Ｐ
ピクチャのブロックは、イントラ符号化、または前方予
測符号化され、Ｂピクチャのブロックは、イントラ符号
化、前方予測符号化、後方予測符号化、または両方向予
測符号化される。

【０１６３】ここで、前方予測符号化では、符号化対象
のブロックのフレーム（またはフィールド）より時間的
に先行するフレーム（またはフィールド）の画像を参照
画像として、その参照画像を動き補償することにより得
られる、符号化対象のブロックの予測画像と、符号化対
象のブロックとの差分が求められ、その差分値、即ち、
残差画像がＤＣＴ変換される。

【０１６４】また、後方予測符号化では、符号化対象の
ブロックのフレームより時間的に後行するフレームの画
像を参照画像として、その参照画像を動き補償すること
により得られる、符号化対象のブロックの予測画像と、
符号化対象のブロックとの差分が求められ、その差分値
（残差画像）がＤＣＴ変換される。

【０１６５】さらに、両方向予測符号化では、符号化対
象のブロックのフレームより時間的に先行するフレーム
と後行するフレームの２フレーム（またはフィールド）
の画像を参照画像として、その参照画像を動き補償する
ことにより得られる、符号化対象のブロックの予測画像
と、符号化対象のブロックとの差分が求められ、その差
分値（残差画像）がＤＣＴ変換される。

【０１６６】従って、ブロックが、ノンイントラ(non-i
ntra)符号化（前方予測符号化、後方予測符号化、また
は両方向予測符号化）されている場合、逆ＤＣＴ変換部
１２３の出力は、残差画像（元の画像と、その予測画像
との差分値）を復号したものとなっており、演算部１２
４は、この残差画像の復号結果（以下、適宜、復号残差
画像という）と、動き補償部１２５から供給される予測
画像とを加算することで、ノンイントラ符号化されたブ
ロックを復号し、その結果得られる復号画像データを出
力する。

【０１６７】一方、逆ＤＣＴ変換部１２３が出力するブ
ロックが、イントラ符号化されたものであった場合に
は、逆ＤＣＴ変換部１２３の出力は、元の画像を復号し
たものとなっており、演算部１２４は、逆ＤＣＴ変換部
１２３の出力を、そのまま、復号画像データとして出力
する。

【０１６８】演算部１２４が出力する復号画像データ
は、メモリ１２６とピクチャ選択部１２７に供給され
る。

【０１６９】メモリ１２６は、演算部１２４から供給さ
れる復号画像データが、ＩピクチャまたはＰピクチャの
画像データである場合、その復号画像データを、その後
に復号される符号化データの参照画像として一時記憶す
る。ここで、ＭＰＥＧ２では、Ｂピクチャは参照画像と
されないことから、演算部１２４から供給される復号画
像が、Ｂピクチャの画像である場合には、メモリ１２６
では、Ｂピクチャの復号画像は記憶されない。なお、メ
モリ１２６は、演算部１２４から供給される復号画像
が、Ｉ，Ｐ，Ｂのうちのいずれのピクチャであるかは、
逆ＶＬＣ部１２１から供給されるピクチャタイプを参照
することにより判断する。

【０１７０】ピクチャ選択部１２７は、演算部１２４が
出力する復号画像、またはメモリ１２６に記憶された復
号画像のフレーム（またはフィールド）を、表示順に選
択して出力する。即ち、ＭＰＥＧ２方式では、画像のフ
レーム（またはフィールド）の表示順と復号順（符号化
順）とが一致していないため、ピクチャ選択部１２７
は、復号順に得られる復号画像のフレーム（またはフィ
ールド）を表示順に並べ替えて出力する。なお、ピクチ
ャ選択部１２７は、表示順を、逆ＶＬＣ部１２１から供
給されるテンポラルリファレンスを参照することにより
判断する。

【０１７１】一方、動き補償部１２５は、逆ＶＬＣ部１
２１が出力する動きベクトルを受信するとともに、参照
画像となるフレーム（またはフィールド）を、メモリ１
２６から読み出し、その参照画像に対して、逆ＶＬＣ部
１２１からの動きベクトルにしたがった動き補償を施
し、その結果得られる予測画像を、演算部１２４に供給
する。演算部１２４では、上述したように、動き補償部
１２５からの予測画像と、逆ＤＣＴ変換部１２３が出力
する残差画像と加算され、これにより、ノンイントラ符
号化（予測符号化）されたブロックが復号される。

【０１７２】次に、図１５のフローチャートを参照し
て、図１３のミスマッチ情報生成部１１５の処理につい
て説明する。

【０１７３】ミスマッチ情報生成部１１５は、まず最初
に、ステップＳ４１において、注目ブロック（を含むマ
クロブロック）が、イントラ符号化されたものである
か、またはノンイントラ符号化されたものであるかを、
イントラ／ノンイントラ判定部１１３の出力に基づいて
判定する。

【０１７４】ここで、イントラ／ノンイントラ判定部１
１３は、注目ブロックのフレームのピクチャタイプが、
Ｉピクチャを表している場合、注目ブロックがイントラ
符号化されていると判定する。また、イントラ／ノンイ
ントラ判定部１１３は、注目ブロックのフレームのピク
チャタイプが、ＰまたはＢピクチャを表している場合に
は、注目ブロックを含むマクロブロック（以下、適宜、
注目マクロブロックという）のマクロブロックタイプに
基づいて、注目ブロックがイントラ符号化またはノンイ
ントラ符号化されているかを判定する。

【０１７５】ステップＳ４１において、注目ブロックが
ノンイントラ符号化されていると判定された場合、ステ
ップＳ４２に進み、ミスマッチ情報生成部１１５は、注
目ブロックが、動いている画像を表示しているブロック
（以下、適宜、動きブロックという）であるか、または
静止している画像を表示しているブロック（以下、適
宜、静止ブロックという）であるかを、静動判定部１１
４の出力に基づいて判定する。

【０１７６】ここで、静動判定部１１４は、ノンイント
ラ符号化されているブロックについては、そのブロック
を含むマクロブロックの動きベクトルの大きさが、所定
の閾値εより大（または以上）である場合、そのノンイ
ントラ符号化されているブロックが動きブロックである
と判定する。また、静動判定部１１４は、ノンイントラ
符号化されているブロックを含むマクロブロックの動き
ベクトルの大きさが、所定の閾値ε以下（または未満）
である場合、そのノンイントラ符号化されているブロッ
クが静止ブロックであると判定する。

【０１７７】ステップＳ４２において、注目ブロックが
動きブロックであると判定された場合、ステップＳ４５
に進み、後述する処理が行われる。

【０１７８】また、ステップＳ４２において、注目ブロ
ックが静止ブロックであると判定された場合、ステップ
Ｓ４３に進み、ミスマッチ情報生成部１１５は、注目デ
ータのミスマッチ情報として、注目データのＤＣＴタイ
プ（注目マクロブロックのＤＣＴタイプ）が正しいこと
を表す、例えば、１ビットの０を生成して出力し、処理
を終了する。

【０１７９】一方、ステップＳ４１において、注目ブロ
ックがイントラ符号化されていると判定された場合、ス
テップＳ４４に進み、ミスマッチ情報生成部１１５は、
注目ブロックが、動きブロックまたは静止ブロックのう
ちのいずれであるかを、静動判定部１１４の出力に基づ
いて判定する。

【０１８０】ここで、静動判定部１１４は、イントラ符
号化されているブロックについては、例えば、そのブロ
ックの、１フレーム前のフレームにおける対応するブロ
ック（以下、適宜、対応前ブロックという）と、１フレ
ーム後のフレームにおける対応するブロック（以下、適
宜、対応後ブロックという）のうちのいずれか一方、ま
たは両方の動きベクトルと、所定の閾値εとの大小関係
によって、ノンイントラ符号化されているブロックにお
ける場合と同様に、動きブロックまたは静止ブロックの
別を判定する。あるいは、静動判定部１１４は、例え
ば、イントラ符号化されているブロックについての対応
前ブロックと対応後ブロックのうちのいずれか一方、ま
たは両方が動きブロックである場合、そのイントラ符号
化されているブロックも動きブロックであると判定し、
対応前ブロックと対応後ブロックのうちの両方またはい
ずれか一方が静止ブロックである場合、そのイントラ符
号化されているブロックも静止ブロックであると判定す
る。

【０１８１】ステップＳ４４において、注目ブロックが
静止ブロックであると判定された場合、ステップＳ４３
に進み、上述したように、ミスマッチ情報生成部１１５
は、注目データのミスマッチ情報として、注目データの
ＤＣＴタイプが正しいことを表す１ビットの０を生成し
て出力し、処理を終了する。

【０１８２】また、ステップＳ４４において、注目ブロ
ックが動きブロックであると判定された場合、ステップ
Ｓ４５に進み、ミスマッチ情報生成部１１５は、注目ブ
ロックのＤＣＴタイプが、フレームＤＣＴモードまたは
フィールドＤＣＴモードのうちのいずれであるかを、フ
ィールド／フレーム判定部１１２の出力に基づいて判定
する。

【０１８３】ステップＳ４５において、注目ブロックの
ＤＣＴタイプが、フィールドＤＣＴモードであると判定
された場合、ステップＳ４３に進み、上述したように、
ミスマッチ情報生成部１１５は、注目データのミスマッ
チ情報として、注目データのＤＣＴタイプが正しいこと
を表す１ビットの０を生成して出力し、処理を終了す
る。

【０１８４】また、ステップＳ４５において、注目ブロ
ックのＤＣＴタイプが、フレームＤＣＴモードであると
判定された場合、ステップＳ４６に進み、ミスマッチ情
報生成部１１５は、注目データのミスマッチ情報とし
て、注目データのＤＣＴタイプ（注目マクロブロックの
ＤＣＴタイプ）が正しくないことを表す、例えば、１ビ
ットの１を生成して出力し、処理を終了する。

【０１８５】図１５の実施の形態によれば、例えば、図
１６に示すように、隣接する２×２個のマクロブロック
ＭＢ＃１，＃２，＃３，＃４において、水平方向に移動
している円形の物体が表示されている場合において、右
上のマクロブロックＭＢ＃２のＤＣＴタイプがフレーム
ＤＣＴモードであり、他の３つのマクロブロックＭＢ＃
１，＃３、および＃４のＤＣＴタイプがフィールドＤＣ
Ｔモードであるときには、ミスマッチ情報生成部１１５
において、以下のようなミスマッチ情報が生成される。

【０１８６】即ち、マクロブロックＭＢ＃１，＃２，＃
３，＃４それぞれを構成するブロックは、いずれも、動
きブロックであり、フィールドＤＣＴモードでＤＣＴ変
換すべきである。従って、ＤＣＴタイプがフィールドＤ
ＣＴモードになっているマクロブロックＭＢ＃１，＃
３，＃４それぞれを構成するブロックのデータが注目デ
ータとされた場合には、ミスマッチ情報として、ＤＣＴ
タイプが正しいことを表す１ビットの０が生成される。
また、ＤＣＴタイプがフレームＤＣＴモードになってい
るマクロブロックＭＢ＃２を構成するブロックのデータ
が注目データとされた場合には、ミスマッチ情報とし
て、ＤＣＴタイプが正しくないことを表す１ビットの１
が生成される。

【０１８７】なお、図１５の実施の形態では、注目ブロ
ックが動きブロックであり、かつそのＤＣＴタイプがフ
レームＤＣＴモードになっている場合にのみ、ＤＣＴタ
イプが正しくないことを表すミスマッチ情報を生成し、
他の場合には、ＤＣＴタイプが正しいことを表すミスマ
ッチ情報を生成するようにしたが、その他、例えば、注
目ブロックが動きブロックであり、かつそのＤＣＴタイ
プがフレームＤＣＴモードになっている場合と、注目ブ
ロックが静止ブロックであり、かつそのＤＣＴタイプが
フィールドＤＣＴモードになっている場合に、ＤＣＴタ
イプが正しくないことを表すミスマッチ情報を生成し、
注目ブロックが動きブロックであり、かつそのＤＣＴタ
イプがフィールドＤＣＴモードになっている場合と、注
目ブロックが静止ブロックであり、かつそのＤＣＴタイ
プがフレームＤＣＴモードになっている場合に、ＤＣＴ
タイプが正しいことを表すミスマッチ情報を生成するよ
うにすることなども可能である。

【０１８８】また、図１５の実施の形態では、説明を簡
単にするために、ＤＣＴタイプが正しいか、正しくない
かを表す１ビットのミスマッチ情報を生成するようにし
たが、ミスマッチ情報としては、その他、例えば、注目
データのＤＣＴタイプと、その注目データを含むブロッ
ク（注目ブロック）が、本来、フレームＤＣＴモードま
たはフィールドＤＣＴモードのうちのいずれでＤＣＴ変
換すべきものであるかを表す情報（以下、適宜、ブロッ
クタイプという）とのセットを生成するようにすること
も可能である。

【０１８９】ここで、ブロックタイプは、例えば、注目
ブロックが動きブロックである場合には、フィールドＤ
ＣＴモードを表すものとし、注目ブロックが静止ブロッ
クである場合には、フレームＤＣＴモードを表すものと
するようにすることが可能である。

【０１９０】次に、図１３の実施の形態におけるクラス
分類適応処理部３２（図９）の処理について説明する。

【０１９１】クラス分類適応処理部３２では、前処理部
３１を構成する図１４で説明したＭＰＥＧデコーダ１１
６が出力する復号画像データを対象に、クラス分類適応
処理が行われ、その結果得られる適応処理データが、後
処理部３３に出力される。後処理部３３は、クラス分類
適応処理部３２からの適応処理データを、そのまま、高
画質の画像データ（高画質画像データ）として出力す
る。

【０１９２】従って、図１３の実施の形態では、クラス
分類適応処理部３２においてクラス分類適応処理が行わ
れることにより、前処理部３１のＭＰＥＧデコーダ１１
６が出力する、符号化データをＭＰＥＧ方式で復号した
復号画像データが、高画質画像データに変換されて出力
される。

【０１９３】即ち、クラス分類適応処理部３２（図９）
では、前処理部３１のＭＰＥＧデコーダ１１６が出力す
る復号画像データが、タップ抽出部５１と５２に供給さ
れる。

【０１９４】タップ抽出部５１は、まだ、注目データと
していない高画質画像データの画素を注目データとし
て、その注目データ（の画素値）を予測するのに用いる
復号画像データの幾つか（の画素）を、予測タップとし
て抽出する。タップ抽出部５２も、注目データをクラス
分類するのに用いる復号画像データの幾つかを、クラス
タップとして抽出する。

【０１９５】ここで、上述したように、タップ抽出部５
１および５２には、判定部２２からミスマッチ情報も供
給されるようになっており、タップ抽出部５１と５２
は、ミスマッチ情報に基づき、予測タップとクラスタッ
プの構造を、それぞれ変更するようになっている。

【０１９６】即ち、例えば、いま、上述したような、注
目ブロックのＤＣＴタイプとブロックタイプとのセット
が、注目データについてのミスマッチ情報として、判定
部２２（のミスマッチ情報生成部１１５（図１３））か
らクラス分類適応処理部３２に供給されるものとする
と、タップ抽出部５１は、ミスマッチ情報としての、注
目ブロックのＤＣＴタイプとブロックタイプとのセット
を受信し、ＭＰＥＧデコーダ１１６から供給される復号
画像データから、例えば、図１７に示すようなタップ構
造設定テーブルにしたがったタップ構造の予測タップを
抽出する。

【０１９７】即ち、タップ抽出部５１は、ミスマッチ情
報としてのＤＣＴタイプとブロックタイプが、いずれも
フィールドＤＣＴモードである場合、後述するフィール
ドタップのみからなるパターンＡのタップ構造の予測タ
ップを構成する。また、タップ抽出部５１は、ミスマッ
チ情報としてのＤＣＴタイプとブロックタイプが、それ
ぞれフィールドＤＣＴモードとフレームＤＣＴモードで
ある場合、フィールドタップの数が、後述するフレーム
タップの数より多いパターンＢのタップ構造の予測タッ
プを構成する。さらに、タップ抽出部５１は、ミスマッ
チ情報としてのＤＣＴタイプとブロックタイプが、それ
ぞれフレームＤＣＴモードとフィールドＤＣＴモードで
ある場合、フレームタップの数が、フィールドタップの
数より多いパターンＣのタップ構造の予測タップを構成
する。また、タップ抽出部５１は、ミスマッチ情報とし
てのＤＣＴタイプとブロックタイプが、いずれもフレー
ムＤＣＴモードである場合、フレームタップのみからな
るパターンＤのタップ構造の予測タップを構成する。

【０１９８】ここで、図１８は、パターンＡ乃至Ｄのタ
ップ構造を示している。なお、図１８において、○印
が、復号画像データの画素を表している。また、斜線を
付してある○印は、フィールドタップとなっている画素
を表し、●印は、フレームタップとなっている画素を表
している。

【０１９９】図１８Ａは、パターンＡのタップ構造を示
している。パターンＡのタップ構造は、例えば、注目デ
ータに対応する復号画像データの画素（以下、適宜、注
目画素という）、注目画素の左右それぞれに隣接する２
画素、注目画素の上方向に１画素おいて隣接する画素、
その画素の左右それぞれに隣接する２画素、注目画素の
上方向に３画素おいて隣接する画素、その画素の左右そ
れぞれに隣接する２画素、注目画素の下方向に１画素お
いて隣接する画素、その画素の左右それぞれに隣接する
２画素、注目画素の下方向に３画素おいて隣接する画
素、その画素の左右それぞれに隣接する２画素の合計２
５画素で構成される。

【０２００】ここで、フィールドタップとは、例えば、
その上下に隣接する２画素が、いずれもタップ（ここで
は、予測タップまたはクラスタップ）となっていない画
素を意味する。図１８ＡのパターンＡのタップ構造で
は、いずれのタップも、その上下に隣接する画素がタッ
プになっていないので、すべてフィールドタップであ
る。

【０２０１】図１８Ｂは、パターンＢのタップ構造を示
している。パターンＢのタップ構造は、例えば、注目画
素、注目画素の左右それぞれに隣接する２画素、注目画
素の上方向に１画素おいて隣接する画素の左右それぞれ
に隣接する２画素、注目画素の上方向に３画素おいて隣
接する画素の左右それぞれに隣接する１画素、注目画素
の下方向に１画素おいて隣接する画素の左右それぞれに
隣接する２画素、注目画素の下方向に３画素おいて隣接
する画素の左右それぞれに隣接する１画素、注目画素の
上に隣接する４画素、注目画素の下に隣接する４画素の
合計２５画素で構成される。

【０２０２】ここで、フレームタップとは、その上また
は下に隣接する画素のうちの少なくとも一方がタップと
なっている画素を意味する。図１８ＢのパターンＢのタ
ップ構造では、注目画素と、注目画素の上下それぞれに
隣接する４画素の合計９画素がフレームタップとなって
おり、残りの１６画素がフィールドタップとなってい
る。

【０２０３】図１８Ｃは、パターンＣのタップ構造を示
している。パターンＣのタップ構造は、例えば、注目画
素、注目画素の左右それぞれに隣接する２画素、注目画
素の上方向に１画素おいて隣接する画素の左右それぞれ
に隣接する２画素、注目画素の下方向に１画素おいて隣
接する画素の左右それぞれに隣接する２画素、注目画素
の上下それぞれに隣接する４画素、注目画素の上に隣接
する画素の左右それぞれに隣接する１画素、注目画素の
下に隣接する画素の左右それぞれに隣接する１画素の合
計２５画素で構成される。

【０２０４】パターンＣのタップ構造では、注目画素、
注目画素の上下それぞれに隣接する４画素、注目画素の
左に隣接する画素、その画素の上下それぞれに隣接する
２画素、注目画素の右に隣接する画素、その画素の上下
それぞれに隣接する２画素の合計１９画素がフレームタ
ップとなっており、残りの６画素がフィールドタップに
なっている。

【０２０５】図１８Ｄは、パターンＤのタップ構造を示
している。パターンＤのタップ構造は、例えば、注目画
素を中心として隣接する、横×縦が５×５画素の合計２
５画素で構成される。

【０２０６】パターンＤのタップ構造では、いずれのタ
ップも、その上または下の少なくとも一方の画素がタッ
プとなっているので、すべてフレームタップである。

【０２０７】タップ抽出部５１（図９）は、ミスマッチ
情報に基づき、注目データについて、図１８に示したパ
ターンＡ乃至Ｄのうちのいずれかのタップ構造の予測タ
ップを構成する。

【０２０８】タップ抽出部５２も、タップ抽出部５１と
同様に、ミスマッチ情報に基づくタップ構造のクラスタ
ップを構成する。

【０２０９】なお、ここでは、ミスマッチ情報に基づい
て、予測タップとして抽出する復号画像データの画素の
位置を変更するだけで、予測タップを構成する画素数
は、２５画素のまま変更しないようにしたが、タップ抽
出部５１では、ミスマッチ情報に基づいて、予測タップ
を構成する復号画像データの画素の数を変更するように
することも可能である。

【０２１０】また、前処理部３１のＭＰＥＧデコーダ１
１６では、符号化データにおける量子化ＤＣＴ係数が、
その符号化データに含まれる動きベクトルや、ＤＣＴタ
イプ、量子化ステップ、ピクチャタイプ、その他の復号
制御情報を用いて、画像に復号されるが、タップ抽出部
５１では、このような復号制御情報も、予測タップに含
めることが可能である。さらに、この場合、ミスマッチ
情報に基づいて、予測タップとする復号制御情報を変更
することも可能である。さらに、タープ抽出部５１で
は、符号化データに含まれる量子化ＤＣＴ係数や、その
量子化ＤＣＴ係数を逆量子化して得られるＤＣＴ係数
も、予測タップに含めるようにすることが可能である。

【０２１１】タップ抽出部５２でも、タップ抽出部５１
における場合と同様にして、クラスタップを構成するこ
とができる。

【０２１２】タップ抽出部５１で得られた予測タップ
は、予測部５４に供給され、タップ抽出部５２で得られ
たクラスタップは、クラス分類部５３に供給される。

【０２１３】クラス分類部５３には、クラスタップの
他、注目データについてのミスマッチ情報も供給され、
クラス分類部５３では、上述したように、クラスタップ
とミスマッチ情報に基づき、注目データがクラス分類さ
れる。

【０２１４】即ち、クラス分類部５３は、例えば、注目
データについてのクラスタップに対して、例えば、ADRC
(Adaptive Dynamic Range Coding)処理等の圧縮処理を
施すことによりクラス分類を行い、クラスコードを求め
る。

【０２１５】ここで、ADRC処理を用いたクラス分類で
は、クラスタップを構成するデータ（ここでは、画素
値）が、ADRC処理され、例えば、その結果得られるADRC
コードが、クラスコードとされる。

【０２１６】なお、KビットADRCにおいては、例えば、
クラスタップを構成するデータの最大値MAXと最小値MIN
が検出され、DR=MAX-MINを、集合の局所的なダイナミッ
クレンジとし、このダイナミックレンジDRに基づいて、
クラスタップを構成するデータがKビットに再量子化さ
れる。即ち、クラスタップを構成する各データから、最
小値MINが減算され、その減算値がDR/2^Kで除算（量子
化）される。そして、以上のようにして得られる、クラ
スタップを構成するKビットの各データを、所定の順番
で並べたビット列が、ADRCコードとして出力される。従
って、クラスタップが、例えば、１ビットADRC処理され
た場合には、そのクラスタップを構成する各データは、
最小値MINが減算された後に、最大値MAXと最小値MINと
の平均値で除算され（小数点以下切り捨て）、これによ
り、各データが１ビットとされる（２値化される）。そ
して、その１ビットのデータを所定の順番で並べたビッ
ト列が、ADRCコードとして出力される。

【０２１７】なお、クラス分類部５３には、例えば、ク
ラスタップを構成するデータのレベル分布のパターン
を、そのままクラスコードとして出力させることも可能
である。しかしながら、この場合、クラスタップが、Ｎ
個のデータで構成され、各データに、Ｋビットが割り当
てられているとすると、クラス分類部２４が出力するク
ラスコードの場合の数は、（２^N）^K通りとなり、データ
のビット数Ｋに指数的に比例した膨大な数となる。

【０２１８】従って、クラス分類部５３においては、ク
ラスタップの情報量を、上述のADRC処理や、あるいはベ
クトル量子化等によって圧縮することにより、クラス分
類を行うのが好ましい。

【０２１９】ここで、クラスタップを用いてクラス分類
を行うことにより得られるクラスコードを、以下、適
宜、クラスタップコードという。

【０２２０】クラス分類部５３は、上述のようにしてク
ラスタップコードを求める他、注目データについてのミ
スマッチ情報としての、例えば、ＤＣＴタイプとブロッ
クタイプのセットを用いてクラス分類を行うことによ
り、２ビットのクラスコードを求める。

【０２２１】即ち、いま、ミスマッチ情報を用いたクラ
ス分類によって得られるクラスコードを、ミスマッチコ
ードというものとすると、クラス分類部５３は、ミスマ
ッチ情報としてのＤＣＴタイプとブロックタイプが、い
ずれもフィールドＤＣＴモードを表している場合には、
２ビットのミスマッチコードを、例えば「００」とす
る。また、クラス分類部５３は、ＤＣＴタイプとブロッ
クタイプが、それぞれフィールドＤＣＴモードとフレー
ムＤＣＴモードを表している場合には、２ビットのミス
マッチコードを、例えば「０１」とする。さらに、クラ
ス分類部５３は、ＤＣＴタイプとブロックタイプが、そ
れぞれフレームＤＣＴモードとフィールドＤＣＴモード
を表している場合には、２ビットのミスマッチコード
を、例えば「１０」とする。また、クラス分類部５３
は、ＤＣＴタイプとブロックタイプが、いずれもフレー
ムＤＣＴモードを表している場合には、２ビットのミス
マッチコードを、例えば「１１」とする。

【０２２２】その後、クラス分類部５３は、例えば、注
目データについて得られたクラスタップコードの上位ビ
ットとして、注目データについて得られたミスマッチコ
ードを付加し、このクラスタップコードとミスマッチコ
ードとで構成されるコードを、注目データについての最
終的なクラスコードとして出力する。

【０２２３】なお、クラス分類部５３では、その他、例
えば、ＤＣＴタイプ以外の復号制御情報にも基づいて、
クラス分類を行うようにすることが可能である。

【０２２４】クラス分類部５３が出力するクラスコード
は、係数メモリ４１に供給される。係数メモリ４１で
は、そのクラスコードに対応するタップ係数が読み出さ
れ、予測部５４に供給される。

【０２２５】予測部５４は、タップ抽出部５１が出力す
る予測タップと、係数メモリ４１から取得したタップ係
数とを用いて、式（１）に示した線形予測演算を行う。
これにより、予測部５４は、注目データ（の予測値）、
即ち、高画質画像データを求め、後処理部３３に供給す
る。

【０２２６】後処理部３３では、上述したように、クラ
ス分類適応処理部３２（の予測部５４）の出力、即ち、
高画質画像データが、そのまま出力される。

【０２２７】なお、上述の場合には、注目ブロックのＤ
ＣＴタイプが正しいか、正しくないかを表す１ビットの
情報や、注目ブロックのＤＣＴタイプとブロックタイプ
のセットを、ミスマッチ情報とするようにしたが、ミス
マッチ情報としては、その他、例えば、注目ブロックの
ＤＣＴタイプが、どの程度正しいかを表す評価値などを
採用することが可能である。

【０２２８】注目ブロックのＤＣＴタイプの正しいの程
度を表す評価値としては、例えば、注目ブロックのＤＣ
ＴタイプがフィールドＤＣＴモードである場合には、注
目ブロック（注目マクロブロック）の動きベクトルの大
きさを採用し、注目ブロックのＤＣＴタイプがフレーム
ＤＣＴモードである場合には、動きベクトルの最大の大
きさから、注目ブロックの動きベクトルの大きさを減算
して得られる減算値を採用することが可能である。この
場合、注目ブロックのＤＣＴタイプがフィールドＤＣＴ
モードであるときには、注目ブロックの動きベクトルの
大きさが大きいほど、また、注目ブロックのＤＣＴタイ
プがフレームＤＣＴモードであるときには、注目ブロッ
クの動きベクトルの大きさが小さいほど、評価値が大き
くなる。

【０２２９】そして、この場合、タップ抽出部５１や５
２では、例えば、ミスマッチ情報としての評価値を、１
つ以上の閾値と比較し、その比較結果に基づいて、予測
タップやクラスタップのタップ構造を変更するようにす
ることが可能である。また、クラス分類部５３では、例
えば、ミスマッチ情報としての評価値を量子化し、その
量子化値を、ミスマッチコードとして用いることが可能
である。

【０２３０】さらに、上述の場合には、注目ブロックが
動きブロックか、または静止ブロックであるかを、注目
ブロックの動きベクトル、あるいは対応前ブロックまた
は対応後ブロックの動きベクトルや、静止ブロックもし
くは動きブロックの別に基づいて判定するようにした
が、注目ブロックが動きブロックまたは静止ブロックの
うちのいずれであるかの判定は、その他、例えば、注目
ブロックや、対応前ブロックまたは対応後ブロックの周
辺のブロックの動きベクトル等にも基づいて判定するよ
うにすることが可能である。

【０２３１】次に、図１９は、図１３の係数メモリ４１
に記憶させるタップ係数を学習する場合の、図１１の学
習装置の詳細構成例を示している。

【０２３２】図１９の実施の形態では、学習用データ記
憶部１１に、学習用データとして、高画質の画像データ
（学習用画像データ）が記憶されている。

【０２３３】図１９の実施の形態において、符号化部１
２は、ＭＰＥＧエンコーダ１３１で構成されており、Ｍ
ＰＥＧエンコーダ１３１は、学習用データ記憶部１１か
ら学習用画像データを読み出して、ＭＰＥＧ２方式で符
号化し、その結果得られる符号化データを出力する。

【０２３４】即ち、図２０は、図１９のＭＰＥＧエンコ
ーダ１３１の構成例を示している。

【０２３５】学習用画像データは、動きベクトル検出部
１４１と演算部１４３に供給される。動きベクトル検出
部１４１は、学習用画像データを対象に、例えば、ブロ
ックマッチングを行うことにより、学習用画像データの
動きベクトルを検出し、動き補償部１４２に供給する。

【０２３６】また、演算部１４３は、必要に応じて、学
習用画像データ（原画像）から、動き補償部１４２から
供給される予測画像を減算し、その結果得られる残差画
像を、ＤＣＴ変換部１４４に供給する。ＤＣＴ変換部１
４４は、演算部１４３からの残差画像をＤＣＴ変換し、
その結果得られるＤＣＴ係数を、量子化部１４５に供給
する。量子化部１４５は、ＤＣＴ変換部１４４から供給
されるＤＣＴ係数を、所定の量子化ステップで量子化す
ることにより、量子化ＤＣＴ係数を得て、ＶＬＣ部１４
６および逆量子化部１４７に供給する。

【０２３７】ＶＬＣ部１４６は、量子化部１４５から供
給される量子化ＤＣＴ係数をＶＬＣコードに可変長符号
化し、さらに、必要な復号制御情報（例えば、動きベク
トル検出部１４１で検出された動きベクトルや、量子化
部１４５で用いられた量子化ステップなど）を多重化す
ることで、符号化データを得て出力する。

【０２３８】一方、逆量子化部１４７では、量子化部１
４５が出力する量子化ＤＣＴ係数が逆量子化され、ＤＣ
Ｔ係数が求められて、逆ＤＣＴ変換部１４８に供給され
る。逆ＤＣＴ変換部１４８は、逆量子化部１４７からの
ＤＣＴ係数を、逆ＤＣＴ変換することにより、残差画像
に復号し、演算部１４９に供給する。

【０２３９】演算部１４９には、逆ＤＣＴ変換部１４８
から、残差画像が供給される他、動き補償部１４２か
ら、その残差画像を求めるのに演算部１４３で用いられ
たのと同一の予測画像が供給されるようになっており、
演算部１４９は、残差画像と予測画像とを加算すること
で、元の画像を復号（ローカルデコード）する。この復
号画像は、メモリ１５０に供給され、参照画像として記
憶される。

【０２４０】そして、動き補償部１４２では、メモリ１
５０に記憶された参照画像が読み出され、動きベクトル
検出部１４１から供給される動きベクトルにしたがって
動き補償が施されることにより、予測画像が生成され
る。この予測画像は、動き補償部１４２から演算部１４
３および１４９に供給される。

【０２４１】上述したように、演算部１４３では、動き
補償部１４２からの予測画像を用いて、残差画像が求め
られ、また、演算部１４９では、動き補償部１４２から
の予測画像を用いて、元の画像が復号される。

【０２４２】図１９に戻り、ＭＰＥＧデコーダ１３１が
出力する符号化データは、復号制御情報抽出部７１に供
給される。

【０２４３】復号制御情報抽出部７１は、逆ＶＬＣ部１
３２で構成されている。逆ＶＬＣ部１３２は、図１３の
逆ＶＬＣ部１１１と同様の処理を行い、これにより、符
号化データから、複数の復号制御情報としてのＤＣＴタ
イプ、ピクチャタイプ、マクロブロックタイプ、動きベ
クトルを抽出し、判定部７２に供給する。

【０２４４】判定部７２は、フィールド／フレーム判定
部１３３、イントラ／ノンイントラ判定部１３４、静動
判定部１３５、およびミスマッチ情報生成部１３６で構
成されている。そして、フィールド／フレーム判定部１
３３、イントラ／ノンイントラ判定部１３４、静動判定
部１３５、またはミスマッチ情報生成部１３６では、復
号制御情報抽出部７１から供給される複数の復号制御情
報としてのＤＣＴタイプ、ピクチャタイプ、マクロブロ
ックタイプ、および動きベクトルを用いて、図１３のフ
ィールド／フレーム判定部１１２、イントラ／ノンイン
トラ判定部１１３、静動判定部１１４、またはミスマッ
チ情報生成部１１５における場合とそれぞれ同様の処理
が行われ、これにより、適応学習部６０において注目教
師データとされている教師データについてのミスマッチ
情報が生成される。このミスマッチ情報は、ミスマッチ
情報生成部１３６から適応学習部６０に供給される。

【０２４５】図１９の実施の形態では、逆後処理部６１
Ａは、学習用データ記憶部１１から学習用画像データを
読み出し、そのまま、教師データとして、適応学習部６
０に出力する。適応学習部６０（図１１）では、教師デ
ータ記憶部６２において、逆後処理部６１Ａからの教師
データが記憶される。

【０２４６】符号化部６３Ａは、ＭＰＥＧエンコーダ１
３７で構成され、ＭＰＥＧエンコーダ１３７は、ＭＰＥ
Ｇエンコーダ１３１と同様に、学習用データ記憶部１１
から学習用画像データを読み出して、ＭＰＥＧ２方式で
符号化し、その結果得られる符号化データを、前処理部
６３Ｂに出力する。

【０２４７】前処理部６３Ｂは、図１４のＭＰＥＧデコ
ーダ１１６と同様に構成されるＭＰＥＧデコーダ１３８
で構成され、ＭＰＥＧデコーダ１３８は、ＭＰＥＧエン
コーダ１３７からの符号化データを、ＭＰＥＧ２方式で
復号し、その結果得られる復号画像データを、生徒デー
タとして、適応学習部６０に出力する。適応学習部６０
（図１１）では、生徒データ記憶部６４において、ＭＰ
ＥＧデコーダ１３８からの生徒データが記憶される。

【０２４８】そして、適応学習部６０では、教師データ
および生徒データを用い、生徒データから抽出される予
測タップから、式（１）の線形予測演算を行うことによ
り得られる教師データの予測値の予測誤差を統計的に最
小にするタップ係数を求める学習が行われる。

【０２４９】即ち、適応学習部６０（図１１）では、タ
ップ抽出部６５が、教師データ記憶部６２に記憶された
教師データのうち、まだ、注目教師データとしていない
ものを、注目教師データとし、注目教師データについ
て、生徒データ記憶部６４に記憶された生徒データから
予測タップを構成して、足し込み部６８に供給する。さ
らに、タップ抽出部６６が、注目教師データについて、
生徒データ記憶部６４に記憶された生徒データからクラ
スタップを構成し、クラス分類部６７に供給する。

【０２５０】ここで、タップ抽出部６５および６６に
は、ミスマッチ情報が供給されるようになっており、タ
ップ抽出部６５または６６それぞれは、ミスマッチ情報
に基づき、注目教師データについて、図１３で説明した
クラス分類適応処理部３２のタップ抽出部５１または５
２（図９）が構成するのと同一のタップ構造の予測タッ
プまたはクラスタップを構成する。

【０２５１】従って、例えば、タップ抽出部５１または
５２において、図１３で説明したように、符号化データ
に含まれる復号制御情報をも用いて、予測タップまたは
クラスタップがそれぞれ構成される場合には、図１９の
学習装置でも、タップ抽出部６５または６６（図１１）
において、復号制御情報をも用いて、予測タップまたは
クラスタップがそれぞれ構成される。

【０２５２】その後、クラス分類部６７（図１１）で
は、注目教師データについてのクラスタップとミスマッ
チ情報に基づき、注目教師データについて、図１３で説
明したクラス分類部５３における場合と同様のクラス分
類を行い、その結果得られるクラスに対応するクラスコ
ードを、足し込み部６８に出力する。

【０２５３】足し込み部６８は、教師データ記憶部６２
から注目教師データを読み出し、その注目教師データ
と、タップ抽出部６５からの予測タップを用い、式
（８）の行列Ａとベクトルｖのコンポーネントを計算す
る。さらに、足し込み部６８は、既に得られている行列
Ａとベクトルｖのコンポーネントのうち、クラス分類部
６７からのクラスコードに対応するものに対して、注目
教師データと予測タップから求められた行列Ａとベクト
ルｖのコンポーネントを足し込む。

【０２５４】以上の処理が、教師データ記憶部６２に記
憶された教師データすべてを、注目教師データとして行
われると、足し込み部６８は、いままでの処理によって
得られたクラスごとの行列Ａおよびベクトルｖのコンポ
ーネントで構成される式（８）の正規方程式を、タップ
係数算出部６９に供給し、タップ係数算出部６９は、そ
の各クラスごとの正規方程式を解くことにより、各クラ
スごとに、タップ係数を求めて出力する。

【０２５５】なお、図１９の学習装置では、例えば、符
号化部６３ＡのＭＰＥＧエンコーダ１３７において学習
用画像データをＭＰＥＧ符号化する前に、その学習用画
像データの画素数を，１／Ｎに間引くようにすること
で、適応学習部６０において、ＭＰＥＧ復号された画像
データを、高画質で、かつ画素数をＮ倍にする（解像度
を高くする）タップ係数を得ることができる。

【０２５６】次に、図２１は、符号化データが画像デー
タをＭＰＥＧ２方式で符号化したものである場合の、図
６の復号装置の第２の詳細構成例を示している。なお、
図中、図１３における場合と対応する部分については、
同一の符号を付してあり、以下では、その説明は、適宜
省略する。

【０２５７】図２１の実施の形態では、前処理部３１
が、逆ＶＬＣ部１６１、逆量子化部１６２、演算部１６
３、ＭＰＥＧデコーダ１６４、メモリ１６５、動き補償
部１６６、およびＤＣＴ変換部１６７で構成されてい
る。

【０２５８】前処理部３１において、符号化データは、
逆ＶＬＣ部１６１とＭＰＥＧデコーダ１６４に供給され
る。

【０２５９】逆ＶＬＣ部１６１は、符号化データから、
量子化ＤＣＴ係数のＶＬＣコードを分離するとともに、
量子化ステップ、動きベクトル、その他の復号制御情報
を分離する。そして、逆ＶＬＣ部１６１は、量子化ＤＣ
Ｔ係数のＶＬＣコードを逆ＶＬＣ処理することで、量子
化ＤＣＴ係数に復号し、逆量子化部１６２に供給する。
さらに、逆ＶＬＣ部１６１は、量子化ステップを、逆量
子化部１６２に、動きベクトルを、動き補償部１６６
に、それぞれ供給する。

【０２６０】逆量子化部１６２は、逆ＶＬＣ部１６１か
ら供給される量子化ＤＣＴ係数を、同じく逆ＶＬＣ部１
６１から供給される量子化ステップで逆量子化し、その
結果得られる８×８画素のブロックのＤＣＴ係数を、演
算部１６３に供給する。

【０２６１】一方、ＭＰＥＧデコーダ１６４では、符号
化データが、ＭＰＥＧ方式で復号され、復号画像データ
が出力される。ＭＰＥＧデコーダ１６４が出力する復号
画像のうち、参照画像とされ得るＩピクチャとＰピクチ
ャは、メモリ１６５に供給されて記憶される。

【０２６２】そして、動き補償部１６６は、メモリ１６
５に記憶された復号画像を参照画像として読み出し、そ
の参照画像に対して、逆ＶＬＣ部１６１から供給される
動きベクトルにしたがい、動き補償を施すことで、逆量
子化部１６２から演算部１６３に供給されたブロックの
予測画像を生成し、ＤＣＴ変換部１６７に供給する。Ｄ
ＣＴ変換部１６７は、動き補償部１６６から供給される
予測画像をＤＣＴ変換し、その結果得られるＤＣＴ係数
を、演算部１６３に供給する。

【０２６３】演算部１６３は、逆量子化部１６２から供
給されるブロックの各ＤＣＴ係数と、ＤＣＴ変換部１６
７から供給される、対応するＤＣＴ係数とを、必要に応
じて加算することで、そのブロックの画素値をＤＣＴ変
換したＤＣＴ係数を求める。

【０２６４】即ち、逆量子化部１６２から供給されるブ
ロックがイントラ符号化されているものである場合、逆
量子化部１６２から供給されるブロックのＤＣＴ係数
は、元の画素値をＤＣＴ変換したものとなっているか
ら、演算部１６３は、逆量子化部１６２から供給される
ブロックのＤＣＴ係数を、そのまま出力する。

【０２６５】また、逆量子化部１６２から供給されるブ
ロックがノンイントラ符号化されているものである場
合、逆量子化部１６２から供給されるブロックのＤＣＴ
係数は、元の画素値と予測画像との差分値（残差画像）
をＤＣＴ変換したものとなっているから、演算部１６３
は、逆量子化部１６２から供給されるブロックの各ＤＣ
Ｔ係数と、ＤＣＴ変換部１６７から供給される、予測画
像をＤＣＴ変換して得られるＤＣＴ係数の対応するもの
とを加算することにより、元の画素値をＤＣＴ変換して
得られるＤＣＴ係数を求めて出力する。

【０２６６】演算部１６３が出力するブロックのＤＣＴ
係数は、前処理データとして、クラス分類適応処理部３
２に供給される。

【０２６７】図２１の実施の形態では、クラス分類適応
処理部３２において、前処理部３１が出力するＤＣＴ係
数を対象に、クラス分類適応処理が行われ、これによ
り、高画質画像データ（の予測値）が、適応処理データ
として求められる。

【０２６８】即ち、クラス分類適応処理部３２（図９）
では、前処理部３１が出力するＤＣＴ係数が、タップ抽
出部５１と５２に供給される。

【０２６９】タップ抽出部５１は、まだ、注目データと
していない高画質画像データの画素を注目データとし
て、その注目データを予測するのに用いる前処理データ
としてのＤＣＴ係数の幾つかを、予測タップとして抽出
する。タップ抽出部５２も、注目データをクラス分類す
るのに用いる前処理データとしてのＤＣＴ係数の幾つか
を、クラスタップとして抽出する。

【０２７０】なお、タップ抽出部５１または５２は、注
目データについてのミスマッチ情報に基づいて、予測タ
ップまたはクラスタップのタップ構造を、それぞれ変更
する。

【０２７１】即ち、タップ抽出部５１は、例えば、注目
データのブロック（注目ブロック）のＤＣＴ係数すべて
の他、注目ブロックの上下左右それぞれに隣接するブロ
ックにおける必要なＤＣＴ係数を、ミスマッチ情報に応
じて抽出して、予測タップを構成する。タップ抽出部５
１も、タップ抽出部５１と同様にして、クラスタップを
構成する。

【０２７２】そして、タップ抽出部５１で得られた予測
タップは、予測部５４に供給され、タップ抽出部５２で
得られたクラスタップは、クラス分類部５３に供給され
る。

【０２７３】クラス分類部５３では、クラスタップと、
注目データについてのミスマッチ情報に基づき、図１３
で説明した場合と同様にして、注目データがクラス分類
され、注目データについてのクラスコードが、係数メモ
リ４１に供給される。係数メモリ４１では、注目データ
についてのクラスコードに対応するタップ係数が読み出
され、予測部５４に供給される。

【０２７４】予測部５４は、係数メモリ４１から供給さ
れるタップ係数を取得し、そのタップ係数と、タップ抽
出部５１が出力する予測タップとを用いて、式（１）に
示した線形予測演算を行う。これにより、予測部５４
は、注目データ（の予測値）、即ち、高画質画像データ
を求め、後処理部３３に供給する。

【０２７５】後処理部３３では、クラス分類適応処理部
３２からの高画質画像データが、そのまま出力される。

【０２７６】従って、図２１の実施の形態では、クラス
分類適応処理部３２において、ＤＣＴ係数が高画質画像
データに変換される。

【０２７７】次に、図２２は、図２１の復号装置の係数
メモリ４１に記憶させるタップ係数を学習する場合の、
図１１の学習装置の詳細構成例を示している。なお、図
中、図１９における場合と対応する部分については、同
一の符号を付してあり、以下では、その説明は、適宜省
略する。

【０２７８】図２２の実施の形態では、前処理部６３Ｂ
が、逆ＶＬＣ部１７１、逆量子化部１７２、演算部１７
３、ＭＰＥＧデコーダ１７４、メモリ１７５、動き補償
部１７６、およびＤＣＴ変換部１７７で構成されてお
り、これらの逆ＶＬＣ部１７１乃至ＤＣＴ変換部１７７
は、図２１の逆ＶＬＣ部１６１乃至ＤＣＴ変換部１６７
とそれぞれ同様に構成されている。

【０２７９】従って、前処理部６３Ｂでは、符号化部６
３ＡのＭＰＥＧエンコーダ１３７が出力する符号化デー
タに対して、図２１の前処理部３１における場合と同様
の処理が施され、これにより得られるＤＣＴ係数が、生
徒データとして、適応学習部６０に供給される。

【０２８０】適応学習部６０（図１１）では、生徒デー
タ記憶部６４において、前処理部６３Ｂから供給される
ＤＣＴ係数が、生徒データとして記憶され、図１９で説
明した場合と同様に、教師データおよび生徒データを用
い、生徒データから抽出される予測タップから、式
（１）の線形予測演算を行うことにより得られる教師デ
ータの予測値の予測誤差を統計的に最小にするタップ係
数を求める学習が行われ、これにより、生徒データとし
てのＤＣＴ係数を、高画質画像データに変換するクラス
ごとのタップ係数が求められる。

【０２８１】但し、図２２の実施の形態において、適応
学習部６０（図１１）では、そのタップ抽出部６５また
は６６それぞれにおいて、図２１のクラス分類適応処理
部３２（図９）におけるタップ抽出部５１または５２が
構成するのと同一のタップ構造の予測タップまたはクラ
スタップが、ミスマッチ情報に基づいて構成される。さ
らに、図２２の適応学習部６０（図１１）におけるクラ
ス分類部６７でも、図２１のクラス分類適応処理部３２
（図９）におけるクラス分類部５３と同様のクラス分類
が行われる。

【０２８２】次に、図２３は、符号化データが画像デー
タをＭＰＥＧ２方式で符号化したものである場合の、図
６の復号装置の第３の詳細構成例を示している。なお、
図中、図２１における場合と対応する部分については、
同一の符号を付してあり、以下では、その説明は、適宜
省略する。

【０２８３】図２３の復号装置は、後処理部３３が、逆
ＤＣＴ変換部１８１で構成されていることを除いて、図
２１における場合と同様に構成されている。

【０２８４】図２３の実施の形態では、クラス分類適応
処理部３２において、前処理部３１が出力するＤＣＴ係
数を対象に、クラス分類適応処理が行われ、これによ
り、逆ＤＣＴ変換を行った場合に、高画質画像データを
得ることのできるＤＣＴ係数（以下、適宜、高画質ＤＣ
Ｔ係数という）（の予測値）が、適応処理データとして
求められる。

【０２８５】即ち、クラス分類適応処理部３２（図９）
では、前処理部３１が出力する前処理データとしてのＤ
ＣＴ係数が、タップ抽出部５１と５２に供給される。

【０２８６】タップ抽出部５１は、まだ、注目データと
していない高画質ＤＣＴ係数を注目データとして、その
注目データを予測するのに用いる前処理データとしての
ＤＣＴ係数の幾つかを、予測タップとして抽出する。即
ち、タップ抽出部５１は、ミスマッチ情報に基づき、注
目データについて、例えば、図２１における場合と同様
のタップ構造の予測タップを構成する。タップ抽出部５
２も、ミスマッチ情報に基づき、注目データについて、
例えば、図２１における場合と同様のタップ構造のクラ
スタップを構成する。

【０２８７】そして、タップ抽出部５１で得られた予測
タップは、予測部５４に供給され、タップ抽出部５２で
得られたクラスタップは、クラス分類部５３に供給され
る。

【０２８８】クラス分類部５３では、クラスタップと、
注目データについてのミスマッチ情報に基づき、図２１
における場合と同様にして、注目データがクラス分類さ
れ、注目データについてのクラスコードが、係数メモリ
４１に供給される。係数メモリ４１では、注目データに
ついてのクラスコードに対応するタップ係数が読み出さ
れ、予測部５４に供給される。

【０２８９】予測部５４は、係数メモリ４１が出力する
タップ係数を取得し、そのタップ係数と、タップ抽出部
５１が出力する予測タップとを用いて、式（１）に示し
た線形予測演算を行う。これにより、予測部５４は、注
目データ（の予測値）、即ち、高画質ＤＣＴ係数を求
め、後処理部３３に供給する。

【０２９０】後処理部３３では、逆ＤＣＴ変換部１８１
において、クラス分類適応処理部３２が出力する高画質
ＤＣＴ係数が、ブロック単位で逆ＤＣＴ変換され、これ
により、高画質画像データが求められて出力される。

【０２９１】次に、図２４は、図２３の復号装置の係数
メモリ４１に記憶させるタップ係数を学習する場合の、
図１１の学習装置の詳細構成例を示している。なお、図
中、図２２における場合と対応する部分については、同
一の符号を付してあり、以下では、その説明は、適宜省
略する。

【０２９２】図２４の学習装置は、逆後処理部６１Ａ
が、ＤＣＴ変換部１９１で構成されていることを除い
て、図２２における場合と同様に構成されている。

【０２９３】従って、逆後処理部６１Ａでは、ＤＣＴ変
換部１９１において、学習用データ記憶部１１から読み
出された学習用画像データとしての高画質画像データ
が、ブロック単位でＤＣＴ変換され、その結果得られる
ＤＣＴ係数である高画質ＤＣＴ係数が、教師データとし
て、適応学習部６０に供給される。

【０２９４】適応学習部６０（図１１）では、教師デー
タ記憶部６２において、逆後処理部６１Ａから供給され
る高画質ＤＣＴ係数が、教師データとして記憶され、そ
の教師データと、生徒データ記憶部６４に記憶された生
徒データとしてのＤＣＴ係数（このＤＣＴ係数は、画像
データをＭＰＥＧ符号化した符号化データから得たも
の）とを用い、生徒データから抽出される予測タップか
ら、式（１）の線形予測演算を行うことにより得られる
教師データの予測値の予測誤差を統計的に最小にするタ
ップ係数を求める学習が行われ、これにより、生徒デー
タとしてのＤＣＴ係数を、高画質ＤＣＴ係数に変換する
クラスごとのタップ係数が求められる。

【０２９５】即ち、いまの場合、生徒データされている
ＤＣＴ係数は、前処理部６３Ｂにおいて、符号化データ
から求められたものであり、量子化誤差を含んでいるた
め、そのＤＣＴ係数を逆ＤＣＴ変換して得られる画像
は、いわゆるブロック歪み等を有する低画質のものとな
る。

【０２９６】そこで、適応学習部６０では、上述のよう
に、式（１）の線形予測演算を行うことにより得られる
教師データ（学習用画像データをＤＣＴ変換して得られ
る高画質ＤＣＴ係数）の予測値の予測誤差を統計的に最
小にするタップ係数を求める学習が行われることによ
り、生徒データされているＤＣＴ係数を、高画質ＤＣＴ
係数に変換するクラスごとのタップ係数が求められる。

【０２９７】なお、図２４の実施の形態において、適応
学習部６０（図１１）では、そのタップ抽出部６５また
は６６それぞれにおいて、図２３のクラス分類適応処理
部３２（図９）におけるタップ抽出部５１または５２が
構成するのと同一のタップ構造の予測タップまたはクラ
スタップが、ミスマッチ情報に基づいて構成される。さ
らに、図２４の適応学習部６０（図１１）におけるクラ
ス分類部６７でも、図２３のクラス分類適応処理部３２
（図９）におけるクラス分類部５３と同様のクラス分類
が行われる。

【０２９８】以上のように、符号化データに含まれる復
号制御情報の正しさを判定し、その判定結果を表すミス
マッチ情報に基づいて、符号化データの復号、およびそ
の復号に用いるタップ係数の学習を行うようにしたの
で、学習においては、復号制御情報の正しさを考慮し
て、原画像に近い予測値を求めるためのタップ係数を求
めることができ、その結果、そのようなタップ係数を用
いて、符号化データの復号を行うことで、高画質の画像
を得ることが可能となる。

【０２９９】即ち、本実施の形態では、ＤＣＴタイプの
正しさを判定し、その判定結果を考慮して、タップ係数
の学習を行うようにしたので、ＭＰＥＧ２方式で復号す
れば、自然な動きになる部分については、その部分を、
原画像に近い予測値に復号するためのタップ係数を得る
ことができる他、ＭＰＥＧ２方式で復号すれば、不自然
な動きになる部分についても、その部分を、原画像に近
い予測値に復号するためのタップ係数を得ることができ
る。そして、そのようなタップ係数を用い、やはり、Ｄ
ＣＴタイプの正しさを考慮して、符号化データの復号を
行うことにより、高画質の画像を得ることができる。

【０３００】次に、上述した一連の処理は、ハードウェ
アにより行うこともできるし、ソフトウェアにより行う
こともできる。一連の処理をソフトウェアによって行う
場合には、そのソフトウェアを構成するプログラムが、
汎用のコンピュータ等にインストールされる。

【０３０１】そこで、図２５は、上述した一連の処理を
実行するプログラムがインストールされるコンピュータ
の一実施の形態の構成例を示している。

【０３０２】プログラムは、コンピュータに内蔵されて
いる記録媒体としてのハードディスク４０５やＲＯＭ４
０３に予め記録しておくことができる。

【０３０３】あるいはまた、プログラムは、フレキシブ
ルディスク、CD-ROM(Compact DiscRead Only Memory)，
MO(Magneto Optical)ディスク，DVD(Digital Versatile
Disc)、磁気ディスク、半導体メモリなどのリムーバブ
ル記録媒体４１１に、一時的あるいは永続的に格納（記
録）しておくことができる。このようなリムーバブル記
録媒体４１１は、いわゆるパッケージソフトウエアとし
て提供することができる。

【０３０４】なお、プログラムは、上述したようなリム
ーバブル記録媒体４１１からコンピュータにインストー
ルする他、ダウンロードサイトから、ディジタル衛星放
送用の人工衛星を介して、コンピュータに無線で転送し
たり、LAN(Local Area Network)、インターネットとい
ったネットワークを介して、コンピュータに有線で転送
し、コンピュータでは、そのようにして転送されてくる
プログラムを、通信部４０８で受信し、内蔵するハード
ディスク４０５にインストールすることができる。

【０３０５】コンピュータは、CPU(Central Processing
Unit)４０２を内蔵している。CPU４０２には、バス４
０１を介して、入出力インタフェース４１０が接続され
ており、CPU４０２は、入出力インタフェース４１０を
介して、ユーザによって、キーボードや、マウス、マイ
ク等で構成される入力部４０７が操作等されることによ
り指令が入力されると、それにしたがって、ROM(Read O
nly Memory)４０３に格納されているプログラムを実行
する。あるいは、また、CPU４０２は、ハードディスク
４０５に格納されているプログラム、衛星若しくはネッ
トワークから転送され、通信部４０８で受信されてハー
ドディスク４０５にインストールされたプログラム、ま
たはドライブ４０９に装着されたリムーバブル記録媒体
４１１から読み出されてハードディスク４０５にインス
トールされたプログラムを、RAM(Random Access Memor
y)４０４にロードして実行する。これにより、CPU４０
２は、上述したフローチャートにしたがった処理、ある
いは上述したブロック図の構成により行われる処理を行
う。そして、CPU４０２は、その処理結果を、必要に応
じて、例えば、入出力インタフェース４１０を介して、
LCD(Liquid CryStal Display)やスピーカ等で構成され
る出力部４０６から出力、あるいは、通信部４０８から
送信、さらには、ハードディスク４０５に記録等させ
る。

【０３０６】ここで、本明細書において、コンピュータ
に各種の処理を行わせるためのプログラムを記述する処
理ステップは、必ずしもフローチャートとして記載され
た順序に沿って時系列に処理する必要はなく、並列的あ
るいは個別に実行される処理（例えば、並列処理あるい
はオブジェクトによる処理）も含むものである。

【０３０７】また、プログラムは、１のコンピュータに
より処理されるものであっても良いし、複数のコンピュ
ータによって分散処理されるものであっても良い。さら
に、プログラムは、遠方のコンピュータに転送されて実
行されるものであっても良い。

【０３０８】なお、本実施の形態では、画像データをＭ
ＰＥＧ２方式で符号化した場合について説明したが、本
発明は、ＭＰＥＧ２方式に限定されるものではなく、そ
の他の非可逆圧縮方式で符号化された画像を復号する場
合に適用可能である。

【０３０９】また、本実施の形態では、符号化データに
含まれる複数の復号制御情報のうちの１つであるＤＣＴ
タイプの正しさ（適切さ）を、その複数の復号制御情報
のうちの他の１つである動きベクトルに基づいて判定
し、その判定結果を表すミスマッチ情報に基づいて、符
号化データの復号およびタップ係数の学習を行うように
したが、その他、符号化データに含まれる複数の復号制
御情報のうちのＤＣＴタイプ以外の正しさ（適切さ）
を、その複数の復号制御情報のうちの他の１以上に基づ
いて判定し、その判定結果を表すミスマッチ情報に基づ
いて、符号化データの復号およびタップ係数の学習を行
うようにすることが可能である。

【０３１０】

【発明の効果】本発明の復号装置および復号方法、並び
に第１のプログラムおよび第１の記録媒体によれば、符
号化データに含まれる第１の復号制御情報の正しさが、
その符号化データに含まれる第２の復号制御情報に基づ
いて判定され、その判定結果を表すミスマッチ情報が出
力される。そして、そのミスマッチ情報に基づいて、符
号化データが復号される。従って、符号化データを、高
画質の画像データに復号することが可能となる。

【０３１１】本発明の学習装置および学習方法、並びに
第２のプログラムおよび第２の記録媒体によれば、学習
用の画像データから、タップ係数の学習の教師となる教
師データが生成されるとともに、生徒となる生徒データ
が生成される。また、学習用の画像データが符号化さ
れ、複数の復号制御情報を含む学習用の符号化データが
出力される。そして、学習用の符号化データに含まれる
第１の復号制御情報の正しさが、その学習用の符号化デ
ータに含まれる第２の復号制御情報に基づいて判定さ
れ、その判定結果を表すミスマッチ情報が出力される。
さらに、そのミスマッチ情報に基づき、教師データと生
徒データを用いて、タップ係数の学習が行われる。従っ
て、そのタップ係数により、符号化データを、高画質の
画像データに復号することが可能となる。

【図面の簡単な説明】

【図１】本発明を適用した復号装置の一実施の形態の構
成例を示すブロック図である。

【図２】復号装置の処理を説明するフローチャートであ
る。

【図３】本発明を適用した復号装置の他の一実施の形態
の構成例を示すブロック図である。

【図４】本発明を適用した学習装置の一実施の形態の構
成例を示すブロック図である。

【図５】学習装置の処理を説明するフローチャートであ
る。

【図６】本発明を適用した復号装置のより詳細な構成例
を示すブロック図である。

【図７】フレームＤＣＴモードとフィールドＤＣＴモー
ドを説明する図である。

【図８】動き物体が表示されたマクロブロックを、フレ
ームＤＣＴモードとフィールドＤＣＴモードで符号化し
た場合の復号画像を模式的に示す図である。

【図９】クラス分類適応処理部３２の構成例を示すブロ
ック図である。

【図１０】復号装置の処理を説明するフローチャートで
ある。

【図１１】本発明を適用した学習装置のより詳細な構成
例を示すブロック図である。

【図１２】学習装置の処理を説明するフローチャートで
ある。

【図１３】ＭＰＥＧ方式で符号化された符号化データを
復号する復号装置の第１の構成例を示すブロック図であ
る。

【図１４】ＭＰＥＧデコーダ１１６の構成例を示すブロ
ック図である。

【図１５】ミスマッチ情報生成部１１５の処理を説明す
るフローチャートである。

【図１６】動き物体が表示されたマクロブロックを、フ
レームＤＣＴモードとフィールドＤＣＴモードで符号化
した場合の復号画像を模式的に示す図である。

【図１７】タップ構造設定テーブルを示す図である。

【図１８】パターンＡ乃至Ｄのタップ構造を示す図であ
る。

【図１９】ＭＰＥＧ方式で符号化された符号化データを
復号するのに用いられるタップ係数を学習する学習装置
の第１の構成例を示すブロック図である。

【図２０】ＭＰＥＧエンコーダ１３１の構成例を示すブ
ロック図である。

【図２１】ＭＰＥＧ方式で符号化された符号化データを
復号する復号装置の第２の構成例を示すブロック図であ
る。

【図２２】ＭＰＥＧ方式で符号化された符号化データを
復号するのに用いられるタップ係数を学習する学習装置
の第２の構成例を示すブロック図である。

【図２３】ＭＰＥＧ方式で符号化された符号化データを
復号する復号装置の第３の構成例を示すブロック図であ
る。

【図２４】ＭＰＥＧ方式で符号化された符号化データを
復号するのに用いられるタップ係数を学習する学習装置
の第３の構成例を示すブロック図である。

【図２５】本発明を適用したコンピュータの一実施の形
態の構成例を示すブロック図である。

【符号の説明】

１ミスマッチ検出部，２復号処理部，３パラ
メータ記憶部，１１学習用データ記憶部，１２符
号化部，１３ミスマッチ検出部，１４学習処理
部，２１復号制御情報抽出部，２２判定部，
３１前処理部，３２クラス分類適応処理部，３
３後処理部，４１係数メモリ，５１，５２タッ
プ抽出部，５３クラス分類部，５４予測部，
６０適応学習部，６１教師データ生成部，６１Ａ
逆後処理部，６２教師データ記憶部，６３生
徒データ生成部，６３Ａ符号化部，６３Ｂ前処理
部，６４生徒データ記憶部，６５，６６タップ
抽出部，６７クラス分類部，６８足し込み部，
６９タップ係数算出部，７１復号制御情報抽出
部，７２判定部，１１１逆ＶＬＣ部，１１２
フィールド／フレーム判定部，１１３イントラ／
ノンイントラ判定部，１１４静動判定部，１１５
ミスマッチ情報生成部，１１６ＭＰＥＧデコー
ダ，１２１逆ＶＬＣ部，１２２逆量子化部，１
２３逆ＤＣＴ変換部，１２４演算部，１２５
動き補償部，１２６メモリ，１２７ピクチャ選
択部，１３１ＭＰＥＧエンコーダ，１３２逆Ｖ
ＬＣ部，１３３フィールド／フレーム判定部，１
３４イントラ／ノンイントラ判定部，１３５静動
判定部，１３６ミスマッチ情報生成部，１３７
ＭＰＥＧエンコーダ，１３８ＭＰＥＧデコーダ，
１４１動きベクトル検出部，１４２動き補償部，
１４３演算部，１４４ＤＣＴ変換部，１４５
量子化部，１４６ＶＬＣ部，１４７逆量子化
部，１４８逆ＤＣＴ変換部，１４９演算部，１
５０メモリ，１６１逆ＶＬＣ部，１６２逆量
子化部，１６３演算部，１６４ＭＰＥＧデコー
ダ，１６５メモリ，１６６動き補償部，１６７
ＤＣＴ変換部，１７１逆ＶＬＣ部，１７２逆
量子化部，１７３演算部，１７４ＭＰＥＧデコ
ーダ，１７５メモリ，１７６動き補償部，１７
７ＤＣＴ変換部，１８１逆ＤＣＴ変換部，１９
１ＤＣＴ変換部，４０１バス，４０２ CP
U，４０３ ROM，４０４ RAM，４０５ハード
ディスク，４０６出力部，４０７入力部，４０
８通信部，４０９ドライブ，４１０入出力イ
ンタフェース，４１１リムーバブル記録媒体

───────────────────────────────────────────────────── フロントページの続き (72)発明者西片丈晴東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者大塚秀樹東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者國弘威東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者森藤孝文東京都品川区北品川６丁目７番35号ソニー株式会社内Ｆターム(参考） 5C059 MA00 MA03 MA05 MA23 NN01 SS20 TA32 TB04 TC12 TD13 UA02 UA05 UA38 UA39 5J064 AA01 BA16 BB01 BB03 BB08 BC01 BC26 BD01

Claims

【特許請求の範囲】

【請求項１】画像データを符号化した符号化データで
あって、少なくとも、前記符号化データの復号を制御す
るための複数の復号制御情報を含む符号化データを復号
する復号装置において、前記符号化データに含まれる第１の復号制御情報の正し
さを、その符号化データに含まれる第２の復号制御情報
に基づいて判定し、その判定結果を表すミスマッチ情報
を出力する判定手段と、前記ミスマッチ情報に基づいて、前記符号化データを復
号する復号手段とを備えることを特徴とする復号装置。
【請求項２】前記符号化データは、前記画像データか
ら動きベクトルを検出し、その動きベクトルを用いて動
き補償を行うことにより予測画像を生成し、前記画像デ
ータと予測画像との差分を、所定のブロック単位で、フ
ィールドＤＣＴ(Discrete Cosine Transform)モードま
たはフレームＤＣＴモードによりＤＣＴ変換するノンイ
ントラ符号化を行うことにより得られるＤＣＴ係数を含
み、前記第１の復号制御情報は、前記画像データをＤＣＴ変
換したときのフィールドＤＣＴモードまたはフレームＤ
ＣＴモードを表すＤＣＴタイプであり、前記第２の復号制御情報は、前記画像データの動きベク
トルであることを特徴とする請求項１に記載の復号装
置。
【請求項３】前記判定手段は、前記動きベクトルに基づいて、前記ブロック単位の画像
データの動きの有無を判定し、前記ブロック単位の画像データに動きがある場合におい
て、そのブロックについてのＤＣＴタイプがフレームＤ
ＣＴモードであるとき、そのＤＣＴタイプが正しくない
と判定することを特徴とする請求項２に記載の復号装
置。
【請求項４】前記符号化データは、前記ブロック単位
の画像データを対象に、ノンイントラ符号化、または前
記予測画像を用いない符号化であるイントラ符号化を行
うことにより得られたものであり、前記判定手段は、イントラ符号化されたブロックについては、そのブロッ
クのフレームの前または後のフレームのブロックにおけ
る前記動きベクトルに基づいて、画像データの動きの有
無を判定し、ノンイントラ符号化されたブロックについては、そのブ
ロックにおける前記動きベクトルに基づいて、画像デー
タの動きの有無を判定することを特徴とする請求項３に
記載の復号装置。
【請求項５】前記復号手段は、前記符号化データを復号した復号データのうちの、注目
している注目復号データについて、その注目復号データ
を、複数のクラスのうちのいずれかのクラスにクラス分
類するのに用いるクラスタップを、前記符号化データか
ら抽出するクラスタップ抽出手段と、前記クラスタップに基づいて、前記注目復号データをク
ラス分類し、対応するクラスのクラスコードを出力する
クラス分類手段と、前記クラスごとの所定のタップ係数から、前記クラスコ
ードに対応するタップ係数を取得するタップ係数取得手
段と、前記注目復号データについて、前記タップ係数との所定
の予測演算に用いる予測タップを、前記符号化データか
ら抽出する予測タップ抽出手段と、前記予測タップ抽出手段が出力する予測タップと、前記
タップ係数取得手段において得られたタップ係数とを用
いて予測演算を行うことにより、前記注目復号データを
求める予測演算手段とを有することを特徴とする請求項
１に記載の復号装置。
【請求項６】前記クラスタップ抽出手段は、前記ミス
マッチ情報に基づき、前記符号化データから、クラスタ
ップを抽出することを特徴とする請求項５に記載の復号
装置。
【請求項７】前記クラス分類手段は、前記ミスマッチ
情報にも基づいて、前記注目復号データをクラス分類することを特徴とする
請求項５に記載の復号装置。
【請求項８】前記予測タップ抽出手段は、前記ミスマ
ッチ情報に基づき、前記符号化データから、予測タップ
を抽出することを特徴とする請求項５に記載の復号装
置。
【請求項９】前記符号化データは、画像データを、Ｍ
ＰＥＧ(Moving Picture Experts Group)方式によって符
号化することにより得られたものであることを特徴とす
る請求項１に記載の復号装置。
【請求項１０】前記復号手段は、前記符号化データを、ＭＰＥＧ方式にしたがって復号
し、ＭＰＥＧ復号データを出力するＭＰＥＧ復号手段
と、前記ＭＰＥＧ復号データを高品質化した高品質化データ
のうちの、注目している注目高品質化データについて、
その注目高品質化データを、複数のクラスのうちのいず
れかのクラスにクラス分類するのに用いるクラスタップ
を、前記ＭＰＥＧ復号データから抽出するクラスタップ
抽出手段と、前記クラスタップに基づいて、前記注目高品質化データ
をクラス分類し、対応するクラスのクラスコードを出力
するクラス分類手段と、前記クラスごとの所定のタップ係数から、前記クラスコ
ードに対応するタップ係数を取得するタップ係数取得手
段と、前記注目高品質化データについて、前記タップ係数との
所定の予測演算に用いる予測タップを、前記ＭＰＥＧ復
号データから抽出する予測タップ抽出手段と、前記予測タップ抽出手段が出力する予測タップと、前記
タップ係数取得手段において得られたタップ係数とを用
いて予測演算を行うことにより、前記注目高品質化デー
タを求める予測演算手段とを有することを特徴とする請
求項９に記載の復号装置。
【請求項１１】前記クラスタップ抽出手段は、前記ミ
スマッチ情報に基づき、前記ＭＰＥＧ復号データから、
クラスタップを抽出することを特徴とする請求項１０に
記載の復号装置。
【請求項１２】前記クラス分類手段は、前記ミスマッ
チ情報にも基づいて、前記注目復号データをクラス分類
することを特徴とする請求項１０に記載の復号装置。
【請求項１３】前記予測タップ抽出手段は、前記ミス
マッチ情報に基づき、前記ＭＰＥＧ復号データから、予
測タップを抽出することを特徴とする請求項１０に記載
の復号装置。
【請求項１４】前記クラスタップ抽出手段は、前記符
号化データからも、前記クラスタップを抽出することを
特徴とする請求項１０に記載の復号装置。
【請求項１５】前記予測タップ抽出手段は、前記符号
化データからも、前記予測タップを抽出することを特徴
とする請求項１０に記載の復号装置。
【請求項１６】前記復号手段は、前記符号化データから、画像データをＤＣＴ（Discrete
Cosine Transform）変換したＤＣＴ係数を取得するＤ
ＣＴ係数取得手段と、前記符号化データをＭＰＥＧ復号したＭＰＥＧ復号デー
タを高品質化した高品質化データのうちの、注目してい
る注目高品質化データについて、その注目高品質化デー
タを、複数のクラスのうちのいずれかのクラスにクラス
分類するのに用いるクラスタップを、前記ＤＣＴ係数か
ら抽出するクラスタップ抽出手段と、前記クラスタップに基づいて、前記注目高品質化データ
をクラス分類し、対応するクラスのクラスコードを出力
するクラス分類手段と、前記クラスごとの所定のタップ係数から、前記クラスコ
ードに対応するタップ係数を取得するタップ係数取得手
段と、前記注目高品質化データについて、前記タップ係数との
所定の予測演算に用いる予測タップを、前記ＤＣＴ係数
から抽出する予測タップ抽出手段と、前記予測タップ抽出手段が出力する予測タップと、前記
タップ係数取得手段において得られたタップ係数とを用
いて予測演算を行うことにより、前記注目高品質化デー
タを求める予測演算手段とを有することを特徴とする請
求項９に記載の復号装置。
【請求項１７】前記クラスタップ抽出手段は、前記ミ
スマッチ情報に基づき、前記ＤＣＴ係数から、クラスタ
ップを抽出することを特徴とする請求項１６に記載の復
号装置。
【請求項１８】前記クラス分類手段は、前記ミスマッ
チ情報にも基づいて、前記注目高品質化データをクラス
分類することを特徴とする請求項１６に記載の復号装
置。
【請求項１９】前記予測タップ抽出手段は、前記ミス
マッチ情報に基づき、前記ＤＣＴ係数から、予測タップ
を抽出することを特徴とする請求項１６に記載の復号装
置。
【請求項２０】前記クラスタップ抽出手段は、前記符
号化データからも、前記クラスタップを抽出することを
特徴とする請求項１６に記載の復号装置。
【請求項２１】前記予測タップ抽出手段は、前記符号
化データからも、前記予測タップを抽出することを特徴
とする請求項１６に記載の復号装置。
【請求項２２】前記復号手段は、前記符号化データから、画像データをＤＣＴ（Discrete
Cosine Transform）変換したＤＣＴ係数を取得するＤ
ＣＴ係数取得手段と、高品質の復号画像を求めるためのＤＣＴ係数である高品
質化ＤＣＴ係数のうちの、注目している注目高品質化Ｄ
ＣＴ係数について、その注目高品質化ＤＣＴ係数を、複
数のクラスのうちのいずれかのクラスにクラス分類する
のに用いるクラスタップを、前記ＤＣＴ係数取得手段に
おいて得られたＤＣＴ係数から抽出するクラスタップ抽
出手段と、前記クラスタップに基づいて、前記注目高品質化ＤＣＴ
係数をクラス分類し、対応するクラスのクラスコードを
出力するクラス分類手段と、前記クラスごとの所定のタップ係数から、前記クラスコ
ードに対応するタップ係数を取得するタップ係数取得手
段と、前記注目高品質化ＤＣＴ係数について、前記タップ係数
との所定の予測演算に用いる予測タップを、前記ＤＣＴ
係数取得手段において得られたＤＣＴ係数から抽出する
予測タップ抽出手段と、前記予測タップ抽出手段が出力する予測タップと、前記
タップ係数取得手段において得られたタップ係数とを用
いて予測演算を行うことにより、前記注目高品質化ＤＣ
Ｔ係数を求める予測演算手段と、前記高品質化ＤＣＴ係数を逆ＤＣＴ変換し、高品質の復
号画像を求める逆ＤＣＴ変換手段とを有することを特徴
とする請求項９に記載の復号装置。
【請求項２３】前記クラスタップ抽出手段は、前記ミ
スマッチ情報に基づき、前記ＤＣＴ係数から、クラスタ
ップを抽出することを特徴とする請求項２２に記載の復
号装置。
【請求項２４】前記クラス分類手段は、前記ミスマッ
チ情報にも基づいて、前記注目高品質化ＤＣＴ係数をク
ラス分類することを特徴とする請求項２２に記載の復号
装置。
【請求項２５】前記予測タップ抽出手段は、前記ミス
マッチ情報に基づき、前記ＤＣＴ係数から、予測タップ
を抽出することを特徴とする請求項２２に記載の復号装
置。
【請求項２６】前記クラスタップ抽出手段は、前記符
号化データからも、前記クラスタップを抽出することを
特徴とする請求項２２に記載の復号装置。
【請求項２７】前記予測タップ抽出手段は、前記符号
化データからも、前記予測タップを抽出することを特徴
とする請求項２２に記載の復号装置。
【請求項２８】画像データを符号化した符号化データ
であって、少なくとも、前記符号化データの復号を制御
するための複数の復号制御情報を含む符号化データを復
号する復号方法において、前記符号化データに含まれる第１の復号制御情報の正し
さを、その符号化データに含まれる第２の復号制御情報
に基づいて判定し、その判定結果を表すミスマッチ情報
を出力する判定ステップと、前記ミスマッチ情報に基づいて、前記符号化データを復
号する復号ステップとを備えることを特徴とする復号方
法。
【請求項２９】画像データを符号化した符号化データ
であって、少なくとも、前記符号化データの復号を制御
するための複数の復号制御情報を含む符号化データを復
号する復号処理を、コンピュータに行わせるプログラム
において、前記符号化データに含まれる第１の復号制御情報の正し
さを、その符号化データに含まれる第２の復号制御情報
に基づいて判定し、その判定結果を表すミスマッチ情報
を出力する判定ステップと、前記ミスマッチ情報に基づいて、前記符号化データを復
号する復号ステップとを備えることを特徴とするプログ
ラム。
【請求項３０】画像データを符号化した符号化データ
であって、少なくとも、前記符号化データの復号を制御
するための複数の復号制御情報を含む符号化データを復
号する復号処理を、コンピュータに行わせるプログラム
が記録されている記録媒体において、前記符号化データに含まれる第１の復号制御情報の正し
さを、その符号化データに含まれる第２の復号制御情報
に基づいて判定し、その判定結果を表すミスマッチ情報
を出力する判定ステップと、前記ミスマッチ情報に基づいて、前記符号化データを復
号する復号ステップとを備えるプログラムが記録されて
いることを特徴とする記録媒体。
【請求項３１】画像データを符号化した符号化データ
であって、少なくとも、前記符号化データの復号を制御
するための複数の復号制御情報を含む符号化データを復
号するのに用いられるタップ係数を学習する学習装置に
おいて、学習用の画像データから、前記タップ係数の学習の教師
となる教師データを生成して出力する教師データ生成手
段と、前記学習用の画像データから、前記タップ係数の学習の
生徒となる生徒データを生成して出力する生徒データ生
成手段と、前記学習用の画像データを符号化し、前記複数の復号制
御情報を含む学習用の符号化データを出力する符号化手
段と、前記学習用の符号化データに含まれる第１の復号制御情
報の正しさを、その学習用の符号化データに含まれる第
２の復号制御情報に基づいて判定し、その判定結果を表
すミスマッチ情報を出力する判定手段と、前記ミスマッチ情報に基づき、前記教師データと生徒デ
ータを用いて、前記タップ係数を学習する学習手段とを
備えることを特徴とする学習装置。
【請求項３２】前記符号化データは、前記画像データ
から動きベクトルを検出し、その動きベクトルを用いて
動き補償を行うことにより予測画像を生成し、前記画像
データと予測画像との差分を、所定のブロック単位で、
フィールドＤＣＴ(Discrete Cosine Transform)モード
またはフレームＤＣＴモードによりＤＣＴ変換するノン
イントラ符号化を行うことにより得られるＤＣＴ係数を
含み、前記第１の復号制御情報は、前記画像データをＤＣＴ変
換したときのフィールドＤＣＴモードまたはフレームＤ
ＣＴモードを表すＤＣＴタイプであり、前記第２の復号制御情報は、前記画像データの動きベク
トルであることを特徴とする請求項３１に記載の学習装
置。
【請求項３３】前記判定手段は、前記動きベクトルに基づいて、前記ブロック単位の画像
データの動きの有無を判定し、前記ブロック単位の画像データに動きがある場合におい
て、そのブロックについてのＤＣＴタイプがフレームＤ
ＣＴモードであるとき、そのＤＣＴタイプが正しくない
と判定することを特徴とする請求項３２に記載の学習装
置。
【請求項３４】前記符号化データは、前記ブロック単
位の画像データを対象に、ノンイントラ符号化、または
前記予測画像を用いない符号化であるイントラ符号化を
行うことにより得られたものであり、前記判定手段は、イントラ符号化されたブロックについては、そのブロッ
クのフレームの前または後のフレームのブロックにおけ
る前記動きベクトルに基づいて、画像データの動きの有
無を判定し、ノンイントラ符号化されたブロックについては、そのブ
ロックにおける前記動きベクトルに基づいて、画像デー
タの動きの有無を判定することを特徴とする請求項３３
に記載の学習装置。
【請求項３５】前記学習手段は、注目している前記教師データである注目教師データにつ
いて、その注目教師データを、複数のクラスのうちのい
ずれかのクラスにクラス分類するのに用いるクラスタッ
プを、前記生徒データから抽出するクラスタップ抽出手
段と、前記クラスタップに基づいて、前記注目教師データをク
ラス分類し、対応するクラスのクラスコードを出力する
クラス分類手段と、前記注目教師データについて、前記タップ係数との所定
の予測演算に用いる予測タップを、前記生徒データから
抽出する予測タップ抽出手段と、前記予測タップとタップ係数とを用いて予測演算を行う
ことにより得られる前記教師データの予測値の予測誤差
が統計的に最小になる前記タップ係数を、前記クラスご
とに求めるタップ係数演算手段とを有することを特徴と
する請求項３１に記載の学習装置。
【請求項３６】前記クラスタップ抽出手段は、前記ミ
スマッチ情報に基づき、前記生徒データから、クラスタ
ップを抽出することを特徴とする請求項３５に記載の学
習装置。
【請求項３７】前記クラス分類手段は、前記ミスマッ
チ情報にも基づいて、前記注目教師データをクラス分類
することを特徴とする請求項３５に記載の学習装置。
【請求項３８】前記予測タップ抽出手段は、前記ミス
マッチ情報に基づき、前記生徒データから、予測タップ
を抽出することを特徴とする請求項３５に記載の学習装
置。
【請求項３９】前記符号化手段は、学習用の画像デー
タを、ＭＰＥＧ(Moving Picture Experts Group)方式に
よって符号化して、前記学習用の符号化データを出力す
ることを特徴とする請求項３１に記載の学習装置。
【請求項４０】前記教師データ生成手段は、前記学習
用の画像データを、そのまま、前記教師データとして出
力し、前記生徒データ生成手段は、前記学習用の画像データ
を、ＭＰＥＧ方式によって符号化し、さらにＭＰＥＧ方
式によって復号して、その復号結果を、前記生徒データ
として出力し、前記学習手段は、注目している前記教師データである注目教師データにつ
いて、その注目教師データを、複数のクラスのうちのい
ずれかのクラスにクラス分類するのに用いるクラスタッ
プを、前記生徒データから抽出するクラスタップ抽出手
段と、前記クラスタップに基づいて、前記注目教師データをク
ラス分類し、対応するクラスのクラスコードを出力する
クラス分類手段と、前記注目教師データについて、前記タップ係数との所定
の予測演算に用いる予測タップを、前記生徒データから
抽出する予測タップ抽出手段と、前記予測タップとタップ係数とを用いて予測演算を行う
ことにより得られる前記教師データの予測値の予測誤差
が統計的に最小になる前記タップ係数を、前記クラスご
とに求めるタップ係数演算手段とを有することを特徴と
する請求項３９に記載の学習装置。
【請求項４１】前記クラスタップ抽出手段は、前記ミ
スマッチ情報に基づき、前記生徒データから、クラスタ
ップを抽出することを特徴とする請求項４０に記載の学
習装置。
【請求項４２】前記クラス分類手段は、前記ミスマッ
チ情報にも基づいて、前記注目教師データをクラス分類
することを特徴とする請求項４０に記載の学習装置。
【請求項４３】前記予測タップ抽出手段は、前記ミス
マッチ情報に基づき、前記生徒データから、予測タップ
を抽出することを特徴とする請求項４０に記載の学習装
置。
【請求項４４】前記クラスタップ抽出手段は、前記生
徒データ生成手段が前記学習用の画像データをＭＰＥＧ
方式によって符号化することにより得られる符号化デー
タからも、前記クラスタップを抽出することを特徴とす
る請求項４０に記載の学習装置。
【請求項４５】前記予測タップ抽出手段は、前記生徒
データ生成手段が前記学習用の画像データをＭＰＥＧ方
式によって符号化することにより得られる符号化データ
からも、前記予測タップを抽出することを特徴とする請
求項４０に記載の学習装置。
【請求項４６】前記教師データ生成手段は、前記学習
用の画像データを、そのまま、前記教師データとして出
力し、前記生徒データ生成手段は、前記学習用の画像データ
を、ＭＰＥＧ方式によって符号化して復号し、その結果
得られるＤＣＴ係数を、前記生徒データとして出力し、前記学習手段は、注目している前記教師データである注目教師データにつ
いて、その注目教師データを、複数のクラスのうちのい
ずれかのクラスにクラス分類するのに用いるクラスタッ
プを、前記生徒データから抽出するクラスタップ抽出手
段と、前記クラスタップに基づいて、前記注目教師データをク
ラス分類し、対応するクラスのクラスコードを出力する
クラス分類手段と、前記注目教師データについて、前記タップ係数との所定
の予測演算に用いる予測タップを、前記生徒データから
抽出する予測タップ抽出手段と、前記予測タップとタップ係数とを用いて予測演算を行う
ことにより得られる前記教師データの予測値の予測誤差
が統計的に最小になる前記タップ係数を、前記クラスご
とに求めるタップ係数演算手段とを有することを特徴と
する請求項３９に記載の学習装置。
【請求項４７】前記クラスタップ抽出手段は、前記ミ
スマッチ情報に基づき、前記生徒データから、クラスタ
ップを抽出することを特徴とする請求項４６に記載の学
習装置。
【請求項４８】前記クラス分類手段は、前記ミスマッ
チ情報にも基づいて、前記注目教師データをクラス分類
することを特徴とする請求項４６に記載の学習装置。
【請求項４９】前記予測タップ抽出手段は、前記ミス
マッチ情報に基づき、前記生徒データから、予測タップ
を抽出することを特徴とする請求項４６に記載の学習装
置。
【請求項５０】前記クラスタップ抽出手段は、前記生
徒データ生成手段が前記学習用の画像データをＭＰＥＧ
方式によって符号化することにより得られる符号化デー
タからも、前記クラスタップを抽出することを特徴とす
る請求項４６に記載の学習装置。
【請求項５１】前記予測タップ抽出手段は、前記生徒
データ生成手段が前記学習用の画像データをＭＰＥＧ方
式によって符号化することにより得られる符号化データ
からも、前記予測タップを抽出することを特徴とする請
求項４６に記載の学習装置。
【請求項５２】前記教師データ生成手段は、前記学習
用の画像データをＤＣＴ（Discrete Cosine Transfor
m）変換し、その結果得られるＤＣＴ係数を、前記教師
データとして出力し、前記生徒データ生成手段は、前記学習用の画像データ
を、ＭＰＥＧ方式によって符号化して復号し、その結果
得られるＤＣＴ係数を、前記生徒データとして出力し、前記学習手段は、注目している前記教師データである注目教師データにつ
いて、その注目教師データを、複数のクラスのうちのい
ずれかのクラスにクラス分類するのに用いるクラスタッ
プを、前記生徒データから抽出するクラスタップ抽出手
段と、前記クラスタップに基づいて、前記注目教師データをク
ラス分類し、対応するクラスのクラスコードを出力する
クラス分類手段と、前記注目教師データについて、前記タップ係数との所定
の予測演算に用いる予測タップを、前記生徒データから
抽出する予測タップ抽出手段と、前記予測タップとタップ係数とを用いて予測演算を行う
ことにより得られる前記教師データの予測値の予測誤差
が統計的に最小になる前記タップ係数を、前記クラスご
とに求めるタップ係数演算手段とを有することを特徴と
する請求項３９に記載の学習装置。
【請求項５３】前記クラスタップ抽出手段は、前記ミ
スマッチ情報に基づき、前記生徒データから、クラスタ
ップを抽出することを特徴とする請求項５２に記載の学
習装置。
【請求項５４】前記クラス分類手段は、前記ミスマッ
チ情報にも基づいて、前記注目教師データをクラス分類
することを特徴とする請求項５２に記載の学習装置。
【請求項５５】前記予測タップ抽出手段は、前記ミス
マッチ情報に基づき、前記生徒データから、予測タップ
を抽出することを特徴とする請求項５２に記載の学習装
置。
【請求項５６】前記クラスタップ抽出手段は、前記生
徒データ生成手段が前記学習用の画像データをＭＰＥＧ
方式によって符号化することにより得られる符号化デー
タからも、前記クラスタップを抽出することを特徴とす
る請求項５２に記載の学習装置。
【請求項５７】前記予測タップ抽出手段は、前記生徒
データ生成手段が前記学習用の画像データをＭＰＥＧ方
式によって符号化することにより得られる符号化データ
からも、前記予測タップを抽出することを特徴とする請
求項５２に記載の学習装置。
【請求項５８】画像データを符号化した符号化データ
であって、少なくとも、前記符号化データの復号を制御
するための複数の復号制御情報を含む符号化データを復
号するのに用いられるタップ係数を学習する学習方法に
おいて、学習用の画像データから、前記タップ係数の学習の教師
となる教師データを生成して出力する教師データ生成ス
テップと、前記学習用の画像データから、前記タップ係数の学習の
生徒となる生徒データを生成して出力する生徒データ生
成ステップと、前記学習用の画像データを符号化し、前記複数の復号制
御情報を含む学習用の符号化データを出力する符号化ス
テップと、前記学習用の符号化データに含まれる第１の復号制御情
報の正しさを、その学習用の符号化データに含まれる第
２の復号制御情報に基づいて判定し、その判定結果を表
すミスマッチ情報を出力する判定ステップと、前記ミスマッチ情報に基づき、前記教師データと生徒デ
ータを用いて、前記タップ係数を学習する学習ステップ
とを備えることを特徴とする学習方法。
【請求項５９】画像データを符号化した符号化データ
であって、少なくとも、前記符号化データの復号を制御
するための複数の復号制御情報を含む符号化データを復
号するのに用いられるタップ係数を学習する学習処理
を、コンピュータに行わせるプログラムにおいて、学習用の画像データから、前記タップ係数の学習の教師
となる教師データを生成して出力する教師データ生成ス
テップと、前記学習用の画像データから、前記タップ係数の学習の
生徒となる生徒データを生成して出力する生徒データ生
成ステップと、前記学習用の画像データを符号化し、前記複数の復号制
御情報を含む学習用の符号化データを出力する符号化ス
テップと、前記学習用の符号化データに含まれる第１の復号制御情
報の正しさを、その学習用の符号化データに含まれる第
２の復号制御情報に基づいて判定し、その判定結果を表
すミスマッチ情報を出力する判定ステップと、前記ミスマッチ情報に基づき、前記教師データと生徒デ
ータを用いて、前記タップ係数を学習する学習ステップ
とを備えることを特徴とするプログラム。
【請求項６０】画像データを符号化した符号化データ
であって、少なくとも、前記符号化データの復号を制御
するための複数の復号制御情報を含む符号化データを復
号するのに用いられるタップ係数を学習する学習処理
を、コンピュータに行わせるプログラムが記録されてい
る記録媒体において、学習用の画像データから、前記タップ係数の学習の教師
となる教師データを生成して出力する教師データ生成ス
テップと、前記学習用の画像データから、前記タップ係数の学習の
生徒となる生徒データを生成して出力する生徒データ生
成ステップと、前記学習用の画像データを符号化し、前記複数の復号制
御情報を含む学習用の符号化データを出力する符号化ス
テップと、前記学習用の符号化データに含まれる第１の復号制御情
報の正しさを、その学習用の符号化データに含まれる第
２の復号制御情報に基づいて判定し、その判定結果を表
すミスマッチ情報を出力する判定ステップと、前記ミスマッチ情報に基づき、前記教師データと生徒デ
ータを用いて、前記タップ係数を学習する学習ステップ
とを備えるプログラムが記録されていることを特徴とす
る記録媒体。