JP2001320277A - データ処理装置およびデータ処理方法、並びに記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 ＪＰＥＧ符号化されたデータを、効率的に復
号する。 【解決手段】 ＪＰＥＧ符号化されたデータは、エント
ロピー復号されることにより、量子化されたＤＣＴ係数
（量子化ＤＣＴ係数）とされ、予測タップ抽出回路４１
およびクラスタップ抽出回路４２に供給される。予測タ
ップ抽出回路４１とクラスタップ抽出回路４２は、量子
化ＤＣＴ係数から、必要なものを抽出し、予測タップと
クラスタップをそれぞれ構成する。クラス分類回路４３
は、クラスタップに基づいてクラス分類を行い、係数テ
ーブル記憶部４４は、クラス分類の結果得られるクラス
に対応するタップ係数を、積和演算回路４５に供給す
る。積和演算回路４５は、タップ係数とクラスタップと
を用いて、線形予測演算を行い、復号された画像データ
を得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、データ処理装置お
よびデータ処理方法、並びに記録媒体に関し、特に、例
えば、不可逆圧縮された画像等を復号する場合に用いて
好適なデータ処理装置およびデータ処理方法、並びに記
録媒体に関する。

【０００２】

【従来の技術】例えば、ディジタル画像データは、その
データ量が多いため、そのまま記録や伝送を行うには、
大容量の記録媒体や伝送媒体が必要となる。そこで、一
般には、画像データを圧縮符号化することにより、その
データ量を削減してから、記録や伝送が行われる。

【０００３】画像を圧縮符号化する方式としては、例え
ば、静止画の圧縮符号化方式であるＪＰＥＧ(Joint Pho
tographic Experts Group)方式や、動画の圧縮符号化方
式であるＭＰＥＧ(Moving Picture Experts Group)方式
等がある。

【０００４】例えば、ＪＰＥＧ方式による画像データの
符号化／復号は、図１に示すように行われる。

【０００５】即ち、図１（Ａ）は、従来のＪＰＥＧ符号
化装置の一例の構成を示している。

【０００６】符号化対象の画像データは、ブロック化回
路１に入力され、ブロック化回路１は、そこに入力され
る画像データを、８×８画素の６４画素でなるブロック
に分割する。ブロック化回路１で得られる各ブロック
は、ＤＣＴ(Discrete Cosine Transform)回路２に供給
される。ＤＣＴ回路２は、ブロック化回路１からのブロ
ックに対して、ＤＣＴ（離散コサイン変換）処理を施
し、１個のＤＣ(Direct Current)成分と、水平方向およ
び垂直方向についての６３個の周波数成分（ＡＣ(Alter
nating Current)成分）の、合計６４個のＤＣＴ係数に
変換する。各ブロックごとの６４個のＤＣＴ係数は、Ｄ
ＣＴ回路２から量子化回路３に供給される。

【０００７】量子化回路３は、所定の量子化テーブルに
したがって、ＤＣＴ回路２からのＤＣＴ係数を量子化
し、その量子化結果（以下、適宜、量子化ＤＣＴ係数と
いう）を、量子化に用いた量子化テーブルとともに、エ
ントロピー符号化回路４に供給する。

【０００８】ここで、図１（Ｂ）は、量子化回路３にお
いて用いられる量子化テーブルの例を示している。量子
化テーブルには、一般に、人間の視覚特性を考慮して、
重要性の高い低周波数のＤＣＴ係数は細かく量子化し、
重要性の低い高周波数のＤＣＴ係数は粗く量子化するよ
うな量子化ステップが設定されており、これにより、画
像の画質の劣化を抑えて、効率の良い圧縮が行われるよ
うになっている。

【０００９】エントロピー符号化回路４は、量子化回路
３からの量子化ＤＣＴ係数に対して、例えば、ハフマン
符号化等のエントロピー符号化処理を施して、量子化回
路３からの量子化テーブルを付加し、その結果得られる
符号化データを、ＪＰＥＧ符号化結果として出力する。

【００１０】次に、図１（Ｃ）は、図１（Ａ）のＪＰＥ
Ｇ符号化装置が出力する符号化データを復号する、従来
のＪＰＥＧ復号装置の一例の構成を示している。

【００１１】符号化データは、エントロピー復号回路１
１に入力され、エントロピー復号回路１１は、符号化デ
ータを、エントロピー符号化された量子化ＤＣＴ係数
と、量子化テーブルとに分離する。さらに、エントロピ
ー復号回路１１は、エントロピー符号化された量子化Ｄ
ＣＴ係数をエントロピー復号し、その結果得られる量子
化ＤＣＴ係数を、量子化テーブルとともに、逆量子化回
路１２に供給する。逆量子化回路１２は、エントロピー
復号回路１１からの量子化ＤＣＴ係数を、同じくエント
ロピー復号回路１１からの量子化テーブルにしたがって
逆量子化し、その結果得られるＤＣＴ係数を、逆ＤＣＴ
回路１３に供給する。逆ＤＣＴ回路１３は、逆量子化回
路１２からのＤＣＴ係数に、逆ＤＣＴ処理を施し、その
結果得られる８×８画素の復号ブロックを、ブロック分
解回路１４に供給する。ブロック分解回路１４は、逆Ｄ
ＣＴ回路１３からの復号ブロックのブロック化を解くこ
とで、復号画像を得て出力する。

【００１２】

【発明が解決しようとする課題】図１（Ａ）のＪＰＥＧ
符号化装置では、その量子化回路３において、ブロック
の量子化に用いる量子化テーブルの量子化ステップを大
きくすることにより、符号化データのデータ量を削減す
ることができる。即ち、高圧縮を実現することができ
る。

【００１３】しかしながら、量子化ステップを大きくす
ると、いわゆる量子化誤差も大きくなることから、図１
（Ｃ）のＪＰＥＧ復号装置で得られる復号画像の画質が
劣化する。即ち、復号画像には、ぼけや、ブロック歪
み、モスキートノイズ等が顕著に現れる。

【００１４】従って、符号化データのデータ量を削減し
ながら、復号画像の画質を劣化させないようにするに
は、あるいは、符号化データのデータ量を維持して、復
号画像の画質を向上させるには、ＪＰＥＧ復号した後
に、何らかの画質向上のための処理を行う必要がある。

【００１５】しかしながら、ＪＰＥＧ復号した後に、画
質向上のための処理を行うことは、処理が煩雑になり、
最終的に復号画像が得られるまでの時間も長くなる。

【００１６】本発明は、このような状況に鑑みてなされ
たものであり、ＪＰＥＧ符号化された画像等から、効率
的に、画質の良い復号画像を得ること等ができるように
するものである。

【００１７】

【課題を解決するための手段】本発明の第１のデータ処
理装置は、学習を行うことにより求められたタップ係数
を取得する取得手段と、タップ係数および変換データを
用いて、所定の予測演算を行うことにより、変換データ
を、元のデータに復号する復号手段とを備えることを特
徴とする。

【００１８】第１のデータ処理装置において、復号手段
には、タップ係数および変換データを用いて、線形１次
予測演算を行うことにより、変換データを、元のデータ
に復号させることができる。

【００１９】第１のデータ処理装置には、タップ係数を
記憶している記憶手段をさらに設けることができ、この
場合、取得手段には、記憶手段から、タップ係数を取得
させることができる。

【００２０】第１のデータ処理装置において、変換デー
タは、元のデータを、直交変換または周波数変換し、さ
らに量子化することにより得られたものとすることがで
きる。

【００２１】第１のデータ処理装置には、変換データ
を、逆量子化する逆量子化手段をさらに設けることがで
き、この場合、復号手段には、逆量子化された変換デー
タを、元のデータに復号させることができる。

【００２２】第１のデータ処理装置において、変換デー
タは、元のデータを、少なくとも、離散コサイン変換し
たものとすることができる。

【００２３】第１のデータ処理装置には、元のデータの
うちの、注目している注目データを予測するのにタップ
係数とともに用いる変換データを抽出し、予測タップと
して出力する予測タップ抽出手段をさらに設けることが
でき、この場合、復号手段には、予測タップおよびタッ
プ係数を用いて予測演算を行わせることができる。

【００２４】第１のデータ処理装置には、注目データ
を、幾つかのクラスのうちのいずれかにクラス分類する
のに用いる変換データを抽出し、クラスタップとして出
力するクラスタップ抽出手段と、クラスタップに基づい
て、注目データのクラスを求めるクラス分類を行うクラ
ス分類手段とをさらに設けることができ、この場合、復
号手段には、予測タップおよび注目データのクラスに対
応するタップ係数を用いて予測演算を行わせることがで
きる。

【００２５】第１のデータ処理装置において、変換デー
タは、元のデータを、所定の単位ごとに、少なくとも、
直交変換処理または周波数変換したものとすることがで
き、この場合、復号手段には、所定の単位ごとに、変換
データを、元のデータに復号させることができる。

【００２６】第１のデータ処理装置において、タップ係
数は、タップ係数および変換データを用いて、所定の予
測演算を行うことにより得られる元のデータの予測値の
予測誤差が、統計的に最小になるように、学習を行うこ
とにより得られたものとすることができる。

【００２７】第１のデータ処理装置において、元のデー
タは、動画または静止画のデータとすることができる。

【００２８】本発明の第１のデータ処理方法は、学習を
行うことにより求められたタップ係数を取得する取得ス
テップと、タップ係数および変換データを用いて、所定
の予測演算を行うことにより、変換データを、元のデー
タに復号する復号ステップとを備えることを特徴とす
る。

【００２９】本発明の第１の記録媒体は、学習を行うこ
とにより求められたタップ係数を取得する取得ステップ
と、タップ係数および変換データを用いて、所定の予測
演算を行うことにより、変換データを、元のデータに復
号する復号ステップとを備えるプログラムが記録されて
いることを特徴とする。

【００３０】本発明の第２のデータ処理装置は、教師と
なる教師データを、少なくとも、直交変換または周波数
変換することにより、生徒となる生徒データを生成する
生成手段と、タップ係数および生徒データを用いて予測
演算を行うことにより得られる教師データの予測値の予
測誤差が、統計的に最小になるように学習を行い、タッ
プ係数を求める学習手段とを備えることを特徴とする。

【００３１】第２のデータ処理装置において、学習手段
には、タップ係数および生徒データを用いて線形１次予
測演算を行うことにより得られる教師データの予測値の
予測誤差が、統計的に最小になるように学習を行わせる
ことができる。

【００３２】第２のデータ処理装置において、生成手段
には、教師データを、直交変換または周波数変換し、さ
らに量子化することにより、生徒データを生成させるこ
とができる。

【００３３】第２のデータ処理装置において、生成手段
には、教師データを、直交変換または周波数変換して量
子化し、さらに逆量子化することにより、生徒データを
生成させることができる。

【００３４】第２のデータ処理装置において、生成手段
には、教師データを、少なくとも、離散コサイン変換す
ることにより、生徒データを生成させることができる。

【００３５】第２のデータ処理装置には、教師データの
うちの、注目している注目教師データを予測するのにタ
ップ係数とともに用いる生徒データを抽出し、予測タッ
プとして出力する予測タップ抽出手段をさらに設けるこ
とができ、この場合、学習手段には、予測タップおよび
タップ係数を用いて予測演算を行うことにより得られる
教師データの予測値の予測誤差が、統計的に最小になる
ように学習を行わせることができる。

【００３６】第２のデータ処理装置には、注目教師デー
タを、幾つかのクラスのうちのいずれかにクラス分類す
るのに用いる生徒データを抽出し、クラスタップとして
出力するクラスタップ抽出手段と、クラスタップに基づ
いて、注目教師データのクラスを求めるクラス分類を行
うクラス分類手段とをさらに設けることができ、この場
合、学習手段には、予測タップおよび注目教師データの
クラスに対応するタップ係数を用いて予測演算を行うこ
とにより得られる教師データの予測値の予測誤差が、統
計的に最小になるように学習を行わせ、クラスごとのタ
ップ係数を求めさせることができる。

【００３７】第２のデータ処理装置において、生成手段
には、教師データを、所定の単位ごとに、少なくとも、
直交変換処理または周波数変換することにより、生徒デ
ータを生成させることができる。

【００３８】第２のデータ処理装置において、教師デー
タは、動画または静止画のデータとすることができる。

【００３９】本発明の第２のデータ処理方法は、教師と
なる教師データを、少なくとも、直交変換または周波数
変換することにより、生徒となる生徒データを生成する
生成ステップと、タップ係数および生徒データを用いて
予測演算を行うことにより得られる教師データの予測値
の予測誤差が、統計的に最小になるように学習を行い、
タップ係数を求める学習ステップとを備えることを特徴
とする。

【００４０】本発明の第２の記録媒体は、教師となる教
師データを、少なくとも、直交変換または周波数変換す
ることにより、生徒となる生徒データを生成する生成ス
テップと、タップ係数および生徒データを用いて予測演
算を行うことにより得られる教師データの予測値の予測
誤差が、統計的に最小になるように学習を行い、タップ
係数を求める学習ステップとを備えるプログラムが記録
されていることを特徴とする。

【００４１】本発明の第１のデータ処理装置およびデー
タ処理方法、並びに記録媒体においては、学習を行うこ
とにより求められたタップ係数が取得され、そのタップ
係数と、変換データとを用いて、所定の予測演算が行わ
れることにより、変換データが、元のデータに復号され
る。

【００４２】本発明の第２のデータ処理装置およびデー
タ処理方法、並びに記録媒体においては、教師となる教
師データを、少なくとも、直交変換または周波数変換す
ることにより、生徒となる生徒データが生成され、タッ
プ係数および生徒データを用いて予測演算を行うことに
より得られる教師データの予測値の予測誤差が、統計的
に最小になるように学習が行われることにより、タップ
係数が求められる。

【００４３】

【発明の実施の形態】図２は、本発明を適用した画像伝
送システムの一実施の形態の構成例を示している。

【００４４】伝送すべき画像データは、エンコーダ２１
に供給されるようになっており、エンコーダ２１は、そ
こに供給される画像データを、例えば、ＪＰＥＧ符号化
し、符号化データとする。即ち、エンコーダ２１は、例
えば、前述の図１（Ａ）に示したＪＰＥＧ符号化装置と
同様に構成されており、画像データをＪＰＥＧ符号化す
る。エンコーダ２１がＪＰＥＧ符号化を行うことにより
得られる符号化データは、例えば、半導体メモリ、光磁
気ディスク、磁気ディスク、光ディスク、磁気テープ、
相変化ディスクなどでなる記録媒体２３に記録され、あ
るいは、また、例えば、地上波、衛星回線、ＣＡＴＶ
（Cable Television）網、インターネット、公衆回線な
どでなる伝送媒体２４を介して伝送される。

【００４５】デコーダ２２は、記録媒体２３または伝送
媒体２４を介して提供される符号化データを受信して、
元の画像データに復号する。この復号化された画像デー
タは、例えば、図示せぬモニタに供給されて表示等され
る。

【００４６】次に、図３は、図２のデコーダ２２の構成
例を示している。

【００４７】符号化データは、エントロピー復号回路３
１に供給されるようになっており、エントロピー復号回
路３１は、符号化データを、エントロピー復号して、そ
の結果得られるブロックごとの量子化ＤＣＴ係数Ｑを、
係数変換回路３２に供給する。なお、符号化データに
は、図１（Ｃ）のエントロピー復号回路１１で説明した
場合と同様に、エントロピー符号化された量子化ＤＣＴ
係数の他、量子化テーブルも含まれるが、量子化テーブ
ルは、後述するように、必要に応じて、量子化ＤＣＴ係
数の復号に用いることが可能である。

【００４８】係数変換回路３２は、エントロピー復号回
路３１からの量子化ＤＣＴ係数Ｑと、後述する学習を行
うことにより求められるタップ係数を用いて、所定の予
測演算を行うことにより、ブロックごとの量子化ＤＣＴ
係数を、８×８画素の元のブロックに復号する。

【００４９】ブロック分解回路３３は、係数変換回路３
２において得られる、復号されたブロック（復号ブロッ
ク）のブロック化を解くことで、復号画像を得て出力す
る。

【００５０】次に、図４のフローチャートを参照して、
図３のデコーダ２２の処理について説明する。

【００５１】符号化データは、エントロピー復号回路３
１に順次供給され、ステップＳ１において、エントロピ
ー復号回路３１は、符号化データをエントロピー復号
し、ブロックごとの量子化ＤＣＴ係数Ｑを、係数変換回
路３２に供給する。係数変換回路３２は、ステップＳ２
において、エントロピー復号回路３１からのブロックご
との量子化ＤＣＴ係数Ｑを、タップ係数を用いた予測演
算を行うことにより、ブロックごとの画素値に復号し、
ブロック分解回路３３に供給する。ブロック分解回路３
３は、ステップＳ３において、係数変換回路３２からの
画素値のブロック（復号ブロック）のブロック化を解く
ブロック分解を行い、その結果得られる復号画像を出力
して、処理を終了する。

【００５２】次に、図３の係数変換回路３２では、例え
ば、クラス分類適応処理を利用して、量子化ＤＣＴ係数
を、画素値に復号することができる。

【００５３】クラス分類適応処理は、クラス分類処理と
適応処理とからなり、クラス分類処理によって、データ
を、その性質に基づいてクラス分けし、各クラスごとに
適応処理を施すものであり、適応処理は、以下のような
手法のものである。

【００５４】即ち、適応処理では、例えば、量子化ＤＣ
Ｔ係数と、所定のタップ係数との線形結合により、元の
画素の予測値を求めることで、量子化ＤＣＴ係数が、元
の画素値に復号される。

【００５５】具体的には、例えば、いま、ある画像を教
師データとするとともに、その画像を、ブロック単位で
ＤＣＴ処理し、さらに量子化して得られる量子化ＤＣＴ
係数を生徒データとして、教師データである画素の画素
値ｙの予測値Ｅ［ｙ］を、幾つかの量子化ＤＣＴ係数ｘ
₁，ｘ₂，・・・の集合と、所定のタップ係数ｗ₁，ｗ₂，
・・・の線形結合により規定される線形１次結合モデル
により求めることを考える。この場合、予測値Ｅ［ｙ］
は、次式で表すことができる。

【００５６】 Ｅ［ｙ］＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・ ・・・（１）

【００５７】式（１）を一般化するために、タップ係数
ｗ_jの集合でなる行列Ｗ、生徒データｘ_ijの集合でなる
行列Ｘ、および予測値Ｅ［ｙ_j］の集合でなる行列Ｙ’
を、

【数１】 で定義すると、次のような観測方程式が成立する。

【００５８】 ＸＷ＝Ｙ’ ・・・（２） ここで、行列Ｘの成分ｘ_ijは、ｉ件目の生徒データの集
合（ｉ件目の教師データｙ_iの予測に用いる生徒データ
の集合）の中のｊ番目の生徒データを意味し、行列Ｗの
成分ｗ_jは、生徒データの集合の中のｊ番目の生徒デー
タとの積が演算されるタップ係数を表す。また、ｙ
_iは、ｉ件目の教師データを表し、従って、Ｅ［ｙ_i］
は、ｉ件目の教師データの予測値を表す。なお、式
（１）の左辺におけるｙは、行列Ｙの成分ｙ_iのサフィ
ックスｉを省略したものであり、また、式（１）の右辺
におけるｘ₁，ｘ₂，・・・も、行列Ｘの成分ｘ_ijのサフ
ィックスｉを省略したものである。

【００５９】そして、この観測方程式に最小自乗法を適
用して、元の画素値ｙに近い予測値Ｅ［ｙ］を求めるこ
とを考える。この場合、教師データとなる真の画素値ｙ
の集合でなる行列Ｙ、および画素値ｙに対する予測値Ｅ
［ｙ］の残差ｅの集合でなる行列Ｅを、

【数２】 で定義すると、式（２）から、次のような残差方程式が
成立する。

【００６０】 ＸＷ＝Ｙ＋Ｅ ・・・（３）

【００６１】この場合、元の画素値ｙに近い予測値Ｅ
［ｙ］を求めるためのタップ係数ｗ_jは、自乗誤差

【数３】 を最小にすることで求めることができる。

【００６２】従って、上述の自乗誤差をタップ係数ｗ_j
で微分したものが０になる場合、即ち、次式を満たすタ
ップ係数ｗ_jが、元の画素値ｙに近い予測値Ｅ［ｙ］を
求めるため最適値ということになる。

【００６３】

【数４】 ・・・（４）

【００６４】そこで、まず、式（３）を、タップ係数ｗ
_jで微分することにより、次式が成立する。

【００６５】

【数５】 ・・・（５）

【００６６】式（４）および（５）より、式（６）が得
られる。

【００６７】

【数６】 ・・・（６）

【００６８】さらに、式（３）の残差方程式における生
徒データｘ_ij、タップ係数ｗ_j、教師データｙ_i、および
残差ｅ_iの関係を考慮すると、式（６）から、次のよう
な正規方程式を得ることができる。

【００６９】

【数７】 ・・・（７）

【００７０】なお、式（７）に示した正規方程式は、行
列（共分散行列）Ａおよびベクトルｖを、

【数８】 で定義するとともに、ベクトルＷを、数１で示したよう
に定義すると、式 ＡＷ＝ｖ ・・・（８） で表すことができる。

【００７１】式（７）における各正規方程式は、生徒デ
ータｘ_ijおよび教師データｙ_iのセットを、ある程度の
数だけ用意することで、求めるべきタップ係数ｗ_jの数
Ｊと同じ数だけたてることができ、従って、式（８）
を、ベクトルＷについて解くことで（但し、式（８）を
解くには、式（８）における行列Ａが正則である必要が
ある）、最適なタップ係数（ここでは、自乗誤差を最小
にするタップ係数）ｗ_jを求めることができる。なお、
式（８）を解くにあたっては、例えば、掃き出し法（Ga
uss-Jordanの消去法）などを用いることが可能である。

【００７２】以上のようにして、最適なタップ係数ｗ_j
を求めておき、さらに、そのタップ係数ｗ_jを用い、式
（１）により、元の画素値ｙに近い予測値Ｅ［ｙ］を求
めるのが適応処理である。

【００７３】なお、例えば、教師データとして、ＪＰＥ
Ｇ符号化する画像と同一画質の画像を用いるとともに、
生徒データとして、その教師データをＤＣＴおよび量子
化して得られる量子化ＤＣＴ係数を用いた場合、タップ
係数としては、ＪＰＥＧ符号化された画像データを、元
の画像データに復号するのに、予測誤差が、統計的に最
小となるものが得られることになる。

【００７４】従って、ＪＰＥＧ符号化を行う際の圧縮率
を高くしても、即ち、量子化に用いる量子化ステップを
粗くしても、適応処理によれば、予測誤差が、統計的に
最小となる復号処理が施されることになり、実質的に、
ＪＰＥＧ符号化された画像の復号処理と、その画質を向
上させるための処理とが、同時に施されることになる。
その結果、圧縮率を高くしても、復号画像の画質を維持
することができる。

【００７５】また、例えば、教師データとして、ＪＰＥ
Ｇ符号化する画像よりも高画質の画像を用いるととも
に、生徒データとして、その教師データの画質を、ＪＰ
ＥＧ符号化する画像と同一画質に劣化させ、さらに、Ｄ
ＣＴおよび量子化して得られる量子化ＤＣＴ係数を用い
た場合、タップ係数としては、ＪＰＥＧ符号化された画
像データを、高画質の画像データに復号するのに、予測
誤差が、統計的に最小となるものが得られることにな
る。

【００７６】従って、この場合、適応処理によれば、Ｊ
ＰＥＧ符号化された画像の復号処理と、その画質をより
向上させるための処理とが、同時に施されることにな
る。なお、上述したことから、教師データまたは生徒デ
ータとなる画像の画質を変えることで、復号画像の画質
を任意のレベルとするタップ係数を得ることができる。

【００７７】図５は、以上のようなクラス分類適応処理
により、量子化ＤＣＴ係数を画素値に復号する、図３の
係数変換回路３２の第１の構成例を示している。

【００７８】エントロピー復号回路３１（図３）が出力
するブロックごとの量子化ＤＣＴ係数は、予測タップ抽
出回路４１およびクラスタップ抽出回路４２に供給され
るようになっている。

【００７９】予測タップ抽出回路４１は、そこに供給さ
れる量子化ＤＣＴ係数のブロック（以下、適宜、ＤＣＴ
ブロックという）に対応する画素値のブロック（この画
素値のブロックは、現段階では存在しないが、仮想的に
想定される）（以下、適宜、画素ブロックという）を、
順次、注目画素ブロックとし、さらに、その注目画素ブ
ロックを構成する各画素を、例えば、いわゆるラスタス
キャン順に、順次、注目画素とする。さらに、予測タッ
プ抽出回路４１は、注目画素の画素値を予測するのに用
いる量子化ＤＣＴ係数を抽出し、予測タップとする。

【００８０】即ち、予測タップ抽出回路４１は、例え
ば、図６に示すように、注目画素が属する画素ブロック
に対応するＤＣＴブロックのすべての量子化ＤＣＴ係
数、即ち、８×８の６４個の量子化ＤＣＴ係数を、予測
タップとして抽出する。従って、本実施の形態では、あ
る画素ブロックのすべての画素について、同一の予測タ
ップが構成される。但し、予測タップは、注目画素ごと
に、異なる量子化ＤＣＴ係数で構成することが可能であ
る。

【００８１】予測タップ抽出回路４１において得られ
る、画素ブロックを構成する各画素についての予測タッ
プ、即ち、６４画素それぞれについての６４セットの予
測タップは、積和演算回路４５に供給される。但し、本
実施の形態では、上述したように、画素ブロックのすべ
ての画素について、同一の予測タップが構成されるの
で、実際には、１つの画素ブロックに対して、１セット
の予測タップを、積和演算回路４５に供給すれば良い。

【００８２】クラスタップ抽出回路４２は、注目画素
を、幾つかのクラスのうちのいずれかに分類するための
クラス分類に用いる量子化ＤＣＴ係数を抽出して、クラ
スタップとする。

【００８３】なお、ＪＰＥＧ符号化では、画像が、画素
ブロックごとに符号化（ＤＣＴ処理および量子化）され
ることから、ある画素ブロックに属する画素は、例え
ば、すべて同一のクラスにクラス分類することとする。
従って、クラスタップ抽出回路４２は、ある画素ブロッ
クの各画素については、同一のクラスタップを構成す
る。即ち、クラスタップ抽出回路４２は、例えば、予測
タップ抽出回路４１における場合と同様に、図６に示し
たような、注目画素が属する画素ブロックに対応するＤ
ＣＴブロックの８×８個のすべての量子化ＤＣＴ係数
を、クラスタップとして抽出する。

【００８４】ここで、画素ブロックに属する各画素を、
すべて同一のクラスにクラス分類するということは、そ
の画素ブロックをクラス分類することと等価である。従
って、クラスタップ抽出回路４２には、注目画素ブロッ
クを構成する６４画素それぞれをクラス分類するための
６４セットのクラスタップではなく、注目画素ブロック
をクラス分類するための１セットのクラスタップを構成
させれば良く、このため、クラスタップ抽出回路４２
は、画素ブロックごとに、その画素ブロックをクラス分
類するために、その画素ブロックに対応するＤＣＴブロ
ックの６４個の量子化ＤＣＴ係数を抽出して、クラスタ
ップとするようになっている。

【００８５】なお、予測タップやクラスタップを構成す
る量子化ＤＣＴ係数は、上述したパターンのものに限定
されるものではない。

【００８６】クラスタップ抽出回路４２において得られ
る、注目画素ブロックのクラスタップは、クラス分類回
路４３に供給されるようになっており、クラス分類回路
４３は、クラスタップ抽出回路４２からのクラスタップ
に基づき、注目画素ブロックをクラス分類し、その結果
得られるクラスに対応するクラスコードを出力する。

【００８７】ここで、クラス分類を行う方法としては、
例えば、ADRC(Adaptive Dynamic Range Coding)等を採
用することができる。

【００８８】ADRCを用いる方法では、クラスタップを構
成する量子化ＤＣＴ係数が、ADRC処理され、その結果得
られるADRCコードにしたがって、注目画素ブロックのク
ラスが決定される。

【００８９】なお、KビットADRCにおいては、例えば、
クラスタップを構成する量子化ＤＣＴ係数の最大値MAX
と最小値MINが検出され、DR=MAX-MINを、集合の局所的
なダイナミックレンジとし、このダイナミックレンジDR
に基づいて、クラスタップを構成する量子化ＤＣＴ係数
がKビットに再量子化される。即ち、クラスタップを構
成する量子化ＤＣＴ係数の中から、最小値MINが減算さ
れ、その減算値がDR/2^Kで除算（量子化）される。そし
て、以上のようにして得られる、クラスタップを構成す
るKビットの各量子化ＤＣＴ係数を、所定の順番で並べ
たビット列が、ADRCコードとして出力される。従って、
クラスタップが、例えば、１ビットADRC処理された場合
には、そのクラスタップを構成する各量子化ＤＣＴ係数
は、最小値MINが減算された後に、最大値MAXと最小値MI
Nとの平均値で除算され、これにより、各量子化ＤＣＴ
係数が１ビットとされる（２値化される）。そして、そ
の１ビットの量子化ＤＣＴ係数を所定の順番で並べたビ
ット列が、ADRCコードとして出力される。

【００９０】なお、クラス分類回路４３には、例えば、
クラスタップを構成する量子化ＤＣＴ係数のレベル分布
のパターンを、そのままクラスコードとして出力させる
ことも可能であるが、この場合、クラスタップが、Ｎ個
の量子化ＤＣＴ係数で構成され、各量子化ＤＣＴ係数
に、Ｋビットが割り当てられているとすると、クラス分
類回路４３が出力するクラスコードの場合の数は、（２
^N）^K通りとなり、量子化ＤＣＴ係数のビット数Ｋに指数
的に比例した膨大な数となる。

【００９１】従って、クラス分類回路４３においては、
クラスタップの情報量を、上述のADRC処理や、あるいは
ベクトル量子化等によって圧縮してから、クラス分類を
行うのが好ましい。

【００９２】ところで、本実施の形態では、クラスタッ
プは、上述したように、６４個の量子化ＤＣＴ係数で構
成される。従って、例えば、仮に、クラスタップを１ビ
ットADRC処理することにより、クラス分類を行うことと
しても、クラスコードの場合の数は、２⁶⁴通りという大
きな値となる。

【００９３】そこで、本実施の形態では、クラス分類回
路４３において、クラスタップを構成する量子化ＤＣＴ
係数から、重要性の高い特徴量を抽出し、その特徴量に
基づいてクラス分類を行うことで、クラス数を低減する
ようになっている。

【００９４】即ち、図７は、図５のクラス分類回路４３
の構成例を示している。

【００９５】クラスタップは、電力演算回路５１に供給
されるようになっており、電力演算回路５１は、クラス
タップを構成する量子化ＤＣＴ係数を、幾つかの空間周
波数帯域のものに分け、各周波数帯域の電力を演算す
る。

【００９６】即ち、電力演算回路５１は、クラスタップ
を構成する８×８個の量子化ＤＣＴ係数を、例えば、図
８に示すような４つの空間周波数帯域Ｓ₀，Ｓ₁，Ｓ₂，
Ｓ₃に分割する。

【００９７】ここで、クラスタップを構成する８×８個
の量子化ＤＣＴ係数それぞれを、アルファベットｘに、
図６に示したような、ラスタスキャン順に、０からのシ
ーケンシャルな整数を付して表すこととすると、空間周
波数帯域Ｓ₀は、４個の量子化ＤＣＴ係数ｘ₀，ｘ₁，
ｘ₈，ｘ₉から構成され、空間周波数帯域Ｓ₁は、１２個
の量子化ＤＣＴ係数ｘ₂，ｘ₃，ｘ₄，ｘ₅，ｘ₆，ｘ₇，ｘ
₁₀，ｘ₁₁，ｘ₁₂，ｘ₁₃，ｘ₁₄，ｘ₁₅から構成される。ま
た、空間周波数帯域Ｓ₂は、１２個の量子化ＤＣＴ係数
ｘ₁₆，ｘ₁₇，ｘ₂₄，ｘ₂₅，ｘ₃₂，ｘ₃₃，ｘ₄₀，ｘ₄₁，ｘ
₄₈，ｘ₄₉，ｘ₅₆，ｘ₅₇から構成され、空間周波数帯域Ｓ
₃は、３６個の量子化ＤＣＴ係数ｘ₁₈，ｘ_{1 9}，ｘ₂₀，ｘ
₂₁，ｘ₂₂，ｘ₂₃，ｘ₂₆，ｘ₂₇，ｘ₂₈，ｘ₂₉，ｘ₃₀，
ｘ₃₁，ｘ₃₄，ｘ_{3 5}，ｘ₃₆，ｘ₃₇，ｘ₃₈，ｘ₃₉，ｘ₄₂，ｘ
₄₃，ｘ₄₄，ｘ₄₅，ｘ₄₆，ｘ₄₇，ｘ₅₀，ｘ_{5 1}，ｘ₅₂，
ｘ₅₃，ｘ₅₄，ｘ₅₅，ｘ₅₈，ｘ₅₉，ｘ₆₀，ｘ₆₁，ｘ₆₂，ｘ
₆₃から構成される。

【００９８】さらに、電力演算回路５１は、空間周波数
帯域Ｓ₀，Ｓ₁，Ｓ₂，Ｓ₃それぞれについて、量子化ＤＣ
Ｔ係数のＡＣ成分の電力Ｐ₀，Ｐ₁，Ｐ₂，Ｐ₃を演算し、
クラスコード生成回路５２に出力する。

【００９９】即ち、電力演算回路５１は、空間周波数帯
域Ｓ₀については、上述の４個の量子化ＤＣＴ係数ｘ₀，
ｘ₁，ｘ₈，ｘ₉のうちのＡＣ成分ｘ₁，ｘ₈，ｘ₉の２乗和
ｘ₁ ²＋ｘ₈ ²＋ｘ₉ ²を求め、これを、電力Ｐ₀として、ク
ラスコード生成回路５２に出力する。また、電力演算回
路５１は、空間周波数帯域Ｓ１についての、上述の１２
個の量子化ＤＣＴ係数のＡＣ成分、即ち、１２個すべて
の量子化ＤＣＴ係数の２乗和を求め、これを、電力Ｐ₁
として、クラスコード生成回路５２に出力する。さら
に、電力演算回路５１は、空間周波数帯域Ｓ₂とＳ₃につ
いても、空間周波数帯域Ｓ₁における場合と同様にし
て、それぞれの電力Ｐ₂とＰ₃を求め、クラスコード生成
回路５２に出力する。

【０１００】クラスコード生成回路５２は、電力演算回
路５１からの電力Ｐ₀，Ｐ₁，Ｐ₂，Ｐ₃を、閾値テーブル
記憶部５３に記憶された、対応する閾値ＴＨ０，ＴＨ
１，ＴＨ２，ＴＨ３とそれぞれ比較し、それぞれの大小
関係に基づいて、クラスコードを出力する。即ち、クラ
スコード生成回路５２は、電力Ｐ₀と閾値ＴＨ０とを比
較し、その大小関係を表す１ビットのコードを得る。同
様に、クラスコード生成回路５２は、電力Ｐ₁と閾値Ｔ
Ｈ１、電力Ｐ₂と閾値ＴＨ２、電力Ｐ₃と閾値ＴＨ３を、
それぞれ比較することにより、それぞれについて、１ビ
ットのコードを得る。そして、クラスコード生成回路５
２は、以上のようにして得られる４つの１ビットのコー
ドを、例えば、所定の順番で並べることにより得られる
４ビットのコード（従って、０乃至１５のうちのいずれ
かの値）を、注目画素ブロックのクラスを表すクラスコ
ードとして出力する。従って、本実施の形態では、注目
画素ブロックは、２⁴（＝１６）個のクラスのうちのい
ずれかにクラス分類されることになる。

【０１０１】閾値テーブル記憶部５３は、空間周波数帯
域Ｓ₀乃至Ｓ₃の電力Ｐ₀乃至Ｐ₃とそれぞれ比較する閾値
ＴＨ０乃至ＴＨ３を記憶している。

【０１０２】なお、上述の場合には、クラス分類処理
に、量子化ＤＣＴ係数のＤＣ成分ｘ₀が用いられない
が、このＤＣ成分ｘ₀をも用いてクラス分類処理を行う
ことも可能である。

【０１０３】図５に戻り、以上のようなクラス分類回路
４３が出力するクラスコードは、係数テーブル記憶部４
４に、アドレスとして与えられる。

【０１０４】係数テーブル記憶部４４は、後述するよう
な学習処理が行われることにより得られるタップ係数が
登録された係数テーブルを記憶しており、クラス分類回
路４３が出力するクラスコードに対応するアドレスに記
憶されているタップ係数を積和演算回路４５に出力す
る。

【０１０５】ここで、本実施の形態では、画素ブロック
がクラス分類されるから、注目画素ブロックについて、
１つのクラスコードが得られる。一方、画素ブロック
は、本実施の形態では、８×８画素の６４画素で構成さ
れるから、注目画素ブロックについて、それを構成する
６４画素それぞれを復号するための６４セットのタップ
係数が必要である。従って、係数テーブル記憶部４４に
は、１つのクラスコードに対応するアドレスに対して、
６４セットのタップ係数が記憶されている。

【０１０６】積和演算回路４５は、予測タップ抽出回路
４１が出力する予測タップと、係数テーブル記憶部４４
が出力するタップ係数とを取得し、その予測タップとタ
ップ係数とを用いて、式（１）に示した線形予測演算
（積和演算）を行い、その結果得られる注目画素ブロッ
クの８×８画素の画素値を、対応するＤＣＴブロックの
復号結果として、ブロック分解回路３３（図３）に出力
する。

【０１０７】ここで、予測タップ抽出回路４１において
は、上述したように、注目画素ブロックの各画素が、順
次、注目画素とされるが、積和演算回路４５は、注目画
素ブロックの、注目画素となっている画素の位置に対応
した動作モード（以下、適宜、画素位置モードという）
となって、処理を行う。

【０１０８】即ち、例えば、注目画素ブロックの画素の
うち、ラスタスキャン順で、ｉ番目の画素を、ｐ_iと表
し、画素ｐ_iが、注目画素となっている場合、積和演算
回路４５は、画素位置モード＃ｉの処理を行う。

【０１０９】具体的には、上述したように、係数テーブ
ル記憶部４４は、注目画素ブロックを構成する６４画素
それぞれを復号するための６４セットのタップ係数を出
力するが、そのうちの画素ｐ_iを復号するためのタップ
係数のセットをＷ_iと表すと、積和演算回路４５は、動
作モードが、画素位置モード＃ｉのときには、予測タッ
プと、６４セットのタップ係数のうちのセットＷ_iとを
用いて、式（１）の積和演算を行い、その積和演算結果
を、画素ｐ_iの復号結果とする。

【０１１０】次に、図９のフローチャートを参照して、
図５の係数変換回路３２の処理について説明する。

【０１１１】エントロピー復号回路３１が出力するブロ
ックごとの量子化ＤＣＴ係数は、予測タップ抽出回路４
１およびクラスタップ抽出回路４２において順次受信さ
れ、予測タップ抽出回路４１は、そこに供給される量子
化ＤＣＴ係数のブロック（ＤＣＴブロック）に対応する
画素ブロックを、順次、注目画素ブロックとする。

【０１１２】そして、クラスタップ抽出回路４２は、ス
テップＳ１１において、そこで受信した量子化ＤＣＴ係
数の中から、注目画素ブロックをクラス分類するのに用
いるものを抽出して、クラスタップを構成し、クラス分
類回路４３に供給する。

【０１１３】クラス分類回路４３は、ステップＳ１２に
おいて、クラスタップ抽出回路４２からのクラスタップ
を用いて、注目画素ブロックをクラス分類し、その結果
得られるクラスコードを、係数テーブル記憶部４４に出
力する。

【０１１４】即ち、ステップＳ１２では、図１０のフロ
ーチャートに示すように、まず最初に、ステップＳ２１
において、クラス分類回路４３（図７）の電力演算回路
５１が、クラスタップを構成する８×８個の量子化ＤＣ
Ｔ係数を、図８に示した４つの空間周波数帯域Ｓ₀乃至
Ｓ₃に分割し、それぞれの電力Ｐ₀乃至Ｐ₃を演算する。
この電力Ｐ₀乃至Ｐ₃は、電力演算回路５１からクラスコ
ード生成回路５２に出力される。

【０１１５】クラスコード生成回路５２は、ステップＳ
２２において、閾値テーブル記憶部５３から閾値ＴＨ０
乃至ＴＨ３を読み出し、電力演算回路５１からの電力Ｐ
₀乃至Ｐ₃それぞれと、閾値ＴＨ０乃至ＴＨ３それぞれと
を比較し、それぞれの大小関係に基づいたクラスコード
を生成して、リターンする。

【０１１６】図９に戻り、ステップＳ１２において以上
のようにして得られるクラスコードは、クラス分類回路
４３から係数テーブル記憶部４４に対して、アドレスと
して与えられる。

【０１１７】係数テーブル記憶部４４は、クラス分類回
路４３からのアドレスとしてのクラスコードを受信する
と、ステップＳ１３において、そのアドレスに記憶され
ている６４セットのタップ係数を読み出し、積和演算回
路４５に出力する。

【０１１８】そして、ステップＳ１４に進み、予測タッ
プ抽出回路４１は、注目画素ブロックの画素のうち、ラ
スタスキャン順で、まだ、注目画素とされていない画素
を、注目画素として、その注目画素の画素値を予測する
のに用いる量子化ＤＣＴ係数を抽出し、予測タップとし
て構成する。この予測タップは、予測タップ抽出回路４
１から積和演算回路４５に供給される。

【０１１９】ここで、本実施の形態では、各画素ブロッ
クごとに、その画素ブロックのすべての画素について、
同一の予測タップが構成されるので、実際には、ステッ
プＳ１４の処理は、注目画素ブロックについて、最初に
注目画素とされる画素に対してだけ行えば、残りの６３
画素に対しては、行う必要がない。

【０１２０】積和演算回路４５は、ステップＳ１５にお
いて、ステップＳ１３で係数テーブル記憶部４４が出力
する６４セットのタップ係数のうち、注目画素に対する
画素位置モードに対応するタップ係数のセットを取得
し、そのタップ係数のセットと、ステップＳ１４で予測
タップ抽出回路４１から供給される予測タップとを用い
て、式（１）に示した積和演算を行い、注目画素の画素
値の復号値を得る。

【０１２１】そして、ステップＳ１６に進み、予測タッ
プ抽出回路４１は、注目画素ブロックのすべての画素
を、注目画素として処理を行ったかどうかを判定する。
ステップＳ１６において、注目画素ブロックのすべての
画素を、注目画素として、まだ処理を行っていないと判
定された場合、ステップＳ１４に戻り、予測タップ抽出
回路４１は、注目画素ブロックの画素のうち、ラスタス
キャン順で、まだ、注目画素とされていない画素を、新
たに注目画素として、以下、同様の処理を繰り返す。

【０１２２】また、ステップＳ１６において、注目画素
ブロックのすべての画素を、注目画素として処理を行っ
たと判定された場合、即ち、注目画素ブロックのすべて
の画素の復号値が得られた場合、積和演算回路４５は、
その復号値で構成される画素ブロック（復号ブロック）
を、ブロック分解回路３３（図３）に出力し、処理を終
了する。

【０１２３】なお、図９のフローチャートにしたがった
処理は、予測タップ抽出回路４１が、新たな注目画素ブ
ロックを設定するごとに繰り返し行われる。

【０１２４】次に、図１１は、図５の係数テーブル記憶
部４４に記憶させるタップ係数の学習処理を行う学習装
置の一実施の形態の構成例を示している。

【０１２５】ブロック化回路６１には、１枚以上の学習
用の画像データが、学習時の教師となる教師データとし
て供給されるようになっており、ブロック化回路６１
は、教師データとしての画像を、ＪＰＥＧ符号化におけ
る場合と同様に、８×８画素の画素ブロックにブロック
化する。

【０１２６】ＤＣＴ回路６２は、ブロック化回路６１が
ブロック化した画素ブロックを、順次、注目画素ブロッ
クとして読み出し、その注目画素ブロックを、ＤＣＴ処
理することで、ＤＣＴ係数のブロックとする。このＤＣ
Ｔ係数のブロックは、量子化回路６３に供給される。

【０１２７】量子化回路６３は、ＤＣＴ回路６２からの
ＤＣＴ係数のブロックを、ＪＰＥＧ符号化に用いられる
のと同一の量子化テーブルにしたがって量子化し、その
結果得られる量子化ＤＣＴ係数のブロック（ＤＣＴブロ
ック）を、予測タップ抽出回路６４およびクラスタップ
抽出回路６５に順次供給する。

【０１２８】予測タップ抽出回路６４は、注目画素ブロ
ックの画素のうち、ラスタスキャン順で、まだ、注目画
素とされていない画素を、注目画素として、その注目画
素について、図５の予測タップ抽出回路４１が構成する
のと同一の予測タップを、量子化回路６３の出力から、
必要な量子化ＤＣＴ係数を抽出することで構成する。こ
の予測タップは、学習時の生徒となる生徒データとし
て、予測タップ抽出回路６４から正規方程式加算回路６
７に供給される。

【０１２９】クラスタップ抽出回路６５は、注目画素ブ
ロックについて、図５のクラスタップ抽出回路４２が構
成するのと同一のクラスタップを、量子化回路６３の出
力から、必要な量子化ＤＣＴ係数を抽出することで構成
する。このクラスタップは、クラスタップ抽出回路６５
からクラス分類回路６６に供給される。

【０１３０】クラス分類回路６６は、クラスタップ抽出
回路６５からのクラスタップを用いて、図５のクラス分
類回路４３と同一の処理を行うことで、注目画素ブロッ
クをクラス分類し、その結果得られるクラスコードを、
正規方程式加算回路６７に供給する。

【０１３１】正規方程式加算回路６７は、ブロック化回
路６１から、教師データとしての注目画素（の画素値）
を読み出し、予測タップ構成回路６４からの生徒データ
としての予測タップ（を構成する量子化ＤＣＴ係数）、
および注目画素を対象とした足し込みを行う。

【０１３２】即ち、正規方程式加算回路６７は、クラス
分類回路６６から供給されるクラスコードに対応するク
ラスごとに、予測タップ（生徒データ）を用い、式
（８）の行列Ａにおける各コンポーネントとなってい
る、生徒データどうしの乗算（ｘ_inｘ_im）と、サメーシ
ョン（Σ）に相当する演算を行う。

【０１３３】さらに、正規方程式加算回路６７は、やは
り、クラス分類回路６６から供給されるクラスコードに
対応するクラスごとに、予測タップ（生徒データ）およ
び注目画素（教師データ）を用い、式（８）のベクトル
ｖにおける各コンポーネントとなっている、生徒データ
と教師データの乗算（ｘ_inｙ_i）と、サメーション
（Σ）に相当する演算を行う。

【０１３４】なお、正規方程式加算回路６７における、
上述のような足し込みは、各クラスについて、注目画素
に対する画素位置モードごとに行われる。

【０１３５】正規方程式加算回路６７は、以上の足し込
みを、ブロック化回路６１に供給された教師画像を構成
する画素すべてを注目画素として行い、これにより、各
クラスについて、画素位置モードごとに、式（８）に示
した正規方程式がたてられる。

【０１３６】タップ係数決定回路６８は、正規方程式加
算回路６７においてクラスごとに（かつ、画素位置モー
ドごとに）生成された正規方程式を解くことにより、ク
ラスごとに、６４セットのタップ係数を求め、係数テー
ブル記憶部６９の、各クラスに対応するアドレスに供給
する。

【０１３７】なお、学習用の画像として用意する画像の
枚数や、その画像の内容等によっては、正規方程式加算
回路６７において、タップ係数を求めるのに必要な数の
正規方程式が得られないクラスが生じる場合があり得る
が、タップ係数決定回路６８は、そのようなクラスにつ
いては、例えば、デフォルトのタップ係数を出力する。

【０１３８】係数テーブル記憶部６９は、タップ係数決
定回路６８から供給されるクラスごとの６４セットのタ
ップ係数を記憶する。

【０１３９】次に、図１２のフローチャートを参照し
て、図１１の学習装置の処理（学習処理）について説明
する。

【０１４０】ブロック化回路６１には、学習用の画像デ
ータが、教師データとして供給され、ブロック化回路６
１は、ステップＳ３１において、教師データとしての画
像データを、ＪＰＥＧ符号化における場合と同様に、８
×８画素の画素ブロックにブロック化して、ステップＳ
３２に進む。ステップＳ３２では、ＤＣＴ回路６２が、
ブロック化回路６１がブロック化した画素ブロックを、
順次読み出し、その注目画素ブロックを、ＤＣＴ処理す
ることで、ＤＣＴ係数のブロックとし、ステップＳ３３
に進む。ステップＳ３３では、量子化回路６３が、ＤＣ
Ｔ回路６２において得られたＤＣＴ係数のブロックを順
次読み出し、ＪＰＥＧ符号化に用いられるのと同一の量
子化テーブルにしたがって量子化して、量子化ＤＣＴ係
数で構成されるブロック（ＤＣＴブロック）とする。

【０１４１】そして、ステップＳ３４に進み、クラスタ
ップ抽出回路６５は、ブロック化回路６１でブロック化
された画素ブロックのうち、まだ注目画素ブロックとさ
れていないものを、注目画素ブロックとする。さらに、
クラスタップ抽出回路６５は、注目画素ブロックをクラ
ス分類するのに用いる量子化ＤＣＴ係数を、量子化回路
６３で得られたＤＣＴブロックから抽出して、クラスタ
ップを構成し、クラス分類回路６６に供給する。クラス
分類回路６６は、ステップＳ３５において、図１０のフ
ローチャートで説明した場合と同様に、クラスタップ抽
出回路６５からのクラスタップを用いて、注目画素ブロ
ックをクラス分類し、その結果得られるクラスコード
を、正規方程式加算回路６７に供給して、ステップＳ３
６に進む。

【０１４２】ステップＳ３６では、予測タップ抽出回路
６４が、注目画素ブロックの画素のうち、ラスタスキャ
ン順で、まだ、注目画素とされていない画素を、注目画
素として、その注目画素について、図５の予測タップ抽
出回路４１が構成するのと同一の予測タップを、量子化
回路６３の出力から必要な量子化ＤＣＴ係数を抽出する
ことで構成する。そして、予測タップ抽出回路６４は、
注目画素についての予測タップを、生徒データとして、
正規方程式加算回路６７に供給し、ステップＳ３７に進
む。

【０１４３】ステップＳ３７では、正規方程式加算回路
６７は、ブロック化回路６１から、教師データとしての
注目画素を読み出し、生徒データとしての予測タップ
（を構成する量子化ＤＣＴ係数）、および教師データと
しての注目画素を対象として、式（８）の行列Ａとベク
トルｖの、上述したような足し込みを行う。なお、この
足し込みは、クラス分類回路６６からのクラスコードに
対応するクラスごとに、かつ注目画素に対する画素位置
モードごとに行われる。

【０１４４】そして、ステップＳ３８に進み、予測タッ
プ抽出回路６４は、注目画素ブロックのすべての画素
を、注目画素として、足し込みを行ったかどうかを判定
する。ステップＳ３８において、注目画素ブロックのす
べての画素を、注目画素として、まだ足し込みを行って
いないと判定された場合、ステップＳ３６に戻り、予測
タップ抽出回路６４は、注目画素ブロックの画素のう
ち、ラスタスキャン順で、まだ、注目画素とされていな
い画素を、新たに注目画素として、以下、同様の処理を
繰り返す。

【０１４５】また、ステップＳ３８において、注目画素
ブロックのすべての画素を、注目画素として、足し込み
を行ったと判定された場合、ステップＳ３９に進み、ブ
ロック化回路６１は、教師データとしての画像から得ら
れたすべての画素ブロックを、注目画素ブロックとして
処理を行ったかどうかを判定する。ステップＳ３９にお
いて、教師データとしての画像から得られたすべての画
素ブロックを、注目画素ブロックとして、まだ処理を行
っていないと判定された場合、ステップＳ３４に戻り、
ブロック化回路６１でブロック化された画素ブロックの
うち、まだ注目画素ブロックとされていないものが、新
たに注目画素ブロックとされ、以下、同様の処理が繰り
返される。

【０１４６】一方、ステップＳ３９において、教師デー
タとしての画像から得られたすべての画素ブロックを、
注目画素ブロックとして処理を行ったと判定された場
合、即ち、正規方程式加算回路６７において、各クラス
について、画素位置モードごとの正規方程式が得られた
場合、ステップＳ４０に進み、タップ係数決定回路６８
は、各クラスの画素位置モードごとに生成された正規方
程式を解くことにより、各クラスごとに、そのクラスの
６４の画素位置モードそれぞれに対応する６４セットの
タップ係数を求め、係数テーブル記憶部６９の、各クラ
スに対応するアドレスに供給して記憶させ、処理を終了
する。

【０１４７】以上のようにして、係数テーブル記憶部６
９に記憶された各クラスごとのタップ係数が、図５の係
数テーブル記憶部４４に記憶されている。

【０１４８】従って、係数テーブル記憶部４４に記憶さ
れたタップ係数は、線形予測演算を行うことにより得ら
れる元の画素値の予測値の予測誤差（ここでは、自乗誤
差）が、統計的に最小になるように学習を行うことによ
り求められたものであり、その結果、図５の係数変換回
路３２によれば、ＪＰＥＧ符号化された画像を、元の画
像に限りなく近い画像に復号することができる。

【０１４９】また、上述したように、ＪＰＥＧ符号化さ
れた画像の復号処理と、その画質を向上させるための処
理とが、同時に施されることとなるので、ＪＰＥＧ符号
化された画像から、効率的に、画質の良い復号画像を得
ることができる。

【０１５０】次に、図１３は、図３の係数変換回路３２
の第２の構成例を示している。なお、図中、図５におけ
る場合と対応する部分については、同一の符号を付して
あり、以下では、その説明は、適宜省略する。即ち、図
１３の係数変換回路３２は、逆量子化回路７１が新たに
設けられている他は、基本的に、図５における場合と同
様に構成されている。

【０１５１】図１３の実施の形態において、逆量子化回
路７１には、エントロピー復号回路３１（図３）におい
て符号化データをエントロピー復号することにより得ら
れるブロックごとの量子化ＤＣＴ係数が供給される。

【０１５２】なお、エントロピー復号回路３１において
は、上述したように、符号化データから、量子化ＤＣＴ
係数の他、量子化テーブルも得られるが、図１３の実施
の形態では、この量子化テーブルも、エントロピー復号
回路３１から逆量子化回路７１に供給されるようになっ
ている。

【０１５３】逆量子化回路７１は、エントロピー復号回
路３１からの量子化ＤＣＴ係数を、同じくエントロピー
復号回路３１からの量子化テーブルにしたがって逆量子
化し、その結果得られるＤＣＴ係数を、予測タップ抽出
回路４１およびクラスタップ抽出回路４２に供給する。

【０１５４】従って、予測タップ抽出回路４１とクラス
タップ抽出回路４２では、量子化ＤＣＴ係数ではなく、
ＤＣＴ係数を対象として、予測タップとクラスタップが
それぞれ構成され、以降も、ＤＣＴ係数を対象として、
図５における場合と同様の処理が行われる。

【０１５５】このように、図１３の実施の形態では、量
子化ＤＣＴ係数ではなく、ＤＣＴ係数を対象として処理
が行われるため、係数テーブル記憶部４４に記憶させる
タップ係数は、図５における場合と異なるものとする必
要がある。

【０１５６】そこで、図１４は、図１３の係数テーブル
記憶部４４に記憶させるタップ係数の学習処理を行う学
習装置の一実施の形態の構成例を示している。なお、図
中、図１１における場合と対応する部分については、同
一の符号を付してあり、以下では、その説明は、適宜省
略する。即ち、図１４の学習装置は、量子化回路６３の
後段に、逆量子化回路８１が新たに設けられている他
は、図１１における場合と基本的に同様に構成されてい
る。

【０１５７】図１４の実施の形態において、逆量子化回
路８１は、逆量子化回路６３が出力する量子化ＤＣＴ係
数を、図１３の逆量子化回路７１と同様に逆量子化し、
その結果得られるＤＣＴ係数を、予測タップ抽出回路６
４およびクラスタップ抽出回路６５に供給する。

【０１５８】従って、予測タップ抽出回路６４とクラス
タップ抽出回路６５では、量子化ＤＣＴ係数ではなく、
ＤＣＴ係数を対象として、予測タップとクラスタップが
それぞれ構成され、以降も、ＤＣＴ係数を対象として、
図１１における場合と同様の処理が行われる。

【０１５９】その結果、ＤＣＴ係数が量子化され、さら
に逆量子化されることにより生じる量子化誤差の影響を
低減するタップ係数が得られることになる。

【０１６０】次に、図１５は、図３の係数変換回路３２
の第３の構成例を示している。なお、図中、図５におけ
る場合と対応する部分については、同一の符号を付して
あり、以下では、その説明は、適宜省略する。即ち、図
１３の係数変換回路３２は、クラスタップ抽出回路４２
およびクラス分類回路４３が設けられていない他は、基
本的に、図５における場合と同様に構成されている。

【０１６１】従って、図１５の実施の形態では、クラス
という概念がないが、このことは、クラスが１つである
とも考えるから、係数テーブル記憶部４４には、１クラ
スのタップ係数だけが記憶されており、これを用いて処
理が行われる。

【０１６２】このように、図１５の実施の形態では、係
数テーブル記憶部４４に記憶されているタップ係数は、
図５における場合と異なるものとなっている。

【０１６３】そこで、図１６は、図１５の係数テーブル
記憶部４４に記憶させるタップ係数の学習処理を行う学
習装置の一実施の形態の構成例を示している。なお、図
中、図１１における場合と対応する部分については、同
一の符号を付してあり、以下では、その説明は、適宜省
略する。即ち、図１６の学習装置は、クラスタップ抽出
回路６５およびクラス分類回路６６が設けられていない
他は、図１１における場合と基本的に同様に構成されて
いる。

【０１６４】従って、図１６の学習装置では、正規方程
式加算回路６７において、上述の足し込みが、クラスに
は無関係に、画素位置モード別に行われる。そして、タ
ップ係数決定回路６８において、画素位置モードごとに
生成された正規方程式を解くことにより、タップ係数が
求められる。

【０１６５】次に、図１７は、図３の係数変換回路３２
の第４の構成例を示している。なお、図中、図５または
図１３における場合と対応する部分については、同一の
符号を付してあり、以下では、その説明は、適宜省略す
る。即ち、図１７の係数変換回路３２は、クラスタップ
抽出回路４２およびクラス分類回路４３が設けられてお
らず、かつ逆量子化回路７１が新たに設けられている他
は、基本的に、図５における場合と同様に構成されてい
る。

【０１６６】従って、図１７の実施の形態では、図１５
の実施の形態における場合と同様に、係数テーブル記憶
部４４には、１クラスのタップ係数だけが記憶されてお
り、これを用いて処理が行われる。

【０１６７】さらに、図１７の実施の形態では、図１３
の実施の形態における場合と同様に、予測タップ抽出回
路４１において、量子化ＤＣＴ係数ではなく、逆量子化
回路７１が出力するＤＣＴ係数を対象として、予測タッ
プが構成され、以降も、ＤＣＴ係数を対象として、処理
が行われる。

【０１６８】従って、図１７の実施の形態でも、係数テ
ーブル記憶部４４に記憶されているタップ係数は、図５
における場合と異なるものとなっている。

【０１６９】そこで、図１８は、図１７の係数テーブル
記憶部４４に記憶させるタップ係数の学習処理を行う学
習装置の一実施の形態の構成例を示している。なお、図
中、図１１または図１４における場合と対応する部分に
ついては、同一の符号を付してあり、以下では、その説
明は、適宜省略する。即ち、図１８の学習装置は、クラ
スタップ抽出回路６５およびクラス分類回路６６が設け
られておらず、かつ逆量子化回路８１が新たに設けられ
ている他は、図１１における場合と基本的に同様に構成
されている。

【０１７０】従って、図１８の学習装置では、予測タッ
プ抽出回路６４において、量子化ＤＣＴ係数ではなく、
ＤＣＴ係数を対象として、予測タップが構成され、以降
も、ＤＣＴ係数を対象として処理が行われる。さらに、
正規方程式加算回路６７において、上述の足し込みが、
クラスには無関係に行われ、タップ係数決定回路６８に
おいて、クラスと無関係に生成された正規方程式を解く
ことにより、タップ係数が求められる。

【０１７１】次に、以上においては、静止画を圧縮符号
化するＪＰＥＧ符号化された画像を対象としたが、本発
明は、動画を圧縮符号化する、例えば、ＭＰＥＧ符号化
された画像を対象とすることも可能である。

【０１７２】即ち、図１９は、ＭＰＥＧ符号化が行われ
る場合の、図２のエンコーダ２１の構成例を示してい
る。

【０１７３】ＭＰＥＧ符号化の対象である動画を構成す
るフレーム（またはフィールド）は、順次、動き検出回
路９１と演算器９２に供給される。

【０１７４】動き検出回路９１は、そこに供給されるフ
レームについて、マクロブロック単位で、動きベクトル
を検出し、エントロピー符号化回路９６および動き補償
回路１００に供給する。

【０１７５】演算器９２は、そこに供給される画像が、
Ｉ(Intra)ピクチャであれば、そのままブロック化回路
９３に供給し、Ｐ(Predictive)またはＢ(Bidirectional
ly predictive)ピクチャであれば、動き補償回路１００
から供給される参照画像との差分を演算して、その差分
値を、ブロック化回路９３に供給する。

【０１７６】ブロック化回路９３は、演算器９２の出力
を、８×８画素の画素ブロックにブロック化し、ＤＣＴ
回路９４に供給する。ＤＣＴ回路９４は、ブロック化回
路９３からの画素ブロックをＤＣＴ処理し、その結果得
られるＤＣＴ係数を、量子化回路９５に供給する。量子
化回路９５は、ＤＣＴ回路９３からのブロック単位のＤ
ＣＴ係数を所定の量子化ステップで量子化し、その結果
得られる量子化ＤＣＴ係数をエントロピー符号化回路９
６に供給する。エントロピー符号化回路９６は、量子化
回路９５からの量子化ＤＣＴ係数をエントロピー符号化
し、動き検出回路９１からの動きベクトルや、その他の
必要な情報を付加して、その結果得られる符号化データ
を、ＭＰＥＧ符号化結果として出力する。

【０１７７】量子化回路９５が出力する量子化ＤＣＴ係
数のうち、ＩピクチャおよびＰピクチャは、後で符号化
されるＰピクチャやＢピクチャの参照画像として用いる
のにローカルデコードする必要があるため、エントロピ
ー符号化回路９６の他、逆量子化回路９７にも供給され
る。

【０１７８】逆量子化回路９７は、量子化回路９５から
の量子化ＤＣＴ係数を逆量子化することにより、ＤＣＴ
係数とし、逆ＤＣＴ回路９８に供給する。逆ＤＣＴ回路
９８は、逆量子化回路９７からのＤＣＴ係数を逆ＤＣＴ
処理し、演算器９９に出力する。演算器９９には、逆Ｄ
ＣＴ回路９８の出力の他、動き補償回路１００が出力す
る参照画像も供給されるようになっており、演算器９９
は、逆ＤＣＴ回路９８の出力が、Ｐピクチャのものであ
る場合には、その出力と、動き補償回路１００の出力と
を加算することで、元の画像を復号し、動き補償回路１
００に供給する。また、演算器９９は、逆ＤＣＴ回路９
８の出力が、Ｉピクチャのものである場合には、その出
力は、Ｉピクチャの復号画像となっているので、そのま
ま、動き補償回路１００に供給する。

【０１７９】動き補償回路１００は、演算器９９から供
給される、ローカルデコードされた画像に対して、動き
検出回路９１からの動きベクトルにしたがった動き補償
を施し、その動き補償後の画像を、参照画像として、演
算器９２および９９に供給する。

【０１８０】ここで、図２０は、以上のようなＭＰＥＧ
符号化の結果得られる符号化データを復号する、従来の
ＭＰＥＧデコーダの一例の構成を示している。

【０１８１】符号化データは、エントロピー復号回路１
１１に供給され、エントロピー復号回路１１１は、符号
化データをエントロピー復号し、量子化ＤＣＴ係数、動
きベクトル、その他の情報を得る。そして、量子化ＤＣ
Ｔ係数は、逆量子化回路１１２に供給され、動きベクト
ルは、動き補償回路１１６に供給される。

【０１８２】逆量子化回路１１２は、エントロピー復号
回路１１１からの量子化ＤＣＴ係数を逆量子化すること
により、ＤＣＴ係数とし、逆ＤＣＴ回路１１３に供給す
る。逆ＤＣＴ回路１１３は、逆量子化回路１１２からの
ＤＣＴ係数を逆ＤＣＴ処理し、演算器１１４に出力す
る。演算器１１４には、逆量子化回路１１３の出力の
他、動き補償回路１１６が出力する、既に復号されたＩ
ピクチャまたはＰピクチャを、エントロピー復号回路１
１１からの動きベクトルにしたがって動き補償したもの
が参照画像として供給されるようになっており、演算器
１１４は、逆ＤＣＴ回路１１３の出力が、ＰまたはＢピ
クチャのものである場合には、その出力と、動き補償回
路１００の出力とを加算することで、元の画像を復号
し、ブロック分解回路１１５に供給する。また、演算器
１１４は、逆ＤＣＴ回路１１３の出力が、Ｉピクチャの
ものである場合には、その出力は、Ｉピクチャの復号画
像となっているので、そのまま、ブロック分解回路１１
５に供給する。

【０１８３】ブロック分解回路１１５は、演算器１１４
から画素ブロック単位で供給される復号画像のブロック
化を解くことで、復号画像を得て出力する。

【０１８４】一方、動き補償回路１１６は、演算器１１
４が出力する復号画像のうちのＩピクチャとＰピクチャ
を受信し、エントロピー復号回路１１１からの動きベク
トルにしたがった動き補償を施す。そして、動き補償回
路１１６は、その動き補償後の画像を、参照画像とし
て、演算器１１４に供給する。

【０１８５】図３のデコーダ２２では、ＭＰＥＧ符号化
された符号化データも、上述のように、効率的に、画質
の良い画像に復号することができる。

【０１８６】即ち、符号化データは、エントロピー復号
回路３１に供給され、エントロピー復号回路３１は、符
号化データを、エントロピー復号する。このエントロピ
ー復号の結果得られる量子化ＤＣＴ係数、動きベクト
ル、その他の情報は、エントロピー復号回路３１から係
数変換回路３２に供給される。

【０１８７】係数変換回路３２は、エントロピー復号回
路３１からの量子化ＤＣＴ係数Ｑと、学習を行うことに
より求められたタップ係数を用いて、所定の予測演算を
行うとともに、エントロピー復号回路３１からの動きベ
クトルにしたがった動き補償を必要に応じて行うことに
より、量子化ＤＣＴ係数を、元の画素値に復号し、ブロ
ック分解回路３３に供給する。

【０１８８】ブロック分解回路３３は、係数変換回路３
２において得られた、復号された画素でなる画素ブロッ
クのブロック化を解くことで、復号画像を得て出力す
る。

【０１８９】次に、図２１は、デコーダ２２においてＭ
ＰＥＧ符号化された符号化データを復号する場合の、図
３の係数変換回路３２の構成例を示している。なお、図
中、図１７または図２０における場合と対応する部分に
ついては、同一の符号を付してあり、以下では、その説
明は、適宜省略する。即ち、図２１の係数変換回路３２
は、積和演算回路４５の後段に、図２０における演算器
１１４および動き補償回路１１６が設けられている他
は、図１７における場合と同様に構成されている。

【０１９０】従って、図２１の係数変換回路３２では、
タップ係数を用いた予測演算が、図２０のＭＰＥＧデコ
ーダの逆ＤＣＴ回路１１３における逆ＤＣＴ処理に替え
て行われ、以降は、図２０における場合と同様にして、
復号画像が得られる。

【０１９１】次に、図２２は、図２１の係数テーブル記
憶部４４に記憶させるタップ係数を学習する学習装置の
一実施の形態の構成例を示している。なお、図中、図１
８における場合と対応する部分については、同一の符号
を付してあり、以下では、その説明は、適宜省略する。

【０１９２】動きベクトル検出回路１２１および演算器
１２２には、学習用の画像が、教師データとして入力さ
れる。動きベクトル検出回路１２１、演算器１２２、ブ
ロック化回路１２３、ＤＣＴ回路１２４、量子化回路１
２５、逆量子化回路１２７、逆ＤＣＴ回路１２８、演算
器１２９、または動き補償回路１３０は、図１９の動き
ベクトル検出回路９１、演算器９２、ブロック化回路９
３、ＤＣＴ回路９４、量子化回路９５、逆量子化回路９
７、逆ＤＣＴ回路９８、演算器９９、または動き補償回
路１００とそれぞれ同様の処理を行い、これにより、量
子化回路１２５からは、図１９の量子化回路９５が出力
するのと同様の量子化ＤＣＴ係数が出力される。

【０１９３】量子化回路１２５が出力する量子化ＤＣＴ
係数は、逆量子化回路８１に供給され、逆量子化回路８
１は、量子化回路１２５からの量子化ＤＣＴ係数を逆量
子化し、ＤＣＴ係数に変換して、予測タップ抽出回路６
４に供給する。予測タップ抽出回路６４は、逆量子化回
路８１からのＤＣＴ係数から、予測タップを構成し、正
規方程式加算回路６７に供給する。

【０１９４】正規方程式加算回路６７は、演算器１２２
の出力を教師データとするとともに、逆量子化回路８１
からの予測タップを生徒データとして、上述したような
足し込みを行い、これにより、正規方程式を生成する。

【０１９５】そして、タップ係数決定回路６８は、正規
方程式加算回路６７で生成された正規方程式を解くこと
により、タップ係数を求め、係数テーブル記憶部６９に
供給して記憶させる。

【０１９６】図２１の積和演算回路４５では、このよう
にして求められたタップ係数を用いて、ＭＰＥＧ符号化
された符号化データが復号されるので、やはり、ＭＰＥ
Ｇ符号化された画像の復号処理と、その画質を向上させ
るための処理とを、同時に施すことができ、従って、Ｍ
ＰＥＧ符号化された画像から、効率的に、画質の良い復
号画像を得ることができる。

【０１９７】なお、図２１の係数変換回路３２は、逆量
子化回路７１を設けずに構成することが可能である。こ
の場合、図２２の学習装置は、逆量子化回路８１を設け
ずに構成すれば良い。

【０１９８】また、図２１の係数変換回路３２は、図５
における場合と同様に、クラスタップ抽出回路４２およ
びクラス分類回路４３を設けて構成することが可能であ
る。この場合、図２２の学習装置は、図１１における場
合のように、クラスタップ抽出回路６５およびクラス分
類回路６６を設けて構成するれば良い。

【０１９９】次に、上述した一連の処理は、ハードウェ
アにより行うこともできるし、ソフトウェアにより行う
こともできる。一連の処理をソフトウェアによって行う
場合には、そのソフトウェアを構成するプログラムが、
汎用のコンピュータ等にインストールされる。

【０２００】そこで、図２３は、上述した一連の処理を
実行するプログラムがインストールされるコンピュータ
の一実施の形態の構成例を示している。

【０２０１】プログラムは、コンピュータに内蔵されて
いる記録媒体としてのハードディスク２０５やＲＯＭ２
０３に予め記録しておくことができる。

【０２０２】あるいはまた、プログラムは、フロッピー
（登録商標）ディスク、CD-ROM(Compact Disc Read Onl
y Memory)，MO(Magneto optical)ディスク，DVD(Digita
l Versatile Disc)、磁気ディスク、半導体メモリなど
のリムーバブル記録媒体２１１に、一時的あるいは永続
的に格納（記録）しておくことができる。このようなリ
ムーバブル記録媒体２１１は、いわゆるパッケージソフ
トウエアとして提供することができる。

【０２０３】なお、プログラムは、上述したようなリム
ーバブル記録媒体２１１からコンピュータにインストー
ルする他、ダウンロードサイトから、ディジタル衛星放
送用の人工衛星を介して、コンピュータに無線で転送し
たり、LAN(Local Area Network)、インターネットとい
ったネットワークを介して、コンピュータに有線で転送
し、コンピュータでは、そのようにして転送されてくる
プログラムを、通信部２０８で受信し、内蔵するハード
ディスク２０５にインストールすることができる。

【０２０４】コンピュータは、CPU(Central Processing
Unit)２０２を内蔵している。CPU２０２には、バス２
０１を介して、入出力インタフェース２１０が接続され
ており、CPU２０２は、入出力インタフェース２１０を
介して、ユーザによって、キーボードや、マウス、マイ
ク等で構成される入力部２０７が操作等されることによ
り指令が入力されると、それにしたがって、ROM(Read O
nly Memory)２０３に格納されているプログラムを実行
する。あるいは、また、CPU２０２は、ハードディスク
２０５に格納されているプログラム、衛星若しくはネッ
トワークから転送され、通信部２０８で受信されてハー
ドディスク２０５にインストールされたプログラム、ま
たはドライブ２０９に装着されたリムーバブル記録媒体
２１１から読み出されてハードディスク２０５にインス
トールされたプログラムを、RAM(Random Access Memor
y)２０４にロードして実行する。これにより、CPU２０
２は、上述したフローチャートにしたがった処理、ある
いは上述したブロック図の構成により行われる処理を行
う。そして、CPU２０２は、その処理結果を、必要に応
じて、例えば、入出力インタフェース２１０を介して、
LCD(Liquid CryStal Display)やスピーカ等で構成され
る出力部２０６から出力、あるいは、通信部２０８から
送信、さらには、ハードディスク２０５に記録等させ
る。

【０２０５】ここで、本明細書において、コンピュータ
に各種の処理を行わせるためのプログラムを記述する処
理ステップは、必ずしもフローチャートとして記載され
た順序に沿って時系列に処理する必要はなく、並列的あ
るいは個別に実行される処理（例えば、並列処理あるい
はオブジェクトによる処理）も含むものである。

【０２０６】また、プログラムは、１のコンピュータに
より処理されるものであっても良いし、複数のコンピュ
ータによって分散処理されるものであっても良い。さら
に、プログラムは、遠方のコンピュータに転送されて実
行されるものであっても良い。

【０２０７】なお、本実施の形態では、画像データを対
象としたが、本発明は、その他、例えば、音声データに
も適用可能である。

【０２０８】また、本実施の形態では、少なくとも、Ｄ
ＣＴ処理を行うＪＰＥＧ符号化やＭＰＥＧ符号化された
符号化データの復号を行うようにしたが、本発明は、そ
の他の直交変換または周波数変換によって変換されたデ
ータの復号に適用可能である。即ち、本発明は、例え
ば、サブバンド符号化されたデータや、フーリエ変換さ
れたデータ等を復号する場合にも適用可能である。

【０２０９】さらに、本実施の形態では、デコーダ２２
において、復号に用いるタップ係数を、あらかじめ記憶
しておくようにしたが、タップ係数は、符号化データに
含めて、デコーダ２２に提供するようにすることが可能
である。

【０２１０】また、本実施の形態では、タップ係数を用
いた線形１次予測演算によって、復号を行うようにした
が、復号は、その他、２次以上の高次の予測演算によっ
て行うことも可能である。

【０２１１】

【発明の効果】本発明の第１のデータ処理装置およびデ
ータ処理方法、並びに記録媒体によれば、学習を行うこ
とにより求められたタップ係数が取得され、そのタップ
係数と、変換データとを用いて、所定の予測演算が行わ
れることにより、変換データが、元のデータに復号され
る。従って、変換データを、効率的に復号することが可
能となる。

【０２１２】本発明の第２のデータ処理装置およびデー
タ処理方法、並びに記録媒体によれば、教師となる教師
データを、少なくとも、直交変換または周波数変換する
ことにより、生徒となる生徒データが生成され、タップ
係数および生徒データを用いて予測演算を行うことによ
り得られる教師データの予測値の予測誤差が、統計的に
最小になるように学習が行われることにより、タップ係
数が求められる。従って、そのタップ係数を用いること
により、直交変換または周波数変換されたデータを、効
率的に復号することが可能となる。

【図面の簡単な説明】

【図１】従来のＪＰＥＧ符号化／復号を説明するための
図である。

【図２】本発明を適用した画像伝送システムの一実施の
形態の構成例を示す図である。

【図３】図２のデコーダ２２の構成例を示すブロック図
である。

【図４】図３のデコーダ２２の処理を説明するフローチ
ャートである。

【図５】図３の係数変換回路３２の第１の構成例を示す
ブロック図である。

【図６】予測タップとクラスタップの例を説明する図で
ある。

【図７】図５のクラス分類回路４３の構成例を示すブロ
ック図である。

【図８】図５の電力演算回路５１の処理を説明するため
の図である。

【図９】図５の係数変換回路３２の処理を説明するフロ
ーチャートである。

【図１０】図９のステップＳ１２の処理のより詳細を説
明するフローチャートである。

【図１１】本発明を適用した学習装置の第１実施の形態
の構成例を示すブロック図である。

【図１２】図１１の学習装置の処理を説明するフローチ
ャートである。

【図１３】図３の係数変換回路３２の第２の構成例を示
すブロック図である。

【図１４】本発明を適用した学習装置の第２実施の形態
の構成例を示すブロック図である。

【図１５】図３の係数変換回路３２の第３の構成例を示
すブロック図である。

【図１６】本発明を適用した学習装置の第３実施の形態
の構成例を示すブロック図である。

【図１７】図３の係数変換回路３２の第４の構成例を示
すブロック図である。

【図１８】本発明を適用した学習装置の第４実施の形態
の構成例を示すブロック図である。

【図１９】図２のエンコーダ２１の構成例を示すブロッ
ク図である。

【図２０】ＭＰＥＧデコーダの一例の構成を示すブロッ
ク図である。

【図２１】図３の係数変換回路３２の第５の構成例を示
すブロック図である。

【図２２】本発明を適用した学習装置の第５実施の形態
の構成例を示すブロック図である。

【図２３】本発明を適用したコンピュータの一実施の形
態の構成例を示すブロック図である。

【符号の説明】

２１ エンコーダ， ２２ デコーダ， ２３ 記録媒
体， ２４ 伝送媒体， ３１ エントロピー復号回
路， ３２ 係数変換回路， ３３ ブロック分解回
路， ４１ 予測タップ抽出回路， ４２ クラスタッ
プ抽出回路， ４３クラス分類回路， ４４ 係数テー
ブル記憶部， ４５積和演算回路， ５１電力演算回
路， ５２ クラスコード生成回路， ５３ 閾値テー
ブル記憶部， ６１ ブロック化回路， ６２ ＤＣＴ
回路， ６３ 量子化回路， ６４予測タップ抽出回
路， ６５ クラスタップ抽出回路， ６６ クラス分
類回路， ６７ 正規方程式加算回路， ６８ タップ
係数決定回路， ６９ 係数テーブル記憶部， ７１，
８１ 逆量子化回路， １１４ 演算器， １１５動き
補償回路， １２１ 動きベクトル検出回路， １２２
演算器， １２３ブロック化回路， １２４ ＤＣＴ
回路， １２５ 量子化回路， １２７逆量子化回路，
１２８ 逆ＤＣＴ回路， １２９ 演算器， １３０
動き補償回路， ２０１ バス， ２０２ CPU，
２０３ ROM， ２０４ RAM，２０５ ハードディス
ク， ２０６ 出力部， ２０７ 入力部， ２０８
通信部， ２０９ ドライブ， ２１０ 入出力インタ
フェース， ２１１ リムーバブル記録媒体

───────────────────────────────────────────────────── フロントページの続き (72)発明者 中屋 秀雄 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 西片 丈晴 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 大塚 秀樹 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 國弘 威 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 森藤 孝文 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 内田 真史 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C059 KK03 KK04 MA00 MA05 MA14 MA23 MC14 MC38 ME01 PP01 PP04 RC14 SS06 SS11 SS20 SS26 TA69 TB08 TC04 TC06 TD06 TD12 TD13 TD15 UA05 5C078 BA21 CA00 DA00 DA02 EA01 5J064 AA02 BA09 BA16 BB03 BC02 BC03 BC08 BC16 BD03 9A001 EE05

Claims (24)

【特許請求の範囲】
1. 【請求項１】 少なくとも、直交変換処理または周波数
   変換処理を施すことにより得られる変換データを処理す
   るデータ処理装置であって、 学習を行うことにより求められたタップ係数を取得する
   取得手段と、 前記タップ係数および変換データを用いて、所定の予測
   演算を行うことにより、前記変換データを、元のデータ
   に復号する復号手段とを備えることを特徴とするデータ
   処理装置。
2. 【請求項２】 前記復号手段は、前記タップ係数および
   変換データを用いて、線形１次予測演算を行うことによ
   り、前記変換データを、元のデータに復号することを特
   徴とする請求項１に記載のデータ処理装置。
3. 【請求項３】 前記タップ係数を記憶している記憶手段
   をさらに備え、 前記取得手段は、前記記憶手段から、前記タップ係数を
   取得することを特徴とする請求項１に記載のデータ処理
   装置。
4. 【請求項４】 前記変換データは、前記元のデータを、
   直交変換または周波数変換し、さらに量子化することに
   より得られたものであることを特徴とする請求項１に記
   載のデータ処理装置。
5. 【請求項５】 前記変換データを、逆量子化する逆量子
   化手段をさらに備え、 前記復号手段は、逆量子化された前記変換データを、前
   記元のデータに復号することを特徴とする請求項４に記
   載のデータ処理装置。
6. 【請求項６】 前記変換データは、前記元のデータを、
   少なくとも、離散コサイン変換したものであることを特
   徴とする請求項１に記載のデータ処理装置。
7. 【請求項７】 前記元のデータのうちの、注目している
   注目データを予測するのに前記タップ係数とともに用い
   る前記変換データを抽出し、予測タップとして出力する
   予測タップ抽出手段をさらに備え、 前記復号手段は、前記予測タップおよびタップ係数を用
   いて予測演算を行うことを特徴とする請求項１に記載の
   データ処理装置。
8. 【請求項８】 前記注目データを、幾つかのクラスのう
   ちのいずれかにクラス分類するのに用いる前記変換デー
   タを抽出し、クラスタップとして出力するクラスタップ
   抽出手段と、 前記クラスタップに基づいて、前記注目データのクラス
   を求めるクラス分類を行うクラス分類手段とをさらに備
   え、 前記復号手段は、前記予測タップおよび前記注目データ
   のクラスに対応する前記タップ係数を用いて予測演算を
   行うことを特徴とする請求項７に記載のデータ処理装
   置。
9. 【請求項９】 前記変換データは、前記元のデータを、
   所定の単位ごとに、少なくとも、直交変換処理または周
   波数変換したものであり、 前記復号手段は、前記所定の単位ごとに、前記変換デー
   タを、前記元のデータに復号することを特徴とする請求
   項１に記載のデータ処理装置。
10. 【請求項１０】 前記タップ係数は、前記タップ係数お
    よび変換データを用いて、所定の予測演算を行うことに
    より得られる前記元のデータの予測値の予測誤差が、統
    計的に最小になるように、学習を行うことにより得られ
    たものであることを特徴とする請求項１に記載のデータ
    処理装置。
11. 【請求項１１】 前記元のデータは、動画または静止画
    のデータであることを特徴とする請求項１に記載のデー
    タ処理装置。
12. 【請求項１２】 少なくとも、直交変換処理または周波
    数変換処理を施すことにより得られる変換データを処理
    するデータ処理方法であって、 学習を行うことにより求められたタップ係数を取得する
    取得ステップと、 前記タップ係数および変換データを用いて、所定の予測
    演算を行うことにより、前記変換データを、元のデータ
    に復号する復号ステップとを備えることを特徴とするデ
    ータ処理方法。
13. 【請求項１３】 少なくとも、直交変換処理または周波
    数変換処理を施すことにより得られる変換データを処理
    するデータ処理を、コンピュータに行わせるプログラム
    が記録されている記録媒体であって、 学習を行うことにより求められたタップ係数を取得する
    取得ステップと、 前記タップ係数および変換データを用いて、所定の予測
    演算を行うことにより、前記変換データを、元のデータ
    に復号する復号ステップとを備えるプログラムが記録さ
    れていることを特徴とする記録媒体。
14. 【請求項１４】 少なくとも、直交変換処理または周波
    数変換処理を施すことにより得られる変換データを、予
    測演算によって復号するのに用いるタップ係数を学習す
    るデータ処理装置であって、 教師となる教師データを、少なくとも、直交変換または
    周波数変換することにより、生徒となる生徒データを生
    成する生成手段と、 前記タップ係数および生徒データを用いて予測演算を行
    うことにより得られる前記教師データの予測値の予測誤
    差が、統計的に最小になるように学習を行い、前記タッ
    プ係数を求める学習手段とを備えることを特徴とするデ
    ータ処理装置。
15. 【請求項１５】 前記学習手段は、前記タップ係数およ
    び生徒データを用いて線形１次予測演算を行うことによ
    り得られる前記教師データの予測値の予測誤差が、統計
    的に最小になるように学習を行うことを特徴とする請求
    項１４に記載のデータ処理装置。
16. 【請求項１６】 前記生成手段は、前記教師データを、
    直交変換または周波数変換し、さらに量子化することに
    より、前記生徒データを生成することを特徴とする請求
    項１４に記載のデータ処理装置。
17. 【請求項１７】 前記生成手段は、前記教師データを、
    直交変換または周波数変換して量子化し、さらに逆量子
    化することにより、前記生徒データを生成することを特
    徴とする請求項１４に記載のデータ処理装置。
18. 【請求項１８】 前記生成手段は、前記教師データを、
    少なくとも、離散コサイン変換することにより、前記生
    徒データを生成することを特徴とする請求項１４に記載
    のデータ処理装置。
19. 【請求項１９】 前記教師データのうちの、注目してい
    る注目教師データを予測するのに前記タップ係数ととも
    に用いる前記生徒データを抽出し、予測タップとして出
    力する予測タップ抽出手段をさらに備え、 前記学習手段は、前記予測タップおよびタップ係数を用
    いて予測演算を行うことにより得られる前記教師データ
    の予測値の予測誤差が、統計的に最小になるように学習
    を行うことを特徴とする請求項１４に記載のデータ処理
    装置。
20. 【請求項２０】 前記注目教師データを、幾つかのクラ
    スのうちのいずれかにクラス分類するのに用いる前記生
    徒データを抽出し、クラスタップとして出力するクラス
    タップ抽出手段と、 前記クラスタップに基づいて、前記注目教師データのク
    ラスを求めるクラス分類を行うクラス分類手段とをさら
    に備え、 前記学習手段は、前記予測タップおよび前記注目教師デ
    ータのクラスに対応するタップ係数を用いて予測演算を
    行うことにより得られる前記教師データの予測値の予測
    誤差が、統計的に最小になるように学習を行い、クラス
    ごとの前記タップ係数を求めることを特徴とする請求項
    １９に記載のデータ処理装置。
21. 【請求項２１】 前記生成手段は、前記教師データを、
    所定の単位ごとに、少なくとも、直交変換処理または周
    波数変換することにより、前記生徒データを生成するこ
    とを特徴とする請求項１４に記載のデータ処理装置。
22. 【請求項２２】 前記教師データは、動画または静止画
    のデータであることを特徴とする請求項１４に記載のデ
    ータ処理装置。
23. 【請求項２３】 少なくとも、直交変換処理または周波
    数変換処理を施すことにより得られる変換データを、予
    測演算によって復号するのに用いるタップ係数を学習す
    るデータ処理方法であって、 教師となる教師データを、少なくとも、直交変換または
    周波数変換することにより、生徒となる生徒データを生
    成する生成ステップと、 前記タップ係数および生徒データを用いて予測演算を行
    うことにより得られる前記教師データの予測値の予測誤
    差が、統計的に最小になるように学習を行い、前記タッ
    プ係数を求める学習ステップとを備えることを特徴とす
    るデータ処理方法。
24. 【請求項２４】 少なくとも、直交変換処理または周波
    数変換処理を施すことにより得られる変換データを、予
    測演算によって復号するのに用いるタップ係数を学習す
    るデータ処理を、コンピュータに行わせるプログラムが
    記録されている記録媒体であって、 教師となる教師データを、少なくとも、直交変換または
    周波数変換することにより、生徒となる生徒データを生
    成する生成ステップと、 前記タップ係数および生徒データを用いて予測演算を行
    うことにより得られる前記教師データの予測値の予測誤
    差が、統計的に最小になるように学習を行い、前記タッ
    プ係数を求める学習ステップとを備えるプログラムが記
    録されていることを特徴とする記録媒体。