JP2001346210A

JP2001346210A - データ処理装置およびデータ処理方法、並びに記録媒体

Info

Publication number: JP2001346210A
Application number: JP2000164026A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Takeshi Kunihiro; 威國弘; Takeharu Nishikata; 丈晴西片; Masashi Uchida; 真史内田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-06-01
Filing date: 2000-06-01
Publication date: 2001-12-14
Anticipated expiration: 2020-06-01
Also published as: JP4538699B2

Abstract

(57)【要約】【課題】量子化されたＤＣＴ係数（量子化ＤＣＴ係
数）を、効率的に、量子化誤差を低減したＤＣＴ係数に
変換等する。【解決手段】予測タップ抽出回路４１は、パターンテ
ーブル記憶部４６に記憶されたパターン情報にしたが
い、注目しているＤＣＴ係数のブロックに対応する量子
化ＤＣＴ係数のブロックを中心とする３×３個のブロッ
クから、量子化ＤＣＴ係数を抽出し、予測タップを構成
する。積和演算回路４５は、係数テーブル記憶部４４に
記憶されたタップ係数と予測タップとを用いて、線形予
測演算を行い、量子化ＤＣＴ係数を、量子化誤差を低減
したＤＣＴ係数に変換する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、データ処理装置お
よびデータ処理方法、並びに記録媒体に関し、特に、例
えば、不可逆圧縮された画像等を復号する場合等に用い
て好適なデータ処理装置およびデータ処理方法、並びに
記録媒体に関する。

【０００２】

【従来の技術】例えば、ディジタル画像データは、その
データ量が多いため、そのまま記録や伝送を行うには、
大容量の記録媒体や伝送媒体が必要となる。そこで、一
般には、画像データを圧縮符号化することにより、その
データ量を削減してから、記録や伝送が行われる。

【０００３】画像を圧縮符号化する方式としては、例え
ば、静止画の圧縮符号化方式であるＪＰＥＧ(Joint Pho
tographic Experts Group)方式や、動画の圧縮符号化方
式であるＭＰＥＧ(Moving Picture Experts Group)方式
等がある。

【０００４】例えば、ＪＰＥＧ方式による画像データの
符号化／復号は、図１に示すように行われる。

【０００５】即ち、図１（Ａ）は、従来のＪＰＥＧ符号
化装置の一例の構成を示している。

【０００６】符号化対象の画像データは、ブロック化回
路１に入力され、ブロック化回路１は、そこに入力され
る画像データを、８×８画素の６４画素でなるブロック
に分割する。ブロック化回路１で得られる各ブロック
は、ＤＣＴ(Discrete Cosine Transform)回路２に供給
される。ＤＣＴ回路２は、ブロック化回路１からのブロ
ックに対して、ＤＣＴ（離散コサイン変換）処理を施
し、１個のＤＣ(Direct Current)成分と、水平方向およ
び垂直方向についての６３個の周波数成分（ＡＣ(Alter
nating Current)成分）の、合計６４個のＤＣＴ係数に
変換する。各ブロックごとの６４個のＤＣＴ係数は、Ｄ
ＣＴ回路２から量子化回路３に供給される。

【０００７】量子化回路３は、所定の量子化テーブルに
したがって、ＤＣＴ回路２からのＤＣＴ係数を量子化
し、その量子化結果（以下、適宜、量子化ＤＣＴ係数と
いう）を、量子化に用いた量子化テーブルとともに、エ
ントロピー符号化回路４に供給する。

【０００８】ここで、図１（Ｂ）は、量子化回路３にお
いて用いられる量子化テーブルの例を示している。量子
化テーブルには、一般に、人間の視覚特性を考慮して、
重要性の高い低周波数のＤＣＴ係数は細かく量子化し、
重要性の低い高周波数のＤＣＴ係数は粗く量子化するよ
うな量子化ステップが設定されており、これにより、画
像の画質の劣化を抑えて、効率の良い圧縮が行われるよ
うになっている。

【０００９】エントロピー符号化回路４は、量子化回路
３からの量子化ＤＣＴ係数に対して、例えば、ハフマン
符号化等のエントロピー符号化処理を施して、量子化回
路３からの量子化テーブルを付加し、その結果得られる
符号化データを、ＪＰＥＧ符号化結果として出力する。

【００１０】次に、図１（Ｃ）は、図１（Ａ）のＪＰＥ
Ｇ符号化装置が出力する符号化データを復号する、従来
のＪＰＥＧ復号装置の一例の構成を示している。

【００１１】符号化データは、エントロピー復号回路１
１に入力され、エントロピー復号回路１１は、符号化デ
ータを、エントロピー符号化された量子化ＤＣＴ係数
と、量子化テーブルとに分離する。さらに、エントロピ
ー復号回路１１は、エントロピー符号化された量子化Ｄ
ＣＴ係数をエントロピー復号し、その結果得られる量子
化ＤＣＴ係数を、量子化テーブルとともに、逆量子化回
路１２に供給する。逆量子化回路１２は、エントロピー
復号回路１１からの量子化ＤＣＴ係数を、同じくエント
ロピー復号回路１１からの量子化テーブルにしたがって
逆量子化し、その結果得られるＤＣＴ係数を、逆ＤＣＴ
回路１３に供給する。逆ＤＣＴ回路１３は、逆量子化回
路１２からのＤＣＴ係数に、逆ＤＣＴ処理を施し、その
結果られる８×８画素の（復号）ブロックを、ブロック
分解回路１４に供給する。ブロック分解回路１４は、逆
ＤＣＴ回路１３からのブロックのブロック化を解くこと
で、復号画像を得て出力する。

【００１２】

【発明が解決しようとする課題】図１（Ａ）のＪＰＥＧ
符号化装置では、その量子化回路３において、ブロック
の量子化に用いる量子化テーブルの量子化ステップを大
きくすることにより、符号化データのデータ量を削減す
ることができる。即ち、高圧縮を実現することができ
る。

【００１３】しかしながら、量子化ステップを大きくす
ると、いわゆる量子化誤差も大きくなることから、図１
（Ｃ）のＪＰＥＧ復号装置で得られる復号画像の画質が
劣化する。即ち、復号画像には、ぼけや、ブロック歪
み、モスキートノイズ等が顕著に現れる。

【００１４】従って、符号化データのデータ量の削減し
ながら、復号画像の画質を劣化させないようにするに
は、あるいは、符号化データのデータ量を維持して、復
号画像の画質を向上させるには、ＪＰＥＧ復号した後
に、何らかの画質向上のための処理を行う必要がある。

【００１５】しかしながら、ＪＰＥＧ復号した後に、画
質向上のための処理を行うことは、処理が煩雑になり、
最終的に復号画像が得られるまでの時間も長くなる。

【００１６】本発明は、このような状況に鑑みてなされ
たものであり、ＪＰＥＧ符号化された画像等から、効率
的に、画質の良い復号画像を得ること等ができるように
するものである。

【００１７】

【課題を解決するための手段】本発明の第１のデータ処
理装置は、学習を行うことにより求められたタップ係数
を取得する取得手段と、新たな変換データのブロックで
ある新変換ブロックのうちの注目している注目新変換ブ
ロックの新たな変換データを得るための予測演算に用い
る変換データを、少なくとも、その注目新変換ブロック
以外の新変換ブロックに対応する、変換データのブロッ
クである変換ブロックから抽出し、予測タップとして出
力する予測タップ抽出手段と、タップ係数および予測タ
ップを用いて、所定の予測演算を行うことにより、変換
データを、新たな変換データに変換する演算手段とを備
えることを特徴とする。

【００１８】第１のデータ処理装置において、演算手段
には、タップ係数および予測タップを用いて、線形１次
予測演算を行うことにより、変換データを、新たな変換
データに変換させることができる。

【００１９】第１のデータ処理装置には、タップ係数を
記憶している記憶手段をさらに設けることができ、この
場合、取得手段には、記憶手段から、タップ係数を取得
させることができる。

【００２０】第１のデータ処理装置において、変換デー
タは、所定のデータを、少なくとも、離散コサイン変換
したものとすることができる。

【００２１】第１のデータ処理装置には、注目新変換ブ
ロックの新たな変換データのうちの、注目している注目
データを、幾つかのクラスのうちのいずれかにクラス分
類するのに用いる変換データを抽出し、クラスタップと
して出力するクラスタップ抽出手段と、クラスタップに
基づいて、注目データのクラスを求めるクラス分類を行
うクラス分類手段とをさらに設けることができ、この場
合、演算手段には、予測タップおよび注目データのクラ
スに対応するタップ係数を用いて予測演算を行わせるこ
とができる。

【００２２】第１のデータ処理装置において、予測タッ
プ抽出手段には、注目新変換ブロックの周辺の新変換ブ
ロックに対応する変換ブロックから、予測タップとする
変換データを抽出させることができる。

【００２３】第１のデータ処理装置において、予測タッ
プ抽出手段には、注目新変換ブロックに対応する変換ブ
ロックと、注目新変換ブロック以外の新変換ブロックに
対応する変換ブロックとから、予測タップとする変換デ
ータを抽出させることができる。

【００２４】第１のデータ処理装置において、予測タッ
プ抽出手段には、注目新変換ブロックの新たな変換デー
タのうちの、注目している注目データとの相関が大きい
位置関係にある変換データを、予測タップとして抽出さ
せることができる。

【００２５】第１のデータ処理装置において、予測タッ
プ抽出手段には、注目データとの相関が所定の閾値以上
となる位置関係にある変換データを、予測タップとして
抽出させることができる。

【００２６】第１のデータ処理装置において、予測タッ
プ抽出手段には、注目データとの相関が所定の順位以内
になる位置関係にある変換データを、予測タップとして
抽出させることができる。

【００２７】第１のデータ処理装置において、タップ係
数は、タップ係数および変換データを用いて、所定の予
測演算を行うことにより得られる新たな変換データの予
測値の予測誤差が、統計的に最小になるように、学習を
行うことにより得られたものとすることができる。

【００２８】第１のデータ処理装置において、所定のデ
ータは、動画または静止画の画像データとすることがで
きる。

【００２９】本発明の第１のデータ処理方法は、学習を
行うことにより求められたタップ係数を取得する取得ス
テップと、新たな変換データのブロックである新変換ブ
ロックのうちの注目している注目新変換ブロックの新た
な変換データを得るための予測演算に用いる変換データ
を、少なくとも、その注目新変換ブロック以外の新変換
ブロックに対応する、変換データのブロックである変換
ブロックから抽出し、予測タップとして出力する予測タ
ップ抽出ステップと、タップ係数および予測タップを用
いて、所定の予測演算を行うことにより、変換データ
を、新たな変換データに変換する演算ステップとを備え
ることを特徴とする。

【００３０】本発明の第１の記録媒体は、学習を行うこ
とにより求められたタップ係数を取得する取得ステップ
と、新たな変換データのブロックである新変換ブロック
のうちの注目している注目新変換ブロックの新たな変換
データを得るための予測演算に用いる変換データを、少
なくとも、その注目新変換ブロック以外の新変換ブロッ
クに対応する、変換データのブロックである変換ブロッ
クから抽出し、予測タップとして出力する予測タップ抽
出ステップと、タップ係数および予測タップを用いて、
所定の予測演算を行うことにより、変換データを、新た
な変換データに変換する演算ステップとを備えるプログ
ラムが記録されていることを特徴とする。

【００３１】本発明の第２のデータ処理装置は、データ
を、少なくとも、直交変換または周波数変換することに
より得られる、教師となる教師データに、所定の処理を
施すことにより、生徒となる生徒データを生成する生徒
データ生成手段と、教師データのブロックである教師ブ
ロックのうちの注目している注目教師ブロックの教師デ
ータを求めるための予測演算に用いる生徒データを、少
なくとも、その注目教師ブロック以外の教師ブロックに
対応する、生徒データのブロックである生徒ブロックか
ら抽出し、予測タップとして出力する予測タップ抽出手
段と、タップ係数および予測タップを用いて予測演算を
行うことにより得られる教師データの予測値の予測誤差
が、統計的に最小になるように学習を行い、タップ係数
を求める学習手段とを備えることを特徴とする。

【００３２】第２のデータ処理装置において、学習手段
には、タップ係数および生徒データを用いて線形１次予
測演算を行うことにより得られる教師データの予測値の
予測誤差が、統計的に最小になるように学習を行わせる
ことができる。

【００３３】第２のデータ処理装置において、教師デー
タは、データを、少なくとも、離散コサイン変換したも
のとすることができる。

【００３４】第２のデータ処理装置には、注目教師ブロ
ックの教師データのうちの、注目している注目教師デー
タを、幾つかのクラスのうちのいずれかにクラス分類す
るのに用いる生徒データを抽出し、クラスタップとして
出力するクラスタップ抽出手段と、クラスタップに基づ
いて、注目教師データのクラスを求めるクラス分類を行
うクラス分類手段とをさらに設けることができ、この場
合、学習手段には、予測タップおよび注目教師データの
クラスに対応するタップ係数を用いて予測演算を行うこ
とにより得られる教師データの予測値の予測誤差が、統
計的に最小になるように学習を行い、クラスごとのタッ
プ係数を求めさせることができる。

【００３５】第２のデータ処理装置において、予測タッ
プ抽出手段には、注目教師ブロックの周辺の教師ブロッ
クに対応する生徒ブロックから、予測タップとする生徒
データを抽出させることができる。

【００３６】第２のデータ処理装置において、予測タッ
プ抽出手段には、注目教師ブロックに対応する生徒ブロ
ックと、注目教師ブロック以外の教師ブロックに対応す
る生徒ブロックとから、予測タップとする生徒データを
抽出させることができる。

【００３７】第２のデータ処理装置において、予測タッ
プ抽出手段には、注目教師ブロックの教師データのうち
の、注目している注目教師データとの相関が大きい位置
関係にある生徒データを、予測タップとして抽出させる
ことができる。

【００３８】第２のデータ処理装置において、予測タッ
プ抽出手段には、注目教師データとの相関が所定の閾値
以上となる位置関係にある生徒データを、予測タップと
して抽出させることができる。

【００３９】第２のデータ処理装置において、予測タッ
プ抽出手段には、注目教師データとの相関が所定の順位
以内になる位置関係にある生徒データを、予測タップと
して抽出させることができる。

【００４０】第２のデータ処理装置において、データ
は、動画または静止画の画像データとすることができ
る。

【００４１】本発明の第２のデータ処理方法は、データ
を、少なくとも、直交変換または周波数変換することに
より得られる、教師となる教師データに、所定の処理を
施すことにより、生徒となる生徒データを生成する生徒
データ生成ステップと、教師データのブロックである教
師ブロックのうちの注目している注目教師ブロックの教
師データを求めるための予測演算に用いる生徒データ
を、少なくとも、その注目教師ブロック以外の教師ブロ
ックに対応する、生徒データのブロックである生徒ブロ
ックから抽出し、予測タップとして出力する予測タップ
抽出ステップと、タップ係数および予測タップを用いて
予測演算を行うことにより得られる教師データの予測値
の予測誤差が、統計的に最小になるように学習を行い、
タップ係数を求める学習ステップとを備えることを特徴
とする。

【００４２】本発明の第２の記録媒体は、データを、少
なくとも、直交変換または周波数変換することにより得
られる、教師となる教師データに、所定の処理を施すこ
とにより、生徒となる生徒データを生成する生徒データ
生成ステップと、教師データのブロックである教師ブロ
ックのうちの注目している注目教師ブロックの教師デー
タを求めるための予測演算に用いる生徒データを、少な
くとも、その注目教師ブロック以外の教師ブロックに対
応する、生徒データのブロックである生徒ブロックから
抽出し、予測タップとして出力する予測タップ抽出ステ
ップと、タップ係数および予測タップを用いて予測演算
を行うことにより得られる教師データの予測値の予測誤
差が、統計的に最小になるように学習を行い、タップ係
数を求める学習ステップとを備えるプログラムが記録さ
れていることを特徴とする。

【００４３】本発明の第１のデータ処理装置およびデー
タ処理方法、並びに記録媒体においては、学習を行うこ
とにより求められたタップ係数が取得され、新変換ブロ
ックのうちの注目している注目新変換ブロックの新たな
変換データを得るための予測演算に用いる変換データ
が、少なくとも、その注目新変換ブロック以外の新変換
ブロックに対応する変換ブロックから抽出され、予測タ
ップとして出力される。そして、タップ係数および予測
タップを用いて、所定の予測演算を行うことにより、変
換データが、新たな変換データに変換される。

【００４４】本発明の第２のデータ処理装置およびデー
タ処理方法、並びに記録媒体においては、データを、少
なくとも、直交変換または周波数変換することにより得
られる教師データに、所定の処理を施すことにより、生
徒データが生成される。そして、教師ブロックのうちの
注目している注目教師ブロックの教師データを求めるた
めの予測演算に用いる生徒データが、少なくとも、その
注目教師ブロック以外の教師ブロックに対応する生徒ブ
ロックから抽出され、予測タップとして出力される。さ
らに、タップ係数および予測タップを用いて予測演算を
行うことにより得られる教師データの予測値の予測誤差
が、統計的に最小になるように学習が行われ、タップ係
数が求められる。

【００４５】

【発明の実施の形態】図２は、本発明を適用した画像伝
送システムの一実施の形態の構成例を示している。

【００４６】伝送すべき画像データは、エンコーダ２１
に供給されるようになっており、エンコーダ２１は、そ
こに供給される画像データを、例えば、ＪＰＥＧ符号化
し、符号化データとする。即ち、エンコーダ２１は、例
えば、前述の図１（Ａ）に示したＪＰＥＧ符号化装置と
同様に構成されており、画像データをＪＰＥＧ符号化す
る。エンコーダ２１がＪＰＥＧ符号化を行うことにより
得られる符号化データは、例えば、半導体メモリ、光磁
気ディスク、磁気ディスク、光ディスク、磁気テープ、
相変化ディスクなどでなる記録媒体２３に記録され、あ
るいは、また、例えば、地上波、衛星回線、ＣＡＴＶ
（Cable Television）網、インターネット、公衆回線な
どでなる伝送媒体２４を介して伝送される。

【００４７】デコーダ２２は、記録媒体２３または伝送
媒体２４を介して提供される符号化データを受信して、
元の画像データに復号する。この復号化された画像デー
タは、例えば、図示せぬモニタに供給されて表示等され
る。

【００４８】次に、図３は、図２のデコーダ２２の構成
例を示している。

【００４９】符号化データは、エントロピー復号回路３
１に供給されるようになっており、エントロピー復号回
路３１は、符号化データを、エントロピー復号して、そ
の結果得られるブロックごとの量子化ＤＣＴ係数Ｑを、
係数変換回路３２に供給する。なお、符号化データに
は、図１（Ｃ）のエントロピー復号回路１１で説明した
場合と同様に、エントロピー符号化された量子化ＤＣＴ
係数の他、量子化テーブルも含まれるが、量子化テーブ
ルは、後述するように、必要に応じて、量子化ＤＣＴ係
数の復号に用いることが可能である。

【００５０】係数変換回路３２は、エントロピー復号回
路３１からの量子化ＤＣＴ係数Ｑと、後述する学習を行
うことにより求められるタップ係数を用いて、所定の予
測演算を行うことにより、ブロックごとの量子化ＤＣＴ
係数を、８×８画素の元のブロックに復号する。

【００５１】ブロック分解回路３３は、係数変換回路３
２において得られる、復号されたブロック（復号ブロッ
ク）のブロック化を解くことで、復号画像を得て出力す
る。

【００５２】次に、図４のフローチャートを参照して、
図３のデコーダ２２の処理について説明する。

【００５３】符号化データは、エントロピー復号回路３
１に順次供給され、ステップＳ１において、エントロピ
ー復号回路３１は、符号化データをエントロピー復号
し、ブロックごとの量子化ＤＣＴ係数Ｑを、係数変換回
路３２に供給する。係数変換回路３２は、ステップＳ２
において、エントロピー復号回路３１からのブロックご
との量子化ＤＣＴ係数Ｑを、タップ係数を用いた予測演
算を行うことにより、ブロックごとの画素値に復号し、
ブロック分解回路３３に供給する。ブロック分解回路３
３は、ステップＳ３において、係数変換回路３２からの
画素値のブロック（復号ブロック）のブロック化を解く
ブロック分解を行い、その結果得られる復号画像を出力
して、処理を終了する。

【００５４】次に、図３の係数変換回路３２では、例え
ば、クラス分類適応処理を利用して、量子化ＤＣＴ係数
を、画素値に復号することができる。

【００５５】クラス分類適応処理は、クラス分類処理と
適応処理とからなり、クラス分類処理によって、データ
を、その性質に基づいてクラス分けし、各クラスごとに
適応処理を施すものであり、適応処理は、以下のような
手法のものである。

【００５６】即ち、適応処理では、例えば、量子化ＤＣ
Ｔ係数と、所定のタップ係数との線形結合により、元の
画素の予測値を求めることで、量子化ＤＣＴ係数が、元
の画素値に復号される。

【００５７】具体的には、例えば、いま、ある画像を教
師データとするとともに、その画像を、ブロック単位で
ＤＣＴ処理し、さらに量子化して得られる量子化ＤＣＴ
係数を生徒データとして、教師データである画素の画素
値ｙの予測値Ｅ［ｙ］を、幾つかの量子化ＤＣＴ係数ｘ
₁，ｘ₂，・・・の集合と、所定のタップ係数ｗ₁，ｗ₂，
・・・の線形結合により規定される線形１次結合モデル
により求めることを考える。この場合、予測値Ｅ［ｙ］
は、次式で表すことができる。

【００５８】Ｅ［ｙ］＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・・・・（１）式（１）を一般化するために、タップ係数ｗ_jの集合で
なる行列Ｗ、生徒データｘ_ijの集合でなる行列Ｘ、およ
び予測値Ｅ［ｙ_j］の集合でなる行列Ｙ’を、

【数１】で定義すると、次のような観測方程式が成立する。

【００５９】ＸＷ＝Ｙ’ ・・・（２）ここで、行列Ｘの成分ｘ_ijは、ｉ件目の生徒データの集
合（ｉ件目の教師データｙ_iの予測に用いる生徒データ
の集合）の中のｊ番目の生徒データを意味し、行列Ｗの
成分ｗ_jは、生徒データの集合の中のｊ番目の生徒デー
タとの積が演算されるタップ係数を表す。また、ｙ
_iは、ｉ件目の教師データを表し、従って、Ｅ［ｙ_i］
は、ｉ件目の教師データの予測値を表す。なお、式
（１）の左辺におけるｙは、行列Ｙの成分ｙ_iのサフィ
ックスｉを省略したものであり、また、式（１）の右辺
におけるｘ₁，ｘ₂，・・・も、行列Ｘの成分ｘ_ijのサフ
ィックスｉを省略したものである。

【００６０】そして、この観測方程式に最小自乗法を適
用して、元の画素値ｙに近い予測値Ｅ［ｙ］を求めるこ
とを考える。この場合、教師データとなる真の画素値ｙ
の集合でなる行列Ｙ、および画素値ｙに対する予測値Ｅ
［ｙ］の残差ｅの集合でなる行列Ｅを、

【数２】で定義すると、式（２）から、次のような残差方程式が
成立する。

【００６１】ＸＷ＝Ｙ＋Ｅ・・・（３）

【００６２】この場合、元の画素値ｙに近い予測値Ｅ
［ｙ］を求めるためのタップ係数ｗ_jは、自乗誤差

【数３】を最小にすることで求めることができる。

【００６３】従って、上述の自乗誤差をタップ係数ｗ_j
で微分したものが０になる場合、即ち、次式を満たすタ
ップ係数ｗ_jが、元の画素値ｙに近い予測値Ｅ［ｙ］を
求めるため最適値ということになる。

【００６４】

【数４】・・・（４）

【００６５】そこで、まず、式（３）を、タップ係数ｗ
_jで微分することにより、次式が成立する。

【００６６】

【数５】・・・（５）

【００６７】式（４）および（５）より、式（６）が得
られる。

【００６８】

【数６】・・・（６）

【００６９】さらに、式（３）の残差方程式における生
徒データｘ_ij、タップ係数ｗ_j、教師データｙ_i、および
残差ｅ_iの関係を考慮すると、式（６）から、次のよう
な正規方程式を得ることができる。

【００７０】

【数７】・・・（７）

【００７１】なお、式（７）に示した正規方程式は、行
列（共分散行列）Ａおよびベクトルｖを、

【数８】で定義するとともに、ベクトルＷを、数１で示したよう
に定義すると、式ＡＷ＝ｖ・・・（８）で表すことができる。

【００７２】式（７）における各正規方程式は、生徒デ
ータｘ_ijおよび教師データｙ_iのセットを、ある程度の
数だけ用意することで、求めるべきタップ係数ｗ_jの数
Ｊと同じ数だけたてることができ、従って、式（８）
を、ベクトルＷについて解くことで（但し、式（８）を
解くには、式（８）における行列Ａが正則である必要が
ある）、最適なタップ係数（ここでは、自乗誤差を最小
にするタップ係数）ｗ_jを求めることができる。なお、
式（８）を解くにあたっては、例えば、掃き出し法（Ga
uss-Jordanの消去法）などを用いることが可能である。

【００７３】以上のようにして、最適なタップ係数ｗ_j
を求めておき、さらに、そのタップ係数ｗ_jを用い、式
（１）により、元の画素値ｙに近い予測値Ｅ［ｙ］を求
めるのが適応処理である。

【００７４】なお、例えば、教師データとして、ＪＰＥ
Ｇ符号化する画像と同一画質の画像を用いるとともに、
生徒データとして、その教師データをＤＣＴおよび量子
化して得られる量子化ＤＣＴ係数を用いた場合、タップ
係数としては、ＪＰＥＧ符号化された画像データを、元
の画像データに復号するのに、予測誤差が、統計的に最
小となるものが得られることになる。

【００７５】従って、ＪＰＥＧ符号化を行う際の圧縮率
を高くしても、即ち、量子化に用いる量子化ステップを
粗くしても、適応処理によれば、予測誤差が、統計的に
最小となる復号処理が施されることになり、実質的に、
ＪＰＥＧ符号化された画像の復号処理と、その画質を向
上させるための処理とが、同時に施されることになる。
その結果、圧縮率を高くしても、復号画像の画質を維持
することができる。

【００７６】また、例えば、教師データとして、ＪＰＥ
Ｇ符号化する画像よりも高画質の画像を用いるととも
に、生徒データとして、その教師データの画質を、ＪＰ
ＥＧ符号化する画像と同一画質に劣化させ、さらに、Ｄ
ＣＴおよび量子化して得られる量子化ＤＣＴ係数を用い
た場合、タップ係数としては、ＪＰＥＧ符号化された画
像データを、高画質の画像データに復号するのに、予測
誤差が、統計的に最小となるものが得られることにな
る。

【００７７】従って、この場合、適応処理によれば、Ｊ
ＰＥＧ符号化された画像の復号処理と、その画質をより
向上させるための処理とが、同時に施されることにな
る。なお、上述したことから、教師データまたは生徒デ
ータとなる画像の画質を変えることで、復号画像の画質
を任意のレベルとするタップ係数を得ることができる。

【００７８】また、上述の場合には、教師データとして
画像データを用い、生徒データとして量子化ＤＣＴ係数
を用いるようにしたが、その他、例えば、教師データと
してＤＣＴ係数を用い、生徒データとして、そのＤＣＴ
係数を量子化した量子化ＤＣＴ係数を用いるようにする
ことも可能である。この場合、適応処理によれば、量子
化ＤＣＴ係数から、量子化誤差を低減（抑制）したＤＣ
Ｔ係数を予測するためのタップ係数が得られることにな
る。

【００７９】図５は、以上のようなクラス分類適応処理
により、量子化ＤＣＴ係数を画素値に復号する、図３の
係数変換回路３２の第１の構成例を示している。

【００８０】エントロピー復号回路３１（図３）が出力
するブロックごとの量子化ＤＣＴ係数は、予測タップ抽
出回路４１およびクラスタップ抽出回路４２に供給され
るようになっている。

【００８１】予測タップ抽出回路４１は、そこに供給さ
れる量子化ＤＣＴ係数のブロック（以下、適宜、ＤＣＴ
ブロックという）に対応する画素値のブロック（この画
素値のブロックは、現段階では存在しないが、仮想的に
想定される）（以下、適宜、画素ブロックという）を、
順次、注目画素ブロックとし、さらに、その注目画素ブ
ロックを構成する各画素を、例えば、いわゆるラスタス
キャン順に、順次、注目画素とする。さらに、予測タッ
プ抽出回路４１は、注目画素の画素値を予測するのに用
いる量子化ＤＣＴ係数を、パターンテーブル記憶部４６
のパターンテーブルを参照することで抽出し、予測タッ
プとする。

【００８２】即ち、パターンテーブル記憶部４６は、注
目画素についての予測タップとして抽出する量子化ＤＣ
Ｔ係数の、注目画素に対する位置関係を表したパターン
情報が登録されているパターンテーブルを記憶してお
り、予測タップ抽出回路４１は、そのパターン情報に基
づいて、量子化ＤＣＴ係数を抽出し、注目画素について
の予測タップを構成する。

【００８３】予測タップ抽出回路４１は、８×８の６４
画素でなる画素ブロックを構成する各画素についての予
測タップ、即ち、６４画素それぞれについての６４セッ
トの予測タップを、上述のようにして構成し、積和演算
回路４５に供給する。

【００８４】クラスタップ抽出回路４２は、注目画素
を、幾つかのクラスのうちのいずれかに分類するための
クラス分類に用いる量子化ＤＣＴ係数を抽出して、クラ
スタップとする。

【００８５】なお、ＪＰＥＧ符号化では、画像が、画素
ブロックごとに符号化（ＤＣＴ処理および量子化）され
ることから、ある画素ブロックに属する画素は、例え
ば、すべて同一のクラスにクラス分類することとする。
従って、クラスタップ抽出回路４２は、ある画素ブロッ
クの各画素については、同一のクラスタップを構成す
る。即ち、クラスタップ抽出回路４２は、例えば、図６
に示すように、注目画素が属する画素ブロックに対応す
るＤＣＴブロックのすべての量子化ＤＣＴ係数、即ち、
８×８の６４個の量子化ＤＣＴ係数を、クラスタップと
して抽出する。但し、クラスタップは、注目画素ごと
に、異なる量子化ＤＣＴ係数で構成することが可能であ
る。

【００８６】ここで、画素ブロックに属する各画素を、
すべて同一のクラスにクラス分類するということは、そ
の画素ブロックをクラス分類することと等価である。従
って、クラスタップ抽出回路４２には、注目画素ブロッ
クを構成する６４画素それぞれをクラス分類するための
６４セットのクラスタップではなく、注目画素ブロック
をクラス分類するための１セットのクラスタップを構成
させれば良く、このため、クラスタップ抽出回路４２
は、画素ブロックごとに、その画素ブロックをクラス分
類するために、その画素ブロックに対応するＤＣＴブロ
ックの６４個の量子化ＤＣＴ係数を抽出して、クラスタ
ップとするようになっている。

【００８７】なお、クラスタップを構成する量子化ＤＣ
Ｔ係数は、上述したパターンのものに限定されるもので
はない。

【００８８】クラスタップ抽出回路４２において得られ
る、注目画素ブロックのクラスタップは、クラス分類回
路４３に供給されるようになっており、クラス分類回路
４３は、クラスタップ抽出回路４２からのクラスタップ
に基づき、注目画素ブロックをクラス分類し、その結果
得られるクラスに対応するクラスコードを出力する。

【００８９】ここで、クラス分類を行う方法としては、
例えば、ADRC(Adaptive Dynamic Range Coding)等を採
用することができる。

【００９０】ADRCを用いる方法では、クラスタップを構
成する量子化ＤＣＴ係数が、ADRC処理され、その結果得
られるADRCコードにしたがって、注目画素ブロックのク
ラスが決定される。

【００９１】なお、KビットADRCにおいては、例えば、
クラスタップを構成する量子化ＤＣＴ係数の最大値MAX
と最小値MINが検出され、DR=MAX-MINを、集合の局所的
なダイナミックレンジとし、このダイナミックレンジDR
に基づいて、クラスタップを構成する量子化ＤＣＴ係数
がKビットに再量子化される。即ち、クラスタップを構
成する量子化ＤＣＴ係数の中から、最小値MINが減算さ
れ、その減算値がDR/2^Kで除算（量子化）される。そし
て、以上のようにして得られる、クラスタップを構成す
るKビットの各量子化ＤＣＴ係数を、所定の順番で並べ
たビット列が、ADRCコードとして出力される。従って、
クラスタップが、例えば、１ビットADRC処理された場合
には、そのクラスタップを構成する各量子化ＤＣＴ係数
は、最小値MINが減算された後に、最大値MAXと最小値MI
Nとの平均値で除算され、これにより、各量子化ＤＣＴ
係数が１ビットとされる（２値化される）。そして、そ
の１ビットの量子化ＤＣＴ係数を所定の順番で並べたビ
ット列が、ADRCコードとして出力される。

【００９２】なお、クラス分類回路４３には、例えば、
クラスタップを構成する量子化ＤＣＴ係数のレベル分布
のパターンを、そのままクラスコードとして出力させる
ことも可能であるが、この場合、クラスタップが、Ｎ個
の量子化ＤＣＴ係数で構成され、各量子化ＤＣＴ係数
に、Ｋビットが割り当てられているとすると、クラス分
類回路４３が出力するクラスコードの場合の数は、（２
^N）^K通りとなり、量子化ＤＣＴ係数のビット数Ｋに指数
的に比例した膨大な数となる。

【００９３】従って、クラス分類回路４３においては、
クラスタップの情報量を、上述のADRC処理や、あるいは
ベクトル量子化等によって圧縮してから、クラス分類を
行うのが好ましい。

【００９４】ところで、本実施の形態では、クラスタッ
プは、上述したように、６４個の量子化ＤＣＴ係数で構
成される。従って、例えば、仮に、クラスタップを１ビ
ットADRC処理することにより、クラス分類を行うことと
しても、クラスコードの場合の数は、２⁶⁴通りという大
きな値となる。

【００９５】そこで、本実施の形態では、クラス分類回
路４３において、クラスタップを構成する量子化ＤＣＴ
係数から、重要性の高い特徴量を抽出し、その特徴量に
基づいてクラス分類を行うことで、クラス数を低減する
ようになっている。

【００９６】即ち、図７は、図５のクラス分類回路４３
の構成例を示している。

【００９７】クラスタップは、電力演算回路５１に供給
されるようになっており、電力演算回路５１は、クラス
タップを構成する量子化ＤＣＴ係数を、幾つかの空間周
波数帯域のものに分け、各周波数帯域の電力を演算す
る。

【００９８】即ち、電力演算回路５１は、クラスタップ
を構成する８×８個の量子化ＤＣＴ係数を、例えば、図
８に示すような４つの空間周波数帯域Ｓ₀，Ｓ₁，Ｓ₂，
Ｓ₃に分割する。

【００９９】ここで、クラスタップを構成する８×８個
の量子化ＤＣＴ係数それぞれを、アルファベットｘに、
図６に示したような、ラスタスキャン順に、０からのシ
ーケンシャルな整数を付して表すこととすると、空間周
波数帯域Ｓ₀は、４個の量子化ＤＣＴ係数ｘ₀，ｘ₁，
ｘ₈，ｘ₉から構成され、空間周波数帯域Ｓ₁は、１２個
の量子化ＤＣＴ係数ｘ₂，ｘ₃，ｘ₄，ｘ₅，ｘ₆，ｘ₇，ｘ
₁₀，ｘ₁₁，ｘ₁₂，ｘ₁₃，ｘ₁₄，ｘ₁₅から構成される。ま
た、空間周波数帯域Ｓ₂は、１２個の量子化ＤＣＴ係数
ｘ₁₆，ｘ₁₇，ｘ₂₄，ｘ₂₅，ｘ₃₂，ｘ₃₃，ｘ₄₀，ｘ₄₁，ｘ
₄₈，ｘ₄₉，ｘ₅₆，ｘ₅₇から構成され、空間周波数帯域Ｓ
₃は、３６個の量子化ＤＣＴ係数ｘ₁₈，ｘ₁ ₉，ｘ₂₀，ｘ
₂₁，ｘ₂₂，ｘ₂₃，ｘ₂₆，ｘ₂₇，ｘ₂₈，ｘ₂₉，ｘ₃₀，
ｘ₃₁，ｘ₃₄，ｘ₃ ₅，ｘ₃₆，ｘ₃₇，ｘ₃₈，ｘ₃₉，ｘ₄₂，ｘ
₄₃，ｘ₄₄，ｘ₄₅，ｘ₄₆，ｘ₄₇，ｘ₅₀，ｘ₅ ₁，ｘ₅₂，
ｘ₅₃，ｘ₅₄，ｘ₅₅，ｘ₅₈，ｘ₅₉，ｘ₆₀，ｘ₆₁，ｘ₆₂，ｘ
₆₃から構成される。

【０１００】さらに、電力演算回路５１は、空間周波数
帯域Ｓ₀，Ｓ₁，Ｓ₂，Ｓ₃それぞれについて、量子化ＤＣ
Ｔ係数のＡＣ成分の電力Ｐ₀，Ｐ₁，Ｐ₂，Ｐ₃を演算し、
クラスコード生成回路５２に出力する。

【０１０１】即ち、電力演算回路５１は、空間周波数帯
域Ｓ₀については、上述の４個の量子化ＤＣＴ係数ｘ₀，
ｘ₁，ｘ₈，ｘ₉のうちのＡＣ成分ｘ₁，ｘ₈，ｘ₉の２乗和
ｘ₁ ²＋ｘ₈ ²＋ｘ₉ ²を求め、これを、電力Ｐ₀として、ク
ラスコード生成回路５２に出力する。また、電力演算回
路５１は、空間周波数帯域Ｓ１についての、上述の１２
個の量子化ＤＣＴ係数のＡＣ成分、即ち、１２個すべて
の量子化ＤＣＴ係数の２乗和を求め、これを、電力Ｐ₁
として、クラスコード生成回路５２に出力する。さら
に、電力演算回路５１は、空間周波数帯域Ｓ₂とＳ₃につ
いても、空間周波数帯域Ｓ₁における場合と同様にし
て、それぞれの電力Ｐ₂とＰ₃を求め、クラスコード生成
回路５２に出力する。

【０１０２】クラスコード生成回路５２は、電力演算回
路５１からの電力Ｐ₀，Ｐ₁，Ｐ₂，Ｐ₃を、閾値テーブル
記憶部５３に記憶された、対応する閾値ＴＨ０，ＴＨ
１，ＴＨ２，ＴＨ３とそれぞれ比較し、それぞれの大小
関係に基づいて、クラスコードを出力する。即ち、クラ
スコード生成回路５２は、電力Ｐ₀と閾値ＴＨ０とを比
較し、その大小関係を表す１ビットのコードを得る。同
様に、クラスコード生成回路５２は、電力Ｐ₁と閾値Ｔ
Ｈ１、電力Ｐ₂と閾値ＴＨ２、電力Ｐ₃と閾値ＴＨ３を、
それぞれ比較することにより、それぞれについて、１ビ
ットのコードを得る。そして、クラスコード生成回路５
２は、以上のようにして得られる４つの１ビットのコー
ドを、例えば、所定の順番で並べることにより得られる
４ビットのコード（従って、０乃至１５のうちのいずれ
かの値）を、注目画素ブロックのクラスを表すクラスコ
ードとして出力する。従って、本実施の形態では、注目
画素ブロックは、２⁴（＝１６）個のクラスのうちのい
ずれかにクラス分類されることになる。

【０１０３】閾値テーブル記憶部５３は、空間周波数帯
域Ｓ₀乃至Ｓ₃の電力Ｐ₀乃至Ｐ₃とそれぞれ比較する閾値
ＴＨ０乃至ＴＨ３を記憶している。

【０１０４】なお、上述の場合には、クラス分類処理
に、量子化ＤＣＴ係数のＤＣ成分ｘ₀が用いられない
が、このＤＣ成分ｘ₀をも用いてクラス分類処理を行う
ことも可能である。

【０１０５】図５に戻り、以上のようなクラス分類回路
４３が出力するクラスコードは、係数テーブル記憶部４
４およびパターンテーブル記憶部４６に、アドレスとし
て与えられる。

【０１０６】係数テーブル記憶部４４は、後述するよう
なタップ係数の学習処理が行われることにより得られる
タップ係数が登録された係数テーブルを記憶しており、
クラス分類回路４３が出力するクラスコードに対応する
アドレスに記憶されているタップ係数を積和演算回路４
５に出力する。

【０１０７】ここで、本実施の形態では、画素ブロック
がクラス分類されるから、注目画素ブロックについて、
１つのクラスコードが得られる。一方、画素ブロック
は、本実施の形態では、８×８画素の６４画素で構成さ
れるから、注目画素ブロックについて、それを構成する
６４画素それぞれを復号するための６４セットのタップ
係数が必要である。従って、係数テーブル記憶部４４に
は、１つのクラスコードに対応するアドレスに対して、
６４セットのタップ係数が記憶されている。

【０１０８】積和演算回路４５は、予測タップ抽出回路
４１が出力する予測タップと、係数テーブル記憶部４４
が出力するタップ係数とを取得し、その予測タップとタ
ップ係数とを用いて、式（１）に示した線形予測演算
（積和演算）を行い、その結果得られる注目画素ブロッ
クの８×８画素の画素値を、対応するＤＣＴブロックの
復号結果として、ブロック分解回路３３（図３）に出力
する。

【０１０９】ここで、予測タップ抽出回路４１において
は、上述したように、注目画素ブロックの各画素が、順
次、注目画素とされるが、積和演算回路４５は、注目画
素ブロックの、注目画素となっている画素の位置に対応
した動作モード（以下、適宜、画素位置モードという）
となって、処理を行う。

【０１１０】即ち、例えば、注目画素ブロックの画素の
うち、ラスタスキャン順で、ｉ番目の画素を、ｐ_iと表
し、画素ｐ_iが、注目画素となっている場合、積和演算
回路４５は、画素位置モード＃ｉの処理を行う。

【０１１１】具体的には、上述したように、係数テーブ
ル記憶部４４は、注目画素ブロックを構成する６４画素
それぞれを復号するための６４セットのタップ係数を出
力するが、そのうちの画素ｐ_iを復号するためのタップ
係数のセットをＷ_iと表すと、積和演算回路４５は、動
作モードが、画素位置モード＃ｉのときには、予測タッ
プと、６４セットのタップ係数のうちのセットＷ_iとを
用いて、式（１）の積和演算を行い、その積和演算結果
を、画素ｐ_iの復号結果とする。

【０１１２】パターンテーブル記憶部４６は、後述する
ような量子化ＤＣＴ係数の抽出パターンを表すパターン
情報の学習処理が行われることにより得られるパターン
情報が登録されたパターンテーブルを記憶しており、ク
ラス分類回路４３が出力するクラスコードに対応するア
ドレスに記憶されているパターン情報を、予測タップ抽
出回路４１に出力する。

【０１１３】ここで、パターンテーブル記憶部４６にお
いても、係数テーブル記憶部４４について説明したのと
同様の理由から、１つのクラスコードに対応するアドレ
スに対して、６４セットのパターン情報（各画素位置モ
ードごとのパターン情報）が記憶されている。

【０１１４】次に、図９のフローチャートを参照して、
図５の係数変換回路３２の処理について説明する。

【０１１５】エントロピー復号回路３１が出力するブロ
ックごとの量子化ＤＣＴ係数は、予測タップ抽出回路４
１およびクラスタップ抽出回路４２において順次受信さ
れ、予測タップ抽出回路４１は、そこに供給される量子
化ＤＣＴ係数のブロック（ＤＣＴブロック）に対応する
画素ブロックを、順次、注目画素ブロックとする。

【０１１６】そして、クラスタップ抽出回路４２は、ス
テップＳ１１において、そこで受信した量子化ＤＣＴ係
数の中から、注目画素ブロックをクラス分類するのに用
いるものを抽出して、クラスタップを構成し、クラス分
類回路４３に供給する。

【０１１７】クラス分類回路４３は、ステップＳ１２に
おいて、クラスタップ抽出回路４２からのクラスタップ
を用いて、注目画素ブロックをクラス分類し、その結果
得られるクラスコードを、係数テーブル記憶部４４およ
びパターンテーブル記憶部４６に出力する。

【０１１８】即ち、ステップＳ１２では、図１０のフロ
ーチャートに示すように、まず最初に、ステップＳ２１
において、クラス分類回路４３（図７）の電力演算回路
５１が、クラスタップを構成する８×８個の量子化ＤＣ
Ｔ係数を、図８に示した４つの空間周波数帯域Ｓ₀乃至
Ｓ₃に分割し、それぞれの電力Ｐ₀乃至Ｐ₃を演算する。
この電力Ｐ₀乃至Ｐ₃は、電力演算回路５１からクラスコ
ード生成回路５２に出力される。

【０１１９】クラスコード生成回路５２は、ステップＳ
２２において、閾値テーブル記憶部５３から閾値ＴＨ０
乃至ＴＨ３を読み出し、電力演算回路５１からの電力Ｐ
₀乃至Ｐ₃それぞれと、閾値ＴＨ０乃至ＴＨ３それぞれと
を比較し、それぞれの大小関係に基づいたクラスコード
を生成して、リターンする。

【０１２０】図９に戻り、ステップＳ１２において以上
のようにして得られるクラスコードは、クラス分類回路
４３から係数テーブル記憶部４４およびパターンテーブ
ル記憶部４６に対して、アドレスとして与えられる。

【０１２１】係数テーブル記憶部４４は、クラス分類回
路４３からのアドレスとしてのクラスコードを受信する
と、ステップＳ１３において、そのアドレスに記憶され
ている６４セットのタップ係数を読み出し、積和演算回
路４５に出力する。また、パターンテーブル記憶部４６
も、クラス分類回路４３からのアドレスとしてのクラス
コードを受信すると、ステップＳ１３において、そのア
ドレスに記憶されている６４セットのパターン情報を読
み出し、予測タップ抽出回路４１に出力する。

【０１２２】そして、ステップＳ１４に進み、予測タッ
プ抽出回路４１は、注目画素ブロックの画素のうち、ラ
スタスキャン順で、まだ、注目画素とされていない画素
を、注目画素として、その注目画素の画素位置モードに
対応するパターン情報にしたがって、その注目画素の画
素値を予測するのに用いる量子化ＤＣＴ係数を抽出し、
予測タップとして構成する。この予測タップは、予測タ
ップ抽出回路４１から積和演算回路４５に供給される。

【０１２３】積和演算回路４５は、ステップＳ１５にお
いて、ステップＳ１３で係数テーブル記憶部４４が出力
する６４セットのタップ係数のうち、注目画素に対する
画素位置モードに対応するタップ係数のセットを取得
し、そのタップ係数のセットと、ステップＳ１４で予測
タップ抽出回路４１から供給された予測タップとを用い
て、式（１）に示した積和演算を行い、注目画素の画素
値の復号値を得る。

【０１２４】そして、ステップＳ１６に進み、予測タッ
プ抽出回路４１は、注目画素ブロックのすべての画素
を、注目画素として処理を行ったかどうかを判定する。
ステップＳ１６において、注目画素ブロックのすべての
画素を、注目画素として、まだ処理を行っていないと判
定された場合、ステップＳ１４に戻り、予測タップ抽出
回路４１は、注目画素ブロックの画素のうち、ラスタス
キャン順で、まだ、注目画素とされていない画素を、新
たに注目画素として、以下、同様の処理を繰り返す。

【０１２５】また、ステップＳ１６において、注目画素
ブロックのすべての画素を、注目画素として処理を行っ
たと判定された場合、即ち、注目画素ブロックのすべて
の画素の復号値が得られた場合、積和演算回路４５は、
その復号値で構成される画素ブロック（復号ブロック）
を、ブロック分解回路３３（図３）に出力し、処理を終
了する。

【０１２６】なお、図９のフローチャートにしたがった
処理は、予測タップ抽出回路４１が、新たな注目画素ブ
ロックを設定するごとに繰り返し行われる。

【０１２７】次に、図１１は、図５の係数テーブル記憶
部４４に記憶させるタップ係数の学習処理を行うタップ
係数学習装置の一実施の形態の構成例を示している。

【０１２８】ブロック化回路６１には、１枚以上の学習
用の画像データが、学習時の教師となる教師データとし
て供給されるようになっており、ブロック化回路６１
は、教師データとしての画像を、ＪＰＥＧ符号化におけ
る場合と同様に、８×８画素の画素ブロックにブロック
化する。

【０１２９】ＤＣＴ回路６２は、ブロック化回路６１が
ブロック化した画素ブロックを、順次、注目画素ブロッ
クとして読み出し、その注目画素ブロックを、ＤＣＴ処
理することで、ＤＣＴ係数のブロックとする。このＤＣ
Ｔ係数のブロックは、量子化回路６３に供給される。

【０１３０】量子化回路６３は、ＤＣＴ回路６２からの
ＤＣＴ係数のブロックを、ＪＰＥＧ符号化に用いられる
のと同一の量子化テーブルにしたがって量子化し、その
結果得られる量子化ＤＣＴ係数のブロック（ＤＣＴブロ
ック）を、予測タップ抽出回路６４およびクラスタップ
抽出回路６５に順次供給する。

【０１３１】予測タップ抽出回路６４は、注目画素ブロ
ックの画素のうち、ラスタスキャン順で、まだ、注目画
素とされていない画素を、注目画素として、その注目画
素について、パターンテーブル記憶部７０から読み出さ
れるパターン情報を参照することにより、図５の予測タ
ップ抽出回路４１が構成するのと同一の予測タップを、
量子化回路６３の出力から、必要な量子化ＤＣＴ係数を
抽出することで構成する。この予測タップは、学習時の
生徒となる生徒データとして、予測タップ抽出回路６４
から正規方程式加算回路６７に供給される。

【０１３２】クラスタップ抽出回路６５は、注目画素ブ
ロックについて、図５のクラスタップ抽出回路４２が構
成するのと同一のクラスタップを、量子化回路６３の出
力から、必要な量子化ＤＣＴ係数を抽出することで構成
する。このクラスタップは、クラスタップ抽出回路６５
からクラス分類回路６６に供給される。

【０１３３】クラス分類回路６６は、クラスタップ抽出
回路６５からのクラスタップを用いて、図５のクラス分
類回路４３と同一の処理を行うことで、注目画素ブロッ
クをクラス分類し、その結果得られるクラスコードを、
正規方程式加算回路６７およびパターンテーブル記憶部
７０に供給する。

【０１３４】正規方程式加算回路６７は、ブロック化回
路６１から、教師データとしての注目画素（の画素値）
を読み出し、予測タップ構成回路６４からの生徒データ
としての予測タップ（を構成する量子化ＤＣＴ係数）、
および注目画素を対象とした足し込みを行う。

【０１３５】即ち、正規方程式加算回路６７は、クラス
分類回路６６から供給されるクラスコードに対応するク
ラスごとに、予測タップ（生徒データ）を用い、式
（８）の行列Ａにおける各コンポーネントとなってい
る、生徒データどうしの乗算（ｘ_inｘ_im）と、サメーシ
ョン（Σ）に相当する演算を行う。

【０１３６】さらに、正規方程式加算回路６７は、やは
り、クラス分類回路６６から供給されるクラスコードに
対応するクラスごとに、予測タップ（生徒データ）およ
び注目画素（教師データ）を用い、式（８）のベクトル
ｖにおける各コンポーネントとなっている、生徒データ
と教師データの乗算（ｘ_inｙ_i）と、サメーション
（Σ）に相当する演算を行う。

【０１３７】なお、正規方程式加算回路６７における、
上述のような足し込みは、各クラスについて、注目画素
に対する画素位置モードごとに行われる。

【０１３８】正規方程式加算回路６７は、以上の足し込
みを、ブロック化回路６１に供給された教師画像を構成
する画素すべてを注目画素として行い、これにより、各
クラスについて、画素位置モードごとに、式（８）に示
した正規方程式がたてられる。

【０１３９】タップ係数決定回路６８は、正規方程式加
算回路６７においてクラスごとに（かつ、画素位置モー
ドごとに）生成された正規方程式を解くことにより、ク
ラスごとに、６４セットのタップ係数を求め、係数テー
ブル記憶部６９の、各クラスに対応するアドレスに供給
する。

【０１４０】なお、学習用の画像として用意する画像の
枚数や、その画像の内容等によっては、正規方程式加算
回路６７において、タップ係数を求めるのに必要な数の
正規方程式が得られないクラスが生じる場合があり得る
が、タップ係数決定回路６８は、そのようなクラスにつ
いては、例えば、デフォルトのタップ係数を出力する。

【０１４１】係数テーブル記憶部６９は、タップ係数決
定回路６８から供給されるクラスごとの６４セットのタ
ップ係数を記憶する。

【０１４２】パターンテーブル記憶部７０は、図５のパ
ターンテーブル記憶部４６が記憶しているのと同一のパ
ターンテーブルを記憶しており、クラス分類回路６６か
らのクラスコードに対応するアドレスに記憶されている
６４セットのパターン情報を読み出し、予測タップ抽出
回路６４に供給する。

【０１４３】次に、図１２のフローチャートを参照し
て、図１１のタップ係数学習装置の処理（学習処理）に
ついて説明する。

【０１４４】ブロック化回路６１には、学習用の画像デ
ータが、教師データとして供給され、ブロック化回路６
１は、ステップＳ３１において、教師データとしての画
像データを、ＪＰＥＧ符号化における場合と同様に、８
×８画素の画素ブロックにブロック化して、ステップＳ
３２に進む。ステップＳ３２では、ＤＣＴ回路６２が、
ブロック化回路６１がブロック化した画素ブロックを、
順次読み出し、その注目画素ブロックを、ＤＣＴ処理す
ることで、ＤＣＴ係数のブロックとし、ステップＳ３３
に進む。ステップＳ３３では、量子化回路６３が、ＤＣ
Ｔ回路６２において得られたＤＣＴ係数のブロックを順
次読み出し、ＪＰＥＧ符号化に用いられるのと同一の量
子化テーブルにしたがって量子化して、量子化ＤＣＴ係
数で構成されるブロック（ＤＣＴブロック）とする。

【０１４５】そして、ステップＳ３４に進み、クラスタ
ップ抽出回路６５は、ブロック化回路６１でブロック化
された画素ブロックのうち、まだ注目画素ブロックとさ
れていないものを、注目画素ブロックとする。さらに、
クラスタップ抽出回路６５は、注目画素ブロックをクラ
ス分類するのに用いる量子化ＤＣＴ係数を、量子化回路
６３で得られたＤＣＴブロックから抽出して、クラスタ
ップを構成し、クラス分類回路６６に供給する。クラス
分類回路６６は、ステップＳ３５において、図１０のフ
ローチャートで説明した場合と同様に、クラスタップ抽
出回路６５からのクラスタップを用いて、注目画素ブロ
ックをクラス分類し、その結果得られるクラスコード
を、正規方程式加算回路６７およびパターンテーブル記
憶部７０に供給して、ステップＳ３６に進む。

【０１４６】これにより、パターンテーブル記憶部７０
は、クラス分類回路６６からのクラスコードに対応する
アドレスに記憶された６４セットのパターン情報を読み
出し、予測タップ抽出回路６４に供給する。

【０１４７】ステップＳ３６では、予測タップ抽出回路
６４が、注目画素ブロックの画素のうち、ラスタスキャ
ン順で、まだ、注目画素とされていない画素を、注目画
素として、パターンテーブル記憶部７０からの６４セッ
トのパターン情報のうちの、注目画素の画素位置モード
に対応するものにしたがって、図５の予測タップ抽出回
路４１が構成するのと同一の予測タップを、量子化回路
６３の出力から必要な量子化ＤＣＴ係数を抽出すること
で構成する。そして、予測タップ抽出回路６４は、注目
画素についての予測タップを、生徒データとして、正規
方程式加算回路６７に供給し、ステップＳ３７に進む。

【０１４８】ステップＳ３７では、正規方程式加算回路
６７は、ブロック化回路６１から、教師データとしての
注目画素を読み出し、生徒データとしての予測タップ
（を構成する量子化ＤＣＴ係数）、および教師データと
しての注目画素を対象として、式（８）の行列Ａとベク
トルｖの、上述したような足し込みを行う。なお、この
足し込みは、クラス分類回路６６からのクラスコードに
対応するクラスごとに、かつ注目画素に対する画素位置
モードごとに行われる。

【０１４９】そして、ステップＳ３８に進み、予測タッ
プ抽出回路６４は、注目画素ブロックのすべての画素
を、注目画素として、足し込みを行ったかどうかを判定
する。ステップＳ３８において、注目画素ブロックのす
べての画素を、注目画素として、まだ足し込みを行って
いないと判定された場合、ステップＳ３６に戻り、予測
タップ抽出回路６４は、注目画素ブロックの画素のう
ち、ラスタスキャン順で、まだ、注目画素とされていな
い画素を、新たに注目画素として、以下、同様の処理を
繰り返す。

【０１５０】また、ステップＳ３８において、注目画素
ブロックのすべての画素を、注目画素として、足し込み
を行ったと判定された場合、ステップＳ３９に進み、ブ
ロック化回路６１は、教師データとしての画像から得ら
れたすべての画素ブロックを、注目画素ブロックとして
処理を行ったかどうかを判定する。ステップＳ３９にお
いて、教師データとしての画像から得られたすべての画
素ブロックを、注目画素ブロックとして、まだ処理を行
っていないと判定された場合、ステップＳ３４に戻り、
ブロック化回路６１でブロック化された画素ブロックの
うち、まだ注目画素ブロックとされていないものが、新
たに注目画素ブロックとされ、以下、同様の処理が繰り
返される。

【０１５１】一方、ステップＳ３９において、教師デー
タとしての画像から得られたすべての画素ブロックを、
注目画素ブロックとして処理を行ったと判定された場
合、即ち、例えば、正規方程式加算回路６７において、
各クラスについて、画素位置モードごとの正規方程式が
得られた場合、ステップＳ４０に進み、タップ係数決定
回路６８は、各クラスの画素位置モードごとに生成され
た正規方程式を解くことにより、各クラスごとに、その
クラスの６４の画素位置モードそれぞれに対応する６４
セットのタップ係数を求め、係数テーブル記憶部６９
の、各クラスに対応するアドレスに供給して記憶させ、
処理を終了する。

【０１５２】以上のようにして、係数テーブル記憶部６
９に記憶された各クラスごとのタップ係数が、図５の係
数テーブル記憶部４４に記憶されている。

【０１５３】従って、係数テーブル記憶部４４に記憶さ
れたタップ係数は、線形予測演算を行うことにより得ら
れる元の画素値の予測値の予測誤差（ここでは、自乗誤
差）が、統計的に最小になるように学習を行うことによ
り求められたものであり、その結果、図５の係数変換回
路３２によれば、ＪＰＥＧ符号化された画像を、元の画
像に限りなく近い画像に復号することができる。

【０１５４】また、上述したように、ＪＰＥＧ符号化さ
れた画像の復号処理と、その画質を向上させるための処
理とが、同時に施されることとなるので、ＪＰＥＧ符号
化された画像から、効率的に、画質の良い復号画像を得
ることができる。

【０１５５】次に、図１３は、図５のパターンテーブル
記憶部４６および図１１のパターンテーブル記憶部７０
に記憶させるパターン情報の学習処理を行うパターン学
習装置の一実施の形態の構成例を示している。

【０１５６】ブロック化回路１５１には、１枚以上の学
習用の画像データが供給されるようになっており、ブロ
ック化回路１５１は、学習用の画像を、ＪＰＥＧ符号化
における場合と同様に、８×８画素の画素ブロックにブ
ロック化する。なお、ブロック化回路１５１に供給する
学習用の画像データは、図１１のタップ係数学習装置の
ブロック化回路６１に供給される学習用の画像データと
同一のものであっても良いし、異なるものであっても良
い。

【０１５７】ＤＣＴ回路１５２は、ブロック化回路１５
１がブロック化した画素ブロックを、順次読み出し、そ
の画素ブロックを、ＤＣＴ処理することで、ＤＣＴ係数
のブロックとする。このＤＣＴ係数のブロックは、量子
化回路１５３に供給される。

【０１５８】量子化回路１５３は、ＤＣＴ回路１５２か
らのＤＣＴ係数のブロックを、ＪＰＥＧ符号化に用いら
れるのと同一の量子化テーブルにしたがって量子化し、
その結果得られる量子化ＤＣＴ係数のブロック（ＤＣＴ
ブロック）を、加算回路１５４およびクラスタップ抽出
回路１５５およびに順次供給する。

【０１５９】加算回路１５４は、ブロック化回路１５１
において得られた画素ブロックを、順次、注目画素ブロ
ックとし、その注目画素ブロックの画素のうち、ラスタ
スキャン順で、まだ、注目画素とされていない画素を、
注目画素として、クラス分類回路１５６が出力する注目
画素のクラスコードごとに、その注目画素と、量子化回
路１５３が出力する量子化ＤＣＴ係数との間の相関値
（相互相関値）を求めるための加算演算を行う。

【０１６０】即ち、パターン情報の学習処理では、例え
ば、図１４（Ａ）に示すように、注目画素が属する注目
画素ブロックに対応するＤＣＴブロックを中心とする３
×３個のＤＣＴブロックの各位置にある量子化ＤＣＴ係
数それぞれと、注目画素とを対応させることを、図１４
（Ｂ）に示すように、学習用の画像から得られる画素ブ
ロックすべてについて行うことで、画素ブロックの各位
置にある画素それぞれと、画素ブロックに対応するＤＣ
Ｔブロックを中心とする３×３個のＤＣＴブロックの各
位置にある量子化ＤＣＴ係数それぞれとの間の相関値を
演算し、画素ブロックの各位置にある画素それぞれにつ
いて、例えば、図１４（Ｃ）において■印で示すよう
に、その画素との相関値が大きい位置関係にある量子化
ＤＣＴ係数の位置パターンを、パターン情報とするよう
になっている。即ち、図１４（Ｃ）は、画素ブロックの
左から３番目で、上から１番目の画素との相関が大きい
位置関係にある量子化ＤＣＴ係数の位置パターンを、■
印で表しており、このような位置パターンが、パターン
情報とされる。

【０１６１】ここで、画素ブロックの左からｘ＋１番目
で、上からｙ＋１番目の画素を、A(x,y)と表すとともに
（本実施の形態では、ｘ，ｙは、０乃至７（＝８−１）
の範囲の整数）、その画素が属する画素ブロックに対応
するＤＣＴブロックを中心とする３×３個のＤＣＴブロ
ックの左からｓ＋１番目で、上からｔ＋１番目の量子化
ＤＣＴ係数をB(s,t)と表すと（本実施の形態では、ｓ，
ｔは、０乃至２３（＝８×３−１）の範囲の整数）、画
素A(x,y)と、その画素A(x,y)に対して所定の位置関係に
ある量子化ＤＣＴ係数B(s,t)との相互相関値Ｒ
_A(x,y)B(s,t)は、次式で表される。

【０１６２】Ｒ_A(x,y)B(s,t)＝Σ(A(x,y)-A'(x,y))(B(s,t)-B'(s,t)) /(√(Σ(A(x,y)-A'(x,y))²)√(Σ(B(s,t)-B'(s,t))²)) ・・・（９）但し、式（９）において（後述する式（１０）乃至（１
２）においても同様）、サメーション（Σ）は、学習用
の画像から得られた画素ブロックすべてについての加算
を表す。また、A'(x,y)は、学習用の画像から得られた
画素ブロックの位置（ｘ，ｙ）にある画素（値）の平均
値を、B'(s,t)は、学習用の画像から得られた画素ブロ
ックに対する３×３個のＤＣＴブロックの位置（ｓ，
ｔ）にある量子化ＤＣＴ係数の平均値をそれぞれ表す。

【０１６３】従って、学習用の画像から得られた画素ブ
ロックの総数をＮと表すと、平均値A'(x,y)およびB'(s,
t)は、次式のように表すことができる。

【０１６４】 A'(x,y)＝（ΣA(x,y))/N B'(s,t)＝（ΣB(s,t))/N ・・・（１０）

【０１６５】式（１０）を式（９）に代入すると、次式
が導かれる。

【０１６６】Ｒ_A(x,y)B(s,t)＝NΣ(A(x,y)B(s,t))-(ΣA(x,y))(ΣB(s,t)) /(√(NΣA(x,y)²-(ΣA(x,y))²)√(NΣB(s,t)²-(ΣB(s,t))²)) ・・・（１１）

【０１６７】式（１１）より、相関値Ｒ_A(x,y)B(s,t)を
求めるには、 ΣA(x,y)，ΣB(s,t)，ΣA(x,y)²，ΣB(s,t)²，Σ(A(x,y)B(s,t)) ・・・（１２）の合計５式の加算演算を行う必要があり、加算回路１５
４は、この５式の加算演算を行う。

【０１６８】なお、ここでは、説明を簡単にするため
に、クラスを考慮しなかったが、図１３のパターン学習
装置では、加算回路１５４は、式（１２）の５式の加算
演算を、クラス分類回路１５６から供給されるクラスコ
ードごとに分けて行う。従って、上述の場合には、サメ
ーション（Σ）は、学習用の画像から得られた画素ブロ
ックすべてについての加算を表すこととしたが、クラス
を考慮する場合には、式（１２）のサメーション（Σ）
は、学習用の画像から得られた画素ブロックうち、各ク
ラスに属するものについての加算を表すことになる。

【０１６９】図１３に戻り、加算回路１５４は、学習用
の画像について、クラスごとに、画素ブロックの各位置
にある画素と、その画素ブロックに対応するＤＣＴブロ
ックを中心とする３×３個のＤＣＴブロックの各位置に
ある量子化ＤＣＴ係数との相関値を演算するための式
（１２）に示した加算演算結果を得ると、その加算演算
結果を、相関係数算出回路１５７に出力する。

【０１７０】クラスタップ抽出回路１５５は、注目画素
ブロックについて、図５のクラスタップ抽出回路４２が
構成するのと同一のクラスタップを、量子化回路１５３
の出力から、必要な量子化ＤＣＴ係数を抽出することで
構成する。このクラスタップは、クラスタップ抽出回路
１５５からクラス分類回路１５６に供給される。

【０１７１】クラス分類回路１５６は、クラスタップ抽
出回路１５５からのクラスタップを用いて、図５のクラ
ス分類回路４３と同一の処理を行うことで、注目画素ブ
ロックをクラス分類し、その結果得られるクラスコード
を、加算回路１５４に供給する。

【０１７２】相関係数算出回路１５７は、加算回路１５
４の出力を用いて、式（１１）にしたがい、クラスごと
に、画素ブロックの各位置にある画素と、その画素ブロ
ックに対応するＤＣＴブロックを中心とする３×３個の
ＤＣＴブロックの各位置にある量子化ＤＣＴ係数との相
関値を演算し、パターン選択回路１５８に供給する。

【０１７３】パターン選択回路１５８は、相関係数算出
回路１５７からの相関値に基づいて、画素ブロックの各
位置にある８×８の画素それぞれとの相関値が大きい位
置関係にあるＤＣＴ係数の位置を、クラスごとに認識す
る。即ち、パターン選択回路１５８は、例えば、画素ブ
ロックの各位置にある画素との相関値（の絶対値）が所
定の閾値以上となっているＤＣＴ係数の位置を、クラス
ごとに認識する。あるいは、また、パターン選択回路１
５８は、例えば、画素ブロックの各位置にある画素との
相関値が所定の順位以上であるＤＣＴ係数の位置を、ク
ラスごとに認識する。そして、パターン選択回路１５８
は、クラスごとに認識した、８×８画素それぞれについ
ての（画素位置モードごとの）６４セットのＤＣＴ係数
の位置パターンを、パターン情報として、パターンテー
ブル記憶部１５９に供給する。

【０１７４】なお、パターン選択回路１５８において、
画素ブロックの各位置にある画素との相関値が所定の順
位以上であるＤＣＴ係数の位置を認識するようにした場
合には、その認識されるＤＣＴ係数の位置の数は固定
（所定の順位に相当する値）となるが、画素ブロックの
各位置にある画素との相関値が所定の閾値以上となって
いるＤＣＴ係数の位置を認識するようにした場合には、
その認識されるＤＣＴ係数の位置の数は、可変になる。

【０１７５】パターンテーブル記憶部１５９は、パター
ン選択回路１５８が出力するパターン情報を記憶する。

【０１７６】次に、図１５のフローチャートを参照し
て、図１３のパターン学習装置の処理（学習処理）につ
いて説明する。

【０１７７】ブロック化回路１５１には、学習用の画像
データが供給され、ブロック化回路６１は、ステップＳ
５１において、その学習用の画像データを、ＪＰＥＧ符
号化における場合と同様に、８×８画素の画素ブロック
にブロック化して、ステップＳ５２に進む。ステップＳ
５２では、ＤＣＴ回路１５２が、ブロック化回路１５１
がブロック化した画素ブロックを、順次読み出し、その
画素ブロックを、ＤＣＴ処理することで、ＤＣＴ係数の
ブロックとし、ステップＳ５３に進む。ステップＳ５３
では、量子化回路１５３が、ＤＣＴ回路１５２において
得られたＤＣＴ係数のブロックを順次読み出し、ＪＰＥ
Ｇ符号化に用いられるのと同一の量子化テーブルにした
がって量子化して、量子化ＤＣＴ係数で構成されるブロ
ック（ＤＣＴブロック）とする。

【０１７８】そして、ステップＳ５４に進み、加算回路
１５４は、ブロック化回路１５１でブロック化された画
素ブロックのうち、まだ注目画素ブロックとされていな
いものを、注目画素ブロックとする。さらに、ステップ
Ｓ５４では、クラスタップ抽出回路１５５は、注目画素
ブロックをクラス分類するのに用いる量子化ＤＣＴ係数
を、量子化回路６３で得られたＤＣＴブロックから抽出
して、クラスタップを構成し、クラス分類回路１５６に
供給する。クラス分類回路１５６は、ステップＳ５５に
おいて、図１０のフローチャートで説明した場合と同様
に、クラスタップ抽出回路１５５からのクラスタップを
用いて、注目画素ブロックをクラス分類し、その結果得
られるクラスコードを、加算回路１５４に供給して、ス
テップＳ５６に進む。

【０１７９】ステップＳ５６では、加算回路１５４が、
注目画素ブロックの画素のうち、ラスタスキャン順で、
まだ、注目画素とされていない画素を、注目画素とし
て、その注目画素の位置（画素位置モード）ごとに、か
つ、クラス分類回路１５６から供給されるクラスコード
ごとに、式（１２）に示した加算演算を、ブロック化回
路１５１でブロック化された学習用の画像と、量子化回
路１５３が出力する量子化ＤＣＴ係数を用いて行い、ス
テップＳ５７に進む。

【０１８０】ステップＳ５７では、加算回路１５４は、
注目画素ブロックのすべての画素を、注目画素として、
加算演算を行ったかどうかを判定する。ステップＳ５７
において、注目画素ブロックのすべての画素を、注目画
素として、まだ加算演算を行っていないと判定された場
合、ステップＳ５６に戻り、加算回路１５４は、注目画
素ブロックの画素のうち、ラスタスキャン順で、まだ、
注目画素とされていない画素を、新たに注目画素とし
て、以下、同様の処理を繰り返す。

【０１８１】また、ステップＳ５７において、注目画素
ブロックのすべての画素を、注目画素として、加算演算
を行ったと判定された場合、ステップＳ５８に進み、加
算回路１５４は、学習用の画像から得られたすべての画
素ブロックを、注目画素ブロックとして処理を行ったか
どうかを判定する。ステップＳ５８において、教師用の
画像から得られたすべての画素ブロックを、注目画素ブ
ロックとして、まだ処理を行っていないと判定された場
合、ステップＳ５４に戻り、ブロック化回路１５１でブ
ロック化された画素ブロックのうち、まだ注目画素ブロ
ックとされていないものが、新たに注目画素ブロックと
され、以下、同様の処理が繰り返される。

【０１８２】一方、ステップＳ５８において、学習用の
画像から得られたすべての画素ブロックを、注目画素ブ
ロックとして処理を行ったと判定された場合、ステップ
Ｓ５９に進み、相関係数算出回路１５７は、加算回路１
５４における加算演算結果をを用いて、式（１１）にし
たがい、クラスごとに、画素ブロックの各位置にある画
素と、画素ブロックに対応するＤＣＴブロックを中心と
する３×３個のＤＣＴブロックの各位置にある量子化Ｄ
ＣＴ係数との相関値を演算し、パターン選択回路１５８
に供給する。

【０１８３】パターン選択回路１５８は、ステップＳ６
０において、相関係数算出回路１５７からの相関値に基
づいて、画素ブロックの各位置にある８×８の画素それ
ぞれとの相関値が大きい位置関係にあるＤＣＴ係数の位
置を、クラスごとに認識し、そのクラスごとに認識した
８×８画素それぞれについての６４セットのＤＣＴ係数
の位置パターンを、パターン情報として、パターンテー
ブル記憶部１５９に供給して記憶させ、処理を終了す
る。

【０１８４】以上のようにして、パターンテーブル記憶
部１５９に記憶された各クラスごとの６４セットのパタ
ーン情報が、図５のパターンテーブル記憶部４６および
図１１のパターンテーブル記憶部７０に記憶されてい
る。

【０１８５】従って、図５の係数変換回路３２では、注
目画素について、それとの相関が大きい位置にある量子
化ＤＣＴ係数が、予測タップとして抽出され、そのよう
な予測タップを用いて、量子化ＤＣＴ係数が、元の画素
値に復号されるため、例えば、予測タップとする量子化
ＤＣＴ係数を、ランダムに抽出する場合に比較して、復
号画像の画質を向上させることが可能となる。

【０１８６】なお、ＪＰＥＧ符号化では、８×８画素の
画素ブロック単位で、ＤＣＴおよび量子化が行われるこ
とにより、８×８の量子化ＤＣＴ係数からなるＤＣＴブ
ロックが構成されるから、ある画素ブロックの画素を、
クラス分類適応処理によって復号する場合には、その画
素ブロックに対応するＤＣＴブロックの量子化ＤＣＴ係
数を、予測タップとして用いることが考えられる。

【０１８７】しかしながら、画像においては、ある画素
ブロックに注目した場合に、その画素ブロックの画素
と、その周辺の画素ブロックの画素との間には、少なか
らず相関があるのが一般的である。従って、上述のよう
に、ある画素ブロックに対応するＤＣＴブロックを中心
とする３×３個のＤＣＴブロック、即ち、ある画素ブロ
ックに対応するＤＣＴブロックだけでなく、それ以外の
ＤＣＴブロックからも、注目画素との相関が大きい位置
関係にある量子化ＤＣＴ係数を抽出して、予測タップと
して用いることによって、画素ブロックに対応するＤＣ
Ｔブロックの量子化ＤＣＴ係数だけを、予測タップとし
て用いる場合に比較して、復号画像の画質を向上させる
ことが可能となる。

【０１８８】ここで、ある画素ブロックの画素と、その
周辺の画素ブロックの画素との間に、少なからず相関が
あることからすれば、ある画素ブロックに対応するＤＣ
Ｔブロックを中心とする３×３個のＤＣＴブロックの量
子化ＤＣＴ係数すべてを、予測タップとして用いること
により、画素ブロックに対応するＤＣＴブロックの量子
化ＤＣＴ係数だけを、予測タップとして用いる場合に比
較して、復号画像の画質を向上させることが可能であ
る。

【０１８９】但し、ある画素ブロックに対応するＤＣＴ
ブロックを中心とする３×３個のＤＣＴブロックの量子
化ＤＣＴ係数すべてを、予測タップとすると、予測タッ
プを構成する量子化ＤＣＴ係数の数は５７６（＝８×８
×３×３）となり、図５の積和演算回路４５において行
う必要のある積和演算の回数が多くなる。

【０１９０】そこで、その５７６の量子化ＤＣＴ係数の
うち、注目画素との相関が大きい位置関係にある量子化
ＤＣＴ係数を抽出して、予測タップとして用いることに
よって、図５の積和演算回路４５における演算量の増加
を抑えながら、復号画像の画質を向上させることが可能
となる。

【０１９１】なお、上述の場合には、ある画素ブロック
に対応するＤＣＴブロックを中心とする３×３個のＤＣ
Ｔブロックの量子化ＤＣＴ係数から、注目画素との相関
が大きい位置関係にある量子化ＤＣＴ係数を予測タップ
として抽出するようにしたが、予測タップとする量子化
ＤＣＴ係数は、その他、ある画素ブロックに対応するＤ
ＣＴブロックを中心とする５×５個等のＤＣＴブロック
の量子化ＤＣＴ係数から抽出するようにしても良い。即
ち、どのような範囲のＤＣＴブロックから、予測タップ
とする量子化ＤＣＴ係数を抽出するかは、特に限定され
るものではない。

【０１９２】また、あるＤＣＴブロックの量子化ＤＣＴ
係数は、対応する画素ブロックの画素から得られたもの
であるから、注目画素について予測タップを構成するに
あたっては、その注目画素の画素ブロックに対応するＤ
ＣＴブロックの量子化ＤＣＴ係数は、すべて、予測タッ
プとするのが望ましいと考えられる。

【０１９３】そこで、図１３のパターン選択回路１５８
には、画素ブロックに対応するＤＣＴブロックの量子化
ＤＣＴ係数は、必ず、予測タップとして抽出されるよう
なパターン情報を生成させるようにすることができる。
この場合、パターン選択回路１５８では、画素ブロック
に対応するＤＣＴブロックの周囲に隣接する８個のＤＣ
Ｔブロックから、相関値の大きい量子化ＤＣＴ係数が選
択され、その量子化ＤＣＴ係数の位置のパターンと、画
素ブロックに対応するＤＣＴブロックの量子化ＤＣＴ係
数すべての位置のパターンとをあわせたものが、最終的
な、パターン情報とされることになる。

【０１９４】次に、図１６は、図３の係数変換回路３２
の第２の構成例を示している。なお、図中、図５におけ
る場合と対応する部分については、同一の符号を付して
あり、以下では、その説明は、適宜省略する。即ち、図
１６の係数変換回路３２は、逆量子化回路７１が新たに
設けられている他は、基本的に、図５における場合と同
様に構成されている。

【０１９５】図１６の実施の形態において、逆量子化回
路７１には、エントロピー復号回路３１（図３）におい
て符号化データをエントロピー復号することにより得ら
れるブロックごとの量子化ＤＣＴ係数が供給される。

【０１９６】なお、エントロピー復号回路３１において
は、上述したように、符号化データから、量子化ＤＣＴ
係数の他、量子化テーブルも得られるが、図１６の実施
の形態では、この量子化テーブルも、エントロピー復号
回路３１から逆量子化回路７１に供給されるようになっ
ている。

【０１９７】逆量子化回路７１は、エントロピー復号回
路３１からの量子化ＤＣＴ係数を、同じくエントロピー
復号回路３１からの量子化テーブルにしたがって逆量子
化し、その結果られるＤＣＴ係数を、予測タップ抽出回
路４１およびクラスタップ抽出回路４２に供給する。

【０１９８】従って、予測タップ抽出回路４１とクラス
タップ抽出回路４２では、量子化ＤＣＴ係数ではなく、
ＤＣＴ係数を対象として、予測タップとクラスタップが
それぞれ構成され、以降も、ＤＣＴ係数を対象として、
図５における場合と同様の処理が行われる。

【０１９９】このように、図１６の実施の形態では、量
子化ＤＣＴ係数ではなく、ＤＣＴ係数を対象として処理
が行われるため、係数テーブル記憶部４４に記憶させる
タップ係数は、図５における場合と異なるものとする必
要がある。

【０２００】そこで、図１７は、図１６の係数テーブル
記憶部４４に記憶させるタップ係数の学習処理を行うタ
ップ係数学習装置の一実施の形態の構成例を示してい
る。なお、図中、図１１における場合と対応する部分に
ついては、同一の符号を付してあり、以下では、その説
明は、適宜省略する。即ち、図１７のタップ係数学習装
置は、量子化回路６３の後段に、逆量子化回路８１が新
たに設けられている他は、図１１における場合と基本的
に同様に構成されている。

【０２０１】図１７の実施の形態において、逆量子化回
路８１は、逆量子化回路６３が出力する量子化ＤＣＴ係
数を、図１６の逆量子化回路７１と同様に逆量子化し、
その結果得られるＤＣＴ係数を、予測タップ抽出回路６
４およびクラスタップ抽出回路６５に供給する。

【０２０２】従って、予測タップ抽出回路６４とクラス
タップ抽出回路６５では、量子化ＤＣＴ係数ではなく、
ＤＣＴ係数を対象として、予測タップとクラスタップが
それぞれ構成され、以降も、ＤＣＴ係数を対象として、
図１１における場合と同様の処理が行われる。

【０２０３】その結果、ＤＣＴ係数が量子化され、さら
に逆量子化されることにより生じる量子化誤差の影響を
低減するタップ係数が得られることになる。

【０２０４】次に、図１８は、図１６のパターンテーブ
ル記憶部４６および図１７のパターンテーブル記憶部７
０に記憶させるパターン情報の学習処理を行うパターン
学習装置の一実施の形態の構成例を示している。なお、
図中、図１３における場合と対応する部分については、
同一の符号を付してあり、以下では、その説明は、適宜
省略する。即ち、図１８のパターン学習装置は、量子化
回路１５３の後段に、逆量子化回路９１が新たに設けら
れている他は、図１３における場合と基本的に同様に構
成されている。

【０２０５】図１８の実施の形態において、逆量子化回
路９１は、逆量子化回路１５３が出力する量子化ＤＣＴ
係数を、図１６の逆量子化回路７１や、図１７の逆量子
化回路８１と同様に逆量子化し、その結果得られるＤＣ
Ｔ係数を、加算回路１５４およびクラスタップ抽出回路
１５５に供給する。

【０２０６】従って、加算回路１５４とクラスタップ抽
出回路１５５では、量子化ＤＣＴ係数ではなく、ＤＣＴ
係数を対象として処理が行われる。即ち、加算回路１５
４は、上述の加算演算を、量子化回路１５３が出力する
量子化ＤＣＴ係数に替えて、逆量子化回路９１が出力す
るＤＣＴ係数を用いて行い、クラスタップ抽出回路１５
５も、量子化回路１５３が出力する量子化ＤＣＴ係数に
替えて、逆量子化回路９１が出力するＤＣＴ係数を用い
て、クラスタップを構成する。そして、以降は、図１３
における場合と同様の処理が行われることにより、パタ
ーン情報が求められる。

【０２０７】次に、図１９は、図３の係数変換回路３２
の第３の構成例を示している。なお、図中、図５におけ
る場合と対応する部分については、同一の符号を付して
あり、以下では、その説明は、適宜省略する。即ち、図
１９の係数変換回路３２は、積和演算回路４５の後段
に、逆ＤＣＴ回路１０１が新たに設けられている他は、
基本的に、図５における場合と同様に構成されている。

【０２０８】逆ＤＣＴ回路１０１は、積和演算回路４５
の出力を逆ＤＣＴ処理することにより、画像に復号して
出力する。従って、図１９の実施の形態では、積和演算
回路４５は、予測タップ抽出回路４１が出力する予測タ
ップを構成する量子化ＤＣＴ係数と、係数テーブル記憶
部４４に記憶されたタップ係数とを用いた積和演算を行
うことにより、ＤＣＴ係数を出力する。

【０２０９】このように、図１９の実施の形態では、量
子化ＤＣＴ係数が、タップ係数との積和演算により、画
素値に復号されるのではなく、ＤＣＴ係数に変換され、
さらに、そのＤＣＴ係数が、逆ＤＣＴ回路１０１で逆Ｄ
ＣＴされることにより、画素値に復号される。従って、
係数テーブル記憶部４４に記憶させるタップ係数は、図
５における場合と異なるものとする必要がある。

【０２１０】そこで、図２０は、図１９の係数テーブル
記憶部４４に記憶させるタップ係数の学習処理を行うタ
ップ係数学習装置の一実施の形態の構成例を示してい
る。なお、図中、図１１における場合と対応する部分に
ついては、同一の符号を付してあり、以下では、その説
明は、適宜省略する。即ち、図２０のタップ係数学習装
置は、正規方程式加算回路６７に対し、教師データとし
て、学習用の画像の画素値ではなく、ＤＣＴ回路６２が
出力する、学習用の画像をＤＣＴ処理したＤＣＴ係数が
与えられるようになっている他は、図１１における場合
と同様に構成されている。

【０２１１】従って、図２０の実施の形態では、正規方
程式加算回路６７が、ＤＣＴ回路６２が出力するＤＣＴ
係数を教師データとするとともに、予測タップ構成回路
６４が出力する予測タップを構成する量子化ＤＣＴ係数
を生徒データとして、上述の足し込みを行う。そして、
タップ係数決定回路６８は、そのような足し込みにより
得られる正規方程式を解くことにより、タップ係数を求
める。その結果、図２０のタップ係数学習装置では、量
子化ＤＣＴ係数を、量子化回路６３における量子化によ
る量子化誤差を低減（抑制）したＤＣＴ係数に変換する
タップ係数が求められることになる。

【０２１２】図１９の係数変換回路３２では、積和演算
回路４５が、上述のようなタップ係数を用いて積和演算
を行うため、その出力は、予測タップ抽出回路４１が出
力する量子化ＤＣＴ係数を、その量子化誤差を低減した
ＤＣＴ係数に変換したものとなる。従って、そのような
ＤＣＴ係数が、逆ＤＣＴ回路１０１で逆ＤＣＴされるこ
とにより、量子化誤差の影響による画質の劣化を低減し
た復号画像が得られることになる。

【０２１３】次に、図２１は、図１９のパターンテーブ
ル記憶部４６および図２０のパターンテーブル記憶部７
０に記憶させるパターン情報の学習処理を行うパターン
学習装置の一実施の形態の構成例を示している。なお、
図中、図１３における場合と対応する部分については、
同一の符号を付してあり、以下では、その説明は、適宜
省略する。即ち、図２１のパターン学習装置は、加算回
路１５４に対し、ブロック化回路１５１が出力する学習
用の画像の画素ではなく、ＤＣＴ回路１５２が出力する
ＤＣＴ係数が供給されるようになっている他は、図１３
における場合と同様に構成されている。

【０２１４】図１３の実施の形態では、予測タップを構
成する量子化ＤＣＴ係数とタップ係数とを用いた積和演
算によって、画素を復号するために、画素との相関が大
きい位置関係にある量子化ＤＣＴ係数を求めて、その量
子化ＤＣＴ係数の位置パターンを、パターン情報とした
が、図２１の実施の形態では、予測タップを構成する量
子化ＤＣＴ係数とタップ係数とを用いた積和演算によっ
て、量子化誤差を低減したＤＣＴ係数を得るために、Ｄ
ＣＴ係数と相関が大きい位置関係にある量子化ＤＣＴ係
数を求めて、その量子化ＤＣＴ係数の位置パターンを、
パターン情報として求める必要がある。

【０２１５】そこで、図２１の実施の形態では、加算回
路１５４は、ブロック化回路１５１において得られた画
素ブロックではなく、その画素ブロックを、ＤＣＴ回路
１５２でＤＣＴ処理したＤＣＴ係数のブロックを、順
次、注目ブロックとし、その注目ブロックのＤＣＴ係数
のうち、ラスタスキャン順で、まだ、注目ＤＣＴ係数と
されていないＤＣＴ係数を、注目ＤＣＴ係数として、ク
ラス分類回路１５６が出力する注目ＤＣＴ係数のクラス
コードごとに、その注目ＤＣＴ係数と、量子化回路１５
３が出力する量子化ＤＣＴ係数との間の相関値（相互相
関値）を求めるための加算演算を行う。

【０２１６】即ち、図２１のパターン学習装置による学
習処理では、例えば、図２２（Ａ）に示すように、注目
ＤＣＴ係数が属する注目ブロックに対応する、量子化Ｄ
ＣＴ係数のＤＣＴブロックを中心とする３×３個のＤＣ
Ｔブロックの各位置にある量子化ＤＣＴ係数それぞれ
と、注目ＤＣＴ係数とを対応させることを、図２２
（Ｂ）に示すように、学習用の画像から得られるＤＣＴ
係数のブロックすべてについて行うことで、ＤＣＴ係数
のブロックの各位置にあるＤＣＴ係数それぞれと、その
ブロックに対応するＤＣＴブロックを中心とする３×３
個のＤＣＴブロックの各位置にある量子化ＤＣＴ係数そ
れぞれとの間の相関値を演算し、ＤＣＴ係数のブロック
の各位置にあるＤＣＴ係数それぞれについて、例えば、
図２２（Ｃ）において■印で示すように、そのＤＣＴ係
数との相関値が大きい位置関係にある量子化ＤＣＴ係数
の位置パターンを、パターン情報とするようになってい
る。即ち、図２２（Ｃ）は、ＤＣＴ係数のブロックの左
から２番目で、上から１番目のＤＣＴ係数との相関が大
きい位置関係にある量子化ＤＣＴ係数の位置パターン
を、■印で表しており、このような位置パターンが、パ
ターン情報とされる。

【０２１７】ここで、ＤＣＴ係数のブロックの左からｘ
＋１番目で、上からｙ＋１番目の画素を、A(x,y)と表す
とともに、そのＤＣＴ係数が属するブロックに対応する
ＤＣＴブロックを中心とする３×３個のＤＣＴブロック
の左からｓ＋１番目で、上からｔ＋１番目の量子化ＤＣ
Ｔ係数をB(s,t)と表すと、ＤＣＴ係数A(x,y)と、そのＤ
ＣＴ係数A(x,y)に対して所定の位置関係にある量子化Ｄ
ＣＴ係数B(s,t)との相互相関値Ｒ_A(x,y)B(s,t)は、上述
の式（９）乃至（１２）で説明した場合と同様にして求
めることができる。

【０２１８】図２１に戻り、相関係数算出回路１５７
は、上述のようにして、加算回路１５４が行う加算演算
の結果を用いて、ＤＣＴ係数と、量子化ＤＣＴ係数との
間の相関値を求める。そして、パターン選択回路１５８
は、その相関値を大きくする位置関係にある量子化ＤＣ
Ｔ係数の位置パターンを求め、パターン情報とする。

【０２１９】次に、図２３は、図３の係数変換回路３２
の第４の構成例を示している。なお、図中、図５、図１
６、または図１９における場合と対応する部分について
は、同一の符号を付してあり、以下では、その説明は、
適宜省略する。即ち、図２３の係数変換回路３２は、図
１６における場合と同様に、逆量子化回路７１が新たに
設けられ、かつ、図１９における場合と同様に、逆ＤＣ
Ｔ回路１０１が新たに設けられている他は、図５におけ
る場合と同様に構成されている。

【０２２０】従って、図２３の実施の形態では、予測タ
ップ抽出回路４１とクラスタップ抽出回路４２では、量
子化ＤＣＴ係数ではなく、ＤＣＴ係数を対象として、予
測タップとクラスタップがそれぞれ構成される。さら
に、図２３の実施の形態では、積和演算回路４５は、予
測タップ抽出回路４１が出力する予測タップを構成する
ＤＣＴ係数と、係数テーブル記憶部４４に記憶されたタ
ップ係数とを用いた積和演算を行うことにより、量子化
誤差を低減したＤＣＴ係数を得て、逆ＤＣＴ回路１０１
に出力する。

【０２２１】次に、図２４は、図２３の係数テーブル記
憶部４４に記憶させるタップ係数の学習処理を行うタッ
プ係数学習装置の一実施の形態の構成例を示している。
なお、図中、図１１、図１７、または図２０における場
合と対応する部分については、同一の符号を付してあ
り、以下では、その説明は、適宜省略する。即ち、図２
４のタップ係数学習装置は、図１７における場合と同様
に、逆量子化回路８１が新たに設けられ、さらに、図２
０における場合と同様に、正規方程式加算回路６７に対
し、教師データとして、学習用の画像の画素値ではな
く、ＤＣＴ回路６２が出力する、学習用の画像をＤＣＴ
処理したＤＣＴ係数が与えられるようになっている他
は、図１１における場合と同様に構成されている。

【０２２２】従って、図２４の実施の形態では、正規方
程式加算回路６７が、ＤＣＴ回路６２が出力するＤＣＴ
係数を教師データとするとともに、予測タップ構成回路
６４が出力する予測タップを構成するＤＣＴ係数（量子
化され、逆量子化されたもの）を生徒データとして、上
述の足し込みを行う。そして、タップ係数決定回路６８
は、そのような足し込みにより得られる正規方程式を解
くことにより、タップ係数を求める。その結果、図２４
のタップ係数学習装置では、量子化され、さらに逆量子
化されたＤＣＴ係数を、その量子化および逆量子化によ
る量子化誤差を低減したＤＣＴ係数に変換するタップ係
数が求められることになる。

【０２２３】次に、図２５は、図２３のパターンテーブ
ル記憶部４６および図２４のパターンテーブル記憶部７
０に記憶させるパターン情報の学習処理を行うパターン
学習装置の一実施の形態の構成例を示している。なお、
図中、図１３、図１８、または図２１における場合と対
応する部分については、同一の符号を付してあり、以下
では、その説明は、適宜省略する。即ち、図２５のパタ
ーン学習装置は、図１８における場合と同様に、逆量子
化回路９１が新たに設けられているとともに、図２１に
おける場合と同様に、加算回路１５４に対し、ブロック
化回路１５１が出力する学習用の画像の画素ではなく、
ＤＣＴ回路１５２が出力するＤＣＴ係数が供給されるよ
うになっている他は、図１３における場合と同様に構成
されている。

【０２２４】従って、図２５の実施の形態では、加算回
路１５４は、ブロック化回路１５１において得られた画
素ブロックではなく、その画素ブロックを、ＤＣＴ回路
１５２でＤＣＴ処理したＤＣＴ係数のブロックを、順
次、注目ブロックとし、その注目ブロックのＤＣＴ係数
のうち、ラスタスキャン順で、まだ、注目ＤＣＴ係数と
されていないＤＣＴ係数を、注目ＤＣＴ係数として、ク
ラス分類回路１５６が出力する注目ＤＣＴ係数のクラス
コードごとに、その注目ＤＣＴ係数と、逆量子化回路９
１が出力する、量子化され、さらに逆量子化されたＤＣ
Ｔ係数との間の相関値（相互相関値）を求めるための加
算演算を行う。そして、相関係数算出回路１５７は、加
算回路１５４が行う加算演算の結果を用いて、ＤＣＴ係
数と、量子化されて逆量子化されたＤＣＴ係数との間の
相関値を求め、パターン選択回路１５８は、その相関値
を大きくする位置関係にある、量子化されて逆量子化さ
れたＤＣＴ係数の位置パターンを求めて、パターン情報
とする。

【０２２５】次に、図２６は、図３の係数変換回路３２
の第５の構成例を示している。なお、図中、図５におけ
る場合と対応する部分については、同一の符号を付して
あり、以下では、その説明は、適宜省略する。即ち、図
２６の係数変換回路３２は、クラスタップ抽出回路４２
およびクラス分類回路４３が設けられていない他は、基
本的に、図５における場合と同様に構成されている。

【０２２６】従って、図２６の実施の形態では、クラス
という概念がないが、このことは、クラスが１つである
とも考えるから、係数テーブル記憶部４４には、１クラ
スのタップ係数だけが記憶されており、これを用いて処
理が行われる。

【０２２７】従って、図２６の実施の形態では、係数テ
ーブル記憶部４４に記憶されているタップ係数は、図５
における場合と異なるものとなっている。

【０２２８】そこで、図２７は、図２６の係数テーブル
記憶部４４に記憶させるタップ係数の学習処理を行うタ
ップ係数学習装置の一実施の形態の構成例を示してい
る。なお、図中、図１１における場合と対応する部分に
ついては、同一の符号を付してあり、以下では、その説
明は、適宜省略する。即ち、図２７のタップ学習装置
は、クラスタップ抽出回路６５およびクラス分類回路６
６が設けられていない他は、図１１における場合と基本
的に同様に構成されている。

【０２２９】従って、図２７のタップ係数学習装置で
は、正規方程式加算回路６７において、上述の足し込み
が、クラスには無関係に、画素位置モード別に行われ
る。そして、タップ係数決定回路６８において、画素位
置モードごとに生成された正規方程式を解くことによ
り、タップ係数が求められる。

【０２３０】次に、図２６および図２７の実施の形態で
は、上述したように、クラスが１つだけである（クラス
がない）から、図２６のパターンテーブル記憶部４６お
よび図２７のパターンテーブル記憶部７０には、１クラ
スのパターン情報だけが記憶されている。

【０２３１】そこで、図２８は、図２６のパターンテー
ブル記憶部４６および図２７のパターンテーブル記憶部
７０に記憶させるパターン情報の学習処理を行うパター
ン学習装置の一実施の形態の構成例を示している。な
お、図中、図１３における場合と対応する部分について
は、同一の符号を付してあり、以下では、その説明は、
適宜省略する。即ち、図２８のパターン学習装置は、ク
ラスタップ抽出回路１５５およびクラス分類回路１５６
が設けられていない他は、図１３における場合と基本的
に同様に構成されている。

【０２３２】従って、図２８のパターン学習装置では、
加算回路１５４において、上述の加算演算が、クラスに
は無関係に、画素位置モード別に行われる。そして、相
関係数算出回路１５７においても、クラスに無関係に、
画素位置モードごとに相関値が求められる。さらに、パ
ターン選択回路１５８においても、相関係数算出回路１
５７で得られた相関値に基づいて、クラスに無関係に、
画素位置モードごとにパターン情報が求められる。

【０２３３】なお、例えば、図５の実施の形態では、パ
ターンテーブル記憶部４６に、クラスごとのパターン情
報を記憶させておき、クラス分類回路４３が出力するク
ラスコードに対応するクラスのパターン情報を用いて、
予測タップを構成するようにしたが、図５のパターンテ
ーブル記憶部４６には、図２８のパターン学習装置で得
られる１クラスのパターン情報を記憶させておき、その
パターン情報を用いて、クラスに無関係に、予測タップ
を構成するようにすることも可能である。

【０２３４】次に、上述した一連の処理は、ハードウェ
アにより行うこともできるし、ソフトウェアにより行う
こともできる。一連の処理をソフトウェアによって行う
場合には、そのソフトウェアを構成するプログラムが、
汎用のコンピュータ等にインストールされる。

【０２３５】そこで、図２９は、上述した一連の処理を
実行するプログラムがインストールされるコンピュータ
の一実施の形態の構成例を示している。

【０２３６】プログラムは、コンピュータに内蔵されて
いる記録媒体としてのハードディスク２０５やＲＯＭ２
０３に予め記録しておくことができる。

【０２３７】あるいはまた、プログラムは、フロッピー
（登録商標）ディスク、CD-ROM(Compact Disc Read Onl
y Memory)，MO(Magneto optical)ディスク，DVD(Digita
l Versatile Disc)、磁気ディスク、半導体メモリなど
のリムーバブル記録媒体２１１に、一時的あるいは永続
的に格納（記録）しておくことができる。このようなリ
ムーバブル記録媒体２１１は、いわゆるパッケージソフ
トウエアとして提供することができる。

【０２３８】なお、プログラムは、上述したようなリム
ーバブル記録媒体２１１からコンピュータにインストー
ルする他、ダウンロードサイトから、ディジタル衛星放
送用の人工衛星を介して、コンピュータに無線で転送し
たり、LAN(Local Area Network)、インターネットとい
ったネットワークを介して、コンピュータに有線で転送
し、コンピュータでは、そのようにして転送されてくる
プログラムを、通信部２０８で受信し、内蔵するハード
ディスク２０５にインストールすることができる。

【０２３９】コンピュータは、CPU(Central Processing
Unit)２０２を内蔵している。CPU２０２には、バス２
０１を介して、入出力インタフェース２１０が接続され
ており、CPU２０２は、入出力インタフェース２１０を
介して、ユーザによって、キーボードや、マウス、マイ
ク等で構成される入力部２０７が操作等されることによ
り指令が入力されると、それにしたがって、ROM(Read O
nly Memory)２０３に格納されているプログラムを実行
する。あるいは、また、CPU２０２は、ハードディスク
２０５に格納されているプログラム、衛星若しくはネッ
トワークから転送され、通信部２０８で受信されてハー
ドディスク２０５にインストールされたプログラム、ま
たはドライブ２０９に装着されたリムーバブル記録媒体
２１１から読み出されてハードディスク２０５にインス
トールされたプログラムを、RAM(Random Access Memor
y)２０４にロードして実行する。これにより、CPU２０
２は、上述したフローチャートにしたがった処理、ある
いは上述したブロック図の構成により行われる処理を行
う。そして、CPU２０２は、その処理結果を、必要に応
じて、例えば、入出力インタフェース２１０を介して、
LCD(Liquid CryStal Display)やスピーカ等で構成され
る出力部２０６から出力、あるいは、通信部２０８から
送信、さらには、ハードディスク２０５に記録等させ
る。

【０２４０】ここで、本明細書において、コンピュータ
に各種の処理を行わせるためのプログラムを記述する処
理ステップは、必ずしもフローチャートとして記載され
た順序に沿って時系列に処理する必要はなく、並列的あ
るいは個別に実行される処理（例えば、並列処理あるい
はオブジェクトによる処理）も含むものである。

【０２４１】また、プログラムは、１のコンピュータに
より処理されるものであっても良いし、複数のコンピュ
ータによって分散処理されるものであっても良い。さら
に、プログラムは、遠方のコンピュータに転送されて実
行されるものであっても良い。

【０２４２】なお、本実施の形態では、画像データを対
象としたが、本発明は、その他、例えば、音声データに
も適用可能である。

【０２４３】さらに、本実施の形態では、静止画を圧縮
符号化するＪＰＥＧ符号化された画像を対象としたが、
本発明は、動画を圧縮符号化する、例えば、ＭＰＥＧ符
号化された画像を対象とすることも可能である。

【０２４４】また、本実施の形態では、少なくとも、Ｄ
ＣＴ処理を行うＪＰＥＧ符号化された符号化データの復
号を行うようにしたが、本発明は、その他の直交変換ま
たは周波数変換によって、ブロック単位（ある所定の単
位）で変換されたデータの復号や変換に適用可能であ
る。即ち、本発明は、例えば、サブバンド符号化された
データや、フーリエ変換されたデータ等を復号したり、
それらの量子化誤差等を低減したデータに変換する場合
にも適用可能である。

【０２４５】さらに、本実施の形態では、デコーダ２２
において、復号に用いるタップ係数を、あらかじめ記憶
しておくようにしたが、タップ係数は、符号化データに
含めて、デコーダ２２に提供するようにすることが可能
である。パターン情報についても、同様である。

【０２４６】また、本実施の形態では、タップ係数を用
いた線形１次予測演算によって、復号や変換を行うよう
にしたが、復号および変換は、その他、２次以上の高次
の予測演算によって行うことも可能である。

【０２４７】さらに、本実施の形態では、予測タップ
を、注目画素ブロックに対応するＤＣＴブロックと、そ
の周辺のＤＣＴブロックの量子化ＤＣＴ係数から構成す
るようにしたが、クラスタップも同様に構成することが
可能である。

【０２４８】

【発明の効果】本発明の第１のデータ処理装置およびデ
ータ処理方法、並びに記録媒体によれば、新変換ブロッ
クのうちの注目している注目新変換ブロックの新たな変
換データを得るための予測演算に用いる変換データが、
少なくとも、その注目新変換ブロック以外の新変換ブロ
ックに対応する変換ブロックから抽出され、予測タップ
として出力される。そして、タップ係数および予測タッ
プを用いて、所定の予測演算を行うことにより、変換デ
ータが、新たな変換データに変換される。従って、その
新たな変換データを復号することにより、変換データを
復号する場合よりも、効率的に、質の良いデータを得る
ことが可能となる。

【０２４９】本発明の第２のデータ処理装置およびデー
タ処理方法、並びに記録媒体によれば、データを、少な
くとも、直交変換または周波数変換することにより得ら
れる教師データに、所定の処理を施すことにより、生徒
データが生成される。そして、教師ブロックのうちの注
目している注目教師ブロックの教師データを求めるため
の予測演算に用いる生徒データが、少なくとも、その注
目教師ブロック以外の教師ブロックに対応する生徒ブロ
ックから抽出され、予測タップとして出力される。さら
に、タップ係数および予測タップを用いて予測演算を行
うことにより得られる教師データの予測値の予測誤差
が、統計的に最小になるように学習が行われ、タップ係
数が求められる。従って、そのタップ係数を用いること
により、直交変換または周波数変換されたデータを変換
し、その変換後のデータを復号することにより、効率的
に、質の良いデータを得ることが可能となる。

【図面の簡単な説明】

【図１】従来のＪＰＥＧ符号化／復号を説明するための
図である。

【図２】本発明を適用した画像伝送システムの一実施の
形態の構成例を示す図である。

【図３】図２のデコーダ２２の構成例を示すブロック図
である。

【図４】図３のデコーダ２２の処理を説明するフローチ
ャートである。

【図５】図３の係数変換回路３２の第１の構成例を示す
ブロック図である。

【図６】クラスタップの例を説明する図である。

【図７】図５のクラス分類回路４３の構成例を示すブロ
ック図である。

【図８】図５の電力演算回路５１の処理を説明するため
の図である。

【図９】図５の係数変換回路３２の処理を説明するフロ
ーチャートである。

【図１０】図９のステップＳ１２の処理のより詳細を説
明するフローチャートである。

【図１１】タップ係数を学習するタップ係数学習装置の
第１実施の形態の構成例を示すブロック図である。

【図１２】図１１のタップ係数学習装置の処理を説明す
るフローチャートである。

【図１３】パターン情報を学習するパターン学習装置の
第１実施の形態の構成例を示すブロック図である。

【図１４】図１３の加算回路１５４の処理を説明するた
めの図である。

【図１５】図１３のパターン学習装置の処理を説明する
フローチャートである。

【図１６】図３の係数変換回路３２の第２の構成例を示
すブロック図である。

【図１７】タップ係数学習装置の第２実施の形態の構成
例を示すブロック図である。

【図１８】パターン学習装置の第２実施の形態の構成例
を示すブロック図である。

【図１９】図３の係数変換回路３２の第３の構成例を示
すブロック図である。

【図２０】タップ係数学習装置の第３実施の形態の構成
例を示すブロック図である。

【図２１】パターン学習装置の第３実施の形態の構成例
を示すブロック図である。

【図２２】図２１の加算回路１５４の処理を説明するた
めの図である。

【図２３】図３の係数変換回路３２の第４の構成例を示
すブロック図である。

【図２４】タップ係数学習装置の第４実施の形態の構成
例を示すブロック図である。

【図２５】パターン学習装置の第４実施の形態の構成例
を示すブロック図である。

【図２６】図３の係数変換回路３２の第５の構成例を示
すブロック図である。

【図２７】タップ係数学習装置の第５実施の形態の構成
例を示すブロック図である。

【図２８】パターン学習装置の第５実施の形態の構成例
を示すブロック図である。

【図２９】本発明を適用したコンピュータの一実施の形
態の構成例を示すブロック図である。

【符号の説明】

２１エンコーダ，２２デコーダ，２３記録媒
体，２４伝送媒体，３１エントロピー復号回
路，３２係数変換回路，３３ブロック分解回
路，４１予測タップ抽出回路，４２クラスタッ
プ抽出回路，４３クラス分類回路，４４係数テー
ブル記憶部，４５積和演算回路，４６パターンテー
ブル記憶部，５１電力演算回路，５２クラスコ
ード生成回路，５３閾値テーブル記憶部，６１
ブロック化回路，６２ＤＣＴ回路，６３量子化
回路，６４予測タップ抽出回路，６５クラスタ
ップ抽出回路，６６クラス分類回路，６７正規
方程式加算回路，６８タップ係数決定回路，６９
係数テーブル記憶部，７０パターンテーブル記憶
部，７１，８１逆量子化回路，９１逆量子化回
路，１０１逆ＤＣＴ回路，１５１ブロック化回
路，１５２ＤＣＴ回路，１５３量子化回路，
１５４加算回路，１５５クラスタップ抽出回路，
１５６クラス分類回路，１５７相関係数算出回
路，１５８パターン選択回路，１５９パターンテ
ーブル記憶部，２０１バス，２０２ CPU，２
０３ROM，２０４ RAM，２０５ハードディスク，
２０６出力部，２０７入力部，２０８通信
部，２０９ドライブ，２１０入出力インタフェ
ース，２１１リムーバブル記録媒体

───────────────────────────────────────────────────── フロントページの続き (72)発明者西片丈晴東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者内田真史東京都品川区北品川６丁目７番35号ソニー株式会社内Ｆターム(参考） 5C059 KK01 MA00 MA23 PP01 PP04 SS06 SS11 SS20 TA48 TB08 TC03 TC04 TD13 UA05 UA33 5J064 AA01 BA09 BA16 BB03 BC01 BC16 BD03

Claims

【特許請求の範囲】

【請求項１】所定のデータに対し、少なくとも、直交
変換処理または周波数変換処理を所定のブロック単位で
施すことにより得られるブロック単位の変換データを処
理し、新たな変換データを得るデータ処理装置であっ
て、学習を行うことにより求められたタップ係数を取得する
取得手段と、前記新たな変換データのブロックである新変換ブロック
のうちの注目している注目新変換ブロックの前記新たな
変換データを得るための予測演算に用いる前記変換デー
タを、少なくとも、その注目新変換ブロック以外の新変
換ブロックに対応する、前記変換データのブロックであ
る変換ブロックから抽出し、予測タップとして出力する
予測タップ抽出手段と、前記タップ係数および予測タップを用いて、所定の予測
演算を行うことにより、前記変換データを、前記新たな
変換データに変換する演算手段とを備えることを特徴と
するデータ処理装置。
【請求項２】前記演算手段は、前記タップ係数および
予測タップを用いて、線形１次予測演算を行うことによ
り、前記変換データを、前記新たな変換データに変換す
ることを特徴とする請求項１に記載のデータ処理装置。
【請求項３】前記タップ係数を記憶している記憶手段
をさらに備え、前記取得手段は、前記記憶手段から、前記タップ係数を
取得することを特徴とする請求項１に記載のデータ処理
装置。
【請求項４】前記変換データは、前記所定のデータ
を、少なくとも、離散コサイン変換したものであること
を特徴とする請求項１に記載のデータ処理装置。
【請求項５】前記注目新変換ブロックの前記新たな変
換データのうちの、注目している注目データを、幾つか
のクラスのうちのいずれかにクラス分類するのに用いる
前記変換データを抽出し、クラスタップとして出力する
クラスタップ抽出手段と、前記クラスタップに基づいて、前記注目データのクラス
を求めるクラス分類を行うクラス分類手段とをさらに備
え、前記演算手段は、前記予測タップおよび前記注目データ
のクラスに対応する前記タップ係数を用いて予測演算を
行うことを特徴とする請求項１に記載のデータ処理装
置。
【請求項６】前記予測タップ抽出手段は、前記注目新
変換ブロックの周辺の新変換ブロックに対応する変換ブ
ロックから、前記予測タップとする変換データを抽出す
ることを特徴とする請求項１に記載のデータ処理装置。
【請求項７】前記予測タップ抽出手段は、前記注目新
変換ブロックに対応する変換ブロックと、前記注目新変
換ブロック以外の新変換ブロックに対応する変換ブロッ
クとから、前記予測タップとする変換データを抽出する
ことを特徴とする請求項１に記載のデータ処理装置。
【請求項８】前記予測タップ抽出手段は、前記注目新
変換ブロックの前記新たな変換データのうちの、注目し
ている注目データとの相関が大きい位置関係にある前記
変換データを、前記予測タップとして抽出することを特
徴とする請求項１に記載のデータ処理装置。
【請求項９】前記予測タップ抽出手段は、前記注目デ
ータとの相関が所定の閾値以上となる位置関係にある前
記変換データを、前記予測タップとして抽出することを
特徴とする請求項８に記載のデータ処理装置。
【請求項１０】前記予測タップ抽出手段は、前記注目
データとの相関が所定の順位以内になる位置関係にある
前記変換データを、前記予測タップとして抽出すること
を特徴とする請求項８に記載のデータ処理装置。
【請求項１１】前記タップ係数は、前記タップ係数お
よび変換データを用いて、所定の予測演算を行うことに
より得られる前記新たな変換データの予測値の予測誤差
が、統計的に最小になるように、学習を行うことにより
得られたものであることを特徴とする請求項１に記載の
データ処理装置。
【請求項１２】前記所定のデータは、動画または静止
画の画像データであることを特徴とする請求項１に記載
のデータ処理装置。
【請求項１３】所定のデータに対し、少なくとも、直
交変換処理または周波数変換処理を所定のブロック単位
で施すことにより得られるブロック単位の変換データを
処理し、新たな変換データを得るデータ処理方法であっ
て、学習を行うことにより求められたタップ係数を取得する
取得ステップと、前記新たな変換データのブロックである新変換ブロック
のうちの注目している注目新変換ブロックの前記新たな
変換データを得るための予測演算に用いる前記変換デー
タを、少なくとも、その注目新変換ブロック以外の新変
換ブロックに対応する、前記変換データのブロックであ
る変換ブロックから抽出し、予測タップとして出力する
予測タップ抽出ステップと、前記タップ係数および予測タップを用いて、所定の予測
演算を行うことにより、前記変換データを、前記新たな
変換データに変換する演算ステップとを備えることを特
徴とするデータ処理方法。
【請求項１４】所定のデータに対し、少なくとも、直
交変換処理または周波数変換処理を所定のブロック単位
で施すことにより得られるブロック単位の変換データを
処理し、新たな変換データを得るデータ処理を、コンピ
ュータに行わせるプログラムが記録されている記録媒体
であって、学習を行うことにより求められたタップ係数を取得する
取得ステップと、前記新たな変換データのブロックである新変換ブロック
のうちの注目している注目新変換ブロックの前記新たな
変換データを得るための予測演算に用いる前記変換デー
タを、少なくとも、その注目新変換ブロック以外の新変
換ブロックに対応する、前記変換データのブロックであ
る変換ブロックから抽出し、予測タップとして出力する
予測タップ抽出ステップと、前記タップ係数および予測タップを用いて、所定の予測
演算を行うことにより、前記変換データを、前記新たな
変換データに変換する演算ステップとを備えるプログラ
ムが記録されていることを特徴とする記録媒体。
【請求項１５】データに対し、少なくとも、直交変換
処理または周波数変換処理を所定のブロック単位で施す
ことにより得られるブロック単位の変換データを、予測
演算によって、新たな変換データに変換するのに用いる
タップ係数を学習するデータ処理装置であって、データを、少なくとも、直交変換または周波数変換する
ことにより得られる、教師となる教師データに、所定の
処理を施すことにより、生徒となる生徒データを生成す
る生徒データ生成手段と、前記教師データのブロックである教師ブロックのうちの
注目している注目教師ブロックの教師データを求めるた
めの予測演算に用いる前記生徒データを、少なくとも、
その注目教師ブロック以外の教師ブロックに対応する、
前記生徒データのブロックである生徒ブロックから抽出
し、予測タップとして出力する予測タップ抽出手段と、前記タップ係数および予測タップを用いて予測演算を行
うことにより得られる前記教師データの予測値の予測誤
差が、統計的に最小になるように学習を行い、前記タッ
プ係数を求める学習手段とを備えることを特徴とするデ
ータ処理装置。
【請求項１６】前記学習手段は、前記タップ係数およ
び生徒データを用いて線形１次予測演算を行うことによ
り得られる前記教師データの予測値の予測誤差が、統計
的に最小になるように学習を行うことを特徴とする請求
項１５に記載のデータ処理装置。
【請求項１７】前記教師データは、データを、少なく
とも、離散コサイン変換したものであることを特徴とす
る請求項１５に記載のデータ処理装置。
【請求項１８】前記注目教師ブロックの前記教師デー
タのうちの、注目している注目教師データを、幾つかの
クラスのうちのいずれかにクラス分類するのに用いる前
記生徒データを抽出し、クラスタップとして出力するク
ラスタップ抽出手段と、前記クラスタップに基づいて、前記注目教師データのク
ラスを求めるクラス分類を行うクラス分類手段とをさら
に備え、前記学習手段は、前記予測タップおよび前記注目教師デ
ータのクラスに対応するタップ係数を用いて予測演算を
行うことにより得られる前記教師データの予測値の予測
誤差が、統計的に最小になるように学習を行い、クラス
ごとの前記タップ係数を求めることを特徴とする請求項
１５に記載のデータ処理装置。
【請求項１９】前記予測タップ抽出手段は、注目教師
ブロックの周辺の教師ブロックに対応する前記生徒ブロ
ックから、前記予測タップとする前記生徒データを抽出
することを特徴とする請求項１５に記載のデータ処理装
置。
【請求項２０】前記予測タップ抽出手段は、注目教師
ブロックに対応する前記生徒ブロックと、注目教師ブロ
ック以外の教師ブロックに対応する前記生徒ブロックと
から、前記予測タップとする前記生徒データを抽出する
ことを特徴とする請求項１５に記載のデータ処理装置。
【請求項２１】前記予測タップ抽出手段は、前記注目
教師ブロックの前記教師データのうちの、注目している
注目教師データとの相関が大きい位置関係にある前記生
徒データを、前記予測タップとして抽出することを特徴
とする請求項１５に記載のデータ処理装置。
【請求項２２】前記予測タップ抽出手段は、前記注目
教師データとの相関が所定の閾値以上となる位置関係に
ある前記生徒データを、前記予測タップとして抽出する
ことを特徴とする請求項２１に記載のデータ処理装置。
【請求項２３】前記予測タップ抽出手段は、前記注目
教師データとの相関が所定の順位以内になる位置関係に
ある前記生徒データを、前記予測タップとして抽出する
ことを特徴とする請求項２１に記載のデータ処理装置。
【請求項２４】前記データは、動画または静止画の画
像データであることを特徴とする請求項１５に記載のデ
ータ処理装置。
【請求項２５】データに対し、少なくとも、直交変換
処理または周波数変換処理を所定のブロック単位で施す
ことにより得られるブロック単位の変換データを、予測
演算によって、新たな変換データに変換するのに用いる
タップ係数を学習するデータ処理方法であって、データを、少なくとも、直交変換または周波数変換する
ことにより得られる、教師となる教師データに、所定の
処理を施すことにより、生徒となる生徒データを生成す
る生徒データ生成ステップと、前記教師データのブロックである教師ブロックのうちの
注目している注目教師ブロックの教師データを求めるた
めの予測演算に用いる前記生徒データを、少なくとも、
その注目教師ブロック以外の教師ブロックに対応する、
前記生徒データのブロックである生徒ブロックから抽出
し、予測タップとして出力する予測タップ抽出ステップ
と、前記タップ係数および予測タップを用いて予測演算を行
うことにより得られる前記教師データの予測値の予測誤
差が、統計的に最小になるように学習を行い、前記タッ
プ係数を求める学習ステップとを備えることを特徴とす
るデータ処理方法。
【請求項２６】データに対し、少なくとも、直交変換
処理または周波数変換処理を所定のブロック単位で施す
ことにより得られるブロック単位の変換データを、予測
演算によって、新たな変換データに変換するのに用いる
タップ係数を学習するデータ処理を、コンピュータに行
わせるプログラムが記録されている記録媒体であって、データを、少なくとも、直交変換または周波数変換する
ことにより得られる、教師となる教師データに、所定の
処理を施すことにより、生徒となる生徒データを生成す
る生徒データ生成ステップと、前記教師データのブロックである教師ブロックのうちの
注目している注目教師ブロックの教師データを求めるた
めの予測演算に用いる前記生徒データを、少なくとも、
その注目教師ブロック以外の教師ブロックに対応する、
前記生徒データのブロックである生徒ブロックから抽出
し、予測タップとして出力する予測タップ抽出ステップ
と、前記タップ係数および予測タップを用いて予測演算を行
うことにより得られる前記教師データの予測値の予測誤
差が、統計的に最小になるように学習を行い、前記タッ
プ係数を求める学習ステップとを備えるプログラムが記
録されていることを特徴とする記録媒体。