JP2003264832A - 画像処理装置および画像処理方法、並びにプログラムおよび記録媒体 - Google Patents

画像処理装置および画像処理方法、並びにプログラムおよび記録媒体

Info

Publication number
JP2003264832A
JP2003264832A JP2002061399A JP2002061399A JP2003264832A JP 2003264832 A JP2003264832 A JP 2003264832A JP 2002061399 A JP2002061399 A JP 2002061399A JP 2002061399 A JP2002061399 A JP 2002061399A JP 2003264832 A JP2003264832 A JP 2003264832A
Authority
JP
Japan
Prior art keywords
block
dimensional dct
dimensional
adjacent
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002061399A
Other languages
English (en)
Other versions
JP4154902B2 (ja
JP2003264832A5 (ja
Inventor
Tetsujiro Kondo
哲二郎 近藤
Hideo Nakaya
秀雄 中屋
Toshihiko Hamamatsu
俊彦 浜松
Hideki Otsuka
秀樹 大塚
Takeharu Nishikata
丈晴 西片
Takeshi Kunihiro
威 國弘
Takafumi Morifuji
孝文 森藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002061399A priority Critical patent/JP4154902B2/ja
Publication of JP2003264832A publication Critical patent/JP2003264832A/ja
Publication of JP2003264832A5 publication Critical patent/JP2003264832A5/ja
Application granted granted Critical
Publication of JP4154902B2 publication Critical patent/JP4154902B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Color Television Systems (AREA)

Abstract

(57)【要約】 【課題】 MPEGストリームを、高画質の画像に復号
する。 【解決手段】 前処理部11は、MPEGストリーム中
の2次元DCT係数を逆量子化して出力する。クラス分
類部13は、前処理部11が出力する2次元DCT係数
を、1次元逆DCT変換することにより、1次元DCT
係数を求め、その1次元DCT係数に基づいて、画像デ
ータを構成する画素を、複数のクラスのうちのいずれか
のクラスにクラス分けするクラス分類を行う。タップ係
数記憶部14は、クラス分類部13が出力するクラスに
対応するタップ係数を取得して出力し、画像再構成部1
5は、前処理部11が出力する2次元DCT係数と、タ
ップ係数記憶部14が出力するタップ係数とを用いた線
形1次予測演算を行うことにより、復号画像を求める。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像処理装置およ
び画像処理方法、並びにプログラムおよび記録媒体に関
し、特に、例えば、画像データをMPEG符号化した符
号化データを、高画質の画像データに復号することがで
きるようにする画像処理装置および画像処理方法、並び
にプログラムおよび記録媒体に関する。
【0002】
【従来の技術】MPEG(Moving Picture Experts Grou
p)1や2等の符号化方式では、画像データが、8×8画
素のブロック単位で、DCT(Discrete Cosine Transfo
rm)変換され、さらに量子化されることにより、符号化
データとされる。このため、MPEGの規格に準拠した
MPEGデコーダでは、符号化データが、逆量子化さ
れ、さらに逆DCT変換されることにより復号される。
【0003】上述のように、MPEG符号化方式では、
画像データが、ブロック単位でDCT変換され、その結
果得られるDCT係数が量子化されるため、MPEGの
規格に準拠したMPEGデコーダにおいて得られる復号
画像には、符号化時の量子化の影響により、ブロック歪
みやモスキートノイズといった各種の歪みが生じる。
【0004】復号画像に生じする歪みを低減する方法と
しては、例えば、特開平11−187400号公報や特
開平11−205792号公報に記載されているよう
に、復号画像に対して後処理を施すことにより、その復
号画像に生じている歪みを検知して補正する方法があ
る。
【0005】
【発明が解決しようとする課題】しかしながら、上述の
ように、歪みを検知して補正する方法では、ブロック境
界の位置を検出する必要がある。さらに、符号化データ
がMPEG2方式で、画像データを符号化したものであ
る場合には、マクロブロック単位で設定可能なDCTタ
イプが、フレームDCTまたはフィールドDCTのうち
のいずれであったかを判別する必要もある。従って、ブ
ロック境界の位置の検出や、DCTタイプの判別を誤る
と、復号画像に生じている歪みを、十分に除去すること
が困難なことがある。
【0006】さらに、上述の方法は、復号画像に生じる
歪み波形の基底をなすコサイン波形の位相とは無関係
に、補正のためのフィルタ処理を施すものとなってお
り、従って、必ずしも、最適な歪み除去方式とは言えな
い。
【0007】本発明は、このような状況に鑑みてなされ
たものであり、各種の歪みを十分に低減した高画質の復
号画像を得ることができるようにするものである。
【0008】
【課題を解決するための手段】本発明の第1の画像処理
装置は、2次元DCT係数を、1次元逆DCT変換する
ことにより、1次元DCT係数を求める1次元逆DCT
変換手段と、1次元DCT係数に基づいて、画像データ
を構成する画素を、複数のクラスのうちのいずれかのク
ラスにクラス分けするクラス分類を行うクラス分類手段
と、クラス分類手段によるクラス分類の結果得られるク
ラスごとに、符号化データを処理する処理手段とを備え
ることを特徴とする。
【0009】本発明の第1の画像処理方法は、2次元D
CT係数を、1次元逆DCT変換することにより、1次
元DCT係数を求める1次元逆DCT変換ステップと、
1次元DCT係数に基づいて、画像データを構成する画
素を、複数のクラスのうちのいずれかのクラスにクラス
分けするクラス分類を行うクラス分類ステップと、クラ
ス分類ステップによるクラス分類の結果得られるクラス
ごとに、符号化データを処理する処理ステップとを備え
ることを特徴とする。
【0010】本発明の第1のプログラムは、2次元DC
T係数を、1次元逆DCT変換することにより、1次元
DCT係数を求める1次元逆DCT変換ステップと、1
次元DCT係数に基づいて、画像データを構成する画素
を、複数のクラスのうちのいずれかのクラスにクラス分
けするクラス分類を行うクラス分類ステップと、クラス
分類ステップによるクラス分類の結果得られるクラスご
とに、符号化データを処理する処理ステップとを備える
ことを特徴とする。
【0011】本発明の第1の記録媒体は、2次元DCT
係数を、1次元逆DCT変換することにより、1次元D
CT係数を求める1次元逆DCT変換ステップと、1次
元DCT係数に基づいて、画像データを構成する画素
を、複数のクラスのうちのいずれかのクラスにクラス分
けするクラス分類を行うクラス分類ステップと、クラス
分類ステップによるクラス分類の結果得られるクラスご
とに、符号化データを処理する処理ステップとを備える
プログラムが記録されていることを特徴とする。
【0012】本発明の第2の画像処理装置は、学習用の
画像データを、少なくとも2次元DCT変換することに
より符号化し、2次元DCT係数を含む符号化データを
出力する符号化手段と、符号化データに含まれる2次元
DCT係数を、1次元逆DCT変換することにより、1
次元DCT係数を求める1次元逆DCT変換手段と、学
習用の画像データから得られる、学習の教師となる教師
データを、1次元DCT係数に基づいて、複数のクラス
のうちのいずれかのクラスにクラス分けするクラス分類
を行うクラス分類手段と、教師データと、学習用の画像
データから得られる、学習の生徒となる生徒データとを
用いて、教師データのクラスごとに学習を行うことによ
り、クラスごとのタップ係数を求める学習手段とを備え
ることを特徴とする。
【0013】本発明の第2の画像処理方法は、学習用の
画像データを、少なくとも2次元DCT変換することに
より符号化し、2次元DCT係数を含む符号化データを
出力する符号化ステップと、符号化データに含まれる2
次元DCT係数を、1次元逆DCT変換することによ
り、1次元DCT係数を求める1次元逆DCT変換ステ
ップと、学習用の画像データから得られる、学習の教師
となる教師データを、1次元DCT係数に基づいて、複
数のクラスのうちのいずれかのクラスにクラス分けする
クラス分類を行うクラス分類ステップと、教師データ
と、学習用の画像データから得られる、学習の生徒とな
る生徒データとを用いて、教師データのクラスごとに学
習を行うことにより、クラスごとのタップ係数を求める
学習ステップとを備えることを特徴とする。
【0014】本発明の第2のプログラムは、学習用の画
像データを、少なくとも2次元DCT変換することによ
り符号化し、2次元DCT係数を含む符号化データを出
力する符号化ステップと、符号化データに含まれる2次
元DCT係数を、1次元逆DCT変換することにより、
1次元DCT係数を求める1次元逆DCT変換ステップ
と、学習用の画像データから得られる、学習の教師とな
る教師データを、1次元DCT係数に基づいて、複数の
クラスのうちのいずれかのクラスにクラス分けするクラ
ス分類を行うクラス分類ステップと、教師データと、学
習用の画像データから得られる、学習の生徒となる生徒
データとを用いて、教師データのクラスごとに学習を行
うことにより、クラスごとのタップ係数を求める学習ス
テップとを備えることを特徴とする。
【0015】本発明の第2の記録媒体は、学習用の画像
データを、少なくとも2次元DCT変換することにより
符号化し、2次元DCT係数を含む符号化データを出力
する符号化ステップと、符号化データに含まれる2次元
DCT係数を、1次元逆DCT変換することにより、1
次元DCT係数を求める1次元逆DCT変換ステップ
と、学習用の画像データから得られる、学習の教師とな
る教師データを、1次元DCT係数に基づいて、複数の
クラスのうちのいずれかのクラスにクラス分けするクラ
ス分類を行うクラス分類ステップと、教師データと、学
習用の画像データから得られる、学習の生徒となる生徒
データとを用いて、教師データのクラスごとに学習を行
うことにより、クラスごとのタップ係数を求める学習ス
テップとを備えるプログラムが記録されていることを特
徴とする。
【0016】本発明の第1の画像処理装置および画像処
理方法、並びにプログラムにおいては、2次元DCT係
数を、1次元逆DCT変換することにより、1次元DC
T係数が求められ、その1次元DCT係数に基づいて、
画像データを構成する画素を、複数のクラスのうちのい
ずれかのクラスにクラス分けするクラス分類が行われ
る。そして、その結果得られるクラスごとに、符号化デ
ータが処理される。
【0017】本発明の第2の画像処理装置および画像処
理方法、並びにプログラムにおいては、学習用の画像デ
ータが、少なくとも2次元DCT変換されることにより
符号化され、2次元DCT係数を含む符号化データが出
力される。さらに、符号化データに含まれる2次元DC
T係数を、1次元逆DCT変換することにより、1次元
DCT係数が求められる。そして、学習用の画像データ
から得られる、学習の教師となる教師データを、1次元
DCT係数に基づいて、複数のクラスのうちのいずれか
のクラスにクラス分けするクラス分類が行われ、教師デ
ータと、学習用の画像データから得られる、学習の生徒
となる生徒データとを用いて、教師データのクラスごと
に学習を行うことにより、クラスごとのタップ係数が求
められる。
【0018】
【発明の実施の形態】以下、本発明の実施の形態につい
て説明するが、その前に、MPEGに準拠した復号方式
について、簡単に説明する。
【0019】図1は、例えば、MPEG2方式で符号化
された符号化データを、MPEGに準拠して復号するM
PEGデコーダの構成例を示している。
【0020】画像データをMPEG2方式で符号化する
ことにより得られる符号化データ(ビデオストリーム)
は、分離部1に供給される。分離部1は、符号化データ
から、コーデッドブロックパターン(Coded Block Patte
rn)(以下、適宜、CBPという)、DCTタイプ、量
子化されたDCT係数のVLC(可変長符号化)コー
ド、量子化スケール、動きベクトル、動き補償タイプ
(frame motion type, field motion type)等を分離し
て出力する。
【0021】DCT係数抽出/逆量子化部2は、分離部
1が出力する、量子化されたDCT係数(以下、適宜、
量子化DCT係数という)のVLCコード、量子化スケ
ール、およびDCTタイプを受信し、DCT係数を復号
する。即ち、DCT係数抽出/逆量子化部2は、分離部
1が出力する量子化DCT係数のVLCコードを可変長
復号し、8×8画素のブロックごとの量子化DCT係数
を求める。さらに、DCT係数抽出/逆量子化部2は、
ブロックごとの量子化DCT係数を、分離部1が出力す
る量子化スケールによって逆量子化し、ブロックごとの
DCT係数を求める。DCT係数抽出/逆量子化部2で
得られたブロックごとのDCT係数は、逆DCT変換部
3に供給される。
【0022】逆DCT変換部3は、DCT係数抽出/逆
量子化部2からのブロックごとのDCT係数を逆DCT
変換し、動き補償加算部6に供給される。
【0023】動き補償加算部6には、逆DCT変換部3
が出力する逆DCT変換結果の他、分離部1が出力する
CBPおよびDCTタイプが供給される。動き補償加算
部6は、CBPやDCTタイプに基づき、必要に応じ
て、逆DCT変換部3からの逆DCT結果に対して、画
像メモリ5に記憶された予測画像を加算することで、8
×8の画素値のブロックを復号して出力する。
【0024】即ち、MPEG符号化では、Iピクチャの
ブロックは、イントラ(intra)符号化され、Pピクチャ
のブロックは、イントラ符号化、または前方予測符号化
され、Bピクチャのブロックは、イントラ符号化、前方
予測符号化、後方予測符号化、または両方向予測符号化
される。
【0025】ここで、前方予測符号化では、符号化対象
のブロックのフレーム(またはフィールド)より時間的
に先行するフレーム(またはフィールド)の画像を参照
画像として、その参照画像を動き補償することにより得
られる、符号化対象のブロックの予測画像と、符号化対
象のブロックとの差分が求められ、その差分値(以下、
適宜、残差画像という)がDCT変換される。
【0026】また、後方予測符号化では、符号化対象の
ブロックのフレームより時間的に後行するフレームの画
像を参照画像として、その参照画像を動き補償すること
により得られる、符号化対象のブロックの予測画像と、
符号化対象のブロックとの差分が求められ、その差分値
(残差画像)がDCT変換される。
【0027】さらに、両方向予測符号化では、符号化対
象のブロックのフレームより時間的に先行するフレーム
と後行するフレームの2フレーム(またはフィールド)
の画像を参照画像として、その参照画像を動き補償する
ことにより得られる、符号化対象のブロックの予測画像
と、符号化対象のブロックとの差分が求められ、その差
分値(残差画像)がDCT変換される。
【0028】従って、ブロックが、ノンイントラ(non-i
ntra)符号化(前方予測符号化、後方予測符号化、また
は両方向予測符号化)されている場合、逆DCT変換部
3が出力する逆DCT変換結果は、残差画像(元の画像
と、その予測画像との差分値)であり、動き補償加算部
6は、この残差画像と、画像メモリ5に記憶された予測
画像とを加算することで、ノンイントラ符号化されたブ
ロックを復号する。
【0029】一方、動き補償加算部6は、逆DCT変換
部4が出力するブロックが、イントラ符号化されたもの
であった場合には、そのブロックを、そのまま復号結果
とする。
【0030】動き補償加算部6は、1フレーム(または
フィールド)分のブロックの復号結果、即ち、1フレー
ム(またはフィールド)の復号画像を得ると、その復号
画像を、画像メモリ(I,Pピクチャ用画像メモリ)7
と、ピクチャ選択部8に供給する。
【0031】画像メモリ7は、動き補償加算部6から供
給される復号画像が、IピクチャまたはPピクチャの画
像である場合、その復号画像を、その後に復号される符
号化データの参照画像として一時記憶する。なお、MP
EG2では、Bピクチャは参照画像とされないことか
ら、動き補償加算部6から供給される復号画像が、Bピ
クチャの画像である場合には、その復号画像は、画像メ
モリ7に記憶されない。
【0032】ピクチャ選択部8は、動き補償加算部6が
出力する復号画像、または画像メモリ7に記憶された復
号画像のフレーム(またはフィールド)を、表示順に選
択して出力する。即ち、MPEG2方式では、画像のフ
レーム(またはフィールド)の表示順と復号順(符号化
順)とが一致していないため、ピクチャ選択部8は、復
号順に並んでいる復号画像のフレーム(またはフィール
ド)を表示順に並べ替えて出力する。
【0033】このようにして表示順の並びとされた復号
画像は、例えば、図示せぬディスプレイ等に供給されて
表示される。
【0034】一方、動き補償部4は、分離部1が出力す
る動きベクトルや動き補償タイプを受信し、その動き補
償タイプに基づいて、参照画像となるフレーム(または
フィールド)を、画像メモリ7から読み出す。さらに、
動き補償部4は、画像メモリ7から読み出した参照画像
に対して、分離部1が出力する動きベクトルにしたがっ
た動き補償を施し、その結果得られる予測画像を、画像
メモリ5に供給して記憶させる。
【0035】このようにして画像メモリ5に記憶された
予測画像は、上述したように、動き補償加算部6におい
て、逆DCT変換部3が出力する残差画像と加算され
る。
【0036】なお、図1のMPEGデコーダにおいて
は、各ブロックにおける遅延時間を吸収するためのタイ
ミング調整用のメモリと同期信号を必要とするが、その
図示は、省略してある。後述する画像処理装置や学習装
置においても同様である。
【0037】次に、図2は、本発明を適用した画像処理
装置の一実施の形態の構成例を示している。なお、図
中、図1のMPEGデコーダにおける場合と対応する部
分については、同一の符号を付してあり、以下では、そ
の説明は、適宜省略する。
【0038】図2の画像処理装置は、前処理部11、バ
ッファメモリ12、クラス分類部13、タップ係数記憶
部14、および画像再構成部15から構成されており、
例えば、画像データをMPEG2方式で符号化すること
により得られる符号化データを復号するようになってい
る。
【0039】即ち、符号化データは、前処理部11に供
給されるようになっている。また、前処理部11には、
符号化データの他、画像再構成部15から、既に復号さ
れた画像が、参照画像として供給されるようになってい
る。
【0040】前処理部11は、分離部1、DCT係数抽
出/逆量子化部2、動き補償部4、画像メモリ5、DC
T変換部21、周波数領域動き補償加算部22から構成
されており、符号化データに対して、前処理を施すよう
になっている。
【0041】即ち、DCT変換部21には、分離部1か
ら、DCTタイプが供給されるとともに、画像メモリ5
から、動き補償部4において参照画像に動き補償処理を
施すことにより得られた予測画像が供給される。
【0042】ここで、いま、復号の対象となっているブ
ロックを、以下、適宜、注目ブロックという。
【0043】また、以下、適宜、画素値で構成されるブ
ロックを、画素ブロックというとともに、DCT係数で
構成されるブロックを、DCTブロックという。
【0044】さらに、以下、適宜、注目ブロックとなっ
ている画素ブロックまたはDCTブロックを、それぞ
れ、注目画素ブロックまたは注目DCTブロックとい
う。
【0045】DCT変換部21は、分離部1から供給さ
れるDCTタイプに基づき、DCT係数抽出/逆量子化
部2が出力する注目ブロックのDCTタイプを認識す
る。さらに、DCT変換部21は、注目ブロックのDC
Tタイプに基づいて、画像メモリ5に記憶された予測画
像から、ブロックと同一の大きさの8×8画素を選択
し、DCT係数に変換する。この予測画像から得られた
DCT係数(以下、適宜、予測DCT係数という)は、
DCT変換部21から周波数領域動き補償加算部22に
供給される。
【0046】周波数領域動き補償加算部22には、DC
T変換部21から、8×8の予測DCT係数が供給され
る他、分離部1から、注目ブロックを含むマクロブロッ
ク(以下、適宜、注目マクロブロックという)のCBP
が供給されるとともに、DCT係数抽出/逆量子化部2
から、注目ブロックが供給される。
【0047】周波数領域動き補償加算部22は、注目マ
クロブロックのCBPに基づき、必要に応じて、注目ブ
ロックの各DCT係数と、対応する予測DCT係数とを
加算することで、注目ブロックの画素値をDCT変換し
た注目DCTブロックを求める。
【0048】即ち、注目ブロックがイントラ符号化され
ているものである場合、その注目ブロックのDCT係数
は、画素値のブロック(画素ブロック)をDCT変換し
たものとなっているから、周波数領域動き補償加算部2
2は、その注目ブロックを、そのまま、注目DCTブロ
ックとする。
【0049】また、注目ブロックがノンイントラ符号化
されているものである場合、その注目ブロックは、画素
値のブロック(画素ブロック)と、予測画像との差分値
(残差画像)をDCT変換したものとなっているから、
周波数領域動き補償加算部22は、その注目ブロックの
各DCT係数と、DCT変換部21において8×8画素
の予測画像をDCT変換して得られる8×8の予測DC
T係数のうちの対応するものとを加算することにより、
注目DCTブロックを求める。
【0050】周波数領域動き補償加算部22において求
められた注目DCTブロックは、分離部1が出力する、
その注目DCTブロック(を含むマクロブロック)のD
CTタイプと対応付けられ、前処理部11からバッファ
メモリ12に供給される。
【0051】バッファメモリ12は、前処理部11から
供給される注目DCTブロックとそのDCTタイプとの
セットを、一時記憶する。なお、クラス分類部13で
は、後述するように、注目ブロックの情報の他、その注
目ブロックの上下左右にそれぞれ隣接する4つのブロッ
クの情報も用いて処理が行われるようになっている。こ
のため、バッファメモリ12は、画面2行分のマクロブ
ロックに、1つのマクロブロックを加えた分の2次元D
CT係数およびDCTタイプを記憶することのできる記
憶容量を、少なくとも有している。
【0052】ここで、バッファメモリ12に記憶される
ブロックのDCT係数は、前処理部11の周波数領域動
き補償加算部22が出力するものであるから、ブロック
のピクチャタイプによらず、また、ブロックがイントラ
符号化またはノンイントラ符号化されたかによらず、元
の画像の画素値(残差画像ではなく、元の画像)をDC
T変換したものとなっている。
【0053】なお、ここでいう元の画像は、残差画像と
予測画像とを加算して得られるものを意味し、MPEG
符号化の対象となった原画像そのものではない。
【0054】クラス分類部13は、1次元逆DCT変換
部31、隣接1次元DCT係数選択/変換部32、AC
パワー算出部33、AC内積計算部34、隣接タップデ
ータ生成部35、クラスコード生成部36および37か
ら構成され、バッファメモリ12に記憶されたブロック
のDCT係数とDCTタイプに基づき、注目ブロックの
各画素を、複数のクラスのうちのいずれかのクラスにク
ラス分けするクラス分類を行う。
【0055】即ち、1次元逆DCT変換部31は、バッ
ファメモリ12に記憶されたブロックのDCT係数を、
1次元逆DCT変換することにより、水平方向の空間周
波数成分を表す水平1次元DCT係数と、垂直方向の空
間周波数成分を表す垂直1次元DCT係数とを求める。
【0056】ここで、以下、適宜、垂直1次元DCT係
数と水平1次元DCT係数とをまとめて、1次元DCT
係数という。
【0057】また、MPEG符号化された符号化データ
に含まれるDCT係数は、水平方向と垂直方向の2方向
の空間周波数成分を表すものであり、1次元DCT係数
と区別するために、以下、適宜、2次元DCT係数とい
う。
【0058】さらに、以下、適宜、画素値から2次元D
CT係数への変換を、2次元DCT変換と、2次元DC
T係数から画素値への変換を、2次元逆DCT変換と、
それぞれいう。図2のDCT変換部21で行われるDC
T変換は、2次元DCT変換であり、図1の逆DCT変
換部3で行われる逆DCT変換は、2次元逆DCT変換
である。
【0059】1次元逆DCT変換部31で得られる1次
元DCT係数は、隣接1次元DCT係数選択/変換部3
2、ACパワー算出部33、AC内積計算部34、隣接
タップデータ生成部35、およびクラスコード生成部3
6に供給される。
【0060】隣接1次元DCT係数選択/変換部32
は、バッファメモリ12から、注目ブロックのDCTタ
イプを受信し、そのDCTタイプに基づき、注目ブロッ
クに隣接する画素(列)の1次元DCT係数(以下、適
宜、隣接1次元DCT係数という)を、1次元逆DCT
変換部31から供給される1次元DCT係数から取得
し、ACパワー算出部33、AC内積計算部34、隣接
タップデータ生成部35、およびクラスコード生成部3
6に供給する。
【0061】ACパワー算出部33は、1次元逆DCT
係数変換部31から供給される1次元DCT係数の交流
成分のパワー(以下、適宜、ACパワーという)を求め
るとともに、隣接1次元DCT係数選択/変換部32か
ら供給される1次元DCT係数のACパワーを求め、ク
ラスコード生成部36および37に供給する。
【0062】AC内積計算部34は、1次元逆DCT係
数変換部31から供給される注目ブロックの境界部分の
1次元DCT係数の交流成分と、隣接1次元DCT係数
選択/変換部32から供給される隣接1次元DCT係数
の交流成分とを、それぞれベクトルのコンポーネントと
みなして、その2つのベクトルの内積(以下、適宜、A
C内積という)を求める。AC内積計算部34で求めら
れるAC内積は、クラスコード生成部36に供給され
る。
【0063】隣接タップデータ生成部35は、1次元逆
DCT変換部31から供給される1次元DCT係数と、
隣接1次元DCT係数選択/変換部32から供給される
隣接1次元DCT係数の中から、後述する適応処理部5
1において構成される予測タップとなる1次元DCT係
数を選択し、適応処理部51に供給する。
【0064】クラスコード生成部36は、輝度信号Yの
ブロックを構成する画素のクラス分類を行い、クラスコ
ード生成部37は、色差信号(色信号)Cのブロックを
構成する画素のクラス分類を行う。
【0065】ここで、符号化データは、カラーの画像デ
ータをMPEG符号化したものとなっている。
【0066】そして、1次元逆DCT変換部31は、注
目ブロックが輝度信号のブロックである場合の、その注
目ブロックの1次元DCT係数を、隣接1次元DCT係
数選択/変換部32は、注目ブロックが輝度信号のブロ
ックである場合の、その注目ブロックに隣接する隣接1
次元DCT係数を、ACパワー算出部33は、注目ブロ
ックが輝度信号のブロックである場合の、その注目ブロ
ックについて得られたACパワーを、AC内積計算部3
4は、注目ブロックが輝度信号のブロックである場合
の、その注目ブロックについて得られたAC内積を、そ
れぞれ、クラスコード生成部36に供給するようになっ
ており、クラスコード生成部36は、そこに供給される
情報に基づいて、注目ブロックの各画素をクラス分類す
る。
【0067】さらに、クラスコード生成部36は、注目
ブロックの輝度信号の画素のクラス分類を行うことによ
り得られるクラスを表すクラスコードを生成し、タップ
係数記憶部14に供給する。ここで、クラスコード生成
部36において得られる、輝度信号のブロックの画素に
ついてのクラスコードを、以下、適宜、輝度クラスコー
ドという。
【0068】クラスコード生成部36が出力する注目ブ
ロックの各画素についての輝度クラスコードは、クラス
コード生成部37にも供給される。また、クラスコード
生成部37には、ACパワー算出部33から、注目ブロ
ックが色差信号のブロックである場合の、その注目ブロ
ックについて得られたACパワーも供給されるようにな
っている。
【0069】クラスコード生成部37は、ACパワー算
出部33から供給される注目ブロックのACパワーと、
クラスコード生成部36から供給される、色差信号の注
目ブロックに対応する輝度信号のブロックの画素の輝度
クラスコードとに基づいて、注目ブロックの各画素をク
ラス分類する。
【0070】そして、クラスコード生成部37は、注目
ブロックの色差信号の画素のクラス分類を行うことによ
り得られるクラスを表すクラスコードを生成し、タップ
係数記憶部14に供給する。ここで、クラスコード生成
部37において得られる、色差信号のブロックの画素に
ついてのクラスコードを、以下、適宜、色差クラスコー
ドという。
【0071】タップ係数記憶部14は、タップ係数選択
部41および42、並びに係数メモリ43および44か
ら供給され、クラス分類部13のクラスコード生成部3
6または37から供給されるクラスコードに対応するタ
ップ係数を取得し、画像再構成部15に供給する。
【0072】即ち、タップ係数選択部41には、クラス
コード生成部36が出力する輝度クラスコードが供給さ
れるようになっており、タップ係数選択部42には、ク
ラスコード生成部37が出力する色差クラスコードが供
給されるようになっている。
【0073】また、係数メモリ43には、輝度信号の画
素について、後述する学習により得られたクラスごとの
タップ係数が記憶されており、係数メモリ44には、色
差信号の画素について、学習により得られたクラスごと
のタップ係数が記憶されている。
【0074】そして、タップ係数選択部41は、クラス
コード生成部36から供給される輝度クラスコード(に
対応するクラス)のタップ係数を、係数メモリ43から
読み出し、画像再構成部15の適応処理部51に供給す
る。
【0075】また、タップ係数選択部42は、クラスコ
ード生成部37から供給される色差クラスコード(に対
応するクラス)のタップ係数を、係数メモリ44から読
み出し、画像再構成部15の適応処理部51に供給す
る。
【0076】画像再構成部15は、画像メモリ7、ピク
チャ選択部8、および適応処理部51から構成されてお
り、バッファメモリ12に記憶された2次元DCT係数
および隣接タップデータ生成部35から供給される1次
元DCT係数、並びにタップ係数記憶部14の係数メモ
リ43と44から供給されるタップ係数を用いて、画像
を復号(再構成)する。
【0077】即ち、適応処理部51は、バッファメモリ
12に記憶された注目ブロックの2次元DCT係数およ
び隣接タップデータ生成部35から供給される1次元D
CT係数を、タップ係数記憶部14の係数メモリ43と
44から供給されるタップ係数を用いて適応処理するこ
とにより、注目ブロックの画素値に変換する。さらに、
適応処理部51は、1フレーム(またはフィールド)分
の画素値、即ち、1フレーム(またはフィールド)の画
像データを復号すると、その復号画像データを、画像メ
モリ7とピクチャ選択部8に供給する。
【0078】画像メモリ7は、適応処理部51から供給
される復号画像データのうち、IピクチャとPピクチャ
の復号画像データを、参照画像として記憶する。ピクチ
ャ選択部8は、適応処理部51から供給される復号画像
データ、または画像メモリ7に記憶された復号画像デー
タを、表示順で選択して出力する。
【0079】ここで、適応処理部51では、上述したよ
うに、DCT係数を、タップ係数を用いて画素値に変換
する適応処理が行われる。
【0080】即ち、適応処理では、例えば、DCT係数
と、所定のタップ係数との線形結合により、元の画素の
予測値を求めることで、DCT係数が、元の画素値に復
号される。
【0081】具体的には、例えば、いま、画像の画素値
を教師データとするとともに、その画像を、ブロック単
位でDCT変換し、さらに量子化、逆量子化をして得ら
れるDCT係数を生徒データとして、教師データである
画素の画素値yの予測値E[y]を、幾つかのDCT係
数x1,x2,・・・の集合と、所定のタップ係数w1
2,・・・の線形結合により規定される線形1次結合
モデルにより求めることを考える。この場合、予測値E
[y]は、次式で表すことができる。
【0082】 E[y]=w11+w22+・・・ ・・・(1)
【0083】式(1)を一般化するために、タップ係数
jの集合でなる行列W、生徒データxijの集合でなる
行列X、および予測値E[yj]の集合でなる行列Y’
を、
【数1】 で定義すると、次のような観測方程式が成立する。
【0084】 XW=Y’ ・・・(2)
【0085】ここで、行列Xの成分xijは、i件目の生
徒データの集合(i件目の教師データyiの予測に用い
る生徒データの集合)(予測タップ)の中のj番目の生
徒データを意味し、行列Wの成分wjは、生徒データの
集合の中のj番目の生徒データとの積が演算されるタッ
プ係数を表す。また、yiは、i件目の教師データを表
し、従って、E[yi]は、i件目の教師データの予測
値を表す。なお、式(1)の左辺におけるyは、行列Y
の成分yiのサフィックスiを省略したものであり、ま
た、式(1)の右辺におけるx1,x2,・・・も、行列
Xの成分xijのサフィックスiを省略したものである。
【0086】式(2)の観測方程式に最小自乗法を適用
して、元の画素値yに近い予測値E[y]を求めること
を考える。この場合、教師データとなる真の画素値yの
集合でなる行列Y、および画素値yに対する予測値E
[y]の残差eの集合でなる行列Eを、
【数2】 で定義すると、式(2)から、次のような残差方程式が
成立する。
【0087】 XW=Y+E ・・・(3)
【0088】この場合、元の画素値yに近い予測値E
[y]を求めるためのタップ係数wjは、自乗誤差
【数3】 を最小にすることで求めることができる。
【0089】従って、上述の自乗誤差をタップ係数wj
で微分したものが0になる場合、即ち、次式を満たすタ
ップ係数wjが、元の画素値yに近い予測値E[y]を
求めるため最適値ということになる。
【0090】
【数4】 ・・・(4)
【0091】そこで、まず、式(3)を、タップ係数w
jで微分することにより、次式が成立する。
【0092】
【数5】 ・・・(5)
【0093】式(4)および(5)より、式(6)が得
られる。
【0094】
【数6】 ・・・(6)
【0095】さらに、式(3)の残差方程式における生
徒データxij、タップ係数wj、教師データyi、および
残差eiの関係を考慮すると、式(6)から、次のよう
な正規方程式を得ることができる。
【0096】
【数7】 ・・・(7)
【0097】なお、式(7)に示した正規方程式は、行
列(共分散行列)Aおよびベクトルvを、
【数8】 で定義するとともに、ベクトルWを、数1で示したよう
に定義すると、式 AW=v ・・・(8) で表すことができる。
【0098】式(7)における各正規方程式は、生徒デ
ータxijおよび教師データyiのセットを、ある程度の
数だけ用意することで、求めるべきタップ係数wjの数
Jと同じ数だけたてることができ、従って、式(8)
を、ベクトルWについて解くことで(但し、式(8)を
解くには、式(8)における行列Aが正則である必要が
ある)、最適なタップ係数(ここでは、自乗誤差を最小
にするタップ係数)wjを求めることができる。なお、
式(8)を解くにあたっては、例えば、掃き出し法(Ga
uss-Jordanの消去法)などを用いることが可能である。
【0099】以上のようにして、最適なタップ係数、即
ち、画素値の予測値の統計的な誤差を最小にするタップ
係数wjを求めておき、さらに、そのタップ係数wjを用
いて、式(1)により、元の画素値yに近い予測値E
[y]を求めるのが適応処理である。
【0100】なお、上述のように、画像の画素値を教師
データとするとともに、その画像を、ブロック単位でD
CT変換し、さらに量子化、逆量子化をして得られるD
CT係数を生徒データとする場合には、DCT係数(画
素値をDCT変換し、量子化し、さらに、逆量子化して
得られるDCT係数)を、式(1)の線形予測演算によ
って、元の画素値(の予測値)に変換するのに最適なタ
ップ係数を得ることができる。そして、DCT係数は、
周波数領域のデータであり、画素値は時間領域の信号で
あるから、上述のようなタップ係数を用いて、DCT係
数を画素値に変換する適応処理は、周波数(Frequency)
と時間(Time)の頭文字をとって、FT変換と呼ぶことが
できる。
【0101】ここで、上述の場合には、画像を2次元D
CT変換し、さらに量子化、逆量子化して得られるDC
T係数を生徒データとするとともに、原画像を教師デー
タとして、タップ係数を求めるようにしたが、タップ係
数は、その他、例えば、原画像を2次元DCT変換し、
さらに量子化、逆量子化して得られるDCT係数を生徒
データとするとともに、原画像を2次元DCT変換して
得られるDCT係数を教師データとして求めるようにす
ることも可能である。この場合、量子化誤差のあるDC
T係数を、量子化誤差のないDCT係数(の予測値)に
変換するのに最適なタップ係数を得ることができる。
【0102】また、タップ係数は、原画像を2次元DC
T変換し、さらに、量子化、逆量子化、2次元逆DCT
変換して得られる復号画像を生徒データとするととも
に、原画像を教師データとして求めるようにすることも
可能である。この場合、復号画像を、原画像(の予測
値)に変換するのに最適なタップ係数を得ることができ
る。
【0103】次に、図3は、図2のDCT変換部21お
よび周波数領域動き補償加算部22の構成例を示してい
る。
【0104】DCT変換部21は、(8×8画素)サン
プリング部61とDCT部62から構成され、画像メモ
リ5に記憶された予測画像を2次元DCT変換した予測
DCT係数を生成するようになっている。
【0105】即ち、サンプリング部61には、画像メモ
リ5に記憶された予測画像と、分離部1(図2)が出力
する注目ブロック(を含むマクロブロック)のDCTタ
イプが供給されるようになっている。
【0106】ここで、画像メモリ5には、動き補償部4
(図2)から、マクロブロックと同一の大きさである1
6×16画素の予測画像が供給されるようになってお
り、画像メモリ5は、注目ブロックに対応する16×1
6画素の予測画像を記憶する。従って、画像メモリ5
は、少なくとも16×16画素の画像を記憶することの
できる記憶容量を有している。
【0107】サンプリング部61は、画像メモリ5に記
憶された16×16画素の予測画像を、注目ブロックの
DCTタイプにしたがってサンプリングし、ブロックと
同一の大きさの8×8画素の予測画像を生成する。
【0108】即ち、画像メモリ5に記憶された16×1
6画素の予測画像は、フレーム構造になっており、注目
ブロックの構造と一致している場合と、一致していない
場合とがある。
【0109】具体的には、注目ブロックがフレーム構造
である場合には、注目ブロックと、画像メモリ5に記憶
された16×16画素の予測画像とは、一致した構造の
ものとなる。
【0110】従って、注目ブロックが、図4(A)に示
すように、マクロブロック(注目マクロブロック)の左
上、左下、右上、または右下のブロックである場合、サ
ンプリング部61は、図4(B)に示すように、画像メ
モリ5に記憶された16×16画素の予測画像のうち、
左上、左下、右上、または右下の8×8画素を、それぞ
れサンプリングし、これにより、注目ブロックの各画素
と空間的に対応する位置にある8×8画素の予測画像を
得て、DCT部62に供給する。
【0111】ここで、図4において(後述する図5にお
いても同様)、影を付してあるラインは、奇数ライン
(トップフィールド)を表し、影を付していないライン
は、偶数ライン(ボトムフィールド)を表す。
【0112】一方、注目ブロックがフィールド構造であ
る場合は、注目ブロックと、画像メモリ5に記憶された
16×16画素の予測画像とは、異なる構造のものとな
る。
【0113】即ち、この場合、注目ブロックを含むマク
ロブロック(注目マクロブロック)は、図5(A)に示
すように、上側の8ラインが奇数ライン(トップフィー
ルド)で構成され、下側の8ラインが偶数ライン(ボト
ムフィールド)で構成される。
【0114】従って、注目ブロックが、注目マクロブロ
ックの左上のブロックである場合、その注目ブロックの
8×8画素は、図5(B)に示すように、画像メモリ5
に記憶された16×16画素の予測画像のうちの、8つ
の奇数ライン(影を付してあるライン)の左側の8画素
に対応する。また、注目ブロックが、注目マクロブロッ
クの左下のブロックである場合、その注目ブロックの8
×8画素は、図5(B)に示すように、画像メモリ5に
記憶された16×16画素の予測画像のうちの、8つの
偶数ライン(影を付してないライン)の左側の8画素に
対応する。さらに、注目ブロックが、注目マクロブロッ
クの右上のブロックである場合には、その注目ブロック
の8×8画素は、図5(B)に示すように、画像メモリ
5に記憶された16×16画素の予測画像のうちの、8
つの奇数ライン(影を付してあるライン)の右側の8画
素に対応し、また、注目ブロックが、注目マクロブロッ
クの右下のブロックである場合には、その注目ブロック
の8×8画素は、図5(B)に示すように、画像メモリ
5に記憶された16×16画素の予測画像のうちの、8
つの偶数ライン(影を付してないライン)の右側の8画
素に対応する。
【0115】そこで、サンプリング部61は、注目ブロ
ックが、フィールド構造である場合には、画像メモリ5
に記憶された16×16画素の予測画像のうち、注目マ
クロブロックにおける注目ブロックの位置に対応する、
上述のような8×8画素をサンプリングし、これによ
り、注目ブロックの各画素と空間的に対応する位置にあ
る8×8画素の予測画像を得て、DCT部62に供給す
る。
【0116】DCT部62は、サンプリング部61から
供給される、注目ブロックの各画素と空間的に対応する
位置にある8×8画素の予測画像を2次元DCT変換
し、これにより、8×8の予測DCT係数を得て、周波
数領域動き補償加算部22に供給する。
【0117】なお、サンプリング部61において、注目
ブロックの構造は、分離部1(図2)が出力する注目ブ
ロック(を含む注目マクロブロック)のDCTタイプに
基づいて認識される。
【0118】周波数領域動き補償加算部22は、DCT
係数選択部71、加算部72、および選択部73から構
成され、DCT係数抽出/逆量子化部2(図2)から供
給される注目ブロックの2次元DCT係数と、DCT変
換部21から供給される予測DCT係数とを、必要に応
じて加算することにより、注目ブロックの元の画像の2
次元DCT係数を求める。
【0119】即ち、DCT係数選択部71には、DCT
係数抽出/逆量子化部2(図2)が出力する注目ブロッ
クの2次元DCT係数と、分離部1(図2)が出力する
注目ブロック(を含む注目マクロブロック)のCBPが
供給されるようになっている。
【0120】注目ブロックがイントラ符号化されたもの
である場合、その注目ブロックの2次元DCT係数は、
注目ブロックの元の画像を2次元DCT変換したもので
あるから、DCT係数選択部71は、注目ブロックを、
そのまま出力する。DCT係数選択部71の出力は、加
算部72と選択部73に供給される。
【0121】注目ブロックがイントラ符号化されたもの
である場合、加算部72は、特に処理を行わず、また、
選択部73は、DCT係数選択部71の出力を選択し、
後段のバッファメモリ12(図2)に供給する。
【0122】従って、注目ブロックがイントラ符号化さ
れたものである場合、即ち、DCT係数抽出/逆量子化
部2(図2)が出力する注目ブロックの2次元DCT係
数が、注目ブロックの元の画像を2次元DCT変換した
ものである場合には、DCT係数抽出/逆量子化部2
(図2)が出力する注目ブロックが、そのまま、バッフ
ァメモリ12(図2)に供給される。
【0123】一方、DCT係数選択部71は、注目ブロ
ックがノンイントラ符号化されたものである場合、その
注目ブロックのCBPを参照し、残差画像の2次元DC
T係数の有無を認識する。即ち、注目ブロックがノンイ
ントラ符号化されたものである場合には、その注目ブロ
ックには、原則として、残差画像の2次元DCT係数が
配置されるが、残差画像の2次元DCT係数がすべて0
となるときには、CBPが0とされ、2次元DCT係数
は配置されない。そして、この場合、注目ブロックの画
像は、予測画像に一致する。
【0124】そこで、DCT係数選択部71は、注目ブ
ロックがノンイントラ符号化されたものであり、そのC
BPが0である場合には、残差画像の2次元DCT係数
として0を出力する。
【0125】また、DCT係数選択部71は、注目ブロ
ックがノンイントラ符号化されたものであり、そのCB
Pが1である場合、DCT係数抽出/逆量子化部2(図
2)が出力する注目ブロックには、残差画像の2次元D
CT係数が配置されているから、その2次元DCT係数
を出力する。
【0126】DCT係数選択部71の出力は、上述した
ように、加算部72と選択部73に供給される。
【0127】加算部72は、注目ブロックがノンイント
ラ符号化されたものである場合、DCT係数選択部71
の出力と、DCT変換部21(のDCT部62)が出力
する予測画像の2次元DCT係数とを加算し、これによ
り、注目ブロックについて、元の画像の2次元DCT係
数を得て、選択部73に供給する。
【0128】選択部73は、注目ブロックがノンイント
ラ符号化されたものである場合、演算部72の出力を選
択し、後段のバッファメモリ12(図2)に供給する。
【0129】従って、注目ブロックがノンイントラ符号
化されたものである場合において、注目ブロックのCB
Pが0であるときには、注目ブロックの画像が、予測画
像に一致するため、加算部72において、DCT係数選
択部71が出力する0と、DCT部62が出力する予測
画像のDCT係数(予測DCT係数)とが加算されるこ
とにより、注目ブロックの元の画像の2次元DCT係数
が求められる。
【0130】また、注目ブロックのCBPが1であると
きには、加算部72において、DCT係数選択部71が
出力する注目ブロックの残差画像のDCT係数と、DC
T部62が出力する予測画像のDCT係数(予測DCT
係数)とが加算されることにより、やはり、注目ブロッ
クの元の画像の2次元DCT係数が求められる。
【0131】そして、選択部73では、加算部72にお
いて上述したようにして得られる、注目ブロックの元の
画像の2次元DCT係数が選択されて出力される。
【0132】なお、前処理部11(図2)では、周波数
領域において、残差画像と予測画像とを加算して、元の
画像の2次元DCT係数を求めるようにしたが、即ち、
残差画像の2次元DCT係数と、予測画像の2次元DC
T係数とを加算して、元の画像の2次元DCT係数を求
めるようにしたが、これは、後段のクラス分類部13に
おいて、周波数領域のDCT係数を用いて処理を行うた
め、前処理部11とクラス分類部13の処理を、周波数
領域で行うように統一した方が都合が良いと考えられる
ためである。
【0133】従って、元の画像の2次元DCT係数は、
残差画像と予測画像とを、時間領域において加算し、そ
の加算結果を、2次元DCT変換することによって求め
ても良い。
【0134】次に、図6および図7を参照して、図2の
1次元逆DCT変換部31の処理について説明する。
【0135】MPEGやJPEG(Joint Photographic
Experts Group)等のDCT変換を利用した画像の符号化
方式では、画像データが、水平方向および垂直方向の2
次元のDCT変換(2次元DCT変換)/逆DCT変換
(2次元逆DCT変換)が行われる。
【0136】図3(A)に示すような8×8画素のブロ
ックにおける画素値を、8行×8列の行列Xで表すとと
もに、図3(B)に示すような8×8のブロックにおけ
るDCT係数を、8行×8列の行列Fで表すこととする
と、2次元DCT変換/2次元逆DCT変換は、次式で
表すことができる。
【0137】 CXCT=F ・・・(9) CTFC=X ・・・(10)
【0138】ここで、上付のTは、転置を表す。また、
Cは、8行×8列のDCT変換行列で、その第i+1行
第j+1列のコンポーネントcijは、次式で表される。
【0139】 cij=Ai×cos((2j+1)×i×π/16) ・・・(11)
【0140】但し、式(11)において、i=0のとき
は、Ai=1/(2√2)であり、i≠0のときは、Ai
=1/2である。また、iとjは、0乃至7の範囲の整
数値である。
【0141】式(9)は、画素値Xを、2次元DCT係
数Fに変換する2次元DCT変換を表し、式(10)
は、2次元DCT係数Fを、画素値Xに変換する2次元
逆DCT変換を表す。
【0142】従って、式(10)によれば、2次元DC
T係数Fは、その左側から行列CTをかけるとともに、
その右側から行列Cをかけることにより、画素値Xに変
換されるが、1次元逆DCT変換部31は、2次元DC
T係数Fに対して、その左側から行列CTをかけるだけ
か、または、その右側から行列Cをかけるだけかするこ
とにより、1次元DCT係数を求める。
【0143】即ち、1次元逆DCT変換部31は、2次
元DCT係数Fに対して、その左側から行列CTだけを
かける。この場合、図6(C)に示すように、2次元D
CT係数Fにおける垂直方向が空間領域に変換され、水
平方向が周波数領域のままとされる垂直1次元逆DCT
変換が行われることとなり、その結果、水平方向の空間
周波数成分を表す水平1次元DCT係数vXhFを得る
ことができる。
【0144】また、1次元逆DCT変換部31は、2次
元DCT係数Fに対して、その右側から行列Cだけをか
ける。この場合、図6(D)に示すように、2次元DC
T係数Fにおける水平方向が空間領域に変換され、垂直
方向が周波数領域のままとされる水平1次元逆DCT変
換が行われることとなり、その結果、垂直方向の空間周
波数成分を表す垂直1次元DCT係数hXvFを得るこ
とができる。
【0145】なお、横×縦が8×8の2次元DCT係数
Fを、垂直1次元逆DCT変換した場合には、8×1の
水平1次元DCT係数が、8セット(8行分)得られる
ことになる(図6(C))。また、2次元DCT係数F
を、水平1次元逆DCT変換した場合には、1×8の垂
直1次元DCT係数が、8セット(8列分)得られるこ
とになる(図6(D))。
【0146】そして、ある行における8×1の水平1次
元DCT係数については、その左端のDCT係数が、そ
の行の8画素の画素値の直流成分(DC成分)(8画素
の画素値の平均値)を表し、他の7つのDCT係数が、
その行の水平方向の交流成分を表す。また、ある列にお
ける1×8の垂直1次元DCT係数については、その最
上行のDCT係数が、その列の8画素の画素値の直流成
分を表し、他の7つのDCT係数が、その列の垂直方向
の交流成分を表す。
【0147】ここで、式(9)によれば、水平1次元D
CT係数は、2次元DCT係数Fに対応する画素値Xに
対して、その右側から行列CTをかける水平1次元DC
T変換を行うことによっても求めることができる。ま
た、垂直1次元DCT係数は、2次元DCT係数Fに対
応する画素値Xに対して、その左側から行列Cをかける
垂直1次元DCT変換を行うことによっても求めること
ができる。
【0148】図7は、実際の画像と、その画像について
の2次元DCT係数、水平1次元DCT係数、および垂
直1次元DCT係数を示している。
【0149】なお、図7は、8×8ブロックの画像と、
その画像についての2次元DCT係数、水平1次元DC
T係数、および垂直1次元DCT係数を示している。ま
た、図7(A)が、実際の画像を、図7(B)が、2次
元DCT係数を、図7(C)が、水平1次元DCT係数
を、図7(D)が、垂直1次元DCT係数を、それぞれ
示している。
【0150】ここで、図7(A)の画像は、8ビットの
画素値を有するものであり、そのような画素値から求め
られるDCT係数は、負の値も取り得る。但し、図7
(B)乃至図7(D)の実施の形態では、求められたD
CT係数に対して、128(=27)を加算し、その加
算値が0未満となるものは0にクリップするとともに、
加算値が256以上となるものは255にクリップする
ことにより、0乃至255の範囲のDCT係数を、図示
してある。
【0151】2次元DCT係数には、8×8画素のブロ
ック全体の情報が反映されているため、2次元DCT係
数からでは、ブロック内の特定の画素の情報等の局所的
な情報を把握するのは困難である。これに対して、水平
1次元DCT係数または垂直1次元DCT係数には、ブ
ロックのある1行または1列だけの情報が、それぞれ反
映されているため、2次元DCT係数に比較して、ブロ
ック内の局所的な情報を容易に把握することができる。
【0152】即ち、ブロックのある行の特徴は、その行
の8×1の水平1次元DCT係数から把握することがで
き、ある列の特徴は、その列の1×8の垂直1次元DC
T係数から把握することができる。さらに、ブロックの
ある画素の特徴は、その画素が位置する行の8×1の水
平1次元DCT係数と、その画素が位置する列の1×8
の垂直1次元DCT係数とから把握することができる。
【0153】また、左右に隣接するブロックどうしの境
界の状態は、ブロック全体の情報が反映された2次元D
CT係数よりも、ブロックの境界部分の垂直方向の空間
周波数成分を表す垂直1次元DCT係数を用いた方が、
より正確に把握することができる。さらに、上下に隣接
するブロックどうしの境界の状態も、ブロック全体の情
報が反映された2次元DCT係数よりも、ブロックの境
界部分の水平方向の空間周波数成分を表す水平1次元D
CT係数を用いた方が、より正確に把握することができ
る。
【0154】次に、図2の隣接次元DCT係数選択/変
換部32は、上述したように、1次元逆DCT変換部3
1から供給される1次元DCT係数の中から、注目ブロ
ックに隣接する画素(列)の1次元DCT係数(隣接1
次元DCT係数)を取得するが、この隣接1次元DCT
係数は、注目ブロックと、その注目ブロックと空間的に
隣接するブロック(以下、適宜、隣接ブロックという)
との間のブロック境界の状態を分析するのに用いられる
ものであるため、空間領域において、注目ブロックの境
界と隣接する画素列を1次元DCT変換したものである
必要がある。
【0155】しかしながら、MPEG2では、マクロブ
ロック単位で、フレーム構造とフィールド構造の選択が
可能であることから、注目ブロックを含む注目マクロブ
ロックの構造や、注目マクロブロックに隣接するマクロ
ブロック(以下、適宜、隣接マクロブロックという)の
構造によっては、注目ブロックに隣接する隣接ブロック
における、注目ブロックに隣接する1次元DCT係数
が、空間領域において、注目ブロックの境界と隣接する
画素列を1次元DCT変換したものとなっていない場合
がある。
【0156】そこで、隣接1次元DCT係数選択/変換
部32は、バッファメモリ12から供給されるDCTタ
イプによって、注目ブロックと隣接ブロックの構造を認
識し、注目ブロックの構造を基準として、空間領域にお
いて、その注目ブロックの境界と隣接する隣接ブロック
の画素列を1次元DCT変換した1次元DCT係数(隣
接1次元DCT係数)を取得するようになっている。
【0157】ここで、図8乃至図23を参照して、注目
ブロックの構造を基準とした場合に、空間領域におい
て、その注目ブロックの境界と隣接する隣接ブロックの
画素列を1次元DCT変換したものとなる1次元DCT
係数について説明する。
【0158】なお、図8乃至図23では、注目マクロブ
ロックをMBNと、注目マクロブロックMBN上下左右に
隣接するマクロブロックを、それぞれMBU,MBD,M
L,MBRと表す。
【0159】さらに、注目マクロブロックMBNの左
上、左下、右上、右下のブロックを、それぞれ、
NUL,BNDL,BNUR,BNDRと表し、上隣接マクロブロ
ック(注目ブロックの上に隣接するマクロブロック)M
Uの左上、左下、右上、右下のブロックを、それぞ
れ、BUUL,BUDL,BUUR,BUDRと表す。また、下隣接
マクロブロック(注目ブロックの下に隣接するマクロブ
ロック)MBDの左上、左下、右上、右下のブロック
を、それぞれ、BDUL,BDDL,BDUR,BDDRと表し、左
隣接マクロブロック(注目ブロックの左に隣接するマク
ロブロック)MBLの左上、左下、右上、右下のブロッ
クを、それぞれ、BLUL,BLDL,BLUR,BLDRと表す。
さらに、右隣接マクロブロック(注目ブロックの右に隣
接するマクロブロック)MBRの左上、左下、右上、右
下のブロックを、それぞれ、BRUL,BRDL,BR UR,B
RDRと表す。
【0160】図8は、注目マクロブロックMBNの左上
のブロックBNULが注目ブロックであるとした場合に、
空間領域において、注目ブロックBNULの上側の境界、
即ち、最上行の8画素に隣接する隣接ブロックの画素列
(以下、適宜、上隣接画素列という)を示している。
【0161】なお、図8において、影を付してあるライ
ンが、注目ブロックBNULの最上行の画素列を表し、斜
線を付してあるラインが、上隣接画素列を表している。
【0162】注目マクロブロックMBNの左上のブロッ
クBNULが注目ブロックである場合の上に隣接するブロ
ックは、注目マクロブロックMBNの中のブロックでは
ない上隣接マクロブロックMBUの左下のブロックBUDL
となるから、注目ブロックBNU Lの最上行の画素列の上
に隣接する上隣接画素列がいずれの画素列になるかは、
注目マクロブロックMBNと、上隣接マクロブロックM
Uの両方の構造を考慮する必要がある。
【0163】即ち、注目マクロブロックMBNと上隣接
マクロブロックMBUのDCTタイプが、いずれもフレ
ームDCTの場合は、注目ブロックBNULは、注目マク
ロブロックMBNの左上の8×8画素であり、図8
(A)に示すように、その最上行の8画素(影を付して
ある部分)は、空間領域において、フレーム構造の上隣
接マクロブロックMBUの左下のブロックBUDLの最下行
の8画素(斜線を付してある部分)と隣接する。従っ
て、注目ブロックBNULの最上行の水平1次元DCT係
数に対し、空間領域において上側に隣接する画素列の水
平1次元DCT係数(以下、適宜、上隣接1次元DCT
係数という)は、ブロックBUDLの最下行の8画素を水
平1次元DCT変換した水平1次元DCT係数になる。
【0164】注目マクロブロックMBNのDCTタイプ
が、フレームDCTであり、上隣接マクロブロックMB
UのDCTタイプが、フィールドDCTの場合は、注目
ブロックBNULは、注目マクロブロックMBNの左上の8
×8画素であり、図8(B)に示すように、その最上行
の8画素(影を付してある部分)は、空間領域におい
て、フィールド構造の上隣接マクロブロックMBUの左
下のブロックBUDLの最下行の8画素(斜線を付してあ
る部分)と隣接する。従って、注目ブロックBNULの最
上行の水平1次元DCT係数に対する上隣接1次元DC
T係数は、ブロックBUDLの最下行の8画素を水平1次
元DCT変換した水平1次元DCT係数になる。
【0165】注目マクロブロックMBNのDCTタイプ
が、フィールドDCTであり、上隣接マクロブロックM
UのDCTタイプが、フレームDCTの場合は、注目
ブロックBNULは、注目マクロブロックMBNの8つの奇
数ラインの左側の8画素であり、図8(C)に示すよう
に、その最上行の8画素(影を付してある部分)は、空
間領域において、フレーム構造の上隣接マクロブロック
MBUの左下ブロックBUDLの第7行目(上から7行目)
の8画素(斜線を付してある部分)と隣接する。従っ
て、注目ブロックBNULの最上行の水平1次元DCT係
数に対する上隣接1次元DCT係数は、ブロックBUDL
の第7行の8画素を水平1次元DCT変換した水平1次
元DCT係数になる。
【0166】注目マクロブロックMBNのDCTタイプ
が、フィールドDCTであり、上隣接マクロブロックM
UのDCTタイプも、フィールドDCTの場合は、注
目ブロックBNULは、注目マクロブロックMBNの8つの
奇数ラインの左側の8画素であり、図8(D)に示すよ
うに、その最上行の8画素(影を付してある部分)は、
空間領域において、フィールド構造の上隣接マクロブロ
ックMBUの左上のブロックBUULの最下行の8画素(斜
線を付してある部分)と隣接する。従って、注目ブロッ
クBNULの最上行の水平1次元DCT係数に対する上隣
接1次元DCT係数は、ブロックBUULの最下行の8画
素を水平1次元DCT変換した水平1次元DCT係数に
なる。
【0167】次に、図9は、注目マクロブロックMBN
の左上のブロックBNULが注目ブロックであるとした場
合に、空間領域において、注目ブロックBNULの下側の
境界、即ち、最下行の8画素に隣接する隣接ブロックの
画素列(以下、適宜、下隣接画素列という)を示してい
る。
【0168】なお、図9において、影を付してあるライ
ンが、注目ブロックBNULの最下行の画素列を表し、斜
線を付してあるラインが、下隣接画素列を表している。
【0169】注目マクロブロックMBNの左上のブロッ
クBNULが注目ブロックである場合の下に隣接するブロ
ックは、注目マクロブロックMBNの中の左下のブロッ
クBNDLとなるから、注目ブロックBNULの最下行の画素
列の下に隣接する下隣接画素列がいずれの画素列になる
かは、注目マクロブロックMBNの構造のみを考慮すれ
ば良い。
【0170】即ち、注目マクロブロックMBNのDCT
タイプが、フレームDCTの場合は、注目ブロックB
NULは、注目マクロブロックMBNの左上の8×8画素で
あり、図9(A)に示すように、その最下行の8画素
(影を付してある部分)は、空間領域において、フレー
ム構造の注目マクロブロックMBNの左下のブロックB
NDLの最上行の8画素(斜線を付してある部分)と隣接
する。従って、注目ブロックBNULの最下行の水平1次
元DCT係数に対し、空間領域において下側に隣接する
画素列の水平1次元DCT係数(以下、適宜、下隣接1
次元DCT係数という)は、ブロックBNDLの最上行の
8画素を水平1次元DCT変換した水平1次元DCT係
数になる。
【0171】注目マクロブロックMBNのDCTタイプ
が、フィールドDCTである場合は、注目ブロックB
NULは、注目マクロブロックMBNの8つの奇数ラインの
左側の8画素であり、図9(B)に示すように、その最
下行の8画素(影を付してある部分)は、空間領域にお
いて、フレーム構造の注目マクロブロックMBNの下に
隣接する下隣接マクロブロックMBDの左上のブロック
DULの最上行の8画素(斜線を付してある部分)と隣
接する。従って、注目ブロックBNULの最下行の水平1
次元DCT係数に対する下隣接1次元DCT係数は、ブ
ロックBDULの最上行の8画素を水平1次元DCT変換
した水平1次元DCT係数になる。
【0172】次に、図10は、注目マクロブロックMB
Nの左上のブロックBNULが注目ブロックであるとした場
合に、空間領域において、注目ブロックBNULの左側の
境界、即ち、最左列の8画素に隣接する隣接ブロックの
画素列(以下、適宜、左隣接画素列という)を示してい
る。
【0173】なお、図10において、影を付してあるラ
インが、注目ブロックBNULの最左列の画素列を表し、
斜線を付してあるラインが、左隣接画素列を表してい
る。
【0174】注目マクロブロックMBNの左上のブロッ
クBNULが注目ブロックである場合の左に隣接するブロ
ックは、注目マクロブロックMBNの中のブロックでは
ない左隣接マクロブロックMBLの右上のブロックBLUR
となるから、注目ブロックBNU Lの最左列の画素列の左
に隣接する左隣接画素列がいずれの画素列になるかは、
注目マクロブロックMBNと、左隣接マクロブロックM
Lの両方の構造を考慮する必要がある。
【0175】即ち、注目マクロブロックMBNと左隣接
マクロブロックMBUのDCTタイプが、いずれもフレ
ームDCTの場合は、注目ブロックBNULは、注目マク
ロブロックMBNの左上の8×8画素であり、図10
(A)に示すように、その最左列の8画素(影を付して
ある部分)は、空間領域において、フレーム構造の左隣
接マクロブロックMBLの右上のブロックBLURの最右列
の8画素(斜線を付してある部分)と隣接する。従っ
て、注目ブロックBNULの最左列の垂直1次元DCT係
数に対し、空間領域において左側に隣接する画素列の垂
直1次元DCT係数(以下、適宜、左隣接1次元DCT
係数という)は、ブロックBLURの最右列の8画素を垂
直1次元DCT変換した垂直1次元DCT係数になる。
【0176】注目マクロブロックMBNのDCTタイプ
が、フレームDCTであり、左隣接マクロブロックMB
LのDCTタイプが、フィールドDCTの場合は、注目
ブロックBNULは、注目マクロブロックMBNの左上の8
×8画素であり、図10(B)に示すように、その最左
列の8画素(影を付してある部分)は、空間領域におい
て、フィールド構造の左隣接マクロブロックMBLの右
上のブロックBLURにおける最右列の上4画素と、その
右下のブロックBLDRにおける最右列の上4画素の合計
8画素(斜線を付してある部分)と隣接する。従って、
注目ブロックBNU Lの最左列の垂直1次元DCT係数に
対する左隣接1次元DCT係数は、ブロックBLURにお
ける最右列の上4画素とブロックBLDRにおける最右列
の上4画素の合計8画素を垂直1次元DCT変換した垂
直1次元DCT係数になる。
【0177】注目マクロブロックMBNのDCTタイプ
が、フィールドDCTであり、左隣接マクロブロックM
LのDCTタイプが、フレームDCTの場合は、注目
ブロックBNULは、注目マクロブロックMBNの8つの奇
数ラインの左側の8画素であり、図10(C)に示すよ
うに、その最左列の8画素(影を付してある部分)は、
空間領域において、フレーム構造の左隣接マクロブロッ
クMBLの右上のブロックBLURにおける最右列の奇数行
の4画素と、その右下のブロックBLDRにおける奇数行
の4画素の合計8画素(斜線を付してある部分)と隣接
する。従って、注目ブロックBNULの最左列の垂直1次
元DCT係数に対する左隣接1次元DCT係数は、ブロ
ックBLURにおける最右列の奇数行の4画素とブロック
LDRにおける奇数行の4画素の合計8画素を垂直1次
元DCT変換した垂直1次元DCT係数になる。
【0178】注目マクロブロックMBNのDCTタイプ
が、フィールドDCTであり、左隣接マクロブロックM
LのDCTタイプも、フィールドDCTの場合は、注
目ブロックBNULは、注目マクロブロックMBNの8つの
奇数ラインの左側の8画素であり、図10(D)に示す
ように、その最左列の8画素(影を付してある部分)
は、空間領域において、フィールド構造の左隣接マクロ
ブロックMBLの右上のブロックBLURの最右列の8画素
(斜線を付してある部分)と隣接する。従って、注目ブ
ロックBNULの最左列の垂直1次元DCT係数に対する
左隣接1次元DCT係数は、ブロックBLURの最右列の
8画素を垂直1次元DCT変換した垂直1次元DCT係
数になる。
【0179】次に、図11は、注目マクロブロックMB
Nの左上のブロックBNULが注目ブロックであるとした場
合に、空間領域において、注目ブロックBNULの右側の
境界、即ち、最右列の8画素に隣接する隣接ブロックの
画素列(以下、適宜、右隣接画素列という)を示してい
る。
【0180】なお、図11において、影を付してあるラ
インが、注目ブロックBNULの最右列の画素列を表し、
斜線を付してあるラインが、右隣接画素列を表してい
る。
【0181】注目マクロブロックMBNの左上のブロッ
クBNULが注目ブロックである場合の右に隣接するブロ
ックは、注目マクロブロックMBNの中の右上のブロッ
クBNURになるから、注目ブロックBNULの最右列の画素
列の右に隣接する右隣接画素列は、必ず、ブロックNUR
の最左列の8画素となるので、注目マクロブロックMB
Nや、その注目マクロブロックMBNに隣接するマクロブ
ロックの構造を考慮する必要はない。
【0182】即ち、注目マクロブロックMBNの左上の
ブロックBNULが注目ブロックである場合には、図11
に示すように、その最右列の8画素(影を付してある部
分)は、空間領域において、注目ブロックBNULの右隣
のブロックBNURの最左列の8画素(斜線を付してある
部分)と隣接する。従って、注目ブロックBNULの最右
列の垂直1次元DCT係数に対し、空間領域において右
側に隣接する画素列の垂直1次元DCT係数(以下、適
宜、右隣接1次元DCT係数という)は、ブロックB
NURの最左列の8画素を垂直1次元DCT変換した垂直
1次元DCT係数になる。
【0183】次に、図12は、注目マクロブロックMB
Nの左下のブロックBNDLが注目ブロックであるとした場
合に、空間領域において、注目ブロックBNDLの上側の
境界、即ち、最上行の8画素に隣接する隣接ブロックの
画素列(上隣接画素列)を示している。
【0184】なお、図12において、影を付してあるラ
インが、注目ブロックBNDLの最上行の画素列を表し、
斜線を付してあるラインが、上隣接画素列を表してい
る。
【0185】注目マクロブロックMBNの左下のブロッ
クBNDLが注目ブロックである場合の上に隣接するブロ
ックは、注目マクロブロックMBNの中の左上のブロッ
クBNULとなるから、注目ブロックBNDLの最上行の画素
列の上に隣接する上隣接画素列がいずれの画素列になる
かは、注目マクロブロックMBNの構造のみを考慮すれ
ば良い。
【0186】即ち、注目マクロブロックMBNのDCT
タイプが、フレームDCTの場合は、注目ブロックB
NDLは、注目マクロブロックMBNの左下の8×8画素で
あり、図12(A)に示すように、その最上行の8画素
(影を付してある部分)は、空間領域において、フレー
ム構造の注目マクロブロックMBNの左上ブロックBNUL
の最下行の8画素(斜線を付してある部分)と隣接す
る。従って、注目ブロックBNDLの最上行の水平1次元
DCT係数に対する上隣接1次元DCT係数は、ブロッ
クBNULの最下行の8画素を水平1次元DCT変換した
水平1次元DCT係数になる。
【0187】注目マクロブロックMBNのDCTタイプ
が、フィールドDCTである場合は、注目ブロックB
NDLは、注目マクロブロックMBNの8つの偶数ラインの
左側の8画素であり、図12(B)に示すように、その
最上行の8画素(影を付してある部分)は、空間領域に
おいて、フレーム構造の注目マクロブロックMBNの上
に隣接する上隣接マクロブロックMBUの左下のブロッ
クBUDLの最下行の8画素(斜線を付してある部分)と
隣接する。従って、注目ブロックBNDLの最上行の水平
1次元DCT係数に対する上隣接1次元DCT係数は、
ブロックBUDLの最下行の8画素を水平1次元DCT変
換した水平1次元DCT係数になる。
【0188】次に、図13は、注目マクロブロックMB
Nの左下のブロックBNDLが注目ブロックであるとした場
合に、空間領域において、注目ブロックBNDLの下側の
境界、即ち、最下行の8画素に隣接する隣接ブロックの
画素列(下隣接画素列)を示している。
【0189】なお、図13において、影を付してあるラ
インが、注目ブロックBNDLの最下行の画素列を表し、
斜線を付してあるラインが、下隣接画素列を表してい
る。
【0190】注目マクロブロックMBNの左下のブロッ
クBNDLが注目ブロックである場合の下に隣接するブロ
ックは、注目マクロブロックMBNの中のブロックでは
ない下隣接マクロブロックMBDの左上のブロックBDUL
となるから、注目ブロックBND Lの最下行の画素列の下
に隣接する下隣接画素列がいずれの画素列になるかは、
注目マクロブロックMBNと、下隣接マクロブロックM
Dの両方の構造を考慮する必要がある。
【0191】即ち、注目マクロブロックMBNと下隣接
マクロブロックMBDのDCTタイプが、いずれもフレ
ームDCTの場合は、注目ブロックBNDLは、注目マク
ロブロックMBNの左下の8×8画素であり、図13
(A)に示すように、その最下行の8画素(影を付して
ある部分)は、空間領域において、フレーム構造の下隣
接マクロブロックMBDの左上のブロックBDULの最上行
の8画素(斜線を付してある部分)と隣接する。従っ
て、注目ブロックBNDLの最下行の水平1次元DCT係
数に対する下隣接1次元DCT係数は、ブロックBDUL
の最上行の8画素を水平1次元DCT変換した水平1次
元DCT係数になる。
【0192】注目マクロブロックMBNのDCTタイプ
が、フレームDCTであり、下隣接マクロブロックMB
DのDCTタイプが、フィールドDCTの場合は、注目
ブロックBNDLは、注目マクロブロックMBNの左下の8
×8画素であり、図13(B)に示すように、その最下
行の8画素(影を付してある部分)は、空間領域におい
て、フィールド構造の下隣接マクロブロックMBDの左
上のブロックBDULの最上行の8画素(斜線を付してあ
る部分)と隣接する。従って、注目ブロックBND Lの最
下行の水平1次元DCT係数に対する下隣接1次元DC
T係数は、ブロックBDULの最上行の8画素を水平1次
元DCT変換した水平1次元DCT係数になる。
【0193】注目マクロブロックMBNのDCTタイプ
が、フィールドDCTであり、下隣接マクロブロックM
DのDCTタイプが、フレームDCTの場合は、注目
ブロックBNDLは、注目マクロブロックMBNの8つの偶
数ラインの左側の8画素であり、図13(C)に示すよ
うに、その最下行の8画素(影を付してある部分)は、
空間領域において、フレーム構造の下隣接マクロブロッ
クMBDの左上のブロックBDULの第2行目の8画素(斜
線を付してある部分)と隣接する。従って、注目ブロッ
クBNDLの最下行の水平1次元DCT係数に対する下隣
接1次元DCT係数は、ブロックBDULの第2行目の8
画素を水平1次元DCT変換した水平1次元DCT係数
になる。
【0194】注目マクロブロックMBNのDCTタイプ
が、フィールドDCTであり、下隣接マクロブロックM
DのDCTタイプも、フィールドDCTの場合は、注
目ブロックBNDLは、注目マクロブロックMBNの8つの
偶数ラインの左側の8画素であり、図13(D)に示す
ように、その最下行の8画素(影を付してある部分)
は、空間領域において、フィールド構造の下隣接マクロ
ブロックMBDの左下のブロックBDDLの最上行の8画素
(斜線を付してある部分)と隣接する。従って、注目ブ
ロックBNDLの最下行の水平1次元DCT係数に対する
下隣接1次元DCT係数は、ブロックBDDLの最上行の
8画素を水平1次元DCT変換した水平1次元DCT係
数になる。
【0195】次に、図14は、注目マクロブロックMB
Nの左下のブロックBNDLが注目ブロックであるとした場
合に、空間領域において、注目ブロックBNDLの左側の
境界、即ち、最左列の8画素に隣接する隣接ブロックの
画素列(左隣接画素列)を示している。
【0196】なお、図14において、影を付してあるラ
インが、注目ブロックBNDLの最左列の画素列を表し、
斜線を付してあるラインが、左隣接画素列を表してい
る。
【0197】注目マクロブロックMBNの左下のブロッ
クBNDLが注目ブロックである場合の左に隣接するブロ
ックは、注目マクロブロックMBNの中のブロックでは
ない左隣接マクロブロックMBLの右下のブロックBLDR
となるから、注目ブロックBND Lの最左列の画素列の左
に隣接する左隣接画素列がいずれの画素列になるかは、
注目マクロブロックMBNと、左隣接マクロブロックM
Lの両方の構造を考慮する必要がある。
【0198】即ち、注目マクロブロックMBNと左隣接
マクロブロックMBLのDCTタイプが、いずれもフレ
ームDCTの場合は、注目ブロックBNDLは、注目マク
ロブロックMBNの左下の8×8画素であり、図14
(A)に示すように、その最左列の8画素(影を付して
ある部分)は、空間領域において、フレーム構造の左隣
接マクロブロックMBLの右下のブロックBLDRの最右列
の8画素(斜線を付してある部分)と隣接する。従っ
て、注目ブロックBNDLの最左列の垂直1次元DCT係
数に対する左隣接1次元DCT係数は、ブロックBLDR
の最右列の8画素を垂直1次元DCT変換した垂直1次
元DCT係数になる。
【0199】注目マクロブロックMBNのDCTタイプ
が、フレームDCTであり、左隣接マクロブロックMB
LのDCTタイプが、フィールドDCTの場合は、注目
ブロックBNDLは、注目マクロブロックMBNの左下の8
×8画素であり、図14(B)に示すように、その最左
列の8画素(影を付してある部分)は、空間領域におい
て、フィールド構造の左隣接マクロブロックMBLの右
上のブロックBLURにおける最右列の下4画素と、その
右下のブロックBLDRにおける最右列の下4画素の合計
8画素(斜線を付してある部分)と隣接する。従って、
注目ブロックBND Lの最左列の垂直1次元DCT係数に
対する左隣接1次元DCT係数は、ブロックBLURにお
ける最右列の下4画素とブロックBLDRにおける最右列
の下4画素の合計8画素を垂直1次元DCT変換した垂
直1次元DCT係数になる。
【0200】注目マクロブロックMBNのDCTタイプ
が、フィールドDCTであり、左隣接マクロブロックM
LのDCTタイプが、フレームDCTの場合は、注目
ブロックBNDLは、注目マクロブロックMBNの8つの偶
数ラインの左側の8画素であり、図14(C)に示すよ
うに、その最左列の8画素(影を付してある部分)は、
空間領域において、フレーム構造の左隣接マクロブロッ
クMBLの右上のブロックBLURにおける最右列の偶数行
の4画素と、その右下のブロックBLDRにおける偶数行
の4画素の合計8画素(斜線を付してある部分)と隣接
する。従って、注目ブロックBNDLの最左列の垂直1次
元DCT係数に対する左隣接1次元DCT係数は、ブロ
ックBLURにおける最右列の偶数行の4画素とブロック
LDRにおける偶数行の4画素の合計8画素を垂直1次
元DCT変換した垂直1次元DCT係数になる。
【0201】注目マクロブロックMBNのDCTタイプ
が、フィールドDCTであり、左隣接マクロブロックM
LのDCTタイプも、フィールドDCTの場合は、注
目ブロックBNDLは、注目マクロブロックMBNの8つの
偶数ラインの左側の8画素であり、図14(D)に示す
ように、その最左列の8画素(影を付してある部分)
は、空間領域において、フィールド構造の左隣接マクロ
ブロックMBLの右下のブロックBLDRの最右列の8画素
(斜線を付してある部分)と隣接する。従って、注目ブ
ロックBNDLの最左列の垂直1次元DCT係数に対する
左隣接1次元DCT係数は、ブロックBLDRの最右列の
8画素を垂直1次元DCT変換した垂直1次元DCT係
数になる。
【0202】次に、図15は、注目マクロブロックMB
Nの左下のブロックBNDLが注目ブロックであるとした場
合に、空間領域において、注目ブロックBNDLの右側の
境界、即ち、最右列の8画素に隣接する隣接ブロックの
画素列(右隣接画素列)を示している。
【0203】なお、図15において、影を付してあるラ
インが、注目ブロックBNDLの最右列の画素列を表し、
斜線を付してあるラインが、右隣接画素列を表してい
る。
【0204】注目マクロブロックMBNの左下のブロッ
クBNDLが注目ブロックである場合の右に隣接するブロ
ックは、注目マクロブロックMBNの中の右下のブロッ
クBNDRになるから、注目ブロックBNDLの最右列の画素
列の右に隣接する右隣接画素列は、必ず、ブロックNDR
の最左列の8画素となるので、注目マクロブロックMB
Nや、その注目マクロブロックMBNに隣接するマクロブ
ロックの構造を考慮する必要はない。
【0205】即ち、注目マクロブロックMBNの左下の
ブロックBNDLが注目ブロックである場合には、図15
に示すように、その最右列の8画素(影を付してある部
分)は、空間領域において、注目ブロックBNDLの右隣
のブロックBNDRの最左列の8画素(斜線を付してある
部分)と隣接する。従って、注目ブロックBNDLの最右
列の垂直1次元DCT係数に対する右隣接1次元DCT
係数は、ブロックBNDRの最左列の8画素を垂直1次元
DCT変換した垂直1次元DCT係数になる。
【0206】図16は、注目マクロブロックMBNの右
上のブロックBNURが注目ブロックであるとした場合
に、空間領域において、注目ブロックBNURの上側の境
界、即ち、最上行の8画素に隣接する隣接ブロックの画
素列(上隣接画素列)を示している。
【0207】なお、図16において、影を付してあるラ
インが、注目ブロックBNURの最上行の画素列を表し、
斜線を付してあるラインが、上隣接画素列を表してい
る。
【0208】注目マクロブロックMBNの右上のブロッ
クBNURが注目ブロックである場合の上に隣接するブロ
ックは、注目マクロブロックMBNの中のブロックでは
ない上隣接マクロブロックMBUの右下のブロックBUDR
となるから、注目ブロックBNU Rの最上行の画素列の上
に隣接する上隣接画素列がいずれの画素列になるかは、
注目マクロブロックMBNと、上隣接マクロブロックM
Uの両方の構造を考慮する必要がある。
【0209】即ち、注目マクロブロックMBNと上隣接
マクロブロックMBUのDCTタイプが、いずれもフレ
ームDCTの場合は、注目ブロックBNURは、注目マク
ロブロックMBNの右上の8×8画素であり、図16
(A)に示すように、その最上行の8画素(影を付して
ある部分)は、空間領域において、フレーム構造の上隣
接マクロブロックMBUの右下のブロックBUDRの最下行
の8画素(斜線を付してある部分)と隣接する。従っ
て、注目ブロックBNURの最上行の水平1次元DCT係
数に対する上隣接1次元DCT係数は、ブロックBUDR
の最下行の8画素を水平1次元DCT変換した水平1次
元DCT係数になる。
【0210】注目マクロブロックMBNのDCTタイプ
が、フレームDCTであり、上隣接マクロブロックMB
UのDCTタイプが、フィールドDCTの場合は、注目
ブロックBNURは、注目マクロブロックMBNの右上の8
×8画素であり、図16(B)に示すように、その最上
行の8画素(影を付してある部分)は、空間領域におい
て、フィールド構造の上隣接マクロブロックMBUの右
下ブロックBUDRの最下行の8画素(斜線を付してある
部分)と隣接する。従って、注目ブロックBNURの最上
行の水平1次元DCT係数に対する上隣接1次元DCT
係数は、ブロックBUDRの最下行の8画素を水平1次元
DCT変換した水平1次元DCT係数になる。
【0211】注目マクロブロックMBNのDCTタイプ
が、フィールドDCTであり、上隣接マクロブロックM
UのDCTタイプが、フレームDCTの場合は、注目
ブロックBNURは、注目マクロブロックMBNの8つの奇
数ラインの右側の8画素であり、図16(C)に示すよ
うに、その最上行の8画素(影を付してある部分)は、
空間領域において、フレーム構造の上隣接マクロブロッ
クMBUの右下のブロックBUDRの第7行目の8画素(斜
線を付してある部分)と隣接する。従って、注目ブロッ
クBNURの最上行の水平1次元DCT係数に対する上隣
接1次元DCT係数は、ブロックBUDRの第7行の8画
素を水平1次元DCT変換した水平1次元DCT係数に
なる。
【0212】注目マクロブロックMBNのDCTタイプ
が、フィールドDCTであり、上隣接マクロブロックM
UのDCTタイプも、フィールドDCTの場合は、注
目ブロックBNURは、注目マクロブロックMBNの8つの
奇数ラインの右側の8画素であり、図16(D)に示す
ように、その最上行の8画素(影を付してある部分)
は、空間領域において、フィールド構造の上隣接マクロ
ブロックMBUの右上のブロックBUURの最下行の8画素
(斜線を付してある部分)と隣接する。従って、注目ブ
ロックBNURの最上行の水平1次元DCT係数に対する
上隣接1次元DCT係数は、ブロックBUURの最下行の
8画素を水平1次元DCT変換した水平1次元DCT係
数になる。
【0213】次に、図17は、注目マクロブロックMB
Nの右上のブロックBNURが注目ブロックであるとした場
合に、空間領域において、注目ブロックBNURの下側の
境界、即ち、最下行の8画素に隣接する隣接ブロックの
画素列(下隣接画素列)を示している。
【0214】なお、図17において、影を付してあるラ
インが、注目ブロックBNURの最下行の画素列を表し、
斜線を付してあるラインが、下隣接画素列を表してい
る。
【0215】注目マクロブロックMBNの右上のブロッ
クBNURが注目ブロックである場合の下に隣接するブロ
ックは、注目マクロブロックMBNの中の右下のブロッ
クBNDRとなるから、注目ブロックBNURの最下行の画素
列の下に隣接する下隣接画素列がいずれの画素列になる
かは、注目マクロブロックMBNの構造のみを考慮すれ
ば良い。
【0216】即ち、注目マクロブロックMBNのDCT
タイプが、フレームDCTの場合は、注目ブロックB
NURは、注目マクロブロックMBNの右上の8×8画素で
あり、図17(A)に示すように、その最下行の8画素
(影を付してある部分)は、空間領域において、フレー
ム構造の注目マクロブロックMBNの右下のブロックBN
DRの最上行の8画素(斜線を付してある部分)と隣接す
る。従って、注目ブロックBNURの最下行の水平1次元
DCT係数に対する下隣接1次元DCT係数は、ブロッ
クBNDRの最上行の8画素を水平1次元DCT変換した
水平1次元DCT係数になる。
【0217】注目マクロブロックMBNのDCTタイプ
が、フィールドDCTである場合は、注目ブロックB
NURは、注目マクロブロックMBNの8つの奇数ラインの
右側の8画素であり、図17(B)に示すように、その
最下行の8画素(影を付してある部分)は、空間領域に
おいて、フレーム構造の注目マクロブロックMBNの下
に隣接する下隣接マクロブロックMBDの右上のブロッ
クBDURの最上行の8画素(斜線を付してある部分)と
隣接する。従って、注目ブロックBNURの最下行の水平
1次元DCT係数に対する下隣接1次元DCT係数は、
ブロックBDURの最上行の8画素を水平1次元DCT変
換した水平1次元DCT係数になる。
【0218】次に、図18は、注目マクロブロックMB
Nの右上のブロックBNURが注目ブロックであるとした場
合に、空間領域において、注目ブロックBNURの左側の
境界、即ち、最左列の8画素に隣接する隣接ブロックの
画素列(左隣接画素列)を示している。
【0219】なお、図18において、影を付してあるラ
インが、注目ブロックBNURの最左列の画素列を表し、
斜線を付してあるラインが、左隣接画素列を表してい
る。
【0220】注目マクロブロックMBNの右上のブロッ
クBNURが注目ブロックである場合の左に隣接するブロ
ックは、注目マクロブロックMBNの中の左上のブロッ
クBNULになるから、注目ブロックBNURの最左列の画素
列の左に隣接する左隣接画素列は、必ず、ブロックB
NULの最右列の8画素となるので、注目マクロブロック
MBNや、その注目マクロブロックMBNに隣接するマク
ロブロックの構造を考慮する必要はない。
【0221】即ち、注目マクロブロックMBNの右上の
ブロックBNURが注目ブロックである場合には、図18
に示すように、その最左列の8画素(影を付してある部
分)は、空間領域において、注目ブロックBNURの左隣
のブロックBNULの最右列の8画素(斜線を付してある
部分)と隣接する。従って、注目ブロックBNURの最左
列の垂直1次元DCT係数に対する左隣接1次元DCT
係数は、ブロックBNULの最右列の8画素を垂直1次元
DCT変換した垂直1次元DCT係数になる。
【0222】次に、図19は、注目マクロブロックMB
Nの右上のブロックBNURが注目ブロックであるとした場
合に、空間領域において、注目ブロックBNURの右側の
境界、即ち、最右列の8画素に隣接する隣接ブロックの
画素列(右隣接画素列)を示している。
【0223】なお、図19において、影を付してあるラ
インが、注目ブロックBNURの最右列の画素列を表し、
斜線を付してあるラインが、右隣接画素列を表してい
る。
【0224】注目マクロブロックMBNの右上のブロッ
クBNURが注目ブロックである場合の右に隣接するブロ
ックは、注目マクロブロックMBNの中のブロックでは
ない右隣接マクロブロックMBRの左上のブロックBRUL
となるから、注目ブロックBNU Rの最右列の画素列の右
に隣接する右隣接画素列がいずれの画素列になるかは、
注目マクロブロックMBNと、右隣接マクロブロックM
Rの両方の構造を考慮する必要がある。
【0225】即ち、注目マクロブロックMBNと右隣接
マクロブロックMBRのDCTタイプが、いずれもフレ
ームDCTの場合は、注目ブロックBNURは、注目マク
ロブロックMBNの右上の8×8画素であり、図19
(A)に示すように、その最右列の8画素(影を付して
ある部分)は、空間領域において、フレーム構造の右隣
接マクロブロックMBRの左上のブロックBRULの最左列
の8画素(斜線を付してある部分)と隣接する。従っ
て、注目ブロックBNURの最右列の垂直1次元DCT係
数に対する右隣接1次元DCT係数は、ブロックBRUL
の最左列の8画素を垂直1次元DCT変換した垂直1次
元DCT係数になる。
【0226】注目マクロブロックMBNのDCTタイプ
が、フレームDCTであり、右隣接マクロブロックMB
RのDCTタイプが、フィールドDCTの場合は、注目
ブロックBNURは、注目マクロブロックMBNの右上の8
×8画素であり、図19(B)に示すように、その最左
列の8画素(影を付してある部分)は、空間領域におい
て、フィールド構造の右隣接マクロブロックMBLの左
上のブロックBRULにおける最左列の上4画素と、その
左下のブロックBRDLにおける最左列の上4画素の合計
8画素(斜線を付してある部分)と隣接する。従って、
注目ブロックBNU Rの最右列の垂直1次元DCT係数に
対する右隣接1次元DCT係数は、ブロックBRULにお
ける最左列の上4画素とブロックBRDLにおける最左列
の上4画素の合計8画素を垂直1次元DCT変換した垂
直1次元DCT係数になる。
【0227】注目マクロブロックMBNのDCTタイプ
が、フィールドDCTであり、右隣接マクロブロックM
RのDCTタイプが、フレームDCTの場合は、注目
ブロックBNURは、注目マクロブロックMBNの8つの奇
数ラインの右側の8画素であり、図19(C)に示すよ
うに、その最右列の8画素(影を付してある部分)は、
空間領域において、フレーム構造の右隣接マクロブロッ
クMBRの左上のブロックBRULにおける最左列の奇数行
の4画素と、その左下のブロックBRDLにおける奇数行
の4画素の合計8画素(斜線を付してある部分)と隣接
する。従って、注目ブロックBNURの最右列の垂直1次
元DCT係数に対する右隣接1次元DCT係数は、ブロ
ックBRULにおける最右列の奇数行の4画素とブロック
RDLにおける奇数行の4画素の合計8画素を垂直1次
元DCT変換した垂直1次元DCT係数になる。
【0228】注目マクロブロックMBNのDCTタイプ
が、フィールドDCTであり、右隣接マクロブロックM
RのDCTタイプも、フィールドDCTの場合は、注
目ブロックBNURは、注目マクロブロックMBNの8つの
奇数ラインの右側の8画素であり、図19(D)に示す
ように、その最右列の8画素(影を付してある部分)
は、空間領域において、フィールド構造の右隣接マクロ
ブロックMBRの左上のブロックBRULの最左列の8画素
(斜線を付してある部分)と隣接する。従って、注目ブ
ロックBNURの最右列の垂直1次元DCT係数に対する
右隣接1次元DCT係数は、ブロックBRULの最左列の
8画素を垂直1次元DCT変換した垂直1次元DCT係
数になる。
【0229】次に、図20は、注目マクロブロックMB
Nの右下のブロックBNDRが注目ブロックであるとした場
合に、空間領域において、注目ブロックBNDRの上側の
境界、即ち、最上行の8画素に隣接する隣接ブロックの
画素列(上隣接画素列)を示している。
【0230】なお、図20において、影を付してあるラ
インが、注目ブロックBNDRの最上行の画素列を表し、
斜線を付してあるラインが、上隣接画素列を表してい
る。
【0231】注目マクロブロックMBNの右下のブロッ
クBNDRが注目ブロックである場合の上に隣接するブロ
ックは、注目マクロブロックMBNの中の右上のブロッ
クBNURとなるから、注目ブロックBNDRの最上行の画素
列の上に隣接する上隣接画素列がいずれの画素列になる
かは、注目マクロブロックMBNの構造のみを考慮すれ
ば良い。
【0232】即ち、注目マクロブロックMBNのDCT
タイプが、フレームDCTの場合は、注目ブロックB
NDRは、注目マクロブロックMBNの右下の8×8画素で
あり、図20(A)に示すように、その最上行の8画素
(影を付してある部分)は、空間領域において、フレー
ム構造の注目マクロブロックMBNの右下のブロックBN
DRの最上行の8画素(斜線を付してある部分)と隣接す
る。従って、注目ブロックBNDRの最上行の水平1次元
DCT係数に対する上隣接1次元DCT係数は、ブロッ
クBNDRの最上行の8画素を水平1次元DCT変換した
水平1次元DCT係数になる。
【0233】注目マクロブロックMBNのDCTタイプ
が、フィールドDCTである場合は、注目ブロックB
NDRは、注目マクロブロックMBNの8つの偶数ラインの
右側の8画素であり、図20(B)に示すように、その
最上行の8画素(影を付してある部分)は、空間領域に
おいて、フレーム構造の注目マクロブロックMBNの上
に隣接する上隣接マクロブロックMBUの右下のブロッ
クBUDRの最下行の8画素(斜線を付してある部分)と
隣接する。従って、注目ブロックBNDRの最上行の水平
1次元DCT係数に対する上隣接1次元DCT係数は、
ブロックBUDRの最下行の8画素を水平1次元DCT変
換した水平1次元DCT係数になる。
【0234】次に、図21は、注目マクロブロックMB
Nの右下のブロックBNDRが注目ブロックであるとした場
合に、空間領域において、注目ブロックBNDRの下側の
境界、即ち、最下行の8画素に隣接する隣接ブロックの
画素列(下隣接画素列)を示している。
【0235】なお、図21において、影を付してあるラ
インが、注目ブロックBNDRの最下行の画素列を表し、
斜線を付してあるラインが、下隣接画素列を表してい
る。
【0236】注目マクロブロックMBNの右下のブロッ
クBNDRが注目ブロックである場合の下に隣接するブロ
ックは、注目マクロブロックMBNの中のブロックでは
ない下隣接マクロブロックMBDの右上のブロックBDUR
となるから、注目ブロックBND Rの最下行の画素列の下
に隣接する下隣接画素列がいずれの画素列になるかは、
注目マクロブロックMBNと、下隣接マクロブロックM
Dの両方の構造を考慮する必要がある。
【0237】即ち、注目マクロブロックMBNと下隣接
マクロブロックMBDのDCTタイプが、いずれもフレ
ームDCTの場合は、注目ブロックBNDRは、注目マク
ロブロックMBNの右下の8×8画素であり、図21
(A)に示すように、その最下行の8画素(影を付して
ある部分)は、空間領域において、フレーム構造の下隣
接マクロブロックMBDの右上のブロックBDURの最上行
の8画素(斜線を付してある部分)と隣接する。従っ
て、注目ブロックBNDRの最下行の水平1次元DCT係
数に対する下隣接1次元DCT係数は、ブロックBDUR
の最上行の8画素を水平1次元DCT変換した水平1次
元DCT係数になる。
【0238】注目マクロブロックMBNのDCTタイプ
が、フレームDCTであり、下隣接マクロブロックMB
DのDCTタイプが、フィールドDCTの場合は、注目
ブロックBNDRは、注目マクロブロックMBNの右下の8
×8画素であり、図21(B)に示すように、その最下
行の8画素(影を付してある部分)は、空間領域におい
て、フィールド構造の下隣接マクロブロックMBDの右
上のブロックBDURの最上行の8画素(斜線を付してあ
る部分)と隣接する。従って、注目ブロックBND Rの最
下行の水平1次元DCT係数に対する下隣接1次元DC
T係数は、ブロックBDURの最上行の8画素を水平1次
元DCT変換した水平1次元DCT係数になる。
【0239】注目マクロブロックMBNのDCTタイプ
が、フィールドDCTであり、下隣接マクロブロックM
DのDCTタイプが、フレームDCTの場合は、注目
ブロックBNDRは、注目マクロブロックMBNの8つの偶
数ラインの右側の8画素であり、図21(C)に示すよ
うに、その最下行の8画素(影を付してある部分)は、
空間領域において、フレーム構造の下隣接マクロブロッ
クMBDの右上のブロックBDURの第2行目の8画素(斜
線を付してある部分)と隣接する。従って、注目ブロッ
クBNDRの最下行の水平1次元DCT係数に対する下隣
接1次元DCT係数は、ブロックBDURの第2行目の8
画素を水平1次元DCT変換した水平1次元DCT係数
になる。
【0240】注目マクロブロックMBNのDCTタイプ
が、フィールドDCTであり、下隣接マクロブロックM
DのDCTタイプも、フィールドDCTの場合は、注
目ブロックBNDRは、注目マクロブロックMBNの8つの
偶数ラインの右側の8画素であり、図21(D)に示す
ように、その最下行の8画素(影を付してある部分)
は、空間領域において、フィールド構造の下隣接マクロ
ブロックMBDの右下のブロックBDDRの最上行の8画素
(斜線を付してある部分)と隣接する。従って、注目ブ
ロックBNDRの最下行の水平1次元DCT係数に対する
下隣接1次元DCT係数は、ブロックBDDRの最上行の
8画素を水平1次元DCT変換した水平1次元DCT係
数になる。
【0241】次に、図22は、注目マクロブロックMB
Nの右下のブロックBNDRが注目ブロックであるとした場
合に、空間領域において、注目ブロックBNDRの左側の
境界、即ち、最左列の8画素に隣接する隣接ブロックの
画素列(左隣接画素列)を示している。
【0242】なお、図22において、影を付してあるラ
インが、注目ブロックBNDRの最左列の画素列を表し、
斜線を付してあるラインが、左隣接画素列を表してい
る。
【0243】注目マクロブロックMBNの右下のブロッ
クBNDRが注目ブロックである場合の左に隣接するブロ
ックは、注目マクロブロックMBNの中の左下のブロッ
クBNDLになるから、注目ブロックBNDRの最左列の画素
列の左に隣接する左隣接画素列は、必ず、ブロックNDL
の最右列の8画素となるので、注目マクロブロックMB
Nや、その注目マクロブロックMBNに隣接するマクロブ
ロックの構造を考慮する必要はない。
【0244】即ち、注目マクロブロックMBNの右下の
ブロックBNDRが注目ブロックである場合には、図22
に示すように、その最左列の8画素(影を付してある部
分)は、空間領域において、注目ブロックBNDRの左隣
のブロックBNDLの最右列の8画素(斜線を付してある
部分)と隣接する。従って、注目ブロックBNDRの最左
列の垂直1次元DCT係数に対する左隣接1次元DCT
係数は、ブロックBNDLの最右列の8画素を垂直1次元
DCT変換した垂直1次元DCT係数になる。
【0245】次に、図23は、注目マクロブロックMB
Nの右下のブロックBNDRが注目ブロックであるとした場
合に、空間領域において、注目ブロックBNDRの右側の
境界、即ち、最右列の8画素に隣接する隣接ブロックの
画素列(右隣接画素列)を示している。
【0246】なお、図23において、影を付してあるラ
インが、注目ブロックBNDRの最右列の画素列を表し、
斜線を付してあるラインが、右隣接画素列を表してい
る。
【0247】注目マクロブロックMBNの右下のブロッ
クBNDRが注目ブロックである場合の右に隣接するブロ
ックは、注目マクロブロックMBNの中のブロックでは
ない右隣接マクロブロックMBRの右下のブロックBRDL
となるから、注目ブロックBND Rの最右列の画素列の右
に隣接する右隣接画素列がいずれの画素列になるかは、
注目マクロブロックMBNと、右隣接マクロブロックM
Rの両方の構造を考慮する必要がある。
【0248】即ち、注目マクロブロックMBNと右隣接
マクロブロックMBRのDCTタイプが、いずれもフレ
ームDCTの場合は、注目ブロックBNDRは、注目マク
ロブロックMBNの右下の8×8画素であり、図23
(A)に示すように、その最右列の8画素(影を付して
ある部分)は、空間領域において、フレーム構造の右隣
接マクロブロックMBRの左下のブロックBRDLの最左列
の8画素(斜線を付してある部分)と隣接する。従っ
て、注目ブロックBNDRの最右列の垂直1次元DCT係
数に対する右隣接1次元DCT係数は、ブロックBRDL
の最左列の8画素を垂直1次元DCT変換した垂直1次
元DCT係数になる。
【0249】注目マクロブロックMBNのDCTタイプ
が、フレームDCTであり、右隣接マクロブロックMB
RのDCTタイプが、フィールドDCTの場合は、注目
ブロックBNDRは、注目マクロブロックMBNの右下の8
×8画素であり、図23(B)に示すように、その最右
列の8画素(影を付してある部分)は、空間領域におい
て、フィールド構造の右隣接マクロブロックMBRの左
上のブロックBRULにおける最左列の下4画素と、その
左下のブロックBRDLにおける最左列の下4画素の合計
8画素(斜線を付してある部分)と隣接する。従って、
注目ブロックBND Rの最右列の垂直1次元DCT係数に
対する右隣接1次元DCT係数は、ブロックBRULにお
ける最左列の下4画素とブロックBRDLにおける最左列
の下4画素の合計8画素を垂直1次元DCT変換した垂
直1次元DCT係数になる。
【0250】注目マクロブロックMBNのDCTタイプ
が、フィールドDCTであり、右隣接マクロブロックM
RのDCTタイプが、フレームDCTの場合は、注目
ブロックBNDRは、注目マクロブロックMBNの8つの偶
数ラインの左側の8画素であり、図23(C)に示すよ
うに、その最右列の8画素(影を付してある部分)は、
空間領域において、フレーム構造の右隣接マクロブロッ
クMBRの左上のブロックBRULにおける最左列の偶数行
の4画素と、その左下のブロックBRDLにおける最左列
の偶数行の4画素の合計8画素(斜線を付してある部
分)と隣接する。従って、注目ブロックBNDRの最左列
の垂直1次元DCT係数に対する右隣接1次元DCT係
数は、ブロックBRULにおける最左列の偶数行の4画素
とブロックBRDLにおける偶数行の4画素の合計8画素
を垂直1次元DCT変換した垂直1次元DCT係数にな
る。
【0251】注目マクロブロックMBNのDCTタイプ
が、フィールドDCTであり、右隣接マクロブロックM
BRのDCTタイプも、フィールドDCTの場合は、注
目ブロックBNDRは、注目マクロブロックMBNの8つの
偶数ラインの右側の8画素であり、図23(D)に示す
ように、その最右列の8画素(影を付してある部分)
は、空間領域において、フィールド構造の右隣接マクロ
ブロックMBRの左下のブロックBRDLの最左列の8画素
(斜線を付してある部分)と隣接する。従って、注目ブ
ロックBNDRの最右列の垂直1次元DCT係数に対する
右隣接1次元DCT係数は、ブロックBRDLの最左列の
8画素を垂直1次元DCT変換した垂直1次元DCT係
数になる。
【0252】次に、図24は、図8乃至図23で説明し
たような、注目ブロックに対する隣接1次元DCT係数
(上隣接1次元DCT係数、下隣接1次元DCT係数、
左隣接1次元DCT係数、および右隣接1次元DCT係
数)を取得する、図2の隣接1次元DCT係数選択/変
換部32の構成例を示している。
【0253】隣接1次元DCT係数選択/変換部32に
おいて、1次元逆DCT変換部31(図2)が出力する
1次元DCT係数(水平1次元DCT係数および垂直1
次元DCT係数)は、メモリ81に供給されるようにな
っており、バッファメモリ12に記憶された注目マクロ
ブロックと隣接マクロブロック(上隣接マクロブロッ
ク、下隣接マクロブロック、左隣接マクロブロック、お
よび右隣接マクロブロック)のDCTタイプは、サンプ
リング部83および選択部85に供給されるようになっ
ている。
【0254】制御部80は、隣接1次元DCT係数選択
/変換部32を構成する各ブロックを制御する。
【0255】メモリ81は、1次元逆DCT変換部31
(図2)が出力する1次元DCT係数を、一時記憶す
る。
【0256】垂直1次元逆DCT変換部82は、メモリ
81に記憶された垂直1次元DCT係数を読み出して、
垂直1次元逆DCT変換し、これにより、横×縦が1×
8の画素列を得て出力する。垂直1次元逆DCT変換部
82が出力する1×8の画素列は、サンプリング部83
に供給される。
【0257】サンプリング部83は、バッファメモリ1
2(図2)に記憶された注目マクロブロックと隣接マク
ロブロックのDCTタイプに基づき、垂直1次元逆DC
T変換部83から供給される画素列を対象としたサンプ
リングを行い、そのサンプリングの結果得られる画素か
ら、1×8の画素列を再構成して、垂直1次元DCT変
換部84に供給する。
【0258】垂直1次元DCT変換部84は、サンプリ
ング部83から供給される1×8の画素列を、垂直1次
元DCT変換し、これにより、横×縦が1×8の垂直1
次元DCT係数を得て、選択部85に供給する。
【0259】選択部85は、メモリ81に記憶された水
平1次元DCT係数もしくは垂直1次元DCT係数、ま
たは垂直1次元DCT変換部84が出力する垂直1次元
DCT係数を選択し、隣接1次元DCT係数として出力
する。
【0260】次に、図25のフローチャートを参照し
て、図24の隣接1次元DCT係数選択/変換部32の
処理(隣接1次元DCT係数選択/変換処理)について
説明する。
【0261】メモリ81には、注目マクロブロック、上
隣接マクロブロック、下隣接マクロブロック、左隣接マ
クロブロック、および右隣接マクロブロックの1次元D
CT係数が供給されて記憶される。また、サンプリング
部83および選択部85には、注目マクロブロック、上
隣接マクロブロック、下隣接マクロブロック、左隣接マ
クロブロック、および右隣接マクロブロックのDCTタ
イプが供給される。
【0262】そして、ステップS1において、制御部8
0は、注目マクロブロックにおける注目ブロックの位置
を判定する。ステップS1において、注目ブロックが、
注目ブロックの左上、左下、右上、または右下のブロッ
クであると判定された場合、ステップS2,S3,S
4、またはS5にそれぞれ進み、左上ブロック処理、左
下ブロック処理、右上ブロック処理、または右下ブロッ
ク処理がそれぞれ行われ、処理を終了する。
【0263】なお、図25のフローチャートに示した処
理は、例えば、注目ブロックが変更されるごとに行われ
る。
【0264】次に、図26のフローチャートを参照し
て、図25のステップS2における左上ブロック処理に
ついて説明する。
【0265】左上ブロック処理では、注目マクロブロッ
クの左上のブロックBNULについて、上隣接1次元DC
T係数、下隣接1次元DCT係数、左隣接1次元DCT
係数、右隣接1次元DCT係数が取得される。
【0266】即ち、左上ブロック処理では、まず最初
に、ステップS11において、選択部85が、注目マク
ロブロックと上隣接マクロブロックのDCTタイプを判
定する。
【0267】ステップS11において、注目マクロブロ
ックと上隣接マクロブロックのDCTタイプが、いずれ
もフレームDCTであると判定された場合、ステップS
12に進み、選択部85は、図8(A)で説明したよう
に、上隣接マクロブロックMBUの左下のブロックBUDL
における最下行の8画素を水平1次元DCT変換した水
平1次元DCT係数を、上隣接1次元DCT係数として
取得する。
【0268】即ち、注目ブロックが、注目マクロブロッ
クの左上のブロックBNULである場合において、注目マ
クロブロックと上隣接マクロブロックが、いずれもフレ
ーム構造であるときには、上隣接1次元DCT係数は、
図8(A)で説明したように、上隣接マクロブロックM
Uの左下のブロックBUDLにおける最下行の8画素を水
平1次元DCT変換した水平1次元DCT係数であり、
この水平1次元DCT係数は、ブロックBUDLの第8行
の水平1次元DCT係数である。ブロックBUDLの第8
行の水平1次元DCT係数は、メモリ81に記憶されて
おり、選択部85は、ステップS12において、メモリ
81から、ブロックBUDLの第8行の水平1次元DCT
係数を読み出して選択し、上隣接1次元DCT係数とし
て出力する。
【0269】また、ステップS11において、注目マク
ロブロックのDCTタイプがフレームDCTであり、上
隣接マクロブロックのDCTタイプがフィールドDCT
であると判定された場合、ステップS13に進み、選択
部85は、図8(B)で説明したように、上隣接マクロ
ブロックMBUの左下のブロックBUDLの最下行の8画素
を水平1次元DCT変換した水平1次元DCT係数を、
上隣接1次元DCT係数として取得する。
【0270】即ち、注目ブロックが、注目マクロブロッ
クの左上のブロックBNULである場合において、注目マ
クロブロックがフレーム構造であり、上隣接マクロブロ
ックがフィールド構造であるときには、上隣接1次元D
CT係数は、図8(B)で説明したように、上隣接マク
ロブロックMBUの左下のブロックBUDLにおける最下行
の8画素を水平1次元DCT変換した水平1次元DCT
係数であり、この水平1次元DCT係数は、ブロックB
UDLの第8行の水平1次元DCT係数である。ブロック
UDLの第8行の水平1次元DCT係数は、メモリ81
に記憶されており、選択部85は、ステップS13にお
いて、メモリ81から、ブロックBUDLの第8行の水平
1次元DCT係数を読み出して選択し、上隣接1次元D
CT係数として出力する。
【0271】また、ステップS11において、注目マク
ロブロックのDCTタイプがフィールドDCTであり、
上隣接マクロブロックのDCTタイプがフレームDCT
であると判定された場合、ステップS14に進み、選択
部85は、図8(C)で説明したように、上隣接マクロ
ブロックMBUの左下ブロックBUDLの第7行目の8画素
を水平1次元DCT変換した水平1次元DCT係数を、
上隣接1次元DCT係数として取得する。
【0272】即ち、注目ブロックが、注目マクロブロッ
クの左上のブロックBNULである場合において、注目マ
クロブロックがフィールド構造であり、上隣接マクロブ
ロックがフレーム構造であるときには、上隣接1次元D
CT係数は、図8(C)で説明したように、上隣接マク
ロブロックMBUの左下ブロックBUDLの第7行目の8画
素を水平1次元DCT変換した水平1次元DCT係数で
あり、この水平1次元DCT係数は、ブロックBUDL
第7行の水平1次元DCT係数である。ブロックBUDL
の第7行の水平1次元DCT係数は、メモリ81に記憶
されており、選択部85は、ステップS14において、
メモリ81から、ブロックBUDLの第7行の水平1次元
DCT係数を読み出して選択し、上隣接1次元DCT係
数として出力する。
【0273】また、ステップS11において、注目マク
ロブロックと上隣接マクロブロックのDCTタイプが、
いずれもフィールドDCTであると判定された場合、ス
テップS15に進み、選択部85は、図8(D)で説明
したように、上隣接マクロブロックMBUの左上のブロ
ックBUULの最下行の8画素を水平1次元DCT変換し
た水平1次元DCT係数を、上隣接1次元DCT係数と
して取得する。
【0274】即ち、注目ブロックが、注目マクロブロッ
クの左上のブロックBNULである場合において、注目マ
クロブロックと上隣接マクロブロックが、いずれもフィ
ールド構造であるときには、上隣接1次元DCT係数
は、図8(D)で説明したように、上隣接マクロブロッ
クMBUの左上のブロックBUULの最下行の8画素を水平
1次元DCT変換した水平1次元DCT係数であり、こ
の水平1次元DCT係数は、ブロックBUULの第8行の
水平1次元DCT係数である。ブロックBUULの第8行
の水平1次元DCT係数は、メモリ81に記憶されてお
り、選択部85は、ステップS15において、メモリ8
1から、ブロックBUULの第8行の水平1次元DCT係
数を読み出して選択し、上隣接1次元DCT係数として
出力する。
【0275】ステップS12乃至S15の処理後は、い
ずれも、ステップS16に進み、選択部85が、注目マ
クロブロックのDCTタイプを判定する。
【0276】ステップS16において、注目マクロブロ
ックのDCTタイプがフレームDCTであると判定され
た場合、ステップS17に進み、選択部85は、図9
(A)で説明したように、注目マクロブロックMBN
左下のブロックBNDLの最上行の8画素を水平1次元D
CT変換した水平1次元DCT係数を、下隣接1次元D
CT係数として取得する。
【0277】即ち、注目ブロックが、注目マクロブロッ
クの左上のブロックBNULである場合において、注目マ
クロブロックがフレーム構造であるときには、下隣接1
次元DCT係数は、図9(A)で説明したように、注目
マクロブロックMBNの左下のブロックBNDLの最上行の
8画素を水平1次元DCT変換した水平1次元DCT係
数であり、この水平1次元DCT係数は、ブロックB
NDLの第1行の水平1次元DCT係数である。ブロック
NDLの第1行の水平1次元DCT係数は、メモリ81
に記憶されており、選択部85は、ステップS17にお
いて、メモリ81から、ブロックBNDLの第1行の水平
1次元DCT係数を読み出して選択し、下隣接1次元D
CT係数として出力する。
【0278】また、ステップS16において、注目マク
ロブロックのDCTタイプがフィールドDCTであると
判定された場合、ステップS18に進み、選択部85
は、図9(B)で説明したように、下隣接マクロブロッ
クMBDの左上のブロックBDULの最上行の8画素を水平
1次元DCT変換した水平1次元DCT係数を、下隣接
1次元DCT係数として取得する。
【0279】即ち、注目ブロックが、注目マクロブロッ
クの左上のブロックBNULである場合において、注目マ
クロブロックがフィールド構造であるときには、下隣接
1次元DCT係数は、図9(B)で説明したように、下
隣接マクロブロックMBDの左上のブロックBDULの最上
行の8画素を水平1次元DCT変換した水平1次元DC
T係数であり、この水平1次元DCT係数は、ブロック
DULの第1行の水平1次元DCT係数である。ブロッ
クBDULの第1行の水平1次元DCT係数は、メモリ8
1に記憶されており、選択部85は、ステップS18に
おいて、メモリ81から、ブロックBDULの第1行の水
平1次元DCT係数を読み出して選択し、下隣接1次元
DCT係数として出力する。
【0280】ステップS17およびS18の処理後は、
いずれも、ステップS19に進み、サンプリング部83
および選択部85が、注目マクロブロックと左隣接マク
ロブロックのDCTタイプを判定する。
【0281】ステップS19において、注目マクロブロ
ックと左隣接マクロブロックのDCTタイプが、いずれ
もフレームDCTであると判定された場合、ステップS
20に進み、選択部85は、図10(A)で説明したよ
うに、左隣接マクロブロックMBLの右上のブロックB
LURの最右列の8画素を垂直1次元DCT変換した垂直
1次元DCT係数を、左隣接1次元DCT係数として取
得する。
【0282】即ち、注目ブロックが、注目マクロブロッ
クの左上のブロックBNULである場合において、注目マ
クロブロックと左隣接マクロブロックが、いずれもフレ
ーム構造であるときには、左隣接1次元DCT係数は、
図10(A)で説明したように、左隣接マクロブロック
MBLの右上のブロックBLURの最右列の8画素を垂直1
次元DCT変換した垂直1次元DCT係数であり、この
垂直1次元DCT係数は、ブロックBLURの第8列(左
から8列目)の垂直1次元DCT係数である。ブロック
LURの第8列の垂直1次元DCT係数は、メモリ81
に記憶されており、選択部85は、ステップS20にお
いて、メモリ81から、ブロックBLURの第8列の垂直
1次元DCT係数を読み出して選択し、左隣接1次元D
CT係数として出力する。
【0283】また、ステップS19において、注目マク
ロブロックのDCTタイプがフレームDCTであり、左
隣接マクロブロックのDCTタイプがフィールドDCT
であると判定された場合、ステップS21乃至S23に
順次進み、選択部85は、図10(B)で説明したよう
に、左隣接マクロブロックMBLの右上のブロックBL UR
における最右列の上4画素と、その右下のブロックB
LDRにおける最右列の上4画素の合計8画素を垂直1次
元DCT変換した垂直1次元DCT係数を、左隣接1次
元DCT係数として取得する。
【0284】即ち、注目ブロックが、注目マクロブロッ
クの左上のブロックBNULである場合において、注目マ
クロブロックがフレーム構造であり、左隣接マクロブロ
ックがフィールド構造であるときには、左隣接1次元D
CT係数は、図10(B)で説明したように、左隣接マ
クロブロックMBLの右上のブロックBLURにおける最右
列の上4画素と、その右下のブロックBLDRにおける最
右列の上4画素の合計8画素を垂直1次元DCT変換し
た垂直1次元DCT係数となるが、このような垂直1次
元DCT係数は、メモリ81に存在しない。
【0285】そこで、サンプリング部83は、ブロック
LURの第8列の垂直1次元DCT係数と、ブロックB
LDRの第8列の垂直1次元DCT係数の垂直1次元逆D
CT変換を、垂直1次元逆DCT変換部82に要求す
る。
【0286】垂直1次元逆DCT変換部82は、サンプ
リング部83からの要求に応じ、ステップS21におい
て、ブロックBLURの第8列の垂直1次元DCT係数
と、ブロックBLDRの第8列の垂直1次元DCT係数
を、メモリ81から読み出し、垂直1次元逆DCT変換
を施す。これにより、垂直1次元逆DCT変換部82
は、ブロックBLURの第8列の8画素と、ブロックBLDR
の第8列の8画素を得て、サンプリング部83に供給
し、ステップS22に進む。
【0287】ステップS22では、サンプリング部83
は、垂直1次元逆DCT変換部82から供給されるブロ
ックBLURの第8列の8画素のうちの上4画素をサンプ
リングするとともに、同じく垂直1次元逆DCT変換部
82から供給されるブロックBLDRの第8列の8画素の
うちの上4画素をサンプリングし、ブロックBLURの第
8列からサンプリングした上4画素を奇数行(トップフ
ィールド)に配置するとともに、ブロックBLDRの第8
列からサンプリングした上4画素を偶数行(ボトムフィ
ールド)に配置することにより、注目マクロブロックと
同一のフレーム構造とした垂直方向に並ぶ8画素を、垂
直1次元DCT変換部84に供給する。
【0288】垂直1次元DCT変換部84は、サンプリ
ング部83でサンプリングされた8画素を受信すると、
ステップS23において、その8画素を、垂直1次元D
CT変換し、これにより、左隣接マクロブロックMBL
の右上のブロックBLURにおける最右列の上4画素と、
その右下のブロックBLDRにおける最右列の上4画素の
合計8画素を垂直1次元DCT変換した垂直1次元DC
T係数を得て、選択部85に供給する。選択部85は、
垂直1次元DCT変換部84から供給される垂直1次元
DCT係数を選択し、左隣接1次元DCT係数として出
力する。
【0289】また、ステップS19において、注目マク
ロブロックのDCTタイプがフィールドDCTであり、
左隣接マクロブロックのDCTタイプがフレームDCT
であると判定された場合、ステップS24乃至S26に
順次進み、選択部85は、図10(C)で説明したよう
に、左隣接マクロブロックMBLの右上のブロックBL UR
における最右列の奇数行の4画素と、その右下のブロッ
クBLDRにおける奇数行の4画素の合計8画素を垂直1
次元DCT変換した垂直1次元DCT係数を、左隣接1
次元DCT係数として取得する。
【0290】即ち、注目ブロックが、注目マクロブロッ
クの左上のブロックBNULである場合において、注目マ
クロブロックがフィールド構造であり、左隣接マクロブ
ロックがフレーム構造であるときには、左隣接1次元D
CT係数は、図10(C)で説明したように、左隣接マ
クロブロックMBLの右上のブロックBLURにおける最右
列の奇数行の4画素と、その右下のブロックBLDRにお
ける奇数行の4画素の合計8画素を垂直1次元DCT変
換した垂直1次元DCT係数となるが、そのような垂直
1次元DCT係数は、メモリ81に存在しない。
【0291】そこで、サンプリング部83は、ブロック
LURの第8列の垂直1次元DCT係数と、ブロックB
LDRの第8列の垂直1次元DCT係数の垂直1次元逆D
CT変換を、垂直1次元逆DCT変換部82に要求す
る。
【0292】垂直1次元逆DCT変換部82は、サンプ
リング部83からの要求に応じ、ステップS24におい
て、ブロックBLURの第8列の垂直1次元DCT係数
と、ブロックBLDRの第8列の垂直1次元DCT係数
を、メモリ81から読み出し、垂直1次元逆DCT変換
を施す。これにより、垂直1次元逆DCT変換部82
は、ブロックBLURの第8列の8画素と、ブロックBLDR
の第8列の8画素を得て、サンプリング部83に供給
し、ステップS25に進む。
【0293】ステップS25では、サンプリング部83
は、垂直1次元逆DCT変換部82から供給されるブロ
ックBLURの第8列の8画素のうちの奇数行の4画素を
サンプリングするとともに、同じく垂直1次元逆DCT
変換部82から供給されるブロックBLDRの第8列の8
画素のうちの奇数行の4画素をサンプリングし、ブロッ
クBLURの第8列からサンプリングした奇数行の4画素
を上側に配置するとともに、ブロックBLDRの第8列か
らサンプリングした奇数行の4画素を下側に配置するこ
とにより、注目マクロブロックと同一のフィールド(ト
ップフィールド)構造とした垂直方向に並ぶ8画素を、
垂直1次元DCT変換部84に供給する。
【0294】垂直1次元DCT変換部84は、サンプリ
ング部83でサンプリングされた8画素を受信すると、
ステップS26において、その8画素を、垂直1次元D
CT変換し、これにより、左隣接マクロブロックMBL
の右上のブロックBLURにおける最右列の奇数行の4画
素と、その右下のブロックBLDRにおける奇数行の4画
素の合計8画素を垂直1次元DCT変換した垂直1次元
DCT係数を得て、選択部85に供給する。選択部85
は、垂直1次元DCT変換部84から供給される垂直1
次元DCT係数を選択し、左隣接1次元DCT係数とし
て出力する。
【0295】また、ステップS19において、注目マク
ロブロックと左隣接マクロブロックのDCTタイプが、
いずれもフィールドDCTであると判定された場合、ス
テップS27に進み、選択部85は、図10(D)で説
明したように、左隣接マクロブロックMBLの右上のブ
ロックBLURの最右列の8画素を垂直1次元DCT変換
した垂直1次元DCT係数を、左隣接1次元DCT係数
として取得する。
【0296】即ち、注目ブロックが、注目マクロブロッ
クの左上のブロックBNULである場合において、注目マ
クロブロックと左隣接マクロブロックが、いずれもフィ
ールド構造であるときには、左隣接1次元DCT係数
は、図10(D)で説明したように、左隣接マクロブロ
ックMBLの右上のブロックBLURの最右列の8画素を垂
直1次元DCT変換した垂直1次元DCT係数であり、
この垂直1次元DCT係数は、ブロックBLURの第8列
の垂直1次元DCT係数である。ブロックBLURの第8
列の垂直1次元DCT係数は、メモリ81に記憶されて
おり、選択部85は、ステップS27において、メモリ
81から、ブロックBLURの第8列の垂直1次元DCT
係数を読み出して選択し、左隣接1次元DCT係数とし
て出力する。
【0297】ステップS20,S23,S26、および
S27の処理後は、いずれも、ステップS28に進み、
選択部85は、図11で説明したように、注目ブロック
NU Lの右隣のブロックBNURの最左列の8画素を垂直1
次元DCT変換した垂直1次元DCT係数を、右隣接1
次元DCT係数として取得する。
【0298】即ち、注目ブロックが、注目マクロブロッ
クの左上のブロックBNULである場合には、右隣接1次
元DCT係数は、図11で説明したように、注目ブロッ
クB NULの右隣のブロックBNURの最左列の8画素を垂直
1次元DCT変換した垂直1次元DCT係数であり、こ
の垂直1次元DCT係数は、ブロックBNURの第1列の
垂直1次元DCT係数である。ブロックBNURの第1列
の垂直1次元DCT係数は、メモリ81に記憶されてお
り、選択部85は、ステップS28において、メモリ8
1から、ブロックBNURの第1列の垂直1次元DCT係
数を読み出して選択し、右隣接1次元DCT係数として
出力して、左上ブロック処理を終了する。
【0299】次に、図27のフローチャートを参照し
て、図25のステップS3における左下ブロック処理に
ついて説明する。
【0300】左下ブロック処理では、注目マクロブロッ
クの左下のブロックBNDLについて、上隣接1次元DC
T係数、下隣接1次元DCT係数、左隣接1次元DCT
係数、右隣接1次元DCT係数が取得される。
【0301】即ち、左下ブロック処理では、まず最初
に、ステップS31において、選択部85が、注目マク
ロブロックのDCTタイプを判定する。
【0302】ステップS31において、注目マクロブロ
ックのDCTタイプがフレームDCTであると判定され
た場合、ステップS32に進み、選択部85は、図12
(A)で説明したように、注目マクロブロックMBN
左上のブロックBNULの最下行の8画素を水平1次元D
CT変換した水平1次元DCT係数を、上隣接1次元D
CT係数として取得する。
【0303】即ち、注目ブロックが、注目マクロブロッ
クの左下のブロックBNDLである場合において、注目マ
クロブロックがフレーム構造であるときには、上隣接1
次元DCT係数は、図12(A)で説明したように、注
目マクロブロックMBNの左上のブロックBNULの最下行
の8画素を水平1次元DCT変換した水平1次元DCT
係数であり、この水平1次元DCT係数は、ブロックB
NULの第8行の水平1次元DCT係数である。ブロック
NULの第8行の水平1次元DCT係数は、メモリ81
に記憶されており、選択部85は、ステップS32にお
いて、メモリ81から、ブロックBNULの第8行の水平
1次元DCT係数を読み出して選択し、上隣接1次元D
CT係数として出力する。
【0304】また、ステップS31において、注目マク
ロブロックのDCTタイプがフィールドDCTであると
判定された場合、ステップS33に進み、選択部85
は、図12(B)で説明したように、上隣接マクロブロ
ックMBUの左下のブロックBU DLの最下行の8画素を水
平1次元DCT変換した水平1次元DCT係数を、上隣
接1次元DCT係数として取得する。
【0305】即ち、注目ブロックが、注目マクロブロッ
クの左下のブロックBNDLである場合において、注目マ
クロブロックがフィールド構造であるときには、上隣接
1次元DCT係数は、図12(B)で説明したように、
上隣接マクロブロックMBUの左下のブロックBUDLの最
下行の8画素を水平1次元DCT変換した水平1次元D
CT係数であり、この水平1次元DCT係数は、ブロッ
クBUDLの第8行の水平1次元DCT係数である。ブロ
ックBUDLの第1行の水平1次元DCT係数は、メモリ
81に記憶されており、選択部85は、ステップS33
において、メモリ81から、ブロックBUDLの第1行の
水平1次元DCT係数を読み出して選択し、上隣接1次
元DCT係数として出力する。
【0306】ステップS32およびS33の処理後は、
いずれも、ステップS34に進み、選択部85が、注目
マクロブロックと下隣接マクロブロックのDCTタイプ
を判定する。
【0307】ステップS34において、注目マクロブロ
ックと下隣接マクロブロックのDCTタイプが、いずれ
もフレームDCTであると判定された場合、ステップS
35に進み、選択部85は、図13(A)で説明したよ
うに、下隣接マクロブロックMBDの左上のブロックB
DULにおける最上行の8画素を水平1次元DCT変換し
た水平1次元DCT係数を、下隣接1次元DCT係数と
して取得する。
【0308】即ち、注目ブロックが、注目マクロブロッ
クの左下のブロックBNDLである場合において、注目マ
クロブロックと下隣接マクロブロックが、いずれもフレ
ーム構造であるときには、下隣接1次元DCT係数は、
図13(A)で説明したように、下隣接マクロブロック
MBDの左上のブロックBDULにおける最上行の8画素を
水平1次元DCT変換した水平1次元DCT係数であ
り、この水平1次元DCT係数は、ブロックBDULの第
1行の水平1次元DCT係数である。ブロックBD UL
第1行の水平1次元DCT係数は、メモリ81に記憶さ
れており、選択部85は、ステップS35において、メ
モリ81から、ブロックBDULの第1行の水平1次元D
CT係数を読み出して選択し、下隣接1次元DCT係数
として出力する。
【0309】また、ステップS34において、注目マク
ロブロックのDCTタイプがフレームDCTであり、下
隣接マクロブロックのDCTタイプがフィールドDCT
であると判定された場合、ステップS36に進み、選択
部85は、図13(B)で説明したように、下隣接マク
ロブロックMBDの左上のブロックBDULの最上行の8画
素を水平1次元DCT変換した水平1次元DCT係数
を、下隣接1次元DCT係数として取得する。
【0310】即ち、注目ブロックが、注目マクロブロッ
クの左下のブロックBNDLである場合において、注目マ
クロブロックがフレーム構造であり、下隣接マクロブロ
ックがフィールド構造であるときには、下隣接1次元D
CT係数は、図13(B)で説明したように、下隣接マ
クロブロックMBDの左上のブロックBDULにおける最下
行の8画素を水平1次元DCT変換した水平1次元DC
T係数であり、この水平1次元DCT係数は、ブロック
DULの第1行の水平1次元DCT係数である。ブロッ
クBDULの第1行の水平1次元DCT係数は、メモリ8
1に記憶されており、選択部85は、ステップS36に
おいて、メモリ81から、ブロックBDU Lの第1行の水
平1次元DCT係数を読み出して選択し、下隣接1次元
DCT係数として出力する。
【0311】また、ステップS34において、注目マク
ロブロックのDCTタイプがフィールドDCTであり、
下隣接マクロブロックのDCTタイプがフレームDCT
であると判定された場合、ステップS37に進み、選択
部85は、図13(C)で説明したように、下隣接マク
ロブロックMBDの左上のブロックBDULの第2行目の8
画素を水平1次元DCT変換した水平1次元DCT係数
を、下隣接1次元DCT係数として取得する。
【0312】即ち、注目ブロックが、注目マクロブロッ
クの左下のブロックBNDLである場合において、注目マ
クロブロックがフィールド構造であり、下隣接マクロブ
ロックがフレーム構造であるときには、下隣接1次元D
CT係数は、図13(C)で説明したように、下隣接マ
クロブロックMBDの左上のブロックBDULの第2行目の
8画素を水平1次元DCT変換した水平1次元DCT係
数であり、この水平1次元DCT係数は、ブロックB
DULの第2行の水平1次元DCT係数である。ブロック
DULの第2行の水平1次元DCT係数は、メモリ81
に記憶されており、選択部85は、ステップS37にお
いて、メモリ81から、ブロックBDULの第2行の水平
1次元DCT係数を読み出して選択し、下隣接1次元D
CT係数として出力する。
【0313】また、ステップS34において、注目マク
ロブロックと下隣接マクロブロックのDCTタイプが、
いずれもフィールドDCTであると判定された場合、ス
テップS38に進み、選択部85は、図13(D)で説
明したように、下隣接マクロブロックMBDの左下のブ
ロックBDDLの最上行の8画素を水平1次元DCT変換
した水平1次元DCT係数を、下隣接1次元DCT係数
として取得する。
【0314】即ち、注目ブロックが、注目マクロブロッ
クの左下のブロックBNDLである場合において、注目マ
クロブロックと下隣接マクロブロックが、いずれもフィ
ールド構造であるときには、下隣接1次元DCT係数
は、図13(D)で説明したように、下隣接マクロブロ
ックMBDの左下のブロックBDDLの最上行の8画素を水
平1次元DCT変換した水平1次元DCT係数であり、
この水平1次元DCT係数は、ブロックBDDLの第1行
の水平1次元DCT係数である。ブロックBDDLの第1
行の水平1次元DCT係数は、メモリ81に記憶されて
おり、選択部85は、ステップS38において、メモリ
81から、ブロックBDDLの第1行の水平1次元DCT
係数を読み出して選択し、下隣接1次元DCT係数とし
て出力する。
【0315】ステップS35乃至S38の処理後は、い
ずれも、ステップS39に進み、サンプリング部83お
よび選択部85が、注目マクロブロックと左隣接マクロ
ブロックのDCTタイプを判定する。
【0316】ステップS39において、注目マクロブロ
ックと左隣接マクロブロックのDCTタイプが、いずれ
もフレームDCTであると判定された場合、ステップS
40に進み、選択部85は、図14(A)で説明したよ
うに、左隣接マクロブロックMBLの右下のブロックB
LDRの最右列の8画素を垂直1次元DCT変換した垂直
1次元DCT係数を、左隣接1次元DCT係数として取
得する。
【0317】即ち、注目ブロックが、注目マクロブロッ
クの左下のブロックBNDLである場合において、注目マ
クロブロックと左隣接マクロブロックが、いずれもフレ
ーム構造であるときには、左隣接1次元DCT係数は、
図14(A)で説明したように、左隣接マクロブロック
MBLの右下のブロックBLDRの最右列の8画素を垂直1
次元DCT変換した垂直1次元DCT係数であり、この
垂直1次元DCT係数は、ブロックBLDRの第8列の垂
直1次元DCT係数である。ブロックBLDRの第8列の
垂直1次元DCT係数は、メモリ81に記憶されてお
り、選択部85は、ステップS40において、メモリ8
1から、ブロックBLDRの第8列の垂直1次元DCT係
数を読み出して選択し、左隣接1次元DCT係数として
出力する。
【0318】また、ステップS39において、注目マク
ロブロックのDCTタイプがフレームDCTであり、左
隣接マクロブロックのDCTタイプがフィールドDCT
であると判定された場合、ステップS41乃至S43に
順次進み、選択部85は、図14(B)で説明したよう
に、左隣接マクロブロックMBLの右上のブロックBL UR
における最右列の下4画素と、その右下のブロックB
LDRにおける最右列の下4画素の合計8画素を垂直1次
元DCT変換した垂直1次元DCT係数を、左隣接1次
元DCT係数として取得する。
【0319】即ち、注目ブロックが、注目マクロブロッ
クの左下のブロックBNDLである場合において、注目マ
クロブロックがフレーム構造であり、左隣接マクロブロ
ックがフィールド構造であるときには、左隣接1次元D
CT係数は、図14(B)で説明したように、左隣接マ
クロブロックMBLの右上のブロックBLURにおける最右
列の上4画素と、その右下のブロックBLDRにおける最
右列の上4画素の合計8画素を垂直1次元DCT変換し
た垂直1次元DCT係数となるが、このような垂直1次
元DCT係数は、メモリ81に存在しない。
【0320】そこで、サンプリング部83は、ブロック
LURの第8列の垂直1次元DCT係数と、ブロックB
LDRの第8列の垂直1次元DCT係数の垂直1次元逆D
CT変換を、垂直1次元逆DCT変換部82に要求す
る。
【0321】垂直1次元逆DCT変換部82は、サンプ
リング部83からの要求に応じ、ステップS41におい
て、ブロックBLURの第8列の垂直1次元DCT係数
と、ブロックBLDRの第8列の垂直1次元DCT係数
を、メモリ81から読み出し、垂直1次元逆DCT変換
を施す。これにより、垂直1次元逆DCT変換部82
は、ブロックBLURの第8列の8画素と、ブロックBLDR
の第8列の8画素を得て、サンプリング部83に供給
し、ステップS42に進む。
【0322】ステップS42では、サンプリング部83
は、垂直1次元逆DCT変換部82から供給されるブロ
ックBLURの第8列の8画素のうちの下4画素をサンプ
リングするとともに、同じく垂直1次元逆DCT変換部
82から供給されるブロックBLDRの第8列の8画素の
うちの下4画素をサンプリングし、ブロックBLURの第
8列からサンプリングした上4画素を奇数行(トップフ
ィールド)に配置するとともに、ブロックBLDRの第8
列からサンプリングした上4画素を偶数行(ボトムフィ
ールド)に配置することにより、注目マクロブロックと
同一のフレーム構造とした垂直方向に並ぶ8画素を、垂
直1次元DCT変換部84に供給する。
【0323】垂直1次元DCT変換部84は、サンプリ
ング部83でサンプリングされた8画素を受信すると、
ステップS43において、その8画素を、垂直1次元D
CT変換し、これにより、左隣接マクロブロックMBL
の右上のブロックBLURにおける最右列の上4画素と、
その右下のブロックBLDRにおける最右列の上4画素の
合計8画素を垂直1次元DCT変換した垂直1次元DC
T係数を得て、選択部85に供給する。選択部85は、
垂直1次元DCT変換部84から供給される垂直1次元
DCT係数を選択し、左隣接1次元DCT係数として出
力する。
【0324】また、ステップS39において、注目マク
ロブロックのDCTタイプがフィールドDCTであり、
左隣接マクロブロックのDCTタイプがフレームDCT
であると判定された場合、ステップS44乃至S46に
順次進み、選択部85は、図14(C)で説明したよう
に、左隣接マクロブロックMBLの右上のブロックBL UR
における最右列の偶数行の4画素と、その右下のブロッ
クBLDRにおける偶数行の4画素の合計8画素を垂直1
次元DCT変換した垂直1次元DCT係数を、左隣接1
次元DCT係数として取得する。
【0325】即ち、注目ブロックが、注目マクロブロッ
クの左下のブロックBNDLである場合において、注目マ
クロブロックがフィールド構造であり、左隣接マクロブ
ロックがフレーム構造であるときには、左隣接1次元D
CT係数は、図14(C)で説明したように、左隣接マ
クロブロックMBLの右上のブロックBLURにおける最右
列の偶数行の4画素と、その右下のブロックBLDRにお
ける偶数行の4画素の合計8画素を垂直1次元DCT変
換した垂直1次元DCT係数となるが、そのような垂直
1次元DCT係数は、メモリ81に存在しない。
【0326】そこで、サンプリング部83は、ブロック
LURの第8列の垂直1次元DCT係数と、ブロックB
LDRの第8列の垂直1次元DCT係数の垂直1次元逆D
CT変換を、垂直1次元逆DCT変換部82に要求す
る。
【0327】垂直1次元逆DCT変換部82は、サンプ
リング部83からの要求に応じ、ステップS44におい
て、ブロックBLURの第8列の垂直1次元DCT係数
と、ブロックBLDRの第8列の垂直1次元DCT係数
を、メモリ81から読み出し、垂直1次元逆DCT変換
を施す。これにより、垂直1次元逆DCT変換部82
は、ブロックBLURの第8列の8画素と、ブロックBLDR
の第8列の8画素を得て、サンプリング部83に供給
し、ステップS45に進む。
【0328】ステップS45では、サンプリング部83
は、垂直1次元逆DCT変換部82から供給されるブロ
ックBLURの第8列の8画素のうちの偶数行の4画素を
サンプリングするとともに、同じく垂直1次元逆DCT
変換部82から供給されるブロックBLDRの第8列の8
画素のうちの偶数行の4画素をサンプリングし、ブロッ
クBLURの第8列からサンプリングした偶数行の4画素
を上側に配置するとともに、ブロックBLDRの第8列か
らサンプリングした偶数行の4画素を下側に配置するこ
とにより、注目マクロブロックと同一のフィールド(ボ
トムフィールド)構造とした垂直方向に並ぶ8画素を、
垂直1次元DCT変換部84に供給する。
【0329】垂直1次元DCT変換部84は、サンプリ
ング部83でサンプリングされた8画素を受信すると、
ステップS46において、その8画素を、垂直1次元D
CT変換し、これにより、左隣接マクロブロックMBL
の右上のブロックBLURにおける最右列の偶数行の4画
素と、その右下のブロックBLDRにおける偶数行の4画
素の合計8画素を垂直1次元DCT変換した垂直1次元
DCT係数を得て、選択部85に供給する。選択部85
は、垂直1次元DCT変換部84から供給される垂直1
次元DCT係数を選択し、左隣接1次元DCT係数とし
て出力する。
【0330】また、ステップS39において、注目マク
ロブロックと左隣接マクロブロックのDCTタイプが、
いずれもフィールドDCTであると判定された場合、ス
テップS47に進み、選択部85は、図14(D)で説
明したように、左隣接マクロブロックMBLの右下のブ
ロックBLDRの最右列の8画素を垂直1次元DCT変換
した垂直1次元DCT係数を、左隣接1次元DCT係数
として取得する。
【0331】即ち、注目ブロックが、注目マクロブロッ
クの左下のブロックBNDLである場合において、注目マ
クロブロックと左隣接マクロブロックが、いずれもフィ
ールド構造であるときには、左隣接1次元DCT係数
は、図14(D)で説明したように、左隣接マクロブロ
ックMBLの右下のブロックBLDRの最右列の8画素を垂
直1次元DCT変換した垂直1次元DCT係数であり、
この垂直1次元DCT係数は、ブロックBLDRの第8列
の垂直1次元DCT係数である。ブロックBLDRの第8
列の垂直1次元DCT係数は、メモリ81に記憶されて
おり、選択部85は、ステップS47において、メモリ
81から、ブロックBLDRの第8列の垂直1次元DCT
係数を読み出して選択し、左隣接1次元DCT係数とし
て出力する。
【0332】ステップS40,S43,S46、および
S47の処理後は、いずれも、ステップS48に進み、
選択部85は、図15で説明したように、注目ブロック
ND Lの右隣のブロックBNDRの最左列の8画素を垂直1
次元DCT変換した垂直1次元DCT係数を、右隣接1
次元DCT係数として取得する。
【0333】即ち、注目ブロックが、注目マクロブロッ
クの左下のブロックBNDLである場合には、右隣接1次
元DCT係数は、図15で説明したように、注目ブロッ
クB NDLの右隣のブロックBNDRの最左列の8画素を垂直
1次元DCT変換した垂直1次元DCT係数であり、こ
の垂直1次元DCT係数は、ブロックBNDRの第1列の
垂直1次元DCT係数である。ブロックBNDRの第1列
の垂直1次元DCT係数は、メモリ81に記憶されてお
り、選択部85は、ステップS48において、メモリ8
1から、ブロックBNDRの第1列の垂直1次元DCT係
数を読み出して選択し、右隣接垂直1次元DCT係数と
して出力して、左下ブロック処理を終了する。
【0334】次に、図28のフローチャートを参照し
て、図25のステップS4における右上ブロック処理に
ついて説明する。
【0335】右上ブロック処理では、注目マクロブロッ
クの右上のブロックBNURについて、上隣接1次元DC
T係数、下隣接1次元DCT係数、左隣接1次元DCT
係数、右隣接1次元DCT係数が取得される。
【0336】即ち、右上ブロック処理では、まず最初
に、ステップS51において、選択部85が、注目マク
ロブロックと上隣接マクロブロックのDCTタイプを判
定する。
【0337】ステップS51において、注目マクロブロ
ックと上隣接マクロブロックのDCTタイプが、いずれ
もフレームDCTであると判定された場合、ステップS
52に進み、選択部85は、図16(A)で説明したよ
うに、上隣接マクロブロックMBUの右下のブロックB
UDRにおける最下行の8画素を水平1次元DCT変換し
た水平1次元DCT係数を、上隣接1次元DCT係数と
して取得する。
【0338】即ち、注目ブロックが、注目マクロブロッ
クの右上のブロックBNURである場合において、注目マ
クロブロックと上隣接マクロブロックが、いずれもフレ
ーム構造であるときには、上隣接1次元DCT係数は、
図16(A)で説明したように、上隣接マクロブロック
MBUの右下のブロックBUDRにおける最下行の8画素を
水平1次元DCT変換した水平1次元DCT係数であ
り、この水平1次元DCT係数は、ブロックBUDRの第
8行の水平1次元DCT係数である。ブロックBU DR
第8行の水平1次元DCT係数は、メモリ81に記憶さ
れており、選択部85は、ステップS52において、メ
モリ81から、ブロックBUDRの第8行の水平1次元D
CT係数を読み出して選択し、上隣接1次元DCT係数
として出力する。
【0339】また、ステップS51において、注目マク
ロブロックのDCTタイプがフレームDCTであり、上
隣接マクロブロックのDCTタイプがフィールドDCT
であると判定された場合、ステップS53に進み、選択
部85は、図16(B)で説明したように、上隣接マク
ロブロックMBUの右下のブロックBUDRの最下行の8画
素を水平1次元DCT変換した水平1次元DCT係数
を、上隣接1次元DCT係数として取得する。
【0340】即ち、注目ブロックが、注目マクロブロッ
クの右上のブロックBNURである場合において、注目マ
クロブロックがフレーム構造であり、上隣接マクロブロ
ックがフィールド構造であるときには、上隣接1次元D
CT係数は、図16(B)で説明したように、上隣接マ
クロブロックMBUの右下のブロックBUDRにおける最下
行の8画素を水平1次元DCT変換した水平1次元DC
T係数であり、この水平1次元DCT係数は、ブロック
UDRの第8行の水平1次元DCT係数である。ブロッ
クBUDRの第8行の水平1次元DCT係数は、メモリ8
1に記憶されており、選択部85は、ステップS53に
おいて、メモリ81から、ブロックBUD Rの第8行の水
平1次元DCT係数を読み出して選択し、上隣接1次元
DCT係数として出力する。
【0341】また、ステップS51において、注目マク
ロブロックのDCTタイプがフィールドDCTであり、
上隣接マクロブロックのDCTタイプがフレームDCT
であると判定された場合、ステップS54に進み、選択
部85は、図16(C)で説明したように、上隣接マク
ロブロックMBUの右下のブロックBUDRの第7行目の8
画素を水平1次元DCT変換した水平1次元DCT係数
を、上隣接1次元DCT係数として取得する。
【0342】即ち、注目ブロックが、注目マクロブロッ
クの右上のブロックBNURである場合において、注目マ
クロブロックがフィールド構造であり、上隣接マクロブ
ロックがフレーム構造であるときには、上隣接1次元D
CT係数は、図16(C)で説明したように、上隣接マ
クロブロックMBUの右下のブロックBUDRの第7行目の
8画素を水平1次元DCT変換した水平1次元DCT係
数であり、この水平1次元DCT係数は、ブロックB
UDRの第7行の水平1次元DCT係数である。ブロック
UDRの第7行の水平1次元DCT係数は、メモリ81
に記憶されており、選択部85は、ステップS54にお
いて、メモリ81から、ブロックBUDRの第7行の水平
1次元DCT係数を読み出して選択し、上隣接1次元D
CT係数として出力する。
【0343】また、ステップS51において、注目マク
ロブロックと上隣接マクロブロックのDCTタイプが、
いずれもフィールドDCTであると判定された場合、ス
テップS55に進み、選択部85は、図16(D)で説
明したように、上隣接マクロブロックMBUの右上のブ
ロックBUURの最下行の8画素を水平1次元DCT変換
した水平1次元DCT係数を、上隣接1次元DCT係数
として取得する。
【0344】即ち、注目ブロックが、注目マクロブロッ
クの右上のブロックBNURである場合において、注目マ
クロブロックと上隣接マクロブロックが、いずれもフィ
ールド構造であるときには、上隣接1次元DCT係数
は、図16(D)で説明したように、上隣接マクロブロ
ックMBUの右上のブロックBUURの最下行の8画素を水
平1次元DCT変換した水平1次元DCT係数であり、
この水平1次元DCT係数は、ブロックBUULの第8行
の水平1次元DCT係数である。ブロックBUURの第8
行の水平1次元DCT係数は、メモリ81に記憶されて
おり、選択部85は、ステップS55において、メモリ
81から、ブロックBUURの第8行の水平1次元DCT
係数を読み出して選択し、上隣接1次元DCT係数とし
て出力する。
【0345】ステップS52乃至S55の処理後は、い
ずれも、ステップS56に進み、選択部85が、注目マ
クロブロックのDCTタイプを判定する。
【0346】ステップS56において、注目マクロブロ
ックのDCTタイプがフレームDCTであると判定され
た場合、ステップS57に進み、選択部85は、図17
(A)で説明したように、注目マクロブロックMBN
右下のブロックBNDRの最上行の8画素を水平1次元D
CT変換した水平1次元DCT係数を、下隣接1次元D
CT係数として取得する。
【0347】即ち、注目ブロックが、注目マクロブロッ
クの右上のブロックBNURである場合において、注目マ
クロブロックがフレーム構造であるときには、下隣接1
次元DCT係数は、図17(A)で説明したように、注
目マクロブロックMBNの右下のブロックBNDRの最上行
の8画素を水平1次元DCT変換した水平1次元DCT
係数であり、この水平1次元DCT係数は、ブロックB
NDRの第1行の水平1次元DCT係数である。ブロック
NDRの第1行の水平1次元DCT係数は、メモリ81
に記憶されており、選択部85は、ステップS57にお
いて、メモリ81から、ブロックBNDRの第1行の水平
1次元DCT係数を読み出して選択し、下隣接1次元D
CT係数として出力する。
【0348】また、ステップS56において、注目マク
ロブロックのDCTタイプがフィールドDCTであると
判定された場合、ステップS58に進み、選択部85
は、図17(B)で説明したように、下隣接マクロブロ
ックMBDの右上のブロックBD URの最上行の8画素を水
平1次元DCT変換した水平1次元DCT係数を、下隣
接1次元DCT係数として取得する。
【0349】即ち、注目ブロックが、注目マクロブロッ
クの右上のブロックBNURである場合において、注目マ
クロブロックがフィールド構造であるときには、下隣接
1次元DCT係数は、図17(B)で説明したように、
下隣接マクロブロックMBDの右上のブロックBDURの最
上行の8画素を水平1次元DCT変換した水平1次元D
CT係数であり、この水平1次元DCT係数は、ブロッ
クBDURの第1行の水平1次元DCT係数である。ブロ
ックBDURの第1行の水平1次元DCT係数は、メモリ
81に記憶されており、選択部85は、ステップS58
において、メモリ81から、ブロックBDURの第1行の
水平1次元DCT係数を読み出して選択し、下隣接1次
元DCT係数として出力する。
【0350】ステップS57およびS58の処理後は、
いずれも、ステップS59に進み、サンプリング部83
および選択部85が、注目マクロブロックと右隣接マク
ロブロックのDCTタイプを判定する。
【0351】ステップS59において、注目マクロブロ
ックと右隣接マクロブロックのDCTタイプが、いずれ
もフレームDCTであると判定された場合、ステップS
60に進み、選択部85は、図19(A)で説明したよ
うに、右隣接マクロブロックMBRの左上のブロックB
RULの最左列の8画素を垂直1次元DCT変換した垂直
1次元DCT係数を、右隣接1次元DCT係数として取
得する。
【0352】即ち、注目ブロックが、注目マクロブロッ
クの右上のブロックBNURである場合において、注目マ
クロブロックと右隣接マクロブロックが、いずれもフレ
ーム構造であるときには、右隣接1次元DCT係数は、
図19(A)で説明したように、右隣接マクロブロック
MBRの左上のブロックBRULの最左列の8画素を垂直1
次元DCT変換した垂直1次元DCT係数であり、この
垂直1次元DCT係数は、ブロックBRULの第1列の垂
直1次元DCT係数である。ブロックBRULの第1列の
垂直1次元DCT係数は、メモリ81に記憶されてお
り、選択部85は、ステップS60において、メモリ8
1から、ブロックBRULの第1列の垂直1次元DCT係
数を読み出して選択し、右隣接1次元DCT係数として
出力する。
【0353】また、ステップS59において、注目マク
ロブロックのDCTタイプがフレームDCTであり、右
隣接マクロブロックのDCTタイプがフィールドDCT
であると判定された場合、ステップS61乃至S63に
順次進み、選択部85は、図19(B)で説明したよう
に、右隣接マクロブロックMBRの左上のブロックBR UL
における最左列の上4画素と、その左下のブロックB
RDLにおける最左列の上4画素の合計8画素を垂直1次
元DCT変換した垂直1次元DCT係数を、右隣接1次
元DCT係数として取得する。
【0354】即ち、注目ブロックが、注目マクロブロッ
クの右上のブロックBNURである場合において、注目マ
クロブロックがフレーム構造であり、右隣接マクロブロ
ックがフィールド構造であるときには、右隣接1次元D
CT係数は、図19(B)で説明したように、右隣接マ
クロブロックMBRの左上のブロックBRULにおける最左
列の上4画素と、その左下のブロックBRDLにおける最
左列の上4画素の合計8画素を垂直1次元DCT変換し
た垂直1次元DCT係数となるが、このような垂直1次
元DCT係数は、メモリ81に存在しない。
【0355】そこで、サンプリング部83は、ブロック
RULの第1列の垂直1次元DCT係数と、ブロックB
RDLの第1列の垂直1次元DCT係数の垂直1次元逆D
CT変換を、垂直1次元逆DCT変換部82に要求す
る。
【0356】垂直1次元逆DCT変換部82は、サンプ
リング部83からの要求に応じ、ステップS61におい
て、ブロックBRULの第1列の垂直1次元DCT係数
と、ブロックBRDLの第1列の垂直1次元DCT係数
を、メモリ81から読み出し、垂直1次元逆DCT変換
を施す。これにより、垂直1次元逆DCT変換部82
は、ブロックBRULの第1列の8画素と、ブロックBRDL
の第1列の8画素を得て、サンプリング部83に供給
し、ステップS62に進む。
【0357】ステップS62では、サンプリング部83
は、垂直1次元逆DCT変換部82から供給されるブロ
ックBRULの第1列の8画素のうちの上4画素をサンプ
リングするとともに、同じく垂直1次元逆DCT変換部
82から供給されるブロックBRDLの第1列の8画素の
うちの上4画素をサンプリングし、ブロックBRULの第
1列からサンプリングした上4画素を奇数行(トップフ
ィールド)に配置するとともに、ブロックBRDLの第1
列からサンプリングした上4画素を偶数行(ボトムフィ
ールド)に配置することにより、注目マクロブロックと
同一のフレーム構造とした垂直方向に並ぶ8画素を、垂
直1次元DCT変換部84に供給する。
【0358】垂直1次元DCT変換部84は、サンプリ
ング部83でサンプリングされた8画素を受信すると、
ステップS63において、その8画素を、垂直1次元D
CT変換し、これにより、右隣接マクロブロックMBR
の左上のブロックBRULにおける最左列の上4画素と、
その左下のブロックBRDLにおける最左列の上4画素の
合計8画素を垂直1次元DCT変換した垂直1次元DC
T係数を得て、選択部85に供給する。選択部85は、
垂直1次元DCT変換部84から供給される垂直1次元
DCT係数を選択し、右隣接1次元DCT係数として出
力する。
【0359】また、ステップS59において、注目マク
ロブロックのDCTタイプがフィールドDCTであり、
右隣接マクロブロックのDCTタイプがフレームDCT
であると判定された場合、ステップS64乃至S66に
順次進み、選択部85は、図19(C)で説明したよう
に、右隣接マクロブロックMBRの左上のブロックBR UL
における最左列の奇数行の4画素と、その左下のブロッ
クBRDLにおける奇数行の4画素の合計8画素を垂直1
次元DCT変換した垂直1次元DCT係数を、右隣接1
次元DCT係数として取得する。
【0360】即ち、注目ブロックが、注目マクロブロッ
クの右上のブロックBNURである場合において、注目マ
クロブロックがフィールド構造であり、右隣接マクロブ
ロックがフレーム構造であるときには、右隣接1次元D
CT係数は、図19(C)で説明したように、右隣接マ
クロブロックMBLの左上のブロックBRULにおける最左
列の奇数行の4画素と、その左下のブロックBRDLにお
ける奇数行の4画素の合計8画素を垂直1次元DCT変
換した垂直1次元DCT係数となるが、そのような垂直
1次元DCT係数は、メモリ81に存在しない。
【0361】そこで、サンプリング部83は、ブロック
RULの第1列の垂直1次元DCT係数と、ブロックB
RDLの第1列の垂直1次元DCT係数の垂直1次元逆D
CT変換を、垂直1次元逆DCT変換部82に要求す
る。
【0362】垂直1次元逆DCT変換部82は、サンプ
リング部83からの要求に応じ、ステップS64におい
て、ブロックBRULの第1列の垂直1次元DCT係数
と、ブロックBRDLの第1列の垂直1次元DCT係数
を、メモリ81から読み出し、垂直1次元逆DCT変換
を施す。これにより、垂直1次元逆DCT変換部82
は、ブロックBRULの第1列の8画素と、ブロックBRDL
の第1列の8画素を得て、サンプリング部83に供給
し、ステップS65に進む。
【0363】ステップS65では、サンプリング部83
は、垂直1次元逆DCT変換部82から供給されるブロ
ックBRULの第1列の8画素のうちの奇数行の4画素を
サンプリングするとともに、同じく垂直1次元逆DCT
変換部82から供給されるブロックBRDLの第1列の8
画素のうちの奇数行の4画素をサンプリングし、ブロッ
クBRULの第1列からサンプリングした奇数行の4画素
を上側に配置するとともに、ブロックBRDLの第1列か
らサンプリングした奇数行の4画素を下側に配置するこ
とにより、注目マクロブロックと同一のフィールド(ト
ップフィールド)構造とした垂直方向に並ぶ8画素を、
垂直1次元DCT変換部84に供給する。
【0364】垂直1次元DCT変換部84は、サンプリ
ング部83でサンプリングされた8画素を受信すると、
ステップS66において、その8画素を、垂直1次元D
CT変換し、これにより、右隣接マクロブロックMBR
の左上のブロックBRULにおける最左列の奇数行の4画
素と、その左下のブロックBRDLにおける奇数行の4画
素の合計8画素を垂直1次元DCT変換した垂直1次元
DCT係数を得て、選択部85に供給する。選択部85
は、垂直1次元DCT変換部84から供給される垂直1
次元DCT係数を選択し、右隣接1次元DCT係数とし
て出力する。
【0365】また、ステップS59において、注目マク
ロブロックと右隣接マクロブロックのDCTタイプが、
いずれもフィールドDCTであると判定された場合、ス
テップS67に進み、選択部85は、図19(D)で説
明したように、右隣接マクロブロックMBRの左上のブ
ロックBRULの最左列の8画素を垂直1次元DCT変換
した垂直1次元DCT係数を、右隣接1次元DCT係数
として取得する。
【0366】即ち、注目ブロックが、注目マクロブロッ
クの右上のブロックBNURである場合において、注目マ
クロブロックと右隣接マクロブロックが、いずれもフィ
ールド構造であるときには、右隣接1次元DCT係数
は、図19(D)で説明したように、右隣接マクロブロ
ックMBRの左上のブロックBRULの最左列の8画素を垂
直1次元DCT変換した垂直1次元DCT係数であり、
この垂直1次元DCT係数は、ブロックBRULの第1列
の垂直1次元DCT係数である。ブロックBRULの第1
列の垂直1次元DCT係数は、メモリ81に記憶されて
おり、選択部85は、ステップS67において、メモリ
81から、ブロックBRULの第1列の垂直1次元DCT
係数を読み出して選択し、右隣接1次元DCT係数とし
て出力する。
【0367】ステップS60,S63,S66、および
S67の処理後は、いずれも、ステップS68に進み、
選択部85は、図18で説明したように、注目ブロック
NU Rの左隣のブロックBNULの最右列の8画素を垂直1
次元DCT変換した垂直1次元DCT係数を、左隣接1
次元DCT係数として取得する。
【0368】即ち、注目ブロックが、注目マクロブロッ
クの右上のブロックBNURである場合には、左隣接1次
元DCT係数は、図18で説明したように、注目ブロッ
クB NURの左隣のブロックBNULの最右列の8画素を垂直
1次元DCT変換した垂直1次元DCT係数であり、こ
の垂直1次元DCT係数は、ブロックBNULの第8列の
垂直1次元DCT係数である。ブロックBNURの第8列
の垂直1次元DCT係数は、メモリ81に記憶されてお
り、選択部85は、ステップS68において、メモリ8
1から、ブロックBNULの第8列の垂直1次元DCT係
数を読み出して選択し、左隣接垂直1次元DCT係数と
して出力して、右上ブロック処理を終了する。
【0369】次に、図29のフローチャートを参照し
て、図25のステップS5における右下ブロック処理に
ついて説明する。
【0370】右下ブロック処理では、注目マクロブロッ
クの右下のブロックBNDRについて、上隣接1次元DC
T係数、下隣接1次元DCT係数、左隣接1次元DCT
係数、右隣接1次元DCT係数が取得される。
【0371】即ち、右下ブロック処理では、まず最初
に、ステップS71において、選択部85が、注目マク
ロブロックのDCTタイプを判定する。
【0372】ステップS71において、注目マクロブロ
ックのDCTタイプがフレームDCTであると判定され
た場合、ステップS72に進み、選択部85は、図20
(A)で説明したように、注目マクロブロックMBN
右上のブロックBNURの最下行の8画素を水平1次元D
CT変換した水平1次元DCT係数を、上隣接1次元D
CT係数として取得する。
【0373】即ち、注目ブロックが、注目マクロブロッ
クの右下のブロックBNDRである場合において、注目マ
クロブロックがフレーム構造であるときには、上隣接1
次元DCT係数は、図20(A)で説明したように、注
目マクロブロックMBNの右上のブロックBNURの最下行
の8画素を水平1次元DCT変換した水平1次元DCT
係数であり、この水平1次元DCT係数は、ブロックB
NURの第8行の水平1次元DCT係数である。ブロック
NURの第8行の水平1次元DCT係数は、メモリ81
に記憶されており、選択部85は、ステップS72にお
いて、メモリ81から、ブロックBNURの第8行の水平
1次元DCT係数を読み出して選択し、上隣接1次元D
CT係数として出力する。
【0374】また、ステップS71において、注目マク
ロブロックのDCTタイプがフィールドDCTであると
判定された場合、ステップS73に進み、選択部85
は、図20(B)で説明したように、上隣接マクロブロ
ックMBUの右下のブロックBU DRの最下行の8画素を水
平1次元DCT変換した水平1次元DCT係数を、上隣
接1次元DCT係数として取得する。
【0375】即ち、注目ブロックが、注目マクロブロッ
クの右下のブロックBNDRである場合において、注目マ
クロブロックがフィールド構造であるときには、上隣接
1次元DCT係数は、図20(B)で説明したように、
上隣接マクロブロックMBUの右下のブロックBUDRの最
下行の8画素を水平1次元DCT変換した水平1次元D
CT係数であり、この水平1次元DCT係数は、ブロッ
クBUDRの第8行の水平1次元DCT係数である。ブロ
ックBUDRの第1行の水平1次元DCT係数は、メモリ
81に記憶されており、選択部85は、ステップS73
において、メモリ81から、ブロックBUDRの第8行の
水平1次元DCT係数を読み出して選択し、上隣接1次
元DCT係数として出力する。
【0376】ステップS72およびS73の処理後は、
いずれも、ステップS74に進み、選択部85が、注目
マクロブロックと下隣接マクロブロックのDCTタイプ
を判定する。
【0377】ステップS74において、注目マクロブロ
ックと下隣接マクロブロックのDCTタイプが、いずれ
もフレームDCTであると判定された場合、ステップS
75に進み、選択部85は、図21(A)で説明したよ
うに、下隣接マクロブロックMBDの右上のブロックB
DURにおける最上行の8画素を水平1次元DCT変換し
た水平1次元DCT係数を、下隣接1次元DCT係数と
して取得する。
【0378】即ち、注目ブロックが、注目マクロブロッ
クの右下のブロックBNDRである場合において、注目マ
クロブロックと下隣接マクロブロックが、いずれもフレ
ーム構造であるときには、下隣接1次元DCT係数は、
図21(A)で説明したように、下隣接マクロブロック
MBDの右上のブロックBDURにおける最上行の8画素を
水平1次元DCT変換した水平1次元DCT係数であ
り、この水平1次元DCT係数は、ブロックBDURの第
1行の水平1次元DCT係数である。ブロックBD UR
第1行の水平1次元DCT係数は、メモリ81に記憶さ
れており、選択部85は、ステップS75において、メ
モリ81から、ブロックBDURの第1行の水平1次元D
CT係数を読み出して選択し、下隣接1次元DCT係数
として出力する。
【0379】また、ステップS74において、注目マク
ロブロックのDCTタイプがフレームDCTであり、下
隣接マクロブロックのDCTタイプがフィールドDCT
であると判定された場合、ステップS76に進み、選択
部85は、図21(B)で説明したように、下隣接マク
ロブロックMBDの右上のブロックBDURの最上行の8画
素を水平1次元DCT変換した水平1次元DCT係数
を、下隣接1次元DCT係数として取得する。
【0380】即ち、注目ブロックが、注目マクロブロッ
クの右下のブロックBNDRである場合において、注目マ
クロブロックがフレーム構造であり、下隣接マクロブロ
ックがフィールド構造であるときには、下隣接1次元D
CT係数は、図21(B)で説明したように、下隣接マ
クロブロックMBDの右上のブロックBDURにおける最下
行の8画素を水平1次元DCT変換した水平1次元DC
T係数であり、この水平1次元DCT係数は、ブロック
DURの第1行の水平1次元DCT係数である。ブロッ
クBDURの第1行の水平1次元DCT係数は、メモリ8
1に記憶されており、選択部85は、ステップS76に
おいて、メモリ81から、ブロックBDU Rの第1行の水
平1次元DCT係数を読み出して選択し、下隣接1次元
DCT係数として出力する。
【0381】また、ステップS74において、注目マク
ロブロックのDCTタイプがフィールドDCTであり、
下隣接マクロブロックのDCTタイプがフレームDCT
であると判定された場合、ステップS77に進み、選択
部85は、図21(C)で説明したように、下隣接マク
ロブロックMBDの右上のブロックBDURの第2行目の8
画素を水平1次元DCT変換した水平1次元DCT係数
を、下隣接1次元DCT係数として取得する。
【0382】即ち、注目ブロックが、注目マクロブロッ
クの右下のブロックBNDRである場合において、注目マ
クロブロックがフィールド構造であり、下隣接マクロブ
ロックがフレーム構造であるときには、下隣接1次元D
CT係数は、図21(C)で説明したように、下隣接マ
クロブロックMBDの右上のブロックBDURの第2行目の
8画素を水平1次元DCT変換した水平1次元DCT係
数であり、この水平1次元DCT係数は、ブロックB
DURの第2行の水平1次元DCT係数である。ブロック
DURの第2行の水平1次元DCT係数は、メモリ81
に記憶されており、選択部85は、ステップS77にお
いて、メモリ81から、ブロックBDURの第2行の水平
1次元DCT係数を読み出して選択し、下隣接1次元D
CT係数として出力する。
【0383】また、ステップS74において、注目マク
ロブロックと下隣接マクロブロックのDCTタイプが、
いずれもフィールドDCTであると判定された場合、ス
テップS78に進み、選択部85は、図21(D)で説
明したように、下隣接マクロブロックMBDの右下のブ
ロックBDDRの最上行の8画素を水平1次元DCT変換
した水平1次元DCT係数を、下隣接1次元DCT係数
として取得する。
【0384】即ち、注目ブロックが、注目マクロブロッ
クの右下のブロックBNDRである場合において、注目マ
クロブロックと下隣接マクロブロックが、いずれもフィ
ールド構造であるときには、下隣接1次元DCT係数
は、図21(D)で説明したように、下隣接マクロブロ
ックMBDの右下のブロックBDDRの最上行の8画素を水
平1次元DCT変換した水平1次元DCT係数であり、
この水平1次元DCT係数は、ブロックBDDRの第1行
の水平1次元DCT係数である。ブロックBDDRの第1
行の水平1次元DCT係数は、メモリ81に記憶されて
おり、選択部85は、ステップS78において、メモリ
81から、ブロックBDDRの第1行の水平1次元DCT
係数を読み出して選択し、下隣接1次元DCT係数とし
て出力する。
【0385】ステップS75乃至S78の処理後は、い
ずれも、ステップS79に進み、サンプリング部83お
よび選択部85が、注目マクロブロックと左隣接マクロ
ブロックのDCTタイプを判定する。
【0386】ステップS79において、注目マクロブロ
ックと左隣接マクロブロックのDCTタイプが、いずれ
もフレームDCTであると判定された場合、ステップS
80に進み、選択部85は、図23(A)で説明したよ
うに、右隣接マクロブロックMBRの左下のブロックB
RDLの最左列の8画素を垂直1次元DCT変換した垂直
1次元DCT係数を、右隣接1次元DCT係数として取
得する。
【0387】即ち、注目ブロックが、注目マクロブロッ
クの右下のブロックBNDRである場合において、注目マ
クロブロックと右隣接マクロブロックが、いずれもフレ
ーム構造であるときには、右隣接1次元DCT係数は、
図23(A)で説明したように、右隣接マクロブロック
MBRの左下のブロックBRDLの最左列の8画素を垂直1
次元DCT変換した垂直1次元DCT係数であり、この
垂直1次元DCT係数は、ブロックBRDLの第1列の垂
直1次元DCT係数である。ブロックBRDLの第1列の
垂直1次元DCT係数は、メモリ81に記憶されてお
り、選択部85は、ステップS80において、メモリ8
1から、ブロックBRDLの第1列の垂直1次元DCT係
数を読み出して選択し、右隣接1次元DCT係数として
出力する。
【0388】また、ステップS79において、注目マク
ロブロックのDCTタイプがフレームDCTであり、右
隣接マクロブロックのDCTタイプがフィールドDCT
であると判定された場合、ステップS81乃至S83に
順次進み、選択部85は、図23(B)で説明したよう
に、右隣接マクロブロックMBRの左上のブロックBR UL
における最左列の下4画素と、その左下のブロックB
RDLにおける最左列の下4画素の合計8画素を垂直1次
元DCT変換した垂直1次元DCT係数を、右隣接1次
元DCT係数として取得する。
【0389】即ち、注目ブロックが、注目マクロブロッ
クの右下のブロックBNDRである場合において、注目マ
クロブロックがフレーム構造であり、右隣接マクロブロ
ックがフィールド構造であるときには、右隣接1次元D
CT係数は、図23(B)で説明したように、右隣接マ
クロブロックMBRの左上のブロックBRULにおける最左
列の下4画素と、その左下のブロックBRDLにおける最
左列の下4画素の合計8画素を垂直1次元DCT変換し
た垂直1次元DCT係数となるが、このような垂直1次
元DCT係数は、メモリ81に存在しない。
【0390】そこで、サンプリング部83は、ブロック
RULの第1列の垂直1次元DCT係数と、ブロックB
RDLの第1列の垂直1次元DCT係数の垂直1次元逆D
CT変換を、垂直1次元逆DCT変換部82に要求す
る。
【0391】垂直1次元逆DCT変換部82は、サンプ
リング部83からの要求に応じ、ステップS81におい
て、ブロックBRULの第1列の垂直1次元DCT係数
と、ブロックBRDLの第1列の垂直1次元DCT係数
を、メモリ81から読み出し、垂直1次元逆DCT変換
を施す。これにより、垂直1次元逆DCT変換部82
は、ブロックBRULの第1列の8画素と、ブロックBRDL
の第1列の8画素を得て、サンプリング部83に供給
し、ステップS82に進む。
【0392】ステップS82では、サンプリング部83
は、垂直1次元逆DCT変換部82から供給されるブロ
ックBRULの第1列の8画素のうちの下4画素をサンプ
リングするとともに、同じく垂直1次元逆DCT変換部
82から供給されるブロックBRDLの第1列の8画素の
うちの下4画素をサンプリングし、ブロックBRULの第
1列からサンプリングした上4画素を奇数行(トップフ
ィールド)に配置するとともに、ブロックBRDLの第1
列からサンプリングした上4画素を偶数行(ボトムフィ
ールド)に配置することにより、注目マクロブロックと
同一のフレーム構造とした垂直方向に並ぶ8画素を、垂
直1次元DCT変換部84に供給する。
【0393】垂直1次元DCT変換部84は、サンプリ
ング部83でサンプリングされた8画素を受信すると、
ステップS83において、その8画素を、垂直1次元D
CT変換し、これにより、右隣接マクロブロックMBL
の左上のブロックBRULにおける最左列の下4画素と、
その左下のブロックBRDLにおける最左列の下4画素の
合計8画素を垂直1次元DCT変換した垂直1次元DC
T係数を得て、選択部85に供給する。選択部85は、
垂直1次元DCT変換部84から供給される垂直1次元
DCT係数を選択し、右隣接1次元DCT係数として出
力する。
【0394】また、ステップS79において、注目マク
ロブロックのDCTタイプがフィールドDCTであり、
右隣接マクロブロックのDCTタイプがフレームDCT
であると判定された場合、ステップS84乃至S86に
順次進み、選択部85は、図23(C)で説明したよう
に、右隣接マクロブロックMBRの左上のブロックBR UL
における最左列の偶数行の4画素と、その左下のブロッ
クBRDLにおける偶数行の4画素の合計8画素を垂直1
次元DCT変換した垂直1次元DCT係数を、右隣接1
次元DCT係数として取得する。
【0395】即ち、注目ブロックが、注目マクロブロッ
クの右下のブロックBNDRである場合において、注目マ
クロブロックがフィールド構造であり、右隣接マクロブ
ロックがフレーム構造であるときには、右隣接1次元D
CT係数は、図23(C)で説明したように、右隣接マ
クロブロックMBLの左上のブロックBRULにおける最左
列の偶数行の4画素と、その左下のブロックBRDLにお
ける偶数行の4画素の合計8画素を垂直1次元DCT変
換した垂直1次元DCT係数となるが、そのような垂直
1次元DCT係数は、メモリ81に存在しない。
【0396】そこで、サンプリング部83は、ブロック
RULの第1列の垂直1次元DCT係数と、ブロックB
RDLの第1列の垂直1次元DCT係数の垂直1次元逆D
CT変換を、垂直1次元逆DCT変換部82に要求す
る。
【0397】垂直1次元逆DCT変換部82は、サンプ
リング部83からの要求に応じ、ステップS84におい
て、ブロックBRULの第1列の垂直1次元DCT係数
と、ブロックBRDLの第1列の垂直1次元DCT係数
を、メモリ81から読み出し、垂直1次元逆DCT変換
を施す。これにより、垂直1次元逆DCT変換部82
は、ブロックBRULの第1列の8画素と、ブロックBRDL
の第1列の8画素を得て、サンプリング部83に供給
し、ステップS85に進む。
【0398】ステップS85では、サンプリング部83
は、垂直1次元逆DCT変換部82から供給されるブロ
ックBRULの第1列の8画素のうちの偶数行の4画素を
サンプリングするとともに、同じく垂直1次元逆DCT
変換部82から供給されるブロックBRDLの第1列の8
画素のうちの偶数行の4画素をサンプリングし、ブロッ
クBRULの第1列からサンプリングした偶数行の4画素
を上側に配置するとともに、ブロックBRDLの第1列か
らサンプリングした偶数行の4画素を下側に配置するこ
とにより、注目マクロブロックと同一のフィールド(ボ
トムフィールド)構造とした垂直方向に並ぶ8画素を、
垂直1次元DCT変換部84に供給する。
【0399】垂直1次元DCT変換部84は、サンプリ
ング部83でサンプリングされた8画素を受信すると、
ステップS86において、その8画素を、垂直1次元D
CT変換し、これにより、右隣接マクロブロックMBR
の左上のブロックBRULにおける最左列の偶数行の4画
素と、その左下のブロックBRDLにおける偶数行の4画
素の合計8画素を垂直1次元DCT変換した垂直1次元
DCT係数を得て、選択部85に供給する。選択部85
は、垂直1次元DCT変換部84から供給される垂直1
次元DCT係数を選択し、右隣接1次元DCT係数とし
て出力する。
【0400】また、ステップS79において、注目マク
ロブロックと右隣接マクロブロックのDCTタイプが、
いずれもフィールドDCTであると判定された場合、ス
テップS87に進み、選択部85は、図23(D)で説
明したように、右隣接マクロブロックMBRの左下のブ
ロックBRDLの最左列の8画素を垂直1次元DCT変換
した垂直1次元DCT係数を、右隣接1次元DCT係数
として取得する。
【0401】即ち、注目ブロックが、注目マクロブロッ
クの右下のブロックBNDRである場合において、注目マ
クロブロックと右隣接マクロブロックが、いずれもフィ
ールド構造であるときには、右隣接1次元DCT係数
は、図23(D)で説明したように、右隣接マクロブロ
ックMBRの左下のブロックBRDLの最左列の8画素を垂
直1次元DCT変換した垂直1次元DCT係数であり、
この垂直1次元DCT係数は、ブロックBRDLの第1列
の垂直1次元DCT係数である。ブロックBRDLの第1
列の垂直1次元DCT係数は、メモリ81に記憶されて
おり、選択部85は、ステップS87において、メモリ
81から、ブロックBRDLの第1列の垂直1次元DCT
係数を読み出して選択し、右隣接1次元DCT係数とし
て出力する。
【0402】ステップS80,S83,S86、および
S87の処理後は、いずれも、ステップS88に進み、
選択部85は、図22で説明したように、注目ブロック
ND Rの左隣のブロックBNDLの最右列の8画素を垂直1
次元DCT変換した垂直1次元DCT係数を、左隣接1
次元DCT係数として取得する。
【0403】即ち、注目ブロックが、注目マクロブロッ
クの右下のブロックBNDRである場合には、左隣接1次
元DCT係数は、図22で説明したように、注目ブロッ
クB NDRの左隣のブロックBNDLの最右列の8画素を垂直
1次元DCT変換した垂直1次元DCT係数であり、こ
の垂直1次元DCT係数は、ブロックBNDLの第8列の
垂直1次元DCT係数である。ブロックBNDLの第8列
の垂直1次元DCT係数は、メモリ81に記憶されてお
り、選択部85は、ステップS88において、メモリ8
1から、ブロックBNDLの第8列の垂直1次元DCT係
数を読み出して選択し、左隣接垂直1次元DCT係数と
して出力して、右下ブロック処理を終了する。
【0404】次に、図2のACパワー算出部33の処理
について説明する。
【0405】ACパワー算出部33は、上述したよう
に、1次元逆DCT係数変換部31から供給される1次
元DCT係数の交流成分のパワー(ACパワー)を求め
るとともに、隣接1次元DCT係数選択/変換部32か
ら供給される隣接1次元DCT係数のACパワーを求め
るようになっている。
【0406】即ち、ACパワー算出部33は、図30に
示すように、注目ブロックにおける注目画素の位置の行
の水平1次元DCT係数から、水平方向のACパワーを
求めるとともに、注目画素の位置の列の垂直1次元DC
T係数から、垂直方向のACパワーを求める。
【0407】ここで、1次元DCT係数の7つの交流成
分をACnと表すこととすると(n=1,2,・・・,
7)、ACパワーPACは、次式によって計算される。
【0408】 PAC=ΣACn 2 ・・・(12)
【0409】但し、式(12)において、Σは、変数n
を1から7に変えてのサメーションを表す。
【0410】また、ACパワー算出部33は、注目ブロ
ックについての上隣接1次元DCT係数、下隣接1次元
DCT係数、左隣接1次元DCT係数、右隣接1次元D
CT係数それぞれについても、式(12)にしたがい、
ACパワーを求める。なお、上隣接1次元DCT係数と
下隣接1次元DCT係数は、いずれも水平1次元DCT
係数であり、従って、これらから求められるACパワー
は、水平方向のACパワーである。また、左隣接1次元
DCT係数と右隣接1次元DCT係数は、いずれも垂直
1次元DCT係数であり、従って、これらから求められ
るACパワーは、垂直方向のACパワーである。
【0411】ACパワー算出部33は、さらに、注目ブ
ロックの1次元DCT係数のうち、その境界に隣接する
もの(以下、適宜、境界1次元DCT係数という)につ
いても、式(12)にしたがい、ACパワーを求める。
【0412】即ち、ACパワー算出部33は、注目ブロ
ックの上側の境界に隣接する第1行の水平1次元DCT
係数(以下、適宜、上境界1次元DCT係数という)か
ら、水平方向のACパワーを求める。さらに、ACパワ
ー算出部33は、注目ブロックの下側の境界に隣接する
第8行の水平1次元DCT係数(以下、適宜、下境界1
次元DCT係数という)から、水平方向のACパワーを
求める。また、ACパワー算出部33は、注目ブロック
の左側の境界に隣接する第1列の垂直1次元DCT係数
(以下、適宜、左境界1次元DCT係数という)から、
垂直方向のACパワーを求めるとともに、注目ブロック
の右側の境界に隣接する第8列の垂直1次元DCT係数
(以下、適宜、右境界1次元DCT係数という)から、
垂直方向のACパワーを求める。
【0413】次に、図31は、以上のようにしてACパ
ワーを求める図2のACパワー算出部33の構成例を示
している。
【0414】水平1次元DCT係数抽出部91および垂
直1次元DCT係数抽出部92には、1次元逆DCT変
換部31(図2)と、隣接1次元DCT係数選択/変換
部32から、1次元DCT係数が供給されるようになっ
ている。
【0415】水平1次元DCT係数抽出部91は、そこ
に供給される1次元DCT係数から、ACパワーの計算
対象とするものを抽出し、水平ACパワー計算部93に
供給する。即ち、水平1次元DCT係数抽出部91は、
そこに供給される1次元DCT係数から、注目ブロック
における注目画素の位置の行の水平1次元DCT係数、
注目ブロックについての上隣接1次元DCT係数および
下隣接1次元DCT係数、並びに注目ブロックの上境界
1次元DCT係数および下境界1次元DCT係数を抽出
し、水平ACパワー計算部93に供給する。
【0416】垂直1次元DCT係数抽出部92には、そ
こに供給される1次元DCT係数から、ACパワーの計
算対象とするものを抽出し、垂直ACパワー計算部94
に供給する。即ち、垂直1次元DCT係数抽出部92
は、そこに供給される1次元DCT係数から、注目ブロ
ックにおける注目画素の位置の列の垂直1次元DCT係
数、注目ブロックについての左隣接1次元DCT係数お
よび右隣接1次元DCT係数、並びに注目ブロックの左
境界1次元DCT係数および右境界1次元DCT係数を
抽出し、垂直ACパワー計算部94に供給する。
【0417】水平ACパワー計算部93は、水平1次元
DCT係数抽出部91から供給される水平1次元DCT
係数から、式(12)にしたがって、水平方向のACパ
ワーを計算して出力する。即ち、水平ACパワー計算部
93は、注目ブロックにおける注目画素の位置の行の水
平1次元DCT係数、注目ブロックについての上隣接1
次元DCT係数および下隣接1次元DCT係数、並びに
注目ブロックの上境界1次元DCT係数および下境界1
次元DCT係数それぞれから、水平方向のACパワーを
計算する。
【0418】垂直ACパワー計算部94は、垂直1次元
DCT係数抽出部92から供給される垂直1次元DCT
係数から、式(12)にしたがって、垂直方向のACパ
ワーを計算して出力する。即ち、垂直ACパワー計算部
94は、注目ブロックにおける注目画素の位置の列の垂
直1次元DCT係数、注目ブロックについての左隣接1
次元DCT係数および右隣接1次元DCT係数、並びに
注目ブロックの左境界1次元DCT係数および右境界1
次元DCT係数それぞれから、垂直方向のACパワーを
計算する。
【0419】なお、以上のようにして、1次元DCT係
数から求められるACパワーは、その1次元DCT係数
に対応する8画素の交流成分の電力と捉えることがで
き、従って、画像のアクティビティを表す。
【0420】次に、図2のAC内積計算部34の処理に
ついて説明する。
【0421】AC内積計算部34は、上述したように、
1次元逆DCT係数変換部31から供給される注目ブロ
ックの境界部分の1次元DCT係数(境界1次元DCT
係数)の交流成分と、隣接1次元DCT係数選択/変換
部32から供給される隣接1次元DCT係数の交流成分
とを、それぞれベクトルのコンポーネントとみなして、
その2つのベクトルの内積(AC内積)を求める。
【0422】即ち、AC内積計算部34は、図32に示
すように、注目ブロックについての上境界1次元DCT
係数の交流成分と、上隣接1次元DCT係数の交流成分
とを、それぞれベクトルのコンポーネントとみなして、
その2つのベクトルのAC内積(以下、上内積という)
を、次式にしたがって求める。
【0423】 I=Σ(ACn×ACn’) ・・・(13)
【0424】但し、式(13)において、Iは、AC内
積を表す。さらに、ACnは、注目ブロックについての
上境界1次元DCT係数のn番目の交流成分を表し、A
n’は、注目ブロックについての上隣接1次元DCT
係数のn番目の交流成分を表す。また、Σは、nを1か
ら7に変えてのサメーションを表す。
【0425】AC内積計算部34は、注目ブロックにつ
いての下境界1次元DCT係数と下隣接1次元DCT係
数、左境界1次元DCT係数と左隣接1次元DCT係
数、または右境界1次元DCT係数と右隣接1次元DC
T係数それぞれについても、式(13)にしたがい、A
C内積を求める。
【0426】ここで、以下、適宜、注目ブロックについ
ての下境界1次元DCT係数と下隣接1次元DCT係数
とから求められるAC内積を、下内積と、左境界1次元
DCT係数と左隣接1次元DCT係数とから求められる
AC内積を、左内積と、右境界1次元DCT係数と右隣
接1次元DCT係数とから求められるAC内積を、右内
積と、それぞれいう。
【0427】AC内積は、注目ブロックの境界を挟む境
界1次元DCT係数と隣接1次元DCT係数の交流成分
が類似する場合、即ち、境界1次元DCT係数の交流成
分をコンポーネントとするベクトルと、隣接1次元DC
T係数の交流成分をコンポーネントとするベクトルとが
つくる角度が90度未満(以上)である場合に正の値
(0以上の値)となる。従って、AC内積が正の値であ
ることは、注目ブロックの境界を挟む境界1次元DCT
係数に対応する8画素と、隣接1次元DCT係数に対応
する8画素の波形パターンが似ていることを表してお
り、例えば、注目ブロックとそれに隣接するブロックの
境界において、その境界を横切る形で連続しているエッ
ジが存在することを表す。
【0428】次に、図33は、注目ブロックについて、
上述のようなAC内積(上内積、下内積、左内積、右内
積)を計算する図2のAC内積計算部34の構成例を示
している。
【0429】1次元逆DCT変換部31と隣接1次元D
CT係数選択/変換部32が出力する1次元DCT係数
は、上内積用1次元DCT係数抽出部101、下内積用
1次元DCT係数抽出部102、左内積用1次元DCT
係数抽出部103、および右内積用1次元DCT係数抽
出部104に供給されるようになっている。
【0430】上内積用1次元DCT係数抽出部101
は、注目ブロックについて、上内積を計算するのに用い
る上境界1次元DCT係数と上隣接1次元DCT係数
を、そこに供給される1次元DCT係数から抽出し、上
内積演算部105に供給する。
【0431】上内積演算部105は、上内積用1次元D
CT係数抽出部101から供給される上境界1次元DC
T係数と上隣接1次元DCT係数から、式(13)にし
たがって、上内積を計算して出力する。
【0432】下内積用1次元DCT係数抽出部102
は、注目ブロックについて、下内積を計算するのに用い
る下境界1次元DCT係数と下隣接1次元DCT係数
を、そこに供給される1次元DCT係数から抽出し、下
内積演算部106に供給する。
【0433】下内積演算部106は、下内積用1次元D
CT係数抽出部102から供給される下境界1次元DC
T係数と下隣接1次元DCT係数から、式(13)にし
たがって、下内積を計算して出力する。
【0434】左内積用1次元DCT係数抽出部103
は、注目ブロックについて、左内積を計算するのに用い
る左境界1次元DCT係数と左隣接1次元DCT係数
を、そこに供給される1次元DCT係数から抽出し、左
内積演算部107に供給する。
【0435】左内積演算部107は、左内積用1次元D
CT係数抽出部103から供給される左境界1次元DC
T係数と左隣接1次元DCT係数から、式(13)にし
たがって、左内積を計算して出力する。
【0436】右内積用1次元DCT係数抽出部104
は、注目ブロックについて、右内積を計算するのに用い
る右境界1次元DCT係数と右隣接1次元DCT係数
を、そこに供給される1次元DCT係数から抽出し、右
内積演算部108に供給する。
【0437】右内積演算部108は、右内積用1次元D
CT係数抽出部104から供給される右境界1次元DC
T係数と右隣接1次元DCT係数から、式(13)にし
たがって、右内積を計算して出力する。
【0438】次に、図34は、図2のクラスコード生成
部36の構成例を示している。
【0439】クラスコード生成部36は、輝度信号のブ
ロックを対象に、そのブロックを構成する画素をクラス
分類するようになっている。
【0440】即ち、比較部111および112には、A
Cパワー算出部33(図2)が出力するACパワーが供
給される。平坦性条件判定部113には、ACパワー算
出部33(図2)が出力するACパワー、並びに1次元
逆DCT変換部31および隣接1次元DCT係数選択/
変換部32が出力する1次元DCT係数が供給される。
連続性判定部114には、AC内積計算部34(図2)
が出力するAC内積が供給される。境界部エッジ条件判
定部115には、1次元逆DCT変換部31および隣接
1次元DCT係数選択/変換部32が出力する1次元D
CT係数が供給される。
【0441】比較部111は、ACパワー算出部33
(図2)が出力するACパワーのうちの、注目画素の行
の水平1次元DCT係数から求められた水平方向のAC
パワーを、所定の閾値Aと比較し、その比較結果を、ク
ラスコード作成部116に供給する。
【0442】比較部112は、ACパワー算出部33
(図2)が出力するACパワーのうちの、注目画素の列
の垂直1次元DCT係数から求められた垂直方向のAC
パワーを、所定の閾値Aと比較し、その比較結果を、ク
ラスコード作成部116に供給する。
【0443】平坦性条件判定部113は、注目ブロック
について、境界1次元DCT係数から求められたACパ
ワー、隣接1次元DCT係数から求められたACパワ
ー、さらには、境界1次元DCT係数の直流成分、隣接
1次元DCT係数の直流成分に基づき、注目ブロックの
上下左右それぞれの境界について、各境界部分における
画像の平坦性を判定し、その判定結果を、クラスコード
生成部116に供給する。
【0444】連続性条件判定部114は、注目ブロック
について求められた上内積、下内積、左内積、右内積に
基づき、注目ブロックの上下左右それぞれの境界につい
て、各協会部分における画像の連続性を判定し、その判
定結果を、クラスコード生成部116に供給する。
【0445】境界部エッジ条件判定部115は、注目ブ
ロックについての境界1次元DCT係数の直流成分と、
隣接1次元DCT係数の直流成分とに基づき、注目ブロ
ックの上下左右それぞれの境界について、その境界に沿
ってエッジが存在するかどうかを判定し、その判定結果
を、クラスコード生成部116に供給する。
【0446】クラスコード作成部116は、比較部11
1および112、平坦性条件判定部113、連続性条件
判定部114、並びに境界部エッジ条件判定部115の
出力に基づき、注目画素をクラス分類し、そのクラスを
表すクラスコード(輝度クラスコード)を作成(生成)
して出力する。
【0447】ここで、図35は、クラスコード作成部1
16が出力するクラスコードのフォーマットを示してい
る。
【0448】図35の実施の形態では、クラスコード
は、10ビットとされており、その先頭から、2ビット
のACパワークラスコード、4ビットのブロック平坦性
クラスコード、4ビットのブロック間連続性クラスコー
ドが順次配置されて構成される。
【0449】2ビットのACパワークラスコードは、注
目画素を、その垂直方向のACパワーと水平方向のAC
パワーによってクラス分けするもので、その先頭のビッ
トは、注目画素の列の垂直1次元DCT係数から求めら
れた垂直方向のACパワーによって決定され、2番目の
ビットは、注目画素の行の水平1次元DCT係数から求
められた水平方向のACパワーによって決定される。従
って、ACパワークラスコードは、画素ごとに決定され
る。
【0450】4ビットのブロック平坦性クラスコード
は、注目画素を含むブロック(注目ブロック)を、その
上下左右それぞれの境界部分の平坦性(注目ブロックと
それに隣接するブロックとの間における画像の平坦さ)
によってクラス分けするもので、その1乃至4番目のビ
ットは、注目ブロックの上、下、左、右それぞれの境界
の平坦性によって決定される。従って、ブロック平坦性
クラスコードは、ブロックごとに決定される。
【0451】4ビットのブロック間連続性クラスコード
は、注目画素を含むブロック(注目ブロック)を、その
上下左右それぞれの境界部分の連続性(注目ブロックと
それに隣接するブロックとの間における画像のつながり
具合)によってクラス分けするもので、その1乃至4番
目のビットは、注目ブロックの上、下、左、右それぞれ
の境界の連続性によって決定される。従って、ブロック
連続性クラスコードも、ブロック平坦性クラスコードと
同様に、ブロックごとに決定される。
【0452】以上から、ACパワークラスコードは、基
本的に、画素ごとに異なるが、ブロック平坦性クラスコ
ードとブロック間連続性クラスコードは、同一ブロック
の画素については、同一となる。
【0453】次に、図36のフローチャートを参照し
て、図34のクラスコード生成部36の処理(クラス分
類処理)について説明する。
【0454】クラスコード生成部36では、まず最初
に、ステップS91において、比較部111が、ACパ
ワー算出部33(図2)が出力するACパワーのうち
の、注目画素の行の水平1次元DCT係数から求められ
た水平方向のACパワーを、所定の閾値Aと比較し、そ
の比較結果を、クラスコード作成部116に供給する。
さらに、ステップS91では、比較部112が、ACパ
ワー算出部33(図2)が出力するACパワーのうち
の、注目画素の列の垂直1次元DCT係数から求められ
た垂直方向のACパワーを、所定の閾値Aと比較し、そ
の比較結果を、クラスコード作成部116に供給する。
【0455】そして、クラスコード作成部116は、比
較部111と112の出力に基づいて、注目画素のAC
パワークラスコードを決定する。
【0456】即ち、クラスコード作成部116は、注目
画素の列の垂直1次元DCT係数から求められた垂直方
向のACパワーが、所定の閾値Aより大の場合は、2ビ
ットのACパワークラスコードのうちの1番目のビット
を、例えば1とし、その垂直方向のACパワーが、所定
の閾値Aより大でない場合は、ACパワークラスコード
の1番目のビットを、例えば、0とする。さらに、クラ
スコード作成部116は、注目画素の行の水平1次元D
CT係数から求められた水平方向のACパワーが、所定
の閾値Aより大の場合は、2ビットのACパワークラス
コードのうちの2番目のビットを、例えば1とし、その
水平方向のACパワーが、所定の閾値Aより大でない場
合は、ACパワークラスコードの2番目のビットを、例
えば、0とする。
【0457】その後、ステップS92に進み、境界部エ
ッジ条件判定部115は、注目ブロックについての境界
1次元DCT係数の直流成分と、隣接1次元DCT係数
の直流成分とに基づき、注目ブロックの境界について、
その境界に沿ってエッジが存在するという境界部エッジ
条件が満たされるかどうかを判定する。
【0458】即ち、境界部エッジ条件判定部115は、
例えば、注目ブロックについての境界1次DCT係数の
直流成分DCと、隣接1次DCT係数の直流成分DC’
との差分絶対値|DC−DC’|が、所定の閾値Eより
も大きい(または以上である)という条件を、境界部エ
ッジ条件として、そのような境界部エッジ条件が満たさ
れるかどうかを判定する。
【0459】ステップS92において、境界部エッジ条
件が満たされると判定した場合、即ち、注目ブロックに
ついての境界1次DCT係数の直流成分DCと、隣接1
次DCT係数の直流成分DC’との差が非常に大きく、
従って、注目ブロックの境界部分にエッジが存在し、注
目ブロックとそれに隣接するブロックの画像パターンに
つながりがないと考えられる場合、境界部エッジ条件判
定部115は、その旨を、クラスコード作成部116に
出力し、ステップS97に進む。ステップS97では、
クラスコード作成部116は、ブロック平坦性クラスコ
ードおよびブロック間連続性クラスコードを、いずれ
も、例えば0とし、ステップS98に進む。
【0460】また、ステップS92において、境界部エ
ッジ条件が満たされないと判定された場合、ステップS
93に進み、平坦性条件判定部113は、注目ブロック
について、境界1次元DCT係数から求められたACパ
ワー、隣接1次元DCT係数から求められたACパワ
ー、さらには、境界1次元DCT係数の直流成分、隣接
1次元DCT係数の直流成分に基づき、注目ブロックの
境界部分が平坦であるという平坦性条件が満たされるか
どうかを判定する。
【0461】即ち、平坦性条件判定部113は、例え
ば、次式で表される条件を、平坦性条件として、そのよ
うな平坦性条件が満たされるかどうかを判定する。
【0462】 (PAC≦B)∩(PAC’≦B)∩(|DC−DC’|≦D) ・・・(14)
【0463】 PAC’≦C ・・・(15)
【0464】但し、式(14)および(15)におい
て、B,C,Dは、所定の閾値であり、閾値Cは、閾値
Bよりも十分小さいものとする。また、式(14)およ
び(15)において、PACは、注目ブロックについての
境界1次元DCT係数から求められたACパワーを表
し、PAC’は、注目ブロックについての隣接1次元DC
T係数から求められたACパワーを表す。さらに、式
(14)において、DCは、注目ブロックについての境
界1次元DCT係数の直流成分を表し、DC’は、注目
ブロックについての隣接1次元DCT係数の直流成分を
表す。また、∩は、論理積を表す。
【0465】式(14)は、注目ブロックについての境
界1次元DCT係数と隣接1次元DCT係数からそれぞ
れ求められるACパワーPACとPAC’が、いずれも閾値
B以下で(または未満で)、かつ、それぞれの直流成分
DCとDC’の差分絶対値|DC−DC’|が、閾値D
以下(または未満)の場合に、真となる。また、式(1
5)は、注目ブロックについての隣接1次元DCT係数
から求められたACパワーPAC’が、閾値C以下(また
は未満)の場合に、真となる。
【0466】ここで、閾値Cは、上述したように、閾値
Bよりも十分小さい、例えば、0に近い値であり、従っ
て、式(15)は、注目ブロックについての隣接1次元
DCT係数から求められたACパワーPAC’が0に近い
場合に、真となる。
【0467】なお、ここでは、平坦性条件は、例えば、
式(14)および(15)のうちのいずれか一方が真で
あれば満たされるものとする。
【0468】ステップS93において、平坦性条件が満
たされると判定された場合、平坦性条件判定部113
は、その旨を、クラスコード作成部116に供給して、
ステップS94に進む。
【0469】ステップS94では、クラスコード作成部
116は、ブロック平坦性クラスコードおよびブロック
間連続性クラスコードを、いずれも、例えば1とし、ス
テップS98に進む。
【0470】また、ステップS93において、平坦性条
件が満たされないと判定された場合、ステップS95に
進み、連続性条件判定部114は、注目ブロックについ
て求められたAC内積に基づき、注目ブロックの境界部
分に連続性があるという連続性条件が満たされるかどう
かを判定する。
【0471】即ち、連続性条件判定部114は、例え
ば、注目ブロックについてのAC内積Iが、正の値(ま
たは0以上)であるという条件を、連続性条件として、
そのような連続性条件が満たされるかどうかを判定す
る。
【0472】ステップS95において、連続性条件が満
たされると判定された場合、連続性条件判定部114
は、その旨を、クラスコード作成部116に供給して、
ステップS96に進む。
【0473】ステップS96では、クラスコード作成部
116は、ブロック平坦性クラスコードを、例えば、0
とするとともに、ブロック間連続性クラスコードを、例
えば、1とし、ステップS98に進む。
【0474】一方、ステップS96において、連続性条
件が満たされないと判定された場合、連続性条件判定部
114は、その旨を、クラスコード作成部116に供給
して、ステップS97に進む。ステップS97では、ク
ラスコード作成部116は、上述したように、ブロック
平坦性クラスコードおよびブロック間連続性クラスコー
ドを、いずれも0とし、ステップS98に進む。
【0475】なお、ステップS92乃至S97の処理
は、注目ブロックの上下左右の境界それぞれについて、
独立に行われ、これにより、ブロック平坦性クラスコー
ドとブロック間連続性クラスコードは、注目ブロックの
上下左右の境界それぞれについて求められる。
【0476】ステップS98では、クラスコード作成部
116は、ステップS91乃至S97の処理によって求
められたACパワークラスコード、ブロック平坦性クラ
スコード、およびブロック間連続性クラスコードから、
図35に示した10ビットのクラスコードを作成し、処
理を終了する。
【0477】なお、図36のフローチャートに示した処
理は、新たな画素が注目画素とされるごとに行われる。
但し、上述したように、ブロック平坦生クラスコードと
ブロック間連続性クラスコードは、同一ブロックの画素
については同一となるため、同一ブロックを構成する画
素については、最初の画素に対してのみ、ステップS9
1乃至98の処理を行い、他の画素に対しては、ステッ
プS91とS98の処理だけを行い、ブロック平坦生ク
ラスコードとブロック間連続性クラスコードは、最初の
画素に対して得られたものを流用するようにすることが
可能である。
【0478】ここで、本実施の形態では、図35に示し
たように、クラスコードを10ビットとしているため、
そのような10ビットのクラスコードによれば、102
4(=210)通りのクラスを表すことができる。
【0479】しかしながら、図36に示したクラス分類
処理では、ブロック平坦性クラスコードが1で、ブロッ
ク間連続性クラスコードが0となるケースは、存在しな
い。即ち、ここでは、ブロックの境界部分が平坦である
のに、連続性がないということはありえないとして、ブ
ロック平坦性クラスコードが1となる場合には、ブロッ
ク間連続性クラスコードも、必ず1とするようにしてい
る。
【0480】従って、例えば、ブロックの上の境界につ
いてのブロック平坦性クラスコードとブロック間連続性
クラスコードとの組(b1,b2)は、(0,0),
(0,1),(1,1)の3通りしか取り得ない。その
結果、ブロックの上下左右の4つの境界すべてについて
の4ビットのブロック平坦性クラスコード、および4ビ
ットのブロック間連続性クラスコードで表現されるクラ
ス数は、81(=34)通りとなる。
【0481】また、2ビットのACパワークラスコード
で表現されるクラス数は、4(=2 2)通りである。
【0482】従って、ここでは、図35の10ビットの
クラスコードで表現されるクラス数は、324(=81
×4)通りとなる。
【0483】ここで、上述の場合において、ブロック平
坦性クラスコードとブロック間連続性クラスコードとの
組(b1,b2)が、(0,0)となるケースは、注目
ブロックとそれに隣接する隣接ブロックにおける画像ど
うしにつながりがなく、注目ブロックと隣接ブロックと
が、いわば「無関係」であることを表す。また、(b
1,b2)が、(0,1)となるケースは、注目ブロッ
クと隣接ブロックにおける画像が、平坦ではないが、
「連続」していることを表す。さらに、(b1,b2)
が、(1,1)となるケースは、注目ブロックと隣接ブ
ロックにおける画像が、「平坦」であること(従って、
「連続」でもある)ことを表す。
【0484】なお、上述の場合には、ブロック平坦性ク
ラスコードとブロック間連続性クラスコードとの組(b
1,b2)を、3通りとして、10ビットのクラスコー
ドにより、324通りのクラスを表現するようにした
が、(b1,b2)は、3通りではなく、(0,0),
(0,1),(1,0)、(1,1)の4通りを取り得
るようにして、10ビットのクラスコードにより、10
24(=210)通りのクラスを表現することができるよ
うにすることも可能である。
【0485】即ち、上述の場合には、式(14)または
(15)のいずれか一方のみが満たされれば、平坦性条
件が満たされることとして、(b1,b2)に(1,
1)を割り当てるようにしたが、例えば、式(14)と
(15)の両方が満たされる場合と、式(14)だけが
満たされる場合とを区別するようにし、式(14)と
(15)の両方が満たされる場合には、(b1,b2)
に、(1,1)を割り当てるとともに、式(14)だけ
が満たされる場合には、(b1,b2)に、(1,0)
を割り当てるようにすることが可能である。
【0486】この場合、(b1,b2)が、(1,1)
となるケースは、注目ブロックと隣接ブロックにおける
画像が、「注目ブロック側と隣接ブロック側の両方で平
坦」であることを表し、(b1,b2)が、(1,0)
となるケースは、注目ブロックと隣接ブロックにおける
画像が、「隣接ブロック側だけで平坦」であることを表
す。
【0487】また、図36のフローチャートでは、境界
エッジ条件が満たされるケースであっても、平坦性条件
と連続性条件のいずれもが満たされないケースであって
も、(b1,b2)を、(0,0)とするようにした
が、境界エッジ条件が満たされるケースか、平坦性条件
と連続性条件のいずれもが満たされないケースのうちの
いずれか一方を、(1,0)に割り当てることにより、
ブロック平坦性クラスコードとブロック間連続性クラス
コードとの組(b1,b2)が、4通りを取り得るよう
にすることも可能である。
【0488】さらに、式(14)と(15)の両方が満
たされるケースと、式(14)だけが満たされるケース
とを区別するとともに、境界エッジ条件が満たされるケ
ースと、平坦性条件と連続性条件のいずれもが満たされ
ないケースとを区別するようにすることも可能である。
但し、この場合、注目ブロックと隣接ブロックにおける
画像が「連続」しているケース、および注目ブロックと
隣接ブロックにおける画像が「平坦」であるケースとあ
わせると、注目ブロックの1つ(1辺)の境界につい
て、5通りの場合分けが必要となる。従って、この場
合、注目ブロックの境界によるクラスの場合の数は、6
25通りとなり、その結果、2ビットのACパワークラ
スコードも考慮すると、全クラス数は、2500とな
る。
【0489】次に、図37は、図2のクラスコード生成
部37の構成例を示している。
【0490】クラスコード生成部37は、色差信号のブ
ロックを対象に、そのブロックを構成する画素をクラス
分類するようになっている。
【0491】従って、クラスコード生成部37は、輝度
クラスコードを出力するクラスコード生成部36と同様
に構成することも可能である。
【0492】しかしながら、色差信号のブロックは、一
般に、輝度信号のブロックに比較して、画像のアクティ
ビティが低く、1次元DCT係数の交流成分の値が小さ
くなるため、クラスコード生成部36と同一の処理を行
うと、効果的なクラス分類が困難な場合がある。
【0493】そこで、ここでは、クラスコード生成部3
7は、クラスコード生成部36で得られた輝度クラスコ
ードをも用いて、色差信号の画素のクラス分類を行うよ
うになっている。
【0494】即ち、図37の実施の形態において、比較
部121および122には、ACパワー算出部33(図
2)が出力するACパワーが供給される。
【0495】比較部121は、図34の比較部111と
同様に、ACパワー算出部33(図2)が出力するAC
パワーのうちの、注目画素の行の水平1次元DCT係数
から求められた水平方向のACパワーを、所定の閾値A
と比較し、その比較結果を、クラスコード作成部123
に供給する。
【0496】比較部122は、図33の比較部112と
同様に、ACパワー算出部33(図2)が出力するAC
パワーのうちの、注目画素の列の垂直1次元DCT係数
から求められた垂直方向のACパワーを、所定の閾値A
と比較し、その比較結果を、クラスコード作成部123
に供給する。
【0497】なお、クラスコード生成部37では、色差
信号のブロックを対象に処理が行われるが、上述したよ
うに、色差信号については、その1次元DCT係数の交
流成分の値が小さくなることから、ACパワーも小さく
なる。このため、比較部121と122で用いられる閾
値Aは、図33の比較部111と112で用いられるも
のよりも小さい値のものを用いるのが望ましい。
【0498】クラスコード作成部123には、比較部1
21および122の出力の他、クラスコード作成部36
が出力する図35の輝度クラスコードも供給されるよう
になっており、クラスコード作成部123は、これらの
比較部121および122の出力、並びに輝度クラスコ
ードに基づき、注目画素をクラス分類し、そのクラスを
表すクラスコード(色差クラスコード)を作成(生成)
して出力する。
【0499】ここで、クラスコード作成部123は、図
35に示した輝度クラスコードと同一フォーマットの色
差クラスコードを作成するようになっている。
【0500】即ち、クラスコード作成部123は、注目
画素のACパワークラスコードについては、比較部12
1と122の出力に基づき、図33のクラスコード作成
部116と同様にして作成する。
【0501】また、クラスコード作成部123は、注目
画素のブロック平坦性クラスコードと、ブロック間連続
性クラスコードについては、その注目画素を含む色差信
号のブロック(注目ブロック)と空間的に同一位置にあ
る輝度信号のブロックにおける画素の輝度クラスコード
を用いて作成する。
【0502】即ち、例えば、いま、画像データがYUV
形式で表されるものとし、その画像フォーマットが、
4:2:2であるとすると、図38(A)に示すよう
に、左右に並ぶ2つの輝度ブロックY1およびY2と、
1つの色差ブロックUと、1つの色差ブロックVとが対
応する。
【0503】そして、この場合、色差ブロックUの上の
境界は、左の輝度ブロックY1の上の境界aと右の輝度
ブロックY2の上の境界bに、色差ブロックUの下の境
界は、輝度ブロックY1の下の境界eと輝度ブロックY
2の下の境界fに、色差ブロックUの左の境界は、輝度
ブロックY1の左の境界cに、色差ブロックUの右の境
界は、輝度ブロックY2の右の境界dに、それぞれ対応
する。
【0504】そこで、図38(A)に点線で示してある
ように、色差ブロックUを、横×縦が4×8画素の、左
右に隣接する2つの小ブロックUlとUrに分割する
と、図38(B)に示すように、左の小ブロックUlの
上の境界は、輝度ブロックY1の上の境界aに、小ブロ
ックUlの下の境界は、輝度ブロックY1の下の境界e
に、小ブロックUlの左の境界は、輝度ブロックY1の
左の境界cに、小ブロックUlの右の境界は、輝度ブロ
ックY2の右の境界dに、それぞれ対応する。また、右
の小ブロックUrの上の境界は、輝度ブロックY2の上
の境界bに、小ブロックUrの下の境界は、輝度ブロッ
クY2の下の境界fに、小ブロックUrの左の境界は、
輝度ブロックY1の左の境界cに、小ブロックUrの右
の境界は、輝度ブロックY2の右の境界dに、それぞれ
対応する。
【0505】ここで、図35のクラスコードにおいて、
ブロックの上下左右の境界について求められたブロック
平坦性クラスコードを、以下、適宜、上境界平坦性コー
ド、下境界平坦性コード、左境界平坦性コード、右境界
平坦性コードと、それぞれいう。また、ブロックの上下
左右の境界について求められたブロック間連続性クラス
コードを、以下、適宜、上境界連続性コード、下境界連
続性コード、左境界連続性コード、右境界連続性コード
と、それぞれいう。さらに、以下、適宜、上境界平坦性
コードと上境界連続性コードをまとめて、上境界コード
と、下境界平坦性コードと下境界連続性コードをまとめ
て、下境界コードと、左境界平坦性コードと左境界連続
性コードをまとめて、左境界コードと、右境界平坦性コ
ードと右境界連続性コードをまとめて、右境界コード
と、それぞれいう。また、以下、適宜、上境界コード、
下境界コード、左境界コード、および右境界コードをま
とめて、境界コードという。
【0506】輝度ブロックY1およびY2の境界と、小
ブロックUlやUrの境界との間には、上述のような対
応関係があることから、クラスコード作成部123は、
小ブロックUlとUrそれぞれの画素の色差クラスコー
ドにおける境界コードとして、輝度ブロックY1および
Y2の対応する境界について求められたものを、そのま
ま用いるようになっている。
【0507】即ち、クラスコード作成部123は、小ブ
ロックUlの画素については、その色差クラスコードに
おける上境界コード、下境界コード、左境界コード、右
境界コードとして、それぞれ、輝度ブロックY1の上境
界コード、輝度ブロックY1の下境界コード、輝度ブロ
ックY1の左境界コード、輝度ブロックY2の右境界を
セットする。
【0508】また、クラスコード作成部123は、小ブ
ロックUrの画素については、その色差クラスコードに
おける上境界コード、下境界コード、左境界コード、右
境界コードとして、それぞれ、輝度ブロックY2の上境
界コード、輝度ブロックY2の下境界コード、輝度ブロ
ックY1の左境界コード、輝度ブロックY2の右境界コ
ードをセットする。
【0509】色差ブロックVと、輝度ブロックY1およ
びY2との対応関係も、色差ブロックUと、輝度ブロッ
クY1およびY2との対応関係と同一であり、クラスコ
ード作成部123は、色差ブロックUにおける場合と同
様に、色差ブロックVを、横×縦が4×8画素の2つの
小ブロックVlとVrに分割し、小ブロックVlとVr
の色差クラスコードにおける境界コードとして、輝度ブ
ロックY1およびY2の境界コードを、色差ブロックU
における場合と同様にしてセットする。
【0510】その結果、クラスコード作成部123で
は、小ブロックUl,Ur,Vl,Vrの画素につい
て、次のような色差クラスコードが作成される。
【0511】即ち、例えば、いま、図39(A)に示す
ように、色差ブロックU,Vに対応する2つの輝度ブロ
ックY1またはY2の画素について得られている10ビ
ットの輝度クラスコードの第iビット(最下位ビットか
らiビット目)を、BL#i−1またはBR#i−1
と、それぞれ表すこととすると、小ブロックUl,U
r,Vl,Vrの画素については、図39(B)に示す
ようなクラスコードが作成される。
【0512】即ち、小ブロックUl,Vlの画素の色差
クラスコードの第1乃至第8ビットには、BR0,BL
1,BL2,BL3,BR4,BL5,BL6,BL7
がそれぞれ配置される。また、小ブロックUr,Vrの
画素の色差クラスコードの第1乃至第8ビットには、B
R0,BL1,BR2,BR3,BR4,BL5,BR
6,BR7がそれぞれ配置される。
【0513】ここで、色差クラスコードの第9ビットと
第10ビットは、輝度クラスコードにおける場合と同様
に、注目画素のACパワーに基づいて決定される。
【0514】次に、画像フォーマットが、例えば、4:
2:0である場合には、図40(A)に示すように、左
上、左下、右上、右下の位置関係にある4つの隣接する
輝度ブロックY1,Y2,Y3,Y4と、1つの色差ブ
ロックUと、1つの色差ブロックVとが対応する。
【0515】そして、この場合、図40(A)に点線で
示してあるように、色差ブロックUを、横×縦が4×4
画素の左上、左下、右上、右下の位置関係にある4つの
小ブロックUul,Ull,Uur,Ulrに分割する
と、図40(B)に示すように、小ブロックUulの上
の境界は、輝度ブロックY1の上の境界aに、小ブロッ
クUulの下の境界は、輝度ブロックY3の下の境界g
に、小ブロックUulの左の境界は、輝度ブロックY1
の左の境界cに、小ブロックUulの右の境界は、輝度
ブロックY2の右の境界dに、それぞれ対応する。ま
た、小ブロックUllの上の境界は、輝度ブロックY1
の上の境界aに、小ブロックUllの下の境界は、輝度
ブロックY3の下の境界gに、小ブロックUllの左の
境界は、輝度ブロックY3の左の境界eに、小ブロック
Ullの右の境界は、輝度ブロックY4の右の境界f
に、それぞれ対応する。さらに、小ブロックUurの上
の境界は、輝度ブロックY2の上の境界bに、小ブロッ
クUurの下の境界は、輝度ブロックY4の下の境界h
に、小ブロックUurの左の境界は、輝度ブロックY1
の左の境界cに、小ブロックUurの右の境界は、輝度
ブロックY2の右の境界dに、それぞれ対応する。さら
に、小ブロックUlrの上の境界は、輝度ブロックY2
の上の境界bに、小ブロックUlrの下の境界は、輝度
ブロックY4の下の境界hに、小ブロックUlrの左の
境界は、輝度ブロックY3の左の境界eに、小ブロック
Ulrの右の境界は、輝度ブロックY4の右の境界f
に、それぞれ対応する。
【0516】輝度ブロックY1乃至Y4の境界と、小ブ
ロックUulや、Ull,Uur,Ulrの境界との間
には、上述のような対応関係があることから、クラスコ
ード作成部123は、画像フォーマットが4:2:2で
ある場合と同様に、小ブロックUul,Ull,Uu
r,Ulrそれぞれの画素の色差クラスコードにおける
境界コードとして、輝度ブロックY1乃至Y4の対応す
る境界について求められたものを、そのまま用いるよう
になっている。
【0517】即ち、クラスコード作成部123は、小ブ
ロックUulの画素については、その色差クラスコード
における上境界コード、下境界コード、左境界コード、
右境界コードとして、それぞれ、輝度ブロックY1の上
境界コード、輝度ブロックY3の下境界コード、輝度ブ
ロックY1の左境界コード、輝度ブロックY2の右境界
をセットする。
【0518】また、クラスコード作成部123は、小ブ
ロックUllの画素については、その色差クラスコード
における上境界コード、下境界コード、左境界コード、
右境界コードとして、それぞれ、輝度ブロックY1の上
境界コード、輝度ブロックY3の下境界コード、輝度ブ
ロックY3の左境界コード、輝度ブロックY4の右境界
をセットする。
【0519】さらに、クラスコード作成部123は、小
ブロックUurの画素については、その色差クラスコー
ドにおける上境界コード、下境界コード、左境界コー
ド、右境界コードとして、それぞれ、輝度ブロックY2
の上境界コード、輝度ブロックY4の下境界コード、輝
度ブロックY1の左境界コード、輝度ブロックY2の右
境界コードをセットする。
【0520】また、クラスコード作成部123は、小ブ
ロックUlrの画素については、その色差クラスコード
における上境界コード、下境界コード、左境界コード、
右境界コードとして、それぞれ、輝度ブロックY2の上
境界コード、輝度ブロックY4の下境界コード、輝度ブ
ロックY3の左境界コード、輝度ブロックY4の右境界
コードをセットする。
【0521】色差ブロックVと、輝度ブロックY1乃至
Y4との対応関係も、色差ブロックUと、輝度ブロック
Y1乃至Y4との対応関係と同一であり、クラスコード
作成部123は、色差ブロックUにおける場合と同様
に、色差ブロックVを、横×縦が4×4画素の4つの小
ブロックVul,Vll,Vur,Vlrに分割し、小
ブロックVul,Vll,Vur,Vlrの色差クラス
コードにおける境界コードとして、輝度ブロックY1乃
至Y4の境界コードを、色差ブロックUにおける場合と
同様にしてセットする。
【0522】その結果、クラスコード作成部123で
は、小ブロックUul,Ull,Uur,Ulr、およ
びVul,Vll,Vur,Vlrの画素について、次
のような色差クラスコードが作成される。
【0523】即ち、例えば、いま、図41(A)に示す
ように、色差ブロックU,Vに対応する2つの輝度ブロ
ックY1乃至Y4の画素について得られている10ビッ
トの輝度クラスコードの第iビットを、BUL#i−
1,BUR#i−1,BDL#i−1,BDR#i−1
と、それぞれ表すこととすると、小ブロックUul,U
ll,Uur,Ulr、およびVul,Vll,Vu
r,Vlrの画素については、図41(B)に示すよう
なクラスコードが作成される。
【0524】即ち、小ブロックUul,Vulの画素の
色差クラスコードの第1乃至第8ビットには、BUR
0,BUL1,BDL2,BUL3,BUR4,BUL
5,BDL6,BUL7がそれぞれ配置される。また、
小ブロックUll,Vllの画素の色差クラスコードの
第1乃至第8ビットには、BDR0,BDL1,BDL
2,BUL3,BDR4,BDL5,BDL6,BUL
7がそれぞれ配置される。さらに、小ブロックUur,
Vurの画素の色差クラスコードの第1乃至第8ビット
には、BUR0,BUL1,BDR2,BUR3,BU
R4,BUL5,BDR6,BUR7がそれぞれ配置さ
れる。また、小ブロックUlr,Vlrの画素の色差ク
ラスコードの第1乃至第8ビットには、BDR0,BD
L1,BDR2,BUR3,BDR4,BDL5,BD
R6,BUR7がそれぞれ配置される。
【0525】ここで、色差クラスコードの第9ビットと
第10ビットは、輝度クラスコードにおける場合と同様
に、注目画素のACパワーに基づいて決定される。
【0526】なお、ここでは、画像データが、Y,U,
V形式で表されるものとして説明したが、画像データ
が、その他、例えば、Y,Cb,Cr形式で表される場
合も、同様のクラス分類を行うことが可能である。
【0527】さらに、ここでは、画像フォーマットが、
4:2:2の場合と、4:2:0の場合について説明し
たが、画像フォーマットが、4:4:4の場合(例え
ば、画像データが、R(red),G(green),B(blue)形式
の場合)は、各信号について、同一のクラス分類を行っ
ても良いし、ある信号について行ったクラス分類により
得られたクラスコードを、そのまま、他の信号に用いる
ようにしても良い。
【0528】次に、図42は、図2の適応処理部51の
構成例を示している。
【0529】予測タップ生成部131は、バッファメモ
リ12(図2)から2次元DCT係数を読み出すととも
に、隣接タップデータ生成部35が出力する1次元DC
T係数を受信することにより、注目画素を予測する式
(1)の線形1次予測演算を行うための予測タップを生
成し、積和演算部133に供給する。
【0530】即ち、予測タップ生成部131は、例え
ば、バッファメモリ12に記憶された注目ブロックの2
次元DCT係数すべてを、予測タップとする。この場
合、予測タップは、64(=8×8)タップで構成され
ることになる。
【0531】また、予測タップ生成部131は、例え
ば、バッファメモリ12に記憶された注目ブロックの2
次元DCT係数すべてと、その注目ブロックの上下左右
それぞれに隣接する4つのブロックの2次元DCT係数
すべてとを、予測タップとする。この場合、予測タップ
は、320(=8×8×5)タップで構成されることに
なる。
【0532】さらに、予測タップ生成部131は、例え
ば、バッファメモリ12に記憶された注目ブロックの2
次元DCT係数すべてと、隣接タップデータ生成部35
から供給される、注目ブロックについての上隣接1次元
DCT係数、下隣接1次元DCT係数、左隣接1次元D
CT係数、および右隣接1次元DCT係数を、予測タッ
プとする。この場合、予測タップは、96(=8×8+
8×4)タップで構成されることになる。
【0533】ここで、予測タップは、その他、注目ブロ
ックの1次元DCT係数等を含めて構成することも可能
である。
【0534】なお、以下では、説明を簡単にするため、
予測タップは、注目ブロックのすべての2次元DCT係
数(64の2次元DCT係数)で構成されるものとす
る。
【0535】タップ係数バッファ132は、タップ係数
記憶部14(図2)から供給されるタップ係数を一時記
憶する。
【0536】積和演算部131は、予測タップ生成部1
31から供給される予測タップと、タップ係数バッファ
132に記憶されたタップ係数とを用いて、式(1)の
線形1次予測演算を行い、注目画素の復号値を出力す
る。
【0537】次に、図43のフローチャートを参照し
て、図42の適応処理部51の処理(適応処理)につい
て説明する。
【0538】まず最初に、ステップS101において、
予測タップ生成部131は、注目ブロックの各画素を予
測する式(1)の線形1次予測演算を行うための予測タ
ップを、例えば、バッファメモリ12に記憶された注目
ブロックのすべての2次元DCT係数を用いて生成し、
積和演算部133に供給して、ステップS102に進
む。
【0539】ステップS102では、積和演算部133
が、画素位置モードを表す変数iを、例えば1に初期化
する。
【0540】ここで、ブロックの2次元DCT係数を逆
DCT変換する場合は、そのブロックにおける各画素の
空間上の位置を表す位置情報が、式(11)に示した変
換行列Cのコンポーネントcijを定義するcos((2
j+1)×i×π/16)の位相という形で考慮され
る。
【0541】一方、適応処理では、予測タップを構成す
るDCT係数と、タップ係数とを用いた式(1)の線形
1次予測演算が行われるが、この線形1次予測演算で
は、復号しようとしている画素(注目画素)の位置情報
が考慮されない。そこで、注目画素の位置情報を考慮し
た線形1次予測演算を行うために、ここでは、注目画素
の位置によって異なるタップ係数が用いられるようにな
っている。即ち、同一のクラスに分類される画素であっ
ても、ブロックの位置が異なる場合には、異なるタップ
係数を用いて、線形1次予測演算が行われるようになっ
ている。この場合、線形1次予測演算に用いるタップ係
数が、ブロックにおける注目画素の位置によって切り替
えられることとなるが、この注目画素の位置を表す情報
が、画素位置モードである。
【0542】いまの場合、ブロックは8×8画素で構成
されるから、64カ所の位置が存在し、ここでは、例え
ば、ラスタスキャン順で、i番目の位置を、画素位置モ
ード#iと表すこととする。
【0543】その後、画素位置モード#iの画素が注目
画素とされ、クラス分類部13(図2)において、その
注目画素についてクラス分類が行われることにより、タ
ップ係数記憶部14から、注目画素のクラスコードに対
応するタップ係数が供給されてくるのを待って、ステッ
プS103に進む。
【0544】ステップS103では、タップ係数記憶部
14からのタップ係数が、タップ係数バッファ132に
供給されて記憶される。
【0545】ここで、上述のように、同一のクラスに分
類される画素であっても、ブロックにおける位置(画素
位置モード)が異なる場合には、異なるタップ係数が用
いられる。従って、タップ係数記憶部14からは、注目
画素のクラスのタップ係数として、画素位置モードの総
数である64セットのタップ係数が供給されるようにな
っており、タップ係数バッファ132は、そのような6
4セットのタップ係数を記憶する。
【0546】その後、ステップS104に進み、積和演
算部133は、画素位置モード#iに対応するタップ係
数のセット(式(1)におけるw1,w2,・・・)
を、タップ係数バッファ132から読み出し、ステップ
S105に進む。
【0547】ステップS105では、積和演算部133
は、予測タップ生成部131からの予測タップと、タッ
プ係数バッファ132から読み出したタップ係数とを用
いて、式(1)の線形1次予測演算を行い、これによ
り、注目画素の画素値を復号する。
【0548】そして、ステップS106に進み、積和演
算部133は、画素位置モード#iが、注目ブロックの
画素数である64(=8×8)に等しいかどうかを判定
する。
【0549】ステップS106において、画素位置モー
ド#iが64に等しくないと判定された場合、ステップ
S107に進み、積和演算部133は、画素位置モード
#iを1だけインクリメントして、ステップS103に
戻り、以下、同様の処理が繰り返される。
【0550】また、ステップS106において、画素位
置モード#iが64に等しいと判定された場合、即ち、
注目ブロックのすべての画素値を復号した場合、処理を
終了する。
【0551】なお、適応処理部51では、バッファメモ
リ12(図2)に記憶されるブロックを、順次、注目ブ
ロックとして、図43の適応処理を繰り返し行う。
【0552】また、積和演算部133は、1フレーム
(またはフィールド)の復号画像を得るまでは、復号し
たブロックを一時記憶しており、1フレームの復号画像
が得られると、その1フレームの復号画像を出力する。
【0553】ここで、MPEG符号化では、8ビットの
画像データを符号化する場合、画素値および2次元DC
T係数を、0を中心とした正側と負側に均等に分布させ
るため、原画像の画素値から128(=27)を減算し
て得られる画素値が符号化される。
【0554】このため、積和演算部133では、復号画
像として、各画素値のレベルが、128だけ低いものが
得られる。そこで、積和演算部133は、復号画像の各
画素値に、128を加算して出力するようになってい
る。
【0555】次に、図2の係数メモリ43および44に
記憶させるタップ係数の学習について説明する。
【0556】MPEGでは、予測方式の違いにより、I
ピクチャ、Pピクチャ、Bピクチャの3つのピクチャタ
イプがあるので、タップ係数の学習も、ピクチャタイプ
ごとに行われる。
【0557】図44は、Iピクチャ用のタップ係数を学
習する場合の学習装置の一実施の形態の構成例を示して
いる。
【0558】教師データストレージ141は、学習用の
画像データを、教師データとして記憶している。
【0559】生徒データ生成部142は、MPEGエン
コーダ151、分離部152、およびDCT係数抽出/
逆量子化部153から構成され、教師データストレージ
141に記憶された学習用の画像データ(ここでは、教
師データでもある)から、生徒データを生成するように
なっている。
【0560】即ち、MPEGエンコーダ151は、教師
データストレージ141に記憶された学習用の画像デー
タを読み出して、MPEG符号化し、その結果得られる
符号化データを、分離部152に供給する。分離部15
2とDCT係数抽出/逆量子化部153は、図2の分離
部1とDCT係数抽出/逆量子化部2とそれぞれ同様に
構成されており、符号化データから、量子化DCT係数
を分離、抽出し、逆量子化して出力する。
【0561】なお、分離部152およびDCT係数抽出
/逆量子化部153は、Iピクチャのみを対象に処理を
行う。また、分離部152は、符号化データから、量子
化DCT係数の他、量子化スケールやDCTタイプ等
の、いわゆるサイドインフォメーションも、必要に応じ
て分離する。
【0562】従って、DCT係数抽出/逆量子化部15
3からは、Iピクチャについての2次元DCT係数の
他、DCTタイプ等の必要なサイドインフォメーション
も出力される。
【0563】DCT係数抽出/逆量子化部153が出力
するIピクチャについての2次元DCT係数やDCTタ
イプ等は、生徒データとして、生徒データストレージ1
43に供給される。
【0564】生徒データストレージ143は、生徒デー
タ生成部142(のDCT係数抽出/逆量子化部15
3)から供給される生徒データを記憶する。
【0565】予測タップ生成部144は、生徒データス
トレージ143に記憶された生徒データから、図42の
予測タップ生成部131が生成するのと同一の予測タッ
プを生成し、足し込み部146に供給する。従って、こ
こでは、予測タップ生成部144は、生徒データストレ
ージ143に記憶された生徒データとしての2次元DC
T係数のうち、注目ブロックを構成するすべての2次元
DCT係数を読み出して、予測タップとする。
【0566】なお、図42の予測タップ生成部131が
注目ブロックの2次元DCT係数の他、注目ブロックに
隣接するブロックの2次元DCT係数や1次元DCT係
数、注目ブロックの1次元DCT係数等を用いて予測タ
ップを生成する場合には、予測タップ生成部144も、
注目ブロックの2次元DCT係数の他、注目ブロックに
隣接する2次元DCT係数や1次元DCT係数、注目ブ
ロックの1次元DCT係数等を用いて、予測タップ生成
部131が生成するのと同一構造の予測タップを生成す
る。この場合、予測タップ生成部144では、注目ブロ
ックに隣接するブロックの2次元DCT係数は、生徒デ
ータストレージ143から取得され、注目ブロックとそ
れに隣接するブロックの1次元DCT係数は、後述する
クラス分類部145から取得される。
【0567】クラス分類部145は、図2のクラス分類
部13と同様にされ、生徒データストレージ143に記
憶された生徒データとしての2次元DCT係数から1次
元DCT係数を求め、さらに、その1次元DCT係数に
基づき、図2のクラス分類部13における場合と同様に
して、注目ブロックにおける注目画素をクラス分類し、
注目画素のクラスを表すクラスコードを、足し込み部1
46に出力する。
【0568】足し込み部146は、生徒データストレー
ジ143に記憶された生徒データとしての2次元DCT
係数のブロックを、順次、注目ブロックとし、さらに、
注目ブロックの画素を、順次、注目画素として、予測タ
ップ生成部144からの生徒データとしての予測タップ
(を構成する2次元DCT係数)、および注目画素を対
象とした足し込みを行う。
【0569】即ち、足し込み部146は、クラス分類部
145から供給されるクラスコードに対応するクラスご
とに、予測タップ(生徒データ)を用い、式(8)の行
列Aにおける各コンポーネントとなっている、生徒デー
タどうしの乗算(xinim)と、サメーション(Σ)に
相当する演算を行う。
【0570】さらに、足し込み部146は、やはり、ク
ラス分類部145から供給されるクラスコードに対応す
るクラスごとに、予測タップ(生徒データ)および注目
画素(教師データ)を用い、式(8)のベクトルvにお
ける各コンポーネントとなっている、生徒データと教師
データの乗算(xini)と、サメーション(Σ)に相
当する演算を行う。
【0571】なお、足し込み部146における、上述の
ような足し込みは、各クラスについて、注目画素に対す
る画素位置モードごとに行われる。
【0572】足し込み部146は、以上の足し込みを、
生徒データストレージ143に記憶されている生徒デー
タとしての2次元DCT係数を構成するブロックすべて
を注目ブロックとして行い、これにより、各クラスにつ
いて、画素位置モードごとに、式(8)に示した正規方
程式をたてる。
【0573】タップ係数演算部147は、足し込み部1
46においてクラスごとに、かつ、画素位置モードごと
に生成された各正規方程式を解くことにより、クラスご
とに、64の画素位置モードに対応した64セットのタ
ップ係数を求める。
【0574】なお、学習用の画像として用意する画像の
枚数や、その画像の内容等によっては、足し込み部14
6において、タップ係数を求めるのに必要な数の正規方
程式が得られないクラス、さらには画素位置モードが生
じる場合があり得るが、タップ係数演算部147は、そ
のようなクラスや画素位置モードについては、例えば、
デフォルトのタップ係数を出力する。
【0575】次に、図45のフローチャートを参照し
て、図44の学習装置の処理(学習処理)について説明
する。
【0576】まず最初に、ステップS111において、
生徒データ生成部142は、上述したように、教師デー
タストレージ141に記憶された学習用の画像データか
ら、Iピクチャについての生徒データを生成し、生徒デ
ータストレージ143に供給して記憶させる。
【0577】そして、ステップS112に進み、足し込
み部146は、生徒データストレージ143に記憶され
た生徒データとしての2次元DCT係数のブロックのう
ち、まだ、注目ブロックとしていないものの1つを選択
して、注目ブロックとし、ステップS113に進む。
【0578】ステップS113では、予測タップ生成部
144が、注目ブロックの生徒データとしての2次元D
CT係数すべてを、生徒データストレージ143から読
み出すことにより、予測タップを生成し、ステップS1
14に進む。
【0579】ステップS114では、足し込み部146
が、画素位置モードを表す変数iを、例えば1に初期化
し、ステップS115に進む。ステップS115では、
クラス分類部145が、注目ブロックにおける画素位置
モード#iが表す位置の画素を注目画素として、図2の
クラス分類部13における場合と同様にして、注目画素
のクラス分類を行い、その結果得られるクラスコード
を、足し込み部146に出力する。
【0580】足し込み部146は、ステップS116に
おいて、教師データストレージ141から、注目画素と
なっている教師データ(画素値)を読み出し、生徒デー
タとしての予測タップ(を構成する2次元DCT係
数)、および教師データとしての注目画素を対象とし
て、式(8)の行列Aとベクトルvの、上述したような
足し込みを行う。なお、この足し込みは、クラス分類部
145からのクラスコードに対応するクラスごとに、か
つ注目画素に対する画素位置モード#iごとに行われ
る。
【0581】そして、ステップS117に進み、足し込
み部146は、画素位置モード#iが、注目ブロックの
画素数である64に等しいかどうかを判定する。
【0582】ステップS117において、画素位置モー
ド#iが64に等しくないと判定された場合、ステップ
S118に進み、足し込み部146は、画素位置モード
#iを1だけインクリメントして、ステップS115に
戻り、以下、同様の処理が繰り返される。
【0583】また、ステップS117において、画素位
置モード#iが64に等しいと判定された場合、即ち、
注目ブロックのすべての画素を注目画素として足し込み
を行った場合、ステップS119に進み、足し込み部1
46は、生徒データストレージ143に記憶された生徒
データとしての2次元DCT係数のブロックのうち、ま
だ、注目ブロックとしていないもの(以下、適宜、未処
理ブロックという)があるかどうかを判定する。
【0584】ステップS119において、未処理ブロッ
クがあると判定された場合、ステップS112に戻り、
その未処理ブロックの中から、新たに注目ブロックとす
るものが選択され、以下、同様の処理が繰り返される。
【0585】また、ステップS119において、未処理
ブロックがないと判定された場合、即ち、足し込み部1
46において、各クラスについて、画素位置モードごと
の正規方程式が得られた場合、ステップS120に進
み、タップ係数演算部147は、各クラスの画素位置モ
ードごとに生成された正規方程式を解くことにより、各
クラスごとに、そのクラスの64の画素位置モードそれ
ぞれに対応する64セットのタップ係数を求め、学習処
理を終了する。
【0586】次に、図46は、Pピクチャ用のタップ係
数を学習する場合の学習装置の一実施の形態の構成例を
示している。なお、図中、図44における場合と対応す
る部分については、同一の符号を付してあり、以下で
は、その説明は、適宜省略する。即ち、図46の学習装
置は、生徒データ生成部151に代えて、生徒データ生
成部162が設けられている他は、図44における場合
と基本的に同様に構成されている。
【0587】ここで、Pピクチャは、時間的に先行して
復号(符号化)されるIまたはPピクチャを参照画像と
して予測符号化(ノンイントラ符号化)されるため、即
ち、原画像から予測画像を減算した残差画像が2次元D
CT変換されるため、図2の画像処理装置では、前処理
部11において、先に復号されたIまたはPピクチャに
動き補償を施し、その結果得られる予測画像の2次元D
CT係数と、残差画像の2次元DCT係数とを加算した
後に、適応処理部51において、適応処理を施すように
なっている。
【0588】従って、Pピクチャ用のタップ係数の学習
においては、残差画像の2次元DCT係数に、予測画像
の2次元DCT係数を加算したものを、生徒データとし
て用いる必要がある。
【0589】ところで、Pピクチャの予測画像は、先に
復号されたIまたはPピクチャを参照画像として、その
参照画像に、動き補償が施されることで得ることができ
るが、いまの場合、Pピクチャのタップ係数を学習しよ
うとしているので、Pピクチャ用のタップ係数は存在し
ない。
【0590】一方、Iピクチャ用のタップ係数は、図4
4の学習装置において、あらかじめ求めておくことがで
きる。
【0591】そこで、図46の学習装置では、生徒デー
タ生成部162において、Iピクチャを参照画像として
予測符号化されるPピクチャのブロックについて、生徒
データが生成されるようになっている。
【0592】即ち、MPEGエンコーダ171は、教師
データストレージ141に記憶された学習用の画像デー
タを読み出して、MPEG符号化し、その結果得られる
符号化データを、分離部172に供給する。分離部17
2とDCT係数抽出/逆量子化部173は、図2の分離
部1とDCT係数抽出/逆量子化部2とそれぞれ同様に
構成されており、符号化データから、量子化DCT係数
を分離、抽出し、逆量子化する。
【0593】なお、分離部172およびDCT係数抽出
/逆量子化部173は、Iピクチャと、Pピクチャの予
測符号化されたブロックのみを対象に処理を行う。ま
た、分離部172は、符号化データから、量子化DCT
係数の他、量子化スケールやDCTタイプや動きベクト
ル等のサイドインフォメーションも、必要に応じて分離
する。
【0594】DCT係数抽出/逆量子化部173は、I
ピクチャの2次元DCT係数を得た場合、そのIピクチ
ャの2次元DCT係数を、クラス分類部174および適
応処理部176に供給する。
【0595】また、DCT係数抽出/逆量子化部173
は、Pピクチャの予測符号化されたブロックの2次元D
CT係数、即ち、残差画像の2次元DCT係数を得た場
合、その残差画像の2次元DCT係数を、周波数領域動
き補償加算部181に供給する。
【0596】さらに、DCT係数抽出/逆量子化部17
3は、Pピクチャの予測符号化されたブロックの動きベ
クトルを得た場合、その動きベクトルを、動き補償部1
78に供給する。
【0597】クラス分類部174は、DCT係数抽出/
逆量子化部173から供給されるIピクチャのブロック
の画素を、順次、注目画素として、その注目画素につい
て、図2のクラス分類部13における場合と同様にして
クラス分類を行い、その結果得られるクラスコードを、
タップ係数記憶部175に供給する。タップ係数記憶部
175は、図44の学習装置で得られたIピクチャ用の
タップ係数を記憶しており、図2のタップ係数記憶部1
4と同様に、クラス分類部174から供給されるクラス
コードに対応するタップ係数を取得して、適応処理部1
76に供給する。
【0598】適応処理部176は、図2の適応処理部5
1と同様に、DCT係数抽出/逆量子化部173から供
給される、注目画素を含むブロックの2次元DCT係数
すべてを予測タップとして、その予測タップと、タップ
係数記憶部175から供給されるタップ係数とを用いた
線形1次予測演算、即ち、適応処理を行う。
【0599】適応処理部176において適応処理が行わ
れることにより得られるIピクチャの復号画像は、Iピ
クチャストレージ177に供給されて記憶される。
【0600】その後、動き補償部178は、DCT係数
抽出/逆量子化部173から供給される動きベクトルに
よって動き補償を施すべき参照画像としてのIピクチャ
を、Iピクチャストレージ177から読み出し、そのI
ピクチャに動き補償を施すことで、予測画像を生成す
る。この予測画像は、画像メモリ179に供給されて記
憶される。画像メモリ179に記憶された予測画像は、
DCT変換部180において2次元DCT係数に変換さ
れ、周波数領域動き補償加算部181に供給される。周
波数領域動き補償加算部181は、DCT係数抽出/逆
量子化部173から供給されるPピクチャの残差画像の
2次元DCT係数と、DCT変換部180から供給され
る予測画像の2次元DCT係数とを加算する。
【0601】即ち、動き補償部178、画像メモリ17
9、DCT変換部180、および周波数領域動き補償加
算部181は、図2の動き補償部4、画像メモリ5、D
CT変換部21、周波数領域動き補償加算部22と同様
に構成されるものであり、従って、周波数領域動き補償
加算部181において、DCT係数抽出/逆量子化部1
73からのPピクチャの残差画像の2次元DCT係数
と、DCT変換部180からの予測画像の2次元DCT
係数とが加算されることにより、Pピクチャの元の画像
(上述したように、原画像ではない)を2次元DCT変
換した2次元DCT係数が得られる。
【0602】周波数領域動き補償加算部181で得られ
たPピクチャの元の画像の2次元DCT係数は、生徒デ
ータとして、生徒データストレージ143に供給されて
記憶される。
【0603】以降は、図44の学習装置における場合と
同様の処理が行われ、これにより、Pピクチャ用(正確
には、Pピクチャの予測符号化されたブロック用)のタ
ップ係数が求められる。
【0604】次に、図47は、Bピクチャ用のタップ係
数を学習する場合の学習装置の一実施の形態の構成例を
示している。なお、Bピクチャ用のタップ係数を学習す
る学習装置も、図46のPピクチャ用のタップ係数を学
習する学習装置と同様に、生徒データ生成部だけが、図
44のIピクチャ用のタップ係数を学習する学習装置と
異なるだけであるため、図47においては、Bピクチャ
用のタップ係数を学習する学習装置の生徒データ生成部
だけを図示してある。
【0605】Bピクチャも、Pピクチャと同様に、時間
的に先行して復号されるIまたはPピクチャを参照画像
として予測符号化(ノンイントラ符号化)されるため、
即ち、原画像から予測画像を減算した残差画像が2次元
DCT変換されるため、図2の画像処理装置では、前処
理部11において、先に復号されたIまたはPピクチャ
に動き補償を施し、その結果得られる予測画像の2次元
DCT係数と、残差画像の2次元DCT係数とを加算し
た後に、適応処理部51において、適応処理を施すよう
になっている。
【0606】従って、Bピクチャ用のタップ係数の学習
においては、残差画像の2次元DCT係数に、予測画像
の2次元DCT係数を加算したものを、生徒データとし
て用いる必要がある。
【0607】そこで、図47の学習装置では、そのよう
な生徒データを生成して、学習を行うようになってい
る。
【0608】即ち、MPEGエンコーダ191には、学
習用の画像データ(ここでは、教師データに等しい)が
供給されるようになっており、MPEGエンコーダ19
1は、その学習用の画像データをMPEG符号化し、そ
の結果得られる符号化データを、分離部192に供給す
る。分離部192とDCT係数抽出/逆量子化部193
は、図2の分離部1とDCT係数抽出/逆量子化部2と
それぞれ同様に構成されており、符号化データから、量
子化DCT係数を分離、抽出し、逆量子化して出力す
る。
【0609】DCT係数抽出/逆量子化部193が出力
するIピクチャの2次元DCT係数は、クラス分類部1
94と適応処理部196に供給される。また、DCT係
数抽出/逆量子化部193が出力するPピクチャの2次
元DCT係数は、周波数領域動き補償加算部201に供
給される。さらに、DCT係数抽出/逆量子化部193
が出力するBピクチャの2次元DCT係数は、周波数領
域動き補償加算部209に供給される。
【0610】ここで、分離部192は、符号化データか
ら、量子化DCT係数の他、量子化スケールやDCTタ
イプや動くベクトル等のサイドインフォメーションも、
必要に応じて分離し、DCT係数抽出/逆量子化部19
3を介して、必要なブロックに供給する。なお、サイド
インフォメーションについては、図47の実施の形態で
は、DCT係数抽出/逆量子化部193から動き補償部
198へのPピクチャの動きベクトルの供給と、DCT
係数抽出/逆量子化部193から動き補償部206への
Bピクチャの動きベクトルの供給だけを、図示してあ
る。
【0611】また、DCT係数抽出/逆量子化部193
は、Bピクチャの予測符号化されたブロックの2次元D
CT係数、即ち、残差画像の2次元DCT係数だけを、
周波数領域動き補償加算部209に供給する。
【0612】さらに、DCT係数抽出/逆量子化部19
3は、Pピクチャについては、予測符号化されたブロッ
クの2次元DCT係数だけを、周波数領域動き補償加算
部201に供給する。さらに、DCT係数抽出/逆量子
化部193では、Pピクチャのイントラ符号化されたブ
ロックの2次元DCT係数は、クラス分類部194およ
び適応処理部196に供給され、以下、イントラ符号化
されたIピクチャと同様に処理される。
【0613】クラス分類部194は、DCT係数抽出/
逆量子化部193から供給されるIピクチャおよびPピ
クチャのイントラ符号化されたブロックの画素を、順
次、注目画素として、その注目画素について、図2のク
ラス分類部13における場合と同様にしてクラス分類を
行い、その結果得られるクラスコードを、タップ係数記
憶部195に供給する。タップ係数記憶部195は、図
44の学習装置で得られたIピクチャ用のタップ係数を
記憶しており、図2のタップ係数記憶部14と同様に、
クラス分類部194から供給されるクラスコードに対応
するタップ係数を取得して、適応処理部196に供給す
る。
【0614】適応処理部196は、図2の適応処理部5
1と同様に、注目画素を含むブロックの2次元DCT係
数すべてを予測タップとして、その予測タップと、タッ
プ係数記憶部195から供給されるタップ係数とを用い
た線形1次予測演算、即ち、適応処理を行う。
【0615】適応処理部196において適応処理が行わ
れることにより得られるIピクチャの復号画像は、Iピ
クチャストレージ197に供給されて記憶される。な
お、適応処理部196では、イントラ符号化されたPピ
クチャのブロックの復号画像も得られるが、このPピク
チャの復号画像は、適応処理部196からPピクチャス
トレージ205に供給されて記憶される。
【0616】その後、動き補償部198は、DCT係数
抽出/逆量子化部193から供給される動きベクトルに
よって動き補償を施すべき参照画像としてのIピクチャ
を、Iピクチャストレージ197から読み出し、そのI
ピクチャに動き補償を施すことで、Pピクチャの予測画
像を生成する。このPピクチャの予測画像は、画像メモ
リ199に供給されて記憶される。画像メモリ199に
記憶された予測画像は、DCT変換部200において2
次元DCT係数に変換され、周波数領域動き補償加算部
201に供給される。周波数領域動き補償加算部201
は、DCT係数抽出/逆量子化部193から供給される
Pピクチャの残差画像の2次元DCT係数と、DCT変
換部200から供給される予測画像の2次元DCT係数
とを加算する。
【0617】即ち、動き補償部198、画像メモリ19
9、DCT変換部200、および周波数領域動き補償加
算部201は、図2の動き補償部4、画像メモリ5、D
CT変換部21、周波数領域動き補償加算部22と同様
に構成されるものであり、従って、周波数領域動き補償
加算部201において、DCT係数抽出/逆量子化部1
93からのPピクチャの残差画像の2次元DCT係数
と、DCT変換部200からの予測画像の2次元DCT
係数とが加算されることにより、Pピクチャの元の画像
(上述したように、原画像ではない)を2次元DCT変
換した2次元DCT係数が得られる。
【0618】周波数領域動き補償加算部201で得られ
たPピクチャの元の画像の2次元DCT係数は、クラス
分類部202および適応処理部204に供給される。
【0619】クラス分類部202は、周波数領域動き補
償加算部201から供給されるPピクチャの予測符号化
されたブロックの画素を、順次、注目画素として、その
注目画素について、図2のクラス分類部13における場
合と同様にしてクラス分類を行い、その結果得られるク
ラスコードを、タップ係数記憶部203に供給する。タ
ップ係数記憶部203は、図46の学習装置で得られた
Pピクチャ用のタップ係数を記憶しており、図2のタッ
プ係数記憶部14と同様に、クラス分類部202から供
給されるクラスコードに対応するタップ係数を取得し
て、適応処理部204に供給する。
【0620】適応処理部204は、図2の適応処理部5
1と同様に、注目画素を含むブロックの2次元DCT係
数すべてを予測タップとして、その予測タップと、タッ
プ係数記憶部203から供給されるタップ係数とを用い
た線形1次予測演算、即ち、適応処理を行う。
【0621】適応処理部204において適応処理が行わ
れることにより得られる、予測符号化されたPピクチャ
のブロックの復号画像は、Pピクチャストレージ205
に供給されて記憶される。なお、上述したように、Pピ
クチャストレージ205は、適応処理部196から供給
される、イントラ符号化されたPピクチャのブロックの
復号画像も記憶する。
【0622】その後、動き補償部206は、DCT係数
抽出/逆量子化部193から供給されるBピクチャの動
きベクトルによって動き補償を施すべき参照画像として
のIまたはPピクチャを、Iピクチャストレージ197
またはPピクチャストレージ205から読み出し、その
IまたはPピクチャに動き補償を施すことで、Bピクチ
ャの予測画像を生成する。このBピクチャの予測画像
は、画像メモリ207に供給されて記憶される。画像メ
モリ207に記憶された予測画像は、DCT変換部20
8において2次元DCT係数に変換され、周波数領域動
き補償加算部209に供給される。周波数領域動き補償
加算部209は、DCT係数抽出/逆量子化部193か
ら供給されるBピクチャの残差画像の2次元DCT係数
と、DCT変換部208から供給される予測画像の2次
元DCT係数とを加算する。
【0623】即ち、動き補償部206、画像メモリ20
7、DCT変換部208、および周波数領域動き補償加
算部209は、図2の動き補償部4、画像メモリ5、D
CT変換部21、周波数領域動き補償加算部22と同様
に構成されるものであり、従って、周波数領域動き補償
加算部209において、DCT係数抽出/逆量子化部1
93からのBピクチャの残差画像の2次元DCT係数
と、DCT変換部208からの予測画像の2次元DCT
係数とが加算されることにより、Bピクチャの元の画像
(上述したように、原画像ではない)を2次元DCT変
換した2次元DCT係数が得られる。
【0624】周波数領域動き補償加算部209で得られ
たBピクチャの元の画像の2次元DCT係数は、生徒デ
ータとして出力される。そして、以降は、図44の学習
装置における場合と同様の処理が行われ、これにより、
Bピクチャ用(正確には、Bピクチャの予測符号化され
たブロック用)のタップ係数が求められる。
【0625】図2の係数メモリ43および44には、以
上のような学習によって、各クラスごとに求められた6
4の画素位置モードそれぞれごとの、I,P,Bピクチ
ャ用のタップ係数が記憶されている。
【0626】従って、係数メモリ43および44に記憶
されたタップ係数は、線形1次予測演算を行うことによ
り得られる元の画素値の予測値の予測誤差(ここでは、
自乗誤差)が、統計的に最小になるように学習を行うこ
とにより求められたものであり、その結果、図2の適応
処理部51によれば、MPEG符号化された画像を、元
の画像に限りなく近い画像、即ち、ブロック歪みやモス
キートノイズ等の各種の歪みを十分に低減した、画質の
良い画像に復号することができる。
【0627】ここで、学習装置では、輝度信号と色差信
号について、別々に正規方程式がたてられ、輝度信号か
らたてられた正規方程式を解くことにより得られるタッ
プ係数は、係数メモリ43に記憶され、色差信号からた
てられた正規方程式を解くことにより得られるタップ係
数は、係数メモリ44に記憶される。
【0628】また、上述したように、MPEG符号化で
は、原画像の画素値から128(=27)を減算して得
られる画素値が符号化される。このため、足し込み部1
46は、足し込みにおいて、教師データストレージ14
1に記憶された教師データとしての画素値から、128
を減算した値を用いるようになっている。
【0629】なお、図2の画像処理装置において、Iピ
クチャのブロックについては、Iピクチャ用のタップ係
数を用いて適応処理が行われる。また、Pピクチャまた
はBピクチャのブロックについては、そのブロックが予
測符号化(ノンイントラ符号化)されている場合には、
PピクチャまたはBピクチャ用のタップ係数を用いて適
応処理が行われるが、ブロックがイントラ符号化されて
いる場合には、Iピクチャ用のタップ係数を用いて適応
処理が行われる。
【0630】また、上述の場合には、I,P,Bピクチ
ャそれぞれ用のタップ係数を学習するようにしたが、B
ピクチャ用のタップ係数の学習は省略することが可能で
ある。この場合、図2の画像処理装置では、Pピクチャ
とBピクチャの予測符号化されたブロックについて、例
えば、いずれも、Pピクチャ用のタップ係数を用いて適
応処理が行われる。
【0631】次に、図48および図49は、図2の画像
処理装置で、MPEG符号化された画像を復号するシミ
ュレーションを行って得られたシミュレーション結果を
示している。
【0632】なお、シミュレーションにおいては、4:
2:2フォーマットの画像を、約3.3Mbpsのデー
タレートでMPEG2方式により符号化して得られた符
号化データを用いた。また、シミュレーションでは、I
ピクチャとPピクチャを、それぞれ偶数フレームと奇数
フレームとして、1フレームごとに交代する画像シーケ
ンスを用いた。さらに、シミュレーションでは、上述の
閾値A,B,C,D,Eとして、それぞれ、700,7
00,350,120,120を用いた。但し、色差信
号については、閾値Aとして、80を用いた。
【0633】図48は、シミュレーションによって得ら
れた復号画像の輝度信号についてのS/N(Signal to N
oise ratio)を示している。
【0634】図48において、実線で示すS/Nは、図
2の画像処理装置による復号画像のものを示しており、
点線で示すS/Nは、MPEGの規格に準拠した従来の
MPEGソフトウェアデコーダによる復号画像のものを
示している。図48から、図2の画像処理装置による復
号画像のS/Nが、従来のMPEGソフトウェアデコー
ダによる復号画像と比較して、約1dB程度向上してい
ることが分かる。
【0635】図49は、シミュレーションによって得ら
れた復号画像を示している。
【0636】即ち、図49(A)は、原画像を、図49
(B)は、従来のMPEGソフトウェアデコーダによる
復号画像を、図49(C)は、図2の画像処理装置によ
る復号画像を、それぞれ示している。なお、図49
(A)乃至図49(C)において、その右側の約1/3
の部分が、瓶の全体が表示されている全体の画像を示し
ており、左側の約2/3の部分が、その瓶のラベルの部
分を拡大した画像を示している。また、図49に示した
画像は、Iピクチャの画像である。
【0637】図49(A)の原画像と、図49(B)の
従来のMPEGソフトウェアデコーダによる復号画像を
比較すると、図49(B)の復号画像には、ブロックの
境界が顕著に現れるブロック歪みが生じ、さらに、瓶の
ラベルにおける「Z」の文字の部分に、モスキートノイ
ズが顕著に現れている。
【0638】これに対して、図49(C)の図2の画像
処理装置による復号画像においては、ブロック歪みが十
分に低減されており、さらに、モスキートノイズも低減
されている。
【0639】次に、図50は、本発明を適用した画像処
理装置の第2実施の形態の構成例を示している。なお、
図中、図2における場合と対応する部分については、同
一の符号を付してあり、以下では、その説明は、適宜省
略する。即ち、図50の画像処理装置は、画像再構成部
15において、逆DCT変換部52が新たに設けられて
いる他は、図2における場合と基本的に同様に構成され
ている。
【0640】逆DCT変換部52は、適応処理部51の
出力を2次元逆DCT変換することにより、復号画像を
求め、画像メモリ7およびピクチャ選択部8に出力する
ようになっている。
【0641】即ち、図2の実施の形態においては、タッ
プ係数記憶部14において、画素値を、教師データとす
るとともに、その画素値を2次元DCT変換、量子化し
(MPEG符号化し)、さらに逆量子化した2次元DC
T係数を生徒データとして学習を行うことにより得られ
たタップ係数が記憶され、適応処理部51において、そ
のようなタップ係数を用いて適応処理を行うことによ
り、2次元DCT係数を画素値に変換するFT変換が行
われるようになっていた。
【0642】これに対して、図50の実施の形態におい
ては、タップ係数記憶部14において、画素値を2次元
DCT変換した2次元DCT係数を教師データとすると
ともに、その2次元DCT係数を量子化し、さらに逆量
子化した2次元DCT係数を生徒データとして学習を行
うことにより得られたタップ係数が記憶されており、適
応処理部51において、そのようなタップ係数を用いて
適応処理を行うことにより、そのまま逆2次元DCT変
換したのではブロック歪み等の目立つ復号画像となって
しまう2次元DCT係数を、ブロック歪み等が目立たな
い復号画像が得られる2次元DCT係数に変換するよう
になっている。
【0643】そして、図50の実施の形態では、適応処
理部51で得られる2次元DCT係数が、逆DCT変換
部52において2次元逆DCT変換され、これにより、
ブロック歪み等が十分に低減された復号画像を得ること
ができるようになっている。
【0644】ここで、上述のように、画素値を2次元D
CT変換した2次元DCT係数を教師データとするとと
もに、その2次元DCT係数を量子化し、さらに逆量子
化した2次元DCT係数を生徒データとする場合には、
量子化され、さらに逆量子化された2次元DCT係数
を、式(1)の線形予測演算によって、元の2次元DC
T係数(量子化される前の2次元DCT係数)に変換す
るのに最適なタップ係数を得ることができる。そして、
2次元DCT係数は、周波数領域のデータであるから、
上述のようなタップ係数を用いて、そのまま逆2次元D
CT変換したのではブロック歪み等の目立つ復号画像と
なってしまう2次元DCT係数を、ブロック歪み等が目
立たない復号画像が得られる2次元DCT係数に変換す
る適応処理は、周波数(Frequency)の頭文字をとって、
FF変換と呼ぶことができる。
【0645】次に、図51は、上述のようなFF変換を
行う場合に用いるタップ係数を学習する学習装置の一実
施の形態の構成例を示している。なお、図中、図44に
おける場合と対応する部分については、同一の符号を付
してあり、以下では、その説明は、適宜省略する。
【0646】学習用データストレージ221は、学習用
の画像データを記憶している。
【0647】教師データ生成部222は、学習用データ
ストレージ221から学習用の画像データを読み出し
て、MPEG符号化における場合と同様に、ブロック単
位で、2次元DCT変換し、その結果得られる2次元D
CT係数を、教師データとして出力する。ここで、教師
データ生成部222が出力する2次元DCT係数は、学
習用の画像データを2次元DCT変換のみしたものであ
り、従って量子化、逆量子化されていないので、その2
次元DCT係数を、2次元逆DCT変換することによ
り、原画像と同一の復号画像を得ることができる。
【0648】教師データ生成部222が出力する教師デ
ータとしての2次元DCT係数は、教師データストレー
ジ141に供給されて記憶される。
【0649】生徒データ生成部223は、学習用データ
ストレージ221から学習用の画像データを読み出し、
図44、図46、図47における場合とそれぞれ同様に
して、生徒データとなる2次元DCT係数を生成して出
力する。生徒データ生成部223が出力する生徒データ
としての2次元DCT係数は、生徒データストレージ1
43に供給されて記憶される。
【0650】以降は、教師データストレージ141に記
憶された2次元DCT係数を教師データとするととも
に、生徒データストレージ143に記憶された2次元D
CT係数を生徒データとして、図44の学習装置におけ
る場合と同様の処理が行われ、これにより、上述のよう
なFF変換を行うためのI,P,Bピクチャそれぞれ用
のタップ係数が求められる。
【0651】次に、上述の場合には、FT変換を行うた
めのタップ係数や、FF変換を行うためのタップ係数を
用いて適応処理を行うことにより、各種の歪みが低減さ
れた復号画像を得るようにしたが、その他、例えば、後
述するTT変換を行うためのタップ係数を用いて適応処
理を行うことにより、各種の歪みが低減された復号画像
を得るようにすることも可能である。
【0652】即ち、図2の画像処理装置においては、図
52(A)に示すように、適応処理部51において、符
号化データから得た2次元DCT係数から予測タップを
生成し、FT変換を行うためのタップ係数を用いて適応
処理を行うことにより、復号画像を得るようにした。さ
らに、図50の画像処理装置においては、図52(B)
に示すように、適応処理部51において、符号化データ
から得た2次元DCT係数から予測タップを生成し、F
F変換を行うためのタップ係数を用いて適応処理を行う
ことにより得た2次元DCT係数を、2次元逆DCT変
換することにより、復号画像を得るようにした。
【0653】その他、図52(C)に示すように、適応
処理部51において、従来のMPEGエンコーダが出力
する画像から予測タップを生成して適応処理を施すこと
により、各種の歪みが低減された復号画像を得るように
することが可能である。
【0654】図53は、そのような画像処理装置の一実
施の形態の構成例を示している。なお、図中、図2にお
ける場合と対応する部分については、同一の符号を付し
てあり、以下では、その説明は、適宜省略する。
【0655】図53において、MPEGデコーダ301
には、MPEG符号化された符号化データが供給される
ようになっている。MPEGデコーダ301は、MPE
Gの規格に準拠したデコーダで、そこに供給される符号
化データをMPEGデコードし、その結果得られる復号
画像(以下、適宜、MPEG復号画像という)を画像再
構成部15およびDCT変換部302に供給する。な
お、MPEGデコーダ301は、符号化データに含まれ
るDCTタイプその他のサイドインフォメーションを、
クラス分類部13に供給するようにもなっている。
【0656】DCT変換部302は、MPEGデコーダ
301からのMPEG復号画像を、ブロック単位で2次
元DCT変換し、その結果得られる2次元DCT係数
を、クラス分類部13に供給する。クラス分類部13お
よびタップ係数記憶部14では、図2における場合と同
様の処理が行われ、これにより、必要なタップ係数が、
画像再構成部15に供給される。
【0657】なお、タップ係数記憶部14においては、
後述するTT変換用のタップ係数が記憶されている。
【0658】画像再構成部15は、適応処理部51だけ
で構成されており、MPEGデコーダ301からのMP
EG復号画像から予測タップを生成し、即ち、例えば、
MPEG復号画像の注目画素を含むブロックの画素値す
べてを予測タップとし、その予測タップと、タップ係数
記憶部14から供給されるタップ係数とを用いて、式
(1)の線形1次予測演算を行うことにより、各種の歪
みが除去された復号画像を得て出力する。
【0659】次に、図54は、図53のタップ係数記憶
部14に記憶されるタップ係数を学習する学習装置の一
実施の形態の構成例を示している。なお、図中、図44
における場合と対応する部分については、同一の符号を
付してあり、以下では、その説明は、適宜省略する。
【0660】図54の実施の形態においては、生徒デー
タ生成部142が、MPEGエンコーダ311とMPE
Gデコーダ312とから構成されている。MPEGエン
コーダ311は、教師データストレージ141に記憶さ
れた画像データをMPEG符号化し、その結果得られる
符号化データを、MPEGデコーダ312に出力する。
MPEGデコーダ312は、MPEGエンコーダ311
からの符号化データをMPEGデコードし、その結果得
られるMPEG復号画像を、生徒データとして出力す
る。
【0661】MPEGデコーダ312が生徒データとし
て出力するMPEG復号画像は、生徒データストレージ
143に供給されて記憶される。
【0662】なお、MPEGデコーダ312は、MPE
Gエンコーダ311が出力する符号化データから、DC
Tタイプ等の必要なサイドインフォメーションを抽出
し、このサイドインフォメーションも、生徒データスト
レージ143に供給して記憶させるようになっている。
【0663】DCT変換部321は、生徒データストレ
ージ143に記憶された生徒データとしてのMPEG復
号画像を読み出し、ブロック単位で2次元DCT変換す
ることにより、2次元DCT係数を得て、クラス分類部
145に供給する。クラス分類部145は、DCT変換
部321からの2次元DCT係数に基づき、必要に応じ
て、生徒データストレージ143に記憶されたサイドイ
ンフォメーションを参照しながら、図2のクラス分類部
13における場合と同様にクラス分類を行う。
【0664】以降は、教師データストレージ141に記
憶された画像データを教師データとするとともに、生徒
データストレージ143に記憶されたMPEG復号画像
を生徒データとして、図44の学習装置における場合と
同様の処理が行われ、これにより、タップ係数が求めら
れる。なお、予測タップ生成部144では、図53の適
応処理部51が生成するのと同一構造の予測タップが生
成される。
【0665】ここで、上述のように、画像データ(原画
像)を教師データとするとともに、その画像データをM
PEG符号化し、さらにMPEG復号して得られるMP
EG復号画像を生徒データとする場合には、MPEG復
号画像を、式(1)の線形予測演算によって、ブロック
歪み等のない原画像データ(の予測値)に変換するのに
最適なタップ係数を得ることができる。そして、原画像
データおよびMPEG復号画像は、時間領域のデータで
あるから、上述のようなタップ係数を用いて、MPEG
復号画像を、原画像データが得られる2次元DCT係数
に変換する適応処理は、時間(Time)の頭文字をとって、
TT変換と呼ぶことができ、図54の学習装置で学習さ
れるタップ係数は、TT変換用のタップ係数ということ
ができる。
【0666】なお、ここでは、TT変換用のタップ係数
を、ピクチャタイプ別に学習するようにしなかったが、
TT変換用のタップ係数も、FT変換用のタップ係数と
同様に、ピクチャタイプ別に学習するようにすることが
可能である。
【0667】次に、図55は、本発明を適用した画像処
理装置のさらに他の実施の形態の構成例を示している。
なお、図中、図2における場合と対応する部分について
は、同一の符号を付してあり、以下では、その説明は、
適宜省略する。即ち、図55の画像処理装置は、図2の
画像処理装置と基本的に同様に構成されている。但し、
適応処理部51には、バッファメモリ12に記憶された
2次元DCT係数ではなく、DCT係数抽出/逆量子化
部2が出力する2次元DCT係数と、画像メモリ5に記
憶された予測画像が供給されるようになっている。
【0668】従って、適応処理部51では、DCT係数
抽出/逆量子化部2が出力する2次元DCT係数と、画
像メモリ5に記憶された予測画像とから、予測タップが
生成される。即ち、適応処理部51は、例えば、DCT
係数抽出/逆量子化部2が出力する注目ブロックの64
個の2次元DCT係数と、画像メモリ5に記憶された、
注目ブロックに対応する8×8画素の予測画像の64個
の画素値との合計で128タップからなる予測タップを
生成する。
【0669】ここで、イントラ符号化されたブロックに
ついては、予測画像は存在せず、DCT係数抽出/逆量
子化部2が出力する2次元DCT係数は、元の画像を2
次元DCT変換したものとなっている。また、ノンイン
トラ符号化されたブロックについては、予測画像が存在
し、DCT係数抽出/逆量子化部2が出力する2次元D
CT係数は、元の画像から予測画像を減算して得られる
残差画像を2次元DCT変換したものとなっているが、
MPEGでは、残差画像の画素値がほとんど0である場
合には、残差画像の2次元DCT係数が存在しないこと
がある。
【0670】このため、適応処理部51では、イントラ
符号化されたブロックが注目ブロックとされた場合に
は、予測画像から生成される64の予測タップは、例え
ば0とされる。また、適応処理部51では、ノンイント
ラ符号化されたブロックが注目ブロックとされ、その注
目ブロックにおける残差画像の2次元DCT係数が存在
しない場合には、DCT係数抽出/逆量子化部2が出力
する2次元DCT係数から生成される64の予測タップ
は、例えば0とされる。
【0671】図55の画像処理装置では、適応処理部5
1における予測タップの生成以外については、図2にお
ける場合と同様の処理が行われ、これにより、画像再構
成部15からは、ブロック歪み等が低減された復号画像
が出力される。
【0672】ここで、図55の適応処理部51では、上
述したように、DCT係数抽出/逆量子化部2が出力す
る注目ブロックの64個の2次元DCT係数と、画像メ
モリ5に記憶された、注目ブロックに対応する8×8画
素の予測画像の64個の画素値との合計で128タップ
からなる予測タップが生成され、その予測タップを用い
て適応処理が行われることにより、原画像の予測値、即
ち、ブロック歪み等の低減された復号画像が求められ
る。即ち、ノンイントラ符号化されたブロックについて
は、残差画像の2次元DCT係数と、予測画像の画素値
からなる予測タップから、画像が復号される。
【0673】従って、この場合、適応処理部51での適
応処理では、ブロック歪み等の低減とともに、残差画像
に対する予測画像の加算が一括して行われているという
ことができる。
【0674】次に、図55の画像処理装置において用い
られるタップ係数の学習について説明する。
【0675】まず、Iピクチャ用のタップ係数の学習
は、図44の学習装置で行うことができる。但し、図4
4の予測タップ生成部144では、図55の適応処理部
51における場合と同様に、注目ブロックの64個の2
次元DCT係数と、注目ブロックに対応する8×8画素
の予測画像の64個の画素値との合計で128タップか
らなる予測タップが生成される。また、上述したよう
に、イントラ符号化されるIピクチャのブロックについ
ては、予測画像から生成される64の予測タップは0と
される。
【0676】次に、図56は、図55のタップ係数記憶
部14に記憶されるPピクチャ用のタップ係数を学習す
る学習装置の一実施の形態の構成例を示している。な
お、図中、図46における場合と対応する部分について
は、同一の符号を付してあり、以下では、その説明は、
適宜省略する。即ち、図56の学習装置は、基本的に、
図46における場合と同様に構成されている。
【0677】但し、生徒データストレージ143には、
周波数領域動き補償加算部181から、元の画像の2次
元DCT係数(残差画像の2次元DCT係数と、予測画
像の2次元DCT係数とを加算したもの)が供給される
他、DCT係数抽出/逆量子化部173から、Pピクチ
ャの残差画像の2次元DCT係数が供給されるととも
に、画像メモリ179に記憶された予測画像が供給され
るようになっている。
【0678】そして、クラス分類部145では、図2の
クラス分類部13における場合と同様に、生徒データス
トレージ143に記憶された元の画像の2次元DCT係
数を用いてクラス分類が行われる。
【0679】また、予測タップ生成部144では、生徒
データストレージ143に記憶されたPピクチャの残差
画像の2次元DCT係数と、予測画像とから、図5の適
応処理部51で生成されるのと同一構造の予測タップが
生成される。
【0680】次に、図57は、図55のタップ係数記憶
部14に記憶されるBピクチャ用のタップ係数を学習す
る学習装置の一実施の形態の構成例を示している。な
お、図中、図47における場合と対応する部分について
は、同一の符号を付してある。また、図57において
も、図47における場合と同様に、生徒データ生成部以
外のブロックの図示は省略してある。
【0681】図57の学習装置は、基本的には、図47
の学習装置と同様に構成されている。但し、周波数領域
動き補償加算部209から、Bピクチャの元の画像の2
次元DCT係数(残差画像の2次元DCT係数と、予測
画像の2次元DCT係数とを加算したもの)が、生徒デ
ータとして出力される他、Bピクチャの残差画像の2次
元DCT係数と、予測画像も、DCT係数抽出/逆量子
化部193と、画像メモリ207それぞれから、生徒デ
ータとして出力されるようになっている。
【0682】そして、以降の処理では、図56の学習装
置における場合と同様に、Bピクチャの元の画像の2次
元DCT係数を用いてクラス分類が行われるとともに、
Bピクチャの残差画像の2次元DCT係数と、予測画像
とから、予測タップが生成される。
【0683】なお、図55の実施の形態では、予測画像
と、残差画像の2次元DCT係数(あるいは元の画像の
2次元DCT係数)とから生成した予測タップを用いて
適応処理を行うことにより、ブロック歪み等を低減した
復号画像を得るようにしたが、その他、例えば、予測画
像と、残差画像の2次元DCT係数とから生成した予測
タップを用いて、ブロック歪み等を低減した2次元DC
T係数を得て、その2次元DCT係数を2次元逆DCT
変換することにより、ブロック歪み等を低減した復号画
像を得るようにすることも可能である。
【0684】この場合、タップ係数の学習は、画像デー
タ(原画像)を教師データとするのではなく、画像デー
タをブロック単位で2次元DCT変換して得られる2次
元DCT係数を教師データとして行うようにすれば良
い。
【0685】次に、上述した一連の処理は、ハードウェ
アにより行うこともできるし、ソフトウェアにより行う
こともできる。一連の処理をソフトウェアによって行う
場合には、そのソフトウェアを構成するプログラムが、
汎用のコンピュータ等にインストールされる。
【0686】そこで、図58は、上述した一連の処理を
実行するプログラムがインストールされるコンピュータ
の一実施の形態の構成例を示している。
【0687】プログラムは、コンピュータに内蔵されて
いる記録媒体としてのハードディスク405やROM4
03に予め記録しておくことができる。
【0688】あるいはまた、プログラムは、フレキシブ
ルディスク、CD-ROM(Compact DiscRead Only Memory),
MO(Magneto Optical)ディスク,DVD(Digital Versatile
Disc)、磁気ディスク、半導体メモリなどのリムーバブ
ル記録媒体411に、一時的あるいは永続的に格納(記
録)しておくことができる。このようなリムーバブル記
録媒体411は、いわゆるパッケージソフトウエアとし
て提供することができる。
【0689】なお、プログラムは、上述したようなリム
ーバブル記録媒体411からコンピュータにインストー
ルする他、ダウンロードサイトから、ディジタル衛星放
送用の人工衛星を介して、コンピュータに無線で転送し
たり、LAN(Local Area Network)、インターネットとい
ったネットワークを介して、コンピュータに有線で転送
し、コンピュータでは、そのようにして転送されてくる
プログラムを、通信部408で受信し、内蔵するハード
ディスク405にインストールすることができる。
【0690】コンピュータは、CPU(Central Processing
Unit)402を内蔵している。CPU402には、バス4
01を介して、入出力インタフェース410が接続され
ており、CPU402は、入出力インタフェース410を
介して、ユーザによって、キーボードや、マウス、マイ
ク等で構成される入力部407が操作等されることによ
り指令が入力されると、それにしたがって、ROM(Read O
nly Memory)403に格納されているプログラムを実行
する。あるいは、また、CPU402は、ハードディスク
405に格納されているプログラム、衛星若しくはネッ
トワークから転送され、通信部408で受信されてハー
ドディスク405にインストールされたプログラム、ま
たはドライブ409に装着されたリムーバブル記録媒体
411から読み出されてハードディスク405にインス
トールされたプログラムを、RAM(Random Access Memor
y)404にロードして実行する。これにより、CPU40
2は、上述したフローチャートにしたがった処理、ある
いは上述したブロック図の構成により行われる処理を行
う。そして、CPU402は、その処理結果を、必要に応
じて、例えば、入出力インタフェース410を介して、
LCD(Liquid CryStal Display)やスピーカ等で構成され
る出力部406から出力、あるいは、通信部408から
送信、さらには、ハードディスク405に記録等させ
る。
【0691】ここで、本明細書において、コンピュータ
に各種の処理を行わせるためのプログラムを記述する処
理ステップは、必ずしもフローチャートとして記載され
た順序に沿って時系列に処理する必要はなく、並列的あ
るいは個別に実行される処理(例えば、並列処理あるい
はオブジェクトによる処理)も含むものである。
【0692】また、プログラムは、1のコンピュータに
より処理されるものであっても良いし、複数のコンピュ
ータによって分散処理されるものであっても良い。さら
に、プログラムは、遠方のコンピュータに転送されて実
行されるものであっても良い。
【0693】以上のように、1次元DCT係数に基づい
てクラス分類を行い、各クラスごとに処理を行うように
したので、ブロック間における水平方向や垂直方向の平
坦さや連続性が反映された、効果的なクラス分けをする
ことができ、そのようなクラスごとに、適応処理を行う
ことで、ブロック歪みやモスキートノイズ等の歪みを十
分に低減した高画質の復号画像を得ることが可能とな
る。
【0694】なお、本実施の形態では、教師データの予
測値を、式(1)の線形1次予測演算によって求めるよ
うにしたが、教師データの予測値は、その他、例えば、
2次以上の高次の式を用いて求めるようにすることが可
能である。
【0695】また、本実施の形態では、クラス分類を、
注目ブロックとそれに隣接するブロックの1次元DCT
係数を用いて行うようにしたが、その他、クラス分類
は、注目ブロックと空間的または時間的に近いブロック
の1次元DCT係数をも用いて行うことが可能である。
さらに、クラス分類は、1次元DCT係数の他、2次元
DCT係数も用いて行うことが可能である。また、クラ
ス分類は、注目ブロックに対して、時間方向に近接する
ブロックの1次元DCT係数をも用いて行うことが可能
である。
【0696】さらに、本実施の形態では、MPEG符号
化された動画像を対象としたが、本発明は、2次元DC
T変換を用いる、MPEG以外の符号化方式により符号
化された動画像や、JPEG符号化された静止画等を復
号する場合にも適用可能である。
【0697】
【発明の効果】本発明の第1の画像処理装置および画像
処理方法、並びにプログラムによれば、2次元DCT係
数を、1次元逆DCT変換することにより、1次元DC
T係数が求められ、その1次元DCT係数に基づいて、
画像データを構成する画素を、複数のクラスのうちのい
ずれかのクラスにクラス分けするクラス分類が行われ
る。そして、その結果得られるクラスごとに、符号化デ
ータが処理される。従って、例えば、高画質の画像を復
号することが可能となる。
【0698】本発明の第2の画像処理装置および画像処
理方法、並びにプログラムによれば、学習用の画像デー
タが、少なくとも2次元DCT変換されることにより符
号化され、2次元DCT係数を含む符号化データが出力
される。さらに、符号化データに含まれる2次元DCT
係数を、1次元逆DCT変換することにより、1次元D
CT係数が求められる。そして、学習用の画像データか
ら得られる、学習の教師となる教師データを、1次元D
CT係数に基づいて、複数のクラスのうちのいずれかの
クラスにクラス分けするクラス分類が行われ、教師デー
タと、学習用の画像データから得られる、学習の生徒と
なる生徒データとを用いて、教師データのクラスごとに
学習を行うことにより、クラスごとのタップ係数が求め
られる。従って、そのタップ係数を用いることにより、
高画質の画像を復号することが可能となる。
【図面の簡単な説明】
【図1】MPEGデコーダの構成例を示すブロック図で
ある。
【図2】本発明を適用した画像処理装置の第1実施の形
態の構成例を示すブロック図である。
【図3】DCT変換部21と周波数領域動き補償加算部
22の構成例を示すブロック図である。
【図4】サンプリング部61の処理を説明するための図
である。
【図5】サンプリング部61の処理を説明するための図
である。
【図6】2次元DCT変換および2次元逆DCT変換、
並びに1次元DCT変換および1次元逆DCT変換を説
明するための図である。
【図7】原画像、水平1次元DCT係数、垂直1次元D
CT係数、および2次元DCT係数を示すディスプレイ
上に表示された中間階調の写真である。
【図8】注目ブロックの境界の画素列に空間的に隣接す
る隣接ブロックの画素列を説明するための図である。
【図9】注目ブロックの境界の画素列に空間的に隣接す
る隣接ブロックの画素列を説明するための図である。
【図10】注目ブロックの境界の画素列に空間的に隣接
する隣接ブロックの画素列を説明するための図である。
【図11】注目ブロックの境界の画素列に空間的に隣接
する隣接ブロックの画素列を説明するための図である。
【図12】注目ブロックの境界の画素列に空間的に隣接
する隣接ブロックの画素列を説明するための図である。
【図13】注目ブロックの境界の画素列に空間的に隣接
する隣接ブロックの画素列を説明するための図である。
【図14】注目ブロックの境界の画素列に空間的に隣接
する隣接ブロックの画素列を説明するための図である。
【図15】注目ブロックの境界の画素列に空間的に隣接
する隣接ブロックの画素列を説明するための図である。
【図16】注目ブロックの境界の画素列に空間的に隣接
する隣接ブロックの画素列を説明するための図である。
【図17】注目ブロックの境界の画素列に空間的に隣接
する隣接ブロックの画素列を説明するための図である。
【図18】注目ブロックの境界の画素列に空間的に隣接
する隣接ブロックの画素列を説明するための図である。
【図19】注目ブロックの境界の画素列に空間的に隣接
する隣接ブロックの画素列を説明するための図である。
【図20】注目ブロックの境界の画素列に空間的に隣接
する隣接ブロックの画素列を説明するための図である。
【図21】注目ブロックの境界の画素列に空間的に隣接
する隣接ブロックの画素列を説明するための図である。
【図22】注目ブロックの境界の画素列に空間的に隣接
する隣接ブロックの画素列を説明するための図である。
【図23】注目ブロックの境界の画素列に空間的に隣接
する隣接ブロックの画素列を説明するための図である。
【図24】隣接1次元DCT係数選択/変換部32の構
成例を示すブロック図である。
【図25】隣接1次元DCT係数選択/変換部32の処
理を説明するフローチャートである。
【図26】左上ブロック処理の詳細を説明するフローチ
ャートである。
【図27】左下ブロック処理の詳細を説明するフローチ
ャートである。
【図28】右上ブロック処理の詳細を説明するフローチ
ャートである。
【図29】右下ブロック処理の詳細を説明するフローチ
ャートである。
【図30】ACパワーを説明するための図である。
【図31】ACパワー算出部33の構成例を示すブロッ
ク図である。
【図32】AC内積を説明するための図である。
【図33】AC内積計算部34の構成例を示すブロック
図である。
【図34】クラスコード生成部36の構成例を示すブロ
ック図である。
【図35】クラスコードのフォーマットを示す図であ
る。
【図36】クラスコード生成部36の処理を説明するフ
ローチャートである。
【図37】クラスコード生成部37の構成例を示すブロ
ック図である。
【図38】4:2:2フォーマットにおける輝度ブロッ
クと色差ブロックとの対応関係を示す図である。
【図39】輝度クラスコードを利用した色差クラスコー
ドの生成を説明する図である。
【図40】4:2:0フォーマットにおける輝度ブロッ
クと色差ブロックとの対応関係を示す図である。
【図41】輝度クラスコードを利用した色差クラスコー
ドの生成を説明する図である。
【図42】適応処理部51の構成例を示すブロック図で
ある。
【図43】適応処理部51の処理を説明するフローチャ
ートである。
【図44】タップ係数を学習する学習装置の第1実施の
形態の構成例を示すブロック図である。
【図45】学習装置による学習処理を説明するフローチ
ャートである。
【図46】タップ係数を学習する学習装置の第2実施の
形態の構成例を示すブロック図である。
【図47】タップ係数を学習する学習装置の第3実施の
形態の構成例を示すブロック図である。
【図48】シミュレーションにより得られた復号画像の
S/Nを示す図である。
【図49】シミュレーションにより得られた復号画像を
示すディスプレイ上に表示された中間階調の写真であ
る。
【図50】本発明を適用した画像処理装置の第2実施の
形態の構成例を示すブロック図である。
【図51】タップ係数を学習する学習装置の第4の実施
の形態の構成例を示すブロック図である。
【図52】本発明を適用した画像処理装置の第3実施の
形態の概要を説明する図である。
【図53】本発明を適用した画像処理装置の第3実施の
形態の構成例を示すブロック図である。
【図54】タップ係数を学習する学習装置の第5の実施
の形態の構成例を示すブロック図である。
【図55】本発明を適用した画像処理装置の第4実施の
形態の構成例を示すブロック図である。
【図56】タップ係数を学習する学習装置の第6の実施
の形態の構成例を示すブロック図である。
【図57】タップ係数を学習する学習装置の第7の実施
の形態の構成例を示すブロック図である。
【図58】本発明を適用したコンピュータの一実施の形
態の構成例を示すブロック図である。
【符号の説明】
1 分離部, 2 DCT係数抽出/逆量子化部, 4
動き補償部, 5画像メモリ, 11 前処理部,
12 バッファメモリ, 13 クラス分類部, 14
タップ係数記憶部, 15 画像再構成部, 21
DCT変換部, 22 周波数領域動き補償加算部,
31 1次元逆DCT変換部, 32隣接1次元DCT
係数選択/変換部, 33 ACパワー算出部, 34
AC内積計算部, 35 隣接タップデータ生成部,
36,37 クラスコード生成部, 41,42 タ
ップ係数選択部, 43,44 係数メモリ, 51適
応処理部, 52 逆DCT変換部, 61 サンプリ
ング部, 62 DCT部, 71 DCT係数選択
部, 72 加算部, 73 選択部, 80制御部,
81 メモリ, 82 垂直1次元逆DCT変換部,
83 サンプリング部, 84 垂直1次元DCT変
換部, 85 選択部, 91 水平1次元DCT係数
抽出部, 92 垂直1次元DCT係数抽出部, 93
水平ACパワー計算部, 94 垂直ACパワー計算
部, 101 上内積用1次元DCT係数抽出部, 1
02 下内積用1次元DCT係数抽出部, 103 左
内積用1次元DCT係数抽出部, 104 右内積用1
次元DCT係数抽出部,105 上内積演算部, 10
6 下内積演算部, 107 左内積演算部,108
右内積演算部, 111,112 比較部, 113
平坦性条件判定部, 114 連続性条件判定部, 1
15 境界部エッジ条件判定部, 116 クラスコー
ド作成部, 121,122 比較部, 123 クラ
スコード作成部, 131 予測タップ生成部, 13
2 タップ係数バッファ, 133 積和演算部, 1
41 教師データストレージ, 142 生徒データ生
成部, 143 生徒データストレージ, 144 予
測タップ生成部, 145 クラス分類部, 146
足し込み部, 147 タップ係数演算部, 151
MPEGエンコーダ, 152 分離部, 153 D
CT係数抽出/逆量子化部, 171 MPEGエンコ
ーダ, 172 分離部, 173 DCT係数抽出/
逆量子化部, 174 クラス分類部, 175 タッ
プ係数記憶部, 176 適応処理部, 177 Iピ
クチャストレージ, 178 動き補償部, 179
画像メモリ, 180 DCT変換部, 181 周波
数領域動き補償加算部, 191 MPEGエンコー
ダ, 192 分離部, 193 DCT係数抽出/逆
量子化部, 194 クラス分類部, 195 タップ
係数記憶部, 196 適応処理部, 197 Iピク
チャストレージ, 198 動き補償部, 199 画
像メモリ, 200 DCT変換部, 201周波数領
域動き補償加算部, 202 クラス分類部, 203
タップ係数記憶部, 204 適応処理部, 205
Pピクチャストレージ, 206 動き補償部, 2
07 画像メモリ, 208 DCT変換部, 209
周波数領域動き補償加算部, 221 学習用データ
ストレージ, 222 教師データ生成部, 223
生徒データ生成部, 301 MPEGデコーダ, 3
02 DCT変換部, 311 MPEGエンコーダ,
312 MPEGデコーダ, 401 バス, 40
2 CPU, 403 ROM, 404 RAM, 405
ハードディスク, 406 出力部, 407 入力
部, 408 通信部, 409 ドライブ, 410
入出力インタフェース, 411 リムーバブル記録
媒体
───────────────────────────────────────────────────── フロントページの続き (72)発明者 浜松 俊彦 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 大塚 秀樹 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 西片 丈晴 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 國弘 威 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 森藤 孝文 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 Fターム(参考) 5C057 EA02 EA07 EL01 EM04 EM09 GG01 5C059 KK03 KK04 MA00 MA04 MA05 MA14 MA23 MC11 MC30 MC34 ME01 PP05 PP06 PP07 PP25 UA02 UA05 UA33 5C078 AA04 BA32 BA57 CA02 CA21 DA01 5J064 AA01 BA16 BB14 BC01 BC08 BC14 BC16 BD03

Claims (99)

    【特許請求の範囲】
  1. 【請求項1】 画像データを、少なくとも2次元DCT
    (Discrete Cosine Transform)変換して得られる2次元
    DCT係数を含む符号化データを復号する画像処理装置
    であって、 前記2次元DCT係数を、1次元逆DCT変換すること
    により、1次元DCT係数を求める1次元逆DCT変換
    手段と、 前記1次元DCT係数に基づいて、前記画像データを構
    成する画素を、複数のクラスのうちのいずれかのクラス
    にクラス分けするクラス分類を行うクラス分類手段と、 前記クラス分類手段によるクラス分類の結果得られるク
    ラスごとに、前記符号化データを処理する処理手段とを
    備えることを特徴とする画像処理装置。
  2. 【請求項2】 前記符号化データは、前記画像データ
    を、所定のブロック単位で2次元DCT変換した前記2
    次元DCT係数を含み、 前記クラス分類手段は、注目している画素である注目画
    素を含むブロックである注目ブロックにおける前記1次
    元DCT係数に基づいて、前記注目画素のクラス分類を
    行うことを特徴とする請求項1に記載の画像処理装置。
  3. 【請求項3】 前記1次元逆DCT変換手段は、前記注
    目ブロックの2次元DCT係数を、水平方向の空間周波
    数成分を表す水平1次元DCT係数と、垂直方向の空間
    周波数成分を表す垂直1次元DCT係数に変換し、 前記クラス分類手段は、前記注目ブロックの水平1次元
    DCT係数のうちの、前記注目画素の位置に対応するも
    のと、前記注目ブロックの垂直1次元DCT係数のうち
    の、前記注目画素の位置に対応するものとに基づいて、
    前記注目画素のクラス分類を行うことを特徴とする請求
    項2に記載の画像処理装置。
  4. 【請求項4】 前記注目ブロックにおける前記注目画素
    の位置に対応する前記水平1次元DCT係数と垂直1次
    元DCT係数から、それぞれの交流成分のパワーを求め
    るパワー算出手段をさらに備え、 前記クラス分類手段は、前記交流成分のパワーに基づい
    て、前記注目画素のクラス分類を行うことを特徴とする
    請求項3に記載の画像処理装置。
  5. 【請求項5】 前記クラス分類手段は、前記注目ブロッ
    クにおける前記1次元DCT係数から、前記注目画素の
    アクティビティを求め、そのアクティビティに基づい
    て、前記注目画素のクラス分類を行うことを特徴とする
    請求項2に記載の画像処理装置。
  6. 【請求項6】 前記クラス分類手段は、前記1次元DC
    T係数の交流成分の自乗和を、前記アクティビティとし
    て求めることを特徴とする請求項5に記載の画像処理装
    置。
  7. 【請求項7】 前記クラス分類手段は、前記注目ブロッ
    クにおける前記1次元DCT係数と、その注目ブロック
    以外のブロックにおける前記1次元DCT係数に基づい
    て、前記注目画素のクラス分類を行うことを特徴とする
    請求項2に記載の画像処理装置。
  8. 【請求項8】 前記クラス分類手段は、前記注目ブロッ
    クにおける前記1次元DCT係数と、その注目ブロック
    に隣接するブロックである隣接ブロックにおける前記1
    次元DCT係数とに基づいて、前記注目画素のクラス分
    類を行うことを特徴とする請求項7に記載の画像処理装
    置。
  9. 【請求項9】 前記クラス分類手段は、前記注目ブロッ
    クにおける、前記隣接ブロックに隣接する前記1次元D
    CT係数と、前記隣接ブロックにおける、前記注目ブロ
    ックに隣接する前記1次元DCT係数とに基づいて、前
    記注目画素のクラス分類を行うことを特徴とする請求項
    8に記載の画像処理装置。
  10. 【請求項10】 前記クラス分類手段は、前記注目ブロ
    ックと空間上において隣接するブロックを、前記隣接ブ
    ロックとして、前記注目ブロックにおける、前記隣接ブ
    ロックに隣接する前記1次元DCT係数と、前記隣接ブ
    ロックにおける、前記注目ブロックに隣接する前記1次
    元DCT係数とに基づいて、前記注目画素のクラス分類
    を行うことを特徴とする請求項9に記載の画像処理装
    置。
  11. 【請求項11】 前記符号化データは、前記画像データ
    をMPEG(MovingPicture Experts Group)符号化した
    ものであり、 前記注目ブロックを含むマクロブロックである注目マク
    ロブロックのDCTタイプと、前記注目マクロブロック
    に隣接するマクロブロックのDCTタイプに基づいて、
    前記注目ブロックと空間上において隣接する前記隣接ブ
    ロックにおける、前記注目ブロックに隣接する前記1次
    元DCT係数を取得する隣接1次元DCT係数取得手段
    をさらに備えることを特徴とする請求項10に記載の画
    像処理装置。
  12. 【請求項12】 前記クラス分類手段は、前記注目ブロ
    ックにおける、前記隣接ブロックに隣接する前記1次元
    DCT係数の交流成分のパワーと、前記隣接ブロックに
    おける、前記注目ブロックに隣接する前記1次元DCT
    係数の交流成分のパワーとに基づいて、前記注目画素の
    クラス分類を行うことを特徴とする請求項9に記載の画
    像処理装置。
  13. 【請求項13】 前記クラス分類手段は、前記注目ブロ
    ックにおける、前記隣接ブロックに隣接する前記1次元
    DCT係数の直流成分と、前記隣接ブロックにおける、
    前記注目ブロックに隣接する前記1次元DCT係数の直
    流成分とに基づいて、前記注目画素のクラス分類を行う
    ことを特徴とする請求項9に記載の画像処理装置。
  14. 【請求項14】 前記注目ブロックにおける、前記隣接
    ブロックに隣接する前記1次元DCT係数をコンポーネ
    ントとするベクトルと、前記隣接ブロックにおける、前
    記注目ブロックに隣接する前記1次元DCT係数をコン
    ポーネントとするベクトルとの内積を求める内積演算手
    段をさらに備え、 前記クラス分類手段は、前記注目ブロックと隣接ブロッ
    クの前記1次元DCT係数から求められる内積に基づい
    て、前記注目画素のクラス分類を行うことを特徴とする
    請求項8に記載の画像処理装置。
  15. 【請求項15】 前記注目ブロックにおける前記1次元
    DCT係数と、前記隣接ブロックにおける前記1次元D
    CT係数とから、前記注目ブロックと隣接ブロックとの
    間の平坦性を判定する平坦性判定手段をさらに備え、 前記クラス分類手段は、前記注目ブロックと隣接ブロッ
    クとの間の平坦性に基づいて、前記注目画素のクラス分
    類を行うことを特徴とする請求項8に記載の画像処理装
    置。
  16. 【請求項16】 前記平坦性判定手段は、前記注目ブロ
    ックにおける、前記隣接ブロックに隣接する前記1次元
    DCT係数の交流成分のパワーと、前記隣接ブロックに
    おける、前記注目ブロックに隣接する前記1次元DCT
    係数の交流成分のパワーとに基づいて、前記注目ブロッ
    クと隣接ブロックとの間の平坦性を判定することを特徴
    とする請求項15に記載の画像処理装置。
  17. 【請求項17】 前記平坦性判定手段は、前記注目ブロ
    ックにおける、前記隣接ブロックに隣接する前記1次元
    DCT係数の直流成分と、前記隣接ブロックにおける、
    前記注目ブロックに隣接する前記1次元DCT係数の直
    流成分に基づいて、前記注目ブロックと隣接ブロックと
    の間の平坦性を判定することを特徴とする請求項15に
    記載の画像処理装置。
  18. 【請求項18】 前記注目ブロックにおける前記1次元
    DCT係数と、前記隣接ブロックにおける前記1次元D
    CT係数とから、前記注目ブロックと隣接ブロックとの
    間の連続性を判定する連続性判定手段をさらに備え、 前記クラス分類手段は、前記注目ブロックと隣接ブロッ
    クとの間の連続性に基づいて、前記注目画素のクラス分
    類を行うことを特徴とする請求項8に記載の画像処理装
    置。
  19. 【請求項19】 前記連続性判定手段は、前記注目ブロ
    ックにおける、前記隣接ブロックに隣接する前記1次元
    DCT係数をコンポーネントとするベクトルと、前記隣
    接ブロックにおける、前記注目ブロックに隣接する前記
    1次元DCT係数をコンポーネントとするベクトルとの
    内積に基づいて、前記注目ブロックと隣接ブロックとの
    間の連続性を判定することを特徴とする請求項18に記
    載の画像処理装置。
  20. 【請求項20】 前記画像データは、カラーの画像デー
    タであり、 前記クラス分類手段は、輝度信号の画素と、色信号の画
    素とを別にクラス分類することを特徴とする請求項1に
    記載の画像処理装置。
  21. 【請求項21】 前記クラス分類手段は、前記輝度信号
    の画素のクラス分類の結果を用いて、前記色信号の画素
    のクラス分類を行うことを特徴とする請求項20に記載
    の画像処理装置。
  22. 【請求項22】 前記符号化データは、前記画像データ
    をMPEG(MovingPicture Experts Group)符号化した
    ものであり、 前記クラス分類手段は、輝度信号のマクロブロックを構
    成するブロックの画素のクラス分類の結果を用いて、対
    応する色信号のマクロブロックを構成するブロックの画
    素のクラス分類を行うことを特徴とする請求項20に記
    載の画像処理装置。
  23. 【請求項23】 前記処理手段は、前記符号化データに
    含まれる前記2次元DCT係数を、画素値に変換するこ
    とを特徴とする請求項1に記載の画像処理装置。
  24. 【請求項24】 前記処理手段は、 所定の学習によって得られるクラスごとのタップ係数の
    うちの、注目している画素である注目画素のクラスに対
    応するものを取得する取得手段と、 前記取得手段によって取得された前記タップ係数との所
    定の予測演算に用いる予測タップを、前記2次元DCT
    係数から生成する予測タップ生成手段と、 前記注目画素のクラスのタップ係数と、前記予測タップ
    とを用いて、前記所定の予測演算を行うことにより、前
    記注目画素の画素値を求める予測演算手段とを有するこ
    とを特徴とする請求項23に記載の画像処理装置。
  25. 【請求項25】 前記タップ係数は、前記2次元DCT
    係数とタップ係数とを用いて予測演算を行うことにより
    得られる前記注目画素の画素値の予測値の予測誤差が統
    計的に最小になるように学習を行うことにより求められ
    たものであることを特徴とする請求項24に記載の画像
    処理装置。
  26. 【請求項26】 前記符号化データは、前記画像データ
    を、所定のブロック単位で2次元DCT変換した前記2
    次元DCT係数を含み、 前記予測タップ生成手段は、前記注目画素を含むブロッ
    クである注目ブロックの前記2次元DCT係数すべてを
    用いて、前記予測タップを生成することを特徴とする請
    求項24に記載の画像処理装置。
  27. 【請求項27】 前記取得手段は、前記注目画素のクラ
    スについて、前記ブロックにおける画素の位置ごとのタ
    ップ係数を取得し、 前記予測演算手段は、前記注目画素のクラスの、その注
    目画素の注目ブロックにおける位置に対応するタップ係
    数を用いて、前記所定の予測演算を行うことを特徴とす
    る請求項26に記載の画像処理装置。
  28. 【請求項28】 前記予測タップ生成手段は、前記注目
    ブロック以外のブロックの情報をも用いて、前記予測タ
    ップを生成することを特徴とする請求項26に記載の画
    像処理装置。
  29. 【請求項29】 前記予測タップ生成手段は、前記注目
    ブロックに隣接するブロックである隣接ブロックの情報
    をも用いて、前記予測タップを生成することを特徴とす
    る請求項28に記載の画像処理装置。
  30. 【請求項30】 前記予測タップ生成手段は、前記隣接
    ブロックの2次元DCT係数または1次元DCT係数を
    も用いて、前記予測タップを生成することを特徴とする
    請求項29に記載の画像処理装置。
  31. 【請求項31】 前記処理手段は、所定の学習によって
    得られるクラスごとのタップ係数のうちの、注目してい
    る画素である注目画素のクラスに対応するものを取得す
    る取得手段と、 前記取得手段によって取得された前記タップ係数との所
    定の予測演算に用いる予測タップを、前記2次元DCT
    係数から生成する予測タップ生成手段と、 前記注目画素のクラスのタップ係数と、前記予測タップ
    とを用いて、前記所定の予測演算を行うことにより、前
    記注目画素に対する新たな2次元DCT係数を求める予
    測演算手段と、 前記新たな2次元DCT係数を、2次元逆DCT変換す
    ることにより、前記注目画素の画素値を求める2次元逆
    DCT変換手段とを有することを特徴とする請求項1に
    記載の画像処理装置。
  32. 【請求項32】 前記タップ係数は、前記2次元DCT
    係数とタップ係数とを用いて予測演算を行うことにより
    得られる前記注目画素に対する新たな2次元DCT係数
    の予測値の予測誤差が統計的に最小になるように学習を
    行うことにより求められたものであることを特徴とする
    請求項31に記載の画像処理装置。
  33. 【請求項33】 前記符号化データは、前記画像データ
    を、所定のブロック単位で2次元DCT変換した前記2
    次元DCT係数を含み、 前記予測タップ生成手段は、前記注目画素を含むブロッ
    クである注目ブロックの前記2次元DCT係数すべてを
    用いて、前記予測タップを生成することを特徴とする請
    求項31に記載の画像処理装置。
  34. 【請求項34】 前記取得手段は、前記注目画素のクラ
    スについて、前記ブロックにおける画素の位置ごとのタ
    ップ係数を取得し、 前記予測演算手段は、前記注目画素のクラスの、その注
    目画素の注目ブロックにおける位置に対応するタップ係
    数を用いて、前記所定の予測演算を行うことを特徴とす
    る請求項33に記載の画像処理装置。
  35. 【請求項35】 前記予測タップ生成手段は、前記注目
    ブロック以外のブロックの情報をも用いて、前記予測タ
    ップを生成することを特徴とする請求項33に記載の画
    像処理装置。
  36. 【請求項36】 前記予測タップ生成手段は、前記注目
    ブロックに隣接するブロックである隣接ブロックの情報
    をも用いて、前記予測タップを生成することを特徴とす
    る請求項35に記載の画像処理装置。
  37. 【請求項37】 前記予測タップ生成手段は、前記隣接
    ブロックの2次元DCT係数または1次元DCT係数を
    も用いて、前記予測タップを生成することを特徴とする
    請求項36に記載の画像処理装置。
  38. 【請求項38】 前記符号化データを、前記画像データ
    に復号する復号手段と、 前記復号手段により復号された前記画像データを、2次
    元DCT変換することにより、2次元DCT係数を求め
    る2次元DCT変換手段とをさらに備え、 前記1次元逆DCT変換手段は、前記2次元DCT変換
    手段が出力する前記2次元DCT係数を、1次元逆DC
    T変換することにより、1次元DCT係数を求め、 前記クラス分類手段は、前記1次元DCT係数に基づい
    て、前記画像データを構成する画素を、複数のクラスの
    うちのいずれかのクラスにクラス分けするクラス分類を
    行い、 前記処理手段は、前記クラス分類手段によるクラス分類
    の結果得られるクラスごとに、前記符号化データから復
    号された前記画像データを処理することを特徴とする請
    求項1に記載の画像処理装置。
  39. 【請求項39】 前記処理手段は、 所定の学習によって得られるクラスごとのタップ係数の
    うちの、注目している画素である注目画素のクラスに対
    応するものを取得する取得手段と、 前記取得手段によって取得された前記タップ係数との所
    定の予測演算に用いる予測タップを、前記復号手段が出
    力する前記画像データを構成する画素から生成する予測
    タップ生成手段と、 前記注目画素のクラスのタップ係数と、前記予測タップ
    とを用いて、前記所定の予測演算を行うことにより、前
    記注目画素の画素値を求める予測演算手段とを有するこ
    とを特徴とする請求項38に記載の画像処理装置。
  40. 【請求項40】 前記タップ係数は、前記予測タップと
    タップ係数とを用いて予測演算を行うことにより得られ
    る前記注目画素の画素値の予測値の予測誤差が統計的に
    最小になるように学習を行うことにより求められたもの
    であることを特徴とする請求項39に記載の画像処理装
    置。
  41. 【請求項41】 前記符号化データは、前記画像データ
    を、所定のブロック単位で2次元DCT変換した前記2
    次元DCT係数を含み、 前記予測タップ生成手段は、前記注目画素を含むブロッ
    クである注目ブロックの画素すべてを用いて、前記予測
    タップを生成することを特徴とする請求項39に記載の
    画像処理装置。
  42. 【請求項42】 前記取得手段は、前記注目画素のクラ
    スについて、前記ブロックにおける画素の位置ごとのタ
    ップ係数を取得し、 前記予測演算手段は、前記注目画素のクラスの、その注
    目画素の注目ブロックにおける位置に対応するタップ係
    数を用いて、前記所定の予測演算を行うことを特徴とす
    る請求項41に記載の画像処理装置。
  43. 【請求項43】 前記予測タップ生成手段は、前記注目
    ブロック以外のブロックの情報をも用いて、前記予測タ
    ップを生成することを特徴とする請求項41に記載の画
    像処理装置。
  44. 【請求項44】 前記予測タップ生成手段は、前記注目
    ブロックに隣接するブロックである隣接ブロックの情報
    をも用いて、前記予測タップを生成することを特徴とす
    る請求項43に記載の画像処理装置。
  45. 【請求項45】 前記予測タップ生成手段は、前記隣接
    ブロックの2次元DCT係数または1次元DCT係数を
    も用いて、前記予測タップを生成することを特徴とする
    請求項44に記載の画像処理装置。
  46. 【請求項46】 前記符号化データは、前記画像データ
    から、その予測画像を減算して得られる残差画像を2次
    元DCT変換した2次元DCT係数を含み、 前記処理手段が前記符号化データを処理することにより
    得られる、前記画像データの復号画像から、前記予測画
    像を生成する予測画像生成手段と、 前記予測画像を2次元DCT変換し、2次元DCT係数
    を出力する2次元DCT変換手段と、 前記残差画像の2次元DCT係数と、対応する前記予測
    画像の2次元DCT係数とを加算し、元の画像の2次元
    DCT係数を求める加算手段とをさらに備え、 前記1次元逆DCT変換手段は、前記元の画像の2次元
    DCT係数を、1次元DCT係数に変換することを特徴
    とする請求項1に記載の画像処理装置。
  47. 【請求項47】 前記予測画像生成手段は、前記画像デ
    ータの復号画像を参照画像として、動き補償を施すこと
    により、前記予測画像を生成することを特徴とする請求
    項46に記載の画像処理装置。
  48. 【請求項48】 画像データを、少なくとも2次元DC
    T(Discrete CosineTransform)変換して得られる2次元
    DCT係数を含む符号化データを復号する画像処理方法
    であって、 前記2次元DCT係数を、1次元逆DCT変換すること
    により、1次元DCT係数を求める1次元逆DCT変換
    ステップと、 前記1次元DCT係数に基づいて、前記画像データを構
    成する画素を、複数のクラスのうちのいずれかのクラス
    にクラス分けするクラス分類を行うクラス分類ステップ
    と、 前記クラス分類ステップによるクラス分類の結果得られ
    るクラスごとに、前記符号化データを処理する処理ステ
    ップとを備えることを特徴とする画像処理方法。
  49. 【請求項49】 画像データを、少なくとも2次元DC
    T(Discrete CosineTransform)変換して得られる2次元
    DCT係数を含む符号化データを復号する画像処理を、
    コンピュータに行わせるプログラムであって、 前記2次元DCT係数を、1次元逆DCT変換すること
    により、1次元DCT係数を求める1次元逆DCT変換
    ステップと、 前記1次元DCT係数に基づいて、前記画像データを構
    成する画素を、複数のクラスのうちのいずれかのクラス
    にクラス分けするクラス分類を行うクラス分類ステップ
    と、 前記クラス分類ステップによるクラス分類の結果得られ
    るクラスごとに、前記符号化データを処理する処理ステ
    ップとを備えることを特徴とするプログラム。
  50. 【請求項50】 画像データを、少なくとも2次元DC
    T(Discrete CosineTransform)変換して得られる2次元
    DCT係数を含む符号化データを復号する画像処理を、
    コンピュータに行わせるプログラムが記録されている記
    録媒体であって、 前記2次元DCT係数を、1次元逆DCT変換すること
    により、1次元DCT係数を求める1次元逆DCT変換
    ステップと、 前記1次元DCT係数に基づいて、前記画像データを構
    成する画素を、複数のクラスのうちのいずれかのクラス
    にクラス分けするクラス分類を行うクラス分類ステップ
    と、 前記クラス分類ステップによるクラス分類の結果得られ
    るクラスごとに、前記符号化データを処理する処理ステ
    ップとを備えるプログラムが記録されていることを特徴
    とする記録媒体。
  51. 【請求項51】 画像データを、少なくとも2次元DC
    T(Discrete CosineTransform)変換して得られる2次元
    DCT係数を含む符号化データを復号するのに用いるタ
    ップ係数を学習する画像処理装置であって、 学習用の画像データを、少なくとも2次元DCT変換す
    ることにより符号化し、2次元DCT係数を含む符号化
    データを出力する符号化手段と、 前記符号化データに含まれる2次元DCT係数を、1次
    元逆DCT変換することにより、1次元DCT係数を求
    める1次元逆DCT変換手段と、 前記学習用の画像データから得られる、学習の教師とな
    る教師データを、前記1次元DCT係数に基づいて、複
    数のクラスのうちのいずれかのクラスにクラス分けする
    クラス分類を行うクラス分類手段と、 前記教師データと、前記学習用の画像データから得られ
    る、学習の生徒となる生徒データとを用いて、前記教師
    データのクラスごとに学習を行うことにより、前記クラ
    スごとの前記タップ係数を求める学習手段とを備えるこ
    とを特徴とする画像処理装置。
  52. 【請求項52】 前記学習手段は、前記タップ係数と前
    記生徒データとを用いて予測演算を行うことにより得ら
    れる前記教師データの予測値の予測誤差が統計的に最小
    になるように学習を行うことにより、前記タップ係数を
    求めることを特徴とする請求項51に記載の画像処理装
    置。
  53. 【請求項53】 前記符号化手段は、前記学習用の画像
    データを、所定のブロック単位で2次元DCT変換する
    ことにより符号化し、 前記クラス分類手段は、前記学習用の画像データを構成
    する画素を前記教師データとして、注目している教師デ
    ータである注目教師データを含むブロックである注目ブ
    ロックにおける前記1次元DCT係数に基づいて、前記
    注目教師データのクラス分類を行うことを特徴とする請
    求項51に記載の画像処理装置。
  54. 【請求項54】 前記1次元逆DCT変換手段は、前記
    注目ブロックの2次元DCT係数を、水平方向の空間周
    波数成分を表す水平1次元DCT係数と、垂直方向の空
    間周波数成分を表す垂直1次元DCT係数に変換し、 前記クラス分類手段は、前記注目ブロックの水平1次元
    DCT係数のうちの、前記注目教師データの位置に対応
    するものと、前記注目ブロックの垂直1次元DCT係数
    のうちの、前記注目教師データの位置に対応するものと
    に基づいて、前記注目教師データのクラス分類を行うこ
    とを特徴とする請求項53に記載の画像処理装置。
  55. 【請求項55】 前記注目ブロックにおける前記注目教
    師データの位置に対応する前記水平1次元DCT係数と
    垂直1次元DCT係数から、それぞれの交流成分のパワ
    ーを求めるパワー算出手段をさらに備え、 前記クラス分類手段は、前記交流成分のパワーに基づい
    て、前記注目教師データのクラス分類を行うことを特徴
    とする請求項54に記載の画像処理装置。
  56. 【請求項56】 前記クラス分類手段は、前記注目ブロ
    ックにおける前記1次元DCT係数から、前記注目教師
    データのアクティビティを求め、そのアクティビティに
    基づいて、前記注目教師データのクラス分類を行うこと
    を特徴とする請求項53に記載の画像処理装置。
  57. 【請求項57】 前記クラス分類手段は、前記1次元D
    CT係数の交流成分の自乗和を、前記アクティビティと
    して求めることを特徴とする請求項56に記載の画像処
    理装置。
  58. 【請求項58】 前記クラス分類手段は、前記注目ブロ
    ックにおける前記1次元DCT係数と、その注目ブロッ
    ク以外のブロックにおける前記1次元DCT係数に基づ
    いて、前記注目教師データのクラス分類を行うことを特
    徴とする請求項53に記載の画像処理装置。
  59. 【請求項59】 前記クラス分類手段は、前記注目ブロ
    ックにおける前記1次元DCT係数と、その注目ブロッ
    クに隣接するブロックである隣接ブロックにおける前記
    1次元DCT係数とに基づいて、前記注目教師データの
    クラス分類を行うことを特徴とする請求項58に記載の
    画像処理装置。
  60. 【請求項60】 前記クラス分類手段は、前記注目ブロ
    ックにおける、前記隣接ブロックに隣接する前記1次元
    DCT係数と、前記隣接ブロックにおける、前記注目ブ
    ロックに隣接する前記1次元DCT係数とに基づいて、
    前記注目教師データのクラス分類を行うことを特徴とす
    る請求項59に記載の画像処理装置。
  61. 【請求項61】 前記クラス分類手段は、前記注目ブロ
    ックと空間上において隣接するブロックを、前記隣接ブ
    ロックとして、前記注目ブロックにおける、前記隣接ブ
    ロックに隣接する前記1次元DCT係数と、前記隣接ブ
    ロックにおける、前記注目ブロックに隣接する前記1次
    元DCT係数とに基づいて、前記注目教師データのクラ
    ス分類を行うことを特徴とする請求項60に記載の画像
    処理装置。
  62. 【請求項62】 前記符号化手段が、前記学習用の画像
    データをMPEG(Moving Picture Experts Group)符号
    化する場合において、 前記注目ブロックを含むマクロブロックである注目マク
    ロブロックのDCTタイプと、前記注目マクロブロック
    に隣接するマクロブロックのDCTタイプに基づいて、
    前記注目ブロックと空間上において隣接する前記隣接ブ
    ロックにおける、前記注目ブロックに隣接する前記1次
    元DCT係数を取得する隣接1次元DCT係数取得手段
    をさらに備えることを特徴とする請求項61に記載の画
    像処理装置。
  63. 【請求項63】 前記クラス分類手段は、前記注目ブロ
    ックにおける、前記隣接ブロックに隣接する前記1次元
    DCT係数の交流成分のパワーと、前記隣接ブロックに
    おける、前記注目ブロックに隣接する前記1次元DCT
    係数の交流成分のパワーとに基づいて、前記注目教師デ
    ータのクラス分類を行うことを特徴とする請求項60に
    記載の画像処理装置。
  64. 【請求項64】 前記クラス分類手段は、前記注目ブロ
    ックにおける、前記隣接ブロックに隣接する前記1次元
    DCT係数の直流成分と、前記隣接ブロックにおける、
    前記注目ブロックに隣接する前記1次元DCT係数の直
    流成分とに基づいて、前記注目教師データのクラス分類
    を行うことを特徴とする請求項60に記載の画像処理装
    置。
  65. 【請求項65】 前記注目ブロックにおける、前記隣接
    ブロックに隣接する前記1次元DCT係数をコンポーネ
    ントとするベクトルと、前記隣接ブロックにおける、前
    記注目ブロックに隣接する前記1次元DCT係数をコン
    ポーネントとするベクトルとの内積を求める内積演算手
    段をさらに備え、 前記クラス分類手段は、前記注目ブロックと隣接ブロッ
    クの前記1次元DCT係数から求められる内積に基づい
    て、前記注目教師データのクラス分類を行うことを特徴
    とする請求項59に記載の画像処理装置。
  66. 【請求項66】 前記注目ブロックにおける前記1次元
    DCT係数と、前記隣接ブロックにおける前記1次元D
    CT係数とから、前記注目ブロックと隣接ブロックとの
    間の平坦性を判定する平坦性判定手段をさらに備え、 前記クラス分類手段は、前記注目ブロックと隣接ブロッ
    クとの間の平坦性に基づいて、前記注目教師データのク
    ラス分類を行うことを特徴とする請求項59に記載の画
    像処理装置。
  67. 【請求項67】 前記平坦性判定手段は、前記注目ブロ
    ックにおける、前記隣接ブロックに隣接する前記1次元
    DCT係数の交流成分のパワーと、前記隣接ブロックに
    おける、前記注目ブロックに隣接する前記1次元DCT
    係数の交流成分のパワーとに基づいて、前記注目ブロッ
    クと隣接ブロックとの間の平坦性を判定することを特徴
    とする請求項66に記載の画像処理装置。
  68. 【請求項68】 前記平坦性判定手段は、前記注目ブロ
    ックにおける、前記隣接ブロックに隣接する前記1次元
    DCT係数の直流成分と、前記隣接ブロックにおける、
    前記注目ブロックに隣接する前記1次元DCT係数の直
    流成分に基づいて、前記注目ブロックと隣接ブロックと
    の間の平坦性を判定することを特徴とする請求項66に
    記載の画像処理装置。
  69. 【請求項69】 前記注目ブロックにおける前記1次元
    DCT係数と、前記隣接ブロックにおける前記1次元D
    CT係数とから、前記注目ブロックと隣接ブロックとの
    間の連続性を判定する連続性判定手段をさらに備え、 前記クラス分類手段は、前記注目ブロックと隣接ブロッ
    クとの間の連続性に基づいて、前記注目教師データのク
    ラス分類を行うことを特徴とする請求項59に記載の画
    像処理装置。
  70. 【請求項70】 前記連続性判定手段は、前記注目ブロ
    ックにおける、前記隣接ブロックに隣接する前記1次元
    DCT係数をコンポーネントとするベクトルと、前記隣
    接ブロックにおける、前記注目ブロックに隣接する前記
    1次元DCT係数をコンポーネントとするベクトルとの
    内積に基づいて、前記注目ブロックと隣接ブロックとの
    間の連続性を判定することを特徴とする請求項69に記
    載の画像処理装置。
  71. 【請求項71】 前記学習用の画像データは、カラーの
    画像データであり、 前記クラス分類手段は、輝度信号の画素である前記教師
    データと、色信号の画素である前記教師データとを別に
    クラス分類することを特徴とする請求項51に記載の画
    像処理装置。
  72. 【請求項72】 前記クラス分類手段は、前記輝度信号
    の画素のクラス分類の結果を用いて、前記色信号の画素
    のクラス分類を行うことを特徴とする請求項71に記載
    の画像処理装置。
  73. 【請求項73】 前記符号化手段が、前記学習用の画像
    データをMPEG(Moving Picture Experts Group)符号
    化する場合において、 前記クラス分類手段は、輝度信号のマクロブロックを構
    成するブロックの画素のクラス分類の結果を用いて、対
    応する色信号のマクロブロックを構成するブロックの画
    素のクラス分類を行うことを特徴とする請求項71に記
    載の画像処理装置。
  74. 【請求項74】 前記学習手段は、前記学習用の画像デ
    ータを教師データとするとともに、前記符号化手段が出
    力する符号化データに含まれる2次元DCT係数を生徒
    データとして、学習を行うことを特徴とする請求項51
    に記載の画像処理装置。
  75. 【請求項75】 前記学習手段は、 注目している前記教師データである注目教師データを予
    測するのに前記タップ係数とともに用いる前記生徒デー
    タを、予測タップとして抽出して出力する予測タップ生
    成手段と、 前記予測タップおよびタップ係数を用いて予測演算を行
    うことにより得られる前記注目教師データの予測値の予
    測誤差を、統計的に最小にする前記タップ係数を求める
    タップ係数演算手段とを有することを特徴とする請求項
    74に記載の画像処理装置。
  76. 【請求項76】 前記符号化手段は、前記学習用の画像
    データを、所定のブロック単位で2次元DCT変換して
    得られる符号化データに含まれる2次元DCT係数を、
    前記生徒データとして出力し、 前記予測タップ生成手段は、注目している教師データで
    ある注目教師データを含むブロックである注目ブロック
    の生徒データである2次元DCT係数すべてを用いて、
    前記予測タップを生成することを特徴とする請求項75
    に記載の画像処理装置。
  77. 【請求項77】 前記タップ係数演算手段は、前記予測
    タップおよびタップ係数を用いて予測演算を行うことに
    より得られる前記注目教師データの予測値の予測誤差
    を、統計的に最小にする前記タップ係数を、前記教師デ
    ータのクラスごとに、かつ前記教師データの前記ブロッ
    クにおける位置ごとに求めることを特徴とする請求項7
    6に記載の画像処理装置。
  78. 【請求項78】 前記予測タップ生成手段は、前記注目
    ブロック以外のブロックの情報をも用いて、前記予測タ
    ップを生成することを特徴とする請求項76に記載の画
    像処理装置。
  79. 【請求項79】 前記予測タップ生成手段は、前記注目
    ブロックに隣接するブロックである隣接ブロックの情報
    をも用いて、前記予測タップを生成することを特徴とす
    る請求項78に記載の画像処理装置。
  80. 【請求項80】 前記予測タップ生成手段は、前記隣接
    ブロックの2次元DCT係数または1次元DCT係数を
    も用いて、前記予測タップを生成することを特徴とする
    請求項79に記載の画像処理装置。
  81. 【請求項81】 前記学習手段は、前記学習用の画像デ
    ータを2次元DCT変換して得られる2次元DCT係数
    を教師データとするとともに、前記符号化手段が出力す
    る符号化データに含まれる2次元DCT係数を生徒デー
    タとして、学習を行うことを特徴とする請求項51に記
    載の画像処理装置。
  82. 【請求項82】 前記学習手段は、 注目している前記教師データである注目教師データを予
    測するのに前記タップ係数とともに用いる前記生徒デー
    タを、予測タップとして抽出して出力する予測タップ生
    成手段と、 前記予測タップおよびタップ係数を用いて予測演算を行
    うことにより得られる前記注目教師データの予測値の予
    測誤差を、統計的に最小にする前記タップ係数を求める
    タップ係数演算手段とを有することを特徴とする請求項
    81に記載の画像処理装置。
  83. 【請求項83】 前記符号化データは、前記画像データ
    を、所定のブロック単位で2次元DCT変換した前記2
    次元DCT係数を含み、 前記予測タップ生成手段は、前記注目教師データを含む
    ブロックである注目ブロックの前記2次元DCT係数す
    べてを用いて、前記予測タップを生成することを特徴と
    する請求項82に記載の画像処理装置。
  84. 【請求項84】 前記タップ係数演算手段は、前記予測
    タップおよびタップ係数を用いて予測演算を行うことに
    より得られる前記注目教師データの予測値の予測誤差
    を、統計的に最小にする前記タップ係数を、前記教師デ
    ータのクラスごとに、かつ前記教師データの前記ブロッ
    クにおける位置ごとに求めることを特徴とする請求項8
    3に記載の画像処理装置。
  85. 【請求項85】 前記予測タップ生成手段は、前記注目
    ブロック以外のブロックの情報をも用いて、前記予測タ
    ップを生成することを特徴とする請求項83に記載の画
    像処理装置。
  86. 【請求項86】 前記予測タップ生成手段は、前記注目
    ブロックに隣接するブロックである隣接ブロックの情報
    をも用いて、前記予測タップを生成することを特徴とす
    る請求項85に記載の画像処理装置。
  87. 【請求項87】 前記予測タップ生成手段は、前記隣接
    ブロックの2次元DCT係数または1次元DCT係数を
    も用いて、前記予測タップを生成することを特徴とする
    請求項86に記載の画像処理装置。
  88. 【請求項88】 前記学習手段は、前記学習用の画像デ
    ータを教師データとするとともに、前記符号化手段が出
    力する符号化データを復号した復号画像データを生徒デ
    ータとして、学習を行うことを特徴とする請求項51に
    記載の画像処理装置。
  89. 【請求項89】 前記学習手段は、 注目している前記教師データである注目教師データを予
    測するのに前記タップ係数とともに用いる前記生徒デー
    タを、予測タップとして抽出して出力する予測タップ生
    成手段と、 前記予測タップおよびタップ係数を用いて予測演算を行
    うことにより得られる前記注目教師データの予測値の予
    測誤差を、統計的に最小にする前記タップ係数を求める
    タップ係数演算手段とを有することを特徴とする請求項
    88に記載の画像処理装置。
  90. 【請求項90】 前記符号化データは、前記画像データ
    を、所定のブロック単位で2次元DCT変換した前記2
    次元DCT係数を含み、 前記予測タップ生成手段は、前記注目教師データを含む
    ブロックである注目ブロックの画素すべてを用いて、前
    記予測タップを生成することを特徴とする請求項89に
    記載の画像処理装置。
  91. 【請求項91】 前記タップ係数演算手段は、前記予測
    タップおよびタップ係数を用いて予測演算を行うことに
    より得られる前記注目教師データの予測値の予測誤差
    を、統計的に最小にする前記タップ係数を、前記教師デ
    ータのクラスごとに、かつ前記教師データの前記ブロッ
    クにおける位置ごとに求めることを特徴とする請求項9
    0に記載の画像処理装置。
  92. 【請求項92】 前記予測タップ生成手段は、前記注目
    ブロック以外のブロックの情報をも用いて、前記予測タ
    ップを生成することを特徴とする請求項90に記載の画
    像処理装置。
  93. 【請求項93】 前記予測タップ生成手段は、前記注目
    ブロックに隣接するブロックである隣接ブロックの情報
    をも用いて、前記予測タップを生成することを特徴とす
    る請求項92に記載の画像処理装置。
  94. 【請求項94】 前記予測タップ生成手段は、前記隣接
    ブロックの2次元DCT係数または1次元DCT係数を
    も用いて、前記予測タップを生成することを特徴とする
    請求項93に記載の画像処理装置。
  95. 【請求項95】 前記符号化手段は、前記画像データか
    ら、その予測画像を減算して得られる残差画像を2次元
    DCT変換した2次元DCT係数を少なくとも含む符号
    化データを出力し、 前記符号化データを復号し、復号画像を出力する復号手
    段と、 前記復号画像から、前記予測画像を生成する予測画像生
    成手段と、 前記予測画像を2次元DCT変換し、2次元DCT係数
    を出力する2次元DCT変換手段と、 前記残差画像の2次元DCT係数と、対応する前記予測
    画像の2次元DCT係数とを加算し、元の画像の2次元
    DCT係数を求める加算手段とをさらに備え、 前記1次元逆DCT変換手段は、前記元の画像の2次元
    DCT係数を、1次元DCT係数に変換することを特徴
    とする請求項51に記載の画像処理装置。
  96. 【請求項96】 前記予測画像生成手段は、前記復号画
    像を参照画像として、動き補償を施すことにより、前記
    予測画像を生成することを特徴とする請求項95に記載
    の画像処理装置。
  97. 【請求項97】 画像データを、少なくとも2次元DC
    T(Discrete CosineTransform)変換して得られる2次元
    DCT係数を含む符号化データを復号するのに用いるタ
    ップ係数を学習する画像処理方法であって、 学習用の画像データを、少なくとも2次元DCT変換す
    ることにより符号化し、2次元DCT係数を含む符号化
    データを出力する符号化ステップと、 前記符号化データに含まれる2次元DCT係数を、1次
    元逆DCT変換することにより、1次元DCT係数を求
    める1次元逆DCT変換ステップと、 前記学習用の画像データから得られる、学習の教師とな
    る教師データを、前記1次元DCT係数に基づいて、複
    数のクラスのうちのいずれかのクラスにクラス分けする
    クラス分類を行うクラス分類ステップと、 前記教師データと、前記学習用の画像データから得られ
    る、学習の生徒となる生徒データとを用いて、前記教師
    データのクラスごとに学習を行うことにより、前記クラ
    スごとの前記タップ係数を求める学習ステップとを備え
    ることを特徴とする画像処理方法。
  98. 【請求項98】 画像データを、少なくとも2次元DC
    T(Discrete CosineTransform)変換して得られる2次元
    DCT係数を含む符号化データを復号するのに用いるタ
    ップ係数を学習する画像処理を、コンピュータに行わせ
    るプログラムであって、 学習用の画像データを、少なくとも2次元DCT変換す
    ることにより符号化し、2次元DCT係数を含む符号化
    データを出力する符号化ステップと、 前記符号化データに含まれる2次元DCT係数を、1次
    元逆DCT変換することにより、1次元DCT係数を求
    める1次元逆DCT変換ステップと、 前記学習用の画像データから得られる、学習の教師とな
    る教師データを、前記1次元DCT係数に基づいて、複
    数のクラスのうちのいずれかのクラスにクラス分けする
    クラス分類を行うクラス分類ステップと、 前記教師データと、前記学習用の画像データから得られ
    る、学習の生徒となる生徒データとを用いて、前記教師
    データのクラスごとに学習を行うことにより、前記クラ
    スごとの前記タップ係数を求める学習ステップとを備え
    ることを特徴とするプログラム。
  99. 【請求項99】 画像データを、少なくとも2次元DC
    T(Discrete CosineTransform)変換して得られる2次元
    DCT係数を含む符号化データを復号するのに用いるタ
    ップ係数を学習する画像処理を、コンピュータに行わせ
    るプログラムが記録されている記録媒体であって、 学習用の画像データを、少なくとも2次元DCT変換す
    ることにより符号化し、2次元DCT係数を含む符号化
    データを出力する符号化ステップと、 前記符号化データに含まれる2次元DCT係数を、1次
    元逆DCT変換することにより、1次元DCT係数を求
    める1次元逆DCT変換ステップと、 前記学習用の画像データから得られる、学習の教師とな
    る教師データを、前記1次元DCT係数に基づいて、複
    数のクラスのうちのいずれかのクラスにクラス分けする
    クラス分類を行うクラス分類ステップと、 前記教師データと、前記学習用の画像データから得られ
    る、学習の生徒となる生徒データとを用いて、前記教師
    データのクラスごとに学習を行うことにより、前記クラ
    スごとの前記タップ係数を求める学習ステップとを備え
    るプログラムが記録されていることを特徴とする記録媒
    体。
JP2002061399A 2002-03-07 2002-03-07 画像処理装置および画像処理方法、並びにプログラムおよび記録媒体 Expired - Fee Related JP4154902B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002061399A JP4154902B2 (ja) 2002-03-07 2002-03-07 画像処理装置および画像処理方法、並びにプログラムおよび記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002061399A JP4154902B2 (ja) 2002-03-07 2002-03-07 画像処理装置および画像処理方法、並びにプログラムおよび記録媒体

Publications (3)

Publication Number Publication Date
JP2003264832A true JP2003264832A (ja) 2003-09-19
JP2003264832A5 JP2003264832A5 (ja) 2005-08-25
JP4154902B2 JP4154902B2 (ja) 2008-09-24

Family

ID=29195728

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002061399A Expired - Fee Related JP4154902B2 (ja) 2002-03-07 2002-03-07 画像処理装置および画像処理方法、並びにプログラムおよび記録媒体

Country Status (1)

Country Link
JP (1) JP4154902B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004010706A1 (ja) * 2002-07-19 2004-01-29 Sony Corporation 情報信号処理装置、情報信号処理方法、画像信号処理装置および画像表示装置、それに使用される補正データの生成装置および生成方法、係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体
JP5885886B2 (ja) * 2013-06-04 2016-03-16 三菱電機株式会社 画像解析装置及び画像解析方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3360627B1 (de) 2017-02-08 2022-01-05 Heraeus Deutschland GmbH & Co. KG Pulver zur verwendung in einem additiven fertigungsverfahren

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004010706A1 (ja) * 2002-07-19 2004-01-29 Sony Corporation 情報信号処理装置、情報信号処理方法、画像信号処理装置および画像表示装置、それに使用される補正データの生成装置および生成方法、係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体
US7991054B2 (en) 2002-07-19 2011-08-02 Sony Corporation Information signal processing device, information signal processing method, image signal processing device, image displaying device, device and method for producing correction data used in them, device and method for producing coefficient data, programs for executing these methods, and computer-readable medium for storing the program
JP5885886B2 (ja) * 2013-06-04 2016-03-16 三菱電機株式会社 画像解析装置及び画像解析方法
JPWO2014196118A1 (ja) * 2013-06-04 2017-02-23 三菱電機株式会社 画像解析装置及び画像解析方法

Also Published As

Publication number Publication date
JP4154902B2 (ja) 2008-09-24

Similar Documents

Publication Publication Date Title
Thyagarajan Still image and video compression with MATLAB
Kim et al. Hierarchical prediction and context adaptive coding for lossless color image compression
US7289671B2 (en) Data processing apparatus and method and recording medium
US10893276B2 (en) Image encoding device and method
US7876323B2 (en) Display apparatus and display method, learning apparatus and learning method, and programs therefor
JP2008054267A (ja) 画像処理装置、画像符号化装置及び画像復号化装置
US9438920B2 (en) Picture encoding method, picture encoding apparatus, picture decoding method and picture decoding apparatus
US20090180700A1 (en) De-blocking filter and method for de-blocking filtering of video data
EP1501296A1 (en) Data converting apparatus, data converting method, learning apparatus, leaning method, program, and recording medium
JP4154902B2 (ja) 画像処理装置および画像処理方法、並びにプログラムおよび記録媒体
JP2006246351A (ja) 画像符号化装置および画像復号化装置
JP4154647B2 (ja) データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体
JP4055203B2 (ja) データ処理装置およびデータ処理方法、記録媒体、並びにプログラム
JP4154903B2 (ja) 画像処理装置および画像処理方法、並びにプログラムおよび記録媒体
JP4147789B2 (ja) 画像処理装置および画像処理方法、並びにプログラムおよび記録媒体
JP4770704B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP4081745B2 (ja) 復号装置および復号方法、学習装置および学習方法、並びにプログラムおよび記録媒体
JP4517448B2 (ja) データ処理装置およびデータ処理方法、並びに記録媒体
JP2002010256A (ja) 画像処理装置および画像処理方法、並びに記録媒体
JP4505729B2 (ja) 画像処理装置、画像処理方法、プログラム、および記録媒体
JP4000589B2 (ja) 復号装置および復号方法、並びにプログラムおよび記録媒体
JP2001320587A (ja) データ処理装置およびデータ処理方法、並びに記録媒体
JP2008118519A (ja) 画像変換装置及び画像変換方法、学習装置及び学習方法、並びにプログラム
JP4678454B2 (ja) データ処理装置およびデータ処理方法、並びに記録媒体
JP3869303B2 (ja) 画像復号化方法及び装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050210

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080104

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080327

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080617

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080630

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120718

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120718

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130718

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees