JP2003264832A - 画像処理装置および画像処理方法、並びにプログラムおよび記録媒体 - Google Patents
画像処理装置および画像処理方法、並びにプログラムおよび記録媒体Info
- Publication number
- JP2003264832A JP2003264832A JP2002061399A JP2002061399A JP2003264832A JP 2003264832 A JP2003264832 A JP 2003264832A JP 2002061399 A JP2002061399 A JP 2002061399A JP 2002061399 A JP2002061399 A JP 2002061399A JP 2003264832 A JP2003264832 A JP 2003264832A
- Authority
- JP
- Japan
- Prior art keywords
- block
- dimensional dct
- dimensional
- adjacent
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Color Television Systems (AREA)
Abstract
する。 【解決手段】 前処理部11は、MPEGストリーム中
の2次元DCT係数を逆量子化して出力する。クラス分
類部13は、前処理部11が出力する2次元DCT係数
を、1次元逆DCT変換することにより、1次元DCT
係数を求め、その1次元DCT係数に基づいて、画像デ
ータを構成する画素を、複数のクラスのうちのいずれか
のクラスにクラス分けするクラス分類を行う。タップ係
数記憶部14は、クラス分類部13が出力するクラスに
対応するタップ係数を取得して出力し、画像再構成部1
5は、前処理部11が出力する2次元DCT係数と、タ
ップ係数記憶部14が出力するタップ係数とを用いた線
形1次予測演算を行うことにより、復号画像を求める。
Description
び画像処理方法、並びにプログラムおよび記録媒体に関
し、特に、例えば、画像データをMPEG符号化した符
号化データを、高画質の画像データに復号することがで
きるようにする画像処理装置および画像処理方法、並び
にプログラムおよび記録媒体に関する。
p)1や2等の符号化方式では、画像データが、8×8画
素のブロック単位で、DCT(Discrete Cosine Transfo
rm)変換され、さらに量子化されることにより、符号化
データとされる。このため、MPEGの規格に準拠した
MPEGデコーダでは、符号化データが、逆量子化さ
れ、さらに逆DCT変換されることにより復号される。
画像データが、ブロック単位でDCT変換され、その結
果得られるDCT係数が量子化されるため、MPEGの
規格に準拠したMPEGデコーダにおいて得られる復号
画像には、符号化時の量子化の影響により、ブロック歪
みやモスキートノイズといった各種の歪みが生じる。
しては、例えば、特開平11−187400号公報や特
開平11−205792号公報に記載されているよう
に、復号画像に対して後処理を施すことにより、その復
号画像に生じている歪みを検知して補正する方法があ
る。
ように、歪みを検知して補正する方法では、ブロック境
界の位置を検出する必要がある。さらに、符号化データ
がMPEG2方式で、画像データを符号化したものであ
る場合には、マクロブロック単位で設定可能なDCTタ
イプが、フレームDCTまたはフィールドDCTのうち
のいずれであったかを判別する必要もある。従って、ブ
ロック境界の位置の検出や、DCTタイプの判別を誤る
と、復号画像に生じている歪みを、十分に除去すること
が困難なことがある。
歪み波形の基底をなすコサイン波形の位相とは無関係
に、補正のためのフィルタ処理を施すものとなってお
り、従って、必ずしも、最適な歪み除去方式とは言えな
い。
たものであり、各種の歪みを十分に低減した高画質の復
号画像を得ることができるようにするものである。
装置は、2次元DCT係数を、1次元逆DCT変換する
ことにより、1次元DCT係数を求める1次元逆DCT
変換手段と、1次元DCT係数に基づいて、画像データ
を構成する画素を、複数のクラスのうちのいずれかのク
ラスにクラス分けするクラス分類を行うクラス分類手段
と、クラス分類手段によるクラス分類の結果得られるク
ラスごとに、符号化データを処理する処理手段とを備え
ることを特徴とする。
CT係数を、1次元逆DCT変換することにより、1次
元DCT係数を求める1次元逆DCT変換ステップと、
1次元DCT係数に基づいて、画像データを構成する画
素を、複数のクラスのうちのいずれかのクラスにクラス
分けするクラス分類を行うクラス分類ステップと、クラ
ス分類ステップによるクラス分類の結果得られるクラス
ごとに、符号化データを処理する処理ステップとを備え
ることを特徴とする。
T係数を、1次元逆DCT変換することにより、1次元
DCT係数を求める1次元逆DCT変換ステップと、1
次元DCT係数に基づいて、画像データを構成する画素
を、複数のクラスのうちのいずれかのクラスにクラス分
けするクラス分類を行うクラス分類ステップと、クラス
分類ステップによるクラス分類の結果得られるクラスご
とに、符号化データを処理する処理ステップとを備える
ことを特徴とする。
係数を、1次元逆DCT変換することにより、1次元D
CT係数を求める1次元逆DCT変換ステップと、1次
元DCT係数に基づいて、画像データを構成する画素
を、複数のクラスのうちのいずれかのクラスにクラス分
けするクラス分類を行うクラス分類ステップと、クラス
分類ステップによるクラス分類の結果得られるクラスご
とに、符号化データを処理する処理ステップとを備える
プログラムが記録されていることを特徴とする。
画像データを、少なくとも2次元DCT変換することに
より符号化し、2次元DCT係数を含む符号化データを
出力する符号化手段と、符号化データに含まれる2次元
DCT係数を、1次元逆DCT変換することにより、1
次元DCT係数を求める1次元逆DCT変換手段と、学
習用の画像データから得られる、学習の教師となる教師
データを、1次元DCT係数に基づいて、複数のクラス
のうちのいずれかのクラスにクラス分けするクラス分類
を行うクラス分類手段と、教師データと、学習用の画像
データから得られる、学習の生徒となる生徒データとを
用いて、教師データのクラスごとに学習を行うことによ
り、クラスごとのタップ係数を求める学習手段とを備え
ることを特徴とする。
画像データを、少なくとも2次元DCT変換することに
より符号化し、2次元DCT係数を含む符号化データを
出力する符号化ステップと、符号化データに含まれる2
次元DCT係数を、1次元逆DCT変換することによ
り、1次元DCT係数を求める1次元逆DCT変換ステ
ップと、学習用の画像データから得られる、学習の教師
となる教師データを、1次元DCT係数に基づいて、複
数のクラスのうちのいずれかのクラスにクラス分けする
クラス分類を行うクラス分類ステップと、教師データ
と、学習用の画像データから得られる、学習の生徒とな
る生徒データとを用いて、教師データのクラスごとに学
習を行うことにより、クラスごとのタップ係数を求める
学習ステップとを備えることを特徴とする。
像データを、少なくとも2次元DCT変換することによ
り符号化し、2次元DCT係数を含む符号化データを出
力する符号化ステップと、符号化データに含まれる2次
元DCT係数を、1次元逆DCT変換することにより、
1次元DCT係数を求める1次元逆DCT変換ステップ
と、学習用の画像データから得られる、学習の教師とな
る教師データを、1次元DCT係数に基づいて、複数の
クラスのうちのいずれかのクラスにクラス分けするクラ
ス分類を行うクラス分類ステップと、教師データと、学
習用の画像データから得られる、学習の生徒となる生徒
データとを用いて、教師データのクラスごとに学習を行
うことにより、クラスごとのタップ係数を求める学習ス
テップとを備えることを特徴とする。
データを、少なくとも2次元DCT変換することにより
符号化し、2次元DCT係数を含む符号化データを出力
する符号化ステップと、符号化データに含まれる2次元
DCT係数を、1次元逆DCT変換することにより、1
次元DCT係数を求める1次元逆DCT変換ステップ
と、学習用の画像データから得られる、学習の教師とな
る教師データを、1次元DCT係数に基づいて、複数の
クラスのうちのいずれかのクラスにクラス分けするクラ
ス分類を行うクラス分類ステップと、教師データと、学
習用の画像データから得られる、学習の生徒となる生徒
データとを用いて、教師データのクラスごとに学習を行
うことにより、クラスごとのタップ係数を求める学習ス
テップとを備えるプログラムが記録されていることを特
徴とする。
理方法、並びにプログラムにおいては、2次元DCT係
数を、1次元逆DCT変換することにより、1次元DC
T係数が求められ、その1次元DCT係数に基づいて、
画像データを構成する画素を、複数のクラスのうちのい
ずれかのクラスにクラス分けするクラス分類が行われ
る。そして、その結果得られるクラスごとに、符号化デ
ータが処理される。
理方法、並びにプログラムにおいては、学習用の画像デ
ータが、少なくとも2次元DCT変換されることにより
符号化され、2次元DCT係数を含む符号化データが出
力される。さらに、符号化データに含まれる2次元DC
T係数を、1次元逆DCT変換することにより、1次元
DCT係数が求められる。そして、学習用の画像データ
から得られる、学習の教師となる教師データを、1次元
DCT係数に基づいて、複数のクラスのうちのいずれか
のクラスにクラス分けするクラス分類が行われ、教師デ
ータと、学習用の画像データから得られる、学習の生徒
となる生徒データとを用いて、教師データのクラスごと
に学習を行うことにより、クラスごとのタップ係数が求
められる。
て説明するが、その前に、MPEGに準拠した復号方式
について、簡単に説明する。
された符号化データを、MPEGに準拠して復号するM
PEGデコーダの構成例を示している。
ことにより得られる符号化データ(ビデオストリーム)
は、分離部1に供給される。分離部1は、符号化データ
から、コーデッドブロックパターン(Coded Block Patte
rn)(以下、適宜、CBPという)、DCTタイプ、量
子化されたDCT係数のVLC(可変長符号化)コー
ド、量子化スケール、動きベクトル、動き補償タイプ
(frame motion type, field motion type)等を分離し
て出力する。
1が出力する、量子化されたDCT係数(以下、適宜、
量子化DCT係数という)のVLCコード、量子化スケ
ール、およびDCTタイプを受信し、DCT係数を復号
する。即ち、DCT係数抽出/逆量子化部2は、分離部
1が出力する量子化DCT係数のVLCコードを可変長
復号し、8×8画素のブロックごとの量子化DCT係数
を求める。さらに、DCT係数抽出/逆量子化部2は、
ブロックごとの量子化DCT係数を、分離部1が出力す
る量子化スケールによって逆量子化し、ブロックごとの
DCT係数を求める。DCT係数抽出/逆量子化部2で
得られたブロックごとのDCT係数は、逆DCT変換部
3に供給される。
量子化部2からのブロックごとのDCT係数を逆DCT
変換し、動き補償加算部6に供給される。
が出力する逆DCT変換結果の他、分離部1が出力する
CBPおよびDCTタイプが供給される。動き補償加算
部6は、CBPやDCTタイプに基づき、必要に応じ
て、逆DCT変換部3からの逆DCT結果に対して、画
像メモリ5に記憶された予測画像を加算することで、8
×8の画素値のブロックを復号して出力する。
ブロックは、イントラ(intra)符号化され、Pピクチャ
のブロックは、イントラ符号化、または前方予測符号化
され、Bピクチャのブロックは、イントラ符号化、前方
予測符号化、後方予測符号化、または両方向予測符号化
される。
のブロックのフレーム(またはフィールド)より時間的
に先行するフレーム(またはフィールド)の画像を参照
画像として、その参照画像を動き補償することにより得
られる、符号化対象のブロックの予測画像と、符号化対
象のブロックとの差分が求められ、その差分値(以下、
適宜、残差画像という)がDCT変換される。
ブロックのフレームより時間的に後行するフレームの画
像を参照画像として、その参照画像を動き補償すること
により得られる、符号化対象のブロックの予測画像と、
符号化対象のブロックとの差分が求められ、その差分値
(残差画像)がDCT変換される。
象のブロックのフレームより時間的に先行するフレーム
と後行するフレームの2フレーム(またはフィールド)
の画像を参照画像として、その参照画像を動き補償する
ことにより得られる、符号化対象のブロックの予測画像
と、符号化対象のブロックとの差分が求められ、その差
分値(残差画像)がDCT変換される。
ntra)符号化(前方予測符号化、後方予測符号化、また
は両方向予測符号化)されている場合、逆DCT変換部
3が出力する逆DCT変換結果は、残差画像(元の画像
と、その予測画像との差分値)であり、動き補償加算部
6は、この残差画像と、画像メモリ5に記憶された予測
画像とを加算することで、ノンイントラ符号化されたブ
ロックを復号する。
部4が出力するブロックが、イントラ符号化されたもの
であった場合には、そのブロックを、そのまま復号結果
とする。
フィールド)分のブロックの復号結果、即ち、1フレー
ム(またはフィールド)の復号画像を得ると、その復号
画像を、画像メモリ(I,Pピクチャ用画像メモリ)7
と、ピクチャ選択部8に供給する。
給される復号画像が、IピクチャまたはPピクチャの画
像である場合、その復号画像を、その後に復号される符
号化データの参照画像として一時記憶する。なお、MP
EG2では、Bピクチャは参照画像とされないことか
ら、動き補償加算部6から供給される復号画像が、Bピ
クチャの画像である場合には、その復号画像は、画像メ
モリ7に記憶されない。
出力する復号画像、または画像メモリ7に記憶された復
号画像のフレーム(またはフィールド)を、表示順に選
択して出力する。即ち、MPEG2方式では、画像のフ
レーム(またはフィールド)の表示順と復号順(符号化
順)とが一致していないため、ピクチャ選択部8は、復
号順に並んでいる復号画像のフレーム(またはフィール
ド)を表示順に並べ替えて出力する。
画像は、例えば、図示せぬディスプレイ等に供給されて
表示される。
る動きベクトルや動き補償タイプを受信し、その動き補
償タイプに基づいて、参照画像となるフレーム(または
フィールド)を、画像メモリ7から読み出す。さらに、
動き補償部4は、画像メモリ7から読み出した参照画像
に対して、分離部1が出力する動きベクトルにしたがっ
た動き補償を施し、その結果得られる予測画像を、画像
メモリ5に供給して記憶させる。
予測画像は、上述したように、動き補償加算部6におい
て、逆DCT変換部3が出力する残差画像と加算され
る。
は、各ブロックにおける遅延時間を吸収するためのタイ
ミング調整用のメモリと同期信号を必要とするが、その
図示は、省略してある。後述する画像処理装置や学習装
置においても同様である。
装置の一実施の形態の構成例を示している。なお、図
中、図1のMPEGデコーダにおける場合と対応する部
分については、同一の符号を付してあり、以下では、そ
の説明は、適宜省略する。
ッファメモリ12、クラス分類部13、タップ係数記憶
部14、および画像再構成部15から構成されており、
例えば、画像データをMPEG2方式で符号化すること
により得られる符号化データを復号するようになってい
る。
給されるようになっている。また、前処理部11には、
符号化データの他、画像再構成部15から、既に復号さ
れた画像が、参照画像として供給されるようになってい
る。
出/逆量子化部2、動き補償部4、画像メモリ5、DC
T変換部21、周波数領域動き補償加算部22から構成
されており、符号化データに対して、前処理を施すよう
になっている。
ら、DCTタイプが供給されるとともに、画像メモリ5
から、動き補償部4において参照画像に動き補償処理を
施すことにより得られた予測画像が供給される。
ロックを、以下、適宜、注目ブロックという。
ロックを、画素ブロックというとともに、DCT係数で
構成されるブロックを、DCTブロックという。
ている画素ブロックまたはDCTブロックを、それぞ
れ、注目画素ブロックまたは注目DCTブロックとい
う。
れるDCTタイプに基づき、DCT係数抽出/逆量子化
部2が出力する注目ブロックのDCTタイプを認識す
る。さらに、DCT変換部21は、注目ブロックのDC
Tタイプに基づいて、画像メモリ5に記憶された予測画
像から、ブロックと同一の大きさの8×8画素を選択
し、DCT係数に変換する。この予測画像から得られた
DCT係数(以下、適宜、予測DCT係数という)は、
DCT変換部21から周波数領域動き補償加算部22に
供給される。
T変換部21から、8×8の予測DCT係数が供給され
る他、分離部1から、注目ブロックを含むマクロブロッ
ク(以下、適宜、注目マクロブロックという)のCBP
が供給されるとともに、DCT係数抽出/逆量子化部2
から、注目ブロックが供給される。
クロブロックのCBPに基づき、必要に応じて、注目ブ
ロックの各DCT係数と、対応する予測DCT係数とを
加算することで、注目ブロックの画素値をDCT変換し
た注目DCTブロックを求める。
ているものである場合、その注目ブロックのDCT係数
は、画素値のブロック(画素ブロック)をDCT変換し
たものとなっているから、周波数領域動き補償加算部2
2は、その注目ブロックを、そのまま、注目DCTブロ
ックとする。
されているものである場合、その注目ブロックは、画素
値のブロック(画素ブロック)と、予測画像との差分値
(残差画像)をDCT変換したものとなっているから、
周波数領域動き補償加算部22は、その注目ブロックの
各DCT係数と、DCT変換部21において8×8画素
の予測画像をDCT変換して得られる8×8の予測DC
T係数のうちの対応するものとを加算することにより、
注目DCTブロックを求める。
められた注目DCTブロックは、分離部1が出力する、
その注目DCTブロック(を含むマクロブロック)のD
CTタイプと対応付けられ、前処理部11からバッファ
メモリ12に供給される。
供給される注目DCTブロックとそのDCTタイプとの
セットを、一時記憶する。なお、クラス分類部13で
は、後述するように、注目ブロックの情報の他、その注
目ブロックの上下左右にそれぞれ隣接する4つのブロッ
クの情報も用いて処理が行われるようになっている。こ
のため、バッファメモリ12は、画面2行分のマクロブ
ロックに、1つのマクロブロックを加えた分の2次元D
CT係数およびDCTタイプを記憶することのできる記
憶容量を、少なくとも有している。
ブロックのDCT係数は、前処理部11の周波数領域動
き補償加算部22が出力するものであるから、ブロック
のピクチャタイプによらず、また、ブロックがイントラ
符号化またはノンイントラ符号化されたかによらず、元
の画像の画素値(残差画像ではなく、元の画像)をDC
T変換したものとなっている。
予測画像とを加算して得られるものを意味し、MPEG
符号化の対象となった原画像そのものではない。
部31、隣接1次元DCT係数選択/変換部32、AC
パワー算出部33、AC内積計算部34、隣接タップデ
ータ生成部35、クラスコード生成部36および37か
ら構成され、バッファメモリ12に記憶されたブロック
のDCT係数とDCTタイプに基づき、注目ブロックの
各画素を、複数のクラスのうちのいずれかのクラスにク
ラス分けするクラス分類を行う。
ファメモリ12に記憶されたブロックのDCT係数を、
1次元逆DCT変換することにより、水平方向の空間周
波数成分を表す水平1次元DCT係数と、垂直方向の空
間周波数成分を表す垂直1次元DCT係数とを求める。
数と水平1次元DCT係数とをまとめて、1次元DCT
係数という。
に含まれるDCT係数は、水平方向と垂直方向の2方向
の空間周波数成分を表すものであり、1次元DCT係数
と区別するために、以下、適宜、2次元DCT係数とい
う。
CT係数への変換を、2次元DCT変換と、2次元DC
T係数から画素値への変換を、2次元逆DCT変換と、
それぞれいう。図2のDCT変換部21で行われるDC
T変換は、2次元DCT変換であり、図1の逆DCT変
換部3で行われる逆DCT変換は、2次元逆DCT変換
である。
元DCT係数は、隣接1次元DCT係数選択/変換部3
2、ACパワー算出部33、AC内積計算部34、隣接
タップデータ生成部35、およびクラスコード生成部3
6に供給される。
は、バッファメモリ12から、注目ブロックのDCTタ
イプを受信し、そのDCTタイプに基づき、注目ブロッ
クに隣接する画素(列)の1次元DCT係数(以下、適
宜、隣接1次元DCT係数という)を、1次元逆DCT
変換部31から供給される1次元DCT係数から取得
し、ACパワー算出部33、AC内積計算部34、隣接
タップデータ生成部35、およびクラスコード生成部3
6に供給する。
係数変換部31から供給される1次元DCT係数の交流
成分のパワー(以下、適宜、ACパワーという)を求め
るとともに、隣接1次元DCT係数選択/変換部32か
ら供給される1次元DCT係数のACパワーを求め、ク
ラスコード生成部36および37に供給する。
数変換部31から供給される注目ブロックの境界部分の
1次元DCT係数の交流成分と、隣接1次元DCT係数
選択/変換部32から供給される隣接1次元DCT係数
の交流成分とを、それぞれベクトルのコンポーネントと
みなして、その2つのベクトルの内積(以下、適宜、A
C内積という)を求める。AC内積計算部34で求めら
れるAC内積は、クラスコード生成部36に供給され
る。
DCT変換部31から供給される1次元DCT係数と、
隣接1次元DCT係数選択/変換部32から供給される
隣接1次元DCT係数の中から、後述する適応処理部5
1において構成される予測タップとなる1次元DCT係
数を選択し、適応処理部51に供給する。
ブロックを構成する画素のクラス分類を行い、クラスコ
ード生成部37は、色差信号(色信号)Cのブロックを
構成する画素のクラス分類を行う。
ータをMPEG符号化したものとなっている。
目ブロックが輝度信号のブロックである場合の、その注
目ブロックの1次元DCT係数を、隣接1次元DCT係
数選択/変換部32は、注目ブロックが輝度信号のブロ
ックである場合の、その注目ブロックに隣接する隣接1
次元DCT係数を、ACパワー算出部33は、注目ブロ
ックが輝度信号のブロックである場合の、その注目ブロ
ックについて得られたACパワーを、AC内積計算部3
4は、注目ブロックが輝度信号のブロックである場合
の、その注目ブロックについて得られたAC内積を、そ
れぞれ、クラスコード生成部36に供給するようになっ
ており、クラスコード生成部36は、そこに供給される
情報に基づいて、注目ブロックの各画素をクラス分類す
る。
ブロックの輝度信号の画素のクラス分類を行うことによ
り得られるクラスを表すクラスコードを生成し、タップ
係数記憶部14に供給する。ここで、クラスコード生成
部36において得られる、輝度信号のブロックの画素に
ついてのクラスコードを、以下、適宜、輝度クラスコー
ドという。
ロックの各画素についての輝度クラスコードは、クラス
コード生成部37にも供給される。また、クラスコード
生成部37には、ACパワー算出部33から、注目ブロ
ックが色差信号のブロックである場合の、その注目ブロ
ックについて得られたACパワーも供給されるようにな
っている。
出部33から供給される注目ブロックのACパワーと、
クラスコード生成部36から供給される、色差信号の注
目ブロックに対応する輝度信号のブロックの画素の輝度
クラスコードとに基づいて、注目ブロックの各画素をク
ラス分類する。
ブロックの色差信号の画素のクラス分類を行うことによ
り得られるクラスを表すクラスコードを生成し、タップ
係数記憶部14に供給する。ここで、クラスコード生成
部37において得られる、色差信号のブロックの画素に
ついてのクラスコードを、以下、適宜、色差クラスコー
ドという。
部41および42、並びに係数メモリ43および44か
ら供給され、クラス分類部13のクラスコード生成部3
6または37から供給されるクラスコードに対応するタ
ップ係数を取得し、画像再構成部15に供給する。
コード生成部36が出力する輝度クラスコードが供給さ
れるようになっており、タップ係数選択部42には、ク
ラスコード生成部37が出力する色差クラスコードが供
給されるようになっている。
素について、後述する学習により得られたクラスごとの
タップ係数が記憶されており、係数メモリ44には、色
差信号の画素について、学習により得られたクラスごと
のタップ係数が記憶されている。
コード生成部36から供給される輝度クラスコード(に
対応するクラス)のタップ係数を、係数メモリ43から
読み出し、画像再構成部15の適応処理部51に供給す
る。
ード生成部37から供給される色差クラスコード(に対
応するクラス)のタップ係数を、係数メモリ44から読
み出し、画像再構成部15の適応処理部51に供給す
る。
チャ選択部8、および適応処理部51から構成されてお
り、バッファメモリ12に記憶された2次元DCT係数
および隣接タップデータ生成部35から供給される1次
元DCT係数、並びにタップ係数記憶部14の係数メモ
リ43と44から供給されるタップ係数を用いて、画像
を復号(再構成)する。
12に記憶された注目ブロックの2次元DCT係数およ
び隣接タップデータ生成部35から供給される1次元D
CT係数を、タップ係数記憶部14の係数メモリ43と
44から供給されるタップ係数を用いて適応処理するこ
とにより、注目ブロックの画素値に変換する。さらに、
適応処理部51は、1フレーム(またはフィールド)分
の画素値、即ち、1フレーム(またはフィールド)の画
像データを復号すると、その復号画像データを、画像メ
モリ7とピクチャ選択部8に供給する。
される復号画像データのうち、IピクチャとPピクチャ
の復号画像データを、参照画像として記憶する。ピクチ
ャ選択部8は、適応処理部51から供給される復号画像
データ、または画像メモリ7に記憶された復号画像デー
タを、表示順で選択して出力する。
うに、DCT係数を、タップ係数を用いて画素値に変換
する適応処理が行われる。
と、所定のタップ係数との線形結合により、元の画素の
予測値を求めることで、DCT係数が、元の画素値に復
号される。
を教師データとするとともに、その画像を、ブロック単
位でDCT変換し、さらに量子化、逆量子化をして得ら
れるDCT係数を生徒データとして、教師データである
画素の画素値yの予測値E[y]を、幾つかのDCT係
数x1,x2,・・・の集合と、所定のタップ係数w1,
w2,・・・の線形結合により規定される線形1次結合
モデルにより求めることを考える。この場合、予測値E
[y]は、次式で表すことができる。
wjの集合でなる行列W、生徒データxijの集合でなる
行列X、および予測値E[yj]の集合でなる行列Y’
を、
徒データの集合(i件目の教師データyiの予測に用い
る生徒データの集合)(予測タップ)の中のj番目の生
徒データを意味し、行列Wの成分wjは、生徒データの
集合の中のj番目の生徒データとの積が演算されるタッ
プ係数を表す。また、yiは、i件目の教師データを表
し、従って、E[yi]は、i件目の教師データの予測
値を表す。なお、式(1)の左辺におけるyは、行列Y
の成分yiのサフィックスiを省略したものであり、ま
た、式(1)の右辺におけるx1,x2,・・・も、行列
Xの成分xijのサフィックスiを省略したものである。
して、元の画素値yに近い予測値E[y]を求めること
を考える。この場合、教師データとなる真の画素値yの
集合でなる行列Y、および画素値yに対する予測値E
[y]の残差eの集合でなる行列Eを、
成立する。
[y]を求めるためのタップ係数wjは、自乗誤差
で微分したものが0になる場合、即ち、次式を満たすタ
ップ係数wjが、元の画素値yに近い予測値E[y]を
求めるため最適値ということになる。
jで微分することにより、次式が成立する。
られる。
徒データxij、タップ係数wj、教師データyi、および
残差eiの関係を考慮すると、式(6)から、次のよう
な正規方程式を得ることができる。
列(共分散行列)Aおよびベクトルvを、
に定義すると、式 AW=v ・・・(8) で表すことができる。
ータxijおよび教師データyiのセットを、ある程度の
数だけ用意することで、求めるべきタップ係数wjの数
Jと同じ数だけたてることができ、従って、式(8)
を、ベクトルWについて解くことで(但し、式(8)を
解くには、式(8)における行列Aが正則である必要が
ある)、最適なタップ係数(ここでは、自乗誤差を最小
にするタップ係数)wjを求めることができる。なお、
式(8)を解くにあたっては、例えば、掃き出し法(Ga
uss-Jordanの消去法)などを用いることが可能である。
ち、画素値の予測値の統計的な誤差を最小にするタップ
係数wjを求めておき、さらに、そのタップ係数wjを用
いて、式(1)により、元の画素値yに近い予測値E
[y]を求めるのが適応処理である。
データとするとともに、その画像を、ブロック単位でD
CT変換し、さらに量子化、逆量子化をして得られるD
CT係数を生徒データとする場合には、DCT係数(画
素値をDCT変換し、量子化し、さらに、逆量子化して
得られるDCT係数)を、式(1)の線形予測演算によ
って、元の画素値(の予測値)に変換するのに最適なタ
ップ係数を得ることができる。そして、DCT係数は、
周波数領域のデータであり、画素値は時間領域の信号で
あるから、上述のようなタップ係数を用いて、DCT係
数を画素値に変換する適応処理は、周波数(Frequency)
と時間(Time)の頭文字をとって、FT変換と呼ぶことが
できる。
CT変換し、さらに量子化、逆量子化して得られるDC
T係数を生徒データとするとともに、原画像を教師デー
タとして、タップ係数を求めるようにしたが、タップ係
数は、その他、例えば、原画像を2次元DCT変換し、
さらに量子化、逆量子化して得られるDCT係数を生徒
データとするとともに、原画像を2次元DCT変換して
得られるDCT係数を教師データとして求めるようにす
ることも可能である。この場合、量子化誤差のあるDC
T係数を、量子化誤差のないDCT係数(の予測値)に
変換するのに最適なタップ係数を得ることができる。
T変換し、さらに、量子化、逆量子化、2次元逆DCT
変換して得られる復号画像を生徒データとするととも
に、原画像を教師データとして求めるようにすることも
可能である。この場合、復号画像を、原画像(の予測
値)に変換するのに最適なタップ係数を得ることができ
る。
よび周波数領域動き補償加算部22の構成例を示してい
る。
プリング部61とDCT部62から構成され、画像メモ
リ5に記憶された予測画像を2次元DCT変換した予測
DCT係数を生成するようになっている。
リ5に記憶された予測画像と、分離部1(図2)が出力
する注目ブロック(を含むマクロブロック)のDCTタ
イプが供給されるようになっている。
(図2)から、マクロブロックと同一の大きさである1
6×16画素の予測画像が供給されるようになってお
り、画像メモリ5は、注目ブロックに対応する16×1
6画素の予測画像を記憶する。従って、画像メモリ5
は、少なくとも16×16画素の画像を記憶することの
できる記憶容量を有している。
憶された16×16画素の予測画像を、注目ブロックの
DCTタイプにしたがってサンプリングし、ブロックと
同一の大きさの8×8画素の予測画像を生成する。
6画素の予測画像は、フレーム構造になっており、注目
ブロックの構造と一致している場合と、一致していない
場合とがある。
である場合には、注目ブロックと、画像メモリ5に記憶
された16×16画素の予測画像とは、一致した構造の
ものとなる。
すように、マクロブロック(注目マクロブロック)の左
上、左下、右上、または右下のブロックである場合、サ
ンプリング部61は、図4(B)に示すように、画像メ
モリ5に記憶された16×16画素の予測画像のうち、
左上、左下、右上、または右下の8×8画素を、それぞ
れサンプリングし、これにより、注目ブロックの各画素
と空間的に対応する位置にある8×8画素の予測画像を
得て、DCT部62に供給する。
いても同様)、影を付してあるラインは、奇数ライン
(トップフィールド)を表し、影を付していないライン
は、偶数ライン(ボトムフィールド)を表す。
る場合は、注目ブロックと、画像メモリ5に記憶された
16×16画素の予測画像とは、異なる構造のものとな
る。
ロブロック(注目マクロブロック)は、図5(A)に示
すように、上側の8ラインが奇数ライン(トップフィー
ルド)で構成され、下側の8ラインが偶数ライン(ボト
ムフィールド)で構成される。
ックの左上のブロックである場合、その注目ブロックの
8×8画素は、図5(B)に示すように、画像メモリ5
に記憶された16×16画素の予測画像のうちの、8つ
の奇数ライン(影を付してあるライン)の左側の8画素
に対応する。また、注目ブロックが、注目マクロブロッ
クの左下のブロックである場合、その注目ブロックの8
×8画素は、図5(B)に示すように、画像メモリ5に
記憶された16×16画素の予測画像のうちの、8つの
偶数ライン(影を付してないライン)の左側の8画素に
対応する。さらに、注目ブロックが、注目マクロブロッ
クの右上のブロックである場合には、その注目ブロック
の8×8画素は、図5(B)に示すように、画像メモリ
5に記憶された16×16画素の予測画像のうちの、8
つの奇数ライン(影を付してあるライン)の右側の8画
素に対応し、また、注目ブロックが、注目マクロブロッ
クの右下のブロックである場合には、その注目ブロック
の8×8画素は、図5(B)に示すように、画像メモリ
5に記憶された16×16画素の予測画像のうちの、8
つの偶数ライン(影を付してないライン)の右側の8画
素に対応する。
ックが、フィールド構造である場合には、画像メモリ5
に記憶された16×16画素の予測画像のうち、注目マ
クロブロックにおける注目ブロックの位置に対応する、
上述のような8×8画素をサンプリングし、これによ
り、注目ブロックの各画素と空間的に対応する位置にあ
る8×8画素の予測画像を得て、DCT部62に供給す
る。
供給される、注目ブロックの各画素と空間的に対応する
位置にある8×8画素の予測画像を2次元DCT変換
し、これにより、8×8の予測DCT係数を得て、周波
数領域動き補償加算部22に供給する。
ブロックの構造は、分離部1(図2)が出力する注目ブ
ロック(を含む注目マクロブロック)のDCTタイプに
基づいて認識される。
係数選択部71、加算部72、および選択部73から構
成され、DCT係数抽出/逆量子化部2(図2)から供
給される注目ブロックの2次元DCT係数と、DCT変
換部21から供給される予測DCT係数とを、必要に応
じて加算することにより、注目ブロックの元の画像の2
次元DCT係数を求める。
係数抽出/逆量子化部2(図2)が出力する注目ブロッ
クの2次元DCT係数と、分離部1(図2)が出力する
注目ブロック(を含む注目マクロブロック)のCBPが
供給されるようになっている。
である場合、その注目ブロックの2次元DCT係数は、
注目ブロックの元の画像を2次元DCT変換したもので
あるから、DCT係数選択部71は、注目ブロックを、
そのまま出力する。DCT係数選択部71の出力は、加
算部72と選択部73に供給される。
である場合、加算部72は、特に処理を行わず、また、
選択部73は、DCT係数選択部71の出力を選択し、
後段のバッファメモリ12(図2)に供給する。
れたものである場合、即ち、DCT係数抽出/逆量子化
部2(図2)が出力する注目ブロックの2次元DCT係
数が、注目ブロックの元の画像を2次元DCT変換した
ものである場合には、DCT係数抽出/逆量子化部2
(図2)が出力する注目ブロックが、そのまま、バッフ
ァメモリ12(図2)に供給される。
ックがノンイントラ符号化されたものである場合、その
注目ブロックのCBPを参照し、残差画像の2次元DC
T係数の有無を認識する。即ち、注目ブロックがノンイ
ントラ符号化されたものである場合には、その注目ブロ
ックには、原則として、残差画像の2次元DCT係数が
配置されるが、残差画像の2次元DCT係数がすべて0
となるときには、CBPが0とされ、2次元DCT係数
は配置されない。そして、この場合、注目ブロックの画
像は、予測画像に一致する。
ロックがノンイントラ符号化されたものであり、そのC
BPが0である場合には、残差画像の2次元DCT係数
として0を出力する。
ックがノンイントラ符号化されたものであり、そのCB
Pが1である場合、DCT係数抽出/逆量子化部2(図
2)が出力する注目ブロックには、残差画像の2次元D
CT係数が配置されているから、その2次元DCT係数
を出力する。
ように、加算部72と選択部73に供給される。
ラ符号化されたものである場合、DCT係数選択部71
の出力と、DCT変換部21(のDCT部62)が出力
する予測画像の2次元DCT係数とを加算し、これによ
り、注目ブロックについて、元の画像の2次元DCT係
数を得て、選択部73に供給する。
ラ符号化されたものである場合、演算部72の出力を選
択し、後段のバッファメモリ12(図2)に供給する。
化されたものである場合において、注目ブロックのCB
Pが0であるときには、注目ブロックの画像が、予測画
像に一致するため、加算部72において、DCT係数選
択部71が出力する0と、DCT部62が出力する予測
画像のDCT係数(予測DCT係数)とが加算されるこ
とにより、注目ブロックの元の画像の2次元DCT係数
が求められる。
きには、加算部72において、DCT係数選択部71が
出力する注目ブロックの残差画像のDCT係数と、DC
T部62が出力する予測画像のDCT係数(予測DCT
係数)とが加算されることにより、やはり、注目ブロッ
クの元の画像の2次元DCT係数が求められる。
いて上述したようにして得られる、注目ブロックの元の
画像の2次元DCT係数が選択されて出力される。
領域において、残差画像と予測画像とを加算して、元の
画像の2次元DCT係数を求めるようにしたが、即ち、
残差画像の2次元DCT係数と、予測画像の2次元DC
T係数とを加算して、元の画像の2次元DCT係数を求
めるようにしたが、これは、後段のクラス分類部13に
おいて、周波数領域のDCT係数を用いて処理を行うた
め、前処理部11とクラス分類部13の処理を、周波数
領域で行うように統一した方が都合が良いと考えられる
ためである。
残差画像と予測画像とを、時間領域において加算し、そ
の加算結果を、2次元DCT変換することによって求め
ても良い。
1次元逆DCT変換部31の処理について説明する。
Experts Group)等のDCT変換を利用した画像の符号化
方式では、画像データが、水平方向および垂直方向の2
次元のDCT変換(2次元DCT変換)/逆DCT変換
(2次元逆DCT変換)が行われる。
ックにおける画素値を、8行×8列の行列Xで表すとと
もに、図3(B)に示すような8×8のブロックにおけ
るDCT係数を、8行×8列の行列Fで表すこととする
と、2次元DCT変換/2次元逆DCT変換は、次式で
表すことができる。
Cは、8行×8列のDCT変換行列で、その第i+1行
第j+1列のコンポーネントcijは、次式で表される。
は、Ai=1/(2√2)であり、i≠0のときは、Ai
=1/2である。また、iとjは、0乃至7の範囲の整
数値である。
数Fに変換する2次元DCT変換を表し、式(10)
は、2次元DCT係数Fを、画素値Xに変換する2次元
逆DCT変換を表す。
T係数Fは、その左側から行列CTをかけるとともに、
その右側から行列Cをかけることにより、画素値Xに変
換されるが、1次元逆DCT変換部31は、2次元DC
T係数Fに対して、その左側から行列CTをかけるだけ
か、または、その右側から行列Cをかけるだけかするこ
とにより、1次元DCT係数を求める。
元DCT係数Fに対して、その左側から行列CTだけを
かける。この場合、図6(C)に示すように、2次元D
CT係数Fにおける垂直方向が空間領域に変換され、水
平方向が周波数領域のままとされる垂直1次元逆DCT
変換が行われることとなり、その結果、水平方向の空間
周波数成分を表す水平1次元DCT係数vXhFを得る
ことができる。
元DCT係数Fに対して、その右側から行列Cだけをか
ける。この場合、図6(D)に示すように、2次元DC
T係数Fにおける水平方向が空間領域に変換され、垂直
方向が周波数領域のままとされる水平1次元逆DCT変
換が行われることとなり、その結果、垂直方向の空間周
波数成分を表す垂直1次元DCT係数hXvFを得るこ
とができる。
Fを、垂直1次元逆DCT変換した場合には、8×1の
水平1次元DCT係数が、8セット(8行分)得られる
ことになる(図6(C))。また、2次元DCT係数F
を、水平1次元逆DCT変換した場合には、1×8の垂
直1次元DCT係数が、8セット(8列分)得られるこ
とになる(図6(D))。
元DCT係数については、その左端のDCT係数が、そ
の行の8画素の画素値の直流成分(DC成分)(8画素
の画素値の平均値)を表し、他の7つのDCT係数が、
その行の水平方向の交流成分を表す。また、ある列にお
ける1×8の垂直1次元DCT係数については、その最
上行のDCT係数が、その列の8画素の画素値の直流成
分を表し、他の7つのDCT係数が、その列の垂直方向
の交流成分を表す。
CT係数は、2次元DCT係数Fに対応する画素値Xに
対して、その右側から行列CTをかける水平1次元DC
T変換を行うことによっても求めることができる。ま
た、垂直1次元DCT係数は、2次元DCT係数Fに対
応する画素値Xに対して、その左側から行列Cをかける
垂直1次元DCT変換を行うことによっても求めること
ができる。
の2次元DCT係数、水平1次元DCT係数、および垂
直1次元DCT係数を示している。
その画像についての2次元DCT係数、水平1次元DC
T係数、および垂直1次元DCT係数を示している。ま
た、図7(A)が、実際の画像を、図7(B)が、2次
元DCT係数を、図7(C)が、水平1次元DCT係数
を、図7(D)が、垂直1次元DCT係数を、それぞれ
示している。
画素値を有するものであり、そのような画素値から求め
られるDCT係数は、負の値も取り得る。但し、図7
(B)乃至図7(D)の実施の形態では、求められたD
CT係数に対して、128(=27)を加算し、その加
算値が0未満となるものは0にクリップするとともに、
加算値が256以上となるものは255にクリップする
ことにより、0乃至255の範囲のDCT係数を、図示
してある。
ック全体の情報が反映されているため、2次元DCT係
数からでは、ブロック内の特定の画素の情報等の局所的
な情報を把握するのは困難である。これに対して、水平
1次元DCT係数または垂直1次元DCT係数には、ブ
ロックのある1行または1列だけの情報が、それぞれ反
映されているため、2次元DCT係数に比較して、ブロ
ック内の局所的な情報を容易に把握することができる。
の8×1の水平1次元DCT係数から把握することがで
き、ある列の特徴は、その列の1×8の垂直1次元DC
T係数から把握することができる。さらに、ブロックの
ある画素の特徴は、その画素が位置する行の8×1の水
平1次元DCT係数と、その画素が位置する列の1×8
の垂直1次元DCT係数とから把握することができる。
界の状態は、ブロック全体の情報が反映された2次元D
CT係数よりも、ブロックの境界部分の垂直方向の空間
周波数成分を表す垂直1次元DCT係数を用いた方が、
より正確に把握することができる。さらに、上下に隣接
するブロックどうしの境界の状態も、ブロック全体の情
報が反映された2次元DCT係数よりも、ブロックの境
界部分の水平方向の空間周波数成分を表す水平1次元D
CT係数を用いた方が、より正確に把握することができ
る。
換部32は、上述したように、1次元逆DCT変換部3
1から供給される1次元DCT係数の中から、注目ブロ
ックに隣接する画素(列)の1次元DCT係数(隣接1
次元DCT係数)を取得するが、この隣接1次元DCT
係数は、注目ブロックと、その注目ブロックと空間的に
隣接するブロック(以下、適宜、隣接ブロックという)
との間のブロック境界の状態を分析するのに用いられる
ものであるため、空間領域において、注目ブロックの境
界と隣接する画素列を1次元DCT変換したものである
必要がある。
ロック単位で、フレーム構造とフィールド構造の選択が
可能であることから、注目ブロックを含む注目マクロブ
ロックの構造や、注目マクロブロックに隣接するマクロ
ブロック(以下、適宜、隣接マクロブロックという)の
構造によっては、注目ブロックに隣接する隣接ブロック
における、注目ブロックに隣接する1次元DCT係数
が、空間領域において、注目ブロックの境界と隣接する
画素列を1次元DCT変換したものとなっていない場合
がある。
部32は、バッファメモリ12から供給されるDCTタ
イプによって、注目ブロックと隣接ブロックの構造を認
識し、注目ブロックの構造を基準として、空間領域にお
いて、その注目ブロックの境界と隣接する隣接ブロック
の画素列を1次元DCT変換した1次元DCT係数(隣
接1次元DCT係数)を取得するようになっている。
ブロックの構造を基準とした場合に、空間領域におい
て、その注目ブロックの境界と隣接する隣接ブロックの
画素列を1次元DCT変換したものとなる1次元DCT
係数について説明する。
ロックをMBNと、注目マクロブロックMBN上下左右に
隣接するマクロブロックを、それぞれMBU,MBD,M
BL,MBRと表す。
上、左下、右上、右下のブロックを、それぞれ、
BNUL,BNDL,BNUR,BNDRと表し、上隣接マクロブロ
ック(注目ブロックの上に隣接するマクロブロック)M
BUの左上、左下、右上、右下のブロックを、それぞ
れ、BUUL,BUDL,BUUR,BUDRと表す。また、下隣接
マクロブロック(注目ブロックの下に隣接するマクロブ
ロック)MBDの左上、左下、右上、右下のブロック
を、それぞれ、BDUL,BDDL,BDUR,BDDRと表し、左
隣接マクロブロック(注目ブロックの左に隣接するマク
ロブロック)MBLの左上、左下、右上、右下のブロッ
クを、それぞれ、BLUL,BLDL,BLUR,BLDRと表す。
さらに、右隣接マクロブロック(注目ブロックの右に隣
接するマクロブロック)MBRの左上、左下、右上、右
下のブロックを、それぞれ、BRUL,BRDL,BR UR,B
RDRと表す。
のブロックBNULが注目ブロックであるとした場合に、
空間領域において、注目ブロックBNULの上側の境界、
即ち、最上行の8画素に隣接する隣接ブロックの画素列
(以下、適宜、上隣接画素列という)を示している。
ンが、注目ブロックBNULの最上行の画素列を表し、斜
線を付してあるラインが、上隣接画素列を表している。
クBNULが注目ブロックである場合の上に隣接するブロ
ックは、注目マクロブロックMBNの中のブロックでは
ない上隣接マクロブロックMBUの左下のブロックBUDL
となるから、注目ブロックBNU Lの最上行の画素列の上
に隣接する上隣接画素列がいずれの画素列になるかは、
注目マクロブロックMBNと、上隣接マクロブロックM
BUの両方の構造を考慮する必要がある。
マクロブロックMBUのDCTタイプが、いずれもフレ
ームDCTの場合は、注目ブロックBNULは、注目マク
ロブロックMBNの左上の8×8画素であり、図8
(A)に示すように、その最上行の8画素(影を付して
ある部分)は、空間領域において、フレーム構造の上隣
接マクロブロックMBUの左下のブロックBUDLの最下行
の8画素(斜線を付してある部分)と隣接する。従っ
て、注目ブロックBNULの最上行の水平1次元DCT係
数に対し、空間領域において上側に隣接する画素列の水
平1次元DCT係数(以下、適宜、上隣接1次元DCT
係数という)は、ブロックBUDLの最下行の8画素を水
平1次元DCT変換した水平1次元DCT係数になる。
が、フレームDCTであり、上隣接マクロブロックMB
UのDCTタイプが、フィールドDCTの場合は、注目
ブロックBNULは、注目マクロブロックMBNの左上の8
×8画素であり、図8(B)に示すように、その最上行
の8画素(影を付してある部分)は、空間領域におい
て、フィールド構造の上隣接マクロブロックMBUの左
下のブロックBUDLの最下行の8画素(斜線を付してあ
る部分)と隣接する。従って、注目ブロックBNULの最
上行の水平1次元DCT係数に対する上隣接1次元DC
T係数は、ブロックBUDLの最下行の8画素を水平1次
元DCT変換した水平1次元DCT係数になる。
が、フィールドDCTであり、上隣接マクロブロックM
BUのDCTタイプが、フレームDCTの場合は、注目
ブロックBNULは、注目マクロブロックMBNの8つの奇
数ラインの左側の8画素であり、図8(C)に示すよう
に、その最上行の8画素(影を付してある部分)は、空
間領域において、フレーム構造の上隣接マクロブロック
MBUの左下ブロックBUDLの第7行目(上から7行目)
の8画素(斜線を付してある部分)と隣接する。従っ
て、注目ブロックBNULの最上行の水平1次元DCT係
数に対する上隣接1次元DCT係数は、ブロックBUDL
の第7行の8画素を水平1次元DCT変換した水平1次
元DCT係数になる。
が、フィールドDCTであり、上隣接マクロブロックM
BUのDCTタイプも、フィールドDCTの場合は、注
目ブロックBNULは、注目マクロブロックMBNの8つの
奇数ラインの左側の8画素であり、図8(D)に示すよ
うに、その最上行の8画素(影を付してある部分)は、
空間領域において、フィールド構造の上隣接マクロブロ
ックMBUの左上のブロックBUULの最下行の8画素(斜
線を付してある部分)と隣接する。従って、注目ブロッ
クBNULの最上行の水平1次元DCT係数に対する上隣
接1次元DCT係数は、ブロックBUULの最下行の8画
素を水平1次元DCT変換した水平1次元DCT係数に
なる。
の左上のブロックBNULが注目ブロックであるとした場
合に、空間領域において、注目ブロックBNULの下側の
境界、即ち、最下行の8画素に隣接する隣接ブロックの
画素列(以下、適宜、下隣接画素列という)を示してい
る。
ンが、注目ブロックBNULの最下行の画素列を表し、斜
線を付してあるラインが、下隣接画素列を表している。
クBNULが注目ブロックである場合の下に隣接するブロ
ックは、注目マクロブロックMBNの中の左下のブロッ
クBNDLとなるから、注目ブロックBNULの最下行の画素
列の下に隣接する下隣接画素列がいずれの画素列になる
かは、注目マクロブロックMBNの構造のみを考慮すれ
ば良い。
タイプが、フレームDCTの場合は、注目ブロックB
NULは、注目マクロブロックMBNの左上の8×8画素で
あり、図9(A)に示すように、その最下行の8画素
(影を付してある部分)は、空間領域において、フレー
ム構造の注目マクロブロックMBNの左下のブロックB
NDLの最上行の8画素(斜線を付してある部分)と隣接
する。従って、注目ブロックBNULの最下行の水平1次
元DCT係数に対し、空間領域において下側に隣接する
画素列の水平1次元DCT係数(以下、適宜、下隣接1
次元DCT係数という)は、ブロックBNDLの最上行の
8画素を水平1次元DCT変換した水平1次元DCT係
数になる。
が、フィールドDCTである場合は、注目ブロックB
NULは、注目マクロブロックMBNの8つの奇数ラインの
左側の8画素であり、図9(B)に示すように、その最
下行の8画素(影を付してある部分)は、空間領域にお
いて、フレーム構造の注目マクロブロックMBNの下に
隣接する下隣接マクロブロックMBDの左上のブロック
BDULの最上行の8画素(斜線を付してある部分)と隣
接する。従って、注目ブロックBNULの最下行の水平1
次元DCT係数に対する下隣接1次元DCT係数は、ブ
ロックBDULの最上行の8画素を水平1次元DCT変換
した水平1次元DCT係数になる。
Nの左上のブロックBNULが注目ブロックであるとした場
合に、空間領域において、注目ブロックBNULの左側の
境界、即ち、最左列の8画素に隣接する隣接ブロックの
画素列(以下、適宜、左隣接画素列という)を示してい
る。
インが、注目ブロックBNULの最左列の画素列を表し、
斜線を付してあるラインが、左隣接画素列を表してい
る。
クBNULが注目ブロックである場合の左に隣接するブロ
ックは、注目マクロブロックMBNの中のブロックでは
ない左隣接マクロブロックMBLの右上のブロックBLUR
となるから、注目ブロックBNU Lの最左列の画素列の左
に隣接する左隣接画素列がいずれの画素列になるかは、
注目マクロブロックMBNと、左隣接マクロブロックM
BLの両方の構造を考慮する必要がある。
マクロブロックMBUのDCTタイプが、いずれもフレ
ームDCTの場合は、注目ブロックBNULは、注目マク
ロブロックMBNの左上の8×8画素であり、図10
(A)に示すように、その最左列の8画素(影を付して
ある部分)は、空間領域において、フレーム構造の左隣
接マクロブロックMBLの右上のブロックBLURの最右列
の8画素(斜線を付してある部分)と隣接する。従っ
て、注目ブロックBNULの最左列の垂直1次元DCT係
数に対し、空間領域において左側に隣接する画素列の垂
直1次元DCT係数(以下、適宜、左隣接1次元DCT
係数という)は、ブロックBLURの最右列の8画素を垂
直1次元DCT変換した垂直1次元DCT係数になる。
が、フレームDCTであり、左隣接マクロブロックMB
LのDCTタイプが、フィールドDCTの場合は、注目
ブロックBNULは、注目マクロブロックMBNの左上の8
×8画素であり、図10(B)に示すように、その最左
列の8画素(影を付してある部分)は、空間領域におい
て、フィールド構造の左隣接マクロブロックMBLの右
上のブロックBLURにおける最右列の上4画素と、その
右下のブロックBLDRにおける最右列の上4画素の合計
8画素(斜線を付してある部分)と隣接する。従って、
注目ブロックBNU Lの最左列の垂直1次元DCT係数に
対する左隣接1次元DCT係数は、ブロックBLURにお
ける最右列の上4画素とブロックBLDRにおける最右列
の上4画素の合計8画素を垂直1次元DCT変換した垂
直1次元DCT係数になる。
が、フィールドDCTであり、左隣接マクロブロックM
BLのDCTタイプが、フレームDCTの場合は、注目
ブロックBNULは、注目マクロブロックMBNの8つの奇
数ラインの左側の8画素であり、図10(C)に示すよ
うに、その最左列の8画素(影を付してある部分)は、
空間領域において、フレーム構造の左隣接マクロブロッ
クMBLの右上のブロックBLURにおける最右列の奇数行
の4画素と、その右下のブロックBLDRにおける奇数行
の4画素の合計8画素(斜線を付してある部分)と隣接
する。従って、注目ブロックBNULの最左列の垂直1次
元DCT係数に対する左隣接1次元DCT係数は、ブロ
ックBLURにおける最右列の奇数行の4画素とブロック
BLDRにおける奇数行の4画素の合計8画素を垂直1次
元DCT変換した垂直1次元DCT係数になる。
が、フィールドDCTであり、左隣接マクロブロックM
BLのDCTタイプも、フィールドDCTの場合は、注
目ブロックBNULは、注目マクロブロックMBNの8つの
奇数ラインの左側の8画素であり、図10(D)に示す
ように、その最左列の8画素(影を付してある部分)
は、空間領域において、フィールド構造の左隣接マクロ
ブロックMBLの右上のブロックBLURの最右列の8画素
(斜線を付してある部分)と隣接する。従って、注目ブ
ロックBNULの最左列の垂直1次元DCT係数に対する
左隣接1次元DCT係数は、ブロックBLURの最右列の
8画素を垂直1次元DCT変換した垂直1次元DCT係
数になる。
Nの左上のブロックBNULが注目ブロックであるとした場
合に、空間領域において、注目ブロックBNULの右側の
境界、即ち、最右列の8画素に隣接する隣接ブロックの
画素列(以下、適宜、右隣接画素列という)を示してい
る。
インが、注目ブロックBNULの最右列の画素列を表し、
斜線を付してあるラインが、右隣接画素列を表してい
る。
クBNULが注目ブロックである場合の右に隣接するブロ
ックは、注目マクロブロックMBNの中の右上のブロッ
クBNURになるから、注目ブロックBNULの最右列の画素
列の右に隣接する右隣接画素列は、必ず、ブロックNUR
の最左列の8画素となるので、注目マクロブロックMB
Nや、その注目マクロブロックMBNに隣接するマクロブ
ロックの構造を考慮する必要はない。
ブロックBNULが注目ブロックである場合には、図11
に示すように、その最右列の8画素(影を付してある部
分)は、空間領域において、注目ブロックBNULの右隣
のブロックBNURの最左列の8画素(斜線を付してある
部分)と隣接する。従って、注目ブロックBNULの最右
列の垂直1次元DCT係数に対し、空間領域において右
側に隣接する画素列の垂直1次元DCT係数(以下、適
宜、右隣接1次元DCT係数という)は、ブロックB
NURの最左列の8画素を垂直1次元DCT変換した垂直
1次元DCT係数になる。
Nの左下のブロックBNDLが注目ブロックであるとした場
合に、空間領域において、注目ブロックBNDLの上側の
境界、即ち、最上行の8画素に隣接する隣接ブロックの
画素列(上隣接画素列)を示している。
インが、注目ブロックBNDLの最上行の画素列を表し、
斜線を付してあるラインが、上隣接画素列を表してい
る。
クBNDLが注目ブロックである場合の上に隣接するブロ
ックは、注目マクロブロックMBNの中の左上のブロッ
クBNULとなるから、注目ブロックBNDLの最上行の画素
列の上に隣接する上隣接画素列がいずれの画素列になる
かは、注目マクロブロックMBNの構造のみを考慮すれ
ば良い。
タイプが、フレームDCTの場合は、注目ブロックB
NDLは、注目マクロブロックMBNの左下の8×8画素で
あり、図12(A)に示すように、その最上行の8画素
(影を付してある部分)は、空間領域において、フレー
ム構造の注目マクロブロックMBNの左上ブロックBNUL
の最下行の8画素(斜線を付してある部分)と隣接す
る。従って、注目ブロックBNDLの最上行の水平1次元
DCT係数に対する上隣接1次元DCT係数は、ブロッ
クBNULの最下行の8画素を水平1次元DCT変換した
水平1次元DCT係数になる。
が、フィールドDCTである場合は、注目ブロックB
NDLは、注目マクロブロックMBNの8つの偶数ラインの
左側の8画素であり、図12(B)に示すように、その
最上行の8画素(影を付してある部分)は、空間領域に
おいて、フレーム構造の注目マクロブロックMBNの上
に隣接する上隣接マクロブロックMBUの左下のブロッ
クBUDLの最下行の8画素(斜線を付してある部分)と
隣接する。従って、注目ブロックBNDLの最上行の水平
1次元DCT係数に対する上隣接1次元DCT係数は、
ブロックBUDLの最下行の8画素を水平1次元DCT変
換した水平1次元DCT係数になる。
Nの左下のブロックBNDLが注目ブロックであるとした場
合に、空間領域において、注目ブロックBNDLの下側の
境界、即ち、最下行の8画素に隣接する隣接ブロックの
画素列(下隣接画素列)を示している。
インが、注目ブロックBNDLの最下行の画素列を表し、
斜線を付してあるラインが、下隣接画素列を表してい
る。
クBNDLが注目ブロックである場合の下に隣接するブロ
ックは、注目マクロブロックMBNの中のブロックでは
ない下隣接マクロブロックMBDの左上のブロックBDUL
となるから、注目ブロックBND Lの最下行の画素列の下
に隣接する下隣接画素列がいずれの画素列になるかは、
注目マクロブロックMBNと、下隣接マクロブロックM
BDの両方の構造を考慮する必要がある。
マクロブロックMBDのDCTタイプが、いずれもフレ
ームDCTの場合は、注目ブロックBNDLは、注目マク
ロブロックMBNの左下の8×8画素であり、図13
(A)に示すように、その最下行の8画素(影を付して
ある部分)は、空間領域において、フレーム構造の下隣
接マクロブロックMBDの左上のブロックBDULの最上行
の8画素(斜線を付してある部分)と隣接する。従っ
て、注目ブロックBNDLの最下行の水平1次元DCT係
数に対する下隣接1次元DCT係数は、ブロックBDUL
の最上行の8画素を水平1次元DCT変換した水平1次
元DCT係数になる。
が、フレームDCTであり、下隣接マクロブロックMB
DのDCTタイプが、フィールドDCTの場合は、注目
ブロックBNDLは、注目マクロブロックMBNの左下の8
×8画素であり、図13(B)に示すように、その最下
行の8画素(影を付してある部分)は、空間領域におい
て、フィールド構造の下隣接マクロブロックMBDの左
上のブロックBDULの最上行の8画素(斜線を付してあ
る部分)と隣接する。従って、注目ブロックBND Lの最
下行の水平1次元DCT係数に対する下隣接1次元DC
T係数は、ブロックBDULの最上行の8画素を水平1次
元DCT変換した水平1次元DCT係数になる。
が、フィールドDCTであり、下隣接マクロブロックM
BDのDCTタイプが、フレームDCTの場合は、注目
ブロックBNDLは、注目マクロブロックMBNの8つの偶
数ラインの左側の8画素であり、図13(C)に示すよ
うに、その最下行の8画素(影を付してある部分)は、
空間領域において、フレーム構造の下隣接マクロブロッ
クMBDの左上のブロックBDULの第2行目の8画素(斜
線を付してある部分)と隣接する。従って、注目ブロッ
クBNDLの最下行の水平1次元DCT係数に対する下隣
接1次元DCT係数は、ブロックBDULの第2行目の8
画素を水平1次元DCT変換した水平1次元DCT係数
になる。
が、フィールドDCTであり、下隣接マクロブロックM
BDのDCTタイプも、フィールドDCTの場合は、注
目ブロックBNDLは、注目マクロブロックMBNの8つの
偶数ラインの左側の8画素であり、図13(D)に示す
ように、その最下行の8画素(影を付してある部分)
は、空間領域において、フィールド構造の下隣接マクロ
ブロックMBDの左下のブロックBDDLの最上行の8画素
(斜線を付してある部分)と隣接する。従って、注目ブ
ロックBNDLの最下行の水平1次元DCT係数に対する
下隣接1次元DCT係数は、ブロックBDDLの最上行の
8画素を水平1次元DCT変換した水平1次元DCT係
数になる。
Nの左下のブロックBNDLが注目ブロックであるとした場
合に、空間領域において、注目ブロックBNDLの左側の
境界、即ち、最左列の8画素に隣接する隣接ブロックの
画素列(左隣接画素列)を示している。
インが、注目ブロックBNDLの最左列の画素列を表し、
斜線を付してあるラインが、左隣接画素列を表してい
る。
クBNDLが注目ブロックである場合の左に隣接するブロ
ックは、注目マクロブロックMBNの中のブロックでは
ない左隣接マクロブロックMBLの右下のブロックBLDR
となるから、注目ブロックBND Lの最左列の画素列の左
に隣接する左隣接画素列がいずれの画素列になるかは、
注目マクロブロックMBNと、左隣接マクロブロックM
BLの両方の構造を考慮する必要がある。
マクロブロックMBLのDCTタイプが、いずれもフレ
ームDCTの場合は、注目ブロックBNDLは、注目マク
ロブロックMBNの左下の8×8画素であり、図14
(A)に示すように、その最左列の8画素(影を付して
ある部分)は、空間領域において、フレーム構造の左隣
接マクロブロックMBLの右下のブロックBLDRの最右列
の8画素(斜線を付してある部分)と隣接する。従っ
て、注目ブロックBNDLの最左列の垂直1次元DCT係
数に対する左隣接1次元DCT係数は、ブロックBLDR
の最右列の8画素を垂直1次元DCT変換した垂直1次
元DCT係数になる。
が、フレームDCTであり、左隣接マクロブロックMB
LのDCTタイプが、フィールドDCTの場合は、注目
ブロックBNDLは、注目マクロブロックMBNの左下の8
×8画素であり、図14(B)に示すように、その最左
列の8画素(影を付してある部分)は、空間領域におい
て、フィールド構造の左隣接マクロブロックMBLの右
上のブロックBLURにおける最右列の下4画素と、その
右下のブロックBLDRにおける最右列の下4画素の合計
8画素(斜線を付してある部分)と隣接する。従って、
注目ブロックBND Lの最左列の垂直1次元DCT係数に
対する左隣接1次元DCT係数は、ブロックBLURにお
ける最右列の下4画素とブロックBLDRにおける最右列
の下4画素の合計8画素を垂直1次元DCT変換した垂
直1次元DCT係数になる。
が、フィールドDCTであり、左隣接マクロブロックM
BLのDCTタイプが、フレームDCTの場合は、注目
ブロックBNDLは、注目マクロブロックMBNの8つの偶
数ラインの左側の8画素であり、図14(C)に示すよ
うに、その最左列の8画素(影を付してある部分)は、
空間領域において、フレーム構造の左隣接マクロブロッ
クMBLの右上のブロックBLURにおける最右列の偶数行
の4画素と、その右下のブロックBLDRにおける偶数行
の4画素の合計8画素(斜線を付してある部分)と隣接
する。従って、注目ブロックBNDLの最左列の垂直1次
元DCT係数に対する左隣接1次元DCT係数は、ブロ
ックBLURにおける最右列の偶数行の4画素とブロック
BLDRにおける偶数行の4画素の合計8画素を垂直1次
元DCT変換した垂直1次元DCT係数になる。
が、フィールドDCTであり、左隣接マクロブロックM
BLのDCTタイプも、フィールドDCTの場合は、注
目ブロックBNDLは、注目マクロブロックMBNの8つの
偶数ラインの左側の8画素であり、図14(D)に示す
ように、その最左列の8画素(影を付してある部分)
は、空間領域において、フィールド構造の左隣接マクロ
ブロックMBLの右下のブロックBLDRの最右列の8画素
(斜線を付してある部分)と隣接する。従って、注目ブ
ロックBNDLの最左列の垂直1次元DCT係数に対する
左隣接1次元DCT係数は、ブロックBLDRの最右列の
8画素を垂直1次元DCT変換した垂直1次元DCT係
数になる。
Nの左下のブロックBNDLが注目ブロックであるとした場
合に、空間領域において、注目ブロックBNDLの右側の
境界、即ち、最右列の8画素に隣接する隣接ブロックの
画素列(右隣接画素列)を示している。
インが、注目ブロックBNDLの最右列の画素列を表し、
斜線を付してあるラインが、右隣接画素列を表してい
る。
クBNDLが注目ブロックである場合の右に隣接するブロ
ックは、注目マクロブロックMBNの中の右下のブロッ
クBNDRになるから、注目ブロックBNDLの最右列の画素
列の右に隣接する右隣接画素列は、必ず、ブロックNDR
の最左列の8画素となるので、注目マクロブロックMB
Nや、その注目マクロブロックMBNに隣接するマクロブ
ロックの構造を考慮する必要はない。
ブロックBNDLが注目ブロックである場合には、図15
に示すように、その最右列の8画素(影を付してある部
分)は、空間領域において、注目ブロックBNDLの右隣
のブロックBNDRの最左列の8画素(斜線を付してある
部分)と隣接する。従って、注目ブロックBNDLの最右
列の垂直1次元DCT係数に対する右隣接1次元DCT
係数は、ブロックBNDRの最左列の8画素を垂直1次元
DCT変換した垂直1次元DCT係数になる。
上のブロックBNURが注目ブロックであるとした場合
に、空間領域において、注目ブロックBNURの上側の境
界、即ち、最上行の8画素に隣接する隣接ブロックの画
素列(上隣接画素列)を示している。
インが、注目ブロックBNURの最上行の画素列を表し、
斜線を付してあるラインが、上隣接画素列を表してい
る。
クBNURが注目ブロックである場合の上に隣接するブロ
ックは、注目マクロブロックMBNの中のブロックでは
ない上隣接マクロブロックMBUの右下のブロックBUDR
となるから、注目ブロックBNU Rの最上行の画素列の上
に隣接する上隣接画素列がいずれの画素列になるかは、
注目マクロブロックMBNと、上隣接マクロブロックM
BUの両方の構造を考慮する必要がある。
マクロブロックMBUのDCTタイプが、いずれもフレ
ームDCTの場合は、注目ブロックBNURは、注目マク
ロブロックMBNの右上の8×8画素であり、図16
(A)に示すように、その最上行の8画素(影を付して
ある部分)は、空間領域において、フレーム構造の上隣
接マクロブロックMBUの右下のブロックBUDRの最下行
の8画素(斜線を付してある部分)と隣接する。従っ
て、注目ブロックBNURの最上行の水平1次元DCT係
数に対する上隣接1次元DCT係数は、ブロックBUDR
の最下行の8画素を水平1次元DCT変換した水平1次
元DCT係数になる。
が、フレームDCTであり、上隣接マクロブロックMB
UのDCTタイプが、フィールドDCTの場合は、注目
ブロックBNURは、注目マクロブロックMBNの右上の8
×8画素であり、図16(B)に示すように、その最上
行の8画素(影を付してある部分)は、空間領域におい
て、フィールド構造の上隣接マクロブロックMBUの右
下ブロックBUDRの最下行の8画素(斜線を付してある
部分)と隣接する。従って、注目ブロックBNURの最上
行の水平1次元DCT係数に対する上隣接1次元DCT
係数は、ブロックBUDRの最下行の8画素を水平1次元
DCT変換した水平1次元DCT係数になる。
が、フィールドDCTであり、上隣接マクロブロックM
BUのDCTタイプが、フレームDCTの場合は、注目
ブロックBNURは、注目マクロブロックMBNの8つの奇
数ラインの右側の8画素であり、図16(C)に示すよ
うに、その最上行の8画素(影を付してある部分)は、
空間領域において、フレーム構造の上隣接マクロブロッ
クMBUの右下のブロックBUDRの第7行目の8画素(斜
線を付してある部分)と隣接する。従って、注目ブロッ
クBNURの最上行の水平1次元DCT係数に対する上隣
接1次元DCT係数は、ブロックBUDRの第7行の8画
素を水平1次元DCT変換した水平1次元DCT係数に
なる。
が、フィールドDCTであり、上隣接マクロブロックM
BUのDCTタイプも、フィールドDCTの場合は、注
目ブロックBNURは、注目マクロブロックMBNの8つの
奇数ラインの右側の8画素であり、図16(D)に示す
ように、その最上行の8画素(影を付してある部分)
は、空間領域において、フィールド構造の上隣接マクロ
ブロックMBUの右上のブロックBUURの最下行の8画素
(斜線を付してある部分)と隣接する。従って、注目ブ
ロックBNURの最上行の水平1次元DCT係数に対する
上隣接1次元DCT係数は、ブロックBUURの最下行の
8画素を水平1次元DCT変換した水平1次元DCT係
数になる。
Nの右上のブロックBNURが注目ブロックであるとした場
合に、空間領域において、注目ブロックBNURの下側の
境界、即ち、最下行の8画素に隣接する隣接ブロックの
画素列(下隣接画素列)を示している。
インが、注目ブロックBNURの最下行の画素列を表し、
斜線を付してあるラインが、下隣接画素列を表してい
る。
クBNURが注目ブロックである場合の下に隣接するブロ
ックは、注目マクロブロックMBNの中の右下のブロッ
クBNDRとなるから、注目ブロックBNURの最下行の画素
列の下に隣接する下隣接画素列がいずれの画素列になる
かは、注目マクロブロックMBNの構造のみを考慮すれ
ば良い。
タイプが、フレームDCTの場合は、注目ブロックB
NURは、注目マクロブロックMBNの右上の8×8画素で
あり、図17(A)に示すように、その最下行の8画素
(影を付してある部分)は、空間領域において、フレー
ム構造の注目マクロブロックMBNの右下のブロックBN
DRの最上行の8画素(斜線を付してある部分)と隣接す
る。従って、注目ブロックBNURの最下行の水平1次元
DCT係数に対する下隣接1次元DCT係数は、ブロッ
クBNDRの最上行の8画素を水平1次元DCT変換した
水平1次元DCT係数になる。
が、フィールドDCTである場合は、注目ブロックB
NURは、注目マクロブロックMBNの8つの奇数ラインの
右側の8画素であり、図17(B)に示すように、その
最下行の8画素(影を付してある部分)は、空間領域に
おいて、フレーム構造の注目マクロブロックMBNの下
に隣接する下隣接マクロブロックMBDの右上のブロッ
クBDURの最上行の8画素(斜線を付してある部分)と
隣接する。従って、注目ブロックBNURの最下行の水平
1次元DCT係数に対する下隣接1次元DCT係数は、
ブロックBDURの最上行の8画素を水平1次元DCT変
換した水平1次元DCT係数になる。
Nの右上のブロックBNURが注目ブロックであるとした場
合に、空間領域において、注目ブロックBNURの左側の
境界、即ち、最左列の8画素に隣接する隣接ブロックの
画素列(左隣接画素列)を示している。
インが、注目ブロックBNURの最左列の画素列を表し、
斜線を付してあるラインが、左隣接画素列を表してい
る。
クBNURが注目ブロックである場合の左に隣接するブロ
ックは、注目マクロブロックMBNの中の左上のブロッ
クBNULになるから、注目ブロックBNURの最左列の画素
列の左に隣接する左隣接画素列は、必ず、ブロックB
NULの最右列の8画素となるので、注目マクロブロック
MBNや、その注目マクロブロックMBNに隣接するマク
ロブロックの構造を考慮する必要はない。
ブロックBNURが注目ブロックである場合には、図18
に示すように、その最左列の8画素(影を付してある部
分)は、空間領域において、注目ブロックBNURの左隣
のブロックBNULの最右列の8画素(斜線を付してある
部分)と隣接する。従って、注目ブロックBNURの最左
列の垂直1次元DCT係数に対する左隣接1次元DCT
係数は、ブロックBNULの最右列の8画素を垂直1次元
DCT変換した垂直1次元DCT係数になる。
Nの右上のブロックBNURが注目ブロックであるとした場
合に、空間領域において、注目ブロックBNURの右側の
境界、即ち、最右列の8画素に隣接する隣接ブロックの
画素列(右隣接画素列)を示している。
インが、注目ブロックBNURの最右列の画素列を表し、
斜線を付してあるラインが、右隣接画素列を表してい
る。
クBNURが注目ブロックである場合の右に隣接するブロ
ックは、注目マクロブロックMBNの中のブロックでは
ない右隣接マクロブロックMBRの左上のブロックBRUL
となるから、注目ブロックBNU Rの最右列の画素列の右
に隣接する右隣接画素列がいずれの画素列になるかは、
注目マクロブロックMBNと、右隣接マクロブロックM
BRの両方の構造を考慮する必要がある。
マクロブロックMBRのDCTタイプが、いずれもフレ
ームDCTの場合は、注目ブロックBNURは、注目マク
ロブロックMBNの右上の8×8画素であり、図19
(A)に示すように、その最右列の8画素(影を付して
ある部分)は、空間領域において、フレーム構造の右隣
接マクロブロックMBRの左上のブロックBRULの最左列
の8画素(斜線を付してある部分)と隣接する。従っ
て、注目ブロックBNURの最右列の垂直1次元DCT係
数に対する右隣接1次元DCT係数は、ブロックBRUL
の最左列の8画素を垂直1次元DCT変換した垂直1次
元DCT係数になる。
が、フレームDCTであり、右隣接マクロブロックMB
RのDCTタイプが、フィールドDCTの場合は、注目
ブロックBNURは、注目マクロブロックMBNの右上の8
×8画素であり、図19(B)に示すように、その最左
列の8画素(影を付してある部分)は、空間領域におい
て、フィールド構造の右隣接マクロブロックMBLの左
上のブロックBRULにおける最左列の上4画素と、その
左下のブロックBRDLにおける最左列の上4画素の合計
8画素(斜線を付してある部分)と隣接する。従って、
注目ブロックBNU Rの最右列の垂直1次元DCT係数に
対する右隣接1次元DCT係数は、ブロックBRULにお
ける最左列の上4画素とブロックBRDLにおける最左列
の上4画素の合計8画素を垂直1次元DCT変換した垂
直1次元DCT係数になる。
が、フィールドDCTであり、右隣接マクロブロックM
BRのDCTタイプが、フレームDCTの場合は、注目
ブロックBNURは、注目マクロブロックMBNの8つの奇
数ラインの右側の8画素であり、図19(C)に示すよ
うに、その最右列の8画素(影を付してある部分)は、
空間領域において、フレーム構造の右隣接マクロブロッ
クMBRの左上のブロックBRULにおける最左列の奇数行
の4画素と、その左下のブロックBRDLにおける奇数行
の4画素の合計8画素(斜線を付してある部分)と隣接
する。従って、注目ブロックBNURの最右列の垂直1次
元DCT係数に対する右隣接1次元DCT係数は、ブロ
ックBRULにおける最右列の奇数行の4画素とブロック
BRDLにおける奇数行の4画素の合計8画素を垂直1次
元DCT変換した垂直1次元DCT係数になる。
が、フィールドDCTであり、右隣接マクロブロックM
BRのDCTタイプも、フィールドDCTの場合は、注
目ブロックBNURは、注目マクロブロックMBNの8つの
奇数ラインの右側の8画素であり、図19(D)に示す
ように、その最右列の8画素(影を付してある部分)
は、空間領域において、フィールド構造の右隣接マクロ
ブロックMBRの左上のブロックBRULの最左列の8画素
(斜線を付してある部分)と隣接する。従って、注目ブ
ロックBNURの最右列の垂直1次元DCT係数に対する
右隣接1次元DCT係数は、ブロックBRULの最左列の
8画素を垂直1次元DCT変換した垂直1次元DCT係
数になる。
Nの右下のブロックBNDRが注目ブロックであるとした場
合に、空間領域において、注目ブロックBNDRの上側の
境界、即ち、最上行の8画素に隣接する隣接ブロックの
画素列(上隣接画素列)を示している。
インが、注目ブロックBNDRの最上行の画素列を表し、
斜線を付してあるラインが、上隣接画素列を表してい
る。
クBNDRが注目ブロックである場合の上に隣接するブロ
ックは、注目マクロブロックMBNの中の右上のブロッ
クBNURとなるから、注目ブロックBNDRの最上行の画素
列の上に隣接する上隣接画素列がいずれの画素列になる
かは、注目マクロブロックMBNの構造のみを考慮すれ
ば良い。
タイプが、フレームDCTの場合は、注目ブロックB
NDRは、注目マクロブロックMBNの右下の8×8画素で
あり、図20(A)に示すように、その最上行の8画素
(影を付してある部分)は、空間領域において、フレー
ム構造の注目マクロブロックMBNの右下のブロックBN
DRの最上行の8画素(斜線を付してある部分)と隣接す
る。従って、注目ブロックBNDRの最上行の水平1次元
DCT係数に対する上隣接1次元DCT係数は、ブロッ
クBNDRの最上行の8画素を水平1次元DCT変換した
水平1次元DCT係数になる。
が、フィールドDCTである場合は、注目ブロックB
NDRは、注目マクロブロックMBNの8つの偶数ラインの
右側の8画素であり、図20(B)に示すように、その
最上行の8画素(影を付してある部分)は、空間領域に
おいて、フレーム構造の注目マクロブロックMBNの上
に隣接する上隣接マクロブロックMBUの右下のブロッ
クBUDRの最下行の8画素(斜線を付してある部分)と
隣接する。従って、注目ブロックBNDRの最上行の水平
1次元DCT係数に対する上隣接1次元DCT係数は、
ブロックBUDRの最下行の8画素を水平1次元DCT変
換した水平1次元DCT係数になる。
Nの右下のブロックBNDRが注目ブロックであるとした場
合に、空間領域において、注目ブロックBNDRの下側の
境界、即ち、最下行の8画素に隣接する隣接ブロックの
画素列(下隣接画素列)を示している。
インが、注目ブロックBNDRの最下行の画素列を表し、
斜線を付してあるラインが、下隣接画素列を表してい
る。
クBNDRが注目ブロックである場合の下に隣接するブロ
ックは、注目マクロブロックMBNの中のブロックでは
ない下隣接マクロブロックMBDの右上のブロックBDUR
となるから、注目ブロックBND Rの最下行の画素列の下
に隣接する下隣接画素列がいずれの画素列になるかは、
注目マクロブロックMBNと、下隣接マクロブロックM
BDの両方の構造を考慮する必要がある。
マクロブロックMBDのDCTタイプが、いずれもフレ
ームDCTの場合は、注目ブロックBNDRは、注目マク
ロブロックMBNの右下の8×8画素であり、図21
(A)に示すように、その最下行の8画素(影を付して
ある部分)は、空間領域において、フレーム構造の下隣
接マクロブロックMBDの右上のブロックBDURの最上行
の8画素(斜線を付してある部分)と隣接する。従っ
て、注目ブロックBNDRの最下行の水平1次元DCT係
数に対する下隣接1次元DCT係数は、ブロックBDUR
の最上行の8画素を水平1次元DCT変換した水平1次
元DCT係数になる。
が、フレームDCTであり、下隣接マクロブロックMB
DのDCTタイプが、フィールドDCTの場合は、注目
ブロックBNDRは、注目マクロブロックMBNの右下の8
×8画素であり、図21(B)に示すように、その最下
行の8画素(影を付してある部分)は、空間領域におい
て、フィールド構造の下隣接マクロブロックMBDの右
上のブロックBDURの最上行の8画素(斜線を付してあ
る部分)と隣接する。従って、注目ブロックBND Rの最
下行の水平1次元DCT係数に対する下隣接1次元DC
T係数は、ブロックBDURの最上行の8画素を水平1次
元DCT変換した水平1次元DCT係数になる。
が、フィールドDCTであり、下隣接マクロブロックM
BDのDCTタイプが、フレームDCTの場合は、注目
ブロックBNDRは、注目マクロブロックMBNの8つの偶
数ラインの右側の8画素であり、図21(C)に示すよ
うに、その最下行の8画素(影を付してある部分)は、
空間領域において、フレーム構造の下隣接マクロブロッ
クMBDの右上のブロックBDURの第2行目の8画素(斜
線を付してある部分)と隣接する。従って、注目ブロッ
クBNDRの最下行の水平1次元DCT係数に対する下隣
接1次元DCT係数は、ブロックBDURの第2行目の8
画素を水平1次元DCT変換した水平1次元DCT係数
になる。
が、フィールドDCTであり、下隣接マクロブロックM
BDのDCTタイプも、フィールドDCTの場合は、注
目ブロックBNDRは、注目マクロブロックMBNの8つの
偶数ラインの右側の8画素であり、図21(D)に示す
ように、その最下行の8画素(影を付してある部分)
は、空間領域において、フィールド構造の下隣接マクロ
ブロックMBDの右下のブロックBDDRの最上行の8画素
(斜線を付してある部分)と隣接する。従って、注目ブ
ロックBNDRの最下行の水平1次元DCT係数に対する
下隣接1次元DCT係数は、ブロックBDDRの最上行の
8画素を水平1次元DCT変換した水平1次元DCT係
数になる。
Nの右下のブロックBNDRが注目ブロックであるとした場
合に、空間領域において、注目ブロックBNDRの左側の
境界、即ち、最左列の8画素に隣接する隣接ブロックの
画素列(左隣接画素列)を示している。
インが、注目ブロックBNDRの最左列の画素列を表し、
斜線を付してあるラインが、左隣接画素列を表してい
る。
クBNDRが注目ブロックである場合の左に隣接するブロ
ックは、注目マクロブロックMBNの中の左下のブロッ
クBNDLになるから、注目ブロックBNDRの最左列の画素
列の左に隣接する左隣接画素列は、必ず、ブロックNDL
の最右列の8画素となるので、注目マクロブロックMB
Nや、その注目マクロブロックMBNに隣接するマクロブ
ロックの構造を考慮する必要はない。
ブロックBNDRが注目ブロックである場合には、図22
に示すように、その最左列の8画素(影を付してある部
分)は、空間領域において、注目ブロックBNDRの左隣
のブロックBNDLの最右列の8画素(斜線を付してある
部分)と隣接する。従って、注目ブロックBNDRの最左
列の垂直1次元DCT係数に対する左隣接1次元DCT
係数は、ブロックBNDLの最右列の8画素を垂直1次元
DCT変換した垂直1次元DCT係数になる。
Nの右下のブロックBNDRが注目ブロックであるとした場
合に、空間領域において、注目ブロックBNDRの右側の
境界、即ち、最右列の8画素に隣接する隣接ブロックの
画素列(右隣接画素列)を示している。
インが、注目ブロックBNDRの最右列の画素列を表し、
斜線を付してあるラインが、右隣接画素列を表してい
る。
クBNDRが注目ブロックである場合の右に隣接するブロ
ックは、注目マクロブロックMBNの中のブロックでは
ない右隣接マクロブロックMBRの右下のブロックBRDL
となるから、注目ブロックBND Rの最右列の画素列の右
に隣接する右隣接画素列がいずれの画素列になるかは、
注目マクロブロックMBNと、右隣接マクロブロックM
BRの両方の構造を考慮する必要がある。
マクロブロックMBRのDCTタイプが、いずれもフレ
ームDCTの場合は、注目ブロックBNDRは、注目マク
ロブロックMBNの右下の8×8画素であり、図23
(A)に示すように、その最右列の8画素(影を付して
ある部分)は、空間領域において、フレーム構造の右隣
接マクロブロックMBRの左下のブロックBRDLの最左列
の8画素(斜線を付してある部分)と隣接する。従っ
て、注目ブロックBNDRの最右列の垂直1次元DCT係
数に対する右隣接1次元DCT係数は、ブロックBRDL
の最左列の8画素を垂直1次元DCT変換した垂直1次
元DCT係数になる。
が、フレームDCTであり、右隣接マクロブロックMB
RのDCTタイプが、フィールドDCTの場合は、注目
ブロックBNDRは、注目マクロブロックMBNの右下の8
×8画素であり、図23(B)に示すように、その最右
列の8画素(影を付してある部分)は、空間領域におい
て、フィールド構造の右隣接マクロブロックMBRの左
上のブロックBRULにおける最左列の下4画素と、その
左下のブロックBRDLにおける最左列の下4画素の合計
8画素(斜線を付してある部分)と隣接する。従って、
注目ブロックBND Rの最右列の垂直1次元DCT係数に
対する右隣接1次元DCT係数は、ブロックBRULにお
ける最左列の下4画素とブロックBRDLにおける最左列
の下4画素の合計8画素を垂直1次元DCT変換した垂
直1次元DCT係数になる。
が、フィールドDCTであり、右隣接マクロブロックM
BRのDCTタイプが、フレームDCTの場合は、注目
ブロックBNDRは、注目マクロブロックMBNの8つの偶
数ラインの左側の8画素であり、図23(C)に示すよ
うに、その最右列の8画素(影を付してある部分)は、
空間領域において、フレーム構造の右隣接マクロブロッ
クMBRの左上のブロックBRULにおける最左列の偶数行
の4画素と、その左下のブロックBRDLにおける最左列
の偶数行の4画素の合計8画素(斜線を付してある部
分)と隣接する。従って、注目ブロックBNDRの最左列
の垂直1次元DCT係数に対する右隣接1次元DCT係
数は、ブロックBRULにおける最左列の偶数行の4画素
とブロックBRDLにおける偶数行の4画素の合計8画素
を垂直1次元DCT変換した垂直1次元DCT係数にな
る。
が、フィールドDCTであり、右隣接マクロブロックM
BRのDCTタイプも、フィールドDCTの場合は、注
目ブロックBNDRは、注目マクロブロックMBNの8つの
偶数ラインの右側の8画素であり、図23(D)に示す
ように、その最右列の8画素(影を付してある部分)
は、空間領域において、フィールド構造の右隣接マクロ
ブロックMBRの左下のブロックBRDLの最左列の8画素
(斜線を付してある部分)と隣接する。従って、注目ブ
ロックBNDRの最右列の垂直1次元DCT係数に対する
右隣接1次元DCT係数は、ブロックBRDLの最左列の
8画素を垂直1次元DCT変換した垂直1次元DCT係
数になる。
たような、注目ブロックに対する隣接1次元DCT係数
(上隣接1次元DCT係数、下隣接1次元DCT係数、
左隣接1次元DCT係数、および右隣接1次元DCT係
数)を取得する、図2の隣接1次元DCT係数選択/変
換部32の構成例を示している。
おいて、1次元逆DCT変換部31(図2)が出力する
1次元DCT係数(水平1次元DCT係数および垂直1
次元DCT係数)は、メモリ81に供給されるようにな
っており、バッファメモリ12に記憶された注目マクロ
ブロックと隣接マクロブロック(上隣接マクロブロッ
ク、下隣接マクロブロック、左隣接マクロブロック、お
よび右隣接マクロブロック)のDCTタイプは、サンプ
リング部83および選択部85に供給されるようになっ
ている。
/変換部32を構成する各ブロックを制御する。
(図2)が出力する1次元DCT係数を、一時記憶す
る。
81に記憶された垂直1次元DCT係数を読み出して、
垂直1次元逆DCT変換し、これにより、横×縦が1×
8の画素列を得て出力する。垂直1次元逆DCT変換部
82が出力する1×8の画素列は、サンプリング部83
に供給される。
2(図2)に記憶された注目マクロブロックと隣接マク
ロブロックのDCTタイプに基づき、垂直1次元逆DC
T変換部83から供給される画素列を対象としたサンプ
リングを行い、そのサンプリングの結果得られる画素か
ら、1×8の画素列を再構成して、垂直1次元DCT変
換部84に供給する。
ング部83から供給される1×8の画素列を、垂直1次
元DCT変換し、これにより、横×縦が1×8の垂直1
次元DCT係数を得て、選択部85に供給する。
平1次元DCT係数もしくは垂直1次元DCT係数、ま
たは垂直1次元DCT変換部84が出力する垂直1次元
DCT係数を選択し、隣接1次元DCT係数として出力
する。
て、図24の隣接1次元DCT係数選択/変換部32の
処理(隣接1次元DCT係数選択/変換処理)について
説明する。
隣接マクロブロック、下隣接マクロブロック、左隣接マ
クロブロック、および右隣接マクロブロックの1次元D
CT係数が供給されて記憶される。また、サンプリング
部83および選択部85には、注目マクロブロック、上
隣接マクロブロック、下隣接マクロブロック、左隣接マ
クロブロック、および右隣接マクロブロックのDCTタ
イプが供給される。
0は、注目マクロブロックにおける注目ブロックの位置
を判定する。ステップS1において、注目ブロックが、
注目ブロックの左上、左下、右上、または右下のブロッ
クであると判定された場合、ステップS2,S3,S
4、またはS5にそれぞれ進み、左上ブロック処理、左
下ブロック処理、右上ブロック処理、または右下ブロッ
ク処理がそれぞれ行われ、処理を終了する。
理は、例えば、注目ブロックが変更されるごとに行われ
る。
て、図25のステップS2における左上ブロック処理に
ついて説明する。
クの左上のブロックBNULについて、上隣接1次元DC
T係数、下隣接1次元DCT係数、左隣接1次元DCT
係数、右隣接1次元DCT係数が取得される。
に、ステップS11において、選択部85が、注目マク
ロブロックと上隣接マクロブロックのDCTタイプを判
定する。
ックと上隣接マクロブロックのDCTタイプが、いずれ
もフレームDCTであると判定された場合、ステップS
12に進み、選択部85は、図8(A)で説明したよう
に、上隣接マクロブロックMBUの左下のブロックBUDL
における最下行の8画素を水平1次元DCT変換した水
平1次元DCT係数を、上隣接1次元DCT係数として
取得する。
クの左上のブロックBNULである場合において、注目マ
クロブロックと上隣接マクロブロックが、いずれもフレ
ーム構造であるときには、上隣接1次元DCT係数は、
図8(A)で説明したように、上隣接マクロブロックM
BUの左下のブロックBUDLにおける最下行の8画素を水
平1次元DCT変換した水平1次元DCT係数であり、
この水平1次元DCT係数は、ブロックBUDLの第8行
の水平1次元DCT係数である。ブロックBUDLの第8
行の水平1次元DCT係数は、メモリ81に記憶されて
おり、選択部85は、ステップS12において、メモリ
81から、ブロックBUDLの第8行の水平1次元DCT
係数を読み出して選択し、上隣接1次元DCT係数とし
て出力する。
ロブロックのDCTタイプがフレームDCTであり、上
隣接マクロブロックのDCTタイプがフィールドDCT
であると判定された場合、ステップS13に進み、選択
部85は、図8(B)で説明したように、上隣接マクロ
ブロックMBUの左下のブロックBUDLの最下行の8画素
を水平1次元DCT変換した水平1次元DCT係数を、
上隣接1次元DCT係数として取得する。
クの左上のブロックBNULである場合において、注目マ
クロブロックがフレーム構造であり、上隣接マクロブロ
ックがフィールド構造であるときには、上隣接1次元D
CT係数は、図8(B)で説明したように、上隣接マク
ロブロックMBUの左下のブロックBUDLにおける最下行
の8画素を水平1次元DCT変換した水平1次元DCT
係数であり、この水平1次元DCT係数は、ブロックB
UDLの第8行の水平1次元DCT係数である。ブロック
BUDLの第8行の水平1次元DCT係数は、メモリ81
に記憶されており、選択部85は、ステップS13にお
いて、メモリ81から、ブロックBUDLの第8行の水平
1次元DCT係数を読み出して選択し、上隣接1次元D
CT係数として出力する。
ロブロックのDCTタイプがフィールドDCTであり、
上隣接マクロブロックのDCTタイプがフレームDCT
であると判定された場合、ステップS14に進み、選択
部85は、図8(C)で説明したように、上隣接マクロ
ブロックMBUの左下ブロックBUDLの第7行目の8画素
を水平1次元DCT変換した水平1次元DCT係数を、
上隣接1次元DCT係数として取得する。
クの左上のブロックBNULである場合において、注目マ
クロブロックがフィールド構造であり、上隣接マクロブ
ロックがフレーム構造であるときには、上隣接1次元D
CT係数は、図8(C)で説明したように、上隣接マク
ロブロックMBUの左下ブロックBUDLの第7行目の8画
素を水平1次元DCT変換した水平1次元DCT係数で
あり、この水平1次元DCT係数は、ブロックBUDLの
第7行の水平1次元DCT係数である。ブロックBUDL
の第7行の水平1次元DCT係数は、メモリ81に記憶
されており、選択部85は、ステップS14において、
メモリ81から、ブロックBUDLの第7行の水平1次元
DCT係数を読み出して選択し、上隣接1次元DCT係
数として出力する。
ロブロックと上隣接マクロブロックのDCTタイプが、
いずれもフィールドDCTであると判定された場合、ス
テップS15に進み、選択部85は、図8(D)で説明
したように、上隣接マクロブロックMBUの左上のブロ
ックBUULの最下行の8画素を水平1次元DCT変換し
た水平1次元DCT係数を、上隣接1次元DCT係数と
して取得する。
クの左上のブロックBNULである場合において、注目マ
クロブロックと上隣接マクロブロックが、いずれもフィ
ールド構造であるときには、上隣接1次元DCT係数
は、図8(D)で説明したように、上隣接マクロブロッ
クMBUの左上のブロックBUULの最下行の8画素を水平
1次元DCT変換した水平1次元DCT係数であり、こ
の水平1次元DCT係数は、ブロックBUULの第8行の
水平1次元DCT係数である。ブロックBUULの第8行
の水平1次元DCT係数は、メモリ81に記憶されてお
り、選択部85は、ステップS15において、メモリ8
1から、ブロックBUULの第8行の水平1次元DCT係
数を読み出して選択し、上隣接1次元DCT係数として
出力する。
ずれも、ステップS16に進み、選択部85が、注目マ
クロブロックのDCTタイプを判定する。
ックのDCTタイプがフレームDCTであると判定され
た場合、ステップS17に進み、選択部85は、図9
(A)で説明したように、注目マクロブロックMBNの
左下のブロックBNDLの最上行の8画素を水平1次元D
CT変換した水平1次元DCT係数を、下隣接1次元D
CT係数として取得する。
クの左上のブロックBNULである場合において、注目マ
クロブロックがフレーム構造であるときには、下隣接1
次元DCT係数は、図9(A)で説明したように、注目
マクロブロックMBNの左下のブロックBNDLの最上行の
8画素を水平1次元DCT変換した水平1次元DCT係
数であり、この水平1次元DCT係数は、ブロックB
NDLの第1行の水平1次元DCT係数である。ブロック
BNDLの第1行の水平1次元DCT係数は、メモリ81
に記憶されており、選択部85は、ステップS17にお
いて、メモリ81から、ブロックBNDLの第1行の水平
1次元DCT係数を読み出して選択し、下隣接1次元D
CT係数として出力する。
ロブロックのDCTタイプがフィールドDCTであると
判定された場合、ステップS18に進み、選択部85
は、図9(B)で説明したように、下隣接マクロブロッ
クMBDの左上のブロックBDULの最上行の8画素を水平
1次元DCT変換した水平1次元DCT係数を、下隣接
1次元DCT係数として取得する。
クの左上のブロックBNULである場合において、注目マ
クロブロックがフィールド構造であるときには、下隣接
1次元DCT係数は、図9(B)で説明したように、下
隣接マクロブロックMBDの左上のブロックBDULの最上
行の8画素を水平1次元DCT変換した水平1次元DC
T係数であり、この水平1次元DCT係数は、ブロック
BDULの第1行の水平1次元DCT係数である。ブロッ
クBDULの第1行の水平1次元DCT係数は、メモリ8
1に記憶されており、選択部85は、ステップS18に
おいて、メモリ81から、ブロックBDULの第1行の水
平1次元DCT係数を読み出して選択し、下隣接1次元
DCT係数として出力する。
いずれも、ステップS19に進み、サンプリング部83
および選択部85が、注目マクロブロックと左隣接マク
ロブロックのDCTタイプを判定する。
ックと左隣接マクロブロックのDCTタイプが、いずれ
もフレームDCTであると判定された場合、ステップS
20に進み、選択部85は、図10(A)で説明したよ
うに、左隣接マクロブロックMBLの右上のブロックB
LURの最右列の8画素を垂直1次元DCT変換した垂直
1次元DCT係数を、左隣接1次元DCT係数として取
得する。
クの左上のブロックBNULである場合において、注目マ
クロブロックと左隣接マクロブロックが、いずれもフレ
ーム構造であるときには、左隣接1次元DCT係数は、
図10(A)で説明したように、左隣接マクロブロック
MBLの右上のブロックBLURの最右列の8画素を垂直1
次元DCT変換した垂直1次元DCT係数であり、この
垂直1次元DCT係数は、ブロックBLURの第8列(左
から8列目)の垂直1次元DCT係数である。ブロック
BLURの第8列の垂直1次元DCT係数は、メモリ81
に記憶されており、選択部85は、ステップS20にお
いて、メモリ81から、ブロックBLURの第8列の垂直
1次元DCT係数を読み出して選択し、左隣接1次元D
CT係数として出力する。
ロブロックのDCTタイプがフレームDCTであり、左
隣接マクロブロックのDCTタイプがフィールドDCT
であると判定された場合、ステップS21乃至S23に
順次進み、選択部85は、図10(B)で説明したよう
に、左隣接マクロブロックMBLの右上のブロックBL UR
における最右列の上4画素と、その右下のブロックB
LDRにおける最右列の上4画素の合計8画素を垂直1次
元DCT変換した垂直1次元DCT係数を、左隣接1次
元DCT係数として取得する。
クの左上のブロックBNULである場合において、注目マ
クロブロックがフレーム構造であり、左隣接マクロブロ
ックがフィールド構造であるときには、左隣接1次元D
CT係数は、図10(B)で説明したように、左隣接マ
クロブロックMBLの右上のブロックBLURにおける最右
列の上4画素と、その右下のブロックBLDRにおける最
右列の上4画素の合計8画素を垂直1次元DCT変換し
た垂直1次元DCT係数となるが、このような垂直1次
元DCT係数は、メモリ81に存在しない。
BLURの第8列の垂直1次元DCT係数と、ブロックB
LDRの第8列の垂直1次元DCT係数の垂直1次元逆D
CT変換を、垂直1次元逆DCT変換部82に要求す
る。
リング部83からの要求に応じ、ステップS21におい
て、ブロックBLURの第8列の垂直1次元DCT係数
と、ブロックBLDRの第8列の垂直1次元DCT係数
を、メモリ81から読み出し、垂直1次元逆DCT変換
を施す。これにより、垂直1次元逆DCT変換部82
は、ブロックBLURの第8列の8画素と、ブロックBLDR
の第8列の8画素を得て、サンプリング部83に供給
し、ステップS22に進む。
は、垂直1次元逆DCT変換部82から供給されるブロ
ックBLURの第8列の8画素のうちの上4画素をサンプ
リングするとともに、同じく垂直1次元逆DCT変換部
82から供給されるブロックBLDRの第8列の8画素の
うちの上4画素をサンプリングし、ブロックBLURの第
8列からサンプリングした上4画素を奇数行(トップフ
ィールド)に配置するとともに、ブロックBLDRの第8
列からサンプリングした上4画素を偶数行(ボトムフィ
ールド)に配置することにより、注目マクロブロックと
同一のフレーム構造とした垂直方向に並ぶ8画素を、垂
直1次元DCT変換部84に供給する。
ング部83でサンプリングされた8画素を受信すると、
ステップS23において、その8画素を、垂直1次元D
CT変換し、これにより、左隣接マクロブロックMBL
の右上のブロックBLURにおける最右列の上4画素と、
その右下のブロックBLDRにおける最右列の上4画素の
合計8画素を垂直1次元DCT変換した垂直1次元DC
T係数を得て、選択部85に供給する。選択部85は、
垂直1次元DCT変換部84から供給される垂直1次元
DCT係数を選択し、左隣接1次元DCT係数として出
力する。
ロブロックのDCTタイプがフィールドDCTであり、
左隣接マクロブロックのDCTタイプがフレームDCT
であると判定された場合、ステップS24乃至S26に
順次進み、選択部85は、図10(C)で説明したよう
に、左隣接マクロブロックMBLの右上のブロックBL UR
における最右列の奇数行の4画素と、その右下のブロッ
クBLDRにおける奇数行の4画素の合計8画素を垂直1
次元DCT変換した垂直1次元DCT係数を、左隣接1
次元DCT係数として取得する。
クの左上のブロックBNULである場合において、注目マ
クロブロックがフィールド構造であり、左隣接マクロブ
ロックがフレーム構造であるときには、左隣接1次元D
CT係数は、図10(C)で説明したように、左隣接マ
クロブロックMBLの右上のブロックBLURにおける最右
列の奇数行の4画素と、その右下のブロックBLDRにお
ける奇数行の4画素の合計8画素を垂直1次元DCT変
換した垂直1次元DCT係数となるが、そのような垂直
1次元DCT係数は、メモリ81に存在しない。
BLURの第8列の垂直1次元DCT係数と、ブロックB
LDRの第8列の垂直1次元DCT係数の垂直1次元逆D
CT変換を、垂直1次元逆DCT変換部82に要求す
る。
リング部83からの要求に応じ、ステップS24におい
て、ブロックBLURの第8列の垂直1次元DCT係数
と、ブロックBLDRの第8列の垂直1次元DCT係数
を、メモリ81から読み出し、垂直1次元逆DCT変換
を施す。これにより、垂直1次元逆DCT変換部82
は、ブロックBLURの第8列の8画素と、ブロックBLDR
の第8列の8画素を得て、サンプリング部83に供給
し、ステップS25に進む。
は、垂直1次元逆DCT変換部82から供給されるブロ
ックBLURの第8列の8画素のうちの奇数行の4画素を
サンプリングするとともに、同じく垂直1次元逆DCT
変換部82から供給されるブロックBLDRの第8列の8
画素のうちの奇数行の4画素をサンプリングし、ブロッ
クBLURの第8列からサンプリングした奇数行の4画素
を上側に配置するとともに、ブロックBLDRの第8列か
らサンプリングした奇数行の4画素を下側に配置するこ
とにより、注目マクロブロックと同一のフィールド(ト
ップフィールド)構造とした垂直方向に並ぶ8画素を、
垂直1次元DCT変換部84に供給する。
ング部83でサンプリングされた8画素を受信すると、
ステップS26において、その8画素を、垂直1次元D
CT変換し、これにより、左隣接マクロブロックMBL
の右上のブロックBLURにおける最右列の奇数行の4画
素と、その右下のブロックBLDRにおける奇数行の4画
素の合計8画素を垂直1次元DCT変換した垂直1次元
DCT係数を得て、選択部85に供給する。選択部85
は、垂直1次元DCT変換部84から供給される垂直1
次元DCT係数を選択し、左隣接1次元DCT係数とし
て出力する。
ロブロックと左隣接マクロブロックのDCTタイプが、
いずれもフィールドDCTであると判定された場合、ス
テップS27に進み、選択部85は、図10(D)で説
明したように、左隣接マクロブロックMBLの右上のブ
ロックBLURの最右列の8画素を垂直1次元DCT変換
した垂直1次元DCT係数を、左隣接1次元DCT係数
として取得する。
クの左上のブロックBNULである場合において、注目マ
クロブロックと左隣接マクロブロックが、いずれもフィ
ールド構造であるときには、左隣接1次元DCT係数
は、図10(D)で説明したように、左隣接マクロブロ
ックMBLの右上のブロックBLURの最右列の8画素を垂
直1次元DCT変換した垂直1次元DCT係数であり、
この垂直1次元DCT係数は、ブロックBLURの第8列
の垂直1次元DCT係数である。ブロックBLURの第8
列の垂直1次元DCT係数は、メモリ81に記憶されて
おり、選択部85は、ステップS27において、メモリ
81から、ブロックBLURの第8列の垂直1次元DCT
係数を読み出して選択し、左隣接1次元DCT係数とし
て出力する。
S27の処理後は、いずれも、ステップS28に進み、
選択部85は、図11で説明したように、注目ブロック
BNU Lの右隣のブロックBNURの最左列の8画素を垂直1
次元DCT変換した垂直1次元DCT係数を、右隣接1
次元DCT係数として取得する。
クの左上のブロックBNULである場合には、右隣接1次
元DCT係数は、図11で説明したように、注目ブロッ
クB NULの右隣のブロックBNURの最左列の8画素を垂直
1次元DCT変換した垂直1次元DCT係数であり、こ
の垂直1次元DCT係数は、ブロックBNURの第1列の
垂直1次元DCT係数である。ブロックBNURの第1列
の垂直1次元DCT係数は、メモリ81に記憶されてお
り、選択部85は、ステップS28において、メモリ8
1から、ブロックBNURの第1列の垂直1次元DCT係
数を読み出して選択し、右隣接1次元DCT係数として
出力して、左上ブロック処理を終了する。
て、図25のステップS3における左下ブロック処理に
ついて説明する。
クの左下のブロックBNDLについて、上隣接1次元DC
T係数、下隣接1次元DCT係数、左隣接1次元DCT
係数、右隣接1次元DCT係数が取得される。
に、ステップS31において、選択部85が、注目マク
ロブロックのDCTタイプを判定する。
ックのDCTタイプがフレームDCTであると判定され
た場合、ステップS32に進み、選択部85は、図12
(A)で説明したように、注目マクロブロックMBNの
左上のブロックBNULの最下行の8画素を水平1次元D
CT変換した水平1次元DCT係数を、上隣接1次元D
CT係数として取得する。
クの左下のブロックBNDLである場合において、注目マ
クロブロックがフレーム構造であるときには、上隣接1
次元DCT係数は、図12(A)で説明したように、注
目マクロブロックMBNの左上のブロックBNULの最下行
の8画素を水平1次元DCT変換した水平1次元DCT
係数であり、この水平1次元DCT係数は、ブロックB
NULの第8行の水平1次元DCT係数である。ブロック
BNULの第8行の水平1次元DCT係数は、メモリ81
に記憶されており、選択部85は、ステップS32にお
いて、メモリ81から、ブロックBNULの第8行の水平
1次元DCT係数を読み出して選択し、上隣接1次元D
CT係数として出力する。
ロブロックのDCTタイプがフィールドDCTであると
判定された場合、ステップS33に進み、選択部85
は、図12(B)で説明したように、上隣接マクロブロ
ックMBUの左下のブロックBU DLの最下行の8画素を水
平1次元DCT変換した水平1次元DCT係数を、上隣
接1次元DCT係数として取得する。
クの左下のブロックBNDLである場合において、注目マ
クロブロックがフィールド構造であるときには、上隣接
1次元DCT係数は、図12(B)で説明したように、
上隣接マクロブロックMBUの左下のブロックBUDLの最
下行の8画素を水平1次元DCT変換した水平1次元D
CT係数であり、この水平1次元DCT係数は、ブロッ
クBUDLの第8行の水平1次元DCT係数である。ブロ
ックBUDLの第1行の水平1次元DCT係数は、メモリ
81に記憶されており、選択部85は、ステップS33
において、メモリ81から、ブロックBUDLの第1行の
水平1次元DCT係数を読み出して選択し、上隣接1次
元DCT係数として出力する。
いずれも、ステップS34に進み、選択部85が、注目
マクロブロックと下隣接マクロブロックのDCTタイプ
を判定する。
ックと下隣接マクロブロックのDCTタイプが、いずれ
もフレームDCTであると判定された場合、ステップS
35に進み、選択部85は、図13(A)で説明したよ
うに、下隣接マクロブロックMBDの左上のブロックB
DULにおける最上行の8画素を水平1次元DCT変換し
た水平1次元DCT係数を、下隣接1次元DCT係数と
して取得する。
クの左下のブロックBNDLである場合において、注目マ
クロブロックと下隣接マクロブロックが、いずれもフレ
ーム構造であるときには、下隣接1次元DCT係数は、
図13(A)で説明したように、下隣接マクロブロック
MBDの左上のブロックBDULにおける最上行の8画素を
水平1次元DCT変換した水平1次元DCT係数であ
り、この水平1次元DCT係数は、ブロックBDULの第
1行の水平1次元DCT係数である。ブロックBD ULの
第1行の水平1次元DCT係数は、メモリ81に記憶さ
れており、選択部85は、ステップS35において、メ
モリ81から、ブロックBDULの第1行の水平1次元D
CT係数を読み出して選択し、下隣接1次元DCT係数
として出力する。
ロブロックのDCTタイプがフレームDCTであり、下
隣接マクロブロックのDCTタイプがフィールドDCT
であると判定された場合、ステップS36に進み、選択
部85は、図13(B)で説明したように、下隣接マク
ロブロックMBDの左上のブロックBDULの最上行の8画
素を水平1次元DCT変換した水平1次元DCT係数
を、下隣接1次元DCT係数として取得する。
クの左下のブロックBNDLである場合において、注目マ
クロブロックがフレーム構造であり、下隣接マクロブロ
ックがフィールド構造であるときには、下隣接1次元D
CT係数は、図13(B)で説明したように、下隣接マ
クロブロックMBDの左上のブロックBDULにおける最下
行の8画素を水平1次元DCT変換した水平1次元DC
T係数であり、この水平1次元DCT係数は、ブロック
BDULの第1行の水平1次元DCT係数である。ブロッ
クBDULの第1行の水平1次元DCT係数は、メモリ8
1に記憶されており、選択部85は、ステップS36に
おいて、メモリ81から、ブロックBDU Lの第1行の水
平1次元DCT係数を読み出して選択し、下隣接1次元
DCT係数として出力する。
ロブロックのDCTタイプがフィールドDCTであり、
下隣接マクロブロックのDCTタイプがフレームDCT
であると判定された場合、ステップS37に進み、選択
部85は、図13(C)で説明したように、下隣接マク
ロブロックMBDの左上のブロックBDULの第2行目の8
画素を水平1次元DCT変換した水平1次元DCT係数
を、下隣接1次元DCT係数として取得する。
クの左下のブロックBNDLである場合において、注目マ
クロブロックがフィールド構造であり、下隣接マクロブ
ロックがフレーム構造であるときには、下隣接1次元D
CT係数は、図13(C)で説明したように、下隣接マ
クロブロックMBDの左上のブロックBDULの第2行目の
8画素を水平1次元DCT変換した水平1次元DCT係
数であり、この水平1次元DCT係数は、ブロックB
DULの第2行の水平1次元DCT係数である。ブロック
BDULの第2行の水平1次元DCT係数は、メモリ81
に記憶されており、選択部85は、ステップS37にお
いて、メモリ81から、ブロックBDULの第2行の水平
1次元DCT係数を読み出して選択し、下隣接1次元D
CT係数として出力する。
ロブロックと下隣接マクロブロックのDCTタイプが、
いずれもフィールドDCTであると判定された場合、ス
テップS38に進み、選択部85は、図13(D)で説
明したように、下隣接マクロブロックMBDの左下のブ
ロックBDDLの最上行の8画素を水平1次元DCT変換
した水平1次元DCT係数を、下隣接1次元DCT係数
として取得する。
クの左下のブロックBNDLである場合において、注目マ
クロブロックと下隣接マクロブロックが、いずれもフィ
ールド構造であるときには、下隣接1次元DCT係数
は、図13(D)で説明したように、下隣接マクロブロ
ックMBDの左下のブロックBDDLの最上行の8画素を水
平1次元DCT変換した水平1次元DCT係数であり、
この水平1次元DCT係数は、ブロックBDDLの第1行
の水平1次元DCT係数である。ブロックBDDLの第1
行の水平1次元DCT係数は、メモリ81に記憶されて
おり、選択部85は、ステップS38において、メモリ
81から、ブロックBDDLの第1行の水平1次元DCT
係数を読み出して選択し、下隣接1次元DCT係数とし
て出力する。
ずれも、ステップS39に進み、サンプリング部83お
よび選択部85が、注目マクロブロックと左隣接マクロ
ブロックのDCTタイプを判定する。
ックと左隣接マクロブロックのDCTタイプが、いずれ
もフレームDCTであると判定された場合、ステップS
40に進み、選択部85は、図14(A)で説明したよ
うに、左隣接マクロブロックMBLの右下のブロックB
LDRの最右列の8画素を垂直1次元DCT変換した垂直
1次元DCT係数を、左隣接1次元DCT係数として取
得する。
クの左下のブロックBNDLである場合において、注目マ
クロブロックと左隣接マクロブロックが、いずれもフレ
ーム構造であるときには、左隣接1次元DCT係数は、
図14(A)で説明したように、左隣接マクロブロック
MBLの右下のブロックBLDRの最右列の8画素を垂直1
次元DCT変換した垂直1次元DCT係数であり、この
垂直1次元DCT係数は、ブロックBLDRの第8列の垂
直1次元DCT係数である。ブロックBLDRの第8列の
垂直1次元DCT係数は、メモリ81に記憶されてお
り、選択部85は、ステップS40において、メモリ8
1から、ブロックBLDRの第8列の垂直1次元DCT係
数を読み出して選択し、左隣接1次元DCT係数として
出力する。
ロブロックのDCTタイプがフレームDCTであり、左
隣接マクロブロックのDCTタイプがフィールドDCT
であると判定された場合、ステップS41乃至S43に
順次進み、選択部85は、図14(B)で説明したよう
に、左隣接マクロブロックMBLの右上のブロックBL UR
における最右列の下4画素と、その右下のブロックB
LDRにおける最右列の下4画素の合計8画素を垂直1次
元DCT変換した垂直1次元DCT係数を、左隣接1次
元DCT係数として取得する。
クの左下のブロックBNDLである場合において、注目マ
クロブロックがフレーム構造であり、左隣接マクロブロ
ックがフィールド構造であるときには、左隣接1次元D
CT係数は、図14(B)で説明したように、左隣接マ
クロブロックMBLの右上のブロックBLURにおける最右
列の上4画素と、その右下のブロックBLDRにおける最
右列の上4画素の合計8画素を垂直1次元DCT変換し
た垂直1次元DCT係数となるが、このような垂直1次
元DCT係数は、メモリ81に存在しない。
BLURの第8列の垂直1次元DCT係数と、ブロックB
LDRの第8列の垂直1次元DCT係数の垂直1次元逆D
CT変換を、垂直1次元逆DCT変換部82に要求す
る。
リング部83からの要求に応じ、ステップS41におい
て、ブロックBLURの第8列の垂直1次元DCT係数
と、ブロックBLDRの第8列の垂直1次元DCT係数
を、メモリ81から読み出し、垂直1次元逆DCT変換
を施す。これにより、垂直1次元逆DCT変換部82
は、ブロックBLURの第8列の8画素と、ブロックBLDR
の第8列の8画素を得て、サンプリング部83に供給
し、ステップS42に進む。
は、垂直1次元逆DCT変換部82から供給されるブロ
ックBLURの第8列の8画素のうちの下4画素をサンプ
リングするとともに、同じく垂直1次元逆DCT変換部
82から供給されるブロックBLDRの第8列の8画素の
うちの下4画素をサンプリングし、ブロックBLURの第
8列からサンプリングした上4画素を奇数行(トップフ
ィールド)に配置するとともに、ブロックBLDRの第8
列からサンプリングした上4画素を偶数行(ボトムフィ
ールド)に配置することにより、注目マクロブロックと
同一のフレーム構造とした垂直方向に並ぶ8画素を、垂
直1次元DCT変換部84に供給する。
ング部83でサンプリングされた8画素を受信すると、
ステップS43において、その8画素を、垂直1次元D
CT変換し、これにより、左隣接マクロブロックMBL
の右上のブロックBLURにおける最右列の上4画素と、
その右下のブロックBLDRにおける最右列の上4画素の
合計8画素を垂直1次元DCT変換した垂直1次元DC
T係数を得て、選択部85に供給する。選択部85は、
垂直1次元DCT変換部84から供給される垂直1次元
DCT係数を選択し、左隣接1次元DCT係数として出
力する。
ロブロックのDCTタイプがフィールドDCTであり、
左隣接マクロブロックのDCTタイプがフレームDCT
であると判定された場合、ステップS44乃至S46に
順次進み、選択部85は、図14(C)で説明したよう
に、左隣接マクロブロックMBLの右上のブロックBL UR
における最右列の偶数行の4画素と、その右下のブロッ
クBLDRにおける偶数行の4画素の合計8画素を垂直1
次元DCT変換した垂直1次元DCT係数を、左隣接1
次元DCT係数として取得する。
クの左下のブロックBNDLである場合において、注目マ
クロブロックがフィールド構造であり、左隣接マクロブ
ロックがフレーム構造であるときには、左隣接1次元D
CT係数は、図14(C)で説明したように、左隣接マ
クロブロックMBLの右上のブロックBLURにおける最右
列の偶数行の4画素と、その右下のブロックBLDRにお
ける偶数行の4画素の合計8画素を垂直1次元DCT変
換した垂直1次元DCT係数となるが、そのような垂直
1次元DCT係数は、メモリ81に存在しない。
BLURの第8列の垂直1次元DCT係数と、ブロックB
LDRの第8列の垂直1次元DCT係数の垂直1次元逆D
CT変換を、垂直1次元逆DCT変換部82に要求す
る。
リング部83からの要求に応じ、ステップS44におい
て、ブロックBLURの第8列の垂直1次元DCT係数
と、ブロックBLDRの第8列の垂直1次元DCT係数
を、メモリ81から読み出し、垂直1次元逆DCT変換
を施す。これにより、垂直1次元逆DCT変換部82
は、ブロックBLURの第8列の8画素と、ブロックBLDR
の第8列の8画素を得て、サンプリング部83に供給
し、ステップS45に進む。
は、垂直1次元逆DCT変換部82から供給されるブロ
ックBLURの第8列の8画素のうちの偶数行の4画素を
サンプリングするとともに、同じく垂直1次元逆DCT
変換部82から供給されるブロックBLDRの第8列の8
画素のうちの偶数行の4画素をサンプリングし、ブロッ
クBLURの第8列からサンプリングした偶数行の4画素
を上側に配置するとともに、ブロックBLDRの第8列か
らサンプリングした偶数行の4画素を下側に配置するこ
とにより、注目マクロブロックと同一のフィールド(ボ
トムフィールド)構造とした垂直方向に並ぶ8画素を、
垂直1次元DCT変換部84に供給する。
ング部83でサンプリングされた8画素を受信すると、
ステップS46において、その8画素を、垂直1次元D
CT変換し、これにより、左隣接マクロブロックMBL
の右上のブロックBLURにおける最右列の偶数行の4画
素と、その右下のブロックBLDRにおける偶数行の4画
素の合計8画素を垂直1次元DCT変換した垂直1次元
DCT係数を得て、選択部85に供給する。選択部85
は、垂直1次元DCT変換部84から供給される垂直1
次元DCT係数を選択し、左隣接1次元DCT係数とし
て出力する。
ロブロックと左隣接マクロブロックのDCTタイプが、
いずれもフィールドDCTであると判定された場合、ス
テップS47に進み、選択部85は、図14(D)で説
明したように、左隣接マクロブロックMBLの右下のブ
ロックBLDRの最右列の8画素を垂直1次元DCT変換
した垂直1次元DCT係数を、左隣接1次元DCT係数
として取得する。
クの左下のブロックBNDLである場合において、注目マ
クロブロックと左隣接マクロブロックが、いずれもフィ
ールド構造であるときには、左隣接1次元DCT係数
は、図14(D)で説明したように、左隣接マクロブロ
ックMBLの右下のブロックBLDRの最右列の8画素を垂
直1次元DCT変換した垂直1次元DCT係数であり、
この垂直1次元DCT係数は、ブロックBLDRの第8列
の垂直1次元DCT係数である。ブロックBLDRの第8
列の垂直1次元DCT係数は、メモリ81に記憶されて
おり、選択部85は、ステップS47において、メモリ
81から、ブロックBLDRの第8列の垂直1次元DCT
係数を読み出して選択し、左隣接1次元DCT係数とし
て出力する。
S47の処理後は、いずれも、ステップS48に進み、
選択部85は、図15で説明したように、注目ブロック
BND Lの右隣のブロックBNDRの最左列の8画素を垂直1
次元DCT変換した垂直1次元DCT係数を、右隣接1
次元DCT係数として取得する。
クの左下のブロックBNDLである場合には、右隣接1次
元DCT係数は、図15で説明したように、注目ブロッ
クB NDLの右隣のブロックBNDRの最左列の8画素を垂直
1次元DCT変換した垂直1次元DCT係数であり、こ
の垂直1次元DCT係数は、ブロックBNDRの第1列の
垂直1次元DCT係数である。ブロックBNDRの第1列
の垂直1次元DCT係数は、メモリ81に記憶されてお
り、選択部85は、ステップS48において、メモリ8
1から、ブロックBNDRの第1列の垂直1次元DCT係
数を読み出して選択し、右隣接垂直1次元DCT係数と
して出力して、左下ブロック処理を終了する。
て、図25のステップS4における右上ブロック処理に
ついて説明する。
クの右上のブロックBNURについて、上隣接1次元DC
T係数、下隣接1次元DCT係数、左隣接1次元DCT
係数、右隣接1次元DCT係数が取得される。
に、ステップS51において、選択部85が、注目マク
ロブロックと上隣接マクロブロックのDCTタイプを判
定する。
ックと上隣接マクロブロックのDCTタイプが、いずれ
もフレームDCTであると判定された場合、ステップS
52に進み、選択部85は、図16(A)で説明したよ
うに、上隣接マクロブロックMBUの右下のブロックB
UDRにおける最下行の8画素を水平1次元DCT変換し
た水平1次元DCT係数を、上隣接1次元DCT係数と
して取得する。
クの右上のブロックBNURである場合において、注目マ
クロブロックと上隣接マクロブロックが、いずれもフレ
ーム構造であるときには、上隣接1次元DCT係数は、
図16(A)で説明したように、上隣接マクロブロック
MBUの右下のブロックBUDRにおける最下行の8画素を
水平1次元DCT変換した水平1次元DCT係数であ
り、この水平1次元DCT係数は、ブロックBUDRの第
8行の水平1次元DCT係数である。ブロックBU DRの
第8行の水平1次元DCT係数は、メモリ81に記憶さ
れており、選択部85は、ステップS52において、メ
モリ81から、ブロックBUDRの第8行の水平1次元D
CT係数を読み出して選択し、上隣接1次元DCT係数
として出力する。
ロブロックのDCTタイプがフレームDCTであり、上
隣接マクロブロックのDCTタイプがフィールドDCT
であると判定された場合、ステップS53に進み、選択
部85は、図16(B)で説明したように、上隣接マク
ロブロックMBUの右下のブロックBUDRの最下行の8画
素を水平1次元DCT変換した水平1次元DCT係数
を、上隣接1次元DCT係数として取得する。
クの右上のブロックBNURである場合において、注目マ
クロブロックがフレーム構造であり、上隣接マクロブロ
ックがフィールド構造であるときには、上隣接1次元D
CT係数は、図16(B)で説明したように、上隣接マ
クロブロックMBUの右下のブロックBUDRにおける最下
行の8画素を水平1次元DCT変換した水平1次元DC
T係数であり、この水平1次元DCT係数は、ブロック
BUDRの第8行の水平1次元DCT係数である。ブロッ
クBUDRの第8行の水平1次元DCT係数は、メモリ8
1に記憶されており、選択部85は、ステップS53に
おいて、メモリ81から、ブロックBUD Rの第8行の水
平1次元DCT係数を読み出して選択し、上隣接1次元
DCT係数として出力する。
ロブロックのDCTタイプがフィールドDCTであり、
上隣接マクロブロックのDCTタイプがフレームDCT
であると判定された場合、ステップS54に進み、選択
部85は、図16(C)で説明したように、上隣接マク
ロブロックMBUの右下のブロックBUDRの第7行目の8
画素を水平1次元DCT変換した水平1次元DCT係数
を、上隣接1次元DCT係数として取得する。
クの右上のブロックBNURである場合において、注目マ
クロブロックがフィールド構造であり、上隣接マクロブ
ロックがフレーム構造であるときには、上隣接1次元D
CT係数は、図16(C)で説明したように、上隣接マ
クロブロックMBUの右下のブロックBUDRの第7行目の
8画素を水平1次元DCT変換した水平1次元DCT係
数であり、この水平1次元DCT係数は、ブロックB
UDRの第7行の水平1次元DCT係数である。ブロック
BUDRの第7行の水平1次元DCT係数は、メモリ81
に記憶されており、選択部85は、ステップS54にお
いて、メモリ81から、ブロックBUDRの第7行の水平
1次元DCT係数を読み出して選択し、上隣接1次元D
CT係数として出力する。
ロブロックと上隣接マクロブロックのDCTタイプが、
いずれもフィールドDCTであると判定された場合、ス
テップS55に進み、選択部85は、図16(D)で説
明したように、上隣接マクロブロックMBUの右上のブ
ロックBUURの最下行の8画素を水平1次元DCT変換
した水平1次元DCT係数を、上隣接1次元DCT係数
として取得する。
クの右上のブロックBNURである場合において、注目マ
クロブロックと上隣接マクロブロックが、いずれもフィ
ールド構造であるときには、上隣接1次元DCT係数
は、図16(D)で説明したように、上隣接マクロブロ
ックMBUの右上のブロックBUURの最下行の8画素を水
平1次元DCT変換した水平1次元DCT係数であり、
この水平1次元DCT係数は、ブロックBUULの第8行
の水平1次元DCT係数である。ブロックBUURの第8
行の水平1次元DCT係数は、メモリ81に記憶されて
おり、選択部85は、ステップS55において、メモリ
81から、ブロックBUURの第8行の水平1次元DCT
係数を読み出して選択し、上隣接1次元DCT係数とし
て出力する。
ずれも、ステップS56に進み、選択部85が、注目マ
クロブロックのDCTタイプを判定する。
ックのDCTタイプがフレームDCTであると判定され
た場合、ステップS57に進み、選択部85は、図17
(A)で説明したように、注目マクロブロックMBNの
右下のブロックBNDRの最上行の8画素を水平1次元D
CT変換した水平1次元DCT係数を、下隣接1次元D
CT係数として取得する。
クの右上のブロックBNURである場合において、注目マ
クロブロックがフレーム構造であるときには、下隣接1
次元DCT係数は、図17(A)で説明したように、注
目マクロブロックMBNの右下のブロックBNDRの最上行
の8画素を水平1次元DCT変換した水平1次元DCT
係数であり、この水平1次元DCT係数は、ブロックB
NDRの第1行の水平1次元DCT係数である。ブロック
BNDRの第1行の水平1次元DCT係数は、メモリ81
に記憶されており、選択部85は、ステップS57にお
いて、メモリ81から、ブロックBNDRの第1行の水平
1次元DCT係数を読み出して選択し、下隣接1次元D
CT係数として出力する。
ロブロックのDCTタイプがフィールドDCTであると
判定された場合、ステップS58に進み、選択部85
は、図17(B)で説明したように、下隣接マクロブロ
ックMBDの右上のブロックBD URの最上行の8画素を水
平1次元DCT変換した水平1次元DCT係数を、下隣
接1次元DCT係数として取得する。
クの右上のブロックBNURである場合において、注目マ
クロブロックがフィールド構造であるときには、下隣接
1次元DCT係数は、図17(B)で説明したように、
下隣接マクロブロックMBDの右上のブロックBDURの最
上行の8画素を水平1次元DCT変換した水平1次元D
CT係数であり、この水平1次元DCT係数は、ブロッ
クBDURの第1行の水平1次元DCT係数である。ブロ
ックBDURの第1行の水平1次元DCT係数は、メモリ
81に記憶されており、選択部85は、ステップS58
において、メモリ81から、ブロックBDURの第1行の
水平1次元DCT係数を読み出して選択し、下隣接1次
元DCT係数として出力する。
いずれも、ステップS59に進み、サンプリング部83
および選択部85が、注目マクロブロックと右隣接マク
ロブロックのDCTタイプを判定する。
ックと右隣接マクロブロックのDCTタイプが、いずれ
もフレームDCTであると判定された場合、ステップS
60に進み、選択部85は、図19(A)で説明したよ
うに、右隣接マクロブロックMBRの左上のブロックB
RULの最左列の8画素を垂直1次元DCT変換した垂直
1次元DCT係数を、右隣接1次元DCT係数として取
得する。
クの右上のブロックBNURである場合において、注目マ
クロブロックと右隣接マクロブロックが、いずれもフレ
ーム構造であるときには、右隣接1次元DCT係数は、
図19(A)で説明したように、右隣接マクロブロック
MBRの左上のブロックBRULの最左列の8画素を垂直1
次元DCT変換した垂直1次元DCT係数であり、この
垂直1次元DCT係数は、ブロックBRULの第1列の垂
直1次元DCT係数である。ブロックBRULの第1列の
垂直1次元DCT係数は、メモリ81に記憶されてお
り、選択部85は、ステップS60において、メモリ8
1から、ブロックBRULの第1列の垂直1次元DCT係
数を読み出して選択し、右隣接1次元DCT係数として
出力する。
ロブロックのDCTタイプがフレームDCTであり、右
隣接マクロブロックのDCTタイプがフィールドDCT
であると判定された場合、ステップS61乃至S63に
順次進み、選択部85は、図19(B)で説明したよう
に、右隣接マクロブロックMBRの左上のブロックBR UL
における最左列の上4画素と、その左下のブロックB
RDLにおける最左列の上4画素の合計8画素を垂直1次
元DCT変換した垂直1次元DCT係数を、右隣接1次
元DCT係数として取得する。
クの右上のブロックBNURである場合において、注目マ
クロブロックがフレーム構造であり、右隣接マクロブロ
ックがフィールド構造であるときには、右隣接1次元D
CT係数は、図19(B)で説明したように、右隣接マ
クロブロックMBRの左上のブロックBRULにおける最左
列の上4画素と、その左下のブロックBRDLにおける最
左列の上4画素の合計8画素を垂直1次元DCT変換し
た垂直1次元DCT係数となるが、このような垂直1次
元DCT係数は、メモリ81に存在しない。
BRULの第1列の垂直1次元DCT係数と、ブロックB
RDLの第1列の垂直1次元DCT係数の垂直1次元逆D
CT変換を、垂直1次元逆DCT変換部82に要求す
る。
リング部83からの要求に応じ、ステップS61におい
て、ブロックBRULの第1列の垂直1次元DCT係数
と、ブロックBRDLの第1列の垂直1次元DCT係数
を、メモリ81から読み出し、垂直1次元逆DCT変換
を施す。これにより、垂直1次元逆DCT変換部82
は、ブロックBRULの第1列の8画素と、ブロックBRDL
の第1列の8画素を得て、サンプリング部83に供給
し、ステップS62に進む。
は、垂直1次元逆DCT変換部82から供給されるブロ
ックBRULの第1列の8画素のうちの上4画素をサンプ
リングするとともに、同じく垂直1次元逆DCT変換部
82から供給されるブロックBRDLの第1列の8画素の
うちの上4画素をサンプリングし、ブロックBRULの第
1列からサンプリングした上4画素を奇数行(トップフ
ィールド)に配置するとともに、ブロックBRDLの第1
列からサンプリングした上4画素を偶数行(ボトムフィ
ールド)に配置することにより、注目マクロブロックと
同一のフレーム構造とした垂直方向に並ぶ8画素を、垂
直1次元DCT変換部84に供給する。
ング部83でサンプリングされた8画素を受信すると、
ステップS63において、その8画素を、垂直1次元D
CT変換し、これにより、右隣接マクロブロックMBR
の左上のブロックBRULにおける最左列の上4画素と、
その左下のブロックBRDLにおける最左列の上4画素の
合計8画素を垂直1次元DCT変換した垂直1次元DC
T係数を得て、選択部85に供給する。選択部85は、
垂直1次元DCT変換部84から供給される垂直1次元
DCT係数を選択し、右隣接1次元DCT係数として出
力する。
ロブロックのDCTタイプがフィールドDCTであり、
右隣接マクロブロックのDCTタイプがフレームDCT
であると判定された場合、ステップS64乃至S66に
順次進み、選択部85は、図19(C)で説明したよう
に、右隣接マクロブロックMBRの左上のブロックBR UL
における最左列の奇数行の4画素と、その左下のブロッ
クBRDLにおける奇数行の4画素の合計8画素を垂直1
次元DCT変換した垂直1次元DCT係数を、右隣接1
次元DCT係数として取得する。
クの右上のブロックBNURである場合において、注目マ
クロブロックがフィールド構造であり、右隣接マクロブ
ロックがフレーム構造であるときには、右隣接1次元D
CT係数は、図19(C)で説明したように、右隣接マ
クロブロックMBLの左上のブロックBRULにおける最左
列の奇数行の4画素と、その左下のブロックBRDLにお
ける奇数行の4画素の合計8画素を垂直1次元DCT変
換した垂直1次元DCT係数となるが、そのような垂直
1次元DCT係数は、メモリ81に存在しない。
BRULの第1列の垂直1次元DCT係数と、ブロックB
RDLの第1列の垂直1次元DCT係数の垂直1次元逆D
CT変換を、垂直1次元逆DCT変換部82に要求す
る。
リング部83からの要求に応じ、ステップS64におい
て、ブロックBRULの第1列の垂直1次元DCT係数
と、ブロックBRDLの第1列の垂直1次元DCT係数
を、メモリ81から読み出し、垂直1次元逆DCT変換
を施す。これにより、垂直1次元逆DCT変換部82
は、ブロックBRULの第1列の8画素と、ブロックBRDL
の第1列の8画素を得て、サンプリング部83に供給
し、ステップS65に進む。
は、垂直1次元逆DCT変換部82から供給されるブロ
ックBRULの第1列の8画素のうちの奇数行の4画素を
サンプリングするとともに、同じく垂直1次元逆DCT
変換部82から供給されるブロックBRDLの第1列の8
画素のうちの奇数行の4画素をサンプリングし、ブロッ
クBRULの第1列からサンプリングした奇数行の4画素
を上側に配置するとともに、ブロックBRDLの第1列か
らサンプリングした奇数行の4画素を下側に配置するこ
とにより、注目マクロブロックと同一のフィールド(ト
ップフィールド)構造とした垂直方向に並ぶ8画素を、
垂直1次元DCT変換部84に供給する。
ング部83でサンプリングされた8画素を受信すると、
ステップS66において、その8画素を、垂直1次元D
CT変換し、これにより、右隣接マクロブロックMBR
の左上のブロックBRULにおける最左列の奇数行の4画
素と、その左下のブロックBRDLにおける奇数行の4画
素の合計8画素を垂直1次元DCT変換した垂直1次元
DCT係数を得て、選択部85に供給する。選択部85
は、垂直1次元DCT変換部84から供給される垂直1
次元DCT係数を選択し、右隣接1次元DCT係数とし
て出力する。
ロブロックと右隣接マクロブロックのDCTタイプが、
いずれもフィールドDCTであると判定された場合、ス
テップS67に進み、選択部85は、図19(D)で説
明したように、右隣接マクロブロックMBRの左上のブ
ロックBRULの最左列の8画素を垂直1次元DCT変換
した垂直1次元DCT係数を、右隣接1次元DCT係数
として取得する。
クの右上のブロックBNURである場合において、注目マ
クロブロックと右隣接マクロブロックが、いずれもフィ
ールド構造であるときには、右隣接1次元DCT係数
は、図19(D)で説明したように、右隣接マクロブロ
ックMBRの左上のブロックBRULの最左列の8画素を垂
直1次元DCT変換した垂直1次元DCT係数であり、
この垂直1次元DCT係数は、ブロックBRULの第1列
の垂直1次元DCT係数である。ブロックBRULの第1
列の垂直1次元DCT係数は、メモリ81に記憶されて
おり、選択部85は、ステップS67において、メモリ
81から、ブロックBRULの第1列の垂直1次元DCT
係数を読み出して選択し、右隣接1次元DCT係数とし
て出力する。
S67の処理後は、いずれも、ステップS68に進み、
選択部85は、図18で説明したように、注目ブロック
BNU Rの左隣のブロックBNULの最右列の8画素を垂直1
次元DCT変換した垂直1次元DCT係数を、左隣接1
次元DCT係数として取得する。
クの右上のブロックBNURである場合には、左隣接1次
元DCT係数は、図18で説明したように、注目ブロッ
クB NURの左隣のブロックBNULの最右列の8画素を垂直
1次元DCT変換した垂直1次元DCT係数であり、こ
の垂直1次元DCT係数は、ブロックBNULの第8列の
垂直1次元DCT係数である。ブロックBNURの第8列
の垂直1次元DCT係数は、メモリ81に記憶されてお
り、選択部85は、ステップS68において、メモリ8
1から、ブロックBNULの第8列の垂直1次元DCT係
数を読み出して選択し、左隣接垂直1次元DCT係数と
して出力して、右上ブロック処理を終了する。
て、図25のステップS5における右下ブロック処理に
ついて説明する。
クの右下のブロックBNDRについて、上隣接1次元DC
T係数、下隣接1次元DCT係数、左隣接1次元DCT
係数、右隣接1次元DCT係数が取得される。
に、ステップS71において、選択部85が、注目マク
ロブロックのDCTタイプを判定する。
ックのDCTタイプがフレームDCTであると判定され
た場合、ステップS72に進み、選択部85は、図20
(A)で説明したように、注目マクロブロックMBNの
右上のブロックBNURの最下行の8画素を水平1次元D
CT変換した水平1次元DCT係数を、上隣接1次元D
CT係数として取得する。
クの右下のブロックBNDRである場合において、注目マ
クロブロックがフレーム構造であるときには、上隣接1
次元DCT係数は、図20(A)で説明したように、注
目マクロブロックMBNの右上のブロックBNURの最下行
の8画素を水平1次元DCT変換した水平1次元DCT
係数であり、この水平1次元DCT係数は、ブロックB
NURの第8行の水平1次元DCT係数である。ブロック
BNURの第8行の水平1次元DCT係数は、メモリ81
に記憶されており、選択部85は、ステップS72にお
いて、メモリ81から、ブロックBNURの第8行の水平
1次元DCT係数を読み出して選択し、上隣接1次元D
CT係数として出力する。
ロブロックのDCTタイプがフィールドDCTであると
判定された場合、ステップS73に進み、選択部85
は、図20(B)で説明したように、上隣接マクロブロ
ックMBUの右下のブロックBU DRの最下行の8画素を水
平1次元DCT変換した水平1次元DCT係数を、上隣
接1次元DCT係数として取得する。
クの右下のブロックBNDRである場合において、注目マ
クロブロックがフィールド構造であるときには、上隣接
1次元DCT係数は、図20(B)で説明したように、
上隣接マクロブロックMBUの右下のブロックBUDRの最
下行の8画素を水平1次元DCT変換した水平1次元D
CT係数であり、この水平1次元DCT係数は、ブロッ
クBUDRの第8行の水平1次元DCT係数である。ブロ
ックBUDRの第1行の水平1次元DCT係数は、メモリ
81に記憶されており、選択部85は、ステップS73
において、メモリ81から、ブロックBUDRの第8行の
水平1次元DCT係数を読み出して選択し、上隣接1次
元DCT係数として出力する。
いずれも、ステップS74に進み、選択部85が、注目
マクロブロックと下隣接マクロブロックのDCTタイプ
を判定する。
ックと下隣接マクロブロックのDCTタイプが、いずれ
もフレームDCTであると判定された場合、ステップS
75に進み、選択部85は、図21(A)で説明したよ
うに、下隣接マクロブロックMBDの右上のブロックB
DURにおける最上行の8画素を水平1次元DCT変換し
た水平1次元DCT係数を、下隣接1次元DCT係数と
して取得する。
クの右下のブロックBNDRである場合において、注目マ
クロブロックと下隣接マクロブロックが、いずれもフレ
ーム構造であるときには、下隣接1次元DCT係数は、
図21(A)で説明したように、下隣接マクロブロック
MBDの右上のブロックBDURにおける最上行の8画素を
水平1次元DCT変換した水平1次元DCT係数であ
り、この水平1次元DCT係数は、ブロックBDURの第
1行の水平1次元DCT係数である。ブロックBD URの
第1行の水平1次元DCT係数は、メモリ81に記憶さ
れており、選択部85は、ステップS75において、メ
モリ81から、ブロックBDURの第1行の水平1次元D
CT係数を読み出して選択し、下隣接1次元DCT係数
として出力する。
ロブロックのDCTタイプがフレームDCTであり、下
隣接マクロブロックのDCTタイプがフィールドDCT
であると判定された場合、ステップS76に進み、選択
部85は、図21(B)で説明したように、下隣接マク
ロブロックMBDの右上のブロックBDURの最上行の8画
素を水平1次元DCT変換した水平1次元DCT係数
を、下隣接1次元DCT係数として取得する。
クの右下のブロックBNDRである場合において、注目マ
クロブロックがフレーム構造であり、下隣接マクロブロ
ックがフィールド構造であるときには、下隣接1次元D
CT係数は、図21(B)で説明したように、下隣接マ
クロブロックMBDの右上のブロックBDURにおける最下
行の8画素を水平1次元DCT変換した水平1次元DC
T係数であり、この水平1次元DCT係数は、ブロック
BDURの第1行の水平1次元DCT係数である。ブロッ
クBDURの第1行の水平1次元DCT係数は、メモリ8
1に記憶されており、選択部85は、ステップS76に
おいて、メモリ81から、ブロックBDU Rの第1行の水
平1次元DCT係数を読み出して選択し、下隣接1次元
DCT係数として出力する。
ロブロックのDCTタイプがフィールドDCTであり、
下隣接マクロブロックのDCTタイプがフレームDCT
であると判定された場合、ステップS77に進み、選択
部85は、図21(C)で説明したように、下隣接マク
ロブロックMBDの右上のブロックBDURの第2行目の8
画素を水平1次元DCT変換した水平1次元DCT係数
を、下隣接1次元DCT係数として取得する。
クの右下のブロックBNDRである場合において、注目マ
クロブロックがフィールド構造であり、下隣接マクロブ
ロックがフレーム構造であるときには、下隣接1次元D
CT係数は、図21(C)で説明したように、下隣接マ
クロブロックMBDの右上のブロックBDURの第2行目の
8画素を水平1次元DCT変換した水平1次元DCT係
数であり、この水平1次元DCT係数は、ブロックB
DURの第2行の水平1次元DCT係数である。ブロック
BDURの第2行の水平1次元DCT係数は、メモリ81
に記憶されており、選択部85は、ステップS77にお
いて、メモリ81から、ブロックBDURの第2行の水平
1次元DCT係数を読み出して選択し、下隣接1次元D
CT係数として出力する。
ロブロックと下隣接マクロブロックのDCTタイプが、
いずれもフィールドDCTであると判定された場合、ス
テップS78に進み、選択部85は、図21(D)で説
明したように、下隣接マクロブロックMBDの右下のブ
ロックBDDRの最上行の8画素を水平1次元DCT変換
した水平1次元DCT係数を、下隣接1次元DCT係数
として取得する。
クの右下のブロックBNDRである場合において、注目マ
クロブロックと下隣接マクロブロックが、いずれもフィ
ールド構造であるときには、下隣接1次元DCT係数
は、図21(D)で説明したように、下隣接マクロブロ
ックMBDの右下のブロックBDDRの最上行の8画素を水
平1次元DCT変換した水平1次元DCT係数であり、
この水平1次元DCT係数は、ブロックBDDRの第1行
の水平1次元DCT係数である。ブロックBDDRの第1
行の水平1次元DCT係数は、メモリ81に記憶されて
おり、選択部85は、ステップS78において、メモリ
81から、ブロックBDDRの第1行の水平1次元DCT
係数を読み出して選択し、下隣接1次元DCT係数とし
て出力する。
ずれも、ステップS79に進み、サンプリング部83お
よび選択部85が、注目マクロブロックと左隣接マクロ
ブロックのDCTタイプを判定する。
ックと左隣接マクロブロックのDCTタイプが、いずれ
もフレームDCTであると判定された場合、ステップS
80に進み、選択部85は、図23(A)で説明したよ
うに、右隣接マクロブロックMBRの左下のブロックB
RDLの最左列の8画素を垂直1次元DCT変換した垂直
1次元DCT係数を、右隣接1次元DCT係数として取
得する。
クの右下のブロックBNDRである場合において、注目マ
クロブロックと右隣接マクロブロックが、いずれもフレ
ーム構造であるときには、右隣接1次元DCT係数は、
図23(A)で説明したように、右隣接マクロブロック
MBRの左下のブロックBRDLの最左列の8画素を垂直1
次元DCT変換した垂直1次元DCT係数であり、この
垂直1次元DCT係数は、ブロックBRDLの第1列の垂
直1次元DCT係数である。ブロックBRDLの第1列の
垂直1次元DCT係数は、メモリ81に記憶されてお
り、選択部85は、ステップS80において、メモリ8
1から、ブロックBRDLの第1列の垂直1次元DCT係
数を読み出して選択し、右隣接1次元DCT係数として
出力する。
ロブロックのDCTタイプがフレームDCTであり、右
隣接マクロブロックのDCTタイプがフィールドDCT
であると判定された場合、ステップS81乃至S83に
順次進み、選択部85は、図23(B)で説明したよう
に、右隣接マクロブロックMBRの左上のブロックBR UL
における最左列の下4画素と、その左下のブロックB
RDLにおける最左列の下4画素の合計8画素を垂直1次
元DCT変換した垂直1次元DCT係数を、右隣接1次
元DCT係数として取得する。
クの右下のブロックBNDRである場合において、注目マ
クロブロックがフレーム構造であり、右隣接マクロブロ
ックがフィールド構造であるときには、右隣接1次元D
CT係数は、図23(B)で説明したように、右隣接マ
クロブロックMBRの左上のブロックBRULにおける最左
列の下4画素と、その左下のブロックBRDLにおける最
左列の下4画素の合計8画素を垂直1次元DCT変換し
た垂直1次元DCT係数となるが、このような垂直1次
元DCT係数は、メモリ81に存在しない。
BRULの第1列の垂直1次元DCT係数と、ブロックB
RDLの第1列の垂直1次元DCT係数の垂直1次元逆D
CT変換を、垂直1次元逆DCT変換部82に要求す
る。
リング部83からの要求に応じ、ステップS81におい
て、ブロックBRULの第1列の垂直1次元DCT係数
と、ブロックBRDLの第1列の垂直1次元DCT係数
を、メモリ81から読み出し、垂直1次元逆DCT変換
を施す。これにより、垂直1次元逆DCT変換部82
は、ブロックBRULの第1列の8画素と、ブロックBRDL
の第1列の8画素を得て、サンプリング部83に供給
し、ステップS82に進む。
は、垂直1次元逆DCT変換部82から供給されるブロ
ックBRULの第1列の8画素のうちの下4画素をサンプ
リングするとともに、同じく垂直1次元逆DCT変換部
82から供給されるブロックBRDLの第1列の8画素の
うちの下4画素をサンプリングし、ブロックBRULの第
1列からサンプリングした上4画素を奇数行(トップフ
ィールド)に配置するとともに、ブロックBRDLの第1
列からサンプリングした上4画素を偶数行(ボトムフィ
ールド)に配置することにより、注目マクロブロックと
同一のフレーム構造とした垂直方向に並ぶ8画素を、垂
直1次元DCT変換部84に供給する。
ング部83でサンプリングされた8画素を受信すると、
ステップS83において、その8画素を、垂直1次元D
CT変換し、これにより、右隣接マクロブロックMBL
の左上のブロックBRULにおける最左列の下4画素と、
その左下のブロックBRDLにおける最左列の下4画素の
合計8画素を垂直1次元DCT変換した垂直1次元DC
T係数を得て、選択部85に供給する。選択部85は、
垂直1次元DCT変換部84から供給される垂直1次元
DCT係数を選択し、右隣接1次元DCT係数として出
力する。
ロブロックのDCTタイプがフィールドDCTであり、
右隣接マクロブロックのDCTタイプがフレームDCT
であると判定された場合、ステップS84乃至S86に
順次進み、選択部85は、図23(C)で説明したよう
に、右隣接マクロブロックMBRの左上のブロックBR UL
における最左列の偶数行の4画素と、その左下のブロッ
クBRDLにおける偶数行の4画素の合計8画素を垂直1
次元DCT変換した垂直1次元DCT係数を、右隣接1
次元DCT係数として取得する。
クの右下のブロックBNDRである場合において、注目マ
クロブロックがフィールド構造であり、右隣接マクロブ
ロックがフレーム構造であるときには、右隣接1次元D
CT係数は、図23(C)で説明したように、右隣接マ
クロブロックMBLの左上のブロックBRULにおける最左
列の偶数行の4画素と、その左下のブロックBRDLにお
ける偶数行の4画素の合計8画素を垂直1次元DCT変
換した垂直1次元DCT係数となるが、そのような垂直
1次元DCT係数は、メモリ81に存在しない。
BRULの第1列の垂直1次元DCT係数と、ブロックB
RDLの第1列の垂直1次元DCT係数の垂直1次元逆D
CT変換を、垂直1次元逆DCT変換部82に要求す
る。
リング部83からの要求に応じ、ステップS84におい
て、ブロックBRULの第1列の垂直1次元DCT係数
と、ブロックBRDLの第1列の垂直1次元DCT係数
を、メモリ81から読み出し、垂直1次元逆DCT変換
を施す。これにより、垂直1次元逆DCT変換部82
は、ブロックBRULの第1列の8画素と、ブロックBRDL
の第1列の8画素を得て、サンプリング部83に供給
し、ステップS85に進む。
は、垂直1次元逆DCT変換部82から供給されるブロ
ックBRULの第1列の8画素のうちの偶数行の4画素を
サンプリングするとともに、同じく垂直1次元逆DCT
変換部82から供給されるブロックBRDLの第1列の8
画素のうちの偶数行の4画素をサンプリングし、ブロッ
クBRULの第1列からサンプリングした偶数行の4画素
を上側に配置するとともに、ブロックBRDLの第1列か
らサンプリングした偶数行の4画素を下側に配置するこ
とにより、注目マクロブロックと同一のフィールド(ボ
トムフィールド)構造とした垂直方向に並ぶ8画素を、
垂直1次元DCT変換部84に供給する。
ング部83でサンプリングされた8画素を受信すると、
ステップS86において、その8画素を、垂直1次元D
CT変換し、これにより、右隣接マクロブロックMBR
の左上のブロックBRULにおける最左列の偶数行の4画
素と、その左下のブロックBRDLにおける偶数行の4画
素の合計8画素を垂直1次元DCT変換した垂直1次元
DCT係数を得て、選択部85に供給する。選択部85
は、垂直1次元DCT変換部84から供給される垂直1
次元DCT係数を選択し、右隣接1次元DCT係数とし
て出力する。
ロブロックと右隣接マクロブロックのDCTタイプが、
いずれもフィールドDCTであると判定された場合、ス
テップS87に進み、選択部85は、図23(D)で説
明したように、右隣接マクロブロックMBRの左下のブ
ロックBRDLの最左列の8画素を垂直1次元DCT変換
した垂直1次元DCT係数を、右隣接1次元DCT係数
として取得する。
クの右下のブロックBNDRである場合において、注目マ
クロブロックと右隣接マクロブロックが、いずれもフィ
ールド構造であるときには、右隣接1次元DCT係数
は、図23(D)で説明したように、右隣接マクロブロ
ックMBRの左下のブロックBRDLの最左列の8画素を垂
直1次元DCT変換した垂直1次元DCT係数であり、
この垂直1次元DCT係数は、ブロックBRDLの第1列
の垂直1次元DCT係数である。ブロックBRDLの第1
列の垂直1次元DCT係数は、メモリ81に記憶されて
おり、選択部85は、ステップS87において、メモリ
81から、ブロックBRDLの第1列の垂直1次元DCT
係数を読み出して選択し、右隣接1次元DCT係数とし
て出力する。
S87の処理後は、いずれも、ステップS88に進み、
選択部85は、図22で説明したように、注目ブロック
BND Rの左隣のブロックBNDLの最右列の8画素を垂直1
次元DCT変換した垂直1次元DCT係数を、左隣接1
次元DCT係数として取得する。
クの右下のブロックBNDRである場合には、左隣接1次
元DCT係数は、図22で説明したように、注目ブロッ
クB NDRの左隣のブロックBNDLの最右列の8画素を垂直
1次元DCT変換した垂直1次元DCT係数であり、こ
の垂直1次元DCT係数は、ブロックBNDLの第8列の
垂直1次元DCT係数である。ブロックBNDLの第8列
の垂直1次元DCT係数は、メモリ81に記憶されてお
り、選択部85は、ステップS88において、メモリ8
1から、ブロックBNDLの第8列の垂直1次元DCT係
数を読み出して選択し、左隣接垂直1次元DCT係数と
して出力して、右下ブロック処理を終了する。
について説明する。
に、1次元逆DCT係数変換部31から供給される1次
元DCT係数の交流成分のパワー(ACパワー)を求め
るとともに、隣接1次元DCT係数選択/変換部32か
ら供給される隣接1次元DCT係数のACパワーを求め
るようになっている。
示すように、注目ブロックにおける注目画素の位置の行
の水平1次元DCT係数から、水平方向のACパワーを
求めるとともに、注目画素の位置の列の垂直1次元DC
T係数から、垂直方向のACパワーを求める。
分をACnと表すこととすると(n=1,2,・・・,
7)、ACパワーPACは、次式によって計算される。
を1から7に変えてのサメーションを表す。
ックについての上隣接1次元DCT係数、下隣接1次元
DCT係数、左隣接1次元DCT係数、右隣接1次元D
CT係数それぞれについても、式(12)にしたがい、
ACパワーを求める。なお、上隣接1次元DCT係数と
下隣接1次元DCT係数は、いずれも水平1次元DCT
係数であり、従って、これらから求められるACパワー
は、水平方向のACパワーである。また、左隣接1次元
DCT係数と右隣接1次元DCT係数は、いずれも垂直
1次元DCT係数であり、従って、これらから求められ
るACパワーは、垂直方向のACパワーである。
ロックの1次元DCT係数のうち、その境界に隣接する
もの(以下、適宜、境界1次元DCT係数という)につ
いても、式(12)にしたがい、ACパワーを求める。
ックの上側の境界に隣接する第1行の水平1次元DCT
係数(以下、適宜、上境界1次元DCT係数という)か
ら、水平方向のACパワーを求める。さらに、ACパワ
ー算出部33は、注目ブロックの下側の境界に隣接する
第8行の水平1次元DCT係数(以下、適宜、下境界1
次元DCT係数という)から、水平方向のACパワーを
求める。また、ACパワー算出部33は、注目ブロック
の左側の境界に隣接する第1列の垂直1次元DCT係数
(以下、適宜、左境界1次元DCT係数という)から、
垂直方向のACパワーを求めるとともに、注目ブロック
の右側の境界に隣接する第8列の垂直1次元DCT係数
(以下、適宜、右境界1次元DCT係数という)から、
垂直方向のACパワーを求める。
ワーを求める図2のACパワー算出部33の構成例を示
している。
直1次元DCT係数抽出部92には、1次元逆DCT変
換部31(図2)と、隣接1次元DCT係数選択/変換
部32から、1次元DCT係数が供給されるようになっ
ている。
に供給される1次元DCT係数から、ACパワーの計算
対象とするものを抽出し、水平ACパワー計算部93に
供給する。即ち、水平1次元DCT係数抽出部91は、
そこに供給される1次元DCT係数から、注目ブロック
における注目画素の位置の行の水平1次元DCT係数、
注目ブロックについての上隣接1次元DCT係数および
下隣接1次元DCT係数、並びに注目ブロックの上境界
1次元DCT係数および下境界1次元DCT係数を抽出
し、水平ACパワー計算部93に供給する。
こに供給される1次元DCT係数から、ACパワーの計
算対象とするものを抽出し、垂直ACパワー計算部94
に供給する。即ち、垂直1次元DCT係数抽出部92
は、そこに供給される1次元DCT係数から、注目ブロ
ックにおける注目画素の位置の列の垂直1次元DCT係
数、注目ブロックについての左隣接1次元DCT係数お
よび右隣接1次元DCT係数、並びに注目ブロックの左
境界1次元DCT係数および右境界1次元DCT係数を
抽出し、垂直ACパワー計算部94に供給する。
DCT係数抽出部91から供給される水平1次元DCT
係数から、式(12)にしたがって、水平方向のACパ
ワーを計算して出力する。即ち、水平ACパワー計算部
93は、注目ブロックにおける注目画素の位置の行の水
平1次元DCT係数、注目ブロックについての上隣接1
次元DCT係数および下隣接1次元DCT係数、並びに
注目ブロックの上境界1次元DCT係数および下境界1
次元DCT係数それぞれから、水平方向のACパワーを
計算する。
DCT係数抽出部92から供給される垂直1次元DCT
係数から、式(12)にしたがって、垂直方向のACパ
ワーを計算して出力する。即ち、垂直ACパワー計算部
94は、注目ブロックにおける注目画素の位置の列の垂
直1次元DCT係数、注目ブロックについての左隣接1
次元DCT係数および右隣接1次元DCT係数、並びに
注目ブロックの左境界1次元DCT係数および右境界1
次元DCT係数それぞれから、垂直方向のACパワーを
計算する。
数から求められるACパワーは、その1次元DCT係数
に対応する8画素の交流成分の電力と捉えることがで
き、従って、画像のアクティビティを表す。
ついて説明する。
1次元逆DCT係数変換部31から供給される注目ブロ
ックの境界部分の1次元DCT係数(境界1次元DCT
係数)の交流成分と、隣接1次元DCT係数選択/変換
部32から供給される隣接1次元DCT係数の交流成分
とを、それぞれベクトルのコンポーネントとみなして、
その2つのベクトルの内積(AC内積)を求める。
すように、注目ブロックについての上境界1次元DCT
係数の交流成分と、上隣接1次元DCT係数の交流成分
とを、それぞれベクトルのコンポーネントとみなして、
その2つのベクトルのAC内積(以下、上内積という)
を、次式にしたがって求める。
積を表す。さらに、ACnは、注目ブロックについての
上境界1次元DCT係数のn番目の交流成分を表し、A
Cn’は、注目ブロックについての上隣接1次元DCT
係数のn番目の交流成分を表す。また、Σは、nを1か
ら7に変えてのサメーションを表す。
いての下境界1次元DCT係数と下隣接1次元DCT係
数、左境界1次元DCT係数と左隣接1次元DCT係
数、または右境界1次元DCT係数と右隣接1次元DC
T係数それぞれについても、式(13)にしたがい、A
C内積を求める。
ての下境界1次元DCT係数と下隣接1次元DCT係数
とから求められるAC内積を、下内積と、左境界1次元
DCT係数と左隣接1次元DCT係数とから求められる
AC内積を、左内積と、右境界1次元DCT係数と右隣
接1次元DCT係数とから求められるAC内積を、右内
積と、それぞれいう。
界1次元DCT係数と隣接1次元DCT係数の交流成分
が類似する場合、即ち、境界1次元DCT係数の交流成
分をコンポーネントとするベクトルと、隣接1次元DC
T係数の交流成分をコンポーネントとするベクトルとが
つくる角度が90度未満(以上)である場合に正の値
(0以上の値)となる。従って、AC内積が正の値であ
ることは、注目ブロックの境界を挟む境界1次元DCT
係数に対応する8画素と、隣接1次元DCT係数に対応
する8画素の波形パターンが似ていることを表してお
り、例えば、注目ブロックとそれに隣接するブロックの
境界において、その境界を横切る形で連続しているエッ
ジが存在することを表す。
上述のようなAC内積(上内積、下内積、左内積、右内
積)を計算する図2のAC内積計算部34の構成例を示
している。
CT係数選択/変換部32が出力する1次元DCT係数
は、上内積用1次元DCT係数抽出部101、下内積用
1次元DCT係数抽出部102、左内積用1次元DCT
係数抽出部103、および右内積用1次元DCT係数抽
出部104に供給されるようになっている。
は、注目ブロックについて、上内積を計算するのに用い
る上境界1次元DCT係数と上隣接1次元DCT係数
を、そこに供給される1次元DCT係数から抽出し、上
内積演算部105に供給する。
CT係数抽出部101から供給される上境界1次元DC
T係数と上隣接1次元DCT係数から、式(13)にし
たがって、上内積を計算して出力する。
は、注目ブロックについて、下内積を計算するのに用い
る下境界1次元DCT係数と下隣接1次元DCT係数
を、そこに供給される1次元DCT係数から抽出し、下
内積演算部106に供給する。
CT係数抽出部102から供給される下境界1次元DC
T係数と下隣接1次元DCT係数から、式(13)にし
たがって、下内積を計算して出力する。
は、注目ブロックについて、左内積を計算するのに用い
る左境界1次元DCT係数と左隣接1次元DCT係数
を、そこに供給される1次元DCT係数から抽出し、左
内積演算部107に供給する。
CT係数抽出部103から供給される左境界1次元DC
T係数と左隣接1次元DCT係数から、式(13)にし
たがって、左内積を計算して出力する。
は、注目ブロックについて、右内積を計算するのに用い
る右境界1次元DCT係数と右隣接1次元DCT係数
を、そこに供給される1次元DCT係数から抽出し、右
内積演算部108に供給する。
CT係数抽出部104から供給される右境界1次元DC
T係数と右隣接1次元DCT係数から、式(13)にし
たがって、右内積を計算して出力する。
部36の構成例を示している。
ロックを対象に、そのブロックを構成する画素をクラス
分類するようになっている。
Cパワー算出部33(図2)が出力するACパワーが供
給される。平坦性条件判定部113には、ACパワー算
出部33(図2)が出力するACパワー、並びに1次元
逆DCT変換部31および隣接1次元DCT係数選択/
変換部32が出力する1次元DCT係数が供給される。
連続性判定部114には、AC内積計算部34(図2)
が出力するAC内積が供給される。境界部エッジ条件判
定部115には、1次元逆DCT変換部31および隣接
1次元DCT係数選択/変換部32が出力する1次元D
CT係数が供給される。
(図2)が出力するACパワーのうちの、注目画素の行
の水平1次元DCT係数から求められた水平方向のAC
パワーを、所定の閾値Aと比較し、その比較結果を、ク
ラスコード作成部116に供給する。
(図2)が出力するACパワーのうちの、注目画素の列
の垂直1次元DCT係数から求められた垂直方向のAC
パワーを、所定の閾値Aと比較し、その比較結果を、ク
ラスコード作成部116に供給する。
について、境界1次元DCT係数から求められたACパ
ワー、隣接1次元DCT係数から求められたACパワ
ー、さらには、境界1次元DCT係数の直流成分、隣接
1次元DCT係数の直流成分に基づき、注目ブロックの
上下左右それぞれの境界について、各境界部分における
画像の平坦性を判定し、その判定結果を、クラスコード
生成部116に供給する。
について求められた上内積、下内積、左内積、右内積に
基づき、注目ブロックの上下左右それぞれの境界につい
て、各協会部分における画像の連続性を判定し、その判
定結果を、クラスコード生成部116に供給する。
ロックについての境界1次元DCT係数の直流成分と、
隣接1次元DCT係数の直流成分とに基づき、注目ブロ
ックの上下左右それぞれの境界について、その境界に沿
ってエッジが存在するかどうかを判定し、その判定結果
を、クラスコード生成部116に供給する。
1および112、平坦性条件判定部113、連続性条件
判定部114、並びに境界部エッジ条件判定部115の
出力に基づき、注目画素をクラス分類し、そのクラスを
表すクラスコード(輝度クラスコード)を作成(生成)
して出力する。
16が出力するクラスコードのフォーマットを示してい
る。
は、10ビットとされており、その先頭から、2ビット
のACパワークラスコード、4ビットのブロック平坦性
クラスコード、4ビットのブロック間連続性クラスコー
ドが順次配置されて構成される。
目画素を、その垂直方向のACパワーと水平方向のAC
パワーによってクラス分けするもので、その先頭のビッ
トは、注目画素の列の垂直1次元DCT係数から求めら
れた垂直方向のACパワーによって決定され、2番目の
ビットは、注目画素の行の水平1次元DCT係数から求
められた水平方向のACパワーによって決定される。従
って、ACパワークラスコードは、画素ごとに決定され
る。
は、注目画素を含むブロック(注目ブロック)を、その
上下左右それぞれの境界部分の平坦性(注目ブロックと
それに隣接するブロックとの間における画像の平坦さ)
によってクラス分けするもので、その1乃至4番目のビ
ットは、注目ブロックの上、下、左、右それぞれの境界
の平坦性によって決定される。従って、ブロック平坦性
クラスコードは、ブロックごとに決定される。
は、注目画素を含むブロック(注目ブロック)を、その
上下左右それぞれの境界部分の連続性(注目ブロックと
それに隣接するブロックとの間における画像のつながり
具合)によってクラス分けするもので、その1乃至4番
目のビットは、注目ブロックの上、下、左、右それぞれ
の境界の連続性によって決定される。従って、ブロック
連続性クラスコードも、ブロック平坦性クラスコードと
同様に、ブロックごとに決定される。
本的に、画素ごとに異なるが、ブロック平坦性クラスコ
ードとブロック間連続性クラスコードは、同一ブロック
の画素については、同一となる。
て、図34のクラスコード生成部36の処理(クラス分
類処理)について説明する。
に、ステップS91において、比較部111が、ACパ
ワー算出部33(図2)が出力するACパワーのうち
の、注目画素の行の水平1次元DCT係数から求められ
た水平方向のACパワーを、所定の閾値Aと比較し、そ
の比較結果を、クラスコード作成部116に供給する。
さらに、ステップS91では、比較部112が、ACパ
ワー算出部33(図2)が出力するACパワーのうち
の、注目画素の列の垂直1次元DCT係数から求められ
た垂直方向のACパワーを、所定の閾値Aと比較し、そ
の比較結果を、クラスコード作成部116に供給する。
較部111と112の出力に基づいて、注目画素のAC
パワークラスコードを決定する。
画素の列の垂直1次元DCT係数から求められた垂直方
向のACパワーが、所定の閾値Aより大の場合は、2ビ
ットのACパワークラスコードのうちの1番目のビット
を、例えば1とし、その垂直方向のACパワーが、所定
の閾値Aより大でない場合は、ACパワークラスコード
の1番目のビットを、例えば、0とする。さらに、クラ
スコード作成部116は、注目画素の行の水平1次元D
CT係数から求められた水平方向のACパワーが、所定
の閾値Aより大の場合は、2ビットのACパワークラス
コードのうちの2番目のビットを、例えば1とし、その
水平方向のACパワーが、所定の閾値Aより大でない場
合は、ACパワークラスコードの2番目のビットを、例
えば、0とする。
ッジ条件判定部115は、注目ブロックについての境界
1次元DCT係数の直流成分と、隣接1次元DCT係数
の直流成分とに基づき、注目ブロックの境界について、
その境界に沿ってエッジが存在するという境界部エッジ
条件が満たされるかどうかを判定する。
例えば、注目ブロックについての境界1次DCT係数の
直流成分DCと、隣接1次DCT係数の直流成分DC’
との差分絶対値|DC−DC’|が、所定の閾値Eより
も大きい(または以上である)という条件を、境界部エ
ッジ条件として、そのような境界部エッジ条件が満たさ
れるかどうかを判定する。
件が満たされると判定した場合、即ち、注目ブロックに
ついての境界1次DCT係数の直流成分DCと、隣接1
次DCT係数の直流成分DC’との差が非常に大きく、
従って、注目ブロックの境界部分にエッジが存在し、注
目ブロックとそれに隣接するブロックの画像パターンに
つながりがないと考えられる場合、境界部エッジ条件判
定部115は、その旨を、クラスコード作成部116に
出力し、ステップS97に進む。ステップS97では、
クラスコード作成部116は、ブロック平坦性クラスコ
ードおよびブロック間連続性クラスコードを、いずれ
も、例えば0とし、ステップS98に進む。
ッジ条件が満たされないと判定された場合、ステップS
93に進み、平坦性条件判定部113は、注目ブロック
について、境界1次元DCT係数から求められたACパ
ワー、隣接1次元DCT係数から求められたACパワ
ー、さらには、境界1次元DCT係数の直流成分、隣接
1次元DCT係数の直流成分に基づき、注目ブロックの
境界部分が平坦であるという平坦性条件が満たされるか
どうかを判定する。
ば、次式で表される条件を、平坦性条件として、そのよ
うな平坦性条件が満たされるかどうかを判定する。
て、B,C,Dは、所定の閾値であり、閾値Cは、閾値
Bよりも十分小さいものとする。また、式(14)およ
び(15)において、PACは、注目ブロックについての
境界1次元DCT係数から求められたACパワーを表
し、PAC’は、注目ブロックについての隣接1次元DC
T係数から求められたACパワーを表す。さらに、式
(14)において、DCは、注目ブロックについての境
界1次元DCT係数の直流成分を表し、DC’は、注目
ブロックについての隣接1次元DCT係数の直流成分を
表す。また、∩は、論理積を表す。
界1次元DCT係数と隣接1次元DCT係数からそれぞ
れ求められるACパワーPACとPAC’が、いずれも閾値
B以下で(または未満で)、かつ、それぞれの直流成分
DCとDC’の差分絶対値|DC−DC’|が、閾値D
以下(または未満)の場合に、真となる。また、式(1
5)は、注目ブロックについての隣接1次元DCT係数
から求められたACパワーPAC’が、閾値C以下(また
は未満)の場合に、真となる。
Bよりも十分小さい、例えば、0に近い値であり、従っ
て、式(15)は、注目ブロックについての隣接1次元
DCT係数から求められたACパワーPAC’が0に近い
場合に、真となる。
式(14)および(15)のうちのいずれか一方が真で
あれば満たされるものとする。
たされると判定された場合、平坦性条件判定部113
は、その旨を、クラスコード作成部116に供給して、
ステップS94に進む。
116は、ブロック平坦性クラスコードおよびブロック
間連続性クラスコードを、いずれも、例えば1とし、ス
テップS98に進む。
件が満たされないと判定された場合、ステップS95に
進み、連続性条件判定部114は、注目ブロックについ
て求められたAC内積に基づき、注目ブロックの境界部
分に連続性があるという連続性条件が満たされるかどう
かを判定する。
ば、注目ブロックについてのAC内積Iが、正の値(ま
たは0以上)であるという条件を、連続性条件として、
そのような連続性条件が満たされるかどうかを判定す
る。
たされると判定された場合、連続性条件判定部114
は、その旨を、クラスコード作成部116に供給して、
ステップS96に進む。
116は、ブロック平坦性クラスコードを、例えば、0
とするとともに、ブロック間連続性クラスコードを、例
えば、1とし、ステップS98に進む。
件が満たされないと判定された場合、連続性条件判定部
114は、その旨を、クラスコード作成部116に供給
して、ステップS97に進む。ステップS97では、ク
ラスコード作成部116は、上述したように、ブロック
平坦性クラスコードおよびブロック間連続性クラスコー
ドを、いずれも0とし、ステップS98に進む。
は、注目ブロックの上下左右の境界それぞれについて、
独立に行われ、これにより、ブロック平坦性クラスコー
ドとブロック間連続性クラスコードは、注目ブロックの
上下左右の境界それぞれについて求められる。
116は、ステップS91乃至S97の処理によって求
められたACパワークラスコード、ブロック平坦性クラ
スコード、およびブロック間連続性クラスコードから、
図35に示した10ビットのクラスコードを作成し、処
理を終了する。
理は、新たな画素が注目画素とされるごとに行われる。
但し、上述したように、ブロック平坦生クラスコードと
ブロック間連続性クラスコードは、同一ブロックの画素
については同一となるため、同一ブロックを構成する画
素については、最初の画素に対してのみ、ステップS9
1乃至98の処理を行い、他の画素に対しては、ステッ
プS91とS98の処理だけを行い、ブロック平坦生ク
ラスコードとブロック間連続性クラスコードは、最初の
画素に対して得られたものを流用するようにすることが
可能である。
たように、クラスコードを10ビットとしているため、
そのような10ビットのクラスコードによれば、102
4(=210)通りのクラスを表すことができる。
処理では、ブロック平坦性クラスコードが1で、ブロッ
ク間連続性クラスコードが0となるケースは、存在しな
い。即ち、ここでは、ブロックの境界部分が平坦である
のに、連続性がないということはありえないとして、ブ
ロック平坦性クラスコードが1となる場合には、ブロッ
ク間連続性クラスコードも、必ず1とするようにしてい
る。
いてのブロック平坦性クラスコードとブロック間連続性
クラスコードとの組(b1,b2)は、(0,0),
(0,1),(1,1)の3通りしか取り得ない。その
結果、ブロックの上下左右の4つの境界すべてについて
の4ビットのブロック平坦性クラスコード、および4ビ
ットのブロック間連続性クラスコードで表現されるクラ
ス数は、81(=34)通りとなる。
で表現されるクラス数は、4(=2 2)通りである。
クラスコードで表現されるクラス数は、324(=81
×4)通りとなる。
坦性クラスコードとブロック間連続性クラスコードとの
組(b1,b2)が、(0,0)となるケースは、注目
ブロックとそれに隣接する隣接ブロックにおける画像ど
うしにつながりがなく、注目ブロックと隣接ブロックと
が、いわば「無関係」であることを表す。また、(b
1,b2)が、(0,1)となるケースは、注目ブロッ
クと隣接ブロックにおける画像が、平坦ではないが、
「連続」していることを表す。さらに、(b1,b2)
が、(1,1)となるケースは、注目ブロックと隣接ブ
ロックにおける画像が、「平坦」であること(従って、
「連続」でもある)ことを表す。
ラスコードとブロック間連続性クラスコードとの組(b
1,b2)を、3通りとして、10ビットのクラスコー
ドにより、324通りのクラスを表現するようにした
が、(b1,b2)は、3通りではなく、(0,0),
(0,1),(1,0)、(1,1)の4通りを取り得
るようにして、10ビットのクラスコードにより、10
24(=210)通りのクラスを表現することができるよ
うにすることも可能である。
(15)のいずれか一方のみが満たされれば、平坦性条
件が満たされることとして、(b1,b2)に(1,
1)を割り当てるようにしたが、例えば、式(14)と
(15)の両方が満たされる場合と、式(14)だけが
満たされる場合とを区別するようにし、式(14)と
(15)の両方が満たされる場合には、(b1,b2)
に、(1,1)を割り当てるとともに、式(14)だけ
が満たされる場合には、(b1,b2)に、(1,0)
を割り当てるようにすることが可能である。
となるケースは、注目ブロックと隣接ブロックにおける
画像が、「注目ブロック側と隣接ブロック側の両方で平
坦」であることを表し、(b1,b2)が、(1,0)
となるケースは、注目ブロックと隣接ブロックにおける
画像が、「隣接ブロック側だけで平坦」であることを表
す。
エッジ条件が満たされるケースであっても、平坦性条件
と連続性条件のいずれもが満たされないケースであって
も、(b1,b2)を、(0,0)とするようにした
が、境界エッジ条件が満たされるケースか、平坦性条件
と連続性条件のいずれもが満たされないケースのうちの
いずれか一方を、(1,0)に割り当てることにより、
ブロック平坦性クラスコードとブロック間連続性クラス
コードとの組(b1,b2)が、4通りを取り得るよう
にすることも可能である。
たされるケースと、式(14)だけが満たされるケース
とを区別するとともに、境界エッジ条件が満たされるケ
ースと、平坦性条件と連続性条件のいずれもが満たされ
ないケースとを区別するようにすることも可能である。
但し、この場合、注目ブロックと隣接ブロックにおける
画像が「連続」しているケース、および注目ブロックと
隣接ブロックにおける画像が「平坦」であるケースとあ
わせると、注目ブロックの1つ(1辺)の境界につい
て、5通りの場合分けが必要となる。従って、この場
合、注目ブロックの境界によるクラスの場合の数は、6
25通りとなり、その結果、2ビットのACパワークラ
スコードも考慮すると、全クラス数は、2500とな
る。
部37の構成例を示している。
ロックを対象に、そのブロックを構成する画素をクラス
分類するようになっている。
クラスコードを出力するクラスコード生成部36と同様
に構成することも可能である。
般に、輝度信号のブロックに比較して、画像のアクティ
ビティが低く、1次元DCT係数の交流成分の値が小さ
くなるため、クラスコード生成部36と同一の処理を行
うと、効果的なクラス分類が困難な場合がある。
7は、クラスコード生成部36で得られた輝度クラスコ
ードをも用いて、色差信号の画素のクラス分類を行うよ
うになっている。
部121および122には、ACパワー算出部33(図
2)が出力するACパワーが供給される。
同様に、ACパワー算出部33(図2)が出力するAC
パワーのうちの、注目画素の行の水平1次元DCT係数
から求められた水平方向のACパワーを、所定の閾値A
と比較し、その比較結果を、クラスコード作成部123
に供給する。
同様に、ACパワー算出部33(図2)が出力するAC
パワーのうちの、注目画素の列の垂直1次元DCT係数
から求められた垂直方向のACパワーを、所定の閾値A
と比較し、その比較結果を、クラスコード作成部123
に供給する。
信号のブロックを対象に処理が行われるが、上述したよ
うに、色差信号については、その1次元DCT係数の交
流成分の値が小さくなることから、ACパワーも小さく
なる。このため、比較部121と122で用いられる閾
値Aは、図33の比較部111と112で用いられるも
のよりも小さい値のものを用いるのが望ましい。
21および122の出力の他、クラスコード作成部36
が出力する図35の輝度クラスコードも供給されるよう
になっており、クラスコード作成部123は、これらの
比較部121および122の出力、並びに輝度クラスコ
ードに基づき、注目画素をクラス分類し、そのクラスを
表すクラスコード(色差クラスコード)を作成(生成)
して出力する。
35に示した輝度クラスコードと同一フォーマットの色
差クラスコードを作成するようになっている。
画素のACパワークラスコードについては、比較部12
1と122の出力に基づき、図33のクラスコード作成
部116と同様にして作成する。
画素のブロック平坦性クラスコードと、ブロック間連続
性クラスコードについては、その注目画素を含む色差信
号のブロック(注目ブロック)と空間的に同一位置にあ
る輝度信号のブロックにおける画素の輝度クラスコード
を用いて作成する。
形式で表されるものとし、その画像フォーマットが、
4:2:2であるとすると、図38(A)に示すよう
に、左右に並ぶ2つの輝度ブロックY1およびY2と、
1つの色差ブロックUと、1つの色差ブロックVとが対
応する。
境界は、左の輝度ブロックY1の上の境界aと右の輝度
ブロックY2の上の境界bに、色差ブロックUの下の境
界は、輝度ブロックY1の下の境界eと輝度ブロックY
2の下の境界fに、色差ブロックUの左の境界は、輝度
ブロックY1の左の境界cに、色差ブロックUの右の境
界は、輝度ブロックY2の右の境界dに、それぞれ対応
する。
ように、色差ブロックUを、横×縦が4×8画素の、左
右に隣接する2つの小ブロックUlとUrに分割する
と、図38(B)に示すように、左の小ブロックUlの
上の境界は、輝度ブロックY1の上の境界aに、小ブロ
ックUlの下の境界は、輝度ブロックY1の下の境界e
に、小ブロックUlの左の境界は、輝度ブロックY1の
左の境界cに、小ブロックUlの右の境界は、輝度ブロ
ックY2の右の境界dに、それぞれ対応する。また、右
の小ブロックUrの上の境界は、輝度ブロックY2の上
の境界bに、小ブロックUrの下の境界は、輝度ブロッ
クY2の下の境界fに、小ブロックUrの左の境界は、
輝度ブロックY1の左の境界cに、小ブロックUrの右
の境界は、輝度ブロックY2の右の境界dに、それぞれ
対応する。
ブロックの上下左右の境界について求められたブロック
平坦性クラスコードを、以下、適宜、上境界平坦性コー
ド、下境界平坦性コード、左境界平坦性コード、右境界
平坦性コードと、それぞれいう。また、ブロックの上下
左右の境界について求められたブロック間連続性クラス
コードを、以下、適宜、上境界連続性コード、下境界連
続性コード、左境界連続性コード、右境界連続性コード
と、それぞれいう。さらに、以下、適宜、上境界平坦性
コードと上境界連続性コードをまとめて、上境界コード
と、下境界平坦性コードと下境界連続性コードをまとめ
て、下境界コードと、左境界平坦性コードと左境界連続
性コードをまとめて、左境界コードと、右境界平坦性コ
ードと右境界連続性コードをまとめて、右境界コード
と、それぞれいう。また、以下、適宜、上境界コード、
下境界コード、左境界コード、および右境界コードをま
とめて、境界コードという。
ブロックUlやUrの境界との間には、上述のような対
応関係があることから、クラスコード作成部123は、
小ブロックUlとUrそれぞれの画素の色差クラスコー
ドにおける境界コードとして、輝度ブロックY1および
Y2の対応する境界について求められたものを、そのま
ま用いるようになっている。
ロックUlの画素については、その色差クラスコードに
おける上境界コード、下境界コード、左境界コード、右
境界コードとして、それぞれ、輝度ブロックY1の上境
界コード、輝度ブロックY1の下境界コード、輝度ブロ
ックY1の左境界コード、輝度ブロックY2の右境界を
セットする。
ロックUrの画素については、その色差クラスコードに
おける上境界コード、下境界コード、左境界コード、右
境界コードとして、それぞれ、輝度ブロックY2の上境
界コード、輝度ブロックY2の下境界コード、輝度ブロ
ックY1の左境界コード、輝度ブロックY2の右境界コ
ードをセットする。
びY2との対応関係も、色差ブロックUと、輝度ブロッ
クY1およびY2との対応関係と同一であり、クラスコ
ード作成部123は、色差ブロックUにおける場合と同
様に、色差ブロックVを、横×縦が4×8画素の2つの
小ブロックVlとVrに分割し、小ブロックVlとVr
の色差クラスコードにおける境界コードとして、輝度ブ
ロックY1およびY2の境界コードを、色差ブロックU
における場合と同様にしてセットする。
は、小ブロックUl,Ur,Vl,Vrの画素につい
て、次のような色差クラスコードが作成される。
ように、色差ブロックU,Vに対応する2つの輝度ブロ
ックY1またはY2の画素について得られている10ビ
ットの輝度クラスコードの第iビット(最下位ビットか
らiビット目)を、BL#i−1またはBR#i−1
と、それぞれ表すこととすると、小ブロックUl,U
r,Vl,Vrの画素については、図39(B)に示す
ようなクラスコードが作成される。
クラスコードの第1乃至第8ビットには、BR0,BL
1,BL2,BL3,BR4,BL5,BL6,BL7
がそれぞれ配置される。また、小ブロックUr,Vrの
画素の色差クラスコードの第1乃至第8ビットには、B
R0,BL1,BR2,BR3,BR4,BL5,BR
6,BR7がそれぞれ配置される。
第10ビットは、輝度クラスコードにおける場合と同様
に、注目画素のACパワーに基づいて決定される。
2:0である場合には、図40(A)に示すように、左
上、左下、右上、右下の位置関係にある4つの隣接する
輝度ブロックY1,Y2,Y3,Y4と、1つの色差ブ
ロックUと、1つの色差ブロックVとが対応する。
示してあるように、色差ブロックUを、横×縦が4×4
画素の左上、左下、右上、右下の位置関係にある4つの
小ブロックUul,Ull,Uur,Ulrに分割する
と、図40(B)に示すように、小ブロックUulの上
の境界は、輝度ブロックY1の上の境界aに、小ブロッ
クUulの下の境界は、輝度ブロックY3の下の境界g
に、小ブロックUulの左の境界は、輝度ブロックY1
の左の境界cに、小ブロックUulの右の境界は、輝度
ブロックY2の右の境界dに、それぞれ対応する。ま
た、小ブロックUllの上の境界は、輝度ブロックY1
の上の境界aに、小ブロックUllの下の境界は、輝度
ブロックY3の下の境界gに、小ブロックUllの左の
境界は、輝度ブロックY3の左の境界eに、小ブロック
Ullの右の境界は、輝度ブロックY4の右の境界f
に、それぞれ対応する。さらに、小ブロックUurの上
の境界は、輝度ブロックY2の上の境界bに、小ブロッ
クUurの下の境界は、輝度ブロックY4の下の境界h
に、小ブロックUurの左の境界は、輝度ブロックY1
の左の境界cに、小ブロックUurの右の境界は、輝度
ブロックY2の右の境界dに、それぞれ対応する。さら
に、小ブロックUlrの上の境界は、輝度ブロックY2
の上の境界bに、小ブロックUlrの下の境界は、輝度
ブロックY4の下の境界hに、小ブロックUlrの左の
境界は、輝度ブロックY3の左の境界eに、小ブロック
Ulrの右の境界は、輝度ブロックY4の右の境界f
に、それぞれ対応する。
ロックUulや、Ull,Uur,Ulrの境界との間
には、上述のような対応関係があることから、クラスコ
ード作成部123は、画像フォーマットが4:2:2で
ある場合と同様に、小ブロックUul,Ull,Uu
r,Ulrそれぞれの画素の色差クラスコードにおける
境界コードとして、輝度ブロックY1乃至Y4の対応す
る境界について求められたものを、そのまま用いるよう
になっている。
ロックUulの画素については、その色差クラスコード
における上境界コード、下境界コード、左境界コード、
右境界コードとして、それぞれ、輝度ブロックY1の上
境界コード、輝度ブロックY3の下境界コード、輝度ブ
ロックY1の左境界コード、輝度ブロックY2の右境界
をセットする。
ロックUllの画素については、その色差クラスコード
における上境界コード、下境界コード、左境界コード、
右境界コードとして、それぞれ、輝度ブロックY1の上
境界コード、輝度ブロックY3の下境界コード、輝度ブ
ロックY3の左境界コード、輝度ブロックY4の右境界
をセットする。
ブロックUurの画素については、その色差クラスコー
ドにおける上境界コード、下境界コード、左境界コー
ド、右境界コードとして、それぞれ、輝度ブロックY2
の上境界コード、輝度ブロックY4の下境界コード、輝
度ブロックY1の左境界コード、輝度ブロックY2の右
境界コードをセットする。
ロックUlrの画素については、その色差クラスコード
における上境界コード、下境界コード、左境界コード、
右境界コードとして、それぞれ、輝度ブロックY2の上
境界コード、輝度ブロックY4の下境界コード、輝度ブ
ロックY3の左境界コード、輝度ブロックY4の右境界
コードをセットする。
Y4との対応関係も、色差ブロックUと、輝度ブロック
Y1乃至Y4との対応関係と同一であり、クラスコード
作成部123は、色差ブロックUにおける場合と同様
に、色差ブロックVを、横×縦が4×4画素の4つの小
ブロックVul,Vll,Vur,Vlrに分割し、小
ブロックVul,Vll,Vur,Vlrの色差クラス
コードにおける境界コードとして、輝度ブロックY1乃
至Y4の境界コードを、色差ブロックUにおける場合と
同様にしてセットする。
は、小ブロックUul,Ull,Uur,Ulr、およ
びVul,Vll,Vur,Vlrの画素について、次
のような色差クラスコードが作成される。
ように、色差ブロックU,Vに対応する2つの輝度ブロ
ックY1乃至Y4の画素について得られている10ビッ
トの輝度クラスコードの第iビットを、BUL#i−
1,BUR#i−1,BDL#i−1,BDR#i−1
と、それぞれ表すこととすると、小ブロックUul,U
ll,Uur,Ulr、およびVul,Vll,Vu
r,Vlrの画素については、図41(B)に示すよう
なクラスコードが作成される。
色差クラスコードの第1乃至第8ビットには、BUR
0,BUL1,BDL2,BUL3,BUR4,BUL
5,BDL6,BUL7がそれぞれ配置される。また、
小ブロックUll,Vllの画素の色差クラスコードの
第1乃至第8ビットには、BDR0,BDL1,BDL
2,BUL3,BDR4,BDL5,BDL6,BUL
7がそれぞれ配置される。さらに、小ブロックUur,
Vurの画素の色差クラスコードの第1乃至第8ビット
には、BUR0,BUL1,BDR2,BUR3,BU
R4,BUL5,BDR6,BUR7がそれぞれ配置さ
れる。また、小ブロックUlr,Vlrの画素の色差ク
ラスコードの第1乃至第8ビットには、BDR0,BD
L1,BDR2,BUR3,BDR4,BDL5,BD
R6,BUR7がそれぞれ配置される。
第10ビットは、輝度クラスコードにおける場合と同様
に、注目画素のACパワーに基づいて決定される。
V形式で表されるものとして説明したが、画像データ
が、その他、例えば、Y,Cb,Cr形式で表される場
合も、同様のクラス分類を行うことが可能である。
4:2:2の場合と、4:2:0の場合について説明し
たが、画像フォーマットが、4:4:4の場合(例え
ば、画像データが、R(red),G(green),B(blue)形式
の場合)は、各信号について、同一のクラス分類を行っ
ても良いし、ある信号について行ったクラス分類により
得られたクラスコードを、そのまま、他の信号に用いる
ようにしても良い。
構成例を示している。
リ12(図2)から2次元DCT係数を読み出すととも
に、隣接タップデータ生成部35が出力する1次元DC
T係数を受信することにより、注目画素を予測する式
(1)の線形1次予測演算を行うための予測タップを生
成し、積和演算部133に供給する。
ば、バッファメモリ12に記憶された注目ブロックの2
次元DCT係数すべてを、予測タップとする。この場
合、予測タップは、64(=8×8)タップで構成され
ることになる。
ば、バッファメモリ12に記憶された注目ブロックの2
次元DCT係数すべてと、その注目ブロックの上下左右
それぞれに隣接する4つのブロックの2次元DCT係数
すべてとを、予測タップとする。この場合、予測タップ
は、320(=8×8×5)タップで構成されることに
なる。
ば、バッファメモリ12に記憶された注目ブロックの2
次元DCT係数すべてと、隣接タップデータ生成部35
から供給される、注目ブロックについての上隣接1次元
DCT係数、下隣接1次元DCT係数、左隣接1次元D
CT係数、および右隣接1次元DCT係数を、予測タッ
プとする。この場合、予測タップは、96(=8×8+
8×4)タップで構成されることになる。
ックの1次元DCT係数等を含めて構成することも可能
である。
予測タップは、注目ブロックのすべての2次元DCT係
数(64の2次元DCT係数)で構成されるものとす
る。
記憶部14(図2)から供給されるタップ係数を一時記
憶する。
31から供給される予測タップと、タップ係数バッファ
132に記憶されたタップ係数とを用いて、式(1)の
線形1次予測演算を行い、注目画素の復号値を出力す
る。
て、図42の適応処理部51の処理(適応処理)につい
て説明する。
予測タップ生成部131は、注目ブロックの各画素を予
測する式(1)の線形1次予測演算を行うための予測タ
ップを、例えば、バッファメモリ12に記憶された注目
ブロックのすべての2次元DCT係数を用いて生成し、
積和演算部133に供給して、ステップS102に進
む。
が、画素位置モードを表す変数iを、例えば1に初期化
する。
DCT変換する場合は、そのブロックにおける各画素の
空間上の位置を表す位置情報が、式(11)に示した変
換行列Cのコンポーネントcijを定義するcos((2
j+1)×i×π/16)の位相という形で考慮され
る。
るDCT係数と、タップ係数とを用いた式(1)の線形
1次予測演算が行われるが、この線形1次予測演算で
は、復号しようとしている画素(注目画素)の位置情報
が考慮されない。そこで、注目画素の位置情報を考慮し
た線形1次予測演算を行うために、ここでは、注目画素
の位置によって異なるタップ係数が用いられるようにな
っている。即ち、同一のクラスに分類される画素であっ
ても、ブロックの位置が異なる場合には、異なるタップ
係数を用いて、線形1次予測演算が行われるようになっ
ている。この場合、線形1次予測演算に用いるタップ係
数が、ブロックにおける注目画素の位置によって切り替
えられることとなるが、この注目画素の位置を表す情報
が、画素位置モードである。
されるから、64カ所の位置が存在し、ここでは、例え
ば、ラスタスキャン順で、i番目の位置を、画素位置モ
ード#iと表すこととする。
画素とされ、クラス分類部13(図2)において、その
注目画素についてクラス分類が行われることにより、タ
ップ係数記憶部14から、注目画素のクラスコードに対
応するタップ係数が供給されてくるのを待って、ステッ
プS103に進む。
14からのタップ係数が、タップ係数バッファ132に
供給されて記憶される。
類される画素であっても、ブロックにおける位置(画素
位置モード)が異なる場合には、異なるタップ係数が用
いられる。従って、タップ係数記憶部14からは、注目
画素のクラスのタップ係数として、画素位置モードの総
数である64セットのタップ係数が供給されるようにな
っており、タップ係数バッファ132は、そのような6
4セットのタップ係数を記憶する。
算部133は、画素位置モード#iに対応するタップ係
数のセット(式(1)におけるw1,w2,・・・)
を、タップ係数バッファ132から読み出し、ステップ
S105に進む。
は、予測タップ生成部131からの予測タップと、タッ
プ係数バッファ132から読み出したタップ係数とを用
いて、式(1)の線形1次予測演算を行い、これによ
り、注目画素の画素値を復号する。
算部133は、画素位置モード#iが、注目ブロックの
画素数である64(=8×8)に等しいかどうかを判定
する。
ド#iが64に等しくないと判定された場合、ステップ
S107に進み、積和演算部133は、画素位置モード
#iを1だけインクリメントして、ステップS103に
戻り、以下、同様の処理が繰り返される。
置モード#iが64に等しいと判定された場合、即ち、
注目ブロックのすべての画素値を復号した場合、処理を
終了する。
リ12(図2)に記憶されるブロックを、順次、注目ブ
ロックとして、図43の適応処理を繰り返し行う。
(またはフィールド)の復号画像を得るまでは、復号し
たブロックを一時記憶しており、1フレームの復号画像
が得られると、その1フレームの復号画像を出力する。
画像データを符号化する場合、画素値および2次元DC
T係数を、0を中心とした正側と負側に均等に分布させ
るため、原画像の画素値から128(=27)を減算し
て得られる画素値が符号化される。
像として、各画素値のレベルが、128だけ低いものが
得られる。そこで、積和演算部133は、復号画像の各
画素値に、128を加算して出力するようになってい
る。
記憶させるタップ係数の学習について説明する。
ピクチャ、Pピクチャ、Bピクチャの3つのピクチャタ
イプがあるので、タップ係数の学習も、ピクチャタイプ
ごとに行われる。
習する場合の学習装置の一実施の形態の構成例を示して
いる。
画像データを、教師データとして記憶している。
コーダ151、分離部152、およびDCT係数抽出/
逆量子化部153から構成され、教師データストレージ
141に記憶された学習用の画像データ(ここでは、教
師データでもある)から、生徒データを生成するように
なっている。
データストレージ141に記憶された学習用の画像デー
タを読み出して、MPEG符号化し、その結果得られる
符号化データを、分離部152に供給する。分離部15
2とDCT係数抽出/逆量子化部153は、図2の分離
部1とDCT係数抽出/逆量子化部2とそれぞれ同様に
構成されており、符号化データから、量子化DCT係数
を分離、抽出し、逆量子化して出力する。
/逆量子化部153は、Iピクチャのみを対象に処理を
行う。また、分離部152は、符号化データから、量子
化DCT係数の他、量子化スケールやDCTタイプ等
の、いわゆるサイドインフォメーションも、必要に応じ
て分離する。
3からは、Iピクチャについての2次元DCT係数の
他、DCTタイプ等の必要なサイドインフォメーション
も出力される。
するIピクチャについての2次元DCT係数やDCTタ
イプ等は、生徒データとして、生徒データストレージ1
43に供給される。
タ生成部142(のDCT係数抽出/逆量子化部15
3)から供給される生徒データを記憶する。
トレージ143に記憶された生徒データから、図42の
予測タップ生成部131が生成するのと同一の予測タッ
プを生成し、足し込み部146に供給する。従って、こ
こでは、予測タップ生成部144は、生徒データストレ
ージ143に記憶された生徒データとしての2次元DC
T係数のうち、注目ブロックを構成するすべての2次元
DCT係数を読み出して、予測タップとする。
注目ブロックの2次元DCT係数の他、注目ブロックに
隣接するブロックの2次元DCT係数や1次元DCT係
数、注目ブロックの1次元DCT係数等を用いて予測タ
ップを生成する場合には、予測タップ生成部144も、
注目ブロックの2次元DCT係数の他、注目ブロックに
隣接する2次元DCT係数や1次元DCT係数、注目ブ
ロックの1次元DCT係数等を用いて、予測タップ生成
部131が生成するのと同一構造の予測タップを生成す
る。この場合、予測タップ生成部144では、注目ブロ
ックに隣接するブロックの2次元DCT係数は、生徒デ
ータストレージ143から取得され、注目ブロックとそ
れに隣接するブロックの1次元DCT係数は、後述する
クラス分類部145から取得される。
部13と同様にされ、生徒データストレージ143に記
憶された生徒データとしての2次元DCT係数から1次
元DCT係数を求め、さらに、その1次元DCT係数に
基づき、図2のクラス分類部13における場合と同様に
して、注目ブロックにおける注目画素をクラス分類し、
注目画素のクラスを表すクラスコードを、足し込み部1
46に出力する。
ジ143に記憶された生徒データとしての2次元DCT
係数のブロックを、順次、注目ブロックとし、さらに、
注目ブロックの画素を、順次、注目画素として、予測タ
ップ生成部144からの生徒データとしての予測タップ
(を構成する2次元DCT係数)、および注目画素を対
象とした足し込みを行う。
145から供給されるクラスコードに対応するクラスご
とに、予測タップ(生徒データ)を用い、式(8)の行
列Aにおける各コンポーネントとなっている、生徒デー
タどうしの乗算(xinxim)と、サメーション(Σ)に
相当する演算を行う。
ラス分類部145から供給されるクラスコードに対応す
るクラスごとに、予測タップ(生徒データ)および注目
画素(教師データ)を用い、式(8)のベクトルvにお
ける各コンポーネントとなっている、生徒データと教師
データの乗算(xinyi)と、サメーション(Σ)に相
当する演算を行う。
ような足し込みは、各クラスについて、注目画素に対す
る画素位置モードごとに行われる。
生徒データストレージ143に記憶されている生徒デー
タとしての2次元DCT係数を構成するブロックすべて
を注目ブロックとして行い、これにより、各クラスにつ
いて、画素位置モードごとに、式(8)に示した正規方
程式をたてる。
46においてクラスごとに、かつ、画素位置モードごと
に生成された各正規方程式を解くことにより、クラスご
とに、64の画素位置モードに対応した64セットのタ
ップ係数を求める。
枚数や、その画像の内容等によっては、足し込み部14
6において、タップ係数を求めるのに必要な数の正規方
程式が得られないクラス、さらには画素位置モードが生
じる場合があり得るが、タップ係数演算部147は、そ
のようなクラスや画素位置モードについては、例えば、
デフォルトのタップ係数を出力する。
て、図44の学習装置の処理(学習処理)について説明
する。
生徒データ生成部142は、上述したように、教師デー
タストレージ141に記憶された学習用の画像データか
ら、Iピクチャについての生徒データを生成し、生徒デ
ータストレージ143に供給して記憶させる。
み部146は、生徒データストレージ143に記憶され
た生徒データとしての2次元DCT係数のブロックのう
ち、まだ、注目ブロックとしていないものの1つを選択
して、注目ブロックとし、ステップS113に進む。
144が、注目ブロックの生徒データとしての2次元D
CT係数すべてを、生徒データストレージ143から読
み出すことにより、予測タップを生成し、ステップS1
14に進む。
が、画素位置モードを表す変数iを、例えば1に初期化
し、ステップS115に進む。ステップS115では、
クラス分類部145が、注目ブロックにおける画素位置
モード#iが表す位置の画素を注目画素として、図2の
クラス分類部13における場合と同様にして、注目画素
のクラス分類を行い、その結果得られるクラスコード
を、足し込み部146に出力する。
おいて、教師データストレージ141から、注目画素と
なっている教師データ(画素値)を読み出し、生徒デー
タとしての予測タップ(を構成する2次元DCT係
数)、および教師データとしての注目画素を対象とし
て、式(8)の行列Aとベクトルvの、上述したような
足し込みを行う。なお、この足し込みは、クラス分類部
145からのクラスコードに対応するクラスごとに、か
つ注目画素に対する画素位置モード#iごとに行われ
る。
み部146は、画素位置モード#iが、注目ブロックの
画素数である64に等しいかどうかを判定する。
ド#iが64に等しくないと判定された場合、ステップ
S118に進み、足し込み部146は、画素位置モード
#iを1だけインクリメントして、ステップS115に
戻り、以下、同様の処理が繰り返される。
置モード#iが64に等しいと判定された場合、即ち、
注目ブロックのすべての画素を注目画素として足し込み
を行った場合、ステップS119に進み、足し込み部1
46は、生徒データストレージ143に記憶された生徒
データとしての2次元DCT係数のブロックのうち、ま
だ、注目ブロックとしていないもの(以下、適宜、未処
理ブロックという)があるかどうかを判定する。
クがあると判定された場合、ステップS112に戻り、
その未処理ブロックの中から、新たに注目ブロックとす
るものが選択され、以下、同様の処理が繰り返される。
ブロックがないと判定された場合、即ち、足し込み部1
46において、各クラスについて、画素位置モードごと
の正規方程式が得られた場合、ステップS120に進
み、タップ係数演算部147は、各クラスの画素位置モ
ードごとに生成された正規方程式を解くことにより、各
クラスごとに、そのクラスの64の画素位置モードそれ
ぞれに対応する64セットのタップ係数を求め、学習処
理を終了する。
数を学習する場合の学習装置の一実施の形態の構成例を
示している。なお、図中、図44における場合と対応す
る部分については、同一の符号を付してあり、以下で
は、その説明は、適宜省略する。即ち、図46の学習装
置は、生徒データ生成部151に代えて、生徒データ生
成部162が設けられている他は、図44における場合
と基本的に同様に構成されている。
復号(符号化)されるIまたはPピクチャを参照画像と
して予測符号化(ノンイントラ符号化)されるため、即
ち、原画像から予測画像を減算した残差画像が2次元D
CT変換されるため、図2の画像処理装置では、前処理
部11において、先に復号されたIまたはPピクチャに
動き補償を施し、その結果得られる予測画像の2次元D
CT係数と、残差画像の2次元DCT係数とを加算した
後に、適応処理部51において、適応処理を施すように
なっている。
においては、残差画像の2次元DCT係数に、予測画像
の2次元DCT係数を加算したものを、生徒データとし
て用いる必要がある。
復号されたIまたはPピクチャを参照画像として、その
参照画像に、動き補償が施されることで得ることができ
るが、いまの場合、Pピクチャのタップ係数を学習しよ
うとしているので、Pピクチャ用のタップ係数は存在し
ない。
4の学習装置において、あらかじめ求めておくことがで
きる。
タ生成部162において、Iピクチャを参照画像として
予測符号化されるPピクチャのブロックについて、生徒
データが生成されるようになっている。
データストレージ141に記憶された学習用の画像デー
タを読み出して、MPEG符号化し、その結果得られる
符号化データを、分離部172に供給する。分離部17
2とDCT係数抽出/逆量子化部173は、図2の分離
部1とDCT係数抽出/逆量子化部2とそれぞれ同様に
構成されており、符号化データから、量子化DCT係数
を分離、抽出し、逆量子化する。
/逆量子化部173は、Iピクチャと、Pピクチャの予
測符号化されたブロックのみを対象に処理を行う。ま
た、分離部172は、符号化データから、量子化DCT
係数の他、量子化スケールやDCTタイプや動きベクト
ル等のサイドインフォメーションも、必要に応じて分離
する。
ピクチャの2次元DCT係数を得た場合、そのIピクチ
ャの2次元DCT係数を、クラス分類部174および適
応処理部176に供給する。
は、Pピクチャの予測符号化されたブロックの2次元D
CT係数、即ち、残差画像の2次元DCT係数を得た場
合、その残差画像の2次元DCT係数を、周波数領域動
き補償加算部181に供給する。
3は、Pピクチャの予測符号化されたブロックの動きベ
クトルを得た場合、その動きベクトルを、動き補償部1
78に供給する。
逆量子化部173から供給されるIピクチャのブロック
の画素を、順次、注目画素として、その注目画素につい
て、図2のクラス分類部13における場合と同様にして
クラス分類を行い、その結果得られるクラスコードを、
タップ係数記憶部175に供給する。タップ係数記憶部
175は、図44の学習装置で得られたIピクチャ用の
タップ係数を記憶しており、図2のタップ係数記憶部1
4と同様に、クラス分類部174から供給されるクラス
コードに対応するタップ係数を取得して、適応処理部1
76に供給する。
1と同様に、DCT係数抽出/逆量子化部173から供
給される、注目画素を含むブロックの2次元DCT係数
すべてを予測タップとして、その予測タップと、タップ
係数記憶部175から供給されるタップ係数とを用いた
線形1次予測演算、即ち、適応処理を行う。
れることにより得られるIピクチャの復号画像は、Iピ
クチャストレージ177に供給されて記憶される。
抽出/逆量子化部173から供給される動きベクトルに
よって動き補償を施すべき参照画像としてのIピクチャ
を、Iピクチャストレージ177から読み出し、そのI
ピクチャに動き補償を施すことで、予測画像を生成す
る。この予測画像は、画像メモリ179に供給されて記
憶される。画像メモリ179に記憶された予測画像は、
DCT変換部180において2次元DCT係数に変換さ
れ、周波数領域動き補償加算部181に供給される。周
波数領域動き補償加算部181は、DCT係数抽出/逆
量子化部173から供給されるPピクチャの残差画像の
2次元DCT係数と、DCT変換部180から供給され
る予測画像の2次元DCT係数とを加算する。
9、DCT変換部180、および周波数領域動き補償加
算部181は、図2の動き補償部4、画像メモリ5、D
CT変換部21、周波数領域動き補償加算部22と同様
に構成されるものであり、従って、周波数領域動き補償
加算部181において、DCT係数抽出/逆量子化部1
73からのPピクチャの残差画像の2次元DCT係数
と、DCT変換部180からの予測画像の2次元DCT
係数とが加算されることにより、Pピクチャの元の画像
(上述したように、原画像ではない)を2次元DCT変
換した2次元DCT係数が得られる。
たPピクチャの元の画像の2次元DCT係数は、生徒デ
ータとして、生徒データストレージ143に供給されて
記憶される。
同様の処理が行われ、これにより、Pピクチャ用(正確
には、Pピクチャの予測符号化されたブロック用)のタ
ップ係数が求められる。
数を学習する場合の学習装置の一実施の形態の構成例を
示している。なお、Bピクチャ用のタップ係数を学習す
る学習装置も、図46のPピクチャ用のタップ係数を学
習する学習装置と同様に、生徒データ生成部だけが、図
44のIピクチャ用のタップ係数を学習する学習装置と
異なるだけであるため、図47においては、Bピクチャ
用のタップ係数を学習する学習装置の生徒データ生成部
だけを図示してある。
的に先行して復号されるIまたはPピクチャを参照画像
として予測符号化(ノンイントラ符号化)されるため、
即ち、原画像から予測画像を減算した残差画像が2次元
DCT変換されるため、図2の画像処理装置では、前処
理部11において、先に復号されたIまたはPピクチャ
に動き補償を施し、その結果得られる予測画像の2次元
DCT係数と、残差画像の2次元DCT係数とを加算し
た後に、適応処理部51において、適応処理を施すよう
になっている。
においては、残差画像の2次元DCT係数に、予測画像
の2次元DCT係数を加算したものを、生徒データとし
て用いる必要がある。
な生徒データを生成して、学習を行うようになってい
る。
習用の画像データ(ここでは、教師データに等しい)が
供給されるようになっており、MPEGエンコーダ19
1は、その学習用の画像データをMPEG符号化し、そ
の結果得られる符号化データを、分離部192に供給す
る。分離部192とDCT係数抽出/逆量子化部193
は、図2の分離部1とDCT係数抽出/逆量子化部2と
それぞれ同様に構成されており、符号化データから、量
子化DCT係数を分離、抽出し、逆量子化して出力す
る。
するIピクチャの2次元DCT係数は、クラス分類部1
94と適応処理部196に供給される。また、DCT係
数抽出/逆量子化部193が出力するPピクチャの2次
元DCT係数は、周波数領域動き補償加算部201に供
給される。さらに、DCT係数抽出/逆量子化部193
が出力するBピクチャの2次元DCT係数は、周波数領
域動き補償加算部209に供給される。
ら、量子化DCT係数の他、量子化スケールやDCTタ
イプや動くベクトル等のサイドインフォメーションも、
必要に応じて分離し、DCT係数抽出/逆量子化部19
3を介して、必要なブロックに供給する。なお、サイド
インフォメーションについては、図47の実施の形態で
は、DCT係数抽出/逆量子化部193から動き補償部
198へのPピクチャの動きベクトルの供給と、DCT
係数抽出/逆量子化部193から動き補償部206への
Bピクチャの動きベクトルの供給だけを、図示してあ
る。
は、Bピクチャの予測符号化されたブロックの2次元D
CT係数、即ち、残差画像の2次元DCT係数だけを、
周波数領域動き補償加算部209に供給する。
3は、Pピクチャについては、予測符号化されたブロッ
クの2次元DCT係数だけを、周波数領域動き補償加算
部201に供給する。さらに、DCT係数抽出/逆量子
化部193では、Pピクチャのイントラ符号化されたブ
ロックの2次元DCT係数は、クラス分類部194およ
び適応処理部196に供給され、以下、イントラ符号化
されたIピクチャと同様に処理される。
逆量子化部193から供給されるIピクチャおよびPピ
クチャのイントラ符号化されたブロックの画素を、順
次、注目画素として、その注目画素について、図2のク
ラス分類部13における場合と同様にしてクラス分類を
行い、その結果得られるクラスコードを、タップ係数記
憶部195に供給する。タップ係数記憶部195は、図
44の学習装置で得られたIピクチャ用のタップ係数を
記憶しており、図2のタップ係数記憶部14と同様に、
クラス分類部194から供給されるクラスコードに対応
するタップ係数を取得して、適応処理部196に供給す
る。
1と同様に、注目画素を含むブロックの2次元DCT係
数すべてを予測タップとして、その予測タップと、タッ
プ係数記憶部195から供給されるタップ係数とを用い
た線形1次予測演算、即ち、適応処理を行う。
れることにより得られるIピクチャの復号画像は、Iピ
クチャストレージ197に供給されて記憶される。な
お、適応処理部196では、イントラ符号化されたPピ
クチャのブロックの復号画像も得られるが、このPピク
チャの復号画像は、適応処理部196からPピクチャス
トレージ205に供給されて記憶される。
抽出/逆量子化部193から供給される動きベクトルに
よって動き補償を施すべき参照画像としてのIピクチャ
を、Iピクチャストレージ197から読み出し、そのI
ピクチャに動き補償を施すことで、Pピクチャの予測画
像を生成する。このPピクチャの予測画像は、画像メモ
リ199に供給されて記憶される。画像メモリ199に
記憶された予測画像は、DCT変換部200において2
次元DCT係数に変換され、周波数領域動き補償加算部
201に供給される。周波数領域動き補償加算部201
は、DCT係数抽出/逆量子化部193から供給される
Pピクチャの残差画像の2次元DCT係数と、DCT変
換部200から供給される予測画像の2次元DCT係数
とを加算する。
9、DCT変換部200、および周波数領域動き補償加
算部201は、図2の動き補償部4、画像メモリ5、D
CT変換部21、周波数領域動き補償加算部22と同様
に構成されるものであり、従って、周波数領域動き補償
加算部201において、DCT係数抽出/逆量子化部1
93からのPピクチャの残差画像の2次元DCT係数
と、DCT変換部200からの予測画像の2次元DCT
係数とが加算されることにより、Pピクチャの元の画像
(上述したように、原画像ではない)を2次元DCT変
換した2次元DCT係数が得られる。
たPピクチャの元の画像の2次元DCT係数は、クラス
分類部202および適応処理部204に供給される。
償加算部201から供給されるPピクチャの予測符号化
されたブロックの画素を、順次、注目画素として、その
注目画素について、図2のクラス分類部13における場
合と同様にしてクラス分類を行い、その結果得られるク
ラスコードを、タップ係数記憶部203に供給する。タ
ップ係数記憶部203は、図46の学習装置で得られた
Pピクチャ用のタップ係数を記憶しており、図2のタッ
プ係数記憶部14と同様に、クラス分類部202から供
給されるクラスコードに対応するタップ係数を取得し
て、適応処理部204に供給する。
1と同様に、注目画素を含むブロックの2次元DCT係
数すべてを予測タップとして、その予測タップと、タッ
プ係数記憶部203から供給されるタップ係数とを用い
た線形1次予測演算、即ち、適応処理を行う。
れることにより得られる、予測符号化されたPピクチャ
のブロックの復号画像は、Pピクチャストレージ205
に供給されて記憶される。なお、上述したように、Pピ
クチャストレージ205は、適応処理部196から供給
される、イントラ符号化されたPピクチャのブロックの
復号画像も記憶する。
抽出/逆量子化部193から供給されるBピクチャの動
きベクトルによって動き補償を施すべき参照画像として
のIまたはPピクチャを、Iピクチャストレージ197
またはPピクチャストレージ205から読み出し、その
IまたはPピクチャに動き補償を施すことで、Bピクチ
ャの予測画像を生成する。このBピクチャの予測画像
は、画像メモリ207に供給されて記憶される。画像メ
モリ207に記憶された予測画像は、DCT変換部20
8において2次元DCT係数に変換され、周波数領域動
き補償加算部209に供給される。周波数領域動き補償
加算部209は、DCT係数抽出/逆量子化部193か
ら供給されるBピクチャの残差画像の2次元DCT係数
と、DCT変換部208から供給される予測画像の2次
元DCT係数とを加算する。
7、DCT変換部208、および周波数領域動き補償加
算部209は、図2の動き補償部4、画像メモリ5、D
CT変換部21、周波数領域動き補償加算部22と同様
に構成されるものであり、従って、周波数領域動き補償
加算部209において、DCT係数抽出/逆量子化部1
93からのBピクチャの残差画像の2次元DCT係数
と、DCT変換部208からの予測画像の2次元DCT
係数とが加算されることにより、Bピクチャの元の画像
(上述したように、原画像ではない)を2次元DCT変
換した2次元DCT係数が得られる。
たBピクチャの元の画像の2次元DCT係数は、生徒デ
ータとして出力される。そして、以降は、図44の学習
装置における場合と同様の処理が行われ、これにより、
Bピクチャ用(正確には、Bピクチャの予測符号化され
たブロック用)のタップ係数が求められる。
上のような学習によって、各クラスごとに求められた6
4の画素位置モードそれぞれごとの、I,P,Bピクチ
ャ用のタップ係数が記憶されている。
されたタップ係数は、線形1次予測演算を行うことによ
り得られる元の画素値の予測値の予測誤差(ここでは、
自乗誤差)が、統計的に最小になるように学習を行うこ
とにより求められたものであり、その結果、図2の適応
処理部51によれば、MPEG符号化された画像を、元
の画像に限りなく近い画像、即ち、ブロック歪みやモス
キートノイズ等の各種の歪みを十分に低減した、画質の
良い画像に復号することができる。
号について、別々に正規方程式がたてられ、輝度信号か
らたてられた正規方程式を解くことにより得られるタッ
プ係数は、係数メモリ43に記憶され、色差信号からた
てられた正規方程式を解くことにより得られるタップ係
数は、係数メモリ44に記憶される。
は、原画像の画素値から128(=27)を減算して得
られる画素値が符号化される。このため、足し込み部1
46は、足し込みにおいて、教師データストレージ14
1に記憶された教師データとしての画素値から、128
を減算した値を用いるようになっている。
クチャのブロックについては、Iピクチャ用のタップ係
数を用いて適応処理が行われる。また、Pピクチャまた
はBピクチャのブロックについては、そのブロックが予
測符号化(ノンイントラ符号化)されている場合には、
PピクチャまたはBピクチャ用のタップ係数を用いて適
応処理が行われるが、ブロックがイントラ符号化されて
いる場合には、Iピクチャ用のタップ係数を用いて適応
処理が行われる。
ャそれぞれ用のタップ係数を学習するようにしたが、B
ピクチャ用のタップ係数の学習は省略することが可能で
ある。この場合、図2の画像処理装置では、Pピクチャ
とBピクチャの予測符号化されたブロックについて、例
えば、いずれも、Pピクチャ用のタップ係数を用いて適
応処理が行われる。
処理装置で、MPEG符号化された画像を復号するシミ
ュレーションを行って得られたシミュレーション結果を
示している。
2:2フォーマットの画像を、約3.3Mbpsのデー
タレートでMPEG2方式により符号化して得られた符
号化データを用いた。また、シミュレーションでは、I
ピクチャとPピクチャを、それぞれ偶数フレームと奇数
フレームとして、1フレームごとに交代する画像シーケ
ンスを用いた。さらに、シミュレーションでは、上述の
閾値A,B,C,D,Eとして、それぞれ、700,7
00,350,120,120を用いた。但し、色差信
号については、閾値Aとして、80を用いた。
れた復号画像の輝度信号についてのS/N(Signal to N
oise ratio)を示している。
2の画像処理装置による復号画像のものを示しており、
点線で示すS/Nは、MPEGの規格に準拠した従来の
MPEGソフトウェアデコーダによる復号画像のものを
示している。図48から、図2の画像処理装置による復
号画像のS/Nが、従来のMPEGソフトウェアデコー
ダによる復号画像と比較して、約1dB程度向上してい
ることが分かる。
れた復号画像を示している。
(B)は、従来のMPEGソフトウェアデコーダによる
復号画像を、図49(C)は、図2の画像処理装置によ
る復号画像を、それぞれ示している。なお、図49
(A)乃至図49(C)において、その右側の約1/3
の部分が、瓶の全体が表示されている全体の画像を示し
ており、左側の約2/3の部分が、その瓶のラベルの部
分を拡大した画像を示している。また、図49に示した
画像は、Iピクチャの画像である。
従来のMPEGソフトウェアデコーダによる復号画像を
比較すると、図49(B)の復号画像には、ブロックの
境界が顕著に現れるブロック歪みが生じ、さらに、瓶の
ラベルにおける「Z」の文字の部分に、モスキートノイ
ズが顕著に現れている。
処理装置による復号画像においては、ブロック歪みが十
分に低減されており、さらに、モスキートノイズも低減
されている。
理装置の第2実施の形態の構成例を示している。なお、
図中、図2における場合と対応する部分については、同
一の符号を付してあり、以下では、その説明は、適宜省
略する。即ち、図50の画像処理装置は、画像再構成部
15において、逆DCT変換部52が新たに設けられて
いる他は、図2における場合と基本的に同様に構成され
ている。
出力を2次元逆DCT変換することにより、復号画像を
求め、画像メモリ7およびピクチャ選択部8に出力する
ようになっている。
プ係数記憶部14において、画素値を、教師データとす
るとともに、その画素値を2次元DCT変換、量子化し
(MPEG符号化し)、さらに逆量子化した2次元DC
T係数を生徒データとして学習を行うことにより得られ
たタップ係数が記憶され、適応処理部51において、そ
のようなタップ係数を用いて適応処理を行うことによ
り、2次元DCT係数を画素値に変換するFT変換が行
われるようになっていた。
ては、タップ係数記憶部14において、画素値を2次元
DCT変換した2次元DCT係数を教師データとすると
ともに、その2次元DCT係数を量子化し、さらに逆量
子化した2次元DCT係数を生徒データとして学習を行
うことにより得られたタップ係数が記憶されており、適
応処理部51において、そのようなタップ係数を用いて
適応処理を行うことにより、そのまま逆2次元DCT変
換したのではブロック歪み等の目立つ復号画像となって
しまう2次元DCT係数を、ブロック歪み等が目立たな
い復号画像が得られる2次元DCT係数に変換するよう
になっている。
理部51で得られる2次元DCT係数が、逆DCT変換
部52において2次元逆DCT変換され、これにより、
ブロック歪み等が十分に低減された復号画像を得ること
ができるようになっている。
CT変換した2次元DCT係数を教師データとするとと
もに、その2次元DCT係数を量子化し、さらに逆量子
化した2次元DCT係数を生徒データとする場合には、
量子化され、さらに逆量子化された2次元DCT係数
を、式(1)の線形予測演算によって、元の2次元DC
T係数(量子化される前の2次元DCT係数)に変換す
るのに最適なタップ係数を得ることができる。そして、
2次元DCT係数は、周波数領域のデータであるから、
上述のようなタップ係数を用いて、そのまま逆2次元D
CT変換したのではブロック歪み等の目立つ復号画像と
なってしまう2次元DCT係数を、ブロック歪み等が目
立たない復号画像が得られる2次元DCT係数に変換す
る適応処理は、周波数(Frequency)の頭文字をとって、
FF変換と呼ぶことができる。
行う場合に用いるタップ係数を学習する学習装置の一実
施の形態の構成例を示している。なお、図中、図44に
おける場合と対応する部分については、同一の符号を付
してあり、以下では、その説明は、適宜省略する。
の画像データを記憶している。
ストレージ221から学習用の画像データを読み出し
て、MPEG符号化における場合と同様に、ブロック単
位で、2次元DCT変換し、その結果得られる2次元D
CT係数を、教師データとして出力する。ここで、教師
データ生成部222が出力する2次元DCT係数は、学
習用の画像データを2次元DCT変換のみしたものであ
り、従って量子化、逆量子化されていないので、その2
次元DCT係数を、2次元逆DCT変換することによ
り、原画像と同一の復号画像を得ることができる。
ータとしての2次元DCT係数は、教師データストレー
ジ141に供給されて記憶される。
ストレージ221から学習用の画像データを読み出し、
図44、図46、図47における場合とそれぞれ同様に
して、生徒データとなる2次元DCT係数を生成して出
力する。生徒データ生成部223が出力する生徒データ
としての2次元DCT係数は、生徒データストレージ1
43に供給されて記憶される。
憶された2次元DCT係数を教師データとするととも
に、生徒データストレージ143に記憶された2次元D
CT係数を生徒データとして、図44の学習装置におけ
る場合と同様の処理が行われ、これにより、上述のよう
なFF変換を行うためのI,P,Bピクチャそれぞれ用
のタップ係数が求められる。
めのタップ係数や、FF変換を行うためのタップ係数を
用いて適応処理を行うことにより、各種の歪みが低減さ
れた復号画像を得るようにしたが、その他、例えば、後
述するTT変換を行うためのタップ係数を用いて適応処
理を行うことにより、各種の歪みが低減された復号画像
を得るようにすることも可能である。
52(A)に示すように、適応処理部51において、符
号化データから得た2次元DCT係数から予測タップを
生成し、FT変換を行うためのタップ係数を用いて適応
処理を行うことにより、復号画像を得るようにした。さ
らに、図50の画像処理装置においては、図52(B)
に示すように、適応処理部51において、符号化データ
から得た2次元DCT係数から予測タップを生成し、F
F変換を行うためのタップ係数を用いて適応処理を行う
ことにより得た2次元DCT係数を、2次元逆DCT変
換することにより、復号画像を得るようにした。
処理部51において、従来のMPEGエンコーダが出力
する画像から予測タップを生成して適応処理を施すこと
により、各種の歪みが低減された復号画像を得るように
することが可能である。
施の形態の構成例を示している。なお、図中、図2にお
ける場合と対応する部分については、同一の符号を付し
てあり、以下では、その説明は、適宜省略する。
には、MPEG符号化された符号化データが供給される
ようになっている。MPEGデコーダ301は、MPE
Gの規格に準拠したデコーダで、そこに供給される符号
化データをMPEGデコードし、その結果得られる復号
画像(以下、適宜、MPEG復号画像という)を画像再
構成部15およびDCT変換部302に供給する。な
お、MPEGデコーダ301は、符号化データに含まれ
るDCTタイプその他のサイドインフォメーションを、
クラス分類部13に供給するようにもなっている。
301からのMPEG復号画像を、ブロック単位で2次
元DCT変換し、その結果得られる2次元DCT係数
を、クラス分類部13に供給する。クラス分類部13お
よびタップ係数記憶部14では、図2における場合と同
様の処理が行われ、これにより、必要なタップ係数が、
画像再構成部15に供給される。
後述するTT変換用のタップ係数が記憶されている。
で構成されており、MPEGデコーダ301からのMP
EG復号画像から予測タップを生成し、即ち、例えば、
MPEG復号画像の注目画素を含むブロックの画素値す
べてを予測タップとし、その予測タップと、タップ係数
記憶部14から供給されるタップ係数とを用いて、式
(1)の線形1次予測演算を行うことにより、各種の歪
みが除去された復号画像を得て出力する。
部14に記憶されるタップ係数を学習する学習装置の一
実施の形態の構成例を示している。なお、図中、図44
における場合と対応する部分については、同一の符号を
付してあり、以下では、その説明は、適宜省略する。
タ生成部142が、MPEGエンコーダ311とMPE
Gデコーダ312とから構成されている。MPEGエン
コーダ311は、教師データストレージ141に記憶さ
れた画像データをMPEG符号化し、その結果得られる
符号化データを、MPEGデコーダ312に出力する。
MPEGデコーダ312は、MPEGエンコーダ311
からの符号化データをMPEGデコードし、その結果得
られるMPEG復号画像を、生徒データとして出力す
る。
て出力するMPEG復号画像は、生徒データストレージ
143に供給されて記憶される。
Gエンコーダ311が出力する符号化データから、DC
Tタイプ等の必要なサイドインフォメーションを抽出
し、このサイドインフォメーションも、生徒データスト
レージ143に供給して記憶させるようになっている。
ージ143に記憶された生徒データとしてのMPEG復
号画像を読み出し、ブロック単位で2次元DCT変換す
ることにより、2次元DCT係数を得て、クラス分類部
145に供給する。クラス分類部145は、DCT変換
部321からの2次元DCT係数に基づき、必要に応じ
て、生徒データストレージ143に記憶されたサイドイ
ンフォメーションを参照しながら、図2のクラス分類部
13における場合と同様にクラス分類を行う。
憶された画像データを教師データとするとともに、生徒
データストレージ143に記憶されたMPEG復号画像
を生徒データとして、図44の学習装置における場合と
同様の処理が行われ、これにより、タップ係数が求めら
れる。なお、予測タップ生成部144では、図53の適
応処理部51が生成するのと同一構造の予測タップが生
成される。
像)を教師データとするとともに、その画像データをM
PEG符号化し、さらにMPEG復号して得られるMP
EG復号画像を生徒データとする場合には、MPEG復
号画像を、式(1)の線形予測演算によって、ブロック
歪み等のない原画像データ(の予測値)に変換するのに
最適なタップ係数を得ることができる。そして、原画像
データおよびMPEG復号画像は、時間領域のデータで
あるから、上述のようなタップ係数を用いて、MPEG
復号画像を、原画像データが得られる2次元DCT係数
に変換する適応処理は、時間(Time)の頭文字をとって、
TT変換と呼ぶことができ、図54の学習装置で学習さ
れるタップ係数は、TT変換用のタップ係数ということ
ができる。
を、ピクチャタイプ別に学習するようにしなかったが、
TT変換用のタップ係数も、FT変換用のタップ係数と
同様に、ピクチャタイプ別に学習するようにすることが
可能である。
理装置のさらに他の実施の形態の構成例を示している。
なお、図中、図2における場合と対応する部分について
は、同一の符号を付してあり、以下では、その説明は、
適宜省略する。即ち、図55の画像処理装置は、図2の
画像処理装置と基本的に同様に構成されている。但し、
適応処理部51には、バッファメモリ12に記憶された
2次元DCT係数ではなく、DCT係数抽出/逆量子化
部2が出力する2次元DCT係数と、画像メモリ5に記
憶された予測画像が供給されるようになっている。
抽出/逆量子化部2が出力する2次元DCT係数と、画
像メモリ5に記憶された予測画像とから、予測タップが
生成される。即ち、適応処理部51は、例えば、DCT
係数抽出/逆量子化部2が出力する注目ブロックの64
個の2次元DCT係数と、画像メモリ5に記憶された、
注目ブロックに対応する8×8画素の予測画像の64個
の画素値との合計で128タップからなる予測タップを
生成する。
ついては、予測画像は存在せず、DCT係数抽出/逆量
子化部2が出力する2次元DCT係数は、元の画像を2
次元DCT変換したものとなっている。また、ノンイン
トラ符号化されたブロックについては、予測画像が存在
し、DCT係数抽出/逆量子化部2が出力する2次元D
CT係数は、元の画像から予測画像を減算して得られる
残差画像を2次元DCT変換したものとなっているが、
MPEGでは、残差画像の画素値がほとんど0である場
合には、残差画像の2次元DCT係数が存在しないこと
がある。
符号化されたブロックが注目ブロックとされた場合に
は、予測画像から生成される64の予測タップは、例え
ば0とされる。また、適応処理部51では、ノンイント
ラ符号化されたブロックが注目ブロックとされ、その注
目ブロックにおける残差画像の2次元DCT係数が存在
しない場合には、DCT係数抽出/逆量子化部2が出力
する2次元DCT係数から生成される64の予測タップ
は、例えば0とされる。
1における予測タップの生成以外については、図2にお
ける場合と同様の処理が行われ、これにより、画像再構
成部15からは、ブロック歪み等が低減された復号画像
が出力される。
述したように、DCT係数抽出/逆量子化部2が出力す
る注目ブロックの64個の2次元DCT係数と、画像メ
モリ5に記憶された、注目ブロックに対応する8×8画
素の予測画像の64個の画素値との合計で128タップ
からなる予測タップが生成され、その予測タップを用い
て適応処理が行われることにより、原画像の予測値、即
ち、ブロック歪み等の低減された復号画像が求められ
る。即ち、ノンイントラ符号化されたブロックについて
は、残差画像の2次元DCT係数と、予測画像の画素値
からなる予測タップから、画像が復号される。
応処理では、ブロック歪み等の低減とともに、残差画像
に対する予測画像の加算が一括して行われているという
ことができる。
られるタップ係数の学習について説明する。
は、図44の学習装置で行うことができる。但し、図4
4の予測タップ生成部144では、図55の適応処理部
51における場合と同様に、注目ブロックの64個の2
次元DCT係数と、注目ブロックに対応する8×8画素
の予測画像の64個の画素値との合計で128タップか
らなる予測タップが生成される。また、上述したよう
に、イントラ符号化されるIピクチャのブロックについ
ては、予測画像から生成される64の予測タップは0と
される。
部14に記憶されるPピクチャ用のタップ係数を学習す
る学習装置の一実施の形態の構成例を示している。な
お、図中、図46における場合と対応する部分について
は、同一の符号を付してあり、以下では、その説明は、
適宜省略する。即ち、図56の学習装置は、基本的に、
図46における場合と同様に構成されている。
周波数領域動き補償加算部181から、元の画像の2次
元DCT係数(残差画像の2次元DCT係数と、予測画
像の2次元DCT係数とを加算したもの)が供給される
他、DCT係数抽出/逆量子化部173から、Pピクチ
ャの残差画像の2次元DCT係数が供給されるととも
に、画像メモリ179に記憶された予測画像が供給され
るようになっている。
クラス分類部13における場合と同様に、生徒データス
トレージ143に記憶された元の画像の2次元DCT係
数を用いてクラス分類が行われる。
データストレージ143に記憶されたPピクチャの残差
画像の2次元DCT係数と、予測画像とから、図5の適
応処理部51で生成されるのと同一構造の予測タップが
生成される。
部14に記憶されるBピクチャ用のタップ係数を学習す
る学習装置の一実施の形態の構成例を示している。な
お、図中、図47における場合と対応する部分について
は、同一の符号を付してある。また、図57において
も、図47における場合と同様に、生徒データ生成部以
外のブロックの図示は省略してある。
の学習装置と同様に構成されている。但し、周波数領域
動き補償加算部209から、Bピクチャの元の画像の2
次元DCT係数(残差画像の2次元DCT係数と、予測
画像の2次元DCT係数とを加算したもの)が、生徒デ
ータとして出力される他、Bピクチャの残差画像の2次
元DCT係数と、予測画像も、DCT係数抽出/逆量子
化部193と、画像メモリ207それぞれから、生徒デ
ータとして出力されるようになっている。
置における場合と同様に、Bピクチャの元の画像の2次
元DCT係数を用いてクラス分類が行われるとともに、
Bピクチャの残差画像の2次元DCT係数と、予測画像
とから、予測タップが生成される。
と、残差画像の2次元DCT係数(あるいは元の画像の
2次元DCT係数)とから生成した予測タップを用いて
適応処理を行うことにより、ブロック歪み等を低減した
復号画像を得るようにしたが、その他、例えば、予測画
像と、残差画像の2次元DCT係数とから生成した予測
タップを用いて、ブロック歪み等を低減した2次元DC
T係数を得て、その2次元DCT係数を2次元逆DCT
変換することにより、ブロック歪み等を低減した復号画
像を得るようにすることも可能である。
タ(原画像)を教師データとするのではなく、画像デー
タをブロック単位で2次元DCT変換して得られる2次
元DCT係数を教師データとして行うようにすれば良
い。
アにより行うこともできるし、ソフトウェアにより行う
こともできる。一連の処理をソフトウェアによって行う
場合には、そのソフトウェアを構成するプログラムが、
汎用のコンピュータ等にインストールされる。
実行するプログラムがインストールされるコンピュータ
の一実施の形態の構成例を示している。
いる記録媒体としてのハードディスク405やROM4
03に予め記録しておくことができる。
ルディスク、CD-ROM(Compact DiscRead Only Memory),
MO(Magneto Optical)ディスク,DVD(Digital Versatile
Disc)、磁気ディスク、半導体メモリなどのリムーバブ
ル記録媒体411に、一時的あるいは永続的に格納(記
録)しておくことができる。このようなリムーバブル記
録媒体411は、いわゆるパッケージソフトウエアとし
て提供することができる。
ーバブル記録媒体411からコンピュータにインストー
ルする他、ダウンロードサイトから、ディジタル衛星放
送用の人工衛星を介して、コンピュータに無線で転送し
たり、LAN(Local Area Network)、インターネットとい
ったネットワークを介して、コンピュータに有線で転送
し、コンピュータでは、そのようにして転送されてくる
プログラムを、通信部408で受信し、内蔵するハード
ディスク405にインストールすることができる。
Unit)402を内蔵している。CPU402には、バス4
01を介して、入出力インタフェース410が接続され
ており、CPU402は、入出力インタフェース410を
介して、ユーザによって、キーボードや、マウス、マイ
ク等で構成される入力部407が操作等されることによ
り指令が入力されると、それにしたがって、ROM(Read O
nly Memory)403に格納されているプログラムを実行
する。あるいは、また、CPU402は、ハードディスク
405に格納されているプログラム、衛星若しくはネッ
トワークから転送され、通信部408で受信されてハー
ドディスク405にインストールされたプログラム、ま
たはドライブ409に装着されたリムーバブル記録媒体
411から読み出されてハードディスク405にインス
トールされたプログラムを、RAM(Random Access Memor
y)404にロードして実行する。これにより、CPU40
2は、上述したフローチャートにしたがった処理、ある
いは上述したブロック図の構成により行われる処理を行
う。そして、CPU402は、その処理結果を、必要に応
じて、例えば、入出力インタフェース410を介して、
LCD(Liquid CryStal Display)やスピーカ等で構成され
る出力部406から出力、あるいは、通信部408から
送信、さらには、ハードディスク405に記録等させ
る。
に各種の処理を行わせるためのプログラムを記述する処
理ステップは、必ずしもフローチャートとして記載され
た順序に沿って時系列に処理する必要はなく、並列的あ
るいは個別に実行される処理(例えば、並列処理あるい
はオブジェクトによる処理)も含むものである。
より処理されるものであっても良いし、複数のコンピュ
ータによって分散処理されるものであっても良い。さら
に、プログラムは、遠方のコンピュータに転送されて実
行されるものであっても良い。
てクラス分類を行い、各クラスごとに処理を行うように
したので、ブロック間における水平方向や垂直方向の平
坦さや連続性が反映された、効果的なクラス分けをする
ことができ、そのようなクラスごとに、適応処理を行う
ことで、ブロック歪みやモスキートノイズ等の歪みを十
分に低減した高画質の復号画像を得ることが可能とな
る。
測値を、式(1)の線形1次予測演算によって求めるよ
うにしたが、教師データの予測値は、その他、例えば、
2次以上の高次の式を用いて求めるようにすることが可
能である。
注目ブロックとそれに隣接するブロックの1次元DCT
係数を用いて行うようにしたが、その他、クラス分類
は、注目ブロックと空間的または時間的に近いブロック
の1次元DCT係数をも用いて行うことが可能である。
さらに、クラス分類は、1次元DCT係数の他、2次元
DCT係数も用いて行うことが可能である。また、クラ
ス分類は、注目ブロックに対して、時間方向に近接する
ブロックの1次元DCT係数をも用いて行うことが可能
である。
化された動画像を対象としたが、本発明は、2次元DC
T変換を用いる、MPEG以外の符号化方式により符号
化された動画像や、JPEG符号化された静止画等を復
号する場合にも適用可能である。
処理方法、並びにプログラムによれば、2次元DCT係
数を、1次元逆DCT変換することにより、1次元DC
T係数が求められ、その1次元DCT係数に基づいて、
画像データを構成する画素を、複数のクラスのうちのい
ずれかのクラスにクラス分けするクラス分類が行われ
る。そして、その結果得られるクラスごとに、符号化デ
ータが処理される。従って、例えば、高画質の画像を復
号することが可能となる。
理方法、並びにプログラムによれば、学習用の画像デー
タが、少なくとも2次元DCT変換されることにより符
号化され、2次元DCT係数を含む符号化データが出力
される。さらに、符号化データに含まれる2次元DCT
係数を、1次元逆DCT変換することにより、1次元D
CT係数が求められる。そして、学習用の画像データか
ら得られる、学習の教師となる教師データを、1次元D
CT係数に基づいて、複数のクラスのうちのいずれかの
クラスにクラス分けするクラス分類が行われ、教師デー
タと、学習用の画像データから得られる、学習の生徒と
なる生徒データとを用いて、教師データのクラスごとに
学習を行うことにより、クラスごとのタップ係数が求め
られる。従って、そのタップ係数を用いることにより、
高画質の画像を復号することが可能となる。
ある。
態の構成例を示すブロック図である。
22の構成例を示すブロック図である。
である。
である。
並びに1次元DCT変換および1次元逆DCT変換を説
明するための図である。
CT係数、および2次元DCT係数を示すディスプレイ
上に表示された中間階調の写真である。
る隣接ブロックの画素列を説明するための図である。
る隣接ブロックの画素列を説明するための図である。
する隣接ブロックの画素列を説明するための図である。
する隣接ブロックの画素列を説明するための図である。
する隣接ブロックの画素列を説明するための図である。
する隣接ブロックの画素列を説明するための図である。
する隣接ブロックの画素列を説明するための図である。
する隣接ブロックの画素列を説明するための図である。
する隣接ブロックの画素列を説明するための図である。
する隣接ブロックの画素列を説明するための図である。
する隣接ブロックの画素列を説明するための図である。
する隣接ブロックの画素列を説明するための図である。
する隣接ブロックの画素列を説明するための図である。
する隣接ブロックの画素列を説明するための図である。
する隣接ブロックの画素列を説明するための図である。
する隣接ブロックの画素列を説明するための図である。
成例を示すブロック図である。
理を説明するフローチャートである。
ャートである。
ャートである。
ャートである。
ャートである。
ク図である。
図である。
ック図である。
る。
ローチャートである。
ック図である。
クと色差ブロックとの対応関係を示す図である。
ドの生成を説明する図である。
クと色差ブロックとの対応関係を示す図である。
ドの生成を説明する図である。
ある。
ートである。
形態の構成例を示すブロック図である。
ャートである。
形態の構成例を示すブロック図である。
形態の構成例を示すブロック図である。
S/Nを示す図である。
示すディスプレイ上に表示された中間階調の写真であ
る。
形態の構成例を示すブロック図である。
の形態の構成例を示すブロック図である。
形態の概要を説明する図である。
形態の構成例を示すブロック図である。
の形態の構成例を示すブロック図である。
形態の構成例を示すブロック図である。
の形態の構成例を示すブロック図である。
の形態の構成例を示すブロック図である。
態の構成例を示すブロック図である。
動き補償部, 5画像メモリ, 11 前処理部,
12 バッファメモリ, 13 クラス分類部, 14
タップ係数記憶部, 15 画像再構成部, 21
DCT変換部, 22 周波数領域動き補償加算部,
31 1次元逆DCT変換部, 32隣接1次元DCT
係数選択/変換部, 33 ACパワー算出部, 34
AC内積計算部, 35 隣接タップデータ生成部,
36,37 クラスコード生成部, 41,42 タ
ップ係数選択部, 43,44 係数メモリ, 51適
応処理部, 52 逆DCT変換部, 61 サンプリ
ング部, 62 DCT部, 71 DCT係数選択
部, 72 加算部, 73 選択部, 80制御部,
81 メモリ, 82 垂直1次元逆DCT変換部,
83 サンプリング部, 84 垂直1次元DCT変
換部, 85 選択部, 91 水平1次元DCT係数
抽出部, 92 垂直1次元DCT係数抽出部, 93
水平ACパワー計算部, 94 垂直ACパワー計算
部, 101 上内積用1次元DCT係数抽出部, 1
02 下内積用1次元DCT係数抽出部, 103 左
内積用1次元DCT係数抽出部, 104 右内積用1
次元DCT係数抽出部,105 上内積演算部, 10
6 下内積演算部, 107 左内積演算部,108
右内積演算部, 111,112 比較部, 113
平坦性条件判定部, 114 連続性条件判定部, 1
15 境界部エッジ条件判定部, 116 クラスコー
ド作成部, 121,122 比較部, 123 クラ
スコード作成部, 131 予測タップ生成部, 13
2 タップ係数バッファ, 133 積和演算部, 1
41 教師データストレージ, 142 生徒データ生
成部, 143 生徒データストレージ, 144 予
測タップ生成部, 145 クラス分類部, 146
足し込み部, 147 タップ係数演算部, 151
MPEGエンコーダ, 152 分離部, 153 D
CT係数抽出/逆量子化部, 171 MPEGエンコ
ーダ, 172 分離部, 173 DCT係数抽出/
逆量子化部, 174 クラス分類部, 175 タッ
プ係数記憶部, 176 適応処理部, 177 Iピ
クチャストレージ, 178 動き補償部, 179
画像メモリ, 180 DCT変換部, 181 周波
数領域動き補償加算部, 191 MPEGエンコー
ダ, 192 分離部, 193 DCT係数抽出/逆
量子化部, 194 クラス分類部, 195 タップ
係数記憶部, 196 適応処理部, 197 Iピク
チャストレージ, 198 動き補償部, 199 画
像メモリ, 200 DCT変換部, 201周波数領
域動き補償加算部, 202 クラス分類部, 203
タップ係数記憶部, 204 適応処理部, 205
Pピクチャストレージ, 206 動き補償部, 2
07 画像メモリ, 208 DCT変換部, 209
周波数領域動き補償加算部, 221 学習用データ
ストレージ, 222 教師データ生成部, 223
生徒データ生成部, 301 MPEGデコーダ, 3
02 DCT変換部, 311 MPEGエンコーダ,
312 MPEGデコーダ, 401 バス, 40
2 CPU, 403 ROM, 404 RAM, 405
ハードディスク, 406 出力部, 407 入力
部, 408 通信部, 409 ドライブ, 410
入出力インタフェース, 411 リムーバブル記録
媒体
Claims (99)
- 【請求項1】 画像データを、少なくとも2次元DCT
(Discrete Cosine Transform)変換して得られる2次元
DCT係数を含む符号化データを復号する画像処理装置
であって、 前記2次元DCT係数を、1次元逆DCT変換すること
により、1次元DCT係数を求める1次元逆DCT変換
手段と、 前記1次元DCT係数に基づいて、前記画像データを構
成する画素を、複数のクラスのうちのいずれかのクラス
にクラス分けするクラス分類を行うクラス分類手段と、 前記クラス分類手段によるクラス分類の結果得られるク
ラスごとに、前記符号化データを処理する処理手段とを
備えることを特徴とする画像処理装置。 - 【請求項2】 前記符号化データは、前記画像データ
を、所定のブロック単位で2次元DCT変換した前記2
次元DCT係数を含み、 前記クラス分類手段は、注目している画素である注目画
素を含むブロックである注目ブロックにおける前記1次
元DCT係数に基づいて、前記注目画素のクラス分類を
行うことを特徴とする請求項1に記載の画像処理装置。 - 【請求項3】 前記1次元逆DCT変換手段は、前記注
目ブロックの2次元DCT係数を、水平方向の空間周波
数成分を表す水平1次元DCT係数と、垂直方向の空間
周波数成分を表す垂直1次元DCT係数に変換し、 前記クラス分類手段は、前記注目ブロックの水平1次元
DCT係数のうちの、前記注目画素の位置に対応するも
のと、前記注目ブロックの垂直1次元DCT係数のうち
の、前記注目画素の位置に対応するものとに基づいて、
前記注目画素のクラス分類を行うことを特徴とする請求
項2に記載の画像処理装置。 - 【請求項4】 前記注目ブロックにおける前記注目画素
の位置に対応する前記水平1次元DCT係数と垂直1次
元DCT係数から、それぞれの交流成分のパワーを求め
るパワー算出手段をさらに備え、 前記クラス分類手段は、前記交流成分のパワーに基づい
て、前記注目画素のクラス分類を行うことを特徴とする
請求項3に記載の画像処理装置。 - 【請求項5】 前記クラス分類手段は、前記注目ブロッ
クにおける前記1次元DCT係数から、前記注目画素の
アクティビティを求め、そのアクティビティに基づい
て、前記注目画素のクラス分類を行うことを特徴とする
請求項2に記載の画像処理装置。 - 【請求項6】 前記クラス分類手段は、前記1次元DC
T係数の交流成分の自乗和を、前記アクティビティとし
て求めることを特徴とする請求項5に記載の画像処理装
置。 - 【請求項7】 前記クラス分類手段は、前記注目ブロッ
クにおける前記1次元DCT係数と、その注目ブロック
以外のブロックにおける前記1次元DCT係数に基づい
て、前記注目画素のクラス分類を行うことを特徴とする
請求項2に記載の画像処理装置。 - 【請求項8】 前記クラス分類手段は、前記注目ブロッ
クにおける前記1次元DCT係数と、その注目ブロック
に隣接するブロックである隣接ブロックにおける前記1
次元DCT係数とに基づいて、前記注目画素のクラス分
類を行うことを特徴とする請求項7に記載の画像処理装
置。 - 【請求項9】 前記クラス分類手段は、前記注目ブロッ
クにおける、前記隣接ブロックに隣接する前記1次元D
CT係数と、前記隣接ブロックにおける、前記注目ブロ
ックに隣接する前記1次元DCT係数とに基づいて、前
記注目画素のクラス分類を行うことを特徴とする請求項
8に記載の画像処理装置。 - 【請求項10】 前記クラス分類手段は、前記注目ブロ
ックと空間上において隣接するブロックを、前記隣接ブ
ロックとして、前記注目ブロックにおける、前記隣接ブ
ロックに隣接する前記1次元DCT係数と、前記隣接ブ
ロックにおける、前記注目ブロックに隣接する前記1次
元DCT係数とに基づいて、前記注目画素のクラス分類
を行うことを特徴とする請求項9に記載の画像処理装
置。 - 【請求項11】 前記符号化データは、前記画像データ
をMPEG(MovingPicture Experts Group)符号化した
ものであり、 前記注目ブロックを含むマクロブロックである注目マク
ロブロックのDCTタイプと、前記注目マクロブロック
に隣接するマクロブロックのDCTタイプに基づいて、
前記注目ブロックと空間上において隣接する前記隣接ブ
ロックにおける、前記注目ブロックに隣接する前記1次
元DCT係数を取得する隣接1次元DCT係数取得手段
をさらに備えることを特徴とする請求項10に記載の画
像処理装置。 - 【請求項12】 前記クラス分類手段は、前記注目ブロ
ックにおける、前記隣接ブロックに隣接する前記1次元
DCT係数の交流成分のパワーと、前記隣接ブロックに
おける、前記注目ブロックに隣接する前記1次元DCT
係数の交流成分のパワーとに基づいて、前記注目画素の
クラス分類を行うことを特徴とする請求項9に記載の画
像処理装置。 - 【請求項13】 前記クラス分類手段は、前記注目ブロ
ックにおける、前記隣接ブロックに隣接する前記1次元
DCT係数の直流成分と、前記隣接ブロックにおける、
前記注目ブロックに隣接する前記1次元DCT係数の直
流成分とに基づいて、前記注目画素のクラス分類を行う
ことを特徴とする請求項9に記載の画像処理装置。 - 【請求項14】 前記注目ブロックにおける、前記隣接
ブロックに隣接する前記1次元DCT係数をコンポーネ
ントとするベクトルと、前記隣接ブロックにおける、前
記注目ブロックに隣接する前記1次元DCT係数をコン
ポーネントとするベクトルとの内積を求める内積演算手
段をさらに備え、 前記クラス分類手段は、前記注目ブロックと隣接ブロッ
クの前記1次元DCT係数から求められる内積に基づい
て、前記注目画素のクラス分類を行うことを特徴とする
請求項8に記載の画像処理装置。 - 【請求項15】 前記注目ブロックにおける前記1次元
DCT係数と、前記隣接ブロックにおける前記1次元D
CT係数とから、前記注目ブロックと隣接ブロックとの
間の平坦性を判定する平坦性判定手段をさらに備え、 前記クラス分類手段は、前記注目ブロックと隣接ブロッ
クとの間の平坦性に基づいて、前記注目画素のクラス分
類を行うことを特徴とする請求項8に記載の画像処理装
置。 - 【請求項16】 前記平坦性判定手段は、前記注目ブロ
ックにおける、前記隣接ブロックに隣接する前記1次元
DCT係数の交流成分のパワーと、前記隣接ブロックに
おける、前記注目ブロックに隣接する前記1次元DCT
係数の交流成分のパワーとに基づいて、前記注目ブロッ
クと隣接ブロックとの間の平坦性を判定することを特徴
とする請求項15に記載の画像処理装置。 - 【請求項17】 前記平坦性判定手段は、前記注目ブロ
ックにおける、前記隣接ブロックに隣接する前記1次元
DCT係数の直流成分と、前記隣接ブロックにおける、
前記注目ブロックに隣接する前記1次元DCT係数の直
流成分に基づいて、前記注目ブロックと隣接ブロックと
の間の平坦性を判定することを特徴とする請求項15に
記載の画像処理装置。 - 【請求項18】 前記注目ブロックにおける前記1次元
DCT係数と、前記隣接ブロックにおける前記1次元D
CT係数とから、前記注目ブロックと隣接ブロックとの
間の連続性を判定する連続性判定手段をさらに備え、 前記クラス分類手段は、前記注目ブロックと隣接ブロッ
クとの間の連続性に基づいて、前記注目画素のクラス分
類を行うことを特徴とする請求項8に記載の画像処理装
置。 - 【請求項19】 前記連続性判定手段は、前記注目ブロ
ックにおける、前記隣接ブロックに隣接する前記1次元
DCT係数をコンポーネントとするベクトルと、前記隣
接ブロックにおける、前記注目ブロックに隣接する前記
1次元DCT係数をコンポーネントとするベクトルとの
内積に基づいて、前記注目ブロックと隣接ブロックとの
間の連続性を判定することを特徴とする請求項18に記
載の画像処理装置。 - 【請求項20】 前記画像データは、カラーの画像デー
タであり、 前記クラス分類手段は、輝度信号の画素と、色信号の画
素とを別にクラス分類することを特徴とする請求項1に
記載の画像処理装置。 - 【請求項21】 前記クラス分類手段は、前記輝度信号
の画素のクラス分類の結果を用いて、前記色信号の画素
のクラス分類を行うことを特徴とする請求項20に記載
の画像処理装置。 - 【請求項22】 前記符号化データは、前記画像データ
をMPEG(MovingPicture Experts Group)符号化した
ものであり、 前記クラス分類手段は、輝度信号のマクロブロックを構
成するブロックの画素のクラス分類の結果を用いて、対
応する色信号のマクロブロックを構成するブロックの画
素のクラス分類を行うことを特徴とする請求項20に記
載の画像処理装置。 - 【請求項23】 前記処理手段は、前記符号化データに
含まれる前記2次元DCT係数を、画素値に変換するこ
とを特徴とする請求項1に記載の画像処理装置。 - 【請求項24】 前記処理手段は、 所定の学習によって得られるクラスごとのタップ係数の
うちの、注目している画素である注目画素のクラスに対
応するものを取得する取得手段と、 前記取得手段によって取得された前記タップ係数との所
定の予測演算に用いる予測タップを、前記2次元DCT
係数から生成する予測タップ生成手段と、 前記注目画素のクラスのタップ係数と、前記予測タップ
とを用いて、前記所定の予測演算を行うことにより、前
記注目画素の画素値を求める予測演算手段とを有するこ
とを特徴とする請求項23に記載の画像処理装置。 - 【請求項25】 前記タップ係数は、前記2次元DCT
係数とタップ係数とを用いて予測演算を行うことにより
得られる前記注目画素の画素値の予測値の予測誤差が統
計的に最小になるように学習を行うことにより求められ
たものであることを特徴とする請求項24に記載の画像
処理装置。 - 【請求項26】 前記符号化データは、前記画像データ
を、所定のブロック単位で2次元DCT変換した前記2
次元DCT係数を含み、 前記予測タップ生成手段は、前記注目画素を含むブロッ
クである注目ブロックの前記2次元DCT係数すべてを
用いて、前記予測タップを生成することを特徴とする請
求項24に記載の画像処理装置。 - 【請求項27】 前記取得手段は、前記注目画素のクラ
スについて、前記ブロックにおける画素の位置ごとのタ
ップ係数を取得し、 前記予測演算手段は、前記注目画素のクラスの、その注
目画素の注目ブロックにおける位置に対応するタップ係
数を用いて、前記所定の予測演算を行うことを特徴とす
る請求項26に記載の画像処理装置。 - 【請求項28】 前記予測タップ生成手段は、前記注目
ブロック以外のブロックの情報をも用いて、前記予測タ
ップを生成することを特徴とする請求項26に記載の画
像処理装置。 - 【請求項29】 前記予測タップ生成手段は、前記注目
ブロックに隣接するブロックである隣接ブロックの情報
をも用いて、前記予測タップを生成することを特徴とす
る請求項28に記載の画像処理装置。 - 【請求項30】 前記予測タップ生成手段は、前記隣接
ブロックの2次元DCT係数または1次元DCT係数を
も用いて、前記予測タップを生成することを特徴とする
請求項29に記載の画像処理装置。 - 【請求項31】 前記処理手段は、所定の学習によって
得られるクラスごとのタップ係数のうちの、注目してい
る画素である注目画素のクラスに対応するものを取得す
る取得手段と、 前記取得手段によって取得された前記タップ係数との所
定の予測演算に用いる予測タップを、前記2次元DCT
係数から生成する予測タップ生成手段と、 前記注目画素のクラスのタップ係数と、前記予測タップ
とを用いて、前記所定の予測演算を行うことにより、前
記注目画素に対する新たな2次元DCT係数を求める予
測演算手段と、 前記新たな2次元DCT係数を、2次元逆DCT変換す
ることにより、前記注目画素の画素値を求める2次元逆
DCT変換手段とを有することを特徴とする請求項1に
記載の画像処理装置。 - 【請求項32】 前記タップ係数は、前記2次元DCT
係数とタップ係数とを用いて予測演算を行うことにより
得られる前記注目画素に対する新たな2次元DCT係数
の予測値の予測誤差が統計的に最小になるように学習を
行うことにより求められたものであることを特徴とする
請求項31に記載の画像処理装置。 - 【請求項33】 前記符号化データは、前記画像データ
を、所定のブロック単位で2次元DCT変換した前記2
次元DCT係数を含み、 前記予測タップ生成手段は、前記注目画素を含むブロッ
クである注目ブロックの前記2次元DCT係数すべてを
用いて、前記予測タップを生成することを特徴とする請
求項31に記載の画像処理装置。 - 【請求項34】 前記取得手段は、前記注目画素のクラ
スについて、前記ブロックにおける画素の位置ごとのタ
ップ係数を取得し、 前記予測演算手段は、前記注目画素のクラスの、その注
目画素の注目ブロックにおける位置に対応するタップ係
数を用いて、前記所定の予測演算を行うことを特徴とす
る請求項33に記載の画像処理装置。 - 【請求項35】 前記予測タップ生成手段は、前記注目
ブロック以外のブロックの情報をも用いて、前記予測タ
ップを生成することを特徴とする請求項33に記載の画
像処理装置。 - 【請求項36】 前記予測タップ生成手段は、前記注目
ブロックに隣接するブロックである隣接ブロックの情報
をも用いて、前記予測タップを生成することを特徴とす
る請求項35に記載の画像処理装置。 - 【請求項37】 前記予測タップ生成手段は、前記隣接
ブロックの2次元DCT係数または1次元DCT係数を
も用いて、前記予測タップを生成することを特徴とする
請求項36に記載の画像処理装置。 - 【請求項38】 前記符号化データを、前記画像データ
に復号する復号手段と、 前記復号手段により復号された前記画像データを、2次
元DCT変換することにより、2次元DCT係数を求め
る2次元DCT変換手段とをさらに備え、 前記1次元逆DCT変換手段は、前記2次元DCT変換
手段が出力する前記2次元DCT係数を、1次元逆DC
T変換することにより、1次元DCT係数を求め、 前記クラス分類手段は、前記1次元DCT係数に基づい
て、前記画像データを構成する画素を、複数のクラスの
うちのいずれかのクラスにクラス分けするクラス分類を
行い、 前記処理手段は、前記クラス分類手段によるクラス分類
の結果得られるクラスごとに、前記符号化データから復
号された前記画像データを処理することを特徴とする請
求項1に記載の画像処理装置。 - 【請求項39】 前記処理手段は、 所定の学習によって得られるクラスごとのタップ係数の
うちの、注目している画素である注目画素のクラスに対
応するものを取得する取得手段と、 前記取得手段によって取得された前記タップ係数との所
定の予測演算に用いる予測タップを、前記復号手段が出
力する前記画像データを構成する画素から生成する予測
タップ生成手段と、 前記注目画素のクラスのタップ係数と、前記予測タップ
とを用いて、前記所定の予測演算を行うことにより、前
記注目画素の画素値を求める予測演算手段とを有するこ
とを特徴とする請求項38に記載の画像処理装置。 - 【請求項40】 前記タップ係数は、前記予測タップと
タップ係数とを用いて予測演算を行うことにより得られ
る前記注目画素の画素値の予測値の予測誤差が統計的に
最小になるように学習を行うことにより求められたもの
であることを特徴とする請求項39に記載の画像処理装
置。 - 【請求項41】 前記符号化データは、前記画像データ
を、所定のブロック単位で2次元DCT変換した前記2
次元DCT係数を含み、 前記予測タップ生成手段は、前記注目画素を含むブロッ
クである注目ブロックの画素すべてを用いて、前記予測
タップを生成することを特徴とする請求項39に記載の
画像処理装置。 - 【請求項42】 前記取得手段は、前記注目画素のクラ
スについて、前記ブロックにおける画素の位置ごとのタ
ップ係数を取得し、 前記予測演算手段は、前記注目画素のクラスの、その注
目画素の注目ブロックにおける位置に対応するタップ係
数を用いて、前記所定の予測演算を行うことを特徴とす
る請求項41に記載の画像処理装置。 - 【請求項43】 前記予測タップ生成手段は、前記注目
ブロック以外のブロックの情報をも用いて、前記予測タ
ップを生成することを特徴とする請求項41に記載の画
像処理装置。 - 【請求項44】 前記予測タップ生成手段は、前記注目
ブロックに隣接するブロックである隣接ブロックの情報
をも用いて、前記予測タップを生成することを特徴とす
る請求項43に記載の画像処理装置。 - 【請求項45】 前記予測タップ生成手段は、前記隣接
ブロックの2次元DCT係数または1次元DCT係数を
も用いて、前記予測タップを生成することを特徴とする
請求項44に記載の画像処理装置。 - 【請求項46】 前記符号化データは、前記画像データ
から、その予測画像を減算して得られる残差画像を2次
元DCT変換した2次元DCT係数を含み、 前記処理手段が前記符号化データを処理することにより
得られる、前記画像データの復号画像から、前記予測画
像を生成する予測画像生成手段と、 前記予測画像を2次元DCT変換し、2次元DCT係数
を出力する2次元DCT変換手段と、 前記残差画像の2次元DCT係数と、対応する前記予測
画像の2次元DCT係数とを加算し、元の画像の2次元
DCT係数を求める加算手段とをさらに備え、 前記1次元逆DCT変換手段は、前記元の画像の2次元
DCT係数を、1次元DCT係数に変換することを特徴
とする請求項1に記載の画像処理装置。 - 【請求項47】 前記予測画像生成手段は、前記画像デ
ータの復号画像を参照画像として、動き補償を施すこと
により、前記予測画像を生成することを特徴とする請求
項46に記載の画像処理装置。 - 【請求項48】 画像データを、少なくとも2次元DC
T(Discrete CosineTransform)変換して得られる2次元
DCT係数を含む符号化データを復号する画像処理方法
であって、 前記2次元DCT係数を、1次元逆DCT変換すること
により、1次元DCT係数を求める1次元逆DCT変換
ステップと、 前記1次元DCT係数に基づいて、前記画像データを構
成する画素を、複数のクラスのうちのいずれかのクラス
にクラス分けするクラス分類を行うクラス分類ステップ
と、 前記クラス分類ステップによるクラス分類の結果得られ
るクラスごとに、前記符号化データを処理する処理ステ
ップとを備えることを特徴とする画像処理方法。 - 【請求項49】 画像データを、少なくとも2次元DC
T(Discrete CosineTransform)変換して得られる2次元
DCT係数を含む符号化データを復号する画像処理を、
コンピュータに行わせるプログラムであって、 前記2次元DCT係数を、1次元逆DCT変換すること
により、1次元DCT係数を求める1次元逆DCT変換
ステップと、 前記1次元DCT係数に基づいて、前記画像データを構
成する画素を、複数のクラスのうちのいずれかのクラス
にクラス分けするクラス分類を行うクラス分類ステップ
と、 前記クラス分類ステップによるクラス分類の結果得られ
るクラスごとに、前記符号化データを処理する処理ステ
ップとを備えることを特徴とするプログラム。 - 【請求項50】 画像データを、少なくとも2次元DC
T(Discrete CosineTransform)変換して得られる2次元
DCT係数を含む符号化データを復号する画像処理を、
コンピュータに行わせるプログラムが記録されている記
録媒体であって、 前記2次元DCT係数を、1次元逆DCT変換すること
により、1次元DCT係数を求める1次元逆DCT変換
ステップと、 前記1次元DCT係数に基づいて、前記画像データを構
成する画素を、複数のクラスのうちのいずれかのクラス
にクラス分けするクラス分類を行うクラス分類ステップ
と、 前記クラス分類ステップによるクラス分類の結果得られ
るクラスごとに、前記符号化データを処理する処理ステ
ップとを備えるプログラムが記録されていることを特徴
とする記録媒体。 - 【請求項51】 画像データを、少なくとも2次元DC
T(Discrete CosineTransform)変換して得られる2次元
DCT係数を含む符号化データを復号するのに用いるタ
ップ係数を学習する画像処理装置であって、 学習用の画像データを、少なくとも2次元DCT変換す
ることにより符号化し、2次元DCT係数を含む符号化
データを出力する符号化手段と、 前記符号化データに含まれる2次元DCT係数を、1次
元逆DCT変換することにより、1次元DCT係数を求
める1次元逆DCT変換手段と、 前記学習用の画像データから得られる、学習の教師とな
る教師データを、前記1次元DCT係数に基づいて、複
数のクラスのうちのいずれかのクラスにクラス分けする
クラス分類を行うクラス分類手段と、 前記教師データと、前記学習用の画像データから得られ
る、学習の生徒となる生徒データとを用いて、前記教師
データのクラスごとに学習を行うことにより、前記クラ
スごとの前記タップ係数を求める学習手段とを備えるこ
とを特徴とする画像処理装置。 - 【請求項52】 前記学習手段は、前記タップ係数と前
記生徒データとを用いて予測演算を行うことにより得ら
れる前記教師データの予測値の予測誤差が統計的に最小
になるように学習を行うことにより、前記タップ係数を
求めることを特徴とする請求項51に記載の画像処理装
置。 - 【請求項53】 前記符号化手段は、前記学習用の画像
データを、所定のブロック単位で2次元DCT変換する
ことにより符号化し、 前記クラス分類手段は、前記学習用の画像データを構成
する画素を前記教師データとして、注目している教師デ
ータである注目教師データを含むブロックである注目ブ
ロックにおける前記1次元DCT係数に基づいて、前記
注目教師データのクラス分類を行うことを特徴とする請
求項51に記載の画像処理装置。 - 【請求項54】 前記1次元逆DCT変換手段は、前記
注目ブロックの2次元DCT係数を、水平方向の空間周
波数成分を表す水平1次元DCT係数と、垂直方向の空
間周波数成分を表す垂直1次元DCT係数に変換し、 前記クラス分類手段は、前記注目ブロックの水平1次元
DCT係数のうちの、前記注目教師データの位置に対応
するものと、前記注目ブロックの垂直1次元DCT係数
のうちの、前記注目教師データの位置に対応するものと
に基づいて、前記注目教師データのクラス分類を行うこ
とを特徴とする請求項53に記載の画像処理装置。 - 【請求項55】 前記注目ブロックにおける前記注目教
師データの位置に対応する前記水平1次元DCT係数と
垂直1次元DCT係数から、それぞれの交流成分のパワ
ーを求めるパワー算出手段をさらに備え、 前記クラス分類手段は、前記交流成分のパワーに基づい
て、前記注目教師データのクラス分類を行うことを特徴
とする請求項54に記載の画像処理装置。 - 【請求項56】 前記クラス分類手段は、前記注目ブロ
ックにおける前記1次元DCT係数から、前記注目教師
データのアクティビティを求め、そのアクティビティに
基づいて、前記注目教師データのクラス分類を行うこと
を特徴とする請求項53に記載の画像処理装置。 - 【請求項57】 前記クラス分類手段は、前記1次元D
CT係数の交流成分の自乗和を、前記アクティビティと
して求めることを特徴とする請求項56に記載の画像処
理装置。 - 【請求項58】 前記クラス分類手段は、前記注目ブロ
ックにおける前記1次元DCT係数と、その注目ブロッ
ク以外のブロックにおける前記1次元DCT係数に基づ
いて、前記注目教師データのクラス分類を行うことを特
徴とする請求項53に記載の画像処理装置。 - 【請求項59】 前記クラス分類手段は、前記注目ブロ
ックにおける前記1次元DCT係数と、その注目ブロッ
クに隣接するブロックである隣接ブロックにおける前記
1次元DCT係数とに基づいて、前記注目教師データの
クラス分類を行うことを特徴とする請求項58に記載の
画像処理装置。 - 【請求項60】 前記クラス分類手段は、前記注目ブロ
ックにおける、前記隣接ブロックに隣接する前記1次元
DCT係数と、前記隣接ブロックにおける、前記注目ブ
ロックに隣接する前記1次元DCT係数とに基づいて、
前記注目教師データのクラス分類を行うことを特徴とす
る請求項59に記載の画像処理装置。 - 【請求項61】 前記クラス分類手段は、前記注目ブロ
ックと空間上において隣接するブロックを、前記隣接ブ
ロックとして、前記注目ブロックにおける、前記隣接ブ
ロックに隣接する前記1次元DCT係数と、前記隣接ブ
ロックにおける、前記注目ブロックに隣接する前記1次
元DCT係数とに基づいて、前記注目教師データのクラ
ス分類を行うことを特徴とする請求項60に記載の画像
処理装置。 - 【請求項62】 前記符号化手段が、前記学習用の画像
データをMPEG(Moving Picture Experts Group)符号
化する場合において、 前記注目ブロックを含むマクロブロックである注目マク
ロブロックのDCTタイプと、前記注目マクロブロック
に隣接するマクロブロックのDCTタイプに基づいて、
前記注目ブロックと空間上において隣接する前記隣接ブ
ロックにおける、前記注目ブロックに隣接する前記1次
元DCT係数を取得する隣接1次元DCT係数取得手段
をさらに備えることを特徴とする請求項61に記載の画
像処理装置。 - 【請求項63】 前記クラス分類手段は、前記注目ブロ
ックにおける、前記隣接ブロックに隣接する前記1次元
DCT係数の交流成分のパワーと、前記隣接ブロックに
おける、前記注目ブロックに隣接する前記1次元DCT
係数の交流成分のパワーとに基づいて、前記注目教師デ
ータのクラス分類を行うことを特徴とする請求項60に
記載の画像処理装置。 - 【請求項64】 前記クラス分類手段は、前記注目ブロ
ックにおける、前記隣接ブロックに隣接する前記1次元
DCT係数の直流成分と、前記隣接ブロックにおける、
前記注目ブロックに隣接する前記1次元DCT係数の直
流成分とに基づいて、前記注目教師データのクラス分類
を行うことを特徴とする請求項60に記載の画像処理装
置。 - 【請求項65】 前記注目ブロックにおける、前記隣接
ブロックに隣接する前記1次元DCT係数をコンポーネ
ントとするベクトルと、前記隣接ブロックにおける、前
記注目ブロックに隣接する前記1次元DCT係数をコン
ポーネントとするベクトルとの内積を求める内積演算手
段をさらに備え、 前記クラス分類手段は、前記注目ブロックと隣接ブロッ
クの前記1次元DCT係数から求められる内積に基づい
て、前記注目教師データのクラス分類を行うことを特徴
とする請求項59に記載の画像処理装置。 - 【請求項66】 前記注目ブロックにおける前記1次元
DCT係数と、前記隣接ブロックにおける前記1次元D
CT係数とから、前記注目ブロックと隣接ブロックとの
間の平坦性を判定する平坦性判定手段をさらに備え、 前記クラス分類手段は、前記注目ブロックと隣接ブロッ
クとの間の平坦性に基づいて、前記注目教師データのク
ラス分類を行うことを特徴とする請求項59に記載の画
像処理装置。 - 【請求項67】 前記平坦性判定手段は、前記注目ブロ
ックにおける、前記隣接ブロックに隣接する前記1次元
DCT係数の交流成分のパワーと、前記隣接ブロックに
おける、前記注目ブロックに隣接する前記1次元DCT
係数の交流成分のパワーとに基づいて、前記注目ブロッ
クと隣接ブロックとの間の平坦性を判定することを特徴
とする請求項66に記載の画像処理装置。 - 【請求項68】 前記平坦性判定手段は、前記注目ブロ
ックにおける、前記隣接ブロックに隣接する前記1次元
DCT係数の直流成分と、前記隣接ブロックにおける、
前記注目ブロックに隣接する前記1次元DCT係数の直
流成分に基づいて、前記注目ブロックと隣接ブロックと
の間の平坦性を判定することを特徴とする請求項66に
記載の画像処理装置。 - 【請求項69】 前記注目ブロックにおける前記1次元
DCT係数と、前記隣接ブロックにおける前記1次元D
CT係数とから、前記注目ブロックと隣接ブロックとの
間の連続性を判定する連続性判定手段をさらに備え、 前記クラス分類手段は、前記注目ブロックと隣接ブロッ
クとの間の連続性に基づいて、前記注目教師データのク
ラス分類を行うことを特徴とする請求項59に記載の画
像処理装置。 - 【請求項70】 前記連続性判定手段は、前記注目ブロ
ックにおける、前記隣接ブロックに隣接する前記1次元
DCT係数をコンポーネントとするベクトルと、前記隣
接ブロックにおける、前記注目ブロックに隣接する前記
1次元DCT係数をコンポーネントとするベクトルとの
内積に基づいて、前記注目ブロックと隣接ブロックとの
間の連続性を判定することを特徴とする請求項69に記
載の画像処理装置。 - 【請求項71】 前記学習用の画像データは、カラーの
画像データであり、 前記クラス分類手段は、輝度信号の画素である前記教師
データと、色信号の画素である前記教師データとを別に
クラス分類することを特徴とする請求項51に記載の画
像処理装置。 - 【請求項72】 前記クラス分類手段は、前記輝度信号
の画素のクラス分類の結果を用いて、前記色信号の画素
のクラス分類を行うことを特徴とする請求項71に記載
の画像処理装置。 - 【請求項73】 前記符号化手段が、前記学習用の画像
データをMPEG(Moving Picture Experts Group)符号
化する場合において、 前記クラス分類手段は、輝度信号のマクロブロックを構
成するブロックの画素のクラス分類の結果を用いて、対
応する色信号のマクロブロックを構成するブロックの画
素のクラス分類を行うことを特徴とする請求項71に記
載の画像処理装置。 - 【請求項74】 前記学習手段は、前記学習用の画像デ
ータを教師データとするとともに、前記符号化手段が出
力する符号化データに含まれる2次元DCT係数を生徒
データとして、学習を行うことを特徴とする請求項51
に記載の画像処理装置。 - 【請求項75】 前記学習手段は、 注目している前記教師データである注目教師データを予
測するのに前記タップ係数とともに用いる前記生徒デー
タを、予測タップとして抽出して出力する予測タップ生
成手段と、 前記予測タップおよびタップ係数を用いて予測演算を行
うことにより得られる前記注目教師データの予測値の予
測誤差を、統計的に最小にする前記タップ係数を求める
タップ係数演算手段とを有することを特徴とする請求項
74に記載の画像処理装置。 - 【請求項76】 前記符号化手段は、前記学習用の画像
データを、所定のブロック単位で2次元DCT変換して
得られる符号化データに含まれる2次元DCT係数を、
前記生徒データとして出力し、 前記予測タップ生成手段は、注目している教師データで
ある注目教師データを含むブロックである注目ブロック
の生徒データである2次元DCT係数すべてを用いて、
前記予測タップを生成することを特徴とする請求項75
に記載の画像処理装置。 - 【請求項77】 前記タップ係数演算手段は、前記予測
タップおよびタップ係数を用いて予測演算を行うことに
より得られる前記注目教師データの予測値の予測誤差
を、統計的に最小にする前記タップ係数を、前記教師デ
ータのクラスごとに、かつ前記教師データの前記ブロッ
クにおける位置ごとに求めることを特徴とする請求項7
6に記載の画像処理装置。 - 【請求項78】 前記予測タップ生成手段は、前記注目
ブロック以外のブロックの情報をも用いて、前記予測タ
ップを生成することを特徴とする請求項76に記載の画
像処理装置。 - 【請求項79】 前記予測タップ生成手段は、前記注目
ブロックに隣接するブロックである隣接ブロックの情報
をも用いて、前記予測タップを生成することを特徴とす
る請求項78に記載の画像処理装置。 - 【請求項80】 前記予測タップ生成手段は、前記隣接
ブロックの2次元DCT係数または1次元DCT係数を
も用いて、前記予測タップを生成することを特徴とする
請求項79に記載の画像処理装置。 - 【請求項81】 前記学習手段は、前記学習用の画像デ
ータを2次元DCT変換して得られる2次元DCT係数
を教師データとするとともに、前記符号化手段が出力す
る符号化データに含まれる2次元DCT係数を生徒デー
タとして、学習を行うことを特徴とする請求項51に記
載の画像処理装置。 - 【請求項82】 前記学習手段は、 注目している前記教師データである注目教師データを予
測するのに前記タップ係数とともに用いる前記生徒デー
タを、予測タップとして抽出して出力する予測タップ生
成手段と、 前記予測タップおよびタップ係数を用いて予測演算を行
うことにより得られる前記注目教師データの予測値の予
測誤差を、統計的に最小にする前記タップ係数を求める
タップ係数演算手段とを有することを特徴とする請求項
81に記載の画像処理装置。 - 【請求項83】 前記符号化データは、前記画像データ
を、所定のブロック単位で2次元DCT変換した前記2
次元DCT係数を含み、 前記予測タップ生成手段は、前記注目教師データを含む
ブロックである注目ブロックの前記2次元DCT係数す
べてを用いて、前記予測タップを生成することを特徴と
する請求項82に記載の画像処理装置。 - 【請求項84】 前記タップ係数演算手段は、前記予測
タップおよびタップ係数を用いて予測演算を行うことに
より得られる前記注目教師データの予測値の予測誤差
を、統計的に最小にする前記タップ係数を、前記教師デ
ータのクラスごとに、かつ前記教師データの前記ブロッ
クにおける位置ごとに求めることを特徴とする請求項8
3に記載の画像処理装置。 - 【請求項85】 前記予測タップ生成手段は、前記注目
ブロック以外のブロックの情報をも用いて、前記予測タ
ップを生成することを特徴とする請求項83に記載の画
像処理装置。 - 【請求項86】 前記予測タップ生成手段は、前記注目
ブロックに隣接するブロックである隣接ブロックの情報
をも用いて、前記予測タップを生成することを特徴とす
る請求項85に記載の画像処理装置。 - 【請求項87】 前記予測タップ生成手段は、前記隣接
ブロックの2次元DCT係数または1次元DCT係数を
も用いて、前記予測タップを生成することを特徴とする
請求項86に記載の画像処理装置。 - 【請求項88】 前記学習手段は、前記学習用の画像デ
ータを教師データとするとともに、前記符号化手段が出
力する符号化データを復号した復号画像データを生徒デ
ータとして、学習を行うことを特徴とする請求項51に
記載の画像処理装置。 - 【請求項89】 前記学習手段は、 注目している前記教師データである注目教師データを予
測するのに前記タップ係数とともに用いる前記生徒デー
タを、予測タップとして抽出して出力する予測タップ生
成手段と、 前記予測タップおよびタップ係数を用いて予測演算を行
うことにより得られる前記注目教師データの予測値の予
測誤差を、統計的に最小にする前記タップ係数を求める
タップ係数演算手段とを有することを特徴とする請求項
88に記載の画像処理装置。 - 【請求項90】 前記符号化データは、前記画像データ
を、所定のブロック単位で2次元DCT変換した前記2
次元DCT係数を含み、 前記予測タップ生成手段は、前記注目教師データを含む
ブロックである注目ブロックの画素すべてを用いて、前
記予測タップを生成することを特徴とする請求項89に
記載の画像処理装置。 - 【請求項91】 前記タップ係数演算手段は、前記予測
タップおよびタップ係数を用いて予測演算を行うことに
より得られる前記注目教師データの予測値の予測誤差
を、統計的に最小にする前記タップ係数を、前記教師デ
ータのクラスごとに、かつ前記教師データの前記ブロッ
クにおける位置ごとに求めることを特徴とする請求項9
0に記載の画像処理装置。 - 【請求項92】 前記予測タップ生成手段は、前記注目
ブロック以外のブロックの情報をも用いて、前記予測タ
ップを生成することを特徴とする請求項90に記載の画
像処理装置。 - 【請求項93】 前記予測タップ生成手段は、前記注目
ブロックに隣接するブロックである隣接ブロックの情報
をも用いて、前記予測タップを生成することを特徴とす
る請求項92に記載の画像処理装置。 - 【請求項94】 前記予測タップ生成手段は、前記隣接
ブロックの2次元DCT係数または1次元DCT係数を
も用いて、前記予測タップを生成することを特徴とする
請求項93に記載の画像処理装置。 - 【請求項95】 前記符号化手段は、前記画像データか
ら、その予測画像を減算して得られる残差画像を2次元
DCT変換した2次元DCT係数を少なくとも含む符号
化データを出力し、 前記符号化データを復号し、復号画像を出力する復号手
段と、 前記復号画像から、前記予測画像を生成する予測画像生
成手段と、 前記予測画像を2次元DCT変換し、2次元DCT係数
を出力する2次元DCT変換手段と、 前記残差画像の2次元DCT係数と、対応する前記予測
画像の2次元DCT係数とを加算し、元の画像の2次元
DCT係数を求める加算手段とをさらに備え、 前記1次元逆DCT変換手段は、前記元の画像の2次元
DCT係数を、1次元DCT係数に変換することを特徴
とする請求項51に記載の画像処理装置。 - 【請求項96】 前記予測画像生成手段は、前記復号画
像を参照画像として、動き補償を施すことにより、前記
予測画像を生成することを特徴とする請求項95に記載
の画像処理装置。 - 【請求項97】 画像データを、少なくとも2次元DC
T(Discrete CosineTransform)変換して得られる2次元
DCT係数を含む符号化データを復号するのに用いるタ
ップ係数を学習する画像処理方法であって、 学習用の画像データを、少なくとも2次元DCT変換す
ることにより符号化し、2次元DCT係数を含む符号化
データを出力する符号化ステップと、 前記符号化データに含まれる2次元DCT係数を、1次
元逆DCT変換することにより、1次元DCT係数を求
める1次元逆DCT変換ステップと、 前記学習用の画像データから得られる、学習の教師とな
る教師データを、前記1次元DCT係数に基づいて、複
数のクラスのうちのいずれかのクラスにクラス分けする
クラス分類を行うクラス分類ステップと、 前記教師データと、前記学習用の画像データから得られ
る、学習の生徒となる生徒データとを用いて、前記教師
データのクラスごとに学習を行うことにより、前記クラ
スごとの前記タップ係数を求める学習ステップとを備え
ることを特徴とする画像処理方法。 - 【請求項98】 画像データを、少なくとも2次元DC
T(Discrete CosineTransform)変換して得られる2次元
DCT係数を含む符号化データを復号するのに用いるタ
ップ係数を学習する画像処理を、コンピュータに行わせ
るプログラムであって、 学習用の画像データを、少なくとも2次元DCT変換す
ることにより符号化し、2次元DCT係数を含む符号化
データを出力する符号化ステップと、 前記符号化データに含まれる2次元DCT係数を、1次
元逆DCT変換することにより、1次元DCT係数を求
める1次元逆DCT変換ステップと、 前記学習用の画像データから得られる、学習の教師とな
る教師データを、前記1次元DCT係数に基づいて、複
数のクラスのうちのいずれかのクラスにクラス分けする
クラス分類を行うクラス分類ステップと、 前記教師データと、前記学習用の画像データから得られ
る、学習の生徒となる生徒データとを用いて、前記教師
データのクラスごとに学習を行うことにより、前記クラ
スごとの前記タップ係数を求める学習ステップとを備え
ることを特徴とするプログラム。 - 【請求項99】 画像データを、少なくとも2次元DC
T(Discrete CosineTransform)変換して得られる2次元
DCT係数を含む符号化データを復号するのに用いるタ
ップ係数を学習する画像処理を、コンピュータに行わせ
るプログラムが記録されている記録媒体であって、 学習用の画像データを、少なくとも2次元DCT変換す
ることにより符号化し、2次元DCT係数を含む符号化
データを出力する符号化ステップと、 前記符号化データに含まれる2次元DCT係数を、1次
元逆DCT変換することにより、1次元DCT係数を求
める1次元逆DCT変換ステップと、 前記学習用の画像データから得られる、学習の教師とな
る教師データを、前記1次元DCT係数に基づいて、複
数のクラスのうちのいずれかのクラスにクラス分けする
クラス分類を行うクラス分類ステップと、 前記教師データと、前記学習用の画像データから得られ
る、学習の生徒となる生徒データとを用いて、前記教師
データのクラスごとに学習を行うことにより、前記クラ
スごとの前記タップ係数を求める学習ステップとを備え
るプログラムが記録されていることを特徴とする記録媒
体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002061399A JP4154902B2 (ja) | 2002-03-07 | 2002-03-07 | 画像処理装置および画像処理方法、並びにプログラムおよび記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002061399A JP4154902B2 (ja) | 2002-03-07 | 2002-03-07 | 画像処理装置および画像処理方法、並びにプログラムおよび記録媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003264832A true JP2003264832A (ja) | 2003-09-19 |
JP2003264832A5 JP2003264832A5 (ja) | 2005-08-25 |
JP4154902B2 JP4154902B2 (ja) | 2008-09-24 |
Family
ID=29195728
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002061399A Expired - Fee Related JP4154902B2 (ja) | 2002-03-07 | 2002-03-07 | 画像処理装置および画像処理方法、並びにプログラムおよび記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4154902B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004010706A1 (ja) * | 2002-07-19 | 2004-01-29 | Sony Corporation | 情報信号処理装置、情報信号処理方法、画像信号処理装置および画像表示装置、それに使用される補正データの生成装置および生成方法、係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 |
JP5885886B2 (ja) * | 2013-06-04 | 2016-03-16 | 三菱電機株式会社 | 画像解析装置及び画像解析方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3360627B1 (de) | 2017-02-08 | 2022-01-05 | Heraeus Deutschland GmbH & Co. KG | Pulver zur verwendung in einem additiven fertigungsverfahren |
-
2002
- 2002-03-07 JP JP2002061399A patent/JP4154902B2/ja not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004010706A1 (ja) * | 2002-07-19 | 2004-01-29 | Sony Corporation | 情報信号処理装置、情報信号処理方法、画像信号処理装置および画像表示装置、それに使用される補正データの生成装置および生成方法、係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 |
US7991054B2 (en) | 2002-07-19 | 2011-08-02 | Sony Corporation | Information signal processing device, information signal processing method, image signal processing device, image displaying device, device and method for producing correction data used in them, device and method for producing coefficient data, programs for executing these methods, and computer-readable medium for storing the program |
JP5885886B2 (ja) * | 2013-06-04 | 2016-03-16 | 三菱電機株式会社 | 画像解析装置及び画像解析方法 |
JPWO2014196118A1 (ja) * | 2013-06-04 | 2017-02-23 | 三菱電機株式会社 | 画像解析装置及び画像解析方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4154902B2 (ja) | 2008-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Thyagarajan | Still image and video compression with MATLAB | |
Kim et al. | Hierarchical prediction and context adaptive coding for lossless color image compression | |
US7289671B2 (en) | Data processing apparatus and method and recording medium | |
US10893276B2 (en) | Image encoding device and method | |
US7876323B2 (en) | Display apparatus and display method, learning apparatus and learning method, and programs therefor | |
JP2008054267A (ja) | 画像処理装置、画像符号化装置及び画像復号化装置 | |
US9438920B2 (en) | Picture encoding method, picture encoding apparatus, picture decoding method and picture decoding apparatus | |
US20090180700A1 (en) | De-blocking filter and method for de-blocking filtering of video data | |
EP1501296A1 (en) | Data converting apparatus, data converting method, learning apparatus, leaning method, program, and recording medium | |
JP4154902B2 (ja) | 画像処理装置および画像処理方法、並びにプログラムおよび記録媒体 | |
JP2006246351A (ja) | 画像符号化装置および画像復号化装置 | |
JP4154647B2 (ja) | データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体 | |
JP4055203B2 (ja) | データ処理装置およびデータ処理方法、記録媒体、並びにプログラム | |
JP4154903B2 (ja) | 画像処理装置および画像処理方法、並びにプログラムおよび記録媒体 | |
JP4147789B2 (ja) | 画像処理装置および画像処理方法、並びにプログラムおよび記録媒体 | |
JP4770704B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP4081745B2 (ja) | 復号装置および復号方法、学習装置および学習方法、並びにプログラムおよび記録媒体 | |
JP4517448B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
JP2002010256A (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
JP4505729B2 (ja) | 画像処理装置、画像処理方法、プログラム、および記録媒体 | |
JP4000589B2 (ja) | 復号装置および復号方法、並びにプログラムおよび記録媒体 | |
JP2001320587A (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
JP2008118519A (ja) | 画像変換装置及び画像変換方法、学習装置及び学習方法、並びにプログラム | |
JP4678454B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
JP3869303B2 (ja) | 画像復号化方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050210 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080104 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080304 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080327 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080526 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080617 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080630 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130718 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |