JP2001128183A - 動画像符号化方法、動画像符号化装置、動画像復号方法、動画像復号装置、および動画像符号化、復号プログラムを記憶した記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 符号化対象矩形単位をインター符号化、ある
いはイントラ符号化として選択的に切替えて符号化する
にあたり、イントラマクロブロック近傍で生じる予測画
像および予測差分信号の非連続性を減少させる。 【解決手段】 イントラ符号化を行う符号化対象矩形単
位について、符号化対象ＭＢ平均値算出部１３で該符号
化対象矩形単位内の画素の平均値を算出し、直流値メモ
リ１７に蓄積する。インター符号化を行う符号化対象矩
形単位について、参照ＭＢ平均値算出部１０で該参照矩
形単位内の画素の平均値を算出し、直流値メモリ１７に
蓄積する。直流値予測画像生成部１９は直流値メモリ１
７に蓄積されている縮小画像を拡大して直流値予測画像
を生成する。予測画像を生成するにあたり、符号化形態
としてイントラ符号化が選択されている符号化対象矩形
単位の予測値として、該直流値予測画像内において該符
号化対象矩形単位と同位置にある矩形単位をとり出す。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像符号化方法
および動画像符号化装置、動画像復号方法および動画像
復号装置、ならびに動画像符号化および動画像復号プロ
グラムを記憶した記憶媒体に関するものである。

【０００２】

【従来の技術】ＩＴＵ−Ｔ勧告Ｈ．２６３は、「低ビッ
トレート通信用ビデオ符号化方式」と題された通信用の
ビデオ符号化標準である。Ｈ．２６３では、フレームを
矩形符号化単位（マクロブロック：１６×１６画素）に
分割し、動き補償予測符号化を用いて動画像信号の時間
的冗長度を抑圧する。動き補償予測は、マクロブロック
を単位として行われ、マクロブロックごとにフレーム内
符号化（イントラ）、フレーム間符号化（インター）を
選択的に切替える。

【０００３】あるマクロブロックをインターとして符号
化する場合は、符号化対象マクロブロックを中心とする
探索範囲を参照画像内に設定し、該範囲内で該符号化対
象マクロブロックを平行移動させながら、該符号化対象
マクロブロックと類似する領域（参照マクロブロック）
を差分自乗和などを評価関数として用いて算出する。そ
して、該符号化対象マクロブロックと該参照マクロブロ
ックとの予測差分マクロブロックに対し、代表的な直交
変換の一つである離散コサイン変換（ＤＣＴ）を施し、
得られた変換係数ブロックを量子化し可変長符号化す
る。

【０００４】該予測差分マクロブロックにＤＣＴを施す
際、一般的な入力画像信号を符号化する場合には１６×
１６ＤＣＴではＤＣＴ変換係数の低周波成分への集中度
が少ないため、実際には図７に示すように、該予測差分
マクロブロックの輝度信号を４つのブロック（８×８画
素）に分割し、各ブロックごとに８×８ＤＣＴを行うの
が一般的である。該予測差分マクロブロックの色差信号
（Ｃｂ，Ｃｒ）のブロックについては分割すること無
く、８×８画素ブロックに対してＤＣＴを施す。

【０００５】ＤＣＴの変換基底は８×８であり、動き補
償・予測差分算出・量子化はそれぞれ各マクロブロック
に閉じた処理であるため、インターマクロブロック符号
化処理は該符号化対象マクロブロックの近傍マクロブロ
ックの符号化処理の影響を受けることは無い。ゆえに、
復号器で得られる復号マクロブロック内の各ブロック

【０００６】

【外１】 は、該符号化対象マクロブロック内の各符号化対象ブロ
ック

【０００７】

【外２】 および、該参照マクロブロック内の該符号化対象ブロッ
クに対応するブロック（参照ブロック：

【０００８】

【外３】 ）に閉じた線形変換となり（１）式で表される。ここに
おいて、ＤＣＴ（）、ＩＤＣＴ（）、Ｑ［］、ＩＱ［］
はそれぞれ、ＤＣＴ、逆ＤＣＴ、逆ＤＣＴ、量子化、逆
量子化を表す。各ブロックＢの右下の添字（ｉ＝１〜
６）はマクロブロック内の６つのブロックを示す。

【０００９】

【数１】 同様に、符号化対象マクロブロックをイントラとして符
号化する場合も、マクロブロックの輝度信号を４つのブ
ロックに分割し、６つの符号化対象ブロック（４つの輝
度ブロックと２つの色差ブロック）に対しそれぞれＤＣ
Ｔを施し、出力されるＤＣＴ変換係数ブロックを量子化
し、可変長符号化する。このとき、該符号化対象ブロッ
クのそれぞれにＤＣＴを施すことにより得られる、該Ｄ
ＣＴ変換係数ブロックの最低次の係数（ＤＣＴ（０，
０）係数）は直流係数

【００１０】

【外４】 と呼ばれ、該符号化対象ブロック内の画素の平均値とそ
れぞれ等しい。したがって、イントラマクロブロックの
符号化により復号器で得られる６つの復号ブロック

【００１１】

【外５】 は、同様に（２）式で表される。これは、（３）式に示
す各ブロックごとの直流値ブロック

【００１２】

【外６】 を符号化対象ブロック

【００１３】

【外７】 に対する予測値とし、該符号化対象ブロックと該ブロッ
クの直流値の差分

【００１４】

【外８】 に対しＤＣＴを施し、得られた変換係数ブロックを量子
化し可変長符号化することと等価となる。すなわち、
（１）式のＢ^refを

【００１５】

【外９】 で置き換えた式となる。

【００１６】なお、符号化対象マクロブロックごとにイ
ントラ符号化・インター符号化を適応的に選択する際の
イントラマクロブロック符号化処理は、各符号化対象マ
クロブロックに閉じた処理であるため、インターマクロ
ブロックの符号化処理と同様に近傍のマクロブロックの
影響を受けることは無い。

【００１７】

【数２】 静止画像圧縮符号化において、画素間の相関を取り除く
手法として離散ウェーブレット変換（I. Daubechies "O
rthonormal bases of compactly supported wavelets",
Comm. Pure Appl. Math., vol.41, pp.909-996, 198
8）が注目されている。また、離散ウェーブレット変換
の動画像圧縮符号化への適用も注目され、ＤＣＴの代り
に離散ウェーブレット変換を利用する手法も提案されて
いる。静止画像符号化は入力画像に対して直接離散ウェ
ーブレット変換を施すのに対し、従来提案されてきた多
くの動画像ウェーブレット符号化方法では、全てのマク
ロブロックについて動き補償を行うことで予測画像を作
成し、入力画像信号と予測画像の差分である動き補償予
測差分画像に対し離散ウェーブレット変換を施す。ウェ
ーブレット変換係数は、静止画像符号化と同様に量子化
を施し可変長符号化を行う。

【００１８】離散ウェーブレット変換は、階層的なサブ
バンド分割と同様に、入力画像を解像度の異なる周波数
帯域成分に分解する。分解された変換係数の総数は原画
像の画素数と同じであるが、ＤＣＴと同様より低い周波
数成分に信号エネルギーが集中したものになる。

【００１９】ウェーブレット変換係数は、１次元のフィ
ルタバンクとサブサンプリング処理によって求められ
る。図８（ａ）に示すように、画像Ｘ（ｚ）の水平方向
について低域フィルタ（Ｈ_l(z)）、および高域フィルタ
（Ｈ_h(z)）出力を求め、その出力を１／２（↓２）に間
引く。さらに、同様の処理を垂直方向に適用することに
より、４成分ＬＬ₁，ＬＨ_l，ＨＬ_l，ＨＨ_lに分解され
る。この内、もっとも低い周波数成分ＬＬ_lをＬＬ₂，Ｌ
Ｈ₂，ＨＬ₂，ＨＨ₂に再分解する。この処理を必要なレ
ベル数繰り返すことにより、図９に示す画像のオクター
ブ分割を求めることができる。再生過程においては、図
８（ｂ）帯域成分ＬＬ_i+1，ＬＨ_i+1の垂直方向の各係数
間にゼロ値を挿入（↑２）し、その垂直方向にそれぞれ
合成フィルタＦ_l(z)、、Ｆ_h(z)を施し、それらの出力の
和を求める。同様の処理を水平方向にＨＬ_i+1，ＨＨ_i+1
成分に行う。すなわち得られた２成分に、水平方向に同
様のフィルタ処理を行うことにより、ＬＬ_i成分が合成
される。この合成処理を必要なレベル数だけ繰り返すこ
とにより、画像の再生値が得られる。画像が完全再構成
されるためには、分解・合成フィルタは次の条件を満た
していなければならない。

【００２０】

【数３】 ここにおいて、分解・合成フィルタのタップ長は奇数で
あり、ｃは任意の定数である。該分解および合成フィル
タ係数の相互関係を図１０に示す。

【００２１】入力画像信号や動き補償予測差分信号に水
平・垂直ウェーブレット変換を施して得られたウェーブ
レット変換係数はＤＣＴ変換係数と同様に、量子化され
可変長符号化される。一般的に、最低周波数帯域ＬＬを
除く他の高周波数帯域内のウェーブレット変換係数値
は、０近傍に集中するラプラス分布で近似可能なため、
エントロピー符号化の効率改善を考慮し、センターデッ
ドゾーン付きスカラー量子化が用いられることが多い。
そして、量子化後のウェーブレット変換係数をＲｕｎ−
Ｌｅｎｇｔｈ符号化，Ｒｕｎ−Ｌｅｖｅｌ符号化などを
用いて可変長符号化し発生符号量を低減する。

【００２２】図１１に、一次元入力信号（Ｐ_n）に対し
て、分解低域フィルタ（Ｈ_l(z)）として５タップフィル
ターを用い、ウェーブレット周波数帯域分割処理を再帰
的に３回行い、該一次元入力信号を４つの周波数帯域に
帯域分割した場合の周波数帯域分割例を示す。該一次元
入力信号は離散ウェーブレット変換を１回行うことによ
り、Ｈ成分とＬ成分に分解される。この時、

【００２３】

【外１０】 で表す記号は二係数に一つを間引くダウンサンプル処理
を示す。そして、該変換および該ダウンサンプル処理
を、生成された該Ｌ成分帯域に対して同様に行うことに
より、ＬＨおよびＬＬ成分帯域を生成する。さらに、同
様の処理をＬＬ成分帯域に対して繰り返すことにより、
ＬＬＨおよびＬＬＬ成分帯域を生成する。

【００２４】離散ウェーブレット変換の各再帰分割にお
けるフィルタ処理は前記５タップのフィルタを用いる
が、前段の再帰分割における低域フィルタ出力に対して
再帰的に離散ウェーブレット変換を行うため、実際１つ
の変換係数を算出するには、より長いタップのフィルタ
を該一次元入力信号に施すこととなる。この実際のタッ
プ長を実効タップ長と定義する。前記５タップの分解低
域フィルタで３回周波数帯域分割を行う場合、図１１に
示すように該ＬＬＬ成分帯域内の変換係数

【００２５】

【外１１】 を得るために、該ＬＬ成分帯域の変換係数に対して該５
タップフィルタを施す。さらに、該ＬＬ成分帯域内の変
換係数は該Ｌ成分帯域内の変換係数に対して該５タップ
フィルタを施し、該Ｌ成分帯域内の変換係数は該一次元
入力信号（Ｐ）に対して該５タップフィルタを施してい
る。結果として、最低周波数帯域である該ＬＬＬ成分帯
域内の変換係数の実効タップ長（Ｌ）は、図１１に示す
ように２９タップとなる。すなわち最低周波数帯域（二
次元信号の場合のＬＬ成分帯域に当る）ＬＬＬ成分帯域
内の各ウェーブレット変換係数は、入力信号に対する２
９タップのフィルタ出力となる。

【００２６】さらに、これを一般化し、同様にｎタップ
の低域フィルタを用いて周波数帯域分割をｍ回行った場
合、ｎが奇数ならば最低周波数帯域のタップ長
（Ｌ_m,n）は（７）式で表される。

【００２７】

【数４】 二次元離散ウェーブレット変換を考慮すると、分割低域
フィルタとして５タップのフィルタを用いるのであれば
最低周波数帯域内の各変換係数は２９×２９画素の入力
信号に対するフィルタ出力、７タップのフィルタを用い
るのであれば、４３×４３画素の入力信号に対するフィ
ルタ出力となる。これは、動き補償の矩形単位が１６×
１６で、ＤＣＴの変換基底が８×８であるのと比較して
極めて大きな基底となる。

【００２８】離散ウェーブレット変換の他にも、隣接す
る符号化対象マクロブロックに変換基底が重複する直交
変換がいくつか提案されている。H.S.Malvar らの LOT:
Lapped Orthogonal Transform, MLT: Modified Lapped
Transform（文献、H.S.Malvar, "Lapped Transform fo
r Efficient Transform/Subband Coding", IEEE Transa
ctions on Acoustics, Speech, and Signal Processin
g, Vol. ASSP-38, No.6, pp.969-978, June 1990）、そ
して J.P.Princen らの Single Side Band Analysis/Sy
nthesis（文献、J.P.Princen and A.B.Bradley, "Analy
sis/Synthesis Filter Bank Design Based on Time Dom
ain Aliasing Cancellation", IEEE Transactions on A
coustics, Speech, and Signal Processing, Vol. ASSP
-34, No.5, pp.1153-1161, Oct. 1986）などが提案され
ている。これらのオーバーラップブロック構成を持った
直交変換をここでは重複ブロック直交変換と呼ぶことに
する。

【００２９】Ｎ点ＤＣＴではＮサンプルの入力ブロック
に対してＮ個の変換係数が得られるが、これに対し、図
１２に示すように、重複ブロック直交変換では、ブロッ
クｉを符号化する際、隣接する前後の符号化対象ブロッ
クにＮ／２画素づつオーバーラップした２Ｎサンプルの
入力ブロックＸ_iに対してＮ個の変換係数Ｙ_iが得られ
る。一方逆変換はＮ個の変換係数Ｙ_iから２Ｎ個の逆変
換行列

【００３０】

【外１２】 が得られる。もとの画像の輝度値は、ブロックｉにオー
バーラップしてくる前後の隣接ブロックの逆変換行列

【００３１】

【外１３】 の内、ブロックｉと重なる部分の値をブロックｉの逆変
換行列

【００３２】

【外１４】 に足し合わせることにより再生される。このように、重
複フロック直交変換では入力信号を隣接ブロックにオー
バーラップさせることによってブロック外の画素値も含
めて変換するため、ＤＣＴ等の通常の直交変換において
問題となるブロック歪を生じないという利点がある。

【００３３】一般的にＮは８画素であるため、重複ブロ
ック直交変換の実効タップ長は、符号化対象マクロブロ
ック内の各ブロックを中心とする１６タップとなる。

【００３４】また、ＤＣＴはその変換基底がマクロブロ
ック・ブロックの中に閉じているため、（１）、（２）
式に示したように、符号化対象ブロックや該符号化対象
ブロックのそれぞれ対応する参照ブロックのみを用いて
復号ブロックを一意に規定することが可能であるが、図
１３に示すように、離散ウェーブレット変換や重複ブロ
ック直交変換を用いる場合は該符号化対象マクロブロッ
クの近傍のマクロブロックにフィルタの実効タップ長が
及ぶため、フィルタ処理対象の入力画素列が複数のマク
ロブロックをまたがってしまい、各隣接するマクロブロ
ック境界での非連続な信号に対して直交変換を施すこと
となる。

【００３５】符号化対象マクロブロックと、該符号化対
象マクロブロックの隣接マクロブロックとの境界で、予
測差分画像の信号が非連続となる理由は幾つか考えられ
る。一つ目の理由は、符号化対象マクロブロックおよび
その隣接のマクロブロックの、それぞれの参照するマク
ロブロックの場所が連続していないことに起因する。分
解低域フィルタとして該５タップのフィルタを用いて、
図１３のインターマクロブロック

【００３６】

【外１５】 を符号化する場合、ＬＬ成分帯域内の変換係数を参照す
るためのフィルタの実効タップ長は２９タップであるた
め、近傍の８マクロブロックに影響が及ぶ。簡単のため
水平方向の離散ウェーブレット変換のみを考えた場合、
実際に水平方向に離散ウェーブレット変換を施す入力信
号は、（９）式に示す符号化対象マクロブロックの予測
差分信号

【００３７】

【外１６】 に加えて、（８）および（１０）式に示す符号化対象マ
クロブロックの左右に隣接するマクロブロックの予測差
分信号

【００３８】

【外１７】 となる。

【００３９】

【数５】 符号化対象マクロブロックおよび該符号化対象マクロブ
ロックの左右のマクロブロック

【００４０】

【外１８】 は水平方向に連続した信号であるが、該マクロブロック
がそれぞれ参照するマクロブロック

【００４１】

【外１９】 は該符号化対象およびその左右のマクロブロックの動き
ベクトルがそれぞれ異り、参照マクロブロックの場所が
隣接して並ばないため水平方向に連続な信号とはなら
ず、結果として予測画像内のマクロブロックの境界に非
連続な歪み（ブロック歪み）が生じる。このため、これ
らの差分信号である予測差分信号マクロブロック

【００４２】

【外２０】 も非連続な信号となり、ブロックベースの直交変換であ
るＤＣＴと比較し著しく符号化効率が劣化する。

【００４３】この隣接するインターマクロブロックのそ
れぞれの参照マクロブロック同士が非連続となる問題
は、該インターマクロブロックの動きベクトルが一致し
ていない場合であり、該動きベクトルが等しい場合は該
参照マクロブロック同士が連続した信号となるため符号
化効率は低下しない。さらに、該動きベクトルが一致し
ない場合も、オーバーラップブロック動き補償（ＯＢＭ
Ｃ）が提案されており、ＯＢＭＣを用いて予測画像を生
成することにより予測信号を比較的連続した信号に整形
することが可能であるため、符号化効率がほとんど低下
しないことも証明されている。ＯＢＭＣはＨ．２６３に
提案されて、すでに採用されている。

【００４４】二つ目の理由は、離散ウェーブレット変換
の実効タップ長内あるいは重複ブロック直交変換の変換
基底長内に存在するインターマクロブロックの動きベク
トルがすべて一致している場合でも、符号化対象マクロ
ブロックおよび、実効タップ長あるいは変換基底長内に
存在するマクロブロックにおいて、イントラ・インター
符号化のいずれを用いて各マクロブロックを符号化する
かが異ることに起因する。例として、図１３のイントラ
マクロブロック

【００４５】

【外２１】 を分解低域フィルタとして該５タップフィルタを用いて
離散ウェーブレット変換を行う場合、同様に近傍の８つ
のマクロブロック内の入力信号の影響が離散ウェーブレ
ット変換係数に及ぶ。簡単のため水平方向の離散ウェー
ブレット変換のみを考えた場合、実際に水平方向に離散
ウェーブレット変換を施す信号は、

【００４６】

【外２２】 はイントラマクロブロックであるため、（１２）式に示
す各ブロックの直流値を減じたマクロブロックが変換符
号化を行う対象の信号である。さらに、インターマクロ
ブロックである左右のマクロブロック

【００４７】

【外２３】 での変換符号化を行う対象の信号は、（１１）および
（１３）式に示す予測差分マクロブロックとなる。この
予測差分マクロブロック

【００４８】

【外２４】 はそのマクロブロックの境界において明かに非連続であ
り、前記のインターマクロブロック同士で動きベクトル
が異る場合よりも、マクロブロックの境界においてさら
に大きな非連続な信号を生じることとなる。

【００４９】

【数６】 さらに、符号化対象マクロブロックがイントラマクロブ
ロックであり、同時にフィルタの実効タップ長内の該符
号化対象マクロブロック近傍のマクロブロックもすべて
イントラマクロブロックの場合、該符号化対象マクロブ
ロックの符号化効率は静止画像を符号化する場合とほぼ
同様な符号化効率が期待される。しかし実際には、動き
補償予測符号化でのイントラマクロブロックの符号化処
理は（２）式で示したように、該符号化対象マクロブロ
ック内の各ブロック（図１４、

【００５０】

【外２５】 の直流値（図１４、

【００５１】

【外２６】 を前もって伝送するため、隣接するマクロブロックとの
境界のみならず、該符号化対象マクロブロック内の４つ
の輝度信号ブロック同士の境界にも非連続が生じる。具
体的な例として、図１３および図１４のイントラマクロ
ブロック

【００５２】

【外２７】 内の左上のブロック

【００５３】

【外２８】 を符号化対象ブロックとして符号化する場合を例にと
る。実際に水平方向に離散ウェーブレット変換を施す信
号は（１４）〜（１８）式に示す５つの差分ブロックと
なる。符号化対象ブロックおよび該符号化対象ブロック
に隣接するブロック

【００５４】

【外２９】 は図１５（ａ）に示すように互いに連続する信号である
が、該ブロックのそれぞれの直流値である

【００５５】

【外３０】 は図１５（ｂ）に示すように明かに非連続な信号である
ため、（１４）〜（１８）式に示す５つの該差分ブロッ
クの境界には図１５（ｃ）に示すように非連続が生じ、
インターマクロブロック境界、インター・イントラマク
ロブロック境界と同様に、イントラマクロブロック境界
でもブロック歪みに起因する符号化効率の低下が生じ
る。

【００５６】

【数７】 なお、予測差分信号への離散ウェーブレット変換の際に
隣接８マクロブロックに影響が、すなわち水平方向のみ
の変換を考えた場合は左右の１マクロブロックずつに影
響が及ぶのは５タップの低域分解フィルタを用いた場合
であり、先に述べたように７タップの低域分解フィルタ
を用いた場合は実効タップ長が４３画素となるため、近
傍２４マクロブロックに影響が及ぶ。したがって、分解
フィルタのタップ長が長ければ長い程、その実効タップ
長内に含まれる不連続な信号（ブロック歪み）が多くな
り、符号化効率が低下することとなる。

【００５７】さらに、以上の例では分解低域フィルタ
（H_l(z)）のタップ長のみで実効タップ長を規定した
が、実際には、これとは独立に分解高域フィルタ（Ｈ
_h(z)）も存在する。分解高域フィルタは一般的に分解低
域フィルタより長いフィルタを用いることが多いため、
例えばＬＬＨ成分帯域内の変換係数を算出するための実
効タップ長はＬＬＬ成分帯域のそれと比較してさらに大
きな値となる可能性もある。

【００５８】

【発明が解決しようとする課題】イントラ符号化・イン
ター符号化をマクロブロックごとに選択的に切替えて動
き補償予測符号化を行い、動き補償による予測差分信号
に対し、離散ウェーブレット変換などの周波数帯域分割
や、隣接するマクロブロックに変換基底が及ぶ重複ブロ
ック直交変換あるいはその他の変換符号化を用いて符号
化する際に、イントラ符号化を行うあるマクロブロック
の予測値として、該マクロブロックの直流値もしくは該
マクロブロック内の各ブロックごとの直流値を用いた場
合、該マクロブロックの近傍のマクロブロックの符号化
形態によらず、予測差分信号が非連続な信号となる。重
複ブロック直交変換の変換基底長や離散ウェーブレット
変換の実効タップ長は、該符号化対象マクロブロック近
傍のマクロブロックに及ぶため、該非連続な信号を変換
符号化することとなり、符号化効率が低下する。

【００５９】ある符号化対象マクロブロックをインター
符号化する場合においても、ＯＢＭＣを利用することに
より隣接するインターマクロブロック間境界での予測差
分信号を比較的連続な信号に整形することが可能である
が、インターマクロブロック−イントラマクロブロック
境界での予測差分信号を整形することはできない。この
ため該近傍マクロブロックの中にイントラ符号化を行う
マクロブロックが一つでも存在する場合、予測画像内に
おいて該イントラマクロブロックに対応する位置の近傍
に非連続な信号が生じ、該符号化対象インターマクロブ
ロックの符号化効率が低下する。

【００６０】本発明の目的は、マクロブロックごとにイ
ントラ符号化・インター符号化を選択的に切替え、その
動き補償予測差分画像に対し、離散ウェーブレット変換
などのサブバンド分割、もしくは重複ブロック直交変換
などを施し、符号化する際に、上記問題点を解決し、イ
ントラマクロブロック・インターマクロブロックを選択
的に切替えた場合にも、イントラマクロブロック近傍で
生じる予測差分信号の非連続性を減少させ、離散ウェー
ブレット変換などのサブバンド分割符号化、もしくは重
複ブロック直交変換による符号化効率を改善する方法お
よび装置を提供することにある。

【００６１】

【課題を解決するための手段】本発明は、入力画像を符
号化するに当り、符号化対象画像をマクロブロックに分
割し、該マクロブロックごとにインター符号化するかあ
るいはイントラ符号化するかを選択的に切替え、予測画
像および予測差分画像を生成し、該予測差分画像に対し
離散ウェーブレット変換などのサブバンド分割を用いて
符号化するか、変換基底が隣接するマクロブロックにお
よぶ重複ブロック直交変換を用いて符号化するか、ある
いはその他の変換符号化を用いて符号化する動画像符号
化方法において、インター符号化されるマクロブロック
の参照マクロブロック内の画素の平均値およびイントラ
符号化されるマクロブロック内の画素の平均値より直流
値予測画像を生成し、符号化対象画像内のある符号化対
象マクロブロックをイントラ符号化するに当り、該直流
値予測画像内において該符号化対象マクロブロックに対
応する位置にあるマクロブロックを該符号化対象マクロ
ブロックの予測値として予測画像および予測差分画像を
生成することにより、該予測画像および該予測差分画像
内においてイントラ符号化を行うマクロブロックの近傍
の信号を比較的連続な信号に整形し符号化効率を改善す
る。

【００６２】具体的には、図１に示すように、符号化対
象画像を符号化対象矩形単位であるマクロブロックに分
割し、該符号化対象マクロブロックごとに動き予測を行
い参照相対位置を算出し、該符号化対象マクロブロック
ごとに、該符号化対象マクロブロックをイントラ符号化
するかインター符号化するかの符号化形態を選択し、該
符号化形態を符号化データとして出力（図１（ａ））す
る。

【００６３】インター符号化されるマクロブロックに関
しては、該マクロブロックの動きベクトルを符号化デー
タとして出力（図１（ｂ））し、参照画像内において該
動きベクトルにより指し示される参照マクロブロック
と、符号化対象マクロブロックの差分である、予測差分
ブロックは予測差分画像フレームメモリに蓄積（図１
（ｃ））される。同時に、該参照マクロブロック内の画
素の平均値が算出され、直流値メモリに蓄積（図１
（ｄ））される。

【００６４】イントラ符号化されるマクロブロックに関
しては、まず該イントラマクロブロックの平均値が算出
され、該平均値をインターマクロブロックの参照マクロ
ブロックの平均値と同様直流値メモリに蓄積（図１
（ｅ））される。

【００６５】直流値メモリにはイントラ符号化される符
号化対象マクロブロックの平均値と、インター符号化さ
れる符号化対象マクロブロックの参照マクロブロックの
平均値からなる縮小画像が蓄積されており、該縮小画像
を拡大することにより直流値予測画像を生成する。該縮
小画像を拡大する際には、符号化器・復号器で共通に用
いられる一般的な低域通過フィルタを施す。該一般的な
低域通過フィルタとしては逆離散ウェーブレット変換な
どのサブバンド合成フィルタが考えられる。あるいは該
縮小画像内の各該平均値を重複ブロック直交変換の最低
次係数として、逆重複ブロック直交変換を施す方法も考
えられる。

【００６６】そして、該直流値予測画像内において、イ
ントラ符号化するマクロブロックに対応する位置のマク
ロブロックを切りだし、該マクロブロックと符号化対象
マクロブロックの差分である予測差分ブロックを算出
し、予測差分画像フレームメモリに蓄積（図１（ｆ））
する。

【００６７】予測差分画像フレームメモリに蓄積された
該予測差分画像に対して、離散ウェーブレット変換など
のサブバンド合成フィルタを施すか、あるいは重複ブロ
ック直交変換を施すことにより、変換係数を算出し、該
変換係数を量子化、可変長符号化を行い符号化データと
して出力（図１（ｇ））する。

【００６８】なお、イントラマクロブロックの直流値
（平均値）としてマクロブロック内の平均値の代りとし
て、イントラマクロブロックをさらに細かい矩形単位に
分割し、各矩形単位ごとに平均値を算出し、符号化デー
タとして出力するようにしてもよい。

【００６９】また、イントラマクロブロックの直流値
（平均値）として用いた、マクロブロック内の平均値の
代りに、該マクロブロックの近傍の画素を含めた広い範
囲に低域通過フィルタを施すことで加重平均値を算出
し、該加重平均を前記直流値として用いてもよい。

【００７０】本発明の、上記動画像符号化方法を用いた
符号化データを復号する方法は、符号化形態を示す符号
を復号し、該符号化形態がイントラ符号化の場合には復
号マクロブロックの平均値を復号し、インター符号化の
場合には動きベクトルを復号し、参照マクロブロックの
平均値を算出し、すべてのマクロブロックについて算出
された、該復号マクロブロックの平均値あるいは該参照
マクロブロック内の平均値より直流値予測画像を生成
し、該符号化形態としてイントラ符号化が選択されてい
る場合、該直流値予測画像内において該復号マクロブロ
ックと同位置にあるマクロブロックを該復号マクロブロ
ックの予測値として復号する。

【００７１】具体的には、図２に示すように、まず符号
化データより各マクロブロックの符号化形態を示す符号
を復号（図２（ａ））し、該符号化形態がイントラ符号
化の場合にはイントラマクロブロックの平均値を復号
（図２（ｂ））し、インター符号化の場合には動きベク
トルを復号し（図２（ｃ））、参照マクロブロックの平
均値を算出する（図２（ｄ））。

【００７２】イントラマクロブロックの平均値および参
照マクロブロックの平均値に対し、符号化器と同様に逆
離散ウェーブレット変換などのサブバンド合成フィルタ
を施すか、あるいは逆重複ブロック直交変換を施すか、
あるいは低域通過フィルタを施すことにより、直流値予
測画像を生成（図２（ｅ））する。該直流値予測画像を
生成する処理は符号化器と同様な処理である。

【００７３】該直流値予測画像内においてイントラ符号
化するマクロブロックに対応するマクロブロックと、イ
ンター符号化するマクロブロックの参照マクロブロック
を、符号化データより復号された予測差分信号に加算す
ることにより復号画像を算出する。

【００７４】イントラマクロブロックの画素平均値とイ
ンターマクロブロックの参照マクロブロックの画素平均
値より直流値予測画像を生成し、該直流値予測画像内に
おいて該イントラマクロブロックに対応するマクロブロ
ックを該イントラマクロブロックの予測値として予測差
分画像を生成し、符号化することにより、予測画像信号
および予測差分画像信号を比較的連続した信号に整形
し、符号化効率を改善することが可能である。

【００７５】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。

【００７６】図３は、本発明の一実施形態の動画像符号
化方法による符号化器の構成図である。

【００７７】符号化器では、まず始めに符号化対象画像
１がブロック分割部２に入力され、符号化対象マクロブ
ロック３に分割される。符号化対象マクロブロック３は
フレームメモリ４に記録されている過去に符号化済みの
参照画像５とともに動き予測部６に入力され、各マクロ
ブロックごとに動きベクトル７を算出する。

【００７８】動きベクトル７は参照画像５とともに参照
ＭＢ切り出し部８に入力され、参照画像５内において符
号化対象マクロブロック１から動きベクトル７の相対位
置にあるマクロブロックを参照マクロブロック９として
切り出す。参照マクロブロック９は参照ＭＢ平均値算出
部１０に入力され、参照ＭＢ内の画素平均値１１を算出
し、選択器１２に出力する。これと並行して、符号化対
象マクロブロック３は符号化対象ＭＢ平均値算出部１３
に入力され、符号化対象ＭＢ内の画素平均値１４を算出
し、同様に選択器１２に出力する。

【００７９】符号化対象マクロブロック３と参照マクロ
ブロック９は符号化形態選択部１５に入力され、各符号
化対象マクロブロックごとにインター符号化を行うかイ
ントラ符号化を行うかを選択し、符号化形態１６を選択
器１２に出力する。

【００８０】選択器１２では入力された符号化形態１６
に従い、符号化形態１６がイントラ符号化である場合に
は符号化対象ＭＢ内の画素平均値１４を選択し、インタ
ー符号化である場合には参照ＭＢ内の画素平均値１１を
選択し、選択された平均値を直流値メモリ１７に出力す
る。

【００８１】直流値メモリ１７には参照ＭＢ内に画素平
均値１１あるいは符号化対象ＭＢ内の画素平均値１４に
より生成された縮小画像１８が記録されており、これを
直流値予測画像生成部１９に出力する。直流値予測画像
生成部１９では、逆変換部２０と同様に周波数帯域合
成、あるいは逆重複ブロック直交変換を縮小画像１８に
施すか、あるいは符号化器・復号器で前もって決定され
ている一般的な低域通過フィルタを施すなどして直流値
予測画像２１を生成し、直流値予測ＭＢ切り出し部２２
に出力する。直流値予測ＭＢ切り出し部２２では直流値
予測画像２１内において符号化対象マクロブロックの場
所にある直流値予測ブロック２３を切り出し、選択器２
４に出力する。選択器２４では符号化形態１６にしたが
い、イントラ符号化されるマクロブロックに関しては直
流値予測ブロック２３を選択し、インター符号化される
マクロブロックに関しては該マクロブロックに対応する
参照マクロブロック９を選択し、選択されたマクロブロ
ックを予測画像フレームメモリ２５に出力する。予測画
像フレームメモリ２５に蓄えられた予測画像２６は減算
器２７に入力され、ここで符号化対象画像１より予測画
像２６を減算し、予測差分画像２８を生成する。

【００８２】予測差分画像２８は変換部２９に入力さ
れ、ここで離散ウェーブレット変換などのサブバンド分
割や、もしくは予測差分画像２８を変換単位に分割し重
複ブロック直交変換を施すことにより変換係数３０を出
力する。変換係数３０は量子化部３１にて量子化され量
子化後係数３２として係数符号化部３３に出力される。
そして、量子化後係数３２は係数符号化部３３にてエン
トロピー符号化され、出力係数データ３４として多重化
部３５に出力される。

【００８３】また、量子化後係数３２は逆量子化部３６
に入力され、量子化部３１で用いた量子化方法に対応す
る逆量子化方法を用いて逆量子化され、逆量子化後係数
３７を生成し逆変換部２０に出力される。逆変換部２０
では、変換部２９においてサブバンド分割を用いて周波
数帯域分割をした場合にはサブバンド合成フィルタを施
して周波数帯域合成を行ない、ＬＯＴのような重複ブロ
ック直交変換を用いて符号化した場合には各該変換単位
ごとに該重複ブロック直交変換に対応する逆重複ブロッ
ク直交変換を施すことにより復号予測誤差３８を算出
し、これを加算器３９にて予測画像２６に加算すること
により局部復号画像４０を算出し、これをフレームメモ
リ４に蓄積する。

【００８４】また、符号化対象ＭＢ内の画素平均値１
４、動きベクトル７、および符号化形態１６は復号器に
おける復号処理に必要であるため、多重化部３５に出力
される。

【００８５】多重化部３５では、各マクロブロックごと
に、符号化対象マクロブロックの符号化形態１６がイン
ターマクロブロックである時はインター符号化を示す符
号と動きベクトル７を、イントラマクロブロックである
時はイントラ符号化を示す符号と符号化対象ＭＢ内の画
素平均値１４を多重化し、さらにこれと出力係数データ
３４を多重化して符号化データ４１を出力する。

【００８６】図４は、本発明の一実施形態の動画像復号
方法による復号器の構成図である。

【００８７】復号器では、まず始めに符号化データ４１
が分離部５１に入力され、係数データ５２、符号化形態
データ５３、イントラ平均値データ５４、動きベクトル
データ５５に分離される。

【００８８】係数データ５２は係数復号部５６に入力さ
れ、Ｒｕｎ−Ｌｅｎｇｔｈ復号、Ｒｕｎ−Ｌｅｖｅｌ復
号などの可変長復号を行い、量子化後変換係数５７が出
力される。量子化後変換係数５７は逆量子化部５８に入
力され、符号化器における逆量子化部３６と同様な処理
で逆量子化を行い変換係数５９を出力する。逆変換部６
０では入力された変換係数５９に対し、符号化器におけ
る逆変換部２０で行われた逆変換と同様な処理が行わ
れ、予測差分画像６１が出力される。

【００８９】符号化形態データ５３は符号化形態復号部
６２にて復号され、符号化形態６３が出力される。符号
化形態６３がイントラ符号化の場合は、イントラ平均値
復号部６４においてイントラ平均値データ５４が復号さ
れ、イントラＭＢ平均値６５が選択器６６に出力され
る。同様に、符号化形態６３がインター符号化の場合
は、動きベクトル復号部６７において動きベクトルデー
タ５５が復号され、動きベクトル６８が参照ＭＢ切り出
し部６９に出力される。参照ＭＢ切り出し部６９では、
既に復号済みの過去のフレームを蓄積しているフレーム
メモリ７０より参照画像７１が入力され、参照画像７１
内において動きベクトル６８の相対位置のマクロブロッ
クを参照マクロブロック７２として参照ＭＢ平均値算出
部７３に出力する。参照ＭＢ平均値算出部７３は符号化
器の参照ＭＢ平均値算出部１０と同じ構成を持つ回路で
あり、参照ＭＢ内の画素平均値７４を同様に選択器６６
に出力する。

【００９０】選択器６６では入力された符号化形態６３
に従い、符号化形態６３がイントラ符号化である場合に
はイントラＭＢ平均値６５を選択し、インター符号化で
ある場合には参照ＭＢ内の画素平均値７４を選択し、選
択された平均値を直流値メモリ７５に出力する。

【００９１】直流値メモリ７５には参照ＭＢ内の画素平
均値７４あるいはイントラ平均値６５により生成された
縮小画像７６が記録されており、これを直流値予測画像
生成部７７に出力する。直流値予測画像生成部７７は符
号化器における直流値予測画像生成部１９と同様な処理
を行う回路であり、縮小画像７６に対して逆変換部６０
と同様の変換を施すかあるいは符号化器で用いた低域通
過フィルタと同じフィルタを用いて直流値予測画像７８
を生成し、直流値予測ＭＢ切り出し部７９に出力する。
直流値予測ＭＢ切り出し部７９では直流値予測画像７８
内において符号化対象マクロブロックの場所にある直流
値予測ブロック８０を切り出し、選択器８１に出力す
る。選択器８１では符号化形態６３にしたがい、イント
ラ符号化されるマクロブロックに関しては直流値予測ブ
ロック８０を選択し、インター符号化されるマクロブロ
ックに関しては該マクロブロックに対応する参照マクロ
ブロック７２を選択し、選択されたマクロブロックを予
測画像フレームメモリ８２に出力する。

【００９２】予測画像フレームメモリに蓄積された予測
画像８３は加算器８４に入力され、ここで予測差分画像
６１に加算され、復号画像８５を出力する。なお、復号
画像８５は次のフレーム以降の復号に必要であるため、
フレームメモリ７０に出力され、蓄積される。

【００９３】図５は本発明の他の実施形態の符号化器の
構成図で、パソコン等のコンピュータ上で実施するもの
である。

【００９４】入力装置９１は符号化対象画像１を入力す
るための入力装置である。記憶装置９２は図３中のフレ
ームメモリ４、直流値メモリ１７、予測画像フレームメ
モリ２５に相当する。記憶装置９３はハードディスクで
ある。送信装置９４は符号化データ４１を復号器に送信
する。記録媒体９５は図３中の各部の処理からなる動画
像符号化プログラムを記録した、フロッピィ・ディス
ク、ＣＤ−ＲＯＭ、光磁気ディスク等の記録媒体であ
る。データ処理装置９６は記録媒体９５から動画像符号
化プログラムを読み込んで、これを実行するＣＰＵであ
る。

【００９５】図６は本発明の他の実施形態の復号器の構
成図で、パソコン等のコンピュータ上で実施するもので
ある。

【００９６】受信装置１０１は送信装置９４から送信さ
れた符号化データ４１を受信する受信装置である。記憶
装置１０２は図４中のフレームメモリ７０、直流値メモ
リ７５、予測画像フレームメモリ８２に相当する。記憶
装置１０３はハードディスクである。出力装置１０４は
復号画像８５を表示するディスプレイである。記録媒体
１０５は図４中の各部の処理からなる動画像復号プログ
ラムを記録した、フロッピィ・ディスク、ＣＤ−ＲＯ
Ｍ、光磁気ディスク等の記録媒体である。データ処理装
置１０６は記録媒体１０５から動画像復号プログラムを
読み込んで、これを実行するＣＰＵである。

【００９７】

【発明の効果】以上説明したように、本発明によれば、
符号化対象矩形単位をインター符号化、あるいはイント
ラ符号化として選択的に切替えて符号化するにあたり、
イントラマクロブロック近傍で生じる予測画像および予
測差分信号の非連続性を減少させ、離散ウェーブレット
変換などのサブバンド分割符号化、もしくは重複ブロッ
ク直交変換による符号化効率を改善することができる。

【図面の簡単な説明】

【図１】本発明の動画像符号化方法の原理を説明する図
である。

【図２】本発明の動画像復号方法の原理を説明する図で
ある。

【図３】本発明の一実施形態の動画像符号化器の構成図
である。

【図４】本発明の一実施形態の動画像復号器の構成図で
ある。

【図５】本発明の他の実施形態の動画像符号化器の構成
図である。

【図６】本発明の他の実施形態の動画像復号器の構成図
である。

【図７】予測差分マクロブロックにＤＣＴを施す場合の
マクロブロックの分割の説明図である。

【図８】離散ウェーブレット変換の説明図である。

【図９】画像のオクターブ分割を示す図である。

【図１０】分解および合成フィルタ係数の相互関係を示
す図である。

【図１１】一次元入力信号（Ｐ_n）の周波数帯域分割例
を示す図である。

【図１２】重複ブロック直交変換を示す図である。

【図１３】インターマクロブロックを示す図である。

【図１４】符号化対象ブロックおよび隣接するマクロブ
ロックの輝度信号の分割例を示す図である。

【図１５】符号化対象ブロックおよび隣接するブロック
の入力信号、直流値、予測差分信号を示す図である。

【符号の説明】

１ 符号化対象画像 ２ ブロック分割部 ３ 符号化対象マクロブロック ４ フレームメモリ ５ 参照画像 ６ 動き予測部 ７ 動きベクトル ８ 参照ＭＢ切り出し部 ９ 参照マクロブロック １０ 参照ＭＢ平均値算出部 １１ 参照ＭＢ内の画像平均値 １２ 選択器 １３ 符号化対象ＭＢ平均値算出部 １４ 符号化対象ＭＢ内の画素平均値 １５ 符号化形態選択部 １６ 符号化形態 １７ 直流値メモリ １８ 縮小画像 １９ 直流値予測画像生成部 ２０ 逆変換部 ２１ 直流値予測画像 ２２ 直流値予測ＭＢ切り出し部 ２３ 直流値予測ブロック ２４ 選択器 ２５ 予測画像フレームメモリ ２６ 予測画像 ２７ 減算器 ２８ 予測差分画像 ２９ 変換部 ３０ 変換係数 ３１ 量子化部 ３２ 量子化後係数 ３３ 係数符号化部 ３４ 出力係数データ ３５ 多重化部 ３６ 逆量子化部 ３７ 逆量子化後係数 ３８ 復号予測誤差 ３９ 加算器 ４０ 局部復号画像 ４１ 符号化データ ５１ 分離部 ５２ 係数データ ５３ 符号化形態データ ５４ イントラ平均値データ ５５ 動きベクトルデータ ５６ 係数復号部 ５７ 量子化後変換係数 ５８ 逆量子化部 ５９ 変換係数 ６０ 逆変換部 ６１ 予測差分画像 ６２ 符号化形態復号部 ６３ 符号化形態 ６４ イントラ平均値復号部 ６５ イントラＭＢ平均値 ６６ 選択器 ６７ 動きベクトル復号部 ６８ 動きベクトル ６９ 参照ＭＢ切り出し部 ７０ フレームメモリ ７１ 参照画像 ７２ 参照マクロブロック ７３ 平均値算出部 ７４ 参照ＭＢ内の画素平均値 ７５ 直流値メモリ ７６ 縮小画像 ７７ 直流値予測画像生成部 ７８ 直流値予測画像 ７９ 直流値予測ＭＢ切り出し部 ８０ 直流値予測ブロック ８１ 選択器 ８２ 予測画像フレームメモリ ８３ 予測画像 ８４ 加算器 ８５ 復号画像 ９１ 入力装置 ９２，９３ 記憶装置 ９４ 送信装置 ９５ 記録媒体 ９６ データ処理装置 １０１ 受信装置 １０２，１０３ 記憶装置 １０４ 出力装置 １０５ 記録媒体 １０６ データ処理装置

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 MA03 MA04 MA24 MC11 MC38 ME01 ME05 PP04 PP25 PP26 RB01 SS06 SS20 SS26 TA18 TB07 TC12 TC33 TD03 UA02 UA05 5J064 AA02 BA09 BA16 BB03 BB13 BC01 BC11 BD03

Claims (14)

【特許請求の範囲】
1. 【請求項１】 入力画像信号を符号化するに当り、符号
   化対象画像を矩形単位に分割し、該矩形単位ごとに動き
   予測を行うことで参照相対位置を算出するステップと、 イントラ符号化を行う符号化対象矩形単位について、該
   符号化対象矩形単位内の画素の平均値を算出し、該平均
   値を符号化データとして出力するステップと、 インター符号化を行う符号化対象矩形単位について、該
   参照矩形単位内の画素の平均値を算出し、該参照相対位
   置を符号化データとして出力するステップと、 ある該矩形単位を符号化対象矩形単位として符号化する
   にあたり、算出された該参照相対位置に存在する矩形単
   位である参照矩形単位を予測値として予測符号化、すな
   わちインター符号化するか、あるいは予測符号化を行わ
   ず該符号化対象矩形単位を直接符号化、すなわちイント
   ラ符号化するかの、符号化対象矩形単位の符号化形態を
   選択的に切替えて符号化するステップと、 該選択された符号化形態を示す符号を符号化データとし
   て出力するステップと、 すべての符号化対象矩形単位
   について算出された、該符号化対象矩形単位の平均値あ
   るいは該参照矩形単位内の平均値より、該符号化対象画
   像の縮小画像を生成するステップと、 該縮小画像を拡大して直流値予測画像を生成するステッ
   プと、 予測画像を生成するにあたり、符号化形態としてイント
   ラ符号化が選択されている符号化対象矩形単位の予測値
   として、該直流値予測画像内において該符号化対象矩形
   単位と同位置にある矩形単位をとり出すステップと、 該符号化対象画像と該直流値予測画像との差分信号を予
   測差分画像として変換符号化し、符号化データとして出
   力するステップを有する動画像符号化方法。
2. 【請求項２】 予測差分画像を変換符号化する際に、該
   予測差分画像に対し指定された回数サブバンド分割を繰
   り返すことで帯域分割を行い、また、該縮小画像を拡大
   して直流値予測画像を生成する際に、サブバンド符号化
   の低域合成フィルタを前記指定された回数繰り返し施す
   ことで周波数帯域合成を行い、直流値予測画像を生成す
   る、請求項１記載の符号化方法。
3. 【請求項３】 予測差分画像を変換符号化する際に、該
   予測差分画像を矩形単位に分割し、各矩形単位を中心
   に、変換基底が隣接する符号化対象矩形単位に及ぶ重複
   ブロック直交変換を用いて符号化し、また、該縮小画像
   を拡大して直流値予測画像を生成する際に、該平均値を
   各逆変換係数の最低次係数として該重複ブロック直交変
   換に対応する逆重複ブロック直交変換を施すことにより
   直流値予測画像を生成する、請求項１記載の動画像符号
   化方法。
4. 【請求項４】 イントラ符号化を行う符号化対象矩形単
   位について、該符号化対象矩形単位内の画素の平均値を
   算出し該平均値を符号化データとして出力する際に、該
   符号化対象矩形単位を更に小さい矩形単位に再分割し、
   各小さい矩形単位ごとに平均値を算出し、それぞれ符号
   化データとして出力する、請求項１から３のいずれかに
   記載の動画像符号化方法。
5. 【請求項５】 ある符号化対象矩形単位をイントラとし
   て符号化するにあたり、該符号化対象矩形単位内の画素
   の平均値として該符号化対象矩形単位内および近傍の画
   素に対し加重平均を算出し、該加重平均値を該符号化対
   象矩形単位の平均値として符号化データとして出力す
   る、請求項１から４のいずれかに記載の動画像符号化方
   法。
6. 【請求項６】 請求項１から請求項５のいずれか１項に
   記載の動画像符号化方法で符号化されたデータを復号す
   る方法であって、 符号化形態を示す符号を復号するステップと、 復号された該符号化形態がイントラ符号化である場合に
   は復号矩形単位の平均値を復号するステップと、 復号された符号化形態がインター符号化である場合には
   参照相対位置を示す復号するステップと、 該参照画像内において該参照相対位置に存在する参照矩
   形単位を取り出すステップと、 該参照矩形単位の平均値を算出するステップと、 すべての矩形単位について算出された、該復号矩形単位
   の平均値あるいは該参照矩形単位内の平均値からなる縮
   小画像に対し、サブバンド分割を用いて符号化されてい
   る場合には、低域の合成フィルタを前記指定された回数
   繰り返し施すことで周波数帯域合成を行うことで直流値
   予測画像を生成し、あるいは重複ブロック直交変換を用
   いて符号化されている場合には、該平均値を各逆変換係
   数の最低次係数として該重複ブロック直交変換に対応す
   る逆重複ブロック直交変換を施すことにより直流値予測
   画像を生成し、あるいは前記符号化方法において直流値
   予測画像を生成する際に用いた方法と同じ方法を用いて
   直流値予測画像を生成するステップと、 予測画像を生成するにあたり、該符号化形態としてイン
   トラ符号化が選択されている復号矩形単位の予測値とし
   て、該直流値予測画像内において該復号矩形単位と同位
   置にある矩形単位をとり出すステップを有することを特
   徴とする動画像復号方法。
7. 【請求項７】 入力画像信号を符号化するに当り、符号
   化対象画像を矩形単位に分割し、該矩形単位ごとに動き
   予測を行うことで参照相対位置を算出し、ある該矩形単
   位を符号化対象矩形単位として符号化するにあたり、算
   出された該参照相対位置に存在する矩形単位である参照
   矩形単位を予測値として予測符号化、すなわちインター
   符号化するか、あるいは予測符号化を行わず該符号化対
   象矩形単位を直接符号化、すなわちイントラ符号化する
   かの、符号化対象矩形単位の符号化形態を選択的に切替
   えて、該選択された符号化形態を示す符号を符号化デー
   タとして出力し、符号化対象矩形単位ごとに選択された
   該符号化形態および、該参照矩形単位を元に予測画像お
   よび予測差分画像を生成し、サブバンド符号化を行う場
   合には該予測差分画像に対し指定された回数サブバンド
   分割を繰り返すことで帯域分割を行い、あるいは、変換
   基底が隣接する符号化対象矩形単位に及ぶ重複ブロック
   直交変換を用いて符号化する場合には、該予測差分画像
   を矩形単位に分割し、各矩形単位を中心に重複ブロック
   直交変換を行う動画像符号化装置において、 イントラ符号化を行う符号化対象矩形単位について、該
   符号化対象矩形単位内の画素の平均値を算出し、該平均
   値を符号化データとして出力する手段と、 インター符号化を行う符号化対象矩形単位について、該
   参照矩形単位内の画素の平均値を算出し、該参照相対位
   置を符号化データとして出力する手段と、 すべての符号化対象矩形単位について算出された、該符
   号化対象矩形単位の平均値あるいは該参照矩形単位内の
   平均値より、該符号化対象画像の縮小画像を生成する手
   段と、 サブバンド分割を用いて符号化した場合には、該縮小画
   像に対して低域の合成フィルタを前記指定された回数を
   繰り返し施すことで周波数帯域合成を行い、直流値予測
   画像を生成するか、あるいは重複ブロック直交変換を用
   いて符号化した場合には、該平均値を各逆変換係数の最
   低次係数として該重複ブロック直交変換に対応する逆重
   複ブロック直交変換を施すことにより直流値予測画像を
   生成するか、あるいは該縮小画像に低域通過フィルタを
   施すことで直流値予測画像を生成する手段と、 予測画像を生成するにあたり、符号化形態としてイント
   ラ符号化が選択されている符号化対象矩形単位の予測値
   として、該直流値予測画像内において該符号化対象矩形
   単位と同位置にある矩形単位をとり出す手段を有するこ
   とを特徴とする動画像符号化装置。
8. 【請求項８】 請求項７に記載の動画像符号化装置で符
   号化されたデータを復号する装置であって、 符号化形態を示す符号を復号する復号手段と、 復号された該符号化形態がイントラ符号化である場合に
   は、復号矩形単位の平均値を復号する復号手段と、 復号された符号化形態がインター符号化である場合には
   参照相対位置を示す符号を復号する復号手段と、 該参照画像内において該参照相対位置に存在する参照矩
   形単位を取り出す手段と、 該参照矩形単位の平均値を算出する手段と、 すべての矩形単位について算出された、該復号矩形単位
   の平均値あるいは該参照矩形単位内の平均値に対し、サ
   ブバンド分割を用いて符号化されている場合には、低域
   の合成フィルタを前記指定された回数繰り返し施すこと
   で周波数帯域合成を行うことで直流値予測画像を生成
   し、あるいは重複ブロック直交変換を用いて符号化され
   ている場合には、該平均値を各逆変換係数の最低次係数
   として該重複ブロック直交変換に対応する逆重複ブロッ
   ク直交変換を施すことにより直流値予測画像を生成し、
   あるいは前記符号化装置において直流値予測画像を生成
   する際に用いた方法と同じ方法を用いて直流値予測画像
   を生成する手段と、 予測画像を生成するにあたり、該符号化形態としてイン
   トラ符号化が選択されている復号矩形単位の予測値とし
   て、該直流値予測画像内において該復号矩形単位と同位
   置にある矩形単位をとり出す手段を有する動画像復号装
   置。
9. 【請求項９】 入力画像信号を符号化するに当り、符号
   化対象画像を矩形単位に分割し、該矩形単位ごとに動き
   予測を行うことで参照相対位置を算出する手順と、 イントラ符号化を行う符号化対象矩形単位について、該
   符号化対象矩形単位内の画素の平均値を算出し、該平均
   値を符号化データとして出力する手順と、 インター符号化を行う符号化対象矩形単位について、該
   参照矩形単位内の画素の平均値を算出し、該参照相対位
   置を符号化データとして出力する手順と、 ある該矩形単位を符号化対象矩形単位として符号化する
   にあたり、算出された該参照相対位置に存在する矩形単
   位である参照矩形単位を予測値として予測符号化、すな
   わちインター符号化するか、あるいは予測符号化を行わ
   ず該符号化対象矩形単位を直接符号化、すなわちイント
   ラ符号化するかの、符号化対象矩形単位の符号化形態を
   選択的に切替えて符号化する手順と、 該選択された符号化形態を示す符号を符号化データとし
   て出力する手順と、 すべての符号化対象矩形単位について算出された、該符
   号化対象矩形単位の平均値あるいは該参照矩形単位内の
   平均値より、該符号化対象画像の縮小画像を生成する手
   順と、 該縮小画像を拡大して直流値予測画像を生成する手順
   と、 予測画像を生成するにあたり、符号化形態としてイント
   ラ符号化が選択されている符号化対象矩形単位の予測値
   として、該直流値予測画像内において該符号化対象矩形
   単位と同位置にある矩形単位をとり出す手順を 該符号化対象画像と該直流値予測画像との差分信号を予
   測差分画像として変換符号化し、符号化データとして出
   力する手順をコンピュータに実行させるための動画像符
   号化プログラムを記録した記録媒体。
10. 【請求項１０】 予測差分画像を変換符号化する際に、
    該予測差分画像に対し指定された回数サブバンド分割を
    繰り返すことで帯域分割を行い、また、該縮小画像を拡
    大して直流値予測画像を生成する際に、サブバンド符号
    化の低域合成フィルタを前記指定された回数繰り返し施
    すことで周波数帯域合成を行い、直流値予測画像を生成
    する、請求項９記載の記録媒体。
11. 【請求項１１】 予測差分画像を変換符号化する際に、
    該予測差分画像を矩形単位に分割し、各矩形単位を中心
    に、変換基底が隣接する符号化対象矩形単位に及ぶ重複
    ブロック直交変換を用いて符号化し、また、該縮小画像
    を拡大して直流値予測画像を生成する際に、該平均値を
    各逆変換係数の最低次係数として該重複ブロック直交変
    換に対応する逆重複ブロック直交変換を施すことにより
    直流値予測画像を生成する、請求項９記載の記録媒体。
12. 【請求項１２】 イントラ符号化を行う符号化対象矩形
    単位について、該符号化対象矩形単位内の画素の平均値
    を算出し該平均値を符号化データとして出力する際に、
    該符号化対象矩形単位を更に小さい矩形単位に再分割
    し、各小さい矩形単位ごとに平均値を算出し、それぞれ
    符号化データとして出力する、請求項９から１１のいず
    れかに記載の記録媒体。
13. 【請求項１３】 ある符号化対象矩形単位をイントラと
    して符号化するにあたり、該符号化対象矩形単位内の画
    素の平均値として該符号化対象矩形単位内および近傍の
    画素に対し加重平均を算出し、該加重平均値を該符号化
    対象矩形単位の平均値として符号化データとして出力す
    る、請求項９から１２のいずれかに記載の記録媒体。
14. 【請求項１４】 請求項９から請求項１３のいずれか１
    項に記載の動画像符号化プログラムで符号化されたデー
    タを復号する動画像復号プログラムであって、 符号化形態を示す符号を復号する手順と、 復号された該符号化形態がイントラ符号化である場合に
    は復号矩形単位の平均値を復号する手順と、 復号された符号化形態がインター符号化である場合には
    参照相対位置を示す復号する手順と、 該参照画像内において該参照相対位置に存在する参照矩
    形単位を取り出す手順と、 該参照矩形単位の平均値を算出する手順と、 すべての矩形単位について算出された、該復号矩形単位
    の平均値あるいは該参照矩形単位内の平均値からなる縮
    小画像に対し、サブバンド分割を用いて符号化されてい
    る場合には、低域の合成フィルタを前記指定された回数
    繰り返し施すことで周波数帯域合成を行うことで直流値
    予測画像を生成し、あるいは重複ブロック直交変換を用
    いて符号化されている場合には、該平均値を各逆変換係
    数の最低次係数として該重複ブロック直交変換に対応す
    る逆重複ブロック直交変換を施すことにより直流値予測
    画像を生成し、あるいは前記符号化プログラムにおいて
    直流値予測画像を生成する際に用いた方法と同じ方法を
    用いて直流値予測画像を生成する手順と、 予測画像を生成するにあたり、該符号化形態としてイン
    トラ符号化が選択されている復号矩形単位の予測値とし
    て、該直流値予測画像内において該復号矩形単位と同位
    置にある矩形単位をとり出す手順をコンピュータに実行
    させるための動画像復号プログラムを記録した記録媒
    体。