JP2000295622A

JP2000295622A - 動画像符号化方法、動画像符号化装置、動画像復号方法、動画像復号装置及びそれらのプログラムを記憶した記憶媒体

Info

Publication number: JP2000295622A
Application number: JP9569999A
Authority: JP
Inventors: Atsushi Sagata; 淳嵯峨田; Yoshiyuki Yashima; 由幸八島; Junichi Nakajima; 淳一中嶋
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1999-04-02
Filing date: 1999-04-02
Publication date: 2000-10-20

Abstract

(57)【要約】【課題】動画像をウェーブレット変換し動き補償予測
符号化する際に、各周波数帯域間での動き予測の画素精
度を向上させ、予測効率を改善する。【解決手段】ウェーブレット変換部２で動画像を変換
し変換係数を算出する。該変換係数中の符号化対象周波
数帯域をブロック分割部４にてブロック分割する。動き
予測部１２は、符号化対象ブロックが属する符号化対象
周波数帯域と同位置の参照フレーム変換係数内の周波数
帯域のみならず該符号化対象周波数帯域と同じ垂直又は
水平又は対角方向に位置する周波数帯域群と同位置の参
照フレーム変換係数内の周波数帯域群も参照周波数帯域
として、複数の参照周波数帯域ごとに動き予測を行う。
その内で最適な動きベクトルを選択部１４で選択して動
き補償を行う。多重化部３３は、変換係数及び参照周波
数帯域を示す符号を多重した動きベクトルの各符号化デ
ータを多重化して符号化データを生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像符号化方法
及び動画像符号化装置並びに、動画像復号方法及び動画
像復号装置並びに、それらのプログラムを記憶した記憶
媒体に関するものである。

【０００２】

【従来の技術】画像圧縮符号化において、画素間の相関
を取り除く為に離散ウェーブレット変換が用いられてい
る。離散ウェーブレット変換は、階層的なサブバンド分
割と同様に、画像を解像度の異なる周波数帯域成分に分
解する。分解された変換係数の総数は原画像の画素数と
同じであるが、一般的に、より低い周波数成分に信号エ
ネルギーが集中したものになる。

【０００３】ウェーブレット変換係数は、１次元のフィ
ルタバンクとサブサンプリング処理によって求められ
る。図７（ａ）に示すように、画像Ｘ（ｚ）の水平方向
について低域フィルタＨ_l（ｚ）、及び高域フィルタＨ_h
（ｚ）の出力を求め、その出力を１／２（↓２）に間引
く。さらに、同様の処理を垂直方向に適用することによ
り、４成分ＬＬ₁，ＬＨ₁，ＨＬ₁，ＨＨ₁に分解する。こ
の内、もっとも低い周波数成分ＬＬ₁をＬＬ₂，ＬＨ₂，
ＨＬ₂，ＨＨ₂に再分解する。この処理を必要なレベル数
繰り返すことにより、図８（ａ），（ｂ），（ｃ）に示
す画像のオクターブ分割を求めることができる。

【０００４】再生過程においては、図７（ｂ）に示すよ
うに、帯域成分ＬＬ_i+1，ＬＨ_i+1の垂直方向の各係数間
にゼロ値を挿入（↑２）し、その垂直方向にそれぞれ合
成フィルタＦ_l（ｚ）、Ｆ_h（ｚ）をかけ、それらの出力
の和を求める。同様の処理を水平方向にＨＬ_i+1，ＨＨ
_i+1成分に行う。すなわち得られた２成分に、水平方向
に同様のフィルタ処理を行うことによりＬＬ_i成分が合
成される。この合成処理を必要なレベル数だけ繰り返す
ことにより、画像の再生値が得られる。画像が完全再構
成されるためには、分解・合成フィルタは次の条件を満
たしていなければならない。

【０００５】Ｈ_l（ｚ）Ｈ_h（−ｚ）＋Ｈ_l（−ｚ）Ｈ_h（ｚ）＝ｃ …（１）Ｆ_l（ｚ）＝（２／ｃ）Ｈ_h（−ｚ） …（２）Ｆ_h（ｚ）＝（２／ｃ）Ｈ_l（−ｚ） …（３）ここにおいて、分解・合成フィルタのタップ長は奇数で
あり、ｃは任意の定数である。該分解及び合成フィルタ
係数の相互関係を図９（ａ），（ｂ）に示す。

【０００６】図１０に、一次元入力信号に対して、図７
及び図９に示すウェーブレット周波数帯域分割処理を、
再帰的に三回行い、該一次元入力信号を四つの周波数帯
域に周波数帯域分割した場合における、各周波数帯域内
の変換係数のサンプリングポイントを示す。

【０００７】一次元入力信号はウェーブレット変換を一
回行う事により、Ｈ成分とＬ成分に分解される。この
時、○内に↓で表す記号は二係数に一つを間引くダウン
サンプル処理を示す。そして、該変換及び該ダウンサン
プル処理を、生成された該Ｌ成分帯域に対して同様に行
う事により、ＬＨ及びＬＬ成分帯域を生成する。更に、
同様の処理をＬＬ成分帯域に対して繰り返す事により、
ＬＬＨ及びＬＬＬ成分帯域を生成する。一般的にはこれ
らのウェーブレット変換係数は、図１０下図に示すよう
に、各周波数帯域ごとに、ＬＬＬ帯域内の変換係数Ｃ₀
^LLL，Ｃ₁ ^LLL，Ｃ₂ ^L ^LL、ＬＬＨ帯域内の変換係数
Ｃ₀ ^LLH，Ｃ₁ ^LLH，Ｃ₂ ^LLH、ＬＨ帯域内の変換係数Ｃ ₀ ^LH
〜Ｃ₅ ^LH、そして、Ｈ帯域内の変換係数Ｃ₀ ^H〜Ｃ₁₁ ^H、に
まとめられる。

【０００８】図１０より、ウェーブレット変換係数Ｃ
^LLL，Ｃ^LLH，Ｃ^LH，Ｃ^Hはそれぞれ異なるサンプリング
ポイントでサンプリングされている事が判る。具体的に
は、最低周波数帯域ＬＬＬ内の係数Ｃ_P ^LLL（ｐ≧０，ｐ
∈整数）のサンプリングポイントは、式（４）に示すよ
うに、Ｐ_8pとなる。同様に、高周波帯域ＬＬＨ，ＬＨ，
Ｈにおけるサンプリングポイントは、式（５）〜（７）
に示すような一次元入力信号に対する画素位置となる。
ここにおいて、ＳＰ（）は、前記一次元入力信号におけ
るサンプリングポイント位置を算出する関数、Ｐ_qは図
１０に示す通り、該一次元入力信号のｑ番目の標本化画
素位置を示す。

【０００９】ＳＰ（Ｃ_P ^LLL）＝Ｐ_8p …（４）ＳＰ（Ｃ_P ^LLH）＝Ｐ_8p+4 …（５）ＳＰ（Ｃ_P ^LH）＝Ｐ_4p+2 …（６）ＳＰ（Ｃ_P ^H）＝Ｐ_2p+1 …（７）更に、図１０に示した一次元入力信号のサンプリングポ
イントを二次元入力信号に拡張したのが、図１１であ
る。図１１（ａ）は、二次元入力信号に対するウェーブ
レット変換係数例、図１１（ｂ）は、図１１（ａ）内の
各変換係数が、前記二次元入力信号において、どの画素
位置をウェーブレットフィルタの中心位置として算出さ
れた変換係数であるかを図示したものである。ウェーブ
レット周波数帯域レベルが１である周波数帯域内の変換
係数を黒の三角、レベルが２である周波数帯域内の変換
係数をグレーの三角、レベルが３である高次周波数帯域
内の変換係数を斜線の三角、そして、レベルが３である
最低周波数帯域内の変換係数を白丸で示している。同様
に、右向きの三角は各ＨＬ_m周波数帯域内の、下向きの
三角は各ＬＨ_m周波数帯域内の、右下向きの三角は各Ｈ
Ｈ_m周波数帯域内の変換係数及びそのサンプリングポイ
ントを示している。

【００１０】図１１（ｂ）は、図１０を二次元に拡張し
た形になっており、結果として、各周波数帯域内のウェ
ーブレット変換係数の前記入力二次元信号に対するサン
プリングポイント位置は、表１に示す値となる事が判
る。ここにおいて、ｉ及びｊは任意の０以上の整数であ
る。

【００１１】

【表１】

【００１２】入力画像信号に水平・垂直ウェーブレット
変換を施して得られたウェーブレット変換係数は量子化
され符号化される。一般的に同レベルの高周波数帯域
（ＨＬ _m，ＬＨ_m，ＨＨ_m、ｍ∈自然数）内の変換係数を
同じ量子化ステップで量子化を行い、量子化後のウェー
ブレット変換係数をＲｕｎ−Ｌｅｎｇｔｈ符号化、Ｒｕ
ｎ−Ｌｅｖｅｌ符号化などを用いて可変長符号化し発生
符号量を低減する。この時、最低周波数帯域ＬＬを除く
他の高周波数帯域内のウェーブレット変換係数値は、０
近傍に集中するラプラス分布で近似可能なため、後述の
ゼロツリー符号化の効率改善を考慮し、一般的にセンタ
ーデッドゾーン付きスカラー量子化が用いられる。な
お、ＬＬ帯域は粗く量子化すると復号画像に視覚的に妨
害な歪みが目立つため、量子化を行わずにＤＰＣＭを用
いて可逆符号化する手法が一般的である。

【００１３】ウェーブレット変換係数の符号化方法に関
しては、各周波数帯域の相似な位置の係数間で相関を持
つことを利用した符号化方法も提案されている。ウェー
ブレットを用いた二次元オクターブ分割では、１レベル
の分解によりＬＬ，ＬＨ，ＨＬ，ＨＨの４成分に分解さ
れ、Ｍレベルの分割を行うと、最低周波数帯域であるＬ
Ｌ_M成分から、ＬＨ₁，ＨＬ₁，ＨＨ₁成分までの（３Ｍ＋
１）個の成分に分解される。図１２はＭ＝３の時の周波
数帯域分割例である。先に述べた自己相似性によるデー
タの冗長性を除くため、ｉレベルの分割で得られたＬＨ
_i，ＨＬ_i，ＨＨ _iの高周波成分と、（ｉ−１）レベルの
ＬＨ_i-1，ＨＬ_i-1，ＨＨ_i-1のそれぞれ相似な位置にあ
る係数間で親子関係を定義し、解像度の粗い低周波側か
ら解像度の密な高周波側に向かって、相似な位置のウェ
ーブレット変換係数にツリー構造を仮定し、あるノード
以下の量子化後の変換係数が全てゼロの場合には１個の
ＺＴＲ（ＺｅｒｏＴｒｅｅＲｏｏｔ）シンボルに置
き換えることで、さらなるデータ圧縮を行う。

【００１４】図１３にゼロツリーを図示する。この場
合、実際に可変長符号化を行うシンボルは、・ＺＴＲ符号・ＺＴＲでない量子化後係数値０（ＩＺ符号：Ｉｓｏｌ
ａｔｅｄＺｅｒｏ）・量子化後係数値（ＬＥＶＥＬ）である。このウェーブレット係数符号化方式はゼロツリ
ー符号化と呼ばれている。この時ｉレベルの１つの親に
対して４つの子が対応することになるが、最低周波数Ｌ
Ｌ_Mに対しては例外的にＬＨ_M，ＨＬ_M，ＨＨ_Mが対応す
る。

【００１５】また、入力信号が動画像である場合、符号
化対象フレーム変換係数内のある周波数帯域（符号化対
象周波数帯域）を符号化するに当り、該周波数帯域を矩
形領域（ブロック）に分割し、該符号化対象周波数帯域
に対応する周波数帯域、すなわち参照フレーム変換係数
内において該符号化対象周波数帯域と同じ場所にある周
波数帯域を参照周波数帯域として、該各ブロックごとに
動き予測・補償をするＦＭＣ（ＦｒｅｑｕｅｎｃｙＭ
ｏｔｉｏｎＥｓｔｉｍａｔｉｏｎ）方式が提案されて
いる。

【００１６】図１４（ａ），（ｂ）はウェーブレット周
波数帯域分割を３回（Ｍ＝３）行った場合における、各
周波数帯域間の動き予測方法を示す図である。ウェーブ
レット変換を３回行うため、入力信号はＬＬ₃帯域成分
を含め１０個の周波数帯域に分割されている。ＦＭＣ方
式では、まず符号化対象フレームのウェーブレット変換
係数（図１４（ａ））のＬＬ₃帯域内の係数をｐ×ｐ画
素のブロックに分割し、各ブロックごとに、直前のフレ
ームの局部復号画像（参照フレーム）のウェーブレット
変換係数（図１４（ｂ））のＬＬ₃帯域を参照フレーム
として動き予測を行う。ローパスフィルタ出力であるＬ
Ｌ₃帯域は、入力画像信号の１／６４縮小画像であるた
め、通常の動き予測方法と同様にブロックマッチング法
や勾配法を用いて動きベクトルを算出することが可能で
ある。

【００１７】ＬＬ₃帯域以外の９つの周波数帯域（｛Ｈ
Ｌ，ＬＨ，ＨＨ｝_m，ｍ≦３）についても同様に、各周
波数帯域を一辺がｐ・２^M-m画素（Ｍ：ウェーブレット
最大分割回数＝３）のブロックに分割し、動き予測を行
う。この時の参照フレーム、言い替えるのであれば、参
照ウェーブレット変換係数は、直前のフレームの局部復
号画像（参照フレーム）のウェーブレット変換係数（図
１４（ｂ））内において、該符号化対象周波数帯域と同
位置にある周波数帯域内の変換係数とし、動き予測の際
の探索範囲もこれを越えないこととする。

【００１８】

【発明が解決しようとする課題】符号化対象ブロックの
属する符号化対象周波数帯域と同位置の参照フレーム変
換係数中の周波数帯域を参照周波数帯域とし、該符号化
対象ブロックと似たブロックを該参照周波数帯域内で探
索し、その相対位置を動きベクトルとして出力する従来
ＦＭＣ方式を用いて、入力画像信号を符号化する場合、
該符号化対象周波数帯域及び参照周波数帯域は、入力画
像に比べて水平・垂直両方向に標本化周波数が小さくな
っている。具体的には、両周波数帯域が第ｍレベル周波
数帯域内である場合は、一辺が入力画像の２^-m倍とな
る。

【００１９】このため、該入力画像信号における実際の
物体やカメラの動きを最も正確に表現しうる、整数画素
精度の動きベクトルを

【００２０】

【数１】

【００２１】とする時、該符号化対象ブロックの該符号
化対象周波数帯域の中での動きを表現する動きベクトル
は理論的には（８）式に示す値となる。（８）式より、
第ｍレベルの周波数帯域内の符号化対象ブロックの動き
ベクトル

【００２２】

【数２】

【００２３】の各水平・垂直成分は、整数画素精度であ
る保証はない。

【００２４】

【数３】

【００２５】同時に、最低周波数帯域ＬＬ以外の周波数
帯域はハイパスフィルタ出力であるため、非整数画素精
度の動き予測及び動き補償を行う事は実質的に不可能で
ある。これは、ＬＬ帯域などのローパスフィルタ出力
間、もしくは、原入力画像信号間での動き補償で用いら
れる半画素精度動き補償（ハーフペル動き補償）などと
同様な手法を用いて、単純に近傍係数値の平均値などを
代用する事ができないためである。

【００２６】したがって、符号化対象ブロックの属する
符号化対象周波数帯域と同位置の参照フレーム変換係数
中の周波数帯域を参照周波数帯域として、該符号化対象
周波数帯域及び、該参照周波数帯域間で動き予測及び動
き補償を行う従来ＦＭＣ方式を用いた場合、最低周波数
帯域以外の周波数帯域を符号化対象周波数帯域として符
号化する際に、入力画像信号における実際の物体等の動
きを表現する事が不可能となり、動き補償が非効率とな
る。

【００２７】実際には現実解として、従来ＦＭＣ方式で
は、周波数帯域間の動き補償では、非整数画素精度の動
き補償を行わず、図１４（ｂ）に示したように、符号化
対象周波数帯域及び、対応する参照周波数帯域間で、整
数画素精度の動き予測及び補償を行う。

【００２８】しかし、先に述べたように、符号化対象周
波数帯域の標本化周波数は、水平・垂直両方向とも前記
入力画像信号の２^-m倍の小ささであるため、該符号化対
象周波数帯域における整数画素精度の動き補償は、該入
力画像信号における２^m画素精度の動き補償となる。こ
れは具体的には、従来のＦＭＣ方式では、ＨＬ₁，Ｌ
Ｈ₁，ＨＨ₁周波数帯域では２画素精度、ＨＬ₂，ＬＨ₂，
ＨＨ₂周波数帯域では４画素精度、ＨＬ₃，ＬＨ₃，Ｈ
Ｈ₃，ＬＬ₃周波数帯域では８画素精度の動き補償を行っ
ていた事となり、動き補償の効率が著しく低下していた
事となる。

【００２９】本発明の課題は、動画像入力信号にウェー
ブレット変換を施し、参照フレームのウェーブレット変
換係数中の各周波数帯域内の周波数帯域を参照周波数帯
域とし、該符号化対象ブロックと似たブロックを該参照
周波数帯域内で探索し、ウェーブレット変換係数を動き
補償予測符号化する際に、上記問題点を解決し、各周波
数帯域間での動き予測の画素精度を向上させ、予測効率
を改善する符号化方法及び装置並びに復号方法及び装置
を提案することにある。

【００３０】

【課題を解決するための手段】本発明は、上記の問題点
を解決するためになされたものであり、以下に述べるよ
うな手段を採用している。

【００３１】その一手段は、入力画像信号を符号化する
に当り、符号化対象フレームを、水平及び垂直方向に高
域及び低域に周波数帯域分割し、水平及び垂直の両方向
に対しての低域成分を同様に再分割し、前記再分割処理
を再帰的にそれぞれ指定された回数繰り返すことで符号
化対象フレーム変換係数を算出するステップと、参照フ
レームもしくは参照フレームの局部復号画像に対しても
同様な周波数帯域分割を行うか、もしくはすでに符号化
済みの参照フレームの周波数帯域分割後の係数を記録し
ておくメモリより変換係数を取り出す事により、参照フ
レーム変換係数を算出するステップと、前記符号化対象
フレーム変換係数中の各周波数帯域内の変換係数、もし
くは、前記各周波数帯域内の前記変換係数を矩形ブロッ
クに分割して符号化する場合には前記各矩形ブロック
を、前記参照フレーム変換係数を参照係数として予測符
号化するステップとを、有する動画像符号化方法におい
て、前記予測符号化するステップでは、前記符号化対象
フレーム変換係数中のある変換係数もしくは前記ある変
換係数が属する矩形ブロックを、符号化対象ブロックと
して符号化するに当り、前記符号化対象ブロックに似た
係数の位置を前記参照フレーム変換係数の中において算
出し、前記符号化対象ブロックの位置からの相対位置を
動きベクトルとして算出する際に、前記符号化対象ブロ
ックが属する符号化対象周波数帯域と同位置の前記参照
フレーム変換係数内の周波数帯域、及び、前記符号化対
象周波数帯域と同じ、垂直方向、もしくは水平方向、も
しくは対角方向に位置する周波数帯域群と同位置の前記
参照フレーム変換係数内の周波数帯域群を、参照周波数
帯域とし、前記符号化対象ブロックに似た参照係数の位
置を、前記参照周波数帯域内の変換係数の中より算出す
ることを特徴とする動画像符号化方法である。

【００３２】あるいは、上記の動画像符号化方法におい
て、予測符号化するステップでは、符号化対象周波数帯
域を符号化するに当り、前記符号化対象周波数帯域より
周波数帯域分割レベルが低い、すなわち、より高周波で
ある、参照フレーム変換係数内の周波数帯域を参照周波
数帯域として、動きベクトルを算出する場合、もしく
は、符号化対象周波数帯域を符号化するに当り、前記符
号化対象周波数帯域より周波数帯域分割レベルが高い、
すなわち、より低周波である、参照フレーム変換係数内
の周波数帯域を参照周波数帯域として、動きベクトルを
算出する場合、前記符号化対象周波数帯域と前記参照周
波数帯域の周波数帯域分割レベルの差に応じて、符号化
対象ブロック内もしくは前記参照周波数帯域内の各変換
係数の間にゼロ値を挿入する事で前記符号化対象ブロッ
クもしくは前記参照周波数帯域の大きさを拡大し、前記
拡大された符号化対象ブロックと参照周波数帯域の間で
動きベクトルを算出することを特徴とする動画像符号化
方法である。

【００３３】あるいは、上記の動画像符号化方法におい
て、予測符号化するステップでは、符号化対象周波数帯
域を符号化するに当り、前記符号化対象周波数帯域より
周波数帯域分割レベルが低い、すなわち、より高周波で
ある、参照フレーム変換係数内の周波数帯域を参照周波
数帯域として、動きベクトルを算出する場合、もしく
は、符号化対象周波数帯域を符号化するに当り、前記符
号化対象周波数帯域より周波数帯域分割レベルが高い、
すなわち、より低周波である、参照フレーム変換係数内
の周波数帯域を参照周波数帯域として、動きベクトルを
算出する場合、前記符号化対象周波数帯域と前記参照周
波数帯域の周波数帯域分割レベルの差に応じて、前記符
号化対象ブロック内もしくは前記参照周波数帯域内の係
数を間引いて動きベクトルを算出することを特徴とする
動画像符号化方法である。

【００３４】あるいは、以上の動画像符号化方法におい
て、予測符号化するステップでは、符号化対象周波数帯
域を符号化するに当り、前記符号化対象ブロックが属す
る符号化対象周波数帯域と同位置の前記参照フレーム変
換係数内の周波数帯域、及び、前記符号化対象周波数帯
域と同じ、垂直方向、もしくは水平方向、もしくは対角
方向に位置する符号化対象フレーム変換係数内の周波数
帯域群と同位置の前記参照フレーム変換係数内の周波数
帯域群を参照周波数帯域として動きベクトルを算出する
ステップと、複数の前記参照周波数帯域についてそれぞ
れ算出された複数の前記動きベクトルの内、符号化対象
ブロック内の変換係数を最も効率的に補償する動きベク
トルを選択するステップと、選択された動きベクトルが
参照する参照周波数帯域を示す符号及び前記動きベクト
ルを用いて動き補償を行うステップと、前記参照周波数
帯域を示す符号及び前記動きベクトルを符号化データに
記述するステップ、もしくは、前記参照周波数帯域を示
す符号及び前記動きベクトルを多重化し、一つの動きベ
クトルデータとして符号化データに記述するステップと
を、有することを特徴とする動画像符号化方法である。

【００３５】あるいは、上記の動画像符号化方法におい
て、選択された参照周波数帯域を示す符号及び前記動き
ベクトルを多重化し、一つの動きベクトルデータとして
符号化データに記述するステップでは、符号化対象変換
係数もしくは符号化対象ブロックの、入力画像信号にお
けるサンプリングポイント、及び、前記選択された参照
周波数帯域及び前記動きベクトルにより示される、参照
変換係数もしくは参照ブロックの入力画像信号における
サンプリングポイント、の両サンプリングポイントの相
対位置ベクトルを、前記多重化された一つの動きベクト
ルデータとして符号化データに記述することを特徴とす
る動画像符号化方法である。

【００３６】あるいは、入力画像信号内のある符号化対
象フレームを、水平・垂直方向に高域及び低域に周波数
帯域分割するステップと、水平・垂直の両方向に対して
の低域成分を同様に再周波数帯域分割するステップと、
前記再周波数帯域分割処理を再帰的に指定された回数繰
り返す事で、符号化対象フレームの変換係数を算出する
ステップと、過去に符号化済みの参照フレームに対して
も同様な周波数帯域分割を行うか、もしくは前記参照フ
レームを過去に符号化した際の前記参照フレームの周波
数帯域分割後の変換係数をメモリより取り出す事によ
り、前記参照フレームの変換係数を算出するステップ
と、前記符号化対象フレーム変換係数中のある周波数帯
域を符号化対象周波数帯域として符号化する際に、前記
符号化対象周波数帯域を矩形ブロック分割するステップ
と、前記矩形ブロックの内、ある矩形ブロックを符号化
対象ブロックとして符号化する際に、前記参照フレーム
変換係数を参照係数として、前記符号化対象ブロックに
ついて動きベクトルを算出する際に、前記符号化対象ブ
ロックが属する符号化対象周波数帯域と同位置の前記参
照フレーム変換係数内の周波数帯域、及び、前記符号化
対象周波数帯域と同じ垂直方向もしくは水平方向もしく
は対角方向に位置する周波数帯域群と同位置の前記参照
フレーム変換係数内の周波数帯域群を、参照周波数帯域
として設定するステップと、前記符号化対象ブロックに
似た参照係数の位置を、前記参照周波数帯域内の参照フ
レーム変換係数の中より算出し、その相対位置を動きベ
クトルとして算出するステップと、前記符号化対象周波
数帯域と同じ垂直方向もしくは水平方向もしくは対角方
向に位置する周波数帯域群と同位置の前記参照フレーム
変換係数内の周波数帯域群を参照周波数帯域とする場合
には、前記符号化対象周波数帯域と前記参照周波数帯域
の周波数帯域分割レベルの差に応じて、符号化対象ブロ
ック内もしくは前記参照周波数帯域内の各変換係数の間
にゼロ値を挿入する事で面積を拡大した後に、動きベク
トルを算出するステップと、複数の前記参照周波数帯域
についてそれぞれ算出された複数の前記動きベクトルの
内、符号化対象ブロック内の変換係数を最も効率的に補
償する動きベクトルを選択するステップと、前記選択さ
れた動きベクトルが参照する参照周波数帯域を示す符号
及び前記動きベクトルを用いて動き補償を行うステップ
と、前記参照周波数帯域を示す符号及び前記動きベクト
ルを符号化データに記述するか、もしくは、選択された
参照周波数帯域を示す符号及び前記動きベクトルを多重
化し、一つの動きベクトルデータとして符号化データに
記述するステップとを、有することを特徴とする動画像
符号化方法である。

【００３７】あるいは、入力画像信号内のある符号化対
象フレームを、水平・垂直方向に高域及び低域に周波数
帯域分割し、水平・垂直の両方向に対しての低域成分を
同様に再周波数帯域分割し、前記再周波数帯域分割処理
を再帰的に指定された回数繰り返す事で、符号化対象フ
レームの変換係数を算出する変換部と、過去に符号化済
みの参照フレームに対しても同様な周波数帯域分割を行
うか、もしくは前記参照フレームを過去に符号化した際
の前記参照フレームの周波数帯域分割後の変換係数をメ
モリより取り出す事により、前記参照フレームの変換係
数を算出する参照周波数設定部と、前記符号化対象フレ
ーム変換係数中のある周波数帯域を符号化対象周波数帯
域として符号化する際に、前記符号化対象周波数帯域を
矩形ブロック分割するブロック分割部と、前記矩形ブロ
ックの内、ある矩形ブロックを符号化対象ブロックとし
て符号化する際に、前記参照フレーム変換係数を参照係
数として、前記符号化対象ブロックについて動きベクト
ルを算出する際に、前記符号化対象ブロックが属する符
号化対象周波数帯域と同位置の前記参照フレーム変換係
数内の周波数帯域、及び、前記符号化対象周波数帯域と
同じ垂直方向もしくは水平方向もしくは対角方向に位置
する周波数帯域群と同位置の前記参照フレーム変換係数
内の周波数帯域群を、参照周波数帯域として設定する参
照周波数帯域設定部と、前記符号化対象ブロックに似た
参照係数の位置を、前記参照周波数帯域内の参照フレー
ム変換係数の中より算出し、その相対位置を動きベクト
ルとして算出し、前記符号化対象周波数帯域と同じ垂直
方向もしくは水平方向もしくは対角方向に位置する周波
数帯域群と同位置の前記参照フレーム変換係数内の周波
数帯域群を参照周波数帯域とする場合には、前記符号化
対象周波数帯域と前記参照周波数帯域の周波数帯域分割
レベルの差に応じて、符号化対象ブロック内もしくは前
記参照周波数帯域内の各変換係数の間にゼロ値を挿入す
る事で面積を拡大した後に、動きベクトルを算出する動
き予測部と、複数の前記参照周波数帯域についてそれぞ
れ算出された複数の前記動きベクトルの内、符号化対象
ブロック内の変換係数を最も効率的に補償する動きベク
トルを選択する選択部と、前記選択された動きベクトル
が参照する参照周波数帯域を示す符号及び前記動きベク
トルを用いて動き補償を行う動き補償部と、前記参照周
波数帯域を示す符号及び前記動きベクトルを符号化デー
タに記述するか、もしくは、選択された参照周波数帯域
を示す符号及び前記動きベクトルを多重化し、一つの動
きベクトルデータとして符号化データに記述する多重化
部とを、有することを特徴とする動画像符号化装置であ
る。

【００３８】また、以上の画像符号化方法を用いて符号
化された符号化データを復号する方法であって、符号化
データから変換係数データと動きベクトルデータと参照
周波数帯域を示す符号とを取り出すステップと、前記変
換係数データから変換係数を復号するステップと、前記
動きベクトルデータから動きベクトルを復号するステッ
プと、参照フレーム変換係数内において、前記参照周波
数帯域を示す符号および前記復号した動きベクトルによ
り動き補償を行って予測係数ブロックを求めるステップ
と、前記変換係数と前記予測係数ブロックとから復号画
像を生成するステップとを、有することを特徴とする動
画像復号方法である。

【００３９】あるいは、符号化データから変換係数デー
タと動きベクトルデータおよび参照周波数帯域を示す符
号とを取り出す分離部と、前記変換係数を含む符号化デ
ータから変換係数を復号する係数復号部と、前記動きベ
クトルを復号する動きベクトル復号部と、前記復号され
た変換係数の内、参照フレーム変換係数内において、前
記参照周波数帯域を示す符号および前記復号した動きベ
クトルにより動き補償を行って予測係数ブロックを求め
る動き補償部と、前記変換係数と前記予測係数ブロック
とから復号画像を生成する逆変換部とを、有することを
特徴とする動画像復号装置である。

【００４０】あるいは、以上の動画像符号化方法におけ
るステップをコンピュータに実行させるためのプログラ
ムを、前記コンピュータが読み取り可能な記憶媒体に記
憶したことを特徴とする動画像符号化プログラムを記憶
した記憶媒体である。

【００４１】あるいは、上記の動画像復号方法における
ステップをコンピュータに実行させるためのプログラム
を、前記コンピュータが読み取り可能な記憶媒体に記憶
したことを特徴とする動画像復号プログラムを記憶した
記憶媒体である。

【００４２】そして、本発明の作用は以下のとおりであ
る。

【００４３】最低周波数帯域以外の周波数帯域はハイパ
スフィルタ出力であるため、非整数画素精度の動き予測
及び動き補償を行う事は実質的に不可能であり、単純に
近傍係数値の平均値などを代用する事ができない。この
ため、符号化対象ブロックの属する符号化対象周波数帯
域と同位置の参照フレーム変換係数中の周波数帯域を参
照周波数帯域とし、該符号化対象ブロックと似たブロッ
クを該参照周波数帯域内で探索し、その相対位置を動き
ベクトルとして出力する従来ＦＭＣ方式を用いて入力画
像信号を符号化する場合、周波数帯域間の動き補償では
非整数画素精度の動き補償を行わず、図１４（ｂ）に示
したように、符号化対象周波数帯域と、対応する参照周
波数帯域との間で、整数画素精度の動き予測及び補償を
行う。

【００４４】しかし、ｍレベルの符号化対象周波数帯域
の標本化周波数は、水平・垂直両方向とも前記入力画像
信号の２^-m倍の小ささであるため、該符号化対象周波数
帯域における整数画素精度の動き補償は、該入力画像信
号における２^m画素精度の動き補償となり、動き補償の
効率が著しく低下してしまう。

【００４５】本発明では、符号化対象ブロックが属する
符号化対象周波数帯域と同位置の参照フレーム変換係数
内の周波数帯域のみならず、該符号化対象周波数帯域と
同じ、垂直方向、もしくは水平方向、もしくは対角方向
に位置する周波数帯域群と同位置の該参照フレーム変換
係数内の周波数帯域群も参照周波数帯域として、該複数
の参照周波数帯域ごとに動き予測を行い、その内で最適
な動きベクトルを用いて動き補償を行うことにより、ほ
ぼ整数画素精度の動き補償を行う事が可能となり、動き
予測の効率が向上し、符号化効率が改善する。

【００４６】

【発明の実施の形態】以下、図面により本発明の実施例
を詳細に説明する。

【００４７】まず、本発明の動画像符号化方法の基本的
な第１の実施形態例を説明する。図１は、その説明図で
ある。

【００４８】本実施形態例は、入力画像信号を符号化す
るに当り、符号化対象フレームを、水平及び垂直方向に
高域及び低域に周波数帯域分割し、水平及び垂直の両方
向に対しての低域成分を同様に再分割し、該再分割処理
を再帰的にそれぞれ指定された回数繰り返すことで符号
化対象フレーム変換係数を算出し、参照フレームもしく
は参照フレームの局部復号画像に対しても同様な周波数
帯域分割を行うか、もしくはすでに符号化済みの参照フ
レームの周波数帯域分割後の係数を記録しておくメモリ
より変換係数を取り出す事により、参照フレーム変換係
数を算出し、前記符号化対象フレーム変換係数中の各周
波数帯域内の変換係数、もしくは、該各周波数帯域内の
該変換係数を矩形ブロックに分割して符号化する場合に
は該各矩形ブロックを、前記参照フレーム変換係数を参
照係数として予測符号化する動画像符号化方法におい
て、該符号化対象フレーム変換係数中のある変換係数も
しくは該変換係数が属する矩形ブロックを、符号化対象
ブロックとして符号化するに当り、該符号化対象ブロッ
クに似た係数の位置を前記参照フレーム変換係数の中に
おいて算出し、該符号化対象ブロックの位置からの相対
位置を動きベクトルとして算出する際に、該符号化対象
ブロックが属する符号化対象周波数帯域と同位置の該参
照フレーム変換係数内の周波数帯域、及び、該符号化対
象周波数帯域と同じ、垂直方向、もしくは水平方向、も
しくは対角方向に位置する周波数帯域群と同位置の該参
照フレーム変換係数内の周波数帯域群を、参照周波数帯
域とし、該符号化対象ブロックに似た参照係数の位置
を、該参照周波数帯域内の変換係数の中より算出する事
を特徴とする動画像符号化方法である。

【００４９】すなわち、図１（ａ）に示す符号化対象フ
レーム変換係数において、ＨＬ₂帯域を符号化対象周波
数帯域とし、該符号化対象周波数帯域内の符号化対象ブ
ロック（図１（ａ）ＨＬ₂帯域内のグレーのブロック）
の動きベクトルを探索する場合、図１（ｂ）に示す参照
フレーム変換係数内の、同じ水平方向の周波数帯域であ
る、ＨＬ₁帯域、及びＨＬ₂帯域、及びＨＬ₃帯域を参照
周波数帯域とし、該３つの参照周波数帯域内の変換係数
を参照係数として、符号化対象ブロックの動きベクトル
を各参照周波数帯域ごとに算出する。この時、参照周波
数帯域全体を探索範囲としても良いが、一般的には演算
量の問題や、動きベクトルの表現範囲の問題から、符号
化対象ブロックに相似な位置を中心に、ある一定の探索
範囲を設定し、該探索範囲内で動きベクトル探索を行
う。同様に、符号化対象フレーム変換係数（図１
（ａ））内のＬＨ₁、もしくはＬＨ₂、もしくはＬＨ₃周
波数帯域を符号化する場合には、参照フレーム変換係数
（図１（ｂ））内の、同じ垂直方向の周波数帯域であ
る、ＬＨ₁、及びＬＨ₂、及びＬＨ₃周波数帯域を参照周
波数帯域として、動きベクトルを算出する。対角方向の
周波数帯域である、ＨＨ₁，ＨＨ₂，ＨＨ₃周波数帯域を
符号化する場合も同様である。

【００５０】次に、本発明の動画像符号化方法の基本的
な第２の実施形態例を、図１、図２により説明する。

【００５１】本実施形態例は、上記第１の実施形態例の
画像符号化方法において、符号化対象周波数帯域より周
波数帯域分割レベルが低い、すなわち、より高周波であ
る、参照フレーム変換係数内の周波数帯域を参照周波数
帯域として、動きベクトルを算出する場合、該符号化対
象周波数帯域と該参照周波数帯域の周波数帯域分割レベ
ルの差に応じて、符号化対象ブロック内の各変換係数の
間にゼロ値を挿入する事で該符号化対象ブロックの犬き
さを拡大し、該拡大された符号化対象ブロックと参照周
波数帯域の間で動きベクトルを算出するか、もしくは、
該符号化対象周波数帯域と該参照周波数帯域の周波数帯
域分割レベルの差に応じて、参照周波数帯域内の参照係
数を間引いて動きベクトルを算出することを特徴とする
動画像符号化方法である。

【００５２】具体例として、図１において○印１で示す
処理、すなわち、参照フレーム変換係数のＨＬ₁帯域を
参照周波数帯域として動きベクトル探索を行う処理につ
いて考える。図１（ａ）に示す符号化対象ブロックの大
きさを４×４画素とした時における、該処理○印１に関
する図を図２に示す。まず、該ＨＬ₂帯域内の該符号化
対象ブロック内、及び、参照周波数帯域の一つであるＨ
Ｌ₁帯域内もしくは該ＨＬ₁帯域内に定められたある探索
範囲内、の各変換係数がメモリに取り出される（処理○
印４）。そして、符号化対象周波数帯域ＨＬ₂と、参照
周波数帯域ＨＬ₁の周波数帯域分割レベルの差に応じ
て、符号化対象ブロックの各係数間にゼロ値を挿入し、
符号化対象ブロックの大きさを拡大する（処理○印
５）。この時、該両帯域の周波数帯域分割レベルの差が
１であるため、一辺が２¹倍になるように該符号化対象
ブロックの大きさを拡大する。さらに、該ゼロ値で埋め
る事により拡大された符号化対象ブロックを基準とし、
参照周波数帯域の一つであるＨＬ₁帯域内、もしくは、
該ＨＬ₁帯域内に定められたある探索範囲内の各変換係
数内で、動きベクトルを探索する（処理○印６）。本例
では、周波数帯域分割レベルの差が１の場合について述
べたが、ｍレベルの差がある場合にも、符号化対象ブロ
ックの一辺が２^m倍になるように該符号化対象ブロック
を拡大する事で、同様な処理により動きベクトルを探索
する事が可能である。

【００５３】次に、本発明の動画像符号化方法の基本的
な第３の実施形態例を、図１、図３により説明する。

【００５４】本実施形態例は、上記第１の実施形態例の
画像符号化方法において、符号化対象周波数帯域より周
波数帯域分割レベルが高い、すなわち、より低周波であ
る、参照フレーム変換係数内の周波数帯域を参照周波数
帯域として、動きベクトルを算出する場合、該符号化対
象周波数帯域と該参照周波数帯域の周波数帯域分割レベ
ルの差に応じて、該参照周波数帯域内の各変換係数の間
にゼロ値を挿入する事で該参照周波数帯域の大きさを拡
大し、該符号化対象ブロックと該拡大された参照周波数
帯域の間で動きベクトルを算出するか、もしくは、該符
号化対象周波数帯域と該参照周波数帯域の周波数帯域分
割レベルの差に応じて、該符号化対象ブロック内の係数
を間引いて動きベクトルを算出することを特徴とする動
画像符号化方法である。

【００５５】具体例として、図１において○印３で示す
処理、すなわち、参照フレーム変換係数のＨＬ₃帯域を
参照周波数帯域として動きベクトル探索を行う処理につ
いて考える。同様に符号化対象ブロックの大きさを４×
４画素とした時の、該処理○印３に関する図を、図３に
示す。該ＨＬ₂帯域内の該符号化対象ブロック内、及
び、参照周波数帯域の一つであるＨＬ₃帯域内もしくは
該ＨＬ₃帯域内に定められたある探索範囲内、の各変換
係数がメモリに取り出される（処理○印７）。そして、
符号化対象周波数帯域ＨＬ₂と、参照周波数帯域ＨＬ₃の
周波数帯域分割レベルの差に応じて、参照周波数帯ＨＬ
₃帯域、もしくは、該ＨＬ₃帯域内に定められたある探索
範囲の各変換係数間にゼロ値を挿入し、参照周波数帯域
の大きさを拡大する（処理○印８）。この時、該両帯域
の周波数帯域分割レベルの差が１であるため、一辺が２
¹倍になるように参照周波数帯域の大きさを拡大する。
さらに、該符号化対象ブロックを基準とし、拡大された
参照周波数帯域ＨＬ₃帯域内で、動きベクトルを探索す
る（処理○印９）。本例では、周波数帯域分割レベルの
差が１の場合について述べたが、ｍレベルの差がある場
合にも、一辺が２^m倍になるようにゼロ値を挿入し、参
照周波数帯域を拡大する事で、同様な処理により動きベ
クトルを探索する事が可能である。

【００５６】なお、図１に示した処理○印２について
は、従来ＦＭＣ方式と同様な手法で、周波数帯域間動き
予測を行う事が可能である。

【００５７】次に、本発明の動画像符号化方法の基本的
な第４の実施形態例を、図１、図４により説明する。

【００５８】本実施形態例は、上記第１〜３の実施形態
例の画像符号化方法において、複数の参照周波数帯域に
ついてそれぞれ算出された複数の動きベクトルの内、符
号化対象ブロック内の変換係数を最も効率的に補償する
動きベクトルを選択するステップと、選択された動きベ
クトルが参照する参照周波数帯域を示す符号及び該動き
ベクトルを用いて動き補償を行うステップと、該参照周
波数帯域を示す符号及び該動きベクトルを符号化データ
に記述するステップ、もしくは、該参照周波数帯域を示
す符号及び該動きベクトルを多重化し、一つの動きベク
トルデータとして符号化データに記述するステップを有
することを特徴とする動画像符号化方法である。

【００５９】あるいは、上記第１〜３の実施形態例の画
像符号化方法において、選択された参照周波数帯域を示
す符号及び該動きベクトルを多重化し、一つの動きベク
トルデータとして符号化データに記述するに当り、符号
化対象変換係数もしくは符号化対象ブロックの、入力画
像信号におけるサンプリングポイント、及び、該選択さ
れた参照周波数帯域及び該動きベクトルにより示され
る、参照変換係数もしくは参照ブロックの入力画像信号
におけるサンプリングポイント、の両サンプリングポイ
ントの相対位置ベクトルを、前記多重化された一つの動
きベクトルデータとして符号化データに記述することを
特徴とする動画像符号化方法である。

【００６０】すなわち、図１に示した処理○印１、及び
処理○印２、及び処理○印３により、各参照周波数帯域
ごとに算出された動きベクトルの内、もっとも動き補償
の効率が良いものを選択する（図４処理○印１０）。選
択の際に用いる判定条件としては、差分絶対値、差分自
乗和などが考えられる。そして、該選択された動きベク
トルを示す符号、及び、該選択された動きベクトルが属
する周波数帯域（参照周波数帯域ＨＬ₁，ＨＬ₂，Ｈ
Ｌ₃）を示す符号を、符号化データに記述する。

【００６１】また、両符号を多重化して符号化データに
記述する場合は、図４に示すように、まず、符号化対象
ブロック及び参照ブロックの、入力画像信号におけるサ
ンプリングポイントを算出（処理○印１１）する。図４
下図において、○で囲った４個の係数が符号化対象ブロ
ック内の各変換係数のサンプリングポイントであり、□
で囲った４個の係数が参照ブロック内の各変換係数のサ
ンプリングポイントである。そして、両ブロックに対す
るサンプリングポイント間の相対位置ベクトルを、多重
化された動きベクトルとして、符号化データに記述する
（処理○印１２）。

【００６２】次に、本発明の動画像符号化方法の具体例
としての第５の実施形態例と、本発明の動画像符号化装
置の一実施形態例を説明する。

【００６３】図５は、本実施形態例における動画像符号
化方法による処理の流れとともに、符号化器の構成を示
す図である。図中、○○部とあるのは○○部または○○
処理ステップを代表している。

【００６４】本符号化器では、まず始めに符号化対象入
力動画像信号１が、ウェーブレット変換部２に入力さ
れ、水平及び垂直方向にウェーブレット変換される。さ
らに、該ウェーブレット変換により得られる最低周波数
帯域に対してある指定した回数、再帰的にウェーブレッ
ト変換が施される。符号化対象フレーム変換係数３はブ
ロック分割部４に入力され、各周波数帯域がブロックに
分割される。この時、ブロック分割の方法は任意である
が、一般的に各周波数帯域を、一辺がｐ・２^M-m画素
（Ｍ：ウェーブレット最大分割回数＝３、ｍ：当該周波
数帯域のウェーブレット分割レベル）の正方矩形ブロッ
クに分割する。

【００６５】ブロック分割部４は、ブロック分割の結果
として得られるブロック群のうち、ある一つのブロック
を符号化対象ブロック５として、出力する。

【００６６】フレームメモリ６に記録されている過去に
符号化済みのフレームのウェーブレット変換係数、すな
わち参照フレーム変換係数７は、符号化対象周波数帯域
位置８と共に、参照周波数帯域設定部９に入力される。
参照周波数帯域設定部９では、符号化対象周波数帯域位
置８より、複数の参照周波数帯域の位置を算出し、該参
照周波数帯域に含まれる変換係数である、参照周波数帯
域変換係数１０を出力する。

【００６７】参照周波数帯域変換係数１０は、符号化対
象ブロック５、及び符号化対象周波数帯域位置８と共に
動き予測部１１に入力される。動き予測部１１では、ま
ず、動き予測部１１内の各参照周波数帯域動き予測部１
２にて、各参照周波数帯域ごとに動き予測を行い、動き
ベクトル１３を出力する。この時、符号化対象周波数帯
域位置８より算出される、符号化対象周波数帯域の周波
数帯域分割レベルと、各参照周波数帯域の周波数帯域分
割レベルの差に応じて、図２、及び図３に示した方法を
用い、適応的に符号化対象ブロック５もしくは参照周波
数帯域変換係数１０の大きさを、ゼロ値の係数を挿入す
る事で拡大し、符号化対象ブロック５と参照周波数帯域
変換係数１０との間で動き予測を行う。また、符号化対
象周波数帯域の周波数帯域分割レベルと、参照周波数帯
域の周波数帯域分割レベルが等しい場合には従来のＦＭ
Ｃ方式を用いて、帯域を拡大すること無く動き予測を行
うことが可能である。

【００６８】各参照周波数帯域ごとに算出された動きベ
クトル１３は、選択部１４に入力され、動きベクトル１
３の内、最も効率的に動き補償をし得る動きベクトルを
選択し、選択された動きベクトル及び該動きベクトルが
参照する周波数帯域１５を多重化部１６、及び動き補償
部１７に出力する。

【００６９】選択された動きベクトル及び該動きベクト
ルが参照する周波数帯域１５は、参照周波数帯域変換係
数１０と共に動き補償部１７に入力され、動き補償が行
われる。すなわち、選択された動きベクトル及び該動き
ベクトルが参照する周波数帯域１５によって示される参
照ブロック内の変換係数ブロックを算出し、予測係数ブ
ロック１８を出力する。

【００７０】予測係数ブロック１８は、減算器１９に入
力され、ここで符号化対象ブロック５より予測係数ブロ
ック１８を減算し、予測係数誤差ブロック２０を生成す
る。該予測係数誤差ブロック２０がフレーム間予測で符
号化するフレームにおける符号化対象係数となる。

【００７１】予測係数誤差ブロック２０は、量子化部２
１にて量子化され量子化後予測係数誤差ブロック２２と
なる。この時量子化の方法は任意であり、全ての周波数
帯域内の係数を同一の量子化ステップで量子化しても良
いが、一般的には同レベルの高周波数帯域（ＨＬ_m，Ｌ
Ｈ_m，ＨＨ_m，ｍ∈自然数）内の変換係数を同じ量子化ス
テップとし、かつ、より高周波数帯域の係数に対する量
子化ステップ程粗い値を用いて量子化する手法が一般的
である。

【００７２】量子化後予測係数誤差ブロック２２は係数
符号化部２３にてゼロツリー符号化、Ｒｕｎ−Ｌｅｎｇ
ｔｈ符号化、Ｒｕｎ−Ｌｅｖｅｌ符号化などを用いて可
変長符号化し出力符号化データとして出力係数データ２
４を生成する。量子化後予測係数誤差ブロック２２は逆
量子化部２５に入力され、量子化部２１で用いた量子化
方法の逆の手法を用いて逆量子化され、逆量子化後係数
誤差ブロック２６を生成する。この逆量子化後係数誤差
ブロック２６と予測係数ブロック１８を加算器２７に
て、加算した結果得られる係数は、局部復号画像ウェー
ブレット変換係数ブロック２８となる。

【００７３】前記４〜２７で示される処理は、ブロック
分割部４にて生成された各ブロックごとに行われ、結果
として出力される複数の局部復号画像ウェーブレット変
換係数ブロック２８は、フレームメモリ６に記録され
る。フレームメモリ６に記録されている、局部復号画像
ウェーブレット変換係数ブロック２８は、符号化対象入
力動画像信号１を符号化した結果であり、復号器でも全
く同様に得られる周波数帯域分割後のウェーブレット変
換係数である。また、先に示したように、以降のフレー
ムを符号化する際の参照係数として用いられる。さら
に、動き予測部１１にて生成され選択された動きベクト
ル及び該動きベクトルが参照する周波数帯域１５は、多
重化部１６にて、図４に示した方法などで多重化され、
多重化された一つの動きベクトルデータ２９を出力す
る。多重化された一つの動きベクトルデータ２９は、動
きベクトル符号化部３０にて可変長符号化され、出力動
きベクトルデータ３１を生成する。動きベクトル用の符
号化データである出力動きベクトルデータ３１及び量子
化後予測係数誤差ブロック２２用の符号化データである
出力係数データ２４は多重化部３２に入力され、多重化
部３２は符号化データ３３を出力する。

【００７４】次に、本発明の動画像復号方法の一実施形
態例と、本発明の復号器の一実施形態例を図６により詳
細に説明する。

【００７５】図６は、本発明の復号器の一実施形態例に
おける動画像復号方法の処理の流れとともに、復号器の
構成を示す図である。図中、○○部とあるのは○○部ま
たは○○処理ステップを代表している。

【００７６】本復号器では、まず始めに符号化データ４
０が、分離部４１に入力され、ウェーブレット係数デー
タ４２、及び動きベクトルデータ４３、及び参照周波数
帯域位置４４に分離される。

【００７７】ウェーブレット係数データ４２は、係数復
号部４５に入力され。Ｒｕｎ−Ｌｅｎｇｔｈ復号、Ｒｕ
ｎ−Ｌｅｖｅｌ復号などの可変長復号を行い。量子化後
ウェーブレット変換係数４６を出力する。量子化後ウェ
ーブレット変換係数４６は、逆量子化部４７に入力さ
れ、符号化器における逆量子化部２５と同様な処理で逆
量子化を行い、ウェーブレット変換係数４８を出力す
る。

【００７８】一方、同様に分離部４１より出力された動
きベクトルデータ４３は動きベクトル復号部４９に入力
される。動きベクトル復号部４９では、可変長復号が行
われ動きベクトル５０を動き補償部５１に出力する。可
変長復号は符号化器の動きベクトル符号化部３０と同じ
可変長符号を用いる。

【００７９】動き補償部５１には、動きベクトル復号部
４９より動きベクトル５０が、分離部４１より参照周波
数帯域位置４４が、そして、復号ブロック位置５２が入
力される。さらに、フレームメモリ５３に記録されてい
る過去に符号化済みのフレームのウェーブレット変換係
数、すなわち参照フレーム変換係数５４も動き補償部５
１に入力される。動き補償部５１では、まず、復号ブロ
ック位置５２及び、動きベクトル５０により示される参
照ブロックの位置を算出し、そして、参照フレーム変換
係数５４内において該位置にある変換係数ブロックを取
り出し、これを予測係数ブロック５５として、加算器５
６に出力する。

【００８０】加算器５６では、逆量子化部４７より入力
されたウェーブレット変換係数４８、及び、動き補償部
５１より入力された予測係数ブロック５５を加算し、ウ
ェーブレット変換係数５７をウェーブレット逆変換部５
８に出力する。

【００８１】ウェーブレット逆変換部５８では、ウェー
ブレット最大分割回数５９により示される回数にしたが
って、逆ウェーブレット変換が再帰的に行われ、複号画
像６０が出力される。ウェーブレット量大分割回数５９
は、符号化器、復号器で前もって回数を決定しておく事
で、符号化データ４０に記載する必要は無くなる。

【００８２】また、同時に復号画像６０はフレームメモ
リ５３に入力され、後のフレームの復号のために記録さ
れる。

【００８３】なお、図５，６で示した装置各部の一部も
しくは全部の機能を、コンピュータを用いて実現するこ
とができること、あるいは、図１〜６で示した処理ステ
ップや処理手順をコンピュータに実行させることができ
ることは言うまでもなく、コンピュータでその各部の機
能を実現するためのプログラム、あるいは、コンピュー
タにその処理ステップや処理手順を実行させるためのプ
ログラムを、そのコンピュータが読み取り可能な記憶媒
体、例えば、ＦＤ（フロッピーディスク）や、ＭＯ、Ｒ
ＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディ
スクなどに記録し、提供し、配布することが可能であ
る。

【００８４】

【発明の効果】以上説明したように、本発明によれば、
入力画像信号のウェーブレット等の変換係数領域で動き
予測・補償を行うにあたり、周波数帯域間の動き予測の
画素精度を大きく改善し、動き予測効率及び、符号化効
率を改善する事が可能となる。

【図面の簡単な説明】

【図１】本発明の基本的な動画像符号化方法の第１の実
施形態例を説明する図であって、ＨＬ₂帯域を符号化対
象周波数帯域とした場合における、参照フレーム変換係
数内における参照周波数帯域の場所を示す図である。

【図２】本発明の基本的な動画像符号化方法の第２の実
施形態例を説明する図であって、符号化対象周波数帯域
より周波数帯域分割レベルが低い参照フレーム変換係数
内の周波数帯域を参照周波数帯域として、動きベクトル
を算出する方法を示す図である。

【図３】本発明の基本的な第３の実施形態例を説明する
図であって、符号化対象周波数帯域より周波数帯域分割
レベルが高い参照フレーム変換係数内の周波数帯域を参
照周波数帯域として、動きベクトルを算出する方法を示
す図である。

【図４】本発明の基本的な動画像符号化方法の第４の実
施形態例を説明する図であって、複数の参照周波数帯域
ごとに算出された動きベクトルから、もっとも動き補償
の効率が良いものを選択する方法、及び、符号化対象ブ
ロック及び参照ブロックの、入力画像信号におけるサン
プリングポイントを算出する方法、及び、両ブロックに
対するサンプリングポイント間の相対位置ベクトルを、
多重化された動きベクトルとして算出する方法を示す図
である。

【図５】本発明の具体例な動画像符号化方法の第５の実
施形態例における処理の流れとともに、本発明の動画像
符号化装置の一実施形態例の構成を示す図である。

【図６】本発明の動画像復号方法の一実施形態例におけ
る処理の流れとともに、本発明の動画像復号装置の一実
施形態例の構成を示す図である。

【図７】（ａ）は、ウェーブレット変換における分解処
理、（ｂ）は、ウェーブレット変換における合成処理を
説明する図である。

【図８】（ａ），（ｂ），（ｃ）は、ウェーブレット変
換における分解処理によるオクターブ分割を説明する図
である。

【図９】（ａ），（ｂ）は、ウェーブレット変換におけ
る、分解・合成フィルタ係数の相互関係を示す図であ
る。

【図１０】一次元入力信号に対して、ウェーブレット周
波数帯域分割処理を、再帰的に三回行い、該一次元入力
信号を四つの周波数帯域に周波数帯域分割した場合にお
ける、各周波数帯域内の変換係数のサンプリングポイン
トを示す図である。

【図１１】図１０に示した一次元入力信号のサンプリン
グポイントを、二次元入力信号に拡張した場合における
サンプリングポイントを示す図である。

【図１２】３レベルの分割時の周波数帯域分割例を示す
図である。

【図１３】（ａ），（ｂ），（ｃ）は、ゼロツリー符号
化の例を示した図である。

【図１４】（ａ），（ｂ）はウェーブレット周波数帯域
分割を３回行った場合における、各周波数帯域間の動き
予測方法を示す図である。

【符号の説明】

１…符号化対象入力動画像信号２…ウェーブレット変換部３…符号化対象フレーム変換係数４…ブロック分割部５…符号化対象ブロック６…フレームメモリ７…参照フレーム変換係数８…符号化対象周波数帯域位置９…参照周波数帯域設定部１０…参照周波数帯域変換係数１１…動き予測部１２…各参照周波数帯域動き予測部１３…動きベクトル１４…選択部１５…選択された動きベクトル及び該動きベクトルが参
照する周波数帯域１６…多重化部１７…動き補償部１８…予測係数ブロック１９…減算器２０…予測係数誤差ブロック２１…量子化部２２…量子化後予測係数誤差ブロック２３…係数符号化部２４…出力係数データ２５…逆量子化部２６…逆量子化後係数誤差ブロック、２７…加算器２８…局部復号画像ウェーブレット変換係数ブロック２９…多重化された一つの動きベクトルデータ３０…動きベクトル符号化部３１…出力動きベクトルデータ３２…多重化部３３…符号化データ４０…符号化データ４１…分離部４２…ウェーブレット係数データ４３…動きベクトルデータ４４…参照周波数帯域位置４５…係数復号部４６…量子化後ウェーブレット変換係数４７…逆量子化部４８…ウェーブレット変換係数４９…動きベクトル復号部５０…動きベクトル５１…動き補償部５２…復号ブロック位置５３…フレームメモリ５４…参照フレーム変換係数５５…予測係数ブロック５６…加算器５７…ウェーブレット変換係数５８…ウェーブレット逆変換部５９…ウェーブレット逆変換回数６０…復号画像

───────────────────────────────────────────────────── フロントページの続き (72)発明者中嶋淳一東京都新宿区西新宿３丁目19番２号日本電信電話株式会社内Ｆターム(参考） 5C059 KK11 MA05 MA24 ME01 NN01 NN03 NN10 NN11 NN21 NN28 NN37 PP04 PP26 RB12 RC11 RC16 UA05 UA15 UA38 5J064 AA02 AA05 BA13 BA16 BB03 BC01 BC29 BD03 BD04

Claims

【特許請求の範囲】

【請求項１】入力画像信号を符号化するに当り、符号
化対象フレームを、水平及び垂直方向に高域及び低域に
周波数帯域分割し、水平及び垂直の両方向に対しての低
域成分を同様に再分割し、前記再分割処理を再帰的にそ
れぞれ指定された回数繰り返すことで符号化対象フレー
ム変換係数を算出するステップと、参照フレームもしくは参照フレームの局部復号画像に対
しても同様な周波数帯域分割を行うか、もしくはすでに
符号化済みの参照フレームの周波数帯域分割後の係数を
記録しておくメモリより変換係数を取り出す事により、
参照フレーム変換係数を算出するステップと、前記符号化対象フレーム変換係数中の各周波数帯域内の
変換係数、もしくは、前記各周波数帯域内の前記変換係
数を矩形ブロックに分割して符号化する場合には前記各
矩形ブロックを、前記参照フレーム変換係数を参照係数
として予測符号化するステップとを、有する動画像符号化方法において、前記予測符号化するステップでは、前記符号化対象フレーム変換係数中のある変換係数もし
くは前記ある変換係数が属する矩形ブロックを、符号化
対象ブロックとして符号化するに当り、前記符号化対象
ブロックに似た係数の位置を前記参照フレーム変換係数
の中において算出し、前記符号化対象ブロックの位置か
らの相対位置を動きベクトルとして算出する際に、前記
符号化対象ブロックが属する符号化対象周波数帯域と同
位置の前記参照フレーム変換係数内の周波数帯域、及
び、前記符号化対象周波数帯域と同じ、垂直方向、もし
くは水平方向、もしくは対角方向に位置する周波数帯域
群と同位置の前記参照フレーム変換係数内の周波数帯域
群を、参照周波数帯域とし、前記符号化対象ブロックに
似た参照係数の位置を、前記参照周波数帯域内の変換係
数の中より算出することを特徴とする動画像符号化方
法。
【請求項２】請求項１に記載の動画像符号化方法にお
いて、予測符号化するステップでは、符号化対象周波数帯域を符号化するに当り、前記符号化
対象周波数帯域より周波数帯域分割レベルが低い、すな
わち、より高周波である、参照フレーム変換係数内の周
波数帯域を参照周波数帯域として、動きベクトルを算出
する場合、もしくは、符号化対象周波数帯域を符号化するに当り、
前記符号化対象周波数帯域より周波数帯域分割レベルが
高い、すなわち、より低周波である、参照フレーム変換
係数内の周波数帯域を参照周波数帯域として、動きベク
トルを算出する場合、前記符号化対象周波数帯域と前記参照周波数帯域の周波
数帯域分割レベルの差に応じて、符号化対象ブロック内
もしくは前記参照周波数帯域内の各変換係数の間にゼロ
値を挿入する事で前記符号化対象ブロックもしくは前記
参照周波数帯域の大きさを拡大し、前記拡大された符号
化対象ブロックと参照周波数帯域の間で動きベクトルを
算出することを特徴とする動画像符号化方法。
【請求項３】請求項１に記載の動画像符号化方法にお
いて、予測符号化するステップでは、符号化対象周波数帯域を符号化するに当り、前記符号化
対象周波数帯域より周波数帯域分割レベルが低い、すな
わち、より高周波である、参照フレーム変換係数内の周
波数帯域を参照周波数帯域として、動きベクトルを算出
する場合、もしくは、符号化対象周波数帯域を符号化するに当り、
前記符号化対象周波数帯域より周波数帯域分割レベルが
高い、すなわち、より低周波である、参照フレーム変換
係数内の周波数帯域を参照周波数帯域として、動きベク
トルを算出する場合、前記符号化対象周波数帯域と前記参照周波数帯域の周波
数帯域分割レベルの差に応じて、前記符号化対象ブロッ
ク内もしくは前記参照周波数帯域内の係数を間引いて動
きベクトルを算出することを特徴とする動画像符号化方
法。
【請求項４】請求項１、２、３のいずれか１項に記載
の動画像符号化方法において、予測符号化するステップでは、符号化対象周波数帯域を符号化するに当り、前記符号化
対象ブロックが属する符号化対象周波数帯域と同位置の
前記参照フレーム変換係数内の周波数帯域、及び、前記
符号化対象周波数帯域と同じ、垂直方向、もしくは水平
方向、もしくは対角方向に位置する符号化対象フレーム
変換係数内の周波数帯域群と同位置の前記参照フレーム
変換係数内の周波数帯域群を参照周波数帯域として動き
ベクトルを算出するステップと、複数の前記参照周波数帯域についてそれぞれ算出された
複数の前記動きベクトルの内、符号化対象ブロック内の
変換係数を最も効率的に補償する動きベクトルを選択す
るステップと、選択された動きベクトルが参照する参照周波数帯域を示
す符号及び前記動きベクトルを用いて動き補償を行うス
テップと、前記参照周波数帯域を示す符号及び前記動きベクトルを
符号化データに記述するステップ、もしくは、前記参照
周波数帯域を示す符号及び前記動きベクトルを多重化
し、一つの動きベクトルデータとして符号化データに記
述するステップとを、有することを特徴とする動画像符号化方法。
【請求項５】請求項４に記載の動画像符号化方法にお
いて、選択された参照周波数帯域を示す符号及び前記動きベク
トルを多重化し、一つの動きベクトルデータとして符号
化データに記述するステップでは、符号化対象変換係数もしくは符号化対象ブロックの、入
力画像信号におけるサンプリングポイント、及び、前記
選択された参照周波数帯域及び前記動きベクトルにより
示される、参照変換係数もしくは参照ブロックの入力画
像信号におけるサンプリングポイント、の両サンプリン
グポイントの相対位置ベクトルを、前記多重化された一
つの動きベクトルデータとして符号化データに記述する
ことを特徴とする動画像符号化方法。
【請求項６】入力画像信号内のある符号化対象フレー
ムを、水平・垂直方向に高域及び低域に周波数帯域分割
するステップと、水平・垂直の両方向に対しての低域成分を同様に再周波
数帯域分割するステップと、前記再周波数帯域分割処理を再帰的に指定された回数繰
り返す事で、符号化対象フレームの変換係数を算出する
ステップと、過去に符号化済みの参照フレームに対しても同様な周波
数帯域分割を行うか、もしくは前記参照フレームを過去
に符号化した際の前記参照フレームの周波数帯域分割後
の変換係数をメモリより取り出す事により、前記参照フ
レームの変換係数を算出するステップと、前記符号化対象フレーム変換係数中のある周波数帯域を
符号化対象周波数帯域として符号化する際に、前記符号
化対象周波数帯域を矩形ブロック分割するステップと、前記矩形ブロックの内、ある矩形ブロックを符号化対象
ブロックとして符号化する際に、前記参照フレーム変換
係数を参照係数として、前記符号化対象ブロックについ
て動きベクトルを算出する際に、前記符号化対象ブロッ
クが属する符号化対象周波数帯域と同位置の前記参照フ
レーム変換係数内の周波数帯域、及び、前記符号化対象
周波数帯域と同じ垂直方向もしくは水平方向もしくは対
角方向に位置する周波数帯域群と同位置の前記参照フレ
ーム変換係数内の周波数帯域群を、参照周波数帯域とし
て設定するステップと、前記符号化対象ブロックに似た参照係数の位置を、前記
参照周波数帯域内の参照フレーム変換係数の中より算出
し、その相対位置を動きベクトルとして算出するステッ
プと、前記符号化対象周波数帯域と同じ垂直方向もしくは水平
方向もしくは対角方向に位置する周波数帯域群と同位置
の前記参照フレーム変換係数内の周波数帯域群を参照周
波数帯域とする場合には、前記符号化対象周波数帯域と
前記参照周波数帯域の周波数帯域分割レベルの差に応じ
て、符号化対象ブロック内もしくは前記参照周波数帯域
内の各変換係数の間にゼロ値を挿入する事で面積を拡大
した後に、動きベクトルを算出するステップと、複数の前記参照周波数帯域についてそれぞれ算出された
複数の前記動きベクトルの内、符号化対象ブロック内の
変換係数を最も効率的に補償する動きベクトルを選択す
るステップと、前記選択された動きベクトルが参照する参照周波数帯域
を示す符号及び前記動きベクトルを用いて動き補償を行
うステップと、前記参照周波数帯域を示す符号及び前記動きベクトルを
符号化データに記述するか、もしくは、選択された参照
周波数帯域を示す符号及び前記動きベクトルを多重化
し、一つの動きベクトルデータとして符号化データに記
述するステップとを、有することを特徴とする動画像符号化方法。
【請求項７】入力画像信号内のある符号化対象フレー
ムを、水平・垂直方向に高域及び低域に周波数帯域分割
し、水平・垂直の両方向に対しての低域成分を同様に再
周波数帯域分割し、前記再周波数帯域分割処理を再帰的
に指定された回数繰り返す事で、符号化対象フレームの
変換係数を算出する変換部と、過去に符号化済みの参照フレームに対しても同様な周波
数帯域分割を行うか、もしくは前記参照フレームを過去
に符号化した際の前記参照フレームの周波数帯域分割後
の変換係数をメモリより取り出す事により、前記参照フ
レームの変換係数を算出する参照周波数設定部と、前記符号化対象フレーム変換係数中のある周波数帯域を
符号化対象周波数帯域として符号化する際に、前記符号
化対象周波数帯域を矩形ブロック分割するブロック分割
部と、前記矩形ブロックの内、ある矩形ブロックを符号化対象
ブロックとして符号化する際に、前記参照フレーム変換
係数を参照係数として、前記符号化対象ブロックについ
て動きベクトルを算出する際に、前記符号化対象ブロッ
クが属する符号化対象周波数帯域と同位置の前記参照フ
レーム変換係数内の周波数帯域、及び、前記符号化対象
周波数帯域と同じ垂直方向もしくは水平方向もしくは対
角方向に位置する周波数帯域群と同位置の前記参照フレ
ーム変換係数内の周波数帯域群を、参照周波数帯域とし
て設定する参照周波数帯域設定部と、前記符号化対象ブロックに似た参照係数の位置を、前記
参照周波数帯域内の参照フレーム変換係数の中より算出
し、その相対位置を動きベクトルとして算出し、前記符
号化対象周波数帯域と同じ垂直方向もしくは水平方向も
しくは対角方向に位置する周波数帯域群と同位置の前記
参照フレーム変換係数内の周波数帯域群を参照周波数帯
域とする場合には、前記符号化対象周波数帯域と前記参
照周波数帯域の周波数帯域分割レベルの差に応じて、符
号化対象ブロック内もしくは前記参照周波数帯域内の各
変換係数の間にゼロ値を挿入する事で面積を拡大した後
に、動きベクトルを算出する動き予測部と、複数の前記参照周波数帯域についてそれぞれ算出された
複数の前記動きベクトルの内、符号化対象ブロック内の
変換係数を最も効率的に補償する動きベクトルを選択す
る選択部と、前記選択された動きベクトルが参照する参照周波数帯域
を示す符号及び前記動きベクトルを用いて動き補償を行
う動き補償部と、前記参照周波数帯域を示す符号及び前記動きベクトルを
符号化データに記述するか、もしくは、選択された参照
周波数帯域を示す符号及び前記動きベクトルを多重化
し、一つの動きベクトルデータとして符号化データに記
述する多重化部とを、有することを特徴とする動画像符号化装置。
【請求項８】請求項１から６までのいずれか１項記載
の画像符号化方法を用いて符号化された符号化データを
復号する方法であって、符号化データから変換係数データと動きベクトルデータ
と参照周波数帯域を示す符号とを取り出すステップと、前記変換係数データから変換係数を復号するステップ
と、前記動きベクトルデータから動きベクトルを復号するス
テップと、参照フレーム変換係数内において、前記参照周波数帯域
を示す符号および前記復号した動きベクトルにより動き
補償を行って予測係数ブロックを求めるステップと、前記変換係数と前記予測係数ブロックとから復号画像を
生成するステップとを、有することを特徴とする動画像復号方法。
【請求項９】符号化データから変換係数データと動き
ベクトルデータおよび参照周波数帯域を示す符号とを取
り出す分離部と、前記変換係数データから変換係数を復号する係数復号部
と、前記動きベクトルを復号する動きベクトル復号部と、前記復号された変換係数の内、参照フレーム変換係数内
において、前記参照周波数帯域を示す符号および前記復
号した動きベクトルにより動き補償を行って予測係数ブ
ロックを求める動き補償部と、前記変換係数と前記予測係数ブロックとから復号画像を
生成する逆変換部とを、有することを特徴とする動画像復号装置。
【請求項１０】請求項１から６までのいずれか１項記
載の動画像符号化方法におけるステップをコンピュータ
に実行させるためのプログラムを、前記コンピュータが
読み取り可能な記憶媒体に記憶したことを特徴とする動
画像符号化プログラムを記憶した記憶媒体。
【請求項１１】請求項８記載の動画像復号方法におけ
るステップをコンピュータに実行させるためのプログラ
ムを、前記コンピュータが読み取り可能な記憶媒体に記
憶したことを特徴とする動画像復号プログラムを記憶し
た記憶媒体。