JP2004007774A - 動き補償符号化方法 - Google Patents

Abstract

【課題】　画像を効率的に伝送、蓄積、表示するために、画像情報をより少ない符号量でディジタル信号にする高能率符号化において、特に動き補償処理を行い、その際の動きベクトル情報を可変符号化する方法を提供する。
【解決手段】　動きベクトルを所定数統合した単位で区切り、動きベクトル群を得る動きベクトル統合手段１５と、前記動きベクトルを符号化するために複数の可変長符号化表から実際に用いられるものを前記動きベクトル群毎に選択し、どの符号表を用いるかの符号表選択情報を出力する符号表判定手段（１６、１７、１８）と、前記符号表選択情報に従って選択された可変長符号表を用いて、動きベクトルを可変長符号化する動きベクトル符号化手段１４と、前記符号表選択情報と可変符号化された動きベクトルの情報とを多重化する多重化手段８とを有する構成とした。
【選択図】　　　図１

Description

　本発明は、画像を効率的に伝送、蓄積、表示するために、画像情報をより少ない符号量でディジタル信号にする高能率符号化において、特に動き補償処理を行い、その際の動きベクトル情報を可変符号化するものに関する。

　＜動き補償動画像符号化＞
　動画像符号化はＭＰＥＧなどに代表されるように、動き補償画像間予測が行われるのが一般的である。その際、動き補償で使われた動きベクトル（ＭＶ）の情報は可変長符号化され、予測残差の符号と多重化されて伝送される。

　ＭＶの符号化は、隣接ブロックのＭＶとの差分を取り、水平差分値と垂直差分値とをそれぞれ可変長符号で符号化する。この可変長符号は差分値の発生頻度に合わせてハフマン符号などで構成される。

　＜従来例の動き補償符号化装置＞
　従来の動き補償符号化装置の構成例を図６と共に、以下に説明する。

　画像入力端子１より入来する動画像信号は、減算器２において動き補償予測器１０から与えられる予測信号が減算され、予測残差となってＤＣＴ３に与えられる。ＤＣＴ３は予測残差に対してＤＣＴ（Discrete Cosine Transform ）の変換処理を行い、得られた係数を量子化器４に与える。量子化器４は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器５と逆量子化器７に与える。可変長符号化器５は、固定長の予測残差を可変長符号で圧縮し、できた符号は多重化器６１に与えられる。

　一方、逆量子化器７及び逆ＤＣＴ１３では量子化器４及びＤＣＴ３の逆処理が行われ、予測残差を再生する。得られた再生予測残差は加算器１２で予測信号が加算され再生画像となり、画像メモリ１１に与えられる。画像メモリ１１に蓄えられている再生画像は、動き補償予測器１０に与えられる。

　動き補償予測器１０は、ＭＶ検出器６から与えられるＭＶに従って動き補償を行い、得られた予測信号を減算器２と加算器１２に与える。ＭＶ検出器６は、被符号化フレームに対する参照フレームの空間移動量を１６×１６画素または８×８画素ブロック毎に求めて、ＭＶとして動き補償予測器１０及びＭＶ符号化器６２に与える。ＭＶ符号化器６２は、ひとつ前のＭＶとの差分を取り、差分値を所定可変長符号で符号化する。ＭＶの符号は、多重化器６１で予測残差の符号と多重化され符号出力端子９より出力される。

　＜従来例の動き補償復号化装置＞
　図７は、図６の動き補償符号化装置に対応する動き補償復号化装置の従来例の構成を示したものである。

　符号入力端子２１より入来する動き補償予測符号化された符号列は、多重化分離器７１で予測残差の符号とＭＶの符号が分離され、予測残差の符号は可変長復号化器２３へ、ＭＶの符号はＭＶ復号化器７２へ与えられる。可変長復号化器２３は可変長符号を固定長の符号に戻し、逆量子化器７に与えられる。

　固定長符号は逆量子化器７で予測残差の再生ＤＣＴ係数値となり、逆ＤＣＴ１３に与えられる。逆ＤＣＴ１３は８×８個の係数を再生予測残差信号に変換し、加算器１２に与える。加算器１２では再生予測残差信号に予測信号が加算され、再生画像となる。この様にして得られた再生画像信号は、画像出力端子２４から出力されると共に画像メモリ１１に与えられる。動き補償予測器１０は、画像メモリ１１に蓄積されている画像をＭＶに基づいて動き補償し、予測信号を形成する。得られた予測信号は加算器１２に与えられる。一方、ＭＶ復号化器７２は図６のＭＶ符号化器６２の逆処理を行い、ＭＶ符号からＭＶ値を得る。得られたＭＶは動き補償予測器１０に与えられる。

　従来の動き補償符号化装置は、動きベクトル（ＭＶ）の可変長符号化のために１種類の符号表を用いていた。そこで使われる符号表は、ＭＶ差分の分布（各差分値の発生確率）に合わせて作成されているが、ＭＶ差分は画像の動きの状況により大きく異なり、画像の部分により分布が符号表と適合しない場合も多く、発生符号量が多くなっていた。特に、動き補償のブロックを細かくし、精度を上げるとＭＶ情報量の割合が増加するので、総符号量に与える影響は顕著となる。

　本発明は以上の点に着目してなされたもので、ＭＶ符号化用の可変長符号表を複数種類有し、ＭＶを所定数で統合し、一画像（ひとつのフレーム乃至フィールド）を複数に分割したＭＶ群単位で選択された符号表を用いてＭＶ符号化を行い、その符号表選択情報を伝送して復号でも共通の符号表を使用することでＭＶ符号量の削減可能な動き補償符号化方法を提供することを目的とする。

　そこで、上記課題を解決するために本発明は、下記の方法を提供するものである。

　入来する動画像に対して、動き補償ブロック毎の動きベクトルにより動き補償予測符号化を行い、動画像符号列を得る動画像の動き補償符号化方法において、
　前記動画像に対して前記動きベクトルを用いて動き補償予測符号化を行い予測残差の情報を得、
　前記動き補償ブロックを複数統合した統合単位で一画像を複数に区切り、その統合単位毎に前記動きベクトルを複数統合してなる動きベクトル群を得て、
　前記動きベクトル群毎に前記動きベクトルを符号化するために用いる可変長符号化表に関する情報である符号表情報を出力し、前記符号表情報に応じた可変長符号表を用いて、前記各動きベクトルを可変長符号化した動きベクトルの情報を得、
　前記符号表情報と前記動きベクトルの情報と前記予測残差の情報とを多重化して動画像符号列を出力することを特徴とする動き補償符号化方法。

　　（作　用）
　本発明は、動き補償動画像符号化で、動きベクトル（ＭＶ）符号化用の可変長符号表を複数種類有し、ＭＶを所定数で統合し、一画像（ひとつのフレーム乃至フィールド）が複数に分割されたＭＶ群単位で選択された符号表を用いてＭＶ符号化を行い、その符号表選択情報を伝送して復号でも共通の符号表を使用することで、複数の符号表の中から適当な符号表が使用される。符号表は、異なったＭＶ差分発生分布に合わせて複数種類用意されるので、ＭＶ差分のＭＶ群内分布が平均的分布と大きく異なっても、そのＭＶ群に適した符号表が選択される。選択された符号表は、そのＭＶ群のＭＶ差分の分布に適合した可変長符号で構成されて、ＭＶ群の符号量は平均的符号表の場合より少なくなる。

　それぞれのＭＶ群で、それに適合した符号表が選択され、ＭＶ符号量が全体に削減される。一方、符号表選択情報が付随するのでその分が符号量増加となるが、ＭＶ群で１乃至２ｂｉｔなので、削減効果と比較して極く僅かな増加で済む。

　本発明では、動き補償動画像符号化で、動きベクトル（ＭＶ）符号化用の可変長符号表を有し、ＭＶを所定数で統合し、一画像（ひとつのフレーム乃至フィールド）を複数に分割したＭＶ群単位で選択された符号表を用いてＭＶ符号化を行い、その符号表選択情報を伝送して復号でも共通の符号表を使うことで、符号化に適切な符号表が使われ、その符号表は、そのＭＶ群のＭＶ差分発生分布に適合した、画像の部分状態に適合したものが選択されるので、ＭＶ符号量が少なくなる。

　予測残差の符号量は変化しないので、全体の発生符号量が少なくなる。特に、動き補償のブロックを細かくし、精度を上げるとＭＶ符号量の割合が相対的に多くなっているので、ＭＶ符号量の削減効果はそのまま総符号量の削減にも大きく寄与する。

　＜第１の実施の動き補償符号化装置＞
　本発明の動き補償符号化方法の第１の実施例を適用した動き補償符号化装置について、以下に説明する。

　図１は、その構成を示したもので、図６の従来例と同一構成要素には同一番号を付してある。図１には、図６と比較してＭＶ統合器１５、仮ＭＶ符号化器１６、符号量算出器１７、符号表判定器１８、遅延器１９が追加されている。また、ＭＶ符号化器１４、多重化器８の動作が、図６のＭＶ符号化器６２、多重化器６１と異なる。

　本実施例において、従来例と大きく異なるのは、動きベクトル（ＭＶ）の符号化方法である。画像間予測処理及び予測残差の符号化は基本的に同じである。

　画像入力端子１より入来する動画像信号は、減算器２において動き補償予測器１０から与えられる予測信号が減算され、予測残差となってＤＣＴ３に与えられる。ＤＣＴ３は、予測残差にＤＣＴ（Discrete Cosine Transform ）の変換処理を行い、得られた係数を量子化器４に与える。量子化器４は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器５と逆量子化器７に与える。可変長符号化器５は、固定長の予測残差を可変長符号で圧縮し、圧縮して出来た符号列は多重化器８に与えられる。

　一方、逆量子化器７及び逆ＤＣＴ１３ではＤＣＴ３及び量子化器４の逆処理が行われ、予測残差を再生する。得られた再生予測残差は加算器１２で予測信号が加算され再生画像となり、画像メモリ１１に与えられる。

　画像メモリ１１に蓄えられている再生画像は、動き補償予測器１０に与えられる。動き補償予測器１０は、ＭＶ検出器６から与えられるＭＶに従って予測信号を作り、減算器２と加算器１２に与える。

　ＭＶ検出器６は、被符号化フレームに対する参照フレームの空間移動量を１６×１６画素または８×８画素ブロック毎に求めて、ＭＶとして動き補償予測器１０及びＭＶ統合器１５に与える。

　＜ＭＶ符号化＞
　本発明の特徴を成しているＭＶの符号化部分の一実施例について、以下に説明する。

　図１に示したＭＶ統合器１５では、１６個〜６４個程度のＭＶを統合し、一フレームが複数に分割されたＭＶ群とする。ＭＶ群は、図４に示した縦４個×横４個など２次元的なものが符号化特性からは望ましいが、横一列に１６個などの１次元的なものでも良い。２次元の場合には、ＭＶ値に対するメモリを有して、配列変換を行う。

　ＭＶ統合器１５よりのＭＶ群の各ＭＶは、仮ＭＶ符号化器１６と遅延器１９とに与えられる。仮ＭＶ符号化器１６では、ＭＶ符号化器１４が有しているすべての種類の符号表について仮符号化を行い、得られた符号表毎の符号列を次の符号量算出器１７に与える。

　ここで、符号表の具体的な実施例を表１、表２に夫々示す。

　表１の第１可変長符号表は、比較的ＭＶの変化が少ない場合に適合し、表２の第２可変長符号表は、比較的ＭＶの変化が大きい場合に適合するものである。

　変化が大きい場合と少ない場合のＭＶの例を図５に示す。表でｓはＭＶの極性（＋／−）を示す符号である。表の可変長符号は、ＭＶ差分の水平・垂直のそれぞれ成分毎に適用される。また、ＭＶが１／２画素精度の場合は、２倍して整数化した値に適用する。

　符号量算出器１７は、それぞれの符号表の符号列毎に符号量が計数され、ＭＶ群単位で符号量を符号表判定器１８に与える。なお、ここで最終的に必要なのは符号量だけであるので、必ずしも正式な符号列を得る必要はなく、仮ＭＶ符号化器１６は各ＭＶ差分の符号長を出力し、符号量算出器１７でそれをＭＶ群単位に積算しても良い。

　符号表判定器１８は、各符号表の符号量を比較して、例えば表1又は表２のいずれかから、最も符号量の少ない符号表を判定して選択する。その判定結果は符号表選択情報として、ＭＶ符号化器１４と多重化器８とに与えられる。

　一方、ＭＶ群の各ＭＶは遅延器１９で、符号表選択情報が出力されるまで遅延させられた後に、ＭＶ符号化器１４に与えられる。

　ＭＶ符号化器１４において、基本的な符号化方法は図７の従来例と同様であるが、符号表を複数有し、符号表選択情報に従ってその中のひとつが選択されて、符号化に使用される。得られた符号は多重化器８に与えられる。

　多重化器８は、可変長符号化器５から与えられる予測残差の符号とＭＶ符号化器１４から与えられるＭＶの符号とを多重化する他に、符号表判定器１８から与えられる符号表選択情報をＭＶ符号のヘッダに挿入する。

　ここで多重化された符号列は符号出力端子９より出力される。

　＜第２実施の動き補償符号化装置＞
　本発明の動き補償符号化方法の第２の実施例を適用した動き補償符号化装置について、以下に説明する。

　図３は、その構成を示したもので、図１の第１の実施例適用例と同一構成要素には同一番号を付してある。図３には、図１と比較して、仮ＭＶ符号化器１６と符号量算出器１７の代わりに、アクティビティ検出器３１が存在する。また、符号表判定器３２の動作は図１の符号表判定器１８と異なる。

　第２の実施例において、第１の実施例と異なるのは符号表の判定方法であり、それ以外の処理方法は基本的に同じであり、異なる部分についてのみ、以下に説明する。

　ＭＶ統合器１５から与えられるＭＶ群の各ＭＶは、アクティビティ検出器３１でＭＶのアクティビティが求められ、符号表判定器３２に与えられる。アクティビティは、ＭＶ差分値の絶対値の和などで、ＭＶ群毎に求められる。ここでＭＶ差分値の絶対値を対数変換してから加算すると、ＭＶ符号量との相関が高まり好都合である。

　符号表判定器３２は、アクティビティと予め設定されている閾値との関係から適切な符号表を判定する。

　その符号表が表１と表２の２種類なら、中程度のアクティビティを閾値とし、アクティビティがそれより小さい場合は表１とし、アクティビティがそれより大きい場合は表２とする。アクティビティは、前記のようなもの以外に、分布状況をより正確に示す多次元的なものでも良い。具体的には、０以外の比較的小さなＭＶ差分（絶対値が１から３）の頻度と、比較的大きなＭＶ差分（絶対値が４以上）の頻度を求め、２パラメータに対して２次元的に閾値を設ける。

　＜第３実施の動き補償符号化装置＞
　本発明の動き補償符号化方法の第３の実施例を適用した動き補償符号化装置について、以下に説明する。

　第３の実施例は、第１の実施例と第２の実施例とを組み合わせたもので、その適用例である動き補償符号化装置の構成は図１と類似なもので特に図示はしない。

　第３の実施例において、他の実施例と異なるのは符号表の判定方法であり、それ以外の処理は基本的に同じであるので、図１を基に異なる部分のみ以下に説明する。

　図１の仮ＭＶ符号化器１６と符号量算出器１７は、１種類の符号表についてＭＶ群毎に符号量を求め、符号表判定器１８に与える。その際に用いる符号表は、複数ある中の最も平均的なものとする。

　符号表判定器１８の動作は図３の符号表判定器３２と類似するもので、符号量とそれに対して予め設定された閾値との関係から適当な符号表を判定し、符号表選択情報を出力する。 符号量が少ない場合には、表１のような変化の少ないＭＶ差分に適合した符号表を、符号量が多い場合には、表２のような変化の激しいＭＶ差分に適合した符号表を選択する。

　＜実施例に対応する動き補償復号化装置＞
　本発明の各実施例の動き補償符号化方法を適用した動き補償符号化装置に対応する動き補償復号化装置の一例について、以下に図と共に説明する。

　その動き補償復号化装置の一例の構成を図２に示す。

　符号入力端子２１より入来する動き補償予測符号化された符号列は、多重化分離器２２で予測残差の符号とＭＶの符号と符号表選択情報が分離され、予測残差の符号は可変長復号化器２３へ、ＭＶの符号と符号表選択情報はＭＶ復号化器２５へ与えられる。可変長復号化器２３は可変長符号を固定長の符号に戻し、逆量子化器７に与えられる。

　固定長符号の予測残差は逆量子化器７で係数値となり、逆ＤＣＴ１３に与えられる。逆ＤＣＴ１３は８×８個の係数を再生予測残差信号に変換し、加算器１２に与える。加算器１２では再生予測残差信号に予測信号が加算され、再生画像となる。この様にして得られた再生画像信号は、画像出力端子２４から出力されると共に画像メモリ１１に与えられる。

　動補償予測器１０は、画像メモリ１１に蓄積されている画像をＭＶに基づいて動き補償し、予測信号を形成する。得られた予測信号は加算器１２に与えられる。

　一方、ＭＶ復号化器２５は、ＭＶの符号と符号表選択情報から図１のＭＶ符号化器１４の逆処理を行い、得られたＭＶ値をＭＶバッファ２６に与える。

　ＭＶの復号で用いられる符号表は、ＭＶ群単位で符号表選択情報により複数の種類の中からひとつが選択され使用される。

　ＭＶバッファ２６はＭＶを保持し、動き補償予測器１０で必要となった際に与える。これはＭＶ群が２次元で統合されている場合、主たる復号処理のブロック順番がＭＶ群の単位と異なるためである。

本発明の動き補償符号化方法の第１の実施例を適用した動き補償符号化装置の構成を示す図である。 本発明の各実施例の動き補償符号化方法に対応する動き補償復号化装置の一例の構成を示す図である。 本発明の動き補償符号化方法の第２の実施例を適用した動き補償符号化装置の構成を示す図である。 ＭＶ統合によるＭＶ群の様子を示す図である。 動き変化の度合いに対応したＭＶの様子を示す図である。 従来の動き補償符号化装置の構成例を示す図である。 従来の動き補償復号化装置の構成例を示す図である。

符号の説明

　１　画像入力端子
　２　減算器
　３　ＤＣＴ
　４　量子化器
　５　可変長符号化器
　６　ＭＶ検出器
　７　逆量子化器
　８、６１　多重化器
　９　符号列出力端子
１０　動補償予測器
１１　画像メモリ
１２　加算器
１３　逆ＤＣＴ
１４、６２　ＭＶ符号化器
１５　ＭＶ統合器
１６　仮ＭＶ符号化器
１７　符号量算出器
１８、３２　符号表判定器
１９　遅延器
２１　符号列入力端子
２２、７１　多重化分離器
２３　可変長復号化器
２４　画像出力端子
２５、７２　ＭＶ復号化器
２６　ＭＶバッファ
３１　アクティビティ検出器

Claims (1)

1. 　入来する動画像に対して、動き補償ブロック毎の動きベクトルにより動き補償予測符号化を行い、動画像符号列を得る動画像の動き補償符号化方法において、
   　前記動画像に対して前記動きベクトルを用いて動き補償予測符号化を行い予測残差の情報を得、
   　前記動き補償ブロックを複数統合した統合単位で一画像を複数に区切り、その統合単位毎に前記動きベクトルを複数統合してなる動きベクトル群を得て、
   　前記動きベクトル群毎に前記動きベクトルを符号化するために用いる可変長符号化表に関する情報である符号表情報を出力し、前記符号表情報に応じた可変長符号表を用いて、前記各動きベクトルを可変長符号化した動きベクトルの情報を得、
   　前記符号表情報と前記動きベクトルの情報と前記予測残差の情報とを多重化して動画像符号列を出力することを特徴とする動き補償符号化方法。

Images