JP2007202183A - 符号化ブロックパターンの符号化装置及び符号化ブロックパターンの符号化方法 - Google Patents

Abstract

【課題】伝送されるデータの減縮効果を高くするデータ圧縮方法を提供すること。
【解決手段】復号化されるべきマクロブロック内の物体が存在する単位ブロックの個数に応じて異なる可変長符号テーブルを適用してブロックフォーマットで輝度情報を復号化する装置において、受信したビットストリームからマクロブロックの輝度成分コードブロックパターン(ＣＢＰＹ)を取り込むデマルチプレクサを備え、輝度成分コードブロックパターン(ＣＢＰＹ)は、マクロブロック内の複数の輝度ブロックのうちどのブロックが符号化された輝度情報を有するかを示すものであり、さらに、マクロブロック内の形状情報に基づいて、輝度成分コードブロックパターン(ＣＢＰＹ)中の、伝送された輝度情報のないブロックの復号化を省略して、マクロブロックの輝度成分コードブロックパターン(ＣＢＰＹ)を用いて符号化されたテクスチャデータを復号化するテクスチャ・デコーダを備える。
【選択図】 図１

Description

本発明は、フレーム内の映像データを可変長コード化データに変換して伝送する符号化装置と符号化方法に関する。

近年、ビデオフォンや映像会議などをＩＳＤＮ網（Integrated Service Digital Network：統合サービスディジタル網）を用いて提供するＨ．２６１や公衆電話交換網（ＰＳＴＮ）を用いたビデオフォンサービスのためのＨ．２６３などが画像圧縮技術の世界標準化のための技術標準として提案されている。

ビデオフォンのように超低速動映像の圧縮技術を提供するＨ．２６１及びＨ．２６３では画像の品質が低下することが知られており、画像品質の高級化のための改良が要求されている。一方、動画像関連圧縮技術はＤＳＭ（Digital Storage Media:ディジタル蓄積媒体）のためのＭＰＥＧ１（Motion Picture Expert Group:動画像エクスパートグループ）と、ＤＳＭ，ＨＤＴＶ（High Density Television:高品位テレビジョン），ＡＴＶ（Advanced Television:次世代テレビジョン）などのためのＭＰＥＧ２とが標準化されている。

これらのＨ．２６１，Ｈ．２６３，ＭＰＥＧ１，ＭＰＥＧ２の圧縮技術にはブロックを基盤とした符号化方法が採用されているが、これらの符号化方法を超低速伝送に応用した場合には画質の低下が目立つ。このため、ＭＰＥＧ４として既存の方式とは差別化された全く新たな方式が提案されており、物体概念の導入されたブロック基盤符号化へ標準化が進んでいる。

このうち、物体中心符号化方式（Object Oriented Coding）はブロックを基盤とせずに２つの映像間を動く領域内の物体（Object）を基盤とすることにより、全体映像を、背景（Background）、非被覆領域（Uncovered Region）、動き補償の可能な領域（ＭＣ−Region）、動き補償の不可能な領域（ＭＦ−Region）に区分して符号化する方式である。
ここで、動き補償可能物体（ＭＣ−object）とは３次元空間上の物体を２次元的な物体に変換して水平移動、回転移動、線形変形など一定の法則をもって動く物体を言い、動き補償不可能物体（ＭＦ−object）とはこの一定の法則が適用されない物体をいう。

図７は１つのフレームグリッド３１において１つの単位マクロブロック３３との関係を示す図面である。１つのフレームグリッド３１はＸ軸及びＹ軸方向にアレイ状に分割されてあり、分割された各々が単位マクロブロック３３となる。図７（Ａ）はグリッド開始位置点がＸ−０，Ｙ−０であるフレームグリッドを示し、図７（Ｂ）は１つの単位マクロブロックを拡大して示すもので、１つの単位マクロブロックがＸ軸に８、Ｙ軸に８分割された状態を示す。ここで、分割された素子を画素（ピクセル）３４という。単位マクロブロック３３は画素数に応じてＮ×Ｍマクロブロックと呼ばれる。従って、図７（Ｂ）の単位マクロブロックは８×８マクロブロックになる。

このように分割した物体を符号化するための技法として用いられる従来の形状適応形技法を図８を参照して考察してみる。
ここで、フレームグリッドは８×８のマクロブロックを有し、このマクロブロック内に移動補償不可能物体が全て満たされた場合には、２次元ＤＣＴ（Discrete Cosine Transform:離散コサイン変換）と同一の効率となる。ブロック内に移動補償不可能物体が全ては満たされない場合には該当する移動補償不可能物体の形状部分だけＸ軸で１次元ＤＣＴをし、さらにＹ軸で１次元ＤＣＴをする。

以下、このような従来の形状適応形技法をより詳しく説明する。
図８（Ａ）は、８×８のマクロブロック内に移動補償不可能物体（斜線の引かれた部分）が存在する様子を示している。
この移動補償不可能物体を形状適応形ＤＣＴにより符号化するために、まず図８（Ｂ）に示すようにブロックの上方境界に移動補償不可能物体を満たしておいて垂直方向に、即ちＹ方向に１次元ＤＣＴにより符号化を行う。

図８（Ｃ）の黒い円印は垂直方向１次元ＤＣＴの離散コサイン変換（ＤＣ）値を表すものである。この状態でＹ方向１次元ＤＣＴを行う。このようにＹ方向１次元ＤＣＴが行われ図８（Ｄ）の状態が得られると、図８（Ｅ）のように再びブロックの左側境界に満たしておいて水平方向（Ｘ方向）に１次元ＤＣＴ符号化を行う。Ｘ方向１次元ＤＣＴを完了させると、結局Ｘ方向及びＹ方向１次元形状適応形ＤＣＴが図８（Ｆ）に示すように完了する。

最終形態の図８（Ｆ）をもってジグザグスキャン（ZIGZAG SCAN）を行い、一番左側の最上のブロックから対角線方向に移動物体をスキャンする。
前述したブロック中心符号化を用いるＭＰＥＧ−１，ＭＰＥＧ−２，ＪＰＥＧ，Ｈ．２６１，Ｈ．２６３など既存の標準では、図３に示すような形態のマクロブロックＭＢを使用する。この場合、１つのマクロブロック内には図３に示すように４つのブロックＹ１，Ｙ２，Ｙ３，Ｙ４が存在する。マクロブロックＭＢ内に存在する４つのブロック（block）を符号化する際に、各ブロックＹ１，Ｙ２，Ｙ３，Ｙ４内にデータが存在する場合と存在しない場合とが発生する。既存の標準ではこのようにブロック内にデータが存在するか否かを表示するためにコードブロックパターン（Coded Block Pattern）を使用する。

図４はＨ．２６３標準で使用するコードブロックパターンに対する可変長符号表（variable length code table）を示したものである。この可変長符号表は、１６の状態をそれぞれ示すインデックス欄、イントラ（ＩＮＴＲＡ）モード時におけるコードブロックパターン（ＣＢＰＹ）を示すＣＢＰＹ（イントラモード）欄、インター（ＩＮＴＥＲ）モード時におけるコードブロックパターン（ＣＢＰＹ）を示すＣＢＰＹ（インターモード）欄、可変長コード化データのビット長を示すビット数欄及び可変長コード化データを示す可変長コード化データ欄から構成されている。

またＣＢＰＹ欄の（１，２，３，４）はデータの存在する４つの単位ブロックＹ１，Ｙ２，Ｙ３，Ｙ４に対応しており、１がＹ１に、２がＹ２に、３がＹ３に、４がＹ４に対応する。従って、例えばインデックス１においてＣＢＰＹ（イントラモード）の値が（０，０，０，１）で表わされているのは、ブロックＹ１，Ｙ２，Ｙ３にはデータが存在せず、ブロックＹ４にはデータが存在することを示す。なおこの場合には可変長コード化データは５ビットで、００１０１と表わされる。このように可変長符号表を使用することにより、各マクロブロックにデータが存在するか否かを効果的に表示することが出来、しかも変換により得られた可変長コード化データを用いて伝送するデータの量を減少させる、即ち、データ圧縮を実現することができる。

しかし、このような従来のブロック中心映像信号符号化によるデータ圧縮方法では、マクロブロックにデータが存在するか否かを表示するためにコードブロックパターンを使用するが、この際、コードブロックパターンに対する可変長符号表が１つに固定されているので伝送されるデータ減縮効率が低下するという問題点があった。

つまり、１つのマクロブロック内には物体の個数が互いに異なって分布（例えば、マクロブロックの一部分にのみ小さい物体が存在するか、或いはマクロブロック全体に物体が存在する場合）するにも拘わらず同一の可変長符号表を適用するため、データ減縮効率が低下する。
本発明はかかる従来の物体中心符号化時に発生する符号化効率の低下問題を解決するためのもので、伝送されるデータの減縮効率を高くするデータ圧縮方法を提供することを目的とする。

本発明の輝度情報復号化装置は、復号化されるべきマクロブロック内の物体が存在する単位ブロックの個数に応じて異なる可変長符号テーブルを適用してブロックフォーマットで輝度情報を復号化する装置において、受信したビットストリームから前記マクロブロックの輝度成分コードブロックパターン（ＣＢＰＹ）を取り込むデマルチプレクサを備え、前記輝度成分コードブロックパターン（ＣＢＰＹ）は、前記マクロブロック内の複数の輝度ブロックのうちどのブロックが符号化された輝度情報を有するかを示すものであり、さらに、前記マクロブロック内の形状情報に基づいて、前記輝度成分コードブロックパターン（ＣＢＰＹ）中の、伝送された輝度情報のないブロックの復号化を省略して、前記マクロブロックの前記輝度成分コードブロックパターン（ＣＢＰＹ）を用いて符号化されたテクスチャデータを復号化するテクスチャ・デコーダを備えることを特徴とする。

以上説明したように、本発明は各マクロブロック内を分割した単位ブロック内の物体存在可否に応じて符号化利得の一番高い互いに異なる可変長符号表を適用するようにしたので、伝送されるデータの減縮率を高めることができ、且つ符号化利得も高めることができるという利点がある。

以下、本発明の実施の形態を添付図面に基づいて詳細に説明する。
本発明が適用されるシステムは図５に示されている一般的な映像符号化システムであり、映像信号が入力され、１つのフレームの映像を物体別に映像分割するＶＯＰ（Video Object Plane：映像物体面）形成部１０と、そのＶＯＰ形成部１０から得られる各物体の形状情報を符号化する符号化部２０と、前記符号化部２０内のそれぞれの符号化器２１，２２，２３，…からそれぞれ得られる符号化された映像信号を多重化する多重化部３０とから構成される。ＶＯＰ形成部１０で映像信号入力手段から入力される１つのフレームの映像情報を物体別に分割し、符号化部２０内のそれぞれの符号化器２１，２２，２３，…でそれぞれ物体別に形状情報を符号化する。

ここで、符号化部２０内の１つの符号化器２１は図６に示すように構成される。物体形状情報を選択するためのスイッチ２１ａと、スイッチ２１ａによって選択された形状情報を符号化する形状情報符号化部２１ｃと、形状情報符号化部２１ｃで符号化された形状情報と任意の形状情報とを選択するための選択スイッチ２１ｄと、スイッチ２１ａによって選択された形状情報の動きを、再現された以前の形状情報または任意形状の情報によって推定する動き推定部２１ｅと、動き推定部２１ｅで推定される動き量に応じて形状情報の動きを補償する動き補償部２１ｆと、ＶＯＰ形成部１０で得られる映像から動き補償部２１ｆで補償された映像を減算する減算器２１ｇと、減算器２１ｇから得られる映像信号を符号化する映像信号符号化部２１ｈと、映像信号符号化部２１ｈから得られる映像情報と動き補償部２１ｆで動き補償された映像信号とを加算する加算器２１ｉと、加算器２１ｉから得られる映像信号でＶＯＰを再現するＶＯＰ再現部２１ｊと、マクロブロック内の物体の存在するブロックの個数に応じた互いに異なるブロックパターンのための可変長符号表が貯蔵されたメモリ２１ｂとから構成される。

このように構成された符号化器２１は、スイッチ２１ａによってＶＯＰ形成部１０から得られる物体形状情報を選択し、その選択された形状情報は形状情報符号化部２１ｃで該当物体の形状情報として符号化される。そして、選択スイッチ２１ｄで前記符号化された形状情報と任意の形状情報のＶＯＰとを選択的に多重化部２１ｋへ伝達し、動き推定部２１ｅはＶＯＰ形成部１０で得られる形状情報から動きを推定し、動き補償部２１ｆはその推定された物体の動き量に応じて動きを補償する。

そして、動きの補償された映像はＶＯＰ形成部１０から得られる物体形状情報と減算器２１ｇで減算された後、映像信号符号化２１ｈで映像信号が符号化された信号情報として多重化部２１ｋに伝達される。
この際、映像信号符号化部２１ｈは、マクロブロック内の物体の存在するブロック個数に応じてメモリ２１ｂに貯蔵された互いに異なるブロックパターンのための可変長符号表を選択的に適用してコードブロックパターンを生成する。

尚、映像信号符号化部２１ｈで符号化された映像信号は、加算器２１ｉで動き補償された映像信号と加算された後、ＶＯＰ再現部２１ｊで以前ＶＯＰとして再現され、その再現されたＶＯＰによって動き推定部２１ｅはＶＯＰ形成部１０から得られる物体形状情報の動きを推定し、その結果によって推定された動き情報を多重化部２１ｋに伝達する。

その後、多重化部２１ｋはそれぞれ入力される符号化された形状情報，動き情報及び信号情報を多重化して出力させ、その多重化された信号はバッファ部２１ｍを介して図示しないデコーダへビットストリームとして伝送される。
ここで、本発明の核心は、マクロブロック内の各単位ブロックの物体存在個数に応じてメモリ２１ｂに貯蔵された多数の可変長符号表を選択的に適用することにある。

次に、このための本発明の実施の形態を説明する。
即ち、図１に示すように、物体Ｐは必ずしも正方形を成していないため、マクロブロックＭＢ単位で分割すると、その分割されたマクロブロックＭＢ内に物体Ｐが含まれるブロックと含まれていないブロックとが出来る。

図１（Ａ）に示すように、多数のマクロブロックＭＢに分割された１つのフレーム内の映像情報データとして表わされる物体Ｐは分割された各マクロブロックにデータとして存在する部分と、存在しない部分とがある。
図１（Ｂ）は図１（Ａ）中で点線で囲まれた領域Ｑの部分を拡大して示した図である。図中に斜線で示した部分が物体Ｐを示している。図１（Ｂ）では４つのマクロブロックＭＢ１，ＭＢ２，ＭＢ３，ＭＢ４が示されており、各マクロブロックは４つの単位ブロックＹ１，Ｙ２，Ｙ３，Ｙ４から構成される。
従ってマクロブロックＭＢ内に物体Ｐが含まれる単位ブロックと、物体Ｐが含まれていない単位ブロックとがあることがわかる。これを区別して図２に示した。

つまり、図２の（Ａ）に示したマクロブロック１（ＭＢ１）は１番目の単位ブロックＹ１を除いたその他の単位ブロックＹ２，Ｙ３，Ｙ４内には物体が全て存在し、（Ｂ）のマクロブロック２（ＭＢ２）は全ての単位ブロックＹ１，Ｙ２，Ｙ３，Ｙ４内に物体が全て存在し、（Ｃ）のマクロブロック３（ＭＢ３）は２番目の単位ブロックＹ２内にのみ物体が存在し、（Ｄ）のマクロブロック４（ＭＢ４）は１番目の単位ブロックＹ１と２番目の単位ブロックＹ２にのみ物体が存在する。

このようにマクロブロック内の各単位ブロックには物体が選択的に存在するので、それぞれの場合に対して互いに異なる可変長符号表を適用して符号化利得を高め、且つデータ減縮効率を高める。

即ち、マクロブロック１（ＭＢ１）内には３つの単位ブロックＹ２，Ｙ３，Ｙ４にのみ物体が存在するので、表１のような可変長符号表を適用すると、データ減縮が可能になって符号化利得を高めることができる。

マクロブロック２（ＭＢ２）には４つの単位ブロックＹ１，Ｙ２，Ｙ３，Ｙ４に全て物体が存在するので、この場合には図４に示す既存の可変長符号表をそのまま適用し、マクロブロック３（ＭＢ３）には１つの単位ブロックＹ２にのみ物体が存在するので、表３のような可変長符号表を適用し、マクロブロック４（ＭＢ４）には２つの単位ブロックＹ１，Ｙ２にのみ物体が存在するので、表２のような可変長符号表を適用する。

なお上述した実施の形態では、各マクロブロックを４つの正方形単位ブロックに分割した場合について互いに異なる可変長符号表を適用する場合について説明したが、分割数はこれに限定されるものではなく、他の分割数を採用した場合には、それぞれの単位ブロック内の物体存在可否に応じて符号化利得の一番高い互いに異なる可変長符号表を実験により同様に求めることが出来る。
このようにマクロブロック内の各単位ブロックの物体存在有無に応じて互いに異なる可変長符号表（符号化利得の一番良い可変長符号表）を適用することにより、データ減縮率と符号化利得を高めることができる。

ここで、表１，２，３に示される互いに異なる可変長符号表は実験によって求められた新しい可変長符号表であり、ここで、イントラ（ＩＮＴＲＡ）とインター（ＩＮＴＥＲ）の用語は次のように定義される。
時間軸上における物体の特性は、以前のフレームには無かったが現在のフレームには現れた物体の場合（物体タイプＩ）と、極めて小さい物体の場合（１０画素以内の物体；物体タイプII）と、相対的に極めて大きい物体の場合（１０画素以上の物体；物体タイプIII）とに大別されるが、ここで、以前のフレームには無かったが現在のフレームに現れた物体の場合と、大きさが１０画素未満の極めて小さい物体の場合には符号化タイプをＩＮＴＲＡモード（非予測モード）に決定し、前記特性を持っていない物体の場合にはＩＮＴＥＲモード（予測モード）に決定する。

任意の物体をマクロブロック単位で分割した例示図。 マクロブロック内に物体が存在する単位ブロックを表示した図。 ＭＰＥＧ−１，ＭＰＥＧ−２，Ｈ．２６１，Ｈ．２６３などの既存の標準で使用する４つの単位ブロックＹ１，Ｙ２，Ｙ３，Ｙ４を含むマクロブロックＭＢを示す図。 Ｈ．２６３標準で使用するコードブロックパターンに対する可変長符号化表。 本発明が適用される物体映像符号化システムのブロック構成図。 図５中の１つの符号化器２１の詳細構成図。 一般的なフレームグリッドとマクロブロックとの説明図。 一般的な形状適応形ＤＣＴ変換の説明図。

符号の説明

１０ ＶＯＰ形成部
２０ 符号化部
３０ 多重化部
ＭＢ１〜ＭＢ４ マクロブロック
Ｙ１〜Ｙ４ 単位ブロック

Claims (7)

1. 復号化されるべきマクロブロック内の物体が存在する単位ブロックの個数に応じて異なる可変長符号テーブルを適用してブロックフォーマットで輝度情報を復号化する装置において、
   受信したビットストリームから前記マクロブロックの輝度成分コードブロックパターン（ＣＢＰＹ）を取り込むデマルチプレクサを備え、前記輝度成分コードブロックパターン（ＣＢＰＹ）は、前記マクロブロック内の複数の輝度ブロックのうちどのブロックが符号化された輝度情報を有するかを示すものであり、さらに、
   前記マクロブロック内の形状情報に基づいて、前記輝度成分コードブロックパターン（ＣＢＰＹ）中の、伝送された輝度情報のないブロックの復号化を省略して、前記マクロブロックの前記輝度成分コードブロックパターン（ＣＢＰＹ）を用いて符号化されたテクスチャデータを復号化するテクスチャ・デコーダ
   を備えることを特徴とする輝度情報復号化装置。
2. 前記物体が存在する単位ブロックは、前記単位ブロック内に前記形状情報を有するブロックであることを特徴とする請求項１に記載の輝度情報復号化装置。
3. 前記可変長符号テーブルが、
   前記マクロブロック内に１つの物体が存在する時に使用される第１可変長符号テーブルと、
   前記マクロブロック内に２つの物体が存在する時に使用される第２可変長符号テーブルと、
   前記マクロブロック内に３つの物体が存在する時に使用される第３可変長符号テーブルと、
   前記マクロブロック内に４つの物体が存在する時に使用される第４可変長符号テーブルと
   からなることを特徴とする請求項１に記載の輝度情報復号化装置。
4. 前記第１可変長符号テーブルは、
   

   

   であることを特徴とする請求項３に記載の輝度情報復号化装置。
5. 前記第２可変長符号テーブルは、
   

   

   であることを特徴とする請求項３に記載の輝度情報復号化装置。
6. 前記第３可変長符号テーブルは、
   

   

   であることを特徴とする請求項３に記載の輝度情報復号化装置。
7. 前記第４可変長符号テーブルは、
   

   

   であることを特徴とする請求項３に記載の輝度情報復号化装置。

Images