JP2005503736A

JP2005503736A - ビデオ符号化及び復号化方法並びに対応する信号

Info

Publication number: JP2005503736A
Application number: JP2003529777A
Authority: JP
Inventors: セシルドゥフォア; グウェナエレマークワント; ステファネイーヴァレンテ
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2001-09-18
Filing date: 2002-09-04
Publication date: 2005-02-03
Also published as: EP1430726A2; CN1310519C; WO2003026312A3; KR20040036948A; US20030138052A1; WO2003026312A2; CN1555654A

Abstract

本発明は、ビデオフレームのシーケンスに適用され、いかなる復号器も符号化されたビットストリームの内容のすべてのセグメントを認識し復号化することを可能にするビットストリーム構文によってそれぞれのデータ項目が記述される前記符号化されたビットストリームを生成するビデオ符号化方法に関する。例えばＭＰＥＧ及びＩＴＵ−Ｈ．２６Ｘファミリーのビデオ圧縮規格内に適用例を見つける本発明によれば、構文は、前記符号化されたビットストリームにおいて記述されるそれぞれのチャネルごとに符号化された残差信号の存在又は不在を高い記述レベルで示すために与えられるフラグを有し、前記残差は、直前の復号化されたフレームに適用され、のちに前記残差信号の構築が行われる予測技法によって規定される。

Description

【技術分野】
【０００１】
本発明は、概してビデオ圧縮の分野に関し、より具体的には例えばＭＰＥＧファミリー（ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４）及びＩＴＵ−Ｈ．２６Ｘファミリー（Ｈ．２６１、Ｈ．２６３及びエクステンション、Ｈ．２６Ｌ）のビデオ規格に関する。本発明は、ビデオフレームのシーケンスに適用され、符号化されたビットストリームの内容のすべてのセグメントをいかなる復号器も認識し復号化することを可能にするビットストリーム構文によってそれぞれのデータ項目が記述される該符号化されたビットストリームを生成するビデオ符号化方法に関する。
【０００２】
本発明は更に、前記符号化方法を実行するための装置と、このような符号化装置によって送り出される伝送可能なビデオ信号と、前記伝送可能な信号を復号化するためのビデオ復号化方法と、対応する復号化装置とに関する。
【背景技術】
【０００３】
最初のビデオ規格（ＭＰＥＧ−４及びＨ．２６Ｌについて）において、ビデオは、異なる別々のチャネル（たとえば輝度、クロミナンス、形状、...）に沿ってマクロブロックごとに予測的に符号化される。この予測は、例えば文書「MPEG video coding : a basictutorial introduction」（S.R. Ely, BBC Research and Development Report, 1996年）に記載されているような動き補償技法を使用して実施される。動きベクトルフィールドは、符号化されるべき現在フレームの予測を形成するために直前に復号化されたフレームに適用される。残差信号又は単に残差と呼ばれる差の画像は、符号化されるべき現在フレームとこの予測フレームとの減算によって得られる。
【０００４】
入力信号（輝度、クロミナンス、形状、...）に存在するすべてのチャネルに沿って存在するこの残差は、２進符号化される。しかしながら、残差がごくわずかな情報しか含まない状況がある。例として、この残差のエネルギーが２つの連続するフレームの間の冗長性のために非常に低いとき、又はビットバジェットが、テクスチャについて多くの情報を符号化することを許さないとき等である。上記で言及した規格の場合、伝送されるべき信号を記述する構文は常に、いかなる情報も符号化されないことの記述を含み、必要でないこれらの記述的な要素の伝送を強いる。この柔軟性の欠如は、結果として、例えば規格ＭＰＥＧ−４及びＨ．２６Ｌの場合（及び例えば所与のピクチャの輝度及びクロミナンスチャネルについて残差信号を送り出すことが望ましくないとされる場合）に説明されるように、ビットの浪費をもたらし、よって符号化効率の低下をもたらす。
【０００５】
ａ）規格ＭＰＥＧ−４：
「Information Technology - Coding of audio-visual objects - Part 2 : Visual」（ISO/IEC JTC1/SC29/WG11，Maui，USA，1999年12月）とも呼ばれるＭＰＥＧ−４ドキュメント番号ｗ３０５６の５０乃至５３ページに規定されるように、「ｃｂｐｙ」と呼ばれるフィールドは、どの８×８輝度ブロックが実際に１６×１６画素（ピクセル）の特定のマクロブロック（ＭＢ）についてビットストリームに符号化されたかを示す記述的な要素として使用される。前述の記述的な要素は、同ドキュメントの３４０ページ、表Ｂ−８に見られる可変長コード（ＶＬＣ）によってエントロピー符号化される（残差信号がマクロブロックの４つのブロックについて符号化されないとき、この要素は、２ビットに関して符号化される「００００」である）。同様に、「ｍｃｂｐｃ」と呼ばれるフィールド（同じく５０乃至５３ページ参照）は、どの８×８クロミナンスブロック（Ｕ及びＶ）がマクロブロックについて符号化されたかを示す記述的な要素として使用される（いかなる残差信号も存在しないとき、「ｍｃｂｐｃ」は値「００」をとる）。いくつかのＶＬＣテーブルが、マクロブロックタイプに依存して使用され、従って値「００」は、ビットストリームの中の１乃至６ビットによって表わされる（３３９ページ、表Ｂ−６及びＢ−７参照）。その結果、「いかなる残差信号も符号化されない」という情報は、マクロブロックごとに３ビット乃至８ビットを必要とする。従って、例えばビットの浪費は、３９６マクロブロックを含む（サイズ３５２×２８８ピクセルの）ＣＩＦ（共通中間フォーマット）中間ピクチャ（inter picture）について、３９６ｘ３ビット／マクロブロック（＝１１８８ビット）から３９６ｘ８ビット／マクロブロック（＝３１６８ビット）の範囲である。
【０００６】
ｂ）規格Ｈ．２６Ｌ：
Ｈ．２６ＬドキュメントＱ１５−Ｋ−５９「H.26L Test Model Long Term Number 5 (TML-5)-Draft 0」（ITU-Telecommunications Standardization Sector, 11^th Meeting, Portland, Oregon, USA, 8月22日-25日, 2000年）の１６ページに規定されるように、いかなる残差信号も存在しないことを示すために、いわゆる符号化されたブロックパターン（ＣＢＰ）の構文要素がマクロブロックレベルで使用される。前述の情報が符号化されるこの要素は、より具体的には、所与の１６ｘ１６マクロブロックについて２種類の情報を含む。これらは、どの８×８輝度ブロックがビットストリームに符号化されたか（４ビットに関する）、及びクロミナンス係数が符号化されたか否か（２ビットに関して符号化される３つの可能性）である。「残差信号なし」の場合のＣＢＰ要素は、（同ドキュメント、７ページ、表１に従って）１ビットに関して符号化される１０進値「０」をとり、従って、ビットの浪費は、ＣＩＦ中間ピクチャについては（ちょうど）３９６ビットである。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
従って、本発明の目的は、このようなビットの浪費を低減し、よって符号化効率を改善することを可能にするビデオ符号化方法を提案することである。
【課題を解決するための手段】
【０００８】
このため、本発明は、説明の冒頭部分に規定されるような方法であって、前記構文が、符号化されたビットストリームにおいて記述されるそれぞれのチャネルごとに符号化された残差信号の存在又は不在を高い記述レベルで示すフラグを有することを特徴とする方法と、対応する符号化装置とに関する。
【０００９】
本発明は更に、このようなビデオ符号化方法によって生成され、いかなる復号器でも前記ビットストリームの内容のすべてのセグメントを認識し復号化することを可能にするビットストリーム構文によってそれぞれのデータ項目が記述される符号化されたビットストリームからなる伝送可能なビデオ信号であって、前記ビデオフレームが、現在フレームの予測を生成し、符号化されるべき現在フレームとこの予測フレームとの減算がのちに行われる予測技法によってマクロブロックごとに符号化され、前記減算は、残差と呼ばれ符号化されるべき信号を構成する差の画像をもたらし、前記信号が、符号化されたビットストリームにおいて記述されるそれぞれのチャネルについて、符号化された残差信号の存在又は不在を高い記述レベルで示すために与えられる構文的要素を含むことを特徴とする信号に関する。
【００１０】
本発明は更に、前記伝送可能なビデオ信号を復号化するためのビデオ復号化方法及び対応する復号化装置に関する。
【発明を実施するための最良の形態】
【００１１】
本発明は、添付の図面を参照してより詳しく説明される。
【００１２】
上記で説明したビットの浪費の問題を解決するため、考慮される規格のタイプを問わず、これらの規格に一層多くの柔軟性を与えることを可能にする他の構文的要素を導入することが提案される。この導入は、例えばビデオオブジェクト層（ＶＯＬ）ＭＰＥＧ−４レベルと同等の高い記述レベルにおいてビットストリームに特定のフラグを付加することによって実現され、このフラグは、本発明に従って、残差信号が符号化されるか否かについての表示をビットストリームに与えることが意図される。前述の表示はさまざまなチャネルの間で異なることがありえるので、これらのチャネル（輝度、クロミナンス、形状、...）のそれぞれについて、マクロブロックレベルより高いレベルで上述したような情報を規定することが実際に提案され、これは更に、将来の規格に関して大きな柔軟性を提供する。
【００１３】
以下の記述において、チャネルの存在は、シーケンスレベル（ＭＰＥＧ−４用語のＶＯＬ）においていくつかの構文要素によって記述されるものとする。これらの要素の例として以下を挙げる。
Video_object_layer_lum １ビット
Video_object_layer_chrom １ビット（白黒の場合、０）
Video_object_layer_additional_channels_enable １ビット
（輝度及びクロミナンスチャネルのみの場合、０）
Number_of_additional_channels ４ビット
Video_object_additional_channels[i] １ビット（存在しない場合、０）
付加のチャネルの例として以下が挙げられる。
Video_object_layer_shape １ビット（長方形の場合、０）
Video_object_layer_depth １ビット（平坦な深さの場合、０）
これらの構文要素は、以下のように読み取られるべきである。
−「Video_object_layer_lum」が１である場合、ビットストリームが輝度チャネルについて構文要素を含むことを意味する。
−「Video_object_layer_chrom」が１である場合、ビットストリームはクロミナンスチャネルについて構文要素を含み、その他の場合、シーケンスは白黒であるものとする。
−「Video_object_layer_additional_channels_enable」が１である場合、ビットストリームは付加のチャネルを記述する構文要素を含む。
【００１４】
このような場合、変数「Number_additional_channels」は、付加のチャネルの数をもつ。輝度及びクロミナンスチャネルに加えて付加のチャネルが存在する場合、以下の構文がありうる。
−「Video_object_layer_shape」が１である場合、ビットストリームは、ピクチャについて非長方形の形状を記述することが意図される構文要素を含む。その他の場合、長方形であるとされる。
−「Video_object_layer_depth」が１である場合、ビットストリームは、ピクチャについて深さテクスチャを記述することが意図される構文要素を含む。その他の場合、平坦なピクチャであるとされる。
−付加のチャネルの数（Number_of_additional_channels）に依存して、他のチャネル記述がありうる。
【００１５】
関連するチャネルについて残差信号の存在を示すために、以下のフラグが提案される（ｉはｉ番目の付加のチャネルを示す）。
【００１６】

この構文要素は、対応するチャネルの存在がより高いレベルで示される場合のみ、中間ピクチャごとの復号化の前にビットストリームから取り出されるべきである。これは、例えば疑似Ｃコードでここに記述する以下のアルゴリズムに対応する。ここで、関数read_bit(1)は、ビットストリームから次の読み取られていないビットを返す。
【００１７】
【表１】

【００１８】
これらの要素の意味論上の意味に関し、提案される１ビット構文は、以下のように理解されるべきである。
【００１９】
Vop_lum_channel_coded：１にセットされる場合、これは、ある残差信号が現在ピクチャの輝度チャネルについて符号化されたことを示す。０にセットされる場合、これは、輝度残差信号がこのピクチャについて符号化されなかったことを示す。
【００２０】
Vop_chrom_channel_coded：１にセットされる場合、これは、ある残差信号が現在ピクチャのクロミナンスチャネルについて符号化されたことを示す。０にセットされる場合、これは、クロミナンス残差信号がこのピクチャについて符号化されなかったことを示す。
【００２１】
Vop_additional_channel_coded[i]：１にセットされる場合、これは、ある残差信号がｉ番目の付加のチャネルについて符号化されたことを示す。０にセットされる場合、これは、残差信号が前述のｉ番目の付加のチャネルについて符号化されなかったことを示す。
【００２２】
上述のビデオ符号化方法は、例えば、動き補償されるフレーム間予測を用いるＭＰＥＧコーダの例を示す図１に図示されるような符号化装置において実現されることができる。このコーダは、符号化及び予測ステージを有する。符号化ステージそれ自体は、（ＭＰＥＧに規定されるような符号化モードＩ、Ｐ又はＢの選択を決定するための）モード決定回路１１、ＤＣＴ回路１２、量子化回路１３、可変長符号化回路１４、バッファ１５及びレート制御回路１６を有する。予測ステージは、動き推定回路２１、動き補償回路２２、逆量子化回路２３、逆ＤＣＴ回路２４、加算器２５及び符号化装置の入力信号ＩＳと予測ステージの出力部で（すなわち動き補償回路２２の出力部で）得られる予測された信号と間の差を符号化ステージへ送るための減算器２６を有する。この差又は残差は、符号化されるべきビットストリームであり、バッファ１５の出力信号ＣＢは、本発明によれば、符号化されたビットストリームにおいて記述されるそれぞれのチャネルごとに符号化された残差信号の存在又は不在を高い記述レベルで示す構文的要素を有する符号化されたビットストリームである。
【００２３】
符号化装置の別の例は、ＭＰＥＧ−４規格の仕様に基づくことができる。ＭＰＥＧ−４ビデオフレームワークにおいて、１又はいくつかのビデオオブジェクト（及び可能性としてそれらの拡張層）からなりうる各シーンは、ビデオオブジェクト（ＶＯ）と呼ばれ別々の基本のビットストリームを使用して符号化されるこれらのオブジェクトの合成として組み立てられる。従って、入力されたビデオ情報は、まずセグメンテーション回路によってビデオオブジェクトＶＯに分割され、これらのビデオオブジェクトＶＯは、形状符号化、動き符号化及びテクスチャ符号化を含む基本の符号化構造に送られる。それぞれのビデオオブジェクトＶＯは、これらの符号化ステップを考慮してマクロブロックに分けられる。これらのマクロブロックは、例えば４：２：０のフォーマットの場合、４つの輝度ブロック及び２つのクロミナンスブロックにあり、１つずつ符号化される。本発明によれば、前記符号化ステップから得られる符号化された信号を含む多重化されたビットストリームは、符号化された残差信号の存在又は不在を、符号化されたビットストリームにおいて記述されるそれぞれのチャネルごとに高い記述レベルで示す構文的要素を含む。
【００２４】
互恵的に、対応する復号化方法に従って、復号化側に送られるこの構文的要素は、前記要素を含む符号化されたビットストリームを受け取り前記復号化方法を実行するビデオ復号器において適当な手段によって読み取られる。符号化されたビットストリームの内容のすべてのセグメントを認識し復号化することができる復号器は、前記付加の構文的要素を読み取り、符号化された残差信号が存在しないことを知る。このような復号器は、符号化装置と同様にいかなるＭＰＥＧタイプのものでもよく、その基本的な要素は、例えば直列に並べられた、符号化されたビットストリームを受け取る入力バッファ、ＶＬＣ復号器、逆量子化回路及び逆ＤＣＴ回路である。符号化及び復号化装置の双方において、符号化又は復号化演算のステップを管理するための制御器が設けられてもよい。
【００２５】
本発明の好ましい実施例の上記の記述は説明及び解説の目的で表されている。網羅的であること及び本発明を開示されたまさにそれらの形態に限定することは意図されず、当業者に明らかであり本発明の範囲に含まれることが意図される変形例及び変更例が上述の教示を考慮して可能であることは明らかである。
【００２６】
例えば、ここに記述した符号化及び復号化装置は、ハードウェア又はソフトウェアの１つのアイテムがいくつかの機能を実行することができ、又はハードウェア及びソフトウェアのアイテムの集まり若しくは双方が１つの機能を実行することを除外することなく、ハードウェア、ソフトウェア又はハードウェアとソフトウェアとの組合せにおいて実現されうることが理解されることができる。記述した方法及び装置は、如何なるタイプのコンピュータシステム又は他の適応化された装置によっても実現されることができる。ハードウェア及びソフトウェアの一般的な組み合わせは、ロードされ実行されるときにここに記述した方法を実行するようにコンピュータシステムを制御するコンピュータプログラムを用いた汎用コンピュータシステムでありえる。代替例として、本発明の１つ又は複数の機能的なタスクを実行するための特化したハードウェアを有する特定用途向けコンピュータが利用されうる。
【００２７】
本発明は更に、ここに記述した方法及び機能の実現を可能にするすべての特徴を有し、コンピュータシステムにロードされるときこれらの方法及び機能を実行することが可能なコンピュータプログラム製品に埋め込まれることができる。コンピュータプログラム、ソフトウェアプログラム、プログラム、プログラム製品又はソフトウェアは、このコンテキストにおいて、情報処理能力を具えるシステムに直接に又は（ａ）別の言語、コード又は表記への変換、及び／又は（ｂ）異なる材料形態での再生、のいずれか若しくは両方のあとに特定の機能を実施させることが意図される命令の組のあらゆる言語、コード又は表記でのあらゆる表現を意味する。
【図面の簡単な説明】
【００２８】
【図１】動き補償されるフレーム間予測を用いるＭＰＥＧコーダの例を示す図。

Claims

ビデオフレームのシーケンスに適用され、符号化されたビットストリームの内容のすべてのセグメントをいかなる復号器も認識し復号化することを可能にするビットストリーム構文によってそれぞれのデータ項目が記述される該符号化されたビットストリームを生成する、ビデオ符号化方法であって、前記ビデオフレームは、現在フレームの予測を生成し、符号化されるべき前記現在フレームとこの予測フレームとの減算がのちに行われる予測技法によってマクロブロックごとに符号化され、前記減算は、残差と呼ばれ符号化されるべき信号を構成する差の画像をもたらし、更に前記構文が、前記符号化されたビットストリームにおいて記述されるそれぞれのチャネルについて、符号化された残差信号の存在又は不在を高い記述レベルで示すフラグを有することを特徴とするビデオ符号化方法。
前記ビデオフレームは、動き補償技法によって予測的に符号化される、請求項１に記載のビデオ符号化方法。
前記ビデオフレームは、低い解像度に基づく信号のアップサンプリング処理によって予測的に符号化される、請求項１に記載のビデオ符号化方法。
請求項１乃至請求項３のいずれか１項に記載のビデオ符号化方法によって生成され、符号化されたビットストリームの内容のすべてのセグメントをいかなる復号器も認識し復号化することを可能にするビットストリーム構文によってそれぞれのデータ項目が記述される該符号化されたビットストリームからなる、伝送可能なビデオ信号であって、前記ビデオフレームは、現在フレームの予測を生成し、符号化されるべき前記現在フレームとこの予測フレームとの減算がのちに行われる予測技法によってマクロブロックごとに符号化され、前記減算は、残差と呼ばれ符号化されるべき信号を構成する差の画像をもたらし、前記信号は、前記符号化されたビットストリームにおいて記述されるそれぞれのチャネルについて、符号化された残差信号の存在又は不在を高い記述レベルで示すために与えられる構文的要素を有することを特徴とする信号。
ビデオフレームのシーケンスに適用され、符号化されたビットストリームの内容のすべてのセグメントをいかなる復号器も認識し復号化することを可能にするビットストリーム構文によってそれぞれのデータ項目が記述される該符号化されたビットストリームを生成するビデオ符号化方法の実現によって生成された符号化されたビットストリームからなる伝送可能なビデオ信号を復号化するためのビデオ復号化方法であって、前記ビデオフレームは、現在フレームの予測を生成し、符号化されるべき前記現在フレームとこの予測フレームとの減算がのちに行われる予測技法によってマクロブロックごとに符号化され、前記減算は、残差と呼ばれ符号化されるべき信号を構成する差の画像をもたらし、前記信号が、前記符号化されたビットストリームにおいて記述されるそれぞれのチャネルについて、符号化された残差信号の存在又は不在を高い記述レベルで示すために与えられる構文的要素を有することを特徴とするビデオ復号化方法。
ビデオフレームのシーケンスに適用され、符号化されたビットストリームの内容のすべてのセグメントをいかなる復号器も認識し復号化することを可能にするビットストリーム構文によってそれぞれのデータ項目が記述される該符号化されたビットストリームを生成するビデオ符号化方法の実現によって生成された符号化されたビットストリームからなる伝送可能なビデオ信号を復号化するためのビデオ復号化装置であって、前記ビデオフレームは、現在フレームの予測を生成し、符号化されるべき前記現在フレームとこの予測フレームとの減算がのちに行われる予測技法によってマクロブロックごとに符号化され、前記減算は、残差と呼ばれ符号化されるべき信号を構成する差の画像をもたらし、前記信号は、前記符号化されたビットストリームにおいて記述されるそれぞれのチャネルについて、符号化された残差信号の存在又は不在を高い記述レベルで示すために与えられる構文的要素を有するビデオ符号化装置。