JP2005513926A

JP2005513926A - ビデオの符号化及び復号の方法

Info

Publication number: JP2005513926A
Application number: JP2003555815A
Authority: JP
Inventors: セシルデュホウル; グェナエレマルクワァント; ステファンイーヴァレンテ
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2001-12-20
Filing date: 2002-12-11
Publication date: 2005-05-12
Also published as: US20050100086A1; WO2003055225A1; AU2002366826A1; EP1459554A1; KR100944544B1; CN1605212A; KR20040068962A

Abstract

本発明は、フレームのシーケンスに適用され、符号化ビットストリームを生成するビデオ符号化方法及び装置であって、前記符号化ビットストリームにおいては、各データ項目が、あらゆる復号器が該ビットストリームのコンテンツの全要素を認識し、復号することを可能にするビットストリーム・シンタックスによって記述されるビデオ符号化方法及び装置に関する。本発明によれば、本発明は例えばビデオ圧縮規格MPEG-4に応用され、前記シンタックスは、前記シーケンスのシーンの各ビデオオブジェクトの形状の有無を高レベルの記述において示すために設けられる特定の１ビットフラグを有する。このフラグは、前記符号化ビットストリームにおいて伝送され、その値は、それに対応して復号ステップを制御するために復号側において読み取られる。

Description

本発明は、広くは、ビデオ圧縮の分野に関し、例えば、より詳細には、MPEGファミリ(MPEG-1, MPEG-2, MPEG-4)のビデオ規格に関する。より特定的には、本発明は、連続したビデオオブジェクトプレーン(VOP)に細分される連続したシーンに対応するビデオシーケンスに適用される符号化方法であり、前記シーンの全ビデオオブジェクトを符号化するために、符号化ビデオデータで構成される符号化ビットストリームを生成する符号化方法であって、前記符号化ビデオデータにおいては、各データ項目が、前記ビットストリームのコンテンツの全要素を認識し、復号することを可能にするビットストリーム・シンタックス(bitstream syntax)によって記述され、前記コンテンツが、少なくとも、クロミナンスチャネルを持つ又は持たない輝度チャネルと、少なくとも１つの付加的なチャネルとを有する別々のチャネルに関して記述されている符号化方法に関する。

本発明はまた、前記方法を実施する符号化装置と、前記符号化装置によって生成される符号化ビットストリームから成る伝送可能なビデオ信号と、前記ビデオ信号を受け取り、復号する装置とに関する。

（MPEG-2及びH.263までの）最初のビデオ符号化規格及び勧告においては、ビデオは、長方形であり、３つの別々のチャネル、即ち、所与のビット量Ｎ、例えば８ビットにおいて変化する黒及び白の情報を運ぶ１つの輝度チャネルと、各１つが、所与のビット量Ｍ、例えば８ビットにおいてクロミナンス表現によって規定される範囲内に含まれる値と等しいデジタル信号を含む２つのクロミナンスチャネルとに関して記述されると仮定された。

MPEG-4では、付加的なチャネル、即ち、ビデオシーケンス中にある各オブジェクトの輪郭を記述する（MPEG-4用語においては「任意形状チャネル(arbitrary shape channel)」とも呼ばれる）アルファチャネルが導入されている。他の付加的なチャネル、例えば、これで全てではないが、重ね合わされ得る様々なオブジェクトから成るビデオコンテンツのために必要とされる透明チャネル(transparency channel)（オブジェクトについては、この透明チャネルは、その結果オブジェクトのテクスチャ(texture)が他のオブジェクトのテクスチャに上書きする不透明であってもよく、又はその場合にディスプレイ上のテクスチャが様々なオブジェクトのテクスチャの混合からもたらされる半透明であってもよい）、（立体視することを可能にするディスプレイにおいてコンテンツが視覚化され得るように）コンテンツの２つの視界が必要とされるアプリケーションにとって有用な視差チャネル(disparity channel)、又は（三次元ナビゲーションが可能にされるアプリケーションの場合に）奥行きチャネル(depth channel)が供給され得る。

MPEG-4規格において、このような付加的なチャネルを記述するための唯一の手段は、所謂構文要素(syntactic element) "video_object_layer_shape_extension"の使用である。MPEG-4の文献のw3056, "Information Technology - Coding of audio-visual objects - Part 2 : Visual", ISO/IEC/JTC1/SC29/WG11, Maui, USA, December 1999の１１１ページ及び１１２ページに示されているように、構文要素 "video_object_layer_shape"は、ビデオオブジェクトレイヤの形状タイプを識別する２ビットの整数であり（表６乃至１４、１１２ページ参照）、要素"video_object_layer_shape_extension"は、用いられ得る補助構成要素の数（３つまで）及びタイプを識別する４ビットの整数である（表Ｖ２−１、１１２ページ参照、ここでは、限られた数のタイプ及び組み合わせが規定されているが、ユーザ規定(USER DEFINED)タイプを選択することで、より多くの利用可能なアプリケーションを持つことが可能である）。 "video_object_layer_shape"が00である場合には、オブジェクトが長方形であることを意味する（表６乃至１４）。文献w3056の３６ページの２６乃至３２行目（if (video_object_layer_shape = = "rectangular") { }の部分）に記載されているように、この長方形のオブジェクトの記述は、幅及び高さに関して長方形の大きさを伝送する必要があり、２９ビットを必要とする。MPEG-4のシンタックスで長方形オブジェクトの視差チャネル又は奥行きチャネルのような付加的なチャネルを伝送するためには、このオブジェクトは、"video_object_layer_shape"を１１に設定することによって非長方形（グレイスケール）として宣言されなければならない。オブジェクトが、（長方形であるけれども）グレイスケールであると宣言されると、シンタックスは、オブジェクトの形状を記述するビットを送らせる。これは、文献w3056の、
（ａ）５２ページの§6.2.6 Macroblockの１乃至６行目の部分と、
（ｂ）５６ページの§6.2.6.1 MB Binary shape codingの１乃至５行目の部分と、
（ｃ）１２８ページの§6.3.5.3 Shape codingから１２９ページの８行目まで及び表6.26の部分とに記載されているシンタックスに基づいてマクロブロックレベルにおいて行なわれる。

それ故、MPEG-4によって供給されるシンタックス及びセマンティック(semantic)によれば、視差チャネル又は奥行きチャネルのような付加的なチャネルの伝送のためのサポートは、形状（又は輪郭）を持つオブジェクトに対してしか供給されず、その場合に、それの記述が所与のビット数を用いて送られなければならないと思われる。結果として生じるビットの浪費は、例えばCIFピクチャの場合は、少なくともフレーム当たり３９６ビットの浪費、即ち、文献w3056の§6.3.5.3に記載されているbab_type情報（bab_type = 実際には１乃至７ビットを有する可変長符号）を供給するための少なくともマクロブロック当たり１ビットの浪費となるが、２９ビットだけで十分であろう。それ故、輝度チャネル及びクロミナンスチャネル並びに例えば長方形オブジェクトの視差のような１つの付加的なチャネルを伝送したい場合には、MPEG-4は、符号化効率の面では次善のものである。

それ故、本発明の目的は、このビットの浪費を防止すること、それ故、符号化効率を改善することを可能にするビデオ符号化方法を提案することにある。

この目的のため、本発明は、本明細書の導入部に規定されているような方法であって、更に、前記シンタックスが、シーケンスのシーンの各ビデオオブジェクトの形状の有無を高い記述レベル（high description level）において示す特定の１ビットフラグを有することを特徴とする方法に関する。

本発明はまた、対応する符号化装置に関し、連続したビデオオブジェクトプレーン(VOP)に細分される連続したシーンに対応するシーケンスに適用されるビデオ符号化方法によって生成される符号化ビットストリームから成る伝送可能なビデオ信号であり、前記シーンの全ビデオオブジェクトを符号化するために生成される前記符号化ビットストリームが、各データ項目が該ビットストリームのコンテンツの全要素を認識し、復号することを可能にするビットストリーム・シンタックスによって記述される符号化ビデオデータで構成されており、前記コンテンツが、少なくとも、クロミナンスチャネルを持つ又は持たない輝度チャネルと、少なくとも１つの付加的なチャネルとを有する別々のチャネルに関して記述されている伝送可能なビデオ信号であって、更に、前記符号化ビットストリームが、前記シーケンスの前記シーンの各ビデオオブジェクトの形状の有無を高い記述レベルにおいて示す特定の１ビットフラグも有することを特徴とする伝送可能なビデオ信号に関する。

最後に、本発明は、このような伝送可能なビデオ信号を受け取り、復号するビデオ復号器に関する。

上記のビットの浪費の問題を解決するために、本発明によれば、付加的なチャネルの記述から形状（又は輪郭）チャネルの記述を分離することが提案されている。この動作は、ありうる視差チャネル又は奥行きチャネルのような付加的なチャネルの存在の表示から分離されるであろう形状の存在についての表示をビットストリーム中に供給することによって実施される。この表示は、本発明に基づいて（少なくともビデオオブジェクトレイヤ − 即ちVOL − MPEG-4レベルと同等の）高い記述レベルにおいて導入される特定の１ビットフラグから成る。

この付加的な記述ステップは、例えば、以下のようにして実施される。本事例においては、Video_object_layer_shapeなどの構文要素が規定され、この要素のセマンティック意味(semantic meaning)は、「これは、所与の値（例えば１）に設定される場合に形状（又は輪郭）チャネルの存在を示す１ビットフラグである」である。この構文要素が１に設定される場合には、輪郭又は形状チャネルが存在し、復号されるであろう。この構文要素が１に設定されない場合には、形状又は輪郭の記述がないことが予想される。

この技術的な解決策は、この場合に、付加的なチャネルの伝送のためのサポートが、オブジェクトが形状を持つ又は持たないという事実に依存せず、このことが、より柔軟なシンタックスを供給し、改善された符号化効率をもたらすという点で有利である。

上記のビデオ符号化方法は、例えば、符号化段と予測段とを有する動き補償インターフレーム予測を備えるMPEG符号化器の例を示している図１に図示されている符号化装置のような符号化装置において実施され得る。符号化段自体は、（MPEGにおいて規定されているような符号化モードI、P又はBの選択を決定するための）モード決定回路１１と、DCT回路１２と、量子化回路１３と、可変長符号化回路１４と、当該バッファのコンテンツに基づいて回路１３における量子化を適応させるレート制御回路１６に関連付けられるバッファ１５とを直列に有する。予測段は、動き補償回路２２が後に続く動き推定回路２１を直列に有し、逆量子化回路２３と、逆DCT回路２４と、加算器２５とを直列に有する。加算器２５の出力は、動き補償回路２２の第２入力部において受け取られ、前記回路２２の出力は、加算器２５の第２入力部において受け取られる（回路２２の前記出力は、同時に、予測段の出力である）。減算器２６は、符号化装置の入力信号ISと、予測段の出力部（即ち、回路２２の出力部）において入手可能な予測信号との間の差を符号化段（１１乃至１６）の方に送ることを可能にする。この差、即ち残差が、符号化されるビットストリームであり、バッファ１５の出力信号CBは、本発明に基づいて、符号化ビットストリームにおいて記述される各チャネルのために、符号化残差信号の有無を高い記述レベルにおいて示す構文要素を含むであろう符号化ビットストリームである。

符号化装置の別の例は、MPEG-4規格の仕様に基づき得る。MPEG-4ビデオのフレームワークにおいては、１つ又は幾つかのビデオオブジェクト（及びことによると、該ビデオオブジェクトの拡張レイヤ）から成り得る各シーンが、別々の基本ビットストリームを用いて符号化されるビデオオブジェクト(VO)と呼ばれるこれらのオブジェクトを合成したものとして構成される。それ故、入力ビデオ情報は、まず、分割回路によってVOに分割され、これらのVOは、形状符号化、動き符号化及びテクスチャ符号化を含む基本符号化構成に送られる。各VOは、これらの符号化ステップを考慮してマクロブロックに分割され、１つずつ符号化される。前記マクロブロックは、例えば、フォーマット４：２：０の場合は４つの輝度ブロック及び２つのクロミナンスブロックから成る。本発明によれば、前記符号化ステップからもたらされる符号化信号を含む多重化されたビットストリームは、伝送及び／又は記憶されるべき符号化ビットストリーム中に、各記述チャネルの最大フレームレートを記述するための特定のフラグを含むであろう。

相互的に、対応する復号方法によれば、復号側に伝送されるこれらの特定のフラグは、該フラグを含む符号化ビットストリームを受け取り、前記復号方法を実行するビデオ復号器において適切な手段によって読み取られる。符号化ビットストリームのコンテンツの全セグメントを認識し、復号することが出来る復号器は、前記付加的な構文要素を読み取り、各記述チャネルの最大フレームレートを知る。このような復号器は、符号化装置と同様に、あらゆるMPEGタイプのものであってもよく、前記復号器の基本要素は、例えば、直列の、符号化ビットストリームを受け取る入力バッファ、VLC復号器、逆量子化回路、及び逆DCT回路である。符号化装置と復号装置との両方において、符号化動作又は復号動作のステップを管理するための制御器が設けられ得る。

本発明の上記の好ましい実施例の記載は、例示及び説明の目的のために呈示されている。この記載は、網羅的なもの又は開示されているまさにその形態に本発明を限定するものではなく、上記の教えるところから見て、この発明の範囲内に含まれる当業者には明白な修正例及び変形例が明らかにありうる。

例えば、本明細書に記載されている符号化装置及び復号装置は、ハードウェア、ソフトウェア又はハードウェアとソフトウェアとの組み合わせにおいて実施されることができ、ハードウェア若しくはソフトウェアの単一の要素が幾つかの機能を実行し得ること、又はハードウェア、ソフトウェア若しくは両方の要素の組立体が単一の機能を実行することを除外しないと了解され得る。上記の方法及び装置は、あらゆるタイプのコンピュータシステム又は他の適合装置によって実施され得る。ハードウェアとソフトウェアとの典型的な組み合わせは、ロードされ、実行される場合に、コンピュータシステムが本明細書に記載されている方法を実行するようにコンピュータシステムを制御するコンピュータプログラムを備える汎用コンピュータシステムであり得る。他の例においては、本発明の１つ以上の機能タスクを実行するための特殊ハードウェアを含む特定用途コンピュータが利用され得る。

本発明はまた、本明細書に記載されている方法及び機能の実施を可能にする全特徴を有し、コンピュータシステムにロードされる場合にこれらの方法及び機能を実行することが出来るコンピュータプログラム製品に組み込まれ得る。本文脈におけるコンピュータプログラム、ソフトウェアプログラム、プログラム、プログラム製品又はソフトウェアは、（ａ）別の言語、符号若しくは表記法への変換及び／又は（ｂ）異なる材料形態(material form)における再生のいずれか又は両方の後に、又は直接的に、特定の機能を行なうための情報処理能力をシステムに持たせることを目的とする命令のセットのあらゆる言語、符号又は表記法のあらゆる表現を意味する。

符号化段と予測段とを有する動き補償インターフレーム予測を備えるMPEG符号化器の例を図示する。

Claims

連続したシーンに対応するビデオシーケンスに適用されるビデオ符号化方法であり、前記方法が、前記シーンの全ビデオオブジェクトを符号化するために、符号化ビデオデータで構成される符号化ビットストリームを生成し、前記符号化ビデオデータにおいては、各データ項目が、前記ビットストリームのコンテンツの全要素を認識し、復号することを可能にするビットストリーム・シンタックスによって記述され、前記コンテンツが、少なくとも、クロミナンスチャネルを持つ又は持たない輝度チャネルと、少なくとも１つの付加的なチャネルとを有する別々のチャネルに関して記述されているビデオ符号化方法であって、更に、前記シンタックスが、前記シーケンスの前記シーンの各ビデオオブジェクトの形状又は輪郭の有無を高い記述レベルにおいて示す特定の１ビットフラグを有することを特徴とするビデオ符号化方法。
前記特定のフラグが所与の値に設定される場合には、オブジェクトの形状が存在し、復号されなければならないが、前記フラグが他の値に設定される場合には、形状の記述がないことが予想されることを特徴とする請求項１に記載の方法。
連続したシーンに対応するビデオシーケンスを符号化する装置であり、前記装置が、ビデオオブジェクト(VO)を合成したものとして前記シーケンスの各シーンを構成する手段と、前記VOの各々の形状、動き及びテクスチャを符号化する手段と、このようにして得られた符号化基本ストリームを多重化して、符号化ビデオデータで構成される単一の符号化ビットストリームにする手段とを有し、前記符号化ビデオデータにおいては、各データ項目が、前記ビットストリームのコンテンツの全要素を認識し、復号することを可能にするビットストリーム・シンタックスによって記述され、前記コンテンツが、少なくとも、クロミナンスチャネルを持つ又は持たない輝度チャネルと、少なくとも１つの付加的なチャネルとを有する別々のチャネルに関して記述されている装置であって、更に、前記シーケンスの前記シーンの各ビデオオブジェクトの形状又は輪郭の有無を高い記述レベルにおいて示す特定の１ビットフラグを前記符号化ビットストリーム中に導入する手段も有することを特徴とする装置。
連続したシーンに対応するシーケンスに適用されるビデオ符号化方法によって生成される符号化ビットストリームから成る伝送可能なビデオ信号であり、前記シーンの全ビデオオブジェクトを符号化するために生成される前記符号化ビットストリームが、各データ項目が該ビットストリームのコンテンツの全要素を認識し、復号することを可能にするビットストリーム・シンタックスによって記述される符号化ビデオデータで構成されており、前記コンテンツが、少なくとも、クロミナンスチャネルを持つ又は持たない輝度チャネルと、少なくとも１つの付加的なチャネルとを有する別々のチャネルに関して記述されている伝送可能なビデオ信号であって、更に、前記符号化ビットストリームが、前記シーケンスの前記シーンの各ビデオオブジェクトの形状又は輪郭の有無を高い記述レベルにおいて示す特定の１ビットフラグも有することを特徴とする伝送可能なビデオ信号。
連続したシーンに対応するシーケンスに適用されるビデオ符号化方法によって生成される符号化ビットストリームから成るビデオ信号に適用されるビデオ復号方法であり、前記シーンの全ビデオオブジェクトを符号化するために生成される前記符号化ビットストリームが、各データ項目が該ビットストリームのコンテンツの全要素を認識し、復号することを可能にするビットストリーム・シンタックスによって記述される符号化ビデオデータで構成されており、前記コンテンツが、少なくとも、クロミナンスチャネルを持つ又は持たない輝度チャネルと、少なくとも１つの付加的なチャネルとを有する別々のチャネルに関して記述されており、前記符号化ビットストリームが、前記シーケンスの前記シーンの各ビデオオブジェクトの形状又は輪郭の有無を高い記述レベルにおいて示す特定の１ビットフラグも有するビデオ復号方法であって、前記特定のフラグの値を読み取り、前記値に基づいて復号ステップを制御するための読み取りステップを含むことを特徴とするビデオ復号方法。
連続したシーンに対応するシーケンスに適用されるビデオ符号化方法によって生成される符号化ビットストリームから成るビデオ信号を受け取り、復号する装置であり、前記シーンの全ビデオオブジェクトを符号化するために生成される前記符号化ビットストリームが、各データ項目が該ビットストリームのコンテンツの全要素を認識し、復号することを可能にするビットストリーム・シンタックスによって記述される符号化ビデオデータで構成されており、前記コンテンツが、少なくとも、クロミナンスチャネルを持つ又は持たない輝度チャネルと、少なくとも１つの付加的なチャネルとを有する別々のチャネルに関して記述されており、前記符号化ビットストリームが、前記シーケンスの前記シーンの各ビデオオブジェクトの形状の有無を高い記述レベルにおいて示す特定の１ビットフラグも有する装置であって、更に、前記特定のフラグの値を読み取り、前記値に基づいて復号ステップをそれに対応して制御する手段を有することを特徴とする装置。