JP2005510982A - 画面がスライスに分割される前景および背景のビデオ符号化および復号 - Google Patents

Abstract

ビデオ符号化および復号方法であって、最初にピクチャが、１つ以上の主観的に重要なピクチャ領域と背景領域サブピクチャとに対応するサブピクチャに分割され、背景領域サブピクチャは主観的に重要なサブピクチャがピクチャから取り去られた後に残ったものである。サブピクチャは、ビデオ符号化マクロブロック（ＭＢ）の所定の許容されるグループに合致するように形成される。許容されるＭＢのグループは、例えば、矩形形状を持つことができる。ピクチャは次に、主観的に重要なサブピクチャを使って符号化できる背景領域サブピクチャを除いて各サブピクチャが他のサブピクチャから独立して符号化されるように、スライスに分割される。背景サブピクチャのスライスは、主観的に重要なサブピクチャに属するＭＢをスキップするスキャン順序で形成される。ピクチャを復号するときにすべての主観的に重要なサブピクチャのすべての位置およびサイズが再構成できたときのみ、背景サブピクチャが復号される。

Description

本発明は、ビデオ符号化および復号に関する。本発明は特に、ただしそれ以外を排除するものではないが、エラーが起きがちなデータコネクション上でのビデオ符号化および送信に関する。

映像（ビデオ）の送信には、その送信を可能にする形式で映像を符号化することを必要とする。一般的に、これは、送信される映像を構成する画面（ピクチャ）のストリーム中に膨大な情報量が含まれるため、効果的な圧縮を要する。

ＩＴＵ−Ｔ Ｈ．２６３は、ビットストリーム構文およびビットストリームの復号を規定する国際電気通信連合（ＩＴＵ）ビデオ符号化勧告である。この標準において、画面は、輝度および２つの色差（クロミナンス）成分（Ｙ、ＣＢおよびＣＲ）を用いて符号化される。クロミナンス成分はそれぞれ、両座標軸に沿って輝度成分と比べて半分の解像度でサンプリングされる。

当該符号化されたビットストリーム並びに、各符号化された画面（ピクチャ）は、上層から下層の順で、ピクチャ層、ピクチャセグメント層、マクロブロック（ＭＢ）層およびブロック層の４つの層を持つ階層構造に構成される。ピクチャセグメント層は、グループオブブロック層またはスライス層のいずれかである。

ピクチャ層のデータは、画面全体および画面データの復号に影響するパラメータを含む。デフォルトでは、各画面は複数のグループオブブロックに分割される。１つのグループオブブロック（ＧＯＢ）は一般に、１列のマクロブロック（１６本の連続画素ライン）またはその複数個を含む。各ＧＯＢについてのデータは、オプションとしてのＧＯＢヘッダとそれに続くＭＢのデータから成る。ＧＯＢの代わりに、いわゆるスライスを用いることができ、それにより各ピクチャはＧＯＢでなくスライスに分割される。各スライスについてのデータは、スライスヘッダとそれに続くＭＢのデータから成る。

スライスは、符号化画面内で複数の領域を定める。各領域は、通常のスキャン順序における多数のＭＢである。１つの符号化画面内におけるスライス境界にまたがる予測依存性はない。しかしながら、ＩＴＵ-Ｔ Ｈ．２６３別紙Ｒ（独立セグメント復号）が用いられない限り、時間予測は一般にスライス境界を横断できる。スライスは、ピクチャデータの（ピクチャヘッダを除く）他の部分から独立して復号できる。その結果、スライスは、パケット損失の多いネットワークにおけるエラー耐性を改善する。

各ＧＯＢまたはスライスは、ＭＢに分割される。１つのＭＢは、輝度データの１６×１６画素および空間的に対応するクロミナンスデータの８×８画素に関するものである。言い換えれば、１つのＭＢは、４つの８×８輝度ブロックおよび空間的に対応する２つの８×８クロミナンスブロックから成る。

通常のスキャン順序における多数のＭＢで形成された領域を用いるのでなく、Ｎ×Ｍ個のマクロブロック（Ｎ，Ｍは１以上）から成りスライスおよびＧＯＢ構造に取って代わる矩形領域が、Ｓｅｎ−ｃｈｉｎｇ Ｃｈｅｕｎｇ，“Ｈ．２６３＋において領域層を使用することについての提案”，ＩＴＵ−Ｔ ＳＧ１５ ＷＰ１文書ＬＢＣ−９６−２１３，１９９６年７月、によってＩＴＵ−Ｔ Ｈ．２６３に対して提案された。しかしながら、この提案はＨ．２６３に採用されなかった。

ＩＴＵ−Ｔ Ｈ．２６３独立セグメント復号モード（ＩＴＵ−Ｔ Ｈ．２６３別紙Ｒ）においては、セグメント境界（スライスの境界またはＧＯＢヘッダが送られるＧＯＢの上層の境界、あるいは画面の境界であって最も小さい領域を区切るもので定められる）が画面の境界と同様に取り扱われ、近隣スライスからのすべてのエラー伝播を排除する。例えば、近隣スライスからの動き補償またはデブロッキングループフィルタリングによるエラーの伝播がない。セグメント境界は、イントラピクチャ、すなわち画面間符号化が全く必要とされない場合にのみ変更し得る。

ＭＰＥＧ−４ビジュアルまたはＭＰＥＧ−４ビデオと呼ばれるＩＳＯ／ＩＥＣ標準草案１４４９６−２：１９９９（Ｅ）は、オーディオビジュアルオブジェクト（ＡＶＯ）と呼ばれる内容の基本単位を中心に設計された標準草案である。ＡＶＯの例は、オーケストラ中の（動いている）演奏者、その演奏者が出した音、その演奏者が座っている椅子、オーケストラ背後の（ことによると動いている）背景、および現在の楽節についての説明テキストである。ＭＰＥＧ−４ビデオにおいて、各ＡＶＯは別個に表現され、独立したストリームのための基礎になる。

普通の二次元動画映像の符号化は、ＭＰＥＧ−４ビデオの一部である。ＭＰＥＧ−４ビデオは、従来の矩形ビデオオブジェクトならびに任意形状の二次元ビデオオブジェクト双方を符号化できる。基本的ビデオＡＶＯはビデオオブジェクト（ＶＯ）と呼ばれる。ＶＯは、スケーラブルである。すなわち、これらを分割し、符号化し、そして２つ以上のビデオオブジェクト層（ＶＯＬ）で送ることができる。これらのＶＯＬの１つは、基本層と呼ばれ、どのような種類の映像であっても表示のためにすべての端末が受信しなければならない。残りのＶＯＬは拡張層と呼ばれ、万一伝送エラーや伝送容量に制限がある場合に犠牲にすることができる。非スケーラブルビデオ符号化の場合には、１つのＶＯにつき１つのＶＯＬが符号化される。

ビデオオブジェクト層のインタイムのスナップショットは、ビデオオブジェクトプレーン（ＶＯＰ）を呼ばれる。矩形ビデオについては、これは画面またはフレームに対応する。しかしながら、一般に、ＶＯＰは任意の形状を持つことができる。各ＶＯＰはビデオパケットに分割できる。各ＶＯＰおよびビデオパケットは、ＩＴＵ−Ｔ Ｈ．２６３と同様にマクロブロックにさらに分割される。マクロブロックの色（ＹＵＶ）情報は、ＩＴＵ−Ｔ Ｈ．２６３と同様に符号化される。すなわち、マクロブロックは８×８ブロックにさらに分割される。加えて、もしＶＯＰが任意の形状を持っていれば、マクロブロックの形状が次の段落で説明されるように符号化される。

ＭＰＥＧ−４ビデオＶＯはどのような形状でも持つことができ、さらに、オブジェクトの形状、サイズ、および位置は、１つのフレームから次のフレームかけて変わり得る。一般的な表現で言えば、ビデオオブジェクトは、３つの色成分（ＹＵＶ）と１つのアルファ成分とで構成されている。アルファ成分は、画面ごとにオブジェクトの形状を定める。バイナリオブジェクトは、オブジェクトの最も単純なクラスを形成する。それらは、一連のバイナリアルファマップ、すなわち各画素が黒または白のどちらか一方である２次元画面により表現される。ＭＰＥＧ−４ビデオは、これらのオブジェクトを圧縮するためのバイナリ形状のみのモードを提供する。圧縮プロセスは、一連のアルファマップを符号化するためのバイナリ形状符号器によりもっぱら定義される。バイナリオブジェクトに加えて、オブジェクトの不透明度を定義するために、グレイレベルアルファマップが使用できる。オブジェクト境界はバイナリアルファマップを用いて符号化されるのに対して、グレイレベルアルファ情報は、ＤＣＴ変換を用いるテクスチュア符号化と同様に符号化される。オブジェクト形状の連続および不透明度の定義に加えて、表現は、オブジェクト形状内部の全画素の色を含む。ＭＰＥＧ−４ビデオは、これらのオブジェクトを、バイナリ形状符号器を用いて、次に内部テクスチュア符号化のための動き補償離散コサイン変換（ＤＣＴ）ベースのアルゴリズムを用いて符号化する。

ビデオビットストリームを、例えば、上記で論じたスケーラブルビデオ符号化、データパーティショニング、または領域ベース符号化により、種々の優先順位の部分にセグメント化するのが有利であることも知られている。

しかしながら、スケーラブルビデオ符号化およびデータパーティショニングのメリットは、種々の符号化要素間の依存性により損なわれる。例えば、もし基本レイヤが正しく受信されなかったら、拡張レイヤは、正しく復号できない。同様に、もし対応する高優先順位パーティションが受信されなかったら、低優先順位パーティションは全く役立たない。これにより、スケーラブルビデオ符号化およびデータパーティションニングがいくつかのケースで不利になる。スケーラブル符号化およびデータパーティショニングは、関心空間領域を主観的に重要度の低い区域とは別に扱うための手段を提供しない。さらに、従来の信号対雑音比（ＳＮＲ）および空間スケーラビリティのような、スケーラブル符号化の多くの形態のメリットは、非スケーラブル符号化と比べてより悪い圧縮効率により損なわれる。一方で、領域ベース映像符号化においては、ＧＯＢまたはスライスは、主観的重要性が異なるマクロブロックを含み得る。従って、ＧＯＢおよびスライスの優先順位付けは一般に全くできない。

任意形状オブジェクトの符号化は、ハンドヘルドデバイスにとりあまりに複雑であると現在見なされている。このことは、ＭＰＥＧ−４ビデオ形状符号化ツールは、計画された第３世代移動電話機の移動ビデオ通信サービスから一般に除外されているという事実によりさらに例証される。

ＭＰＥＧ−４ビデオによりもたらされる利点と同様な利点の少なくともいくつかをやはり提供する移動通信に適した選択肢を提供することが本発明の目的である。

本発明の第１の形態によれば、
ピクチャを、ピクチャの区域に関連した所定の並びを有する、各々が基本的符号化要素の少なくとも１つのグループに対応する規則的形状の符号化ブロックの集合に分割するステップと、
ピクチャ内で少なくとも１つの形状を決定するステップと、
該少なくとも１つの決定された形状をカバーする少なくとも１つの区域を定める符号化ブロックの少なくとも１つの部分集合を選択するステップと、
符号化ブロックの該選択された少なくとも１つの部分集合を、少なくとも１つの単独符号化オブジェクトと決定するステップと、
該少なくとも１つの単独符号化オブジェクトを除くピクチャの部分を、背景オブジェクトと決定するステップと、
該少なくとも１つの単独符号化オブジェクトを符号化するステップと、
１つの符号化オブジェクトとして、背景オブジェクトを符号化するステップとを含むビデオ符号化方法が提供される。

背景符号化オブジェクトが、どのような単独符号化オブジェクトにも属さないピクチャの部分として定められる一体状の符号化オブジェクトとして決定できることおよび単独符号化オブジェクトが、それらがカバーする形状に一致する必要がないことが本発明の利点である。

好ましくは、背景符号化オブジェクトは、少なくとも１つの単独符号化オブジェクトを使って符号化される。

背景オブジェクトは、各単独符号化オブジェクトの位置、形状およびサイズの決定なくして再構成することはできない。単独符号化オブジェクトを運んでいるいずれかのデータパケットがもし失われれば、いずれせよ背景符号化オブジェクトを復号する機会は皆無である。少なくとも１つの単独符号化オブジェクトの位置およびサイズの決定により、少なくとも１つの単独符号化オブジェクトのビデオデータの存在が示される。従って、少なくとも１つの単独符号化オブジェクトを用いて背景符号化オブジェクトを首尾良く予測できる見込みが高く、そのため、少なくとも１つの単独符号化オブジェクトを用いて背景符号化オブジェクトを符号化することは一般に妥当である。

好ましくは、背景符号化オブジェクトをビデオ符号化するステップは、少なくとも１つの単独符号化オブジェクトに含まれる基本符号化オブジェクトをスキップする連続的な符号化ブロックによりスライスが構成されるように、符号化スライスをスキャン順序で定めるサブステップをさらに含む。

好ましくは、スキャン順序は最初に１つの水平線をスキャンし、それから、次の水平線へ垂直に進む。あるいは、スキャン順序は、最初に１つの垂直線をスキャンし、それから、次の垂直線へ水平に進む。またさらに、他のどのようなスキャン順序も用いることができる。

好ましくは、少なくとも１つの単独符号化オブジェクトをビデオ符号化するステップは、少なくとも１つの単独符号化オブジェクトに含まれる符号化ブロックのスキャン順序でスライスが構成されるように、各単独符号化オブジェクト内でスライスをスキャン順序で符号化スライスを定めるサブステップをさらに含む。

ある形状について定められた区域が符号化ブロックの所定の並びに一致するので、主観的関心が高いオブジェクトを、計算要求の少ない背景とは別にビデオ符号化できることは本発明の利点である。

好ましくは、符号化ブロックはマクロブロックである。

好ましくは、少なくとも１つの決定された形状をカバーする区域は矩形区域であり、それにより正方形が矩形の１つの部分集合になる。

好ましくは、単独符号化オブジェクトは主観的重要性の降順で定められる。

好ましくは、主観的にさほど重要でない単独符号化オブジェクトは、主観的により重要な単独符号化オブジェクトに対応する少なくとも１つの決定された形状をカバーしている区域を定める符号化ブロックを除いて定められる。これにより、そうしなければ主観的にさほど重要ではない符号化オブジェクトにより定められた矩形区域の角が主観的により重要な区域により定められたいずれかの区域と重なるような場合に、それらを自動的にクリッピングすることができる。

好ましくは、少なくとも１つの単独符号化オブジェクトのビデオ符号化は、少なくとも１つの単独符号化オブジェクト中へのエラー伝播を阻止するために、背景オブジェクトのビデオ符号化から独立している。

少なくとも１つの単独符号化オブジェクトの独立したビデオ符号化を使用すると、ビデオ符号化の堅牢性が強化されるが、その場合にその少なくとも１つの単独符号化オブジェクトの位置は以前のピクチャに基づかないイントラピクチャを送信することなく変更することはできない。

代わりに、その少なくとも１つの単独符号化オブジェクトのビデオ符号化を、背景オブジェクトのビデオ符号化および他のいずれかの少なくとも１つの単独符号化オブジェクトのビデオ符号化に依存させることが可能である。

この実施の形態により基本的に、少なくとも１つの単独符号化オブジェクトのサブピクチャ境界がスライス境界として取り扱われるようになる。それによりたとえ少なくとも１つの単独符号化オブジェクトがインター符号化されていても、少なくとも１つの単独符号化オブジェクトの位置およびサイズは変更され得る。

好ましくは、背景オブジェクトのビデオ符号化は、ビデオ圧縮効率を向上するために、少なくとも１つの単独符号化オブジェクトを使うことが可能になる。

好ましくは、この方法は、ピクチャの復号において使用するための少なくとも１つの単独符号化オブジェクトの位置およびサイズを特徴付ける情報を決定するステップをさらに含む。

好ましくは、少なくとも１つの単独符号化オブジェクトのサイズを特徴付ける情報を決定するステップは、ピクチャの幅に基づいて基準幅を計算し、その基準幅を使って少なくとも１つの単独符号化オブジェクトの幅を表すサブステップを含む。

好ましくは、少なくとも１つの単独符号化オブジェクトのサイズを特徴付ける情報を決定するステップは、ピクチャの高さに基づいて基準高さを計算し、その基準高さを使って少なくとも１つの単独符号化オブジェクトの高さを表すサブステップを含む。

好ましくは、この方法は、ピクチャの復号において使用するための少なくとも１つの単独符号化オブジェクトの各々のタイプを特徴付けるステップをさらに含む。

好ましくは、この方法は、少なくとも１つの単独符号化オブジェクト各々および対応する特徴を相関させるために少なくとも１つの単独符号化オブジェクトに異なる識別子を割り当てるステップをさらに含む。

好ましくは、少なくとも１つの単独符号化オブジェクトのビデオ符号化は、背景オブジェクトのビデオ符号化よりも高い量子化段階密度を用いる。

好ましくは、この方法は、少なくとも１つの単独符号化オブジェクトをデータ破壊からエラー保護するステップをさらに含む。

好ましくは、この方法は、背景オブジェクトをデータ破壊からエラー保護するステップをさらに含む。

好ましくは、少なくとも１つの単独符号化オブジェクトは、背景オブジェクトよりも多くデータ破壊からエラー保護される。

好ましくは、不均衡エラー保護は、少なくとも１つの単独符号化オブジェクトに関連付けられた情報を含むデータパケットを優先順位付けするために用いられる。

好ましくは、ピクチャ内の少なくとも１つの形状の決定は、その外観に基づく。

代わりに、ピクチャ内の少なくとも１つの形状の決定は、同じ動きをしている領域の選択に基づく。

本発明の第２の形態によれば、各符号化ブロックが基本符号化要素の少なくとも１つのグループに対応し、符号化ブロックがピクチャの区域に関連して所定の並びを有している符号化ブロックの集合により符号化されたピクチャをビデオ復号するための方法であって、
復号されているピクチャの少なくとも１つの部分を定める符号化ブロックの少なくとも１つの部分集合に対応する少なくとも１つの単独符号化オブジェクトを決定するステップと、
該少なくとも１つの単独符号化オブジェクトを除くピクチャの部分に対応する符号化ブロックの部分集合を、背景オブジェクトと決定するステップと、
該少なくとも１つの単独符号化オブジェクトを復号するステップと、
背景オブジェクトを復号するステップとを含む方法が提供される。

好ましくは、この方法は、連続した符号化ブロックの復号スライスを形成し、前記少なくとも１つの単独符号化オブジェクトに属する符号化ブロックをスキップするサブステップを含む、背景オブジェクトのためのビデオ復号スライスを決定するステップをさらに含む。

好ましくは、符号化ブロックの少なくとも１つの部分集合の各々が矩形のサブピクチャを定め、それによって正方形が矩形の部分集合となる。

好ましくは、符号化ブロックはマクロブロックである。

好ましくは、少なくとも１つの単独符号化オブジェクトのビデオ復号は、背景オブジェクトのビデオ復号から独立している。

主観的に重要な領域の優先順位付けされた転送のような種々の用途にこの方法を用い得ることがこの方法の利点である。加えて、この方法により、“ピクチャ解像度スケーラビリティ”が可能になる。すなわち、適当なサイズの単独符号化オブジェクトのみを復号することにより、完全なピクチャのためには解像度が小さすぎるディスプレイにちょうど収まるようにピクチャを倍率変更できる。

好ましくは、背景オブジェクトのビデオ復号は、少なくとも１つの単独符号化オブジェクトを使うことを許されている。よりいっそう好ましくは、背景オブジェクトは、処理をより簡単にするために、少なくとも１つの単独オブジェクトから空間的、パラメータ的および／または時間的に予測される。

好ましくは、少なくとも１つの単独オブジェクトは、少なくとも１つの前景領域サブピクチャに対応する。

背景オブジェクトが、主観的に意義が限定されていることがよくあることは、少なくとも１つの単独オブジェクトに基づく予測の利点である。従って、少なくとも１つの単独オブジェクトの情報は、前景領域サブピクチャから背景オブジェクトへの考えられるエラー伝播が主観的なピクチャ品質を過剰に劣化させることはないであろうから、ビデオ圧縮をさらに向上するために用い得る。

好ましくは、この方法は、少なくとも１つの単独符号化オブジェクトの位置およびサイズを決定するステップをさらに含む。

好ましくは、少なくとも１つの単独符号化オブジェクトのサイズを決定するステップは、ピクチャの幅に基づいて基準幅を計算しこの基準幅を用いて少なくとも１つの単独符号化オブジェクトの幅を決定するサブステップを含む。

好ましくは、少なくとも１つの単独符号化オブジェクトのサイズを決定するステップは、ピクチャの高さに基づいて基準高さを計算しこの基準高さを用いて少なくとも１つの単独符号化オブジェクトの高さを決定するサブステップを含む。

好ましくは、この方法は、少なくとも１つの単独符号化オブジェクト各々のタイプを決定するステップをさらに含む。

好ましくは、少なくとも１つの単独符号化オブジェクトのビデオ復号は、背景オブジェクトのビデオ復号よりも高い量子化段階密度を用いる。

好ましくは、この方法は、少なくとも１つの単独符号化オブジェクトの欠損を検出するステップをさらに含む。

好ましくは、少なくとも１つの単独符号化オブジェクトの欠損を検出する方法は、最初に既定の値を有し既定の増分または減分で増加または減少する値を持つ多数の単独符号化オブジェクトを列挙することに基づく。

次に、いずれかの予期されるオブジェクト数が欠けると、復号器は対応する単独符号化オブジェクトの欠損を検出することができる。

好ましくは、この方法は、他の符号化オブジェクトと切り離して少なくとも１つの単独符号化オブジェクトを復号することをさらに含む。

好ましくは、この方法は、少なくとも１つの単独符号化オブジェクトのエラー補正復号のステップをさらに含む。

好ましくは、この方法は、背景オブジェクトのエラー補正復号のステップをさらに含む。

ビットストリームのすべての部分の均等転送およびエラー保護に比べ、よりよい主観的ピクチャ品質を達成できることが、ビデオビットストリームの主観的に最も重要な部分を優先順位付けすることの利点である。

本発明の第３の形態によれば、
ピクチャを、ピクチャの区域に関連した所定の並びを有する、各々が基本符号化要素の１つのグループに対応する規則的形状の符号化ブロックの集合に分割する手段と、
ピクチャ内で少なくとも１つの形状を決定する手段と、
該少なくとも１つの決定された形状をカバーする少なくとも１つの区域を定める符号化ブロックの少なくとも１つの部分集合を選択する手段と、
符号化ブロックの該選択された少なくとも１つの部分集合を、少なくとも１つの単独符号化オブジェクトと決定する手段と、
該少なくとも１つの単独符号化オブジェクトを除くピクチャの部分を、背景オブジェクトと決定する手段と、
該少なくとも１つの単独符号化オブジェクトを符号化する手段と、
１つの符号化オブジェクトとして、背景オブジェクトを符号化する手段とを含むビデオ符号器が提供される。

本発明の第４の形態によれば、
各符号化ブロックが基本符号化要素の少なくとも１つのグループに対応し、符号化ブロックがピクチャの区域に関連して所定の並びを有している符号化ブロックの集合により符号化されたピクチャをビデオ復号するためのビデオ復号器であって、
復号されているピクチャの少なくとも１つの部分を定める符号化ブロックの少なくとも１つの部分集合に対応する少なくとも１つの単独符号化オブジェクトを決定する手段と、
該少なくとも１つの単独符号化オブジェクトを除くピクチャの部分を、背景オブジェクトと決定する手段と、
該少なくとも１つの単独符号化オブジェクトを復号する手段と、
背景オブジェクトを復号する手段とを含む復号器が提供される。

本発明の第５の形態によれば、装置に第１の形態の方法を実現させるためのコンピュータ実行可能プログラム手段を含むコンピュータプログラム製品が提供される。

本発明の第６の形態によれば、装置に第２の形態の方法を実現させるためのコンピュータ実行可能プログラム手段を含むコンピュータプログラム製品が提供される。

本発明の第７の形態によれば、第３の形態のビデオ符号器を含む装置が提供される。

本発明の第８の形態によれば、第４の形態のビデオ復号器を含む装置が提供される。

好ましくは、形態３〜８の装置は、移動通信装置、ワイヤレス通信装置、ゲーム装置、ビデオ記録装置、ビデオ出力装置、通信ネットワークサーバ、通信ネットワークゲートウェイ、パーソナルコンピュータ、ポータブルコンピュータ、およびパーソナルデジタルアシスタント装置からなる群から選ばれる。

本発明の第９の形態によれば、
可変サイズおよび位置を有するビデオ符号化されたピクチャの部分に対応する少なくとも１つの単独符号化オブジェクトに対応する複数の圧縮されたビデオ符号化ブロックと、
該少なくとも１つの単独符号化オブジェクトに対応する少なくとも１つの識別子と、
該少なくとも１つの単独符号化オブジェクトに対応する少なくとも１つの位置およびサイズ情報と、
該少なくとも１つの単独符号化オブジェクトを除くビデオ符号化されたピクチャに対応する符号化ブロックの集合に対応する背景オブジェクトに対応する複数の圧縮されたビデオ符号化ブロックとを含むビデオ信号が提供される。

簡潔にするため、本発明の様々な実施の形態を本発明の１つの形態に関連してのみ例示してきたが、対応する実施の形態が他の局面にも同様に当てはまり得ることが理解されるべきである。

本発明を例として添付図面に関して説明する。

本発明の好ましい実施の形態は、ピクチャおよびスライス層間にサブピクチャ符号化層を付加することによりＩＴＵ−Ｔ Ｈ２６Ｌを補っていると見なすことができる。サブピクチャ符号化層は、いわゆる背景領域（ＢＲ）ＳＰを除いて、一般に矩形のいわゆるサブピクチャ（ＳＰ）（前景領域ＳＰまたはＦＲ ＳＰ）を形成するものとする。ＢＲ ＳＰは、矩形のＳＰのいずれにも入らない画面領域からなる。すべてのＳＰは最初はスキャン順序で符号化される。すなわち、スライスはＳＰから開始し、次に、主観的に最も重要なＳＰが最初に符号化されＢＲ ＳＰが最後に符号化されるように、スライスは一般に主観的優先順位の順番に従って選ばれる。ＳＰは重ならない。すなわち、符号化された画面全体は、すべてのＳＰで構成されている。

図１は、ビデオ符号化用に定義されたマクロブロック（ＭＢ）に関連して符号化される画面１００を示している。この画面は、主たる関心である前景オブジェクト１０１と見なされる（描かれたアニメーションの）ハート形を含む。矩形の前景領域サブピクチャ（ＦＲ ＳＰ）１０２が、ＭＢ境界線に沿って前景オブジェクト周囲に描かれている。前景オブジェクト１０１を取り囲んで、画面は背景も有している。ＦＲ ＳＰ１０２を取り囲む背景の部分は、背景領域サブピクチャ１０３（ＢＲ ＳＰ）と呼ばれる。ここでのケースのように、背景の一部分もＦＲ ＳＰ１０２に属することがあることに注目されたい。図１は、０から７９まで昇順で番号を割り当てられたＭＢも示しており、最初のＭＢ（０）は、左側上隅にあり、番号は右へ行くにつれて大きくなり、各行の後は次行の左から再開する。

図２は、本発明の好ましい実施の形態による図１のピクチャについて形成されたビデオ符号化スライスの主要図を示している。画面は、５マクロブロックのスライスサイズによりビデオ符号化スライスに分割される。分割は最も重要なＦＲ ＳＰから開始され、ＢＲ ＳＰは、すべてのＦＲ ＳＰの後にスライスに分割される（図１および図２には、１つのＦＲ ＳＰのみが存在している）。０から始まる連続スライス番号がスライスに与えられる。スライス０がＦＲ ＳＰ内の第１行の３つのＭＢとＦＲ ＳＰ内の第２行の２つのＭＢを占めること、およびとりわけＢＲ ＳＰが符号化される前にＦＲ ＳＰの最後のスライスが閉じられることに注目されたい。次にＢＲ ＳＰ中のＭＢは、最後のスライスを除いて各スライスが１つのＭＢについて許される最大数のＭＢで一般に構成されるように、スキャン順序でスライスに分割される。スライスは各ＦＲ ＳＰを単純にスキップする。一般に、スライスがより大きいほど画面を符号化するために必要とされる冗長性の量がより少ないという結果になる。

図３は、本発明の好ましい実施の形態による画面のビデオ符号化プロセスのフローチャートを示す。このフローチャートは、ビデオ符号化される画面が受信されたブロック３１０から始まる。

開始後、プロセスはブロック３２０へ続き、そこで１つ以上の前景オブジェクト１０１の検出が試みられる。次にブロック３３０では、いずれかの前景オブジェクト１０１が検出されたか否かをチェックする。もしノーであれば、ブロック３３１においてその画面を単独の符号化ブロックとして符号化し、プロセスは終了する。もしイエスであれば、まだ符号化されていない最も重要な前景オブジェクト１０１をブロック３４０において選ぶ。次にブロック３５０において、選ばれた前景オブジェクト１０１をカバーするマクロブロック（ＦＲ ＳＰ１０２）の可能な最小領域を決定する。一般に、可能な領域は、矩形形状（正方形を含む）のような所定形状に限られる。それはこの形状が、携帯型デバイスに適した単純なビデオ符号化および復号を提供するからである。本発明の別の実施の形態においては、ビデオ符号器について、用いられた形状を復号器に知らせるためのメカニズムが合意されているのであれば、可能な領域の他の種々の所定形状を用いることができる。

ブロック３６０で、次にＦＲ ＳＰ１０２はビデオ符号化される。その後、ブロック３７０は、まだ符号化されていない前景オブジェクト１０１が依然としてあるかどうかをチェックする。もしイエスなら、プロセスはブロック３４０へ戻り、そうでなければプロセスはブロック３８０へ進む。ブロック３８０で、ＢＲ ＳＰ、すなわちいずれのＦＲ ＳＰにも属さないＭＢがビデオ符号化される。次にプロセスはブロック３９０で終了する。

別の実施の形態において、ブロック３５０は、一連の連続した画面中の選ばれた前景オブジェクト１０１をカバーするマクロブロック（ＦＲ ＳＰ１０２）の可能な最小領域を決定する。さらに別の実施の形態において、ブロック３５０は、可能な最小領域を、それが選ばれた前景オブジェクト周囲にある量の余地を確保するように決定する。さらに別の実施の形態において、マクロブロックの可能な領域は、所定のサイズおよび／または形状である。

図４は、本発明の好ましい実施の形態による画面の復号プロセスのフローチャートを示す。このプロセスは、ビデオ符号化された画面に対応する符号化されたビデオ情報が受信されたブロック４１０から始まる。ブロック４２０において、復号器は次に、なんらかの符号化されたＦＲ ＳＰを検出しようと試みる。ブロック４３０において、なんらかのＦＲ ＳＰが検出されたか否かがチェックされる。もしノーであれば、次にブロック４３１においてそのピクチャを単独の符号化オブジェクトとして復号することが試みられ、そうでなければ、プロセスはブロック４４０へ進む。ブロック４４０は、まだ復号されていない最も重要なＦＲ ＳＰを選ぶ。ブロック４５０において、選ばれたＦＲ ＳＰが次に復号され、ブロック４６０は、まだ復号されていないＦＲ ＳＰが依然としてあるか否かをチェックする。もしイエスであれば、プロセスはブロック４４０へ戻り、そうでなければブロック４７０へ進む。ブロック４７０において、すべてのＦＲ ＳＰが正しく復号されたか否かがチェックされる。もしノーであれば、プロセスは、図５に示されるブロックＡから続行する。もしイエスであれば、プロセスはブロック４８０へ進み、そこでＢＲ ＳＰが復号される。この後、プロセスはブロック４９０で終了する。

図５は、万一すべてのＦＲ ＳＰが正しく復号されなかった場合の、本発明の好ましい実施の形態によるＢＲ ＳＰの復号のフローチャートを示す。復号はブロック５１０から開始する。ブロック５２０において、各ＦＲ ＳＰの位置およびサイズが既知であるか否かが次にチェックされる。独立したサブピクチャ復号モードでは、サブピクチャの位置およびサイズは、ＩＮＴＲＡピクチャにおいてのみ変更できる（Ｈ．２６３独立セグメント復号と同様）。この事実は、実際的な実装において用い得る。各ＦＲ ＳＰの位置およびサイズの知識は、ＢＲ ＳＰ復号にとって重要である。なぜならは、ＢＲ ＳＰは、すべてのＦＲ ＳＰの位置およびサイズが既知である場合にのみ決定できるからである。もしノーであれば、復号器はＢＲ ＳＰを全く復号できず、プロセスは終了し、そうでなければ、復号器はブロック５３０へ進む。ブロック５３０において、いずれかの破損ＦＲ ＳＰを用いてＢＲ ＳＰが符号化されたか否かがチェックされる。ＦＲ ＳＰのＭＢへのどのような参照もなくＢＲ ＳＰが符号化されることがあり、その場合に答えはノーになるはずであり、プロセスはブロック５５０へ進む。ブロック５５０において、ＢＲ ＳＰは復号される。しかしながら、もしＢＲ ＳＰがいずれかの破損ＦＲ ＳＰを用いて符号化されたのであれば、プロセスはブロック５３０から、ＢＲ ＳＰのエラー隠しブロック５４０へ進む。基本的に、各ＦＲ ＳＰの位置およびサイズが既知である場合、ＢＲ ＳＰは、前回のＢＲ ＳＰおよび／または現在のＦＲ ＳＰを用いて推定し得る。最も単純には、すべてのＦＲ ＳＰがそれらのサイズおよび位置について前回の画面と同じであれば、まさにその前回のＢＲ ＳＰをそのまま用いることができる。ビデオ符号化において、このタイプのエラー隠しを可能にする多くの時間的冗長性が一般にある。さらに、ＢＲ ＳＰのエラー隠しは、回復のためにＢＲ ＳＰの符号化された表現を利用できることがよくある。

次に、符号化プロセスをより詳細に説明する。好ましい実施の形態において、ＦＲ ＳＰを符号化するために、２つの異なる符号化モード、すなわち独立ＳＰ符号化および通常予測モード、を用いることができる。独立ＳＰ符号化においては、ＦＲ ＳＰの境界はピクチャ境界として取り扱われる。ＳＰのセグメント化は一群の画面（または、同様なピクチャのグループ）に渡って静的である。ＳＰ境界上での時間的および空間的予測の両方は、エラー伝播を制限するためにＦＲ ＳＰを符号化する際に阻止される。しかしながら、ＢＲ ＳＰはより低い主観的重要性を持っていると見なされ、エラー伝播から保護される必要はないので、ＢＲ ＳＰはＢＲ ＳＰ境界上での時間的および空間的予測を可能にしつつ符号化できる。例えば、動き補償ビデオ符号化において用いられる動きベクトルがＦＲ ＳＰの外をポイントすることはない。空間的予測もループフィルタリングも、ＦＲ ＳＰ境界を越えて許可されない。

従って、ＢＲ ＳＰはＦＲ ＳＰを用いて予測することができ、もしＦＲ ＳＰを特徴付けるデータパケットのいずれかが復号器により受信されなかったなら、ＢＲ ＳＰは全く決定できない。連続して、ＦＲ ＳＰのいずれかのサイズまたは位置が決定できない場合には、ＢＲ ＳＰの復号は試みられる必要すらなく、これにより復号器の電力消費が低減される。さらに、ＢＲ ＳＰが復号される前にはＦＲ ＳＰのサイズおよび位置が常に知られているので、それらは、ＢＲ ＳＰを符号化するための基礎としてうまく用いることができる。

好ましい実施の形態によるビットストリーム構文を次に説明する。

ＦＲ ＳＰの使用は、例えば２００１年９月２６日のＩＴＵ−Ｔ ＶＣＥＧ文書ＶＣＥＧ−Ｎ７２Ｒ１中で示唆されたように、ピクチャおよびシーケンスレイヤデータのパラメータリスト中で示される。サブピクチャの特徴はおそらく、ベースラインプロファイルの範囲から外れ、エラー多発環境のみのためのプロファイルに属する。

サブピクチャが使用中の場合には、スライスヘッダは以下の通りである。
PictureID 前記のＶＣＥＧ−Ｎ７２−Ｒ１中で定義されたもの。
SliceType 前記のＶＣＥＧ−Ｎ７２−Ｒ１中で定義されたもの。
FirstMBInSliceX サブピクチャに関連するスライス中の最初のマクロブロックの水平位置（列）。
FirstMBInSliceY サブピクチャに関連するスライス中の最初のマクロブロックの垂直位置（行）。
InitialＱＰ 前記のＶＣＥＧ−Ｎ７２−Ｒ１中で定義されたもの。
SubPictureID 一意のサブピクチャ識別子。各サブピクチャに、０から始まり符号化順序で１ずつ増分されるＩＤが割り当てられる。カウントは各ピクチャごとにリ集合される。もし独立サブピクチャ符号化が使用されていれば、サブピクチャＩＤは、１つのピクチャグループにわたり空間的に一致するサブピクチャについて同じままである。
SubPictureInfo ０：サブピクチャ属性は、前回のピクチャ中の同じＩＤを持っているサブピクチャの属性と同じである。この値は、特に独立サブピクチャ符号化モードにおいて有用である。
１：サブピクチャ属性は、同じピクチャ中で同じＩＤを持っているサブピクチャの属性と同じである。もしサブピクチャが複数のスライスを含んでいれば、この値が用いられる。
２：サブピクチャ位置およびサイズは、以下の４つの符号語中で定義される。もし独立サブピクチャ符号化が使用されていれば、以下の４つの符号語はブロックの１つのグループ内で同じままであある。符号語の反復はエラー耐性目的を考慮してある。
３：背景サブピクチャ。もし同じピクチャについてのより以前のサブピクチャの１つが失われており、その位置およびサイズが外部に知らされていなければ（これは普通の予測モードで一般的）、復号器は背景サブピクチャを、その形状が未知なので復号しない。
Left サブピクチャ中の最も左のマクロブロックの座標（マクロブロック中）。ピクチャの最も左のマクロブロック列は、値ゼロが割り当てられる。
Top サブピクチャ中の一番上のマクロブロックの座標（マクロブロック中）。ピクチャの一番上のマクロブロック行は、値ゼロが割り当てられる。
Width サブピクチャの幅。符号語は以下のように割り当てられる。

Height サブピクチャの高さ。符号語はWidthと同様に割り当てられる。

ソース符号化方法の応用
好ましい実施の形態のビデオ符号化および復号方法の主要な応用の１つは、主観的に重要なサブピクチャの転送優先順位付けである。

提案された方法は、頻繁な、すなわち固定的に割り当てられたスライスの符号化と比較して圧縮効率を高めることができる。矩形サブピクチャは、滑らかな動き場または一貫したテクスチュアを持っていることがよくあり、従って、比較的均質なサブピクチャ上で用いられた場合に動きベクトルまたはＩＮＴＲＡ符号化はより良好に動作する。

独立サブピクチャは、ピクチャ解像度スケーラビリティのためにも用いることができる。同じＱＣＩＦビットストリーム、例えばマルチメディアメッセージが、スクリーンサイズが異なる２つのハンドヘルドデバイスへ転送されると仮定する。一方は、ＱＣＩＦ（１７６×１４４）までのサイズをサポートし、他方はＱＱＶＧＡ（１６０×１２０）までのサイズをサポートする。ＱＱＶＧＡディスプレイ矩形上にＱＣＩＦピクチャを適合させるために、従来は２つの可能性がある。すなわち、第１は、ピクチャはダウンスケールできるが、これは計算が高価なことがある。第２に、ピクチャはトリミングできる（左右から８画素および上下から１２画素）けれども、トリミングされた画素はいずれにせよ復号されなければならない。独立サブピクチャはさらに別の解決策を提供する。すなわち、１４４×１１２サイズのサブピクチャがＱＣＩＦピクチャの中心に置かれるように、ビットストリームを符号化することができるであろう。ビットストリームは、サブピクチャのみが復号されるように、ＱＱＶＧＡディスプレイ矩形用に復号できる。その結果、ピクチャあたり９９個のオリジナルのマクロブロックのうち３６個は復号される必要がない。

好ましい実施の形態を用いるインターネットストリーミングについての例を次に説明する。

マルチキャストインターネットストリーミングを目標アプリケーションとして選択した。選択のための根拠は、低遅延インターネットアプリケーション（ＶＣＥＧ−Ｎ７９Ｒ１）のための共通条件がマルチキャストストリーミングに容易に適用できることであった。

対話型エラー補正をＩＰマルチキャストで大規模に用いることができないので、順方向エラー制御方法が用いられた。この方法は、伝送符号化レベル（ＦＥＣパケット、パケット複製）またはソース符号化レベル（ＩＮＴＲＡマクロブロック更新）に応用できる。３つのケースを検討した。
１． クライアントにおけるプレイバック開始前の比較的長い（１秒、または１０フレーム／秒のフレームレートで１０フレーム）初期バッファリング。リードソロモン（Reed-Solomon）順方向エラー符号化を用いた。
２． クライアントにおけるプレイバック開始前の中程度量（２フレーム）の初期バッファリング。ＲＦＣ２７３３によるパリティ順方向符号化を用いた。
３． クライアントにおけるプレイバック開始前の中程度量（２フレーム）の初期バッファリング。伝送レベル順方向エラー符号化なし。

最良の結果がケース１で達成できる一方で、クライアントは必要なバッファリング能力を欠くことがある。さらに、リードソロモンＦＥＣパケットは（本発明者らの知る限り）標準化されていない。従って、単純パリティＦＥＣベース方式（ケース２）でも結果は得られ、この方式はほとんどの実用システムに実装が十分容易なはずである。しかしながら、３ＧＰＰパケット交換ストリーミングサービス（リリース４）のようないくつかのシステムは、パリティＦＥＣのためのサポートを含まず、従って、ケース３も試験集合に付け加えた。

試験条件
コーデック：

本発明の好ましい実施の形態の符号化方法を、ＴＭＬ−８．５にエラー補正実装（ＶＣＥＧ−Ｎ６２）を加えた暫定バージョンＴＭＬ−８．６に基づいて実装した。これは矩形サブピクチャ（ＲＳＰ）コーデックと呼ばれた。ＲＳＰコーデックの性能を、従来のコーデック１（ＴＭＬ−８６に関心領域量子化を加えたもの）および従来のコーデック２（ＴＭＬ−８６、関心領域量子化なし）と比較した。

コーデックパラメータ：
・ 動きベクトル解像度：１／８ｐｅｌ
・ アダマール変換：使用
・ 最大サーチ範囲：１６
・ インター動きサーチ用に使用された前回のフレーム数：５
・ すべてのブロックタイプを可能にした
・ スライスモード：スライスあたりＭＢ数を固定
・ ＢフレームおよびＳＰ−フレーム：使用せず
・ 記号モード：ＣＡＢＡＣ
・ データパーティション：１スライスあたり１パーティション
・ シーケンスヘッダ：シーケンスヘッダなし
・ サーチ範囲制限：なし
・ レート歪み最適化モード決定：オン
・ 制約イントラ予測：使用せず
・ 変更ＱＰ：使用せず
・ 付加的基準フレーム：使用せず

その他の条件：
・ ＶＣＥＧ−Ｎ７９Ｒ１中で規定されるように４０００フレームを符号化する代わりに、復号されたビデオのＰＳＮＲが１０回のランの各々について計算され、平均ＰＳＮＲに加えて１０回のランの最良および最悪のケースが、ＶＣＥＧ−Ｍ７７中で提案されるように示される。この方法は、損失パターンファイルの位置に依存するＰＳＮＲの変化を示すために用いられる。このシミュレーションにおいて、ｎ＋１番目のランの開始損失位置は、ｎ番目のランの終了損失位置に継続的に続く。
・ 一定のパケット化オーバーヘッド（４０バイト／パケット）が、ＶＣＥＧ−Ｎ７９Ｒ１におけるように仮定される。ＦＥＣパケットを含むすべてのパケットのパケット化オーバーヘッドは、利用可能なビデオビットレートを計算するために、利用可能な総ビットレートから引かれる。
・ 現行のＴＭＬソフトウェアにはレート制御ストラテジーが全く実装されていないので、本発明者らは、サブセクション４．４に記載されているビット割り当て方法に従って所望のビットレートを取得する。
・ ＶＣＥＧ−Ｎ７９Ｒ１中で規定されるように、ＰＳＮＲは、（フルフレームレートでの）ソースシーケンスのすべてと、対応する再構成フレームとの間で計算される。
・ ＩＮＴＲＡ ＧＯＢ更新が、マクロブロックモード選択メカニズムの代わりに用いられた。

テストシーケンスおよびセグメンテーション

実験はカーフォン（Carphone）シーケンスで行った。シーケンスのＱＣＩＦバージョンが用いられた。これは１０ｆｐｓのフレームレートで符号化された。目標総ビットレートは６４ｋｂｐｓであった。符号化されたフレーム数は１０１個であった（２つ置きにスキップされたカーフォンシーケンスの３０３個のフレーム）。

前景サブピクチャは手動で選択され、ビデオクリップの全ピクチャ中のシリーズ中に現われる仲間の頭部をカバーした。従来のコーデック１においては、前景サブピクチャのための区域は、ピクチャの残部よりも細かく量子化された関心領域として選択された。一定の６４×６４前景サブピクチャがシーケンス全体を通して用いられた。独立サブピクチャ符号化モードが使用されていた。

パケット化および順方向エラー補正

すべてのケースにおいて、ＲＳ ＦＥＣパケットのサイズは、ＲＳ ＦＥＣパケットによって保護されたパケットの最大サイズに等しいと仮定される。もしｎ個のビデオパケットの各ブロックについてｍ個のＦＥＣパケットが符号化されれば、符号化方式はＲＳ（ｎ，ｍ）として記録される。ＦＥＣ方式は、各ブロックあたりｍ個までのパケット（ビデオパケットとＦＥＣパケットとの任意の組み合わせ）の損失を補正することができる。

ケース１：ＲＳ ＦＥＣでバッファされた１０個のフレーム

ＲＳＰコーデック（唯一の前景サブピクチャ）：
・ イントラピクチャについては、４個のパケットがある。すなわち、前景サブピクチャ（ＧＯＢインターリーブ適用）のための２個のパケット、２個の前景パケットのための１個のＲＳ（２，１）パケット、および背景サブピクチャのための１個のパケットである。
・ インターピクチャについては、１０個のフレームが１つのグループを成す。各グループについて、１０個の前景サブピクチャパケット、前景パケットのためのｍ（ｍは可変）個のＲＳ（１０，ｍ）パケット、および１０個の背景サブピクチャパケットがある。前景および背景のためのパケット化方法がインターリーブ方法であることに留意されたい。すなわち、フレームｎのＧＯＢの偶数とフレームｎ＋１のＧＯＢの奇数とが１個のパケット中にあり、逆もまた同様である。

従来のコーデック：
・ イントラピクチャについては、３個のパケットがある。すなわち、ピクチャ全体のための２個のＧＯＢインターリーブパケット、および１個のＲＳ（２，１）パケットである。
・ インターピクチャについては、１０個のフレームが１つのグループを成す。各グループについて、２０個のパケットがあり、その各々は、特定フレームの１つおきのＧＯＢ、およびｍ（ｍは可変）個のＲＳ（２０，ｍ）パケットを含んでいる。

ケース２：パリティＦＥＣでバッファされた２つのフレーム
２個のパケットについてのパリティＦＥＣの結果がＲＳ（２，１）の結果と同じであることに留意されたい。従って、文書化を単純化するため、パリティＦＥＣはＲＳ（２，１）と同じであると見なされる。

ＲＳＰコーデック（唯一の前景サブピクチャ）：
・ イントラピクチャについては、ケース１と同じである。
・ インターピクチャについては、２個のフレームが１つのグループを成す。各グループについて、２個の前景サブピクチャパケット、前景パケットについての１個のＲＳ（２，１）パケット、および１個の背景サブピクチャパケットがある。前景および背景のパケット化方法はケース１におけるものと同じである。

従来のコーデック：
・ イントラピクチャについては、ケース１と同じである。
・ インターピクチャについては、各フレームは３個のパケットを有している。すなわち、２個のＧＯＢインターリーブパケットおよび１個のＲＳ（２，１）パケットである。

ケース３：ＦＥＣなしでバッファされた２個のフレーム
すべてのコーデックは、ケース２におけるものと同じパケット化方法を用いる。唯一の違いはＦＥＣパケットが全くないことである。

ビット割り当て
ビットレートはいくつかの要因により決定される。すなわち、イントラＧＯＢ更新（ＩＧＵ）レート、ＦＥＣレート、スライス方法、およびＱＰである。（非ＧＯＢ形状スライスが用いられる場合、イントラ更新されたＧＯＢ外からの予測が防止されるべきであることに留意されたい。ＧＯＢ形状スライスについては、予測防止はスライス予測制限によりなされる。）シミュレーションにおいて、前者の３つの要因は、もし可変であれば、試行錯誤により最適化される。他の要因が固定されている場合、ＱＰは以下のように調整される。

関心領域（ＲＯＩ）符号化の領域のためのＱＰまたはＱＰペアは、シーケンス全体について固定される。

ＲＯＩ符号化なしの従来のコーデックについては、ＱＰは、利用可能なビデオビットレートにできるだけ密接に適合するように直接的に調整される。

ＲＳＰコーデックまたはＲＯＩ符号化を伴う従来のコーデックについては、ＱＰペアは以下のように調整される（ＱＰｆは前景用であり、ＱＰｂは背景用である）：

最初に、ＱＰｆを決める。ＱＰｂを最大（３１）になるように設定し、ＱＰｆを、利用可能なビデオビットレートにできるだけ密接に適合するように調整する。

次に、ＱＰｂを改良する。ＱＰｆを上記で決められたように固定させ、利用可能なビデオビットレートにできるだけ密接に適合するようにＱＰｂを調整する。

結果

客観的結果

最適化された結果のみをここに提示する。ＩＧＵレート、ＦＥＣレート、およびスライシング方法を最適化する時には、これらに範囲制限は全く適用されない。コーデックにより決められた最大範囲が用いられる。すなわち、ＩＧＵレート範囲は、０〜１ＧＯＢ／フレームであり、ＦＥＣレート（ＲＳ（ｎ，ｍ）中のｍ）は、０〜（上限なし）であり、スライシングは、１〜９（ＱＣＩＦシーケンスの場合の最大値）ＧＯＢ／スライスである。

３つのケースの結果が得られた。以下の議論において、ＰＬＲはパケット損失レートを意味し、ＩＧＵｆおよびＩＧＵｂはそれぞれ、前景および背景サブピクチャのＩＧＵである。ＩＧＵレートの単位はＧＯＢ／フレームである。

結果は以下の通りであった：
・ 各ケースにおいて、提案されたＲＳＰコーデックは、前景領域について最高のＰＳＮＲを有し、ＲＯＩ符号化を伴う従来のコーデックは、ＲＯＩなしの従来のコーデックよりも優れている。ケース１では、ＲＳＰコーデックの平均ＰＳＮＲは、ＲＯＩ符号化を伴う従来のコーデックよりも０.７８ｄＢ〜０.９６ｄＢ高く、ＲＯＩ符号化なしの従来のコーデックよりも１.９４ｄＢ〜２.４０ｄＢ高い。ケース１では、向上はそれぞれ、１.０９ｄＢ〜１.５９ｄＢおよび２.０４ｄＢ〜２.３８ｄＢである。ケース３では、向上はそれぞれ、ＰＬＲが非０である場合、０.２８ｄＢ〜１.５２ｄＢおよび１.２８ｄＢ〜１.８６ｄＢである。
・ もし比較的長いシーケンスがバッファされれば（ケース１）、適切なＲＳ ＦＥＣが、ＰＬＲ３％、５％、および１０％におけるすべてのパケット損失、ならびにＰＬＲ２０％におけるほとんどのパケット損失を回復できる。
・ ケース３では、ＲＳＰコーデックは従来のコーデックより優れている。１つの理由は、ＲＳＰコーデックを使用している前景領域がより大きいＩＧＵレートを有していることである。ＱＣＩＦシーケンスについては、フレームあたり９つのＧＯＢがある。従って、ＩＧＵ＝１は、真のＩＧＵレートが１／９であることを意味している。前景サブピクチャ（それがＭＢの６本のラインを持っていると仮定する）については、ＩＧＵ＝１は、真のＩＧＵレートが１／６であることを意味している。現行のＴＭＬソフトウェアにおいては、最大ＩＧＵは１である。しかしながら、提示された結果から、より大きいＩＧＵレートまたは他のイントラ更新方法が開発されるべきと推論できる。主観的結果

各ケースについて、主観的評価のための代表的シーケンスとして、平均値に最も近いＰＳＮＲ値を持っているシーケンスが選ばれた。

たとえスナップショットが種々の方式の挙動の完全な概念を与えないとしても、スナップショットはいくつかの局面を捕らえる。０％、５％、および２０％パケット損失レートならびに提示された符号化方式についての最後に復号されたピクチャのスナップショットが試験された。

スナップショットは、一定のＱＰを持つ従来の符号化方式がすべてのケースで明確に最悪であるように見えることを示した。スナップショットは、提示された符号化方式における関心区域が他の方式より主観的に優れることも示している。このことは、２０％損失レートのケースにおいて、ＦＥＣパケットが全く用いられない場合にこれは最も明確に見ることができる。

一般に、提示されたスナップショットは、損失がＦＥＣパケットにより回復されることおよびＩＮＴＲＡ ＧＯＢが（スナップショット中にどのような可視エラーもほとんどないので）比較的早く更新するという事実と合致する。

図６は、本発明の好ましい実施の形態による移動通信装置ＭＳのブロック図を示す。この移動通信装置において、主制御ユニットＭＣＵは、移動通信装置の様々な機能を担うブロック、すなわち、ランダムアクセスメモリＲＡＭ、無線周波数部分ＲＦ、リードオンリーメモリＲＯＭ、ビデオコーデックＣＯＤＥＣおよびユーザーインタフェースＵＩを制御する。ユーザーインタフェースは、キーボードＫＢ、ディスプレイＤＰ、スピーカーＳＰおよびマイクＭＦを含む。ＭＣＵは、マイクロプロセッサー、あるいは別の実施の形態においては、なんらかの他の種類のプロセッサ、例えばデジタルシグナルプロセッサである。有利には、ＭＣＵの操作命令はあらかじめＲＯＭメモリ中に格納されている。その命令（すなわち、コンピュータプログラム）に従って、ＭＣＵは、無線パス上でデータを送信および受信するためにＲＦブロックを用いる。ビデオコーデックは、ハードウェアベースとするか、あるいは完全または部分的にソフトウェアベースとすることができ、その場合に、ＣＯＤＥＣは、必要とされる符号化および復号機能を実行するためにＭＣＵを制御するためのコンピュータプログラムを含む。ＭＣＵは、その作業メモリとしてＲＡＭを使う。移動通信装置は、ビデオカメラによって動画ビデオを取り込むことができ、ＭＣＵ、ＲＡＭおよびコーデックベースのソフトウェアを用いてその動画ビデオを符号化およびパケット化することができる。次に、符号化されたビデオを相手方と交換するためにＲＦブロックが使用される。

図７は、複数の移動通信装置ＭＳ、移動通信ネットワーク７１、インターネット７２、ビデオサーバ７３およびインターネットに接続された固定ＰＣを含むビデオ通信システム７０を示す。ビデオサーバは、ビデオ符号器を備え、天気予報やニュースのようなオンデマンドビデオストリームを提供することができる。

本発明の好ましい実施の形態は、領域ベースの符号化方式に基づく。ＭＰＥＧ−４ビデオとは異なり、この実施の形態は、ビデオ符号化および復号における任意形状領域のどのような複雑な処理も必要とせず、従ってハンドヘルド装置に適用可能である。本発明の好ましい実施の形態により、転送優先順位付けを可能にし、エラーが起きがちなビデオ通信システムにおいて主観的により優れたピクチャ品質を達成するための堅牢なビデオ符号化および復号ツールが提供される。

好ましい実施の形態は、種々の文脈、例えばＩＴＵ−Ｔ Ｈ２６Ｌビデオ符号化標準の文脈において応用できる。本発明の特定の実施および実施の形態を説明してきた。本発明は上記で提示された実施の形態の詳細に限定されないが、本発明の特徴を逸脱することなく同等の手段を用いることにより本発明を実施できることは当業者にとり明確である。本発明の範囲は、添付の特許請求の範囲により限定されるのみである。

略語：
ＡＶＯ オーディオビジュアルオブジェクト
ＢＲ 背景領域
ＣＡＢＡＣ コンテキストベース適応バイナリ算術符号化
ＤＣＴ 離散コサイン変換
ＤＰＬ データパーティショニング層
ＦＥＣ 順方向エラー補正
ＦＲ 前景領域
ＧＯＢ グループオブブロック
ＩＧＵ イントラＧＯＢ更新
ＩＴＵ 国際電気通信連合
ＭＢ マクロブロック
ＭＰＥＧ 動画専門家グループ
ＮＡＬ ネットワーク適応レイヤ
ＱＣＩＦ クオーター共通交換形式（Quarter Common Intermediate Format）
ＱＰ 量子化パラメータ
ＱＰｂ 背景用量子化パラメータ
ＱＰｆ 前景用量子化パラメータ
ＱＱＶＧＡ １６０×１２０画素ビデオ型式
ＲＯＩ 関心領域
ＲＳ リードソロモン（Reed-Solomon）
ＲＳＰ 矩形サブピクチャ
ＲＴＰ リアルタイム転送プロトコル
ＳＥＩ 補足的拡張情報
ＳＰ サブピクチャ
ＴＭＬ テストモデル長期（Test Model Long-term）
ＵＶＬＣ 汎用可変長コード
ＶＣＬ ビデオ符号化層
ＶＯ ビデオオブジェクト
ＶＯＬ ビデオオブジェクト層
ＶＯＰ ビデオオブジェクトプレーン
ＹＵＶ ３つの色成分

ビデオ符号化用に定められたマクロブロックに関して符号化される画面を示す。 本発明の好ましい実施の形態による図１の画面について形成されたビデオ符号化スライスの主要図面を示す。 本発明の好ましい実施の形態による画面のビデオ符号化のフローチャートを示す。 本発明の好ましい実施の形態による画面の復号のフローチャートを示す。 すべての前景領域サブピクチャが正しく復号されない場合の、本発明の好ましい実施の形態による背景領域の復号のフローチャートを示す。 本発明の好ましい実施の形態による移動通信装置のブロック図を示す。 本発明の好ましい実施の形態によるシステムを示す。

Claims (17)

1. ビデオ符号化方法であって、
   ピクチャを、ピクチャの区域に関連した所定の並びを有する、各々が基本的符号化要素の少なくとも１つのグループに対応する規則的形状の符号化ブロックの集合に分割するステップと、
   ピクチャ内で少なくとも１つの形状を決定するステップと、
   該少なくとも１つの決定された形状をカバーする少なくとも１つの区域を定める符号化ブロックの少なくとも１つの部分集合を選択するステップと、
   符号化ブロックの該選択された少なくとも１つの部分集合を、少なくとも１つの単独符号化オブジェクトと決定するステップと、
   該少なくとも１つの単独符号化オブジェクトを除くピクチャの部分を、背景オブジェクトと決定するステップと、
   該少なくとも１つの単独符号化オブジェクトを符号化するステップと、
   １つの符号化オブジェクトとして、背景オブジェクトを符号化するステップとを含む方法。
2. 前記背景符号化オブジェクトは、前記少なくとも１つの単独符号化オブジェクトを用いて符号化される請求項１に記載の方法。
3. 前記背景符号化オブジェクトをビデオ符号化するステップは、前記少なくとも１つの単独符号化オブジェクトに含まれる基本符号化オブジェクトをスキップする連続的な符号化ブロックによりスライスが構成されるように、符号化スライスをスキャン順序で定めるサブステップをさらに含む請求項１または２に記載の方法。
4. 前記少なくとも１つの単独符号化オブジェクトをビデオ符号化するステップは、該少なくとも１つの単独符号化オブジェクトに含まれる符号化ブロックのスキャン順序でスライスが構成されるように、各単独符号化オブジェクト内でスキャン順序で符号化スライスを定めるサブステップをさらに含む先行請求項のいずれか１項に記載の方法。
5. 前記少なくとも１つの決定された形状をカバーする区域は矩形区域であり、それにより正方形が矩形の１つの部分集合になる先行請求項のいずれか１項に記載の方法。
6. 前記単独符号化オブジェクトは主観的重要性の降順で定められる先行請求項のいずれか１項に記載の方法。
7. 前記少なくとも１つの単独符号化オブジェクトのビデオ符号化は、該少なくとも１つの単独符号化オブジェクト中へのエラー伝播を阻止するために、背景オブジェクトのビデオ符号化から独立している先行請求項のいずれか１項に記載の方法。
8. 前記少なくとも１つの単独符号化オブジェクト各々および対応する特徴を相関させるために該少なくとも１つの単独符号化オブジェクトに異なる識別子を割り当てるステップをさらに含む先行請求項のいずれか１項に記載の方法。
9. 各符号化ブロックが基本符号化要素の少なくとも１つのグループに対応し、符号化ブロックがピクチャの区域に関連して所定の並びを有している符号化ブロックの集合により符号化されたピクチャをビデオ復号するための方法であって、
   復号されているピクチャの少なくとも１つの部分を定める符号化ブロックの少なくとも１つの部分集合に対応する少なくとも１つの単独符号化オブジェクトを決定するステップと、
   該少なくとも１つの単独符号化オブジェクトを除くピクチャの部分に対応する符号化ブロックの部分集合を、背景オブジェクトと決定するステップと、
   該少なくとも１つの単独符号化オブジェクトを復号するステップと、
   背景オブジェクトを復号するステップとを含む方法。
10. 連続した符号化ブロックの復号スライスを形成し、前記単独符号化オブジェクトのいずれかに属する符号化ブロックをスキップするサブステップを含む、背景オブジェクトのためのビデオ復号スライスを決定するステップをさらに含む請求項９に記載の方法。
11. 前記少なくとも１つの単独符号化オブジェクトのビデオ復号は、背景オブジェクトのビデオ復号から独立している請求項９または１０に記載の方法。
12. 前記少なくとも１つの単独オブジェクトは、少なくとも１つの前景領域に対応する請求項９〜１１のいずれか１項に記載の方法。
13. ビデオ符号器であって、
    ピクチャを、ピクチャの区域に関連した所定の並びを有する、各々が基本符号化要素の１つのグループに対応する規則的形状の符号化ブロックの集合に分割する手段と、
    ピクチャ内で少なくとも１つの形状を決定する手段と、
    該少なくとも１つの決定された形状をカバーする少なくとも１つの区域を定める符号化ブロックの少なくとも１つの部分集合を選択する手段と、
    符号化ブロックの該選択された少なくとも１つの部分集合を、少なくとも１つの単独符号化オブジェクトと決定する手段と、
    該少なくとも１つの単独符号化オブジェクトを除くピクチャの部分を、背景オブジェクトと決定する手段と、
    該少なくとも１つの単独符号化オブジェクトを符号化する手段と、
    １つの符号化オブジェクトとして、背景オブジェクトを符号化する手段とを含むビデオ符号器。
14. 各符号化ブロックが基本符号化要素の少なくとも１つのグループに対応し、符号化ブロックがピクチャの区域に関連して所定の並びを有している符号化ブロックの集合により符号化されたピクチャをビデオ復号するためのビデオ復号器であって、
    復号されているピクチャの少なくとも１つの部分を定める符号化ブロックの少なくとも１つの部分集合に対応する少なくとも１つの単独符号化オブジェクトを決定する手段と、
    該少なくとも１つの単独符号化オブジェクトを除くピクチャの部分に対応する符号化ブロックの部分集合を、背景オブジェクトと決定する手段と、
    該少なくとも１つの単独符号化オブジェクトを復号する手段と、
    １つの符号化オブジェクトとして、背景オブジェクトを復号する手段とを含む復号器。
15. 装置にピクチャをビデオ符号化させるためのコンピュータ実行可能プログラム手段を含むコンピュータプログラム製品であって、
    装置にピクチャを、ピクチャの区域に関連した所定の並びを有する、各々が基本符号化要素の少なくとも１つのグループに対応する規則的形状の符号化ブロックの集合に分割させるためのコンピュータ実行可能プログラムコードと、
    装置にピクチャ内で少なくとも１つの形状を決定させるためのコンピュータ実行可能プログラムコードと、
    装置に該少なくとも１つの決定された形状をカバーする少なくとも１つの区域を定める符号化ブロックの少なくとも１つの部分集合を選択させるためのコンピュータ実行可能プログラムコードと、
    装置に符号化ブロックの該選択された少なくとも１つの部分集合を、少なくとも１つの単独符号化オブジェクトと決定させるためのコンピュータ実行可能プログラムコードと、
    装置に該少なくとも１つの単独符号化オブジェクトを除くピクチャの部分を、背景オブジェクトと決定させるためのコンピュータ実行可能プログラムコードと、
    装置に該少なくとも１つの単独符号化オブジェクトを符号化させるためのコンピュータ実行可能プログラムコードと、
    装置に１つの符号化オブジェクトとして、背景オブジェクトを符号化させるためのンピュータ実行可能プログラムコードとを含むコンピュータプログラム製品。
16. 装置に各符号化ブロックが基本符号化要素の少なくとも１つのグループに対応し、符号化ブロックがピクチャの区域に関連して所定の並びを有している符号化ブロックの集合により符号化されたピクチャをビデオ復号させるためのコンピュータ実行可能プログラム手段を含むコンピュータプログラム製品であって、
    装置に復号されているピクチャの少なくとも１つの部分を定める符号化ブロックの少なくとも１つの部分集合に対応する少なくとも１つの単独符号化オブジェクトを決定させるためのコンピュータ実行可能プログラムコードと、
    装置に該少なくとも１つの単独符号化オブジェクトを除くピクチャの部分に対応する符号化ブロックの部分集合を背景オブジェクトと決定させるためのコンピュータ実行可能プログラムコードと、
    装置に該少なくとも１つの単独符号化オブジェクトを復号させるためのコンピュータ実行可能プログラムコードと、
    装置に背景オブジェクトを１つの符号化オブジェクトとして復号させるためのコンピュータ実行可能プログラムコードとを含むコンピュータプログラム製品。
17. ビデオ信号であって、
    可変サイズおよび位置を有するビデオ符号化されたピクチャの部分に対応する少なくとも１つの単独符号化オブジェクトに対応する複数の圧縮されたビデオ符号化ブロックと、
    該少なくとも１つの単独符号化オブジェクトに対応する少なくとも１つの識別子と、
    該少なくとも１つの単独符号化オブジェクトに対応する少なくとも１つの位置およびサイズ情報と、
    該少なくとも１つの単独符号化オブジェクトを除くビデオ符号化されたピクチャに対応する符号化ブロックの集合に対応する背景オブジェクトに対応する複数の圧縮されたビデオ符号化ブロックとを含むビデオ信号。

Images