JP2006524948A - ピクチャをビットストリームにて符号化する方法、ビットストリームからピクチャを復号化する方法、ピクチャをビットストリームにて符号化するエンコーダ、ピクチャをビットストリームにて符号化するエンコーダを備える送信装置およびシステム、ビットストリームからピクチャを復号化するデコーダ、ならびに、ビットストリームからピクチャを復号化するデコーダを備える受信装置およびクライアント - Google Patents

Abstract

符号化済みピクチャ内に１または２以上の独立に復号化可能なフレーム、参照用フレームおよび予測フレームが含まれる。本発明の方法では、符号化順にピクチャを並べる配置ステップが実行され、符号化済みピクチャの表示順序に関する情報が規定される。さらに、本発明の方法では、上記符号化済みピクチャをデコーダへ送信する送信ステップと、復号化済みピクチャを形成するために符号化済みピクチャを復号化する復号化ステップと、復号化済みピクチャを表示順に並べる再配置ステップとが実行される。ピクチャ当たりの表示順序の予測増分値が規定され、予測増分値と実際の増分値との差を示すパラメータが計算される。このような計算済みパラメータのＶＬＣ符号化が行われ、ＶＬＣ符号化済みパラメータが送信される。この場合、正しい表示順序で復号化済みピクチャを並べるＶＬＣ符号化済みパラメータが、デコーダで利用される。

Description

本発明は、ピクチャを符号化する方法、およびピクチャを復号化する方法に関する。この方法には、復号化済み符号化ピクチャを並べるために、復号化段で利用される第１の値を規定するステップと、第１の値の予測値を示す第２の値を規定するステップとが含まれる。本発明はまた、システム、送信装置、受信装置、エンコーダ（符号器）、デコーダ（復号器）、電子装置、ソフトウェアプログラム、記憶媒体、および信号にも関する。

公開されているビデオ符号化規格には、ＩＴＵ−Ｔ Ｈ．２６１、ＩＴＵ−Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−２、およびＩＳＯ／ＩＥＣ ＭＰＥＧ−４のパート２が含まれている。本願明細書では、これらの規格を従来のビデオ符号化規格と呼ぶことにする。

ビデオ通信システム
ビデオ通信システムは、通話システムと非通話システムとに分けることができる。会話システムにはテレビ会議とビデオ電話とが含まれる。このようなシステムの例には、ＩＳＤＮ、ＩＰおよびＰＳＴＮ通信ネットワークでそれぞれ動作するテレビ会議電話システムを指定するＩＴＵ−Ｔ勧告Ｈ．３２０、Ｈ．３２３およびＨ．３２４が含まれる。会話型システムは、（オーディオビデオ・キャプチャから遠端のオーディオビデオ・プレゼンテーションまでの）終端間遅延を最小化して、ユーザの経験の改善を図ることを特徴とするものである。

非会話システムには、再生装置の大容量記憶装置に記憶されているディジタル多用途ディスク（ＤＶＤ）またはビデオファイル、ディジタルＴＶ、およびストリーミング等の記憶されたコンテンツの再生が含まれる。これらの技術領域における最も重要な規格について簡単に再検討を行った結果を以下に示す。

今日、ディジタルビデオの消費者用電子装置において支配的な規格としてＭＰＥＧ−２があり、この規格には、ビデオ圧縮、オーディオ圧縮、記憶およびトランスポートを対象とする仕様が含まれている。符号化済みビデオの記憶およびトランスポートは、基本ストリームというコンセプトに基づいて行われる。基本ストリームは、ソース情報の同期、特定、ならびに特性分析を行うのに必要な単一ソース（ビデオ等）および補助データから得られる符号化済みデータから構成される。基本ストリームはパケット化されて、固定長のパケットまたは変動長のパケットのいずれか一方のパケットにされ、パケット化された基本ストリーム（ＰＥＳ）が形成される。各々のＰＥＳパケットは、ペイロードと呼ばれるストリームデータが後続するヘッダから構成される。種々の基本ストリームから得られるＰＥＳパケットが組み合わされて、プログラムストリーム（ＰＳ）またはトランスポートストリーム（ＴＳ）のいずれか一方のストリームが形成される。ＰＳは、ストア・アンド・プレイ（store-and-play）タイプのアプリケーション等の無視できる送信エラーを含むアプリケーションを目的とするものである。ＴＳは、送信エラーに対する感受性が強いアプリケーションを目的とするものである。しかしながら、ＴＳは、ネットワーク・スループットが一定になるように保証することを想定するものである。

ＩＴＵ−ＴとＩＳＯ／ＩＥＣとのジョイントビデオチーム（ＪＶＴ）において標準化のための努力が続けられている。ＪＶＴの作業は、Ｈ．２６Ｌと呼ばれるＩＴＵ−Ｔの以前の標準化プロジェクトに基づいて行われている。ＪＶＴ標準化の目標は、ＩＴ−ＵＴ勧告Ｈ．２６４およびＩＳＯ／ＩＥＣ国際規格１４４９６−１０（ＭＰＥＧ−４のパート１０）として同一規格のテキストを公開することである。上記のようなＪＶＴ標準化のためのドラフト規格は、本願明細書でＪＶＴ符号化規格と呼ばれるものであり、このドラフト規格に準拠するコーデックをＪＶＤコーデックと呼ぶことにする。

以下、説明を明瞭にするために、ビデオ情報に関連するいくつかの用語の定義を行うこととする。フレームにはルマ（luma）・サンプルのアレイと、色度サンプルの２つの対応するアレイとが含まれる。フレームは、最上部フィールドと最下部フィールドの２つのフィールドから構成される。フィールドは、フレームの１個置きの行のアセンブリである。ピクチャは、フレームまたはフィールドのいずれかである。符号化済みピクチャは符号化済みフィールドまたは符号化済みフレームのいずれかである。ＪＶＴ符号化規格では、符号化済みピクチャは１または２以上のスライスから構成される。１つのスライスは整数個のマクロブロックから構成され、１つの復号化済みマクロブロックが、１６×１６のブロックのルマ・サンプルと、２つの対応するブロックの色度サンプルとに対応する。ＪＶＴ符号化規格では、スライスが以下の符号化タイプ、すなわち、Ｉ（イントラ）、Ｐ（予測）、Ｂ（双方向予測）、Ｓｉ（切替えイントラ）、およびＳＰ（切替え予測）のうちの１つに基づいて符号化される。符号化済みピクチャは、異なるタイプのスライスを含むことが許される。全てのタイプのピクチャは、Ｐ、ＢおよびＳＰスライス用の参照用ピクチャとして用いることができる。瞬間デコーダリフレッシュ（ＩＤＲ）ピクチャは、ＩまたはＳｉスライスタイプを含むスライスのみを含む特別タイプの符号化済みピクチャである。後続するピクチャは、復号化順序でピクチャよりも前にあるピクチャを参照することはできない。いくつかのビデオ符号化規格では、符号化済みビデオシーケンスは、シーケンスマークの終端よりも前にあるビットストリーム内に全てのピクチャを含むエンティティである。ＪＶＴ符号化規格では、符号化済みビデオシーケンスは、復号化順序でＩＤＲピクチャ（このＩＤＲピクチャを含む）から次のＩＤＲピクチャ（このＩＤＲピクチャを除く）までの全ての符号化済みピクチャを含むエンティティである。換言すれば、ＪＶＴ符号化規格に準拠する符号化済みビデオシーケンスは、ＭＰＥＧ−２ビデオに準拠する閉じたピクチャグループ（ＧＯＰ）に対応するものとなる。

上記コーデックの仕様自体では、ビデオ符号化層（ＶＣＬ）とネットワーク抽象化層（ＮＡＬ）とは概念的に区別される。ＶＣＬには、変換、量子化、動き探索補償、およびループフィルタのようなコーデックの信号処理機能が含まれる。この信号処理機能は、今日のビデオコーデックのほとんど全ての一般的コンセプトと、動き補償によるピクチャ間予測を利用するマクロブロックベースのコーダ（符号器）と、残差信号の変換符号化とに従うものである。ＶＣＬエンコーダの出力は、下記のスライスからなる。すなわち、整数個のマクロブロックからなるマクロブロックデータを含むビット列と、スライスヘッダ情報（スライス内の第１のマクロブロックの空間アドレス、および初期量子化パラメータ等を含む）とからなる。異なるマクロブロック割当てが指定されない限り、スライス内のマクロブロックは、弾力的なマクロブロック順序付け（Flexible Macroblock Ordering）シンタックスを用いて走査順に連続的に順序付けられる。ピクチャ内予測は、スライスの中だけで利用される。

ＮＡＬは、ネットワーク抽象化層ユニット（ＮＡＬＵ）内へＶＣＬのスライス出力をカプセル化するものであり、これらのユニットは、パケットネットワークでの送信やパケット指向型多重化環境での利用に適している。ＪＶＴの添付資料Ｂには、バイト・ストリーム指向型ネットワークでこのようなＮＡＬＵを送信するカプセル化処理が定義されている。

Ｈ．２６３のオプションの参照用ピクチャ選択モードおよびＭＰＥＧ−４パート２のＮＥＷＰＲＥ符号化ツールによって、Ｈ．２６３における個々のスライス当たり等の各々のピクチャセグメント毎の動き補償に対する参照用フレームの選択が可能になる。さらに、Ｈ．２６３とＪＶＴ符号化規格とのオプションの拡張型参照用ピクチャ選択モードによって、各々のマクロブロックに対する参照用フレームの選択が個別に可能になる。

パラメータのセットのコンセプト
ＪＶＤコーデックの１つの非常に基本な設計コンセプトとして、ヘッダ複製等のメカニズムを不要にする自給型パケットの生成がある。この自給型パケットの生成を達成した方法として、２以上のスライスに関係する情報を媒体ストリームから分離する方法がある。スライスパケットを含むＲＴＰパケットストリームから高い信頼性で、非同期でかつ事前に上位層メタ情報を送信することが望ましい。上記目的のための適切な帯域外トランスポート用チャネルが設けられていないようなアプリケーションでは、上記メタ情報を帯域内で送ることも可能である。より高レベルのパラメータの組み合わせはパラメータのセットと呼ばれる。このパラメータのセットには、ピクチャサイズ、表示用ウィンドウ、採用されているオプションの符号化モード、マクロブロック割当てマップ、およびその他の情報が含まれる。

スライス・パケットストリームと同期してパラメータのセットの更新値の送信を行うことを必要とせずに、（ピクチャサイズ等の）ピクチャパラメータを変更することができるようにするために、エンコーダとデコーダとは２以上のパラメータのセットのリストを保持することができる。各々のスライスヘッダには、使用対象のパラメータのセットを示すコードワードが含まれる。

上記のメカニズムによって、上記パラメータのセットの送信をパケットストリームから分離し、機能交換の副作用としての外部手段、あるいは、（信頼性の高いまたは信頼性の高くない）制御プロトコルを介する等の外部手段によって上記パラメータのセットを送信することが可能になる。アプリケーションの設計仕様によって、上記パラメータのセットが一度も送信されず、固定される場合さえある。

送信順序
従来のビデオ符号化規格では、ピクチャの復号化順序はＢピクチャを除いて表示順序と同じである。従来方式のＢピクチャ内のブロックは、２つの参照用ピクチャから双方向の時間的予測を行うことが可能であり、この場合、表示順序で、一方の参照用ピクチャが時間的に先行し、他方の参照用ピクチャは時間的に後続する。復号化順序で最新の参照用ピクチャだけが、表示順序でＢピクチャの後に続くことができる（例外として、Ｈ．２６３でインターレースされた符号化が挙げられる。ここでは、時間的に後続する参照用フレームの双方のフィールドピクチャが復号化順でＢピクチャに先行する場合がある）。従来方式のＢピクチャは、時間的予測を行うための参照用ピクチャとして用いることはできない。したがって、他のいずれのピクチャの復号化にも影響を与えることなく従来方式のＢピクチャの配置が可能になる。

ＪＶＴ符号化規格には、以前の規格と比べると下記の新規の技術的特徴が含まれている。
（１）ピクチャの復号化順序は表示順序から分離される。ピクチャ番号が復号化順序を示し、ピクチャ順序を示すカウント値が表示順序を示す。
（２）Ｂピクチャ内のブロックのための参照用ピクチャは、表示順序でＢピクチャの前または後のいずれかに存在することが可能である。したがって、Ｂピクチャは、双方向（bi-directional）ピクチャの代わりに双予測（bi-predictive）ピクチャを表すことになる。
（３）参照用ピクチャとして使用しないピクチャは明示的にマークされる。任意のタイプ（イントラ、インタ、Ｂ等）のピクチャを、参照用ピクチャまたは非参照用ピクチャのいずれか一方にすることができる（したがって、別のピクチャのための時間的予測に対する参照用ピクチャとしてＢピクチャの利用が可能になる）。
（４）ピクチャは、異なる符号化タイプを用いて符号化されたスライスを含むことができる。換言すれば、符号化済みピクチャは、例えばイントラ符号化スライスとＢ符号化スライスとから構成されたものであってもよい。

復号化順序からの表示順序の分離は、圧縮効率およびエラー復元力という点から見て利点のあるものになる可能性がある。

圧縮効率の潜在的改善を図る予測構造の１例が図１に示されている。ボックスはピクチャを示し、ボックス内の大文字は符号化タイプを示し、ボックス内の数字はＪＶＴ符号化規格に準拠するピクチャ番号であり、矢印は予測依存状態を示す。Ｂ１７がピクチャＢ１８のための参照用ピクチャであることに留意されたい。圧縮効率は、従来方式の符号化と比べると潜在的に改善されている。というのは、ピクチャＢ１８のための参照用ピクチャの方が、ＰＢＢＰまたはＰＢＢＢＰ符号化済みピクチャパターンを用いる従来方式の符号化と比べると時間的に近くなるからである。圧縮効率は、従来方式のＰＢＰ符号化済みピクチャパターンと比べると潜在的に改善される。というのは、参照用ピクチャの一部が双方向に予測されるからである。

図２は、エラー復元力の改善を図るために利用可能なイントラピクチャ延期法の１例を示す図である。従来の方式では、イントラピクチャは、例えば、シーンのカットの直後に、あるいは、イントラピクチャリフレッシュ時間の時間切れに対する応答として符号化される。イントラピクチャ延期法では、イントラピクチャは、イントラピクチャの符号化の必要性が生じた直後には符号化されず、逆に時間的に後続するピクチャがイントラピクチャとして選択される。符号化済みイントラピクチャと、従来方式のイントラピクチャ位置との間の各々のピクチャは、時間的に後続する次のピクチャから予測される。図２に示すように、イントラピクチャ延期法が２つの独立したピクチャ間予測チェーンを生成するのに対して、従来方式の符号化アルゴリズムでは単一のインタピクチャチェーンが生成される。従来方式の１チェーン・アプローチよりも２チェーン・アプローチの方が消去エラーに対してロバスト（robust）であることは直感的に明瞭である。一方のチェーンがパケット損失を被っても、他方のチェーンはまだ正しく受信されている可能性がある。従来方式の符号化では、パケット損失に起因して、残りのピクチャ間予測チェーンに対するエラー拡散が常に生じることになる。

２つのタイプの順序付け情報と時間情報とは、従来、ディジタルビデオ、すなわち、復号化順序およびプレゼンテーション順序と関連づけられてきた。これに関連する技術を以下さらに厳密に検討する。

復号化用タイムスタンプ（ＤＴＳ）は、符号化されたデータ単位の復号化を行うために想定されている基準クロックに対する相対的な時間を示すものである。ＤＴＳが符号化されて送信される場合、ＤＴＳは次の２つの目的のために機能する。第１の目的は、ピクチャの復号化順序が当該ピクチャの出力順序と異なる場合、ＤＴＳが復号化順序を明示的に示すことである。第２の目的は、受信レートが任意の時点で送信レートに近い場合、ＤＴＳが、所定の前置デコーダバッファリングの動作を保証することである。エンドツーエンド（end-to-end）の待ち時間が変動するネットワークでは、ＤＴＳの第２の利用は全くあるいはほとんど役割を果たさなくなる。その代わりに、もし後置デコーダ用バッファ内に未圧縮ピクチャのための余地があれば、受信データは可能な限り高速に復号化されることになる。

ＤＴＳの搬送は、使用中の通信システムとビデオ符号化規格とに依存する。ＭＰＥＧ−２システムでは、ＤＴＳは、ＰＥＳパケットのヘッダ内の１つの項目として、オプションで送信することができる。ＪＶＴ符号化規格では、補足の拡張機能情報（ＳＥＩ）の一部として、オプションでＤＴＳの搬送が可能であり、さらに、ＤＴＳはオプションの仮想基準デコーダの操作時に利用される。ＩＳＯベースのメディアファイル・フォーマットでは、ＤＴＳはそれ自身のボックスタイプ（サンプルボックスに対する復号化時間）専用となる。ＲＴＰベースのストリーミングシステム等の多くのシステムでは、ＤＴＳが搬送されることは全くない。というのは、復号化順序が送信順序と同じであると想定されていて、正確な復号化時間は重要な役割を果たさないからである。

Ｈ．２６３のオプションの添付資料Ｕおよび添付資料Ｗ．６．１２には、復号化順に前回の参照用ピクチャに対して１だけ増分されるピクチャ番号が指定されている。ＪＶＴ符号化規格では、フレーム番号は、Ｈ．２６３のピクチャ番号に対しても同様に指定される。ＪＶＴ符号化規格によれば、フレーム番号はＩＤＲピクチャで０にリセットされる。

Ｈ．２６３ピクチャ番号を用いて、参照用ピクチャの復号化順序を回復することができる。同様に、ＪＶＴフレーム番号を用いて、復号化順にＩＤＲピクチャ（このピクチャを含む）と次のＩＤＲピクチャ（このピクチャを除く）間でフレームの復号化順序を回復することができる。しかしながら、相補的参照フィールドの対（異なるパリティからなるフィールドとして符号化された連続的なピクチャ）が同じフレーム番号を共有しているため、フレーム番号からフレームの復号化順序の再構成を行うことはできない。

Ｈ．２６３ピクチャ番号または非参照用ピクチャのＪＶＴフレーム番号は、復号化順序で、前の参照用ピクチャのピクチャ番号またはフレーム番号＋１に等しくなるように指定される。いくつかの非参照用ピクチャが復号化順に連続している場合、これらのピクチャは同じピクチャ番号またはフレーム番号を共有することになる。非参照用ピクチャのピクチャ番号またはフレーム番号も、復号化順序で次の参照用ピクチャのピクチャ番号またはフレーム番号と同じになる。Ｈ．２６３における時間参照値（ＴＲ）符号化エレメントまたはＪＶＴ符号化規格のピクチャ順序カウント値（ＰＯＣ）というコンセプトを用いて、連続する非参照用ピクチャの復号化順序を回復することが可能になる。

ピクチャ番号またはフレーム番号の値は、ある一定の最大値を有する。この最大値の後の次の増分値によって、ピクチャ番号またはフレーム番号は０に等しくされる。一般に、ピクチャ番号またはフレーム番号の値は、Ｎビットの無符号の整数として符号化されるため、ピクチャ番号またはフレーム番号の最大値は２Ｎ−１に等しくなる。

ピクチャの表示が仮定されているとき、プレゼンテーション用タイムスタンプ（ＰＴＳ）は基準クロックの相対時間を示す。プレゼンテーション用タイムスタンプは表示用タイムスタンプ、出力用タイムスタンプ、および構成用タイムスタンプとも呼ばれる。

ＤＴＳの搬送は、使用中の通信システムおよびビデオ符号化規格とに依存する。ＭＰＥＧ−２システムでは、ＰＴＳは、ＰＥＳパケットのヘッダ内の１つの項目として、オプションで送信することができる。ＪＶＴ符号化規格では、補足拡張機能情報（ＳＥＩ）の一部として、オプションでＰＴＳを運ぶことが可能であり、さらに、ＰＴＳは、仮想基準デコーダの操作時に利用される。ＩＳＯベースのメディアファイル・フォーマットでは、ＰＴＳはそれ自身のボックスタイプ専用となり、構成時間はサンプルボックス専用となる。このサンプルボックスでは、プレゼンテーション用タイムスタンプが、対応する復号化用タイムスタンプに対して相対的に符号化される。ＲＴＰでは、ＲＴＰパケットヘッダ内のＲＴＰタイムスタンプはＰＴＳに対応するものとなる。

多くの従来のビデオ符号化規格は、多くの面でＰＴＳに類似している時間参照値（ＴＲ）符号化エレメントを特徴付けるものである。時間的に前回の参照用ピクチャヘッダ内でＴＲの値を前回の送信値から１だけスキップしたピクチャの数だけ、または非参照用ピクチャの数だけ、ピクチャクロック周波数で増分することによって、ＴＲの値が形成される。ＴＲは、一般に、固定長（Ｎビット）の無符号の整数として符号化されるため、ＴＲの計算ではモジュロ２Ｎ演算が用いられる。ＭＰＥＧ−２ビデオ等の従来の符号化規格のうちのいくつかの規格では、ＴＲはピクチャグループ（ＧＯＰ）の開始部で０にリセットされる。

ＪＶＴ符号化規格では、時間というコンセプトがビデオ符号化層に存在しない。ピクチャ順序を示すカウント値は、復号化順序の前回のＩＤＲピクチャに関連して、あるいは、前回のピクチャに関連して出力順序のピクチャ位置が上がるにつれて増加する値を有する変数となるように規定され、上記カウント値には、全ての参照用ピクチャを「参照用として未使用」のものとしてマークするメモリ管理制御処理が含まれる。ピクチャ順序を示すカウント値は、各々のフレームとフィールドについて導き出される。ＪＶＴ符号化規格では、Ｂスライスの復号化時の参照用ピクチャに対して初期ピクチャの順序付けを決定するために、ピクチャ順序を示すカウント値が利用され、時間的に直接モードで動きベクトルを導き出すために、Ｂスライスにおける暗黙裡でのモード重み付きの予測用として、さらに、デコーダ出力順序の適合性チェック用としてフレームやフィールド間でのピクチャ順序の違いが表されることになる。多数のエンコーダによって、ピクチャのサンプリングタイムに比例するピクチャ順序を示すカウント値が設定される。

マルチメディア・ストリームの送信
マルチメディア・ストリーミングシステムは、ストリーミング・サーバ、およびネットワークを介して上記サーバにアクセスする複数のプレイヤから構成される。ネットワークは一般にパケット指向型であり、保証されたサービス品質のための手段をほとんど提供しないか、または全く提供しない。プレイヤは、予め記憶されたマルチメディア・コンテンツか、またはライブのマルチメディア・コンテンツかのいずれかのコンテンツをサーバからフェッチし、このコンテンツをダウンロードしながら、コンテンツをリアルタイムで再生する。通信のタイプは、ポイント・トゥー・ポイントまたはマルチキャストのいずれか一方とすることができる。ポイント・トゥー・ポイント・ストリーミングでは、サーバによって、各々のプレイヤに対して個別の接続が行われる。マルチキャスト・ストリーミングでは、サーバは、単一のデータストリームを複数のプレイヤへ送信し、次いで、必要な場合にのみネットワーク・エレメントがストリームの複製を行う。

プレイヤがサーバとの接続を確立し、マルチメディア・ストリームを要求すると、サーバは所望のストリームの送信を開始する。プレイヤはストリームの再生をすぐには開始せず、その代わりに、数秒の間着信データのバッファリングを行うのが一般的である。本願明細書では、このバッファリングを初期バッファリングと呼ぶ。初期バッファリングは、ポーズのない再生の保持に役立つものである。というのは、時折送信遅延が長くなったり、ネットワーク・スループットが低下したりする場合に、プレイヤはバッファ済みデータを復号化し、このデータの再生を行うことができるからである。

送信エラー
２つの主要タイプのエラー、すなわち、送信エラーとパケットエラーが存在する。ビットエラーは、一般に、移動通信における無線アクセスネットワーク接続等のような回線交換型チャネルと関連づけられ、これらのビットエラーは、電波妨害等の物理チャネルの不完全さに起因して生じる。このような不完全さの結果として、送信データ内にビット反転、ビット挿入およびビット削除が生じる可能性がある。パケットエラーは、一般にパケット交換ネットワーク内のエレメントに起因して生じるものである。例えば、パケットルータは輻輳状態になる可能性がある。すなわち、パケットルータが入力としてあまりに多くのパケットを取得したため、同一レートでそれらの多くのパケットを出力できなくなる場合がある。この状況で、当該バッファがオーバーフローし、いくつかのパケットが紛失する。パケットの複製、および、送信時とは異なる順序でのパケットの配信も起こり得るが、一般に、これらはパケット損失ほどありふれたものではないと考えられている。パケットエラーは、使用されるトランスポート・プロトコル・スタックの実施に起因して生じる場合もある。例えば、送信装置で計算され、ソース符号化データと共にカプセル化されるチェックサムを使用するようないくつかのプロトコルもある。データ内にビット反転エラーが生じた場合、受信装置は最終的に同じチェックサムの中へ入ることができなくなり、受信パケットを破棄しなければならなくなる場合がある。

第２世代（２Ｇ）および第３世代（３Ｇ）を含むＧＰＲＳ、ＵＭＴＳおよびＣＤＭＡ−２０００によって、２つの基本タイプの無線接続、すなわち、確認応答型接続と非確認応答型接続とが提供されている。確認応答型接続とは、受け手側（移動局ＭＳ、基地局サブシステム、ＢＳＳのいずれか）が無線リンクフレームの完全性のチェックを行うようにするものであり、送信エラーが生じた場合、再送要求が無線リンクの他方の終端部へ与えられる。リンク層再送信に起因して、フレームに対する肯定の確認応答が受信されるまで、発信者は無線リンクフレームのバッファリングを行う必要がある。過酷な無線条件では、このバッファがオーバーフローして、データ損失を引き起こす可能性がある。それにもかかわらず、ストリーミング・サービス用として確認型無線リンク・プロトコルモードの利用が有利であることが証明されている。非確認応答型接続とは、一般にエラーを含む無線リンクフレームを破棄するために行われるものである。

ほとんど全てのビデオ圧縮アルゴリズムは、時間的に予測が行われるＩＮＴＥＲピクチャまたはＰピクチャを生成するものである。この結果、１つのピクチャにおけるデータ損失に起因して、破損ピクチャからの時間予測の結果として得られるピクチャに目に見える劣化が生じることになる。ビデオ通信システムは、破損フレームに依存しないフレームが受信されるまで、表示画像における紛失を隠蔽するか、または最新の正しいピクチャをスクリーン上へフリーズさせるかのいずれかを行うことができる。

従来のビデオ符号化規格では、復号化順序は出力順序と結合される。換言すれば、ＩピクチャおよびＰピクチャの復号化順序は、これらのピクチャの出力順序と同じであり、Ｂピクチャの復号化順序は、出力順序でＢピクチャの後にある参照用ピクチャの復号化順序の直後に続くことになる。この結果、所定の出力順序に基づいて復号化順序の回復が可能になる。出力順序は一般に、時間参照値（ＴＲ）フィールド内の基本ビデオビットストリームの形で送信され、さらにＲＴＰヘッダにおける場合のようにシステム多重化層内の基本ビデオビットストリームの形でも送信される。したがって、従来のビデオ符号化規格では、復号化の順序とは異なる送信順序に関連する上記で示したような問題は存在しなかった。

バッファリング
ストリーミング・クライアントは、一般に、比較的多量のデータ格納能力を持つ受信バッファを備えている。最初に、ストリーミング・セッションが確立されると、クライアントはストリームの再生をすぐには開始せず、数秒の間、着信データのバッファリングを行うのが一般的である。このバッファリングは連続再生を保持するのに役立つものである。というのは、時折送信遅延が長引いたり、ネットワークのスループットが低下したりした場合、クライアントはバッファ済みデータの復号化と再生とを行うことができるからである。上記のような受信バッファを備えていない場合、クライアントは、初期バッファリングを行うことなく、表示をフリーズさせ、復号化を停止して、着信データを待つ必要がある。バッファリングは、任意のプロトコルレベルでの自動再送信または選択再送信のいずれか一方の再送信を行うためにも必要である。ピクチャのいずれかの一部が紛失した場合、再送信メカニズムを用いて紛失データの再送信を行うことが可能である。再送データがそのスケジューリングされた復号化時刻あるいは再生時刻よりも前に受信されれば、紛失は完全に回復されることになる。

本発明によって、時間参照値および／またはピクチャ順序を示すカウント値に関連する情報を縮小サイズで送信することが可能になる。本発明では、予測増分値と実際の増分値との差を示すパラメータが計算され、ハフマン符号化、算術符号化、またはその他のタイプのエントロピ符号化等の可変長符号化を用いて計算済みパラメータが符号化され、ＶＬＣ符号化済みパラメータが送信される。この場合、正しい表示順序で復号化済みピクチャを並べるために、ＶＬＣ符号化済みパラメータがデコーダで利用される。

本発明では、ピクチャ順序またはフレーム番号の増分値当たりの予測される時間参照値またはピクチャ番号カウント値の差を指定するために、シーケンスレベルの信号伝送が規定される。次いで、予測される時間参照値またはピクチャ順序を示すカウント値の計算を行うことによって、各々のピクチャについて時間参照値とピクチャ順序とを示すカウント値が符号化される。次いで、上記の予測されるピクチャ順序を示すカウント値と実際のピクチャ順序を示すカウント値との差が各々のピクチャに対して規定され、ビットストリームの形で受信装置へ送信される。好適には、前回の送信の可変長符号化を行うことにより差の値を符号化して、情報サイズのさらなる節減を図ることが望ましい。

以下の説明では、エンコーダ／デコーダベースのシステムを用いて本発明について説明を行うが、ビデオ信号が格納されるシステムにおいても本発明の実現が可能であることは言うまでもない。格納済みビデオ信号は、符号化前に格納された未符号化信号であってもよいし、あるいは、符号化後に格納される符号化済み信号のような信号や、符号化処理と復号化処理との後に格納される復号化済みの信号のような信号のいずれであってもよい。例えば、エンコーダは、復号化順にビットストリームを生成する。ファイルシステムは、オーディオビットストリームおよび／またはビデオビットストリームを受け取り、これらのビットストリームを復号化順にカプセル化し、ファイルとして格納する。

本発明に従ってピクチャをビットストリームにて符号化する方法は、復号化済み符号化ピクチャを並べるために復号化段で利用される第１の値を規定するステップと、この第１の値の予測値を示す第２の値を規定するステップと、上記第１の値と上記第２の値との差を示す少なくとも１つのパラメータを計算するステップと、上記少なくとも１つのパラメータをビットストリームにて符号化するステップとを主たる特徴とするものである。

本発明に従ってビットストリームからピクチャを復号化する方法は、ピクチャの順序を示す順序付け値を形成するステップと、この順序付け値の予測値を示す第１の値を形成するステップと、第２の値を取得するために上記ビットストリームから少なくとも１つのパラメータを復号化するステップであって、復号化される上記少なくとも１つのパラメータが上記順序付け値と上記第１の値との間の差を示すステップと、上記順序付け値を取得するために上記第１の値と上記第２の値とを利用するステップとを主たる特徴とするものである。

本発明によるシステムは、第１の値と第２の値との差を示す少なくとも１つのパラメータを計算する計算手段と、少なくとも１つのパラメータをビットストリームにて符号化するコーダと、第２の値を取得するために上記ビットストリームから少なくとも１つのパラメータを復号化する手段であって、復号化される上記少なくとも１つのパラメータが、ピクチャの順序を示す順序付け値と上記第１の値との間の差を示す手段と、上記順序付け値を取得するために上記第１の値と上記第２の値とを利用する手段とを備えることを主たる特徴とするものである。

本発明による送信装置は、第１の値と第２の値との差を示す少なくとも１つのパラメータを計算する計算手段と、前記少なくとも１つのパラメータを上記ビットストリームにて符号化するコーダとを具備することを主たる特徴とするものである。

本発明による受信装置は、第２の値を取得するためにビットストリームから少なくとも１つのパラメータを復号化する手段であって、復号化される上記少なくとも１つのパラメータが、ピクチャの順序を示す順序付け値と第１の値との間の差を示す手段と、上記順序付け値を取得するために上記第１の値と上記第２の値とを利用する手段とを具備することを主たる特徴とするものである。

本発明によるソフトウェアプログラムは、第１の値と上記第２の値との差を示す少なくとも１つのパラメータを計算するステップと、上記少なくとも１つのパラメータを上記ビットストリームにて符号化するステップとを有することを主たる特徴とするものである。

本発明による記憶媒体は、第２の値を取得するためにビットストリームから少なくとも１つのパラメータを復号化するステップであって、復号化される上記少なくとも１つのパラメータが、ピクチャの順序を示す順序付け値と第１の値との間の差を示すステップと、上記順序付け値を取得するために上記第１の値と上記第２の値とを利用するステップとを有するソフトウェアプログラムを格納するように構成されることを主たる特徴とするものである。

本発明による搬送波は、ビットストリームにて符号化された第１の値と第２の値との差を示す少なくとも１つのパラメータとを具備することを主たる特徴とするものである。

本発明を利用することにより、送信すべき情報量をさらに減少させることが可能になる。この情報量の減少によって、マルチメディア情報のさらに高速な送信レートをもたらすことが可能になる。

以下、図３のシステムと、図４のエンコーダ１と、図５のデコーダ２とに関連して、本発明についてさらに詳細に説明する。例えば、符号化対象ピクチャは、カメラ、ビデオレコーダ等のビデオソース３から出力されるビデオストリームピクチャ等であってもよい。ビデオストリームピクチャ（フレーム）は、スライス等のさらに小さな部分に分けることができる。スライスは、さらにブロックに分けることができる。エンコーダ１では、ビデオストリームが符号化されて、情報量が低減され、送信チャネル４を介して送信されたり、記憶媒体（図示せず）へ送信されたりする。ビデオストリームピクチャはエンコーダ１へ入力される。エンコーダは、符号化対象ピクチャのいくつかを一時的に格納する符号化用バッファ１.１（図４）を備えている。エンコーダ１はメモリ１.３（ＲＯＭ）およびプロセッサ１.２も備え、本発明に基づく符号化タスクを適用することができる。メモリ１.３とプロセッサ１.２とは送信装置６に共通のものにしてもよい。あるいは、送信装置６は、送信装置６の別の機能のための別のプロセッサおよび／またはメモリ（図示せず）を備えるようにしてもよい。エンコーダ１は、動き予測および／または何らかの別のタスクを実行して、ビデオストリームの圧縮を行う。符号化対象ピクチャ（現在のピクチャ）間の動き予測の類似性に関して、以前のピクチャおよび／または以後のピクチャの探索が行われる。類似性が発見された場合、符号化対象ピクチャの参照用ピクチャとして比較済みピクチャまたはピクチャの一部を利用することができる。ＪＶＴ符号化規格では、ピクチャの表示順序および復号化順序は必ずしも同じであるとは限らず、ピクチャが参照用ピクチャとして利用される限り、参照用ピクチャをバッファ（符号化用バッファ１.１等）に格納する必要がある。エンコーダ１はまた、ピクチャの表示順序に関する情報をビットストリームの中へ挿入してもよい。

必要に応じて、符号化済みピクチャは、符号化処理から符号化済みピクチャバッファ５.２へ移される。この符号化済みピクチャは、送信チャネル４を介してエンコーダ１からデコーダ２へ送信される。デコーダ２で、符号化済みピクチャは復号化され、可能な限り符号化済みピクチャに対応する未圧縮ピクチャが形成される。各々の復号化済みピクチャは、各々の復号化済みピクチャが復号化されたほぼ直後に表示されない限り、および、参照用ピクチャとして使用されない限り、デコーダ２の復号化済みピクチャバッファＤＰＢ（復号化用バッファとも呼ばれる）２.１にてバッファリングされる。好ましくは、参照用ピクチャバッファリングと表示用ピクチャバッファリングの双方が組み合わされ、同じ復号化済みピクチャバッファ２.１が使用される。これによって、２つの異なる場所に同じピクチャを格納する必要がなくなるため、デコーダ２の必要なメモリが節減されることになる。

デコーダ２は、メモリ２.３（ＲＡＭまたはＲＯＭ）およびプロセッサ２.２も備えており、これらのメモリ２.３およびプロセッサ２.２において、本発明に基づく復号化タスクの実行が可能になる。メモリ２.３とプロセッサ２.２とは、受信装置８に共通のものであってもよいし、あるいは、受信装置８の別の機能を実行するための別のプロセッサおよび／またはメモリ（図示せず）を備えたものであってもよい。

符号化
次に、符号化／復号化処理についてさらに詳細に考察する。ビデオソース３から得られたピクチャがエンコーダ１へ入力され、好適にはプレエンコーディング用バッファ（符号化用バッファ）１.１に格納される。符号化処理は、必ずしも第１のピクチャがエンコーダへ入力された直後に開始されるとは限らず、ある一定量のピクチャが符号化用バッファ１.１で利用可能になった後に開始されることもある。次いで、エンコーダ１は、参照用フレームとして利用可能なピクチャの中から適切な候補を見つけ出そうと試みる。次いで、エンコーダ１は、符号化済みピクチャを形成するために符号化を実行する。例えば、符号化済みピクチャは、予測ピクチャ（Ｐ）、双予測ピクチャ（Ｂ）および／またはイントラ符号化済みピクチャ（Ｉ）となる可能性がある。他のいずれのピクチャも用いることなく、イントラ符号化済みピクチャの復号化を行うことも可能ではあるが、別のタイプのピクチャでは、それらのピクチャの復号化が可能になる前に少なくとも１つの参照用ピクチャが必要となる。前述のピクチャタイプのうちのいずれかのピクチャを参照用ピクチャとして使用することが可能である。

以下、時間参照値（ＴＲ）という用語を使用するが、この用語の代わりに、ピクチャ順序を示すカウント値（ＰＯＣ）という用語を使用してもよい。時間参照値は、現在のビデオシーケンスの開始点を基準として相対的に関連する表示用タイムスタンプを参照する値である。時間参照値の精度および符号化モードは、シーケンスレベルの問題である。これらのモードは、ＩＤＲピクチャ側でのみ変更することができる。

本発明の好適な実施形態では、「無（none）」モード、「デルタ」モードおよび「独立」モード等の異なる時間参照値モードの存在が可能である。「無」モードは、スライスヘッダの形で時間参照値が運ばれることを示す。「デルタ」モードは、時間参照値がフレーム番号に対して符号化されることを示す。「独立」モードは、時間参照値が規格Ｈ．２６３に対応してフレーム番号から符号化されることを示す。以下、「デルタ」モードのみについてさらに詳細に考察することとする。

ＪＶＴ符号化規格では、フレーム番号がＩＤＲピクチャで０にリセットされる。さらに、時間参照値は、一般にシーケンスやＧＯＰの開始部で０にリセットされ、ピクチャ順序を示すカウント値が、ＪＶＴ符号化規格に基づいてＩＤＲピクチャで０にリセットされる。ＩＤＲピクチャは、エンコーダとデコーダの参照ピクチャ用バッファとを空にするという悪影響を与える。参照ピクチャ用バッファを空にし、（ＪＶＴ符号化規格の５に相当するメモリ管理制御処理と称される）特別のコマンドによってピクチャ順序を示すカウント値のリセットを行うことも可能である。前回の参照用ピクチャのフレーム番号に等しくなるように、非参照用ピクチャのフレーム番号は復号化順序＋１で指定される。いくつかの非参照用ピクチャが復号化順序で連続する場合、それらの非参照用ピクチャは同じフレーム番号を共有することになる。非参照用ピクチャのフレーム番号は、（復号化順序で次の参照用ピクチャがＩＤＲピクチャでない場合）復号化順で次の参照用ピクチャのフレーム番号とも同じ番号になる。符号化用パターンとして、以下のＩＢＢＰＢＢＰの例について考えることにする。符号化用パターンに基づいて符号化対象フレームを、以下のように１０ Ｂ２ Ｂ２ Ｐ１ Ｂ３ Ｂ３ Ｐ２．．．とする。ここで、上記番号はフレーム番号を示すものとする。本実施形態では、２つの符号化フレームからＢ−フレーム（Ｂ２、Ｂ３）を双方向に予測するものと仮定する。符号化用パターンから、フレーム番号の増分値当たりの時間参照値の予測差が３となることがわかる。エンコーダは、第１のピクチャ（１０）を符号化するとき、時間参照値を０にリセットする。次いで、エンコーダは、このケースでは、ピクチャＰ１である第２の参照用ピクチャを符号化する。ピクチャＰ１の時間参照値は３であり、予測差の値（３）をフレーム番号（１）に乗算することにより上記参照値を計算することができる。次に、エンコーダは、参照用フレーム１０、Ｐ１の双方をメモリに入れて、これらの２つのフレーム間に存在するＢフレームの予測を行う。第１のＢ２フレームの時間参照値は、以下のように計算することができる。すなわち、第１のＢ２フレームに対して予測される時間参照値として６の値を与える予測差値（３）をフレーム番号（２）に乗じる。しかしながら、第１のＢ２フレームの正しい順序番号は１である。したがって、実際の値と予測値との間に−５の差がある。この差（すなわち誤差）は、本願明細書の説明で後述するように信号で受信装置へ送信される。次のＢ２フレームに対する予測される時間参照値と実際の時間参照値との間の誤差も同様に計算することができる。したがって、予測値は、フレーム番号＊予測される時間参照値により計算され、２＊３＝６となる。この場合、時間参照値の予測誤差は、実際の時間参照値−予測される時間参照値、すなわち、２−６＝−４である。

エンコーダは、次の第３の参照用フレームＰ２を符号化する。予測される時間参照値と実際の時間参照値は２＊３＝６である。Ｐ２フレームが符号化された後、第２のＰ１と第３の参照用フレームＰ２との間に存在するＢ３フレームの符号化を行うことができる。誤差の値の計算は、上記記載の例の場合と同様である。第１のＢ３フレームの誤差の値は４−３＊３＝−５であり、第２のＢ３フレームの誤差の値は５−３＊３＝−４である。

別の好適な実施形態では、非格納ピクチャの時間参照値は、そのフレーム番号を基準として相対的な値とすることができる。オフセットが１または２のいずれかであることが望ましい。したがって、ピクチャが非格納ピクチャである場合、時間参照値は下記のように計算される。
（ｆｒａｍｅ_ｎｕｍ-ｏｆｆｓｅｔ）＊ｅｘｐｅｃｔｅｄＤｅｌｔａＰＮ＋ＴＲＰｒｅｄｉｃｔｉｏｎＥｒｒｏｒ
ただし、ｆｒａｍｅ_ｎｕｍ＝フレーム番号（許された値の範囲内で制限なし）
ｏｆｆｓｅｔ＝前述の値
ｅｘｐｅｃｔｅｄＤｅｌｔａＰＮ＝予測される時間参照値の差
ＴＲＰｒｅｄｉｃｔｉｏｎＥｒｒｏｒ＝時間参照値の予測誤差

ピクチャが格納済みピクチャであれば、時間参照値は下記の式によって計算される。
ｆｒａｍｅ_ｎｕｍ＊ｅｘｐｅｃｔｅｄＤｅｌｔａＰＮ＋ＴＲＰｒｅｄｉｃｔｉｏｎＥｒｒｏｒ（時間参照値の予測誤差）

本実施形態では、符号化対象フレームが前回の例：１０ Ｂ２ Ｂ２ Ｐ１ Ｂ３ Ｂ３ Ｐ２．．．と同じであると仮定すると、時間参照値の予測誤差は、表１に記載のようなものとなる。

本発明によれば、予測される時間参照値または実際の時間参照値は、誤差の値に関する情報を除いて送信されない。上記誤差の値は、ＶＬＣ符号化された前回の送信値であることが望ましい。この誤差の値のＶＬＣ符号化を行うことが可能であり、次いで、このＶＬＣ符号化値の送信が可能である。誤差の値の絶対値のＶＬＣ符号化を行い、次いで、ＶＬＣ符号化値および誤差の値の符号に関する情報を送信することも可能である。さらに別の好適な実施形態では、誤差の値が０に等しければ誤差の値を送信する必要はなく、誤差の値が０であることを示すフラグ（例えば１ビットの情報）のみが送信される。

ＲＴＰベースのシステム等のいくつかのシステムでは、情報が暗黙のうちに送信プロトコルで運ばれるので、ビデオパケットストリームの形で表示用タイムスタンプの明示的な信号送信を行う必要はない。復号化用タイムスタンプは、前置デコーダ用バッファの動作を制御するために利用される。通話用アプリケーションは、一般に、可能な限り高速に復号化を行うため、復号化用タイムスタンプを必要としない場合もある。したがって、システムは、送信対象としてどのタイムスタンプ情報を決定するかについて当然若干の自由を有することになる。システムによっては、予測される時間参照値の差と時間参照値の予測誤差とをデコーダ２へ信号の形で送信する必要があるものもある。この誤差の値は、各々の予測フレーム用として信号の形で送信される。連続するピクチャグループ間での予測される時間参照値の差の値の変動がなければ、予測される時間参照値の差が、各々のピクチャグループ用として信号の形で送信され、頻度は低くなる。パラメータのセットのメカニズムを利用することによって、上記のような信号送信を行うことが可能である。

以下、スライスヘッダ情報の１例について説明する。スライスヘッダには、下記のフィールドが含まれる。
・ＴＲＰＥ：（時間参照値の予測誤差の絶対値）＋１
・ＴＲＰＥＳ：時間参照値の予測誤差の符号
・ＴＲ：時間参照値

ＴＲＰＥは可変長コードであり、時間参照値の予測誤差の値を含むものである。ＴＲＰＥが０であれば、ピクチャに対して事前に計算された時間参照値が有効となる。ＴＲＰＥが０よりも大きければ、時間参照値は下記のように計算される。シンボルＴＰＮは、ラップオーバ（wrapover）のない（すなわち、フレーム番号の最大値に関して制限のない）累積フレーム番号を意味する。ＴＲＰＥが１よりも大きい場合にのみＴＲＰＥＳが存在することになる。ＴＲＰＥ＝０の場合、さらなるＴＲ情報はこのスライスヘッダでは転送されず、ＴＲの値は、他の任意の同じピクチャのスライスヘッダで転送される情報に等しくなる。ＴＲＰＥ＝１の場合、ＴＲ＝ＴＰＮ＊予測される時間参照値の誤差となる。ＴＲＰＥ＞１の状況では、時間参照値の予測誤差の符号（ＴＲＰＥＳ）がチェックされる。ＴＲＰＥＳ＝１（正の誤差）の場合、ＴＲ＝ＴＰＮ＊予測される時間参照値の差＋ＴＲＰＥ−１である。ＴＲＰＥＳ＝０（負の誤差）の場合、ＴＲ＝ＴＰＮ＊予測される時間参照値の差−ＴＲＰＥ＋１である。本実施形態では、信号の形でデコーダへ送信される時間参照値の予測誤差の値は、実際の時間参照値の予測誤差の値に１だけ増分された値となる。したがって、デコーダは、正しい時間参照値を計算する際に、各々のフレームに対する上記増分値も考慮に入れる必要がある。

復号化
次に、受信装置８の動作について説明する。受信装置８は、ピクチャに属する全てのパケットを収集し、これらのパケットを合理的な順序に変更する。順序の厳密さは、採用されるプロファイルに依存する。受信パケットは、受信用バッファ９.１（プレデコーディング用バッファ）内へ好適に格納される。受信装置８は、使用不可のパケットを全て破棄し、残りをデコーダ２へ渡す。

デコーダ２が復号化の開始に十分な数のフレームを有している場合、デコーダはフレームの復号化を開始する。最初に、正しい復号化順序を特定する必要がある。この正しい復号化順序の特定は、受信フレームの復号化用タイムスタンプ等のチェックにより行うことができる。独立に復号化可能なフレームは、この名称が暗示しているように、他のフレームに関係なく復号化を行うことが可能である。１または２以上の予測フレーム用の参照用フレームである復号化済みフレームは、デコーダの復号化済みピクチャ用バッファ２.１の一部とすることができるような参照用フレームバッファに格納される。送信順序が、任意の予測フレームの全ての参照用フレームを予測フレームよりも前に送信するような順序である場合、デコーダは予測フレームの格納を必要とせず、予測フレームのほぼ受信直後に予測フレームの復号化を行うことが可能になる。これらの復号化済みフレームは、表示を行うために正しい順番での順序付けを必要とする。この順序付けは、符号化済み時間参照値の予測誤差情報と、予測される時間参照値の差とを利用することにより行うことが可能である。以下、順序付けプロセスの１例について説明する。本実施形態では、以下の順序、すなわち、１０ Ｐ１ Ｂ２ Ｂ２ Ｐ２ Ｂ３ Ｂ３の順序でフレームを受信するものと仮定する。また一方で、フレームの時間参照値の予測誤差は、それぞれ０、０、−５、−４、０、−５、−４であることも仮定されている。デコーダ２は、予測される時間参照値の差に関する情報を受信する。本実施形態では、この予測される時間参照値の差を３とする。デコーダ２は、各々のフレームに対する予測される時間参照値の差と、フレーム番号と、時間参照値の予測誤差とを用いることにより時間参照値の計算を行う。第１のフレーム１０の場合、誤差を加算する前に、結果として０（＝０＊３）が得られる。この場合、誤差が０であるため、時間参照値は０となる。同様に、別の時間参照値の計算を行うことができる。これらの結果が表２に示されている。

このようにして、正しい順番で上記のフレームを示すことが可能になる。

フレームは２つのフィールドから構成される。フレーム全体に対して、あるいは、フレームのフィールドの双方に対してピクチャ順序を示すカウント番号を別個に指定することも可能になる。別の方式を用いて、上記フレームの１つのフィールドのピクチャ順序を示すカウント番号を、当該フレームの別のフィールド用のピクチャ順序を示すカウント番号として符号化することも可能である。例えば、上記フレームの別のフィールドのピクチャ順序を示すカウント値を、当該フレームの第１フィールドを基準として相対的に符号化することも可能である。

本発明が上記実施形態に限定されるものではなく、添付の特許請求の範囲の請求項の範囲内で変更することも可能であることは自明である。

圧縮効率の改善を潜在的に図る予測構造の１例を示す図である。 エラー復元力の改善を図るために利用可能なイントラピクチャ延期法の１例を示す図である。 本発明によるシステムの好適な実施形態を示すブロック図である。 本発明によるエンコーダの好適な実施形態を示すブロック図である。 本発明によるデコーダの好適な実施形態を示すブロック図である。

Claims (26)

1. ピクチャをビットストリームにて符号化する方法であって、
   復号化される符号化ピクチャを並べるために復号化段で利用される第１の値を規定するステップと、
   前記第１の値の予測値を示す第２の値を規定するステップと、
   前記第１の値と前記第２の値との差を示す少なくとも１つのパラメータを計算するステップと、
   前記少なくとも１つのパラメータを前記ビットストリームにて符号化するステップとを有することを特徴とする方法。
2. １または２以上の独立に復号化可能なピクチャと、１または２以上の参照用ピクチャと、１または２以上の予測ピクチャとを前記ビットストリームにて符号化するステップをさらに有する請求項１に記載の方法。
3. 前記符号化済みピクチャをデコーダへ送信する送信ステップをさらに有する請求項１に記載の方法。
4. 計算済みの前記パラメータのＶＬＣ符号化を行い、ＶＬＣ符号化済みのパラメータを送信するステップをさらに有する請求項１に記載の方法。
5. ビットストリームからピクチャを復号化する方法であって、ピクチャの順序を示す順序付け値が形成され、前記方法は、
   前記順序付け値の予測値を示す第１の値を形成するステップと、
   第２の値を取得するために前記ビットストリームから少なくとも１つのパラメータを復号化するステップであって、復号化される前記少なくとも１つのパラメータが前記順序付け値と前記第１の値との間の差を示すステップと、
   前記順序付け値を取得するために前記第１の値と前記第２の値とを利用するステップとを有することを特徴とする方法。
6. 復号化される符号化済みピクチャを並べるために前記順序付け値を利用するステップをさらに有する請求項５に記載の方法。
7. 復号化されるピクチャを形成するために前記符号化済みピクチャを復号化し、復号化される前記符号化ピクチャを表示順に並べるために前記順序付け値を利用する復号化ステップをさらに有する請求項６に記載の方法。
8. 動き補償のための順序付け値を利用するステップをさらに有する請求項５に記載の方法。
9. フレーム番号に前記第２の値を乗算することによって前記予測値を示すステップをさらに有する請求項５に記載の方法。
10. ピクチャをビットストリームにて符号化するエンコーダであって、
    復号化される符号化済みピクチャを並べるために復号化段で利用される第１の値と、
    前記第１の値の予測値を示す第２の値と、
    前記第１の値と前記第２の値との差を示す少なくとも１つのパラメータを計算する計算手段と、
    前記少なくとも１つのパラメータを前記ビットストリームにて符号化するコーダとを備えることを特徴とするエンコーダ。
11. ピクチャをビットストリームにて符号化するエンコーダを備える送信装置であって、前記エンコーダは、
    復号化される符号化済みピクチャを並べるために復号化段で利用される第１の値と、
    前記第１の値の予測値を示す第２の値と、
    前記第１の値と前記第２の値との差を示す少なくとも１つのパラメータを計算する計算手段と、
    前記少なくとも１つのパラメータを前記ビットストリームにて符号化するコーダとを具備することを特徴とする送信装置。
12. シーケンス用パラメータのセット内に前記第２の値を設ける手段を備える請求項１１に記載の送信装置。
13. 前記計算手段が、フレーム番号の増分値に関して前記第１の値の予測値を知らせるように構成される請求項１１に記載の送信装置。
14. スライスヘッダ内に前記少なくとも１つのパラメータを設ける手段を備える請求項１１に記載の送信装置。
15. 前記コーダが、計算済みの前記パラメータのＶＬＣ符号化を行うためのＶＬＣコーダを有し、前記送信装置が、ＶＬＣ符号化済みのパラメータを送信する送信機をさらに備える請求項１１に記載の装置。
16. ビットストリームからピクチャを復号化するデコーダであって、ピクチャの順序を示す順序付け値が形成され、前記デコーダは、
    前記順序付け値の予測値を示す第１の値と、
    第２の値を取得するために前記ビットストリームから少なくとも１つのパラメータを復号化する手段であって、復号化される前記少なくとも１つのパラメータが前記順序付け値と前記第１の値との間の差を示す手段と、
    前記順序付け値を取得するために前記第１の値と前記第２の値とを利用する手段とを備えることを特徴とするデコーダ。
17. ビットストリームからピクチャを復号化するデコーダを具備する受信装置であって、ピクチャの順序を示す順序付け値が形成され、前記デコーダは、
    前記順序付け値の予測値を示す第１の値と、
    第２の値を取得するために前記ビットストリームから少なくとも１つのパラメータを復号化する手段であって、復号化される前記少なくとも１つのパラメータが前記順序付け値と前記第１の値との間の差を示す手段と、
    前記順序付け値を取得するために前記第１の値と前記第２の値とを利用する手段とを具備するように構成される受信装置。
18. ビットストリームからピクチャを復号化するデコーダを備えるクライアントであって、ピクチャの順序を示す順序付け値が形成され、前記デコーダは、
    前記順序付け値の予測値を示す第１の値と、
    第２の値を取得するために前記ビットストリームから少なくとも１つのパラメータを復号化するデコーダ部であって、復号化される前記少なくとも１つのパラメータが前記順序付け値と前記第１の値との間の差を示すデコーダ部と、
    前記順序付け値を取得するために前記第１の値と前記第２の値とを利用する手段とを具備することを特徴とするクライアント。
19. ピクチャをビットストリームにて符号化するエンコーダを備えるシステムであって、前記エンコーダは、
    復号化される符号化済みピクチャを並べるために復号化段で利用される第１の値と、
    前記第１の値の予測値を示す第２の値とを具備しており、
    前記システムは、さらに、
    前記第１の値と前記第２の値との差を示す少なくとも１つのパラメータを計算する計算手段と、
    前記少なくとも１つのパラメータを前記ビットストリームにて符号化するコーダと、
    前記ビットストリームを送信チャネルへ送信する送信装置と、
    前記ビットストリームを前記送信チャネルから受信する受信装置と、
    ビットストリームからピクチャを復号化するデコーダであって、ピクチャの順序を示す順序付け値が形成されるデコーダとを備え、前記デコーダは、
    前記順序付け値の予測値を示す第１の値と、
    第２の値を取得するために前記ビットストリームから少なくとも１つのパラメータを復号化する手段であって、復号化される前記少なくとも１つのパラメータが前記順序付け値と前記第１の値との間の差を示す手段と、
    前記順序付け値を取得するために前記第１の値と前記第２の値とを利用する手段とを具備することを特徴とするシステム。
20. ビットストリームの形で符号化済みピクチャを有する搬送波であって、
    復号化される符号化済みピクチャを並べるために復号化段で利用される第１の値と、
    前記第１の値の予測値を示す第２の値と、
    前記ビットストリームにて符号化された前記第１の値と前記第２の値との差を示す少なくとも１つのパラメータとを具備することを特徴とする搬送波。
21. シーケンス用パラメータのセットの形で前記第２の値を配信するようになっている請求項２０に記載の搬送波。
22. フレーム番号の増分値に関して前記第１の値の予測値を知らせるために前記第２の値が利用される請求項２０に記載の搬送波。
23. 前記少なくとも１つのパラメータをスライスヘッダの形で配信するようになっている請求項２０に記載の搬送波。
24. ピクチャをビットストリームにて符号化するマシーンにより実行可能なステップを具備するソフトウェアプログラムであって、
    復号化される符号化済みピクチャを並べるために復号化段で利用される第１の値を規定するステップと、
    前記第１の値の予測値を示す第２の値を規定するステップと、
    前記第１の値と前記第２の値との差を示す少なくとも１つのパラメータを計算するステップと、
    前記少なくとも１つのパラメータを前記ビットストリームにて符号化するステップとを有することを特徴とするソフトウェアプログラム。
25. 復号化を行うためのマシーンにより実行可能なステップを具備するソフトウェアプログラムであって、ピクチャの順序を示す順序付け値が形成され、前記ソフトウェアプログラムは、
    前記順序付け値の予測値を示す第１の値を形成するステップと、
    第２の値を取得するために前記ビットストリームから少なくとも１つのパラメータを復号化するステップであって、復号化された前記少なくとも１つのパラメータが前記順序付け値と前記第１の値との間の差を示すステップと、
    前記順序付け値を取得するために前記第１の値と前記第２の値とを利用するステップとを有することを特徴とするソフトウェアプログラム。
26. マシーンにより実行可能なステップを具備するソフトウェアプログラムを格納するための記憶媒体であって、ピクチャの順序を示す順序付け値が形成されるように構成され、
    前記ソフトウェアプログラムは、
    前記順序付け値の予測値を示す第１の値を形成するステップと、
    第２の値を取得するために前記ビットストリームから少なくとも１つのパラメータを復号化するステップであって、復号化される前記少なくとも１つのパラメータが前記順序付け値と前記第１の値との間の差を示すステップと、
    前記順序付け値を取得するために前記第１の値と前記第２の値とを利用するステップとを有するように構成されることを特徴とする、ソフトウェアプログラムを格納するための記憶媒体。

Images