JP2008514164A

JP2008514164A - 効果的なデータ回復を用いるビデオ・デマルチプレクサ及びビデオ・デコーダ

Info

Publication number: JP2008514164A
Application number: JP2007533661A
Authority: JP
Inventors: リー、イエン−チ; ツァイ、ミン−チャン; イエ、ヤン; リン、ファン; エル−マレー、クハレド・ヘルミ
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2004-09-22
Filing date: 2005-09-22
Publication date: 2008-05-01
Anticipated expiration: 2025-09-22
Also published as: WO2006036802A1; JP5280474B2; CN101057501B; EP1792492B1; KR20070064642A; JP4819815B2; JP2011172245A; EP1792492A1; US20060062312A1; KR100861900B1; CN101057501A; TW200625837A

Abstract

【課題】効果的なデータ回復を用いるビデオ・デマルチプレクサ及びビデオ・デコーダ。
【解決手段】ビデオ・デマルチプレクサ及びビデオ・デコーダは、チャネル・エラーの場合に効果的なビデオ・データ回復のための特徴を含む。デマルチプレクサは、複数の物理レイヤ・データ・ユニット間の境界を検出し、そしてデマルチプレクサにより生成されたビットストリームに境界情報を加える。デマルチプレクサは、適応レイヤ・データ・ユニットを生成し、それは適応レイヤによって処理されて、アプリケーション・レイヤ・ビットストリームを生成する。ビデオ・デコーダがビットストリーム中のエラーに遭遇する時に、それは境界情報を使用して、隠されなければならないデータの量を限定する。特に、境界情報は、データの小さなセグメントに関係付けられるエラーを認める。ビデオ・デコーダは、セグメントがその中に存在するスライス全体又はフレーム全体よりはむしろデータのセグメントの始めからのデータを隠す。このようにして、ビデオ・デコーダは、効果的なデータ回復を提供し、そうでなければ隠す目的のために意図的に破棄されるはずの有用なデータが失われることを限定する。
【選択図】図７

Description

本明細書は、ビデオ復号化に係り、そして特に、チャネル・エラーに起因するビデオ・データが失われることを限定するための技術に関する。

代表的な動画エクスパート・グループ（ＭＰＥＧ：Moving Picture Expert Group）−４ビデオ・デコーダの手段において、エラーが検出された時に、デコーダは、破壊されたスライスの全てのマクロブロック（ＭＢ：macroblock）、又は全体のフレームを隠す。隠すことは、表示されるビデオ中に誤りを含んで（wrongly）復号化されたＭＢ、それは、非常に気付きやすく視覚的に不快にさせることがある、の表示を防止する。その上、隠すことは、誤りを含んで復号化されたＭＢからの誤った画像ベクトルの使用を防止する、それはそうでなければ、ビデオ・ストリーム中にさらなるエラーを広げることがある。それゆえ、破壊されたスライス又は破壊されたフレームのＭＢの全てを隠すことは、視覚的により快適なビデオ信号を一般に提供する。

隠す技術は破壊されたＭＢの表示を防止するけれども、そのような技術は、同様に正しく受け取られたデータ、それはスライス又はＭＢの開始における有用なＭＢを含むことがある、を意図的に欠落させる。エラーが所与のＭＢで実際に生じる場合に、例えば、ビデオ・デコーダは、利用可能なスライス又はフレーム内部の全てのＭＢが“可能性として”破壊されていると考え、そしてそれらを隠す。正しく受け取られたデータを隠すことは、非効果的であり、そして無線通信システムのようなチャネル・エラーが一般的である複数のシステムでは性能に著しく悪影響することがある。
国際電気通信連合（ＩＴＵ）Ｈ．２６３プロトコルＩＴＵＨ．２６４プロトコル

［サマリー］
一般に、本明細書は、チャネル・エラーの場合に効果的なビデオ・データ回復のための特徴を含むビデオ逆多重化技術及びビデオ復号化技術に向けられる。デマルチプレクサは、複数の物理レイヤ・データ・ユニット間の境界を検出し、そしてデマルチプレクサによって生成された適応レイヤ・データ・ユニットに境界情報を付加する。ビデオ・デコーダがビデオ・データ・フレーム中のエラーに遭遇する時に、ビデオ・デコーダはデマルチプレクサによって生成された境界情報を使用して、隠されようとしているデータの量を限定する。境界情報は、ビデオ・データ・フレーム中に埋め込まれた境界マーカの形式を取ることができる。

境界マーカは、ビデオ・データ・フレーム内部のデータの小さなセグメントに関係付けられるエラーを許容する。そのセグメントは、物理レイヤ・データ・ユニットの位置に基づいて同定されることができ、物理レイヤ・データ・ユニットは一般的に、伝送の間に失われることの影響を受ける最小単位である。ビデオ・デコーダは、その中にセグメントが存在するスライス又はフレーム全体よりはむしろ、データの小さなセグメントを隠すために、境界マーカを使用する。このようにして、ビデオ・デコーダは、効果的なデータ回復を提供し、それ以外では隠すことのプロセスの一部として意図的に破棄されるはずの有用なデータが失われることを限定する。ある複数のケースでは、復号化技術は、同様に、境界マーカとの組み合わせで、再同期マーカのようなエラー回復特性を頼りにすることがある。

１つの実施形態では、本開示は、ビデオ復号化方法を提供し、該方法は、物理レイヤ・データ・ユニットに基づいてビデオ・データを含んでいる多重化レイヤ・データ・ユニットを発生させること、複数の該物理レイヤ・データ・ユニット間の境界を示すために該多重化レイヤ・データ・ユニット中に境界マーカを埋め込むこと、ビデオ・データ・フレームを生成するために複数の該多重化レイヤ・データ・ユニットを逆多重化すること、及び該境界マーカを使用して該ビデオ・データ・フレームのセグメントと検出された復号化エラーを関係付けることを具備する。

他の１つの実施形態では、本開示は、ビデオ復号化システムを提供し、該システムは、物理レイヤ・データ・ユニットに基づいてビデオ・データを含んでいる多重化レイヤ・データ・ユニットを発生させ、そして該多重化レイヤ・データ・ユニットを逆多重化する逆多重化エンジン、複数の該物理レイヤ・データ・ユニット間の境界を示すために該多重化レイヤ・データ・ユニット中に境界マーカを埋め込む境界発生器、及び該ビデオ・データを含んでいるビデオ・データ・フレームを復号化し、そして該境界マーカを使用して該ビデオ・データ・フレームのセグメントと検出された復号化エラーを関係付けるビデオ復号化エンジンを具備する。

１つのさらなる実施形態では、本開示は、ビデオ・デマルチプレクサを提供し、該デマルチプレクサは、物理レイヤ・データ・ユニットに基づいてビデオ・データを含んでいる多重化レイヤ・データ・ユニットを発生させ、そして該多重化レイヤ・データ・ユニットを逆多重化する逆多重化エンジン、及びビデオ・デコーダが境界マーカを使用してビデオ・データ・フレームのセグメントと検出された復号化エラーを関係付けることを可能にするために複数の該物理レイヤ・データ・ユニット間の境界を示すために該多重化レイヤ・データ・ユニット中に該境界マーカを埋め込む境界発生器を具備する。

１つのさらなる実施形態では、本開示は、無線通信デバイスを提供し、該デバイスは、無線通信を介して物理レイヤ・データ・ユニットを受信するための無線受信機、ここにおいて、該物理レイヤ・データ・ユニットはビデオ・データを含む、該物理レイヤ・データ・ユニットに基づいて多重化レイヤ・データ・ユニットを発生させ、そして該多重化レイヤ・データ・ユニットを逆多重化する逆多重化エンジン、複数の該物理レイヤ・データ・ユニット間の境界を示すために該多重化レイヤ・データ・ユニット中に境界マーカを埋め込む境界発生器、及び該ビデオ・データを含んでいるビデオ・データ・フレームを復号化し、そして該境界マーカを使用して該ビデオ・データ・フレームのセグメントに対して検出された復号化エラーを分離させるビデオ復号化エンジンを具備する。

１又はそれより多くの実施形態の詳細は、添付した図面及び以下の説明に記載される。その他の特徴、目的、及び利点は、説明及び図面から、そして特許請求の範囲から明らかにされる。

［詳細な説明］
図１は、ビデオ符号化及び復号化システム１０を説明するブロック図である。図１に示されたように、システム１０は、伝送チャネル１６によって接続されたエンコーダ・システム１２及びデコーダ・システム１４を含む。チャネル１６は、ビデオ情報の伝送のために適したいずれかの有線媒体又は無線媒体であり得る。デコーダ・システム１４は、チャネル・エラーの場合に効果的なビデオ・データ回復を可能にする。詳細に説明されるように、デコーダ・システム１４は、チャネル・エラーの場合に隠すプロセスの一部として通常は意図的に破棄されるはずの有用なデータが失われることを限定するために構成される。このようにして、デコーダ・システム１４は、優れた効率、復号化性能の向上、及びエラー回復能力の改善を提供できる。

エンコーダ・システム１２は、マルチプレクサ（ＭＵＸ）１８、ビデオ・エンコーダ２０及びオーディオ・エンコーダ２２を含む。ビデオ・エンコーダ２０は、ＭＰＥＧ−４のようなビデオ圧縮プロトコルにしたがって符号化されたビデオ・データを発生させる。他のビデオ圧縮プロトコルが、使用されることができ、例えば、国際電気通信連合（ＩＴＵ：International Telecommunication Union）Ｈ．２６３，ＩＴＵＨ．２６４、又はＭＰＥＧ−２プロトコルである。オーディオ・エンコーダ２２は、オーディオ・データを符号化して、ビデオ・データに添付する。マルチプレクサ１８は、ビデオ・データ及びオーディオ・データを多重化して、チャネル１６を介した伝送のために一連の多重化データ・ユニットを形成する。一例として、マルチプレクサ１８は、ＩＴＵによって発行された、Ｈ．２２３マルチプレクサ・プロトコルにしたがって動作することができる。しかしながら、他のプロトコルが、使用されることができ、例えば、ユーザ・データグラム・プロトコル（ＵＤＰ：user datagram protocol）である。

チャネル１６は、物理レイヤ・データ・ユニットとしてデコーダ・システム１４へ多重化された情報を搬送する。チャネル１６は、エンコーダ・システム１２とデコーダ・システム１４との間のいずれかの物理的な接続であり得る。例えば、チャネル１６は、ローカル・エリア・ネットワーク又はワイド・エリア・ネットワークのような、有線接続であり得る。あるいは、本明細書中で説明されるように、チャネル１６は、セルラ接続、衛星接続、又は光接続のような無線接続であり得る。

デコーダ・システム１４は、デマルチプレクサ（ＤＥＭＵＸ：demultiplexer）２６、ビデオ・デコーダ２８及びオーディオ・デコーダ３０を含む。デマルチプレクサ２６は、物理レイヤ・データ・ユニットから多重化データ・ユニットを同定し、そして多重化レイヤ・データ・ユニットの内容を逆多重化して、ビデオ及びオーディオ適応レイヤ・データ・ユニットを生成する。適応レイヤ・データ・ユニットは、適応レイヤにおいて処理されてビデオ・データ・フレームを生成する。ビデオ・デコーダ２８は、アプリケーション・レイヤにおいてビデオ・データ・フレームを復号化して、ディスプレイ・デバイスを駆動する際に使用するためのビデオ・データのストリームを生成する。オーディオ・デコーダ３０は、オーディオ・データを復号化しれ再生音（audio）を生成する。

本明細書にしたがって、デマルチプレクサ２６は、複数の物理レイヤ・データ・ユニット間の境界を検出し、そしてデマルチプレクサによって生成されたビットストリームに境界情報を加える。デマルチプレクサ２６は、適応レイヤ・データ・ユニットを生成する、それは、適応レイヤによって処理されて、アプリケーション・レイヤ・ビットストリームを生成する。ビデオ・デコーダ２８がビットストリーム中のエラーに遭遇すると、ビデオ・デコーダ２８は、境界情報を使用して、隠される必要があるビデオ・データの量を限定する。特に、ビデオ・デコーダ２８は、境界情報を使用して、この例では、例えば、物理レイヤ・データ・ユニットの位置に基づいて、データのより小さなセグメントにエラーを分離する。ビデオ・デコーダ２８は、エラーがその中に存在するスライス全体又はフレーム全体よりはむしろ、データのより小さなセグメントを隠す。

実行中に、デマルチプレクサ２６は、チャネル１６を介して受け取った物理レイヤ・データ・ユニットに基づいてビデオ・データ及びオーディオ・データを含んでいる多重化レイヤ・データ・ユニットを発生させる。デマルチプレクサ２６は、多重化レイヤ・データ・ユニットに１又はそれより多くの境界マーカを埋め込んで、複数の物理レイヤ・データ・ユニット間の境界を示し、そして複数の多重化レイヤ・データ・ユニットを逆多重化してビデオ・データ・フレームを生成する。その後、復号化エラーを検出すると、ビデオ・デコーダ２８は、境界マーカを使用してビデオ・データ・フレームのセグメントと検出された復号化エラーを関係付ける。

１又はそれより多くの境界マーカの採用で、ビデオ・デコーダ２８は、次に、スライス全体又はフレーム全体というよりはむしろ、その中でエラーが発生したビデオ・データ・フレームのセグメントを隠す。ある複数の実施形態では、ビデオ・デコーダ２８は、同様に多重化レイヤ・データ・ユニット中に埋め込まれた再同期マーカを使用させることができる。例えば、もしビデオ・データ・フレームが再同期マーカを含んでいれば、ビデオ・デコーダ２８は、境界マーカによって同定されるビデオ・データ・フレームのセグメント内のマクロブロック（ＭＢ：macroblock）を隠し、そしてビデオ・データ・フレーム中の次の再同期マーカまでのＭＢを隠すように構成されることができる。

図２は、物理レイヤ・データ・ユニットに対応するビデオ・データ・フレームのセグメントを同定するために境界マーカを使用させるビデオ・デコーダ・システム１４の１実施形態を説明するブロック図である。ビデオ・デコーダ・システム１４は、復号化エラーの際に隠されるデータの量を限定するために１又はそれより多くのビデオ境界マーカを使用させる。図２の例では、ビデオ・デコーダ・システム１４は、無線チャネルを経由してビデオ・データ及びオーディオ・データを受信する無線受信機３３を含む。無線受信機３３は、各種の無線伝送技術、例えば、符号分割多元接続（ＣＤＭＡ：Code Division Multiple Access）、広帯域ＣＤＭＡ（Ｗ−ＣＤＭＡ：wideband CDMA）、又は時分割多元アドレシング（ＴＤＭＡ：Time Division Multiple Addressing）、のうちのいずれかにしたがって無線通信周波数（ＲＦ：radio frequency）無線信号を受信するように構成されることができる。

図２に示されたように、デマルチプレクサ（ＤＥＭＵＸ）２６は、逆多重化エンジン３６、無線通信リンク制御（ＲＬＣ：radio link control）境界検出器３８、及び境界コード発生器４０を含む。逆多重化エンジン３６は、無線受信機３３からの受信された物理レイヤ・データ・ユニットに基づいてビデオ・データ及びオーディオ・データを含んでいる多重化レイヤ・データ・ユニットを発生させる。ある複数の実施形態では、物理レイヤ・データ・ユニットは、Ｗ−ＣＤＭＡ無線通信リンク制御（ＲＬＣ）パケット・データ・ユニット（ＰＤＵ：packet data unit）、すなわち、ＲＬＣＰＤＵ、であり得る。あるいは、物理レイヤ・データ・ユニットは、種々の異なる形式、例えば、ＣＤＭＡ２０００１ｘＲＬＰ（Radio Link Protocol（無線通信リンク・プロトコル））ＰＤＵ、ＣＤＭＡ２０００１ｘＥＶ−ＤＯＲＬＰＰＤＵ、ＣＤＭＡ２０００ＥＶ−ＤＶＲＬＰＰＤＵ、を取ることができる。逆多重化エンジン３６は、Ｈ．２２３のような、逆多重化プロトコルにしたがって多重化レイヤ・パケット・データ・ユニット（ＭＵＸＰＤＵ）を発生させる。しかしながら、本明細書中に説明される技術は、他のビデオ輸送プロトコルに適用可能であり、例えば、ＲＴＰ／ＵＤＰ／ＩＰ（Real-time Transport Protocol/User Datagram Protocol/Internet Protocol（リアルタイム輸送プロトコル／ユーザ・データグラム・プロトコル／インターネット・プロトコル））を使用するＨ．３２３ビデオ電話プロトコル及びＳＩＰベースのプロトコルである。

ＲＬＣ境界検出器３８は、複数のＲＬＣＰＤＵ間の境界を検出する。境界コード発生器４０は、各境界に対するコードを発生し、そして逆多重化エンジン３６によって生成された多重化レイヤ・データ・ユニット内部の適切な位置に境界マーカとしてそのコードを埋め込む。このようにして、デマルチプレクサ２６は、複数の物理レイヤ・データ・ユニット間の境界の指標を保存する。逆多重化エンジン３６がＭＵＸＰＤＵを生成し、そして適応レイヤ・モジュール４４がビデオ・データ・フレームを生成するときに、境界マーカは、ビデオ・データ・フレームの小さなセグメントに復号化エラーを分離する際にビデオ・デコーダ・エンジン２８による使用のためにそのまま残される。

Ｗ−ＣＤＭＡを使用するＭＰＥＧ−４無線伝送に関して、ＲＬＣＰＤＵは、伝送の間に失われる対象とされる最小の単位である。例えば、Ｗ−ＣＤＭＡＲＬＣ−ＰＤＵは、各２０ｍｓに対して１６０バイト長である。境界マーカを採用することで、ビデオ・デコーダ２８は、検出された復号化エラーをデマルチプレクサ２６によって生成されたビデオ・データ・フレームの小さなセグメントと関係付けることができる。復号化エラーを検出すると、ビデオ・デコーダ２８は、過剰な数のＭＢ、すなわち、ある事例において全体のビデオ・データ・フレームというよりはむしろ、ビデオ・データ・フレームの小さなセグメントを隠す。

図２にさらに示されるように、適応レイヤ・モジュール４４は、逆多重化エンジン３６によって生成されたＭＵＸＰＤＵをビデオ・デコーダ２８によって処理するためにビデオ・データ・フレームに変換する。この例では、ビデオ・デコーダ２８は、エラー検出モジュール４６、境界コード検出器４８、デコーダ・エンジン５０及びメモリ５２を含む。境界コード検出器４８は、着信ビデオ・フレーム・ビットストリームをスキャンして、境界マーカを検出する、それは物理レイヤにある元々の伝送されたものの中の複数のＲＬＣＰＤＵ間の境界を示す。境界コード検出器４８は、ビデオ・フレーム・ビットストリームから境界マーカを削除し、そしてメモリ５２中に境界マーカの位置を記録する。エラー検出モジュール４６が復号化エラーを検出したときに、デコーダ・エンジン５０は、記録された境界マーカの位置を使用させ、物理レイヤにある元々の伝送されたものの中の複数のＲＬＣＰＤＵ間の境界に関係させてエラーの位置を決定する。デコーダ・エンジン５０は、隠されるＭＢのセグメントのサイズが、一般に複数のＲＬＣＰＤＵのサイズに限定されるように、メモリ５２中に位置を記録する。

これゆえ、デコーダ・システム１４は、独自の輸送−デコーダ・クロス−レイヤ設計を提供し、それは効果的なビデオ・データ回復を促進させる。デコーダ・システム１４は、伝送エラーの存在で破棄されなければならない有用なデータの量を限定する。このクロス−レイヤ設計にしたがって、輸送レイヤは、チャネル障害の前に正しく受け取られているデータを回復させるために、ビデオ・デコーダ・エンジン５０に追加の情報を渡す。

図２にさらに示されたように、ビデオ・デコーダ５０は、符号化されたビデオ・ビットストリームを生成し、そしてビデオ・ドライバ５１にそれを配信する。ビデオ・ドライバ５１は、ディスプレイ・デバイス５３を駆動し、ユーザにビデオ画像を表示する。ビデオ・デコーダ・システム１４は、流れているビデオ又はビデオ電話の配信を含む、各種のビデオ・アプリケーションをサポートできる。それぞれのケースで、デコーダ・システム１４は、有用なデータが失われることを限定する際に効果的であり、そしてそれによって効率及び性能を高める。

ビデオ・デコーダ・システム１４は、ディジタル・シグナル・プロセッサ（ＤＳＰ：digital signal processor）上で又は他の処理装置上でランする、復号化プロセス、又は符号化／復号化（ＣＯＤＥＣ：coding/decoding）プロセスとして与えられることができる。ビデオ・デコーダ・システム１４は、命令及びデータを格納するための専用のメモリ５２を有することができ、同様に専用のハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせを有することができる。本明細書中に説明される技術の種々の態様は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組み合わせで実行されることができる。ソフトウェアで実行される場合に、本技術は、コンピュータ読み取り可能な媒体の上の命令として具体化されることができ、その媒体は、例えば、ランダム・アクセス・メモリ（ＲＡＭ：random access memory）、読み取り専用メモリ（ＲＯＭ：read-only memory）、不揮発性ランダム・アクセス・メモリ（ＮＶＲＡＭ：non-volatile RAM）、電気的消去書き込み可能読み出し専用メモリ（ＥＥＰＲＯＭ：electrically erasable programmable ROM）、ＦＬＡＳＨメモリ、又はその他である。命令は、１又はそれより多くのプロセッサに本明細書中に記載され機能のある種の態様を実行させるようにする。

図３は、従来技術にしたがってエラーの検出でビデオ・データ・フレーム中のＭＢを隠すことを説明する図である。図３は、この明細書中に記載される技術をよりよく説明するために比較の目的で与えられる。図３に示されたように、典型的な従来技術の隠すプロセスでは、伝送の間にＭＢが失われることに起因してエラーが検出される場合に、デコーダは、破壊されたスライスの全てのＭＢ、又はフレーム全体を隠す。このアプローチは破壊されたＭＢの表示を防止するが、それは同様にエラーの位置の前のスライス又はフレームの始めにある多くのＭＢを含むことが可能な正しく受信されたデータを意図的に欠落させる。

図３中の図は、有用なデータを隠すことの一般的な非効率性を説明する。図３は、ＭＢ０からＭＢ９８まで広がっているビデオ・データ・フレーム内部の連続番号によってそれぞれのＭＢを同定する。連続したビデオ・データ・フレームは、ビデオ・オブジェクト面（ＶＯＰ：video object plane）フィールドによって境界をつけられ、それはビデオ・データ・フィールドの終りを示す。図３の例では、エラーは、実際にＭＢ４１で発生するが、ビデオ・デコーダは、０から９８までのＭＢが“可能性として”破壊されていると考え、そしてそれらの全てを隠す。これは、ＭＢ０からＭＢ４０までのデータを欠落させることに等しい。その結果、エラーに続くＭＢは、“ＬＯＳＴ（失われる）”、一方でエラーの前に正しく受信されたＭＢは、“ＷＡＳＴＥＤ（無駄にされる）”。明らかに、ＭＢ０から４０までは、エラーを含まず、そしてその代わりに有用なデータを搬送する。しかも、従来技術の隠す技術は、結果として全てのＭＢ０から９８まで、すなわち、ビデオ・データ・フレーム全体、を隠すことになる。

図４は、別の１つの従来技術にしたがって、エラーの検出で再同期マーカを使用してビデオ・データ・フレーム中のＭＢを隠すことを説明する図である。図４の例では、再同期マーカ（ＲＭ：resynchronization maker）は、エラー回復技術をサポートするためにデータ・フレーム中に埋め込まれる。ＲＭの使用は、エラーの存在下での復号化プロセスの効率を改善するが、まだ結果として無駄にされるＭＢがある。図４の例では、ＲＭが使用されるときに、ビデオ・デコーダは、ＭＢ０からＭＢ２０までのデータを回復できるだけであり、そしてまだＭＢ２１から４０までの正しく受信されたＭＢを隠さなければならない、それは、結果として２０個のＭＢが失われることになる。図４の例ではエラーがＭＢ４１において発生するが、この技術は、図４に図示されたように、エラーの直前の最後のＲＭとエラーの直後の最初のＲＭとの間のＭＢを隠すことを要求する。それゆえ、この方法での再同期マーカの使用は、効率において著しい改善を提供するが、まだ結果としてかなりの数の無駄にされるＭＢがある。

図３及び図４に示された技術とは対照的に、１又はそれより多くの境界マーカの使用は、本明細書中に説明されるように、エラーの前に位置する正しく復号化されたＭＢの回復をサポートするが、誤りを含んで復号化されたＭＢの表示を今まで通り適正に防止する。逆多重化レイヤ、例えば、Ｈ．２２３、は、例えば、特殊なコードワードとして、ビットストリーム中に１又はそれより多くの境界マーカを埋め込むことによってデコーダにビデオ−ＲＬＣ境界情報を渡す。ビデオ・デコーダ２８は、境界マーカとしてのコードワードをインタープリットする、それはチャネル１６を介して受け取った物理データ・ユニットに関して、データが失われる可能性のある全ての位置の同定を可能にする。失われるデータのより正確な位置を用いて、ビデオ・デコーダ２８は、エラーをビデオ・データ・フレームの小さなセグメントと関係付けるために、そして正しく受信されたＭＢのうちのより多くを回復させるためにそのような情報を使用することができる。

図５は、エンコーダ、例えば、図１のエンコーダ１２、内部の従来技術の多重化及びパケット化技術を説明する図である。プロセスは、説明の目的でＨ．２２３多重化プロトコルを背景に説明される。図５の例では、ビデオ・データは、Ｈ．２２３パケットにパケット化され、そしてオーディオ・データとともに多重化される。アプリケーション・レイヤ（ＡＰＰ：application layer）にあるビデオ・ビットストリームは、先ず、１又はそれより多くのアプリケーション・レイヤ・サービス・データ・ユニット（ＡＬ−ＳＤＵ：application layer service data unit）に分割される。１つのＡＬ−ＳＤＵは、ビデオ・エンコーダ・インプリメンテーションに応じて、１つの全フレームを又は１フレームの１スライスだけを含むことができる。各ＡＬ−ＳＤＵは、次にＨ．２２３適応レイヤ（ＡＬ：adaptation layer）に渡され、そこでは、前にオプションの連続番号（ＳＮ：Sequence Number）を、そして終りに１６−ビット巡回重複コード（ＣＲＣ：cyclic redundancy code）を加えることによって、ＡＬ−ＰＤＵパケットが形成される。

各ビデオＡＬ−ＰＤＵは、もし必要であれば、細分化されるためにＨ．２２３多重化レイヤ（ＭＬ：Multiplex Layer）に送られる、そしてフレーム化情報及びＭＵＸヘッダを挿入することによってＭＵＸ−ＰＤＵへとオーディオ（ＡＵ：audio）ＡＬ−ＰＤＵとともに多重化される。ビデオＡＬ−ＰＤＵの最後のＭＵＸ−ＰＤＵは、このビデオＡＬ−ＰＤＵの終了を指示するために追加のフレーム化情報（ＡＬＴ：additional framing information）を最後に付けられる。全てのＭＵＸ−ＰＤＵは、物理レイヤ・データ・ユニットによって搬送される。無線アプリケーションでは、物理レイヤ・データ・ユニットは、無線通信リンク・パケットであり、例えば、図５に示されたようなＷ−ＣＤＭＡＲＬＣＰＤＵである。

図１のデコーダ・システム１４のような、デコーダにおいて、Ｈ．２２３デマルチプレクサは、ＲＬＣ−ＰＤＵを受け取り、そしてＭＵＸフレーム化情報を検索することによって各ＭＵＸ−ＰＤＵの位置を決める。デマルチプレクサは、ＭＵＸヘッダ中のＭＵＸテーブルにしたがってＭＵＸ−ＰＤＵペイロードからビデオ・データ及びオーディオ・データを抽出する。一旦、終了フレーム化情報が見つけられると、デマルチプレクサは、異なるＭＵＸ−ＰＤＵから抽出されたが同じビデオＡＬ−ＰＤＵに属しているビデオ・データの全てを逆細分化する、そしてＣＲＣを使用して完全性検査のためにＡＬに逆細分化されたビデオ・データを渡す。ＣＲＣが上手くいった場合に、ビデオ・デコーダは、ＡＬ−ＳＤＵ全体を受け取る。ＣＲＣが失敗した場合には、破壊されたＡＬ−ＳＤＵは、インプリメンテーションに応じて、ビデオ・デコーダに渡されることがある、又は破棄されることがある。

図６Ａから図６Ｄは、エラーの検出でビデオ・データ・フレーム中のマクロブロックを隠すための異なる技術を説明する。特に図６Ａから図６Ｄは、異なる隠す技術に関連してビデオ・データ・フレームを示す。図６Ａと図６Ｃは、境界マーカを採用しない従来技術を図示する。図６Ｂと図６Ｄは、本明細書中で説明されたように、境界マーカの使用を図示する。

図６Ａは、何もエラー回復技術を使用しない従来技術の使用を図示する。図６Ａの技術にしたがって、エラーがＭＢ４１のところで検出されたときに、マクロブロックＭＢ［０，９８］を含んでいる全体のビデオ・データ・フレームが隠される。図６Ｂは、本明細書にしたがって、エラーをビデオ・データ・フレームの小さなセグメントと関係付ける境界マーカ５４の使用を図示する。

図６Ｂにおいて、ビデオ・データ・フレームは、境界マーカ５４を含み、それはＷ−ＣＤＭＡＲＬＣＰＤＵのような、隣接する物理レイヤ・データ・ユニットの複数のビデオ部分間の境界を示す。特に、境界マーカ５４は、本明細書中で“ビデオＲＬＣ”ユニットと呼ばれるセグメントを規定する。１つのビデオＲＬＣユニットは、例えば、境界マーカ５４Ａ，５４Ｂによって示される。１つのビデオＲＬＣユニットは、一般に１つのＲＬＣＰＤＵに対応し、それは失われることがその中で生じることが可能な最小単位である。チャネル・エラーの場合には、ＲＬＣＰＤＵは、有用な情報を隠すことを防止するための指針として使用されることができる。

境界マーカ５４の使用は、１つのビデオＲＬＣユニットに関係付けられるエラーを認める。エラーがビデオ・デコーダ・エンジン５０により検出される場合には、エラーがその中で生じたビデオＲＬＣユニットの前に位置している正しく受信されたＭＢは、保護されることができる。特に、本技術は、境界マーカ５４Ａの前に位置する正しく受信されたＭＢの回復を可能にする。

図６Ｂの技術を使用する正しく受信されたＭＢの保護は、図６Ａの技術と比較して、結果として効率の向上及び性能の改善になることが可能である。図６Ｂの例では、エラーがＭＢ４１のところで検出される場合に、ＭＢ［４１，９８］からビデオ・データ・フレームの終りまでが、隠される。しかしながら、ＭＢ４１の前に存在するＭＢ［０，４０］は、隠される必要がない。境界マーカ５４Ａは、エラーがその中で検出されたビデオＲＬＣユニットの開始を示すように機能する。これゆえ、ビデオ・デコーダ・エンジン５０は、どのＭＢを隠すかを決定する際に、境界マーカ５４Ａをあてにする。

図６Ｃは、再同期マーカ（ＲＭ）を採用するエラー回復技術の使用を図示する。図６Ｃでは、エラーがＭＢ４１のところで検出される時に、前のＲＭと次のＲＭとの間のＭＢ［２１，７２］だけが隠される、それによってＭＢ［０，２０］とＭＢ［７３，９８］とを保護する。図６Ｄは、エラー回復のためにＲＭ５６と組み合わせて境界マーカ５４の使用を説明する。図６Ｄの例では、エラーがＭＢ４１のところで発生した時に、ＭＢ［４１，７２］は、ビデオＲＬＣユニットの始めから次に存在するＲＭ５６Ｂまで隠される。

図６Ｄの境界マーカ技術は、図６Ｃに示された基本エラー回復技術を上回る改善を提供する。具体的に、ＭＢは、前のＲＭ５６Ａとエラーがその中で検出されたビデオＲＬＣユニットの開始を表している境界マーカ５４Ａとの間で保護され、ＲＭの従来の使用を上回る利点を提供する。しかしながら、同時に、ＭＢは、次のＲＭ５６Ｂとそのフレームの終りとの間で保護される。これゆえ、図６Ｄの技術にしたがった境界マーカ５４とＲＭ５６との組み合わせの使用は、図６Ｃの技術と比較して結果としてさらに効果的である。

種々の異なる技術が、境界マーカ５４を与えるために使用されることができる。一例として、逆多重化エンジン３６は、メモリ５２中に各ＲＬＣ境界のメモリ・アドレスを格納できる。しかしながら、メモリ内容がビデオ・デコーダ２８によって使用される復号化バッファにコピーされる時に、格納された情報は、失われることがある。その上、記録されたメモリ・アドレスを復号化バッファ中のアドレスに変換することは、困難であることがある。したがって、代案として、別の１つのアプローチは、本明細書中に説明されるように、ビデオ・データ・フレーム中に境界マーカを埋め込むことである。特に、このアプローチにしたがって、デマルチプレクサ２６は、物理レイヤ・データ・ユニットからの境界を検出し、そして境界マーカを埋め込む、それは、その後、ビデオ・デコーダ・エンジンによる使用のためにアプリケーション・レイヤまで多重化レイヤ及び適応レイヤを通り過ぎる。

図７は、本明細書にしたがって、ビデオ・データ・フレーム中に境界マーカを埋め込むことを含んでいる逆多重化及び逆パケット化技術を説明する図である。図８は、ＲＬＣＰＤＵのような物理データ・ユニットが失われた時の、図７の技術を説明する図である。図７及び図８に示された機能は、図２を参照して説明されたようにビデオ・デコーダ・システム１４によって実行されることができる。図７に示されたように、逆多重化エンジン２６は、物理レイヤにおいてＲＬＣＰＤＵを受け取り、そして多重化レイヤ（ＭＬ）においてそれらをＭＵＸＰＤＵに変換する。図２のデコーダ・インプリメンテーションにおいて、例えば、ビデオＲＬＣ境界検出器３８は、複数のＲＬＣＰＤＵ間の境界を検出し、そして境界コード発生器４０は、ＭＵＸＰＤＵ内に境界マーカ５４を埋め込む。

逆多重化エンジン３６は、適応レイヤ（ＡＬ）ＰＤＵを発生し、それはその後、ＡＬＳＤＵに変換される。このようにして、アプリケーション・レイヤ（ＡＰＰ）においてビデオ復号化がその後に続いているビットストリーム事前処理のために、ビデオ・データは、ビデオ・データ・フレームへと順番に並べられる。多重化レイヤ及び適応レイヤにおいて、ＲＬＣ境界を示す境界マーカ５４は、ビデオ・デコーダ・エンジン５０によって後で参照されるためにそのまま残される。事実上、多重化レイヤは、物理レイヤから引き出された各ＲＬＣＰＤＵを追跡し続け、そしてＲＬＣ−ＰＤＵがつなげられた時に、特殊なコードワード、すなわち、境界マーカを挿入する。ＲＬＣ−ＰＤＵが失われた場合に、図８に示されたように、ビデオ・デコーダは、破壊されたスライス又はフレームのデータを欠落させる代わりに、最も近い境界があるＭＢに追跡して戻ることによって正しく受信したデータを回復させることがまだ可能である。このようにして、ビデオ・デコーダ・エンジン５０は、ビデオ・データ・フレーム内部のより小さなセグメントと検出したエラーとを関係付けるために境界マーカ５４を使用することができ、元々の物理レイヤ・データ・ユニットと一致させる、そしてそれによってビデオ・データ・フレーム内のＭＢを過剰に隠すこと及び不必要に隠すことを回避する。ＲＬＣ−ＰＤＵの全体が破壊された又は失われた時に、ビデオ・デコーダ・エンジン５０は、エラーを検出できる。

ＲＬＣ−ＰＤＵがＭＵＸレイヤによって取り出された時に、境界マーカは、特殊なコードワードとして埋め込まれることができる。再び、この境界情報は、ビデオ・デコーダ２８（図２）による使用のために境界マーカとしてアプリケーション・レイヤまで通り過ぎることができる。図２を参照して、境界コード検出器４８は、ビットストリーム事前スクリーニング処理を実行して、特殊なコードワードとして働くこれらの境界マーカを探し出す。境界コード検出器４８は、メモリ５２中に境界マーカの位置を記録し、そしてデコーダ・エンジン５０によって復号化される前にビットストリームから境界マーカを削除する。復号化の間に、一旦、ＲＬＣ境界を横切ると、デコーダ・エンジン５０は、メモリ５２中に格納された位置を参照することによって、どのＭＢが復号化されているかを記録できる。一旦、エラー検出モジュール４６によってエラーが検出されると、デコーダ・エンジン５０は、それが記録されているＭＢからフレームの終りまで広がっているＭＢ、又は次の再同期マーカ（ＲＭ）コードワードまで広がっているＭＢを隠す、そのような場合に、エラー回復技術は、同様に、ＲＬＣ境界マーカとの組み合わせで採用されることができる。境界マーカとして使用される固有の特殊なコードワードの特性は、別の実施に当てられることがある。しかしながら、コードワードは、例えば、ＭＰＥＧ−４及びＨ．２６３ビットストリームのようないずれかのビデオ圧縮規格によって作られるビットストリームに使用される既存のビット・パターンから容易に区別されるはずである。ある複数のケースでは、特殊なコードワードは、ＭＰＥＧ−４規格及びＨ．２６３規格中に定義された保存されている開始コードを使用して与えられることができる。

図９は、ビデオ・データ・フレーム内部の失われた物理データ・ユニットを同定するために境界マーカを使用する、本明細書中にしたがった、代わりの逆多重化及び逆パケット化技術を説明する図である。図９の例では、デマルチプレクサ２６は、物理レイヤにおいて失われたＲＬＣ−ＰＤＵ５７を示すためにＲＬＣ境界マーカ５５を埋め込む。このケースでは、物理レイヤは、どのＲＬＣ−ＰＤＵが失われたかを多重化レイヤに指示するように構成される。これゆえ、デマルチプレクサ２６は、ＲＬＣ−ＰＤＵが失われている時に事前警告をビデオ・デコーダ２８に与える。このアプローチは、全てのＲＬＣ−ＰＤＵに対して境界マーカを与えることとは対照的であり、そして復号化の間にエラー又は失われたＲＬＣ−ＰＤＵをビデオ・デコーダ・エンジン５０に分解させる。物理レイヤがそのような情報を与えるために失われたＲＬＣ−ＰＤＵを同定するように構成されている場合に、デマルチプレクサ２６は、失われたＲＬＣ−ＰＤＵがその中に存在するＭＵＸ−ＰＤＵ内部に特殊なコードワードとしてマーカを埋め込む。ビデオ・デコーダ・エンジン５０は、その後、メモリ５２内部のこの特殊なコードワードを捜し出して、失われたビデオ−ＲＬＣ境界の位置を決める、そしてその点からフレームの終りまでのマクロブロック、又はエラー回復技術が採用されているのであれば次のＲＭまでのマクロブロックを隠す。このようにして、失われたＲＬＣ−ＰＤＵの点までの正しく受け取られたＭＢは、隠されそして無駄にされるよりはむしろ、回復されそして保護されることができる。

図１０（ａ）から（ｄ）は、図１０（ｄ）の再同期マーカ（ＲＭ）、ヘッダ拡張コード（ＨＥＣ：header extension code）及び境界マーカを使用する技術を含む各種の逆多重化及び逆パケット化技術を説明する図である。図１０（ｄ）だけが実際にビデオＲＬＣ境界マーカの使用を図示するが、説明を容易にするために、図１０（ａ）から（ｄ）の各図は、ビデオＲＬＣユニットを規定する境界マーカの位置を指示するための縦線を含む。図１０（ａ）の例では、エラー回復ツールは、何も使用されない。その結果、エラーが第１のビデオ・データ・フレームの終りと第２のビデオ・データ・フレームの始めのところで検出される時に、第２のフレーム全体のＭＢ［０，９８］が失われ、一方で、実質的に第１のビデオ・データ・フレーム全体のＭＢ［０，９８］は、エラーの点まで隠されなければならない。その結果、図１０（ａ）に図示されたシナリオは、ビデオ復号化性能にはなはだしく悪い影響を与えるという結果になり得る。

図１０（ｂ）の例では、従来技術のエラー回復技術にしたがって、ＲＭが、ビデオ・データ・フレーム中に埋め込まれる。図１０（ｂ）に示されたように、エラーが、図１０（ａ）のように、第１のビデオ・データ・フレームの終りと第２のビデオ・データ・フレームの始めのところで検出される時に、ＲＭは、第１のビデオ・データ・フレーム中の隠されるＭＢの数の著しい低減を可能にする。第２のビデオ・データ・フレーム全体のＭＢ［０，９８］が失われ、そしてエラーから第１のビデオ・データ・フレームの終りまでに及んでいるＭＢが隠されるのではあるが、エラーの直前のＲＭ［５５，９８］の点までの第１のビデオ・データ・フレーム中のＭＢは、隠されるというよりはむしろ回復される。それゆえに、エラー回復技術の使用は、実質的な性能改善を提供することが可能である。

図１０（ｃ）の例では、ＲＭ及びＨＥＣビットが、ビデオ・データ・フレーム中に埋め込まれる。このシナリオでは、ＭＢは、エラーの直前のＲＭの点まで回復されることができる。ＭＢ［５５，９８］は、エラーの直前のＲＭと第１のビデオ・データ・フレームの終りとの間で隠される。これらの点で、図１０（ｃ）のシナリオは、一般に図１０（ｂ）のシナリオと一致する。しかしながら、ＨＥＣビットの存在は、第２のビデオ・データ・フレーム全体が失われることを防止する。むしろ、図１０（ｃ）に示されたように、ＭＢは、第２のビデオ・データ・フレームの始まりにあるＭＢ［０，４５］、一方で第２のビデオ・データ・フレーム中の第１のＨＥＣフィールドに続くＭＢは、回復される。特に、第２のビデオ・データ・フレーム中のＨＥＣフィールドの始まりでは、新たなフレームが作り出される。新たなフレーム中のＭＢ［０，４４］は、隠される必要があるが、ＭＢ［４５，９８］は、復号化されることができる。

図１０（ｄ）の例では、デコーダ・システム１４は、本明細書にしたがってビデオＲＬＣ境界マーカと組み合わせて、ＲＭ及びＨＥＣフィールドのような、高度なエラー回復ツールを採用して、データが失われることの影響、そして欠落されるＭＢの数及び隠されるＭＢの数をさらに減少させる。図１０（ｄ）は、一般に図１０（ｃ）に一致する。しかしながら、境界マーカの存在は、エラー検出の点の前のさらなるＭＢが回復されることを可能にする。特に、図１０（ｄ）に示されたように、ＭＢは、エラーがその中で発生したセグメントの開始のところの境界マーカの点まで回復される、その結果、ＭＢ［７０，９８］だけが、第１のビデオ・データ・フィールド中で隠される必要がある。

図１０（ｄ）のビデオ・データ・フレーム中の境界マーカの存在は、ビデオ・データ・フィールドの小さなセグメントに関係付けられるエラーを認める。エラー・セグメントは、複数のＲＭ間の範囲よりも著しく小さく、そして１物理レイヤ・データ・ユニットに実際に対応する、それは伝送の間に失われることがその中で生じる最小の単位である。図１０（ｄ）から明らかなように、境界マーカの追加は、ＲＭ及びＨＥＣフィールド単独の使用と比較した時に、結果としてＭＢの回復の際に著しく救済することになる。

図１１は、本明細書にしたがったビデオ復号化技術を説明するフロー図である。図１０に示されたように、本技術は、ビデオ情報及びオーディオ情報を含んでいる物理レイヤ・データ・ユニットを受け取ること（５８）、そして隣接する物理レイヤ・データ・ユニット間の境界を検出すること（６０）を含む。一例の無線アプリケーションでは、物理レイヤ・データ・ユニットは、Ｗ−ＣＤＭＡＲＬＣ−ＰＤＵであり得る。多重化レイヤ・データ・ユニットの発生（６２）で、本技術は、物理データ・ユニット境界を同定するために多重化レイヤ・データ・ユニット中に１又はそれより多くの境界マーカを埋め込むことをさらに含む（６４）。

ビデオ・データ・フレームを発生させると（６６）、ビデオ・デコーダは、ビデオ・データ・フレームを復号化し（６８）そして埋め込まれた境界マーカを使用してビデオ・データ・フレームの小さなセグメントとエラーを関係付ける（７０）。このようにして、その中でエラーが検出されたセグメントより前に位置する、すなわち、エラー・セグメントの開始を示している境界マーカより前のＭＢは、隠されることよりはむしろ回復されることができる（７２）。その上、再同期マーカ（ＲＭ）が使用される場合に、エラー・セグメントの終りの後に存在する次のＲＭに続くＭＢは、適用可能なフレームの終りまで回復されることができる。エラー・セグメントに続く次のＲＭは、エラーがその中で検出されたセグメントの終りを示している境界マーカを参照することによって同定されることができる。

種々の実施形態が、記載されてきている。これらの実施形態及びその他の実施形態は、特許請求の範囲の範囲内である。

図１は、ビデオ符号化及び復号化システムを説明するブロック図である。図２は、物理レイヤ・データ・ユニットに対応するビデオ・データ・フレームのセグメントを同定するために境界マーカを使用させるビデオ・デコーダ・システムを説明するブロック図である。図３は、エラーの検出でビデオ・データ・フレーム中のマクロブロックを隠すための従来技術を説明する図である。図４は、エラーの検出で再同期マーカを使用してビデオ・データ・フレーム中のマクロブロックを隠すための従来技術を説明する図である。図５は、具体例の従来技術の多重化及びパケット化技術を説明する図である。図６Ａは、エラーの検出でビデオ・データ・フレーム中のマクロブロックを隠すための別の技術を説明する。図６Ｂは、エラーの検出でビデオ・データ・フレーム中のマクロブロックを隠すための別の技術を説明する。図６Ｃは、エラーの検出でビデオ・データ・フレーム中のマクロブロックを隠すための別の技術を説明する。図６Ｄは、エラーの検出でビデオ・データ・フレーム中のマクロブロックを隠すための別の技術を説明する。図７は、ビデオ・データ・フレーム中に埋め込まれた物理データ・ユニット境界マーカを使用させる逆多重化及び逆パケット化技術を説明する図である。図８は、物理データ・ユニットが失われたときに図７の技術を説明する図である。図９は、ビデオ・データ・フレーム内部の失われた物理データ・ユニットを同定するために境界マーカを使用する代わりの逆多重化及び逆パケット化技術を説明する図である。図１０（ａ）から（ｄ）は、再同期マーカ（ＲＭ）、ヘッダ拡張コード（ＨＥＣ）及び境界マーカを使用する技術を含んでいる各種の逆多重化及び逆パケット化技術を説明する図である。図１１は、本明細書にしたがってビデオ復号化技術を説明するフロー図である。

符号の説明

１０…ビデオ符号化及び復号化システム，１２…エンコーダ・システム，１４…デコーダ・システム，５４…境界マーカ，５６…再同期マーカ，５５…ＲＬＣ境界マーカ。

Claims

ビデオ復号化方法、該方法は下記を具備する：
物理レイヤ・データ・ユニットに基づいてビデオ・データを含んでいる多重化レイヤ・データ・ユニットを発生すること；
複数の該物理レイヤ・データ・ユニット間の境界を示すために該多重化レイヤ・データ・ユニット中に境界マーカを埋め込むこと；
ビデオ・データ・フレームを発生させるために複数の該多重化レイヤ・データ・ユニットを逆多重化すること；及び
該境界マーカを使用して該ビデオ・データ・フレームのセグメントと検出された復号化エラーを関係付けること。
請求項１の方法、ここにおいて、該境界マーカは、失われた物理レイヤ・データ・ユニットの始まりを同定する。
請求項１の方法、ここにおいて、境界マーカを埋め込むことは、複数の該物理レイヤ・データ・ユニット間の複数の境界を同定するために複数の該境界マーカを埋め込むことを含む。
請求項１の方法、ここにおいて、該ビデオ・データ・フレームは、ビデオ・データのマクロブロックを含む、ここにおいて、該方法は、該ビデオ・データ・フレームの該セグメント内部の複数のマクロブロックを隠すことをさらに備える。
請求項１の方法、ここにおいて、該ビデオ・データ・フレームは、再同期マーカを含む、ここにおいて、該方法は、該ビデオ・データ・フレームの該セグメント内部に複数のマクロブロックを隠し、そして該ビデオ・データ・フレーム中の該検出された復号化エラーに続く該再同期マーカの次のものまでの複数のマクロブロックを隠すことをさらに備える。
請求項１の方法、該方法は、適応レイヤ・データ・ユニットを発生させるために該複数の多重化レイヤ・データ・ユニットを逆多重化すること、及び該適応レイヤ・データ・ユニットに基づいて該ビデオ・データを発生させることをさらに具備する。
請求項１の方法、該方法は、無線通信を介して該物理レイヤ・データ・ユニットを受け取ることをさらに具備する。
請求項１の方法、該方法は、ＩＴＵＨ．２２３多重化／逆多重化プロトコルにしたがって該多重化レイヤ・ユニットを逆多重化することをさらに具備する。
請求項１の方法、該方法は、ＲＴＰ／ＵＤＰ／ＩＰ多重化／逆多重化プロトコルにしたがって該多重化レイヤ・ユニットを逆多重化することをさらに具備する。
請求項１の方法、ここにおいて、該ビデオ・データ・フレームは、ＭＰＥＧ−４規格に適合するビデオ・データのマクロブロックを含む。
請求項１の方法、ここにおいて、該ビデオ・データ・フレームは、ＩＴＵＨ．２６３、ＩＴＵＨ．２６４及びＭＰＥＧ−２プロトコルのうちの１つに適合するビデオ・データのマクロブロックを含む。
請求項１の方法、ここにおいて、該物理レイヤ・データ・ユニットは、Ｗ−ＣＤＭＡ無線通信リンク制御パケット・データ・ユニット（ＲＬＣＰＤＵ）を含む。
請求項１２の方法、ここにおいて、該多重化レイヤ・データ・ユニットは、Ｈ．２２３多重化／逆多重化プロトコルに適合する。
請求項１の方法、ここにおいて、該物理レイヤ・データ・ユニットは、ＣＤＭＡ２０００１ｘ無線通信リンク・プロトコル・パケット・データ・ユニット（ＲＬＰＰＤＵ）、ＣＤＭＡ２０００１ｘＥＶ−ＤＯＲＬＰＰＤＵ、又はＣＤＭＡ２０００ＥＶ−ＤＶＲＬＰＰＤＵを含む。
請求項１の方法、ここにおいて、該多重化レイヤ・データ・ユニットは、ＲＴＰ／ＵＤＰ／ＩＰ多重化／逆多重化プロトコルに適合する。
請求項１の方法、ここにおいて、該物理レイヤ・データ・ユニットは、オーディオ・データ及びビデオ・データを含む、そして境界マーカを埋め込むことは、複数の該物理レイヤ・データ・ユニット中のビデオ情報間の境界を示すために該多重化レイヤ・データ・ユニット中に境界マーカを埋め込むことを含む。
ビデオ復号化システム、該システムは下記を具備する：
物理レイヤ・データ・ユニットに基づいてビデオ・データを含んでいる多重化レイヤ・データ・ユニットを発生させ、そして該多重化レイヤ・データ・ユニットを逆多重化する逆多重化エンジン；
複数の該物理レイヤ・データ・ユニット間の境界を示すために該多重化レイヤ・データ・ユニット中に境界マーカを埋め込む境界発生器；及び
該ビデオ・データを含んでいるビデオ・データ・フレームを復号化し、そして該境界マーカを使用して該ビデオ・データ・フレームのセグメントと検出された復号化エラーを関係付けるビデオ復号化エンジン。
請求項１７のシステム、ここにおいて、該境界マーカは、失われた物理レイヤ・データ・ユニットの始まりを同定する。
請求項１７のシステム、ここにおいて、該境界発生器は、複数の該物理レイヤ・データ・ユニット間の複数の境界を同定するために複数の該境界マーカを埋め込む。
請求項１７のシステム、該システムは、該複数の物理レイヤ・データ・ユニット間の複数の該境界を検出するための境界検出器をさらに具備する。
請求項１７のシステム、ここにおいて、該ビデオ・データ・フレームは、ビデオ・データのマクロブロックを含む、そして該復号化エンジンは、該ビデオ・データ・フレームの該セグメント内部にマクロブロックを隠す。
請求項１７のシステム、ここにおいて、該ビデオ・データ・フレームは、再同期マーカを含む、そして該復号化エンジンは、該ビデオ・データ・フレームの該セグメント内部に複数のマクロブロックを隠し、そして該ビデオ・データ・フレーム中の該検出された復号化エラーに続く該再同期マーカの次のものまでの複数のマクロブロックを隠す。
請求項１７のシステム、該システムは、該複数の逆多重化された多重化レイヤ・データ・ユニットに基づいて適応レイヤ・データ・ユニットを発生させ、そして該適応レイヤ・データ・ユニットに基づいて該ビデオ・データを発生させる適応レイヤ・モジュールをさらに具備する。
請求項１７のシステム、該システムは、無線通信を介して該物理レイヤ・データ・ユニットを受け取る無線受信機をさらに具備する。
請求項１７のシステム、ここにおいて、該逆多重化エンジンは、ＩＴＵＨ．２２３多重化／逆多重化プロトコルにしたがって該多重化レイヤ・ユニットを逆多重化する。
請求項１７のシステム、ここにおいて、該逆多重化エンジンは、ＲＴＰ／ＵＤＰ／ＩＰ多重化／逆多重化プロトコルにしたがって該多重化レイヤ・ユニットを逆多重化する。
請求項１７のシステム、ここにおいて、該ビデオ・データ・フレームは、ＭＰＥＧ−４規格に適合するビデオ・データのマクロブロックを含む。
請求項１７のシステム、ここにおいて、該ビデオ・データ・フレームは、ＩＴＵＨ．２６３、ＩＴＵＨ．２６４及びＭＰＥＧ−２プロトコルのうちの１つに適合するビデオ・データのマクロブロックを含む。
請求項１７のシステム、ここにおいて、該物理レイヤ・データ・ユニットは、Ｗ−ＣＤＭＡ無線通信リンク制御パケット・データ・ユニット（ＲＬＣＰＤＵ）を含む。
請求項２９のシステム、ここにおいて、該多重化レイヤ・データ・ユニットは、Ｈ．２２３多重化／逆多重化プロトコルに適合する。
請求項１７のシステム、ここにおいて、該物理レイヤ・データ・ユニットは、ＣＤＭＡ２０００１ｘ無線通信リンク・プロトコル・パケット・データ・ユニット（ＲＬＰＰＤＵ）、ＣＤＭＡ２０００１ｘＥＶ−ＤＯＲＬＰＰＤＵ、又はＣＤＭＡ２０００ＥＶ−ＤＶＲＬＰＰＤＵを含む。
請求項１７のシステム、ここにおいて、該多重化レイヤ・データ・ユニットは、ＲＴＰ／ＵＤＰ／ＩＰ多重化／逆多重化プロトコルに適合する。
請求項１７のシステム、ここにおいて、該物理レイヤ・データ・ユニットは、オーディオ・データ及びビデオ・データを含む、そして該境界発生器は、複数の該物理レイヤ・データ・ユニット中のビデオ情報間の境界を示すために該多重化レイヤ・データ・ユニット中に該境界マーカを埋め込む。
ビデオ・デマルチプレクサ、該デマルチプレクサは下記を具備する：
物理レイヤ・データ・ユニットに基づいてビデオ・データを含んでいる多重化レイヤ・データ・ユニットを発生させ、そして該多重化レイヤ・データ・ユニットを逆多重化する逆多重化エンジン；及び
ビデオ・デコーダが境界マーカを使用してビデオ・データ・フレームのセグメントと検出された復号化エラーを関係付けることを可能にするために複数の該物理レイヤ・データ・ユニット間の境界を示すために該多重化レイヤ・データ・ユニット中に該境界マーカを埋め込む境界発生器。
請求項３４のデマルチプレクサ、ここにおいて、該境界マーカは、失われた物理レイヤ・データ・ユニットの始まりを同定する。
請求項３４のデマルチプレクサ、ここにおいて、該境界発生器は、複数の該物理レイヤ・データ・ユニット間の複数の境界を同定するために複数の該境界マーカを埋め込む。
請求項３４のデマルチプレクサ、該デマルチプレクサは、複数の該物理レイヤ・データ・ユニット間の該境界を検出するための境界検出器をさらに具備する。
請求項３４のデマルチプレクサ、ここにおいて、該ビデオ・データ・フレームは、ビデオ・データのマクロブロックを含む、そして該復号化エンジンは、該ビデオ・データ・フレームの該セグメント内部に複数のマクロブロックを隠す。
請求項３４のデマルチプレクサ、ここにおいて、該逆多重化エンジンは、Ｈ．２２３多重化／逆多重化プロトコルにしたがって該多重化レイヤ・データ・ユニットを逆多重化する。
請求項３４のデマルチプレクサ、ここにおいて、該逆多重化エンジンは、ＲＴＰ／ＵＤＰ／ＩＰ多重化／逆多重化プロトコルにしたがって該多重化レイヤ・データ・ユニットを逆多重化する。
請求項３４のデマルチプレクサ、ここにおいて、該ビデオ・データ・フレームは、ＭＰＥＧ−４規格に適合するビデオ・データのマクロブロックを含む。
請求項３４のデマルチプレクサ、ここにおいて、該ビデオ・データ・フレームは、ＩＴＵＨ．２６３、ＩＴＵＨ．２６４及びＭＰＥＧ−２プロトコルのうちの１つに適合するビデオ・データのマクロブロックを含む。
請求項３４のデマルチプレクサ、ここにおいて、該物理レイヤ・データ・ユニットは、Ｗ−ＣＤＭＡ無線通信リンク制御パケット・データ・ユニット（ＲＬＣＰＤＵ）を含む。
請求項４３のデマルチプレクサ、ここにおいて、該多重化レイヤ・データ・ユニットは、Ｈ．２２３多重化／逆多重化プロトコルに適合する。
請求項３４のデマルチプレクサ、ここにおいて、該物理レイヤ・データ・ユニットは、ＣＤＭＡ２０００１ｘ無線通信リンク・プロトコル・パケット・データ・ユニット（ＲＬＰＰＤＵ）、ＣＤＭＡ２０００１ｘＥＶ−ＤＯＲＬＰＰＤＵ、又はＣＤＭＡ２０００ＥＶ−ＤＶＲＬＰＰＤＵを含む。
請求項３４のデマルチプレクサ、ここにおいて、該多重化レイヤ・データ・ユニットは、ＲＴＰ／ＵＤＰ／ＩＰ多重化／逆多重化プロトコルに適合する。
請求項３４のデマルチプレクサ、ここにおいて、該物理レイヤ・データ・ユニットは、オーディオ・データ及びビデオ・データを含む、そして境界発生器は、複数の該物理レイヤ・データ・ユニット中のビデオ情報間の境界を示すために該多重化レイヤ・データ・ユニット中に該境界マーカを埋め込む。
ワイアレス通信デバイス、該デバイスは下記を具備する：
ワイアレス通信を介して物理レイヤ・データ・ユニットを受信するための無線受信機、ここにおいて、該物理レイヤ・データ・ユニットはビデオ・データを含む；
該物理レイヤ・データ・ユニットに基づいて多重化レイヤ・データ・ユニットを発生させ、そして該多重化レイヤ・データ・ユニットを逆多重化する逆多重化エンジン；
複数の該物理レイヤ・データ・ユニット間の境界を示すために該多重化レイヤ・データ・ユニット中に境界マーカを埋め込む境界発生器；及び
該ビデオ・データを含んでいるビデオ・データ・フレームを復号化し、そして該境界マーカを使用して該ビデオ・データ・フレームのセグメントと検出された復号化エラーを関係付けるビデオ復号化エンジン。
請求項４８のデバイス、ここにおいて、該境界マーカは、失われた物理レイヤ・データ・ユニットの始まりを同定する。
請求項４８のデバイス、ここにおいて、該境界発生器は、複数の該物理レイヤ・データ・ユニット間の複数の境界を同定するために複数の該境界マーカを埋め込む。
ビデオ復号化システム、該システムは下記を具備する：
物理レイヤ・データ・ユニットに基づいてビデオ・データを含んでいる多重化レイヤ・データ・ユニットを発生させるための手段；
複数の該物理レイヤ・データ・ユニット間の境界を示すために該多重化レイヤ・データ・ユニット中に境界マーカを埋め込むための手段；
ビデオ・データ・フレームを発生させるために複数の該多重化レイヤ・データ・ユニットを逆多重化するための手段；及び
該境界マーカを使用して該ビデオ・データ・フレームのセグメントと検出された復号化エラーを関係付けるための手段。
請求項５１のシステム、ここにおいて、該境界マーカは、失われた物理レイヤ・データ・ユニットの始まりを同定する。
請求項５１のシステム、ここにおいて、該埋め込む手段は、複数の該物理レイヤ・データ・ユニット間の複数の境界を同定するために複数の該境界マーカを埋め込むための手段を含む。
請求項５１のシステム、ここにおいて、該ビデオ・データ・フレームは、ビデオ・データのマクロブロックを含む、ここにおいて、該システムは、該ビデオ・データ・フレームの該セグメント内部にマクロブロックを隠すための手段をさらに備える。
請求項５１のシステム、ここにおいて、該ビデオ・データ・フレームは、再同期マーカを含む、ここにおいて、該システムは、該ビデオ・データ・フレームの該セグメント内部のマクロブロック及び該ビデオ・データ・フレーム中の検出された復号化エラーに続く該再同期マーカのうちの次のものまでのマクロブロックを隠すための手段をさらに備える。
請求項５１のシステム、ここにおいて、該逆多重化手段は、ＩＴＵＨ．２２３又はＲＴＰ／ＵＤＰ／ＩＰ多重化／逆多重化プロトコルにしたがって該多重化レイヤ・ユニットを逆多重化する。
請求項５１のシステム、ここにおいて、該ビデオ・データ・フレームは、ＭＰＥＧ−４、ＩＴＵＨ．２６３、ＩＴＵＨ．２６４又はＭＰＥＧ−２プロトコルに適合するビデオ・データのマクロブロックを含む。
請求項５１のシステム、ここにおいて、該物理レイヤ・データ・ユニットは、Ｗ−ＣＤＭＡ無線通信リンク制御パケット・データ・ユニット（ＲＬＣＰＤＵ）、ＣＤＭＡ２０００１ｘ無線通信リンク・プロトコル・パケット・データ・ユニット（ＲＬＰＰＤＵ）、ＣＤＭＡ２０００１ｘＥＶ−ＤＯＲＬＰＰＤＵ、又はＣＤＭＡ２０００ＥＶ−ＤＶＲＬＰＰＤＵを含む。
１又はそれより多くのプロセッサに下記を実行させるための命令を具備するコンピュータ読み取り可能な媒体、該命令は下記を含む：
物理レイヤ・データ・ユニットに基づいてビデオ・データを含んでいる多重化レイヤ・データ・ユニットを発生させること；
複数の該物理レイヤ・データ・ユニット間の境界を示すために該多重化レイヤ・データ・ユニット中に境界マーカを埋め込むこと；
ビデオ・データ・フレームを発生させるために複数の該多重化レイヤ・データ・ユニットを逆多重化すること；及び
該境界マーカを使用して該ビデオ・データ・フレームのセグメントと検出された復号化エラーを関係付けること。
請求項５９のコンピュータ読み取り可能な媒体、ここにおいて、該境界マーカは、失われた物理レイヤ・データ・ユニットの始まりを同定する。
請求項５９のコンピュータ読み取り可能な媒体、該コンピュータ読み取り可能な媒体は、複数の該物理レイヤ・データ・ユニット間の複数の境界を同定するために複数の該境界マーカを埋め込むことを該プロセッサに実行させる命令をさらに具備する。
請求項５９のコンピュータ読み取り可能な媒体、ここにおいて、該ビデオ・データ・フレームは、ビデオ・データのマクロブロックを含む、ここにおいて、該コンピュータ読み取り可能な媒体は、該ビデオ・データ・フレームの該セグメント内部のマクロブロックを隠すことを該プロセッサに実行させる命令をさらに備える。
請求項５９のコンピュータ読み取り可能な媒体、ここにおいて、該ビデオ・データ・フレームは、再同期マーカを含む、ここにおいて、該コンピュータ読み取り可能な媒体は、該ビデオ・データ・フレームの該セグメント内部のマクロブロック及び該ビデオ・データ・フレーム中の該検出された復号化エラーに続く該再同期マーカのうちの次のものまでのマクロブロックを隠すことを該プロセッサに実行させる命令をさらに備える。
請求項５９のコンピュータ読み取り可能な媒体、ここにおいて、該命令は、ＩＴＵＨ．２２３又はＲＴＰ／ＵＤＰ／ＩＰ多重化／逆多重化プロトコルにしたがって該多重化レイヤ・ユニットを逆多重化することを該プロセッサに実行させる。
請求項５９のコンピュータ読み取り可能な媒体、ここにおいて、該ビデオ・データ・フレームは、ＭＰＥＧ−４、ＩＴＵＨ．２６３、ＩＴＵＨ．２６４又はＭＰＥＧ−２プロトコルに適合するビデオ・データのマクロブロックを含む。
請求項５９のコンピュータ読み取り可能な媒体、ここにおいて、該物理レイヤ・データ・ユニットは、Ｗ−ＣＤＭＡ無線通信リンク制御パケット・データ・ユニット（ＲＬＣＰＤＵ）、ＣＤＭＡ２０００１ｘ無線通信リンク・プロトコル・パケット・データ・ユニット（ＲＬＰＰＤＵ）、ＣＤＭＡ２０００１ｘＥＶ−ＤＯＲＬＰＰＤＵ、又はＣＤＭＡ２０００ＥＶ−ＤＶＲＬＰＰＤＵを含む。