JP2008514164A - 効果的なデータ回復を用いるビデオ・デマルチプレクサ及びビデオ・デコーダ - Google Patents

効果的なデータ回復を用いるビデオ・デマルチプレクサ及びビデオ・デコーダ Download PDF

Info

Publication number
JP2008514164A
JP2008514164A JP2007533661A JP2007533661A JP2008514164A JP 2008514164 A JP2008514164 A JP 2008514164A JP 2007533661 A JP2007533661 A JP 2007533661A JP 2007533661 A JP2007533661 A JP 2007533661A JP 2008514164 A JP2008514164 A JP 2008514164A
Authority
JP
Japan
Prior art keywords
video data
layer data
video
boundary
physical layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007533661A
Other languages
English (en)
Other versions
JP4819815B2 (ja
Inventor
リー、イエン−チ
ツァイ、ミン−チャン
イエ、ヤン
リン、ファン
エル−マレー、クハレド・ヘルミ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2008514164A publication Critical patent/JP2008514164A/ja
Application granted granted Critical
Publication of JP4819815B2 publication Critical patent/JP4819815B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/04Protocols specially adapted for terminals or networks with limited capabilities; specially adapted for terminal portability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1101Session protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00Colour television systems
    • H04N11/02Colour television systems with bandwidth reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00Colour television systems
    • H04N11/04Colour television systems using pulse code modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382Demodulation or channel decoding, e.g. QPSK demodulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】効果的なデータ回復を用いるビデオ・デマルチプレクサ及びビデオ・デコーダ。
【解決手段】ビデオ・デマルチプレクサ及びビデオ・デコーダは、チャネル・エラーの場合に効果的なビデオ・データ回復のための特徴を含む。デマルチプレクサは、複数の物理レイヤ・データ・ユニット間の境界を検出し、そしてデマルチプレクサにより生成されたビットストリームに境界情報を加える。デマルチプレクサは、適応レイヤ・データ・ユニットを生成し、それは適応レイヤによって処理されて、アプリケーション・レイヤ・ビットストリームを生成する。ビデオ・デコーダがビットストリーム中のエラーに遭遇する時に、それは境界情報を使用して、隠されなければならないデータの量を限定する。特に、境界情報は、データの小さなセグメントに関係付けられるエラーを認める。ビデオ・デコーダは、セグメントがその中に存在するスライス全体又はフレーム全体よりはむしろデータのセグメントの始めからのデータを隠す。このようにして、ビデオ・デコーダは、効果的なデータ回復を提供し、そうでなければ隠す目的のために意図的に破棄されるはずの有用なデータが失われることを限定する。
【選択図】図7

Description

本明細書は、ビデオ復号化に係り、そして特に、チャネル・エラーに起因するビデオ・データが失われることを限定するための技術に関する。
代表的な動画エクスパート・グループ(MPEG:Moving Picture Expert Group)−4ビデオ・デコーダの手段において、エラーが検出された時に、デコーダは、破壊されたスライスの全てのマクロブロック(MB:macroblock)、又は全体のフレームを隠す。隠すことは、表示されるビデオ中に誤りを含んで(wrongly)復号化されたMB、それは、非常に気付きやすく視覚的に不快にさせることがある、の表示を防止する。その上、隠すことは、誤りを含んで復号化されたMBからの誤った画像ベクトルの使用を防止する、それはそうでなければ、ビデオ・ストリーム中にさらなるエラーを広げることがある。それゆえ、破壊されたスライス又は破壊されたフレームのMBの全てを隠すことは、視覚的により快適なビデオ信号を一般に提供する。
隠す技術は破壊されたMBの表示を防止するけれども、そのような技術は、同様に正しく受け取られたデータ、それはスライス又はMBの開始における有用なMBを含むことがある、を意図的に欠落させる。エラーが所与のMBで実際に生じる場合に、例えば、ビデオ・デコーダは、利用可能なスライス又はフレーム内部の全てのMBが“可能性として”破壊されていると考え、そしてそれらを隠す。正しく受け取られたデータを隠すことは、非効果的であり、そして無線通信システムのようなチャネル・エラーが一般的である複数のシステムでは性能に著しく悪影響することがある。
国際電気通信連合(ITU)H.263プロトコル ITU H.264プロトコル
[サマリー]
一般に、本明細書は、チャネル・エラーの場合に効果的なビデオ・データ回復のための特徴を含むビデオ逆多重化技術及びビデオ復号化技術に向けられる。デマルチプレクサは、複数の物理レイヤ・データ・ユニット間の境界を検出し、そしてデマルチプレクサによって生成された適応レイヤ・データ・ユニットに境界情報を付加する。ビデオ・デコーダがビデオ・データ・フレーム中のエラーに遭遇する時に、ビデオ・デコーダはデマルチプレクサによって生成された境界情報を使用して、隠されようとしているデータの量を限定する。境界情報は、ビデオ・データ・フレーム中に埋め込まれた境界マーカの形式を取ることができる。
境界マーカは、ビデオ・データ・フレーム内部のデータの小さなセグメントに関係付けられるエラーを許容する。そのセグメントは、物理レイヤ・データ・ユニットの位置に基づいて同定されることができ、物理レイヤ・データ・ユニットは一般的に、伝送の間に失われることの影響を受ける最小単位である。ビデオ・デコーダは、その中にセグメントが存在するスライス又はフレーム全体よりはむしろ、データの小さなセグメントを隠すために、境界マーカを使用する。このようにして、ビデオ・デコーダは、効果的なデータ回復を提供し、それ以外では隠すことのプロセスの一部として意図的に破棄されるはずの有用なデータが失われることを限定する。ある複数のケースでは、復号化技術は、同様に、境界マーカとの組み合わせで、再同期マーカのようなエラー回復特性を頼りにすることがある。
1つの実施形態では、本開示は、ビデオ復号化方法を提供し、該方法は、物理レイヤ・データ・ユニットに基づいてビデオ・データを含んでいる多重化レイヤ・データ・ユニットを発生させること、複数の該物理レイヤ・データ・ユニット間の境界を示すために該多重化レイヤ・データ・ユニット中に境界マーカを埋め込むこと、ビデオ・データ・フレームを生成するために複数の該多重化レイヤ・データ・ユニットを逆多重化すること、及び該境界マーカを使用して該ビデオ・データ・フレームのセグメントと検出された復号化エラーを関係付けることを具備する。
他の1つの実施形態では、本開示は、ビデオ復号化システムを提供し、該システムは、物理レイヤ・データ・ユニットに基づいてビデオ・データを含んでいる多重化レイヤ・データ・ユニットを発生させ、そして該多重化レイヤ・データ・ユニットを逆多重化する逆多重化エンジン、複数の該物理レイヤ・データ・ユニット間の境界を示すために該多重化レイヤ・データ・ユニット中に境界マーカを埋め込む境界発生器、及び該ビデオ・データを含んでいるビデオ・データ・フレームを復号化し、そして該境界マーカを使用して該ビデオ・データ・フレームのセグメントと検出された復号化エラーを関係付けるビデオ復号化エンジンを具備する。
1つのさらなる実施形態では、本開示は、ビデオ・デマルチプレクサを提供し、該デマルチプレクサは、物理レイヤ・データ・ユニットに基づいてビデオ・データを含んでいる多重化レイヤ・データ・ユニットを発生させ、そして該多重化レイヤ・データ・ユニットを逆多重化する逆多重化エンジン、及びビデオ・デコーダが境界マーカを使用してビデオ・データ・フレームのセグメントと検出された復号化エラーを関係付けることを可能にするために複数の該物理レイヤ・データ・ユニット間の境界を示すために該多重化レイヤ・データ・ユニット中に該境界マーカを埋め込む境界発生器を具備する。
1つのさらなる実施形態では、本開示は、無線通信デバイスを提供し、該デバイスは、無線通信を介して物理レイヤ・データ・ユニットを受信するための無線受信機、ここにおいて、該物理レイヤ・データ・ユニットはビデオ・データを含む、該物理レイヤ・データ・ユニットに基づいて多重化レイヤ・データ・ユニットを発生させ、そして該多重化レイヤ・データ・ユニットを逆多重化する逆多重化エンジン、複数の該物理レイヤ・データ・ユニット間の境界を示すために該多重化レイヤ・データ・ユニット中に境界マーカを埋め込む境界発生器、及び該ビデオ・データを含んでいるビデオ・データ・フレームを復号化し、そして該境界マーカを使用して該ビデオ・データ・フレームのセグメントに対して検出された復号化エラーを分離させるビデオ復号化エンジンを具備する。
1又はそれより多くの実施形態の詳細は、添付した図面及び以下の説明に記載される。その他の特徴、目的、及び利点は、説明及び図面から、そして特許請求の範囲から明らかにされる。
[詳細な説明]
図1は、ビデオ符号化及び復号化システム10を説明するブロック図である。図1に示されたように、システム10は、伝送チャネル16によって接続されたエンコーダ・システム12及びデコーダ・システム14を含む。チャネル16は、ビデオ情報の伝送のために適したいずれかの有線媒体又は無線媒体であり得る。デコーダ・システム14は、チャネル・エラーの場合に効果的なビデオ・データ回復を可能にする。詳細に説明されるように、デコーダ・システム14は、チャネル・エラーの場合に隠すプロセスの一部として通常は意図的に破棄されるはずの有用なデータが失われることを限定するために構成される。このようにして、デコーダ・システム14は、優れた効率、復号化性能の向上、及びエラー回復能力の改善を提供できる。
エンコーダ・システム12は、マルチプレクサ(MUX)18、ビデオ・エンコーダ20及びオーディオ・エンコーダ22を含む。ビデオ・エンコーダ20は、MPEG−4のようなビデオ圧縮プロトコルにしたがって符号化されたビデオ・データを発生させる。他のビデオ圧縮プロトコルが、使用されることができ、例えば、国際電気通信連合(ITU:International Telecommunication Union)H.263,ITU H.264、又はMPEG−2プロトコルである。オーディオ・エンコーダ22は、オーディオ・データを符号化して、ビデオ・データに添付する。マルチプレクサ18は、ビデオ・データ及びオーディオ・データを多重化して、チャネル16を介した伝送のために一連の多重化データ・ユニットを形成する。一例として、マルチプレクサ18は、ITUによって発行された、H.223マルチプレクサ・プロトコルにしたがって動作することができる。しかしながら、他のプロトコルが、使用されることができ、例えば、ユーザ・データグラム・プロトコル(UDP:user datagram protocol)である。
チャネル16は、物理レイヤ・データ・ユニットとしてデコーダ・システム14へ多重化された情報を搬送する。チャネル16は、エンコーダ・システム12とデコーダ・システム14との間のいずれかの物理的な接続であり得る。例えば、チャネル16は、ローカル・エリア・ネットワーク又はワイド・エリア・ネットワークのような、有線接続であり得る。あるいは、本明細書中で説明されるように、チャネル16は、セルラ接続、衛星接続、又は光接続のような無線接続であり得る。
デコーダ・システム14は、デマルチプレクサ(DEMUX:demultiplexer)26、ビデオ・デコーダ28及びオーディオ・デコーダ30を含む。デマルチプレクサ26は、物理レイヤ・データ・ユニットから多重化データ・ユニットを同定し、そして多重化レイヤ・データ・ユニットの内容を逆多重化して、ビデオ及びオーディオ適応レイヤ・データ・ユニットを生成する。適応レイヤ・データ・ユニットは、適応レイヤにおいて処理されてビデオ・データ・フレームを生成する。ビデオ・デコーダ28は、アプリケーション・レイヤにおいてビデオ・データ・フレームを復号化して、ディスプレイ・デバイスを駆動する際に使用するためのビデオ・データのストリームを生成する。オーディオ・デコーダ30は、オーディオ・データを復号化しれ再生音(audio)を生成する。
本明細書にしたがって、デマルチプレクサ26は、複数の物理レイヤ・データ・ユニット間の境界を検出し、そしてデマルチプレクサによって生成されたビットストリームに境界情報を加える。デマルチプレクサ26は、適応レイヤ・データ・ユニットを生成する、それは、適応レイヤによって処理されて、アプリケーション・レイヤ・ビットストリームを生成する。ビデオ・デコーダ28がビットストリーム中のエラーに遭遇すると、ビデオ・デコーダ28は、境界情報を使用して、隠される必要があるビデオ・データの量を限定する。特に、ビデオ・デコーダ28は、境界情報を使用して、この例では、例えば、物理レイヤ・データ・ユニットの位置に基づいて、データのより小さなセグメントにエラーを分離する。ビデオ・デコーダ28は、エラーがその中に存在するスライス全体又はフレーム全体よりはむしろ、データのより小さなセグメントを隠す。
実行中に、デマルチプレクサ26は、チャネル16を介して受け取った物理レイヤ・データ・ユニットに基づいてビデオ・データ及びオーディオ・データを含んでいる多重化レイヤ・データ・ユニットを発生させる。デマルチプレクサ26は、多重化レイヤ・データ・ユニットに1又はそれより多くの境界マーカを埋め込んで、複数の物理レイヤ・データ・ユニット間の境界を示し、そして複数の多重化レイヤ・データ・ユニットを逆多重化してビデオ・データ・フレームを生成する。その後、復号化エラーを検出すると、ビデオ・デコーダ28は、境界マーカを使用してビデオ・データ・フレームのセグメントと検出された復号化エラーを関係付ける。
1又はそれより多くの境界マーカの採用で、ビデオ・デコーダ28は、次に、スライス全体又はフレーム全体というよりはむしろ、その中でエラーが発生したビデオ・データ・フレームのセグメントを隠す。ある複数の実施形態では、ビデオ・デコーダ28は、同様に多重化レイヤ・データ・ユニット中に埋め込まれた再同期マーカを使用させることができる。例えば、もしビデオ・データ・フレームが再同期マーカを含んでいれば、ビデオ・デコーダ28は、境界マーカによって同定されるビデオ・データ・フレームのセグメント内のマクロブロック(MB:macroblock)を隠し、そしてビデオ・データ・フレーム中の次の再同期マーカまでのMBを隠すように構成されることができる。
図2は、物理レイヤ・データ・ユニットに対応するビデオ・データ・フレームのセグメントを同定するために境界マーカを使用させるビデオ・デコーダ・システム14の1実施形態を説明するブロック図である。ビデオ・デコーダ・システム14は、復号化エラーの際に隠されるデータの量を限定するために1又はそれより多くのビデオ境界マーカを使用させる。図2の例では、ビデオ・デコーダ・システム14は、無線チャネルを経由してビデオ・データ及びオーディオ・データを受信する無線受信機33を含む。無線受信機33は、各種の無線伝送技術、例えば、符号分割多元接続(CDMA:Code Division Multiple Access)、広帯域CDMA(W−CDMA:wideband CDMA)、又は時分割多元アドレシング(TDMA:Time Division Multiple Addressing)、のうちのいずれかにしたがって無線通信周波数(RF:radio frequency)無線信号を受信するように構成されることができる。
図2に示されたように、デマルチプレクサ(DEMUX)26は、逆多重化エンジン36、無線通信リンク制御(RLC:radio link control)境界検出器38、及び境界コード発生器40を含む。逆多重化エンジン36は、無線受信機33からの受信された物理レイヤ・データ・ユニットに基づいてビデオ・データ及びオーディオ・データを含んでいる多重化レイヤ・データ・ユニットを発生させる。ある複数の実施形態では、物理レイヤ・データ・ユニットは、W−CDMA無線通信リンク制御(RLC)パケット・データ・ユニット(PDU:packet data unit)、すなわち、RLC PDU、であり得る。あるいは、物理レイヤ・データ・ユニットは、種々の異なる形式、例えば、CDMA2000 1xRLP(Radio Link Protocol(無線通信リンク・プロトコル))PDU、CDMA2000 1xEV−DO RLP PDU、CDMA2000 EV−DV RLP PDU、を取ることができる。逆多重化エンジン36は、H.223のような、逆多重化プロトコルにしたがって多重化レイヤ・パケット・データ・ユニット(MUX PDU)を発生させる。しかしながら、本明細書中に説明される技術は、他のビデオ輸送プロトコルに適用可能であり、例えば、RTP/UDP/IP(Real-time Transport Protocol/User Datagram Protocol/Internet Protocol(リアルタイム輸送プロトコル/ユーザ・データグラム・プロトコル/インターネット・プロトコル))を使用するH.323ビデオ電話プロトコル及びSIPベースのプロトコルである。
RLC境界検出器38は、複数のRLC PDU間の境界を検出する。境界コード発生器40は、各境界に対するコードを発生し、そして逆多重化エンジン36によって生成された多重化レイヤ・データ・ユニット内部の適切な位置に境界マーカとしてそのコードを埋め込む。このようにして、デマルチプレクサ26は、複数の物理レイヤ・データ・ユニット間の境界の指標を保存する。逆多重化エンジン36がMUX PDUを生成し、そして適応レイヤ・モジュール44がビデオ・データ・フレームを生成するときに、境界マーカは、ビデオ・データ・フレームの小さなセグメントに復号化エラーを分離する際にビデオ・デコーダ・エンジン28による使用のためにそのまま残される。
W−CDMAを使用するMPEG−4無線伝送に関して、RLC PDUは、伝送の間に失われる対象とされる最小の単位である。例えば、W−CDMA RLC−PDUは、各20msに対して160バイト長である。境界マーカを採用することで、ビデオ・デコーダ28は、検出された復号化エラーをデマルチプレクサ26によって生成されたビデオ・データ・フレームの小さなセグメントと関係付けることができる。復号化エラーを検出すると、ビデオ・デコーダ28は、過剰な数のMB、すなわち、ある事例において全体のビデオ・データ・フレームというよりはむしろ、ビデオ・データ・フレームの小さなセグメントを隠す。
図2にさらに示されるように、適応レイヤ・モジュール44は、逆多重化エンジン36によって生成されたMUX PDUをビデオ・デコーダ28によって処理するためにビデオ・データ・フレームに変換する。この例では、ビデオ・デコーダ28は、エラー検出モジュール46、境界コード検出器48、デコーダ・エンジン50及びメモリ52を含む。境界コード検出器48は、着信ビデオ・フレーム・ビットストリームをスキャンして、境界マーカを検出する、それは物理レイヤにある元々の伝送されたものの中の複数のRLC PDU間の境界を示す。境界コード検出器48は、ビデオ・フレーム・ビットストリームから境界マーカを削除し、そしてメモリ52中に境界マーカの位置を記録する。エラー検出モジュール46が復号化エラーを検出したときに、デコーダ・エンジン50は、記録された境界マーカの位置を使用させ、物理レイヤにある元々の伝送されたものの中の複数のRLC PDU間の境界に関係させてエラーの位置を決定する。デコーダ・エンジン50は、隠されるMBのセグメントのサイズが、一般に複数のRLC PDUのサイズに限定されるように、メモリ52中に位置を記録する。
これゆえ、デコーダ・システム14は、独自の輸送−デコーダ・クロス−レイヤ設計を提供し、それは効果的なビデオ・データ回復を促進させる。デコーダ・システム14は、伝送エラーの存在で破棄されなければならない有用なデータの量を限定する。このクロス−レイヤ設計にしたがって、輸送レイヤは、チャネル障害の前に正しく受け取られているデータを回復させるために、ビデオ・デコーダ・エンジン50に追加の情報を渡す。
図2にさらに示されたように、ビデオ・デコーダ50は、符号化されたビデオ・ビットストリームを生成し、そしてビデオ・ドライバ51にそれを配信する。ビデオ・ドライバ51は、ディスプレイ・デバイス53を駆動し、ユーザにビデオ画像を表示する。ビデオ・デコーダ・システム14は、流れているビデオ又はビデオ電話の配信を含む、各種のビデオ・アプリケーションをサポートできる。それぞれのケースで、デコーダ・システム14は、有用なデータが失われることを限定する際に効果的であり、そしてそれによって効率及び性能を高める。
ビデオ・デコーダ・システム14は、ディジタル・シグナル・プロセッサ(DSP:digital signal processor)上で又は他の処理装置上でランする、復号化プロセス、又は符号化/復号化(CODEC:coding/decoding)プロセスとして与えられることができる。ビデオ・デコーダ・システム14は、命令及びデータを格納するための専用のメモリ52を有することができ、同様に専用のハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせを有することができる。本明細書中に説明される技術の種々の態様は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組み合わせで実行されることができる。ソフトウェアで実行される場合に、本技術は、コンピュータ読み取り可能な媒体の上の命令として具体化されることができ、その媒体は、例えば、ランダム・アクセス・メモリ(RAM:random access memory)、読み取り専用メモリ(ROM:read-only memory)、不揮発性ランダム・アクセス・メモリ(NVRAM:non-volatile RAM)、電気的消去書き込み可能読み出し専用メモリ(EEPROM:electrically erasable programmable ROM)、FLASHメモリ、又はその他である。命令は、1又はそれより多くのプロセッサに本明細書中に記載され機能のある種の態様を実行させるようにする。
図3は、従来技術にしたがってエラーの検出でビデオ・データ・フレーム中のMBを隠すことを説明する図である。図3は、この明細書中に記載される技術をよりよく説明するために比較の目的で与えられる。図3に示されたように、典型的な従来技術の隠すプロセスでは、伝送の間にMBが失われることに起因してエラーが検出される場合に、デコーダは、破壊されたスライスの全てのMB、又はフレーム全体を隠す。このアプローチは破壊されたMBの表示を防止するが、それは同様にエラーの位置の前のスライス又はフレームの始めにある多くのMBを含むことが可能な正しく受信されたデータを意図的に欠落させる。
図3中の図は、有用なデータを隠すことの一般的な非効率性を説明する。図3は、MB0からMB98まで広がっているビデオ・データ・フレーム内部の連続番号によってそれぞれのMBを同定する。連続したビデオ・データ・フレームは、ビデオ・オブジェクト面(VOP:video object plane)フィールドによって境界をつけられ、それはビデオ・データ・フィールドの終りを示す。図3の例では、エラーは、実際にMB41で発生するが、ビデオ・デコーダは、0から98までのMBが“可能性として”破壊されていると考え、そしてそれらの全てを隠す。これは、MB0からMB40までのデータを欠落させることに等しい。その結果、エラーに続くMBは、“LOST(失われる)”、一方でエラーの前に正しく受信されたMBは、“WASTED(無駄にされる)”。明らかに、MB0から40までは、エラーを含まず、そしてその代わりに有用なデータを搬送する。しかも、従来技術の隠す技術は、結果として全てのMB0から98まで、すなわち、ビデオ・データ・フレーム全体、を隠すことになる。
図4は、別の1つの従来技術にしたがって、エラーの検出で再同期マーカを使用してビデオ・データ・フレーム中のMBを隠すことを説明する図である。図4の例では、再同期マーカ(RM:resynchronization maker)は、エラー回復技術をサポートするためにデータ・フレーム中に埋め込まれる。RMの使用は、エラーの存在下での復号化プロセスの効率を改善するが、まだ結果として無駄にされるMBがある。図4の例では、RMが使用されるときに、ビデオ・デコーダは、MB0からMB20までのデータを回復できるだけであり、そしてまだMB21から40までの正しく受信されたMBを隠さなければならない、それは、結果として20個のMBが失われることになる。図4の例ではエラーがMB41において発生するが、この技術は、図4に図示されたように、エラーの直前の最後のRMとエラーの直後の最初のRMとの間のMBを隠すことを要求する。それゆえ、この方法での再同期マーカの使用は、効率において著しい改善を提供するが、まだ結果としてかなりの数の無駄にされるMBがある。
図3及び図4に示された技術とは対照的に、1又はそれより多くの境界マーカの使用は、本明細書中に説明されるように、エラーの前に位置する正しく復号化されたMBの回復をサポートするが、誤りを含んで復号化されたMBの表示を今まで通り適正に防止する。逆多重化レイヤ、例えば、H.223、は、例えば、特殊なコードワードとして、ビットストリーム中に1又はそれより多くの境界マーカを埋め込むことによってデコーダにビデオ−RLC境界情報を渡す。ビデオ・デコーダ28は、境界マーカとしてのコードワードをインタープリットする、それはチャネル16を介して受け取った物理データ・ユニットに関して、データが失われる可能性のある全ての位置の同定を可能にする。失われるデータのより正確な位置を用いて、ビデオ・デコーダ28は、エラーをビデオ・データ・フレームの小さなセグメントと関係付けるために、そして正しく受信されたMBのうちのより多くを回復させるためにそのような情報を使用することができる。
図5は、エンコーダ、例えば、図1のエンコーダ12、内部の従来技術の多重化及びパケット化技術を説明する図である。プロセスは、説明の目的でH.223多重化プロトコルを背景に説明される。図5の例では、ビデオ・データは、H.223パケットにパケット化され、そしてオーディオ・データとともに多重化される。アプリケーション・レイヤ(APP:application layer)にあるビデオ・ビットストリームは、先ず、1又はそれより多くのアプリケーション・レイヤ・サービス・データ・ユニット(AL−SDU:application layer service data unit)に分割される。1つのAL−SDUは、ビデオ・エンコーダ・インプリメンテーションに応じて、1つの全フレームを又は1フレームの1スライスだけを含むことができる。各AL−SDUは、次にH.223適応レイヤ(AL:adaptation layer)に渡され、そこでは、前にオプションの連続番号(SN:Sequence Number)を、そして終りに16−ビット巡回重複コード(CRC:cyclic redundancy code)を加えることによって、AL−PDUパケットが形成される。
各ビデオAL−PDUは、もし必要であれば、細分化されるためにH.223多重化レイヤ(ML:Multiplex Layer)に送られる、そしてフレーム化情報及びMUXヘッダを挿入することによってMUX−PDUへとオーディオ(AU:audio)AL−PDUとともに多重化される。ビデオAL−PDUの最後のMUX−PDUは、このビデオAL−PDUの終了を指示するために追加のフレーム化情報(ALT:additional framing information)を最後に付けられる。全てのMUX−PDUは、物理レイヤ・データ・ユニットによって搬送される。無線アプリケーションでは、物理レイヤ・データ・ユニットは、無線通信リンク・パケットであり、例えば、図5に示されたようなW−CDMA RLC PDUである。
図1のデコーダ・システム14のような、デコーダにおいて、H.223デマルチプレクサは、RLC−PDUを受け取り、そしてMUXフレーム化情報を検索することによって各MUX−PDUの位置を決める。デマルチプレクサは、MUXヘッダ中のMUXテーブルにしたがってMUX−PDUペイロードからビデオ・データ及びオーディオ・データを抽出する。一旦、終了フレーム化情報が見つけられると、デマルチプレクサは、異なるMUX−PDUから抽出されたが同じビデオAL−PDUに属しているビデオ・データの全てを逆細分化する、そしてCRCを使用して完全性検査のためにALに逆細分化されたビデオ・データを渡す。CRCが上手くいった場合に、ビデオ・デコーダは、AL−SDU全体を受け取る。CRCが失敗した場合には、破壊されたAL−SDUは、インプリメンテーションに応じて、ビデオ・デコーダに渡されることがある、又は破棄されることがある。
図6Aから図6Dは、エラーの検出でビデオ・データ・フレーム中のマクロブロックを隠すための異なる技術を説明する。特に図6Aから図6Dは、異なる隠す技術に関連してビデオ・データ・フレームを示す。図6Aと図6Cは、境界マーカを採用しない従来技術を図示する。図6Bと図6Dは、本明細書中で説明されたように、境界マーカの使用を図示する。
図6Aは、何もエラー回復技術を使用しない従来技術の使用を図示する。図6Aの技術にしたがって、エラーがMB41のところで検出されたときに、マクロブロックMB[0,98]を含んでいる全体のビデオ・データ・フレームが隠される。図6Bは、本明細書にしたがって、エラーをビデオ・データ・フレームの小さなセグメントと関係付ける境界マーカ54の使用を図示する。
図6Bにおいて、ビデオ・データ・フレームは、境界マーカ54を含み、それはW−CDMA RLC PDUのような、隣接する物理レイヤ・データ・ユニットの複数のビデオ部分間の境界を示す。特に、境界マーカ54は、本明細書中で“ビデオRLC”ユニットと呼ばれるセグメントを規定する。1つのビデオRLCユニットは、例えば、境界マーカ54A,54Bによって示される。1つのビデオRLCユニットは、一般に1つのRLC PDUに対応し、それは失われることがその中で生じることが可能な最小単位である。チャネル・エラーの場合には、RLC PDUは、有用な情報を隠すことを防止するための指針として使用されることができる。
境界マーカ54の使用は、1つのビデオRLCユニットに関係付けられるエラーを認める。エラーがビデオ・デコーダ・エンジン50により検出される場合には、エラーがその中で生じたビデオRLCユニットの前に位置している正しく受信されたMBは、保護されることができる。特に、本技術は、境界マーカ54Aの前に位置する正しく受信されたMBの回復を可能にする。
図6Bの技術を使用する正しく受信されたMBの保護は、図6Aの技術と比較して、結果として効率の向上及び性能の改善になることが可能である。図6Bの例では、エラーがMB41のところで検出される場合に、MB[41,98]からビデオ・データ・フレームの終りまでが、隠される。しかしながら、MB41の前に存在するMB[0,40]は、隠される必要がない。境界マーカ54Aは、エラーがその中で検出されたビデオRLCユニットの開始を示すように機能する。これゆえ、ビデオ・デコーダ・エンジン50は、どのMBを隠すかを決定する際に、境界マーカ54Aをあてにする。
図6Cは、再同期マーカ(RM)を採用するエラー回復技術の使用を図示する。図6Cでは、エラーがMB41のところで検出される時に、前のRMと次のRMとの間のMB[21,72]だけが隠される、それによってMB[0,20]とMB[73,98]とを保護する。図6Dは、エラー回復のためにRM56と組み合わせて境界マーカ54の使用を説明する。図6Dの例では、エラーがMB41のところで発生した時に、MB[41,72]は、ビデオRLCユニットの始めから次に存在するRM56Bまで隠される。
図6Dの境界マーカ技術は、図6Cに示された基本エラー回復技術を上回る改善を提供する。具体的に、MBは、前のRM56Aとエラーがその中で検出されたビデオRLCユニットの開始を表している境界マーカ54Aとの間で保護され、RMの従来の使用を上回る利点を提供する。しかしながら、同時に、MBは、次のRM56Bとそのフレームの終りとの間で保護される。これゆえ、図6Dの技術にしたがった境界マーカ54とRM56との組み合わせの使用は、図6Cの技術と比較して結果としてさらに効果的である。
種々の異なる技術が、境界マーカ54を与えるために使用されることができる。一例として、逆多重化エンジン36は、メモリ52中に各RLC境界のメモリ・アドレスを格納できる。しかしながら、メモリ内容がビデオ・デコーダ28によって使用される復号化バッファにコピーされる時に、格納された情報は、失われることがある。その上、記録されたメモリ・アドレスを復号化バッファ中のアドレスに変換することは、困難であることがある。したがって、代案として、別の1つのアプローチは、本明細書中に説明されるように、ビデオ・データ・フレーム中に境界マーカを埋め込むことである。特に、このアプローチにしたがって、デマルチプレクサ26は、物理レイヤ・データ・ユニットからの境界を検出し、そして境界マーカを埋め込む、それは、その後、ビデオ・デコーダ・エンジンによる使用のためにアプリケーション・レイヤまで多重化レイヤ及び適応レイヤを通り過ぎる。
図7は、本明細書にしたがって、ビデオ・データ・フレーム中に境界マーカを埋め込むことを含んでいる逆多重化及び逆パケット化技術を説明する図である。図8は、RLC PDUのような物理データ・ユニットが失われた時の、図7の技術を説明する図である。図7及び図8に示された機能は、図2を参照して説明されたようにビデオ・デコーダ・システム14によって実行されることができる。図7に示されたように、逆多重化エンジン26は、物理レイヤにおいてRLC PDUを受け取り、そして多重化レイヤ(ML)においてそれらをMUX PDUに変換する。図2のデコーダ・インプリメンテーションにおいて、例えば、ビデオRLC境界検出器38は、複数のRLC PDU間の境界を検出し、そして境界コード発生器40は、MUX PDU内に境界マーカ54を埋め込む。
逆多重化エンジン36は、適応レイヤ(AL)PDUを発生し、それはその後、AL SDUに変換される。このようにして、アプリケーション・レイヤ(APP)においてビデオ復号化がその後に続いているビットストリーム事前処理のために、ビデオ・データは、ビデオ・データ・フレームへと順番に並べられる。多重化レイヤ及び適応レイヤにおいて、RLC境界を示す境界マーカ54は、ビデオ・デコーダ・エンジン50によって後で参照されるためにそのまま残される。事実上、多重化レイヤは、物理レイヤから引き出された各RLC PDUを追跡し続け、そしてRLC−PDUがつなげられた時に、特殊なコードワード、すなわち、境界マーカを挿入する。RLC−PDUが失われた場合に、図8に示されたように、ビデオ・デコーダは、破壊されたスライス又はフレームのデータを欠落させる代わりに、最も近い境界があるMBに追跡して戻ることによって正しく受信したデータを回復させることがまだ可能である。このようにして、ビデオ・デコーダ・エンジン50は、ビデオ・データ・フレーム内部のより小さなセグメントと検出したエラーとを関係付けるために境界マーカ54を使用することができ、元々の物理レイヤ・データ・ユニットと一致させる、そしてそれによってビデオ・データ・フレーム内のMBを過剰に隠すこと及び不必要に隠すことを回避する。RLC−PDUの全体が破壊された又は失われた時に、ビデオ・デコーダ・エンジン50は、エラーを検出できる。
RLC−PDUがMUXレイヤによって取り出された時に、境界マーカは、特殊なコードワードとして埋め込まれることができる。再び、この境界情報は、ビデオ・デコーダ28(図2)による使用のために境界マーカとしてアプリケーション・レイヤまで通り過ぎることができる。図2を参照して、境界コード検出器48は、ビットストリーム事前スクリーニング処理を実行して、特殊なコードワードとして働くこれらの境界マーカを探し出す。境界コード検出器48は、メモリ52中に境界マーカの位置を記録し、そしてデコーダ・エンジン50によって復号化される前にビットストリームから境界マーカを削除する。復号化の間に、一旦、RLC境界を横切ると、デコーダ・エンジン50は、メモリ52中に格納された位置を参照することによって、どのMBが復号化されているかを記録できる。一旦、エラー検出モジュール46によってエラーが検出されると、デコーダ・エンジン50は、それが記録されているMBからフレームの終りまで広がっているMB、又は次の再同期マーカ(RM)コードワードまで広がっているMBを隠す、そのような場合に、エラー回復技術は、同様に、RLC境界マーカとの組み合わせで採用されることができる。境界マーカとして使用される固有の特殊なコードワードの特性は、別の実施に当てられることがある。しかしながら、コードワードは、例えば、MPEG−4及びH.263ビットストリームのようないずれかのビデオ圧縮規格によって作られるビットストリームに使用される既存のビット・パターンから容易に区別されるはずである。ある複数のケースでは、特殊なコードワードは、MPEG−4規格及びH.263規格中に定義された保存されている開始コードを使用して与えられることができる。
図9は、ビデオ・データ・フレーム内部の失われた物理データ・ユニットを同定するために境界マーカを使用する、本明細書中にしたがった、代わりの逆多重化及び逆パケット化技術を説明する図である。図9の例では、デマルチプレクサ26は、物理レイヤにおいて失われたRLC−PDU57を示すためにRLC境界マーカ55を埋め込む。このケースでは、物理レイヤは、どのRLC−PDUが失われたかを多重化レイヤに指示するように構成される。これゆえ、デマルチプレクサ26は、RLC−PDUが失われている時に事前警告をビデオ・デコーダ28に与える。このアプローチは、全てのRLC−PDUに対して境界マーカを与えることとは対照的であり、そして復号化の間にエラー又は失われたRLC−PDUをビデオ・デコーダ・エンジン50に分解させる。物理レイヤがそのような情報を与えるために失われたRLC−PDUを同定するように構成されている場合に、デマルチプレクサ26は、失われたRLC−PDUがその中に存在するMUX−PDU内部に特殊なコードワードとしてマーカを埋め込む。ビデオ・デコーダ・エンジン50は、その後、メモリ52内部のこの特殊なコードワードを捜し出して、失われたビデオ−RLC境界の位置を決める、そしてその点からフレームの終りまでのマクロブロック、又はエラー回復技術が採用されているのであれば次のRMまでのマクロブロックを隠す。このようにして、失われたRLC−PDUの点までの正しく受け取られたMBは、隠されそして無駄にされるよりはむしろ、回復されそして保護されることができる。
図10(a)から(d)は、図10(d)の再同期マーカ(RM)、ヘッダ拡張コード(HEC:header extension code)及び境界マーカを使用する技術を含む各種の逆多重化及び逆パケット化技術を説明する図である。図10(d)だけが実際にビデオRLC境界マーカの使用を図示するが、説明を容易にするために、図10(a)から(d)の各図は、ビデオRLCユニットを規定する境界マーカの位置を指示するための縦線を含む。図10(a)の例では、エラー回復ツールは、何も使用されない。その結果、エラーが第1のビデオ・データ・フレームの終りと第2のビデオ・データ・フレームの始めのところで検出される時に、第2のフレーム全体のMB[0,98]が失われ、一方で、実質的に第1のビデオ・データ・フレーム全体のMB[0,98]は、エラーの点まで隠されなければならない。その結果、図10(a)に図示されたシナリオは、ビデオ復号化性能にはなはだしく悪い影響を与えるという結果になり得る。
図10(b)の例では、従来技術のエラー回復技術にしたがって、RMが、ビデオ・データ・フレーム中に埋め込まれる。図10(b)に示されたように、エラーが、図10(a)のように、第1のビデオ・データ・フレームの終りと第2のビデオ・データ・フレームの始めのところで検出される時に、RMは、第1のビデオ・データ・フレーム中の隠されるMBの数の著しい低減を可能にする。第2のビデオ・データ・フレーム全体のMB[0,98]が失われ、そしてエラーから第1のビデオ・データ・フレームの終りまでに及んでいるMBが隠されるのではあるが、エラーの直前のRM[55,98]の点までの第1のビデオ・データ・フレーム中のMBは、隠されるというよりはむしろ回復される。それゆえに、エラー回復技術の使用は、実質的な性能改善を提供することが可能である。
図10(c)の例では、RM及びHECビットが、ビデオ・データ・フレーム中に埋め込まれる。このシナリオでは、MBは、エラーの直前のRMの点まで回復されることができる。MB[55,98]は、エラーの直前のRMと第1のビデオ・データ・フレームの終りとの間で隠される。これらの点で、図10(c)のシナリオは、一般に図10(b)のシナリオと一致する。しかしながら、HECビットの存在は、第2のビデオ・データ・フレーム全体が失われることを防止する。むしろ、図10(c)に示されたように、MBは、第2のビデオ・データ・フレームの始まりにあるMB[0,45]、一方で第2のビデオ・データ・フレーム中の第1のHECフィールドに続くMBは、回復される。特に、第2のビデオ・データ・フレーム中のHECフィールドの始まりでは、新たなフレームが作り出される。新たなフレーム中のMB[0,44]は、隠される必要があるが、MB[45,98]は、復号化されることができる。
図10(d)の例では、デコーダ・システム14は、本明細書にしたがってビデオRLC境界マーカと組み合わせて、RM及びHECフィールドのような、高度なエラー回復ツールを採用して、データが失われることの影響、そして欠落されるMBの数及び隠されるMBの数をさらに減少させる。図10(d)は、一般に図10(c)に一致する。しかしながら、境界マーカの存在は、エラー検出の点の前のさらなるMBが回復されることを可能にする。特に、図10(d)に示されたように、MBは、エラーがその中で発生したセグメントの開始のところの境界マーカの点まで回復される、その結果、MB[70,98]だけが、第1のビデオ・データ・フィールド中で隠される必要がある。
図10(d)のビデオ・データ・フレーム中の境界マーカの存在は、ビデオ・データ・フィールドの小さなセグメントに関係付けられるエラーを認める。エラー・セグメントは、複数のRM間の範囲よりも著しく小さく、そして1物理レイヤ・データ・ユニットに実際に対応する、それは伝送の間に失われることがその中で生じる最小の単位である。図10(d)から明らかなように、境界マーカの追加は、RM及びHECフィールド単独の使用と比較した時に、結果としてMBの回復の際に著しく救済することになる。
図11は、本明細書にしたがったビデオ復号化技術を説明するフロー図である。図10に示されたように、本技術は、ビデオ情報及びオーディオ情報を含んでいる物理レイヤ・データ・ユニットを受け取ること(58)、そして隣接する物理レイヤ・データ・ユニット間の境界を検出すること(60)を含む。一例の無線アプリケーションでは、物理レイヤ・データ・ユニットは、W−CDMA RLC−PDUであり得る。多重化レイヤ・データ・ユニットの発生(62)で、本技術は、物理データ・ユニット境界を同定するために多重化レイヤ・データ・ユニット中に1又はそれより多くの境界マーカを埋め込むことをさらに含む(64)。
ビデオ・データ・フレームを発生させると(66)、ビデオ・デコーダは、ビデオ・データ・フレームを復号化し(68)そして埋め込まれた境界マーカを使用してビデオ・データ・フレームの小さなセグメントとエラーを関係付ける(70)。このようにして、その中でエラーが検出されたセグメントより前に位置する、すなわち、エラー・セグメントの開始を示している境界マーカより前のMBは、隠されることよりはむしろ回復されることができる(72)。その上、再同期マーカ(RM)が使用される場合に、エラー・セグメントの終りの後に存在する次のRMに続くMBは、適用可能なフレームの終りまで回復されることができる。エラー・セグメントに続く次のRMは、エラーがその中で検出されたセグメントの終りを示している境界マーカを参照することによって同定されることができる。
種々の実施形態が、記載されてきている。これらの実施形態及びその他の実施形態は、特許請求の範囲の範囲内である。
図1は、ビデオ符号化及び復号化システムを説明するブロック図である。 図2は、物理レイヤ・データ・ユニットに対応するビデオ・データ・フレームのセグメントを同定するために境界マーカを使用させるビデオ・デコーダ・システムを説明するブロック図である。 図3は、エラーの検出でビデオ・データ・フレーム中のマクロブロックを隠すための従来技術を説明する図である。 図4は、エラーの検出で再同期マーカを使用してビデオ・データ・フレーム中のマクロブロックを隠すための従来技術を説明する図である。 図5は、具体例の従来技術の多重化及びパケット化技術を説明する図である。 図6Aは、エラーの検出でビデオ・データ・フレーム中のマクロブロックを隠すための別の技術を説明する。 図6Bは、エラーの検出でビデオ・データ・フレーム中のマクロブロックを隠すための別の技術を説明する。 図6Cは、エラーの検出でビデオ・データ・フレーム中のマクロブロックを隠すための別の技術を説明する。 図6Dは、エラーの検出でビデオ・データ・フレーム中のマクロブロックを隠すための別の技術を説明する。 図7は、ビデオ・データ・フレーム中に埋め込まれた物理データ・ユニット境界マーカを使用させる逆多重化及び逆パケット化技術を説明する図である。 図8は、物理データ・ユニットが失われたときに図7の技術を説明する図である。 図9は、ビデオ・データ・フレーム内部の失われた物理データ・ユニットを同定するために境界マーカを使用する代わりの逆多重化及び逆パケット化技術を説明する図である。 図10(a)から(d)は、再同期マーカ(RM)、ヘッダ拡張コード(HEC)及び境界マーカを使用する技術を含んでいる各種の逆多重化及び逆パケット化技術を説明する図である。 図11は、本明細書にしたがってビデオ復号化技術を説明するフロー図である。
符号の説明
10…ビデオ符号化及び復号化システム,12…エンコーダ・システム,14…デコーダ・システム,54…境界マーカ,56…再同期マーカ,55…RLC境界マーカ。

Claims (66)

  1. ビデオ復号化方法、該方法は下記を具備する:
    物理レイヤ・データ・ユニットに基づいてビデオ・データを含んでいる多重化レイヤ・データ・ユニットを発生すること;
    複数の該物理レイヤ・データ・ユニット間の境界を示すために該多重化レイヤ・データ・ユニット中に境界マーカを埋め込むこと;
    ビデオ・データ・フレームを発生させるために複数の該多重化レイヤ・データ・ユニットを逆多重化すること;及び
    該境界マーカを使用して該ビデオ・データ・フレームのセグメントと検出された復号化エラーを関係付けること。
  2. 請求項1の方法、ここにおいて、該境界マーカは、失われた物理レイヤ・データ・ユニットの始まりを同定する。
  3. 請求項1の方法、ここにおいて、境界マーカを埋め込むことは、複数の該物理レイヤ・データ・ユニット間の複数の境界を同定するために複数の該境界マーカを埋め込むことを含む。
  4. 請求項1の方法、ここにおいて、該ビデオ・データ・フレームは、ビデオ・データのマクロブロックを含む、ここにおいて、該方法は、該ビデオ・データ・フレームの該セグメント内部の複数のマクロブロックを隠すことをさらに備える。
  5. 請求項1の方法、ここにおいて、該ビデオ・データ・フレームは、再同期マーカを含む、ここにおいて、該方法は、該ビデオ・データ・フレームの該セグメント内部に複数のマクロブロックを隠し、そして該ビデオ・データ・フレーム中の該検出された復号化エラーに続く該再同期マーカの次のものまでの複数のマクロブロックを隠すことをさらに備える。
  6. 請求項1の方法、該方法は、適応レイヤ・データ・ユニットを発生させるために該複数の多重化レイヤ・データ・ユニットを逆多重化すること、及び該適応レイヤ・データ・ユニットに基づいて該ビデオ・データを発生させることをさらに具備する。
  7. 請求項1の方法、該方法は、無線通信を介して該物理レイヤ・データ・ユニットを受け取ることをさらに具備する。
  8. 請求項1の方法、該方法は、ITU H.223多重化/逆多重化プロトコルにしたがって該多重化レイヤ・ユニットを逆多重化することをさらに具備する。
  9. 請求項1の方法、該方法は、RTP/UDP/IP多重化/逆多重化プロトコルにしたがって該多重化レイヤ・ユニットを逆多重化することをさらに具備する。
  10. 請求項1の方法、ここにおいて、該ビデオ・データ・フレームは、MPEG−4規格に適合するビデオ・データのマクロブロックを含む。
  11. 請求項1の方法、ここにおいて、該ビデオ・データ・フレームは、ITU H.263、ITU H.264及びMPEG−2プロトコルのうちの1つに適合するビデオ・データのマクロブロックを含む。
  12. 請求項1の方法、ここにおいて、該物理レイヤ・データ・ユニットは、W−CDMA無線通信リンク制御パケット・データ・ユニット(RLC PDU)を含む。
  13. 請求項12の方法、ここにおいて、該多重化レイヤ・データ・ユニットは、H.223多重化/逆多重化プロトコルに適合する。
  14. 請求項1の方法、ここにおいて、該物理レイヤ・データ・ユニットは、CDMA2000 1x無線通信リンク・プロトコル・パケット・データ・ユニット(RLP PDU)、CDMA2000 1x EV−DO RLP PDU、又はCDMA2000 EV−DV RLP PDUを含む。
  15. 請求項1の方法、ここにおいて、該多重化レイヤ・データ・ユニットは、RTP/UDP/IP多重化/逆多重化プロトコルに適合する。
  16. 請求項1の方法、ここにおいて、該物理レイヤ・データ・ユニットは、オーディオ・データ及びビデオ・データを含む、そして境界マーカを埋め込むことは、複数の該物理レイヤ・データ・ユニット中のビデオ情報間の境界を示すために該多重化レイヤ・データ・ユニット中に境界マーカを埋め込むことを含む。
  17. ビデオ復号化システム、該システムは下記を具備する:
    物理レイヤ・データ・ユニットに基づいてビデオ・データを含んでいる多重化レイヤ・データ・ユニットを発生させ、そして該多重化レイヤ・データ・ユニットを逆多重化する逆多重化エンジン;
    複数の該物理レイヤ・データ・ユニット間の境界を示すために該多重化レイヤ・データ・ユニット中に境界マーカを埋め込む境界発生器;及び
    該ビデオ・データを含んでいるビデオ・データ・フレームを復号化し、そして該境界マーカを使用して該ビデオ・データ・フレームのセグメントと検出された復号化エラーを関係付けるビデオ復号化エンジン。
  18. 請求項17のシステム、ここにおいて、該境界マーカは、失われた物理レイヤ・データ・ユニットの始まりを同定する。
  19. 請求項17のシステム、ここにおいて、該境界発生器は、複数の該物理レイヤ・データ・ユニット間の複数の境界を同定するために複数の該境界マーカを埋め込む。
  20. 請求項17のシステム、該システムは、該複数の物理レイヤ・データ・ユニット間の複数の該境界を検出するための境界検出器をさらに具備する。
  21. 請求項17のシステム、ここにおいて、該ビデオ・データ・フレームは、ビデオ・データのマクロブロックを含む、そして該復号化エンジンは、該ビデオ・データ・フレームの該セグメント内部にマクロブロックを隠す。
  22. 請求項17のシステム、ここにおいて、該ビデオ・データ・フレームは、再同期マーカを含む、そして該復号化エンジンは、該ビデオ・データ・フレームの該セグメント内部に複数のマクロブロックを隠し、そして該ビデオ・データ・フレーム中の該検出された復号化エラーに続く該再同期マーカの次のものまでの複数のマクロブロックを隠す。
  23. 請求項17のシステム、該システムは、該複数の逆多重化された多重化レイヤ・データ・ユニットに基づいて適応レイヤ・データ・ユニットを発生させ、そして該適応レイヤ・データ・ユニットに基づいて該ビデオ・データを発生させる適応レイヤ・モジュールをさらに具備する。
  24. 請求項17のシステム、該システムは、無線通信を介して該物理レイヤ・データ・ユニットを受け取る無線受信機をさらに具備する。
  25. 請求項17のシステム、ここにおいて、該逆多重化エンジンは、ITU H.223多重化/逆多重化プロトコルにしたがって該多重化レイヤ・ユニットを逆多重化する。
  26. 請求項17のシステム、ここにおいて、該逆多重化エンジンは、RTP/UDP/IP多重化/逆多重化プロトコルにしたがって該多重化レイヤ・ユニットを逆多重化する。
  27. 請求項17のシステム、ここにおいて、該ビデオ・データ・フレームは、MPEG−4規格に適合するビデオ・データのマクロブロックを含む。
  28. 請求項17のシステム、ここにおいて、該ビデオ・データ・フレームは、ITU H.263、ITU H.264及びMPEG−2プロトコルのうちの1つに適合するビデオ・データのマクロブロックを含む。
  29. 請求項17のシステム、ここにおいて、該物理レイヤ・データ・ユニットは、W−CDMA無線通信リンク制御パケット・データ・ユニット(RLC PDU)を含む。
  30. 請求項29のシステム、ここにおいて、該多重化レイヤ・データ・ユニットは、H.223多重化/逆多重化プロトコルに適合する。
  31. 請求項17のシステム、ここにおいて、該物理レイヤ・データ・ユニットは、CDMA2000 1x無線通信リンク・プロトコル・パケット・データ・ユニット(RLP PDU)、CDMA2000 1x EV−DO RLP PDU、又はCDMA2000 EV−DV RLP PDUを含む。
  32. 請求項17のシステム、ここにおいて、該多重化レイヤ・データ・ユニットは、RTP/UDP/IP多重化/逆多重化プロトコルに適合する。
  33. 請求項17のシステム、ここにおいて、該物理レイヤ・データ・ユニットは、オーディオ・データ及びビデオ・データを含む、そして該境界発生器は、複数の該物理レイヤ・データ・ユニット中のビデオ情報間の境界を示すために該多重化レイヤ・データ・ユニット中に該境界マーカを埋め込む。
  34. ビデオ・デマルチプレクサ、該デマルチプレクサは下記を具備する:
    物理レイヤ・データ・ユニットに基づいてビデオ・データを含んでいる多重化レイヤ・データ・ユニットを発生させ、そして該多重化レイヤ・データ・ユニットを逆多重化する逆多重化エンジン;及び
    ビデオ・デコーダが境界マーカを使用してビデオ・データ・フレームのセグメントと検出された復号化エラーを関係付けることを可能にするために複数の該物理レイヤ・データ・ユニット間の境界を示すために該多重化レイヤ・データ・ユニット中に該境界マーカを埋め込む境界発生器。
  35. 請求項34のデマルチプレクサ、ここにおいて、該境界マーカは、失われた物理レイヤ・データ・ユニットの始まりを同定する。
  36. 請求項34のデマルチプレクサ、ここにおいて、該境界発生器は、複数の該物理レイヤ・データ・ユニット間の複数の境界を同定するために複数の該境界マーカを埋め込む。
  37. 請求項34のデマルチプレクサ、該デマルチプレクサは、複数の該物理レイヤ・データ・ユニット間の該境界を検出するための境界検出器をさらに具備する。
  38. 請求項34のデマルチプレクサ、ここにおいて、該ビデオ・データ・フレームは、ビデオ・データのマクロブロックを含む、そして該復号化エンジンは、該ビデオ・データ・フレームの該セグメント内部に複数のマクロブロックを隠す。
  39. 請求項34のデマルチプレクサ、ここにおいて、該逆多重化エンジンは、H.223多重化/逆多重化プロトコルにしたがって該多重化レイヤ・データ・ユニットを逆多重化する。
  40. 請求項34のデマルチプレクサ、ここにおいて、該逆多重化エンジンは、RTP/UDP/IP多重化/逆多重化プロトコルにしたがって該多重化レイヤ・データ・ユニットを逆多重化する。
  41. 請求項34のデマルチプレクサ、ここにおいて、該ビデオ・データ・フレームは、MPEG−4規格に適合するビデオ・データのマクロブロックを含む。
  42. 請求項34のデマルチプレクサ、ここにおいて、該ビデオ・データ・フレームは、ITU H.263、ITU H.264及びMPEG−2プロトコルのうちの1つに適合するビデオ・データのマクロブロックを含む。
  43. 請求項34のデマルチプレクサ、ここにおいて、該物理レイヤ・データ・ユニットは、W−CDMA無線通信リンク制御パケット・データ・ユニット(RLC PDU)を含む。
  44. 請求項43のデマルチプレクサ、ここにおいて、該多重化レイヤ・データ・ユニットは、H.223多重化/逆多重化プロトコルに適合する。
  45. 請求項34のデマルチプレクサ、ここにおいて、該物理レイヤ・データ・ユニットは、CDMA2000 1x無線通信リンク・プロトコル・パケット・データ・ユニット(RLP PDU)、CDMA2000 1x EV−DO RLP PDU、又はCDMA2000 EV−DV RLP PDUを含む。
  46. 請求項34のデマルチプレクサ、ここにおいて、該多重化レイヤ・データ・ユニットは、RTP/UDP/IP多重化/逆多重化プロトコルに適合する。
  47. 請求項34のデマルチプレクサ、ここにおいて、該物理レイヤ・データ・ユニットは、オーディオ・データ及びビデオ・データを含む、そして境界発生器は、複数の該物理レイヤ・データ・ユニット中のビデオ情報間の境界を示すために該多重化レイヤ・データ・ユニット中に該境界マーカを埋め込む。
  48. ワイアレス通信デバイス、該デバイスは下記を具備する:
    ワイアレス通信を介して物理レイヤ・データ・ユニットを受信するための無線受信機、ここにおいて、該物理レイヤ・データ・ユニットはビデオ・データを含む;
    該物理レイヤ・データ・ユニットに基づいて多重化レイヤ・データ・ユニットを発生させ、そして該多重化レイヤ・データ・ユニットを逆多重化する逆多重化エンジン;
    複数の該物理レイヤ・データ・ユニット間の境界を示すために該多重化レイヤ・データ・ユニット中に境界マーカを埋め込む境界発生器;及び
    該ビデオ・データを含んでいるビデオ・データ・フレームを復号化し、そして該境界マーカを使用して該ビデオ・データ・フレームのセグメントと検出された復号化エラーを関係付けるビデオ復号化エンジン。
  49. 請求項48のデバイス、ここにおいて、該境界マーカは、失われた物理レイヤ・データ・ユニットの始まりを同定する。
  50. 請求項48のデバイス、ここにおいて、該境界発生器は、複数の該物理レイヤ・データ・ユニット間の複数の境界を同定するために複数の該境界マーカを埋め込む。
  51. ビデオ復号化システム、該システムは下記を具備する:
    物理レイヤ・データ・ユニットに基づいてビデオ・データを含んでいる多重化レイヤ・データ・ユニットを発生させるための手段;
    複数の該物理レイヤ・データ・ユニット間の境界を示すために該多重化レイヤ・データ・ユニット中に境界マーカを埋め込むための手段;
    ビデオ・データ・フレームを発生させるために複数の該多重化レイヤ・データ・ユニットを逆多重化するための手段;及び
    該境界マーカを使用して該ビデオ・データ・フレームのセグメントと検出された復号化エラーを関係付けるための手段。
  52. 請求項51のシステム、ここにおいて、該境界マーカは、失われた物理レイヤ・データ・ユニットの始まりを同定する。
  53. 請求項51のシステム、ここにおいて、該埋め込む手段は、複数の該物理レイヤ・データ・ユニット間の複数の境界を同定するために複数の該境界マーカを埋め込むための手段を含む。
  54. 請求項51のシステム、ここにおいて、該ビデオ・データ・フレームは、ビデオ・データのマクロブロックを含む、ここにおいて、該システムは、該ビデオ・データ・フレームの該セグメント内部にマクロブロックを隠すための手段をさらに備える。
  55. 請求項51のシステム、ここにおいて、該ビデオ・データ・フレームは、再同期マーカを含む、ここにおいて、該システムは、該ビデオ・データ・フレームの該セグメント内部のマクロブロック及び該ビデオ・データ・フレーム中の検出された復号化エラーに続く該再同期マーカのうちの次のものまでのマクロブロックを隠すための手段をさらに備える。
  56. 請求項51のシステム、ここにおいて、該逆多重化手段は、ITU H.223又はRTP/UDP/IP多重化/逆多重化プロトコルにしたがって該多重化レイヤ・ユニットを逆多重化する。
  57. 請求項51のシステム、ここにおいて、該ビデオ・データ・フレームは、MPEG−4、ITU H.263、ITU H.264又はMPEG−2プロトコルに適合するビデオ・データのマクロブロックを含む。
  58. 請求項51のシステム、ここにおいて、該物理レイヤ・データ・ユニットは、W−CDMA無線通信リンク制御パケット・データ・ユニット(RLC PDU)、CDMA2000 1x無線通信リンク・プロトコル・パケット・データ・ユニット(RLP PDU)、CDMA2000 1x EV−DO RLP PDU、又はCDMA2000 EV−DV RLP PDUを含む。
  59. 1又はそれより多くのプロセッサに下記を実行させるための命令を具備するコンピュータ読み取り可能な媒体、該命令は下記を含む:
    物理レイヤ・データ・ユニットに基づいてビデオ・データを含んでいる多重化レイヤ・データ・ユニットを発生させること;
    複数の該物理レイヤ・データ・ユニット間の境界を示すために該多重化レイヤ・データ・ユニット中に境界マーカを埋め込むこと;
    ビデオ・データ・フレームを発生させるために複数の該多重化レイヤ・データ・ユニットを逆多重化すること;及び
    該境界マーカを使用して該ビデオ・データ・フレームのセグメントと検出された復号化エラーを関係付けること。
  60. 請求項59のコンピュータ読み取り可能な媒体、ここにおいて、該境界マーカは、失われた物理レイヤ・データ・ユニットの始まりを同定する。
  61. 請求項59のコンピュータ読み取り可能な媒体、該コンピュータ読み取り可能な媒体は、複数の該物理レイヤ・データ・ユニット間の複数の境界を同定するために複数の該境界マーカを埋め込むことを該プロセッサに実行させる命令をさらに具備する。
  62. 請求項59のコンピュータ読み取り可能な媒体、ここにおいて、該ビデオ・データ・フレームは、ビデオ・データのマクロブロックを含む、ここにおいて、該コンピュータ読み取り可能な媒体は、該ビデオ・データ・フレームの該セグメント内部のマクロブロックを隠すことを該プロセッサに実行させる命令をさらに備える。
  63. 請求項59のコンピュータ読み取り可能な媒体、ここにおいて、該ビデオ・データ・フレームは、再同期マーカを含む、ここにおいて、該コンピュータ読み取り可能な媒体は、該ビデオ・データ・フレームの該セグメント内部のマクロブロック及び該ビデオ・データ・フレーム中の該検出された復号化エラーに続く該再同期マーカのうちの次のものまでのマクロブロックを隠すことを該プロセッサに実行させる命令をさらに備える。
  64. 請求項59のコンピュータ読み取り可能な媒体、ここにおいて、該命令は、ITU H.223又はRTP/UDP/IP多重化/逆多重化プロトコルにしたがって該多重化レイヤ・ユニットを逆多重化することを該プロセッサに実行させる。
  65. 請求項59のコンピュータ読み取り可能な媒体、ここにおいて、該ビデオ・データ・フレームは、MPEG−4、ITU H.263、ITU H.264又はMPEG−2プロトコルに適合するビデオ・データのマクロブロックを含む。
  66. 請求項59のコンピュータ読み取り可能な媒体、ここにおいて、該物理レイヤ・データ・ユニットは、W−CDMA無線通信リンク制御パケット・データ・ユニット(RLC PDU)、CDMA2000 1x無線通信リンク・プロトコル・パケット・データ・ユニット(RLP PDU)、CDMA2000 1x EV−DO RLP PDU、又はCDMA2000 EV−DV RLP PDUを含む。
JP2007533661A 2004-09-22 2005-09-22 効果的なデータ回復を用いるビデオ・デマルチプレクサ及びビデオ・デコーダ Active JP4819815B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/947,981 2004-09-22
US10/947,981 US20060062312A1 (en) 2004-09-22 2004-09-22 Video demultiplexer and decoder with efficient data recovery
PCT/US2005/034197 WO2006036802A1 (en) 2004-09-22 2005-09-22 Video demultiplexer and decoder with efficient data recovery

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011061158A Division JP5280474B2 (ja) 2004-09-22 2011-03-18 効果的なデータ回復を用いるビデオ・デマルチプレクサ及びビデオ・デコーダ

Publications (2)

Publication Number Publication Date
JP2008514164A true JP2008514164A (ja) 2008-05-01
JP4819815B2 JP4819815B2 (ja) 2011-11-24

Family

ID=35519780

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2007533661A Active JP4819815B2 (ja) 2004-09-22 2005-09-22 効果的なデータ回復を用いるビデオ・デマルチプレクサ及びビデオ・デコーダ
JP2011061158A Active JP5280474B2 (ja) 2004-09-22 2011-03-18 効果的なデータ回復を用いるビデオ・デマルチプレクサ及びビデオ・デコーダ

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2011061158A Active JP5280474B2 (ja) 2004-09-22 2011-03-18 効果的なデータ回復を用いるビデオ・デマルチプレクサ及びビデオ・デコーダ

Country Status (7)

Country Link
US (1) US20060062312A1 (ja)
EP (1) EP1792492B1 (ja)
JP (2) JP4819815B2 (ja)
KR (1) KR100861900B1 (ja)
CN (1) CN101057501B (ja)
TW (1) TW200625837A (ja)
WO (1) WO2006036802A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1578131A1 (en) * 2004-03-18 2005-09-21 STMicroelectronics S.r.l. Encoding/decoding methods and systems, computer program products therefor
US7965736B2 (en) * 2005-08-24 2011-06-21 Qualcomm Incorporated Transmission of multiplex protocol data units in physical layer packets
KR100772868B1 (ko) * 2005-11-29 2007-11-02 삼성전자주식회사 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치
US7809018B2 (en) * 2005-12-16 2010-10-05 Coding Technologies Ab Apparatus for generating and interpreting a data stream with segments having specified entry points
CN101331733B (zh) * 2005-12-16 2011-12-07 杜比瑞典公司 用于使用后续数据帧中的数据来产生和解释具有一系列段的数据流的设备和方法
KR101211807B1 (ko) 2006-01-05 2012-12-12 엘지전자 주식회사 이동통신 시스템에서 무선단말의 동기상태 관리방법
KR20070080552A (ko) 2006-02-07 2007-08-10 엘지전자 주식회사 이동 통신 시스템에서의 응답 정보 전송 방법
CN105515736A (zh) * 2006-01-05 2016-04-20 Lg电子株式会社 在移动通信系统中发送数据
US20070223593A1 (en) * 2006-03-22 2007-09-27 Creative Labs, Inc. Determination of data groups suitable for parallel processing
EP2618517B1 (en) 2006-06-21 2023-08-02 LG Electronics Inc. Method of supporting data retransmission in a mobile communication system
EP2070336B1 (en) * 2006-08-29 2013-10-16 Thomson Licensing Method and apparatus for repairing samples included in container files having lost packets
US8379733B2 (en) * 2006-09-26 2013-02-19 Qualcomm Incorporated Efficient video packetization methods for packet-switched video telephony applications
US8605779B2 (en) 2007-06-20 2013-12-10 Microsoft Corporation Mechanisms to conceal real time video artifacts caused by frame loss
EP2071852A1 (en) * 2007-12-11 2009-06-17 Alcatel Lucent Process for delivering a video stream over a wireless bidirectional channel between a video encoder and a video decoder
ATE526787T1 (de) * 2007-12-11 2011-10-15 Alcatel Lucent Verfahren zum zustellen eines videostroms über einen drahtlosen kanal
US9357233B2 (en) * 2008-02-26 2016-05-31 Qualcomm Incorporated Video decoder error handling
EP2329654B1 (en) * 2008-09-26 2014-08-06 Telegent Systems, Inc. Devices of digital video reception and output having error detection and concealment circuitry and techniques
US20100195742A1 (en) * 2009-02-02 2010-08-05 Mediatek Inc. Error concealment method and apparatus
TWI520615B (zh) * 2009-03-16 2016-02-01 晨星半導體股份有限公司 解碼裝置及其解碼方法
CN101841699B (zh) * 2009-03-18 2012-06-27 晨星软件研发(深圳)有限公司 译码装置及其译码方法
CN102142921B (zh) * 2010-01-29 2015-03-25 联芯科技有限公司 数据传输的码流结构及方法
WO2012108919A2 (en) * 2011-02-11 2012-08-16 Intel Corporation Media stream over pass through mechanism
KR101862329B1 (ko) 2012-01-20 2018-05-29 지이 비디오 컴프레션, 엘엘씨 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
US9712837B2 (en) * 2014-03-17 2017-07-18 Qualcomm Incorporated Level definitions for multi-layer video codecs
CN105141961B (zh) * 2015-08-03 2017-12-22 中国人民解放军信息工程大学 一种基于视频隐写的空间数据双协议传输方法
US10938965B2 (en) * 2018-06-18 2021-03-02 Mellanox Technologies, Ltd. Message segmentation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0670306A (ja) * 1992-03-02 1994-03-11 Rca Thomson Licensing Corp 適応形誤り修正装置
JP2000078197A (ja) * 1998-09-03 2000-03-14 Toshiba Corp 通信ノード及びパケット転送方法
JP2000307672A (ja) * 1999-04-26 2000-11-02 Oki Electric Ind Co Ltd 符号化情報受信復号装置
JP2003023413A (ja) * 2001-07-10 2003-01-24 Hitachi Ltd システムデコーダ装置及びパケットデータの修正方法
JP2004056169A (ja) * 2002-07-16 2004-02-19 Matsushita Electric Ind Co Ltd 画像データ受信装置、画像データ送信装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100396971B1 (ko) * 1994-11-29 2003-11-03 산요덴키가부시키가이샤 인코드된비디오데이터의에러검출및처리기능을구비한비디오디코더
US6304607B1 (en) * 1997-03-18 2001-10-16 Texas Instruments Incorporated Error resilient video coding using reversible variable length codes (RVLCS)
US6529528B1 (en) * 1997-06-27 2003-03-04 Samsung Electronics Co., Ltd. Multimedia multiplexing method
US6768775B1 (en) * 1997-12-01 2004-07-27 Samsung Electronics Co., Ltd. Video CODEC method in error resilient mode and apparatus therefor
US6590882B1 (en) * 1998-09-15 2003-07-08 Nortel Networks Limited Multiplexing/demultiplexing schemes between wireless physical layer and link layer
US6754277B1 (en) * 1998-10-06 2004-06-22 Texas Instruments Incorporated Error protection for compressed video
EP1005233A1 (en) * 1998-10-12 2000-05-31 STMicroelectronics S.r.l. Constant bit-rate coding control in a video coder by way of pre-analysis of the slices of the pictures
US7124429B2 (en) * 1999-03-05 2006-10-17 Kabushiki Kaisha Toshiba Video coding apparatus and video decoding apparatus
BR0009262A (pt) * 1999-03-05 2002-02-05 Toshiba Kk Toshiba Corp Aparelho de codificação de vìdeo e aparelho de decodificação de vìdeo
US6999673B1 (en) * 1999-09-30 2006-02-14 Matsushita Electric Industrial Co., Ltd. Moving picture decoding method, moving picture decoding apparatus and program recording medium
US6490320B1 (en) * 2000-02-02 2002-12-03 Mitsubishi Electric Research Laboratories Inc. Adaptable bitstream video delivery system
US6928057B2 (en) * 2000-02-08 2005-08-09 Agere Systems Inc. Translation system and related method for use with a communication device
JP2002016442A (ja) * 2000-06-30 2002-01-18 Toshiba Corp Fm信号発振回路及び変調レベル補正方法
US6970506B2 (en) * 2001-03-05 2005-11-29 Intervideo, Inc. Systems and methods for reducing frame rates in a video data stream
KR100429020B1 (ko) * 2002-02-05 2004-04-29 (주)씨앤에스 테크놀로지 Mpeg-4 영상의 복호 방법
KR100765123B1 (ko) * 2002-02-16 2007-10-11 엘지전자 주식회사 Srns 재할당 방법
US7428684B2 (en) * 2002-04-29 2008-09-23 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Device and method for concealing an error
US7194000B2 (en) * 2002-06-21 2007-03-20 Telefonaktiebolaget L.M. Ericsson Methods and systems for provision of streaming data services in an internet protocol network
JP3972770B2 (ja) * 2002-08-28 2007-09-05 日本電気株式会社 Tf判定装置及びそれに用いるtf判定方法並びにそのプログラム
US7027515B2 (en) * 2002-10-15 2006-04-11 Red Rock Semiconductor Ltd. Sum-of-absolute-difference checking of macroblock borders for error detection in a corrupted MPEG-4 bitstream
KR100498347B1 (ko) * 2003-04-01 2005-07-01 엘지전자 주식회사 Amr 코덱을 지원하기 위한 데이터 처리방법
US8311127B2 (en) * 2004-03-04 2012-11-13 Nvidia Corporation Method and apparatus to check for wrongly decoded macroblocks in streaming multimedia applications
US7340667B2 (en) * 2004-05-10 2008-03-04 Via Telecom Co., Ltd. Method and/or apparatus implemented in hardware to discard bad logical transmission units (LTUs)
EP1751956B1 (en) * 2004-05-13 2011-05-04 Qualcomm, Incorporated Delivery of information over a communication channel
US7885337B2 (en) * 2004-08-23 2011-02-08 Qualcomm Incorporated Efficient video slicing
JP4523886B2 (ja) * 2005-07-08 2010-08-11 富士通株式会社 動画像復号装置、動画像復号方法および動画像復号プログラム
US8358704B2 (en) * 2006-04-04 2013-01-22 Qualcomm Incorporated Frame level multimedia decoding with frame information table
US8379733B2 (en) * 2006-09-26 2013-02-19 Qualcomm Incorporated Efficient video packetization methods for packet-switched video telephony applications
US8379734B2 (en) * 2007-03-23 2013-02-19 Qualcomm Incorporated Methods of performing error concealment for digital video
US9357233B2 (en) * 2008-02-26 2016-05-31 Qualcomm Incorporated Video decoder error handling

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0670306A (ja) * 1992-03-02 1994-03-11 Rca Thomson Licensing Corp 適応形誤り修正装置
JP2000078197A (ja) * 1998-09-03 2000-03-14 Toshiba Corp 通信ノード及びパケット転送方法
JP2000307672A (ja) * 1999-04-26 2000-11-02 Oki Electric Ind Co Ltd 符号化情報受信復号装置
JP2003023413A (ja) * 2001-07-10 2003-01-24 Hitachi Ltd システムデコーダ装置及びパケットデータの修正方法
JP2004056169A (ja) * 2002-07-16 2004-02-19 Matsushita Electric Ind Co Ltd 画像データ受信装置、画像データ送信装置

Also Published As

Publication number Publication date
TW200625837A (en) 2006-07-16
JP2011172245A (ja) 2011-09-01
KR20070064642A (ko) 2007-06-21
EP1792492A1 (en) 2007-06-06
JP4819815B2 (ja) 2011-11-24
CN101057501A (zh) 2007-10-17
WO2006036802A1 (en) 2006-04-06
US20060062312A1 (en) 2006-03-23
EP1792492B1 (en) 2013-12-04
KR100861900B1 (ko) 2008-10-09
JP5280474B2 (ja) 2013-09-04
CN101057501B (zh) 2011-08-31

Similar Documents

Publication Publication Date Title
JP4819815B2 (ja) 効果的なデータ回復を用いるビデオ・デマルチプレクサ及びビデオ・デコーダ
KR100677070B1 (ko) 무선 멀티미디어 통신에서의 비디오 비트스트림 데이터의 오류 제어방법 및 이를 위한 기록 매체
US20010005385A1 (en) Multimedia information communication apparatus and method
KR100926017B1 (ko) 대역외 디렉토리 정보를 이용한 에러 복원의 개선
US20090177952A1 (en) Transcoder and receiver
US7839925B2 (en) Apparatus for receiving packet stream
US20090003429A1 (en) Apparatus And Method For Processing A Bitstream
TWI471012B (zh) 用於存取單元串流之傳輸技術概念
TW595232B (en) Protection of streaming A/V data
US20090228763A1 (en) Method and apparatus for encoding and decoding data with error correction
JP2005518164A (ja) 不均一誤り保護を用いるデータストリームの符号化
US20110022399A1 (en) Auto Detection Method for Frame Header
EP1596518A1 (en) Media encoded data transmission method, apparatus and program
JP6883214B2 (ja) 受信装置および方法、送信装置および方法
US8767832B2 (en) Method and apparatus for processing a multimedia bitstream
Lee et al. Efficient video data recovery for 3G-324M telephony over WCDMA networks
WO2010102444A1 (en) Method and apparatus for processing a multimedia bitstream
CN101218798A (zh) 使用频带外的目录信息改进抗错性
JPH10285210A (ja) パケット化方法および逆パケット化装置
JP2006295567A (ja) パケットストリーム受信装置
JP2005347930A (ja) データストリーム再生装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100831

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110318

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110802

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110901

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4819815

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250