JP2008545297A - 統一された誤り隠蔽フレームワークのための方法及び装置 - Google Patents

統一された誤り隠蔽フレームワークのための方法及び装置 Download PDF

Info

Publication number
JP2008545297A
JP2008545297A JP2008511441A JP2008511441A JP2008545297A JP 2008545297 A JP2008545297 A JP 2008545297A JP 2008511441 A JP2008511441 A JP 2008511441A JP 2008511441 A JP2008511441 A JP 2008511441A JP 2008545297 A JP2008545297 A JP 2008545297A
Authority
JP
Japan
Prior art keywords
section
error
multimedia data
selecting
sections
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008511441A
Other languages
English (en)
Inventor
シ、ファン
オグズ、セイフラー・ハリト
セティ、サミート
ラビーンドラン、ビジャヤラクシュミ・アール．
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2008545297A publication Critical patent/JP2008545297A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/66—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【解決手段】誤って受信された第１のセクションを備えるマルチメディアデータを処理する方法及び装置が開示される。この方法は、第１のセクションに対応する誤り分布情報を取得することを備える。この方法は更に、誤り分布情報に基づいて、複数の誤り復元スキームのうちの１つをマルチメディアデータの第１のセクションに適用することを備える。
【選択図】 図６

Description

本発明は、例えば、ビデオデータ又はオーディオデータのようなマルチメディアデータを、誤り管理を用いて符号化及び復号する方法及び装置に関する。
（３５Ｕ．Ｓ．Ｃ．§１１９の下の優先権主張）
本特許出願は、２００５年３月１１日に出願され、「統一された誤り隠蔽フレームワークのための方法及び装置」（A METHOD AND APPARATUS FOR UNIFIED ERROR CONCEALMENT FRAMEWORK）と題された仮出願６０／６８０，２１３号、及び、２００５年３月１３日に出願され、「統一された誤り隠蔽フレームワークのための方法及び装置」（A METHOD AND APPARATUS FOR UNIFIED ERROR CONCEALMENT FRAMEWORK）と題された仮出願６０／６８１，１９５号の優先権を主張する。これらは共に、本願の譲受人に譲渡され、本明細書において参照によって明確に組み込まれる。
インターネット及び無線通信の広範囲な使用は、インターネットチャネル及びモバイル／無線通信チャネルを介してメディアをストリームするマルチメディアサービスに対する需要を増加した。インターネットプロトコル（ＩＰ）ネットワークでは、ビデオは、サーバによって提供されるかもしれないし、１又は複数の有線クライアントや無線クライアントによってストリームされるかもしれない。有線接続は、ダイアルアップ、統合サービスデジタル網（ＩＳＤＮ）、ケーブル、デジタル加入者線プロトコル（集合的にｘＤＳＬと称される）、ファイバ、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）等を含む。無線通信を利用する電子デバイスは、電話（例えばセル電話）、パーソナルデジタルアシスタント（ＰＤＡ）、ハンドヘルドコンピュータ及びポータブルコンピュータ、衛星電話、及びその他を含む。これらアプリケーションのうちの全てではないにしても、大部分では、帯域幅要求及び／又は制約は、ビデオ処理が、ビデオ圧縮アルゴリズムを組み込んだソース符号器を用い、ビデオデータを分析、定量化、処理、及び表示し、「最小の」ビット数を使うことによって、最大の情報を伝送することを必要とする。そのようなアルゴリズムの特性は著しく変わり、性能（例えば、客観的／主観的な品質、圧縮効率、及び、ビットレート）における大幅な変動をもたらす。圧縮アルゴリズムを用いるビデオ処理の特性は、コンテンツに基づいて著しく変わり、性能（例えば、客観的／主観的な品質、圧縮効率、及び、ビットレート）における大幅な変動をもたらす。
無線チャネルは、誤りが生じる傾向がある。送信されたデータの一部は、もしも喪失したり破損している場合、「誤った」ものとなる。画像圧縮は本質的に冗長を取り除くので、この圧縮データは致命的になる。送信中、このデータの誤りのあるあらゆる部分は、復号器において再構築されるビデオ品質に影響を与える。誤りのあるデータが、動作補償予測のための基準フレームの一部である場合、この影響は悪化され、時間的な誤り伝播を引き起こす。
誤って受信したビットストリームデータによる再構築ビデオ品質に対する影響を緩和するために、ビデオ復号器は、受信したビデオデータを処理して、ビデオ品質を改善する。これは、誤り隠蔽（error concealment）と称される。誤り隠蔽スキームは、ビデオ信号内に存在する空間的及び時間的な相関性を利用する。
現在、幾つかの誤り隠蔽スキームが利用可能である。特定の状況によって、１つの誤り隠蔽スキームは、他の誤り隠蔽スキームよりも良好な結果を与えるかもしれない。従って、複数の誤り隠蔽スキームから、特定の隠蔽タスクのために、より適切なものを動的に選択する統一された誤り隠蔽フレームワークを開発することが望ましい。
１つの局面では、誤って受信された第１のセクションを備えるマルチメディアデータを処理する方法が開示される。この方法は、第１のセクションに対応する誤り分布情報を取得することを備える。この方法は更に、誤り分布情報に基づいて、複数の誤り復元スキームのうちの１つを、マルチメディアデータの第１のセクションに適用することを備える。
別の局面では、誤って受信した第１のセクションを備えるマルチメディアデータを処理する装置は、第１のセクションに対応する誤り分布情報を取得する手段と、誤り分布情報に基づいて、複数の誤り復元スキームのうちの１つを、マルチメディアデータの第１のセクションに適用する手段とを備える。
更なる局面では、マルチメディアデータを処理する装置は、誤って受信した第１のセクションを有するマルチメディアデータを受信するように構成された受信機と、第１のセクションに対応する誤り分布情報に基づいて、複数の誤り復元スキームのうちの１つを、マルチメディアデータの第１のセクションに適用するように構成された誤り隠蔽部とを備える。この装置は更に、第１のセクションに対応する誤り分布情報を取得するように構成された取得モジュールを備える。あるいは、誤り隠蔽部は更に、第１のセクションに対応する誤り分布情報を取得するように構成される。
上記局面では、マルチメディアデータは、それぞれ複数のセクションを備える複数のフレームを備える。また、誤り分布情報は、正しく復号されたセクションと誤りのあるセクションとの位置を含む地図を生成することによって取得される。マルチメディアデータは、多数のレイヤプロトコルから生成された情報を備えうる。複数の誤り復元スキームのうちの１つは、第１のセクションのために、誤り分布情報に基づいて選択され、第１のセクションは、選択された誤り復元スキームに基づいて処理されうる。この選択は、少なくとも、第１のセクションを備える第１のアクセスユニットが一様に符号化されたかに基づき、少なくとも、チャネル切換が検出されたかに基づき、少なくとも、新たなオブジェクトが検出されたかに基づき、及び／又は、少なくとも、第１のセクションが、一様に符号化されたスライスを備えるか、あるいは非一様に符号化されたスライスを備えるかに基づきうる。
更に、プロセッサは、記載したような装置の機能及び／又は方法を実行するように実装されうることが注目されるべきである。同様に、計算機読取可能媒体が実現される。計算機読取可能媒体は、記載した装置の機能及び／又は方法を実行するように構成された命令を有する。
以下の説明では、開示した方法及び装置の完全な理解を提供するために、具体的な詳細が提供される。しかしながら、開示した方法及び装置は、これら具体的な詳細がなくても実現されうることが、当業者に理解されるであろう。例えば、電気的構成要素は、不必要に詳細にすることによって局面を不明瞭にしないように、ブロック図で示される。他のインスタンスでは、そのような構成要素、他の構造、及び技術は、ある局面を更に説明するために詳細に示されうる。
また、ある局面が、フローチャート、フロー図、構造図、又はブロック図として示される処理として記述されうることも注目される。フローチャートは、動作を連続処理として示すかもしれないが、動作の多くは並行又は同時に行われ、また、処理は繰り返される場合がある。更に、動作の順序は、再設定されうる。動作が完了すると処理は終了する。処理は、方法、機能、手順、サブルーチン、サブプログラム等に対応しうる。処理が機能に対応する場合、その終了は、コールファンクション又はメインファンクションに対する機能のリターンに対応する。
用語「記憶媒体」は、読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、及び／又は、情報を格納するためのその他の計算機読取可能媒体を含むデータ格納用の１又は複数のデバイスを表わす。用語「計算機読取可能媒体」又は「コンピュータ読取可能媒体」は、ポータブル記憶デバイス又は固定記憶デバイスに限定されず、光記憶デバイス、無線チャネル、及び、命令やデータを格納、包含、又は搬送することが可能なその他様々な媒体を含む。
受信したマルチメディアデータストリームを復号する方法のある実施形態を、以下に詳細に記載する。マルチメディアデータは、限定される訳ではないが、ビデオ、オーディオ、グラフィック、テキスト、及びピクチャを含む様々な形態からなりうる。データは、ＭＰＥＧ−ｘ規格における圧縮されたビデオ及びオーディオ、Ｈ．２６ｘ規格における圧縮されたビデオ、ＭＰＥＧ−２ ＡＡＣ，ＭＰＥＧ−４ ＡＡＣ，ＭＰＥＧ−２ オーディオレイヤＩＩＩ（ＭＰ３）、ＡＭＲ、及びＧ．７２３オーディオ又は音声圧縮規格における圧縮されたオーディオ、又はその他任意のタイプのデジタルデータでありうる。データストリームは、例えば電話、ケーブル、光ファイバ、又は無線ネットワークのような有線ネットワークを経由して受信されうる。無線の場合、ネットワークは、例えば、符号分割多元接続（ＣＤＭＡ又はＣＤＭＡ２０００）通信システムの一部を備えうる。あるいは、このシステムは、周波数分割多元接続（ＦＤＭＡ）システム、直交周波数分割多元接続（ＯＦＤＭＡ）システム、ＧＳＭ／ＧＰＲＳ(General Packet Radio Service)／ＥＤＧＥ(enhanced data GSM environment)又はサービス産業のためのＴＥＴＲＡ(Terrestrial Trunked Radio)モバイル電話技術のような時分割多元接続（ＴＤＭＡ）システム、広帯域符号分割多元接続（ＷＣＤＭＡ）、高データレート（１ｘＥＶ−ＤＯ又は１ｘＥＶ−ＤＯゴールドマルチキャスト）システム、又は、これら技術の組み合わせを適用する一般的な任意の無線通信システムでありうる。
一例において、マルチメディアデータストリームは、Ｈ．２６１、ＭＰＥＧ−１パート２、ＭＰＥＧ−２パート２（Ｈ．２６２）、ＭＰＥＧ−４パート２、Ｈ．２６３、及びＨ．２６４に類似した構造を使用して符合化される。マルチメディアデータストリームは、１又は複数のデータシーケンスを含みうる。シーケンスは、１又は複数のピクチャのグループ（ＧＯＰ）を含むシーケンスヘッダで始まり、エンドオブシーケンス（end-of-sequence）コードで終わる。ＧＯＰは、第１のフレームがイントラ符号化フレームである１又は複数のピクチャ又はフレームを備える。イントラ符号化フレーム（Ｉピクチャ又はＩフレーム）は、他の何れのフレームも参照しないフレームを称する。
フレームは、ビデオシーケンスの符号化ユニットの種類である。フレーム内のビデオデータは、輝度（Ｙ）成分及び２つのクロミナンス（ＣｂとＣｒ）成分を表わす３つの長方形のマトリクスを含む。例えばイントラ符号化フレーム、予測フレーム、及び双方向予測フレームのように、フレームがどのように符号化されるかに依存して、異なる種類のフレームが存在する。イントラフレームについては上述した。予測フレーム（Ｐピクチャ又はＰフレーム）は、現在のフレームと基準フレームとの間の差分を符合化することによって、基準フレームからの動作補償を用いて予測されるフレームである。Ｐフレームは、前方フレームと後方フレームとの両方ではなく、何れか一方を基準フレームとして用いる。双方向フレーム（Ｂピクチャ又はＢフレーム）は、前方フレーム又は後方フレーム又はこれら両フレームを基準フレームとして用いるフレームを称する。
Ｐフレーム及びＢフレームは共に、インター符合化又は予測符合化と呼ばれる符合化技術によって符合化される。インター符合化は、現在のフレーム内の領域と、基準フレーム内の最良一致予測領域との間の時間的冗長を利用することによって、フレーム内のデータを符合化する。現在の領域と、最良一致基準予測領域との間の差は、剰余誤差（residual error）（又は予測誤差）として知られている。基準フレームの最良一致予測領域の相対位置は、動作ベクトルとして符号化される。
フレームは、１又は複数のスライスとしてそれを分割することにより更に圧縮することができる。スライスは、１又は複数のマクロブロックのグループでありうる。スライスは、ラスタスキャン順に隣接しているかもしれないか、又は、フレームデータの任意の部分集合に相当しうる。スライスは、独立して符号化することができ、及び／又は、同じフレーム又は他のフレーム内の他のスライスから独立して復号することができる。従って、スライスは、独立して復号可能なマクロブロックのグループを称し、システムに依存して、ヘッダ情報を含む場合も含まない場合もある。マクロブロックは、採用された彩度サブサンプリングパターンに基づいて、例えば、輝度チャネルと、対応する彩度チャネルピクセルとの集合内の１６×１６ピクセル領域のような、関連するピクセルからなるグループである。各マクロブロックは更に、サブマクロブロック区分１６ｘ８，８ｘ１６，８ｘ８，４ｘ８，８ｘ４，４ｘ４に分割することができる。４ｘ４サブマクロブロックは、本明細書でブロックと称される。
図１は、受信したマルチメディアデータストリーム内のスライスの可能なタイプのリストを例示する。このリストはまた、各々が異なるタイプのスライスを表す予め割り当てられたスライスタイプ番号のリストを含む。このリストは一例であり、図１に示すものとは幾分異なるタイプを含みうることが注目されるべきである。また、スライスタイプは、番号以外の手段によっても識別されうる。
この例のために、３つのタイプのスライスが議論される。予測スライス（Ｐ−スライス）は、同じフレーム内の他のデータからの基準、又は、他のフレームに対する基準を持つスライスを称する。双方向スライス又は補間スライス（Ｂスライス）は、過去のみならず現在からのデータに対する基準も含むスライスを称する。イントラスライス（Ｉスライス）は、他のスライスを参照しないスライスである。
更に、本明細書で「アクセスユニット」と称されるプレゼンテーションユニットは、一様又は非一様に符号化されうる。データソースに依存して、アクセスユニットは、ピクチャ、フレーム、フィールド、スライス、スライスのグループ、又はその他の独立復号可能なユニットでありうる。アクセスユニット内のスライスが全て同じタイプである場合、アクセスユニットは一様に符号化される。アクセスユニット内のスライスが異なるタイプからなる可能性がある場合、アクセスユニットは、潜在的に非一様なアクセスユニットである。上述した３つのスライスタイプは、問題のスライスが、一様又は潜在的に非一様に符号化されたアクセスユニットに属するかを考慮した後に６つのカテゴリに更に分割される。
更に、スライスタイプが未知である場合、本明細書では、このスライスはタイプｘと称される。例えば、スライス全体が誤っているか、又は、スライスヘッダが誤っている場合、スライスタイプは、未知であると考えられる。タイプｘのスライスは、非一様のアクセスユニットにおけるスライスを表すためにほとんど使用される。なぜなら、アクセスユニットが一様に符号化される場合、タイプｘのスライスは、このスライスが属するアクセスユニットの符合化タイプに依存して、５，６，又は７のスライスタイプが割り当てられるだろう。これら異なるタイプのスライスは、誤り隠蔽方法の議論の全体にわたって使用される。
図２は、誤り隠蔽方法の一例を示すフローチャートである。この例では、複数の誤り隠蔽スキームから、特定の隠蔽タスクにより良く適したものを選択し、それを適用する方法が記述される。
この選択動作は、到来するマルチメディアビットストリームの誤り分布情報に基づきうる。この到来するマルチメディアビットストリームは、誤り分布情報を含みうる。例えば、この誤り分布情報は、前の処理において復号器によって処理され、ビットストリームへと異なる形式で潜在的に再挿入されることにより、誤り隠蔽動作に役立つ。ある実施形態では、復号器が実行するように構成されている多数のレイヤプロトコルから誤り分布情報が生成される。
あるいは、この到来するマルチメディアビットストリームは、誤り分布情報を備えていないかもしれない。そのような例では、本明細書に記載の誤り隠蔽方法は更に、マルチメディアビットストリームの誤り分布情報を取得することを備える。更に幾つかの例では、誤り隠蔽方法は更に、到来するマルチメディアビットストリームの要素に関する構文及び意味チェック、動的範囲チェックに基づく誤り検出条件を備える。
例えば、誤り分布情報を取得することは、処理中の現在のフレームのマクロブロックタイプ及びスライスタイプを追跡するマクロブロックタイプ及びスライスタイプマップを生成することを備える。別の例では、誤り分布情報を取得することは、処理中の現在のフレームのために正しく復号されたマクロブロックと、誤りのあるマクロブロックとの位置を含むマップを生成することを備える。誤りのあるマクロブロックが検出された場合、誤りのあるマクロブロックから、到来するマルチメディアビットストリーム内の次の再同期ポイントへのマクロブロックは、誤りのあるマクロブロックとしてマークされる。
図２の例に示す方法で使用される誤り隠蔽スキームは、空間的誤り隠蔽（ＳＥＣ）、時間的誤り隠蔽（ＴＥＣ）、又はフレームレートアップ変換（ＦＲＵＣ）として分類される。ＦＲＵＣは、動作補償補間技術であり、既に健全に復号された時間的な近隣基準フレームからの動作情報を用い、補間フレームを構築して、誤りのあるフレームを隠蔽する。ＦＲＵＣは、フレーム全体に誤りが場合（フレームヘッダが復元できないほど破損しているか、フレームペイロードビットストリームの全てが失われているかの何れかの場合）、又は、フレーム内の誤りのある領域が予め定めた閾値を越えている場合に適用される。これらの状況下では、有用な空間的相関はなく、空間的に相関付けられたデータが存在しないか、又は、相関付けられたデータがほとんど存在せず、空間的相関は、誤りのある領域のほとんどにわたって、誤り隠蔽目的のためには信頼できない。従って、時間的相関がより信頼性が高いかもしれない。ＦＲＵＣは、これらの場合のため選択される。なぜなら、フレーム−レベル時間相関を利用するからである。
空間的誤り隠蔽（ＳＥＣ）は、イントラスライス、予測スライス、及び補間スライスを隠蔽するために、同じフレーム内の健全な空間的近隣からの情報（例えば、輝度、色、及び方向性）を用いる。ＳＥＣは、誤りのあるスライス又はマクロブロックが、シーン変化（又はシュート境界）フレーム又は瞬間的復号リフレッシュ（ＩＤＲ）フレーム内にある場合に適用される。なぜなら、空間的相関は、最も信頼性が高く、これらの場合に最も適するからである。ＳＥＣはまた、新たなコンテンツを持つ新たなオブジェクト又はセグメントが、フレーム内で検出され、誤りのあるマクロブロック又はスライスが、たとえＰフレーム又はＢフレーム内であっても、新たなコンテンツを持つ新たなオブジェクト又はセグメントの中にあるか又はオーバラップする場合に適用される。ＳＥＣは、新たなオブジェクト又はコンテンツが存在しない場合も適用されるが、例えば回転動作、オブジェクトの変形、非剛体、ズームイン、及びズームアウトによって、並進運動補償予測は失敗する。誤りのあるマクロブロックの近隣が、別のインター符合化スライス（Ｐスライス又はＢスライス）又はインターフレーム（Ｐフレーム又はＢフレーム）内の全てのＩタイプマクロブロックである場合、復号器は、誤りのあるマクロブロック又はスライスが、新たなコンテンツを持つ新たなオブジェクト又はセグメントの内部にあるか、又はオーバラップする。
時間的誤り隠蔽（ＴＥＣ）は、同じフレーム内であって、既に復号された近隣基準フレーム内の健全な空間的近隣からの動作情報を用いて、誤りのあるマクロブロックを隠蔽する。ＴＥＣは、ＰフレームのためのＴＥＣ（ＴＥＣ＿Ｐ）と、ＢフレームのためのＴＥＣ（ＴＥＣ＿Ｂ）とに更に分割される。
インターフレーム（Ｐフレーム及びＢフレーム）内、又は、非シーン変化である場合は非ＩＤＲ Ｉフレーム内の誤りのあるマクロブロックについて、誤り隠蔽目的のために利用可能な時間的相関と空間的相関との両方が存在する。ＴＥＣ＿Ｐ、ＴＥＣ−Ｂ、又はＳＥＣは、近隣の時間的相関と空間的相関との支配因子に依存して、隠蔽ツールとして動的に選択される。例えば、非シーン変化Ｉフレームの場合、その時間的相関は、前のＰフレーム又はＢフレームの動作フィールドから導かれる。導かれた時間的相関が、Ｉフレーム内の利用可能な健全な近隣Ｉマクロブロックの空間相関よりも信頼性が高いと考えられる場合、又は、誤ったデータの範囲が、失われた領域のほとんどを横切る非常に弱い空間的相関に至る閾値よりも大きいのであれば、ＴＥＣ＿Ｐは、隠蔽ツールとしてＳＥＣ以上に選択される。例えば、前のＰ基準フレームが正しく復号され、Ｐフレームと現在のＩフレームとの間の動作フィールドがスムーズであれば、時間的相関は、空間的相関よりも信頼性が高いと考えられる。
従って、誤り隠蔽スキームの選択基準が、図２の例に示す方法で説明される。この方法は、ブロック２０４において始まり、復号器が、毎秒あたりのフレーム（ＦＰＳ）によって測定される現在のフレームレートが、シーン変化を伴うことなく変化するか、又は、誤りのある物理レイヤパケット（ＰＬＰ）レートが閾（ＴＨ）値を越えているかを判定する。そのような情報は、例えば、そこに埋め込まれた誤り分布情報から到来するマルチメディアビットストリームから利用することができる。現在のフレームレートは、コンテンツが低フレームレートで十分に再現されねばならない場合、フレームレート変化が帯域幅制御のために導入される場合、同伴するシーン変化なく変化する。ＦＲＵＣはそのような場合に適用される。従って、ＦＰＳが、シーンを伴うことなく変化する場合、又は、誤りのあるＰＬＰレートがＴＨを越える場合、ＦＲＵＣが選択され（２０６）、誤りのあるブロック又は誤りのあるスライスに適用される。たとえ現在のフレームレートが変化しなくても、例えばフレーム全体が失われること等によって、フレームギャップが検出されると、ＦＲＵＣが選択されうる（２０６）。
ＦＲＵＣが選択されない場合、復号器は、現在のスライスのタイプ、すなわち、誤りのあるマクロブロックが属するスライスが、タイプ７であるかをチェックする（２０８）。図１に示すように、スライスタイプ７は、一様アクセスユニット内のＩスライスを表す。これは、シーン変化フレーム内のスライスである。スライスが、一様アクセスユニット内のＩスライスである場合、ＳＥＣが選択され（２１０）、誤りのあるマクロブロック又は誤りのあるスライスに適用される。
ＳＥＣが選択されない場合、復号器は、現在のスライスのタイプがタイプ５であるかをチェックする（２１２）。図１に例示するように、スライスタイプ５は、一様アクセスユニット内のＰスライスを表わす。スライスが一様アクセスユニット内のＰスライスである場合、ＴＥＣ−Ｐが選択され（２１４）、誤りのあるマクロブロック又は誤りのあるスライスに適用される。
ＴＥＣ−Ｐが選択されない場合、復号器が、現在のスライスのタイプがタイプ６であるかをチェックする（２１６）。図１に例示するように、スライスタイプ番号６は、一様アクセスユニット内のＢスライスを表わす。スライスが、一様アクセスユニット内のＢスライスである場合、ＴＥＣ−Ｂが選択され（２１８）、誤りのあるマクロブロック又は誤りのあるスライスに適用される。
ＴＥＣ−Ｂが選択されない場合、復号器は、非一様に符合化されたビデオアクセスユニット内のスライスのために誤り隠蔽を行う。非一様に符合化されたビデオアクセスユニットのための誤り隠蔽の詳細を、図３に更に詳しく説明する。
このフローチャート中に示されたブロックの何れも、省略、順番変更、又は、１又は複数の他のブロックとの結合がなされうることが注目されるべきである。例えば、復号器は、現在のスライスを同時にチェックし、そのタイプを判定する。復号器はまた、現在のスライスが、例えばタイプ７の前、タイプ５であるかもチェックする。
図３は、図２のブロック２２０で使用される非一様符号化ビデオアクセスユニットのための誤り隠蔽方法の例を図示するフローチャートである。この方法は、ブロック２２０２で始まり、復号器が、誤りのあるマクロブロックが属する現在のスライスのタイプが、タイプ２（潜在的に非一様なアクセスユニット内のＩスライス）であるか、あるいはｘ（潜在的に非一様なアクセスユニット内の未知のタイプのスライス）であるかをチェックする。スライスが、潜在的に非一様なアクセスユニット内のＩスライス又は未知のタイプのスライスの何れでもない場合、方法はブロック２２２０に進む。ブロック２２２０については後述する。
そうでない場合、復号器は、現在のスライスのタイプがｘであるかをチェックする（２２０４）。スライスがタイプｘである場合、復号器は、現在のスライスのスライスタイプを判定する（２２０６）。このスライスタイプ判定は、不定期であっても、不定期でなくても、時間的近隣フレームからの共存スライスを含む利用可能な空間的及び／又は時間的な近隣スライスタイプに基づく。上部空間近隣スライスと下部空間近隣スライスとの両方が存在し、両方ともタイプ２（潜在的に非一様符号化アクセスユニット）である場合、又は、これら空間的近隣スライスのうちの１つのみが存在し、それがタイプ２である場合、現在のスライスにはタイプ２が割り当てられる。上部空間近隣スライスと下部空間近隣スライスとの両方が存在し、これらスライスのうち１つのみがタイプ２である場合、又は、これら空間的近隣スライスのうちの１つのみが存在し、それがタイプ２ではない場合、更なる情報に基づいて、現在のスライスのタイプ判定がなされる。
１つの実施形態では、更なる情報が、現在のビデオアクセスユニットの動作ベクトルフィールドの値及び構造、時間的な近隣アクセスユニットのスライスタイプ、及び動作ベクトルフィールドを備える。１つの実施形態では、この情報に基づいて、復号器が、スクロールやパンのようなグローバルな一様動作を推論し、スライスタイプ２を、現在のスライスに割り当てる。
両方の近隣スライスが存在し、両方ともタイプ０である場合、現在のスライスにタイプ０（潜在的な非一様符合化アクセスユニットにおけるＰスライス）が割り当てられ、そうでない場合には、現在スライスにタイプ１（潜在的な非一様符合化アクセスユニットにおけるＢスライス）が割り当てられる。
復号器がチェックし（２２０８）、現在のフレームのタイプが２ではないと判定した場合には、方法はブロック２２２０に移動する。ブロック２２２０については後述する。
現在のスライスのタイプが２又はｘである場合、復号器は、現在のフレームにおいて、有効なチャネル切換イベントがあるか、すなわち、誤りのあるマクロブロックが属するフレームが最初であるか、又は、新たに調整されたチャネルから取得される最初の数フレームからのものであるかを判定する（２２１０）。チャネル切換は、例えば、ユーザがチャネルを切り換えることを選択した場合に生じる。復号器は、例えば、到来するマルチメディアビットストリームをチェックして、チャネル切換フラグが設定されているかを確認することによって、有効なチャネル切換が存在するかを判定する。あるいは、復号器は、ユーザ選択に応答した「有効なチャネル切換」信号を受信する。
チャネル切換がある場合、復号器は、現在のフレームが、獲得ピクチャグループ（又は獲得ＧＯＰ）と呼ばれるフレームのシリーズに属するかを判定する（２２１２）。獲得ＧＯＰは、それぞれが更にイントラ符合化領域を備える時間的に予測されたフレーム（Ｐフレーム及びＢフレーム）を備える。獲得ＧＯＰ内のイントラ符号化領域は、蓄積及び結合されて、Ｉフレーム全体を形成する。獲得ＧＯＰは、マルチメディアビットストリームに対するランダムなアクセスポイントとして使用される。復号器は、例えば、獲得ＧＯＰフラグがセットされたかを見るために、到来するマルチメディアビットストリームをチェックすることによって、現在のフレームが獲得ＧＯＰに属するかを判定する。現在のフレームが、獲得ＧＯＰに属する場合、ＳＥＣが選択され（２２１４）、誤りのあるマクロブロック又は誤りのあるスライスに適用される。
チャネル切換がない場合、又は、現在のフレームが獲得ＧＯＰに属さない場合、復号器は、現在のスライス内で、新たなオブジェクト又は新たなコンテンツが検出されたかを判定する（２２１６）。新たなオブジェクト又は新たなコンテンツが、現在のスライス内で検出された場合、現在のマクロブロックは、新たなオブジェクト又は新たなコンテンツ内に位置するか、あるいはそれらとオーバラップする。その場合、ＳＥＣが選択されうる。復号器は、近隣スライス内の近隣マクロブロックタイプと同様、近隣スライスのスライスタイプを確認することによって、新たなオブジェクト又は新たなコンテンツが、現在のスライス内に存在するかを判定する。上部近隣スライスと下部近隣スライスとの両方がＩスライスである場合、現在のスライス内で、新たなオブジェクト又は新たなコンテンツが宣言される。上部近隣スライス及び下部近隣スライスのうちの１つがＩスライスである場合、又は両スライスともＩスライスではない場合、現在のスライス内で、新たなオブジェクト又は新たなコンテンツは宣言されない。他の実施形態では、上部近隣スライス又は下部近隣スライスのうちの１つがＩスライスである場合、新たなオブジェクト又は新たなコンテンツが宣言されるかの判定は、スライス符合化タイプ及びマクロブロック符合化タイプと同様、現在のフレーム及び近隣フレームの動作ベクトルフィールドの分析のような付加情報に基づきうる。新たなオブジェクト又は新たなコンテンツが検出されると、ＳＥＣが選択され（２２１８）、誤りのあるマクロブロック又は誤りのあるスライスに適用される。
そうではない場合、スライスタイプが２でもｘでもないか、又は、新たなオブジェクトが存在しないか検出されないのであれば、誤りのあるマクロブロック又は誤りのあるスライスを隠蔽する際における可能な使用のために利用可能な時間的相関と空間的相関との両方が存在する。そのような場合、復号器は、マルチメディアビットストリームに埋め込まれた誤り分布情報に基づいて、時間的な近隣の相関が、空間的な相関よりも信頼性が高いかを判定する（２２２０）。時間的な相関の方が信頼性が高い場合、ＴＥＣが選択され（２２２４）、誤りのあるマクロブロック又は誤りのあるスライスに適用される。そうではない場合、ＳＥＣが選択され（２２２２）、誤りのあるマクロブロック又は誤りのあるスライスに適用される。
このフローチャートに例示されたブロックの何れも、省略すること、順番を組み換えること、又は、１又は複数の他のブロックと組み合わせることがなされうることが注目されるべきである。
図４は、誤って受信された第１のセクションを備えるマルチメディアデータを処理する方法の別の例を示すフローチャートである。この方法は、ブロック４０２において始まり、第１のセクションに対応する誤り分布情報が取得される。次に、ブロック４０４において、誤り分布情報に基づいて、複数の誤り復元スキームのうちの１つが、マルチメディアデータの第１のセクションに適用される。４０４を適用することは、特定の隠蔽タスクに良く適した複数の誤り復元スキームのうちの１つを選択することと、その後、それに従って、誤りのあるセクションを処理することとを含む。これらブロックの動作は、図２及び図３における上述した説明と類似している。
図５は、誤って受信された第１のセクションを備えるマルチメディアデータを処理するように構成された復号器の一例のブロック図を示す。復号器は、取得（又は誤り検出）モジュール５０２と、適用（又は誤り処理）モジュール５０４とを備える。取得モジュール５０２は、受信した第１のセクションに対応する誤り分布情報を取得するように構成される。適用モジュール５０４は、複数の誤り復元スキームのうちの１つを、誤り分布情報に基づいて、受信したマルチメディアデータの第１のセクションに適用する。この適用モジュール５０４はまた、特定の隠蔽スキームを選択し、受信した誤りのあるセクションをそれに従って処理する。
図６は、到来するマルチメディアデータストリーム（図示せず）を復号するように構成された復号器の一例であるブロック図を示す。復号器デバイス６００は、受信機６０２と誤り隠蔽部６０４とを備える。この復号器デバイス６００は一例であって、例えば、記憶媒体６０６及びプロセッサ６０８のような追加構成要素を備えうることが注目されるべきである。
記憶媒体６０６は、ソリッドステート又はディスクベースの記憶装置のうちの１又は複数を含むメモリでありうる。プロセッサ６０８は、汎用プロセッサ又はデジタル信号プロセッサのうちの１又は複数を含む。プロセッサ６０８は、任意の適切な汎用シングルチップ又はマルチチップによるマイクロプロセッサであるか、例えばデジタルシグナルプロセッサ、マイクロコントローラ、又はプログラマブルゲートアレイのような任意の適切な特別目的マイクロプロセッサでありうる。プロセッサ６０８は、復号器６００の他の構成要素の動作を制御するために、１又は複数のソフトウェアプログラムを実行するように構成される。プロセッサ６０８はまた、メモリ６０６にアクセスし、データの読み書きを行うように構成される。
受信機６０２は、マルチメディアデータを受信するように構成される。マルチメディアデータは、誤りのあるセクションを持っているかもしれない。従って、受信機６０２は、誤りのある第１のセクションを有するマルチメディアデータを受信しうる。誤り隠蔽部６０４は、第１のセクションに対応する誤り分布情報に基づいて、複数の誤り復元スキームのうちの１つを、マルチメディアデータの第１のセクションに適用するように構成される。
復号器デバイス６００は、オプションとして、第１のセクションに対応する誤り分布情報を取得するように構成された取得モジュール１０を備えることができる。あるいは、誤り隠蔽部６０４は更に、第１のセクションに対応する誤り分布情報を取得するように構成される。
誤り隠蔽部６０４は、少なくとも、第１のセクションを備える第１のアクセスユニットが一様に符合化されたかに基づいて、少なくとも、チャネル切換が検出されたかに基づいて、少なくとも、新たなオブジェクトが検出されたかに基づいて、及び／又は、少なくとも、第１のセクションが、一様に符号化されたスライス又は非一様に符合化されたスライスを備えるかに基づいて、複数の誤り復元スキームのうちの１つを適用する。誤り隠蔽部６０４は、第１のセクションを備えるアクセスユニット内の全てのデータに対する誤りのあるデータの割合が、予め定めた閾値を越えるのであれば、第１のセクションのためにフレームレートアップ変換を適用する。誤り隠蔽部６０４は、第１のセクションが、新たなオブジェクト内にあれば、第１のセクションのために空間的誤り隠蔽を適用する。第１のセクションを備えるアクセスユニットがＩフレームであり、このＩフレームがシーン変化フレームではないのであれば、誤り隠蔽部６０４は、第１のセクションのために時間的誤り隠蔽を適用する。
更に、幾つかの実施形態では、誤り隠蔽部は、図７に示すように、選択モジュール７０５と、処理モジュール７１０とを備えうる。選択モジュールは、第１のセクションのための誤り分布情報に基づいて、複数の誤り復元スキームのうちの１つを選択するように構成される。また、処理モジュール６１４は、選択された誤り復元スキームに基づいて、第１のセクションを処理するように構成される。上述したように、複数の誤り復元スキームは、空間的誤り隠蔽、フレームレートアップ変換、Ｐフレームのための時間的誤り隠蔽、及び、Ｂフレームのための時間的誤り隠蔽のうちの１つ又は組み合わせを備えうる。
選択モジュール６１２が実装されると、選択モジュール６１２は、少なくとも、第１のセクションを備える第１のアクセスユニットが一様に符合化されたか、チャネル切換が検出されたか、新たなオブジェクトが検出されたか、及び／又は、第１のセクションが、一様に符号化されたスライス又は非一様に符合化されたスライスを備えているかに基づいて、複数の誤り復元スキームのうちの１つを選択するように構成される。同様に、選択モジュール６１２は、第１のセクションを備えるアクセスユニット内の全てのデータに対する誤りのあるデータの割合が、予め定めた閾値を越えるのであれば、第１のセクションのためにフレームレートアップ変換を選択し、第１のセクションが新たなオブジェクト内であれば、第１のセクションのために空間的誤り隠蔽を選択し、第１のセクションを備えるアクセスユニットがＩフレームであり、このＩフレームがシーン変化フレームではないのであれば、第１のセクションのために時間的誤り隠蔽を選択するように構成される。
従って、誤り隠蔽部６０４は、到来するマルチメディアデータの誤り隠蔽を行うように構成される。誤り隠蔽部６０４は、図２〜図４に関して上述したような適切な誤り隠蔽スキームを選択する方法に基づいて誤り隠蔽を実行するように構成されうる。幾つかの実施形態では、誤り隠蔽部６０４の機能の一部又は全ては、プロセッサ６０８によって行なわれうる。
図６に例示する機能ブロックのうちの何れか１つは、復号器の機能を変えることなく、再配列、削除、あるいは、１又は複数の他のブロックと統合されうることが注目されるべきである。例えば、誤り隠蔽部６０４は、プロセッサ６０８と統合されうる。
幾つかの実施形態では、誤って受信された第１のセクションを持つマルチメディアデータを処理する装置が提供される。この装置は、第１のセクションに対応する誤り分布情報を取得する手段と、複数の誤り復元スキームのうちの１つを、誤り分布情報に基づいて、マルチメディアデータの第１のセクションに適用する手段とを備える。誤り分布情報を取得する手段は、取得モジュール５０２を備える。誤り復元技術を適用する手段は、適用モジュール５０４を備える。一例では、適用モジュールは更に、第１のセクションのために、誤り分布情報に基づいて、複数の誤り復元スキームのうちの１つを選択する手段と、選択された誤り復元スキームに基づいて、第１のセクションを処理する手段とを備える。第１のセクションのために、誤り分布情報に基づいて、複数の誤り復元スキームのうちの１つを選択する手段と、選択された誤り復元スキームに基づいて、第１のセクションを処理する手段とは、適用モジュール５０４を備える。
当業者であれば、これら情報および信号が、種々異なった技術や技法を用いて表されることを理解するであろう。例えば、上述した記載の全体で引用されているデータ、指示、命令、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場または磁性粒子、光学場または光学微粒子、あるいはこれら何れかの組み合わせによって表現されうる。
当業者であれば、更に、ここで開示された実施形態に関連して記載された様々な説明的論理ブロック、モジュール、回路、およびアルゴリズムステップが、電子工学ハードウェア、コンピュータソフトウェア、あるいはこれらの組み合わせとして実現されることを理解するであろう。ハードウェアとソフトウェアとの相互互換性を明確に説明するために、様々に例示された部品、ブロック、モジュール、回路、およびステップが、それらの機能に関して一般的に記述された。それら機能がハードウェアとして又はソフトウェアとして実現されているかは、特定のアプリケーション及びシステム全体に課せられている設計制約に依存する。当業者であれば、各特定のアプリケーションに応じて変更した方法で上述した機能を実施しうる。しかしながら、この適用判断は、本発明の範囲から逸脱したものと解釈されるべきではない。
ここで開示された実施形態に関連して記述された様々の説明的論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、アプリケーションに固有の集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）あるいはその他のプログラマブル論理デバイス、ディスクリートゲートあるいはトランジスタロジック、ディスクリートハードウェア部品、又は上述された機能を実現するために設計された上記何れかの組み合わせを用いて実現又は実行されうる。汎用プロセッサとしてマイクロプロセッサを用いることが可能であるが、代わりに、従来技術によるプロセッサ、コントローラ、マイクロコントローラ、あるいは状態機器を用いることも可能である。プロセッサは、たとえばＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアに接続された１つ以上のマイクロプロセッサ、またはこのような任意の構成である計算デバイスの組み合わせとして実現することも可能である。
ここで開示された実施形態に関連して記述された方法やアルゴリズムのステップは、ハードウェアや、プロセッサによって実行されるソフトウェアモジュールや、これらの組み合わせによって直接的に具現化される。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、あるいは当該技術分野で知られているその他の型式の記憶媒体に収納されうる。記憶媒体は、プロセッサがそこから情報を読み取り、またそこに情報を書き込むことができるようにプロセッサに結合される。または、記憶媒体はプロセッサに統合されうる。プロセッサと記憶媒体は特定用途向けＩＣ（ＡＳＩＣ）に存在しうる。ＡＳＩＣは、ユーザ端末内に存在することもできる。あるいはこのプロセッサと記憶媒体は、ユーザ端末内のディスクリート部品として存在しうる。
開示された実施形態における上述の記載は、当該技術分野におけるいかなる人であっても、本発明の活用または利用を可能とするように提供される。これらの実施形態への様々な変形例もまた、当業者に明らかであって、ここで定義された一般的な原理は、他の例にも適用されうる。
図１は、到来するマルチメディアデータストリーム内のスライスの可能なタイプのリストの例を示す。 図２は、誤り隠蔽方法の一例を示すフローチャートである。 図３は、非一様タイプの誤り隠蔽方法の一例を示すフローチャートである。 図４は、誤って受信した第１のセクションを備えるマルチメディアデータストリームを処理する方法の一例を示すフローチャートである。 図５は、誤って受信した第１のセクションを備えるマルチメディアデータストリームを処理するように構成された復号器の一例を示すブロック図を示す。 図６は、到来するマルチメディアデータストリームを復号するように構成された復号器の一例を示すブロック図を示す。 図７は、誤り隠蔽部の一例を示す。

Claims (64)

  1. 誤って受信された第１のセクションを備えるマルチメディアデータを処理する方法であって、
    前記第１のセクションに対応する誤り分布情報を取得することと、
    前記誤り分布情報に基づいて、複数の誤り復元スキームのうちの１つを、前記マルチメディアデータの第１のセクションに適用することと
    を備える方法。
  2. 前記マルチメディアデータは、それぞれ複数のセクションを備える複数のフレームを備え、前記取得することは、正しく復号されたセクションと、誤りのあるセクションとの位置を備えたマップを生成することを備える請求項１に記載の方法。
  3. 前記複数の誤り復元スキームは、空間的誤り隠蔽、フレームレートアップ変換、Ｐフレームのための時間的誤り隠蔽、及び、Ｂフレームのための時間的誤り隠蔽を備える請求項１に記載の方法。
  4. 前記マルチメディアデータは、多数のレイヤプロトコルから生成された情報を備える請求項１に記載の方法。
  5. 前記適用することは、
    前記第１のセクションのために、前記誤り分布情報に基づいて、複数の誤り復元スキームのうちの１つを選択することと、
    前記選択された誤り復元スキームに基づいて前記第１のセクションを処理することと
    を備える請求項１に記載の方法。
  6. 前記複数の誤り復元スキームのうちの１つを選択することは、
    フレームレート変化がシーン変化を伴うことなく検出される場合、又は、誤りのある物理レイヤパッケージの割合が閾値を越える場合に、前記第１のセクションのためにフレームレートアップ変換を選択することを備える請求項５に記載の方法。
  7. 前記マルチメディアデータは更に、それぞれが複数のセクションを備える複数のスライスを備え、前記選択することは、少なくとも、前記第１のセクションを備える第１のアクセスユニットが一様に符合化されたかに基づく請求項５に記載の方法。
  8. 前記選択することは、少なくとも、チャネル切換が検出されたかに基づく請求項５に記載の方法。
  9. 前記選択することは、少なくとも、新たなオブジェクトが検出されたかに基づく請求項５に記載の方法。
  10. 前記マルチメディアデータは更に、それぞれが複数のセクションを備える複数のスライスを備え、
    前記複数の誤り復元スキームのうちの１つを選択することは、前記第１のセクションを備えるアクセスユニット内の全てのデータに対する誤りのあるデータの割合が、予め定めた閾値を越えているのであれば、前記第１のセクションのために、フレームレートアップ変換を選択することを備える請求項５に記載の方法。
  11. 前記マルチメディアデータは更に、それぞれが複数のセクションを備える複数のスライスを備え、前記複数の誤り復元スキームのうちの１つを選択することは、
    前記第１のセクションが新たなオブジェクトの内部にあるのであれば、前記第１のセクションのために空間的誤り隠蔽を選択することを備える請求項５に記載の方法。
  12. 前記マルチメディアデータは更に、それぞれが複数のセクションを備える複数のスライスを備え、前記複数の誤り復元スキームのうちの１つを選択することは、
    前記第１のセクションを備えるアクセスユニットがＩフレームであり、前記Ｉフレームがシーン変化フレームではないのであれば、前記第１のセクションのために時間的誤り隠蔽を選択することを備える請求項５に記載の方法。
  13. 前記マルチメディアデータは更に、それぞれが複数のセクションを備える複数のスライスを備え、前記選択することは、少なくとも、前記第１のセクションが、一様に符号化されたスライス又は非一様に符号化されたスライスを備えているかに基づく請求項５に記載の方法。
  14. 誤って受信された第１のセクションを備えるマルチメディアデータを処理する装置であって、
    前記第１のセクションに対応する誤り分布情報を取得する手段と、
    前記誤り分布情報に基づいて、複数の誤り復元スキームのうちの１つを、前記マルチメディアデータの第１のセクションに適用する手段と
    を備える装置。
  15. 前記マルチメディアデータは、それぞれ複数のセクションを備える複数のフレームを備え、前記取得する手段は、正しく復号されたセクションと、誤りのあるセクションとの位置を備えたマップを生成する手段を備える請求項１４に記載の装置。
  16. 前記複数の誤り復元スキームは、空間的誤り隠蔽、フレームレートアップ変換、Ｐフレームのための時間的誤り隠蔽、及び、Ｂフレームのための時間的誤り隠蔽を備える請求項１４に記載の装置。
  17. 前記マルチメディアデータは、多数のレイヤプロトコルから生成された情報を備える請求項１４に記載の装置。
  18. 前記適用する手段は、
    前記第１のセクションのために、前記誤り分布情報に基づいて、複数の誤り復元スキームのうちの１つを選択する手段と、
    前記選択された誤り復元スキームに基づいて前記第１のセクションを処理する手段と
    を備える請求項１４に記載の装置。
  19. 前記マルチメディアデータは更に、それぞれが複数のセクションを備える複数のスライスを備える複数のアクセスユニットを備え、前記選択することは、少なくとも、前記第１のセクションを備える第１のアクセスユニットが一様に符合化されたかに基づく請求項１８に記載の装置。
  20. 前記マルチメディアデータは更に、それぞれが複数のセクションを備える複数のスライスを備え、前記選択することは、少なくとも、前記第１のセクションを備える第１のアクセスユニットが一様に符合化されたかに基づく請求項１８に記載の装置。
  21. 前記選択することは、少なくとも、チャネル切換が検出されたかに基づく請求項１８に記載の装置。
  22. 前記選択することは、少なくとも、新たなオブジェクトが検出されたかに基づく請求項１８に記載の装置。
  23. 前記マルチメディアデータは更に、それぞれが複数のセクションを備える複数のスライスを備え、前記第１のセクションを備えるアクセスユニット内の全てのデータに対する誤りのあるデータの割合が、予め定めた閾値を越えているのであれば、前記第１のセクションのために、フレームレートアップ変換が選択される請求項１８に記載の装置。
  24. 前記マルチメディアデータは更に、それぞれが複数のセクションを備える複数のスライスを備え、前記第１のセクションが新たなオブジェクトの内部にあるのであれば、前記第１のセクションのために空間的誤り隠蔽が選択される請求項１８に記載の装置。
  25. 前記マルチメディアデータは更に、それぞれが複数のセクションを備える複数のスライスを備え、前記第１のセクションを備えるアクセスユニットがＩフレームであり、前記Ｉフレームがシーン変化フレームではないのであれば、前記第１のセクションのために時間的誤り隠蔽が選択される請求項１８に記載の装置。
  26. 前記マルチメディアデータは更に、それぞれが複数のセクションを備える複数のスライスを備え、前記選択することは、少なくとも、前記第１のセクションが、一様に符号化されたスライス又は非一様に符号化されたスライスを備えているかに基づく請求項１８に記載の装置。
  27. 方法を実行するように構成されたプロセッサであって、前記方法は、
    前記第１のセクションに対応する誤り分布情報を取得することと、
    前記誤り分布情報に基づいて、複数の誤り復元スキームのうちの１つを、前記マルチメディアデータの第１のセクションに適用することと
    を備えるプロセッサ。
  28. 前記マルチメディアデータは、それぞれ複数のセクションを備える複数のフレームを備え、前記取得することは、正しく復号されたセクションと、誤りのあるセクションとの位置を備えたマップを生成することを備える請求項２７に記載のプロセッサ。
  29. 前記複数の誤り復元スキームは、空間的誤り隠蔽、フレームレートアップ変換、Ｐフレームのための時間的誤り隠蔽、及び、Ｂフレームのための時間的誤り隠蔽を備える請求項２７に記載のプロセッサ。
  30. 前記マルチメディアデータは、多数のレイヤプロトコルから生成された情報を備える請求項２７に記載のプロセッサ。
  31. 前記適用することは、
    前記第１のセクションのために、前記誤り分布情報に基づいて、複数の誤り復元スキームのうちの１つを選択することと、
    前記選択された誤り復元スキームに基づいて前記第１のセクションを処理することと
    を備える請求項２７に記載のプロセッサ。
  32. 前記複数の誤り復元スキームのうちの１つを選択することは、
    フレームレート変化がシーン変化を伴うことなく検出される場合、又は、誤りのある物理レイヤパッケージの割合が閾値を越える場合に、前記第１のセクションのためにフレームレートアップ変換を選択することを備える請求項３１に記載のプロセッサ。
  33. 前記マルチメディアデータは更に、それぞれが複数のセクションを備える複数のスライスを備え、前記選択することは、少なくとも、前記第１のセクションを備える第１のアクセスユニットが一様に符合化されたかに基づく請求項３１に記載のプロセッサ。
  34. 前記選択することは、少なくとも、チャネル切換が検出されたかに基づく請求項３１に記載のプロセッサ。
  35. 前記選択することは、少なくとも、新たなオブジェクトが検出されたかに基づく請求項３１に記載のプロセッサ。
  36. 前記マルチメディアデータは更に、それぞれが複数のセクションを備える複数のスライスを備え、前記複数の誤り復号スキームのうちの１つを選択することは、
    前記第１のセクションを備えるアクセスユニット内の全てのデータに対する誤りのあるデータの割合が、予め定めた閾値を越えているのであれば、前記第１のセクションのために、フレームレートアップ変換を選択することを備える請求項３１に記載のプロセッサ。
  37. 前記マルチメディアデータは更に、それぞれが複数のセクションを備える複数のスライスを備え、前記複数の誤り復号スキームのうちの１つを選択することは、
    前記第１のセクションが新たなオブジェクトの内部にあるのであれば、前記第１のセクションのために空間的誤り隠蔽が選択することを備える請求項３１に記載のプロセッサ。
  38. 前記マルチメディアデータは更に、それぞれが複数のセクションを備える複数のスライスを備え、前記複数の誤り復元スキームのうちの１つを選択することは、
    前記第１のセクションを備えるアクセスユニットがＩフレームであり、前記Ｉフレームがシーン変化フレームではないのであれば、前記第１のセクションのために時間的誤り隠蔽を選択することを備える請求項３１に記載のプロセッサ。
  39. 前記マルチメディアデータは更に、それぞれが複数のセクションを備える複数のスライスを備え、
    前記選択することは、少なくとも、前記第１のセクションが、一様に符号化されたスライス又は非一様に符号化されたスライスを備えているかに基づく請求項３１に記載のプロセッサ。
  40. 方法をコンピュータに実行させる手段を組み込んだコンピュータ読取可能媒体であって、
    前記方法は、
    前記第１のセクションに対応する誤り分布情報を取得することと、
    前記誤り分布情報に基づいて、複数の誤り復元スキームのうちの１つを、前記マルチメディアデータの第１のセクションに適用することと
    を備えるコンピュータ読取可能媒体。
  41. 前記マルチメディアデータは、それぞれ複数のセクションを備える複数のフレームを備え、前記取得することは、正しく復号されたセクションと、誤りのあるセクションとの位置を備えたマップを生成することを備える請求項４０に記載のコンピュータ読取可能媒体。
  42. 前記複数の誤り復元スキームは、空間的誤り隠蔽、フレームレートアップ変換、Ｐフレームのための時間的誤り隠蔽、及び、Ｂフレームのための時間的誤り隠蔽を備える請求項４０に記載のコンピュータ読取可能媒体。
  43. 前記マルチメディアデータは、多数のレイヤプロトコルから生成された情報を備える請求項４０に記載のコンピュータ読取可能媒体。
  44. 前記適用することは、
    前記第１のセクションのために、複数の誤り復元スキームのうちの１つを前記誤り分布情報に基づいて選択することと、
    前記選択された誤り復元スキームに基づいて前記第１のセクションを処理することと
    を備える請求項４０に記載のコンピュータ読取可能媒体。
  45. 前記複数の誤り復元スキームのうちの１つを選択することは、
    フレームレート変化がシーン変化を伴うことなく検出される場合、又は、誤りのある物理レイヤパッケージの割合が閾値を越える場合に、前記第１のセクションのためにフレームレートアップ変換を選択することを備える請求項４４に記載のコンピュータ読取可能媒体。
  46. 前記マルチメディアデータは更に、それぞれが複数のセクションを備える複数のスライスを備え、前記選択することは、少なくとも、前記第１のセクションを備える第１のアクセスユニットが一様に符合化されたかに基づく請求項４４に記載のコンピュータ読取可能媒体。
  47. 前記選択することは、少なくとも、チャネル切換が検出されたかに基づく請求項４４に記載のコンピュータ読取可能媒体。
  48. 前記選択することは、少なくとも、新たなオブジェクトが検出されたかに基づく請求項４４に記載のコンピュータ読取可能媒体。
  49. 前記マルチメディアデータは更に、それぞれが複数のセクションを備える複数のスライスを備え、前記複数の誤り復号スキームのうちの１つを選択することは、
    前記第１のセクションを備えるアクセスユニット内の全てのデータに対する誤りのあるデータの割合が、予め定めた閾値を越えているのであれば、前記第１のセクションのために、フレームレートアップ変換を選択することを備える請求項４４に記載のコンピュータ読取可能媒体。
  50. 前記マルチメディアデータは更に、それぞれが複数のセクションを備える複数のスライスを備え、前記複数の誤り復号スキームのうちの１つを選択することは、
    前記第１のセクションが新たなオブジェクトの内部にあるのであれば、前記第１のセクションのために空間的誤り隠蔽が選択することを備える請求項４４に記載のコンピュータ読取可能媒体。
  51. 前記マルチメディアデータは更に、それぞれが複数のセクションを備える複数のスライスを備え、前記複数の誤り復元スキームのうちの１つを選択することは、
    前記第１のセクションを備えるアクセスユニットがＩフレームである場合、前記Ｉフレームがシーン変化フレームではないのであれば、前記第１のセクションのために時間的誤り隠蔽を選択することを備える請求項４４に記載のコンピュータ読取可能媒体。
  52. 前記マルチメディアデータは更に、それぞれが複数のセクションを備える複数のスライスを備え、前記選択することは、少なくとも、前記第１のセクションが、一様に符号化されたスライス又は非一様に符号化されたスライスを備えているかに基づく請求項４４に記載のコンピュータ読取可能媒体。
  53. マルチメディアデータを処理する装置であって、
    誤って受信された第１のセクションを有する前記マルチメディアデータを受信するように構成された受信機と、
    前記第１のセクションに対応する誤り分布情報に基づいて、複数の誤り復元スキームのうちの１つを、前記マルチメディアデータの第１のセクションへ適用するように構成された誤り隠蔽部と
    を備える装置。
  54. 前記第１のセクションに対応する誤り分布情報を取得するように構成された取得モジュールを更に備える請求項５３に記載の装置。
  55. 前記誤り隠蔽部は更に、前記第１のセクションに対応する誤り分布情報を取得するように構成された請求項５３に記載の装置。
  56. 前記マルチメディアデータは、多数のレイヤプロトコルから生成された情報を備える請求項５３に記載の装置。
  57. 前記誤り隠蔽部は、
    前記第１のセクションのために、複数の誤り復元スキームのうちの１つを、前記誤り分布情報に基づいて選択するように構成された選択モジュールと、
    前記選択された誤り復元スキームに基づいて前記第１のセクションを処理するように構成された処理モジュールと
    を備える請求項５３に記載の装置。
  58. 前記マルチメディアデータは更に、それぞれが複数のセクションを備える複数のスライスを備える複数のアクセスユニットを備え、前記誤り隠蔽部は、少なくとも、前記第１のセクションを備える第１のアクセスユニットが一様に符号化されたかに基づいて、前記複数の誤り復元スキームのうちの１つを適用するように構成された請求項５３に記載の装置。
  59. 前記誤り隠蔽部は、少なくとも、チャネル切換が検出されたかに基づいて、前記複数の誤り復元スキームのうちの１つを適用するように構成された請求項５３に記載の装置。
  60. 前記誤り隠蔽部は、少なくとも、新たなオブジェクトが検出されたかに基づいて、複数の誤り復元スキームのうちの１つを適用するように構成された請求項５３に記載の装置。
  61. 前記マルチメディアデータは更に、それぞれが複数のセクションを備える複数のスライスを備え、前記誤り隠蔽部は、前記第１のセクションを備えるアクセスユニット内の全てのデータに対する誤りのあるデータの割合が、予め定めた閾値を越えているのであれば、前記第１のセクションのために、フレームレートアップ変換を適用するように構成された請求項５３に記載の装置。
  62. 前記マルチメディアデータは更に、それぞれが複数のセクションを備える複数のスライスを備え、前記誤り隠蔽部は、前記第１のセクションが新たなオブジェクトの内部にあるのであれば、前記第１のセクションのために空間的誤り隠蔽を適用するように構成された請求項５３に記載の装置。
  63. 前記マルチメディアデータは更に、それぞれが複数のセクションを備える複数のスライスを備え、前記誤り隠蔽部は、前記第１のセクションを備えるアクセスユニットがＩフレームである場合、前記Ｉフレームがシーン変化フレームではないのであれば、前記第１のセクションのために時間的誤り隠蔽を適用するように構成された請求項５３に記載の装置。
  64. 前記マルチメディアデータは更に、それぞれが複数のセクションを備える複数のスライスを備え、前記誤り隠蔽部は、少なくとも、前記第１のセクションが、一様に符号化されたスライス又は非一様に符号化されたスライスを備えているかに基づいて、誤り復元スキームを適用するように構成された請求項５３に記載の装置。
JP2008511441A 2005-05-11 2006-05-11 統一された誤り隠蔽フレームワークのための方法及び装置 Pending JP2008545297A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US68021305P 2005-05-11 2005-05-11
US68119505P 2005-05-13 2005-05-13
PCT/US2006/018596 WO2006122313A2 (en) 2005-05-11 2006-05-11 A method and apparatus for unified error concealment framework

Publications (1)

Publication Number Publication Date
JP2008545297A true JP2008545297A (ja) 2008-12-11

Family

ID=37397343

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008511441A Pending JP2008545297A (ja) 2005-05-11 2006-05-11 統一された誤り隠蔽フレームワークのための方法及び装置

Country Status (7)

Country Link
US (2) US9749655B2 (ja)
EP (1) EP1884028A2 (ja)
JP (1) JP2008545297A (ja)
KR (1) KR101012624B1 (ja)
CN (1) CN101485202B (ja)
TW (1) TW200709580A (ja)
WO (1) WO2006122313A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014023138A (ja) * 2012-07-24 2014-02-03 Mitsubishi Electric Corp 復号装置、エラーコンシールメント処理装置および復号方法
US11438634B2 (en) 2008-03-28 2022-09-06 Dolby International Ab Methods, devices and systems for parallel video encoding and decoding

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008545297A (ja) 2005-05-11 2008-12-11 クゥアルコム・インコーポレイテッド 統一された誤り隠蔽フレームワークのための方法及び装置
US9210447B2 (en) * 2005-12-07 2015-12-08 Thomson Licensing Llc Method and apparatus for video error concealment using reference frame selection rules
US8509313B2 (en) * 2006-10-10 2013-08-13 Texas Instruments Incorporated Video error concealment
KR101292771B1 (ko) 2006-11-24 2013-08-16 삼성전자주식회사 오디오 신호의 오류은폐방법 및 장치
KR101291193B1 (ko) 2006-11-30 2013-07-31 삼성전자주식회사 프레임 오류은닉방법
CN100586193C (zh) * 2006-12-12 2010-01-27 华为技术有限公司 误码掩盖方法和系统
US8340183B2 (en) * 2007-05-04 2012-12-25 Qualcomm Incorporated Digital multimedia channel switching
EP2028866A1 (en) * 2007-08-20 2009-02-25 Alcatel Lucent A device and associated method for concealing errors in decoded media units
JP5344541B2 (ja) 2008-06-03 2013-11-20 キヤノン株式会社 データ送信装置、送信方法及びプログラム
US20100008419A1 (en) * 2008-07-10 2010-01-14 Apple Inc. Hierarchical Bi-Directional P Frames
FR2934453B1 (fr) * 2008-07-22 2010-10-15 Canon Kk Procede et dispositif de masquage d'erreurs
FR2944938B1 (fr) * 2009-04-28 2011-10-21 Canon Kk Procede et dispositif de correction d'erreurs.
US20120195573A1 (en) * 2011-01-28 2012-08-02 Apple Inc. Video Defect Replacement
JP5921469B2 (ja) * 2013-03-11 2016-05-24 株式会社東芝 情報処理装置、クラウドプラットフォーム、情報処理方法およびそのプログラム
JP6518254B2 (ja) * 2014-01-09 2019-05-22 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオ・コンテンツの空間的誤差メトリック
US10784988B2 (en) 2018-12-21 2020-09-22 Microsoft Technology Licensing, Llc Conditional forward error correction for network data
US10803876B2 (en) * 2018-12-21 2020-10-13 Microsoft Technology Licensing, Llc Combined forward and backward extrapolation of lost network data
US10945029B2 (en) * 2019-05-31 2021-03-09 Qualcomm Incorporated Video frame rendering criteria for video telephony service

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10174094A (ja) * 1996-12-16 1998-06-26 Matsushita Electric Ind Co Ltd 映像復号化装置
WO2004064396A1 (en) * 2003-01-10 2004-07-29 Thomson Licensing S.A. Decoder apparatus and method for smoothing artifacts created during error concealment
JP2005311603A (ja) * 2004-04-20 2005-11-04 Toshiba Corp 動画像復号装置及び動画像復号方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0477080B1 (en) * 1990-09-17 1998-06-03 Canon Kabushiki Kaisha Data communication apparatus
US5742599A (en) * 1996-02-26 1998-04-21 Apple Computer, Inc. Method and system for supporting constant bit rate encoded MPEG-2 transport over local ATM networks
US6947398B1 (en) * 1998-11-13 2005-09-20 Lucent Technologies Inc. Addressing scheme for a multimedia mobile network
US6160804A (en) * 1998-11-13 2000-12-12 Lucent Technologies Inc. Mobility management for a multimedia mobile network
KR100587280B1 (ko) * 1999-01-12 2006-06-08 엘지전자 주식회사 오류 은폐방법
EP1130921B1 (en) 2000-03-02 2005-01-12 Matsushita Electric Industrial Co., Ltd. Data transmission in non-reliable networks
KR100838902B1 (ko) * 2000-11-29 2008-06-16 소니 가부시끼 가이샤 스트림 처리 장치
US7103669B2 (en) * 2001-02-16 2006-09-05 Hewlett-Packard Development Company, L.P. Video communication method and system employing multiple state encoding and path diversity
CN1134174C (zh) * 2001-06-08 2004-01-07 清华大学 地面数字电视广播中的视频差错隐藏方法
IL160476A0 (en) * 2001-08-23 2004-07-25 Polycom Inc System and method for video error concealment
US20050008240A1 (en) * 2003-05-02 2005-01-13 Ashish Banerji Stitching of video for continuous presence multipoint video conferencing
US7436571B2 (en) * 2004-10-20 2008-10-14 Hewlett-Packard Development Company, L.P. Micro-displays
BRPI0607627A2 (pt) * 2005-03-10 2009-09-22 Qualcomm Inc arquitetura de decodificador para gerenciamento otimizado de erro em multimìdia de fluxo contìnuo
JP2008545297A (ja) 2005-05-11 2008-12-11 クゥアルコム・インコーポレイテッド 統一された誤り隠蔽フレームワークのための方法及び装置
US8879635B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Methods and device for data alignment with time domain boundary

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10174094A (ja) * 1996-12-16 1998-06-26 Matsushita Electric Ind Co Ltd 映像復号化装置
WO2004064396A1 (en) * 2003-01-10 2004-07-29 Thomson Licensing S.A. Decoder apparatus and method for smoothing artifacts created during error concealment
JP2005311603A (ja) * 2004-04-20 2005-11-04 Toshiba Corp 動画像復号装置及び動画像復号方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11438634B2 (en) 2008-03-28 2022-09-06 Dolby International Ab Methods, devices and systems for parallel video encoding and decoding
US11838558B2 (en) 2008-03-28 2023-12-05 Dolby International Ab Methods, devices and systems for parallel video encoding and decoding
JP2014023138A (ja) * 2012-07-24 2014-02-03 Mitsubishi Electric Corp 復号装置、エラーコンシールメント処理装置および復号方法

Also Published As

Publication number Publication date
TW200709580A (en) 2007-03-01
US10944988B2 (en) 2021-03-09
US20060262864A1 (en) 2006-11-23
US9749655B2 (en) 2017-08-29
CN101485202B (zh) 2013-10-30
US20170324980A1 (en) 2017-11-09
CN101485202A (zh) 2009-07-15
WO2006122313A2 (en) 2006-11-16
EP1884028A2 (en) 2008-02-06
WO2006122313A3 (en) 2009-04-09
KR101012624B1 (ko) 2011-02-09
KR20080026540A (ko) 2008-03-25

Similar Documents

Publication Publication Date Title
US10944988B2 (en) Method and apparatus for unified error concealment framework
KR100881037B1 (ko) 시간적 확장성을 위한 양방향 예측 프레임을 구성하는 방법 및 장치
Xu et al. H. 264 video communication based refined error concealment schemes
KR101016168B1 (ko) 비디오 압축에 대한 인코더 보조-프레임 레이트 업 컨버젼(ｅａ-ｆｒｕｃ)을 위한 방법 및 장치
KR101012149B1 (ko) 비디오 부호화
EP1856918B1 (en) Method and apparatus of temporal error concealment for p-frame
JP5069099B2 (ja) 時間スケーラビリティを可能にするハイブリッド映像圧縮におけるフレーム予測のための方法および装置
WO2006122314A2 (en) Temporal error concealment for bi-directionally predicted frames
JP2009524364A (ja) 誤り隠蔽に関連する歪み値に基づいてエンコード方法を決定する方法および装置
JP2009524365A (ja) 無線映像通信における誤り耐性アルゴリズムの方法および装置
Wu et al. A temporal error concealment method for H. 264/AVC using motion vector recovery
Ye et al. Improved side information generation for distributed video coding by exploiting spatial and temporal correlations
KR100967731B1 (ko) 채널 스위치 프레임
Carreira et al. A robust video encoding scheme to enhance error concealment of intra frames
MUSTAFA et al. ERROR RESILIENCE OF H. 264/AVC CODING STRUCTURES FOR DELIVERY OVER WIRELESS NETWORKS
Gang et al. Error resilient multiple reference selection for wireless video transmission
Vanam et al. Error-resilient video coding for wireless video telephony applications
Kolkeri et al. Error concealment techniques in h. 264/avc for wireless video transmission in mobile networks
Liu et al. Multiframe error concealment for whole-frame loss in H. 264/AVC
Song Toward connected personal healthcare: Keynote address
KR100557118B1 (ko) 동영상 디코더 및 이를 이용한 디코딩 방법
Vanam et al. Error resilient video coding for systems with delayed feedback
Behera FEC for efficient video transmission over CDMA
Xiao et al. Novel video error concealment using shot boundary detection
Ye et al. Research Article Improved Side Information Generation for Distributed Video Coding by Exploiting Spatial and Temporal Correlations

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101102

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110329