JP2005501488A - ビデオエラー隠蔽のためのシステムおよび方法 - Google Patents

ビデオエラー隠蔽のためのシステムおよび方法 Download PDF

Info

Publication number
JP2005501488A
JP2005501488A JP2003524260A JP2003524260A JP2005501488A JP 2005501488 A JP2005501488 A JP 2005501488A JP 2003524260 A JP2003524260 A JP 2003524260A JP 2003524260 A JP2003524260 A JP 2003524260A JP 2005501488 A JP2005501488 A JP 2005501488A
Authority
JP
Japan
Prior art keywords
macroblock
encoded
data
encoding
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003524260A
Other languages
English (en)
Other versions
JP2005501488A5 (ja
JP4881543B2 (ja
Inventor
ホロウィッツ，マイケル
フロット，リック
Original Assignee
ポリコム・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ポリコム・インコーポレイテッド filed Critical ポリコム・インコーポレイテッド
Publication of JP2005501488A publication Critical patent/JP2005501488A/ja
Publication of JP2005501488A5 publication Critical patent/JP2005501488A5/ja
Application granted granted Critical
Publication of JP4881543B2 publication Critical patent/JP4881543B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/66—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/93—Run-length coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Radio Transmission System (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Abstract

【課題】本発明は、一実施形態において、ビデオエラーを隠蔽するためのシステムおよび方法を提供する。そのシステムがデータパケットを受信し、デパケット化し、順序付けし（９１５）そして復号化するとき、そのシステムが損失ビデオデータパケットによりもたらされるエラーを隠蔽するように、そのシステムは、通信ネットワークに亘り、送信のためのビデオデータパケットにビデオ情報を符号化し、再順序付けしそしてパケット化する。一実施形態において、そのシステムおよび方法は、隣接するマクロブロックが同じビデオデータパケットに配置されないように、ビデオ情報を符号化し且つパケット化する。さらに、そのシステムと方法は、復号化プロセスを容易にするためにビデオデータパケットに伴う情報を提供することが可能である。そのようなスキームに対する利点は、ビデオデータパケット損失によるエラーがビデオフレームにおいて空間的に分布されることである。それ故、損失マクロブロックの周りのデータの領域がうまく復号化される場合、復号化器は、より高いビデオ品質に導く、より高い正確度をもつ動きベクトルと空間コンテンツを予測することができる。

Description

【技術分野】
【０００１】
本発明は、一般に、ビデオ通信に関し、特に、ビデオエラー隠蔽に関する。
【背景技術】
【０００２】
ビデオ画像はグローバルコミュニケーションの一部として次第に重要になってきた。特に、ビデオ会議およびビデオ電話は、デスクトップおよび部屋ベースの会議、インターネットおよび電話回線におけるビデオ、監視およびモニタリング、遠隔治療およびコンピュータベースのトレーニングおよび教育のような幅広いアプリケーションを有している。これらのアプリケーションの各々において、ビデオとそれに伴うオーディオ情報は、電話回線、ＩＳＤＮ、ＤＳＬおよび超音波を含む通信回線を通じて送信される。
【０００３】
ビデオ会議において用いられる標準ビデオフォーマットは、国際電気通信連合（ＩＴＵ：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｕｎｉｏｎ）のＨ．２６１ビデオ会議規格の一部である共通中間フォーマット（ＣＩＦ：Ｃｏｍｍｏｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ）である。主なＣＩＦフォーマットはまた、全ＣＩＦまたはＦＣＩＦとして知られている。ＦＣＩＦより大きいかまたは小さいかどちらかの解像度をもつ付加的なフォーマットがまた確立された。図１は、先行技術に従った、１つの画素に対して１２ビットが必要であるという仮定の下での種々のビデオフォーマットに関するビットレートの要求および解像度についての表である。示されているビットレート（単位は秒当たりのメガビット、すなわちＭｂｐｓとして）は非圧縮のカラービデオフレームに対するものである。
【０００４】
現在、ビデオ信号の効率的な送信および受信は、ビデオおよびそれに伴うオーディオデータの符号化および圧縮を必要としている。ビデオ圧縮符号化はデジタルビデオデータを符号化する方法であり、それ故、ビデオデータを記憶するために記憶容量をあまり必要とせず、必要とされる送信帯域幅は減少されている。特定の圧縮／展開ＣＯＤＥＣ）スキームは、必要とされる送信ビットレートを減少させてビデオフレームを圧縮するためにしばしば用いられる。それ故、ＣＯＤＥＣハードウェアおよびソフトウェアは、デジタルビデオデータがオリジナル（非圧縮）のデジタルビデオフォーマットにより必要とされるよりコンパクトなバイナリフォーマットに圧縮されることを可能にする。
【０００５】
ソースビデオ信号を符号化し且つ圧縮することに対する幾つかの従来の方法がある。一部の規格が、静止画像に対するＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、並びに動画像に対するＨ．２６１、Ｈ．２６３、ＭＰＥＧ、ＭＰＥＧ−２およびＭＰＥＧ−４のような特定のアプリケーションについてデザインされている。これらの符号化規格は、一般にマクロブロックと呼ばれる１６ｘ１６画素におけるブロックベースの動き補償予測を代表的に用いる。マクロブロックは、クロミナンスデータが垂直方向および水平方向において２：１にサブサンプリングされる４：２：０サンプリング構造に従ったクロミナンスデータの４つの８ｘ８ブロックおよびクロミナンスデータの２つの対応する８ｘ８ブロックを含む情報の単位である。
【０００６】
実際的には、オーディオデータはまた、ビデオデータと共に圧縮され、送信され、そして同期化される必要がある。同期化、多重化およびプロトコルの問題は、Ｈ．３２０（ＩＳＤＮベースのビデオ会議）、Ｈ．３２４（ＰＯＴＳベースのビデオ電話）およびＨ．３２３（ＬＡＮまたはＩＰベースのビデオ会議）のような規格によりカバーされている。Ｈ．２６３（または前身のＨ．２６１）は、これらの規格群のビデオ符号化部分を提供する。
【０００７】
動き評価および補償スキームは、ビデオ信号に必要な送信帯域幅を減少させるために、一般に用いられる１つの従来の方法である。マクロブロックは基本データ単位であるため、動く評価および補償スキームは、現時点のビデオフレームにおける所定のマクロブロックを前に送信されたビデオフレームにおける所定のマクロブロックの周辺領域と比較することが可能である。一般に、前に送信されたビデオフレームにおける非常によく適合されたマクロブロックは、所定のマクロブロックの幅より小さい幅だけ所定のマクロブロックから空間的にオフセットされる。データの近い適合がみられる場合、僅かの差（すなわち、残差）および空間オフセットは符号化され且つ送信されることが必要であるように、前に送信された基準ビデオフレームにおいて近い適合をみるオフセットマクロブロックから現時点のビデオフレームにおける所定のマクロブロックを減じる。空間オフセットは、一般にうごきベクトルと呼ばれる。動き評価および補償プロセスが効率的である場合、残留残差マクロブロックは、前のビデオフレームから現時点のビデオフレームに変化する画素に関するデータを表すために必要な情報量と動きベクトルのみを含む必要がある。それ故、代わらないビデオフレームの領域は符号化されず且つ送信されない。
【０００８】
従来、Ｈ．２６３規格は、動き評価および動き補償のために用いられた動きベクトルは差分符号化されるように指定している。差分符号化は送信のために必要とされるデータ量を減少させるが、動きベクトルデータが１つのマクロブロックに対して損失されるか破損されたいずれかのエラーは隣接するマクロブロックに影響を及ぼす。その結果、より低いビデオ品質に導く破損されたデータのためにエラーが伝搬する。
【０００９】
パケット交換通信ネットワークにおいて送信のためのビデオフレーム情報が準備されたとき、符号化スキームは、通信ネットワークにおける送信のためのデータパケットに動き評価および補償技術または他の圧縮スキームにより圧縮されるビデオフレーム情報を変換する。データパケットは非常により送信効率を可能にするが、失われ、破損され、または遅延されたデータパケットはまた、ビデオ品質の劣化をもたらすエラーに導くこととなる。また、ビデオデータは、終点の１つが回線交換ネットワークに関連し、回線交換ネットワークブリッジ装置に交換されるゲートウェイまたは他のパケットが用いられる、異種通信ネットワークにおいて送信されることが可能である。
【００１０】
現在、失われたデータパケットまたは破損されたデータパケットはしばしばビデオ品質を低下させる原因となる。それ故、データパケット損失に起因するエラーを隠蔽するために、データパケットを整理し且つ送信するシステムおよび方法に対する要請がある。
【発明の開示】
【課題を解決するための手段】
【００１１】
本発明は、ビデオデータのパケット損失に関連する先行技術の問題を克服または実質的に軽減する。一般に、本発明は、ビデオデータのパケット損失によりもたらされるビデオエラーを隠蔽するための能力をもつパケット交換ネットワークに亘る送信のためのビデオ情報を符号化し、最順序付けし並びにパケット化するシステムおよび方法を提供する。
【００１２】
代表的な実施形態において、ビデオ信号はマクロブロックの集合に符号化される。それに、マクロブロック再順序付けエンジンは、各々のマクロブロックに、マクロブロック群識別子（ＭＢＧＩＤ：ＭａｃｒｏＢｌｏｃｋ Ｇｒｏｕｐ ＩＤｅｎｔｉｆｉｅｒ）と呼ばれる整数レベルを割り当てる。有利なことに、一実施形態において、隣接するマクロブロックは同一のＭＢＧＩＤを割り当てられない。それに、マクロブロックパケット化エンジンは、同一のＭＢＧＩＤが割り当てられるマクロブロックは一緒にパケット化されるように、マクロブロックのパケット化を可能にする。隣接するマクロブロックが同一のＭＢＧＩＤを割り当てられない実施形態に対しては、空間的に隣接しているマクロブロックは一緒にパケット化されないようになる。さらに、イントラマクロブロックマップのような対応するデータは、対応する復号化プロセスを容易にするためにある他の機構により移行されるか、ピクチャヘッダに組み込まれることが可能である。
【００１３】
さらに他の本発明の実施形態において、画像処理エンジンが符号化マクロブロック青含むデータパケットを受信するとき、そのデータパケットはデパケット化され、符号化マクロブロックは順序付けられ且つ復号化される。代替の実施形態において、画像処理エンジンは受信されたデータパケットをデパケット化し、次いで、処理遅延を減少させるために、データパケットが受信された順序にマクロブロックを復号化させる。１つまたはそれ以上のデータパケットが失われる場合、うまく送信されたデータパケットのマクロブロックに伴うデータが、損失データパケットの影響を減じるために用いられる。損失マクロブロックがイントラ符号化されたかまたはインター符号化されたかに基づく種々の方法は、欠落したマクロブロックを補償する。補償時に、ビデオ信号が表示されることが可能である。結果として、本発明のシステムおよび方法は、データパケット損失からもたらされるビデオエラーを隠蔽することができる。
【発明を実施するための最良の形態】
【００１４】
本発明は、データパケット損失によって引き起こされるビデオ信号におけるエラーを隠蔽する。本発明のシステムおよび方法は、マクロブロックをビデオフレームにおいて柔軟性のある順序（例えば、非ラスター走査）にパケット化することにより既存の技術とは異なっている。既存のビデオ符号化規格とは対象的に、マクロブロックは、マクロブロックの並べ替えパターンにより指定される順序にパケット化される。さらに、各々のマクロブロックについての動きベクトルは非差分符号化されることが可能である。これらの改善は、通信回線におけるデータパケット損失によりもたらされる外乱を減少させようとするものである。本発明の範囲は、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４、ＭＰＥＧ、ＭＰＥＧ−２およびＭＰＥＧ−４を含むが、これらに限定されない種々のビデオ規格をカバーする。
【００１５】
図２は、代表的なビデオ会議システム２００を示している。ビデオ会議システム２００は、現地のビデオ会議ステーション２０２とネットワーク２０６により接続された遠隔地のビデオ会議ステーション２０６とを含む。図２は２つのビデオ会議ステーション２０２および２０４のみを示しているが、当業者は、さらに多くのビデオ会議ステーションがビデオ会議システム２００に連結されることが可能であることを理解するであろう。本発明のシステムおよび方法は、ビデオデータがネットワークにおいて送信される任意の通信システムにおいて利用することが可能であることに留意する必要がある。ネットワーク２０６は、ＰＯＴＳ、ケーブル、光ファイバおよび高周波媒体のようないずれかの種類の電子送信媒体とすることが可能であるが、これらに限定されるものではない。
【００１６】
図３は、代表的なビデオ会議ステーション３００のブロック図である。簡単化のために、遠隔のビデオ会議ステーション２０４（図２）は類似する構成を含むことが可能であるが、ビデオ会議ステーション３００は現地のビデオ会議ステーション２０２（図２）として説明することとする。一実施形態において、ビデオ会議ステーション３００は、表示装置３０２、ＣＰＵ３０４、記憶装置３０６、少なくとも１つのビデオ捕捉装置３０８、画像処理エンジン３１０および通信インタフェース３１２を含む。また、他の装置は、ビデオ会議ステーション３００において提供され、または、上記の名前を挙げた装置全部とは限らないが提供される。少なくとも１つのビデオ捕捉装置３０８は、電荷結合素子（ＣＣＤ）カメラ、相補形金属酸化膜半導体（ＣＭＯＳ）カメラまたはいずれかの他の種類の画像捕捉装置として実現されることが可能である。少なくとも１つのビデオ捕捉装置３０８は、ユーザ、会議室または他のシーンの画像を捕捉し、画像処理エンジン３１０に画像を送信する。一般に、画像処理エンジン３１０は、通信インタフェース３１２が遠隔のビデオ会議ステーション２０４にデータパケットを送信する前に、ビデオ画像を処理してデータパケットにする。画像処理エンジン３１０については、図４と関連させて、さらに詳細に説明する。逆に、画像処理エンジン３１０はまた、表示装置３０２における表示のためのビデオ信号に遠隔のビデオ会議ステーションから受信されたデータパケットを変換する。
【００１７】
図４は、図３の画像処理エンジン３１０の代表的な実施形態である。画像処理エンジン３１０は、符号化エンジン４０２、マクロブロックパケット化エンジン４０４、マクロブロックパケット化エンジン４０６および通信バッファ４０８を含む。初めに、ビデオ捕捉装置３０８（図３）からのビデオ信号は、各々のビデオのフレームを好適なフォーマットに変換し、ビデオ信号の各々のフレームをマクロブロックの集合に変換する符号化エンジン４０２に入る。マクロブロックは、ピクチャ要素（または画素という）に関連するクロミナンス成分と輝度から構成されるデータのブロックを含むデータ単位である。例えば、Ｈ．２６３において、マクロブロックは、輝度データの４つの８ｘ８ブロックと４：２：０クロマサンプリングフォーマットにおける対応するクロミナンスの２つの８ｘ８ブロックから成る。データの８ｘ８ブロックデータは、各々のデータはビデオフレームの画素に対応する８列ｘ８行のデータの行列である。４：２：０クロマフォーマット化マクロブロックは、ビデオフレームの１６画素ｘ１６画素区分をカバーするデータから構成される。しかしながら、本発明は従来定義されたようなマクロブロックに限定されるものではないが、輝度および／またはクロミナンスデータから構成されるいずれかのデータ単位に拡張することが可能である。さらに、本発明の範囲は、輝度データの４つの８ｘ８ブロックとクロミナンスデータの４つの対応する８ｘ８のブロックから構成される４：２：２クロマサンプリングフォーマット、または輝度データの８ｘ８ブロックとクロミナンスデータの８つの対応する８ｘ８ブロックから構成される４：４：４クロマサンプリングフォーマットのような他のサンプリングフォーマットをカバーする。
【００１８】
さらに、符号化エンジン４０２は、データコンテンツを表すために用いられるビット数を減少させるための各々のマクロブロックを符号化する。各々のマクロブロックは、“イントラ符号化”または“インターコード化”されることが可能であり、フレームは、イントラ符号化およびインターコード化マクロブロックのいずれかの組み合わせから構成される。インターコード化されたマクロブロックは、一時的な類似性（すなわち、１つのフレームからのマクロブロックと前の符号化フレームからの非常によい適合性をもつマクロブロックとの間に存在する類似性）を用いて符号化される。厳密にいうと、所定のインター符号化マクロブロックは、所定のマクロブロックと前のビデオフレームからの近い適合性をみるマクロブロックとの間の符号化された差から構成される。前の基準ビデオフレームからの近い適合をみるマクロブロックは、所定のマクロブロックと関連する画素からオフセットされる画素と関連するデータから構成されることが可能である。また、イントラ符号化マクロブロックは、ＪＰＥＧの静止画像符号化規格により採用されているものと同様の方法で、他のビデオフレームからの情報を用いることを伴わずに符号化される。
【００１９】
例えば、所定のマクロブロックがインター符号化マクロブロックとして符号化されることが可能であるかどうかを決定するために、符号化エンジン４０２は、例えば、マクロブロック内の同じ場所に位置する画素に対応するデータ間の平均絶対誤差または平均２乗誤差により差が理解されることが可能である前のビデオフレーム（オフセットマクロブロックと呼ばれる）からのマクロブロックのデータをもつ現時点のビデオフレームの所定のマクロブロックのデータの間の差を計算する。所定のマクロブロックのために、符号化エンジン４０２が、複数の空間的オフセットマクロブロックに対するエラーを計算する。符号化エンジン４０２が所定の異なる閾値より大きいエラーのみを見つける場合、所定のマクロブロックからのデータと前のフレー間からのデータとの間に著しい類似性は存在せず、マクロブロックはイントラ符号化される。しかしながら、１つのエラーが、所定のマクロブロックおよび前のフレームからの所定のオフセットマクロブロックのための所定の差の閾値より小さいことが見つけられた場合、所定のマクロブロックはインター符号化される。
【００２０】
所定のマクロブロックをインター符号化するために、符号化エンジン４０２は、所定の差のデータを与えるためにオフセットマクロブロックデータ（すなわち、所定のマクロブロックの画素に関連する輝度およびクロミナンスデータが全ての画素のためのオフセットマクロブロックの対応する画素に関連する輝度およびクロミナンスデータから減じられる）から所定のマクロブロックのデータが減じられ、離散コサイン変換および量子化法等のような標準的な符号化技術を用いて差データを符号化し、所定のマクロブロックからオフセットマクロブロックにオフセットベクトル（動きベクトルという）を決定し、動きベクトルを符号化する。
【００２１】
現在、Ｈ．２６１およびＨ．２６３のようなビデオ符号化規格は、インター符号化マクロブロックの動きベクトルが、符号化効率を改善するために差分符号化されることを指定する、しかしながら、所定のマクロブロックに関連する符号化された動きベクトルデータは一般に隣接するマクロブロックの動きベクトルデータと無関係でないため、差分符号化は、損失されまたは破損された動きベクトルデータがエラーを伴わないで復号化される隣接するマクロブロックに伝搬するように原因となる。それ故、所定のマクロブロックの動きベクトルデータの影響は、その所定のマクロブロックに空間的に局在されていない。しかしながら、各々のインター符号化マクロブロックの動きベクトルが非差分符号化される場合、動きベクトルデータの影響はその所定のマクロブロックに局在され、その結果、エラー回復力が著しく向上する。殆どの場合、差分技術から非差分技術への動きベクトル符号化方法における変化は、全体的な符号化効率においてもたらされる損失は小さい（一般に数％より小さい）。有利なことに、従来の方法と対照的に、各々のインター符号化マクロブロックに関連する動きベクトル成分は、本発明の一実施形態に従って、差分符号化されない。
【００２２】
本発明の他の実施形態において、符号化エンジン４０２は、“ウォークアラウンドリフレッシュ”機構を用いて、フレームのマクロブロックをイントラ符号化することが可能である。“ウォークアラウンドリフレッシュ”機構は、各々のフレームのマクロブロックの特定なパターンをイントラ符号化することにより、データドリフトと呼ばれる基準フレーム不適合を一掃するための決定論的機構である。符号化エンジン４０２は、現時点のフレームのインター符号化マクロブロックの復号化におけるオフセットマクロブロックとして基準フレームのマクロブロックを用いる。本発明の一実施形態において、“ウォークアラウンドリフレッシュ”機構は、所定の整数のウォークアラウンドインターバルの集合から選択された整数のウォークアラウンドインターバルｗを用いて、マクロブロックのパターンをイントラ符号化することを可能にする。例えば、ｗ＝４７の場合、符号化エンジン４０２は、ｗ番目毎のマクロブロックをイントラ符号化する。ウォークアラウンドインターバルは、ビデオデータ送信レートとエラーレートとに基づいて選択されることが可能である。“ウォークアラウンドリフレッシュ”イントラ符号化マクロブロックは、遠隔のビデオ会議ステーション２０４（図２）の符号化エンジンにより受信されるとき、これらの“ウォークアラウンドリフレッシュ”イントラ符号化マクロブロックは、ビデオデータ送信エラーにより破損されることがあり得る前のフレームから対応するマクロブロックを置き換える。ビデオデータ送信エラーにより破損され得るマクロブロックはどれでも、さらに伝搬し（および置き換えられずに）、遠隔のビデオ会議ステーション２０４の符号化エンジンが他の受信マクロブロックを復号化するために基準マクロブロックとしてその破損されたマクロブロックを用いるとき、データドリフトが拡大することがあり得る。それ故、“ウォークアラウンドリフレッシュ”イントラ符号化マクロブロックは、基準マクロブロックとして用いられる“リフレッシュ”イントラ符号化マクロブロックの集合を遠隔のビデオ会議ステーション２０４の符号化エンジンに提供し、これにより、データドリフトの伝搬を低減する。
【００２３】
さらに、符号化エンジン４０２は、符号化ビデオフレームにおけるどのマクロブロックがイントラ符号化されるかを識別するイントラマクロブロックマップを生成することが可能である。イントラマクロブロックマップが生成された後、画像プロセッシングエンジン３１０は遠隔のビデオ会議ステーション２０４にそのマップを送信する。そのマップは、例えば、符号化されたビデオフレームに関連するピクチャヘッダフィールドの一部として送信されることが可能であるが、他のフィールドは用いられることが可能である。
【００２４】
本発明に従って、符号化エンジン４０２は、２つの方法の１つにおいてイントラマクロブロックマップを生成することが可能である。本発明の一実施形態において、符号化エンジン４０２は、フレーム内のイントラ符号化マクロブロックの場所を示すためにランレングス符号化を用いる。ランレングス符号化は、連続する文字列のサイズを減少させる技術である。本発明の他の実施形態において、符号化エンジン４０２は、ビットマップにおける各々のビットがフレームの１つのマクロブロックに対応するビットマップを生成する。ビットの値は、対応するマクロブロックの符号化タイプを識別する。例えば、本発明の一実施形態において、“１”ビットは、対応するマクロブロックがイントラ符号化されることを意味する。本発明の他の実施形態において、“１”ビットは、対応するマクロブロックがインター符号化されることを意味する。イントラマクロブロックの生成するための他の方法を、本発明における使用のために検討することが可能である。
【００２５】
本発明の他の実施形態において、符号化エンジン４０２は、最少のビット数を生成するイントラマクロブロックマップ符号化方法を選択する。例えば、３５２ｘ２８８画素（すなわち、３５２画素の水平解像度、２８８画素の垂直解像度）ＦＤＩＦビデオフレームは、２２ｘ１８マクロブロックマトリクスとして構成される３９６個のマクロブロックから構成される。必要とされ得るビットのオーバーヘッドは何れも含むことなく、ビットマップ符号化方法は３９６ビット（各々のマクロビットに対して１ビット）を必要とする。それ故、３９６ビットは、ＦＣＩＦフレーム内のイントラ符号化マクロブロックの数から独立して、ビットマップ符号化イントラマクロブロックマップを送信するために用いられる。しかしながら、対照的に、ランレングス符号化イントラマクロブロックマップを送信するために用いられるビット数はＦＣＩＦフレーム内のイントラ符号化マクロブロックの数に依存する。ランレングス符号化イントラマクロブロックマップを送信するコストはイントラ符号化マクロブロック当たり８ビット（すなわち、ラン値当たり８ビット）であって、ラン値はＦＣＩＦフレーム内のイントラ符号化マクロブロックの場所を識別する。従って、ＦＣＩＦフレームがｎ個のイントラ符号化マクロブロックを含む場合、８ｎビットが、レンレングス符号化イントラマクロブロックマップを転送するために必要とされる。
【００２６】
このようにして、ＣＩＦフレームは５０未満（ｎ＜５０）のイントラ符号化マクロブロックを含む場合は、ソースコーディングエンジン４０２はランレングス符号化方法を選択し、そうでない場合は、ソースコーディングエンジン４０２はビットマップ符号化方法を選択する。イントラマクロブロックマップ符号化方法の選択は、ＦＣＩＦビデオフレームが代表的な例であるビデオフォーマットに依存する。
【００２７】
その後、符号化マクロブロックはマクロブロック再符号化エンジン４０４に転送される。マクロブロック再符号化エンジン４０４は符号化マクロブロックを再度順序付ける。具体的には、各々のマクロブロックは、複数のマクロブロック群識別子（ＭＢＧＩＤ）からＭＢＧＩＤを割り当てられる。代表的な実施形態において、マクロブロックは、行当たり１１個のマクロブロックをもつ９行を有するＱＣＩＦフォーマット化フレームに対して、図５に示した代表的なマクロブロック割り当てパターンに従ったナンバリングされた６つに対する１つである。最大のＭＢＧＩＤは最大群識別子（ＭＧＩＤ）と呼ばれる。図５の代表的な実施形態においては、ＭＧＩＤ＝６である。図５に示したように、ＭＢＧＩＤは、同じＭＢＧＩＤを割り当てられる隣接するマクロブロックを最少にするような方法で、割り当てられる。また、他の割り当てパターンが、隣接するマクロブロックにまたはいずれかの他の割り当て順序に、同じＭＢＧＩＤを割り当てることが可能である。
【００２８】
図６を参照して以下にさらに説明するように、マクロブロックの割り当ては、それによって隣接するマクロブロックが同じＭＢＧＩＤを割り当てられないが、損失データパケットがフレームに亘って空間的に分布されるため、フレームの１つの領域におけるエラーの密度を最小化し、有利である。損失パケットによるエラーはフレームの１つの領域に密度高くなる傾向にないため、損失マクロブロックに関連する損失データは、隣接するマクロブロックからのデータを用いてさらに正確に再構築することが可能である。換言すれば、データ損失はフレーム内に空間的に局在していない場合、隣接するマクロブロックからのデータの空間的補間と損なわれたマクロブロック動きベクトルの評価はさらに正確に決定される。
【００２９】
遠隔のビデオ会議ステーション２０４（図２）の画像処理エンジン３１０（図３）の符号化エンジン４０２は、ビデオ品質を改善するためにマクロブロックの並べ換えと共に種々のエラー隠蔽技術を用いることが可能である。例えば、本発明の一実施形態において、符号化エンジン４０２は、損失インター符号化マクロブロックに隣接するマクロブロックを復号化し、損失マクロブロックの動きベクトルを評価し、さらに、損失マクロブロックのデータを再構築するために評価された動きベクトルを用いる。本発明の他の実施形態において、符号化エンジン４０２は損失イントラ符号化マクロブロックに隣接するマクロブロックを復号化し、損失データを再構築するために復号化された隣接のデータを空間的に補間することが可能である。本発明の範囲は、損失または破損マクロブロックによるビデオ品質を改善するために、マクロブロックの並び換えと共に用いられる他のエラー隠蔽技術をカバーする。
【００３０】
異なる再順序付けパターンおよびＭＢＧＩＤを、本発明に従って利用することが可能である。本発明の一実施形態において、マクロブロック再順序付けエンジン４０４は、ビデオデータレートおよび／またはビデオフォーマットに基づいて、ＭＧＩＤを選択する。
【００３１】
図４を再び参照するに、一旦、マクロブロックがＭＢＧＩＤを割り当てられると、マクロブロックパケット化エンジン４０６は、それらのＭＢＧＩＤに従って、決定論的データパケットにそのマクロブロックを配置する。それ故、同じＭＢＧＩＤ（例えば、ＭＢＧＩＤ＝１）をもつマクロブロックは、共通の離散的データパケット（例えば、データパケット＝１）に配置される。図５の、本発明の代表的な実施形態を参照するに、パケット化エンジン４０６は、ＱＣＩＦフレーム当たり６つのデータパケットにマクロブロックを配置する。しかしながら、パケット化エンジンは、所定のＭＢＧＩＤをもつマクロブロックをトランスポートするために、所定のＭＢＧＩＤをもつ２つ以上のパケットを用いることが可能である。例えば、パケット化エンジン４０６は、ＭＢＧＩＤ＝１をもつマクロブロックの一部から構成される第１データパケット１とＭＢＧＩＤ＝１をもつマクロブロックの残りの部分から構成される第２データパケットとを生成することが可能である。この方法におけるパケットの分割は、ネットワーク２０６（図２）に関連する最大転送ユニットサイズ（ＭＩＵ）により一般に左右される。
【００３２】
その後、データパケットは、通信インタフェース３１２（図３）によりネットワーク２０６（図２）に亘る送信のための通信バッファ４０８に転送される。パケット損失に対する回復力をさらに促進するために、ピクチャヘッダがデータパケット内に送信されることが可能である。
【００３３】
対照的に、画像処理エンジン３１０はまた、遠隔の場所から受信されたビデオデータパケットを処理し、表示のためにビデオ信号を提供する。初めに、データパケットは通信インタフェース３１２（図３）により受信され、通信バッファ４０８に転送される。ビデオデータパケットは、次いで、マクロブロックをアンパックするマクロブロックパケット化エンジン４０６に送信される。次いで、マクロブロック並べ換えエンジン４０４は、それらのオリジナルの順序付けられたパターン（すなわち、代表的にはラスタ走査（図２）である、遠隔のビデオ会議ステーション２０４におけるマクロブロック並べ換えの前のパターン）にマクロブロックの順序を戻す。
【００３４】
その後、符号化エンジン４０２は復号化器として機能し、ビデオデータパケットがネットワーク２０６に亘る移行において失われたかどうかを決定する。図６は、ＭＢＧＩＤ＝５をもつマクロブロックについての符号化マクロブロックデータを含むデータパケットが失われたときの、図５のＱＣＩＦフレームマクロブロック再順序付けパターンを示す図である。損失マクロブロックは“ｘ”によりマーキングされている。損失マクロブロックは、本発明の一実施形態に従って、ＱＣＩＦフレームに亘って有利に空間的に分布され、それ故、空間的補間または動きベクトル評価および補償のような方法を用いる、正確で複雑度の小さエラー隠蔽技術を可能にすることに留意する必要がある。図６は、議論の都合上、１種類の損失データパケットを示しているが、本発明の範囲は、移行の間にデータパケットの数はどれでも破損または損失されたときのエラー隠蔽をカバーする。ここでは、同じ構成要素が、送信機能と受信機能の両方に対して用いられるように表されているが、それら構成要素は分離した受信装置および送信装置において具現化されることが可能であることに、さらに留意する必要がある。
【００３５】
再び図４を参照するに、各々の損失マクロブロックに対して、符号化エンジン４０２は、損失マクロブロックがイントラ符号化されたかインター符号化されたかのどちらであるかを決定する。例えば、符号化エンジン４０２は、損失マクロブロックがイントラ符号化されたかどうかを決定するためにイントラマクロブロックマップを調べることが可能である。上記のように、イントラマクロブロックマップは、ピクチャヘッダフィールドにまたはビデオストリームの外側に伝達される副情報として送信されることが可能であり、イントラ符号化マクロブロックを識別するビットマップとして構成されるランレングス符号化アルゴリズムまたはある他の効率的符号化方法を用いて、圧縮されることが可能である。
【００３６】
損失マクロブロックがイントラ符号化される場合、幾つかのエラー隠蔽技術を用いることが可能である。例えば、損失マクロブロックが、“ウォークアラウンドリフレッシュ”機構の一部としてイントラ符号化される場合、符号化エンジン４０２は、２つの“対応する”マクロブロックがそれぞれのフレームの同じ空間領域をカバーする、前のフレームからの“対応する”マクロブロックのコンテンツで損失マクロブロックを置き換える。本発明に従って、“ウォークアラウンドリフレッシュ”機構の処理レートはデータとエラーレートとの関数である。
【００３７】
また、損失イントラ符号化マクロブロックが、“ウォークアラウンドリフレッシュ”機構の一部として符号化されない場合、符号化エンジン４０２は、隣接するマクロブロックから損失マクロブロックのコンテンツを空間的に補間する。本発明の一実施形態においては、損失マクロブロックの各々の８ｘ８ブロックが、隣接するマクロブロックにある２つの最近接ブロックから空間的に補間去れる。図７は、隣接するマクロブロックにある画素に関連するデータを用いる代表的な補間スキームについて示している。図７は、損失マクロブロック７０５、左側の隣接するマクロブロック７１０、上側の隣接するマクロブロック７１５および右側のマクロブロック７２０を含む。例えば、失われた１６ｘ１６マクロブロック７０５の左上側ブロック７２５についてのデータを再構築（補間）するために、符号化エンジン４０２（図４）は、左側の隣接するマクロブロック７１０の右上側８ｘ８ブロック７３５からデータ７３０（ｘで示される）の最終列におけるデータと、上側の隣接するマクロブロック７１５の左下側８ｘ８ブロック７４５からデータ７４０（ｘで示される）の最終行におけるデータと、を補間する。
【００３８】
同様に、失われたマクロブロック７０５の右上側ブロック７５０についてのデータを再構築するために、符号化エンジン４０２は、右側の隣接するマクロブロック７２０の左上側８ｘ８ブロック７６０からデータ７５５の第１列におけるデータと、上側の隣接するマクロブロック７１５の右下側８ｘ８ブロック７７０からデータ７６５の最終行におけるデータと、を補間する。また、補間の他の方式を適用することが可能であり、隣接するマクロブロックの他のブロックを用いることが可能であり、それらは本発明の範囲内にある。
【００３９】
損失マクロブロックがインター符号化される場合、符号化エンジン４０２は、隣接するマクロブロックの動きベクトルを調べることにより損失マクロブロックの動きベクトルの評価を計算する。図８は、本発明の一実施形態に従って、損失マクロブロックｍの動きベクトルを評価するために用いられる隣接するマクロブロックのブロック図である。損失マクロブロックｍに対して、３つの隣接するマクロブロックａ、ｂおよびｃの動きベクトルの平均値が計算される。例えば、マクロブロックｍの評価された動きベクトルのｘ成分はＭＶｍ ｘ＝ｍｅｄｉａｎ（ＭＶａ ｘ，ＭＶｂ ｘ，ＭＶｃ ｘ）であり、マクロブロックｍの評価された動きベクトルのｙ成分はＭＶｍ ｙ＝ｍｅｄｉａｎ（ＭＶａ ｙ，ＭＶｂ ｙ，ＭＶｃ ｙ）であり、ここで、ＭＶａ ｘ，ＭＶｂ ｘ，ＭＶｃ ｘは、それぞれマクロブロックａ、ｂおよびｃの動きベクトルのｘ成分であり、ＭＶａ ｙ，ＭＶｂ ｙ，ＭＶｃ ｙは、それぞれマクロブロックａ、ｂおよびｃの動きベクトルのｙ成分である。本発明の図８における実施形態は、マクロブロックｍに対して評価される動きベクトルを計算するために、隣接するマクロブロックａ、ｂおよびｃからの動きベクトルを用いているが、損失マクロブロックの動きベクトルを評価するために、隣接するマクロブロックの数および組み合わせはいずれを用いても構わない。
【００４０】
一旦、損失マクロブロックの動きベクトルが評価されると、符号化エンジン４０２（図４）は、損失マクロブロックのデータコンテンツを再構築するために評価された動きベクトルを用いることにより、損失マクロブロックを補償する。所定フレームの全ての損失マクロブロックのデータコンテンツが再構築された後、符号化エンジン４０２は、表示装置３０２（図３）における表示のためにビデオ信号にマクロブロックを変換する。１つの損失データパケットのみを示しているが、本発明は、エラーを隠蔽するために複数の損失データパケットを用いることが可能である。
【００４１】
図９は、本発明の一実施形態に従った、パケット交換ネットワークに亘ってビデオデータを送信するときの、ビデオエラー隠蔽のための方法の段階についての代表的なフローチャート９００である。段階９０５において、ビデオ捕捉装置３０８（図３）はビデオ画像を捕捉し且つビデオ信号を生成する。次に、段階９１０において、符号化エンジン４０２（図４）（または、送信のためにデータを処理するときは復号器と呼ばれる）は、ビデオ信号を受信し且つビデオ信号を１つまたはそれ以上のイントラ符号化マクロブロックおよびインター符号化マクロブロックに変換する。ビデオフレームは、インター符号化マクロブロック、イントラ符号化マクロブロックまたはイントラ符号化マクロブロックとインター符号化マクロブロックのいずれかの組み合わせから構成されることが可能である。本発明の一実施形態において、“ウォークアラウンドリフレッシュ”機構は、所定のウォークアラウンドインターバルの集合から選択されたウォークアラウンドインターバルを用いて、マクロブロックのパターンをイントラ符号化することを可能にする。ウォークアラウンドインターバルは、ビデオデータおよびエラーレートに基づいて選択されることが可能である。さらに、符号化エンジン４０２は、各々の符号化マクロブロックのために非差分符号化動きベクトルを計算する。
【００４２】
次いで、段階９１５において、符号化エンジン４０２は、イントラ符号化マクロブロックの場所を識別するイントラマクロブロックマップを生成する。本発明の一実施形態において、そのイントラマクロブロックマップは、イントラマクロブロックマップを符号化するために必要な総ビット数に基づくランレングス符号化方法かまたはビットマップ符号化方法のどちらかを用いて符号化される。
【００４３】
次に、マクロブロック再順序付けエンジン４０４は、段階９２０において各々のマクロブロックにＭＢＧＩＤを割り当てる。例えば、マクロブロックは、図５に示すようなパターンにＭＢＧＩＤを割り当てられることが可能である。一実施形態において、マクロブロックは、同じＭＢＧＩＤを割り当てられる隣接するマクロブロックを最少化するように割り当てられる。また、隣接するマクロブロックに同じＭＢＧＩＤを割り当てる他の実施形態について検討することが可能である。
【００４４】
次いで、マクロブロックパケット化エンジン４０６（図４）は、段階９２５における、それらのＭＢＧＩＤにより、離散的なデータパケットを生成し且つ離散的なデータパケットにマクロブロックを配置する。例えば、同じＭＢＧＩＤをもつマクロブロックは、共通の離散データブロックに配置すられる。また、マクロブロックパケット化エンジン４０６は、回線交換ネットワークにおけるトランスポートについて特定のフォーマットにマクロブロックを配置するために、トランスポートエンジンであることが可能である。最終的に、段階９３０において、データパケットおよびピクチャヘッダ（イントラマクロブロックマップを含む）は、遠隔のビデオ会議ステーション２０４（図２）への送信のために通信バッファ４０８に送信される。
【００４５】
図１０は、本発明に従った、ビデオデータを受信するときの、ビデオエラー隠蔽のための方法の段階についての代表的なフローチャート１０００である。段階１００５において、通信バッファ４０８（図４）は、ネットワーク２０６（図２）により遠隔のビデオ会議ステーション２０４（図２）から送信されたデータパケットを受信する。その後、段階１０１０において、マクロブロックパケット化エンジン４０６（図４）は、じゅしんされたデータパケットをマクロブロックにデパケット化する。その後、段階１０１５において、マクロブロック再順序付けエンジン４０４（図４）は、ビデオフレームにおいて適切な空間配置にマクロブロックを配置する。
【００４６】
次に、符号化エンジン４０２（図４）は段階１０２０においてマクロブロックを復号化する。符号化エンジン４０２（復号化器として機能する）またはビデオデータパケット変換（例えば、ＲＴＰシーケンス番号）に関連するある他の機構は、ビデオフレームから構成されるいずれかのマクロブロックが段階１０２５において失われたかどうかを決定する。１つまたはそれ以上のビデオデータパケットが、ネットワーク２０６におけるビデオデータパケットの送信により損失または破損される場合、マクロブロックは失われる。段階１０２５において、マクロブロックが欠落していないことが決定される場合、次いで、段階１０３０において、マクロブロックは表示装置３０２（図３）により表示される。しかしながら、段階１０２５において、１つまたはそれ以上のマクロブロックが欠落する場合、その１つまたはそれ以上の欠落したマクロブロックに関連するデータは、段階１０３５において、マクロブロック符号化タイプに基づいて再構築される。符号化エンジン４０２は、各々の損失マクロブロックの符号化タイプを決定するために、イントラマクロブロックマップを用いることが可能である。
【００４７】
例えば、損失マクロブロックが“ウォークアラウンドリフレッシュ”機構の一部としてイントラ符号化される場合、符号化エンジン４０２は損失マクロブロックコンテンツを前のフレームからの対応するマクロブロックのデータコンテンツに置き換える。また、損失イントラ符号化マクロブロックが“ウォークアラウンドリフレッシュ”機構の一部として符号化されない場合、損失マクロブロックコンテンツは、最近接の隣接するマクロブロックから空間的に補間される。本発明の一実施形態において、符号化エンジン４０２は、隣接するマクロブロックからデータを補間するために２次元補間を用いる（図７）。
【００４８】
また、損失マクロブロックがインター符号化される場合、符号化エンジン４０２は、隣接するマクロブロックの動きベクトルを調べることにより損失マクロブロックの動きベクトルを評価する。本発明の一実施形態において、動きベクトルは、３つの隣接するマクロブロックの動きベクトルの中央値として計算される（図８）。次いで、符号化エンジン４０２は、損失マクロブロックデータコンテンツの評価を再構築することにより損失マクロブロックのデータコンテンツを補償するために、評価された動きベクトルを用いる。一旦、失われたマクロブロックのデータコンテンツが再構築されると、段階１０２５において、マクロブロックは表示創始３０２により表示される。
【００４９】
本発明について、代表的な実施形態を参照して説明した。本発明の主旨と範囲から逸脱することなく、種々の変更を実施することが可能であることは、当業者にははっきり理解されるであろう。さらに、本発明は特定の実施形態と特定のアプリケーションにおける実施についてのコンテキストにおいて説明したが、本発明の有用性はそれらに限定されるものではなく、且つ本発明はあらゆる環境および実施において優位性を有して用いられることができることを、当業者は理解されるであろう。従って、上記説明および図面は、限定の意味ではなく、例示であるとして認識されるべきものである。
【図面の簡単な説明】
【００５０】
【図１】先行技術に従った、種々のビデオフォーマットに対する解像度とビットレートの要求についての表である。
【図２】本発明に従った、代表的なビデオ会議システムを示すブロック図である。
【図３】図２のビデオ会議システムの代表的なビデオ会議ステーションのブロック図である。
【図４】図３の画像処理エンジンの代表的な実施形態を示すブロック図である。
【図５】ＱＣＩＦフォーマット化ビデオフレームのためのマクロブロック再順序付けパターンの代表的な図であって、各々の値が対応する空間の場所におけるマクロブロックに割り当てられるＭＢＧＩＤである、図である。
【図６】図５のＱＣＩＦフレームマクロブロック再順序付けパターンの代表的な図であって、ＭＢＧＩＤをもつマクロブロックのための符号化マクロブロックデータを含むデータパケットが失われた、図である。
【図７】本発明の一実施形態に従った、隣接するマクロブロックにある画素に関連するデータを用いる２次元補間スキームについてのブロック図である。
【図８】本発明に従った、損失マクロブロックｍの動きベクトルを評価するために用いられる隣接するマクロブロックの代表的なブロック図である。
【図９】本発明の一実施形態に従った、ビデオデータ処理の方法の段階についての代表的なフロー図である。
【図１０】本発明に従った、ビデオデータを受信するときのビデオエラー隠蔽のための方法の段階についての代表的なフロー図である。

Claims (49)

  1. ビデオデータを処理するシステムであって：
    マクロブロックを生成するため且つマクロブロックを符号化するためにビデオ信号の各々のフレームを処理するための符号化エンジン；
    各々の符号化マクロブロックに複数のマクロブロック群識別子（ＭＢＧＩＤ）からＭＢＧＩＤを割り当てるためのマクロブロック再順序付けエンジン；並びに
    ＭＢＧＩＤに従って特定のデータパケットに各々の符号化マクロブロックを配置するためのマクロブロックパケット化エンジン；
    から構成されることを特徴とするシステム。
  2. 請求項１に記載のシステムであって、マクロブロック再順序付けエンジンは、隣接する符号化マクロブロックに異なるＭＢＧＩＤを割り当てる、ことを特徴とするシステム。
  3. 請求項１に記載のシステムであって、符号化エンジンは、インター符号化マクロブロックである符号化マクロブロックの各々のために非差分符号化動きベクトルを生成する、ことを特徴とするシステム。
  4. 請求項１に記載のシステムであって、マクロブロックパケット化エンジンは、異なるデータパケットに異なる割り当てＭＢＧＩＤをもつ符号化マクロブロックを配置する、ことを特徴とするシステム。
  5. 請求項１に記載のシステムであって、ＭＢＧＩＤは、１から最大群識別子（ＭＧＩＤ）までの値である、ことを特徴とするシステム。
  6. 請求項５に記載のシステムであって、マクロブロック再順序付けエンジンは、ビデオデータレートに基づいてＭＧＩＤを決定する、ことを特徴とするシステム。
  7. 請求項５に記載のシステムであって、マクロブロック再順序付けエンジンは、ビデオフォーマットに基づいてＭＧＩＤを決定する、ことを特徴とするシステム。
  8. 請求項１に記載のシステムであって、符号化エンジンは、重要な差異が現時点のフレームの所定のマクロブロックのデータと前のフレームの最もよく適合するオフセットマクロブロックのデータとの間にある場合、インター符号化マクロブロックとして現時点のフレームの所定のマクロブロックを符号化する、ことを特徴とするシステム。
  9. 請求項１に記載のシステムであって、符号化エンジンは、重要な類似性が現時点のフレームの所定のマクロブロックのデータと前のフレームの最もよく適合するオフセットマクロブロックのデータとの間にある場合、インター符号化マクロブロックとして現時点のフレームの所定のマクロブロックを符号化する、ことを特徴とするシステム。
  10. 請求項１に記載のシステムであって、符号化エンジンは、所定フレームにおいてイントラ符号化マクロブロックを識別するイントラマクロブロックマップをさらに生成する、ことを特徴とするシステム。
  11. 請求項１０に記載のシステムであって、符号化エンジンは、最少ビット数を生成するイントラマクロブロックマップ符号化方法を選択することによりイントラマクロブロックマップを符号化する、ことを特徴とするシステム。
  12. 請求項１０に記載のシステムであって、符号化エンジンは、イントラマクロブロックマップを符号化するためにランレングス符号化を用いる、ことを特徴とするシステム。
  13. 請求項１０に記載のシステムであって、符号化エンジンは、イントラマクロブロックマップを符号化するためにビットマップを用いる、ことを特徴とするシステム。
  14. 請求項１に記載のシステムであって、受信装置のマクロブロックパケット化エンジンは、符号化マクロブロックをデパケット化する、ことを特徴とするシステム。
  15. 請求項１に記載のシステムであって、受信装置のマクロブロックパケット化エンジンは、符号化マクロブロックを順序付ける、ことを特徴とするシステム。
  16. 請求項１に記載のシステムであって、受信装置の符号化エンジンは、符号化マクロブロックを復号化し且つ欠落した復号化マクロブロックを検出する、ことを特徴とするシステム。
  17. 請求項１６に記載のシステムであって、受信装置の符号化エンジンは、所定の欠落した復号化マクロブロックがイントラ符号化マクロブロックとして符号化される場合、ビデオエラーの隠蔽効果のために隣接する復号化マクロブロックのデータから所定の欠落した復号化マクロブロックのデータを空間的に補間する、ことを特徴とするシステム。
  18. 請求項１６に記載のシステムであって、受信装置の符号化エンジンは、所定の欠落した復号化マクロブロックがイントラ符号化マクロブロックとして符号化される場合、ビデオエラーの隠蔽効果のための動き補償により所定の欠落した符号化マクロブロックのデータコンテンツを再構築するために隣接する復号化マクロブロックの動きベクトルに基づいて所定の欠落した復号化マクロブロックの動きベクトルを評価する、ことを特徴とするシステム。
  19. 請求項１に記載のシステムであって、マクロブロックパケット化エンジンは、回線交換ネットワークにおけるトランスポートのための特定のフォーマットにＭＢＧＩＤに従った各々の符号化マクロブロックを配置するためのトランスポートエンジンである、ことを特徴とするシステム。
  20. ビデオデータを処理する方法であって：
    マクロブロックを生成するためにビデオ信号の各々のフレームを処理する段階；
    マクロブロックを符号化する段階；
    複数のマクロブロック群識別子（ＭＢＧＩＤ）から各々の符号化マクロブロックにＭＢＧＩＤを割り当てる段階；並びに
    ＭＢＧＩＤに従って特定のデータパケットに各々の復号化マクロブロックを配置する段階；
    から構成されることを特徴とする方法。
  21. 請求項２０に記載のシステムであって、割り当てる段階は、隣接する符号化マクロブロックに異なるＭＢＧＩＤを割り当てる手順からさらに構成される、ことを特徴とする方法。
  22. 請求項２０に記載のシステムであって、インター符号化マクロブロックである各々の符号化マクロブロックのために非差分符号化動きベクトルを生成する段階からさらに構成される、ことを特徴とする方法。
  23. 請求項２０に記載のシステムであって、配置する段階は、異なるデータパケットに異なる割り当てＭＢＧＩＤをもつ符号化マクロブロックを配置する手順からさらに構成される、ことを特徴とする方法。
  24. 請求項２０に記載の方法であって、ＭＢＧＩＤは、１から最大群識別子（ＭＧＩＤ）までの値である、ことを特徴とする方法。
  25. 請求項２３に記載の方法であって、ビデオデータレートに基づいてＭＧＩＤを決定する段階からさらに構成される、ことを特徴とする方法。
  26. 請求項２３に記載の方法であって、ビデオフォーマットに基づいてＭＧＩＤを決定する段階からさらに構成される、ことを特徴とする方法。
  27. 請求項２０に記載の方法であって、符号化する段階は、重要な差異が現時点のフレームの所定のマクロブロックのデータと前のフレームの最もよく適合するオフセットマクロブロックのデータとの間にある場合、インター符号化マクロブロックとして現時点のフレームの所定のマクロブロックを符号化する手順からさらに構成される、ことを特徴とする方法。
  28. 請求項２０に記載のシステムであって、符号化する段階は、重要な類似性が現時点のフレームの所定のマクロブロックのデータと前のフレームの最もよく適合するオフセットマクロブロックのデータとの間にある場合、インター符号化マクロブロックとして現時点のフレームの所定のマクロブロックを符号化する手順からさらに構成される、ことを特徴とする方法。
  29. 請求項２０に記載の方法であって、所定フレームにおいてイントラ符号化マクロブロックを識別するイントラマクロブロックマップを生成する段階からさらに構成される、ことを特徴とする方法。
  30. 請求項２９に記載の方法であって、最少ビット数を生成するイントラマクロブロックマップ符号化方法を選択する段階からさらに構成される、ことを特徴とする方法。
  31. 請求項２９に記載の方法であって、イントラマクロブロックマップを符号化するためにランレングス符号化を用いる段階からさらに構成される、ことを特徴とする方法。
  32. 請求項２９に記載の方法であって、イントラマクロブロックマップを符号化するためにビットマップを用いる段階からさらに構成される、ことを特徴とする方法。
  33. 請求項２０に記載の方法であって、符号化マクロブロックをデパケット化する段階からさらに構成される、ことを特徴とする方法。
  34. 請求項２０に記載の方法であって、符号化マクロブロックを順序付ける段階からさらに構成される、ことを特徴とする方法。
  35. 請求項２０に記載の方法であって、符号化マクロブロックを復号化する段階と欠落した復号化マクロブロックを検出する段階とからさらに構成される、ことを特徴とする方法。
  36. 請求項３５に記載の方法であって、所定の欠落した復号化マクロブロックがイントラ符号化マクロブロックとして符号化される場合、ビデオエラーの隠蔽効果のために隣接する復号化マクロブロックのデータから所定の欠落した復号化マクロブロックのデータを空間的に補間する段階からさらに構成される、ことを特徴とする方法。
  37. 請求項３５に記載の方法であって、所定の欠落した復号化マクロブロックがイントラ符号化マクロブロックとして符号化される場合、ビデオエラーの隠蔽効果のための動き補償により所定の欠落した符号化マクロブロックのデータコンテンツを再構築するために隣接する復号化マクロブロックの動きベクトルに基づいて所定の欠落した復号化マクロブロックの動きベクトルを評価する段階からさらに構成される、ことを特徴とする方法。
  38. 請求項２０に記載の方法であって、回線交換ネットワークにおけるトランスポートのための特定のフォーマットにＭＢＧＩＤに従った各々の符号化マクロブロックを配置すする段階からさらに構成される、ことを特徴とする方法。
  39. プログラムを実施する電子的に読み取り可能な媒体であって、プログラムはビデオデータを処理するための方法の段階を実行するために機械により実行可能であり、前記方法の段階は：
    マクロブロックを生成するためにビデオ信号の各々のフレームを処理する段階；
    マクロブロックを符号化する段階；
    複数のマクロブロック群識別子（ＭＢＧＩＤ）から各々の符号化マクロブロックにＭＢＧＩＤを割り当てる段階；並びに
    ＭＢＧＩＤに従って特定のデータパケットに各々の復号化マクロブロックを配置する段階；
    から構成される、ことを特徴とする電子的に読み取り可能な媒体。
  40. 請求項３９に記載の電子的に読み取り可能な媒体であって、前記方法の段階は、隣接する符号化マクロブロックに異なるＭＢＧＩＤを割り当てる手順からさらに構成される、ことを特徴とする電子的に読み取り可能な媒体。
  41. 請求項３９に記載の電子的に読み取り可能な媒体であって、前記方法の段階は、インター符号化マクロブロックである各々の符号化マクロブロックのために非差分符号化動きベクトルを生成する段階からさらに構成される、ことを特徴とする電子的に読み取り可能な媒体。
  42. 請求項３９に記載の電子的に読み取り可能な媒体であって、前記配置する段階は、異なるデータパケットに異なる割り当てＭＢＧＩＤをもつ符号化マクロブロックを配置する手順からさらに構成される、ことを特徴とする電子的に読み取り可能な媒体。
  43. 請求項３９に記載の電子的に読み取り可能な媒体であって、前記符号化する段階は、重要な差異が現時点のフレームの所定のマクロブロックのデータと前のフレームの最もよく適合するオフセットマクロブロックのデータとの間にある場合、インター符号化マクロブロックとして現時点のフレームの所定のマクロブロックを符号化する手順からさらに構成される、ことを特徴とする電子的に読み取り可能な媒体。
  44. 請求項３９に記載の電子的に読み取り可能な媒体であって、前記符号化する段階は、重要な類似性が現時点のフレームの所定のマクロブロックのデータと前のフレームの最もよく適合するオフセットマクロブロックのデータとの間にある場合、インター符号化マクロブロックとして現時点のフレームの所定のマクロブロックを符号化する手順からさらに構成される、ことを特徴とする電子的に読み取り可能な媒体。
  45. 請求項３９に記載の電子的に読み取り可能な媒体であって、所定フレームにおいてイントラ符号化マクロブロックを識別するイントラマクロブロックマップを生成する段階からさらに構成される、ことを特徴とする方法。
  46. ビデオデータを処理する方法であって：
    ビデオ信号の各々のフレームのためにマクロブロックを生成する段階；
    マクロブロックを符号化する段階；
    複数のマクロブロック群識別子（ＭＢＧＩＤ）から各々の符号化マクロブロックにＭＢＧＩＤを割り当てる段階；
    異なるデータパケットに異なる割り当てＭＢＧＩＤをもつ符号化マクロブロックを配置する段階；
    遠隔装置に異なるデータパケットを送信する段階；
    遠隔装置において受信された異なるデータパケットの符号化マクロブロックを復号化する段階；
    欠落した復号化マクロブロックを検出する段階；並びに
    欠落した復号化マクロブロックのデータを再構築する段階；
    から構成されることを特徴とする方法。
  47. 請求項４６に記載の方法であって、前記データを再構築する段階は、所定の欠落した復号化マクロブロックがイントラ符号化マクロブロックとして符号化される場合、ビデオエラーの隠蔽効果のために隣接する復号化マクロブロックのデータから所定の欠落した復号化マクロブロックのデータを空間的に補間する手順からさらに構成される、ことを特徴とする方法。
  48. 請求項４６に記載の方法であって、前記データを再構築する段階は、所定の欠落した復号化マクロブロックがインター符号化マクロブロックとして符号化される場合、ビデオエラーの隠蔽効果のための動き補償により所定の欠落した復号化マクロブロックのデータコンテンツを再構築するために隣接する復号化マクロブロックの動きベクトルに基づいて所定の靴楽した復号化マクロブロックの動きベクトルを評価する手順からさらに構成される、ことを特徴とする方法。
  49. ビデオデータを処理するためのシステムであって：
    マクロブロックを生成するためにビデオ信号の各々のフレームを処理するための手段；
    マクロブロックを符号化するための手段；
    複数のマクロブロック群識別子（ＭＢＧＩＤ）から各々の符号化マクロブロックにＭＢＧＩＤを割り当てるための手段；並びに
    ＭＢＧＩＤに従って特定のデータパケットに各々の符号化マクロブロックを配置するための手段；
    から構成されることを特徴とするシステム。
JP2003524260A 2001-08-23 2002-08-23 ビデオエラー隠蔽のためのシステムおよび方法 Expired - Lifetime JP4881543B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US31441301P 2001-08-23 2001-08-23
US60/314,413 2001-08-23
PCT/US2002/026577 WO2003019939A1 (en) 2001-08-23 2002-08-23 System and method for video error concealment

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011225808A Division JP2012070391A (ja) 2001-08-23 2011-10-13 ビデオエラー隠蔽のためのシステムおよび方法

Publications (3)

Publication Number Publication Date
JP2005501488A true JP2005501488A (ja) 2005-01-13
JP2005501488A5 JP2005501488A5 (ja) 2005-10-06
JP4881543B2 JP4881543B2 (ja) 2012-02-22

Family

ID=23219857

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2003524260A Expired - Lifetime JP4881543B2 (ja) 2001-08-23 2002-08-23 ビデオエラー隠蔽のためのシステムおよび方法
JP2011225808A Pending JP2012070391A (ja) 2001-08-23 2011-10-13 ビデオエラー隠蔽のためのシステムおよび方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2011225808A Pending JP2012070391A (ja) 2001-08-23 2011-10-13 ビデオエラー隠蔽のためのシステムおよび方法

Country Status (15)

Country Link
US (2) US7239662B2 (ja)
EP (1) EP1421787A4 (ja)
JP (2) JP4881543B2 (ja)
KR (1) KR100691307B1 (ja)
CN (1) CN100581238C (ja)
AU (1) AU2002326713B2 (ja)
BR (2) BRPI0212000B1 (ja)
CA (1) CA2457882C (ja)
IL (2) IL160476A0 (ja)
MX (1) MXPA04001656A (ja)
NO (2) NO339116B1 (ja)
NZ (1) NZ531863A (ja)
RU (1) RU2291586C2 (ja)
WO (1) WO2003019939A1 (ja)
ZA (1) ZA200401377B (ja)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6965644B2 (en) * 1992-02-19 2005-11-15 8×8, Inc. Programmable architecture and methods for motion estimation
WO2003061284A1 (en) * 2001-12-21 2003-07-24 Polycom, Inc. Motion wake identification and control mechanism
US20060146940A1 (en) * 2003-01-10 2006-07-06 Thomson Licensing S.A. Spatial error concealment based on the intra-prediction modes transmitted in a coded stream
EP1581853B1 (en) * 2003-01-10 2014-11-19 Thomson Licensing Technique for defining concealment order to minimize error propagation
US7827458B1 (en) 2003-03-03 2010-11-02 Apple Inc. Packet loss error recovery
US7817716B2 (en) * 2003-05-29 2010-10-19 Lsi Corporation Method and/or apparatus for analyzing the content of a surveillance image
US8705613B2 (en) * 2003-06-26 2014-04-22 Sony Corporation Adaptive joint source channel coding
US7826526B2 (en) * 2003-10-20 2010-11-02 Logitech Europe S.A. Methods and apparatus for encoding and decoding video data
US8582640B2 (en) * 2003-12-16 2013-11-12 Sony Corporation Adaptive joint source channel coding
US20050281339A1 (en) * 2004-06-22 2005-12-22 Samsung Electronics Co., Ltd. Filtering method of audio-visual codec and filtering apparatus
US20060013315A1 (en) * 2004-07-19 2006-01-19 Samsung Electronics Co., Ltd. Filtering method, apparatus, and medium used in audio-video codec
JP2006060813A (ja) 2004-08-20 2006-03-02 Polycom Inc ビデオデコーダにおける誤り隠蔽
EP1638337A1 (en) 2004-09-16 2006-03-22 STMicroelectronics S.r.l. Method and system for multiple description coding and computer program product therefor
US7543064B2 (en) * 2004-09-30 2009-06-02 Logitech Europe S.A. Multiplayer peer-to-peer connection across firewalls and network address translators using a single local port on the local host
US7463755B2 (en) * 2004-10-10 2008-12-09 Qisda Corporation Method for correcting motion vector errors caused by camera panning
US20060262860A1 (en) * 2005-02-23 2006-11-23 Chou Jim C Macroblock adaptive frame/field coding architecture for scalable coding
US7738468B2 (en) * 2005-03-22 2010-06-15 Logitech Europe S.A. Method and apparatus for packet traversal of a network address translation device
TW200709580A (en) * 2005-05-11 2007-03-01 Qualcomm Inc A method and apparatus for unified error concealment framework
US9661376B2 (en) 2005-07-13 2017-05-23 Polycom, Inc. Video error concealment method
US9055298B2 (en) 2005-07-15 2015-06-09 Qualcomm Incorporated Video encoding method enabling highly efficient partial decoding of H.264 and other transform coded information
US7916796B2 (en) * 2005-10-19 2011-03-29 Freescale Semiconductor, Inc. Region clustering based error concealment for video data
US9516326B1 (en) 2005-12-09 2016-12-06 Nvidia Corporation Method for rotating macro-blocks of a frame of a video stream
US9794593B1 (en) * 2005-12-09 2017-10-17 Nvidia Corporation Video decoder architecture for processing out-of-order macro-blocks of a video stream
US8238442B2 (en) * 2006-08-25 2012-08-07 Sony Computer Entertainment Inc. Methods and apparatus for concealing corrupted blocks of video data
US8443398B2 (en) * 2006-11-01 2013-05-14 Skyfire Labs, Inc. Architecture for delivery of video content responsive to remote interaction
US8711929B2 (en) * 2006-11-01 2014-04-29 Skyfire Labs, Inc. Network-based dynamic encoding
US9247260B1 (en) * 2006-11-01 2016-01-26 Opera Software Ireland Limited Hybrid bitmap-mode encoding
US8375304B2 (en) * 2006-11-01 2013-02-12 Skyfire Labs, Inc. Maintaining state of a web page
CN101202923B (zh) * 2006-12-15 2010-09-01 扬智科技股份有限公司 影像解码器的码流错误侦测方法
EP2099227B1 (en) * 2006-12-27 2019-11-13 Panasonic Intellectual Property Management Co., Ltd. Moving picture image decoding device
US20080184128A1 (en) * 2007-01-25 2008-07-31 Swenson Erik R Mobile device user interface for remote interaction
US7957307B2 (en) * 2007-03-14 2011-06-07 Microsoft Corporation Reducing effects of packet loss in video transmissions
KR101125846B1 (ko) * 2007-03-23 2012-03-28 삼성전자주식회사 패킷 기반의 영상 프레임 전송 방법 및 장치
US8582656B2 (en) * 2007-04-13 2013-11-12 Apple Inc. Method and system for video encoding and decoding
US8605779B2 (en) * 2007-06-20 2013-12-10 Microsoft Corporation Mechanisms to conceal real time video artifacts caused by frame loss
DE102007058033A1 (de) * 2007-11-30 2009-06-04 Paterok, Peter, Dr. Verfahren und Vorrichtung zur verbesserten Videoausgabe
FR2929466A1 (fr) * 2008-03-28 2009-10-02 France Telecom Dissimulation d'erreur de transmission dans un signal numerique dans une structure de decodage hierarchique
US20100104003A1 (en) * 2008-10-24 2010-04-29 Manufacturing Resources International Inc. System and method for securely transmitting video data
US9812047B2 (en) 2010-02-25 2017-11-07 Manufacturing Resources International, Inc. System and method for remotely monitoring the operating life of electronic displays
US8648858B1 (en) 2009-03-25 2014-02-11 Skyfire Labs, Inc. Hybrid text and image based encoding
CN102036061B (zh) 2009-09-30 2012-11-21 华为技术有限公司 视频数据传输处理、发送处理方法、装置和网络系统
KR101457418B1 (ko) * 2009-10-23 2014-11-04 삼성전자주식회사 계층적 부호화 단위의 크기에 따른 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
US20110249127A1 (en) * 2010-04-07 2011-10-13 Cisco Technology, Inc. Estimating Video Quality Corruption in Lossy Networks
JP5485851B2 (ja) * 2010-09-30 2014-05-07 日本電信電話株式会社 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
US9542611B1 (en) * 2011-08-11 2017-01-10 Harmonic, Inc. Logo detection for macroblock-based video processing
CN103179468B (zh) * 2011-12-22 2018-03-30 海尔集团公司 多媒体数据传输装置、系统及方法
GB2499831B (en) * 2012-03-02 2015-08-05 Canon Kk Method and device for decoding a bitstream
RU2485592C1 (ru) * 2012-03-07 2013-06-20 Федеральное государственное унитарное предприятие "Государственный научно-исследовательский институт авиационных систем" Способ формирования целочисленных неортогональных декоррелирующих матриц заданных размеров и устройство для его осуществления
US9386326B2 (en) 2012-10-05 2016-07-05 Nvidia Corporation Video decoding error concealment techniques
US9479788B2 (en) * 2014-03-17 2016-10-25 Qualcomm Incorporated Systems and methods for low complexity encoding and background detection
JP6481457B2 (ja) * 2015-03-26 2019-03-13 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像復号装置、及び動画像復号方法
US10319408B2 (en) 2015-03-30 2019-06-11 Manufacturing Resources International, Inc. Monolithic display with separately controllable sections
US10922736B2 (en) 2015-05-15 2021-02-16 Manufacturing Resources International, Inc. Smart electronic display for restaurants
US10269156B2 (en) 2015-06-05 2019-04-23 Manufacturing Resources International, Inc. System and method for blending order confirmation over menu board background
US10353785B2 (en) 2015-09-10 2019-07-16 Manufacturing Resources International, Inc. System and method for systemic detection of display errors
CN105611290B (zh) * 2015-12-28 2019-03-26 惠州Tcl移动通信有限公司 一种基于移动终端的无线传输图片的处理方法和系统
US10319271B2 (en) 2016-03-22 2019-06-11 Manufacturing Resources International, Inc. Cyclic redundancy check for electronic displays
AU2017273560B2 (en) 2016-05-31 2019-10-03 Manufacturing Resources International, Inc. Electronic display remote image verification system and method
US10510304B2 (en) 2016-08-10 2019-12-17 Manufacturing Resources International, Inc. Dynamic dimming LED backlight for LCD array
CN107888931B (zh) * 2017-11-28 2020-03-17 上海大学 一种利用视频统计特征预测差错敏感度的方法
US11645029B2 (en) 2018-07-12 2023-05-09 Manufacturing Resources International, Inc. Systems and methods for remotely monitoring electronic displays
US10908863B2 (en) 2018-07-12 2021-02-02 Manufacturing Resources International, Inc. System and method for providing access to co-located operations data for an electronic display
CN109936624B (zh) * 2019-01-31 2022-03-18 平安科技（深圳）有限公司 Http请求报文头的适配方法、装置和计算机设备
US11402940B2 (en) 2019-02-25 2022-08-02 Manufacturing Resources International, Inc. Monitoring the status of a touchscreen
US11137847B2 (en) 2019-02-25 2021-10-05 Manufacturing Resources International, Inc. Monitoring the status of a touchscreen
US11921010B2 (en) 2021-07-28 2024-03-05 Manufacturing Resources International, Inc. Display assemblies with differential pressure sensors
US11965804B2 (en) 2021-07-28 2024-04-23 Manufacturing Resources International, Inc. Display assemblies with differential pressure sensors
US11895362B2 (en) 2021-10-29 2024-02-06 Manufacturing Resources International, Inc. Proof of play for images displayed at electronic displays
US11972672B1 (en) 2022-10-26 2024-04-30 Manufacturing Resources International, Inc. Display assemblies providing open and unlatched alerts, systems and methods for the same

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0286241A (ja) * 1988-09-21 1990-03-27 Nippon Telegr & Teleph Corp <Ntt> 可変レート画像階層符号化伝送方式
US5400076A (en) * 1991-11-30 1995-03-21 Sony Corporation Compressed motion picture signal expander with error concealment
US5440344A (en) * 1992-04-28 1995-08-08 Mitsubishi Denki Kabushiki Kaisha Video encoder using adjacent pixel difference for quantizer control
US5576902A (en) * 1993-01-13 1996-11-19 Hitachi America, Ltd. Method and apparatus directed to processing trick play video data to compensate for intentionally omitted data
JP2679941B2 (ja) * 1993-05-10 1997-11-19 松下電器産業株式会社 ディジタル磁気記録再生装置
KR940026915A (ko) * 1993-05-24 1994-12-10 오오가 노리오 디지탈 비디오신호 기록장치 및 재생장치 및 기록방법
JPH0730896A (ja) * 1993-06-25 1995-01-31 Matsushita Electric Ind Co Ltd 動きベクトル符号化及び復号化方法
JPH0730855A (ja) * 1993-07-08 1995-01-31 Sony Corp ビデオデータの記録方法
EP0647066A3 (en) * 1993-09-30 1996-08-14 Toshiba Kk Packet conversion apparatus and system.
US5481297A (en) * 1994-02-25 1996-01-02 At&T Corp. Multipoint digital video communication system
JP3046224B2 (ja) * 1994-07-26 2000-05-29 三星電子株式会社 固定ビット率の符号化方法および装置とこれを利用した高速探索のためのトラッキング方法
JP3474005B2 (ja) * 1994-10-13 2003-12-08 沖電気工業株式会社 動画像符号化方法及び動画像復号方法
JPH08256333A (ja) * 1995-03-16 1996-10-01 Matsushita Electric Ind Co Ltd 画像符号化復号方法及び装置
JPH0973617A (ja) * 1995-09-07 1997-03-18 Sony Corp 回転ヘッド装置
US5883678A (en) * 1995-09-29 1999-03-16 Kabushiki Kaisha Toshiba Video coding and video decoding apparatus for reducing an alpha-map signal at a controlled reduction ratio
US5724369A (en) 1995-10-26 1998-03-03 Motorola Inc. Method and device for concealment and containment of errors in a macroblock-based video codec
JP3400428B2 (ja) * 1996-05-17 2003-04-28 松下電器産業株式会社 画像伝送方法
KR0178756B1 (ko) * 1996-06-29 1999-04-15 김광호 셔플을 위한 최적의 메모리 제어방법 및 그 장치
US6154780A (en) * 1996-12-18 2000-11-28 Intel Corporation Method and apparatus for transmission of a flexible and error resilient video bitstream
GB9703470D0 (en) * 1997-02-19 1997-04-09 Thomson Consumer Electronics Trick play reproduction of MPEG encoded signals
US6639945B2 (en) * 1997-03-14 2003-10-28 Microsoft Corporation Method and apparatus for implementing motion detection in video compression
JP4014263B2 (ja) * 1997-10-01 2007-11-28 松下電器産業株式会社 映像信号変換装置及び映像信号変換方法
US6163868A (en) 1997-10-23 2000-12-19 Sony Corporation Apparatus and method for providing robust error recovery for errors that occur in a lossy transmission environment
JPH11298878A (ja) * 1998-04-08 1999-10-29 Nec Corp 画像スクランブル方法およびそれを実施する装置
GB2347038A (en) * 1999-02-18 2000-08-23 Nokia Mobile Phones Ltd A video codec using re-transmission
US6754271B1 (en) * 1999-04-15 2004-06-22 Diva Systems Corporation Temporal slice persistence method and apparatus for delivery of interactive program guide
US6115076A (en) 1999-04-20 2000-09-05 C-Cube Semiconductor Ii, Inc. Compressed video recording device with non-destructive effects addition
JP2001078042A (ja) * 1999-09-03 2001-03-23 Fuji Xerox Co Ltd 画像伸長処理装置および画像圧縮処理装置
JP3976975B2 (ja) * 1999-12-22 2007-09-19 キヤノン株式会社 画像処理装置及びその方法と記憶媒体
US6993074B2 (en) 2000-03-24 2006-01-31 Microsoft Corporation Methods and arrangements for handling concentric mosaic image data
US6721362B2 (en) * 2001-03-30 2004-04-13 Redrock Semiconductor, Ltd. Constrained discrete-cosine-transform coefficients for better error detection in a corrupted MPEG-4 bitstreams

Also Published As

Publication number Publication date
CA2457882C (en) 2009-06-02
NO339116B1 (no) 2016-11-14
IL160476A (en) 2009-02-11
ZA200401377B (en) 2005-07-27
EP1421787A4 (en) 2008-10-08
US20030039312A1 (en) 2003-02-27
IL160476A0 (en) 2004-07-25
NO20040754L (no) 2004-04-23
CA2457882A1 (en) 2003-03-06
BRPI0212000B1 (pt) 2017-12-12
US7239662B2 (en) 2007-07-03
KR100691307B1 (ko) 2007-03-12
JP4881543B2 (ja) 2012-02-22
US20070230583A1 (en) 2007-10-04
BR0212000A (pt) 2004-09-28
MXPA04001656A (es) 2004-11-22
RU2004105598A (ru) 2005-07-20
JP2012070391A (ja) 2012-04-05
NZ531863A (en) 2005-10-28
NO343205B1 (no) 2018-12-03
KR20040027982A (ko) 2004-04-01
WO2003019939A1 (en) 2003-03-06
CN1679330A (zh) 2005-10-05
RU2291586C2 (ru) 2007-01-10
NO20161599A1 (no) 2004-04-23
CN100581238C (zh) 2010-01-13
AU2002326713B2 (en) 2006-12-14
EP1421787A1 (en) 2004-05-26

Similar Documents

Publication Publication Date Title
JP4881543B2 (ja) ビデオエラー隠蔽のためのシステムおよび方法
AU2002326713A1 (en) System and method for video error concealment
US7020203B1 (en) Dynamic intra-coded macroblock refresh interval for video error concealment
JP4494789B2 (ja) 動的フィルタのコーディング
JP5456106B2 (ja) ビデオ誤り隠蔽法
US8780970B2 (en) Motion wake identification and control mechanism
US20110026592A1 (en) Intra block walk around refresh for h.264
GB2343321A (en) Error concealment in a video signal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080205

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081218

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090128

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20090213

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110916

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110922

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111013

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111205

R150 Certificate of patent or registration of utility model

Ref document number: 4881543

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141209

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term