JP2004215252A - ビデオエラー隠蔽のための動的イントラ符号化マクロブロックリフレッシュインターバル - Google Patents
ビデオエラー隠蔽のための動的イントラ符号化マクロブロックリフレッシュインターバル Download PDFInfo
- Publication number
- JP2004215252A JP2004215252A JP2003425519A JP2003425519A JP2004215252A JP 2004215252 A JP2004215252 A JP 2004215252A JP 2003425519 A JP2003425519 A JP 2003425519A JP 2003425519 A JP2003425519 A JP 2003425519A JP 2004215252 A JP2004215252 A JP 2004215252A
- Authority
- JP
- Japan
- Prior art keywords
- macroblocks
- macroblock
- video
- intra
- coded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/164—Feedback from the receiver or from the transmission channel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/164—Feedback from the receiver or from the transmission channel
- H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
【課題】一実施形態において、ビデオのエラーを隠蔽するためのシステムおよび方法を提供する。
【解決手段】そのシステムは、マクロブロックを生成するためにビデオ信号の各々のフレームを処理し、ネットワーク通信パラメータに基づいてリフレッシュインターバルを選択し、そして選択されたリフレッシュインターバルに基づいてリフレッシュイントラ符号化マクロブロックとして1つまたはそれ以上のマクロブロックを符号化するための符号化エンジンを含む。リフレッシュイントラ符号化マクロブロックは、1つまたはそれ以上の遠隔の装置に亘る送信のためにディスクリートデータパケットに配置される。符号化エンジンは受信されたイントラ符号化マクロブロックを復号化し、予測ドリフトに関連するビデオエラーを減少させるために基準フレームマクロブロックとして用いられる新しく復号化されたビデオフレームに復号化されたマクロブロックを配置する。
【選択図】図2
【解決手段】そのシステムは、マクロブロックを生成するためにビデオ信号の各々のフレームを処理し、ネットワーク通信パラメータに基づいてリフレッシュインターバルを選択し、そして選択されたリフレッシュインターバルに基づいてリフレッシュイントラ符号化マクロブロックとして1つまたはそれ以上のマクロブロックを符号化するための符号化エンジンを含む。リフレッシュイントラ符号化マクロブロックは、1つまたはそれ以上の遠隔の装置に亘る送信のためにディスクリートデータパケットに配置される。符号化エンジンは受信されたイントラ符号化マクロブロックを復号化し、予測ドリフトに関連するビデオエラーを減少させるために基準フレームマクロブロックとして用いられる新しく復号化されたビデオフレームに復号化されたマクロブロックを配置する。
【選択図】図2
Description
本発明は、一般に、ビデオ通信に関し、特に、ビデオエラー隠蔽に関する。
ビデオ画像はグローバルコミュニケーションの一部として次第に重要になってきた。特に、ビデオ会議およびビデオ電話は、デスクトップおよび部屋ベースの会議、インターネットおよび電話回線におけるビデオ、監視およびモニタリング、遠隔治療およびコンピュータベースのトレーニングおよび教育のような幅広いアプリケーションを有している。これらのアプリケーションの各々において、ビデオとそれに伴うオーディオ情報は、電話回線、ISDN、DSLおよび超音波を含む通信回線を通じて送信される。
ビデオ会議において用いられる標準ビデオフォーマットは、国際電気通信連合(ITU:International Telecommunications Union)のH.261ビデオ会議規格の一部である共通中間フォーマット(CIF:Common Intermediate Format)である。CIFより大きいかまたは小さいかどちらかの解像度をもつ付加的なフォーマットがまた確立された。図1は、平均して、1つの画素に対して12ビットが必要であるという仮定の下での種々のビデオフォーマットに関するビットレートの要求および解像度についての表である。示されているビットレート(単位は秒当たりのメガビット、すなわちMbpsとして)は非圧縮のカラービデオフレームに対するものである。
現在、ビデオ信号の効率的な送信および受信は、ビデオおよびそれに伴うオーディオデータの符号化および圧縮を必要としている。ビデオ圧縮符号化はデジタルビデオデータを符号化する方法であり、それ故、ビデオデータを記憶するために記憶容量をあまり必要とせず、必要とされる送信帯域幅は減少されている。特定の圧縮/展開CODEC)スキームは、必要とされる送信ビットレートを減少させてビデオフレームを圧縮するためにしばしば用いられる。それ故、CODECハードウェアおよびソフトウェアは、デジタルビデオデータがオリジナル(非圧縮)のデジタルビデオフォーマットにより必要とされるよりコンパクトなバイナリフォーマットに圧縮されることを可能にする。
ソースビデオ信号を符号化し且つ圧縮することに対する幾つかの従来の方法がある。一部の規格が、静止画像に対するJPEG(Joint Photographic Experts Group)、並びに動画像に対するH.261、H.263、MPEG、MPEG−2およびMPEG−4のような特定のアプリケーションについてデザインされている。動画像に対しては、これらの符号化規格は、一般にマクロブロックと呼ばれる16x16画素におけるブロックベースの動き補償予測を代表的に用いる。一実施形態においては、マクロブロックは、クロミナンスデータが垂直方向および水平方向において2:1にサブサンプリングされる4:2:0サンプリング構造に従ったクロミナンスデータの4つの8x8ブロックおよびクロミナンスデータの2つの対応する8x8ブロックを含む情報の単位である。
オーディオがビデオを伴うアプリケーションに対しては、実際的には、オーディオデータはまた、ビデオデータと共に圧縮され、送信され、そして同期化される必要がある。同期化、多重化およびプロトコルの問題は、H.320(ISDNベースのビデオ会議)、H.324(POTSベースのビデオ電話)およびH.323(LANまたはIPベースのビデオ会議)のような規格によりカバーされている。H.263(または前身のH.261)は、これらの規格群のビデオ符号化部分を提供する。
動き評価および補償スキームは、ビデオ信号に必要な送信帯域幅を減少させるために、一般に用いられる1つの従来の方法である。マクロブロックは基本データ単位であるため、動く評価および補償スキームは、現時点のビデオフレームにおける所定のマクロブロックを前に送信された基準ビデオフレームにおける所定のマクロブロックの周辺領域と比較することが可能である。データの近い適合がみられる場合、僅かの差(すなわち、残差)および空間オフセットは符号化され且つ送信されることが必要であるように、前に送信された基準ビデオフレームにおいて近い適合をみるオフセットマクロブロックから現時点のビデオフレームにおける所定のマクロブロックを減じる。空間オフセットは、一般にうごきベクトルと呼ばれる。動き評価および補償プロセスが効率的である場合、残留残差マクロブロックは、それにより効率的な補償に導く少量の情報を含む必要がある。
1つの終点が回線交換ネットワークに関連し、ゲートウェイまたは他の回線交換ネットワークにパケットスイッチングされるブリッジング装置が用いられる、異質の通信ネットワークまたはパケット交換通信ネットワークにおいて、ビデオデータは送信されることが可能である。パケット交換通信ネットワークにおいて送信のためのビデオフレーム情報が準備されたとき、符号化スキームは、通信ネットワークにおける送信のためのデータパケットに動き評価および補償技術または他の圧縮スキームにより圧縮されるビデオフレーム情報を変換する。データパケットは、ときどき失われ、複写され、または遅延され、それらにより、ビデオ品質の劣化をもたらすエラーが導入されることとなる。
例えば、前に送信された基準フレームの1つまたはそれ以上のパケットが、ソース復号化ユニットから目標復号化ユニットへの送信において失われた場合、符号器基準フレームと復号器機運フレームとの間の不適合が一般にもたらされる。符号器基準フレームと復号器機運フレームとの間に不適合がないとき、符号器により計算され且つ送信される残差は復号化され、復号器の基準フレームから導かれる動き補償ビデオフレームに加えられる。概略を言えば、送信エラーがない状態で、結果的に得られた復号化ビデオフレームは符号器の基準フレームに正確に適合する。基準フレームの不適合が生じるとき、復号化残差と復号器動き補償ビデオフレームとの合計の結果、符号器の基準フレームからさらに異なる復号化ビデオフレームが得られる。補正がない場合、予測ドリフトと呼ばれるこれらの差は、たとえ後の符号化ビデオがエラーのない状態で受信されるとしても、復号化ビデオがでたらめな状態になるまで増加する。
従って、データパケット損失および基準フレームの不適合によりもたらされるエラーを隠蔽し、それによりビデオ品質を改善するためのシステムおよび方法に対する要請がある。
本発明は、ビデオデータのパケット損失に関連する基準フレームの不適合に起因するビデオエラーの発生、持続、伝搬および増幅を減少させることである。一般に、本発明は、ネットワーク通信パラメータに基づいてリフレッシュインターバルを動的に選択し、選択されたリフレッシュインターバルに基づいてマクロブロックの特定のパターンをイントラ符号化するシステムおよび方法を提供する。イントラ符号化マクロブロックは少し高価であるため、選択されたリフレッシュインターバルに基づいて一ビデオフレーム当たりにイントラ符号化されたマクロブロックの数はデータ送信コストにおける増加によりバランスをとる。本発明の代表的な実施形態において、符号化エンジンは、マクロブロックを生成するためにビデオ信号の各々のフレームを処理し、ネットワーク通信パラメータに基づいてリフレッシュインターバルを選択し、そして選択されたリフレッシュインタバスに基づいてリフレッシュイントラ符号化マクロブロックとして1つまたはそれ以上のマクロブロックを符号化するために提供される。
他の代表的な実施形態においては、ビデオ信号は、ビデオ信号の各々のフレームがビデオ信号フォーマットに依存するマクロブロックの数の整数を有する、複数のマクロブロックに変換される。次いで、リフレッシュインターバルは、ネットワークのコールレートおよびパケット損失エラーレートに基づいて選択され、1つまたはそれ以上の複数のマクロブロックは、選択されたリフレッシュインターバルに基づいて特定のパターンにおいてイントラ符号化される。これらのマクロブロックは、リフレッシュイントラ符号化マクロブロックと
呼ばれる。リフレッシュマクロブロックとしてイントラ符号化されないマクロブロックは、いずれかの数の選択基準に基づいたイントラ符号化かインター符号化のどちらかである。例えば、所定のマクロブロックのデータコンテンツと前のフレームからのオフセットマクロブロックのデータコンテンツとが類似する場合、所定のマクロブロックはインター符号化されることが可能であり、そうでない場合、イントラ符号化されることが可能である。
呼ばれる。リフレッシュマクロブロックとしてイントラ符号化されないマクロブロックは、いずれかの数の選択基準に基づいたイントラ符号化かインター符号化のどちらかである。例えば、所定のマクロブロックのデータコンテンツと前のフレームからのオフセットマクロブロックのデータコンテンツとが類似する場合、所定のマクロブロックはインター符号化されることが可能であり、そうでない場合、イントラ符号化されることが可能である。
本発明の他の実施形態において、符号化マクロブロックは、1つまたはそれ以上の遠隔の装置にネットワークを通して送信するためにディスクリートデータパケットに配置される。さらに、ネットワークにより遠隔の装置から受信されたリフレッシュイントラ符号化マクロブロックは、予測ドリフトを減少させるために、前のビデオフレームから補償されたマクロブロック動きの代わりに用いられる。
本発明の他の実施形態において、リフレッシュインターバルは、いずれかの所定の固定されたパケット損失エラーレートに対して、ネットワークコールレートが増加するにつれて減少する。
本発明の他の実施形態においては、選択されたリフレッシュインターバルは整数であり、その整数およびその整数の因数は、一フレーム当たりのマクロブロックの数の整数に一様に分割できない。さらに、リフレッシュイントラ符号化マクロブロック間のマクロブロックの数は、選択されたリフレッシュインターバルから1を引いた数に等しい。さらに、選択されたリフレッシュインターバルは、ビデオ信号フレームにおける空間的位置に関連する各々のマクロブロックが少なくとも一度リフレッシュイントラ符号化マクロブロックとして符号化されるように、ビデオ信号フレームの数に等しい。
本発明は、パケット損失エラーレートおよびコールレートの関数としてイントラ符号化されたマクロブロックリフレッシュインターバルを動的に選択することにより符号器における基準フレームと復号器における基準フレームとの間の不適合によりもたらされる予測ドリフトを減少させる。ビデオフレームの空間領域に関連する各々のマクロブロックが選択されたリフレッシュインターバル内で少なくとも1回イントラ符号化されるように指定することにより、1つまたはそれ以上の復号器における損失基準フレームマクロブロックは、選択されたリフレッシュインターバル内の良好なイントラ符号化マクロブロックにより置き換えられ、それ故、基準フレームの不適合の発生を減少させる。これらの改善は、通信回線におけるデータパケット損失によりもたらされる外乱を減少させようとするものである。本発明の範囲は、H.261、H.263、H.264、MPEG、MPEG−2およびMPEG−4を含むが、これらに限定されない種々のビデオ規格をカバーする。
図2は、代表的なビデオ会議システム200を示している。ビデオ会議システム200は、現地のビデオ会議ステーション202とネットワーク206により接続された遠隔地のビデオ会議ステーション206とを含む。図2は2つのビデオ会議ステーション202および204のみを示しているが、当業者は、さらに多くのビデオ会議ステーションがビデオ会議システム200に連結されることが可能であることを理解するであろう。本発明のシステムおよび方法は、ビデオデータがネットワークにおいて送信される任意の通信システムにおいて利用することが可能であることに留意する必要がある。ネットワーク206は、POTS、ケーブル、光ファイバおよび高周波媒体のようないずれかの種類の電子送信媒体とすることが可能であるが、これらに限定されるものではない。
図3は、代表的なビデオ会議ステーション300のブロック図である。簡単化のために、遠隔のビデオ会議ステーション204(図2)は類似する構成を含むことが可能であるが、ビデオ会議ステーション300は現地のビデオ会議ステーション202(図2)として説明することとする。一実施形態において、ビデオ会議ステーション300は、表示装置302、CPU304、記憶装置306、少なくとも1つのビデオ捕捉装置308、画像処理エンジン310および通信インタフェース312を含む。また、他の装置は、ビデオ会議ステーション300において提供され、または、上記の名前を挙げた装置全部とは限らないが提供される。少なくとも1つのビデオ捕捉装置308は、電荷結合素子(CCD)カメラ、相補形金属酸化膜半導体(CMOS)カメラまたはいずれかの他の種類の画像捕捉装置として実現されることが可能である。少なくとも1つのビデオ捕捉装置308は、ユーザ、会議室または他のシーンの画像を捕捉し、画像処理エンジン310に画像を送信する。符号化ビデオがパケット交換ネットワーク(図示せず)に送信されるとき、画像処理エンジン310は、通信インタフェース312が遠隔のビデオ会議ステーション204にデータパケットを送信する前に、ビデオ画像を処理してデータパケットにする。画像処理エンジン310については、図4と関連させて、さらに詳細に説明する。逆に、画像処理エンジン310はまた、表示装置302における表示のためのビデオ信号に遠隔のビデオ会議ステーションから受信されたデータパケットを変換する。
図4は、図3の画像処理エンジン310の代表的な実施形態である。画像処理エンジン310は、符号化エンジン402、マクロブロックパケット化エンジン404および通信バッファ406を含む。本発明の他の実施形態においては、マクロブロックパケット化エンジン404を備えないことが可能であり、または符号化エンジン402に組み込まれることが可能であり、あるいは、画像処理エンジン310は多かれ少なかれ構成要素を含むことが可能である。
初めに、ビデオ捕捉装置308(図3)からのビデオ信号は、各々のビデオのフレームを好適なフォーマットに変換し、ビデオ信号の各々のフレームをマクロブロックの集合に変換する符号化エンジン402に入る。マクロブロックは、ピクチャ要素(または画素という)に関連するクロミナンス成分と輝度から構成されるデータのブロックを含むデータ単位である。例えば、H.263において、マクロブロックは、輝度データの4つの8x8ブロックと4:2:0クロマサンプリングフォーマットにおける対応するクロミナンスの2つの8x8ブロックから成る。データの8x8ブロックデータは、各々のデータはビデオフレームの画素に対応する8列x8行のデータの行列である。4:2:0クロマフォーマット化マクロブロックは、ビデオフレームの16画素x16画素区分をカバーするデータから構成される。しかしながら、本発明は従来定義されたようなマクロブロックに限定されるものではないが、輝度および/またはクロミナンスデータから構成されるいずれかのデータ単位に拡張することが可能である。さらに、本発明の範囲は、輝度データの4つの8x8ブロックとクロミナンスデータの4つの対応する8x8のブロックから構成される4:2:2クロマサンプリングフォーマット、または輝度データの8x8ブロックとクロミナンスデータの8つの対応する8x8ブロックから構成される4:4:4クロマサンプリングフォーマットのような他のサンプリングフォーマットをカバーする。
さらに、符号化エンジン402は、データコンテンツを表すために用いられるビット数を減少させるための各々のマクロブロックを符号化する。各々のマクロブロックは、“イントラ符号化”または“インターコード化”されることが可能であり、ビデオフレームは、イントラコード化およびインターコード化マクロブロックのいずれかの組み合わせから構成される。インターコード化されたマクロブロックは、一時的な類似性(すなわち、1つのフレームからのマクロブロックと前の符号化フレームからの近い適合性をもつマクロブロックとの間に存在する類似性)を用いて符号化される。厳密にいうと、所定のインター符号化マクロブロックは、所定のマクロブロックと前の基準ビデオフレームからの近い適合性をみるマクロブロックとの間の符号化された差から構成される。前の基準ビデオフレームからの近い適合をみるマクロブロックは、所定のマクロブロックと関連する画素から空間的にオフセット去れる画素と関連するデータから構成されることが可能である。また、イントラ符号化マクロブロックは、他のビデオフレームからの情報を用いることを伴わずに、符号化される。
本発明の一実施形態において、符号化エンジン402は、リフレッシュ機構を用いてフレームのマクロブロックをイントラコード化する。リフレッシュ機構は、各々のフレームのためにマクロブロックの特定のパターンをイントラコード化することにより、符号器基準フレームと復号器基準フレームとの間の不適合性を除去するための決定論的機構であり、予測ドリフトと呼ばれる。将来の基準のために、リフレッシュ機構によりイントラコード化されたマクロブロックは、リフレッシュイントラコードマクロブロック呼ばれる。リフレッシュ機構については、図5および6と関連付けて以下で詳述する。
リフレッシュ機構によりイントラ符号化されなかった所定のフレームの残留マクロブロック全てのために、符号化エンジン402はイントラ符号化またはインター符号化として各々のマクロブロックを符号化する。例えば、所定のマクロブロックがインター符号化マクロブロックとして符号化されることが可能であるかどうかを決定するために、符号化エンジン402は、例えば、マクロブロック内の同じ場所に位置する画素に対応するデータ間の平均絶対誤差または平均2乗誤差により差が理解されることが可能である前の(または、双方向的に予測されるフレーム符号化の場合は後の)基準ビデオフレーム(オフセットマクロブロックと呼ばれる)からのマクロブロックのデータをもつ現時点のビデオフレームの所定のマクロブロックのデータの間の差を計算する。所定のマクロブロックのために、符号化エンジン402が、複数の空間的オフセットマクロブロックに対するエラーを計算する。符号化エンジン402が所定の異なる閾値より大きいエラーのみを見つける場合、所定のマクロブロックからのデータと前のフレー間からのデータとの間に著しい類似性は存在せず、マクロブロックはイントラコード化される。しかしながら、エラーが、所定のマクロブロックおよび前のフレームからの所定のオフセットマクロブロックのための所定の差の閾値より小さいことが見つけられた場合、所定のマクロブロックはインター符号化される。本発明の範囲は、所定のマクロブロックがイントラ符号化されるかまたはインター符号化されるかを決定するために、他の種類の選択基準をカバーする。
所定のマクロブロックをインター符号化するために、符号化エンジン402は、所定の差のデータを与えるためにオフセットマクロブロックデータ(すなわち、所定のマクロブロックの画素に関連する輝度およびクロミナンスデータが全ての画素のためのオフセットマクロブロックの対応する画素に関連する輝度およびクロミナンスデータから減じられる)から所定のマクロブロックのデータが減じられ、離散コサイン変換および量子化法等のような標準的な符号化技術を用いて差データを符号化し、所定のマクロブロックからオフセットマクロブロックにオフセットベクトル(動きベクトルという)を決定し、動きベクトルを符号化する。
遠隔のビデオ会議ステーション204(図2)の画像処理エンジン310(図3)の符号化エンジン402は、ビデオ品質を改善するためにリフレッシュイントラ符号化マクロブロックの受信と共に種々のエラー隠蔽技術を用いることが可能である。例えば、本発明の一実施形態において、符号化エンジン402は、損失インター符号化マクロブロックに隣接するマクロブロックを復号化し、損失マクロブロックの動きベクトルを評価し、さらに、損失マクロブロックのデータを再構築するために評価された動きベクトルを用いる。本発明の他の実施形態において、符号化エンジン402は損失イントラ符号化マクロブロックに隣接するマクロブロックを復号化し、損失データを再構築するために復号化された隣接のデータを空間的に補間することが可能である。損失インター符号化マクロブロックおよび損失イントラ符号化マクロブロックに隣接するマクロブロックは、1つまたはそれ以上の受信されたリフレッシュイントラ符号化マクロブロックとすることが可能である。本発明の範囲は、損失マクロブロックのためのビデオ品質を改善するためにリフレッシュイントラ符号化マクロブロックと共に用いられる他のエラー隠蔽技術をカバーする。また、本発明の画像処理エンジン(図3)は、ビデオ品質を改善するために、いずれかの他のエラー隠蔽技術を用いることなく、リフレッシュイントラ符号化マクロブロックを生成し、送信し、そして受信することが可能である。
一旦、所定のフレームのマクロブロックが符号化されると、符号化エンジン402はマクロブロックパケット化エンジン404に符号化されたマクロブロックを送信する。マクロブロックパケット化エンジン404は、所定のフレームのラスタ走査に従って、エラー隠蔽技術に従って、またはいずれかの他の方法に従って、ディスクリートデータパケットに符号化マクロブロックを置くことが可能である。一般に、2つ以上の符号化マクロブロックからのデータは所定のデータパケットに置かれる。
その後、データパケットは、通信インタフェース312(図3)によりネットワーク206(図2)に亘る送信のための通信バッファ406に転送される。パケット損失に対する回復力をさらに促進するために、冗長ピクチャヘッダがデータパケット内に送信されることが可能である。
対照的に、画像処理エンジン310はまた、遠隔の場所から受信されたビデオデータパケットを処理し、表示のためにビデオ信号を提供する。初めに、データパケットは通信インタフェース312(図3)により受信され、通信バッファ406に転送される。データパケットは、次いで、マクロブロックをアンパックしないマクロブロックパケット化エンジン404に送信され、必要に応じて、マクロブロックをオリジナルの順序のパターン(すなわち、一般にラスタ走査である遠隔のビデオ会議ステーション204(図2)におけるマクロブロックパケット化に先立つパターン)に戻すように順序付けする。その後、符号化エンジン402は、オリジナルのビデオフレームと前のビデオフレームから導き出されるリフレッシュイントラ符号化マクロブロック、他のイントラ符号化マクロブロックおよびインター符号化マクロブロックを用いて、復号器として機能し且つオリジナルビデオフレームのデータを再構築し、ネットワーク206(図2)におけるデータ送信中にデータパケットが損失されたかどうかを決定する。
例えば、リフレッシュイントラ符号化マクロブロックは、ビデオデータ送信エラーにより損なわれる可能性のある基準フレームからの動き補償の代わりに用いられる。ビデオデータ送信エラー(およびイントラ符号化マクロブロックにより補正されない)により損なわれる可能性のあるいずれかのマクロブロックは、さらに伝搬し、一般に、他の受信されたインター符号化マクロブロックを復号化するための基準マクロブロックとして損なわれたマクロブロックを符号化エンジン402が用いるとき、予測ドリフトを拡大する。それ故、リフレッシュイントラ符号化マクロブロックは、その後の復号化フレームのための基準マクロブロックとして用いられるイントラ符号化マクロブロックの“新鮮な”集合を符号化エンジン402に提供し、それにより、予測ドリフトを減少させる。
一般に、符号化エンジン402は、空間的保管または動きベクトル評価のような方法を用いて損失されたマクロブロックを再構築するために、種々のエラー恩ペイ技術を用いる。これらのエラー隠蔽技術は、リフレッシュイントラ符号化マクロブロックを用いることによりエンハンスされる。ここでは、同じ構成要素が送信機能と受信機能の両方のために用いられるように説明したが、それらの構成要素は受信装置と送信装置とにおいて具現化されることが可能であることに、さらに留意する必要がある。
本発明の他の実施形態において、符号化エンジン402は、符号化ビデオフレームにおいてどのマクロブロックがイントラ符号化であるかを識別するイントラマクロブロックマップを生成することが可能である。イントラマクロブロックが生成された後、画像処理エンジン310は遠隔のビデオ会議ステーション204(図2)にマップを送信する。例えば、マップは、符号化ビデオフレームに関連するピクチャヘッダデータの一部として送信されることが可能であるが、他のデータフィールドが用いられることが可能である。
図5は、本春名の代表的な実施形態に従って、CIFフォーマットビデオフレームのためにコールレートをパケット損失エラーレートの関数としてのイントラ符号化マクロブロックリフレッシュインターバルについての表を示している。リフレッシュインターバルはフレームの数で与えられる。図5のリフレッシュインターバルは例示目的で示したものであり、他の値を排除することを意味するものではない。さらに、本発明は他のリフレッシュインターバルおよび他のビデオフォーマットをカバーしている。
本発明の一実施形態において、符号化エンジン402(図4)は、現時点のネットワークコールレートと現時点のパケット損失エラーレートに基づくリフレッシュインターバルを選択し、選択されたリフレッシュインターバルにより決定付けられるマクロブロックのパターンをイントラ符号化する。リフレッシュインターバルにより指定されるフレームの数が処理された後、フレーム内の空間的位置に関連する全てのマクロブロックが少なくとも1回イントラ符号化されるように、選択されたリフレッシュインターバルは、符号化エンジンにより処理されるフレームの数に等しい。イントラ符号化マクロブロックは、一般に、インター符号化マクロブロックより大きいビット数を必要とするため、本発明は、コールレートやパケット損失エラーレートのようなネットワーク通信パラメータに基づいて利触れ主イントラ符号化マクロブロックの数を最適化する。下で図6A乃至6Cと関連して説明するように、いずれかの所定の選択されたリフレッシュインターバル(ri)に対して、リフレッシュイントラ符号化マクロブロック間のマクロブロック数はri−1に等しい。それ故、例えば、ri=5の場合、フレームにおけるマクロブロックの数が5の倍数でない限り、5つのフレームが処理された後、フレーム内の空間的位置に関連する全てのマクロブロックが少なくとも1回イントラ符号化されるように、符号化エンジンは5番目のマクロブロック毎にイントラ符号化する(すなわち、ri−1=4であるため、リフレッシュイントラ符号化マクロブロック間に4つのマクロブロックがある)。
図5の本発明の実施形態は、いずれかの所定のパケット損失エラーレートに対して、ビデオコールのデータレート(以後、コールレートと呼ぶ)が増加するにつれ、減少するリフレッシュインターバルを指定する。例えば、ネットワーク206(図2)を亘って送信されるパケットの3%未満が失われた(すなわち、パケット損失エラーレートが3%未満;図5の第2行)であるとき、リフレッシュインターバルは、コールレートが768kbpsより大きいかそれに等しい場合であって、コールレートが65フレームに対して384kbpsより小さいかそれと同じ場合、リフレッシュインターバルは149フレームから減少する。すなわち、コールレートが増加する(所定のパケット損失エラーレート)につれ、より多くの帯域幅が、多くの数のリフレッシュイントラ符号化マクロブロックを割り当て且つ尚も良好なビデオ品質を維持するために、利用可能である。さらに、本発明の図5の実施形態は、任意の所定のコールレートに対して、パケット損失エラーレートが増加するにつれて減少するリフレッシュインターバルを指定する。例えば、コールレートが768kbps(図5の第4行)より大きいかまたはそれに等しい場合、リフレッシュインターバルは、エラーレートが10%より大きいときであって、エラーレートが29フレームに対して3%より小さいかまたはそれに等しいとき、65フレームから減少する。すなわち、より多くのパケットが失われるにつれ、予測ドリフトの確率は増加し、それ故、符号化エンジン402は、パケット損失によるエラーの伝搬と持続性を除去するために、一フレーム当たりのリフレッシュマクロブロックを大きい割合でイントラ符号化する。
図6Aは、本発明の一実施形態に従った12個のマクロブロックから構成される代表的なフレーム600を示している。説明目的のために、12個のマクロブロックには1乃至12のラベリングが施してある。本発明の一実施形態においては、リフレッシュインターバルは、次の特性を有する任意の整数である。一フレーム(n)当たりにマクロブロックの数に分け与えられた所定の整数は整数の商を与えず(すなわち、所定の整数は一フレーム(n)当たりのマクロブロック数に一様に分割できない)、所定の整数は、一フレーム(n)当たりのマクロブロック数に分割されるとき、いずれかの係数を有しない(すなわち、所定の整数のいずれかの係数は一フレーム(n)当たりのマクロブロック数に一様に分割可能ではない)。この特性は、符号化エンジン402がri個のフレームを処理した後、全てのマクロブロックの位置がイントラリフレッシュされ、ここで、riがフレッシュインターバルである、ことを保証する。このようにして、5、7および11はn=12に一様に分け与えることができず、5、7、および11はn=12に一様に分け与えることができる係数を有していないため、n=12に対して、リフレッシュインターバルは、5、7または11とすることが可能である。しかしながら、整数の集合{1,2,3,4,6,12}からのいずれかの整数はn=12に一様に分け与えることができるため、リフレッシュインターバルは本発明における整数の集合{1,2,3,4,6,12}からのいずれかの整数とすることができない。さらに、8は4および2の因数に分解することができ、それら両方はn=12に一様に分割することができるため、リフレッシュインターバルは8にすることはできない。同様に、9は3と3に因数分解することができ、3はn=12に一様に分割することができるため、リフレッシュインターバルは8にすることはできない。最後に、10は5と2に因数分解することができ、2はn=12に一様に分割することができるため、リフレッシュインターバルは8にすることはできない。
図6Bは、本発明の一実施形態に従って、可能な5つのリフレッシュインターバルをもち、一フレーム当たりn=12個のマクロブロックについての5つの連続的なフレーム602を示している。説明を目的として、フレーム602のマクロブロックは線形シーケンスに配列されている。符号化エンジン402(図4)が5つの可能なリフレッシュインターバルを選択した後、符号化エンジン402は、次いで、リフレッシュイントラ符号化マクロブロックとして5つのマクロブロック毎にイントラ符号化される。換言すれば、ri−1=4であるため、リフレッシュイントラ符号化マクロブロック間には4つのマクロブロックがある。例えば、符号化エンジン402は第1フレーム602aの第1マクロブロックをイントラ符号化し、4つのマクロブロックをスキップし且つ第1フレーム602aの6番目のマクロブロック606をイントラ符号化し、4つのマクロブロックをスキップし且つ第1フレーム602aの11番目のマクロブロック608をイントラ符号化し、そして4つのマクロブロックをスキップし且つ第2フレーム602bの4番目のマクロブロック610をイントラ符号化する。符号化エンジン402は、フレーム602a乃至602eにおいて、さらに後のフレーム(図示せず)において5番目のクロブロック毎に、残留マクロブロックの5番目のマクロブロック毎に連続的にイントラ符号化することを継続する。符号化エンジン402が、フレーム602a乃至602eのような5つの連続するフレームのマクロブロックをイントラ符号化した後、例えば、マクロブロック1乃至12の各々のマクロブロックは一度イントラ符号化される。従って、符号化エンジン402がリフレッシュインターバルri=5を選択するとき、符号化エンジン402は連続フレームの5番目のマクロブロック毎にイントラ符号化し、そして、5つの連続フレーム602を処理した後、一度どのフレーム内においても空間的位置に関して全てのマクロブロックをイントラ符号化する。
図6Cは、許容されない8つのリフレッシュインターバルをもつ、一フレーム当たりn=12のマクロブロックの3つの連続フレームを示している。本発明に従って、8つ(すなわち、ri=8)のリフレッシュインターバルは許容されない。ri≠8である理由は符号化エンジン402がリフレッシュイントラ符号化マクロブロック間の7つ(すなわち、ri−1=7)のマクロブロックをスキップすることであるためであり、それ故、全てのマクロブロックが少なくとも1度イントラ符号化されない。例えば、符号化エンジン402は、第1フレーム612aの第1マクロブロック614と9番目のマクロブロック616および第2フレーム612bの5番目のマクロブロック618をイントラ符号化する。しかしながら、第1フレーム612aにおける1番目のイントラ符号化マクロブロック614と9番目のイントラ符号化マクロブロック616と同等の第3フレーム612cにおける空間的位置を占める、第3フレーム612cの1番目のマクロブロック620と9番目のマクロブロック622を符号化エンジン402はイントラ符号化するため、第1フレーム612aのイントラ符号化パターンは第3フレーム612cから開始して繰り返される。従って、8つのリフレッシュインターバルは、1番目、5番目および9番目のマクロブロックのみがイントラ符号化され、符号化エンジン402により処理されるフレームの数に依存しないため、マクロブロック1番目乃至12番目が少なくとも一度イントラ符号化されることが可能ではない。
図7は、本発明の実施形態に従った、パケット交換ネットワークにおいてリフレッシュイントラ符号化マクロブロックを生成し且つ送信するための方法の段階についての代表的なフローチャートを示している。段階705において、少なくとも1つのビデオ捕捉装置308(図3)はビデオ画像を捕捉し、ビデオ信号を生成する。
次いで、段階710において、符号化エンジン402(図4)(また、送信のためにデータが処理されるとき、符号器と呼ばれる)は、ビデオ信号を受信し、マクロブロックの集合にビデオ信号の各々のフレームを送信する。段階715において、符号化エンジン402は、コールレートとパケットベースのエラーレートに基づく所定の整数の集合からリフレッシュインターバルを選択し、選択されたリフレッシュインターバルに基づくリフレッシュマクロブロックのパターンをイントラ符号化する。本発明の一実施形態においては、所定の整数の集合は記憶装置306(図3)に記憶される。本発明の他の実施形態においては、符号化エンジン402は、コールレートとパケットベースのエラーレートに基づいてリフレッシュインターバルを計算する。一フレーム当たりのマクロブロックの所定数を指定するビデオフォーマットが与えられる場合、所定の整数の集合は、一フレーム当たりのマクロブロックの所定数に分割されるときに整数の商を与える整数を除いて(すなわち、一フレーム当たりのマクロブロックの所定数に一様に分割可能な整数を除いて)、および、一フレーム当たりのマクロブロックの所定数に分割されるときに整数の商を与える1つまたはそれ以上の因数から成る整数を除いて(すなわち、一フレーム当たりのマクロブロックの所定数に一様に分割可能である1つまたはそれ以上の因数から成る整数を除いて)、全ての整数を含む。符号化エンジン402は、次いで、所定のマクロブロックがイントラ符号化であるかまたはインター符号化であるかを決定する選択基準に基づいて、各々のフレームの残留マクロブロックを符号化する。ビデオフレームは、インター符号化マクロブロック、イントラ符号化マクロブロック、またはイントラ符号化マクロブロックおよびインター符号化マクロブロックのいずれかの組み合わせから構成されることが可能である。
次に、マクロブロックパケット化エンジン404(図4)は、ディスクリートデータパケットを生成し、段階720においてディスクリートデータパケットに符号化されたマクロブロックを配置する。符号化されたマクロブロックは、ビデオフレームにおけるマクロブロックのラスタ走査の順序またはある他の所定の順序の状態に、または、参照によりここでの開示に含まれる “ビデオエラー隠蔽のためのシステムおよび方法(System and Method for Video Error Concealment)”と題された2002年8月23日に出願された米国特許出願公開第10/226,504号明細書に開示されているエラー隠蔽技術に従って、ディスクリートパケットに位置付けられることが可能である。しかしながら、本発明の範囲は、ネットワーク206(図2)における送信のために符号化マクロブロックをグループ化し且つパケット化するあらゆる方法を含む。また、マクロブロックパケット化エンジン404は、回線交換ネットワーク(図示せず)におけるトランスポートのための特定なフォーマットに符号化マクロブロックを配置するためのトランスポートエンジンとすることが可能である。最後に、段階725において、ディスクリートデータパケットは、ネットワーク206により遠隔のビデオ会議ステーション204への送信のために、通信バッファ406(図4)に送信される。
図8は、本発明に従った、パケット交換ネットワークにおいてビデオデータを受信するための方法の段階についての代表的なフローチャートを示している。段階805において、通信バッファ406(図4)は、ネットワーク206(図2)により遠隔のビデオ会議ステーション204(図2)から送信されるデータパケットを受信する。次いで、段階810において、マクロブロックパケット化エンジン404(図4)は、符号化マクロブロックに受信されたデータパケットをデパケット化する。必要に応じて、マクロブロックパケット化エンジン404はまた、符号化マクロブロックをオーダー(order)し、ビデオフレームにおける正確な空間的配置の状態に符号化マクロブロックを配置する。
次いで、符号化エンジン402(図4)は段階815において符号化マクロブロックを復号化する。例えば、所定のマクロブロックがイントラ符号化マクロブロックである場合、符号化エンジン402はイントラ符号化マクロブロックを復号化し、新しく復号化されたビデオフレームにおいてそれを配置する。さらに、符号化エンジン402は復号化された残差を生成するためにインター符号化マクロブロックを復号化し、基準フレームマクロブロックにデータコンテンツに復号化された残差を加え、そして、新しく復号化されたビデオフレームにその結果を配置する。所定のマクロブロックはリフレッシュイントラ符号化マクロブロックとすることが可能であるかそうでないかである。
選択肢として、段階820において、符号化エンジン402(復号器として機能している)またはビデオデータパケット変換例えば、(RTPシーケンス連続番号)に関係するある他の機構は、もしあれば、どちらのマクロブロックがトランジットにおいて失われたかを決定し、1つまたはそれ以上のデータ再構築スキームを用いて、これらの損失マクロブロックを再構築する。動き評価/補償とデータ補間のようなデータ再構築スキームは、 “ビデオエラー隠蔽のためのシステムおよび方法(System and Method for Video Error Concealment)”と題された米国特許出願公開第10/226,504号明細書に開示されている。最終的に、一旦、いずれかの損なわれたマクロブロックのデータコンテンツが再構築されると、それらのマクロブロックは、段階825において、表示装置302(図3)により表示される。
本発明について、上記のように、代表的な実施形態を参照して説明した。本発明の広い主旨および範囲から逸脱することなく、種々の変更がなされることが可能であることは、当業者には明らかであろう。さらに、本発明は特定のアプリケーションに対しておよび特定の環境における実行についてコンテキストにおいて説明したが、本発明の有用性はそれらに限定されるものではなく、本発明は多くのいずれかの環境および実行において優位性をもって用いられることができることを、当業者は理解するであろう。上記の説明および図示は、従って、制限の意味ではなく、むしろ例示としてのものである。
Claims (8)
- ビデオ信号のビデオエラー隠蔽のための方法であって:
複数のマクロブロックを受信する段階であって、ビデオ信号の各々のフレームはマクロブロックの数の整数を有する、段階;
1つまたはそれ以上のネットワークのコールレートとパケット損失エラーレートとに基づいてリフレッシュインターバルを選択する段階;並びに
選択されたリフレッシュインターバルに基づいてリフレッシュイントラ符号化マクロブロックとして複数のマクロブロックのサブセットを符号化する段階;
から構成されることを特徴とする方法。 - 請求項1に記載の方法であって、選択されたリフレッシュインターバルは整数mであり、整数mと整数mの因数は、一フレーム当たりのマクロブロックの数の整数に分割されるとき、整数の商を与えず、複数のマクロブロックのサブセットを符号化する段階は、リフレッシュイントラ符号化マクロブロックとして、m番目のマクロブロック毎にイントラ符号化する手順からさらに構成される、ことを特徴とする方法。
- 請求項1に記載の方法であって、パケット交換ネットワークに亘って送信のためにディスクリートデータパケットに符号化マクロブロックを配置する段階からさらに構成される、ことを特徴とする方法。
み合わせを有する群から選択される情報を有する、ことを特徴とする方法。 - 請求項1に記載の方法であって、回線交換ネットワークにおけるトランスポートのために特定のフォーマットに符号化マクロブロックを配置する段階からさらに構成される、ことを特徴とする方法。
- ビデオエラー隠蔽のためのシステムであって:
符号化エンジンであって、
マクロブロックを生成するためにビデオ信号の各々のフレームを処理する段階であって、各々のフレームはビデオ信号フォーマットに依存するマクロブロックの数の整数番号を有する、段階、
1つまたはそれ以上のネットワーク通信パラメータに基づいてリフレッシュインターバルを選択する段階;および
選択されたリフレッシュインターバルに基づいてリフレッシュイントラ符号化マクロブロックとして生成されたマクロブロックからマクロブロックのサブセットを符号化する段階;
から構成される符号化エンジン;並びに
ネットワークを渡って送信のために特定のフォーマットに各々の符号化マクロブロックを配置するトランスポートエンジン;
から構成されることを特徴とするシステム。 - 請求項5に記載のシステムであって、選択されたリフレッシュインターバルは整数mであり、整数mと整数mの因数は、一フレーム当たりのマクロブロックの数の整数に分割されるとき、整数の商を与えず、複数のマクロブロックのサブセットを符号化する段階は、リフレッシュイントラ符号化マクロブロックとして、m番目のマクロブロック毎にイントラ符号化する手順からさらに構成される、ことを特徴とするシステム。
- 請求項5に記載のシステムであって、トランスポートエンジンは回線交換ネットワークにおいてトランスポートのために特定のフォーマットに各々の符号化マクロブロックを配置する、ことを特徴とするシステム。
- 請求項5に記載のシステムであって、トランスポートエンジンはパケット交換ネットワークに亘って送信のためにパケットに各々の符号化マクロブロックを配置する、ことを特徴とするシステム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/328,513 US7020203B1 (en) | 2001-12-21 | 2002-12-23 | Dynamic intra-coded macroblock refresh interval for video error concealment |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004215252A true JP2004215252A (ja) | 2004-07-29 |
Family
ID=32594498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003425519A Pending JP2004215252A (ja) | 2002-12-23 | 2003-12-22 | ビデオエラー隠蔽のための動的イントラ符号化マクロブロックリフレッシュインターバル |
Country Status (3)
Country | Link |
---|---|
US (1) | US7020203B1 (ja) |
EP (1) | EP1439714A3 (ja) |
JP (1) | JP2004215252A (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007060351A (ja) * | 2005-08-25 | 2007-03-08 | Nec Personal Products Co Ltd | テレビ電話装置、テレビ電話装置における映像データ処理方法 |
KR100830965B1 (ko) * | 2006-12-15 | 2008-05-20 | 주식회사 케이티 | 채널 적응적 인트라 업데이트를 이용한 영상부호화 장치 및방법 |
JP2011507349A (ja) * | 2007-12-05 | 2011-03-03 | オンライブ インコーポレイテッド | ビデオを圧縮するためのタイルベースシステム及び方法 |
JP2011508995A (ja) * | 2007-12-05 | 2011-03-17 | オンライブ インコーポレイテッド | 通信チャンネルの検出されたデータレートに基づきビデオを圧縮するためのシステム及び方法 |
WO2011093169A1 (ja) * | 2010-01-28 | 2011-08-04 | 株式会社メガチップス | 画像符号化装置 |
WO2011108427A1 (ja) * | 2010-03-04 | 2011-09-09 | 株式会社メガチップス | 画像符号化装置 |
JP2012231532A (ja) * | 2005-07-13 | 2012-11-22 | Polycom Inc | ビデオ誤り隠蔽法 |
JP2014045516A (ja) * | 2013-11-18 | 2014-03-13 | Mega Chips Corp | 画像符号化装置 |
US8699807B2 (en) | 2010-02-10 | 2014-04-15 | Megachips Corporation | Image coding apparatus |
JP2014099880A (ja) * | 2005-04-28 | 2014-05-29 | Apple Inc | 多人数参加型テレビ会議における映像処理 |
KR101511674B1 (ko) | 2007-01-06 | 2015-04-13 | 삼성전자주식회사 | 화상 전화 통신 시스템에서 인트라 리프레싱을 제어하는장치 및 방법 |
US9749624B2 (en) | 2012-09-19 | 2017-08-29 | Megachips Corporation | Moving image coding apparatus and moving image coding method |
WO2021044974A1 (ja) * | 2019-09-06 | 2021-03-11 | 株式会社ソニー・インタラクティブエンタテインメント | 送信装置、受信装置、送信方法、受信方法及びプログラム |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9077991B2 (en) | 2002-12-10 | 2015-07-07 | Sony Computer Entertainment America Llc | System and method for utilizing forward error correction with video compression |
US20090118019A1 (en) * | 2002-12-10 | 2009-05-07 | Onlive, Inc. | System for streaming databases serving real-time applications used through streaming interactive video |
US10201760B2 (en) * | 2002-12-10 | 2019-02-12 | Sony Interactive Entertainment America Llc | System and method for compressing video based on detected intraframe motion |
US8964830B2 (en) * | 2002-12-10 | 2015-02-24 | Ol2, Inc. | System and method for multi-stream video compression using multiple encoding formats |
US9138644B2 (en) | 2002-12-10 | 2015-09-22 | Sony Computer Entertainment America Llc | System and method for accelerated machine switching |
US9108107B2 (en) * | 2002-12-10 | 2015-08-18 | Sony Computer Entertainment America Llc | Hosting and broadcasting virtual events using streaming interactive video |
US9314691B2 (en) | 2002-12-10 | 2016-04-19 | Sony Computer Entertainment America Llc | System and method for compressing video frames or portions thereof based on feedback information from a client device |
JP2006513634A (ja) * | 2003-01-10 | 2006-04-20 | トムソン ライセンシング | 符号化ストリーム中で伝送されたイントラ予測モードに基づく空間的誤り隠蔽 |
GB2409029A (en) * | 2003-12-11 | 2005-06-15 | Sony Uk Ltd | Face detection |
US20050201470A1 (en) * | 2004-03-12 | 2005-09-15 | John Sievers | Intra block walk around refresh for H.264 |
DE602005018753D1 (de) | 2004-03-25 | 2010-02-25 | Nec Corp | Mehrpunkt-konferenzsystem und mehrpunkt-konferenzeinrichtung |
US8948266B2 (en) | 2004-10-12 | 2015-02-03 | Qualcomm Incorporated | Adaptive intra-refresh for digital video encoding |
JP2008529346A (ja) * | 2005-01-24 | 2008-07-31 | トムソン ライセンシング | Crcパリティコードを利用したビデオエラー検出技術 |
FR2910211A1 (fr) * | 2006-12-19 | 2008-06-20 | Canon Kk | Procedes et dispositifs pour re-synchroniser un flux video endommage. |
FR2914124B1 (fr) * | 2007-03-21 | 2009-08-28 | Assistance Tech Et Etude De Ma | Procede et dispositif de regulation du debit de codage de sequences d'images video vis-a-vis d'un debit cible |
US8379734B2 (en) * | 2007-03-23 | 2013-02-19 | Qualcomm Incorporated | Methods of performing error concealment for digital video |
US8824567B2 (en) * | 2007-04-04 | 2014-09-02 | Ittiam Systems (P) Ltd. | Method and device for tracking error propagation and refreshing a video stream |
US8332736B2 (en) * | 2007-11-29 | 2012-12-11 | Texas Instruments Incorporated | Decoder with resiliency to handle errors in a received data stream |
US8780986B2 (en) * | 2008-06-06 | 2014-07-15 | Apple Inc. | Refresh pixel group selection and coding adjustment |
CN101998101A (zh) * | 2009-08-31 | 2011-03-30 | 中兴通讯股份有限公司 | 可视电话的视频数据接收和发送系统、视频数据处理方法 |
US11301592B2 (en) | 2010-01-28 | 2022-04-12 | Pure Storage, Inc. | Distributed storage with data obfuscation and method for use therewith |
US20190108366A1 (en) * | 2010-01-28 | 2019-04-11 | International Business Machines Corporation | Secure data transmission utilizing distributed storage |
US8959366B2 (en) | 2010-01-28 | 2015-02-17 | Cleversafe, Inc. | De-sequencing encoded data slices |
CN102014286B (zh) * | 2010-12-21 | 2012-10-31 | 广东威创视讯科技股份有限公司 | 一种视频编解码方法及装置 |
CN103503441B (zh) * | 2012-04-20 | 2018-04-13 | 松下电器(美国)知识产权公司 | 内容数据管理装置、内容数据管理方法以及内容数据的显示方法 |
US10304468B2 (en) * | 2017-03-20 | 2019-05-28 | Qualcomm Incorporated | Target sample generation |
US11936881B2 (en) | 2021-09-30 | 2024-03-19 | Hewlett-Packard Development Company, L.P. | Region of interest based image data enhancement in a teleconference |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04117882A (ja) * | 1990-09-07 | 1992-04-17 | Matsushita Electric Ind Co Ltd | 動画像符号化装置 |
US5537338A (en) * | 1993-11-24 | 1996-07-16 | Intel Corporation | Process and apparatus for bitwise tracking in a byte-based computer system |
JP3474005B2 (ja) * | 1994-10-13 | 2003-12-08 | 沖電気工業株式会社 | 動画像符号化方法及び動画像復号方法 |
US6025888A (en) * | 1997-11-03 | 2000-02-15 | Lucent Technologies Inc. | Method and apparatus for improved error recovery in video transmission over wireless channels |
JP3905969B2 (ja) | 1998-01-30 | 2007-04-18 | 株式会社東芝 | 動画像符号化装置および動画像符号化方法 |
GB9817292D0 (en) * | 1998-08-07 | 1998-10-07 | Nokia Mobile Phones Ltd | Digital video coding |
GB2347038A (en) * | 1999-02-18 | 2000-08-23 | Nokia Mobile Phones Ltd | A video codec using re-transmission |
US6115076A (en) * | 1999-04-20 | 2000-09-05 | C-Cube Semiconductor Ii, Inc. | Compressed video recording device with non-destructive effects addition |
JP3840020B2 (ja) * | 1999-12-14 | 2006-11-01 | 株式会社東芝 | 動画像符号化装置 |
US6993074B2 (en) * | 2000-03-24 | 2006-01-31 | Microsoft Corporation | Methods and arrangements for handling concentric mosaic image data |
US20020122491A1 (en) * | 2001-01-03 | 2002-09-05 | Marta Karczewicz | Video decoder architecture and method for using same |
US6876705B2 (en) * | 2001-03-05 | 2005-04-05 | Intervideo, Inc. | Systems and methods for decoding of partially corrupted reversible variable length code (RVLC) intra-coded macroblocks and partial block decoding of corrupted macroblocks in a video decoder |
-
2002
- 2002-12-23 US US10/328,513 patent/US7020203B1/en not_active Expired - Lifetime
-
2003
- 2003-12-22 EP EP03029292A patent/EP1439714A3/en not_active Ceased
- 2003-12-22 JP JP2003425519A patent/JP2004215252A/ja active Pending
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014099880A (ja) * | 2005-04-28 | 2014-05-29 | Apple Inc | 多人数参加型テレビ会議における映像処理 |
JP2012231532A (ja) * | 2005-07-13 | 2012-11-22 | Polycom Inc | ビデオ誤り隠蔽法 |
US9661376B2 (en) | 2005-07-13 | 2017-05-23 | Polycom, Inc. | Video error concealment method |
JP2007060351A (ja) * | 2005-08-25 | 2007-03-08 | Nec Personal Products Co Ltd | テレビ電話装置、テレビ電話装置における映像データ処理方法 |
KR100830965B1 (ko) * | 2006-12-15 | 2008-05-20 | 주식회사 케이티 | 채널 적응적 인트라 업데이트를 이용한 영상부호화 장치 및방법 |
KR101511674B1 (ko) | 2007-01-06 | 2015-04-13 | 삼성전자주식회사 | 화상 전화 통신 시스템에서 인트라 리프레싱을 제어하는장치 및 방법 |
JP2011507349A (ja) * | 2007-12-05 | 2011-03-03 | オンライブ インコーポレイテッド | ビデオを圧縮するためのタイルベースシステム及び方法 |
JP2011508995A (ja) * | 2007-12-05 | 2011-03-17 | オンライブ インコーポレイテッド | 通信チャンネルの検出されたデータレートに基づきビデオを圧縮するためのシステム及び方法 |
US9693069B2 (en) | 2010-01-28 | 2017-06-27 | Megachips Corporation | Image coding apparatus |
JP2011155543A (ja) * | 2010-01-28 | 2011-08-11 | Mega Chips Corp | 画像符号化装置 |
WO2011093169A1 (ja) * | 2010-01-28 | 2011-08-04 | 株式会社メガチップス | 画像符号化装置 |
US8699807B2 (en) | 2010-02-10 | 2014-04-15 | Megachips Corporation | Image coding apparatus |
US8731312B2 (en) | 2010-03-04 | 2014-05-20 | Megachips Corporation | Image coding apparatus |
JP2011188022A (ja) * | 2010-03-04 | 2011-09-22 | Mega Chips Corp | 画像符号化装置 |
WO2011108427A1 (ja) * | 2010-03-04 | 2011-09-09 | 株式会社メガチップス | 画像符号化装置 |
US9749624B2 (en) | 2012-09-19 | 2017-08-29 | Megachips Corporation | Moving image coding apparatus and moving image coding method |
JP2014045516A (ja) * | 2013-11-18 | 2014-03-13 | Mega Chips Corp | 画像符号化装置 |
WO2021044974A1 (ja) * | 2019-09-06 | 2021-03-11 | 株式会社ソニー・インタラクティブエンタテインメント | 送信装置、受信装置、送信方法、受信方法及びプログラム |
JPWO2021044974A1 (ja) * | 2019-09-06 | 2021-03-11 | ||
JP7304419B2 (ja) | 2019-09-06 | 2023-07-06 | 株式会社ソニー・インタラクティブエンタテインメント | 送信装置、送信方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP1439714A3 (en) | 2004-12-08 |
US20060056519A1 (en) | 2006-03-16 |
US7020203B1 (en) | 2006-03-28 |
EP1439714A2 (en) | 2004-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7020203B1 (en) | Dynamic intra-coded macroblock refresh interval for video error concealment | |
CA2457882C (en) | System and method for video error concealment | |
US9661376B2 (en) | Video error concealment method | |
JP4820559B2 (ja) | 映像データ符号化及び復号化方法及び装置 | |
JP4494789B2 (ja) | 動的フィルタのコーディング | |
AU2002326713A1 (en) | System and method for video error concealment | |
US8780970B2 (en) | Motion wake identification and control mechanism | |
US6614845B1 (en) | Method and apparatus for differential macroblock coding for intra-frame data in video conferencing systems | |
KR100590328B1 (ko) | 동영상 디코더 및 이를 이용한 디코딩 방법 | |
KR100557118B1 (ko) | 동영상 디코더 및 이를 이용한 디코딩 방법 | |
KR100557047B1 (ko) | 동영상 디코딩 방법 | |
KR20040031948A (ko) | 동영상 디코딩 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071106 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080401 |