JP2004524744A

JP2004524744A - ビデオビットストリームウォッシャ

Info

Publication number: JP2004524744A
Application number: JP2002566981A
Authority: JP
Inventors: ゲランロス，; ハラルドブルセウィッツ，
Original assignee: テレフォンアクチーボラゲットエルエムエリクソン（パブル）
Priority date: 2001-02-23
Filing date: 2002-02-19
Publication date: 2004-08-12
Also published as: WO2002067591A3; WO2002067591A2; GB2388283B; GB2388283A; US20020163971A1; AU2002233856A1; DE10296360T5; GB0316678D0

Abstract

ビデオビットストリームウォッシャ（１３０、２３０、３３０）を用いて不正なビデオビットストリーム（１２０、２２０、３２０）を訂正するシステム、方法及び装置であって、本発明のビデオビットストリームウォッシャは、不正なビデオビットストリームを受信し、該ビデオビットストリーム中の誤り訂正及び隠蔽法を用いて出力として統語的に正しいビデオビットストリーム（１４０、２４０、３４０）を生成する。当該ビデオビットストリームウォッシャは、誤りが発生しやすいネットワーク（１１０、２１０、３１０）から不正なビデオビットストリームを受信し、正しいビデオビットストリームを誤りのないネットワーク（１５０）へ供給したり、正しいビデオビットストリームをビデオ復号器（２５０）へ供給したり、或いは、統合型のビットストリームウォッシャ及びビデオ復号器（３３０）としてネットワークに配置することができる。

Description

【技術分野】
【０００１】
本発明は、ビデオビットストリーム中の誤りの訂正及び隠蔽（コンシールメント）法に関するものである。
【背景技術】
【０００２】
本発明の背景及び目的
移動体無線通信ネットワーク、ＩＰネットワーク及びその他のそのような通信ネットワークの出現によって、これらのネットワークを介するビデオシーケンスに対する受容が高まっている。残念ながら、映像を圧縮せずに伝送すると、殆どのネットワークにおいて処理可能な帯域幅の殆どを占有する。例えば、非圧縮ディジタル形式のハイビジョンテレビ（ＨＤＴＶ）の映像は約１Ｇｂｐｓの帯域幅を必要とする。
【０００３】
その結果、ビデオシーケンスの圧縮に関する体系及び規格が発達し、それにより、当該ビデオシーケンスは、帯域制限されたビットストリーム上で伝送可能である。
映像の符号化体系が、Ｈシリーズの規格を制定した国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）、及びＭＰＥＧシリーズの規格を制定したＭＰＥＧ(Moving Pictures Experts Group)を含めた、様々なグループにより考案された。
【０００４】
例えば、１９８８年〜１９９０年頃、ＩＳＤＮ電話回線を介するビデオ会議及びビデオ電話の用途に対してＨ．２６１が開発され、データ速度６４〜３８４ｋｂｐｓの比較的低い映像品質で、ＩＳＤＮ回線を介して映像伝送が可能となった。１９９２年には、約１．５Ｍｂｐｓの速度で再生するオーディオを含めたＶＨＳ品質の映像をＣＤ−ＲＯＭに記録することを目的としてＭＰＥＧ−１が認可された。１９９４年には、一般消費者を対象とするテープからフィルム製造までの品質を有する４Ｍｂｐｓ〜８０Ｍｂｐｓの高品質な用途に対してＭＰＥＧ２が主として開発された。ＭＰＥＧ−２は、約６０ＭｂｐｓのＨＤＴＶ品質の符号化をサポートし、ケーブルＴＶ及び衛星によるビデオ伝送、ならびにディジタル多用途ディスク（ＤＶＤ）への記録のための基盤を形成している。最近では、高速ビットレートにも適用し得るが、非常に低速で良好な品質の映像を提供することを目的として、Ｈ．２６３及びＭＰＥＧ−４が開発された。
【０００５】
映像圧縮を使用する欠点は、ビットストリーム中の誤りにより画質がかなり低下し、ことによるとビデオシーケンスが復号不能になる可能性を有することである。この課題は、圧縮映像が誤りが生じやすいネットワーク及び伝送経路上で伝送される際にさらに重大となる。
【０００６】
映像表示能力を有する携帯電話といった装置やネットワークビデオ放送装置の開発によって、パケット損失を伴う移動体無線通信ネットワーク及びインターネットプロトコル（ＩＰ）ネットワークといった、誤りが生じやすいネットワーク上での映像伝送が望まれている。しかし、多くのエンドユーザ端末は、そのようなネットワーク向けに設計されていないか、或いは、適していない。このように、誤った（ある場合は復号できない）ビットストリームから復号可能なビットストリームを作り出すことができる、前記エンドユーザ端末向けの装置が要求されている。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、ビデオビットストリームウォッシャを用いて不正なビデオビットストリームを訂正する方法、システム及び装置を提供することを目的とする。本発明のビデオビットストリームウォッシャは、不正なビデオビットストリームを受信し、ビデオビットストリーム内の誤りを訂正及び隠蔽することにより出力として統語的に正しいビデオビットストリームを生成する。本発明の１つの実施形態では、誤りが生じやすいネットワークから不正なビデオビットストリームを受信し、誤りのないネットワークへ統語的に正しいビデオビットストリームを供給するために、ネットワークに当該ビデオビットストリームウォッシャを配置することができる。本発明の別の実施形態では、当該ビデオビットストリームウォッシャは、誤りが生じやすいネットワークから不正なビデオビットストリームを受信し、ビデオ復号器への統語的に正しいビデオビットストリームを供給することができる。さらに別の実施形態では、本発明を統合型ビデオビットストリームウォッシャ兼ビデオ復号器として使用し、誤りが生じやすいネットワークから不正なビデオビットストリームを受信して復号されたピクチャを供給することができる。
【０００８】
添付図と共に以下の詳細な説明を参照し、本発明の方法、システム及び装置をさらに理解することができる。
【発明を実施するための最良の形態】
【０００９】
本発明の好ましい例示的実施形態の詳細な説明
本発明の好ましい実施形態が示された添付図を参照し、本発明を以下に詳細に説明する。しかし、本発明は、多くの異なる形態で実施することができ、本明細書に開示された実施形態に限定して解釈すべきでなく、以下の実施形態はむしろ、本発明の開示内容が詳細かつ十分であり当業者が本発明の範囲を完全に理解できるように提供するものである。
【００１０】
本発明は、ビデオビットストリームウォッシャに関するものである。前述したように、例えば、パケット損失を伴う移動体無線通信ネットワーク及びＩＰネットワーク等の誤りが生じやすいネットワークを介する映像の伝送が望まれている。しかし、多くのエンドユーザ端末はこのようなネットワーク向けに設計されていない。結果として、通常ユーザエンド端末では復号不能な誤ったビットストリームから、復号可能なビットストリームを生成できるネットワークデバイスが要求される。例えば、多くのエンドユーザ端末では誤り耐性技術を全く用いていないし、それ以外でも単純な誤り耐性手段しか用いていない。さらに、複数のインターネットプロトコル（ＩＰ）ネットワークでは、誤ったデータを検出して廃棄しているので、誤り耐性技術を実施できない。結果として、伝送された映像を受信したエンドユーザ端末では、低品質のピクチャ画像を映し出すか、何の画像も映し出さない。
【００１１】
本発明は、ビデオビットストリームウォッシャを用いてこの課題を解決する。当該ビデオビットストリームウォッシャは、メディアゲートウェイ等のネットワークに配置され、誤りを有する非対応ビットストリームを復号可能な正しいビットストリームに変換する。単純な誤り訂正とは対照的に、本発明は、ユーザエンド端末において実行されなければならなかった誤り耐性技術をネットワークで実行する。しかし、本発明を端末側で使用できることも理解されたい。このように、本発明のビデオビットストリームウォッシャは、誤りが生じやすいネットワークを介した映像の伝送を可能にしており、有用で価値の高いサービスを提供する。
【００１２】
図１を参照すると、本発明のビデオビットストリームウォッシャの例示的な実施形態が図示されている。この実施例では、ビデオビットストリームウォッシャ１３０は、実質的に誤りが生じやすいネットワーク１１０と実質的に誤りのないネットワーク１５０との間に配置されている。当該ビデオビットストリームウォッシャ１３０は、誤りが生じやすいネットワーク１１０から不正なビットストリーム１２０を受信し、訂正したビットストリーム１４０を誤りのないネットワーク１５０へ出力する。エンドユーザ端末は、訂正されたビットストリーム１４０を、ビデオビットストリームを復号するために使用することができる。不正なビットストリームを発生し得る、誤りが生じやすいネットワークの例は、ワイヤレスネットワーク及びＩＰネットワークを含む。比較的誤りのないネットワークの例は、ローカル地上通信ネットワーク及びケーブルネットワークを含む。
【００１３】
図２を参照すると、本発明のビデオビットストリームウォッシャの別の例示的な実施形態が図示されている。この実施例では、ビデオビットストリームウォッシャ２３０は、誤りが生じやすいネットワーク２１０と復号器２５０との間に配置されている。ビデオビットストリームウォッシャ２３０は、誤りが生じやすいネットワーク２１０から不正なビットストリーム２２０を受信し、訂正したビットストリーム２４０を復号器２５０へ出力する。結果として、復号器２５０は復号されたピクチャ２６０を出力することができる。本構成が有効なシステムの一例は、参照番号２７０で表記されたテレビのセットトップボックスへのフロントエンド部である。この実施形態における誤りが生じやすいネットワークは、例えば、衛星ネットワーク又はＩＰネットワークを含むことができることを理解されたい。図示したように、ビデオビットストリームウォッシャ２３０は、不正なビットストリームを受信し、セットトップボックス２７０内の復号器２５０へ訂正したビットストリームを供給する。結果として、セットトップボックス２７０は、復号され、誤りが訂正されたピクチャまたはビデオシーケンスをテレビへ供給することができる。
【００１４】
添付図３は、本発明のビデオビットストリームウォッシャのさらに別の例示的な実施形態を図示している。この実施例では、ビデオビットストリームウォッシャ及び復号器は、組合わせたビットストリームウォッシャ兼復号器３３０に統合されている。図３に示されたように、ビデオビットストリームウォッシャ兼復号器３３０は、図２の実施形態と同様に、誤りが生じやすいネットワーク３１０から不正なビットストリーム３２０を受信し、復号されたピクチャ３４０を出力する。
【００１５】
映像を伝送するには多大な帯域幅を占有するので、多くの場合、映像符号化圧縮をすることが望ましい。既述のように、映像符号化体系は、Ｈシリーズ規格を制定した国際電気通信連合電気通信規格部門（ＩＴＵ−Ｔ）や、ＭＰＥＧシリーズ規格を制定したMoving Pictures Experts Group（ＭＰＥＧ）を含む多様なグループにより考案された。例示を目的として、以下でＭＰＥＧ−４規格を詳細に説明する。しかし、本発明は、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｈ．２６１、Ｈ．２６３及び関連規格を含む複数の映像圧縮体系のうちのいずれにも適用され得ることを理解されたい。
【００１６】
ＭＰＥＧ−４などの典型的な映像符号化体系では、ピクチャの画素は、輝度値（Ｙ）及び２つのクロミナンス値（Ｃｂ，Ｃｒ）により表示される。当該分野において理解されるように、輝度値（Ｙ）はグレイスケール表示を規定し、当該２つのクロミナンス値は色情報を規定している。輝度−クロミナンス表示は、赤−緑−青の表示よりも相関性が低いため、容易に信号符号化効率を上げることができる。空間領域の画素値をスペクトル又は周波数領域の符号化表示に変換するために離散コサイン変換（ＤＣＴ）を用いる。当該分野において理解されるように、離散コサイン変換（ＤＣＴ）は、１つのＤＣ係数と複数のＡＣ係数を生成する。ＤＣ係数は、変換される入力データ全体の大きさの平均値を示し、ゼロの周波数成分を含む。しかし、ＡＣ係数は、画素データの高周波含有成分を形成するゼロでない正弦波の周波数成分を含んでもよい。これらのＤＣＴ係数は量子化され、可変長符号化（ＶＬＣ）の対象となる。人間の目は高周波数より低周波数に敏感であるため、ピクチャの量子化及び符号化において、低周波数帯がより重要である。量子化後は、多くの高周波数のＤＣＴ係数がゼロであるので、ＶＬＣは、高周波数の係数の前に低周波数の係数を置いたジグザグスキャンを用いて当該係数を一次元配列するランレングス符号化により達成される。この方法では、さらに能率的に量子化される複数の連続的なゼロ係数が存在する可能性がある。
【００１７】
ＤＣＴ変換は、ピクチャの特定ブロックの画素に関して行われる。ＤＣＴ変換で取得したＤＣＴ係数は、しばしばピクチャの「テクスチャ情報」と称される。例えば、８ｘ８画素ブロックのＤＣＴ変換は、１つのＤＣ係数と６３のＡＣ係数を生成する。輝度と２つのクロミナンス画素ブロックのそれぞれに対して個別にＤＣＴ変換が実施される。輝度成分はクロミナンス成分より知覚的に重要であるため、輝度変換の空間解像度の１／４でクロミナンスのＤＣＴ変換が実施され、帯域幅の小さい圧縮映像が供給される。
【００１８】
映像符号化で使用されるマクロブロック（ＭＢ）は、通常、４つの輝度ブロックと２つのクロミナンスブロックから構成される。複数のマクロブロックは、ビデオパケット（ＶＰ）又はスライスを形成する。複数のＶＰ又はスライスはピクチャのフレームを形成する。ＶＰ又はスライスの大きさや形状は、様々な符号化体系の中で変化させてもよく、必ずしも同一画像内において同形である必要はない。例えば、ＭＰＥＧ−４は、画像内の不特定数のマクロブロックを含め、任意形状の映像対象物を符号化することができる。このような映像対象物のフレームは、ビデオオブジェクトプレーン（ＶＯＰ(Video object plane)）と称される。
【００１９】
伝送される映像のビットレートを低減するために、映像対象物又はフレームで発生しうる空間的及び時間的冗長性を使用してもよい。空間的冗長性は、フレームを独立的に符号化するときにのみ利用される。これは、イントラフレーム符号化と称され、ビデオシーケンスの第１フレームを符号化するために使用されると同時に、ビデオシーケンスの間に周期的に挿入される。映像の連続フレームがほぼ同一であるという事実をうまく利用することによりさらに圧縮を行うことができる。「インターフレーム符号化」と称される場合では、２つの連続するフレーム間の差が、現在のフレームと直前のフレームとの間の差として符号化される。場面の動きを考慮に入れることによりさらなる符号化利得を得ることができる。同一の空間位置における現時点でのマクロブロックと直前に符号化されたマクロブロックとの差を取得する代わりに、直前に符号化済みの変位したマクロブロックを使用することができる。当該変位は、動きベクトル（ＭＶ）で表記される。その結果、現時点でのマクロブロックを、動きベクトルと直前のマクロブロックとに基づいて予測することができる。
【００２０】
ＭＰＥＧ−４のデータストリームは、主に３種類のビデオオブジェクトプレーン（ＶＯＰｓ）を含んでいる。第１のタイプのＩ−ＶＯＰＳは、自己においてイントラ符号化されたオブジェクト(intracoded object)からなる。Ｐ−ＶＯＰＳは、直前に符号化されたＶＯＰに対して予測符号化される。第３のタイプのＢ−ＶＯＰは、直前に符号化されたＶＯＰと次に符号化されるＶＯＰの両方との間の差を用いて双方向に符号化される。この第３のタイプのＶＯＰでは、２つの動きベクトルがそれぞれのＢ−ＶＯＰと対応づけられる。
【００２１】
本発明をさらに理解するために、ＭＰＥＧ−４におけるパケットの統語的構造(syntactic structure)の実施例を議論することが有益である。当該分野で理解されるように、ＭＰＥＧ−４パケットは、データパーティショニングモードと非データパーティショニングモードのどちらでも送信できる。データパーティショニングしたＭＰＥＧ−４パケットの例示的な統語的構造が図７に示される。図示されたように、新規ビデオパケットの先頭部には、信号検出を容易にするために固有のビットパターンの再同期マーカ（ＲＭ）７１０が配置される。新規ピクチャの先頭部の場合は、再同期マーカ７１０の位置にピクチャヘッダ（ＰＩＣヘッダ）を含むピクチャｓｙｎｃワード（ＰＩＣｓｙｎｃ）が用いられる。次に、ビデオパケットの第１マクロブロックのアドレスを含むマクロブロックアドレス（ＭＢ）７２０、次いで、第１マクロブロックを復号するために必要な量子化情報７３０が含まれる。
【００２２】
前記量子化情報７３０の後にヘッダ拡張コード（ＨＥＣ）とヘッダ７４０が続く。該ＨＥＣは、ヘッダ内に付加的なＶＯＰレベル情報があるかどうかを示すシングルビットである。該付加的なＶＯＰレベル情報には、タイミング情報、時間基準、ＶＯＰ予測形式他が含まれる。ＨＥＣ及びヘッダ７４０の次に、動きベクトル（ＭＶ）情報を含む動きベクトル領域(Motion Vector field)７５０と、パケット内における動きベクトル情報の終了を表示するモーションマーカ領域（ＭＭ）(Motion Marker field)７６０とが含まれる。モーションマーカ７６０は第２番目の再同期マーカ(resynchronization marker)としての役割を果たすことを理解されたい。モーションマーカ７６０の次にテクスチャ（ＤＣＴ）情報領域７７０が続く。最後に新規ビデオパケットが次の再同期マーカ７８０から開始される。
【００２３】
非データパーティショニングモードでは、動きベクトル情報とテクスチャ情報はモーションマーカにより分割されない。データパーティショニングは、誤り耐性を向上させるために用いられ、動き補償データ及び直前に符号化されたＶＯＰを使用して現在のＶＯＰ内で損失している可能性のあるテクスチャ情報の隠蔽を可能にする。
【００２４】
ＭＰＥＧ−４内には、多数の付加的な副領域(additional sub-fields)が存在し、以下のうち３つを説明する。マクロブロックデータ内には、マクロブロック内のどのブロックが符号化され、どれがゼロ値係数を含むかを示すために、符号化ブロックパターン（ＣＢＰ）が存在する。また、イントラ符号化されたビデオフレームには、ＤＣＴのＤＣ係数とＡＣ係数とを分離するために、ＤＣＴ情報内にＤＣマーカが存在する。最後に、当該パケット内には、当該パケット内に存在するＶＯＰのタイプを表示するために、ピクチャタイプ領域（pic_type field)が存在する。
【００２５】
同期
ビットストリーム内の同期コードワードの存在は、ビデオパケットの耐性に貢献する重要な要素である。これらのコードワードは、誤りのないデータ内の他のいずれの位置にも現出できないビットパターンにより表示される。同期コードワードは、ＰＩＣｓｙｎｃか、又は、再同期マーカ（ＲＭ）からなる。ＭＰＥＧ−４では、ＲＭは任意のマクロブロックの位置にあってよいので、どのピクチャもＰＩＣｓｙｎｃ及び未知数のＲＭを有する。同期化を実施するために、復号器は、第１に、ビットストリーム内で次の連続する２つの同期位置（ＰＩＣｓｙｎｃかＲＭ）を検索する。２つのｓｙｎｃの位置間のビットは「a packet」と表記される。パケットのビット数は、「packet_bits」で表記される。２つのｓｙｎｃワードのピクチャの位置（アドレス）は復号され「mb1」と「mb2」と表記される。パケットのマクロブロック数は、「kmb」と表記される。
【００２６】
復号化プロセス
図４には、出力４７０を生成するための、ビットストリーム４１０のビット解析４２０、隠蔽（コンシールメント）４５０、及び信号処理４６０のステップを含む、本発明による符号化プロセスが例示されている。「異常事象(strange event)」（参照番号４３０）がビット解析４２０中に検出された場合、隠蔽、つまり、ビット解析４２０と隠蔽４５０との間の経路４２０の形成が行われる。さもなければ、隠蔽ステップ４５０はバイパスされる（参照番号４４０）。異常事象とは、ビットストリーム中に検出される誤り又はビットスリームの予測される統語内容に適合しない他のデータの発生と定義される。
【００２７】
復号化プロセスの実施例では、ビットパーサが、特定の可変長の符号化（ＶＬＣ）ワード（ビットパターン）をＤＣＴ成分値に変換する。信号処理装置は、ＤＣＴ成分値のブロックを取得して、画素値を作成するために逆離散コサイン変換(Inverse Discrete Cosine Transform)（ＩＤＣＴ）を実施する。ビットパーサが伝送誤りに起因して誤ったＤＣＴ成分値を出力したと考えられる場合、コンシーラ４５０は、ＤＣＴ成分を、可能な最高画像品質と思われる値に設定することができる。しかし、ビット解析中に誤りが検出されない場合、隠蔽４５０は実施されずにバイパス４４０され、信号処理４６０が続く。異常事象が発生したことを示す誤りが検出されても、それが訂正可能である場合、隠蔽４５０は実施されずに信号処理が行われることになる。最後に、異常事象が発生したことを示す誤りが検出され、それが訂正不可能である場合、信号処理４６０の前に隠蔽４５０が実施される。
【００２８】
ビデオビットストリームに発生する一般的な異常事象の複数の例が表１に示されている。異常事象１は、受信データの条件が０＜ｍｂ２＜ｍｂ１に適合するときに発生する可能性がある。つまり、この異常事象が起こり得る原因には、ｍｂ１のビット誤り（ｍｂ１の値が大きすぎる）、ｍｂ２のビット誤り（ｍｂ２の値が小さすぎる）、又は、不正なＰＩＣヘッダが含まれる。異常事象２と３は、未定義のコードワードが受信されるか、或いは、正しいコードワードの未定義の語義が存在するとき、つまり、コードワードが、発生するコンテクスト内で統語的に意味をなさないときに発生する可能性がある。これらの事象が起こり得る原因は、パケット内のビット誤りを含む場合がある。当業者に周知の他の一般的な異常事象が発生する可能性があることを理解されたい。
【表１】

【００２９】
非データパーティショニングモードに発生する可能性がある異常事象の例が表２に示されている。異常事象４は、paket_bitsが復号される前にｋｍｂのマクロブロックが符号化されるときに発生する可能性がある。この事象が起こり得る原因には、ｍｂ２のビット誤り（ｍｂ２の値が小さすぎる）、又は、パケットのビット誤りが含まれる。異常事象５は、paket_bitsが復号されるまでにｋｍｂマクロブロックが復号されていないときに発生する可能性がある。この異常事象が起こり得る原因は、ｍｂ２のビット誤り、第２のｒｅｓｙｎｃマーカ（ＲＭ２）の損失、或いは、パケットのビット誤りを含む。当業者に周知の他の異常事象が非データパーティショニングモードで発生する可能性があることを理解されたい。
【表２】

【００３０】
データパーティショニングモードで発生する可能性がある異常事象の例が表３に示されている。異常事象６は、モーションマーカがＰ−ＶＯＰパケットに存在していないときに発生する可能性がある。この異常事象が起こり得る原因は、モーションマーカのビット誤り、モーションマーカの直前のエミュレートされたｒｅｓｙｎｃマーカ（ＲＭ）、又は、ｐｉｃ＿ｔｙｐｅの誤りを含む。異常事象７は、ＤＣマーカ（ＤＣＭ）がＩ−ＶＯＰパケット内に存在していないときに発生する可能性がある。この異常事象が起こり得る原因は、ＤＣマーカのビット誤り、ＤＣマーカの直前のエミュレートされたｒｅｓｙｎｃマーカ、又は、ｐｉｃ＿ｔｙｐｅの誤りを含む。異常事象８は、動きベクトルモーションマーカが復号される前にｋｍｂ動きベクトルが復号されるときに発生する可能性がある。この事象が起こり得る原因は、モーションマーカのビット誤り、ｍｂ２のビット誤り（ｍｂ２の値が小さすぎる）、又は、モーションマーカの直前のパケットのビット誤りを含む。異常事象９は、動きベクトルモーションマーカが復号されるまでにｋｍｂ動きベクトルが復号されないときに発生する可能性がある。この異常事象が起こりうる原因は、ｍｂ２のビット誤り、ＲＭ２の損失、モーションマーカの直前のパケットのビット誤り、又は、エミュレートされたモーションマーカを含む。異常事象１０は、ＲＭ２が復号されるまでにｋｍｂＣＢＰが復号されなかったときに発生する可能性がある。この異常事象が起こりうる原因は、パケットのビット誤りを含む。異常事象１１は、ＲＭ２が復号されるまでにマクロブロック内のｋｍｂ係数が復号されていないときに発生する可能性がある。この異常事象が起こり得る原因は、パケットのビット誤りを含む。最後の例として、異常事象１２は、マクロブロック内のｋｍｂ係数がＲＭ２の前に復号されるときに発生する可能性がある。この異常事象が起こり得る原因は、パケットのビット誤りを含む。当業者に周知の他の異常事象がデータパーティショニングモードで発生する可能性があることを理解されたい。
【表３】

【００３１】
多数の異常事象を検出して、内在する誤りの位置付け及び訂正が可能であることを理解されたい。これらの誤り訂正の方法は、当業者には周知である。異常事象の誤りを訂正することができない場合、いくらかの伝送データは無視されるべきで、隠蔽が利用される。適切な対処をしても異常事象の誤りを訂正できない複数の事例を紹介する。例えば、非データパーティショニングパケットにおける回復できない異常事象に対しては、パケットの全データを無視してもよい。Ｉ−ＶＯＰのＤＣマーカの直前、或いは、Ｐ−ＶＯＰのモーションマーカの直前の回復できない異常事象の誤りに対しては、パケットの全データを無視してもよい。Ｉ−ＶＯＰのＤＣマーカ以降の回復できない異常事象に対しては、ＣＢＰ及びＡＣ成分を無視してもよい。Ｐ−ＶＯＰのモーションマーカ以降の回復できない異常事象に対しては、ＣＢＰ及びＤＣＴ成分を無視して動きベクトルを使用してもよい。最後の例として、Ｉ−ＶＯＰのイントラＤＣが範囲外である場合に対しては、イントラＤＣを無視してもよい。当業者に周知の他の隠蔽方法を使用してもよいことを理解されたい。
【００３２】
隠蔽（コンシールメント）
隠蔽方法の３つの実施形態を説明する。第１の隠蔽方法では、Ｐ−ＶＯＰの全てのＤＣＴ成分がゼロに設定される。第２の隠蔽方法では、隣接するマクロブロックで正確に復号された動きベクトルから動きベクトルを複製する。このような正確に復号された動きベクトルが存在しない場合、動きベクトルはゼロに設定される。第３の隠蔽方法では、Ｉ−ＶＯＰＤＣＴ成分は、正確に復号された周囲のマクロブロックから取得される。このようなマクロブロックが存在しない場合、既に隠蔽されているデータが使用される。
【００３３】
動きベクトルの隠蔽中に、４つの周囲の動きベクトルが調査される。そのうちの少なくとも１つが誤りが検出されることなく伝送される場合、該少なくとも１つの動きベクトルが隠蔽されたマクロブロック内で使用される。正確に復号された動きベクトルが検出されない場合、隠蔽された動きベクトルはゼロに設定される。現時点でのマクロブロックが正確に復号されない場合、同じパケットの他のマクロブロックも正確に復号されない可能性がある。この場合、上方又は下方のマクロブロックが、隠蔽に使用可能な動きベクトルを含んでいる可能性が高い。
【００３４】
イントラＤＣの隠蔽中に、４つの周囲のマクロブロックが使用される。正確に復号されたそれらのマクロブロックは、「有効」であるとされ、現時点でのマクロブロックの隠蔽に使用される。全ての有効なＤＣ成分が隠蔽手順において挿入される。図５ａと５ｂには、関連する様々なＤＣ成分が図示されている。図示したように、図５ａの輝度ＤＣ成分は、多くとも２つの周囲の値から挿入され、図５ｂのクロミナンス成分は、４つの周囲の値から挿入される。したがって、２つの対応する隣接値が正確に復号されないために特定の輝度ＤＣの値を隠蔽することができない場合、その代わりに、既に隠蔽されているマクロブロック内部の２つの隣接するＤＣの値から隠蔽される。４つの周囲のマクロブロックの全てが正確に復号されない場合、現時点のマクロブロックは、隣接するマクロブロックの隠蔽された値により隠蔽処理される。
【００３５】
図６ａと図６ｂには、正確に復号された周囲のマクロブロックから、ＤＣの値と同様の方法で隠蔽される様々なイントラＡＣ成分が図示されている。純水平及び純垂直ＡＣ成分のみが隠蔽されている。図６ａに示されたように、輝度については、値は１つの隣接するマクロブロックから複製される。しかし、クロミナンスについては、図６ｂに示されたように、値は２つの周囲のマクロブロックから挿入される。水平ＡＣ成分は、上方及び下方から複製又は挿入される。垂直ＡＣ成分は、左方及び右方から複製又は挿入される。隣接するマクロブロックが有効でない場合、対応する隠蔽は実施されない。
【００３６】
本発明に当業者に周知の他の隠蔽方法を用いてもよいことを理解されたい。
【００３７】
本発明の方法、システム及び装置の様々な実施形態が、添付図と詳細な説明により説明されているが、本発明は開示された実施形態に制限されず、請求項により規定された本発明の範囲を逸脱することなく、多くの変化、変更及び置換が可能である。
【図面の簡単な説明】
【００３８】
【図１】図１は、本発明のビデオビットストリームウォッシャの例示的な実施形態を図示している。
【図２】図２は、本発明のビデオビットストリームウォッシャの別の例示的な実施形態を図示している。
【図３】図３は、本発明のビデオビットストリームウォッシャのさらに別の例示的な実施形態を図示している。
【図４】図４は、本発明の例示的な復号処理を図示している。
【図５】図５ａと５ｂは、本発明のイントラＤＣの隠蔽の例示的な方法を図示している。
【図６】図６ａと６ｂは、本発明のイントラＡＣの隠蔽の例示的な方法を図示している。
【図７】図７は、ＭＰＥＧ−４規格に準拠するビデオパケットの例示的な統語構造を図示している。

Claims

誤りによる不正なビデオビットストリームを訂正する装置であって、
少なくとも１つの誤りを有する不正なビデオビットストリームを受信する受信機と、
前記不正なビデオビットストリームから統語的に正しいビデオビットストリームを生成するための前記受信機と通信しているビデオビットストリームウォッシャとを具備する装置。
前記不正なビデオビットストリームが実質的に誤りが生じやすいネットワークから受信される請求項１の装置。
前記実質的に誤りが生じやすいネットワークは移動体無線ネットワークを含む請求項２の装置。
前記実質的に誤りが生じやすいネットワークは衛星ネットワークを含む請求項２の装置。
前記実質的に誤りが生じやすいネットワークはＩＰネットワークを含む請求項２の装置。
前記統語的に正しいビットストリームは実質的に誤りのないネットワークにより受信される請求項１の装置。
前記実質的に誤りのないネットワークは地上通信ネットワークを含む請求項６の装置。
前記統語的に正しいビデオビットストリームを受信し、そこから復号されるビデオ画像信号を生成するための前記ビデオビットストリームウォッシャと通信しているビデオ復号器をさらに具備する請求項１の装置。
前記ビデオ復号器はエンドユーザ端末を含む請求項８の装置。
前記エンドユーザ端末は携帯電話を含む請求項９の装置。
前記エンドユーザ端末はテレビセットトップボックスを含む請求項９の装置。
前記統語的に正しいビデオビットストリームは、圧縮されたビデオビットストリームを含む請求項１の装置。
前記圧縮されたビデオビットストリームは、ＭＰＥＧ対応ビデオビットストリームを含む請求項１２の装置。
前記圧縮されたビデオビットストリームは、ＭＰＥＧ−１ビットストリーム、ＭＰＥＧ−２ビットストリーム及びＭＰＥＧ−４ビットストリームからなるグループ、Ｈ．２６１ビットストリーム、Ｈ．２６３ビットストリーム及びその組み合わせの中から選択される請求項１２の装置。
誤りによる不正なビデオビットストリームを訂正するための誤り耐性を有するビデオ復号器であって、
少なくとも１つの誤りを有する不正なビデオビットストリームを受信する受信機と、
前記不正なビデオビットストリームから統語的に正しいビデオビットストリームを生成するための前記受信機と通信しているビデオビットストリームウォッシャと、
前記統語的に正しいビオビットストリームを受信し、そこから復号されたビデオ画像信号を生成するための、前記ビデオビットストリームウォッシャと通信しているビデオ復号器と、
を具備する誤り耐性を有するビデオ復号器。
前記不正なビデオビットストリームは、実質的に誤りが生じやすいネットワークから受信される請求項１５の誤り耐性を有するビデオ復号器。
エンドユーザ端末を具備する請求項１５の誤り耐性を有するビデオ復号器。
前記エンドユーザ端末は携帯電話を含む請求項１７の誤り耐性を有するビデオ復号器。
前記エンドユーザ端末はテレビセットトップボックスを含む請求項１７の誤り耐性を有するビデオ復号器。
前記統語的に正しいビデオビットストリームは圧縮されたビデオビットストリームを含む請求項１５の誤り耐性を有するビデオ復号器。
誤りによる不正なビデオビットストリームを修正する方法であって、
少なくとも１つの誤りを有する不正なビデオビットストリームを受信するステップと、
前記少なくとも１つの誤りが訂正可能である場合、前記不正なビデオビットストリーム内の前記少なくとも１つの誤りを訂正するステップと、
前記少なくとも１つの誤りが訂正可能でない場合、前記不正なビデオビットストリーム内の前記少なくとも１つの誤りを隠蔽するステップとを有し、
それにより統語的に正しいビデオビットストリームを前記不正なビデオビットストリームから生成する方法。
前記受信するステップが、
ビデオパケットを決定するために、前記不正なビデオビットストリーム内で連続する同期マーカを検出するステップと、
前記連続する同期マーカのそれぞれのピクチャアドレスを決定するステップと、
前記パケットのマクロブロックの数を計算するステップとをさらに有する請求項２１の方法。
前記受信するステップが、
前記少なくとも１つの誤りを検出するために前記不正なビデオビットストリームのビットを解析するステップをさらに有する請求項２１の方法。
前記隠蔽するステップが、
前記不正なビデオビットストリームのマクロブロック内の動きベクトルデータにおける誤りを検出するステップと、
前記動きベクトルデータを、隣接する誤りのないマクロブロック動きベクトルデータを用いて置換するステップとをさらに有する請求項２１の方法。
前記隠蔽するステップは、
前記不正なビデオビットストリームのマクロブロックにおける離散コサイン変換（ＤＣＴ）係数の誤りを検出するステップと、
前記離散コサイン変換係数を、挿入された隣接する離散コサイン変換係数からのデータで置換するステップとをさらに有する請求項２１の方法。
前記統語的に正しいビデオビットストリームを実質的に誤りのないネットワークへ供給するステップをさらに有する請求項２１の方法。
復号されたビデオビットストリームを生成するために、前記統語的に正しいビデオビットストリームを復号するステップと、
前記復号されたビデオビットストリームから少なくとも１つのビデオ画像信号を生成するステップとをさらに有する請求項２１の方法。
実質的に誤りが生じやすい第１のネットワークと、実質的に誤りのない第２のネットワークとの間でビデオビットストリームのビットを適正化するシステムであって、
前記第１のネットワークから、少なくとも１つの誤りを有する不正なビデオビットストリームを受信するための入力と、
前記不正なビデオビットストリームから統語的に正しいビットストリームを生成するための、前記入力と通信しているビデオビットストリームウォッシャと、
前記統語的に正しいビデオビットストリームを前記第２のネットワークへ供給するための、前記ビデオビットストリームウォッシャと通信している出力とを具備するシステム。
前記第１のネットワークがワイヤレスネットワークを含む請求項２８のシステム。
前記ワイヤレスネットワークが携帯電話ネットワークを含む請求項２９のシステム。
前記第１のネットワークがＩＰネットワークを含む請求項２８のシステム。
前記第２のネットワークが有線ネットワークを含む請求項２８のシステム。