JP2008529346A - Ｃｒｃパリティコードを利用したビデオエラー検出技術 - Google Patents

Abstract

ビデオストリームにおけるエラー検出は、伝送前後にストリームのスライスのＮ個以下のマクロブロックのグループに対しＣＲＣ（Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ）コードなどのエラー検出コードを計算することによって行われる。（ただし、Ｎは、ゼロより大きく、スライスのマクロブロックの合計より少ない整数である。）グループがエラーを有しない場合、通常の復号化が行われる。マクロブロックのグループがエラーを有する場合、マクロブロックグループと残りのスライスのブロックがエラー隠蔽される。

Description

発明の詳細な説明

［技術分野］
本発明は、ビデオビットストリームにおけるエラー検出技術に関する。
［背景技術］
ＭＰＥＧ、Ｈ．２６３、ＪＶＴ（ＩＳＯ／ＩＴＵ Ｈ．２６４としても知られている）などの現在のビデオ圧縮規格の実現は、ビデオフレームをマクロブロック及びスライスに分割する。スライスは、一般に所与の個数の連続するマクロブロックを含む。しかしながら、ＪＶＴ圧縮規格により圧縮されるビデオのフレキシブル・マクロブロック・オーダリング（Ｆｌｅｘｉｂｌｅ Ｍａｃｒｏｂｌｏｃｋ Ｏｒｄｅｒｉｎｇ）オプションを使用することは、表示順に互いに隣接する不要なスライスのマクロブロックをもたらす可能性がある。可変長符号化（ＶＬＣ）技術は、エラー耐性を犠牲にして圧縮効率を向上させることが可能である。ビットストリームのエラーは、未検出のまま伝播し、スライスの以降のすべてのマクロブロックに悪影響を与える可能性がある。

エラー復元を可能にするため、各スライスのヘッダは、再同期マーカーを含む。このようなマーカーは、ビットエラーに続いて適切な復号化を行うことが可能な最先のポイントを構成する。スライスヘッダは、バイトで揃えられるようにバイト境界から開始され、各マクロブロックはバイトで揃えられない。ＪＶＴ圧縮規格に従ってビデオビットストリームの符号化に関して文脈ベース適応的バイナリ算術符号化を利用すると、複数のシンボルが１つのビットとして符号化可能であり、このため、マクロブロック境界はビットでさえ揃えられない。これについて、デコーダが可変長なコードワードについてビットエラー発生時を正確に特定することを困難にする。影響を受けたビットストリームの大部分のビットパターンは、それらが正確な値を表していなくても有効なコードワードを表す。いくつかのケースでは、有効でないコードワードの特定は、復号化された値が正規の範囲を超える場合に発生する可能性があるが、これは常に可変的で未知の量の誤った符号化までに明らかになるとは限らない。従って、エラーに続くスライスのすべてのマクロブロックは、影響を受ける可能性が残っている。

ビデオエラー検出は、ビデオフレームを復号化し、その後、ピクセルドメインのマクロブロック及びスライス境界における空間不連続性についてフレームをチェックすることによって行うことができる。ビデオエラー検出及び隠蔽について各種提案が存在する。特定のマクロブロックにおけるエラー検出に続いて、エラー隠蔽が影響を受けたマクロブロックに対して実行することができる。隠蔽されたマクロブロックは、一般に隠蔽されない影響を受けたマクロブロックより知覚的に良好に見えるが、適切に復号化されたマクロブロックよりは知覚的に不良である。しかしながら、現在の隠蔽アルゴリズムは、計算量が大きく、かなりのリソースを使用する。さらに、このようなアルゴリズムはまた、偽陽性（適切に復号化されたマクロブロックを隠蔽する）と偽陰性（影響を受けたマクロブロックを隠蔽しない）する傾向がある。

影響を受けたマクロブロックの問題を解消する１つのアプローチは、１つのＩＰパケットにおいてスライス全体を伝送することを推奨する。伝送中にスライスが消失した場合、スライスのすべてのマクロブロックは、欠落とマークされ、これにより隠蔽を必要とする。上述されたように、既知の伝送エラーによるパケットのすべてのデータは、影響を受けた、破棄された及び隠蔽されたとマークされる。このため、スライス全体が、検出された伝送エラーのケースでは消失することとなる。スライス毎に比較的少数のマクロブロックを割り当てることは、エラー耐性を向上させるが、符号化及びトランスポート効率のかなりの犠牲を伴う。

このため、比較的小さな計算コンプレクシティによりビットストリームエラーを検出する技術が必要とされる。
［発明の概要］
概略すると、好適な実施例によると、符号化されたビデオストリームにおいてエラーを検出する方法が提供される。本方法は、伝送前にストリームのＮ個のマクロブロックのグループに対して計算される第１パリティコードと共に、符号化されたビデオストリームを受信することから開始される。ストリームは、復号化されたマクロブロックのグループを形成するため復号化される。復号化されたマクロブロックのグループに対して、第２パリティ計算が行われ、復号化されたマクロブロックのグループがエラーを有するか判断するため、第１及び第２パリティコード間の比較が行われる。

概略すると、本原理の他の好適な実施例によると、圧縮されたマクロブロックから構成されるビデオビットストリームの伝送中にエラーを検出する技術が提供される。ＣＲＣ（Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ）パリティコードが、伝送前にビデオストリームを形成する圧縮されたマクロブロックのグループに対して計算される。圧縮されたマクロブロックのグループを受信すると、第２ＣＲＣパリティ計算が行われる。これらのＣＲＣコードが比較される。ＣＲＣコードが一致する場合、エラーは発生しておらず、ブロックのグループの通常の復号化及び他の処理を行うことが可能である。エラーが発生すると、グループのマクロブロックがエラー隠蔽される。マクロブロックのグループがＪＶＴビデオ圧縮規格により圧縮されると、ＣＲＣパリティコードがＳＥＩメッセージとして送信可能である。
［詳細な説明］
図１及び２はそれぞれ、送信機から受信機に送信されるビデオストリームにおけるエラーの検出と、それが検出されるとこのようなエラーの隠蔽を可能にするため一緒に動作する本発明による送信機１０と受信機２０を示す。以下で詳細に説明されるように、送信機１０と受信機２０の組み合わせは、エラーを検出するためＣＲＣ（Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ）を利用する。ＣＲＣは、伝送前にデータのブロックに添付されるＦＣＳ（Ｆｒａｍｅ Ｃｈｅｃｋ Ｓｅｑｕｅｎｃｅ）を生成する際に使用される一般的に使用されるエラー検出コードを構成する。データブロックを受信すると、ＣＲＣはビットエラーの検出を可能にする。ＣＲＣコードは、通常は８ビット、１６ビット及び３２ビットシンボルに適用される。１つの通常使用される１６ビットＣＲＣ生成多項式は、Ｘ^１６＋Ｘ^１２＋Ｘ^５＋１である。

ＣＲＣが適用されるビット又はバイト数は、エラー検出を実行するため、受信する際に既知でなければならない。ＣＲＣは、固定長データブロックに適用可能であり、所定の固定された長さが送信機と受信機において知られている。あるいは、ＣＲＣは可変長パケットを適用可能であり、それは、受信機がＣＲＣチェック計算を適用すべき長さを決定することができるように、ヘッダに長さフィールドを有している。データ受信時のＣＲＣチェックが影響を受けたパケットを示す場合、ＣＲＣは劣化が発生したパケット内の位置についての情報を提供しないため、有効なデータ部分が存在しても、一般にパケットのすべてのデータが破棄される。

上記問題点を解決するため、図１及び２の送信機と受信機はそれぞれ、各マクロブロックと当該マクロブロックに係る圧縮されたデータのビット又はバイトとの間の関連付けを行う。マクロブロックを表す圧縮されたデータがビット又はバイトにより揃えられていないとき、部分的なビット又はバイトのビット又はバイト全体がマクロブロックに関連付けされる。１ビット又は１バイトが、複数のマクロブロックに関連付けされてもよい。以下で詳細に説明されるように、ＣＲＣパリティ計算が、ＣＲＣパリティコードを生成するＮ個のマクロブロックのグループに係る圧縮されたビット又はバイトに適用される（ただし、Ｎは整数である）。スライスの次のＮ個のマクロブロック、又はスライスにＮ未満のマクロブロックしか残っていない場合にはより少数のマクロブロックがグループ化され、他のＣＲＣパリティ計算がそれらに適用され、他のパリティコードを生成するかもしれない。このＮ個のマクロブロックのグループ化及びＮブロックの各セット上のＣＲＣパリティの計算が、スライスのすべてのマクロブロックが使用されるまで続けられる。スライス内のブロックセット上のＣＲＣパリティコードを計算することによって（スライス全体に対してでなく）、エラーがないと検出されたＮ個のブロックの各グループについて処理（すなわち、復号化）が行われ、エラーを有すると検出された各グループについて隠蔽が行われる。これは、エラーが検出された場合にスライス全体を破棄する必要を回避する。

図１は、送信機１０の詳細を示す。送信機内のビデオエンコーダ１２は、入力ビデオストリームを受信し、以下に限定されるものではないが、ＭＰＥＧ、Ｈ．２６３及びＪＶＴを含むいくつかの周知の圧縮技術の何れかに従ってビデオストリームを符号化（すなわち、圧縮）する。図示された実施例では、エンコーダ１２は、ＪＶＴ圧縮規格に従って入力ビデオストリームを符号化する。パケット化装置１４は、ネットワーク１５を介した送信のため、エンコーダから図２の受信機２０への符号化ビデオをパケット化する。

送信機１０の内部のセレクタブロック１４は、エンコーダ１２により符号化される各スライス内のＮ個の圧縮されたマクロブロックを選択する。Ｎ未満のマクロブロックしかスライス内に残らなくなる程度まで、セレクタ１４はこのような残ったマクロブロックをグループにまとめる。ＣＲＣパリティ計算装置１８は、Ｎ個の圧縮されたマクロブロックを表すビット又はバイトに対するＣＲＣパリティコードを計算する。計算されたパリティコードは、圧縮されたビデオデータと共に、スライスの圧縮されたビデオデータから分離したパケットにより、又はスライスの圧縮されたビデオデータと同じパケットの先頭において伝送される。Ｎの値は、図１及び２のそれぞれの送信機１０と受信機２０の両方において予め決定され、知られているか、又はＣＲＣパリティコードと共に伝送可能である。ビデオエンコーダ１２が、図示される実施例と同様にＪＶＴ圧縮規格に従って入力ビデオを符号化するとき、ＣＲＣパリティ計算装置１８により行われるＣＲＣパリティ計算は、符号化ビデオと共に補完的エンハンスメント情報（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）として伝送可能である。

図２は、受信機２０の詳細を示す。受信機２０は、図１の送信機１０によってネットワーク１５を介し伝送される符号化されたビデオパケットを復号化するビデオデコーダ２２を有する。図示された実施例では、図２の受信機２０の内部のビデオデコーダ２２は、ＪＶＴビデオ圧縮規格に従って当初符号化されたパケット化されたビデオを復号化するよう動作する。ＣＲＣパリティ計算装置２４は、図１のＣＲＣパリティ計算装置１８がパリティコードを計算したＮ個の復号化されたマクロブロックのそれぞれに対応するビデオデコーダ２２により復号化されたＮ個のマクロブロックの各グループに対してＣＲＣパリティコードを計算する。すなわち、図１及び２のＣＲＣパリティコード計算装置１８と２４のそれぞれは、Ｎ個のマクロブロックの同一グループに対してＣＲＣパリティコードを計算する。

図２の受信機２０内のＣＲＣパリティ比較装置２６は、ＣＲＣパリティ計算装置２４により計算されるＣＲＣパリティコードを、ＣＲＣパリティ計算装置１８からＳＥＩメッセージにより受信したＣＲＣパリティコードと比較する。２つのＣＲＣパリティコードの一致は、デコーダ２２により復号化されるＮ個のマクロブロックのグループが、図１の送信機１０により送信されたＮ個のマクロブロックの同一グループに対してエラーを含んでいないことを意味する。このような状況の下、セレクタ２８は、Ｎ個のマクロブロックのエラーのないグループがディスプレイ（図示せず）や記録装置などを含みうるそれらの宛先にわたされることを可能にする。エラーイベントにおいて発生するように、ＣＲＣパリティコードが一致しない場合、Ｎ個のマクロブロックのグループについて、このようなアクションをビデオデコーダ２２に警告するビデオエラー隠蔽ブロック３０による隠蔽が行われる。

効果的には、図２のデコーダ２２は、マクロブロックの何れのグループがエラーにより影響を受けるかについて、ビデオエラー隠蔽ブロック３０から受信した情報に基づき知っている。エラーのあるグループより先に受信したスライスの各グループに係るマクロブロックは、このようなブロックはエラーを有していないため、通常の復号化が行われる。エラーのあるグループ内であって、スライスにおいて後のマクロブロックは、劣化しているとみなされ、復号化の代わりに隠蔽される。

１つのＣＲＣコードがスライス全体に適用される従来技術による方法と比較して、本原理のエラー検出技術は、伝送エラーに先行するグループのマクロブロックはエラーを有さず、不連続性の隠蔽又はテストである必要がないという効果を提供する。隠蔽が不適切に行われた劣化していないマクロブロックは、一般に適切に符号化されたマクロブロックより低い画質を有する。フレーム間符号化のため、低画質はより長期間持続する可能性がある。

本原理のエラー検出技術は、伝送エラーの位置を検出するため、空間連続性の指標を復号化されたビデオに適用する方法より好ましい。それは、ＣＲＣパリティコードの計算と受信した値との比較が、空間不連続性の測定よりはるかに低い複雑さしか受けないため、計算複雑さが大きく低下する効果を有する。本原理の技術は、劣化していないマクロブロックが不適切な隠蔽を受ける偽陽性を回避する効果を有し、また劣化したマクロブロックについて隠蔽がされないが、そうされるべきである偽陰性を回避する効果を有する。

ＭＰＥＧ−２ビデオ圧縮規格に適用されると、ＣＲＣパリティコード及び任意的にＮの値が、ユーザデータフィールドにより伝送可能である。ＪＶＴビデオ圧縮規格に適用されると、ＣＲＣパリティコードと任意的にＮの値が、１以上のＳＥＩメッセージ又はユーザデータにより送信可能である。

Ｎの選択及びＣＲＣパリティコードの計算が行われるマクロブロック数は、ネットワーク１５の予想エラーレートに依存する。Ｎの大きな値の選択は（マクロブロックのグループが少ないほど、グループ毎のマクロブロックは多くなる）、ＣＲＣパリティコードの伝送オーバーヘッドを低減させるが、エラー検出の精度は低下する。Ｎの小さな値の選択は（マクロブロックのグループ数が多くなるほど、グループ毎のマクロブロック数は少なくなる）、ＣＲＣパリティコードを伝送するオーバーヘッドを増大させるが、エラー特定の精度は向上する。Ｎの小さな値について、一様分布するエラーとスライスのすべてのマクロブロックに対する一様な圧縮を仮定すると、劣化していないとして特定することが可能なマクロブロックのレシオは、１／２に近づく。

上述したエラー検出技術はＣＲＣコードを利用するが、任意のタイプのエラー検出又は訂正多項式が利用可能である。ＣＲＣコードは、一般にバイトに対して計算及び適用される。さらに、本技術は、スライスのすべてのマクロブロックについてＣＲＣパリティコードの計算及び送信を必要としない。いくつかの例では、スライスの後のマクロブロックより先のマクロブロックについてパリティコードを送信することは、圧縮されたスライスにおいてエラーの検出が行われると、スライスの残りのマクロブロックについて訂正が行われないため、効果的であるとわかる。これは、それらが伝送エラーナシに受信したマクロブロックグループに属していても、真であり続ける。

上記は、符号化されたビデオストリームにおいてエラーを検出する技術について記載している。

図１は、圧縮されたマクロブロックのグループと付属のＣＲＣパリティ計算を行う本発明の好適な実施例による送信機の例示的な実施例のブロック概略図を示す。 図２は、必要に応じてエラー検出及び隠蔽を行うため、図１の送信機からの圧縮されたマクロブロックの受信とＣＲＣパリティ計算を行う受信機の例示的な実施例のブロック概略図を示す。

Claims (18)

1. 符号化されたビデオストリームにおいてエラーを検出する方法であって、
   伝送前にスライスのＮ個のマクロブロックのグループに対して計算された第１パリティコードと共に、前記符号化されたビデオストリームを受信するステップと、
   復号化されたマクロブロックのグループを形成するため、前記符号化されたビデオストリームを復号化するステップと、
   前記復号化されたマクロブロックのグループに対して第２パリティコードを計算するステップと、
   前記復号化されたマクロブロックのグループがエラーを有するか決定するため、前記第１及び第２パリティコードを比較するステップと、
   を有する方法。
2. エラーが存在する場合、前記マクロブロックのグループを隠蔽するステップをさらに有する、請求項１記載の方法。
3. 前記スライスの以降のすべてのマクロブロックを隠蔽するステップをさらに有する、請求項２記載の方法。
4. 前記第１パリティコードは、ＣＲＣ（Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ）コードを有する、請求項１記載の方法。
5. 前記第２パリティコードを計算するステップは、第２ＣＲＣコードを計算するステップを有する、請求項４記載の方法。
6. 符号化されたビデオストリームにおいてエラーを検出する方法であって、
   前記符号化されたビデオストリームの少なくともスライスを、伝送前に前記スライスのＮ個のマクロブロックのグループに対して計算された少なくとも１つの第１パリティコードと共に、受信するステップと、
   復号化されたマクロブロックのグループを形成するため、前記符号化されたビデオストリームのスライスを復号化するステップと、
   前記復号化されたマクロブロックのグループに対して第２パリティコードを計算するステップと、
   前記マクロブロックのグループがエラーを有するか決定するため、前記第１及び第２パリティコードを比較するステップと、
   エラーが存在する場合、前記マクロブロックのグループと前記スライスの以降のマクロブロックのすべてのグループとを隠蔽するステップと、
   を有する方法。
7. 前記第１パリティコードは、ＣＲＣ（Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ）コードを有する、請求項６記載の方法。
8. 前記第２パリティコードを計算するステップは、第２ＣＲＣコードを計算するステップを有する、請求項６記載の方法。
9. 伝送中に発生する符号化されたビデオストリームにおけるエラーを検出する方法であって、
   前記符号化されたビデオストリームの少なくともスライスを、伝送前に前記スライスのＮ個のマクロブロックのグループに対応する前記符号化されたビデオストリームの部分に対して計算された少なくとも１つの第１エラー検出コードと共に受信するステップと、
   前記Ｎ個のマクロブロックのグループに対応する前記符号化されたビデオストリームの部分に対して第２エラーコードを計算するステップと、
   前記マクロブロックのグループがエラーを有するか判断するため、前記第１及び第２エラーコードを比較するステップと、
   を有する方法。
10. エラーが存在する場合、前記マクロブロックのグループを隠蔽するステップをさらに有する、請求項９記載の方法。
11. 前記スライスの以降のすべてのマクロブロックを隠蔽するステップをさらに有する、請求項９記載の方法。
12. 前記第１パリティコードは、ＣＲＣ（Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ）コードを有する、請求項９記載の方法。
13. 前記第２パリティコードを計算するステップは、第２ＣＲＣコードを計算するステップを有する、請求項１２記載の方法。
14. 符号化されたビデオストリームにおいてエラーを検出する装置であって、
    伝送前にスライスのＮ個のマクロブロックのグループに対して計算された第１パリティコードと共に、符号化されたビデオストリームを受信する受信機と、
    前記伝送されたビデオストリームのスライスにおいて受信されたＮ個のマクロブロックのグループに対し第１パリティコードを計算する計算装置と、
    前記マクロブロックのグループにエラーが存在するか判断するため、伝送前に前記スライスのＮ個のマクロブロックのグループに対し計算される第２パリティコードと前記第１パリティコードとを比較する比較装置と、
    を有する装置。
15. 前記マクロブロックのグループにエラーが存在する場合、前記マクロブロックのグループを隠蔽するビデオエラー隠蔽構成をさらに有する、請求項１４記載の装置。
16. 伝送前にＮ個のマクロブロックのグループに対して計算された第１パリティコードと共に、少なくとも符号化されたビデオストリームを送信する送信機と、
    前記第１パリティコードと共に前記符号化されたビデオストリームを受信する受信機と、
    Ｎ個の復号化されたマクロブロックのグループを形成するため、前記符号化されたビデオストリームを復号化するデコーダと、
    を有し、
    前記受信機は、前記復号化されたマクロブロックのグループに対して第２パリティコードを計算し、前記マクロブロックのグループがエラーを有するか決定するため、前記第１及び第２パリティコードを比較するシステム。
17. 前記受信機はさらに、前記マクロブロックのグループにエラーが存在する場合、前記マクロブロックのグループを隠蔽するビデオエラー隠蔽装置を有する、請求項１６記載のシステム。
18. 前記第１及び第２パリティコードはそれぞれ、ＣＲＣ（Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ）コードを有する、請求項１６記載の方法。

Images