JP2014519247A - エンドツーエンドコード化ビデオ伝送システムのためのオンデマンドイントラリフレッシュ - Google Patents

Abstract

ビデオ伝送システムは、エンコーダおよびデコーダを含む。データは、ビデオエンコーディングと伝送との間に消失させられ、デコーダによってビデオ画像を再構築する際にエラーにつながり得る。戻りチャネルは、デコーダによって検出されたエラーが、エンコーダに利用可能になるように、エンコーダとデコーダとを連結する。受信されなかった画像の割合に応じて、リフレッシュ動作が行われる。オンデマンドイントラリフレッシュ動作は、リフレッシュさせられる必要がある画像の割合が規定レベルを下回ると行われる。ランダムイントラリフレッシュ動作は、リフレッシュさせられる必要がある画像の割合がそのレベルを超えるとき行われる。

Description

本発明は、ネットワーク上でビデオ信号を転送することに関する。より具体的には、本発明は、伝送エラーが生じるとき、および情報の一部が消失または破損させられるときに、画像の部分にイントラフレーム予測を導入することによって、画像品質への影響を低減させることに関する。

ネットワーク上でビデオコンテンツを伝送する前に、ビデオフレームは、データをエンコードするためにアルゴリズムを使用して圧縮される。エンコードするためのデータの量を低減させるために、公知のビデオ伝送システムは、予測プロセスを使用してもよい。典型的なビデオ圧縮規格は、２つの主要タイプの予測を考慮し得る。一方のタイプは、ビデオフレームの各部分に対するその現在の場所までコード化された現在のフレームの情報を使用するイントラフレーム予測である。言い換えると、イントラフレーム予測は、現在のフレームからの情報を使用する。

別のタイプは、インターフレーム予測である。インターフレーム予測は、現在のフレームの各部分に対して、以前または今後コード化される画像フレームからの情報を使用し、フレーム間の時間的冗長性を利用して、より高い圧縮レートを達成する。１つの場面が次々に有意に変化しない場合、インターフレーム予測は、マクロブロックが同一のままであると予測することによって、エンコーディング作業負荷を低減させる。

各タイプとも、短所に悩まされる。各タイプに対する圧縮効率は、広範囲の用途およびシナリオに対して異なる。帯域幅および待ち時間等のシステム要件に応じて、イントラフレーム予測フレームの使用は、容認可能な品質または性能レベルに対して望ましくない場合がある。例えば、イントラフレームエンコーディングは、各マクロブロックに対して、生の画素をエンコードすることを要求し得る。ビデオ伝送システム内の帯域幅は、その結果、増加し得る。待ち時間制約を有するシステムは、圧縮比がより低いので、消失ブロックに直面し得、イントラフレームエンコーディングは、インターフレームエンコーディングよりも多くのビットを消費する傾向にある。したがって、インターフレーム予測は、より優れた代替であり得る。

一方、イントラフレーム予測は、エラー耐性目的のために必要とされ得る。ビデオ伝送システムは、デコードされる画像に現れるエラーを導入する。デコーディング後に、エラーが可能性として考えられるデータ消失またはデータの破損に起因して生じる。いくつかのシステムは、時々、イントラフレームを導入し、顕著なエラーの発生を防止してもよいが、このプロセスは、小さい待ち時間システムにおいては、ビットレートが有意に上向きに急上昇するか、または品質レベルが容認可能レベルを下回って降下するので、実行可能ではない場合がある。

図１Ａおよび１Ｂに示されるように、イントラフレームの使用は、ビデオ伝送に負の影響をもたらす。図１Ａまたは１Ｂのいずれかに示されるシナリオは、エラーがビデオ伝送内において生じるときに生じ得る。図１Ａは、完全イントラフレームリフレッシュのため、経時的に一定ビットレートを有するシステム内でデコードされるビデオの品質を示すグラフ１００を図示する。図１Ａにおいては、ビットレートは、プロセス全体を通して一定のままである一方、ビデオの品質は変動する。点線１０２は、伝送にいかなるエラーも伴わないビデオコンテンツの品質レベルを表す。点線１０２は、ビデオ品質にいかなる顕著な劣化も伴わずに、経時的に、定常状態で、またはほぼ小範囲内に留まる。

線１０４は、エラー１１２が生じ、イントラフレームリフレッシュ画像が導入されるときのビデオ品質を表す。線１０４もまた、エラー１１２が生じるか、または検出されるときまで、定常状態のままである。次いで、品質のレベルが有意に降下し、ユーザに顕著な問題をもたらす。画像は、品質の降下のために歪曲または陰影がつけられ得る。この降下は、可能性として、システム制約によって要求される一定ビットレートの必要性に起因して生じる。線１０６は、ネットワークビットレート容量を表す。ビットレートが線１０６を下回った状態のままである限り、待ち時間問題は、ビデオ伝送システム内で生じない。

点線１０８は、ビデオ伝送システム内のエラーを伴わないビットレートを表す。点線１０８は、経時的に、かつネットワーク内にいかなる問題も生じさせない合理的な範囲内において、定常状態のままである。線１１０は、エラー１１２が生じるときのビットレートを表す。前述の線１０４と異なり、線１１０は、エラー１１２にもかかわらず、値を変化させない。したがって、待ち時間問題は、ネットワーク上で発生しないが、品質の顕著な降下がイントラフレームリフレッシュ画像を導入する結果、生じる。

図１Ｂは、完全イントラフレームリフレッシュのために、経時的に一定品質レベルを有するビットレートの変動を示すグラフ１２０を図示する。点線１０２および１０８は、エラーが生じず、イントラフレームリフレッシュが必要とされないそれらのシナリオに対して、定常状態のままである。品質が、図１Ｂでは一定のままであるため、線１０４もまた、経時的に、定常状態のままである。しかしながら、ビットレートに対する線１１０は、イントラフレームリフレッシュ画像に対処するために必要とされるコード化の増加に起因して劇的に増加する。受信したデータの複雑性は、新しい画像に起因して増加し、ビットレートは、エラー１１２における線１０６によって示されるように、この増加に対処するためにネットワーク容量を超える。待ち時間が、ビデオ伝送システムに導入されるであろう。小待ち時間システムに対して、バッファリング問題がまた、生じるであろう。

したがって、イントラフレームリフレッシュ画像の使用は、ネットワークビットレート容量を超えず、品質の一定レベルを所望するシステムに対しては、実行可能ではない場合がある。小さい待ち時間ビデオ伝送システムに対して、イントラフレーム予測は、エラーが生じると、破損した画像を復元し得る。イントラフレーム予測の使用は、破損したデータから生じるアーチファクトを除去し、デコードされるビデオコンテンツの所望の品質レベルを復元し得る。フレームは、エンコーダによって、スライスに、すなわち、セグメントに分割され、別個にエンコードされ得る。しかしながら、このプロセスは、フレームを通って移動する歪曲を生じさせ、ビデオコンテンツの品質を低減させ得る。イントラ予測スライスは、視覚的に顕著である。さらに、品質が維持される場合、ビットレートは、待ち時間とともに増加し得るが、イントラフレームリフレッシュ画像ほど有意ではない。

図２Ａおよび２Ｂは、画像のセグメントにわたって、イントラフレーム予測によって生じる負の影響を示す。図２Ａは、部分的イントラフレーム予測リフレッシュに対して、経時的に一定ビットレートを有するビデオ伝送システム内でデコードされるビデオの品質を示すグラフ２００を図示する。点線２０２は、伝送にいかなるエラーも伴わない経時的ビデオコンテンツの品質を表す。線２０４は、エラー２１２が生じるときのビデオコンテンツの品質を表す。エラー２１２は、エラーを含有するセグメントのみがイントラフレーム予測を使用してエンコードされるように、イントラフレームセグメントリフレッシュをもたらし得る。

線２０４は、品質が降下するが、図１Ａにおける線１０４ほど有意ではない。しかしながら、線２０４は、２つ以上の時間期間にわたって、品質を低減させる。品質は、画像の一部が歪曲または陰影がつけられるような時間において伝送されるセグメントに対して、影響を受けるであろう。この作用は、セグメントがイントラフレーム予測を使用して復元されるので、不良品質画像をもたらす。線２０６は、ネットワークビットレート容量を表す一方、点線２０８は、ビデオ伝送システム内で生じるいかなるエラーも伴わないビットレートを表す。線２１０は、エラー２１２が生じるときのビットレートを表す。図１Ａの線１１０同様に、線２１０は、エラー２１２に起因して有意に変動せず、線２０６を下回ったままである。

図２Ｂは、部分的イントラフレーム予測リフレッシュのために、経時的に一定品質を有するビデオ伝送システム内のビットレート変動を示すグラフ２２０を図示する。図２Ａにおけるように、点線２０２および２０８は、エラーがビデオ伝送システム内で生じないので、経時的に定常状態のままである。線２０４もまた、ビデオ画像におけるほぼ一定の品質の必要に起因して定常状態のままである。線２１０は、ビットレートがエラー２１２に起因して増加することを示す。図１Ｂにおける線１１０ほど有意ではないが、線２１０は、線２０６によって示されるように、ネットワークビットレート容量を超える。したがって、エラー２１２が生じるとき、待ち時間問題がビットレート変動に起因して生じるであろう。

本発明の実施形態は、エンドツーエンドコード化ビデオ伝送システムのためのオンデマンドイントラリフレッシュを開示する。システムは、エラー耐性と品質性能との間の妥協を提供しようとする一方、イントラフレームリフレッシュフレームまたは画像の使用を低減または排除する。開示されるシステムは、ビデオ画像の部分にイントラフレーム予測を導入する。マップの各部分がエラーが生じるとき、独立してリフレッシュされるよう要求され得るように、フレーム全体がランダムマクロブロックとしてテーブルにおいてマップされる。

開示されるシステムは、デコーダ側が、エンコーダに、画像のどの部分がリフレッシュされなければならないかを通知し得るように、デコーダからの戻りチャネルを含む。エンコーダおよびデコーダは、ランダムリフレッシュおよび要求されたリフレッシュが発生するときに確立するためのプロトコルを使用してもよい。プロトコルはまた、各フレーム内でリフレッシュされる画像の割合を制御してもよい。この制御機構は、画像のリフレッシュされる部分が、イントラフレームリフレッシュフレーム全体を使用することによって見出される類似の品質経過またはビットレート変動をもたらすシナリオを回避しようとする。

好ましい実施形態によると、ビデオ伝送システムが開示される。ビデオ伝送システムは、デコードされる画像のマクロブロック内のエラーを検出するために、デコーダ内にエラー検出器を含む。ビデオ伝送システムはまた、戻り接続を用いてエラー検出器に連結されたエンコーダ内のエラー解消モジュールを含む。エラー解消モジュールは、エラーを有するマクロブロックの割合を決定する。ビデオ伝送システムはまた、マクロブロックの割合に基づいて、デコードされる画像をリフレッシュさせるために、エンコーダ内にリフレッシュツールを含む。

さらに好ましい実施形態によると、ビデオ伝送システム内の画像をリフレッシュさせるための方法が開示される。本方法は、デコーダにおいて画像中のマクロブロック内のエラーを検出するステップを含む。本方法はまた、デコーダまでの戻り接続を有するエンコーダにおいて、マクロブロック内のエラーを受信するステップを含む。本方法はまた、マクロブロック内のエラーがある割合を超えるか否かを決定するステップを含む。本方法はまた、マクロブロック内のエラーがある割合以下である場合、オンデマンドイントラリフレッシュを行うステップを含む。本方法はまた、マクロブロック内のエラーが割合を超える場合、ランダムイントラリフレッシュを行うステップを含む。

さらに好ましい実施形態によると、ビデオ伝送システム内の画像をイントラリフレッシュさせるための方法が開示される。本方法は、画像中のマクロブロック内で識別されたエラーを受信するステップを含む。本方法はまた、識別されたエラーに対して、イントラリフレッシュプロセスを行うステップを含む。本方法はまた、画像のためのセットのマクロブロックをリフレッシュさせるステップを含む。

添付図面は、本発明のさらなる理解を提供し、本明細書の一部を構成するために含まれる。以下に列挙される図面は、本発明の実施形態を図示し、説明とともに、請求項およびその均等物によって開示されるような本発明の原理を説明する役割を果たす。

図１Ａは、完全イントラフレームリフレッシュのために、経時的に一定ビットレートを有するシステム内のデコードされるビデオの品質を示すグラフを図示する。図１Ｂは、完全イントラフレームリフレッシュのために、経時的に一定ビットレートを有するビットレートの変動を示すグラフを図示する。 図２Ａは、部分的イントラフレーム予測リフレッシュのために、経時的に一定ビットレートを有するビデオ伝送システム内のデコードされるビデオの品質を示すグラフを図示する。図２Ｂは、部分的イントラフレーム予測リフレッシュのために、経時的に一定ビットレートを有するビデオ伝送システム内のビットレート変動を示すグラフを図示する。 図３は、開示される実施形態による、ビデオ信号データを伝送および受信するためのシステムを図示する。 図４は、開示される実施形態による、エンコーダおよびデコーダのブロック図を図示する。 図５は、開示される実施形態による、ビデオ伝送システム内の画像をリフレッシュさせるための流れ図を図示する。 図６は、開示される実施形態による、ランダムイントラリフレッシュを受ける画像を図示する。 図７は、開示される実施形態による、オンデマンドイントラリフレッシュを受ける画像およびマクロブロックテーブルを図示する。

本発明の側面は、付随の説明に開示されている。本発明の代替実施形態およびその均等物も、本発明の精神または範囲から逸脱することなく考案されている。以下に開示される類似の要素は、図面中、類似の参照番号によって示されることに留意されたい。

図３は、開示される実施形態による、ビデオ信号データを伝送および受信するためのシステム３００を図示する。システム３００は、情報を共有するために、ネットワーク上で接続する任意のシステムまたはデバイス集合であってもよい。ビデオコンテンツは、ビデオ信号を伝送する際に、リアルタイムで配信されることにより、殆どまたは全く待ち時間が感じられない。ビデオ信号は、視聴者に配信される画像のフレームを含む。小さい待ち時間のビデオ伝送システムは、例えば、セキュリティ監視のために望ましくあり得る。

デジタルメディアサーバ３０２は、伝送されるべきビデオコンテンツを生成する。デジタルメディアサーバ３０２は、任意のデバイス、コンソール、カメラ、およびビデオデータを捕捉する同等物であってもよい。例えば、デジタルメディアサーバ３０２は、ディスクまたは他のメディア上に記憶されたビデオゲームを再生するゲームコンソールである。ゲームを再生することから生成されるコンテンツは、ユーザがリアルタイムで視聴および相互作用するために表示される。代替として、デジタルメディアサーバ３０２は、コンピュータ、ビデオレコーダ、デジタルカメラ、スキャナ、およびエンコードされるべき画像としてビデオデータを捕捉する同等物である。

非圧縮データ信号３０４は、デジタルメディアサーバ３０２からエンコーダ３０６に出力される。エンコーダ３０６は、システム３００内での伝送のために、信号３０４をエンコードまたは圧縮してもよい。エンコーダ３０６は、以下により詳細に開示される。エンコーダ３０６は、公知の定量化およびコード化技法を使用して、非圧縮データ信号３０４内の画像をネットワーク３１８上で伝送することが可能なデータに変換してもよい。しかしながら、この変形においては、いくらかのデータが消失または破損され得る。

エンコーダ３０６は、コード化された信号３０８をバッファ３１０に出力する。バッファ３１０は、システム３００を通して伝送され得るまで、信号３０８からのデータを記憶する。ネットワークビットレートが信号３０８の伝送を可能にしない場合、バッファ３１０は、送受信機３１４によって伝送することができる時間までデータを保持する。バッファ３１０は、信号３１２を送受信機３１４に出力する。

送受信機３１４は、ネットワーク３１８上で信号３１６を伝送する。ネットワーク３１８は、例えば、ビデオデータをネットワーク３１８上の視聴者に配信する無線または有線ネットワーク等の、データを伝送および受信する任意のデバイス集合であってもよい。代替として、ネットワーク３１８は、リアルタイムのビデオを示す遠隔カメラから信号３１６を受信するコンピュータのネットワークであってもよい。

送受信機３２０は、信号３１６を受信し、信号３２２をバッファ３２４に出力する。信号３２６は、バッファ３１０からデコーダ３２８にストリームする。デコーダ３２８は、信号３２６をデコードまたは解凍して、非圧縮信号３３０を生成する。デコーダ３２８はまた、以下により詳細に開示される。デコーダ３２８はまた、非圧縮信号３３０内に現れる信号３２６内のエラーを検出してもよい。デコーダ３２８は、戻りチャネル３２９を介してエンコーダ３０６に連結されてもよい。

非圧縮信号３３０は、好ましくは、コード化プロセスに起因する若干の変化を有する、非圧縮信号３０４の高品質なコピーである。デジタルメディアレンダラ３３２は、非圧縮信号３３０を受信し、ビデオデータコンテンツをユーザに表示する。デジタルメディアレンダラ３３２は、表示解像度１，２８０×７２０画素（７２０Ｐ）または１，９２０×１，０８０画素（１０８０Ｉ／１０８０Ｐ）を有する高解像度テレビであってもよい。

システム３００は、種々の制約およびパラメータに従う。システム３００は、ネットワーク３１８上で一定ビットレートで伝送してもよい。このビットレートは、経時的に同一のままであるが、しかしながら、ある状況下において変化してもよい。遅延または積分時間は、バッファ３１０が埋まるにつれて生じ、データが、ネットワーク３１８上で送信される際に、システム３００内に待ち時間を生じさせ得る。

図４は、開示される実施形態による、エンコーダ３０６およびデコーダ３２８のブロック図を図示する。示されるように、エンコーダ３０６は、非圧縮データ信号３０４を受信し、コード化された信号３０８を生成する。デコーダ３２８は、コード化された信号３２６を受信し、非圧縮データ信号３３０を生成する。非圧縮データ信号３３０は、好ましくは、非圧縮データ信号３０４の高品質表示である。エンコーダ３０６およびデコーダ３２８は、図示されるもの以外の特徴を含み、公知のエンコーダおよびデコーダのそれらの一部を含んでもよい。

デコーダ３２８は、コード化された信号３２６内のデータを受信し、非圧縮データ信号３３０のためのフレーム内に画像を再構築する。ある数のフレームが、１秒あたり６０フレーム等のある期間にわたって受信されるはずである。データの逆変換において、エラーが生じ得るか、またはデータが消失され得る。このデータは、結果として生じる画像の部分が、紛失または理解不能とならないように、エンコーダ３０６によってリフレッシュされてもよい。

デコーダ３２８は、画像内のエラーを識別および検出するエラー検出器４０２を含む。以下により詳細に開示されるように、ビデオ画像は、エンコーダ３０６によってエンコードされるマクロブロックに分割される。デコーダ３２８は、各マクロブロックに対するデータをデコードする。このプロセスの間、いくつかのマクロブロックは、消失されるか、またはリフレッシュされる必要がある程度まで歪曲させられ得る。さらに、マクロブロック群が、消失されるか、またはエラー状態にある場合もあり、ビデオ画像のセグメントもまた、消失される。エラー検出器４０２は、問題のあるマクロブロックを検知する一方、デコーダ３２８は、各画像を再構築する。

デコーダ３２８は、戻りチャネル３２９を介して、エンコーダ３０６に連結される。エラー検出器４０２は、戻りチャネル３２９内の戻り接続４０４を使用して、エンコーダ３０６と通信する。戻り接続４０４は、エラー検出器４０２が、エンコーダ３０６に対してエラーを識別する必要があるときに作成されるという点において、アドホックであり得る。デコーダ３２８が使用されない場合、戻り接続４０４は、無効にされてもよい。

エンコーダ３０６は、エラー検出器４０２に連結されたエラー解消モジュール４０６を含む。エラー解消モジュール４０６は、エラーまたは一連のエラーが、デコーダ３２８内で画像フレームを再構築する際に生じたことの表示を受信する。エラー解消モジュール４０６は、次いで、エラーによって影響を受けた画像内のマクロブロックの割合に応じて、一連の作用を受ける。このプロセスは、以下により詳細に開示される。

マクロブロックの割合が規定量を上回る場合、エンコーダ３０６は、ランダムイントラリフレッシュツール４０８を使用して、デコーダ３２８においてフレーム内の画像をリフレッシュさせる。大きなエラーに対して、リフレッシュさせられる部分は、イントラリフレッシュフレーム全体の使用と関連付けられた問題をもたらし得る。品質は、顕著に影響を受けるか、またはビットレート変動は、待ち時間問題を生じさせ得る。このシナリオにおいて、ランダムマクロブロックが、画像内でリフレッシュさせられるように選定される。ランダムマクロブロックの使用は、ビデオ品質の顕著な変化を防止する一方、有意なビットレート変動を回避する。このプロセスは、図５によって、より詳細に開示される。

エラー解消モジュール４０６が、画像内のエラーの割合がある量を下回ると決定する場合、エンコーダ３０６は、オンデマンドイントラリフレッシュツール４１０を使用して、エラー検出器４０２によって識別されたそれらのマクロブロックをリフレッシュしてもよい。ランダムイントラリフレッシュツール４０８と異なり、オンデマンドイントラリフレッシュツール４１０は、それらと関連付けられた伝送エラーを有するそれらのマクロブロックのみをリフレッシュさせる。したがって、エンコーダ３０６のリフレッシュ動作は、デコーダ３２８によって標的化されたそれらのマクロブロックのみが、システム３００内で再コード化および伝送されるので、ビデオ品質に顕著な低下または有意なビットレート変動を生じさせない。

オンデマンドイントラリフレッシュツール４１０は、エラーを有する画像をリフレッシュさせる間、マクロブロックテーブル４１２にアクセスし、どのマクロブロックをリフレッシュすべきかを決定する。エンコーダ３０６は、画像の各マクロブロックをマクロブロックテーブル４１２にマップし、画像の一部をリフレッシュさせるとき、オンデマンドイントラリフレッシュツール４１０のための参照を提供する。デコーダ３２８は、誤っている、または利用不可能である、画像のゾーンまたはその一部を示し、オンデマンドイントラリフレッシュツール４１０は、マクロブロックテーブル４１２から、画像の消失部分に最良適合する部分内のそれらのマクロブロックを決定する。

したがって、オンデマンドイントラリフレッシュツール４１０を使用して、デコーダ３２８は、画像のどの部分が、リフレッシュされるべきかを決定する。デコーダ３２８は、その独自のテーブルをリフレッシュのための要求で埋め、エンコーダ３０６に送信してもよい。テーブルが、オンデマンドイントラリフレッシュのために可能な量または割合を超える場合、エラー解消モジュール４０６は、ランダムイントラリフレッシュツール４０８を有効にする。逆に言えば、デコーダ３２８ではなく、ランダムイントラリフレッシュツール４０８が、どのマクロブロックがリフレッシュされるべきかを決定する。実際、ランダムイントラリフレッシュツール４０８は、いくつかのリフレッシュツールが、常時、システム３００内で利用可能であるように、戻りチャネル３２９が、利用不可能であるとき、その機能を果たしてもよい。

図５は、開示される実施形態による、ビデオ伝送システム３００内の画像をリフレッシュさせるための流れ図５００を図示する。流れ図５００によって開示されるプロセスは、図３および４に示される本発明のデバイスおよび要素と併用されてもよい。

ステップ５０２は、エラー検出器４０２によって、デコーダ３２８によって再構築される画像内のエラーを検出することによって実行される。エラーは、画像内の１つ以上のマクロブロックを含んでもよい。ステップ５０４は、デコーダ３２８によってテーブル要求を埋めることによって実行される。テーブル要求は、画像内のエラー状態によって損なわれるそれらのマクロブロックを識別するはずである。さらに、テーブル要求は、画像内にエラー状態を有するブロックの割合を示すことが可能であるはずである。

ステップ５０６は、エンコーダ３０６において、テーブル要求を受信することによって実行される。具体的には、エラー解消モジュール４０６は、エラー検出器４０２から要求を受信する。ステップ５０８は、任意のエラーが要求によって識別されるか否かを決定することによって実行される。該当しない場合、ステップ５１０は、任意のイントラリフレッシュ動作を行わないことによって実行される。本質的に、デコーダ３２８は、エンコーダ３０６からのいかなるリフレッシュされたマクロブロックにもよらずに画像を再構築する。

ステップ５０８がエラーが画像内にあると決定する場合、ステップ５１２は、デコーダ３２８によって識別されたエラーが規定割合を超えるか否かを決定することによって実行される。例えば、割合が４０％であってもよい。したがって、テーブル要求内で識別されるように、４０％を上回る画像のマクロブロックがリフレッシュされる必要がある場合、ビデオ品質は、顕著に影響を受けるであろうし、またはビットレート変動に起因して待ち時間問題が生じるであろう。オンデマンドイントラリフレッシュを行うことは、画像全体のイントラフレームリフレッシュを送信することに類似するであろう。

したがって、ステップ５１２が該当する場合、ステップ５１４は、ランダムイントラリフレッシュ動作を行うことによって実行される。ステップ５１６は、エンコーダ３０６によってリフレッシュされるべき画像内のランダムマクロブロックを生成することによって実行される。ステップ５１８は、デコーダ３２８に対して選択されたマクロブロックをランダムにリフレッシュさせることによって実行される。

ステップ５１４−５１８は、図６によってより詳細に開示され得る。図６は、開示される実施形態によるランダムイントラリフレッシュを受ける画像６００を図示する。ランダムイントラリフレッシュツール４０８は、画像６００内のリフレッシュのためのマクロブロックをランダムに選択した。

画像６００は、マクロブロック６５０に分割されてもよい。マクロブロック６５０は、８×８または１６×１６等の設定数の画素を含む。各マクロブロックは、画像６００内の各画素が伝送のためにエンコードされるように、エンコーダ３０６によってコード化される。マクロブロックのためのパラメータはそれぞれ、画像６００の異なる部分を表すので異なるであろう。例えば、画像６００は、人物６０２、構造物６０４、および光源６０６を含んでもよい。各マクロブロックは、デコーダ３２８によって再構築される輝度、色、および動きベクトルに対する値を含むであろう。

ステップ５１２において決定されるように、画像６００内のエラーが大き過ぎるので、オンデマンドリフレッシュは実行不可能である。したがって、ランダムイントラリフレッシュツール４０８が、画像品質を損なわせるか、または有意なビットレート変動を被らないように、リフレッシュのためのランダムマクロブロック６５０を選択する。第１のインスタンスでは、ランダムに選択されたマクロブロック６１０は、エンコーダ３０６によるリフレッシュのために選択される。マクロブロック６１０は、リフレッシュさせられるか、または再びコード化され、デコーダ３２８に送信されて、画像６００内で検出されたエラーを緩和する。別のランダムイントラリフレッシュが必要とされる場合、ランダムイントラリフレッシュツール４０８が、画像６００内のマクロブロック６２０をランダムに選択してもよい。ランダムイントラリフレッシュを使用して、画像６００の十分な部分が、検出されたエラーを克服するためにリフレッシュさせられる。

ステップ５１２が該当しない場合、ステップ５２０は、オンデマンドイントラリフレッシュツール４１０およびマクロブロックテーブル４１２を使用して、画像上でオンデマンドイントラリフレッシュ動作を行うことによって実行される。ステップ５２２は、マクロブロックテーブル４１２内にエラーを有するとき、デコーダ３２８によって示されたマクロブロックを識別することによって実行される。テーブル要求は、マクロブロックテーブル４１２内のマクロブロックに整合するはずである。ステップ５２４は、マクロブロックテーブル４１２からのマクロブロックを使用して、画像をリフレッシュさせることによって実行される。

ステップ５２０−５２４は、図７によって、より詳細に開示され得る。図７は、開示される実施形態による、オンデマンドイントラリフレッシュおよびマクロブロックテーブル４１２を受ける画像６００を図示している。画像６００は、前述において開示されたようなマクロブロック６５０を備える。マクロブロックテーブル４１２はまた、マクロブロック６５０に対応する画像６００からマップされたマクロブロック７１０を含む。

図７における画像６００は、エラー部分７０２を含む。エラー部分７０２内のマクロブロック６５０は、デコーダ３２８によって受信されるときに、消失されるか、または利用できない。エラー検出器４０２は、エラー解消モジュール４０６に対して、エラー部分７０２内のマクロブロックを識別する。エラー部分７０２は、画像６００の大きな割合を包含しないので、エンコーダ３０６は、そのマクロブロックをイントラリフレッシュしてもよい。

したがって、ランダムイントラリフレッシュツール４０８は、エラー部分７０２に対応するとして、マクロブロックテーブル４１２内のリフレッシュ部分７０４を識別する。エンコーダ３０６は、次いで、リフレッシュ部分７０４内のマクロブロック７１０をリフレッシュさせることによって、エラー部分７０２を補正する。マクロブロック７１０の数は、好ましくは、ランダムイントラリフレッシュと関連付けられたもの未満であり、したがって、品質の観点からあまり顕著ではなく、有意なビットレート変動を呈さない。

マクロブロック６５０は、イントラマクロブロックまたはインターマクロブロックであってもよい。

したがって、開示される実施形態は、ランダムイントラリフレッシュツールおよび動作とともに、オンデマンドイントラリフレッシュツールおよび動作を利用して、再構築された画像内のエラーを識別する。開示される実施形態は、ビデオ画像の品質を低下させず、または有意なビットレート変動または待ち時間を被ることなく、エラー状態を緩和する。イントラフレーム画像の使用は必要ではない。

本発明の精神または範囲から逸脱することなく、開示されるプライバシーか否かバーの実施形態において、種々の修正および変形例が行われてもよいことは、当業者に明白となるであろう。したがって、本発明は、修正および変形例が、任意の請求項およびその均等物の範囲内であることを条件として、前述で開示された実施形態の修正および変形例を網羅することが意図される。

Claims (18)

1. ビデオ伝送システムであって、該システムは、
   デコーダ内のエラー検出器であって、該エラー検出器は、デコードされる画像のマクロブロック内のエラーを検出する、エラー検出器と、
   戻り接続を用いて該エラー検出器に連結されたエンコーダ内のエラー解消モジュールであって、該エラー解消モジュールは、エラーを有するマクロブロックの割合を決定する、エラー解消モジュールと、
   該エンコーダ内のリフレッシュツールであって、該リフレッシュツールは、該マクロブロックの割合に基づいて該デコードされる画像をリフレッシュさせる、リフレッシュツールと
   を備える、システム。
2. 前記デコードされる画像に対応するマクロブロックを記憶するマクロブロックテーブルをさらに備える、請求項１に記載のビデオ伝送システム。
3. 前記リフレッシュツールは、オンデマンドイントラリフレッシュツールを備え、該オンデマンドイントラリフレッシュツールは、識別された前記デコードされる画像内のマクロブロックを前記エラー検出器によってリフレッシュさせる、請求項１に記載のビデオ伝送システム。
4. 前記リフレッシュツールは、ランダムイントラリフレッシュツールを備え、該ランダムイントラリフレッシュツールは、前記デコードされる画像内のマクロブロックをランダムにリフレッシュさせる、請求項１に記載のビデオ伝送システム。
5. 前記エンコーダに接続されたバッファをさらに備え、該バッファのサイズは、前記デコードされる画像に対応する、請求項１に記載のビデオ伝送システム。
6. ビデオ伝送システム内の画像をリフレッシュさせるための方法であって、該方法は、
   デコーダにおいて、該画像内のマクロブロックの中のエラーを検出することと、
   該デコーダまでの戻り接続を有するエンコーダにおいて、該マクロブロックの中の該エラーを受信することと、
   該マクロブロックの中の該エラーがある割合を超えるか否かを決定することと、
   該マクロブロックの中の該エラーが該割合以下である場合に、オンデマンドイントラリフレッシュを行うことと、
   該マクロブロックの中の該エラーが該割合を超える場合に、ランダムイントラリフレッシュを行うことと
   を含む、方法。
7. エラーが前記マクロブロックの中で検出されない場合に、イントラリフレッシュを行わないことをさらに含む、請求項６に記載の方法。
8. テーブル要求をエラーを有する前記マクロブロックを用いて充填することをさらに含む、請求項６に記載の方法。
9. 前記テーブル要求を、前記画像の中に前記マクロブロックを含むマップされたテーブルと比較することをさらに含む、請求項８に記載の方法。
10. 前記オンデマンドイントラリフレッシュのステップを行うことは、前記画像の中の前記マクロブロックのエラーに対応するテーブル内のマクロブロックを識別することを含む、請求項６に記載の方法。
11. 前記識別されたマクロブロックを使用して、前記画像をリフレッシュさせることをさらに含む、請求項１１に記載の方法。
12. 前記ランダムイントラリフレッシュのステップを行うことは、前記画像のランダムな一組のマクロブロックを生成することを含む、請求項６に記載の方法。
13. 前記ランダムな一組のマクロブロックをリフレッシュさせることをさらに含む、請求項１２に記載の方法。
14. 前記検出するステップは、エラー検出器を使用することを含み、該エラー検出器は、前記画像内の前記マクロブロックの中の前記エラーを検出する、請求項６に記載の方法。
15. ビデオ伝送システム内の画像をイントラリフレッシュさせるための方法であって、該方法は、
    該画像内のマクロブロックの中の識別されたエラーを受信することと、
    該識別されたエラーに応答してイントラリフレッシュプロセスを行うことと、
    該画像に対して一組のマクロブロックをリフレッシュさせることと
    を含む、方法。
16. 前記イントラリフレッシュプロセスのステップを行うことは、前記識別されたエラーを有する前記マクロブロックをリフレッシュさせることによって、オンデマンドイントラリフレッシュプロセスを行うことを含む、請求項１５に記載の方法。
17. 前記イントラリフレッシュプロセスのステップを行うことは、前記画像内のランダムな一組のマクロブロックをリフレッシュさせることによって、ランダムイントラリフレッシュプロセスを行うことを含む、請求項１５に記載の方法。
18. デコーダから前記画像をリフレッシュさせるエンコーダまでの戻り接続を構築することをさらに含む、請求項１５に記載の方法。

Images