JP2011529292A - スケーラブルビデオ符号化（ｓｖｃ）復号化におけるエンハンスメントレイヤパケットの消失によるエラー隠蔽方法 - Google Patents

Abstract

ターゲットレイヤにパケット消失があるとき、スケーラブルビデオ符号化（ＳＶＣ）復号化エラーを隠蔽する方法が説明される。ターゲットレイヤの消失ピクチャは、ベースレイヤなどの下位レイヤからのアップサンプリングされたピクチャと置換される。マルチループ復号化アプリケーションでは、ターゲットレイヤの消失ピクチャは下位レイヤからの対応するアップサンプリングされたピクチャと置換される。同一のグループオブピクチャ（ＧＯＰ）の以降のターゲットレイヤピクチャは、下位レイヤからの対応するアップサンプリングされたピクチャと置換されるか、又はリファレンスピクチャとして用いられる下位レイヤからのアップサンプリングされたピクチャにより復号化される。シングルループ復号化について、各ＧＯＰに対して、各レイヤのビットストリームがバッファリングされ、エラーが調べられる。ターゲットレイヤにエラーが検出された場合、エラーのない最上位レイヤのピクチャが復号化及びアップサンプリングされ、現在のＧＯＰの出力ピクチャとして用いられる。エラーのない最上位レイヤが実質的に当該ＧＯＰのターゲットレイヤになる。

Description

本出願は、２００８年７月２２日に出願された米国出願第６１／０８２，５２１号の３５Ｕ．Ｓ．Ｃ．§１１９（ｅ）の利益を主張し、その全内容及び包袋があらゆる目的のために参照することにより本出願に援用される。

本発明は、一般にビデオデータの通信に関し、特にスケーラブルビデオ符号化ビデオデータにおけるエラーの対処に関する。

スケーラブルビデオ符号化（ＳＶＣ）は、従来のアドバンストビデオ符号化（ＡＶＣ）に対して多くの効果を有している。（例えば、ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６４ Ａｍｅｎｄｍｅｎｔ ３：“Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ：Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ”を参照されたい。）ＳＶＣにおけるスケーラビリティは、時間領域、空間領域及び品質領域（信号対雑音比）に適用可能である。ＳＶＣストリームは、通常は１つのベースレイヤと１以上のエンハンスメントレイヤから構成される。ベースレイヤストリームは独立に復号化可能であるが、エンハンスメントレイヤはベースレイヤと他の従属するエンハンスメントレイヤと一緒の場合に限って復号化することができる。

ＳＶＣ符号化の効果は、異なるレイヤが異なるＩＰストリームにより送信可能であり、これにより異なる方法を用いて伝送エラーに対してプロテクト可能であるということである。例えば、ベースレイヤは、エンハンスメントレイヤより重要であり、より大きなプロテクションを受けるようにしてもよい。他方、帯域幅制限のため、エンハンスメントレイヤは通常はベースレイヤよりプロテクトされず、このため、ベースレイヤのパケット消失よりエンハンスメントレイヤにおけるパケット消失が生じやすい。

エンハンスメントレイヤにパケット消失があるとき、当該レイヤとターゲットレイヤ（ターゲット解像度を提供するのに必要とされる最上位レイヤ）までのエンハンスメントレイヤにおける対応するピクチャが復号化できなくなる。従来のエラー隠蔽方法は、通常は前のフレームのピクチャを複製することによって、又は複数の良好な近傍フレームを補間することによって、消失したピクチャを置換する。これらの方法は、消失したフレームにシーン変更がある場合など、近傍フレームの間の相違が大きいとき、画質を劣化させる。

本発明の原理によると、エンハンスメントレイヤにパケット消失があるとき、スケーラブルビデオ符号化（ＳＶＣ）復号化エラーを隠蔽する方法が説明される。例示的には、ターゲットレイヤの消失ピクチャをベースレイヤなどの下位レイヤからのアップサンプリングされたピクチャと置換するためのいくつかの方法が説明される。シングルループだけでなくマルチループ復号化のための方法が説明される。

本発明の原理によると、復号化されたピクチャの画質は、エンハンスメントレイヤにパケット消失が生じたとき向上させることが可能である。

上記について、詳細な説明から明らかなように、他の実施例及び特徴もまた可能であり、本発明の原理の範囲内に属する。

本発明の実施例による装置及び／又は方法のいくつかの実施例が例示的に添付した図面を参照して説明される。
図１は、本発明の第１方法例によるエンハンスメントレイヤパケット消失の処理を示す。 図２は、本発明の第２方法例によるエンハンスメントレイヤパケット消失の処理を示す。 図３は、本発明の第３方法例によるエンハンスメントレイヤパケット消失の処理を示す。

本発明のコンセプト以外の図面に示される要素は周知であり、詳細には説明されない。例えば、本発明のコンセプト以外で、テレビ放送、受信機及びビデオ符号化への精通が仮定され、ここでは詳細には説明されない。例えば、本発明のコンセプト以外で、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍｓ Ｃｏｍｍｉｔｔｅｅ）、ＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｏｎ Ｌｉｎｅｓ）、ＳＥＣＡＭ（ＳＥｑｕｅｎｃｉａｌ Ｃｏｕｌｅｕｒ Ａｖｅｃ Ｍｅｍｏｉｒｅ）、ＡＴＳＣ（Ａｄｖａｎｃｅｄ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍｓ Ｃｏｍｍｉｔｔｅｅ）、Ｃｈｉｎｅｓｅ Ｄｉｇｉｔａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ（ＧＢ）２０６００−２００６及びＤＶＢ−Ｈなどのテレビ規格の現在の及び提案されている勧告への精通が仮定される。同様に、本発明のコンセプト以外で、ｅｉｇｈｔ−ｌｅｖｅｌ ｖｅｓｔｉｇｉａｌ ｓｉｄｅｂａｎｄ（８−ＶＳＢ）、Ｑｕａｄｒａｔｕｒｅ Ａｍｐｌｉｔｕｄｅ Ｍｏｄｕｌａｔｉｏｎ（ＱＡＭ）などの他の伝送コンセプトと、無線周波数（ＲＦ）フロントエンド（低ノイズブロック、チューナ、ダウンコンバータなど）、復調装置、相関装置、リークインテグレータ、スクエアラなどの受信コンポーネントとが仮定される。さらに、本発明のコンセプト以外で、インターネットプロトコル（ＩＰ）、Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ（ＲＴＰ）、ＲＴＰ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ（ＲＴＣＰ）、Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ（ＵＤＰ）などのプロトコルへの精通が仮定され、ここでは説明されない。同様に、本発明のコンセプト以外で、Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ（ＭＰＥＧ）−２ Ｓｙｓｔｅｍｓ Ｓｔａｎｄａｒｄ（ＩＳＯ／ＩＥＣ１３８１８−１）、Ｈ．２６４ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）、スケーラブルビデオ符号化（ＳＶＣ）などのフォーマット化及び符号化方法への精通が仮定され、ここでは説明されない。また、本発明のコンセプトはここでは説明されない従来のプログラミング技術を用いて実現されてもよいことに留意すべきである。最後に、図面の同様の番号は同様の要素を表す。

ＳＶＣビデオストリームの復号化では、何れか所与の時点で、他のピクチャを予測するのに用いられるピクチャである複数の復号化されたリファレンスピクチャが復号化ピクチャバッファに一時的に格納される。シングルループ復号化では、ターゲットレイヤの復号化されたリファレンスピクチャのみが復号化ピクチャバッファに維持される。マルチループ復号化では、すべてのレイヤの復号化されたリファレンスピクチャが復号化ピクチャバッファに維持される。

ＳＶＣでは、フレーム又はピクチャは、各グループがＧｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ（ＧＯＰ）と呼ばれるグループに配置される。各ＧＯＰは、イントラピクチャ（Ｉ−Ｐｉｃｔｕｒｅ）、予測ピクチャ（Ｐ−Ｐｉｃｔｕｒｅ）及び／又は双方向ピクチャ（Ｂ−Ｐｉｃｔｕｒｅ）を含むようにしてもよい。Ｉ−Ｐｉｃｔｕｒｅは、他の何れかのピクチャを参照することなく復号化可能である。Ｐ−Ｐｉｃｔｕｒｅ及びＢ−Ｐｉｃｔｕｒｅは、他のＩ−Ｐｉｃｔｕｒｅ、Ｐ−Ｐｉｃｔｕｒｅ又はＢ−Ｐｉｃｔｕｒｅを参照してのみ適切に復号化可能である。各ＧＯＰは、キーフレームからスタート又はエンドする。キーフレームは、Ｉ−Ｐｉｃｔｕｒｅ又はＰ−Ｐｉｃｔｕｒｅとすることができる。ＧＯＰ内のＰ−Ｐｉｃｔｕｒｅ及びＢ−Ｐｉｃｔｕｒｅは、ＧＯＰのキーフレーム及び前のＧＯＰのキーフレームを参照して復号化される。キーフレームにおけるエラーは、特にＰ−Ｐｉｃｔｕｒｅであるキーフレームが長い文字列である場合、順方向に伝搬して複数のＧＯＰに影響を及ぼす可能性がある。

エンハンスメントレイヤが消失すると、消失したフレームと対応するＧＯＰの以降のフレームとが当該消失により通常は影響を受けるため、好ましくはユーザに表示されるピクチャの劣化を最小限にするよう隠蔽されるべきである。マルチループ復号化について、エンハンスメントレイヤパケット消失が生じたときに消失したフレームとＧＯＰの以降のフレームとを置換するための本発明による２つの方法例が説明される。

図１は、空間スケーラブルなＳＶＣビデオストリームのマルチループ復号化のためのエンハンスメントレイヤパケット消失を処理する第１の方法例を示す。各ＧＯＰがキーフレームにより終わると仮定される図１の方法では、パケット消失がターゲットレイヤで発生すると、消失したパケットに対応する消失したフレームと同一のＧＯＰ内の以降のすべてのフレームとが、キーフレームを除いてパケット消失のない最上位レイヤのアップサンプリングされたフレームと置換される。この結果、消失パケットに続くターゲットレイヤパケットの残りは、ＧＯＰのキーフレームまで無視される。

図１は、１つのエンハンスメントレイヤ、ターゲットレイヤ及びベースレイヤが存在するＳＶＣストリームの例示的なシナリオを示す。エンハンスメントレイヤパケットのストリーム１０とベースレイヤパケットのストリーム２０とがＳＶＣデコーダに提供される。デコーダの出力はピクチャ３０のストリームとして示される。

図１に示されるように、Ｂｉによりラベル付けされたブロックはベースレイヤパケットを表し、Ｅｉによりラベル付けされたブロックはエンハンスメントレイヤパケットを表す。各ブロックＢｉ，Ｅｉは、１以上のパケットから構成されるＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）アクセスユニットを表す。［Ｂｉ］及び［Ｅｉ］によりラベル付けされたブロックはそれぞれ、ベースレイヤパケットとエンハンスメントレイヤパケットとの対応するブロックを復号化することによって生成されるピクチャを表す。エンハンスメントレイヤピクチャは対応するベースレイヤピクチャと一緒である場合にのみ復号化可能であるため、ピクチャ［Ｅｉ］はベースレイヤピクチャ［Ｂｉ］と共にエンハンスメントレイヤパケットブロックＥｉを復号化することによって生成されることに留意されたい。すなわち、［Ｅｉ］はＥｉと対応するベースレイヤピクチャ［Ｂｉ］とに基づく。

［Ｂｉ^＊］とラベル付けされた各ブロックは、アップサンプリングされた［Ｂｉ］ピクチャを表す。アップサンプリングされたピクチャ［Ｂｉ^＊］は、対応するエンハンスメントレイヤピクチャ［Ｅｉ］と同一の解像度とフレームレートとを有するであろう。図示されるような空間スケーラブルなＳＶＣの実現形態では、ベースレイヤピクチャとエンハンスメントレイヤピクチャとのフレームレートは同じであるが、解像度は異なる。また、ベースレイヤピクチャのアップサンプリングは、補間などによってターゲットエンハンスメントレイヤのものにそれの解像度を増加することを伴う。

図１に示されるシナリオでは、ストリーム１０のブロックＥ４とＥ５のエンハンスメントレイヤパケットは、送信中に消失されるか、又はデコーダにおいてエラーを有して受信される。現在のＧＯＰのキーフレームのこのポイントまで、デコーダはこれまで受信に成功したエンハンスメントレイヤパケットにより復号化されたピクチャ［Ｅ０］〜［Ｅ３］を出力する。Ｅ４及びＥ５におけるパケット消失によって、デコーダは、図１に示されるように、それの出力をアップサンプリングされたベースレイヤピクチャ［Ｂ４^＊］〜［Ｂ１０^＊］にスイッチする。また、現在のＧＯＰのキーフレームまでピクチャ［Ｅ４］〜［Ｅ１０］を出力する代わりに、デコーダはアップサンプリングされたベースレイヤピクチャ［Ｂ４^＊］〜［Ｂ１０^＊］を出力する。図示されたシナリオでは、エンハンスメントレイヤのキーピクチャ［Ｅ１１］は、アップサンプリングされたベースレイヤピクチャに置換されないことに留意されたい。エンハンスメントレイヤのキーピクチャ［Ｅ１１］がＩ−Ｐｉｃｔｕｒｅである場合、それが消失又はエラーを有して受信されなかった場合、それは［Ｂ１１^＊］より良好なピクチャを提供することになる。エンハンスメントレイヤのキーピクチャ［Ｅ１１］がＰ−Ｐｉｃｔｕｒｅである場合、それの正確な復号化は前のＧＯＰのキーピクチャに依存することになる。現在のキーピクチャ［Ｅ１１］及び前のＧＯＰのキーピクチャが受信成功した場合、キーピクチャ［Ｅ１１］は［Ｂ１１^＊］より良好なピクチャを提供し、使用されることになる。そうでない場合、［Ｂ１１^＊］が代わりに使用される。次のＧＯＰの始めに、デコーダは、エンハンスメントレイヤパケットにより復号化されたピクチャを生成し続ける。

上述されるように、ＧＯＰのキーピクチャにエラーが発生した場合、それは順方向に伝搬して以降のＧＯＰのピクチャを劣化させうる。Ｐ−Ｐｉｃｔｕｒｅであるキーピクチャは前のキーピクチャに依存し、この場合、キーピクチャのエラーは、Ｉ−Ｐｉｃｔｕｒｅであるキーピクチャが出現するまで順方向に伝搬し複数のＧＯＰを劣化させる。一実施例では、ターゲットレイヤのキーフレームにエラーが検出された場合（すなわち、ブロックＥ１１において）、ターゲットレイヤのキーフレームとしてＩ−Ｐｉｃｔｕｒｅが受信されるまで、エラーのない最上位のアップサンプリングされたピクチャが出力ピクチャストリーム３０のために用いられる。このポイントにおいて、ターゲットレイヤのエラーの順方向の伝搬が中断されることになる。Ｉ−Ｐｉｃｔｕｒｅキーフレームがターゲットレイヤにおいて受信されるまで、ターゲットレイヤデータは実質的に無視され、破棄することができる。

他の実施例では、Ｉ−Ｐｉｃｔｕｒｅキーフレームが受信されるまでにすべてのターゲットレイヤデータを無視する代わりに、次のＧＯＰから始めて、［Ｂ１１^＊］を有する次のＧＯＰにおいて受信されるターゲットレイヤデータ（Ｅ０，Ｅ１，．．．）である現在のＧＯＰのベースレイヤのアップサンプリングされたキーピクチャをリファレンスピクチャとして利用して、ターゲットレイヤピクチャが生成可能である。

パケット消失は、各種適切な方法の何れかにより検出可能である。一実施例では、欠落したパケットは、対応するＳＶＣストリームを搬送するＲＴＰパケットのヘッダのＲＴＰシーケンス番号を調べることによって検出可能である。受信したパケットのＲＴＰシーケンス番号のギャップは、１以上のパケットの消失を示すことになる。例えば、参照することによりここに援用される米国特許出願公報第２００９／００１６４４７号などを参照されたい。

図１に示されるシナリオは、ターゲットレイヤが第１エンハンスメントレイヤである２レイヤの実現形態に関するものであるが、一例となる方法は３以上のレイヤを有するＳＶＣストリームを処理するため容易に拡張可能であることに留意されたい。このような実現形態によると、ターゲットレイヤにおいてパケット消失が発生すると、消失したピクチャと、現在のＧＯＰのキーピクチャまでの以降のピクチャとは、パケット消失していない最上位レイヤからの対応するアップサンプリングされたピクチャにより置換される。従って、例えば、４レイヤのアプリケーションでは、第２及び第３エンハンスメントレイヤが消失したが、第１エンハンスメントレイヤが消失していない場合、消失したピクチャと現在のＧＯＰのキーピクチャの前の以降のピクチャとが、第１エンハンスメントレイヤからのアップサンプリングされた対応するピクチャと置換される。本例では、第１エンハンスメントレイヤからのピクチャは、第３エンハンスメントレイヤであるターゲットレイヤの解像度にアップサンプリングされる。

図２は、空間スケーラブルなＳＶＣビデオのマルチループ復号化のためのエンハンスメントレイヤパケット消失を処理する第２の方法例を示す。各ＧＯＰがキーフレームにより終わる図２の方法では、ターゲットレイヤにおいてパケット消失が発生すると、消失したピクチャは、パケット消失のない最上位レイヤの対応するアップサンプリングされたピクチャと置換される。現在のＧＯＰのキーピクチャの前の以降のピクチャは、ターゲットレイヤのリファレンスピクチャキューに上述されたアップサンプリングされた下位レイヤフレームを配置した後に以降のターゲットレイヤピクチャを復号化することによって生成される。

２レイヤシナリオの図２に示されるように、アップサンプリングされたベースレイヤフレーム［Ｂ４^＊］及び［Ｂ５^＊］が、消失したエンハンスメントレイヤピクチャ［Ｅ４］及び［Ｅ５］を置換するのに利用される。［Ｅ６^＊］〜［Ｅ１０^＊］は、ブロックＥ６〜Ｅ１０のエンハンスメントレイヤパケットに基づき復号化されたピクチャと、［Ｂ４^＊］及び［Ｂ５^＊］を含む過去のリファレンスピクチャとである。

図１に示される実施例と同様に、エンハンスメントレイヤのキーピクチャ［Ｅ１１］は、図２のシナリオでは置換されない。エンハンスメントレイヤのキーピクチャ［Ｅ１１］がＩ−Ｐｉｃｔｕｒｅである場合、それが消失又はエラーを有して受信されなかった場合、それは、アップサンプリングされたベースレイヤリファレンスピクチャに基づきエンハンスメントレイヤピクチャ［Ｅ１１^＊］より良好なピクチャを提供するであろう。エンハンスメントレイヤのキーピクチャ［Ｅ１１］がＰ−Ｐｉｃｔｕｒｅである場合、それの正確な復号化は、前のＧＯＰのキーピクチャに依存することになる。現在のキーピクチャ［Ｅ１１］と前のＧＯＰのキーピクチャとが受信成功し、前のキーピクチャからの順方向のエラー伝搬がない場合、キーピクチャ［Ｅ１１］は［Ｅ１１^＊］より良好なピクチャを提供し、使用される。そうでない場合、［Ｅ１１^＊］が代わりに使用される。次のＧＯＰの始めに、デコーダは、エンハンスメントレイヤパケットにより復号化されたピクチャを生成し続ける。

図２に示されるシナリオは、ターゲットレイヤが第１エンハンスメントレイヤである２レイヤの実現形態に関するものであるが、３以上のレイヤを有するＳＶＣストリームを処理するため、当該方法例が容易に拡張可能である。従って、例えば、４レイヤのアプリケーションでは、第２及び第３エンハンスメントレイヤが消失しているが、第１エンハンスメントレイヤが消失していない場合、現在のＧＯＰ内の消失したピクチャは、第１エンハンスメントレイヤからの対応するアップサンプリングされたピクチャと置換され、ＧＯＰの以降のフレームが、上述したアップサンプリングされた第１エンハンスメントレイヤフレームを第３エンハンスメントレイヤのリファレンスピクチャキューに配置した後に第３エンハンスメントレイヤピクチャの以降のピクチャを復号化することによって生成される。

シングルループＳＶＣ復号化について、さらなる方法例が利用可能である。シングルループ復号化では、ターゲットレイヤピクチャのみが構成される。２レイヤ方式では、ベースレイヤピクチャは構成されない。２レイヤアプリケーションの方法例によると、ＧＯＰ全体のベースレイヤとエンハンスメントレイヤとの双方のＳＶＣビットストリームが、各ＧＯＰの始めにバッファリングされ、確認される。

バッファリングされたビットストリームの確認により消失がないことが明らかになった場合、デコーダは通常通り復号化する。しかしながら、エンハンスメントレイヤにパケット消失がある場合、当該ＧＯＰのエンハンスメントレイヤ全体が無視される。デコーダは、ベースレイヤのみを復号化し、生成されたベースレイヤピクチャをアップサンプリングし、アップサンプリングされたベースレイヤピクチャを用いてエンハンスメントレイヤピクチャを置換する。ベースレイヤは、実質的にターゲットレイヤとなる。当初のＳＶＣストリームがＳＶＣ規格に従って生成されていた場合、残りのストリームは規格に準拠したストリームとなり、規格に準拠したＳＶＣデコーダはそれを復号化することが可能である。

図３は、各ＧＯＰがキーフレームにより終わる２レイヤ実現形態のための上述されたシングルループ方法を示す。図３に示されるシナリオでは、ストリーム１０のＧＯＰ（Ｎ）のブロックＥ４及びＥ５のエンハンスメントレイヤパケットは、送信中に消失するか、又はデコーダにおいてエラーを有して受信される。また、ストリーム３０のＧＯＰ（Ｎ）のピクチャ［Ｅ０］〜［Ｅ１１］を生成する代わりに、ベースレイヤピクチャ［Ｂ０］〜［Ｂ１１］が生成され、ＧＯＰ（Ｎ）に対してストリーム３０のピクチャ［Ｂ０^＊］〜［Ｂ１１^＊］を出力するようアップサンプリングされる。

ＧＯＰ境界において、復号化されたピクチャの出力ストリーム３０の変更が発生することに留意されたい。出力ピクチャストリーム３０を生成するのに不要なパケットは破棄され、出力ピクチャストリーム３０を生成するのに使用されるパケットは復号化される。また、図示されたシナリオでは、上述されるようにバッファリングされたＧＯＰ（Ｎ）のエンハンスメントレイヤパケット（Ｅ０〜Ｅ１１）は、それらが受信されると、ＧＯＰ（Ｎ＋１）に対してエンハンスメントレイヤパケットにより上書きすることができる。ＧＯＰ（Ｎ）のバッファリングされたベースレイヤパケット（Ｂ０〜Ｂ１１）は破棄され、出力ピクチャストリーム３０に対してピクチャ［Ｂ０^＊］〜［Ｂ１１^＊］を生成するようアップサンプリングされる。

図３を参照して上述された方法例はベースレイヤと１つのエンハンスメントレイヤとを有するＳＶＣビデオストリームを参照しているが、当該方法は複数のエンハンスメントレイヤを有するアプリケーションについて容易に拡張可能である。このようなアプリケーションでは、ターゲットレイヤが消失を受けると、それは消失のない最上位レイヤによりターゲットレイヤとして置換される。ＧＯＰ全体の新たなターゲットレイヤのピクチャは復号化され、オリジナルのターゲットレイヤの解像度とフレームレートにアップサンプリングされる。従って、例えば、３つのエンハンスメントレイヤを有するＳＶＣストリームでは、第２及び第３エンハンスメントレイヤがパケット消失を受けた場合、第１エンハンスメントレイヤからのアップサンプリングされたピクチャが代わりに出力される。

上述されるように、ＧＯＰのキーピクチャにエラーが発生した場合、それは順方向に伝搬し、以降のＧＯＰにおいてピクチャを劣化させうる。Ｐ−Ｐｉｃｔｕｒｅであるキーピクチャは、前のキーピクチャに依存し、この場合、キーピクチャのエラーは、Ｉ−Ｐｉｃｔｕｒｅであるキーピクチャが出現するまで順方向に伝搬し、複数のＧＯＰを劣化させる。一実施例では、ターゲットレイヤのキーフレームにエラーが検出された場合（すなわち、ブロックＥ１１において）、エラーのない最上位のアップサンプリングされたピクチャが、ターゲットレイヤのキーフレームとしてＩ−Ｐｉｃｔｕｒｅが受信されるまで、出力ピクチャストリーム３０のために使用される。このポイントにおいて、ターゲットレイヤのエラーの順方向への伝搬は中断される。また、Ｉ−Ｐｉｃｔｕｒｅのキーフレームがターゲットレイヤにおいて受信されるまで、ターゲットレイヤデータは実質的に無視され、破棄可能である。

フレームを復号化することなくＧＯＰ境界を特定する複数のアプローチがある。１つのアプローチは、パケットヘッダ情報を調べることに関する。各符号化ビデオパケットは、典型的には、時間、空間及び／又は品質スケーラビリティレベルを示す情報を含むＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ヘッダを有する。ヘッダの最初の数バイトを解析することによって、キーピクチャは各スケーラビリティレベルについて０を有するものとして特定可能である。上述されるように、新たなＧＯＰが各キーピクチャの後に始まるか、又は終わる。

他のアプローチは、キーフレームについて異なる配信パスを利用することに関する。それらの異なるレベルの重要度により、異なるビデオレイヤが異なる接続パスを用いてしばしば送信される（例えば、異なるＩＰアドレス及び／又はポートなど）。キーピクチャが非キーピクチャと別のパスにより送信される場合、それらを特定することは容易である。

他のアプローチでは、ビデオストリームがデコーダ又は他の外部手段（アウトオブバンドシグナリングなど）により既知の固定的なＧＯＰパターンにより符号化される場合、デコーダは、この情報を利用してキーピクチャを特定することができる。

上記に関して、上述したものは本発明の原理を示すだけであり、当業者はここに明示されていないが、本発明の原理を具現化し、それの趣旨及び範囲内に属する他の多数の構成を考案可能であることが理解されるであろう。例えば、本発明のコンセプトは、本発明の原理による方法を実行するための関連するソフトウェを実行するデジタル信号プロセッサなどの格納されたプログラムにより制御されるプロセッサにおいて実現されてもよい。さらに、本発明の原理は、衛星、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ−Ｆｉｄｅｌｉｔｙ）、セルラなどの異なるタイプの通信システムに適用可能である。実際、本発明の原理は、固定の受信機と共にモバイル受信機にも適用可能である。従って、例示的な実施例に対して多数の改良が可能であり、本発明の趣旨及び範囲から逸脱することなく他の構成が想到されうることが理解されるべきである。

Claims (17)

1. 第１レイヤと前記第１レイヤのビデオをエンハンスするための情報を有する第２レイヤとにより送信されるデジタルビデオ信号を復号化する方法であって、
   前記第１レイヤの情報を復号化することによって、少なくとも１つの第１レイヤフレームを生成するステップと、
   前記第２レイヤにおいてエラーを検出するステップと、
   少なくとも１つの対応する第１レイヤフレームをアップサンプリングすることによって、少なくとも１つの出力フレームを生成するステップと、
   を有する方法。
2. 前記デジタルビデオ信号は、各ピクチャグループがキーフレームにより終わり、直前のピクチャグループのキーフレームの以降の少なくとも１つのフレームを有する複数のピクチャグループを有し、
   前記少なくとも１つの出力フレームを生成するステップは、前記エラーを含み、前記エラーに続き、前記エラーが検出された前記ピクチャグループのキーフレームに先行する第２レイヤフレームに対応する第１レイヤフレームをアップサンプリングすることによって、複数の出力フレームを生成することを含む、請求項１記載の方法。
3. 前記第１レイヤフレームのアップサンプリングは、前記フレームを前記第２レイヤのフレームと同じ解像度を有するように変換することを含む、請求項１記載の方法。
4. 前記第１レイヤはベースレイヤであり、前記第２レイヤはエンハンスメントレイヤである、請求項１記載の方法。
5. 前記エラーが検出されるピクチャグループのキーフレームは、エラーがなく、
   前記少なくとも１つの出力フレームを生成するステップは、前記キーフレームを復号化することを含む、請求項２記載の方法。
6. 前記エラーが検出されるピクチャグループのキーフレームは、エラーを有し、
   前記少なくとも１つの出力フレームを生成するステップは、前記エラーが検出されるピクチャグループの終わりまで第２レイヤフレームに対応する第１レイヤフレームをアップサンプリングすることによって、複数の出力フレームを生成することを含む、請求項２記載の方法。
7. 前記少なくとも１つの出力フレームを生成するステップは、イントラ符号化キーフレームが前記第２レイヤにおいて検出されるまで、第２レイヤフレームに対応する第１レイヤフレームをアップサンプリングすることによって、複数の出力フレームを生成することを含む、請求項６記載の方法。
8. 前記少なくとも１つの出力フレームを生成するステップは、アップサンプリングされた第１レイヤフレームをリファレンスフレームとして用いて、前記エラーに続く前記第２レイヤの情報を復号化することによって、複数の出力フレームを生成することを含む、請求項２記載の方法。
9. 前記エラーが検出されるピクチャグループのキーフレームは、エラーがなく、
   前記少なくとも１つの出力フレームを生成するステップは、前記キーフレームを復号化することを含む、請求項８記載の方法。
10. ピクチャグループに対して前記第１レイヤの情報をバッファリングするステップを有し、
    前記少なくとも１つの第１レイヤフレームを生成するステップは、前記バッファリングされた情報を復号化することを含む、請求項１記載の方法。
11. ピクチャグループに対して前記第２レイヤの情報をバッファリングするステップを有し、
    前記第２レイヤにおいてエラーを検出するステップは、前記バッファリングされた情報を調べることを含む、請求項１０記載の方法。
12. ピクチャグループの間の境界を特定するステップを有する、請求項１０記載の方法。
13. 前記境界を特定するステップは、ヘッダ情報の解析、別のパスを介したキーフレームの受信、及びピクチャグループパターン情報の受信の少なくとも１つを含む、請求項１２記載の方法。
14. 前記少なくとも１つの出力フレームを生成するステップは、前記第２レイヤにおいてイントラ符号化キーフレームが検出されるまで、第２レイヤフレームに対応する第１レイヤフレームをアップサンプリングすることによって、複数の出力フレームを生成することを含む、請求項１０記載の方法。
15. 当該デジタルビデオ信号を復号化する方法は、マルチループ復号化方法を含む、請求項１記載の方法。
16. 当該デジタルビデオ信号を復号化する方法は、シングルループ復号化方法を含む、請求項１記載の方法。
17. 各キーフレームは、イントラ符号化フレームと予測フレームの１つである、請求項２記載の方法。

Images