JP2007525924A

JP2007525924A - ビデオストリーミングサービスのためのビデオコーディング方法とビデオエンコーディングシステム、及びビデオデコーディング方法とビデオデコーディングシステム

Info

Publication number: JP2007525924A
Application number: JP2007501706A
Authority: JP
Inventors: ハン，ウ−ジン
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2004-03-04
Filing date: 2005-02-25
Publication date: 2007-09-06
Also published as: CA2557312A1; EP1721465A1; EP1721465A4; CA2557312C; WO2005086487A1

Abstract

本発明は、ビデオストリーミングサービスのためのビデオコーディング及びデコーディング方法とこれらのシステムに関する。ビデオコーディング方法は、第１解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングするステップと、第１解像度のフレームを第２解像度のフレームにアップサンプリングするステップと、アップサンプリングされたフレームを参照して、第２解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングするステップと、を含むビデオコーディング方法。

Description

本発明は、ビデオストリーミングサービスのためのビデオコーディング方法とそのビデオエンコーディングシステム及びコーディングされたビデオを復元するビデオデコーディング方法とそのビデオデコーディングシステムに関する。

インターネット技術の急激な発達につれて多様なサービスが新たに生まれつつある。インターネットの発達につれて生じたサービスのうち一つが、注文型ビデオ（ＶｉｄｅｏＯｎＤｅｍａｎｄ；以下、ＶＯＤ）サービスである。ＶＯＤサービスは、サービスユーザの要求に応じて映画やニュースなどの映像基盤サービスを電話線やケーブルまたはインターネットを通じて提供する新たな概念のサービス事業をいう。ＶＯＤサービスを通じてサービスユーザは、映画館に行かなくても家で映画を鑑賞でき、また学院や学校に行かなくても動画講座を通じて多様な知識を習得できる。

ＶＯＤのようなビデオストリーミングサービスは、ネットワーク状態やデコーダの性能によって多様な解像度、フレームレートまたは画質を提供する必要がある。従来にもこのような多様な解像度、フレームレートまたは画質によるビデオストリーミングサービスがあったが、図１ないし図３は、このようなサービスのためのコーディング方式を示す。

図１は、サイマルキャストコーディング（ｓｉｍｕｌｃａｓｔｃｏｄｉｎｇ）方式の場合を示しており、図２は、多重階層コーディング（ｍｕｌｔｉ−ｌａｙｅｒｃｏｄｉｎｇ）方式の場合を示しており、図３は、スケーラブルビデオコーディング（ｓｃａｌａｂｌｅｖｉｄｅｏｃｏｄｉｎｇ）方式の場合を示している。

サイマルキャストコーディング方式の場合には、所望の解像度、フレームレートまたは画質ごとに別途にコーディングされたビットストリームを持っていなければならない。例えば、３つの解像度を持つビットストリーミングサービスをしようとすれば、別途にコーディングされた３つのビットストリームを必要とする。すなわち、７０５×５７６解像度（第１解像度）と６０Ｈｚのフレームレートを持つビデオと、３５２×２８８解像度（第２解像度）と３０Ｈｚのフレームレートを持つビデオ、及び１７６×１５５解像度（第３解像度）と１５Ｈｚのフレームレートを持つビデオを別途にコーディングしてビットストリームを生成する。６Ｍｂｐｓの帯域幅が保証されるネットワークで第１解像度のビットストリームをストリーミングサービスに利用して、７５０ｋｂｐｓの帯域幅が保証されるネットワークで第２解像度のビットストリームをストリーミングサービスに利用し、６４ｋｂｐｓの帯域幅が保証されるネットワークで第３解像度のビットストリームをストリーミングサービスに利用する。サイマルキャストコーディング方式を利用する場合には、各解像度別に別途のコーディングを経て解像度ごとにビットストリームを生成する。各解像度のビデオは互いに強い連関性を持っているが、多重階層コーディング方式がこのような連関性を利用したビデオコーディング方式のうち一つである。

多重コーディング方式は、ＭＰＥＧ−２でスケーラブルビデオコーディングのために導入されたものであり、（ａ）のサイマルキャストコーディング方式とは異なって最も低い解像度の基礎階層のビデオを参照して、基礎階層より高い解像度の向上階層のビデオをコーディングする。すなわち、図１ないし３に示したように、１７６×１５５解像度を持つ基礎ビデオをコーディングし、基礎ビデオを参照して３５２×２８８解像度を持つ第１向上階層ビデオをコーディングし、第１向上階層ビデオを参照して７０５×５７６解像度を持つ第２向上階層ビデオをコーディングする。

ユーザから７０５×５７６解像度を要請されれば、ストリーミングサービス提供者は第２向上階層でコーディングされたビデオだけでなく第１向上階層及び基礎階層でコーディングされたビデオも共にユーザに伝送する。ユーザは、基礎階層のビデオを再構成し、再構成された基礎階層のビデオを参照して第１向上階層のビデオを再構成し、再構成された第１向上階層のビデオを参照して７０５×５７６解像度を持つ第２向上階層のビデオを再構成する。

ユーザから３５２×２８８解像度のビデオを要請されれば、ストリーミングサービス提供者は、第１向上階層及び基礎階層でコーディングされたビデオをユーザに伝送する。ユーザは、基礎階層のビデオを再構成し、再構成された基礎階層のビデオを参照して、３５２×２８８解像度を持つ第１向上階層のビデオを再構成する。ユーザから１７６×１５５解像度のビデオを要請されれば、ストリーミングサービス提供者は基礎階層のコーディングされたビデオをユーザに伝送する。ユーザは、基礎階層のビデオを再構成する。

このようなサイマルキャストコーディング方式または多重階層コーディング方式のビデオコーディングの例は、国際特許出願ＰＣＴ／ＵＳ２０００／０９５８４に開示されているが、同出願では、サイマルキャストコーディング方式または多重階層コーディング方式を選択的に使用してビデオコーディング効率を高める方法が提供される。同出願では、サイマルキャストコーディング方式または多重階層コーディング方式を利用してスケーラブルビデオコーディングを行うが、基本コーディングアルゴリズムとして、離散コサイン変換（ＤＣＴ）に基づいたＭＰＥＧ−４を利用するので、スケーラビリティが十分でないという特性を持つ。すなわち、ｎ個の解像度を持つビデオストリーミングサービスのためには、ｎ個のビデオコーディングを行うか、階層数がｎであるビデオコーディングを行わねばならない。これに対し、ウェーブレット変換に基づいたスケーラブルビデオコーディング方式は、一つのビットストリームで多様な解像度とフレームレート及び画質を持つビデオコーディングを行える。

スケーラブルビデオコーディングは、ＭＰＥＧ−２１で標準化が議論中にあるが、スケーラブルビデオコーディングにより生成された一つのビットストリームから多様な解像度とフレームレート及び画質を持つビデオを再構成できる。図３に示したように、一つのビットストリームからいろいろな解像度及びフレームレートを持つビデオを再構成できるという特性を持つ。

スケーラブルビットストリームで解像度の異なるビデオを再構成する特性を意味するスケーラビリティは、ウェーブレット変換を通じて得ることができ、スケーラブルビットストリームでフレームレートの異なるビデオを再構成する特性を意味する時間的スケーラビリティは、動き補償時間的フィルタリング（ＭｏｔｉｏｎＣｏｍｐｅｎｓａｔｅｄｅＴｅｍｐｏｒａｌＦｉｌｔｅｒｉｎｇ：ＭＣＴＦ）や非限定動き補償時間的フィルタリング（ＵｎｃｏｎｓｔｒａｉｎｅｄＭＣＴＦ：ＵＭＣＴＦ）またはＳＴＡＲ（ＳｕｃｃｅｓｓｉｖｅＴｅｍｐｏｒａｌＡｐｐｒｏｘｉｍａｔｉｏｎａｎｄＲｅｆｅｒｅｎｃｉｎｇ）のような方式を通じて得ることができ、信号対雑音比（ＳｉｇｎａｌｔｏＮｏｉｓｅＲａｔｉｏｎ）スケーラビリティは、エンベデッド量子化を通じて得ることができる。

スケーラブルビデオコーディング方式は、生成された一つのビットストリームから多様な解像度及びフレームレートを持つビデオストリーミングサービスを行える特性を持つが、元来スケーラブルビットストリームの解像度と異なる解像度のビデオを再構成する時に画質が落ちるという特性を持つ。すなわち、現在公知のスケーラブルビデオコーディングアルゴリズムの場合に、あらゆる解像度で画質の良いビットストリームを提供してはいない。例えば、最も高い解像度のビデオを再構成する場合には良い画質を得ることができるが、低い解像度のビデオを再構成する場合には満足すべき画質を得られなくなる。低い解像度の画質を高めるために多くのビットを割り当ててビデオコーディングを行えるが、この場合にビデオコーディング効率が低下する。

このような背景で、ビデオストリーミングサービスのために画質とビデオコーディングの効率との適切な妥協を通じて、満足すべき画質及びビデオコーディング効率を持つビデオコーディング方案が必要である。

本発明は、多様な画質のビデオストリーミングサービスを可能にし、良いコーディング効率を持つビデオコーディング方法とそのビデオエンコーディングシステムを提供することを目的とする。

本発明は、前記方式でコーディングされたビデオをデコーディングして再構成するデコーディング方法と、そのビデオデコーディングシステムを提供することをその他の目的とする。

前記目的を達成するために、本発明の一実施形態によるビデオコーディング方法は、第１解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングするステップと、前記第１解像度のフレームを第２解像度のフレームにアップサンプリングするステップと、前記アップサンプリングされたフレームを参照して、第２解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングするステップと、を含む。

前記目的を達成するために、本発明の他の実施形態によるビデオコーディング方法は、第１解像度のフレームをノン・スケーラブルビデオコーディング方式でビデオコーディングするステップと、前記第１解像度のフレームを第２解像度のフレームにアップサンプリングするステップと、前記変換されたフレームを参照して、第２解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングするステップと、を含む。

前記目的を達成するために、本発明のさらに他の実施形態によるビデオコーディング方法は、第１解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングするステップと、第１解像度より低い第２解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングするステップと、前記第１解像度のコーディングされたフレームと、前記第２解像度のコーディングされたインターフレームとを含んでビットストリームを生成するステップと、を含む。

前記目的を達成するために、本発明のさらに他の実施形態によるビデオコーディング方法は、第１解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングするステップと、第１解像度より低い第２解像度のフレームをノン・スケーラブルビデオコーディング方式でビデオコーディングするステップと、前記第１解像度のコーディングされたフレームと、前記第２解像度のコーディングされたインターフレームとを含んでビットストリームを生成するステップと、を含む。

前記目的を達成するために、本発明の一実施形態によるビデオエンコーディングシステムは、第１解像度のフレームをノン・スケーラブルビデオコーディング方式でビデオコーディングする第１スケーラブルビデオエンコーダと、前記第１解像度のフレームを第２解像度のフレームに変換し、前記変換されたフレームを参照して、第２解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングする第２スケーラブルビデオエンコーダと、前記第１解像度のコーディングされたフレームと前記第２解像度のコーディングされたフレームとを含むビットストリームを生成するビットストリーム生成モジュールと、を備える。

前記目的を達成するために、本発明の他の実施形態によるビデオエンコーディングシステムは、第１解像度のフレームをノン・スケーラブルビデオコーディング方式でビデオコーディングする第１スケーラブルビデオエンコーダと、前記第１解像度のフレームを第２解像度のフレームに変換し、前記変換されたフレームを参照して、第２解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングする第２スケーラブルビデオエンコーダと、前記第１解像度のコーディングされたフレームと前記第２解像度のコーディングされたフレームとを含むビットストリームを生成するビットストリーム生成モジュールと、を備える。

前記目的を達成するために、本発明のさらに他の実施形態によるビデオエンコーディングシステムは、第１解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングする第１スケーラブルビデオエンコーダと、第１解像度より低い第２解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングする第２スケーラブルビデオエンコーダと、前記第１解像度のコーディングされたフレームと前記第２解像度のコーディングされたインターフレームとを含んでビットストリームを生成するビットストリーム生成モジュールと、を備える。

前記目的を達成するために、本発明の一実施形態によるビデオデコーディング方法は、スケーラブルビデオコーディング方式でコーディングされた第１解像度のフレームをデコーディングしてフレームを再構成するステップと、前記再構成された第１解像度のフレームを第２解像度のフレームに変換するステップと、スケーラブルビデオコーディング方式でコーディングされた第２解像度フレームを、前記変換されたフレームを参照してデコーディングしてフレームを再構成するステップと、を含む。

前記目的を達成するために、本発明の他の実施形態によるビデオデコーディング方法は、ノン・スケーラブルビデオコーディング方式でコーディングされた第１解像度のフレームをデコーディングしてフレームを再構成するステップと、前記再構成された第１解像度のフレームを第２解像度のフレームに変換するステップと、スケーラブルビデオコーディング方式でコーディングされた第２解像度フレームを、前記変換されたフレームを参照してデコーディングしてフレームを再構成するステップと、を含む。

前記目的を達成するために、本発明のさらに他の実施形態によるビデオデコーディング方法は、スケーラブルビデオコーディング方式でビデオコーディングされた第１解像度のフレームをデコーディングしてフレームを再構成するステップと、前記再構成されたフレームのうち一部フレームの解像度を低めて第２解像度のイントラフレームを生成するステップと、スケーラブルビデオコーディング方式でコーディングされた第２解像度のインターフレームを、前記生成されたイントラフレームを参照してデコーディングするステップと、を含む。
前記目的を達成するために、本発明のさらに他の実施形態によるビデオデコーディング方法は、スケーラブルビデオコーディング方式でビデオコーディングされた第１解像度のフレームをデコーディングしてフレームを再構成するステップと、前記再構成されたフレームのうち一部フレームの解像度を低めて第２解像度のイントラフレームを生成するステップと、ノン・スケーラブルビデオコーディング方式でコーディングされた第２解像度のインターフレームを、前記生成されたイントラフレームを参照してデコーディングするステップと、を含む。

前記目的を達成するために、本発明の一実施形態によるビデオデコーディングシステムは、スケーラブルビデオコーディング方式でコーディングされた第１解像度のフレームをデコーディングしてフレームを再構成する第１スケーラブルビデオデコーダと、前記再構成された第１解像度フレームを第２解像度のフレームに変換し、スケーラブルビデオコーディング方式でコーディングされた第２解像度フレームを、前記変換されたフレームを参照してデコーディングしてフレームを再構成する第２スケーラブルビデオデコーダと、を備える。

前記目的を達成するために、本発明の他の実施形態によるビデオデコーディングシステムは、ノン・スケーラブルビデオコーディング方式でコーディングされた第１解像度のフレームをデコーディングしてフレームを再構成するノン・スケーラブルビデオデコーダと、前記再構成された第１解像度のフレームを第２解像度のフレームに変換し、スケーラブルビデオコーディング方式でコーディングされた第２解像度フレームを、前記変換されたフレームを参照してデコーディングしてフレームを再構成するスケーラブルビデオデコーダと、を備える。

以下、添付された図面を参照して本発明の実施形態を詳細に説明する。

図４は、多重階層コーディング方式で向上階層フレームコーディングでの参照関係を示す図面である。

向上階層の現在フレーム（フレームＮ）をインターコーディングする時に参照するフレームは、向上階層の以前フレーム（フレームＮ−１）または次のフレーム（フレームＮ＋１）となりうる。以前フレームを参照することを逆方向予測といい、次のフレームを参照することを順方向予測という。一方、以前フレームのあるブロックと以後フレームのあるブロックとを平均したブロックを参照できるが、これを双方向予測という。多重階層コーディングで向上階層フレームをコーディングする時に基礎階層フレームを参照できるが、基礎階層フレームを参照することを階層間予測という。

階層間予測は、基礎階層の現在フレームを参照して向上階層の現在フレームをコーディングするが、参照フレームは、基礎階層の現在フレームをアップサンプリングあるいはダウンサンプリングして向上階層と解像度とを同一にしたフレームである。例えば、図４に示したように、基礎階層の解像度が向上階層の解像度より低い場合に、基礎階層のフレームはアップサンプリングされ、アップサンプリングされたフレームを参照して向上階層の現在フレームをインターコーディングする。基礎階層の解像度が向上階層の解像度より高い場合に、基礎階層のフレームはダウンサンプリングされ、ダウンサンプリングされたフレームを参照して向上階層の現在フレームをインターコーディングできる。

向上階層のフレームをインターコーディングする時、前述した順方向予測、逆方向予測、双方向予測、及び階層間予測のうちいずれか一つのみを選択してフレームのあらゆるブロックをコーディングしてもよいが、フレームのブロック別に異なる予測を使用してコーディングしてもよい。一方、予測方式で加重値が含まれた双方向予測やイントラブロック予測などが使われてもよい。予測方式は、予測方式によるコーディングされたデータ量と予測に使われた動きベクトルのデータ量などを含むコストを基準に選択でき、その他に演算の複雑度などが考慮されることもある。

向上階層のフレームは、基礎階層を参照して階層間予測を通じてコーディングされてもよいが、他の向上階層のフレームを参照して階層間予測を通じてコーディングされてもよい。例えば、基礎階層のフレームを参照して、第１向上階層のフレームをコーディングでき、第１向上階層のフレームを参照して、第２向上階層のフレームをコーディングできる。一方、階層間予測方式でコーディングしても、向上階層のあらゆるフレームが他の階層（基礎階層または参照される他の向上階層）のフレームを参照してもよく、一部フレームのみ参照してもよい。特に、参照される階層のフレームレートが現在コーディングされる向上階層のフレームレートより少ない場合には、向上階層の一部フレームはフレーム間予測ではない他の予測方式でコーディングされる。

本発明の実施形態では、多様な解像度及びフレームレートをサイマルキャストコーディング方式または多重階層コーディング方式を使用して達成するが、全部または一部階層を、スケーラブルビデオコーディング方式を使用することによってさらに多様な解像度及びフレームレートを持つビデオストリーミングサービスを可能にする。

図５ないし図１４は、本発明の実施形態によるビデオストリーミングのためのコーディング方式を説明する図面である。実施形態は、３個あるいは４個の階層を持つと説明しているが、これは例示的なものであって、２個の階層または５個以上の階層を持つ実施形態も本発明の技術的思想に含まれると解釈せねばならない。第１実施形態ないし第１０実施形態で、下層は低い解像度の階層を意味し、上層は高い解像度の階層を意味する。点線からなる矢印は階層間参照を意味し、実線からなる矢印はある階層のコーディングされたビデオから得られる解像度、フレームレートまたは伝送率を異ならせるビデオを意味する。

第１実施形態は、３個の階層を持つ多重階層ビデオコーディング方式の例を示す。第１実施形態であらゆる階層のビデオは、スケーラブルビデオコーディング方式でコーディングされる。すなわち、基礎階層のビデオをスケーラブルビデオコーディング方式でコーディングし、第１向上階層のビデオを、基礎階層のフレームを参照してスケーラブルビデオコーディング方式でコーディングし、第２向上階層のビデオを、第１向上階層のフレームを参照してスケーラブルビデオコーディング方式でコーディングする。

ユーザから７０５×５７６解像度を要請されれば、ストリーミングサービス提供者は、第２向上階層でコーディングされたビデオだけでなく第１向上階層及び基礎階層でコーディングされたビデオも共にユーザに伝送する。ユーザから要請されたフレームレートが６０Ｈｚである場合には、第２向上階層と第１向上階層及び基礎階層のコーディングされたあらゆるフレームを伝送するが、要請されたフレームレートが３０Ｈｚまたは１５Ｈｚである場合には、コーディングされたフレームのうち必要な部分のみ切断してユーザに伝送する。ユーザは、伝送されたコーディングされたフレームを利用して基礎階層のビデオを再構成し、再構成された基礎階層のビデオを参照して第１向上階層のビデオを再構成し、再構成された第１向上階層のビデオを参照して７０５×５７６解像度を持つ第２向上階層のビデオを再構成する。

ユーザから３５２×２８８解像度のビデオを要請されれば、ストリーミングサービス提供者は、第１向上階層及び基礎階層でコーディングされたビデオをユーザに伝送する。ユーザから要請されたフレームレートが３０Ｈｚである場合には、第１向上階層及び基礎階層のコーディングされたあらゆるフレームを伝送するが、要請されたフレームレートが１５Ｈｚである場合には、コーディングされたフレームのうち必要な部分のみ切断してユーザに伝送する。ユーザは、基礎階層のビデオを再構成し、再構成された基礎階層のビデオを参照して３５２×２８８解像度を持つ第１向上階層のビデオを再構成する。

ユーザから１７６Ｘ１５５解像度のビデオを要請されれば、ストリーミングサービス提供者は、基礎階層のコーディングされたビデオをユーザに伝送する。ユーザが１２８ｋｂｐｓのビットストリーム伝送を選択すれば、コーディングされたフレームをそのままユーザに伝送するが、６４ｋｂｐｓのビットストリーム伝送を選択すれば、コーディングされたフレームから一部のビットを除去してユーザに伝送する。ユーザは、基礎階層のビデオを再構成する。

第２実施形態は、いずれか一階層をノン・スケーラブルコーディング方式でコーディングした例を示す。

Ｈ．２６４あるいはＭＰＥＧ−４の場合にも、図１ないし図３の方式によって制限的な空間的スケーラビリティを持つビデオコーディングを行え、国際特許出願ＰＣＴ／ＵＳ２０００／０９５８４に開示されたように、制限的な時間的スケーラビリティを持つビデオコーディングを行うこともできる。しかし、Ｈ．２６４あるいはＭＰＥＧ−４では制限的なスケーラビリティを提供し、空間的、時間的及びＳＮＲスケーラビリティを十分に提供できない。したがって、本発明の実施形態では、ウェーブレット基盤のスケーラブルビデオコーディング方式を基本アルゴリズムとして使用する。しかし、現在まで知られたスケーラブルコーディング方式は、空間的スケーラビリティと時間的スケーラビリティ及びＳＮＲスケーラビリティ特性をいずれも持っているが、コーディング効率において、Ｈ．２６４あるいはＭＰＥＧ−４より劣る。したがって、第２実施形態のようにコーディング効率を高めるために、一部階層をノン・スケーラブルＨ．２６４またはＭＰＥＧ−４方式でコーディングしてもよい。

図４の実施形態は、最も低い解像度の基礎階層をＨ．２６４またはＭＰＥＧ−４のようなノン・スケーラブルコーディング方式を使用してコーディングした場合である。ノン・スケーラブル階層は、第１向上階層または第２向上階層にもなりうるが、最も低い基礎階層にした理由は、最も低い解像度の場合にスケーラブル性質を持たなくてもよいためである。すなわち、本実施形態は、伝送速度が６４ｋｂｐｓ（最も低い伝送速度）であるビデオは、コーディング効率の高い、例えば、Ｈ．２６４またはＭＰＥＧ−４でコーディングする。

第３実施形態は、向上階層が参照する階層が直下階層ではないさらに低い階層である場合を示す。本実施形態で、第２向上階層でビデオコーディングを行う時、第１向上階層を参照せずに基礎階層を参照する。第１実施形態との差異点を考えれば、第２向上階層のビデオをコーディングする時に解像度の差が大きい基礎階層を参照するために、第３実施形態のコーディング効率は第１実施形態より低くなりうる。しかし、デコーディング過程で直接基礎階層を参照して第２向上階層のビデオを再構成するので、基礎階層で第１向上階層を再構成し、第１向上階層で第２向上階層のビデオを再構成する第１実施形態の場合より画質が良くなる。

第４実施形態は、複数の基礎階層を持つ多重階層ビデオコーディング方式の例を示す。階層の数が多い場合に、第１実施形態の場合にはコーディング効率が落ちる。したがって、第４実施形態では、階層の数によって適当な地点に他の階層を参照しない基礎階層をおく。

第５実施形態は、各解像度でスケーラブルビデオコーディング方式のみを使用したサイマルキャストビデオコーディング方式の例を示す。多重階層ビデオコーディング方式が効率的でありうるが、場合によっては、多重階層ビデオコーディング方式よりサイマルキャスト方式がさらに効率的でありえる。サイマルキャスト方式がさらに効率的な場合には、図７ないし図１０に示したように、一部解像度でまたは全体解像度でスケーラブルビデオコーディングを行う。一方、コーディング効率を高めるために、一部解像度、例えば、最も低い解像度では、第６実施形態のようにノン・スケーラブルＨ．２６４またはＭＰＥＧ−４方式でビデオコーディングを行う。

第７実施形態は、最低解像度ではない階層を基礎階層として持つ多重階層ビデオコーディング方式の例を示す。中間解像度の基礎階層で、最高解像度の第２向上階層と最低解像度の第１向上階層のビデオとをコーディングする。第２向上階層でビデオコーディングする時は、基礎階層のフレームをアップサンプリングして参照するが、第１向上階層でビデオコーディングする時は、基礎階層のフレームをダウンサンプリングして参照する。

第８実施形態は、最高解像度階層を基礎階層とした多重階層ビデオコーディング方式の例を示す。本実施形態で、基礎階層のビデオを参照して第１向上階層のビデオをコーディングし、第１向上階層のビデオを参照して第２向上階層のビデオをコーディングする。第１向上階層のビデオをコーディングする時に参照するフレームは、基礎階層のフレームをダウンサンプリングしたフレームである。一方、コーディング効率を高めるために、一部階層をノン・スケーラブルビデオコーディング方式でコーディングできるが、第９実施形態はこのような実施形態のうち一つである。

第１０実施形態は、第３実施形態と同様に、複数の基礎階層を持つ多重階層ビデオコーディング方式の例を示す。第１０実施形態では、第３実施形態と異なって高い解像度階層を参照して低い解像度階層のビデオをコーディングする。

図１５は、本発明の一実施形態によるインターフレームコーディングでの参照関係を示す図面である。点線からなる矢印は階層間参照を意味し、実線からなる矢印は同一階層での参照を意味する。

本実施形態で、低い解像度のビデオ６１０をまずコーディングする。コーディング順序は、時間的スケーラビリティを考慮してコーディングする。すなわち、示したように、ＧＯＰ（ＧｒｏｕｐＯｆＰｉｃｔｕｒｅ）サイズが４である場合には、ＧＯＰの第１のフレームをイントラフレーム（Ｉフレーム）でコーディングし、ＧＯＰの第３のフレームをインターフレーム（Ｈフレーム）でコーディングする。次いで、第１のフレームと第３のフレームとを参照して第２のフレームをコーディングし、第３のフレームを参照して第４のフレームをコーディングする。デコーディング過程は、コーディング過程と同じ順序になる。すなわち、１、３、２、４順序でデコーディングする。１番、３番、２番、及び４番フレームがいずれもデコーディングされれば、１番、２番、３番、及び４番フレーム順序で出力できる。

一方、高い解像度のビデオ６２０は、低い解像度のビデオ６１０を参照して低い解像度のビデオと同じ順序でコーディングする。すなわち、１、３、２、４順序でコーディングする。高い解像度のビデオをデコーディングしようとすれば、コーディングされた高い解像度のフレームと低い解像度のフレームとを必要とする。まず、低い解像度の１番フレームをデコーディングし、これを参照して高い解像度の１番フレームをデコーディングする。次いで、低い解像度の３番フレームをデコーディングし、これを参照して高い解像度の３番フレームをデコーディングする。同じ方式で、低い解像度の２番フレームと高い解像度の２番フレームとをデコーディングし、低い解像度の４番フレームと高い解像度の４番フレームとをデコーディングする。一方、フレームレートが１／２である高い解像度のビデオを再構成するためには、低い解像度の１番フレームをデコーディングし、これを参照して高い解像度の１番フレームをデコーディングした後、低い解像度の３番フレームをデコーディングし、これを参照して高い解像度の３番フレームをデコーディングする。次いで、次のＧＯＰのフレームをデコーディングする。本実施形態は、このような方式で時間的スケーラビリティ特性を持つことができる。ＧＯＰサイズが８である場合には、１、５、３、７、２、４、６、８順序でコーディングしてデコーディングする。もし、１、５番フレームでコーディングまたはデコーディングを止めた場合には、フレームレートが１／４になり、１、５、３、７番フレームでコーディングまたはデコーディングを止めた場合には、フレームレートが１／２になる。

図１６は、本発明の他の実施形態によるインターフレームコーディングでの参照関係を示す図面である。

図１５の実施形態は、低い解像度のビデオ６１０で他のフレームを参照しないフレーム（Ｉフレーム）を参照して他のフレーム（２ないし４番フレーム）をコーディングして画質が良いが、高い解像度のビデオ６２０は、２ないし４番フレームはいずれも異なるフレームを参照するフレーム（Ｈフレーム）を参照してコーディングされるので、画質がサイマルキャストコーディング方式に比べて若干落ちる傾向がある。したがって、図１６の実施形態は、階層間参照を図１５の実施形態と別途にする。

本実施形態で、高い解像度のビデオ７２０をまずコーディングする。コーディング順序は、時間的スケーラビリティを考慮してコーディングする。すなわち、示したように、ＧＯＰサイズが４である場合には、ＧＯＰの第１のフレームをイントラフレーム（Ｉフレーム）でコーディングし、ＧＯＰの第３のフレームをインターフレーム（Ｈフレーム）でコーディングする。次いで、第１のフレームと第３のフレームとを参照して第２のフレームをコーディングし、第３のフレームを参照して第４のフレームをコーディングする。デコーディング過程は、コーディング過程と同じ順序になる。すなわち、１、３、２、４順序でデコーディングする。１番、３番、２番、及び４番フレームがいずれもデコーディングされれば、１番、２番、３番、及び４番フレーム順序で出力できる。

一方、低い解像度のビデオ７１０は、高い解像度のビデオ７２０を参照して高い解像度のビデオと同じ順序でコーディングする。すなわち、１、３、２、４順序でコーディングする。低い解像度のビデオをデコーディングするためには、コーディングされた高い解像度のフレームと低い解像度のフレームとを必要とする。まず、高い解像度の１番フレームをデコーディングし、これを参照して低い解像度の１番フレームをデコーディングする。次いで、高い解像度の３番フレームをデコーディングし、これを参照して低い解像度の３番フレームをデコーディングする。同じ方式で、高い解像度の２番フレームと低い解像度の２番フレームとをデコーディングし、高い解像度の４番フレームと低い解像度の４番フレームとをデコーディングする。

図１７及び図１８は、階層間フレームレートが異なる場合の実施形態を示す。インターフレームコーディングでの参照関係を示す図面である。

図１７の実施形態で、低い解像度のビデオ８１０をまずコーディングする。コーディング順序は、時間的スケーラビリティを考慮してコーディングする。すなわち、示したように、ＧＯＰサイズが４である場合には、ＧＯＰの第１のフレームをイントラフレーム（Ｉフレーム）でコーディングし、ＧＯＰの第５のフレームをインターフレーム（Ｈフレーム）でコーディングする。次いで、第１のフレーム及び第５のフレームを参照して第３のフレームをコーディングする。このような方式で１、５、３、７順序のＧＯＰのフレームをいずれもコーディングする。デコーディング過程は、コーディング過程と同じ順序になる。

一方、高い解像度のビデオ８２０は、低い解像度のビデオ８１０を参照して低い解像度のビデオと同じ順序でコーディングする。すなわち、１、５、３、７順序でコーディングする。次いで、低い解像度のビデオ８１０にないフレーム２、４、６、８をコーディングする。

図１８の実施形態で、高い解像度のビデオ９２０をまずコーディングする。コーディング順序は、時間的スケーラビリティを考慮してコーディングする。すなわち、示したように、ＧＯＰサイズが８である場合には、１、５、３、７、２、４、６、８順序のＧＯＰのフレームをいずれもコーディングする。デコーディング過程は、コーディング過程と同じ順序になる。

低い解像度のビデオ９１０は、高い解像度のビデオ９２０を参照して高い解像度のビデオと同じ順序でコーディングする。すなわち、１、５、３、７順序でコーディングする。

図１５ないし図１８の実施形態は、いずれも二階層間の参照関係を示す実施形態であって、３個以上の階層を持つ多重階層ビデオコーディングを行う場合にも拡張されて適用できる。

高い解像度のフレームを参照して、低い解像度のフレームをコーディングする多重階層ビデオコーディング方式でビデオストリーミングサービスをする場合に、低い解像度のビットストリームを伝送する時に効率が低い。すなわち、低い解像度のビットストリームには、低い解像度のコーディングされたビデオ情報だけでなく高い解像度のコーディングされた情報も含まれているためである。このような場合には、多重階層ビデオコーディングよりサイマルキャストビデオコーディング方式がさらに効率的でありえる。図１９及び図２０は、サイマルキャストビデオコーディング方式でコーディング効率を高めるための実施形態を示す。

図１９の実施形態は、イントラフレームの共有関係を示している。

本実施形態は、サイマルキャスト方式と同様に解像度の異なるビデオ１０１０、１０２０を別途にコーディングする。高い解像度のビデオ１０２０を、時間的スケーラビリティを持つ順序、例えば１、３、２、４順序でコーディングし、低い解像度のビデオ１０１０も、時間的スケーラビリティを持つ順序でビデオコーディングする。コーディングされた高い解像度のビデオ及び低い解像度のビデオには、各ＧＯＰに一つのイントラフレーム（Ｉフレーム）と一つ以上のインターフレーム（Ｈフレーム）とが含まれる。ほとんどの場合に、イントラフレームは、インターフレームより多くのビットを割り当てねばならない。実際に高い解像度のビデオ１０２０と低い解像度のビデオ１０１０とは、同じビデオシーケンスに解像度だけ異ならせたものであるので、類似した部分が多い。したがって、本実施形態では低い解像度のイントラフレームを含まずにビデオコーディングする。すなわち、最終的に生成されたビットストリームには、高い解像度のコーディングされたあらゆるフレームと低い解像度のコーディングされたインターフレームとが含まれる。

デコーダで高い解像度のビデオ１０２０を要請すれば、低い解像度のコーディングされたインターフレームを除去した後にデコーダにビットストリームを伝送する。デコーダで低い解像度のビデオ１０１０を要請すれば、高い解像度のコーディングされたインターフレームを除去し、低い解像度と共有された高い解像度のイントラフレーム１０２２、１０２４で不要な部分を除去して、低い解像度のイントラフレーム１０１２、１０１４を作った後、デコーダにビットストリームを伝送する。

図２０は、本発明の他の実施形態によるイントラフレーム共有関係を示す図面である。

図２０の実施形態では、図１９の実施形態と同様にイントラフレームを共有する。すなわち、低い解像度のビデオストリーミングを行う時は、高い解像度のイントラフレーム１１２２で低い解像度のイントラフレーム１１１２を作る。一方、図１９の実施形態とは異なって、高い解像度のイントラフレーム１１２４は低い解像度と共有せず、低い解像度のフレーム１１１４はそのままインターフレームを使用する。すなわち、フレームレートが異なる場合にＧＯＰの境界を一致させずにＧＯＰサイズを一致させることによって、低いレートでイントラフレームの比率が高いフレームレートより高くなることを防止する。

図２１は、本発明の一実施形態によるビデオエンコーダの構成を示すブロック図である。本実施形態では、解像度の相異なる二つの階層を持つ。しかし、これは例示的なものであって、ｎ個の解像度の相異なる階層のビデオエンコーダも本発明の範囲に含まれると解釈せねばならない。

ビデオエンコーダシステム１２００は、基礎階層ビデオをコーディングする第１スケーラブルビデオエンコーダ１２１０と向上階層ビデオをコーディングする第２スケーラブルビデオエンコーダ１２２０及び第１スケーラブルビデオエンコーダ１２１０と第２スケーラブルビデオエンコーダ１２２０のコーディングされたビデオでビットストリームを生成するビットストリーム生成モジュール１２３０を備える。

第１スケーラブルビデオエンコーダ１２１０は、基礎階層ビデオを入力されてスケーラブルビデオコーディングし、このために、動き予測モジュール１２１２と変換モジュール１２１４及び量子化モジュール１２１６を備える。

動き予測モジュール１２１２は、基礎階層ビデオを構成する各フレーム間の時間的重複を除去するが、動き予測モジュール１２１２は、参照フレームと現在コーディングされるフレームとの間の動きを予測して残余フレームを得る。動きを予測して時間的重複を除去するアルゴリズムとしては、ＵＭＣＴＦ、ＳＴＡＲなどがある。動きを予測する時、図５出す図２０を通じて説明した実施形態のうちコーディング効率及び画質を考慮して選択する。

残余フレームは、変換モジュール１２１４を通じてウェーブレット変換される。ウェーブレット変換は残余フレームを４等分し、残余フレームのイメージとほぼ類似した１／４面積を持つ縮小されたイメージ（Ｌサブバンド）を前記フレームの一側四分面に代替し、残りの３個の四分面にはＬイメージを通じて残余フレームのイメージを復元可能にするイメージ（Ｈサブバンド）で代替する。同じ方式で、Ｌサブバンドは、自身の１／４面積を持つＬＬサブバンドとＬイメージを復元するためのイメージで代替できる。

量子化モジュール１２１６は、ウェーブレット変換を通じて得た変換係数を量子化する。量子化アルゴリズムは、ＥＺＷ（ＥｍｂｅｄｄｅｄＺｅｒｏｔｒｅｅｓＷａｖｅｌｅｔＡｌｇｏｒｉｔｈｍ）、ＳＰＩＨＴ（ＳｅｔＰａｒｔｉｔｉｏｎｉｎｇｉｎＨｉｅｒａｒｃｈｉｃａｌＴｒｅｅｓ）、ＥＺＢＣ（ＥｍｂｅｄｄｅｄＺｅｒｏＢｌｏｃｋＣｏｄｉｎｇ）、ＥＢＣＯＴ（ＥｍｂｅｄｄｅｄＢｌｏｃｋＣｏｄｉｎｇｗｉｔｈＯｐｔｉｍａｌＴｒｕｎｃａｔｉｏｎ）などがある。

第２スケーラブルビデオエンコーダ１２２０は、向上階層ビデオを入力されてスケーラブルビデオコーディングし、このために、動き予測モジュール１２２２と変換モジュール１２２４及び量子化モジュール１２２６を備える。

動き予測モジュール１２２２は、向上階層ビデオを構成する各フレーム間の時間的重複を除去するが、動き予測モジュール１２２２は、向上階層の参照フレーム及び基礎階層の参照フレームと現在コーディングされるフレームとの間の動きを予測して残余フレームを得る。動きを予測して時間的重複を除去するアルゴリズムとしては、ＵＭＣＴＦ、ＳＴＡＲなどがある。

残余フレームは、変換モジュール１２２４を通じてウェーブレット変換される。ウェーブレット変換は残余フレームを４等分し、残余フレームのイメージとほぼ類似した１／４面積を持つ縮小されたイメージ（Ｌサブバンド）を前記フレームの一側四分面に代替し、残りの３個の四分面にはＬイメージを通じて残余フレームのイメージを復元可能にするイメージ（Ｈサブバンド）で代替する。同じ方式で、Ｌサブバンドは、自身の１／４面積を持つＬＬサブバンドとＬイメージを復元するためのイメージで代替できる。

量子化モジュール１２２６は、ウェーブレット変換を通じて得た変換係数を量子化する。量子化アルゴリズムは、ＥＺＷ、ＳＰＩＨＴ、ＥＺＢＣ、ＥＢＣＯＴなどがある。

第１スケーラブルビデオエンコーダ１２１０及び第２スケーラブルビデオエンコーダ１２２０を通じてコーディングされた基礎階層フレーム及び向上階層フレームは、ビットストリーム生成モジュール１２３０で適当なヘッダ情報を含んでビットストリームを生成する。

一方、本発明の他の実施形態では、相異なる解像度のビデオをコーディングする複数のビデオエンコーダを備え、前記ビデオエンコーダのうち一部はノン・スケーラブルビデオコーディング方式、例えば、Ｈ．２６４やＭＰＥＧ−４方式でビデオコーディングする。

生成されたビットストリームは、プリデコーダ１２４０を通じてプリデコーディングされてデコーダ（図示せず）に伝送される。

プリデコーダ１２４０は、ビデオストリーミングサービスの形態によってそれぞれ他の所に位置できる。一実施形態において、プリデコーダ１２４０は、ビデオストリーミングビデオエンコーダシステム１２００に存在する。この場合に、ビデオエンコーダ１２４０は、ビットストリーム生成モジュール１２３０で生成されたビットストリーム全体ではない、プリデコーディングされたビットストリームのみをデコーダに伝送する。他の実施形態において、プリデコーダ１２４０は、ビデオエンコーダシステム１２００とは別途に存在する。プリデコーダ１２４０は、ビデオストリーミングサービスを提供するストリーミングサービス提供者に存在し、ストリーミングサービス提供者は、コンテンツ提供者がコーディングしたビットストリームをプリデコーディングしてデコーダに伝送する。さらに他の実施形態において、プリデコーダ１２４０はデコーダ内に存在する。デコーダ内に存在するプリデコーダは、ビットストリームで不要な部分を切断して必要な解像度及びフレームレートを持つビデオを再構成できる。

前述したビデオエンコーダシステム１２００及び後述するビデオデコーダシステム１３００の各構成要素は、機能性モジュールであって、既に説明したような役割を行う。このような機能性モジュールは、ソフトウェアまたはＦＰＧＡまたはＡＳＩＣのようなハードウェアで具現できる。しかし、機能性モジュールは、ソフトウェアまたはハードウェアに限定される意味ではない。機能性モジュールは、アドレッシングできる記録媒体にあるように構成されてもよく、一つまたはそれ以上のプロセッサーを実行させるように構成されてもよい。したがって、一例として機能性モジュールは、ソフトウェア構成要素、客体指向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素と、プロセス、関数、属性、プロシジャー、サブルーチン、プログラムコードのセグメント、ドライバー、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、及び変数を含む。構成要素とモジュール内で提供される機能は、さらに小さな数の構成要素及びモジュールに結合されるか、追加的な構成要素とモジュールにさらに分離されうる。それだけでなく、構成要素及びモジュールは、通信システム内の一つまたはそれ以上のコンピュータを実行させるように具現されることもできる。

図２２は、本発明の一実施形態によるビデオデコーダの構成を示すブロック図である。本実施形態では、解像度の相異なる二つの階層を持つ。しかし、これは例示的なものであって、ｎ個の解像度の相異なる階層のビデオエンコーダも本発明の範囲に含まれると解釈せねばならない。

ビデオデコーダシステム１３００は、基礎階層ビデオをデコーディングする第１スケーラブルビデオデコーダ１３１０と、向上階層ビデオをコーディングする第２スケーラブルビデオデコーダ１３２０とを備える。第１スケーラブルビデオデコーダ１３１０及び第２スケーラブルビデオデコーダ１３２０は、ビットストリーム解釈モジュール１３３０からコーディングされたビデオ情報を受けてデコーディングする。

第１スケーラブルビデオデコーダ１３１０は、基礎階層のコーディングされたビデオ情報を受けてスケーラブルビデオデコーディングし、このために逆量子化モジュール１３１２と逆変換モジュール１３１４及び動き補償モジュール１３１６を備える。

逆量子化モジュール１３１２は、コーディングされたビデオ情報を受けて逆量子化して変換係数を得る。逆量子化アルゴリズムは、ＥＺＷ、ＳＰＩＨＴ、ＥＺＢＣ、ＥＢＣＯＴなどがある。

逆変換モジュール１３１４は逆変換する。イントラコーディングされたフレームの場合には、逆変換を通じてフレームを再構成できるが、インターコーディングされたフレームの場合には、逆変換を通じて残余フレームを得る。

動き補償モジュール１３１６は、残余フレームを入力されてフレームを再構成するが、既に再構成されたフレームを参照して残余フレームの動きを補償する。動きを補償するアルゴリズムには、ＵＭＣＴＦ、ＳＴＡＲなどがある。

第２スケーラブルビデオデコーダ１３２０は、向上階層のコーディングされたビデオ情報を受けてスケーラブルビデオデコーディングし、このために逆量子化モジュール１３２２と逆変換モジュール１３２４及び動き補償モジュール１３２６を備える。

逆量子化モジュール１３２２は、コーディングされたビデオ情報を受けて逆量子化して変換係数を得る。逆量子化アルゴリズムは、ＥＺＷ、ＳＰＩＨＴ、ＥＺＢＣ、ＥＢＣＯＴなどがある。

逆変換モジュール１３２４は逆変換する。イントラコーディングされたフレームの場合には逆変換を通じてフレームを再構成できるが、インターコーディングされたフレームの場合には、逆変換を通じて残余フレームを得る。

動き補償モジュール１３２６は、残余フレームを入力されてフレームを再構成するが、既に基礎階層のフレームと向上階層の再構成されたフレームとを参照して残余フレームの動きを補償する。動きを補償するアルゴリズムには、ＵＭＣＴＦ、ＳＴＡＲなどがある。

図２３は、インターフレーム共有で軟らかい向上階層の軟らかいイントラフレームを生成し、共有されたインターフレームをデコーディングする過程を説明するための図面である。

図面でＤは、ダウンサンプリングを意味し、Ｕは、アップサンプリングを意味する。下添字のうちＷは、ウェーブレット方式を意味し、Ｍは、ＭＰＥＧ方式を意味する。Ｆは、高解像度（基礎階層）フレームを意味し、Ｆ_Ｓは、低解像度（向上階層）フレームを意味し、Ｆ_Ｌは、高解像度フレームの低周波サブバンドを意味する。

低解像度のビットストリームを生成するために、ビデオを構成するフレームをウェーブレット方式でダウンサンプリングし、ダウンサンプリングされたフレームをアップサンプリングした後、ＭＰＥＧ方式でダウンサンプリングする。次いで、ＭＰＥＧ方式でダウンサンプリングされた低解像度のビデオをスケーラブルビデオコーディングする。

低解像度のフレームＦ_Ｓ１４２０がイントラフレームである場合に、ビットストリームには含めない。低解像度のフレームＦ_Ｓ１４２０は、ビットストリームに含まれた高解像度のイントラフレームＦ１４１０から求めることができる。高解像度のイントラフレームＦ１４１０をウェーブレット方式でダウンサンプリングし、再びアップサンプリングすれば、元来のＦとほぼ類似したイメージとなる。これを再びＭＰＥＧ方式でダウンサンプリングすれば、軟らかい低解像度インターフレームＦ_Ｓ８２０を得ることができる。一方、高解像度のインターフレームＦ１４１０は、ウェーブレット変換及び量子化を経てビットストリームに含まれる。ビットストリームをデコーダで受信する前に、プリデコーダでビットストリームの一部のビットが切断される。コーディングされたＦ１４１０で高周波サブバンドが切断されれば、Ｆの低周波サブバンドＦ_Ｌ１４３０を得ることができる。Ｆの低周波サブバンドＦ_Ｌ１４３０は、Ｆ１４１０をウェーブレット方式でダウンサンプリングしたもの（Ｄ_Ｗ（Ｆ））と同じである。デコーダ側ではＦ_Ｌ１４４０を受信し、これをウェーブレット方式でアップサンプリングして再びＭＰＥＧ方式でダウンサンプリングすれば、軟らかいインターフレームＦ_Ｓ１４５０を得ることができる。

本発明によれば、多様な画質のビデオストリーミングサービスを行える。

当業者ならば、本発明がその技術的思想や必須な特徴を変更せずに他の具体的な形態で実施されうるということを理解できる。したがって、以上で記述した実施形態はあらゆる面で例示的なものであり、限定的でないと理解せねばならない。本発明の範囲は、前記詳細な説明よりは特許請求の範囲により現れ、特許請求の範囲の意味及び範囲そしてその均等な概念から導出されるあらゆる変更または変形された形態が本発明の範囲に含まれると解釈されねばならない。

多様な解像度のビデオストリーミングのための従来のコーディング方式を示す図である。多様な解像度のビデオストリーミングのための従来のコーディング方式を示す図である。多様な解像度のビデオストリーミングのための従来のコーディング方式を示す図である。多重階層コーディング方式で、向上階層フレームコーディングでの参照関係を示す図である。本発明の第１実施形態によるビデオストリーミングのためのコーディング方式を説明する図である。本発明の第２実施形態によるビデオストリーミングのためのコーディング方式を説明する図である。本発明の第３実施形態によるビデオストリーミングのためのコーディング方式を説明する図である。本発明の第４実施形態によるビデオストリーミングのためのコーディング方式を説明する図である。本発明の第５実施形態によるビデオストリーミングのためのコーディング方式を説明する図である。本発明の第６実施形態によるビデオストリーミングのためのコーディング方式を説明する図である。本発明の第７実施形態によるビデオストリーミングのためのコーディング方式を説明する図である。本発明の第８実施形態によるビデオストリーミングのためのコーディング方式を説明する図である。本発明の第９実施形態によるビデオストリーミングのためのコーディング方式を説明する図である。本発明の第１０実施形態によるビデオストリーミングのためのコーディング方式を説明する図である。本発明の一実施形態によるインターフレームコーディングでの参照関係を示す図である。本発明の他の実施形態によるインターフレームコーディングでの参照関係を示す図である。本発明のさらに他の実施形態によるインターフレームコーディングでの参照関係を示す図である。本発明のさらに他の実施形態によるインターフレームコーディングでの参照関係を示す図である。本発明の一実施形態によるイントラフレーム共有関係を示す図である。本発明の他の実施形態によるインターフレーム共有関係を示す図である。本発明の一実施形態によるビデオエンコーダの構成を示すブロック図ある。本発明の一実施形態によるビデオデコーダの構成を示すブロック図である。インターフレーム共有で軟らかい向上階層の軟らかいイントラフレームを生成し、共有されたインターフレームをデコーディングする過程を説明するための図である。

Claims

第１解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングするステップと、
前記第１解像度のフレームを第２解像度のフレームにアップサンプリングするステップと、
前記アップサンプリングされたフレームを参照して、第２解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングするステップと、を含むビデオコーディング方法。
第１解像度のフレームをノン・スケーラブルビデオコーディング方式でビデオコーディングするステップと、
前記第１解像度のフレームを第２解像度のフレームにアップサンプリングするステップと、
前記変換されたフレームを参照して、第２解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングするステップと、を含むビデオコーディング方法。
第１解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングするステップと、
前記第１解像度のフレームを第２解像度のフレームにアップサンプリングするステップと、
前記第１解像度のフレームを第３解像度のフレームにアップサンプリングするステップと、
前記第２解像度にアップサンプリングされたフレームを参照して、第２解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングするステップと、
前記第３解像度にアップサンプリングされたフレームを参照して、第３解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングするステップと、を含むビデオコーディング方法。
第１解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングするステップと、
前記第１解像度のフレームを第２解像度のフレームにアップサンプリングするステップと、
前記第２解像度にアップサンプリングされたフレームを参照して、第２解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングするステップと、
前記第２解像度より高い解像度を持つ第３解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングするステップと、
前記第３解像度のフレームを第４解像度のフレームにアップサンプリングするステップと、
前記第４解像度にアップサンプリングされたフレームを参照して、第４解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングするステップと、を含むビデオコーディング方法。
第１解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングするステップと、
前記第１解像度より高い解像度を持つ第２解像度のフレームを、前記第１解像度のフレームとは独立的に、スケーラブルビデオコーディング方式でビデオコーディングするステップと、
前記第２解像度より高い解像度を持つ第３解像度のフレームを、前記第２解像度のフレームとは独立的に、スケーラブルビデオコーディング方式でビデオコーディングするステップと、を含むビデオコーディング方法。
第１解像度のフレームをノン・スケーラブルビデオコーディング方式でビデオコーディングするステップと、
前記第１解像度より高い解像度を持つ第２解像度のフレームを、前記第１解像度のフレームとは独立的に、スケーラブルビデオコーディング方式でビデオコーディングするステップと、
前記第２解像度より高い解像度を持つ第３解像度のフレームを、前記第２解像度のフレームとは独立的に、スケーラブルビデオコーディング方式でビデオコーディングするステップと、を含むビデオコーディング方法。
第１解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングするステップと、
前記第１解像度のフレームを第２解像度のフレームにアップサンプリングするステップと、
前記第２解像度より高い解像度を持つ第３解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングするステップと、
前記第３解像度のフレームを第２解像度のフレームにダウンサンプリングするステップと、
前記第２解像度にアップサンプリングされたフレーム及び前記第２解像度にダウンサンプリングされたフレームを参照して、第２解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングするステップと、を含むビデオコーディング方法。
第２解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングするステップと、
前記第２解像度のフレームを第１解像度のフレームにダウンサンプリングするステップと、
前記ダウンサンプリングされたフレームを参照して、第１解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングするステップと、を含むビデオコーディング方法。
第２解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングするステップと、
前記第２解像度のフレームを第１解像度のフレームにダウンサンプリングするステップと、
前記ダウンサンプリングされたフレームを参照して、第１解像度のフレームをスケーラブルしないビデオコーディング方式でビデオコーディングするステップと、を含むビデオコーディング方法。
第３解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングするステップと、
前記第３解像度のフレームを第２解像度のフレームにダウンサンプリングするステップと、
前記ダウンサンプリングされたフレームを参照して、第２解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングするステップと、
前記第３解像度のフレームを、前記第２解像度より低い解像度を持つ第１解像度のフレームにダウンサンプリングするステップと、
前記ダウンサンプリングされたフレームを参照して、第１解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングするステップと、を含むビデオコーディング方法。
前記第１解像度のフレームのフレーム率と前記第２解像度のフレームのフレーム率とが同じ場合に、前記第１解像度のフレームに対するビデオコーディング順序と前記第２解像度のフレームに対するビデオコーディング順序とは一致する請求項１に記載のビデオコーディング方法。
前記第２解像度のフレームとこれに対応する前記第１解像度のフレームとは、フレーム種類（Ｉフレーム、またはＨフレーム）が同一である請求項８または９に記載のビデオコーディング方法。
前記第１解像度のフレームのフレーム率と前記第２解像度のフレームのフレーム率とが相異なる場合に、前記第１解像度のフレームのイントラフレーム比率を前記第２解像度のフレームのイントラフレーム比率と同一に維持する請求項８または９に記載のビデオコーディング方法。
第１解像度のフレームをノン・スケーラブルビデオコーディング方式でビデオコーディングする第１スケーラブルビデオエンコーダと、
前記第１解像度のフレームを第２解像度のフレームに変換し、前記変換されたフレームを参照して、第２解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングする第２スケーラブルビデオエンコーダと、
前記第１解像度のコーディングされたフレームと前記第２解像度のコーディングされたフレームとを含むビットストリームを生成するビットストリーム生成モジュールと、を備えるビデオエンコーディングシステム。
前記第１解像度のビデオコーディング方式は、Ｈ．２６４とＭＰＥＧ−４のうちいずれか一つの方式である請求項１４に記載のビデオエンコーディングシステム。
第１解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングする第１スケーラブルビデオエンコーダと、
第１解像度より低い第２解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングする第２スケーラブルビデオエンコーダと、
前記第１解像度のコーディングされたフレームと前記第２解像度のコーディングされたインターフレームとを含んでビットストリームを生成するビットストリーム生成モジュールと、を備えるビデオエンコーディングシステム。
前記第２解像度のフレームは、前記第１解像度のフレームをウェーブレット方式でダウンサンプリングし、ダウンサンプリングされたフレームをウェーブレット方式でアップサンプリングした後、アップサンプリングされたフレームをＭＰＥＧ方式でダウンサンプリングしたフレームである請求項１６に記載のビデオエンコーディングシステム。
第１解像度のフレームをスケーラブルビデオコーディング方式でビデオコーディングするスケーラブルビデオエンコーダと、
第１解像度より低い第２解像度のフレームをノン・スケーラブルビデオコーディング方式でビデオコーディングするノン・スケーラブルビデオエンコーダと、
前記第１解像度のコーディングされたフレームと前記第２解像度のコーディングされたインターフレームとを含んでビットストリームを生成するビットストリーム生成モジュールと、を備えるビデオエンコーディングシステム。
前記第２解像度のビデオコーディング方式は、Ｈ．２６４とＭＰＥＧ−４のうちいずれか一つの方式である請求項１８に記載のビデオエンコーディングシステム。
スケーラブルビデオコーディング方式でコーディングされた第１解像度のフレームをデコーディングしてフレームを再構成するステップと、
前記再構成された第１解像度のフレームを第２解像度のフレームにアップサンプリングするステップと、
スケーラブルビデオコーディング方式でコーディングされた第２解像度フレームを、前記変換されたフレームを参照してデコーディングしてフレームを再構成するステップと、を含むビデオデコーディング方法。
ノン・スケーラブルビデオコーディング方式でコーディングされた第１解像度のフレームをデコーディングしてフレームを再構成するステップと、
前記再構成された第１解像度のフレームを第２解像度のフレームにアップサンプリングするステップと、
スケーラブルビデオコーディング方式でコーディングされた第２解像度フレームを、前記変換されたフレームを参照してデコーディングしてフレームを再構成するステップと、を含むビデオデコーディング方法。
スケーラブルビデオコーディング方式でビデオコーディングされた第１解像度のフレームをデコーディングしてフレームを再構成するステップと、
前記再構成されたフレームのうち一部フレームの解像度を低めて第２解像度のイントラフレームを生成するステップと、
スケーラブルビデオコーディング方式でコーディングされた第２解像度のインターフレームを、前記生成されたイントラフレームを参照してデコーディングするステップと、を含むビデオデコーディング方法。
スケーラブルビデオコーディング方式でビデオコーディングされた第１解像度のフレームをデコーディングしてフレームを再構成するステップと、
前記再構成されたフレームのうち一部フレームの解像度を低めて第２解像度のイントラフレームを生成するステップと、
ノン・スケーラブルビデオコーディング方式でコーディングされた第２解像度のインターフレームを、前記生成されたイントラフレームを参照してデコーディングするステップと、を含むビデオデコーディング方法。
スケーラブルビデオコーディング方式でコーディングされた第１解像度のフレームをデコーディングしてフレームを再構成する第１スケーラブルビデオデコーダと、
前記再構成された第１解像度フレームを第２解像度のフレームに変換し、スケーラブルビデオコーディング方式でコーディングされた第２解像度フレームを、前記変換されたフレームを参照してデコーディングしてフレームを再構成する第２スケーラブルビデオデコーダと、を備えるビデオデコーディングシステム。
ノン・スケーラブルビデオコーディング方式でコーディングされた第１解像度のフレームをデコーディングしてフレームを再構成するノン・スケーラブルビデオデコーダと、
前記再構成された第１解像度のフレームを第２解像度のフレームに変換し、スケーラブルビデオコーディング方式でコーディングされた第２解像度フレームを、前記変換されたフレームを参照してデコーディングしてフレームを再構成するスケーラブルビデオデコーダと、を備えるビデオデコーディングシステム。