JP2006295927A

JP2006295927A - ランダムアクセスの遅延を最小化するビデオ復号化／符号化装置及び方法

Info

Publication number: JP2006295927A
Application number: JP2006105297A
Authority: JP
Inventors: Kwang-Yuel Ryu; 光烈柳; Min-Kyu Park; 民奎朴; Doug-Young Suh; 徳榮徐
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2005-04-14
Filing date: 2006-04-06
Publication date: 2006-10-26
Anticipated expiration: 2026-04-06
Also published as: KR100643291B1; KR20060108887A; EP1713280A2; JP4467539B2; CN100542282C; US20060233235A1; EP1713280A3; CN1848954A

Abstract

【課題】ランダムアクセスの遅延を最小化するビデオ復号化／符号化装置及び方法を提供する。
【解決手段】基本階層のイントラフレームの反復周期を向上階層のイントラフレームの反復周期より短く設定する符号化制御手段と、設定された反復周期によって原画像を縮小し、かつ符号化して基本階層のビットストリームを生成する基本階層符号化手段と、時間的に他の位置にある向上階層の画像及び基本階層のビットストリームを復号化した後、拡大した画像を参照して向上階層のビットストリームを生成する向上階層符号化手段と、を備えるランダムアクセスの遅延を最小化するビデオ符号化装置である。
【選択図】図５

Description

本発明は、ランダムアクセスの遅延を最小化するビデオ復号化／符号化装置及び方法に係り、さらに詳細には、ビデオストリーミングサービスを受けるか、または圧縮された動画を再生する時、チャンネル変更後に新たな画面が浮かぶまでの遅延時間を短縮できる、ランダムアクセスの遅延を最小化するビデオ復号化／符号化装置及び方法に関する。

本発明と関連した技術であるＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６３、Ｈ．２６４等のビデオ圧縮技術では、圧縮効率を高めるための３つの方式がある。

第１は、ＲＧＢ入力をＹＣｂＣｒの形態に変換する方式、すなわち、Ｒ、Ｇ、Ｂで重畳して存在する輝度及び色差情報をＹ及びＣｂ、Ｃｒに変換することである。第２は、このように変換されたデータの空間的重畳性を除去することであって、一つの画面内に存在する空間的な類似性を離散余弦変換（ＤＣＴ、ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）、量子化及び可変長符号化（ＶＬＣ、ＶａｒｉａｂｌｅＬｅｎｇｔｈＣｏｄｉｎｇ）などを利用して除去する。第３は、連続した画面の時間的重畳性を除去する連続したイメージは時間的に近い場合に類似した部分が多いということに着目する。このような時間的重畳性を除去することは、動き推定（ＭＥ、ＭｏｔｉｏｎＥｓｔｉｍａｔｉｏｎ）を通じて測定された動きベクトル（ＭＶ、ＭｏｔｉｏｎＶｅｃｔｏｒ）を利用し、ＤＰＣＭ（ＤｉｆｆｅｒｅｎｔｉａｌＰｕｌｓｅＣｏｄｅＭｏｄｕｌａｔｉｏｎ）のような予測技法を利用する。

図１は、従来技術による単一階層符号化のＩ、Ｐ、Ｂフレームの配列及び参照形態を示す概念図である。

時間的重畳性を除去するために、ＭＰＥＧ技術では、図１のようにそれぞれのフレームのタイプを設定するが、フレームのタイプにはＩｎｔｒａ（Ｉ）、Ｐｒｅｄｉｃｔｉｖｅ（Ｐ）、Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ（Ｂ）が存在し、Ｉフレームは独立したフレームであって、自体データだけでも復号化が可能である。Ｐフレームの場合、前のフレームを参照して復号化を行い、Ｂフレームの場合に前と後のＩフレームまたはＰフレームを参照して復号化を行う。ここで、ＧＯＰ（ＧｒｏｕｐｏｆＰｉｃｔｕｒｅ）は、一つのＩフレーム１１から次のＩフレーム１４が出るまでのフレームの数であり、ここでのＧＯＰ値は９である。Ｐフレーム１３は、Ｉフレーム１１を参照せねばならず、Ｂフレーム１２は、Ｉフレーム１１及びＰフレーム１３を参照するか、左右のＰフレームを参照する。符号化時、このように参照されたフレーム間の動き推定及び予測を利用して圧縮を行う。

図２は、従来技術による空間的階層符号化の過程を示すブロック図である。図２に示すように、ここで原画像は２つのビットストリームに分けられて符号化される。一つは、画面をダウンサンプリングして原本の１／４または１／１６などのサイズに減らして符号化する基本階層符号化であり、他の一つは、原画像のサイズに符号化するが、基本階層符号化で生成したフレームとの差値をもって符号化する向上階層符号化である。

ＤＣＴは、フレームを周波数帯域に変形する過程であって、これは、人間の視覚能力が高周波より低周波に敏感な特性を利用したものである。ＤＣＴにより周波数領域に変更されたイメージは量子化過程を経て、高周波領域は少ないビットを使用し、低周波領域は多くのビットを使用するように変換される。このように変換されたイメージは、ＶＬＣを通じてさらに少ないビット率を持つビットストリームに変換される。

向上階層のビットストリームを生成するために、基本階層で量子化を経たデータは、逆量子化（ＩＱ、ＩｎｖｅｒｓｅＱｕａｎｉｔｚａｔｉｏｎ）、逆ＤＣＴ（ＩＤＣＴ、ＩｎｖｅｒｓｅＤＣＴ）及びアップサンプリングを通じて原画像と同じサイズに復旧され、この復旧されたイメージと原画像との差値を得る。このように得られた差値を原画像と合せた後、基本階層の符号化に使われた方式の順にＤＣＴ、量子化及びＶＬＣを経て向上階層ビットストリームを生成する。

図３は、従来技術による空間的階層復号化の過程を示すブロック図である。基本階層ビットストリームは、まず可変長復号化（ＶＬＤ、ＶａｒｉａｂｌｅＬｅｎｇｔｈＤｅｃｏｄｉｎｇ）を通じてＩＱのためのデータに変更される。ＩＱを通じて画像は量子化以前の画像に復元される。量子化及びＩＱは損失変形であるために、ＩＱを通じて復元された画像は量子化以前の画像と差が出る。このような差は、画質の差で現れるが、量子化時に画質の差を大きくしつつ圧縮効率を高めることもあり、画質の差を少なくしつつ圧縮効率を減らすこともある。このような画質の差及び圧縮効率の差は結局量子化時に決定される。一方、ＩＤＣＴ過程を経れば、周波数領域からイメージ領域に画像が復元される。

向上階層も基本階層と同じ方法で画像の復号化がなされる。基本階層で復元された画像をアップサンプリングした後、向上階層からＶＬＤ、ＩＱ、ＩＤＣＴ過程を経て抽出された画像を合せれば、原画像を得るようになる。もちろんイメージが原画像と完全同じものではなく、ある程度差は発生する。この時、向上階層のビットストリームで復号化された画像が、基本階層のビットストリームで復号化された画像より一般的に画質がさらに優秀である。

図４は、従来技術による空間的階層符号化のＩ、Ｐ、Ｂフレームの配列及び参照形態を示す概念図である。一般的に基本階層のＩフレームと向上階層のＩフレームとが同じ時間軸に存在するように配置し、Ｐ及びＢフレームも同じ時間軸に配置される。

一方、単一階層符号化方式でも空間的階層符号化方式でも一般的に最初の画面はＩフレームから符号化を始め、以後にはＰやＢに符号化して初めてビット率を減らすことができる。しかし、Ｐ及びＢフレームのみある場合には、一度エラーが生ずれば連続して画面が破られて復旧されず、ランダムアクセス時に復号化できない。したがって、中間にＩフレームを挿入するが、これをイントラリフレッシュという。普通１５フレームに一度イントラリフレッシュを行うが、１秒当たり３０フレームの速度を持つ動画では０．５秒までの遅延が発生する問題が生じる。これは放送だけでなく、保存された動画の再生時も同じ問題が生じる。

また、図４に表示された空間的階層符号化構造の問題点は、Ｉフレームが基本階層と向上階層との同じ時間軸に同時に存在するために、Ｉフレームが位置する時間軸でのビット率がかなり高くなる。一般的にＩ：Ｐ：Ｂのビット率の比が概略的に８：３：２になるのに対し、この場合は、基本階層と向上階層とのＩフレームが重畳するので、ビット率がＩフレームに偏重する結果をもたらすという問題がある。
米国特許第６，０５７，８８４号公報

前記問題点を鑑みてなされたものであり、本発明の目的は、基本階層Ｉフレームの反復周期を向上階層Ｉフレームの反復周期より短く設定することによって、動画サービスのランダムアクセスの遅延を最小化し、空間的階層符号化（ＳｐａｔｉａｌＳｃａｌａｂｌｅＣｏｄｉｎｇ）で生成されたビットストリームのビット率を平坦化するための、ランダムアクセスの遅延を最小化するビデオ符号化／復号化装置及び方法を提供するところにある。

前述した目的を達成するために、本発明によるランダムアクセスの遅延を最小化するビデオ符号化装置は、基本階層のイントラフレームの反復周期を向上階層のイントラフレームの反復周期より短く設定する符号化制御手段５４０と、前記設定された反復周期によって原画像を縮小し、かつ符号化して基本階層のビットストリームを生成する基本階層符号化手段５１０と、時間的に他の位置にある向上階層の画像及び前記基本階層のビットストリームを復号化した後、拡大した画像を参照して向上階層のビットストリームを生成する向上階層符号化手段５２０と、を備える。

望ましくは、本発明によるランダムアクセスの遅延を最小化するビデオ符号化装置は、前記設定された反復周期によって前記基本階層ビットストリームと前記向上階層ビットストリームとをマルチプレクシングするか、または優先順位を異ならせて復号化装置に伝送する伝送手段５３０をさらに含む。

また、前述した目的を達成するために、本発明によるランダムアクセスの遅延を最小化するビデオ復号化装置は、前記基本階層ビットストリームを復号化した後、原画像サイズに拡大する第１基本階層復号化手段６１０と、時間的に他の位置にある向上階層の画像及び前記復号化されて拡大された画像を参照して前記向上階層の画像を復号化する向上階層復号化手段６３０と、前記復号化された向上階層の画像のうちイントラフレームの再生時点以前には、前記復号化された基本階層の画像を拡大ディスプレイし、前記イントラフレームの再生時点からは前記復号化された向上階層の画像をディスプレイするように制御する復号化制御手段６４０と、を備える。望ましくは、前述した目的を達成するために、本発明によるランダムアクセスの遅延を最小化するビデオ復号化装置は、現在ディスプレイされる画面中にさらに他の画面をディスプレイするように、現在のチャンネルを除外した他チャンネルの基本階層の画像を同時に復号化する第２基本階層復号化手段６２０をさらに含む。

また、前述した目的を達成するために、本発明によるランダムアクセスの遅延を最小化するビデオ符号化方法は、基本階層のイントラフレームの反復周期を向上階層のイントラフレームの反復周期より短く設定する第１ステップと、前記設定された反復周期によって原画像を縮小し、かつ符号化して基本階層のビットストリームを生成する第２ステップと、時間的に他の位置にある向上階層の画像及び前記基本階層のビットストリームを復号化した後、拡大した画像を参照して向上階層のビットストリームを生成する第３ステップと、を備える。望ましくは、本発明によるランダムアクセスの遅延を最小化するビデオ符号化方法は、前記設定された反復周期によって前記基本階層ビットストリームと前記向上階層ビットストリームとをマルチプレクシングするか、または優先順位を異ならせて復号化装置に伝送する第４ステップをさらに含む。

また、前述した目的を達成するために、本発明によるランダムアクセスの遅延を最小化するビデオ復号化方法は、前記基本階層ビットストリームを復号化した後原画像サイズに拡大する第１ステップと、時間的に他の位置にある向上階層の画像及び前記復号化されて拡大された画像を参照して、向上階層の画像を復号化する第２ステップと、前記復号化された向上階層の画像のうち、イントラフレームの再生時点以前には前記復号化された基本階層の画像を拡大ディスプレイし、前記イントラフレームの再生時点からは前記復号化された向上階層の画像をディスプレイするように制御する第３ステップと、を備える。望ましくは、現在ディスプレイされる画面中にさらに他の画面をディスプレイするように、現在のチャンネルを除外した他チャンネルの基本階層の画像を同時に復号化する第４ステップをさらに含む。

本発明は、デジタルＴＶのような動画サービスで、基本階層のイントラフレームの反復周期を向上階層のイントラフレームの反復周期より短く設定することによって、ランダムアクセス時にビット率の増加を最小化しつつ遅延時間を最小化する効果がある。また、本発明によれば、向上階層のイントラフレームの時間的位置と基本階層のイントラフレームの時間的位置とを互いに不一致になるように設定することによって、ビット率がイントラフレームに集中してピークを形成することを防止してビット率の平坦化をもたらす効果がある。また、付随的効果として、ＰＩＰ画面の複雑度を１／４または数十分の１に減らすことによってＰＩＰを簡単に具現でき、無線網やインターネット網のように可用ビット率が可変的である場合、ネットワークの状況に合せて基本階層ストリームのみを伝送することもできる。

以下、本発明の望ましい実施形態について添付された図面を参照してさらに詳細に説明する。

図５は、本発明によるランダムアクセスの遅延を最小化するビデオ符号化装置を示すブロック図であり、図９は、本発明によるランダムアクセスの遅延を最小化するビデオ符号化方法を示すフローチャートである。

本発明で符号化方法の基本的な方式は、図２で説明した符号化方式に基づいている。しかし、ここでは、従来技術の空間的符号化方式と異なる点を中心に本発明の符号化方式を説明する。

まず、前記符号化制御手段５４０は、基本階層イントラフレームの反復周期を向上階層のイントラフレームの反復周期より短く設定する（Ｓ９１０）。なぜなら、前記基本階層を符号化する時、イントラリフレッシュを頻繁に行うほどランダムアクセスの遅延時間が短縮するためである。例えば、前記符号化制御手段５４０が、前記基本階層のイントラフレームの反復周期は３に、前記向上階層のイントラフレームの反復周期は１５に設定する場合、すなわち、基本階層では３フレームごとにイントラリフレッシュを行い、向上階層では１５フレームごとにイントラリフレッシュを行う場合、遅延時間は３／１５、すなわち、１／５に短縮する効果がある。

一方、前記符号化制御手段５４０は、前記向上階層のイントラフレームの時間的位置と前記基本階層のイントラフレームの時間的位置とを互いに不一致になるように設定せねばならない。一般的にＩ：Ｐ：Ｂフレームのビット率の比が概略的に８：３：２になるので、Ｉフレームが基本階層と向上階層との同一時間軸に存在する場合、Ｉフレームが位置する時間軸でのビット率がかなり高くなるので、ビット率がＩフレームに偏重する問題が発生する。ところが、前記向上階層のイントラフレームの時間的位置と前記基本階層のイントラフレームの時間的位置とを互いに不一致になるように設定すれば、このような問題を防止できる。図８は、従来技術による空間的階層符号化と、本発明によるビデオ符号化方式のビット率予想グラフとを比較した図面であるが、図８に示すように、本発明による場合、ビット率が相当部分低くなることが分かる。図８では、一つのＧＯＰでＩ：Ｐ：Ｂフレームのビット率の比を概略的に８：３：２にし、基本階層対向上階層のビット率を６０：４０にした。この時、一つのＧＯＰのビットの総和は２８になる。したがって、従来技術では最初のフレームであるＩフレームでのビットサイズは８であるが、本発明では約５．５のビットサイズを持つ。その結果、ピーク値を３０％程減らすことができる。

前記基本階層符号化手段５１０は、前記反復周期によって原画像を縮小して符号化して基本階層のビットストリームを生成する（Ｓ９２０）。この時、前記基本階層符号化手段５１０は、原画像の縮小比率を任意の値に定めることができるが、２：１、４：１または８：１に設定することが、計算の便利性及び発明の具現可能性の側面で望ましい。

前記向上階層符号化手段５２０は、時間的に他の位置にある向上階層の画像及び前記基本階層のビットストリームを復号化した後、拡大した画像を参照して向上階層のビットストリームを生成する（Ｓ９３０）。ここで、時間的に他の位置にある向上階層の画像とは、現在符号化しようとする向上階層の画像と時間的に他の位置にある向上階層の画像を符号化して復号化した後の画像を意味する。一般的に開ループ方式と閉ループ方式のうち閉ループ方式に従うためである。時間的に他の位置の画像を参照するということは、動き補償に基づいた時間的予測を行うという意味であり、基本階層のビットストリームを復号化した後、拡大した画像を参照するということは、イントラＢＬ予測を行うという意味である。

そして、前記伝送手段５３０は、前記設定された反復周期によって前記基本階層ビットストリームと前記向上階層ビットストリームとをマルチプレクシングするか、または優先順位を異ならせて復号化装置に伝送する（Ｓ９４０）。

図６は、本発明によるランダムアクセスの遅延を最小化するビデオ復号化装置を示すブロック図であり、図１０は、本発明によるランダムアクセスの遅延を最小化するビデオ復号化方法を示すフローチャートである。

前記第１基本階層復号化手段６１０は、前記伝送手段５３０から基本階層ビットストリームを受信して復号化した後、原画像サイズに拡大して前記向上階層復号化手段６３０に送る役割を行う（Ｓ１０１０）。拡大された基本階層の画像は、向上階層イントラ（ＥＩ、ＥｎｈａｎｃｅｄＩｎｔｒａ）フレームの復号化に使われるか、向上階層の損失隠匿時に使われる。

前記第１基本階層復号化手段６１０から伝送された前記向上階層復号化手段６３０は、時間的に他の位置にある向上階層の画像及び前記復号化されて拡大された基本階層の画像を参照して、現在の向上階層の画像を復号化する役割を行う（Ｓ１０２０）。

前記復号化制御手段６４０は、前記復号化された向上階層の画像のうちイントラフレームの再生時点以前には前記復号化された基本階層の画像を拡大してディスプレイし、これまで受信される向上階層ビットストリームは捨てるように制御する。そして、前記イントラフレームの再生時点からは、前記復号化された向上階層の画像を画面表示手段６５０がディスプレイされるように制御する（Ｓ１０３０）。また、前記復号化制御手段６４０は、前記向上階層のビットストリームのデータ損失時に、時間的に他の位置にある向上階層のフレーム情報を利用するか、または前記基本階層の拡大されたフレーム情報を利用して損失を隠匿するように制御できる。この場合、基本階層ビットストリームの重要度が向上階層より高いために、まず伝送されるので損失可能性が一般的に低い。したがって、単純でありつつ動きが多い部分では基本階層の画像を利用し、動きが少なくて複雑な部分は時間的に先んじた以前の向上階層画像を利用することが望ましい。

前記第２基本階層復号化手段６２０は、現在ディスプレイされる画面中にさらに他の画面をディスプレイするＰＩＰ（ピクチャインピクチャ）を具現するために、現在のチャンネルを除外した他チャンネルの基本階層の画像を同時に復号化した後、前記復号化制御手段６４０の制御により前記画面表示手段６５０に伝送する（Ｓ１０４０）。この場合、同時に見ることができる画面の数は制限がなく、主画面は向上階層まで復号化してディスプレイし、ＰＩＰの小さな画面は基本階層の画像のみ復号化してディスプレイする。

図７は、本発明によるランダムアクセスの遅延を最小化するビデオ符号化のＩ、Ｐ、Ｂフレームの配列及び参照形態を示す概念図である。下段の小さな四角形の列でＩ（イントラ）及びＰ（プレディクティブ）は、基本階層の符号化フレームを表し、上段の大きい四角形の列は、向上階層の符号化フレームを表す。ＥＩ（エンハンスメントイントラ）フレームを符号化する時には基本階層のＩフレームを参照する。本発明を使用せずに従来の技術によれば、ＧＯＰがランダムアクセスの遅延を決定するので、平均ＧＯＰ／２の時間ほど遅延が生じる。しかし、本発明を使用すれば、平均Ｎ／２ほどの遅延が生じるので、従来技術に比べてＮ／ＧＯＰほど割合に遅延が減る。すなわち、図７では、基本階層のイントラフレームの反復周期（Ｎ）は３であり、向上階層のイントラフレームの反復周期（ＧＯＰ）は９に設定した実施形態を示しているので、ランダムアクセスの遅延時間は３／９、すなわち、１／３に減る。

本発明は、ランダムアクセスの遅延を最小化するビデオ復号化／符号化装置の関連技術分野に好適に用いられる。

従来技術による単一階層符号化のＩ、Ｐ、Ｂフレームの配列及び参照形態を示す概念図である。従来技術による空間的階層符号化の過程を示すブロック図である。従来技術による空間的階層復号化の過程を示すブロック図である。従来技術による空間的階層符号化のＩ、Ｐ、Ｂフレームの配列及び参照形態を示す概念図である。本発明によるランダムアクセスの遅延を最小化するビデオ符号化装置を示すブロック図である。本発明によるランダムアクセスの遅延を最小化するビデオ復号化装置を示すブロック図である。本発明によるランダムアクセスの遅延を最小化するビデオ符号化のＩ、Ｐ、Ｂフレームの配列及び参照形態を示す概念図である。従来技術による空間的階層符号化と、本発明によるビデオ符号化方式のビット率予想グラフとを比較した図である。本発明によるランダムアクセスの遅延を最小化するビデオ符号化方法を示すフローチャートである。本発明によるランダムアクセスの遅延を最小化するビデオ復号化方法を示すフローチャートである。

符号の説明

５１０基本階層符号化手段
５２０向上階層符号化手段
５３０伝送手段
５４０符号化制御手段

Claims

基本階層のイントラフレームの反復周期を向上階層のイントラフレームの反復周期より短く設定する符号化制御手段と、
前記設定された反復周期によって原画像を縮小し、かつ符号化して基本階層のビットストリームを生成する基本階層符号化手段と、
時間的に他の位置にある向上階層の画像及び前記基本階層のビットストリームを復号化した後、拡大した画像を参照して向上階層のビットストリームを生成する向上階層符号化手段と、を含むランダムアクセスの遅延を最小化するビデオ符号化装置。
前記設定された反復周期によって前記基本階層ビットストリームと前記向上階層ビットストリームとをマルチプレクシングするか、または優先順位を異ならせて復号化装置に伝送する伝送手段をさらに含む請求項１に記載のランダムアクセスの遅延を最小化するビデオ符号化装置。
前記基本階層符号化手段は、原画像の縮小比率を２：１、４：１及び８：１のうちいずれか一つに設定する請求項１に記載のランダムアクセスの遅延を最小化するビデオ符号化装置。
前記符号化制御手段は、前記基本階層のイントラフレームの反復周期は３に、前記向上階層のイントラフレームの反復周期は１５に設定する請求項１に記載のランダムアクセスの遅延を最小化するビデオ符号化装置。
前記符号化制御手段は、前記向上階層のイントラフレームの時間的位置と前記基本階層のイントラフレームの時間的位置とを互いに不一致になるように設定する請求項１に記載のランダムアクセスの遅延を最小化するビデオ符号化装置。
前記基本階層ビットストリームを復号化した後、原画像サイズに拡大する第１基本階層復号化手段と、
時間的に他の位置にある向上階層の画像および前記復号化されて拡大された画像を参照して、前記向上階層の画像を復号化する向上階層復号化手段と、
前記復号化された向上階層の画像のうちイントラフレームの再生時点以前には、前記復号化された基本階層の画像を拡大ディスプレイし、前記イントラフレームの再生時点からは前記復号化された向上階層の画像をディスプレイするように制御する復号化制御手段と、を備えるランダムアクセスの遅延を最小化するビデオ復号化装置。
現在ディスプレイされる画面中にさらに他の画面をディスプレイするように、現在のチャンネルを除外した他チャンネルの基本階層の画像を同時に復号化する第２基本階層復号化手段をさらに含む請求項６に記載のランダムアクセスの遅延を最小化するビデオ復号化装置。
前記復号化制御手段は、前記向上階層のビットストリームのデータ損失時、前記基本階層の拡大された画像情報を利用して損失を隠匿するように制御する請求項６に記載のランダムアクセスの遅延を最小化するビデオ復号化装置。
前記復号化制御手段は、前記向上階層のビットストリームのデータ損失時、時間的に他の位置にある向上階層の画像情報を利用して損失を隠匿するように制御する請求項６に記載のランダムアクセスの遅延を最小化するビデオ復号化装置。
基本階層のイントラフレームの反復周期を向上階層のイントラフレームの反復周期より短く設定する第１ステップと、
前記設定された反復周期によって原画像を縮小し、かつ符号化して基本階層のビットストリームを生成する第２ステップと、
時間的に他の位置にある向上階層の画像及び前記基本階層のビットストリームを復号化した後、拡大した画像を参照して向上階層のビットストリームを生成する第３ステップと、を含むランダムアクセスの遅延を最小化するビデオ符号化方法。
前記設定された反復周期によって前記基本階層ビットストリームと前記向上階層ビットストリームとをマルチプレクシングするか、または優先順位を異ならせて復号化装置に伝送する第４ステップをさらに含む請求項１０に記載のランダムアクセスの遅延を最小化するビデオ符号化方法。
前記第１ステップは、前記基本階層のイントラフレームの反復周期は３に、前記向上階層のイントラフレームの反復周期は１５に設定するステップである請求項１０に記載のランダムアクセスの遅延を最小化するビデオ符号化方法。
前記第１ステップは、前記向上階層のイントラフレームの時間的位置と前記基本階層のイントラフレームの時間的位置とを互いに不一致になるように設定するステップである請求項１０に記載のランダムアクセスの遅延を最小化するビデオ符号化方法。
前記第２ステップは、原画像の縮小比率を２：１、４：１及び８：１のうちいずれか一つに設定するステップである請求項１０に記載のランダムアクセスの遅延を最小化するビデオ符号化方法。
前記基本階層ビットストリームを復号化した後原画像サイズに拡大する第１ステップと、
時間的に他の位置にある向上階層の画像及び前記復号化されて拡大された画像を参照して、向上階層の画像を復号化する第２ステップと、
前記復号化された向上階層の画像のうち、イントラフレームの再生時点以前には前記復号化された基本階層の画像を拡大ディスプレイし、前記イントラフレームの再生時点からは前記復号化された向上階層の画像をディスプレイするように制御する第３ステップと、を含むランダムアクセスの遅延を最小化するビデオ復号化方法。
現在ディスプレイされる画面中にさらに他の画面をディスプレイするように、現在のチャンネルを除外した他チャンネルの基本階層の画像を同時に復号化する第４ステップをさらに含む請求項１５に記載のランダムアクセスの遅延を最小化するビデオ復号化方法。
前記第３ステップは、前記向上階層のビットストリームのデータ損失時、前記基本階層の拡大された画像情報を利用して損失を隠匿するように制御するステップである請求項１５に記載のランダムアクセスの遅延を最小化するビデオ復号化方法。
前記第３ステップは、前記向上階層のビットストリームのデータ損失時、時間的に他の位置にある向上階層の画像情報を利用して損失を隠匿するように制御するステップである請求項１５に記載のランダムアクセスの遅延を最小化するビデオ復号化方法。