JP2004533134A - 予測モードのファイン・グラニュラリティ・スケーラビリティを提供するための方法および装置 - Google Patents
予測モードのファイン・グラニュラリティ・スケーラビリティを提供するための方法および装置 Download PDFInfo
- Publication number
- JP2004533134A JP2004533134A JP2002557130A JP2002557130A JP2004533134A JP 2004533134 A JP2004533134 A JP 2004533134A JP 2002557130 A JP2002557130 A JP 2002557130A JP 2002557130 A JP2002557130 A JP 2002557130A JP 2004533134 A JP2004533134 A JP 2004533134A
- Authority
- JP
- Japan
- Prior art keywords
- data body
- reconstructed data
- video sequence
- reconstructed
- generated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/164—Feedback from the receiver or from the transmission channel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
符号化プロセス中に、ビデオ・データを、量子化済みベース・レイヤと少なくとも２つのエンハンスメント・レイヤとのビットストリームとして表す。各レイヤ中の各ピクチャは、開始コードで識別される。ベース・レイヤと、それに加えて通信チャネルの帯域幅で送信できるいくつかのエンハンスメント・レイヤを、通信チャネル上で送る。
Description
【関連発明】
【０００１】
本件は、２００１年１月９日に出願された「Ｐｒｏｖｉｄｉｎｇ Ｐｒｅｄｉｃｔｉｏｎ Ｍｏｄｅ Ｆｉｎｅ Ｇｒａｎｕｌａｒｉｔｙ Ｓｃａｌａｂｉｌｉｔｙ」という名称の仮出願第＿号の利益を請求する非仮出願である。
【背景技術】
【０００２】
ビデオは主として一連の静止ピクチャであり、静止ピクチャは次々に高速で連続表示されて、動いているような錯覚を視聴者に与える。通信チャネルを介してビデオを送信できるようになる前に、アナログ・ビデオをディジタル形式に変換または「符号化」することが必要な場合がある。ディジタル形式では、ビデオ・データは「ビットストリーム」と呼ばれる一連のビットで構成される。ビットストリームが受信位置に到着すると、ビデオ・データは「復号」される。すなわち視聴可能な形式に再変換される。通信チャネルの帯域幅制約により、ビデオ・データは、通信チャネル上で送られる前にしばしば「圧縮」される。圧縮の結果、受信端ではピクチャ品質が劣化することがある。
【０００３】
品質の損失（劣化）を部分的に補償する圧縮技術の１つは、送信前にビデオ・データを「ベース・レイヤ」と１つまたは複数の「エンハンスメント・レイヤ」に分離するものである。ベース・レイヤは、ビデオ・シーケンスの大まかなバージョンを含み、比較的わずかな帯域幅を使用して送ることができる。各エンハンスメント・レイヤもわずかな帯域幅しか必要とせず、１つまたは複数のエンハンスメント・レイヤをベース・レイヤと同時に送ることができる。受信端では、復号プロセス中にベース・レイヤをエンハンスメント・レイヤと再結合することができる。エンハンスメント・レイヤは、ベース・レイヤに対する訂正を提供し、したがって出力ビデオの品質を改善する。より多くのエンハンスメント・レイヤを送信すればよりよい出力ビデオが生み出されるが、より多くの帯域幅が必要になる。
【０００４】
国際標準化機構のＭＰＥＧ標準など、いくつかの圧縮方法とファイル・フォーマットが標準化されている。例えば、広く使用されているビデオ圧縮標準の１つは、ＭＰＥＧ‐２と呼ばれるものである。ＭＰＥＧ標準で使用される圧縮技術では、ピクチャ自体ではなく個々のピクチャ間の変化を符号化する。このプロセスにより、帯域幅がかなり節約される。
【０００５】
添付の図面の各図に、本発明を限定ではなく例として示す。図において、同じ参照は同様の要素を示す。
【発明の開示】
【発明実施するための最良の形態】
【０００６】
図１は、ネットワークを介して配信されるビデオ・データが辿る一般的な経路を示すブロック図である。入力ビデオ信号１０がエンコーダ１２に供給され、エンコーダ１２は信号１０を、機械読取り可能な一連のビットすなわちビットストリームの形でビデオ・データに変換する。次いでこのビデオ・データは、ビデオ・データに対する要求があるまでサーバ１４に記憶される。サーバ１４がビデオ・データに対する要求を受け取ると、サーバ１４はこのデータを送信機１６に送り、送信機１６は、ネットワーク上の通信チャネル１８に沿ってデータを送る。受信機２０がデータを受け取り、これをビットストリームとしてデコーダ２２に送る。デコーダ２２は、受け取ったビットストリームを出力ビデオ信号２４に変換する。次いで、このビデオ信号は視聴することができる。
【０００７】
エンコーダ１２中で行われる符号化は、ＭＰＥＧ‐４などの損失し易い圧縮技術を伴う場合があり、ソース・ビデオ・シーケンスによって表される品質よりも低品質の視聴可能ビデオ・シーケンスを生成するデータ本体であるベース・レイヤが得られる。ベース・レイヤは、ビデオ・シーケンスの狭帯域幅バージョンを含む。ベース・レイヤが復号され視聴されたとすれば、ベース・レイヤは元のビデオの劣ったバージョンとして知覚されることになる。以下に述べる受信端でのエンハンスメント技術により、欠けているデータが補償され、円滑で見た目に美しい出力ビデオが生み出される。
【０００８】
エンハンスメント・レイヤは、量子化／切捨てが施されたベース・ビデオ・ピクチャと、量子化前の元の入力ビデオ・ピクチャとの差分を取り込むことができる。エンハンスメント・レイヤは、ベース・レイヤから生成される視聴可能ビデオ・シーケンスの品質を向上させる。受信端でベース・レイヤを単一のエンハンスメント・レイヤと結合すると、ビデオ・データに対する訂正および改善された出力ビデオが生み出される。追加のエンハンスメント・レイヤを結合すると、追加の訂正および追加の改善がもたらされる。受信端でベース・レイヤをすべてのエンハンスメント・レイヤと結合すると、元の入力ビデオとほぼ等しい品質のビデオ出力が得られる。
【０００９】
通常、各エンハンスメント・レイヤは、差分データの１つの「ビット・スライス」である。このような構成では、各ピクチャについての各エンハンスメント・レイヤは一連のビットからなる。エンハンスメント・レイヤは、第１のエンハンスメント・レイヤが最上位ビットを含み、第２のエンハンスメント・レイヤが次の上位ビットを含み、以下同様となるような順序で配置される。このことは、最も重要な訂正が第１のエンハンスメント・レイヤによって行われることを意味する。より多くのエンハンスメント・レイヤを結合することで、出力品質は改善され続ける。このようにして、様々な数のエンハンスメント・レイヤをベース・レイヤと結合することにより、出力ビデオの品質を「スケール」することができる。より少数または多数のエンハンスメント・レイヤを使用して出力ビデオの品質をスケールするプロセスは、「ファイン・グラニュラリティ・スケーラビリティ（Fine Granularity Scalability）またはＦＧＳと呼ばれる。ＦＧＳを利用して、一定範囲の品質の出力ビデオを生み出すことができる。
【００１０】
復号プロセス中にベース・レイヤとすべてのエンハンスメント・レイヤを結合すれば、入力ビデオとほぼ等しい品質のピクチャを有する出力ビデオが生み出されるが、通信チャネルの帯域幅制約のためこの結果を実現することができない場合がある。帯域幅制約により、すべてではなくいくつかのエンハンスメント・レイヤしかベース・レイヤと共に送信できないことがある。ＦＧＳでは、ベース・レイヤとエンハンスメント・レイヤをサーバのメモリに記憶することができる。次いで、特定のチャネルの帯域幅に適したいくつかのエンハンスメント・レイヤと共にベース・レイヤを送ることができる。一般に、チャネルの帯域幅が広いほど、より多くのエンハンスメント・レイヤをベース・レイヤと共に送ることができ、よりよい品質の出力ビデオ信号になる。
【００１１】
より多くのエンハンスメント・レイヤを有するデータをより広い帯域幅のチャネルによって受け取る視聴者は、より少ないエンハンスメント・レイヤを有するデータをより狭い帯域幅のチャネルによって受け取る視聴者よりもよい品質の出力ビデオを視聴できることになる。本明細書に述べる実施形態の利点の１つは、様々な帯域幅を有する様々なチャネルにビデオ・データを容易に適合させることができることである。
【００１２】
図２に、一連の入力ピクチャ３０を符号化し、かつ圧縮し、その結果としてビデオ・データのベース・レイヤ・ビットストリーム３２と１つまたは複数のエンハンスメント・レイヤのビットストリーム３４を得る一実施形態を例証する。ベース・レイヤ・ビットストリーム３２とエンハンスド・レイヤ・ビットストリーム３４とは、マルチプレクサ（Ｍｕｘ）３８によって単一の出力ビットストリーム３６に結合される。
【００１３】
標準的なビデオ符号化圧縮技術４０によってベース・レイヤを生み出すことができる。図２に示す符号化圧縮技術４０は、例示的なものであり、符号化と圧縮を達成する唯一の方法ではない。符号化と圧縮は、離散コサイン変換（ＤＣＴ）４２、量子化（Ｑ）４４、および可変長符号化（ＶＬＣ）４８を利用するものでよい。図２はまた、個々のピクチャ間の変化を符号化する技術も含む。この技術は、逆量子化（ＩＱ）５０、逆離散コサイン変換（ＩＤＣＴ）５２、動き推定からの動きベクトル（｛Ｍ．Ｖ．｝）５９を用いた動き補償（ＭＣ）５４、フレーム記憶５６、および、あるピクチャから次のピクチャへの変化を分離するために入力ピクチャ・ストリーム３０から前のピクチャ６２を引く減算６０を含む。
【００１４】
図２には、エンハンスメント・レイヤを生み出すことになる減算６４も示してある。エンハンスメント・レイヤは、量子化済みベース・ビデオ（再構築済みピクチャとも呼ばれる）と量子化前の入力ビデオとの差分に関する様々なビットを含む。図２で、各ピクチャに対応するエンハンスメント・レイヤは、個々のピクチャ自体に対する向上ではなく、個々のピクチャ間の変化に対する向上を表す。エンハンスメント・レイヤ・データが個々のエンハンスメント・レイヤに構成されるとき、第１のエンハンスメント・レイヤはエンハンスメント・データの最上位ビットを含み、第２のエンハンスメント・レイヤはエンハンスメント・データの次の上位ビットを含み、以下同様になる。これらのビット構成は「ビット・プレーン」と呼ばれることもあり、これらはビット・プレーン・スライサ７０によって生成することができる。ビット・プレーンを生み出す際、１つまたは複数の開始コードをマーカとしてビットストリームに挿入する。図２には、２つの開始コード７２、７６の挿入が示してある。開始コード７２によって「ビデオ・オブジェクト・プレーン」と呼ばれるビット・プレーンのグループをマークすることができ、また、開始コード７６をビット・プレーンＶＬＣ７４に挿入して各ビット・プレーンの開始をマークすることができる。開始コードを挿入してビット・プレーンをマークすることは、実質的に、ビットストリーム中のエンハンスメント・レイヤに対するマーカを表す。
【００１５】
開始コードは、ビデオ・データを復号するときに有用である。開始コードは、バイト整列した固有の連続バイトである。例えば、開始コードは４バイトからなるものとすることができ、最初の３バイトはピクチャ・データの開始を識別し（ピクチャ開始コード）、最後のバイトはデータを識別する（識別コード）。通常、ベース・レイヤ中の各ピクチャに対応する各エンハンスメント・レイヤを開始コードでマークすることができる。一実施形態では、各エンハンスメント・レイヤ中の各ピクチャもまた、開始コードでマークすることができる。開始コードがバイト整列していることで、パーサまたはその他のプロセッサは、ビットストリームを容易に検索し、開始コードを識別し、ビットストリームを容易に解析することができる。開始コードを使用することにより、ビットストリームをビデオ・データのベース・レイヤと２つ以上のエンハンスメント・データ・レイヤに解析することができる。
【００１６】
図３に、エンハンスメント・レイヤ・ビットストリームに挿入することのできる開始コードの例を示す。ビットストリームは、ビデオ・データがあることを識別するための開始コードを１つのビットストリーム内に複数有することができるが、特定のビデオ・シーケンスの開始は「ビデオ・オブジェクト・レイヤ」（ＶＯＬ）開始コード８０でマークすることができる。ＶＯＬ開始コード８０の後には「ビデオ・オブジェクト・プレーン」またはＶＯＰと呼ばれることがある一連のピクチャが続く。ＶＯＰは、実際のピクチャ・データを表すか、あるいは、あるピクチャから次のピクチャへの変化を表している。各ピクチャまたはＶＯＰは、ＶＯＰ開始コード８２でマークされる。ＶＯＰ開始コードは図２のビット・プレーン・スライサー７０で挿入される。加えて、各ピクチャの各エンハンスメント・レイヤは、「ビデオ・オブジェクト・ビット・プレーン」（ＶＯＢＰ）と呼ばれ、それ自体のＶＯＢＰ開始コード８４が与えられる。ＶＯＢＰ開始コード８４は、図２のビット・プレーンＶＬＣ７４で挿入することができる。
【００１７】
各ピクチャは、「スライス」と呼ばれるより小さい単位で構成され、各スライスには、それ自体のスライス開始コード８６が与えられる。スライスは、一般にピクチャの水平ストリップであり、マクロブロックなどの単位で構成されるものとすることができる。マクロブロックは一般に、１６×１６の正方形に配置された２５６個のピクチャ要素またはピクセルからなる。各マクロブロックも開始コードでマークされる。
【００１８】
各エンハンスメント・レイヤ中の各ピクチャに対する開始コードがない場合、個々のエンハンスメント・レイヤについてのデータを容易に回復できないことがある。コンピュータ・プロセッサは通常、特定のバイトが特定のピクチャについての第１データ・バイトであるかどうかを、データ・バイトをチェックすることによって決定することはできない。対照的に、バイト整列した開始コードの場合は、コンピュータ・プロセッサは特定のピクチャについてのデータがどこで開始し、この特定のピクチャについてのデータがどこで終了するかを素早く決定することができる。このようにして開始コードで、エンハンスメント・レイヤを容易に解析することができる。
【００１９】
圧縮されたビデオ・データはすべて、クライアントからデータの要求があるまでサーバなどのメモリ・デバイスに記憶しておくことができる。通常、クライアントは、ビデオ・データなどのリソースをサーバに要求するアプリケーションである。
【００２０】
図４に、サーバがビデオ・データをクライアントに提供するのに用いることのできる各ステップを示す。ベース・レイヤとエンハンスメント・レイヤとを含むビデオ・データをサーバのメモリに記憶する（９０）。クライアントが通信チャネルに沿ってビデオ・データをサーバに要求すると（９２）、サーバ中のプロセッサが、クライアントの通信チャネルの帯域幅の量を決定する（９４）。利用可能な帯域幅の量をサーバが確認することのできる方法としては多くの方法がある。ある方法は、クライアントから帯域幅情報を提供してもらうことである。サーバ中のプロセッサはさらに、利用可能な帯域幅内でいくつのエンハンスメント・レイヤをチャネルに沿って確実に送信できるかを決定する（９６）。
【００２１】
エンハンスメント・レイヤをいくつ送信できるかを決定した後、サーバは、クライアントに送るビデオ・データのビットストリームを準備する（９８）。送られるビットストリームは、ベース・レイヤと、利用可能チャネルの帯域幅までの１つまたは複数のエンハンスメント・レイヤを含む。サーバから送られるエンハンスメント・レイヤの数は整数である必要はない。このようにして、クライアントに送られるエンハンスメント・レイヤの数をクライアントの帯域幅に従って調整することにより、ビデオ送信にフレキシビリティが加わる。
【００２２】
ビットストリームを準備するために、サーバは、デマルチプレクサを使用してベース・レイヤ・データをエンハンスメント・レイヤ・データから分離し、次いでエンハンスメント・レイヤ・データを適した数のエンハンスメント・レイヤのビットストリームに解析する。解析には、符号化プロセス中に挿入された開始コードを使用することができる。エンハンスメント・レイヤ・ビット・プレーンは通常、最も重要なものから最も重要でないものの順に配置され、サーバは、これらのレイヤをその重要度の順に送る。送られたエンハンスメント・レイヤは、ベース・レイヤに対するより重要な訂正に相当し、送られなかったレイヤは、より重要でない訂正に相当する。ベース・レイヤと解析されたエンハンスメント・レイヤは、送信前に単一のビットストリームに多重化することができる。
【００２３】
図５に、通信チャネルを介してサーバから送られ、クライアントによって受け取られたビデオ・データを復号し、回復する方法を説明する。受信端で、デコーダへの入力は、ビデオ・データのビットストリーム１００を含む。ビデオ・データのビットストリーム１００は、ベース・レイヤ・データのビットストリーム１０２と、エンハンスメント・レイヤ・データのビットストリーム１０４に分離することができる。ビットストリームの分離にはデマルチプレクサ（Ｄｅｍｕｘ）１０６を使用することができる。
【００２４】
ベース・レイヤとエンハンスメント・レイヤは、異なる復号プロセス、すなわち「パイプライン」１１６、１１８にかけることができる。ベース・レイヤとエンハンスメント・レイヤの符号化が同一のステップを含まない場合があるのと同様に、復号プロセスにもいくつかの違いがある場合がある。
【００２５】
ベース・レイヤ復号パイプライン１１８では、ベース・レイヤを、可変長復号（ＶＬＤ）１２０、逆量子化（ＩＱ）１２２、逆走査（ＩＳ）１２４、および逆離散コサイン変換（ＩＤＣＴ）１２６にかけることができる。ＶＬＤ１２０、ＩＱ１２２、ＩＳ１２４、およびＩＤＣＴ１２６のオペレーションは、本質的に、図２に示した符号化中に行われたＶＬＣ４８、Ｑ４４，Ｓ４６、およびＤＣＴ４２のオペレーションを取り消す。復号されたベース・レイヤ・データを、次いで、動き補償器（ＭＣ）１３０中で処理することができる。ＭＣ１３０は、あるピクチャから次のピクチャへの変化に基づいて個々のピクチャを再構築することができる。前のピクチャまたは「参照」ピクチャ１３４からのデータを、「フレーム・バッファ」１３６と呼ばれる一時メモリ・ユニットに記憶し、参照として使用することができる。ＩＤＣＴ１２６からの復号済みデータをＭＣ１３０が使用して、シーケンス中の次のピクチャが前のピクチャからどれくらい変化しているかを決定することができる。ＩＤＣＴ１２６は無効なビデオ・データを生み出す場合があるので、「クリップ」機能１３２を使用してデータを調整する。例えば、有効なビデオ・データは０から２５５まで（２５５を含む）のいずれかの数とすることができ、０は黒色ピクセルを表し、２５５は白色ピクセルを表す。ＩＤＣＴオペレーション１２６が無効な負の数を返した場合、クリップ・オペレーション１３２は、このデータを０に設定して有効にすることができる。同様に、ＩＤＣＴオペレーション１２６が２５５よりも大きい数を返した場合、クリップ・オペレーション１３２は、このデータを２５５に設定することができる。ベース・レイヤ・パイプライン１１８の出力はベース・レイヤ・ビデオ・データ１３８である。図５に示す復号技術は例示的なものであり、復号を達成するための唯一の方法ではない。
【００２６】
エンハンスメント・レイヤのための復号パイプライン１１６は、ベース・レイヤ１１８のための復号パイプライン１１８とは異なる。エンハンスメント・レイヤ・ビットストリーム１０４は、各エンハンスメント・レイヤにつき１つのビットストリームとして、エンハンスメント・レイヤ・データの個々のビットストリーム１０８、１１０、１１２にさらに分離することができる。エンハンスメント・レイヤ・ビットストリームをエンハンスメント・レイヤ・データの個々のビットストリーム１０８、１１０、１１２に分離するには、前パーサ１１４を使用することができる。前パーサ１１４は、符号化プロセス中に挿入されたビット・プレーン開始コードを使用して事前解析を達成することができる。事前解析により、各エンハンスメント・レイヤ１０８、１１０、１１２についてのデータを並列に復号することができる。
【００２７】
図５では、単一のピクチャについて複数のエンハンスメント・レイヤ１０８、１１０、１１２を復号することが必要な場合がある。部分的なエンハンスメント・レイヤが送られた場合、これはデコーダへの別個の並列入力を形成する。図５では、Ｍ個のレイヤが並列で復号される。Ｍ番目すなわち最後のレイヤ１１２は、送信前にサーバによって切り捨てられたものである場合もあり、完全なレイヤである必要はない。各エンハンスメント・レイヤを、ＶＬＤプロセス１４０とＩＳプロセス１４２にかける。符号化時に量子化が必要でなかった場合があるので、復号中にもエンハンスメント・レイヤのためのＩＱが必要でない場合がある。
【００２８】
ＩＳプロセス１４２の後、エンハンスド・レイヤをビット・プレーン・アキュムレータ１４４中で累算することができる。ビット・プレーン・アキュムレータ１４４は、各ビット・プレーンごとに最上位ビットをその正しい位置に配置し、次の上位ビットをその位置に配置し、以下同様にする。すべてよりも少ないエンハンスメント・レイヤがサーバから送られた場合は、ビット・プレーンが完全に埋められず、ビット・プレーン中のいくらかのデータが不確定である場合がある。ビット・プレーンを埋めるためのいくつかのルーチンを利用することができる。例えば、最下位ビットのための場所を単にランダム・ノイズで埋めることができる。次いで、ビット・プレーンはＩＤＣＴオペレーション１４６を受ける。
【００２９】
エンハンスメント・レイヤ・パイプライン１１６からの出力１５０は訂正を表しており、訂正は次いでベース・レイヤ・ビデオ１３８と合計される（１５２）。合計オペレーションからの出力１５６は、クリップ機能１４８にかけて範囲外のデータを除去することができる。クリップ機能１４８からの出力１５４は、チャネル帯域幅によって許容される程度まで向上され視聴できるようになったピクチャの最終バージョンである。このピクチャを、フレーム・バッファ１３６に記憶し、後続のピクチャに対する参照１３４として役立てることができる。通常のビューアは、フレーム・バッファ１３６からデータを読み出すことになり、フレーム・バッファ１３６は、間断のないビデオ・ピクチャ・データのストリームをビューアに提供することができる。
【００３０】
図５に示すデコーダは例示的なものである。図５に示すオペレーションのいくつかは線形であり、異なる順序で行うこともできる。例えば、ベース・レイヤとエンハンスメント・レイヤの加算は、ＩＤＣＴオペレーション１２６、１４６の前に行うこともできる。さらに代替の一実施形態では、エンハンスメント・レイヤにおけるオペレーションの多くは、並列ではなく直列で行うこともできる。
【００３１】
一実施形態では、エンハンスメント・レイヤは代替ＦＧＳを使用して生成される。前述のＦＧＳと同様、この代替ＦＧＳ符号化方式もまた、ビデオ・データ・フレームを比較的低品質のビデオのベース・レイヤと、だんだん高品質になるビデオの任意にスケール可能な複数のエンハンスメント・ビット・プレーン・レイヤとに符号化する。違いの１つは、代替ＦＧＳでは、何らかのエンハンスメント・レイヤ符号化のためにより高品質の参照（例えば前のエンハンスメント・フレーム）を使用して符号化効率を上げることである。より高品質の参照によって、より正確な動き補償をもたらすことができる。
【００３２】
一実施形態では、図６に示すように、下位エンハンスメント・レイヤ６８０に予測モード６７８が追加される。具体的には、予測モード６７８により、エンハンスメント・レイヤにおける入力ビデオ（マクロブロック）の減算を予測することができる（すなわち、複数の参照のうちの１つから、入力ビデオと前に処理された（例えば量子化された）ビデオとの差分を生成することができる）。
【００３３】
一実施形態では、図６に示すように、異なる３つの予測モードがある。すなわち、１）現在の再構築済みベース・レイヤ６８２からの予測（現在の再構築済みベース・レイヤを使用すると誤差ドリフトを低減することができる）、２）前のエンハンスメント・フレーム６８４からの予測（場面によっては、この動き予測されたエンハンスメント・レイヤからより高品質の参照がもたらされる。したがってこのモードを用いて剰余を低減し符号化効率を上げる）、および３）前のエンハンスメント・フレームと現在の再構築済みベース・レイヤ６８６との結合６８６（例えばこの２つの参照の平均、またはこの別個の２つの参照のその他何らかの結合）からの予測である。
【００３４】
一実施形態では、予測モードの選択は、入力ビデオのサブセクション（例えばマクロブロック）を、前のエンハンスメント・フレームのサブセクション６８４、現在の再構築済みベース・レイヤ６８２、かつ／または、前のエンハンスメント・フレームと現在の再構築済みベース・レイヤとの結合と比較することによって適応的に行う。この比較に基づいて予測モードを選択することができる。一実施形態では、入力ビデオに最も近い参照を選択することになる。というのは、符号化する差分がより少なくなるからである。一実施形態では、近さの尺度は、ピクセル・ブロック間で異なる絶対値の合計に基づく。一実施形態では、誤差ドリフトを低減するため周期的に、予測モードの選択は常に現在の再構築済みベース・レイヤからの予測となる。
【００３５】
さらに一実施形態では、再構築済みデータ本体の選択は、エンコーダからデコーダに送られるビットストリームのシンタックス中で示される。あるいは、予測モードにおける再構築済みデータ本体の選択は、再構築済みベース・レイヤや再構築済みエンハンスド・レイヤとは別に、エンコーダからデコーダに送ることもできる。さらに、第１の動きベクトルのセットを使用して第１の再構築済みデータ本体が生成され、この第１の動きベクトルのセットを使用して第２の再構築済みデータ本体も生成される。
【００３６】
加えて、図６にさらに示すように一実施形態では、前のエンハンスメント・フレーム６８４は、前述のように空間領域再構築およびクリッピング６９０にかけられた後で、予測モードによって受け取られる。また、現在の再構築済みベース・レイヤ６８２も、空間領域再構築およびクリッピング６８８にかけられた後で予測モードによって受け取られる。クリッピングする結果、エンコーダとデコーダの複雑さを低減することができる。
【００３７】
図７に、復号されるエンハンスメント・レイヤにどの参照を追加するかを決定するための予測モードを備えるデコーダを示す。図示のように予測モードは、現在の復号済みベース・レイヤ７８２、前の復号済みエンハンスメント・フレーム７８４、および／または、前の復号済みエンハンスメント・フレームと現在の復号済みベース・レイヤとの結合７８６から選択することができる。
【００３８】
図７にさらに示すように、一実施形態では、前の復号済みエンハンスメント・フレーム７８４は、前述のように空間領域再構築およびクリッピング７９０にかけられた後でデコーダ予測モード７７８によって受け取られる。また、現在の復号済みベース・レイヤ７８２も、空間領域再構築およびクリッピング７８８にかけられた後で予測モードによって受け取られる。
【００３９】
前述の方法、エンコーダ、およびデコーダは、実行される命令のセットとしてコンピュータ・システム（例えばセット・トップ・ボックス、ビデオ・レコーダなど）のメモリに記憶することができる。加えて、前述の方法、エンコーダ、およびデコーダを実施するための命令は、別法として、磁気ディスクや光ディスクを含めた他の形の機械可読媒体に記憶することもできる。例えば本発明の方法は、磁気ディスクや光ディスクなど、ディスク・ドライブ（またはコンピュータ可読媒体ドライブ）を介してアクセス可能な機械可読媒体に記憶することができる。さらに命令は、コンパイルされ、リンクされたバージョンの形でネットワークを介してコンピューティング・デバイスにダウンロードすることもできる。
【００４０】
あるいは、以上に論じた方法、エンコーダ、およびデコーダを実施するためのロジックは、大規模集積回路（ＬＳＩ）、特定用途向け集積回路（ＡＳＩＣ）、電気的消去可能プログラマブル読出し専用メモリ（ＥＥＰＲＯＭ）などのファームウェア等、離散ハードウェア・コンポーネントなどの追加のコンピュータおよび／または機械可読媒体に実装することもでき、また、電気、光、音響、およびその他の形の伝搬信号（例えば搬送波、赤外線信号、ディジタル信号など）に実装することもできる。さらに、前述のエンコーダおよびデコーダは、グラフィックス・コントローラ（チップセット・デバイスに統合される場合とそうでない場合がある）など、同じハードウェア・コンポーネントに実装することができる。
【００４１】
本発明を特定の例示的な実施形態に関して述べたが、本発明のより広範な趣旨および範囲を逸脱することなく、これらの実施形態に様々な修正および変更を加えることができることは明白であろう。したがって、本明細書および図面は、限定的な意味ではなく例示的な意味で考えるべきである。
【図面の簡単な説明】
【００４２】
【図１】ビデオ信号の経路を示す機能ブロック図である。
【図２】ビデオの符号化と圧縮を示すブロック図である。
【図３】ビットストリーム中のエンハンスメント・レイヤ・データを階層的に表す図である。
【図４】サーバが実施するステップを示すフロー・チャートである。
【図５】ビデオの復号を示すブロック図である。
【図６】一実施形態によるビデオの符号化と圧縮を示すブロック図である。
【図７】一実施形態によるビデオの復号を示すブロック図である。
【０００１】
本件は、２００１年１月９日に出願された「Ｐｒｏｖｉｄｉｎｇ Ｐｒｅｄｉｃｔｉｏｎ Ｍｏｄｅ Ｆｉｎｅ Ｇｒａｎｕｌａｒｉｔｙ Ｓｃａｌａｂｉｌｉｔｙ」という名称の仮出願第＿号の利益を請求する非仮出願である。
【背景技術】
【０００２】
ビデオは主として一連の静止ピクチャであり、静止ピクチャは次々に高速で連続表示されて、動いているような錯覚を視聴者に与える。通信チャネルを介してビデオを送信できるようになる前に、アナログ・ビデオをディジタル形式に変換または「符号化」することが必要な場合がある。ディジタル形式では、ビデオ・データは「ビットストリーム」と呼ばれる一連のビットで構成される。ビットストリームが受信位置に到着すると、ビデオ・データは「復号」される。すなわち視聴可能な形式に再変換される。通信チャネルの帯域幅制約により、ビデオ・データは、通信チャネル上で送られる前にしばしば「圧縮」される。圧縮の結果、受信端ではピクチャ品質が劣化することがある。
【０００３】
品質の損失（劣化）を部分的に補償する圧縮技術の１つは、送信前にビデオ・データを「ベース・レイヤ」と１つまたは複数の「エンハンスメント・レイヤ」に分離するものである。ベース・レイヤは、ビデオ・シーケンスの大まかなバージョンを含み、比較的わずかな帯域幅を使用して送ることができる。各エンハンスメント・レイヤもわずかな帯域幅しか必要とせず、１つまたは複数のエンハンスメント・レイヤをベース・レイヤと同時に送ることができる。受信端では、復号プロセス中にベース・レイヤをエンハンスメント・レイヤと再結合することができる。エンハンスメント・レイヤは、ベース・レイヤに対する訂正を提供し、したがって出力ビデオの品質を改善する。より多くのエンハンスメント・レイヤを送信すればよりよい出力ビデオが生み出されるが、より多くの帯域幅が必要になる。
【０００４】
国際標準化機構のＭＰＥＧ標準など、いくつかの圧縮方法とファイル・フォーマットが標準化されている。例えば、広く使用されているビデオ圧縮標準の１つは、ＭＰＥＧ‐２と呼ばれるものである。ＭＰＥＧ標準で使用される圧縮技術では、ピクチャ自体ではなく個々のピクチャ間の変化を符号化する。このプロセスにより、帯域幅がかなり節約される。
【０００５】
添付の図面の各図に、本発明を限定ではなく例として示す。図において、同じ参照は同様の要素を示す。
【発明の開示】
【発明実施するための最良の形態】
【０００６】
図１は、ネットワークを介して配信されるビデオ・データが辿る一般的な経路を示すブロック図である。入力ビデオ信号１０がエンコーダ１２に供給され、エンコーダ１２は信号１０を、機械読取り可能な一連のビットすなわちビットストリームの形でビデオ・データに変換する。次いでこのビデオ・データは、ビデオ・データに対する要求があるまでサーバ１４に記憶される。サーバ１４がビデオ・データに対する要求を受け取ると、サーバ１４はこのデータを送信機１６に送り、送信機１６は、ネットワーク上の通信チャネル１８に沿ってデータを送る。受信機２０がデータを受け取り、これをビットストリームとしてデコーダ２２に送る。デコーダ２２は、受け取ったビットストリームを出力ビデオ信号２４に変換する。次いで、このビデオ信号は視聴することができる。
【０００７】
エンコーダ１２中で行われる符号化は、ＭＰＥＧ‐４などの損失し易い圧縮技術を伴う場合があり、ソース・ビデオ・シーケンスによって表される品質よりも低品質の視聴可能ビデオ・シーケンスを生成するデータ本体であるベース・レイヤが得られる。ベース・レイヤは、ビデオ・シーケンスの狭帯域幅バージョンを含む。ベース・レイヤが復号され視聴されたとすれば、ベース・レイヤは元のビデオの劣ったバージョンとして知覚されることになる。以下に述べる受信端でのエンハンスメント技術により、欠けているデータが補償され、円滑で見た目に美しい出力ビデオが生み出される。
【０００８】
エンハンスメント・レイヤは、量子化／切捨てが施されたベース・ビデオ・ピクチャと、量子化前の元の入力ビデオ・ピクチャとの差分を取り込むことができる。エンハンスメント・レイヤは、ベース・レイヤから生成される視聴可能ビデオ・シーケンスの品質を向上させる。受信端でベース・レイヤを単一のエンハンスメント・レイヤと結合すると、ビデオ・データに対する訂正および改善された出力ビデオが生み出される。追加のエンハンスメント・レイヤを結合すると、追加の訂正および追加の改善がもたらされる。受信端でベース・レイヤをすべてのエンハンスメント・レイヤと結合すると、元の入力ビデオとほぼ等しい品質のビデオ出力が得られる。
【０００９】
通常、各エンハンスメント・レイヤは、差分データの１つの「ビット・スライス」である。このような構成では、各ピクチャについての各エンハンスメント・レイヤは一連のビットからなる。エンハンスメント・レイヤは、第１のエンハンスメント・レイヤが最上位ビットを含み、第２のエンハンスメント・レイヤが次の上位ビットを含み、以下同様となるような順序で配置される。このことは、最も重要な訂正が第１のエンハンスメント・レイヤによって行われることを意味する。より多くのエンハンスメント・レイヤを結合することで、出力品質は改善され続ける。このようにして、様々な数のエンハンスメント・レイヤをベース・レイヤと結合することにより、出力ビデオの品質を「スケール」することができる。より少数または多数のエンハンスメント・レイヤを使用して出力ビデオの品質をスケールするプロセスは、「ファイン・グラニュラリティ・スケーラビリティ（Fine Granularity Scalability）またはＦＧＳと呼ばれる。ＦＧＳを利用して、一定範囲の品質の出力ビデオを生み出すことができる。
【００１０】
復号プロセス中にベース・レイヤとすべてのエンハンスメント・レイヤを結合すれば、入力ビデオとほぼ等しい品質のピクチャを有する出力ビデオが生み出されるが、通信チャネルの帯域幅制約のためこの結果を実現することができない場合がある。帯域幅制約により、すべてではなくいくつかのエンハンスメント・レイヤしかベース・レイヤと共に送信できないことがある。ＦＧＳでは、ベース・レイヤとエンハンスメント・レイヤをサーバのメモリに記憶することができる。次いで、特定のチャネルの帯域幅に適したいくつかのエンハンスメント・レイヤと共にベース・レイヤを送ることができる。一般に、チャネルの帯域幅が広いほど、より多くのエンハンスメント・レイヤをベース・レイヤと共に送ることができ、よりよい品質の出力ビデオ信号になる。
【００１１】
より多くのエンハンスメント・レイヤを有するデータをより広い帯域幅のチャネルによって受け取る視聴者は、より少ないエンハンスメント・レイヤを有するデータをより狭い帯域幅のチャネルによって受け取る視聴者よりもよい品質の出力ビデオを視聴できることになる。本明細書に述べる実施形態の利点の１つは、様々な帯域幅を有する様々なチャネルにビデオ・データを容易に適合させることができることである。
【００１２】
図２に、一連の入力ピクチャ３０を符号化し、かつ圧縮し、その結果としてビデオ・データのベース・レイヤ・ビットストリーム３２と１つまたは複数のエンハンスメント・レイヤのビットストリーム３４を得る一実施形態を例証する。ベース・レイヤ・ビットストリーム３２とエンハンスド・レイヤ・ビットストリーム３４とは、マルチプレクサ（Ｍｕｘ）３８によって単一の出力ビットストリーム３６に結合される。
【００１３】
標準的なビデオ符号化圧縮技術４０によってベース・レイヤを生み出すことができる。図２に示す符号化圧縮技術４０は、例示的なものであり、符号化と圧縮を達成する唯一の方法ではない。符号化と圧縮は、離散コサイン変換（ＤＣＴ）４２、量子化（Ｑ）４４、および可変長符号化（ＶＬＣ）４８を利用するものでよい。図２はまた、個々のピクチャ間の変化を符号化する技術も含む。この技術は、逆量子化（ＩＱ）５０、逆離散コサイン変換（ＩＤＣＴ）５２、動き推定からの動きベクトル（｛Ｍ．Ｖ．｝）５９を用いた動き補償（ＭＣ）５４、フレーム記憶５６、および、あるピクチャから次のピクチャへの変化を分離するために入力ピクチャ・ストリーム３０から前のピクチャ６２を引く減算６０を含む。
【００１４】
図２には、エンハンスメント・レイヤを生み出すことになる減算６４も示してある。エンハンスメント・レイヤは、量子化済みベース・ビデオ（再構築済みピクチャとも呼ばれる）と量子化前の入力ビデオとの差分に関する様々なビットを含む。図２で、各ピクチャに対応するエンハンスメント・レイヤは、個々のピクチャ自体に対する向上ではなく、個々のピクチャ間の変化に対する向上を表す。エンハンスメント・レイヤ・データが個々のエンハンスメント・レイヤに構成されるとき、第１のエンハンスメント・レイヤはエンハンスメント・データの最上位ビットを含み、第２のエンハンスメント・レイヤはエンハンスメント・データの次の上位ビットを含み、以下同様になる。これらのビット構成は「ビット・プレーン」と呼ばれることもあり、これらはビット・プレーン・スライサ７０によって生成することができる。ビット・プレーンを生み出す際、１つまたは複数の開始コードをマーカとしてビットストリームに挿入する。図２には、２つの開始コード７２、７６の挿入が示してある。開始コード７２によって「ビデオ・オブジェクト・プレーン」と呼ばれるビット・プレーンのグループをマークすることができ、また、開始コード７６をビット・プレーンＶＬＣ７４に挿入して各ビット・プレーンの開始をマークすることができる。開始コードを挿入してビット・プレーンをマークすることは、実質的に、ビットストリーム中のエンハンスメント・レイヤに対するマーカを表す。
【００１５】
開始コードは、ビデオ・データを復号するときに有用である。開始コードは、バイト整列した固有の連続バイトである。例えば、開始コードは４バイトからなるものとすることができ、最初の３バイトはピクチャ・データの開始を識別し（ピクチャ開始コード）、最後のバイトはデータを識別する（識別コード）。通常、ベース・レイヤ中の各ピクチャに対応する各エンハンスメント・レイヤを開始コードでマークすることができる。一実施形態では、各エンハンスメント・レイヤ中の各ピクチャもまた、開始コードでマークすることができる。開始コードがバイト整列していることで、パーサまたはその他のプロセッサは、ビットストリームを容易に検索し、開始コードを識別し、ビットストリームを容易に解析することができる。開始コードを使用することにより、ビットストリームをビデオ・データのベース・レイヤと２つ以上のエンハンスメント・データ・レイヤに解析することができる。
【００１６】
図３に、エンハンスメント・レイヤ・ビットストリームに挿入することのできる開始コードの例を示す。ビットストリームは、ビデオ・データがあることを識別するための開始コードを１つのビットストリーム内に複数有することができるが、特定のビデオ・シーケンスの開始は「ビデオ・オブジェクト・レイヤ」（ＶＯＬ）開始コード８０でマークすることができる。ＶＯＬ開始コード８０の後には「ビデオ・オブジェクト・プレーン」またはＶＯＰと呼ばれることがある一連のピクチャが続く。ＶＯＰは、実際のピクチャ・データを表すか、あるいは、あるピクチャから次のピクチャへの変化を表している。各ピクチャまたはＶＯＰは、ＶＯＰ開始コード８２でマークされる。ＶＯＰ開始コードは図２のビット・プレーン・スライサー７０で挿入される。加えて、各ピクチャの各エンハンスメント・レイヤは、「ビデオ・オブジェクト・ビット・プレーン」（ＶＯＢＰ）と呼ばれ、それ自体のＶＯＢＰ開始コード８４が与えられる。ＶＯＢＰ開始コード８４は、図２のビット・プレーンＶＬＣ７４で挿入することができる。
【００１７】
各ピクチャは、「スライス」と呼ばれるより小さい単位で構成され、各スライスには、それ自体のスライス開始コード８６が与えられる。スライスは、一般にピクチャの水平ストリップであり、マクロブロックなどの単位で構成されるものとすることができる。マクロブロックは一般に、１６×１６の正方形に配置された２５６個のピクチャ要素またはピクセルからなる。各マクロブロックも開始コードでマークされる。
【００１８】
各エンハンスメント・レイヤ中の各ピクチャに対する開始コードがない場合、個々のエンハンスメント・レイヤについてのデータを容易に回復できないことがある。コンピュータ・プロセッサは通常、特定のバイトが特定のピクチャについての第１データ・バイトであるかどうかを、データ・バイトをチェックすることによって決定することはできない。対照的に、バイト整列した開始コードの場合は、コンピュータ・プロセッサは特定のピクチャについてのデータがどこで開始し、この特定のピクチャについてのデータがどこで終了するかを素早く決定することができる。このようにして開始コードで、エンハンスメント・レイヤを容易に解析することができる。
【００１９】
圧縮されたビデオ・データはすべて、クライアントからデータの要求があるまでサーバなどのメモリ・デバイスに記憶しておくことができる。通常、クライアントは、ビデオ・データなどのリソースをサーバに要求するアプリケーションである。
【００２０】
図４に、サーバがビデオ・データをクライアントに提供するのに用いることのできる各ステップを示す。ベース・レイヤとエンハンスメント・レイヤとを含むビデオ・データをサーバのメモリに記憶する（９０）。クライアントが通信チャネルに沿ってビデオ・データをサーバに要求すると（９２）、サーバ中のプロセッサが、クライアントの通信チャネルの帯域幅の量を決定する（９４）。利用可能な帯域幅の量をサーバが確認することのできる方法としては多くの方法がある。ある方法は、クライアントから帯域幅情報を提供してもらうことである。サーバ中のプロセッサはさらに、利用可能な帯域幅内でいくつのエンハンスメント・レイヤをチャネルに沿って確実に送信できるかを決定する（９６）。
【００２１】
エンハンスメント・レイヤをいくつ送信できるかを決定した後、サーバは、クライアントに送るビデオ・データのビットストリームを準備する（９８）。送られるビットストリームは、ベース・レイヤと、利用可能チャネルの帯域幅までの１つまたは複数のエンハンスメント・レイヤを含む。サーバから送られるエンハンスメント・レイヤの数は整数である必要はない。このようにして、クライアントに送られるエンハンスメント・レイヤの数をクライアントの帯域幅に従って調整することにより、ビデオ送信にフレキシビリティが加わる。
【００２２】
ビットストリームを準備するために、サーバは、デマルチプレクサを使用してベース・レイヤ・データをエンハンスメント・レイヤ・データから分離し、次いでエンハンスメント・レイヤ・データを適した数のエンハンスメント・レイヤのビットストリームに解析する。解析には、符号化プロセス中に挿入された開始コードを使用することができる。エンハンスメント・レイヤ・ビット・プレーンは通常、最も重要なものから最も重要でないものの順に配置され、サーバは、これらのレイヤをその重要度の順に送る。送られたエンハンスメント・レイヤは、ベース・レイヤに対するより重要な訂正に相当し、送られなかったレイヤは、より重要でない訂正に相当する。ベース・レイヤと解析されたエンハンスメント・レイヤは、送信前に単一のビットストリームに多重化することができる。
【００２３】
図５に、通信チャネルを介してサーバから送られ、クライアントによって受け取られたビデオ・データを復号し、回復する方法を説明する。受信端で、デコーダへの入力は、ビデオ・データのビットストリーム１００を含む。ビデオ・データのビットストリーム１００は、ベース・レイヤ・データのビットストリーム１０２と、エンハンスメント・レイヤ・データのビットストリーム１０４に分離することができる。ビットストリームの分離にはデマルチプレクサ（Ｄｅｍｕｘ）１０６を使用することができる。
【００２４】
ベース・レイヤとエンハンスメント・レイヤは、異なる復号プロセス、すなわち「パイプライン」１１６、１１８にかけることができる。ベース・レイヤとエンハンスメント・レイヤの符号化が同一のステップを含まない場合があるのと同様に、復号プロセスにもいくつかの違いがある場合がある。
【００２５】
ベース・レイヤ復号パイプライン１１８では、ベース・レイヤを、可変長復号（ＶＬＤ）１２０、逆量子化（ＩＱ）１２２、逆走査（ＩＳ）１２４、および逆離散コサイン変換（ＩＤＣＴ）１２６にかけることができる。ＶＬＤ１２０、ＩＱ１２２、ＩＳ１２４、およびＩＤＣＴ１２６のオペレーションは、本質的に、図２に示した符号化中に行われたＶＬＣ４８、Ｑ４４，Ｓ４６、およびＤＣＴ４２のオペレーションを取り消す。復号されたベース・レイヤ・データを、次いで、動き補償器（ＭＣ）１３０中で処理することができる。ＭＣ１３０は、あるピクチャから次のピクチャへの変化に基づいて個々のピクチャを再構築することができる。前のピクチャまたは「参照」ピクチャ１３４からのデータを、「フレーム・バッファ」１３６と呼ばれる一時メモリ・ユニットに記憶し、参照として使用することができる。ＩＤＣＴ１２６からの復号済みデータをＭＣ１３０が使用して、シーケンス中の次のピクチャが前のピクチャからどれくらい変化しているかを決定することができる。ＩＤＣＴ１２６は無効なビデオ・データを生み出す場合があるので、「クリップ」機能１３２を使用してデータを調整する。例えば、有効なビデオ・データは０から２５５まで（２５５を含む）のいずれかの数とすることができ、０は黒色ピクセルを表し、２５５は白色ピクセルを表す。ＩＤＣＴオペレーション１２６が無効な負の数を返した場合、クリップ・オペレーション１３２は、このデータを０に設定して有効にすることができる。同様に、ＩＤＣＴオペレーション１２６が２５５よりも大きい数を返した場合、クリップ・オペレーション１３２は、このデータを２５５に設定することができる。ベース・レイヤ・パイプライン１１８の出力はベース・レイヤ・ビデオ・データ１３８である。図５に示す復号技術は例示的なものであり、復号を達成するための唯一の方法ではない。
【００２６】
エンハンスメント・レイヤのための復号パイプライン１１６は、ベース・レイヤ１１８のための復号パイプライン１１８とは異なる。エンハンスメント・レイヤ・ビットストリーム１０４は、各エンハンスメント・レイヤにつき１つのビットストリームとして、エンハンスメント・レイヤ・データの個々のビットストリーム１０８、１１０、１１２にさらに分離することができる。エンハンスメント・レイヤ・ビットストリームをエンハンスメント・レイヤ・データの個々のビットストリーム１０８、１１０、１１２に分離するには、前パーサ１１４を使用することができる。前パーサ１１４は、符号化プロセス中に挿入されたビット・プレーン開始コードを使用して事前解析を達成することができる。事前解析により、各エンハンスメント・レイヤ１０８、１１０、１１２についてのデータを並列に復号することができる。
【００２７】
図５では、単一のピクチャについて複数のエンハンスメント・レイヤ１０８、１１０、１１２を復号することが必要な場合がある。部分的なエンハンスメント・レイヤが送られた場合、これはデコーダへの別個の並列入力を形成する。図５では、Ｍ個のレイヤが並列で復号される。Ｍ番目すなわち最後のレイヤ１１２は、送信前にサーバによって切り捨てられたものである場合もあり、完全なレイヤである必要はない。各エンハンスメント・レイヤを、ＶＬＤプロセス１４０とＩＳプロセス１４２にかける。符号化時に量子化が必要でなかった場合があるので、復号中にもエンハンスメント・レイヤのためのＩＱが必要でない場合がある。
【００２８】
ＩＳプロセス１４２の後、エンハンスド・レイヤをビット・プレーン・アキュムレータ１４４中で累算することができる。ビット・プレーン・アキュムレータ１４４は、各ビット・プレーンごとに最上位ビットをその正しい位置に配置し、次の上位ビットをその位置に配置し、以下同様にする。すべてよりも少ないエンハンスメント・レイヤがサーバから送られた場合は、ビット・プレーンが完全に埋められず、ビット・プレーン中のいくらかのデータが不確定である場合がある。ビット・プレーンを埋めるためのいくつかのルーチンを利用することができる。例えば、最下位ビットのための場所を単にランダム・ノイズで埋めることができる。次いで、ビット・プレーンはＩＤＣＴオペレーション１４６を受ける。
【００２９】
エンハンスメント・レイヤ・パイプライン１１６からの出力１５０は訂正を表しており、訂正は次いでベース・レイヤ・ビデオ１３８と合計される（１５２）。合計オペレーションからの出力１５６は、クリップ機能１４８にかけて範囲外のデータを除去することができる。クリップ機能１４８からの出力１５４は、チャネル帯域幅によって許容される程度まで向上され視聴できるようになったピクチャの最終バージョンである。このピクチャを、フレーム・バッファ１３６に記憶し、後続のピクチャに対する参照１３４として役立てることができる。通常のビューアは、フレーム・バッファ１３６からデータを読み出すことになり、フレーム・バッファ１３６は、間断のないビデオ・ピクチャ・データのストリームをビューアに提供することができる。
【００３０】
図５に示すデコーダは例示的なものである。図５に示すオペレーションのいくつかは線形であり、異なる順序で行うこともできる。例えば、ベース・レイヤとエンハンスメント・レイヤの加算は、ＩＤＣＴオペレーション１２６、１４６の前に行うこともできる。さらに代替の一実施形態では、エンハンスメント・レイヤにおけるオペレーションの多くは、並列ではなく直列で行うこともできる。
【００３１】
一実施形態では、エンハンスメント・レイヤは代替ＦＧＳを使用して生成される。前述のＦＧＳと同様、この代替ＦＧＳ符号化方式もまた、ビデオ・データ・フレームを比較的低品質のビデオのベース・レイヤと、だんだん高品質になるビデオの任意にスケール可能な複数のエンハンスメント・ビット・プレーン・レイヤとに符号化する。違いの１つは、代替ＦＧＳでは、何らかのエンハンスメント・レイヤ符号化のためにより高品質の参照（例えば前のエンハンスメント・フレーム）を使用して符号化効率を上げることである。より高品質の参照によって、より正確な動き補償をもたらすことができる。
【００３２】
一実施形態では、図６に示すように、下位エンハンスメント・レイヤ６８０に予測モード６７８が追加される。具体的には、予測モード６７８により、エンハンスメント・レイヤにおける入力ビデオ（マクロブロック）の減算を予測することができる（すなわち、複数の参照のうちの１つから、入力ビデオと前に処理された（例えば量子化された）ビデオとの差分を生成することができる）。
【００３３】
一実施形態では、図６に示すように、異なる３つの予測モードがある。すなわち、１）現在の再構築済みベース・レイヤ６８２からの予測（現在の再構築済みベース・レイヤを使用すると誤差ドリフトを低減することができる）、２）前のエンハンスメント・フレーム６８４からの予測（場面によっては、この動き予測されたエンハンスメント・レイヤからより高品質の参照がもたらされる。したがってこのモードを用いて剰余を低減し符号化効率を上げる）、および３）前のエンハンスメント・フレームと現在の再構築済みベース・レイヤ６８６との結合６８６（例えばこの２つの参照の平均、またはこの別個の２つの参照のその他何らかの結合）からの予測である。
【００３４】
一実施形態では、予測モードの選択は、入力ビデオのサブセクション（例えばマクロブロック）を、前のエンハンスメント・フレームのサブセクション６８４、現在の再構築済みベース・レイヤ６８２、かつ／または、前のエンハンスメント・フレームと現在の再構築済みベース・レイヤとの結合と比較することによって適応的に行う。この比較に基づいて予測モードを選択することができる。一実施形態では、入力ビデオに最も近い参照を選択することになる。というのは、符号化する差分がより少なくなるからである。一実施形態では、近さの尺度は、ピクセル・ブロック間で異なる絶対値の合計に基づく。一実施形態では、誤差ドリフトを低減するため周期的に、予測モードの選択は常に現在の再構築済みベース・レイヤからの予測となる。
【００３５】
さらに一実施形態では、再構築済みデータ本体の選択は、エンコーダからデコーダに送られるビットストリームのシンタックス中で示される。あるいは、予測モードにおける再構築済みデータ本体の選択は、再構築済みベース・レイヤや再構築済みエンハンスド・レイヤとは別に、エンコーダからデコーダに送ることもできる。さらに、第１の動きベクトルのセットを使用して第１の再構築済みデータ本体が生成され、この第１の動きベクトルのセットを使用して第２の再構築済みデータ本体も生成される。
【００３６】
加えて、図６にさらに示すように一実施形態では、前のエンハンスメント・フレーム６８４は、前述のように空間領域再構築およびクリッピング６９０にかけられた後で、予測モードによって受け取られる。また、現在の再構築済みベース・レイヤ６８２も、空間領域再構築およびクリッピング６８８にかけられた後で予測モードによって受け取られる。クリッピングする結果、エンコーダとデコーダの複雑さを低減することができる。
【００３７】
図７に、復号されるエンハンスメント・レイヤにどの参照を追加するかを決定するための予測モードを備えるデコーダを示す。図示のように予測モードは、現在の復号済みベース・レイヤ７８２、前の復号済みエンハンスメント・フレーム７８４、および／または、前の復号済みエンハンスメント・フレームと現在の復号済みベース・レイヤとの結合７８６から選択することができる。
【００３８】
図７にさらに示すように、一実施形態では、前の復号済みエンハンスメント・フレーム７８４は、前述のように空間領域再構築およびクリッピング７９０にかけられた後でデコーダ予測モード７７８によって受け取られる。また、現在の復号済みベース・レイヤ７８２も、空間領域再構築およびクリッピング７８８にかけられた後で予測モードによって受け取られる。
【００３９】
前述の方法、エンコーダ、およびデコーダは、実行される命令のセットとしてコンピュータ・システム（例えばセット・トップ・ボックス、ビデオ・レコーダなど）のメモリに記憶することができる。加えて、前述の方法、エンコーダ、およびデコーダを実施するための命令は、別法として、磁気ディスクや光ディスクを含めた他の形の機械可読媒体に記憶することもできる。例えば本発明の方法は、磁気ディスクや光ディスクなど、ディスク・ドライブ（またはコンピュータ可読媒体ドライブ）を介してアクセス可能な機械可読媒体に記憶することができる。さらに命令は、コンパイルされ、リンクされたバージョンの形でネットワークを介してコンピューティング・デバイスにダウンロードすることもできる。
【００４０】
あるいは、以上に論じた方法、エンコーダ、およびデコーダを実施するためのロジックは、大規模集積回路（ＬＳＩ）、特定用途向け集積回路（ＡＳＩＣ）、電気的消去可能プログラマブル読出し専用メモリ（ＥＥＰＲＯＭ）などのファームウェア等、離散ハードウェア・コンポーネントなどの追加のコンピュータおよび／または機械可読媒体に実装することもでき、また、電気、光、音響、およびその他の形の伝搬信号（例えば搬送波、赤外線信号、ディジタル信号など）に実装することもできる。さらに、前述のエンコーダおよびデコーダは、グラフィックス・コントローラ（チップセット・デバイスに統合される場合とそうでない場合がある）など、同じハードウェア・コンポーネントに実装することができる。
【００４１】
本発明を特定の例示的な実施形態に関して述べたが、本発明のより広範な趣旨および範囲を逸脱することなく、これらの実施形態に様々な修正および変更を加えることができることは明白であろう。したがって、本明細書および図面は、限定的な意味ではなく例示的な意味で考えるべきである。
【図面の簡単な説明】
【００４２】
【図１】ビデオ信号の経路を示す機能ブロック図である。
【図２】ビデオの符号化と圧縮を示すブロック図である。
【図３】ビットストリーム中のエンハンスメント・レイヤ・データを階層的に表す図である。
【図４】サーバが実施するステップを示すフロー・チャートである。
【図５】ビデオの復号を示すブロック図である。
【図６】一実施形態によるビデオの符号化と圧縮を示すブロック図である。
【図７】一実施形態によるビデオの復号を示すブロック図である。
Claims (24)
- ソース・ビデオ・シーケンスによって表される品質よりも低品質の視聴可能ビデオ・シーケンスを生成する第１のデータ本体を生成すること、および
前記第１のデータ本体から生成される視聴可能ビデオ・シーケンスの品質を向上させるのに十分な第２のデータ本体を生成することを含む方法であって、前記第２のデータ本体が、前記ソース・ビデオ・シーケンスのサブセクションから再構築済みデータ本体を引くことによって生成され、前記再構築済みデータ本体が、少なくとも２つの別々の再構築済みデータ本体からなるグループから選択される方法。 - 前記少なくとも２つの別々の再構築済みデータ本体からなるグループが、前記ソース・ビデオ・シーケンスによって表される品質よりも低品質の視聴可能ビデオ・シーケンスを生成する第１の再構築済みデータ本体、前記第１のデータ本体から生成される視聴可能ビデオ・シーケンスの品質を向上させる第２の再構築済みデータ本体、および、前記第１と第２の再構築済みデータ本体の結合のうちから選択される請求項１に記載の方法。
- 前記ソース・ビデオ・シーケンスのサブセクションから前記再構築済みデータ本体を引くことによって生成される前記第２のデータ本体を生成する前に、前記第１の再構築済みデータ本体を空間的に再構築およびクリッピングし、かつ前記第２の再構築済みデータ本体を空間的に再構築およびクリッピングすることをさらに含む請求項２に記載の方法。
- 前記第２のデータ本体が、前記ソース・ビデオ・シーケンスのマクロブロックから再構築済みデータ本体を引くことによって生成される請求項２に記載の方法。
- 前記少なくとも２つの別々の再構築済みデータ本体を前記ソース・ビデオ・シーケンスと比較して、前記第１の再構築済みデータ本体、前記第２の再構築済みデータ本体、および前記第１と第２の再構築済みデータ本体の結合のうちから適応的に選択することをさらに含む請求項２に記載の方法。
- 前記再構築済みデータ本体の選択が、エンコーダから送られるビットストリームのシンタックス中で示される請求項２に記載の方法。
- 第１の動きベクトル・セットを使用して前記第１のデータ本体が生成され、前記第１の動きベクトル・セットを使用して前記第２のデータ本体が生成される請求項２に記載の方法。
- 前記第１のデータ本体および前記第２のデータ本体が単一のハードウェア・コンポーネントによって生成される請求項２に記載の方法。
- コンピュータ実行可能命令を記憶したコンピュータ可読媒体を含む物品であって、前記命令が、
ソース・ビデオ・シーケンスによって表される品質よりも低品質の視聴可能ビデオ・シーケンスを生成する第１のデータ本体を生成すること、および
前記第１のデータ本体から生成される視聴可能ビデオ・シーケンスの品質を向上させる第２のデータ本体を生成することをコンピュータに行わせ、前記第２のデータ本体が、前記ソース・ビデオ・シーケンスのサブセクションから再構築済みデータ本体を引くことによって生成され、前記再構築済みデータ本体が、少なくとも２つの別々の再構築済みデータ本体からなるグループから選択される、コンピュータ可読媒体を含む物品。 - 前記少なくとも２つの別々の再構築済みデータ本体からなるグループが、前記ソース・ビデオ・シーケンスによって表される品質よりも低品質の視聴可能ビデオ・シーケンスを生成する第１の再構築済みデータ本体、前記第１のデータ本体から生成される視聴可能ビデオ・シーケンスの品質を向上させる第２の再構築済みデータ本体、および、前記第１と第２の再構築済みデータ本体の結合のうちから選択される請求項９に記載のコンピュータ可読媒体を含む物品。
- 前記ソース・ビデオ・シーケンスのサブセクションから前記再構築済みデータ本体を引くことによって生成される前記第２のデータ本体を生成する前に、前記第１の再構築済みデータ本体を空間的に再構築およびクリッピングし、かつ前記第２の再構築済みデータ本体を空間的に再構築およびクリッピングすることをコンピュータに行わせる追加の命令をさらに含む請求項１０に記載のコンピュータ可読媒体を含む物品。
- 前記第２のデータ本体が、前記ソース・ビデオ・シーケンスのマクロブロックから再構築済みデータ本体を引くことによって生成される請求項１０に記載のコンピュータ可読媒体を含む物品。
- 前記少なくとも２つの別々の再構築済みデータ本体を前記ソース・ビデオ・シーケンスと比較して、前記第１の再構築済みデータ本体、前記第２の再構築済みデータ本体、および前記第１と第２の再構築済みデータ本体の結合のうちから適応的に選択することをコンピュータに行わせる追加の命令をさらに含む請求項１０に記載のコンピュータ可読媒体を含む物品。
- 前記再構築済みデータ本体の選択が、エンコーダから送られるビットストリームのシンタックス中で指摘される請求項１０に記載のコンピュータ可読媒体を含む物品。
- 第１の動きベクトル・セットを使用して前記第１のデータ本体が生成され、前記第１の動きベクトル・セットを使用して前記第２のデータ本体が生成される請求項１０に記載のコンピュータ可読媒体を含む物品。
- 前記第１のデータ本体と前記第２のデータ本体が単一のハードウェア・コンポーネントによって生成される請求項１０に記載のコンピュータ可読媒体を含む物品。
- ソース・ビデオ・シーケンスによって表される品質よりも低品質の視聴可能ビデオ・シーケンスを生成する第１のデータ本体を生成する第１のユニットと、
前記第１のデータ本体から生成される視聴可能ビデオ・シーケンスの品質を向上させる第２のデータ本体を生成する第２のユニットとを備えるシステムであって、前記第２のデータ本体が、前記ソース・ビデオ・シーケンスのサブセクションから再構築済みデータ本体を引くことによって生成され、前記再構築済みデータ本体が、少なくとも２つの別々の再構築済みデータ本体からなるグループから選択されるシステム。 - 前記少なくとも２つの別々の再構築済みデータ本体からなるグループが、前記ソース・ビデオ・シーケンスによって表される品質よりも低品質の視聴可能ビデオ・シーケンスを生成する第１の再構築済みデータ本体、前記第１のデータ本体から生成される視聴可能ビデオ・シーケンスの品質を向上させる第２の再構築済みデータ本体、および前記第１と第２の再構築済みデータ本体の結合のいずれかから選択される請求項１７に記載のシステム。
- 前記第１のユニットが、前記ソース・ビデオ・シーケンスのサブセクションから前記再構築済みデータ本体を引くことによって生成される前記第２のデータ本体を生成する前に、前記第１の再構築済みデータ本体を空間的に再構築し、かつクリッピングし、前記第２のユニットが、前記第２の再構築済みデータ本体を空間的に再構築し、かつクリッピングする請求項１８に記載のシステム。
- 前記第２のデータ本体が、前記ソース・ビデオ・シーケンスのマクロブロックから再構築済みデータ本体を引くことによって生成される請求項１８に記載のシステム。
- 前記第２のユニットが、前記少なくとも２つの別々の再構築済みデータ本体を前記ソース・ビデオ・シーケンスと比較して、前記第１の再構築済みデータ本体、前記第２の再構築済みデータ本体、および前記第１と第２の再構築済みデータ本体の結合のうちから適応的に選択する請求項１８に記載のシステム。
- 前記再構築済みデータ本体の選択が、システムから送られるビットストリームのシンタックス中で指摘される請求項１８に記載のシステム。
- 前記第１のユニットが第１の動きベクトル・セットを使用して前記第１のデータ本体を生成し、前記第２のユニットが前記第１の動きベクトル・セットを使用して前記第２のデータ本体を生成する請求項１８に記載のシステム。
- 前記第１のユニットおよび前記第２のユニットが単一のハードウェア・コンポーネント上に含まれる請求項１８に記載のシステム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/758,647 US20020126759A1 (en) | 2001-01-10 | 2001-01-10 | Method and apparatus for providing prediction mode fine granularity scalability |
| PCT/US2002/000527 WO2002056599A2 (en) | 2001-01-10 | 2002-01-07 | Video coder with fine granular scalability |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004533134A true JP2004533134A (ja) | 2004-10-28 |
| JP2004533134A5 JP2004533134A5 (ja) | 2005-12-22 |
Family
ID=25052532
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002557130A Pending JP2004533134A (ja) | 2001-01-10 | 2002-01-07 | 予測モードのファイン・グラニュラリティ・スケーラビリティを提供するための方法および装置 |
Country Status (7)
| Country | Link |
|---|---|
| US (3) | US20020126759A1 (ja) |
| EP (1) | EP1354480A2 (ja) |
| JP (1) | JP2004533134A (ja) |
| KR (1) | KR100849965B1 (ja) |
| CN (1) | CN1254977C (ja) |
| AU (1) | AU2002235327A1 (ja) |
| WO (1) | WO2002056599A2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012175703A (ja) * | 2011-02-18 | 2012-09-10 | Arm Ltd | 並列ビデオ復号処理 |
Families Citing this family (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8776153B2 (en) * | 2001-04-25 | 2014-07-08 | At&T Intellectual Property I, Lp | Method and system for transferring content to a networked unit |
| US20030025698A1 (en) * | 2001-08-01 | 2003-02-06 | Riemens Abraham Karel | Programmed stall cycles slow-down video processor |
| US20030118099A1 (en) * | 2001-12-20 | 2003-06-26 | Comer Mary Lafuze | Fine-grain scalable video encoder with conditional replacement |
| WO2004030368A1 (en) * | 2002-09-27 | 2004-04-08 | Koninklijke Philips Electronics N.V. | Scalable video encoding |
| US7480252B2 (en) * | 2002-10-04 | 2009-01-20 | Koniklijke Philips Electronics N.V. | Method and system for improving transmission efficiency using multiple-description layered encoding |
| DE10356164A1 (de) | 2003-12-02 | 2005-08-04 | Beiersdorf Ag | Wirkstoffkombinationen aus Licochalcon A oder einem Extrakt aus Radix Clycyrrhizae inflatae, enthaltend Licochalcon A, Phenoxyethanol und gewünschtenfalls Glycerin |
| TWI285055B (en) * | 2004-09-30 | 2007-08-01 | Nippon Telegraph & Telephone | Method for progressive lossless video coding, method for progressive lossless video decoding, progressive lossless video coding apparatus, progressive lossless video decoding apparatus, and recording media of progressive lossless video coding program... |
| KR20060063605A (ko) * | 2004-12-06 | 2006-06-12 | 엘지전자 주식회사 | 영상신호의 엔코딩과 그 전송, 그리고 디코딩을 위한 방법및 장치 |
| US7756206B2 (en) | 2005-04-13 | 2010-07-13 | Nokia Corporation | FGS identification in scalable video coding |
| US20090279602A1 (en) * | 2005-04-13 | 2009-11-12 | Ye-Kui Wang | Method, Device and System for Effective Fine Granularity Scalability (FGS) Coding and Decoding of Video Data |
| CA2604951A1 (en) | 2005-04-13 | 2006-10-19 | Nokia Corporation | Fgs identification in scalable video coding |
| US8619860B2 (en) * | 2005-05-03 | 2013-12-31 | Qualcomm Incorporated | System and method for scalable encoding and decoding of multimedia data using multiple layers |
| WO2007031953A2 (en) * | 2005-09-16 | 2007-03-22 | Koninklijke Philips Electronics, N.V. | Efficient standard-compliant digital video transmission using data partitioning |
| KR20070038396A (ko) * | 2005-10-05 | 2007-04-10 | 엘지전자 주식회사 | 영상 신호의 인코딩 및 디코딩 방법 |
| US8315308B2 (en) * | 2006-01-11 | 2012-11-20 | Qualcomm Incorporated | Video coding with fine granularity spatial scalability |
| CN101115021B (zh) * | 2006-07-28 | 2010-05-12 | 腾讯科技（深圳）有限公司 | 一种即时通信视频质量调节方法及装置 |
| US20080043832A1 (en) * | 2006-08-16 | 2008-02-21 | Microsoft Corporation | Techniques for variable resolution encoding and decoding of digital video |
| US7898950B2 (en) | 2006-08-18 | 2011-03-01 | Microsoft Corporation | Techniques to perform rate matching for multimedia conference calls |
| US8773494B2 (en) | 2006-08-29 | 2014-07-08 | Microsoft Corporation | Techniques for managing visual compositions for a multimedia conference call |
| US20090041100A1 (en) | 2006-12-13 | 2009-02-12 | Viasat, Inc. | Link aware mobile data network |
| WO2008074020A2 (en) * | 2006-12-13 | 2008-06-19 | Viasat, Inc. | Acm aware encoding systems and methods |
| US8395993B2 (en) * | 2006-12-13 | 2013-03-12 | Viasat, Inc. | Video and data network load balancing with video placeholder |
| US8358690B2 (en) * | 2006-12-13 | 2013-01-22 | Viasat, Inc. | Predictive adaptive coding and modulation |
| US8411572B2 (en) * | 2006-12-13 | 2013-04-02 | Viasat, Inc. | ACM and fixed coding and modulation of hierarchical layers |
| US8456986B2 (en) * | 2006-12-13 | 2013-06-04 | Viasat, Inc. | Video and data network load balancing |
| US8576858B2 (en) * | 2006-12-13 | 2013-11-05 | Viasat, Inc. | Multiple transmission paths for hierarchical layers |
| US8411571B2 (en) * | 2006-12-13 | 2013-04-02 | Viasat, Inc. | Video and data network load balancing with video drop |
| EP2143279B1 (en) * | 2007-06-29 | 2010-10-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Scalable video coding supporting pixel value refinement scalability |
| US8130823B2 (en) * | 2007-12-19 | 2012-03-06 | Broadcom Corporation | Channel adaptive video transmission system for use with layered video coding and methods for use therewith |
| US8731152B2 (en) | 2010-06-18 | 2014-05-20 | Microsoft Corporation | Reducing use of periodic key frames in video conferencing |
| WO2012141551A2 (ko) * | 2011-04-15 | 2012-10-18 | 에스케이플래닛 주식회사 | 멀티 트랙 비디오를 사용한 고속 스케일러블 비디오 코딩 장치 및 방법 |
| JP2013074534A (ja) * | 2011-09-28 | 2013-04-22 | Sharp Corp | 記録装置、配信装置、記録方法、プログラム、及び記録媒体 |
| US10165227B2 (en) * | 2013-03-12 | 2018-12-25 | Futurewei Technologies, Inc. | Context based video distribution and storage |
| US20140301436A1 (en) * | 2013-04-05 | 2014-10-09 | Qualcomm Incorporated | Cross-layer alignment in multi-layer video coding |
| US9984693B2 (en) * | 2014-10-10 | 2018-05-29 | Qualcomm Incorporated | Signaling channels for scalable coding of higher order ambisonic audio data |
| US10140996B2 (en) | 2014-10-10 | 2018-11-27 | Qualcomm Incorporated | Signaling layers for scalable coding of higher order ambisonic audio data |
| GB2547934B (en) | 2016-03-03 | 2021-07-07 | V Nova Int Ltd | Adaptive video quality |
| KR102410035B1 (ko) * | 2017-07-06 | 2022-06-20 | 삼성디스플레이 주식회사 | 영상 신호 처리 장치 및 그것을 포함하는 표시 장치 |
| CN109302187A (zh) * | 2018-08-31 | 2019-02-01 | 中国海洋大学 | 一种针对潜标温盐深数据的数据压缩方法 |
| US11677989B2 (en) * | 2018-10-09 | 2023-06-13 | V-Nova International Limited | Signal element coding format compatability within a hierarchical coding scheme using multiple resolutions |
| CN112217598B (zh) * | 2019-07-10 | 2022-10-18 | 华为技术有限公司 | 数据处理方法及装置 |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR970007530B1 (ko) * | 1991-09-30 | 1997-05-10 | 가부시기가이샤 도시바 | 대역 압축 신호 처리 장치 |
| DE69322769T2 (de) * | 1992-03-03 | 1999-07-22 | Toshiba Kawasaki Kk | Koder für zeitveränderliche bilder |
| US5436665A (en) * | 1992-03-03 | 1995-07-25 | Kabushiki Kaisha Toshiba | Motion picture coding apparatus |
| KR0134871B1 (ko) * | 1992-07-17 | 1998-04-22 | 사또오 후미오 | 고능률 부호화 복호화 시스템 |
| JP3545000B2 (ja) * | 1992-11-02 | 2004-07-21 | ソニー株式会社 | 画像信号符号化装置、画像信号復号化装置 |
| US5619256A (en) * | 1995-05-26 | 1997-04-08 | Lucent Technologies Inc. | Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions |
| US6108039A (en) * | 1996-05-23 | 2000-08-22 | C-Cube Microsystems, Inc. | Low bandwidth, two-candidate motion estimation for interlaced video |
| US6233356B1 (en) * | 1997-07-08 | 2001-05-15 | At&T Corp. | Generalized scalability for video coder based on video objects |
| US6731811B1 (en) * | 1997-12-19 | 2004-05-04 | Voicecraft, Inc. | Scalable predictive coding method and apparatus |
| US6782132B1 (en) * | 1998-08-12 | 2004-08-24 | Pixonics, Inc. | Video coding and reconstruction apparatus and methods |
| US6498865B1 (en) * | 1999-02-11 | 2002-12-24 | Packetvideo Corp,. | Method and device for control and compatible delivery of digitally compressed visual data in a heterogeneous communication network |
| US6501797B1 (en) | 1999-07-06 | 2002-12-31 | Koninklijke Phillips Electronics N.V. | System and method for improved fine granular scalable video using base layer coding information |
| US6639943B1 (en) * | 1999-11-23 | 2003-10-28 | Koninklijke Philips Electronics N.V. | Hybrid temporal-SNR fine granular scalability video coding |
| US6614936B1 (en) * | 1999-12-03 | 2003-09-02 | Microsoft Corporation | System and method for robust video coding using progressive fine-granularity scalable (PFGS) coding |
| CA2395605C (en) * | 1999-12-22 | 2011-04-05 | General Instrument Corporation | Video compression for multicast environments using spatial scalability and simulcast coding |
| WO2001049036A1 (en) * | 1999-12-28 | 2001-07-05 | Koninklijke Philips Electronics N.V. | Snr scalable video encoding method and corresponding decoding method |
| US6700933B1 (en) * | 2000-02-15 | 2004-03-02 | Microsoft Corporation | System and method with advance predicted bit-plane coding for progressive fine-granularity scalable (PFGS) video coding |
| US6816194B2 (en) * | 2000-07-11 | 2004-11-09 | Microsoft Corporation | Systems and methods with error resilience in enhancement layer bitstream of scalable video coding |
| US7068717B2 (en) | 2000-07-12 | 2006-06-27 | Koninklijke Philips Electronics N.V. | Method and apparatus for dynamic allocation of scalable selective enhanced fine granular encoded images |
| US7133449B2 (en) | 2000-09-18 | 2006-11-07 | Broadcom Corporation | Apparatus and method for conserving memory in a fine granularity scalability coding system |
| CN1636394A (zh) * | 2000-10-11 | 2005-07-06 | 皇家菲利浦电子有限公司 | 细粒视频编码的空间可缩放性 |
| US20020080878A1 (en) * | 2000-10-12 | 2002-06-27 | Webcast Technologies, Inc. | Video apparatus and method for digital video enhancement |
| US6907070B2 (en) | 2000-12-15 | 2005-06-14 | Microsoft Corporation | Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding |
| US20030012287A1 (en) * | 2001-03-05 | 2003-01-16 | Ioannis Katsavounidis | Systems and methods for decoding of systematic forward error correction (FEC) codes of selected data in a video bitstream |
| US7813429B2 (en) * | 2002-08-13 | 2010-10-12 | Lsi Corporation | System and method for segmentation of macroblocks |
-
2001
- 2001-01-10 US US09/758,647 patent/US20020126759A1/en not_active Abandoned
-
2002
- 2002-01-07 AU AU2002235327A patent/AU2002235327A1/en not_active Abandoned
- 2002-01-07 KR KR1020037009250A patent/KR100849965B1/ko not_active IP Right Cessation
- 2002-01-07 JP JP2002557130A patent/JP2004533134A/ja active Pending
- 2002-01-07 WO PCT/US2002/000527 patent/WO2002056599A2/en active Application Filing
- 2002-01-07 CN CNB028062000A patent/CN1254977C/zh not_active Expired - Fee Related
- 2002-01-07 EP EP02701927A patent/EP1354480A2/en not_active Withdrawn
-
2008
- 2008-10-14 US US12/251,346 patent/US8199809B2/en not_active Expired - Fee Related
-
2012
- 2012-05-16 US US13/473,351 patent/US10070141B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012175703A (ja) * | 2011-02-18 | 2012-09-10 | Arm Ltd | 並列ビデオ復号処理 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20020126759A1 (en) | 2002-09-12 |
| WO2002056599A3 (en) | 2002-11-14 |
| US8199809B2 (en) | 2012-06-12 |
| WO2002056599A2 (en) | 2002-07-18 |
| CN1254977C (zh) | 2006-05-03 |
| US20090034609A1 (en) | 2009-02-05 |
| US10070141B2 (en) | 2018-09-04 |
| KR100849965B1 (ko) | 2008-08-01 |
| CN1515118A (zh) | 2004-07-21 |
| US20120224630A1 (en) | 2012-09-06 |
| EP1354480A2 (en) | 2003-10-22 |
| AU2002235327A1 (en) | 2002-07-24 |
| KR20040041538A (ko) | 2004-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004533134A (ja) | 予測モードのファイン・グラニュラリティ・スケーラビリティを提供するための方法および装置 | |
| KR100703724B1 (ko) | 다 계층 기반으로 코딩된 스케일러블 비트스트림의비트율을 조절하는 장치 및 방법 | |
| US9071847B2 (en) | Variable coding resolution in video codec | |
| US7738716B2 (en) | Encoding and decoding apparatus and method for reducing blocking phenomenon and computer-readable recording medium storing program for executing the method | |
| US8243820B2 (en) | Decoding variable coded resolution video with native range/resolution post-processing operation | |
| US8194748B2 (en) | Apparatus for scalable encoding/decoding of moving image and method thereof | |
| US20020118743A1 (en) | Method, apparatus and system for multiple-layer scalable video coding | |
| KR20060088461A (ko) | 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치 | |
| JP2003527004A (ja) | エンハンスメントレイヤフレームの送信を並べ替えることによってレイヤ復号化の複雑さを減少する方法 | |
| KR20070056896A (ko) | 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치 | |
| US10306244B2 (en) | Method for encoding/decoding image and device using same | |
| EP1601205A1 (en) | Moving image encoding/decoding apparatus and method | |
| US20060159173A1 (en) | Video coding in an overcomplete wavelet domain | |
| US7042942B2 (en) | Zigzag in-order for image/video encoder and decoder | |
| US6804299B2 (en) | Methods and systems for reducing requantization-originated generational error in predictive video streams using motion compensation | |
| KR20060069227A (ko) | 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치 | |
| KR20060059773A (ko) | 베이스 레이어 픽처의 벡터를 이용하는 영상신호의엔코딩/디코딩 방법 및 장치 | |
| US20050135478A1 (en) | Reduction of layer-decoding complexity by reordering the transmission of enhancement layer frames | |
| JP2004007571A (ja) | 符号化装置および方法、復号装置および方法、編集装置および方法、記録媒体、並びにプログラム | |
| KR100676772B1 (ko) | 휴대용 기기에 적용된 ｄ―ｖｏｐ 디코딩이 가능한 엠펙-4디코더 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041224 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041224 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070130 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070416 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070904 |