JP2012095318A

JP2012095318A - 複雑度スケーラブルなビデオデコーダの方法及び装置

Info

Publication number: JP2012095318A
Application number: JP2011268743A
Authority: JP
Inventors: Jill Macdonald Boyce; ボイス，ジル，マクドナルド; Michael Travis Alexandros; トゥラピス，アレクサンドロス，ミカエル
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2004-04-02
Filing date: 2011-12-08
Publication date: 2012-05-17
Anticipated expiration: 2025-03-31
Also published as: US8116376B2; KR20070007326A; JP2007532061A; KR101117840B1; WO2005099276A3; WO2005099275A3; US8213508B2; JP4965429B2; KR101149255B1; US20080304567A1; BRPI0509581A; JP2007532063A; BRPI0509581B1; CN1939066A; MY160489A; US20070211798A1; CN1939067B; WO2005099275A2; JP5542786B2; EP1738588A2

Abstract

【課題】符号化効率を維持しつつ、多様な異なるユーザエンドポイント装置をもつブロードキャストシステムを提供する。
【解決手段】ビデオストリームを解凍するエントロピーデコーダ、解凍されたビデオストリームに含まれるデコードされた第二の解像度の動きベクトルの精度を低減して第一の解像度の動きベクトルを形成する動きベクトル解像度低減手段、第一の解像度の予測の残差をアップサンプルして予測の残差を形成するアップサンプラ、第二の解像度の動きベクトルを使用して第二の解像度の予測を形成する動き予測手段、アップサンプリングされた予測の残差を第二の解像度の予測に加えてデコードされた画像ブロックを形成する加算手段、第一の解像度の動きベクトルを使用して第一の解像度の予測を形成する第二の動き予測手段、第一の解像度の予測の残差を第一の解像度の予測に加えてデコードされた画像ブロックを形成する第二の加算手段を備える。
【選択図】図８

Description

本発明は、ビデオエンコーダ及びデコーダ（ＣＯＤＥＣ）全般に関し、より詳細には、複雑度スケーラブルなビデオ符号化及び復号化のための装置及び方法に関する。
本出願は、２００４年４月２日に提出され、“ＣｏｍｐｌｅｘｉｔｙＳｃａｌａｂｌｅＶｉｄｅｏＣＯＤＥＣ”と題された米国特許仮出願シリアル番号６０／５５８，８６２の利益を請求するものであって、引用によりその全体が本明細書に盛り込まれる。
また、本出願は、この即座の出願と同時に提出され、“ＭｅｔｈｏｄａｎｄＡｐｐａｒａｔｕｓｆｏｒＣｏｍｐｌｅｘｉｔｙＳｃａｌａｂｌｅＶｉｄｅｏＥｎｃｏｄｅｒ”と題された米国特許仮出願シリアル番号ｘｘ／ｘｘｘ，ｘｘｘにも関連するものであって、引用によりその全体が本明細書に盛り込まれる。

ブロードキャストビデオアプリケーションにとって、サイマルキャストエンコードのビットレートのペナルティを被ることなしに、種々異なったユーザ装置のための支援を提供することが望ましい。ビデオ復号化は、複雑な演算であり、複雑さは、符号化されたビデオの解像度に依存する。低電力の携帯用装置は、非常に厳密な複雑さの制約及び低解像度のディスプレイを典型的に有する。異なる解像度に対応する２以上のビットストリームのサイマルキャストブロードキャストは、低解像度の装置の複雑度の要件に対処するために使用されるが、複雑度スケーラブルシステム（ｃｏｍｐｌｅｘｉｔｙｓｃａｌａｂｌｅｓｙｓｔｅｍ）よりも高い全体のビットレートを必要とする。したがって、ビデオ符号化の高いビットレート効率を維持しつつ、複雑度スケーラブルＣＯＤＥＣを可能にするソリューションが必要とされる。

多くの異なるスケーラビリティの方法は、ＭＰＥＧ−２及びＭＰＥＧ−４規格のスケーラビリティプロファイルにおいて、ＳＮＲスケーラビリティ、空間スケーラビリティ、時間スケーラビリティ、及びファイングレインスケーラビリティを含めて、広く研究され、標準化されてきている。スケーラブル符号化における作業の大部分は、ビットレートスケーラビリティを狙いとしてきており、低解像度レイヤが制限された帯域幅を有する。図１に示されるように、典型的な空間スケーラビリティシステムは、参照符号１００により一般に示される。システム１００は、ビデオ系列を受信するために複雑度スケーラブルビデオエンコーダ１１０を含む。複雑度スケーラブルビデオエンコーダ１１０の第一の出力は、低帯域幅のネットワーク１２０との信号伝達、及びマルチプレクサ１３０の第一の入力との信号伝達で接続される。複雑度スケーラブルビデオエンコーダ１１０の第二の出力は、マルチプレクサ１３０の第二の入力との信号伝達で接続される。低帯域幅ネットワーク１２０の出力は、低解像度デコーダ１４０の入力との信号伝達で接続される。マルチプレクサ１３０の出力は、高い帯域幅のネットワーク１５０の入力との信号伝達で接続される。高い帯域幅のネットワーク１５０の出力は、デマルチプレクサ１６０の入力との信号伝達で接続される。デマルチプレクサ１６０の第一の出力は、高解像度デコーダ１７０の第一の入力との信号伝達で接続され、デマルチプレクサ１６０の第二の出力は、高解像度デコーダ１７０の第二の入力との信号伝達で接続される。低解像度デコーダ１４０及び高解像度デコーダ１７０の出力は、システム１００から外部で利用可能である。

スケーラブル符号化は、実際に広く適合されていない。これは、エンコーダ及びデコーダの複雑度における著しい増加のため、及びスケーラブルエンコーダの符号化効率が非スケーラブルエンコーダの符号化効率以下で典型的に良好であるためである。

空間スケーラブルエンコーダ及びデコーダは、高解像度スケーラブルエンコーダ／デコーダが通常の高解像度のエンコーダ／デコーダに存在する以上の更なる機能を提供することを典型的に必要とする。ＭＰＥＧ−２空間スケーラブルエンコーダでは、低解像度の基準ピクチャから予測が行われるか、高解像度の基準ピクチャから予測が行われるかの判定が行われる。ＭＰＥＧ−２空間スケーラブルデコーダは、低解像度基準ピクチャから予測が可能であるか、高解像度基準ピクチャから予測が可能である必要がある。２つの基準ピクチャストアのセットは、ＭＰＥＧ−２空間スケーラブルエンコーダ／デコーダにより必要とされ、一方は、低解像度ピクチャ用であり、別の一方は、高解像度ピクチャ用である。図２は、従来技術に係る、２つのレイヤをサポートする低複雑度の空間スケーラブルエンコーダ２００のブロック図を示している。図３は、従来技術に係る、２つのレイヤをサポートする低複雑度の空間スケーラブルデコーダ３００のブロック図を示している。

図２に進み、２つのレイヤをサポートする空間スケーラブルビデオエンコーダは、参照符号２００により一般に示される。ビデオエンコーダ２００は、高解像度の入力ビデオ系列を受信するためのダウンサンプラ２１０を含む。ダウンサンプラ２１０は、低解像度の非スケーラブルエンコーダ２１２との信号伝達において結合され、この低解像度の非スケーラブルエンコーダ２１２は、低解像度のフレームストア２１４との信号伝達で結合される。低解像度の非スケーラブルエンコーダ２１２は、低解像度ビットストリームを出力し、低解像度の非スケーラブルデコーダ２２０との信号伝達で更に結合される。

低解像度の非スケーラブルデコーダ２２０は、アップサンプラ２３０との信号伝達で結合され、アップサンプラ２３０は、スケーラブル高解像度エンコーダ２４０との信号伝達で結合される。スケーラブル高解像度エンコーダ２４０は、高解像度の入力ビデオ系列を受け、高解像度のフレームストア２５０との信号伝達で結合され、高解像度のスケーラブルビットストリームを出力する。

このように、高解像度入力ビデオ系列は、低解像度エンコーダ２００により受信され、低解像度のビデオ系列を作るためにダウンサンプルされる。低解像度ビデオ系列は、非スケーラブル低解像度ビデオ圧縮エンコーダを使用して符号化され、低解像度ビットストリームをつくる。低解像度ビットストリームは、非スケーラブル低解像度ビデオ圧縮でコーダを使用してデコードされる。この機能は、エンコーダ内で実行される場合がある。デコードされた低解像度系列は、アップサンプルされ、スケーラブル高解像度エンコーダに２つの入力のうちの１つとして提供される。スケーラブル高解像度エンコーダは、ビデオを符号化して高解像度のスケーラブルビットストリームをつくる。

図３に進み、２つのレイヤをサポートする空間スケーラブルビデオデコーダは、参照符号３００により一般的に示される。ビデオエンコーダ３００は、低解像度ビットストリームを受信するために低解像度デコーダ３６０を含み、低解像度デコーダ３６０は、低解像度フレームストア３６２との信号伝達で結合され、低解像度ビデオ系列を出力する。低解像度デコーダ３６０は、アップサンプラ３７０との信号伝達で更に結合され、アップサンプラ３７０は、スケーラブル高解像度デコーダ３８０との信号伝達で結合される。

スケーラブル高解像度デコーダ３８０は、高解像度フレームストア３９０との信号伝達で更に結合される。スケーラブル高解像度デコーダ３８０は、高解像度スケーラブルビットストリームを受信し、高解像度ビデオ系列を出力する。

したがって、高解像度スケーラブルビットストリーム及び低解像度ビットストリームの両者は、低複雑度デコーダ３００により受信される。低解像度ビットストリームは、非スケーラブル低解像度ビデオ圧縮デコーダを使用してデコードされ、非スケーラブル低解像度ビデオ圧縮デコーダは、低解像度フレームストアを利用する。デコードされた低解像度ビデオはアップサンプルされ、高解像度スケーラブルデコーダに入力される。高解像度スケーラブルデコーダは、高解像度フレームストアを利用し、高解像度出力ビデオ系列をつくる。

図４に進み、非スケーラブルビデオエンコーダは、参照符号４００により一般に示される。ビデオエンコーダ４００への入力は、サミングジャンクション（加算器、又は信号結合／比較のための他の手段）４１０の非反転入力との信号伝達で接続される。サミングジャンクション４１０の出力は、変換／量子化器４２０との信号伝達で接続される。変換／量子化器４２０の出力は、エントロピー符号化機４４０との信号伝達で接続され、エントロピー符号化器４４０の出力は、エンコーダ４００の外部の利用可能な出力である。

変換器／量子化器４２０の出力は、逆変換／量子化器４５０との信号伝達で更に接続される。逆変換／量子化器４５０の出力は、サミングジャンクション（加算器、又は信号伝達の他の手段）の第一の非反転入力との信号伝達で接続される。サミングジャンクション４８８の出力は、デブロックフィルタ４６０の入力との信号伝達で接続される。デブロックフィルタ４６０の出力は、基準ピクチャストア４７０との信号伝達で接続される。基準ピクチャストア４７０の第一の出力は、動き予測器４８０の第一の入力との信号伝達で接続される。エンコーダ４００への入力は、動き予測器４８０の第二の入力との信号伝達で更に接続される。動き予測器４８０の出力は、動き補償器４９０の第一の入力との信号伝達で接続される。基準ピクチャストア４７０の第二の出力は、動き補償器４９０の第二の入力との信号伝達で接続される。動き補償器４９０の出力は、サミングジャンクション４１０の反転入力との信号伝達、及びサミングジャンクション４８８の第二の非反転入力との信号伝達で接続される。

図５に進み、非スケーラブルビデオデコーダは、参照符号５００により一般的に示される。ビデオデコーダ５００は、ビデオ系列を受信するエントロピーデコーダ５１０を含む。エントロピーデコーダ５１０の第一の出力は、逆量子化／変換器５２０の入力との信号伝達で接続される。逆量子化／変換器５２０の出力は、サミングジャンクション（加算器、又は信号結合／比較のための他の手段）の第一の入力との信号伝達で接続される。

サミングジャンクション５４０の出力は、デブロッキングフィルタ５９０との信号伝達で接続される。デブロッキングフィルタ５９０の出力は、基準ピクチャストア５５０との信号伝達で接続される。基準ピクチャストア５５０は、動き補償５６０の第一の入力との信号伝達で接続される。動き補償器５６０の出力は、サミングジャンクション５４０の第二の入力との信号接続で接続される。エントロピーデコーダ５１０の第二の出力は、動き補償器５６０の第二の入力との信号伝達で接続される。デブロッキングフィルタ５９０の出力は、ビデオデコーダ５００の出力を提供する。

Ｈ．２６４／ＭＰＥＧＡＶＣはＲＲＵ（ＲｅｄｕｃｅｄＲｅｓｏｌｕｔｉｏｎＵｐｄａｔｅ）モードを使用するために拡張されることが提案される。ＲＲＵモードは、フル解像度（ｆｕｌｌｒｅｓｏｌｕｔｉｏｎ）のピクチャの動き予測及び補償を実行しつつ、符号化されるべき残余のマクロブロック（ＭＢ）の数を低減することで低ビットレートでの符号化効率を改善する。図６に戻り、ＲＲＵ（ＲｅｄｕｃｅｄＲｅｓｏｌｕｔｉｏｎＵｐｄａｔｅ）ビデオエンコーダは、参照符号６００により一般に示される。ビデオエンコーダ６００への入力は、サミングジャンクション（加算器、又は信号結合／比較のための他の手段）の非反転入力との信号伝達で接続される。サミングジャンクション６１０の出力は、ダウンサンプラ６１２の入力との信号伝達で接続される。変換／量子化器６２０の入力は、ダウンサンプラ６１２の出力との信号伝達、又はサミングジャンクション６１０の出力との信号伝達で接続される。変換／量子化器６２０の出力は、エントロピーコーダ６４０との信号伝達で接続され、エントロピーコーダ６４０の出力は、エンコーダ６００の外部の利用可能な出力である。

変換／量子化器６２０の出力は、逆変換／量子化器６５０の入力との信号伝達で更に接続される。逆変換／量子化器６５０の出力は、アップサンプラ６５５の入力との信号伝達で接続される。加算器（サミングジャンクション、又は他の信号結合手段）６８８の第一の非反転入力は、逆変換／量子化器６５０の出力との信号伝達、又はアップサンプラ６５５の出力との信号伝達で接続される。加算器６８８の出力は、デブロッキングフィルタ６６０の入力との信号伝達で接続される。デブロッキングフィルタ６６０の出力は、基準ピクチャストア６７０の入力との信号伝達で接続される。基準ピクチャストア６７０の第一の出力は、動き予測器６８０の第一の入力との信号伝達で接続される。エンコーダ６００への入力は、動き予測６８０の第二の入力との信号伝達で更に接続される。動き予測器６８０の出力は、動き補償器６９０の第一の入力との信号伝達で接続される。基準ピクチャストア６７０の第二の出力は、動き補償器６９０の第二の入力との信号伝達で接続される。動き補償器６９０の出力は、サミングジャンクション６１０の反転入力との信号伝達、又は加算器６８８の第二の非反転入力との信号伝達で接続される。

図７に戻り、ＲＲＵ（ＲｅｄｕｃｅｄＲｅｓｏｌｕｔｉｏｎＵｐｄａｔｅ）ビデオデコーダは、参照符号７００により一般に示される。ビデオデコーダ７００は、ビデオ系列を受信するためにエントロピーデコーダ７１０を含む。エントロピーデコーダ７１０の出力は、逆量子化／変換器７２０の入力との信号伝達で接続される。逆量子化／変換器７２０の出力は、アップサンプラ７２２の入力との信号伝達で接続される。アップサンプラ７２２の出力は、サミングジャンクション（加算器、又は信号結合／比較のための他の手段）７４０の第一の入力との信号伝達で接続される。

サミングジャンクション７４０の出力は、フル解像度の基準ピクチャストア７５０との信号伝達、及びデブロッキングフィルタ７９０との信号伝達で接続される。フル解像度の基準ピクチャストア７５０は、動き補償器７６０との信号伝達で接続され、サミングジャンクション７４０の第二の入力との信号伝達で接続される。デブロッキングフィルタ７９０の出力は、ビデオデコーダ７００の出力を提供する。

従来技術のこれらの問題点及び課題、並びに他の問題点及び課題は、複雑度スケーラブルビデオ符号化及び復号化の装置及び方法に向けられる本発明により対処される。

本発明の１実施の形態の態様によれば、以下のステップを含む画像ブロックのビデオビットストリームを復号化する方法が提供される。ビデオビットストリームをデコードするステップ、デコードされたビットストリームを逆量子化及び逆変換して予測の残余を形成するステップ、予測の残余をアップサンプリングし、アップサンプリングされた予測の残余（ｐｒｅｄｉｃｔｉｏｎｒｅｓｉｄｕａｌ）を形成するステップ、デコードされたビデオビットストリームから動き補償されたフル解像度の予測を形成するステップ、アップサンプリングされた予測の残余を動き補償されたフル解像度の予測と結合し、デコードされた画像ブロックを取得するステップ。

本発明のこれらの態様、特徴及び利点、並びに他の態様、特徴及び利点は、添付図面と共に読まれる、例示的な実施の形態の以下の詳細な説明から明らかとなるであろう。本発明は、以下の例示的な図面に従って良好に理解される。

従来技術に係る、典型的な空間スケーラビリティシステムのブロック図である。従来技術に係る、２つのレイヤをサポートする空間スケーラブルエンコーダのブロック図である。従来技術に係る、２つのレイヤをサポートする空間スケーラブルデコーダのブロック図である。従来技術に係る、Ｈ．２６４／ＭＰＥＧＡＶＣ規格で使用される通常の非スケーラブルビデオエンコーダのブロック図である。従来技術に係る、Ｈ．２６４／ＭＰＥＧＡＶＣと使用される通常の非スケーラブルビデオデコーダのブロック図である。従来技術に係る、ＲＲＵ（ＲｅｄｕｃｅｄＲｅｓｏｌｕｔｉｏｎＵｐｄａｔｅ）ビデオエンコーダのブロック図である。従来技術に係る、ＲＲＵ（ＲｅｄｕｃｅｄＲｅｓｏｌｕｔｉｏｎＵｐｄａｔｅ）ビデオデコーダのブロック図である。本発明の原理に係る、複雑度スケーラビリティブロードキャストシステムのブロック図である。本発明の原理に係る、低解像度の複雑度スケーラブルビデオデコーダのブロック図である。本発明の原理に係る、高解像度の複雑度スケーラブルビデオデコーダのブロック図である。本発明の原理に係る、複雑度スケーラブルビデオエンコーダのブロック図である。本発明の原理に係る、ビデオ符号化プロセスのフローチャートである。本発明の原理に係る、空間スケーラビリティによるビデオ符号化プロセスのフローチャートである。本発明の原理に係る、高解像度ビデオ復号化プロセスのフローチャートである。本発明の原理に係る、低解像度ビデオ復号化プロセスのフローチャートである。本発明の原理に係る、空間スケーラビリティにより高解像度ビデオ復号化プロセスのフローチャートである。

本発明は、スケーラブル複雑度ビデオ符号化及び復号化の装置及び方法に向けられる。
本実施の形態の記載は、本発明の原理を例示するものである。当業者であれば、本実施の形態で明示的に記載又は図示されないが、本発明の原理を実施し、本発明の精神及び範囲に含まれる様々な構成を考案することができることが理解される。

本実施の形態で引用される全ての例及び条件付き言語は、本発明の原理を理解することにおいて読者を支援する教育的な目的のために意図され、かかる特に引用された例及び条件に限定されることがないとして解釈されるべきである。

さらに、本発明の原理、態様及び実施の形態をここで述べる全ての説明は、その特定の例と同様に、本発明の構造的かつ機能的に等価なものの両者を包含することが意図される。さらに、かかる等価なものは、現在知られている等価なもの、及び将来的に開発される等価なもの、すなわち構造に関わらず同じ機能を実行する開発されたエレメントの両者を含むことが意図される。

したがって、たとえば、ここで与えられるブロック図は、本発明の原理を実施する例示的な回路の概念的なビューを表すことは、当業者により理解されるであろう。同様に、フローチャート、フローダイアグラム、状態遷移図、擬似コード等は、かかるコンピュータ又はプロセッサが明示的に示されるか否かで、コンピュータ読取り可能なメディアで実質的に表現され、したがってコンピュータ又はプロセッサにより実行される様々なプロセスを表すことが意図される。

図面で示される様々なエレメントの機能は、適切なソフトウェアに関連してソフトウェアを実行可能なハードウェアと同様に、専用ハードウェアの使用を通して提供される場合がある。プセッサにより提供されるとき、機能は、単一の専用プロセッサ、単一の共有のプロセッサ、又はそのうちの幾つかが供給される場合がある複数の個々のプロセッサにより提供される場合がある。さらに、用語「プロセッサ」又は「コントローラ」の明示的な使用は、ソフトウェアを実行可能なハードウェアを明示的に示すことが解釈されるべきではなく、限定されるものではないが、デジタルシグナルプロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを記憶するためのリードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、及び不揮発性ストレージを暗黙に含む場合がある。

他のハードウェア、慣習的及び／又はカスタムが含まれる場合もある。同様に、図に示される何れかのスイッチは、概念的のみである。それらの機能は、プログラムロジックの動作、専用ロジック、プログラム制御及び専用ロジックのインタラクション、又は手動を通して実行される場合があり、特定の技術は、コンテクストから更に詳細に理解されるように実現するものより選択される。

本発明の請求項では、特定の機能を実行する手段として表現された何れかのエレメントは、たとえばａ）その機能を実行する回路エレメントの組み合わせ、又はｂ）機能を実行するそのソフトウェアを実行する適切な回路で結合される、ファームウェア、マイクロコード等を含む何れかの形式でソフトウェアを含めて、その機能を実行する何れかのやり方を包含することが意図される。かかる請求項により定義される本発明は、様々な引用される手段により提供される機能が結合され、請求項が呼び出す方式で集められる。出願人は、それらの機能を提供することができる何れかの手段は本実施の形態で示されるものに等価であると認識している。

本発明は、符号化効率を維持しつつ、多様な異なったユーザエンドポイント装置をもつブロードキャストビデオシステムをイネーブルにする点で有効である。一般性を失うことなしに、少なくとも２つのデコーダ複雑度及び解像度の異なるレベルをサポートするシステムを考える。低解像度デコーダは、小さいディスプレイサイズを有し、非常に厳密なデコーダ複雑度の制約を有する。フル解像度のデコーダは、より大きなディスプレイサイズを有し、厳密さはないが重要なデコーダの複雑度の制約を有する。

ブロードキャスト又はマルチキャストシステムは、ビットレートＢＲ_ｂａｓｅをもつベースレイヤ及びビットレートＢＲ_{ｅｎｈａｎ}をもつエンハンスメントレイヤである、２つのビットストリームを送信する。２つのビットストリームは、互いに多重化され、１つのトランスポートストリームで送出される場合がある。図８に戻り、複雑度スケーラビリティブロードキャストシステムは、参照符号８００により一般的に示される。システム８００は、本発明の原理に係る、複雑度スケーラブルビデオエンコーダ及び低解像度デコーダ並びにフル解像度デコーダを含む。複雑度スケーラビリティブロードキャストシステム８００は、複雑度スケーラブルビデオエンコーダ８１０を含む。複雑度スケーラブルビデオエンコーダ８１０の第一の出力は、マルチプレクサ８２０の第一の入力との信号通信において接続される。複雑度スケーラブルビデオエンコーダ８１０の第二の出力は、マルチプレクサ８２０の第二の入力との信号通信において接続される。
マルチプレクサ８２０の出力は、ネットワーク８３０との信号通信において接続される。ネットワーク８３０の出力は、第一のデマルチプレクサ８４０の入力との信号通信、及び第二のデマルチプレクサ８５０の入力との信号通信において接続される。第一のデマルチプレクサ８４０の出力は、低解像度デコーダ８５０の入力との信号通信において接続される。第二のデマルチプレクサ８６０の第一の出力は、フル解像度のデコーダ８７０の第一の入力との信号通信において接続される。第二のマルチプレクサ８６０の第二の出力は、フル解像度のデコーダ８７０の第二の入力との信号通信において接続される。低解像度デコーダ８５０は、ベースレイヤビットストリームのみを処理し、フル解像度デコーダ８７０は、ベースレイヤのビットストリームとエンハンスメントレイヤのビットストリームの両方を処理する。

このシステムの鍵となる目標は、ＢＲ_ｂａｓｅ＋ＢＲ_{ｅｎｈａｎ}を最小にすることである。これは、典型的なスケーラビリティシステムとは幾分異なり、ＢＲ_ｂａｓｅ自身を最小にすることは、図１に示されるように重要であると考えられ、低解像度装置は、低帯域幅ネットワークを介して接続される。複雑度スケーラビリティシステム８００では、ベースレイヤとエンハンスメントレイヤの両方がブロードキャストされ、したがってベースレイヤビットストリームのビットレートは高く制約されない。

本発明では、動き予測／補償の後に形成されるビデオの残余の符号化のために使用されるビットは、低解像度デコーダ８５０及びフル解像度のデコーダ８７０の両者で使用される。ベースレイヤビットストリームで伝送される動きベクトル（ｍｖｓ）は、低解像度デコーダ８５０及びフル解像度デコーダ８７０の両者で使用され、低解像度デコーダ８５０においてよりもフル解像度デコーダ８７０において高い精度である。また、動き補償予測は、低解像度デコーダ８５０において低解像度で行われ、高解像度デコーダ８７０において高解像度で行われる。低解像度での動きブロックは、高解像度で大きなブロックに対応する。したがって、Ｈ．２６４／ＭＰＥＧＡＶＣのコーデックに適用されるとき、たとえば許容可能な動きブロックサイズ１６×１６、１６×８、８×１６、８×８、８×４、４×８及び４×４は、低解像度ベースレイヤで使用されるが、フル解像度では、大きなブロックサイズ３２×３２、３２×１６、１６×３２、１６×１６、１６×８、８×１６及び８×８に対応する。

低解像度デコーダ８５０は、ベースレイヤビットストリームのみを使用する。更なるエンハンスメントレイヤビットストリームは、たとえば、フル解像度のデコーダ８７０における使用向けに１６×１６マクロブロックを使用して伝送される。エンハンスメントレイヤのビットストリームは、フル解像度の動き補償と行われる、ベースレイヤのビットストリームのデコードの結果に加算されるべき、フル解像度のエラー信号を含む。エンハンスメントレイヤのビットレートは、ベースレイヤのそれよりも低くなる場合があり、このことは、ベースレイヤのビットレートがエンハンスメントレイヤのビットレートと比較して典型的に小さい典型的な空間スケーラビリティのケースとは異なる。フル解像度エラー信号は、それぞれ符号化されたマクロブロック又はスライス／ピクチャについて必ずしも送出されない。

図９に戻り、低解像度の複雑度スケーラブルビデオデコーダは、参照符号９００により一般的に示される。ビデオデコーダ９００は、ビデオ系列を受信するためにエントロピーデコーダ９１０を含む。エントロピーデコーダ９１０の第一の出力は、逆量子化／変換器９２０の入力との信号通信において接続される。逆量子化／変換器９２０の出力は、サミングジャンクション（加算器、又は信号結合／比較のための他の手段）９４０の第一の入力との信号通信において接続される。

サミングジャンクション９４０の出力は、基準ピクチャストア９５０との信号通信、及びデブロッキングフィルタ９９０との信号通信において接続される。基準ピクチャストア９５０は、動き補償器９６０の第一の入力との信号通信において接続される。動き補償器９６０の出力は、サミングジャンクション９４０の第二の入力との信号通信において接続される。エントロピーデコーダ９１０の第二の出力は、動きベクトル（ＭＶ）の解像度低減手段９９９の入力との信号通信において接続される。ＭＶ解像度低減手段９９９の出力は、動き補償器９６０の第二の入力との信号通信において接続される。デブロッキングフィルタ９９０の出力は、ビデオデコーダ９００の出力を提供する。

ベースレイヤのビットストリームは、エントロピーデコーダ９１０によりエントロピー復号化される。動きベクトルは、動きベクトルの解像度低減手段９９９により丸められ、低解像度に対応するために動きベクトルの精度が低減される。残りのブロックは、逆量子化及び逆変換、動き補償及びデブロッキングフィルタを含めて、標準的なビデオデコーダで発見されるブロックに類似している。低解像度のスケーラブルデコーダ９００の複雑度は、動きベクトルのスケーリングが非常に低い複雑度であるので、非スケーラブルデコーダの複雑度に非常に類似している。低解像度とフル解像度の間のそれぞれのディメンジョンにおける解像度の比においてファクタ２が使用される場合、システムにおいて切り上げが選択されたか、切り下げが選択されたかに依存して、丸めはちょうど右シフト又は加算と右シフトで実現することができる。

本発明の代替的な実施の形態では、ベースレイヤで伝送された動きベクトルは、高解像度のベクトルではない。このケースでは、低解像度デコーダは、既存の符号化規格と完全に後方互換性がある。しかし、かかるシステムは、更なるビット精度のフル解像度の動きベクトルがエンハンスメントレイヤのビットストリームで伝送される必要があるので、低い符号化効率からなる場合がある。このケースでは、エンハンスメントレイヤは、Ｐスライスに類似して符号化され、動きベクトルは、第一に（たとえば、対応する低解像度レイヤｍｖに対して異なって符号化されるといった）レイヤ予測に基づいて、第二に（たとえば隣接するｍｖｓに対して、又は隣接する差ｍｖｓに対して異なって符号化されるといった）空関予測を使用して異なって符号化される。

図１０に進み、高解像度の複雑度スケーラブルビデオデコーダ１０００は、参照符号１０００により一般的に示されている。ビデオデコーダ１０００は、ベースレイヤのビットストリームを受信するために第一のエントロピーデコーダ１００５を含む。第一のエントロピーデコーダ１００５の出力は、第一の逆の量子化／変換１０１０の入力との信号通信において接続される。第一の逆の量子化／変換器１０１０の出力は、アップサンプラ１０１５の入力との信号通信において接続される。アップサンプラ１０１５の出力は、第一のサミングジャンクション（加算器、又は信号結合／比較のための他の手段）の第一の入力との信号通信において接続される。

第一のサミングジャンクション１０２０の出力は、第二のサミングジャンクション（加算器、又は信号結合／比較の他の手段）の第一の入力との信号通信において接続される。フル解像度の基準ピクチャストア１０３０の出力は、動き補償器１０３５の第一の入力との信号通信において接続される。エントロピーデコーダ１００５の第二の出力は、動き補償器１０３５の第二の入力との信号通信において接続される。動き補償器１０３５の出力は、第一のサミングジャンクション１０２０の第二の入力との信号通信において接続される。

第二のエントロピーデコーダ１０４０の入力は、エンハンスメントレイヤビットストリームを受信するためのものである。第二のエントロピーデコーダ１０４０の出力は、第二の逆量子化／変換器１０４５の入力との信号通信において接続される。第二の逆量子化／変換器１０４５の出力は、第二のサミングジャンクション１０２５の第二の入力との信号通信で接続される。デブロッキングフィルタ１０５０への入力は、フル解像度の基準ピクチャストア１０３０の入力との信号通信、又は第二のサミングジャンクション１０２５の出力との信号通信において接続される。デブロッキングフィルタ１０５０の出力は、ビデオデコーダ１０００の出力を提供する。
ベースレイヤビットストリームで動作するデコーダ１０００の部分は、ＲＲＵデコーダに類似している。エントロピー復号化及び逆量子化及び逆変換の後、残余がアップサンプリングされる。動き補償は、フル解像度の予測を形成するため、フル解像度の基準ピクチャに適用され、アップサンプリングされた残余は、予測に加えられる。フル解像度のエラー信号がエンハンスメントレイヤビットストリームに存在する場合、エントロピー復号化及び逆量子化及び変換され、ＲＲＵ再構築された信号に加えられる。デブロッキングフィルタが次いで適用される。フル解像度エラー信号の存在は、スキップマクロブロックモードの使用によりマクロブロックレベルで合図される。
マクロブロックがスキップされたとしてマークされた場合、更なるエラー信号が存在せず、マクロブロックがマークされない場合、ｄｅｌｔａ＿ｑｕａｎｔ、符号化されたブロックパターン及び実際の残余が送信される必要がある。スキップマクロブロックは、効率を更に高めるためにランレングス符号化される。方向性予測を実行しない更なるイントラ指向性の予測モードがつくられる場合がある。エンハンスメントレイヤにおけるマクロブロックがスキップされる場合に更なる予測を実行しないことは更に効率が高いが、更なる予測は、隣接するマクロブロックを考慮することで推論される。たとえば、Ｈ．２６４で記載された全てのイントラ予測モードが利用可能である場合、最終的な予測を生成するためにＲＲＵ再構成された信号に加えられる隣接するマクロブロック（すなわち最小の方向性の予測）の予測モードから導出することができるスキップのための更なる予測が生成される。同様に、エラー信号の送信を更に許容しつつ、隣接するマクロブロックからその方向性の予測モードを導出する更なるダイレクトイントラモードが使用される。

このアーキテクチャの従来の空間スケーラブルデコーダとの大きな違いは、基準ピクチャストア及び動き補償ユニットの２つのセットの必要がないことである。このフル解像度デコーダは、フル解像度の基準ピクチャストアのみを含み、フル解像度で１度だけ動き補償を実行するのみである。対照的に、図３の空間スケーラビリティデコーダは、フル解像度及び低解像度の基準ピクチャストアの両者を含み、フル解像度及び低解像度の両者で動き補償を実行する。これは、従来の空間スケーラブルデコーダに比較して、本発明に係るフル解像度のデコーダの計算、メモリ、メモリ帯域幅における大幅な低減につながる。

フル解像度のスケーラブルデコーダのデコーダの複雑度は、同じ解像度の通常のビデオデコーダの複雑度に類似する。ベースレイヤビットストリームの逆量子化及び逆変換ブロックは、数ブロックで動作するので低解像度からなる。しかし、更なるエントロピー復号化及び逆量子化及び逆変換は、エンハンスメントレイヤのビットストリームについて必要とされる。動き補償及びデブロッキングフィルタは、最も計算上複雑なデコーダのブロックであり、通常のデコーダから変化されない。

本発明の実施の形態では、イントラ符号化された（Ｉ）スライスがベースレイヤで存在するとき、エンハンスメントレイヤビットストリームのフル解像度のエラー信号のみが送出される。Ｉスライスのみについてエンハンスメントレイヤの使用を制限することは、ソフトウェア実現についてデコーダの複雑度が制限される。Ｉスライスは、Ｐ及びＢスライスよりも少ない計算を一般に必要とし、したがって、更なるエントロピー復号化及び逆量子化及び逆変換動作のために利用可能な余分のＣＰＵサイクルが存在する。

図１１に進み、複雑度スケーラブルビデオエンコーダは、参照符号１１００により一般的に示される。ビデオエンコーダ１１００への入力は、第一のサミングジャンクション（加算器、又は信号結合／比較のための他の手段）の非反転入力との信号通信において接続される。第一のサミングジャンクション１１０５の出力は、ダウンサンプラ１１１２の入力との信号通信において接続される。ダウンサンプラ１１１２の出力は、第一の変換器／量子化器１１１５の入力との信号通信において接続される。第一の変換器／量子化器１１１５の出力は、第一のエントロピーコーダ１１２０の入力との信号通信において接続され、第一のエントロピーコーダ１１２０の出力は、ベースレイヤのビットストリームのためのエンコーダ１１００の外部で利用可能な出力である。

第一の変換器／量子化器１１１５の出力は、第一の逆変換／量子化器１１２５の入力との信号通信において更に接続される。第一の逆変換／量子化器１１２５の出力は、アップサンプラ１１５５の入力との信号通信で接続される。アップサンプラ１１５５の出力は、第三のサミングジャンクション（加算器、又は信号結合／比較のための他の手段）１１９９の第一の入力との信号通信において接続される。第三のサミングジャンクション１１９９の第一の出力は、第二のサミングジャンクション（加算器、又は信号結合／比較のための他の手段）１１６０の第一の非反転入力との信号通信において接続される。第三のサミングジャンクション１１９９の第二の出力は、第三のサミングジャンクション１１６５の第一の非反転入力との信号通信において接続される。

ビデオエンコーダ１１００への入力は、第二のサミングジャンクション１１６０の非反転入力との信号通信において更に接続される。第二のサミングジャンクション１１６０の出力は、スイッチ１１６２の入力との信号通信において接続される。スイッチ１１６２の出力は、第二の変換／量子化器１１７０への入力との信号通信において接続される。第二の変換／量子化器１１７０の出力は、第二のエントロピーコーダ１１７５の入力との信号通信において接続され、第二のエントロピーコーダ１１７５の出力は、エンハンスレイヤのビットストリームについてエンコーダ１１００の外部で利用可能な出力である。第二の変換／量子化器１１７０の出力は、第二の逆変換／量子化器１１８０の入力との信号通信において更に接続される。第二の逆変換／量子化器１１８０の出力は、第三のサミングジャンクション１１６５の第二の非反転入力との信号通信で接続される。

ビデオエンコーダ１１００への入力は、動き予測器１１８５の第一の入力との信号通信において更に接続される。動き予測器１１８５の出力は、動き補償器１１９０の第一の入力との信号通信において接続される。動き補償器１１９０の出力は、第一のサミングジャンクション１１０５の反転入力との信号通信、及び第三のサミングジャンクション１１９９の第二の入力との信号通信において接続される。フル解像度の基準ピクチャストア１１９２の第一の出力は、動き予測器１１８５の第二の入力との信号通信において接続される。フル解像度の基準ピクチャストア１１９２の第二の出力は、動き補償器１１９０の第二の入力との信号通信において接続される。フル解像度の基準ピクチャストア１１９２の入力は、デブロッキングフィルタ１１９５の出力との信号通信において接続される。デブロッキングフィルタ１１９５の入力は、スイッチ１１９１の出力との信号通信において接続される。スイッチ１１９１の別の入力は、第三のサミングジャンクション１１６５の出力との信号通信において接続される。

エンコーダ１１００は、低解像度のビデオ品質よりはむしろフル解像度のビデオ品質を最適化しようとする。動き予測は、フル解像度のビデオピクチャで実行される。入力ピクチャから動き補償された予測の減算の後、予測の残余がダウンサンプリングされる。ＲＲＵコーデックにおけるのとは異なり、ダウンサンプリングは、低解像度のデコーダがデコードすべきピクチャを常に有するように、全てのピクチャに適用される。ダウンサンプリングされた残余は、変換、量子化及びエントロピー符号化される。これにより、ベースレイヤのビットストリームが形成される。逆量子化及び逆変換が適用され、次いで、符号化された残余は、フル解像度にアップサンプルされる。エンコーダは、ピクチャ又はスライスについてエンハンスメントレイヤのフル解像度のエラー信号を送出するか、否かを選択することができる。
一般に、エンハンスメントレイヤのフル解像度のエラー信号は、全てのＩスライスについて符号化され、フル解像度の入力ピクチャがデコードされたアップサンプルされたものを引いたとき、エラー信号の大きさに基づいてＰ及びＢスライスについて任意に送出される。エンハンスメントレイヤのフル解像度のエラー信号が符号化される場合、符号化されたベースレイヤがアップサンプリングされた符号化されたピクチャは、入力のフル解像度のピクチャから減算される。次いで、差が量子化され、変換され、エントロピー符号化されてエンハンスメントレイヤのビットストリームが形成される。エンハンスメントレイヤのビットストリームは、イントラ符号化されたスライスのみを含むとして見ることができる。

代替的な実施の形態では、低解像度ピクチャとフル解像度ピクチャの両者の結合最適化が行われる。それは、スケーラブルエンコーダ、低解像度の基準ピクチャストア、及び更なる低解像度の動き補償ブロックの内側のフル低解像度のデコーダモデルの追加を必要とする。

たとえば、双一次補間、ゼロ次ホールド、又はマルチタップフィルタといった、幾つかの異なるアップサンプリング及びダウンサンプリングフィルタの何れかを使用することができる。

更なるデブロッキングフィルタは、エンハンスメントレイヤエラー信号の追加の前に、フル解像度デコーダ及びスケーラブルエンコーダで追加される。デブロッキングは、このケースでは、使用されるエンハンスメントレイヤのマクロブロックモードを考慮しており、すなわち、全ての影響されたブロックがスキップされた場合、更なるデブロッキングが適用されず、さもなければ、残余又は低解像度の構築されたブロックでアップスケーリングが実行されたかに依存して、異なる強度のフィルタリングが適用される。

Ｈ．２６４／ＭＰＥＧＡＶＣに適用されたとき、フル解像度のデコーダにおけるイントラ予測のために使用するため、１を超える可能性のある方法が存在する。イントラ予測は、Ｈ．２６４／ＭＰＥＧＡＶＣ仕様におけるのと同じ予測画素を使用して低解像度で印加される。代替的に、別の方法が使用され、イントラ予測はフル解像度で適用され、フル解像度での多数の画素が予測で使用される。

代替的な実施の形態では、フル解像度のデコーダは、ベースレイヤの復号化（すなわち１６×１６マクロブロック）と同じ解像度及び方法を使用してマクロブロックの動き補償を実行することを決定する場合があり、これは次いで、フル解像度にアップサンプリングされる。アップサンプリングは、双一次又は長タップフィルタを使用して実行される。必要な場合、フル解像度のエラー信号が追加される。（すなわちスキップモードから離れて、ＲＲＵマクロブロックモード、及び低解像度のマクロブロックモードの存在により）マクロブロックレベルでの更なるシグナリングを通して判定が行われる。このプロセスは、所定のケースについて望まれ、この場合、ハイモーション及びテクスチャ詳細のため、残余のアップサンプリングは、望まれない高周波及びアーチファクトの生成につながる。にもかかわらず、これは、フル解像度のデコーダが低解像度のリファレンスを記憶するか、又はオンザフライで、低解像度のリファレンスを生成することができることを必要とする。

また、長タップフィルタは、動き補償が小さなブロックについて実行される事実から部分的に補償できるが、複雑度を更に被る。第二に、しかし、同じ問題に対する更にシンプルな相対的なソリューションは、フル解像度で動き補償を実行すること、ベースレイヤの残余をエントロピー復号化及び逆量子化及び逆変換することであるが、フル解像度エラーを最終的に追加する前に、動き補償された信号に追加しない。この方法は、残りの残余のデコードのためのエントロピーコンテクストモデルを更新するため、ベースレイヤの残余のデコードを必要とする。この後のソリューションは、低解像度マクロブロックモードを置き換えるか、又はフル解像度の残余のエンコードの更なるモードとして共存する。

先の記載及び図面は、２つのレイヤのスケーラビリティを想定しているが、このコンセプトは、任意の数のレイヤに拡張することができる。

図１２に進み、ビデオ符号化プロセスは、参照符号１２００により一般的に示される。プロセスは、ループリミットブロック１２１０に制御を移す開始ブロック１２０５を含む。ループリミットブロック１２１０は、判定ブロック１２１５に制御を移し、判定ブロックは、現在の入力ブロックがイントラ符号化されたか否かを判定する。現在の入力ブロックがイントラ符号化されていない場合、制御は、現在の入力ブロックのイントラ予測を形成する機能ブロック１２２０に移り、制御を機能ブロック１２３０に移す。さもなければ、現在の入力ブロックがイントラ符号化された場合、制御は、現在の入力ブロックの動き補償された予測を形成する機能ブロック１２２５に移り、制御を機能ブロック１２３０に移す。機能ブロック１２３０は、現在の入力ブロックの予測を現在の入力ブロックから引いて予測の残余を形成し、次いで制御は機能ブロック１２３５に移る。

機能ブロック１２３５は、予測の残余をダウンサンプルし、制御を機能ブロック１２４０に移す。機能ブロック１２４０は、ダウンサンプリングされた予測の残余を変換及び量子化し、制御を機能ブロック１２４５に移す。機能ブロック１２４５は、予測の残余をエントロピー符号化し、制御を機能ブロック１２５０に移す。機能ブロック１２５０は、予測の残余を逆変換及び逆量子化し、符号化された予測残余を形成し、制御を機能ブロック１２５５に移す。機能ブロック１２５５は、符号化された予測の残余をアップサンプリングしてアップサンプリングされた符号化された予測の残余を形成し、次いで、制御を機能ブロック１２６０に移す。機能ブロック１２６０は、アップサンプリングされた符号化された予測の残余を現在の入力ブロックの予測に加えて符号化されたピクチャブロックを形成し、次いで、制御をループリミットブロック１２６５に移す。ループリミットブロックは、制御をエンドブロック１２７０に移す。

図１３に進み、空間スケーラビリティによるビデオ符号化プロセスは、参照符号１３００により一般に示される。プロセスは、ループリミットブロック１３１０に制御を移す開始ブロック１３０５を含む。ループリミットブロック１３１０は、判定ブロック１３１５に制御を移し、判定ブロックは、現在の入力ブロックがイントラ符号化されているか否かを判定する。現在の入力ブロックがイントラ符号化されていない場合、制御は、現在の入力ブロックのイントラ予測を形成する機能ブロック１３２０に移り、次いで、制御を機能ブロック１３３０に移す。さもなければ、現在の入力ブロックがイントラ符号化されている場合、制御は、現在の入力ブロックの動き補償された予測を形成する機能ブロック１３２５に移り、次いで、制御を機能ブロック１３３０に移す。機能ブロック１３３０は、現在の入力ブロックの予測を現在の入力ブロックから引いてベースレイヤの予測の残余を形成し、次いで、制御を機能ブロック１３３５に移す。

機能ブロック１３３５は、ベースレイヤの予測の残余をダウンサンプルし、次いで、制御を機能ブロック１３４０に移す。機能ブロック１３４０は、ダウンサンプリングされたベースレイヤの予測の残余を変換及び量子化し、次いで、制御を機能ブロック１３４５に移す。機能ブロック１３４５は、ベースレイヤ予測の残余をエントロピー符号化し、次いで、制御を機能ブロック１３５０に移す。機能ブロック１３５０は、予測の残余を逆変換及び逆量子化して符号化されたベースレイヤの予測の残余を形成し、次いで、制御を機能ブロック１３５５に移す。機能ブロック１３５５は、符号化されたベースレイヤの予測の残余をアップサンプリングしてアップサンプリングされた符号化されたベースレイヤの予測の残余を形成し、次いで、制御を機能ブロック１３６０に移す。機能ブロック１３６０は、アップサンプリングされた符号化された予測の残余を現在の入力ブロックの予測に加えて符号化されたベースレイヤブロックを形成し、次いで、制御を機能ブロック１３６５に移す。

機能ブロック１３６５は、符号化されたベースレイヤブロックを現在の入力ブロックから引いてエンハンスレイヤの予測の残余を形成し、次いで、制御を機能ブロック１３７０に移す。機能ブロック１３７０は、ダウンサンプリングされたエンハンスレイヤの予測の残余を変換及び量子化し、次いで、制御を機能ブロック１３７５に移す。機能ブロック１３７５は、エンハンスレイヤの予測の残余をエントロピー符号化し、次いで、制御を機能ブロック１３８０に移す。機能ブロック１３８０は、エンハンスレイヤの予測の残余を逆変換及び逆量子化して符号化されたエンハンスレイヤの予測の残余を形成し、次いで、制御を機能ブロック１３８５に移す。機能ブロック１３８５は、符号化されたエンハンスレイヤのブロックを追加し、次いで、制御をループリミットブロック１３９０に移す。ループリミットブロック１３９０は、制御を終了ブロック１３９５に移す。

図１４に進み、高解像度のビデオ復号化プロセスは、参照符号１４００により一般に示される。プロセスは、制御をループリミットブロック１４１０に移す開始ブロック１４０５を含む。ルームリミットブロック１４１０は、制御を機能ブロック１４１５に移し、機能ブロック１４１５は、符号化されたベースレイヤの予測の残余ビットストリームをエントロピー復号化し、次いで、制御を機能ブロック１４２０に移す。機能ブロック１４２０は、ベースレイヤの予測の残余を逆変換及び逆量子化して符号化されたベースレイヤの予測の残余を形成し、次いで、制御を機能ブロック１４２５に移す。機能ブロック１４２５は、符号化されたベースレイヤの予測の残余をアップサンプリングしてアップサンプリングされた符号化されたベースレイヤの予測の残余を形成し、次いで、制御を判定ブロック１４３０に移す。

判定ブロック１４３０は、現在の入力ブロックがイントラ符号化されたか否かを判定する。現在の入力ブロックがイントラ符号化されていない場合、制御は、現在の入力ブロックの高解像度の動き補償された予測を形成する機能ブロック１４３５に移り、次いで、制御を機能ブロック１４４０に移す。さもなければ、現在の入力ブロックがイントラ符号化された場合、制御は、現在の入力ブロックの高解像度のイントラ予測を形成する機能ブロック１４４５に移り、次いで、制御は、機能ブロック１４４０に移る。機能ブロック１４４０は、アップサンプリングされた符号化された予測の残余を現在の入力ブロックの予測に加えて符号化されたピクチャブロックを形成し、次いで、制御をループリミットブロック１４５０に移す。ループリミットブロック１４５０は、終了ブロック１４５５に移す。

図１５に進み、低解像度のビデオ復号化プロセスは、参照符号１５００により一般に示される。プロセスは、制御をループリミットブロック１５１０に移す開始ブロック１５０５を含む。ループリミットブロック１５１０は、機能ブロック１５１５に制御を移し、機能ブロック１５１５は、符号化されたベースレイヤの予測の残余ビットストリームをエントロピー復号化し、次いで、制御を機能ブロック１５２０に移す。機能ブロック１５２０は、ベースレイヤの予測の残余を逆変換及び逆量子化して符号化されたベースレイヤの予測の残余を形成し、次いで、制御を判定ブロック１５２５に移す。判定ブロック１５２５は、現在の入力ブロックがイントラ符号化されたか否かを判定する。
現在の入力ブロックがイントラ符号化されていない場合、現在の入力ブロックについて動きベクトルをスケーリングする機能ブロック１５３０に制御を移し、次いで、制御を機能ブロック１５３５に移す。さもなければ、現在の入力ブロックがイントラ符号化されている場合、制御は、現在の入力ブロックの低解像度のイントラ予測を形成する機能ブロック１５４０に移り、次いで、制御は、機能ブロック１５４５に移る。機能ブロック１５３５は、現在の入力ブロックの低解像度の動き補償された予測を形成し、次いで、制御を機能ブロック１５４５に移す。機能ブロック１５４５は、符号化された予測の残余を現在の入力ブロックの予測に加えて符号化されたピクチャブロックを形成し、次いで、制御をループリミットブロック１５５０に移す。ループリミットブロック１５５０は、制御を終了ブロック１５５５に移す。

図１６に進み、空間スケーラビリティをもつ高解像度のビデオ復号化プロセスは、参照符号１６００により一般に示される。プロセスは、ループリミットブロック１６１０に制御を移す開始ブロック１６０５を含む。ループリミットブロック１６１０は、機能ブロック１６１５に制御を移し、機能ブロック１６１５は、符号化されたベースレイヤの予測の残余をエントロピー復号化し、次いで、制御を機能ブロック１６２０に移す。機能ブロック１６２０は、ベースレイヤの予測の残余を逆変換及び逆量子化して符号化されたベースレイヤの予測の残余を形成し、次いで制御を機能ブロック１６２５に移す。機能ブロック１６２５は、符号化されたベースレイヤの予測の残余をアップサンプリングしてアップサンプリングされた符号化されたベースレイヤの予測の残余を形成し、次いで、制御を判定ブロック１６３０に移す。
判定ブロック１６３０は、現在の入力ブロックがイントラ符号化されているか否かを判定する。現在の入力ブロックがイントラ符号化されていない場合、制御は、現在の入力ブロックの高解像度の動き補償された予測を形成する機能ブロック１６３５に移り、次いで、制御を機能ブロック１６４０に移す。さもなければ、現在の入力ブロックがイントラ符号化されている場合、制御は、現在の入力ブロックの高解像度のイントラ予測を形成する機能ブロックに１６４５に移り、次いで、制御を機能ブロック１６４０に移す。機能ブロック１６４０は、アップサンプリングされた符号化された予測の残余を現在の入力ブックの予測に加えて符号化されたピクチャブロックを形成し、次いで、制御を機能ブロック１６４６に移す。
機能ブロック１６４６は、フル解像度の符号化されたエンハンスレイヤの予測の残余ビットストリームをエントロピー復号化し、次いで、制御を機能ブロック１６５０に移す。機能ブロック１６５０は、フル解像度のエンハンスメントレイヤの予測の残余を逆変換及び逆量子化してフル解像度の符号化されたエンハンスメントレイヤの予測の残余を形成し、次いで、制御を機能ブロック１６５５に移す。機能ブロック１６５５は、符号化されたベースレイヤのピクチャブロックをフル解像度の符号化されたエンハンスメントレイヤの予測の残余に加えて符号化されたピクチャブロックを形成し、次いで、制御をループリミットブロック１６６０に移す。ループリミットブロック１６６０は、終了ブロック１６６５に制御を移す。

本発明のこれらの特徴及び利点、並びに他の特徴及び利点は、本実施の形態での教示に基づいて当業者により確定される場合がある。本発明の教示は、ハードウェア、ソフトウェア、ファームウェア、特定用途向けプロセッサ、又はその組み合わせの様々な形態で実現される場合があることを理解されたい。

最も好ましくは、本発明の教示は、ハードウェア及びソフトウェアの組み合わせとして実現される。さらに、ソフトウェアは、プログラムストレージユニットで有形に実施されるアプリケーションプログラムとして実現されることが好ましい。アプリケーションプログラムは、適切なアーキテクチャを有するマシンにアップロードされる、マシンにより実行される場合がある。好ましくは、マシンは、１以上の中央処理装置（ＣＰＵ）、ランダムアクセスメモリ（ＲＡＭ）、及び入力／出力（Ｉ／Ｏ）インタフェースのようなハードウェアを有するコンピュータプラットフォームで実現される。コンピュータプロラットフォームは、オペレーティングシステム及びマイクロ命令コードを含む場合がある。本実施の形態で記載された様々な処理及び機能は、ＣＰＵにより実行される場合がある、マイクロ命令コードの一部、又はアプリケーションプログラムの一部、若しくはその組み合わせのいずれかである場合がある。さらに、様々な他の周辺装置は、付加的なデータストレージユニット及びプリンティングユニットのようなコンピュータプラットフォームに接続される場合がある。

要素たるシステムコンポーネント及び添付図面に示される方法の幾つかはソフトウェアで実現されることが好ましいため、システムコンポーネント又はプロセスの機能ブロックとの間の実際のコネクションは、本発明がプログラムされる方式に依存して異なる場合があることが更に理解される。本実施の形態での教示が与えられると、当業者であれば本発明のこれらの実現又はコンフィギュレーション、並びに類似の実現又はコンフィギュレーションを考案することができる。

例示的な実施の形態は添付図面を参照して本明細書で記載されたが、本発明はそれら正確な実施の形態に限定されず、様々な変形及び変更が本発明の範囲又は精神から逸脱することなしに当業者により実施される場合があることを理解されたい。全ての係る変形及び変更は、特許請求の範囲で述べた本発明の範囲に含まれることが意図される。

８１０：複雑度スケーラブルビデオエンコーダ
８２０：MUX
８３０：ネットワーク
８４０：DEMUX
８５０：低解像度デコーダ
８６０：DEMUX
８７０：フル解像度デコーダ

Claims

第一の解像度の予測の残差をアップサンプルして、アップサンプリングされた予測の残差を形成するアップサンプラと、
動き補償された第二の解像度の予測を形成する動き予測手段と、
前記アップサンプリングされた予測の残差を前記動き補償された第二の解像度の予測に加えて、第二の解像度のデコードされた画像ブロックを形成する加算手段と、
動き補償された第一の解像度の予測を形成する第二の動き予測手段と、
前記第一の解像度の予測の残差を前記動き補償された第一の解像度の予測に加えて、第一の解像度のデコードされた画像ブロックを形成する第二の加算手段と、
を備えることを特徴とする空間スケーラブルビデオデコーダ。
前記加算手段は、
前記アップサンプリングされた予測の残差を前記動き補償された第二の解像度の予測に加えて、総和信号を形成する第一の加算手段と、
第二の解像度のエンハンスメントレイヤの誤差信号を前記総和信号に加えて、前記第二の解像度のデコードされた画像ブロックを形成する第三の加算器と、
を有する請求項１記載の空間スケーラブルビデオデコーダ。
前記第二の解像度のエンハンスメントレイヤの誤差信号は、イントラ符号化される、
請求項２記載の空間スケーラブルビデオデコーダ。
ビデオストリームを解凍するエントロピーデコーダと、
解凍されたビデオストリームに含まれるデコードされた第二の解像度の動きベクトルを受信して、受信された第二の解像度の動きベクトルの精度を低減して第一の解像度の動きベクトルを形成する動きベクトル解像度低減手段と、
第一の解像度の予測の残差をアップサンプルして、アップサンプリングされた予測の残差を形成するアップサンプラと、
前記第二の解像度の動きベクトルを使用して、動き補償された第二の解像度の予測を形成する動き予測手段と、
前記アップサンプリングされた予測の残差を前記動き補償された第二の解像度の予測に加えて、第二の解像度のデコードされた画像ブロックを形成する加算手段と、
前記第一の解像度の動きベクトルを使用して、動き補償された第一の解像度の予測を形成する第二の動き予測手段と、
前記第一の解像度の予測の残差を前記動き補償された第一の解像度の予測に加えて、第一の解像度のデコードされた画像ブロックを形成する第二の加算手段と、
を備えることを特徴とする空間スケーラブルビデオデコーダ。
第一の解像度の予測の残差を使用して、第二の解像度のデコードされた画像ブロックと第一の解像度のデコードされた画像ブロックの少なくとも一方を形成するステップを含む空間スケーラブルビデオの復号化方法であって、
前記第二の解像度のデコードされた画像ブロックは、前記第一の解像度の予測の残差をアップサンプルして、アップサンプリングされた予測の残差を形成するステップ、動き補償された第二の解像度の予測を形成するステップ、及び前記アップサンプリングされた予測の残差を前記動き補償された第二の解像度の予測に加えて、前記第二の解像度のデコードされた画像ブロックを形成するステップにより形成され、
前記第一の解像度のデコードされた画像ブロックは、動き補償された第一の解像度の予測を形成するステップ、及び前記第一の解像度の予測の残差を前記動き補償された第一の解像度の予測に加えて、前記第一の解像度のデコードされた画像ブロックを形成するステップにより形成される、
ことを特徴とする方法。
前記アップサンプリングされた予測の残差を前記動き補償された第二の解像度の予測に加えて、前記第二の解像度のデコードされた画像ブロックを形成する前記ステップは、
前記アップサンプリングされた予測の残差を前記動き補償された第二の解像度の予測に加えて、総和信号を形成するステップと、
第二の解像度のエンハンスメントレイヤの誤差信号を前記総和信号に加えて、前記第二の解像度のデコードされた画像ブロックを形成するステップと、
を含む請求項５記載の方法。
前記第二の解像度のエンハンスメントレイヤの誤差信号は、イントラ符号化される、
請求項６記載の方法。
ビデオストリームを解凍するステップと、
解凍されたビデオビットストリームに含まれるデコードされた第二の解像度の動きベクトルを受信し、受信された第二の解像度の動きベクトルの精度を低減して、第一の解像度の動きベクトルを形成するステップと、
第一の解像度の予測の残差を使用して、第二の解像度のデコードされた画像ブロックと第一の解像度のデコードされた画像ブロックの少なくとも一方を形成するステップとを含む空間スケーラブルビデオの復号化方法であって、
前記第二の解像度のデコードされた画像ブロックは、前記第一の解像度の予測の残差をアップサンプルして、アップサンプリングされた予測の残差を形成するステップ、前記第二の解像度の動きベクトルを使用して動き補償された第二の解像度の予測を形成するステップ、及び前記アップサンプリングされた予測の残差を前記動き補償された第二の解像度の予測に加えて、前記第二の解像度のデコードされた画像ブロックを形成するステップにより形成され、
前記第一の解像度のデコードされた画像ブロックは、前記第一の解像度の動きベクトルを使用して動き補償された第一の解像度の予測を形成するステップ、及び前記第一の解像度の予測の残差を前記動き補償された第一の解像度の予測に加えて、前記第一の解像度のデコードされた画像ブロックを形成するステップにより形成される、
ことを特徴とする方法。