JP2008536451A - 空間スケーラブルビデオ符号化及び復号化向けスライス適応型動きベクトル符号化のための方法及び装置 - Google Patents

Abstract

スケーラブルビデオ符号化及び復号化向けの空間スケーラブルビデオエンコーダ及びデコーダ並びに対応する方法が提供される。空間スケーラブルビデオ符号化の方法は、スライス毎に動きベクトルのスケーラブル符号化とノンスケーラブル符号化の間で選択することを含む。

Description

本発明は、ビデオエンコーダ及びデコーダ全般に関し、より詳細には、空間スケーラブルビデオ符号化及び復号化向けのスライス適応型動きベクトル符号化のための方法及び装置に関する。
本出願は、２００５年４月１４日に提出された“ＳＬＩＣＥ ＡＤＡＰＴＩＶＥ ＭＯＴＩＯＮ ＶＥＣＴＯＲ ＣＯＤＩＮＧ ＦＯＲ ＳＰＡＴＩＡＬ ＳＣＡＬＡＢＬＥ ＶＩＤＥＯ ＣＯＤＩＮＧ”と題された米国仮出願６０／６７１，２５７号の利益を特許請求するものであり、その内容はその完全な形で引用により盛り込まれる。

スケーラブルビデオ符号化スキームは、サイマル放送の符号かのビットレートペナルティを受けることなしに、異なるアプリケーション及びデコーダ要件をサポートすることが望ましい。動き予測及び補償が時間的な冗長度を除くために適用される多くの既存のスケーラブル符号化スキームについて、動きベクトルを符号化するために使用される従来技術のアプローチは、問題を有している。一般に、ノンスケーラブル動きベクトル符号化及びスケーラブル動きベクトル符号化といった２つの方法は、動きベクトルを符号化するために使用されている。ノンスケーラブル動きベクトル符号化スキームでは、動きベクトルは、最も高いエンハンスメントレイヤの精度で符号化され、ベースレイヤに記憶される。次いで、下位レイヤについて、動きベクトルは、ダウンサンプリングされる必要がある。スケーラブル動きベクトル符号化スキームでは、下位レイヤの動きベクトルのリファインメントは、符号化された動きベクトルがその上位レイヤについての動きベクトルの精度を表すように、それぞれの上位レイヤで符号化される。全体のビットレートの符号化効率について、ノンスケーラブル動きベクトルの符号化は、スケーラブル動きベクトル符号化よりも良好な効率を有する。しかし、ノンスケーラブル動きベクトル符号化は、動きベクトルの全てのビットをベースレイヤに配置する。したがって、ビットレートスケーラビリティが必要とされる場合、ノンスケーラブル動きベクトル符号化は、ベースレイヤの品質を損傷する。ノンスケーラブル動きベクトル符号化は下位レイヤについてダウンサンプリングを必要とするので、規格に準拠しないベースレイヤの問題を引き起こす。デコーダのなかには、係る特徴をサポートすることができない場合がある。他方で、ビットレートスケーラビリティが要件ではないが、代わりにブロードキャストビデオアプリケーションにおけるように複雑さ及び全体のビットレート符号化効率が要件である場合、ノンスケーラブル動きベクトル符号化は、良好な符号化効率を有する。

多くの異なるスケーラビリティの方法は、ＭＰＥＧ−２及びＭＰＥＧ−４規格のスケーラビリティプロファイルにおいて、ＳＮＲスケーラビリティ、空間スケーラビリティ、時間スケーラビリティ、及びファイングレインスケーラビリティを含めて、広く研究され、標準化されている。スケーラブル符号化における研究の大部分は、下位の解像度のレイヤが制限された帯域幅を有するビットレートスケーラビリティを狙いとしている。図１に示されるように、典型的な空間スケーラビリティシステムは、参照符号１００により一般に示される。システム１００は、ビデオ系列を受信するために複雑度スケーラブルなビデオエンコーダ１１０を含む。複雑度スケーラブルなビデオエンコーダ１１０の第一の出力は、シグナルコミュニケーションで、低帯域幅ネットワーク１２０及びマルチプレクサ１３０の第一の入力と接続される。複雑度スケーラブルビデオエンコーダ１１０の第二の出力は、シグナルコミュニケーションで、マルチプレクサ１３０の第二の入力と接続される。低帯域幅のネットワーク１２０の出力は、シグナルコミュニケーションで、低解像度のデコーダ１４０の入力と接続されている。マルチプレクサ１３０の出力は、シグナルコミュニケーションで、高帯域幅のネットワーク１５０の入力と接続される。高帯域幅のネットワーク１５０の出力は、シグナルコミュニケーションで、デマルチプレクサ１６０の入力と接続される。デマルチプレクサ１６０の第一の出力は、シグナルコミュニケーションで、高解像度デコーダ１７０の第一の入力と接続され、デマルチプレクサ１６０の第二の出力は、シグナルコミュニケーションで、高解像度デコーダ１７０の第二の入力と接続される。低解像度デコーダ１４０の出力は、ベースレイヤビットストリームのシステム１００の出力として利用可能であり、高解像度デコーダ１７０の出力は、スケーラブルビットストリームについてシステム１００の出力として利用可能である。

スケーラブル符号化は、エンコーダ及びデコーダの複雑度における大幅な増加のため、スケーラブルエンコーダの符号化効率がノンスケーラブルエンコーダの符号化効率以下で典型的に良好であるため、実際に広く適用されていない。

空間スケーラブルエンコーダ及びデコーダは、高解像度のスケーラブルエンコーダ／デコーダがノーマルの高解像度エンコーダ／デコーダに存在するよりも更なる機能を提供することを典型的に必要とする。ＭＰＥＧ−２空間スケーラブルエンコーダでは、予測が低解像度の参照ピクチャから行われるか、高解像度の参照ピクチャから行われるかに関する判定が行われる。ＭＰＥＧ−２空間スケーラブルデコーダは、低解像度の参照ピクチャ又は高解像度の参照ピクチャのいずれかから予測が可能である必要がある。ＭＰＥＧ−２空間スケーラブルエンコーダ／デコーダにより、２セットの参照ピクチャストアが必要とされ、一方は低解像度ピクチャ用であり、他方は高解像度ピクチャ用である。図２は、従来技術に係る２つのレイヤをサポートする低解像度の空間スケーラブルエンコーダ２００のブロック図を示す。図３は、従来技術に係る、２つのレイヤをサポートする低い複雑度の空間スケーラブルデコーダ３００のブロック図を示す。

図２に戻り、２つのレイヤをサポートする空間スケーラブルビデオエンコーダは、参照符号２００により全般的に示される。ビデオエンコーダ２００は、高解像度の入力ビデオ系列を受信するダウンサンプラ２１０を含む。ダウンサンプラ２１０は、低解像度のノンスケーラブルエンコーダ２１２とシグナルコミュニケーションで結合され、エンコーダ２１２は、低解像度フレームストア２１４とシグナルコミュニケーションで結合される。低解像度のノンスケーラブルエンコーダ２１２は、低解像度のビットストリームを出力し、低解像度のノンスケーラブルデコーダ２２０とシグナルコミュニケーションで更に結合される。

低解像度のノンスケーラブルデコーダ２２０は、アップサンプラ２３０とシグナルコミュニケーションで結合され、アップサンプラ２３０は、スケーラブル高解像度エンコーダ２４０とシグナルコミュニケーションで結合され、スケーラブル高解像度のエンコーダ２４０は、高解像度の入力ビデオ系列を受け、高解像度のフレームストア２５０とシグナルコミュニケーションで結合され、高解像度のスケーラブルビットストリームを出力する。低解像度のノンスケーラブルエンコーダ２１２の出力、及びスケーラブル高解像度エンコーダの出力は、空間スケーラブルビデオエンコーダ２００の出力として利用可能である。

したがって、高解像度の入力ビデオ系列は、低い複雑度のエンコーダ２００により受信され、低解像度のビデオ系列を形成するためにダウンサンプリングされる。低解像度のビデオ系列は、ノンスケーラブル低解像度のビデオ圧縮エンコーダを使用して符号化され、低解像度のビットストリームが形成される。低解像度のビットストリームは、ノンスケーラブルな低解像度ビデオ圧縮デコーダを使用してデコードされる。この機能は、エンコーダ内部で実行される。デコードされた低解像度系列はアップサンプリングされ、スケーラブル高解像度エンコーダへの２つの入力のうちの１つとして提供される。スケーラブル高解像度エンコーダは、高解像度のスケーラブルビットストリームを形成するためにビデオをエンコードする。

図３に戻り、２つのレイヤをサポートする空間スケーラブルビデオデコーダは、参照符号３００により全般的に示される。ビデオデコーダ３００は、低解像度フレームストア３６２とシグナルコミュニケーションで結合される、低解像度ビットストリームを受信するため低解像度デコーダ３６０を含み、低解像度ビデオ系列を出力する。低解像度デコーダ３６０は、アップサンプラ３７０とシグナルコミュニケーションで更に結合され、アップサンプラ３７０は、スケーラブル高解像度デコーダ３８０とシグナルコミュニケーションで結合される。

スケーラブル高解像度デコーダ３８０は、高解像度フレームストア３９０とシグナルコミュニケーションで更に結合される。スケーラブルな高解像度デコーダ３８０は、高解像度スケーラブルビットストリームを受信し、高解像度ビデオ系列を出力する。低解像度デコーダ３６０の出力及びスケーラブル高解像度デコーダの出力は、空間スケーラブルビデオデコーダ３００の出力として利用可能である。

したがって、高解像度スケーラブルビットストリーム及び低解像度ビットストリームの両者は、低い複雑度のデコーダ３００により受信される。低解像度のビットストリームは、低解像度のフレームストアを利用する、ノンスケーラブルな低解像度のビデオ圧縮デコーダを使用してデコードされる。デコードされた低解像度のビデオは、アップサンプリングされ、次いで、高解像度のスケーラブルデコーダに入力される。高解像度のスケーラブルデコーダは、高解像度のフレームストアのセットを利用し、高解像度の出力ビデオ系列を形成する。

図４に戻り、ノンスケーラブルビデオエンコーダは、参照符号４００により全般的に示される。ビデオエンコーダ４００への入力は、サミングジャンクション４１０の非反転入力とシグナルコミュニケーションで接続される。サミングジャンクション４１０の出力は、変換器／量子化器４２０とシグナルコミュニケーションで接続される。変換器／量子化器４２０の出力は、エントロピーコーダ４４０とシグナルコミュニケーションで接続される。エントロピーコーダ４４０の出力は、エンコーダ４００の出力として利用可能である。変換器／量子化器４２０の出力は、逆変換器／逆量子化器４５０とシグナルコミュニケーションで更に接続される。逆変換／逆量子化器４５０の出力は、デブロックフィルタ４６０の入力とシグナルコミュニケーションで接続される。デブロックフィルタ４６０の出力は、参照ピクチャストア４７０とシグナルコミュニケーションで接続される。参照ピクチャストア４７０の第一の出力は、動き予測器４８０の第一の入力とシグナルコミュニケーションで接続される。エンコーダ４００への入力は、動き予測器４８０の第二の入力とシグナルコミュニケーションで更に接続される。動き予測器４８０の出力は、動き補償器４９０の第一の入力とシグナルコミュニケーションで接続される。参照ピクチャストア４７０の第二の出力は、動き補償器４９０の第二の入力とシグナルコミュニケーションで接続される。動き予測器４９０の出力は、サミングジャンクション４１０の反転入力とシグナルコミュニケーションで接続される。

図５に戻り、ノンスケーラブルなビデオデコーダは、参照符号５００により全般的に示される。ビデオデコーダ５００は、ビデオ系列を受けるためにエントロピーデコーダ５１０を含む。エントロピーデコーダ５１０の第一の出力は、逆量子化器／逆変換器５２０の入力とシグナルコミュニケーションで接続される。逆量子化器／逆変換器５２０の出力は、サミングジャンクション５４０の第一の入力とシグナルコミュニケーションで接続される。

サミングジャンクション５４０の出力は、デブロックフィルタ５９０とシグナルコミュニケーションで接続される。デブロックフィルタ５９０の出力は、参照ピクチャストア５５０とシグナルコミュニケーションで接続される。参照ピクチャストア５５０は、動き予測器５６０の第一の入力とシグナルコミュニケーションで接続される。動き予測器５６０の出力は、サミングジャンクション５４０の第二の入力とシグナルコミュニケーションで接続される。エントロピーデコーダ５１０の第二の出力は、動き予測器５６０の第二の入力とシグナルコミュニケーションで接続される。デブロックフィルタ５９０の出力は、ビデオデコーダ５００の出力として利用可能である。

Ｈ．２６４／ＭＰＥＧ ＡＶＣはＲＲＵ（Ｒｅｄｕｃｅｄ Ｒｅｓｏｌｕｔｉｏｎ Ｕｐｄａｔｅ）モードを使用するために拡張されることが提案されている。ＲＲＵモードは、フル解像度のピクチャの動き予測及び補償を実行しつつ、符号化されるべき残余のマクロブロック（ＭＢ）の数を低減することで、低ビットレートで符号化効率を改善する。図６に戻り、ＲＲＵ（Ｒｅｄｕｃｅｄ Ｒｅｓｏｌｕｔｉｏｎ Ｕｐｄａｔｅ）は、参照符号６００により全般的に示される。ビデオエンコーダ６００への入力は、サミングジャンクション６１０の非反転入力とシグナルコミュニケーションで接続される。サミングジャンクション６１０の出力は、ダウンサンプラ６１２の入力とシグナルコミュニケーションで接続される。変換器／量子化器６２０の入力は、ダウンサンプラ６１２の出力、又はサミングジャンクション６１０の出力とシグナルコミュニケーションで接続される。変換器／量子化器６２０の出力は、エントロピーコーダ６４０とシグナルコミュニケーションで接続される。エントロピーコーダ６４０の出力は、ビデオエンコーダ６００の出力として利用可能である。

変換器／量子化器６２０の出力は、逆変換器／逆量子化器６５０の入力とシグナルコミュニケーションで更に接続される。逆変換器／逆量子化器６５０の出力は、アップサンプラ６５５の入力とシグナルコミュニケーションで接続される。デブロックフィルタ６６０の入力は、逆変換器／逆量子化器６５０の出力又はアップサンプラ６５５の出力とシグナルコミュニケーションで接続される。デブロックフィルタ６６０の出力は、参照ピクチャストア６７０の入力とシグナルコミュニケーションで接続される。参照ピクチャストア６７０の第一の出力は、動き予測器６８０の第一の入力とシグナルコミュニケーションで接続される。エンコーダ６００への入力は、動き予測器６８０の第二の入力とシグナルコミュニケーションで更に接続される。動き予測器６８０の出力は、動き補償器６９０の第一の入力とシグナルコミュニケーションで接続される。参照ピクチャストア６７０の第二の出力は、動き補償器６９０の第二の入力とシグナルコミュニケーションで接続される。動き補償器６９０の出力は、サミングジャンクション６１０の反転入力とシグナルコミュニケーションで接続される。

図７に戻り、ＲＲＵ（Ｒｅｄｕｃｅｄ Ｒｅｓｏｌｕｔｉｏｎ Ｕｐｄａｔｅ）ビデオデコーダは、参照符号７００により全般的に示される。ビデオデコーダ７００は、ビデオ系列を受けるエントロピーデコーダ７１０を含む。エントロピーデコーダ７１０の出力は、逆量子化器／逆変換器７２０の入力とシグナルコミュニケーションで接続される。逆量子化器／逆変換器７２０の出力は、アップサンプラ７２２の入力とシグナルコミュニケーションで接続される。アップサンプラ７２２の出力は、サミングジャンクション７４０の第一の入力とシグナルコミュニケーションで接続される。

サミングジャンクション７４０の出力は、デブロックフィルタ７９０とシグナルコミュニケーションで接続される。デブロックフィルタ７９０の出力は、フル解像度の参照ピクチャストア７５０の入力とのシグナルコミュニケーションで接続される。デブロックフィルタ７９０の出力は、ビデオデコーダ７００の出力として利用可能である。フル解像度の参照ピクチャストア７５０の出力は、動き補償器７６０とシグナルコミュニケーションで接続され、この動き補償器は、サミングジャンクション７４０の第二の入力とシグナルコミュニケーションで接続される。

複雑度のスケーラブルコーデックを設計するためにＲＲＵコンセプトを使用することが提案されている。２つの異なるデコーダの複雑度及び解像度のレベルをサポートするシステムについて例が提供される。低解像度デコーダは、小型ディスプレイのサイズを有し、非常に厳密なデコーダの複雑度の制約を有する。フル解像度のデコーダは、大型ディスプレイのサイズを有し、厳密さは無いが重要なデコーダの複雑度の制約を有する。ブロードキャスト又はマルチキャストシステムは、ビットレートＢＲ_ｂａｓｅをもつベースレイヤとビットレートＢＲ_{ｅｎｈａｎ}をもつエンハンスメントレイヤといった、２つのビットストリームを送信する。２つのビットレートは、互いに多重化され、単一のトランスポートストリームで送出される。図８に戻り、複雑度のスケーラビリティのブロードキャストシステムは、参照符号８００により全般的に示される。システム８００は、複雑度のスケーラブルなビデオエンコーダ、低解像度のデコーダ及びフル解像度のデコーダを含む。複雑度スケーラビリティブロードキャストシステム８００は、複雑度のスケーラブルなビデオエンコーダ８１０を含む。複雑度のスケーラブルなビデオエンコーダ８１０の第一の出力は、マルチプレクサ８２０の第一の入力とシグナルコミュニケーションで接続される。複雑度のスケーラブルなビデオエンコーダ８１０の第二の出力は、マルチプレクサ８２０の第二の入力とシグナルコミュニケーションで接続される。マルチプレクサ８２０の出力は、ネットワーク８３０とシグナルコミュニケーションで接続される。ネットワーク８３０の出力は、第一のデマルチプレクサ８４０の入力及び第二のデマルチプレクサ８５０の入力とシグナルコミュニケーションで接続される。第一のデマルチプレクサ８４０の出力は、低解像度デコーダ８５０の入力とシグナルコミュニケーションで接続される。第二のデマルチプレクサ８６０の第一の出力は、フル解像度のデコーダ８７０の第一の入力とシグナルコミュニケーションで接続される。低解像度のデコーダ８５０の出力は、ベースレイヤビットストリームについてシステム８００の出力として利用可能であり、フル解像度デコーダ８７０の出力は、スケーラブルビットストリームについてシステム８００の出力として利用可能である。

低解像度デコーダ８５０は、ベースレイヤビットストリームのみを処理し、フル解像度のデコーダ８７０は、ベースレイヤビットストリーム及びエンハンスメントレイヤビットストリームの両者を処理する。ＲＲＵは、ベースレイヤで使用され、デコーダで異なる複雑度により低解像度及び高解像度系列の両者にデコードされる。エンハンスメントレイヤビットストリームは、フル解像度の動き補償と行われる、ベースレイヤビットストリームを復号化した結果に付加されることとなる、フル解像度のエラー信号を含む。エンハンスメントレイヤのビットレートは、ベースレイヤのビットレートがエンハンスメントレイヤのビットレートと比較して典型的に小さい典型的な空間スケーラビリティのケースとは異なる、ベースレイヤのビットレートよりも低いビットレートで終わる。フル解像度のエラー信号は、それぞれ符号化されたマクロブロック又はスライス／ピクチャについて必ずしも送出される必要はない。

従来技術のこれらの欠点及び問題点、並びに他の欠点及び問題点は、本発明により対処され、空間スケーラブルなビデオ符号化及び復号化向けのスライス適応型動きベクトル符号化のための方法及び装置に向けられる。

本発明の態様によれば、空間スケーラブルビデオ符号化の方法が提供される。本方法は、スライス毎に動きベクトルのスケーラブル符号化とノンスケーラブル符号化の間で選択することを含む。

本発明の別の態様によれば、空間スケーラブルなビデオエンコーダが提供される。空間スケーラブルなビデオエンコーダは、スライス毎に動きベクトルのスケーラブル符号化とノンスケーラブル符号化との間の選択を実行するエンコーダを含む。

本発明の更に別の態様によれば、ビットストリームの空間スケーラブルなビデオ復号化について方法が提供される。本方法は、ビットストリームのヘッダにおけるシンタックスフィールドに基づいて、ビットストリームで符号化された動きベクトルを使用するか、スケーリングファクタにより割られた動きベクトルの商を使用するかを判定することを含む。

本発明の更に別の態様によれば、ビットストリームを復号化する空間スケーラブルなビデオデコーダが提供される。空間スケーラブルなビデオデコーダは、ビットストリームのヘッダにおけるシンタックスフィールドに基づいて、ビットストリームで符号化された動きベクトルを使用するか、スケーリングファクタで割られた動きベクトルの商を使用するかを判定するデコーダを含む。

本発明のこれらの態様、特徴及び利点、並びに他の態様、特徴及び利点は、添付図面と共に例示的な実施の形態の以下の詳細な説明から明らかとなるであろう。
本発明は、以下の提示的な図面に従って良好に理解される。

本発明は、空間スケーラブルビデオ符号化及び復号化向けのスライス適合型動きベクトル符号化のための方法及び装置に向けられる。すなわち、動きベクトルのスケーラブル符号化とノンスケーラブル符号化の間でスライスに適合した選択（Ｓｌｉｃｅ Ａｄａｐｔｉｖｅ Ｓｅｌｅｃｔｉｏｎ）が実行される。本実施の形態で使用される「動きベクトルのスケーラブル符号化」は、下位レイヤの動きベクトルのリファインメントがそれぞれ上位レイヤで符号化され、符号化された動きベクトルがその上位レイヤの動きベクトルの精度を表す、スケーラブル動きベクトルのスキームを意味することを理解されたい。

スライスに適合した選択は、限定されるものではないが、ベースレイヤコンパチビリティ、ビットレートスケーラビリティ、トータルビットレート符号化効率及び複雑度を含めた考慮に基づいていることを理解されたい。本実施の形態で提供される本発明の原理の教示が与えられると、これらの考慮及び他の考慮は、本発明の原理の範囲を維持しつつ、本発明の原理に従って実現される場合もある。

動き予測及び補償が時間の冗長度を除くために適用される大部分のスケーラブルビデオ符号化スキームでは、動きベクトルの符号化のために講じられるアプローチは、当然の考慮として与えられるべきである。本発明の原理によれば、空間スケーラブルビデオエンコーダ及び／又はデコーダについて、ノンスケーラブル動きベクトル符号化とスケーラブル動きベクトル符号化との間でのスライスに適合した選択を可能にする方法及び装置が提供される。本実施の形態で開示する方法及び装置は、トータルビットレート符号化効率、ビットレート又は複雑度スケーラビリティ及びデコーダ要件の良好なトレードオフを提供する。

本実施の形態の説明は、本発明の原理を例示するものである。当業者であれば、本実施の形態で明示的に記載又は図示されないが、本発明の原理を実施し、本発明の精神及び範囲内に含まれる様々な装置を考案するであろうことが理解される。

本実施の形態で引用される全ての例及び条件付きの言語は、本発明の原理、及び当該技術を促進するために本発明者により寄与されるコンセプトを理解することにおいて読者を支援する教育の目的のために意図され、係る特に引用される例及び条件に対する制約がないものとして解釈されるべきである。

さらに、本発明の原理、態様及び実施の形態を引用する本実施の形態における全ての説明は、その特定の例と同様に、本発明の構造的かつ機能的な等価なものの両者を包含することが意図される。さらに、係る等価は、現在公知の等価なものと同様に将来的に開発される等価なもの、すなわち構造に関わらず、同じ機能を実行する開発されたエレメントとの両者を含むことが意図される。

したがって、たとえば、当業者により理解される。本実施の形態で提供されるブロック図は、本発明の原理を実施する例示的な回路の概念的なビューを表すことが理解される。同様に、フローチャート、フローダイアグラム、状態遷移図、擬似コード等は、コンピュータ読取り可能なメディアで実質的に表され、係るコンピュータ又はプロセッサが明示的に示されるか否かに関わらず、コンピュータ又はプロセッサにより実行される様々な処理を表すことを理解されたい。

図面に示される様々なエレメントの機能は、適切なソフトウェアとの関連においてソフトウェアを実行可能なハードウェアと同様に、専用ハードウェアの使用を通して提供される場合がある。プロセッサにより提供されたとき、機能は、単一の専用のプロセッサ、単一のシェアドプロセッサ、又は複数の個々のプロセッサにより提供され、そのうちの幾つかは、共有される場合がある。さらに、用語「プロセッサ」又は「コントローラ」の明示的な使用は、ソフトウェアの実行が可能なハードウェアを排他的に意味するように解釈されるべきではなく、制限されることなしに、デジタルシグナルプロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを記憶するためのリードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、及び不揮発性ストレージを暗黙的に含む。

他のハードウェアは、コンベンショナル及び／又はカスタムも含まれる場合がある。同様に、図面に示されるスイッチは、概念的なものである。それらの機能は、プログラムロジックの動作を通して、専用ロジックを通して、プログラム制御と専用ロジックのインタラクションを通して、又は手動的に実行され、特定の技術は、コンテクストから更に詳細に理解されるように、実現者により選択可能である。

本発明の請求項では、規定された機能を実行する手段として表現されるエレメントは、たとえば、ａ）その機能を実行する回路エレメントの組み合わせ、ｂ）その機能を実行するそのソフトウェアを実行する適切な回路と組み合わされる、ファームウェア、マイクロコード等を含む任意の形式におけるソフトウェアを含む、その機能を実行する任意のやり方を包含することが意図される。係る請求項により定義される本発明は、様々な引用される手段により提供される機能が結合され、請求項が求めるやり方で集約される事実にある。それら機能を提供することができる任意の手段は本実施の形態で示されるものに等価であるとみなされる。

先に述べたように、本発明の原理は、空間スケーラブルビデオ符号化及び／復号化向けのスライスに適合した動きベクトル（ＭＶ）の判定をサポートする方法及び装置に向けられる。例示的な目的のため、本発明の原理に係る方法及び装置は、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ， Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ） Ｈ．２６４規格（以下「Ｈ．２６４規格」と呼ぶ）に関して本実施の形態で記載される。しかし、本発明の原理に係る実現は、Ｈ．２６４規格のみに制限されず、他のビデオ符号化及び復号化規格も本発明の原理に従って採用される。すなわち、本実施の形態で提供される本発明の原理の教示が与えられた場合、当業者は、本発明の範囲を維持しつつ、他のビデオ符号化及び復号化規格と同様にＨ．２６４規格に関連する本発明の原理の用途を予想するであろう。

図９に進み、低解像度の複雑度スケーラブルビデオエンコーダは、参照符号９００により全体的に示されている。ビデオデコーダ９００は、ビデオ系列を受けるエントロピーデコーダ９１０を含む。エントロピーデコーダ９１０の第一の出力は、逆量子化器／逆変換器９２０の入力とシグナルコミュニケーションで接続される。逆量子化器／逆変換器９２０の出力は、サミングジャンクション９４０の第一の入力とシグナルコミュニケーションで接続される。

サミングジャンクション９４０の出力は、デブロックフィルタ９９０とのシグナルコミュニケーションで接続される。デブロックフィルタの出力は、参照ピクチャストア９５０の入力とのシグナルコミュニケーションで接続される。デブロックフィルタ９９０の出力は、ビデオデコーダ９００の出力として利用可能である。参照ピクチャストア９５０の出力は、動き補償器９６０の第一の入力とシグナルコミュニケーションで接続される。動き補償器９６０の出力は、サミングジャンクション９４０の第二の入力とシグナルコミュニケーションで接続される。エントロピーデコーダ９１０の第二の出力は、動きベクトル（ＭＶ）解像度リデューサ９９９の入力とシグナルコミュニケーションで接続される。ＭＶ解像度リデューサ９９９の出力は、動き補償器９６０の第二の入力とシグナルコミュニケーションで接続される。

デコーダ９００において、ベースレイヤビットストリームはエントロピー復号化される。動きベクトルは、低解像度に対応する精度にそれらを低減するため、スケーリングされ、丸め処理される。この低解像度のスケーラブルデコーダの複雑度は、動きベクトルのスケーリングが非常に低い複雑度からなるので、ノンスケーラブルデコーダのそれに非常に類似している。ファクタ２が低解像度とフル解像度の間のそれぞれのディメンジョンにおける解像度の比において使用される場合、丸め処理は、ラウンディングアップ又はラウンディングダウンがシステムで選択されたかに依存して、ちょうど右シフト又は加算及び右シフトで実現される。

図１０に進み、高解像度の複雑度スケーラブルビデオデコーダ１０００は、参照符号１０００により全体的に示される。ビデオデコーダ１０００は、ベースレイヤビットストリームを受ける第一のエントロピーデコーダ１００５を含む。第一のエントロピーデコーダ１００５の出力は、第一の逆量子化器／逆変換器１０１０の入力とシグナルコミュニケーションで接続される。第一の逆量子化器／逆変換器１０１０の出力は、アップサンプラ１０１５の入力とシグナルコミュニケーションで接続される。アップサンプラ１０１５の出力は、第一のサミングジャンクション１０２０の第一の入力とシグナルコミュニケーションで接続される。

第一のサミングジャンクション１０２０の出力は、第二のサミングジャンクション１０２５の第一の入力とシグナルコミュニケーションで接続される。フル解像度の参照ピクチャストア１０３０の出力は、動き補償器１０３５の第一の入力とシグナルコミュニケーションで接続される。（動きベクトル（ＭＶ）を出力する）エントロピーデコーダ１００５の第二の出力は、動き補償器１０３５の第二の入力とシグナルコミュニケーションで接続される。動き補償器１０３５の出力は、第一のサミングジャンクション１０２０の第二の入力とシグナルコミュニケーションで接続される。

第二のエントロピーデコーダ１０４０の入力は、エンハンスレイヤビットストリームを受けるためのものである。第二のエントロピーデコーダ１０４０の出力は、第二の逆量子化器／逆変換器１０４５の入力とシグナルコミュニケーションで接続される。第二の逆量子化器／逆変換器１０４５の出力は、第二のサミングジャンクション１０２５の第二の入力とシグナルコミュニケーションで接続される。

デブロックフィルタ１０５０への入力は、第一のサミングジャンクション１０２０の出力又は第二のサミングジャンクション１０２５の出力とシグナルコミュニケーションで接続される。デブロックフィルタ１０５０の出力は、フル解像度の参照ピクチャストア１０３０の入力とシグナルコミュニケーションで接続される。デブロックフィルタ１０５０の出力は、ビデオデコーダ１０００の出力として利用可能である。

ベースレイヤビットストリームで動作するデコーダ１０００の部分は、ＲＲＵデコーダに類似する。エントロピー復号化及び逆量子化及び逆変換の後、残余がアップサンプリングされる。フル解像度の予測を形成するため、フル解像度の参照ピクチャに動き補償が適用され、アップサンプリングされた残余は、予測に加えられる。フル解像度のエラー信号がエンハンスメントレイヤビットストリームに存在する場合、エントロピー復号化、逆量子化及び逆変換され、ＲＲＵ再構成された信号に加えられる。デブロッキングフィルタが次いで適用される。

図１１に進み、複雑度スケーラブルビデオエンコーダは、参照符号１１００により全体的に示される。ビデオエンコーダ１１００への入力は、第一のサミングジャンクション１１０５の非反転入力とシグナルコミュニケーションで接続される。第一のサミングジャンクション１１０５の出力は、ダウンサンプラ１１１２の入力とシグナルコミュニケーションで接続される。ダウンサンプラ１１１２の出力は、第一の変換器／量子化器１１１５の入力とシグナルコミュニケーションで接続される。第一の変換器／量子化器１１１５の出力は、第一のエントロピーコーダ１１２０の入力とシグナルコミュニケーションで接続される。第一のエントロピーコーダ１１２０の出力は、ベースレイヤビットストリームについてエンコーダ１１００の出力として利用可能である。

第一の変換器／量子化器１１１５の出力は、第一の逆変換器／逆量子化器１１２５の入力とシグナルコミュニケーションで更に接続される。第一の逆変換器／量子化器１１２５の出力は、アップサンプラ１１５５の入力とシグナルコミュニケーションで接続される。アップサンプラ１１５５の出力は、第二のサミングジャンクション１１６０の反転入力及び第三のサミングジャンクション１１６５の第一の非反転入力とシグナルコミュニケーションで接続される。

ビデオエンコーダ１１００への入力は、第二のサミングジャンクション１１６０の非反転入力とシグナルコミュニケーションで更に接続される。第二のサミングジャンクション１１６０の出力は、スイッチ１１６２の入力とシグナルコミュニケーションで接続される。スイッチ１１６２の出力は、第二の変換器／量子化器１１７０への入力とシグナルコミュニケーションで接続される。第二の変換器／量子化器１１７０の出力は、第二のエントロピーコーダ１１７５の入力とシグナルコミュニケーションで接続される。第二のエントロピーコーダ１１７５の出力は、エンハンスレイヤビットストリームについてエンコーダ１１００の出力として利用可能である。第二の変換器／量子化器１１７０の出力は、第二の逆変換器／量子化器１１８０の入力とシグナルコミュニケーションで接続される。第二の逆変換器／量子化器１１８０の出力は、第三のサミングジャンクション１１６５の第二の非反転入力とシグナルコミュニケーションで接続される。

ビデオエンコーダ１１００への入力は、動き予測器１１８５の第一の入力とシグナルコミュニケーションで更に接続される。動き予測器１１８５の出力は、動き補償器１１９０の第一の入力とシグナルコミュニケーションで接続される。動き補償器１１９０の出力は、第一のサミングジャンクション１１０５の反転入力とシグナルコミュニケーションで接続される。フル解像度の参照ピクチャストア１１９２の第一の出力は、動き予測器１１８５の第二の入力とシグナルコミュニケーションで接続される。フル解像度の参照ピクチャストア１１９２の第二の出力は、動き補償器１１９０の第二の入力とシグナルコミュニケーションで接続される。フル解像度の参照ピクチャストア１１９２の入力は、デブロックフィルタ１１９５の出力とシグナルコミュニケーションで接続される。デブロックフィルタ１１９５の入力は、スイッチ１１９１の出力とシグナルコミュニケーションで接続される。スイッチ１１９２の別の入力は、第三のサミングジャンクション１１６５の出力とシグナルコミュニケーションで接続される。

エンコーダ１１００は、低解像度のビデオ品質よりはむしろフル解像度のビデオ品質を最適化するように試みる。動き予測は、フル解像度のビデオピクチャで実行される。入力ピクチャから動き補償された予測を減算した後、予測の残差はダウンサンプリングされるＲ。ＲＲＵコーデックとは異なり、低解像度デコーダが復号化すべきピクチャを常に有することができるように、ダウンサンプリングが全てのピクチャに適用される。ダウンサンプリングされた残差は、変換及び量子化され、エントロピー符号化される。これは、ベースレイヤビットストリームを形成する。逆量子化及び逆変換が適用され、次いで、符号化された残差は、フル解像度にアップサンプリングされる。エンコーダ１１００は、そのピクチャ又はスライスについてエンハンスメントレイヤのフル解像度エラー信号を送出するか否かを選択する。一般に、エンハンスメントレイヤのフル解像度のエラー信号は全てのＩスライスについて符号化され、フル解像度の入力ピクチャがデコードされたアップサンプリングされたものを減算するときにエラー信号の大きさに基づいてＰ及びＢスライスを任意に送出することができる。エンハンスメントレイヤのフル解像度のエラー信号が符号化される場合、符号化されたベースレイヤのアップサンプリングされた符号化されたピクチャは、入力されたフル解像度のピクチャから減算される。次いで、差が量子化、変換、エントロピー符号化され、エンハンスメントレイヤビットストリームを形成する。エンハンスメントレイヤビットストリームは、イントラ符号化されたスライスのみを含むものとして見ることができる。したがって、このＲＲＵに基づいた複雑度のスケーラブルなビデオ符号化スキームでは、動きベクトルは、ノンスケーラブルに符号化される。

図１２に進み、本発明の原理に係る複雑度のスケーラビリティは、参照符号１２００により全体的に示されている。複雑度のスケーラビリティ１２００は、ベースレイヤ１２１０及びエンハンスメントレイヤ１２２０を含む。関与するピクチャタイプは、Ｉピクチャ１２３０、Ｐピクチャ１２４０、ＥＩピクチャ１２５０、ＥＰピクチャ１２６０、及びＥＢピクチャ１２７０を含む。両方のレイヤにおけるＰピクチャ１２４０は、同じビットストリームから、異なる復号化技術により共に復号化される。

たとえば図１３、図１４、図１５、図１６Ａ及び図１６Ｂといった本発明の原理に係るビデオ信号データを符号化及び／又は復号化することに関して本実施の形態で記載される方法は、本発明の原理の様々な例示的な態様を説明するために記載されることを理解されたい。しかし、符号化及び／又は復号化に関する幾つかの公知及び／又は容易に確認できるステップは、明確さ及び手短さのために省略される場合があることが理解される。

図１３に進み、空間スケーラブルビデオエンコーダ向けの適応型動きベクトル符号化の例示的な方法は、参照符号１３００により全体的に示されている。開始ブロック１３０５は、ベースレイヤ符号化を開始し、判定ブロック１３１０に制御を移す。判定ブロック１３１０は、たとえばアプリケーション及び／又はデコーダ基準に基づいて（使用されるべき粗いスケーラビリティである）、スライス毎にノンスケーラブル符号化（又はスケーラブル符号化）を使用して動きベクトルを符号化するか否かを判定する。動きベクトルを符号化しない場合、機能ブロック１３１５に制御が移る。さもなければ、機能ブロック１３２５に制御が移る。

機能ブロック１３１５は、Ｐ動きベクトルをスケーラブルとして符号化し、Ｂ動きベクトルをノンスケーラブルとして符号化し、機能ブロック１３２０に制御を移す。機能ブロック１３２０は、ｎｏｎ＿ｓｃａｌａｂｌｅ＿ ｍｖ＿ｃｏｄｉｎｇ＿ｆｌａｇをＰスライスヘッダで０に等しく設定し、Ｂスライスヘッダで１に等しく設定する。

機能ブロック１３２５は、Ｐ及びＢ動きベクトルをノンスケーラブルとして符号化し、機能ブロック１３３０に制御を移す。機能ブロック１３３０は、ｎｏｎ＿ｓｃａｌａｂｌｅ＿ｍｖ＿ｃｏｄｉｎｇ＿ｆｌａｇをＰ及びＢスライスヘッダの両者で１に設定する。

図１４に進み、空間スケーラブルビデオエンコーダの適応型動きベクトル符号化の別の例示的な方法は、参照符号１４００により全体的に示される。開始ブロック１４０５は、ベースレイヤ符号化を開始し、機能ブロック１４１０に制御を移す。機能ブロック１４１０は、動きベクトル（ＭＶ）がスケーラブル符号化されるべきか、ノンスケーラブル符号化されるべきかを判定するため、レート歪み（ＲＤ）の判定を実行し、判定ブロック１４１５に制御を移す。判定ブロック１４１５は、粗いスケーラビリティが使用されるべきであるか否かを判定する。使用されるべきではないと判定した場合、機能ブロック１４２０に制御が移る。さもなければ、機能ブロック１４２５に制御が移る。

機能ブロック１４２０は、ｎｏｎ＿ｓｃａｌａｂｌｅ＿ｍｖ＿ｃｏｄｉｎｇ＿ｆｌａｇをスライスヘッダで０に設定する。機能ブロック１４２５は、ｎｏｎ＿ｓｃａｌａｂｌｅ＿ｍｖ＿ｃｏｄｉｎｇ＿ｆｌａｇをスライスヘッダで１に設定する。

図１５に進み、空間スケーラブルビデオエンコーダの適合型動きベクトル符号化の更に別の例示的な方法は、参照符号１５００により全体的に示される。開始ブロック１５０５は、ベースレイヤ符号化を開始し、機能ブロック１５１０に制御を移す。機能ブロック１５１０は、ノンスケーラブルとしてベースレイヤスライスについて動きベクトルを符号化し、機能ブロック１５１５に制御を移す。機能ブロック１５１５は、ｎｏｎ＿ｓｃａｌａｂｌｅ＿ｍｖ＿ｃｏｄｉｎｇ＿ｆｌａｇをスライスヘッダで１に等しく設定する。

図１６Ａに進み、空間スケーラブルビデオデコーダ向けの動きベクトル復号化のために例示的な方法は、参照符号１６００により全体的に示されている。図１６Ａの方法１６００は、本発明の原理に従ってスライスヘッダの分析に関する。

開始ブロック１６０５は、ベースレイヤ復号化を開始し、判定ブロック１６１０に制御を移す。判定ブロック１６１０は、
Ｐｒｏｆｉｌｅ＿ｉｄｏｃ＝＝ＸＸ＆＆ｓｌｉｃｅ＿ｔｙｐｅ！＝Ｉ＿ＳＬＩＣＥ＿＆＆ｓｌｉｃｅ＿ｔｙｐｅ！＝ＳＩ＿ＳＬＩＣＥ
が成り立つか否かを判定する。成り立つ場合、機能ブロック１６１５に制御が移る。さもなければ、機能ブロック１６２０に制御が移る。

機能ブロック１６１５は、ｎｏｎ＿ｓｃａｌａｂｌｅ＿ｍｖ＿ｃｏｄｉｎｇ＿ｆｌａｇを分析し、機能ブロック１６２０に制御を移す。機能ブロック１６２０は、スライスヘッダの他のエレメントを分析する。

図１６Ｂに進み、空間スケーラブルビデオデコーダのためのスライスヘッダを分析する例示的な方法は、参照符号１６５０により全体的に示される。図１６Ｂの方法１６５０は、本発明の原理に従ってマクロブロックの動きベクトルを復号化することに関する。

開始ブロック１６５５は、ベースレイヤ復号化を開始し、判定ブロック１６６０に制御を移す。判定ブロック１６６０は、ｎｏｎ＿ｓｃａｌａｂｌｅ＿ｍｖ＿ｃｏｄｉｎｇ＿ｆｌａｇが１に等しいか否かを判定する。１に等しい場合、機能ブロック１６６５に制御が移る。さもなければ、機能ブロック１６７０に制御が移る。

機能ブロック１６６５は、

となるように、動きベクトル２２でスケーリングし、機能ブロック１６７０に制御を移す。機能ブロック１６７０は、マクロブロックを復号化するのを継続する。

既存のＨ．２６４規格に関して、１つのシンタックスエレメントｎｏｎ＿ｓｃａｌａｂｌｅ＿ｍｖ＿ｃｏｄｉｎｇ＿ｆｌａｇは、Ｈ．２６４スライスヘッダに関連する表１で示されるように追加される。表１に関して記載される特徴は、たとえば、限定されるものではないが、Ｈ．２６４規格の将来のプロファイルでサポートされることが推定される。本発明の原理によれば、エンコーダは、たとえば後方互換及び符号化効率の要件に基づいて動きベクトルをスケーラブル符号化又はノンスケーラブル符号化するかを、たとえばスライス毎に判定するか、フレーム毎に判定する。本実施の形態で提供される本発明の教示が与えられた場合、本発明の原理の範囲を維持しつつ、スケーラブル符号化を使用した動きベクトルの符号化とノンスケーラブル符号化を使用した動きベクトルの符号化との間での適応的な選択を実行するため、他の基準及び他の要件も利用されることが理解される。

ｎｏｎ＿ｓｃａｌａｂｌｅ＿ｍｖ＿ｃｏｄｉｎｇ＿ｆｌａｇが１に等しいとき、これは、動きベクトル（ＭＶ）が最も高いエンハンスメントレイヤについてノンスケーラブル符号化されていることを表す。下位レイヤについて、ＭＶはダウンサンプリングされる必要があり、これは、２レイヤの空間スケーラビリティを想定して１加算と１右シフトで実現することができる。Ｈ．２６４規格におけるインター予測プロセスの定式は、以下のように変更される。

ｎｏｎ＿ｓｃａｌａｂｌｅ＿ｍｖ＿ｃｏｄｉｎｇ＿ｆｌａｇが０に等しいとき、これは、ＭＶがスケーラブル符号化されたことを表す。エンハンスメントレイヤでは、ベースレイヤＭＶがアップサンプリングされ、予測子として使用されるか、同じレイヤにおける近傍のＭＶが予測子として使用される。

本発明の原理によれば、ＭＶは、たとえば異なるアプリケーション及びデコーダ要件に適合するために最適に符号化される。

本発明に係る１例では、図１３に関して以下に記載されるように、ベースレイヤのＨ．２６４の互換性がデコーダに望まれる場合、ＭＶの符号化はスケーラビリティの粗悪さに基づいて選択される。ベースレイヤについて、粗悪なスケーラビリティ又は低いフレームレートが望まれる場合、デコーダがＩスライスのみをデコードする。次いで、ノンスケーラブルＭＶ符号化は、Ｐ及びＢスライスの両者について使用される。所望のフレームレートが高い場合、Ｐスライスは、スケーラブル動きベクトルを使用して符号化され、Ｂスライスは、ノンスケーラブルな動きベクトルを使用して符号化される。

本発明の原理に係る別の例では、図１４に関して以下に記載されるように、ビットレートのスケーラビリティが望まれる場合、エンコーダは、動きベクトルがどのように符号化されるかを選択するためにレート歪み最適化方法を使用する。エンコーダがベースレイヤでＰ及びＢスライスの両者を符号化する間、デコーダがベースレイヤ復号化についてＢスライスをドロップする場合、エンコーダは、Ｐスライスについてスケーラブル動きベクトル符号化を使用するが、全体の符号化効率を改善するために、Ｂスライスについてノンスケーラブルな動きベクトル符号化を使用しない。

本発明の原理に係る第三の例では、図１５に関して以下に記載され、複雑度のスケーラブル符号化に向けられ、全体のビットレート符号化効率及び複雑度が問題であるので、ノンスケーラブル動きベクトル符号化がＰ及びＢスライスの両者について選択されるか、又はスケーラブル動きベクトル符号化がＰスライスについて使用され、ノンスケーラブル動きベクトル符号化がＢスライスについて使用される。代替的に、スケーラブル動きベクトル符号化は、Ｐスライスのサブセットについて使用され、ノンスケーラブルの動きベクトルの符号化は、残りのＰスライスについて使用される。第三の例の１つの可能性のある実現は、図１８の表２に示されている。

表２は、例示的な動きの符号化を説明する。先の第三の例に対応する表２の例示的な実施の形態に拠れば、ベースレイヤにおいて、全てのＰピクチャは、スケーラブル動きベクトル符号化されるが、エンハンスメントレイヤにおいて、全てのＰピクチャは、ノンスケーラブル動きベクトル符号化される。

本発明の原理に係る、スケーラブル動きベクトル符号化とノンスケーラブルな動きベクトル符号化を結合する別の実現において、スケーラブルな動きベクトル符号化符号化は、ベースレイヤについて使用されるが、ノンスケーラブル動きベクトルの符号化は、２を超えるレベルの空間スケーラビリティがサポートされる場合に上位のエンハンスメントレイヤについて使用される。

ここで、本発明の多くの随伴的な利点／特徴を幾つかに関する説明が与えられる。たとえば、１つの利点／特徴は、スライス毎に動きベクトルのスケーラブル符号化とノンスケーラブル符号化の間で選択を実行するエンコーダを含む空間スケーラブルビデオエンコーダである。別の利点／特徴は、上述された空間スケーラブルビデオエンコーダであり、エンコーダは、意図されるアプリケーション及びビットストリームの後続する復号化について使用されるべきデコーダの少なくとも１つについての基準に基づいて選択を実行する。さらに、別の利点／特徴は、上述された基準に基づいて選択を実行する空間スケーラブルビデオエンコーダであり、エンコーダは、デコーダの基準がベースレイヤに準拠する復号化を規定するとき、ベースレイヤ復号化のためのデコーダに特化したスケーラビリティのフィットネスレベルに基づいて選択を実行する。さらに、別の利点／特徴は、デコーダの基準と上述されたベースレイヤ復号化のためのデコーダに特化したスケーラビリティのフィットネスとに基づいて選択を実行する空間スケーラブルビデオエンコーダであり、エンコーダは、Ｐ及びＢスライスの両者における動きベクトルがノンスケーラブル符号化されるか、又はＢスライスにおける動きベクトルのみがスケーラブル符号化されているＰスライスにおける動きベクトルとノンスケーラブル符号化されるように、選択を実行する。また、別の利点／特徴は、上述された基準に基づいて選択を実行する空間スケーラブルなビデオエンコーダであり、エンコーダは、デコーダ基準がビットレートスケーラビリティを規定するとき、レート歪み最適化方法を使用して選択を実行する。さらに、別の利点／特徴は、基準に基づいて、上述されたレート歪み最適化方法を使用して選択を実行する空間スケーラブルビデオエンコーダであり、エンコーダは、空間スケーラブルビデオエンコーダがベースレイヤにおけるＢスライスを符号化し、デコーダがＢスライスをドロップするために構成されるとき、Ｂスライスにおける動きベクトルがノンスケーラブル符号化されるように選択を実行する。さらに、別の利点／特徴は、上述されたような基準に基づいて選択を実行する空間スケーラブルビデオエンコーダであり、エンコーダは、空間スケーラブルビデオエンコーダの符号化基準が全体のビットレート符号化効率及び複雑度を含むとき、Ｐ及びＢスライスの両者における動きベクトルがノンスケーラブル符号化されるか、Ｂスライスにおける動きベクトルのみがスケーラブル符号化されているＰスライスにおける動きベクトルとノンスケーラブル符号化されるように、選択を実行する。さらに、別の利点／特徴は、上述された基準に基づいて選択を実行する空間スケーラブルビデオエンコーダであり、エンコーダは、２を超えるレベルの空間スケーラビリティが空間スケーラブルビデオエンコーダによりサポートされるとき、スケーラブル符号化がベースレイヤについて動きベクトルに適用され、ノンスケーラブル符号化が全てのエンハンスメントレイヤについて動きベクトルに適用されるように、選択を実行する。また、別の利点／特徴は、上述された空間スケーラブルビデオエンコーダであり、エンコーダは、スライスにおける動きベクトルがスケーラブル符号化されるか、ノンスケーラブル符号化されるかを示すため、スライスヘッダにシンタックスフィールドを加える。さらに、別の利点／特徴は、ビットストリームを復号化するための空間スケーラブルビデオデコーダであり、空間スケーラブルビデオデコーダは、ビットストリームのヘッダにおけるシンタックスフィールドに基づいて、ビットストリームで符号化された動きベクトルを使用するか、スケーリングファクタで割られた動きベクトルの商を使用するかを判定するデコーダを含む。

本発明のこれらの特徴及び利点、並びに他の特徴及び利点は、本実施の形態での教示に基づいて当業者により容易に確認されるであろう。なお、本発明の教示は、ハードウェア、ソフトウェア、ファームウェア、特定用途向けプロセッサ、又はこれらの組み合わせからなる様々な形式で実現される場合があることに理解されたい。

最も好ましくは、本発明の教示は、ハードウェアとソフトウェアの組み合わせとして実現される。さらに、ソフトウェアは、プログラムストレージユニットで有形に実現されるアプリケーションプログラムとして実現される。アプリケーションプログラムは、適切なアーキテクチャを有するコンピュータにアップロードされ、コンピュータにより実行される。好ましくは、コンピュータは、１以上の中央処理ユニット（ＣＰＵ）、ランダムアクセスメモリ（ＲＡＭ）、及び入力／出力（Ｉ／Ｏ）インタフェースのようなハードウェアを有するコンピュータプラットフォームで実現される。コンピュータプラットフォームは、オペレーティングシステム及びマイクロインストラクションコードを含む場合がある。本実施の形態で記載された様々なプロセス及び機能は、ＣＰＵにより実行される場合がある、マイクロインストラクションコードの一部であるか、アプリケーションプログラムの一部、若しくはその組み合わせである場合がある。さらに、様々な他の周辺装置は、更なるデータストレージユニット及びプリンティングユニットのようなコンピュータプラットフォームに接続される場合がある。
添付図面に示される構成上のシステム要素及び方法のなかには、ソフトウェアで実現されることが好ましいものがあり、システム要素又はプロセスの機能ブロック間の実際の接続は、本発明がプログラムされる方式に依存して異なる場合があることを理解されたい。本実施の形態での教示が与えられると、当業者は、本発明のこれら及び類似の実現又はコンフィギュレーションを予想するであろう。

例示的な実施の形態は添付図面を参照して本明細書で記載されたが、本発明は、これら正確な実施の形態に制限されず、本発明の精神又は範囲から逸脱することなしに当業者により様々な変形及び変更が行われる場合があることを理解されたい。全ての係る変形及び変更は、特許請求の範囲に述べたように本発明の範囲内に含まれることが意図される。

従来技術に係る、典型的な空間スケーラビリティシステムのブロック図である。 従来技術に係る、２つのレイヤをサポートする空間スケーラブルエンコーダのブロック図である。 従来技術に係る、２つのレイヤをサポートする空間スケーラブルデコーダのブロック図である。 従来技術に係る、Ｈ．２６４／ＭＰＥＧ ＡＶＣ規格で使用される通常のノンスケーラブルビデオエンコーダのブロック図である。 従来技術に係る、Ｈ．２６４／ＭＰＥＧ ＡＶＣ規格で使用される通常のノンスケーラブルビデオデコーダのブロック図である。 従来技術に係る、ＲＲＵ（Ｒｅｄｕｃｅｄ Ｒｅｓｏｌｕｔｉｏｎ Ｕｐｄａｔｅ）ビデオエンコーダのブロック図である。 従来技術に係る、ＲＲＵ（Ｒｅｄｕｃｅｄ Ｒｅｓｏｌｕｔｉｏｎ Ｕｐｄａｔｅ）ビデオデコーダのブロック図である。 従来技術に係る、複雑度スケーラビリティブロードキャストシステムのブロック図である。 本発明の実施の形態に係る、本発明が適用される例示的な低解像度の複雑度のスケーラブルビデオデコーダのブロック図である。 本発明の実施の形態に係る、本発明が適用される例示的な高解像度の複雑度のスケーラブルビデオデコーダのブロック図である。 本発明の実施の形態に係る、本発明が適用される例示的な複雑度のスケーラブルビデオデコーダのブロック図である。 本発明の原理の例示的な実施の形態に係る複雑度のスケーラビリティのブロック図である。 本発明の原理に係る、空間スケーラブルなビデオエンコーダの適合型動きベクトル符号化の例示的な方法のフローチャートである。 本発明の原理に係る、空間スケーラブルなビデオエンコーダの適応型動きベクトル符号化の別の例示的な方法のフローチャートである。 本発明の原理に係る、空間スケーラブルなビデオエンコーダの適応型動きベクトル符号化の更に別の例示的な方法のフローチャートである。 本発明の原理に係る、空間スケーラブルなビデオデコーダのスライスヘッダを分析する別の例示的な方法のフローチャートである。 本発明の原理に係る、空間スケーラブルなビデオデコーダの動きベクトル復号化の例示的な方法のフローチャートである。

Claims (20)

1. 空間スケーラブルビデオ符号化の方法であって、
   スライス毎に動きベクトルのスケーラブル符号化とノンスケーラブル符号化の間で選択するステップを含む、
   ことを特徴とする方法。
2. 前記選択するステップは、ターゲットデコーダの復号化能力、及びターゲットデコーダのために利用される復号化規準の少なくとも１つに基づいて実行される、
   請求項１記載の方法。
3. 前記選択するステップは、前記復号化規準がベースレイヤに準拠した復号化を規定するとき、ベースレイヤの復号化のためのデコーダに特化したスケーラビリティのフィットネスレベルに基づいて実行される、
   請求項２記載の方法。
4. 前記選択するステップは、少なくとも第一のオプションと第二のオプションに関して実行され、
   Ｐスライス及びＢスライスの両者における動きベクトルは、前記第一のオプションでノンスケーラブル符号化され、
   Ｂスライスにおける動きベクトルのみがノンスケーラブル符号化され、Ｐスライスにおける動きベクトルは、前記第二のオプションでスケーラブル符号化される、
   請求項３記載の方法。
5. 前記選択するステップは、符号化規準がビットレート符号化効率及び複雑度を含むとき、少なくとも第一のオプションと第二のオプションに関して実行される、
   請求項４記載の方法。
6. 前記選択するステップは、前記復号化規準がビットレートスケーラビリティを規定するとき、レート歪み最適化方法を使用して実行される、
   請求項２記載の方法。
7. 前記選択するステップは、Ｂスライスがベースレイヤで符号化され、ターゲットデコーダがＢスライスをドロップするために構成されるとき、Ｂスライスにおける動きベクトルがノンスケーラブル符号化されるように実行される、
   請求項２記載の方法。
8. 前記選択するステップは、２を超えるレベルの空間スケーラビリティが当該方法を実現するために対応するエンコーダによりサポートされるとき、ベースレイヤの動きベクトルがスケーラブル符号化され、全てのエンハンスメントレイヤの動きベクトルがノンスケーラブル符号化されるように実行される、
   請求項２記載の方法。
9. スライスにおける動きベクトルがスケーラブル符号化されたか、ノンスケーラブル符号化されたかを示すために、スライスヘッダにシンタックスフィールドを追加するステップを更に含む、
   請求項１記載の方法。
10. スライス毎に動きベクトルのスケーラブル符号化とノンスケーラブル符号化の間で選択を実行するエンコーダを有する、
    ことを特徴とする空間スケーラブルビデオエンコーダ。
11. 当該エンコーダは、ターゲットデコーダの復号化能力、及びターゲットデコーダのために利用される復号化規準の少なくとも１つに基づいて前記選択を実行する、
    請求項１０記載の空間スケーラブルビデオエンコーダ。
12. 当該エンコーダは、前記復号化規準がベースレイヤに準拠した復号化を規定するとき、ベースレイヤの復号化のためのデコーダに特化したスケーラビリティのフィットネスレベルに基づいて前記選択を実行する、
    請求項１１記載の空間スケーラブルビデオエンコーダ。
13. 当該エンコーダは、少なくとも第一のオプションと第二のオプションに関して前記選択を実行し、
    Ｐスライス及びＢスライスの両者における動きベクトルは、前記第一のオプションでノンスケーラブル符号化され、
    Ｂスライスにおける動きベクトルのみがノンスケーラブル符号化され、Ｐスライスにおける動きベクトルは、前記第二のオプションでスケーラブル符号化される、
    請求項１２記載の空間スケーラブルビデオエンコーダ。
14. 当該エンコーダは、符号化規準がビットレート符号化効率及び複雑度を含むとき、少なくとも第一のオプションと第二のオプションに関して前記選択を実行する、
    請求項１３記載の空間スケーラブルビデオエンコーダ。
15. 当該エンコーダは、前記復号化規準がビットレートスケーラビリティを規定するとき、レート歪み最適化方法を使用して前記選択を実行する、
    請求項１１記載の空間スケーラブルビデオエンコーダ。
16. 空間スケーラブルビデオエンコーダがベースレイヤにおけるＢスライスを符号化し、ターゲットデコーダがＢスライスをドロップするために構成されるとき、当該エンコーダは、Ｂスライスにおける動きベクトルがノンスケーラブル符号化されるように前記選択を実行する、
    請求項１１記載の空間スケーラブルビデオエンコーダ。
17. ２を超えるレベルの空間スケーラビリティが当該空間スケーラブルビデオエンコーダによりサポートされるとき、当該エンコーダは、ベースレイヤの動きベクトルにスケーラブル符号化が適用され、全てのエンハンスメントレイヤの動きベクトルにノンスケーラブル符号化が適用されるように前記選択を実行する、
    請求項１１記載の空間スケーラブルビデオエンコーダ。
18. 当該エンコーダは、スライスにおける動きベクトルがスケーラブル符号化されたか、ノンスケーラブル符号化されたかを示すために、スライスヘッダにシンタックスフィールドを追加する、
    請求項１０記載の空間スケーラブルビデオエンコーダ。
19. ビットストリームの空間スケーラブルビデオ復号化の方法であって、
    前記ビットストリームのヘッダにおけるシンタックスフィールドに基づいて、前記ビットストリームで符号化された動きベクトルを使用するか、スケーリングファクタにより割られた動きベクトルの商を使用するかを決定するステップを含む、
    ことを特徴とする方法。
20. ビットストリームを復号化する空間スケーラブルビデオデコーダであって、
    前記ビットストリームのヘッダにおけるシンタックスフィールドに基づいて、前記ビットストリームで符号化された動きベクトルを使用するか、スケーリングファクタにより割られた動きベクトルの商を使用するかを決定するデコーダを含む、
    ことを特徴とする空間スケーラブルビデオデコーダ。

Images