JP2017520961A

JP2017520961A - ビデオ符号化及び復号の方法及び技術装置

Info

Publication number: JP2017520961A
Application number: JP2016566929A
Authority: JP
Inventors: ヤニライネマ
Original assignee: ノキアテクノロジーズオーユー
Priority date: 2014-05-09
Filing date: 2015-05-04
Publication date: 2017-07-27
Anticipated expiration: 2035-05-04
Also published as: US20150326864A1; CN106471805A; KR20170002611A; EP3140987A4; PH12016502216A1; WO2015170243A1; CA2948105A1; RU2016145610A; RU2016145610A3; EP3140987A1; JP6272630B2

Abstract

本出願は、パレットモードで符号化された符号化単位を復号することであって、前記符号化単位内におけるエスケープ符号化の存在に関する標示を復号することと；前記エスケープ符号化の存在に関する標示に基づいて、パレットのサイズを決定することと；サンプルに対するエスケープ符号化を示すパレットインデクスを決定することと；復号パレットインデクスを、前記エスケープ符号化を示すパレットインデクスと比較し、該インデクスが一致する場合、サンプル値情報を復号することと；前記符号化単位内におけるサンプルに対して、前記復号サンプル値を割り当てることを含む、方法及び技術装置に関する。さらに本出願は、符号化の方法及び技術装置にも関連する。【選択図】図６

Description

本出願は概してデジタル素材の符号化及び復号に関し、具体的にはスケーラブルなハイファイ符号化（high fidelity coding）に関する。

背景

本節では、特許請求の範囲で記載される本発明の背景や関連について説明する。本願での説明は追求されうる概念を含むこともあるが、必ずしも既に着想又は追求されてきたものだけを含むわけではない。したがって、本願中で特段の指示がない限り、本節で記述される内容は、本願の明細書及び特許請求の範囲に対する先行技術ではなく、本節で記述されていることのみをもって先行技術と認定してはならない。

ビデオコーディングシステムは、入力されたビデオを保存／伝送に適した圧縮表現に変換するエンコーダと、その圧縮表現を可視形態に戻す復元を行えるデコーダを備えてもよい。エンコーダは、ビデオをよりコンパクトな形態で表現するために、例えば、必要とされるよりも低いビットレートでビデオ情報を保存／伝送できるようにするために、元のビデオシーケンスの情報の一部を切り捨ててもよい。

摘要

ビデオ情報を符号化及び復号する方法が複数の実施形態によって提供される。実施形態によっては、こうした方法を実装する装置、コンピュータプログラム製品、コンピュータ可読媒体も提供される。

本発明の種々の態様は、詳細な説明に提示されている。

第１の態様によれば、
パレットモードで符号化された符号化単位を復号することであって、
前記符号化単位内におけるエスケープ符号化の存在に関する標示を復号することと；
エスケープ符号化サンプル値を示すフラグが復号されるべきかを決定することであって、該決定は前記標示に基づく、前記決定することと；
前記フラグが復号されるべきである場合、該フラグの値を復号し、更に該フラグの値がエスケープ符号化ピクセル値を示す場合、サンプル値情報を復号することと；
前記符号化単位内におけるサンプルに対して、前記復号サンプル値を割り当てること
を含む、前記符号化単位を復号することを含む方法が提供される。

実施形態によっては、本方法は、符号化単位内におけるエスケープ符号化の存在に関する標示を、該符号化単位における全てのサンプルに適用することを含む。

実施形態によっては、本方法は、符号化単位内におけるエスケープ符号化の存在に関する標示を、該符号化単位におけるサンプルのサブセットに適用することを含む。

実施形態によっては、前記標示は、上位レベル標示及びサンプルレベル標示の組合せである。

実施形態によっては、本方法は更に、符号化単位に対してエスケープ符号化サンプルが存在するかを示すことを含み、該エスケープ符号化サンプルが存在する場合、本方法は、少なくとも１つのエスケープ符号化サンプルに対して、該少なくとも１つのエスケープ符号化サンプルが前記符号化単位における最後のエスケープであるかを示すことを含む。

実施形態によっては、本方法は更に、次のレイヤ：シーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダ、符号化ツリー単位レベル、符号化単位レベル、予測単位レベル、及び変換単位レベルの少なくとも１つに前記標示を含めることを含む。

実施形態によっては、本方法は、エスケープ符号化サンプルを識別するために、前記パレットにおける特定のインデクスを示すことによって、前記エスケープ情報を示すことを含む。

第２の態様によれば、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリと、を備える装置が提供され、少なくとも１つのメモリ及びコンピュータプログラムコードは、少なくとも１つのプロセッサにより、前記装置に少なくとも、パレット符号化で符号化された符号化単位を復号することであって、
前記符号化単位内におけるエスケープ符号化の存在に関する標示を復号することと；
エスケープ符号化ピクセル値を示すフラグが復号されるべきかを決定することであって、該決定は前記標示に基づく、前記決定することと；
前記フラグが復号されるべきである場合、該フラグの値を復号し、更に該フラグの値がエスケープ符号化サンプルを示す場合、サンプル値情報を復号することと；
前記符号化単位内におけるサンプルに対して、前記復号サンプル値を割り当てること
を含む、前記符号化単位を復号することを実行させるように構成される。

実施形態によっては、本装置は、符号化単位内におけるエスケープ符号化の存在に関する標示を、該符号化単位における全てのサンプルに適用するように構成される。

実施形態によっては、本装置は、符号化単位内におけるエスケープ符号化の存在に関する標示を、該符号化単位におけるサンプルのサブセットに適用するように構成される。

実施形態によっては、本装置は更に、符号化単位に対してエスケープ符号化サンプルが存在するかを示すように構成され、該エスケープ符号化サンプルが存在する場合、本装置は、少なくとも１つのエスケープ符号化サンプルに対して、該少なくとも１つのエスケープ符号化サンプルが前記符号化単位における最後のエスケープであるかを示すように構成される。

実施形態によっては、本装置は更に、次のレイヤ：シーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダ、符号化ツリー単位レベル、符号化単位レベル、予測単位レベル、及び変換単位レベルの少なくとも１つに前記標示を含めるように構成される。

実施形態によっては、本装置は、エスケープ符号化サンプルを識別するために、前記パレットにおける特定のインデクスを示すことによって、前記エスケープ情報を示すように構成される。

第３の態様によれば、
処理手段と；
符号化単位内におけるエスケープ符号化の存在に関する標示を復号する手段と；
エスケープ符号化ピクセル値を示すフラグが復号されるべきかを決定する手段であって、該決定は前記標示に基づく、前記決定する手段と；
フラグが復号されるべきである場合、該フラグの値を復号する手段であって、更に該フラグの値がエスケープ符号化サンプルを示す場合、サンプル値情報を復号するように構成される、前記フラグの値を復号する手段と；
前記符号化単位内におけるサンプルに対して、前記復号サンプル値を割り当てる手段
を備える装置が提供される。

第４の態様によれば、コンピュータプログラム製品であって、該コンピュータプログラム製品は、コンピュータと共に用いられるコンピュータプログラムコードを保持するコンピュータ可読媒体を備え、前記コンピュータプログラムコードは：
符号化単位内におけるエスケープ符号化の存在に関する標示を復号するコードと；
エスケープ符号化ピクセル値を示すフラグが復号されるべきかを決定するコードであって、該決定は前記標示に基づく、前記決定するコードと；
フラグが復号されるべきである場合、該フラグの値を復号するコードであって、更に該フラグの値がエスケープ符号化サンプルを示す場合、サンプル値情報を復号するように構成される、前記フラグの値を復号するコードと；
前記符号化単位内におけるサンプルに対して、前記復号サンプル値を割り当てるコード
を含む、前記コンピュータプログラム製品が提供される。

第５の態様によれば、命令を用いてコード化された非一時的コンピュータ可読媒体であって、該命令は、コンピュータによって実行されると、
前記符号化単位内におけるエスケープ符号化の存在に関する標示を復号することと；
エスケープ符号化ピクセル値を示すフラグが復号されるべきかを決定することであって、該決定は前記標示に基づく、前記決定することと；
前記フラグが復号されるべきである場合、該フラグの値を復号し、更に該フラグの値がエスケープ符号化サンプルを示す場合、サンプル値情報を復号することと；
前記符号化単位内におけるサンプルに対して、前記復号サンプル値を割り当てること
を含む、前記符号化単位を復号することを実行させるように構成される。

本発明の例示的実施形態をより詳細に理解するために、次の添付図面と合わせて以下の説明を参照されたい。

特定の実施形態によるビデオ符号化システムのブロック図を示す。

特定の実施形態による装置のレイアウトを示す。

特定の実施形態による複数の装置、ネットワーク、ネットワーク要素を含むビデオ符号化構成を示す。

特定の実施形態によるビデオエンコーダのブロック図を示す。

特定の実施形態によるビデオデコーダのブロック図を示す。

特定の実施形態による方法をフローチャートで示す。

実施形態の詳細説明

図１には、特定の実施形態によるビデオ符号化システムが、装置又は電子デバイス５０の模式的ブロック図で示されている。電子デバイス５０は、特定の実施形態によるコーデックを組み込んでいてもよい。図２には、特定の実施形態による装置のレイアウトが示されている。図１及び２の各要素は以下で説明される。

電子デバイス５０は例えば、移動端末や無線通信システムにおけるユーザ機器であってもよい。ただし、本発明の実施形態は、符号化及び復号、又はビデオ画像の符号化や復号を要するあらゆる電子デバイスや装置に実装できることを理解されたい。

装置５０は、デバイスを組込んで保護するハウジング３０を備えてもよい。装置５０はまた、液晶表示の形態でディスプレイ３２を備えてもよい。他の実施形態では、ディスプレイが、画像やビデオの表示に適したあらゆる適切なディスプレイ技術によるものでもよい。装置５０はまた、キーパッド３４を備えてもよい。実施形態によっては、あらゆる適切なデータ又はユーザインタフェース機構が用いられてもよい。例えば、ユーザインタフェースはタッチセンサ式ディスプレイに属する仮想キーボードやデータ入力システムとして実装されてもよい。装置はマイクロフォン３６や、デジタル又はアナログ信号の任意適当な音声入力を備えてもよい。装置５０は、実施形態によっては、イヤホン３８、スピーカー、又はアナログ音声若しくはデジタル音声出力接続であり得る音声出力デバイスをさらに備えていてもよい。また、装置５０はバッテリー４０を備えていてもよい（実施形態によっては、デバイスの電力源として太陽電池、燃料電池、ぜんまい式発電機等あらゆる適切な携帯エネルギーデバイスを用いてもよい）。装置は、画像、ビデオの何れか又は両方の記録又は取込みが可能なカメラ４２をさらに備えていてもよい。実施形態によっては、装置５０は更に、他のデバイスと短可視距離通信するための赤外線ポートを備えてもよい。実施形態によっては、装置５０は更に、Bluetooth（登録商標）無線通信やUSB／FireWire有線接続等あらゆる適切な短距離通信ソリューションを備えてもよい。

装置５０は、装置５０を制御するコントローラ５６又はプロセッサを備えてもよい。コントローラ５６はメモリ５８に接続されてもよい。実施形態によっては、メモリは、画像形態データと音声データの両方を保存してもよく、コントローラ５６に実装される命令を保存してもよく、それら両方でもよい。また、コントローラ５６はコーデック回路５４に接続されてもよい。コーデック回路は、音声、ビデオデータの何れか又は両方の符号化・復号の遂行や、コントローラ５６が遂行する符号化・復号を補助するのに適している。

装置５６はまた、カードリーダー４８とスマートカード４６を備えてもよい。例えば、ユーザ情報を提供し、ネットワークでユーザ認証及び認可のための認証情報を提供するのに適したUICC及びUICCリーダーを備えてもよい。

装置５０は更に、コントローラに接続され、無線通信信号の生成に適した無線インタフェース回路５２を備えてもよい。無線通信は例えば、携帯通信ネットワークや無線通信システム，無線ローカルエリアネットワークでの通信でもよい。装置５０は更に、無線インタフェース回路５２に接続されたアンテナ４４を備えてもよい。アンテナは、無線インタフェース回路５２で生成された無線信号を他の（１又は複数の）装置へ送信し、無線信号を他の（１又は複数の）装置から受信することができる。

実施形態によっては、装置５０が、個々のフレームを記録又は検出することができるカメラを備え、それらのフレームは処理対象としてコーデック５４又はコントローラに送られる。実施形態によっては、装置は、処理用ビデオ画像データの伝送、保存、あるいはその両方の前に、その処理用ビデオ画像データを別のデバイスから受信してもよい。実施形態によっては、装置５０が符号化／復号用画像を無線又は有線接続によって受信してもよい。

図３には、特定の実施形態による複数の装置、ネットワーク、ネットワーク要素を含むビデオ符号化構成が示されている。図３では、本発明の実施形態において利用可能なシステムの実施例が示されている。システム１０は、１つ又は複数のネットワークを通じて通信できる複数の通信デバイスを含む。システム１０は任意の無線又は有線ネットワークの組合せを備えてもよく、無線携帯電話ネットワーク（GSM(登録商標）やUMTS，CDMAネットワーク等）やIEEE 802.xの何れかの規格で規定される無線ローカルエリアネットワーク（WLAN），Bluetooth（登録商標）・パーソナルエリアネットワーク，イーサネット（登録商標）・ローカルエリアネットワーク，トークンリング・ローカルエリアネットワーク，広域ネットワーク，インターネットを含んでもよい。ただし、これらに限定されない。

システム１０は無線・有線両方の通信デバイスを含んでもよく、種々の実施形態を実装するのに適した装置５０を含んでもよい。例えば、図３に示すシステムは、携帯電話ネットワーク１１とインターネット２８を表わす表現を示している。インターネット２８への接続は長距離無線接続や短距離無線接続，様々な有線接続を含んでもよいが、これらに限定されない。有線接続には電話回線やケーブル線，電力線，その他同様の通信線が含まれるが、これらに限定されない。

システム１０に示される例示的通信デバイスは電子デバイスや装置５０，携帯情報端末（PDA）１６，PDAと携帯電話14の組合せ，統合通信デバイス（integrated messaging device; IMD）１８，デスクトップコンピュータ２０，ノート型コンピュータ２２を含んでもよい。ただし、これらに限定されない。装置５０は固定型でもよく、移動する人が持ち運べる携帯型でもよい。また、装置５０は移動手段に配置されてもよい。こうした移動手段には自動車やトラック，タクシー，バス，列車，船／ボート，飛行機，自転車，バイク，その他同様の適切な移動手段が含まれるが、これらに限定されない。

さらに装置によっては、電話とメッセージの送受信に加え、基地局２４への無線接続２５を通じたサービスプロバイダとの通信が可能でもよい。基地局２４は、携帯電話ネットワーク１１とインターネット２８間の通信を可能にするネットワークサーバ２６に接続されてもよい。システムは、付加的な通信デバイスと様々な種類の通信デバイスを含んでもよい。

通信デバイスは様々な伝送技術を用いて通信してもよく、こうした技術には符号分割多元接続（CDMA）やGSM（登録商標），ユニバーサル携帯電話システム（UMTS），時分割多元接続（TDMA），周波数分割多元接続（FDMA），TCP-IP（transmission control protocol-internet protocol），ショートメッセージサービス（SMS），マルチメディアメッセージサービス（MMS），電子メール，IMS（instant messaging service），Bluetooth（登録商標）， IEEE 802.11，その他類似の無線通信技術を含む。ただし、これらに限定されない。本発明の様々な実施形態への実装に含まれる通信デバイスは、様々な媒体を介して通信できる。こうした媒体として、無線，赤外線，レーザー，ケーブル接続，その他適切な接続が含まれるが、これらに限定されない。

ビデオコーダは、入力されたビデオを保存／伝送に適した圧縮表現に変換するエンコーダと、その圧縮表現を可視形態に戻す復元を行えるデコーダから備える。エンコーダは、ビデオをよりコンパクトな形態で（即ち、低いビットレートで）表現するために、元のビデオシーケンスの情報の一部を切り捨ててもよい。

ITU-T H.263やH.264等のハイブリッドビデオコーデックは、ビデオ情報を2段階で符号化する。第１段階で、例えば動き補償手段（符号化されるブロックと密接に対応する、先に符号化済みのビデオフレームの１つにある領域を探して示す手段）や空間手段（特定の方法で符号化されるブロックの周辺のピクセル値を用いる手段）によって、特定のピクチャ領域（又は「ブロック」）のピクセル値が予測される。第2段階で、予測誤差、即ちピクセルの予測ブロックとそのピクセルの元のブロックとの間の差が符号化される。これは通常、特定の変換（例えば、離散コサイン変換（DCT）やその変形）を用いてピクセル値の差を変換し、係数を量子化し、量子化済み係数をエントロピー符号化することによって行われてもよい。量子化処理の忠実性を変えることによって、エンコーダはピクセル表現の正確性（ピクチャ品質）と結果として得られる符号化ビデオ表現のサイズ（ファイルサイズ又は伝送ビットレート）との間のバランスを制御することができる。図４には、符号化処理が示されている。図４はビデオエンコーダの一例を示す。ここで、I_n：符号化対象画像；P'_n：画像ブロックの予測表現；D_n：予測誤差信号；D'_n：再構成予測誤差信号；I'_n：予備再構成画像；R'_n：最終再構成画像；T, T^-1：変換及び逆変換；Q, Q^-1：量子化及び逆量子化；E：エントロピー符号化；RFM：参照フレームメモリ；P_inter：インター予測；P_intra：イントラ予測；MS：モード選択；F：フィルタリング、である。

HEVC等のビデオコーデックによっては、ビデオピクチャは、ピクチャ領域を覆う複数の符号化単位（CU）に分割される。CUは１つ又は複数の予測単位（PU）と１つ又は複数の変換単位（TU）から成る。PUはCU内のサンプルに対する予測処理を規定し、TUはCUのサンプルに対する予測誤差の符号化処理を規定する。CUは、正方形のサンプルブロックから成り、既定されている可能なCUサイズのセットから選択可能なサイズを有する。最大許容サイズのCUはCTU（符号化ツリー単位）と呼ばれることもあり、ビデオピクチャは重なり合わないCTUに分割される。CTUは、例えば、CTUと分割の結果得られるCUを再帰的に分割することによって更に小さいCUの組合せに分割されることもある。分割の結果得られる各CUは、少なくとも1つのPUとそれに関連する少なくとも1つのTUを有してもよい。PUとTUはそれぞれ、予測処理と予測誤差符号化処理の粒度を上げるために、更に小さい複数のPUとTUに分割されることもある。各PUは、それぞれのPU内のピクセルに適用される予測の種類を定義する、それぞれのPUに関連した予測情報（例えば、インター予測されたPUに対しては動きベクトルの情報、イントラ予測されたPUに対してはイントラ予測の方向情報など）を持つ。同様に、各TUは、それぞれのTU内のサンプルに対する予測誤差復号処理を記述する情報（DCT係数情報なども含む）に関連付けられる。各CUに対して予測誤差符号化が適用されるか否かがCUレベルで伝達されてもよい。CUに関連する予測誤差の残差がない場合、そのCUに対するTUが存在しないと見做される。ピクチャをCUに分割し、CUのPU及びTUへの分割が、こうした単位からデコーダが目的の構造を再生できるようにビットストリーム信号で伝えられてもよい。

デコーダは、予測されたピクセルのブロック表現を形成して予測誤差を復号するために、エンコーダと同様の予測手段を適用することによって出力ビデオを再構成する（ここで、予測表現の形成は、エンコーダが作成し、圧縮表現に格納された動き情報や空間情報を使用し、予測誤差の復号は、空間ピクセル領域で量子化された予測誤差信号を回復する、予測誤差符号化の逆操作を使用して行われる）。デコーダは、予測及び予測誤差復号手段の適用後、出力ビデオフレームを形成するために、予測信号と予測誤差信号（ピクセル値）を足し合わせる。デコーダ（及びエンコーダ）は、出力ビデオをディスプレイに送るか、後続フレーム用予測リファレンスとしてビデオシーケンスに格納する前に、又はそれら両方を行う前に、出力ビデオの品質を向上するために追加フィルタリング処理を適用することもできる。図５には、復号処理が示されている。図5はビデオデコーダのブロック図を示す。ここで、P'_n：画像ブロックの予測表現； D'_n：再構成予測誤差信号；I'_n：予備再構成画像；R'_n：最終再構成画像；T^-1：逆変換；Q^-1：逆量子化；E^-1：エントロピー符号化；RFM：参照フレームメモリ；P：（インター又はイントラ）予測；F：フィルタリング、である。

符号化サンプル値を示すためには、サンプル値予測と変換符号化を利用する方法の代わりに、あるいはその方法に加えて、カラーパレットベースの符号化を用いることも可能である。パレットベース符号化は、パレット、即ち色のセットと関連するインデクスが定義され、パレットにおけるインデクスを示すことによって符号化単位内の各サンプルに対する値が表現される方法群を参照している。パレットベース符号化は、比較的少数の色を持つ符号化単位（例えば、テキストや単純なグラフィック等のコンピュータスクリーンコンテンツを表現する画像領域等）でも高い符号化効率の達成が可能である。パレット符号化の符号化効率を高めるために、種々のパレットインデクス予測方法が利用されてもよく、広くて均一な画像領域を効率的に表現できるように、パレットインデクスがランレングス符号化されてもよい。またCU内で繰り返し出現しないサンプル値を含むCUの場合、エスケープ符号化を使用することができる。エスケープ符号化サンプルは、何れのパレットインデクスも参照せずに伝送される。その代わり、各エスケープ符号化サンプルに対してそれぞれの値が示される。

復号ピクチャバッファ（Decoded Picture Buffer；DPB）はエンコーダ、デコーダの何れか又は両方で使用されてもよい。復号ピクチャをバッファする理由は2つある。一つはインター予測で参照するためで、もう一つは復号ピクチャを出力順に並べ直すためである。H.264/AVC及びHEVCはリファレンスピクチャのマーキングと出力の並べ換えの両方で相当な柔軟性を与えるため、リファレンスピクチャのバッファリングと出力ピクチャのバッファリングで別々のバッファを使うことはメモリリソースを浪費する可能性がある。このためDPBは、リファレンスピクチャと出力並び替えのための統合された復号ピクチャバッファリング処理を備えてもよい。復号ピクチャは、リファレンスとして使用されず出力される必要がなくなると、DPBから削除されてもよい。

動き補償画像ブロックの各々に関連する動きベクトルを用いて、ビデオコーデックにおいて動き情報が示されてもよい。こうした動きベクトルはそれぞれ、（エンコーダ側で）符号化されるピクチャ又は（デコーダ側で）復号されるピクチャの画像ブロックと、先に符号化又は復号されたピクチャの1つにおける予測元ブロックとの間の移動量を表わす。動きベクトルを効率よく表現するために、動きベクトルはブロック固有の予測動きベクトルに関して差動符号化されてもよい。ビデオコーデックにおいて予測動きベクトルは、所定の方法、例えば隣接ブロックの符号化／復号動きベクトルの中央値を計算することによって生成されてもよい。動きベクトル予測を行う別の方法は、時間軸上のリファレンスピクチャにおける隣接ブロック、同位置のブロックの何れか又は両方から予測候補のリストを作成し、選択された候補を動きベクトル予測として信号で伝えるものである。動きベクトルの値の予測に加え、先に符号化／復号されたピクチャのリファレンスインデクスが予測されてもよい。リファレンスインデクスは通常、時間軸上のリファレンスピクチャにおける隣接ブロック、同位置のブロックの何れか又は両方から予測される。また、高効率ビデオコーデックでは追加的な動き情報符号化／復号機構を用いてもよく、「マージング／マージモード」と呼ばれる。ここで、全ての動きフィールド情報は、利用可能なリファレンスピクチャリストの各々について動きベクトルと対応するリファレンスピクチャインデックスを含んで、予測され、その他の変更／修正を行わずに使用される。同様に、動きフィールド情報の予測は、時間リファレンスピクチャにおける隣接ブロック、コロケート（co-located）ブロックの何れか又は両方の動きフィールド情報を用いて行われ、使用された動きフィールド情報は、利用可能な隣接／コロケートブロックの動きフィールド情報が含まれる動きフィールド候補のリストに信号で伝えられる。

インターピクチャ予測に対する動き補償の適用に加え、イントラピクチャ予測でも同様の方法が適用可能である。この場合、移動量ベクトルは、符号化又は復号対象ブロックの予測を形成するために、同一ピクチャにおいてどのサンプルブロックがコピー可能であるかを示す。この種のイントラブロックコピー法は、フレーム内での繰り返し構造がある―テキストやその他のグラフィクスのような―場合に、実質的に符号化効率を上げることができる。

ビデオコーデックでは、動き補償後の予測残差は最初に変換カーネル（例えばDCT）で変換され、次に符号化されてもよい。これは、残差間にも相関があり、こうした変換が多くの場合でこのような相関を小さくするのに役立ち、より高い効率での符号化を可能にするからである。

ビデオエンコーダは、所期のマクロブロックモード及び関連する動きベクトル等の最適符号化モードを探索するために、ラグランジュ費用関数（Lagrangian cost function）を利用してもよい。この種の費用関数は、非可逆符号化法による（正確な又は推定された）画像歪みと、画像領域のピクセル／サンプル値を表現するのに必要である（正確な又は推定された）情報量を一緒に固定するために、加重ファクタλを用いる。

C=D+λR

ここで、Cは最小化すべきラグランジュコスト、Dはそのモード及び考慮される動きベクトルによる画像歪み（平均二乗誤差など）、Rはデコーダで画像ブロックを再構成するために要求されるデータ（候補の動きベクトルを表わすためのデータ量を含んでもよい）を表わすのに必要なビット数である。

スケーラブルビデオ符号化とは、コンテンツに関してビットレートや解像度、又はフレームレートが異なる複数の表現を１つのビットストリームが格納できるような符号化構造のことである。このような場合、受信側は、その特定（例えば、ディスプレイ装置に最適な解像度）に応じて望ましい表現を抽出することができる。あるいは、サーバ又はネットワーク要素が、ネットワーク特性や受信側の処理能力等に応じて受信側に送信されるように、ビットストリームの一部を抽出することもできる。スケーラブルビットストリームは、利用可能な最低品質ビデオを提供する1層の「基本レイヤ（base layer）」と、下位レイヤと共に受信・復号されるとビデオ品質を高める1層以上の拡張レイヤ（enhancement layer）から構成されてもよい。拡張レイヤに対する符号化効率を高めるために、レイヤの符号化表現は下位レイヤに依存してもよい。例えば、拡張レイヤの動き情報及びモード情報が下位レイヤから予測されてもよい。同様に、拡張レイヤ予測を作成するために、下位レイヤのピクセルデータを用いることもできる。

品質スケーラビリティ（信号対ノイズ比又はSN比とも呼ばれる）、空間スケーラビリティの何れか又は両方に対応するスケーラブルビデオコーデックは、次のように実装されてもよい。基本レイヤに対しては、従来の非スケーラブルビデオエンコーダ・デコーダが使用される。基本レイヤの再構成／復号ピクチャは、拡張レイヤ用リファレンスピクチャバッファに含められる。H.264/AVCやHEVC、インター予測用リファレンスピクチャリストを用いる同様のコーデックでは、基本レイヤ復号ピクチャは、拡張レイヤの復号リファレンスピクチャと同様に、拡張レイヤピクチャの符号化／復号のため、リファレンスピクチャリストに挿入されてもよい。その結果、エンコーダはインター予測リファレンスとして基本レイヤリファレンスピクチャを選択し、その使用を、リファレンスピクチャ・インデクスを用いて符号化ビットストリームに示してもよい。デコーダは、ビットストリームの例えばリファレンスピクチャ・インデクスから、拡張レイヤ用インター予測リファレンスとして基本レイヤピクチャが使用されることを復号する。復号基本レイヤピクチャは、拡張レイヤ用予測リファレンスとして使用される場合、レイヤ間リファレンスピクチャと呼ばれる。

品質スケーラビリティに加えて、空間スケーラビリティ、ビット深度スケーラビリティ、クロマフォーマットスケーラビリティという他のスケーラビリティモードも存在する。空間スケーラビリティでは、ベースレイヤピクチャが拡張レイヤピクチャよりも高い解像度で符号化される。ビット深度スケーラビリティでは、ベースレイヤピクチャが（例えば10から12ビットの）拡張レイヤピクチャよりも低いビット深度（例えば8ビット）で符号化される。クロマフォーマットスケーラビリティでは、ベースレイヤピクチャは、（例えば4:2:0フォーマットの）拡張レイヤピクチャよりも高い忠実度（例えば4：4：4フォーマット）で色差符号化される。

前述したスケーラビリティの場合、ビットレートの追加オーバーヘッドを最小にするため、拡張レイヤの符号化にベースレイヤ情報を用いることができる。

こうしたスケーラビリティは二通りのやり方で実行可能である。その一つは、スケーラブル表現の下位レイヤからピクセル値又はシンタックスの予測を行なうために新しい符号化モードを導入するアプローチであり、もう一つは、下位レイヤピクチャを上位レイヤのリファレンスピクチャバッファ（復号ピクチャバッファ、DPB）に配置するアプローチである。第１のアプローチは、より柔軟性があり、大部分の場合で高い符号化効率を実現できる。一方、リファレンスフレームに基づく第２のスケーラビリティアプローチは、単レイヤコーデックに対して最小限の変更だけで非常に効率的に実装可能でありながら、殆どの場合で符号化効率の向上を実現することができる。基本的には、リファレンスフレームベーススケーラビリティのコーデックは、全レイヤに対して同じハードウェア又はソフトウェアを用いて実装可能であり、外部手段によってDPBの管理を行なうだけでよい。

パレットインデクスのエスケープ符号化は、符号化済みのパレット符号化単位内において、アクティブなパレットでは十分に表現されない特定のサンプルに対して値を示す処理を参照する。こうしたパレット符号化単位内におけるエスケープ符号化済みサンプルを示すためには、二つの基本的アプローチが存在する。その一つは、パレット符号化単位内においてエスケープ符号化される特定のサンプル、あるいはサンプル値の表現に利用可能なパレット上での代表インデクスを、１ビットで示すことである。もう一つのアプローチでは、パレットインデクスのシンタックス要素にエスケープ符号化情報が埋め込まれる。このアプローチでは、エスケープモード標示子としてパレットにおけるアイテムの１つが使用されるため、パレットサイズが１アイテム分増加する。

さらに、幾つかの実施例を以下に示す。幾つかの実施形態において、エスケープの使用が適用可能である場合と、エスケープ符号化を用いなくてもサンプルセットが復号可能である場合を識別する標示子がビットストリームに挿入される。これは、パレット符号化を利用する符号化単位内においてエスケープ符号化情報をより効果的に表現できるようにする効果がある。

実施形態によっては、パレットモードで圧縮された符号化単位（CU）は次のようにして復号される。

初めに、符号化単位内においてエスケープ符号化の有無に関する標示が符号化される。次に、前述の標示に基づいて、エスケープ符号化ピクセル値を示すフラグが復号されるべきかが決定される。エスケープ符号化ピクセル値を示すフラグが復号されるべきであり、そのフラグがエスケープ符号化サンプルを示す場合、サンプル値情報が復号される。次に、前述の符号化単位内におけるサンプルに対して、復号サンプル値が割り当てられる。

これは、実施形態によっては図６に示す方法と、次に示す擬似コードによって実装可能である。ここで、各行の最後にある番号は図６の参照番号である。

図７には、別の実装が示されている。この実装では、シンタックス要素esc_leftを用いて符号化単位の最後のエスケープ符号化サンプルを識別するために、サンプルレベル標示子も使用される。この実施形態に対する擬似コードは次の通りである。ここで、各行の最後にある番号は図7の参照番号である。

また別のやり方でも実施形態を実装することができる。

例えば、前述の標示はCUにおけるサンプルのサブセットに適用することも可能である。また例えば、各符号化サンプルに対して、そのサンプルがCUにおいて最後のエスケープ符号化サンプルであるかを識別する標示があってもよい。

さらに別の例として、こうした標示が、上位レベルの標示とサンプルレベルの標示を組合せであってもよい。例えば、CUに対してエスケープ符号化サンプルが存在するかが示され、それが存在する場合、少なくとも１つのエスケープ符号化サンプルの各々に対して、それがCUにおける最後のエスケープであるかが更に示されてもよい。実施形態によっては、各エスケープ符号化サンプルに対して、それがCUにおける最後のエスケープであるかが示されてもよい。

別の例として、こうした標示が別々のレイヤで行われてもよい。例えば、シーケンスパラメータセットやピクチャパラメータセット、スライスヘッダ、符号化ツリー単位レベル、符号化単位レベル、予測単位レベル、変換単位レベルに標示が含まれてもよい。

また別の例として、エスケープ情報が別々の方法で示されてもよい。例えば、パレットにおける特定のインデクスを示すことによって、エスケープ符号化サンプルが識別されてもよい。この場合、エスケープ符号化が適用されないサンプルセットの標示を受け取った後は、パレットサイズは１だけ小さくすることができる（その後、パレットインデクスを示すときにビット数を節約できる）。

非エスケープ符号化サンプルは別の方法で符号化されてもよい。例えば、あるCU内におけるサンプルは所定の方法でスキャン可能であり、特定のサンプルに対して次の符号化モードの一つが適用するかを信号で伝えることができる：
＊下方コピーモード：対象サンプルの真上のサンプルの値と同一の値がサンプル値として設定される。この場合、同じ様に予測可能な連続するサンプル数も信号で伝えることができる。
＊ランレングスモード：複数の連続するサンプルに対して、パレットインデクスとして伝えられた値と同一の値がサンプル値として設定される。

以上の実施形態には種々の利点がある。例えば、パレットベースの画像符号化又はビデオ符号化の符号化効率は、事実上、符号化又は復号の複雑さに影響を与えずに向上される。

本発明の様々な実施形態は、メモリに存在するコンピュータプログラムコードを用いて実装でき、エンコーダやデコーダのような関連する装置に本発明を遂行させられる。例えば、装置は、データの処理・送受信を行う回路及び電子装置と、メモリにコンピュータプログラムコードと、プロセッサを備え、プロセッサは、コンピュータプログラムコードを実行すると、装置に本実施形態の構成を遂行させてもよい。また更に、サーバ等のネットワーク装置は、データの処理・送受信を行う回路及び電子装置と、メモリにコンピュータプログラムコードと、プロセッサを備えてもよい。プロセッサは、コンピュータプログラムコードを実行すると、ネットワーク装置に本実施形態の構成を遂行させる。

種々の実施形態は、コンピュータによって実行されるとこうした種々の実施形態を実行する命令を用いてコード化された非一時的コンピュータ可読媒体を援用して実装されてもよい。

必要に応じて、本出願で開示した様々な機能が異なる順序で又は同時に実行されてもよく、それら両方で実行されてもよい。さらに必要に応じて、前述の機能の1つ又は複数が任意選択できたり、統合されたりしてもよい。また更に、本実施形態は復号方法及びデコーダに関しても開示される。ただし本開示の教示は、符号化単位の符号化と、符号化単位内におけるエスケープ符号化の存在に関する標示の符号化を実行するように構成されるエンコーダにも適用可能である。

本発明の様々な態様が独立請求項に記載されているが、前述の実施形態からの特定事項の他の組合せ、独立請求項の特定事項を備える従属請求項の何れか又は両方を、請求項に明記された単なる組合せとは別に、本発明の他の態様が備えてもよい。

前述の通り、本発明の例示的実施形態が説明されてきたが、これらの記述を限定的な意味で見るべきでないことにも留意されたい。それよりも、添付の特許請求の範囲に定義される発明の範囲を逸脱することなしに、様々な変化や修正が存在する。

第１の実施例によれば、パレットモードで符号化された符号化単位を復号することであって、
前記符号化単位内におけるエスケープ符号化の存在に関する標示を復号することと；
エスケープ符号化サンプル値を示すフラグが復号されるべきかを決定することであって、該決定は前記標示に基づく、前記決定することと；
前記フラグが復号されるべきである場合、該フラグの値を復号し、更に該フラグの値がエスケープ符号化サンプルを示す場合、サンプル値情報を復号することと；
前記符号化単位内におけるサンプルに対して、前記復号サンプル値を割り当てること
を含む、前記符号化単位を復号することを含む方法が提供される。

第２の実施例によれば、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリと、を備える装置が提供され、少なくとも１つのメモリ及びコンピュータプログラムコードは、少なくとも１つのプロセッサにより、前記装置に少なくとも、パレット符号化で符号化された符号化単位を復号することであって、
前記符号化単位内におけるエスケープ符号化の存在に関する標示を復号することと；
エスケープ符号化ピクセル値を示すフラグが復号されるべきかを決定することであって、該決定は前記標示に基づく、前記決定することと；
前記フラグが復号されるべきである場合、該フラグの値を復号し、更に該フラグの値がエスケープ符号化サンプルを示す場合、サンプル値情報を復号することと；
前記符号化単位内におけるサンプルに対して、前記復号サンプル値を割り当てること
を含む、前記符号化単位を復号することを実行させるように構成される。

第３の実施例によれば、
処理手段と；
符号化単位内におけるエスケープ符号化の存在に関する標示を復号する手段と；
エスケープ符号化ピクセル値を示すフラグが復号されるべきかを決定する手段であって、該決定は前記標示に基づく、前記決定する手段と；
フラグが復号されるべきである場合、該フラグの値を復号する手段であって、更に該フラグの値がエスケープ符号化サンプルを示す場合、サンプル値情報を復号するように構成される、前記フラグの値を復号する手段と；
前記符号化単位内におけるサンプルに対して、前記復号サンプル値を割り当てる手段
を備える装置が提供される。

第４の実施例によれば、コンピュータプログラム製品であって、該コンピュータプログラム製品は、コンピュータと共に用いられるコンピュータプログラムコードを保持するコンピュータ可読媒体を備え、前記コンピュータプログラムコードは：
符号化単位内におけるエスケープ符号化の存在に関する標示を復号するコードと；
エスケープ符号化ピクセル値を示すフラグが復号されるべきかを決定するコードであって、該決定は前記標示に基づく、前記決定するコードと；
フラグが復号されるべきである場合、該フラグの値を復号するコードであって、更に該フラグの値がエスケープ符号化サンプルを示す場合、サンプル値情報を復号するように構成される、前記フラグの値を復号するコードと；
前記符号化単位内におけるサンプルに対して、前記復号サンプル値を割り当てるコード
を含む、前記コンピュータプログラム製品が提供される。

第５の実施例によれば、命令を用いてコード化された非一時的コンピュータ可読媒体であって、該命令は、コンピュータによって実行されると、
前記符号化単位内におけるエスケープ符号化の存在に関する標示を復号することと；
エスケープ符号化ピクセル値を示すフラグが復号されるべきかを決定することであって、該決定は前記標示に基づく、前記決定することと；
前記フラグが復号されるべきである場合、該フラグの値を復号し、更に該フラグの値がエスケープ符号化サンプルを示す場合、サンプル値情報を復号することと；
前記符号化単位内におけるサンプルに対して、前記復号サンプル値を割り当てること
を実行する、前記非一時的コンピュータ可読媒体が提供される。

Claims

パレットモードで符号化された符号化単位を復号することを含む方法であって、前記符号化単位を復号することが、
前記符号化単位内におけるエスケープ符号化の存在に関する標示を復号することと；
前記エスケープ符号化の存在に関する標示に基づいて、パレットのサイズを決定することと；
サンプルに対するエスケープ符号化を示すパレットインデクスを決定することと；
復号パレットインデクスを、前記エスケープ符号化を示すパレットインデクスと比較し、該インデクスが一致する場合、サンプル値情報を復号することと；
前記符号化単位内におけるサンプルに対して、前記復号サンプル値を割り当てることと；
を含む、方法。
前記符号化単位内におけるエスケープ符号化の存在に関する標示を、該符号化単位における全てのサンプル又はサンプルのサブセットに適用することを更に含む、請求項１に記載の方法。
前記標示は、上位レベル標示及びサンプルレベル標示の組合せである、請求項１に記載の方法。
符号化単位に対してエスケープ符号化サンプルが存在するかを示すことを更に含み、該エスケープ符号化サンプルが存在する場合、少なくとも１つのエスケープ符号化サンプルに対して、該少なくとも１つのエスケープ符号化サンプルが前記符号化単位における最後のエスケープであるかを示すことを含む、請求項１に記載の方法。
次のレイヤ：シーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダ、符号化ツリー単位レベル、符号化単位レベル、予測単位レベル、及び変換単位レベルの少なくとも１つに前記標示を含めることを更に含む、請求項１に記載の方法。
ビットストリームにおいてエスケープ情報をバイナリシンタックス要素で示すことであって、該エスケープ情報は、特定のサンプルがエスケープ符号化サンプルであることを示す、前記バイナリシンタックス要素で示すことを更に含む、請求項１に記載の方法。
符号化単位をパレットモードで符号化することを含む方法であって、前記パレットモードで符号化することが、
前記符号化単位内における少なくとも１つのサンプルがエスケープ符号化されるべきかを決定することと；
前記符号化単位内におけるエスケープ符号化の存在を示すフラグを符号化することと；
前記エスケープ符号化の存在に関する標示に基づいて、パレットのサイズを決定することと；
サンプルに対するエスケープ符号化を示すパレットインデクスを決定することと；
サンプルに対して前記エスケープ符号化を示すパレットインデクスの値を符号化することによって、前記符号化単位内における少なくとも１つのサンプルに対してエスケープ符号化を示すことと；
を含む、方法。
少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリと、を備える装置であって、前記少なくとも１つのメモリ及びコンピュータプログラムコードは、前記少なくとも１つのプロセッサにより、前記装置に少なくとも、パレット符号化で符号化された符号化単位を復号させるように構成され、前記符号化単位を復号することが、
前記符号化単位内におけるエスケープ符号化の存在に関する標示を復号することと；
前記エスケープ符号化の存在に関する標示に基づいて、パレットのサイズを決定することと；
サンプルに対するエスケープ符号化を示すパレットインデクスを決定することと；
復号パレットインデクスを、前記エスケープ符号化を示すパレットインデクスと比較し、該インデクスが一致する場合、サンプル値情報を復号することと；
前記符号化単位内におけるサンプルに対して、前記復号サンプル値を割り当てることと；
を含む、装置。
コンピュータプログラムコードであって、前記符号化単位内におけるエスケープ符号化の存在に関する標示を、該符号化単位における全てのサンプル又はサンプルのサブセットに適用することを前記装置に実行させる、前記コンピュータプログラムコードを更に備える、請求項８に記載の装置。
前記標示は、上位レベル標示及びサンプルレベル標示の組合せである、請求項８に記載の装置。
コンピュータプログラムコードであって、符号化単位に対してエスケープ符号化サンプルが存在するかを示し、該エスケープ符号化サンプルが存在する場合、少なくとも１つのエスケープ符号化サンプルに対して、該少なくとも１つのエスケープ符号化サンプルが前記符号化単位における最後のエスケープであるかを示すことを前記装置に実行させる、前記コンピュータプログラムコードを更に備える、請求項８に記載の装置。
コンピュータプログラムコードであって、次のレイヤ：シーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダ、符号化ツリー単位レベル、符号化単位レベル、予測単位レベル、及び変換単位レベルの少なくとも１つに前記標示を含めることを前記装置に実行させる、前記コンピュータプログラムコードを更に備える、請求項８に記載の装置。
コンピュータプログラムコードであって、ビットストリームにおいてエスケープ情報をバイナリシンタックス要素で示すこと、ただし、該エスケープ情報は、特定のサンプルがエスケープ符号化サンプルであることを示す、前記バイナリシンタックス要素で示すことを前記装置に実行させる、前記コンピュータプログラムコードを更に備える、請求項８に記載の装置。
少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリと、を備える装置であって、前記少なくとも１つのメモリ及びコンピュータプログラムコードは、前記少なくとも１つのプロセッサにより、前記装置に少なくとも、符号化単位をパレットモードで符号化させるように構成され、前記パレットモードで符号化することが、
前記符号化単位内における少なくとも１つのサンプルがエスケープ符号化されるべきかを決定することと；
前記符号化単位内におけるエスケープ符号化の存在を示すフラグを符号化することと；
前記エスケープ符号化の存在に関する標示に基づいて、パレットのサイズを決定することと；
サンプルに対するエスケープ符号化を示すパレットインデクスを決定することと；
サンプルに対して前記エスケープ符号化を示すパレットインデクスの値を符号化することによって、前記符号化単位内における少なくとも１つのサンプルに対してエスケープ符号化を示すことと；
を含む、装置。
処理手段及び記憶手段と；
パレットモードで符号化された符号化単位を復号する手段と；
符号化単位内におけるエスケープ符号化の存在に関する標示を復号する手段と；
前記エスケープ符号化の存在に関する標示に基づいて、パレットのサイズを決定する手段と；
サンプルに対するエスケープ符号化を示すパレットインデクスを決定する手段と；
復号パレットインデクスを、前記エスケープ符号化を示すパレットインデクスと比較し、該インデクスが一致する場合、サンプル値情報を復号する手段と；
前記符号化単位内におけるサンプルに対して、前記復号サンプル値を割り当てる手段と；
を少なくとも備える、装置。
処理手段及び記憶手段と；
符号化単位をパレットモードで符号化する手段と；
前記符号化単位内における少なくとも１つのサンプルがエスケープ符号化されるべきかを決定する手段と；
前記符号化単位内におけるエスケープ符号化の存在を示すフラグを符号化する手段と；
前記エスケープ符号化の存在に関する標示に基づいて、パレットのサイズを決定する手段と；
サンプルに対するエスケープ符号化を示すパレットインデクスを決定する手段と；
サンプルに対して前記エスケープ符号化を示すパレットインデクスの値を符号化することによって、前記符号化単位内における少なくとも１つのサンプルに対してエスケープ符号化を示す手段と；
を備える、装置。
命令によりコード化された非一時的コンピュータ可読媒体であって、前記命令は、コンピュータにより実行されると、
前記符号化単位内におけるエスケープ符号化の存在に関する標示を復号することと；
前記エスケープ符号化の存在に関する標示に基づいて、パレットのサイズを決定することと；
サンプルに対するエスケープ符号化を示すパレットインデクスを決定することと；
復号パレットインデクスを、前記エスケープ符号化を示すパレットインデクスと比較し、該インデクスが一致する場合、サンプル値情報を復号することと；
前記符号化単位内におけるサンプルに対して、前記復号サンプル値を割り当てること
を実行する、非一時的コンピュータ可読媒体。
命令によりコード化された非一時的コンピュータ可読媒体であって、前記命令は、コンピュータにより実行されると、
前記符号化単位内における少なくとも１つのサンプルがエスケープ符号化されるべきかを決定することと；
前記符号化単位内におけるエスケープ符号化の存在を示すフラグを符号化することと；
前記エスケープ符号化の存在に関する標示に基づいて、パレットのサイズを決定することと；
サンプルに対するエスケープ符号化を示すパレットインデクスを決定することと；
サンプルに対して前記エスケープ符号化を示すパレットインデクスの値を符号化することによって、前記符号化単位内における少なくとも１つのサンプルに対してエスケープ符号化を示すこと
を実行する、非一時的コンピュータ可読媒体。
コンピュータと共に用いられるコンピュータプログラムコードを保持するコンピュータ可読媒体を備えるコンピュータプログラムであって、前記コンピュータプログラムコードは：
符号化単位内におけるエスケープ符号化の存在に関する標示を復号するコードと；
前記エスケープ符号化の存在に関する標示に基づいて、パレットのサイズを決定するコードと；
サンプルに対するエスケープ符号化を示すパレットインデクスを決定するコードと；
復号パレットインデクスを、前記エスケープ符号化を示すパレットインデクスと比較し、該インデクスが一致する場合、サンプル値情報を復号するコードと；
前記符号化単位内におけるサンプルに対して、前記復号サンプル値を割り当てるコード
を含む、コンピュータプログラム。
コンピュータと共に用いられるコンピュータプログラムコードを保持するコンピュータ可読媒体を備えるコンピュータプログラムであって、前記コンピュータプログラムコードは：
前記符号化単位内における少なくとも１つのサンプルがエスケープ符号化されるべきかを決定するコードと；
前記符号化単位内におけるエスケープ符号化の存在を示すフラグを符号化するコードと；
前記エスケープ符号化の存在に関する標示に基づいて、パレットのサイズを決定するコードと；
サンプルに対するエスケープ符号化を示すパレットインデクスを決定するコードと；
サンプルに対して前記エスケープ符号化を示すパレットインデクスの値を符号化することによって、前記符号化単位内における少なくとも１つのサンプルに対してエスケープ符号化を示すコード
を含む、コンピュータプログラム。