JP2022552436A - 参照ピクチャを再サンプリングするための方法、計算デバイス、コンピュータ可読記憶媒体、コンピュータプログラム - Google Patents

Abstract

本発明は映像信号をデコードするための方法、装置及び非一時的なコンピュータ可読記憶媒体を提供する。デコーダは映像信号内の映像ブロックに関連付けられる参照ピクチャＩを取得する。デコーダは更に参照ピクチャＩにおける参照ブロックから映像ブロックの参照サンプルＩ（ｉ，ｊ）を取得できる。それぞれ映像ブロックの輝度インター予測サンプル及び彩度インター予測サンプルを生成するように、デコーダは更に第１ダウンサンプリングフィルタ及び第２ダウンサンプリングフィルタを取得できる。映像ブロックがアフィンモードで符号化される場合、それぞれ映像ブロックの輝度インター予測サンプル及び彩度インター予測サンプルを生成するように、デコーダは更に第３ダウンサンプリングフィルタ及び第４ダウンサンプリングフィルタを取得できる。デコーダは更に第３及び第４ダウンサンプリングフィルタが参照サンプルＩ（ｉ，ｊ）に応用されることにより映像ブロックのインター予測サンプルを取得できる。

Description

関連出願の相互参照

本願は、２０１９年１２月２４日に提出した仮出願Ｎｏ．６２／９５３，４７１に基づくものであり、且つ該仮出願の優先権を主張し、全ての目的のために、該仮出願の全ての内容が援用により本願に取り込まれる。

本開示は映像の符号化及び圧縮に関する。より具体的に、本開示は映像符号化のための参照ピクチャ再サンプリング技術についての方法及び装置に関する。

様々な映像符号化技術は映像データを圧縮するために用いられることができる。映像符号化は１つ又は複数の映像符号化標準に従って行われる。例えば、映像符号化標準は汎用映像符号化（ＶＶＣ）、共同探索テストモデル（ＪＥＭ）、高効率映像符号化（Ｈ．２６５／ＨＥＶＣ）、高度映像符号化（Ｈ．２６４／ＡＶＣ）、動画専門家集団（ＭＰＥＧ）符号化等を含む。映像符号化は一般的に映像画像又はシーケンスに存在する冗長を利用する予測方法（例えば、インター予測、イントラ予測等）を用いる。映像符号化技術の１つの重要な目標は映像データを、比較的に低いビットレートを用いる形式に圧縮するとともに、映像品質の低下を回避又は最小化することである。

本開示の例は参照ピクチャを再サンプリングするための方法及び装置を提供する。

本開示の第１態様に従って、映像信号をデコードするための方法を提供する。該方法は、デコーダが映像信号内の映像ブロックに関連付けられる参照ピクチャＩを取得することを含んでもよい。デコーダはまた参照ピクチャＩにおける参照ブロックから映像ブロックの参照サンプルＩ（ｉ，ｊ）を取得してもよい。ｉとｊが映像ブロック内の１つのサンプルの座標を表現してもよい。映像ブロックが非アフィンインターモードで符号化され且つ参照ピクチャＩの解像度が現在ピクチャの解像度よりも大きい場合、デコーダは、それぞれ映像ブロックの輝度インター予測サンプル及び彩度インター予測サンプルを生成するために第１ダウンサンプリングフィルタ及び第２ダウンサンプリングフィルタを更に取得してもよい。映像ブロックがアフィンモードで符号化され且つ参照ピクチャの解像度が現在ピクチャの解像度よりも大きい場合、デコーダはまた、それぞれ映像ブロックの輝度インター予測サンプル及び彩度インター予測サンプルを生成するために第３ダウンサンプリングフィルタ及び第４ダウンサンプリングフィルタを取得してもよい。デコーダは第３及び第４ダウンサンプリングフィルタが参照サンプルＩ（ｉ，ｊ）に応用されることに基づいて、映像ブロックのインター予測サンプルを更に取得してもよい。

本開示の第２態様に従って、計算デバイスを提供する。該計算デバイスは１つ又は複数のプロセッサと、前記１つ又は複数のプロセッサにより実行され得る命令が記憶される非一時的なコンピュータ可読メモリと、を備えてもよい。前記１つ又は複数のプロセッサは映像信号内の映像ブロックに関連付けられる参照ピクチャＩを取得するように配置されてもよい。前記１つ又は複数のプロセッサはまた、参照ピクチャＩにおける参照ブロックから映像ブロックの参照サンプルＩ（ｉ，ｊ）を取得するように配置されてもよい。ｉとｊが映像ブロック内の１つのサンプルの座標を表現してもよい。前記１つ又は複数のプロセッサは更に、映像ブロックが非アフィンインターモードで符号化され且つ参照ピクチャＩの解像度が現在ピクチャの解像度よりも大きい場合、それぞれ映像ブロックの輝度インター予測サンプル及び彩度インター予測サンプルを生成するために第１ダウンサンプリングフィルタ及び第２ダウンサンプリングフィルタを取得するように配置されてもよい。前記１つ又は複数のプロセッサはまた、映像ブロックがアフィンモードで符号化され且つ参照ピクチャの解像度が現在ピクチャの解像度よりも大きい場合、それぞれ映像ブロックの輝度インター予測サンプル及び彩度インター予測サンプルを生成するために第３ダウンサンプリングフィルタ及び第４ダウンサンプリングフィルタを取得するように配置されてもよい。前記１つ又は複数のプロセッサは更に、第３及び第４ダウンサンプリングフィルタが参照サンプルＩ（ｉ，ｊ）に応用されることに基づいて映像ブロックのインター予測サンプルを取得するように配置されてもよい。

本開示の第３態様に従って、命令が記憶される非一時的なコンピュータ可読記憶媒体を提供する。これらの命令が前記装置の１つ又は複数のプロセッサにより実行される時、これらの命令は該装置に映像信号内の映像ブロックに関連付けられる参照ピクチャＩを取得させることができる。これらの命令はまた、該装置に参照ピクチャＩにおける参照ブロックから映像ブロックの参照サンプルＩ（ｉ，ｊ）を取得させることができる。ｉとｊが映像ブロック内の１つのサンプルの座標を表現してもよい。これらの命令は更に、該装置に、映像ブロックが非アフィンインターモードで符号化され且つ参照ピクチャＩの解像度が現在ピクチャの解像度よりも大きい場合、それぞれ映像ブロックの輝度インター予測サンプル及び彩度インター予測サンプルを生成するために第１ダウンサンプリングフィルタ及び第２ダウンサンプリングフィルタを取得させることができる。これらの命令はまた、該装置に、映像ブロックがアフィンモードで符号化され且つ参照ピクチャの解像度が現在ピクチャの解像度よりも大きい場合、それぞれ映像ブロックの輝度インター予測サンプル及び彩度インター予測サンプルを生成するために第３ダウンサンプリングフィルタ及び第４ダウンサンプリングフィルタを取得させることができる。これらの命令は更に、該装置に、第３及び第４ダウンサンプリングフィルタが参照サンプルＩ（ｉ，ｊ）に応用されることに基づいて映像ブロックのインター予測サンプルを取得させることができる。

理解されるように、以上の一般的な説明及び以下の詳細な説明の両方は例示的なものであって、本開示を制限するものではない。

本明細書に結合され且つ本明細書の一部を構成する添付図面は本開示に一致する例を示し、且つ説明とともに本開示の原理を解釈するためのものである。

図１は本開示の一例に係るエンコーダのブロック図である。 図２は本開示の一例に係るデコーダのブロック図である。 図３Ａは本開示の一例に係るマルチタイプ木構造のブロック分割を示す図である。 図３Ｂは本開示の一例に係るマルチタイプ木構造のブロック分割を示す図である。 図３Ｃは本開示の一例に係るマルチタイプ木構造のブロック分割を示す図である。 図３Ｄは本開示の一例に係るマルチタイプ木構造のブロック分割を示す図である。 図３Ｅは本開示の一例に係るマルチタイプ木構造のブロック分割を示す図である。 図４Ａは本開示の一例に係る４パラメータアフィンモデルの図示である。 図４Ｂは本開示の一例に係る４パラメータアフィンモデルの図示である。 図５は本開示の一例に係る６パラメータアフィンモデルの図示である。 図６は本開示の一例に係る適応ビット深度切替の図示である。 図７は本開示の一例に係る映像信号をデコードするための方法である。 図８は本開示の一例に係る映像信号をデコードするための方法である。 図９は本開示の一例に係るユーザーインターフェースに結合される計算環境を示す図である。

以下、例示的な実施例を詳しく参照し、その例を添付図面に示す。以下の説明は、添付図面について言及するが、異なる図面内の同じ番号は、表されていない場合を除き、同じまたは類似の要素を表す。例示的な実施例の以下の説明に記述されている実現は、本開示と整合する全ての実現を表しているわけではない。それよりもむしろ、それら実現は、単に添付の特許請求の範囲で説明されるような本開示に関連する態様と整合する装置および方法の例である。

本開示で使用される用語は、特定の実施形態を説明することのみを目的としており、本開示を限定することを意図していない。本開示および添付の特許請求の範囲で使用される場合、文脈上特に明記されていない限り、単数形「ａ」、「ａｎ」および「ｔｈｅ」は、同様に複数形を含むことも意図する。本明細書で使用される「および／または」という用語は、１つまたは複数の関連する列挙されたアイテムの任意または全ての可能な組み合わせを表すことを意図し、かつそれらを包含することも理解されたい。

種々の情報を説明するために、用語「第１」、「第２」、「第３」などが本明細書で使用される場合があるが、これらの情報は、これらの用語によって制限されるべきではないこともさらに理解される。これらの用語は、情報のあるカテゴリーを別のものと区別するためのみに使用される。例えば、本開示の範囲から逸脱することなく、第１情報は第２情報と称される場合があり、また同様に、第２情報は、第１情報と称される場合もある。本明細書で使用される場合、用語「～する場合」は、「～するとき」、「～の際」、あるいは文脈によって「判断に応じて」を意味すると理解される場合がある。

ＨＥＶＣ標準の第１版は２０１３年１０月に完成され、前世代映像符号化標準Ｈ．２６４／ＭＰＥＧ ＡＶＣに比べて、約５０％のビットレートの節約又は同等の感知品質を提供する。ＨＥＶＣ標準はその前にあったものに比べて符号化の顕著な改善を提供するが、追加の符号化ツールを利用してＨＥＶＣよりも優れた符号化効率を実現できるという証拠がある。これに基づいて、ＶＣＥＧ及びＭＰＥＧはいずれも将来の映像符号化を標準化するための新たな符号化技術についての探索作業を開始した。符号化効率の大幅な向上を達成できる先進的な技術についての大きな研究を始めるよう、共同映像探索チーム（ＪＶＥＴ）は２０１５年１０月にＩＴＵ－Ｔ ＶＥＣＧ及びＩＳＯ／ＩＥＣ ＭＰＥＧにより成立された。共同探索モデル（ＪＥＭ）と称される１つの参照ソフトウェアは、ＪＶＥＴによってＨＥＶＣテストモデル（ＨＭ）にいくつかの追加の符号化ツールを統合することで支持されている。

２０１７年１０月に、ＩＴＵ－Ｔ及びＩＳＯ／ＩＥＣはＨＥＶＣを超える能力を有する映像圧縮についての共同提案募集（ＣｆＰ）を発表した。２０１８年４月に、第１０回ＪＶＥＴ会議において、２３部のＣｆＰ応答が受信されそして評価され、それはＨＥＶＣよりも約４０％高い圧縮効率ゲインを展示した。このような評価結果に基づいて、ＪＶＥＴは新たなプロジェクトを開始して汎用映像符号化（ＶＶＣ）と命名される新世代の映像符号化標準を開発する。同月に、ＶＶＣ標準の参照実現を展示するためにＶＶＣテストモデル（ＶＴＭ）と称される１つの参照ソフトウェアコードベースが設立された。

ＨＥＶＣのように、ＶＶＣはブロックベースのハイブリッド映像符号化フレームワークの上に確立されたものである。

図１はＶＶＣのためのブロックベースの映像エンコーダの全体図を示す。具体的に、図１は代表的なエンコーダ１００を示す。エンコーダ１００は映像入力１１０、動き補償１１２、動き推定１１４、イントラ／インターモード決定１１６、ブロック予測器１４０、加算器１２８、変換１３０、量子化１３２、予測関連情報１４２、イントラ予測１１８、ピクチャバッファ１２０、逆量子化１３４、逆変換１３６、加算器１２６、メモリ１２４、ループ内フィルタ１２２、エントロピー符号化ユニット１３８及びビットストリーム１４４を有する。

エンコーダ１００において、映像フレームは処理のために複数の映像ブロックに分割される。与えられた各映像ブロックに対して、インター予測方法又はイントラ予測方法に基づいて予測が形成される。

映像入力１１０の一部である現在映像ブロックとその予測器（ブロック予測器１４０の一部）との間の相違を表現する予測残差は、加算器１２８から変換１３０に送信される。次に、変換係数がエントロピー減少のために変換１３０から量子化１３２に送信される。次に、量子化された係数は、圧縮された映像ビットストリームを生成するためにエントロピー符号化ユニット１３８にフィードされる。図１に示されるように、映像ブロック分割情報、動きベクトル（ＭＶ）、参照ピクチャインデックス及びイントラ予測モード等のイントラ／インターモード決定１１６からの予測関連情報１４２もエントロピー符号化ユニット１３８を介してフィードされ、圧縮されたビットストリーム１４４に保存される。圧縮されたビットストリーム１４４は映像ビットストリームを含む。

エンコーダ１００において、予測のために、画素を再構築するためのデコーダ関連回路も必要である。まず、逆量子化１３４及び逆変換１３６により予測残差を再構築する。該再構築された予測残差は、現在映像ブロックのためのフィルタリングされていない再構築画素を生成するためにブロック予測器１４０と組み合わされる。

空間予測（又は、「イントラ予測」）は現在映像ブロックと同じ映像フレームにおける符号化済みの隣接ブロックのサンプル（参照サンプルと称される）からの画素を使用して現在映像ブロックを予測する。

時間予測（「インター予測」とも称される）は符号化済みの映像ピクチャからの再構築画素を使用して現在映像ブロックを予測する。時間予測は映像信号における固有の時間冗長を低減する。与えられた符号化ユニット（ＣＵ）又は符号化ブロックのための時間予測信号は一般的に１つ又は複数のＭＶによりシグナリングされ、前記ＭＶが現在ＣＵとその時間参照との間の動きの量及び方向を指示する。更に、複数の参照ピクチャがサポートされると、時間予測信号が参照ピクチャ記憶におけるどの参照ピクチャからのものであるかを識別するために用いられる１つの参照ピクチャインデックスを追加して送信する。

動き推定１１４は映像入力１１０及びピクチャバッファ１２０からの信号を取り込み、動き推定信号を動き補償１１２に出力する。動き補償１１２は映像入力１１０、ピクチャバッファ１２０からの信号及び動き推定１１４からの動き推定信号を取り込み、動き補償信号をイントラ／インターモード決定１１６に出力する。

空間及び／又は時間予測が行われた後で、エンコーダ１００におけるイントラ／インターモード決定１１６は例えばレート歪み適正化方法に基づいて最適な予測モードを選択する。次に、現在映像ブロックからブロック予測器１４０を差し引き、且つ変換１３０及び量子化１３２を使用して、得られた予測残差を脱相関する。得られた量子化残差係数は、再構築残差を形成するために逆量子化１３４により逆量子化され且つ逆変換１３６により逆変換され、再構築残差が次に予測ブロックに加算されてＣＵの再構築信号を形成する。更に、再構築ＣＵがピクチャバッファ１２０の参照ピクチャ記憶に置かれ且つ将来の映像ブロックを符号化するために用いられる前に、デプロッキングフィルタ、サンプル適応オフセット（ＳＡＯ）及び／又は適応ループ内フィルタ（ＡＬＦ）等のループ内フィルタ１２２を再構築ＣＵに応用してもよい。出力映像ビットストリーム１４４を形成するために、符号化モード（インター又はイントラ）、予測モード情報、動き情報及び量子化残差係数は全てエントロピー符号化ユニット１３８に送信されて更に圧縮され及びパックされ、ビットストリームが形成される。

図１は一般的なブロックベースのハイブリッド映像エンコーディングシステムのブロック図を与える。入力映像信号はブロック（ＣＵと称される）ずつ処理される。ＶＶＣにおいて、ＣＵは１２８ｘ１２８画素にも達することができる。しかし、４分木のみに基づいてブロックを分割するＨＥＶＣと異なり、ＶＶＣにおいて、１つの符号化木ユニット（ＣＴＵ）は４分／２分／３分木に基づいて若干のＣＵに分割されて、変化する局所特性に適応する。また、ＨＥＶＣにおけるマルチ分割ユニットタイプの概念は取り除かれ、即ち、ＶＶＣにおいてＣＵ、予測ユニット（ＰＵ）及び変換ユニット（ＴＵ）の分離はもはや存在せず、その代わりに、各ＣＵは常に予測及び変換の両方の基本ユニットとして使用され、更なる分割がない。マルチタイプ木構造において、１つのＣＴＵはまず４分木構造で分割される。次に、各４分木の葉ノードは２分及び３分木構造で更に分割されてもよい。

図３Ａ、図３Ｂ、図３Ｃ、図３Ｄ及び図３Ｅに示されるように、５種類の分割タイプ、即ち四元分割、水平二元分割、垂直二元分割、水平三元分割及び垂直三元分割がある。

図３Ａには本開示に係るマルチタイプ木構造におけるブロックの四元分割を示す図が示される。

図３Ｂには本開示に係るマルチタイプ木構造におけるブロックの垂直二元分割を示す図が示される。

図３Ｃには本開示に係るマルチタイプ木構造におけるブロックの水平二元分割を示す図が示される。

図３Ｄには本開示に係るマルチタイプ木構造におけるブロックの垂直三元分割を示す図が示される。

図３Ｅには本開示に係るマルチタイプ木構造におけるブロックの水平三元分割を示す図が示される。

図１では、空間予測及び／又は時間予測を行うことができる。空間予測（又は、「イントラ予測」）は同じ映像ピクチャ/スライスにおける符号化済みの隣接ブロックのサンプル（参照サンプルと称される）からの画素を使用して現在映像ブロックを予測する。空間予測は映像信号における固有の空間冗長を低減する。時間予測（「インター予測」又は「動き補償された予測」とも称される）は符号化済みの映像ピクチャからの再構築画素を使用して現在映像ブロックを予測する。時間予測は映像信号における固有の時間冗長を低減する。与えられたＣＵのための時間予測信号は一般的に１つ又は複数のＭＶによりシグナリングされ、前記ＭＶが現在ＣＵとその時間参照との間の動きの量及び方向を指示する。また、複数の参照ピクチャがサポートされると、時間予測信号が参照ピクチャ記憶におけるどの参照ピクチャからのものであるかを識別するために用いられる１つの参照ピクチャインデックスを追加して送信する。空間及び／又は時間予測の後で、エンコーダにおけるモード決定ブロックは例えばレート歪み適正化方法に基づいて最適な予測モードを選択する。次に、現在映像ブロックから予測ブロックを差し引き、変換及び量子化を使用して予測残差を脱相関する。量子化残差係数は逆量子化され且つ逆変換されて、再構築残差が形成され、再構築残差は次に予測ブロックに加算されてＣＵの再構築信号を形成する。更に、再構築ＣＵが参照ピクチャ記憶に置かれ且つ将来の映像ブロックを符号化するために用いられる前に、デプロッキングフィルタ、ＳＡＯ及びＡＬＦ等のループ内フィルタリングを再構築ＣＵに応用してもよい。出力映像ビットストリームを形成するために、符号化モード（インター又はイントラ）、予測モード情報、動き情報及び量子化残差係数は全てエントロピー符号化ユニットに送信されて更に圧縮され及びパックされ、ビットストリームが形成される。

図２はＶＶＣのための映像デコーダの全体ブロック図を示す。具体的に、図２は代表的なデコーダ２００のブロック図を示す。デコーダ２００はビットストリーム２１０、エントロピーデコーディング２１２、逆量子化２１４、逆変換２１６、加算器２１８、イントラ／インターモード選択器２２０、イントラ予測２２２、メモリ２３０、ループ内フィルタ２２８、動き補償２２４、ピクチャバッファ２２６、予測関連情報２３４及び映像出力２３２を有する。

デコーダ２００は図１におけるエンコーダ１００に駐在する再構築関連部分に類似する。デコーダ２００において、まず、エントロピーデコーディング２１２によって入って来る映像ビットストリーム２１０をデコードして、量子化係数レベル及び予測関連情報を得る。次に、逆量子化２１４及び逆変換２１６によって量子化係数レベルを処理して、再構築予測残差を取得する。イントラ／インターモード選択器２２０において実現されるブロック予測器メカニズムは、デコードされた予測情報に基づいてイントラ予測２２２又は動き補償２２４を行うように配置される。フィルタリングされていない再構築画素のセットは、加算器２１８を使用して逆変換２１６からの再構築予測残差とブロック予測器メカニズムにより生成された予測出力との和を求めることにより取得される。

再構築ブロックはピクチャバッファ２２６に記憶される前に更にループ内フィルタ２２８を通過することができ、前記ピクチャバッファ２２６が参照ピクチャの記憶として作用する。ピクチャバッファ２２６における再構築映像は、表示デバイスを駆動すること、そして将来の映像ブロックを予測するのに用いることのために送信されることができる。ループ内フィルタ２２８が起動される状況では、これらの再構築画素に対してフィルタリング操作を行って最終の再構築映像出力２３２を得る。

図２はブロックベースの映像デコーダの全体ブロック図を与える。まず、エントロピーデコーディングユニットにおいて映像ビットストリームをエントロピーデコードする。符号化モード及び予測情報は、予測ブロックを形成するために空間予測ユニット（イントラ符号化を行った場合）又は時間予測ユニット（インター符号化を行った場合）に送信される。残差変換係数は、残差ブロックを再構築するために逆量子化ユニット及び逆変換ユニットに送信される。次に予測ブロックと残差ブロックとを加算する。再構築ブロックは参照ピクチャ記憶に記憶される前に更にループ内フィルタリングを通過することができる。参照ピクチャ記憶における再構築映像は次に、表示デバイスを駆動すること、そして将来の映像ブロックを予測するのに用いることのために送信される。

本開示の着眼点はＶＶＣでサポートされる既存の参照ピクチャ再サンプリング設計を向上させる及びそれを簡素化することにある。以下に、本開示に提出した技術に緊密に関連するＶＶＣにおける現在符号化ツールを簡単に回顧する。

アフィンモード

ＨＥＶＣにおいて、並進動きモデルのみが動き補償予測に応用される。しかし、現実の世界には、多くの動き種類例えば拡大／縮小、回転、透視動き及び他の不規則な動きが存在する。ＶＶＣにおいて、アフィン動き補償予測は、並進動きそれともアフィン動きモデルがインター予測に応用されるかを指示するために、各インター符号化ブロックに対して１つのフラグをシグナリングすることで応用される。現在のＶＶＣ設計において、１つのアフィン符号化ブロックについて、４パラメータアフィンモードと６パラメータアフィンモードとを含む２つのアフィンモードがサポートされている。

４パラメータアフィンモデルは以下のパラメータを有する：それぞれ水平方向及び垂直方向の並進運動に用いられる２つのパラメータ、この２つの方向に対して拡大縮小動きに用いられる１つのパラメータ及び回転動きに用いられる１つのパラメータ。水平拡大縮小パラメータは垂直拡大縮小パラメータに等しい。水平回転パラメータは垂直回転パラメータに等しい。より効率的なアフィンパラメータシグナリングを実現するために、ＶＶＣにおいて、現在ブロックの左上隅及び右上隅に位置付けられる２つのＭＶ（制御点動きベクトル（ＣＰＭＶ）とも称される）によってこれらのアフィンパラメータが得られる。

図４Ａ及び図４Ｂに示されるように、ブロックのアフィン動きフィールドは２つの制御点ＭＶ（Ｖ_０，Ｖ_１）で説明される。

図４Ａは４パラメータアフィンモデルの図を示す。図４Ｂは４パラメータアフィンモデルの図を示す。制御点動きに基づいて、１つのアフィン符号化ブロックの動きフィールド（ｖ_ｘ，ｖ_ｙ）は以下のように説明される：

６パラメータアフィンモードは以下のパラメータを有する：それぞれ水平方向及び垂直方向の並進運動に用いられる２つのパラメータ、水平方向において拡大縮小動きに用いられる１つのパラメータ及び回転動きに用いられる１つのパラメータ、垂直方向において拡大縮小動きに用いられる１つのパラメータ及び回転動きに用いられる１つのパラメータ。該６パラメータアフィン動きモデルは３つのＣＰＭＶを利用して符号化される。

図５は６パラメータアフィンモデルの図を示す。図５に示されるように、１つの６パラメータアフィンブロックの３つの制御点は該ブロックの左上隅、右上隅及び左下隅に位置付けられる。左上の制御点での動きは並進動きに関連し、右上の制御点での動きは水平方向の回転及び拡大縮小動きに関連し、且つ左下の制御点での動きは垂直方向の回転及び拡大縮小動きに関連する。４パラメータアフィン動きモデルに比べて、６パラメータの水平方向の回転及び拡大縮小動きは垂直方向のそれらの動きと同じでなくてもよい。（Ｖ_０，Ｖ_１，Ｖ_２）が図５における現在ブロックの左上隅、右上隅及び左下隅のＭＶであると仮定し、制御点での３つのＭＶを使用して各サブブロックの動きベクトル（ｖ_ｘ，ｖ_ｙ）が以下のように得られる：

ＶＶＣにおいて、アフィン符号化ブロックのＣＰＭＶが分離したバッファに記憶される。記憶されるＣＰＭＶはアフィンマージモード（即ち、隣接のアフィンブロックからアフィンＣＰＭＶを受け継ぐ）及びアフィン明示モード（即ち、予測に基づくスキームに基づいてアフィンＣＰＭＶをシグナリングする）のアフィンＣＰＭＶ予測器の生成のみに用いられる。ＣＰＭＶから得られるサブブロックＭＶは動き補償、並進ＭＶのＭＶ予測及びデプロッキングに用いられる。

通常のインターブロックの動き補償と同様に、各アフィンサブブロックのＭＶは分数のサンプル位置での参照サンプルを指してもよい。このような場合、分数の画素位置の参照サンプルを生成するために補間フィルタリング処理が必要である。最悪な状況におけるメモリ帯域幅要求及び最悪な状況における補間の計算複雑度を制御するために、６タップ補間フィルタのセットをアフィンサブブロックの動き補償に用いる。表１及び表２はそれぞれ通常のインターブロック及びアフィンブロックの動き補償に用いられる補間フィルタについて説明した。見えるように、アフィンモードのための６タップ補間フィルタは、通常のインターブロックのための８タップフィルタの各側の２つの最外側のフィルタ係数を６タップフィルタのための１つの単一のフィルタ係数に直接に加算することにより、８タップフィルタから直接に得られ、即ち、表２におけるフィルタ係数Ｐ０及びＰ５はそれぞれ表１におけるフィルタ係数Ｐ０及びＰ１の和並びにフィルタ係数Ｐ６及びＰ７の和に等しい。

また、彩度サンプルの動き補償について、通常のインターブロックのための同じ４タップ補間フィルタ（表３に説明されるように）はアフィンブロックに使用される。

参照ピクチャ再サンプリング

ＨＥＶＣと異なり、新興のＶＶＣ標準は１つの同じ内容のビットストリーム内の迅速な空間解像度切替をサポートする。このような能力は参照ピクチャ再サンプリング（ＲＰＲ）又は適応解像度切替（ＡＲＣ）と称される。リアルタイム映像アプリケーションにおいて、ランダムアクセスをサポートするピクチャ又はイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャ（例えば、ＩＤＲピクチャ又はＣＲＡピクチャ等）を挿入するという要求がないで１つの符号化された映像シーケンスにおいて解像度の変化を許容するのは、圧縮された映像データを動的な通信チャネル条件に適応させることができるだけでなく、ＩＤＲ又はＣＲＡピクチャの比較的に大きな寸法による帯域幅の消費の急増を回避することもできる。具体的に、以下の代表的なユーザー状況はＲＰＲ特徴から利益を受けることができる。

映像電話及び会議におけるレート適応
符号化された映像を変化のネットワーク条件に適応させるために、ネットワーク条件が更に悪化して利用可能な帯域幅がより低くなる場合、エンコーダはより小さな解像度のピクチャをエンコードすることでこれに適応することができる。現在、ピクチャの解像度を変化することはＩＲＡＰピクチャの後でしか行われず、このため、いくつかの問題がある。合理的な品質のＩＲＡＰピクチャはインター符号化されたピクチャよりも大幅に大きく、且つそれに対応してデコーディングがより複雑になり、このため、時間及びリソースを消費してしまう。これは、ローディングのためにデコーダが解像度の変化を要求する場合に問題となる。それは、低遅延バッファ条件を打破して、音声を強制的に改めて同期させることもでき、且つストリームのエンドツーエンド遅延が少なくとも一時的に増加してしまう。これは、悪化されたユーザーエクスペリエンスをもたらしてしまう。

多方面の映像会議における活発な発言者の変化
多方面の映像会議の場合、よく見られるのは活発な発言者が残りの会議参加者の映像よりも大きな映像寸法で示される。活発な発言者が変化するとき、各参加者に用いられるピクチャ解像度も調節される必要がある。このような活発な発言者の変化が頻繁に発生する場合、ＡＲＣ特徴を有する需要が更に重要となる。

ストリーミングにおける迅速な開始
ストリーミングアプリケーションの場合、よく見られるのは該アプリケーションが表示を開始する前に一定長さまでのデコードされたピクチャをバッファリングすることとなる。比較的に小さな解像度を有するビットストリームを開始するのは、表示をより速く開始するために、該アプリケーションがバッファにおいて十分に多いピクチャを有することを許容する。

ストリーミングにおける適応ストリーム切替
ＨＴＴＰにおいて動的な適応型ストリーミング（ＤＡＳＨ）規範は＠ｍｅｄｉａＳｔｒｅａｍＳｔｒｕｃｔｕｒｅＩｄと称される特徴を含む。これは、デコード不可能な先頭のピクチャを有するオープンＧＯＰランダムアクセスポイントでの異なる表示間の切替を実現できるようにし、前記ピクチャが例えばＨＥＶＣにおいて関連付けられるＲＡＳＬピクチャを有するＣＲＡピクチャである。同じ映像の２つの異なる表示は異なるビットレートを有するが、同じ空間解像度を有するとともに、それらは同じ＠ｍｅｄｉａＳｔｒｅａｍＳｔｒｕｃｔｕｒｅＩｄ値を有する場合、関連付けられるＲＡＳＬピクチャを有するＣＲＡピクチャでのこの２つの表示の間の切替を行うことができ、且つ受け入れられる品質でＣＲＡピクチャでの切替に関連付けられるＲＡＳＬピクチャをデコードすることができ、それによりシームレス切替を実現できるようにする。ＡＲＣを利用して、＠ｍｅｄｉａＳｔｒｅａｍＳｔｒｕｃｔｕｒｅＩｄ特徴は更に異なる空間解像度を有するＤＡＳＨ表示の間の切替に使用され得る。

第１５回のＪＶＥＴ会議では、ＲＰＲ特徴はＶＶＣ標準により正式にサポートされる。ＶＶＣにおいて既存のＲＰＲ設計の主な態様は以下のようにまとめられる。

ＲＰＲ上級シグナリング

現在のＲＰＲ設計に従って、シーケンスパラメータセット（ＳＰＳ）において、ＳＰＳを参照する符号化ピクチャの最大の幅及び高さを指定するために２つのシンタックス要素ｐｉｃ＿ｗｉｄｔｈ＿ｍａｘ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ及びｐｉｃ＿ｈｅｉｇｈｔ＿ｍａｘ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓはシグナリングされる。次に、ピクチャの解像度が変化する場合、ＰＰＳを参照するピクチャの異なるピクチャ解像度を指定するために関連するシンタックス要素ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ及びｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓがシグナリングされるとき、１つの新たなピクチャパラメータセット（ＰＰＳ）を設定する必要がある。ビットストリーム適合性が存在し、即ちｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ及びｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓの値はｐｉｃ＿ｗｉｄｔｈ＿ｍａｘ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ及びｐｉｃ＿ｈｅｉｇｈｔ＿ｍａｘ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓの値を超えるべきではない。表４はＳＰＳ及びＰＰＳにおけるＲＰＲ関連シグナリングについて説明した。

参照ピクチャ再サンプリング処理

１つのビットストリーム内に解像度が変化する場合、現在ピクチャは異なる寸法の１つ又は複数の参照ピクチャを有する可能性がある。現在のＲＰＲ設計に従って、ピクチャの解像度が変化する場合、現在ピクチャの全てのＭＶは参照ピクチャのサンプルグリッドではなく現在ピクチャのサンプルグリッドに規格化される。これは、ピクチャの解像度の変化がＭＶ予測処理にとって透明になるようにすることができる。

ピクチャの解像度が変化する場合、ＭＶ以外に、現在ブロックの動き補償期間に更に必ず１つの参照ブロックにおけるサンプルをアンサンプリング／ダウンサンプリングしなければならない。ＶＶＣにおいて、拡大縮小比率即ちｒｅｆＰｉｃＷｉｄｔｈＩｎＬｕｍａＳａｍｐｌｅ／ｐｉｃＷｉｄｔｈＩｎＬｕｍａ及びｒｅｆＰｉｃＨｅｉｇｈｔＩｎＬｕｍａＳａｍｐｌｅ／ｐｉｃＨｅｉｇｈｔＩｎＬｕｍａＳａｍｐｌｅは範囲［１／８，２］に制限される。

現在のＲＰＲ設計において、現在ピクチャ及びその参照ピクチャが異なる解像度である場合、異なる補間フィルタを応用して参照サンプルを補間する。具体的に、参照ピクチャの解像度が現在ピクチャの解像度以下である場合、デフォルトの８タップ及び４タップ補間フィルタを使用してそれぞれ輝度サンプル及び彩度サンプルのインター予測サンプルを生成する。しかし、デフォルトの動き補間フィルタは強いローパス特性を呈しない。参照ピクチャの解像度が現在ピクチャの解像度よりも高い場合、デフォルトの動き補間フィルタを使用すると無視できないエイリアシングを引き起こしてしまい、これはダウンサンプリング比率が増加する場合によりひどくなってしまう。従って、ＲＰＲのインター予測効率を向上させるために、参照ピクチャが現在ピクチャよりも高い解像度を有する場合、２つの異なるダウンサンプリングフィルタのセットを応用する。詳しくは、ダウンサンプリング比率が１．５：１以上である場合、以下の表５及び表６に示される８タップ及び４タップのＬａｎｃｚｏｓフィルタを使用する。

ダウンサンプリング比率が２：１以上である場合、余弦窓関数を１２タップＳＨＭダウンサンプリングフィルタに応用することにより得られる以下の８タップ及び４タップのダウンサンプリングフィルタ（表７及び表８に示される）を使用する。

最後に、以上のダウンサンプリングフィルタは非アフィンインターブロックの輝度予測サンプル及び彩度予測サンプルを生成することだけに応用される。アフィンモードの場合、依然としてデフォルトの８タップ及び４タップの動き補間フィルタをダウンサンプリングに応用する。

既存のＲＰＲ設計における問題

本開示の目標はＲＰＲを応用する際のアフィンモードの符号化効率を向上させることである。具体的に、ＶＶＣにおける既存のＲＰＲ設計の下記問題が識別される。

まず、以前に検討されるように、参照ピクチャの解像度が現在ピクチャの解像度よりも高い場合、追加のダウンサンプリングフィルタが非アフィンモードの動き補償のみに応用される。アフィンモードの場合、６タップ及び４タップの動き補間フィルタが応用される。それらのフィルタがデフォルトの動き補間フィルタから得られると仮定すれば、それらは強いローパス特性を示さない。従って、非アフィンモードに比べて、有名なＮｙｑｕｉｓｔ－Ｓｈａｎｎｏｎサンプリング定理に起因して、アフィンモードの予測サンプルはよりひどいエイリアシングアーティファクトを呈する。このように、より優れた符号化性能を実現するために、ダウンサンプリングする必要がある場合に適切なローパスフィルタもアフィンモードの動き補償に応用するように望まれている。

第２としては、既存のＲＰＲ設計に基づいて、現在サンプルの位置、ＭＶ及び参照ピクチャと現在ピクチャとの間の解像度の拡大縮小比率に基づいて参照サンプルの分数の画素位置を決定する。従って、参照ブロックのダウンサンプリングを応用する場合、より高いメモリ帯域幅消費及び計算複雑度で現在ブロックの参照サンプルを補間してしまう。現在ブロックの寸法がＭ（幅）×Ｎ（高さ）であると仮定する。参照ピクチャの寸法が現在ピクチャの寸方と同じである場合、参照ピクチャにおいて寸法が（Ｍ＋７）×（Ｎ＋７）である整数サンプルにアクセスする必要があり、且つ現在ブロックの動き補償のために８×（Ｍ×（Ｎ＋７））＋８×Ｍ×Ｎ回の乗算が必要である。ダウンサンプリング拡大縮小比率がｓであれば、対応のメモリ帯域幅及び乗算は（ｓ×Ｍ＋７）×（ｓ×Ｎ＋７）及び８×（Ｍ×（ｓ×Ｎ＋７））＋８×Ｍ×Ｎまで増加される。表９及び表１０では、ＲＰＲダウンサンプリング拡大縮小比率がそれぞれ１．５Ｘ及び２Ｘである場合にいろいろなブロック寸法の動き補償に用いられる整数サンプル数及びサンプル毎の乗算回数が比較される。表９及び表１０では、名称「ＲＰＲ １Ｘ」の列は参照ピクチャ及び現在ピクチャの解像度が同じであり、即ちＲＰＲが応用されない場合の状況に対応する。列「ＲＰＲ １Ｘとの比率」はＲＰＲダウンサンプリング比率が１よりも大きい場合のメモリ帯域幅／乗算と、ＲＰＲがない場合の通常のインターモードにおける対応の最悪な状況における数（即ち、１６×４双方向予測）との対応比率を描いている。見えるように、通常のインター予測の最悪な状況における複雑度に比べて、参照ピクチャが現在ピクチャよりも高い解像度を有する場合、メモリ帯域幅及び計算複雑度は著しく増加する。ピーク値の増加は１６×４双方向予測によるものであり、メモリ帯域幅及び乗算回数は最悪な状況における双方向予測のメモリ帯域幅及び乗算回数の２３１％及び１２７％である。

第３としては、既存のＲＰＲ設計において、ＶＶＣは1つの同じビットストリーム内のピクチャの解像度の適応切替のみをサポートするが、映像シーケンスを符号化するためのビット深度が同じであるように維持する。しかし、ＶＶＣ標準のＣｆＰを発表するための「将来の映像符号化標準の要求」には、「本標準は、同じ内容の複数の表示(各表示が異なる属性（例えば、空間解像度又はサンプルビット深度）を有する)を提供する適応ストリーミングサービスの場合の迅速な表示切替をサポートすべきである」ということが明確に説明される。実際の映像アプリケーションにおいて、シングルインストラクション・マルチプルデータ（ＳＩＭＤ）操作に起因して、符号化された映像シーケンス内の符号化ビット深度を変化させることを許容するのは、映像エンコーダ／デコーダ特にソフトウェアこーデック実現に対してよりフレキシブルな性能／複雑度の折衷を提供できる。

ＲＰＲ符号化への改善

本開示では、ＶＶＣにおけるＲＰＲ符号化の効率を向上させ、そしてそのメモリ帯域幅及び計算複雑度を低減する解決案が提案された。より具体的に、本開示に提案された技術は以下のようにまとめられることができる。

まず、アフィンモードのＲＰＲ符号化効率を向上させるために、新たなローパス補間フィルタは、現在ピクチャに比べて参照ピクチャがより高い解像度を有する場合即ちダウンサンプリングする必要がある場合にアフィンのための既存の８タップ輝度補間フィルタ及び４タップ彩度補間フィルタを代替するために提案される。

第２としては、ＲＰＲを簡素化するために、ＲＰＲを応用しない通常のインターモードに比べてメモリ帯域幅及び計算複雑度の顕著な増加をもたらしてしまうあるＣＵ寸法に対してＲＰＲに基づくインター予測を使用禁止することが提案される。

第３としては、１つの映像シーケンスを符号化するための内部ビット深度の動的な変化を許容する方法が提案される。

アフィンモードのためのダウンサンプリングフィルタ

以上に言及したように、現在ピクチャ及びその参照ピクチャの解像度が同じであるか否かにかかわらず、デフォルトの６タップの動き補間フィルタ及び４タップの動き補間フィルタが常にアフィンモードに応用される。ＨＥＶＣに使用される補間フィルタと同様に、ＶＶＣにおけるデフォルトの動き補間フィルタは強いローパス特性を呈しない。空間拡大縮小比率が１に近い場合、デフォルトの動き補間フィルタは予測サンプルの受け入れられる品質を提供できる。しかし、参照ピクチャから現在ピクチャまでの解像度のダウンサンプリング比率がより大きくなる場合、Ｎｙｑｕｉｓｔ－Ｓｈａｎｎｏｎサンプリング定理に基づいて、同じデフォルトの動き補間フィルタを使用すればエイリアシングアーティファクトがひどくなる。特に、応用されるＭＶが整数サンプル位置での参照サンプルを指す場合、デフォルトの動き補間は完全にフィルタリング操作を応用しない。これでアフィンブロックにとって予測サンプルの品質の顕著な低下をもたらしてしまう恐れがある。

ダウンサンプリングによるエイリアシングアーティファクトを軽減するために、本開示に従って、アフィンモードの動き補償に対してより強いローパス特性を有する異なる補間フィルタを利用して既存のデフォルトの６タップ／４タップ補間フィルタを代替することが提案される。また、メモリ帯域幅及び計算複雑度が通常の動き補償処理と同じであるように維持するために、提案されたダウンサンプリングフィルタはアフィンモードのための既存の補間フィルタとは同じ長さであり、即ち６タップは輝度成分に用いられ、４タップは彩度成分に用いられる。

図７は映像信号をデコードするための方法を示す。該方法は例えばデコーダに応用されてもよい。

ステップ７１０において、デコーダは映像信号内の映像ブロックに関連付けられる参照ピクチャＩを取得できる。

ステップ７１２において、デコーダは参照ピクチャＩにおける参照ブロックから映像ブロックの参照サンプルＩ（ｉ，ｊ）を取得できる。ｉとｊが例えば映像ブロック内の１つのサンプルの座標を表現してもよい。

ステップ７１４において、映像ブロックが非アフィンインターモードで符号化され且つ参照ピクチャＩの解像度が現在ピクチャの解像度よりも大きい場合、デコーダは、それぞれ映像ブロックの輝度インター予測サンプル及び彩度インター予測サンプルを生成するために第１ダウンサンプリングフィルタ及び第２ダウンサンプリングフィルタを取得できる。

ステップ７１６において、映像ブロックがアフィンモードで符号化され且つ参照ピクチャの解像度が現在ピクチャの解像度よりも大きい場合、デコーダは、それぞれ映像ブロックの輝度インター予測サンプル及び彩度インター予測サンプルを生成するために第３ダウンサンプリングフィルタ及び第４ダウンサンプリングフィルタを取得できる。

ステップ７１８において、デコーダは第３及び第４ダウンサンプリングフィルタが参照サンプルＩ（ｉ，ｊ）に応用されることに基づいて映像ブロックのインター予測サンプルを取得できる。

アフィン輝度ダウンサンプリングフィルタ

アフィンモードのための輝度ダウンサンプリングフィルタを得る方式が複数ある。

方法１
本開示の１つ又は複数の実施例では、通常のインターモード（即ち、非アフィンモード）の既存の輝度ダウンサンプリングフィルタからアフィンモードの輝度ダウンサンプリングフィルタを直接に得ることが提案される。具体的に、当該方法によって、８タップフィルタの２つの最左側／最右側のフィルタ係数をそれぞれ加算して６タップフィルタのための１つの単一のフィルタ係数となるようにすることで、表５（拡大縮小比率１．５Ｘの場合に使用される）及び表７（拡大縮小比率２Ｘの場合に使用される）における８タップの輝度ダウンサンプリングフィルタから新たな６タップの輝度ダウンサンプリングフィルタを得る。表１１及び表１２はそれぞれ空間拡大縮小比率が１．５：１及び２：１である場合に提案された６タップの輝度ダウンサンプリングフィルタについて説明した。

方法２
本開示の１つ又は複数の実施例では、余弦窓掛けｓｉｎｃ関数に基づいて得られるＳＨＭフィルタから６タップのアフィンダウンサンプリングフィルタを直接に得ることが提案される。具体的に、該方法において、以下の式に基づいてアフィンダウンサンプリングフィルタを得る。

ここで、Ｌがフィルタ長さであり、ｈ（ｎ）が理想的なローパス周波数応答であり、その計算は、以下の式（４）の通りである。

ｆ_ｃがカットオフ周波数であり、ｓが拡大縮小比率である。ｗ（ｎ）が余弦窓関数であり、その定義は、以下の式（５）の通りである。

一例では、ｆが０．９であり、Ｌ＝６であると仮定し、表１３及び表１４は空間拡大縮小比率が１．５Ｘ（即ち、ｓ＝１．５）及び２Ｘ（即ち、ｓ＝２）である場合に得られた６タップの輝度ダウンサンプリングについて説明した。

指摘すべきことは、表１３及び表１４において、フィルタ係数が７ビットサイン変数の精度で得られ、該精度がＲＰＲ設計に使用されるダウンサンプリングフィルタと同じであるように維持される。

図８は映像信号をデコードするための方法を示す。該方法は例えばデコーダに応用されてもよい。

ステップ８１０において、デコーダはカットオフ周波数及び拡大縮小比率に基づいて理想的なローパスフィルタの周波数応答を取得できる。

ステップ８１２において、デコーダはフィルタ長さに基づいて余弦窓関数を取得できる。

ステップ８１４において、デコーダは周波数応答及び余弦窓関数に基づいて第３ダウンサンプリングフィルタを取得できる。

アフィン彩度ダウンサンプリングフィルタ

以下に、参照ピクチャの解像度が現在ピクチャの解像度よりも高い場合に彩度参照ブロックをダウンサンプリングする方法が３つ提案される。

方法１
第１方法において、ＲＰＲにおいて非アフィンモードに用いるように設計される既存の１．５Ｘ（表６）及び２Ｘ（表８）の４タップ彩度ダウンサンプリングフィルタを改めてアフィンモードの参照サンプルのダウンサンプリングに用いることが提案される。

方法２
第２方法において、デフォルトの４タップ彩度補間フィルタ（表３）を、改めてアフィンモードの参照サンプルをダウンサンプリングするのに用いることが提案される。

方法３
第３方法において、（３）～（５）に描かれる余弦窓掛けｓｉｎｃ関数に基づいて彩度ダウンサンプリングフィルタを得ることが提案される。表１５及び表１６は余弦窓ｓｉｎｃ関数のカットオフ周波数が０．９であると仮定する場合にそれぞれ１．５Ｘ及び２Ｘの拡大縮小比率について得られた４タップ彩度ダウンサンプリングフィルタを描いている。

ＲＰＲモードのための制約のブロック寸法

「問題声明」の節に分析したように、ダウンサンプリングが発生する場合、既存のＲＰＲは複雑度の顕著な増加（例えば、動き補償に対してアクセスされる整数サンプルの数及び必要な乗算回数）をもたらしてしまう。具体的に、参照ブロックをダウンサンプリングする必要がある場合のメモリ帯域幅及び乗算回数は最悪な状況の双方向予測の２３１％及び１２７％である。

１つ又は複数の実施例では、参照ピクチャの解像度が現在ピクチャの解像度よりも高い場合、あるブロック形状（例えば４×Ｎ、Ｎ×４及び／又は８×８）のためのインター予測期間に双方向予測を使用禁止する（しかしながら、依然として単方向予測を許容する）ことが提案される。表１７及び表１８はＲＰＲを利用してインター予測を行う期間に４×Ｎ、Ｎ×４及び８×８ブロック寸法に対して双方向予測を使用禁止する場合の対応のサンプル毎のメモリ帯域幅及び乗算回数を示す。見えるように、提案された制約を利用して、メモリ帯域幅及び乗算回数が１．５Ｘダウンサンプリングの最悪な状況の双方向予測の１３０％及び１０７％並びに２Ｘダウンサンプリングの最悪な状況の双方向予測の１１６％及び１１３％まで低減される。

以上の例では、４×Ｎ、Ｎ×４及び８×８ブロック寸法のみに対してＲＰＲモードの双方向予測を使用禁止するが、最も先進的な現代映像技術を把握している技術者にとって、提案された制約は依然として他のブロック寸法及びインター符号化モード（例えば、単方向／双方向予測、マージ／非マージモード等）に適用される。

適応ビット深度切替

既存のＲＰＲ設計において、ＶＶＣは１つの同じビットストリーム内のピクチャ解像度の適応切替のみをサポートするが、映像シーケンスを符号化するためのビット深度が同じであるように維持される。しかし、以前に分析したように、１つの同じビットストリーム内の符号化ビット深度の切替を許容するのは、実際のエンコーダ／デコーダデバイスに対してより高いフレキシビリティを提供し且つ符号化性能と計算複雑度との間で異なる折衷を提供することができる。

本節において、即時デコードリフレッシュ（ＩＤＲ）ピクチャ等の１つのＩＲＡＰピクチャを導入する要求がないで内部符号化ビット深度を変化させることを許容するために適応ビット深度切替（ＡＢＳ）方法が提案される。

図６には１つの仮定例が描かれ、当該仮定例では現在ピクチャ６２０並びにその参照ピクチャ６１０及び６３０が異なる内部ビット深度で符号化される。図６は、８ビット符号化を利用する参照ピクチャ６１０ Ｒｅｆ０、１０ビット符号化を利用する現在ピクチャ６２０、及び１２ビット符号化を利用する参照ピクチャ６３０ Ｒｅｆ１を示す。具体的に、以下に、提案されたＡＢＳ能力をサポートするために、現在ＶＶＣフレームワークに対して動き補償処理への上級シンタックスシグナリング及び修正が提案される。

上級ＡＢＳシグナリング

提案されたＡＢＳシグナリングについては、ＳＰＳにおいて、ＳＰＳを参照する符号化ピクチャのための最大内部符号化ビット深度を指定する既存のビット深度シンタックス要素ｂｉｔ＿ｄｅｐｔｈ＿ｍｉｎｕｓ８を代替するために、１つの新たなシンタックス要素ｓｐｓ＿ｍａｘ＿ｂｉｔ＿ｄｅｐｔｈ＿ｍｉｎｕｓ８が提案される。次に、符号化ビット深度を変化させる場合、ＰＰＳを参照するピクチャの異なる符号化ビット深度を指定するために１つの新たなＰＰＳシンタックスｐｐｓ＿ｂｉｔ＿ｄｅｐｔｈ＿ｍｉｎｕｓ８が送信される。

ビットストリーム適合性が存在し、即ちｐｐｓ＿ｂｉｔ＿ｄｅｐｔｈ＿ｍｉｎｕｓ８の値はｓｐｓ＿ｍａｘ＿ｂｉｔ＿ｄｅｐｔｈ＿ｍｉｎｕｓ８の値を超えるべきではない。表１９はＳＰＳ及びＰＰＳにおける提案されたＡＢＳシグナリングについて説明した。

予測サンプルビット深度の調節

１つの符号化された映像シーケンス内に１つの符号化ビット深度が変化する場合、１つの現在ピクチャは他の参照ピクチャから予測されることができ、該他の参照ピクチャの再構築サンプルは異なるビット深度精度で表現される。このような状況が発生する場合、参照ピクチャの動き補償から生成された予測サンプルは現在ピクチャの符号化ビット深度に調節されるべきである。

他の符号化ツールとの相互作用

ＡＢＳが参照ピクチャに応用され且つ現在ピクチャが異なる精度で表現され得ると仮定すれば、ＶＶＣにおける、参照サンプルを利用してある符号化パラメータを得るいくつかの既存の符号化ツールは正常に動作できない恐れがある。例えば、現在のＶＶＣにおいて、双方向オプティカルフロー（ＢＤＯＦ）及びデコーダ側動きベクトル改良（ＤＭＶＲ）は時間予測サンプルを使用してインター符号化効率を向上させる２種類のデコーダ側技術である。具体的に、ＢＤＯＦツールは、予測サンプル品質を向上させるためにＬ０及びＬ１予測サンプルを利用してサンプルずつ改良を計算するが、ＤＭＶＲはＬ０及びＬ１予測サンプルに依存してサブブロックレベルで動きベクトル精度を改良する。以上の考慮に基づいて、２つの予測信号のうちの任一の信号が現在ピクチャのビット深度と異なるビット深度で符号化される場合に常に１つのインターブロックに対してＢＤＯＦ及びＤＭＶＲ処理を避けることが提案される。

図９はユーザーインターフェース９６０に結合される計算環境９１０を示す。計算環境９１０はデータ処理サーバの部分であってもよい。計算環境９１０はプロセッサ９２０、メモリ９４０及びＩ／Ｏインターフェース９５０を備える。

プロセッサ９２０は計算環境９１０の全体操作、例えば表示、データ収集、データ通信及び画像処理に関連付けられる操作を典型的に制御する。プロセッサ９２０は、命令を実行して上記方法における全て又はいくつかのステップを行うための１つ又は複数のプロセッサを備えてもよい。更に、プロセッサ９２０はプロセッサ９２０と他の構成要素との間の相互作用を促進する１つ又は複数のモジュールを備えてもよい。該プロセッサは中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、単一チップマシン、ＧＰＵ等であってもよい。

メモリ９４０は、様々なタイプのデータを記憶して計算環境９１０の操作をサポートするように配置される。メモリ９４０は予定のソフトウェア９４２を備えてもよい。このようなデータの例は、計算環境９１０において実行されるいかなるアプリケーション又は方法のための命令、映像データセット、画像データ等を含む。メモリ９４０はいかなるタイプの揮発性又は不揮発性メモリデバイス又はそれらの組合せを使用することにより実現されてもよく、前記メモリデバイスは例えばスタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的に消去可能プログラム可能読み出し専用メモリ（ＥＥＰＲＯＭ）、消去可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ）、プログラム可能読み出し専用メモリ（ＰＲＯＭ）、読み出し専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスク又は光ディスクである。

Ｉ／Ｏインターフェース９５０はプロセッサ９２０と、キーボード、クリックホイール、ボタン等の周辺インターフェースモジュールとの間のインターフェースを提供する。ボタンはホームボタン、走査開始ボタン及び走査終了ボタンを含んでもよいが、それらに限らない。Ｉ／Ｏインターフェース９５０はエンコーダ及びデコーダに結合されてもよい。

実施例では、複数のプログラムを含む非一時的なコンピュータ可読記憶媒体も提供され、当該複数のプログラムは例えばメモリ９４０に含まれ、上記方法を行うために計算環境９１０におけるプロセッサ９２０により実行され得る。例えば、該非一時的なコンピュータ可読記憶媒体はＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク（登録商標）、光学データ記憶デバイス等であってもよい。

該非一時的なコンピュータ可読記憶媒体には１つ又は複数のプロセッサを有する計算デバイスが実行するための複数のプログラムが記憶され、前記複数のプログラムが前記１つ又は複数のプロセッサにより実行されるとき、前記計算デバイスに動き予測のための上記方法を行わせる。

実施例では、計算環境９１０は上記方法を行うための１つ又は複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィックス処理ユニット（ＧＰＵ）、コントローラ、マイクロコントローラ、マイクロプロセッサ又は他の電子構成要素を利用して実現されてもよい。

例示のために本開示の説明を提供したが、本開示が尽きるようにすることまたは本開示に限定されることが期待されていない。多くの修正、変形及び代替の実現方式は上記説明及び関連図面において与えられる指導から利益を受ける当業者にとって明らかである。

本開示の原理を解釈するために例が選択及び説明され、且つ当業者は様々な異なる実現方式によって本開示を理解し、且つ潜在的な原理及び仮定に適合する特定用途の異なる修正を有する異なる実現方式を最適に利用することができるようにする。従って、理解されるように、本開示の範囲は開示される実現方式の具体例に限定されるべきではなく、且つ修正及び他の実現方式は本開示の範囲内に含まれるように期待されている。

１００…エンコーダ、１１０…映像入力、１１２…動き補償、１１４…動き推定、１１６…イントラ／インターモード決定、１１８…イントラ予測、１２０…ピクチャバッファ、１２２…ループ内フィルタ、１２４…メモリ、１２６…加算器、１２８…加算器、１３０…変換、１３２…量子化、１３４…逆量子化、１３６…逆変換、１３８…エントロピー符号化ユニット、１４０…ブロック予測器、１４２…予測関連情報、１４４…ビットストリーム、２００…デコーダ、２１０…ビットストリーム、２１２…エントロピーデコーディング、２１４…逆量子化、２１６…逆変換、２１８…加算器、２２０…イントラ／インターモード選択器、２２２…イントラ予測、２２４…動き補償、２２６…ピクチャバッファ、２２８…ループ内フィルタ、２３０…メモリ、２３２…映像出力、２３４予測関連情報、９１０…計算環境、９２０…プロセッサ、９４０…メモリ、９５０Ｉ／Ｏインターフェース

Claims (36)

1. 映像信号をデコードするための方法であって、
   デコーダにおいて、映像信号内の映像ブロックに関連付けられる参照ピクチャＩを取得することと、
   デコーダにおいて、参照ピクチャＩにおける参照ブロックから映像ブロックの参照サンプルＩ（ｉ，ｊ）を取得し、ここで、ｉとｊが映像ブロック内の１つのサンプルの座標を表現することと、
   デコーダにおいて、映像ブロックが非アフィンインターモードで符号化され且つ参照ピクチャＩの解像度が現在ピクチャの解像度よりも大きい場合、それぞれ映像ブロックの輝度インター予測サンプル及び彩度インター予測サンプルを生成するように第１ダウンサンプリングフィルタ及び第２ダウンサンプリングフィルタを取得することと、
   デコーダにおいて、映像ブロックがアフィンモードで符号化され且つ参照ピクチャの解像度が現在ピクチャの解像度よりも大きい場合、それぞれ映像ブロックの輝度インター予測サンプル及び彩度インター予測サンプルを生成するように第３ダウンサンプリングフィルタ及び第４ダウンサンプリングフィルタを取得することと、
   デコーダにおいて、第３及び第４ダウンサンプリングフィルタが参照サンプルＩ（ｉ，ｊ）に応用されることにより映像ブロックのインター予測サンプルを取得することと、を含む前記映像信号をデコードするための方法。
2. デコーダにおいて第３ダウンサンプリングフィルタ及び第４ダウンサンプリングフィルタを取得することは、
   デコーダにおいて、第３ダウンサンプリングフィルタを得ることが第１ダウンサンプリングフィルタから得られるのであり、第３ダウンサンプリングフィルタがアフィンモードの輝度インター予測サンプルを生成するためのものであり、且つ第１ダウンサンプリングフィルタが非アフィンインターモードの輝度インター予測サンプルを生成するためのものであることを含む請求項１に記載の方法。
3. デコーダにおいて第３ダウンサンプリングフィルタを得ることは、
   デコーダにおいて、第１及び第２ダウンサンプリングフィルタの最前の２つのフィルタ係数及び最後の２つのフィルタ係数を２つの単一のフィルタ係数にマージすることにより、第３及び第４ダウンサンプリングフィルタの１番目及び最後のフィルタ係数を取得することを含む請求項２に記載の方法。
4. デコーダにおいて第３ダウンサンプリングフィルタを取得することは、
   デコーダにおいて、スケーラブルＨＥＶＣテストモデル（ＳＨＭ）フィルタに余弦窓掛けｓｉｎｃ関数を応用することにより第３ダウンサンプリングフィルタを取得することを含む請求項１に記載の方法。
5. デコーダにおいて第３ダウンサンプリングフィルタを取得することは、
   デコーダにおいて、カットオフ周波数及び拡大縮小比率に基づいて理想ローパスフィルタの周波数応答を取得することと、
   デコーダにおいて、フィルタ長さに基づいて余弦窓関数を取得することと、
   デコーダにおいて、周波数応答及び余弦窓関数に基づいて第３ダウンサンプリングフィルタを取得することと、を含む請求項４に記載の方法。
6. カットオフ周波数が０．９に等しく、フィルタ長さが６に等しく、且つ拡大縮小比率が１．５に等しい請求項５に記載の方法。
7. カットオフ周波数が０．９に等しく、フィルタ長さが６に等しく、且つ拡大縮小比率が２に等しい請求項５に記載の方法。
8. 第４ダウンサンプリングフィルタは第２ダウンサンプリングフィルタに相当し、第４ダウンサンプリングフィルタがアフィンモードの彩度インター予測サンプルを生成するためのものであり、且つ第２ダウンサンプリングフィルタが非アフィンモードの彩度インター予測サンプルを生成するためのものである請求項１に記載の方法。
9. 参照ピクチャＩの解像度が現在ピクチャの解像度に等しい場合、第４ダウンサンプリングフィルタは通常のインターブロックの彩度インター予測サンプルを生成するための補間フィルタに相当する請求項８に記載の方法。
10. デコーダにおいて第４ダウンサンプリングフィルタを取得することは、
    デコーダにおいて、カットオフ周波数及び拡大縮小比率に基づいて理想ローパスフィルタの周波数応答を取得することと、
    デコーダにおいて、フィルタ長さに基づいて余弦窓関数を取得することと、
    デコーダにおいて、周波数応答及び余弦窓関数に基づいて第４ダウンサンプリングフィルタを取得することと、を含む請求項８に記載の方法。
11. カットオフ周波数が０．９に等しく、且つ拡大縮小比率が１．５に等しい請求項１０に記載の方法。
12. カットオフ周波数が０．９に等しく、且つ拡大縮小比率が２に等しい請求項１０に記載の方法。
13. 計算デバイスであって、
    １つ又は複数のプロセッサと、
    前記１つ又は複数のプロセッサにより実行され得る命令が記憶される非一時的なコンピュータ可読記憶媒体と、を備え、前記１つ又は複数のプロセッサは、
    映像信号内の映像ブロックに関連付けられる参照ピクチャＩを取得し、
    参照ピクチャＩにおける参照ブロックから映像ブロックの参照サンプルＩ（ｉ，ｊ）を取得し、ここで、ｉとｊが映像ブロック内の１つのサンプルの座標を表現し、
    映像ブロックが非アフィンインターモードで符号化され且つ参照ピクチャＩの解像度が現在ピクチャの解像度よりも大きい場合、それぞれ映像ブロックの輝度インター予測サンプル及び彩度インター予測サンプルを生成するように第１ダウンサンプリングフィルタ及び第２ダウンサンプリングフィルタを取得し、
    映像ブロックがアフィンモードで符号化され且つ参照ピクチャの解像度が現在ピクチャの解像度よりも大きい場合、それぞれ映像ブロックの輝度インター予測サンプル及び彩度インター予測サンプルを生成するように第３ダウンサンプリングフィルタ及び第４ダウンサンプリングフィルタを取得し、
    第３及び第４ダウンサンプリングフィルタが参照サンプルＩ（ｉ，ｊ）に応用されることにより映像ブロックのインター予測サンプルを取得するように配置される、
    前記計算デバイス。
14. 第３ダウンサンプリングフィルタ及び第４ダウンサンプリングフィルタを取得するように配置される前記１つ又は複数のプロセッサは更に、
    第３ダウンサンプリングフィルタを得ることが第１ダウンサンプリングフィルタから得られるのであり、第３ダウンサンプリングフィルタがアフィンモードの輝度インター予測サンプルを生成するためのものであり、且つ第１ダウンサンプリングフィルタが非アフィンインターモードの輝度インター予測サンプルを生成するためのものであるように配置される、
    請求項１３に記載の計算デバイス。
15. 第３ダウンサンプリングフィルタを得るように配置される前記１つ又は複数のプロセッサは更に、
    第１及び第２ダウンサンプリングフィルタの最前の２つのフィルタ係数及び最後の２つのフィルタ係数を２つの単一のフィルタ係数にマージすることにより、第３及び第４ダウンサンプリングフィルタの１番目及び最後のフィルタ係数を取得するように配置される、
    請求項１４に記載の計算デバイス。
16. 第３ダウンサンプリングフィルタを取得するように配置される前記１つ又は複数のプロセッサは更に、
    スケーラブルＨＥＶＣテストモデル（ＳＨＭ）フィルタに余弦窓掛けｓｉｎｃ関数を応用することにより第３ダウンサンプリングフィルタを取得するように配置される、
    請求項１３に記載の計算デバイス。
17. 第３ダウンサンプリングフィルタを取得するように配置される前記１つ又は複数のプロセッサは更に、
    カットオフ周波数及び拡大縮小比率に基づいて理想ローパスフィルタの周波数応答を取得し、
    フィルタ長さに基づいて余弦窓関数を取得し、
    周波数応答及び余弦窓関数に基づいて第３ダウンサンプリングフィルタを取得するように配置される、
    請求項１６に記載の計算デバイス。
18. カットオフ周波数が０．９に等しく、フィルタ長さが６に等しく、且つ拡大縮小比率が１．５に等しい請求項１７に記載の計算デバイス。
19. カットオフ周波数が０．９に等しく、フィルタ長さが６に等しく、且つ拡大縮小比率が２に等しい請求項１７に記載の計算デバイス。
20. 第４ダウンサンプリングフィルタは第２ダウンサンプリングフィルタに相当し、第４ダウンサンプリングフィルタがアフィンモードの彩度インター予測サンプルを生成するためのものであり、且つ第２ダウンサンプリングフィルタが非アフィンモードの彩度インター予測サンプルを生成するためのものである請求項１３に記載の計算デバイス。
21. 参照ピクチャＩの解像度が現在ピクチャの解像度に等しい場合、第４ダウンサンプリングフィルタは通常のインターブロックの彩度インター予測サンプルを生成するための補間フィルタに相当する請求項２０に記載の計算デバイス。
22. 第４ダウンサンプリングフィルタを取得するように配置される前記１つ又は複数のプロセッサは更に、
    カットオフ周波数及び拡大縮小比率に基づいて理想ローパスフィルタの周波数応答を取得し、
    フィルタ長さに基づいて余弦窓関数を取得し、
    周波数応答及び余弦窓関数に基づいて第４ダウンサンプリングフィルタを取得するように配置される、
    請求項２０に記載の計算デバイス。
23. カットオフ周波数が０．９に等しく、且つ拡大縮小比率が１．５に等しい請求項２２に記載の計算デバイス。
24. カットオフ周波数が０．９に等しく、且つ拡大縮小比率が２に等しい請求項２２に記載の計算デバイス。
25. １つ又は複数のプロセッサを有する計算デバイスが実行するための複数のプログラムが記憶される非一時的なコンピュータ可読記憶媒体であって、
    前記複数のプログラムが前記１つ又は複数のプロセッサにより実行される際に該計算デバイスに動作を実行させ、当該動作は、
    デコーダにおいて、映像信号内の映像ブロックに関連付けられる参照ピクチャＩを取得することと、
    デコーダにおいて、参照ピクチャＩにおける参照ブロックから映像ブロックの参照サンプルＩ（ｉ，ｊ）を取得し、ここで、ｉとｊが映像ブロック内の１つのサンプルの座標を表現することと、
    デコーダにおいて、映像ブロックが非アフィンインターモードで符号化され且つ参照ピクチャＩの解像度が現在ピクチャの解像度よりも大きい場合、それぞれ映像ブロックの輝度インター予測サンプル及び彩度インター予測サンプルを生成するように第１ダウンサンプリングフィルタ及び第２ダウンサンプリングフィルタを取得することと、
    デコーダにおいて、映像ブロックがアフィンモードで符号化され且つ参照ピクチャの解像度が現在ピクチャの解像度よりも大きい場合、それぞれ映像ブロックの輝度インター予測サンプル及び彩度インター予測サンプルを生成するように第３ダウンサンプリングフィルタ及び第４ダウンサンプリングフィルタを取得することと、
    デコーダにおいて、第３及び第４ダウンサンプリングフィルタが参照サンプルＩ（ｉ，ｊ）に応用されることにより映像ブロックのインター予測サンプルを取得することと、を含む前記非一時的なコンピュータ可読記憶媒体。
26. 前記複数のプログラムは、更に計算デバイスに、
    デコーダにおいて、第３ダウンサンプリングフィルタを得ることが第１ダウンサンプリングフィルタから得られるのであり、第３ダウンサンプリングフィルタがアフィンモードの輝度インター予測サンプルを生成するためのものであり、且つ第１ダウンサンプリングフィルタが非アフィンインターモードの輝度インター予測サンプルを生成するためのものであることを実行させる、
    請求項２５に記載の非一時的なコンピュータ可読記憶媒体。
27. 前記複数のプログラムは、更に計算デバイスに、
    デコーダにおいて、第１及び第２ダウンサンプリングフィルタの最前の２つのフィルタ係数及び最後の２つのフィルタ係数を２つの単一のフィルタ係数にマージすることにより、第３及び第４ダウンサンプリングフィルタの１番目及び最後のフィルタ係数を取得することを実行させる、
    請求項２６に記載の非一時的なコンピュータ可読記憶媒体。
28. 前記複数のプログラムは、更に計算デバイスに、
    デコーダにおいて、スケーラブルＨＥＶＣテストモデル（ＳＨＭ）フィルタに余弦窓掛けｓｉｎｃ関数を応用することにより第３ダウンサンプリングフィルタを取得することを実行させる、
    請求項２５に記載の非一時的なコンピュータ可読記憶媒体。
29. 前記複数のプログラムは、更に計算デバイスに、
    デコーダにおいて、カットオフ周波数及び拡大縮小比率に基づいて理想ローパスフィルタの周波数応答を取得することと、
    デコーダにおいて、フィルタ長さに基づいて余弦窓関数を取得することと、
    デコーダにおいて、周波数応答及び余弦窓関数に基づいて第３ダウンサンプリングフィルタを取得することと、を実行させる、
    請求項２８に記載の非一時的なコンピュータ可読記憶媒体。
30. カットオフ周波数が０．９に等しく、フィルタ長さが６に等しく、且つ拡大縮小比率が１．５に等しい請求項２９に記載の非一時的なコンピュータ可読記憶媒体。
31. カットオフ周波数が０．９に等しく、フィルタ長さが６に等しく、且つ拡大縮小比率が２に等しい請求項２９に記載の非一時的なコンピュータ可読記憶媒体。
32. 第４ダウンサンプリングフィルタは第２ダウンサンプリングフィルタに相当し、第４ダウンサンプリングフィルタがアフィンモードの彩度インター予測サンプルを生成するためのものであり、且つ第２ダウンサンプリングフィルタが非アフィンモードの彩度インター予測サンプルを生成するためのものである請求項２５に記載の非一時的なコンピュータ可読記憶媒体。
33. 参照ピクチャＩの解像度が現在ピクチャの解像度に等しい場合、第４ダウンサンプリングフィルタは通常のインターブロックの彩度インター予測サンプルを生成するための補間フィルタに相当する請求項３２に記載の非一時的なコンピュータ可読記憶媒体。
34. 前記複数のプログラムは、更に計算デバイスに、
    デコーダにおいて、カットオフ周波数及び拡大縮小比率に基づいて理想ローパスフィルタの周波数応答を取得することと、
    デコーダにおいて、フィルタ長さに基づいて余弦窓関数を取得することと、
    デコーダにおいて、周波数応答及び余弦窓関数に基づいて第４ダウンサンプリングフィルタを取得することと、を実行させる、
    請求項３２に記載の非一時的なコンピュータ可読記憶媒体。
35. カットオフ周波数が０．９に等しく、且つ拡大縮小比率が１．５に等しい請求項３４に記載の非一時的なコンピュータ可読記憶媒体。
36. カットオフ周波数が０．９に等しく、且つ拡大縮小比率が２に等しい請求項３４に記載の非一時的なコンピュータ可読記憶媒体。

Images