JP2022506717A - ビデオ符号化のための方法及び機器 - Google Patents

ビデオ符号化のための方法及び機器 Download PDF

Info

Publication number
JP2022506717A
JP2022506717A JP2021524280A JP2021524280A JP2022506717A JP 2022506717 A JP2022506717 A JP 2022506717A JP 2021524280 A JP2021524280 A JP 2021524280A JP 2021524280 A JP2021524280 A JP 2021524280A JP 2022506717 A JP2022506717 A JP 2022506717A
Authority
JP
Japan
Prior art keywords
block
prediction
weight
motion information
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021524280A
Other languages
English (en)
Other versions
JP7358464B2 (ja
Inventor
リ,グォイチュン
リ,シアン
シュイ,シアオジョォン
リィウ,シャン
Original Assignee
テンセント・アメリカ・エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・アメリカ・エルエルシー filed Critical テンセント・アメリカ・エルエルシー
Publication of JP2022506717A publication Critical patent/JP2022506717A/ja
Priority to JP2023106675A priority Critical patent/JP2023115290A/ja
Application granted granted Critical
Publication of JP7358464B2 publication Critical patent/JP7358464B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Abstract

本開示の態様は、ビデオ符号化のための方法及び機器を提供する。幾つかの例では、機器は処理回路を含む。処理回路は、ピクチャ内の第1ブロックの予測情報を取得し、2方向予測及び1方向予測のうちの一方と予測情報とに従い第1ブロックの再構成サンプルを生成する。動き情報候補が第1ブロックの予測情報に従い履歴に基づく動きベクトル予測(HMVP)候補として格納されるべきとき、処理回路は動き情報候補を格納し、該動き情報候補は、少なくとも:第1ブロックが2方向予測に従い符号化されるとき、第1動き情報、及び第1ブロックについて2方向予測を実行するための第1重みを示す第1重みパラメータを含み、第1ブロックが1方向予測に従い符号化されるとき、第1動き情報、及び規定重みを示す規定重みパラメータを格納する。

Description

[関連出願]
本願は、米国仮特許出願番号第62/777,593号、「Methods of GBi Index Inheritance and Constraints」、2018年12月10日出願、の優先権の利益を主張する米国特許出願番号第16/441,879号、「Methodand Apparatus for Video Coding」、2019年6月14日出願の優先権の利益を主張する。前述の出願の全開示は、それらの全体が参照によりここに組み込まれる。
[技術分野]
本開示は、概して、ビデオ符号化に関連する実施形態を記載する。
ここに提供される背景の説明は、本開示のコンテキストの概要を提示するためである。現在名前の挙げられた発明者の研究は、この背景の章に記載された研究の範囲で、出願時に従来技術として見なされない可能性のある記載の態様と同様に、本開示に対する従来技術として明示的に又は暗示的にも認められるものではない。
ビデオ符号化及び復号は、動き補償を伴うインターピクチャ予測を用いて実行できる。非圧縮デジタルビデオは、一連のピクチャを含むことができ、各ピクチャは、例えば1920×1080個のルミナンスサンプル及び関連するクロミナンスサンプルの空間次元を有する。一連のピクチャは、例えば毎秒60ピクチャ又は60Hzの固定又は可変ピクチャレート(略式にフレームレートとしても知られている)を有し得る。非圧縮ビデオは、かなりのビットレート要件を有する。例えば、8ビット/サンプルの1080p60 4:2:0ビデオ(60Hzフレームレートで1920×1080ルミナンスサンプル解像度)は、1.5Gbit/sの帯域幅を必要とする。1時間のこのようなビデオは600Gbyteより多くの記憶空間を必要とする。
ビデオ符号化及び復号の1つの目的は、圧縮を通じて、入力ビデオ信号の中の冗長性の削減であり得る。圧縮は、幾つかの場合には大きさで2桁以上も、前述の帯域幅又は記憶空間要件を軽減するのを助けることができる。損失又は無損失圧縮の両方、及びそれらの組み合わせが利用できる。無損失圧縮は、元の信号の正確なコピーが圧縮された元の信号から再構成可能である技術を表す。損失圧縮を用いると、再構成された信号は、元の信号と同一ではないが、元の信号と再構成された信号との間の歪みは、意図される用途のために有用な再構成された信号を生成するのに十分に小さい。ビデオの場合には、損失圧縮が広く利用される。耐えうる歪みの量は、アプリケーションに依存し、特定の消費者ストリーミングアプリケーションのユーザは、テレビジョン配信アプリケーションのユーザよりも高に歪みに耐え得る。達成可能な圧縮比は、許容可能/耐性のある歪みが高いほど、高い圧縮比を生じ得ることを反映できる。
動き補償は、損失圧縮技術であり、前に再構成されたピクチャ又はその部分(参照ピクチャ)からのサンプルデータのブロックが、動きベクトル(以後、MV)により示される方向に空間的にシフトされた後に、新しく再構成されたピクチャ又はピクチャ部分の予測のために使用される技術に関連し得る。幾つかの場合には、参照ピクチャは、現在再構成中のピクチャと同じであり得る。MVは、2つの次元X及びY、又は第3の次元が使用中の参照ピクチャの指示である3つの次元を有することができる(後者は、間接的に時間次元であり得る)。
幾つかのビデオ圧縮技術では、サンプルデータの特定領域に適用可能なMVは他のMVから、例えば再構成中の領域に空間的に隣接するサンプルデータの別の領域に関連し且つ復号順序の中で当該MVに先行するMVから、予測できる。そうすることは、結果として、MVを符号化するために必要なデータ量を削減でき、それにより、冗長性を除去し圧縮を向上する。MV予測は、例えばカメラから得られた入力ビデオ信号(自然なビデオ(natural video)として知られる)を符号化するとき、単一のMVが適用可能な領域より大きな領域が同様の方向に動き、したがって、幾つかの場合には近隣領域のMVから導出した同様の動きベクトルを用いて予測可能である、統計的可能性がある。これは、周囲のMVから予測したMVと同様の又は同じ、所与の領域について見付かったMVをもたらす。また、これは、エントロピー符号化の後に、MVを直接符号化する場合に使用され得るより少ない数のビットで提示され得る。幾つかの場合には、MV予測は、元の信号(つまり、サンプルストリーム)から得た信号(つまり、MV)の無損失圧縮の一例であり得る。他の場合には、MV予測自体は、例えば幾つかの周囲のMVから予測子を計算するとき、誤りを丸め込むので、損失になり得る。
種々のMV予測メカニズムは、H.265/HEVC(ITU-T Rec. H.265, "High Efficiency Video Coding", December 2016)に記載されている。ここに記載される、H.265の提供する多くのMV予測メカニズムのうちの1つは、以下で、「空間融合(spatial merge)」と呼ばれる技術である。
図1を参照すると、現在ブロック(101)は、動き探索処理の間に、空間的にシフトされたものと同じサイズの前のブロックから予測可能であるとしてエンコーダにより見付けられたサンプルを含む。MVを直接符号化する代わりに、MVは、1つ以上の参照ピクチャに関連付けられたメタデータから、例えば(復号順で)最近の参照ピクチャから、A0、A1、及びB0、B1、B2(それぞれ102~106)5個の周囲のサンプルのうちのいずれか1つに関連付けられたMVを用いて導出できる。H.265では、MV予測は、近隣ブロックの使用する同じ参照ピクチャからの予測子を使用できる。
開示の態様は、ビデオ符号化・復号のための方法及び機器を提供する。幾つかの例では、機器は処理回路を含み、処理回路は、符号化ビデオビットストリームからピクチャ内の第1ブロックの予測情報を取得し、2方向予測及び1方向予測のうちの一方と予測情報とに従い、出力のために第1ブロックの再構成サンプルを生成する。動き情報候補が第1ブロックの予測情報に従い格納されるべきであり、履歴に基づく動きベクトル予測(HMVP)候補として格納されるべきであると決定されると、処理回路は動き情報候補を格納し、該動き情報候補は、少なくとも:第1ブロックが2方向予測に従い符号化されるとき、第1動き情報、及び第1ブロックについて2方向予測を実行するための第1重みを示す第1重みパラメータを含み、第1ブロックが1方向予測に従い符号化されるとき、第1動き情報、及び規定重みを示す規定重みパラメータを格納する。ピクチャ内の第2ブロックが、動き情報候補に基づき復号されるべきであると決定されると、処理回路は、動き情報候補に従い、出力のために第2ブロックの再構成サンプルを生成する。
幾つかの実施形態では、動き情報候補が通常の空間マージ候補として格納され、第2ブロックが2方向予測に従い符号化されるとき、処理回路は、第1ブロックが第2ブロックに空間的に隣接するとき、動き情報候補に格納された第1重みパラメータに従い、第2ブロックについて2方向予測を実行するための第2重みを設定し、第1ブロックが第2ブロックに空間的に隣接しないとき、第2ブロックについて2方向予測を実行するための第2重みを規定重みに設定する。
幾つかの実施形態では、動き情報候補が、通常の空間マージ候補又はHMVP候補のいずれでもない候補として格納され、第2ブロックが2方向予測に従い符号化されるとき、処理回路は、第2ブロックについて2方向予測を実行するための第2重みを規定重みに設定するよう更に構成される。
幾つかの実施形態では、第1ブロックが、第2ブロックの含まれる現在符号化木単位(CTU)行と異なるCTU行にあり、動き情報候補が、通常のマージ候補又はアフィンマージ候補として格納され、第2ブロックが2方向予測に従い符号化されるとき、処理回路は、第2ブロックについて2方向予測を実行するための第2重みを規定重みに設定する。
幾つかの実施形態では、第1ブロックが、第2ブロックの含まれる現在CTUの外側にあり、動き情報候補が、並進マージ候補又は継承アフィンマージ候補として格納され、第2ブロックが2方向予測に従い符号化されるとき、処理回路は、第2ブロックについて2方向予測を実行するための第2重みを規定重みに設定する。
幾つかの実施形態では、第1ブロックは、ピクチャを参照ピクチャとして、2方向予測及び1方向予測のうちの一方に従い符号化される。
幾つかの実施形態では、第1ブロックは、2方向予測に従い符号化され、第1リスト内の第1参照ピクチャに対応する第1重み及び第1重みから導出され第2リスト内の第2参照ピクチャに対応する第2重みの両方は、第1及び第2参照ピクチャが同じ参照ピクチャであるとき、正である。幾つかの実施形態では、第1ブロックは、2方向予測に従い符号化され、第1リスト内の第1参照ピクチャに対応する第1重み及び第1重みから導出され第2リスト内の第2参照ピクチャに対応する第2重みの一方は、第1及び第2参照ピクチャが異なる参照ピクチャであるとき、負である。
幾つかの実施形態では、規定重みは1/2である。
幾つかの実施形態では、第1ブロックは2方向予測に従い符号化され、第1リスト内の第1参照ピクチャに対応する第1重みwは、w=w/Fに従い決定され、
第2リスト内の第2参照ピクチャに対応する別の重みwは、w=1-wに従い決定され、
w及びFは整数であり、wは第1重みパラメータを表し、Fは適合率を表す。幾つかの実施形態では、Fは8である。
本開示の態様は、ビデオ復号のためのコンピュータにより実行されると該コンピュータにビデオ復号のための方法を実行させる命令を格納する非一時的コンピュータ可読媒体も提供する。
開示の主題の更なる特徴、特性、及び種々の利点は、以下の詳細な説明及び添付の図面から一層明らかになるだろう。
一例における現在ブロック及びその周囲の空間的融合候補の概略図である。
一実施形態による、通信システム(200)の簡易ブロック図の概略図である。
一実施形態による、通信システム(300)の簡易ブロック図の概略図である。
一実施形態による、デコーダの簡易ブロック図の概略図である。
一実施形態による、エンコーダの簡易ブロック図の概略図である。
別の実施形態による、エンコーダのブロック図を示す。
別の実施形態による、デコーダのブロック図を示す。
一実施形態による、現在ブロックの空間的近隣ブロック及び時間的近隣ブロックの概略図である。
一実施形態による、現在ブロックの空間的近隣ブロック及び時間的近隣ブロックの概略図である。
一実施形態による、空間的近隣ブロックの動き情報に基づく、サブブロックに基づく時間的MV予測方法を用いる、現在ブロックの予測動き情報を決定するために使用可能な空間的近隣ブロックの概略図である。
一実施形態による、サブブロックに基づく時間的MV予測方法のために選択された空間的近隣ブロックの概略図である。
一実施形態による、履歴に基づくMV予測方法を用いる、動き情報候補のリストを構成し及び更新する処理の概略を示すフローチャートである。
一実施形態による、履歴に基づくMV予測方法を用いる、動き情報候補のリストを更新する概略図である。
一実施形態による、CTU境界にある現在ブロック及びその空間的近隣ブロックの概略図である。
一実施形態による、CTU境界にある現在ブロック及びその空間的アフィン近隣ブロックの概略図である。
本開示の一実施形態による、復号処理(1400)の概要を示すフローチャートを示す。
本開示の一実施形態による、符号化処理(1500)の概要を示すフローチャートを示す。
一実施形態による、コンピュータシステムの概略図である。
図2は、本発明の一実施形態による通信システム(200)の簡易ブロック図を示す。通信システム(200)は、例えばネットワーク(250)を介して互いに通信できる複数の端末装置を含む。例えば、通信システム(200)は、ネットワーク(250)を介して相互接続された端末装置(210)及び(220)の第1ペアを含む。図2の例では、端末装置(210)及び(220)の第1ペアは、データの単方向伝送を実行する。例えば、端末装置(210)は、ネットワーク(250)を介して他の端末装置(220)への送信のために、ビデオデータ(端末装置(210)によりキャプチャされたビデオピクチャのストリーム)を符号化する。符号化ビデオデータは、1つ以上の符号化ビデオビットストリームの形式で、送信できる。端末装置(220)は、ネットワーク(250)から符号化ビデオデータを受信し、符号化ビデオデータを復号してビデオピクチャを復元し、復元したビデオデータに従いビデオピクチャを表示してよい。単方向データ伝送は、メディアサービングアプリケーション等で共通であってよい。
別の例では、通信システム(200)は、例えばビデオ会議の間に生じ得る符号化ビデオデータの双方向伝送を実行する端末装置(230)及び(240)の第2ペアを含む。データの双方向伝送では、端末装置(230)及び(240)は、ネットワーク(250)を介して端末装置(230)及び(240)への送信のために、ビデオデータ(例えば、端末装置によりキャプチャされたビデオピクチャのストリーム)を符号化してよい。端末装置(230)及び(240)のうちの各端末装置は、端末装置(230)及び(240)のうちの他方の端末装置により送信された符号化ビデオデータを受信してよく、符号化ビデオデータを復号してビデオピクチャを復元してよく、復元したビデオデータに従い、アクセス可能なディスプレイ装置においてビデオピクチャを表示してよい。
図2の例では、端末装置(210)、(220)、(230)及び(240)は、サーバ、パーソナルコンピュータ、及びスマートフォンとして示されてよいが、本開示の原理はこれらに限定されない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレイヤ、及び/又は専用ビデオ会議設備による適用がある。ネットワーク(250)は、端末装置(210)、(220)、(230)、及び(240)の間で符号化ビデオデータを運ぶ任意の数のネットワークを表し、例えば有線(ワイヤード)及び/又は無線通信ネットワークを含む。通信ネットワーク250は、回線切り替え及び/又はパケット切り替えチャネルでデータを交換してよい。代表的なネットワークは、電子通信ネットワーク、ローカルエリアネットワーク、広域ネットワーク、及び/又はインターネットを含む。本発明の議論の目的で、ネットワーク(250)のアーキテクチャ及びトポロジは、以下で特に断りの無い限り、本開示の動作にとって重要でないことがある。
図3は、開示の主題の適用の一例として、ストリーミング環境におけるビデオエンコーダ及びビデオデコーダの配置を示す。開示の主題は、例えばビデオ会議、デジタルTV、CD、DVD、メモリスティック、等を含むデジタル媒体への圧縮ビデオの格納、他のビデオ可能アプリケーション、等に等しく適用可能である。
ストリーミングシステムは、例えば非圧縮のビデオピクチャストリーム(302)を生成するビデオソース(301)を含み得るキャプチャサブシステム(313)を含んでよい。一例では、ビデオピクチャストリーム(302)は、デジタルカメラにより取り込まれたサンプルを含む。ビデオピクチャストリーム(302)は、符号化ビデオデータ(304)(又は符号化ビデオビットストリーム)と比べたとき、高データ容量を強調するために太線で示され、ビデオソース(301)と結合されたビデオエンコーダ(303)を含む電子装置(320)により処理され得る。ビデオエンコーダ(303)は、ハードウェア、ソフトウェア、又はそれらの組み合わせを含み、以下に詳述するように開示の主題の態様を可能にし又は実装することができる。符号化ビデオデータ(304)(又はビデオビットストリーム(304))は、ビデオピクチャストリーム(302)と比べたとき、低データ容量を強調するために細線で示され、将来の使用のためにストリーミングサーバに格納され得る。図3のクライアントサブシステム(306)及び(308)のような1つ以上のストリーミングクライアントサブシステムは、ストリーミングサーバ(305)にアクセスして、符号化ビデオデータ(304)のコピー(307)及び(309)を読み出すことができる。クライアントサブシステム(306)は、例えば電子装置(330)内にビデオデコーダ(310)を含み得る。ビデオデコーダ(310)は、符号化ビデオデータの入力コピー(307)を復号し、ディスプレイ(312)(例えばディスプレイスクリーン)又は他のレンダリング装置(図示しない)上でレンダリングできる出力ビデオピクチャストリーム(311)を生成する。幾つかのストリーミングシステムでは、符号化ビデオデータ(304)、(307)、及び(309)(例えば、ビデオビットストリーム)は、特定のビデオ符号化/圧縮標準に従い符号化され得る。これらの標準の例は、ITU-T Recommendation H.265を含む。一例では、策定中のビデオ符号化標準は、略式にVVC(Versatile Video Coding)として知られている。開示の主題は、VVCの文脈で使用されてよい。
電子装置(320)及び(330)は他のコンポーネント(図示しない)を含み得ることに留意する。例えば、電子装置(320)は、ビデオデコーダ(図示しない)を含むことができ、電子装置(330)もビデオエンコーダ(図示しない)を含むことができる。
図4は、本開示の一実施形態によるビデオデコーダ(410)のブロック図を示す。ビデオデコーダ(410)は、電子装置(430)に含まれ得る。電子装置(430)は、受信機(431)(例えば、受信回路)を含み得る。ビデオデコーダ(410)は、図3の例では、ビデオデコーダ(310)の代わりに使用できる。
受信機(431)は、ビデオデコーダ(410)により符号化されるべき1つ以上の符号化ビデオシーケンス、同じ又は別の実施形態では、一度に1つの符号化ビデオシーケンスを受信してよい。ここで、各符号化ビデオシーケンスの復号は、他の符号化ビデオシーケンスと独立している。符号化ビデオシーケンスは、符号化ビデオデータを格納する記憶装置へのハードウェア/ソフトウェアリンクであってよいチャネル401から受信されてよい。受信機431は、他のデータ、例えば、それぞれの使用エンティティ(図示しない)へと転送され得る符号化音声データ及び/又は付随的データストリームと共に、符号化ビデオデータを受信してよい。受信機431は、他のデータから符号化ビデオシーケンスを分離してよい。ネットワークジッタを除去するために、バッファメモリ(415)は、受信機(431)とエントロピーデコーダ/パーサ(420)(以後、「パーサ(420)」)との間に結合されてよい。特定の適用では、バッファメモリ(415)は、ビデオデコーダ(410)の一部である。他に、ビデオデコーダ(410)(図示しない)の外部にあり得る。更に他では、例えばネットワークジッタを除去するために、ビデオデコーダ(410)の外部に、例えば再生(playout)タイミングを処理するために、ビデオデコーダ(410)の内部にある別のバッファメモリ(415)に加えて、バッファメモリ(図示しない)が存在し得る。受信機(431)が、十分な帯域幅の記憶/転送装置から制御可能に、又はアイソクロナス(isosynchronous)ネットワークから、データを受信しているとき、バッファメモリ(415)は、必要なくてよく又は小さくできる。インターネットのようなベストエフォート型パケットネットワークで使用するために、バッファメモリ(415)が必要とされてよく、比較的大きくなり、有利なことに適当型サイズであり、少なくとも部分的にオペレーティングシステム又はビデオデコーダ(410)の外部の同様の要素(図示しない)に実装されてよい。
ビデオデコーダ(410)は、符号化ビデオシーケンスからシンボル(421)を再構成するために、パーサ(420)を含んでよい。これらのシンボルのカテゴリは、ビデオデコーダ(410)の動作を管理するために使用される情報、及び場合によっては図4に示したように電子装置(430)の統合部分ではないが電子装置(430)に結合され得るレンダー装置(412)(例えば、ディスプレイスクリーン)のようなレンダリング装置を制御するための情報を含む。レンダリング装置のための制御情報は、SEI(Supplemental Enhancement Information)メッセージ又はVUI(Video Usability Information)パラメータセットフラグメント(図示しない)の形式であってよい。パーサ(420)は、受信された符号かビデオシーケンスをパース/エントロピー復号してよい。符号化ビデオシーケンスの符号化は、ビデオ符号化技術又は標準に従うことがで依存性を有する又は有しない算術的符号化、等を含む、種々の原理に従うことができる。パーサ(420)は、符号化ビデオシーケンスから、ビデオデコーダの中のピクセルのサブグループのうちの少なくとも1つについて、該グループに対応する少なくとも1つのパラメータに基づき、サブグループパラメータのセットを抽出してよい。サブグループは、GOP(Groups of Picture)、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット(Coding Units:CU)、ブロック、変換ユニット(Transform Units:TU)、予測ユニット(Prediction Units:PU)、等を含み得る。パーサ(420)は、符号化ビデオシーケンスから、変換係数、量子化パラメータ値、動きベクトル、等のような情報も抽出してよい。
パーサ(420)は、バッファメモリ(415)から受信したビデオシーケンスに対してエントロピー復号/パース動作を実行して、シンボル(421)を生成してよい。
シンボル421の再構成は、符号化ビデオピクチャ又はその部分の種類(例えば、インター及びイントラピクチャ、インター及びイントラブロック)及び他の要因に依存して、複数の異なるユニットを含み得る。どのユニットがどのように含まれるかは、パーサ420により符号化ビデオシーケンスからパースされたサブグループ制御情報により制御できる。パーサ420と以下の複数のユニットとの間のこのようなサブグループ制御情報のフローは、明確さのために示されない。
既に言及した機能ブロックを超えて、ビデオデコーダ(410)は、後述のように、多数の機能ユニットに概念的に細分化できる。商用的制約の下で動作する実際の実装では、これらのユニットの多くは、互いに密に相互作用し、少なくとも部分的に互いに統合され得る。しかしながら、開示の主題を説明する目的で、機能ユニットへの以下の概念的細分化は適切である。
第1ユニットは、スケーラ/逆変換ユニット451である。スケーラ/逆変換ユニット(451)である。は、量子化された変換係数、及び、どの変換が使用され得べきか、ブロックサイズ、量子化係数、量子化スケーリングマトリクス、等を含む制御情報を、パーサ(420)からのシンボル(421)として受信する。スケーラ/逆変換ユニット(451)は、アグリゲータ(455)に入力され得るサンプル値を含むブロックを出力できる。
幾つかの例では、スケーラ/逆変換ユニット(451)の出力サンプルは、イントラ符号化ブロック、つまり、前に再構成されたピクチャからの予測情報を使用しないが現在ピクチャの前に再構成された部分からの予測情報を使用可能なブロック、に属することができる。このような予測情報は、イントラピクチャ予測ユニット452により提供できる。幾つかの場合には、イントラピクチャ予測ユニット(452)は、再構成中のブロックと同じサイズ及び形状のブロックを、現在ピクチャバッファ(458)からフェッチした周囲の既に再構成された情報を用いて、生成する。現在ピクチャバッファ(458)は、例えば、再構成された現在ピクチャを部分的に及び/又は再構成された現在ピクチャを完全にバッファリングする。アグリゲータ(455)は、幾つかの場合には、サンプル毎に、イントラ予測ユニット(452)の生成した予測情報を、スケーラ/逆変換ユニット(451)により提供された出力サンプル情報に追加する。
他の場合には、スケーラ/逆変換ユニット(451)の出力サンプルは、インター符号化された、場合によっては動き補償されたブロックに関連し得る。このような場合には、動き補償予測ユニット(453)は、参照ピクチャメモリ(457)にアクセスして、予測ために使用されるサンプルをフェッチできる。ブロックに関連するシンボル(421)に従いフェッチしたサンプルを動き補償した後に、これらのサンプルは、アグリゲータ(455)により、出力サンプル情報を生成するために、スケーラ/逆変換ユニット(451)の出力に追加され得る(この場合、残差サンプル又は残差信号と呼ばれる)。動き補償予測ユニット(453)が予測サンプルをフェッチする参照ピクチャメモリ(457)内のアドレスは、例えばX、Y及び参照ピクチャコンポーネントを有し得るシンボル(421)の形式で、動き補償予測ユニット(453)の利用可能な動きベクトルにより制御できる。動き補償は、サブサンプルの正確な動きベクトルが使用中であるとき参照ピクチャメモリ(457)からフェッチされたサンプル値の補間、動きベクトル予測メカニズム、等を含み得る。
アグリゲータ(455)の出力サンプルは、ループフィルタユニット(456)において種々のループフィルタリング技術を受け得る。ビデオ圧縮技術は、符号化ビデオシーケンス(符号化ビデオビットストリームとも呼ばれる)に含まれ且つパーサ(420)からのシンボル(421)としてループフィルタユニット(456)に利用可能にされたパラメータにより制御されるが、符号化ピクチャ又は符号化ビデオシーケンスの(複合順序で)前の部分の複合中に取得されたメタ情報にも応答し、前に再構成されループフィルタリングされたサンプル値にも応答し得るインループフィルタ技術を含み得る。
ループフィルタユニット(456)の出力は、レンダー装置(412)へと出力でき及び将来のインターピクチャ予測で使用するために参照ピクチャメモリ(457)に格納され得るサンプルストリームであり得る。
特定の符号化ピクチャは、一旦完全に再構成されると、将来の予測のための参照ピクチャとして使用できる。例えば、現在ピクチャに対応する符号化ピクチャが完全に再構成され、符号化ピクチャが(例えばパーサ(420)により)参照ピクチャとして識別されると、現在ピクチャバッファ(458)は、参照ピクチャメモリ(457)の一部になることができ、後続の符号化ピクチャの再構成を開始する前に、新鮮な現在ピクチャバッファを再割り当てできる。
ビデオデコーダ(410)は、ITU-T Rec. H.265のような標準の所定のビデオ圧縮技術に従い復号動作を実行してよい。符号化ビデオシーケンスがビデオ圧縮技術又は標準、及びビデオ圧縮技術又は標準において文書化されたプロファイルの両方に従うという意味で、符号化ビデオシーケンスは、使用中のビデオ圧縮技術又は標準により指定されたシンタックスに従ってよい。具体的に、プロファイルは、ビデオ圧縮技術又は標準において利用可能な全部のツールから、プロファイルの下でのみ使用可能なツールとして、特定のツールを選択できる。また、遵守のために必要なことは、符号化ビデオシーケンスの複雑さが、ビデオ圧縮技術又は標準のレベルにより定められる限界の範囲内であることであり得る。幾つかの場合には、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート(例えばメガサンプル/秒で測定される)、最大参照ピクチャサイズ、等を制限する。レベルにより設定される限界は、幾つかの場合には、HRD(Hypothetical Reference Decoder)仕様及び符号化ビデオシーケンスの中でシグナリングされるHDRバッファ管理のためのメタデータを通じて更に制限され得る。
一実施形態では、受信機431は、符号化ビデオと共に追加(冗長)データを受信してよい。追加データは、符号化ビデオシーケンスの部分として含まれてよい。追加データは、データを正しく復号するため及び/又は元のビデオデータをより正確に再構成するために、ビデオデコーダ410により使用されてよい。追加データは、例えば、時間的、空間的、又は信号雑音比(SNR)の拡張レイヤ、冗長スライス、冗長ピクチャ、前方誤り訂正符号、等の形式であり得る。
図5は、本開示の一実施形態によるビデオエンコーダ(503)のブロック図を示す。ビデオエンコーダ(503)は、電子装置(520)に含まれる。電子装置(520)は、送信機(540)(例えば、送信回路)を含む。ビデオエンコーダ(503)は、図3の例では、ビデオエンコーダ(303)の代わりに使用できる。
ビデオエンコーダ(503)は、ビデオサンプルを、ビデオエンコーダ(503)により符号化されるべきビデオ画像をキャプチャし得るビデオソース(501)(図5の例では、電子装置(520)の部分ではない)から受信してよい。別の例では、ビデオソース(501)は、電子装置(520)の一部である。
ビデオソース(501)は、ビデオエンコーダ(503)により符号化されるべきソースビデオシーケンスを、任意の適切なビット深さ(例えば、8ビット、10ビット、12ビット、...)、任意の色空間(例えば、BT.601 YCrCb、RGB、...)、及び任意の適切なサンプリング構造(例えば、YCrCb 4:2:0、YCrCb 4:4:4)のデジタルビデオサンプルストリームの形式で、提供してよい。メディア提供システムでは、ビデオソース501は、前に準備されたビデオを格納する記憶装置であってよい。ビデオ会議システムでは、ビデオソース501は、ビデオシーケンスとしてローカル画像情報をキャプチャするカメラであってよい。ビデオデータは、続けて閲覧されると動きを与える複数の個別ピクチャとして提供されてよい。ピクチャ自体は、ピクセルの空間的配列として組織化されてよい。各ピクセルは、使用中のサンプリング構造、色空間、等に依存して、1つ以上のサンプルを含み得る。当業者は、ピクセルとサンプルとの間の関係を直ちに理解できる。以下の説明はサンプルに焦点を当てる。
一実施形態によると、ビデオエンコーダ(503)は、ソースビデオシーケンスのピクチャを、符号化ビデオシーケンス(543)へと、リアルタイムに又はアプリケーションにより要求される任意の他の時間制約の下で符号化し圧縮してよい。適切な符号化速度の実施は、制御部(550)の1つの機能である。幾つかの実施形態では、制御部(550)は、後述する他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。結合は、明確さのために図示されない。制御部(550)により設定されるパラメータは、レート制御関連パラメータ(ピクチャスキップ、量子化器、レート歪み最適化技術のラムダ値、...)、ピクチャサイズ、GOP(group of pictures)レイアウト、最大動きベクトル探索範囲、等を含み得る。制御部(550)は、特定のシステム設計に最適化されたビデオエンコーダ(503)に関連する他の適切な機能を有するよう構成され得る。
幾つかの実施形態では、ビデオエンコーダ(503)は、符号化ループの中で動作するよう構成される。非常に簡略化された説明として、一例では、符号化ループは、ソースコーダ(530)(例えば、シンボルストリームのようなシンボルを、符号化されるべき入力ピクチャ及び参照ピクチャに基づき生成することを担う)、及びビデオエンコーダ(503)に内蔵された(ローカル)デコーダ(533)を含み得る。デコーダ(533)は、(シンボルと符号化ビットストリームとの間の任意の圧縮が、開示の主題において検討されるビデオ圧縮技術において無損失であるとき)(遠隔にある)デコーダが生成するのと同様の方法で、シンボルを再構成して、サンプルデータを生成する。再構成されたサンプルストリーム(サンプルデータ)は、参照ピクチャメモリ(534)に入力される。シンボルストリームの復号が、デコーダ位置(ローカル又はリモート)と独立にビット正確な結果をもたらすとき、参照ピクチャメモリ(534)の内容も、ローカルエンコーダとリモートエンコーダとの間でビット正確である。言い換えると、エンコーダの予測部分が、復号中に予測を用いるときデコーダが「見る」のと正確に同じサンプル値を、参照ピクチャサンプルとして「見る」。参照ピクチャ同期性のこの基本原理(及び、例えばチャネルエラーのために同期生が維持できない場合には、結果として生じるドリフト)は、幾つかの関連技術で同様に使用される。
「ローカル」デコーダ(533)の動作は、図4と関連して以上に詳述したビデオデコーダ(410)のような「リモート」デコーダのものと同じであり得る。簡単に一時的に図4も参照すると、しかしながら、シンボルが利用可能であり、エントロピーコーダ(545)及びパーサ(420)による符号化ビデオシーケンスへのシンボルの符号化/復号が無損失であり得るので、バッファメモリ(415)を含むビデオデコーダ(410)のエントロピー復号部分、及びパーサ(420)は、ローカルデコーダ(533)に完全に実装されなくてよい。
この点で行われる考察は、デコーダ内に存在するパース/エントロピー復号を除く任意のデコーダ技術も、対応するエンコーダ内と実質的に同一の機能形式で存在する必要があるということである。この理由から、開示の主題は、デコーダ動作に焦点を当てる。エンコーダ技術の説明は、それらが包括的に説明されるデコーダ技術の逆であるので、省略できる。特定の領域においてのみ、より詳細な説明が必要であり、以下に提供される。
動作中、幾つかの例では、ソースコーダ(530)は、動き補償された予測符号化を実行してよい。これは、「参照ピクチャ」として指定されたビデオシーケンスからの1つ以上の前に符号化されたピクチャを参照して予測的に入力ピクチャを符号化する。この方法では、符号化エンジン(532)は、入力ピクチャのピクセルブロックと、入力ピクチャに対する予測基準として選択されてよい参照ピクチャのピクセルブロックとの間の差分を符号化する。
ローカルビデオデコーダ(533)は、ソースコーダ(530)により生成されたシンボルに基づき、参照ピクチャとして指定されてよいピクチャの符号化ビデオデータを復号してよい。符号化エンジン532の動作は、有利なことに、損失処理であってよい。符号化ビデオデータがビデオデコーダ(図5に図示されない)において復号され得るとき、再構成ビデオシーケンスは、標準的に、幾つかのエラーを有するソースビデオシーケンスの複製であってよい。ローカルビデオデコーダ(533)は、参照ピクチャに対してビデオデコーダにより実行され得る復号処理を複製し、参照ピクチャキャッシュ(534)に格納されるべき再構成参照ピクチャを生じ得る。このように、ビデオエンコーダ(503)は、(伝送誤りが無ければ)遠端ビデオデコーダにより取得される再構成参照ピクチャと共通の内容を有する再構成参照ピクチャのコピーを格納してよい。
予測器(535)は、符号化エンジン(532)のために予測探索を実行してよい。つまり、符号化されるべき新しいピクチャについて、予測器(535)は、新しいピクチャのための適切な予測基準として機能し得る(候補参照ピクセルブロックのような)サンプルデータ又は参照ピクチャ動きベクトル、ブロック形状、等のような特定のメタデータについて、参照ピクチャメモリ(534)を検索してよい。予測器(535)は、適切な予測基準を見付けるために、サンプルブロック-ピクセルブロック毎に動作してよい。幾つかの例では、予測器535により取得された検索結果により決定されるように、入力ピクチャは、参照ピクチャメモリ534に格納された複数の参照ピクチャから引き出された予測基準を有してよい。
制御部(550)は、例えば、ビデオデータの符号化のために使用されるパラメータ及びサブグループパラメータの設定を含む、ソースコーダ(530)の符号化動作を管理してよい。
全ての前述の機能ユニットの出力は、エントロピーコーダ(545)におけるエントロピー符号化を受けてよい。エントロピーコーダ(545)は、ハフマン符号化、可変長符号化、算術符号化、等のような技術に従いシンボルを無損失圧縮することにより、種々の機能ユニットにより生成されたシンボルを、符号化ビデオシーケンスへと変換する。
送信機(540)は、符号化ビデオデータを格納し得る記憶装置へのハードウェア/ソフトウェアリンクであってよい通信チャネル(560)を介する伝送のために準備するために、エントロピーコーダ(545)により生成された符号化ビデオシーケンスをバッファリングしてよい。送信機540は、ビデオコーダ503からの符号化ビデオデータを、送信されるべき他のデータ、例えば符号化音声データ及び/又は補助データストリーム(図示されないソース)と融合(merge)してよい。
制御部(550)は、ビデオエンコーダ(503)の動作を管理してよい。符号化中、制御部550は、それぞれのピクチャに適用され得る符号化技術に影響し得る特定の符号化ピクチャタイプを、各符号化ピクチャに割り当ててよい。例えば、ピクチャは、多くの場合、以下のピクチャタイプのうちの1つとして割り当てられてよい。
イントラピクチャ(Iピクチャ)は、予測のソースとしてシーケンス内の任意の他のピクチャを使用せずに符号化及び復号され得るピクチャであってよい。幾つかのビデオコーデックは、例えばIDR(Independent Decoder Refresh)ピクチャを含む異なる種類のイントラピクチャを許容する。当業者は、Iピクチャの変形、及びそれらの個々の適用及び特徴を認識する。
予測ピクチャ(Pピクチャ)は、殆どの場合、各ブロックのサンプル値を予測するために1つの動きベクトル及び参照インデックスを用いてイントラ予測又はインター予測を用いて符号化及び復号され得るピクチャであってよい。
双方向予測ピクチャ(Bピクチャ)は、各ブロックのサンプル値を予測するために最大2つの動きベクトル及び参照インデックスを用いてイントラ予測又はインター予測を用いて符号化及び復号され得るピクチャであってよい。同様に、マルチ予測ピクチャは、単一のブロックの再構成のために、2つより多くの参照ピクチャ及び関連付けられたメタデータを使用できる。
ソースピクチャは、共通に、複数のサンプルブロック(例えば、それぞれ4×4、8×8、4×8、又は16×16個のサンプルのブロック)に空間的に細分化され、ブロック毎に符号化されてよい。ブロックは、ブロックのそれぞれのピクチャに適用される符号化割り当てにより決定される他の(既に符号化された)ブロックへの参照により予測的に符号化されてよい。例えば、Iピクチャのブロックは、非予測的に符号化されてよく、又はそれらは同じピクチャの既に符号化されたブロックを参照して予測的に符号化されてよい(空間予測又はイントラ予測)。Pピクチャのピクセルブロックは、1つの前に符号化された参照ピクチャを参照して、空間予測を介して又は時間予測を介して、予測的に符号化されてよい。Bピクチャのブロックは、1つ又は2つの前に符号化された参照ピクチャを参照して、空間予測を介して又は時間予測を介して、予測的に符号化されてよい。
ビデオデコーダ(503)は、ITU-T Rec. H.265のような所定のビデオ符号化技術又は標準に従い符号化動作を実行してよい。その動作において、ビデオエンコーダ(503)は、入力ビデオシーケンスの中の時間的及び空間的冗長性を利用する予測符号化動作を含む種々の圧縮動作を実行してよい。符号化ビデオデータは、したがって、使用されているビデオ符号化技術又は標準により指定されたシンタックスに従ってよい。
一実施形態では、送信機540は、符号化ビデオと共に追加データを送信してよい。ソースコーダ(530)は、このようなデータを符号化ビデオシーケンスの部分として含んでよい。追加データは、時間/空間/SNR拡張レイヤ、冗長ピクチャ及びスライスのような他の形式の冗長データ、SEIメッセージ、VUIパラメータセットフラグメント、等を含んでよい。
ビデオは、時系列の中の複数のソースピクチャ(ビデオピクチャ)としてキャプチャされてよい。イントラピクチャ予測(イントラ予測と省略されることがある)は、所与のピクチャの中の空間的相関を利用し、インターピクチャ予測は、ピクチャ間の(時間的又は他の)相関を利用する。一例では、符号化/復号中の特定のピクチャは、現在ピクチャと呼ばれ、ブロックにパーティションされる。現在ピクチャの中のブロックが、ビデオの中の前に符号化され且つ未だバッファリングされている参照ピクチャの中の参照ブロックと同様であるとき、現在ピクチャの中のブロックは、動きベクトルと呼ばれるベクトルにより符号化できる。動きベクトルは、参照ピクチャ内の参照ブロックを指し、複数の参照ピクチャが使用中である場合には、参照ピクチャを識別する第3次元を有することができる。
幾つかの実施形態では、双予測(bi-prediction)技術が、インターピクチャ予測で使用できる。双予測技術によると、両方とも復号順序でビデオの中の現在ピクチャより前にある(が、それぞれ表示順序で過去及び未来にあってよい)第1参照ピクチャ及び第2参照ピクチャのような2つの参照ピクチャが使用される。現在ピクチャ内のブロックは、第1参照ピクチャ内の第1参照ブロックを指す第1動きベクトル、及び第2参照ピクチャ内の第2参照ブロックを指す第2動きベクトルにより符号化できる。ブロックは、第1参照ブロック及び第2参照ブロックの結合により予測できる。
さらに、符号化効率を向上するために、インターピクチャ予測において融合モード技術が使用できる。
本開示の幾つかの実施形態によると、インターピクチャ予測及びイントラピクチャ予測のような予測は、ブロックのユニットの中で実行される。例えば、HEVC標準によると、ビデオピクチャシーケンスの中のピクチャは、圧縮のtまえに符号化木ユニット(coding tree unit:CTU)にパーティションされる。ピクチャ内のCTUは、64×64ピクセル、32×32ピクセル、又は16×16ピクセルのような、同じサイズを有する。通常、CTUは、3個の符号化木ブロック(coding tree blocks:CTB)、つまり1個のルマCTB及び2個のクロマCTB、を含む。各CTUは、1又は複数の符号化ユニット(coding unit:CU)に再帰的に4分木分割できる。例えば、64×64ピクセルのCTUは、64×64ピクセルの1個のCU、又は32×32ピクセルの4個のCU、又は16×16ピクセルの16個のCUに分割できる。一例では、各CUは、インター予測タイプ又はイントラ予測タイプのようなCUの予測タイプを決定するために分析される。CUは、時間的及び/又は空間的予測性に依存して、1つ以上の予測ユニット(prediction unit:PU)に分割される。通常、各PUは、ルマ予測ブロック(prediction block:PB)、及び2個のクロマPBを含む。一実施形態では、符号化(符号化/復号)における予測演算が、予測ブロックのユニットの中で実行される。ルマ予測ブロックを予測ブロックの一例として用いると、予測ブロックは、8×8ピクセル、16×16ピクセル、8×16ピクセル、16×8ピクセル、等のようなピクセルについて値(例えば、ルマ値)のマトリクスを含む。
図6は、本開示の別の実施形態によるビデオエンコーダ(603)の図を示す。ビデオエンコーダ(603)は、ビデオピクチャシーケンスの中の現在ビデオピクチャ内のサンプル値の処理ブロック(例えば、予測ブロック)を受信し、処理ブロックを符号化ビデオシーケンスの部分である符号化ピクチャに符号化するよう構成される。一例では、ビデオエンコーダ(603)は、図3の例では、ビデオエンコーダ(303)の代わりに使用される。
HEVCの例では、ビデオエンコーダ(603)は、8×8サンプル等の予測ブロックのような、処理ブロックのサンプル値のマトリクスを受信する。ビデオエンコーダ(603)は、例えばレート歪み最適化を用いて、処理ブロックがイントラモード、インターモード、又は双予測モードを用いて最適に符号化されるかを決定する。処理ブロックはイントラモードで符号化されるとき、ビデオエンコーダ(603)は、処理ブロックを符号化ピクチャへと符号化するために、イントラ予測技術を使用してよい。処理ブロックがインターモード又は双予測モードで符号化されるとき、ビデオエンコーダ(603)は、処理ブロックを符号化ピクチャへと符号化するために、それぞれインター予測又は双予測技術を使用してよい。特定のビデオ符号化技術では、融合モードは、予測器のギア部の符号化動きベクトルコンポーネント無しに、動きベクトルが1つ以上の動きベクトル予測器から得られるインターピクチャ予測サブモードであり得る。特定の他のビデオ符号化技術では、対象ブロックに適用可能な動きベクトルコンポーネントが存在し得る。一例では、ビデオエンコーダ(603)は、処理ブロックのモードを決定するために、モード決定モジュール(図示しない)のような他のコンポーネントを含む。
図6の例では、ビデオエンコーダ(603)は、図6に示したように一緒にインターエンコーダ(630)、イントラエンコーダ(622)、残差計算器(623)、スイッチ(626)、残差エンコーダ(624)、汎用制御部(621)、及びエントロピーエンコーダ(625)を含む。
インターエンコーダ(630)は、現在ブロック(例えば、処理中のブロック)のサンプルを受信し、ブロックを参照ピクチャ内の1つ以上の参照ブロック(例えば、前のピクチャ及び後のピクチャの中のブロック)と比較し、インター予測情報(例えば、インター符号化技術による冗長情報の説明、動きベクトル、融合モード情報)を生成し、任意の適切な技術を用いてインター予測情報に基づきインター予測結果(例えば、予測ブロック)を計算するよう構成される。幾つかの例では、参照ピクチャは、符号化ビデオ情報に基づき復号された、復号参照ピクチャである。
イントラエンコーダ(622)は、現在ブロック(例えば、処理中のブロック)のサンプルを受信し、幾つかの場合には、ブロックをサンプルピクチャ内の既に符号化されたブロックと比較し、変換後に量子化された係数を、幾つかの場合にはイントラ予測情報(例えば、1つ以上のイントラ符号化技術によるイントラ予測方向情報)も生成するよう構成される。一例では、イントラエンコーダ(622)は、イントラ予測情報及び同じピクチャ内の参照ブロックに基づき、イントラ予測結果(例えば、予測したブロック)も計算する。
汎用制御部(621)は、一般制御データを決定し、一般制御データに基づきビデオエンコーダ(603)の他のコンポーネントを制御するよう構成される。一例では、汎用制御部(621)は、ブロックのモードを決定し、モードに基づき、制御信号をスイッチ(626)に提供する。例えば、モードがイントラモードであるとき、汎用制御部(621)は、残差計算器(623)による使用のためにイントラモード結果を選択するようスイッチ(626)を制御し、イントラ予測情報を選択してビットストリーム内にイントラ予測情報を含めるよう、エントロピーエンコーダ(625)を制御し、モードがインターモードであるとき、汎用制御部(621)は、残差計算器(623)による使用のためにインター予測結果を選択するようスイッチ(626)を制御し、インター予測情報を選択してビットストリーム内にインター予測情報を含めるよう、エントロピーエンコーダ(625)を制御する。
残差計算器(623)は、受信したブロックとイントラエンコーダ(622)又はインターエンコーダ(630)からの選択された予測結果との間の差(残差データ)を計算するよう構成される。残差エンコーダ(624)は、残差データに基づき動作して、残差データを符号化し、変換係数を生成するよう構成される。一例では、残差エンコーダ(624)は、残差データを空間ドメインから周波数ドメインへと変換し、変換係数を生成するよう構成される。変換係数は、次に、量子化変換係数を得るために、量子化処理を受ける。種々の実施形態では、ビデオエンコーダ(603)も残差デコーダ(628)を含む。残差デコーダ(628)は、逆変換を実行し、復号残差データを生成するよう構成される。復号残差データは、イントラエンコーダ(622)及びインターエンコーダ(630)により適切に使用できる。例えば、インターエンコーダ(630)は、復号残差データ及びインター予測情報に基づき復号ブロックを生成でき、イントラエンコーダ(622)は、復号残差データ及びイントラ予測情報に基づき復号ブロックを生成できる。復号ブロックは、復号ピクチャを生成するために適切に処理され、復号ピクチャは、幾つかの例ではメモリ回路(図示しない)にバッファリングされ、参照ピクチャとして使用できる。
エントロピーエンコーダ(625)は、符号化ブロックを含めるために、ビットストリームをフォーマットするよう構成される。エントロピーエンコーダ(625)は、HEVC標準のような適切な標準に従い種々の情報を含むよう構成される。一例では、エントロピーエンコーダ(625)は、ビットストリームに、一般制御データ、選択された予測情報(例えば、イントラ予測情報又はインター予測情報)、残差情報、及び他の適切な情報を含めるよう構成される。開示の主題によると、インターモード又は双予測モードのいずれかの融合サブモードでブロックを符号化するとき、残差情報は存在しないことに留意する。
図7は、本開示の別の実施形態によるビデオエンコーダ(710)の図を示す。ビデオデコーダ(710)は、符号化ビデオシーケンスの部分である符号化ピクチャを受信し、符号化ピクチャを復号して再構成ピクチャを生成するよう構成される。一例では、ビデオデコーダ(710)は、図3の例では、ビデオデコーダ(310)の代わりに使用される。
図7の例では、ビデオデコーダ(710)は、図7に示したように一緒にエントロピーデコーダ(771)、インターデコーダ(780)、残差デコーダ(773)、再構成モジュール(774)、イントラデコーダ(772)を含む。
エントロピーデコーダ(771)は、符号化ピクチャから、符号化ピクチャの生成されたシンタックス要素を表す特定のシンボルを再構成するよう構成され得る。このようなシンボルは、例えば、ブロックの符号化されたモード(例えば、イントラモード、インターモード、双方向モード、融合サブモード又は別のサブモードの後者の2つ)、それぞれイントラデコーダ(772)又はインターデコーダ(780)による予測のために使用される特定のサンプル又はメタデータを特定できる予測情報(例えば、イントラ予測情報又はインター予測情報)、例えば量子化された変換係数の形式の残差情報、等を含み得る。一例では、予測モードがインター又は双方向予測モードであるとき、インター予測情報がインターデコーダ(780)に提供され、予測タイプがイントラ予測タイプであるとき、イントラ予測情報がイントラデコーダ(772)に提供される。残差情報は、逆量子化され、残差デコーダ(773)に提供される。
インターデコーダ(780)は、インター予測情報を受信し、インター予測情報に基づきインター予測結果を生成するよう構成される。
イントラデコーダ(772)は、イントラ予測情報を受信し、イントラ予測情報に基づき予測結果を生成するよう構成される。
残差デコーダ(773)は、逆量子化を実行して、逆量子化された変換係数を抽出し、逆量子化された変換係数を処理して、残差を周波数ドメインから空間ドメインへと変換するよう構成される。残差デコーダ(773)は、(量子化器パラメータ(Quantizer Parameter:QP)を含むための)特定の制御情報も要求してよい。この情報は、エントロピーデコーダ(771)により提供されてよい(これは低容量制御情報のみなので、データ経路は示されない)。
再構成モジュール(774)は、空間ドメインで、残差デコーダ(773)による出力としての残差と(場合によりインター又はイントラ予測モジュールによる出力としての)予測結果とを結合して、再構成ピクチャの部分であり得る、一方で再構成ビデオの部分であり得る、再構成ブロックを形成するよう構成される。デブロッキング動作などのような他の適切な動作が、視覚的品質を向上するために実行できる。
ビデオエンコーダ(303)、(503)、及び(603)、並びにビデオデコーダ(310)、(410)、及び(710)は、任意の適切な技術を用いて実装できることに留意する。一実施形態では、ビデオエンコーダ(303)、(503)、及び(603)、並びにビデオデコーダ(310)、(410)、及び(710)は、1つ以上の集積回路を用いて実装できる。別の実施形態では、ビデオエンコーダ(303)、(503)、及び(503)、並びにビデオデコーダ(310)、(410)、及び(710)は、ソフトウェア命令を実行する1つ以上のプロセッサを用いて実装できる。
図8は、一実施形態による、現在ブロック(801)の空間的近隣ブロック及び時間的近隣ブロックの概略図である。現在ブロック(801)の動き情報候補のリストは、空間的近隣ブロック及び/又は時間的近隣ブロックのうちの1つ以上の動き情報に基づき、通常のマージモードに従い構成できる。通常のマージモードに従い構成される動き情報候補のリストの中の動き情報候補は、本開示では、通常のマージ候補とも呼ばれる。
例えば、HEVCでは、ピクチャ間予測のためのマージモードが導入される。符号化ビデオビットストリーム内で運ばれるマージフラグ(スキップフラグを含む)が真としてシグナリングされた場合、マージモードを用いて構成された動き情報候補のリスト(マージ候補リストとも呼ばれる)の中のどの候補が現在ブロックの動きベクトルを示すために使用されるべきかを示すために、マージインデックスもシグナリングされ得る。デコーダにおいて、マージ候補リストは、現在ブロックの空間的近隣ブロック及び/又は時間的近隣ブロックの動き情報(つまり、候補)に基づき構成される。このようなマージモードは、本開示では、単に図9を参照して更に説明されるアフィンマージモードと区別可能にするために、通常のマージモードとも呼ばれる。
図8を参照すると、現在ブロック(801)の(1方向予測のための)動きベクトル又は(2方向予測のための)動きベクトルが、通常のマージモードを用いて構成された動き情報候補のリストに基づき予測できる。動き情報候補のリストは、A0、A1、B0、B1、B2(それぞれ802~806)と示される空間的近隣ブロック、及び/又はC0及びC1(それぞれ812及び813)と示される時間的近隣ブロックのような、近隣ブロックの動き情報に基づき導出できる。幾つかの例では、空間的近隣ブロックA0、A1、B0、B1、及びB2、及び現在ブロック(801)は、同じピクチャに属する。幾つかの例では、時間的近隣ブロックC0及びC1は参照ピクチャに属する。ブロックC0は、現在ブロック(801)の外側の位置に対応し、現在ブロック(801)の右下角に隣接する。ブロックC1は、ブロック(801)の中央の右下側の位置に対応し、それに隣接してよい。
幾つかの例では、通常のマージモードを用いる動き情報候補のリストを構成するために、近隣ブロックA1、B1、B0、A0、及びB2は、順にチェックされる。チェックされたブロックのうちのいずれかが、有利な動き情報(例えば、有効な候補)を含むとき、有効な候補は、動き情報候補のリストに追加できる。重複する動き情報候補がリストに含まれるのを回避するために、刈り込み(pruning)操作が実行できる。
時間的近隣ブロックは、時間的動き情報をリストに追加するためにチェックされ得る。時間的近隣ブロックは、空間的近隣ブロックの後にチェックされ得る。幾つかの例では、ブロックC0の動き情報は、利用可能ならば、時間的動き情報候補としてリストに追加される。ブロックC0がインターモードで符号化された又は利用可能でない場合、ブロックC1の動き情報が、時間的動き情報候補として代わりに使用できる。
幾つかの例では、空間的及び時間的動き情報候補をチェックし及び/又は動き情報候補のリストに追加した後に、ゼロ動きベクトルがリストに追加され得る。
図9は、一実施形態による、現在ブロック(901)の空間的近隣ブロック及び時間的近隣ブロックの概略図である。現在ブロック(901)の動き情報候補のリストは、空間的近隣ブロック及び/又は時間的近隣ブロックのうちの1つ以上の動き情報に基づき、アフィンマージモードを用いて構成できる。図9は、現在ブロック(901)、A0、A1、A2、B1、B2、B3(それぞれ、902、903、907、904、905、906、908)と示されるその空間的近隣、及びC0(912)と示される時間的近隣ブロックを示す。幾つかの例では、空間的近隣ブロックA0、A1、A2、B0、B1、B2、及びB3、及び現在ブロック(901)は、同じピクチャに属する。幾つかの例では、時間的近隣ブロックC0は、参照ピクチャに属し、現在ブロック(901)の外側の位置に対応し、現在ブロック(901)の右下角に隣接する。
幾つかの例では、現在ブロック(901)の動きベクトル、及び/又は現在ブロックのサブブロックは、アフィンモデル(例えば、6パラメータアフィンモデル、又は4パラメータアフィンモデル)を用いて導出できる。幾つかの例では、アフィンモデルは、ブロックの動きベクトルを記述するために、6個のパラメータを有する(例えば、6パラメータアフィンモデル)。一例では、アフィン符号化ブロックの6個のパラメータは、ブロックの3つの異なる位置(例えば、図9の左上、右上、及び左下角にある制御点CP0、CP1、及びCP2)における3個の動きベクトル(3個の制御点動きベクトルとも呼ばれる)により表すことができる。別の例では、簡易アフィンモデルは、アフィン符号化ブロックの動き情報を記述するために4個のパラメータを使用する。これらは、ブロックの2つの異なる位置(例えば、図9の左上及び右上角にある制御点CP0及びCP1)における2個の動きベクトル(2個の制御点動きベクトルとも呼ばれる)により表すことができる。
動き情報候補のリストは、アフィンマージモードを用いて構成できる(アフィンマージ候補リストとも呼ばれる)。アフィンマージモードに従い構成される動き情報候補のリストの中の動き情報候補は、本開示では、アフィンマージ候補とも呼ばれる。幾つかの例では、現在ブロックが8サンプル以上の幅及び高さを有するとき、アフィンマージモードが適用できる。アフィンマージモードによると、現在ブロックの制御点動きベクトル(control point motion vector (CPMV))は、空間的近隣ブロックの動き情報に基づき生成できる。幾つかの例では、動き情報候補のリストは、最大5個のCPMV候補を含むことができ、インデックスは、どのCPMV候補が現在ブロックのために使用されるべきかを示すためにシグナリングされ得る。
幾つかの実施形態では、アフィンマージ候補リストは、継承(inherited)アフィン候補、構成アフィン候補、及びゼロMVを含む、3種類のCPMV候補を有することができる。継承アフィン候補は、近隣ブロックのCPMVからの推定により導出できる。構成アフィン候補は、近隣ブロックの並進MVを用いて導出できる。
VTMの例では、多くて2個の継承アフィン候補があり、これらは、左近隣ブロック(A0及びA1)から1つ及び上側近隣ブロック(B0、B1、B2)からの1つを含む近隣ブロックの対応するアフィン動きモデルから導出される。左からの候補については、近隣ブロックA0及びA1が順にチェックされ、近隣ブロックA0及びA1からの第1の利用可能な継承アフィン候補が、左からの継承アフィン候補として使用される。上からの候補については、近隣ブロックB0、B1及びB2が順にチェックされ、近隣ブロックB0、B1及びB2からの第1の利用可能な継承アフィン候補が、上からの継承アフィン候補として使用される。幾つかの例では、2つの継承アフィン候補の間で刈り込みチェックは実行されない。
近隣アフィンブロックが識別されると、現在CUのアフィンマージリストに追加されるべき対応する継承アフィン候補が、近隣アフィンブロックの制御点動きベクトルから導出できる。図9の例では、近隣ブロックA1がアフィンモードに従い符号化される場合、ブロックA1の左上角(制御点CP0A1)、右上角(制御点CP1A1)、及び左下角(制御点CP2A1)の動きベクトルが取得できる。ブロックA1が4パラメータアフィンモデルを用いて符号化されるとき、現在ブロック(901)の継承アフィン候補としての2個のCPMVは、制御点CP0A1及び制御点CP1A1の動きベクトルに従い計算できる。ブロックA1が6パラメータアフィンモデルを用いて符号化されるとき、現在ブロック(901)の継承アフィン候補としての3個のCPMVは、制御点CP0A1、制御点CP1A1及び制御点CP2A1の動きベクトルに従い計算できる。
更に、構成アフィン候補は、各制御点の近隣並進動き情報を結合することにより導出できる。制御点CP0、CP1、CP2の動き情報は、指定された空間的近隣ブロックA0、A1、A2、B0、B1、B2、及びB3から導出される。
例えば、CPMV(k=1、2、3、4)は、k番目の制御点の動きベクトルを表す。ここで、CPMVは制御点CP0に対応し、CPMVは制御点CP1に対応し、CPMVは制御点CP2に対応し、CPMVは時間的近隣ブロックC0に基づく時間的制御点に対応する。CPMVについては、近隣ブロックB2、B3、及びA2が順にチェックでき、近隣ブロックB2、B3、及びA2からの第1の利用可能な動きベクトルがCPMVとして使用される。CPMVについては、近隣ブロックB1及びB0が順にチェックでき、近隣ブロックB1及びB0からの第1の利用可能な動きベクトルがCPMVとして使用される。CPMVについては、近隣ブロックA1及びA0が順にチェックでき、近隣ブロックA1及びA0からの第1の利用可能な動きベクトルがCPMVとして使用される。更に、時間的近隣ブロックC0の動きベクトルは、利用可能ならば、CPMVとして使用できる。
4個の制御点CP0、CP1、CP2及び時間的制御点のCPMV、CPMV、CPMV、CPMVが取得された後、アフィンマージ候補リストは、以下の順で構成されるアフィンマージ候補を含むよう構成できる:{CPMV,CPMV,CPMV}、{CPMV,CPMV,CPMV}、{CPMV,CPMV,CPMV}、{CPMV,CPMV,CPMV}、{CPMV,CPMV}、及び{CPMV,CPMV}。3個のCPMVの任意の結合は、6パラメータアフィンマージ候補を形成でき、2個のCPMVの任意の結合は、4パラメータアフィンマージ候補を形成できる。幾つかの例では、動きスケーリング処理を回避するために、一群の制御点の参照インデックスが異なる場合、CPMVの対応する結合は廃棄できる。
図10Aは、一実施形態による、空間的近隣ブロックの動き情報に基づく、サブブロックに基づく時間的MV予測方法を用いる、現在ブロック(1011)の予測動き情報を決定するために使用可能な空間的近隣ブロックの概略図である。図10Aは、現在ブロック(1011)、A0、A1、B0、B1(それぞれ、、1012、1013、1014、1015)と示されるその空間的近隣ブロックを示す。幾つかの例では、空間的近隣ブロックA0、A1、B0、B1、及び現在ブロック(1011)は、同じピクチャに属する。
図10Bは、一実施形態による、この非限定的な例においてブロックA1のような選択された空間的近隣ブロックに基づき、サブブロックに基づく時間的MV予測方法を用いて、現在ブロック(1011)のサブブロックについて動き情報を決定する概略図である。本例では、現在ブロック(1011)は現在ピクチャ(1010)内にあり、参照ブロック(1061)は、参照ピクチャ(1060)内にあり、動きベクトル(1022)により示される現在ブロック(1011)と参照ブロック(1061)との間の動きシフト(又は変位)に基づき識別できる。
幾つかの実施形態では、HEVCにおける時間的動きベクトル予測(temporal motion vector prediction (TMVP))と同様に、サブブロックに基づく時間的MV予測(sub-block based temporal MV prediction (SbTMVP))は、現在ピクチャ内の現在ブロックに対する参照ピクチャ内の種々の参照サブブロック内の動き情報を使用する。幾つかの実施形態では、TMVPにより使用される同じ参照ピクチャは、SbTVMPのために使用できる。幾つかの実施形態では、TMVPは、CUレベルで動き情報を予測するが、SbTVMPは、サブCUレベルで動きを予測する。幾つかの実施形態では、TMVPは、現在ブロックの右下角又は中央に隣接する対応する位置を有する、参照ピクチャ内の同一位置のブロックからの時間的動きベクトルを使用し、SbTVMPは、現在ブロックの空間的近隣ブロックのうちの1つからの動きベクトルに基づき動きシフトを実行することにより識別できる、参照ブロックからの時間的動きベクトルを使用する。
例えば、図10Aに示すように、近隣ブロックA1、B1、B0、及びA0は、SbTVMP処理において順次チェックできる。例えば参照ピクチャ(1060)内の参照ブロックAR1を指す動きベクトル(1022)を有するブロックA1のような、参照ピクチャ(1060)を自身の参照ピクチャとして使用する動きベクトルを有する第1の空間的近隣ブロックが識別されると直ぐに、この動きベクトル(1022)は、動きシフトを実行するために使用できる。このような動きベクトルが空間的近隣ブロックA1、B1、B0、及びA0から利用可能でないとき、動きシフトは(0,0)に設定される。
動きシフトを決定した後に、参照ブロック(1061)は、現在ブロック(1011)の位置及び決定された動きシフトに基づき識別できる。図10Bでは、参照ブロック(1061)は、参照動き情報MRa~MRpにより、16個のサブブロックに更に分割できる。幾つかの例では、参照ブロック(1061)内の各サブブロックの参照動き情報は、このようなサブブロックの中央サンプルをカバーする最小動きグリッドに基づき決定できる。動き情報は、動きベクトル及び対応する参照インデックスを含み得る。現在ブロック(1011)は16個のサブブロックに更に分割でき、現在ブロック(1011)内のサブブロックの動き情報MVa~MVpは、TMVP処理と同様の方法で、幾つかの例では時間的スケーリングにより、参照動き情報MRa~MRpから導出できる。
SbTVMP処理で使用されるサブブロックサイズは、固定され(又は予め決定され)又はシグナリングされ得る。幾つかの例では、SbTVMP処理で使用されるサブブロックサイズは8×8サンプルであり得る。幾つかの例では、SbTVMP処理は、固定又はシグナリングされたサイズ、例えば8ピクセル、以上の幅及び高さを有するブロックにのみ適用可能である。
VTMの例では、SbTVMP候補及びアフィンマージ候補を含む、結合されたサブブロックに基づくマージリストは、サブブロックに基づくマージモードのシグナリングのために使用される。SbTVMPモードは、シーケンスパラメータセット(sequence parameter set (SPS))フラグにより有効又は無効にできる。幾つかの例では、SbTMVPモードが有効にされた場合、SbTMVP候補は、サブブロックに基づくマージ候補のリストの第1エントリとして追加され、その後にアフィンマージ候補が続く。幾つかの実施形態では、サブブロックに基づくマージリストの最大許容サイズは、5に設定される。しかしながら、他の実施形態では他のサイズが利用されてよい。
幾つかの実施形態では、追加SbTMVPマージ候補の符号化ロジックは、他のマージ候補の場合と同じである。つまり、P又はBスライスの中の各ブロックについて、SbTMVP候補を使用するか否かを決定するために、追加レート歪みチェックが実行できる。
図11Aは、一実施形態による、履歴に基づくMV予測(history based MV prediction (HMVP))方法を用いる、動き情報候補のリストを構成し及び更新する処理(1100)の概略を示すフローチャートである。MHVP方法に従い構成される動き情報候補のリストの中の動き情報候補は、本開示では、HMVP候補とも呼ばれる。
幾つかの実施形態では、HMVP方法を用いる動き情報候補のリスト(履歴リストとも呼ばれる)は、符号化又は復号処理の間に構成され更新できる。履歴リストは、新しいスライスが開始するとき、空にされ得る。幾つかの実施形態では、符号化又は復号されたばかりのインター符号化非アフィンブロックが存在するか否かに拘わらず、関連する動き情報は、履歴リストの最後のエントリに、新しいHMVP候補として追加できる。従って、現在ブロックを処理する(符号化又は復号する)前に、HMVP候補を有する履歴リストがロードされ得る(S1112)。現在ブロックは、履歴リスト内のHMVP候補を用いて符号化又は復号できる(S1114)。後に、履歴リストは、現在ブロックを符号化又は復号するために動き情報を用いて更新できる(S1116)。
図11Bは、一実施形態による、履歴に基づくMV予測方法を用いる、動き情報候補のリストを更新する概略図である。図11Bは、サイズLを有する履歴リストを示し、リスト内の各候補は、0~L-1の範囲のインデックスにより識別できる。Lは、0以上の整数である。現在ブロックを符号化又は復号する前に、履歴リスト(1120)は、L個の候補:HMVP、HMVP、...、HMVP、...、HMVPL-2、及びHMVPL-1を含む。ここで、mは、0~Lの範囲の整数である。現在ブロックを符号化又は復号した後に、新しいエントリHMVPが履歴リストに追加される。
VTMの例では、履歴リストのサイズは6に設定でき、これは、最大で6個のHMVP候補が履歴リストに追加できることを示す。新しい動き候補(例えば、HMVP)を履歴リストに挿入するとき、制約された先入れ先出し(first-in-first-out (FIFO))ルールが利用できる。ここで、冗長性チェックが先ず適用されて、履歴リスト内に冗長なHMVPが存在するか否かを見付ける。冗長なHMVPが見付かると、第1HMVP候補(図11Bの例ではHMVPであり、インデックス=0を有する)は、リストから削除され、全部の他のHMVP候補は、後に順方向に移動され、例えばインデックスが1だけ減少される。新しいHMVP候補は、結果として生じたリスト(1130)に示されるように、リストの最後のエントリに追加できる(例えば図11Bでインデックス=L-1を有する)。他方で、(例えば図11BのHMVPのような)冗長なHMVPが見付かった場合、履歴リスト内の冗長なHMVPは、リストから削除され、その後の全部のHMVP候補が順方向に移動され、例えばインデックスが1だけ減少される。新しいHMVP候補は、結果として生じたリスト(1140)に示されるように、リストの最後のエントリに追加できる(例えば図11Bでインデックス=L-1を有する)。
幾つかの例では、HMVP候補は、マージ候補リスト構成処理で使用され得る。例えば、リスト内の最新のHMVP候補は、順番にチェックされ、TMVP候補の後に候補リストに挿入できる。幾つかの実施形態では、サブブロック動き候補(つまり、SbTMVP候補)ではなく、空間的又は時間的マージ候補に対するHMVP候補に刈り込みが適用できる。
幾つかの実施形態では、刈り込み操作の回数を削減するために、以下のルールのうちの1つ以上が次に可能である:
(a)Mにより示されるチェックされるべきHMPV候補の数は、以下のように設定される:M=(N<=4)?L:(8-N)。ここで、Nは、利用可能なサブブロックマージ候補の数を示し、Lは、履歴リスト内の利用可能なHMVP候補の数を示す。
(b)更に、利用可能なマージ候補の合計数が、シグナリングされた最大マージ候補数より1だけ少なくなると、HMVPリストからのマージ候補リスト構成処理は終了され得る。
(c)更に、結合2方向予測マージ候補導出のためのペア数は、12から6にまで削減できる。
幾つかの実施形態では、HMVP候補は、AMVP候補リスト構成処理で使用され得る。履歴リスト内の最新のK個のHMVP候補の動きベクトルは、TMVP候補の後に、AMVP候補に追加できる。幾つかの例では、AMVP目標参照ピクチャと同じ参照ピクチャを有するHMVPのみが、AMVP候補リストに追加されるべきである。刈り込みは、HMVP候補に対して適用できる。幾つかの例では、Kは4に設定され、AMVPリストサイズは不変に保たれ、例えば2に等しい。
幾つかの例では、動き情報候補のリストは、上述の種々のリスト構成処理、及び/又は任意の他の適用可能なリスト構成処理により構成できる。動き情報候補のリストが構成された後に、所定のペアリングに従い既に決定された参照動き情報をペア毎に平均化することにより、追加平均参照動きベクトルが決定できる。
幾つかの例では、現在ブロックを符号化するために参照動き候補のリストに含まれると決定された多くて4個の参照動きベクトルが存在し得る。これらの4個の参照動きベクトルは、リスト内の参照動きベクトルの順序を示すインデックス(例えば、0、1、2、及び3)と関連してリスト内に配置されてよい。追加平均参照動きベクトルは、それぞれ、例えば{(0,1),(0,2),(1,2),(0,3),(1,3),(2,3)}として定められるペアに基づき決定されてよい。幾つかの例では、所定のペアの両方の参照動きベクトルが参照動きベクトルのリスト内で利用可能である場合、これら2つの参照動きベクトルは、それらが異なる参照ピクチャを指すときでも、依然として平均化できる。
更に、現在ピクチャ参照(current picture referencing (CPR))は、時に、イントラブロックコピー(intra block copy (IBC))として参照される。ここで、現在ブロックの動きベクトルは、現在ピクチャ内の既に再構成されたサンプルを表す。CPRは、HEVCスクリーンコンテンツ符号化拡張(HEVC screen content coding extension (HEVC SCC))でサポートされる。CPR符号化ブロックは、インター符号化ブロックとしてシグナリングできる。CPR符号化ブロックのルマ動き(又はブロック)ベクトルは、整数の精度で提供できる。クロマ動きベクトルも同様に整数の精度でクリッピングできる。AMVRと結合されるとき、CPRモードは、1画素(pel)と4画素(pel)動きベクトル精度の間で切り替えできる。現在ピクチャは、参照ピクチャリストL0の終わりに配置できる。メモリ消費及びデコーダの複雑性を低減するために、VTMの例におけるCPRは、現在CTUの再構成部分のみの参照を許容し得る。この低減は、ハードウェア実装のためにローカルオンチップメモリを用いてCPRモードを実装することを可能にする。
エンコーダ側では、ハッシュに基づく動き推定がCPRについて実行される。エンコーダは、もはや16ルマサンプルより大きくない幅又は高さを有するブロックについてレート歪みチェックを実行できる。非マージモードでは、ブロックベクトル検索は、先ず、ハッシュに基づく検索を用いて実行できる。ハッシュ検索が有効な候補を返さない場合、ブロック照合に基づくローカル検索が実行できる。
幾つかの例では、ハッシュに基づく検索を実行するとき、現在ブロックと参照ブロックとの間のハッシュキー照合(32ビットCRC)は、全部の許容ブロックサイズに拡張できる。現在ピクチャ内の全ての位置についてのハッシュキー計算は、4×4サブブロックに基づくことができる。より大きなサイズの現在ブロックでは、4×4サブブロックの全部のハッシュキーが対応する参照位置にあるハッシュキーに一致するとき、ハッシュキーは、参照ブロックのハッシュキーに一致するよう決定できる。幾つかの例では、複数の参照ブロックのハッシュキーが、現在ブロックのハッシュキーと一致することが分かった場合、各一致した参照のブロックベクトルのコストが計算され、最小コストを有するものが選択できる。
幾つかの例では、ブロック照合検索を実行するとき、検索範囲は、現在CTU内の現在ブロックの上にある左へR個のサンプルに設定できる。CTUの始点で、Rの値は、時間的参照ピクチャが存在しない場合に初めに128に設定でき、少なくとも1つの時間的参照ピクチャが存在する場合に初めに64に設定できる。ハッシュヒット率は、ハッシュに基づく検索を用いて一致があったCTU内のサンプルの比率として定義できる。幾つかの実施形態では、現在CTUを符号化する間、ハッシュヒット率が5%より低い場合、Rは半分に減少できる。
幾つかの用途では、2方向予測を用いて再構成されるブロックについて、一般的双予測(generalized bi-prediction (GBi))インデックスが使用され、ブロックの動き情報に含めることができる。幾つかの例では、GBiインデックスは、リスト1から第1参照ピクチャに適用可能な第1重みを示し、リスト0から第2参照ピクチャに適用可能な第2重みは第1重みから導出できる。幾つかの例では、GBiインデックスは、導出した重みパラメータwを表すことができ、第1重みwは、w=w/Fに従い決定でき、Fは適合率(precision factor)を表す。
また、第2重みwは、w=1-wに従い決定できる。
幾つかの例では、適合率Fが8に設定されるとき(つまり、1/8のサンプル精度を有する)、現在ブロックの双予測Pbi-predは、=((8-w)*P+w*P+4)>>3に従い生成できる。ここで、P及びPは、それぞれリスト0及びリスト1内の参照ピクチャからの参照サンプルである。
幾つかの例では、8に設定された適合率Fにより、GBiインデックスは、低遅延ピクチャのために利用可能な5個の重み{-2/8,3/8,4/8,5/8,10/8}及び非低遅延ピクチャのための3個の重み{3/8,4/8,5/8}のうちの1つを表すために割り当てることができる。GBiインデックスを用いてシグナリングされるべき重みは、レート歪みコスト分析により決定できる。幾つかの例では、重みチェック順序は、エンコーダにおいて{4/8,-2/8,10/8,3/8,5/8}であり得る。
高度動きベクトル予測(advanced motion vector prediction (AMVP))モードを用いる幾つかの用途では、重みパラメータ選択は、特定のCUが双予測により符号化される場合、CUレベルでGBiインデックスを使用して明示的にシグナリングできる。双予測が使用され、CU領域が256ルマサンプルより小さい場合、GBiインデックスシグナリングは破棄できる。
幾つかの適用では、空間的候補からのインターマージモード、及び継承アフィンマージモードでは、重みパラメータ選択は、そのGBiインデックスに基づき選択されたマージ候補から継承できる。他のマージタイプでは、例えば、時間的マージ候補、HMVP候補、SbTMVP候補、構成アフィンマージ候補、ペア毎の平均化候補、等では、重みは、規定重み(例えば、1/2又は4/8)を表すよう設定されてよく、選択された候補からのGBiインデックスは継承されない。
GBiインデックスの継承は、幾つかのマージモードでは時に有利になり得るが、他のものではそうではなく、前に符号化されたブロックからのGBiインデックスを記録するために要求される追加メモリ空間による不利益が時に大きくなり得る。従って、上述の例に加えて、幾つかの実施形態では、GBiインデックス継承機能は、以下に更に記載するような種々のシナリオの適用のために更に構成され得る。後述するようなGBiインデックス継承構成は、別個に使用され又は任意の順序で結合できる。幾つかの例では、以下のGBiインデックス継承構成の全部が、同時に実施される訳ではない。
幾つかの例のうちの第1のGBiインデックス継承構成によると、GBiインデックス継承は、HMVPマージ候補について有効にされ得る。幾つかの実施形態では、双予測された符号化ブロックのGBiインデックスは、HMVP候補リストの各エントリに格納できる。このように、第1のGBiインデックス継承構成によると、HMVP候補の管理は、通常のマージモードのような他のモードに従い構成され又は取得された動き情報候補の管理と調和できる。
一実施形態では、HMVP候補リストの任意のエントリが更新されているとき、動き情報(例えば、MV、参照リスト、及び参照インデックスを含む)及び符号化ブロックからの対応するGBiインデックスは、同様に更新できる。例えば、ブロックの予測情報を取得した後に、動き情報候補が、ブロックの予測情報に従いHMVP候補リストに格納されるべきであると決定されると、動き情報候補は、少なくとも、第1ブロックが2方向予測に従い符号化されるとき、ブロックの動き情報、及び第1ブロックの2方向予測を実行するための重みパラメータを含むよう格納できる。また、動き情報候補は、少なくとも、ブロックが1方向予測に従い符号化されるとき、ブロックの動き情報、及び規定重みパラメータを含むよう格納できる。
HMVP候補リストからの通常のインターマージ候補が、復号処理において現在符号化ブロックのMV予測子として選択され、候補が2方向予測(双予測とも呼ばれる)を用いて符号化されるとき、現在ブロックのGBiインデックスは、候補からのGBiインデックス値の値に設定できる。或いは、HMVPマージ候補が1方向予測(片予測とも呼ばれる)を用いて符号化される場合、現在ブロックのGBiインデックスは、幾つかの例では1/2の重みに対応する規定GBiインデックスに設定できる。
幾つかの例のうちの第2のGBiインデックス継承構成によると、GBiインデックス継承は、空間的インターマージ候補についてのみ有効にされ得る。幾つかの実施形態では、GBiインデックス継承は、通常の空間的インターマージ候補についてのみ有効にできる。このように、第2のGBiインデックス継承構成によると、GBiインデックス継承機能の実装は、計算の複雑性を低減するために、簡略化できる。
幾つかの実施形態では、ブロックの予測情報を取得した後に、動き情報候補が、ブロックの予測情報に従い通常のマージ候補リストに格納されるべきであると決定されると、動き情報候補は、少なくとも、第1ブロックが2方向予測に従い符号化されるとき、ブロックの動き情報、及び第1ブロックの2方向予測を実行するための重みパラメータを含むよう格納できる。また、動き情報候補は、少なくとも、ブロックが1方向予測に従い符号化されるとき、ブロックの動き情報、及び規定重みパラメータを含むよう格納できる。
一実施形態では、空間的マージ候補が現在ブロックの復号処理において選択され、候補が双予測されると、現在ブロックのGBiインデックスは、候補ブロックからのGBiインデックス値に設定できる。或いは、空間的マージ候補が片予測される場合、現在ブロックのGBiインデックスは、幾つかの例では1/2の重みに対応する規定GBiインデックスに設定できる。幾つかの例では、現在ブロックについて選択されたマージ候補が、時間的マージ候補、アフィンモデル継承候補、SbTMVP候補、HMVP候補、又はペア毎平均化候補、等のような通常の空間的マージ候補ではない場合、現在ブロックのGBiインデックスは、例えばメモリ負荷を低減するために、規定GBiインデックスに設定できる。
幾つかの例のうちの第3のGBiインデックス継承構成によると、GBiインデックス継承は、動きデータラインバッファからの通常の空間的マージ候補について無効にされ得る。このように、第3のGBiインデックス継承構成によると、計算の複雑性が簡略化され、動き情報候補を格納するためのメモリ空間が削減できる。
具体的に、現在ブロックが現在CTUの一番上の行に位置するとき、現在ブロックの上の位置からの空間的マージ候補は、動きデータラインバッファに格納されてよい。動きデータラインバッファは、前のCTU行のCTUの一番下にある許容される最小サイズのインターブロックの最後の行の動き情報を格納するために使用される。
一実施形態では、動きデータラインバッファからの通常の空間的マージ候補のGBiインデックス継承は、動きデータラインバッファのメモリ記憶を節約するために無効にできる。例えば、リスト0及び/又はリスト1の動きベクトル値及び参照インデックス値を含む通常の動き情報のみが、動きデータラインバッファに保存されてよい。動きデータラインバッファは、前のCTU行にあるブロックに対応するGBiインデックス値を格納することを回避できる。従って、幾つかの例では、現在ブロックについて選択された空間的マージ候補が、CTU境界より上にある前のCTU行に位置するブロックからであるとき、動き情報は、動きデータラインバッファからロードでき、現在ブロックのGBiインデックスは、幾つかの例では1/2の重みに対応する規定GBiインデックスに設定できる。
図12は、一実施形態による、CTU境界(1210)にある現在ブロック(801)及びその空間的近隣ブロックの概略図である。図12では、図8に示したものと同じ又は同様のコンポーネントは、同じ参照符号又はラベルが与えられ、それらの詳細な説明は図8に関して上述した。
例えば、図12に示すように、現在ブロック(801)について、選択された空間的マージ候補が近隣ブロックB0、B1、又はB2に対応する場合、それらの動き情報は、動きデータラインバッファに格納できる。従って、幾つかの例では、第3のGBiインデックス継承構成によると、現在ブロック(801)のGBiインデックスは、選択された空間的マージ候補のGBiインデックス値を参照することなく、規定GBiインデックスに設定されてよい。
幾つかの例では、第4のGBiインデックス継承構成によると、GBiインデックス継承は、動きデータラインバッファからの通常のアフィンマージ候補について無効にされ得る。具体的に、現在ブロックが現在CTUの一番上の行に位置するとき、現在ブロックの継承アフィンマージ候補を導出するための、現在ブロックの上の位置からの空間的近隣ブロックのアフィン動き情報は、動きデータラインバッファに格納されてよい。動きデータラインバッファは、前のCTU行のCTUの一番下にある許容される最小サイズのインターブロックの最後の行の動き情報を格納するために使用される。
一実施形態では、動きデータラインバッファからのアフィンマージ候補のGBiインデックス継承は、動きデータラインバッファのメモリ記憶を節約するために無効にできる。例えば、GBiインデックス値は、動きデータラインバッファに保存されなくてよい。現在ブロックについて選択された継承アフィンマージ候補が、CTU境界より上に位置するアフィン符号化ブロックから導出されるとき、アフィン動き情報は、動きデータラインバッファからロードされる。現在ブロックのGBiインデックスは、幾つかの例では1/2の重みに対応する規定GBiインデックスに設定できる。
図13は、一実施形態による、CTU境界(1310)にある現在ブロック(901)及びその空間的アフィン近隣ブロックの概略図である。図13では、図9に示したものと同じ又は同様のコンポーネントは、同じ参照符号又はラベルが与えられ、それらの詳細な説明は図9に関して上述した。
例えば、図13に示すように、現在ブロック(901)について、選択された継承アフィンマージ候補が近隣ブロックB0、B1、又はB2に対応する場合、それらのアフィン動き情報は、動きデータラインバッファに格納できる。従って、幾つかの例では、第4のGBiインデックス継承構成によると、現在ブロック(901)のGBiインデックスは、選択されたアフィンマージ候補のGBiインデックス値を参照することなく、規定GBiインデックスに設定されてよい。
幾つかの例では、第5のGBiインデックス継承構成によると、GBiインデックス継承は、現在CTU内の参照ブロックに限定され得る。幾つかの実施形態では、GBiインデックス情報は、現在CTU内のブロックについてのみ格納できる。空間的MV予測を用いるとき、予測子が現在CTUの外側のブロックからである場合、参照ブロックのGBiインデックス情報は、参照ブロックについて保存されていなくてよい。従って、現在ブロックのGBiインデックスは、幾つかの例では1/2の重みに対応する規定GBiインデックスに設定できる。
一実施形態では、第5のGBiインデックス継承構成による上述の限定は、並進動き情報の空間インターマージにのみ適用できる。
別の実施形態では、第5のGBiインデックス継承構成による上述の限定は、継承アフィンマージ候補にのみ適用できる。
別の実施形態では、第5のGBiインデックス継承構成による上述の限定は、並進動き情報の空間インターマージ、及び継承アフィンマージ候補の両方にのみ適用できる。
幾つかの例では、第6のGBiインデックス継承構成によると、GBiインデックスにより示されるような負の重みの使用は、2つの参照ピクチャが同じピクチャに属するブロックにのみ使用された場合にのみ、負の重みが使用できるように制約されてよい。幾つかの例では、第6のGBiインデックス継承構成によると、GBiインデックスにより示されるような正の重みの使用は、2つの参照ピクチャが異なるピクチャに属するブロックにのみ使用された場合にのみ、正の重みが使用できるように制約されてよい。幾つかの例では、第6のGBiインデックス継承構成によると、幾つかの場合に符号化効率が向上できる。
幾つかの例では、同じピクチャ順序カウント(picture order count (POC))値を有するピクチャ同じピクチャとして決定される。幾つかの例では、GBi情報のシグナリング及び現在ブロックの参照ピクチャは、上述の制約に従い調整できる。
幾つかの例では、第7のGBiインデックス継承構成によると、GBiインデックス継承は、現在ピクチャ参照(current picture referencing (CPR))について有効にされ得る。
VVC及びVTMの例では、CPRモードの下で、現在ブロックについて選択された空間的マージ候補は、現在ブロックと同じピクチャからであり得る。幾つかの実施形態では、CPR実装は、1方向予測を用いるブロックの符号化のみを可能にできる。しかしながら、他の実施形態では、CPR実装は、2方向予測を用いるブロックの符号化を可能にできる。現在ブロックが、現在ピクチャから選択された1つの参照ブロックにより、2方向予測を用いて符号化される場合、GBiインデックスは、現在ブロックのために使用できる。
例えば、一実施形態では、現在ブロックがマージモードで符号化され、選択されたマージ候補がGBiインデックスにより双予測され、両方の参照ブロックが現在ピクチャからである場合(CPRモード)、現在ブロックのGBiインデックスは、候補のGBiインデックスと同じになるよう設定できる。選択されたマージ候補がCPRモードを用いて片予測される場合、現在ブロックのGBiインデックスは、幾つかの例では1/2の重みに対応する規定GBiインデックスに設定できる。幾つかの実施形態では、現在ブロックが2つの異なる参照ピクチャを参照する双予測ブロックであるとき、現在ブロックのGBiインデックスは、規定GBiインデックスに設定でき、GBiインデックスはシグナリングされない。
幾つかの実施形態では、ブロックは、現在ピクチャを参照ピクチャとして、2方向予測及び1方向予測のうちの一方に従い符号化される(CPRモード)。幾つかの例では、ブロックの予測情報を取得した後に、動き情報候補が、ブロックの予測情報に従い通常のマージ候補リストに格納されるべきであると決定されると、動き情報候補は、少なくとも、第1ブロックが2方向予測に従い符号化されるとき、ブロックの動き情報、及び第1ブロックの2方向予測を実行するための重みパラメータを含むよう格納できる。また、動き情報候補は、少なくとも、ブロックが1方向予測に従い符号化されるとき、ブロックの動き情報、及び規定重みパラメータを含むよう格納できる。
図14は、本開示の一実施形態による、復号処理(1400)の概要を示すフローチャートを示す。処理(1400)は、ピクチャのブロック(つまり、現在ブロック)を再構成するために、動き情報候補のリストを構成する際に使用できる。幾つかの実施形態では、処理(1400)の前又は後に1つ以上の動作が実行され、図14に示した動作のうちの幾つかは、並べ替えられ又は省略されてよい。
種々の実施形態では、処理(1400)は、端末装置(210)、(220)、(230)、及び(240)内の処理回路、ビデオデコーダ(310)、(410)、又は(710)の機能を実行する処理回路、のような処理回路により実行される。幾つかの実施形態では、処理(1400)は、ソフトウェア命令により実装され、したがって、処理回路がソフトウェア命令を実行すると、処理回路が処理(1400)を実行する。処理は(S1401)で開始し、(S1410)に進む。
(S1410)で、ピクチャ内の第1ブロックの予測情報が符号化ビデオビットストリームから取得される。予測情報は、1つ以上の前の復号ブロックから動き情報候補のリストを構成するモードを示す。幾つかの実施形態では、動き情報候補のリストを構成するモードは、上述のような種々のモード、例えばHEVCマージモード、アフィンマージモード、サブブロックに基づく時間的MV予測、履歴に基づくMV予測、ペア毎の平均化MV候補、CPR、及び/又は他の適用可能な処理、又はそれらの組合せ、を含む。幾つかの例では、予測情報は、図3、4、及び7に示したシステム又はデコーダを用いて取得できる。
(S1420)で、第1ブロックの再構成サンプルが、(例えば、出力のために)2方向予測及び1方向予測のうちの一方と予測情報とに従い生成される。幾つかの例では、第1ブロックの再構成サンプルは、図3、4、及び7に示したシステム又はデコーダを用いて生成できる。
(S1430)で、動き情報候補が、第1ブロックの予測情報に従い、動き情報候補のリストに格納されるべきであると決定されると、動き情報候補が格納できる。
幾つかの実施形態では、HMVPマージ候補からのGBiインデックス継承が有効にされる。従って、動き情報候補は、少なくとも、第1ブロックが2方向予測に従い符号化されるとき、第1情報、及び第1ブロックの2方向予測を実行するための第1重みを示す第1重みパラメータ、を含むHMVP候補として格納できる。また、HMVP候補としての動き情報候補は、第1ブロックが1方向予測に従い符号化されるとき、第1動き情報、及び規定重みを示す規定重みパラメータ、を含み得る。幾つかの例では、規定重みは1/2である。
幾つかの実施形態では、GBiインデックス継承は、CPRについて有効にできる。従って、動き情報候補は、少なくとも、第1ブロックが2方向予測に従い符号化されるとき、第1情報、及び第1ブロックの2方向予測を実行するための第1重みパラメータ、を含むよう格納できる。また、動き情報候補は、第1ブロックが1方向予測に従い符号化されるとき、第1動き情報、及び規定重みを示す規定重みパラメータ、を含み得る。
幾つかの実施形態では、GBiインデックス継承は、空間的インターマージ候補について有効にできる。動き情報候補は、少なくとも、第1ブロックが2方向予測に従い符号化されるとき、第1情報、及び第1ブロックの2方向予測を実行するための第1重みパラメータ、を含むよう格納できる。また、動き情報候補は、第1ブロックが1方向予測に従い符号化されるとき、第1動き情報、及び規定重みを示す規定重みパラメータ、を含み得る。
幾つかの例では、動き情報候補は、図3、4、及び7に示したシステム又はデコーダを用いて格納できる。
幾つかの実施形態では、第1ブロックは、2方向予測に従い、第1リスト(例えば、リスト1)内の第1参照ピクチャ及び第2リスト(例えば、リスト0)内の第2参照ピクチャに基づき符号化される。ここで、第1参照ピクチャに適用可能な重みwは、w=w/Fに従い決定できる。
また、第2参照ピクチャに適用可能な重みwは、w=1-wに従い決定できる。
ここで、w及びFは整数であり、wは、格納された動き情報候補に含まれるべき導出された重みパラメータ(例えば、GBiインデックスにより示される重み)を表し、Fは、適合率を表す。幾つかの例では、適合率Fは8である。
幾つかの例では、現在ブロックの再構成サンプルは、図3、4、及び7に示したシステム又はデコーダを用いて生成できる。
(S1460)で、ピクチャ内の第2ブロックが、動き情報候補に基づき復号されるべきであると決定されると、動き情報候補に従い、出力のために第2ブロックの再構成サンプルが生成できる。幾つかの例では、第2ブロックの再構成サンプルは、図3、4、及び7に示したシステム又はデコーダを用いて生成できる。
幾つかの実施形態では、(S1460)で、動き情報候補が通常の空間的マージ候補として格納され、第2ブロックが2方向予測に従い符号化されるとき、第2ブロックの2方向予測を実行するための第2重みは、第1ブロックが第2ブロックに空間的に隣接するとき、動き情報候補に格納された第1重みパラメータに従い設定できる。また、第1ブロックが第2ブロックに空間的に隣接しないとき、第2ブロックの2方向予測を実行するための第2重みは、規定重みに設定できる。
幾つかの実施形態では、(S1460)で、動き情報候補が、通常の空間マージ候補又はHMVP候補のいずれでもない候補として格納され、第2ブロックが2方向予測に従い符号化されるとき、第2ブロックについて2方向予測を実行するための第2重みは、規定重みになり得る。
幾つかの実施形態では、第1ブロックが、第2ブロックの含まれる現在符号化木単位(CTU)行と異なるCTU行にあり、動き情報候補が、通常のマージ候補又はアフィンマージ候補として格納され、第2ブロックが2方向予測に従い符号化されるとき、第2ブロックについて2方向予測を実行するための第2重みは、規定重みに設定できる。
幾つかの実施形態では、第1ブロックが、第2ブロックの含まれる現在CTUの外側にあり、動き情報候補が、並進マージ候補又は継承アフィンマージ候補として格納され、第2ブロックが2方向予測に従い符号化されるとき、第2ブロックについて2方向予測を実行するための第2重みは、規定重みに設定できる。
幾つかの実施形態では、第1ブロックは、2方向予測に従い符号化され、第1リスト内の第1参照ピクチャに対応する第1重み及び第1重みから導出され第2リスト内の第2参照ピクチャに対応する第2重みの両方は、第1及び第2参照ピクチャが同じ参照ピクチャであるとき、正である。
幾つかの実施形態では、第1ブロックは、2方向予測に従い符号化され、第1リスト内の第1参照ピクチャに対応する第1重み及び第1重みから導出され第2リスト内の第2参照ピクチャに対応する第2重みの一方は、第1及び第2参照ピクチャが異なる参照ピクチャであるとき、負である。
(S1460)の後に、処理は(S1499)に進み終了する。
図15は、本開示の一実施形態による、符号化処理(1500)の概要を示すフローチャートを示す。処理(1500)は、インターモードを用いて符号化されたピクチャのブロック(つまり、現在ブロック)を符号化するために使用できる。幾つかの実施形態では、処理(1500)の前又は後に1つ以上の動作が実行され、図15に示した動作のうちの幾つかは、並べ替えられ又は省略されてよい。
種々の実施形態では、処理(1500)は、端末装置(210)、(220)、(230)、及び(240)内の処理回路、ビデオエンコーダ(303)、(503)、又は(603)の機能を実行する処理回路、のような処理回路により実行される。幾つかの実施形態では、処理(1500)は、ソフトウェア命令により実装され、したがって、処理回路がソフトウェア命令を実行すると、処理回路が処理(1500)を実行する。処理は(S1501)で開始し、(S1510)に進む。
(S1501)で、ピクチャ内の第1ブロックを符号化するための第1予測情報が取得される。幾つかの実施形態では、第1予測情報は、第1ブロックについて適切な予測子を生成する任意の適用可能な動き推定処理により取得できる。幾つかの例では、図3、5、及び6に示したシステム又はエンコーダを用いて決定が実行できる。
(S1530)で、動き情報候補が、第1ブロックの予測情報に従い、動き情報候補のリストに格納されるべきであると決定されると、動き情報候補が格納できる。幾つかの例では、(S1530)は、(S1430)と同様の方法で実行できる。幾つかの例では、動き情報候補を格納することは、図3、5、及び6に示したシステム又はエンコーダを用いて実行できる。
(S1560)で、ピクチャ内の第2ブロックが、動き情報候補に基づき復号されるべきであると決定されると、動き情報候補に従い、第2ブロックを符号化するための第2予測情報が取得できる。幾つかの例では、(S1560)は、(S1460)と同様の方法で、第2ブロックについて2方向予測を実行するための重みを決定するステップを含み得る。幾つかの例では、第2予測情報の決定は、図3、5、及び6に示したシステム又はエンコーダを用いて実行できる。
(S1560)の後に、処理は(S1599)に進み終了する。
上述の技術は、コンピュータ可読命令を用いてコンピュータソフトウェアとして実装でき、1つ以上のコンピュータ可読媒体に物理的に格納でる。例えば、図16は、本開示の主題の特定の実施形態を実装するのに適するコンピュータシステム(1600)を示す。
コンピュータソフトウェアは、アセンブリ、コンパイル、リンク等のメカニズムにより処理されて、1つ以上のコンピュータ中央処理ユニット(CPU)、グラフィック処理ユニット(GPU)、等により直接又はインタープリット、マイクロコード実行、等を通じて実行可能な命令を含むコードを生成し得る、任意の適切な機械コードまたはコンピュータ言語を用いて符号化できる。
命令は、例えばパーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム装置、モノのインターネット装置、等を含む種々のコンピュータ又はそのコンポーネントで実行できる。
コンピュータシステム(1600)の図16に示すコンポーネントは、本来例示であり、本開示の実施形態を実装するコンピュータソフトウェアの使用又は機能の範囲に対するようないかなる限定も示唆しない。さらに、コンポーネントの構成も、コンピュータシステム(1600)の例示的な実施形態に示されたコンポーネントのうちのいずれか又は組み合わせに関連する任意の依存性又は要件を有すると解釈されるべきではない。
コンピュータシステム(1600)は、特定のヒューマンインタフェース入力装置を含んでよい。このようなヒューマンインタフェース入力装置は、例えば感覚入力(例えば、キーストローク、スワイプ、データグラブ動作)、音声入力(例えば、音声、クラッピング)、視覚的入力(例えば、ジェスチャ)、嗅覚入力(示されない)を通じた1人以上の人間のユーザによる入力に応答してよい。ヒューマンインタフェース装置は、必ずしも人間による意識的入力に直接関連する必要のない特定の媒体、例えば音声(例えば、会話、音楽、環境音)、画像(例えば、スキャンされた画像、デジタルカメラから取得された写真画像)、ビデオ(例えば、2次元ビデオ、3次元ビデオ、立体ビデオを含む)をキャプチャするためにも使用できる。
入力ヒューマンインタフェース装置は、キーボード(1601)、マウス(1602)、トラックパッド(1603)、タッチスクリーン(1610)、データグラブ(図示しない)、ジョイスティック(1605)、マイクロフォン(1606)、スキャナ(1607)、カメラ(1608)、のうちの1つ以上を含んでよい(そのうちの1つのみが示される)。
コンピュータシステム(1600)は、特定のヒューマンインタフェース出力装置も含んでよい。このようなヒューマンインタフェース出力装置は、例えば感覚出力、音声、光、及び匂い/味を通じて1人以上の人間のユーザの感覚を刺激してよい。このようなヒューマンインタフェース出力装置は、感覚出力装置を含んでよい(例えば、タッチスクリーン(1610)、データグラブ(図示しない)、又はジョイスティック(1605(による感覚フィードバック、しかし入力装置として機能しない感覚フィードバック装置も存在し得る)、音声出力装置(例えば、スピーカ(1609)、ヘッドフォン(図示しない)、視覚的出力装置(例えば、スクリーン(1610)、CRTスクリーン、LCDスクリーン、プラズマスクリーン、OLEDスクリーンを含み、それぞれタッチスクリーン入力能力を有し又は有さず、それぞれ感覚フィードバック能力を有し又は有さず、これらのうちの幾つかは例えば立体出力、仮想現実眼鏡(図示しない)、ホログラフィックディスプレイ、及び発煙剤タンク(図示しない)、及びプリンタ(図示しない)のような手段を通じて2次元視覚出力又は3次元以上の出力を出力可能であってよい))。
コンピュータシステム(1600)は、人間のアクセス可能な記憶装置、及び、例えばCD/DVD等の媒体(1621)を備えるCD/DVD ROM/RW(1620)のような光学媒体、サムドライブ(1622)、取り外し可能ハードドライブ又は個体状態ドライブ(1623)、テープ及びフロッピディスク(図示しない)のようなレガシー磁気媒体、セキュリティドングル(図示しない)等のような専用ROM/ASIC/PLDに基づく装置のような関連する媒体も含み得る。
当業者は、本開示の主題と関連して使用される用語「コンピュータ可読媒体」が伝送媒体、搬送波、又は他の一時的信号を包含しないことも理解すべきである。
コンピュータシステム(1600)は、1つ以上の通信ネットワークへのインタフェースも含み得る。ネットワークは、例えば無線、有線、光であり得る。ネットワークへは、更に、ローカル、広域、都市域、車両及び産業、リアルタイム、耐遅延性、等であり得る。ネットワークの例は、イーサネットのようなローカルエリアネットワーク、無線LAN、GSM、3G、4G、5G、LET等を含むセルラネットワーク、ケーブルTV、衛星TV、地上波放送TVを含むTV有線又は無線広域デジタルネットワーク、CANBusを含む車両及び産業、等を含む。特定のネットワークは、一般に、特定の汎用データポート又は周辺機器バス(1649)(例えば、コンピュータシステム(1600)のUSBポート)に取り付けられる外部ネットワークインタフェースを必要とする。他のものは、一般に、後述するようなシステムバスへの取り付けによりコンピュータシステム(1600)のコアに統合される(例えば、イーサネットインタフェースをPCコンピュータシステムへ、又はセルラネットワークインタフェースをスマートフォンコンピュータシステムへ)。これらのネットワークを用いて、コンピュータシステム(1600)は、他のエンティティと通信できる。このような通信は、単方向受信のみ(例えば、放送TV)、単方向送信のみ(例えば、特定のCANbus装置へのCANbus)、又は例えばローカル又は広域デジタルネットワークを用いて他のコンピュータシステムへの双方向であり得る。特定のプロトコル及びプロトコルスタックが、上述のネットワーク及びネットワークインタフェースの各々で使用され得る。
前述のヒューマンインタフェース装置、人間のアクセス可能な記憶装置、及びネットワークインタフェースは、コンピュータシステム(1600)のコア(1640)に取り付け可能である。
コア(1640)は、1つ以上の中央処理ユニット(CPU)(1641)、グラフィック処理ユニット(GPU)(1642)、GPGAの形式の専用プログラマブル処理ユニット(1643)、特定タスクのためのハードウェアアクセラレータ(1644)、等を含み得る。これらの装置は、読み出し専用メモリ(ROM)(1645)、ランダムアクセスメモリ(1646)、内部のユーザアクセス不可能なハードドライブ、SSD、等のような内蔵大容量記憶装置(1647)と共に、システムバス(1648)を通じて接続されてよい。幾つかのコンピュータシステムでは、追加CPU、GPU、等による拡張を可能にするために、システムバス1648は、1つ以上の物理プラグの形式でアクセス可能である。周辺機器は、コアのシステムバス1648に直接に、又は周辺機器バス1649を通じて、取り付け可能である。周辺機器バスのアーキテクチャは、PCI、USB、等を含む。
CPU(1641)、GPU(1642)、FPGA(1643)、及びアクセラレータ(1644)は、結合されて前述のコンピュータコードを生成可能な特定の命令を実行できる。該コンピュータコードは、ROM(1645)又はRAM(1646)に格納できる。一時的データもRAM(1646)に格納でき、一方で、永久的データは例えば内蔵大容量記憶装置(1647)に格納できる。メモリ装置のうちのいずれかへの高速記憶及び読み出しは、CPU(1641)、GPU(1642)、大容量記憶装置(1647)、ROM(1645)、RAM(1646)等のうちの1つ以上に密接に関連付けられ得るキャッシュメモリの使用を通じて可能にできる。
コンピュータ可読媒体は、種々のコンピュータにより実施される動作を実行するためのコンピュータコードを有し得る。媒体及びコンピュータコードは、本開示の目的のために特別に設計され構成されたものであり得、又は、コンピュータソフトウェア分野の当業者によく知られ利用可能な種類のものであり得る。
例として及び限定ではなく、アーキテクチャを有するコンピュータシステム(1600)、及び具体的にはコア(1640)は、プロセッサ(CPU、GPU、FPGA、アクセラレータ、等を含む)が1つ以上の有形コンピュータ可読媒体内に具現化されたソフトウェアを実行した結果として、機能を提供できる。このようなコンピュータ可読媒体は、コア内蔵大容量記憶装置(1647)又はROM(1645)のような非一時的特性のコア(1640)の特定の記憶装置、及び上述のようなユーザアクセス可能な大容量記憶装置と関連付けられた媒体であり得る。本開示の種々の実施形態を実装するソフトウェアは、このような装置に格納されコア(1640)により実行できる。コンピュータ可読媒体は、特定の必要に従い、1つ以上のメモリ装置又はチップを含み得る。ソフトウェアは、コア(1640)及び具体的にはその中のプロセッサ(CPU、GPU、FPGA、等を含む)に、ソフトウェアにより定義された処理に従うRAM(1646)に格納されたデータ構造の定義及び該データ構造の変更を含む、ここに記載した特定の処理又は特定の処理の特定の部分を実行させることができる。追加又は代替として、コンピュータシステムは、ここに記載の特定の処理又は特定の処理の特定の部分を実行するためにソフトウェアと一緒に又はそれに代わって動作可能な論理ハードワイヤド又は他の回路内の実装(例えば、アクセラレータ(1644))の結果として機能を提供できる。ソフトウェアへの言及は、ロジックを含み、適切な場合にはその逆も同様である。コンピュータ可読媒体への言及は、適切な場合には、実行のためにソフトウェアを格納する(集積回路(IC)のような)回路、実行のためにロジックを実装する回路、又はそれらの両方を含み得る。本開示は、ハードウェア及びソフトウェアの任意の適切な組み合わせを含む。
付録A:用語集
JEM: joint exploration model
VVC: versatile video coding
BMS: benchmark set
MV: Motion Vector
HEVC: High Efficiency Video Coding
SEI: Supplementary Enhancement Information
VUI: Video Usability Information
GOPs: Groups of Pictures
TUs: Transform Units,
PUs: Prediction Units
CTUs: Coding Tree Units
CTBs: Coding Tree Blocks
PBs: Prediction Blocks
HRD: Hypothetical Reference Decoder
SNR: Signal Noise Ratio
CPUs: Central Processing Units
GPUs: Graphics Processing Units
CRT: Cathode Ray Tube
LCD: Liquid-Crystal Display
OLED: Organic Light-Emitting Diode
CD: Compact Disc
DVD: Digital Video Disc
ROM: Read-Only Memory
RAM: Random Access Memory
ASIC:Application-Specific Integrated Circuit
PLD: Programmable Logic Device
LAN: Local Area Network
GSM: Global System for Mobile communications
LTE: Long-Term Evolution
CANBus: Controller Area Network Bus
USB: Universal Serial Bus
PCI: Peripheral Component Interconnect
FPGA: Field Programmable Gate Areas
SSD: solid-state drive
IC: Integrated Circuit
CU: Coding Unit
SDR: standard dynamic range
HDR: high dynamic range
VTM: VVC Test Mode
CPMV: Control point motion vector
CPMVP: Control point motion vector predictor
MVP: Motion Vector Prediction
AMVP: Advanced Motion Vector Prediction
ATMVP: Advanced Temporal Motion Vector Prediction
HMVP: History-based Motion Vector Prediction
STMVP: Spatial-temporal Motion Vector Prediction
TMVP: Temporal Motion Vector Prediction
SbTMVP: subblock-based temporal motion vector prediction
GBi: Generalized Bi-prediction
HEVC SCC: HEVC screen content coding
CPR: Current Picture Referencing
AMVR: Adaptive motion vector resolution
SPS: sequence parameter set
RD: Rate-Distortion
本開示は、幾つかの例示的な実施形態を記載したが、代替、置換、及び種々の代用の均等物が存在し、それらは本開示の範囲に包含される。当業者に明らかなことに、ここに明示的に示され又は説明されないが、本開示の原理を実施し、したがって、本開示の精神及び範囲に含まれる多数のシステム及び方法を考案可能である。




Claims (23)

  1. デコーダが実行するビデオ復号のための方法であって、
    符号化ビデオビットストリームからピクチャ内の第1ブロックの予測情報を取得するステップと、
    2方向予測及び1方向予測のうちの一方と予測情報とに従い出力するために、前記第1ブロックの再構成サンプルを生成するステップと、
    動き情報候補が、前記第1ブロックの前記予測情報に従い格納されるべきであると決定され、履歴に基づく動きベクトル予測(HMVP)候補として格納されると、 前記動き情報候補を格納するステップであって、前記動き情報候補は、少なくとも:
    前記第1ブロックが前記2方向予測に従い符号化されるとき、第1動き情報、及び前記第1ブロックの前記2方向予測を実行するための第1重みを示す第1重みパラメータ、
    前記第1ブロックが前記1方向予測に従い符号化されるとき、前記第1動き情報、及び規定重みを示す規定重みパラメータ、
    を含む、ステップと、
    前記ピクチャ内の第2ブロックが前記動き情報候補に基づき復号されるべきであると決定されると、前記動き情報候補に従い出力するために、前記第2ブロックの再構成サンプルを生成するステップと、
    を含む方法。
  2. 前記第2ブロックの前記再構成サンプルを生成する前記ステップは、
    前記動き情報候補が通常の空間マージ候補として格納され、前記第2ブロックが前記2方向予測に従い符号化されるとき、
    前記第1ブロックが前記第2ブロックに空間的に隣接するとき、前記動き情報候補に格納された前記第1重みパラメータに従い、前記第2ブロックについて前記2方向予測を実行するための第2重みを設定するステップと、
    前記第1ブロックが前記第2ブロックに空間的に隣接しないとき、前記第2ブロックについて前記2方向予測を実行するための前記第2重みを前記規定重みに設定するステップと、
    を含む、請求項1に記載の方法。
  3. 前記第2ブロックの前記再構成サンプルを生成する前記ステップは、
    前記動き情報候補が、前記通常の空間マージ候補又は前記HMVP候補のいずれでもない候補として格納され、前記第2ブロックが前記2方向予測に従い符号化されるとき、
    前記第2ブロックについて前記2方向予測を実行するための前記第2重みを前記規定重みに設定するステップを含む、請求項2に記載の方法。
  4. 前記第2ブロックの前記再構成サンプルを生成する前記ステップは、
    前記第1ブロックが、前記第2ブロックの含まれる現在符号化木単位(CTU)行と異なるCTU行にあり、前記動き情報候補が、通常のマージ候補又はアフィンマージ候補として格納され、前記第2ブロックが前記2方向予測に従い符号化されるとき、
    前記第2ブロックについて前記2方向予測を実行するための第2重みを前記規定重みに設定するステップを含む、請求項1に記載の方法。
  5. 前記第1ブロックの前記再構成サンプルを生成する前記ステップは、
    前記第1ブロックが、前記第2ブロックの含まれる現在CTUの外側にあり、前記動き情報候補が、並進マージ候補又は継承アフィンマージ候補として格納され、前記第2ブロックが前記2方向予測に従い符号化されるとき、
    前記第2ブロックについて前記2方向予測を実行するための第2重みを前記規定重みに設定するステップを含む、請求項1に記載の方法。
  6. 前記第1ブロックは、前記ピクチャを参照ピクチャとして、前記2方向予測及び前記1方向予測のうちの一方に従い符号化される、請求項1に記載の方法。
  7. 前記第1ブロックは、前記2方向予測に従い符号化され、第1リスト内の第1参照ピクチャに対応する前記第1重み及び前記第1重みから導出され第2リスト内の第2参照ピクチャに対応する第2重みの両方は、前記第1及び第2参照ピクチャが同じ参照ピクチャであるとき、正である、請求項1に記載の方法。
  8. 前記第1ブロックは、前記2方向予測に従い符号化され、第1リスト内の第1参照ピクチャに対応する前記第1重み及び前記第1重みから導出され第2リスト内の第2参照ピクチャに対応する第2重みの一方は、前記第1及び第2参照ピクチャが異なる参照ピクチャであるとき、負である、請求項1に記載の方法。
  9. 前記規定重みは1/2である、請求項1に記載の方法。
  10. 前記第1ブロックは前記2方向予測に従い符号化され、第1リスト内の第1参照ピクチャに対応する前記第1重みwは、w=w/Fに従い決定され、
    第2リスト内の第2参照ピクチャに対応する別の重みwは、w=1-wに従い決定され、
    w及びFは整数であり、wは前記第1重みパラメータを表し、Fは適合率を表す、請求項1に記載の方法。
  11. 前記適合率Fは8である、請求項10に記載の方法。
  12. 前記第1重み及び前記第2重みは、前記HMVP候補に格納されたインデックスにより示される重みパラメータと適合率Fとに従い決定される、請求項1に記載の方法。
  13. 機器であって、
    処理回路を含み、前記処理回路は、
    符号化ビデオビットストリームからピクチャ内の第1ブロックの予測情報を取得し、
    2方向予測及び1方向予測のうちの一方と予測情報とに従い出力するために、前記第1ブロックの再構成サンプルを生成し、
    動き情報候補が、前記第1ブロックの前記予測情報に従い格納されるべきであると決定され、履歴に基づく動きベクトル予測(HMVP)候補として格納されると、
    前記動き情報候補を格納し、前記動き情報候補は、少なくとも:
    前記第1ブロックが前記2方向予測に従い符号化されるとき、第1動き情報、及び前記第1ブロックの前記2方向予測を実行するための第1重みを示す第1重みパラメータ、
    前記第1ブロックが前記1方向予測に従い符号化されるとき、前記第1動き情報、及び規定重みを示す規定重みパラメータ、
    を含み、
    前記ピクチャ内の第2ブロックが前記動き情報候補に基づき復号されるべきであると決定されると、前記動き情報候補に従い出力するために、前記第2ブロックの再構成サンプルを生成する、
    よう構成される、機器。
  14. 前記処理回路は、
    前記動き情報候補が通常の空間マージ候補として格納され、前記第2ブロックが前記2方向予測に従い符号化されるとき、
    前記第1ブロックが前記第2ブロックに空間的に隣接するとき、前記動き情報候補に格納された前記第1重みパラメータに従い、前記第2ブロックについて前記2方向予測を実行するための第2重みを設定し、
    前記第1ブロックが前記第2ブロックに空間的に隣接しないとき、前記第2ブロックについて前記2方向予測を実行するための前記第2重みを前記規定重みに設定する、
    よう更に構成される、請求項13に記載の機器。
  15. 前記処理回路は、
    前記動き情報候補が、前記通常の空間マージ候補又は前記HMVP候補のいずれでもない候補として格納され、前記第2ブロックが前記2方向予測に従い符号化されるとき、
    前記第2ブロックについて前記2方向予測を実行するための前記第2重みを前記規定重みに設定するよう更に構成される、請求項14に記載の機器。
  16. 前記処理回路は、
    前記第1ブロックが、前記第2ブロックの含まれる現在符号化木単位(CTU)行と異なるCTU行にあり、前記動き情報候補が、通常のマージ候補又はアフィンマージ候補として格納され、前記第2ブロックが前記2方向予測に従い符号化されるとき、
    前記第2ブロックについて前記2方向予測を実行するための第2重みを前記規定重みに設定するよう更に構成される、請求項13に記載の機器。
  17. 前記処理回路は、
    前記第1ブロックが、前記第2ブロックの含まれる現在CTUの外側にあり、前記動き情報候補が、並進マージ候補又は継承アフィンマージ候補として格納され、前記第2ブロックが前記2方向予測に従い符号化されるとき、
    前記第2ブロックについて前記2方向予測を実行するための第2重みを前記規定重みに設定するよう更に構成される、請求項13に記載の機器。
  18. 前記第1ブロックは前記2方向予測に従い符号化され、第1リスト内の第1参照ピクチャに対応する前記第1重みwは、w=w/Fに従い決定され、
    第2リスト内の第2参照ピクチャに対応する別の重みwは、w=1-wに従い決定され、
    w及びFは整数であり、wは前記第1重みパラメータを表し、Fは適合率を表す、請求項13に記載の機器。
  19. 前記適合率Fは8である、請求項18に記載の機器。
  20. 前記第1重み及び前記第2重みは、前記HMVP候補に格納されたインデックスにより示される重みパラメータと適合率Fとに従い決定される、請求項13に記載の機器。
  21. コンピュータプログラムであって、コンピュータに、
    符号化ビデオビットストリームからピクチャ内の第1ブロックの予測情報を取得するステップと、
    2方向予測及び1方向予測のうちの一方と予測情報とに従い出力するために、前記第1ブロックの再構成サンプルを生成するステップと、
    動き情報候補が、前記第1ブロックの前記予測情報に従い格納されるべきであると決定され、履歴に基づく動きベクトル予測(HMVP)候補として格納されると、
    前記動き情報候補を格納するステップであって、前記動き情報候補は、少なくとも:
    前記第1ブロックが前記2方向予測に従い符号化されるとき、第1動き情報、及び前記第1ブロックの前記2方向予測を実行するための第1重みを示す第1重みパラメータ、
    前記第1ブロックが前記1方向予測に従い符号化されるとき、前記第1動き情報、及び規定重みを示す規定重みパラメータ、
    を含む、ステップと、
    前記ピクチャ内の第2ブロックが前記動き情報候補に基づき復号されるべきであると決定されると、前記動き情報候補に従い出力するために、前記第2ブロックの再構成サンプルを生成するステップと、
    を実行させる、コンピュータプログラム。
  22. 前記第2ブロックの前記再構成サンプルを生成する前記ステップは、
    前記動き情報候補が通常の空間マージ候補として格納され、前記第2ブロックが前記2方向予測に従い符号化されるとき、
    前記第1ブロックが前記第2ブロックに空間的に隣接するとき、前記動き情報候補に格納された前記第1重みパラメータに従い、前記第2ブロックについて前記2方向予測を実行するための第2重みを設定するステップと、
    前記第1ブロックが前記第2ブロックに空間的に隣接しないとき、前記第2ブロックについて前記2方向予測を実行するための前記第2重みを前記規定重みに設定するステップと、
    を含む、請求項21に記載のコンピュータプログラム。
  23. エンコーダが実行するビデオ符号化のための方法であって、
    ピクチャ内の第1ブロックを符号化するための予測情報を取得するステップと、
    動き情報候補が、前記第1ブロックの前記予測情報に従い格納されるべきであると決定され、履歴に基づく動きベクトル予測(HMVP)候補として格納されると、
    前記動き情報候補を格納するステップであって、前記動き情報候補は、少なくとも:
    前記第1ブロックが前記2方向予測に従い符号化されるとき、第1動き情報、及び前記第1ブロックの前記2方向予測を実行するための第1重みを示す第1重みパラメータ、
    前記第1ブロックが前記1方向予測に従い符号化されるとき、前記第1動き情報、及び規定重みを示す規定重みパラメータ、
    を含む、ステップと、
    前記ピクチャ内の第2ブロックが前記動き情報候補に基づき符号化されるべきであると決定されると、前記動き情報候補に従い、前記第2ブロックを符号化するための予測情報を取得するステップと、
    を含む方法。
JP2021524280A 2018-12-10 2019-12-04 ビデオ符号化のための方法及び機器 Active JP7358464B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023106675A JP2023115290A (ja) 2018-12-10 2023-06-29 ビデオコーディングのための方法及び機器

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862777593P 2018-12-10 2018-12-10
US62/777,593 2018-12-10
US16/441,879 2019-06-14
US16/441,879 US11394989B2 (en) 2018-12-10 2019-06-14 Method and apparatus for video coding
PCT/US2019/064392 WO2020123218A1 (en) 2018-12-10 2019-12-04 Method and apparatus for video coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023106675A Division JP2023115290A (ja) 2018-12-10 2023-06-29 ビデオコーディングのための方法及び機器

Publications (2)

Publication Number Publication Date
JP2022506717A true JP2022506717A (ja) 2022-01-17
JP7358464B2 JP7358464B2 (ja) 2023-10-10

Family

ID=70971314

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021524280A Active JP7358464B2 (ja) 2018-12-10 2019-12-04 ビデオ符号化のための方法及び機器
JP2023106675A Pending JP2023115290A (ja) 2018-12-10 2023-06-29 ビデオコーディングのための方法及び機器

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023106675A Pending JP2023115290A (ja) 2018-12-10 2023-06-29 ビデオコーディングのための方法及び機器

Country Status (6)

Country Link
US (3) US11394989B2 (ja)
EP (1) EP3777140A4 (ja)
JP (2) JP7358464B2 (ja)
KR (2) KR20230149855A (ja)
CN (1) CN112753219A (ja)
WO (1) WO2020123218A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102463478B1 (ko) * 2018-01-26 2022-11-04 에이치에프아이 이노베이션 인크. 비디오 코딩 시스템을 위한 아핀 인터 예측 방법 및 장치
CN116668678A (zh) * 2018-05-10 2023-08-29 Lg电子株式会社 图像编解码方法、计算机可读存储介质和数据发送方法
GB2588003B (en) 2018-06-05 2023-04-19 Beijing Bytedance Network Tech Co Ltd Interaction between pairwise average merging candidates and IBC
US11595639B2 (en) * 2018-09-21 2023-02-28 Lg Electronics Inc. Method and apparatus for processing video signals using affine prediction
WO2020084508A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Harmonization between local illumination compensation and inter prediction coding
CN112913247B (zh) 2018-10-23 2023-04-28 北京字节跳动网络技术有限公司 使用局部照明补偿的视频处理
US11876957B2 (en) * 2018-12-18 2024-01-16 Lg Electronics Inc. Method and apparatus for processing video data
TWI766214B (zh) * 2018-12-28 2022-06-01 日商Jvc建伍股份有限公司 影像編碼裝置、影像編碼方法、影像編碼程式、影像解碼裝置、影像解碼方法及影像解碼程式
EP4262211A3 (en) 2018-12-28 2023-12-27 Godo Kaisha IP Bridge 1 Picture coding device, picture coding method, and picture coding program, picture decoding device, picture decoding method and picture decoding program
EP3903496A1 (en) * 2018-12-29 2021-11-03 VID SCALE, Inc. History-based motion vector prediction
CN113196774B (zh) * 2019-01-02 2023-02-17 北京字节跳动网络技术有限公司 基于散列的运动搜索的早期确定
WO2020147747A1 (en) 2019-01-15 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Weighted prediction in video coding
WO2020147804A1 (en) * 2019-01-17 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Use of virtual candidate prediction and weighted prediction in video processing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006513592A (ja) * 2002-06-28 2006-04-20 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション ビデオ圧縮フレームの改良された補間
US20110007803A1 (en) * 2009-07-09 2011-01-13 Qualcomm Incorporated Different weights for uni-directional prediction and bi-directional prediction in video coding
US20140105299A1 (en) * 2012-09-30 2014-04-17 Qualcomm Incorporated Performing residual prediction in video coding

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100308016B1 (ko) 1998-08-31 2001-10-19 구자홍 압축 부호화된 영상에 나타나는 블럭현상 및 링현상 제거방법및 영상 복호화기
US8831087B2 (en) 2008-10-06 2014-09-09 Qualcomm Incorporated Efficient prediction mode selection
US9161057B2 (en) * 2009-07-09 2015-10-13 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding
JP5768491B2 (ja) * 2011-05-17 2015-08-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US9420307B2 (en) * 2011-09-23 2016-08-16 Qualcomm Incorporated Coding reference pictures for a reference picture set
US9883203B2 (en) * 2011-11-18 2018-01-30 Qualcomm Incorporated Adaptive overlapped block motion compensation
US9918098B2 (en) 2014-01-23 2018-03-13 Nvidia Corporation Memory management of motion vectors in high efficiency video coding motion vector prediction
KR20180008445A (ko) * 2015-06-10 2018-01-24 삼성전자주식회사 적응적 가중치 예측을 위한 신택스 시그널링을 이용하여 영상을 부호화 또는 복호화하는 방법 및 장치
US10375413B2 (en) 2015-09-28 2019-08-06 Qualcomm Incorporated Bi-directional optical flow for video coding
CN114584765A (zh) * 2016-04-29 2022-06-03 英迪股份有限公司 解码和编码视频的方法以及传送比特流的方法
CN115118971A (zh) * 2016-05-13 2022-09-27 Vid拓展公司 用于视频编码的通用式多假设预测的系统及方法
CN112740704B (zh) * 2018-09-21 2024-04-16 夏普株式会社 图像解码装置以及图像编码装置
WO2020065518A1 (en) * 2018-09-24 2020-04-02 Beijing Bytedance Network Technology Co., Ltd. Bi-prediction with weights in video coding and decoding
US11051034B2 (en) * 2018-10-08 2021-06-29 Qualcomm Incorporated History-based motion vector predictor
KR20210072098A (ko) * 2018-10-24 2021-06-16 후아웨이 테크놀러지 컴퍼니 리미티드 현재 블록에 대한 모션 정보를 결정하는 방법, 히스토리 기반 모션 벡터 예측기 목록을 구성하고 업데이트하는 방법, 및 비 일시적 컴퓨터 판독 가능형 저장 매체, 및 비디오 인코딩/디코딩 방법 및 장치
CN112997489B (zh) * 2018-11-06 2024-02-06 北京字节跳动网络技术有限公司 具有几何分割的帧间预测的边信息信令

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006513592A (ja) * 2002-06-28 2006-04-20 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション ビデオ圧縮フレームの改良された補間
US20110007803A1 (en) * 2009-07-09 2011-01-13 Qualcomm Incorporated Different weights for uni-directional prediction and bi-directional prediction in video coding
JP2012533212A (ja) * 2009-07-09 2012-12-20 クゥアルコム・インコーポレイテッド ビデオコーディングにおける単方向予測および双方向予測のための異なる重み付け
US20140105299A1 (en) * 2012-09-30 2014-04-17 Qualcomm Incorporated Performing residual prediction in video coding

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHUN-CHI CHEN, XIAOYU XIU, YUWEN HE, YAN YE: "Generalized bi-prediction for inter coding [online]", JVET-C JVET-C0047, JPN6022030760, 11 November 2017 (2017-11-11), pages 1 - 4, ISSN: 0005001282 *
JUNRU LI, SHANSHE WANG, WEN GAO, LI ZHANG, KAI ZHANG, HONGBIN LIU, JIZHENG XU, XIAOYU XIU, JIANCONG: "Non-CE4: Harmonization between HMVP and GBi [online]", JVET-M JVET-M0264, JPN6022030756, 17 October 2019 (2019-10-17), pages 1 - 2, ISSN: 0005001280 *
TIMOFEY SOLOVYEV, HAN GAO, SEMIH ESENLIK, SERGEY IKONIN, JIANLE CHEN: "Non-CE4: Line buffer size reduction method for generalized bi prediction [online]", JVET-M JVET-M0484, JPN6022030761, 17 October 2019 (2019-10-17), pages 1 - 3, ISSN: 0005001283 *
YU-CHI SU, CHING-YEH CHEN,YU-WEN HUANG, SHAW-MIN LEI, YUWEN HE, JIANCONG (DANIEL) LUO,XIAOYU XIU, YA: "CE4-related: Generalized bi-prediction improvements combined from JVET-L0197 and JVET-L0296 [online]", JVET-L JVET-L0646-V5, JPN6022030758, 17 October 2019 (2019-10-17), pages 1 - 6, ISSN: 0005001281 *

Also Published As

Publication number Publication date
KR20210064371A (ko) 2021-06-02
WO2020123218A1 (en) 2020-06-18
US20220312028A1 (en) 2022-09-29
JP2023115290A (ja) 2023-08-18
KR20230149855A (ko) 2023-10-27
KR102590368B1 (ko) 2023-10-19
US11394989B2 (en) 2022-07-19
US20200186818A1 (en) 2020-06-11
CN112753219A (zh) 2021-05-04
EP3777140A1 (en) 2021-02-17
JP7358464B2 (ja) 2023-10-10
EP3777140A4 (en) 2022-03-09
US20220232243A1 (en) 2022-07-21

Similar Documents

Publication Publication Date Title
JP7096951B2 (ja) ビデオエンコーディング及びデコーディングのための方法、装置及びプログラム
JP7358464B2 (ja) ビデオ符号化のための方法及び機器
JP7222086B2 (ja) スキップ及びマージモードのためのマルチ仮説のシグナリング及び動きベクトル差分によるマージの距離オフセットテーブルのシグナリングのための方法及び装置
JP2022516846A (ja) アフィン線形加重イントラ予測モードのための簡易シグナリング方法
JP7372327B2 (ja) ビデオ復号の方法及び機器、及びコンピュータプログラム
JP7252342B2 (ja) ビデオ・コーディングのための方法、装置、及びコンピュータ・プログラム
JP2022523795A (ja) ビデオ・コーディングのための方法及び装置
JP7337166B2 (ja) アフィン履歴ベース動きベクトル予測子バッファにアクセスする方法及び装置並びにコンピュータプログラム
JP2022514923A (ja) ビデオデコードおよびエンコード方法、プログラム、および装置
JP2022059032A (ja) ビデオエンコーディング及びデコーディングのための方法、装置、コンピュータプログラム、及び非一時的なコンピュータ可読媒体
JP7238150B2 (ja) イントラピクチャブロック補償のための予測候補リストサイズシグナリングのための方法および装置
JP2022532032A (ja) ビデオコーディングのための方法及び装置
JP7177179B2 (ja) 簡略化された最確モードリスト生成スキーム
KR20210049930A (ko) 비디오 디코딩을 위한 방법 및 장치
JP7317983B2 (ja) ビデオ符号化又は復号化の方法、装置及びコンピュータプログラム
JP7265288B2 (ja) ビデオ復号のための方法、ビデオデコーダ、およびコンピュータプログラム、ならびにビデオ符号化のための方法
JP2022501959A (ja) ビデオ符号化及び復号のための方法および装置
JP2021518093A (ja) サブブロックの動きベクトル予測の方法、並びにその装置及びコンピュータプログラム
JP2022511843A (ja) ビデオ・コーディングのための方法、装置及びコンピュータ・プログラム
JP7125563B2 (ja) 映像復号のための方法、装置、及びコンピュータプログラム
JP2023158110A (ja) ビデオ復号方法、ビデオ復号装置、コンピュータプログラム、およびビデオ符号化方法
JP7419506B2 (ja) 映像コーディングのための方法及び装置
JP2021516933A (ja) ビデオ符号化の方法および装置
JP7325622B2 (ja) 映像コーディングのための方法、装置、及びコンピュータプログラム
JP2023521609A (ja) ビデオコーディングのための方法、コンピュータプログラム及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210507

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221026

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230629

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230927

R150 Certificate of patent or registration of utility model

Ref document number: 7358464

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150