JP2022551542A - 符号化/復号の方法および装置、ならびに通信システム - Google Patents

符号化/復号の方法および装置、ならびに通信システム Download PDF

Info

Publication number
JP2022551542A
JP2022551542A JP2021516487A JP2021516487A JP2022551542A JP 2022551542 A JP2022551542 A JP 2022551542A JP 2021516487 A JP2021516487 A JP 2021516487A JP 2021516487 A JP2021516487 A JP 2021516487A JP 2022551542 A JP2022551542 A JP 2022551542A
Authority
JP
Japan
Prior art keywords
mip
prediction
samples
shift parameter
intra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021516487A
Other languages
English (en)
Other versions
JPWO2021063270A5 (ja
Inventor
フオ、チュンイェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of JP2022551542A publication Critical patent/JP2022551542A/ja
Publication of JPWO2021063270A5 publication Critical patent/JPWO2021063270A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本開示は画像を予測する方法に関する。この方法は、(i)ビットストリーム内のカレントブロックの予測パラメータを決定することと、(ii)カレントブロックの隣接サンプルおよび予測パラメータに基づいて、カレントブロックのマトリクスベースのイントラ予測(MIP)入力サンプルを決定することと、(iii)数値シフト用パラメータ(sW)を第1固定値に設定することと、(iv)オフセットシフト用パラメータ(fO)を第2固定値に設定することと、(v)MIP重み付けマトリクス、MIP入力サンプル、オフセットシフト用パラメータ(fO)、および数値シフト用パラメータ(sW)に基づいてカレントブロックのMIP予測サンプルを決定することと、を含む。

Description

関連出願への相互参照
本出願は、2019年10月4日に出願された米国仮特許出願第62/911,166号の利益および優先権を主張し、その全体が参照により本明細書に援用される。
本開示は電気通信技術分野に関し、特に静止画やビデオなどの画像の符号化および復号の方法に関する。
Versatile Video Coding (VVC)は、High Efficiency Video Coding規格(H.265/HEVC)などの現在の規格を置き換えるのに使用される、次世代のビデオ圧縮規格である。VVC符号化規格は、現在の規格よりも高い符号化品質を与える。この目標を達成するため、様々なイントラ予測モードおよびインター予測モードが検討される。これらの予測モードを使用する場合、ビットストリーム(バイナリ形式)で送信されるデータが削減できるようにビデオを圧縮することができる。マトリクスベースのイントラ予測(MIP)はこうしたモードの一つである。MIPはイントラ予測モードである。MIPモードで実行する場合、エンコーダまたはデコーダは、現在の符号化ブロック(例えば、ユニットとして送信される、共に符号化および/または復号されうるビットまたは桁の集まり)に基づいてイントラ予測ブロックを導出することができる。しかし、そのような予測ブロックの導出にはかなりの量の計算リソースおよび追加の記憶空間が必要になりうる。それゆえ、この問題に対処する改良された方法は有益で望ましい。
MIPプロセスを実行する場合、様々な予測パラメータが決定されて利用される。従来は、これらの予測パラメータの一部は複数のルックアップテーブルにより決定することができる。これらのルックアップテーブルはエンコーダ、および/または、デコーダの構成要素(例えばメモリ、キャッシュなど)に記憶する必要があり、したがって記憶空間を必要とする。さらに、これらのルックアップテーブルへアクセスすることで計算時間および計算リソースが消費される。それゆえ、前述の問題へ対処するために改良された方法、装置、およびシステムを有するのは有益である。
本開示は、MIPプロセスに基づいて画像を予測、符号化、および/または、復号する方法を提供する。MIPプロセスはカレントブロック(現在のブロック)の予測ブロックを生成することができ、予測ブロックのサイズはカレントブロックのサイズよりも小さい。例えば、「8×8」のカレントブロックは「4×4」の予測ブロックを持つことができる。カレントブロックよりも小さなサイズのMIP予測ブロックはマトリクス計算を行うことで導出され、より大きなブロックでマトリクス計算を行うよりも消費される計算リソースは少ない。マトリクス計算の後に、MIP予測ブロックにアップサンプリングプロセスが適用されて、カレントブロックと同じサイズのイントラ予測ブロックが導出される。例えば、「8×8」のイントラ予測ブロックは、内挿および/または外挿のアップサンプリングプロセスを呼び出すことで「4×4」のMIP予測ブロックから導出することができる。
より詳細には、本方法は、例えば、(i)ビットストリーム内のカレントブロックの予測パラメータを決定することと、(ii)カレントブロックの隣接サンプルおよび予測パラメータに基づいて、カレントブロックのMIP入力サンプル(例えば、以下で詳細に論じられる式(P-1)、(P-2)および(P-3)における「p[x]」)を決定することと、(iii)数値シフト用パラメータ(例えば、以下で詳細に論じられる式(B)における「sW」)を第1固定値に設定することと、(iv)オフセットシフト用パラメータ(例えば、以下で詳細に論じられる式(B)における「fO」)を第2固定値に設定することと、(v)予測パラメータに基づいてカレントブロックのMIP重み付けマトリクスを決定することと、(vi)MIP重み付けマトリクス、MIP入力サンプル、オフセットシフト用パラメータ「fO」、および数値シフト用パラメータ(sW)に基づいてカレントブロックのMIP予測サンプル(例えば、以下で詳細に論じられる式(C)における「predMip[x][y]」)を決定することと、(vii)イントラ予測サンプル(例えば、以下で詳細に論じられる式(G)における「predSamples[x][y]」)を生成するためにMIP予測サンプルに対してアップサンプリングプロセスを行うことと、を含む。
理論により制約を受けることは望まないが、数値シフト用パラメータとオフセットシフト用パラメータのいずれかまたは両方を固定値に設定することで、符号化/復号プロセスの精度に大きな影響を与えることなく、全体的な符号化/復号効率が改善される。この取り決めにより、本方法は、MIPプロセスの実行時に計算時間を著しく短縮し、必要な記憶空間を削減する解決策を提供する。
本開示の別の態様は、画像およびビデオの符号化/復号を行うシステムを含む。このシステムは、符号化サブシステム(またはエンコーダ)および復号サブシステム(またはデコーダ)を含みうる。符号化サブシステムは、分割部、第1予測部、およびエントロピー符号化部を含む。分割部は、入力ビデオを受信して、入力ビデオを1つまたは複数の符号化ユニット(CU)へ分割するように構成される。第1イントラ予測部は、入力ビデオの符号化から導出された予測パラメータに基づいて、各CUに対応する予測ブロックを生成するように構成される。エントロピー符号化部は、予測ブロックを導出するためのパラメータをビットストリームへ変換するように構成される。復号サブシステムは、構文解析部および第2イントラ予測部を含む。構文解析部は、ビットストリームを解析(parse)して数値(例えば、1つまたは複数のCUに関連する値)を得るように構成される。第2イントラ予測部は、予測パラメータに基づいて数値を出力ビデオへ変換するように構成される。
本開示の実施形態で説明される技術的解決策をより明快にするため、実施形態の説明に使用される図面を簡潔に説明する。明らかに、以下で説明される図面は例証のために過ぎず、制限するためではない。当業者はこれらの図面に基づき、独創的な作業を行うことなく他の図面を得ることができるということを理解されたい。
本開示の一実施形態に係るシステムの模式図である。 本開示の実施形態に係るMIPプロセスを示す模式図である。 本開示の一実施形態に係る符号化システムの模式図である。 本開示の実施形態に係るMIPモードを使用したイントラ予測ブロックの導出を示す模式図である。 本開示の一実施形態に係る復号システムの模式図である。 本開示の実施形態の方法を示すフローチャートである。 本開示の実施形態の方法を示すフローチャートである 本開示の一実施形態に係る装置(例えばエンコーダ)の模式図である。 本開示の一実施形態に係る装置(例えばエンコーダ)の模式図である。 本開示の一実施形態に係る装置(例えばデコーダ)の模式図である。 本開示の一実施形態に係る装置(例えばデコーダ)の模式図である。 本開示の一実施形態に係る装置(例えばエンコーダ)の模式図である。 本開示の一実施形態に係る装置(例えばデコーダ)の模式図である。 本開示の一実施形態に係る通信システムの模式図である。
本開示を理解しやすくするため、本開示は添付の図面を参照して以下でより詳細に説明される。
図1Aは、本開示の一実施形態に係るシステム100の模式図である。システム100は、画像を符号化、送信、および復号することができる。また、システム100は一連の画像で構成されるビデオを符号化、送信、および復号するのに適用することができる。より詳細には、システム100は入力画像を受信し、入力画像を処理して、出力画像を生成することができる。システム100は符号化装置100aおよび復号装置100bを含む。符号化装置100aは、分割部101、第1イントラ予測部103、およびエントロピー符号化部105を含む。復号装置100bは、構文解析部107および第2イントラ予測部109を含む。
分割部101は、入力ビデオ10を受信して、入力ビデオ10を1つまたは複数の符号化ツリーユニット(CTU)または符号化ユニット(CU)12へ分割するように構成される。1つまたは複数のCU12は第1イントラ予測部103へ送信される。第1イントラ予測部103は、MIPプロセスを行うことで1つまたは複数のCU12のそれぞれに対する予測ブロックを導出するように構成される。一部の実施形態では、MIPプロセスは、異なるサイズのCU12を扱うためにCU12のサイズに基づいて異なる手法を有する。例えば、1つまたは複数のCU12の各種類に対して、MIPプロセスは指定されたMIPサイズ識別子(例えば、0、1、2など)を有する。
第1イントラ予測部103は、まずCU12の予測パラメータ(例えば、幅、高さ、サイズなど)を決定する。それに応じて、第1イントラ予測部103はCU12のMIPサイズ識別子を決定することができる。第1イントラ予測部103はさらに、CU12に対する参照サンプル群を(例えば、図3を参照して詳細に論じられる、上側隣接サンプルや左側隣接サンプルなどのCU12の隣接サンプルを使って)導出する。そして、第1イントラ予測部103は、参照サンプル群および対応するMIP重み付けマトリクスに基づいてCU12のMIP予測を導出する。第1イントラ予測部103は、MIP予測をCU12のイントラ予測14として使用することができる。そしてイントラ予測14およびイントラ予測14を導出するための予測パラメータが更なるプロセスのためにエントロピー符号化部105へ送信される。
エントロピー符号化部105は、イントラ予測14を導出するための予測パラメータをバイナリ形式へ変換するように構成される。これに応じて、エントロピー符号化部105はイントラ予測14に基づいてビットストリーム16を生成する。一部の実施形態では、ビットストリーム16は通信ネットワークを介して送信する、またはディスクやサーバに記憶することができる。
復号装置100bはビットストリーム16を入力ビットストリーム17として受信する。構文解析部107は入力ビットストリーム17(バイナリ形式)を解析し、数値18へと変換する。数値18は入力ビデオ10の特徴(例えば、色、明るさ、濃さなど)を示す。数値18は第2イントラ予測部109へ送信される。そして、第2イントラ予測部109はこれらの数値18を(例えば第1イントラ予測部103により行われるものと同様のプロセスに基づいて、関連する実施形態は図4を参照して詳細に論じられる)出力ビデオ19へ変換することができる。その後、出力ビデオ19は外部デバイス(例えば記憶装置、送信機など)によって記憶、送信、および/または、描画することができる。記憶されたビデオは、さらに表示装置により表示することができる。
図1Bは、本開示の実施形態に係るMIPプロセスS100を示す模式図である。MIPプロセスは4つの主要なステップ、S101、S102、S103、およびS104を含む。ステップS101では、MIPプロセスS100に対する予測パラメータが決定される。予測パラメータは、カレントブロックの種類またはサイズ(例えば、「mipSizeId」などのMIPサイズ識別子により示される)、各境界内の参照サンプルの個数(例えば、「boundySize」)、MIP入力サンプルの個数(例えば、「inSize」)、および、マトリクス乗算により生成されたMIP予測ブロックの寸法(例えば、「predSize×predSize」)を含む。カレントブロックのサイズに基づき、MIPサイズ識別子は「0」、「1」、または「2」とすることができて、MIPサイズ識別子はパラメータ「mipSizeId」に記録される。異なるブロックは異なる予測パラメータを持ちうる。
ステップS102では、MIPプロセスは参照画素を取得する。参照画素は、上側隣接ブロック、および/または、左側隣接ブロックからとすることができる。上側隣接ブロックからの画素がパラメータ「refT」として記憶され、左側隣接ブロックからの画素がパラメータ「refL」として記憶される。
ステップS103では、MIPプロセスに対する入力サンプルが決定される。入力サンプルは、3つのサブステップ、S1031、S1032、およびS1033により決定することができる。サブステップS1031では、(例えばステップS102からの)参照画素に基づいて、ダウンサンプリングプロセスが行われて参照サンプルが生成される。サブステップS1031では、参照サンプリング領域(またはバッファサンプリング領域)が決定される。一部の実施形態では、マトリクス転置プロセスがサブステップS1032に含まれうる。サブステップS1033では、マトリクス乗算計算が入力サンプルに基づいて行われる。
ステップS104では、イントラMIP予測サンプルが生成される。ステップS104は4つのサブステップ、S1041、S1042、S1043、およびS1044を含む。サブステップS1041では、MIP予測ブロックがMIP重み付けマトリクス、オフセットシフト用パラメータ(例えば、「fO」)、および数値シフト用パラメータ(例えば、「sW」)に基づいて生成される。本開示では、オフセットシフト用パラメータおよび数値シフト用パラメータは固定値に設定される。サブステップS1042では、MIP予測ブロックに対して補間プロセスが行われる。サブステップS1043では、MIP予測ブロックが転置される。サブステップS1044では、イントラMIP予測サンプルが生成される。一部の実施形態では、イントラMIP予測サンプルは、上側隣接画素からの予測サンプルを考慮することで生成することができる。他の実施形態では、イントラMIP予測サンプルは、上側隣接画素からの予測サンプルを考慮せずに(例えば、左側隣接画素からの予測サンプルを考慮するだけで)、生成することができる。MIPプロセスの詳細は、図3および対応する式を参照して以下で論じられる。
図2は、本開示の一実施形態に係る符号化システム200の模式図である。符号化システム200は、入力画像20を符号化、圧縮、および/または、処理して、出力ビットストリーム21をバイナリ形式で生成するように構成される。符号化システム200は、入力画像20を1つまたは複数の符号化ツリーユニット(CTU)22へ分割するように構成されている分割部201を含む。一部の実施形態では、分割部201は画像をスライス、タイル、および/または、ブリックへ分割することができる。ブリックのそれぞれは、1つまたは複数の不可欠なCTU22および/もしくは部分的なCTU22を含みうる。また、一部の実施形態では、分割部201は、それぞれが1つまたは複数のスライス、タイル、もしくはブリックを含みうる、1つまたは複数のサブピクチャを形成することもできる。分割部201は、更なるプロセスのためにCTU22を予測部202へ送信する。
予測部202は、CTU22のそれぞれに対する予測ブロック23を生成するように構成される。予測ブロック23は、1つまたは複数のインター予測方法もしくはイントラ予測方法に基づいて様々な内挿方式および/または外挿方式を使うことで生成することができる。図2に示されるように、予測部202は、ブロック分割部203、ME(動き推定)部204、MC(動き補償)部205、およびイントラ予測部206をさらに含むことができる。ブロック分割部203は、CTU22をより小さな符号化ユニット(CU)または符号化ブロック(CB)へ分割するように構成される。一部の実施形態では、CUは、四分木分割、二分木分割、三分木分割などの様々な方法によりCTU22から生成することができる。ME部204は、入力画像20に示される物体の動き、または入力画像20を生成する画像撮影装置の動きによって生じる変化を推定するように構成される。MC部205は、前記の動きによって生じる変化を調整および補償するように構成される。ME部204とMC部205のいずれも、CU(またはCUの一部分)の(異なる時点での)インター予測ブロックを導出するように構成される。一部の実施形態では、ME部204およびMC部205は、レート歪み最適化された動き推定方法を使用してインター予測ブロックを導出することができる。
イントラ予測部206は、MIPモードを含む様々なイントラ予測モードを使ってCU(またはCUの一部分)の(同じ時点での)イントラ予測ブロックを導出するように構成される。MIPモード(以降では「MIPプロセス」と呼ばれる)を使ったイントラ予測ブロックの導出の詳細は、図1Bおよび図3を参照して論じられる。MIPプロセスの間は、イントラ予測部206は、まずCUの隣接サンプルから1つまたは複数の参照サンプルを、例えば隣接サンプルを参照サンプルとして直接使う、または隣接サンプルをダウンサンプリングする、または隣接サンプルから直接抽出する(例えば、図3のステップ301)ことにより、導出する。
第2に、イントラ予測部206は、参照サンプル、MIPマトリクスおよびシフト用パラメータを使って、CU内の多数のサンプル位置で予測サンプルを導出する。サンプル位置は、CU内のあらかじめ設定されたサンプル位置とすることができる。例えば、サンプル位置は、CU内部で奇数の水平座標値および垂直座標値(例えば、x=1、3、5などで、y=1、3、5など)を持つ位置とすることができる。シフト用パラメータはオフセットシフト用パラメータおよび数値シフト用パラメータを含み、これらは予測サンプルを生成する際のシフト演算で使用することができる。この取り決めにより、イントラ予測部206はCUにおいて予測サンプルを生成することができる(すなわち、「MIP予測」または「MIP予測ブロック」はそのような予測サンプルの一群を指す)(例えば、図3のステップ302)。一部の実施形態では、サンプル位置は、CU内部で偶数の水平座標値および垂直座標値を持つ位置とすることができる。
第3に、イントラ予測部206はCUの残存位置(例えば、それらはサンプル位置ではない)で予測サンプルを導出することができる(例えば、図3のステップ303)。一部の実施形態では、イントラ予測部206は、補間フィルタを使用して残存位置で予測サンプルを導出することができる。前述のプロセスにより、イントラ予測部206はCTU22内のCUに対して予測ブロック23を生成することができる。
図2を参照すると、予測部202は予測ブロック23を加算器207へ出力する。加算器207は、分割部201の出力(例えば、CTU22内のCU)と予測ブロック202の出力(すなわち、CUの予測ブロック23)の間の差分(例えば、残差R)を計算する。変換部208は残差Rを読み出し、予測ブロック23に対して1つまたは複数の変換演算を行い、さらに後で使用する係数24を得る。量子化部209は係数24を量子化して量子化された係数25(例えば、レベル)を逆量子化部210へ出力することができる。逆量子化部210は量子化された係数25に対してスケーリング操作を行い、再構成された係数26を逆変換部211へ出力する。逆変換部211は、変換部208での変換に対応する1つまたは複数の逆変換を行い、再構成された残差27を出力する。
そして、加算器212は再構成された残差27に予測部202からのCUの予測ブロック23を加えることで再構成されたCUを計算する。また、加算器212は、イントラ予測参照として使用されるその出力28を予測部202へ送る。CTU22内のすべてのCUが再構成された後、フィルタ処理部213は再構成されたピクチャ29に対してインループフィルタによる処理を実行することができる。フィルタ処理部213は1つまたは複数のフィルタ、例えばデブロッキングフィルタ、サンプル適応オフセット(SAO)フィルタ、適応ループフィルタ(ALF)、色差(chroma)スケーリングを持つ輝度(luma)マッピング(LMCS)フィルタ、ニューラルネットワークベースフィルタ、および、符号化歪を抑制する、またはピクチャの符号化品質を高める他の適切なフィルタを含む。
その後、フィルタ処理部213は復号ピクチャ30(またはサブピクチャ)を復号ピクチャバッファ(DPB)214へ送信することができる。DPB214は、制御情報に基づいて復号ピクチャ31を出力する。また、DPB214に記憶されたピクチャ31は予測部202によるインター予測またはイントラ予測を行うための参照ピクチャとして用いられることがある。
エントロピー符号化部215は、ピクチャ31、符号化システム200内の各部からのパラメータ、および補足情報(例えば、システム200を制御する、またはシステム200と通信するための情報)をバイナリ形式へ変換するように構成される。エントロピー符号化部215はそれに応じて出力ビットストリーム21を生成することができる。
一部の実施形態では、符号化システム200は、プロセッサおよび1つまたは複数の符号化プログラムを有する記憶媒体を備えたコンピュータ装置とすることができる。プロセッサが符号化プログラムを読み出し、実行すると、符号化システム200は入力画像20を受信し、それに応じて出力ビットストリーム21を生成することができる。一部の実施形態では、符号化システム200は、1つまたはチップを備えたコンピュータ装置とすることができる。符号化システム200の各部または要素は、チップ上の集積回路として実現することができる。
図3は、本開示の実施形態に係るMIPプロセスを示す模式図である。MIPプロセスはイントラ予測部(例えば、イントラ予測部206)によって実施することができる。図3に示されるように、イントラ予測部は予測モジュール301およびフィルタ処理モジュール302を含みうる。やはり図3に示されるように、MIPプロセスは3つのステップ301、302、303を含む。MIPプロセスは、カレントブロックまたは符号化ブロック300(CUまたはCUの複数の区画など)に基づいて予測ブロックを生成することができる。
ステップ301
ステップ301において、イントラ予測部は符号化ブロック300の隣接サンプル31、33を使用して参照サンプル32、34を生成することができる。示される実施形態では、隣接サンプル31は上側隣接サンプルであり、隣接サンプル33は左側隣接サンプルである。イントラ予測部206は隣接サンプル31、33のうちの2つのサンプルごとにその値の平均を算出し、この値の平均をそれぞれ参照サンプル32、34の値として設定することができる。一部の実施形態では、イントラ予測部206は、隣接サンプル31、33のうちの各2つのサンプルのうちの1つの値を参照サンプル32または34の値として選択することができる。示される実施形態では、イントラ予測部206は、符号化ブロック300の8つの上側隣接サンプル31から4つの参照サンプル32を、また符号化ブロック300の8つの左側隣接サンプル33から別の4つの参照サンプル34を導出する。
ステップ301において、イントラ予測部は符号化ブロック300の幅および高さを決定し、それらをそれぞれ変数「cbWidth」と「cbHeight」で示す。一部の実施形態では、イントラ予測部206はレート歪み最適化されたモード決定プロセスを採用して、イントラ予測モード(例えば、MIPモードが使用されるかどうか)を決定することができる。そのような実施形態では、符号化ブロック300を1つまたは複数の変換ブロックへ分割することができて、その幅および高さはそれぞれ変数「nTbW」と「nTbH」で示される。MIPモードがイントラ予測モードとして使用される場合、イントラ予測部は、以下の条件A~Cに基づいてMIPサイズ識別子(変数「mipSizeId」で示される)を決定する。
[条件A]「nTbW」と「nTbH」がいずれも4である場合、「mipSizeId」を0に設定する。
[条件B]そうではなく、「cbWidth」または「cbHeight」が4である場合、「mipSizeId」を1に設定する。
[条件C]いずれでもなければ、「mipSizeId」を2に設定する。
例として、符号化ブロック300のサイズが「8×8」の場合(すなわち、「cbWidth」と「cbHeight」がいずれも8の場合)、「mipSizeId」は2に設定される。別の例として、符号化ブロック300の変換されるブロックのサイズが「4×4」の場合(すなわち、「nTbW」と「nTbH」がいずれも4である場合)、「mipSizeId」は0に設定される。さらに別の例として、符号化ブロック300のサイズが「4×8」の場合、「mipSizeId」は1に設定される。
示される実施形態では、3種類の「mipSizeId」、つまり「0」、「1」、「2」がある。MIPサイズ識別子(すなわち、変数「mipSizeId」)のそれぞれの種類は、MIPプロセスを実行する特定の方法に対応する(例えば、異なるMIPマトリクスを使用する)。他の実施形態では、4種類以上のMIPサイズ識別子がありうる。
MIPサイズ識別子に基づいて、イントラ予測部は以下の条件D~Fに基づいて変数(「Size」および「predSize」)を決定することができる。
[条件D]「mipSizeId」が0である場合、「boundarySize」を2に、「predSize」を4に設定する。
[条件E]「mipSizeId」が1である場合、「boundarySize」を4に、「predSize」を4に設定する。
[条件F]「mipSizeId」が2である場合、「boundarySize」を4に、「predSize」を8に設定する。
示される実施形態では、「boundarySize」は、符号化ブロック300の上側隣接サンプル31および左側隣接サンプル33のそれぞれから導出された参照サンプル32、34の個数を表す。変数「predSize」はこの後の計算(すなわち、下記の式(C))で使用される。
また、一部の実施形態では、イントラ予測部は変数「isTransposed」を導出して、時間的配列に格納される参照サンプル32、34の順序を示すこともできる。例えば、「isTransposed」が「0」であることは、イントラ予測部が符号化ブロック300の上側隣接サンプル31から導出された参照サンプル32を左側隣接サンプル33から導出された参照サンプル34より前に提示することを示す。あるいは、「isTransposed」が「1」であることは、イントラ予測部が符号化ブロック300の左側隣接サンプル33から導出された参照サンプル34を上側隣接サンプル31から導出された参照サンプル32より前に提示することを示す。符号化システム200の実装では、「isTransposed」の値は、符号化されビットストリーム(例えば、出力ビットストリーム21)へ書き込まれるMIPプロセスのパラメータの一つとしてエントロピー符号化部(例えば、エントロピー符号化部215)へ送られる。それに応じて、本開示に記載される図4の復号システム400の実装では、「isTransposed」の値は、入力ビットストリーム(出力ビットストリーム21でありうる)を解析することで構文解析部(例えば、構文解析部401)から受信することができる。
イントラ予測部はさらに変数「inSize」を決定して、MIP予測の導出時に使用される参照サンプル32、34の個数を示すことができる。「inSize」の値は次式(A)により決定される。本開示では、式の中のすべての演算子の意味および演算は、ITU-T H.265標準で規定される、対応する演算子と同一である。
inSize = (2 * boundarySize) - (mipSizeId = = 2) ? 1:0; (A)
例えば、「==」は比較演算子で、「に等しい」である。例えば、「mipSizeId」が2である場合、「inSize」は7である((2×4)-1により算出される)。例えば、「mipSizeId」が1である場合、「inSize」は8である((2×4)-0により算出される)。一部の実施形態では、パラメータ「inSize」は、以下のSize-Id表で見つけることができる。
Figure 2022551542000002
イントラ予測部は以下のプロセスを呼び出して、配列p[x](「x」は「0」から「inSize-1」)に格納される参照サンプル群32、34を導出することができる。イントラ予測部は、符号化ブロック300の上側隣接サンプル31から「nTbW」サンプルを導出(および配列「refT」にそれらを格納)することができて、また符号化ブロック300の左側隣接サンプル33から「nTbH」サンプルを導出(および配列「refL」にそれらを格納)することができる。
イントラ予測部は「refT」上のダウンサンプリングプロセスに対して頭文字を記し、「boundarySize」サンプルを得て、「refT」に「boundarySizeサンプル」を格納することができる。イントラ予測部206は「refL」に対してダウンサンプリングプロセスを開始し、「boundarySize」サンプルを得て、「refL」に「boundarySize」サンプルを格納することができる。
一部の実施形態では、イントラ予測部は、変数「isTransposed」により示される順序に基づいて配列「refT」および「refL」を単一の配列「pTemp」へ組み込むことができる。イントラ予測部は「isTransposed」を導出して、時間的配列「pTemp」に格納される参照サンプルの順序を示すことができる。例えば、「isTransposed」が「0」(またはFALSE)であることは、イントラ予測部が符号化ブロック300の上側隣接サンプル31から導出された参照サンプル32を左側隣接サンプル33から導出された参照サンプル34より前に提示することを示す。別の場合では、「isTransposed」が「1」(またはTRUE)であることは、イントラ予測部が符号化ブロック300の左側隣接サンプル33から導出された参照サンプル34を上側隣接サンプル31から導出された参照サンプル32より前に提示することを示す。一部の実施形態では、符号化システム200の実装において、イントラ予測部はレート歪み最適方法を使うことで「isTransposed」の値を決定することができる。一部の実施形態では、符号化システム200の実装において、イントラ予測部は隣接サンプル32、34と符号化ブロック300の間の比較および/または相関に基づいて「isTransposed」の値を決定することができる。符号化システム200の実装では、「isTransposed」の値は、ビットストリーム(例えば、出力ビットストリーム21)へ書き込まれるMIPプロセスのパラメータの一つとしてエントロピー符号化部(例えば、エントロピー符号化部215)へ送ることができる。それに応じて、本開示に記載される図4の復号システム400の実装では、「isTransposed」の値は、入力ビットストリーム(出力ビットストリーム21でありうる)を解析することで構文解析部(例えば、構文解析部401)から受信することができる。
一部の実施形態では、パラメータ「mipSizeId」は、カレントブロックの選択されたサイズパラメータが所定の範囲内であるかどうかを判定するのに使用することができる。より詳細には、「0」または「1」に等しい「mipSizeId」は、選択されたサイズパラメータが所定の範囲内であることを意味する。「mipSizeId」が「2」に等しい場合は、選択されたサイズパラメータが所定の範囲内ではないことを意味する。すなわち、MIP入力サンプルは、以下でより詳細に論じられるように、バッファ領域(例えば、「pTemp」)、MIPサイズ識別子(例えば、「mipSizeId」)、隣接サンプルのビット深度(例えば、「BitDepth」)に基づいて決定することができる。
イントラ予測部は、以下の条件GおよびHに基づいて配列「p[x]」(xは「0」から「inSize-1」)を決定することができる。
[条件G]「mipSizeId」が2である場合、p[x]=pTemp[x+1]-pTemp[0]。
[条件H]そうでなければ(例えば、「mipSizeId」が2未満)、p[0]=pTemp[0]-(1<<(BitDepth-1))およびp[x]=pTemp[x]-pTemp[0](xが1から「inSize-1」に対して)。
上記の条件Hでは、「BitDepth」は符号化ブロック300内のサンプルの色成分(例えば、Y成分)のビット深度である。記号「<<」は、ITU-T H.265標準で使用されるビットシフト演算記号である。
あるいは、イントラ予測部は、以下の条件IおよびJに基づいて配列p[x](xが「0」から「inSize-1」に対して)を導出することができる。
[条件I]「mipSizeId」が2である場合、p[x]=pTemp[x+1]-pTemp[0]。
[条件J]そうでなければ(例えば、「mipSizeId」が2未満)、p[0]=(1<<(BitDepth-1))-pTemp[0]およびp[x]=pTemp[x]-pTemp[0](xが1から「inSize-1」に対して)。
一部の実施形態では、イントラ予測部は、「mipSizeId」の値を判定することなく、統一された計算方法を使うことで配列p[x]の値を決定することができる。例えば、イントラ予測部は、「(1<<(BitDepth-1))」を「pTemp」内に追加の要素として付加することができて、p[x]を「pTemp[x]-pTemp[0]」として計算することができる。
一部の実施形態では、パラメータ「(1<<(BitDepth-1))」は定数とすることができる。一部の実施形態では、パラメータ「(1<<(BitDepth-1))」は「2^(BitDepth-1)」と示すことができる。それに応じて、パラメータ「p[0]」および「p[x]」は以下の式P-1、P-2、およびP-3に基づいて計算することができる。
Figure 2022551542000003
Figure 2022551542000004
Figure 2022551542000005
式P-1およびP-2は、「mipSizeId」が「0」または「1」に等しい場合に当てはまり、選択されたサイズパラメータが所定の範囲内であることを意味する。カレントブロックの選択されたサイズパラメータが所定の範囲内であると判定した後に、「1<<(BitDepth-1)」を決定することができる。そして、「1<<(BitDepth-1)」と「pTemp[0]」の間の差分を決定することができる。差分はp[0]に設定される。そしてp[x]を上記の式P-1およびP-2に基づいて計算することができる。
式P-3は、「mipSizeId」が「2」に等しい場合に当てはまり、選択されたサイズパラメータが所定の範囲内ではないことを意味する。カレントブロックが4×4のブロックであると仮定し、これは、バッファ領域「pTemp」に4つの値があることを意味する。これらの4つの値は、pTemp[0]、pTemp[1]、pTemp[2]、pTemp[3]である。上記の式P-3およびこれらの4つの値に基づいて、配列「p[x]」を決定することができる。配列「p[x]」内の値はMIP入力サンプルと呼ばれることがある。
ステップ302
ステップ302において、イントラ予測部(または予測モジュール301)は、参照サンプル群32、34およびMIPマトリクスを使うことで符号化ブロック300のMIP予測を導出する。MIPマトリクスは、その対応するMIPモード識別子(すなわち、変数「mipModeId」)およびMIPサイズ識別子(すなわち、変数「mipSizeId」)に基づいて、あらかじめ規定されたMIPマトリクスの一群から選択される。
イントラ予測部により導出されたMIP予測は、符号化ブロック300内のすべて、または一部のサンプル位置の部分的予測サンプル35を含む。MIP予測は「predMip[x][y]」と表される。
図3に示される実施形態では、部分的予測サンプル35は、カレントブロック300内でグレーの四角で表示されるサンプルである。ステップ301で導出された、配列「p[x]」内の参照サンプル32、34は予測モジュール301への入力として使用される。予測モジュール301は、MIPマトリクスおよびシフト用パラメータを使うことで部分的予測サンプル35を計算する。シフト用パラメータは、オフセットシフト用パラメータ(「fO」)および数値シフト用パラメータ(「sW」)を含む。
一部の実施形態では、予測モジュール301は次式(B)および(C)に基づいて、座標(x、y)を有する部分的予測サンプル35を導出する。
Figure 2022551542000006
Figure 2022551542000007
上記の式(B)で、パラメータ「fO」はパラメータ「oW」またはオフセット値を決定するのに使用される、オフセットシフト用パラメータである。パラメータ「sW」は数値シフト用パラメータである。「p[i]」は参照サンプルである。記号「>>」は、H.265標準で規定されるバイナリ右シフト演算子である。
上記の式(C)で、「mWeight[i][j]」はMIP重み付けマトリクスであり、マトリクス要素は符号化および復号のいずれでも固定定数である。あるいは、一部の実施形態では、符号化システム200の実装で適応MIPマトリクスを使用する。例えば、MIP重み付けマトリクスは、1つまたは複数の符号化ピクチャを入力として使って、または外部手段により符号化システム200へ供給される画像を使って、様々な訓練方法により更新することができる。イントラ予測部は、MIPモードが決定された場合に「mWeight[i][j]」をエントロピー符号化部(例えば、エントロピー符号化部215)へ送ることができる。その後、エントロピー符号化部はビットストリーム内、例えば、MIPデータを含むビットストリーム内の1つまたは複数の特別データユニット内に「mWeight[i][j]」を書き込むことができる。それに応じて、一部の実施形態では、適応MIPマトリクスを用いた復号システム400の実装は、例えば、1つまたは複数の符号化ピクチャもしくはブロック、または外的意味により供給される、もしくは構文解析部401がMIPマトリクスデータを含む入力ビットストリーム内の特別データユニットを解析することで得られる他のビットストリームからのピクチャを入力する訓練方法を使ってMIPマトリクスを更新することができる。
予測部301は、カレントブロック300のサイズおよびカレントブロック300に対して使用されるMIPモードに基づいて「sW」および「fO」の値を決定することができる。一部の実施形態では、予測部301はルックアップテーブルを使うことで「sW」および「fO」の値を得ることができる。例えば、以下の表1を使用して「sW」を決定することができる。
Figure 2022551542000008
一部の実施形態では、数値シフト用パラメータ「sW」は、5や6などの第1固定値に設定することができる。そのような実施形態では、数値シフト用パラメータ「sW」の値を調べるのに上記の表1を使用する必要はない。例えば、「mipSizeId」が「0」または「2」に等しい場合、数値シフト用パラメータ「sW」は「5」に設定することができる。別の例として、「mipSizeId」が「2」に等しい場合、数値シフト用パラメータ「sW」は「5」に設定することができる。以下の表2は、数値シフト用パラメータ「sW」の異なる設定を示す。一部の実施形態では、数値シフト用パラメータ「sW」は、予測モジュール301により設定することができる。
Figure 2022551542000009
一部の実施形態では、予測モジュールは「sW」を定数に設定することができる。例えば、予測モジュールは、異なるMIPモードを有する様々なサイズのブロックに対して「sW」を「5」に設定することができる。別の例として、予測モジュール301は、異なるMIPモードを有する様々なサイズのブロックに対して「sW」を「6」に設定することができる。さらに別の例として、予測モジュールは、異なるMIPモードを有する様々なサイズのブロックに対して「sW」を「7」に設定することができる。
一部の実施形態では、予測部301は、以下の表3を使用してオフセットシフト用パラメータ「fO」を決定することができる。
Figure 2022551542000010
一部の実施形態では、オフセットシフト用パラメータ「fO」は、23、32、46、56、66などの第2固定値に設定することができる。第2固定値は1~100の好ましい範囲を有する。そのような実施形態では、オフセットシフト用パラメータ「fO」の値を調べるのに上記の表3を使用する必要はない。一部の実施形態では、オフセットシフト用パラメータ「fO」はパラメータ「mipSizeId」に基づいて設定することができる。例えば、「mipSizeId」が「0」に等しい場合、オフセットシフト用パラメータ「fO」は「34」に設定することができる。別の例として、「mipSizeId」が「1」に等しい場合、オフセットシフト用パラメータ「fO」は「23」に設定することができる。さらに別の例として、「mipSizeId」が「1」に等しい場合、オフセットシフト用パラメータ「fO」は「46」に設定することができる。以下の表4は、オフセットシフト用パラメータ「fO」の異なる設定を示す。一部の実施形態では、オフセットシフト用パラメータ「fO」は、予測モジュール301により設定することができる。
Figure 2022551542000011
上記の式(B)を参照すると、数値シフト用パラメータ「sW」およびオフセットシフト用パラメータ「fO」が固定値に設定される場合、パラメータ「oW」も定数とすることができて、これによりMIPプロセス全体の計算速度が向上する。
一部の実施形態では、イントラ予測部は、配列「predMip」に格納されたMIP予測サンプルの値に対して「クリッピング操作を実行することができる。「isTransposed」が1(またはTRUE)の場合、「predSize×preSize」の配列「predMip[x][y]」(0から「predSize-1」のxに対して、0から「predSize-1」のyに対して)は、「predTemp[y][x]=predMip[x][y]」と転置されて、「predMip=predTemp」となる。
より詳細には、符号化ブロック303のサイズが「8×8」(すなわち、「cbWidth」と「cbHeight」がいずれも8)である場合、イントラ予測部は「8×8」の「predMip」配列を導出することができる。
ステップ303
図3のステップ303において、イントラ予測部は、符号化ブロック300内の部分的サンプル35以外の残存サンプルの予測サンプル37を導出する。図3に示されるように、イントラ予測部は、フィルタ処理モジュール302を使用して符号化ブロック300内の部分的サンプル35以外の残存サンプルの予測サンプル37を導出することができる。フィルタ処理モジュール302への入力は、ステップ302における部分的サンプル35とすることができる。フィルタ処理モジュール302は、1つまたは複数の補間フィルタを使用して符号化ブロック300内の部分的サンプル35以外の残存サンプルの予測サンプル37を導出することができる。イントラ予測部(またはフィルタ処理モジュール302)は符号化ブロック300の予測(多数の予測サンプル37を含む)を生成することができて、以下の条件KおよびLに基づいて配列「predSamples[x][y]」(0から「nTbW-1」のxに対して、0から「nTbH-1」のyに対して)内に予測37を格納することができる。
[条件K]イントラ予測部が「nTbW」が「predSize」より大きい、または「nTbH」が「predSize」より大きいと判定した場合、イントラ予測部はアップサンプリングプロセスを開始し、「predMip」に基づいて「predSamples」を導出する。
[条件L]そうでなければ、イントラ予測部は符号化ブロック300の予測を符号化ブロックのMIP予測に設定する。
すなわち、イントラ予測部は「predSamples[x][y]」(0から「nTbW-1」のxに対して、0から「nTbH-1」のyに対して)を「predMip[x][y]」に等しいと設定することができる。例えば、イントラ予測部は、そのサイズが「8×8」に等しい(すなわち、「cbWidth」と「cbHeight」がいずれも8である)符号化ブロックに対する「predSamples」をその「predMip[x][y]」に設定することができる。
ステップ301~303を通じて、イントラ予測部はカレントブロック300の予測を生成することができる。生成された予測は更なるプロセス(例えば、図2を参照して上述された予測ブロック23)で使用することができる。
図4は、本開示の一実施形態に係る復号システム400の模式図である。復号システム400は、入力ビットストリーム40を受信、処理して出力ビデオ41へ変換するように構成される。入力ビットストリーム40は、圧縮/符号化されたピクチャ/ビデオを表すビットストリームでありうる。一部の実施形態では、入力ビットストリーム40は、符号化システム(符号化システム200など)により生成された出力ビットストリーム(例えば、出力ビットストリーム21)からでありうる。
復号システム400は、入力ビットストリーム40を解析してそのシンタックス要素の値を得るように構成されている構文解析部401を含む。また、構文解析部401はシンタックス要素の二進表現を数値(すなわち、復号ブロック42)へ変換して、(例えば、復号のために)この数値を予測部402へ送る。一部の実施形態では、構文解析部401は、数値を復号するための1つまたは複数の変数および/もしくはパラメータを予測部402へ送ることもできる。
予測部402は、復号ブロック42(例えば、CUまたは変換ブロックなどのCUの一部分の予測ブロック43)を決定するように構成される。復号ブロック42を復号するのにインター符号化モードが使用されたと示される場合、予測部402のMC(動き補償)部403は、関連するパラメータを構文解析部401から受信し、それに応じてインター符号化モードで復号を行うことができる。復号ブロック42を復号するのにイントラ予測モード(例えば、MIPモード)が使用されると示される場合、予測部402のイントラ予測部404は、関連するパラメータを構文解析部401から受信し、それに応じてイントラ符号化モードで復号を行うことができる。一部の実施形態では、イントラ予測モード(例えば、MIPモード)は、入力ビットストリーム40内に埋め込まれている特定のフラグ(例えば、MIPフラグ)により識別することができる。
例えば、MIPモードが特定された場合、イントラ予測部404は(図3で説明されたステップ301~303と同様の)以下の方法に基づいて予測ブロック43(多数の予測サンプルを含む)を決定することができる。
まず、イントラ予測部404は復号ブロック42の隣接サンプルから1つまたは複数の参照サンプルを導出する(図3のステップ301と同様)。例えば、イントラ予測部404は、隣接サンプルのダウンサンプリングを行うことで、または隣接サンプルから一部分を直接抽出することで、参照サンプルを生成することができる。
そして、イントラ予測部404は、参照サンプル、MIPマトリクス、およびシフト用パラメータを使って復号ブロック42内の部分的予測サンプルを導出することができる(図3のステップ302と同様)。一部の実施形態では、部分的予測サンプルの位置は復号クロック42内であらかじめ設定することができる。例えば、部分的予測サンプルの位置を、符号化ブロック内で奇数の水平座標値および垂直座標値を持つ位置とすることができる。シフト用パラメータはオフセットシフト用パラメータおよび数値シフト用パラメータを含むことができて、これらは部分的予測サンプルを生成する際のシフト演算で使用することができる。
最終的に、復号ブロック42の部分的予測サンプルが導出されたら、イントラ予測部404は、復号ブロック42内の部分的予測サンプル以外の残存サンプルの予測サンプルを導出する(図3のステップ303と同様)。例えば、イントラ予測部404は補間フィルタを使用して、部分的予測サンプルおよび隣接サンプルを補間フィルタの入力として使うことで、予測サンプルを導出することができる。
復号システム400は、符号化システム200の逆量子化部210の機能と同様の機能を有するスケーリング部405を含む。スケーリング部405は、再構成された係数45を生成するために構文解析部401からの量子化された係数44(例えば、レベル)に対してスケーリング操作を行う。
変換部406は、符号化システム200の逆変換部211の機能と同様の機能を有する。変換部406は1つまたは複数の変換演算(例えば、逆変換部211による1つまたは複数の変換演算の逆演算)を行って、再構成された残差46を得る。
加算器407は予測部402からの予測ブロック43と変換部406からの再構成された残差46を加算し、復号ブロック42の再構成されたブロック47を得る。また、再構成されたブロック47は予測部402へ送信されて、(例えば、イントラ予測モードで符号化された他のブロックに対する)参照として使用される。
ピクチャまたはサブピクチャ内のすべての復号ブロック42が再構成された(すなわち、再構成されたブロック48が形成された)後に、フィルタ処理部408は再構成されたブロック49に対してインループフィルタ処理を行うことができる。フィルタ処理部408は、デブロッキングフィルタ、サンプル適応オフセット(SAO)フィルタ、適応ループフィルタ(ALF)、色差スケーリングを持つ輝度マッピング(LMCS)フィルタ、ニューラルネットワークベースフィルタなどの1つまたは複数のフィルタを含む。一部の実施形態では、フィルタ処理部408は、再構成されたブロック48内の1つまたは複数の標的画素のみに対してインループフィルタ処理を実行することができる。
そして、フィルタ処理部408は復号ピクチャ49(もしくはピクチャ)またはサブピクチャをDPB(復号ピクチャバッファ)409へ送信する。DPB409は、タイミングおよび制御情報に基づいて復号ピクチャを出力ビデオ41として出力する。また、DPB409に記憶された復号ピクチャ49は、インター予測またはイントラ予測を行う際に予測部402により参照ピクチャとして用いることができる。
一部の実施形態では、復号システム400は、プロセッサおよび1つまたは複数の復号プログラムを記録した記憶媒体を備えたコンピュータ装置とすることができる。プロセッサが復号プログラムを読み出し、実行すると、復号システム400は入力ビデオビットストリームを受信し、対応する復号ビデオを生成することができる。
一部の実施形態では、復号システム400は、1つまたは複数のチップを備えたコンピュータ装置とすることができる。復号システム400の各部または要素は、チップ上の集積回路として実現することができる。
図5は、本開示の一実施形態に係る方法500を示すフローチャートである。方法500はブロック501でカレントブロックの予測パラメータを決定することで始まる。一部の実施形態では、予測パラメータは予測用のパラメータ(例えば、H.265標準で規定される「predModeIntra」)およびサイズ識別子(例えば、「mipSizeId」)を含む。ブロック502で、MIPモードが適用可能であることを予測パラメータが示す場合、方法500は隣接サンプルに基づいてMIP入力サンプル(例えば、配列「p[x]」内の値)の決定を続ける。一部の実施形態では、隣接サンプルは上側隣接サンプル、および/または、左側隣接サンプルを含むことができる。
ブロック503で、方法500は、オフセットシフト用パラメータ(fO)と、MIP入力サンプリングの合計との積の決定を続ける。上記の式(B)に示されるように、MIP入力サンプリングの合計は
Figure 2022551542000012
とすることができて、それゆえ積は、
Figure 2022551542000013
とすることができる。
ブロック503で、方法500は数値シフト用パラメータ(sW)に基づいて第1定数の決定を続ける。上記の式(B)に示されるように、第1定数は「1<<(sW-1)」とすることができる。ブロック504で、方法500は第1定数および積を乗算することでオフセット値(oW)の決定を続ける。上記の式(B)に示されるように、第1オフセット値(oW)は
Figure 2022551542000014
とすることができる。
ブロック505で、方法500は予測パラメータに基づいてMIP重み付けマトリクスを決定する。上記の式(B)で、MIP重み付けマトリクスはマトリクス「mWeight」である。一部の実施形態では、MIP重み付けマトリクスは、機械学習(ML)または人工知能(AI)を含む訓練プロセスなどの様々な方法に基づいて生成することができる。
ブロック507で、方法500はMIP重み付けマトリクス、数値シフト用パラメータ(sW)およびオフセット値(oW)に基づいてMIP予測の決定を続ける。MIP予測は、上記の式(C)に示されるマトリクス「predMip[x][y]」とすることができる。一部の実施形態では、MIP予測は、上記の式(C)で説明されたように決定することができる。一部の実施形態では、MIP予測は、以下の式(D)に基づいて決定することができる。
Figure 2022551542000015
上記の式(D)で、「[x][y]」は画素の場所の座標である。「x」はMIP予測マトリクスの水平方向用であり、「y」はMIP予測マトリクスの垂直方向用である。パラメータ「incH」、「predC」、「incW」はMIP重み付けマトリクスからマトリクス値を得るためのパラメータである。式(D)内の他のパラメータは、式(C)を参照しながら上述された。
一部の実施形態では、オフセットシフト用パラメータ(fO)は「32」に設定することができて、数値シフト用パラメータ(sW)は6に設定することができる。そのような実施形態では、MIP予測マトリクスは、以下の式(E)および(F)に基づいて決定することができる。
Figure 2022551542000016
Figure 2022551542000017
ブロック508で、方法500はMIP予測マトリクスに基づきフィルタ処理プロセスによりカレントブロックのイントラ予測を生成する。MIP予測マトリクスのサイズがカレントブロックのサイズと同じ場合、方法500はMIP予測マトリクス内の値を、以下の式(G)に示すように、MIPイントラ予測サンプル(例えば、「preSamples[x][y]」)としてカレントブロックに設定することができる。そうではない場合、方法500はフィルタ処理プロセスを実行して、MIP予測マトリクスのサイズを調整することができる。一部の実施形態では、フィルタ処理プロセスはアップサンプリングプロセスまたはローパスフィルタ処理プロセスとすることができる。アップサンプリングプロセスの実施例は、図3(例えば、ステップ303)を参照して上で詳細に論じられる。
predSamples[x][y]=predMip[x][y] (G)
図6は、本開示の一実施形態に係る方法600を示すフローチャートである。方法600はブロック601でビットストリーム内のカレントブロックの予測パラメータを決定することで始まる。一部の実施形態では、予測パラメータは、H.265標準で規定される「predModeIntra」および「mipSizeId」を含むことができる。
ブロック602で、方法600は、カレントブロックの隣接サンプルおよび予測パラメータに基づいてカレントブロックのマトリクスベースのイントラ予測(MIP)入力サンプルを決定して継続する。一部の実施形態では、MIP入力サンプルは配列「p[x]」内の値とすることができる。一部の実施形態では、隣接サンプルは左側隣接サンプル、および/または、上側隣接サンプルを含む。
MIP入力サンプルの決定の実施形態は、図3(例えば、ステップ301)を参照して上述される。例えば、方法600は、隣接サンプルにダウンサンプリングプロセスを行って、サイズ識別子に基づいて一時的参照配列(pTemp[x])を生成することを含みうる。
ブロック603で、方法600は数値シフト用パラメータ(sW)を第1固定値に設定して継続する。一部の実施形態では、第1固定値は5または6とすることができる。ブロック604で、方法600はオフセットシフト用パラメータ(fO)を第2固定値に設定して継続する。一部の実施形態では、第2固定値は23、34、または46とすることができる。
第1固定値および第2固定値が設定されると、第1定数「1<<(sW-1)」を決定することができる。オフセット値(oW)も算出することができる(例えば、式(B))。
ブロック605で、方法600は予測パラメータに基づいてカレントブロックのMIP重み付けマトリクスを決定して継続する。MIP重み付けマトリクスの実施例は、図3(例えば、ステップ302)を参照して上述される。
ブロック606で、方法600は、MIP重み付けマトリクス、MIP入力サンプル、オフセットシフト用パラメータ(fO)、および数値シフト用パラメータ(sW)に基づいてカレントブロックのMIP予測サンプル(例えば、配列「predMip[x][y]」内の値)を決定して継続する。MIP予測サンプルの実施例は、式(C)、(D)、(E)、および(F)を参照して上で詳細に論じられる。
ブロック607で、方法600は、カレントブロックのイントラ予測サンプル(例えば、「predSamples[x][y]」)を生成するためにカレントブロックのMIP予測サンプルに対してアップサンプリングプロセスを行って継続する。一部の実施形態では、カレントブロックのMIP予測サンプルは、カレントブロックのサンプリング点の少なくとも一部に対する予測サンプルを含みうる。MIP予測サンプルおよびMIP重み付けマトリクスの実施例は、式(G)および図3(例えば、ステップ303)を参照して上で詳細に論じられる。
図7は、本開示の一実施形態に係るエンコーダ700の模式図である。示されるように、エンコーダ700は第1決定部701、第1演算部702、および第1予測部703を含む。第1決定部701はカレントブロックの予測パラメータを設定し、MIP入力サンプル(例えば、配列「p[x]」内の値)を決定する。一部の実施形態では、MIP入力サンプルは隣接サンプルに基づいて決定することができる。予測パラメータは、どの予測モデル(例えば、MIPモデル)が使用されたか、および対応するパラメータ(例えば、サイズ識別子)を示すパラメータを含む。また、第1決定部701はMIP計量マトリクスを決定することもできる。第1演算部702は、数値シフト用パラメータ(例えば、「sW」)およびオフセットシフト用パラメータ(例えば、「fO」)に基づいてオフセット値(例えば、上述された「oW」)を算出するように構成される。第1予測部703は、MIP計量マトリクス、オフセット値、数値シフト用パラメータ、およびオフセットシフト用パラメータに基づいてカレントブロックのMIP予測を生成する。
一部の実施形態では、エンコーダ700は、カレントブロックのMIPモデルを決定するように構成されている第1調査部704を含む。そのような実施形態では、第1決定部701はカレントブロックのMIPモデルインデックスを決定する。そして、第1調査部704は、MIPモデルインデックスに基づいて対応するパラメータ(例えば、sW、fO、MIPサイズ識別子など)を得ることができる。
本開示では、用語「部(unit)」はプロセッサ、回路、ソフトウェア、モジュール、またはそれらの組み合わせでありうる。一部の実施形態では、「部」は、SoC(システムオンチップ)などの集積部品でありうる。一部の実施形態では、「部」は、ディスク、ハードドライブ、メモリなどの記憶媒体に記憶された一組の命令を含みうる。
図8は、本開示の一実施形態に係るエンコーダ800の模式図である。エンコーダ800は、第1システムバス804により結合された第1通信インタフェース801、第1記憶装置802、および第1プロセッサ803を含みうる。第1システムバス804は、電力線、制御線、および/または、信号線を含みうる。第1通信インタフェース801は、信号を送受信することで他の外部デバイスと通信を行うように構成される。第1記憶装置802は、データ、情報、および/または、第1プロセッサ803により実行されうる命令(図5、6で論じられたステップなど)を記憶するように構成される。
第1プロセッサ803は、チップ、集積回路、または信号を処理することができる他のデバイスでありうる。第1プロセッサ803は、汎用プロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、プログラム可能論理回路(PLD)、または他の適切な論理部品でありうる。
図9は、本開示の一実施形態に係るデコーダ900の模式図である。示されるように、デコーダ900は、分析部901、第2演算部902、第2予測部903、第2予測部904、および第2調査部905を含む。分析部901は、カレントブロックの予測パラメータを得るためにビットストリームを解析するように構成される。第2決定部902はカレントブロックの適切な予測パラメータを設定し、MIP入力サンプル(例えば、配列「p[x]」内の値)を決定する。一部の実施形態では、MIP入力サンプルは隣接サンプルに基づいて決定することができる。予測パラメータは、どの予測モデル(例えば、MIPモデル)が使用されたか、および対応するパラメータ(例えば、サイズ識別子)を示すパラメータを含む。また、第2決定部903はMIP計量マトリクスを決定することもできる。第2演算部904は、数値シフト用パラメータ(例えば、「sW」)およびオフセットシフト用パラメータ(例えば、「fO」)に基づいてオフセット値(例えば、「oW」)を算出するように構成される。第2予測部904は、MIP計量マトリクス、オフセット値、数値シフト用パラメータ、およびオフセットシフト用パラメータに基づいてカレントブロックのMIP予測を生成する。
一部の実施形態では、第2調査部905はカレントブロックのMIPモデルを決定するように構成される。そのような実施形態では、第2決定部902はカレントブロックのMIPモデルインデックスを決定する。そして、第2調査部904は、MIPモデルインデックスに基づいて対応するパラメータ(例えば、sW、fO、MIPサイズ識別子など)を得ることができる。
図10は、本開示の一実施形態に係るデコーダ1000の模式図である。デコーダ1000は、第2システムバス1004により結合された第2通信インタフェース1001、第2記憶装置1002、および第2プロセッサ1003を含みうる。第2システムバス1004は、電力線、制御線、および/または、信号線を含みうる。第2通信インタフェース1001は、信号を送受信することで他の外部デバイスと通信を行うように構成される。第2記憶装置1002は、データ、情報、および/または、第2プロセッサ1003により実行されうる命令(図5、6で論じられたステップなど)を記憶するように構成される。
第2プロセッサ1003は、チップ、集積回路、または信号を処理することができる他のデバイスでありうる。第2プロセッサ1003は、汎用プロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、プログラム可能論理回路(PLD)、または他の適切な論理部品でありうる。
図11は、本開示の一実施形態に係る装置1100の模式図である。装置1100は「送信」装置でありうる。より詳細には、装置1100は、1つまたは複数の画像を取得、符号化、記憶/送信するように構成される。装置1100は、取得部1001、エンコーダ1102、および記憶/送信部1103を含む。
取得部1101は、画像を取得または受信し、画像をエンコーダ1102へ送るように構成される。また、取得部1101は、一連の画像で構成されるビデオを取得または受信し、ビデオをエンコーダ1102へ送るように構成されうる。一部の実施形態では、取得部1101は、1つまたは複数のカメラ(例えば、画像カメラ、深度カメラなど)を含むデバイスでありうる。一部の実施形態では、取得部1101は、ビデオビットストリームを部分的に、または完全に復号して画像またはビデオを生成することができるデバイスでありうる。また、取得部1101は、オーディオ信号を捉えるための1つまたは複数の要素を含みうる。
エンコーダ1102は、取得部1101からの画像を符号化するように構成され、ビデオビットストリームを生成する。また、エンコーダ1102は、取得部1101からのビデオを符号化するように構成することができて、ビットストリームを生成する。一部の実施形態では、エンコーダ1102は図2で説明された符号化システム200として実現することができる。一部の実施形態では、エンコーダ1102は、オーディオ信号を符号化してオーディオビットストリームを生成するための1つまたは複数のオーディオエンコーダを含みうる。
記憶/送信部1103は、エンコーダ1102からのビデオビットストリームおよびオーディオビットストリームのうちの一方または両方を受信するように構成される。記憶/送信部1103は、ビデオビットストリームをオーディオビットストリームとともにカプセル化してメディアファイル(例えば、ISOベースのメディアファイル)またはトランスポートストリームを形成することができる。一部の実施形態では、記憶/送信部1103は、このメディアファイルまたはトランスポートストリームをハードドライブ、ディスク、DVD、クラウドストレージ、携帯型メモリ機器などの記憶部に書き込む、または記憶することができる。一部の実施形態では、記憶/送信部1103は、ビデオ/オーディオビットストリームをインターネット、有線ネットワーク、セルラーネットワーク、無線ローカルエリアネットワークなどの転送ネットワークを介して外部デバイスへ送信することができる。
図12は、本開示の一実施形態に係る装置1200の模式図である。装置1200は「送信先」装置でありうる。より詳細には、装置1200は、画像またはビデオを受信、復号、および描画するように構成される。装置1200は、受信部1201、デコーダ1202、および描画部1203を含む。
受信部1201は、メディアファイルまたはトランスポートストリームを例えばネットワークや記憶装置から受信するように構成される。メディアファイルまたはトランスポートストリームは、ビデオビットストリームおよび/またはオーディオビットストリームを含む。受信部1201はビデオビットストリームとオーディオビットストリームを分離することができる。一部の実施形態では、受信部1201はビデオ/オーディオビットストリームを抽出することで、新しいビデオ/オーディオビットストリームを生成することができる。
デコーダ1202は、1つまたは複数の、上述された復号システム400のようなビデオデコーダを含む。また、デコーダ1202は、1つまたは複数のオーディオデコーダも含みうる。デコーダ1202は、受信部1201からのビデオビットストリームおよび/またはオーディオビットストリームを復号して、復号されたビデオファイル、および/または、1つもしくは複数の(1つまたは多数のチャンネルに対応する)復号されたオーディオファイルを得る。
描画部1203は、復号されたビデオ/オーディオファイルを受信し、ビデオ/オーディオファイルを処理して、表示/再生に適したビデオ/オーディオ信号を得る。こうした調整/再構成操作は、雑音除去、合成、色空間の変換、アップサンプリング、ダウンサンプリングなどのうちの1つまたは複数を含みうる。描画部1203は、復号されたビデオ/オーディオファイルの質を向上させることができる。
図13は、本開示の一実施形態に係る通信システム1300の模式図である。通信システム1300は、送信元デバイス1301、記憶媒体または転送ネットワーク1302、送信先デバイス1303を含む。一部の実施形態では、送信元デバイス1301は図11を参照して上述された装置1100でありうる。送信元デバイス1301は、メディアファイルを記憶または輸送するために記憶媒体または転送ネットワーク1302へ送信する。送信先デバイス1303は図12を参照して上述された装置1200でありうる。通信システム1300は、メディアファイルを符号化し、符号化されたメディアファイルを輸送または記憶して、符号化されたメディアファイルを復号するように構成される。一部の実施形態では、送信元デバイス1301は第1スマートフォンとすることができて、記憶媒体1302はクラウドストレージとすることができて、送信先デバイスは第2スマートフォンとすることができる。
上述された実施形態は、本開示のいくつかの実施形態を示すに過ぎず、その説明は具体的で詳細である。上記の実施形態は本開示を制限するとは解釈できない。多数の変形および変更が当業者により本開示の主旨および範囲から逸脱することなくなされうるということに留意されたい。それゆえ、本開示の範囲は添付の請求項に従うべきである。

Claims (21)

  1. 画像を予測する方法であって、
    ビットストリーム内のカレントブロックの予測パラメータを決定することと、
    前記カレントブロックの隣接サンプルおよび前記予測パラメータに基づいて前記カレントブロックのマトリクスベースのイントラ予測(MIP)入力サンプルを決定することと、
    数値シフト用パラメータ(sW)を第1固定値に設定することと、
    オフセットシフト用パラメータ(fO)を第2固定値に設定することと、
    MIP重み付けマトリクス、前記MIP入力サンプル、前記オフセットシフト用パラメータ(fO)、および前記数値シフト用パラメータ(sW)に基づいて前記カレントブロックのMIP予測サンプル(predMip[x][y])を決定することと、
    前記カレントブロックのイントラ予測サンプル(predSamples[x][y])を生成するために前記カレントブロックの前記MIP予測サンプルに対してアップサンプリングプロセスを行うことと、
    を含む、方法。
  2. 前記第1固定値は6である、請求項1に記載の方法。
  3. 前記第1固定値は5である、請求項1に記載の方法。
  4. 前記第2固定値は23、32、34、または46である、請求項1に記載の方法。
  5. 前記カレントブロックの前記MIP予測サンプルは前記カレントブロックのサンプルの一部に対する予測値を含む、請求項1に記載の方法。
  6. 前記隣接サンプルは左側隣接サンプルを含む、請求項1に記載の方法。
  7. 前記隣接サンプルは上側隣接サンプルを含む、請求項1に記載の方法。
  8. 前記数値シフト用パラメータ(sW)に基づいて第1定数値を決定することであって、第1定数値は「1<<(sW-1)」である、決定すること、
    をさらに含む、請求項1に記載の方法。
  9. 前記MIP入力サンプル、前記数値シフト用パラメータ(sW)、および前記オフセットシフト用パラメータ(fO)に基づいてオフセット値(oW)を決定すること、
    をさらに含む、請求項1に記載の方法。
  10. 前記予測パラメータは前記カレントブロックのサイズ識別子(mipSizeId)を含む、請求項1に記載の方法。
  11. 前記隣接サンプルにダウンサンプリングプロセスを行って、前記サイズ識別子に基づいて一時的参照配列(pTemp[x])を生成すること、
    をさらに含む、請求項10に記載の方法。
  12. 前記サイズ識別子が所定の範囲内である場合に、前記隣接サンプルのビット深度(BitDepth)に基づいて第2定数値を決定すること、
    をさらに含む、請求項11に記載の方法。
  13. 前記第2定数値および前記一時的配列(pTemp[x])に基づいて前記MIP入力サンプル(p[x])を生成することであって、前記第2定数値は「1<<(BitDepth-1)」である、生成すること、
    をさらに含む、請求項12に記載の方法。
  14. 画像を符号化する符号化装置であって、
    入力画像を受信して、前記入力画像を1つまたは複数の符号化ブロックへ分割するように構成されている分割部と、
    予測部であって、
    前記符号化ブロックの隣接サンプルおよび前記符号化ブロックの予測パラメータに基づいて前記符号化ブロックのマトリクスベースのイントラ予測(MIP)入力サンプルを決定し、
    数値シフト用パラメータ(sW)を第1固定値に設定し、
    オフセットシフト用パラメータ(fO)を第2固定値に設定し、
    前記予測パラメータに基づいて前記符号化ブロックのMIP重み付けマトリクスを決定し、
    前記MIP重み付けマトリクス、前記MIP入力サンプル、前記オフセットシフト用パラメータ(fO)、および前記数値シフト用パラメータ(sW)に基づいて前記符号化ブロックのMIP予測サンプルを決定し、
    前記符号化ブロックのイントラ予測サンプルを生成するために前記MIP予測サンプルに対してアップサンプリングプロセスを行う、
    ように構成されている予測部と、
    を含む、符号化装置。
  15. 前記第1固定値は6である、請求項14に記載の装置。
  16. 前記第1固定値は5である、請求項14に記載の装置。
  17. 前記第2固定値は23、32、34、または46である、請求項14に記載の装置。
  18. 画像を復号する復号装置であって、
    ビットストリームを解析(parse)して符号化ブロックの予測モードを決定するように構成されている構文解析部と、
    イントラ予測部であって、
    前記符号化ブロックの隣接サンプルおよび前記符号化ブロックの予測パラメータに基づいて前記符号化ブロックのマトリクスベースのイントラ予測(MIP)入力サンプルを決定し、
    数値シフト用パラメータ(sW)を第1固定値に設定し、
    オフセットシフト用パラメータ(fO)を第2固定値に設定し、
    前記予測パラメータに基づいて前記符号化ブロックのMIP重み付けマトリクスを決定し、
    前記MIP重み付けマトリクス、前記MIP入力サンプル、前記オフセットシフト用パラメータ(fO)、および前記数値シフト用パラメータ(sW)に基づいて前記符号化ブロックのMIP予測サンプルを決定し、
    前記符号化ブロックのイントラ予測サンプルを生成するために前記MIP予測サンプルに対してアップサンプリングプロセスを行う、
    ように構成されているイントラ予測部と、
    を含む、復号装置。
  19. 前記第1固定値は6である、請求項18に記載の装置。
  20. 前記第1固定値は5である、請求項18に記載の装置。
  21. 前記第2固定値は23、32、34、または46である、請求項18に記載の装置。
JP2021516487A 2019-10-04 2020-09-25 符号化/復号の方法および装置、ならびに通信システム Pending JP2022551542A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962911166P 2019-10-04 2019-10-04
US62/911,166 2019-10-04
PCT/CN2020/117911 WO2021063270A1 (en) 2019-10-04 2020-09-25 Encoding and decoding method, apparatus and communication system

Publications (2)

Publication Number Publication Date
JP2022551542A true JP2022551542A (ja) 2022-12-12
JPWO2021063270A5 JPWO2021063270A5 (ja) 2023-09-06

Family

ID=74672054

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021516487A Pending JP2022551542A (ja) 2019-10-04 2020-09-25 符号化/復号の方法および装置、ならびに通信システム

Country Status (15)

Country Link
US (2) US11388407B2 (ja)
EP (1) EP3827591B1 (ja)
JP (1) JP2022551542A (ja)
KR (1) KR20220068950A (ja)
CN (1) CN112616057A (ja)
AU (1) AU2020327342A1 (ja)
BR (1) BR112021006725A2 (ja)
CA (1) CA3109298C (ja)
ES (1) ES2940075T3 (ja)
IL (1) IL280722A (ja)
MX (1) MX2021003414A (ja)
PL (1) PL3827591T3 (ja)
SG (1) SG11202101567TA (ja)
WO (1) WO2021063270A1 (ja)
ZA (1) ZA202101277B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202130178A (zh) * 2019-12-20 2021-08-01 日商索尼股份有限公司 影像處理裝置及影像處理方法
CN116777727B (zh) * 2023-06-21 2024-01-09 北京忆元科技有限公司 存算一体芯片、图像处理方法、电子设备及存储介质

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6452969B1 (en) * 1998-09-28 2002-09-17 Thomson Licensing S.A. Transform domain inverse motion compensation having fractional pel accuracy
US8406299B2 (en) * 2007-04-17 2013-03-26 Qualcomm Incorporated Directional transforms for intra-coding
US8265144B2 (en) * 2007-06-30 2012-09-11 Microsoft Corporation Innovations in video decoder implementations
US9648325B2 (en) * 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
US8184711B2 (en) * 2007-09-12 2012-05-22 Sony Corporation Image processing device and image processing method
JP5544996B2 (ja) * 2010-04-09 2014-07-09 ソニー株式会社 画像処理装置および方法
KR102086145B1 (ko) * 2010-12-13 2020-03-09 한국전자통신연구원 인트라 예측 방법 및 그 장치
US20120218432A1 (en) * 2011-02-28 2012-08-30 Sony Corporation Recursive adaptive intra smoothing for video coding
CN102695061B (zh) 2011-03-20 2015-01-21 华为技术有限公司 一种权重因子的确定方法和装置,以及一种帧内加权预测方法和装置
WO2012134046A2 (ko) 2011-04-01 2012-10-04 주식회사 아이벡스피티홀딩스 동영상의 부호화 방법
CN103096056B (zh) * 2011-11-08 2015-11-25 华为技术有限公司 矩阵编码方法与装置及解码方法与装置
KR20130105114A (ko) * 2012-03-16 2013-09-25 주식회사 아이벡스피티홀딩스 인트라 예측 모드에서의 영상 복호화 방법
JP5841670B2 (ja) * 2012-09-28 2016-01-13 日本電信電話株式会社 イントラ予測符号化方法、イントラ予測復号方法、イントラ予測符号化装置、イントラ予測復号装置、それらのプログラム並びにプログラムを記録した記録媒体
US10397607B2 (en) * 2013-11-01 2019-08-27 Qualcomm Incorporated Color residual prediction for video coding
US10257528B2 (en) * 2015-10-08 2019-04-09 Electronics And Telecommunications Research Institute Method and apparatus for adaptive encoding and decoding based on image quality
CN108370441B (zh) * 2015-11-12 2022-07-12 Lg 电子株式会社 在图像编译系统中用于系数引起的帧内预测的方法和装置
EP3459244A4 (en) * 2016-01-12 2020-03-04 Telefonaktiebolaget LM Ericsson (publ) VIDEO CODING WITH HYBRID INTRAPREDICTION
WO2017173593A1 (en) 2016-04-06 2017-10-12 Mediatek Singapore Pte. Ltd. Separate coding secondary transform syntax elements for different color components
CN114339228B (zh) 2016-05-04 2024-04-12 夏普株式会社 用于对变换数据进行编码的系统和方法
US10484712B2 (en) * 2016-06-08 2019-11-19 Qualcomm Incorporated Implicit coding of reference line index used in intra prediction
CN116527887A (zh) * 2016-08-01 2023-08-01 韩国电子通信研究院 图像编码/解码方法和设备以及存储比特流的记录介质
US10623737B2 (en) * 2016-10-04 2020-04-14 Qualcomm Incorporated Peak sample adaptive offset
EP3529984A1 (en) * 2016-10-19 2019-08-28 Huawei Technologies Co., Ltd. Apparatuses and methods for encoding and decoding a video coding block of a video signal
WO2018134128A1 (en) * 2017-01-19 2018-07-26 Telefonaktiebolaget Lm Ericsson (Publ) Filtering of video data using a shared look-up table
WO2019098464A1 (ko) * 2017-11-14 2019-05-23 삼성전자 주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
JPWO2019107182A1 (ja) * 2017-12-01 2020-11-26 ソニー株式会社 符号化装置、符号化方法、復号装置、及び、復号方法
KR102618498B1 (ko) * 2018-03-08 2023-12-27 삼성전자주식회사 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
CN110278435B (zh) 2018-03-16 2021-11-19 华为技术有限公司 一种图像块的帧内预测方法及装置
WO2020009514A1 (ko) * 2018-07-06 2020-01-09 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
BR112021001384A2 (pt) * 2018-08-06 2021-04-20 Electronics And Telecommunications Research Institute método e dispositivo para codificação/decodificação de imagens, e mídia de gravação que armazena fluxo de bits
GB2577056B (en) * 2018-09-11 2022-12-14 British Broadcasting Corp Bitstream decoder

Also Published As

Publication number Publication date
EP3827591A4 (en) 2021-08-25
PL3827591T3 (pl) 2023-04-24
US20220264100A1 (en) 2022-08-18
ES2940075T3 (es) 2023-05-03
US11388407B2 (en) 2022-07-12
KR20220068950A (ko) 2022-05-26
AU2020327342A1 (en) 2021-04-22
EP3827591A1 (en) 2021-06-02
US11785221B2 (en) 2023-10-10
IL280722A (en) 2021-04-29
CN112616057A (zh) 2021-04-06
EP3827591B1 (en) 2023-01-11
SG11202101567TA (en) 2021-05-28
US20210235090A1 (en) 2021-07-29
CA3109298A1 (en) 2021-04-04
WO2021063270A1 (en) 2021-04-08
MX2021003414A (es) 2021-06-15
BR112021006725A2 (pt) 2022-04-19
CA3109298C (en) 2024-02-20
ZA202101277B (en) 2022-01-26

Similar Documents

Publication Publication Date Title
JP7343669B2 (ja) Vvcにおける色変換のための方法及び機器
JP7436482B2 (ja) 最大変換サイズの制御
JP7143512B2 (ja) ビデオ復号方法およびビデオデコーダ
US12003704B2 (en) Methods for encoding and decoding pictures and associated apparatus
JP2022539786A (ja) 画像成分の予測方法、エンコーダ、デコーダ及び記憶媒体
JP2022515799A (ja) ビデオ復号の方法および装置、並びにプログラム
US11785221B2 (en) Encoding and decoding method, apparatus and communication system
JP2021536689A (ja) ピクチャパーティショニング方法及び機器
JP7279189B2 (ja) ビデオコーディングのための変換ユニット区分方法
JP2023523094A (ja) 4:4:4色フォーマットにおけるビデオコーディングの方法及び装置
RU2821306C2 (ru) Способ кодирования и декодирования, устройство и система связи
JP2021528919A (ja) イントラ予測のためのデバイスおよび方法
US20240129461A1 (en) Systems and methods for cross-component sample offset filter information signaling
WO2024129151A1 (en) Systems and methods for wedge-based prediction mode signaling
WO2023212254A1 (en) Methods and devices for high precision intra prediction
WO2023235002A1 (en) Systems and methods for partition-based predictions
WO2023034629A1 (en) Intra prediction modes signaling
WO2023192336A1 (en) Methods and devices for high precision intra prediction
WO2024118114A1 (en) Systems and methods for signaling of downsampling filters for chroma from luma intra prediction mode
WO2023154359A1 (en) Methods and devices for multi-hypothesis-based prediction
WO2023081322A1 (en) Intra prediction modes signaling
KR20180009358A (ko) 영상의 부호화/복호화 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230829

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230829