JP2023011832A - 三角形予測のためのビデオ符号化復号化の方法及び装置 - Google Patents

三角形予測のためのビデオ符号化復号化の方法及び装置 Download PDF

Info

Publication number
JP2023011832A
JP2023011832A JP2022176339A JP2022176339A JP2023011832A JP 2023011832 A JP2023011832 A JP 2023011832A JP 2022176339 A JP2022176339 A JP 2022176339A JP 2022176339 A JP2022176339 A JP 2022176339A JP 2023011832 A JP2023011832 A JP 2023011832A
Authority
JP
Japan
Prior art keywords
prediction
video
motion vector
block
triangle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022176339A
Other languages
English (en)
Inventor
シエンリン ワン
Xianglin Wang
イーウェン チェン
Yi-Wen Chen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Publication of JP2023011832A publication Critical patent/JP2023011832A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】ビデオ符号化復号化における三角形予測ユニットを用いた動き補償予測のための方法及び装置を提供する。【解決手段】方法は、ビデオ画像を、少なくとも1つがさらに左上隅から右下隅へ、および右上隅から左下隅への区画方向のうちの1つを有する少なくとも1つの三角形のPUを含む2つの予測ユニット(PU)に区画される複数の符号化ユニット(CU)に区画することと、単一予測運動ベクトル候補リストを構成することと、現在のCUが、符号化された情報に従って、三角形予測モードとして符号化されるかどうかを決定することと、前記区画方向を示す区画方向フラグを信号で通知することと、構成された前記単一予測動きベクトル候補リストにおける選択されたエントリを示すインデックス値を信号で通知することと、を含む。【選択図】図16

Description

関連出願の相互参照
本出願は、2018年12月30日に出願された、発明の名称が「ビデオ符号化復号化
における三角形予測フラグシグナリング」である米国仮出願第62/786545号、及
び2018年12月31日に出願された、発明の名称が「三角形予測構文符号化復号化」
である米国仮出願第62/787219号に対する優先権を主張するものであり、これら
の特許出願の明細書全体を参照によって本願明細書に引用する。
本発明は、全般的にビデオ符号化復号化及び圧縮に関し、特に、限定されないが、ビデ
オ符号化復号化における三角形予測ユニットを用いた動き補償予測のための方法及び装置
に関する。
ここで、以下の略語及び頭字語は定義され、少なくともそれらのいくつかが以下の説明
で使用される。
国際電気通信連合(ITU:International Telecommunication Union)、ITU電気通
信標準化部門(ITU-T:ITU Telecommunication Standardization Sector)、国際標
準化機構(ISO/IEC:International Organization for Standardization)、国際
電気標準会議(IEC:International Electrotechnical Commission)、動画専門家グ
ループ(MPEG:Moving Picture Experts Group)、高度なビデオ符号化(AVC:Advanced
Video Coding)、高効率ビデオ符号化(HEVC:High Efficiency Video Coding)、多
用途ビデオ符号化(VVC:Versatile Video Coding)、共同探査試験モデル(JEM:
Joint Exploration Test Model)、VVC試験モデル(VTM:VVC Test Model)、共同
ビデオ専門家チーム(JVET:Joint Video Experts Team)、ビデオ符号化専門家グル
ープ(VCEG:Video Coding Experts Group)、動きベクトル(MV:Motion Vector
)、動きベクトル予測(MVP:Motion Vector Prediction)、動きベクトル差(MVD
:Motion Vector Difference)、動きベクトル場(MVF:Motion Vector Field)、高
度な動きベクトル予測(AMVP:Advanced Motion Vector Prediction)、動きベクト
ル競争(MVC:Motion Vector Competition)、時間的動きベクトル予測(TMVP:
Temporal Motion Vector Prediction)、制御点動きベクトル(CPMV:Control Point
Motion Vector)、適応型ループフィルタ(ALF:Adaptive Loop Filter)、Bi予測
(B:Bi-predictive)、ブロックコピー(BC:Block Copy)、コンテキストベース適
応型バイナリー算術符号化(CABAC:Context-based Adaptive Binary Arithmetic C
oding)、コンテキスト適応型可変長符号化(CAVLC:Context Adaptive Variable L
ength Coding)、符号化ブロック(CB:Coding Block)、エンコーダ/デコーダ(CO
DEC)、符号化画像バッファ(CPB:Coded Picture Buffer)、符号化ツリーブロッ
ク(CTB:Coding Tree Block)、符号化ツリーユニット(CTU:Coding Tree Unit
)、符号化ユニット(CU:Coding Unit)、離散コサイン変換(DCT:Discrete Cosi
ne Transform)、復号化画像バッファ(DPB:Decoded Picture Buffer)、イントラ(
I)、ブロック内コピー(IBC:Intra Block Copy)、予測(P)、予測ブロック(P
B:Prediction Block)、確率間隔分割エントロピー(PIPE:Probability Interval
Partitioning Entropy)、画像順序カウント(POC:Picture Order Count)、画像ユ
ニット(PU:Picture Unit)、絶対差の合計(SAD:Sum Of Absolute Difference)
、サンプル適応型オフセット(SAO:Sample Adaptive Offset)、構文ベースのコンテ
キスト適応型バイナリ算術符号化(SBAC:Syntax-Based Context-Adaptive Binary A
rithmetic Coding)、シーケンスパラメータセット(SPS:Sequence Parameter Set)
、二乗差の合計(SSD:Sum Of Square Difference)、変換ユニット(TU:Transfor
m Unit)、四分木プラス二分木(QBTB:Quadtree Plus Binary Tree)、画素または
画像要素(pel)、高度な時間レベル動きベクトル予測(ATMVP:Advanced Tempo
ral Level Motion Vector Prediction)、究極の動きベクトル表現(UMVE:Ultimate
Motion Vector Expression)、動きベクトル差によるマージモード(MMVD:Merge M
ode with Motion Vector Difference)、インデックス(IDX)、インター予測とイン
トラ予測の組み合わせ(CIIP:Combined Inter and Intra Prediction)、最も可能
性の高いモード(MPM:Most Probable Mode)。
デジタル・テレビ、ラップトップまたはデスクトップ・コンピュータ、タブレット・コ
ンピュータ、デジタル・カメラ、デジタル記録装置、デジタル・メディア・プレーヤー、
ビデオ・ゲーム機、スマートフォン、ビデオ会議装置やビデオ・ストリーミング装置など
の各種電子装置は全てデジタル・ビデオを支持する。電子装置は、ビデオ圧縮/展開を実
行することで、デジタル・ビデオ・データを受送信し、符号化し、復号化や格納する。デ
ジタルビデオ装置は、多用途ビデオ符号化(VVC)、共同探査試験モデル(JEM)、
MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-
4、Part 10、高度なビデオ符号化(AVC)、ITU-T H.265/高効率ビ
デオ符号化(HEVC)で定義された標準及びそのような標準の拡張に述ベているビデオ
符号化復号化技術を実行する。
ビデオ符号化復号化は、一般に、ビデオ画像又はシーケンスに存在する冗長性による予
測方法(例えば、フレーム間予測、フレーム内予測)を利用する。ビデオ符号化復号化技
術の重要な目標の一つは、ビデオ品質の低下を回避または最小限に抑えながら、ビデオデ
ータをより低ビットレートでのフォームに圧縮することである。進化し続けるビデオサー
ビスが利用可能になるにつれて、より優れた符号化復号化効率を備える符号化復号化技術
が必要となる。
ビデオ圧縮は、通常、空間的(フレーム内)予測及び/又は時間的(フレーム間)予測
を実行して、ビデオデータに固有の冗長性を低減または削除することを含む。ブロックに
基づくビデオ符号化において、ビデオフレームは、符号化ツリーユニット(CTU)と呼
ばれるビデオブロックを複数含む1つ又は複数のスライスに分割される。各CTUは、1
つの符号化ユニット(CU)を含み、または予め定められた最小のCUサイズに達するま
でより小さなCUに再帰的に分割されることがある。各CU(リーフCUとも呼ばれる)
には、1つまたは複数の変換ユニット(TU)と、1つまたは複数の予測ユニット(PU
:prediction unit)とが含まれる。各CUは、イントラ、インター、またはIBCモー
ドで符号化されることが可能である。1つのビデオフレームにおけるイントラ符号化され
た(I)スライス内のビデオブロックは、同ビデオフレームにおける隣接ブロック内の参
照サンプルに関する空間的予測で符号化される。1つのビデオフレームにおけるインター
符号化された(PまたはB)スライス内のビデオブロックは、同ビデオフレームにおける
隣接ブロック内の参照サンプルに関する空間的予測、または他の以前および/または将来
の参照ビデオフレームにおける参照サンプルに関する時間的予測を使用する。
以前符号化された参照ブロック、例えば隣接ブロックの空間的予測又は時間的予測に基
いて、符号化対象である現在のビデオブロックの予測ブロックが得られる。参照ブロック
を見つける処理は、ブロックマッチングアルゴリズムによって実現することが可能である
。符号化対象である現在のブロックと予測ブロックとの間の画素差を示す残差データは、
残差ブロック又は予測誤差と呼ばれる。インター符号化ブロックは、予測ブロックを生成
した参照フレームにおける参照ブロックを指す動きベクトルと、残差ブロックとに応じて
符号化される。動きベクトルを決定する処理は、通常動き推定と呼ばれる。イントラ符号
化ブロックは、イントラ予測モードと残差ブロックによって符号化されるものである。更
なる圧縮のために、残差ブロックは画素領域から変換領域、例えば周波数領域に変換され
、結果として将来に定量化される残差変換係数が得られる。そして、最初に二次元行列で
配置されて定量化された変換係数は、走査されて一次元の変換係数ベクトルを生成し、そ
の後、更なる圧縮を達成するようにビデオ・ビットストリームにエントロピー符号化され
る。
そして、符号化されたビデオ・ビットストリームは、コンピュータ読取可能な記憶媒体
(例えば、フラッシュメモリ)に保存されて、デジタル・ビデオ能力を持つ電子装置によ
ってアクセスされ、或いは有線または無線でこの電子装置に直接送信される。そして、こ
の電子装置は、例えば、符号化されたビデオ・ビットストリームを解析してこのビットス
トリームから構文要素を取得し、このビットストリームから取得された構文要素の少なく
とも一部に基づいてこの符号化されたビデオストリームから元のフォーマットにデジタル
・ビデオデータを再構成することで、ビデオ展開(上述したビデオ圧縮とは反対のプロセ
ス)を実行しており、この再構成されたデジタル・ビデオデータを電子装置のディスプレ
イに再現する。
デジタル・ビデオの品質が高解像度から4K×2K、さらに8K×4Kに進んでいるに
つれて、符号化/復号化対象となるビデオデータの量は指数関数的に増加している。復号
化されたビデオデータの画像品質を維持しながらビデオデータを効率的に符号化/復号化
することは、常に課題である。
ジョイントビデオ専門家チーム(JVET)会議では、多用途ビデオ符号化(VVC)
及びVVC試験モデル1(VTM1)符号化方法の最初の草案が定義された。二値および
三元分割符号化ブロック構造によるネストのマルチタイプツリーを持つ四分木は、VVC
の最初の新しい符号化特徴として含まれていることと決定された。それ以来、符号化方法
を実行するための参照ソフトウェアVTM及びドラフトVVC復号化プロセスはJVET
会議の間で開発された。
本開示は、全般的にビデオ符号化復号化において三角形予測ユニットによる動き補償予
測に関する技術の例を説明する。
本願の第1の方面に従い、ビデオ画像を、少なくとも1つがさらに左上隅から右下隅へ
、および右上隅から左下隅への区画方向のうちの1つを有する少なくとも1つの三角形の
PUを含む2つの予測ユニット(PU)に区画される複数の符号化ユニット(CU)に区
画することと、単一予測運動ベクトル候補リストを構成することと、現在のCUが、符号
化された情報に従って、三角形予測モードとして符号化されるかどうかを決定することと
、前記区画方向を示す区画方向フラグを信号で通知することと、構成された前記単一予測
動きベクトル候補リストにおける選択されたエントリを示すインデックス値を信号で通知
することと、を含むビデオ符号化復号化のための方法を提供する。
本願の第2の方面に従い、ビデオ画像を、少なくとも1つがさらに少なくとも1つの三
角形の予測ユニット(PU)を含む2つの予測ユニット(PU)に区画される複数の符号
化ユニット(CU)に区画することと、現在のCUに関して三角形予測モードを示す三角
形予測フラグが復号化されるべきかどうかを決定することと、前記現在のCUに関して前
記三角形予測フラグが復号化されるべきであると決定したと、コンテキストベース適応型
バイナリー算術符号化(CABAC)によって前記三角形予測フラグを導出することと、
を含み、前記三角形予測フラグのためのCABACのコンテキストは、CUの領域サイズ
、CUの形状及び共通のコンテキストからなるグループから選択された少なくとも1つに
基づいて導出される、ビデオ符号化復号化のための方法を提供する。
本願の第3の方面に従い、プロセッサと、前記プロセッサによって実行可能な命令を格
納するように構成されるメモリと、を含み、前記プロセッサは、前記命令を実行すると、
ビデオ画像を、少なくとも1つがさらに左上隅から右下隅へ、および右上隅から左下隅へ
の区画方向のうちの1つを有する少なくとも1つの三角形のPUを含む2つの予測ユニッ
ト(PU)に区画される複数の符号化ユニット(CU)に区画し、単一予測運動ベクトル
候補リストを構成し、現在のCUが、符号化された情報に従って、三角形予測モードとし
て符号化するかどうかを決定し、前記区画方向を示す区画方向フラグを信号で通知し、構
成された前記単一予測動きベクトル候補リストにおける選択されたエントリを示すインデ
ックス値を信号で通知する、のような操作を実行するように構成されるビデオ符号化復号
化のための装置を提供する。
本願の第4の方面に従い、プロセッサと、前記プロセッサによって実行可能な命令を格
納するように構成されるメモリと、を含み、前記プロセッサは、前記命令を実行すると、
ビデオ画像を、少なくとも1つがさらに少なくとも1つの三角形の予測ユニット(PU)
を含む2つの予測ユニットPUに区画される複数の符号化ユニット(CU)に区画し、現
在のCUに関して三角形予測モードを示す三角形予測フラグが復号化されるべきかどうか
を決定し、前記現在のCUに関して前記三角形予測フラグが復号化されるべきであると決
定したと、コンテキストベース適応型バイナリー算術符号化(CABAC)によって前記
三角形予測フラグを導出する、のような操作を実行し、前記三角形予測フラグのためのC
ABACのコンテキストは、CUの領域サイズ、CUの形状及び共通のコンテキストから
なるグループから選択された少なくとも1つに基づいて導出されるように構成される、ビ
デオ符号化復号化のための装置を提供する。
本開示の例のより具体的な説明は、添付の図面に示す特定の例を参照することによって与
えられる。これらの図面はいくつかの例を示しているに過ぎず、したがって範囲を限定す
るものではないと考すれば、これらの例は、添付の図面を使用することにより、追加の特
異性および詳細が説明される。
図1は、本開示のある実施形態に係るビデオ符号化および復号化システムを例示するブロック図である。 図2は、本開示のある実施形態に係るビデオエンコーダを例示するブロック図である。 図3は、本開示のある実施形態に係るビデオデコーダを例示するブロック図である。 図4は、本開示のある実施形態に係る、QTBI構造を示す概略図である。 図5は、本開示のある実施形態に係る、CTUに分割された画像の例を示す概略図である。 図6は、本開示のある実施形態に係る、マルチタイプツリー分割モードを示す概略図である。 図7は、本開示のある実施形態に係る、CUを三角形予測ユニットに分割することを示す概略図である。 図8は、本開示のある実施形態に係る、隣り合うブロック同士の位置を示す概略図である。 図9は、本開示のある実施形態に係る、重み係数セットによる重み付けの例を示す概略図である。 図10は、本開示のある実施形態に係る、三角形予測フラグを符号化復号化するためのコンテキスト導出を示す概略図である。 図11は、本開示のある実施形態に係る、PU区画の例を示す概略図である。 図12は、本開示のある実施形態に係る、空間的マージ候補の位置を示す概略図である。 図13は、本開示のある実施形態に係る、時間的マージ候補の動きベクトルスケーリングを示す概略図である。 図14は、本開示のある実施形態に係る、時間的マージ候補の候補位置を示す概略図である。 図15は、本開示のある実施形態に係る、ビデオ符号化復号化のための例示的な装置を示すブロック図である。 図16は、本開示のある実施形態に係る、三角形予測による動き補償予測のためのビデオ符号化復号化の例示的なプロセスを示すフローチャートである。 図17は、本開示のある実施形態に係る、三角形予測フラグのためのビデオ符号化復号化の例示的なプロセスを示すフローチャートである。
以下、図面を参照して本発明の具体的な実施の形態を詳細に説明する。以下の詳細な説明
において、本明細書に述べる趣旨を容易に理解するために、複数の非限定的な具体的な詳
細を述べる。ただし、本発明は、各種の変形により実施することができることは、当業者
にとって明らかである。例えば、本明細書に述べる趣旨がデジタルビデオ機能を有する多
くの種類の電子装置で実施され得ることは、業者にとって明らかである。
各図の要素の説明は、他の図の要素を参照することがある。同一の番号は、図中の同一の
要素を指し、同一の要素の変形例も含む。
本明細書では、「1つの実施形態」、「実施形態」、「例」、「ある実施形態」、「あ
る例」または類似の表現は、記載における特定の特徴、構造または特性が少なくとも1つ
の実施形態または例に含まれることを意味する。したがって、本明細書全体における「1
つの実施形態において」、「例において」、「ある実施形態において」および類似の表現
の例は、すべて同じ実施形態を指す場合があるが、必ずしもそうであるとは限らない。そ
れは、開示されたすべての実施形態を含んでもよいし、含まなくてもよい。1つまたはい
くつかの実施形態に関連して説明される特徴、構造、要素または特性は、明確に別段の指
示をしない限り、他の実施形態にも適用可能である。
図面中、概略フローチャート及び/又は概略ブロック図は、各実施形態に係る、異なる
装置、システム、方法及びプログラム製品の可能な実施形態のアーキテクチャ、機能及び
動作を示す。これに関して、概略フローチャートおよび/または概略ブロック図の各ブロ
ックは、特定の論理機能を実行するためのモジュール、セグメント、または1つまたは複
数の実行可能な命令を含むコードの一部を表すことができる。しかしながら、当業者は、
フローチャートが必ずしも図示された順序で実行される必要はなく、1つまたは複数の特
定のステップなし、または図示されていない他のステップで実行されることができること
を理解すべきである。
なお、ある変形例では、示すブロックの機能が、図中に記載の順序と異なる場合もある
。たとえば、連続的に示す2つのブロックは、関連する機能によって、実際には実質的に
同時に実行されてもよく、又は逆の順序で実行されてもよい。図面について、他のステッ
プおよび方法は、機能、論理または効果に1つまたは複数のブロックまたはその一部と同
等であると考えられることができる。
本開示で使用される用語は、特定の例を説明することのみを目的としており、本開示を
限定することを意図しない。「含む」、「備える」という用語は、明確に別段の指示をし
ない限り、「…を含むがこれに限定されない」という意味である。
さらに、これらの用語は、述べる機能、整数、ステップ、操作、要素および/またはコ
ンポーネントの存在を指すが、1つまたは複数の他の特徴、整数、ステップ、操作、要素
、コンポーネント、および/またはそれらの組み合わせの存在または追加を排除するもの
ではないことを理解されべきである。
列挙する項のリストは、明確に別段の指示をしない限り、これらの項のいずれかまたは
すべてが互いに排他的であることを意味するものではない。
本開示および添付の特許請求の範囲で使用される場合、単数形「一」、「1つ」および
「この」は複数形も含むことを意図しており、文脈が明確に別段の指示をしない限り、「
1つまたは複数」、「少なくとも一つ」と同等であると解釈されるべきである。
本明細書で使用される用語「および/または」、「及び/又は」は、1つまたは複数の関
する、リストされた項目の任意な及びすべての可能な組み合わせを指しかつ含むことも理
解されべきである。例えば、「Aおよび/またはB」は、Aのみの存在、Bのみの存在、
AとBとの両方の共存の3つの組み合わせのいずれかを指す。
記号「/」は、一般的に関連項の「又は」という関係を示すが、関連項の「と」という
関係を含むこともある。たとえば、「A/B」は、文脈が明確に別段の指示をしない限り
、AとBとの両方の共存を含む場合もある。
本開示全体では、「第1」、「第2」、「第3」などの用語はすべて、関連する要素、
例えば、デバイス、コンポーネント、構成、ステップなどへの言及のためのものとしての
み使用され、文脈が明確に別段の指示をしない限り、空間的または年代順を意味するもの
ではない。たとえば、「第1のデバイス」および「第2のデバイス」は、2つの別個に形
成されたデバイス、または同じデバイスの2つの部分、コンポーネント、または動作状態
を指すものであって、任意に名前を付けることができる。
第1元素と第2元素とは独立して存在してもよい。例えば、ある実施形態は、第1の要
素を含まず、第2の要素のみを含むことができる。したがって、第2の要素は、第1の要
素の説明に先立って、または第1の要素の説明なしで説明され得る。たとえば、方法また
はプロセスの「第1のステップ」は、「第2のステップ」の後、または「第2のステップ
」と同時に実行されることが可能である。
本明細書で使用される場合、「(もし)…たら」または「(もし)…ば」、「(もし)
…と」という用語は、文脈に応じて、「…ときに」または「…に応じて」を意味すると理
解され得る。これらの用語は、請求項に表示される場合、関連する限定または特徴が条件
付きまたは選択的であることを意味していない場合がある。たとえば、一つの方法は、i
)条件X が存在する場合、機能または動作X'が実行されるステップと、ii)条件Yが存
在する場合、機能または動作Y'が実行されるステップとを含む。この方法は、機能また
は動作X'を実行する能力と、機能または動作Y'を実行する能力との両方を含めて実現さ
れる必要があるが、機能X'とY'とは両方とも、異なる時間にこの方法の複数回の実行で
実現される場合がある。さらに、条件Xの満足を検出または評価する能力と、条件Yの満
足を検出または評価する能力と含めて実現されてもよい。
「モジュール」、「サブモジュール」、「回路」、「サブ回路」、「ユニット」または
「サブユニット」という用語は、1つまたは複数のプロセッサで実行できるコードまたは
命令を格納するメモリ (共有、専用、またはグループ) を含む。モジュールは、コードま
たは命令を格納しているか、または格納していない1つまたは複数の回路が含む場合があ
る。モジュールまたは回路は、直接または間接的に接続された1つまたは複数のコンポー
ネントを含むことができる。これらのコンポーネントは、互いに物理的に接続することも
、物理的に切断することも、互いに隣り合うこともできる。
ユニットまたはモジュールは、完全にソフトウェアによって実現されてもよく、完全に
ハードウェアによって実現されてもよく、またはハードウェアとソフトウェアとの組み合
わせによって実現されてもよい。完全なソフトウェアの実現では、たとえば、ユニットま
たはモジュールが、特定の機能を実行するために直接的または間接的に互いにリンクされ
ている機能的に関連するコードブロックまたはソフトウェアコンポーネントを含むことが
できる。
図1は、本開示のある実施形態に係る、ビデオブロックを符号化および復号化するため
のシステム10を例示するブロック図である。図1に示すように、システム10は、将来
目標装置14によって復号化されるビデオデータを生成し符号化するソース装置12を含
む。ソース装置12および目標装置14は、デスクトップまたはラップトップ・コンピュ
ータ、タブレット・コンピュータ、スマートフォン、セットトップボックス、デジタル・
テレビ、カメラ、表示装置、デジタルメディアプレーヤー、ビデオ・ゲーム機、ビデオ・
ストリーミング装置などを含む多種の電子装置のいずれかであってもよい。ある実施形態
では、ソース装置12および目標装置14は、無線通信機能を備えている。
ある実施形態では、目標装置14は、リンク16を介して復号化対象の符号化後のビデ
オデータを受信する。リンク16は、符号化されたビデオデータをソース装置12から目
標装置14に移動させる任意のタイプの通信媒体または装置であってもよい。一つの例で
は、リンク16は、ソース装置12から、符号化されたビデオデータを目標装置14にリ
アルタイムで直接送信できる通信媒体であってもよい。符号化されたビデオデータは、無
線通信プロトコルなどの通信標準に従って変調され、目標装置14に送信される。通信媒
体は、無線周波数(RF:radio frequency)スペクトルまたは1つ又は複数の物理的な
伝送路などの任意の無線または有線通信媒体であってもよい。通信媒体は、ローカルエリ
アネットワークのようなパケットベースのネットワーク、ワイドエリアネットワークまた
はインターネット等のようなグローバルネットワークの一部として構成してもよい。通信
媒体には、ルーター、交換機、基地局や、ソース装置12から目標装置14への通信に役
立つ他の任意の装置を含んでもよい。
他のある実施形態では、符号化されたビデオデータは、出力インターフェース22から
ストレージ装置32に送信される。そして、ストレージ装置32にある符号化されたビデ
オデータは、入力インターフェース28を介して目標装置14によってアクセスされるこ
とが可能である。ストレージ装置32には、ハードドライブ、Blu-rayディスク、
DVD、CD-ROM、フラッシュメモリ、揮発性または不揮発性メモリ、や符号化され
たビデオデータを格納するための他の任意の適切なデジタル記憶媒体などのような多種の
分散型またはローカルにアクセスされるデータ記憶媒体のいずれかを含むことが可能であ
る。更なる他の例では、ストレージ装置32は、ファイルサーバ、またはソース装置12
によって生成された符号化ビデオデータを保持することができる別の中間ストレージ装置
に対応してもよい。目標装置14は、ストリーミングまたはダウンロードを介してストレ
ージ装置32から格納されたビデオデータにアクセスすることができる。ファイルサーバ
は、符号化されたビデオデータを格納し、符号化されたビデオデータを目標装置14に送
信することができる任意のタイプのコンピュータであってもよい。例示的なファイルサー
バは、ウェブサーバ(例えば、ウェブサイト用)、FTPサーバ、ネットワーク接続スト
レージ(NAS)装置、またはローカルディスクドライブを含む。目標装置14は、ファ
イルサーバーに保存されている符号化ビデオデータへのアクセスに適する無線チャネル(
例えば、Wi―Fi接続)、有線接続(例えば、DSL、ケーブルモデムなど)、または
それらの組み合わせを含む任意の標準データ接続を介して、符号化されたビデオデータを
アクセスすることができる。ストレージ装置32からの符号化されたビデオデータの送信
は、ストリーミング送信、ダウンロード送信、またはそれらの組み合わせであってもよい
図1に示すように、ソース装置12は、ビデオソース18、ビデオエンコーダ20、お
よび出力インターフェース22を含む。ビデオソース18には、ビデオ・キャプチャ装置
(例えばビデオカメラ)、前に捕らえられたビデオを含むビデオアーカイブ、ビデオコン
テンツ提供者からビデオを受信するためのビデオフィードインターフェイス、および/ま
たはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュー
タグラフィックスシステム、またはそれらの組み合わせ等のようなソースを含むことが可
能である。一つの例として、ビデオソース18がセキュリティ監視システムのビデオカメ
ラである場合、ソース装置12および目標装置14は、カメラ付き携帯電話またはビデオ
電話であってもよい。しかしながら、本開示で説明する実施形態は、一般にビデオ符号化
に適用可能であり、そして無線および/または有線アプリケーションに適用可能である。
捕らえられたビデオ、予め捕らえられたビデオ、またはコンピュータによって生成され
たビデオは、ビデオエンコーダ20によって符号化されることができる。符号化されたビ
デオデータは、ソース装置12の出力インターフェース22を介して目標装置14に直接
送信されることが可能である。これに加えて(または選択的に)、符号化されたビデオデ
ータは、その後、目標装置14または他の装置によってアクセスされて復号化および/ま
たは再生できるように、ストレージ装置32に格納されてもよい。出力インターフェース
22は、モデムおよび/または送信機をさらに含んでもよい。
目標装置14は、入力インターフェース28、ビデオデコーダ30、および表示装置3
4を含む。入力インターフェース28は受信機および/またはモデムを含み、リンク16
を介して符号化されたビデオデータを受信する。リンク16を介して転送され、またはス
トレージ装置32に提供された符号化ビデオデータには、ビデオエンコーダ20によって
生成されてビデオデコーダ30によるビデオデータの復号化に使用される各種の構文要素
を含んでもよい。符号化されたビデオデータは、通信媒体で送信されるか、記憶媒体に記
憶されているか、ファイルサーバーに記憶されているかに関わらず、そのような構文要素
を含んでもよい。
ある実施形態では、目標装置14は、集積された表示装置や、目標装置14と通信でき
るように構成された外部表示装置である表示装置34を含んでもよい。表示装置34は、
復号化されたビデオデータをユーザに表示し、液晶ディスプレイ(LCD)、プラズマデ
ィスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプの表示装
置などの各種の表示装置のいずれかであってもよい。
ビデオエンコーダ20およびビデオデコーダ30は、VVC、HEVC、MPEG-4
、Part10、高度なビデオ符号化(AVC)、またはそのような標準の拡張などの専
門または業界標準に従って動作する。なお、本開示は、特定のビデオ符号化/復号化の標
準に限定されず、他のビデオ符号化/復号化標準にも適用可能であることが理解されるべ
きである。ソース装置12のビデオエンコーダ20は、これらの現在または将来の標準の
いずれかに従ってビデオデータを符号化するように構成される。同様に、目標装置14の
ビデオデコーダ30は、これらの現在または将来の標準のいずれかに従ってビデオデータ
を復号化するように構成される。
ビデオエンコーダ20およびビデオデコーダ30はそれぞれ、1つまたは複数のマイク
ロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)
、フィールド・プログラマブル・ゲート・アレイ(FPGA)、離散な論理、ソフトウェ
ア、ハードウェア、ファームウェア、またはこれらの任意の組み合わせなどのような、各
種の適切なエンコーダ回路のいずれかとして実現されることが可能である。部分的にソフ
トウェアによって実現される場合、電子装置は、ソフトウェアの命令を適切な非一時的な
コンピュータ読取可能な媒体に格納し、ハードウェアにおいて1つまたは複数のプロセッ
サによって命令を実行することで本開示に述べたビデオ符号化/復号化操作を実行しても
よい。ビデオエンコーダ20およびビデオデコーダ30は、それぞれの装置において結合
式エンコーダ/デコーダ(CODEC)の一部として集積された一つまたは複数のエンコ
ーダまたはデコーダに含まれてもよい。
図2は、本開示で述べるある実施形態に係るビデオエンコーダ20を例示するブロック
図である。ビデオエンコーダ20は、ビデオフレーム内のビデオブロックに対してイント
ラ予測符号化およびインター予測符号化を実行することができる。イントラ予測符号化は
空間的予測に依存し、特定のビデオフレームまたは画像内のビデオデータの空間的冗長性
を低減または削除する。インター予測符号化は、時間的予測に依存し、ビデオシーケンス
における隣り合うビデオフレームまたは画像内のビデオデータの時間的冗長性を低減また
は削除する。
図2に示すように、ビデオエンコーダ20は、ビデオデータメモリ40、予測処理部4
1、復号化画像バッファ(DPB)64、加算器50、変換処理部52、定量化部54、
エントロピー符号化部56を備えている。予測処理部41は、動き推定部42、動き補償
部44、分割部45、イントラ予測処理部46、イントラブロックコピー(IBC)部4
8及びイントラ/インターモード決定部49をさらに備えている。ある実施形態では、ビ
デオエンコーダ20はまた、ビデオブロック再構成のための逆定量化部58、逆変換処理
部60、および加算器62をさらに備えている。加算器62とDPB64との間には、ブ
ロック同士の境界をフィルタリングして再構成されたビデオからブロック性アーチファク
トを除去するデブロッキング・フィルタを設置することが可能である。また、加算器62
の出力をフィルタリングするために、このデブロッキング・フィルタに加えて、インルー
プフィルタ63を用いてもよい。ビデオエンコーダ20は、固定的、またはプログラマブ
ル・ハードウェアユニットの形態で形成してもよいし、または1つ又は複数の固定的また
はプログラマブル・ハードウェアユニット内で分割されてもよい。
ビデオデータメモリ40は、ビデオエンコーダ20における部品によって符号化するビ
デオデータを格納する。ビデオデータメモリ40におけるビデオデータは、例えばビデオ
ソース18から得られる。DPB64は、ビデオエンコーダ20によってビデオデータを
(例えば、イントラ予測またはインター予測符号化モードで)符号化する際に使用される
参照ビデオデータを格納するバッファである。ビデオデータメモリ40およびDPB64
は、各種のメモリデバイスのいずれかであってよい。各種の例では、ビデオデータメモリ
40は、ビデオエンコーダ20における他の部品とともにオンチップであってもよく、ま
たはそれらの部品に対するオフチップであってもよい。
図2に示すように、ビデオデータを受信した後、予測処理部41における分割部45は
、このビデオデータをビデオブロックに分割する。この分割には、このビデオデータに関
するquad-tree構造のような予め定められた分割構造に従って、ビデオフレーム
をスライス、タイルまたは他のより大きい符号化ユニット(CU)に分割することを含ん
でもよい。ビデオフレームは、複数のビデオブロック(または、タイルと称されるビデオ
ブロックトセット)に分割されることができる。予測処理部41は、現在のビデオブロッ
クに対して、エラー結果(例えば、符号化率および歪みレベル)に基づいて、複数のイン
トラ予測符号化モードのうちの1つまたは複数のインター予測符号化モードのうちの1つ
のような、複数の可能な予測符号化モードのうちの1つを選択する。そして、予測処理部
41は、得られたイントラ又はインター予測符号化ブロックを加算器50に提供して残差
ブロックを生成し、かつ、得られたイントラ又はインター予測符号化ブロックを加算器6
2に提供してその後参照フレームの一部として使用するように符号化ブロックを再構成す
る。また、予測処理部41は、さらに動きベクトル、イントラモードインジケータ、分割
情報及び他の構文情報のような構文要素をエントロピー符号化部56に提供する。
予測処理部41におけるイントラ予測処理部46は、現在のビデオブロックに適したイ
ントラ予測符号化モードを選択するために、符号化対象である現在のブロックと同一のフ
レーム内の1つまたは複数の隣接ブロックに対して、現在のビデオブロックのイントラ予
測符号化を実行して空間的予測を行うことができる。予測処理部41における動き推定部
42および動き補償部44は、一つ又は複数の参照フレーム内の一つ又は複数の予測ブロ
ックに対して、現在のビデオブロックのインター予測符号化を実行して時間的予測を行う
。ビデオエンコーダ20は、複数のパスの符号化処理を実行して、例えばビデオデータに
おける各ブロックに対して適切な符号化モードを選択してもよい。
ある実施形態では、動き推定部42は、ビデオフレームのシーケンスの予め定められた
パターンに従って、参照ビデオフレーム内における予測ブロックに対する現在のビデオフ
レーム内におけるビデオブロックの予測ユニット(PU)の変位を示す動きベクトルを生
成することで、現在のビデオフレームのインター予測モードを決定する。動き推定部42
によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成す
る処理である。動きベクトルは、例えば、現在のビデオ・フレーム(または他の符号化ユ
ニット)または画像内における符号化されている現在のビデオブブロックに対する参照フ
レーム(または他の符号化ユニット)内における予測ブロックに対して、現在のビデオ・
フレーム内におけるビデオブロックのPUの変位を示すことができる。予め定められたパ
ターンは、シーケンスにおけるビデオ・フレームをPフレームまたはBフレームとして指
定できる。イントラBC部48は、動き推定部42によるインター予測のための動きベク
トルの決定と同様な方法により、イントラBC符号化のためのベクトル、例えばブロック
ベクトルを決定してもよいし、または動き推定部42を利用してブロックベクトルを決定
してもよい。
絶対差の合計(SAD)、二乗差の合計(SSD)又はその他の差メトリックによって決
定できる画素差では、予測ブロックは、符号化対象のビデオブロックのPUと極めてマッ
チングされる参照フレームにおけるブロックである。ある実施形態では、ビデオエンコー
ダ20は、DPB64に格納されている参照フレームのサブ整数画素位置の値を算出する
ことが可能である。例えば、ビデオエンコーダ20は、参照フレームの1/4画素位置、
1/8の画素位置、または他の分数の画素位置の値を補間してもよい。したがって、動き
推定装置42は、すべての画素位置および分数の画素位置に対して動き探索処理を実行し
て、分数画素精度を有する動きベクトルを出力ことができる。
動き推定部42は、インター予測符号化フレーム内におけるビデオブロックのPUの位置
と、それぞれDPB64に格納されている1つまたは複数の参照フレームを識別する第1
の参照フレームリスト(List0)または第2の参照フレームリスト(List1)か
ら選択された参照フレームの予測ブロックの位置と比較することで、インター予測符号化
フレームに対するビデオブロックのPUの動きベクトルを算出する。動き推定部42は、
算出された動きベクトルを動き補償部44に送信し、そしてエントロピー符号化部56に
送信する。
動き補償部44によって実行される動き補償には、動き推定部42によって決定された動
きベクトルに基づいて予測ブロックを取得または生成することを含み得る。動き補償部4
4は、現在のビデオブロックのPUの動きベクトルを受信すると、参照フレームリストの
1つにおいてこの動きベクトルが指している予測ブロックを位置決めし、DPB64から
この予測ブロックを探し、この予測ブロックを加算器50に転送する。そして、加算器5
0は、符号化されている現在のビデオブロックの画素値から動き補償部44によって提供
された予測ブロックの画素値を差し引くことで、画素差値の残差ビデオブロックを形成す
る。残差ビデオブロックを形成する画素差値は、輝度差成分または彩度差成分、あるいは
その両方を含み得る。また、動き補償部44は、ビデオフレームのビデオブロックに関す
る構文要素をさらに生成して、ビデオデコーダ30によるビデオフレームのビデオブロッ
クの復号化に使用する。構文要素には、例えば、この予測ブロックを識別するための動き
ベクトルを定義する構文要素、予測モードを示す任意のフラグ、または本明細書で述べる
任意の他の構文情報を含み得る。なお、動き推定部42および動き補償部44は、概念的
な目的のために個別に示されているが、高度に集積されてもよい。
ある実施形態では、イントラBC部48は、動き推定部42および動き補償部44に関し
て上述した方法と同様の方法によりベクトルを生成し、予測ブロックを取得することがで
きるが、ここで、予測ブロックは符号化されている現在のブロックと同じフレームにある
ものであり、ベクトルは、動きベクトルではなくブロックベクトルと呼ばれるものである
。特に、イントラBC部48は、一つのイントラ予測モードを決定して現在のブロックを
符号化することができる。ある例では、イントラBC部48は、例えば個別のパスの符号
化において、多種類のイントラ予測モードを使用して現在のブロックを符号化し、レート
歪み解析によりそれらのパフォーマンスをテストすることが可能である。次に、イントラ
BC部48は、テストされた各種のイントラ予測モードから、一つの適切なイントラ予測
を選択し使用して、対応するイントラモードインジケータを生成する。例えば、イントラ
BC部48は、テストされた各種のイントラ予測モードのレート歪み値をレート歪み解析
により算出し、テストされたモードからレート歪み特性が最良なイントラ予測モードを適
切なイントラ予測モードとして選択し使用してもよい。レート歪み解析では、通常、符号
化されたブロックとこの符号化されたブロックを生成するためのものであって符号化が実
施されていない元のブロックとの間の歪み(又は、エラー)の量、およびこの符号化され
たブロックを生成するために使用されたビットレート(すなわち、複数のビット)が決定
される。イントラBC部48は、各符号化されたブロックについて歪み及びレートから比
率を算出して、どのイントラ予測モードがこのブロックに対して最良なレート歪み値を示
しているかを決定してもよい。
別の例では、イントラBC部48は、動き推定部42および動き補償部44を全体的ま
たは一部的に使用して、ここに記載の実施形態に係るイントラBC予測に用いられる機能
を実行してもよい。いずれの場合も、イントラ・ブロック・コピーについては、予測ブロ
ックは、絶対差の合計(SAD)、二乗差の合計(SSD)または他の差メトリックによ
って決定できる画素差で、符号化対象のブロックと極めてマッチングすると考えられるブ
ロックであり、予測ブロックの識別には、サブ整数画素位置の値の算出が含まれる場合が
ある。
ビデオエンコーダ20は、予測ブロックがイントラ予測に従って同じフレームからのも
のであるか、インター予測に従って異なるフレームからのものであるかに関わらず、符号
化されている現在のビデオブロックの画素値から予測ブロックの画素値を差し引いて画素
差値を形成することで、残差ビデオブロックを生成することができる。残差ビデオブロッ
クを形成している画素差値には、輝度成分差及び彩度成分差の両方を含むことが可能であ
る。
イントラ予測処理部46は、上述した動き推定部42および動き補償部44によって実
行されるインター予測、またはイントラBC部48によって実行されるイントラ・ブロッ
ク・コピー予測の代わりに、現在のビデオブロックに対してイントラ予測することができ
る。特に、イントラ予測処理部46は、1つのイントラ予測モードを決定して現在のブロ
ックを符号化することができる。このために、イントラ予測処理部46は、例えば、個別
のパスの符号化処理において、各種のイントラ予測モードを使用して現在のブロックを符
号化し、イントラ予測処理部46(またはある例では、モード選択部)は、テストされた
イントラ予測モードから1つの適切なイントラ予測モードを選択し使用してもよい。イン
トラ予測処理部46は、このブロックに関して選択されたイントラ予測モードを示す情報
をエントロピー符号化部56に提供してもよい。エントロピー符号化部56は、選択され
たイントラ予測モードを示す情報をビットストリームに符号化することができる。
予測処理部41がインター予測またはイントラ予測により現在のビデオブロックに対し
て予測ブロックを決定した後、加算器50は、現在のビデオブロックからこの予測ブロッ
クを差し引くことで残差ビデオブロックを形成する。残差ブロック内の残差ビデオデータ
は、1つまたは複数の変換ユニット(TU)に含まれて変換処理部52に提供される。変
換処理部52は、離散コサイン変換(DCT)または概念的に離散コサイン変換と類似す
る変換などにより、残差ビデオデータを残差変換係数に変換することができる。
変換処理部52は、得られた変換係数を定量化部54に送信する。定量化部54は、こ
れらの変換係数を定量化して、ビットレートをさらに低減する。定量化プロセスは、これ
らの係数の一部または全部に関連するビット深度を減らすこともできる。 定量化の度合
いは、定量化パラメータを調整することによって変更されることができる。そして、ある
例では、定量化部54は、定量化された変換係数を含む行列の走査を実行することができ
る。或いは、この走査は、エントロピー符号化部56によって実行されることが可能であ
る。
定量化に続いて、エントロピー符号化部56は、例えば、コンテキスト適応型可変長符
号化(CAVLC)、コンテキスト適応型バイナリ算術符号化(CABAC)、構文ベー
スのコンテキスト適応型バイナリ算術符号化(SBAC)、確率間隔分割エントロピー(
PIPE)符号化または別のエントロピー符号化方法または技術により、定量化された変
換係数を、ビデオ・ビットストリームにエントロピー符号化する。そして、符号化された
ビットストリームは、ビデオデコーダ30に送信されてもよいし、またはその後にビデオ
デコーダ30へ送信またはビデオデコーダ30による検索のためにストレージ装置32に
アーカイブされてもよい。また、エントロピー符号化部56は、符号化されている現在の
ビデオフレームのための動きベクトルおよび他の構文要素をエントロピー符号化してもよ
い。
逆定量化部58および逆変換処理部60は、それぞれ、逆定量化および逆変換により、
他のビデオブロックの予測に使用される参照ブロックを生成するための画素領域内の残差
ビデオブロックを再構成する。上記のように、動き補償部44は、DPB64に格納され
ているフレームの1つまたは複数の参照ブロックから動き補償予測ブロックを生成するこ
とができる。また、動き補償部44は、この予測ブロックに1つまたは複数の補間フィル
タを適用して、動き推定に使用されるサブ整数画素値を算出することもできる。
加算器62は、再構成された残差ブロックを動き補償部44によって生成された動き補
償予測ブロックに加算して、DPB64に格納する参照ブロックを生成する。そして、こ
の参照ブロックは、予測ブロックとして、イントラBC部48、動き推定部42および動
き補償部44によって使用されて後続のビデオフレーム内の別のビデオブロックをインタ
ー予測することが可能である。
ビデオエンコーダ20を使用するビデオ符号化の例では、ビデオフレームは、処理対象
であるブロックに分割される。あるビデオブロックごとに、インター予測またはイントラ
予測に基づいて予測が形成される。インター予測では、予測子または予測ブロックは、以
前に再構成されたフレームからの画素に基づいて、動き推定および動き補償により形成さ
れることができる。イントラ予測では、予測子は、現在のフレームにおける再構成された
画素に基づいて形成されることができる。モード決定によっては、現在のブロックを予測
するための最良の予測子が選択されることができる。
予測残差または残差ブロック(すなわち、現在のブロックとその予測子との間の差)は
、変換モジュール、例えば、変換処理部52に送られる。次に、変換係数は、定量化モジ
ュール、例えば、エントロピー低減のための定量化部54に送られる。定量化された係数
は、エントロピー符号化復号化モジュール、例えば、エントロピー符号化部56に供給さ
れて圧縮されたビデオビットストリームが生成される。図2に示すように、ブロック分割
情報、動きベクトル、参照画像インデックス、およびイントラ予測モードなどのようなイ
ンターおよび/またはイントラ予測モジュールからの予測関連情報も、エントロピー符号
化復号化モジュール、例えば、エントロピー符号化部56を通過してビットストリームに
保存される。
ビデオエンコーダ20において、予測目的のための画素の再構成のために、デコーダに
関連するモジュールが必要とすることがある。まず、予測残差が逆定量化及び逆変換によ
って再構成される。次に、再構成された予測残差が予測子と組み合わされて、現在のブロ
ックのフィルタリングされていない再構成の画素が生成される。
符号化復号化効率および視覚的品質を改善するために、一般的に、インループフィルタ
63が使用される。たとえば、デブロッキング・フィルタは、AVC、HEVCおよびV
VCから取得できる。HEVCでは、符号化復号化の効率をさらに向上させるために、S
AO(サンプル適応型オフセット)と呼ばれる追加のインループフィルタを定義できる。
VVCでは、ALF(適応型環フィルタ)と呼ばれるインループフィルタ63を適用する
ことができる。
これらのインループフィルタ操作は選択可能である。インループフィルターをオンにす
ると、通常、符号化復号化効率および視覚的品質が向上する。また、計算の複雑さを軽減
するために、エンコーダーの決定としてインループフィルターをオフにすることもできる
なお、イントラ予測は通常、フィルタリングされていない再構成の画素に基づくもので
あるが、これらのフィルタがエンコーダによってオンにされた場合、イントラ予測は、フ
ィルタリングされた再構成の画素に基づくものであってもよい。
図3は、本開示のある実施形態に係るビデオデコーダ30を例示するブロック図である
。ビデオデコーダ30は、ビデオデータメモリ79、エントロピー復号化部80、予測処
理部81、逆定量化部86、逆変換処理部88、加算器90およびDPB92を備える。
予測処理部81は、動き補償部82、イントラ予測処理部84、イントラBC部85及び
イントラ/インターモート選択部87をさらに備える。ビデオデコーダ30は、図2に参
照してビデオエンコーダ20に関して上述した符号化プロセスとおおよそ逆の復号化プロ
セスを実行することができる。例えば、動き補償部82は、エントロピー復号部80から
受信した動きベクトルに基づいて予測データを生成し、イントラ予測部84は、エントロ
ピー復号化部80から受信したイントラ予測モードインジケータに基づいて予測データを
生成することができる。
ビデオデコーダ30を使用するビデオ復号化の例では、受信されたビットストリームは
、エントロピー復号化部80を介して復号化され、定量化された係数レベル(または定量
化された係数)および予測関連情報が導出される。そして、定量化された係数レベルは、
逆定量化部86および逆変換処理部88を介して処理されて、再構成された残差ブロック
が取得される。予測子または予測ブロックは、復号化された予測関連情報に基づいて、イ
ントラ予測処理または動き補償処理によって形成されたものである。フィルタリングされ
ていない再構成の画素は、再構成された残差ブロックと予測子を合計することによって取
得されたものである。インループフィルターがオンになっている場合、これらの画素に対
してフィルタリング操作が実行されて、最終的に再構成のビデオが導出されて出力される
ある例では、ビデオデコーダ30内の一つの構成要素が本開示の実施を実行することを
担当してもよい。また、ある例では、本開示の実施は、ビデオデコーダ30内の1つまた
は複数の構成要素に分割されてもよい。例えば、イントラBC部85は、本開示の実施を
単独で実現してもよく、または動き補償部82、イントラ予測処理部84およびエントロ
ピー復号化部80などのビデオデコーダ30における他の構成要素と組み合わせて実現し
てもよい。ある例では、ビデオデコーダ30は、イントラBC部85を含まなく、イント
ラBC部85の機能が動き補償部82などの予測処理部81における他の構成要素によっ
て実現されてもよい。
ビデオデータメモリ79は、ビデオデコーダ30における他の構成要素によって復号化
される符号化ビデオビットストリームなどのビデオデータを格納することができる。ビデ
オデータメモリ79に格納されているビデオデータは、例えば、ストレージ装置32から
取得したり、カメラなどのローカルビデオソースから取得したり、ビデオデータの有線ま
たは無線ネットワーク通信を介して取得したり、物理データ記憶媒体(例えば、フラッシ
ュドライブやハードディスク)へのアクセスにより取得し得る。ビデオデータメモリ79
は、符号化されたビデオビットストリームから符号化されたビデオデータを格納する符号
化画像バッファ(CPB)を含んでもよい。ビデオデコーダ30における復号化画像バッ
ファ(DPB)92は、ビデオデコーダ30(例えば、イントラ予測またはインター予測
符号化モード)によるビデオデータの復号化に使用される参照ビデオデータを格納する。
ビデオデータメモリ79およびDPB92は、同期DRAM(SDRAM)、磁気抵抗R
AM(MRAM)、抵抗変化型RAM(RRAM)を含むダイナミックランダムアクセス
メモリ(DRAM)、または他のタイプのメモリデバイスなどの各種のメモリデバイスの
いずれかによって形成されることができる。説明の便利上、ビデオデータメモリ79およ
びDPB92は、図3でビデオデコーダ30内の2つの異なる構成要素として示されてい
る。しかし、当業者にとっては、ビデオデータメモリ79およびDPB92が同じメモリ
デバイス又は個別のメモリデバイスによって提供されることが明らかである。ある例では
、ビデオデータメモリ79は、ビデオデコーダ30における他の構成要素とともにオンチ
ップであってもよく、それらの構成要素に対するオフチップであってもよい。
復号化プロセスにおいて、ビデオデコーダ30は、符号化されたビデオフレームのビデ
オブロックおよび関連構文要素を示す符号化されたビデオビットストリームを受信する。
ビデオデコーダ30は、ビデオフレームレベルおよび/またはビデオブロックレベルで構
文要素を受信することができる。ビデオデコーダ30のエントロピー復号化部80は、こ
のビットストリームをエントロピー復号化して、定量化された係数、動きベクトルまたは
イントラ予測モードインジケータ、および他の構文要素を生成する。そして、エントロピ
ー復号化部80は、該動きベクトルおよび他の構文要素を予測処理部81に転送する。
ビデオフレームがイントラ予測符号化(I)フレームに符号化された場合、または他の
タイプのフレームのイントラ符号化予測ブロックに用いられる場合には、予測処理部81
におけるイントラ予測処理部84は、通知されたイントラ予測モードと、現在のフレーム
からの以前復号化されたブロックからの参照データとに基づいて、現在のビデオフレーム
のビデオブロックの予測データを生成することができる。
ビデオフレームがインター予測符号化(すなわち、BまたはP)フレームに符号化され
た場合、予測処理部81における動き補償部82は、エントロピー復号化部80から受信
した動きベクトルおよび他の構文要素に基づいて、現在のビデオフレームのビデオブロッ
クの1つまたは複数の予測ブロックを生成することができる。各予測ブロックは、参照フ
レームリストのうちの1つにおける参照フレームから生成される。ビデオデコーダ30は
、DPB92に格納されている参照フレームに基いて、デフォルトの構成技術によりこの
参照フレームリスト、例えばList0およびList1を構成することができる。
ある例では、ビデオブロックがここに述べたイントラBCモードに従って符号化された
場合には、予測処理部81におけるイントラBC部85は、エントロピー復号化部80か
ら受信したブロックベクトルおよび他の構文要素に基づいて、現在のビデオブロックの予
測ブロックを生成する。この予測ブロックは、ビデオエンコーダ20によって定義された
現在のビデオブロックと同一の画像の再構成領域内にあり得る。
動き補償部82および/またはイントラBC部85は、動きベクトルおよび他の構文要
素を解析することによって現在のビデオフレームのビデオブロックの予測情報を決定し、
そして、この予測情報を使用して復号化されている現在のビデオブロックの予測ブロック
を生成する。例えば、動き補償部82は、受信した構文要素の一部を使用して、このビデ
オフレームのビデオブロックを符号化するための予測モード(例えば、イントラ予測また
はインター予測)、インター予測フレームタイプ(例えば、BまたはP)、このフレーム
に関する1つまたは複数の参照フレームリストのための構造情報、このフレームの各イン
ター予測符号化ビデオブロックに関する動きベクトル、このフレームの各インター予測符
号化ビデオブロックに関するインター予測状態、および現在のビデオフレームにおけるビ
デオブロックを復号化するための他の情報を決定する。
同様に、イントラBC部85は、受信した構文要素の一部、例えば1つのフラグを使用
して、現在のビデオブロックがイントラBCモードで予測されること、このフレームのど
んなビデオブロックが再構成領域内にあり且つDPB92に格納されるべきかに関する構
造情報、このフレームにおける各イントラBC予測ビデオブロックに関するブロックベク
トル、このフレームにおける各イントラBC予測ビデオブロックに関するイントラBC予
測状態、及び現在のビデオフレームにおけるビデオブロックを復号化するための他の情報
を決定することができる。
また、動き補償部82は、ビデオエンコーダ20によってビデオブロックの符号化にお
いて使用された補間フィルタを使用して補間を実行して、参照ブロックのサブ整数画素に
対する補間値を算出することもできる。この場合、動き補償部82は、受信した構文要素
からビデオエンコーダ20によって使用された補間フィルタを決定し、この補間フィルタ
を使用して予測ブロックを生成してもよい。
逆定量化部86は、ビデオエンコーダ20によってこのビデオフレーム内の各ビデオブ
ロックに対して定量化の度合いを決定するために算出された定量化パラメータと同じもの
を使用して、ビットストリームに提供され且つエントロピー復号化部80によってエント
ロピー復号化された定量化の変換係数を逆定量化する。逆変換処理部88は、画素領域に
おける残差ブロックを再構成するために、逆変換、例えば逆DCT、逆整数変換、または
概念的に類似の逆変換処理を変換係数に適用する。
動き補償部82またはイントラBC部85がこのベクトルおよび他の構文要素に基づい
て現在のビデオブロックの予測ブロックを生成した後、加算器90は、逆変換処理部88
からの残差ブロックと動き補償部82及びイントラBC部85によって生成された対応す
る予測ブロックとを加算することで、現在のビデオブロックに対して復号化されたビデオ
ブロックを再構成する。インループフィルタ91は、加算器90とDPB92との間に配
置されて、この復号化されたビデオブロックをさらに処理することが可能である。そして
、所定のフレーム内の復号化されたビデオブロックは、その後の次のビデオブロックの動
き補償のための参照フレームを格納するDPB92に格納される。また、DPB92、ま
たはDPB92とは別のメモリデバイスには、復号化されたビデオも、その後に図1の表
示装置34などのような表示装置に表示されるために、格納されることが可能である。
典型的なビデオ符号化プロセスでは、ビデオシーケンスが、通常、順序付けられたフレ
ームまたは画像のセットを含む。各フレームには、SL、SCbおよびSCrの3つのサ
ンプル行列が含まれている。SLは、輝度サンプルの2次元行列である。SCbは、Cb
彩度サンプルの2次元行列である。SCrは、Cr彩度サンプルの2次元行列である。他
の例では、フレームがモノクロであってもよく、この場合、1つの輝度サンプルの2次元
行列のみが含まれる。
図4は、本開示のある実施形態に係る、四分木プラス二分木(QTBI:quadtree plu
s binary tree)構造を示す概略図である。
VVC、JEM、HEVC、MPEG-4、Part10などのような上述したビデオ
符号化/復号化標準は、概念的に類似している。たとえば、それらは、すべてブロックベ
ースの処理を使用する。一部の標準におけるブロック分割スキームについては、以下で詳
しく説明する。
HEVCは、ハイブリッドブロックベースの動き補償変換符号化方式に基づくものであ
る。圧縮の基本単位は、符号化ツリー単位(CTU)と呼ばれる。4:2:0彩度フォー
マットについて、最大のCTUサイズは、64×64輝度画素、および2つの32×32
彩度画素ブロックまで定義される。各CTUは、1つの符号化ユニット(CU)を含み、
または、予め定められた最小のCUサイズに達するまで4つのより小さなCUに再帰的に
分割されることがある。各CU(リーフCUとも呼ばれる)には、1つまたは複数の予測
ユニット(PU)と、1つまたは複数の変換ユニット(TU)のツリーとが含まれる。
一般に、モノクロコンテンツの以外、CTUは1つの輝度符号化ツリーブロック(CT
B)及び2つの対応する彩度CTBを含み、CUは、1つの輝度符号化ブロック(CB)
および2つの対応する彩度CBを含み、PUは、1つの輝度予測ブロック(PB)および
2つの対応する彩度PBを含み、TUは、1つの輝度変換ブロック(TB)および2つの
対応する彩度TBを含み得る。ただし、最小のTBサイズは輝度及び彩度の両方に対して
4×4であり(即ち、4:2:0カラーフォーマットでは2×2彩度TBがサポートされ
ていない)、かつ対応するイントラ輝度CB内のイントラ輝度PBの数に関係なく、各イ
ントラ彩度CBには常に、1つのイントラ彩度PBのみがある。
イントラCUでは、輝度CBは1つまたは4つの輝度PBによって予測でき、2つの彩
度CBはそれぞれ常に1つの彩度PBによって予測され、ここで、各輝度PBには1つの
イントラ輝度予測モードがあり、2つの彩度PBは1つのイントラ彩度予測モードを共有
する。さらに、イントラCUでは、TBサイズをPBサイズより大きくすることはできな
い。各PBでは、イントラ予測が適用されて、隣り合う再構成のTBのサンプルからPB
内の各TBのサンプルが予測される。各PBについて、33つの方向性イントラ予測モー
ドに加えて、DCモード及び平面モードもサポートされて、それぞれ平坦な領域及び徐々
に変化する領域を予測する。
各インターPUについて、インター、スキップおよびマージのような3つの予測モード
から1つを選択することができる。一般的に言えば、動きベクトル競合(MVC)方式は
、空間的および時間的動き候補を含む所定の候補セットから動き候補を選択するために導
入される。動き推定への複数の参照により、2つの可能な再構成された参照画像リスト(
即ち、List0及びList1)における最良の参照を見つけることができる。インタ
ーモード(AMVPモードと呼ばれ、ここでAMVPは高度な動きベクトル予測を表す)
では、インター予測インジケーター(List0、List1、または双方向予測)、参
照インデックス、動き候補インデックス、動きベクトル差(MVD)および予測残差が送
信される。スキップモード及びマージモードについては、マージインデックスのみが送信
され、現在のPUは、符号化されたマージインデックスによって参照される隣接PUから
、インター予測インジケータ、参照インデックスおよび動きベクトルを引き継ぐ。スキッ
プ符号化されたCUの場合、残差信号も省略される。
共同探査試験モデル(JEM)は、HEVC試験モデルの上に構築されている。HEV
Cの基本的な符号化及び復号化の流れは、JEMで変更されていない。ただし、ブロック
構造、イントラおよびインター予測、残基変換、ループフィルター、エントロピー符号化
のモジュールを含む、最も重要なモジュールの設計要素は多少変更され、追加の符号化ツ
ールが追加された。JEMには、次の新しい符号化特徴が含まれている。
HEVCでは、CTUは、符号化ツリーとして示される四分木構造によってCUに分割
され、各種なローカル特性に適応する。画像間(時間的)か画像内(空間的)予測かを使
用して画像領域を符号化するの決定は、CUレベルで行われる。各CUは、PU分割タイ
プに応じて、さらに1つ、2つ、または4つのPUに分割されることができる。1つのP
U内で、同じ予測処理が適用され、関連情報がPUベースでデコーダーに送信される。P
U分割タイプに基づく予測処理を適用することで残差ブロックを取得した後、CUの符号
化ツリーと同様の別の四分木構造に従って、このCUを変換ユニット(TU)に分割でき
る。HEVC構造の重要な特徴の1つは、CU、PU、およびTUを含む複数の区画概念
があることである。
QTBT構造は、複数の区画タイプの概念を取り除き、つまり、CU、PU、およびT
Uの概念の分離を取り除き、CU区画形状のより柔軟性をサポートする。QTBTブロッ
ク構造では、CUは正方形または長方形の形状をとることができる。図4に示すように、
符号化ツリーユニット(CTU)は、最初に、四分木構造によって分割される。四分木の
リーフノードは、二分木構造によってさらに分割されることができる。二分木分割には、
対称水平分割及び対称垂直分割の2つの分割タイプがある。二分木のリーフノードは、符
号化ユニット(CU)と呼ばれ、そのセグメンテーションは、さらに分割されることなく
、予測および変換処理に使用される。これは、CU、PU、およびTUがQTBT符号化
ブロック構造で同じブロックサイズを持っていることを意味する。JEMでは、CUは、
異なる色成分の符号化ブロック(CB)からなることがあり、たとえば、4:2:0彩度
フォーマットのPスライス及びBスライスの場合、1つのCUには1つの輝度CB及び2
つの彩度CBが含まれる。JEMでは、CUは、単一の成分のCBからなることもあり、
たとえば、Iスライスの場合は、1つのCUには1つの輝度CBのみが含まれる、或いは
、2つの彩度CBのみが含まれる。
QTBT区画方式については、次のパラメータが定義されている。
-CTUサイズ:四分木のルートノードサイズであって、HEVCと同じ概念である;
-MinQTSize:四分木の最小許可リーフノードサイズ;
-MaxBTSize:二分木の最大許可ルートノードサイズ;
-MaxBTDepth:二分木の最大許可深さ;
-MinBTSize:二分木の最小許可リーフノードサイズ。
QTBT区画構造の一例では、CTUサイズが2つの対応する64×64ブロックの彩
度サンプル(4:2:0彩度フォーマット)を持つ128×128輝度サンプル、MinQTS
izeが16×16、MaxBTSizeが64×64、MinBTSize(幅及び高さの両方)が4×4、M
axBTDepthが4に設定されている。四分木の区画が最初にCTUに適用されて、四分木の
リーフノードが生成される。四分木のリーフノードは、16×16(即ち、MinQTSize)
から128×128(即ち、CTUサイズ)までのサイズを持つことが可能である。四分
木のリーフノードが128×128である場合、サイズがMaxBTSize(即ち、64×64
)を超えるため、二分木によってさらに分割されることない。それ以外の場合、四分木の
リーフノードは二分木によってさらに分割される可能である。したがって、四分木のリー
フノードは二分木のルートノードでもあり、二分木の深0でのものである。二分木の深さ
がMaxBTDepth(即ち、4)に達すると、それ以上の分割は考慮されない。二分木のノード
がMinBTSizeに等しい幅を持つと(即ち、4)、それ以上の水平分割は考慮されない。同
様に、二分木ノードがMinBTSizeに等しい高さを持つと、それ以上の垂直分割は考慮され
ない。二分木のリーフノードは、さらに分割されることなく、予測処理および変換処理に
よってさらに処理される。JEMでは、最大のCTUサイズは256×256輝度サンプ
ルである。
図4は、QTBT方式によるブロック区画および対応するツリー表示の例を示している
。実線は四分木分割を示し、点線は二分木分割を示する。図4に示すように、符号化ツリ
ーユニット(CTU)400は、最初に四分木構造によって分割され、4つの四分木のリ
ーフノード402、404、406、408のうちの3つは、四分木構造または二分木構
造によってさらに分割される。例えば、四分木のリーフノード406は、四分木分割によ
ってさらに分割される。四分木のリーフノード404は、二分木分割によってさらに2つ
のリーフノード404a、404bに分割される。また、四分木のリーフノード402も
、二分木分割によってさらに分割される。二分木の各分割(即ち、非リーフ)ノードでは
、使用される分割タイプ(即ち、水平または垂直)を示す1つのフラグが信号で通知され
、ここで、0は水平分割を示し、1は垂直分割を示す。例えば、四分木のリーフノード4
04の場合、0は水平分割を示すように信号で通知され、四分木のリーフノード402の
場合、1は垂直分割を示すように信号で通知される。四分木分割では、常にブロックを水
平及び垂直の両方に分割して、同じサイズの4つのサブブロックを生成するため、分割タ
イプを指示する必要がない。
また、QTBT方式は、輝度及び彩度について個別のQTBT構造を持つ能力をサポー
トする。現在、Pスライス及びBスライスの場合、1つのCTU内の輝度CTB及び彩度
CTBは同じQTBT構造を共有している。ただし、Iスライスの場合、輝度CTBは1
つのQTBT構造によってCUに分割され、彩度CTBは別のQTBT構造によって彩度
CUに分割される。これは、Iスライス内のCUが輝度成分の符号化ブロックまたは2つ
の彩度成分の符号化ブロックからなり、PスライスまたはBスライス内のCUが3つの色
成分すべての符号化ブロックからなることを意味する。
共同ビデオ専門家チーム(JVET)の会議において、JVETは、多用途ビデオ符号
化(VVC)の最初のドラフトおよびVVC試験モデル1(VTM1)符号化方法を定義
した。二値および三元分割符号化ブロック構造によるネストのマルチタイプツリーを持つ
四分木は、VVCの最初の新しい符号化特徴として含まれていることと決定された。
VVCでは、画像区画構造により、入力ビデオが符号化ツリーユニット(CTU)と呼
ばれるブロックに分割される。CTUは、ネストのマルチタイプツリー構造を持つ四分木
によって符号化ユニット(CU)に分割され、ここでリーフ符号化ユニット(CU)は、
同じ予測モード(例えばイントラまたはインター)を共有する領域を定義している。ここ
で、「ユニット」という用語は、すべての成分をカバーする画像の領域を定義している。
「ブロック」という用語は、特定の成分(例えば、輝度)をカバーする領域を定義するた
めのものであって、4:2:0などの彩度サンプリングフォーマットが考えられる場合、
空間的な位置が異なることがある。
画像のCTUへの区画
図5は、本開示のある実施形態に係る、CTUに分割された画像の例を示す概略図であ
る。
VVCでは、画像は一連のCTUに分割され、ここでCTUの概念はHEVCのCTU
の概念と同じである。3つのサンプル配列がある画像の場合、CTUは、N×Nの輝度サ
ンプルブロック及び2つの対応する彩度サンプルブロックからなる。図5は、CTU50
2に分割された画像500の例を示している。
CTUにおける輝度ブロックの最大許可サイズは128×128に指定されている(た
だし、輝度変換ブロックの最大サイズは64×64である)。
ツリー構造によるCTUの区画化
図6は、本開示のある実施形態に係る、マルチタイプツリー分割モードを示す概略図で
ある。
HEVCでは、CTUは、各種なローカル特性に適応するように符号化ツリーとして示
される4分木構造によってCUに分割される。画像間(時間的)予測か画像内(空間的)
予測かを使用して画像領域を符号化することは、リーフCUレベルで決定される。各リー
フCUは、PU分割タイプに応じて、さらに1つ、2つ、または4つのPUに分割できる
。1つのPU内で、同じ予測処理が適用され、関連情報がPUベースでデコーダーに送信
される。PU分割タイプに基づく予測処理を適用して残差ブロックを取得した後、リーフ
CUは、このCUの符号化ツリーと同様別の4分木構造に従って変換ユニット(TU)に
区画できる。HEVC構造の重要な特徴の1つは、CU、PU、およびTUを含む複数の
区画概念があることである。
VVCでは、二値および三元分割セグメンテーション構造によるネストのマルチタイプ
ツリーを持つ四分木は、複数の区画ユニットタイプの概念を置き換えし、つまり、CU、
PU、およびTUの概念の分離を除去し(最大変換長のサイズが大きすぎるCUの場合を
除く)、区画形状のより柔軟性をサポートする。符号化ツリー構造では、CUは正方形ま
たは長方形の形状をとることができる。符号化ツリーユニット(CTU)は、最初に4分
木構造によって分割される。次に、この4分木のリーフノードはマルチタイプツリー構造
によってさらに分割されることができる。図6に示すように、マルチタイプツリー構造に
は、垂直二値分割602(SPLIT_BT_VER)、水平二値分割604(SPLIT_BT_HOR)、垂直
三元分割606(SPLIT_TT_VER)、および水平三元分割608(SPLIT_TT_HOR)の4つの
分割タイプがある。マルチタイプツリーのリーフノードは符号化ユニット(CU)と呼ば
れ、CUの最大変換長が大きすぎない限り、このセグメンテーションは、それ以上区画せ
ずに予測処理及び変換処理に使用される。これは、ほとんどの場合、CU、PU、および
TUが、ネストのマルチタイプツリーの符号化ブロック構造を持つ四分木で同じブロック
サイズを持つことを意味する。例外として、最大変換サポート長がCUのカラー成分の幅
または高さよりも小さい場合である。VTM1では、ビデオがモノクロである場合、つま
り1つの色成分しかない場合の以外、CUは異なる色成分の符号化ブロック(CB)から
なり、例えば、1つのCUには1つの輝度CB及び2つの彩度CBが含まれる。
CUの複数の予測ユニットへの区画
VVCでは、上記の構造に基づいて区画された各CUについて、ブロックコンテンツ
の予測は、CUブロック全体に対して、または以下で説明するサブブロック方式で実行で
きる。このような予測のオペレーション単位は、予測単位(またはPU)と呼ばれる。
イントラ予測(またはイントラフレーム予測)の場合には、通常、PUのサイズはCU
のサイズと同じである。言い換えると、予測はCUブロック全体で実行される。インター
予測(またはインターフレーム予測)の場合には、PUのサイズはCUのサイズ以下にす
ることができる。言い換えると、予測のためにCUを複数のPUに分割する場合がある。
PUサイズがCUサイズよりも小さい例には、アフィン予測モード、高度な時間レベル
動きベクトル予測(ATMVP)モード、および三角形予測モードなどを含む。
アフィン予測モードでは、予測のためにCUを複数の4×4のPUに分割する可能である
。4×4のPUごとに動きベクトルを導出でき、それに応じてこの4×4のPUに対して
動き補償を実行できる。ATMVPモードでは、予測のためにCUを1つまたは複数の8
×8のPUに分割する可能である。8×8のPUごとに動きベクトルを導出し、それに応
じてこの8×8のPUに対して動き補償を実行できる。三角形予測モードでは、CUを2
つの三角形形状の予測ユニットに分割する可能である。PUごとに動きベクトルを導出し
、それに応じて動き補償を実行する。三角形予測モードは、インター予測でサポートされ
ている。三角形予測モードの詳細は以下のように示される。
三角形予測モード
図7は、本開示のある実施形態に係る、CUを三角形予測ユニットに分割することを示す
概略図である。
三角形予測モードの概念は、動き補償予測のために三角形パーティションを導入している
。図7に示すように、CU702、704は、対角線方向または逆対角線方向に、2つの
三角形予測ユニットPUおよびPUに分割される(すなわち、左上隅から右下隅まで
に分割するか、または右上隅から左下隅までに分割するか)。CU内の各三角形予測ユニ
ットは、単一予測候補リストから導出された自分の単一予測動きベクトル及び参照フレー
ムインデックスを使用してインター予測される。これらの三角形予測ユニットを予測した
後、対角線エッジに対して適応的な重み付け処理が実行される。次に、変換処理及び定量
化処理がCU全体に適用される。なお、このモードは、現在のVVCのスキップモード及
びマージモードにのみ適用される。図7に示すように、CUは正方形のブロックとして示
され、三角形予測モードは、非正方形(すなわち、長方形)の形状のCUにも適用され得
る。
単一予測候補リストは、1つまたは複数の候補を含み、各候補は、動きベクトルである
ことが可能である。したがって、本開示全体では、「単一予測候補リスト」、「単一予測
動きベクトル候補リスト」、および「単一予測マージリスト」という用語は、互換的に使
用されることができる。
単一予測動きベクトル候補リスト
図8は、本開示のある実施形態に係る、隣り合うブロック同士の位置を示す概略図であ
る。
ある例では、単一予測動きベクトル候補リストは、2から5つの単一予測動きベクトル
候補を含むことが可能である。別のある例では、他の数も可能である。それは、隣り合う
ブロックから導出されるものである。単一予測動きベクトル候補リストは、図8に示すよ
うに、5つの空間的隣り合うブロック(1から5)および2つの時間的に同じ位置に配置
されたブロック(6から7)を含む7つの隣り合うブロックから導出される。これらの7
つの隣り合うブロックの動きベクトルは、最初のマージリストに収集される。次に、所定
の順序に従って、最初のマージリストの動きベクトルに基づいて単一予測候補リストが形
成される。その順序に基づいて、最初のマージリストからの単一予測動きベクトルが最初
に単一予測動きベクトル候補リストに入れられ、次に双予測動きベクトルの参照画像Li
st0またはL0動きベクトル、そして双予測動きベクトルの参照画像List1または
L1動きベクトルが続き、それで次に双予測動きベクトルのL0およびL1動きベクトル
の平均動きベクトルが続けてリストされる。その時点で、候補の数がまだ目標数(現在の
VVCでは5)より少ない場合には、目標数を満たすためにゼロの動きベクトルがリスト
に追加される。
三角形PUのそれぞれについては、その動きベクトルに基づいて、予測子が導出される
。なお、導出された予測子は実際の三角形PUよりも広い領域をカバーするため、2つの
三角形PUの共有対角線エッジに沿って2つの予測子の重なる領域が存在する。CUの最
終予測を導出するために、適応的な重み付け処理は、この2つの予測子間の対角線エッジ
領域に適用される。現在、2つの重み係数セットが次のように使用されている。
-第1の重み係数セット:{7/8, 6/8, 4/8, 2/8, 1/8}および{7/8, 4/8, 1/8}が輝度サ
ンプルおよび彩度サンプルにそれぞれ使用される;
-第2の重み係数セット:{7/8, 6/8, 5/8, 4/8, 3/8, 2/8, 1/8}および{6/8, 4/8, 2/8
}が輝度サンプル及び彩度サンプルにそれぞれ使用される。
重み係数セットは、これらの2つの三角形予測ユニットの動きベクトルの比較に基づい
て選択される。より具体的には、これらの2つの三角形予測ユニットの参照画像が互いに
異なる場合、またはこれらの2つの三角形予測ユニットの動きベクトルの差が16画素よ
り大きい場合には、第2の重み係数セットは使用される。それ以外の場合には、第1の重
み係数セットが使用される。図9は、本開示のある実施形態に係る、重み係数セットによ
る重み付けの例を示す。図9には、第1の重み係数は、輝度サンプル902および彩度サ
ンプル904に使用される。
三角形予測モードの構文及び信号での通知
現在のVVCでは、三角形予測モードは三角形予測フラグにより信号で通知される。こ
のフラグは、CUがスキップモードまたはマージモードで符号化されている場合に信号で
通知される。あるCUについて、フラグの値が1の場合は、対応するCUが三角形予測モ
ードにより符号化されたことを意味する。それ以外の場合、CUは三角形予測モード以外
の予測モードにより符号化された。
現在のVVC標準ドラフトによれば、三角形予測フラグは、スキップモードまたはマー
ジモードで条件付きで信号で通知される。まず、三角形予測ツールの有効化/無効化フラ
グがシーケンスパラメータセット(またはSPS)で、信号で通知される。このフラグが
trueの場合のみには、三角形予測フラグがCUレベルで、信号で通知される。次に、
三角形予測ツールは、Bスライスのみで許可される。したがって、Bスライスのみでは、
三角形予測フラグがCUレベルで信号で通知される。第三に、三角形予測モードは、所定
のしきい値以上のサイズのCUのみに対して信号で通知される。CUのサイズがそのしき
い値よりも小さい場合には、三角形予測フラグは信号で通知されない。第四に、CUがア
フィン予測モード及びATMVPモードの両方を含むサブブロックマージモードで符号化
されたことではない場合のみには、三角形予測フラグが信号で通知される。上記の4つの
場合では、三角形予測フラグが信号で通知されていなければと、デコーダー側で0と推測
される。ある例では、三角形予測フラグはビットストリームで明示的に信号で通知される
ことではない。代わりに、他のすべてのマージ関連モードが無効として信号で通知された
場合、三角形予測モードは有効になっていると推定される。
現在のVVC標準ドラフトによると、三角形予測フラグが通知されば、所定のコンテキ
ストでCABACのエントロピーコーダーにより信号で通知される。コンテキストは、本
開示のある実施形態に係る、三角形予測フラグを符号化復号化するためのコンテキスト導
出を示す図10に例示するように、隣接ブロックからの三角形予測フラグ値に基づいて形
成される。
図10に示すように、現在のブロック1000(または現在のCU)の三角形予測フラ
グを符号化復号化する(すなわち、エンコーダまたは復号化)ために、上方ブロック10
04および左側ブロック1002(または上方CUおよび左側CU)の両方からの三角形
予測フラグが導出されて、それらの値が合計される。この結果、次の場合に対応する3つ
の可能なコンテキストが生成される。
1)左側のブロック及び上方のブロックの両方には0の三角形予測フラグがある;
2)左側のブロック及び上方のブロックの両方には1の三角形予測フラグがある;
3)それ以外の場合。
3つのコンテキストのそれぞれについて、個別の確率が維持される。現在のブロックの
コンテキスト値が決定されたと、現在のブロックの三角形予測フラグは、そのコンテキス
ト値に対応するCABAC確率モデルで符号化復号化される。
三角形予測フラグがtrueである場合には、三角形予測モードに関連する表インデッ
クス値がさらに信号で通知される。このインデックス値は、次の情報を導き出すことに使
用されることができる。
1)三角形予測区画の方向、即ちこのブロックが左上隅から右下隅に分割されているか
、右上隅から左下隅に分割されているか;
2)この2つのパーティションのそれぞれの単一予測動きベクトル候補リスト内の動き
ベクトル。
より具体的には、これは、例えば、表1に示すような三角形予測マージリストインデッ
クス通知表を用いた表検索操作によって達成される。現在のVVC参照ソフトウェアVT
Mでは、この表は、次のように定義されるサイズ40×3の配列である。
Figure 2023011832000002
この2次元配列には、40行3列がある。第1列の値は区画の方向を示し、0は一方の
区画の方向を示し、1はもう一方の区画の方向を示す。第2列および第3列の値は、2つ
のパーティション、例えば、2つの三角形パーティションのそれぞれについて、単一予測
動きベクトル候補リスト内の対応する単一予測動きベクトルへのインデックス値である。
前に示したように、現在のVVC標準ドラフトによれば、単一予測動きベクトル候補リス
トには、2から5つの単一予測動きベクトルが含まれている。インデックス値は、このリ
ストにおけるどの動きベクトルが対応する三角形の区画に使用されるかを示す。
三角形予測モードでは、通知される表インデックス値の範囲は0~39である。インデ
ックス値は、復号化されると、上記の表に従って3つの数値を含むデータの行を検索する
ために使用されることができる。これらの3つの数値は、三角形予測区画の方向及び三角
形パーティションの2つの動きベクトルのそれぞれに対する単一予測マージリストのマー
ジリストインデックス値を表す。
現在のVVC標準ドラフトでは、三角形予測モードを拡張および/または簡略化するた
めに、三角形PUの概念は、本開示のある実施形態に係るPUパーティションの例を示す
図10に示すように、予測ユニットの他のパーティションに拡張される。三角形予測モー
ドで使用される方法または概念が、2つの対角の三角形PUパーティションに加えて、他
のPUパーティションに適用されることができる。基本的に、図10に示される所定の区
画タイプについて、各パーティション(例えば、PU0およびPU1)に対して2つの単
一方向予測子を導出し、2つのパーティションの境界領域の周りに適応的な重み付けを適
用する。例えば、三角形のPUに使用される方法は、水平および/または垂直のPUに適
用できる。
通常のマージモードの動きベクトル候補リスト
現在のVVCによれば、CU全体が複数のPUに分割されずに予測される通常のマージ
モードでは、動きベクトル候補リストまたはマージ候補リストは、三角形予測モードの場
合とは異なる手順で作成される。
まず、本開示のある実施形態に係る空間的マージ候補の位置を示す概略図である図12
に示されるように、隣り合うブロックからの動きベクトルに基づいて、空間的動きベクト
ル候補を選択される。空間的マージ候補の導出において、図12に示すような位置に配置
された候補から、4つまでのマージ候補を選択する。導出の順序は、A1 → B1 → B0→ A
0 → (B2)である。位置B2は、位置A1、B1、B0、A0におけるPUが使用できないか、イン
トラ符号化復号化した場合のみに考慮される。
次に、時間的なマージ候補を導出する。時間的マージ候補の導出において、所定の参照
画像リスト内の現在の画像との画像順序カウント(POC)の差が最小である画像に属す
る同じ位置に配置したPUに基づいて、スケーリングする動きベクトルを導出する。同じ
位置に配置したPUの導出に使用される参照画像リストは、スライスのヘッダーで明示的
に信号で通知される。時間的マージ候補のためのスケーリングする動きベクトルは、本開
示のある実施形態に係る時間的マージ候補の動きベクトルスケーリングを示す図13の点
線で示されるように得られる。時間的マージ候補のためのスケーリングする動きベクトル
は、POC距離tbおよびtdを使用して、同じ位置に配置したPUcol_PUの動きベクトルか
らスケーリングし、ここで、tbは、現在の画像の参照画像curr_refと現在の画像curr_pic
との間のPOC差として定義され、tdは、同じ位置に配置した画像の参照画像col_refと
この同じ位置に配置した画像col_picとの間のPOCの差として定義される。時間的マー
ジ候補の参照画像インデックスは0に設定される。スケーリング処理の実際的な実現は、
HEVCドラフト仕様に記載されている。Bスライスの場合、1つの動きベクトルが参照
画像List0のためのものとし、もう1つの動きベクトルが参照画像List1のため
のものとしてのような2つの動きベクトルを取得し、結合して、双予測マージ候補を作成
する。
図14は、本開示のある実施形態に係る、時間的マージ候補の候補位置を示す概略図で
ある。
同じ位置に配置されたPUの位置は、図14に示すように、2つの候補位置C3及びHか
ら選択される。位置HにおけるPUが使用できないか、イントラ符号化復号化したか、現
在のCTUの外部にある場合には、位置C3が時間的マージ候補の導出に使用される。それ
以外の場合には、位置Hが時間的マージ候補の導出に使用される。
上記のように空間的動きベクトルおよび時間的動きベクトルの両方をマージ候補リスト
に挿入した後、履歴ベースのマージ候補を追加する。いわゆる履歴ベースのマージ候補に
は、個別の動きベクトルリストに保持され特定のルールに基づいて管理される以前に符号
化復号化されたCUからの動きベクトルが含まれる。
履歴ベースの候補を挿入した後、マージ候補リストがいっぱいでない場合、このリスト
にペアワイズ平均動きベクトル候補をさらに追加する。その名前が示すように、このタイ
プの候補は、現在のリストにすでにある候補を平均化することで構成される。より具体的
には、特定の順序に基づいて、毎回マージ候補リストから2つの候補をずつ取得され、こ
の2つの候補の平均動きベクトルを現在のリストに追加する。
現在のVVCによれば、次の動きベクトルのペアリング順序によって、毎回リスト内の
どの2つの候補を取得して平均的な動きベクトル候補を導出することを決定する。
Figure 2023011832000003
各括弧ペアにおける2つの値は、マージ候補リスト内の2つの動きベクトル候補のイン
デックス値を表する。したがって、第1の平均動きベクトル候補は、マージ候補リスト内
の動きベクトル候補0および動きベクトル候補1を平均化することによって生成される。
第2の平均動きベクトル候補は、マージ候補リスト内の動きベクトル候補0及び動きベク
トル候補2を平均化することによって生成され、以下同様である。
ペアワイズ平均動きベクトルを挿入した後、マージ候補リストがまだいっぱいでない場
合には、リストがいっぱいになるまで、ゼロ動きベクトルを追加する。
動きベクトル差(MMVD)/究極の動きベクトルに表現(UMVE)によるマージモー
究極の動きベクトル表現(UMVE)はVVCで採用されており、参照ソフトウェアV
TMに統合されている。UMVEは、後でMVDによるマージモード(MMVD)に名前
が変更された。MMVDは、提案された動きベクトル表現方法によりスキップモードまた
はマージモードに使用される。
MMVDは、VVCと同じ方法でマージ候補を再利用する。マージ候補のうち候補を選
択することができ、提案された動きベクトル表現法によってさらに拡張される。
MMVDは、簡略化された信号による通知で新しい動きベクトル表現を提供している。
この表現方法には、開始点、動きの度合い及び動きの方向が含まれる。
提案された技術は、マージ候補リストをそのまま使用している。ただし、デフォルトの
マージタイプ(MRG_TYPE_DEFAULT_N)の候補のみがMMVDの拡張に使用される。
基本候補インデックス(IDX)は開始点を指定する。基本候補インデックスは、以下の
表における候補のうち最良の候補を示す。
Figure 2023011832000004
基本候補の数が1に等しい場合には、基本候補IDXは信号で通知されない。
距離インデックスは、動きの度合いの情報である。距離インデックスは、開始点からの
予め定められた距離を示す。予め定められた距離は次のとおりである。
Figure 2023011832000005
方向インデックスは、開始点に対するMVDの方向を表する。方向インデックスは、以
下の表に示すように4つの方向を表すことができる。
Figure 2023011832000006
MMVDフラグは、スキップフラグ及びマージフラグが送信された直後に信号で通知さ
れる。MMVDフラグは、スキップフラグおよびマージフラグがtrueの場合に、解析され
る。MMVDフラグが1に等しいと、MMVD構文が解析され、それ以外の場合、AFFINE
フラグが解析される。AFFINEフラグは、1の場合、AFFINEモードを示し、それ以外の場合
、スキップ/マージインデックスがVTMのスキップ/マージモードのために解析される。
インター予測とイントラ予測の組み合わせ(CIIP)
VTMでは、CUがマージモードで符号化復号化した場合に、このCUに少なくとも64
の輝度サンプルが含まれている(即ち、CUの幅とCUの高さとの積が64以上である)
と、追加のフラグが信号で通知されて、結合されたインター/イントラ予測(CIIP)
モードを現在のCUに適用することを示す。
CIIPを形成するために、最初に2つの追加の構文要素からイントラ予測モードを導
出する。DC、平面、水平、または垂直のような4つまでの可能なイントラ予測モードが
使用できる。次に、通常のイントラおよびインター復号化処理によって、インター予測お
よびイントラ予測信号を導出する。最後に、CIIP予測を取得するために、インター及
びイントラ予測信号の加重平均化を実行する。
イントラ予測モードの導出では、DC、平面(PLANAR)、水平(HORIZONTAL)、または
垂直(VERTICAL)を含む4つまでのモードを使用してCIIPモードにおける輝度成分を
予測ことができる。CUの形状が非常に広い場合(つまり、その幅が高さの2倍を超える
場合)には、水平モードが許可されない。CUの形状が非常に狭い場合(つまり、その高
さが幅の2倍を超える場合)には、垂直モードが許可されない。これらの場合には、3つ
のイントラ予測モードのみが許可される。
CIIPモードは、イントラ予測に3つの最も可能性の高いモード(MPM)を使用す
る。CIIP MPM候補リストは次のように形成される。
左側及び上方の隣接ブロックを、それぞれA及びBとする。
それぞれintraModeAおよびintraModeBとして示されるブロックAおよびブロックBのイン
トラ予測モードは、次のように導出される。
i.XをAまたはBとする;
ii.1)ブロックXが使用できない;または2)ブロックXがCIIPモードまたはイン
トラモードによって予測されない;3)ブロックBが現在のCTUの外部にあると、intr
aModeXはDCに設定される;
iii.それ以外の場合、intraModeXは、1)ブロックXのイントラ予測モードがDCまたは
平面の場合に、DCまたは平面に設定される;または2)ブロックXのイントラ予測モー
ドが「垂直に似ている」角度モード(34より大きい)の場合に、垂直に設定される、ま
たは3)ブロックXのイントラ予測モードが「水平に似ている」角度モード(34以下)
である場合に、水平に設定される;
intraModeAとintraModeBとが同じであれば:
i.intraModeAが平面またはDCの場合には、3つのMPMが順番に{平面、DC、垂直}
に設定される;
ii.それ以外の場合には、この3つのMPMが順番に{intraModeA、平面、DC}に設定
される;
それ以外の場合には(intraModeAとintraModeBとは異なる):
i.最初の2つのMPMは、順番に{intraModeA、intraModeB}に設定される;
ii. 最初の2つのMPM候補モードに対して平面、DC、および垂直の一意性をこの順序
で確認する;一意のモードが発見されると、3番目のMPMとして追加される。
CUの形状が以上で定義したように非常に広いか非常に狭いと、MPMフラグは信号で
通知されなくで1と推測される。それ以外の場合には、MPMフラグが信号で通知されて
、CIIPイントラ予測モードがCIIP MPM候補モードのうちの1つであるかどう
かを示す。
MPMフラグが1であると、MPMインデックスをさらに信号で通知して、MPM候補
モードのうちのどちらがCIIPイントラ予測で使用されるかを示す。それ以外の場合、
MPMフラグが0であると、イントラ予測モードはMPM候補リストにおける「欠落」モ
ードに設定する。例えば、平面モードがMPM候補リストになければ、平面モードは欠落
モードであるため、イントラ予測モードは平面に設定される。CIIPでは、4つの可能
なイントラ予測モードが許可されており、MPM候補リストには3つのイントラ予測モー
ドしか含まれていないため、この4つの可能なモードのうちの1つが欠落モードである必
要がある。
彩度成分の場合、DMモードは常に追加の信号による通知なしで適用され、つまり、彩
度は輝度と同じ予測モードを使用する。この例では、彩度イントラ予測モードは、輝度成
分のためのイントラ予測モードを直接再利用する。したがって、導出モードまたはDMモ
ードと呼ばれる。
CIIP符号化されたCUのイントラ予測モードは保存され、将来の隣接CUのイント
ラモード符号化復号化に使用される。
インター予測信号及びイントラ予測信号を組み合わせるために、通常のマージモードに
適用されるインター予測処理と同じ処理によってCIIPモードにおけるインター予測信
号P_interを導出する;通常のイントラ予測処理に従うCIIPイントラ予測モードによ
ってイントラ予測信号P_intraを導出する。次に、以下のように、加重平均によってイン
トラ予測信号とインター予測信号とを結合し、ここで、重み値がイントラ予測モードに依
存し、サンプルが符号化ブロック内にある。
イントラ予測モードがDCモードまたは平面モードであれば、またはブロックの幅また
は高さが4より小さいであれば、イントラ予測信号及びインター予測信号に等しい重みを
適用する。
それ以外の場合、重みは、イントラ予測モード(水平モードまたは垂直モード)及びブ
ロック内のサンプル位置に基づいて決定されたものである。水平予測モードを例とし(垂
直モードのための重みの導出が同様であるが、直交方向になる)、Wをブロックの幅、H
をブロックの高さとすると、まず、符号化ブロックは、それぞれが(W/4)×Hのサイ
ズを持つ4つの等面積部分に分割される。イントラ予測参照サンプルに最も近い部分から
始まり、イントラ予測参照サンプルから最も遠い部分で終わり、この4つの部分または領
域のそれぞれの重みwtがそれぞれ6、5、3および2に設定される。以下の式によって、
最終的なCIIP予測信号を導き出す。
Figure 2023011832000007
以上で説明したように、三角形予測マージリストインデックスは、40×3サイズの予
め定義された表1に基づいて信号で通知される。この表の最初の列は三角形区画の方向を
示し、2番目及び3番目の列は、CUの2つの三角形予測ユニットのそれぞれのための単
一予測動きベクトル候補リスト内の動きベクトル候補のインデックス値を示す。この表は
、エンコーダー側及びデコーダー側の両方に格納される必要がある。本開示のある例では
、この表のサイズを縮小することができることが提案されている。
三角形区画の方向及びマージリストインデックスの別個の信号による通知
三角形予測マージリストインデックの信号による通知のためにVVCで定義されている
現在の表1は、データ訓練により導出できる。この表では、三角形区画の方向及びマージ
リストインデックスが信号による通知のためにグループ化されている。理論的には、一方
の三角形区画の方向が、もう一方の三角形区画の方向よりも常に使用される可能性が高い
とは考えられない。したがって、本開示に基づいて、三角形区画の方向の信号による通知
は、マージリストインデックスの信号による通知から分離し得る。
より具体的には、本開示によれば、三角形予測モードで、例えば、区画方向フラグまた
は三角形区画方向フラグと呼ばれる個別のフラグが、2つの三角形区画方向のどちらが使
用されるかを示すために信号で通知され得る。単一予測マージリストまたは単一予測動き
ベクトル候補リストにおける選択されたエントリを示す2つのマージリストインデックス
値は、それぞれが1つの三角形パーティションのためのものであって、表インデックス値
として一緒に信号で通知される。
例えば、以下の20×2サイズの表5は、これらの2つの三角形予測ユニットのマージ
リストインデックス値の信号による通知に使用できる。この場合、どちらのマージリスト
インデックス値がこれらの2つの三角形パーティションのそれぞれに使用されるかを示す
ために、0から19の範囲で表インデックス値を通知することができる。
表2.簡略化された三角形予測マージリストインデックスの信号による通知
g_triangleCombination[20][2] = {
{ 0, 1 }, { 1, 0 }, { 0, 2 }, { 2, 0 }, { 1, 2 },
{ 2, 1 }, { 0, 3 }, { 3, 0 }, { 1, 3 }, { 3, 1 },
{ 0, 4 }, { 4, 0 }, { 2, 3 }, { 3, 2 }, { 1, 4 },
{ 4, 1 }, { 2, 4 }, { 4, 2 }, { 3, 4 }, { 4, 3 }
}。
なお、上記の表は一例に過ぎない。他の組み合わせ順序が使用されてもよい。
なお、三角形区画方向フラグ及び表インデックス値(マージリストインデックスの組み合
わせを示す)の信号による通知の順序も変更してもよい。言い換えると、三角形区画方向
フラグは、表インデックス値の前、または表インデックス値の後に信号で通知されてもよ
い。
本開示の別の例によれば、三角形区画方向フラグは、値が0である確率と値が1である
確率と等しい(すなわち、50%の確率)という仮定で簡単に符号化できる。つまり、こ
のフラグは常にCABACバイパスビン(bypass bin)として符号化されることが可能で
ある。
したがって、ある例では、この方法は、ビデオ画像を複数の符号化ユニット(CU)に
区画し、この複数の符号化ユニットのうちの少なくとも1つは、さらに左上隅から右下隅
へおよび右上隅から左下隅への区画方向の1つにおける少なくとも1つの三角形のPUを
含む2つの予測ユニット(PU)に分けられる;単一予測動きベクトル候補リストを構成
する;符号化された情報に従って、現在のCUを三角形予測モードに符号化するかどうか
を決定する;区画の方向を示す区画方向フラグを信号で通知する;構成された単一予測動
きベクトル候補リスト内の選択されたエントリを示すインデックス値を信号で通知するこ
とを含む。
マージインデックス値の区画マッピングへの個別の信号による通知
本開示の別の例によれば、メモリ要件をさらに減らすために、三角形予測モードでは、
例えばマッピングフラグと呼ばれる追加のフラグが、インデックス値がどのように2つの
三角形のパーティションに割り当てられるか、または2つのインデックス値と2つの三角
形のパーティションとの間のマッピング方式を示すように信号で通知されることが可能で
ある。
より具体的には、この方法は、表5に示すデータに対称性があるという事実に基づくも
のである。例えば、この表における最初の2行{0, 1}及び{1, 0}を注目すると、これらの
2行は、2つの三角形のパーティションに割り当てられた単一予測マージリスト内の2つ
の同じ動きベクトルを表すが、対応性が異なる。{0, 1}は、マージリストにおける最初の
動きベクトル候補が第1のパーティションに割り当てられ、そのマージリストにおける2
番目の動きベクトル候補が2番目のパーティションに割り当てられることを示す。{1, 0}
は、マージリストにおける2番目の動きベクトル候補が第1のパーティションに割り当て
られ、そのリストにおける最初の動きベクトル候補が2番目のパーティションに割り当て
られることを示す。本開示の例によれば、これらの2つの場合は、両方とも{0, 1}によっ
て、これらの2つの場合を区別するのためのマッピングフラグとともに、信号で通知され
ることができる。
表3.さらに簡略化された三角形予測マージリストインデックスの信号による通知
g_triangleCombination[10][2] = {
{ 0, 1 }, { 0, 2 }, { 1, 2 }, { 0, 3 }, { 1, 3 },
{ 0, 4 }, { 2, 3 }, { 1, 4 },{ 2, 4 }, { 3, 4 },
}。
上記の例示に基づいて、この表は、さらに10×2サイズの表6として簡略化されるこ
とが可能である。この場合、0から9の範囲の表インデックス値が信号で通知されて、ど
のマージリストインデックス値が2つの三角形のパーティションに使用されるか示す。表
インデックス値とともに、1つのマッピングフラグは信号で通知される。例えば、表イン
デックス値0が信号で通知されたと、マージリストにおける1番目及び2番目の動きベク
トル候補が使用されることを意味する{0, 1}を示す。マッピングフラグが0の場合、マー
ジリストにおける1番目の動きベクトル候補が1番目のパーティションに割り当てられ、
そのリストの2番目の動きベクトル候補が2番目のパーティションに割り当てられている
ことを示していることが可能である。それ以外の場合、マッピングフラグが1であると、
マージリストにおける2番目の動きベクトル候補が1番目のパーティションに割り当てら
れ、そのリストの1番目の動きベクトル候補が2番目のパーティションに割り当てられて
いることを示していることが可能である。
なお、上記の表は一例に過ぎない。他の組み合わせ順序を使用されてもよい。
なお、マッピングフラグ及び表インデックス値(マージリストインデックスの組み合わ
せを示す)の信号による通知の順序も変更してもよい。言い換えると、マッピングフラグ
は、表インデックス値の前、または表インデックス値の後に信号で通知されてもよい。
本開示の別の例によれば、マッピングフラグは、値が0である確率と値が1である確率
と等しい(すなわち、50%の確率)という仮定で簡単に符号化できる。つまり、このフ
ラグは常にCABACバイパスビン(bypass bin)として符号化されることが可能である

ペアワイズ平均動きベクトルとのマージリストインデックス組み合わせ表の共有
前に説明したように、通常のマージモード動きベクトル候補リストの生成処理中に、動
きベクトルのペアリング順序は、ペアワイズ平均動きベクトルを生成するときに使用され
る。例に示す動きベクトルのペアリング順序は次のとおりである。
Figure 2023011832000008
本開示の別の例によれば、1つの表のみを定義することが可能であり、この表は、a)
通常モードのペアワイズ平均動きベクトルの生成、およびb)三角形予測モードマージリ
ストインデックスの信号による通知の両方に対して共有されることが可能である。
例えば、表6は、通常モードのペアワイズ平均動きベクトルの生成にも使用されるよう
に、さらに以下の表7に変更されることが可能である。
表4.共有のインデックス組み合わせ
g_triangleCombination[10][2] = {
{ 0, 1 }, { 0, 2 }, { 1, 2 }, { 0, 3 }, { 1, 3 },
{ 2, 3 }, { 0, 4 }, { 1, 4 },{ 2, 4 }, { 3, 4 },
}。
なお、上記の表7の最初の6つのエントリは、前に示した動きベクトルのペアリング順
序と同じである。したがって、この6つの連続するエントリは共有部分と見なすことがで
きる。
前述のように別の態様では、現在のVVC標準ドラフトによれば、三角形予測フラグは
、隣り合うブロックの三角形予測フラグ値から導出されたコンテキストに基づいて符号化
復号化される。ただし、実際のビデオコンテンツでは、三角形予測モードの選択に関して
、隣り合うブロック間の相関が高くない場合がある。三角形予測フラグを符号化復号化す
ることについて、コンテキストを形成するある別の方法が提案されている。
現在のビデオ符号化復号化標準でCIIPモードを選択している場合、三角形予測モー
ドは通常使用されない。CUについてCIIPモードが選択されているかどうかに関わら
ず、現在のCUの三角形予測フラグを常に信号で通知することは効率的ではない。
さらに、現在のVVC標準ドラフトによれば、MMVDフラグがtrueであるかどう
かに関わらず、三角形予測フラグが信号で通知される。MMVDモードを三角形予測モー
ドと一緒に使用しない場合には、符号化効率を向上させるように信号による通知を相互に
排他的にすることもできる。
異なるコンテキストによる三角形予測フラグの符号化復号化
本開示のある例によれば、現在のCUについて三角形予測フラグを符号化復号化(符号
化または復号化)する必要がある場合には、コンテキストは、CABAC符号化復号化の
ために現在のVVC標準ドラフトとは異なって導出されることが可能である。
本開示のある例では、コンテキストは、CU領域サイズ(即ち、CU高さの値にCU幅
の値を掛けたもの)に基づいて導出される。つまり、同じサイズのCUが同じコンテキス
トを共有することができる。
本開示の他のある例では、コンテキストは、CU形状(即ち、CU幅に対するCU高さ
の比率)に基づいて形成される。例えば、水平方向の長方形のCU(即ち、CUの幅がC
Uの高さよりも大きいもの)は第1のコンテキストを共有し、垂直方向の長方形のCU(
即ち、CUの高さはCUの幅よりも大きいもの)は第2のコンテキストを共有し、正方形
のCU(即ち、CUの高さがCUの幅に等しいもの)は、第3のコンテキストを共有する
ことができる。
別の例では、水平方向または垂直方向に関わらず、短側に対する長側の比率が近似する
長方形のCUは1つのコンテキストを共有し、正方形のCUは別のコンテキストを共有す
る。この場合には、それぞれが、CU短側に対するCU長側の異なる比率、および/また
はCU短側に対するCU長側の異なる範囲の比率に対応する複数のコンテキストを使用す
ることができる。例えば、CUの短側に対するCUの長側の比率が4より大きいCUのた
めの第1のコンテキスト、CUの短側に対するCUの長側の比率が2より大きく4より小
さいCUのための第2のコンテキスト、CUの短側に対するCUの長側の比率が1.5よ
り大きく2より小さいCUのための第3のコンテキスト、CUの短側に対するCUの長側
の比率が1より大きく1.5より小さいCUのための第4のコンテキスト、及び正方形の
CUのための第5のコンテキストがある。他の実施の形態も可能である。
本開示のさらに別の例によれば、三角形予測フラグは、CUパラメータおよび/または
条件に関わらず、常に1つの共通のコンテキストを使用して符号化復号化される。
CIIPフラグに関する三角形予測フラグの符号化復号化
本開示のある例によれば、CUに関してCIIP予測モードが選択されている場合、三
角形予測フラグは、このCUに関して符号化復号化されないことが可能である。したがっ
て、CUに関してCIIP予測モードが選択されていない場合にのみ、三角形予測フラグ
がこのCUに関して信号で通知されることができる。三角予測フラグが信号で通知されな
かた場合には、デコーダ側で0と推定することが可能である。
MMVDフラグに関する三角形予測フラグの符号化復号化
本開示の他のある例によれば、CUに関してMMVD予測モードが選択されている場合
、三角形予測フラグは、このCUに関して符号化復号化されないことが可能である。した
がって、CUに関してMMVD予測モードが選択されていない場合にのみ、三角形予測フ
ラグがこのCUに関して信号で通知されることができる。三角予測フラグが信号で通知さ
れなかた場合、デコーダ側で0と推定することが可能である。
三角形予測ユニットの上でMMVD予測の有効化
本開示のさらに別のある例によれば、三角形予測ユニットの上では、MMVD予測モー
ドを有効にすることができる。この場合、CUに関してMMVD予測モードが選択されて
いても、三角形予測ユニットが使用されていることを示すように、三角形予測フラグが追
加的に信号で通知される。MMVD予測モード及び三角形予測モードの両方がCUに関し
てtrueである場合、MMVDモードでのMVD関連構文は、2つの三角形予測ユニッ
トのそれぞれについて追加的に信号で通知されることが可能である。
図15は、本開示のある実施形態に係る、ビデオ符号化復号化のための装置を示すブロ
ック図である。装置1500は、携帯電話、タブレットコンピュータ、デジタル放送端末
、タブレット装置、または携帯情報端末などの端末であってもよい。
装置1500は、図15に示されるように、処理部1502、メモリ1504、電源部
1506、マルチメディア部1508、オーディオ部1510、入力/出力(I/O)イ
ンターフェース1512、センサ部1514、および通信部1516のうちの1つ以上を
含んでもよい。
処理部1502は、通常に、表示、電話発呼、データ通信、カメラ操作、および記録操
作に関連する操作など、装置1500の全体的な操作を制御する。処理部1502は、上
記の方法のステップの全部または一部を実現するための命令を実行するための1つまたは
複数のプロセッサ1520を含むことが可能である。さらに、処理部1502は、処理部
1502と他の部材との間のインタラクションに寄与する1つまたは複数のモジュールを
含むことが可能である。例えば、処理部1502は、マルチメディア部1508と処理部
1502との間のインタラクションに寄与するためのマルチメディアモジュールを含んで
もよい。
メモリ1504は、装置1500の動作をサポートするために異なるタイプのデータを
格納するように構成される。そのようなデータの例には、装置1500上で動作する任意
のアプリケーションまたは方法のための命令、連絡先データ、電話帳データ、メッセージ
、画像、ビデオなどが含まれる。メモリ1504は、任意のタイプの揮発性または非揮発
性の記憶装置またはそれらの組み合わせによって実現され、メモリ1504は、静的ラン
ダムアクセスメモリ(SRAM:Static Random Access Memory)、電気的に消去可能な
プログラマブルリードオンリーメモリ(EEPROM:Electrically Erasable Programm
able Read-Only Memory)、消去型プログラマブルリードオンリメモリ(EPROM:Era
sable Programmable Read-Only Memory)、プログラマブルリードオンリメモリ(PRO
M:Programmable Read-Only Memory)、リードオンリメモリ(ROM:Read-Only Memor
y)、磁気メモリ、フラッシュメモリ、磁気ディスク、またはコンパクトディスクであっ
てもよい。
電源部1506は、装置1500の各部材に電力を供給する。電源部1506は、電源管
理システム、1つまたは複数の電源、および装置1500に電力を生成、管理、および分
配に関連する他の部材を含んでもよい。
マルチメディア部1508は、装置1500とユーザとの間の出力インターフェースを提
供するスクリーンを含む。ある例では、スクリーンには、LCDおよびタッチパネル(T
P)を含んでもよい。スクリーンがタッチパネルを含む場合、スクリーンは、ユーザから
の入力信号を受信するタッチスクリーンとして実現してもよい。このタッチパネルは、こ
のタッチパネル上のタッチ、スライド、およびジェスチャを感知するための1つまたは複
数のタッチセンサーを含んでもよい。タッチセンサーは、タッチまたはスライド動作の境
界を感知するだけでなく、タッチまたはスライド操作に関連する持続時間および圧力も検
出することができる。ある例では、マルチメディア部1508は、フロントカメラおよび
/またはリアカメラを含んでもよい。装置1500が撮像モードまたはビデオモードなど
の動作モードにあるとき、フロントカメラおよび/またはリアカメラは、外部マルチメデ
ィアデータを受信することができる。
オーディオ部1510は、オーディオ信号を出力および/または入力するように構成さ
れる。例えば、オーディオ部1510は、マイクロフォン(MIC)を含む。マイクロフ
ォンは、装置1500が通話モード、録音モード、および音声認識モードなどの動作モー
ドにあるとき、外部オーディオ信号を受信するように構成される。受信されたオーディオ
信号は、メモリ1504にさらに格納されてよく、または通信部1516を介して送信さ
れてもよい。ある例では、オーディオ部1510は、オーディオ信号を出力するためのス
ピーカーをさらに含む。
I/Oインターフェース1512は、処理部1502と周辺インターフェースモジュー
ルとの間のインターフェースを提供する。上述の周辺インターフェースモジュールは、キ
ーボード、クリックホイール、ボタンなどであってもよい。これらのボタンには、ホーム
ボタン、音量ボタン、スタートボタン、およびロックボタンが含まれるが、これらに限定
されない。
センサ部1514は、装置1500の異なる態様で状態評価を提供するための1つまた
は複数のセンサを含む。例えば、センサ部1514は、装置1500のオン/オフ状態お
よび構成要素の相対位置を検出することができる。例えば、構成要素は、装置1500の
ディスプレイおよびキーパッドである。センサ部1514はまた、装置1500または装
置1500の構成要素の位置変化、装置1500上でのユーザの接触の有無、装置150
0の向きまたは加速/減速、および装置1500の温度変化を検出することができる。セ
ンサ部1514は、物理的な接触なしに近くの物体の存在を検出するように構成される近
接センサを含んでもよい。センサ部1514は、画像化アプリケーションで使用されるC
MOSまたはCCD画像センサなどの光学センサをさらに含んでもよい。ある例では、セ
ンサー部1514は、加速度センサー、ジャイロセンサー、磁気センサー、圧力センサー
、または温度センサーをさらに含んでもよい。
通信部1516は、装置1500と他の装置との間の有線または無線通信に役立つよう
に構成される。装置1500は、WiFi、4G、またはそれらの組み合わせなどの通信
標準に基づいて無線ネットワークにアクセスすることができる。一例では、通信部151
6は、報知チャネルを介して外部報知管理システムから報知信号または報知関連情報を受
信する。一例では、通信部1516は、短距離通信を促進するための近距離無線通信(N
FC)モジュールをさらに含んでもよい。例えば、NFCモジュールは、無線周波数識別
(RFID)技術、赤外線データ関連付け(IrDA)技術、超広帯域(UWB)技術、
ブルートゥース(BT)技術および他の技術に基づいて実現してもよい。
一例では、装置1500は、上記の方法を実行するための特定用途向け集積回路(AS
IC)、デジタル信号プロセッサ(DSP)、デジタル信号処理装置(DSPD)、プロ
グラマブル論理装置(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、
コントローラー、マイクロコントローラー、マイクロプロセッサー、またはその他の電子
要素の1つまたは複数によって実現してもよい。
非一時的なコンピュータ読取可能な記憶媒体は、例えば、ハードディスクドライブ(H
DD)、固体ドライブ(SSD)、フラッシュメモリ、ハイブリッドドライブや固体ハイ
ブリッドドライブ(SSHD)、読み出し専用メモリ(ROM)、コンパクトディスク読
み出し専用メモリ(CD―ROM)、磁気テープ、フロッピーディスクなどである。
図16は、本開示のある実施形態に係る、三角形予測による動き補償予測のためのビデ
オ符号化復号化の例示的なプロセスを示すフローチャートである。
ステップ1602において、プロセッサ1520は、ビデオ画像を、少なくとも1つが
さらに左上隅から右下隅702までおよび右上隅から左下隅704までの区画方向のうち
の1つを有する少なくとも1つの三角形のPUを含む2つの予測ユニット(PU)に区画
される複数の符号化ユニット(CU)に区画する。ステップ1604において、プロセッ
サ1520は、単一予測運動ベクトル候補リストを構成する。ステップ1606において
、プロセッサ1520は、現在のCUが、符号化された情報に従って、三角形予測モード
として符号化されているかどうかを決定する。ステップ1608において、プロセッサ1
520は、区画方向を示す区画方向フラグを信号で通知する。ステップ1610において
、プロセッサ1520は、構成された単一予測動きベクトル候補リスト内の選択されたエ
ントリを示すインデックス値を信号で通知する。
図17は、本開示のある実施形態に係る、三角形予測フラグのためのビデオ符号化復号
化の例示的なプロセスを示すフローチャートである。
ステップ1702において、プロセッサ1520は、ビデオ画像を、少なくとも1つが
さらに少なくとも1つの三角形の予測ユニット(PU)を含む2つのPUに区画される複
数の符号化ユニット(CU)に区画する。
ステップ1704において、プロセッサ1520は、現在のCUに関して三角形予測モ
ードを示す三角形予測フラグが復号化されるべきかどうかを決定する。
ステップ1706において、プロセッサ1520は、現在のCUに関して三角形予測フ
ラグが復号化されるべきであると決定したと、CABACによってこの三角形予測フラグ
を導出する。
三角形予測フラグのためのCABACのコンテキストは、CUの領域サイズ、CUの形
状及び共通のコンテキストからなるグループから選択された少なくとも1つに基づいて導
出される。
ある例では、ビデオ符号化復号化のための装置が提供される。この装置は、プロセッサ
1520と、このプロセッサによって実行可能な命令を格納するように構成されたメモリ
1504と、を含む。ここで、このプロセッサは、命令の実行時に、図16に示すような
方法または図17に示すような方法を実行するように構成される。
他のある例では、命令が格納された、非一時的なコンピュータ読取可能な記憶媒体15
04が提供される。これらの命令は、プロセッサ1520によって実行されると、このプ
ロセッサに、図16に示すような方法又は図17に示すような方法を実行させる。
本開示の説明は、例示の便利のために提示されており、網羅的なまたは開示された形態
の発明に限定することを意図するものではない。各種の変更、変形、および置換した実現
は、前述の説明および関連する図面に提示された教示を得った当業者にとっては明らかで
ある。
実施形態は、本発明の原理、実際の適用を最もよく説明し、当業者が各種の実施のため
に本発明を理解し、特定の用途に適するために各種の変更で基礎となる原理および各種の
実施を最もよく利用できるようにするために選択されおよび説明されたものである。した
がって、本開示の範囲は、開示された実現の特定の例に限定されなく、変更および他の実
現も、本開示の範囲に含まれることを理解されるべきである。
図3は、本開示のある実施形態に係るビデオデコーダ30を例示するブロック図である。ビデオデコーダ30は、ビデオデータメモリ79、エントロピー復号化部80、予測処理部81、逆定量化部86、逆変換処理部88、加算器90およびDPB92を備える。予測処理部81は、動き補償部82、イントラ予測部84、イントラBC部85及びイントラ/インターモート選択部87をさらに備える。ビデオデコーダ30は、図2に参照してビデオエンコーダ20に関して上述した符号化プロセスとおおよそ逆の復号化プロセスを実行することができる。例えば、動き補償部82は、エントロピー復号部80から受信した動きベクトルに基づいて予測データを生成し、イントラ予測部84は、エントロピー復号化部80から受信したイントラ予測モードインジケータに基づいて予測データを生成することができる。
ある例では、ビデオデコーダ30内の一つの構成要素が本開示の実施を実行することを担当してもよい。また、ある例では、本開示の実施は、ビデオデコーダ30内の1つまたは複数の構成要素に分割されてもよい。例えば、イントラBC部85は、本開示の実施を単独で実現してもよく、または動き補償部82、イントラ予測部84およびエントロピー復号化部80などのビデオデコーダ30における他の構成要素と組み合わせて実現してもよい。ある例では、ビデオデコーダ30は、イントラBC部85を含まなく、イントラBC部85の機能が動き補償部82などの予測処理部81における他の構成要素によって実現されてもよい。
ビデオフレームがイントラ予測符号化(I)フレームに符号化された場合、または他のタイプのフレームのイントラ符号化予測ブロックに用いられる場合には、予測処理部81におけるイントラ予測部84は、通知されたイントラ予測モードと、現在のフレームからの以前復号化されたブロックからの参照データとに基づいて、現在のビデオフレームのビデオブロックの予測データを生成することができる。
また、QTBT方式は、輝度及び彩度について個別のQTBT構造を持つ能力をサポートする。現在、Pスライス及びBスライスの場合、1つのCTU内の輝度CTB及び彩度CTBは同じQTBT構造を共有している。ただし、Iスライスの場合、輝度CTBは1つのQTBT構造によって輝度CUに分割され、彩度CTBは別のQTBT構造によって彩度CUに分割される。これは、Iスライス内のCUが輝度成分の符号化ブロックまたは2つの彩度成分の符号化ブロックからなり、PスライスまたはBスライス内のCUが3つの色成分すべての符号化ブロックからなることを意味する。
重み係数セットは、これらの2つの三角形予測ユニットの動きベクトルの比較に基づいて選択される。より具体的には、これらの2つの三角形予測ユニットの参照画像が互いに異なる場合、またはこれらの2つの三角形予測ユニットの動きベクトルの差が16画素より大きい場合には、第2の重み係数セットは使用される。それ以外の場合には、第1の重み係数セットが使用される。図9は、本開示のある実施形態に係る、重み係数セットによる重み付けの例を示す。図9には、第1の重み係数セットは、輝度サンプル902および彩度サンプル904に使用される。
三角形予測モードの構文及び信号での通知
図10に示すように、現在のブロック1000(または現在のCU)の三角形予測フラグを符号化復号化する(すなわち、符号化または復号化)ために、上方ブロック1004および左側ブロック1002(または上方CUおよび左側CU)の両方からの三角形予測フラグが導出されて、それらの値が合計される。この結果、次の場合に対応する3つの可能なコンテキストが生成される。
1)左側のブロック及び上方のブロックの両方には0の三角形予測フラグがある;
2)左側のブロック及び上方のブロックの両方には1の三角形予測フラグがある;
3)それ以外の場合。
現在のVVC標準ドラフトでは、三角形予測モードを拡張および/または簡略化するために、三角形PUの概念は、本開示のある実施形態に係るPUパーティションの例を示す図11に示すように、予測ユニットの他のパーティションに拡張される。三角形予測モードで使用される方法または概念が、2つの対角の三角形PUパーティションに加えて、他のPUパーティションに適用されることができる。基本的に、図11に示される所定の区画タイプについて、各パーティション(例えば、PU0およびPU1)に対して2つの単一方向予測子を導出し、2つのパーティションの境界領域の周りに適応的な重み付けを適用する。例えば、三角形のPUに使用される方法は、水平および/または垂直のPUに適用できる。
通常のマージモードの動きベクトル候補リスト
それぞれintraModeAおよびintraModeBとして示されるブロックAおよびブロックBのイントラ予測モードは、次のように導出される。
i.XをAまたはBとする;
ii.1)ブロックXが使用できない;または2)ブロックXがCIIPモードまたはイントラモードによって予測されない;3)ブロックが現在のCTUの外部にあると、intraModeXはDCに設定される;
iii.それ以外の場合、intraModeXは、1)ブロックXのイントラ予測モードがDCまたは平面の場合に、DCまたは平面に設定される;または2)ブロックXのイントラ予測モードが「垂直に似ている」角度モード(34より大きい)の場合に、垂直に設定される、または3)ブロックXのイントラ予測モードが「水平に似ている」角度モード(34以下)である場合に、水平に設定される;
したがって、ある例では、この方法は、ビデオ画像を複数の符号化ユニット(CU)に区画し、この複数の符号化ユニットのうちの少なくとも1つは、さらに左上隅から右下隅へおよび右上隅から左下隅への区画方向の1つにおける少なくとも1つの三角形のPUを含む2つの予測ユニット(PU)に分けられる;単一予測動きベクトル候補リストを構成する;符号化された情報に従って、現在のCUを三角形予測モードに符号化するかどうかを決定する;区画の方向を示す区画方向フラグを信号で通知する;構成された単一予測動きベクトル候補リスト内の選択されたエントリを示すインデックス値を信号で通知することを含む。
マージインデックス値及び区画マッピングの個別の信号による通知

Claims (14)

  1. ビデオ画像を、少なくとも1つがさらに左上隅から右下隅へ、および右上隅から左下隅
    への区画方向のうちの1つを有する少なくとも1つの三角形のPUを含む2つの予測ユニ
    ット(PU)に区画される複数の符号化ユニット(CU)に区画することと、
    単一予測運動ベクトル候補リストを構成することと、
    現在のCUが、符号化された情報に従って、三角形予測モードとして符号化されるかど
    うかを決定することと、
    前記区画方向を示す区画方向フラグを信号で通知することと、
    構成された前記単一予測動きベクトル候補リストにおける選択されたエントリを示すイ
    ンデックス値を信号で通知することと、
    を含むビデオ符号化復号化のための方法。
  2. 前記単一予測動きベクトル候補リストには、2から5つの単一予測動きベクトル候補を
    含む、請求項1に記載の方法。
  3. 前記区画方向フラグは、コンテキストベース適応型バイナリー算術符号化(CABAC
    )バイパスビンとして符号化された、請求項1に記載の方法。
  4. 前記現在のCUの前記三角形予測モードは、すべての他のマージ関連モードが無効とし
    て通知されたとの決定に基いて、有効になっていると推定される、請求項1に記載の方法
  5. ビデオ画像を、少なくとも1つがさらに少なくとも1つの三角形の予測ユニット(PU
    )を含む2つの予測ユニット(PU)に区画される複数の符号化ユニット(CU)に区画
    することと、
    現在のCUに関して三角形予測モードを示す三角形予測フラグが復号化されるべきかど
    うかを決定することと、
    前記現在のCUに関して前記三角形予測フラグが復号化されるべきであると決定したと
    、コンテキストベース適応型バイナリー算術符号化(CABAC)によって前記三角形予
    測フラグを導出することと、
    を含み、
    前記三角形予測フラグのためのCABACのコンテキストは、CUの領域サイズ、CU
    の形状及び共通のコンテキストからなるグループから選択された少なくとも1つに基づい
    て導出される、ビデオ符号化復号化のための方法。
  6. 前記三角形予測フラグが復号化されるべきかどうかを決定することは、
    前記現在のCUに関して結合されたインター及びイントラ予測(CIIP)モードが選
    択されたかどうかを決定することと、
    前記現在のCUに関して動きベクトル差によるマージモード(MMVD)予測モードが
    選択されたかどうかを決定することと、ことと、
    からなるグループから選択された少なくとも1つを含む、請求項5に記載の方法。
  7. 前記現在のCUに関してMMVD予測モード及び三角形予測モードの両方が選択された
    と決定したと、前記2つのPUのそれぞれに関して動きベクトル差(MVD)関連構文を
    信号で通知すること、
    をさらに含む、請求項5に記載の方法。
  8. プロセッサと、
    前記プロセッサによって実行可能な命令を格納するように構成されるメモリと、
    を含み、
    前記プロセッサは、前記命令を実行すると、
    ビデオ画像を、少なくとも1つがさらに左上隅から右下隅へ、および右上隅から左下隅
    への区画方向のうちの1つを有する少なくとも1つの三角形のPUを含む2つの予測ユニ
    ット(PU)に区画される複数の符号化ユニット(CU)に区画し、
    単一予測運動ベクトル候補リストを構成し、
    現在のCUが、符号化された情報に従って、三角形予測モードとして符号化されるかど
    うかを決定し、
    前記区画方向を示す区画方向フラグを信号で通知し、
    構成された前記単一予測動きベクトル候補リストにおける選択されたエントリを示すイ
    ンデックス値を信号で通知する、
    のような操作を実行するように構成されるビデオ符号化復号化のための装置。
  9. 前記単一予測動きベクトル候補リストには、2から5つの単一予測動きベクトル候補を
    含む、請求項8に記載の装置。
  10. 前記区画方向フラグは、コンテキストベース適応型バイナリー算術符号化(CABAC
    )バイパスビンとして符号化された、請求項8に記載の装置。
  11. 前記現在のCUの前記三角形予測モードは、すべての他のマージ関連モードが無効とし
    て信号で通知されたとの決定に基いて、有効になっていると推定される、請求項8に記載
    の装置。
  12. プロセッサと、
    前記プロセッサによって実行可能な命令を格納するように構成されるメモリと、
    を含み、
    前記プロセッサは、前記命令を実行すると、
    ビデオ画像を、少なくとも1つがさらに少なくとも1つの三角形の予測ユニット(PU
    )を含む2つの予測ユニットPUに区画される複数の符号化ユニット(CU)に区画し、
    現在のCUに関して三角形予測モードを示す三角形予測フラグが復号化されるべきかど
    うかを決定し、
    前記現在のCUに関して前記三角形予測フラグが復号化されるべきであると決定したと
    、コンテキストベース適応型バイナリー算術符号化(CABAC)によって前記三角形予
    測フラグを導出する、
    のような操作を実行し、
    前記三角形予測フラグのためのCABACのコンテキストは、CUの領域サイズ、CU
    の形状及び共通のコンテキストからなるグループから選択された少なくとも1つに基づい
    て導出されるように構成される、ビデオ符号化復号化のための装置。
  13. 前記プロセッサは、さらに
    前記現在のCUに関して結合されたインター及びイントラ予測(CIIP)モードが選
    択されたかどうかを決定し、及び
    前記現在のCUに関して動きベクトル差によるマージモード(MMVD)予測モードが
    選択されたかどうかを決定する、
    のような操作を実行するように構成される、請求項12に記載の装置。
  14. 前記プロセッサは、さらに
    前記現在のCUに関してMMVD予測モード及び三角形予測モードの両方が選択された
    と決定したと、前記2つのPUのそれぞれに関して動きベクトル差(MVD)関連構文を
    信号で通知する、
    のような操作を実行するように構成される、請求項12に記載の装置。
JP2022176339A 2018-12-30 2022-11-02 三角形予測のためのビデオ符号化復号化の方法及び装置 Pending JP2023011832A (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201862786545P 2018-12-30 2018-12-30
US62/786,545 2018-12-30
US201862787219P 2018-12-31 2018-12-31
US62/787,219 2018-12-31
JP2021538726A JP7171928B2 (ja) 2018-12-30 2019-12-30 三角形予測のためのビデオ符号化復号化の方法及び装置
PCT/US2019/068975 WO2020142447A1 (en) 2018-12-30 2019-12-30 Methods and apparatus of video coding for triangle prediction

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021538726A Division JP7171928B2 (ja) 2018-12-30 2019-12-30 三角形予測のためのビデオ符号化復号化の方法及び装置

Publications (1)

Publication Number Publication Date
JP2023011832A true JP2023011832A (ja) 2023-01-24

Family

ID=71407098

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021538726A Active JP7171928B2 (ja) 2018-12-30 2019-12-30 三角形予測のためのビデオ符号化復号化の方法及び装置
JP2022176339A Pending JP2023011832A (ja) 2018-12-30 2022-11-02 三角形予測のためのビデオ符号化復号化の方法及び装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021538726A Active JP7171928B2 (ja) 2018-12-30 2019-12-30 三角形予測のためのビデオ符号化復号化の方法及び装置

Country Status (7)

Country Link
US (4) US11622111B2 (ja)
EP (2) EP4277277A3 (ja)
JP (2) JP7171928B2 (ja)
KR (4) KR20230074855A (ja)
CN (5) CN117041594B (ja)
MX (1) MX2021007977A (ja)
WO (1) WO2020142447A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117041594B (zh) 2018-12-30 2024-05-14 北京达佳互联信息技术有限公司 用于对视频进行编码的方法、设备、存储介质和程序产品
CN113055684B (zh) * 2019-06-24 2022-09-30 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN110312130B (zh) * 2019-06-25 2021-10-15 浙江大华技术股份有限公司 基于三角模式的帧间预测、视频编码方法及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7171928B2 (ja) * 2018-12-30 2022-11-15 ベイジン ダージャー インターネット インフォメーション テクノロジー カンパニー リミテッド 三角形予測のためのビデオ符号化復号化の方法及び装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2277318B1 (fr) * 2008-04-15 2020-11-04 Orange Codage et decodage d'une image ou d'une sequence d'images decoupees selon des partitions de pixels de forme lineaire
WO2011096770A2 (ko) * 2010-02-02 2011-08-11 (주)휴맥스 영상 부호화/복호화 장치 및 방법
CN102044089A (zh) * 2010-09-20 2011-05-04 董福田 一种三维模型的自适应化简、渐进传输和快速绘制的方法
DE102011050201A1 (de) * 2011-05-07 2012-11-08 Benedikt Hieronimi System zur Auswertung von Identifikationsmarken, Identifikationsmarken und deren Verwendung
US10805617B2 (en) * 2012-01-19 2020-10-13 Texas Instruments Incorporated Scalable prediction type coding
US9503720B2 (en) * 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
US20140029670A1 (en) * 2012-07-27 2014-01-30 Motorola Mobility Llc Devices and methods for processing of partition mode in high efficiency video coding
US9699450B2 (en) * 2012-10-04 2017-07-04 Qualcomm Incorporated Inter-view predicted motion vector for 3D video
US10129550B2 (en) * 2013-02-01 2018-11-13 Qualcomm Incorporated Inter-layer syntax prediction control
US9930363B2 (en) * 2013-04-12 2018-03-27 Nokia Technologies Oy Harmonized inter-view and view synthesis prediction for 3D video coding
WO2015127581A1 (en) * 2014-02-25 2015-09-03 Mediatek Singapore Pte. Ltd. Methods for switching off the intra prediction filters
US10750198B2 (en) * 2014-05-22 2020-08-18 Qualcomm Incorporated Maximum palette parameters in palette-based video coding
CN112188207B (zh) * 2014-10-31 2023-10-20 三星电子株式会社 使用高精度跳过编码的视频编码设备和视频解码设备及其方法
WO2016090568A1 (en) * 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
US10230980B2 (en) * 2015-01-26 2019-03-12 Qualcomm Incorporated Overlapped motion compensation for video coding
WO2016159631A1 (ko) * 2015-03-29 2016-10-06 엘지전자(주) 비디오 신호의 인코딩/디코딩 방법 및 장치
US10306240B2 (en) * 2015-06-08 2019-05-28 Vid Scale, Inc. Intra block copy mode for screen content coding
EP3354028B1 (en) * 2015-09-25 2021-09-15 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation with selectable interpolation filter
KR102142938B1 (ko) * 2015-09-25 2020-08-10 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 모션 보상을 위한 장치 및 방법
EP3357245A4 (en) * 2015-11-05 2019-03-13 MediaTek Inc. METHOD AND DEVICE OF INTERPRESSATION USING AN AVERAGE MOTION VECTOR FOR VIDEO CODING
US10652569B2 (en) * 2015-12-22 2020-05-12 Realnetworks, Inc. Motion vector selection and prediction in video coding systems and methods
GB2561507B (en) * 2016-01-07 2021-12-22 Mediatek Inc Method and apparatus for affine merge mode prediction for video coding system
US10721489B2 (en) * 2016-09-06 2020-07-21 Qualcomm Incorporated Geometry-based priority for the construction of candidate lists
WO2018064967A1 (en) * 2016-10-07 2018-04-12 Mediatek Inc. Video encoding method and apparatus with syntax element signaling of employed projection layout and associated video decoding method and apparatus
KR20180043151A (ko) * 2016-10-19 2018-04-27 에스케이텔레콤 주식회사 영상 부호화 또는 복호화를 위한 장치 및 방법
KR20180082330A (ko) * 2017-01-09 2018-07-18 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
WO2018128466A1 (ko) 2017-01-09 2018-07-12 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
US11616976B2 (en) * 2017-06-09 2023-03-28 Electronics And Telecommunications Research Institute Video encoding/decoding method and device, and recording medium storing bit stream
CN108874265A (zh) * 2018-06-21 2018-11-23 北京达佳互联信息技术有限公司 多媒体信息显示方法、装置、计算机设备及存储介质
US10760024B2 (en) 2018-07-10 2020-09-01 Iogen Corporation Method and system for upgrading biogas
CN115695785B (zh) * 2018-10-27 2023-06-06 华为技术有限公司 图像预测方法及装置
US10917636B2 (en) * 2018-12-03 2021-02-09 Tencent America LLC Method and apparatus for video coding
US10778977B2 (en) * 2018-12-05 2020-09-15 Qualcomm Incorporated Triangle motion information for video coding
US11109041B2 (en) * 2019-05-16 2021-08-31 Tencent America LLC Method and apparatus for video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7171928B2 (ja) * 2018-12-30 2022-11-15 ベイジン ダージャー インターネット インフォメーション テクノロジー カンパニー リミテッド 三角形予測のためのビデオ符号化復号化の方法及び装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BROSS, BENJAMIN ET AL: "Versatile Video Coding (Draft 5)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 14TH MEETING: GENE, vol. JVET-N1001 (version 10), JPN6023015990, 2 July 2019 (2019-07-02), ISSN: 0005045926 *

Also Published As

Publication number Publication date
US11622111B2 (en) 2023-04-04
CN114245115B (zh) 2023-03-21
MX2021007977A (es) 2021-08-16
CN113196755A (zh) 2021-07-30
KR102658346B1 (ko) 2024-04-18
KR20240049624A (ko) 2024-04-16
EP4277277A3 (en) 2024-01-03
KR20230074855A (ko) 2023-05-31
JP7171928B2 (ja) 2022-11-15
EP3888364A4 (en) 2022-05-18
CN116156164B (zh) 2023-11-28
KR20240049623A (ko) 2024-04-16
CN117041594B (zh) 2024-05-14
CN114245115A (zh) 2022-03-25
EP4277277A2 (en) 2023-11-15
CN117041595A (zh) 2023-11-10
CN117041595B (zh) 2024-05-17
US20240187584A1 (en) 2024-06-06
US20210329239A1 (en) 2021-10-21
KR20210087553A (ko) 2021-07-12
JP2022517559A (ja) 2022-03-09
WO2020142447A1 (en) 2020-07-09
CN116156164A (zh) 2023-05-23
CN117041594A (zh) 2023-11-10
US20230099500A1 (en) 2023-03-30
EP3888364A1 (en) 2021-10-06
US11909969B2 (en) 2024-02-20
US20240146922A1 (en) 2024-05-02

Similar Documents

Publication Publication Date Title
JP7235924B2 (ja) 彩度成分のアフィン動きベクトルを導出するためのビデオ符号化復号化の方法および装置
US11622111B2 (en) Methods and apparatus of video coding for triangle prediction
US11134261B2 (en) Methods and apparatus of video coding for triangle prediction
WO2020142685A1 (en) Video coding with triangle prediction
US12028547B2 (en) Methods and apparatus of video coding for triangle prediction
JP2022541687A (ja) 三角分割を用いたビデオ符号化の方法および装置
US20220070445A1 (en) Methods and apparatuses for video coding with triangle prediction
WO2021138605A1 (en) Methods and apparatuses for video coding using triangle partition
WO2020220037A1 (en) Methods and apparatuses for video coding with triangle prediction

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221107

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221107

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240123

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240409