JP2022510326A - ビデオ復号化のための方法、機器、非一時的なコンピュータ可読媒体、及びコンピュータプログラム - Google Patents

ビデオ復号化のための方法、機器、非一時的なコンピュータ可読媒体、及びコンピュータプログラム Download PDF

Info

Publication number
JP2022510326A
JP2022510326A JP2021531276A JP2021531276A JP2022510326A JP 2022510326 A JP2022510326 A JP 2022510326A JP 2021531276 A JP2021531276 A JP 2021531276A JP 2021531276 A JP2021531276 A JP 2021531276A JP 2022510326 A JP2022510326 A JP 2022510326A
Authority
JP
Japan
Prior art keywords
prediction mode
ibc
flag
mode
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021531276A
Other languages
English (en)
Inventor
シュイ,シアオジョォン
リィウ,シャン
Original Assignee
テンセント・アメリカ・エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・アメリカ・エルエルシー filed Critical テンセント・アメリカ・エルエルシー
Publication of JP2022510326A publication Critical patent/JP2022510326A/ja
Priority to JP2023023340A priority Critical patent/JP2023062099A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本開示の態様は、ビデオ符号化/復号化のための方法及び機器を提供する。いくつかの例では、ビデオ復号化のための機器は、受信回路及び処理回路を含む。例えば、処理回路は、コード化したビデオビットストリームからの画像内の現在のブロックの予測情報を復号化し、復号化した予測情報からのイントラブロックコピー(IBC)予測モード使用フラグに基づいて、インター予測モード及びイントラ予測モードとは別のIBC予測モードを決定する。さらに、処理回路は、IBC予測モードの決定に応答して、画像内の参照領域を指し示すブロックベクトルを決定し、画像の参照領域内の参照サンプルに基づいて、現在のブロックを再構成する。

Description

参照による組込み
この本願は、2019年7月30日に出願された、“METHOD AND
APPARATUS FOR VIDEO CODING”という表題の米国特許出願第16/526,689号の優先権の利益を主張するものであり、この文献は、2019年2月1日に出願された、“METHODS FOR SIGNALING FLAGS OF INTRA BLOCK COPY AND PREDICTION MODE”という表題の米国仮出願第62/800,397号の優先権の利益を主張する。先行出願の開示全体は、その全体が参照により本明細書に組み込まれる。
本開示は、概して、ビデオコーディングに関連する実施形態を説明する。
本明細書で提供する背景技術の説明は、本開示の文脈を概ね提示することを目的としている。この背景技術の段落に記載されている範囲で、現在記名されている発明者の功績(work)、及び出願時に先行技術として適格とならない可能性のある説明の態様は、本開示に対する従来技術として明示的にも又は黙示的にも認められない。
ビデオの符号化及び復号化は、動き補償を伴うインター画像(inter-picture:画像間)予測を使用して実行することができる。非圧縮デジタルビデオは、一連の画像を含むことができ、各画像は、例えば1920×1080の輝度サンプル及び関連するクロミナンスサンプルの空間次元を有する。一連の画像は、例えば毎秒60枚の画像、つまり60Hzの固定又は可変の画像レート(非公式にはフレームレートとしても知られている)を有することができる。非圧縮ビデオには、重要なビットレート要件がある。例えば、サンプルあたり8ビットの1080p60 4:2:0ビデオ(60Hzフレームレートで1920×1080の輝度サンプル解像度)には、1.5Gbit/sに近い帯域幅が必要である。このようなビデオを1時間使用するには、600ギガバイトを超えるストレージスペースが必要である。
ビデオの符号化及び復号化の1つの目的は、圧縮によって、入力ビデオ信号の冗長性を低減することであり得る。圧縮は、前述の帯域幅又はストレージスペースの要件を、場合によっては2桁以上削減するのに役立ち得る。可逆(lossless)圧縮と非可逆(lossy)圧縮との両方、及びそれらの組合せを使用できる。可逆圧縮とは、圧縮した元の信号から元の信号の正確なコピーを再構成できる技術を指す。非可逆圧縮を使用する場合に、再構成した信号は元の信号と同一ではない可能性があるが、元の信号と再構成した信号との間の歪みは十分に小さいため、再構成した信号は目的のアプリケーションに役立つ。ビデオの場合に、非可逆圧縮が広く採用されている。容認される歪みの量は、アプリケーションに依存し、例えば、特定の消費者向けストリーミングアプリケーションのユーザは、テレビ配信アプリケーションのユーザよりも高い歪みを容認する場合がある。達成可能な圧縮比は、許容可能/容認可能な歪みが大きいほど、圧縮比が高くなる可能性があることを反映することができる。
ビデオエンコーダ及びデコーダは、例えば、動き補償、変換、量子化、及びエントロピーコーディングを含む、いくつかの広範なカテゴリからの技術を利用することができる。
ビデオコーデック技術は、イントラコーディングとして知られる技術を含むことができる。イントラコーディングでは、サンプル値は、以前に再構成した参照画像からのサンプル又は他のデータを参照せずに提示される。いくつかのビデオコーデックでは、画像は、サンプルのブロックに空間的に細分化される。サンプルの全てのブロックがイントラモードでコード化される場合に、その画像はイントラ画像である可能性がある。イントラ画像とその派生画像(独立したデコーダリフレッシュ画像等)は、デコーダの状態をリセットするために使用できるため、コード化したビデオビットストリームとビデオセッションの最初の画像として、又は静止画像として使用できる。イントラブロックのサンプルは変換することができ、変換係数はエントロピーコーディングの前に量子化することができる。イントラ予測は、変換前のドメインのサンプル値を最小化する技術であり得る。場合によっては、変換後のDC値が小さく、AC係数が小さいほど、エントロピーコーディング後のブロックを表すために所与の量子化ステップサイズで必要なビットが少なくなる。
例えば、MPEG-2世代コーディング技術により知られているような従来のイントラコーディングは、イントラ予測を使用しない。しかしながら、いくつかの新しいビデオ圧縮技術は、例えば、周囲のサンプルデータ及び/又は空間的に隣接し、復号化順序で先行するブロックのデータの符号化/復号化中に取得したメタデータから試行する技術を含む。このような技術は、以降「イントラ予測」技術と呼ばれる。少なくともいくつかのケースでは、イントラ予測は、参照画像からではなく、再構成中の現在の画像からの参照データのみを使用することに留意されたい。
イントラ予測には多くの異なる形態があり得る。そのような複数の技術が所与のビデオコーディング技術で使用され得る場合に、使用される技術は、イントラ予測モードでコード化され得る。場合によっては、モードにサブモード及び/又はパラメータを含めることができ、それらサブモード及び/又はパラメータを個別にコード化すること、又はモードコードワードに含めることができる。所与のモード/サブモード/パラメータの組合せに使用するコードワードは、イントラ予測によるコーディング効率の増大に影響を与えることができ、コードワードをビットストリームに変換するために使用されるエントロピーコーディング技術にも影響を与えることができる。
イントラ予測の特定のモードは、H.264で導入され、H.265で改良され、JEM(joint
exploration model)、VVC(versatile video coding)、及びベンチマークセット(BMS)等の新しいコーディング技術でさらに改良された。予測ブロックは、既に利用可能なサンプルに属する隣接サンプルの値を使用して形成できる。隣接サンプルのサンプル値は、ある方向に従って予測ブロックにコピーされる。使用中の方向への参照は、ビットストリームにコード化することができ、又はそれ自体を予測することができる。
図1を参照すると、右下に描かれているのは、H.265の33個の可能な予測方向(35個のイントラモードのうちの33個の角度モードに対応)からの既知の9個の予測方向のサブセットである。矢印が収束する点(101)は、予測されるサンプルを表す。矢印は、サンプルが予測される方向を表す。例えば、矢印(102)は、サンプル(101)が、水平方向から45°の角度で右上の1つ又は複数のサンプルから予測されることを示す。同様に、矢印(103)は、サンプル(101)が、水平方向から22.5°の角度で、サンプル(101)の左下にある1つ又は複数のサンプルから予測されることを示す。
依然として図1を参照すると、左上には、4×4サンプルの正方形のブロック(104)が描かれている(破線の太線で示されている)。正方形のブロック(104)は、Y次元でのその位置(例えば、行インデックス)、及びX次元でのその位置(例えば、列インデックス)に、それぞれが「S」でラベル付けされた16個のサンプルを含む。例えば、サンプルS21は、Y次元の(上から)2番目のサンプルであり、X次元の(左から)1番目のサンプルである。同様に、サンプルS44は、Y次元とX次元との両方でブロック(104)の4番目のサンプルである。ブロックのサイズが4×4サンプルであるため、S44は右下にある。さらに、同様の番号付けスキームに従った参照サンプル示されている。参照サンプルは、ブロック(104)に対する、そのY位置(例えば、行インデックス)及びX位置(列インデックス)でRによってラベル付けされている。H.264とH.265との両方で、予測サンプルは再構成中のブロックに隣接している。従って、負の値を使用する必要はない。
イントラ画像予測は、隣接サンプルからの参照サンプル値を、シグナリングされた予測方向によって適宜コピーすることによって機能することができる。例えば、コード化したビデオビットストリームに、このブロックについて、矢印(102)と一致する予測方向を示すシグナリングが含まれていると仮定する。つまり、サンプルは、水平方向から45°の角度で右上の1つ又は複数の予測サンプルから予測される。その場合に、サンプルS41、S32、S23、及びS14は、同じ参照サンプルR05から予測される。次に、サンプルS44が参照サンプルR08から予測される。
特定の場合には、参照サンプルを計算するために、例えば補間によって、特に45°によって方向を均等に割り切れない場合に、複数の参照サンプルの値を組み合わせてもよい。
ビデオコーディング技術が開発されるにつれて、可能な方向の数が増大した。H.264(2003年)では、9個の異なる方向を表すことができた。その方向の数はH.265(2013年)では33個に増大し、JEM/VVC/BMSは、本開示の時点で、最大65個の方向をサポートできる。最も可能性の高い方向を特定するための実験が行われ、エントロピーコーディングの特定の技術を使用して、それらの可能性のある方向を少数のビットで表し、可能性の低い方向に対する特定のペナルティを受け入れる。さらに、方向自体は、時には、既に復号化した隣接ブロックで使用される隣接する方向から予測できる場合がある。
図2は、時間とともに増大する予測方向の数を説明するために、JEMによる65個のイントラ予測方向を示す概略図(201)を示す。
コード化したビデオビットストリームにおいて方向を表すイントラ予測方向ビットのマッピングは、ビデオコーディング技術からビデオコーディング技術で異なる可能性があり、例えば、予測方向の単純な直接マッピングから、イントラ予測モード、コードワード、最も可能性の高いモードを含む複雑な適応スキーム、及び同様の技術にまで及ぶ可能性がある。ただし、全ての場合において、ビデオコンテンツにおいて特定の他の方向よりも発生する可能性が統計的に低い特定の方向が存在する可能性がある。ビデオ圧縮の目標は冗長性の低減であるため、これらの可能性の低い方向は、適切に機能するビデオコーディング技術では、可能性の高い方向よりも多くのビット数で表されるだろう。
本開示の態様は、ビデオ符号化/復号化のための方法及び機器を提供する。いくつかの例では、ビデオ復号化のための機器は、受信回路及び処理回路を含む。例えば、処理回路は、コード化したビデオビットストリームからの画像内の現在のブロックの予測情報を復号化し、復号化した予測情報からのイントラブロックコピー(IBC)予測モード使用フラグに基づいて、インター予測モード及びイントラ予測モードとは別のIBC予測モードを決定する。さらに、処理回路は、IBC予測モードの決定に応答して、画像内の参照領域を指し示すブロックベクトルを決定し、画像内の参照領域内の参照サンプルに基づいて、現在のブロックを再構成する。
いくつかの実施形態では、処理回路は、コード化したビデオビットストリームから、IBC予測モード使用フラグを復号化する。他の実施形態では、処理回路は、IBC有効化フラグと、現在のブロックが属するタイルグループのタイプとに基づいて、IBC予測モード使用フラグを推測する。一例では、処理回路は、IBC有効化フラグが有効化を示し、タイルグループがIタイプであり、現在のブロックがサイズ要件を満たす場合に、IBC予測モード使用フラグを推測してIBC予測モードを示す。IBC有効化フラグは、ビデオレベル、シーケンスレベル、画像レベル、及びタイルグループレベルの少なくとも1つのパラメータである。
一実施形態では、タイルグループ又はスライスタイプがIタイプであり、現在のブロックがサイズ制約を満たし、且つIBC予測モード使用フラグがコード化したビデオビットストリームでシグナリングされない場合に、処理回路は、IBC有効化フラグに従って、IBC予測モード使用フラグの値を推測する。別の実施形態では、タイルグループ又はスライスタイプがB又はPタイプであり、現在のブロックがサイズ制約を満たし、且つIBC予測モード使用フラグがコード化したビデオビットストリームでシグナリングされない場合に、処理回路は、IBC予測モード使用フラグを0と推測する。
いくつかの実施形態では、処理回路は、コード化したビデオビットストリームから、予測モードフラグを復号化する。他の実施形態では、処理回路は、スキップフラグと、現在のブロックが属するタイルグループのタイプとに基づいて、予測モードフラグを推測する。
いくつかの実施形態では、処理回路は、復号化した予測情報に基づいて、予測モードフラグ、及びIBC予測モード使用フラグを決定する。次に、処理回路は、予測モードフラグとIBC予測モード使用フラグとの組合せに基づいて、IBC予測モード、イントラ予測モード、及びインター予測モードから予測モードを選択する。
いくつかの例では、処理回路は、現在のブロックがサイズ要件を満たしている場合に、現在のブロックのIBC予測モードを決定する。
本開示の態様は、命令を格納する非一時的なコンピュータ可読媒体も提供し、命令がビデオ復号化のためにコンピュータによって実行されると、コンピュータにビデオ復号化のための方法を実行させる。
開示する主題の更なる特徴、性質、及び様々な利点は、以下の詳細な説明及び添付の図面からより明らかになるであろう。
イントラ予測モードの例示的なサブセットの概略図である。 例示的なイントラ予測方向の図である。 一実施形態による通信システム(300)の簡略化したブロック図の概略図である。 一実施形態による通信システム(400)の簡略化したブロック図の概略図である。 一実施形態によるデコーダの簡略化したブロック図の概略図である。 一実施形態によるエンコーダの簡略化したブロック図の概略図である。 別の実施形態によるエンコーダのブロック図である。 別の実施形態によるデコーダのブロック図である。 本開示の一実施形態によるイントラブロックコピーの例を示す図である。 本開示の一実施形態による、イントラブロックコピーモードの有効な検索範囲の例を示す図である。 本開示の一実施形態による、イントラブロックコピーモードの有効な検索範囲の例を示す図である。 本開示の一実施形態による、イントラブロックコピーモードの有効な検索範囲の例を示す図である。 本開示の一実施形態による、イントラブロックコピーモードの有効な検索範囲の例を示す図である。 本開示の一実施形態によるプロセス(1100)を概説するフローチャートである。 一実施形態によるコンピュータシステムの概略図である。
図3は、本開示の一実施形態による通信システム(300)の簡略化したブロック図を示す。通信システム(300)は、例えば、ネットワーク(350)を介して互いに通信できる複数の端末装置を含む。例えば、通信システム(300)は、ネットワーク(350)を介して相互接続された端末装置(310)及び(320)の第1のペアを含む。図3の例では、端末装置(310)及び(320)の第1のペアは、データの単方向送信を実行する。例えば、端末装置(310)は、ネットワーク(350)を介して他の端末装置(320)に送信するために、ビデオデータ(例えば、端末装置(310)が取り込んだビデオ画像のストリーム)をコード化することができる。符号化したビデオデータは、1つ又は複数のコード化したビデオビットストリームの形態で送信することができる。端末装置(320)は、ネットワーク(350)からコード化したビデオデータを受信し、コード化したビデオデータを復号化してビデオ画像を復元し、復元したビデオデータに従ってビデオ画像を表示することができる。単方向のデータ送信は、メディアサービングアプリケーション等で一般的であり得る。
別の例では、通信システム(300)は、例えば、ビデオ会議中に発生し得るコード化したビデオデータの双方向送信を実行する端末装置(330)及び(340)の第2のペアを含む。データの双方向送信の場合に、一例では、端末装置(330)及び(340)の各端末装置は、ネットワーク(350)を介して端末装置(330)及び(340)以外の他の端末装置に送信するために、ビデオデータ(例えば、端末装置が取り込んだビデオ画像のストリーム)をコード化することができる。端末装置(330)及び(340)の各端末装置は、端末装置(330)及び(340)以外の他の端末装置によって送信されたコード化したビデオデータを受信することもでき、コード化したビデオデータを復号化してビデオ画像を復元することができ、復元したビデオデータに従って、アクセス可能な表示装置でビデオ画像を表示することができる。
図3の例では、端末装置(310)、(320)、(330)及び(340)は、サーバ、パーソナルコンピュータ及びスマートフォンとして示され得るが、本開示の原理は、そのように限定されない場合がある。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤー、及び/又は専用のビデオ会議機器を用いた用途を見出す。ネットワーク(350)は、端末装置(310)、(320)、(330)及び(340)の間でコード化したビデオデータを伝送する任意の数のネットワークを表し、このネットワークは、例えば有線(wireline)(有線(wired))及び/又は無線通信ネットワークを含む。通信ネットワーク(350)は、回線交換チャネル及び/又はパケット交換チャネルでデータを交換することができる。代表的なネットワークには、通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、及び/又はインターネットが含まれる。本議論の目的のために、ネットワーク(350)のアーキテクチャ及びトポロジーは、本明細書で以下に説明されない限り、本開示の動作にとって重要ではない場合がある。
図4は、開示する主題のアプリケーションの例として、ストリーミング環境におけるビデオエンコーダ及びビデオデコーダの配置を示す。開示する主題は、例えば、ビデオ会議、デジタルテレビ、CD、DVD、メモリスティック等を含むデジタル媒体への圧縮ビデオの格納等を含む、他のビデオ対応アプリケーションに等しく適用することができる。
ストリーミングシステムは、取込みサブシステム(413)を含み得、これは、ビデオソース(401)、例えば、圧縮されていないビデオ画像のストリーム(402)を作成する例えばデジタルカメラを含み得る。一例では、ビデオ画像のストリーム(402)は、デジタルカメラによって撮影されたサンプルを含む。符号化したビデオデータ(404)(つまり、コード化したビデオビットストリーム)と比較して、大量のデータを強調するために太線で描かれたビデオ画像のストリーム(402)は、ビデオソース(401)に結合されたビデオエンコーダ(403)を含む電子装置(420)によって処理することができる。ビデオエンコーダ(403)は、以下でより詳細に説明するように、開示する主題の態様を可能にするか又は実施するために、ハードウェア、ソフトウェア、又はそれらの組合せを含むことができる。ビデオ画像のストリーム(402)と比較して、より少ないデータ量を強調するために細い線として描かれる符号化したビデオデータ(404)(つまり、コード化したビデオビットストリーム(404))は、将来の使用のためにストリーミングサーバ(405)に格納され得る。図4のクライアントサブシステム(406)及び(408)等の1つ又は複数のストリーミングクライアントサブシステムは、ストリーミングサーバ(405)にアクセスして、符号化したビデオデータ(404)のコピー(407)及び(409)を取り出すことができる。クライアントサブシステム(406)は、例えば、電子装置(430)内にビデオデコーダ(410)を含むことができる。ビデオデコーダ(410)は、符号化したビデオデータの入力(incoming)コピー(407)を復号化し、ディスプレイ(412)(例えば、表示画面)又は他のレンダリング装置(図示せず)上でレンダリングされ得るビデオ画像(411)の出力(outcoming)ストリームを作成する。いくつかのストリーミングシステムでは、符号化したビデオデータ(404)、(407)、及び(409)(例えば、ビデオビットストリーム)は、特定のビデオコーディング/圧縮規格に従って符号化できる。これらの規格の例には、ITU-T勧告H.265が含まれる。一例では、開発中のビデオコーディング規格は、非公式にVVC(Versatile Video Coding)として知られている。開示する主題は、VVCの文脈で使用され得る。
電子装置(420)及び(430)は、他の構成要素(図示せず)を含むことができることに留意されたい。例えば、電子装置(420)は、ビデオデコーダ(図示せず)を含むことができ、電子装置(430)は、ビデオエンコーダ(図示せず)を含むことができる。
図5は、本開示の一実施形態によるビデオデコーダ(510)のブロック図を示す。ビデオデコーダ(510)は、電子装置(530)に含まれ得る。電子装置(530)は、受信機(531)(例えば、受信回路)を含むことができる。ビデオデコーダ(510)は、図4の例のビデオデコーダ(410)の代わりに使用することができる。
受信機(531)は、ビデオデコーダ(510)によって復号化される1つ又は複数のコード化したビデオシーケンスを受信することができる。同じ又は別の実施形態では、一度に1つのコード化したビデオシーケンスがあり、各コード化したビデオシーケンスの復号化は、他のコード化したビデオシーケンスから独立している。コード化したビデオシーケンスは、符号化したビデオデータを格納するストレージ装置へのハードウェア/ソフトウェアリンクであり得るチャネル(501)から受信することができる。受信機(531)は、他のデータ、例えば、コード化したオーディオデータ及び/又は補助的なデータストリームと共に符号化したビデオデータを受信することができ、この符号化したビデオデータは、それぞれの使用エンティティ(図示せず)に転送され得る。受信機(531)は、コード化したビデオシーケンスを他のデータから分離することができる。ネットワークジッタに対抗するために、バッファメモリ(515)を、受信機(531)とエントロピーデコーダ/パーサ(parser)(520)(以下、「パーサ(520)」)との間に結合することができる。特定のアプリケーションでは、バッファメモリ(515)はビデオデコーダ(510)の一部である。他のものでは、そのバッファメモリ(515)はビデオデコーダ(510)の外側(図示せず)にあり得る。さらに他のものでは、例えばネットワークジッタに対抗するために、ビデオデコーダ(510)の外側にバッファメモリ(図示せず)があり得、さらに、例えばプレイアウト(playout)のタイミングを処理するために、ビデオデコーダ(510)の内側に別のバッファメモリ(515)があり得る。受信機(531)が十分な帯域幅及び制御可能性のストア/転送装置から、又は等同期(isosynchronous)ネットワークからデータを受信しているときに、バッファメモリ(515)は必要ないか、又は小さい可能性がある。インターネット等のベストエフォート(best effort)パケットネットワークで使用するには、バッファメモリ(515)が必要であり、これは、比較的大きい可能性があり、適応サイズが有利であり得、ビデオデコーダ(510)の外側のオペレーティングシステム又は同様の要素(図示せず)に少なくとも部分的に実装され得る。
ビデオデコーダ(510)は、コード化したビデオシーケンスからシンボル(521)を再構成するためのパーサ(520)を含み得る。これらのシンボルのカテゴリには、ビデオデコーダ(510)の動作を管理するために使用される情報、及び図5に示されるように、潜在的に、電子装置(530)の一体化部分ではないが、電子装置(530)に結合することができるレンダリング装置(512)(例えば、表示画面)等のレンダリング装置を制御するための情報が含まれる。レンダリング装置の制御情報は、SEI(Supplemental Enhancement Information)メッセージ又はVUI(Video Usability Information:ビデオユーザビリティ情報)パラメータセットフラグメント(図示せず)の形式であり得る。パーサ(520)は、受信するコード化したビデオシーケンスを解析/エントロピー復号化することができる。コード化したビデオシーケンスのコーディングは、ビデオコーディング技術又は規格に従うことができ、可変長コーディング、ハフマンコーディング、文脈依存の有無によらない算術コーディング等を含む様々な原理に従うことができる。パーサ(520)は、グループに対応する少なくとも1つのパラメータに基づいて、コード化したビデオシーケンスから、ビデオデコーダ内のピクセルのサブグループの少なくとも1つのサブグループパラメータのセットを抽出することができる。サブグループには、画像のグループ(GOP)、画像、タイル、スライス、マクロブロック、コーディングユニット(CU)、ブロック、変換ユニット(TU)、予測ユニット(PU)等を含めることができる。パーサ(520)は、コード化したビデオシーケンス情報から変換係数、量子化パラメータ値、動きベクトル等も抽出することができる。
パーサ(520)は、シンボル(521)を作成するために、バッファメモリ(515)から受信したビデオシーケンスに対してエントロピー復号化/解析操作を実行することができる。
シンボル(521)の再構成は、コード化したビデオ画像又はその一部(例えば、インター画像(画像間)及びイントラ画像(画像内)、インターブロック(ブロック間)及びイントラブロック(ブロック内))のタイプ、及び他の要因に応じて、複数の異なるユニットを含むことができる。どのユニットが関与し、どの様に関与するかは、パーサ(520)によって、コード化したビデオシーケンスから解析されたサブグループ制御情報によって制御することができる。パーサ(520)と以下の複数のユニットとの間のそのようなサブグループ制御情報のフローは、明確にするために描いていない。
既に述べた機能ブロックを超えて、ビデオデコーダ(510)は、以下に説明するように、概念的に複数の機能ユニットに細分化することができる。商業的制約の下で動作する実際の実施態様では、これらのユニットの多くは互いに密接に相互作用し、少なくとも部分的には互いに統合することができる。しかしながら、開示する主題を説明するために、以下の機能ユニットへの概念的な細分化が適切である。
第1のユニットは、スケーラー/逆変換ユニット(551)である。スケーラー/逆変換ユニット(551)は、量子化変換係数、及びどの変換を使用するかを含む制御情報、ブロックサイズ、量子化係数、量子化スケーリングマトリックス等を、パーサ(520)からシンボル(521)として受信する。スケーラー/逆変換ユニット(551)は、アグリゲータ(aggregator)(555)に入力することができるサンプル値を含むブロックを出力することができる。
場合によっては、スケーラー/逆変換(551)の出力サンプルは、イントラコード化ブロックに関係することができる。つまり、ブロックは、以前に再構成した画像からの予測情報を使用していないが、現在の画像の以前に再構成した部分からの予測情報を使用できる。そのような予測情報は、イントラ画像予測ユニット(552)によって提供することができる。場合によっては、イントラ画像予測ユニット(552)は、現在の画像バッファ(558)からフェッチした周囲の既に再構成した情報を使用して、再構成中のブロックと同じサイズ及び形状のブロックを生成する。現在の画像バッファ(558)は、例えば、部分的に再構成した現在の画像及び/又は完全に再構成した現在の画像をバッファする。アグリゲータ(555)は、場合によっては、サンプル毎に、イントラ予測ユニット(552)が生成した予測情報を、スケーラー/逆変換ユニット(551)によって提供される出力サンプル情報に追加する。
他の場合には、スケーラー/逆変換ユニット(551)の出力サンプルは、インターコード化され、潜在的に動き補償されたブロックに関係することができる。このような場合に、動き補償予測ユニット(553)は、参照画像メモリ(557)にアクセスして、予測に使用されるサンプルをフェッチすることができる。ブロックに関連するシンボル(521)に従ってフェッチしたサンプルを動き補償した後に、これらのサンプルは、アグリゲータ(555)によってスケーラー/逆変換ユニット(551)の出力に追加され(この場合に、残差サンプル又は残差信号と呼ばれる)、出力サンプル情報を生成することができる。動き補償予測ユニット(553)が予測サンプルをフェッチする参照画像メモリ(557)内のアドレスは、動きベクトルによって制御することができ、動き補償予測ユニット(553)が例えばX、Y、及び参照画像成分があり得るシンボル(521)の形態で利用できる。動き補償は、サブサンプルの正確な動きベクトルが動きベクトル予測メカニズム等で使用されているときに、参照画像メモリ(557)からフェッチしたサンプル値の補間を含むことができる。
アグリゲータ(555)の出力サンプルは、ループフィルタユニット(556)において様々なループフィルタリング技術を受けることができる。ビデオ圧縮技術は、コード化したビデオシーケンス(コード化したビデオビットストリームとも呼ばれる)に含まれるパラメータによって制御され、パーサ(520)からシンボル(521)としてループフィルタユニット(556)に利用可能になるインループ(in-loop)フィルタ技術を含むが、コード化した画像又はコード化したビデオシーケンスの以前の(復号化の順序で)部分の復号化中に得たメタ情報、並びに以前に再構成し及びループフィルタリングしたサンプル値に応答することもできる。
ループフィルタユニット(556)の出力は、将来のインター画像予測で使用するために、レンダリング装置(512)に出力され得るだけでなく、参照画像メモリ(557)に格納され得るサンプルストリームであり得る。
完全に再構成された特定のコード化した画像は、将来の予測のための参照画像として使用することができる。例えば、現在の画像に対応するコード化した画像が完全に再構成され、コード化した画像が(例えば、パーサ(520)によって)参照画像として識別されると、現在の画像バッファ(558)は、参照画像メモリ(557)の一部になることができ、次のコード化する画像の再構成を開始する前に、新しい現在の画像バッファを再割り当てすることができる。
ビデオデコーダ(510)は、ITU―T Rec H.265等の規格における所定のビデオ圧縮技術に従って復号化操作を実行することができる。コード化したビデオシーケンスは、コード化したビデオシーケンスがビデオ圧縮技術又は規格のシンタックス(syntax)とビデオ圧縮技術又は規格で文書化されたプロファイルとの両方に準拠するという意味で、使用されているビデオ圧縮技術又は規格によって指定されたシンタックスに準拠し得る。具体的には、プロファイルは、ビデオ圧縮技術又は規格で利用可能な全てのツールから、そのプロファイルで使用できる唯一のツールとして特定のツールを選択できる。また、コンプライアンスのために必要なのは、コード化したビデオシーケンスの複雑さが、ビデオ圧縮技術又は規格のレベルによって規定された範囲内にあることである。場合によっては、レベルによって、最大画像サイズ、最大フレームレート、最大再構成サンプルレート(例えば、1秒あたりのメガサンプル数で測定される)、最大参照画像サイズ等が制限される。レベルによって設定される制限は、場合によっては、仮想参照デコーダ(HRD)の仕様と、コード化したビデオシーケンスでシグナリングされるHRDバッファ管理のメタデータとによってさらに制限される場合がある。
一実施形態では、受信機(531)は、符号化したビデオと共に追加の(冗長な)データを受信し得る。追加のデータは、コード化したビデオシーケンスの一部として含まれる場合がある。追加のデータは、データを適切に復号化するため、及び/又は元のビデオデータをより正確に再構成するために、ビデオデコーダ(510)によって使用され得る。追加のデータは、例えば、時間的、空間的、又は信号ノイズ比(SNR)強化層、冗長スライス、冗長画像、順方向エラー訂正コード等の形式であり得る。
図6は、本開示の一実施形態によるビデオエンコーダ(603)のブロック図を示す。ビデオエンコーダ(603)は、電子装置(620)内に含まれている。電子装置(620)は、送信機(640)(例えば、送信回路)を含む。ビデオエンコーダ(603)は、図4の例のビデオエンコーダ(403)の代わりに使用することができる。
ビデオエンコーダ(603)は、ビデオエンコーダ(603)によってコード化すべきビデオ画像を取り込むことができるビデオソース(601)(図6の例では電子装置(620)の一部ではない)からビデオサンプルを受信することができる。別の例では、ビデオソース(601)は、電子装置(620)の一部である。
ビデオソース(601)は、任意の適切なビット深度(例えば、8ビット、10ビット、12ビット、・・・)、任意の色空間(例えば、BT.601 Y CrCB、RGB、・・・)、及び任意の適切なサンプリング構造(例えば、Y CrCB 4:2:0、Y CrCB 4:4:4)のいずれかであり得るデジタルビデオサンプルの形態で、ビデオエンコーダ(603)によってコード化されるソースビデオシーケンスを提供することができる。メディアサービングシステムでは、ビデオソース(601)は、以前に準備したビデオを格納するストレージ装置であり得る。ビデオ会議システムでは、ビデオソース(601)は、ローカル画像情報をビデオシーケンスとして取り込むカメラであり得る。ビデオデータは、順番に見たときに動きを与える複数の個別の画像として提供することができる。画像自体は、ピクセルの空間アレイとして編成することができ、各ピクセルは、使用中のサンプリング構造、色空間等に応じて、1つ又は複数のサンプルを含むことができる。当業者は、ピクセルとサンプルとの間の関係を容易に理解することができる。以下の説明はサンプルに焦点を当てている。
一実施形態によれば、ビデオエンコーダ(603)は、リアルタイムで、又はアプリケーションによって必要とされる他の任意の時間的制約の下で、ソースビデオシーケンスの画像をコード化したビデオシーケンス(643)にコード化及び圧縮することができる。適切なコーディング速度を強制することは、コントローラ(650)の1つの機能である。いくつかの実施形態では、コントローラ(650)は、以下に説明するように他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。明確にするために、結合は描いていない。コントローラ(650)によって設定されるパラメータは、レート制御関連パラメータ(画像スキップ、量子化器、レート歪み最適化技術のラムダ値、...)、画像サイズ、画像グループ(GOP)レイアウト、最大動きベクトル検索範囲等を含むことができる。コントローラ(650)は、特定のシステム設計のために最適化されたビデオエンコーダ(603)に関係する他の適切な機能を有するように構成することができる。
いくつかの実施形態では、ビデオエンコーダ(603)は、コーディングループで動作するように構成される。過度に単純化した説明として、一例では、コーディングループは、ソースコーダ(630)(例えば、コード化すべき入力画像、及び参照画像に基づいて、シンボルストリーム等のシンボルの作成を担う)、及びビデオエンコーダ(603)に埋め込まれた(ローカル)デコーダ(633)を含むことができる。デコーダ(633)は、(リモート)デコーダも作成するのと同様の方法で(シンボルとコード化したビデオビットストリームとの間の圧縮が、開示する主題で考慮されるビデオ圧縮技術において可逆(lossless:無損失)であるため)、シンボルを再構成してサンプルデータを作成する。再構成したサンプルストリーム(サンプルデータ)は、参照画像メモリ(634)に入力される。シンボルストリームの復号化は、デコーダの場所(ローカル又はリモート)に関係なくビットパーフェクト(bit exact)結果をもたらすため、参照画像メモリ(634)内のコンテンツも、ローカルエンコーダとリモートエンコーダとの間でビットパーフェクトである。換言すると、エンコーダの予測部分は、復号化中に予測を使用するときにデコーダが「見る」のとまったく同じサンプル値を参照画像サンプルとして「見る」。参照画像の同期性(及び、例えばチャネルエラーのために同期性を維持できない場合は結果として生じるドリフト)のこの基本原理は、いくつかの関連技術でも使用されている。
「ローカル」デコーダ(633)の動作は、ビデオデコーダ(510)等の「リモート」デコーダの動作と同じであり得、図5に関連して上で既に詳細に説明している。しかしながら、また図5を手短に参照すると、シンボルが利用可能であり、エントロピーコーダ(645)及びパーサ(520)によるコード化したビデオシーケンスに対するシンボルの符号化/復号化は可逆(無損失)であり得るので、バッファメモリ(515)を含むビデオデコーダ(510)及びパーサ(520)のエントロピー復号化部分は、ローカルデコーダ(633)に完全に実装されていない可能性がある。
この時点で行うことができる観察は、デコーダに存在する解析/エントロピー復号化を除く任意のデコーダ技術もまた、実質的に同一の機能的形態で、対応するエンコーダに必然的に存在する必要があるということである。このため、開示する主題は、デコーダの動作に焦点を当てている。エンコーダ技術の説明は、包括的に説明したデコーダ技術の逆であるため、省略できる。特定の領域でのみ、より詳細な説明が必要であり、以下に提供する。
動作中に、いくつかの例では、ソースコーダ(630)は、「参照画像」として指定されたビデオシーケンスからの1つ又は複数の以前にコード化した画像を参照して入力画像を予測的にコード化する動き補償予測コーディングを実行し得る。このようにして、コーディングエンジン(632)は、入力画像のピクセルブロックと、入力画像に対する予測参照として選択され得る参照画像のピクセルブロックとの間の差をコード化する。
ローカルビデオデコーダ(633)は、ソースコーダ(630)によって作成されたシンボルに基づいて、参照画像として指定され得る画像のコード化したビデオデータを復号化し得る。コーディングエンジン(632)の動作は、有利には、不可逆(lossy:損失の多い)プロセスであり得る。コード化したビデオデータがビデオデコーダ(図6には図示せず)で復号化され得る場合に、再構成したビデオシーケンスは、典型的には、いくつかのエラーを伴うソースビデオシーケンスのレプリカ(複製)であり得る。ローカルビデオデコーダ(633)は、参照画像に対してビデオデコーダによって実行され得、再構成した参照画像を参照画像キャッシュ(634)に格納させ得る復号化プロセスを複製する。このようにして、ビデオエンコーダ(603)は、遠端ビデオデコーダによって取得される(送信エラーがない)再構成した参照画像として共通のコンテンツを有する再構成した参照画像のコピーをローカルに格納することができる。
予測器(635)は、コーディングエンジン(632)の予測検索を実行することができる。すなわち、コード化される新しい画像について、予測器(635)は、参照画像メモリ(634)を検索して、新しい画像の適切な予測参照として役立ち得るサンプルデータ(候補参照ピクセルブロックとして)、又は参照画像動きベクトル、ブロック形状等の特定のメタデータを探すことができる。予測器(635)は、適切な予測参照を見つけるために、サンプルのブロック毎のピクセル基準(block-by-pixel block basis)で動作することができる。場合によっては、予測器(635)によって得られた検索結果によって決定されるように、入力画像は、参照画像メモリ(634)に格納された複数の参照画像から引き出された予測参照を有することができる。
コントローラ(650)は、例えば、ビデオデータを符号化するために使用されるパラメータ及びサブグループパラメータの設定を含む、ソースコーダ(630)のコーディング動作を管理することができる。
前述の全ての機能ユニットの出力は、エントロピーコーダ(645)においてエントロピーコーディングを受け得る。エントロピーコーダ(645)は、ハフマンコーディング、可変長コーディング、算術コーディング等の技術に従ってシンボルを可逆圧縮することにより、様々な機能ユニットによって生成されたシンボルをコード化したビデオシーケンスに変換する。
送信機(640)は、エントロピーコーダ(645)によって作成されたコード化したビデオシーケンスをバッファして、ストレージ装置へのハードウェア/ソフトウェアリンクであり得る通信チャネル(660)を介した送信の準備をすることができ、ストレージ装置は、符号化したビデオデータを格納する。送信機(640)は、ビデオコーダ(603)からのコード化したビデオデータを、送信すべき他のデータ、例えばコード化したオーディオデータ及び/又は補助的なデータストリーム(ソースは示されていない)とマージ(merge)することができる。
コントローラ(650)は、ビデオエンコーダ(603)の動作を管理することができる。コーディング中に、コントローラ(650)は、各コード化した画像に特定のコード化画像タイプを割り当てることができ、このコード化画像タイプは、それぞれの画像に適用され得るコーディング技術に影響を及ぼし得る。例えば、画像は、大抵の場合、次の画像タイプのうちの1つとして割り当てられ得る。
イントラ画像(I画像)は、予測のソースとしてシーケンス内の任意の他の画像を使用せずに符号化及び復号化され得るものであり得る。いくつかのビデオコーデックでは、例えばIDR(Independent Decoder Refresh)画像を含む、様々なタイプのイントラ画像を使用できる。当業者は、I画像のそれらの変形、並びにそれらのそれぞれの用途及び特徴を認識している。
予測画像(P画像)は、各ブロックのサンプル値を予測するために、最大で1つの動きベクトル及び参照インデックスを使用するイントラ予測又はインター予測を使用して符号化及び復号化され得るものであり得る。
双方向予測画像(B画像)は、各ブロックのサンプル値を予測するために、最大2つの動きベクトル及び参照インデックスを使用するイントラ予測又はインター予測を使用して符号化及び復号化され得るものであり得る。同様に、複数の予測画像は、単一のブロックの再構成のために3つ以上の参照画像及び関連するメタデータを使用できる。
ソース画像は、一般に、複数のサンプルブロック(例えば、それぞれ4×4、8×8、4×8、又は16×16サンプルのブロック)に空間的に細分化され、ブロック毎にコード化され得る。ブロックは、ブロックのそれぞれの画像に適用されるコーディング割当てによって決定されるように、他の(既にコード化した)ブロックを参照して予測的にコード化することができる。例えば、I画像のブロックは、非予測的にコード化され得るか、又は同じ画像の既にコード化したブロックを参照して予測的にコード化され得る(空間予測又はイントラ予測)。P画像のピクセルブロックは、空間予測を介して又は時間予測を介して以前にコード化した1つの参照画像を参照して予測的にコード化され得る。B画像のブロックは、空間予測を介して又は時間予測を介して以前にコード化した1つ又は2つの参照画像を参照して予測的にコード化され得る。
ビデオエンコーダ(603)は、ITU-T Rec H.265等の所定のビデオコーディング技術又は規格に従ってコーディング動作を実行することができる。その動作において、ビデオエンコーダ(603)は、入力ビデオシーケンスにおける時間的及び空間的冗長性を利用する予測コーディング動作を含む、様々な圧縮動作を実行することができる。従って、コード化したビデオデータは、使用されているビデオコーディング技術又は規格によって指定されたシンタックスに準拠し得る。
一実施形態では、送信機(640)は、符号化したビデオと共に追加のデータを送信することができる。ソースコーダ(630)は、コード化したビデオシーケンスの一部としてそのようなデータを含み得る。追加のデータは、時間的/空間的/SNR拡張層、冗長な画像及びスライス等の他の形式の冗長なデータ、SEIメッセージ、VUIパラメータセットフラグメント等を含み得る。
ビデオは、時間的順序で複数のソース画像(ビデオ画像)として取り込まれ得る。イントラ画像予測(大抵の場合、イントラ予測と略される)は、所与の画像の空間的相関を利用し、インター画像予測は、画像同士の間の(時間的又は他の)相関を利用する。一例では、現在の画像と呼ばれる、符号化/復号化中の特定の画像がブロックにパーティション分割される。現在の画像のブロックが、ビデオの以前にコード化され、未だバッファリングされている参照画像の参照ブロックに類似している場合に、現在の画像のブロックは、動きベクトルと呼ばれるベクトルによってコード化できる。動きベクトルは、参照画像内の参照ブロックを指し、複数の参照画像が使用されている場合に、参照画像を識別する第3の次元を有することができる。
いくつかの実施形態では、双方向予測技術をインター画像予測に使用することができる。双方向予測技術によれば、第1の参照画像及び第2の参照画像等の2つの参照画像が使用され、これら2つの参照画像は両方とも、復号化の順序序がビデオの現在の画像よりも前にある(ただし、それぞれ表示順序が過去及び将来である可能性がある)。現在の画像内のブロックは、第1の参照画像内の第1の参照ブロックを指し示す第1の動きベクトルと、第2の参照画像内の第2の参照ブロックを指し示す第2の動きベクトルとによってコード化することができる。ブロックは、第1の参照ブロックと第2の参照ブロックとの組合せによって予測することができる。
さらに、マージモード技術をインター画像予測で使用して、コーディング効率を高めることができる。
本開示のいくつかの実施形態によれば、インター画像予測及びイントラ画像予測等の予測は、ブロックの単位で実行される。例えば、HEVC規格によれば、一連のビデオ画像内の画像は圧縮のためにコーディングツリーユニット(CTU)にパーティション分割され、画像のCTUは同じサイズ(64×64ピクセル、32×32ピクセル、16×16ピクセル等)になる。一般に、CTUには、1つのルマ(luma:輝度)CTBと2つのクロマ(chroma:色差)CTBである3つのコーディングツリーブロック(CTB)が含まれる。各CTUは、1つ又は複数のコーディングユニット(CU)に再帰的に4分木分割できる。例えば、64×64ピクセルのCTUは、64×64ピクセルの1個のCU、32×32ピクセルの4個のCU、又は16×16ピクセルの16個のCUに分割できる。一例では、各CUを解析して、CUの予測タイプ(インター予測タイプ又はイントラ予測タイプ)が決定される。CUは、時間的及び/又は空間的な予測可能性に応じて、1つ又は複数の予測ユニット(PU)に分割される。一般に、各PUには、1個のルマ予測ブロック(PB)及び2個のクロマPBが含まれる。一実施形態では、コーディング(符号化/復号化)における予測動作は、予測ブロックの単位で実行される。予測ブロックの一例としてルマ予測ブロックを使用すると、予測ブロックは、8×8ピクセル、16×16ピクセル、8×16ピクセル、16×8ピクセル等のピクセルの値(例えば、ルマ値)のマトリックスを含む。
図7は、本開示の別の実施形態によるビデオエンコーダ(703)の図を示す。ビデオエンコーダ(703)は、一連のビデオ画像の現在のビデオ画像内のサンプル値の処理ブロック(例えば、予測ブロック)を受信し、処理ブロックを、コード化したビデオシーケンスの一部であるコード化した画像に符号化するように構成される。一例では、ビデオエンコーダ(703)は、図4の例のビデオエンコーダ(403)の代わりに使用される。
HEVCの例では、ビデオエンコーダ(703)は、8×8サンプル等の予測ブロック等の処理ブロックのサンプル値のマトリックスを受信する。ビデオエンコーダ(703)は、処理ブロックが、例えばレート歪み最適化を使用して、イントラモード、インターモード、又は双方向予測モードを使用して最適にコード化されるかどうかを決定する。処理ブロックがイントラモードでコード化される場合に、ビデオエンコーダ(703)は、イントラ予測技術を使用して、処理ブロックをコード化した画像に符号化することができる。そして、処理ブロックがインターモード又は双方向予測モードでコード化される場合に、ビデオエンコーダ(703)は、インター予測又は双方向予測技術をそれぞれ使用して、処理ブロックをコード化した画像に符号化することができる。特定のビデオコーディング技術では、マージモードは、動きベクトルが1つ又は複数の動きベクトル予測器から導出されるインター画像予測サブモードであり、予測器の外側にあるコード化した動きベクトル成分の利点はない。特定の他のビデオコーディング技術では、対象ブロックに適用可能な動きベクトル成分が存在し得る。一例では、ビデオエンコーダ(703)は、処理ブロックのモードを決定するためのモード決定モジュール(図示せず)等の他の構成要素を含む。
図7の例では、ビデオエンコーダ(703)は、図7に示されるように一緒に結合されるインター(inter)エンコーダ(730)、イントラ(intra)エンコーダ(722)、残差計算機(723)、スイッチ(726)、残差エンコーダ(724)、汎用コントローラ(721)、及びエントロピーエンコーダ(725)を含む。
インターエンコーダ(730)は、現在のブロック(例えば、処理ブロック)のサンプルを受信し、そのブロックを、参照画像内の1つ又は複数の参照ブロック(例えば、前の画像及び後の画像のブロック)と比較し、インター予測情報(例えば、インター符号化技術による冗長情報の記述、動きベクトル、マージモード情報)を生成し、任意の適切な技術を使用して、インター予測情報に基づいてインター予測結果(例えば、予測ブロック)を計算するように構成される。いくつかの例では、参照画像は、符号化したビデオ情報に基づいて復号化される復号化した参照画像である。
イントラエンコーダ(722)は、現在のブロック(例えば、処理ブロック)のサンプルを受信し、場合によっては、そのブロックを、同じ画像で既にコード化したブロックと比較し、変換後に量子化係数を生成し、場合によっては、イントラ予測情報(例えば、1つ又は複数のイントラ符号化技術によるイントラ予測方向情報)も生成するように構成される。一例では、イントラエンコーダ(722)は、イントラ予測情報及び同じ画像内の参照ブロックに基づいて、イントラ予測結果(例えば、予測ブロック)も計算する。
汎用コントローラ(721)は、一般的な制御データを決定し、一般的な制御データに基づいてビデオエンコーダ(703)の他の構成要素を制御するように構成される。一例では、汎用コントローラ(721)は、ブロックのモードを決定し、モードに基づいて制御信号をスイッチ(726)に提供する。例えば、モードがイントラモードである場合に、汎用コントローラ(721)は、スイッチ(726)を制御して残差計算機(723)が使用するイントラモード結果を選択し、エントロピーエンコーダ(725)を制御して、イントラ予測情報を選択し及びイントラ予測情報をビットストリームに含める。そして、モードがインターモードである場合に、汎用コントローラ(721)は、スイッチ(726)を制御して残差計算機(723)が使用するインター予測結果を選択し、エントロピーエンコーダ(725)を制御して、インター予測情報を選択し及びインター予測情報をビットストリームに含める。
残差計算機(723)は、受信したブロックと、イントラエンコーダ(722)又はインターエンコーダ(730)から選択された予測結果との間の差(残差データ)を計算するように構成される。残差エンコーダ(724)は、残差データに基づいて動作し、残差データを符号化して変換係数を生成するように構成される。一例では、残差エンコーダ(724)は、残差データを空間ドメインから周波数ドメインに変換し、変換係数を生成するように構成される。次に、変換係数は、量子化変換係数を取得するために量子化処理の対象となる。様々な実施形態において、ビデオエンコーダ(703)は、残差デコーダ(728)も含む。残差デコーダ(728)は、逆変換を実行し、復号化した残差データを生成するように構成される。復号化した残差データは、イントラエンコーダ(722)及びインターエンコーダ(730)によって適切に使用することができる。例えば、インターエンコーダ(730)は、復号化した残差データ及びインター予測情報に基づいて復号化したブロックを生成することができ、イントラエンコーダ(722)は、復号化した残差データ及びイントラ予測情報に基づいて復号化したブロックを生成することができる。復号化したブロックは、復号化した画像を生成するために適切に処理され、復号化した画像は、メモリ回路(図示せず)にバッファされ、いくつかの例では参照画像として使用され得る。
エントロピーエンコーダ(725)は、符号化したブロックを含むようにビットストリームをフォーマット化するように構成される。エントロピーエンコーダ(725)は、HEVC規格等の適切な規格に従って様々な情報を含むように構成される。一例では、エントロピーエンコーダ(725)は、一般的な制御データ、選択した予測情報(例えば、イントラ予測情報又はインター予測情報)、残差情報、及び他の適切な情報をビットストリームに含めるように構成される。開示する主題によれば、インターモード又は双方向予測モードのいずれかのマージサブモードでブロックをコード化する場合に、残差情報がないことに留意されたい。
図8は、本開示の別の実施形態によるビデオデコーダ(810)の図を示す。ビデオデコーダ(810)は、コード化したビデオシーケンスの一部であるコード化した画像を受信し、コード化した画像を復号化して再構成した画像を生成するように構成される。一例では、ビデオデコーダ(810)は、図4の例のビデオデコーダ(410)の代わりに使用される。
図8の例では、ビデオデコーダ(810)は、図8に示されるように一緒に結合されるエントロピーデコーダ(871)、インターデコーダ(880)、残差デコーダ(873)、再構成モジュール(874)、及びイントラデコーダ(872)を含む。
エントロピーデコーダ(871)は、コード化した画像から、(コード化した画像を構成する)シンタックス要素を表す特定のシンボルを再構成するように構成することができる。そのようなシンボルは、例えば、ブロックがコード化されるモード(例えば、イントラモード、インターモード、双方向予測モード、マージサブモード又は別のサブモードの後者(インターモード、双方向予測モード)の2つ等)、イントラデコーダ(872)又はインターデコーダ(880)による予測にそれぞれ使用される特定のサンプル又はメタデータを識別することができる予測情報(例えば、イントラ予測情報又はインター予測情報等)、例えば量子化変換係数の形式の残差情報等を含むことができる。一例では、予測モードがインターモード又は双方向予測モードである場合に、インター予測情報は、インターデコーダ(880)に提供される。そして、予測タイプがイントラ予測タイプである場合に、イントラ予測情報は、イントラデコーダ(872)に提供される。残差情報は、逆量子化の対象となる可能性があり、残差デコーダ(873)に提供される。
インターデコーダ(880)は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成される。
イントラデコーダ(872)は、イントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように構成される。
残差デコーダ(873)は、逆量子化を実行して非量子化変換係数を抽出し、非量子化変換係数を処理して残差を周波数ドメインから空間ドメインに変換するように構成される。残差デコーダ(873)は、(量子化パラメータ(QP)を含むために)特定の制御情報も必要とし得、その情報は、エントロピーデコーダ(871)によって提供され得る(これは、少量の制御情報のみである可能性があるため、データパスは示していない)。
再構成モジュール(874)は、空間ドメインにおいて、残差デコーダ(873)によって出力される残差と、予測結果(場合によっては、インター又はイントラ予測モジュールによって出力される)とを組み合わせて、再構成したブロック(再構成した画像の一部であり得る)を形成するように構成され、次に、その再構成したブロックは、再構成したビデオの一部であり得る。視覚的品質を高めるために、デブロッキング操作等の他の適切な操作を実行できることに留意されたい。
ビデオエンコーダ(403)、(603)、及び(703)、並びにビデオデコーダ(410)、(510)、及び(810)は、任意の適切な技術を使用して実装できることに留意されたい。一実施形態では、ビデオエンコーダ(403)、(603)、及び(703)、並びにビデオデコーダ(410)、(510)、及び(810)は、1つ又は複数の集積回路を使用して実装することができる。別の実施形態では、ビデオエンコーダ(403)、(603)、及び(603)、並びにビデオデコーダ(410)、(510)、及び(810)は、ソフトウェア命令を実行する1つ又は複数のプロセッサを使用して実装することができる。
本開示の態様は、イントラブロックコピー及び予測モードのためのシグナリングフラグに関する技術を提供する。
ブロックベースの補償は、インター予測及びイントラ予測に使用することができる。インター予測の場合に、別の画像からのブロックベースの補償は動き補償として知られている。イントラ予測の場合に、ブロックベースの補償は、同じ画像内の以前に再構成した領域から実行することもできる。同じ画像内の再構成した領域からのブロックベースの補償は、イントラ画像ブロック補償、現在の画像参照(CPR)、又はイントラブロックコピー(IBC)と呼ばれる。現在のブロックと同じ画像内の参照ブロックとの間のオフセットを示す変位ベクトルは、ブロックベクトル(又は略してBV)と呼ばれる。任意の値(正又は負、x又はy方向のいずれか)であり得る動き補償の動きベクトルとは異なり、ブロックベクトルには、参照ブロックが利用可能であり、既に再構成されていることを確認するためのいくつかの制約がある。また、いくつかの例では、並列処理を考慮して、タイル境界又は波面ラダー形状境界である参照領域が除外されている。
ブロックベクトルのコーディングは、明示的又は暗黙的のいずれかであり得る。明示的モード(又は、インターコーディングにおける高度な動きベクトル予測(AMVP)モードと呼ばれる)では、ブロックベクトルとその予測器(子)の差がシグナリングされる。暗黙的モードでは、マージモードの動きベクトルと同様の方法で、ブロックベクトルが予測器(ブロックベクトル予測器と呼ばれる)から復元される。いくつかの実施態様では、ブロックベクトルの解像度は整数の位置に制限される。他のシステムでは、ブロックベクトルは小数点の位置を指し示すことができる。
いくつかの例では、ブロックレベルでのイントラブロックコピーの使用は、参照インデックスアプローチを使用してシグナリングすることができる。次に、復号化中の現在の画像は、参照画像として扱われる。一例では、そのような参照画像は、参照画像のリストの最後の位置に配置される。この特別な参照画像は、復号化画像バッファ(DPB)等のバッファ内の他の時間的参照画像と一緒に管理される。
フリップド(flipped:反転)イントラブロックコピー(現在のブロックを予測するために使用される前に参照ブロックが水平方向又は垂直方向に反転される)、又はラインベースのイントラブロックコピー(M×Nコーディングブロック内の各補償ユニットはM×1又は1×Nラインである)等のイントラブロックコピーにもいくつかのバリエーションがある。
図9は、本開示の一実施形態によるイントラブロックコピーの例を示す。現在の画像(900)は復号化中である。現在の画像(900)は、再構成した領域(910)(点線の領域)及び復号化すべき領域(920)(白い領域)を含む。現在のブロック(930)はデコーダによって再構成中である。現在のブロック930は、再構成した領域(910)内にある参照ブロック940から再構成することができる。参照ブロック(940)と現在のブロック(930)との間の位置オフセットは、ブロックベクトル(950)(又はBV(950))と呼ばれる。
いくつかの例(例えば、VVC)では、イントラブロックコピーモードの検索範囲は、現在のCTU内になるように制約される。その場合に、イントラブロックコピーモードの参照サンプルを格納するためのメモリ要件は、サンプルの1(最大)CTUサイズである。一例では、(最大の)CTUのサイズは128×128であり、現在のブロックのサイズは64×64である。こうして、いくつかの実施形態では、総メモリ(例えば、メインメモリよりもアクセス速度の速いキャッシュメモリ)は、128×128のサイズのサンプルを格納することができ、総メモリは、再構成したサンプルを64×64領域等の現在のブロックに格納するための既存の参照サンプルメモリ部分と、サイズ64×64の他の3つの領域のサンプルを格納するための追加のメモリ部分とを含む。こうして、いくつかの例では、イントラブロックコピーモードの有効な検索範囲は、参照ピクセルを格納するための合計メモリ要件を変更せずに、左側のCTUの一部に拡張される(例えば、1CTUサイズでは、合計で64×64参照サンプルメモリの4倍である)。
いくつかの実施形態では、更新プロセスが実行されて、左側のCTUからの格納した参照サンプルを、現在のCTUからの再構成したサンプルに更新する。具体的には、いくつかの例では、更新プロセスは64×64ルマ・サンプルベースで実行される。一実施形態では、CTUサイズメモリ内の4個の64×64ブロック領域のそれぞれについて、左側のCTUからの領域内の参照サンプルを使用して、現在のCTUの同じ領域内のいずれかのブロックがコード化されているか、又はコード化されるまで、CPRモードで現在のCTU内のコーディングブロックを予測することができる。
図10A~図10Dは、本開示の一実施形態による、イントラブロックコピーモードの有効な検索範囲の例を示す。いくつかの例では、エンコーダ/デコーダは、128×128サンプル等の1つのCTUのサンプルを格納できるキャッシュメモリを含む。さらに、図10A~図10Dの例では、予測のための現在のブロックのサイズは64×64サンプルである。例は、他の適切なサイズの現在のブロックに対して適切に変更できることに留意されたい。
図10A~図10Dのそれぞれは、現在のCTU(1020)及び左側のCTU(1010)を示す。左側のCTU(1010)には4個のブロック(1011)~(1014)が含まれており、各ブロックのサンプルサイズは64×64サンプルである。現在のCTU(1020)には4個のブロック(1021)~(1024)が含まれており、各ブロックのサンプルサイズは64×64サンプルである。現在のCTU(1020)は、再構成中の現在のブロック(ラベル「Curr」で示され、縦縞パターン)を含むCTUである。左側のCUT(1010)は、現在のCTU(1020)の左側にあるすぐ隣のCUTである。図10A~図10Dにおいて、灰色のブロックは、既に再構成したブロックであり、白いブロックは、再構成すべきブロックであることに留意されたい。
図10Aにおいて、再構成中の現在のブロックはブロック(1021)である。キャッシュメモリは、再構成したサンプルをブロック(1012)、(1013)、及び(1014)に格納し、キャッシュメモリは、現在のブロック(1021)の再構成したサンプルを格納するために使用される。図10Aの例では、現在のブロック(1021)の有効な検索範囲は、キャッシュメモリに格納された再構成したサンプルを伴う左側のCTU(1010)内のブロック(1012)、(1013)及び(1014)を含む。一実施形態では、ブロック(1011)の再構成したサンプルは、キャッシュメモリよりもアクセス速度が遅いメインメモリに格納される(例えば、ブロック(1021)の再構成の前にキャッシュメモリからメインメモリにコピーされる)ことに留意されたい。
図10Bにおいて、再構成中の現在のブロックは、ブロック(1022)である。キャッシュメモリは、再構成したサンプルをブロック(1013)、(1014)、及び(1021)に格納し、キャッシュメモリは、現在のブロック(1022)の再構成したサンプルを格納するために使用される。図10Bの例では、現在のブロック(1022)の有効な検索範囲は、キャッシュメモリに格納された再構成したサンプルを伴う左側のCTU(1010)のブロック(1013)及び(1014)と、に現在のCTU(1020)のブロック(1021)とを含む。一実施形態では、ブロック(1012)の再構成したサンプルは、キャッシュメモリよりもアクセス速度が遅いメインメモリに格納される(例えば、ブロック(1022)の再構成の前にキャッシュメモリからメインメモリにコピーされる)。
図10Cにおいて、再構成中の現在のブロックは、ブロック(1023)である。キャッシュメモリは、再構成したサンプルをブロック(1014)、(1021)、及び(1022)に格納し、キャッシュメモリは、現在のブロック(1023)の再構成したサンプルを格納するために使用される。図10Cの例では、現在のブロック(1023)の有効な検索範囲は、キャッシュメモリに格納された再構成したサンプルを伴う左側のCTU(1010)のブロック(1014)と、現在のCTU(1020)のブロック(1021)及び(1022)とを含む。一実施形態では、ブロック(1013)の再構成したサンプルは、キャッシュメモリよりもアクセス速度が遅いメインメモリに格納される(例えば、ブロック(1023)の再構成の前にキャッシュメモリからメインメモリにコピーされる)。
図10Dにおいて、再構成中の現在のブロックは、ブロック(1024)である。キャッシュメモリは、再構成したサンプルをブロック(1021)、(1022)、及び(1023)に格納し、キャッシュメモリは、現在のブロック(1024)の再構成したサンプルを格納するために使用される。図10Dの例では、現在のブロック(1024)の有効な検索範囲は、キャッシュメモリに格納された再構成したサンプルを伴う現在のCTU(1020)内のブロック(1021)、(1022)及び(1023)を含む。一実施形態では、ブロック(1014)の再構成したサンプルは、キャッシュメモリよりもアクセス速度が遅いメインメモリに格納される(例えば、ブロック(1024)の再構成の前にキャッシュメモリからメインメモリにコピーされる)。
上記の例では、キャッシュメモリは、1(最大)CTUサイズの合計メモリ空間を有する。例は、他の適切なCTUサイズに合わせて適切に調整できる。
本開示の一態様によれば、イントラブロックコピーを使用する前に、コーディングブロックは、イントラモード(イントラコーディング)又はインターモード(インター画像予測)でコード化され得る。一例では、1つのビン(バイナリビット)を有する予測モードフラグ「pred_mode_flag」が、現在のブロックのコーディングモード(イントラモード又はインターモード)を区別するために、コーディングブロックレベルでシグナリング又は推測される。例えば、予測モードフラグ「pred_mode_flag」が0に等しい場合に、MODE_INTER(インターモードを示す)が使用される。それ以外の場合に(pred_mode_flagが1に等しい)、MODE_INTRA(イントラモードを示す)が使用される。
いくつかの実施形態では、イントラブロックコピーを使用する場合に、現在のブロックのイントラブロックコピーを示すために、予測モードフラグ「pred_mode_flag」は、インターモードを示すためにシグナリングされ(例えば、pred_mode_flagは0に等しい)、次に、現在のブロックがイントラブロックコピーモードでコード化されているかどうかを示すために、推測又は明示的なシグナリング方法が使用される。推測する方法では、一例では、現在のブロックはマージモードであり、マージ候補がイントラブロックコピーモードでコード化されると、次に、現在のブロックもイントラブロックコピーモードでコード化される。明示的なシグナリングでは、現在のブロックが現在の画像である参照画像を参照していることを示すために参照インデックスがシグナリングされると、次に、現在のブロックは、イントラブロックコピーモードでコード化される。
本開示のいくつかの態様によれば、イントラブロックコピーは、イントラ予測モード(イントラモード)又はインター予測モード(インターモード)以外の別個のモードと見なされ、イントラブロックコピー使用のシグナリング(例えば、フラグ「pred_mode_ibc_flag」を使用する)及びpred_mode_flagは、ブロックレベルで指定される。
提案する方法は、別々に使用すること、又は任意の順序で組み合わせることができる。さらに、方法(又は実施形態)、エンコーダ、及びデコーダのそれぞれは、処理回路(例えば、1つ又は複数のプロセッサ或いは1つ又は複数の集積回路)によって実装され得る。一例では、1つ又は複数のプロセッサは、非一時的なコンピュータ可読媒体に格納されるプログラムを実行する。以下では、用語ブロックは、予測ブロック、コーディングブロック、又はコーディングユニット、すなわちCUとして解釈され得る。
以下の議論は、イントラブロックコピー(IBC)モードが、イントラ予測モード又はインター予測モードとは異なる別個のモードと見なされるという仮定に基づいている。
いくつかの実施形態では、IBC予測モード使用フラグ「pred_mode_ibc_flag」は、スキップモードフラグ(cu_skip_flag)、予測モードフラグ(pred_mode_flag)、及び現在のタイルグループのタイルグループタイプ(tile_group_type)のシグナリングの組合せに基づいて、ブロックレベルでシグナリング又は推測される。
本開示の第1の態様によれば、IBC予測モード使用フラグ「pred_mode_ibc_flag」は、高レベルのIBC有効化フラグ(例えば、sps_ibc_enabled_flag)が真であり、1つ又は複数の他の条件を満たすときに、シグナリングされる。
一例では、高レベルのIBC有効化フラグ(例えば、sps_ibc_enabled_flag)が真であり、現在のコーディングブロックが、Iタイルグループ(例えば、tile_group_type=I)においてスキップモードを使用してコード化されない(例えば、cu_skip_flag=0)場合に、現在のブロックを、IBC予測モードにすること、又はイントラ予測モードにすることができる。こうして、pred_mode_ibc_flagは、現在のブロックがイントラ予測モード(0)又はIBC予測モード(1)のどちらでコード化されるかを示すためにシグナリングされる。
別の例では、高レベルのIBC有効化フラグ(例えば、sps_ibc_enabled_flag)が真であり、現在のコーディングブロックが、Iタイルグループ(例えば、tile_group_type=I)においてスキップモードを使用してコード化される(例えば、cu_skip_flag=1)場合に、現在のブロックはIBC予測モードでコード化されると推測され、一例ではIBC予測モード使用フラグ「pred_mode_ibc_flag」はシグナリングされない。
別の例では、現在のコーディングブロックが、P又はBタイルグループ(slice_tile_group_type!=I)においてイントラ予測モード(CuPredMoed[x0][y0]!=MODE_INTRA)を使用してコード化されず、現在のブロックがスキップモードでコード化される(cu_skip_flag=1)場合に、現在のブロックを、インター予測モード又はIBC予測モードでコード化することができる。こうして、pred_mode_ibc_flagは、現在のブロックがインター予測モード(0)又はIBC予測モード(1)のどちらでコード化されるかを示すためにシグナリングされる。
別の例では、高レベルのIBC有効化フラグ(例えば、sps_ibc_enabled_flag)が真であり、現在のブロックがスキップモードでコード化されない(cu_skip_flag=0)場合に、現在のブロックは、イントラ予測モード、インター予測モード、及びIBC予測モードのいずれかであり得る。一実施形態では、pred_mod_flagは、現在のブロックがイントラ予測モードではないことを示すためにシグナリングされる(例えば、pred_mode_flagは1にシグナリングされる)。次に、pred_mode_ibc_flagは、現在のブロックがインター予測モード(0)又はIBC予測モード(1)のどちらでコード化されるかを示すためにシグナリングされる。
別の例では、CuPredMode[x0][y0]がMODE_INTRAに等しい(例えば、pred_mode_flagが0にシグナリングされる)場合に、次に、現在のブロックはイントラ予測モードでコード化され、追加のフラグ(例えば、pred_mode_ibc_flag)をシグナリングする必要はない。
本開示の第1の態様による一実施形態では、pred_mod_flag及びpred_mode_ibc_flagのシンタックス及び関連するセマンティックが、表1に指定される。この実施形態では、IBCモードのブロックサイズは制約されない。様々な例では、現在のブロックは、クロマブロックではなくルマブロックであることに留意されたい。
Figure 2022510326000002
一例では、pred_mode_flagが0に復号化されるときに、現在のコーディングユニットは、インター予測モード又はIBC予測モードでコード化される。次に、pred_mode_flagがコード化したビデオビットストリームから復号化される。pred_mode_flagが1に復号化されるときに、現在のコーディングユニットはイントラ予測モードでコード化される。
いくつかの実施形態では、変数CuPredMoed[x][y](コーディングユニットの予測モード)は、x=x0..x0+cbWidth-1及びy=y0..y0+cbHeight-1の場合に、pred_mode_flagに基づいて初期化され、次に、他の条件に基づいてさらに決定される。例えば、pred_mode_flagが0に等しい場合に、CuPredMode[x][y]はMODE_INTERに等しく設定される。そして、pred_mode_flagが1に等しい場合に、CuPredMode[x][y]はMODE_INTRAに等しく設定される。
いくつかの例では、pred_mode_flagがコード化したビデオストリームで提示されない場合に、変数CuPredMoed[x][y]は、(cu_skip_flag[x][y]==0)?MODE_INTRAに等しいと推測され、x=x0..x0+cbWidth-1及びy=y0..y0+cbHeight-1の場合に、Iタイルグループを復号化する場合はMODE_IBC、P又はBタイルグループを復号化する場合はMODE_INTERに等しいと推測される。ここで、cbWidthは現在のブロックの幅であり、cbHeightは現在のブロックの高さである。例えば、Iタイルグループでは、可能な予測モードはMODE_INTRA及びMODE_IBCである。次に、cu_skip_flagに基づいて予測モードを決定できる。cu_skip_flagが0である(スキップモードなし)場合に、現在のブロックの予測モードはMODE_INTRAである。また、cu_skip_flagが1である(スキップモード)場合に、現在のブロックの予測モードはMODE_IBCである。さらに、P又はBタイルグループにおいて、pred_mode_flagが存在しない場合に、予測モードはMODE_INTERであると推測される。
いくつかの例では、pred_mode_ibc_flagが0に復号化されるときに、現在のコーディングユニットはIBC予測モードでコード化されない。また、pred_mode_ibc_flagが1に復号化されるときに、現在のコーディングユニットはIBC予測モードでコード化される。pred_mode_ibc_flagがコード化したビデオビットストリームに存在しない場合に、pred_mode_ibc_flagは、Iタイルグループを復号化するときにsps_ibc_enabled_flagに等しいと推測され、P又はBタイルグループを復号化するときに0に等しいと推測される。
いくつかの実施形態では、pred_mode_ibc_flagに基づいて、現在のブロックの現在の予測モードを決定することができる。一例では、変数CuPredMode[x][y]は、x=x0..x0+cbWidth-1及びy=y0..y0+cbHeight-1の場合に、pred_mode_ibc_flagに基づいて導出される。例えば、pred_mode_ibc_flagが0に等しい場合に、CuPredMode[x][y]は、Iタイルグループを復号化するときにMODE_INTRAに設定され、P又はBタイルグループを復号化するときにMODE_INTERに設定される。そして、pred_mode_ibc_flagが1に等しい場合に、CuPredMode[x][y]はMODE_IBCに設定される。
本開示の第2の態様によれば、ブロックサイズは、イントラ予測モード、インター予測モード、及びIBC予測モードから予測モードを決定するプロセスにおいて考慮される。例えば、いくつかの制約の例では、IBCコード化ブロックの幅及び/又は高さがしきい値よりも小さくなっている。従って、pred_mode_ibc_flagは、高レベルのIBC有効化フラグ(sps_ibc_enabled_flag等)が真の場合に、ブロックサイズが制約を満たしている場合に(IBCコード化ブロックは各側のしきい値よりも小さい必要がある)、及び1つ又は複数の他の条件でシグナリングされる。
一例では、高レベルのIBC有効化フラグ(例えば、sps_ibc_enabled_flag)が真であり、現在のコーディングブロックが、Iタイルグループ(例えば、tile_group_type=I)においてスキップモードを使用してコード化されない(例えば、cu_skip_flag=0)場合に、現在のブロックを、IBC予測モードにすること、又はイントラ予測モードにすることができる。こうして、pred_mode_ibc_flagは、現在のブロックがイントラ予測モード(0)又はIBC予測モード(1)のどちらでコード化されるかを示すためにシグナリングされる。
別の例では、高レベルのIBC有効化フラグ(例えば、sps_ibc_enabled_flag)が真であり、現在のコーディングブロックが、Iタイルグループ(例えば、tile_group_type=I)においてスキップモードを使用してコード化される(例えば、cu_skip_flag=1)場合に、現在のブロックは、IBC予測モードでコード化されると推測される。次に、pred_mode_ibc_flagは、コード化したビデオビットストリームでシグナリングされない。
別の例では、現在のコーディングブロックは、P又はBタイルグループ(slice_tile_group_type!=I)においてイントラ予測モード(CuPredMoed[x][y]!=MODE_INTRA)を使用してコード化されず、現在のブロックがスキップモードでコード化される(cu_skip_flag=1)場合に、現在のブロックを、インター予測モード又はIBC予測モードでコード化することができる。こうして、pred_mode_ibc_flagは、現在のブロックがインター予測モード(0)又はIBC予測モード(1)のどちらでコード化されるかを示すために、コード化したビデオビットストリームでシグナリングされる。
別の例では、高レベルのIBC有効化フラグ(例えば、sps_ibc_enabled_flag)が真であり、現在のブロックがスキップモードでコード化されない(cu_skip_flag=0)場合に、現在のブロックは、イントラ予測モード、インター予測モード、及びIBC予測モードのいずれかであり得る。一実施形態では、pred_mod_flagは、現在のブロックがイントラ予測モードではないことを示すためにシグナリングされる(例えば、pred_mode_flagは1であるようにシグナリングされる)。次に、pred_mode_ibc_flagは、現在のブロックがインター予測モード(0)又はIBC予測モード(1)のどちらでコード化されるかを示すためにシグナリングされる。
別の例では、CuPredMode[x0][y0]がMODE_INTRAに等しい(例えば、pred_mode_flagは0でシグナリングされる)場合に、次に、現在のブロックは、イントラ予測モードでコード化され、追加のフラグをシグナリングする必要はない。
pred_mode_ibc_flagがシグナリングされない場合に、状況に応じて、現在のブロックの予測モードは、MODE_INTRA、MODE_INTER、又はMODE_IBCのいずれかであり得ることに留意されたい。
一例では、sps_ibc_enabled_flagが偽である場合、又は現在のブロックのサイズがサイズ要件を満たさない場合に、現在のブロックをIBCモードでコード化することはできない。従って、現在のブロックは、他の条件に従って、イントラ又はインター予測モードでコード化される。
別の例では、sps_ibc_enabled_flagが真であり、現在のブロックのサイズがサイズ要件を満たしている。cu_skip_flagが1に等しく、現在のタイルグループタイプがIの場合に、現在のブロックはMODE_IBCでコード化される。pred_mode_flagがイントラ予測モードでシグナリングされ、現在のタイルグループタイプがIでない場合に、現在のブロックはMODE_INTRAでコード化される。
Iタイルグループにおいて、現在のブロックサイズのサイズがサイズ要件を満たさない場合に、スキップモードフラグ(例えば、cu_skip_flag)をシグナリングする必要がない(例えば、偽であると推測することができる)、又はスキップモードフラグをシグナリングすることができるが、常に0(偽)に等しくなる。
本開示の第2の態様による実施形態では、pred_mode_flag及びpred_mode_ibc_flagのシンタックス及び関連するセマンティックが表2に指定される。この実施形態では、IBC予測モードのブロックサイズは、各側(幅及び高さ)のしきい値より大きくならないように制約される。例えば、サイズ要件は、幅しきい値WIDTH_THD及び高さしきい値HEIGHT_THDを使用して、IBCコード化ブロックのサイズを制限する。IBCコード化ブロックの場合に、IBCコード化ブロックの幅はWIDTH_THDよりも小さく、IBCコード化ブロックの高さはHEIGHT_THDよりも小さい。一例では、WIDTH_THD及びHEIGHT_THDは32に設定される。これら2つのフラグのセマンティックは、上記の実施形態と同様である。
Figure 2022510326000003
一例では、pre_mode_flagが0に復号化される場合に、現在のコーディングユニットは、インター予測モード又はIBC予測モードでコード化され、pred_pred_mode_flagが1に等しい場合に、現在のコーディングユニットは、イントラ予測モードでコード化される。
いくつかの例では、変数CuPredMoed[x][y]は、x=x0..x0+cbWidth-1及びy=y0..y0+cbHeight-1の場合に、pred_mode_flagに基づいて初期化される。例えば、pred_mode_flagが0に復号化されるときに、CuPredMode[x][y]はMODE_INTERに等しく設定される。そして、pred_mode_flagが1に復号化されるときに、CuPredMode[x][y]はMODE_INTRAに等しく設定される。
いくつかの例では、pred_mode_flagがコード化したビデオビットストリームに存在しない場合に、変数CuPredMoed[x][y]は、(cu_skip_flag[x0][y0]==0)?MODE_INTRAに等しいと推測される。x=x0..x0+cbWidth-1及びy=y0..y0+cbHeight-1の場合に、Iタイルグループを復号化するときはMODE_IBCに、P又はBタイルグループを復号化するときはMODE_INTERに等しいと推測される。例えば、Iタイルグループでは、可能な予測モードはMODE_INTRA及びMODE_IBCである。次に、cu_skip_flagに基づいて予測モードを決定できる。cu_skip_flagが0である(スキップモードなし)場合に、現在のブロックの予測モードはMODE_INTRAである。また、cu_skip_flagが1である(スキップモード)場合に、現在のブロックの予測モードはMODE_IBCである。さらに、P又はBタイルグループにおいて、pred_mode_flagが存在しない場合に、予測モードはMODE_INTERであると推測される。
いくつかの例では、pred_mode_ibc_flaghが0に復号化されるときに、現在のコーディングユニットはIBC予測モードでコード化されない。また、pred_mode_ibc_flagが1に復号化されるときに、現在のコーディングユニットはIBC予測モードでコード化される。pred_mode_ibc_flagがコード化したビデオビットストリームに存在しない場合に、pred_mode_ibc_flagは、Iタイルグループを復号化するときに(sps_ibc_enabled_flag&&cbWidth<WIDTH_THD&&cbHeight<HEIGHT_THD)に等しいと推測され、P又はBタイルグループを復号化するときに0に等しいと推測される。
いくつかの実施形態では、pred_mode_ibc_flagに基づいて、現在のブロックの現在の予測モードを決定することができる。一例では、変数CuPredMode[x][y]は、x=x0..x0+cbWidth-1及びy=y0..y0+cbHeight-1の場合に、pred_mode_ibc_flagに基づいて導出される。例えば、pred_mode_ibc_flagが0に等しい場合に、CuPredMode[x][y]は、Iタイルグループを復号化するときにMODE_INTRAに設定され、P又はBタイルグループを復号化するときにMODE_INTERに設定される。また、pred_mode_ibc_flagが1に等しい場合に、CuPredMode[x][y]はMODE_IBCに設定される。
本開示の第3の態様によれば、現在のコーディングブロックの予測モードは、pred_mod_ibc_flag、cu_skip_flag、pred_mode_flag、及びtile_group_typeによって共同して決定される。いくつかの例では、現在のコーディングブロックの予測モードの初期化(例えば、x=x0..x0+cbWidth-1及びy=y0..y0+cbHeight-1の場合のCuPredMode[x][y]の初期化)が実行されず、pred_mode_ibc_flag、cu_skip_flag、pred_mode_flag、及びtile_group_typeが復号化又は推測される場合に、予測モードは、pred_mode_ibc_flag、cu_skip_flag、pred_mode_flag、及びtile_group_typeの組合せに基づいて直接決定される。
一例では、高レベルのIBC有効化フラグ(例えば、sps_ibc_enabled_flag)が真であり、現在のコーディングブロックが、Iタイルグループ(例えば、tile_group_type=I)においてスキップモードを使用してコード化されない(例えば、cu_skip_flag=0)場合に、現在のブロックを、IBC予測モードにすること、又はイントラ予測モードにすることができる。こうして、pred_mode_ibc_flagは、現在のブロックがイントラ予測モード(例えば、pred_mode_ibc_flagが0に等しい)又はIBC予測モード(例えば、pred_mode_ibc_flagが1に等しい)のどちらでコード化されるかを示すためにシグナリングされる。
別の例では、高レベルのIBC有効化フラグ(例えば、sps_ibc_enabled_flag)が真であり、現在のコーディングブロックが、Iタイルグループ(例えば、tile_group_type=I)においてスキップモードを使用してコード化される(例えば、cu_skip_flag=1)場合に、現在のブロックは、IBC予測モードでコード化されると推測される。
別の例では、現在のコーディングブロックが、P又はBタイルグループ(slice_tile_group_type!=I)においてイントラ予測モード(CuPredMode[x0][y0]!=MODE_INTRA)を使用してコード化されず、現在のブロックがスキップモードでコード化される(cu_skip_flag=1)場合に、現在のブロックを、インター予測モード又はIBC予測モードでコード化することができる。こうして、pred_mode_ibc_flagは、現在のブロックがインター予測モード(例えば、pred_mode_ibc_flagが0に等しい)又はIBC予測モード(例えば、pred_mode_ibc_flagが1に等しい)のどちらでコード化されるかを示すためにシグナリングされる。
別の例では、高レベルのIBC有効化フラグ(例えば、sps_ibc_enabled_flag)が真であり、現在のブロックがスキップモードでコード化されない(cu_skip_flag=0)場合に、現在のブロックは、イントラ予測モード、インター予測モード、及びIBC予測モードのいずれかであり得る。一実施形態では、pred_mod_flagは、現在のブロックがイントラ予測モードではないことを示すためにシグナリングされる(例えば、pred_mode_flagは1であるようにシグナリングされる)。次に、pred_mode_ibc_flagは、現在のブロックがインター予測モード(0)又はIBC予測モード(1)のどちらでコード化されるかを示すためにシグナリングされる。
別の例では、現在のブロックがスキップモードでコード化されず(例えば、cu_skip_flag=0)、CuPredMoed[x0][y0]が、P又はBタイルグループにおいてMODE_INTRAに等しい(例えば、pred_mode_flagは0であるようにシグナリングされる)場合に、現在のブロックはイントラ予測モードでコード化され、追加のフラグをシグナリングする必要はない。
本開示の第3の態様による実施形態では、pre_mod_flag及びpred_mode_ibc_flagのシンタックス及び関連するセマンティックは、表1と同じである表3に指定される。この実施形態では、IBCモードのブロックサイズは制約されない。様々な例において、現在のブロックはクロマブロックではなくルマブロックであることに留意されたい。
Figure 2022510326000004
一例では、pred_mode_flagが0に復号化されるときに、現在のコーディングユニットは、インター予測モード又はIBC予測モードでコード化される。pred_mode_flagが1に復号化されるときに、現在のコーディングユニットは、イントラ予測モード又はIBC予測モードでコード化される。
pred_mode_flagがコード化したビデオビットストリームに存在しない場合に、pred_mode_flagは、cu_skip_flag及びタイルグループのタイプに従って推測される。例えば、Iタイルグループを復号化する場合に、cu_skip_flag[x0][y0]が0に等しい(スキップモードではない)場合に、pred_mode_flagは1に設定され、cu_skip_flag[x0][y0]が1に等しい場合に、pred_mode_flagは0に設定される。P又はBタイルグループを復号化する場合に、pred_mode_flagは0に設定される。
いくつかの例では、pred_mode_ibc_flagが0に復号化されるときに、現在のコーディングユニットは、IBC予測モードでコード化されない。また、pred_mode_ibc_flagが1に復号化されるときに、現在のコーディングユニットはIBC予測モードでコード化される。pred_mode_ibc_flagがコード化したビデオビットストリームに存在しない場合に、pred_mode_ibc_flagは、Iタイルグループを復号化するときにsps_ibc_enabled_flagに等しいと推測され、P又はBタイルグループを復号化するときに0に等しいと推測される。
さらに、いくつかの実施形態では、変数CuPredMoed[x][y](現在のブロックの予測モード)は、例えば表4に従って、x=x0..x0+cbWidth-1及びy=y0..y0+cbHeight-1の場合に、pred_mode_flag及びpred_mode_ibc_flagの値の組合せに基づいて導出される。
Figure 2022510326000005
表4において、pred_mode_flagが0であり、pred_mode_ibc_flagが0である場合に、変数CuPredMoed[x][y]は、MODE_INTERである。また、pred_mode_flagが1であり、pred_mode_ibc_flagが0である場合に、変数CuPredMode[x][y]はMODE_INTRAである。そして、pred_mode_ibc_flagが1である場合に、変数CuPredMode[x][y]は、pred_mode_flagの値に関係なくMODE_IBCである。
様々な実施形態において、sps_ibc_enabled_flag(SPSレベルでのIBC有効化フラグ)の使用は、画像レベルでのIBC有効化フラグ、タイルグループレベルでのIBC有効化フラグ等の別の高レベルのIBC有効化フラグによって置き換えられ得ることに留意されたい。
図11は、本開示の一実施形態によるプロセス(1100)を概説するフローチャートを示す。プロセス(1100)は、イントラモードでコード化したブロックの再構成に使用され、再構成中のブロックの予測ブロックを生成することができる。様々な実施形態では、プロセス(1100)は、端末装置(310)、(320)、(330)、及び(340)内の処理回路等の処理回路によって実行され、処理回路はビデオエンコーダ(403)の機能を実行し、処理回路はビデオデコーダ(410)の機能を実行し、処理回路はビデオデコーダ(510)の機能を実行し、処理回路はビデオエンコーダ(603)の機能等を実行する。いくつかの実施形態では、プロセス(1100)はソフトウェア命令で実装され、こうして、処理回路がソフトウェア命令を実行するときに、処理回路はプロセス(1100)を実行する。プロセスは(S1101)から始まり、(S1110)に進む。
(S1110)において、画像内の現在のブロックの予測情報が、コード化したビデオビットストリームから復号化される。
(S1120)において、IBC予測モード使用フラグは、予測情報から復号化又は推測される。次に、IBC予測モード使用フラグに基づいて、一例では、イントラ予測モード及びインター予測モードとは別のIBC予測モードが決定される。いくつかの実施形態では、IBC予測モード、イントラ予測モード、及びインター予測モードは、3つの別個の予測モードである。一例では、IBC予測モードは、IBC予測モード、イントラ予測モード及びインター予測モードの1つから選択される可能なモードを示す予測モードフラグ(例えば、pred_mode_flag)、及びIBC予測モード使用フラグ(例えば、pred_mode_ibc_flag)に基づいて選択される。予測モードフラグ及びIBC予測モード使用フラグは、コード化したビデオビットストリームから復号化するか、又は推測することができる。
(S1130)において、IBC予測モードの決定に応答して、ブロックベクトルが決定される。ブロックベクトルは、画像内の参照領域を指し示す。
(S1140)において、現在のブロックは、画像の参照領域内の参照サンプルに基づいて再構成される。次に、プロセスは(S1199)に進み、終了する。
上記の技術は、コンピュータ可読命令を使用してコンピュータソフトウェアとして実施され、1つ又は複数のコンピュータ可読媒体に物理的に格納され得る。例えば、図12は、開示する主題の特定の実施形態を実現するのに適したコンピュータシステム(1200)を示す。
コンピュータソフトウェアは、任意の適切な機械語又はコンピュータ言語を使用してコード化することができ、機械語又はコンピュータ言語は、1つ又は複数のコンピュータ中央処理装置(CPU)、グラフィックス処理装置(GPU)等による直接又は解釈を通じてマイクロコード等を実行することができる命令を含むコードを作成するためのアセンブリ、コンパイル、リンク、又は同様のメカニズムの対象となり得る。
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム装置、モノのインターネット装置等を含む、様々なタイプのコンピュータ又はその構成要素で実行することができる。
図12に示されるコンピュータシステム(1200)の構成要素は、本質的に例示的なものであり、本開示の実施形態を実現するコンピュータソフトウェアの使用範囲又は機能に関する制限を示唆することを意図するものではない。また、構成要素の構成は、コンピュータシステム(1200)の例示的な実施形態に示される構成要素のいずれか1つ又は組合せに関連する依存性又は要件を有すると解釈すべきではない。
コンピュータシステム(1200)は、特定のヒューマンインターフェイス入力装置を含み得る。そのようなヒューマンインターフェイス入力装置は、例えば、触覚入力(キーストローク、スワイプ、データグローブの動き等)、音声入力(音声、拍手等)、視覚入力(ジェスチャ等)、嗅覚入力(図には示せず)を介して、1人又は複数の人間ユーザによる入力に応答することができる。ヒューマンインターフェイス装置を使用して、オーディオ(音声、音楽、周囲の音等)、画像(スキャン画像、静止画カメラから取得した写真画像等)、ビデオ(2次元ビデオ、立体ビデオを含む3次元ビデオ等)等、人間による意識的な入力に必ずしも直接関連しない特定のメディアを取り込むこともできる。
入力ヒューマンインターフェイス装置は、キーボード(1201)、マウス(1202)、トラックパッド(1203)、タッチスクリーン(1210)、データグローブ(図示せず)、ジョイスティック(1205)、マイク(1206)、スキャナ(1207)、カメラ(1208)の1つ又は複数(図示したものそれぞれの1つのみ)を含み得る。
コンピュータシステム(1200)は、特定のヒューマンインターフェイス出力装置も含み得る。そのようなヒューマンインターフェイス出力装置は、例えば、触覚出力、音、光、及び嗅覚/味覚を通して、1人又は複数の人間のユーザの感覚を刺激し得る。そのようなヒューマンインターフェイス出力装置は、触覚出力装置(例えば、タッチスクリーン(1210)、データグローブ(図示せず)、又はジョイスティック(1205)による触覚フィードバックを含み得るが、入力装置として機能しない触覚フィードバック装置もあり得る)、オーディオ出力装置(スピーカー(1209)、ヘッドホン(図示せず)等)、ビジュアル出力装置(CRTスクリーン、LCDスクリーン、プラズマスクリーン、OLEDスクリーンを含むスクリーン(1210)等)、及びプリンター(図示せず)を含み得、各スクリーンはタッチスクリーン入力機能あり又はなしでもよく、各スクリーンは触覚フィードバック機能あり又はなしでもよく、そのうちのいくつかは、立体出力、仮想現実眼鏡(図示せず)、ホログラフィックディスプレイ、及びスモークタンク(図示せず))等の手段を介して2次元視覚出力又は3次元以上の出力を出力する能力があり得る。
コンピュータシステム(1200)はまた、人間がアクセス可能なストレージ装置、CD/DVD又は同様の媒体(1221)を含むCD/DVD ROM/RW(1220)を含む光媒体、サムドライブ(1222)、リムーバブルハードドライブ又はソリッドステートドライブ(1223)、テープ及びフロッピーディスク等のレガシー磁気媒体(図示せず)、セキュリティドングル(dongle)等の特殊なROM/ASIC/PLDベースの装置(図示せず)等のそれらの関連媒体を含み得る。
当業者は、現在開示している主題に関連して使用される「コンピュータ可読媒体」という用語は、伝送媒体、搬送波、又は他の一時的な信号を含まないことを理解すべきである。
コンピュータシステム(1200)は、1つ又は複数の通信ネットワークへのインターフェイスも含み得る。ネットワークは、例えば、無線、有線、光であってもよい。ネットワークはさらに、ローカル、広域、大都市圏、車両及び産業用、リアルタイム、遅延耐性等にすることができる。ネットワークの例には、イーサネット等のローカルエリアネットワーク、無線LAN、GSM、3G、4G、5G、LTE等を含むセルラーネットワーク、ケーブルテレビ、衛星テレビ、地上波TV放送を含むテレビ有線又は無線広域デジタルネットワーク、CANBusを含む車両及び産業用ネットワーク等が含まれる。特定のネットワークは、通常、特定の汎用データポート又は周辺バス(1249)(例えば、コンピュータシステムのUSBポート(1200))に接続された外部ネットワークインターフェイスアダプタを必要とする。他のものは、通常、以下に説明するようにシステムバス(例えば、PCコンピュータシステムへのイーサネットインターフェイス又はスマートフォンコンピュータシステムへのセルラーネットワークインターフェイス)に接続することによってコンピュータシステム(1200)のコアに統合される。これらのネットワークのいずれかを使用して、コンピュータシステム(1200)は他のエンティティと通信することができる。このような通信は、例えば、ローカル又はワイドエリアデジタルネットワークを使用する他のコンピュータシステムに対して単方向、受信のみ(例えば、テレビ放送)、単方向の送信のみ(例えば、特定のCANBus装置へのCANBus)、又は双方向で行うことができる。上記のように、特定のプロトコル及びプロトコルスタックをこれらのネットワーク及びネットワークインターフェイスのそれぞれで使用できる。
前述のヒューマンインターフェイス装置、ヒューマンアクセス可能なストレージ装置、及びネットワークインターフェイスは、コンピュータシステム(1200)のコア(1240)に接続することができる。
コア(1240)は、1つ又は複数の中央処理装置(CPU)(1241)、グラフィックス処理装置(GPU)(1242)、フィールドプログラマブルゲートエリア(FPGA)(1243)の形態の特殊なプログラム可能な処理装置、特定のタスク用のハードウェアアクセラレータ(1244)等を含むことができる。これらの装置は、システムバス(1248)を介して、読取り専用メモリ(ROM)(1245)、ランダムアクセスメモリ(1246)、ユーザがアクセスできない内部ハードドライブ、SSD等の内部大容量ストレージ(1247)とともに接続できる。いくつかのコンピュータシステムでは、システムバス(1248)は、1つ又は複数の物理プラグの形でアクセス可能であり、追加のCPU、GPU等による拡張を可能にする。周辺装置は、コアのシステムバス(1248)に直接接続すること、又は周辺バス(1249)を介して接続することができる。周辺バスのアーキテクチャには、PCI、USB等が含まれる。
CPU(1241)、GPU(1242)、FPGA(1243)、及びアクセラレータ(1244)は、組み合わせて、前述のコンピュータコードを構成することができる特定の命令を実行することができる。そのコンピュータコードは、ROM(1245)又はRAM(1246)に格納できる。移行データはRAM(1246)に格納することもできるが、永続データは例えば内部大容量ストレージ(1247)に格納することもできる。キャッシュメモリを使用することで、メモリ装置のうちのいずれかの高速ストレージ及び検索を有効にでき、それは、1つ又は複数のCPU(1241)、GPU(1242)、大容量ストレージ(1247)、ROM(1245)、
RAM(1246)等に密接に関連している。
コンピュータ可読媒体は、様々なコンピュータ実装操作を実行するためのコンピュータコードをその上に有することができる。メディア及びコンピュータコードは、本開示の目的のために特別に設計及び構成されたものであり得るか、又はコンピュータソフトウェア技術の当業者によく知られていて利用可能な種類のものであり得る。
限定ではなく例として、アーキテクチャ(1200)、具体的にはコア(1240)を有するコンピュータシステムは、1つ又は複数の有形のコンピュータ可読媒体に具体化されたソフトウェアを実行するプロセッサ(CPU、GPU、FPGA、アクセラレータ等を含む)の結果として機能を提供することができる。そのようなコンピュータ可読媒体は、コア内部大容量記憶装置(1247)又はROM(1245)等の非一時的性質のコア(1240)の特定のストレージ、及び上で紹介したようにユーザがアクセス可能な大容量記憶装置に関連する媒体であり得る。本開示の様々な実施形態を実施するソフトウェアは、そのような装置に格納され、コア(1240)によって実行され得る。コンピュータ可読媒体は、特定の必要性に応じて、1つ又は複数のメモリ装置又はチップを含むことができる。ソフトウェアは、コア(1240)、特にその中のプロセッサ(CPU、GPU、FPGA等を含む)に、RAM(1246)に格納されたデータ構造の規定、及びソフトウェアによって規定されたプロセスに従ったそのようなデータ構造の変更を含む、本明細書に記載の特定のプロセス又は特定のプロセスの特定の部分を実行させることができる。追加的に又は代替的に、コンピュータシステムは、本明細書に記載の特定のプロセス又は特定のプロセスの特定の部分を実行するために、ソフトウェアの代わりに又はソフトウェアと一緒に動作することができる、回路(例えば、アクセラレータ(1244))に配線された、又は他に回路で具体化された論理の結果として機能を提供することができる。必要に応じて、ソフトウェアへの参照には論理を含めることができ、その逆も可能である。コンピュータ可読媒体への言及は、必要に応じて、実行のためのソフトウェアを格納する回路(集積回路(IC)等)、実行のための論理を具体化する回路、又はその両方を包含することができる。本開示は、ハードウェア及びソフトウェアの任意の適切な組合せを包含する。
付録A:頭字語
JEM:joint exploration model
VVC:versatile video coding
BMS:ベンチマークセット
MV:動きベクトル
HEVC:高効率ビデオコーディング
SEI:Supplementary Enhancement Information
VUI:ビデオユーザビリティ情報
GOP:画像のグループ
TU:変換ユニット
PU:予測ユニット
CTU:コーディングツリーユニット
CTB:コーディングツリーブロック
PB:予測ブロック
HRD:仮想参照デコーダ
SNR:信号ノイズ比
CPU:中央処理装置
GPU:グラフィックス処理装置
CRT:ブラウン管
LCD:液晶ディスプレイ
OLED:有機発光ダイオード
CD:コンパクトディスク
DVD:デジタルビデオディスク
ROM:読取り専用メモリ
RAM:ランダムアクセスメモリ
ASIC:特定用途向け集積回路
PLD:プログラマブル論理装置
LAN:ローカルエリアネットワーク
GSM:Global System for Mobile communication
LTE:ロングタームエボリューション
CANBus:コントローラエリアネットワークバス
USB:ユニバーサルシリアルバス
PCI:Peripheral Component Interconnect
FPGA:フィールドプログラマブルゲートアレイ
SSD:ソリッドステートドライブ
IC:集積回路
CU:コーディングユニット
本開示はいくつかの例示的な実施形態を説明しているが、変更、置換、及び様々な代替同等物が存在しており、これらは本開示の範囲内にある。こうして、当業者は、本明細書に明示的に示されていないか又は記載されていないが、本開示の原理を具体化し、こうしてその精神及び範囲内にある多数のシステム及び方法を考案することができることが理解されよう。

Claims (23)

  1. デコーダにおけるビデオ復号化のための方法であって、当該方法は、
    コード化したビデオビットストリームからの画像内の現在のブロックの予測情報を復号化するステップと、
    該復号化した予測情報からイントラブロックコピー(IBC)有効化フラグを受信するステップと、
    (i)該IBC有効化フラグ及び(ii)前記現在のブロックが属するタイルグループ又はスライスのタイプに基づいて、前記現在のブロックのIBC予測モード使用フラグを決定するステップと、
    該IBC予測モード使用フラグに基づいて、インター予測モード及びイントラ予測モードとは別のIBC予測モードを決定するステップと、
    前記IBC予測モードの前記決定に応答して、前記画像内の参照領域を指し示すブロックベクトルを決定するステップと、
    前記画像の前記参照領域内の参照サンプルに基づいて、前記現在のブロックを再構成するステップと、を含む、
    方法。
  2. 前記IBC有効化フラグが有効化を示し、前記タイルグループ又はスライスがIタイプであり、且つ前記現在のブロックがサイズ要件を満たす場合に、前記IBC予測モード使用フラグは前記IBC予測モードを示すように決定される、請求項1に記載の方法。
  3. 前記タイルグループ又はスライスタイプがIタイプであり、前記現在のブロックがサイズ制約を満たし、且つ前記IBC予測モード使用フラグが前記コード化したビデオビットストリームでシグナリングされない場合に、
    前記IBC有効化フラグに従って、前記IBC予測モード使用フラグの値が決定される、請求項1に記載の方法。
  4. 前記タイルグループ又はスライスタイプがB又はPタイプであり、前記現在のブロックがサイズ制約を満たし、且つ前記IBC予測モード使用フラグが前記コード化したビデオビットストリームでシグナリングされない場合に、
    前記IBC予測モード使用フラグは0であると決定される、請求項1に記載の方法。
  5. 前記IBC有効化フラグは、ビデオレベル、シーケンスレベル、画像レベル、及びタイルグループ又はスライスレベルのうちの少なくとも1つのパラメータである、請求項1乃至4のいずれか一項に記載の方法。
  6. 前記コード化したビデオビットストリームから、予測モードフラグを復号化するステップと、
    スキップフラグと、前記現在のブロックが属する前記タイルグループ又はスライスの前記タイプとに基づいて、前記予測モードフラグを決定するステップと、のうちの少なくとも1つをさらに含む、請求項1乃至5のいずれか一項に記載の方法。
  7. 前記復号化した予測情報に基づいて、予測モードフラグ、及び前記IBC予測モード使用フラグを決定するステップと、
    前記予測モードフラグと前記IBC予測モード使用フラグとの組合せに基づいて、前記IBC予測モード、前記イントラ予測モード、及び前記インター予測モードから予測モードを選択するステップと、をさらに含む、請求項1乃至6のいずれか一項に記載の方法。
  8. 前記現在のブロックがサイズ要件を満たす場合に、前記現在のブロックの前記IBC予測モードを決定するステップが実行される、請求項1乃至7のいずれか一項に記載の方法。
  9. ビデオ復号化のための機器であって、当該機器は、
    処理回路を含み、
    該処理回路は、請求項1乃至8のいずれか一項に記載の方法を実行するように構成される、
    機器。
  10. 命令を格納する非一時的なコンピュータ可読媒体であって、前記命令がビデオ復号化のためにコンピュータによって実行されると、該コンピュータに、
    請求項1乃至8のいずれか一項に記載の方法を実行させる、
    非一時的なコンピュータ可読媒体。
  11. コンピュータによって実行されると、該コンピュータに請求項1乃至8のいずれか一項に記載の方法を実行させる、コンピュータプログラム。
  12. デコーダにおけるビデオ復号化のための方法であって、当該方法は、
    コード化したビデオビットストリームからの画像内の現在のブロックの予測情報を復号化するステップと、
    前記現在のブロックがサイズ要件を満たすかどうかを判定するステップと、
    前記現在のブロックが前記サイズ要件を満たすという判定に応答して、
    (i)前記復号化した予測情報及び(ii)前記現在のブロックが属するタイルグループ又はスライスのタイプに基づいて、前記現在のブロックのイントラブロックコピー(IBC)予測モード使用フラグを決定するステップと、
    該IBC予測モード使用フラグに基づいて、インター予測モード及びイントラ予測モードとは別のIBC予測モードを決定するステップと、
    前記IBC予測モードの前記決定に応答して、前記画像内の参照領域を指し示すブロックベクトルを決定するステップと、
    前記画像の前記参照領域内の参照サンプルに基づいて、前記現在のブロックを再構成するステップと、を含む、
    方法。
  13. 前記復号化した予測情報は、前記現在のブロックが前記IBC予測モードに関して有効化されているかどうかを示すインジケータを含む、請求項12に記載の方法。
  14. 前記IBC予測モード使用フラグは、前記インジケータによって、前記IBC予測モードが前記現在のブロックに関して有効化されており、且つ前記タイルグループ又はスライスがIタイプであることが示される場合に、前記IBC予測モードを示すように決定される、請求項13に記載の方法。
  15. 前記タイルグループ又はスライスタイプがIタイプであり、且つ前記IBC予測モード使用フラグが前記コード化したビデオビットストリームでシグナリングされない場合に、
    前記インジケータに従って、前記IBC予測モード使用フラグの値が決定される、請求項13に記載の方法。
  16. 前記タイルグループ又はスライスタイプがB又はPタイプであり、且つ前記IBC予測モード使用フラグが前記コード化したビデオビットストリームでシグナリングされない場合に、
    前記IBC予測モード使用フラグは0であると決定される、請求項12に記載の方法。
  17. 前記インジケータは、ビデオレベル、シーケンスレベル、画像レベル、及びタイルグループ又はスライスレベルのうちの少なくとも1つのパラメータである、請求項13乃至15のいずれか一項に記載の方法。
  18. 前記コード化したビデオビットストリームから、予測モードフラグを復号化するステップと、
    スキップフラグと、前記現在のブロックが属する前記タイルグループ又はスライスの前記タイプとに基づいて、前記予測モードフラグを決定するステップと、のうちの少なくとも1つをさらに含む、請求項12乃至17のいずれか一項に記載の方法。
  19. 前記復号化した予測情報に基づいて、予測モードフラグ、及び前記IBC予測モード使用フラグを決定するステップと、
    前記予測モードフラグと前記IBC予測モード使用フラグとの組合せに基づいて、前記IBC予測モード、前記イントラ予測モード、及び前記インター予測モードから予測モードを選択するステップと、をさらに含む、請求項12乃至18のいずれか一項に記載の方法。
  20. 前記現在のブロックが前記サイズ要件を満たさないという判定に応答して、前記イントラ予測モード及び前記インター予測モードのうちの1つから予測モードを選択するステップを含む、請求項12に記載の方法。
  21. ビデオ復号化のためのビデオデコーダであって、当該ビデオデコーダは、
    処理回路を含み、
    該処理回路は、請求項12乃至20のいずれか一項に記載の方法を実行するように構成される、
    ビデオデコーダ。
  22. 命令を格納する非一時的なコンピュータ可読媒体であって、前記命令がビデオ復号化のためにコンピュータによって実行されると、該コンピュータに、
    請求項12乃至20のいずれか一項に記載の方法を実行させる、
    非一時的なコンピュータ可読媒体。
  23. コンピュータによって実行されると、該コンピュータに請求項12乃至20のいずれか一項に記載の方法を実行させる、コンピュータプログラム。




JP2021531276A 2019-02-01 2020-01-21 ビデオ復号化のための方法、機器、非一時的なコンピュータ可読媒体、及びコンピュータプログラム Pending JP2022510326A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023023340A JP2023062099A (ja) 2019-02-01 2023-02-17 ビデオ復号化のための方法、機器、非一時的なコンピュータ可読媒体、及びコンピュータプログラム

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962800397P 2019-02-01 2019-02-01
US62/800,397 2019-02-01
US16/526,689 US10958904B2 (en) 2019-02-01 2019-07-30 Method and apparatus for video coding
US16/526,689 2019-07-30
PCT/US2020/014324 WO2020159741A1 (en) 2019-02-01 2020-01-21 Method and apparatus for video coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023023340A Division JP2023062099A (ja) 2019-02-01 2023-02-17 ビデオ復号化のための方法、機器、非一時的なコンピュータ可読媒体、及びコンピュータプログラム

Publications (1)

Publication Number Publication Date
JP2022510326A true JP2022510326A (ja) 2022-01-26

Family

ID=71836963

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021531276A Pending JP2022510326A (ja) 2019-02-01 2020-01-21 ビデオ復号化のための方法、機器、非一時的なコンピュータ可読媒体、及びコンピュータプログラム
JP2023023340A Pending JP2023062099A (ja) 2019-02-01 2023-02-17 ビデオ復号化のための方法、機器、非一時的なコンピュータ可読媒体、及びコンピュータプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023023340A Pending JP2023062099A (ja) 2019-02-01 2023-02-17 ビデオ復号化のための方法、機器、非一時的なコンピュータ可読媒体、及びコンピュータプログラム

Country Status (6)

Country Link
US (3) US10958904B2 (ja)
EP (1) EP3918802A4 (ja)
JP (2) JP2022510326A (ja)
KR (1) KR20210091321A (ja)
CN (1) CN113366849B (ja)
WO (1) WO2020159741A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3389276B1 (en) 2014-09-30 2021-01-13 Microsoft Technology Licensing, LLC Hash-based encoder decisions for video coding
CN111083489B (zh) 2018-10-22 2024-05-14 北京字节跳动网络技术有限公司 多次迭代运动矢量细化
EP3857879A4 (en) 2018-11-12 2022-03-16 Beijing Bytedance Network Technology Co., Ltd. SIMPLIFICATION OF COMBINED INTER-INTRA PREDICTION
JP7241870B2 (ja) 2018-11-20 2023-03-17 北京字節跳動網絡技術有限公司 部分的な位置に基づく差分計算
WO2020177756A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Size dependent inter coding
US20220182603A1 (en) * 2019-03-08 2022-06-09 Electronics And Telecommunications Research Institute Image encoding/decoding method and device, and recording medium storing bitstream
WO2021015512A1 (ko) * 2019-07-19 2021-01-28 엘지전자 주식회사 Ibc를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
CN110798683B (zh) * 2019-08-26 2022-05-27 腾讯科技(深圳)有限公司 数据解码方法、装置和数据编码方法、装置
EP4011076A4 (en) * 2019-09-09 2022-11-02 Beijing Bytedance Network Technology Co., Ltd. INTRA-BLOCK COPY ENCODING AND DECODING
EP4035387A4 (en) * 2019-09-27 2023-10-18 Nokia Technologies Oy FACTIONAL ARBITRARY TILE GROUPING
US11202085B1 (en) * 2020-06-12 2021-12-14 Microsoft Technology Licensing, Llc Low-cost hash table construction and hash-based block matching for variable-size blocks
WO2024050099A1 (en) * 2022-09-02 2024-03-07 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for intra block copy

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150139296A1 (en) * 2013-11-18 2015-05-21 Arris Enterprises, Inc. Intra block copy for intra slices in high efficiency video coding (hevc)
US20210344910A1 (en) * 2019-01-08 2021-11-04 Huawei Technologies Co., Ltd. Image prediction method, apparatus, and system, device, and storage medium

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11323747B2 (en) * 2013-06-05 2022-05-03 Qualcomm Incorporated Residual differential pulse code modulation (DPCM) extensions and harmonization with transform skip, rotation, and scans
US9756354B2 (en) * 2014-03-17 2017-09-05 Qualcomm Incorporated Block vector predictor for intra block copying
JP6482191B2 (ja) * 2014-06-12 2019-03-13 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US10327002B2 (en) 2014-06-19 2019-06-18 Qualcomm Incorporated Systems and methods for intra-block copy
CN105392008B (zh) * 2014-08-22 2018-09-25 中兴通讯股份有限公司 一种预测编、解码方法和相应的编、解码器和电子设备
GB2531003A (en) * 2014-10-06 2016-04-13 Canon Kk Method and apparatus for vector encoding in video coding and decoding
US10638140B2 (en) * 2015-05-29 2020-04-28 Qualcomm Incorporated Slice level intra block copy and other video coding improvements
CN116016941A (zh) * 2015-09-08 2023-04-25 寰发股份有限公司 管理已解码图像缓存器的方法及视频编码器或视频解码器
FR3068557A1 (fr) * 2017-07-05 2019-01-04 Orange Procede de codage et decodage d'images,dispositif de codage et decodage et programmes d'ordinateur correspondants
KR20200040179A (ko) * 2018-10-08 2020-04-17 에스케이텔레콤 주식회사 현재 픽처 참조 모드를 이용한 예측 방법 및 영상 복호화 장치
CN109819264B (zh) * 2018-12-28 2020-05-12 杭州海康威视数字技术股份有限公司 编码方法、解码方法及装置
WO2020175913A1 (ko) * 2019-02-26 2020-09-03 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
WO2020222617A1 (ko) * 2019-05-02 2020-11-05 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150139296A1 (en) * 2013-11-18 2015-05-21 Arris Enterprises, Inc. Intra block copy for intra slices in high efficiency video coding (hevc)
US20210344910A1 (en) * 2019-01-08 2021-11-04 Huawei Technologies Co., Ltd. Image prediction method, apparatus, and system, device, and storage medium

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JVET-L1001-V9-M0483_R1.DOCX, JPN6022023394, 17 January 2019 (2019-01-17), pages 26 - 28, ISSN: 0004899026 *
WEI-JUNG CHIEN ET AL.: "CE8-related: CPR mode signaling and interaction with inter coding tools", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-M0483-r2, JPN6022023395, January 2019 (2019-01-01), pages 1 - 7, ISSN: 0004799382 *

Also Published As

Publication number Publication date
CN113366849B (zh) 2022-08-26
EP3918802A1 (en) 2021-12-08
EP3918802A4 (en) 2022-11-16
US20220337822A1 (en) 2022-10-20
US20200252605A1 (en) 2020-08-06
KR20210091321A (ko) 2021-07-21
JP2023062099A (ja) 2023-05-02
US10958904B2 (en) 2021-03-23
US20210112245A1 (en) 2021-04-15
US11418777B2 (en) 2022-08-16
WO2020159741A1 (en) 2020-08-06
CN113366849A (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
JP7443455B2 (ja) 映像復号化のための方法、装置及びコンピュータ・プログラム
JP7339389B2 (ja) ビデオ圧縮における複数ラインのフレーム内予測のための方法および装置
JP7026880B2 (ja) ビデオ圧縮における非正方形ブロックのイントラ予測のための方法および装置
JP7152516B2 (ja) 動画を復号する方法、装置、及びコンピュータプログラム
KR102442931B1 (ko) 비디오 코딩을 위한 방법 및 장치
CN113366849B (zh) 视频编解码的方法和装置
JP7405926B2 (ja) 動画の符号化及び復号方法、装置、並びにコンピュータプログラム
JP2021515454A (ja) ビデオ符号化/復号化の方法及び装置
JP2022521516A (ja) ビデオコーディングのための方法およびコンピュータプログラム
JP7457170B2 (ja) サブブロックに基づく時間的動きベクトル予測のための方法並びにその機器及びコンピュータプログラム
JP2022510354A (ja) ビデオ符号化における隣接ブロックの利用可能性のための方法および装置
JP2021518091A (ja) ビデオ符号化のための方法並びにその装置及びコンピュータプログラム
JP7476367B2 (ja) ビデオをデコードするための方法、装置及びプログラム
JP2022525430A (ja) デコーダが実行するビデオ復号の方法、装置およびコンピュータプログラム
JP2022552381A (ja) ビデオ復号の方法、装置、およびコンピュータプログラム
KR20210074399A (ko) 비디오 디코딩 방법 및 장치, 저장 매체
JP7236558B2 (ja) ビデオコーディングのための方法および装置
JP7048773B2 (ja) ビデオ符号化の方法および装置
JP7189370B2 (ja) Cuに基づく補間フィルタ選択のシグナリング
JP2023154040A (ja) ビデオコーディングのための方法および装置
JP7250153B2 (ja) 動画符号化のための方法、装置及びコンピュータプログラム
JP2024516763A (ja) 適応型多重変換セット選択
JP2023521045A (ja) ビデオコーディングのための方法および装置
JP2023525668A (ja) 多重変換選択を用いた適応スキャン

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220913

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230217

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230217

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230228

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230307

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230331

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20230404

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20230425