JP2023052019A - ルマ・イントラ・モード・シグナリング - Google Patents

ルマ・イントラ・モード・シグナリング Download PDF

Info

Publication number
JP2023052019A
JP2023052019A JP2022205009A JP2022205009A JP2023052019A JP 2023052019 A JP2023052019 A JP 2023052019A JP 2022205009 A JP2022205009 A JP 2022205009A JP 2022205009 A JP2022205009 A JP 2022205009A JP 2023052019 A JP2023052019 A JP 2023052019A
Authority
JP
Japan
Prior art keywords
mode
modes
intra
list
residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022205009A
Other languages
English (en)
Inventor
メヘル コトラ,アナンド
Meher Kotra Anand
チェン,ジェンレェ
Jianle Chen
エセンリク,セミフ
Esenlik Semih
チョウ,ジージエ
ガオ,ハン
Han Gao
ワン,ピャオ
Biao Wang
クラスノフ,アイヴァン
Krasnov Ivan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2023052019A publication Critical patent/JP2023052019A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

【課題】符号化方法及び符号化装置、復号化方法及び装置を提供する。【解決手段】符号化装置により実行される方法は、現在ブロックに対するイントラ予測モードを選択するステップと、選択されたイントラ予測モードが残余モードである場合に、選択されたイントラ予測モードを、トランケーテッド・バイナリ符号化を使用して符号化するステップとを含む。全ての残余イントラモード、例えば、MPMリストにない全てのイントラモード(「非MPMモード」としても知られる)を符号化し、残余モードにトランケーテッド・バイナリを使用することにより、コードワードがより効率的に使用される。【選択図】図5

Description

本開示は、概して、ビデオ符号化に関連し、特にルマ・イントラ・モード・シグナリングに関連する。
[関連出願の相互参照]
本特許出願は、Anand Meher Kotraらにより2019年7月11日に出願された、「Luma Intra Mode Signaling Improvements」と題された米国特許仮出願第62/696,739号の利益を主張するものである。
比較的短いビデオを描写するだけでも必要とされるビデオ・データの量は相当な量になることがあり、その結果、帯域幅容量が限られた通信ネットワークでデータをストリーミング又は送信する場合に、困難を生じる可能性がある。従って、ビデオ・データは、一般に、現代の電気通信ネットワークを介して通信される前に圧縮される。また、ビデオのサイズが問題となり得るのは、ビデオを記憶装置に記憶する場合であり、メモリリソースが制限される可能性があるためである。ビデオ圧縮装置は、しばしば、ソースにおいてソフトウェア及び/又はハードウェアを使用して、送信又は記憶の前にビデオ・データを符号化し、それによってデジタルビデオ画像を表すのに必要なデータ量を減少させる。次いで、圧縮されたデータは、宛先のビデオ解凍装置によって受信され、ビデオ解凍装置がビデオ・データを復号する。ネットワーク資源が限られており、より高いビデオ画質への要求が絶えず増加しているため、画質をほとんど又はまったく犠牲にせずに圧縮比を改善する、改良された圧縮及び解凍技術が望まれている。
第1の態様は、符号化装置によって実施される符号化方法に関する。前記方法は、前記符号化装置を使用して、現在ブロックに対するイントラ予測モードを選択するステップと、前記選択されたイントラ予測モードが残余モードである場合に、前記符号化装置を使用して、前記選択された前記イントラ予測モードを、トランケーテッド・バイナリ符号化を使用して符号化するステップとを含む。一実施形態では、この方法は、選択されたイントラ予測モードが残余モード・リスト内にあることを決定することを含む。
以下により十分に説明されるように、この方法は、既存のイントラモードシグナリング方式を改善する。実施形態は、全ての残余イントラモード、例えば、MPMリストにない全てのイントラモード(「非MPMモード」としても知られる)を符号化し、トランケーテッド・バイナリを用いてビットストリームでシグナリングされる。残余モードにトランケーテッド・バイナリを使用することにより、コードワードがより効率的に使用される。
そのような第1の態様による本方法の第1の実施形態では、本方法はさらに、前記選択されたイントラ予測モードが最尤モード(MPM)リストから外れていることを決定するステップを含む。
そのような第1の態様による方法の第2の実装形態、または第1の態様のいずれかの先行する実装形態において、本方法はさらに、選択されたイントラ予測モードが残余モードからの最初の3つのモードのうちの1つである場合に、5ビットを使用して選択されたイントラ予測モードを符号化することを含む。
そのような第1の態様による方法の第3の実装形態、または第1の態様のいずれかの先行する実装形態において、本方法はさらに、前記選択されたイントラ予測モードが残余モードのうちの第1の部分に含まれる場合にはNビットを使用して、及び前記選択されたイントラ予測モードが前記残余モードの第2部分に含まれる場合にはN+1ビットを使用して、前記選択されたイントラ予測モードを符号化するステップを含む。
そのような第1の態様による方法の第4の実装形態、または第1の態様のいずれかの先行する実装形態において、本方法は、前記選択されたイントラ予測モードが、残余モードの最初の3つのモードのうちの1つではない場合には、6ビットを使用して前記イントラ予測モードを符号化するステップをさらに含む。
そのような第1の態様に係る方法の第5の実施形態、又は第1の態様のいずれかの先行する実施形態において、前記残余モードは、61個の残余モードのうちの1つである。
そのような第1の態様による方法の第6の実装形態、又は第1の態様のいずれかの先行する実装形態において、前記MPMリストは6つのモードを含み、前記残余モードは61個の残モードのうちの1つである。
第1の態様そのものによる方法の第7の実施形態、又は第1の態様のいずれかの先行実施形態において、全てのイントラ予測モードは、前記MPMリスト、又は前記残余モードの何れかに属している。
そのような第1の態様による方法の第8の実装形態、または第1の態様のいずれかの先行する実装形態において、前記残余モードの全ては、前記トランケーテッド・バイナリ符号化を使用して符号化される。
そのような第1の態様による方法の第9の実施形態、または第1の態様のいずれかの先行する実施形態において、本方法は、予め決定されたデフォルト・モード・リストを使用して、初期モードを残余モード・リストに埋め込むステップをさらに含む。
そのような前記第1の態様の方法の第10の実施態様、又は前記第1の態様のいずれかの先行する実施態様において、前記予め決定されたデフォルト・モード・リストは、平面・モード(PLANAR_IDX)、dcモード(DC_IDX)、垂直モード(VER_IDX)、水平モード(HOR_IDX)、イントラ・モード2(2)、垂直ダイアゴナル・モード(VDIA_IDX)、及びダイアゴナル・モード(DIA_IDX)を含む。
そのような第1の態様による方法の第11の実施形態、または第1の態様のいずれかの先行する実施形態において、本方法は、前記MPMリストに含まれる角度モードに対するオフセットを使用して、初期モードを前記残余モードに埋め込むステップをさらに含む。
そのような第1の態様による方法の第12の実施形態または第1の態様のいずれかの先行する実施態様において、前記オフセットは+/-Nであり、Nは1、2、3、又は4の値を有する整数である。
そのような第1の態様による方法の第13の態様、または第1の態様のいずれかの先行の実施形態において、前記オフセットは前記MPMリストにおける2つの前記角度モードのうちの最初のものに対してのみ付加される。
そのような第1の態様による方法の第14の実施形態、または第1の態様のいずれかの先行する実施形態において、本方法は、前記現在ブロックに直には隣接していない近傍のブロックのモードを使用して、残余モード・リストの初期モードを埋め込むステップを含む。
そのような第1の態様による方法の第15の実装形態または第1の態様のいずれかの先行する実装形態では、本方法は、第1階層近傍ではない、前記現在ブロックの第2階層近傍のモードを使用して、残余モード・リストの初期モードを埋め込むステップをさらに含む。
そのような第1の態様に係る方法の第16の実施態様において、または第1の態様のいずれかの先行する実施形態において、前記方法は、平面・モード(PLANAR_IDX)、dcモード(DC_IDX)、垂直モード(VER_IDX)、水平モード(HOR_IDX)、イントラ・モード2(2)、垂直ダイアゴナル・モード(VDIA_IDX)、及びダイアゴナル・モード(DIA_IDX)のうちの1つに対する前記MPMリストにおける過半数のモードの位置に基づいて、初期モードを前記残余モード・リストに埋め込むステップをさらに含む。
そのような第1の態様に係る方法の第17の実施態様において、又は前記第1の態様の先行する実施態様のいずれかにおいて、前記方法は、前記MPMリストにおける前記モードの各々を、デフォルト・モード・リスト内の様々なモードの位置と比較すること、前記デフォルト・モード・リスト内の前記様々なモードのうちの勝者が前記MPMリストにおける前記モードの過半数に最も近いことを決定すること、及び前記デフォルト・モード・リスト内の前記様々なモードのうちの前記勝者に最も近いモードで前記最初の3つのモードを前記残余モード・リストに挿入すること
により、初期モードを前記残余モード・リストに挿入するステップをさらに含む。
第2の態様は、復号装置によって実現される復号方法に関する。この方法は、復号化装置により実行される復号する方法であって、前記方法は、前記復号化装置により、トランケーテッド・バイナリ符号を取得するステップと、前記復号化装置により、前記トランケーテッド・バイナリ符号を復号し、残余モードを含むイントラ予測モードを取得するステップと、前記復号化装置により、取得された前記イントラ予測モードを使用して、現在ブロックを生成するステップとを含む。
以下により十分に説明されるように、この方法は、既存のイントラモードシグナリング方式を改善する。実施形態は、トランケートされたバイナリ符号を復号してイントラ予測モードを得るように構成されてもよく、これは、トランケートされたバイナリ符号化を使用して符号化される残余モードの1つである。残余モードのトランケートされた2値化を使用することにより、コードワードがより効率的に使用される。
そのような第2の態様による本方法の第1の実施形態では、本方法は、前記イントラ予測モードが最尤モード(MPM)リストの外にあることを決定するステップを含む。
そのような第2の態様による方法の第2の実装形態、または第2の態様のいずれかの先行する実装形態において、本方法は、前記イントラ予測モードが、残余モードの最初の3つのモードのうちの1つであった場合には、5ビットを使用して前記イントラ予測モードを復号するステップをさらに含む。
そのような第2の態様による方法の第3の実装形態、または第2の態様のいずれかの先行する実装形態において、本方法は、前記イントラ予測モードが、残余モードの最初の3つのモードから外れている場合には、6ビットを使用して前記イントラ予測モードを復号するステップをさらに含む。
そのような第2の態様に係る方法の第4の実施形態または第2の態様のいずれかの先行する実施形態では、前記残余モードは、61個の残余モードのうちの1つである。
そのような第2の態様に係る方法の第5の実施態様又は第2の態様のいずれかの先行する実施態様において、前記MPMリストには6つのモードが存在し、前記残余モードには61個のモードが存在している。
そのような第2の態様に係る方法の第6の実施態様、又は第2の態様のいずれかの先行実施態様において、全てのイントラ予測モードは、前記MPMリスト、又は前記残余モードの何れかに属している。
そのような第2の態様に係る方法の第7の実装形態、または第2の態様のいずれかの先行する実装形態では、前記残余モードの全ては、前記トランケーテッド・バイナリ符号化を使用して符号化される。
そのような第2の態様に係る方法の第8の実施態様、又は第2の態様のいずれかの先行する実施態様において、残余モード・リストにおける初期モードは、予め決定されたデフォルト・モード・リストからのものである。
そのような前記第2の態様に係る方法の第9の実施態様、又は第2の態様のいずれかの先行する実施形態において、前記予め決定されたデフォルト・モード・リストは、平面・モード(PLANAR_IDX)、dcモード(DC_IDX)、垂直モード(VER_IDX)、水平モード(HOR_IDX)、イントラ・モード2(2)、垂直ダイアゴナル・モード(VDIA_IDX)、及びダイアゴナル・モード(DIA_IDX)を含む。
そのような第2の態様に係る方法の第10の実施態様又は第2の態様のいずれかの先行する実施態様において、前記残余モード・リストにおける初期モードは、前記MPMリストに含まれる角度モードに対するオフセットに基づいている。
そのような第2の態様に係る方法の第11の実施形態、または第2の態様のいずれかの先行する実施態様において、前記オフセットは+/-Nであり、Nは1、2、3、又は4の値を有する整数である。
そのような第2の態様に係る方法の第12の実施形態、又は第2の態様のいずれかの先行する実施形態において、前記オフセットは前記MPMリストにおける2つの前記角度モードのうちの最初のものに対してのみ付加される。
そのような第2の態様に係る方法の第13の実施態様、または第2の態様のいずれかの先行する実施態様において、前記残余モード・リストの初期モードは、前記現在ブロックに直には隣接していない近傍のブロックのモードに基づいている。
そのような第2の態様に係る方法の第14の実装形態、または第2の態様のいずれか先行する実装形態において、前記残余モード・リストの初期モードは、第1階層近傍ではない、前記現在ブロックの第2階層近傍のモードに基づいている。
そのような第2の態様に係る方法の第15の実施態様、又は第2の態様のいずれかの先行する実施形態において、前記残余モード・リストにおける初期モードは、平面・モード(PLANAR_IDX)、dcモード(DC_IDX)、垂直モード(VER_IDX)、水平モード(HOR_IDX)、イントラ・モード2(2)、垂直ダイアゴナル・モード(VDIA_IDX)、及びダイアゴナル・モード(DIA_IDX)のうちの1つに対する前記MPMリストにおける過半数のモードの位置に基づいている。
そのような第2の態様に係る方法の第16の実施態様、又は第2の態様の先行するいずれかの実施形態において、前記MPMリストにおける前記モードの各々を、デフォルト・モード・リスト内の様々なモードの位置と比較すること、前記デフォルト・モード・リスト内の前記様々なモードのうちの勝者が前記MPMリストにおける前記モードの過半数に最も近いことを決定すること、及び前記デフォルト・モード・リスト内の前記様々なモードのうちの前記勝者に最も近いモードで前記最初の3つのモードを前記残余モード・リストに挿入することにより、前記残余モード・リストにおける初期モードは決定されている。
そのような第2の態様に係る方法の第17の実施態様、又は第2の態様のいずれかの先行する実施形態において、前記モード・カテゴリ内の前記様々なモードは、平面・モード(PLANAR_IDX)、dcモード(DC_IDX)、垂直モード(VER_IDX)、水平モード(HOR_IDX)、イントラ・モード2(2)、垂直ダイアゴナル・モード(VDIA_IDX)、及びダイアゴナル・モード(DIA_IDX)を含む。
第3の態様は、先行する符号化方法のいずれかを実行するように構成された符号化装置に関する。
第4の態様は、先行する復号方法のいずれかを実行するように構成された復号装置に関する。
第5の態様は、メモリと、前記メモリに結合されたプロセッサとを含む符号化装置であって、前記プロセッサは、現在ブロックに対するイントラ予測モードを選択し、前記選択されたイントラ予測モードが残余モードである場合に、トランケーテッド・バイナリ符号化を使用して前記選択された前記イントラ予測モードを符号化するように構成されている符号化装置に関する。
そのような第5の態様による符号化装置の第1の実装形態では、符号化装置は、前記プロセッサに結合された送信機をさらに含み、前記送信機は、前記選択され符号化されたイントラ予測モードを、復号化装置へ送信するように構成されている。
そのような第5の態様に係る符号化装置の第2の実装形態、または第5の態様のいずれか先行する実施形態において、プロセッサは、前述の態様または実施形態の1つ以上を実装するように構成される。
符号化装置のさらなる実装形態は、第1の態様の符号化方法のそれぞれの実装形態に対応する。
第6の態様は、トランケーテッド・バイナリ符号を取得するように構成された受信機と、前記受信機に結合されたプロセッサとを含む復号する装置であって、前記プロセッサは、前記トランケーテッド・バイナリ符号を復号し、残余モードを含むイントラ予測モードを取得し、取得された前記イントラ予測モードを使用して、現在ブロックを生成するように構成されている、復号装置に関する。
そのような第6の態様に係る復号装置の第1の実施形態では、復号装置は、プロセッサに結合されたディスプレイを含み、ディスプレイは、現在のブロックを使用して生成された画像を表示するように構成される。
そのような第6の態様に係る符号化装置の第2の実装形態または第6の態様のいずれかの先行する実装形態では、プロセッサは、前述の態様または実施形態の1つ以上を実装するように構成される。
復号装置のさらなる実施形態は、第2の態様による復号方法のそれぞれの実施形態に対応する。
明確にするために、前述の実施形態のいずれか1つを、他の前述の実施形態のいずれか1つ以上と組み合わせて、本開示の範囲内の新たな実施形態を作り出すことができる。
実施形態のさらなる詳細は、詳細な説明において提供される。
本開示のより完全な理解のために、添付した図面および詳細な説明に関連して、以下の簡単な説明を参照する。同様の参照番号は同様の部分を表す。
コンテキストモデリング技術を利用し得る例示的な符号化システムを示すブロック図である。 コンテキストモデリング技術を実装し得る例示的なビデオ・エンコーダを示すブロック図である。 コンテキストモデリング技術を実装し得る例示的なビデオ・デコーダを示すブロック図である。 現在の符号化ユニットおよび5つの隣接するブロックの概略図である。 現在の符号化ユニット、第一層隣接ブロック、および第二層隣接ブロックの概略図である。 67イントラ予測モードの一例の概略図である。 例示的なビデオ符号化装置の概略図である。
最初に、注目すべきは、開示のシステムおよび/または方法は、現在公知であるか存在するかを問わず、幾つもの技術を使用して実施され得ることである。本開示は、本明細書で例示し説明する例示的な設計および実施を含む、例示的な実施形態、図面、および以下に例示する技術に決して限定されるべきではない。
図1は、様々なビデオ符号化、予測または圧縮技術を実施するのに適した例示的な符号化システム10を示すブロック図である。図1に示すように、符号化システム10は、後に宛先装置14によって復号される符号化ビデオ・データを提供するソース装置12を含む。特に、ソース装置12は、コンピュータ読取可能媒体16を介して、ビデオ・データを宛先装置14に提供することができる。ソース装置12及び宛先装置14は、広範な装置のいずれをも含み、デスクトップコンピュータ、ノートブック(すなわちラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンのような電話機、いわゆる「スマート」パッド、テレビ、カメラ、ディスプレイ装置、デジタルメディアプレーヤ、ビデオゲーム機、ビデオストリーミング装置等を含むことができる。ある場合には、ソース装置12および宛先装置14は、無線通信の機能を備えていてもよい。
宛先装置14は、コンピュータ読取可能媒体16を介して復号される符号化ビデオ・データを受信することができる。コンピュータ読取可能媒体16は、符号化ビデオ・データをソース装置12から宛先装置14へ移動させることができる任意のタイプの媒体または装置を含むことができる。一例では、コンピュータ読取可能媒体16は、ソース装置12が符号化ビデオ・データを宛先装置14にリアルタイムで直接送信することを可能にする通信媒体を含むことができる。符号化ビデオ・データは、無線通信プロトコルのような通信標準に従って変調され、宛先装置14に送信される。通信媒体は、無線周波数(RF)スペクトルまたは1つ以上の物理的伝送線路のような任意の無線または有線の通信媒体を含むことができる。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットのようなグローバルネットワークなどのパケットベースのネットワークの一部を形成することができる。通信媒体は、ルータ、スイッチ、基地局、その他の装置であって、ソース装置12から宛先装置14への通信を容易にするために有用なものを含んでもよい。
いくつかの例において、符号化データは、出力インターフェース22から記憶装置に出力され得る。同様に、符号化データは、入力インターフェースによって記憶装置にアクセスして求めることができる。記憶装置は、ハードディスクドライブ、ブルーレイディスク、デジタルビデオディスク(DVD)、コンパクトディスク読み出し専用メモリ(CD-ROM)、フラッシュメモリ、揮発性または不揮発性メモリ、または符号化ビデオ・データを記憶するためのその他の任意の適切なデジタル記憶媒体などの、種々の分散されたまたはローカルアクセスされるデータ記憶媒体のいずれかを含むことができる。さらに別の例では、記憶装置は、ソース装置12によって生成された符号化ビデオを記憶することができるファイル・サーバまたはその他の中間記憶装置に対応することができる。宛先装置14は、ストリーミングまたはダウンロードを介して記憶装置に記憶されたビデオ・データにアクセスすることができる。ファイル・サーバは、符号化ビデオ・データを記憶し、その符号化ビデオ・データを宛先装置14に送信することができる任意のタイプのサーバとすることができる。ファイル・サーバの例には、(例えば、ウェブサイトの)ウェブサーバ、ファイル転送プロトコル(FTP)サーバ、ネットワーク接続記憶(NAS)装置、またはローカルディスクドライブが含まれる。宛先装置14は、インターネット接続を含む任意の標準データ接続を介して符号化ビデオ・データにアクセスすることができる。これは、無線チャネル(例えば、Wi-Fi接続)、有線接続(例えば、デジタル加入者回線(DSL)、ケーブルモデム等)、又はファイル・サーバに記憶された符号化ビデオ・データにアクセスするのに適した両方の組み合わせを含むことができる。記憶装置からの符号化ビデオ・データの伝送は、ストリーミング伝送、ダウンロード伝送、またはそれらの組み合わせであってもよい。
本開示の技術は、無線アプリケーションまたは設定に必ずしも限定されない。この技術は、無線テレビジョン放送、ケーブルテレビジョン伝送、衛星テレビジョン伝送、HTTP上の動的適応ストリーミング(DASH)のようなインターネットストリーミングビデオ伝送、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体上に記憶されたデジタルビデオの復号、またはその他のアプリケーションのような、様々なマルチメディア応用のいずれかをサポートするビデオ符号化に適用することができる。いくつかの例では、符号化システム10は、一方向または双方向のビデオ伝送をサポートし、ビデオストリーミング、ビデオ再生、ビデオ放送、および/またはビデオ電話などのアプリケーションをサポートするように構成することができる。
図1の例では、ソース装置12は、ビデオ・ソース18、ビデオ・エンコーダ20、および出力インターフェース22を含む。宛先装置14は、入力インターフェース28、ビデオ・デコーダ30、および表示装置32を含む。本開示によれば、ソース装置12のビデオ・エンコーダ20及び/又は宛先装置14のビデオ・デコーダ30は、双方向予測のための技術を適用するように構成することができる。他の例では、ソース装置および宛先装置は、他の構成要素または構成を含んでもよい。例えば、ソース装置12は、外部カメラなどの外部ビデオ・ソースからビデオ・データを受信することができる。同様に、宛先装置14は、一体化された表示装置を含むものではなく、外部表示装置とインターフェースすることができる。
図1の図示された符号化システム10は、単なる一例である。双方向予測のための技術は、任意のデジタルビデオ符号化および/または復号装置によって実行され得る。本開示の技術は、一般に、ビデオ符号化装置によって実行されるが、本技術は、典型的には「CODEC」と呼ばれるビデオ・エンコーダ/デコーダによって実行されてもよい。さらに、本開示の技術は、ビデオプリプロセッサによって実行されてもよい。ビデオ・エンコーダ及び/又はデコーダは、グラフィックス処理ユニット(GPU)又は同様の装置であってもよい。
ソース装置12および宛先装置14は、ソース装置12が宛先装置14に送信するための符号化ビデオ・データを生成するそのような符号化装置の単なる例である。いくつかの例において、ソース装置12および宛先装置14は、ソース装置12および宛先装置14の各々がビデオ符号化および復号コンポーネントを含むように、実質的に対称的な方法で動きすることができる。従って、符号化システム10は、例えばビデオストリーミング、ビデオ再生、ビデオ放送、またはビデオ電話のために、ビデオ装置12、14間の一方向または双方向ビデオ伝送をサポートすることができる。
ソース装置12のビデオ・ソース18は、ビデオ・カメラのようなビデオキャプチャ装置、以前にキャプチャされたビデオを収容するビデオアーカイブ、及び/又はビデオコンテンツプロバイダからビデオを受け取るビデオフィードインターフェイスを含むことができる。さらなる代替として、ビデオ・ソース18は、ソースビデオとして、またはライブビデオ、アーカイブビデオ、およびコンピュータ生成ビデオの組み合わせとして、コンピュータグラフィックスベースのデータを生成することができる。
ある場合には、ビデオ・ソース18がビデオ・カメラであるとき、ソース・デバイス12および宛先デバイス14は、いわゆるカメラ・フォンまたはビデオ・フォンを形成することができる。しかしながら、上述のように、本開示に記載の技術は、一般にビデオ符号化に適用可能であり、無線および/または有線アプリケーションに適用可能である。各場合において、キャプチャされた、予めキャプチャされた、またはコンピュータ生成されたビデオは、ビデオ・エンコーダ20によって符号化されてもよい。次いで、符号化ビデオ情報は、出力インターフェース22によって、コンピュータ読取可能媒体16に出力され得る。
コンピュータ読取可能媒体16は、無線ブロードキャスト又は有線ネットワーク伝送のような一時的媒体、又はハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、ブルーレイディスク、又は他のコンピュータ読取可能媒体のような記憶媒体(すなわち、非一時的記憶媒体)を含むことができる。いくつかの例では、ネットワークサーバ(図示せず)は、ソース装置12から符号化ビデオ・データを受信し、符号化ビデオ・データを、例えば、ネットワーク送信を介して宛先装置14に提供することができる。同様に、ディスクスタンピング施設のような媒体製造施設の計算装置は、ソース装置12から符号化ビデオ・データを受信し、符号化ビデオ・データを含むディスクを生成することができる。従って、コンピュータ読取可能媒体16は、種々の例において、種々の形態の1つ以上のコンピュータ読取可能媒体を含むものと理解することができる。
宛先装置14の入力インターフェース28は、コンピュータ読取可能媒体16から情報を受信する。コンピュータ読取可能媒体16の情報は、ビデオ・エンコーダ20によって規定されたシンタックス情報を含んでもよく、このシンタックス情報は、ビデオ・デコーダ30によっても使用され、ブロックおよび/または他の符号化ユニット、例えば、画像グループ(GOPs)の特徴および/または処理を記述するシンタックス要素を含む。ディスプレイ装置32は、復号されたビデオ・データをユーザに表示し、陰極線管(CRT)、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、またはその他のタイプのディスプレイ装置など様々なディスプレイ装置のいずれかを含んでもよい。
ビデオ・エンコーダ20及びビデオ・デコーダ30は、現在開発中のHigh Efficiency Video Coding(HEVC)規格のようなビデオ符号化規格に従って動きすることができ、HEVCテストモデル(HM)に適合することができる。代替的に、ビデオ・エンコーダ20及びビデオ・デコーダ30は、Moving Picture Expert Group(MPEG)-4Part10Advanced Video Coding(AVC)とも呼ばれる、国際電気通信連合電気通信標準化部門(ITU-T)のH.264規格、H.265/HEVC、又はそのような規格の拡張などの、その他の専有規格又は産業規格に従って動きすることができる。しかしながら、本開示の技術は、いずれの特定の符号化標準にも限定されない。ビデオ符号化規格の他の例としては、MPEG-2およびITU-T H.263が挙げられる。図1には示されていないが、いくつかの態様では、ビデオ・エンコーダ20及びビデオ・デコーダ30は、各々、オーディオエンコーダ及びデコーダと一体化されてもよく、適切なマルチプレクサ-デマルチプレクサ(MUX-DEMUX)ユニット又はその他のハードウェア及びソフトウェアを含み、共通のデータストリーム又は別個のデータストリームにおけるオーディオ及びビデオの両方の符号化を処理してもよい。該当する場合、MUX-DEMUXユニットは、ITU H.223マルチプレクサプロトコル、またはユーザデータグラムプロトコル(UDP)のようなその他のプロトコルに準拠してもよい。
ビデオ・エンコーダ20及びビデオ・デコーダ30は、それぞれ、1つ以上のマイクロプロセッサ、デジタル信号プロセッサ(DSPs)、特定用途向け集積回路(ASICs)、フィールドプログラマブルゲートアレイ(FPGAs)、個別論理回路、ソフトウェア、ハードウェア、ファームウェア、又はこれらの任意の組み合わせなどの、種々の適切なエンコーダ回路のいずれかとして実装することができる。技術が部分的にソフトウェアで実装される場合、装置は、好適な非一時的コンピュータ読取可能媒体にソフトウェアのための命令を記憶し、本開示の技術を実行するために1つ以上のプロセッサを使用してハードウェアで命令を実行することができる。ビデオ・エンコーダ20およびビデオ・デコーダ30の各々は、1つ以上のエンコーダまたはデコーダに含まれてもよく、これらのいずれも、それぞれの装置内の組み合わされたエンコーダ/デコーダ(CODEC)の一部として一体化されてもよい。ビデオ・エンコーダ20及び/又はビデオ・デコーダ30を含む装置は、集積回路、マイクロプロセッサ、及び/又はセルラ電話機のような無線通信装置を含むことができる。
図2は、双方向予測技術を実装することができるビデオ・エンコーダ20の一例を示すブロック図である。ビデオ・エンコーダ20は、ビデオ・スライス内のビデオ・ブロックのイントラ符号化およびインター符号化を実行することができる。イントラ符号化は、所与のビデオ・フレーム内のビデオまたはピクチャ内の空間的冗長性を低減または除去する空間的予測に依存する。インター符号化は、ビデオシーケンスの隣接するフレーム内のビデオまたはピクチャ内おける時間的冗長性を低減または除去する時間的予測に依存する。イントラモード(Iモード)は、いくつかの空間ベースの符号化モードのいずれかを指すことができる。一方向予測(Pモード)または双方向予測(Bモード)のようなインターモードは、いくつかの時間ベースの符号化モードのいずれかを指すことができる。
図2に示すように、ビデオ・エンコーダ20は、符号化されるべきビデオ・フレーム内の現在のビデオ・ブロックを受信する。図2の例では、ビデオ・エンコーダ20は、モード選択部40、参照フレームメモリ64、加算器50、変換処理部52、量子化部54、及びエントロピー符号化部56を含む。モード選択ユニット40は、次に、動き補償ユニット44、動き推定ユニット42、イントラ予測ユニット46、およびパーティションユニット48を含む。ビデオ・ブロック再構成のために、ビデオ・エンコーダ20はまた、逆量子化ユニット58、逆変換ユニット60、および加算器62を含む。また、ブロック境界をフィルタリングして、再構成されたビデオからブロック性アーチファクトを除去するために、デブロッキングフィルタ(図2には図示せず)を含めてもよい。所望であれば、デブロッキングフィルタは、典型的には、加算器62の出力をフィルタリングする。また、デブロッキングフィルタに加えて、(ループ内またはループ後に)追加のフィルタを使用してもよい。このようなフィルタは、簡略化のために図示しないが、所望であれば、(ループ内フィルタとして)加算器50の出力をフィルタリングすることができる。
符号化処理の間、ビデオ・エンコーダ20は、符号化されるべきビデオ・フレームまたはスライスを受信する。フレームまたはスライスは、複数のビデオ・ブロックに分割することができる。動き推定ユニット42及び動き補償ユニット44は、時間的予測を提供するために、1つ以上の参照フレーム内の1つ以上のブロックに対して、受信されたビデオ・ブロックのインター予測符号化を実行する。あるいは、インター予測ユニット46は、空間予測を提供するように符号化されるべきブロックと同じフレームまたはスライス内の1つ以上の隣接するブロックに関連して、受信されたビデオ・ブロックのイントラ予測符号化を実行してもよい。ビデオ・エンコーダ20は、例えば、ビデオ・データの各ブロックに対して適切な符号化モードを選択するために、複数のコーディング・パスを実行することができる。
さらに、パーティションユニット48は、以前の符号化パスにおける以前のパーティション分割方式の評価に基づいて、ビデオ・データのブロックをサブブロックにパーティションすることができる。例えば、パーティションユニット48は、最初に、フレームまたはスライスを最大符号化ユニット(LCUs)にパーティションし、各LCUをレート歪み解析(例えば、レート歪み最適化)に基づいてサブ符号化ユニット(sub-CUs)にパーティションしてもよい。モード選択ユニット40は、さらに、LCUのサブCUへのパーティショニングを示す四分木データ構造を生成することができる。四分木のリーフノードCUは、1つ以上の予測ユニット(PUs)と1つ以上の変換ユニット(TUs)を含んでもよい。
本開示は、「ブロック」という用語を使用して、HEVCの文脈におけるCU、PU、またはTUのいずれか、または他の標準の文脈における類似のデータ構造(例えば、H.264/AVCにおけるマクロブロックおよびそのサブブロック)を指す。CUは、符号化ノード、PU、および、符号化ノードに関連するTUを含む。CUの大きさは符号化ノードの大きさに対応し、形状は正方形である。CUのサイズは、8×8ピクセルから最大64×64ピクセル以上のツリーブロックのサイズまでの範囲であってもよい。各CUは、1つ以上のPUおよび1つ以上のTUを含むことができる。CUに関連するシンタックスデータは、例えば、1つ以上のPUへのCUの分割を記述してもい。パーティショニングモードは、CUがスキップまたは直接モード符号化、イントラ予測モード符号化、またはインター予測モード符号化のいずれであるかの間で異なることがある。PUは、非正方形の形状にパーティショニングされてもよい。また、CUに関連するシンタックスデータは、例えば、四分木に従って1つ以上のTUへのCUの分割を記述することができる。TUは、正方形または非正方形(例えば、長方形)の形状とすることができる。
モード選択ユニット40は、例えば、エラー結果に基づいて、符号化モードの1つ、例えば、イントラ又はインターを選択することができ、得られたイントラ符号化またはインター符号化ブロックを加算器50に提供して残差ブロックデータを生成し、かつ加算器62に提供して参照フレームとして使用するために符号化ブロックを再構成する。モード選択ユニット40はまた、動きベクトル、イントラモードインジケータ、パーティション情報、およびその他のシンタックス情報のようなシンタックス要素をエントロピー符号化ユニット56に提供する。
動き推定ユニット42および動き補償ユニット44は、高度に一体化されてもよいが、概念的な目的のために別個に図示されている。動き推定部42によって実行される動き推定は、動きベクトルを生成するプロセスであり、動きベクトルはビデオ・ブロックの動きを推定する。動きベクトルは、例えば、現在のフレーム(又は他の符号化ユニット)内で符号化される現在ブロックに対して、参照フレーム(又は他の符号化ユニット)内の予測ブロックに対する、現在のビデオ・フレーム又はピクチャ内のビデオ・ブロックのPUの変位を示すことができる。予測ブロックは、ピクセル差分に関して符号化されるブロックに密接に一致することが見出されるブロックである。ピクセル差分は、絶対差(SAD)の和、二乗差の和(SSD)、または他の差分メトリックスによって決定され得る。いくつかの例では、ビデオ・エンコーダ20は、参照フレームメモリ64に記憶された参照ピクチャの整数以下の画素位置の値を計算することができる。例えば、ビデオ・エンコーダ20は、参照画像の1/4画素位置、1/8画素位置、またはその他の部分画素位置の値を補間することができる。よって、動き推定部42は、全ピクセル位置及び分数ピクセル位置に対する動きサーチを行い、分数ピクセル精度の動きベクトルを出力することができる。
動き推定部42は、PUの位置を参照画像の予測ブロックの位置と比較することにより、インター符号化スライス内のビデオ・ブロックのPUの動きベクトルを算出する。参照ピクチャは、第1参照ピクチャ・リスト(List 0)または第2参照ピクチャ・リスト(List 1)から選択することができ、これらの各々は参照フレームメモリ64に記憶された1つ以上の参照ピクチャを識別する。動き推定部42は、計算された動きベクトルを、エントロピー符号化部56及び動き補償部44に送る。
動き補償ユニット44によって実行される動き補償は、動き推定ユニット42によって決定される動きベクトルに基づいて予測ブロックをフェッチまたは生成することを含んでもよい。また、いくつかの例では、動き推定ユニット42および動き補償ユニット44を機能的に一体化することができる。現在のビデオ・ブロックのPUに対する動きベクトルを受信すると、動き補償ユニット44は、参照ピクチャ・リストのうちの1つを動きベクトルが指す予測ブロックの位置を特定することができる。加算器50は、後述するように、符号化される現在のビデオ・ブロックのピクセル値から予測ブロックのピクセル値を減算することによって、残差ビデオ・ブロックを形成し、ピクセル差分値を形成する。一般に、動き推定部42は、ルマ成分に対する動き推定を行い、動き補償部44は、クロマ成分とルマ成分の両方に対するルマ成分に基づいて計算された動きベクトルを使用する。モード選択ユニット40は、ビデオ・スライスのビデオ・ブロックを復号する際にビデオ・デコーダ30が使用するために、ビデオ・ブロックおよびビデオ・スライスに関連するシンタックス要素を生成することもできる。
イントラ予測部46は、上述したように、動き推定部42および動き補償部44によって実行されるインター予測の代わりに、現在ブロックをイントラ予測することができる。特に、イントラ予測部46は、現在ブロックを符号化するために使用するイントラ予測モードを決定することができる。いくつかの例では、イントラ予測ユニット46は、例えば、別々の符号化パスの間に、種々のイントラ予測モードを使用して現在ブロックを符号化することができ、イントラ予測ユニット46(または、いくつかの例では、モード選択ユニット40)は、テストされたモードから、使用に適したイントラ予測モードを選択することができる。
例えば、イントラ予測ユニット46は、種々のテストされたイントラ予測モードに対するレート歪み解析を用いてレート歪み値を計算し、テストされたモードの中で最良のレート歪み特性を有するイントラ予測モードを選択することができる。レート歪み解析は、一般に、符号化ブロックと、その符号化ブロックを生成するために符号化されたオリジナルの未符号化ブロックとの間の歪み(またはエラー)の量、及び符号化ブロックを生成するために使用されるビットレート(すなわち、ビット数)を決定する。イントラ予測ユニット46は、種々の符号化ブロックに対する歪み及びレートから比を計算して、ブロックに対する最良のレート歪み値をどのイントラ予測モードが示すか決定することができる。
また、イントラ予測ユニット46は、深度モデリングモード(DMM)を用いて深度マップの深度ブロックを符号化するように構成することができる。モード選択ユニット40は、例えばレート歪み最適化(RDO)を用いて、利用可能なDMMモードがイントラ予測モード及び他のDMMモードよりも良好な符号化結果をもたらすか否かを決定することができる。奥行きマップに対応するテクスチャ画像のデータは、参照フレームメモリ64に格納することができる。また、動き推定ユニット42および動き補償ユニット44は、深度マップの深度ブロックをインター予測するように構成することもできる。
ブロックに対するイントラ予測モード(例えば、従来のイントラ予測モードまたはDMMモードの1つ)を選択した後、イントラ予測ユニット46は、ブロックに対する選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット56に提供することができる。エントロピー符号化部56は、選択されたイントラ予測モードを示す情報を符号化することができる。ビデオ・エンコーダ20は、送信されるビットストリーム構成データに、複数のイントラ予測モードインデックステーブルと、複数のイントラ予測モードインデックステーブルと、複数の修正イントラ予測モードインデックステーブル(コードワードマッピングテーブルとも呼ばれる)と、様々なブロックの符号化コンテキストの定義と、各コンテキストに使用される最尤イントラ予測モード、イントラ予測モードインデックステーブル、及び修正イントラ予測モードインデックステーブルの表示とを含むことができる。
ビデオ・エンコーダ20は、符号化されるオリジナルのビデオ・ブロックから、モード選択ユニット40からの予測データを差し引くことによって残差ビデオ・ブロックを形成する。加算器50は、この減算演算を実行するコンポーネントを表す。
変換処理ユニット52は、離散コサイン変換(DCT)または概念的に類似した変換などの変換を残差ブロックに適用し、残差変換係数値を含むビデオ・ブロックを生成する。変換処理ユニット52は、概念的にDCTに類似した他の変換を実行することができる。ウェーブレット変換、整数変換、サブバンド変換、またはその他のタイプの変換も使用することができる。
変換処理部52は、変換を残差ブロックに適用し、残差変換係数のブロックを生成する。変換は、残差情報をピクセル値ドメインから変換ドメイン、例えば周波数ドメインに変換することができる。変換処理ユニット52は、得られた変換係数を量子化ユニット54に送ることができる。量子化ユニット54は、変換係数を量子化し、ビットレートをさらに低下させる。量子化プロセスは、係数の一部または全部に関連するビット深さを低減することができる。量子化の程度は、量子化パラメータを調整することによって修正することができる。いくつかの例では、量子化ユニット54は、その後、量子化された変換係数を含む行列の走査を行ってもよい。あるいは、エントロピー符号化ユニット56が走査を実行してもよい。
量子化の後、エントロピー符号化ユニット56は、量子化された変換係数をエントロピー符号化する。例えば、エントロピー符号化ユニット56は、コンテキスト適応可変長符号化(CAVLC)、コンテキスト適応二進算術演算符号化(CABAC)、シンタックスベースのコンテキスト適応二進算術演算符号化(SBAC)、確率間隔分割エントロピー(PIPE)符号化、または他のエントロピー符号化技術を実行することができる。コンテキストベースエントロピー符号化の場合、コンテキストは隣接ブロックに基づいてもよい。エントロピー符号化ユニット56によるエントロピー符号化に続いて、符号化されたビットストリームは、別の装置(例えば、ビデオ・デコーダ30)に送信されてもよく、または後の送信または読み出しのためにアーカイブされてもよい。
逆量子化ユニット58および逆変換ユニット60は、それぞれ、逆量子化および逆変換を適用して、画素領域内の残差ブロックを再構成し、例えば、後に参照ブロックとして使用する。動き補償ユニット44は、参照フレームメモリ64のフレームのうちの1つの予測ブロックに残余ブロックを加えることによって参照ブロックを計算することができる。また、動き補償ユニット44は、1つ以上の補間フィルタを再構成された残差ブロックに適用して、動き推定に使用するためのサブ整数ピクセル値を計算してもよい。加算器62は、再構成された残差ブロックを、動き補償ユニット44によって生成された動き補償予測ブロックに追加し、参照フレームメモリ64に記憶するための再構成されたビデオ・ブロックを生成する。再構成されたビデオ・ブロックは、後続のビデオ・フレーム内のブロックをインター符号化するための参照ブロックとして、動き推定ユニット42及び動き補償ユニット44によって使用することができる。
図3は、双方向予測技術を実装することができるビデオ・デコーダ30の一例を示すブロック図である。図3の例では、ビデオ・デコーダ30は、エントロピー復号ユニット70、動き補償ユニット72、内部予測ユニット74、逆量子化ユニット76、逆変換ユニット78、参照フレームメモリ82、および加算器80を含む。ビデオ・デコーダ30は、いくつかの例において、ビデオ・エンコーダ20(図2)に関して説明した符号化パスと概ね逆の復号パスを実行することができる。動き補償ユニット72は、エントロピー復号ユニット70から受け取った動きベクトルに基づいて予測データを生成することができ、一方、イントラ予測ユニット74は、エントロピー復号ユニット70から受け取ったイントラ予測モードインジケータに基づいて予測データを生成することができる。
復号処理の間、ビデオ・デコーダ30は、ビデオ・エンコーダ20から、符号化ビデオ・スライスのビデオ・ブロック及び関連するシンタックス要素を表す符号化ビデオビットストリームを受信する。ビデオ・デコーダ30のエントロピー復号ユニット70は、ビットストリームをエントロピー復号し、量子化係数、動きベクトルまたはイントラ予測モードインジケータ、および他のシンタックス要素を生成する。エントロピー復号ユニット70は、動きベクトルおよび他のシンタックス要素を動き補償ユニット72に転送する。ビデオ・デコーダ30は、ビデオ・スライスレベルおよび/またはビデオ・ブロックレベルでシンタックス要素を受信することができる。
ビデオ・スライスがイントラ符号化(I)されたスライスとして符号化されるとき、イントラ予測ユニット74は、信号化されたイントラ予測モードと現在フレームまたはピクチャの以前に復号されたブロックからのデータとに基づいて、現在のビデオ・スライスのビデオ・ブロックについての予測データを生成することができる。ビデオ・フレームがインター符号化されたスライス(すなわち、B、P又はGPB)として符号化されるとき、動き補償ユニット72は、エントロピー復号ユニット70から受け取った動きベクトルおよびその他のシンタックス要素に基づいて、現在ビデオ・スライスのビデオ・ブロックに対する予測ブロックを生成する。予測ブロックは、参照ピクチャ・リストの1つ内の参照ピクチャの1つから生成することができる。ビデオ・デコーダ30は、参照フレームメモリ82に記憶された参照ピクチャに基づくデフォルトの構成技術を使用して、参照フレームリスト、リスト0およびリスト1を構成することができる。
動き補償ユニット72は、動きベクトル及び他のシンタックス要素を解析することによって、現在のビデオ・スライスのビデオ・ブロックの予測情報を決定し、その予測情報を使用して、復号している現在のビデオ・ブロックの予測ブロックを生成する。例えば、動き補償ユニット72は、受信されたシンタックス要素の一部を用いて、ビデオ・スライスのビデオ・ブロックを符号化するために使用される予測モード、インター予測スライスタイプ(例えば、Bスライス、Pスライス、またはGPBスライス)、スライスの参照ピクチャ・リストのうちの1つ以上の構成情報、スライスの各インター符号化ビデオ・ブロックの動きベクトル、スライスの各インター符号化ビデオ・ブロックのインター予測ステータス、および現在のビデオ・スライス内のビデオ・ブロックを復号するための他の情報を決定する。
また、動き補償ユニット72は、補間フィルタに基づいて補間を実行してもよい。動き補償ユニット72は、ビデオ・ブロックの符号化中にビデオ・エンコーダ20によって使用される補間フィルタを使用して、参照ブロックのサブ整数ピクセルに対する補間値を計算することができる。この場合、動き補償ユニット72は、受信されたシンタックス要素からビデオ・エンコーダ20によって使用される補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成することができる。
奥行きマップに対応するテクスチャ画像のデータは、参照フレームメモリ82に格納することができる。また、動き補償ユニット72は、深度マップの深度ブロックをインター予測するように構成することもできる。
特定の実施形態をスライスの概念を使用して本明細書で説明しているが、実施形態で、スライスの代わりに、またはスライスに加えてタイルおよび/またはタイル群を使用してもよい。
頭字語と用語の定義
CTU/CTB ― 符号化ツリー単位/符号化ツリーブロック
CU/CB ― 符号化ユニット/符号化ブロック
PU/PB ― 予測ユニット/予測ブロック
TU/TB ― 変換ユニット/変換ブロック
HEVC ― High Efficiency Video Coding
H.264/AVCおよびHEVCのようなビデオ符号化方式は、ブロックベースハイブリッドビデオ符号化の成功原理に沿って設計されている。この原理を用いて、ピクチャが、まずブロックにパーティションされ、次に、各ブロックが、イントラピクチャ予測またはインターピクチャ予測を用いることによって予測される。
ITU-T VCEG (Q6/16)およびISO/IEC MPEG (JTC 1/SC 29/WG 11)では、現在のHEVC規格を大幅に上回る圧縮能力を持つ将来の映像符号化技術(スクリーンコンテンツ符号化やハイダイナミックレンジ符号化のための現行の拡張および短期的な拡張を含む)の標準化の潜在的ニーズを研究している。両グループは、Joint Video Exploration Team(JVET)として知られる共同作業においてこの探査活動で協力し、この分野の専門家によって提案された圧縮技術設計を評価している。
VTM (Versatile Test Model)標準では35のイントラモードを使用するが、BMS (Benchmark Set)では67のイントラモードを使用する。67のイントラモードを符号化するために、BMSにおける現在のイントラモード符号化方式は以下の方法を使用する。
BMSにおける指向性イントラモード数の増加に対応するために、6つの最尤モード(Most Probable Modes(MPMs))を有するイントラモード符号化法を使用する。2つの主要な技術的側面が含まれる。
1) 6MPMの導出、及び
2) 6MPMおよび非MPMモードのエントロピー符号化。
BMSでは、MPMリストに含まれるモードは、隣接イントラモード、派生イントラモード、デフォルトイントラモードの3つのグループに分類される。
図4は、現在の符号化ユニット400および5つの隣接するブロック402を示す。現在の符号化ユニット400は、現在の符号化ブロックとも呼ばれる。5つの隣接するイントラ予測モード、すなわち、5つの隣接するブロックのイントラ予測モードを使用して、MPMリストを形成する。5つの隣接するブロックの位置は、マージモードで使用されている位置と同じであり、すなわち図4に示すように、左(L)、上(A)、左下(BL)、右上(AR)、左上(AL)である。最初のMPMリストは、5つの隣接するイントラモード、平面モード、およびDCモードをMPMリストに挿入することによって形成される。刈り込みプロセスを用いて重複したモードを除去し、MPMリストには一意的なモードのみが含まれるようにする。初期モードが含まれる順序は、左、上、平面、DC、左下、右上、左上である。
MPMリストがいっぱいでない(すなわち、リスト内に6つ未満のMPM候補がある)場合、派生モードが追加され、それらのイントラモードは、MPMリストに既に含まれている角度モードに-1または+1を加えることによって得られる。導出は、非角度モード、すなわち、DCまたは平面には適用されない。
最後に、MPMリストがまだ完了していない場合は、デフォルト・モードが垂直、水平、イントラモード2、対角モードの順に追加される。図6において、これらのモードは、それぞれ、HOR_IDX、DIA_IDX、MODE2およびVER_IDXとして示されている。このプロセスの結果、6つのMPMモードのユニークなリストが生成される。
6MPMのエントロピー符号化のために、MPMのトランケーテッド・単項・バイナリが使用される。最初の3つのビンは、現在シグナリングされているビンに関連するMPMモードに依存するコンテキストで符号化される。MPMモードは、3つのカテゴリのいずれかに分類される:(a)モードが水平か(MPMモードが対角方向以下である)、(b)垂直(MPMモードが対角方向より大きい)、または(c)非角度(DCおよび平面)クラス。従って、3つのコンテキストを用いて、MPMインデックスをシグナリングする。
残る61の非MPMの符号化は、以下のように行われる。61の非MPMは、まず、選択モードセットと非選択モードセットの2つのセットに分けられる。選択モードセットには16のモードが含まれ、残り(45のモード)は非選択モードセットに割り当てられる。現在のモードが属するモードセットは、フラグでビットストリーム内に示される。次に、選択セットからのモードは、4ビットの固定長コードでシグナリングされ、非選択セットからのモードは、トランケーテッド・バイナリコードで符号化される。選択モードセットは、以下のインデックスを持つ合計61の非MPMモードをサブサンプリングすることによって生成される:
選択モードセット={0、4、8、12、16、20...60}、
非選択モードセット={1,2,3,5,6,7,9,10...59}。
異なるINTRAモードシグナル機構の概要を表1に示す。
Figure 2023052019000002
本開示は、イントラモードシグナリング方式の改善を対象とする。
現在BMSに記載されているイントラモード符号化方式は複雑であると考えられ、従って、よりクリーンなソリューションが望まれている。
選択モードセットの欠点は、インデックスリストが常に一定であり、現在のブロックプロパティ(例えば、隣接するブロックのINTRAモード)に基づいて適応しないことである。非選択モードセットの欠点は、インデックスリストが常に一定であり、現在のブロックのプロパティ(例えば、隣接するブロックのINTRAモード)に基づく適応性がないことである。
本開示においては、6MPMおよび残る61モードを有するイントラモードシグナリング方式を提案し、残る61モードはトランケーテッド・バイナリ方式を用いて符号化する。最尤モードは、最尤イントラ予測モードとも呼び、残るモードは、残余イントラ予測モードとも呼ぶ。したがって、実施形態は、残るすべてのイントラモード、すなわち、MPMリストに含まれないすべてのイントラモード(すなわち「非MPMモード」)を符号化し、トランケーテッド・バイナリを用いてビットストリームでシグナリングするように構成することができる。残る61のイントラモードは、6ビットの固定長コードを用いて符号化することもできるが、6ビットの固定長コードの欠点は、64の可能なコードワードのうち、61のコードワードのみが使用され、残る3つのコードワードが使用されないことである。固定長コードの代わりに、トランケーテッド・バイナリを提案する。これは、最初の残る3つのモードをシグナリングするために5ビットのみを使用し、残る58モードは6ビットを使用して符号化する。6 MPMモードは、例えば、単項符号化を用いて符号化される。さらに別の実施形態は、異なる数のイントラモードを含むMPMリストと残余モード・リストとを用い、例えば、大体6つのモードを含むMPMリストと、大体61のモードを含む残余モード・リストとを用いるように構成することができる。実施形態は、固定長符号化が全ての可能な符号語を効率的に使用するわけではないので、残余モードの数が2のべき乗に等しくない場合に特に有利であり得る。トランケーテッド・バイナリ符号化を使用する実施形態は、残余モードの他のモードと比較して、より少ないビットを使用して、いくつかのモードをシグナリングすることができ、従って、残余モードをより効率的にシグナリングすることができる。
符号化方法の実施形態は、前記符号化装置を使用して、現在ブロックに対するイントラ予測モードを選択するステップと、前記選択されたイントラ予測モードが残余モードである場合に、前記符号化装置を使用して、前記選択された前記イントラ予測モードを、トランケーテッド・バイナリ符号化を使用して符号化するステップとを含んでもよい。残余モードは、セットまたは複数の残余モード、例えば、残余モード・リストに含まれるか、またはそれらの一部であってもよい。実施形態はさらに、イントラ予測モードがMPMリストに含まれていない(またはその外にある)ことを決定するステップと、トランケーテッド・バイナリ符号化を使用して選択されたイントラ予測モードを符号化するステップとを含み得る。実施形態では、選択されたイントラ予測モードは、MPMリストに含まれていない(またはその外にある)。実施形態は、MPMリスト及び残余モードを含んでもよく、例えば、MPMリスト及び残余モード(非MPMモード)のみを含んでもよく、符号化又はシグナリングのためのイントラ予測モードのさらに別のセットを区別しない。ここで、残余モードのイントラ予測モードのいずれも、MPMリストに含まれない。実施形態において、MPMリストは、6つのイントラ予測モードを含むことができ、残余モードは61のモードを含むことができる。実施形態は、トランケーテッド・バイナリコードをビットストリームに追加することを含んでもよい。さらなる実施形態は、符号化方法のいずれかを実行するように構成されたエンコーダ、例えば、符号化装置または符号化デバイスを含む。
復号方法の実施形態は、例えば、ビットストリームを解析することによって、または他の手段によって、トランケーテッド・バイナリコードを取得することと、トランケーテッド・バイナリコードを復号して、例えば、複数の残余モード又は残余モードのセットから、残余モードのイントラ予測モードを取得することと、取得されたイントラ予測モードを使用して現在のブロックを生成することとを含んでもよい。符号化方法に関して記載されたさらに別の特徴は、復号の各実施形態に等しくまたは対応して適用される。さらなる実施形態は、復号方法のいずれかを実行するように構成されたデコーダ、例えば、復号装置またはデバイスを含む。
残余モード・リストの最初の3モードを満たすために、いくつかのソリューションを提案した。
残余モード・リストの最初の3つのモードは、いくつかの方法で埋めることができます。
第1に、{平面モード(PLANAR_IDX、インデックス「0」に対応)、直流モード(DC_IDX、インデックス「1」に対応)、垂直モード(VER_IDX)、水平モード(HOR_IDX)、イントラモード2(MODE2、インデックス「2」に対応)、垂直対角モード(VDIA_IDX)、及び対角モード(DIA_IDX)}の所定のデフォルト・モード・リストからのモードを使用することによる(括弧内の用語は図6の対応する用語を示し、図6の詳細は以下に示す。デフォルト・モード・リストは、イントラ予測モードのみを含み、デフォルトイントラ予測モード・リストとも呼ばれる)。
第二に、MPMリストにすでに存在する角度モード(角度イントラ予測モード)へのオフセットを使用することによる。ここで、オフセットは+/-Nであり得る。ここで、Nは、値が{1,2,3,4}である可能な整数値である。オフセットは、MPMリストから最初の2つの角度モードにのみ追加することができる。
第三に、隣合っていない隣接部のイントラモード(角度イントラ予測モード)を、3つのモードを満たすために使用することができる。図5は、現在の符号化ユニット500、第一層隣接部502、および第二層隣接部504を示す。図5に示すように、第二層隣接部イントラモードを用いることができる。
第4に、図6に示すように、第1のステップでは、MPMリストからの所与のモードが取られ、それが以下のモード・カテゴリ{DC_IDX、HOR_IDX、DIA_IDX、VER_IDX、VDIA_IDX}の1つに「近い」かどうかチェックされ、第2のステップでは、モード・カテゴリが、それに近いモードの「マジョリティ」に基づいて「ソート」される。3番目のステップでは、残余モード・リストが、ステップ2で勝ったモード・カテゴリに近いモードを挿入することによって生成される。
図6は、例えば、VVCに対して提案されたような67のイントラ予測モードの例を示しており、67のイントラ予測モードの複数のイントラ予測モードは、平面モード(インデックス0)、直流モード(インデックス1)、及びインデックス2ないし66を有する角度モードを含み、図3の左下角度モードは、インデックス2を指し、インデックス66が図6の最も右上の角度モードになるまで、インデックスの番号が増分される。
処理回路は、ハードウェアで、または、ハードウェアとソフトウェアの組み合わせで、例えば、ソフトウェアプログラマブルプロセッサなどによって実現することができる。
図7は、本開示の一実施形態によるネットワークデバイス700の概略図である。ネットワークデバイス700は、ここで説明するように、開示の実施形態を実施するのに適している。ネットワークデバイス700は、データを受信する入口ポート710および受信ユニット(Rx)720と、そのデータを処理するプロセッサ、論理ユニット、または中央処理ユニット(CPU)730と、そのデータを送信する送信ユニット(Tx)740および出口ポート750と、データを記憶するメモリ760とを含む。ネットワークデバイス700は、光学信号または電気信号の出入りのための入口ポート710、受信ユニット720、送信ユニット740、および出口ポート750に結合された光学-電気(OE)コンポーネントおよび電気-光学(EO)コンポーネントを含んでもよい。
プロセッサ730は、ハードウェアおよびソフトウェアによって実現される。プロセッサ730は、1つ以上のCPUチップ、コア(例えば、マルチコアプロセッサ)、フィールドプログラマブルゲートアレイ(FPGAs)、特定用途向け集積回路(ASIC)、およびデジタル信号プロセッサ(DSPs)として実装されてもよい。プロセッサ730は、入口ポート710、受信ユニット720、送信ユニット740、出口ポート750、およびメモリ760と通信する。プロセッサ730は、符号化モジュール770を含む。符号化モジュール770は、上述した開示の実施形態を実施する。例えば、符号化モジュール770は、種々のネットワーキング機能を実装し、処理し、準備し、または提供する。従って、符号化モジュール770を含めることは、ネットワーク装置700の機能性を実質的に改善し、ネットワークデバイス700を異なる状態に変換することになる。あるいは、符号化モジュール770は、メモリ760に格納された命令として実装され、プロセッサ730によって実行される。
メモリ760は、1つ以上のディスク、テープドライブ、およびソリッドステートドライブを含み、オーバーフローデータ記憶装置として使用することができ、このようなプログラムが実行のために選択されたときにプログラムを記憶し、プログラムの実行中に読み出される命令およびデータを記憶する。メモリ760は、揮発性および/または不揮発性であってもよく、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、三値コンテンツアドレス指定可能メモリ(TCAM)、および/またはスタティックランダムアクセスメモリ(SRAM)であってもよい。
本開示のさらなる詳細は、以下の実施形態において提供される。
(実施形態1)最尤モード(MPM)リストと、第1の部分及び第2の部分を有する残余モード・リストとに基づいて、適応イントラ予測モードを決定する装置であって、前記適応イントラ予測モードは、現在ピクチャブロックのサンプル値を予測するための複数の角度イントラ予測モードを含む複数のイントラ予測モードのうちの1つであり、前記装置は、処理回路を有し、前記処理回路は、前記最尤モード・リストに基づいて決定された1つ以上の角度イントラ予測モードを含めることによって、前記残余モード・リストの前記第1の部分を生成し、前記残余モード・リストの前記第1の部分の前記1つ以上の角度イントラ予測モードが、前記最尤モード・リストのそれぞれの角度イントラ予測モードに近くなるようにし、前記適応イントラ予測モードが、前記残余モード・リストの前記第1の部分の一部である場合に、前記適応イントラ予測モードが、前記残余モード・リストの前記第2の部分の一部である場合より少ないビットを、前記適応イントラ予測モードを符号化又は復号するのに用いて、前記適応イントラ予測モードを決定する、装置。
(実施形態2)
前記処理回路は、前記残余モード・リストの前記第1の部分を生成するように構成され、前記生成は、各角度イントラ予測モード・カテゴリに該当する前記最尤モード・リストの角度イントラ予測モードの数及び/又は方向に従って、複数の角度イントラ予測モード・カテゴリをランク付けし、前記残余モード・リストの最も高くランク付けされた角度イントラ予測モード・カテゴリから1つ以上の角度イントラ予測モードを含めることによって、前記残余モード・リストの第1の部分を生成することにより行われる、実施形態1に記載の装置。
(実施形態3)
所定のデフォルト・モードから得られる前記残余モード・リストの前記第1の部分は、5つの角度イントラ予測モード・カテゴリ、すなわち、直流モード(DC_IDX)、垂直モード(VER_IDX)、水平モード(HOR_IDX)、イントラモード2(2)、垂直対角モード(VDIA_IDX)及び対角モードDIA_IDXを含み、各角度イントラ予測モード・カテゴリに該当する前記最尤モード・リストの角度イントラ予測モード・リストは、例えば、前記最尤モード・リストの前記角度イントラ予測モードの各々を、前記最尤モード・リストの対応する角度イントラ予測モードに最も近い角度イントラ予測モード・カテゴリに関連付けることに対応する、実施形態2に記載の装置。
(実施例4)前記処理回路は、2番目に高くランク付けされた角度イントラ予測モード・カテゴリを用いて、ステップ(ii)を繰り返すことによって、前記残余モード・リストの前記第1の部分を完成するようにさらに構成される、実施形態2又は3に記載の装置。
(実施形態5)各イントラ予測モードは、イントラ予測モードインデックスによって識別され、前記処理回路は、水平方向、垂直方向、及び1つ以上の対角方向に関連付けられたそれぞれの角度イントラ予測モードに基づいて、前記複数の角度イントラ予測モード・カテゴリを規定するように構成される、実施形態2~3に記載の装置。
(実施形態6)各イントラ予測モードは、イントラ予測モードインデックスによって識別され、前記処理回路は、前記残余モード・リストの前記第1の部分に1つ以上の角度イントラ予測モードを含めることによって、前記残余モード・リストの前記第1の部分を生成するように構成され、前記各イントラ予測モードインデックスは、前記最尤モード・リストの角度イントラ予測モードのイントラ予測モードインデックスに対して、+1、-1、+2、-2、+3、-3、+4、または-4のオフセットを有する、実施形態1ないし5いずれか1つに記載の装置。
(実施形態7)前記最尤モード・リストの各リスト要素は、最尤モードインデックスによって識別され、前記処理回路は、前記残余モード・リストの前記第1の部分に1つ以上の角度イントラ予測モードを含めることによって、前記残余モード・リストの前記第1の部分を生成するように構成され、前記残余モード・リストの各角度イントラ予測モードインデックスは、前記最尤モード・リストの角度イントラ予測モードのイントラ予測モードインデックスに対して、+1、-1、+2、-2、+3、-3、+4または-4のオフセットを有する、実施形態6に記載の装置。
(実施形態8) 前記処理回路は、前記処理ループの各ラウンドの間にインクリメントされる、前記最尤モード・リストの角度イントラ予測モードのイントラ予測モードインデックスに対して+1のオフセット、又は前記処理ループの各ラウンドの間にデクリメントされる、前記最尤モード・リストの角度イントラ予測モードのイントラ予測モードインデックスに対して-1のオフセットから始まる処理ループに基づいて、前記残余モード・リストの前記第1の部分に1つ以上の角度イントラ予測モードを含めることによって、前記残余モード・リストの前記第1の部分を生成するように構成される、実施形態7に記載の装置。
(実施形態9) 前記処理回路は、小さな最尤モードインデックスを有する前記最尤モード・リストの角度イントラ予測モードに対する前記処理ループを、大きい最尤モード・リストインデックスを有する前記最尤モード・リストの角度イントラ予測モードに対する前記処理ループより、より頻繁に繰り返すように構成される、実施形態8に記載の装置。
(実施形態10)前記処理回路は、前記残余モード・リストの前記第1の部分に1つ以上の角度イントラ予測モードを含めることによって、前記残余モード・リストの前記第1の部分を生成するように構成され、前記1つ以上の角度イントラ予測モードの各角度イントラ予測モードインデックスは、前記最尤モード・リストの角度イントラ予測モードの角度イントラ予測モードインデックスに対して、+2、-2、+4、-4、+6、-6、+8、または-8のオフセットを有する、実施形態8に記載の装置。
(実施形態11)前記処理回路は、前記残余モード・リストの前記第2の部分に、前記複数のイントラ予測モードのイントラ予測モードを含めることによって、前記残余モード・リストの前記第2の部分を生成するようにさらに構成され、イントラ予測モードは、前記最尤モードの一部及び前記残余モード・リストの前記第1の部分の一部ではない、実施形態1ないし10いずれか1つに記載の装置。
(実施形態12)前記処理回路が、ハードウェアで、またはハードウェアとソフトウェアの組み合わせで実装されるようにさらに構成される、先の実施形態のいずれか1つに記載の装置。
(実施形態13) 前記処理回路は、前記採用されたイントラ予測モードを使用して、前記現在のピクチャブロックのサンプル値を予測し、予測されたピクチャブロックを提供するようにさらに構成される、実施形態1ないし12いずれか1つに記載の装置。
(実施形態14)前記装置は符号化装置であり、前記処理回路は、前記予測ピクチャブロック及び前記採用されたイントラ予測モードに基づいて、現在のピクチャブロックを符号化するようにさらに構成される、実施形態13に記載の装置。
(実施形態15)前記処理回路はさらに、前記イントラ予測モードが残余モード・リストに属する場合に、前記現在のピクチャブロックのイントラ予測モードについてのトランケーテッド・バイナリコードをシグナリングするように構成される、実施形態14に記載の装置。
(実施形態16)前記装置は復号装置であり、前記処理回路はさらに、前記予測ピクチャブロック及び前記採用されたイントラ予測モードに基づいて、前記現在のピクチャブロックを復号するように構成される、実施形態15に記載の装置。
(実施形態17)前記処理回路はさらに、イントラ予測モードが残余モード・リストに属する場合に、トランケーテッド・バイナリコードを解析して、現在のピクチャブロックのイントラ予測モードを決定するように構成される、実施形態16に記載の装置。
(実施形態18)最尤モード・リスト及び第1の部分と第2の部分とを有する残余モード・リストに基づいて、採用されたイントラ予測モードを決定する方法であって、前記採用されたイントラ予測モードは、現在のピクチャブロックのサンプル値を予測する複数の角度イントラ予測モードを含む複数のイントラ予測モードのうちの1つであり、前記方法は、前記最尤モード・リストに基づいて決定された1つ以上の角度イントラ部予測モードを含めることにより、前記残余モード・リストの前記第1の部分を生成し、前記残余モード・リストの前記第1の部分の前記1つ以上の角度イントラ部予測モードが、前記最尤モード・リストのそれぞれの角度イントラ予測モードに近くなるようにするステップと、前記採用されたイントラ予測モードが、前記残余モード・リストの前記第1の部分の一部である場合、前記採用されたイントラ予測モードが前記残余モード・リストの前記第2の部分の一部である場合よりも少ないビットを使用して、前記採用されたイントラ予測モードを符号化又は復号するために、前記採用されたイントラ予測モードを決定するステップと、を含むことを特徴とする方法。
(実施形態19)コンピュータまたはプロセッサ上で実行されると、実施形態14の方法を実行するプログラムコードを含むコンピュータプログラム製品。
(実施形態20)前記処理回路はさらに、平面モード(PLANAR_IDX)、直流モード(DC_IDX)、垂直モード(VER_IDX)、水平モード(HOR_IDX)、イントラモード2(2)、垂直対角モード(VDIA_IDX)、及び対角モード(DIA_IDX)よりなる所定のデフォルト・モード・リストから前記残余モード・リストの前記第1の部分を決定するように構成される、実施形態1ないし13いずれか1つに記載の装置。
(実施形態21)前記処理回路はさらに、前記現在のピクチャブロックの第2層隣接部の前記イントラ予測モードを含めることによって、前記残余モード・リストの前記第1の部分を決定するように構成される、実施形態1ないし13いずれか1つに記載の装置。
(実施形態22)エンコーダとデコーダの両方で、非MPMイントラモードに対してトランケーテッド・バイナリを使用することによって前記イントラモードをシグナリングする。
(実施形態23)61の非MPMを符号化するためにトランケーテッド・バイナリを使用するので、最初の3つのモードはシグナリングに5ビットを必要とし、従って、非MPMリストの最初の3つのモードは、MPMリストに既に含まれているイントラモードに基づいて生成される。
本開示においていくつかの実施形態を提供したが、言うまでもなく、開示のシステムおよび方法は、本開示の精神または範囲から逸脱することなく、その他多くの特定の形態で実施され得る。本実施例は、例示的なものであり、限定的なものではないと考えるべきであり、その意図は、本明細書に与えられた詳細に限定されるものではない。例えば、種々の要素又は構成要素を別のシステムに組み合わせ又は一体化することができ、或いはある特徴を省略したり、或いは実装しなかったりしてもよい。
さらに、様々な実施形態において個別または別個に記載および図示された技術、システム、サブシステム、および方法は、本開示の範囲から逸脱することなく、他のシステム、モジュール、技術、または方法と組み合わせまたは一体化することができる。互いに結合され、又は直接結合され、又は通信するものと図示又は説明したその他のアイテムは、電気的に、機械的に、又はその他の方法で、いくつかのインターフェース、デバイス、又は中間的構成要素を介して間接結合され、又は通信し得る。変更、置換、および改変の他の例は、当業者によって確認可能であり、本明細書に開示された精神および範囲から逸脱することなく行うことができる。

Claims (21)

  1. 符号化装置により実行される符号化の方法であって、前記方法は、
    前記符号化装置を使用して、現在ブロックに対するイントラ予測モードを選択するステップと、
    前記選択されたイントラ予測モードが残余モードである場合に、前記符号化装置を使用して、前記選択された前記イントラ予測モードを、トランケーテッド・バイナリ符号化を使用して符号化するステップと
    を含む方法。
  2. 復号化装置により実行される復号する方法であって、前記方法は、
    前記復号化装置により、トランケーテッド・バイナリ符号を取得するステップと、
    前記復号化装置により、前記トランケーテッド・バイナリ符号を復号し、残余モードを含むイントラ予測モードを取得するステップと、
    前記復号化装置により、取得された前記イントラ予測モードを使用して、現在ブロックを生成するステップと
    を含む方法。
  3. 前記イントラ予測モードが最尤モード(MPM)リストから外れていることを決定するステップをさらに含む、請求項1に記載の方法。
  4. 前記イントラ予測モードが、残余モードの最初の3つのモードのうちの1つであった場合には、5ビットを使用して前記イントラ予測モードを復号するステップをさらに含む、
    請求項2ないし3いずれか1項に記載の方法。
  5. 前記イントラ予測モードが、残余モードの最初の3つのモードから外れている場合には、6ビットを使用して前記イントラ予測モードを復号するステップをさらに含む、請求項2ないし3いずれか1項に記載の方法。
  6. 前記残余モードは、61個の残余モードのうちの1つである、
    請求項2ないし5いずれか1項に記載の方法。
  7. 前記MPMリストには6つのモードが存在し、前記残余モードには61個のモードが存在している、請求項2ないし5いずれか1項に記載の方法。
  8. 全てのイントラ予測モードは、前記MPMリスト、又は前記残余モードの何れかに属している、請求項2ないし7いずれか1項に記載の方法。
  9. 前記残余モードの全ては、前記トランケーテッド・バイナリ符号化を使用して符号化される、請求項2ないし8いずれか1項に記載の方法。
  10. 残余モード・リストにおける初期モードは、予め決定されたデフォルト・モード・リストからのものである、請求項4ないし5いずれか1項に記載の方法。
  11. 前記予め決定されたデフォルト・モード・リストは、平面・モード(PLANAR_IDX)、dcモード(DC_IDX)、垂直モード(VER_IDX)、水平モード(HOR_IDX)、イントラ・モード2(2)、垂直ダイアゴナル・モード(VDIA_IDX)、及びダイアゴナル・モード(DIA_IDX)を含む、請求項10に記載の方法。
  12. 前記残余モード・リストにおける初期モードは、前記MPMリストに含まれる角度モードに対するオフセットに基づいている、
    請求項4ないし5いずれか1項に記載の方法。
  13. 前記オフセットは+/-Nであり、Nは1、2、3、又は4の値を有する整数である、請求項12に記載の方法。
  14. 前記オフセットは前記MPMリストにおける2つの前記角度モードのうちの最初のものに対してのみ付加される、請求項12ないし13いずれか1項に記載の方法。
  15. 前記残余モード・リストの初期モードは、前記現在ブロックに直には隣接していない近傍のブロックのモードに基づいている、
    請求項4ないし5いずれか1項に記載の方法。
  16. 前記残余モード・リストの初期モードは、第1階層近傍ではない、前記現在ブロックの第2階層近傍のモードに基づいている、
    請求項4ないし5いずれか1項に記載の方法。
  17. 前記残余モード・リストにおける初期モードは、平面・モード(PLANAR_IDX)、dcモード(DC_IDX)、垂直モード(VER_IDX)、水平モード(HOR_IDX)、イントラ・モード2(2)、垂直ダイアゴナル・モード(VDIA_IDX)、及びダイアゴナル・モード(DIA_IDX)のうちの1つに対する前記MPMリストにおける過半数のモードの位置に基づいている、請求項15ないし16いずれか1項に記載の方法。
  18. 前記MPMリストにおける前記モードの各々を、デフォルト・モード・リスト内の様々なモードの位置と比較すること、
    前記デフォルト・モード・リスト内の前記様々なモードのうちの勝者が前記MPMリストにおける前記モードの過半数に最も近いことを決定すること、及び
    前記デフォルト・モード・リスト内の前記様々なモードのうちの前記勝者に最も近いモードで前記最初の3つのモードを前記残余モード・リストに挿入すること
    により、前記残余モード・リストにおける初期モードは決定されている、
    請求項16ないし17いずれか1項に記載の方法。
  19. 前記モード・カテゴリ内の前記様々なモードは、平面・モード(PLANAR_IDX
    )、dcモード(DC_IDX)、垂直モード(VER_IDX)、水平モード(HOR
    _IDX)、イントラ・モード2(2)、垂直ダイアゴナル・モード(VDIA_IDX
    )、及びダイアゴナル・モード(DIA_IDX)を含む、請求項18に記載の方法。
  20. 請求項1に記載の方法を実行するように構成された符号化装置。
  21. 請求項2ないし19いずれか1項に記載の方法を実行するように構成された復号化装置。
JP2022205009A 2018-07-11 2022-12-22 ルマ・イントラ・モード・シグナリング Pending JP2023052019A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862696739P 2018-07-11 2018-07-11
US62/696,739 2018-07-11
PCT/US2019/031347 WO2020013911A1 (en) 2018-07-11 2019-05-08 Luma intra mode signaling
JP2021500732A JP7201785B2 (ja) 2018-07-11 2019-05-08 ルマ・イントラ・モード・シグナリング

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021500732A Division JP7201785B2 (ja) 2018-07-11 2019-05-08 ルマ・イントラ・モード・シグナリング

Publications (1)

Publication Number Publication Date
JP2023052019A true JP2023052019A (ja) 2023-04-11

Family

ID=69141873

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021500732A Active JP7201785B2 (ja) 2018-07-11 2019-05-08 ルマ・イントラ・モード・シグナリング
JP2022205009A Pending JP2023052019A (ja) 2018-07-11 2022-12-22 ルマ・イントラ・モード・シグナリング

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021500732A Active JP7201785B2 (ja) 2018-07-11 2019-05-08 ルマ・イントラ・モード・シグナリング

Country Status (15)

Country Link
US (3) US11196991B2 (ja)
EP (2) EP3799690B1 (ja)
JP (2) JP7201785B2 (ja)
KR (2) KR102550806B1 (ja)
CN (1) CN112352423A (ja)
AU (1) AU2019300691B2 (ja)
BR (1) BR112021000225A2 (ja)
CA (1) CA3104981C (ja)
ES (1) ES2966494T3 (ja)
FI (1) FI3799690T3 (ja)
HU (1) HUE064008T2 (ja)
PL (1) PL3799690T3 (ja)
PT (1) PT3799690T (ja)
WO (1) WO2020013911A1 (ja)
ZA (1) ZA202100480B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019072365A1 (en) * 2017-10-09 2019-04-18 Huawei Technologies Co., Ltd. DEVICES AND METHODS FOR IMAGE AND VIDEO ENCODING
WO2020017785A1 (ko) 2018-07-14 2020-01-23 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측 관련 정보를 사용하는 영상 디코딩 방법 및 그 장치
WO2023068870A1 (ko) * 2021-10-21 2023-04-27 엘지전자 주식회사 인트라 예측 모드를 코딩하는 방법 및 장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2797423T3 (es) 2011-06-28 2020-12-02 Samsung Electronics Co Ltd Procedimiento de codificación y decodificación de vídeo usando codificación aritmética con una señalización bidimensional del último coeficiente significativo
CN103748877B (zh) 2011-08-17 2017-05-10 联发科技(新加坡)私人有限公司 帧内预测方法和装置
CN103220508B (zh) 2012-01-20 2014-06-11 华为技术有限公司 编解码方法和装置
EP4192009A1 (en) * 2015-11-19 2023-06-07 LX Semicon Co., Ltd. Method and apparatus for encoding/decoding intra prediction mode
US10448011B2 (en) 2016-03-18 2019-10-15 Mediatek Inc. Method and apparatus of intra prediction in image and video processing
US10368107B2 (en) 2016-08-15 2019-07-30 Qualcomm Incorporated Intra video coding using a decoupled tree structure
US10506228B2 (en) 2016-10-04 2019-12-10 Qualcomm Incorporated Variable number of intra modes for video coding
US10750169B2 (en) 2016-10-07 2020-08-18 Mediatek Inc. Method and apparatus for intra chroma coding in image and video coding
EP3422716A1 (en) * 2017-06-26 2019-01-02 Thomson Licensing Method and apparatus for most probable mode (mpm) sorting and signaling in video encoding and decoding
EP3643064A1 (en) * 2017-07-24 2020-04-29 ARRIS Enterprises LLC Intra mode jvet coding
WO2019072365A1 (en) * 2017-10-09 2019-04-18 Huawei Technologies Co., Ltd. DEVICES AND METHODS FOR IMAGE AND VIDEO ENCODING

Also Published As

Publication number Publication date
US20200304784A1 (en) 2020-09-24
EP4283990A2 (en) 2023-11-29
PL3799690T3 (pl) 2024-02-19
KR102660195B1 (ko) 2024-04-23
EP3799690B1 (en) 2023-10-25
PT3799690T (pt) 2023-12-22
ES2966494T3 (es) 2024-04-22
HUE064008T2 (hu) 2024-02-28
FI3799690T3 (fi) 2023-11-22
KR20230101953A (ko) 2023-07-06
BR112021000225A2 (pt) 2021-04-06
US11196991B2 (en) 2021-12-07
AU2019300691A1 (en) 2021-01-28
WO2020013911A1 (en) 2020-01-16
ZA202100480B (en) 2022-08-31
US20220060698A1 (en) 2022-02-24
US20230370587A1 (en) 2023-11-16
JP7201785B2 (ja) 2023-01-10
JP2021530909A (ja) 2021-11-11
CA3104981A1 (en) 2020-01-16
KR102550806B1 (ko) 2023-06-30
US11695927B2 (en) 2023-07-04
KR20210019554A (ko) 2021-02-22
EP4283990A3 (en) 2024-02-14
AU2019300691B2 (en) 2022-12-01
EP3799690A4 (en) 2021-08-04
CA3104981C (en) 2023-12-19
CN112352423A (zh) 2021-02-09
EP3799690A1 (en) 2021-04-07

Similar Documents

Publication Publication Date Title
KR102288109B1 (ko) 비디오 압축에서의 양방향 예측
US11019339B2 (en) Fractional quantization parameter offset in video compression
KR102334126B1 (ko) 인트라 블록 복사를 위한 레지듀얼 예측
US20190089952A1 (en) Bidirectional Weighted Intra Prediction
US11695927B2 (en) Luma intra mode signaling
US20190110052A1 (en) Bidirectional intra prediction
JP2024023680A (ja) ビデオ・コーディングにおける新しいコーディングされたビデオ・シーケンスを開始するピクチャのための前のピクチャの出力
AU2023202658B2 (en) Boundary block partitioning in video coding
JP2023104953A (ja) ビデオコーディングのための変換ユニット区分方法
CN116668674A (zh) 视频译码的约束预测模式
WO2019072210A1 (en) RESTRICTION ON SUB-BLOCK SIZE DEDUCTION FOR AFFINE INTERPREDITION
RU2787010C2 (ru) Сигнализация внутреннего режима яркости
KR20240063982A (ko) 루마 인트라 모드 시그널링
WO2019199838A1 (en) Reducing context switching for coding transform coefficients

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240318