JP2022500916A - アフィン線形加重イントラ予測 - Google Patents

アフィン線形加重イントラ予測 Download PDF

Info

Publication number
JP2022500916A
JP2022500916A JP2021514023A JP2021514023A JP2022500916A JP 2022500916 A JP2022500916 A JP 2022500916A JP 2021514023 A JP2021514023 A JP 2021514023A JP 2021514023 A JP2021514023 A JP 2021514023A JP 2022500916 A JP2022500916 A JP 2022500916A
Authority
JP
Japan
Prior art keywords
block
intra
prediction mode
prediction
predetermined block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021514023A
Other languages
English (en)
Inventor
ヨナタン・パフ
ハイコ・シュヴァルツ
フィリップ・ヘレ
ミヒャエル・シェーファー
ローマン・リシュケ
トビアス・ヒンツ
フィリップ・メルクル
ビョルン・シュタレンベルガー
マルティン・ヴィンケン
ミーシャ・ジークマン
デトレフ・マルペ
トーマス・ヴィーガント
Original Assignee
フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ．
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． filed Critical フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ．
Publication of JP2022500916A publication Critical patent/JP2022500916A/ja
Priority to JP2023093120A priority Critical patent/JP2023113820A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

ブロック単位の符号化および復号のための技術が開示される。これらの技術は、エンコーダ、デコーダ、および符号化および/または復号のための方法に適用され得る。一例では、データストリームからピクチャを復号するためのデコーダが開示される。デコーダは、ピクチャの所定のブロックを、線形またはアフィン線形変換を用いて、所定のブロックの近傍のP個の近傍サンプルの集合を所定のブロックのサンプルについてのQ個の予測値の集合にマッピングすることによって予測するよう構成され得る。線形またはアフィン線形変換は、P*Q個の重み係数を含み、そのうち少なくとも1/4P*Q個の重み係数は、非ゼロ重み値であり、Q個の予測値の各々についてそれぞれの予測値に関連するP個の重み係数の系列を構成し、系列は、所定のブロックのサンプルの間のラスタ走査順序に従って他の系列よりも1つ下に配置されているとき、全方向に非線形であるエンベロープを形成しうる。

Description

本明細書は、とりわけ、アフィン線形加重イントラ予測(ALWIP:Affine Linear Weighted Intra Prediction)を含む技術に関する。
本発明の様々な実施形態および態様について説明する。これらの実施形態のうちの少なくともいくつかは、とりわけ、高効率ビデオコーディング(HEVC:High Efficiency Video Coding)など、ビデオコーディングのための方法および/または装置を指す。
また、さらなる実施形態は、添付の特許請求の範囲によって定義される。
特許請求の範囲によって定義されるいずれの実施形態も、場合によっては、任意選択で、以下の章で説明する詳細(特徴および機能性)のいずれかによって補完され得ることに留意されたい。
また、以下の章で説明する実施形態は、個々に使用されてよく、別の章の特徴のいずれかによって、または特許請求の範囲の中に含まれたいずれかの特徴によって補完されてもよい。
また、本明細書で説明する個々の態様は、個々にまたは組み合わせて使用されてよいことに留意されたい。したがって、これらの個々の態様のうちの異なる態様に詳細を加えることなく、これらの態様の各々に詳細が加えられてよい。
本開示は、復号および/または符号化のシステムおよび/または方法の特徴を明示的または暗示的に説明することにやはり留意されたい。
その上、方法に関して本明細書で説明する特徴および機能性は装置において使用されてもよい。さらに、ある装置に関して本明細書で開示するいずれの特徴および機能性も対応する方法においてやはり使用され得る。言い換えれば、本明細書で開示する方法は、これらの装置に関して説明する特徴および機能性のうちのいずれかによって補完され得る。
また、本明細書で説明する特徴および機能性のいずれも、「実装代替案」の項で説明するように、ハードウェアでまたはソフトウェアで、またはハードウェアとソフトウェアの組合せを使用して、実装され得る。
その上、いくつかの例では、括弧(「(…)」または「[…]」)内で説明する特徴のいずれも随意であり得る。
符号化および/または復号されることになるブロックを予測するためのさらなる実行技術の達成は、常にこの技術の目標である。たとえば、コードの長さを短縮するために、データストリームを効率的に圧縮することが好ましい。
一態様によれば、データストリームから復号ピクチャをするためのデコーダであって、
ピクチャの所定のブロックを、
線形またはアフィン線形変換を用いて、所定のブロックの近傍のP個の近傍サンプルの集合を所定のブロックのサンプルについてのQ個の予測値の集合にマッピングすることによって予測するよう構成され、
線形またはアフィン線形変換は、P*Q個の重み係数を含み、そのうち少なくとも1/4P*Q個の重み係数は、非ゼロ重み値であり、Q個の予測値の各々について、それぞれの予測値に関連するP個の重み係数の系列(series)を構成し、系列は、所定のブロックのサンプルの間のラスタ走査順序に従って順次一つずつ下へ配置されているとき、全方向に非線形であるエンベロープを形成するデコーダ、が開示される。
デコーダは、P*Q個の重み係数が任意の正規の写像規則により互いと無関係であるようなものであってよい。
デコーダは、それぞれの予測値に関連する重み係数の第1の系列と、それぞれの予測値以外の予測値に関連する重み係数の第2の系列または第2の系列の反転バージョンのうちのより高い最大値を生じさせる方との間の相互相関の最大平均(a mean of maxima)が、所定のしきい値よりも低いようなものであってよい。
デコーダは、所定のしきい値が0.3であるようなものであってよい。
デコーダは、P個の近傍サンプルが、所定のブロックの境界に沿って延びる一次元の経路に沿って配置されるようなものであってよく、Q個の予測値の各々について、それぞれの予測値に関連するP個の重み係数の系列は、一次元経路を所定の方向にトラバースするように順序付けられる。
デコーダは、
Q個の予測値の集合の各々について対応する残差値を取得するために、所定のブロックについて、データストリームから予測残差を導出し、
対応する再構築値がP個の近傍サンプルに完全に線形に依存するように、対応する再構築値を取得するために、対応する残差値によってQ個の予測値の集合の各々を補正することによって、所定のブロックを再構築する
ように構成され得る。
デコーダは、
デコーダは、ピクチャを、所定のブロックを含む異なるブロックサイズの複数のブロックに細分割するように構成され、
デコーダは、ブロックサイズの集合の各々について、
複数の方向性予測モードとDCモードおよびplanarモードのうちの少なくとも1つとを含むイントラ予測モードの第1の集合、および
イントラ予測モードの第2の集合であって、イントラ予測モードの第2の集合の各々について、それぞれのイントラ予測モードに従って、それぞれのブロックサイズのブロックは、関連付けられる線形またはアフィン線形変換を用いてそれぞれのブロックサイズのブロックの近傍のP個の近傍サンプルの集合をそれぞれのブロックのブロックのサンプルについてのQ個の予測値の集合にマッピングすることによって予測される、イントラ予測モードの第2の集合をサポートし、
ブロックサイズの集合の各ブロックサイズに対して、それぞれのブロックサイズに対するイントラ予測モードの第2の集合内のイントラ予測モードの関連付けられる線形またはアフィン線形変換は互いに異なり、ブロックサイズの集合内のブロックサイズに対するイントラ予測モードの第2の集合の濃度(cardinality)は一致するが、ブロックサイズの集合内の異なるブロックサイズに対するイントラ予測モードの第2の集合内のイントラ予測モードの関連付けられる線形またはアフィン線形変換は、スケーリングによって互いに対して転換可能(transferable)でないようなものである。
一態様によれば、ピクチャをデータストリームから復号するための方法であって、
線形またはアフィン線形変換を用いて、所定のブロックの近傍のP個の近傍サンプルの集合を、所定のブロックのサンプルについてのQ個の予測値の集合にマッピングするステップを含み、
線形またはアフィン線形変換は、P*Q個の重み係数を含み、そのうち少なくとも1/4P*Q個の重み係数は、非ゼロ重み値であり、Q個の予測値の各々についてそれぞれの予測値に関連するP個の重み係数の系列を構成し、系列は、所定のブロックのサンプルの間のラスタ走査順序に従って順次一つずつ下へ配置されているとき、全方向に非線形であるエンベロープを形成する方法が開示される。
一態様によれば、データストリームをピクチャから符号化するためのエンコーダであって、
線形またはアフィン線形変換を用いて、所定のブロックの近傍のP個の近傍サンプルの集合を、所定のブロックのサンプルについてのQ個の予測値の集合にマッピングするよう構成され、
線形またはアフィン線形変換は、P*Q個の重み係数を含み、そのうち少なくとも1/4P*Q個の重み係数は、非ゼロ重み値であり、Q個の予測値の各々について、それぞれの予測値に関連するP個の重み係数の系列を構成し、系列は、所定のブロックのサンプルの間のラスタ走査順序に従って順次一つずつ下へ配置されているとき、全方向に非線形であるエンベロープを形成するエンコーダ、が開示される。
エンコーダは、P*Q個の重み係数が任意の正規の写像規則により互いと無関係であるようなものであってよい。
エンコーダは、それぞれの予測値に関連する重み係数の第1の系列と、それぞれの予測値以外の予測値に関連する重み係数の第2の系列または第2の系列の反転バージョンのうちのより高い最大値を生じさせる方との間の相互相関の最大平均が、所定のしきい値よりも低いようなものであってよい。
エンコーダは、所定のブロックのルマ成分に対して線形またはアフィン線形変換を用いるように構成され得る。
一態様によれば、符号化方法であって、
線形またはアフィン線形変換を用いて、所定のブロックの近傍のP個の近傍サンプルの集合を、所定のブロックのサンプルについてのQ個の予測値の集合にマッピングするステップを含み、
線形またはアフィン線形変換は、P*Q個の重み係数を含み、
そのうち少なくとも1/4P*Q個の重み係数は、非ゼロ重み値であり、
Q個の予測値の各々について、それぞれの予測値に関連するP個の重み係数の系列を構成し、系列は、所定のブロックのサンプルの間のラスタ走査順序に従って順次一つずつ下へ配置されているとき、全方向に非線形であるエンベロープを形成する、
符号化方法が開示される。
一態様によれば、複数の方向性予測モードとDCモードおよびplanarモードのうちの少なくとも1つとを含むイントラ予測モードの第1の集合、ならびにイントラ予測モードの第2の集合をサポートするデータストリームからピクチャを復号するためのデコーダであって、
ピクチャの所定のブロックを、
データストリーム内の第1の信号（signalization）に基づいて、所定のブロックを第1の集合または第2の集合に割り当て、
イントラ予測モードのリストを取得するために、所定のブロックの近傍の近傍ブロックに対して使用されるイントラ予測モードに従って、イントラ予測モードの割り当てられた集合をソートし、
所定のブロックに対して、データストリームからイントラ予測モードのリスト内にインデックスを導出し、
インデックスが指すイントラ予測モードを使用して所定のブロックを予測する
ことによって復号するよう構成され、
デコーダは、
割り当てられた集合がイントラ予測モードの第2の集合である場合、割り当てられた集合をソートする際、予測モードの第1の集合の各イントラ予測モードをイントラ予測モードの第2の集合内の代表的な1個のイントラ予測モードにマッピングする第1の写像を使用する、および/または
割り当てられた集合がイントラ予測モードの第1の集合である場合、割り当てられた集合をソートする際、予測モードの第2の集合の各イントラ予測モードをイントラ予測モードの第1の集合内の代表的な1個のイントラ予測モードにマッピングする第2の写像を使用する
ように構成されるデコーダが開示される。
一態様によれば、異なるブロックサイズの各々に対して、イントラ予測モードの集合をサポートするデータストリームからピクチャを復号するためのデコーダであって、
ピクチャの所定のブロックを
イントラ予測モードのリストを取得するために、所定のブロックの近傍の近傍ブロックに対して使用されるイントラ予測モードに従って、所定のブロックのブロックサイズに対するイントラ予測モードの集合をソートし、
所定のブロックに対して、データストリームからイントラ予測モードのリスト内にインデックスを導出し、
インデックスが指すイントラ予測モードを使用して所定のブロックを予測する
ことによって復号するよう構成され、
デコーダは、
近傍ブロックのうちの1つが所定のブロックとは異なるサイズのものである場合、割り当てられた集合をソートする際、1つの近傍ブロックのブロックサイズに対する予測モードの集合の各イントラ予測モードを所定のブロックのブロックサイズに対するイントラ予測モードの集合内の代表的な1個のイントラ予測モードにマッピングする写像を使用する
ように構成される、デコーダが開示される。
デコーダは、コード長が、インデックスが指すイントラ予測モードのリスト内のイントラ予測モードのランクに依存するように、可変長コードを使用してインデックスをデータストリームから復号するようにさらに構成され得る。
デコーダは、可変長コードが単項(unary)コードであるようなものであってよい。
デコーダは、イントラ予測モードの割り当てられた集合内の近傍ブロックに対して使用される、または第1もしくは第2の写像を介して近傍ブロックに対して使用されるイントラ予測モードによってターゲットにされているイントラ予測モードがリストの最初に置かれるように、イントラ予測モードの割り当てられた集合をソートするように構成され得る。
デコーダは、近傍ブロックに対して使用されるこのイントラ予測モードの集合内の、またはマッピングによって近傍ブロックに対して使用されるイントラ予測モードによってターゲットにされている、イントラ予測モードがリストの最初に置かれるように、所定のブロックのブロックサイズに対するイントラ予測モードの集合をソートするように構成され得る。
デコーダは、イントラ予測モードの第2の集合の各々に従って、線形またはアフィン線形変換を用いて、所定のブロックの近傍のP個の近傍サンプルの集合を、所定のブロックのサンプルについてのQ個の予測値の集合にマッピングすることによって、所定のブロックが予測されるよう構成されてもよく、
イントラ予測モードの第2の集合の各々について、
線形またはアフィン線形変換は、P*Q個の重み係数を含み、そのうち少なくとも1/4P*Q個の重み係数は、非ゼロ重み値であり、Q個の予測値の各々について、それぞれの予測値に関連するP個の重み係数の系列を構成し、系列は、所定のブロックのサンプルの間のラスタ走査順序に従って順次一つずつ下へ配置されているとき、全方向に非線形であるエンベロープを形成する。
デコーダは、イントラ予測モードの集合の各々に従って、線形またはアフィン線形変換を用いて、所定のブロックの近傍のP個の近傍サンプルの集合を、所定のブロックのサンプルについてのQ個の予測値の集合にマッピングすることによって、所定のブロックが予測されるよう構成されてもよく、
イントラ予測モードの第2の集合の各々について、線形またはアフィン線形変換は、P*Q個の重み係数を含み、そのうち少なくとも1/4P*Q個の重み係数は、非ゼロ重み値であり、Q個の予測値の各々についてそれぞれの予測値に関連するP個の重み係数の系列を構成し、系列は、所定のブロックのサンプルの間のラスタ走査順序に従って順次一つずつ下へ配置されているとき、全方向に非線形であるエンベロープを形成する。
デコーダは、
デコーダが、ピクチャを、所定のブロックを含む異なるブロックサイズの複数のブロックに細分割するように構成され、
デコーダが、ブロックサイズの集合の各々について、複数の方向性予測モードとDCモードおよびplanarモードのうちの少なくとも1つとを含むイントラ予測モードの第1の集合、ならびにイントラ予測モードの第2の集合をサポートするように構成され、
デコーダは、
近傍ブロックのうちの1つが、ブロックサイズの集合内の所定のブロックと同じブロックサイズのものであるが、イントラ予測モードの第1および第2の集合のうちの異なる1つの集合に割り当てられる場合、割り当てられた集合をソートする際、第1および第2の写像を使用し、
近傍ブロックのうちの1つがブロックサイズの集合内の所定のブロックとは異なるブロックサイズのものである場合、割り当てられた集合をソートする際、
所定のブロックに対して割り当てられた集合が所定のブロックのブロックサイズに対する第2の集合であり、1つの近傍ブロックに対して割り当てられた集合が1つの近傍ブロックのブロックサイズに対する第1の集合である場合、1つの近傍ブロックのブロックサイズに対する予測モードの第1の集合の各イントラ予測モードを所定のブロックのブロックサイズに対するイントラ予測モードの第2の集合内の代表的な1個のイントラ予測モードにマッピングする第3の写像を使用する、および/または
所定のブロックに対して割り当てられた集合が所定のブロックのブロックサイズに対する第1の集合であり、1つの近傍ブロックに対して割り当てられた集合が1つの近傍ブロックのブロックサイズに対する第2の集合である場合、1つの近傍ブロックのブロックサイズに対する予測モードの第2の集合の各イントラ予測モードを所定のブロックのブロックサイズに対するイントラ予測モードの第1の集合内の代表的な1個のイントラ予測モードにマッピングする第4の写像を使用する、および/または
近傍ブロックのうちの1つがブロックサイズの集合内の所定のブロックと同じブロックサイズのものである場合、所定のブロックに対して割り当てられた集合が所定のブロックのブロックサイズに対する第2の集合であり、1つの近傍ブロックに対して割り当てられた集合が1つの近傍ブロックのブロックサイズに対する第2の集合である場合、
1つの近傍ブロックのブロックサイズに対する予測モードの第2の集合の各イントラ予測モードを所定のブロックのブロックサイズに対するイントラ予測モードの第2の集合内の代表的な1個のイントラ予測モードにマッピングする第5の写像を使用する
ように構成されるようなものであってよい。
デコーダは、
デコーダが、ピクチャを、所定のブロックを含む異なるブロックサイズの複数のブロックに細分割するように構成され、
デコーダが、ブロックサイズの集合の各々について、複数の方向性予測モードとDCモードおよびplanarモードのうちの少なくとも1つとを含むイントラ予測モードの第1の集合、ならびにイントラ予測モードの第2の集合をサポートするように構成され、
デコーダは、
所定のブロックが正方形でないならば、
所定のブロックが第1の向きに方向づけられている場合、所定のブロックの近傍の近傍サンプルの系列をインデックスが指すイントラ予測モードに関連付けられる線形またはアフィン線形変換に適用し、
所定のブロックが第1の向きに直交する第2の向きに方向づけられている場合、予測ブロックを取得し、その後で予測ブロックを転置する(transposing)ために、所定のブロックの近傍の近傍サンプルの系列の反転バージョンをインデックスが指すイントラ予測モードに関連付けられる線形またはアフィン線形変換以外のイントラ予測モードの第2の集合のイントラ予測モードに関連付けられる線形またはアフィン線形変換に適用する
ことによって、インデックスが指すイントラ予測モードを使用して所定のブロックの予測を行うように構成されるようなものであってよい。
デコーダは、
イントラ予測モードの第2の集合は、イントラ予測モードの第1および第2の部分集合を含み、所定のブロックは正方形である
ように構成されてよく、
デコーダは、
インデックスが指すイントラ予測モードが第1の部分集合内に含まれる場合、所定のブロックの近傍の近傍サンプルの系列をインデックスが指すイントラ予測モードに関連付けられる線形またはアフィン線形変換に適用し、
インデックスが指すイントラ予測モードが第2の部分集合内に含まれる場合、予測ブロックを取得し、その後で予測ブロックを転置するために、所定のブロックの近傍の近傍サンプルの系列の反転バージョンをイントラ予測モードの第1の部分集合のイントラ予測モードに関連付けられる線形またはアフィン線形変換に適用する
ことによって、インデックスが指すイントラ予測モードを使用して所定のブロックの予測を行う
ように構成される。
デコーダは、第2の集合のイントラ予測モードのうちの少なくとも1つに対して、1個のイントラ予測モードを使用する予測が、空間領域から変換領域へのまたは変換領域から変換領域への所定のブロックの予測を必要とするようなものであってよい。
デコーダは、ルマ成分に対して第1または第2の集合の変換を用い、クロマ成分に対して第1の集合の変換を用いるように構成され得る。
デコーダは、ルマ成分に対して使用される第2の集合のモードをルマ成分に対する第1の集合のモードにマッピングするように構成され得る。
デコーダは、第2の写像が、第2の集合の複数のモードを第1の集合の単一のモードにマッピングするようなものであってよい。
デコーダは、第2の写像が、第2の集合のすべてのモードを第1の集合の単一のモードにマッピングするようなものであってよい。
デコーダは、第1の集合の単一のモードがplanarモードであるようなものであってよい。
一態様によれば、複数の方向性予測モードとDCモードおよびplanarモードのうちの少なくとも1つとを含むイントラ予測モードの第1の集合、ならびにイントラ予測モードの第2の集合をサポートするデータストリームからピクチャを復号するための方法であって、
ピクチャの所定のブロックを、
データストリーム内の第1の信号に基づいて、所定のブロックを第1の集合または第2の集合に割り当て、
イントラ予測モードのリストを取得するために、所定のブロックの近傍の近傍ブロックに対して使用されるイントラ予測モードに従って、予測モードの割り当てられた集合をソートし、
所定のブロックに対して、データストリームからイントラ予測モードのリスト内にインデックスを導出し、
インデックスが指すイントラ予測モードを使用して予測すること
によって復号するステップを含み、
復号するステップは、
割り当てられた集合がイントラ予測モードの第2の集合である場合、割り当てられた集合をソートする際、予測モードの第1の集合の各予測モードをイントラ予測モードの第2の集合内の代表的な1個のイントラ予測モードにマッピングする、第1の写像すること、および/または
割り当てられた集合がイントラ予測モードの第1の集合である場合、割り当てられた集合をソートする際、予測モードの第2の集合の各イントラ予測モードをイントラ予測モードの第1の集合内の代表的な1個のイントラ予測モードにマッピングする、第2の写像を使用することに基づく、方法が開示される。
一態様によれば、複数の方向性予測モードとDCモードおよびplanarモードのうちの少なくとも1つとを含むイントラ予測モードの第1の集合、ならびにイントラ予測モードの第2の集合をサポートするデータストリーム上にピクチャを符号化するためのエンコーダであって、
ピクチャの所定のブロックを、
データストリーム内の第1の信号に基づいて、所定のブロックを第1の集合または第2の集合に割り当て、符号化し、
イントラ予測モードのリストを取得するために、所定のブロックの近傍の近傍ブロックに対して使用されるイントラ予測モードに従って、予測モードの割り当てられた集合をソートし、
所定のブロックに対して、データストリームから、イントラ予測モードのリスト内へのインデックスを決定し、
インデックスが指すイントラ予測モードを使用して所定のブロックを予測する
ことによって符号化するよう構成され、
エンコーダは、
割り当てられた集合がイントラ予測モードの第2の集合である場合、割り当てられた集合をソートする際、予測モードの第1の集合の各イントラ予測モードをイントラ予測モードの第2の集合内の代表的な1個のイントラ予測モードにマッピングする、第1の写像を使用し、および/または
割り当てられた集合がイントラ予測モードの第1の集合である場合、割り当てられた集合をソートする際、予測モードの第2の集合の各イントラ予測モードをイントラ予測モードの第1の集合内の代表的な1個のイントラ予測モードにマッピングする、第2の写像を使用するように構成されるエンコーダが開示される。
一態様によれば、異なるブロックサイズの各々に対して、イントラ予測モードの集合をサポートするデータストリーム上にピクチャを符号化するためのエンコーダであって、
ピクチャの所定のブロックを、
イントラ予測モードのリストを取得するために、所定のブロックの近傍の近傍ブロックに対して使用されるイントラ予測モードに従って、所定のブロックのブロックサイズに対するイントラ予測モードの集合をソートし、
所定のブロックに対して、イントラ予測モードのリスト内へのインデックスをデータストリーム内に挿入し、
インデックスが指すイントラ予測モードを使用して所定のブロックを予測する
ことによって符号化するよう構成され、
エンコーダは、
近傍ブロックのうちの1つが所定のブロックとは異なるサイズである場合、割り当てられた集合をソートする際、1つの近傍ブロックのブロックサイズに対する予測モードの集合の各イントラ予測モードを所定のブロックのブロックサイズに対するイントラ予測モードの集合内の代表的な1個のイントラ予測モードにマッピングする写像を使用するように構成される、エンコーダが開示される。
エンコーダは、コード長が、インデックスが指すイントラ予測モードのリスト内のイントラ予測モードのランクに単調に依存するように、可変長コードを使用してデータストリーム内でインデックスを符号化するようにさらに構成され得る。
エンコーダは、可変長コードが単項コードであるようなものであってよい。
エンコーダは、他のブロックについての前の使用に関するそれらの予測モードの確率および/または履歴データに従って、予測モードをソートするように構成され得る。
エンコーダは、シンボル繰返し(symbol repetitions)の長さに基づいてリスト内へのインデックスを導出するように、第1のシンボルを最高で第2のシンボルまで連続的に繰り返すことによりデータストリーム内に第2の信号(signalization)を書き込むように構成され得る。
エンコーダは、イントラ予測モードの割り当てられた集合内の近傍ブロックに対して使用される、または第1もしくは第2の写像を介して近傍ブロックに対して使用されるイントラ予測モードによってターゲットにされているイントラ予測モードがリストの最初に置かれるように、イントラ予測モードの割り当てられた集合をソートするように構成され得る。
エンコーダは、近傍ブロックに対して使用されるこのイントラ予測モードの集合内の、またはマッピングによって近傍ブロックに対して使用されるイントラ予測モードによってターゲットにされているイントラ予測モードがリストの最初に置かれるように、所定のブロックのブロックサイズに対するイントラ予測モードの集合をソートするように構成され得る。
エンコーダは、イントラ予測モードの第2の集合の各々に従って、線形またはアフィン線形変換を用いて、所定のブロックの近傍のP個の近傍サンプルの集合を、所定のブロックのサンプルについてのQ個の予測値の集合にマッピングすることによって、所定のブロックが予測されるよう構成されてもよく、
イントラ予測モードの第2の集合の各々について、
線形またはアフィン線形変換は、P*Q個の重み係数を含み、
そのうち少なくとも1/4P*Q個の重み係数は、非ゼロ重み値であり、
Q個の予測値の各々についてそれぞれの予測値に関連するP個の重み係数の系列を構成し、系列は、所定のブロックのサンプルの間のラスタ走査順序に従って順次一つずつ下へ配置されているとき、全方向に非線形であるエンベロープを形成する。
エンコーダは、イントラ予測モードの集合の各々に従って、線形またはアフィン線形変換を用いて、所定のブロックの近傍のP個の近傍サンプルの集合を、所定のブロックのサンプルについてのQ個の予測値の集合にマッピングすることによって、所定のブロックが予測されるように構成されてもよく、
イントラ予測モードの第2の集合の各々について、
線形またはアフィン線形変換は、P*Q個の重み係数を含み、
そのうち少なくとも1/4P*Q個の重み係数は、非ゼロ重み値であり、
Q個の予測値の各々についてそれぞれの予測値に関連するP個の重み係数の系列を構成し、系列は、所定のブロックのサンプルの間のラスタ走査順序に従って順次一つずつ下へ配置されているとき、全方向に非線形であるエンベロープを形成する。
エンコーダは、エンコーダが、ピクチャを、所定のブロックを含む異なるブロックサイズの複数のブロックに細分割するように構成されるようなものであってよく、
エンコーダは、ブロックサイズの各々に対して、複数の方向性予測モードとDCモードおよびplanarモードのうちの少なくとも1つとを含むイントラ予測モードの第1の集合、ならびにイントラ予測モードの第2の集合をサポートするように構成され、
エンコーダは、
近傍ブロックのうちの1つが、ブロックサイズの集合内の所定のブロックと同じブロックサイズのものであるが、イントラ予測モードの第1および第2の集合のうちの異なる1つの集合に割り当てられる場合、割り当てられた集合をソートする際、第1および第2の写像を使用し、
近傍ブロックのうちの1つがブロックサイズの集合内の所定のブロックとは異なるブロックサイズのものである(たとえば、それらのブロックが同じではない)場合、割り当てられた集合をソートする際、
所定のブロックに対して割り当てられた集合が所定のブロックのブロックサイズに対する第2の集合であり、1つの近傍ブロックに対して割り当てられた集合が1つの近傍ブロックのブロックサイズに対する第1の集合である場合、1つの近傍ブロックのブロックサイズに対する予測モードの第1の集合の各イントラ予測モードを所定のブロックのブロックサイズに対するイントラ予測モードの第2の集合内の代表的な1個のイントラ予測モードにマッピングする第3の写像を使用する、および/または、
所定のブロックに対して割り当てられた集合が所定のブロックのブロックサイズに対する第1の集合であり、1つの近傍ブロックに対して割り当てられた集合が1つの近傍ブロックのブロックサイズに対する第2の集合である場合、1つの近傍ブロックのブロックサイズに対する予測モードの第2の集合の各イントラ予測モードを所定のブロックのブロックサイズに対するイントラ予測モードの第1の集合内の代表的な1個のイントラ予測モードにマッピングする第4の写像を使用し、および/または
近傍ブロックのうちの1つがブロックサイズの集合内の所定のブロックと同じブロックサイズのものである場合、所定のブロックに対して割り当てられた集合が所定のブロックのブロックサイズに対する第2の集合であり、1つの近傍ブロックに対して割り当てられた集合が1つの近傍ブロックのブロックサイズに対する第2の集合である場合、
1つの近傍ブロックのブロックサイズに対する予測モードの第2の集合の各イントラ予測モードを所定のブロックのブロックサイズに対するイントラ予測モードの第2の集合内の代表的な1個のイントラ予測モードにマッピングする第5の写像を使用するように構成される。
エンコーダは、
エンコーダが、ピクチャを、所定のブロックを含む異なるブロックサイズの複数のブロックに細分割するように構成され、
エンコーダが、ブロックサイズの集合の各々について、複数の方向性予測モードとDCモードおよびplanarモードのうちの少なくとも1つとを含むイントラ予測モードの第1の集合、ならびにイントラ予測モードの第2の集合をサポートするように構成され、
エンコーダは、
所定のブロックが正方形でないならば、
所定のブロックが第1の向きに方向づけられている場合、所定のブロックの近傍の近傍サンプルの系列をインデックスが指すイントラ予測モードに関連付けられる線形またはアフィン線形変換に適用し、
所定のブロックが第1の向きに直交する第2の向きに方向づけられている場合、予測ブロックを取得し、その後で予測ブロックを転置するために、所定のブロックの近傍の近傍サンプルの系列の反転バージョンをインデックスが指すイントラ予測モードに関連付けられる線形またはアフィン線形変換以外のイントラ予測モードの第2の集合のイントラ予測モードに関連付けられる線形またはアフィン線形変換に適用する
ことによって、インデックスが指すイントラ予測モードを使用して所定のブロックの予測を行うように構成されるようなものであってよい。
エンコーダは、
イントラ予測モードの第2の集合が、イントラ予測モードの第1および第2の部分集合を含み、所定のブロックが正方形であり、
エンコーダは、
インデックスが指すイントラ予測モードが第1の部分集合内に含まれる場合、所定のブロックの近傍の近傍サンプルの系列をインデックスが指すイントラ予測モードに関連付けられる線形またはアフィン線形変換に適用し、
インデックスが指すイントラ予測モードが第2の部分集合内に含まれる場合、予測ブロックを取得し、その後で予測ブロックを転置するために、所定のブロックの近傍の近傍サンプルの系列の反転バージョンをイントラ予測モードの第2の部分集合のイントラ予測モードに関連付けられる線形またはアフィン線形変換に適用する
ことによって、インデックスが指すイントラ予測モードを使用して所定のブロックの予測を行うように構成されるようなものであってよい。
エンコーダは、第2の集合のイントラ予測モードのうちの少なくとも1つに対して、1個のイントラ予測モードを使用する予測が空間領域から変換領域へのまたは変換領域から変換領域への所定のブロックの予測を必要とするようなものであってよい。
一態様によれば、複数の方向性予測モードとDCモードおよびplanarモードのうちの少なくとも1つとを含むイントラ予測モードの第1の集合、ならびにイントラ予測モードの第2の集合をサポートするデータストリーム上にピクチャを符号化するための方法であって、
データストリーム内の第1の信号に基づいて、所定のブロックを第1の集合または第2の集合に割り当て、符号化するステップと、
イントラ予測モードのリストを取得するために、所定のブロックの近傍の近傍ブロックに対して使用されるイントラ予測モードに従って、予測モードの割り当てられた集合をソートするステップと、
所定のブロックに対して、データストリームから、イントラ予測モードのリスト内へのインデックスを決定するステップと、
インデックスが指すイントラ予測モードを使用して所定のブロックを予測するステップと、
データストリームを符号化するステップと
を含み、
エンコーダは、
割り当てられた集合がイントラ予測モードの第2の集合である場合、割り当てられた集合をソートする際、予測モードの第1の集合の各イントラ予測モードをイントラ予測モードの第2の集合内の代表的な1個のイントラ予測モードにマッピングする、第1の写像を使用し、および/または
割り当てられた集合がイントラ予測モードの第1の集合である場合、割り当てられた集合をソートする際、予測モードの第2の集合の各イントラ予測モードをイントラ予測モードの第1の集合内の代表的な1個のイントラ予測モードにマッピングする、第2の写像を使用するように構成される、
方法が開示される。
一態様によれば、データストリームからピクチャを復号するための方法であって、
ピクチャの所定のブロックを、
所定のブロックの第1の辺において所定のブロックの近傍にある近傍サンプルの第1の集合に変換係数の第1の集合を取得するための変換[たとえば、FFT、DCT…]を受けさせ、および/または所定のブロックの第2の辺において所定のブロックの近傍にある近傍サンプルの第2の集合に変換係数の第2の集合を取得するための変換を受けさせ、
変換係数の第1および第2の集合の組合せ、もしくは近傍サンプルの第1の集合と変換係数の第2の集合の組合せ、または近傍サンプルの第2の集合と変換係数の第1の集合の組合せに線形またはアフィン線形変換を受けさせる
ことによって予測するステップを含む方法が開示される。
デコーダは、
ピクチャを、所定のブロックを含む異なるサイズの複数のブロックに細分割し、
近傍サンプルの第1および第2の集合を含む近傍ブロックのサイズに依存しないように、近傍サンプルの第1および第2の集合を配置させるように構成され得る。
[必ずしもブロック全体を利用するとは限らず、ストライプのみを利用する]
デコーダは、
近傍サンプルの第1および第2の集合がそれぞれ第1および第2の辺と並んで一次元経路に沿って配置されるよう、近傍サンプルの第1および第2の集合を配置し、変換係数の第1および第2の集合は一次元変換を表す、ように構成されうる。
デコーダは、変換係数の第1および第2の集合の組合せがそれぞれ変換係数の第1および/または第2の集合の取り出されない部分に依存しないように、変換係数の第1の集合から変換係数の第1の真の部分集合(proper subset)および/または変換係数の第2の集合から変換係数の第2の真の部分集合を取り出すことによって、それぞれ、組合せを形成するように構成され得る。
デコーダは、変換係数の第1および第2の集合の組合せに線形またはアフィン線形変換を受けさせることが、変換領域内で所定のブロックの予測(predictor)を生じさせるように構成され得る。
デコーダは、変換係数の第1および第2の集合の組合せに線形またはアフィン線形変換を受けさせることが、所定のブロックの変換の変換係数の真の部分集合に対する予測値を生じさせる[一方で、たとえば、他はデフォルト設定でゼロに設定される]ように構成され得る。
デコーダは、変換係数の第1および第2の集合の組合せに線形またはアフィン線形変換を受けさせることが、空間領域内で所定のブロックの予測(predictor)を生じさせるように構成され得る。
一態様によれば、データストリームからピクチャを復号するための方法であって、
ピクチャの所定のブロックを、
所定のブロックの第1の辺において所定のブロックの近傍にある近傍サンプルの第1の集合に変換係数の第1の集合を取得するための変換[たとえば、FFT、DCT…]を受けさせ、および/または所定のブロックの第2の辺において所定のブロックの近傍にある近傍サンプルの第2の集合に変換係数の第2の集合を取得するための変換を受けさせ、
変換係数の第1および第2の集合の組合せ、もしくは近傍サンプルの第1の集合と変換係数の第2の集合の組合せ、または近傍サンプルの第2の集合と変換係数の第1の集合の組合せに線形またはアフィン線形変換を受けさせる
ことによって予測するステップを含む、方法が開示される。
[たとえば、これらの部分の各々を空間領域から変換領域に変換し、その後でのみ、(たとえば、線形またはアフィン)変換を適用する]。
一態様によれば、データストリーム上にピクチャを符号化するためのエンコーダであって、
ピクチャの所定のブロックを、
所定のブロックの第1の辺において所定のブロックの近傍にある近傍サンプルの第1の集合に変換係数の第1の集合を取得するための変換[たとえば、FFT、DCT…]を受けさせ、および/または所定のブロックの第2の辺において所定のブロックの近傍にある近傍サンプルの第2の集合に変換係数の第2の集合を取得するための変換を受けさせ、
変換係数の第1および第2の集合の組合せ、もしくは近傍サンプルの第1の集合と変換係数の第2の集合の組合せ、または近傍サンプルの第2の集合と変換係数の第1の集合の組合せに線形またはアフィン線形変換を受けさせる
ことによって予測するように構成される、エンコーダが開示される。
[たとえば、これらの部分の各々を空間領域から変換領域に変換し、その後でのみ、(たとえば、線形またはアフィン)変換を適用する]
エンコーダは、
ピクチャを、所定のブロックを含む異なるサイズの複数のブロックに細分割し、
近傍サンプルの第1および第2の集合を含む近傍ブロックのサイズに依存しないように、近傍サンプルの第1および第2の集合を配置させるように構成され得る。
エンコーダは、
近傍サンプルの第1および第2の集合がそれぞれ、第1および第2の辺と並んで一次元経路に沿って配置されるよう、近傍サンプルの第1および第2の集合を配置し、変換係数の第1および第2の集合は一次元変換を表す、ように構成され得る。
エンコーダは、変換係数の第1および第2の集合の組合せがそれぞれ、変換係数の第1および/または第2の集合の取り出されていない部分に依存しないように、変換係数の第1の集合から変換係数の第1の真の部分集合および/または変換係数の第2の集合から変換係数の第2の真の部分集合を取り出すことによって、組合せを形成するように構成され得る。
エンコーダは、変換係数の第1および第2の集合の組合せに線形またはアフィン線形変換を受けさせることが、変換領域内で所定のブロックの予測(predictor)を生じさせるように構成され得る。
エンコーダは、変換係数の第1および第2の集合の組合せに線形またはアフィン線形変換を受けさせることが、所定のブロックの変換の変換係数の真の部分集合に対する予測値を生じさせるように構成され得る。
エンコーダは、変換係数の第1および第2の集合の組合せに線形またはアフィン線形変換を受けさせることが、空間領域内で所定のブロックの予測(predictor)を生じさせるように構成され得る。
一態様によれば、データストリームからピクチャを符号化するための方法であって、
ピクチャの所定のブロックを、
所定のブロックの第1の辺において所定のブロックの近傍にある近傍サンプルの第1の集合に変換係数の第1の集合を取得するための変換[たとえば、FFT、DCT…]を受けさせ、および/または所定のブロックの第2の辺において所定のブロックの近傍にある近傍サンプルの第2の集合に変換係数の第2の集合を取得するための変換を受けさせ、
変換係数の第1および第2の集合の組合せ、もしくは近傍サンプルの第1の集合と変換係数の第2の集合の組合せ、または近傍サンプルの第2の集合と変換係数の第1の集合の組合せに線形またはアフィン線形変換を受けさせる
ことによって予測するステップを含む方法が開示される。
[たとえば、これらの部分の各々を空間領域から変換領域に変換し、その後でのみ、(たとえば、線形またはアフィン)変換を適用する]。
画像をブロック単位(block-wise)で符号化するための装置を示す図である。 画像をブロック単位で符号化するための装置を示す図である。 画像をブロック単位で復号するための装置を示す図である。 画像をブロック単位で復号するための装置を示す図である。 予測されることになる所定のブロックを示す図である。 予測演算を示す図である。 従来の予測を示す図である。 データストリームを部分的に示す図である。 例において使用されるインデックスを示す図である。 図10a'、図10a''、および図10a'''に細分割された、異なるモード間でマッピングするための技術を示す図である。 異なるモード間でマッピングするための技術を示す図である。 異なるモード間でマッピングするための技術を示す図である。 異なるモード間でマッピングするための技術を示す図である。 異なるモード間でマッピングするための技術を示す図である。 手順の例を示す図である。 手順の例を示す図である。 マッピングの例を示す図である。 マッピングの例を示す図である。 図12'、図12''、図12'''、および図12''''に細分割された、手順の例を示す図である。 手順の例を示す図である。
［例によるエンコーダ、デコーダ］
以下、イントラ予測を用いるとき、より効果的な圧縮を達成することに役立つ様々な例について説明する。いくつかの例は、イントラ予測モードの集合を費やすことによって圧縮効率の増大を達成する。後者は、たとえばヒューリスティックに設計された他のイントラ予測モードに加えられてもよく、または排他的に提供されてもよい。また、他の例には、ここで述べたばかりの特色の両方を活用するものもある。
本出願の以下の例の理解を容易にするために、本出願の後述において概説する例が構築され得る、それに適合する考えられるエンコーダおよびデコーダを提示することから説明を始める。
図1は、ピクチャ10をデータストリーム12(いくつかの例では80とも示される、以下を参照されたい)にブロック単位で符号化するための装置を示す。装置は、参照符号14を使用して示され、静止画エンコーダまたはビデオエンコーダでありうる。言い換えれば、ピクチャ10は、エンコーダ14がピクチャ10を含むビデオ16をデータストリーム12に符号化するように構成されるとき、ビデオ16からの現在ピクチャでありえ、または、エンコーダ14は、ピクチャ10をデータストリーム12に排他的に符号化し得る。以下の例は、装置14を利用し得る。
上述のように、エンコーダ14は、ブロック単位の方法でまたはブロックベースで符号化を行う。このために、エンコーダ14は、ピクチャ10をブロックに細分割し、その単位で、エンコーダ14はピクチャ10をデータストリーム12へと符号化する。ピクチャ10をブロック18に細分割する考えられる例については、以下において詳述する。概して、細分割は最終的に、行および列に配列されたブロックのアレイなど、一定のサイズのブロック18になるか、またはピクチャ10のピクチャエリア全体からまたはピクチャ10の事前区分化からツリーブロックのアレイへのマルチツリー細分割から開始する階層的マルチツリー細分割の使用によってなど、異なるブロックサイズのブロック18になるが、これらの例は、ピクチャ10をブロック18に細分割する他の考えられる方法を排除するとして扱われるべきではない。
さらに、エンコーダ14は、ピクチャ10をデータストリーム12に予測的に符号化するように構成された予測エンコーダである。あるブロック18について、このことは、エンコーダ14がブロック18についての予測信号を決定し、予測残差、すなわち、予測信号がブロック18内の実際のピクチャコンテンツから逸脱する予測誤差をデータストリーム12へと符号化することを意味する。
エンコーダ14は、あるブロック18についての予測信号を導出するために、様々な予測モードをサポートし得る。以下の例において重要な予測モードはイントラ予測モードであり、そのイントラ予測モードに従って、ブロック18の内部は、ピクチャ10の近傍のすでに符号化されたサンプルから空間的に予測される。ピクチャ10のデータストリーム12への符号化、および、それに応じた、対応する復号手順は、ブロック18の間で定義されるあるコーディング順序20に基づき得る。たとえば、コーディング順序20は、たとえば、各行を左から右にトラバースして上から下に行単位に行うなどのラスタ走査順序でブロック18をトラバースし得る。階層的マルチツリーベースの再分割の場合、各階層レベル内でラスタ走査順序が適用されてもよく、このとき深さ優先のトラバース順序が適用されてもよく、すなわち、ある階層レベル内のリーフノートが、コーディング順序20に従って同じ親ブロックを有する同じ階層レベルのブロックに先行し得る。コーディング順序20に応じて、ブロック18、近傍のすでに符号化されたサンプルは、通常、ブロック18の1つまたは複数の辺に配置され得る。本明細書で提示する例の場合、たとえば、ブロック18の近傍のすでに符号化されたサンプルは、ブロック18の上に、かつブロックの左に配置される。
イントラ予測モードは、エンコーダ14によって唯一サポートされる予測モードでなくてよい。たとえば、エンコーダ14がビデオエンコーダである場合、エンコーダ14は、ブロック18がビデオ16の前に符号化されたピクチャから一時的に予測されるイントラ予測モードもサポートし得る。そのようなイントラ予測モードは、動き補償予測モードであってよく、この予測モードに従って、そこからブロック18の予測信号が複製として導出されることになる部分の相対的な空間オフセットを示す動きベクトルがそのようなブロック18に対してシグナリングされる。追加または代替として、エンコーダ14がマルチビューエンコーダである場合のインタービュー予測モード、または、それに従ってブロック18の内部がそのまま、すなわち、何の予測も伴わずに、コーディングされる非予測モードなど、他の非イントラ予測モードが同様に利用可能であり得る。
本出願の説明の焦点をイントラ予測モードに向ける前に、考えられるブロックベースのエンコーダについてのより詳細な例、すなわち、図2に関して説明するような、エンコーダ14の考えられる実装形態を、次に、それぞれ、図1および図2に適合するデコーダの2つの対応する例を提示して説明する。。
図2は、図1のエンコーダ14、すなわち、予測残差を符号化するために変換コーディングを使用するように構成されたエンコーダの考えられる実装形態を示すが、これは、単なる一例であり、本出願は、予測残差コーディングの種類に限定されない。図2によれば、(以下の例に対して使用され得る)エンコーダ14は、次いで予測残差エンコーダ28によってデータストリーム12に符号化される予測残差信号26を取得するために、入来する信号、すなわち、ピクチャ10、またはブロックベースで、現在ブロック18から、対応する予測信号24を減算するように構成された減算器22を備え得る。予測残差エンコーダ28は、損失のある（lossy）符号化段階28aおよび損失のない（lossless）符号化段階28bからなる。損失のある段階28aは、予測残差信号26を受信し、予測残差信号26のサンプルを量子化する量子化器30を備える。すでに上述したように、この例は、予測残差信号26の変換コーディングを使用し、したがって、損失のある符号化段階28aは、残差信号26を提示する、変換された係数に対して量子化器30の量子化が生じることにより、そのようなスペクトルで分解された予測残差26を変換するように、減算器22と量子化器30の間に接続された変換段階32を含む。変換は、DCT、DST、FFT、Hadamard変換、などであってよい。変換および量子化された予測残差信号34は、次いで、損失のない符号化段階28bによって損失のないコーディングを受け、損失のない符号化段階28bは、量子化された予測残差信号34をデータストリーム12にエントロピーコーディングするエントロピーコーダである。エンコーダ14は、デコーダにおいても利用可能な方法で、すなわち、量子化器30内のコーディング損失を考慮に入れて、変換および量子化された予測残差信号34から予測残差信号を再構築するために、量子化器30の出力に接続された予測残差信号再構築段階36をさらに含む。このために、予測残差信号再構築段階36は、量子化器30の量子化の逆を行う逆量子化器38と、それに続いて、上述の特定の変換例のうちのいずれかに対する逆など、スペクトル分解の逆など、変換器32によって実行される変換に対して逆変換を行う逆変換器40とを備える。エンコーダ14は、再構築された信号、すなわち、再構築され
たサンプルを出力するために、逆変換器40による出力として再構築された予測残差信号と予測信号24とを加算する加算器42を備える。この出力は、エンコーダ14の予測器44に供給され、予測器44は、次いで、その出力に基づいて予測信号24を決定する。図1に関して上記ですでに論じたすべての予測モードをサポートするのは予測器44である。図2はまた、エンコーダ14がビデオエンコーダである場合、エンコーダ14は、完全に再構築されたピクチャをフィルタリングするインループフィルタ46を備えてもよいことを示し、この完全に再構築されたピクチャは、フィルタリングされた後、インター予測ブロックに対する予測器44のための参照ピクチャを形成する。
すでに上述したように、エンコーダ14は、ブロックベースで動作する。以下の説明について、関心となるブロックベースは、イントラ予測モードが、それぞれ、予測器44またはエンコーダ14によってサポートされる複数のイントラ予測モードまたはイントラ予測モードの集合から選択されるブロックへとピクチャ10を細分割し、選択されたイントラ予測モードが個々に行われるブロックベースである。しかしながら、ピクチャ10が細分割される他の種類のブロックも同様に存在し得る。たとえば、ピクチャ10がインターコーディングされるか、またはイントラコーディングされるかについての上述の決定は、ブロック18から逸脱するブロックの粒度またはその単位でなされ得る。たとえば、インター/イントラモードの決定は、ピクチャ10が細分割され、各コーディングブロックが予測ブロックに細分割されるコーディングブロックのレベルで行われ得る。イントラ予測が使用されると決定されている符号化ブロックを伴う予測ブロックは、各々、イントラ予測モード決定のために細分割される。このために、これらの予測ブロックの各々に対して、サポートされるどのイントラ予測モードがそれぞれの予測ブロックに対して使用されるべきかが決定される。これらの予測ブロックは、ここで関心となるブロック18を形成することになる。インター予測に関連付けられるコーディングブロック内の予測ブロックは、予測器44によって異なって扱われることになる。これらの予測ブロックは、動きベクトルを決定し、動きベクトルが指す参照ピクチャ内の場所からこのブロックに対する予測信号を複製することによって、参照ピクチャからインター予測されることになる。もう1つのブロック細分割は、変換器32および逆変換器40による変換が行われる単位で変換ブロックに細分割することに関する。変換されたブロックは、たとえば、コーディングブロックのさらなる細分割の結果であり得る。当然、本明細書に記載される例は、限定的であるとして扱われるべきではなく、他の例が同様に存在する。完全を期すためにのみ、コーディングブロックへの細分割は、たとえば、マルチツリー細分割を使用してよく、予測ブロックおよび/または変換ブロックは、マルチツリー細分割を使用してコーディングブロックをさらに細分割することによって同様に取得され得ることに留意されたい。
図1のエンコーダ14に適合するブロック単位の復号のための(たとえば、これらの例において使用される)デコーダまたは装置を図3に示す。このデコーダ54は、エンコーダ14の逆を行い、すなわち、デコーダ54は、データストリーム12からピクチャ10をブロック単位の方法で復号し、このために、複数のイントラ予測モードをサポートする。デコーダ54は、たとえば、残差プロバイダ156を備え得る。図1に関して上記で論じたすべての他の可能性は、デコーダ54に対しても有効である。このために、デコーダ54は、静止画デコーダまたはビデオデコーダであってよく、すべての予測モードおよび予測可能性もデコーダ54によって同様にサポートされる。エンコーダ14とデコーダ54との間の違いは、主に、エンコーダ14は、たとえば、コーディングレートおよび/またはコーディング歪みに依存し得る一部の費用関数を最小限に抑えるためなど、何らかの最適化に従ってコーディング決定を選定または選択する点にある。これらのコーディング選択肢またはコーディングパラメータのうちの1つは、利用可能なまたはサポートされるイントラ予測モードの間で現在ブロック18に対して使用されることになるイントラ予測モードの選択を必要とし得る。選択されたイントラ予測モードは、次いで、エンコーダ14によってデータストリーム12内で現在ブロック18についてシグナリングされてもよく、デコーダ54が、ブロック18についてデータストリーム12内のこの信号(signalization)を使用してこの選択を再び行う。同様に、ピクチャ10のブロック18への細分割は、エンコーダ14において最適化を受けてもよく、対応する細分割情報は、データストリーム内で伝達され、デコーダ54が、細分割情報に基づいて、ピクチャ10のブロック18への細分割を回復させてもよい。上記を要約すると、デコーダ54は、ブロックベースで動作する予測デコーダであってよく、イントラ予測モードの他に、デコーダ54は、たとえば、デコーダ54がビデオデコーダである場合、インター予測モードなど、他の予測モードをサポートし得る。復号する際、デコーダ54は、図1に関して論じたコーディング順序20を用いることもでき、このコーディング順序20は、エンコーダ14とデコーダ54の両方において遵守されるため、エンコーダ14とデコーダ5
4の両方において、同じ近傍サンプルが現在ブロック18に対して利用可能である。したがって、不要な繰返しを回避するために、エンコーダ14の動作モードの説明は、ピクチャ10のブロックへの細分割に関する限り、たとえば、予測に関する限り、かつ予測残差のコーディングに関する限り、デコーダ54にも適用される。違いは、エンコーダ14は、最適化によって、何らかのコーディングオプションまたはコーディングパラメータを選定し、コーディングパラメータをデータストリーム12内でシグナリングするか、またはその中に挿入し、コーディングパラメータは、次いで、デコーダ54によって、予測、細分割、などを再び行うために、データストリーム12から導出される点にある。
図4は、(たとえば、これらの例において使用される)図3のデコーダ54の1つの考えられる実装形態、すなわち、図2に示したような、図1のエンコーダ14の実装形態に適合するものを示す。図4のデコーダ54の多くの要素は、図2の対応するエンコーダ内で生じる要素と同じであるため、これらの要素を示すために、アポストロフィを用いて与えられる同じ参照符号が図4において使用される。具体的には、加算器42'、任意選択のインループフィルタ46'、および予測器44'は、図2のエンコーダにおけるのと同じ方法で、予測ループ内で接続される。再構築された、すなわち、加算器42'に印加された、逆量子化および再変換された予測残差信号は、符号化側の場合のように、エントロピーエンコーダ28bのエントロピー符号化を反転するエントロピーデコーダ56のシーケンス、その後に続いて、逆量子化器38'および逆変換器40'からなる残差信号再構築段階36'によって導出される。デコーダの出力は、ピクチャ10の再構築である。ピクチャ10の再構築は、加算器42'の出力において、あるいは、インループフィルタ46'の出力において、直接的に利用可能であり得る。いくつかのポストフィルタは、ピクチャ品質を改善するために、ピクチャ10の再構築にいくつかのポストフィルタリングを受けさせるために、デコーダの出力において配列され得るが、この選択肢は、図4に示されていない。
この場合も、図4に関して、図2に関して上記で提示された説明は、単に、エンコーダがコーディング選択肢に関して最適化タスクおよび関連付けられる決定を行うことを除いて、図4に対しても同様に有効である。しかしながら、ブロックの細分割、予測、逆量子化、および再変換に関するすべての説明は、図4のデコーダ54に対してもやはり有効である。
［例］
上記および下記のいくつかの例では、エンコーダおよび/またはデコーダは、(任意選択で予測補正の後に加えられるクリッピングを除き)対応する再構築値(24')がP個の近傍サンプル(テンプレート)に完全に線形に依存するように、対応する再構築値を取得するために対応する残差値によってQ個の予測値の集合の各々を補正することによって所定のブロック(18)を再構築するためでありうる。
場合によっては、使用され得る様々なサイズを含む「ブロックサイズの集合」を参照することが可能である。たとえば、サイズMxNは、N≠N1である場合、MxN1のMxNとは異なるサイズである。いくつかのモードは、(ブロックサイズの集合のブロックサイズのうちの1つである)特定のブロックサイズのみを対象とする。
さらに、従来型モードを含む「従来型モードの第1の集合121」について言及する。また、ALWIPモードを含む「ALWIPモードの第2の集合122」について言及する(ALWIPの例は以下で提供される)。
本明細書は、とりわけ、HEVCまたはHEVCの何らかの後継技術など、ビデオコーデックにおいて使用可能な、ブロック単位のピクチャコーディングについての改善されたイントラ予測モード概念に関する。
イントラ予測モードは、ピクチャコーディングおよびビデオコーディングにおいて広く使用されている。ビデオコーディングにおいて、イントラ予測モードは、動き補償予測モードなどのインター予測モードなど、他の予測モードと競い合う。イントラ予測モードにおいて、現在ブロックは、近傍サンプル、すなわち、エンコーダ側に関する限りすでに符号化されており、デコーダ側に関する限りすでに復号されている、サンプルに基づいて予測される。近傍サンプル値は、現在ブロックについての予測信号を形成するために現在ブロックに外挿され、予測残差は現在ブロックについてのデータストリーム内で伝送される。予測信号が良好であればあるほど、予測残差はより低くなり、したがって、予測残差をコーディングするために必要なビットはより少なくなる。
効果的にするためには、ブロック単位のピクチャコーディング環境におけるイントラ予測についての効果的なフレームワークを形成するために、いくつかの態様が考慮に入れられるべきである。たとえば、選択をデコーダにシグナリングするために、コーデックがサポートするイントラ予測モードの数が多ければ多いほど、サイド情報レート消費(side information rate consumption)も高くなる。他方で、サポートされるイントラ予測モードの集合は、良好な予測信号、すなわち、低い予測残差を生じさせる予測信号を提供することが可能であるべきである。
本明細書は、とりわけ、改善されたイントラ予測モードの概念を用いるならばブロック単位のピクチャコーデックのより効果的な圧縮を可能にするイントラ予測モードの概念を提供することを意図する。
この目的は、本出願の独立請求項の主題によって達成される。
データストリーム(たとえば、12、80)からピクチャ(たとえば、10)をブロック単位で復号する(または、符号化する)ための装置および方法が開示され、装置および方法は、現在ブロックの近傍サンプルの第1のテンプレートを、結局のところアフィン線形加重イントラ予測器(ALWIP:Affine Linear Weighted Intra Predictor)と称されるアフィン線形予測器に適用することによって、ピクチャの所定のサイズのブロックについてのイントラ予測信号がそれに従って決定される少なくとも1つのイントラ予測モードをサポートする。
この装置および方法は、以下で論じる特性のうちの少なくとも1つを有し得る。
［他の予測を相補する予測器の例］
本装置および本方法によってサポートされるイントラ予測モードは、いくつかの例では、コーデックの他のイントラ予測モードを相補し得る。これらは、HEVCコーデックresp.JEM基準ソフトウェアにおいて定義される、DC予測モード、Planar予測モード、または角度予測モードを相補し得る。後者の3つのタイプのイントラ予測モードは、ここで、「従来型イントラ予測モード」と呼ぶものとする。したがって、イントラモードの所定のブロックについて、装置または方法によってサポートされるるイントラ予測モードのうちの1つが使用されることになるか否かを示すフラグ(たとえば、後で「81」で示されるフィールドの中に符号化される)がデコーダによってパースされ得る。
［提案される2つ以上の予測モード］
装置および方法は、たとえば、記憶ユニット内に記憶された、2つ以上のALWIPモードを含み得る(または、場合によっては、これらはオンザフライで取得され得る)。したがって、デコーダが、エンコーダ装置によってサポートされるALWIPモードのうちの1つが使用されることを知っている場合、デコーダは、方法の装置によってサポートされるALWIPモードのうちのどれが使用されることになるかを示し得る追加の情報(たとえば、後で「82」で示されるフィールドの中に符号化される)をパースし得る。
サポートされるモードの信号(signalization)は、いくつかのALWIPモードのコーディングは他のALWIPモードよりも少数のビンを必要とし得るという特性を有し得る。これらのモードのうちのどれがより少数のビンを必要とし、どのモードがより多数のビンを必要とするかは、いずれも、すでに復号されたビットストリーム12(または、80)から抽出され得る情報に依存し得るか、または事前に定められ得る。
［ダウンサンプリング/アップサンプリングを用いて異なるブロックサイズ間で予測器を共有する］
ここで論じるいくつかの例は、具体的には、図13の例を考慮に入れることによって例示され得る(以下の議論も参照されたい)。
場合によっては、エンコーダまたはデコーダは、たとえば、ダウンサンプリングおよび/またはアップサンプリングによって、異なるブロックサイズの予測器間で変換を行い得る。これは、ALWIPモードが特定のサイズ(たとえば、MxN)に対して提供されるが、予測されることになるブロック(たとえば、18またはB1)がMxNとは異なる寸法M1xN1を有すると予測される(たとえば、MおよびNのうちの少なくとも1つは、M≠M1および/またはN≠N1のようになる)ときに生じ得る。以下、「第2のテンプレート1160」は、エンコーダまたはデコーダがALWIPモードを自由に使うことができないブロックサイズに関連付けられるイントラ予測を行うするために使用される、すでに予測された近傍サンプルの群(やはり17'a、17'b、17'cで示される、以下を参照されたい)を指すことがある。「第1のテンプレート1161」は、エンコーダまたはデコーダがALWIPモードを実際に自由に使うことができるブロックサイズに関連付けられる予測に必要とされる寸法をもつテンプレートを指すことがある。ここで、第2のテンプレート1160から第1のテンプレート1161に「ジャンプする」こと、のちに第1のテンプレート1161を用いて予測を行うこと、最後に、ブロック18(B1)を予測した後、元のブロックサイズに戻ることを許す例について論じる。
図13を参照すると、装置および方法は、ALWIPモードがデコーダ(または、エンコーダ)に提供される所定のサイズとは異なる現在ブロック18(B1)について、
リサンプルされたテンプレート(1136)を取得するために、第1のテンプレート(1161)に一致するように、現在ブロック(B1、18)の近傍サンプル(17'a、17'b、17'c)の第2のテンプレート(1160)をリサンプルし、
予備的イントラ予測を取得するために、リサンプルされたテンプレート(1161)をALWIP予測器(1138a)に適用し、
現在ブロック(18)についてのイントラ予測信号を取得するために、現在ブロックに一致するように、予備的イントラ予測信号をリサンプルする(1140)
ように構成され得る。
装置は、第1のテンプレート(1161)を取得するために、第2のテンプレート(1160)をダウンサンプリング(D)によってリサンプルするように構成され得る。
装置は、予備的イントラ予測信号をアップサンプリングすることによって、予備的イントラ予測信号をリサンプルするように構成され得る。装置は、予備的イントラ予測信号を空間領域から変換領域に変換し、変換領域内で予備的イントラ予測信号をリサンプルするように構成され得る。装置は、予備的イントラ予測信号の係数をスケーリングすることによって、変換領域の予備的イントラ予測信号をリサンプルするように構成され得る。
装置または方法は、いくつかの例では、
現在ブロックの寸法に一致するように、イントラ予測信号の寸法を増大させ、
予備的イントラ予測信号の追加係数の係数をゼロパディングし、追加係数は高周波数ビンに関連する、
ことによって変換領域の予備的イントラ予測信号をリサンプルする、
ように構成され得る。
装置は、予測残差信号の逆量子化バージョンで変換領域の予備的イントラ予測信号を作成するように構成され得る。装置は、空間領域内で予備的イントラ予測信号をリサンプルするように構成され得る。
装置は、バイリニア補間を行うことによって、予備的イントラ予測信号をリサンプルするように構成され得る。装置は、データフィールド内に、異なる寸法についてのリサンプリングおよび/またはアフィン線形予測の使用に関する情報を符号化するように構成され得る。
場合によっては、M1xN1ブロック18(B1)のために必要になるモードをモード1138aにマッピングする写像を使用することが可能である。
本例は、ALWIPモードについて説明されているが、従来型モードにのために、または他の種類のモードのために実装されてもよい。
［変換領域への予測］
以下の文(図12も参照されたい)から明らかになるように、空間領域内でおよび/または変換領域内でイントラ予測を行うことが可能である。以下、変換領域内のエンコーダ装置および/またはデコーダ装置によるいくつかの考慮事項が存在する。
データストリームからブロック単位でピクチャを復号するための装置であって、
現在ブロックの変換の変換係数の集合の予測を取得するために、現在ブロックの近傍サンプルの第1の集合をALWIPに適用することによって、
それに従ってピクチャの現在ブロックについてのイントラ予測信号が決定される、少なくとも1つのイントラ予測モードをサポートする
装置も開示される。
装置のうちの1つは、再構築された信号を取得するために、予測を逆変換するように構成され得る。装置のうちの1つは、可変長コードを使用して、データストリームからインデックスを復号し、そのインデックスを使用して選択を行うように構成され得る。装置のうちの1つは、イントラ予測モードの集合のランキングを決定し、その後、第2のテンプレートをリサンプルするように構成され得る。
方法であって、
リサンプルされたテンプレートを取得するために、第1のテンプレートに一致するように、現在ブロックの近傍サンプルの第2のテンプレートをリサンプルするステップと、
予備的イントラ予測信号を取得するために、サンプルのリサンプルされたテンプレートをALWIPに適用するステップと、
現在ブロックについてのイントラ予測信号を取得するために、現在ブロックに一致するように、予備的イントラ予測信号をリサンプルするステップと
を含む方法が開示される。
データストリームからブロック単位でピクチャを復号するための方法であって、
現在ブロックの変換の変換係数の集合の予測を取得するために、現在ブロックの近傍サンプルの第1の集合をALWIPに適用するステップ
を含む方法が開示される。
上記および/または下記の方法は、上記および/または下記のような少なくとも1つの装置を備える機器を用い得る。
提案される予測器が変換係数を予測する場合、予測されない変換係数はゼロになると推論され得る。どの変換係数が予測されることになるかは、入力ではなく(たとえば、近傍ブロックではなく)所与のモードにのみに依存し得る。加えて、所与の変換について、ある点から開始する予測信号のすべての高周波数成分がゼロに推論されると事前に定められてもよい。
例では、モードを、リサンプルが行われなければならない対象である他のモードにマッピングする写像が定義され得る。
上記の例は、主にALWIPモードに関して論じられているが、これらの例は、従来型モードおよび他の種類のモードに一般化されてもよい。
［変換領域からの予測］
本出願のいくつかの予測モードは、自然画像に対してエネルギー圧縮特性を有する変換(たとえば、離散コサイン変換(DCT)またはウェーブレット変換)をまず適用し、生じる変換係数のうちのいくつかのみを、装置がサポートするアフィン線形予測に対する入力として使用するように構成され得る。使用されることになる係数は、事前に定められてもよく(たとえば、低周波数係数のみ)または変換信号自体から導出されてもよい(たとえば、最大振幅を有する周波数係数のみ)。
どの周波数係数が使用されることになるかが事前に定められている場合、部分変換のみ、たとえば、低周波数係数のみを計算する離散コサイン変換または所与のウェーブレット変換に対応するローパスフィルタの1つまたは複数の段階が、入力信号に適用され得る。
［提案される予測モードの転置］
ここで論じる例については、図11aおよび図11bを特に参照しながら、後で詳細に説明する。
N個の行およびM個の列の与えられたブロック18の場合、そのブロック、およびM個の行およびN個の列の与えられたブロックに対してALWIPモードが装置によってすでにサポートされている場合、装置は、以下により、M個の行およびN個の列のブロックに対する新しい予測モードをサポートするように構成され得る。第1に、M個の行およびN個の列のブロックについての、近傍のすでに再構築されたサンプルからなるテンプレートを、N個の行およびM個の列のブロックに対するアフィン線形イントラ予測のための入力として機能するテンプレートへとマッピングする。第2に、ALWIPモードをN個の行およびM個の列のブロックに適用する。第3に、後者の予測の結果を転置し、それがM個の行およびN個の列のブロックに対する予測信号になるようにする。なお、MおよびNは等しいことがある。
ここで、第1のステップをさらに説明するために、たとえば、M個の行およびN個の列のブロックについての、近傍のすでに再構築されたサンプルからなるテンプレートが、ブロックの上のk個の行およびブロックの左のl個の列からなるならば、かつN個の行およびM個の列を含むブロックに対するアフィン線形予測のための入力として機能するテンプレートが、ブロックの上のl個の行およびブロックの左のk個の列からなるならば、M個の行およびN個の列のブロックの上の第pの行は、N個の行およびM個の列のブロックの左の第pの列へとマッピングされえ、M個の行およびN個の列のブロックの左の第qの列は、N個の行およびM個の列のブロックの上の第qの行にマッピングされうる。
たとえば、MxNブロックに適用可能になるモードからNxMブロックに適用可能な関連付けられるモードへのマッピング演算を行う可能性がある。
上記の例は、主にALWIPモードを指すが、これらは、従来型モードおよび/または他のモードに対しても有効であり得る。
［モードインデックス間のマッピング］
与えられたブロック形状に対して、かつ提案される装置および方法の部分であるそのブロック形状についてのALWIPイントラ予測に対して、各ALWIPモードを基礎となるコーデック内に存在する従来型イントラ予測モード(DC、Planar、またはAngular)にマッピングする(例では、逆も同様である)写像が存在し得る。
このマッピングは、基礎となるコーデック内に存在する従来型イントラ予測モードの信号(signalization)方式において使用され得る。すなわち、デコーダにおいて、従来型イントラ予測モード間でランキングをつけるリストが生成されるならば、かつこのリストがそれらの信号(signalization)において使用され、かつ後者のリストの生成が、周囲のすでに再構成されたブロックの従来型イントラ予測モードを使用して、定められた規則によって実現されるならば、この規則は、まずこれらのモードの各々にマッピングを適用し、次いで、リストを生成する際にそれらを従来型イントラ予測モードとして扱うことによって、基礎となる装置内において提案されるALWIPモードのうちの1つを使用する、周囲のすでに再構築されたブロックをやはり含むように拡張される。
その上、このマッピングは、加えて、以下のように使用され得る。ルマ予測信号が、そのブロック形状についてのALWIPモードのうちの1つを使用して生成される場合、クロマ予測信号は、写像を介して、ALWIPに対応する従来型イントラ予測モードを使用することによって取得され得る。
提案される装置の部分である与えられたブロック形状およびそのブロック形状に対する与えられたALWIPモードについて、基礎となるコーデック内に存在する従来型イントラ予測モードの各々を、提案される装置の部分であるそのブロック形状についてのALWIPモードへとマッピングする写像が存在し得る。
提案される装置の部分である与えられた第1のブロック形状および第1のブロック形状に対する与えられたALWIPイントラ予測モードについて、ならびに、提案される装置の部分である与えられた第2のブロック形状および第2のブロック形状に対する与えられたALWIPイントラ予測モードについて、第1のブロック形状についての各ALWIPモードを、第2のブロック形状についてのALWIPへとマッピングする写像が存在し得る。
このマッピングは、最初に、この項の上記の段落で説明したマッピングを適用し、次いで、この項の第2の段落のマッピングを結果に適用すること(または、その逆)によって実現され得る。説明したばかりの最後の2つのマッピングは両方とも、従来型イントラ予測モードまたはALWIPモードのいずれかであってよい、近傍ブロックのイントラ予測モードを使用して所定のブロックに対するすべての利用可能なALWIPモードのランキングを生成するために使用され得る。まず、与えられたブロックの形状に対応するALWIPモードの集合を与える近傍のイントラ予測モードの各々にマッピングを適用する。次いで、予め定義された規則によって、すべての可能なALWIPモードをランク付けし、周囲のブロックに対応する集合内で生じるALWIPモードは、他のALWIPモードとは異なるようにランク付けされ得る。
後者のランク付けは、そのランク付けに対応する異なる数のビンを用いてALWIPモードをコーディングすることによって、ALWIPモードの信号(signalization)の際に使用され得る。
［ALWIP変換に関する例の態様の説明］
図2は、データストリーム12からピクチャを復号するためのデコーダ54を示す。デコーダ54は、ピクチャの所定のブロック18を復号するように構成され得る。具体的には、予測器44は、所定のブロック18の近傍のP個の近傍サンプルの集合を、線形またはアフィン線形変換[たとえば、ALWIP]を使用して、所定のブロックのサンプルについてのQ個の予測値の集合へとマッピングするように構成され得る。
図5に示すように、所定のブロック18は、予測されることになるQ個の値(演算の終わりに「予測値」になる)を含む。ブロック18がM個の行およびN個の列を有する場合、予測されることになる値はQ=M*N個の値になる。ブロック18のQ個の値は、空間領域(たとえば、画素)にあってもよく、または変換領域(たとえば、DCT、など)にあってもよい。ブロック18のQ個の値は、ブロック18に隣接する近傍ブロック17a〜17cからとられるP個の値に基づいて予測され得る。近傍ブロック17a〜17cのP個の値は、ブロック18に最も近い位置であり得る(たとえば、隣接し得る)。近傍ブロック17a〜17cのP個の値は、すでに処理され予測されている。P個の値は、それらがその部分を成しているブロックと区別されるよう、(いわゆる「テンプレート」を形成する)部分17'a〜17'cにおける値として示される(いくつかの例では、17'bは使用されない)。
図6に示すように、予測を行うために、P個の成分(各成分は、近傍部分17'a〜17'c内の特定の位置である)をもつ第1のベクトル17P、Q個の成分(各成分は、ブロック18内の特定の位置である)をもつ第2のベクトル18Q、および写像行列17M(各行は、ブロック18内の特定の位置に関連付けられ、各列は、近傍部分17'a〜17'c内の特定の位置に関連付けられる)を用いて演算し得る。写像行列17Mは、したがって、所定のモードに従って、近傍部分17'a〜17'c(テンプレート)のP個の値の、ブロック18の値への予測を行う。写像行列17Mの成分は、したがって、重み係数である。(従来型モードまたはALWIPモードに関連づけられ得る)行列17Mは、予め定義され、デコーダおよび/またはエンコーダの記憶ユニット(たとえば、レジスタ、メモリ、など)の中に記憶され得るか、またはオンザフライで取得され得る。行列17Mは(また、関連付けられるモードも)、概して、特定のサイズに関連付けられる。たとえば、サイズMxNは、概して、(M≠M1および/またはN≠N1であるとき)M1xN1ではなく、サイズMxNに関連付けられるサイズは、概して、サイズM1xN1に関連付けられるモードとは異なり、サイズMxNに関連付けられるモードに対する行列17Mは、概して、サイズM1xN1に関連付けられるモードに対する行列17Mとは異なる。サイズMxNに関連付けられるモードの場合、行列17Mは、Q個の行を有することになり、ここで、Q=M*Nである。サイズM1xN1に関連付けられるモードの場合、行列17Mは、Q1個の行を有することになり、ここで、Q1=M1 *N1である。
当技術分野において、DCモード、planarモード、および65個の方向性予測モードなど、いくつかの既知の従来型モードが存在する。たとえば、既知の67個のモードが存在し得る。従来型モードに関する議論については、以下を参照されたい。
しかしながら、(従来型モードのほか)異なるモードを使用することも可能であることがわかった。ここで提示される異なる追加的なモードは、ここで、線形またはアフィン線形変換と称される。(行列17Mに関連付けられる)線形またはアフィン線形変換は、P*Q個の重み係数を含み、そのうち少なくとも1/4P*Q個の重み係数は非ゼロ重み値であり、Q個の予測値の各々について、それぞれの予測値に関連するP個の重み係数の系列を構成する。系列は、所定のブロック18のサンプルの間のラスタ走査順序に従って順次一つずつ下へ配置されているとき、全方向に非線形であるエンベロープを形成する。
図7は、近傍の値17'a〜17'c(テンプレート)のP個の位置、ブロック17'a〜17'cのQ個の位置、および行列17MのP*Q個の重み係数の値をマッピングする図表70の一例を示す。平面72は、DC変換についての系列のエンベロープである(DC変換についての平面である)。このエンベロープは、明らかに平面であり、したがって、線形またはアフィン線形変換(ALWIP)の定義によって除外される。planarモードおよび65個の方向性予測モードは、異なるエンベロープを有することになるが、これらは全方向に線形になる。対照的に、線形またはアフィン変換のエンベロープは、全方向に線形とはならない。そのような種類の変換は、状況によっては、ブロック18についての予測を行うには最適であり得ることが理解されている。重み係数のうち少なくとも1/4はゼロとは異なる(すなわち、P*Q個の重み係数のうち少なくとも25%は0とは異なる)ことが好ましいことがわかった。重み係数は、任意の正規の写像規則に従って互いとは無関係であり得る。したがって、行列17Mは、その成分の値が明らかな認識可能な関係を有さないようなものであってよい。
例では、ALWIP変換は、それぞれの予測値に関連する重み係数の第1の系列と、それぞれの予測値以外の予測値に関連する重み係数の第2の系列または後者の系列の反転バージョンのうちのより高い最大値を生じさせる方との間の相互相関の最大平均が、所定のしきい値よりも低いようなもの(たとえば、0.2もしくは0.3または0.35あるいは0.1、たとえば、0.05から0.035の間の範囲内のしきい値)である。
ブロック17a〜17cのP個の近傍サンプル(17'a〜17'c)は、所定のブロック18の境界(たとえば、18c、18a)に沿って延びる一次元経路に沿って配置され得る。所定のブロック18のQ個の予測値の各々について、それぞれの予測値に関連するP個の重み係数の系列は、所定の方向で一次元経路をトラバースするように(たとえば、左から右へ、上から下へ、など)順序付けられてもよい。
例では、ALWIP行列17Mは、非対角または非ブロック対角(non-block diagonal)でありうる。
4個のすでに予測された近傍サンプルから4x4ブロック18を予測するためのALWIP行列17Mの一例は、以下のとおりであり得る:
{
{37、59、77、28}、{32、92、85、25}、{31、69、100、24}、{33、36、106、29}、
{24、49、104、48}、{24、21、94、59}、{29、0、80、72}、{35、2、66、84}、
{32、13、35、99}、{39、11、34、103}、{45、21、34、106}、{51、24、40、105}、
{50、28、43、101}、{56、32、49、101}、{61、31、53、102}、{61、32、54、100}
}。
(ここで、{37、59、77、28}は、第1の行であり、{32、92、85、25}は、第2の行であり、{61、32、54、100}は、行列17Mの第16の行である。)行列17Mは、寸法16x4を有し、(16*4=64の結果として)64個の重み係数を含む。これは、行列17Mが寸法QxPを有するからであり、ここで、Q=M*Nであり、これは、予測されることになるブロック18のサンプル数であり(ブロック18は、4x4ブロックである)、Pは、すでに予測されたサンプルのサンプル数である(たとえば、17'a〜17'c)。ここで、M=4、N=4、(M*N=4*4=16の結果として)Q=16、P=4である。行列は、非対角および非ブロック対角であり、特定の規則によって記述されない。
分かるように、重み係数の1/4未満が0である(この場合、64個のうちの1個の重み係数がゼロである)。これらの値によって形成されるエンベロープは、ラスタ走査順序に従って順次一つずつ下へ配置されているとき、全方向に非線形であるエンベロープを形成する。
上記の説明はデコーダに関するが、同じことがエンコーダ(たとえば、エンコーダ14)において行われ得る。
いくつかの例では、(ブロックサイズの集合内の)各ブロックサイズについて、それぞれのブロックサイズに対するイントラ予測モードの第2の集合122内のイントラ予測モードのALWIP変換は、互いに異なる。追加または代替として、ブロックサイズの集合内のブロックサイズに対するイントラ予測モードの第2の集合122の濃度が一致し得るが、異なるブロックサイズに対するイントラ予測モードの第2の集合内のイントラ予測モードの関連付けられる線形またはアフィン線形変換は、スケーリングによって互いに対して転換可能でないことがある。
いくつかの例では、ALWIP変換は、それらの変換が従来型の変換と「共有するものを何も」有さないように定義され得る(たとえば、ALWIP変換は上記のマッピングのうちの1つによってマッピングされているが、ALWIP変換は、対応する従来型の変換と共有するものを「何も」有さなくてよい)。
例では、ALWIPモードはルマ成分に対して使用されるが、ALWIPモードは、クロマ成分に対して回避され得る。
これ以降、
複数の方向性予測モードとDCモードおよびplanarモードのうちの少なくとも1つとを含む従来型イントラ予測モードの第1の集合121(集合は、たとえば、67個のモードを有し得る);および
イントラ予測モードの第2の集合122(たとえば、上記で論じた、線形またはアフィン予測モード(ALWIP))
について主に言及する。
［シグナリング、マッピング］
ここで、たとえば、単項可変長コードまたは別の可変長コードを使用して、選定されることになる予測モードを符号化しシグナリングするビットストリーム(たとえば、12、80)のサイズをどのように低減するかについて説明する。
この選定は、ビットストリーム内で、タイプ「000…1」の(単項であり得る)可変長コードを符号化するエンコーダによって行われてよく、ここで、「1」は、「0」のシーケンスの後に位置する。(より一般的に、必ずしも単項ではないにしても、より頻度が高いイントラ予測モードにより安価なコードが与えられる。)最短フィールドは、したがって、「1」(第1の予測モードを示す)であってよく、第2の最短フィールドは、「01」(第2の予測モードを示す)であってよい、などである(第66の位置内の66個の「0」および1個の「1」を含むストリングは、たとえば、67個の予測モードの最後の予測モードを示し得る)。このコードは、予測されることになる多数のブロックの各々のブロックに対してシグナリングされ得るため、数十の「0」を有するフィールドを回避すると同時に、フィールドが各ブロックに対して短いこと(すなわち、使用されることになるモードが「1」、「01」、「001」、など短いストリングによって示されること)が概して好ましい。したがって、モード間のランキングに基づく戦略が開発されてきた。そのような戦略によれば、コードの長さは、リスト内の特定の予測モードを指すインデックスを認識するために、イントラ予測モードのリスト内のイントラ予測モードのランクに単調に依存する。リストは、最確モードのリストと理解することができ、リストはエンコーダによってデコーダに直接的にシグナリングされないが、エンコーダおよびデコーダに共通の規則によって解釈され得る。
図8は、画像(たとえば、図1〜図4の10)を符号化するデータ(ビデオ)ストリーム80(たとえば、12)を示す。データストリーム80の部分は、復号されることになる所定のブロック18を指すことがある。
データストリーム80は、ブロック18をイントラ予測モードの第1の集合121または第2の集合122に割り当てるための第1の信号(signalization)81を含み得る。信号81は、いくつかの例では、1つの単一ビットを必要とし得る。
データストリーム80内の第2の信号(signalization)82(可変長コード)は、上記で論じたように、タイプ「000…1」の単項可変長コード、またはより安価なコード(たとえば、より少数のビットを必要とするコード)をより頻度が高いイントラ予測モードに割り当てることができる別の可変長コードを含み得る。
デコーダ54が第1の信号81を読み取るとき、デコーダ54は、ブロック18が第1の集合のイントラ予測モードまたは第2の集合のイントラ予測モードのいずれかで予測されることになること(すなわち、フラグ81を通して、ブロック18が、従来型モードの第1の集合121またはALWIPモードの第2の集合122のいずれかに割り当てられること)を理解する。
その場合、いくつかの例では、デコーダ54は、(たとえば、近傍ブロック17a〜17cに対して前に使用された)イントラ予測モードに従って、(第1の信号81内で示される)予測モードの割り当てられた集合をソートし得る。したがって、イントラ予測モードのリスト90(「最確モードのリスト」)が取得され得る。リスト90は、デコーダ54およびエンコーダ14内のレジスタ内に記憶され得る。リスト90は、したがって、ここで、第1の位置91、第2の位置92、第3の位置93、第4の位置94、および第5の位置95で示される、特定の順序を提供し得る。たとえば、割り当てられた集合のすべてのモードを網羅するために、当然、他の位置が提供されてよい。しかしながら、いくつかの例では、リスト90は、集合内のモード(従来型モードまたはALWIPモードのいずれか)の数ほど多くの位置を有する必要はなく、より少なくてよい。例では、リスト90は、10未満の位置、たとえば、3から7の間の位置数、たとえば、5を有してよい。リスト90内で、第1の位置91は、ここで、予測モード「23」によって利用され、第2の位置92は、予測モード「15」によって利用される、などである(モードのナンバリングは、たとえば、ルックアップテーブル(LUT)内に記憶されてよい)。
例では、特定の位置に対する割当ては、データストリーム80(12)内でシグナリングされず、ブロック17a〜17cに対して前に行われれた予測に基づいてデコーダによって決定されてよいことに留意されたい。いくつかの例では、前の最も使用されたイントラ予測モード(または、いずれの場合も、統計的により頻度が高いイントラ予測モード)が、リスト90内で最高位を得ることができる(最高位は、最高ランクの位置と理解され得る)。この場合、モード「23」は、前に最も使用された予測モードであり、したがって、第1の位置91が与えられる。エンコーダにおいて同じソーティングが実行されることにやはり留意されたい。エンコーダは、(最も使用された予測モードに関する同じ履歴データに基づいて)リスト90の複製を取得することになる。したがって、エンコーダおよびデコーダは、データストリーム80内でそのリストをシグナリングする必要すらなしに、同じリストを共有する。他の技術が可能である。
データストリーム80(たとえば、12)内の最短(より安価な)コード(たとえば、「1」、「01」、「001」…)をリスト90内で最高位(91、92、93…)に割り当てることによって、データストリーム80のサイズは低減され得ることを理解されたい。この結論は、最も使用された予測モード(たとえば、「23」、「15」、「18」…)がやはり現在ブロック18に対する最確予測モードであるという考慮事項に基づいて可能である。(代替では、それは、リスト90内で最高位(最高ランク)を与えられた最も統計的に確かなモードである。)したがって、短いコードを最確予測モードに割り当てることによって、データストリーム80のサイズの低減が取得される。
第2の信号82は、必ずしも単項コードとして符号化されないことに留意されたい。たとえば、トランケートされた(truncated)バイナリコードが使用され得る。トランケートされたバイナリコードの一例が、以下の表で提供される:
Figure 2022500916
インデックス0は、(次に最確モードに関連付けられる)最高インデックス91に関連付けられ、インデックス1は、(次に第2の最確モードに関連付けられる)第2の最高インデックスに関連付けられ、インデックス10は、(次に第3の最確モードに関連付けられる)第3の最高インデックスに関連付けられる、などである。分かるように、第3の最確モードは、第1および第2の最確モードに関連付けられるインデックスよりも安価ではないインデックスに関連付けられる(第3の最確モードに対するインデックス10は、ビットストリーム80内に2個のビットを必要とするが、第1および第2の最確モードに対するインデックス0および1は、符号化のために各々1個のビットのみを必要とする)。
第2の信号82は、したがって、特定の位置を指す符号化インデックスを含み得る。たとえば、第2の信号82が「1」を含む場合、第1の位置91を指すことになり、したがって、モード「23」が使用されることになることを示す。(低減された確率で)第2の信号82が「01」を含む場合、第2の位置92を指すことになり、したがって、モード「15」が使用されることになることを示す、などである。
したがって、インデックスが指すイントラ予測モードを使用して、エンコーダおよびデコーダに対して、使用されることになる所定のブロック18を予測することが可能である。
場合によっては、いくつかの問題が生じることがある。一例は、所定のブロック18が従来型モードを使用して予測される(すなわち、第1の信号81が、従来型モードが使用されることを示す)が、近傍ブロック17a〜17cのうちの1つが、前にALWIPモードを使用して予測されているときである。これは、リスト90のインデックス91〜95のうちの1つが、(第1の信号81は従来型モードを必要とするため)使用され得ないALWIPモードを示すであろうことを暗示することになる。したがって、無用な指示がリスト90内に存在することになる。
しかしながら、いくつかのALWIPモードを従来型モードにマッピングすることが可能であることを理解されたい。したがって、特定のALWIPモードALWIP1が使用されている場合、マッピングは、特定の従来型モードCONV1を導出することを許すことになる(マッピングによるALWIP1のマッピング)。したがって、前のブロック17a、17b、または17cに対してALWIPモードが使用される場合、その後、インデックス91〜95のうちの1つは、前に使用されたALWIPモードに関連付けられる、マッピングされた従来型モードを示すことになる。したがって、リスト90のインデックス91〜95は無駄にされず、使用不可能なモードを示すことになる。マッピングは、予め定義され、エンコーダとデコーダの両方によって知られてよい。
従来型モードをALWIPモードにマッピングすることによって同じことが当てはまることがある。しかしながら、いくつかの例では、最確モードのリスト90が特定の集合(たとえば、従来型モードの第1の集合121)に対してのみ使用され、そのようなリストは他の集合に対して使用されない(または、最確モードのリストは、予め定義され、固定されうる)ことに留意されたい。これは、そのような例において、いくつかの写像を不要にする(たとえば、場合によっては、最確ALWIPモードのリストは、事前に仮定された確率に基づいて予め定義されてよく、オンザフライで変更されることは決してなく、したがって、これらの場合、写像は与えられない)。
写像は、ブロックサイズを参照することもあり、異なる写像が異なるサイズに対して使用され得る。したがって、異なるサイズに対して複数の写像が記憶され得る(すなわち、MxNサイズに対する写像は、M1xN1サイズに対する写像とは異なり得る)。
第1のサイズから第2のサイズへの写像を定義することが可能である。これは、たとえば、近傍の、前に予測されたブロック17a、17b、または17cが、予測されることになるブロック18とは異なるサイズを有するときであり得る。
ALWIPモードをマッピングするが、異なるサイズに関連付けられることも可能であり得る。
ここで、マッピングに関する検討について記載する。
割り当てられた集合がイントラ予測モード(ALWIP)の第2の集合122である場合、たとえば、割り当てられた集合をソートする際、予測モードの第1の集合の各イントラ予測モードをイントラ予測モードの第2の集合内の代表的な1個のイントラ予測モードにマッピングする第1の写像が使用され得る。割り当てられた集合がイントラ予測モードの第2の集合である場合、割り当てられた集合をソートする際、予測モードの第2の集合の各イントラ予測モードをイントラ予測モードの第1の集合内の代表的な1個のイントラ予測モードにマッピングする第2の写像が使用されることになる。
以下、次のマッピングのうちの少なくとも1つが使用され得る:
第1の写像(101a、図10a'):ALWIPから従来型へ(同じサイズ);
第2の写像(図10a'の102a、図10bの102b):従来型からALWIPへ(同じサイズ);
第3の写像(103、図10c):ALWIPから従来型へ(従来型モードを通して予測された近傍ブロックのサイズからALWIPモードを通して予測されることになるブロック18の異なるサイズへ);
第4の写像(104、図10d):従来型からALWIPへ(ALWIPモードを通して予測された近傍ブロックのサイズから従来型モードを通して予測されることになるブロック18の異なるサイズへ);
第5の写像(105、図10a'''):ALWIPからALWIPへ(異なるサイズ);
一般化された第5の写像(106、図10e):1つのサイズからもう1つのサイズへ(一般的な例)。
より詳細な検討について、ここに記載する。図10aは、図10a'、図10a''、図10a'''に細分割される。
図10a'は、異なる従来型モード(CONV1、CONV2、CONV3)が異なるマッピングを通して異なるALWIPモード(ALWIP1、ALWIP2、ALWIP3)へマッピングされる第1の写像101aの例を示す。例では、異なる従来型モードおよび異なるALWIPモードは、同じサイズを有する。ALWIPに対して、リスト90がオンザフライで更新されない(しかしながら、予め定義された確率に基づいてインデックスが与えられる)例では、このマッピングは使用されない。
図10a"は、第2の集合122の異なるALWIPモード(ALWIP1、ALWIP2、ALWIP3)が第1の集合121の異なる従来型モード(CONV1、CONV2、CONV3)へマッピングされる第2の写像102aの一例を示す。例では、異なる従来型モードおよび異なるALWIPモードは、同じサイズを有する。この第2の写像は、最確モードのリスト90が少なくとも従来型モードに対してオンザフライで更新されるときに使用され得る(したがって、リスト90は「最確従来型モードのリスト90」と呼ばれることがある)。したがって、前のブロック17a、17b、または17cがALWIP2を使用して予測されている場合、リスト90は、そのインデックスのうちの1つの中の従来型モードCONV1を示すことになる(すなわち、ALWIP1がすでに使用されていることにより、かつ第2の写像102aがALWIP2をCONV1にマッピングすることにより、CONV1がまだ使用されていない場合ですら、CONV1は、最確従来型モードのうちの1つになる)。
図10cは、第1の集合121(サイズ152)の従来型モードが第2の集合122(サイズ151)のALWIPモードにマッピングされる第3の写像103の一例を示す。ALWIPに対して、リスト90がオンザフライで更新されない(しかしながら、予め定義された確率に基づいて、インデックスが提供される)例では、このマッピングは使用されない。
図10dは、第2の集合122(サイズ151)のALWIPモードが第1の集合121(サイズ152)の従来型モードにマッピングされる第4の写像104の一例を示す。ALWIPモードに対して、リスト90がオンザフライで更新されない(しかしながら、予め定義された確率に基づいて、インデックスが提供される)例では、この第4の写像104は使用されない。
図10a'''は、同じサイズ(サイズ1または151)の異なるALWIPモード(ALWIP11、ALWIP12、ALWIP13)が異なるマッピング(1051、105n)を通して異なるサイズの異なるALWIPモード(ALWIP11'、ALWIP12'、ALWIP13')にマッピングされる第5の写像105の一例を示す。同じサイズ(サイズnまたは15n)の他のALWIPモード(ALWIPn1、ALWIPn2、ALWIPn3)が異なるサイズの異なるALWIPモード(ALWIPn1'、ALWIPn2'、ALWIPn3')にマッピングされ得る。したがって、任意のALWIPモードを異なる他のALWIPモードにマッピングする可能性が生じる。
図10eは、第5の写像105よりも一般的な例である写像106を示す。ここで、サイズ151に対して使用される異なるモードは、異なるサイズ152に対するモードにマッピングされる。このマッピングは、ALWIPモードのみをALWIPモードにマッピングするのではなく、従来型モードを従来型モードに、従来型モードをALWIPモードに、またALWIPモードを従来型モードにやはりマッピングする。
第2の写像102aの特定のケースについて、ここで、図10bの第2の写像102bを参照して論じる。いくつかの例では、(サイズの集合内の)同じサイズの複数の(または、すべての)ALWIPモードが、1個の単一の従来型モードにマッピングされ得る。ここでは従来型モード131の第1の集合121が示されている。ここで、従来型モードの第1の集合121に対して、1個のモード131のみを表し、これらのモードの各々は、特定のサイズに関連付けられている(たとえば、CONV11は、サイズ1に対する1個の特定の従来型モード131であり、CONV21は、サイズ2に対する1個の特定の従来型モード131であり、CONV1は、サイズnに対する1個の特定の従来型モード131である、など)。第1の集合121は、ここで示さない他の従来型モード131を含んでよい。しかしながら、ここで示す従来型モード131(CONV11、CONV12、CONV13)は、たとえば、同じタイプ(たとえば、すべてのplanarモード)のものであってよい。ALWIPモードの第2の集合122がやはり示されている。第2の集合122は、各サイズ(たとえば、サイズ1、サイズ2、…、サイズn)に対して、複数のモード(サイズ1:ALWIP11、ALWIP12、ALWIP13;サイズ2:ALWIP21、ALWIP22、ALWIP23;サイズn:ALWIPn1、ALWIPn2、ALWIPn3)を含む。第2の写像102bが定義され得る。たとえば、同じサイズ(サイズ1)の複数の(または、すべての)ALWIPモード(すなわち、ALWIP11、ALWIP12、ALWIP13)が(ALWIP11、ALWIP12、ALWIP13の同じサイズを有し得る)が同じ従来型モードCONV11にマッピングされ得る。したがって、第1の集合121内に同じサイズ(サイズ1)を有する他の従来型モード131(図示せず)が存在するが、複数の(または、すべての)ALWIPモードは、同じ従来型モードconv11にマッピングされる。同じことが、すべて同じ従来型モードCONV21にマッピングされる、サイズ2のALWIPモード(ALWIP21、ALWIP22、ALWIP23)に適用され得る。同じことが、すべて同じ従来型モードconvn1にマッピングされる、サイズnのALWIP(ALWIPn1、ALWIPn2、ALWIPn3)に適用され得る。いくつかの例では、複数のALWIPモードがマッピングされる従来型マッピングCONV11、CONV21、CONV2は、すべてplanarモードであってよい。したがって、複数の異なるALWIPモードが1個の単一の従来型モードにマッピングされ得る。(特定の例では、異なるALWIPモードが複数の従来型モードにマッピングされ得る。)
いくつかの例では、以下の技術のうちの少なくとも1つが実装され得る:
近傍ブロック(17a〜17c)のうちの1つが、ブロックサイズの集合内の所定のブロック(18)と同じブロックサイズのものであるが、イントラ予測モードの第1および第2の集合(121、122)のうちの異なる1つの集合に割り当てられる場合、第1または第2の写像(101a、101b、102b)を使用する、
近傍ブロック(17a〜17c)のうちの1つがブロックサイズの集合内の所定のブロック(18)とは異なるブロックサイズのものである場合、
所定のブロック(18)に対して割り当てられた集合が所定のブロックのブロックサイズに対する第2の集合(122)であり、1つの近傍ブロック(17a〜17c)に対して割り当てられた集合が1つの近傍ブロックのブロックサイズに対する第1の集合(121)である場合、1つの近傍ブロックのブロックサイズに対する予測モードの第1の集合(121)の各イントラ予測モードを所定のブロックのブロックサイズに対するイントラ予測モードの第2の集合(122)内の代表的な1個のイントラ予測モードにマッピングする第3の写像(103)を使用する、および/または、
所定のブロック(18)に対して割り当てられた集合が所定のブロックのブロックサイズに対する第1の集合(121)であり、1つの近傍ブロック(17a〜17c)に対して割り当てられた集合が1つの近傍ブロックのブロックサイズに対する第2の集合(122)である場合、1つの近傍ブロックのブロックサイズに対する予測モードの第2の集合(122)の各イントラ予測モードを所定のブロックのブロックサイズに対するイントラ予測モードの第1の集合(121)内の代表的な1個のイントラ予測モードにマッピングする第4の写像(104)を使用する、および/または、
近傍ブロック(17a〜17c)のうちの1つがブロックサイズの集合内の所定のブロック(18)とは異なるブロックサイズのものである場合、所定のブロック(18)に対して割り当てられた集合が所定のブロックのブロックサイズに対する第2の集合(122)であり、1つの近傍ブロック(17a〜17c)に対して割り当てられた集合が1つの近傍ブロックのブロックサイズに対する第2の集合(122)である場合、
1つの近傍ブロックのブロックサイズに対する予測モードの第2の集合(122)の各イントラ予測モードを所定のブロックのブロックサイズに対するイントラ予測モードの第2の集合(122)内の代表的な1個のイントラ予測モードにマッピングする第5の写像(105)を使用する。
従来型からALWIPへのマッピング(たとえば、102a、102b)は、ルマ成分に対してALWIPモードが使用されているとき、クロマ成分に対して使用され得る。
上記で説明したように、いくつかの例では、リスト90は静的である。これは、たとえば、フラグ81がALWIPモードの使用を必要とするときであり得、これらの場合、いくつかの例では、オンザフライで更新されるリスト90は存在せず、予め定義された関係を有するリストが存在する。
上記の例では、多くの場合、5個のインデックス91〜95を通して5個のモードを指すリスト90を参照するが、異なる数の(より多数のまたはより少数の)インデックスが定義されてよい。
例では、第1の信号81は、(たとえば、「ALWIPモード」と「従来型モード」との間の選定をシグナリングする)1つの単一ビットを必要とし得る。例では、第2の信号82は、可変長を必要とし得る:たとえば、(たとえば、より狭い長さを有する)より安価なコードは、統計的に最も頻度が高いモードに関連付けられうる。場合によっては、コード長は、インデックスが指すイントラ予測モードのランクに(たとえば、単調に)依存し、より高いランクが最も頻度が高いインデックス(また、やはり最も頻度が高いモード)に関連付けられてよい。他のコードが使用され得るが、一例は、単項コード(上記を参照されたい)であり得る。
［転置］
次に、図11a、図11b、および図11cを参照し、上記で論じた「提案される予測モードの転置」に言及する。ここで、サイズMxN(M≠Nである)またはNxM(M≠Nである)の所定のブロック18は、前に予測された近傍ブロック17a、17b、17cから、具体的には、テンプレート170を形成するP個の近傍サンプル17'a〜17'cの系列から、予測されることになる。(ここで、図5に示したブロック17bは使用されないが、いくつかの例でブロック17bは使用され得ると想像される)。
本発明者らは、デコーダ56またはエンコーダ14は、サイズNxMに適するが、サイズMxNには適さない、特定のALWIPモード(ここで、ALWIP1と示す)を有すると仮定する。さらに言い換えれば、NxMのALWIP行列17Mは記憶されているが、MxNのALWIP行列17Mは記憶されていない。(原則として、ALWIPモードに対して別のMxN行列を有すること、記憶することが好ましいことになると想像できる。しかしながら、記憶および/またはシグナリングを低減するために、エンコーダおよび/またはデコーダ内に記憶されたALWIPモードの量を低減することが好ましいことがある。)
場合によっては、ストリーム80(12)内の第1の信号81は、所定のブロック18に対してALWIPモードが使用されることを示し得る。第2の信号82は、ALWIP1に関連付けられる(または、いずれの場合も、ALWIP1を示すための)、符号化されたインデックスを有し得る。したがって、ブロック18の向きに従って異なる演算が行われれ得る。
図11aにあるように、予測されることになる所定のブロック18が(ALWIP1のサイズに対応する)サイズMxNを有する場合、ブロック18のP個のサンプルを予測するために、モードALWIP1がテンプレート170のP個のサンプルに適用される(140)。
図11bにあるように、予測されることになる所定のブロック18が(記憶されたALWIP1のサイズとは反対である)サイズMxNを有する場合、ALWIP1は所定のブロック18のサイズMxNとは異なるサイズNxMを有するため、単にALWIP1を適用することは不可能である(NxMの行列17Mは記憶されていないと仮定する)。しかしながら、それに従ってエンコーダ14またはデコーダ54が以下のステップを実行する技術を採用することが可能であることを理解されたい:
1)(たとえば、方向R170Tに従って方向づけられた)反転されたテンプレート170を取得するために、(方向R170に従って方向づけて)テンプレート170の系列を反転し(141)、
2)(ALWIP1に適合する)サイズNxMの予測ブロック18Tを取得するために、ALWIP1をテンプレート170の反転バージョン170Tに適用し(142)、
3)所定のブロック18を取得するために、予測ブロック18Tを転置する(144)。
特に、MxNのALWIPモードが使用されようと、NxMのALWIPモードが使用されようと、ストリーム12(80)内でシグナリングが提供される必要はなく、転置が行われることをシグナリングする必要もない。図10a'''の第5の写像105を使用することが単に可能である。実際に、ブロック18を再構築するために:
1)第2の信号82は(直接的に、またはリスト90のインデックス91〜95によって)MxNブロック18に対して特定のALWIPモード(たとえば、ALWIP1)が使用されることをシグナリングし得る、
2)しかしながら、デコーダにおいて、ALWIP1に対してMxN行列は記憶されていない(ALWIP1は、記憶されていないALWIPモードの部分集合120Nの部分であると見なされ得る)、
3)それにもかかわらず、デコーダにおいて(記憶されたALWIPモードの部分集合120Sの部分であると見なされ得る)NxMのALWIPモードが記憶される、
4)マッピング105は、記憶されていないMxNのALWIP1を記憶されたNxMのALWIPモードにマッピングする、
5)図11bの手順が行われてよく、したがって、ブロック18の再構築に達する。
上記の例は、M≠Nである矩形ブロックMxNに対して提案される。しかしながら、正方形(正方)ブロックMxMに対して同様の手順が行われてよい。実際には、場合によっては、まさに(M=Nであるが)図11bにおけるように、テンプレート170の反転バージョンを単に適用し、記憶された変換を用いて予測を行い、取得されたブロック180Tを最終的に転置する可能性が生じることに留意されたい。図11dに示すように、モード(ALWIPおよび/または従来型)の集合120Qは、以下の部分集合を含み得る:
正方形ブロックに対して記憶されたモードの第1の部分集合120QS(これらのモードに対して、行列17Mが記憶される)、および
正方形ブロックに対して記憶されていないが、図11b(M=Nである)の方法を使用することによって予測を行うことが可能な、モードの第2の部分集合120QN。
したがって、インデックス91〜95または第2の信号が記憶されたモードの第1の部分集合120QS内でモードを直接的に示す場合(ケース1)、そのモードは直接的に呼び出される(また、M=Nである、図11aの手順が行われる)。
さもなければ、インデックス91〜95または第2の信号が記憶されていないモードの第2の部分集合120QN内でモードを直接的に示す場合(ケース2)、部分集合120QNのモードからマッピングされた後で、第1の部分集合120QSからのモードが呼び出される。
上記および下記で論じる例は、空間領域内および/または変換領域内でありうる。
［変換領域における例］
図12は、前に予測された近傍ブロック17cおよび17aからの(たとえば、図5におけるような、上記のような所定のブロック18のうちの1つであり得る)空間領域ブロック18の予測を示す。ここで、予測は、(たとえば、高速フーリエ変換(FFT)、および/または離散コサイン変換(DCT)、ウェーブレット、などの変換を適用した後)変換領域内で行われる。
図12'は、予測されることになる所定のブロック18を示す。ブロック18のQ個の値は、近傍ブロック17cおよび17aの第1および第2の集合(たとえば、真の部分集合)17'cおよび17'aから予測されることになる(第1および第2の集合17'cおよび17'aは、予測されることになるブロック18の辺18cおよび18aに近接する、たとえば、隣接する、線もしくはストライプまたはアレイを表すことができ、すでに予測されたサンプルを含み得る)。第1および第2の集合17'cおよび17'aの値は、それぞれ、近傍ブロック17cおよび17aのサイズに依存せずに選定されてよく、近傍ブロック17cおよび17aの寸法が何であれ、第1および第2の集合17'cおよび17'aの寸法は、ブロック18の寸法に基づく。第1および第2の集合17'cおよび17'a(テンプレート)の値は、ブロック17cおよび17aのサイズに依存せずに選定され得る。例では、第1および第2の集合17'c、17'aは、それぞれ、第1および第2の辺18c、18aと並んで一次元経路に沿って配置され得る。上で論じたように、たとえば、いくつかの特定の変換係数のみを利用することによって、サブサンプリングを行うことが可能である。
変換160(たとえば、FFT、DCT、ウェーブレット、など)が第1および第2の集合17'cおよび17'aのサンプルのうちの少なくともいくつかに適用され得る。変換係数の第1および第2の集合17'cT、17'aT(変換領域内のテンプレート)は、第1および第2の集合17'c、17'aのサンプルの一次元変換を表すことができ、後者は、一次元経路に沿って配置される。近傍ブロック17cおよび17aを全部変換する必要はなく、頻度が低い部分(または、いずれの場合も、低減された部分)のみ変換すればよい。有利には、第1および第2の集合17'cおよび17'aのサイズがブロック18の辺18cおよび18aのサイズに一致しない場合でも問題はない:集合17'cおよび17'aの長さは、辺18cおよび18aの長さよりも長いかまたは短くてよい。
図12"は、(「変換係数」によって形成される)第1および第2の集合17'cおよび17'aは、このとき、変換領域内にあり、したがって、それぞれ、17'cTおよび17'aTで示されることを示す。
ALWIPイントラ予測変換162は、集合17'cTおよび17'aTの変換係数に適用される。図12''では、したがって、変換領域内のブロック18の予測ブロック18Tが取得される。ALWIPイントラ予測変換162は、信号81および/または82内でシグナリングされるようなイントラ予測モードに従ってよい。特に、ブロック18の変換領域内の予測バージョン18Tがあまりにも少数の変換係数を有する可能性が生じる:その場合、逆変換164の前にゼロパディング演算を行うことが単に可能である:残りの変換係数(たとえば、頻度の高いビン)は、0に設定され得る。したがって、逆変換164の後、ブロック18の値集合全体が取得され得る。したがって、変換領域の予測ブロック18Tは、空間領域の予測ブロック18より小さくてよい。変換領域の予測ブロック18Tは、予測ブロック18より大きくてもよい。その場合、ローパスフィルタが後で適用され得る。
図12'''の空間領域内で予測ブロック18を取得するために、逆FFT(IFFT)、もしくは逆DCT(IDCT)、または別の逆変換164が予測ブロック18Tに適用される。
いくつかの例では、空間領域内で所定のブロック18の予測(predictor)を生じさせることが可能である。
［従来型イントラ予測モード］
以下は、その少なくともいくつかが従来型イントラ予測モード(たとえば、conv1、conv2、など)の第1の集合121内に含まれ得る、従来型イントラ予測モードに関する議論である。
従来型イントラ予測モードは、入力ベクトルresp.出力ベクトルに適用される、行列ベクトル乗算およびフィルタリング演算によって表され得る。しかしながら、本発明者らは、行列ベクトル積の後者の計算において使用される行列は、発明者らが次に説明するように、非常に特殊な構造を有することを指摘する。
表記法を設定するために、本発明者らは、(ルマ成分内の)イントラ予測信号が従来型イントラ予測モードによって計算されることになるM×Nブロック(M個の行、N個の列)が与えられると仮定する。予測の入力として機能する参照サンプルは、すでに再構築されたサンプルからなる。一般に、参照サンプルは、ブロック上部のN+q個のサンプル(ブロックの右上のいくつかのサンプルは、直接的に利用可能でない場合があるが、定められたパディング演算によって生成され得る)、およびブロック左のM+p個のサンプル(ブロックの左下のいくつかのサンプルは直接的に利用可能でない場合があるが、定められたパディング演算によって生成され得る)からなってよい。
従来型イントラ予測モードの場合、参照サンプルは、サイズM+p+N+qのベクトルrefと見なされる。そのベクトルの最初のM+p個の成分は、ブロック左の参照サンプルからなり、そのベクトルの最後のN+p個の成分は、ブロック上部のサンプルからなる。
本発明者らは、まず、従来型イントラ予測モードが、角度イントラ予測モードとも呼ばれる方向性イントラ予測モードであるケースについて説明する。
ここで、第1のステップで、補間フィルタリング演算が参照サンプルrefに適用される。後者の演算は、固定解像度における真のサンプル位置同士の間にある非整数サンプル位置に関するサンプル値を生成する。したがって、固定整数kおよび各i∈{1,…,M+p+N+q-1}に対して、そのサンプル位置がrefの第iの成分と第(i+1)の成分との間にある、k個のサンプル値が生成される。任意選択で、補間フィルタリング演算の前または後に平滑化フィルタリング演算が行われる。フィルタ演算の総合的な結果は、この場合も、reffltrと示されるものとする、サイズ(M+p+N+q)*(k+1)-kのベクトルと見なされ得る。いくつかの方向性モード、たとえば、水平イントラ予測モードまたは垂直イントラ予測モードの場合、補間は行われなくてよく、すなわち、kの数はゼロに等しくてよいことが指摘される。
第2のステップで、従来型イントラ予測モードに対応し、M*N個の行および(M+p+N+q)*(k+1)-k個の列を有する、固定行列Aに対して、予測信号predが、行列ベクトル積として計算される
pred=A・reffltr
式中、・は、行列ベクトル乗算を示す。ここで、行列Aの各行は、1からなる1個の非ゼロ成分のみを有する。言い換えれば、各予測サンプル値は、まさに1個のreffltr値である。
最終ステップで、全体的な方向性イントラ予測信号を生じさせるために、ブロック上部のブロックresp.左のすでに再構築されたサンプルによるpredの拡張である信号に第2のフィルタリング演算が適用され得る。
次に、本発明者らは、従来型イントラ予測モードがplanarモードであるケースについて説明する。ここで、ベクトルreffltrを生じさせるために、補間を伴わない、平滑化のみの演算が参照サンプルに適用され得る。(フィルタリングされていない)planar予測信号predplanarが、行列ベクトル積によって計算される場合
predplanar=Aplanar・reffltr
であり、その場合、行列Aplanarは、Aplanarの各行が4個の非ゼロ成分のみからなるという特性を有する。言い換えれば、それぞれの予測されるサンプル値は、4個の参照サンプル値の線形結合として計算される。Aplanarの固定行の4個の非ゼロ成分の列位置は、予測されることになるサンプルと同じ行内にあるブロック左の参照サンプルに、予測されることになるサンプルと同じ列内にあるブロック上部の参照サンプルに、ならびにブロック上部の行にあり、かつブロックの完全に右にある行内の第1のサンプルである参照サンプルに、ならびにブロック左の列内にあり、かつブロックの完全に下にある列内の第1のサンプルである参照サンプルに対応する、reffltr内の位置である。
最終ステップで、全体的なplanarイントラ予測信号を生じさせるためにブロック上部のブロックresp.左のすでに再構築されたサンプルによるpredplanarの拡張である信号に第2のフィルタリング演算が適用され得る。
本発明者らは、最後に、従来型イントラ予測モードがDCモードであるケースについて説明する。ここで、(フィルタリングされていない)DC予測信号predDCが行列ベクトル積によって計算される場合、
predDC=ADC・reffltr
であり、その場合、行列ADCは、ADCのすべての行が等しいという特性を有する。最終ステップで、全体的なDCイントラ予測信号を生じさせるためにブロック上部のブロックresp.左のすでに再構築されたサンプルによるpredDCの拡張である信号に第2のフィルタリング演算が適用され得る。
本出願のALWIPイントラ予測において使用される行列は、方向性モード、DCモード、planarモードに対応する行列の前述のパターンのうちの1つに先験的に制約されないことが指摘される。むしろ、これらの行列は、たとえば、ブロックを様々な形状に分割する可能性、一般的なビデオエンコーダの損失(レートまたはレート歪み)をモデル形成する損失関数、モードをシグナリングするために必要とされる信号(signalization)コスト、ならびに当技術分野で知られている様々な他の特徴を考慮に入れるオフラインデータ駆動型トレーニング手法の結果である。
［ダウンサンプリング/アップサンプリング、ALWIPについての変換領域］
次に図13を参照する。上記で説明したように、場合によっては、エンコーダまたはデコーダは、たとえば、ダウンサンプリングおよび/またはアップサンプリングによって、異なるブロックサイズの予測(predictor)の間で変換を行い得る。
上記で説明したように、(空間領域内の)「第2のテンプレート1160」は、イントラ予測を行うために使用されるが、エンコーダまたはデコーダがALWIPモードを自由に使うことができない(上記で17'a、17'b、17'cとして識別された)Q個の近傍サンプルのグループを指すことがある。基本的に、「第2のテンプレート1160」は、ALWIP予測のために使用される17'a、17'b、17'cのサンプルによって形成される。
以下の議論は、ALWIP変換と従来型の変換の両方に対して有効であるが、ここでは主にALWIP変換を対象とする。
図13は、上記の例における1つのブロック18であり得る現在の所定の空間領域ブロックB1(サイズM1xN1)を示す。ブロック18は、ALWIP変換(たとえば、上記のうちの1つ)によって予測されることになる。しかしながら、エンコーダまたはデコーダにおいて、異なるサイズMxN(M≠M1および/またはN≠N1である)に対するALWIP変換が自由に使用可能である。
(サンプル17'a、17'b、17'cによって形成される)第2のテンプレート1160は、すでに再構築されている(予測されている)ことに留意されたい。
ブロック18(B1)の寸法によりブロック18(B1)を再構築するためのALWIPモードが記憶されてない場合、異なる寸法MxNを有するブロック(B)がALWIP変換を自由に使える場合、以下の手順が実装され得る。特に、サイズMxNのブロックBに対するALWIP変換は、すでに取得されている第2のテンプレート1160とは異なるサイズを有するテンプレート(ここで、「第1のテンプレート1161」と呼ばれる)が必要になる。以下で、この障害を克服する技術について論じる。
変換演算(ここで、Dと示す)は、たとえば、第2のテンプレート1160に適用され得る。変換Dは、変換された(リサンプルされた)第1のテンプレート1161および予測されることになるサイズMxNのブロックB(1138)から形成される、要素1136を提供し得る。
たとえば、(未知の係数を有する)M1xN1のブロックB1(18)は、論理的に(この時点で、やはり未知の係数を有する)MxNブロックB(1138)に変換され得る。ブロックB(1138)の係数は未知であるため、変換領域への変換は不要である。
同様に、変換Dは、テンプレート1160(サイズMxN)を異なる寸法を有する異なるテンプレート1161(サイズM1xN1)に変換する。
場合によっては、変換演算Dは、M1>MおよびN1>Nである場合(また、特に、MがM1の倍数であり、NがN1の倍数である場合)、ダウンサンプリング演算であり得る。たとえば、M1=2*MおよびN1=2*Nである場合、変換演算Dは、いくつかのビンをチェスのような形で隠すことに単に基づいてよい。
この時点で、ブロックBは、上記で論じたALWIP変換によってMxN単位で予測される。(サイズMxNに関連付けられる)ALWIP変換がエンコーダまたはデコーダにおいて含まれる。移行経路1138aにおいて、装置14または54は、このとき、MxNブロックに対して元々定義されているALWIP変換を(たとえば、予測器44、44'において)使用し得る。上記で論じた移行経路を適用することによって、サイズMxNのブロックBに対して予測が取得される。
ブロックB(1138)における予測がサイズMxNに対して取得され、再構築されることになる画像はサイズM1xN1を有することになる。ブロックB(1138)をサイズMxNからサイズM1xN1のブロック18に変換する変換1140(U)を行うすることが単に可能である。この変換1140(U)は、たとえば、バイリニア補間またはアップサンプリング演算であり得る。この変換1140(U)は、MxNブロック1138内の係数の他に、M1xN1ブロック内の係数を導入することによって実行され得る。たとえば、M1=2*MおよびN1=2*Nの場合、変換Dによって破棄されているものの係数を概算する(「推測する」)ために、補間(たとえば、バイリニア補間)を実行することが単に可能である。したがって、M1xN1予測は、要素ブロック18として取得され、画像10の部分としてブロック画像を表示するために使用され得る。
例では、ブロック18(B1)に対して使用されることになるモードからモード1138aへのマッピングを行うことが可能である。
［さらなる実施形態および例］
概して、例は、プログラム命令を含むコンピュータプログラム製品として実装されてよく、プログラム命令は、コンピュータプログラム製品がコンピュータ上で実行すると、これらの方法のうちの1つを実行するように動作可能である。プログラム命令は、たとえば、機械可読媒体上に記憶され得る。
他の例は、機械可読キャリア上に記憶された、本明細書で説明した方法のうちの1つ実行するためのコンピュータプログラムを含む。
言い換えれば、方法の一例は、したがって、コンピュータプログラムがコンピュータ上で実行すると、本明細書で説明した方法のうちの1つを実行するためのプログラム命令を有するコンピュータプログラムである。
方法のさらなる例は、したがって、本明細書で説明した方法のうちの1つを実行するためのコンピュータプログラムを記憶したデータ搬送媒体(もしくは、デジタル記憶媒体、またはコンピュータ可読媒体)である。データ搬送媒体、デジタル記憶媒体、または記録媒体は、無形かつ一時的である信号ではなく、有形および/または非一時的である。
方法のさらなる例は、したがって、本明細書で説明した方法のうちの1つを実行するためのコンピュータプログラムを表す、データストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、たとえば、データ通信接続を介して、たとえば、インターネットを介して、転送され得る。
さらなる例は、本明細書で説明した方法のうちの1つを実行する、処理手段、たとえば、コンピュータ、またはプログラマブル論理デバイスを含む。
さらなる例は、本明細書で説明した方法のうちの1つを実行するためのコンピュータプログラムをインストールしたコンピュータを含む。
さらなる例は、本明細書で説明した方法のうちの1つを実行するためのコンピュータプログラムを受信機に(たとえば、電子的または光学的に)転送する装置またはシステムを含む。受信機は、たとえば、コンピュータ、モバイルデバイス、メモリデバイス、などであってよい。装置またはシステムは、たとえば、コンピュータプログラムを受信機に転送するためのファイルサーバを備え得る。
いくつかの例では、本明細書で説明した方法の機能性のうちのいくつかまたはすべてを実行するためにプログラマブル論理デバイス(たとえば、フィールドプログラマブルゲートアレイ)が使用され得る。いくつかの例では、フィールドプログラマブルゲートアレイは、本明細書で説明した方法のうちの1つを実行するために、マイクロプロセッサと協働し得る。概して、これらの方法は、任意の適切なハードウェア装置によって実行され得る。
上記で説明した例は、上記で論じた原理の単なる例である。本明細書で説明した配置および詳細の修正および変種は明らかになることを理解されたい。したがって、本明細書の例の記述および説明によって提示された特定の詳細によってではなく、以下の請求項の範囲によって限定されることを意図する。
等しいまたは等価の機能性を備えた等しいまたは等価の要素は、以下の説明において、異なる図面で生じる場合ですら、等しいまたは等価の参照符号によって示される。
10 ピクチャ
12 データストリーム
14 エンコーダ
16 ビデオ
17a〜17c 近傍ブロック
17'a, 17'b, 17'c 近傍サンプル
17'aT 変換係数の第2の集合
17cT 変換係数の第2の集合
17M 行列
18 現在ブロック
18a 第2の辺
18c 第1の辺
18T 予測ブロック
20 コーディング順序
22 減算器
24 予測信号
24' 再構築値
26 予測残差信号
28 予測残差エンコーダ
28a 損失のある符号化段階
28b 損失のない符号化段階
30 量子化器
32 変換器
34 変換および量子化された予測残差信号
36 予測残差信号再構築段階
36' 残差信号再構築段階
38, 38' 逆量子化器
40, 40' 逆変換器
42, 42' 加算器
44, 44' 予測器
46, 46' インループフィルタ
54 デコーダ
56 エントロピーデコーダ
70 図表
72 平面
80 データストリーム
81 第1の信号
82 第2の信号
90 リスト
91 第1の位置
92 第2の位置
93 第3の位置
94 第4の位置
95 第5の位置
101 写像
101a 第1の写像
102a 第2の写像
102b 第2の写像
103 第3の写像
104 第4の写像
105 第5の写像
1051 写像
105n 写像
106 一般化された第5の写像
120N ALWIPモードの部分集合
120Q モードの集合
120QN 第2の部分集合
120QS 第1の部分集合
120S イントラ予測モードの第1の部分集合
121 従来型イントラ予測モードの第1の集合
122 イントラ予測モードの第2の集合
131 従来型モード
151, 152 ブロックサイズ
156 残差プロバイダ
162 ALWIPイントラ予測変換
164 逆変換
170 テンプレート
170T 反転バージョン
1136 リサンプルされたテンプレート
1138 ブロックB
1138a ALWIP予測(predictor)、モード
1140 変換
1160 第2のテンプレート
1161 第1のテンプレート

Claims (72)

  1. データストリーム(12、80)からピクチャ(10)を復号するためのデコーダ(54)であって、
    前記ピクチャ(10)の所定のブロック(18)を、
    線形またはアフィン線形変換(17M)を用いて、前記所定のブロック(18)の近傍のP個の近傍サンプル(17'c、17'a)の集合を前記所定のブロック(18)のサンプルについてのQ個の予測値の集合にマッピングする
    ことによって予測するよう構成され、
    前記線形またはアフィン線形変換(17M)は、P*Q個の重み係数を含み、そのうち少なくとも1/4P*Q個の重み係数は、非ゼロ重み値であり、前記Q個の予測値の各々について前記それぞれの予測値に関連するP個の重み係数の系列を構成し、前記系列は、前記所定のブロック(18)の前記サンプルの間のラスタ走査順序に従って順次一つずつ下へ配置されているとき、全方向に非線形であるエンベロープを形成する、
    デコーダ。
  2. 前記P*Q個の重み係数は、任意の正規の写像規則により互いと無関係である、請求項1に記載のデコーダ。
  3. 前記それぞれの予測値に関連する重み係数の第1の系列と、前記それぞれの予測値以外の予測値に関連する重み係数の第2の系列または前記第2の系列の反転バージョンのうちのより高い最大値を生じさせる方との間の相互相関の最大平均が、所定のしきい値よりも低い、請求項1または2に記載のデコーダ。
  4. 前記所定のしきい値は0.3である、請求項3に記載のデコーダ。
  5. 前記P個の近傍サンプル(17'c、17'a)は、前記所定のブロック(18)の境界(18c、18a)に沿って延びる一次元経路に沿って配置され、前記Q個の予測値の各々について、前記それぞれの予測値に関連するP個の重み係数の前記系列は、前記一次元経路を所定の方向にトラバースするように順序付けられる、請求項1から4のいずれか一項に記載のデコーダ。
  6. Q個の予測値の前記集合の各々について対応する残差値を取得するために、前記所定のブロック(18)について、前記データストリーム(12、80)から予測残差(34')を導出し、
    前記対応する再構築値(24')が前記P個の近傍サンプル(17'c、17'a)に、任意選択で予測および/または補正の後に適用されるクリッピングを除き、完全に線形に依存するように、前記対応する再構築値を取得するために、前記対応する残差値によってQ個の予測値の前記集合の各々を補正することによって前記所定のブロック(18)を再構築する
    ように構成される、請求項1から5のいずれか一項に記載のデコーダ。
  7. 前記デコーダ(54)は、前記ピクチャ(10)を、前記所定のブロック(18)を含む異なるブロックサイズの複数のブロック(17a〜17c、18)に細分割するように構成され、前記デコーダ(54)は、ブロックサイズの集合の各々について、
    複数の方向性予測モードとDCモードおよびplanarモードのうちの少なくとも1つとを含むイントラ予測モードの第1の集合(121)、および
    イントラ予測モードの第2の集合(122)であって、イントラ予測モードの前記第2の集合(122)の各々に対して、前記それぞれのイントラ予測モードに従って、前記それぞれのブロックサイズのブロック(18)は、関連付けられる線形またはアフィン線形変換を用いて前記それぞれのブロックサイズの前記ブロック(18)の近傍のP個の近傍サンプル(17'c、17'a)の集合を前記それぞれのブロック(18)の前記ブロック(18)のサンプルについてのQ個の予測値の集合にマッピングすることによって予測される、イントラ予測モードの第2の集合(122)をサポートし、
    ブロックサイズの前記集合の各ブロックサイズについて、前記それぞれのブロックサイズに対するイントラ予測モードの前記第2の集合(122)内のイントラ予測モードの前記関連付けられる線形またはアフィン線形変換は互いに異なり、ブロックサイズの前記集合内の前記ブロックサイズに対するイントラ予測モードの前記第2の集合の濃度は一致するが、ブロックサイズの前記集合内の異なるブロックサイズに対するイントラ予測モードの前記第2の集合内のイントラ予測モードの前記関連付けられる線形またはアフィン線形変換は、スケーリングによって互いに対して転換可能でない、
    請求項1から6のいずれか一項に記載のデコーダ。
  8. ルマ成分に対して線形またはアフィン線形変換を用いるように構成される、請求項1から7のいずれか一項に記載のデコーダ。
  9. データストリームからピクチャを復号するための方法であって、
    線形またはアフィン線形変換を用いて、所定のブロックの近傍のP個の近傍サンプル(17'c、17'a)の集合を、前記所定のブロック(18)のサンプルについてのQ個の予測値の集合にマッピングするステップを含み、
    前記線形またはアフィン線形変換は、P*Q個の重み係数を含み、そのうち少なくとも1/4P*Q個の重み係数は、非ゼロ重み値であり、前記Q個の予測値の各々について前記それぞれの予測値に関連するP個の重み係数の系列を構成し、前記系列は、前記所定のブロックの前記サンプルの間のラスタ走査順序に従って順次一つずつ下へ配置されているとき、全方向に非線形であるエンベロープを形成する、
    方法。
  10. ピクチャからデータストリームを符号化するためのエンコーダであって、
    線形またはアフィン線形変換を用いて、所定のブロックの近傍のP個の近傍サンプルの集合を、前記所定のブロックのサンプルについてのQ個の予測値の集合にマッピングするよう構成され、
    前記線形またはアフィン線形変換は、P*Q個の重み係数を含み、そのうち少なくとも1/4P*Q個の重み係数は、非ゼロ重み値であり、前記Q個の予測値の各々について前記それぞれの予測値に関連するP個の重み係数の系列を構成し、前記系列は、前記所定のブロックの前記サンプルの間のラスタ走査順序に従って順次一つずつ下へ配置されているとき、全方向に非線形であるエンベロープを形成する、
    エンコーダ。
  11. 前記P*Q個の重み係数は、任意の正規の写像規則により互いと無関係である、請求項10に記載のエンコーダ。
  12. 前記それぞれの予測値に関連する重み係数の第1の系列と、前記それぞれの予測値以外の予測値に関連する重み係数の第2の系列または前記第2の系列の反転バージョンのうちより高い最大値を生じさせる方との間の相互相関の最大平均が、所定のしきい値よりも低い、請求項10または11に記載のエンコーダ。
  13. 前記所定のブロックのルマ成分に対して前記線形またはアフィン線形変換を用いるように構成される、請求項10から12のいずれか一項に記載のエンコーダ。
  14. 符号化方法であって、
    線形またはアフィン線形変換を用いて、所定のブロックの近傍のP個の近傍サンプルの集合を、前記所定のブロックのサンプルについてのQ個の予測値の集合にマッピングするステップを含み、
    前記線形またはアフィン線形変換は、P*Q個の重み係数を含み、そのうち少なくとも1/4P*Q個の重み係数は、非ゼロ重み値であり、前記Q個の予測値の各々について前記それぞれの予測値に関連するP個の重み係数の系列を構成し、前記系列は、前記所定のブロックの前記サンプルの間のラスタ走査順序に従って順次一つずつ下へ配置されているとき、全方向に非線形であるエンベロープを形成する、
    方法。
  15. 複数の方向性予測モードとDCモードおよびplanarモードのうちの少なくとも1つとを含むイントラ予測モードの第1の集合(121)、ならびにイントラ予測モードの第2の集合(122)をサポートする、データストリーム(12、80)からピクチャ(10)を復号するためのデコーダ(56)であって、
    前記ピクチャ(10)の所定のブロック(18)を、
    前記データストリーム(80)内の第1の信号(81)に基づいて、前記所定のブロック(18)を前記第1の集合(121)または前記第2の集合(122)に割り当て、
    イントラ予測モードのリスト(90)を取得するために、前記所定のブロック(18)の近傍の近傍ブロック(17a〜17c)について使用されるイントラ予測モードに従って、イントラ予測モードの割り当てられた集合をソートし、
    前記所定のブロック(18)について、前記データストリーム(12、80)からイントラ予測モードの前記リスト(90)内にインデックス(91〜95)を導出し、
    前記インデックス(91〜95)が指すイントラ予測モードを使用して前記所定のブロック(18)を予測する
    ことによって復号するように構成され、
    前記デコーダ(56)は、
    前記割り当てられた集合がイントラ予測モードの前記第2の集合(122)である場合、前記割り当てられた集合(122)をソートする際、予測モードの前記第1の集合の各イントラ予測モードをイントラ予測モードの前記第2の集合内の代表的な1個のイントラ予測モードにマッピングする第1の写像(101a)を使用し、および/または
    前記割り当てられた集合がイントラ予測モードの前記第1の集合(121)である場合、前記割り当てられた集合(121)をソートする際、予測モードの前記第2の集合(122)の各イントラ予測モードをイントラ予測モードの前記第1の集合(121)内の代表的な1個のイントラ予測モードにマッピングする第2の写像(102a、102b)を使用する
    ように構成される、デコーダ(56)。
  16. 異なるブロックサイズ(151、152)の各々について、イントラ予測モードの集合をサポートするデータストリームからピクチャを復号するためのデコーダであって、
    前記ピクチャ(10)の所定のブロック(18)を、
    イントラ予測モードのリスト(90)を取得するために、前記所定のブロック(18)の近傍の近傍ブロック(17a〜17c)に対して使用されるイントラ予測モードに従って、前記所定のブロック(18)の前記ブロックサイズについてのイントラ予測モードの前記集合をソートし、
    前記所定のブロック(18)について、前記データストリーム(12、80)からイントラ予測モードの前記リスト(90)内にインデックス(91〜95)を導出し、
    前記インデックス(91〜95)が指すイントラ予測モードを使用して前記所定のブロック(18)を予測する
    ことによって復号するように構成され、
    前記デコーダ(56)は、
    前記近傍ブロック(17a〜17c)のうちの1つが前記所定のブロック(18)とは異なるサイズのものである場合、前記割り当てられた集合をソートする際、前記1つの近傍ブロックのブロックサイズ(151)についての予測モードの前記集合の各イントラ予測モードを前記所定のブロックのブロックサイズ(152)についてのイントラ予測モードの前記集合内の代表的な1個のイントラ予測モードにマッピングする写像（106）を使用する
    ように構成される、デコーダ。
  17. コード長が、前記インデックス(91〜95)が指すイントラ予測モードの前記リスト(90)内の前記イントラ予測モードのランクに単調に依存するよう、可変長コード(82)を使用して前記インデックス(91〜95)を前記データストリーム(12、80)から復号するようにさらに構成される、請求項15または16に記載のデコーダ。
  18. 前記可変長コードは単項コードである、請求項15から17のいずれか一項に記載のデコーダ。
  19. 前記コードは、トランケートされたバイナリコードである、請求項15または16に記載のデコーダ。
  20. イントラ予測モードの前記割り当てられた集合内の前記近傍ブロック(17a〜17c)に対して使用される、または前記第1もしくは第2の写像を介して前記近傍ブロック(17a〜17c)に対して使用される前記イントラ予測モードによってターゲットにされている前記イントラ予測モードが前記リストの最初に置かれるように、イントラ予測モードの前記割り当てられた集合をソートするように構成される、請求項15から19のいずれか一項に記載のデコーダ。
  21. イントラ予測モードの前記集合内の前記近傍ブロック(17a〜17c)に対して使用される、または前記写像を介して前記近傍ブロック(17a〜17c)に対して使用される前記イントラ予測モードによってターゲットにされている前記イントラ予測モードが前記リストの最初に置かれるように、前記所定のブロック(18)の前記ブロックサイズに対するイントラ予測モードの前記集合をソートするように構成される、請求項16から20のいずれか一項に記載のデコーダ。
  22. イントラ予測モードの前記第2の集合の各々に従って、線形またはアフィン線形変換を用いて、前記所定のブロックの近傍のP個の近傍サンプルの集合を、前記所定のブロックのサンプルについてのQ個の予測値の集合にマッピングすることによって、前記所定のブロック(18)が予測されるよう構成され、
    イントラ予測モードの前記第2の集合の各々について、前記線形またはアフィン線形変換は、P*Q個の重み係数を含み、そのうち少なくとも1/4P*Q個の重み係数は、非ゼロ重み値であり、前記Q個の予測値の各々について前記それぞれの予測値に関連するP個の重み係数の系列を構成し、前記系列は、前記所定のブロックの前記サンプルの間のラスタ走査順序に従って順次一つずつ下へ配置されているとき、全方向に非線形であるエンベロープを形成する、請求項15から21のいずれか一項に記載のデコーダ。
  23. イントラ予測モードの前記集合の各々に従って、線形またはアフィン線形変換を用いて、前記所定のブロック(18)の近傍のP個の近傍サンプルの集合を、前記所定のブロックのサンプルについてのQ個の予測値の集合にマッピングすることによって、前記所定のブロック(18)が予測されるよう構成され、
    イントラ予測モードの前記集合の各々について、前記線形またはアフィン線形変換は、P*Q個の重み係数を含み、そのうち少なくとも1/4P*Q個の重み係数は、非ゼロ重み値であり、前記Q個の予測値の各々について、前記それぞれの予測値に関連するP個の重み係数の系列を構成する、前記系列は、前記所定のブロックの前記サンプルの間のラスタ走査順序に従って順次一つずつ下へ配置されているとき、全方向に非線形であるエンベロープを形成する、請求項16から22のいずれか一項に記載のデコーダ。
  24. 前記デコーダ(56)は、前記所定のブロック(18)を含む、異なるブロックサイズ(151、152)の複数のブロックに前記ピクチャ(10)を細分割するように構成され、
    前記デコーダは、ブロックサイズ(151、152)の集合の各々について、複数の方向性予測モードと前記DCモードおよび前記planarモードのうちの少なくとも1つとを含むイントラ予測モードの第1の集合(121)、ならびにイントラ予測モードの第2の集合(122)をサポートするように構成され、
    前記デコーダ(56)は、
    前記近傍ブロック(17a〜17c)のうちの1つが、ブロックサイズの前記集合内の前記所定のブロック(18)と同じブロックサイズのものであるが、イントラ予測モードの前記第1および第2の集合(121、122)のうちの異なる1つの集合に割り当てられる場合、前記割り当てられた集合をソートする際、前記第1および第2の写像(101、102a、102b)を使用し、
    前記近傍ブロック(17a〜17c)のうちの1つがブロックサイズの前記集合内の前記所定のブロック(18)とは異なるブロックサイズ(151、152)のものである場合、前記割り当てられた集合をソートする際、
    前記所定のブロック(18)に対して前記割り当てられた集合が前記所定のブロックのブロックサイズ(151)に対する前記第2の集合(122)であり、前記1つの近傍ブロック(17a〜17c)に対して割り当てられた集合が前記1つの近傍ブロックのブロックサイズ(152)についての前記第1の集合(121)である場合、前記1つの近傍ブロックのブロックサイズ(152)についての予測モードの前記第1の集合(121)の各イントラ予測モードを前記所定のブロックのブロックサイズ(151)に対するイントラ予測モードの前記第2の集合(122)内の代表的な1個のイントラ予測モードにマッピングする第3の写像(103)を使用し、および/または
    前記所定のブロック(18)に対して前記割り当てられた集合が前記所定のブロックのブロックサイズ(152)についての前記第1の集合(121)であり、前記1つの近傍ブロック(17a〜17c)に対して割り当てられた集合が前記1つの近傍ブロックのブロックサイズ(151)についての前記第2の集合(122)である場合、前記1つの近傍ブロックのブロックサイズ(151)についての予測モードの前記第2の集合(122)の各イントラ予測モードを前記所定のブロックのブロックサイズ(152)についてのイントラ予測モードの前記第1の集合(121)内の代表的な1個のイントラ予測モードにマッピングする第4の写像(104)を使用し、および/または
    前記近傍ブロック(17a〜17c)のうちの1つがブロックサイズの前記集合内の前記所定のブロック(18)と同じブロックサイズ(151、152)のものである場合、前記所定のブロック(18)に対して前記割り当てられた集合が、前記所定のブロックのブロックサイズ(151、15n)についての前記第2の集合(122)であり、前記1つの近傍ブロック(17a〜17c)に対して割り当てられた集合が前記1つの近傍ブロックのブロックサイズ(151、15n)についての前記第2の集合(122)である場合、
    前記1つの近傍ブロックのブロックサイズ(15l、15n)についての予測モードの前記第2の集合(122)の各イントラ予測モードを前記所定のブロックのブロックサイズ(151、15n)についてのイントラ予測モードの前記第2の集合(122)内の代表的な1個のイントラ予測モードにマッピングする第5の写像(105)を使用する
    ように構成される
    請求項15から23のいずれか一項に記載のデコーダ。
  25. 前記デコーダ(56)は、前記ピクチャ(10)を、前記所定のブロック(18)を含む異なるブロックサイズの複数のブロックに細分割するように構成され、
    前記デコーダは、ブロックサイズの集合の各々について、複数の方向性予測モードと前記DCモードおよび前記planarモードのうちの少なくとも1つとを含むイントラ予測モードの第1の集合(121)、ならびにイントラ予測モードの第2の集合(122)をサポートするように構成され、
    前記デコーダは、
    前記所定のブロック(18)が正方形でないならば、
    前記所定のブロックが第1の向きに方向づけられている場合、前記所定のブロックの近傍の近傍サンプルの系列を前記インデックスが指す前記イントラ予測モードに関連付けられる線形またはアフィン線形変換に適用し、
    前記所定のブロックが前記第1の向きに直交する第2の向きに方向づけられている場合、予測ブロックを取得し、その後で前記予測ブロックを転置するために、前記所定のブロック(18)の近傍の近傍サンプルの前記系列の反転バージョンを前記インデックスが指す前記イントラ予測モードに関連付けられる前記線形またはアフィン線形変換に適用する
    ことによって、前記インデックスが指す前記イントラ予測モードを使用して前記所定のブロックの前記予測を行うように構成される
    請求項15から24のいずれか一項に記載のデコーダ。
  26. イントラ予測モードの前記第2の集合は、イントラ予測モードの第1および第2の部分集合を含み、前記所定のブロック(18)は正方形であり、
    前記デコーダは、
    前記インデックス(91〜95)が指す前記イントラ予測モードが前記第1の部分集合(120S)内に含まれる場合、前記所定のブロック(18)の近傍の近傍サンプルの系列を前記インデックス(91〜95)が指す前記イントラ予測モードに関連付けられる線形またはアフィン線形変換に適用し、
    前記インデックスが指す前記イントラ予測モードが前記第2の部分集合(120N)内に含まれる場合、予測ブロック(18T)を取得し、その後で前記予測ブロックを転置するために、前記所定のブロック(18)の近傍の近傍サンプルの前記系列(170)の反転バージョンをイントラ予測モードの前記第1の部分集合(120S)のイントラ予測モードに関連付けられる線形またはアフィン線形変換に適用する
    ことによって、前記インデックス(91〜95)が指す前記イントラ予測モードを使用して前記所定のブロック(18)の前記予測を行うように構成される、請求項15から25のいずれか一項に記載のデコーダ。
  27. 前記第2の集合の前記イントラ予測モードのうちの少なくとも1つに対して、前記1個のイントラ予測モードを使用する前記予測は、空間領域から変換領域へのまたは変換領域から変換領域への前記所定のブロック(18)の予測を必要とする、請求項15から26のいずれか一項に記載のデコーダ。
  28. ルマ成分に対して前記第1または第2の集合(121、122)のイントラ予測モードを使用し、クロマ成分に対して前記第1の集合(121)のイントラ予測モードを使用するように構成される、請求項15から27のいずれか一項に記載のデコーダ。
  29. ルマ成分に対して使用される前記第2の集合(122)の少なくとも1つのモードを前記クロマ成分に対する前記第1の集合(121)のモードにマッピングするように構成される、請求項15から28のいずれか一項に記載のデコーダ。
  30. 前記第2の写像は、前記第2の集合(122)の複数のモードを前記第1の集合(122)の単一のモードにマッピングする、請求項15から29のいずれか一項に記載のデコーダ。
  31. 前記第2の写像は、前記第2の集合(122)のすべての前記モードを前記第1の集合(122)の前記単一のモードにマッピングする、請求項30に記載のデコーダ。
  32. 前記第2の写像は、前記第2の集合(122)のすべての前記モードを前記第1の集合(122)の前記単一のモードにマッピングし、前記第1の集合(122)の前記単一のモードは前記planarモードである、請求項15から31のいずれか一項に記載のデコーダ。
  33. 複数の方向性予測モードとDCモードおよびplanarモードのうちの少なくとも1つとを含むイントラ予測モードの第1の集合、ならびにイントラ予測モードの第2の集合をサポートするデータストリームからピクチャを復号するための方法であって、
    前記ピクチャの所定のブロック(18)を、
    前記データストリーム(80)内の第1の信号(81)に基づいて、前記所定のブロック(18)を前記第1の集合または前記第2の集合に割り当て、
    イントラ予測モードのリストを取得するために、前記所定のブロックの近傍の近傍ブロックについて使用されるイントラ予測モードに従って、予測モードの前記割り当てられた集合をソートし、
    前記所定のブロックについて、前記データストリームからイントラ予測モードの前記リスト内にインデックスを導出し、
    前記インデックスが指すイントラ予測モードを使用して前記所定のブロックを予測する
    ことによって復号するステップ
    を含み、
    前記復号するステップは、
    前記割り当てられた集合がイントラ予測モードの前記第2の集合である場合、前記割り当てられた集合をソートする際、予測モードの前記第1の集合の各イントラ予測モードをイントラ予測モードの前記第2の集合内の代表的な1個のイントラ予測モードにマッピングする第1の写像を使用すること、および/または
    前記割り当てられた集合がイントラ予測モードの前記第1の集合である場合、前記割り当てられた集合をソートする際、予測モードの前記第2の集合の各イントラ予測モードをイントラ予測モードの前記第1の集合内の代表的な1個のイントラ予測モードにマッピングする第2の写像を使用すること
    に基づく、方法。
  34. 複数の方向性予測モードとDCモードおよびplanarモードのうちの少なくとも1つとを含むイントラ予測モードの第1の集合、ならびにイントラ予測モードの第2の集合をサポートするデータストリーム上にピクチャを符号化するためのエンコーダであって、
    前記ピクチャの所定のブロック(18)を、
    前記データストリーム(80)内の第1の信号(81)に基づいて、前記所定のブロック(18)を前記第1の集合または前記第2の集合に割り当て、符号化し、
    イントラ予測モードのリストを取得するために、前記所定のブロックの近傍の近傍ブロックについて使用されるイントラ予測モードに従って、予測モードの割り当てられた集合をソートし、
    前記所定のブロックについて、イントラ予測モードの前記リスト内へのインデックスを決定し、
    前記インデックスが指すイントラ予測モードを使用して前記所定のブロックを予測することによって符号化するように構成され、
    前記エンコーダは、
    前記割り当てられた集合がイントラ予測モードの前記第2の集合である場合、前記割り当てられた集合をソートする際、予測モードの前記第1の集合の各イントラ予測モードをイントラ予測モードの前記第2の集合内の代表的な1個のイントラ予測モードにマッピングする第1の写像を使用し、および/または
    前記割り当てられた集合がイントラ予測モードの前記第1の集合である場合、前記割り当てられた集合をソートする際、予測モードの前記第2の集合の各イントラ予測モードをイントラ予測モードの前記第1の集合内の代表的な1個のイントラ予測モードにマッピングする第2の写像を使用するように構成される、エンコーダ。
  35. 異なるブロックサイズの各々に対して、イントラ予測モードの集合をサポートするデータストリーム上にピクチャを符号化するためのエンコーダであって、
    前記ピクチャの所定のブロック(18)を、
    イントラ予測モードのリストを取得するために、前記所定のブロックの近傍の近傍ブロックに対して使用されるイントラ予測モードに従って、前記所定のブロックの前記ブロックサイズに対するイントラ予測モードの前記集合をソートし、
    前記所定のブロックに対して、イントラ予測モードの前記リスト内のインデックスを前記データストリーム内に挿入し、
    前記インデックスが指すイントラ予測モードを使用して前記所定のブロックを予測することによって符号化するように構成され、
    前記エンコーダは、
    前記近傍ブロックのうちの1つが前記所定のブロックとは異なるサイズである場合、前記割り当てられた集合をソートする際、前記1つの近傍ブロックのブロックサイズに対する予測モードの前記集合の各イントラ予測モードを前記所定のブロックのブロックサイズに対するイントラ予測モードの前記集合内の代表的な1個のイントラ予測モードにマッピングする写像を使用するように構成される、
    エンコーダ。
  36. コード長が、前記インデックスが指すイントラ予測モードの前記リスト内の前記イントラ予測モードのランクに単調に依存するように、可変長コード(82)を使用して、前記データストリーム(80)内で前記インデックスを符号化するようにさらに構成される、請求項34または35に記載のエンコーダ。
  37. 前記可変長コード(82)が、単項コードまたはトランケートされたバイナリコードである、請求項36に記載のエンコーダ。
  38. 他のブロックについての前の使用に関する前記予測モードの確率および/または履歴データに従って、前記予測モードをソートするように構成される、請求項34から37のいずれか一項に記載のエンコーダ。
  39. シンボル繰返しの長さに基づいて前記リスト内への前記インデックスを導出するように、第1のシンボルを最高で第2のシンボルまで連続的に繰り返すことにより、前記データストリーム(80)内に第2の信号(82)を書き込むように構成される、請求項34から38のいずれか一項に記載のエンコーダ。
  40. イントラ予測モードの前記割り当てられた集合内の前記近傍ブロックに対して使用される、または前記第1もしくは第2の写像を介して前記接近ブロックに対して使用される前記イントラ予測モードによってターゲットにされている前記イントラ予測モードが前記リストの最初に置かれるように、イントラ予測モードの前記割り当てられた集合をソートするように構成される、請求項34から39のいずれか一項に記載のエンコーダ。
  41. イントラ予測モードの前記集合内の前記近傍ブロックに対して使用される、または前記写像を介して前記近傍ブロックに対して使用される前記イントラ予測モードによってターゲットにされている前記イントラ予測モードが前記リストの最初に置かれるように、前記所定のブロックの前記ブロックサイズに対するイントラ予測モードの前記集合をソートするように構成される、
    請求項34から40のいずれか一項に記載のエンコーダ。
  42. イントラ予測モードの前記第2の集合の各々に従って、線形またはアフィン線形変換を用いて、前記所定のブロックの近傍のP個の近傍サンプルの集合を、前記所定のブロックのサンプルについてのQ個の予測値の集合にマッピングすることによって、前記所定のブロックが予測されるよう構成され、
    イントラ予測モードの前記第2の集合の各々について、
    前記線形またはアフィン線形変換は、P*Q個の重み係数を含み、そのうち少なくとも1/4P*Q個の重み係数は、非ゼロ重み値であり、前記Q個の予測値の各々について前記それぞれの予測値に関連するP個の重み係数の系列を構成し、前記系列は、前記所定のブロックの前記サンプルの間のラスタ走査順序に従って順次一つずつ下へ配置されているとき、全方向に非線形であるエンベロープを形成する、
    請求項34から41のいずれか一項に記載のエンコーダ。
  43. イントラ予測モードの前記集合の各々に従って、線形またはアフィン線形変換を用いて、前記所定のブロックの近傍のP個の近傍サンプルの集合を、前記所定のブロックのサンプルについてのQ個の予測値の集合にマッピングすることによって、前記所定のブロックが予測されるよう構成され、
    イントラ予測モードの前記第2の集合の各々について、前記線形またはアフィン線形変換は、P*Q個の重み係数を含み、そのうち少なくとも1/4P*Q個の重み係数は、非ゼロ重み値であり、前記Q個の予測値の各々について前記それぞれの予測値に関連するP個の重み係数の系列を構成し、前記系列は、前記所定のブロックの前記サンプルの間のラスタ走査順序に従って順次一つずつ下へ配置されているとき、全方向に非線形であるエンベロープを形成する、
    請求項34から42のいずれか一項に記載のエンコーダ。
  44. 前記エンコーダは、ピクチャを、前記所定のブロックを含む異なるブロックサイズの複数のブロックに細分割するように構成され、
    前記エンコーダは、ブロックサイズの集合の各々について、複数の方向性予測モードと前記DCモードおよび前記planarモードの少なくとも1つとを含むイントラ予測モードの第1の集合、ならびにイントラ予測モードの第2の集合をサポートするように構成され、
    前記エンコーダは、
    前記近傍ブロックのうちの1つが、ブロックサイズの前記集合内の前記所定のブロックと同じブロックサイズのものであるが、イントラ予測モードの前記第1および第2の集合のうちの異なる1つの集合に割り当てられる場合、前記割り当てられた集合をソートする際、前記第1および第2の写像を使用し、
    前記近傍ブロックのうちの1つが、ブロックサイズの前記集合内の前記所定のブロックとは異なるブロックサイズのものである(たとえば、前記ブロックが同じではない)場合、前記割り当てられた集合をソートする際、
    前記所定のブロックに対して前記割り当てられた集合が前記所定のブロックのブロックサイズに対する前記第2の集合であり、前記1つの近傍ブロックに対して割り当てられた集合が前記1つの近傍ブロックのブロックサイズに対する前記第1の集合である場合、前記1つの近傍ブロックのブロックサイズに対する予測モードの前記第1の集合の各イントラ予測モードを前記所定のブロックのブロックサイズに対するイントラ予測モードの前記第2の集合内の代表的な1個のイントラ予測モードにマッピングする第3の写像を使用し、および/または、
    前記所定のブロックに対して前記割り当てられた集合が前記所定のブロックのブロックサイズに対する前記第1の集合であり、前記1つの近傍ブロックに対して割り当てられた集合が前記1つの近傍ブロックのブロックサイズに対する前記第2の集合である場合、前記1つの近傍ブロックのブロックサイズに対する予測モードの前記第2の集合の各イントラ予測モードを前記所定のブロックのブロックサイズに対するイントラ予測モードの前記第1の集合内の代表的な1つにマッピングする第4の写像を使用し、および/または、
    前記近傍ブロックのうちの1つがブロックサイズの前記集合内の前記所定のブロックと同じブロックサイズのものである場合、前記所定のブロックに対して前記割り当てられた集合が、前記所定のブロックのブロックサイズに対する前記第2の集合であり、前記1つの近傍ブロックに対して割り当てられた集合が、前記1つの近傍ブロックのブロックサイズに対する前記第2の集合である場合、
    前記1つの近傍ブロックのブロックサイズに対する予測モードの前記第2の集合の各イントラ予測モードを前記所定のブロックのブロックサイズに対するイントラ予測モードの前記第2の集合内の代表的な1個のイントラ予測モードにマッピングする第5の写像を使用する
    ように構成される、
    請求項34から43のいずれか一項に記載のエンコーダ。
  45. 前記エンコーダは、前記ピクチャを、前記所定のブロックを含む異なるブロックサイズの複数のブロックに細分割するように構成され、
    前記エンコーダは、ブロックサイズの集合の各々について、複数の方向性予測モードと前記DCモードおよび前記planarモードのうちの少なくとも1つとを含むイントラ予測モードの第1の集合、ならびにイントラ予測モードの第2の集合をサポートするように構成され、
    前記エンコーダは、
    前記所定のブロック(18)が正方形でないならば、
    前記所定のブロックが第1の向きに方向づけられている場合、前記所定のブロックの近傍の近傍サンプルの系列を前記インデックスが指す前記イントラ予測モードに関連付けられる線形またはアフィン線形変換に適用し、
    前記所定のブロックが前記第1の向きに直交する第2の向きに方向づけられている場合、予測ブロックを取得し、その後で前記予測ブロックを転置するために、前記所定のブロックの近傍の近傍サンプルの前記系列の反転バージョンを前記インデックスが指す前記イントラ予測モードに関連付けられる前記線形またはアフィン線形変換に適用する
    ことによって、前記インデックスが指す前記イントラ予測モードを使用して前記所定のブロックの前記予測を行うように構成される、
    請求項34から44のいずれか一項に記載のエンコーダ。
  46. イントラ予測モードの前記第2の集合は、イントラ予測モードの第1および第2の部分集合を含み、前記所定のブロック(18)は正方形であり、
    前記エンコーダ(14)は、
    前記インデックス(91〜95)が指す前記イントラ予測モードが前記第1の部分集合(122)内に含まれる場合、前記所定のブロック(18)の近傍の近傍サンプル(17'a〜17'c)の系列を前記インデックス(91〜95)が指す前記イントラ予測モードに関連付けられる線形またはアフィン線形変換に適用し、
    前記インデックス(91〜95)が指す前記イントラ予測モードが前記第2の部分集合(122)内に含まれる場合、予測ブロック(18T)を取得し、その後で前記予測ブロック(18)を転置する(144)ために、前記所定のブロックの近傍の近傍サンプルの前記系列の反転バージョンをイントラ予測モードの前記第2の部分集合のイントラ予測モードに関連付けられる線形またはアフィン線形変換に適用することによって、前記インデックス(91〜95)が指す前記イントラ予測モードを使用して前記所定のブロック(18)の前記予測を行うように構成される、
    請求項34から45のいずれか一項に記載のエンコーダ。
  47. 前記第2の集合の前記イントラ予測モードのうちの少なくとも1つに対して、前記1個のイントラ予測モードを使用する前記予測が、空間領域から変換領域へのまたは変換領域から変換領域への前記所定のブロックの予測を必要とする、請求項34から46のいずれか一項に記載のエンコーダ。
  48. ルマ成分に対して前記第1または第2の集合(121、122)のイントラ予測モードを使用し、クロマ成分に対して前記第1の集合(121)のイントラ予測モードを使用するように構成される、請求項34から47のいずれか一項に記載のエンコーダ。
  49. ルマ成分に対して使用される前記第2の集合(122)の少なくとも1つのモードを前記クロマ成分に対する前記第1の集合(121)のモードにマッピングするように構成される、請求項34から48のいずれか一項に記載のエンコーダ。
  50. 前記第2の写像は、前記第2の集合(122)の複数のモードを前記第1の集合(122)の単一のモードにマッピングする、請求項34から49のいずれか一項に記載のエンコーダ。
  51. 前記第2の写像は、前記第2の集合(122)のすべての前記モードを前記第1の集合(122)の前記単一のモードにマッピングする、請求項34から50のいずれか一項に記載のエンコーダ。
  52. 前記第1の集合(122)の前記単一のモードが前記planarモードである、請求項34から51のいずれか一項に記載のエンコーダ。
  53. 複数の方向性予測モードとDCモードおよびplanarモードのうちの少なくとも1つとを含むイントラ予測モードの第1の集合、ならびにイントラ予測モードの第2の集合をサポートするデータストリーム上にピクチャを符号化するための方法であって、
    前記データストリーム(80)内の第1の信号(81)に基づいて、前記所定のブロック(18)を前記第1の集合または前記第2の集合に割り当て、符号化するステップと、
    イントラ予測モードのリストを取得するために、前記所定のブロックの近傍の近傍ブロックに対して使用されるイントラ予測モードに従って、予測モードの前記割り当てられた集合をソートするステップと、
    前記所定のブロックに対して、イントラ予測モードの前記リスト内へのインデックスを決定するステップと、
    前記インデックスが指すイントラ予測モードを使用して前記所定のブロックを予測するステップと、
    前記データストリーム(80)を符号化するステップと
    を含み、
    前記エンコーダは、
    前記割り当てられた集合がイントラ予測モードの前記第2の集合である場合、前記割り当てられた集合をソートする際、予測モードの前記第1の集合の各イントラ予測モードを前記イントラ予測モードの前記第2の集合内の代表的な1個のイントラ予測モードにマッピングする第1の写像を使用し、および/または
    前記割り当てられた集合がイントラ予測モードの前記第1の集合である場合、前記割り当てられた集合をソートする際、予測モードの前記第2の集合の各イントラ予測モードをイントラ予測モードの前記第1の集合内の代表的な1個のイントラ予測モードにマッピングする第2の写像を使用するように構成される、方法。
  54. データストリームからピクチャを復号するためのデコーダであって、
    前記ピクチャの所定のブロック(18)を、
    前記所定のブロック(18)の第1の辺(18c)において前記所定のブロック(18)の近傍にある近傍サンプル(17'c)の第1の集合に変換係数の第1の集合を取得するための変換を受けさせ、および/または前記所定のブロックの第2の辺(18a)において前記所定のブロックの近傍にある近傍サンプルの第2の集合(17'a)に変換係数の第2の集合を取得するための変換を受けさせ、
    変換係数の前記第1および第2の集合の組合せ、もしくは近傍サンプル(17'c)の前記第1の集合と変換係数の前記第2の集合の組合せ、または近傍サンプル(17'a)の前記第2の集合と変換係数の前記第1の集合の組合せに線形またはアフィン線形変換(17M)を受けさせる
    ことによって予測するように構成される、デコーダ。
  55. 前記ピクチャを前記所定のブロックを含む異なるサイズの複数のブロックに細分割し、
    近傍サンプルの前記第1および第2の集合を含む近傍ブロックのサイズに依存しないように、近傍サンプルの前記第1および第2の集合を配置させる
    ように構成される、請求項54に記載のデコーダ。
  56. 近傍サンプルの前記第1および第2の集合がそれぞれ前記第1および第2の辺と並んで一次元経路に沿って配置されるように、近傍サンプルの前記第1および第2の集合を配置し、変換係数の前記第1および第2の集合は一次元変換を表す、よう構成される、
    請求項54または55に記載のデコーダ。
  57. 変換係数の前記第1および第2の集合の前記組合せがそれぞれ、変換係数の前記第1および/または第2の集合の取り出されない部分に依存しないように、変換係数の前記第1の集合から前記変換係数の第1の真の部分集合を、および/または、変換係数の前記第2の集合から前記変換係数の第2の真の部分集合を取り出すことによって、前記組合せを形成するように構成される、請求項54から56のいずれか一項に記載のデコーダ。
  58. 変換係数の前記第1および第2の集合の前記組合せに前記線形またはアフィン線形変換を前記受けさせることが、変換領域内で前記所定のブロックの予測(predictor)を生じさせるように構成される、請求項54から57のいずれか一項に記載のデコーダ。
  59. 変換係数の前記第1および第2の集合の前記組合せに前記線形またはアフィン線形変換を前記受けさせることが、前記所定のブロックの変換の変換係数の真の部分集合についての予測値を生じさせるように構成される、請求項54から58のいずれか一項に記載のデコーダ。
  60. 変換係数の前記第1および第2の集合の前記組合せに前記線形またはアフィン線形変換を前記受けさせることが、空間領域内で前記所定のブロックの予測(predictor)を生じさせるように構成される、請求項54から59のいずれか一項に記載のデコーダ。
  61. データストリームからピクチャを復号するための方法であって、
    前記ピクチャの所定のブロック(18)を、
    前記所定のブロック(18)の第1の辺(18c)において前記所定のブロック(18)の近傍にある近傍サンプル(17'c)の第1の集合に変換係数の第1の集合を取得するための変換を受けさせ、および/または前記所定のブロックの第2の辺(18a)において前記所定のブロックの近傍にある近傍サンプルの第2の集合(17'a)に変換係数の第2の集合を取得するための変換を受けさせ、
    変換係数の前記第1および第2の集合の組合せ、もしくは近傍サンプル(17'c)の前記第1の集合と変換係数の前記第2の集合の組合せ、または近傍サンプル(17'a)の前記第2の集合と変換係数の前記第1の集合の組合せに線形またはアフィン線形変換(17M)を受けさせる
    ことによって予測するステップを含む、方法。
  62. データストリーム上にピクチャを符号化するためのエンコーダであって、
    前記ピクチャの所定のブロック(18)を、
    前記所定のブロック(18)の第1の辺(18c)において前記所定のブロック(18)の近傍にある近傍サンプルの第1の集合に変換係数の第1の集合を取得するための変換を受けさせ、および/または前記所定のブロックの第2の辺(18a)において前記所定のブロックの近傍にある近傍サンプルの第2の集合(17'a)に変換係数の第2の集合を取得するための変換を受けさせ、
    変換係数の前記第1および第2の集合の組合せ、もしくは近傍サンプル(17'c)の前記第1の集合と変換係数の前記第2の集合の組合せ、または近傍サンプル(17'a)の前記第2の集合と変換係数の前記第1の集合の組合せに線形またはアフィン線形変換(17M)を受けさせる
    ことによって予測するように構成される、エンコーダ。
  63. 前記ピクチャを、前記所定のブロックを含む異なるサイズの複数のブロックに細分割し、
    近傍サンプルの前記第1および第2の集合を含む近傍ブロックのサイズに依存しないように、近傍サンプルの前記第1および第2の集合を配置する
    よう構成される、請求項62に記載のエンコーダ。
  64. 近傍サンプルの前記第1および第2の集合がそれぞれ前記第1および第2の辺と並んで一次元経路に沿って配置されるように、近傍サンプルの前記第1および第2の集合を配置し、変換係数の前記第1および第2の集合は一次元変換を表す、よう構成される、
    請求項62または63に記載のエンコーダ。
  65. 変換係数の前記第1および第2の集合の前記組合せがそれぞれ、変換係数の前記第1および/または第2の集合の取り出されていない部分に依存しないように、変換係数の前記第1の集合から前記変換係数の第1の真の部分集合および/または変換係数の前記第2の集合から前記変換係数の第2の真の部分集合を取り出すことによって、前記組合せを形成するように構成される、請求項62から64のいずれか一項に記載のエンコーダ。
  66. 変換係数の前記第1および第2の集合の前記組合せに前記線形またはアフィン線形変換を前記受けさせることが、変換領域内で前記所定のブロックの予測(predictor)を生じさせるように構成される、請求項62から65のいずれか一項に記載のエンコーダ。
  67. 変換係数の前記第1および第2の集合の前記組合せに前記線形またはアフィン線形変換を前記受けさせることが、前記所定のブロックの変換の変換係数の真の部分集合に対する予測値を生じさせるように構成される、請求項62から66のいずれか一項に記載のエンコーダ。
  68. 変換係数の前記第1および第2の集合の前記組合せに前記線形またはアフィン線形変換を前記受けさせることが、空間領域内で前記所定のブロックの予測(predictor)を生じさせるように構成される、請求項62から67のいずれか一項に記載のエンコーダ。
  69. データストリームからピクチャを符号化するための方法であって、
    前記ピクチャの所定のブロック(18)を、
    前記所定のブロック(18)の第1の辺(18c)において前記所定のブロック(18)の近傍にある近傍サンプル(17'c)の第1の集合に変換係数の第1の集合を取得するための変換を受けさせ、および/または前記所定のブロックの第2の辺(18a)において前記所定のブロックの近傍にある近傍サンプル(17'a)の第2の集合に変換係数の第2の集合を取得するための変換を受けさせ、
    変換係数の前記第1および第2の集合の組合せ、もしくは近傍サンプル(17'c)の前記第1の集合と変換係数の前記第2の集合の組合せ、または近傍サンプル(17'a)の前記第2の集合と変換係数の前記第1の集合の組合せに線形またはアフィン線形変換(17M)を受けさせる
    ことによって予測するステップを含む、方法。
  70. 請求項10から13、34から53、62から68のうちの一項に記載のエンコーダおよび/または請求項1から7、15から32、54から60のいずれか一項に記載のデコーダを備える、システム。
  71. 請求項14、53、69のいずれか一項に記載の符号化のための方法および/または請求項9、33、61のいずれか一項に記載の復号のための方法を含む、方法。
  72. プロセッサによって実行されると、前記プロセッサに、請求項14、53、69、9、33、61、71のいずれか一項に記載の方法を実行させる命令を記憶した、非一時的記憶ユニット。
JP2021514023A 2018-09-13 2019-09-13 アフィン線形加重イントラ予測 Pending JP2022500916A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023093120A JP2023113820A (ja) 2018-09-13 2023-06-06 アフィン線形加重イントラ予測

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18194357.2 2018-09-13
EP18194357 2018-09-13
PCT/EP2019/074504 WO2020053394A1 (en) 2018-09-13 2019-09-13 Affine linear weighted intra predictions

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023093120A Division JP2023113820A (ja) 2018-09-13 2023-06-06 アフィン線形加重イントラ予測

Publications (1)

Publication Number Publication Date
JP2022500916A true JP2022500916A (ja) 2022-01-04

Family

ID=63722142

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021514023A Pending JP2022500916A (ja) 2018-09-13 2019-09-13 アフィン線形加重イントラ予測
JP2023093120A Pending JP2023113820A (ja) 2018-09-13 2023-06-06 アフィン線形加重イントラ予測

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023093120A Pending JP2023113820A (ja) 2018-09-13 2023-06-06 アフィン線形加重イントラ予測

Country Status (9)

Country Link
US (2) US11659169B2 (ja)
EP (1) EP3850840A1 (ja)
JP (2) JP2022500916A (ja)
KR (2) KR20240007716A (ja)
CN (1) CN113170114B (ja)
BR (1) BR112021004890A2 (ja)
MX (1) MX2021002931A (ja)
TW (2) TWI801087B (ja)
WO (1) WO2020053394A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112021011929A2 (pt) * 2018-12-20 2021-09-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Unidade de armazenamento não transitória, decodificador para decodificação e codificador para codificação de uma figura a partir de um fluxo contínuo de dados e método de decodificação e codificação
MX2021012229A (es) 2019-04-12 2021-11-03 Beijing Bytedance Network Tech Co Ltd Determinacion de modo de codificacion de croma basada en intraprediccion basada en matriz.
CN117499656A (zh) * 2019-04-16 2024-02-02 北京字节跳动网络技术有限公司 帧内编解码模式下的矩阵推导
KR20220002318A (ko) 2019-05-01 2022-01-06 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 필터링을 이용한 행렬 기반 인트라 예측
WO2020221372A1 (en) 2019-05-01 2020-11-05 Beijing Bytedance Network Technology Co., Ltd. Context coding for matrix-based intra prediction
US11284093B2 (en) 2019-05-09 2022-03-22 Qualcomm Incorporated Affine linear weighted intra prediction in video coding
BR112021022868A2 (pt) 2019-05-22 2022-01-04 Beijing Bytedance Network Tech Co Ltd Método de processamento de vídeos, aparelho para processar dados de vídeo e meios de armazenamento e gravação não transitórios legíveis por computador
WO2020239017A1 (en) 2019-05-31 2020-12-03 Beijing Bytedance Network Technology Co., Ltd. One-step downsampling process in matrix-based intra prediction
EP3963885A4 (en) 2019-06-05 2022-12-14 Beijing Bytedance Network Technology Co., Ltd. DETERMINING CONTEXT FOR MATRIX-BASED INTRAPREDICTION
EP3984228A4 (en) * 2019-06-14 2023-03-29 Telefonaktiebolaget Lm Ericsson (Publ) SAMPLE VALUE CLIPPING ON MIP REDUCED PREDICTION
AU2019204437B2 (en) * 2019-06-24 2022-02-03 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a block of video samples
KR20220082847A (ko) 2019-10-28 2022-06-17 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 색상 성분에 기초한 신택스 시그널링 및 파싱
US11678394B2 (en) * 2020-06-24 2023-06-13 Qualcomm Incorporated Techniques for multicast beam failure and recovery
US11595665B2 (en) 2021-02-11 2023-02-28 Qualcomm Incorporated Upsampling reference pixels for intra-prediction in video coding
US20230069984A1 (en) * 2021-08-24 2023-03-09 Tencent America LLC Hardware friendly design for intra mode coding

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005529527A (ja) * 2002-06-11 2005-09-29 ノキア コーポレイション イントラ符号化に基づく空間予測
JP2014517630A (ja) * 2011-06-09 2014-07-17 クゥアルコム・インコーポレイテッド 隣接モードを使用したビデオコーディングのための拡張イントラ予測モードシグナリング
US20140226717A1 (en) * 2011-10-18 2014-08-14 Lg Electronics Inc. Method for intra prediction and device therefor
JP2014195290A (ja) * 2009-08-17 2014-10-09 Samsung Electronics Co Ltd 映像復号化方法
JP2016213856A (ja) * 2010-08-17 2016-12-15 エム アンド ケー ホールディングス インコーポレイテッド イントラ予測モード符号化方法
WO2016199330A1 (ja) * 2015-06-12 2016-12-15 パナソニックＩｐマネジメント株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
WO2018127624A1 (en) * 2017-01-03 2018-07-12 Nokia Technologies Oy Video and image coding with wide-angle intra prediction
US20180255295A1 (en) * 2015-09-11 2018-09-06 Kt Corporation Method and device for processing video signal

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771264B1 (en) * 1998-08-20 2004-08-03 Apple Computer, Inc. Method and apparatus for performing tangent space lighting and bump mapping in a deferred shading graphics processor
JP2008005197A (ja) * 2006-06-22 2008-01-10 Toshiba Corp デコード装置およびデコード方法
KR101003105B1 (ko) * 2008-01-29 2010-12-21 한국전자통신연구원 어파인 변환 기반의 움직임 보상을 이용한 비디오 부호화 및 복호화 방법 및 장치
US8902978B2 (en) * 2010-05-30 2014-12-02 Lg Electronics Inc. Enhanced intra prediction mode signaling
US9008175B2 (en) * 2010-10-01 2015-04-14 Qualcomm Incorporated Intra smoothing filter for video coding
KR101675707B1 (ko) 2011-06-23 2016-11-11 가부시키가이샤 제이브이씨 켄우드 화상 인코딩 장치, 화상 인코딩 방법 및 화상 인코딩 프로그램, 및 화상 디코딩 장치, 화상 디코딩 방법 및 화상 디코딩 프로그램
US9154796B2 (en) * 2011-11-04 2015-10-06 Qualcomm Incorporated Intra-mode video coding
WO2013106986A1 (en) * 2012-01-16 2013-07-25 Mediatek Singapore Pte. Ltd. Methods and apparatuses of intra mode coding
HUE050473T2 (hu) * 2012-01-20 2020-12-28 Dolby Laboratories Licensing Corp Eljárás belsõ predikciós mód leképezésére
JP5947641B2 (ja) 2012-07-06 2016-07-06 キヤノン株式会社 動画像符号化装置及びその制御方法、コンピュータプログラム
KR102367210B1 (ko) * 2012-10-01 2022-02-24 지이 비디오 컴프레션, 엘엘씨 공간적 인트라 예측 파라미터들의 인터-레이어 예측을 이용한 스케일러블 비디오 코딩
US20180035123A1 (en) * 2015-02-25 2018-02-01 Telefonaktiebolaget Lm Ericsson (Publ) Encoding and Decoding of Inter Pictures in a Video
KR20150045980A (ko) * 2015-04-14 2015-04-29 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
US9743092B2 (en) * 2015-10-13 2017-08-22 Nokia Technologies Oy Video coding with helper data for spatial intra-prediction
WO2018111132A1 (en) * 2016-12-15 2018-06-21 Huawei Technologies Co., Ltd Intra sharpening and/or de-ringing filter for video coding
JP7210568B2 (ja) 2017-10-13 2023-01-23 フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン ブロック単位の画像符号化のためのイントラ予測モード概念
US20210274175A1 (en) * 2018-06-27 2021-09-02 Electronics And Telecommunications Research Institute Image encoding/decoding method and device, and recording medium in which bitstream is stored
CA3106440A1 (en) * 2018-07-16 2020-01-23 Electronics And Telecommunications Research Institute Image encoding/decoding method and apparatus, and recording medium in which bitstream is stored
CN112567740B (zh) * 2018-08-29 2023-03-10 华为技术有限公司 用于帧内预测的方法和装置
US11134257B2 (en) * 2019-04-04 2021-09-28 Tencent America LLC Simplified signaling method for affine linear weighted intra prediction mode

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005529527A (ja) * 2002-06-11 2005-09-29 ノキア コーポレイション イントラ符号化に基づく空間予測
JP2014195290A (ja) * 2009-08-17 2014-10-09 Samsung Electronics Co Ltd 映像復号化方法
JP2016213856A (ja) * 2010-08-17 2016-12-15 エム アンド ケー ホールディングス インコーポレイテッド イントラ予測モード符号化方法
JP2014517630A (ja) * 2011-06-09 2014-07-17 クゥアルコム・インコーポレイテッド 隣接モードを使用したビデオコーディングのための拡張イントラ予測モードシグナリング
US20140226717A1 (en) * 2011-10-18 2014-08-14 Lg Electronics Inc. Method for intra prediction and device therefor
WO2016199330A1 (ja) * 2015-06-12 2016-12-15 パナソニックＩｐマネジメント株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
US20180255295A1 (en) * 2015-09-11 2018-09-06 Kt Corporation Method and device for processing video signal
WO2018127624A1 (en) * 2017-01-03 2018-07-12 Nokia Technologies Oy Video and image coding with wide-angle intra prediction

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JONATHAN PFAFF, PHILIPP HELLE, DOMINIQUE MANIRY, STEPHAN KALTENSTADLER, BJORN STALLENBERGER, PHILIPP: "Intra prediction modes based on neural networks [online]", JVET-J JVET-J0037-V1, JPN6022027987, 17 October 2019 (2019-10-17), pages 1 - 14, ISSN: 0004983883 *
PHILIPP HELLE, TOBIAS HINZ, ROMAN RISCHKE, JONATHAN PFAFF, PHILIPP MERKLE, MICHAEL SCHAFER, BJORN ST: "CE3-related: Non-linear weighted intra prediction (cross-check report in JVET-K0262) [online]", JVET-K JVET-K0196-V3, JPN6022027986, 17 October 2019 (2019-10-17), pages 1 - 7, ISSN: 0004983884 *

Also Published As

Publication number Publication date
TWI759629B (zh) 2022-04-01
US20230276048A1 (en) 2023-08-31
TWI801087B (zh) 2023-05-01
TW202218429A (zh) 2022-05-01
KR20240007716A (ko) 2024-01-16
JP2023113820A (ja) 2023-08-16
MX2021002931A (es) 2021-07-16
US11659169B2 (en) 2023-05-23
KR102622452B1 (ko) 2024-01-09
TW202019183A (zh) 2020-05-16
CN113170114A (zh) 2021-07-23
BR112021004890A2 (pt) 2021-06-01
US20210218960A1 (en) 2021-07-15
WO2020053394A1 (en) 2020-03-19
EP3850840A1 (en) 2021-07-21
CN113170114B (zh) 2024-03-29
KR20210058885A (ko) 2021-05-24

Similar Documents

Publication Publication Date Title
JP2022500916A (ja) アフィン線形加重イントラ予測
US10841614B2 (en) Low-complexity intra prediction for video coding
TWI815272B (zh) 使用具有鄰近取樣縮減的線性或仿射變換的內預測
JP2020145753A (ja) 変換係数ブロック復号装置および方法、ならびに変換係数ブロック符号化装置および方法
TWI771679B (zh) 以區塊為基礎之預測技術
US20210314619A1 (en) Video signal processing method and device using secondary transform
CN105828075A (zh) 在hevc中的采样自适应偏移中的灵活带偏移模式
KR20130027975A (ko) 인트라 예측 모드 부호화/복호화 방법 및 장치
EP3984217A1 (en) Coding of intra-prediction modes
JP2022521933A (ja) 符号化方法、復号化方法、デコーダ、エンコーダー及び記憶媒体
AU2020354500B2 (en) Efficient implementation of matrix-based intra-prediction
KR20220161439A (ko) 4:4:4 크로마 포맷 및 단일 트리 케이스에서 모든 채널에 대한 매트릭스 기반 예측
CN112135147A (zh) 编码方法、解码方法及装置
US11770532B2 (en) Method and apparatus for controlling coding tools
KR20190122514A (ko) 데이터 부호 정보 Hiding 검출 방법을 이용한 비디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210511

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210511

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220411

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221004

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240403