JP2023056004A - 符号化方法及び復号化方法、並びにそれを利用する装置 - Google Patents

符号化方法及び復号化方法、並びにそれを利用する装置 Download PDF

Info

Publication number
JP2023056004A
JP2023056004A JP2023021838A JP2023021838A JP2023056004A JP 2023056004 A JP2023056004 A JP 2023056004A JP 2023021838 A JP2023021838 A JP 2023021838A JP 2023021838 A JP2023021838 A JP 2023021838A JP 2023056004 A JP2023056004 A JP 2023056004A
Authority
JP
Japan
Prior art keywords
intra
current block
mode
transform
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023021838A
Other languages
English (en)
Inventor
キム、フイ、ヨン
Hui Yong Kim
パク、クワン、フン
Gwang Hoon Park
キム、キョン、ヨン
Kyung Yong Kim
リム、ソン、チャン
Sung Chang Lim
リー、ジン、ホ
Jin-Ho Lee
チェ、ジン、ス
Jin Soo Choi
キム、ジン、ウン
Jin Woong Kim
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Industry Academic Cooperation Foundation of Kyung Hee University
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Industry Academic Cooperation Foundation of Kyung Hee University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI, Industry Academic Cooperation Foundation of Kyung Hee University filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of JP2023056004A publication Critical patent/JP2023056004A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】符号化方法及び復号化方法及びそれを利用する装置を提供する。【解決手段】方法は、ビットストリームから現在ブロックに関連する画面内予測モードを取得するステップと、画面内予測モードに基づいて、現在ブロックに画面内予測を実行することによって、現在ブロックの予測サンプルを取得するステップと、現在ブロックの変換係数をスキャニングするステップと、変換係数に対して逆量子化を実行することにより、現在ブロックの逆量子化された変換係数を取得するステップと、現在ブロックの変換タイプを決定するステップと、決定された変換タイプに基づいて、逆量子化された変換係数に対して逆変換を実行することによって現在ブロックの残差サンプルを取得するステップと、を備える。変換タイプは、DCT(離散コサイン変換)又はDST(離散サイン変換)であると決定され、かつ、現在ブロックの画面内予測モードとは独立して決定される。【選択図】なし

Description

本発明は、映像符号化及び復号化技術に関し、より具体的には、色差(chroma)信
号に対する周波数変換方式及び/又はスキャン方式を決定する方法、並びにそれを利用す
る装置に関する。
最近、HD(High Definition)解像度を有する放送サービスが韓国内だ
けでなく、世界的に拡大されている。これによって、多くのユーザが高解像度、高画質の
映像に慣れており、多くの機関が次世代映像機器に対する開発に拍車を掛けている。
HDTVと共にHDTVの4倍以上の解像度を有するUHD(Ultra High D
efinition)に対する関心が増大するにつれて、より高い解像度、高画質の映像
に対する圧縮機術が要求されている。
映像圧縮のために、現在ピクチャのピクセル情報を予測により符号化することができる
。例えば、時間的に以前及び/又は以後のピクチャから現在ピクチャに含まれているピク
セル値を予測する画面間(inter)予測技術が適用され、現在ピクチャ内のピクセル情
報を利用して現在ピクチャに含まれているピクセル値を予測する画面内(intra)予測
技術が適用されることができる。
ピクセル情報は、輝度(luma)に対する輝度信号と色差(chroma)に対する
色差信号があり、人間の視覚が輝度に敏感であるという点を利用して輝度信号と色差信号
を異なるように扱うこともでき、同じに扱うこともできる。
したがって、色差信号と輝度信号を区分して効果的に扱う方法が問題になる。
本発明は、ビデオ符号化/復号化において、符号化/復号化効率を上げる方法及び装置を
提供することを目的とする。
本発明は、色差信号に対する効率的な周波数変換方法及び装置と、色差信号に対する効
率的なスキャン方法及び装置とを提供することを目的とする。
本発明の一実施形態において、色差信号に対する周波数変換方式及びスキャン方式を選
択するにあたって、色差信号の画面内予測モードによって周波数変換方式を異なるように
適用することができ、画面内予測モードによってスキャン方式を異なるように決定するこ
ともできる。
本発明の他の実施形態において、前記現在ブロックの輝度サンプルに対する画面内予測
モードによって前記現在ブロックの輝度信号及び色差信号に対するスキャニングタイプを
決定することができる。
このとき、色差信号に対するスキャニングタイプは、輝度信号に対するスキャニングタ
イプとして同一に適用することができる。または、色差信号に対するスキャニングタイプ
は、輝度信号に対するスキャニングタイプを決定する方法と同じ方法で決定されることも
できる。
本発明によると、ビデオ符号化/復号化において、符号化/復号化効率を上げることがで
きる。具体的に、本発明によると、色差信号に対する周波数変換及び/又はスキャンを効
率的に実行することができる。
また、本発明によると、色差信号に対して周波数変換方式とスキャニング方法を選択す
るにあたって、色差信号の画面内予測方向モードによって色差信号に対する周波数変換方
式を適用し、また、色差信号に対するスキャニング方向を誘導する方法及び装置を利用す
ることで、色差信号の残余信号に対する符号化効率を上げることができる。
本発明が適用される映像符号化装置の一実施例に係る構成を示すブロック図である。 本発明が適用される映像復号化装置の一実施例に係る構成を示すブロック図である。 映像を符号化する時、LCU内でCUを分割する方法の一例を簡単に示す図面である。 PUの分割構造に対する例を概略的に説明する図面である。 CU内TUの分割構造の一例を簡単に示す図面である。 画面内予測のモードを概略的に説明する図面である。 数式1の関係を概略的に説明する図面である。 重要グループフラグ及び変換係数に対する上段右側方向スキャニングの一例を説明する図面である。 画面予測方向によってスキャニング方向を決定する方法の一例を説明するフローチャートである。 画面予測方向によってスキャニング方向を決定する方法の他の例を簡単に説明するフローチャートである。 残余映像に対する周波数変換方式を選択する方法の一例を説明するフローチャートである。 本実施例によって、色差信号に対するスキャニング方向を誘導する方法の一例を説明するフローチャートである。 本実施例によって、色差信号に対するスキャニング方向を誘導する方法の他の例を説明するフローチャートである。 本実施例によって、色差信号に対するスキャニング方向を誘導する方法の一実施例を示すフローチャートである。 本実施例によって、色差信号に対するスキャニング方向を誘導する方法の他の例を説明するフローチャートである。 本実施例によって、色差信号の画面内予測方向モードに基づいて色差信号の残余映像に対する周波数変換方式を選択的に誘導する方法の一例を説明するフローチャートである。 本実施例によって、色差信号の画面内予測方向モードに基づいて色差信号の残余映像に対する周波数変換方式を選択的に誘導する方法の他の例を説明するフローチャートである。 本実施例によって、色差信号のLMモードに対して輝度信号の画面内予測方向モードによって色差信号の残余映像に対する周波数変換方式を選択的に誘導する方法を説明するフローチャートである。 本実施例によって、色差信号のIntra_FromLuma(LM)符号化モードに対して輝度信号の画面内予測方向モードによって色差信号の残余映像に対する周波数変換方式を選択的に誘導する方法の他の例を説明するフローチャートである。 本実施例によって、画面内予測方向モードに基づいて色差信号の残余映像に対する周波数変換方式を選択的に誘導する方法の一例を説明するフローチャートである。 本実施例によって、画面内予測方向モードに基づいて色差信号の残余映像に対する周波数変換方式を選択的に誘導する方法の他の例を説明するフローチャートである。 輝度ブロックと色差ブロックとの間の解像度差の一例を示す図面である。 輝度ブロックと色差ブロックとの間の解像度差を説明する他の例を示す図面である。 本発明による符号化装置の他の例を示す図面である。 本発明による復号化装置の他の例を示す図面である。
以下、図面を参照して本発明の実施例に対して具体的に説明する。本明細書の実施例を
説明するにあたって、関連した公知構成又は機能に対する具体的な説明が本明細書の要旨
を不要に不明りょうにすると判断される場合にはその詳細な説明は省略する。
本明細書において、一構成要素が他の構成要素に“連結されている”又は“接続されて
いる”と言及された場合、当該他の構成要素に直接的に連結されている、又は接続されて
いることを意味し、又は中間に他の構成要素が存在することを意味する。また、本明細書
において、特定構成を“含む”と記述する内容は、当該構成以外の構成を排除するもので
はなく、追加的な構成が本発明の実施又は本発明の技術的思想の範囲に含まれることがで
きることを意味する。
第1、第2などの用語は、多様な構成の説明に使われることができるが、前記構成は、
前記用語により限定されるものではない。前記用語は、一つの構成要素を他の構成要素か
ら区別する目的として使われる。例えば、本発明の権利範囲を外れない限り、第1の構成
は第2の構成と命名することができ、同様に、第2の構成も第1の構成と命名することが
できる。
また、本発明の実施例に開示する構成部は、互いに異なる特徴的な機能を示すために独
立的に図示されるものであり、各構成部が分離されたハードウェアや一つのソフトウェア
構成単位に構成されることを意味しない。即ち、各構成部は、説明の便宜上、それぞれの
構成部として羅列して含むものであり、各構成部のうち少なくとも2個の構成部が統合さ
れて一つの構成部からなり、又は一つの構成部が複数個の構成部に分けられて機能を遂行
することができる。各構成部の統合された実施例及び分離された実施例も本発明の本質か
ら外れない限り本発明の権利範囲に含まれる。
また、一部の構成要素は、本発明で本質的な機能を遂行する必須的構成要素ではなく、
単に性能を向上させるための選択的構成要素である。本発明は、単に性能向上のために使
われる構成要素を除いた本発明の本質具現に必須的な構成部のみを含んで具現されること
ができ、単に性能向上のために使われる選択的な構成要素を除いた必須的な構成要素のみ
を含む構造も本発明の権利範囲に含まれる。
図1は、本発明が適用される映像符号化装置の一実施例に係る構成を示すブロック図で
ある。
図1を参照すると、前記映像符号化装置100は、動き予測部111、動き補償部11
2、イントラ予測部120、スイッチ115、減算器125、変換部130、量子化部1
40、エントロピー符号化部150、逆量子化部160、逆変換部170、加算器175
、フィルタ部180、及び参照映像バッファ190を含む。
映像符号化装置100は、入力映像に対してイントラ(intra)モード又はインター
(inter)モードに符号化を実行することで、ビットストリームを出力することができ
る。イントラ予測は、画面内予測を意味し、インター予測は、画面間予測を意味する。イ
ントラモードである場合、スイッチ115がイントラに切り替えられ、インターモードで
ある場合、スイッチ115がインターに切り替えられることができる。映像符号化装置1
00は、入力映像の入力ブロックに対する予測ブロックを生成した後、入力ブロックと予
測ブロックとの差分を符号化することができる。このとき、入力映像は、元映像(ori
ginal picture)を意味する。
イントラモードである場合、イントラ予測部120は、現在ブロック周辺の既に符号化
されたブロックのピクセル値を利用して空間的予測を実行することで、予測ブロックを生
成することができる。
インターモードである場合、動き予測部111は、動き予測過程で参照映像バッファ1
90に格納されている参照映像で入力ブロックと最もよくマッチされる領域を探して動き
ベクトルを求めることができる。動き補償部112は、動きベクトルを利用して動き補償
を実行することによって予測ブロックを生成することができる。ここで、動きベクトルは
、インター予測に使われる2次元ベクトルであり、現在ブロックと参照映像内のブロック
との間のオフセットを示すことができる。
減算器125は、入力ブロックと生成された予測ブロックとの差分により残差ブロック
を生成することができる。変換部130は、残差ブロックに対して変換(transfo
rm)を実行することで、変換係数(transform coefficient)を出力
することができる。そして、量子化部140は、入力された変換係数を量子化媒介変数と
量子化行列のうち少なくとも一つを利用して量子化することで、量子化された係数(qu
antized coefficient)を出力することができる。このとき、量子化行
列は、符号化器に入力され、入力された量子化行列が符号化器で使われると決定されるこ
とができる。
エントロピー符号化部150は、量子化部140で算出された値又は符号化過程で算出
された符号化パラメータ値などに基づいてエントロピー符号化を実行することで、ビット
ストリーム(bit stream)を出力することができる。エントロピー符号化が適用
される場合、高い発生確率を有するシンボル(symbol)に少ない数のビットが割り当
てられ、低い発生確率を有するシンボルに多い数のビットが割り当てられてシンボルが表
現されることによって、符号化対象シンボルに対するビット列の大きさが減少されること
ができる。したがって、エントロピー符号化を介して映像符号化の圧縮性能が高まること
ができる。エントロピー符号化部150は、エントロピー符号化のために、指数-ゴロム
コード(Exponential-Golomb Code)、CAVLC(Context
-Adaptive Variable Length Coding)、CABAC(Co
ntext-Adaptive Binary Arithmetic Coding)のよ
うな符号化方法を使用することができる。
図1の実施例に係る映像符号化装置は、インター予測符号化、即ち、画面間予測符号化
を実行するため、現在符号化された映像は、参照映像として使われるために復号化されて
格納される必要がある。したがって、量子化された係数は、逆量子化部160で逆量子化
され、逆変換部170で逆変換される。逆量子化及び逆変換された係数は、復元された残
差ブロックになって加算器175を介して予測ブロックと加えられて復元ブロックが生成
される。
復元ブロックは、フィルタ部180を経て、フィルタ部180は、デブロッキングフィ
ルタ(deblocking filter)、SAO(Sample Adaptive O
ffset)、ALF(Adaptive Loop Filter)のうち少なくとも一つ
以上を復元ブロック又は復元ピクチャに適用することができる。フィルタ部180は、イ
ンループ(in-loop)フィルタとも呼ばれる。デブロッキングフィルタは、ブロック
間の境界に発生したブロック歪曲を除去することができる。SAOは、コーディングエラ
ーを補償するためにピクセル値に適正オフセット(offset)値を加えることができる
。ALFは、復元された映像と元来の映像を比較した値に基づいてフィルタリングを実行
することができる。フィルタ部180を経た復元ブロックは、参照映像バッファ190に
格納されることができる。
図2は、本発明が適用される映像復号化装置の一実施例に係る構成を示すブロック図で
ある。
図2を参照すると、前記映像復号化装置200は、エントロピー復号化部210、逆量
子化部220、逆変換部230、イントラ予測部240、動き補償部250、加算器25
5、フィルタ部260、及び参照映像バッファ270を含む。
映像復号化装置200は、符号化器で出力されたビットストリームの入力を受けてイン
トラモード又はインターモードに復号化を実行することで、再構成された映像、即ち、復
元映像を出力することができる。イントラモードである場合、スイッチがイントラに切り
替えられ、インターモードである場合、スイッチがインターに切り替えられることができ
る。映像復号化装置200は、入力されたビットストリームから復元された残差ブロック
(reconstructed residual block)を得、予測ブロックを生成
した後、復元された残差ブロックと予測ブロックを加えて再構成されたブロック、即ち、
復元ブロックを生成することができる。
エントロピー復号化部210は、入力されたビットストリームを確率分布によってエン
トロピー復号化し、量子化された係数(quantized coefficient)形
態のシンボルを含むシンボルを生成することができる。エントロピー復号化方法は、前述
したエントロピー符号化方法と同様である。
エントロピー復号化方法が適用される場合、高い発生確率を有するシンボルに少ない数
のビットが割り当てられ、低い発生確率を有するシンボルに多い数のビットが割り当てら
れてシンボルが表現されることによって、各シンボルに対するビット列の大きさが減少さ
れることができる。
量子化された係数は、逆量子化部220で量子化媒介変数を利用して逆量子化され、逆
変換部230で逆変換され、量子化された係数が逆量子化/逆変換された結果、復元され
た残差ブロックが生成されることができる。
逆量子化に使われる量子化行列は、スケーリングリストとも呼ばれる。逆量子化部22
0は、量子化された係数に量子化行列を適用して逆量子化された係数を生成することがで
きる。
このとき、逆量子化部220は、符号化器で適用された量子化に対応して逆量子化を実
行することができる。例えば、逆量子化部220は、符号化器で適用された量子化行列を
量子化された係数に逆に適用して逆量子化を実行することができる。
映像復号化装置200で逆量子化に使われる量子化行列は、ビットストリームから受信
されることもでき、符号化器及び/又は復号化器が既に保有した基本行列が使われること
もできる。送信される量子化行列の情報は、シーケンスパラメータセット又はピクチャパ
ラメータセットを介して量子化行列大きさ又は量子化行列が適用される変換ブロック大き
さ別に受信されることができる。例えば、4×4変換ブロックのための4×4量子化行列
が受信され、8×8変換ブロックのための8×8行列が受信され、16×16変換ブロッ
クのための16×16行列が受信され、32×32変換ブロックのための32×32行列
が受信されることができる。
イントラモードである場合、イントラ予測部240は、現在ブロック周辺の既に復号化
されたブロックのピクセル値を利用して空間的予測を実行することで、予測ブロックを生
成することができる。インターモードである場合、動き補償部250は、動きベクトル及
び参照映像バッファ270に格納されている参照映像を利用して動き補償を実行すること
によって予測ブロックを生成することができる。
復元された残差ブロックと予測ブロックは、加算器255を介して加えられ、加えられ
たブロックは、フィルタ部260を経ることができる。フィルタ部260は、デブロッキ
ングフィルタ、SAO、ALFのうち少なくとも一つ以上を復元ブロック又は復元ピクチ
ャに適用することができる。フィルタ部260は、再構成された映像、即ち、復元映像を
出力することができる。復元映像は、参照映像バッファ270に格納されてインター予測
に使われることができる。
HEVCでは、映像を効率的に符号化するために、符号化単位(Coding Unit
、以下‘CU’という)別に符号化を実行することができる。
図3は、映像を符号化する時、最大大きさCU(Largest Coding Uni
t、以下‘LCU’という)内でCUを分割する方法の一例を簡単に示す。
符号化装置に入力された映像は、図3のように、LCU単位に順次分割された後、LC
U単位で分割構造が決定されることができる。
分割構造は、LCU内で映像を効率的に符号化するためのCUの分布を意味する。CU
の分布は、CUの大きさを縦横に半分減少した4個のCUに分割するかどうかを決定する
ことによって特定されることができる。分割されたCUは、同じ方式により縦横に半分減
少した4個のCUに再帰的に分割することができる。
このとき、CUの分割は、予め定義された深さまで実行されることもできる。深さ情報
は、CUの大きさを示す情報であり、全てのCUに格納されている。基本になるLCUの
深さは0であり、最小大きさCU(Smallest Coding Unit、以下‘S
CU’という)の深さは、予め定義された最大深さである。
LCUから縦横に半分に分割を実行する時毎にCUの深さが1ずつ増加する。それぞれ
の深さで、分割が実行されないCUの場合には、2N×2Nの大きさを有し、分割が実行
される場合、分割前2N×2NのCUは、N×N大きさのCU4個に分割される。
CUの大きさは、深さが1ずつ増加する時毎に半分に減少する。図3では、最小深さが
0であるLCUの大きさが64×64画素であり、最大深さが3であるSCUの大きさが
8×8画素である場合を例として説明する。
図3の例において、64×64画素のCU(LCU)は、深さが0であり、32×32画
素のCUは、深さが1であり、16×16画素のCUは、深さが2であり、8×8画素の
CU(SCU)は、深さが3である。
また、CUを分割するかどうかに対する情報は、CU毎に1ビットの分割情報を介して
表現する。この分割情報は、SCUを除外した全てのCUに含まれており、CUを分割し
ない場合には分割情報の値を0に設定し、分割する場合には分割情報の値を1に設定する
ことができる。
予測単位(Prediction Unit、以下‘PU’という)は、予測の単位であ
る。
図4は、PUの分割構造に対する例を概略的に説明する図面である。
図4の例のように、一つのCUは、複数個のPUに分割されて予測が実行されることが
できる。
変換単位(Transform Unit、以下‘TU’という)は、CU内で空間変換
と量子化過程に使われる基本単位である。TUは、正四角形状又は直四角形状を有するこ
とができる。
各CUは、一つ又はそれ以上のTUブロックを有することができ、これはクワッドツリ
ー(quad-tree)の構造を有する。
図5は、CU内TUの分割構造の一例を簡単に示す。図示されているように、CU51
0内TUは、クワッドツリー構造によって多様な大きさを有することができる。
画面内予測(intra prediction)符号化/復号化では、現在ブロックの周
辺ブロックから方向性による予測符号化を実行することができる。
画面内予測では、33個の方向性予測モードと3個の非方向性予測モードを加えて総3
6個の予測モードを有して符号化/復号化を実行する。
図6は、画面内予測のモードを概略的に説明する図面である。
36個の画面内予測方向モードのうち、方向性がない3個のモードとして、平面モード
(Planar;Intra_Planar)、平均モード(DC;Intra_DC)、及び
復元された輝度信号から色差信号を予測するモード(LM;Intra_FromLuma
)が存在する。画面内予測では、この3個の非方向性モードを全部使用することができ、
このうち一部のみを利用することもできる。例えば、平面モードと平均モードのみを使用
し、LMモードを使用しない。
36個の画面内予測方向モードに対する符号化は、輝度信号及び色差信号に各々適用さ
れることができる。輝度信号の場合、LMモードは除外されることができ、色差信号の場
合、画面内予測方向モードに対する符号化は、表1のように三つの方法により実行される
ことができる。
Figure 2023056004000001
表1において、1番目に輝度信号の画面内予測方向モードを色差信号の画面内予測方向
モードにそのまま適用する誘導されたモード(DM:Derived Mode)が存在し
、2番目に実際画面内予測方向モードを適用する符号化モード(EM:Explicit
Mode)が存在する。EMモードに符号化される色差信号の画面内予測方向モードは、
平面モード(Planar)、平均モード(DC)、水平モード(Hor)、垂直モード(Ve
r)、垂直方向で8番目位置したモード(Ver+8又は34番モード)が存在する。最後
に復元された輝度信号から色差信号を予測するLMモードが存在する。
この三つのモードの符号化/復号化方法の中から最も効率が良いものが選択されること
ができる。
色差信号を予測して符号化/復号化する方法により復元された輝度信号サンプルから色
差信号を予測する方法(Intra_FromLuma)を利用することもできる。この技
術は、色差信号と輝度信号の線形的相関関係を利用する。このとき、利用される線形的相
関関係の一例は、数式1の通りである。
Figure 2023056004000002
図7は、数式1の関係を概略的に説明する図面である。
数式1のPred[x,y]は、図7(a)の色差(chroma)信号の予測値を意味し
、Rec[x,y]は、色差信号の4:2:0サンプリング比率を合わせるために輝度(l
uma)信号を数式2を介して計算した値を意味する。
Figure 2023056004000003
数式2において、α値とβ値は、ダウンサンプリングされた輝度信号と色差信号との間
の加重値(α)及び補償値(β)を示す。
数式1及び数式2を介して取得された色差信号に対する予測映像を利用することで、原
本映像との差である差分映像が生成されることができる。
差分映像は、周波数領域変換と量子化を経てエントロピー符号化される。併せて、周波
数領域変換には、整数変換、整数離散余弦変換(DCT)、整数離散正弦変換(DST)、又
は画面内予測モード従属的なDCT/DSTなどがある。
前述したように、原本映像と予測映像との差分映像は、周波数領域変換と量子化を経た
後、エントロピー符号化されることができる。このとき、エントロピー符号化の効率を上
げるために、2次元形態の量子化された映像の係数を1次元形態に再整列することができ
る。
既存には、ジグザグスキャニング方法を使用した。これと異なり、本明細書では、量子
化係数に対するスキャニング方法として、ジグザグスキャニング方法でない上段右側方向
(Up-right)を使用することができる。併せて、周波数領域変換には、整数変換、
整数離散余弦変換(DCT)、整数離散正弦変換(DST)、又は画面内予測モード従属的な
DCT/DSTなどがある。
任意のブロックに対する量子化係数は、4×4大きさのサブブロックのグループに分け
られて符号化/復号化されることができる。
図8は、重要グループフラグ及び変換係数に対する上段右側方向スキャニングの一例を
説明する図面である。
図8は、16×16大きさのブロックを4×4大きさのサブブロック16個に分けて符
号化する例を示す。
図8(a)は、スキャニングの基本的な方法を示し、図8(b)は、実際量子化係数をスキ
ャニングする場合の例とその結果を簡単に示す。
復号化過程で各サブブロックに変換係数が存在するかどうかは、ビットストリームから
パーシングされたsignificant_coeff_group_flag(sigGr
pFlag)を介して確認することができる。significant_coeff_gr
oup_flag値が‘1’の場合、当該4×4サブブロックに量子化された変換係数が
一つでも存在することを意味し、それに対し、significant_coeff_gr
oup_flag値が‘0’の場合、当該4×4サブブロックに量子化された変換係数が
存在しないことを意味する。図8における4×4サブブロックに対するスキャニング方向
及びsignificant_coeff_group_flagに対するスキャニング方
向には、両方とも基本的に上段右側(Up-right)スキャニング方向が適用された。
図8では、上段右側方向のスキャニング方法が適用されることを説明したが、量子化係
数に対するスキャニング方法には、上段右側方向(Up-right)、水平方向(Hor
izontal)、垂直方向(Vertical)がある。
画面間予測では、上段右側方向(Up-right)スキャニング方法を基本的に使用す
ることができ、画面内予測では、上段右側方向(Up-right)、水平方向(Hori
zontal)、垂直方向(Vertical)を選択的に使用することができる。
画面内予測において、スキャニング方向は、画面内予測方向によって異なるように選択
されることができる。輝度信号及び色差信号の両方ともに適用されることもできる。
表2は、画面予測方向によってスキャニング方向を決定する方法の一例を説明するもの
である。
Figure 2023056004000004
表2において、“IntraPredModeValue”は、画面内予測方向を意味
し、輝度信号の場合はIntraPredMode値に該当し、色差信号の場合はInt
raPredModeC値に該当する。また、“log2TrafoSize”は、現在
変換ブロックの大きさを‘log’を使用して表示したものを意味する。
例えば、IntraPredModeValueが‘1’というのは、“Intra_
DC”モードを意味し、“log2TrafoSize-2”が‘1’というのは、8×
8ブロックを意味する。
また、表2において、IntraPredModeValueとlog2TrafoS
izeにより決定される数0、1、2は、スキャン方向を特定する。例えば、表2におい
て、2は上段右側スキャン方向(Up-right)を示し、1は水平スキャン方向(Ho
rizontal)を示し、2は垂直スキャン方向(Vertical)を示す。
図9は、画面予測方向によってスキャニング方向を決定する方法の一例を説明するフロ
ーチャートである。
図9において、IntraPredModeは、輝度信号に対する画面内予測方向モー
ドを意味し、IntraPredModeCは、色差信号に対する画面内予測方向モード
を意味する。IntraPredMode(C)は、信号の成分によって輝度信号であって
もよく、色差信号であってもよい。ScanTypeは、残差信号スキャニング方向を意
味し、上段右側方向(DIAG;Up-right=0)、水平方向(HOR;Horiz
ontal=1)、垂直方向(VER;Vertical=2)がある。
図9の例は、エンコーダ装置とデコーダ装置で実行されることができる。また、エンコ
ーダ装置とデコーダ装置内の所定のモジュールで実行されることもできる。
図10は、画面予測方向によってスキャニング方向を決定する方法の他の例を簡単に説
明するフローチャートである。
図10の例では、輝度信号に対するスキャニング方法と色差信号に対するスキャニング
方法が異なるように表現されている。前記図面において、インデックス(Index)は、
変換の大きさを示す指示子であり、各変換大きさによるIndex値は、下記のように求
めることができる。
変換大きさが64×64の場合にはIndex=1、変換大きさが32×32の場合に
はIndex=2、変換大きさが16×16の場合にはIndex=3、変換大きさが8
×8の場合にはIndex=4、変換大きさが4×4の場合にはIndex=5、変換大
きさが2×2の場合にはIndex=6になる。
したがって、前記図面を介して画面内予測方向によるスキャニングは、輝度信号の場合
、8×8変換大きさと4×4変換大きさに適用しており、色差信号の場合、最も小さい大
きさである4×4変換大きさにのみ適用していることが分かる。また、画面内予測方向に
よるスキャニングを適用しない場合、全部上段右側方向(DIAG;Up-right=
0)スキャニングを適用することができる。
画面内予測において、量子化係数を符号化するために表2から求められたスキャニング
方向は、8のように、4×4サブブロックに対するスキャニング方向及びsignifi
cant_coeff_group_flagに対するスキャニング方向として使われるこ
とができる。
前述したように、エンコーディング過程で原本映像と予測映像との差分映像(残余映像)
は、周波数領域変換と量子化を経た後、エントロピー符号化される。このとき、周波数領
域変換による符号化の効率を上げるために、整数変換、整数離散余弦変換(DCT)、整数
離散正弦変換(DST)、又は画面内予測モード従属的なDCT/DSTなどをブロックの
大きさによって選択的又は適応的に適用することができる。
また、デコーディング過程では、エントロピー復号化、逆量子化、周波数領域の逆変換
を経て差分映像が復号化される。このとき、整数逆変換、整数離散余弦役変換、整数離散
正弦役変換又は画面内予測モード従属的なDCT/DSTなどをブロック大きさによって
選択的又は適応的に利用することができる。
図11は、残余映像に対する周波数変換方式を選択する方法の一例を説明するフローチ
ャートである。
まず、現在ブロックが画面内符号化(Intra)で符号化され、且つ輝度信号(Lum
a)のブロックでない場合、現在ブロックの輝度信号及び色差信号の残余映像に対する周
波数変換方式は、整数変換又は整数離散余弦変換(DCT)を適用する。
そうでない場合(現在ブロックが画面内符号化(Intra)で符号化され、且つ輝度信
号(Luma)のブロックである場合)、現在ブロックの輝度信号に対する画面内予測方向
モード(IntraPredMode)を取得する。
次に、現在ブロックが4×4大きさ(iWidth==4)のブロックであるかどうかを
確認する。もし、現在ブロックが4×4大きさ(iWidth==4)のブロックでない場
合、現在ブロックの輝度信号及び色差信号の残余映像に対する周波数変換方式は、整数変
換又は整数離散余弦変換(DCT)を適用する。
そうでない場合(現在ブロックが4×4大きさ(iWidth==4)のブロックである
場合)、現在ブロックの画面内予測方向モードを検査する。
もし、現在ブロックの画面内予測方向モードが‘2’より大きく且つ‘10’より小さ
い場合、現在ブロックの輝度信号に対する周波数変換方式として、水平方向には整数離散
正弦変換(DST)を適用し、垂直方向には整数離散余弦変換(DCT)を適用する。
現在ブロックの色差信号に対する周波数変換方式は、水平垂直方向の両方ともに整数離
散余弦変換(DCT)を実行する。
一方、もし、現在ブロックの画面内予測方向モードが‘0’であり、又は‘11’より
大きく且つ‘25’より小さい場合、現在ブロックの輝度信号に対する周波数変換方式と
して、水平垂直方向の両方ともに整数離散正弦変換(DST)を適用する。
現在ブロックの色差信号に対する周波数変換方式では、水平垂直方向の両方ともに整数
離散余弦変換(DCT)を実行する。
一方、もし、現在ブロックの画面内予測方向モードが‘26’より大きく且つ‘34’
より小さい場合、現在ブロックの輝度信号に対する周波数変換方式として、水平方向には
整数離散余弦変換(DCT)を適用し、垂直方向には整数離散正弦変換(DST)を適用する
現在ブロックの色差信号に対する周波数変換方式では、水平垂直方向の両方ともに整数
離散余弦変換(DCT)を実行する。
そうでない場合、現在ブロックの輝度信号及び色差信号の残余映像に対する周波数変換
方式として、水平垂直方向の両方ともに整数離散余弦変換(DCT)を適用する。
図11で、iWidthは、変換の大きさを示す指示子であり、各変換大きさによるi
Width値は、下記のように求めることができる。
変換大きさが64×64の場合にはiWidth=64、変換大きさが32×32の場
合にはiWidth=32、変換大きさが16×16の場合にはiWidth=16、変
換大きさが8×8の場合にはiWidth=8、変換大きさが4×4の場合にはiWid
th=4、変換大きさが2×2の場合にはiWidth=2になる。
図11と関連して、スケールされた変換係数のための変換過程(Transforma
tion process for scaled transform coeffici
ents)は、下記の通りである。
<スケールされた変換係数のための変換過程>
ここでの入力は、下記の通りである。
-現在変換ブロックの幅Width:nW
-現在変換ブロックの高さHeight:nH
-要素(element)dijを有するスケールされた変換係数の配列:(nW×nH)
配列(array)d
-現在ブロックの輝度信号及び色差信号に対するインデックス:cIdx
-もし、cIdxが‘0’の場合、輝度信号を意味し、cIdxが‘1’であり、又は
cIdxが‘2’の場合、色差信号を意味する。また、cIdxが‘1’の場合、色差信
号でCbを意味し、cIdxが‘2’の場合、色差信号でCrを意味する。
ここでの出力は、下記の通りである。
-スケールされた変換係数を逆変換して求められた残余信号に対する配列:(nW×n
H)配列(array)r
現在ブロックに対する符号化モード(PredMode)が画面内予測モード(Intr
a)であり、且つLog2(nW*nH)値が‘4’であり、cIdx値が‘0’の場合、
輝度信号の画面内予測方向モードによって変数horizTrTypeとvertTrT
ypeは、以下の表3を介して求められる。もし、そうでない場合、変数horizTr
TypeとvertTrTypeは‘0’に設定する。
Figure 2023056004000005
変数horizTrTypeとvertTrType値を有してスケールされた変換係
数に対する逆変換過程を実行する。まず、現在ブロックの大きさ(nW,nH)とスケール
された変換係数配列(nW×nH array d)、変数horizTrTypeの入力を
受け、水平方向に1次元逆変換を実行することで、配列(nW×nH array e)を出
力する。
次に、配列(nW×nH array e)の入力を受けて配列(nW×nH array
g)を数式3のように誘導する。
Figure 2023056004000006
ij=Clip3(-32768,32767,(eij+64)>>7)
次に、現在ブロックの大きさ(nW,nH)と配列(nW×nH array g)、変数v
ertTrTypeの入力を受けて垂直方向に1次元逆変換を実行する。
次に、cIdxによって残余信号に対する配列(nW×nH array r)を数式4の
ように設定する。
Figure 2023056004000007
ここで、‘shift’は、cIdxが‘0’の場合、shift=20-BitDe
pthであり、そうでない場合、shift=20-BitDepth値を有し、B
itDepthは、現在映像に対するサンプルのビット数(例えば、8ビット)を意味する
前述したように、色差信号を予測する方法により復元された輝度信号サンプルから色差
信号を予測する方法(Intra_FromLuma)を利用することもできる。
Intra_FromLuma方法を利用して符号化された色差成分に対する残余信号(
誤差信号:residual)は、画面内方向モードが存在しないため、基本的に上段右
側方向(Up-right=0)にスキャニングされて符号化が実行される。
しかし、Intra_FromLuma方法は、輝度信号と色差信号との類似性を利用
するため、Intra_FromLuma方法により得られた色差信号に対する残余信号
は、輝度信号の残余信号と類似する特性を有する可能性が高い。このような特性を利用し
て色差信号の残余信号に対する符号化効率を上げることができる。
また、4×4輝度信号ブロックに対しては、輝度信号の画面内予測方向モードによって
整数離散余弦変換(DCT)及び整数離散正弦変換(DST)を水平垂直方向に異なるように
適用して符号化効率を上げた。これに対し、従来4×4色差信号ブロックに対しては整数
離散余弦変化(DCT)のみを使用している。
色差信号の残余映像に対する特性は、輝度信号の残余映像に対する特性と類似する可能
性がある。したがって、輝度信号の残余映像に適用された画面内予測方向モードによる選
択的周波数変換方式を色差信号の残余映像にも適用して符号化効率を上げることができる
また、色差信号を予測する方法により復元された輝度信号サンプルから色差信号を予測
する方法(Intra_FromLuma)は、輝度信号と色差信号との類似性を利用する
ため、Intra_FromLuma方法により得られた色差信号に対する残余信号が輝
度信号の残余信号と類似する特性を有する可能性が高い。このような特性を利用して色差
信号の残余信号に対する選択的周波数変換方式を利用することで、符号化効率を上げるこ
とができる。
このように、Intra_FromLuma方法は、輝度信号と色差信号との類似性を
利用した画面内予測方法である。輝度信号と色差信号が類似するという特性を利用するこ
とで、色差信号の残余信号に対するスキャニング方向を輝度信号の画面内予測方向から誘
導することができる。
本明細書では、以下、色差信号に対するスキャニング方向を誘導する方法及び装置に対
して具体的に説明する。
[実施例1]色差信号に対するスキャニング方向を輝度信号の画面内予測方向モードに
誘導する方法及び装置
図12は、本実施例によって、色差信号に対するスキャニング方向を誘導する方法の一
例を説明するフローチャートである。
図12の例において、色差信号に対するスキャニング方向の誘導は、輝度信号の画面内
予測方向モードに決定されることができる。即ち、輝度信号に対するスキャニング方向が
色差信号にそのまま適用されることができる。したがって、色差信号のスキャニング方向
を誘導するための計算が必要ないため、複雑度減少効果が存在する。
図12の動作は、図1のエンコーディング装置及び図2のデコーディング装置で実行さ
れることができる。
図12を参照すると、現在ブロックの輝度成分が画面内予測されたかどうかが判断され
る(S1210)。現在ブロックが画面内予測されない場合(画面間予測された場合)現在ブ
ロックの色差成分と輝度成分に対しては上段右側方向のスキャニングが実行される(S1
260)。即ち、現在ブロックの輝度成分に対するスキャンタイプと色差成分に対するス
キャンタイプが両方とも上段右側方向のスキャンになる。
現在ブロックの輝度成分が画面内予測され、現在ブロックの輝度成分に対する画面内予
測モードが6以上14以下であるかどうかが判断される(S1220)。即ち、現在ブロッ
クの輝度成分に対する画面内予測モードが水平方向の画面内予測モード又は水平に近い方
向の画面内予測モードであるかどうかが判断される(S1220)。
現在ブロックの輝度成分に対する画面内予測モードが6以上14以下である場合、現在
ブロックに対する輝度成分と色差成分に対しては垂直方向のスキャニングが実行される(
S1240)。即ち、現在ブロックの輝度成分に対するスキャンタイプと色差成分に対す
るスキャンタイプが両方とも垂直方向のスキャンになる。
現在ブロックの輝度成分が画面内予測されたが、現在ブロックの輝度成分に対する画面
内予測モードが6以上14以下でない場合、現在ブロックの輝度成分に対する画面内予測
モードが22以上30以下であるかどうかが判断される(S1230)。即ち、現在ブロッ
クの輝度成分に対する画面内予測モードが垂直方向の画面内予測モード及び垂直に近い方
向の画面内予測モードであるかどうかが判断される。
現在ブロックの輝度成分に対する画面内予測モードが22以上30以下である場合、現
在ブロックに対する輝度成分と色差成分に対しては水平方向のスキャニングが実行される
(S1250)。即ち、現在ブロックの輝度成分に対するスキャンタイプと色差成分に対す
るスキャンタイプが両方とも水平方向のスキャンになる。
現在ブロックの輝度成分が画面内予測されたが、現在ブロックの輝度成分に対する画面
内予測モードが6以上14以下でも22以上30以下でもない場合には、現在ブロックの
輝度成分と色差成分に対して上段右側方向のスキャンが適用される(S1260)。
図13は、本実施例によって、色差信号に対するスキャニング方向を誘導する方法の他
の例を説明するフローチャートである。図13の例によると、輝度信号に対するスキャニ
ング方法と色差信号に対するスキャニング方法が統一される効果を得ることができる。
図13の動作は、図1の符号化装置及び図2の復号化装置で実行されることができる。
図13を参照すると、まず、現在ブロックが画面内予測されたかどうかが判断される(
S1310)。
画面内予測されない場合、現在ブロックの輝度信号及び色差信号に対しては上段右側方
向のスキャンが適用される(S1390)。
現在ブロックが画面内予測された場合、現在ブロックの大きさがインデックスに転換さ
れる(S1320)。例えば、現在ブロックの大きさを特定するインデックスが設定される
ことができる。
次に、現在ブロックの画面内予測モードに対する情報、IntraPredModeが
取得されることができる(S1330)。現在ブロックに対する画面内予測モードを指示す
る情報IntraPredModeは、図6に基づいて取得されることができる。
現在ブロックに対してS1320ステップで設定されたインデックスが3より大きく且
つ6より小さいかどうかが判断される(S1340)。現在ブロックに対するインデックス
が3より大きく且つ6より小さい場合でないと、現在ブロックの輝度信号及び色差信号に
対しては上段右側方向のスキャンが適用される(S1390)。
現在ブロックに対するインデックスが3より大きく且つ6より小さい場合、現在ブロッ
クの色差信号に対する画面内予測モードが6以上14以下であるかどうかが判断される(
S1350)。現在ブロックの色差信号に対する画面内予測モードが6以上14以下であ
る場合、現在ブロックの色差信号に対して垂直方向のスキャンが適用される(S1370)
現在ブロックの色差信号に対する画面内予測モードが6以上14以下でない場合、現在
ブロックの色差信号に対する画面内予測モードが22以上30以下であるかどうかが判断
される(S1360)。現在ブロックの色差信号に対する画面内予測モードが22以上30
以下である場合、現在ブロックの色差信号に対して水平方向のスキャンが適用される(S
1380)。
現在ブロックの色差信号に対する画面内予測モードが6以上14以下でも22以上30
以下でもない場合、現在ブロックの色差信号に対して上段右側方向のスキャンが適用され
る(S1390)。
図13の例は、図12の例と異なり、現在ブロックの色差信号に対する画面内予測モー
ドを判断してスキャンタイプを決定するが、図12の場合と同様に、色差信号と輝度信号
のスキャニング方法が同じ方法により決定される。
即ち、図13のフローチャートは、輝度信号のスキャニングにも同一に適用されること
ができる。S1350ステップとS1360において、括弧を使用してIntraPre
dMode(C)と表示した理由は、輝度信号に対してはIntraPredModeを介
して輝度信号に対する画面内予測モードを特定して適用し、色差信号に対してはIntr
aPredModeCを介して色差信号に対する画面内予測モードを特定して適用するこ
とができるということを意味する。
したがって、図13のフローチャートは、輝度信号と色差信号に同一に適用することが
でき、輝度信号に対するスキャニングタイプと色差信号に対するスキャニングタイプは同
じ方法により各々決定されることができる。このとき、スキャニングタイプは、垂直方向
のスキャン、水平方向のスキャン、上段右側方向のスキャンのうちいずれか一つになる。
前述した図12及び図13の例を変換単位(Transform Unit、以下‘TU
’という)に対するシンタックス構造に反映すると、表4の通りである。
表4は、本実施例1によるTUシンタックスの一例を示す。
Figure 2023056004000008
ここで、Transform_unitは、一つのTUブロックに対するビットストリ
ームの順序を意味する。log2TrafoSizeは、入力されたlog2Trafo
Widthとlog2TrafoHeightとの間の和を右側シフト(Shift)演算
した結果を意味し、輝度信号に対するTUブロック大きさを意味する。log2Traf
oSizeCは、色差信号に対するTUブロック大きさを意味する。
PredModeは、現在ブロックに対する符号化モードを意味し、画面内符号化の場
合‘Intra’であり、画面間符号化の場合‘Inter’である。scanIdxは
、現在TUブロックの輝度信号に対するスキャニング方向情報を示し、上段右側方向(D
IAG;Up-right=0)、水平方向(HOR;Horizontal=1)、垂直
方向(VER;Vertical=2)がある。
scanIdxCは、現在TUブロックの色差信号に対するスキャニング方向情報を示
し、上段右側方向(DIAG;Up-right=0)、水平方向(HOR;Horizo
ntal=1)、垂直方向(VER;Vertical=2)がある。
ScanType(スキャンタイプ)は、表2の画面予測方向によるスキャニング方向
を決定する方法のテーブルに基づいて決定される。
IntraPredModeは、輝度信号に対する画面内予測方向情報を意味し、In
traPredModeCは、色差信号に対する画面内予測方向情報を意味する。
表4と関連して、変換係数レベルは、transCoeffLevel配列にパーシン
グされることができる。このとき、PredModeがIntraである場合、画面内予
測方向モードによって各々異なるスキャニング方向が適用される。このようなスキャニン
グ方向は、表2のScanType配列から得られることができる。
色差信号のスキャニング方向は、輝度信号のスキャニング方向をそのまま使用すること
ができる。
[実施例2-1]色差信号の画面内予測方向モードが“Intra_FromLuma
”の場合、輝度信号のスキャニング方向を色差信号にそのまま使用する方法及び装置
図14は、本実施例によって、色差信号に対するスキャニング方向を誘導する方法の一
実施例を示すフローチャートである。
図14を参照すると、現在ブロックの色差信号の画面内予測方向モードが画面内予測モ
ードであるかどうかを判断する(S1410)。画面内予測モードが適用されない場合、現
在ブロックに対しては上段右側方向のスキャンが適用される。
現在ブロックがイントラ予測された場合、現在ブロックの色差信号に対する画面内予測
モードがIntra_FromLumaであるかどうかが判断される(S1420)。現在
ブロックの色差信号に対する画面内予測モードがIntra_FromLumaの場合、
現在ブロックの輝度信号に対する画面内予測モードを現在ブロックの色差信号に対する画
面内予測モードに設定する(S1440)。
即ち、現在ブロックの色差信号に対する画面内予測モードが“Intra_FromL
uma”の場合、色差信号の画面内予測方向モードに輝度信号の画面内予測方向モードを
入力して色差信号に対するスキャニング方向を誘導することができる。即ち、色差信号の
画面内予測方向モードが“Intra_FromLuma”の場合には、輝度信号のスキ
ャニング方向をそのまま使用することができる。
次に、現在ブロックの色差信号に対する画面内予測モードが6以上14以下であるかど
うかが判断される(S1430)。現在ブロックの色差信号に対する画面内予測モードが6
以上14以下である場合、現在ブロックの色差信号に対して垂直方向のスキャンが適用さ
れる(S1460)。
現在ブロックの色差信号に対する画面内予測モードが6以上14以下でない場合、現在
ブロックの色差信号に対する画面内予測モードが22以上30以下であるかどうかが判断
される(S1450)。現在ブロックの色差信号に対する画面内予測モードが22以上30
以下である場合、現在ブロックの色差信号に対して水平方向のスキャンが適用される(S
1470)。
現在ブロックの色差信号に対する画面内予測モードが6以上14以下でも22以上30
以下でもない場合、現在ブロックの色差信号に対して上段右側方向のスキャンが適用され
る(S1480)。
[実施例2-2]色差信号の画面内予測方向が輝度信号の画面内予測方向と同じ、又は
色差信号の画面内予測モードが“Intra_FromLuma”モードの場合、輝度信
号のスキャニング方向を色差信号にそのまま使用する方法及び装置
図15は、本実施例によって、色差信号に対するスキャニング方向を誘導する方法の一
実施例を説明するフローチャートである。
図15を参照すると、DM(輝度信号の画面内予測方向モードを色差信号の画面内予測
方向モードとして使用する方法又は色差信号の画面内予測方向が輝度信号の画面内予測方
向と同じになる場合を意味)とLM(Intra_FromLuma)方法が一つで統一され
ることを確認することができる。
まず、現在ブロックが画面内予測されたかどうかが判断される(S1505)。画面内予
測でない場合、現在ブロックに対して上段右側方向のスキャンが適用される(S1575)
現在ブロックが画面内予測された場合、現在ブロックの幅がインデックスに転換される
(S1510)。
判断対象サンプルが輝度信号であるかどうかが判断される(S1515)。輝度信号でな
い場合、現在ブロックにDM又はLMが適用されるかどうかを判断し(S1530)、判断
対象が輝度信号の場合、画面内予測モードを指示する情報を取得する(S1520)。
応用分野によるプロファイリングのためにLMモードを使用せずにDMモードのみを使
用して色差信号の画面内符号化又は復号化を進行するように制限された場合に本発明を適
用すると、図15の例において、S1530ステップを適用する時、LMが適用されるか
に対する判断をせずにDNが適用されるかどうかに対してのみ判断することもできる。
対象が輝度信号の時、S1525でインデックスが3より大きく且つ6より小さい場合
(即ち、変換大きさが8×8又は4×4の場合)、現在ブロックの輝度信号に対する画面内
予測モードが6以上14以下であるかどうかを判断する(S1555)。現在ブロックの輝
度信号に対する画面内予測モードが6以上14以下である場合、現在ブロックの輝度信号
に対して垂直方向のスキャンが適用される(S1565)。
また、現在ブロックの輝度信号に対する画面内予測モードが22以上30以下であるか
どうかを判断(S1560)し、水平方向のスキャンが適用され(S1570)、又は上段右
側方向のスキャンが適用される(S1575)。
一方、対象が色差信号である場合、現在ブロックのモードがDM又はLMであるかどう
かが判断される(S1530)。現在ブロックの色差信号に対するモードがDM又はLMで
ない場合、色差信号に対する画面内予測モードを指示する情報を取得し(S1545)、D
M又はLMである場合、輝度信号に対する画面内予測モードを指示する情報を取得した後
(S1535)、色差信号のスキャン方向決定のために色差信号に対する画面内予測モード
を輝度信号に対する画面内予測モードに設定する(S1540)。
次に、インデックスが4より大きく且つ7より小さいかどうか(即ち、変換大きさが4
×4又は2×2であるかどうか)が判断される(S1550)。インデックスが4より大き
く且つ7より小さい場合でないと、現在ブロックの色差信号に上段右側方向のスキャンが
適用される(S1575)。
インデックスが4より大きく且つ7より小さい場合には、現在ブロックの色差信号に対
する画面内予測モードが6以上14以下であるかどうかを判断する(S1555)。現在ブ
ロックの色差信号に対する画面内予測モードが6以上14以下である場合、現在ブロック
の色差信号に対して垂直方向のスキャンが適用される(S1565)。
また、現在ブロックの色差信号に対する画面内予測モードが22以上30以下であるか
どうかを判断(S1560)し、水平方向のスキャンが適用され(S1570)、又は上段右
側方向のスキャンが適用される(S1575)。
前述した図14及び図15の例を変換単位(Transform Unit、以下‘TU
’という)に対するシンタックス構造に反映すると、表5の通りである。
表5は、本実施例1によるTUシンタックスの一例を示す。
Figure 2023056004000009
ここで、Transform_unitは、一つのTUブロックに対するビットストリ
ームの順序を意味する。log2TrafoSizeは、入力されたlog2Trafo
Widthとlog2TrafoHeightとの間の和を右側シフト(Shift)演算
した結果を意味し、輝度信号に対するTUブロック大きさを意味する。
log2TrafoSizeCは、色差信号に対するTUブロック大きさを意味する。
PredModeは、現在ブロックに対する符号化モードを意味し、画面内符号化の場合
‘Intra’であり、画面間符号化の場合‘Inter’である。
scanIdxは、現在TUブロックの輝度信号に対するスキャニング方向情報を示し
、上段右側方向(DIAG;Up-right=0)、水平方向(HOR;Horizon
tal=1)、垂直方向(VER;Vertical=2)がある。
scanIdxCは、現在TUブロックの色差信号に対するスキャニング方向情報を示
し、上段右側方向(DIAG;Up-right=0)、水平方向(HOR;Horizo
ntal=1)、垂直方向(VER;Vertical=2)がある。
ScanTypeは、表2の予測方向によるスキャニング方向を決定する方法に基づい
て決定されることができる。
IntraPredModeは、輝度信号に対する画面内予測方向情報を意味し、In
traPredModeCは、色差信号に対する画面内予測方向情報を意味する。前記シ
ンタックス表に示すように、もし、IntraPredModeC値がIntra_Fr
omLumaの場合には、輝度信号で使用したスキャニング方向を色差信号にそのまま適
用する。
表5と関連して、変換係数レベルは、transCoeffLevel配列にパーシン
グされる。このとき、PredModeがIntraである場合、画面内予測方向モード
によって各々異なるスキャニング方向が適用される。このようなスキャニング方向は、以
下の表のScanType配列から得られることができる。明るさ信号に対するスキャニ
ング方向指示子であるscanIdxを得ようとする時は、以下の表のIntraPre
dModeValue値として明るさ信号画面内予測モードを示すIntraPredM
ode値を使用し、色差信号に対するスキャニング方向指示子であるscanIdxCを
得ようとする時は、表6のIntraPredModeValue値として色差信号画面
内予測モードを示すIntraPredModeC値を使用する。
表6は、スキャンタイプを決定する方法の一例を示す。
Figure 2023056004000010
表6において、スキャンタイプScanTypeは、log2TrafoSizeとI
ntraPredModeValueにより次のように決定されることができる:Sca
nType[log2TrafoSize-2][IntraPredModeValue]
前述したように、変換係数レベルは、transCoeffLevel配列にパーシン
グされる。このとき、PredModeが‘Intra’である場合、画面内予測方向モ
ードによって各々異なるスキャニング方向が適用される。
このとき、ScanType[log2TrafoSize-2][IntraPred
ModeValue]は、輝度信号変換ブロックの大きさ(log2TrafoSize)
と画面内予測方向モード(IntraPredModeValue)によって表7のシンタ
ックスによって設定されることができる。
Figure 2023056004000011
輝度信号に対するスキャニング方向指示子であるscanIdxを得ようとする時は、
表2のIntraPredModeValue値として輝度信号の画面内予測モードを示
すIntraPredMode値を使用し、色差信号に対するスキャニング方向指示子で
あるscanIdxCを得ようとする時は、表2のIntraPredModeValu
e値として色差信号画面内予測モードを示すIntraPredModeC値を使用する
本実施例では、現在色差ブロックが“Intra_FromLuma”モードに符号化
された時だけでなく、下記のような場合にも適用することができる。
1.色差ブロックを予測するにあたって、復元された輝度信号ブロックに加重値をかけ
た後、オフセットを加える全ての方式に対して本実施例を適用することができる。
2.色差ブロックを予測するにあたって、復元された輝度信号ブロックと色差信号ブロ
ックに対するテンプレートシフト(template shift)を利用することで、色
差ブロックを予測する全ての方式に対して本実施例を適用することができる。ここで、テ
ンプレートシフトは、輝度信号と色差信号との間の相関性を類推するために使用する。
その他、本実施例は、多様に適用することができる。
例えば、本実施例は、ブロック大きさ又はCU深さ又はTU深さ等によって適用範囲を
異なるようにすることができる。このように適用範囲を決定する変数(即ち、大きさ又は
深さ情報)は、符号化器及び復号化器が予め決められた値を使用するように設定すること
もでき、プロファイル又はレベルによって決められた値を使用するようにすることもでき
、符号化器が変数値をビットストリームで記載すると、復号化器は、ビットストリームか
らこの値を求めて使用することもできる。
CU深さによって適用範囲を異なるようにする時は、表8に例示したように、次の三つ
の方式のうちいずれか一つを適用することができる:方式A)与えられた深さ以上の深さ
にのみ適用する方式、方式B)与えられた深さ以下にのみ適用する方式、方式C)与えられ
た深さにのみ適用する方式。
表8は、与えられたCU(又は、TU)深さが2の場合、本実施例の各方法を適用する範
囲を決定する方式の例を示す。表8において、Oは、当該深さに適用するということを示
し、Xは、当該深さに適用しないということを示す。
Figure 2023056004000012
全ての深さに対して本発明の方法を適用しない場合は、任意の指示子(flag)を使用
して示すこともでき、適用範囲を示すCU深さ値としてCU深さの最大値より一つ大きい
値をシグナリングすることで表現することもできる。
また、前述した本発明の方法を適用する範囲を決定する方式を、前述した実施例1と後
述する実施例に各々又は組合せて適用することもできることに留意する。
[実施例3]色差信号の画面内予測方向モードによって色差信号の残余映像に対する周
波数変換方式を選択的に誘導する方法及び装置
本実施例では、輝度信号の残余映像に適用された画面内予測方向モードによる選択的周
波数変換方式を色差信号の残余映像にも適用することによって符号化効率を上げることが
できる。
また、本実施例では、Intra_FromLuma方法により得られた色差信号に対
する残余信号は、輝度信号の残余信号と類似する特性を有するという性質を利用して選択
的に周波数変換をすることができる。
図16は、本実施例によって、色差信号の画面内予測方向モードに基づいて色差信号の
残余映像に対する周波数変換方式を選択的に誘導する方法の一例を説明するフローチャー
トである。
図16を参照すると、まず、現在ブロックが画面内符号化(Intra)で符号化され、
且つ現在ブロックが4×4大きさ(trafoSize(又は、iWidth)==4)のブ
ロックの場合(S1605)、現在ブロックに対する周波数変換方式は、整数離散正弦変換
(DST)又は整数離散余弦変換(DCT)を適用する。そうでない場合(S1605)、現在
ブロックの周波数変換方式は、DCTを適用することができる(S1660)。
次に、現在ブロックが輝度ブロックの場合(S1610)、輝度信号に対する画面内予測
方向モード(IntraPredMode)を取得する(S1620)。ここで、現在ブロッ
クの輝度信号に対する画面内予測方向モードを、輝度信号に対する残余映像の周波数変換
方式を誘導するのに使用することができる。
もし、色差ブロックの場合(S1610)、DMモードであるかどうかを判断する(S1
615)。
もし、現在ブロックが色差ブロックであり、且つDMブロックの場合、DCTを適用す
ることができる(S1660)。一方、もし、現在ブロックが色差ブロックであり、且つD
Mブロックでない場合、色差信号に対する画面内予測方向モードを、色差信号に対する残
余映像の周波数変換方式を誘導するのに使用することができる(S1625)。
ここで、色差ブロックがDMモードに符号化された場合、DMモードのうち、EMモー
ド(平面モード(Planar)、平均モード(DC)、水平モード(Hor)、垂直モード(V
er)、垂直方向で8番目位置したモード(Ver+8又は34番モード))に該当する画面
内予測方向モードは、DST又はDCT又はそれ以外の周波数変換方法を適用することが
できる。
次に、もし、現在ブロック(輝度及び色差信号ブロック)の画面内予測方向モードが‘2
’より大きく且つ‘10’より小さい場合(S1620)、現在ブロック(輝度及び色差信
号ブロック)に対する周波数変換方式として、水平方向には整数離散正弦変換(DST)を
適用し、垂直方向には整数離散余弦変換(DCT)を適用することができる(S1645)。
一方、もし、現在ブロック(輝度及び色差信号ブロック)の画面内予測方向モードが‘0
’(Planar)であり、又は‘11’より大きく且つ‘25’より小さい場合(S16
35)、現在ブロック(輝度及び色差信号ブロック)に対する周波数変換方式として、水平
垂直方向の両方ともに整数離散正弦変換(DST)を適用することができる(S1650)。
また、もし、現在ブロック(輝度及び色差信号ブロック)の画面内予測方向モードが‘2
6’より大きく且つ‘34’より小さい場合(S1640)、現在ブロック(輝度及び色差
信号ブロック)に対する周波数変換方式として、水平方向には整数離散余弦変換(DCT)
を適用し、垂直方向には整数離散正弦変換(DST)を適用することができる(S1655)
そうでない場合、現在ブロック(輝度及び色差信号ブロック)に対する周波数変換方式と
して、水平垂直方向の両方ともに整数離散余弦変換(DCT)を適用することができる(S
1660)。
前述した図16の方法を、スケールされた変換係数のための変換過程(Transfo
rmation process for scaled transform coeff
icients)に下記のように反映することができる。
図16の例を反映したスケールされた変換係数のための変換過程
ここでの入力は、下記の通りである。
-現在変換ブロックの幅Width:nW
-現在変換ブロックの高さHeight:nH
-要素(element)dijを有するスケールされた変換係数の配列:(nW×nH)
配列d
現在ブロックの輝度信号及び色差信号に対するインデックス:cIdx
-もし、cIdxが‘0’の場合、輝度信号を意味し、cIdxが‘1’であり、又は
cIdxが‘2’の場合、色差信号を意味する。また、cIdxが‘1’の場合、色差信
号でCbを意味し、cIdxが‘2’の場合、色差信号でCrを意味する。
ここでの出力は、下記の通りである。
-スケールされた変換係数を逆変換して求められた残余信号に対する配列:(nW×n
H)配列r
現在ブロックに対する符号化モード(PredMode)が画面内予測モード(Intr
a)であり、且つLog2(nW*nH)値が‘4’であり、輝度信号の場合には、輝度信
号の画面内予測方向モードによって変数horizTrTypeとvertTrType
は、表9を介して求められる。
色差信号の場合には、色差信号の画面内予測符号化モードが‘4’より小さい場合、色
差信号の画面内予測方向モードによって変数horizTrTypeとvertTrTy
peは、表9を介して求められる。もし、そうでない場合、変数horizTrType
とvertTrTypeは‘0’に設定される。
色差信号の画面内予測方向モードが‘35’の場合には、変数horizTrType
とvertTrTypeは‘0’に設定される。
Figure 2023056004000013
変数horizTrTypeとvertTrType値を有してスケールされた変換係
数に対する逆変換過程を実行する。まず、現在ブロックの大きさ(nW,nH)とスケール
された変換係数配列(nW×nH array d)、変数horizTrTypeの入力を
受け、水平方向に1次元逆変換を実行することで、配列(nW×nH array e)を出
力する。
次に、配列(nW×nH array e)の入力を受けて配列(nW×nH array
g)を数式5のように誘導する。
Figure 2023056004000014
次に、現在ブロックの大きさ(nW,nH)と配列(nW×nH array g)、変数v
ertTrTypeの入力を受けて垂直方向に1次元逆変換を実行する。
次に、cIdxによって残余信号に対する配列(nW×nH array r)を数式6の
ように設定する。
Figure 2023056004000015
ここで、シフト(shift)は、cIdxが‘0’の場合、shift=20-Bit
Depthであり、そうでない場合、shift=20-BitDepth値を有し
、BitDepthは、現在映像に対するサンプルのビット数(例えば、8ビット)を意味
する。
図17は、本実施例によって、色差信号の画面内予測方向モードに基づいて色差信号の
残余映像に対する周波数変換方式を選択的に誘導する方法の他の例を説明するフローチャ
ートである。
図17を参照すると、まず、現在ブロックが画面内符号化(Intra)で符号化された
かどうかを判断(S1710)し、画面内符号化された場合、現在ブロックに対する周波数
変換方式は、整数離散正弦変換(DST)又は整数離散余弦変換(DCT)を適用する(S1
755)。
そうでない場合(現在ブロックが画面内符号化(Intra)で符号化されない場合)、現
在ブロックの輝度又は色差信号に対する画面内予測方向モード(IntraPredMo
de(C))を取得する(S1715)。ここで、輝度信号に対する周波数変換方式を誘導す
る時は、IntraPredMode(C)がIntraPredMode(輝度信号に対
する画面内予測方向モード)に変更され、色差信号に対する周波数変換方式を誘導する時
は、IntraPredMode(C)がIntraPredModeC(色差信号に対す
る画面内予測方向モード)に変更される。ここで、現在ブロックの輝度信号に対する画面
内予測方向モードを、輝度信号に対する残余映像の周波数変換方式を誘導するのに使用す
ることができる。そして、現在ブロックの色差信号に対する画面内予測方向モードを、色
差信号に対する残余映像の周波数変換方式を誘導するのに使用することができる。
このとき、周波数変換方式を選択するための画面内予測方向モードは、下記の1~3の
うちいずれか一つのように多様な方法により取得することができる。
1.現在ブロックの輝度信号に対する画面内予測方向モードを、輝度信号及び色差信号
に対する残余映像に全部適用して周波数変換方式を誘導するのに使用することができる。
2.現在ブロックの色差信号に対する画面内予測方向モードを、輝度信号及び色差信号
に対する残余映像に全部適用して周波数変換方式を誘導するのに使用することができる。
3.現在ブロックの輝度信号に対しては整数離散余弦変換(DCT)又は整数離散正弦変
換(DST)のみを使用することができる。そして、現在ブロックの色差信号に対する画面
内予測方向モードを、色差信号に対する残余映像の周波数変換方式を誘導するのに使用す
ることができる。
その他、多様な方法により周波数変換方式が誘導されることができる。
次に、現在ブロックが4×4大きさ(iWidth==4)のブロックであるかどうかが
判断される(S1720)。もし、現在ブロックが4×4大きさ(iWidth==4)のブ
ロックでない場合、現在ブロックに対する周波数変換方式は、整数変換又は整数離散余弦
変換(DCT)を適用する(S1755)。
そうでない場合(現在ブロックが4×4大きさ(iWidth==4)のブロックである
場合)、現在ブロックの画面内予測方向モードを検査する。
もし、現在ブロックの画面内予測方向モードが‘2’より大きく且つ‘10’より小さ
い場合(S1725)、現在ブロックに対する周波数変換方式として、水平方向には整数離
散正弦変換(DST)を適用し、垂直方向には整数離散余弦変換(DCT)を適用することが
できる(S1740)。
一方、もし、現在ブロックの画面内予測方向モードが‘0’であり、又は‘11’より
大きく且つ‘25’より小さい場合(S1730)、現在ブロックに対する周波数変換方式
として、水平垂直方向の両方ともに整数離散正弦変換(DST)を適用することができる(
S1745)。
一方、もし、現在ブロックの画面内予測方向モードが‘26’より大きく且つ‘34’
より小さい場合(S1735)、現在ブロックに対する周波数変換方式として、水平方向に
は整数離散余弦変換(DCT)を適用し、垂直方向には整数離散正弦変換(DST)を適用す
ることができる(S1750)。
そうでない場合、現在ブロックに対する周波数変換方式として、水平垂直方向の両方と
もに整数離散余弦変換(DCT)を適用することができる(S1755)。
このとき、画面内予測方向モードによる周波数変換方式は、多様に使われることができ
る。例えば、現在ブロックの画面内予測方向モードが‘2’より大きく且つ‘10’より
小さい場合、前記例のように、周波数変換方式を適用することもできる。他の方法として
、現在ブロックに対する周波数変換方式として、水平方向には整数離散余弦変換(DCT)
を適用し、垂直方向には整数離散正弦変換(DST)を適用することができる。また、他の
方法として、現在ブロックに対する周波数変換方式として、水平垂直方向の両方ともに整
数離散余弦変換(DCT)を適用することもでき、又は水平垂直方向の両方ともに整数離散
正弦変換(DST)を適用することもできる。また、DC(平均値予測、方向性モードでな
いモード)モードのみを除いて他の全ての水平垂直方向に整数離散正弦変換(DST)を適
用することもできる。
このように多様な周波数変換方式を多様に適用する方法は、現在ブロックの画面内予測
方向モードが‘2’より大きく且つ‘10’より小さい場合だけでなく、それ以外の画面
内予測方向モード範囲でも適用することができる。このような内容は、下記の実施例でも
同一に適用されることができる。
前述した方法を、スケールされた変換係数のための変換過程(Transformat
ion process for scaled transform coefficie
nts)に下記のように反映することができる。
図17の例を反映したスケールされた変換係数のための変換過程
ここでの入力は、下記の通りである。
-現在変換ブロックの幅Width:nW
-現在変換ブロックの高さHeight:nH
-要素(element)dijを有するスケールされた変換係数の配列;(nW×nH)
配列d
-現在ブロックの輝度信号及び色差信号に対するインデックス:cIdx
もし、cIdxが‘0’の場合、輝度信号を意味し、cIdxが‘1’であり、又はc
Idxが‘2’の場合、色差信号を意味する。また、cIdxが‘1’の場合、色差信号
でCbを意味し、cIdxが‘2’の場合、色差信号でCrを意味する。
ここでの出力は、下記の通りである。
スケールされた変換係数を逆変換して求められた残余信号に対する配列:(nW×nH)
配列r
現在ブロックに対する符号化モード(PredMode)が画面内予測モード(Intr
a)であり、且つLog2(nW*nH)値が‘4’であり、(1)輝度信号の場合には、輝
度信号の画面内予測方向モードによって変数horizTrTypeとvertTrTy
peは、表10を介して求められ、(2)色差信号の場合には、色差信号の画面内予測方向
モードによって変数horizTrTypeとvertTrTypeは、表10を介して
求められる。もし、そうでない場合、変数horizTrTypeとvertTrTyp
eは‘0’に設定する。
Figure 2023056004000016
変数horizTrTypeとvertTrType値を有してスケールされた変換係
数に対する逆変換過程を実行する。まず、現在ブロックの大きさ(nW,nH)とスケール
された変換係数配列(nW×nH array d)、変数horizTrTypeの入力を
受け、水平方向に1次元逆変換を実行することで、配列(nW×nH array e)を出
力する。
次に、配列(nW×nH array e)の入力を受けて配列(nW×nH array
g)を数式7のように誘導する。
Figure 2023056004000017
次に、現在ブロックの大きさ(nW,nH)と配列(nW×nH array g)、変数v
ertTrTypeの入力を受けて垂直方向に1次元逆変換を実行する。
cIdxによって残余信号に対する配列(nW×nH array r)を数式8のように
設定する。
Figure 2023056004000018
ここで、シフト(shift)は、cIdxが‘0’の場合、shift=20-Bit
Depthであり、そうでない場合、shift=20-BitDepth値を有し
、BitDepthは、現在映像に対するサンプルのビット数(例えば、8ビット)を意味
する。
[実施例4]色差信号のIntra_FromLuma(LM)符号化モードに対して輝
度信号の画面内予測方向モードによって色差信号の残余映像に対する周波数変換方式を選
択的に誘導する方法及び装置
図18は、本実施例によって、色差信号のIntra_FromLuma(LM)符号化
モードに対して輝度信号の画面内予測方向モードによって色差信号の残余映像に対する周
波数変換方式を選択的に誘導する方法を説明するフローチャートである。
図18によると、まず、現在ブロックが画面内符号化(Intra)で符号化され、且つ
現在ブロックが4×4大きさ(trafoSize(又は、iWidth)==4)のブロッ
クの場合(S1810)、現在ブロックに対する周波数変換方式は、整数離散正弦変換(D
ST)又は整数離散余弦変換(DCT)を適用する(S1855)。そうでない場合、現在ブ
ロックの周波数変換方式は、DCTを適用することができる。
次に、現在ブロックが輝度ブロック又は色差ブロックであり、且つ色差ブロックの画面
内予測方向モードがLMモードの場合(S1815)、輝度信号に対する画面内予測方向モ
ード(IntraPredMode)を取得する(S1820)。
ここで、現在ブロックの輝度信号に対する画面内予測方向モードを、輝度信号及び色差
信号に対する残余映像の周波数変換方式を誘導するのに使用することができる。
もし、ブロック(LMモードでない色差ブロック)の場合、DCTを適用することができ
る(S1855)。
次に、もし、現在ブロック(輝度及び色差信号ブロック)の画面内予測方向モードが‘2
’より大きく且つ‘10’より小さい場合(S1825)、現在ブロック(輝度及び色差信
号ブロック)に対する周波数変換方式として、水平方向には整数離散正弦変換(DST)を
適用し、垂直方向には整数離散余弦変換(DCT)を適用することができる(S1840)。
一方、もし、現在ブロック(輝度及び色差信号ブロック)の画面内予測方向モードが‘0
’(Planar)であり、又は‘11’より大きく且つ‘25’より小さい場合(S18
30)、現在ブロック(輝度及び色差信号ブロック)に対する周波数変換方式として、水平
垂直方向の両方ともに整数離散正弦変換(DST)を適用することができる(S1845)。
また、もし、現在ブロック(輝度及び色差信号ブロック)の画面内予測方向モードが‘2
6’より大きく且つ‘34’より小さい場合(S1835)、現在ブロック(輝度及び色差
信号ブロック)に対する周波数変換方式として、水平方向には整数離散余弦変換(DCT)
を適用し、垂直方向には整数離散正弦変換(DST)を適用することができる(S1850)
。そうでない場合、現在ブロック(輝度及び色差信号ブロック)に対する周波数変換方式と
して、水平垂直方向の両方ともに整数離散余弦変換(DCT)を適用することができる(S
1855)。
一方、前述した図18の例に係るスケールされた変換係数のための変換過程(Tran
sformation process for scaled transform co
efficients)は、下記の通りである。
図18の例に係るスケールされた変換係数のための変換過程
ここでの入力は、下記の通りである。
-現在変換ブロックの幅Width:nW
-現在変換ブロックの高さHeight:nH
-要素(element)dijを有するスケールされた変換係数の配列:(nW×nH)
配列d
-現在ブロックの輝度信号及び色差信号に対するインデックス:cIdx
-もし、cIdxが‘0’の場合、輝度信号を意味し、cIdxが‘1’であり、又は
cIdxが‘2’の場合、色差信号を意味する。また、cIdxが‘1’の場合、色差信
号でCbを意味し、cIdxが‘2’の場合、色差信号でCrを意味する。
ここでの出力は、下記の通りである。
-スケールされた変換係数を逆変換して求められた残余信号に対する配列;(nW×n
H)配列r
現在ブロックに対する符号化モード(PredMode)が画面内予測モード(Intr
a)であり、且つLog2(nW*nH)値が‘4’であり、輝度信号の場合には、輝度信
号の画面内予測方向モードによって変数horizTrTypeとvertTrType
は、表11を介して求められ、色差信号の符号化モードがIntra_FromLuma(
LM)の場合には、輝度信号の画面内予測方向モードによって変数horizTrTyp
eとvertTrTypeは、表11を介して求められる。もし、そうでない場合、変数
horizTrTypeとvertTrTypeは‘0’に設定する。
Figure 2023056004000019
変数horizTrTypeとvertTrType値を有してスケールされた変換係
数に対する逆変換過程を実行する。まず、現在ブロックの大きさ(nW,nH)とスケール
された変換係数配列(nW×nH array d)、変数horizTrTypeの入力を
受け、水平方向に1次元逆変換を実行することで、配列(nW×nH array e)を出
力する。
次に、配列(nW×nH array e)の入力を受けて配列(nW×nH array
g)を数式9のように誘導する。
Figure 2023056004000020
次に、現在ブロックの大きさ(nW,nH)と配列(nW×nH array g)、変数v
ertTrTypeの入力を受けて垂直方向に1次元逆変換を実行する。
cIdxによって残余信号に対する配列(nW×nH array r)を数式10のよう
に設定する。
Figure 2023056004000021
ここで、シフト(shift)は、cIdxが‘0’の場合、shift=20-Bit
Depthであり、そうでない場合、shift=20-BitDepth値を有し
、BitDepthは、現在映像に対するサンプルのビット数(例えば、8ビット)を意味
する。
図19は、本実施例によって、色差信号のIntra_FromLuma(LM)符号化
モードに対して輝度信号の画面内予測方向モードによって色差信号の残余映像に対する周
波数変換方式を選択的に誘導する方法の他の例を説明するフローチャートである。
図19を参照すると、現在ブロックが条件1(画面内符号化(Intra)で符号化され
、且つ輝度信号(Luma)のブロック)又は条件2(現在ブロックがLMモードであり、且
つ色差(Chroma)信号のブロック)であるかどうかが判断される(S1910)。
条件1又は条件2を満たさない場合、現在ブロックの輝度信号及び色差信号に対する周
波数変換方式は、整数変換又は整数離散余弦変換(DCT)を適用する(S1955)。
そうでない場合(条件1又は条件2を満たす場合)、現在ブロックの輝度信号に対する画
面内予測方向モード(IntraPredMode)を取得する(S1915)。
ここで、現在ブロックの輝度信号に対する画面内予測方向モードを、輝度信号に対する
残余映像の周波数変換方式を誘導するのに使用することができる。そして、現在ブロック
の色差信号がLMモードに符号化された場合、現在ブロックの輝度信号に対する画面内予
測方向モードを、色差信号に対する残余映像の周波数変換方式を誘導するのに使用するこ
とができる。
次に、現在ブロックが4×4大きさ(iWidth==4)のブロックであるかどうかを
判断する(S1920)。もし、現在ブロックが4×4大きさ(iWidth==4)のブロ
ックでない場合、現在ブロックの輝度信号及び色差信号に対する周波数変換方式は、整数
変換又は整数離散余弦変換(DCT)を適用する(S1955)。そうでない場合(現在ブロ
ックが4×4大きさ(iWidth==4)のブロックである場合)、現在ブロックの画面
内予測方向モードを検査する。
もし、現在ブロックの画面内予測方向モードが‘2’より大きく且つ‘10’より小さ
い場合(S1925)、現在ブロックの輝度信号に対する周波数変換方式として、水平方向
には整数離散正弦変換(DST)を適用し、垂直方向には整数離散余弦変換(DCT)を適用
することができる(S1940)。現在ブロックの色差信号がLMモードに符号化された場
合、現在ブロックの輝度信号に対する周波数変換方式を、色差信号の残余映像を周波数変
換するのに使用することができる。
しかし、現在ブロックの色差信号がLMモードに符号化されない場合、現在ブロックの
色差信号に対して水平垂直方向の両方ともに整数離散余弦変換(DCT)を実行することが
できる(S1955)。
もし、現在ブロックの画面内予測方向モードが‘0’であり、又は‘11’より大きく
且つ‘25’より小さい場合(S1930)、現在ブロックの輝度信号に対する周波数変換
方式として、水平垂直方向の両方ともに整数離散正弦変換(DST)を適用することができ
る(S1945)。現在ブロックの色差信号がLMモードに符号化された場合、現在ブロッ
クの輝度信号に対する周波数変換方式を、色差信号の残余映像を周波数変換するのに使用
することができる。一方、現在ブロックの色差信号がLMモードに符号化されない場合、
現在ブロックの色差信号に対して水平垂直方向の両方ともに整数離散余弦変換(DCT)を
実行することができる(S1955)。
一方、もし、現在ブロックの画面内予測方向モードが‘26’より大きく且つ‘34’
より小さい場合(S1935)、現在ブロックの輝度信号に対する周波数変換方式として、
水平方向には整数離散余弦変換(DCT)を適用し、垂直方向には整数離散正弦変換(DS
T)を適用することができる(S1950)。現在ブロックの色差信号がLMモードに符号
化された場合、現在ブロックの輝度信号に対する周波数変換方式を、色差信号の残余映像
を周波数変換するのに使用することができる。そうでない場合、現在ブロックの色差信号
がLMモードに符号化されない場合、現在ブロックの色差信号に対して水平垂直方向の両
方ともに整数離散余弦変換(DCT)を実行することができる(S1955)。
そうでない場合、現在ブロックの輝度信号及び色差信号の残余映像に対する周波数変換
方式として、水平垂直方向の両方ともに整数離散余弦変換(DCT)を適用する(S195
5)。
前述した例を反映したスケールされた変換係数のための変換過程(Transform
ation process for scaled transform coeffic
ients)は、下記の通りである。
図19の例を反映したスケールされた変換係数のための変換過程
ここでの入力は、下記の通りである。
-現在変換ブロックの幅Width:nW
-現在変換ブロックの高さHeight:nH
-要素(element)dijを有するスケールされた変換係数の配列:(nW×nH)
配列d
-現在ブロックの輝度信号及び色差信号に対するインデックス:cIdx
-もし、cIdxが‘0’の場合、輝度信号を意味し、cIdxが‘1’であり、又は
cIdxが‘2’の場合、色差信号を意味する。また、cIdxが‘1’の場合、色差信
号でCbを意味し、cIdxが‘2’の場合、色差信号でCrを意味する。
ここでの出力は、下記の通りである。
-スケールされた変換係数を逆変換して求められた残余信号に対する配列:(nW×n
H)配列r
現在ブロックに対する符号化モード(PredMode)が画面内予測モード(Intr
a)であり、且つLog2(nW*nH)値が‘4’であり、輝度信号の場合には、輝度信
号の画面内予測方向モードによって変数horizTrTypeとvertTrType
は、表12を介して求められ、色差信号の符号化モードがIntra_FromLuma(
LM)の場合には、輝度信号の画面内予測方向モードによって変数horizTrTyp
eとvertTrTypeは、表12を介して求められる。もし、そうでない場合、変数
horizTrTypeとvertTrTypeは‘0’に設定する。
Figure 2023056004000022
変数horizTrTypeとvertTrType値を有してスケールされた変換係
数に対する逆変換過程を実行する。まず、現在ブロックの大きさ(nW,nH)とスケール
された変換係数配列(nW×nH array d)、変数horizTrTypeの入力を
受け、水平方向に1次元逆変換を実行することで、配列(nW×nH array e)を出
力する。
次に、配列(nW×nH array e)の入力を受けて配列(nW×nH array
g)を数式11のように誘導する。
Figure 2023056004000023
次に、現在ブロックの大きさ(nW,nH)と配列(nW×nH array g)、変数v
ertTrTypeの入力を受けて垂直方向に1次元逆変換を実行する。
cIdxによって残余信号に対する配列(nW×nH array r)を数式12のよう
に設定する。
Figure 2023056004000024
ここで、シフト(shift)は、cIdxが‘0’の場合、shift=20-Bit
Depthであり、そうでない場合、shift=20-BitDepth値を有し
、BitDepthは、現在映像に対するサンプルのビット数(例えば、8ビット)を意味
する。
ここで、本実施例は、現在色差ブロックが“Intra_FromLuma”モードに
符号化された時だけでなく、下記の1又は2のような多様な場合にも適用されることがで
きる。
1.色差ブロックを予測するにあたって、復元された輝度信号ブロックに加重値をかけ
た後、オフセットを加える全ての方式に対して適用することができる。
2.色差ブロックを予測するにあたって、復元された輝度信号ブロックと色差信号ブロ
ックに対するテンプレートシフト(template shift)を利用することで、色
差ブロックを予測する全ての方式に対して適用することができる。ここで、テンプレート
シフトは、輝度信号と色差信号との間の相関性を類推するために使用する。
その他、本実施例は、多様に適用されることができる。
[実施例5]画面内予測方向モードによって色差信号の残余映像に対する周波数変換方
式を選択的に誘導する方法及び装置
図20は、本実施例によって、画面内予測方向モードに基づいて色差信号の残余映像に
対する周波数変換方式を選択的に誘導する方法の一例を説明するフローチャートである。
図20を参照すると、まず、現在ブロックが画面内符号化(Intra)で符号化され、
且つ現在ブロックが4×4大きさ(trafoSize(又は、iWidth)==4)のブ
ロックであるかどうかを判断する(S2010)。まず、現在ブロックが画面内符号化(I
ntra)で符号化され、且つ現在ブロックが4×4大きさ(trafoSize(又は、
iWidth)==4)のブロックの場合、現在ブロックに対する周波数変換方式は、整数
離散正弦変換(DST)又は整数離散余弦変換(DCT)を適用する。そうでない場合、現在
ブロックの周波数変換方式は、DCTを適用することができる(S2065)。
次に、現在ブロックが輝度ブロック又は色差ブロックであり、且つ色差ブロックの画面
内予測方向モードがLMモードの場合(S2015)、輝度信号に対する画面内予測方向モ
ード(IntraPredMode)を取得する(S2020)。ここで、現在ブロックの輝
度信号に対する画面内予測方向モードを、輝度信号及び色差信号に対する残余映像の周波
数変換方式を誘導するのに使用することができる。
もし、そうでない場合、色差ブロックがDMモードであるかどうかを判断する(S20
25)。
もし、現在ブロックが色差ブロックであり、且つDMブロックの場合、DCTを適用す
ることができる(S2065)。一方、もし、現在ブロックが色差ブロックであり、且つD
Mブロックでない場合、色差信号に対する画面内予測方向モードを、色差信号に対する残
余映像の周波数変換方式を誘導するのに使用することができる(S2030)。
ここで、色差ブロックがDMモードに符号化された場合、DMモードのうち、EMモー
ド(平面モード(Planar)、平均モード(DC)、水平モード(Hor)、垂直モード(V
er)、垂直方向で8番目位置したモード(Ver+8又は34番モード))に該当する画面
内予測方向モードは、DST又はDCT又はそれ以外の周波数変換方法を適用することが
できる。
次に、もし、現在ブロック(輝度及び色差信号ブロック)の画面内予測方向モードが‘2
’より大きく且つ‘10’より小さい場合(S2035)、現在ブロック(輝度及び色差信
号ブロック)に対する周波数変換方式として、水平方向には整数離散正弦変換(DST)を
適用し、垂直方向には整数離散余弦変換(DCT)を適用することができる(S2050)。
一方、もし、現在ブロック(輝度及び色差信号ブロック)の画面内予測方向モードが‘0
’(Planar)であり、又は‘11’より大きく且つ‘25’より小さい場合(S20
40)、現在ブロック(輝度及び色差信号ブロック)に対する周波数変換方式として、水平
垂直方向の両方ともに整数離散正弦変換(DST)を適用することができる(S2055)。
また、もし、現在ブロック(輝度及び色差信号ブロック)の画面内予測方向モードが‘2
6’より大きく且つ‘34’より小さい場合(S2045)、現在ブロック(輝度及び色差
信号ブロック)に対する周波数変換方式として、水平方向には整数離散余弦変換(DCT)
を適用し、垂直方向には整数離散正弦変換(DST)を適用することができる(S2060)
そうでない場合、現在ブロック(輝度及び色差信号ブロック)に対する周波数変換方式と
して、水平垂直方向の両方ともに整数離散余弦変換(DCT)を適用することができる(S
2065)。
ここで、周波数変換方法を選択的に適用する方法は、下記1~3のうちいずれか一つの
ように多様に適用することができる。
1.色差ブロックがDMモードに符号化された場合、DMモードのうち、EMモード(
平面モード(Planar)、平均モード(DC)、水平モード(Hor)、垂直モード(Ve
r)、垂直方向で8番目位置したモード(Ver+8又は34番モード))に該当する画面内
予測方向モードに対してのみDST又はDCT又はそれ以外の周波数変換方法を適用する
ことができる。
2.色差ブロックがLMモードに符号化された場合、輝度信号から誘導された画面内予
測方向モードのうち、EMモード(平面モード(Planar)、平均モード(DC)、水平
モード(Hor)、垂直モード(Ver)、垂直方向で8番目位置したモード(Ver+8又
は34番モード))に該当する画面内予測方向モードに対してのみDST又はDCT又はそ
れ以外の周波数変換方法を適用することができる。
3.画面内予測方向モードがPlanarであり、又はDCの場合にのみ、DST又は
DCT又はそれ以外の周波数変換方法を選択的に適用することができ、その他のモードに
対してはDST又はDCT又はそれ以外の周波数変換方法を固定的に適用することができ
る。または、その反対も可能である。
その他、多様な方法により周波数変換方法を誘導することができる。
前述した図20の方法を反映してスケールされた変換係数のための変換(Transf
ormation process for scaled transform coef
ficients)を実行する方法は、下記の通りである。
図20の例を反映したスケールされた変換係数のための変換過程
ここでの入力は、下記の通りである。
-現在変換ブロックの幅Width:nW
-現在変換ブロックの高さHeight:nH
-要素(element)dijを有するスケールされた変換係数の配列:(nW×nH)
配列d
-現在ブロックの輝度信号及び色差信号に対するインデックス:cIdx
-もし、cIdxが‘0’の場合、輝度信号を意味し、cIdxが‘1’であり、又は
cIdxが‘2’の場合、色差信号を意味する。また、cIdxが‘1’の場合、色差信
号でCbを意味し、cIdxが‘2’の場合、色差信号でCrを意味する。
ここでの出力は、下記の通りである。
-スケールされた変換係数を逆変換して求められた残余信号に対する配列:(nW×n
H)配列r
現在ブロックに対する符号化モード(PredMode)が画面内予測モード(Intr
a)であり、且つLog2(nW*nH)値が‘4’であり、輝度信号である場合には、輝
度信号の画面内予測方向モードによって変数horizTrTypeとvertTrTy
peは、以下の表13を介して求められ、色差信号である場合には、色差信号の画面内予
測符号化モードが‘4’より小さい場合、色差信号の画面内予測方向モードによって変数
horizTrTypeとvertTrTypeは、表13を介して求められる。一方、
色差信号の符号化モードがIntra_FromLuma(LM)の場合には、輝度信号の
画面内予測方向モードによって、変数horizTrTypeとvertTrTypeは
、以下の表を介して求められる。もし、そうでない場合、変数horizTrTypeと
vertTrTypeは‘0’に設定する。
Figure 2023056004000025
変数horizTrTypeとvertTrType値を有してスケールされた変換係
数に対する逆変換過程を実行する。まず、現在ブロックの大きさ(nW,nH)とスケール
された変換係数配列(nW×nH array d)、変数horizTrTypeの入力を
受け、水平方向に1次元逆変換を実行することで、配列(nW×nH array e)を出
力する。
次に、配列(nW×nH array e)の入力を受けて配列(nW×nH array
g)を数式13のように誘導する。
Figure 2023056004000026
次に、現在ブロックの大きさ(nW,nH)と配列(nW×nH array g)、変数v
ertTrTypeの入力を受けて垂直方向に1次元逆変換を実行する。
cIdxによって残余信号に対する配列(nW×nH array r)を数式14のよう
に設定する。
Figure 2023056004000027
ここで、シフト(Shift)は、cIdxが‘0’の場合、shift=20-Bit
Depthであり、そうでない場合、shift=20-BitDepth値を有し
、BitDepthは、現在映像に対するサンプルのビット数(例えば、8ビット)を意味
する。
図21は、本実施例によって、画面内予測方向モードに基づいて色差信号の残余映像に
対する周波数変換方式を選択的に誘導する方法の他の例を説明するフローチャートである
図21によると、まず、現在ブロックが画面内符号化(Intra)で符号化されない場
合(S2105)、現在ブロックの輝度信号及び色差信号に対する周波数変換方式として整
数変換又は整数離散余弦変換(DCT)を適用する(S2160)。
そうでない場合(現在ブロックが画面内符号化(Intra)で符号化された場合)、現在
ブロックが輝度信号(Luma)のブロックであるか、現在ブロックの符号化モードがLM
であるかどうかを判断する(S2110)。
もし、現在ブロックが輝度信号でもなく、且つ現在ブロックの符号化モードがLMでも
ない場合には、色差信号に対する画面内予測方向モードを取得する(S2115)。そうで
ない場合、輝度信号に対する画面内予測方向モードを取得する(S2120)。
ここで、現在ブロックの輝度信号に対する画面内予測方向モードを、輝度信号に対する
残余映像の周波数変換方式を誘導するのに使用することができる。ここで、現在ブロック
の色差信号に対する画面内予測方向モードを、色差信号に対する残余映像の周波数変換方
式を誘導するのに使用することができる。
そして、現在ブロックの色差信号がLMモードに符号化された場合、現在ブロックの輝
度信号に対する画面内予測方向モードを、色差信号に対する残余映像の周波数変換方式を
誘導するのに使用することができる。
次に、現在ブロックが4×4大きさ(iWidth==4)のブロックであるかどうかを
判断する(S2125)。もし、現在ブロックが4×4大きさ(iWidth==4)のブロ
ックでない場合、現在ブロックの輝度信号及び色差信号に対する周波数変換方式は、整数
変換又は整数離散余弦変換(DCT)を適用する(S2160)。そうでない場合(現在ブロ
ックが4×4大きさ(iWidth==4)のブロックである場合)、現在ブロックの画面
内予測方向モードを検査する。
ここで、輝度信号に対する周波数変換方式を誘導する時は、IntraPredMod
e(C)がIntraPredMode(輝度信号に対する画面内予測方向モード)に変更さ
れ、色差信号に対する周波数変換方式を誘導する時は、IntraPredMode(C)
がIntraPredModeC(色差信号に対する画面内予測方向モード)に変更される
もし、現在ブロックの画面内予測方向モードが‘2’より大きく且つ‘10’より小さ
い場合(S2130)、現在ブロックに対する周波数変換方式として、水平方向には整数離
散正弦変換(DST)を適用し、垂直方向には整数離散余弦変換(DCT)を適用することが
できる(S2145)。
一方、もし、現在ブロックの画面内予測方向モードが‘0’であり、又は‘11’より
大きく且つ‘25’より小さい場合(S2135)、現在ブロックに対する周波数変換方式
として、水平垂直方向の両方ともに整数離散正弦変換(DST)を適用することができる(
S2150)。
一方、もし、現在ブロックの画面内予測方向モードが‘26’より大きく且つ‘34’
より小さい場合(S2140)、現在ブロックに対する周波数変換方式として、水平方向に
は整数離散余弦変換(DCT)を適用し、垂直方向には整数離散正弦変換(DST)を適用す
ることができる(S2155)。
そうでない場合、現在ブロックの輝度信号及び色差信号の残余映像に対する周波数変換
方式として、水平垂直方向の両方ともに整数離散余弦変換(DCT)を適用することができ
る(S2160)。
前述した例に係る方法をスケールされた変換係数のための変換(Transforma
tion process for scaled transform coeffici
ents)に反映した方法は、下記の通りである。
図21の例を反映したスケールされた変換係数のための変換過程
ここでの入力は、下記の通りである。
-現在変換ブロックの幅Width:nW
-現在変換ブロックの高さHeight:nH
-要素(element)dijを有するスケールされた変換係数の配列:(nW×nH)
配列d
-現在ブロックの輝度信号及び色差信号に対するインデックス:cIdx
-もし、cIdxが‘0’の場合、輝度信号を意味し、cIdxが‘1’であり、又は
cIdxが‘2’の場合、色差信号を意味する。また、cIdxが‘1’の場合、色差信
号でCbを意味し、cIdxが‘2’の場合、色差信号でCrを意味する。
ここでの出力は、下記の通りである。
-スケールされた変換係数を逆変換して求められた残余信号に対する配列:(nW×n
H)配列r
現在ブロックに対する符号化モード(PredMode)が画面内予測モード(Intr
a)であり、且つLog2(nW*nH)値が‘4’であり、輝度信号である場合には、輝
度信号の画面内予測方向モードによって変数horizTrTypeとvertTrTy
peは、表14を介して求められ、色差信号である場合には、色差信号の画面内予測方向
モードによって、変数horizTrTypeとvertTrTypeは、表14を介し
て求められ、色差信号の符号化モードがIntra_FromLuma(LM)の場合には
、輝度信号の画面内予測方向モードによって、変数horizTrTypeとvertT
rTypeは、表14を介して求められる。もし、そうでない場合、変数horizTr
TypeとvertTrTypeは‘0’に設定する。
Figure 2023056004000028
変数horizTrTypeとvertTrType値を有してスケールされた変換係
数に対する逆変換過程が実行される。まず、現在ブロックの大きさ(nW,nH)とスケー
ルされた変換係数配列(nW×nH array d)、変数horizTrTypeの入力
を受け、水平方向に1次元逆変換を実行することで、配列(nW×nH array e)を
出力する。
次に、配列(nW×nH array e)の入力を受けて配列(nW×nH array
g)を数式15のように誘導する。
Figure 2023056004000029
次に、現在ブロックの大きさ(nW,nH)と配列(nW×nH array g)、変数v
ertTrTypeの入力を受けて垂直方向に1次元逆変換を実行する。
次に、cIdxによって残余信号に対する配列(nW×nH array r)を数式16
のように設定する。
Figure 2023056004000030
ここで、シフト(shift)は、cIdxが‘0’の場合、shift=20-Bit
Depthであり、そうでない場合、shift=20-BitDepth値を有し
、BitDepthは、現在映像に対するサンプルのビット数(例えば、8ビット)を意味
する。
前述した方法は、ブロック大きさ又はCU深さ又はTU深さ等によって適用範囲を異な
るようにすることができる。
このように適用範囲を決定する変数(即ち、大きさ又は深さ情報)は、符号化器及び復号
化器が予め決められた値を使用するように設定することもでき、プロファイル又はレベル
によって決められた値を使用するようにすることもでき、符号化器が変数値をビットスト
リームで記載すると、復号化器は、ビットストリームからこの値を求めて使用することも
できる。
CU深さによって適用範囲を異なるようにする時は、表15に例示したように、次の三
つの方式が適用されることができる:方式A)与えられた深さ以上の深さにのみ適用する
方式、方式B)与えられた深さ以下にのみ適用する方式、方式C)与えられた深さにのみ適
用する方式
表15は、与えられたCU(又はTU)深さが2の場合、本発明の方法を適用する範囲決
定方式の例を示す。表15において、Oは、与えられたCU(又は、TU)深さが2の場合
、本発明の方法を適用する範囲決定方式の例を示す。表15において、Oは、当該深さに
適用可能であるということを示し、Xは、当該深さに適用しないということを示す。
Figure 2023056004000031
全ての深さに対して本発明の方法を適用しない場合は、任意の指示子(flag)を使用
して示すこともでき、適用範囲を示すCU深さ値としてCU深さの最大値より一つ大きい
値をシグナリングすることで表現することもできる。
また、前述した方法は、輝度信号と色差信号との間の解像度が異なる場合にも適用する
ことができる。
例えば、色差信号が輝度信号の1/4大きさと仮定した時(一例として、輝度信号416
×240大きさ、色差信号208×120大きさ)、輝度信号8×8ブロックは、色差信
号4×4ブロックと同じである。
図22は、輝度ブロックと色差ブロックとの間の解像度差の一例を示す。図22の例で
は、輝度信号が8×8ブロック2210であり、色差信号が4×4ブロック2220であ
る場合を例示している。
図22の例において、輝度信号2210には4個の4×4ブロックがあり、4×4ブロ
ック毎に各々画面内予測方向モードを有することができる。反面、色差信号2220は、
2×2ブロックに分けられない。
この場合、色差信号は、4×4ブロックに対して一つの画面内予測方向モードを有する
ことができる。このとき、色差信号がIntra_FromLuma(LM)モードに符号
化された場合(又は、色差信号がDM(輝度信号の画面内予測方向モードを色差信号の画面
内予測方向モードにそのまま使用するモード)モードに符号化された場合)、色差信号の残
余映像に対する周波数変換方式を誘導するための輝度信号の画面内予測方向モードは、4
個の4×4ブロックのうち一つが使われることができる。
色差信号の残余映像に対して選択的に周波数変換方式を適用するために、画面内予測方
向を誘導する方法は、下記1~4のうちいずれか一つのように多様に適用されることがで
きる。
1.輝度信号ブロックの左上段に位置したブロックの画面内予測方向モードを使用する
ことができる。
2.輝度信号ブロックの右上段又は左下段又は右下段に位置したブロックの画面内予測
方向モードを使用することができる。
3.4個の輝度信号ブロックの平均値又は中間値を使用することができる。
4.現在ブロックの4個の輝度信号ブロックと現在ブロックの周辺ブロックの色差信号
ブロックの画面内予測方向モードを利用した平均値又は中間値などを使用することができ
る。
その他、多様な方法により色差信号に対する画面内予測方向モードを誘導することがで
きる。
図23は、輝度ブロックと色差ブロックとの間の解像度差を説明する他の例である。
図23の例のように、輝度信号2310には1個の16×16ブロックがあり、1個の
画面内予測モードを有することができる。反面、色差信号2320は、4個の4×4ブロ
ックに分けられることができ、このとき、4×4ブロックの各々に対して画面内予測方向
モードを有することができる。
このとき、色差信号がIntra_FromLuma(LM)モードに符号化された場合(
又は、色差信号がDM(輝度信号の画面内予測方向モードを色差信号の画面内予測方向モ
ードにそのまま使用するモード)モードに符号化された場合)、1個の輝度信号の画面内予
測方向モードが各色差信号の残余映像ブロックに対する周波数変換方式を誘導するために
使われることができる。または、色差信号の残余映像ブロックに対する周波数変換方式を
誘導するために、現在ブロックの周辺ブロック(輝度ブロック又は色差ブロック)から画面
内予測方向モードを誘導して使用することもできる。
また、前述した方法は、輝度ブロックの大きさによって色差ブロックに異なるように適
用することができ、また、輝度信号映像及び色差映像に異なるように適用することができ
、また、周波数変換方式を水平方向及び垂直方向に異なるように適用することができる。
表16は、この方法の組合せを概略的に説明するものである。
Figure 2023056004000032
表16の変形された方法のうち、方法“ト1”を見ると、輝度ブロックの大きさが8(
8×8、8×4、2×8等)であり、色差ブロックの大きさが4(4×4、4×2、2×4
)である場合、明細書の実施例1(ト1-実施例1)と、実施例2-1又は実施例2-2(ト
1-実施例2-1又は実施例2-2)と、実施例3(ト1-実施例3)とを輝度信号及び色
差信号及び水平信号及び垂直信号に適用することができる。
前記変形された方法のうち、方法“ヲ2”を見ると、輝度ブロックの大きさが16(1
6×16、8×16、4×16等)であり、色差ブロックの大きさが4(4×4、4×2、
2×4)である場合、明細書の実施例1(ヲ2-実施例1)と、実施例2-1又は実施例2
-2(ヲ2-実施例2-1又は実施例2-2)と、実施例3(ヲ2-実施例3)とを輝度信号
及び色差信号及び水平信号に適用して垂直信号には適用しない。
ここで、前述した方法は、現在色差ブロックが“Intra_FromLuma”モー
ドに符号化された時だけでなく、下記の1又は2のような多様な場合にも適用することが
できる。
1.色差ブロックを予測するにあたって、復元された輝度信号ブロックに加重値をかけ
た後、オフセットを加える全ての方式に対して適用することができる。
2.色差ブロックを予測するにあたって、復元された輝度信号ブロックと色差信号ブロ
ックに対するテンプレートシフト(template shift)を利用することで、色
差ブロックを予測する全ての方式に対して適用することができる。ここで、テンプレート
シフトは、輝度信号と色差信号との間の相関性を類推するために使用する。
その他、多様に適用することができる。
[実施例6]色差信号の変換方式及びスキャン方式を統合的に決定する方法及び装置
前述したように、色差信号の残余信号(差分映像)に対するスキャニング方法は、色差信
号の画面内予測方向モードによって変わることができる。
また、色差信号の残余信号(差分映像)に対する周波数変換方式は、色差信号の画面内予
測方向モードによって変わることができる。
色差信号の残余信号(差分映像)に対するスキャニング方法は、色差信号の残余信号に対
する周波数変換方式によって符号化効率が異なることができる。しかし、色差信号の残余
信号(差分映像)に対するスキャニング方法と周波数変換方法は、両方とも色差信号の画面
内予測方向モードによって変わることができるため、二つの方法は、所定の相関関係を有
するということができる。
即ち、色差信号の残余信号に対するスキャニング方式と周波数変換方式は、相関関係を
有することができ、二つの方式が統合されて最適の組合せで決定されることができる。し
たがって、実施例1及び実施例2-1/実施例2-2での色差信号に対するスキャニング
方法、実施例3及び実施例4、実施例5の周波数変換方式は、表17のように統合的に決
定されることができる。
表17は、本実施例によって色差信号の残余信号に対するスキャニング方法と周波数変
換方式を統合して決定する方法の一例を示す。
Figure 2023056004000033
表17は、色差信号の残余信号に対するスキャニング方法と周波数変換方式を統合して
決定する方法の組合せを示す。ここで、EM、DM、及びLMモードは、色差信号に対す
る画面内予測方向モードの符号化方法を示す。
輝度信号の画面内予測方向モードを色差信号の画面内予測方向モードとしてそのまま適
用して誘導される色差信号に対するモードがDM(Derived Mode)である。実
際画面内予測方向モードを符号化する色差信号に対するモードがEM(Explicit
Mode)である。EMモードに符号化される色差信号の画面内予測方向モードとして、
平面モード(Planar)、平均モード(DC)、水平モード(Hor)、垂直モード(Ve
r)、垂直方向で8番目位置したモード(Ver+8又は34番モード)が存在する。
最後に、復元された輝度信号から色差信号を予測するモードがLM(Intra_Fro
mLuma)モードである。
表17において、組合せの一例として、‘A’をみると、色差信号に対する周波数変換
方式を決定するために、色差信号の画面内予測方向モードのうち、EMとLMのみが利用
され、DMが利用されない。EMとLMを利用して周波数変換方式が決定(実施例3、4
、5)され、その後に変換された係数に対するスキャニング方法を決定するために、色差
信号の画面内予測方向モードのうち、EMとDMを利用してスキャニング方式(実施例1
、2)が決定される。
ここでは符号化効率を考慮して、色差信号の画面内予測方向モードの中からDMモード
を利用して周波数変換方式を誘導する場合を除外することもできる。例えば、DMモード
に符号化される場合、もし、色差信号の画面内予測方向モードが輝度信号の画面内予測方
向モードと異なり、色差信号の画面内予測方向モードがEMモード(平面モード(Plan
ar)、平均モード(DC)、水平モード(Hor)、垂直モード(Ver)、垂直方向で8番
目位置したモード(Ver+8又は34番モード))には存在しないモードの場合、DMモ
ードに符号化されるよりほかないため、DMモードに符号化された色差信号の画面内予測
方向モードは、正確度という側面において劣化することがあり得る。したがって、DMモ
ードが周波数変換方式の決定に使われないこともある。
表17において、組合せの他の例として、‘D’をみると、色差信号に対する周波数変
換方式を決定するために、色差信号の画面内予測方向モードのうち、EMとLMのみが利
用され、DMが利用されない。EMとLMを利用して周波数変換方式が決定(実施例3、
4、5)され、その後に変換された係数に対するスキャニング方法を決定するために、色
差信号の画面内予測方向モードのうち、EM、DM、及びLMを全部利用してスキャニン
グ方式(実施例1、2)が決定される。
ここでは符号化効率を考慮して、色差信号の画面内予測方向モードの中からLMモード
を利用してスキャニング方式を誘導する場合が含まれることもできる。実施例1及び2で
説明したように、LMモードに符号化された色差信号は、輝度信号と相関関係を有するこ
とができる。したがって、LMモードに符号化された色差信号の画面内予測方向モードは
、輝度信号の画面内予測方向モードと略同じである。したがって、LMモードに符号化さ
れた色差信号の画面内予測方向モードは、輝度信号と類似する特性を有するため、スキャ
ニング方式の決定に使われることができる。
表17において、組合せの他の例として、‘T’をみると、色差信号に対する周波数変
換方式を決定するために、色差信号の画面内予測方向モードのうち、EM、DM、及びL
Mが全部利用される。EM、DM、及びLMを利用して周波数変換方式が決定(実施例3
、4、5)され、その後に変換された係数に対するスキャニング方法を決定するために、
色差信号の画面内予測方向モードのうちEM、DM、及びLMを全部利用してスキャニン
グ方式(実施例1、2)が決定される。
表17において、組合の他の例として、‘T’方法を変形すると、色差信号に対する周
波数変換方式を決定するために、色差信号の画面内予測方向モードのうち、EM、DM、
及びLMモードが利用されることができる。このとき、EM、DM、及びLMモードのう
ち、実際復元された色差信号に対する画面内予測方向モードがEMモード(平面モード(P
lanar)、平均モード(DC)、水平モード(Hor)、垂直モード(Ver)、垂直方向
で8番目位置したモード(Ver+8又は34番モード))の場合に対してのみ周波数変換
方式が決定(実施例3、4、5)されることができる。また、変換された係数に対するスキ
ャニング方法を決定するためにも、EM、DM、及びLMが全部利用されることができる
。このとき、EM、DM、及びLMモードのうち、実際復元された色差信号に対する画面
内予測方向モードがEMモード(平面モード(Planar)、平均モード(DC)、水平モ
ード(Hor)、垂直モード(Ver)、垂直方向で8番目位置したモード(Ver+8又は
34番モード))の場合に対してのみスキャニング方式(実施例1、2)が使われることがで
きる。
[実施例7]色差信号の変換方式及びスキャン方式を決定するためのテーブルを統合す
る方法及び装置
色差信号の残余信号(差分映像)に対するスキャニング方法と周波数変換方法は、両方と
も色差信号の画面内予測方向モードによって変わることができるため、二つの方法は、密
接な相関関係を有するということができる。
したがって、本実施例では画面内予測方向モードによって二つの方法を決定するために
使われるテーブルを統合して使用することができる。
表18は、本実施例によって画面内予測方向モードに基づいて誘導される周波数変換方
式及びスキャニング方式の一例を示す。
Figure 2023056004000034
また、表19は、本実施例によって画面内予測方向モードに基づいて誘導される周波数
変換方式及びスキャニング方式の他の例を示す。
Figure 2023056004000035
表20は、本実施例によって画面内予測方向モードに基づいて誘導される周波数変換方
式及びスキャニング方式の他の例を示す。
Figure 2023056004000036
表21は、本実施例によって画面内予測方向モードに基づいて誘導される周波数変換方
式及びスキャニング方式の他の例を示す。
Figure 2023056004000037
表18~表21は、画面内予測方向モードによって誘導される周波数変換方式及びスキ
ャニング方式のテーブルを統合した例を示す。
例えば、表19を見ると、画面内予測方向モードが2~5の場合には、垂直水平周波数
変換方式としてDSTが使われ、スキャニング方法として上段右側方向スキャン(DIA
G(up-right))が使われる。画面内予測方向モードが6~14の場合には、垂直
周波数変換方式としてDCTが使われ、水平周波数変換方式としてDSTが使われ、スキ
ャニング方法としてVER(垂直)が使われる。
画面内予測方向モードが15~21の場合には、垂直水平周波数変換方式としてDST
が使われ、スキャニング方法としてDIAG(up-right)が使われる。画面内予測
方向モードが22~30の場合には、垂直周波数変換方式としてDSTが使われ、水平周
波数変換方式としてDCTが使われ、スキャニング方法としてHOR(水平)が使われる。
画面内予測方向モードが31~34の場合には、垂直水平周波数変換方式としてDST
が使われ、スキャニング方法としてDIAG(up-right)が使われる。
このように表19のように、画面内予測方向モードによって周波数変換方式とスキャニ
ング方法が考慮される場合、表18とは異なって、VERとHORによって統一性あるよ
うに具現されることができるという長所がある。
ここで、前記方法は、現在色差ブロックが“Intra_FromLuma”モードに
符号化された時だけでなく、下記の1又は2の場合にも適用することができる。
1.色差ブロックを予測するにあたって、復元された輝度信号ブロックに加重値をかけ
た後、オフセットを加える全ての方式に対して適用することができる。
2.色差ブロックを予測するにあたって、復元された輝度信号ブロックと色差信号ブロ
ックに対するテンプレートシフト(template shift)を利用することで、色
差ブロックを予測する全ての方式に対して適用することができる。ここで、テンプレート
シフトは、輝度信号と色差信号との間の相関性を類推するために使用する。
その他、前述した方法は、多様に適用することができる。
図24は、本発明によるエンコーディング装置を概略的に説明するブロック図である。
図24を参照すると、エンコーディング装置2400は、予測モード特定部2410及
びスキャニング部2420を含む。
予測モード特定部2410は、現在ブロックに適用された予測モードを特定する。例え
ば、予測モード特定部2410は、現在ブロックの輝度サンプル及び/又は色差サンプル
に適用された画面内予測モードを特定することができる。
このとき、予測モード特定部2410は、図1の画面内予測部より以前に位置して現在
ブロックに適用する画面内予測モードを特定することもでき、画面内予測部より上位に位
置して現在ブロックに適用された画面内予測モードを特定する情報を出力することもでき
る。
画面内予測モードは、図6に対する説明などで前述した通りである。
スキャニング部2420は、現在ブロックの色差信号及び/又は輝度信号をスキャニン
グすることができる。このとき、スキャニング部2420は、現在ブロックの画面内予測
モードに対応して現在ブロックに適用するスキャニングタイプを決定することができる。
現在ブロックに適用するスキャニングタイプ(方法)を決定する具体的な方法は、本明細
書の実施例で詳細に説明した通りである。
図25は、本発明によるデコーディング装置を概略的に説明するブロック図である。
図25を参照すると、デコーディング装置2500は、予測モード特定部2510及び
スキャニング部2520を含む。
予測モード特定部2510は、現在ブロックに適用された予測モードを特定する。例え
ば、予測モード特定部2410は、現在ブロックの輝度サンプル及び/又は色差サンプル
に適用された画面内予測モードを特定することができる。
画面内予測モードは、図6に対する説明などで前述した通りである。
スキャニング部2520は、現在ブロックの色差信号及び/又は輝度信号をスキャニン
グすることができる。このとき、スキャニング部2520は、現在ブロックの画面内予測
モードに対応して現在ブロックに適用するスキャニングタイプを決定することができる。
現在ブロックに適用するスキャニングタイプ(方法)を決定する具体的な方法は、本明細
書の実施例で詳細に説明した通りである。
前述した例示的なシステムにおいて、方法は一連のステップ又はブロックで流れ図に基
づいて説明されているが、本発明は、ステップの順序に限定されるものではなく、あるス
テップは、前述と異なるステップと、異なる順序に又は同時に発生することができる。ま
た、前述した実施例は、多様な態様の例示を含む。例えば、各実施例の組合せも、本発明
の一実施例として理解しなければならない。

Claims (4)

  1. ビデオ復号化方法であって、
    ビットストリームから現在ブロックに関連する画面内予測モードを取得するステップと

    前記画面内予測モードに基づいて、前記現在ブロックに画面内予測を実行することによ
    って、前記現在ブロックの予測サンプルを取得するステップと、
    前記現在ブロックの変換係数をスキャニングするステップと、
    前記変換係数に対して逆量子化を実行することにより、前記現在ブロックの逆量子化され
    た変換係数を取得するステップと、
    前記現在ブロックの変換タイプを決定するステップと、
    前記決定された変換タイプに基づいて、前記逆量子化された変換係数に対して逆変換を
    実行することによって前記現在ブロックの残差サンプルを取得するステップと、前記逆変
    換は水平方向および垂直方向で実行され、
    を備え、
    前記変換タイプは、DCT(離散コサイン変換)又はDST(離散サイン変換)であると
    決定され、
    前記変換タイプは、前記現在ブロックの前記画面内予測モードとは独立して決定されるこ
    とを特徴とするビデオ復号化方法。
  2. 請求項1に記載のビデオ復号化方法であって、
    前記変換タイプは、前記現在ブロックのサイズに基づいて決定されることを特徴とするビ
    デオ復号化方法。
  3. ビデオ符号化方法であって、
    現在ブロックの変換係数をスキャニングするステップと、
    前記変換係数に対して逆量子化を実行することによって、前記現在ブロックの逆量子化さ
    れた変換係数を取得するステップと、
    前記現在ブロックの変換タイプを決定するステップと、
    前記決定された変換タイプに基づいて、前記逆量子化された変換係数に対して逆変換を実
    行することによって、前記現在ブロックの残差サンプルを取得するステップと、前記逆変
    換は水平方向および垂直方向で実行され、
    を備え、
    前記変換タイプは、DCT(離散コサイン変換)またはDST(離散サイン変換)である
    と決定され、
    前記変換タイプは、前記現在ブロックの画面内予測モードとは独立して決定されることを
    特徴とするビデオ符号化方法。
  4. 請求項3に記載のビデオ符号化方法であって、
    前記変換タイプは、前記現在ブロックのサイズに基づいて決定されることを特徴とするビ
    デオ符号化方法。
JP2023021838A 2012-04-16 2023-02-15 符号化方法及び復号化方法、並びにそれを利用する装置 Pending JP2023056004A (ja)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
KR20120039444 2012-04-16
KR10-2012-0039444 2012-04-16
KR20120039622 2012-04-17
KR20120040015 2012-04-17
KR10-2012-0039622 2012-04-17
KR10-2012-0040015 2012-04-17
KR10-2012-0043456 2012-04-25
KR20120043456 2012-04-25
KR1020130041906A KR101591352B1 (ko) 2012-04-16 2013-04-16 비디오 복호화 장치
KR10-2013-0041906 2013-04-16
JP2022012299A JP7234427B2 (ja) 2012-04-16 2022-01-28 符号化方法及び復号化方法、並びにそれを利用する装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022012299A Division JP7234427B2 (ja) 2012-04-16 2022-01-28 符号化方法及び復号化方法、並びにそれを利用する装置

Publications (1)

Publication Number Publication Date
JP2023056004A true JP2023056004A (ja) 2023-04-18

Family

ID=49635806

Family Applications (8)

Application Number Title Priority Date Filing Date
JP2015504514A Active JP6169681B2 (ja) 2012-04-16 2013-04-16 符号化方法及び復号化方法、並びにそれを利用する装置
JP2017013340A Active JP6279776B2 (ja) 2012-04-16 2017-01-27 符号化方法及び復号化方法、並びにそれを利用する装置
JP2017125543A Active JP6580631B2 (ja) 2012-04-16 2017-06-27 符号化方法及び復号化方法、並びにそれを利用する装置
JP2017125553A Active JP6580632B2 (ja) 2012-04-16 2017-06-27 符号化方法及び復号化方法、並びにそれを利用する装置
JP2017125535A Active JP6580630B2 (ja) 2012-04-16 2017-06-27 符号化方法及び復号化方法、並びにそれを利用する装置
JP2019149161A Active JP7053540B2 (ja) 2012-04-16 2019-08-15 符号化方法及び復号化方法、並びにそれを利用する装置
JP2022012299A Active JP7234427B2 (ja) 2012-04-16 2022-01-28 符号化方法及び復号化方法、並びにそれを利用する装置
JP2023021838A Pending JP2023056004A (ja) 2012-04-16 2023-02-15 符号化方法及び復号化方法、並びにそれを利用する装置

Family Applications Before (7)

Application Number Title Priority Date Filing Date
JP2015504514A Active JP6169681B2 (ja) 2012-04-16 2013-04-16 符号化方法及び復号化方法、並びにそれを利用する装置
JP2017013340A Active JP6279776B2 (ja) 2012-04-16 2017-01-27 符号化方法及び復号化方法、並びにそれを利用する装置
JP2017125543A Active JP6580631B2 (ja) 2012-04-16 2017-06-27 符号化方法及び復号化方法、並びにそれを利用する装置
JP2017125553A Active JP6580632B2 (ja) 2012-04-16 2017-06-27 符号化方法及び復号化方法、並びにそれを利用する装置
JP2017125535A Active JP6580630B2 (ja) 2012-04-16 2017-06-27 符号化方法及び復号化方法、並びにそれを利用する装置
JP2019149161A Active JP7053540B2 (ja) 2012-04-16 2019-08-15 符号化方法及び復号化方法、並びにそれを利用する装置
JP2022012299A Active JP7234427B2 (ja) 2012-04-16 2022-01-28 符号化方法及び復号化方法、並びにそれを利用する装置

Country Status (8)

Country Link
US (8) US11323699B2 (ja)
EP (2) EP2840792A4 (ja)
JP (8) JP6169681B2 (ja)
KR (5) KR101591352B1 (ja)
CN (6) CN104322064A (ja)
AU (9) AU2013250143B2 (ja)
BR (1) BR112014025563B1 (ja)
WO (1) WO2013157829A1 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9948938B2 (en) * 2011-07-21 2018-04-17 Texas Instruments Incorporated Methods and systems for chroma residual data prediction
CN104871537B (zh) * 2013-03-26 2018-03-16 联发科技股份有限公司 色彩间帧内预测的方法
ES2665908T3 (es) * 2013-04-08 2018-04-30 Ge Video Compression, Llc Predicción inter-componente
CN106458520B (zh) * 2014-06-12 2019-01-01 三菱电机株式会社 电梯以及轿厢安装姿势调整方法
US11394972B2 (en) * 2015-08-19 2022-07-19 Lg Electronics Inc. Method and device for encoding/decoding video signal by using optimized conversion based on multiple graph-based model
US10554969B2 (en) * 2015-09-11 2020-02-04 Kt Corporation Method and device for processing video signal
CN109155857B (zh) * 2016-03-11 2023-05-30 数字洞察力有限公司 视频编码方法以及装置
CN109417636B (zh) 2016-06-24 2022-04-01 韩国电子通信研究院 用于基于变换的图像编码/解码的方法和设备
US10368107B2 (en) 2016-08-15 2019-07-30 Qualcomm Incorporated Intra video coding using a decoupled tree structure
WO2018062921A1 (ko) * 2016-09-30 2018-04-05 엘지전자 주식회사 영상 코딩 시스템에서 블록 분할 및 인트라 예측 방법 및 장치
CN116647680A (zh) 2016-10-28 2023-08-25 韩国电子通信研究院 视频编码/解码方法和设备以及存储比特流的记录介质
EP3577899A4 (en) * 2017-01-31 2020-06-17 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR SCALING TRANSFORM COEFFICIENT LEVEL VALUES
KR20180092774A (ko) 2017-02-10 2018-08-20 삼성전자주식회사 샘플 적응적 오프셋 처리를 수행하는 영상 처리 장치 및 영상 처리 방법
WO2019059640A1 (ko) * 2017-09-19 2019-03-28 엘지전자 주식회사 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2019147087A1 (ko) * 2018-01-25 2019-08-01 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 장치
EP3815359A1 (en) * 2018-06-27 2021-05-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Contour mode prediction
EP3707898B1 (en) * 2018-07-13 2021-03-17 Telefonaktiebolaget LM Ericsson (publ) Transform selection in a video encoder and/or video decoder
US10630979B2 (en) * 2018-07-16 2020-04-21 Tencent America LLC Reference sample padding and filtering for intra prediction in video compression
CN112567743A (zh) * 2018-08-15 2021-03-26 日本放送协会 图像编码装置、图像解码装置及程序
CN113261291A (zh) * 2018-12-22 2021-08-13 北京字节跳动网络技术有限公司 基于多个参数的两步交叉分量预测模式
US12022060B2 (en) 2019-02-28 2024-06-25 Samsung Electronics Co., Ltd. Video encoding and decoding method for predicting chroma component, and video encoding and decoding device for predicting chroma component
CN111669582B (zh) * 2019-03-09 2022-05-20 杭州海康威视数字技术股份有限公司 进行编码和解码的方法、编码端、解码端和系统
US11539952B2 (en) * 2019-03-12 2022-12-27 Qualcomm Incorporated Implicit transform selection in video coding
KR20210116676A (ko) * 2019-03-14 2021-09-27 엘지전자 주식회사 인트라 예측을 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
BR112021012480A2 (pt) 2019-03-24 2021-11-23 Huawei Tech Co Ltd Método e aparelho para predição intra de croma em codificação de vídeo
WO2020232355A1 (en) * 2019-05-16 2020-11-19 Bytedance Inc. Intra block copy for screen content coding
CN113347435B (zh) * 2019-06-21 2022-03-29 杭州海康威视数字技术股份有限公司 预测模式的解码、编码方法及装置
WO2021118266A1 (ko) * 2019-12-12 2021-06-17 엘지전자 주식회사 디블록킹 필터링을 사용하는 영상 디코딩 방법 및 장치
EP4088465A4 (en) * 2020-02-04 2023-11-29 Huawei Technologies Co., Ltd. ENCODER, DECODER AND CORRESPONDING METHODS FOR SIGNALING HIGH-LEVEL SYNTAX
WO2024083090A1 (en) * 2022-10-17 2024-04-25 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2210229B (en) * 1987-09-24 1991-11-20 Matsushita Electric Works Ltd Picture encoding system
JP2839142B2 (ja) 1987-11-14 1998-12-16 松下電工株式会社 画像符号化方式
JP4166305B2 (ja) 1996-09-20 2008-10-15 エイ・ティ・アンド・ティ・コーポレーション ビデオの画像コーディング及びイントラコーディングのための暗黙の係数予測及び走査適合化を提供するビデオコーダー
US6341144B1 (en) 1996-09-20 2002-01-22 At&T Corp. Video coder providing implicit coefficient prediction and scan adaptation for image coding and intra coding of video
AU2003219198A1 (en) 2002-04-02 2003-10-13 Nokia Corporation Coding transform coefficients in image / video encoder and/or decoders
KR100694058B1 (ko) 2004-09-30 2007-03-12 삼성전자주식회사 멀티 타임 스캔 방식에 기초한 인트라 모드 인코딩 및디코딩 방법 및 장치
CN100461867C (zh) * 2004-12-02 2009-02-11 中国科学院计算技术研究所 一种帧内图像预测编码方法
CN1777283A (zh) 2004-12-31 2006-05-24 上海广电(集团)有限公司 一种基于微块的视频信号编/解码方法
US8199819B2 (en) * 2005-10-21 2012-06-12 Electronics And Telecommunications Research Institute Apparatus and method for encoding and decoding moving picture using adaptive scanning
KR100882949B1 (ko) 2006-08-17 2009-02-10 한국전자통신연구원 화소 유사성에 따라 적응적인 이산 코사인 변환 계수스캐닝을 이용한 부호화/복호화 장치 및 그 방법
KR101619972B1 (ko) * 2008-10-02 2016-05-11 한국전자통신연구원 이산 여현 변환/이산 정현 변환을 선택적으로 이용하는 부호화/복호화 장치 및 방법
JP5377395B2 (ja) 2010-04-02 2013-12-25 日本放送協会 符号化装置、復号装置及びプログラム
US8942282B2 (en) * 2010-04-12 2015-01-27 Qualcomm Incorporated Variable length coding of coded block pattern (CBP) in video compression
CN102223525B (zh) 2010-04-13 2014-02-19 富士通株式会社 视频解码方法和系统
US9215470B2 (en) 2010-07-09 2015-12-15 Qualcomm Incorporated Signaling selected directional transform for video coding
US8885701B2 (en) * 2010-09-08 2014-11-11 Samsung Electronics Co., Ltd. Low complexity transform coding using adaptive DCT/DST for intra-prediction
KR20120035096A (ko) 2010-10-04 2012-04-13 한국전자통신연구원 쿼드 트리 변환 구조에서 부가 정보의 시그널링 방법 및 장치
KR101249806B1 (ko) * 2010-10-13 2013-04-02 (주)모밍 조립식 신발장
US10992958B2 (en) * 2010-12-29 2021-04-27 Qualcomm Incorporated Video coding using mapped transforms and scanning modes
CN102065298B (zh) * 2011-01-05 2012-10-24 西安电子科技大学 高性能宏块编码实现方法
US20120307893A1 (en) * 2011-06-02 2012-12-06 Qualcomm Incorporated Fast computing of discrete cosine and sine transforms of types vi and vii
US20130003856A1 (en) * 2011-07-01 2013-01-03 Samsung Electronics Co. Ltd. Mode-dependent transforms for residual coding with low latency
KR20130049526A (ko) 2011-11-04 2013-05-14 오수미 복원 블록 생성 방법
US9344722B2 (en) * 2011-11-18 2016-05-17 Futurewei Technologies, Inc. Scanning of prediction residuals in high efficiency video coding
KR102061201B1 (ko) * 2012-04-12 2019-12-31 주식회사 골드피크이노베이션즈 블록 정보에 따른 변환 방법 및 이러한 방법을 사용하는 장치

Also Published As

Publication number Publication date
AU2018202743A1 (en) 2018-05-10
US20210235077A1 (en) 2021-07-29
JP2017123656A (ja) 2017-07-13
US11647184B2 (en) 2023-05-09
AU2016200779A1 (en) 2016-02-25
AU2019205017B2 (en) 2021-05-06
AU2016200779B2 (en) 2018-02-15
US11616951B2 (en) 2023-03-28
CN107509078A (zh) 2017-12-22
WO2013157829A1 (ko) 2013-10-24
JP6169681B2 (ja) 2017-07-26
JP6580631B2 (ja) 2019-09-25
BR112014025563B1 (pt) 2023-12-05
AU2016200938A1 (en) 2016-03-03
CN104322064A (zh) 2015-01-28
CN107707920B (zh) 2021-06-01
KR101591352B1 (ko) 2016-02-04
CN107547900A (zh) 2018-01-05
US11962766B2 (en) 2024-04-16
KR20130116842A (ko) 2013-10-24
AU2021212037A1 (en) 2021-08-26
CN107547900B (zh) 2021-07-20
CN107707919A (zh) 2018-02-16
KR101591354B1 (ko) 2016-02-04
US12010300B2 (en) 2024-06-11
US20220224892A1 (en) 2022-07-14
US11323699B2 (en) 2022-05-03
US20230247194A1 (en) 2023-08-03
AU2016200938B2 (en) 2018-02-01
AU2013250143B2 (en) 2015-11-12
JP2017201811A (ja) 2017-11-09
CN107547901A (zh) 2018-01-05
JP7234427B2 (ja) 2023-03-07
AU2021212037B2 (en) 2023-03-02
US20220248004A1 (en) 2022-08-04
CN107707920A (zh) 2018-02-16
AU2018202744B2 (en) 2019-06-27
EP2840792A1 (en) 2015-02-25
US11595643B2 (en) 2023-02-28
AU2018202743B2 (en) 2019-06-27
US11997263B2 (en) 2024-05-28
KR20130116841A (ko) 2013-10-24
CN107707919B (zh) 2021-06-01
US20220239905A1 (en) 2022-07-28
JP2015515821A (ja) 2015-05-28
AU2013250143A1 (en) 2014-10-23
JP6580632B2 (ja) 2019-09-25
KR20130116837A (ko) 2013-10-24
US20230239467A1 (en) 2023-07-27
AU2023203128A1 (en) 2023-06-08
JP2022070871A (ja) 2022-05-13
EP3955573A1 (en) 2022-02-16
AU2019205017A1 (en) 2019-08-01
US11652989B2 (en) 2023-05-16
US20150063438A1 (en) 2015-03-05
BR112014025563A2 (pt) 2017-06-20
EP2840792A4 (en) 2016-03-16
AU2018202742B2 (en) 2019-06-27
AU2018202744A1 (en) 2018-05-10
CN107547901B (zh) 2021-07-20
JP2017201812A (ja) 2017-11-09
AU2018202742A1 (en) 2018-05-10
KR101765303B1 (ko) 2017-08-04
KR20130116840A (ko) 2013-10-24
JP6580630B2 (ja) 2019-09-25
CN107509078B (zh) 2021-07-20
JP7053540B2 (ja) 2022-04-12
JP2017201813A (ja) 2017-11-09
BR112014025563A8 (pt) 2021-06-22
KR20160048748A (ko) 2016-05-04
JP2019216459A (ja) 2019-12-19
US20220224893A1 (en) 2022-07-14
JP6279776B2 (ja) 2018-02-14
KR101765302B1 (ko) 2017-08-04

Similar Documents

Publication Publication Date Title
JP7234427B2 (ja) 符号化方法及び復号化方法、並びにそれを利用する装置
JP7234322B2 (ja) 映像情報符号化/復号方法及び装置
JP7293376B2 (ja) イントラ予測ベースのビデオ信号処理方法及び装置
KR20210037508A (ko) 이스케이프 샘플을 처리하는 방법 및 영상 복호화 장치
WO2013077714A1 (ko) 영상 정보 인코딩/디코딩 방법 및 장치
KR20220071129A (ko) 적응적 참조화소 선택을 이용한 영상 부호화 및 복호화 방법
CN114009031A (zh) 用于还原色度块的方法和用于解码影像的装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240409