CN114222138A - 视频信号的解码装置 - Google Patents

视频信号的解码装置 Download PDF

Info

Publication number
CN114222138A
CN114222138A CN202210049050.3A CN202210049050A CN114222138A CN 114222138 A CN114222138 A CN 114222138A CN 202210049050 A CN202210049050 A CN 202210049050A CN 114222138 A CN114222138 A CN 114222138A
Authority
CN
China
Prior art keywords
transform
block
prediction
motion vector
square
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210049050.3A
Other languages
English (en)
Inventor
韩锺基
李在荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry Academy Cooperation Foundation of Sejong University
Original Assignee
Industry Academy Cooperation Foundation of Sejong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170035361A external-priority patent/KR102426131B1/ko
Priority claimed from KR1020170048441A external-priority patent/KR102345458B1/ko
Priority claimed from KR1020170060576A external-priority patent/KR102378803B1/ko
Application filed by Industry Academy Cooperation Foundation of Sejong University filed Critical Industry Academy Cooperation Foundation of Sejong University
Publication of CN114222138A publication Critical patent/CN114222138A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

本发明涉及视频信号的解码装置。本发明一实施例的视频信号的解码装置，包括：变换区域信息获取单元，用于获取指示包括在变换块中的多个变换区域中的至少一个或多个的变换区域信息，所述变换块包括多个变换系数组；以及变换系数组扫描单元，用于基于所述变换区域信息将所述变换块分割成所述多个变换区域中的至少一个变换区域，分别获取所述变换区域的扫描方法，通过使用第一变换区域的扫描方法来扫描包括在所述第一变换区域中的多个变换系数组，通过使用第二变换区域的扫描方法来扫描包括在所述第二变换区域中的多个变换系数组。

Description

视频信号的解码装置
本申请是申请日为2017年05月26日、申请号为201780033620.7、题为“视频信号的编码或解码方法及装置”的专利申请的分案申请。
技术领域
本发明涉及视频信号的解码装置。
背景技术
最近，对于如高清(High Definition)影像及超高清(Ultra High Definition)影像的高分辨率、高质量的影像需要在多种应用领域增加。为使影像数据变得高分辨率、高质量，与以往的影像数据相比，数据量相对增加，因此，在利用如以往的有线无线宽带电路的介质来传送影像数据或者利用以往的存储介质来存储的情况下，传送费用和存储费用增加。为了解决随着影像数据变得高分辨率、高质量化而发生的这种问题，使用高效率的影像压缩技术。
视频压缩技术为了减少或去除在视频序列固有的冗余而包括空间预测和/或时间预测。在基于块的视频编码过程中，视频帧或切片可被分为块。各个块可被追加分割。帧内编码的I帧或切片中的块利用对于在相同帧或切片中的相邻块中的参照样品的空间预测编码。帧间编码的P或B帧的切片中的块可利用对于相同帧或切片中的相邻块中的参照样品的空间预测或在其他参照帧中的参照样品的时间预测。空间或时间预测可发生与编码的块有关的预测块。剩余数据表示编码的原块与预测块之间的像素差异。
通常，当前块利用相同尺寸的正方形编码块(CU)及变换块(TU)来编码影像，基于各个编码块或预测块尺寸，多个变换块通过四叉树分割结构适用于编码块。但是，在利用这种正方形编码块的情况下，需要传送每个编码块的预测模式及预测信息，因此，根据影像的种类，传送不必要的信息，从而导致编码效率的降低。并且，存在尚未考虑根据与编码块相对应的影像的特性和预测模式发生的残差块信号的特性的问题。
并且，在视频百年解码器中，利用多种尺寸编码单元，由此，可有效考虑影像的空间分辨率及特性来进行编码。通常，在影像的分辨率小或者像素值局部变大的情况下，利用尺寸小的编码单元来执行画面内及画面间预测更加有效。如上所述，在利用小尺寸的编码单元的情况下，用于编码的标题比特量增加，但是，相对地，可精密地进行预测，从而，用于量化错误和变化系数的编码的比特量减少。
相反，在影像的空间分辨率大或者像素值的变化小的区域中，利用大的编码单元可提高编码效率。在此情况下，与利用小的编码单元的情况相比，利用大的编码单元不会大幅度增加预测误差，因此，在对这种块进行编码的情况下，利用大的编码单元来有效减少传送比特量。但是，即使利用以往的多种编码单元，也很难有效编码具有高分辨率的多种图像。
在用于提高编码效率的视频压缩技术中，为了去除多个连续的图片之间的时间重复性而利用运动预测。为了检测时间重复性，使用多个参照图片来预测当前块的运动，执行运动补偿来生成预测块。运动信息包括至少一个参照图片索引和至少一个运动矢量。
并且，为了获取运动信息，当前块执行双向预测来构成当前块的预测运动矢量列表，利用其来将作为与当前块的运动矢量的差分值的差分运动矢量向解码器传送。在此情况下，包括对于各个方向的预测运动矢量的预测运动矢量列表相互独立。但是，多种尺寸用于画面间预测并增加当前块的运动信息与一个以上的相邻块的运动信息之间的相关性。因此，根据以往的压缩方法，图片的尺寸大于高画质图片，在为了运动预测及运动补偿而使用多种尺寸的情况下，运动信息的压缩效率降低。
发明内容
技术问题
本发明所要解决的技术问题在于，提供视频信号的编码及解码装置，即，根据影像利用多种形状的编码块及变换块，由此提高编码效率。
并且，本发明所要解决的再一问题在于，提供视频信号的编码及解码方法及装置，即，根据当前块的画面内预测模式，确定可提高编码效率的变换块的编码顺序。
本发明所要解决的技术问题在于，提供视频信号的解码方法及其的装置，即，利用多种形状的变换块来提高画面内预测的编码效率。
并且，本发明所要解决的技术问题在于，提供视频信号的解码方法及其的装置，即，与高频区域相比，首先编码低频区域的变换系数组，由此可提高编码效率。
本发明所要解决的技术问题在于，提供预测运动矢量列表的构成方法及构成装置，在当前块的双向预测时，利用相关度高的信息，由此提高画面间预测的编码效率。
并且，本发明所要解决的技术问题在于，提供根据用于当前块的双向预测的参照图片的相同与否提高编码效率的构成预测运动矢量列表的方法及其装置。
技术方案
用于解决上述问题的本发明一实施例的视频信号的解码装置包括：变换区域信息获取单元，用于获取指示包括在变换块中的多个变换区域中的至少一个或多个的变换区域信息，所述变换块包括多个变换系数组；以及变换系数组扫描单元，用于基于所述变换区域信息将所述变换块分割成所述多个变换区域中的至少一个变换区域，分别获取所述变换区域的扫描方法，通过使用第一变换区域的扫描方法来扫描包括在所述第一变换区域中的多个变换系数组，通过使用第二变换区域的扫描方法来扫描包括在所述第二变换区域中的多个变换系数组。
用于解决上述问题的本发明一实施例的视频信号的解码方法包括：设定构成当前影像的编码块的结构的步骤；设定与上述编码块相对应的多个变换块的结构的步骤；以及利用上述多个变换块来生成预测信号的步骤，上述编码块包括正方形(square)块及非正方形(non-square)块中的一种以上。
上述变换块包括上述编码块中的相同尺寸及小尺寸的正方形变换块及非正方形变换块中的一种以上。
在一实施例中，上述正方形变换块为具有四叉树结构的变换块，上述非正方形变换块为具有非正方形二叉树结构或非正方形四叉树结构的变换块。并且，上述视频信号的解码方法还可包括接收表示上述变换块的形状及尺寸的变换块分割信息的步骤。
在一实施例中，上述变换块包括非正方形变换子块及正方形变换子块中的一种以上来分割，还包括将上述变换块再次分割为多个子变换块的步骤，在再次被分割为上述多个子变换块的情况下，上述预测信号对应每个上述子变换块生成。并且，上述多个子变换块包括非正方形子变换块及正方形子变换块中的一种以上。
在一实施例中，上述视频信号的解码方法还可包括：在上述当前块执行画面内预测的情况下，对上述当前块的画面内预测模式的方向属于具有90度以上且小于180度的角度的第一模式区域、具有180度以上且小于225度的第二模式区域及具有45度以上且小于90度的角度的第三区域中的何种模式区域进行判断的步骤；以及以上述画面内预测模式所属的模式区域为基础来以可变方式确定上述变换块的编码顺序的步骤。
在上述画面内预测模式的方向为第二模式区域的情况下，上述变换块按从左侧下端到右侧上端的方向顺序编码，若上述变换块为正方形变换块，则按左侧下端、右侧下端、左侧上端及右侧上端的顺序编码，若上述变换块为正方形变换块，则按左侧下端、左侧上端、右侧下端及右侧上端的顺序编码。
并且，若上述变换块为被纵向分割的非正方形变换块，则按从左侧到右侧的顺序编码，若上述变换块为横向分割的非正方形变换块，则按从下端到上端的顺序编码。
在上述画面内预测模式的方向为第三区域模式的情况下，上述变换块按从右侧上端到左侧下端的顺序编码，若上述变换块为正方形变换块，则按右侧上端、左侧上端、右侧下端及左侧下端的顺序编码，若上述变换块为正方形变换块，则按右侧上端、右侧下端、左侧上端及左侧下端的顺序编码。
并且，若上述变换块为被纵向分割的非正方形变换块，则按从右侧向左侧的顺序编码，若上述变换块为被横向分割的非正方形变换块，则按从上端到下端的顺序编码。
用于解决上述问题的本发明另一实施例的视频信号的解码装置包括：块设定部，设定构成当前影像的编码块的结构，设定与上述编码块相对应的多个变换块的结构；以及预测信号生成部，利用上述多个变换块来生成预测信号，上述编码块及上述变换块包括正方形块及非正方形块中的一种以上，上述预测信号生成部根据上述编码块的画面内预测模式在根据预测方向区分的多个模式区域中属于何种模式区域，按可变的编码顺序对上述多个变换块进行编码。
用于解决上述问题的本发明一实施例的视频信号的解码方法对包含多个变换系数组的变换块进行扫描，上述方法包括：获取表示包含在上述变换块的一个以上的变换区域的变换区域信息的步骤；以上述变换区域信息为基础来扫描包含在第一变换区域的多个变换系数组的步骤；以及对包含在上述变换块内的第二变换区域的多个变换系数组进行扫描的步骤。
在上述多个变换系数组中，与高频区域的变换系数组相比，低频区域的变换系数组优先进行扫描。
在一实施例中，上述变换区域信息从编码器接收或者从序列参数集及切片头中的一种以上获取。并且，上述变换区域信息在解码器中通过预设的方法获取。
在获取上述变换区域信息的步骤之前，还包括判断上述变换块是否为非正方形块的步骤。上述判断步骤以上述变换块的横向长度及纵向长度为基础来执行。
用于解决上述另一问题的本发明一实施例的视频信号的解码装置包括：变换区域信息获取部，用于获取表示包含在变换块中的一个以上的变换区域的变换区域信息；以及变换系数组扫描部，以上述变换区域信息为基础，对应每个上述一个以上的变换区域依次扫描包含在上述变换区域的多个变换系数组。
用于解决上述问题的本发明一实施例的预测运动矢量列表的构成方法包括：获取与当前块的第一方向有关的运动矢量的步骤；以及利用与上述第一方向有关的运动矢量来设定构成上述第二方向的预测运动矢量列表的一个以上的第二方向的候选预测运动矢量的步骤。
上述一个以上的第二方向的候选预测运动矢量是通过复制与上述第一方向有关的运动矢量来设定的，与上述第一方向有关的参照图片和与上述第二方向有关的参照图片具有相同的图片信息。并且，上述第二方向的候选预测运动矢量按具有最小码字的顺序分配于索引。
在一实施例中，上述第二方向的候选预测运动矢量是通过以图片信息为基础对与上述第一方向有关的运动矢量进行缩放来设定的，与上述第一方向有关的参照图片和与上述第二方向有关的参照图片的图片信息不相同。上述第二方向的候选预测运动矢量按具有最小码字的顺序分配于索引。
在设定上述至少一个以上的第二方向的候选预测运动矢量的步骤之前，还包括判断与上述第一方形有关的参照图片及与上述第二方向有关的参照图片的图片信息是否相同的步骤。
用于解决上述问题的本发明还有一实施例的预测运动矢量列表的构成装置包括：运动矢量获取部，用于获取与当前块的第一方向有关的运动矢量；以及第二方向预测运动矢量列表设定部，利用与上述第一方向有关的运动矢量来设定构成上述第二方向的预测运动矢量列表的一个以上的第二方向的候选预测运动矢量。
上述第二方向预测运动矢量列表设定部包括：第一候选预测运动矢量设定部，利用与上述第一方向有关的运动矢量来设定一个以上的上述第二方向的候选预测运动矢量；以及第二候选预测运动矢量设定部，利用上述当前块的空间及时间上相邻的块来设定一个以上的上述第二方向的候选预测运动矢量。
从上述第一候选预测运动矢量设定部获取的上述第二方向的候选预测运动矢量是通过复制与上述第一方向有关的运动矢量来设定的，与上述第一方向有关的参照图片和与上述第二方向有关的参照图片的图片信息相同。
从上述第一候选预测运动矢量设定部获取的上述第二方向的候选预测运动矢量是通过以图片信息为基础对上述第一方向有关的运动矢量进行缩放来设定的，与上述第一方向有关的参照图片和与上述第二方向有关的参照图片的图片信息不相同。并且，在上述第一候选预测运动矢量设定部获取的上述第二方向的候选预测运动矢量按具有最小码字的顺序分配于索引。
有益效果
根据本发明的实施例，本发明提供视频信号的编码及解码装置，即，根据影像使用非正方形编码块及非正方形变换块，由此提高编码效率。
并且，根据本发明的另一实施例，本发明提供视频信号的编码及解码装置，即，根据当前块的画面内预测模式的方向变更变换块的编码顺序，由此可编码及解码高分辨率的影像，并可确定增加编码效率的变换块的编码顺序。
根据本发明的实施例，本发明提供视频信号的编码及解码装置，即，在变换块为非正方形块的情况下，将上述变换块分割为包括多个变换系数组中的一部分的一个以上的变换区域，来依次扫描在上述变换区域内包含的变换系数组，由此提高画面内预测的编码效率。
并且，根据本发明的另一实施例，本发明提供视频信号的编码及解码装置，即，变换块被分为一个以上的变换区域，依次扫描在上述分割的变换区域内包含的变换系数组，由此，与高频区域相比，优先编码低频区域的变换系数组，由此可提高编码效率。
根据本发明的实施例，本发明提供视频信号的编码及解码装置，即，当构成对于第二方向的预测运动矢量列表时，将执行双向预测的当前块的第一方向的运动矢量用于一个以上的候选预测运动矢量设定，由此，当画面间预测时，利用相关度高的信息，从而提高画面间预测的编码效率。
并且，根据本发明的另一实施例，本发明提供视频信号的编码及解码装置，即，判断用于当前块的双向预测的参照图片的相同与否，根据是否相同，将对于第一方向的运动矢量通过多种方法用作当第二方向的预测运动矢量列表构成时，一个以上的候选预测运动矢量，由此可提高编码效率。
附图说明
图1为简要示出本发明一实施例的视频编码装置的框图。
图2为简要示出本发明一实施例的视频解码装置的框图。
图3用于说明一般方法的当前块的编码块。
图4a至图4c示出本发明一实施例的当前块的非正方形编码块的例示。
图5a至图6d示出用于本发明一实施例的当前编码块的多个变换块的例示。
图7a至图10示出本发明一实施例的多个子变换块的例示。
图11用于说明一般方法的变换块的编码顺序及方法。
图12a至图12c示出本发明一实施例的多个变换块的例示。
图13示出本发明一实施例的画面内预测模式所属的模式区域。
图14a及图14b示出本发明一实施例的当前块的画面内预测模式属于第一模式区域的情况下的多个变换块的编码顺序。
图15a至图15c示出本发明一实施例的当前块的画面内预测模式属于第二模式区域的情况下的多个变换块的编码顺序。
图16a至图16c示出本发明一实施例的当前块的画面内预测模式属于第三模式区域的情况下的多个变换块的编码顺序。
图17a至图19c示出适用考虑到本发明一实施例的画面内预测模式的变换块的编码顺序来编码正方形及非正方形变换块的顺序的多种例示。
图20用于说明一般变换块的结构。
图21用于说明构成一般16x16变换块的变换系数组。
图22用于说明一般方法的变换系数组及上述变换系数组的变换扫描方法。
图23a至图23d用于说明一般方法的变换系数组及上述变换系数组的扫描方法的种类。
图24a及图24b用于说明在本发明一实施例的变换块适用扫描方法的例。
图25用于说明对16x8变换块的变换适用一般扫描方法的例。
图26为示出扫描本发明一实施例的变换系数组的方法的流程图。
图27示出扫描本发明一实施例的变换系数组的装置。
图28a及图28b用于说明扫描用于本发明一实施例的非正方形变换块的变换系数组的方法。
图29a至图30d用于说明扫描用于本发明一实施例的非正方形变换块的多种方法。
图31用于说明获取一般方法的当前块的候选预测运动矢量(MVP candidate)位置。
图32至图33b用于说明构成一般方法的当前块的预测运动矢量列表的方法。
图34为用于说明构成本发明一实施例的预测运动矢量列表的方法的流程图。
图35为用于说明构成本发明一实施例的预测运动矢量列表的装置的流程图。
图36及图37示出构成本发明另一实施例的预测运动矢量列表的方法的流程图及构成装置。
图38a及图38b用于说明构成本发明一实施例的预测运动矢量列表的方法。
图39为示出构成本发明另一实施例的预测运动矢量列表的方法的流程图。
具体实施方式
以下，参照附图，详细说明本发明的优选实施例。
本发明的实施例为向本发明所属技术领域的普通技术人员更完地提供本发明而提供，以下实施例可变形为多种其他形态，本发明的范围并不局限于以下实施例。反而，这些实施例使本揭示更加充实且完整地，并向本发明所示技术的普通技术人员完整地提供本发明的思想。
并且，图中，各个单元的厚度或尺寸为了说明的便利及明确性而被放大，图中，相同附图标记表示相同结构要素。如在本说明书中所使用，术语“和/或”包括对应列举的项目中的一个及一个以上的所有组合。
在本说明书中使用的术语为了说明特定实施例而使用，而并非用于限定本发明。如在奔说明书中使用，单数形态并非指定文脉上其他情况，而是可包括复数形态。并且，在本说明书中使用的情况下，“包括(comprise)”和/或“包括(comprising)”特定提及的形状、数字、步骤、动作、部件、要素和/或这些组的存在，并非排除一个以上的其他形状、数字、动作、部件、要素和/或组的存在或附加。
在本说明书中，第一、第二等的术语为了说明多种结构要素、部件、部品、区域和/或部分而使用，这些结构要素、部件、部品、区域和/或部品并不局限于这些术语。这些术语用于区分一个结构要素、部件、部品区域或部分与其他区域或部分。因此，以下，上述第一结构要素、部件、部品、区域或部分在不超出本发明的主旨的情况下，可以被称为第二结构要素、部件、部品、区域或部分。并且，和/或术语包括多个相关记载的项目的组合或多个相关记载的项目中的一种项目。
在一个结构要素与其他结构要素“相连接”或“联接”的情况下，包括与上述其他结构要素直接连接或联接的情况和在上述一个结构要素与上述其他结构要素之间存在其他结构要素的情况。但是，在一个结构要素与其他结构要素“直接连接”或“直接联接”的情况下，在中间不存在其他结构要素，而是上述一个结构要素与上述其他结构要素直接连接或联接。
以下，参照简要示出本发明的实施例的附图来说明本发明的实施例。图中，例如，部件的尺寸和形状为了说明的便利和明确性而被放大，当实际体现时，可预期示出的形状的变形。因此，本发明的实施例并不局限于在本说明书中示出的区域的特定形状。
图1为简要示出本发明一实施例的影像编码装置的框图。
参照图1，影像编码装置1000包括图片分割部1050、画面间预测部1100、画面内画面间预测部1150、变换部1200、量化部1250、再整列部1300、熵编码部1350、逆量化部1400、逆变换部1450、滤波部1500及存储器1550。
图1所示的各个结构要素为了呈现出在影像编码装置中不同的特定功能而独立示出，各个结构要素并非由分离的硬件或一个软件的构成单元形成。即，各个结构要素为了方便说明而以各个的结构要素罗列，各个结构要素中，至少两个结构要素合并成其他结构要素，或者一个结构要素分为多个结构要素。这种各个结构要素合并的实施例或分离的实施例只要不超出本发明的本质实施方式的情况下，也属于本发明的保护范围。
图片分割部1050可将输入的图片分割为至少一个图片处理单元。上述处理单元可以为预测块(Prediction Unit，以下，称之为“PU”)，也可以为变换块(Transform Unit，以下称之为“TU”)，也可以为编码块(Coding Unit，以下，称之为“CU”)。只是，在本说明书中，为了方便说明，将预测块表现为预测单元，将变换块表现为变换单元，将编码或解码块表现为编码单元或解码单元。
在一实施例中，图片分割部1050对一个图片分割为多个编码块、预测块及变换块的组合，以规定基准(例如，成本函数)为基础来选择一个编码块、预测块及变换块的组合来编码图片。
例如，一个图片可被分割为多个编码块。在一实施例中，一个图片使用如四叉树或二叉树结构的递归树杈结构来分割上述编码块，将一个影像或最大尺寸编码块(largestcoding unit)作为树根来分割为其他编码块的编码块具有编码的数量的节点来分割。通过这种过程，无法再分割的编码块可变为叶节点。例如，对一个编码块，在仅可进行正方形切割的情况下，可分为一个编码块，例如，4个编码块。
但是，在本发明中，上述编码块，预测块和/或变换块当分割时并不局限于对称分割，也可以为非对称分割(Asymmetric Partition)，不仅是4个分割，也可以为2个分割。但是，这种分割数量仅是例示，本发明并不局限于此。如上所述，参照图3至图19c说明利用以编码块及变换块被对称分割的非正方形(non-square)块的视频信号的编码及解码方法及装置。
预测块也在一个编码块内具有相同尺寸的至少一个正方形(square)或非正方形(non-square)等的形态分割，在一个编码块内分割的预测块中，一个预测块的心态和尺寸与其他预测块不相同。在一实施例中，编码块与预测块可以相同。即，不区分编码块与预测块，以分割的编码块为基准执行预测。
画面间预测部可包括执行画面间预测(inter prediction)的画面间预测部1100及执行画面内预测(intra prediction)的画面内画面间预测部1150。为了提高编码效率，并非执行编码影像信号，而是利用预先完成编码及解码的图片内部的特定区域来预测影像，并编码原本的影像与预测影像之间的残插值。并且，为了预测而使用的预测模式信息、运动矢量信息等与残插值一同在熵编码部1350中被编码并向解码部传递。在利用特定编码模式的情况下，并非通过画面间预测部1100、1150生成预测块，而是直接编码原本快来向解码部传送。
在一实施例中，画面间预测部1100、1150确定对预测块执行画面间预测或画面内预测，可确定基于画面间预测模式、运动矢量及参照图片的上述预测方法的具体信息。在此情况下，执行预测的处理单元和预测方法及西部处理单元分别不同。例如，预测模式和预测方法可根据预测块确定，预测的执行可根据变换块改变。
画面间预测部1100、1150对在图片分割部1050中分割的图片的处理单元执行预测来生成由预测的样品构成的预测块。在画面间预测部1100、1150中的图片处理单元可以为编码块单元，也可以为变换块单元，还可以为预测块单元。
画面间预测部1100以在当前图片的之前图片或之后图片中的一种以上的图片的信息为基础来对预测块进行预测，根据情况，以完成当前图片内的编码的一部分区域的信息为基础来对预测块进行预测。画面间预测部1100可包括参照图片插值部、运动画面间预测部及运动补偿部。
在一实施例中，为了在画面间预测部1100进行预测而利用的上述一个以上的图片的信息可以为预先编码及解码的图片的信息，也可以为向任意方向变形存储的图片的信息。例如，通过上述任意方法变形存储的图片可以为放大或缩小编码及解码进行的图片，也可以为改变图片内的所有像素值的亮度来形成颜色格式的图片。
参照图片插值部从存储部1550接收参照图片信息来在参照图片中生成正数像素以下的像素信息。在亮度像素的情况下，利用改变滤波器的系数的基于离散余弦变换的8点插值滤波器(DCT-based Interpolation Filter)来以1/4像素单位生成正数以下的像素信息。在色差信息的情况下，该笔那滤波器的系数的基于离散余弦变换的4点插值滤波器来以1/8像素单位生成正数以下的像素信息。但是，滤波器的种类及生成正数以下的像素信息的单位并不局限于此，可确定利用多种插值滤波器来生成正数以下的像素信息的单位。
运动画面间预测部以通过上述图片插值部插值的参照图片为基础来执行运动预测。为了计算运动矢量而使用多种方法。运动矢量以插值的像素为基础来具有增速像素单位或1/4或1/8像素单位的运动矢量值。在一实施例中，在运动画面间预测部中，改变运动预测方法来预测当前块的预测单元。上述运动预测方法可使用包括混合方法、高级运动矢量预测方法及跳跃方法的多种方法。如上所述，包含在画面间预测部1100中选择的参照图片的索引、候选预测运动矢量、残差信号的信息被熵编码来向解码器传送。
画面内画面间预测部1150与画面间预测不同，以作为当前图片内的像素信息的当前块周边的参照像素信息为基础来生成预测块。在上述预测块的周边块为执行画面间预测的块的情况下，将包含在块的参照像素由执行周边的画面内预测的块的参照像素信息代替来使用。
在无法使用上述参照像素的情况下，需要设定成可以使用上述参照像素的状态。通常，在上述情况下，上述可利用的参照像素在可利用的周边像素中，由至少一个参照像素代替使用或者分配预设的样品值。
但是，在这种无法利用的参照像素复制可利用的参照像素来使用的方法具有在当前影像的解码时，降低画面内预测编码效率的问题。根据本发明的多种实施例，为了解决这种问题，当变换块的编码时，与无法利用的参照像素区域相比，使用可利用的参照像素区域来执行画面内预测地沿着画面内预测模式的方向来通过多种方法变更多个变换块的编码顺序。与此相关的仔细说明将后述。
并且，画面内画面间预测部1150为了编码画面内预测模式而可利用从相邻块获取的最有可能性的画面内预测模式。根据本发明的多种实施例，由上述最优可能性的画面内预测模式构成的最有可能性的画面内预测模式列表通过多种方法的构成。
在画面内画面间预测部1150执行画面内预测的情况下，执行预测的处理单元和确定预测方法及具体内容的处理单元不相同。例如，预测模式被确定为预测单元来通过上述预测单元执行预测，预测模式被确定为预测单元且通过执行预测的变换单元执行。在一实施例中，预测模式被确定为编码块，上述编码块单元和预测单元相同，从而通过上述编码块单元执行预测。
画面内预测的预测模式可包括65个方向型预测模式及至少2个以上的非方向性模式。上述非方向性模式可包括DC预测模式及平面模式(Planar Mode)。上述67个画面间预测模式的数量仅是例示，本发明并不局限于此，为了通过多种方法进行预测而通过更多的方向性或非方向性模式执行画面内预测。
在一实施例中，画面内预测可适用参照像素之后生成预测块。在此情况下，可根据当前块的画面内预测模式和/或尺寸来确定在上述参照像素是否适用。
预测单元可从无法再分割的编码单元确定多种尺寸及形态。例如，在画面间预测的情况下，预测单元可具有如2Nx2N、2NxN、Nx2N或NxN(N为正数)的尺寸。在画面内预测的情况下，预测单元可具有如2Nx2N或NxN(N为增速)的尺寸，可通过上述正方形尺寸和费正向尺寸形状执行画面内预测。在此情况下，NxN尺寸的预测单元仅在特定情况下适用。并且，除上述尺寸的预测单元之外，还可使用如具有NxmN、mNxN、2NxmN或mNx2N的尺寸的画面内预测单元。
在画面内画面间预测部1150中生成的预测块和原本块之间的残差块值(残留块或残差块信号)可向变换部1200输入。并且，为了进行预测而使用的预测模式信息、插值过滤信息等与残差块值一同在熵编码部1350中编码并向解码器传递。
变换部1200将包含以原本单元与原本块1100通过画面间预测部1150生成的预测单元的残差块值信息的残留块利用如离散余弦变换(DCT，Discrete Cosine Transform)、离散正弦变换(DST，Discrete Sine Transform)、特征选择和提取(KLT，Karhunen LoeveTransform)的变换方法来变换。为了变化残留块，一为了生成残留块而使用的预测单元的画面内预测模式信息为基础确定离散余弦变换、离散正弦变换、特征选择和提取。
在变换部1200中的变换块为变换块TU，可呈正方形结、非正方形结构、正方形四叉树结构、非正方形四叉树结构或二叉树结构。在一实施例中，变换单元的尺寸可在规定的最大及最小尺寸的范围内确定。并且，一个变换块的子变换块可以再被分割，上述多个子变换块可呈正方形结、非正方形结构、正方形四叉树结构、非正方形四叉树结构或二叉树结构。
量化部1250对在变换部1200中变换的残插值进行来能够华来生成量化系数。在一实施例中，上述变换的残插值可以为变换为频率区域的值。上述量化系数根据变换单元或影像的重要程度来变更，在量化部125中计算的值再次向逆量化部1400及再整列部1300提供。
再整列部1300可对从量化部1250提供的量化系数再次整列。再整列部1300再整列上述量化系数，由此，提高在熵编码部1350中的编码效率。再整列部1300通过系数扫描(Coefficient Scanning)方法来将二维块形态的量化系数再次整列为一维的矢量形态。上述系数扫描方法根据变换单元的尺寸及画面内预测模式来确定使用何种扫描方法。上述系数扫描方法可包括之字形扫描、沿着列方向扫描二维块形态的系数的垂直扫描及沿着行方向扫描二维块形态系数的水平扫描。在一实施例中，再整列部1300基于在量化部中传送的系数的概率统计来变更系数扫描的顺序，从而可提高在熵编码部1350中的熵编码效率。
熵编码部1350通过再整列部1300执行对于在整列的量化系数的熵编码。例如，熵编码可利用如指数哥伦布(Exponential Golomb)、上下文自适应可变长度编码(CAVLC，Context-Adaptive Variable Length Coding)、内容自适应二进制算术编码(CABAC，Content-Adaptive Binary Arithmetic Coding)的多种编码方法。
熵编码部1350可读从再整列部1300及画面间预测部1100，1150接收的编码单元的量化系数信息及块类型信息、预测模式信息、分割单元信息、预测单元信息及传送单元信息、运动矢量信息、参照图片信息、块的插值信息、过滤信息的多种信息进行编码。并且，在一实施例中，熵编码部1350在需要的情况下，向传送的参数组或句法赋予规定变更。
逆量化部1400对在量化部1250中量化的值进行逆量化，逆变换部145对在逆量化部1400中逆量化的值进行逆变换。在逆量化部1400及逆变换部1450中生成的残差块值与在画面间预测部1100、1150中预测的预测块合并来生成复原块(Reconstructed Block)。由上述生成的复原块构成的影像可以为运动补偿影像或运动补偿影像(Motion CompensatedPicture)。
上述运动补偿影像可向滤波部1500输入。滤波部1500可包括去块滤波部，偏移修改部(Sample Adaptive Offset，SAO)，及自适应环路滤波器(ALF，Adaptive LoopFilter)。简单地，上述运动补偿影像在去块滤波部中适用去块滤波器来去除或减少块效应(blocking artifact)之后，可修改向偏移修改部输入的偏移。在上述偏移修改部中输出的图片向上述自适应环路滤波部来通过自适应环路滤波器，通过上述滤波器的图片向存储器1550传送。
具体说明滤波部1500，上述去块滤波部在复原的图片去除块之间的边界生成的块内的歪曲。为了判断是否执行去块，以在块中的几列或几行中的像素为基础来判断是否在当前块适用去块滤波器。在块适用去块滤波器的情况下，根据需要的去块滤波强度，可适用强滤波器或弱滤波器。并且，在适用去块滤波器的过程中，当执行垂直滤波器及水平滤波器时，水平方向滤波及垂直方向滤波并行处理。
偏移修改部对适用去块滤波器的残留块，以像素单元修改与原本影像的偏移。为了修改对于特定图片的偏移，将在影像中的像素区分为规定数量的区域之后，确定执行修改的区域，可适用在对应区域适用修偏移的方法(Band Offset)或考虑到各个像素的边缘信息来适用偏移的方法(Edge Offset)的形态。但是，在一实施例中，对用于画面间预测的复原块，在滤波部1500不使用滤波器。
自适应环路滤波(Adaptive Loop Filter，自适应环路滤波器)以比较过滤的复原影像与原本影像的值为基础，仅在适用高效率的情况下执行。将影像中的像素分为规定组之后，确定适用于对应组的一个滤波器来对每个组执行不同的过滤。与是否适用上述自适应环路滤波器有关的信息中，亮度信息可对应每个编码块(Coding Unit，CU)传送，根据各个块，所适用的自适应环路滤波器滤波器的形状及滤波器系数不相同，并且，与适用对象块的特性无关，可适用相同形态(固定形态)的自适应环路滤波器滤波器。
存储器1550可存储通过滤波部1500计算的复原块或图片。存储于存储器1550的复原块或图片可向执行画面间预测的画面间预测部1100或画面内画面间预测部1150提供。在画面内画面间预测部1150中使用的复原块的像素值为不使用去块滤波部、偏移修改部及自适应环路滤波的数据。
图2为简要示出奔放买那个一实施例的影像解码装置的框图。参照图2，影像解码装置2000包括熵解码部2100、再整列部2150、逆量化部2200、逆变换部2250、画面间预测部2300，画面内画面间预测部2350、滤波部2400、存储器2450。
在从影像编码装置输入影像比特流的情况下，输入的比特流通过在编码装置中的影像信息被处理的步骤的逆过程解码。例如，为了在影像编码装置执行熵编码，在使用如CAVLC的可变长度编码(Variable Length Coding：VLC，以下，称之为：VLC)的情况下，熵解码部2100也体现为在编码装置中使用的可变长度编码表相同的可变长度编码表来执行熵解码。并且，为了在编码装置中执行熵编码，在利用CABAC的情况系，在熵解码部2100与此相对应地执行利用CABAC的熵解码。
在熵解码部2100解码的信息中，用于生成预测块的信息向画面间预测部2300及画面内画面间预测部2350提供，在熵解码部中执行熵解码的残插值向再整列部2150输入。
再整列部2150以在熵解码部2100中熵解码的比特流在影像编码器中再整列的方法为基础来再整列。再整列部2150接收与在编码装置执行的系数扫描有关的信息，以执行编码装置的扫描顺序为基础，通过逆向扫描方法执行再整列。
逆量化部2200以在编码装置中提供的量化参数和再整列的块的系数值为基础来执行逆量化。逆变换部2250对于在影像编码装置执行的量化结果，对编码装置的变换部执行的DCT、DST或KLT执行逆DCT、逆DST或逆KLT。逆变换以编码装置中确定的传送单元或影像的分割单元为基础来执行。在编码装置的变换部中，根据瑞如预测方法、当前块的尺寸及预测方向的信息来选择性执行DCT、DST或KLT，解码装置的逆变换部2250以在编码装置的变换部种子还行的变换信息为基础来确定逆变换方法来执行逆变换。
画面间预测部2300、2305以与在熵解码部2100中提供的预测块生成有关的信息和在存储器2450中提供的之前解码的块和/或图片信息为基础来生成预测块。复原块可利用在画面间预测部2300、2350中生成的预测开和在逆变换部2250中提供的残留块来生成。画面间预测部2300、2350执行的具体预测的方法与在编码装置的画面间预测部1100、1150执行的预测的方法相同。
画面间预测部2300、2350可包括预测单元判别部(未图示)、画面间预测部2300、及画面内画面间预测部2350。预测单元判别部接收如在熵解码部2100输入的预测单元信息、画面内预测方法的预测模式信息、画面间预测方法的运动预测有关信息的多种信息来区分在当前编码块中的预测块，并判断预测块执行画面间预测或画面内预测。
画面间预测部2300利用在影像编码器提供的当前预测块的画面间预测所需要的信息来以在当前预测块中的当前图片的之前图片或之后图片中的至少一个图片中的信息为基础来执行与当前预测块的画面间预测。
具体地，在画面间预测中，对当前块选择惨遭图片，选择与当前块相同的尺寸的参照块来生成与当前块有关的预测块。此时，为了利用参照图片的信息而可利用当前图片的周边块的信息。例如，利用如跳跃(skip)模式、混合(merge)模式及高级运动矢量预测(Advanced Motion Vector Prediction)的方法来基于周边块的信息生成与当前块有关的预测块。
预测块可生成如1/2像素样品单元和1/4像素样品单元的正数以下的样品单元。在此情况下，运动矢量也表现为正数像素以下的单元。例如，对亮度像素以1/4像素单位表示，对色差像素，以1/8像素单位表示。
包括当前块的画面间预测所需要的运动矢量及参照图片索引的运动信息确认从编码装置接收的跳过标志、混合标志等来与此对应地诱导。
画面内画面间预测部2350以当前图片内的像素信息为基础来生成预测块。在预测单元执行画面内预测的预测单元的情况下，以影像编码器中提供的预测单元的画面内预测模式信息为基础来执行画面内预测。在上述预测单元的周边块执行画面间预测的块的情况下，即，参照像素执行画面间预测的像素的情况下，将在执行画面间预测的块中的参照像素由执行周边的画面内预测的块的参照像素信息代替使用。
在无法使用(unavailable)上述参照像素的情况下，将其设定成可利用状态。通常，在上述情况下，上述无法利用的参照像素由在可利用(available)周边像素值中的至少一个参照像素代替使用或者分配预设的杨品质来使用。
但是，在这种无法利用的参照像素复制可利用的参照像素来使用的方法中，当当前影像的解码时，画面内预测编码效率会降低。根据本发明的多种实施例，为了解决这种问题，当变换块的编码时，与无法利用的参照像素区域相比，使用可利用的参照像素区域来执行画面内预测地沿着画面内预测模式的方向通过多种方法变更多个变换块的编码顺序。与此相关的仔细说明将后述。
并且，画面内画面间预测部2350为了编码画面内预测模式而利用从相邻块获取的最有可能的画面内预测模式(MPM：Most Probable Mode)。在一实施例中，上述最有可能性的画面内预测模式可利用当前块的空间相邻块的画面内预测模式。
在一实施例中，在画面内画面间预测部2350中执行预测的处理单元和预测方法及具体内容确定的处理单元不相同。例如，通过预测单元确定预测模式来通过预测单元执行预测，通过预测单元确定预测模式来通过变换单元执行画面内预测。
在此情况下，预测块从无法再分割的编码块确定多种尺寸及形态。例如，在画面内预测的情况下，预测块可具有如2Nx2N或NxN(N为正数)，不仅是上述正方形尺寸，通过非正方形尺寸形状的NxmN、mNxN、2NxmN或mNx2N(m为分数或正数)执行图画面内预测。在此情况下，NxN尺寸的预测单元仅在特定情况下适用。
并且，变换块可以确定为多种尺寸及形态。例如，变换块可具有如2Nx2N或NxN(N为正数)，不仅是上述正方形尺寸，通过作为非正方形尺寸的NxmN、mNxN、2NxmN或mNx2N(m为分数或正数)执行图画面内预测。在此情况下，NxN尺寸的预测单元仅在特定情况下适用。在一实施例中，变换块可以为具有正方形结构、非正方形结构、正方形四叉树结构、非正方形四叉树结构或二叉树结构的块中的一种。在一实施例中，变换块的尺寸可在规定的最大及最小尺寸的范围内确定。并且，一个变换块可被分割为子变换块，在此情况下，可被分割为正方形结构、非正方形结构、正方形四叉树结构、非正方形四叉树结构或二叉树结构。
画面内画面间预测部235可包括自适应帧内平滑(AIS，Adaptive IntraSmoothing)滤波部、参照像素插值部、DC滤波部。上述自适应帧内平滑滤波部为在当前块的参照像素执行滤波的部分，根据当前预测单元的预测模式确定是否适用滤波器。利用在影像编码器中提供的预测单元的预测模式自适应帧内平滑过滤器信息来在当前块的参照像素执行自适应帧内平滑滤波。在当前块的预测模式不执行自适应帧内平滑滤波的情况下，上述自适应帧内平滑滤波部并不适用于当前块。
参照像素插值部在预测单元的预测模式以插值参照像素的样品值为基础来执行画面内预测的预测单元的情况下，插值参照像素来生成正数值以下的像素单元的参照像素。当前预测单元的预测模式并不插值参照像素，而是在生成预测块的预测模式的情况下，参照像素并不会被内插。DC滤波部在当前块的预测模式为DC模式的情况下，通过滤波生成预测块。
复原的块和/或图片可向滤波部2400提供。滤波部2400可在复原的块和/或图片包括去块滤波部、偏移修改部和/或自适应环路滤波部。上述去块滤波部在从影像编码器适用表示在对象块或图片是否适用去块滤波器的信息及去块滤波器的情况下，可接收表示适用强滤波器或弱滤波器的信息。上述去块滤波部接收在影像编码器中提供的去块滤波器相关信息，在影像解码器中执行对应块的去块滤波。
上述偏移修改部以当编码时适用于影像的偏移信息的种类及偏移值信息等为基础来在复原的影像执行偏移修改。上述自适应环路滤波部以从编码器提供的自适应环路滤波器的适用与否有关信息、自适应环路滤波器的系数信息的信息为基础来以编码单位适用。与上述自适应环路滤波器有关的信息包含在特定参数组(parameter set)来提供。
存储器2450存储复原的图片或块，并在之后作为参照图片或参照块来使用，并且，向输入部提供复原的图片。
在本说明书中，为了方便说明而进行了省略，向解码装置输入的比特流经过解析(parsing)步骤来向熵解码部输入。并且，在熵解码部执行解析过程。
在本说明书中，编码可根据情况被解释为编码或解码，信息(information)均包括值(values)、参数(parameter)、系数(coefficients)、成分(elements)、标志(flag)等。“画面”或“图片”为一般特定时间内表示的一个影像的单元，“切片”、“框架”等在实际视频信号的编码过程中，构成图片的一部分的单元，根据需要，与图片混合使用。
“像素”、“像素”或“图元”表示构成一个影像的最小单元。并且，作为表示特定像素值的术语，可使用“样品”。样品可分为亮度(Luma)及色差(Chroma)成分，通常，使用均包含这些的术语。上述色差成分表示确定颜色之间的差异，通过由Cb及Cr构成。
“单元”为如上述编码单元、预测单元、变换单元，影像处理的基本单元或影像的特定位置，根据情况，与“块”或“区域”等的术语混合使用。并且，块表示由M个列和N个行构成的样品或变换系数(transform coefficient)的集合。
图3用于说明现有技术的当前块的编码块。
参照图3，与当前块相对应的影像可利用相同尺寸的正方形编码块11、12、13、14来编码或解码。例如，当前块10在当前块内向一侧倾斜，从而，在正方形编码块中，仅位于编码块112及编码块314的情况下，被分割为4个正方形编码块，从而进行作为并不实际存在的编码块的编码块011及编码块213的编码或解码，因此，需要传送对于上述编码块011及编码块213的预测模式及预测信息。上述方法与对应块的影像的特征无关地，需要传送的信息很多，因此会降低编码效率。为了解决这种问题，本发明一实施例的编码块可包括正方形编码块和非正方形编码块。
图4a至图4c表示本发明一实施例的当前块的非正方形编码块的例示。
如图4a至图4c所示，编码块可包括非正方形编码块。并且，各个编码块可独立确定预测模式和预测信息来传送。在一实施例中，上述非正方形编码块可包括横向长度大于纵向长度的纵向方向的非正方形编码块及纵向长度小于横向长度的横向的非正方形编码块。
首先，参照图4a，用于编码当前块的编码块21至27包括纵向方向的非正方形形状的编码块21、24、25。例如，纵向方向的非正方形编码块具有16x32的尺寸21或者可具有8x32的尺寸24、25，本发明中，编码块的横向及纵向尺寸比例并不局限于此。在一实施例中，纵向方向的非正方形形状的编码块在与当前块相对应的影像的纵向变化大于横向变化的情况下使用。
并且，参照图4b，用于编码当前块的编码块31至37包括横向的非正方形形状的编码块31、34、35。例如，横向的非正方形编码块具有32x16的尺寸31或者具有32x8的尺寸34、35，本发明中，编码块的横向及纵向尺寸并不局限于此。在一实施例中，横向的非正方形形状的编码块在与当前块相对应的影像的纵向变化小于横向变化的情况下利用。但是，这仅是一例示，为了当前块，确定利用哪一方向的非正方形编码块的方法并不局限于此，非正方形编码块的最大及最小尺寸也并不局限于此。并且，非正方形编码块的数量及横向长度和纵向长度的比例也并不局限于此，当前块可被分割为1:N。
在一实施例中，与当前编码块相对应的预测块并非被大度设定，当前编码块可直接利用预测块。在此情况下，如一般方法，编码块为正方形形状和飞正方形形状，包括上述编码块的当前块具有1:N分割结构。并且，在另一实施例中，当前编码块均作为预测块及变换块相同的使用，在此情况下，如上所述，利用包括当前编码块的当前块被封为正方形块的结构、被分割为非正方形块的结构及被分割为1:N的结构来分割。
参照图4c，编码树单元(Coding Tree Unit，CTU)可包括多种尺寸的正方形编码CB0至CB4、CB8、CB9、CB11、CB12、CB15及多种尺寸的非正方形编码块CB5至CB7、CB10、CB13、CB14、CB17至CB19。
在以往的视频信号的编码过程中，作为编码块，仅利用正方形块，作为变换块，仅使用图正方形变换块。以各个编码块或预测块的尺寸为基础的多个变换块再次分割为四叉树分割结构，例如，在将一个变换块分割为四叉树结构的情况下，上述变换块可被分割为4个正方形多个子变换块。仅利用这种正方形多个变换块的以往的编码方法很难考虑根据与编码块相对应的影像的特性和预测模式发生的残差块信号的特性。因此，本发明一实施例的视频信号的编码方法可利用非正方形编码块和作为变换块的非正方形变换块及非正方形子变换块。
图5a至图6c示出用于本发明一实施例的当前编码块的多个变换块的例示。图5a及图5b为对于NxN尺寸的正方形的当前编码块(未图示)的初期变换块的构成的例示，图6a至图6c示出对于非正方形的当前编码块的初期变换块的构成。
在对正方形的当前编码块利用一个或多个变换块的情况下，构成当前编码块的变换块可包括正方形变换块及非正方形变换块。上述变换块可利用变换矩阵来将残差块信号变换为频率区域。
参照图5a，正方形编码块为初期变换块的构成，可由一个正方形变换块41或4个正方形多个变换块42至45构成。并且，参照图5b，在利用正方形编码块的情况下，作为初期变换块，可由2个非正方形变换块46至48或4个非正方形变换块51至58构成。上述第二个非正方形变换块可以为N/2xN尺寸的纵向方向的非正方形变换块46、47或NxN/2尺寸的横向的非正方形变换块48、49，上述4个非正方形变换块可以为N/4xN尺寸的纵向方向的非正方形变换块51至54或NxN/4尺寸的横向的非正方形变换块55至58。
如上所述，在构成用于正方形编码块的变换块的情况下，可通过正方形变换块和非正方形变换块构成初期变换块。之前示出2个或4个非正方形变换块，在本发明中，非正方形变换块的尺寸及数量并不局限于此。并且，在当前编码块执行画面内预测的情况下，根据画面内预测模式的方向性，当前编码块的变换块构成不相同。例如，在当前编码块利用垂直方向的画面内预测模式的情况下，作为对于当前编码块块的变换块利用横向分割的非正方形变换块，由此，利用上端的编码的参照样品，当前变换块生成预测信号。
根据参照图6a至图6d的一实施例，在对非正方形的当前编码块(未图示)使用一个或多个变换块的情况下，构成当前编码块的变换块可包括正方形变换块及非正方形变换块。
参照图6a，在本发明中，编码块可以为横向长度A与纵向长度B不相同的非正方形编码块60a、60b。在此情况下，当通过一个或多个变换块初次构成当前非正方形的编码块时，为了均等地分割编码块而利用正方形变换块或非正方形变换块。
参照图6b，作为用于非正方形编码块60a、60b的初期变换块构成，可利用N个axa尺寸的正方形变换块61。在此情况下，正方形变换块61的横向及纵向长度的a与在非正方形编码块的横向及纵向长度中小的长度相同。在一实施例中，从上位参数计算正方形变换块61的横向及纵向长度或者通过预设的方法获取。
参照图6c，作为用于非正方形编码块60a、60b的初期变换块的构成，可利用M(其中，M为正数)个非正方形变换块62至65。上述非正方形变换块62、63的尺寸与非正方形编码块60a相同，或者，可以为小于非正方形编码块60a、60b的尺寸的非正方形变换块64、65。在一实施例中，非正方形变换块62、63的横向长度a及纵向长度b与编码块60a、60b的横向及纵向长度相同。在另一实施例中，通过上位参数计算非正方形变换块64、65的横向及纵向长度或者通过预设的方法获取。
并且，参照图6d，作为用于非正方形编码块60a、60b的初期变换块的构成，可利用四叉树结构的M个非正方形或正方形变换块66、67。上述非正方形或正方形变换块66、67的尺寸小于非正方形编码块，因上述非正方形编码块的尺寸大而并不与一个变换块相对应的情况下可利用。在本发明中，仅对四叉树结构的多个变换块进行了说明，但上述非正方形或正方形变换块66、67的数量并不局限于此。
构成当前编码块的变换块可被分割为更小尺寸的多个子变换块。上述多个子变换块分别独立执行变换过程来生成变换系数，并可具有多种形状及尺寸。并且，以在被分割为上述多个子变换块之前的上位变换块的尺寸及形状为基础来不同确定分割方法，具有与上述上位变换块的形状不同的独立形状。
图7a至图10示出本发明一实施例的子变换块的例示。图7a至图7d在变换块为正方形变换块的情况下的上述变换块的多个子变换块的例示，图8a至图8d示出横向的非正方形变换块情况下的多个子变换块的例示，图9a至图9d示出横向的非正方形变换块的多个子变换块的例示。并且，图10示出由多个子变换块构成的变换块。
参照图7a至图7d，在当前变换块为NxN尺寸的正方形变换块70的情况下，正方形变换块70通过多种方法分割并生成子变换块71a至74d。正方形变换块70利用正方形四叉树分割方法来分割为正方形的4个多个子变换块71a至71d(图7b)，利用二叉树分割方法来分割为横向或纵向的非正方形2个多个子变换块72a至72d(图7c)。在一实施例中，利用非正方形四叉树分割方法来分割为横向或横向的4个非正方形子变换块73a至73h(图7d)。被分割的上述多个子变换块的数量及尺寸仅是一例示，本发明并不局限于此。
参照图8a至图8d，如图8a所示，在当前变换块为A(横向长度)xB(纵向长度)尺寸的非正方形变换块80的情况下，非正方形变换块80通过多种方法分割来生成子变换块81a至84d。非正方形变换块80利用正方形四叉树分割方法来分割为正方形的4个多个子变换块81a至81d(图8b)，分割为4个以上的多个子变换块(未图示)。在此情况下，正方形多个子变换块的横向及纵向长度可以与在非正方形变换块80的横向及纵向长度中的短长度(图8a中的A)相同，本发明并不局限于此。在非正方形变换块80的纵向长度B为横向长度A的正数倍数的情况下，非正方形变换块80根据如图8b所示的正方形分割方法被分割为变换块。
参照图8c，非正方形变换块80可利用二叉树分割方法来分割为纵向或横向的非正方形2个多个子变换块82a至82d。参照图8d，利用非正方形四叉树分割方法，非正方形变换块80分割为4个非正方形子变换块83a至83d。分割的上述多个子变换块的数量及尺寸仅是一例示，本发明并不局限于此。
参照图9a至图9d，如图9a所示，在当前变换块为A(横向长度)xB(纵向长度)尺寸的非正方形变换块90的情况下，非正方形变换块90通过多种方法分割来生成子变换块91a至94d。非正方形变换块90利用正方形四叉树分割方法来分割为正方形的4个多个子变换块91a至91d(图9b)，被分割为4个以上的多个子变换块(未图示)。在此情况下，正方形多个子变换块的横向及纵向的长度可以与在非正方形变换块90的横向及纵向长度中的短长度(图9a中的B)相同，但本发明并不局限于此。在非正方形变换块90的横向长度A为纵向长度B的正数倍数的情况下，非正方形变换块90可根据如图9b所示的正方形分割方法被分割为子变换块。
参照图9c,非正方形变换块90利用二叉树分割方法分割为纵向或横向的非正方形2个多个子变换块92a至92d。参照图9d，利用非正方形四叉树分割方法，非正方形变换块90可被分割为4个非正方形子变换块93a至93d。分割的上述多个子变换块的数量及尺寸仅是一例示，本发明并不局限于此。
图10示出利用如图7a至图9d所示的分割方法来变换当前编码块的例示。根据图10，当前编码块不仅是正方形变换块，也可以为非正方形变换块，上述正方形或非正方形变换块不仅是正方形子变换块，也可以为非正方形子变换块。这种变换块适用及子变换块的分割组合图7a至图9d中所示的方法中的一种或其以上来适用。并且，变换块的形状及数量或子变换块的形状及数量并不局限于本发明的例示。
通常，在当前块执行画面内预测的情况下，利用光栅扫描(raster scan)方法来解码变换块，确定为了沿着画面内预测模式的方向生成预测信号而利用的参照样品。
图11用于说明一般方法的变换块的编码顺序及方法。参照图11，在当前块的画面内预测模式的方向为2至10的情况下，多个变换块TU0至TU3一直利用位于上述变换块的左侧的参照样品来生成预测信号。在此情况下，在多个变换块中，最先生成预测信号的第一变换块TU0利用位于变换块的第一参照样品区域111来生成预测信号，第一参照样品区域111可由可利用的参照样品和/或不可利用的参照样品构成。之后，第二变换块TU1也由第一变换块TU0的一部分像素构成用于第二变换块TU1的第二参照样品区域112，因此，第二参照样品区域112由作为被编码的样品的第一变换块TU0的一部分像素，即，可利用的参照样品构成。
之后，生成预测信号的第三变换块TU2将位于第三变换块TU2的左侧的像素用作参照样品，不利用编码的第一变换块TU0及第二变换块TU1的像素，因此，用于预测的第三参照样品区域113可由无法利用的参照样品构成。第四变换块TU3由第三变换块TU2的一部分像素构成用于第四变换块TU3的第四参照样品区域114，因此，第四参照样品区域114可由作为编码的样品的第三变换块TU2的一部分像素，即，可利用的参照样品构成。
如上所述，根据以往的编码顺序，在从变换块生成预测信号的情况下，有可能发生利用无法沿着画面内预测模式的方向利用的参照样品来生成预测信号的情况。因此，本发明的一实施例的视频信号的编码方法可沿着当前编码块的画面内预测模式的方向以可变方式确定多个变换块的编码顺序，由此可提高编码效率。
图12a至图12c示出本发明一实施例的多个变换块的例示。
参照图12a至图12c，本发明一实施例的多个变换块可呈相同尺寸的4个多个变换块以2个线构成的结构(图12a)，可以为相同尺寸的多个变换块横向或纵向罗列的结构(图12b及图12c)。上述多个变换块可再次分割为更小的尺寸的多个子变换块，当再分割时，多个子变换块的结构也呈如图12a至图12c所示的结构。
若在不考虑当前块的画面内预测模式的情况下编码多个变换块，则当生成各个变换块的预测信号时，可利用未编码的周边块。在此情况下，为了生成上述预测信号而利用的参照样品可以为无法利用(unavailable)的样品，因此，利用复制周边的可利用样品的上述无法利用样品，从而编码效率并不优秀。因此，在本发明中，提出考虑到与多个变换块相对应的当前块的画面内预测模式属于哪一模式区域来以可变方式确定变换块的编码顺序的方法。
为了根据画面内预测模式以可变方式确定多个变换块的编码顺序，首先，根据预测方向再次分割画面内预测模式。图13示出本发明一实施例的画面内预测模式所属的模式区域。
参照图13，具有方向性的画面内预测模式可沿着预测方向分割为第一模式区域至第三模式区域131至133)。图13所示的画面内预测模式中，具有除横向及纵向的画面内预测模式之外的90度至180度的角度的画面内预测模式可以为构成第一模式区域131的画面内预测模式。第二模式区域可以为具有横向的预测模式及180度至225度的角度的画面内预测模式，第三模式区域可以为具有纵向的预测模式及45度至90度的角度的画面内预测模式。以如上区分的模式区域为基础，根据多个变换块所属的模式区域，以可变方式确定多个变换块的编码顺序。
图14a及图14b示出本发明一实施例的当前块的画面内预测模式属于第一模式区域的情况下的多个变换块的编码顺序。属于第一模式区域的情况下的多个变换块的编码顺序与以往的多个变换块的编码顺序相同。图14a表示多个变换块具有NxN结构的情况下的编码顺序，可按TB0、TB1、TB2、TB3顺序编码。图14b表示多个变换块为横向及纵向方向的非正方形变换块的情况下的编码顺序，从左侧向右侧、从上端向下端的顺序编码。例如，按TB4、TB5、TB6、TB7、TB8、TB9、及TB10的顺序编码。
图15a至图15c示出本发明的一实施例的画面内预测模式属于第二模式区域的多个变换块的编码顺序。上述多个变换块从左侧下端向右侧上端的顺序编码，具有NxN结构的多个变换块可如图15a及图15b所示编码。参照图15a，从位于左侧下端的TB2向TB3、B0及TB1的顺序编码，参照图15b，从位于左侧下端的TB2向TB0、TB3及TB1的顺序编码。
并且，横向及纵向方向的非正方形多个变换块从左侧向右侧、从下端向上端的顺序编码。参照图15c，从位于左侧的TB4向TB5、TB6编码，从位于右侧下端的TB10向TB9、TB8及TB7顺序编码。
图16a至图16c示出本发明的一实施例的画面内预测模式属于第三模式区域的多个变换块的编码顺序。上述多个变换块可从右侧上端向左侧下端的顺序编码，具有NxN结构的多个变换块如图16a及图16b编码。参照图16a，从位于右侧上端的TB1向TB0、TB3及TB2的顺序编码，参照图16b，从位于右侧上端向TB3、TB0及TB2的顺序编码。
并且，横向及纵向方向的非正方形多个变换块可从右侧向左侧、从上端向下端的顺序编码。参照图16c，从位于右侧上端的TB7向下方TB8、TB9及TB10依次编码，在左侧的纵向非正方形多个变换块中，位于右侧的TB6、TB5及TB4的顺序编码。
如上所述，考虑到当前块的画面内预测模式的方向区分的模式区域及变换块的形状，以可变方式确定变换块的编码顺序，利用各个变换块解码的周边块的可利用参照样品来生成预测信号，因此，可提高编码效率。
在一实施例中，在多个变换块具有上述说明的图12a至图12c的类型的结构的情况下，根据与上述多个变换块相对应的当前编码块的画面内预测模式所属的模式区域确定的多个变换块的编码顺序如以下表1所示。
表1
Figure BDA0003473117880000271
图17a至图17c示出利用表1记载的变换块的编码顺序来构成当前块的正方形及非正方形多个变换块的编码顺序。图17a示出在当前块的画面内预测模式属于第一模式区域的情况下的当前块的多个变换块的编码顺序，图17b示出在当前块的画面内预测模式属于第二模式区域的情况下的当前块的多个变换块的编码顺序，图17c示出在当前块的画面内预测模式属于第三模式区域的情况下的当前块的多个变换块的编码顺序。
参照图17a，在当前块的画面内预测模式属于第一模式区域的情况下，与变换块的形状无关地，多个变换块与一般编码顺序相同，从左侧上端向右侧下端的顺序编码。并且，在当前块的画面内预测模式属于第二模式区域的情况下，当变换块生成预测信号时，可利用属于左侧下端块的参照样品，因此，从左侧下端向右侧上端的顺序编码变换块来提高编码效率。参照图17b，在当前块从左侧下端向右侧上端的顺序编码的过程中，选择按左侧下端、右侧下端、左侧上端及右侧上端的顺序编码的方法。
在当前块的画面内预测模式属于第三模式区域的情况下，当变换块生成预测信号时，利用属于左侧上端的参照样品，因此，从右侧上端向左侧下端的顺序编码变换块来提高编码效率。参照图17c，其中，可选择右侧上端、左侧上端、右侧下端及左侧下端的顺序编码的方法。
在另一实施例中，考虑画面内预测模式的变换块的编码顺序如以下表2确定。
表2
Figure BDA0003473117880000272
Figure BDA0003473117880000281
图18a至图18c示出利用表2记载的变换块的编码顺序来构成当前块的正方形及非正方形多个变换块的编码顺序。图18a示出当前块的画面内预测模式属于第一模式区域的情况下的当前块的多个变换块的编码顺序，图18b示出在当前块的画面内预测模式为第二模式区域情况下的当前块的多个变换块的编码顺序，图18c示出在当前块的画面内预测模式为第三模式区域情况下的当前块的多个变换块的编码顺序。
参照图18a，与在当前块的画面内预测模式属于第一模式区域的变换块的形状无关地，多个变换块与一般编码顺序相同地从左侧上端向右侧下单的顺序编码。并且，在当前块的画面内预测模式属于第二模式区域的情况下，当生成预测信号时，利用属于左侧下端块的参照样品，因此，从左侧下端向右侧上端的顺序编码变换块来提高编码效率。参照图18b，当前块从左侧下端向右侧下端的顺序编码的过程中，选择从左侧下端、左侧上端、右侧下端及右侧上端的顺序编码的方法。
在当前块的画面内预测模式属于第三模式区域的情况下，当变换块生成预测信号时，利用属于右侧上端的参照样品，因此，从右侧上端向左侧下端的顺序编码变换块来提高编码效率。参照图18c，其中，选择按右侧上端、右侧下端、左侧上端及左侧下端的顺序编码的方法。
基于这种模式区域的多个变换块的编码顺序并不局限于上述例示，也可通过上述例示的组合确定。
图19a至图19c示出在交叉选择参照图17a至图18c说明的模式区域的多个变换块的编码顺序的情况下的多个变换块的编码顺序。
图19a示出在当前块的画面内预测模式属于第一模式区域情况下的当前块的多个变换块的编码顺序，图19b示出当前块的画面内预测模式属于第二模式区域情况下的当前块的多个变换块的编码顺序，图19c示出当前块的画面内预测模式属于第三模式区域情况下的当前块的多个变换块的编码顺序。
在第一模式区域的情况下，如参照图17a及图18a说明，多个变换块的编码顺序可从左侧上端向右侧下端确定。在第二模式区域的情况下，参照图19b，根据参照图17b确定的编码顺序，从左侧下端、右侧下端、左侧上端及右侧上端的顺序编码多个变换块，参照图19c，在当前块的画面内预测模式为第三模式区域的情况下，根据参照图18c说明的编码顺序，按右侧上端、右侧下端、左侧上端及左侧下端的顺序编码多个变换块。在另一实施例中，第二模式区域及第三模式区域的编码顺序可按参照图18b及图17c说明的编码顺序确定。如上所述，对于当前块的多个变换块利用根据上述当前块的画面内预测模式确定的多种编码顺序的组合来生成预测信号，由此可提高编码效率。
图20及图21用于说明构成一般方法的变换块的结构及16x16变换块的变换系数组。
参照图20，一个编码块CB可包括多个变换块TB0、TB1…TB12。上述多个多个变换块可包括具有多种形状和/或尺寸的多个变换块。上述变换块可包括正方形形状的块及非正方形形状的块，上述变换块可以为在正方形四叉树(square quad tree)结构、非正方形四叉树(non-square quad tree)结构或二叉树(binary tree)结构的块中的一种。
参照图21，变换块210可包括一个以上的变换系数组CG0、CG1…CG15。例如，变换块210为16x16尺寸的块，在上述变换块中的变换系数组的尺寸可以为4x4。即，16x16尺寸的变换块可包括16个4x4尺寸的变换系数组，上述变换系数组的索引可根据如图21所示的变换系数扫描顺序。
图22用于说明一般方法的变换系数组及上述变换系数组的变换扫描方法。
参照图22，通常，变换块220的变换系数组扫描顺序与变换系数的扫描顺序相同。例如，变换块220为8x8尺寸，变换系数组的尺寸为4x4尺寸的块，在对变换块20使用直立对角线(Up-right diagonal)扫描方法的情况下，变换系数组适用与变换系数相同的扫描方法。如图22所示，在包含在作为变换块220的右侧下端的变换系数组的CG3的变换系数15至0，通过直立对角线扫描变换系数，之后，对作为右侧上端的变换系数组的CG2，通过相同的方法扫描变换系数之后，按左侧下端的变换系数组CG1、左侧上端的变换系数组CG0的顺序，通过相同的方法扫描在上述变换系数组包含的变换系数。
图23a至图23d用于说明一般方法的变换系数组及上述变换系数组的扫描方法的多种例。图23a至图23c表示在画面内预测模式中的变换系数组的扫描方法，图23d表示画面间预测模式的变换系数组的扫描方法。
参照图23a至图23c，在画面内预测的情况下，可利用从右侧下端向左侧上端顺序扫描的直立对角线扫描(Up-right diagonal scan，图23a)，从右侧向左侧、从下端线上端的方向扫描的横向扫描(Horizontal scan，图23b)及从下端向上端、从右侧向左侧的方向扫描的垂直扫描(Vertical scan，图23c)方法。参照图23d，在画面间预测的情况下，仅可利用直立对角线扫描。
在一实施例中，在画面内预测中的变换系数组的扫描方法可根据画面内预测模式确定。例如，在画面内预测模式为横向预测的画面内预测模式索引6至14的情况下，利用垂直扫描方法来扫描变换系数组，在画面内预测模式为横向预测的索引20至30的情况下，利用横向扫描方法，对剩余画面内预测模式，可利用直立对角线扫描方法。
最近的视频编码中，变换块一直考虑正方形变换块。因此，变换系数组及上述变换系数组内的变换下述的扫描方法也适合于正方形变换块。但是，在作为变换块使用非正方形变换块的情况下，在适用以往的变换系数组及变换系数的扫描方法的情况下，编码效率降低。因此，以下，在图24a至图30中，说明对扫描可改善本发明一实施例的编码效率的变换系数组的方法。
图24a及图24b用于说明在本发明一实施例的变换块适用一般扫描方法的例。
参照图24a,当前变换块TB1 230a为非正方形块，在具有8x16的尺寸的情况下，若通过扫描变换系数组及变换系数的方法适用以往的方法，则可选择3种扫描方法。例如，在当前变换块230a适用以往的3种扫描方法来扫描变换系数组的例中，从左侧适用直立对角线扫描、垂直扫描方法及横向扫描方法来扫描变换系数组。
参照图24b，当前变换块TB2 230b为非正方形块，在具有16x8的尺寸的情况下，若作为扫描变换系数组及变换系数的方法适用以往的方法，则可选择3种扫描方法。例如，在当前变换块230b适用以往的3种扫描方法来扫描变换系数组的李忠，从左侧适用直立对角线扫描、垂直扫描方法及横向扫描方法来扫描变换系数组。
图25用于说明对16x8变换块的变换系数适用一般扫描方法的例。
参照图25，在当前变换块TB2 230b适用横向扫描方法的情况下，变换系数及变换系数组可适用作为相同扫描方法的横向方式。例如，包括多个变换系数的多个变换系数组按各个变换系数组单元扫描。在变换块中，在通过横向方式扫描在最右侧下端的变换系数组中的变换系数之后，通过横向方式扫描在位于上述最右侧下端的变换系数组的左侧的变换系数组中的变换系数。之后，通过相同的方式在上述变换系数组单元中进行扫描。
通过这种变换过程，残留信号的大部分能量聚集在左侧上端的DC区域。因此，为了熵编码的效率，低频区域的变换系数和/或变换系数组具有表示小值的扫描顺序的索引更为有效。但是，对非正方形变换块，如图24a至图25所示，在适用一般变换系数组的扫描顺序的情况下，在低频区域的变换系数组之前，高频区域的变换系数组先被编码，因此，编码效率会降低。
因此，本发明一实施例的变换扫描系数的扫描方法包括将变换块分割为包括多个变换扫描系数的上位区域的变换区域，对应每个上述分割的变换区域扫描变换扫描系数的方法。
图26及图27示出扫描本发明一实施例的变换系数组的方法流程图及装置。
参照图26及图27，变换部为了扫描变换系数组而在变换区域信息获取部240中获取表示将在变换块中的多个变换系数组划分为一个以上的变换区域的变换区域信息(步骤S10)。上述变换块可具有多种尺寸和/或形状。在一实施例中，上述变换块可以为非正方形形状的变换块。
上述变换区域信息可将上述变换块分割为一个以上的区域，各个变换区域可包括多个变换系数组。上述变换系数组包括多个变换系数。并且，上述变换区域信息可以为从编码器接收的信息。例如，上述变换区域信息可从在序列参数集(SPS)及切片头中的一种以上获取，本发明并不局限于此，并不限制是否以任何形态具有任何等级的句子，只要是从编码器接收的信息即可。
在一实施例中，上述变换区域信息可通过在解码装置中预设的方法获取。例如，上述变换区域信息以变换块的横向长度及纵向长度为基础来计算变换区域的横向长度及纵向长度来确定变换区域的尺寸及数量并获取。或者，上述变换区域信息在变换块的横向及纵向长度中，将小长度分为变换系数组的块尺寸，由此可确定变换区域的尺寸及数量。这种上述变换区域信息所表示的变换区域的横向及纵向长度、形状及数量可根据在解码装置中确定的方法，并不局限于上述例。
之后，变换系数组扫描部250可扫描以上述变换区域信息为基础分割的一个以上的变换区域内的多个变换系数组。变换系数组扫描部250为了扫描分割的变换区域的变换系数组，而可包括第一变换区域扫描部251及第二变换区域扫描部252。上述变换区域扫描部并不局限于第一变换区域扫描部251及第二变换区域扫描部252，可以与上述变换块分割的变换区域的数量相对应。
首先，第一变换区域扫描部251在以上述变换区域信息为基础分割的多个变换区域中，可对在第一变换区域中的多个变换系数组进行扫描(步骤S20)。之后，第二变换区域扫描部252可对在第二变换区域中的多个变换系数组进行扫描(步骤S30)。在变换区域扫描部包括三个以上的情况下，依次对在变换区域中的变换系数组进行扫描。
在一实施例中，与第二变换区域扫描部252相比，第一变换区域扫描部251可包括低频区域的变换系数组。如上所述，本发明的变换系数组的扫描方法以使低频区域的变换系数组先于高频区域的变换系数组被扫描的方式确定扫描，高频区域的变换系数组优先被编码传送，低频区域的变换系数组具有大值的扫描索引，从而可解除降低编码效率的问题。
并且，在一实施例中，在获取变换区域信息之前，可判断上述变换块是否为非正方形块。与高频区域相对应的变换系数组比与低频区域相对应的变换系数组优先被扫描，从而降低编码效率是在变化块为非正方形块的情况下频频发生。因此，在获取变换区域信息之前，优先判断当前变换块是否为非正方形块。
在一实施例中，为了判断上述变换块是否为非正方形块而采取多种方法。例如，对上述变换块的横向长度及纵向长度进行比较，可判断上述变换块是否为非正方形块。或者，以从编码装置接收对于上述变换块的尺寸及形状的信息或者在解码装置中已获取的上述变换块的分割信息、方向信息、α、β及像素信息中的一种以上为基础来判断。
并且，以表示上述变换块的类型的变换块类型信息为基础来判断。上述变换块类型信息可从编码装置接收，或者在解码装置中，以上述变换块的分割信息、方向信息、像素信息及横向长度和纵向长度信息中的一种以上为基础来计算。通过上述方法，在判断为上述变换块为非正方形块的情况下，通过参照图26及图27的上述方法，对应每个变换块的变换区域扫描在上述变换区域中包含的变换系数组。
图28a及图28b用于说明扫描用于本发明一实施例的非正方形变换块的变换系数组的方法。
参照图28a，本发明的非正方形变换块260a、260b可具有横向长度A及纵向长度B。具有AxB尺寸的非正方形变换块260a、260b包括多个变换系数组，被分为αxβ尺寸的变换块区域。上述α及β表示在变换块中的变换系数组的数量。即，αxβ尺寸的区域为对横向为α个变换系数组，对纵向为β个变换系数组的区域。在一实施例中，变换区域信息可包含对于上述α及β的信息。并且，变换区域信息可包含表示变换区域的横向及纵向尺寸的信息。例如，在非正方形变换块260a具有8x16的尺寸的情况下，表示变换区域的结构的αxβ为2x2，分割变换块260a的变换区域的尺寸为8x8。
这种变换区域信息在上位参数或之前的解码过程中计算，简单地，非正方形变换块的横向及纵向长度中，从分为长度小的变换系数的块的尺寸的数计算。但是，在本发明中，获取变换区域信息的方法并不局限于此。
参照图28b，被分割为多个变换区域的变换块260a、260b在每个变换区域，适用从上位参数或上位过程确定的扫描方法来扫描变换系数组。例如，具有16x8的尺寸变换块260b被分为具有8x8的尺寸变换区域(αxβ＝2x2)，在通过直立对角线扫描方法扫描变换区域及变换系数组的情况下，(CG Region1)内的变换系数组首先通过直立对角线扫描方法扫描，之后，(CG Region0)内的变换系数组通过直立对角线扫描方法扫描。
图29a至图30d用于说明扫描用于本发明一实施例的非正方形变换块的变换系数组的多种方法。
参照图29a至图30d，在变换块270被分割为具有变换块的小边长的变换区域的情况下的变换系数组可通过多种方法被扫描。图29a所示，在变换块270具有16x32的尺寸情况下，各个变换区域(CG Region0)271、(CG Region1)272可具有16x16的尺寸。其中，表示横向及纵向的变换系数组CG的数量的α及β为α＝β＝4。
在一实施例中，变换块270可对应每个变换区域对在各个变换区域中的变换系数组依次进行扫描。例如，如图29b所示，在变换块270通过直立对角线扫描方法扫描的情况下，在下端的第二变换区域(CG Region1)的第三十二变换系数组CG 31依次扫描第十七变换系数组CG 16，之后，从在第一变换区域(CG Region0)中的第十六变换系数组CG 15，第一变换系数组CG0依次扫描。并且，变换块被分为两个变换区域，在上述变换块适用垂直扫描方法及横向扫描方法的情况下，与如图29c及图29d所示相同。
参照图30a至图30d，在变换块280被分割为具有变换块280的小边长的变换区域的情况下，变换系数组可通过多种方法扫描。如图30a所示，在变换块280具有32x16的尺寸的情况下，各个变换区域(CG Region0)281、(CG Region1)282可具有16x16的尺寸。其中，标识横向及纵向的变换系数组CG的数量的α及β可以为α＝β＝4。
在一实施例中，变换块280按变换区域对各个变换区域中的变换系数组依次扫描。例如，如图30b所示，在变换块280通过直立对角线扫描方法扫描的情况下，从在右侧的第二变换区域282(CG区域1)中的第三十二变换系数组CG 31，根据直立对角线方式依次扫描第十七变换系数组CG 16，之后，在第一变换区域281(CG区域0)中的第十六变换系数组CG 15依次扫描第一变换系数组CG 0。并且，如图30c所示，在变换块280通过垂直扫描方法扫描的情况下，从在右侧第二变换区域282(CG区域1)中的第三十二变换系数组CG 31，根据垂直方式依次扫描第十七变换系数组CG 16，之后，从在第一变换区域281(CG区域0)中的第十六变换系数组CG 15依次扫描第一变换系数组CG 0。变换块被分割为两个变换区域，在上述变换块适用横向扫描方法的情况下，与如图30d所示相同。
如上所述，根据变换块从包括多个变换系数组的一个以上的变换区域分割并对应每个上述变换区域进行扫描的方法，与高频区域的变换系数组相比，低频区域的变换系数组优先进行扫描来传送，因此可提高编码效率。
图31用于说明获取一般方法的当前块的候选预测运动矢量(MVP candidate)的位置。
参照图31，为了构成预测运动矢量列表(MVP list)，当前块可利用空间相邻块A0、A1、B0、B1的运动信息和时间相邻块T0、T1的运动信息。空间相邻块的运动信息在位于当前块的左侧的周边块中的1个运动信息及在位于当前块的上侧的周边块中的1个运动信息来确定。并且，时间相邻块的运动信息可利用位于当前块的右侧下端的周边块的运动信息或在当前块所参照的参照影像的内部，与当前块位于相同位置的块的运动信息来确定。
空间相邻块的运动信息对位于当前块的左侧的周边块，按A0≥A1≥缩放的A0≥缩放的A1的顺序扫描并搜索运动信息。之后，对位于当前块的上侧的周边块，按B0≥B1≥B2顺序扫描，在上述当前块所参照的参照影像和A0及A1块的运动信息所参照的参照影像不相同的情况下，可利用以符合当前块所参照的参照影像的方式缩放的A0及A1块的运动信息。
时间相邻块的运动信息按T0及T1的顺序扫描，在此情况下，时间相邻块的运动矢量可被缩放为当前块参照的影像并被利用。
在一实施例中，高级运动矢量预测(Advanced Motion Vector Prediction)可使用2个预测运动矢量。首先，扫描空间相邻块的运动信息来向预测运动矢量列表输入，在此过程中，在并未填满列表的情况下，扫描时间相邻块的运动信息来填满列表。在相邻块的运动信息扫描时，相同运动信息向预测运动矢量列表输入的情况下，重复的运动信息被删除。通过这种过程，即使完成时间及空间相邻块的运动信息扫描，在未填满预测运动矢量列表的情况下，在未填满的列表填满(0，0)来完成预测运动矢量列表。
图32至图33b用于说明构成一般方法的当前块的预测运动矢量列表的方法。
参照图32，在当前块CB执行双向预测的情况下，可从对于第一方向的参照图片301获取运动矢量，可从对于第二方向的参照图片302获取运动矢量。如图32的下端所示，用于当前块的画面间预测的预测运动矢量列表(高级运动矢量预测列表)在每个方向包括一个以上的候选预测运动矢量(MVP candidate)来构成。之后，计算在上述预测运动矢量列表中的候选预测运动矢量中选择的一个预测运动矢量与当前块的运动矢量之间的差分值来获取差分运动矢量并对其进行编码。
在一实施例中，上述选择的一个预测运动矢量可选择在上述预测运动矢量列表中包含的候选预测运动矢量中的最高编码效率。上述选择的预测运动矢量被编码为表示这些的索引信息的形态，从而与上述差分运动矢量一同传送。
图33a说明当前块310参照的双向的参照影像320a、330a相同的情况下的构成一般方法的当前块的预测运动矢量列表的方法，图33b说明当前块310参照的双向参照影像320b、330b不相同的情况下的构成一般方法的当前块的预测运动矢量列表的方法。
参照图33a，当前块310为了画面间预测而沿着第一方向参照的参照影像320a和沿着第二方向参照的参照影像330a为相同的POC8。如上所述，在当前块310参照的双向参照影像320a、330a相同的情况下，作为与当前块310的第一方向L0有关的运动矢量的MVL0和作为与第二方向L1有关的运动矢量的MVL1极为类似。但是，一般方法的当前块的预测运动矢量列表并不反映这些，对各个方向，从独立的当前块的相邻块获取运动信息，如以下表3所示，构成预测运动矢量列表。
表3
Figure BDA0003473117880000361
在对于当前块310的第一方向的参照图片320a与第二方向的参照图片330a相同的情况下，对各个方向的运动矢量类似的可能性高。再次参照图33a，可确认当前块310的与第一方向有关的运动矢量(MVL0)及与第二方向有关的运动矢量(MVL1)分别为类似的(2，1)及(2，2)。但是，如上所述，根据一般预测运动矢量列表构成方法，对于各个方向的预测运动矢量列表独立构成。
因此，为了构成第二方向的预测运动矢量列表，利用相对与与第二方向有关的运动矢量(MVL1)相关度低的当前块310的相邻块的运动矢量，从而与第二方向有关的运动矢量(MVL1)的编码效率降低。但是，一般方法的预测运动矢量列表对各个方向独立地构成列表，获取作为表示在上述列表中选择的预测运动矢量和各个方向的运动矢量的差分值的差分运动矢量MVDL0＝(2，0)及MVDL1＝(2，1)来向解码装置传送。
参照图33b，在当前块310参照的第一方向的参照图片320b与第二方向的参照图片330b不相同的情况下，在根据一般方法构成预测运动矢量列表的过程中，独立构成对于各个方向的预测运动矢量列表。所构成的预测运动矢量列表如以下表4。
表4
Figure BDA0003473117880000362
即使对于当前块310的第一方向的参照图片320b与第二方向的参照图片330b不相同，也是当前块310所参照的图片，因此，无法排出根据参照图片的距离及相关度，对于各个方向的运动矢量类似的可能性。但是，如上所述，根据一般预测运动矢量列表构成方法，对于方向的预测运动矢量列表独立构成。
如图33b所示，与第一方向有关的运动矢量(MVL0)及与第二方向有关的运动矢量(MVL1)分别为(-5，-8)及(4，10)，如表2所示，可构成预测运动矢量列表。在此情况下，若作为预测运动矢量分别选择高级运动矢量预测_L0_0及高级运动矢量预测_L1_1，则向解码装置传送的差分运动矢量(MVDL0，MVDL1)分别为(-3，-5)及(6，-1)。
如上所述，在通过一般方法构成预测运动矢量列表的情况下，当构成对于第二方向的预测运动矢量列表时，利用当前块的相邻块的运动信息，由此，与当前图片相比，在第二方向的参照图片与第一方向的参照图片相关度相对高的情况下，运动矢量的编码效率反而降低。
因此，构成本发明的一实施例的预测运动矢量列表的方法在当前块执行双向预测的情况下，利用与第一方向有关的运动矢量来构成第二方向的预测运动矢量列表。
图34及图35示出用于说明构成本发明一实施例的预测运动矢量列表的流程图及装置。
参照图34及图35，预测运动矢量列表构成部700可包括第一方向预测运动矢量列表设定部710、运动矢量获取部720、及第二方向预测运动矢量列表设定部730。第一方向预测运动矢量列表设定部710可设定第一方向的预测运动矢量列表。上述第一方向的预测运动矢量列表可由从当前块的时间及空间相邻块的运动信息获取的第一方向的候选预测运动矢量(MVP Candidate)构成。上述第一方向的预测运动矢量列表可包含2个以上的候选预测运动矢量，并赋予表示各个候选预测运动矢量的索引。上述第一方向的预测运动矢量列表可根据参照图3说明的方法构成，本发明并不局限于此。并且，运动信息获取部720可获取与第一方向有关的运动矢量(MVL0)(步骤S40)。上述运动矢量当以往的的视频编解码器的画面间预测时，当前块可根据获取运动矢量的方法，但是，本发明并不局限于此。
之后，第二方向预测运动矢量列表设定部730可设定第二方向的预测运动矢量列表(步骤S50)。构成上述第二方向的预测运动矢量列表的第二方向的候选预测运动矢量中，一个以上可利用与上述第一方向有关的运动矢量(MVL0)来设定。在一实施例中，利用与上述第一方向有关的运动矢量设定的上述第二方向的候选预测运动矢量直接复制与上述第一方向有关的运动矢量来设定，如缩放与上述第一方向有关的运动矢量的多种方法进行修改来设定。并且，上述第二方向的候选预测运动矢量可包含在上述第二方向的预测运动矢量列表。
用于当前块的双向预测的参照图片相关度高的可能性高，因此，双向获取的与第一方向有关的运动矢量及与第二方向有关的运动矢量(MVL0，MVL1)类似的可能性高。因此，在利用与上述第一方向有关的运动矢量(MVL0)来获取一个以上的第二方向的候选预测运动矢量的情况下，与以往的方法相比，编码对于小的值的第二方向的差分运动矢量(MVDL1)来传送。
并且，第二方向预测运动矢量列表设定部730同时利用上述当前块的时间相邻块及空间相邻块的运动矢量来获取一个以上的第二方向的候选预测运动矢量，由此，与利用与上述第一方向有关的运动矢量获取的第二方向的候选预测运动矢量一同构成第二方向的预测运动矢量列表。在本发明中，利用与上述第一方向有关的运动矢量来设定的第二方向的候选预测运动矢量和通过一般方法设定的第二方向的候选预测运动矢量的数量、获取顺序、及上述候选预测运动矢量的索引分配方法不受限制。
图36及图37示出构成本发明另一实施例的预测运动矢量列表的方法的流程图及构成装置。
参照图36，首先，如参照图34及图35，首先，可获取当前块的与第一方向有关的运动矢量(步骤S40)。与上述第一方向有关的运动矢量的获取与构成第一方向的预测运动矢量列表的顺序无关地进行。通过上述第一方向的预测运动矢量列表构成来获取与上述第一方向有关的运动矢量之后执行，通过与上述第一方向的预测运动矢量列表构成独立接收的信息来获取，本发明并不局限于此。
参照图36和图37，第二方向预测运动矢量列表设定部730包括第一候选预测运动矢量设定部731及第二候选预测运动矢量设定部732。第一候选预测运动矢量设定部731设定第一候选预测运动矢量，上述第一候选预测运动矢量为利用与第一方向有关的运动矢量(MVL0)来构成第二方向的预测运动矢量列表的候选预测运动矢量，可以为设定的候选预测运动矢量(步骤S41)。上述第一候选预测运动矢量可以为一个以上的候选预测运动矢量。
上述第一候选预测运动矢量在候选预测运动矢量中，与当前块的运动矢量的相关度最高。因此，当构成上述第一预测运动矢量列表时，向具有最小码字的索引分配上述第一候选预测运动矢量，由此可提高编码效率。在一实施例中，若上述第一候选预测运动矢量至少两个以上，则上述第一候选预测运动矢量按具有小码字的顺序分配索引来提高编码效率。
第二候选预测运动矢量设定部732也与第一候选预测运动矢量设定部731独立地，与顺序无关，利用上述当前块的空间及时间相邻块来设定构成一个以上的候选预测运动矢量(步骤S42)。上述一个以上的候选预测运动矢量可以为第二候选预测运动矢量。上述第二候选预测运动矢量通过参照图3说明的获取一般预测运动矢量的方法获取，与上述第一候选预测运动矢量一同构成第二方向的预测运动矢量列表。在此情况下，当对于上述第二方向的预测运动矢量列表的构成时，上述第一候选预测运动矢量及上述第二候选预测运动矢量的数量、获取顺序及索引分配方法并不受到限制，只要是本发明所属技术领域的普通技术人员可实施的方法即可。
如上所述，本发明一实施例的预测运动矢量列表的构成方法及装置中，在当前块执行双向画面间预测的情况下，利用第一方向的运动矢量来获取第二方向的候选预测运动矢量中的一个以上，由此可提高编码效率。
图38a及图38b用于说明构成本发明一实施例的预测运动矢量列表的方法。
参照图38a，当前块310执行双向预测，在对第一方向及第二方向参照的图片340a、350a为相同的POC＝8的情况下，可阿静与第一方向有关的运动矢量(MVL0)用于第二方向的预测运动矢量列表的构成。例如，在与当前块的第一方向有关的运动矢量(MVL0)为(2，1)的情况下，作为第二方向的第一候选预测运动矢量可设定MVL0＝(2，1)。在一实施例中，上述第一候选预测运动矢量可在构成第二方向的预测运动矢量列表的索引中，具有最短码字，但是，本发明并不局限于此，对第二方向的预测运动矢量列表中的一个索引分配也无妨。
参照图38a和图33a，在当前块310双向预测时，在对各个方向参照的影像相同的条件下，为了构成第二方向的预测运动矢量列表而与和第一方向有关的运动信息独立地从当前块的相邻块获取运动信息来构成的情况下传送的第二方向的差分运动矢量为(2，1)。但是，作为第二方向的第一候选预测运动矢量，利用与第一方向有关的运动矢量的情况下，第二方向的差分运动矢量可以为(0，1)。本发明一实施例的高级运动矢量预测列表的构成如以下表5。
表5
Figure BDA0003473117880000401
如上所述，与第一方向有关的运动矢量和与第二方向有关的运动矢量的相关度高，因此，利用与第一方向有关的运动矢量来设定第二方向的第一预测运动矢量的构成本发明的本发明的预测运动矢量列表的方法对比以往的方法小的差分运动矢量(MVD)进行编码来传送。
图38b示出当前块310执行双向预测，对第一方向参照的图片340b与对第二方向参照的图片350b不相同的情况下，利用与第一方向有关的运动矢量(MVL0)来设定作为构成第二方向的预测运动矢量列表的第一候选预测运动矢量的方法。上述第一候选预测运动矢量还利用如对于上述第一方向的参照图片及对于上述第二方向的参照图片的POC的参照图片信息来获取。例如，对于当前块310的第一方向的参照图片340b为POC＝8，对于第二方向的参照图片350b为POC＝12，在当前块310的与第一方向有关的运动矢量MVL0为(5，8)的情况下，如以下表6所示，第二方向的第一预测运动矢量可以为基于POC缩放的(-5，8)。
表6
Figure BDA0003473117880000402
参照图38b和图33b，当当前块310双向预测时，对方向参照的影像不相同的条件下，为了构成第二方向的预测运动矢量列表(高级运动矢量预测_L1)，与第一方向有关的运动信息独立地从当前块的相邻块获取运动信息来构成的情况下传送的第二方向的差分运动信息(MVDL1)可以为(6，-1)。但是，作为第一候选预测运动矢量，在利用缩放的与第一方向有关的运动矢量(Scaled_MV L0)的情况下，第二方向的差分运动矢量(MVDL1)可以为(-1，2)。
如上所述，与第一方向有关的运动矢量(MVL0)和与第二方向有关的运动矢量(MVL1)的相关度高。因此，基于POC，对与第一方向有关的运动矢量进行缩放(Scaled_MVL0)来设定第二方向的第一预测运动矢量(MVL1)的构成本发明的预测运动矢量列表的方法对比以往的方法相对小的差分运动矢量(MVDL1)进行编码来传送，因此可提高编码效率。在一实施例中，为了提高编码效率，上述第一候选预测运动矢量在构成第二方向的预测运动矢量列表的索引中，具有最短码字，但是，本发明并不局限于此。在本发明中，作为第二方向的第一候选预测运动矢量，揭示基于POC，对于第一方向有关的运动矢量进行缩放的方法，但是缩放方法并不局限于此。
图39为示出构成本发明另一实施例的预测运动矢量列表的方法流程图。参照图39，为了构成当前块的高级运动矢量预测列表，首先，获取与第一方向有关的运动矢量(MVL0)(步骤S40)。与上述第一方向有关的运动矢量在解码器中，利用从编码器接收的第一方向的预测运动矢量列表的候选预测运动矢量及差分运动矢量来获取，也可以从编码器接收，本发明的获取与上述第一方向有关的运动矢量的方法并不局限于此。
之后，判断与用于当前块的双向预测的第一方向有关的参照图片的图片信息(POCref_L0)和与第二方向有关的参照图片的图片信息(POCref_L1)是否相同(步骤S60)。例如，上述第一及第二参照图片的相同与否可通过如POC的图片信息判断。
在对于上述第一方向的参照图片及对于上述第二方向的参照图片的图片信息相同的情况下(S60的Yes)，作为构成第二方向的预测运动矢量列表(高级运动矢量预测_L1)的第一候选预测运动矢量(MVP_L1_0)，可设定与上述第一方向有关的运动矢量(MVL0)(步骤S70)。上述第一候选预测运动矢量可以为一个以上的候选预测运动矢量。并且，构成上述第二方向的预测运动矢量列表的一个以上的剩余候选预测运动矢量(MVP_L1_N)可根据一般方法设定(步骤S80)。复制与上述第一方向有关的运动矢量来设定的上述第二方向的第一候选预测运动矢量和通过一般方法获取的上述第二方向的剩余候选预测运动矢量的获取顺序及第二方向的预测运动矢量列表构成时，索引分配方法并未受到限制。
在与上述第一方向的参照图片及对于上述第二方向的参照图片的图片信息不相同的情况下(S60的No)，作为构成第二方向的预测运动矢量列表的第一候选预测运动矢量(MVP_L1_0)，设定与上述第一方向有关的运动矢量被缩放的值(Scaled_MVL0)(步骤S90)。上述第一候选预测运动矢量可以为一个以上的候选预测运动矢量。并且，构成上述第二方向的预测运动矢量列表的一个以上的剩余候选预测运动矢量(MVP_L1_N)可根据一般方法设定(步骤S95)。通过缩放与上述第一方向有关的运动矢量的值设定的上述第二方向的第一候选预测运动矢量和通过一般方法获取的上述第二方向的剩余候选预测运动矢量的获取顺序及构成第二方向的预测运动矢量列表时，索引分配方法并未受到限制。
根据上述方法构成的高级运动矢量预测列表中，将当画面间预测时，对于相关度高的第一方向的运动矢量用于构成第二方向的预测运动矢量列表，因此，可提供画面间预测的编码效率得到提高的预测运动矢量列表的构成方法。并且，考虑到在当双向预测时，对于第一方向的参照图片及对于第二方向的参照图片的图片信息是否相同及上述参照凸显和当前图片之间的距离中的一种以上，设定构成第二方向的预测运动矢量列表的一个以上的候选预测运动矢量来提高编码效率。
以上说明的本发明并不局限于上述实施例，及附图，在不超出本发明的技术思想的范围内，本发明所属技术领域的普通技术人员可进行多种置换、变形及变更。

Claims (4)

1.一种视频信号的解码装置，包括：
变换区域信息获取单元，用于获取指示包括在变换块中的多个变换区域中的至少一个或多个的变换区域信息，所述变换块包括多个变换系数组；以及
变换系数组扫描单元，用于基于所述变换区域信息将所述变换块分割成所述多个变换区域中的至少一个变换区域，分别获取所述变换区域的扫描方法，通过使用第一变换区域的扫描方法来扫描包括在所述第一变换区域中的多个变换系数组，通过使用第二变换区域的扫描方法来扫描包括在所述第二变换区域中的多个变换系数组。
2.根据权利要求1所述的视频信号的解码装置，其中，
所述变换区域信息从编码器接收。
3.根据权利要求1所述的视频信号的解码装置，其中，
所述变换区域信息获取单元还在获取所述变换区域信息之前确定所述变换块的类型。
4.根据权利要求2所述的视频信号的解码装置，其中，
所述变换块的类型基于所述变换块的水平长度及垂直长度确定。
CN202210049050.3A 2016-05-28 2017-05-26 视频信号的解码装置 Pending CN114222138A (zh)

Applications Claiming Priority (14)

Application Number Priority Date Filing Date Title
KR20160066015 2016-05-28
KR10-2016-0066015 2016-05-28
KR20160075723 2016-06-17
KR20160075787 2016-06-17
KR10-2016-0075723 2016-06-17
KR10-2016-0075787 2016-06-17
KR1020170035361A KR102426131B1 (ko) 2016-06-17 2017-03-21 비디오 신호의 부호화 또는 복호화 방법 및 장치
KR10-2017-0035361 2017-03-21
KR1020170048441A KR102345458B1 (ko) 2016-05-28 2017-04-14 예측 모션 벡터 리스트를 구성하는 방법 및 이의 장치
KR10-2017-0048441 2017-04-14
KR1020170060576A KR102378803B1 (ko) 2016-06-17 2017-05-16 비디오 신호의 복호화 방법 및 이의 장치
KR10-2017-0060576 2017-05-16
PCT/KR2017/005497 WO2017209455A2 (ko) 2016-05-28 2017-05-26 비디오 신호의 부호화 또는 복호화 방법 및 장치
CN201780033620.7A CN109417638B (zh) 2016-05-28 2017-05-26 视频信号的编码或解码方法及装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780033620.7A Division CN109417638B (zh) 2016-05-28 2017-05-26 视频信号的编码或解码方法及装置

Publications (1)

Publication Number Publication Date
CN114222138A true CN114222138A (zh) 2022-03-22

Family

ID=60477623

Family Applications (6)

Application Number Title Priority Date Filing Date
CN202210049050.3A Pending CN114222138A (zh) 2016-05-28 2017-05-26 视频信号的解码装置
CN202210048882.3A Pending CN114222137A (zh) 2016-05-28 2017-05-26 构成预测运动矢量列表的方法
CN202210049739.6A Pending CN114222141A (zh) 2016-05-28 2017-05-26 视频信号的解码方法及视频信号的解码装置
CN202210049201.5A Pending CN114222139A (zh) 2016-05-28 2017-05-26 视频信号的解码方法
CN201780033620.7A Active CN109417638B (zh) 2016-05-28 2017-05-26 视频信号的编码或解码方法及装置
CN202210049407.8A Pending CN114222140A (zh) 2016-05-28 2017-05-26 视频信号的解码方法

Family Applications After (5)

Application Number Title Priority Date Filing Date
CN202210048882.3A Pending CN114222137A (zh) 2016-05-28 2017-05-26 构成预测运动矢量列表的方法
CN202210049739.6A Pending CN114222141A (zh) 2016-05-28 2017-05-26 视频信号的解码方法及视频信号的解码装置
CN202210049201.5A Pending CN114222139A (zh) 2016-05-28 2017-05-26 视频信号的解码方法
CN201780033620.7A Active CN109417638B (zh) 2016-05-28 2017-05-26 视频信号的编码或解码方法及装置
CN202210049407.8A Pending CN114222140A (zh) 2016-05-28 2017-05-26 视频信号的解码方法

Country Status (3)

Country Link
US (1) US20230336769A1 (zh)
CN (6) CN114222138A (zh)
WO (1) WO2017209455A2 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019221103A1 (ja) * 2018-05-17 2019-11-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
KR102030384B1 (ko) 2018-06-19 2019-11-08 광운대학교 산학협력단 잔차 계수 부호화/복호화 방법 및 장치
EP3855739A4 (en) * 2018-09-19 2021-07-28 Fujitsu Limited VIDEO CODING DEVICE, VIDEO CODING METHOD, VIDEO CODING PROGRAM, VIDEO DECODING DEVICE, VIDEO DECODING METHOD AND VIDEO DECODING PROGRAM
CN110933439B (zh) * 2018-09-20 2022-05-31 杭州海康威视数字技术股份有限公司 运动信息候选者列表构建方法、装置及可读存储介质
KR20200033760A (ko) 2018-09-20 2020-03-30 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN116320407A (zh) * 2018-10-12 2023-06-23 Oppo广东移动通信有限公司 视频信号的编码方法和解码方法及其装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101606391A (zh) * 2007-01-18 2009-12-16 弗劳恩霍夫应用研究促进协会 质量可缩放视频数据流
US20130003824A1 (en) * 2011-07-01 2013-01-03 Qualcomm Incorporated Applying non-square transforms to video data
US20130114692A1 (en) * 2011-11-04 2013-05-09 Texas Instruments Incorporated Simplified Coefficient Scans for Non-Square Transforms (NSQT) in Video Coding
US20130301705A1 (en) * 2011-01-13 2013-11-14 Samsung Electronics Co., Ltd. Video-encoding method and apparatus for same and video-decoding method and apparatus for same using a selective scan mode
CN103444176A (zh) * 2011-03-08 2013-12-11 高通股份有限公司 用于视频译码的变换系数的译码
US20130329807A1 (en) * 2011-03-03 2013-12-12 Electronics And Telecommunications Research Institute Method for scanning transform coefficient and device therefor
CN103636223A (zh) * 2011-06-29 2014-03-12 高通股份有限公司 用于视频译码的多区扫描次序
CN103828376A (zh) * 2011-06-29 2014-05-28 摩托罗拉移动有限责任公司 用于在帧内编译期间使用扫描编译图案的方法和系统
US20160029028A1 (en) * 2014-07-24 2016-01-28 Qualcomm Incorporated Sub-block palette mode
US20160080749A1 (en) * 2013-01-16 2016-03-17 Blackberry Limited Transform coefficient coding for context-adaptive binary entropy coding of video

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR930003964B1 (ko) * 1990-08-31 1993-05-17 삼성전자 주식회사 화상신호의 전송 및 저장시 데이타의 감축 효율을 높이기 위한 부호화방식
US5253055A (en) * 1992-07-02 1993-10-12 At&T Bell Laboratories Efficient frequency scalable video encoding with coefficient selection
US9635368B2 (en) * 2009-06-07 2017-04-25 Lg Electronics Inc. Method and apparatus for decoding a video signal
BR112012009142B1 (pt) * 2009-10-20 2021-10-19 Sharp Kabushiki Kaisha Dispositivo de codificação de imagem móvel, dispositivo de decodificação de imagem móvel, método de codificação de imagem móvel e método de decodificação de imagem móvel
SG10201503179VA (en) * 2010-04-23 2015-06-29 M&K Holdings Inc Image encoding apparatus
US9398308B2 (en) * 2010-07-28 2016-07-19 Qualcomm Incorporated Coding motion prediction direction in video coding
KR101238012B1 (ko) * 2010-11-30 2013-02-27 광주과학기술원 예측 움직임 벡터 부호화 방법 및 이를 수행하는 부호화 장치
US9392301B2 (en) * 2011-07-01 2016-07-12 Qualcomm Incorporated Context adaptive entropy coding for non-square blocks in video coding
KR102187246B1 (ko) * 2011-07-05 2020-12-04 한국전자통신연구원 영상 정보 부호화 방법 및 복호화 방법
US9756360B2 (en) * 2011-07-19 2017-09-05 Qualcomm Incorporated Coefficient scanning in video coding
US20130028329A1 (en) * 2011-07-22 2013-01-31 General Instrument Corporation Device and methods for scanning rectangular-shaped transforms in video coding
IN2014CN00729A (zh) * 2011-08-03 2015-04-03 Panasonic Corp
CN103650501B (zh) * 2011-08-25 2017-10-27 太阳专利托管公司 使用瓦片编码方案对视频进行编码、提取和解码的方法和装置
US9787982B2 (en) * 2011-09-12 2017-10-10 Qualcomm Incorporated Non-square transform units and prediction units in video coding
AU2011236109B2 (en) * 2011-10-18 2015-02-19 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the significance map for residual coefficients of a transform unit
US9247254B2 (en) * 2011-10-27 2016-01-26 Qualcomm Incorporated Non-square transforms in intra-prediction video coding
US10104399B2 (en) * 2012-01-13 2018-10-16 Hfi Innovation Inc. Method and apparatus for unification of coefficient scan of 8X8 transform units in HEVC
AU2012200319B2 (en) * 2012-01-19 2015-11-26 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the significance map for residual coefficients of a transform unit
KR102070431B1 (ko) * 2012-01-19 2020-01-28 삼성전자주식회사 쌍방향 예측 및 블록 병합을 제한하는 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
EP2618570B1 (en) * 2012-01-20 2017-12-13 BlackBerry Limited Method and devices for context set selection
ES2776925T3 (es) * 2012-01-20 2020-08-03 Velos Media Int Ltd Ocultación de múltiples bits de signo dentro de una unidad de transformación
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
CN110996100B (zh) * 2012-10-01 2022-11-25 Ge视频压缩有限责任公司 解码器、解码方法、编码器和编码方法
CN104272736B (zh) * 2013-01-16 2018-04-17 黑莓有限公司 用于对视频进行编码/解码的方法和设备及其处理器可读介质
JP6188344B2 (ja) * 2013-02-14 2017-08-30 Kddi株式会社 走査順生成装置、動画像符号化装置、動画像復号装置、走査順生成方法、およびプログラム
US11736712B2 (en) * 2016-05-28 2023-08-22 Industry Academy Cooperation Foundation Of Sejong University Method and apparatus for encoding or decoding video signal

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101606391A (zh) * 2007-01-18 2009-12-16 弗劳恩霍夫应用研究促进协会 质量可缩放视频数据流
CN102547277A (zh) * 2007-01-18 2012-07-04 弗劳恩霍夫应用研究促进协会 质量可缩放视频数据流
US20130301705A1 (en) * 2011-01-13 2013-11-14 Samsung Electronics Co., Ltd. Video-encoding method and apparatus for same and video-decoding method and apparatus for same using a selective scan mode
US20130329807A1 (en) * 2011-03-03 2013-12-12 Electronics And Telecommunications Research Institute Method for scanning transform coefficient and device therefor
CN103444176A (zh) * 2011-03-08 2013-12-11 高通股份有限公司 用于视频译码的变换系数的译码
CN103636223A (zh) * 2011-06-29 2014-03-12 高通股份有限公司 用于视频译码的多区扫描次序
CN103828376A (zh) * 2011-06-29 2014-05-28 摩托罗拉移动有限责任公司 用于在帧内编译期间使用扫描编译图案的方法和系统
US20130003824A1 (en) * 2011-07-01 2013-01-03 Qualcomm Incorporated Applying non-square transforms to video data
CN103636215A (zh) * 2011-07-01 2014-03-12 高通股份有限公司 对视频数据应用非正方形变换
US20130114692A1 (en) * 2011-11-04 2013-05-09 Texas Instruments Incorporated Simplified Coefficient Scans for Non-Square Transforms (NSQT) in Video Coding
US20160080749A1 (en) * 2013-01-16 2016-03-17 Blackberry Limited Transform coefficient coding for context-adaptive binary entropy coding of video
US20160029028A1 (en) * 2014-07-24 2016-01-28 Qualcomm Incorporated Sub-block palette mode

Also Published As

Publication number Publication date
CN114222137A (zh) 2022-03-22
CN109417638A (zh) 2019-03-01
WO2017209455A3 (ko) 2018-02-15
CN114222141A (zh) 2022-03-22
CN114222139A (zh) 2022-03-22
CN114222140A (zh) 2022-03-22
CN109417638B (zh) 2022-02-08
WO2017209455A2 (ko) 2017-12-07
US20230336769A1 (en) 2023-10-19

Similar Documents

Publication Publication Date Title
KR102096423B1 (ko) 쿼드 트리를 이용한 블록 정보 부/복호화 방법 및 이러한 방법을 사용하는 장치
CN109417638B (zh) 视频信号的编码或解码方法及装置
KR101549914B1 (ko) 화면 내 예측 모드에 기초한 적응적인 변환 방법 및 이러한 방법을 사용하는 장치
KR101911012B1 (ko) 참조 픽쳐 리스트 관리 방법 및 이러한 방법을 사용하는 장치
JP7391958B2 (ja) ビデオ信号符号化／復号方法及び前記方法に用いられる機器
KR20200104251A (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
US11736712B2 (en) Method and apparatus for encoding or decoding video signal
KR20200054112A (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
KR20230054805A (ko) 비디오 신호의 복호화 방법 및 이의 장치
KR20180033030A (ko) 적응적 블록 분할에 기반한 비디오 신호 처리 방법 및 장치
KR20200078391A (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
KR101468078B1 (ko) 화면 내 예측 방법 및 장치
KR101802375B1 (ko) 시간적 후보 움직임 벡터 유도 방법 및 이러한 방법을 사용하는 장치
KR20230074086A (ko) 비디오 신호의 부호화 또는 복호화 방법 및 장치
KR102523384B1 (ko) 비디오 신호의 복호화 방법 및 이의 장치
KR102534604B1 (ko) 비디오 신호의 부호화 또는 복호화 방법 및 장치
KR20210111602A (ko) 비디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination