CN107251558A - 编码装置以及解码装置 - Google Patents

编码装置以及解码装置 Download PDF

Info

Publication number
CN107251558A
CN107251558A CN201580076643.7A CN201580076643A CN107251558A CN 107251558 A CN107251558 A CN 107251558A CN 201580076643 A CN201580076643 A CN 201580076643A CN 107251558 A CN107251558 A CN 107251558A
Authority
CN
China
Prior art keywords
square
unit
block
prediction residual
rearranged
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580076643.7A
Other languages
English (en)
Other versions
CN107251558B (zh
Inventor
王翠
河村圭
内藤整
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Publication of CN107251558A publication Critical patent/CN107251558A/zh
Application granted granted Critical
Publication of CN107251558B publication Critical patent/CN107251558B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

编码装置，包括：确定块分割类型以及帧内预测模式的单元；当被确定的块为非正方形时，应用非正方形帧内预测来求出预测值的单元；求出作为预测值和对应的编码对象的输入图像的差分的预测残差的单元；将当被确定的块为非正方形时的预测残差重新排列成正方形的单元；通过对重新排列成正方形的预测残差应用正交变换来求出变换系数的单元；通过量化变换系数来求出等级值的单元；对等级值、块分割类型以及帧内预测模式进行编码的单元；求出对等级值进行逆量化以及逆变换而被重构的预测残差的单元；在被重构的预测残差的块与非正方形对应时重新排列成非正方形的单元；通过在重新排列成非正方形的预测残差上加上预测值来重构已编码像素的单元。

Description

编码装置以及解码装置
技术领域
本发明涉及一种允许非正方形块的编码的、静态图像或者视频的编码装置以及解码装置。
背景技术
在以H.264和H.265为代表的视频编码方式中，帧内预测将已被编码/解码的相邻块的像素作为参考像素，以正方形块为单位预测该块内的像素值。在将像素值和帧内预测值的残差信号进行正交变换/量化之后，应用系数扫描进行熵编码，从而生成比特流。
在非专利文献1、3和专利文献1中，提出了如下方法：在以往的国际标准编码方式上追加非正方形块，将像素值和帧内预测值的残差信号进行非正方形正交变换/量化之后，将其系数重新排列成正方形，应用对于以往的正方形块的系数扫描进行熵编码。
另外，在非专利文献2中，提出了基于帧内预测模式的方向自适应残差变换(Direction-Adaptive Residual Transform，以下适当简称为DART)来代替以往的分离型DCT。
现有技术文献
专利文献
专利文献1：国际公开2013/063245号
非专利文献
非专利文献1：Yuan Yuan,Xiaozhen Zheng,Lingzhi Liu,Xiaoran Cao and YunHe,"Non-Square Quadtree Transform Structure for HEVC",2012 Picture CodingSymposium,May 7-9,2012,Krakow,Poland.
非专利文献2：Robert A.Cohen,Sven Klomp,Anthony Vetro,and Huifang Sun,"DIRECTION-ADAPTIVE TRANSFORMS FOR CODING PREDICTION RESIDUALS",IEEEInternational Conference on Image Processing 2010(ICIP2010).
非专利文献3：Xiaoran Cao,Xiulian Peng,Changcai Lai,Yunfei Wang,Yongbing Lin,Jizheng Xu,Lingzhi Liu,Jianhua Zheng,Yun He,Haoping Yu and FengWu,"CE6.b Report on Short Distance Intra Prediction Method",Doc.JCT-VC D299,4th Meeting:Daegu,KR,20-28January,2011.
发明内容
发明所要解决的问题
以下，关于处理非正方形块的现有技术，参照图1至图4说明该现有技术的概要，关于DART，参照图5、图6说明该现有技术的概要。
图1以及图2分别是进行在非专利文献3中提出的帧内预测的编码装置以及解码装置的功能框图。图3以及图4均使用于该非专利文献3，是用于说明非专利文献1、3中提出的四叉树分割正交变换的图。
编码装置300具有如图1所示的各功能部，分别如下发挥作用。
模式选择部301的输入是编码对象的输入图像和保存在已编码块缓冲区343的参考像素。在模式选择部301中，基于速率失真优化算法确定块分割(是正方形还是非正方形、块大小)和预测模式。模式选择部301的输出是块的分割类型和该被分割的各个块(正方形或者非正方形块)中的预测模式，并向模式信息缓冲区302以及正方形(非正方形)帧内预测部311(321)输出。
另外，在构成输入图像的像素中，向正方形帧内预测部311输出通过模式选择部301的确定结果被分割成正方形块的像素，向非正方形帧内预测部321输出该确定结果被分割成非正方形块的像素。
由此，如图1所示，在现有技术中，通过以正方形块和非正方形块区分情况进行处理，从而能够处理非正方形块，提高了编码效率。开关340根据该区分情况切换正方形/非正方形的像素信号。
即，如图所示，当正方形块时，在正方形帧内预测部311、差分器312、正方形DCT(离散余弦变换，Discrete Cosine Transformation)部313、量化部332、熵编码部333、逆量化部334、开关340、正方形IDCT(逆离散余弦变换，Inverse Discrete CosineTransformation)部351、加法器341、已编码块缓冲区343中依次进行处理。该正方形块的情况的处理与H.264和H.265的一般的帧内预测的情况相同。
另外，如图所示，当非正方形块时，在非正方形帧内预测部321、差分器322，非正方形DCT部323、正方形化部324、量化部332、熵编码部333、逆量化部334、开关340、非正方形化部350、非正方形IDCT部352、加法器342、已编码块缓冲区343中依次完成处理。
因此，即便是在非正方形块的情况下，关于位于正方形化部324以及非正方形化部350之间的量化部332以及逆量化部334或者熵编码部333，也进行与正方形块共同的处理。这是因为在该处非正方形块被重新排列成正方形块。
另外，当非正方形块时，经过称作正方形化部324以及非正方形化部350的构成的处理来进行重新排列在形式上与正方形块时不同，除此之外的处理在形式上具有与正方形块时并列地对应的关系。例如，正方形块由正方形帧内预测部311来进行处理，在非正方形块时由非正方形帧内预测部321进行对应的处理。以下，通过利用括号将附图标记和其他一并记载，从而并列地说明具有这种对应关系的处理。
在正方形(非正方形)帧内预测部311(321)中，输入是预测模式和输入图像和保存在已编码块缓冲区343的参考像素。基于将正方形(非正方形)块作为对象的速率失真优化算法，生成根据最优预测方法的预测值。正方形(非正方形)帧内预测部311(321)的输出是预测值，向差分器312(322)以及加法器341(342)输出。
在差分器312(322)中，将正方形(非正方形)帧内预测部311(321)所输出的预测值和编码对象的输入图像中应用了该预测的块的像素的差分作为预测残差而求出，将该预测残差向正方形(非正方形)DCT部313(323)输出。
作为正方形DCT部313，输入是差分器312所输出的输入图像和预测值的预测残差。输出是进行了二维正方形DCT(离散余弦变换)正交变换的系数，并向量化部332输出。
作为非正方形DCT部323，输入是差分器322所输出的输入图像和预测值的预测残差，在非正方形DCT部323中应用二维非正方形DCT正交变换。输出是进行了二维非正方形DCT正交变换的系数，向正方形化部324输出。
应当指出的是，正方形(非正方形)DCT部313(323)的处理在形式上能够通过以下式(1)统一地表示。BN×M为大小N×M块的预测残差，CN×M为进行了DCT变换的系数，TM以及TN分别为大小M×M以及N×N的变换基数。在式(1)中，正方形DCT为N＝M的情况。在除此之外的情况(N≠M的情况)下，式(1)表示非正方形DCT的处理。
CN×M＝TM×BN×M×TN T (1)
为了在非正方形的正交变换系数中也使用以往的量化表，由正方形化部324对非正方形正交变换之后的非正方形系数块应用其重新排列操作。由此，作为正方形化部324的输入，输入非正方形DCT部323所输出的非正方形块的正交变换系数。作为输出，将重新排列后的变换系数的正方形块向量化部332输出。
在此，有如下的课题。即，由于在正交变换之后重新排列成正方形，因此，正交变换系数的能量压缩性能具有改善空间。
在量化部332中，对变换系数进行量化。作为量化部332的输入，输入正方形DCT部313或者正方形化部324所输出的正方形块的系数。作为输出，将该正方形块系数被量化的等级值向逆量化部334以及熵编码部333输出。
在熵编码部333中，对等级值进行熵编码而生成比特流。作为熵编码部333的输入，输入量化部332所输出的等级值和保存在模式信息缓冲区302的模式信息。作为输出，输出被熵编码的比特流。该输出成为图2的解码装置400的输入。
在逆量化部334中，对等级值进行逆量化。作为逆量化部334的输入，输入量化部332所输出的等级值。作为输出，向开关340输出正方形块的系数。
在开关340中，根据保存在模式信息缓冲区302的对于该块的分割类型，判断是否需要重新排列成非正方形。当该块的分割类型为正方形时，判断为无需重新排列，向正方形IDCT部351输出逆量化部334所输出的正方形块的系数。另一方面，当该块的分割类型为非正方形时，判断为需要重新排列，向非正方形化部350输出逆量化部334所输出的正方形块的系数。
在非正方形化部350中，应用从正方形向非正方形的重新排列操作之后，向非正方形IDCT部352输出该非正方形块系数。
在正方形IDCT(逆离散余弦变换)部351中，进行二维正方形DCT逆正交变换。作为正方形IDCT(逆离散余弦变换)部351的输入，输入通过开关340送出的正方形块的系数。作为输出，向加法器341输出重构的预测残差。
在非正方形IDCT部352中，将非正方形块作为对象进行二维非正方形DCT逆正交变换。作为非正方形IDCT部352的输入，输入非正方形化部350所输出的非正方形块的系数。作为输出，向加法器342输出被重构的预测残差。
在加法器341(342)中，将正方形(非正方形)IDCT部351(352)所输出的预测残差和正方形(非正方形)帧内预测部311(321)所输出的预测值进行相加而得出重构信号，并将该重构信号保存到已编码块缓冲区343。
以上，由于说明了图1的编码装置300，因此将对与此对应的图2的解码装置400进行说明。
在图2的熵解码部433中，从比特流对分割类型和预测模式和等级值进行解码。作为熵解码部433的输入，输入图1的熵编码部333所输出的比特流。作为输出，向模式信息缓冲区402以及预测值生成部444输出分割类型和预测模式和等级值。
模式信息缓冲区402输入分割类型和预测模式，并向预测值生成部444以及开关440输出。
逆量化部434对熵解码部433所输出的等级值进行与图1的逆量化部334相同的处理，并向开关440输出正方形块的系数。
由于图2的开关440、正方形IDCT部451、加法器441、非正方形化部450、非正方形化IDCT部452、加法器442、存储器443的处理与分别承担图1的重构侧的处理的开关340、正方形IDCT部351、加法器341、非正方形化部350、非正方形化IDCT部352、加法器342、已编码块缓冲区343的处理相同，所以赋予对应的附图标记(图1中300系列，图2中400系列，后两位相同)，因此，省略重复说明。由此，根据被解码的块的分割类型为正方形还是非正方形来区分情况而进行处理。
即，如果在模式信息缓冲区402中该块的分割类型为正方形时，则开关440将逆量化部434的输出向正方形IDCT451输出，如果是非正方形，则将逆量化部434的输出向非正方形化部450输出。
另外，作为与编码装置侧不同的构成，预测值生成部444生成向加法器441、442发送的该块的预测值。此时，根据熵解码部433所输出的预测模式，通过参照保存在存储器443的解码像素，生成预测值。由此，由预测值生成部444生成与图1的正方形帧内预测部311或者非正方形帧内预测部321所生成的预测值相同的预测值。
以上，说明了图2的解码装置400。以下，详细说明图1的模式选择部301。
图3以及图4是用于说明分别在水平分割时和垂直分割时通过模式选择部301选择的分割块(四叉树分割正交变换)的图。
在图3的水平方向的分割方法中，如果在等级0中在2N×2N的块中水平方向的相关性(以水平方向分割的子块之间的相关性)高，则当以水平方向分割为非正方形块时，残差信号的能量变小。因此，如等级1所示，分割成多个非正方形2N×hN块。在等级1中示出了被分割为四个h＝0.5的例。进一步，如果包括更细的图案(Texture)，则如等级2所示，将各2N×hN子块分割为更小的子块N×qN。在等级2中示出了被分割为四个q＝0.25的例。
图4示出了以垂直方向实施与图3同样的分割的例。图4的分割在2N×2N的块中垂直方向的相关性(以垂直方向分割的子块之间的相关性)高时，减小残差信号的能量。
应当指出的是，除了如图3和图4所示的四分割以外，也可以进行各种规定大小的分割，该块分割可由图形结构(树结构)表示，但在分割成非正方形块时，由于必须确定为分成四个子块，从而能够简单地表现树结构。
例如，在非专利文献1和专利文献1中公开的非正方形块大小，当进行子块分割时，基于必须分为四个子块的设定而示出了以下例举的类型，通过进一步继续图3和图4的分割，还能够分割成像这样越来越细的非正方形块。
(非正方形块大小的例)
32x8、8x32、32x2、2x32、16x4、4x16、16x1、1x16、8x2、2x8
应当指出的是，向如上述的非正方形块的分割模式的候选设定规定候选。具体而言，如此前所述，在编码装置300的模式选择功能部301中将各预测应用于各分割候选而尝试编码之后，通过速率失真优化算法从一系列的结果中确定要应用哪一个分割以及预测。
图5、图6是用于说明非专利文献2提出的DART的图。
具体而言，在DART中，专注于以下的性质。即，是N×N大小(正方形)的帧内预测残差信号块在预测模式的方向上相关系数也高的性质。并且，专注于该性质而进行如下的两个阶段的一维DCT。
作为第一阶段，以水平、垂直、倾斜中的一个方向作为主路径(预测模式的方向)进行一维DCT。图5示出了在该主路径进行的DCT的方向(将垂直下方作为基准0°)为0°、45°、135°的情况。如图所示的方向0、4、12分别表示预测方向的数量。各个箭头所示的C0，C1，…，CM/2，…，CM-1等是成为DCT系数的计算对象的主路径。应当指出的是，当DCT的方向为0°时，正方形大小N＝M，当DCT的方向为45°以及135°时，正方形大小N＝M/2。
作为第二阶段，仅对在所述第一阶段输出的DC系数作为辅路径而应用进一步的一维DCT。图6的0°以及45°分别表示与图5的0°以及45°对应的辅路径。就图6的0°而言，在图5的0°的主路径C0，C1，…，CM-1中的M个DC分量构成辅路径S。就图6的45°而言，在图5的45°的主路径CM-1中的M个DC分量构成辅路径S。
以上的第一阶段以及第二阶段的结果，根据DART在N×N块中输出的系数的类型和个数如下。
·一个DC系数(辅路径的输出)
·各个主路径和辅路径的输出AC系数
因此，基于DART的二维正交变换的系数成为1个DC系数和N2-1个AC系数，以在形式上与以往的分离型DCT相同。然而，如所述AC系数的类型分为两种。在此，主路径输出的AC系数是在辅路径中的DCT的对象之外。
以上，一般而言，DART的方法在块的相关性高的方向和在主路径进行的DCT的方向相同时有效。
以上，说明了各种现有技术，然而在这些中存在如下的课题。
首先，在H.264和H.265所代表的视频编码方式中，由于随着正方形的块大小变大，参考像素和编码对象像素的距离变长，相关也降低，从而存在预测性能下降，编码性能也会下降的课题。
另外，在通过允许非正方形块的情况而应对了如上所述的相关下降的图1、2的方式中，存在以下(1)、(2)的课题。
(1)由于使用非正方形的分离型正交变换，导致在非正方形块中的水平和垂直中的任一方向上，对像素数量少的块应用了DCT。其结果，在像素数量少的方向(非正方形块的长边以及短边中的短边方向)上，能量压缩性能(使能量向DC分量和低频分量集中的性能)下降，编码效率下降。
(2)分离型正交变换由于没有利用帧内残差信号的方向性，因此能量压缩性能变低。
进一步，在非专利文献2中提出的DART由于使用倾斜方向DCT，因此，与所述(1)相同地，仍然存在对像素数量少的块一定会产生DCT，能量压缩性能下降，编码效率下降的课题。
例如，在图5的45°的情况下，相当于中央的主路径CM/2由N个(N是块的大小)的多个像素数量构成，然而越接近端部像素数量变为越少。尤其，在两端上的主路径C0、CM-1的像素数量为1，从而不能期望能量压缩性能。
解决问题的技术方案
根据本发明的一方面，编码装置包括：模式选择单元，从编码对象的输入图像和已编码像素确定块分割类型以及在被分割的各块中的帧内预测模式；正方形帧内预测单元，当被确定的所述块为正方形时，应用正方形帧内预测来求出预测值；非正方形帧内预测单元，当被确定的所述块为非正方形时，应用非正方形帧内预测来求出预测值；差分单元，用于求出作为所述预测值和对应的编码对象的输入图像的差分的预测残差；正方形化单元，用于将当被确定的所述块为非正方形时的预测残差重新排列成正方形；变换单元，通过对被重新排列成所述正方形的预测残差或者被确定的所述块为正方形时的预测残差应用正交变换来求出变换系数；量化单元，通过量化所述变换系数来求出等级值；熵编码单元，对所述等级值、被确定的所述块分割类型以及被分割的各块中的帧内预测模式进行编码；逆量化/逆变换单元，求出对所述等级值进行逆量化以及逆变换而被重构的预测残差；非正方形化单元，当被重构的所述预测残差的块与非正方形对应时，重新排列成非正方形；以及加法单元，通过在被重新排列成所述非正方形的被重构的预测残差或者被确定的所述块为正方形时的被重构的预测残差上加上所述预测值，来重构所述已编码像素。
另外，根据本发明的一方面，解码装置包括：熵解码单元，通过对已编码的比特流进行解码，从而对块分割类型以及在被分割的各块中的帧内预测模式和各块的等级值进行解码；预测值生成单元，基于已解码像素和被解码的所述块分割类型以及在被分割的各块中的帧内预测模式来生成解码对象块的预测值；逆量化/逆变换单元，求出通过对所述等级值进行逆量化以及逆变换而被解码的预测残差；非正方形化单元，当被解码的所述块分割类型表示被解码的所述预测残差是对于非正方形的预测残差时，将该预测残差从正方形重新排列成非正方形；以及加法单元，通过将被解码的所述块分割类型表示被解码的所述预测残差是对于正方形的预测残差时的预测残差或者被重新排列的所述预测残差与所述预测值相加而生成所述已解码像素。
通过参照附图的以下说明会更加清楚本发明的其他特征以及优点。应当指出的是，附图中，对相同或者同样的构成赋予了相同的附图标记。
附图说明
图1是根据现有技术的编码装置的功能框图。
图2是根据现有技术的解码装置的功能框图。
图3是用于说明四叉树分割正交变换的图。
图4是用于说明四叉树分割正交变换的图。
图5是表示在方向自适应型残差变换中的主路径的例的图。
图6是表示在方向自适应型残差变换中的辅路径的例的图。
图7是根据一实施方式的编码装置的功能框图。
图8是根据一实施方式1的解码装置的功能框图。
图9是表示与预测方向对应的重新排列的例的图。
图10是表示垂直方向的交错扫描的图。
图11是表示水平方向的交错扫描的图。
图12是表示重新排列为正方形的其他实施方式的例的图。
具体实施方式
图7是根据一实施方式的编码装置的功能框图。编码装置100包括模式选择部101、模式信息缓冲区102、正方形帧内预测部111、非正方形帧内预测部121、差分器112、122、正方形化部123、变换部131、量化部132、熵编码部133、逆量化/逆变换部134、开关140、非正方形化部135、加法器141、142以及已编码块缓冲区143。
图7的编码装置100作为在编码时的大的构架，与图1的编码装置300相同地，选择性地对待正方形块和非正方形块进行编码，以赋予与其各部对应的名称。但是，为了避免作为现有技术的课题的对于像素数量少的块的DCT而提高编码效率，尤其在编码装置100中，采取了以下措施。
即，在处理非正方形块时，由非正方形帧内预测部121求出其预测值，在差分器122中将其设为预测残差之后，通过正方形化部123对非正方形块在与预测模式相同的方向上扫描预测残差像素值来生成矢量(将残差值排列成1列)，并根据该矢量的排列顺序，进行正方形化。
因此，即便是在非正方形块的情况下，由变换部131实施DCT的对象也成为被重新排列的正方形块，能够避免对于像素数量少的块的DCT。此外，为了实施该DCT而重新排列时，通过进行考虑了应用于原来的非正方形块的预测的方向的重新排列，能够提高编码效率。
以下，说明图7的编码装置100的各部。应当指出的是，在进行该说明时，与图1的编码装置300的说明的情况相同地，关于在正方形块的情况和非正方形块的情况下对应的处理和功能部的说明，通过适当地用括号括上等来进行并列地说明。
模式选择部101具有与图1的模式选择部301相同的功能(但是，非正方形块时的具体编码的形成方法如以下说明那样不同)，将编码对象的输入图像和保存在已编码块缓冲区143的已重构的参考像素作为输入，将应用于编码对象块的块分割类型(是正方形还是非正方形、块大小)和对于各分割块的预测模式输出到模式信息缓冲区102。应当指出的是，在图1的模式选择部301中，通过四分割进行了说明，然而分割方法还可以是每次进行一分为二的方法等，可使用任意的分割方法。即，只要是能够分割的最终的一个块的像素数量达到(2n)2(其中，n是整数)，即，只要是偶数的二次方即可。
该被输出的块分割类型和预测模式可基于速率失真优化算法确定。
在模式信息缓冲区102中，保持该块分割类型以及应用的各预测模式的信息，由开关140实施根据该信息的信号分离(根据正方形块时和非正方形块时的区分情况的分离)，并向熵编码部133提供，以对该信息进行编码。
当应用于输入图像的分割块为正方形块时，该块的像素被输入到正方形帧内预测111，当非正方形块时，该块的像素被输入到非正方形帧内预测部121。
正方形帧内预测111(非正方形帧内预测部121)根据模式选择部101所输出的帧内预测模式，参照已编码块缓冲区143的已重构像素，对如上所述输入的正方形块(非正方形块)的像素求出其预测值，并向差分器112(差分器122)输出。
在差分器112(差分器122)中，求出由正方形帧内预测部111(非正方形帧内预测部121)输入的预测信号与该编码对象块的输入像素的差分，并将其作为预测残差，向变换部131(正方形化部123)输出。
在正方形化部123中，将作为该非正方形块而排列的预测残差重新排列为作为正方形块的预测残差之后，向变换部131输出。后述有对正方形化部123详细说明。
变换部131对差分器112或者正方形化部123所输出的正方形块形式的预测残差实施正交变换，并向量化部132输出变换系数。在此，正交变换可使用一般的分离型DCT，关于正方形化部123所输出的正方形块形式的预测残差，可通过如后述的其详细的方法，应用所述的非专利文献2中的DART。
量化部132对变换部131所输出的变换系数进行量化并将其作为等级值，向熵编码部133以及逆量化/逆变换部134输出。
熵编码部133对量化部132所输出的等级值和保存在模式信息缓冲区102的应用于该编码对象块的块分割类型的信息以及预测模式的信息进行熵编码而输出比特流。该输出的比特流向后述的图8的解码装置200的熵解码部233输入。
逆量化/逆变换部134对量化部132输出的等级值进行量化部132的量化的逆处理(逆量化)，使其成为变换系数，进而，对该变换系数进行变换部131的逆处理(逆变换)，使其成为以正方形块的形式排列的预测残差，并向开关140输出。
在开关140中，通过参照模式信息缓冲区102，当逆量化/逆变换部134所输出的预测残差经由正方形帧内预测部111(从初始就符合正方形块)时，将该预测残差向加法器141输出，另一方面，当该预测残差经由非正方形帧内预测部121(初始是非正方形块，然而在正方形化部123重新排列成正方形)时，将该预测残差向非正方形化部135输出。
非正方形化部135将通过开关140输出的正方形块形式的预测残差重新排列成初始的非正方形块的形式之后向加法器142输出。应当指出的是，在该重新排列时，与开关140参照的相同地，通过根据保存在模式信息缓冲区102的块分割类型的信息来重新排列，在非正方形化部135中进行正方形化部123中的重新排列的逆处理。
在加法器141(加法器142)中，将开关140(非正方形化部135)输出的预测残差和正方形帧内预测部111(非正方形帧内预测部121)输出的预测值进行相加而得到该块的重构信号，并将该重构信号向已编码块缓冲区143输出。
在已编码块缓冲区143中保持该重构信号，并将其用于模式选择部101、正方形帧内预测部111以及非正方形帧内预测部121中的参照。
图8是根据一实施方式的解码装置200的功能框图。解码装置200包括熵解码部233、模式信息缓冲区202、逆量化/逆变换部234、开关240、非正方形化部235、加法器241、242、存储器243以及预测值生成部244。
通过具有该构成，在解码装置200中进行与图7的编码装置100的重构处理大致对应的处理，将所编码的比特流依次解码。每个部分，具体如下。
熵解码部233通过对图7的熵编码部133所输出的比特流进行熵解码，得到在该解码对象块中的块分割类型以及预测模式的信息和等级值。该被解码的块分割类型以及预测模式的信息向模式信息缓冲区202输出并被保持，且向预测值生成部244输出，另外，等级值向逆量化/逆变换部234输出。
逆量化/逆变换部234通过进行与图7的逆量化/逆变换部134相同的处理，对等级值进行逆量化而使其成为变换系数的同时，对变换系数进行逆变换而使其成为以正方形块形式排列的预测残差，并向开关240输出。
在开关240中，进行与图7的开关140相同的处理，参照在保存于模式信息缓冲区202的该解码对象块中的块分割类型的信息，如果该块为正方形，则将逆量化/逆变换部234所输出的预测残差向加法器241输出，如果该块为非正方形，则将该预测残差向非正方形化部235输出。
在非正方形化部235中，进行与图7的非正方形化部135相同的处理，根据保存在模式信息缓冲区202的该非正方形块的信息，将通过该正方形块形式排列的预测残差重新排列成初始的非正方形块形式之后，向加法器242输出。
在加法器241(加法器242)中，将开关240(非正方形化部235)输出的预测残差和与该预测残差对应的通过预测值生成部244生成的预测值进行相加，获得该块的解码信号，并向存储器243输出并保存。在存储器243中将该解码信号作为输出图像而输出的同时，将其用于从预测值生成部244的参照。
在预测值生成部244中，通过根据保存在模式信息缓冲区202(或者由熵解码部233解码)的预测模式的信息来参照存储器243的解码像素，生成该解码对象块的预测值，如果该解码对象块为正方形块时，将该预测值向加法器241输出，或者，如果该解码对象块为非正方形块时，将该预测值向加法器242输出。
以下，对在图7的正方形化部123中的预测残差从非正方形重新排列成正方形的处理进行详细的说明。应当指出的是，图7的非正方形化部135以及图8的非正方形化部235通过进行与所述说明的正方形化部123的相反的重新排列，从而将预测残差从正方形重新排列成非正方形。
在非正方形化部123中，可通过与非正方形块的大小(N×M)对应的规定规则，重新排列成正方形。能够设为该规定规则与对该非正方形块在非正方形帧内预测部121中应用的预测模式中的预测方向对应。
通过重新排列的规定规则这样确定为与非正方形块的大小和预测模式对应，无需由熵编码部133对重新排列的信息进行编码。即，在图8的解码装置200的非正方形化部235中，由于根据被解码的非正方形块的大小的信息和预测模式的信息，能够唯一地确定从正方形向非正方形重新排列的方式的信息，因此，无需对重新排列信息进行编码。但是，在解码装置200中，需要预先保存与非正方形块的大小和预测模式对应的重新排列的规定规则的信息。
图9是表示与预测方向对应的重新排列的例的图。在此，图9的预测方向9A～9H表示非正方形块的大小为横2×竖8时的各预测方向，作为S1～S16表示用于重新排列的一维的扫描顺序。另外，图9的附图标记9I表示根据预测方向9A～9H中分别示出的扫描顺序S1～S16重新排列成大小4×4的正方形的顺序。
应当指出的是，需要根据非正方形块的大小而设定各种规定的重新排列(例如，“32×8→16×16”、“32×2→8×8”、“8×2→4×4”、其他等)，但能够由与图9(以及后述的图10、图11)的例同样的方针设定规定顺序。
另外，在图9中，示出了8种预测方向的情况的例，然而，当更细致地定义有8种以上的预测方向时，可以用同样的方针设定规定顺序，也可以以该例示的8种预测方向中最近的方向为代表。例如，如果预测方向为5°或10°，则由于图9的预测方向9B的垂直(0°)为最近方向，从而可以应用预测方向9B的重新排列。
在图9的各预测方向中的扫描顺序S1～S16的例所示，一维的扫描顺序优选通过在非正方形块中重复与预测方向一致或者尽可能靠近预测方向的单位扫描(反映了预测方向的单位扫描)而构成。该单位扫描在图9中用大小横2×竖8的各像素位置处以灰色表示。
在此，为了说明单位扫描，将图9的横2×竖8的非正方形块的像素位置作为指定的格子点(整数)坐标，使用将最左上作为(0，0)、最右下作为(1，7)的坐标。(应当指出的是，该坐标在后述的图10中也会同样地使用。)
例如，如预测方向9A所示，如果预测方向为水平(90°)，则单位扫描变为灰色的“S1→S2”或同样地重复的“S3→S4”、“S5→S6”等，全部位移(Δx，Δy)＝(+1，0)，与水平(90°)的方向一致。在预测方向9B中，预测方向为垂直(0°)，灰色的单位扫描是“S1→S2→…S8”，位移(Δx，Δy)＝(0，+7)，与垂直(0°)方向一致。
如预测方向9C所示，如果预测方向为22.5°，则单位扫描是灰色的“S3→S4→S5→S6”等，具有与如图所示的预测方向22.5°大致一致的方向D3。该方向D3的位移是(Δx，Δy)＝(+1，+3)。或者，在预测方向9C中，扫描S1、S2以及S15、S16相当于为了设置该单位扫描的重复结构而在两端多余的部分。另外，如预测方向9H所示，在预测方向为157.5°时，单位扫描也是灰色的“S3→S4→S5→S6”等，该方向D8的位移是(Δx，Δy)＝(-1，+3)，变为使预测方向9C的扫描在x轴方向上反转的扫描。如预测方向9D所示，如果预测方向为45°，则单位扫描是灰色的“S2→S3”或同样的“S4→S5”等，该方向D4的位移是(Δx，Δy)＝(+1，+1)，与预测方向45°一致。或者，在预测方向9D中，扫描S1、S16相当于在两端多余的部分。另外，如预测方向9G所示，当预测方向为135°时，单位扫描也是灰色的“S2→S3”或同样的“S4→S5”等，该方向D7的位移是(Δx，Δy)＝(+1，-1)，变为与预测方向9D的扫描对应的扫描。
如预测方向9E所示，如果预测方向为67.5°，则单位扫描是灰色的“S1→S2→S3”或同样的“S5→S6→S7”等，该方向D3的位移是(Δx，Δy)＝(+1，+1)，预测方向为靠近67.5°的方向。另外，在预测方向9E中，该单位扫描途中的S4、S8等相当于用于设定该单位扫描的重复结构的途中通过部分。另外，如预测方向9F所示，预测方向为112.5°时单位扫描也是灰色的“S1→S2→S3”或同样的“S5→S6→S7”等，该方向D6的位移是(Δx，Δy)＝(-1，+1)，变为使预测方向9E的扫描在x轴方向上反转的扫描。
以上，按照与如图9所示的各预测方向对应的规定的扫描顺序S1～S16进行一维扫描，通过如附图标记9I所示那样根据该顺序以水平方向进行4次扫描，能够重新排列成正方形。
对附图标记9I所示出的被重新排列的正方形的预测残差，在图7的变换部131中可应用非专利文献2中所说明的DART。此时，可将第一阶段的主路径适以水平方向应用，可将第二阶段的辅路径以垂直方向应用。通过对该水平以及垂直方向实施一维DCT，排除在减少如图5、图6中所说明的DCT系数的个数的倾斜方向上应用一维DCT，从而可期待提高编码效率。
应当指出的是，由于在图9的附图标记9I所示例中将在水平方向上排列仅重复相当于垂直方向的次数，所以将主路径作为水平方向，将辅路径作为垂直方向。与此相对，可通过将在垂直方向上排列仅重复相当于水平方向的次数，从而重新排列成正方形，然而，在这种情况下，可将主路径作为垂直方向，可将辅路径作为水平方向。
应当指出的是，作为在正方形化部123中的重新排列的其他的实施方式，当作为预测方向9C以及9H示出的预测方向为22.5°以及157.5°时，可应用作为公知方式的隔行扫描方式(垂直方向的交错扫描)。
图10是表示该应用的垂直方向的交错扫描的图，对2×8大小的4个分割块分别应用同大小2×8的部分B1～B4的扫描即可。在这种情况下，在该示出的8×8正方形块的全体中应用扫描。例如在块B1的途中有对B2而言“飞行”的地方(2，0)以及(2，1)，可按照该顺序扫描B2的地方(2，0)以及(2，1)即可。即，并不是连续扫描B1全体。
同样地，作为在正方形化部123中的重新排列的其他实施方式，当作为预测方向图9E以及图9F示出了预测方向为67.5°以及112.5°时，可应用作为公知方式的隔行扫描方式(水平方向的交错扫描)。
图11是表示该应用的水平方向的交错扫描的图，对2×8大小的4个分割块分别应用相同大小2×8的部分B11～B14的扫描即可。此时，与在图10中说明的内容相同地，在该示出的8×8的正方形块的全体中应用扫描。
此外，作为在正方形化部123中的重新排列的其他实施方式，可如下进行。即，虽然在图9中，按照与各预测方向对应的扫描顺序来一维排列成S1～S16之后，不依赖预测方向而一律如附图标记9I所示那样排列成正方形，但也可以取而代之，在排列成正方形时也可以应用与预测方向对应的重新排列。
尤其，可应用正方形的各边(附图标记9I的例中横方向的边)在单位扫描的开始地方开始的重新排列。此时，可将根据如下的基准的规定规则作为重新排列的规则来使用。即，是使正方形的各边的开始地方(图像坐标(x，y)中将横方向x的值中的最小地方作为“开始地方”。如果是附图标记9I的例，则S1、S5、S9、S13的地方)尽可能多个与单位扫描的开始地方一致，且使一维扫描S1～S16的排列尽可能不被改变(当对被重新排列的正方形应用光栅扫描时，从排列S1～S16的改变尽可能少)的基准。
根据该基准，通过正方形的各边的开始地方尽可能多个与单位扫描的开始地方一致，从而能够提高正交变换时的能量压缩性能，因此，能够提高编码效率。这是因为单位扫描与预测方向一致或者排列成靠近预测方向。
图12中作为根据该基准的例，示出了重新排列成正方形的其他实施方式的例。
在图12的附图标记12A示出的例中，示出了当预测方向为22.5°以及157.5°时(预测方向9C以及9H的情况)，重新排列成正方形的横方向的边在作为单位扫描的“S3、S4、S5、S6”等开始的例。即，将正方形的第1～3行(将横方向的边称作“行”)作为单位扫描的“S3～S6”、“S7～S10”、“S11～S14”来构成，将第4行由接着第3行的“S15、S16”以及相当于所述“多余部分”的“S1、S2”构成。
另外，在图12的附图标记12B示出的例中，示出了当预测方向为45°以及135°时(预测方向9D以及9G的情况)，重新排列成正方形的横方向的边在作为单位扫描的“S2、S3”和“S6、S7”等开始的例。即，将正方形的第1～3行作为单位扫描的“S2、S3以及S4、S5”、“S6、S7以及S8、S9”、“S10、S11以及S12、S13”来构成，将第4行由作为单位扫描的“S14、S15”、接续其的“S16”以及相当于所述“多余部分”的“S1”构成。
应当指出的是，在应用图12的重新排列时，对预测方向9A、9B、9E、9F情况，也只要应用图9的附图标记9I的排列即可。在此，当预测方向9E(67.5°)、预测方向9F(112.5°)时，S4、S8、S12、S16相当于用于重复单位扫描S1～S3等的所述“途中通过部分”，然而，根据将一维扫描S1～S16的排列尽可能不改变的基准，按照其原有的形式继续排列在单位扫描中，应用图9的附图标记9I示出的排列。
以上，根据本发明，通过导入在正交变换之前基于预测残差信号的相关性而从非正方形重新排列成正方形的操作，能够提高正交变换后的系数的能量压缩性能，提高编码效率。另外，由于通过重新排列成正方形，正交变换之后的处理能够在正方形块/非正方形块中是共同的，从而能够高速化处理。另外，由于无需发送用于重新排列的扫描信息(无需编码/解码)，且块内像素数量也不变化，因此，也能够应用于将以往的正方形块作为单位的编码装置、解码装置。本发明可应用于图像(静态图像或者视频(动态图像)内的图像)的编码以及解码。
本发明可作为使计算机作为编码装置100以及/或者解码装置200的全部或者其任意一部分发挥功能的程序来提供。在该计算机中，可应用CPU(中央运算装置)、存储器以及各种I/F的公知的硬件结构，CPU执行与编码装置100以及/或者解码装置200的各部的功能对应的指令。
本发明不限定于所述实施方式，在不脱离本发明的思想以及范围，能够做出各种变更以及变形。因此，为了公开本发明的范围，添加了下面的权利要求。
本申请基于申请号为2015-038593、申请日为2015年2月27日提出的日本专利申请提出并要求优先权，该日本专利申请的全部内容引入本申请作为参照。

Claims (9)

1.一种编码装置，包括：
模式选择单元，从编码对象的输入图像和已编码像素确定块分割类型以及在被分割的各块中的帧内预测模式；
正方形帧内预测单元，当被确定的所述块为正方形时，应用正方形帧内预测来求出预测值；
非正方形帧内预测单元，当被确定的所述块为非正方形时，应用非正方形帧内预测来求出预测值；
差分单元，求出作为所述预测值和对应的编码对象的输入图像的差分的预测残差；
正方形化单元，将当被确定的所述块为非正方形时的预测残差重新排列成正方形；
变换单元，通过对被重新排列成所述正方形的预测残差或者被确定的所述块为正方形时的预测残差应用正交变换来求出变换系数；
量化单元，通过量化所述变换系数来求出等级值；
熵编码单元，对所述等级值、被确定的所述块分割类型以及被分割的各块中的帧内预测模式进行编码；
逆量化/逆变换单元，求出对所述等级值进行逆量化以及逆变换而被重构的预测残差；
非正方形化单元，当被重构的所述预测残差的块与非正方形对应时，重新排列成非正方形；以及
加法单元，通过在被重新排列成所述非正方形的被重构的预测残差或者被确定的所述块为正方形时的被重构的预测残差上加上所述预测值，来重构所述已编码像素。
2.根据权利要求1所述的编码装置，其中，
所述正方形化单元以及所述非正方形化单元按照基于在所述非正方形帧内预测单元中所应用的帧内预测模式的方向的规定顺序进行所述重新排列。
3.根据权利要求2所述的编码装置，其中，
所述正方形化单元通过在非正方形块中重复反映了在所述非正方形帧内预测单元中应用的帧内预测模式的方向的单位扫描，来对预测残差赋予顺序，并通过将被赋予顺序的该预测残差以规定顺序排列成正方形，从而重新排列成所述正方形，
在所述非正方形化单元中，通过与在所述正方形化单元中重新排列成所述正方形相反地重新排列，从而重新排列成所述非正方形。
4.根据权利要求3所述的编码装置，其中
在所述正方形化单元中将被赋予顺序的所述预测残差重新排列成所述正方形时的所述规定顺序为，基于在所述非正方形帧内预测单元中所应用的帧内预测模式的方向的规定顺序。
5.根据权利要求1至4的任一项所述的编码装置，其中
所述变换单元通过对被重新排列成所述正方形的预测残差沿着第一方向实施一系列的一维正交变换，来求出一系列的第一系数，并且沿着与所述第一方向正交的第二方向对所述一系列的第一系数的直流分量实施一维正交变换。
6.一种解码装置，包括：
熵解码单元，通过对已编码的比特流进行解码，从而对块分割类型以及在被分割的各块中的帧内预测模式和各块的等级值进行解码；
预测值生成单元，基于已解码像素和被解码的所述块分割类型以及在被分割的各块中的帧内预测模式来生成解码对象块的预测值；
逆量化/逆变换单元，求出通过对所述等级值进行逆量化以及逆变换而被解码的预测残差；
非正方形化单元，当被解码的所述块分割类型表示被解码的所述预测残差是对于非正方形的预测残差时，将该预测残差从正方形重新排列成非正方形；以及
加法单元，通过将被解码的所述块分割类型表示被解码的所述预测残差是对于正方形的预测残差时的预测残差或者被重新排列的所述预测残差与所述预测值相加而生成所述已解码像素。
7.根据权利要求6所述的解码装置，其中，
所述非正方形化单元按照基于被解码的所述帧内预测模式的方向的规定顺序进行所述重新排列。
8.根据权利要求7所述的解码装置，其中，
当被解码的所述块分割类型表示被解码的所述预测残差是对于非正方形的预测残差时，通过在非正方形块中重复反映了应用的帧内预测模式的方向的单位扫描来对预测残差赋予顺序，并通过以规定顺序将被赋予顺序的该预测残差排列成正方形，从而生成该预测残差，
所述非正方形化单元通过与在生成该预测残差时重新排列成正方形相反地重新排列，从而重新排列成所述非正方形。
9.根据权利要求8所述的解码装置，其中，
用于将被赋予顺序的所述预测残差排列成所述正方形的所述规定顺序是基于所应用的帧内预测模式的方向的规定顺序。
CN201580076643.7A 2015-02-27 2015-12-22 编码装置以及解码装置 Expired - Fee Related CN107251558B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015038593 2015-02-27
JP2015-038593 2015-02-27
PCT/JP2015/085740 WO2016136106A1 (ja) 2015-02-27 2015-12-22 符号化装置及び復号装置

Publications (2)

Publication Number Publication Date
CN107251558A true CN107251558A (zh) 2017-10-13
CN107251558B CN107251558B (zh) 2019-12-31

Family

ID=56789325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580076643.7A Expired - Fee Related CN107251558B (zh) 2015-02-27 2015-12-22 编码装置以及解码装置

Country Status (5)

Country Link
US (2) US10462461B2 (zh)
EP (1) EP3264771A4 (zh)
JP (1) JP6671339B2 (zh)
CN (1) CN107251558B (zh)
WO (1) WO2016136106A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112584157A (zh) * 2019-09-30 2021-03-30 福州瑞芯微电子股份有限公司 一种avs2反变换装置及方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6669622B2 (ja) 2016-09-21 2020-03-18 Kddi株式会社 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体
JP6880310B2 (ja) * 2018-03-29 2021-06-02 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
EP3850856A4 (en) * 2018-09-11 2022-07-06 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR ENCODING TRANSFORMATION COEFFICIENT LEVEL VALUES

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101282485A (zh) * 2007-04-05 2008-10-08 索尼株式会社 图像处理装置
WO2010045033A2 (en) * 2008-10-13 2010-04-22 Qualcomm Incorporated Methods and systems using norm approximation for maximum likelihood mimo decoding
CN103636215A (zh) * 2011-07-01 2014-03-12 高通股份有限公司 对视频数据应用非正方形变换
US20140341306A1 (en) * 2012-02-04 2014-11-20 Lg Electronics Inc. Video encoding method, video decoding method, and device using same
CN104247425A (zh) * 2012-04-26 2014-12-24 索尼公司 用于视频编码的非序列变换单元

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101379187B1 (ko) 2008-06-23 2014-04-15 에스케이 텔레콤주식회사 블록 변환을 이용한 인트라 예측 방법 및 장치와 그를이용한 영상 부호화/복호화 방법 및 장치
US9100646B2 (en) * 2008-09-03 2015-08-04 Sk Telecom Co., Ltd. Device and method for image encoding/decoding using prediction direction conversion and selective encoding
US20110015831A1 (en) * 2009-07-17 2011-01-20 Loup Electronics, Inc. Application rate system for a farm implement
KR101504887B1 (ko) * 2009-10-23 2015-03-24 삼성전자 주식회사 데이터 단위 레벨의 독립적 파싱 또는 복호화에 따른 비디오 복호화 방법 및 그 장치, 그리고 데이터 단위 레벨의 독립적 파싱 또는 복호화를 위한 비디오 부호화 방법 및 그 장치
CN104811717B (zh) * 2009-12-01 2018-09-14 数码士有限公司 用于编码/解码高分辨率图像的方法和设备
WO2011096770A2 (ko) * 2010-02-02 2011-08-11 (주)휴맥스 영상 부호화/복호화 장치 및 방법
US9049444B2 (en) * 2010-12-22 2015-06-02 Qualcomm Incorporated Mode dependent scanning of coefficients of a block of video data
CN102595116B (zh) 2011-01-14 2014-03-12 华为技术有限公司 多图像块划分的编解码方法和装置
US9602839B2 (en) * 2011-06-15 2017-03-21 Futurewei Technologies, Inc. Mode dependent intra smoothing filter table mapping methods for non-square prediction units
US9247254B2 (en) 2011-10-27 2016-01-26 Qualcomm Incorporated Non-square transforms in intra-prediction video coding
KR20130049525A (ko) 2011-11-04 2013-05-14 오수미 잔차 블록 복원을 위한 역변환 방법
EP3723369A1 (en) * 2012-01-20 2020-10-14 Dolby Laboratories Licensing Corporation Intra prediction mode mapping device
US9332257B2 (en) * 2012-10-01 2016-05-03 Qualcomm Incorporated Coded black flag coding for 4:2:2 sample format in video coding
CN104782125B (zh) * 2012-11-08 2019-03-15 佳能株式会社 对编码单位的变换单位编码和解码的方法、设备和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101282485A (zh) * 2007-04-05 2008-10-08 索尼株式会社 图像处理装置
WO2010045033A2 (en) * 2008-10-13 2010-04-22 Qualcomm Incorporated Methods and systems using norm approximation for maximum likelihood mimo decoding
CN103636215A (zh) * 2011-07-01 2014-03-12 高通股份有限公司 对视频数据应用非正方形变换
US20140341306A1 (en) * 2012-02-04 2014-11-20 Lg Electronics Inc. Video encoding method, video decoding method, and device using same
CN104247425A (zh) * 2012-04-26 2014-12-24 索尼公司 用于视频编码的非序列变换单元
CN104285445A (zh) * 2012-04-26 2015-01-14 索尼公司 用于不同颜色取样格式和区块尺寸的量化矩阵

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112584157A (zh) * 2019-09-30 2021-03-30 福州瑞芯微电子股份有限公司 一种avs2反变换装置及方法

Also Published As

Publication number Publication date
US20180020214A1 (en) 2018-01-18
US10462461B2 (en) 2019-10-29
JPWO2016136106A1 (ja) 2017-12-14
EP3264771A1 (en) 2018-01-03
CN107251558B (zh) 2019-12-31
JP6671339B2 (ja) 2020-03-25
WO2016136106A1 (ja) 2016-09-01
US20190335175A1 (en) 2019-10-31
EP3264771A4 (en) 2018-08-29

Similar Documents

Publication Publication Date Title
TWI815272B (zh) 使用具有鄰近取樣縮減的線性或仿射變換的內預測
US11417029B2 (en) Method and apparatus for point cloud coding
KR101684038B1 (ko) 동화상 복호 장치, 동화상 부호화 장치, 동화상 복호 방법, 및 동화상 부호화 방법
CN110622511B (zh) 图像编码/解码方法及其设备
CN109792519A (zh) 基于帧内预测模式的图像处理方法及其装置
WO2012161444A2 (ko) 화면 내 예측 방법 및 장치
EP3140988B1 (en) Method and device for reducing a computational load in high efficiency video coding
CN107251558A (zh) 编码装置以及解码装置
CN107087170A (zh) 编码设备、编码方法、解码设备和解码方法
JP2020150340A (ja) 画像符号化装置、画像符号化方法、及びプログラム
He et al. High-performance H. 264/AVC intra-prediction architecture for ultra high definition video applications
WO2012128209A1 (ja) 画像符号化装置、画像復号装置、プログラムおよび符号化データ
JP6846134B2 (ja) 映像符号化装置及び映像復号装置
US20220392114A1 (en) Method and apparatus for calculating distance based weighted average for point cloud coding
RU2786121C1 (ru) Способ и устройство кодирования/декодирования изображений
CN1285218C (zh) 视频预测性译码方法及装置
JP2023522175A (ja) エントロピーコーディングの変換された係数順序付け
CN117176968A (zh) 视频编码方法和装置
Lakhani Suppressing first row/column coefficients of DCT blocks for lossless JPEG code reduction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191231

Termination date: 20201222

CF01 Termination of patent right due to non-payment of annual fee