CN111264060B - 动态图像编码装置、动态图像编码方法和存储介质 - Google Patents

动态图像编码装置、动态图像编码方法和存储介质 Download PDF

Info

Publication number
CN111264060B
CN111264060B CN201780095955.1A CN201780095955A CN111264060B CN 111264060 B CN111264060 B CN 111264060B CN 201780095955 A CN201780095955 A CN 201780095955A CN 111264060 B CN111264060 B CN 111264060B
Authority
CN
China
Prior art keywords
image
block
division
encoding
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780095955.1A
Other languages
English (en)
Other versions
CN111264060A (zh
Inventor
武内健士郎
G·D·C·巴洛克斯
数井君彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN202310275932.6A priority Critical patent/CN116320470A/zh
Publication of CN111264060A publication Critical patent/CN111264060A/zh
Application granted granted Critical
Publication of CN111264060B publication Critical patent/CN111264060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

动态图像编码装置具有：分割模式判定部，其通过对分割编码对象图像而获得的多个块中的、包含编码对象图像的水平方向的端部和垂直方向的端部中的任意一方的图像端部块依照四分树结构进行四分割，或者在与图像端部块所包含的编码对象图像的端部垂直的方向上进行二分割，将图像端部块分割为多个子块；预测块生成部，其针对各子块，参考已编码的其他图像或编码对象图像的已编码区域，生成预测块；编码部，其针对各子块，计算该子块与对应的预测块的对应像素之间的预测误差，对预测误差进行编码；以及附加部，其将表示针对图像端部块进行了四分割、还是进行了二分割的分割信息附加于编码后的动态图像数据中。

Description

动态图像编码装置、动态图像编码方法和存储介质
技术领域
本发明例如涉及对动态图像数据进行编码的动态图像编码装置、动态图像编码方法、对编码后的动态图像数据进行解码的动态图像解码装置、动态图像解码方法和存储介质。
背景技术
动态图像数据一般具有非常大的数据量。因此，在对动态图像数据进行处理的装置要将动态图像数据发送到其他装置的情况或要将动态图像数据存储到存储装置中的情况下，通过对动态图像数据进行编码来压缩动态图像数据。作为代表性的动态图像的编码标准，制定了高级视频编码(Advanced Video Coding)(MPEG-4AVC|ITU-T H.264)和高效视频编码(High Efficiency Video Coding)(HEVC|ITU-T H.265)(例如，参照非专利文献1)。
在这样的编码标准中，编码对象的图像(picture)分割为每个块。而且，针对作为编码对象的每个块，根据已经编码后的其他图像或编码对象图像的已编码区域生成预测块，通过对作为编码对象的块与预测块之间的差分进行编码来削减冗余性。
例如，在HEVC中，动态图像数据所包含的各图像按照多个阶段被分割。因此，首先，对HEVC中的图像的分割进行说明。
图1是示出HEVC的图像的分割的一例的图。如图1所示，按照作为编码处理的单位的编码树单元(CTU，Coding Tree Unit)(或者，也称作最大编码单元(LCU，Largest CodingUnit))为单位来分割图像100。各CTU 101按照栅格(raster)扫描的顺序进行编码。CTU 101的尺寸能够从64x64～16x16像素中选择。
CTU 101还按照四分树结构分割为多个编码单元(CU，Coding Unit)102。一个CTU101内的各CU 102以Z扫描的顺序编码。CU 102的尺寸是可变的，该尺寸从CU分割模式8x8～64x64像素中选择。CU 102成为选择作为编码模式的帧内(intra)预测编码方式和帧间(inter)预测编码方式的单位。另外，帧内预测编码方式是参考编码对象图像的已编码区域来生成预测块的编码方式。此外，帧间预测编码方式是参考对已经编码后的其他图像进行解码而获得的参考图像(也称作局部解码图像)来生成预测块的编码方式。
CU 102以预测单元(PU，Prediction Unit)103为单位或以转换单元(TU，Transform Unit)104为单位分别进行处理。PU 103为进行与编码模式对应的预测的、预测块的生成单位。例如，在帧内预测编码方式中，PU 103成为应用预测模式的单位，该预测模式规定了在生成预测块时被参考的像素和预测块的生成方法。另一方面，在帧间预测编码方式中，PU 103成为进行运动补偿的单位。例如，在应用帧间预测编码方式的情况下，PU103的尺寸能够从2Nx2N、NxN、2NxN、Nx2N、2NxU、2NxnD、nRx2N、nLx2N(N为CU尺寸/2)中选择。另一方面，TU 104是正交变换的单位，针对每个TU进行正交变换。TU 104的尺寸从4x4像素～32x32像素中选择。TU 104按照四分树结构进行分割，以Z扫描的顺序进行处理。
另外，CTU是对图像进行分割而获得的块的一例。此外，CU是块的其他一例。并且，CU也是对块进行分割而获得的子块的一例。
在HEVC中，CTU被分割成使CU为正方形。但是，在图像的水平方向的尺寸或垂直方向的尺寸不是CTU的水平方向或垂直方向的尺寸的整数倍的情况下，在右端或下端的CTU中，在该CTU内包含图像端部。在该情况下，为了对该CTU进行编码使得不包含图像外的信息，该CTU优选被分割成CU之间的边界与图像端部一致、即图像端部不包含于任意一个CU内。但是，有时要求缩小CU的尺寸而增大CTU内所包含的CU的数量，以将CTU分割成在任意一个CU内不包含图像端部。在这样的情况下，有时CTU的编码数据所包含的语法(Syntax)的信息增加，从而编码效率下降。
另一方面，为了更加提高编码效率，提出了通过在将CTU按照四分树结构分割为多个子块之后，对各个子块按照二分树结构进一步进行分割来确定各个CU(例如，参照非专利文献2)。在该情况下，CU有时成为长方形。
但是，即使在如上述那样应用二分树结构的情况下，已经分割为正方形状的子块彼此不连结，因此，有时针对包含图像端部的CTU，无法对CTU进行分割，以使CU尺寸增大。
此外，提出有判别尺寸小于宏块尺寸的边缘块(edge block)的技术。在该技术中，可检测出被识别为边缘块的非正方区域的尺寸、或对边缘块在水平方向和垂直方向中的任意一个方向进行分割而获得的多个非正方区域的尺寸中的、编码效率高的一方的尺寸(例如，参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2011-223303号公报
非专利文献
非专利文献1：ITU-T Recommendation H.265|ISO/IEC 23008-2"HighEfficiency Video Coding"、2013年4月
非专利文献2：J.An其他、"Block partitioning structure for nextgeneration video coding"、ITU-T SG16 Doc.COM16-C966、2015年9月
发明内容
发明要解决的问题
但是，即使在将边缘块作为非正方区域进行编码的情况下，动态图像编码装置也将表示边缘块的分割模式(pattern)的语法包含在编码动态图像数据中。因此，作为非正方区域的边缘块的分割模式的种类越增加，编码量越增加，其结果，编码效率下降。
在一个侧面中，本发明提供一种动态图像编码装置，即使在将图像端部包含在作为编码处理的单位的块内的情况下，也能够提高编码效率。
用于解决问题的手段
根据一个实施方式，可提供对动态图像数据中包含的编码对象图像进行编码的动态图像编码装置。该动态图像编码装置具有：分割模式判定部，其通过对分割编码对象图像而获得的多个块中的、包含编码对象图像的水平方向的端部和垂直方向的端部中的任意一方的图像端部块，依照四分树结构进行四分割，或者在与图像端部块所包含的编码对象图像的端部垂直的方向上进行二分割，将图像端部块分割为多个子块，以使任意一个子块中不包含编码对象图像的端部；预测块生成部，其针对多个子块中的各个子块，参考已编码的其他图像或编码对象图像的已编码区域，生成预测块；编码部，其针对多个子块中的各个子块，计算该子块与对应的预测块的对应像素之间的预测误差，对预测误差进行编码；以及附加部，其将表示针对图像端部块进行了四分割还是进行了二分割的分割信息附加于编码后的动态图像数据中。
此外，根据其他实施方式，可提供对编码后的动态图像数据中所包含的解码对象图像进行解码的动态图像解码装置。该动态图像解码装置具有：分割模式判定部，其通过参考包含于编码后的动态图像数据中的、表示图像端部块是依照四分树结构进行了四分割、还是进行了二分割的分割信息，对图像端部块依照四分树结构进行四分割，或者在与图像端部块所包含的解码对象图像端部垂直的方向上进行二分割，将图像端部块分割为多个子块，以使任意一个子块中不包含解码对象图像的端部，其中图像端部块是对分割解码对象图像而获得的多个块中的、包含解码对象图像的水平方向的端部和垂直方向的端部中的任意一方的块；预测块生成部，其针对多个子块中的各个子块，参考已解码的其他图像或解码对象图像的已解码区域，生成预测块；解码部，其通过针对多个子块中的各个子块，将编码后的动态图像数据中包含的该子块与对应的预测块的对应像素之间的预测误差加上预测块的对应像素的值，对图像端部块进行解码。
发明效果
在一个侧面中，即使在作为编码处理的单位的块内包含图像端部的情况下，本说明书所公开的动态图像编码装置也能够提高编码效率。
附图说明
图1是示出HEVC的图像的分割的一例的图。
图2是示出包含图像端部的CTU的分割的一例的图。
图3是示出一个实施方式的动态图像编码装置的概略结构图。
图4是示出包含图像的下端的CTU的分割的一例的图。
图5是示出包含图像的右端的CTU的分割的一例的图。
图6是示出包含图像的下端和右端双方的CTU的分割的一例的图。
图7是示出编码模式判定部的分割模式和编码模式判定处理的动作流程图。
图8是动态图像编码处理的动作流程图。
图9是动态图像解码装置的概略结构图。
图10是分割模式判定部的分割模式判定处理的动作流程图。
图11是动态图像解码处理的动作流程图。
图12是通过使实现实施方式或其变形例的动态图像编码装置或动态图像解码装置的各部的功能的计算机程序工作来作为动态图像编码装置或动态图像解码装置工作的计算机的结构图。
具体实施方式
以下，参考附图，对动态图像编码装置进行说明。
首先，对包含图像端部的CTU的分割进行说明。
图2是示出包含图像端部的CTU的分割的一例的图。在该例子中，由于图像200的水平方向尺寸和垂直方向尺寸中的任意一方都不是CTU尺寸的整数倍，所以图像200的右端和下端分别包含在右端或下端的CTU内。当关注其中的、包含图像200的下端的CTU 201时，如分割模式210所示，CTU 201被分割成在任意一个CU 202中都不包含图像端部220。这时，使用四分树结构，为了将CTU 201分割成使得图像端部220与CU 202彼此的边界一致，可以使用CTU 201的1/4尺寸的CU 202。其结果，在该例子中，CTU 201通过6个CU 202进行分割。此外，在使用四分树结构对CTU 201进行分割之后，即使使用二分树结构进一步对各CU 202进行分割，也可使用更多的CU对CTU 201进行分割。
另一方面，在从最开始起就应用二分树结构来对包含图像端部的CTU 201进行分割的情况下，能够使用如分割模式211所示的、非正方形的CU 203对CTU 201进行分割。但是，在应用四分树结构将CTU分割为多个子块后将二分树结构应用于各个子块的现有技术中，CTU 201首先被分割为正方形的子块。因此，不容许如分割模式211那样分割CTU 201。
因此，在本实施方式中，动态图像编码装置使用四分树结构的子块(正方形)和二分树结构的子块(长方形)中的、编码成本低的一方的子块对包含图像的右端和下端中的任意一方的块进行分割。然后，该动态图像编码装置将表示针对包含图像端部的块应用了四分树结构、还是应用了二分树结构的语法附加于编码动态图像数据。
此外，如图2所示，在将二分树结构应用于包含图像的下端的块而将该块分割为多个子块的情况下，优选沿着与图像端部垂直的方向对该块进行分割，以减少子块的数量。即，包含图像的下端的块优选被分割成子块之间的边界线与图像端部平行。因此，优选沿着垂直方向将包含图像的下端的块分割成使得子块之间的边界线成为水平。同样地，在将二分树结构应用于包含图像的右端的块的情况下，优选沿着水平方向将该块分割成使得子块之间的边界线成为垂直。因此，动态图像编码装置也可以不将针对应用二分树结构的块的分割方向包含在编码动态图像数据中。此外，动态图像编码装置也可以针对包含图像的下端和右端双方的块应用四分树结构来进行分割。
另外，图像也可以是帧或场(field)中的任意一个。帧是动态图像数据中的一个静态图像，另一方面，场是能够通过从帧仅取出奇数行的数据或偶数行的数据来获得的静态图像。
此外，在本实施方式中，假设动态图像编码装置如HEVC那样对图像以CTU为单位进行分割并以CTU为单位进行编码。但是，动态图像编码装置也可以基于将图像分割为多个块而针对每个块进行编码的其他编码标准、对动态图像数据进行编码。
图3是一个实施方式的动态图像编码装置的概略结构图。动态图像编码装置1具有运动搜索部11、编码模式判定部12、预测块生成部13、预测编码部14、解码部15、存储部16和熵编码部17。
动态图像编码装置1针对编码对象的图像，以栅格扫描的顺序对各CTU进行编码。因此，以下，针对动态图像编码装置1的各部，以针对一个CTU的处理为例进行说明。
在包含编码对象CTU的编码对象图像为能够应用帧间预测编码方式的P图像或B图像的情况下，运动搜索部11针对能够对编码对象CTU应用的每个PU计算运动矢量。另外，亮度成分是第1成分的一例。此外，例如根据控制部(未图示)应用于编码对象的动态图像数据的图像组(GOP，Group Of Pictures)的结构和编码对象图像在GOP内的位置来确定编码对象图像的类别。
运动搜索部11针对编码对象CTU的关注的PU，对关于至少一个局部解码图像各自的可参考区域进行块匹配(block matching)，确定与关注的PU最一致的参考块。而且，运动搜索部11计算表示关注的PU与参考块之间的移动量的矢量作为运动矢量。另外，在编码对象图像为能够应用双向预测编码模式的B图像的情况下，运动搜索部11针对L0预测和L1预测双方计算运动矢量。运动搜索部11将表示各PU的运动矢量和通过该运动矢量参考的局部解码图像的信息存储到存储部16中，并且通知给编码模式判定部12。
编码模式判定部12是分割模式判定部的一例，确定对编码对象CTU进行分割的CU、PU和TU的分割模式和应用于每个CU的编码模式。编码模式判定部12例如根据从未图示的控制部取得的、表示包含有编码对象CTU的编码对象的图像的类型的信息，确定能够应用于该CTU的编码模式。而且，编码模式判定部12从可应用的编码模式中选择实际应用的编码模式。如果编码对象的图像的类型为仅能够应用帧内预测编码方式的I图像，则编码模式判定部12选择帧内预测编码方式作为所应用的编码模式。此外，如果编码对象的图像的类型为P图像或B图像，则编码模式判定部12例如选择帧间预测编码方式和帧内预测编码方式中的任意一个，作为所应用的编码模式。
编码模式判定部12以CU为单位分别计算针对可应用的编码模式的编码对象CTU的编码后的数据量的评价值即编码成本。例如，编码模式判定部12针对帧间预测编码方式，针对对CTU进行分割的CU分割模式、PU分割模式和规定运动矢量的预测矢量的生成方法的矢量模式的每个组合计算编码成本。另外，编码模式判定部12例如能够利用高级运动矢量预测(AMVP，Advanced Motion Vector Prediction)模式和合并(Merge模式)中的任意一个模式，作为矢量模式。
此外，针对帧内预测编码方式，编码模式判定部12针对对CTU进行分割的CU分割模式、PU分割模式和规定图像内的参考方向的预测模式的每个组合，计算编码成本。
编码模式判定部12例如针对关注的PU，依照下式计算预测误差、即像素差分绝对值和SAD，以计算编码成本。
SAD＝Σ|OrgPixel-PredPixel|
这里，OrgPixel是关注的PU中所包含的像素的值，PredPixel是与关注的块对应的、依照作为编码成本的计算对象的编码模式而生成的预测块中包含的像素的值。
而且，编码模式判定部12例如依照下式，计算关于关注的CU的编码成本Cost。
Cost＝ΣSAD+λ*B
这里，ΣSAD是针对关注的CU所包含的各PU计算出的SAD的总和。此外，B是关于运动矢量、表示预测模式的标记(flag)等除了预测误差以外的项目的编码量的估计值。而且，λ是拉格朗日的不确定乘数。
另外，编码模式判定部12也可以替代SAD，计算对关注的PU与预测块之间的差分图像进行哈达玛(Hadamard)变换之后的各像素的哈达玛系数的绝对值和SATD。
编码模式判定部12针对编码对象CTU，例如从可采取的CU尺寸中的尺寸大的一方起依次设定关注的CU。而且，编码模式判定部12针对关注的CU，关于帧内预测编码方式，针对该CU内的每个PU分割模式选择成本为最小的预测模式。此外，编码模式判定部12针对关注的CU，关于帧间预测编码方式，针对该CU内的每个PU分割模式选择成本为最小的矢量模式。并且，编码模式判定部12针对相同尺寸的每个CU，选择帧内预测编码方式和帧间预测编码方式中的、编码成本小的一方，作为应用于该CU的编码模式。
并且，在关注的CU中不包含图像端部的情况下，编码模式判定部12将依照四分树结构对关注的CU进行四分割后的各个CU依次作为关注的CU，执行相同的处理从而计算最小编码成本。而且，如果关于分割后的各个CU计算出的、最小编码成本的总和比关于关注的CU的最小编码成本小，则编码模式判定部12依照四分树结构对关注的CU进行四分割。编码模式判定部12重复上述的处理直到不对各CU进行分割为止，从而确定应用于编码对象CTU的CU分割模式和PU分割模式。
此外，在关注的CTU或CU(以下，称作关注的块)包含图像的右端和下端双方的情况下，编码模式判定部12依照四分树结构对关注的块进行四分割。这是因为，在关注的块内包含图像的右端和下端双方的情况下，为了使得在任意一个CU中不包含图像的右端和下端双方，要求沿着水平方向和垂直方向双方对关注的块进行分割。
并且，在关注的块包含图像的右端并且不包含图像的下端的情况下，编码模式判定部12依照四分树结构将关注的块分割为4个子块。并且，编码模式判定部12依照二分树结构将关注的块在水平方向上分割为2个子块。同样地，在关注的块包含图像的下端并且不包含图像的右端的情况下，编码模式判定部12依照四分树结构将关注的块分割为4个子块，并且将关注的块在垂直方向上分割为2个子块。
另外，在分割关注的块而获得的任意的子块中包含图像端部的情况下，编码模式判定部12如上述那样对包含图像端部的子块进一步进行四分割或二分割。编码模式判定部12重复上述的处理直到在任意的子块中都不包含图像端部为止。
但是，编码模式判定部12针对临时应用二分树结构并且沿着水平方向而分割的块，对分割该块而获得的各子块中的、包含图像端部的子块，依照二分树结构并且沿着水平方向进行分割。同样地，编码模式判定部12针对临时应用二分树结构并且沿着垂直方向而分割后的块中的、包含图像端部的块，对分割该块而获得的各子块也依照二分树结构并且沿着垂直方向进行分割。
编码模式判定部12针对所获得的子块的每个组合，进行与上述相同的处理从而计算编码成本。然后，编码模式判定部12选择编码成本为最小的子块的组合，设所选择的组合所包含的各个子块分别为一个CU即可。
图4是示出包含图像的下端的CTU的分割的一例的图。在图4所示的例子中，在CTU400中包含图像的下端401。因此，编码模式判定部12将四分树结构应用于CTU 400而分割为4个正方形CU 410-1～410-4，或者应用二分树结构而在垂直方向上分割为2个CU 420-1、420-2。而且，编码模式判定部12也可以针对CU 410-1和CU 410-2，由于在CU 410-1和CU410-2中不包含图像的下端401，所以依照四分树结构进一步进行四分割。编码模式判定部12根据编码成本，确定是否对CU 410-1和CU 410-2进行四分割即可。此外，编码模式判定部12针对CU 410-3和CU 410-4，由于在CU 410-3和CU 410-4中包含图像的下端401，所以依照四分树结构进行四分割，或者依照二分树结构在垂直方向上进行二分割。
编码模式判定部12也可以对不包含图像的下端401的CU 420-1，也依照二分树结构进一步在垂直方向上进行二分割。编码模式判定部12可以根据编码成本，确定是否对CU420-1进行二分割。此外，编码模式判定部12针对包含图像的下端401的CU 420-2，依照二分树结构进一步在垂直方向上二分割为CU 421-1和CU 421-2。
最后，可针对在全部CU中不包含图像的下端401时的CU的各个组合计算针对每个CU而计算的编码成本的合计，依照该合计为最小的CU的组合对CTU 400进行分割。例如，在关于CU 420-1与CU 421-1的组合的编码成本的合计为最小的情况下，CTU 400被分割为CU420-1和CU 421-1。而且，编码模式判定部12在每次对CTU或CU进行分割时，生成表示对该CTU或CU应用了四分树结构和二分树结构中的哪一个的语法，将该语法通知给熵编码部17。另外，表示应用了四分树结构和二分树结构中的哪一个的语法是分割信息的一例。但是，针对应用二分树结构而获得的CU，即使在对该CU进一步进行分割的情况下，也不应用四分树结构，所以也可以不生成表示应用了四分树结构和二分树结构中的哪一个的语法。
图5是示出包含图像的右端的CTU的分割的一例的图。在图5所示的例子中，在CTU500中包含图像的右端501。因此，编码模式判定部12将四分树结构应用于CTU 500而分割为4个正方形CU 510-1～510-4，或者应用二分树结构而在水平方向上分割为2个CU 520-1、520-2。而且，编码模式判定部12也可以针对CU 510-1和CU 510-3，由于在CU 510-1和CU510-3中不包含图像的右端501，所以依照四分树结构进一步进行四分割。编码模式判定部12根据编码成本，确定是否对CU 510-1和CU 510-3进行四分割即可。此外，编码模式判定部12针对CU 510-2和CU 510-4，由于在CU 510-2和CU 510-4中包含图像的右端501，因此依照四分树结构进行四分割，或者依照二分树结构在水平方向上进行二分割。此外，编码模式判定部12针对包含图像的右端501的CU 520-2，依照二分树结构在水平方向上二分割为CU521-1和CU 521-2。
最后，可针对在全部CU中不包含图像的右端501时的CU的各个组合，计算针对每个CU而计算的编码成本的合计，依照该合计为最小的CU的组合，对CTU 500进行分割。
图6是示出包含图像的下端和右端双方的CTU的分割的一例的图。在图6所示的例子中，在CTU 600中包含图像的右端601和图像的下端602。因此，编码模式判定部12将四分树结构应用于CTU 600，并分割为4个正方形CU 610-1～610-4。而且，编码模式判定部12针对CU 610-1，由于在CU 610-1中不包含图像的右端601和图像的下端602双方，所以也可以依照四分树结构进一步进行四分割。编码模式判定部12根据编码成本，确定是否对CU 610-1进行四分割即可。此外，编码模式判定部12针对CU 610-3，由于在CU 610-3中包含图像的下端602，所以与图4所示的CTU 400同样地，依照四分树结构或二分树结构反复进行分割直到在CU内不包含图像的下端602为止即可。另外，由于在CU 610-2和CU 610-4中不包含图像，所以可忽略CU610-2和CU 610-4。
并且，编码模式判定部12针对遵循如上述那样所确定的CU分割模式的每个CU，确定TU分割模式。这时，编码模式判定部12针对可应用的每个TU分割模式，通过下式计算RD成本Cost。
[式1]
其中，org(i)为关注的CU所包含的像素的值，ldec(i)表示使用关注的TU分割模式对该CU进行编码并进一步解码而获得的解码像素的值。此外，比特(bit)表示使用关注的TU分割模式对该CU进行编码时的编码量。(1)式的右边的第一项表示编码失真，右边的第二项表示编码量。因此，在RD成本为最小的TU分割模式中，编码失真和编码量达到最佳的平衡。
因此，编码模式判定部12选择RD成本Cost为最小的TU分割模式。
编码模式判定部12将针对编码对象CTU选择出的CU和PU的分割模式和编码模式的组合通知给预测块生成部13，将TU分割模式通知给预测编码部14。此外，编码模式判定部12将针对编码对象CTU选择出的CU、PU和TU的分割模式和编码模式的组合保存到存储部16中。另外，表示将CTU分割为各个CU的分割模式的信息例如包含表示是否针对递归地分割CTU而获得的各个子块进行了分割的信息。并且，编码模式判定部12生成表示针对包含图像端部的CTU和递归地分割该CTU而获得的各个子块中的、包含图像端部的子块是应用4分树结构、还是应用二分树结构的语法。而且，编码模式判定部12向熵编码部17传送该语法。
图7是编码模式判定部12的分割模式和编码模式判定处理的动作流程图。
编码模式判定部12判定在关注的块中是否包含图像的端部(步骤S101)。另外，最开始第一个关注的块为编码对象CTU。
在关注的块中不包含图像的端部的情况下(步骤S101-否)，编码模式判定部12将关注的块进行分割使得编码成本最小化(步骤S102)。另外，在不对关注的块进行分割时编码成本更小的情况下，关注的块也可以不进行进一步的分割。另一方面，在关注的块中包含图像的端部的情况下(步骤S101-是)，编码模式判定部12判定在关注的块中是否包含图像的右端和下端双方(步骤S103)。
在关注的块中包含图像的右端和下端双方的情况下(步骤S103-是)，编码模式判定部12对关注的块依照四分树结构进行四分割(步骤S104)。另一方面，在关注的块所包含的图像端部为图像的右端或下端中的任意一方的情况下(步骤S103-否)，编码模式判定部12判定是否对包含关注的块的块进行了二分割(步骤S105)。
在对包含关注的块的块进行了二分割的情况下(步骤S105-是)，编码模式判定部12也将关注的块分割为2个子块(步骤S106)。这时，编码模式判定部12也沿着与针对包含关注的块的块的分割方向相同的方向，对关注的块进行分割即可。
另一方面，在未对包含关注的块的块进行二分割的情况下(步骤S105-否)，编码模式判定部12对关注的块进行四分割，从而生成正方形的4个子块。并且，编码模式判定部12对关注的块沿着与图像端部垂直的方向进行二分割，从而生成长方形的2个子块(步骤S107)。
在步骤S102、S104、S106或S107之后，编码模式判定部12判定是否存在包含图像端部的子块(步骤S108)。在任意的子块中包含图像端部的情况下(步骤S108-是)，编码模式判定部12将各子块分别设定为关注的块(步骤S109)。而且，编码模式判定部12针对每个关注的块，执行步骤S101以后的处理。
另一方面，在任意的子块中都不包含图像端部的情况下(步骤S108-否)，编码模式判定部12从所获得的块的组合中选择编码成本为最小的组合。而且，编码模式判定部12根据所选择的组合，确定CU、PU和TU各自的分割模式、所应用的编码模式(步骤S110)。而且，编码模式判定部12结束分割模式和编码模式判定处理。
预测块生成部13依照针对编码对象CTU而选择的CU和PU的分割模式和编码模式的组合，针对每个PU生成预测块。
例如，在对关注的PU进行帧内预测编码的情况下，预测块生成部13根据依照对该PU而选择的预测模式所参考的、该PU的周围的局部解码块内的像素的值，生成预测块。另一方面，在对关注的PU进行了帧间预测编码的情况下，预测块生成部13根据针对该PU计算出的运动矢量，对从存储部16读出的、针对该PU参考的局部解码图像进行运动补偿，生成预测块。
预测块生成部13向预测编码部14和解码部15传送所生成的预测块。
预测编码部14对编码对象CTU进行预测编码。
预测编码部14执行编码对象CTU内的各像素与预测块的对应像素之间的差分运算。而且，预测编码部14将针对编码对象CTU内的各TU，通过该差分运算而获得的与TU内的各像素对应的差分值设为该TU的各像素的预测误差信号。
并且，预测编码部14针对被帧间预测编码的各PU，依照由编码模式判定部12判定为所应用的矢量模式，生成该PU的预测矢量的候选的列表。而且，预测编码部14计算该PU的运动矢量与各预测矢量的候选之间的预测误差信号。预测编码部14针对被帧间预测编码的各PU，根据针对各预测矢量的候选计算出的预测误差信号，从各预测矢量的候选中确定预测矢量。然后，预测编码部14针对各PU的运动矢量，将在预测矢量的候选的列表中确定预测矢量的信息、和运动矢量与预测矢量之间的预测误差信号等传送到熵编码部17。
此外，预测编码部14针对编码对象CTU内的各TU，通过对该TU的预测误差信号进行正交变换，求出表示预测误差信号的水平方向上的频率成分和垂直方向上的频率成分的正交变换系数。例如，预测编码部14通过对预测误差信号执行离散余弦变换(DiscreteCosine Transform，DCT)作为正交变换处理，获得DCT系数的组作为正交变换系数。
而且，预测编码部14通过在编码对象CTU中对每个TU的正交变换系数，依照包含指定量化宽度的qp值等的量化参数进行量化，计算量化后的正交变换系数。另外，以下，有时将量化后的正交变换系数简称作量化系数。
预测编码部14向解码部15和熵编码部17输出量化后的正交变换系数。
解码部15根据编码对象CTU内的各TU的量化系数，生成为了对比该TU靠后的CU等进行编码而参考的局部解码块，将该局部解码块存储到存储部16中。
解码部15通过对各TU的量化后的量化系数进行逆量化，恢复量化前的正交变换系数。例如，解码部15针对每个TU，对恢复后的正交变换系数进行逆正交变换。例如，在预测编码部14使用DCT作为正交变换的情况下，解码部15执行逆DCT处理作为逆正交变换。由此，解码部15针对每个TU，将具有与编码前的预测误差信号相同程度的信息的预测误差信号恢复。
解码部15针对每个TU，将该TU的预测块的各像素值加上恢复后的预测误差信号，由此生成局部解码块。
解码部15在每次生成局部解码块时，使存储部16存储该局部解码块。
并且，解码部15将通过对1张图像的局部解码块按照各CTU的编码顺序进行结合而获得的局部解码图像写入存储部16中。
存储部16临时存储从解码部15受理的局部解码块。存储部16向运动搜索部11、编码模式判定部12和预测块生成部13供给局部解码图像或局部解码块。另外，存储部16存储编码对象图像有可能参考的、预先确定的规定张数的局部解码图像，当局部解码图像的张数超过该规定张数时，从编码顺序早的局部解码图像起依次舍弃。
并且，存储部16存储针对帧间预测编码后的各个局部解码块的运动矢量。此外，存储部16存储针对各CTU所选择的CU、PU和TU的分割模式和编码模式的组合。
熵编码部17是附加部的一例，对编码对象CTU的各TU的量化系数和各种语法等进行熵编码。此外，熵编码部17针对帧间预测编码后的各PU，也对在预测矢量的候选的列表中确定预测矢量的信息等进行熵编码。另外，在语法中，针对包含图像端部的CTU，包含如下的语法：该语法表示针对该CTU和递归地分割该CTU而获得的、并且包含图像端部的每个子块，四分树结构和二分树结构中的所应用的一方。
在本实施方式中，熵编码部17使用基于上下文的自适应二进制算术编码(CABAC，Context-based Adaptive Binary Arithmetic Coding)这样的算术编码处理，作为熵编码方式。然后，熵编码部17输出通过熵编码而获得的比特流。
由熵编码部17输出的各CTU的比特流以规定的顺序结合，附加由HEVC规定的报头信息等，由此能够获得包含编码后的动态图像数据的编码比特流。动态图像编码装置1将该编码比特流存储到存储装置(未图示)中，或者向其他设备输出该编码比特流，该存储装置具有磁记录介质、光记录介质或半导体存储器等。
图8是由动态图像编码装置1执行的动态图像编码处理的动作流程图。动态图像编码装置1针对每个CTU，依照以下所示的动作流程图执行动态图像编码处理。
运动搜索部11针对编码对象CTU内的能够应用帧间预测编码方式的各PU，计算运动矢量(步骤S201)。然后，运动搜索部11向编码模式判定部12通知各PU的运动矢量。另外，在包含编码对象CTU的编码对象图像为B图像的情况下，针对L0方向和L1方向分别计算运动矢量。此外，在编码对象图像为I图像的情况下，也可以省略步骤S201的处理。
编码模式判定部12针对编码对象CTU，将CU、PU和TU各自的分割模式、所应用的编码模式确定成使得编码成本最小化(步骤S202)。而且，编码模式判定部12将CU和PU的分割模式、所应用的编码模式通知给预测块生成部13，并且将TU分割模式通知给预测编码部14。此外，编码模式判定部12将CU、PU和TU各自的分割模式和所应用的编码模式存储到存储部16中。
预测块生成部13根据所确定的CU和PU的分割模式、所应用的编码模式，生成预测块(步骤S203)。然后，预测块生成部13向预测编码部14和解码部15传送所生成的预测块。
预测编码部14计算编码对象CTU与预测块的对应像素之间的预测误差信号(步骤S204)。然后，预测编码部14通过针对每个TU对各像素的预测误差信号进行正交变换，针对每个TU计算正交变换系数(步骤S205)。并且，预测编码部14对编码对象CTU的各TU的正交变换系数进行量化，计算量化系数(步骤S206)。而且，预测编码部14向解码部15和熵编码部17输出各TU的量化系数。
解码部15从针对编码对象CTU的各TU的量化系数而恢复预测误差信号，根据恢复后的预测误差信号和对应的预测块来生成与该CTU对应的局部解码块(步骤S207)。然后，解码部15将局部解码块存储到存储部16中。
熵编码部17对量化系数和各种语法等进行熵编码(步骤S208)。在各种语法中还包含表示针对包含图像端部的CTU或CU应用四分树结构和二分树结构中的哪一个结构的语法。熵编码部17输出所获得的编码比特流。而且，动态图像编码装置1结束针对一个CTU的动态图像编码处理。
如以上所说明的那样，该动态图像编码装置依照四分树结构和与图像端部垂直的方向上的二分树结构中的、编码成本小的一方，对包含图像的右端和下端中的任意一方的块进行分割。因此，该动态图像编码装置还能够从最开始起对包含图像端部的块应用二分树结构，所以能够防止对包含图像端部的块过度细地进行分割。并且，该动态图像编码装置针对包含图像端部的块，将表示四分树结构和二分树结构中的所应用的结构的语法附加于编码后的动态图像数据。另一方面，也可以针对应用了二分树结构的块，不将表示分割方向的语法附加于编码后的动态图像数据。因此，该动态图像编码装置能够削减编码动态图像数据所包含的、表示包含图像端部的块的分割模式的信息的编码量。因此，即使在图像端部包含在块内的情况下，该动态图像编码装置也能够提高编码效率。
图9是对由上述的实施方式的动态图像编码装置编码后的动态图像数据进行解码的动态图像解码装置的概略结构图。动态图像解码装置2具有熵解码部21、分割模式判定部22、预测块生成部23、解码部24和存储部25。
动态图像解码装置2具有的这些各部分别形成为单个的电路。或动态图像解码装置2具有的这些各部也可以作为集成有与该各部对应的电路的一个集成电路而安装在动态图像解码装置2中。并且，动态图像解码装置2具有的这些各部也可以是通过在动态图像解码装置2具有的处理器上执行的计算机程序来实现的功能模块。
动态图像解码装置2例如经由通信网络和接口电路取得包含编码后的动态图像数据的编码比特流，该接口电路用于将动态图像解码装置2与通信网络连接。然后，动态图像解码装置2使未图示的缓冲存储器存储该编码比特流。动态图像解码装置2以CTU为单位从缓冲存储器读出编码后的数据，向熵解码部21输入该以CTU为单位的数据。
熵解码部21对以CTU为单位进行编码后的数据进行熵解码。而且，熵解码部21对CTU内的各TU的量化系数进行解码。此外，熵解码部21针对进行帧间预测编码后的各CU，对用于针对该CU所包含的各PU确定运动矢量的信息(例如，表示所应用的矢量模式和运动矢量的预测矢量的信息等)进行熵解码。并且，熵解码部21针对进行帧内预测编码后的各CU，对针对该CU所包含的各PU的预测模式进行熵解码。并且，熵解码部21对包含所应用的分割模式和编码模式的各种语法进行熵解码。而且，熵解码部21向分割模式判定部22和预测块生成部23传送表示CU、PU和TU的分割模式的语法。并且，熵解码部21向分割模式判定部22传送表示针对包含图像端部的CTU、和递归地分割该CTU而获得并且包含图像端部的各个子块应用四分树结构和二分树结构中的哪一个结构的语法。此外，熵解码部21向预测块生成部23传送其他各种语法等。并且，熵解码部21向解码部24传送量化系数。
分割模式判定部22针对解码对象CTU，分割成每个CU。这时，在解码对象CTU中不包含图像端部的情况下，分割模式判定部22参考表示针对由熵解码部21解码的解码对象CTU的分割模式的语法，将解码对象CTU分割为每个CU即可。
另一方面，在解码对象CTU包含图像的右端和下端中的任意一方的情况下，分割模式判定部22参考表示应用了四分树结构和二分树结构中的哪一个结构的语法，对解码对象CTU进行四分割或二分割。即，在针对解码对象CTU应用了四分树结构的情况下，分割模式判定部22对解码对象CTU进行四分割。另一方面，在针对解码对象CTU应用了二分树结构的情况下，分割模式判定部22对解码对象CTU进行二分割。这时，分割模式判定部22沿着与解码对象CTU所包含的图像端部垂直的方向对解码对象CTU进行二分割即可。即，如果在解码对象CTU中包含图像的右端，则分割模式判定部22沿着水平方向对解码对象CTU进行二分割。另一方面，如果在解码对象CTU中包含图像的下端，则分割模式判定部22沿着垂直方向对解码对象CTU进行二分割。
此外，在解码对象CTU包含图像的右端和下端双方的情况下，分割模式判定部22对解码对象CTU进行四分割。
分割模式判定部22针对分割解码对象CTU而获得的各个子块，进行与针对解码对象CTU的处理相同的处理即可。而且，分割模式判定部22针对各个子块，在不包含图像端部并且通过解码后的语法示出不进行进一步分割的情况下，将该各个子块分别设为一个CU。
图10是分割模式判定部22的分割模式判定处理的动作流程图。
分割模式判定部22判定在关注的块中是否包含图像的端部(步骤S301)。另外，最开始第一个关注的块是解码对象CTU。
在关注的块中包含图像的端部的情况下(步骤S301-是)，分割模式判定部22判定在关注的块中是否包含图像的右端和下端双方(步骤S302)。
在关注的块中包含图像的右端和下端双方的情况下(步骤S302-是)，分割模式判定部22对关注的块依照四分树结构进行四分割(步骤S303)。另一方面，在关注的块所包含的图像端部为图像的右端或下端中的任意一方的情况下(步骤S302-否)，分割模式判定部22判定是否对包含关注的块的块进行了二分割(步骤S304)。
在对包含关注的块的块进行了二分割的情况下(步骤S304-是)，分割模式判定部22也将关注的块分割为2个子块(步骤S305)。这时，分割模式判定部22也沿着与针对包含关注的块的块的分割方向相同的方向，对关注的块进行分割即可。
另一方面，在未对包含关注的块的块进行二分割的情况下(步骤S304-否)，分割模式判定部22依照四分树结构和二分树结构中的、由语法表示的结构，对关注的块进行分割(步骤S306)。
在步骤S303、S305或S306之后，分割模式判定部22将分割关注的块而获得的各个子块分别设定为关注的块(步骤S307)。然后，分割模式判定部22针对关注的每个块，执行步骤S301以后的处理。
另一方面，在步骤S301中在关注的块中不包含图像的端部的情况下(步骤S301-否)，分割模式判定部22依照用语法表示的分割模式，将关注的块分割为各CU(步骤S308)。然后，当不存在包含图像端部的块时，分割模式判定部22结束分割模式判定处理。
分割模式判定部22向预测块生成部23通知表示解码对象CTU所包含的各CU的信息。
预测块生成部23针对解码对象CTU中所包含的每个CU，依照所应用的编码模式和PU的分割模式，参考已解码的图像或解码对象图像的已解码区域来生成该CU中所包含的各PU的预测块。这时，预测块生成部23根据表示所应用的矢量模式的信息和运动矢量的预测误差信号等，也对运动矢量进行解码。
与动态图像编码装置1的预测块生成部13同样地，预测块生成部23针对解码对象CTU的各PU，依照应用于该PU的编码模式生成预测块。即，预测块生成部23依照熵解码后的编码模式，确定在已解码的参考图像或解码对象图像中所参考的区域，根据所确定的区域，以PU为单位生成预测块。这时，在对作为解码对象的PU进行了帧间预测编码的情况下，预测块生成部23针对该PU，使用解码后的运动矢量确定在已解码的参考图像中所参考的区域即可。此外，在对作为解码对象的PU进行了帧内预测编码的情况下，预测块生成部23依照解码后的预测模式，确定在解码对象图像中被参考的区域即可。
预测块生成部23向解码部24输出所生成的预测块。
解码部24通过对从熵解码部21接收到的各TU的量化系数乘以相当于根据从解码后的报头信息取得的量化参数所确定的量化宽度的规定数量，进行逆量化。通过该逆量化，恢复各TU的正交变换系数。然后，解码部24针对每个TU，对正交变换系数进行逆正交变换处理。通过对各TU的量化系数执行逆量化处理和逆正交变换处理，可再现全体CTU的各像素的预测误差信号。
解码部24通过对各PU的预测块的各像素值加上与该像素对应的再现后的预测误差信号，能够对各PU进行解码。而且，解码部24通过依照编码顺序对解码后的各PU进行结合，对CTU进行解码。解码部24使存储部25存储解码后的CTU。此外，解码部24通过依照编码顺序对解码后的CTU进行结合，对整个图像进行解码。解码部24将解码后的图像存储到存储部25中，并且将解码后的图像存储到缓冲存储器中。缓冲存储器中所存储的解码后的各图像通过控制部(未图示)按照显示顺序输出到显示装置(未图示)。
存储部25临时存储从解码部24接收到的、解码后的CTU和解码后的图像。而且，存储部25将CTU作为参考区域或者将图像作为参考图像供给到预测块生成部23。另外，存储部25存储预先确定的规定张数的图像，当所存储的数据量超过相当于该规定张数的量时，从编码顺序早的图像起依次舍弃。
图11是由动态图像解码装置2执行的动态图像解码处理的动作流程图。动态图像解码装置2针对作为解码对象的每个CTU，执行图11所示的动态图像解码处理。
熵解码部21对以CTU为单位进行编码后的数据进行熵解码。由此，熵解码部21对解码对象CTU的各TU的量化系数和各种语法等进行解码(步骤S401)。
分割模式判定部22确定解码对象CTU中所包含的各个CU(步骤S402)。这时，分割模式判定部22依照图10所示的流程图确定各个CU即可。
预测块生成部23针对解码对象CTU的各CU，针对该CU中所包含的每个PU，参考所应用的编码模式生成预测块(步骤S403)。
解码部24通过对从熵解码部21接收到的量化系数乘以相当于量化宽度的规定数量，进行逆量化，其中该量化宽度是根据从编码比特流中包含的报头信息取得的量化参数所确定的。然后，解码部24通过对正交变换信号以TU为单位进行逆正交变换处理，再现解码对象CTU的各像素的预测误差信号。然后，解码部24通过对预测块的各像素值加上与该像素对应的再现后的预测误差信号，再现解码对象CTU(步骤S404)。解码部24将再现后的CTU存储到存储部25中。然后，动态图像解码装置2结束针对解码对象CTU的动态图像解码处理。
如以上所说明的那样，即使通过上述的实施方式的动态图像编码装置对包含图像端部的块应用了二分树结构，该动态图像解码装置也能够对编码后的动态图像数据进行解码。
另外，根据变形例，动态图像编码装置1的编码模式判定部12也可以针对依照二分树结构进行二分割的各个块，也生成表示分割方向的语法。而且，熵编码部17也可以针对依照二分树结构进行二分割的各个块，将表示分割方向的语法附加于编码后的动态图像数据。由此，针对依照二分树结构进行二分割的块，将分割方向明确地传递到动态图像解码装置2。因此，动态图像解码装置2的分割模式判定部22参考由熵解码部21解码后的表示分割方向的语法，对附加有表示应用了二分树结构的语法的块，沿着该分割方向进行二分割即可。
此外，根据其他变形例，也可以以CU为单位生成预测块。或者，也可以以CU为单位进行正交变换。在该情况下，动态图像编码装置1的编码模式判定部12也可以不对PU的分割模式或TU的分割模式进行汇总。
或者，也可以不对CU进行是否包含图像端部的判断。在该情况下，动态图像编码装置1的编码模式判定部12也可以与上述的实施方式中的CU同样地针对包含图像端部的PU确定分割模式。同样地，编码模式判定部12也可以与上述的实施方式中的CU同样地针对包含图像端部的TU确定分割模式。在该情况下，动态图像解码装置2的分割模式判定部22也在针对每个PU或每个TU对解码对象CTU进行分割时，与上述的实施方式同样地确定分割模式。
此外，根据其他变形例，也可以针对不包含图像端部的CTU，也依照二分树结构递归地进行二分割。在该情况下，在针对关注的CTU或分割关注的CTU而获得的各个子块依照四分树结构进行四分割的情况和依照二分树结构进行二分割的情况下，动态图像编码装置1的编码模式判定部12计算编码成本即可。而且，编码模式判定部12只要确定是应用四分树结构、还是应用二分树结构，以使编码成本最小化即可。此外，在该情况下，编码模式判定部12针对关注的CTU或递归地分割关注的CTU而获得的各个子块，生成表示四分树结构和二分树结构中的所应用的结构的语法。并且，编码模式判定部12针对应用二分树结构的CTU或子块，生成表示分割方向的语法。而且，动态图像编码装置1的熵编码部17将表示所应用的结构的语法和表示分割方向的语法包含在编码后的动态图像数据中。此外，动态图像解码装置2的分割模式判定部22参考表示所应用的结构的语法和表示分割方向的语法来判定解码对象CTU的CU的分割模式即可。
图12是通过使实现上述的实施方式或该变形例的动态图像编码装置或动态图像解码装置的各部的功能的计算机程序工作而作为动态图像编码装置或动态图像解码装置工作的计算机的结构图。
计算机700具有用户接口701、通信接口702、存储器703、存储介质访问装置704和处理器705。处理器705例如经由总线与用户接口701、通信接口702、存储器703和存储介质访问装置704连接。
用户接口701例如具有键盘和鼠标等输入装置、液晶显示器这样的显示装置。或者，用户接口701也可以具有触摸面板显示器这样的使输入装置与显示装置一体化的装置。而且，用户接口701例如根据用户的操作，将选择要编码的动态图像数据或要解码的动态图像数据的操作信号输出到处理器705。另外，要编码的动态图像数据或要解码的动态图像数据也可以通过在处理器705上工作的应用程序来确定。
通信接口702例如具有用于与依照以太网(注册商标)等的通信标准的通信网络连接的通信接口及其控制电路。而且，通信接口702从与通信网络连接的其他设备取得要编码的动态图像数据，向处理器705传送该数据。此外，通信接口702也可以将从处理器705接收到的编码动态图像数据经由通信网络输出到其他设备。此外，通信接口702也可以从与通信网络连接的其他设备取得包含作为解码对象的、编码后的动态图像数据的比特流，向处理器705传送该比特流。
存储器703是存储部的一例，例如具有可读写的半导体存储器和读出专用的半导体存储器。而且，存储器703存储在处理器705上执行的、用于执行动态图像编码处理的计算机程序或者用于执行动态图像解码处理的计算机程序。并且，存储器703存储在动态图像编码处理或动态图像解码处理的中途或作为结果生成的数据。
存储介质访问装置704是存储部的其他一例，例如是访问磁盘、半导体存储卡和光存储介质这样的存储介质706的装置。存储介质访问装置704例如读入存储在存储介质706中的、在处理器705上执行的动态图像编码处理用计算机程序或动态图像解码处理用计算机程序，传送到处理器705。
处理器705例如包含中央处理单元(CPU，Central Processing Unit)、图形处理单元(GPU，Graphics Processing Unit)和数值运算处理器中的任意一个。而且，处理器705通过执行上述的实施方式或变形例的动态图像编码处理用计算机程序，对动态图像数据进行编码。而且，处理器705将编码后的动态图像数据保存到存储器703中，或者经由通信接口702向其他设备输出。或者，处理器705通过执行上述的实施方式或变形例的动态图像解码处理用计算机程序，对编码后的动态图像数据进行解码。而且，处理器705使用户接口701的显示装置显示解码后的图像。
另外，可以按照记录在计算机可读介质中的形式提供能够在处理器上执行动态图像编码装置1的各部的功能的计算机程序。同样地，可以按照记录在计算机可读介质中的形式提供能够在处理器上执行动态图像解码装置2的各部的功能的计算机程序。但是，这样的记录介质不包含载波。
此处列举的所有示例和特定用语旨在教示的目的，用于帮助读者理解本发明和本发明人为推进该技术而提出的构思，并且与显示本发明的优势和劣势相关的、本说明书的所有示例结构应当被解释为不限定于这样特定的列举的示例和条件。尽管已经详细描述了本发明的实施方式，但是应当理解，在不偏离本发明的精神和范围的情况下，可以对其作出多种变更、替换和修正。
标号说明
1：动态图像编码装置；11：运动搜索部；12：编码模式判定部；13：预测块生成部；14：预测编码部；15：解码部；16：存储部；17：熵编码部；2：动态图像解码装置；21：熵解码部；22：分割模式判定部；23：预测块生成部；24：解码部；25：存储部；700：计算机；701：用户接口；702：通信接口；703：存储器；704：存储介质访问装置；705：处理器；706：存储介质。

Claims (6)

1.一种动态图像编码装置，其对动态图像数据中包含的编码对象图像进行编码，其中，该动态图像编码装置具有：
分割模式判定部，其对于分割所述编码对象图像而获得的多个块中的、包含所述编码对象图像的水平方向的端部和垂直方向的端部中的至少任意一方的图像端部块，进行如下分割，从而将所述图像端部块分割为多个子块，以使任意一个子块中都不包含所述编码对象图像的端部：在所述图像端部块包含所述编码对象图像的水平方向的端部和所述编码对象图像的垂直方向的端部的情况下，依照四分树结构对所述图像端部块进行四分割；在将包含所述图像端部块的块进行二分割之后所述图像端部块还包含所述编码对象图像的水平方向的端部或所述编码对象图像的垂直方向的端部的情况下，在与该图像端部块所包含的所述端部垂直的方向上对该图像端部块进行二分割；在未将包含所述图像端部块的所述块进行二分割而所述图像端部块还包含所述编码对象图像的水平方向的端部或所述编码对象图像的垂直方向的端部的情况下，依照所述四分树结构对所述图像端部块进行四分割，并且在与该图像端部块所包含的所述端部垂直的方向上对该图像端部块进行二分割；
预测块生成部，其针对所述多个子块中的各个子块，参考已编码的其他图像或所述编码对象图像的已编码区域，生成预测块；
编码部，其针对所述多个子块中的各个子块，计算该子块与对应的所述预测块的对应像素之间的预测误差，对所述预测误差进行编码；以及
附加部，其将表示针对所述图像端部块进行了四分割还是进行了二分割的分割信息附加于编码后的所述动态图像数据中。
2.根据权利要求1所述的动态图像编码装置，其特征在于，
在分割所述图像端部块而获得的所述多个子块中的第1子块中包含所述编码对象图像的水平方向的端部或垂直方向的端部的情况下，所述分割模式判定部对该第1子块进一步依照四分树结构进行四分割，或者在与该第1子块所包含的所述端部垂直的方向上进行二分割，
所述附加部将表示针对所述第1子块进行了四分割还是进行了二分割的信息附加于编码后的所述动态图像数据中。
3.根据权利要求2所述的动态图像编码装置，其特征在于，
在对所述第1子块进行二分割而获得的第2子块中包含所述编码对象图像的水平方向的端部或垂直方向的端部的情况下，所述分割模式判定部沿着与对所述第1子块进行分割的方向相同的方向，对该第2子块进一步进行二分割。
4.根据权利要求1～3中的任意一项所述的动态图像编码装置，其中，
在对所述图像端部块进行了二分割的情况下，所述附加部将表示对所述图像端部块进行分割的方向的信息附加于编码后的所述动态图像数据中。
5.一种动态图像编码方法，对动态图像数据中包含的编码对象图像进行编码，其中，该动态图像编码方法包含以下步骤：
对于分割所述编码对象图像而获得的多个块中的、包含所述编码对象图像的水平方向的端部和垂直方向的端部中的至少任意一方的图像端部块，进行如下分割，从而将所述图像端部块分割为多个子块，以使任意一个子块中都不包含所述编码对象图像的端部：在所述图像端部块包含所述编码对象图像的水平方向的端部和所述编码对象图像的垂直方向的端部的情况下，依照四分树结构对所述图像端部块进行四分割；在将包含所述图像端部块的块进行二分割之后所述图像端部块还包含所述编码对象图像的水平方向的端部或所述编码对象图像的垂直方向的端部的情况下，在与该图像端部块所包含的所述端部垂直的方向上对该图像端部块进行二分割；在未将包含所述图像端部块的所述块进行二分割而所述图像端部块还包含所述编码对象图像的水平方向的端部或所述编码对象图像的垂直方向的端部的情况下，依照所述四分树结构对所述图像端部块进行四分割，并且在与该图像端部块所包含的所述端部垂直的方向上对该图像端部块进行二分割；
针对所述多个子块中的各个子块，参考已编码的其他图像或所述编码对象图像的已编码区域，生成预测块；
针对所述多个子块中的各个子块，计算该子块与对应的所述预测块的对应像素之间的预测误差，对所述预测误差进行编码；以及
将表示针对所述图像端部块进行了四分割还是进行了二分割的分割信息附加于编码后的所述动态图像数据中。
6.一种计算机可读取的存储介质，其存储有动态图像编码用计算机程序，该动态图像编码用计算机程序对动态图像数据中所包含的编码对象图像进行编码，该动态图像编码用计算机程序用于使计算机执行以下步骤：
对于分割所述编码对象图像而获得的多个块中的、包含所述编码对象图像的水平方向的端部和垂直方向的端部中的至少任意一方的图像端部块，进行如下分割，从而将所述图像端部块分割为多个子块，以使任意一个子块中都不包含所述编码对象图像的端部：在所述图像端部块包含所述编码对象图像的水平方向的端部和所述编码对象图像的垂直方向的端部的情况下，依照四分树结构对所述图像端部块进行四分割；在将包含所述图像端部块的块进行二分割之后所述图像端部块还包含所述编码对象图像的水平方向的端部或所述编码对象图像的垂直方向的端部的情况下，在与该图像端部块所包含的所述端部垂直的方向上对该图像端部块进行二分割；在未将包含所述图像端部块的所述块进行二分割而所述图像端部块还包含所述编码对象图像的水平方向的端部或所述编码对象图像的垂直方向的端部的情况下，依照所述四分树结构对所述图像端部块进行四分割，并且在与该图像端部块所包含的所述端部垂直的方向上对该图像端部块进行二分割；
针对所述多个子块中的各个子块，参考已编码的其他图像或所述编码对象图像的已编码区域，生成预测块；
针对所述多个子块中的各个子块，计算该子块与对应的所述预测块的对应像素之间的预测误差，对所述预测误差进行编码；以及
将表示针对所述图像端部块进行了四分割还是进行了二分割的分割信息附加于编码后的所述动态图像数据中。
CN201780095955.1A 2017-10-20 2017-10-20 动态图像编码装置、动态图像编码方法和存储介质 Active CN111264060B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310275932.6A CN116320470A (zh) 2017-10-20 2017-10-20 动态图像解码装置、动态图像解码方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/038062 WO2019077751A1 (ja) 2017-10-20 2017-10-20 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310275932.6A Division CN116320470A (zh) 2017-10-20 2017-10-20 动态图像解码装置、动态图像解码方法和存储介质

Publications (2)

Publication Number Publication Date
CN111264060A CN111264060A (zh) 2020-06-09
CN111264060B true CN111264060B (zh) 2023-10-17

Family

ID=66173939

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310275932.6A Pending CN116320470A (zh) 2017-10-20 2017-10-20 动态图像解码装置、动态图像解码方法和存储介质
CN201780095955.1A Active CN111264060B (zh) 2017-10-20 2017-10-20 动态图像编码装置、动态图像编码方法和存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310275932.6A Pending CN116320470A (zh) 2017-10-20 2017-10-20 动态图像解码装置、动态图像解码方法和存储介质

Country Status (9)

Country Link
US (2) US11089326B2 (zh)
EP (2) EP3700204A4 (zh)
JP (2) JP7004001B2 (zh)
KR (2) KR102465994B1 (zh)
CN (2) CN116320470A (zh)
BR (1) BR112020006742A2 (zh)
CA (1) CA3078905C (zh)
MX (1) MX2020003813A (zh)
WO (1) WO2019077751A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019098152A1 (ja) * 2017-11-16 2019-05-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
EP4192010A1 (en) 2018-03-29 2023-06-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding and decoding a picture using picture boundary handling

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009296300A (ja) * 2008-06-05 2009-12-17 Panasonic Corp 画像符号化装置および方法
JP2016111468A (ja) * 2014-12-04 2016-06-20 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
CN105706447A (zh) * 2013-09-30 2016-06-22 凯迪迪爱通信技术有限公司 动画图像编码设备、动画图像解码设备、动画图像编码方法、动画图像解码方法以及程序
CN105847837A (zh) * 2010-07-20 2016-08-10 株式会社Ntt都科摩 图像预测解码装置和图像预测解码方法
CN106134192A (zh) * 2014-03-25 2016-11-16 株式会社索思未来 图像解码装置、图像解码方法及集成电路

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010193401A (ja) 2009-02-20 2010-09-02 Canon Inc 画像符号化方法及び画像符号化装置
KR101452713B1 (ko) * 2009-10-30 2014-10-21 삼성전자주식회사 픽처 경계의 부호화 단위를 부호화, 복호화 하는 방법 및 장치
JP2011147049A (ja) 2010-01-18 2011-07-28 Sony Corp 画像処理装置および方法、並びにプログラム
JP2011223303A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像符号化装置と画像符号化方法および画像復号化装置と画像復号化方法
US8526495B2 (en) 2010-11-22 2013-09-03 Mediatek Singapore Pte. Ltd. Apparatus and method of constrained partition size for high efficiency video coding
CN109413424B (zh) 2012-09-03 2022-11-15 索尼公司 图像处理设备和方法
WO2016090568A1 (en) * 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
US10003807B2 (en) * 2015-06-22 2018-06-19 Cisco Technology, Inc. Block-based video coding using a mixture of square and rectangular blocks
US10212444B2 (en) 2016-01-15 2019-02-19 Qualcomm Incorporated Multi-type-tree framework for video coding
CN114786009A (zh) 2016-03-16 2022-07-22 寰发股份有限公司 视频编码中限制块尺寸的视频数据处理方法与装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009296300A (ja) * 2008-06-05 2009-12-17 Panasonic Corp 画像符号化装置および方法
CN105847837A (zh) * 2010-07-20 2016-08-10 株式会社Ntt都科摩 图像预测解码装置和图像预测解码方法
CN105706447A (zh) * 2013-09-30 2016-06-22 凯迪迪爱通信技术有限公司 动画图像编码设备、动画图像解码设备、动画图像编码方法、动画图像解码方法以及程序
CN106134192A (zh) * 2014-03-25 2016-11-16 株式会社索思未来 图像解码装置、图像解码方法及集成电路
JP2016111468A (ja) * 2014-12-04 2016-06-20 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム

Also Published As

Publication number Publication date
JP2021185685A (ja) 2021-12-09
US11778228B2 (en) 2023-10-03
WO2019077751A1 (ja) 2019-04-25
JPWO2019077751A1 (ja) 2020-11-05
EP3700204A1 (en) 2020-08-26
US20210337233A1 (en) 2021-10-28
KR102465994B1 (ko) 2022-11-10
BR112020006742A2 (pt) 2020-10-06
CA3078905A1 (en) 2019-04-25
JP7004001B2 (ja) 2022-01-21
CN116320470A (zh) 2023-06-23
KR102465773B1 (ko) 2022-11-10
US20200236393A1 (en) 2020-07-23
CA3078905C (en) 2023-01-03
KR20220038520A (ko) 2022-03-28
US11089326B2 (en) 2021-08-10
MX2020003813A (es) 2020-08-13
EP3979641A1 (en) 2022-04-06
KR20200053577A (ko) 2020-05-18
EP3700204A4 (en) 2020-08-26
JP7156471B2 (ja) 2022-10-19
CN111264060A (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
CN113016187B (zh) 利用当前画面参照编码方式的视频区块编码或解码方法和装置
KR102115003B1 (ko) 예측 움직임 벡터 유도 방법 및 이러한 방법을 사용하는 장치
US11825099B2 (en) Image encoding/decoding method and apparatus using intra-screen prediction
US7822119B2 (en) Image encoding apparatus, image encoding method, image encoding program, image decoding apparatus, image decoding method, and image decoding program
CN116866566A (zh) 图像编码/解码方法、存储介质以及图像数据的传输方法
KR20180059482A (ko) 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
EP3958562A1 (en) Apparatus for encoding an image
JP7395518B2 (ja) マージモードに基づくインター予測方法及び装置
KR20180058224A (ko) 영상 코딩 시스템에서 모델링 기반 영상 디코딩 방법 및 장치
JP6244864B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
CN111448798A (zh) 基于块形状的视频编码和解码的方法和装置
CN112544083A (zh) 图像信号编码/解码方法及用于其的装置
JP7156471B2 (ja) 動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラム
CN112237003A (zh) 用于对图像信号编码/解码的方法及其装置
KR20150057801A (ko) 고속 인트라 예측을 위한 영상 부호화 방법 및 장치
RU2790325C2 (ru) Способ и устройство для межкадрового предсказания на основе режима слияния
JP2015226263A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
CN117203960A (zh) 视频编码中的旁路对齐

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant