CN106134192A - 图像解码装置、图像解码方法及集成电路 - Google Patents

图像解码装置、图像解码方法及集成电路 Download PDF

Info

Publication number
CN106134192A
CN106134192A CN201480077416.1A CN201480077416A CN106134192A CN 106134192 A CN106134192 A CN 106134192A CN 201480077416 A CN201480077416 A CN 201480077416A CN 106134192 A CN106134192 A CN 106134192A
Authority
CN
China
Prior art keywords
unit
block
size
predicting unit
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480077416.1A
Other languages
English (en)
Other versions
CN106134192B (zh
Inventor
冈岛宪
冈岛一宪
山口哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Socionext Inc
Original Assignee
Socionext Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Socionext Inc filed Critical Socionext Inc
Publication of CN106134192A publication Critical patent/CN106134192A/zh
Application granted granted Critical
Publication of CN106134192B publication Critical patent/CN106134192B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

运动补偿部(160)中，由分割部(161)根据从解码部(110)接收到的编码单元(CU)、预测单元(PU)的信息决定是否分割预测单元(PU)，对每个分割而得的块，由帧存储器传输控制部(162)基于分割前的预测单元(PU)的运动向量、参照图像信息和分割后的块位置信息确定在帧存储器(180)中的参照图片的参照图像位置，并取得参照图像数据，由运动补偿运算部(164)对每个运动补偿对照块进行运动补偿运算来生成预测图像，由重构部(140)根据逆频率变换部(130)所生成的残差图像将图像复原。

Description

图像解码装置、图像解码方法及集成电路
技术领域
本申请涉及一种对使用预测处理被进行了编码的编码流进行解码的图像解码装置和图像解码方法。
背景技术
近年来，随着以智能手机、智能电视为代表的网络发送技术的进步，精细度更高且图像质量更高的视频传输技术得到普及。另一方面，对支持高精细化的通信业务、广播频带所承受的压力的担忧也随之出现，2013年1月，ITU-T(International TelecommunicationUnion Telecommunication StandardizationSector，国际电信联盟电信标准分局)作为国际标准规格“H.265”推广的“HEVC(High EfficiencyVideoCoding，高性能视频编码)”，能够实现将同质量视频用H.264(MPEG-4 AVC)一半的数据量进行压缩和传送等，从而HEVC作为通信、广播频带的占有的解决方案而受到瞩目。非专利文献1中记载了关于H.265标准的详细内容。
相对于现有的编码标准亦即H.264标准，在H.265标准下，编码单位块的尺寸是可变的。而且，该技术所涉及的图像编码装置还能够以比现有标准的编码单位亦即宏块(16×16像素)还大的块尺寸进行编码，其能够适当地对高精细图像进行编码。
具体而言，使用图22、即示出表示H.265标准下的图片和编码流的结构例的图进行说明。如图22(A)所示，作为编码的数据单位，定义了编码单元(CU：Coding Unit)。与现有的图像编码标准下的宏块同样，该编码单元是能够在进行面内预测的帧内预测与进行运动补偿的帧间预测之间进行切换的数据单位，其被定义为编码的最基本的块。
在H.265标准的主要档次(Main Profile)下，该编码单元的尺寸为：8×8像素、16×16像素、32×32像素、64×64像素之一。
在H.265标准下，以被称为最大的编码单元CTU(Coding Tree Unit，编码树单元)的像素块为单位进行各图片的编码处理。CTU的尺寸并不是如H.264标准、MPEG-2标准中的宏块(16×16像素)那样固定的，而是能够在序列(sequence)的编码时选择CTU的尺寸。
在H.265标准的Main Profile下，最大被定义为64×64像素块。进而，也可以为：对一张图片以具有多个CTU的切割单位来进行编码。需要说明的是，图22(A)表示一张图片由一个切片构成的例子。
需要说明的是，帧内预测、帧间预测的一连串编码处理是以CU为单位进行的，通过对CTU以递归方式进行四叉树分割，即可得到所述CU。
在CU编码处理之际，将CU内部分割成被称为PU(Prediction Unit，预测单元)的块，由此进行帧内预测和帧间预测。
此外，预测差分信号的频率变换和量化处理是以被称为TU(Transform Unit，频率变换单元)的块为单位进行的。
图22(B)是表示编码流的结构例的图。通常，编码流由序列头部、图片头部、切片头部以及切片数据构成。需要说明的是，在以H.265标准等已被编码的图像编码流中，还附加了表示各头部的起始部的起始码(Start code，简记为SC)。
此外，序列头部表示头部信息，该头部信息是针对序列的头部信息，所述序列表示多张图片的合并；图片头部表示头部信息，该头部信息是针对一张图片的头部信息。切片头部表示头部信息，该头部信息是针对切片数据的头部信息。切片数据由多个表示CTU和CU的CU层数据构成。需要说明的是，在H.265标准下，序列头部又被称为SPS(SequenceParameter Set，序列参数集)，图片头部又被称为PPS(PictureParameter Set，图片参数集)。
图23表示基于H.265标准将CTU分割成CU、PU、TU的一个例子。由于CTU表示被四叉树分割前的最大CU，因此设为CU层级0。每进行四叉树分割，就能够进行递归分割，从而分割成CU层级1、CU层级2等。
与CTU内的CU分割同样，TU也能够在CU内部以递归方式进行四叉树分割出。
针对不会进一步被分割的CU，PU以一个预测模式(PU分割模式，在PartMode下定义)被分割。例如，32×32像素的CU以Part_Nx2N的PU分割模式被分割了的情况下，表示32×32像素的CU由两个16×32像素的PU构成。
需要说明的是，在为帧内预测的情况下，PU分割模式能够从Part_2Nx2N或者Part_NxN这两者中选择；在为帧间预测的情况下，PU分割模式能够从由Part_2Nx2N、Part_2NxN、Part_Nx2N、Part_NxN这样的大小相等的块构成的四个分割模式和由Part_2NxnU、Part_2NxnD、Part_nLx2N、Part_nRx2N这样的大小非对称的块(称为非对称运动分割方式，AMP：Asymmetric MotionPartitions)构成的四个分割模式、总共八个分割模式中选择。
需要说明的是，变换单元TU能够独立于PU分割而以递归方式进行四叉树分割。变换单元TU由表示关于预测差分图像的频率成分的系数构成，即即由N×N个变换系数构成(例如，N表示4、8、16、32)。
图24是表示H.265标准下的CU层数据以下的编码流的结构例的图。
图24(A)表示CU、PU以及TU的结构。表示如下所述的例子，即：CU和PU由64×64像素块构成，TU由四个32×32块构成。
图24(B)是表示H.265下的CU层数据以下的编码流的结构例的图。需要说明的是，在图24(B)中，只是简单地记载了在以下说明中所需要的符号，详细的则记载在H.265标准中。
与图24(B)的编码单元相对应的编码单元层数据由CU分割标志以及CU数据(编码单元数据)构成。在该CU分割标志为“1”的情况下，表示将编码单元分割成四个部分，在该CU分割标志为“0”的情况下，表示不将编码单元分割成四个部分。
在图24(B)中，64x64像素的编码单元没有被分割。换言之，CU分割标志为“0”。而且，CU数据由CU类型、PU数据以及TU层数据0构成，其中，所述PU数据表示运动向量或者面内预测模式，所述TU层数据0由包括系数的变换单元构成。由CU类型决定预测单元的尺寸。
PU数据除了包括运动向量或者面内预测模式之外，还包括表示参照图像的标志(又被称为参照索引)、进行帧间预测所需要的信息。TU层数据0表示TU层级0，该TU层级0表示最上位层，与CU数据同样，TU层数据0由TU分割标志、TU层数据1构成。
与CU分割标志同样，在该TU分割标志为“1”的情况下，表示将变换单元分割成四个部分，在该TU分割标志为“0”的情况下，表示不将变换单元分割成四个部分。
TU层数据1由下述部分构成：针对TU0的TU分割标志；TU数据(TU0)；针对TU1的TU分割标志；TU数据(TU1)；针对TU2的TU分割标志；TU数据(TU2)；针对TU3的TU分割标志；TU数据(TU3)。需要说明的是，这是TU层数据1中的TU分割标志为“0”时的例子。
这里，对于TU0以外的TU数据来说，如果不是直到紧挨着其之前的变换单元(例如，在TU1的情况下是TU0)为止进行解码，各TU分割标志就不会出现，因此可知各TU的大小未确定下来。
图25是表示H.265标准的帧间预测中每个CU结构下可选择的PU结构的图。例如，在为64×64CU的情况下，根据PartMode选择64×64PU、64×32PU、32×64PU、32×32PU、64×16PU、64×48PU、16×64PU、48×64PU。
而且，在为帧间预测的情况下，对每个预测单元指定运动向量、表示参照图像的标志(又被称为参照索引)；在为帧内预测的情况下，对每个预测单元指定面内预测模式。
图26是表示在H.265标准下可选择的TU结构的图。具体而言，其由32×32TU、16×16TU、8×8TU、4×4TU构成，且均构成为正方形。
然而，在为帧间预测的情况下，需要从运动向量所指向的参照图片中取得参照图像。
图27是表示运动补偿处理的概要的图。如图27所示，运动补偿处理是从编码流中取出过去已被解码的图片的一部分并进行滤波运算、由此生成预测图像的处理，其中，已被解码的运动向量以及参照索引指向所述图片。在为H.265标准的情况下，在运动补偿处理的滤波运算中最多使用8TAP滤波器。
例如，如图27(A)所示，在8TAP滤波器用于预测对象的预测单元的大小为64×64像素(64×64PU)的参照图像的情况下，7像素在垂直方向和水平方向上附加在64×64像素上。具体而言，从以运动向量所指向的整数位置为基点的预测对象预测单元附加了左侧3像素、右侧4像素、上侧3像素、下侧4像素。由此，从参照图片中取出的参照图像是71×71像素。
图27(B)表示预测对象的预测单元的大小为16×16像素的情况。在使用8TAP滤波器的情况下，与64×64PU的情况同样，从参照图片中取出的参照图像为23×23像素。需要说明的是，在运动向量指向整数位置的情况下，不需要对预测单元的参照图像进行滤波处理，因此所需要的参照图像的大小也可以与预测单元的大小相等。
在为H.264标准下，最多以宏块单位进行预测，因此，要取得大小相等的参照图像时，对H.265标准的16×16像素(256像素)的预测单元而言，最多需要23×23像素(529像素)，但是在为H.265标准的情况下，要取得参照图像时，对64×64像素(4096像素)的预测单元而言，最多需要71×71像素(5041像素)。即，一个预测单元所需要的数据量变为约9.5倍，在从外部存储器(例如外置SDRAM(同步动态随机存储器))中取得参照图片的情况下，占有外部存储总线的时间会增大至约9.5倍，从而给解码处理以外的系统带来的影响增大，例如存在用于显示的图像输出处理等被破坏这样的课题。
相对于此，如专利文献1所述，出于将运动补偿块尺寸设为固定大小的目的，例如可以通过处理而分割成如4×4像素、8×8像素这样的预测单元的最小尺寸，由此来实施解决方案。然而，分割的尺寸越小，滤波处理所需要的像素数越多，因此，例如在H.265标准下，8TAP滤波器所需要的像素(在垂直方向和水平方向上对预测单元的尺寸附加了7像素而得的像素数)的比例增大，对外部存储器带宽的影响增大，从而存在引起性能破坏这样的课题。
例如，对于16×16像素的预测单元而言，为了使用8TAP滤波器，作为参照图像就需要23×23像素(529像素)，然而在分割成十六个4×4像素块的情况下，为了使用8TAP滤波器，作为参照图像就需要十六个11×11像素(121像素)，因此需要1936像素(＝121像素×16个)，即需要实施分割之前的约3.6倍的参照图像，因而存在对外部存储器带宽的影响增大这样的课题。
此外，如专利文献2所述，可以通过按照变换单元TU的边缘分割预测单元PU来实施解决方案。然而，在TU尺寸为32×32像素的情况下，对于尺寸与32×32像素相等的预测单元而言，需要取得39×39像素(1521像素)的参照图像，相比针对16×16像素的预测单元的参照图像尺寸23×23像素(529像素)，需要约3倍的数据量，因此外部存储总线的占有时间变长，从而给解码处理以外的系统带来较大的影响，尤其存在用于显示的图像输出处理等被破坏这样的课题。
此外，如专利文献2所述，在按照变换单元TU的边缘分割预测单元PU的情况下，预测单元的解码处理会依赖变换单元的大小，因此直到确定变换单元的大小为止都不能开始预测单元的解码处理，从而存在预测单元的解码处理会延迟这样的课题。需要说明的是，在H.265标准下，如果解码处理没有进行到TU层的最下位层为止，就不能确定变换单元的大小。
此外，如专利文献2所述，如果按照变换单元的边缘分割预测单元，在被分割成更小的TU的情况(例如4×4TU)下，预测单元也会依赖变换单元，从而需要进行预测处理，因此对于比变换尺寸大的预测单元而言，存在预测处理的解码处理性能退化这样的课题。
专利文献1：日本公开专利公报特开2006-311526号公报
专利文献2：国际公开第2013/076888号
非专利文献1：’SERIES H：AUDIOVISUAL AND MULTIMEDIASYSTEMSInfrastructure of audiovisual services-Coding of moving video’，[online].Recommendation ITU-TH.265，04/2013，[retrieved on 2014-03-17].Retrieved from the Internet：<URL：http：//www.itu.int/rec/dologin_pub.asp？lang＝e&id＝T-REC-H.265-201304-I！！PDF-E&type＝items>.
发明内容
-发明要解决的技术问题-
如上述的现有技术所述，根据预测单元的最小尺寸分割运动补偿电路，由此能够减少在取得参照图像时的外部存储总线的占有率。
然而，存在如下所述的课题：分割尺寸越小，预测处理中的滤波处理所需要的像素数就越多，使外部存储器带宽越大。外部存储器带宽的增大对包括图像输出处理在内的整个系统带来影响，这会导致应用程序受到破坏。
此外，相反，存在如下所述的课题：预测单元越大，进行预测处理的电路面积就越大。此外，存在如下所述的课题：如果根据变换单元的大小来分割预测单元、并进行预测处理，则直到确定变换单元的大小为止都不能开始处理。即，预测处理会延迟，不能高速地进行预测处理。
本申请是鉴于所述问题而完成的，其所要解决的课题在于提供一种图像解码装置及其方法，在预测单元中对已利用预测处理被编码的编码流进行解码之际，所述图像解码装置及其方法能够在不占有外部存储总线并且不增大外部存储器带宽的情况下，高速进行解码处理而且抑制电路面积。
-用以解决技术问题的技术方案-
本申请的一方式所涉及的图像解码装置，其中，在编码单元，由一个以上的预测单元构成预测处理的单位，由一个以上的变换单元构成频率变换处理的单位，所述图像解码装置对已通过编码处理被编码的编码流进行解码，所述编码处理包括针对所述一个以上的预测单元的预测处理和针对所述一个以上的变换单元的频率变换处理。具体而言，所述图像解码装置具备：分割部，在所述预测单元的大小超过预先已设定的大小的情况下，无论所述变换单元的大小如何，所述分割部都将所述预测单元分割成多个块；预测图像生成部，所述预测图像生成部对通过分割所述预测单元而得到的每个块进行与所述预测单元的预测图像相关的解码处理，由此生成预测图像；以及图像复原部，所述图像复原部利用由所述预测图像生成部生成的预测图像将图像复原。
根据上述方式，针对如超过预先已设定的大小那样的预测单元，无论变换单元的大小如何，都能够通过分割预测单元来抑制预测单元的大小。
由此，能够在不占有外部存储总线并且不使外部存储器带宽增大而且不使预测处理电路的面积增大的情况下，执行解码处理。
此外，也可以为：所述分割部将所述预测单元分割成大小在所述预先已设定的大小以下。
根据上述方式，针对如超过预先已设定的大小那样的预测单元，无论变换单元的大小如何，都能够通过将预测单元分割成预先已设定的大小以下来抑制预测单元的大小。
由此，能够在不占有外部存储总线并且不使外部存储器带宽增大而且不使预测处理电路的面积增大的情况下，执行解码处理。
此外，也可以为：所述分割部将合并所有的构成所述编码单元的所述一个以上的预测单元而成的一个块分割成大小相等的四个块，并且直到大小在预先已对所述分割部设定的大小以下为止，所述分割部以递归方式分割所述分割而成的各个块。
根据上述方式，针对如超过预先已设定的大小那样的预测单元，无论变换单元的大小如何，都对将一个以上的预测单元合并而成的一个块进行分割，从而分割成大小相等的四个块，并且直到变为预先已设定的大小以下为止，以递归方式对分割而得的各个块进行分割，由此能够抑制预测单元的大小。
由此，能够在不占有外部存储总线并且不使外部存储器带宽增大而且不使预测处理电路的面积增大的情况下，执行解码处理。
此外，也可以为：所述预测图像生成部以递归方式且按照Z顺序处理已由所述分割部以所述递归方式分割而得的块，从而生成预测图像。
根据上述方式，针对如超过预先已设定的大小那样的预测单元，无论变换单元的大小如何，都对将一个以上的预测单元合并而成的一个块进行分割，从而分割成大小相等的四个块，并且直到变为预先已设定的大小以下为止，以递归方式对分割而得的各个块进行分割，然后以递归方式且按照Z顺序处理已以递归方式分割而得的块，从而生成预测图像，由此能够高速地执行解码处理。
由此，能够在不占有外部存储总线并且不使外部存储器带宽增大而且不使预测处理电路的面积增大的情况下，能够高速地执行解码处理。
此外，也可以为：预先已对所述分割部设定的大小为16像素×16像素。
根据上述方式，针对如超过16×16像素那样的预测单元，无论变换单元的大小如何，都能够通过分割成16×16像素以下的预测单元，来抑制预测单元的大小。
由此，能够在不占有外部存储总线并且不使外部存储器带宽增大而且不使预测处理电路的面积增大的情况下，执行解码处理。
此外，也可以为：所述预测图像生成部取得过去已解码的图像数据，从而生成预测图像。
根据上述方式，能够取得过去已解码的图像数据来生成预测图像，进而，针对如超过预先已设定的大小那样的预测单元，无论变换单元的大小如何，都能够通过分割预测单元来抑制预测单元的大小。
由此，能够在不占有外部存储总线并且不使外部存储器带宽增大而且不使预测处理电路的面积增大的情况下，执行解码处理。
此外，也可以为：所述预测图像生成部从外部存储器中取得过去已解码的图像数据，从而生成预测图像。
根据上述方式，能够通过从外部存储器中取得过去已解码的图像数据来生成预测图像，进而，针对如超过预先已设定的大小那样的预测单元，无论变换单元的大小如何，都能够通过分割预测单元来抑制预测单元的大小。
由此，能够在不占有外部存储总线并且不使外部存储器带宽增大而且不使预测处理电路的面积增大的情况下，执行解码处理。
此外，也可以为：所述预测图像生成部从过去已解码的图像数据中取得所述预测单元的运动向量来进行运动补偿处理，从而生成预测图像。
根据上述方式，能够从过去已解码的图像数据中取出预测单元的运动向量来进行运动补偿处理，从而生成预测图像，进而，针对如超过预先已设定的大小那样的预测单元，无论变换单元的大小如何，都能够通过分割预测单元来抑制预测单元的大小。
由此，能够在不占有外部存储总线并且不使外部存储器带宽增大而且不使预测处理电路的面积增大的情况下，执行解码处理。
此外，也可以为：所述图像复原部通过将逆频率变换处理过的残差图像相加来将图像复原。
根据上述方式，能够通过将预测图像与逆频率变换处理过的残差图像相加进行图像复原，进而，针对如超过预先已设定的大小那样的预测单元，无论变换单元的大小如何，都能够通过分割预测单元来抑制预测单元的大小。
由此，能够在不占有外部存储总线并且不使外部存储器带宽增大而且不使预测处理电路的面积增大的情况下，执行解码处理。
也可以为：所述编码流以H.265被编码。
根据上述方式，能够以H.265对编码流进行复原，进而，针对如超过预先已设定的大小那样的预测单元，无论变换单元的大小如何，都能够通过分割预测单元来抑制预测单元的大小。
由此，能够在不占有外部存储总线并且不使外部存储器带宽增大而且不使预测处理电路的面积增大的情况下，执行解码处理。
本申请的一方式所涉及的图像解码方法，其中，在编码单元，由一个以上的预测单元构成预测处理的单位，由一个以上的变换单元构成频率变换处理的单位，所述图像解码方法对已通过编码处理被编码的编码流进行解码，所述编码处理包括针对所述一个以上的预测单元的预测处理和针对所述一个以上的变换单元的频率变换处理。具体而言，所述图像解码方法包括：分割步骤，在所述预测单元的大小超过预先已设定的大小的情况下，无论所述变换单元的大小如何，都将所述预测单元分割成多个块；预测图像生成步骤，对通过分割所述预测单元而得到的每个块进行与所述预测单元的预测图像相关的解码处理，由此生成预测图像；以及图像复原步骤，利用在所述预测图像生成步骤中生成的预测图像将图像复原。
根据上述方式，针对如超过预先已设定的大小那样的预测单元，无论变换单元的大小如何，都能够通过分割预测单元来抑制预测单元的大小。
由此，能够在不占有外部存储总线并且不使外部存储器带宽增大而且不使预测处理电路的面积增大的情况下，执行解码处理。
本申请的一方式所涉及的集成电路，其中，在编码单元，由一个以上的预测单元构成预测处理的单位，由一个以上的变换单元构成频率变换处理的单位，所述集成电路对已通过编码处理被编码的编码流进行解码，所述编码处理包括针对所述一个以上的预测单元的预测处理和针对所述一个以上的变换单元的频率变换处理。
具体而言，集成电路具备：分割部，在所述预测单元的大小超过预先已设定的大小的情况下，无论所述变换单元的大小如何，所述分割部都将所述预测单元分割成多个块；预测图像生成部，所述预测图像生成部对通过分割所述预测单元而得到的每个块进行与所述预测单元的预测图像相关的解码处理，由此生成预测图像；以及图像复原部，所述图像复原部利用由所述预测图像生成部生成的预测图像将图像复原。
根据上述方式，无论所述变换单元的大小如何，针对如超过预先已设定的大小那样的预测单元，都能够通过分割预测单元来抑制预测单元的大小。
由此，能够在不占有外部存储总线并且不使外部存储器带宽增大而且不使预测处理电路的面积增大的情况下，执行解码处理。
-发明的效果-
如上所述，根据本申请所涉及的图像解码装置，无论变换单元的大小如何，都能够在不占有外部存储总线、并且不使外部存储器带宽增大、而且不使预测处理电路的面积增大的情况下，执行解码处理。
附图说明
图1是表示第一实施方式所涉及的图像解码装置的结构的框图。
图2是表示第一实施方式所涉及的运动补偿部的结构的框图。
图3是第一实施方式所涉及的生成预测图像的流程图。
图4是表示第一实施方式所涉及的与不进行PU分割的情况相关的、CU、PU、TU、重构图像的块结构示例的图。
图5是表示第一实施方式所涉及的与不进行PU分割的情况相关的、流水线式处理的时序图。
图6是表示第一实施方式所涉及的与实施了现有PU分割的情况相关的、CU、PU、TU、重构图像的块结构示例的图。
图7是表示第一实施方式所涉及的与实施了现有PU分割的情况相关的、流水线式处理的时序图。
图8是表示第一实施方式所涉及的与实施了PU分割的情况相关的、CU、PU、TU、重构图像的块结构示例的图。
图9是表示第一实施方式所涉及的与实施了PU分割的情况相关的、流水线式处理的时序图。
图10是表示第一实施方式所涉及的与对64×64CU实施了PU分割的情况相关的、PU的块结构示例的图。
图11是表示第一实施方式所涉及的与对64×64CU实施了PU分割的情况相关的、PU的块结构示例的图。
图12是表示第一实施方式所涉及的对32×32CU实施了PU分割的情况相关的、PU的块结构示例的图。
图13是表示第一实施方式所涉及的对32×32CU实施了PU分割的情况相关的、PU的块结构示例的图。
图14是表示第一实施方式所涉及的与不进行PU分割的情况相关的、CU、PU、TU、重构图像的块结构示例的图。
图15是表示第一实施方式所涉及的与不进行PU分割的情况相关的、流水线式处理的时序图。
图16是表示第一实施方式所涉及的与实施了PU分割的情况相关的、CU、PU、TU、重构图像的块结构示例的图。
图17是表示第一实施方式所涉及的与实施了PU分割的情况相关的、流水线式处理的时序图。
图18是表示第二实施方式所涉及的与实施了PU分割的情况相关的、CU、PU、TU、重构图像的块结构示例的图。
图19是表示第二实施方式所涉及的与实施了PU分割的情况相关的、流水线式处理的时序图。
图20是表示第三实施方式所涉及的与实施了现有PU分割的情况相关的、流水线式处理的时序图。
图21是表示第三实施方式所涉及的与实施了PU分割的情况相关的、流水线式处理的时序图。
图22是表示H.265标准下的图片和编码流的结构例的图。
图23是表示基于H.265标准将CTU分割成CU、PU、TU的一个例子的图。
图24是表示H.265标准下的CU层数据以下的编码流的结构例的图。
图25是表示H.265标准的帧间预测中每个CU结构下可选择的PU结构的图。
图26是表示在H.265标准下可选择的TU结构的图。
图27是表示运动补偿处理的概要的图。
具体实施方式
下面，根据附图，对本申请的实施方式进行说明。
<第一实施方式>
下面，对本申请的第一实施方式中的图像解码装置进行说明。
图1是表示第一实施方式所涉及的图像解码装置的结构的框图。
如图1所示，图像解码装置100具备：解码部110、逆量化部120、逆频率变换部130、重构部140、环路滤波部150、运动补偿部160、面内预测部170、帧存储器180。各部分基本上用于进行基于现有H.265标准的解码，关于与现有的处理相同的部分，简化说明。
在被输入的编码流的编码单元(Coding Unit，以下称为CU)进行帧间预测的情况下，解码部110对输入到解码部110内的编码流进行解码，向运动补偿部160输出预测单元(Prediction Unit，以下称为PU)的运动向量和参照图像信息(例如，用于确定参照图像的标志、参照索引)、以及与CU、PU相关的信息(例如，CU的大小、PU分割模式PartMode)。需要说明的是，解码部110处理基于H.265标准的算术解码、可变长度解码等。
运动补偿部160根据从解码部110接收到的运动向量、参照图像信息以及与CU、PU相关的信息，确定帧存储器180中的参照图像位置，从帧存储器180中取得参照图像。根据已取得的参照图像，对PU进行运动补偿，从而生成预测图像，然后将其向重构部140输出。
另一方面，向逆量化部120输出在解码部110被解码过的频率变换单元(TransformUnit，以下称为TU)的频率成分的系数数据(例如，DCT系数、变换系数)。逆量化部120对从解码部110接收到的系数数据进行逆量化，并将结果向逆频率变换部130输出。逆频率变换部130以TU单位对从逆量化部120接收到的逆量化后的系数数据进行逆频率变换，将结果作为残差图像向重构部140输出。
重构部140将从逆频率变换部130接收到的残差图像和从运动补偿部160接收到的预测图像相加，将结果作为重构图像向环路滤波部150输出。
环路滤波部150对从重构部140接收到的重构图像进行环路滤波(例如去块滤波(Deblocking Filter)、自适应滤波(SAO：Sample Adaptive Filter))，在此基础上，将结果作为解码图像向帧存储器180输出。然后，从帧存储器180向显示部(省略图示)输出解码图像。
此外，在不使用不同时间的参照图像的I图片、帧内预测块亦即预测单元中，向面内预测部170输出在解码部110计算出的面内预测模式。
面内预测部170根据从解码部110接收到的面内预测模式进行面内预测，生成预测图像后，将其向重构部140输出。需要说明的是，面内预测所需要的重构图像能够从重构部140取得，但省略对此的图示。
与帧间预测的情况同样，重构部140将从逆频率变换部130接收到的残差图像和从面内预测部170接收到的预测图像相加，将结果作为重构图像向环路滤波部150输出。
环路滤波部150以后的处理与帧间预测相同，因此省略对此的说明。
接下来，对运动补偿部160的详细内容进行说明。
图2是表示第一实施方式所涉及的运动补偿部的结构的框图。
分割部161根据从解码部110接收到的CU、PU的信息决定是否将PU分割，在实施分割的情况下，针对分割而得的每个块都保持分割前的PU的运动向量和参照图像信息以及分割后的块位置信息，根据该分割结果，向帧存储器传输控制部162传输分割而得的每个块的信息。需要说明的是，在下文中说明与分割方法、分割而得的块的处理顺序相关的详细内容。此外，在不实施分割的情况下，向帧存储器传输控制部162传输PU的运动向量、参照图像信息、PU的位置信息。
帧存储器传输控制部162基于从分割部161接收到的运动向量、参照图像信息、块、PU的位置信息，确定为了生成预测图像而存储在帧存储器180中的参照图片的参照图像位置，从帧存储器180中取得参照图像数据后，将其向局部参照存储器163传输。
运动补偿运算部164使用存储在局部参照存储器163中的参照图像数据，针对每个运动补偿对照块都进行运动补偿运算，从而生成预测图像，将其向预测图像存储器165输出。
重构部140将存储在预测图像存储器165中的预测图像和从逆频率变换部130接收到的残差图像相加，将结果作为重构图像输出。
图3是第一实施方式所涉及的生成预测图像的流程图。
首先，解码部110向分割部161输出已从编码流取得的CU信息以及PU信息(步骤S301)。
接下来，在分割部161中求PU尺寸是否超过预先已设定的阈值尺寸，在判断出该结果为超过阈值尺寸的情况(步骤S302中为“是(Yes)”)下，实施分割，以使PU尺寸在阈值尺寸以下(步骤S303)。
帧存储器传输控制部162计算分割后的各块的在帧存储器180上的参照图像的位置以及尺寸(步骤S304)，从帧存储器180中取得运动补偿对象块的运动补偿处理所需要的参照图像数据后，将其传输至局部参照存储器163(步骤S306)。
需要说明的是，在分割部161中，在判断出PU尺寸没有超过预先已设定的阈值尺寸的情况(在步骤S302中为“否(No)”)下，帧存储器传输控制部162计算每个PU的运动向量所指向的参照图像区域、即运动补偿对象块的运动补偿处理所需要的参照图像数据的位置和尺寸(步骤S305)，从帧存储器180中取得参照图像后，将其传输至局部参照存储器163(步骤S306)。
运动补偿运算部164使用已从局部参照存储器163中取得的参照图像数据，对每个运动补偿对象块进行运动补偿运算，并向预测图像存储器165输出所生成的预测图像(步骤S307)。
接下来，就每个PU尺寸下的分割方法而言，为了更容易理解现有情况和本申请之间的差别，在下文中对更详细的分割方法进行说明。
图4是表示第一实施方式所涉及的与不进行PU分割的情况相关的、CU、PU、TU、重构图像的块结构示例的图。
图4(a)是表示本实施方式所涉及的CU的结构例的图。图4(a)所示的CU0具有64×64像素尺寸。
图4(b)是表示图4(a)所示的CU0中TU的结构例的图。在图4(b)中示出四个由32×32像素构成的TU(下面记载为32×32TU。关于CU、PU也按照同样的方式记载)，即变换单元TU0～TU3。而且，TU0～TU3按照TU0、TU1、TU2、TU3这样的顺序被进行处理。作为针对四个变换单元TU0～TU3的处理，有逆量化、逆频率变换等，将结果作为残差图像输出。
图4(c)是表示图4(a)所示的CU0中PU的结构例的图。在图4(c)中，示出了两个32×64PU，即预测单元PU0、PU1。而且，PU0和PU1按照PU0、PU1这样的顺序被进行处理。
图4(d)是表示图4(a)所示的CU0被分割后的块的结构例的图。在图4(d)中示出了四个块BK0～BK3。而且，四个块BK0～BK3按照BK0、BK1、BK2、BK3这样的顺序被进行处理。作为针对四个块BK0～BK3的处理，有重构处理、环路滤波处理以及存储至帧存储器180中的存储处理等。需要说明的是，图4(d)中的块分割是分割成与TU尺寸相等的尺寸的一个例子，还可以分割成与PU尺寸相等的尺寸，也可以使用其它分割方法。
图5是表示没有将图3中的步骤应用到图4所示的CU、TU、PU、重构图像中的情况下的流水线式处理的时序图。在图5的例子中，TU处理按照变换单元TU0、TU1、TU2、TU3这样的顺序执行。需要说明的是，在TU处理以前执行：TU处理前的解码部110中的解码处理，但是省略对此的图示(在以后的时序图中也同样省略)。与此同时，针对预测单元PU0、PU1执行PU处理。然后，对BK0～BK3执行重构处理后，对BK0～BK3执行环路滤波处理。
在图5的例子中，直到对PU0的PU处理结束并且对TU0的TU处理结束为止，都不能开始重构处理。即，在从对TU0的处理结束起到执行重构处理前的期间会产生延迟时间。此外，PU0由32×64PU构成，帧存储器传输控制部162从帧存储器180中取得39×71像素(2769像素)的参照图像，因此会占有外部存储总线。
图6是表示与按照TU的边缘实施了现有PU分割的情况相关的、CU、PU、TU、重构图像的块结构示例的图。
由于图6(a)、图6(b)、图6(c)、图6(d)分别与图4(a)、图4(b)、图4(c)、图4(d)相同，因此省略说明。
图6(c’)是表示按照TU的边缘将图6(a)所示的编码单元CU0中预测单元分割后的块的结构例的图。需要说明的是，用点线表示成为处理的单位的块的结构(下面，关于分割而得的块的结构是相同的)。在图6(c’)中，示出四个块PU0a、PU0b、PU1a、PU1h。而且，它们按照PU0a、PU1a、PU0b、PU1b这样的顺序被进行处理。作为针对四个块PU0a、PU0b、PU1a、PU1b的处理，有参照图像的取得、运动补偿运算以及预测图像的输出处理等。需要说明的是，所述处理是与PU处理相同的处理，因此只要没有特别限定，就记载为针对分割块的PU处理(简称PU处理)。
图7是表示与按照TU的边缘对图6所示的CU、TU、PU、重构图像实施了现有PU分割的情况相关的、流水线式处理的时序图。
在图7的例子中，TU处理按照变换单元TU0、TU1、TU2、TU3这样的顺序执行。与此同时，针对块PU0a、PU0b、PU1a、PU1b的PU处理按照PU0a、PU1a、PU0b、PU1b这样的顺序执行。然后，对BK0～BK3执行重构处理，然后，对BK0～BK3执行环路滤波处理。这里，在对TU0的TU处理结束、对块PU0a的PU处理结束以后，块BK0的重构处理开始。同样，在TU1～TU3的TU处理依次结束、对块PU1a、PU0b、PU1b的PU处理依次结束的时刻，块BK1～BK3的重构处理依次开始。
此外，针对块BK0～BK3，环路滤波处理按照BK0、BK1、BK2、BK3这样的顺序执行。这里，在块BK0的重构处理结束以后，块BK0的环路滤波处理开始。同样，在块BK1～BK3的重构处理依次结束的时刻，块BK1～BK3的环路滤波处理依次开始。
在图7的例子中，以与变换单元相同的顺序输出分割后的块的预测图像。因此，相比图5的情况更早地备齐重构处理所需要的、差分图像以及与差分图像相同的区域内的预测图像。由此，重构处理以及环路滤波处理的开始时刻的延迟会变小。由此，使解码处理高速化。
然而，分割后的块PU0a、PU1a、PU0b、PU1b由32×32像素构成，作为各分割后的块PU0a、PU1a、PU0b、PU1b，由帧存储器传输控制部162从帧存储器180中分别取得39×39像素(1521像素)的参照图像，因此会占有外部存储总线。
图8是表示与按照图3中的步骤实施了PU分割的情况相关的、CU、PU、TU、重构图像的块结构示例的图。
由于图8(a)、图8(b)、图8(c)、图8(d)分别与图4(a)、图4(b)、图4(c)、图4(d)相同，因此省略说明。
图8(c’)是表示将图8(a)所示的编码单元CU0中的预测单元分割成预先已设定的阈值、例如在本次的情况下为16×16像素后的块的结构例的图。在图8(c’)中示出十六个块PU0a～PU0h、PU1a～PU1h。而且，块按照PU0a、PU0b、PU0c、PU0d、PU1a、PU1b、PU1c、PU1d、PU0e、PU0f、PU0g、PU0h、PU1e、PU1f、PU1g、PU1h这样的顺序被进行处理。即，以按照递归方式实施了四叉树分割的顺序即Z顺序，处理对CU0实施了四叉树分割而得的块。
图9是表示与按照图3中的步骤对图8所示的CU、TU、PU、重构图像实施了PU分割的情况相关的、流水线式处理的时序图。
在图9的例子中，TU处理按照变换单元TU0、TU1、TU2、TU3这样的顺序执行。与此同时，针对块PU0a～PU0h、PU1a～PU1h，PU处理按照PU0a、PU0b、PU0c、PU0d、PU1a、PU1b、PU1c、PU1d、PU0e、PU0f、PU0g、PU0h、PU1e、PU1f、PU1g、PU1h这样的顺序执行。然后，对BK0～BK3执行重构处理，然后，对BK0～BK3执行环路滤波处理。这里，在对TU0的TU处理结束、对块PU0a～PU0d的PU处理结束以后，块BK0的重构处理开始。同样，在对TU1～TU3的TU处理依次结束、对块PU1a～PU1d、PU0e～PU0h、PU1e～PU1h中每四块的PU处理依次结束的时刻，块BK1～BK3的重构处理依次开始。
此外，针对块BK0～BK3，环路滤波处理按照BK0、BK1、BK2、BK3这样的顺序执行。这里，在块BK0的重构处理结束以后，块BK0的环路滤波处理开始。同样，在块BK1～BK3的重构处理依次结束的时刻，块BK1～BK3的环路滤波处理依次开始。
在图9的例子中，以与变换单元相同的顺序输出分割后的块的预测图像。因此，相比图5的情况更早地备齐重构处理所需要的、差分图像以及与差分图像相同的区域内的预测图像。由此，重构处理以及环路滤波处理的开始时刻的延迟会变小。由此，使解码处理高速化。
此外，分割后的块PU0a～PU0h、PU1a～PU1h由16×16像素构成，帧存储器传输控制部162从帧存储器180中取得23×23像素(529像素)的参照图像，因此成为与现有宏块相等的传输尺寸，因而不占有外部存储总线。此外，能够在与以往相同程度的存储器带宽下实现解码处理。
图10是表示与按照图3中的步骤对64×64CU实施了PU分割的情况相关的、PU的块结构示例的图。
下面，例如在本次的情况下，将实施PU分割的阈值尺寸设为16×16像素。
图10(a)是表示针对64×64CU而言将64×64PU分割成阈值尺寸16×16像素而得的块的结构例的图。需要说明的是，用点线表示块的结构，该点线同时还表示作为处理的单位的块。示出了成为处理的单位的十六个块PU0a～PU0p。而且，块按照PU0a、PU0b、···、PU0p这样的顺序被进行处理。即，以按照递归方式实施了四叉树分割的顺序(例如Z顺序)，处理对64x64CU实施了四叉树分割而得的块。
图10(b)是表示针对64×64CU而言将64×32PU分割成阈值尺寸16×16像素而得的块的结构例的图。需要说明的是，用点线表示块的结构，该点线同时还表示作为处理的单位的块。示出了成为处理的单位的十六个块PU0a～PU0h、PU1a～PU1h。而且，块按照PU0a、PU0b、PU0c、PU0d、PU0e、PU0f、PU0g、PU0h、PU1a、PU1b、PU1c、PU1d、PU1e、PU1f、PU1g、PU1h这样的顺序被进行处理。即，以按照递归方式实施了四叉树分割的顺序(例如Z顺序)，处理对64×64CU实施了四叉树分割而得的块。
图10(c)是表示针对64×64CU而言将32×64PU分割成阈值尺寸16×16像素而得的块的结构例的图。需要说明的是，用点线表示块的结构，该点线同时还表示作为处理的单位的块。示出了成为处理的单位的十六个块PU0a～PU0h、PU1a～PU1h。而且，块按照PU0a、PU0b、PU0c、PU0d、PU1a、PU1b、PU1c、PU1d、PU0e、PU0f、PU0g、PU0h、PU1e、PU1f、PU1g、PU1h这样的顺序被进行处理。即，以按照递归方式实施了四叉树分割的顺序(例如Z顺序)，处理对64×64CU实施了四叉树分割而得的块。
图10(d)表示针对64×64CU而言将32×32PU分割成阈值尺寸16×16像素而得的块的结构例的图。需要说明的是，用点线表示块的结构，该点线同时还表示作为处理的单位的块。示出了成为处理的单位的十六个块PU0a～PU0d、PU1a～PU1d、PU2a～PU2d、PU3a～PU3d。而且，块按照PU0a、PU0b、PU0c、PU0d、PU1a、PU1b、PU1c、PU1d、PU2a、PU2b、PU2c、PU2d、PU3a、PU3b、PU3c、PU3d这样的顺序被进行处理。即，以按照递归方式实施了四叉树分割的顺序(例如Z顺序)，处理对64×64CU实施了四叉树分割而得的块。
图11是表示与按照图3中的步骤对64×64CU实施了PU分割的情况相关的、PU的块结构示例的图。特别是，PU由非对称的块(称为非对称运动分割方式，AMP：AsymmetricMotionPartitions)构成。
下面，例如在为本次的情况下，将实施PU分割的阈值尺寸设为16×16像素。
图11(e)是表示针对64×64CU而言将64×16PU以及64×48PU分割成阈值尺寸16×16像素而得的块的结构例的图。需要说明的是，用点线表示块的结构，该点线同时还表示作为处理的单位的块。示出了成为处理的单位的十六个块PU0a～PU0d、PU1a～PU1l。而且，块按照PU0a、PU0b、PU1a、PU1b、PU0c、PU0d、PU1c～PU1l这样的顺序被进行处理。即，以按照递归方式实施了四叉树分割的顺序(例如Z顺序)，处理对64×64CU实施了四叉树分割而得的块。
图11(f)是表示针对64×64CU而言将64×48PU以及64×16PU分割成阈值尺寸16×16像素而得的块的结构例的图。需要说明的是，用点线表示块的结构，该点线同时还表示作为处理的单位的块。示出了成为处理的单位的十六个块PU0a～PU01，PU1a～PU1d。而且，块按照PU0a～PU0j、PU1a、PU1b、PU0k、PU0l、PU1c、PU1d这样的顺序被进行处理。即，以按照递归方式实施了四叉树分割的顺序(例如Z顺序)，处理对64×64CU实施了四叉树分割而得的块。
图11(g)是表示针对64×64CU而言将16×64PU以及48×64PU分割成阈值尺寸16×16像素而得的块的结构例的图。需要说明的是，用点线表示块的结构，该点线同时还表示作为处理的单位的块。示出了成为处理的单位的十六个块PU0a～PU0d、PU1a～PU1l。而且，块按照PU0a、PU1a、PU0b、PU1b、PU1c～PU1f、PU0c、PU1g、PU0d、PU1h、PU1i～PU1l这样的顺序被进行处理。即，以按照递归方式实施了四叉树分割的顺序(例如Z顺序)，处理对64×64CU实施了四叉树分割而得的块。
图11(h)是表示针对64×64CU而言将48×64PU以及16×64PU分割成阈值尺寸16×16像素而得的块的结构例的图。需要说明的是，用点线表示块的结构，该点线同时还表示作为处理的单位的块。示出了成为处理的单位的十六个块PU0a～PU01，PU1a～PU1d。而且，块按照PU0a～PU0d、PU0e、PU1a、PU0f、PU1b、PU0g～PU0j、PU0k、PU1c、PU01、PU1d这样的顺序被进行处理。即，以按照递归方式实施了四叉树分割的顺序(例如Z顺序)，处理对64×64CU实施了四叉树分割而得的块。
即，如图10(a)～图10(d)、图11(e)～图11(h)所示，针对64×64CU而言，所有CU均被分割成相等的16×16块，并且所有CU均按照相同的顺序被进行处理。
图12是表示与按照图3中的步骤对32×32CU实施了PU分割的情况相关的、PU的块结构示例的图。
图12(a)是表示针对32×32CU而言将32×32PU分割成阈值尺寸16×16像素而得的块的结构例的图。需要说明的是，用点线表示块的结构，该点线同时还表示作为处理的单位的块。示出了成为处理的单位的四个块PU0a～PU0d。而且，块按照PU0a、PU0b、PU0c、PU0d这样的顺序被进行处理。即，以实施了四叉树分割的顺序(例如Z顺序)，处理对32×32CU实施了四叉树分割而得的块。
图12(b)是表示针对32×32CU而言将32×16PU分割成阈值尺寸16×16像素而得的块的结构例的图。需要说明的是，用点线表示块的结构，该点线同时还表示作为处理的单位的块。示出了成为处理的单位的四个块PU0a、PU0b、PU1a、PU1b。而且，块按照PU0a、PU0b、PU1a、PU1b这样的顺序被进行处理。即，以实施了四叉树分割的顺序(例如Z顺序)，处理对32×32CU实施了四叉树分割而得的块。
图12(c)是表示针对32×32CU而言将16×32PU分割成阈值尺寸16×16像素而得的块的结构例的图。需要说明的是，用点线表示块的结构，该点线同时还表示作为处理的单位的块。示出了成为处理的单位的四个块PU0a、PU0b、PU1a、PU1b。而且，块按照PU0a、PU1a、PU0b、PU1b这样的顺序被进行处理。即，以实施了四叉树分割的顺序(例如Z顺序)，处理对32×32CU实施了四叉树分割而得的块。
图12(d)是表示针对32×32CU而言不对16×16PU实施PU分割的结构例的图，不对16×16PU实施PU分割的理由是其与阈值尺寸16×16像素相等之故。示出了四个块PU0、PU1、PU2、PU3。而且，块按照PU0、PU1、PU2、PU3这样的顺序被进行处理。即，以实施了四叉树分割的顺序(例如Z顺序)，处理对32×32CU实施了四叉树分割而得的块。
图13是表示与按照图3中的步骤对32×32CU实施了PU分割的情况相关的、PU的块结构示例的图。特别是，PU由非对称的块(AMP)构成。
图13(e)是表示针对32×32CU而言将32×8PU以及32×24PU分割成阈值尺寸16×16像素而得的块的结构例的图。需要说明的是，用点线表示块的结构，进而，用实线和点线表示成为处理的单位的六个块PU0a、PU0b、PU1a～PU1d。而且，块按照PU0a、PU1a、PU0b、PU1b、PU1c、PU1d这样的顺序被进行处理。即，以基于对32×32CU实施了四叉树分割而得的16×16块的顺序(例如Z顺序，在16×16块内也是Z顺序)，进行处理。
图13(f)是表示针对32×32CU而言将32×24PU以及32×8PU分割成阈值尺寸16×16像素而得的块的结构例的图。需要说明的是，用点线表示块的结构，进而，用实线和点线表示成为处理的单位的六个块PU0a～PU0d、PU1a、PU1b。而且，块按照PU0a、PU0b、PU0c、PU1a、PU0d、PU1b这样的顺序被进行处理。即，以基于对32×32CU实施了四叉树分割而得的16×16块的顺序(例如Z顺序，在16×16块内也是Z顺序)，进行处理。
图13(g)是表示针对32×32CU而言将8×32PU以及24×32PU分割成阈值尺寸16×16像素而得的块的结构例的图。需要说明的是，用点线表示块的结构，进而，用实线和点线表示成为处理的单位的六个块PU0a、PU0b、PU1a～PU1d。而且，块按照PU0a、PU1a、PU1b、PU0b、PU1c、PU1d这样的顺序被进行处理。即，以基于对32×32CU实施了四叉树分割而得的16×16块的顺序(例如Z顺序，在16×16块内也是Z顺序)，进行处理。
图13(h)是表示针对32×32CU而言将24×32PU以及8×32PU分割成阈值尺寸16×16像素而得的块的结构例的图。需要说明的是，用点线表示块的结构，进而，用实线和点线表示成为处理的单位的六个块PU0a～PU0d、PU1a、PU1b。而且，块按照PU0a、PU0b、PU1a、PU0c、PU0d、PU1b这样的顺序被进行处理。即，以基于对32×32CU实施了四叉树分割而得的16×16块的顺序(例如Z顺序，在16×16块内也是Z顺序)，进行处理。
即，如图12(a)～图12(d)、图13(e)～图13(h)所示，以基于对32×32CU实施了四叉树分割而得的16×16块的顺序(例如Z顺序)并且在对16×16块内部也进行分割的情况下是以Z顺序，对32×32CU进行处理。需要说明的是，若处理的单位的块由上下两个块构成的情况下，所述Z顺序意味着以上、下这样的顺序进行处理，若处理的单位的块由左右两个块构成的情况下，所述Z顺序意味着以左、右这样的顺序进行处理。由此，即使是相同位置上的相等的16×16块，对处理的单位、即块的处理顺序也是不同的。例如，在观察了图13(e)和图13(g)的左上部分的16×16块的情况下，在图13(e)中，处理顺序是如PU0a、PU1a这样的上、下顺序，而在图13(g)中，处理顺序是左、右顺序。由此，对于跨越预测单元的块来说，无论预测单元的形状如何，都能够以对CU实施了四叉树分割而得的块单位进行处理，进而，无论预测单元的形状如何，都能够由例如每一个16×16正方形的块单位构成图像解码处理的流水线。
下面对PU由非对称的块(AMP)构成的情况进行说明。
图14是表示第一实施方式所涉及的与不进行PU分割的情况相关的、CU、PU、TU、重构图像的块结构示例的图。
图14(a)是表示本实施方式所涉及的CU的结构例的图。图14(a)所示的CU0具有32×32像素尺寸。
图14(b)是表示图14(a)所示的CU0中TU的结构例的图。在图14(b)中示出了四个由16×16像素构成的TU，即变换单元TU0～TU3。而且，TU0～TU3按照TU0、TU1、TU2、TU3这样的顺序被进行处理。作为针对四个变换单元TU0～TU3的处理，有逆量化、逆频率变换等，将结果作为残差图像输出。
图14(c)是表示图14(a)所示的CU0中PU的结构例的图。在图14(c)中示出了两个预测单元PU0、PU1，即32×8PU以及32×24PU。而且，PU0、PU1按照PU0、PU1这样的顺序被进行处理。
图14(d)是表示图14(a)所示的CU0被分割后的块的结构例的图。在图14(d)中示出了四个块BK0～BK3。而且，四个块BK0～BK3按照BK0、BK1、BK2、BK3这样的顺序被进行处理。作为针对四个块BK0～BK3的处理，有重构处理、环路滤波处理以及存储至帧存储器180中的存储处理等。需要说明的是，图14(d)中的块分割是分割成与TU尺寸相等的尺寸的一个例子，可以分割成与PU尺寸相等的尺寸，也可以使用其它分割方法。
图15是表示没有将图3中的步骤应用到图14所示的CU、TU、PU、重构图像中的情况下的流水线式处理的时序图。在图15的例子中，TU处理按照变换单元TU0、TU1、TU2、TU3这样的顺序执行。需要说明的是，在TU处理以前执行：TU处理前的解码部110中的解码处理，但是省略对此的图示(在以后的时序图中也同样省略)。与此同时，针对预测单元PU0、PU1执行PU处理。然后，对BK0～BK3执行重构处理，然后，对BK0～BK3执行环路滤波处理。
在图15的例子中，直到对TU0的TU处理结束并且对PU0、PU1的PU处理结束为止，都不能开始重构处理。即，在从对TU0的处理结束起到执行重构处理前的期间会产生延迟时间。
图16是表示与按照图3中的步骤实施了PU分割的情况相关的、CU、PU、TU、重构图像的块结构示例的图。
由于图16(a)、图16(b)、图16(c)、图16(d)分别与图14(a)、图14(b)、图14(c)、图14(d)相同，因此省略说明。
图16(c’)是表示将图16(a)所示的编码单元CU0中的预测单元分割成预先已设定的阈值、例如在本次的情况下为16×16像素后的块的结构例的图。在图16(c’)中，用点线表示块的结构，进而，用实线和点线表示成为处理的单位的六个块PU0a、PU0b、PU1a～PU1d。而且，块按照PU0a、PU1a、PU0b、PU1b、PU1c、PU1d这样的顺序被进行处理。即，以实施了四叉树分割的顺序即Z顺序，处理对CU0实施了四叉树分割而得的块。
图17是表示与按照图3中的步骤对图16所示的CU、TU、PU、重构图像实施了PU分割的情况相关的、流水线式处理的时序图。
图17的例子中，TU处理按照变换单元TU0、TU1、TU2、TU3这样的顺序执行。与此同时，针对块PU0a、PU0b、PU1a～PU1d，PU处理按照PU0a、PU1a、PU0b、PU1b、PU1c、PU1d这样的顺序执行。然后，对BK0～BK3执行重构处理，然后，对BK0～BK3执行环路滤波处理。这里，在对TU0的TU处理结束、对块PU0a、PU1a的PU处理结束以后，块BK0的重构处理开始。同样，在TU1～TU3的TU处理依次结束，并且在针对块PU0b、PU1b这两个块的PU处理、针对PU1c的PU处理、以及针对PU1d的PU处理依次结束的时刻，块BK1～BK3的重构处理依次开始。
此外，针对块BK0～BK3，环路滤波处理按照BK0、BK1、BK2、BK3这样的顺序执行。这里，在块BK0的重构处理结束以后，块BK0的环路滤波处理开始。同样，在块BK1～BK3的重构处理依次结束的时刻，块BK1～BK3的环路滤波处理依次开始。
在图17的例子中，以与变换单元相同的顺序输出分割后的块的预测图像。因此，相比图15的情况，更早地备齐重构处理所需要的、差分图像以及与差分图像相同的区域内的预测图像。由此，重构处理以及环路滤波处理的开始时刻的延迟会变小。由此，使解码处理高速化。此外，相比图15的情况，没有必要与重构处理的开始时刻的提早量相应地将TU1～TU3的TU处理结果、PU1的PU处理结果保持下去，从而还能够实现减小局部参照存储器、预测图像存储器这样的电路面积。
如上所述，通过将实施PU分割的阈值尺寸设为16×16左右，从而在取得参照图像时，传输尺寸成为与现有的宏块(16×16像素)相同程度的尺寸，因此能够在不占有外部存储总线并且在与以往相同程度的存储器带宽下实现解码处理。此外，通过实施PU分割，能够减小内置的局部参照存储器163、预测图像存储器165的容量，从而能够抑制成本。此外，在运动补偿运算部164中也不需要设置与PU尺寸的最大标准亦即64×64像素相对应的电路，从而能够减小运动补偿运算部164的面积。
需要说明的是，针对与实施PU分割的阈值尺寸相等或在其以下的CU尺寸而言，通过在不进行PU分割的情况下以原来的PU大小进行预测处理，由此能够在不使外部存储器的带宽增大的情况下进行解码。
需要说明的是，如果外部存储器的性能提高不会对总线占有率带来影响，则也可以增大阈值尺寸。
此外，在本说明书中说明了预测单元进行帧间预测的情况，但是在预测单元进行帧内预测的情况下，也能够应用相同的PU分割方法。
此外，在本说明书中，主要对变换单元为32×32TU的情况进行了说明，但是即使分割成更小的尺寸的情况下(例如，TU层级0、TU层级1、TU层级2等情况)，无论TU尺寸如何，也都能够应用相同的PU分割方法。
<第二实施方式>
下面，对本申请的第二实施方式中的图像解码装置进行说明。第二实施方式所涉及的图像解码装置与第一实施方式的不同点在于，重构处理的分割方法。
图18是表示与按照图3中的步骤实施了PU分割的情况相关的、CU、PU、TU、重构图像的块结构示例的图。
由于图18(a)、图18(b)、图18(c)、图18(c’)分别与图8(a)、图8(b)、图8(c)、图8(c’)相同，因此省略说明。
图18(d)是表示对图18(a)所示的编码单元CU0实施了分割后的结构例的图。在图18(d)中示出了十六个块BK0～BK15。而且，十六个块BK0～BK15按照BK0、BK1、···、BK15这样的顺序被进行处理。作为针对十六个块BK0～BK15的处理，有重构处理、环路滤波处理以及存储至帧存储器180中的存储处理等。需要说明的是，图18(d)中的块分割是分割成与PU分割后的尺寸相等的尺寸的一个例子，除此之外，也可以分割成更小的尺寸。
即，在重构处理中，以按照递归方式实施了四叉树分割的顺序，处理对CU0实施了四叉树分割而得的块。
图19是表示与按照图3中的步骤对图18所示的CU、TU、PU、重构图像实施了PU分割的情况相关的、流水线式处理的时序图。
在图19的例子中，TU处理按照变换单元TU0、TU1、TU2、TU3这样的顺序执行。与此同时，针对块PU0a～PU0h、PU1a～PU1h，PU处理按照PU0a、PU0b、PU0c、PU0d、PU1a、PU1b、PU1c、PU1d、PU0e、PU0f、PU0g、PU0h、PU1e、PU1f、PU1g、PU1h这样的顺序执行。然后，对BK0～BK15执行重构处理，然后，对BK0～BK15执行环路滤波处理。
这里，在对TU0的TU处理结束、对块PU0a～PU0d的PU处理结束以后，块BK0～BK3的重构处理开始。同样，在TU1～TU3的TU处理依次结束、块PU1a～PU1d、PU0e～PU0h、PU1e～PU1h中每四块的PU处理依次结束的时刻，块BK4～BK7、BK8～BK11、BK12～BK15的重构处理依次开始。
此外，针对块BK0～BK15，环路滤波处理按照BK0、BK1、BK2、··、BK15这样的顺序执行。这里，在块BK0的重构处理结束以后，块BK0的环路滤波处理开始。同样，在块BK1～BK15的重构处理依次结束的时刻，块BK1～BK15的环路滤波处理依次开始。
在图19的例子中，重构图像是以16×16单位被分割并被实施处理的，因此以比环路滤波处理更小的处理单位执行处理，因而比图9的情况还早地备齐环路滤波的处理所需要的重构图像。由此，环路滤波处理的开始时刻的延迟会变小。由此，使解码处理高速化。
如上所述，通过将重构处理单位设为实施PU分割的阈值尺寸亦即16×16左右，从而能够实现与现有的宏块(16×16像素)相同的流水线式构成方式，能够实现与现有处理性能相同的处理性能。此外，通过更小地分割重构处理单位，能够减小重构部140与环路滤波部150之间的内置存储器的容量，从而能够抑制成本。
<第三实施方式>
下面，对本申请的第三实施方式中的图像解码装置进行说明。第三实施方式所涉及的图像解码装置与第一实施方式的不同点在于，解码部110的处理。
在图20和图21中流水线式地增加了解码部110的处理。
图20是表示第三实施方式所涉及的与对图6所示的CU、TU、PU、重构图像实施了现有的PU分割的情况相关的、流水线式处理的时序图。
在图20的例子中，进行与PU尺寸、预测单元相关的CU类型、PU数据的处理，然后，对TU数据(TU分割标志、与TU相关的系数数据)按照TU0、TU1、TU2、TU3这样的顺序执行解码处理。TU处理按照变换单元TU0、TU1、TU2、TU3这样的顺序执行。针对块PU0a、PU0b、PU1a、PU1b，PU处理按照PU0a、PU1a、PU0b、PU1b这样的顺序执行。然后，对BK0～BK3执行重构处理，然后，对BK0～BK3执行环路滤波处理。
这里，若TU0的解码处理结束，就开始TU0的TU处理。同样，TU1～TU3的解码处理结束，在TU0～TU2的TU处理依次结束的时刻，TU1～TU3的TU处理开始。
PU处理如下，即：在确定TU的大小以后，开始按照TU的边缘实施了分割的PU块的处理。换言之，在TU0～TU3的解码处理结束后，针对块PU0a、PU1a、PU0b、PU1b开始PU处理。这里，在针对TU0的TU处理结束、针对块PU0a的PU处理结束以后，块BK0的重构处理开始。同样，TU1～TU3的TU处理依次结束，在针对块PU1a、PU0b、PU1b的PU处理依次结束的时刻，块BK1～BK3的重构处理依次开始。
此外，针对块BK0～BK3，环路滤波处理按照BK0、BK1、BK2、BK3这样的顺序执行。这里，在块BK0的重构处理结束以后，块BK0的环路滤波处理开始。同样，在块BK1～BK3的重构处理依次结束的时刻，块BK1～BK3的环路滤波处理依次开始。
图21是表示第三实施方式所涉及的与按照图3中的步骤对图8所示的CU、TU、PU、重构图像实施了PU分割的情况相关的、流水线式处理的时序图。
在图21的例子中，进行与PU尺寸、预测单元相关的CU类型、PU数据的处理，然后，对TU数据(TU分割标志、与TU相关的系数数据)按照TU0、TU1、TU2、TU3这样的顺序执行解码处理。TU处理按照变换单元TU0、TU1、TU2、TU3这样的顺序执行。针对块PU0a、PU0b、PU1a、PU1b，PU处理按照PU0a、PU1a、PU0b、PU1b这样的顺序执行。然后，对BK0～BK3执行重构处理，然后，对BK0～BK3执行环路滤波处理。
这里，若TU0的解码处理结束，就开始TU0的TU处理。同样，TU1～TU3的解码处理结束，在TU0～TU2的TU处理依次结束的时刻，TU1～TU3的TU处理开始。
PU处理如下，即：无论TU的大小如何，在与PU尺寸、预测单元相关的CU类型、PU数据的解码处理结束以后，都会开始对实施了分割而得的PU块的处理。换言之，在与PU尺寸、预测单元相关的CU类型、PU数据的解码处理结束后，针对块PU0a～PU0h、PU1a～PU1h，PU处理按照PU0a～PU0d、PU1a～PU1d、PU0e～PU0h、PU1e～PU1h这样的顺序执行。这里，在针对TU0的TU处理结束、针对块PU0a～PU0d的PU处理结束以后，块BK0的重构处理开始。同样，TU1～TU3的TU处理依次结束，在针对块PU1a～PU1d、PU0e～PU0h、PU1e～PU1h中每四块的PU处理依次结束的时刻，块BK1～BK3的重构处理依次开始。
此外，针对块BK0～BK3，环路滤波处理按照BK0、BK1、BK2、BK3这样的顺序执行。这里，在块BK0的重构处理结束以后，块BK0的环路滤波处理开始。同样，在块BK1～BK3的重构处理依次结束的时刻，块BK1～BK3的环路滤波处理依次开始。
在图21的例子中，在CU类型和PU数据的解码处理刚结束后，预测单元的PU处理开始。因此，比图20的情况更早地备齐重构处理所需要的、差分图像以及与差分图像相同的区域内的预测图像。由此，重构处理以及环路滤波处理的开始时刻的延迟会变小。由此，使解码处理高速化。
<其它实施方式>
需要说明的是，在第一至第三实施方式中，对它们的结构图进行了说明，但是实施方式并不限于此，其可以构成为单芯片LSI，也可以构成为独立的LSI。进而，如果因半导体技术的发展或者由此派生出的其它技术而出现与LSI置换的集成电路化技术，则当然也能够利用该技术来实施功能块的集成化。实施方式也存在用于生物技术中等的可能性。此外，实施方式也可以实现为在计算机上执行的程序。
-产业实用性-
本申请所涉及的图像解码装置对如下所述的图像解码装置及其重放方法有用，所述图像解码装置及其重放方法对已利用预测处理被编码的编码流进行解码。此外，还能够作为DVD刻录机、DVD播放器、蓝光光碟摄像机、蓝光光碟播放器、数字电视等用途使用，而且还能够作为智能手机等便携信息终端等用途使用。
-符号说明-
100 图像解码装置
110 解码部
120 逆量化部
130 逆频率变换部
140 重构部
150 环路滤波部
160 运动补偿部
161 分割部
162 帧存储器传输控制部
163 局部参照存储器
164 运动补偿运算部
165 预测图像存储器
170 面内预测部
180 帧存储器

Claims (12)

1.一种图像解码装置，其中，
在编码单元，由一个以上的预测单元构成预测处理的单位，由一个以上的变换单元构成频率变换处理的单位，
所述图像解码装置对已通过编码处理被编码的编码流进行解码，所述编码处理包括针对所述一个以上的预测单元的预测处理和针对所述一个以上的变换单元的频率变换处理，
所述图像解码装置的特征在于：具备：
分割部，在所述预测单元的大小超过预先已设定的大小的情况下，无论所述变换单元的大小如何，所述分割部都将所述预测单元分割成多个块；
预测图像生成部，所述预测图像生成部对通过分割所述预测单元而得到的每个块进行与所述预测单元的预测图像相关的解码处理，由此生成预测图像；以及
图像复原部，所述图像复原部利用由所述预测图像生成部生成的预测图像将图像复原。
2.根据权利要求1所述的图像解码装置，其特征在于：
所述分割部将所述预测单元分割成大小在所述预先已设定的大小以下。
3.根据权利要求1所述的图像解码装置，其特征在于：
所述分割部将合并所有的构成所述编码单元的所述一个以上的预测单元而成的一个块分割成大小相等的四个块，并且直到大小在预先已对所述分割部设定的大小以下为止，所述分割部以递归方式分割所述分割而成的各个块。
4.根据权利要求3所述的图像解码装置，其特征在于：
所述预测图像生成部以递归方式且按照Z顺序处理已由所述分割部以所述递归方式分割而得的块，从而生成预测图像。
5.根据权利要求1到4中任一项所述的图像解码装置，其特征在于：
预先已对所述分割部设定的大小为16像素×16像素。
6.根据权利要求1到5中任一项所述的图像解码装置，其特征在于：
所述预测图像生成部取得过去已解码的图像数据，从而生成预测图像。
7.根据权利要求1到6中任一项所述的图像解码装置，其特征在于：
所述预测图像生成部从外部存储器中取得过去已解码的图像数据，从而生成预测图像。
8.根据权利要求1到7中任一项所述的图像解码装置，其特征在于：
所述预测图像生成部从过去已解码的图像数据中取得所述预测单元的运动向量来进行运动补偿处理，从而生成预测图像。
9.根据权利要求1到8中任一项所述的图像解码装置，其特征在于：
所述图像复原部通过将逆频率变换处理过的残差图像相加来将图像复原。
10.根据权利要求1到9中任一项所述的图像解码装置，其特征在于：
所述编码流以H.265被编码。
11.一种图像解码方法，其中，
在编码单元，由一个以上的预测单元构成预测处理的单位，由一个以上的变换单元构成频率变换处理的单位，
所述图像解码方法对已通过编码处理被编码的编码流进行解码，所述编码处理包括针对所述一个以上的预测单元的预测处理和针对所述一个以上的变换单元的频率变换处理，
所述图像解码方法的特征在于：包括：
分割步骤，在所述预测单元的大小超过预先已设定的大小的情况下，无论所述变换单元的大小如何，都将所述预测单元分割成多个块；
预测图像生成步骤，对通过分割所述预测单元而得到的每个块进行与所述预测单元的预测图像相关的解码处理，由此生成预测图像；以及
图像复原步骤，利用在所述预测图像生成步骤中生成的预测图像将图像复原。
12.一种集成电路，其中，
在编码单元，由一个以上的预测单元构成预测处理的单位，由一个以上的变换单元构成频率变换处理的单位，
所述集成电路对已通过编码处理被编码的编码流进行解码，所述编码处理包括针对所述一个以上的预测单元的预测处理和针对所述一个以上的变换单元的频率变换处理，
所述集成电路的特征在于：具备：
分割部，在所述预测单元的大小超过预先已设定的大小的情况下，无论所述变换单元的大小如何，所述分割部都将所述预测单元分割成多个块；
预测图像生成部，所述预测图像生成部对通过分割所述预测单元而得到的每个块进行与所述预测单元的预测图像相关的解码处理，由此生成预测图像；以及
图像复原部，所述图像复原部利用由所述预测图像生成部生成的预测图像将图像复原。
CN201480077416.1A 2014-03-25 2014-11-18 图像解码装置、图像解码方法及集成电路 Active CN106134192B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014062418 2014-03-25
JP2014-062418 2014-03-25
PCT/JP2014/005790 WO2015145504A1 (ja) 2014-03-25 2014-11-18 画像復号装置、画像復号方法、及び集積回路

Publications (2)

Publication Number Publication Date
CN106134192A true CN106134192A (zh) 2016-11-16
CN106134192B CN106134192B (zh) 2020-08-11

Family

ID=54194106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480077416.1A Active CN106134192B (zh) 2014-03-25 2014-11-18 图像解码装置、图像解码方法及集成电路

Country Status (4)

Country Link
US (1) US10306255B2 (zh)
JP (1) JP6569665B2 (zh)
CN (1) CN106134192B (zh)
WO (1) WO2015145504A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019109264A1 (zh) * 2017-12-06 2019-06-13 富士通株式会社 模式信息的编码和解码方法、装置以及电子设备
CN110198440A (zh) * 2018-03-29 2019-09-03 腾讯科技（深圳）有限公司 编码预测信息的确定及视频编码的方法、装置
CN111264060A (zh) * 2017-10-20 2020-06-09 富士通株式会社 动态图像编码装置、动态图像编码方法、动态图像编码用计算机程序、动态图像解码装置、动态图像解码方法和动态图像解码用计算机程序
WO2020119525A1 (zh) * 2018-12-13 2020-06-18 华为技术有限公司 一种帧间预测的方法及装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11343541B2 (en) * 2018-04-30 2022-05-24 Hfi Innovation Inc. Signaling for illumination compensation
WO2020182216A1 (en) 2019-03-14 2020-09-17 Mediatek Inc. Methods and apparatuses of video processing with motion refinement and sub-partition base padding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060239354A1 (en) * 2005-03-31 2006-10-26 Hiroshi Amano Video decoding device, video decoding method, video decoding program, and video decoding integrated circuit
WO2013076897A1 (ja) * 2011-11-24 2013-05-30 パナソニック株式会社 画像処理装置および画像処理方法
WO2013085282A1 (ko) * 2011-12-05 2013-06-13 엘지전자 주식회사 인트라 예측 방법 및 장치
CN103222266A (zh) * 2011-11-21 2013-07-24 松下电器产业株式会社 图像处理装置以及图像处理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4787044B2 (ja) * 2005-03-31 2011-10-05 パナソニック株式会社 画像復号装置、画像復号方法、画像復号プログラム、画像復号集積回路
GB0822605D0 (en) * 2008-12-11 2009-01-21 Pneumacare Ltd Method and apparatus for monitoring an object
US10033997B2 (en) * 2010-06-23 2018-07-24 Panasonic Intellectual Property Management Co., Ltd. Image decoding apparatus, image decoding method, integrated circuit, and program
WO2012046435A1 (ja) * 2010-10-04 2012-04-12 パナソニック株式会社 画像処理装置、画像符号化方法および画像処理方法
KR20120070479A (ko) * 2010-12-21 2012-06-29 한국전자통신연구원 화면 내 예측 방향 정보 부호화/복호화 방법 및 그 장치
US9392301B2 (en) * 2011-07-01 2016-07-12 Qualcomm Incorporated Context adaptive entropy coding for non-square blocks in video coding
EP2735154A1 (en) * 2011-07-22 2014-05-28 Motorola Mobility LLC Device and methods for scanning rectangular-shaped transforms in video coding
US8893102B2 (en) * 2011-07-27 2014-11-18 Oracle International Corporation Method and system for performing backward-driven path-sensitive dataflow analysis
MX346677B (es) * 2011-11-04 2017-03-29 Sharp Kk * Dispositivo de decodificacion aritmetica, dispositivo de decodificacion de imagenes, dispositivo de codificacion aritmetica, dispositivo de codificacion de imagenes y metodo de decodificacion aritmetica.
CN110198449B (zh) * 2011-11-08 2022-01-04 韩国电子通信研究院 用于共享候选者列表的方法和装置
WO2014105278A1 (en) * 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for determining whether to scroll or select contents

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060239354A1 (en) * 2005-03-31 2006-10-26 Hiroshi Amano Video decoding device, video decoding method, video decoding program, and video decoding integrated circuit
CN103222266A (zh) * 2011-11-21 2013-07-24 松下电器产业株式会社 图像处理装置以及图像处理方法
WO2013076897A1 (ja) * 2011-11-24 2013-05-30 パナソニック株式会社 画像処理装置および画像処理方法
WO2013085282A1 (ko) * 2011-12-05 2013-06-13 엘지전자 주식회사 인트라 예측 방법 및 장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111264060A (zh) * 2017-10-20 2020-06-09 富士通株式会社 动态图像编码装置、动态图像编码方法、动态图像编码用计算机程序、动态图像解码装置、动态图像解码方法和动态图像解码用计算机程序
CN111264060B (zh) * 2017-10-20 2023-10-17 富士通株式会社 动态图像编码装置、动态图像编码方法和存储介质
WO2019109264A1 (zh) * 2017-12-06 2019-06-13 富士通株式会社 模式信息的编码和解码方法、装置以及电子设备
US11166021B2 (en) 2017-12-06 2021-11-02 Fujitsu Limited Methods and apparatuses for coding and decoding mode information and electronic device
CN110198440A (zh) * 2018-03-29 2019-09-03 腾讯科技（深圳）有限公司 编码预测信息的确定及视频编码的方法、装置
CN110198440B (zh) * 2018-03-29 2022-11-18 腾讯科技（深圳）有限公司 编码预测信息的确定及视频编码的方法、装置及可读介质
WO2020119525A1 (zh) * 2018-12-13 2020-06-18 华为技术有限公司 一种帧间预测的方法及装置

Also Published As

Publication number Publication date
JPWO2015145504A1 (ja) 2017-04-13
WO2015145504A1 (ja) 2015-10-01
JP6569665B2 (ja) 2019-09-04
US20170013270A1 (en) 2017-01-12
US10306255B2 (en) 2019-05-28
CN106134192B (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN106134192A (zh) 图像解码装置、图像解码方法及集成电路
JP7422841B2 (ja) Ｍｐｍリストを使用するイントラ予測基盤画像コーディング方法及びその装置
CN103299624B (zh) 自适应地执行平滑操作
RU2745021C1 (ru) Способ и устройства для конфигурирования преобразования для сжатия видео
JP6163674B2 (ja) 高効率次世代ビデオコーディングのためのコンテンツ適応双方向性又は機能性予測マルチパスピクチャ
US11265549B2 (en) Method for image coding using convolution neural network and apparatus thereof
CN106134196A (zh) 在视频译码中用于帧内块复制的搜索区域确定
CN105379286A (zh) 跨层的图片分割的位流限制
TR201908706T4 (tr) Dilim parçası için entropi kod çözme usulü.
CN104429083A (zh) 译码用于视频译码的定时信息
CN104823449A (zh) 在视频译码中用信号表示关注区和逐渐解码刷新
GB2510759A (en) Method and apparatus for encoding image, and method and apparatus for decoding image
CN112913233B (zh) 基于hmvp构造预测候选的方法和设备
CN105594212A (zh) 用于确定运动矢量的方法及其设备
CN105594208A (zh) 解码装置、解码方法、编码装置以及编码方法
CN105612751A (zh) 用于基于子层参考预测相依性的层间rps导出的系统和方法
CN105580374A (zh) Mv-hevc中的视图间相依性类型
WO2016045581A1 (zh) 编码方法、解码方法、装置及电子设备
TW202220444A (zh) 用於並行譯碼的雙向資料區塊的聯合終止
CN105245896A (zh) Hevc并行运动补偿方法及装置
CN103237213B (zh) 视频编码方法和视频解码方法及相关装置
US11893783B2 (en) Apparatus and method for transceiving feature map extracted using MPEG-VCM
TW202133619A (zh) 用於合併估計區域的基於歷史的運動向量預測約束
TW202126041A (zh) 用於解碼器側運動精緻化及雙向光學流之參考圖像限制
CN111464812A (zh) 编码解码的方法、系统、装置、存储介质及处理器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant