CN116489406A - 影像解码/编码方法、传送比特流的方法及记录介质 - Google Patents

影像解码/编码方法、传送比特流的方法及记录介质 Download PDF

Info

Publication number
CN116489406A
CN116489406A CN202310596456.8A CN202310596456A CN116489406A CN 116489406 A CN116489406 A CN 116489406A CN 202310596456 A CN202310596456 A CN 202310596456A CN 116489406 A CN116489406 A CN 116489406A
Authority
CN
China
Prior art keywords
block
current
prediction
division
current block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310596456.8A
Other languages
English (en)
Inventor
文柱禧
任星元
元栋载
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry Academy Cooperation Foundation of Sejong University
Original Assignee
Industry Academy Cooperation Foundation of Sejong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170127939A external-priority patent/KR102511611B1/ko
Priority claimed from KR1020170127942A external-priority patent/KR102480350B1/ko
Application filed by Industry Academy Cooperation Foundation of Sejong University filed Critical Industry Academy Cooperation Foundation of Sejong University
Priority claimed from CN201780063610.8A external-priority patent/CN109937570B/zh
Publication of CN116489406A publication Critical patent/CN116489406A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Abstract

本发明提供一种影像解码/编码方法、传送比特流的方法及记录介质。适用本发明的影像编码方法，包括：将当前影像分割成多个区块的第1分割步骤；以及，将上述多个区块中包含上述当前影像的边界的分割对象区块分割成多个下级区块的第2分割步骤，其中，上述第2分割步骤以包含上述当前影像的边界的下级区块作为上述分割对象区块递归执行，直至上述下级区块中不再有包含上述当前影像的边界的下级区块。

Description

影像解码/编码方法、传送比特流的方法及记录介质
本申请是申请日为2017年10月12日、申请号为201780063610.8、发明名称为“影像编码方法/装置、影像解码方法/装置以及保存有比特流的记录介质”的发明专利申请的分案申请。
技术领域
本发明涉及一种影像编码/解码方法及装置。尤其涉及一种影像编码/解码过程中的影像边界处理方法及装置。具体来讲，涉及一种用于在影像的填充以及树状结构中有效地处理影像边界的方法及装置。
背景技术
近年来，互联网中对如视频等多媒体数据的需求正在急剧增加。但是，目前信道(Channel)带宽(Bandwidth)的发展速度却难以充分满足急剧增加的多媒体数据量。作为上述趋势的一环，国际标准化机构即国际电联电信标准化部门(ITU-T)的视频编码专家组(VCEG，Video Coding Expert Group)和国际标准化组织/国际电工委员会(ISO/IEC)的动态图像专家组(MPEG，Moving Picture Expert Group)正在通过坚持不懈的合作研究而致力于开发出更加高效的视频压缩标准。
视频压缩大体上由帧内预测、帧间预测、变换、量化、熵编码(Entropy coding)、环路滤波(In-loop filter)构成。其中，帧内预测是指利用存在于当前区块周边的已重建像素生成当前区块的预测区块的技术。此时因为编码过程是以区块单位执行，因此如果影像的大小不是区块大小的倍数，就会导致难以以区块单位进行编码的问题。
发明内容
本发明的目的在于，提供一种能够在影像的编码/解码过程中提升压缩效率的影像编码/解码方法及装置。
此外，本发明的目的在于，提供一种能够在影像的编码/解码过程中以区块单位对齐影像大小的填充方法及装置。
此外，本发明的目的在于，提供一种能够在影像的编码/解码过程中提升影像边界处理效率的区块分割方法及装置。
此外，本发明的目的在于，提供一种能够在影像的编码/解码过程中通过在对当前区块进行编码/解码时有效地利用周边区块的信息而提升压缩效率的影像编码/解码方法及装置。
此外，本发明的目的在于，提供一种能够对通过适用本发明的影像编码方法/装置生成的比特流进行保存的计算机可读取的记录介质。
适用本发明的影像编码方法，包括：将当前影像分割成多个区块的第1分割步骤；以及，将所述多个区块中包含所述当前影像的边界的分割对象区块分割成多个下级区块的第2分割步骤；其中，所述第2分割步骤能够以包含所述当前影像的边界的下级区块作为所述分割对象区块递归执行，直至所述下级区块中不再有包含所述当前影像的边界的下级区块。
在适用本发明的影像编码方法中，所述第1分割步骤，能够是将所述当前影像分割成相同大小的多个最大区块的步骤。
在适用本发明的影像编码方法中，所述第2分割步骤，能够是对所述分割对象区块执行四叉树分割或二叉树分割的步骤。
在适用本发明的影像编码方法中，当所述分割对象区块为可执行所述四叉树分割的大小时，在所述第2分割步骤中能够对所述分割对象区块执行所述四叉树分割，而当所述分割对象区块为不可执行所述四叉树分割的大小时，在所述第2分割步骤中能够对所述分割对象区块执行所述二叉树分割。
在适用本发明的影像编码方法中，当在所述第2分割步骤中对所述分割对象区块执行了所述四叉树分割或所述二叉树分割时，能够不对用于指示所述分割对象区块的四叉树分割与否的第1分割信息或用于指示所述分割对象区块的二叉树分割与否的第2分割信息进行编码。
在适用本发明的影像编码方法中，当在所述第2分割步骤中对所述分割对象区块执行了所述二叉树分割时，所述二叉树分割的分割方向能够基于在包含于所述分割对象区块的同时还相当于所述当前影像的边界内区域的编码对象区块的形态决定。
在适用本发明的影像编码方法中，当在所述第2分割步骤中对所述分割对象区块执行了所述二叉树分割时，能够不对用于指示所述二叉树分割的分割方向的分割方向信息进行编码。
在适用本发明的影像编码方法中，所述第2分割步骤，还能够包括：对在包含于所述分割对象区块的同时还相当于所述当前影像的边界外区域的剩余区域的大小与特定的临界值进行比较的步骤；其中，能够基于所述比较结构对所述分割对象区块执行所述四叉树分割以及所述二叉树分割中的某一个。
在适用本发明的影像编码方法中，所述剩余区域的大小为所述剩余区域的横向长度以及纵向长度中的较小者，所述第2分割步骤能够在所述剩余区域的大小大于所述特定的临界值时对所述分割对象区块执行所述四叉树分割，而在所述剩余区域的大小小于所述特定的临界值时对所述分割对象区块执行所述二叉树分割。
在适用本发明的影像编码方法中，所述第2分割步骤，是对所述分割对象区块执行二叉树分割的步骤，所述二叉树分割的分割方向，能够基于在包含于所述分割对象区块的同时还相当于所述当前影像的边界外区域的剩余区域的形态决定。
在适用本发明的影像编码方法中，所述二叉树分割的分割方向，能够在所述剩余区域的形态为纵向较长的区块时为垂直方向，而在所述剩余区域的形态为横向较长的区块时为水平方向。
适用本发明的影像解码方法，包括：将当前影像分割成多个区块的第1分割步骤；以及，将所述多个区块中包含所述当前影像的边界的分割对象区块分割成多个下级区块的第2分割步骤；其中，所述第2分割步骤能够以包含所述当前影像的边界的下级区块作为所述分割对象区块递归执行，直至所述下级区块中不再有包含所述当前影像的边界的下级区块。
在适用本发明的影像解码方法中，所述第2分割步骤，能够是对所述分割对象区块执行四叉树分割或二叉树分割的步骤。
在适用本发明的影像解码方法中，当所述分割对象区块为可执行所述四叉树分割的大小时，在所述第2分割步骤中能够对所述分割对象区块执行所述四叉树分割，而当所述分割对象区块为不可执行所述四叉树分割的大小时，在所述第2分割步骤中能够对所述分割对象区块执行所述二叉树分割。
在适用本发明的影像解码方法中，当在所述第2分割步骤中对所述分割对象区块执行了所述四叉树分割或所述二叉树分割时，能够不从比特流对用于指示所述分割对象区块的四叉树分割与否的第1分割信息或用于指示所述分割对象区块的二叉树分割与否的第2分割信息进行解码，而是通过特定的值进行推导。
在适用本发明的影像解码方法中，当在所述第2分割步骤中对所述分割对象区块执行了所述二叉树分割时，所述二叉树分割的分割方向能够基于在包含于所述分割对象区块的同时还相当于所述当前影像的边界内区域的解码对象区块的形态决定。
在适用本发明的影像解码方法中，当在所述第2分割步骤中对所述分割对象区块执行了所述二叉树分割时，能够不从比特流对用于指示所述二叉树分割的分割方向的分割方向信息进行解码，而是通过特定的值进行推导。
在适用本发明的影像解码方法中，所述第2分割步骤，还能够包括：对在包含于所述分割对象区块的同时还相当于所述当前影像的边界外区域的剩余区域的大小与特定的临界值进行比较的步骤；其中，能够基于所述比较结构对所述分割对象区块执行所述四叉树分割以及所述二叉树分割中的某一个。
在适用本发明的影像解码方法中，所述剩余区域的大小为所述剩余区域的横向长度以及纵向长度中的较小者，所述第2分割步骤能够在所述剩余区域的大小大于所述特定的临界值时对所述分割对象区块执行所述四叉树分割，而在所述剩余区域的大小小于所述特定的临界值时对所述分割对象区块执行所述二叉树分割。
在适用本发明的影像解码方法中，所述第2分割步骤，是对所述分割对象区块执行二叉树分割的步骤，所述二叉树分割的分割方向，能够基于在包含于所述分割对象区块的同时还相当于所述当前影像的边界外区域的剩余区域的形态决定。
在适用本发明的影像解码方法中，所述二叉树分割的分割方向，能够在所述剩余区域的形态为纵向较长的区块时为垂直方向，而在所述剩余区域的形态为横向较长的区块时为水平方向。
适用本发明的影像解码方法，能够包括：对包括当前区块的上级区块的分割形态进行判断的步骤；基于所述上级区块的分割形态构建所述当前区块的参考候选列表的步骤；基于所述参考候选列表推导出所述当前区块的预测信息的步骤；以及，基于所述预测信息生成所述当前区块的预测区块的步骤；其中，所述参考候选列表中能够包含至少一个候选区块或所述至少一个候选区块的预测信息。
在适用本发明的影像解码方法中，当所述上级区块的分割形态为二叉树分割时，还能够包括：对解码顺序上的所述当前区块之上一个区块的分割深度与所述当前区块的分割深度进行比较的步骤；以及，对所述上一个区块的上级区块与所述当前区块的上级区块是否相同进行判断的步骤；其中，当所述上一个区块的分割深度与所述当前区块的分割深度相同且所述上一个区块的上级区块与所述当前区块的上级区块相同时，能够将所述上一个区块从所述至少一个候选区块中排除。
在适用本发明的影像解码方法中，还能够包括：在将所述上一个区块从所述至少一个候选区块中排除时，将替代区块包含到所述参考候选列表中的步骤。
在适用本发明的影像解码方法中，所述替代区块能够是从所述当前区块的上级区块分割出的区块中的不与所述当前区块相邻的区块。
在适用本发明的影像解码方法中，当所述当前区块采用帧内预测时所述参考候选列表能够是MPM列表，而当所述当前区块采用帧间预测时所述参考候选列表能够是包含空间候选的候选列表。
在适用本发明的影像解码方法中，当所述上级区块的分割形态为四叉树分割时，还能够包括：对所述当前区块是否为通过对所述上级区块执行四叉树分割而生成的4个子区块在解码顺序上的最后一个子区块进行判断的步骤；以及，当所述当前区块为所述最后一个子区块时，对所述4个子区块中除所述当前区块之外的剩余的3个子区块是否具有相同的预测信息进行判断的步骤；其中，当所述剩余的3个子区块具有相同的预测信息时，能够将所述剩余的3个子区块从所述至少一个候选区块中排除。
在适用本发明的影像解码方法中，所述至少一个候选区块能够按照特定的优先级包含到所述参考候选列表中。
在适用本发明的影像解码方法中，所述优先级能够基于所述当前区块与所述候选区块的相邻与否以及所述候选区块的位置中的至少一个决定。
在适用本发明的影像解码方法中，能够为与所述当前区块相邻的候选区块分配比没有与所述当前区块相邻的候选区块更高的优先级。
在适用本发明的影像解码方法中，能够为位于所述当前区块的左侧或上端的候选区块分配比其他候选区块更高的优先级。
在适用本发明的影像解码方法中，所述优先级能够基于所述当前区块的分割深度以及所述候选区块的分割深度中的至少一个决定。
在适用本发明的影像解码方法中，能够在所述当前区块的分割深度与所述候选区块的分割深度之间的差异越小时分配越高的优先级。
在适用本发明的影像解码方法中，能够为分割深度较大的候选区块分配比分割深度较小的候选区块更高的优先级。
在适用本发明的影像解码方法中，所述优先级能够基于所述候选区块的分割顺序决定。
在适用本发明的影像解码方法中，能够为分割顺序较早的候选区块分配比分割顺序较晚的候选区块更高的优先级。
在适用本发明的影像解码方法中，所述优先级能够基于所述候选区块之间的预测信息的关系决定。
在适用本发明的影像解码方法中，当所述候选区块中的第1候选区块的预测信息是基于所述候选区块中的第2候选区块的预测信息决定时，能够为所述第1候选区块分配比所述第2候选区块更低的优先级。
适用本发明的影像解码方法，能够包括：推导出当前区块的预测信息的步骤；基于所述预测信息生成所述当前区块的预测区块的步骤；对包含所述当前区块的升级区块的分割形态进行判断的步骤；基于所述上级区块的分割形态构建所述当前区块的参考候选列表的步骤；以及，基于所述参考候选列表对所述当前区块的所述预测信息进行编码的步骤；其中，所述参考候选列表中能够包含至少一个候选区块或所述至少一个候选区块的预测信息。
在适用本发明的影像编码方法中，当所述上级区块的分割形态为二叉树分割时，还包括：对编码顺序上的所述当前区块之上一个区块的分割深度与所述当前区块的分割深度进行比较的步骤；以及，对所述上一个区块的上级区块与所述当前区块的上级区块是否相同进行判断的步骤；其中，当所述上一个区块的分割深度与所述当前区块的分割深度相同且所述上一个区块的上级区块与所述当前区块的上级区块相同时，将所述上一个区块从所述至少一个候选区块中排除的影像编码方法。
在适用本发明的影像编码方法中，当所述上级区块的分割形态为四叉树分割时，还能够包括：对所述当前区块是否为通过对所述上级区块执行四叉树分割而生成的4个子区块在编码顺序上的最后一个子区块进行判断的步骤；以及，当所述当前区块为所述最后一个子区块时，对所述4个子区块中除所述当前区块之外的剩余的3个子区块是否具有相同的预测信息进行判断的步骤；其中，当所述剩余的3个子区块具有相同的预测信息时，能够将所述剩余的3个子区块从所述至少一个候选区块中排除。
在适用本发明的影像编码方法中，所述至少一个候选区块能够按照特定的优先级包含到所述参考候选列表中。
在适用本发明的影像编码方法中，所述优先级能够基于所述当前区块与所述候选区块的相邻与否以及所述候选区块的位置中的至少一个决定。
在适用本发明的影像编码方法中，所述优先级能够基于所述当前区块的分割深度以及所述候选区块的分割深度中的至少一个决定。
在适用本发明的影像编码方法中，所述优先级能够基于所述候选区块的分割顺序决定。
在适用本发明的影像编码方法中，所述优先级能够基于所述候选区块之间的预测信息的关系决定。
适用本发明的计算机可读取的记录介质，能够对通过适用本发明的影像编码方法生成的比特流进行保存。
通过本发明，可以提供能够提升压缩效率的影像编码/解码方法及装置。
此外，通过本发明，可以提供一种能够在影像的编码/解码过程中以区块单位对齐影像大小的填充方法及装置。
此外，通过本发明，可以提供一种能够在影像的编码/解码过程中提升影像边界处理效率的区块分割方法及装置。
此外，通过本发明，可以提供一种能够通过在对当前区块进行编码/解码时有效地利用周边区块的信息而提升压缩效率的影像编码/解码方法及装置。
此外，通过本发明，可以提供一种能够对通过适用本发明的影像编码方法/装置生成的比特流进行保存的计算机可读取的记录介质。
通过适用本发明的填充方法及装置或区块分割方法及装置，能够提升影像的压缩效率。
附图说明
图1是对适用本发明之一实施例的影像编码装置进行简要图示的块状构成图。
图2是对通过影像编码/解码装置定义的帧内预测模式的类型进行图示的示意图。
图3是对基于平面模式的帧内预测方法进行图示的示意图。
图4是对帧内预测时的参考像素进行图示的示意图。
图5是对基于水平模式和垂直模式的帧内预测方法进行图示的示意图。
图6是对适用本发明之一实施例的影像解码装置进行简要图示的块状构成图。
图7是用于对适用本发明之一实施例的填充过程进行说明的示意图。
图8a以及8b是用于对适用本发明的填充过程进行说明的示意图。
图9是用于对图1中的影像分割部101的动作进行说明的示意图。
图10是用于对适用本发明的解码器的动作进行说明的示意图。
图11是对当前影像的大小不等于最大区块大小的倍数的情况进行示例性图示的示意图。
图12a至图12e是用于对适用本发明之一实施例的影像分割方法进行说明的示例图。
图13a至图13e是用于对适用本发明之另一实施例的影像分割方法进行说明的示例图。
图14是用于对在跳过模式和合并模式下生成运动信息候选组的方法进行说明的示意图。
图15是用于对在AMVP模式下推导出运动推测用的运动信息候选组的方法进行说明的示意图。
图16是用于对当前区块的空间性后补区块以及时间性后补区块的位置进行说明的示意图。
图17是用于对决定时间候选的运动信息的方法进行说明的示意图。
图18是对能够在生成双向运动信息候选时使用的组合的优先级进行示例性示意的图表。
图19是用于对MPM候选列表的生成进行说明的示意图。
图20是用于对跳过模式、合并模式、AMVP模式以及帧内预测模式的最佳预测信息的编码方法进行说明的示意图。
图21是用于对最佳预测信息的解码方法进行说明的示意图。
图22是用于对利用当前区块之周边区块构建参考候选列表的一实施例进行说明的示意图。
图23是用于对基于区块的分割形态构建当前区块的参考候选列表的实例进行说明的示意图。
图24是用于对利用当前区块之周边区块构建参考候选列表的另一实施例进行说明的示意图。
图25是用于对基于区块的分割形态构建当前区块的参考候选列表的另一实施例进行说明的示意图。
图26是用于对包含于参考候选列表中的当前区块之周边区块的优先级变更方法进行说明的示意图。
图27是用于对基于分割深度的周边区块优先级决定方法进行说明的示意图。
图28是用于对基于分割顺序的周边区块优先级决定方法进行说明的示意图。
图29是用于对基于预测信息之因果关系的周边区块优先级决定方法进行说明的示意图。
图30是用于对同时考虑到分割深度以及分割顺序时的周边区块优先级决定方法进行说明的示意图。
具体实施方式
本发明能够进行各种变更并具有多种不同的实施例，接下来将在附图中对特定的实施例进行图示并进行详细的说明。但是，下述内容并不是为了将本发明限定于特定的实施形态，而是应该理解为包括本发明的思想以及技术范围内的所有变更、均等物乃至替代物。在对各个附图进行说明的过程中，对于类似的构成要素使用了类似的参考符号。
在对不同的构成要素进行说明的过程中能够使用如第1、第2等术语，但是所述构成要素并不因为所述术语而受到限定。所述术语只是用于对一个构成要素与其他构成要素进行区别。例如，在不脱离本发明的权利要求范围的前提下，第1构成要素也能够被命名为第2构成要素，同理，第2构成要素也能够被命名为第1构成要素。术语“和/或”包括多个相关记载项目的组合或多个相关记载项目中的某一个项目。
当记载为某个构成要素与其他构成要素“连接”或“接触”时，应理解为不仅能够与所述其他构成要素直接连接或接触，还能够在两者之间有其他构成要素存在。与此相反，当记载为某个构成要素与其他构成要素“直接连接”或“直接接触”时，应理解为在两者之间没有其他构成要素存在。
在本申请中所使用的术语只是为了对特定的实施例进行说明，并不是为了对本发明进行限定。除非上下文中有明确的相反含义，否则单数型语句还包含复数型含义。在本发明中，“～包括～”或“～由……构成～”等术语只是为了表明说明书中所记载的特征、数字、步骤、动作、构成要素、部件或所述之组合存在，并不应该理解为事先排除一个或多个其他特征、数字、步骤、动作、构成要素、部件或所述之组合存在或被附加的可能性。
接下来，将结合附图对适用本发明的实施例进行详细的说明。在下述内容中，对于附图中相同的构成要素将使用相同的参考符号且对相同构成要素的重复说明将被省略。
图1是对适用本发明之一实施例的影像编码装置进行图示的块图。
参阅图1，影像编码装置100能够包括影像分割部101、帧内预测部102、帧间预测部103、减法运算部104、变换部105、量化部106、熵编码部107、逆量化部108、逆变换部109、加法运算部110、滤波部111以及存储器112。
在图1中为了表示影像编码装置中不同的特殊功能而对各个构成部单独进行了图示，但这并不代表各个构成部由相互分离的硬件或一个软件单位构成。即，虽然为了说明的便利而对各个构成部进行了罗列说明，但是既能够将各个构成部中的至少两个构成部合并成一个构成部，也能够将一个构成部分割成多个构成部并使其执行对应的功能，而如上所述的各个构成部被整合的实施例以及被分离的实施例在不脱离本发明之本质的前提下包含于本发明的权利要求范围之内。
此外，一部分构成要素可能并不是在本发明中执行本质功能所必要的构成要素，而只是用于提升性能的可选构成要素。本发明能够仅包括除只是用于提升性能的构成要素之外的实现本发明之本质所必要的构成部，而仅包括除只是用于提升性能的可选构成要素之外的必要构成要素的结构同样包含于本发明的权利要求范围之内。
影像分割部100能够将输入影像分割成至少一个区块。此时，输入影像能够是如图像(Picture)、条带(Slice)、并行区块(Tile)、片段(Segment)等多种不同的形态和大小。区块能够是指编码单位(CU)、预测单位(PU)或变换单位(TU)。所述分割能够基于四叉树(Quadtree)或二叉树(Biniary tree)中的至少一种执行。四叉树是将上级区块分割成宽度和高度均为上级区块的一半的四个下级区块的方式。二叉树是将上级区块分割成宽度或高度中的某一个为上级区块的一半的两个下级区块的方式。通过基于所述二叉树的分割，不仅能够将区块分割成正方形，还能够分割成非正方形形态。
接下来，在适用本发明的实施例中，编码单位不仅能够作为编码执行单位的含义使用，也能够作为解码执行单位的含义使用。
预测部102、103能够包括用于执行帧间预测的帧间预测部103以及用于执行帧内预测的帧内预测部102。能够在决定对预测单位执行帧间预测还是帧内预测之后，再根据不同的预测方法决定具体信息(例如帧内预测模式、运动向量、参考图像等)。此时，执行预测的处理单位与决定预测方法以及具体内容的处理单位能够不同。例如，预测方法以及预测模式等能够以预测单位决定，而执行预测时能够以变换单位执行。
所生成的预测区块与原始区块之间的残差值(残差区块)能够被输入到变换部105。此外，执行预测时使用的如预测模式信息、运动向量信息等能够在与残差值一起被熵编码部107编码之后传送到解码器。在使用特定编码模式的情况下，也能够不通过预测部102、103生成预测区块，而是在直接对原始区块进行编码之后传送到解码部。
帧内预测部102能够基于当前图像内的像素信息即当前区块周边的参考像素信息生成预测区块。当执行帧内预测的当前区块之周边区块的预测模式为帧间预测时，能够将已适用帧间预测的周边区块中包含的参考像素替代成已适用帧内预测的周边其他区块内的参考像素。即，在参考像素不可用的情况下，能够在将不可用参考像素信息替代成可用参考像素中的至少一个参考像素之后使用。
在帧内预测中，预测模式能够包括根据预测方向使用参考像素信息的定向预测模式以及在执行预测时不使用方向信息的非定向模式。用于预测亮度信息的模式与用于预测色差信息的模式能够不同，在对色差信息进行预测时能够使用在预测亮度信息的过程中使用的帧内预测模式信息或所预测到的亮度信号信息。
帧内预测部102能够包括AIS(Adaptive Intra Smoothing，自适应帧内平滑)滤波器、参考像素插值部以及DC滤波器。AIS滤波器是用于对当前区块的参考像素执行滤波的滤波器，能够根据当前预测单位的预测模式自适应地决定滤波器的适用与否。在当前区块的预测模式为不执行AIS滤波的模式时，能够不适用AIS滤波器。
当预测单位的帧内预测模式为基于对参考像素进行插值的像素值执行帧内预测的预测单位时，帧内预测部102的参考像素插值部能够通过对参考像素进行插值而生成分数单位位置的参考像素。在当前预测单位的预测模式为不对参考像素进行插值而生成预测区块的预测模式时，能够不对参考像素进行插值。在当前区块的预测模式为DC模式时，DC滤波器能够通过滤波生成预测区块。
能够生成包含在预测部102、103中生成的预测单位与预测单位的原始区块之间的差异值即残差值(Residual)信息的残差区块。所生成的残差区块能够被输入到变换部130中进行变换。
图2是用于对帧内预测模式的一实例进行说明的示意图。图2所示的帧内预测模式包括共计35种模式。第0号模式是指平面模式(Planar mode)，第1号模式是指DC模式，而第2号至第34号模式是指角度模式(Angular mode)。
图3是用于对平面模式下的帧内预测进行说明的示意图。
图3是用于对平面模式进行说明的示意图。为了生成当前区块内的第一个像素P1的预测值，按照如图所示的方式对位于Y轴相同位置上的已重建像素与位于当前区块的右侧上端的已重建像素T进行线性插值。同理，为了生成第二个像素P2的预测值，按照如图所示的方式对位于X轴相同位置上的已重建像素与位于当前区块的左侧下端的已重建像素L进行线性插值。对两个预测像素P1和P2进行平均的值，将成为最终的预测像素。在平面模式下，通过按照如上所述的方式推导出预测像素而生成当前区块的预测区块。
图4是用于对DC模式进行说明的示意图。在计算出当前区块周边的已重建像素的平均值之后，将所述平均值作为当前区块内的所有像素的预测值使用。
图5是用于对利用图2中的第10号模式(水平模式)以及第26号模式(垂直模式)生成预测区块的一实例进行说明的示意图。在使用第10号模式时，通过将与当前区块的左侧相邻的各个参考像素向右侧方向进行复制而生成当前区块的预测区块。同理，在使用第26号模式时，通过将与当前区块的上侧相邻的各个参考像素向下侧方向进行复制而生成当前区块的预测区块。
重新参阅图1，帧间预测部103既能够基于当前图像的前一个图像或后一个图像中的至少一个图像的信息对预测单位进行预测，在部分情况下也能够基于当前图像内已完成编码的一部分区域的信息对预测单位进行预测。帧间预测部103能够包括参考图像插值部、运动预测部以及运动补偿部。
参考图像插值部能够从存储器112接收参考图像信息并在参考图像生成整数像素以下的像素信息。对于亮度像素，为了以1/4像素单位生成整数像素以下的像素信息，能够使用滤波系数变化的基于DCT的8抽头插值滤波器(DCT-based Interpolation Filter)。对于色差信号，为了以1/8像素单位生成整数像素以下的像素信息，能够使用滤波系数不同的基于DCT的4抽头插值滤波器(DCT-based Interpolation Filter)。
运动预测部能够以通过参考图像插值部进行插值的参考图像为基础执行运动预测。作为计算出运动向量的方法，能够使用如FBMA(Full search-based Block MatchingAlgorithm，全搜索区块匹配算法)、TSS(Three Step Search，三步搜索算法)、NTS(NewThree-Step Search Algorithm，新三步搜索算法)等多种不同的方法。运动向量能够基于已插值的像素使用1/2或1/4像素单位的运动向量值。运动预测部能够通过不同的运动预测方法对当前预测单位进行预测。作为运动预测方法，能够使用如跳过(Skip)法、合并(Merge)法、AMVP(Advanced Motion Vector Prediction，高级运动向量预测)法等多种方法。
减法运算部104通过对当前拟编码的区块与在帧内预测部102或帧间预测部103中生成的预测区块进行减法运算而生成当前区块的残差区块。
在变换部105中，能够通过对原始区块与预测区块的差异即残差区块进行变换而生成变换区块。变换区块能够是执行变换以及量化过程的最小的单位。变换部105能够通过将残差信号变换成频率区域而生成包含变换系数的变换区块。为了将包含残差数据的残差区块变换成频率区域，能够使用如DCT(Discrete Cosine Transform，离散余弦变换)、DST(Discrete Sine Transform，离散正弦变换)、KLT(Karhunen Loeve Transform，卡洛南-洛伊变换)等变换方法。通过利用所述变换方法将残差信号变换成频率区域，能够生成变换系数。为了便于变换的执行，能够执行利用基向量(basis vector)的矩阵运算。根据对预测区块进行编码时的预测模式，能够在矩阵运算时混合使用多种不同的变换方法。例如，能够基于在生成残差区块时所使用的预测单位的帧内预测模式决定变换方法。例如，能够根据帧内预测模式在水平方向上使用DCT而在垂直方向上使用DST。
量化部106能够对在变换部105中变换成频率区域的值进行量化。即，量化部106能够对从变换部105生成的变换区块的变换系数进行量化而生成具有已量化的变换系数的已量化的变换区块(Quantized Transform Coefficient)。作为量化方法，能够使用如死区均匀阈值量化(DZUTQ：Dead Zone Uniform Threshold Quantization)或量化加权矩阵(Quantization Weighted Matrix)等。或者，也能够利用如对其进行改良的量化等多种量化方法。量化系数能够根据区块或影像的重要程度而发生变化。在量化部106中计算出的值能够被提供到逆量化部108以及熵编码部107。
所述变换部105和/或量化部106能够被选择性地包含到影像编码装置100。即，影像编码装置100能够对残差区块的残差数据执行变换或量化中的至少一种，也能够同时跳过变换以及量化而对残差区块进行编码。即使是在影像编码装置100没有执行变换或量化中的某一种或变换以及量化均没有被执行的情况下，被输入到熵编码部107中的区块通常都会被称之为变换区块。
熵编码部107对输入数据进行熵编码。熵编码部107能够对已量化的变换区块进行编码并输出比特流。即，熵编码部107能够通过如熵编码(Entropy Encoding)等多种不同的编码技法对从量化部106输出的已量化的变换区块的已量化的变换系数进行编码。此外，熵编码部107还能够对在后续说明的影像解码装置中对相应的区块进行解码时所需要的附加信息(例如，预测模式相关信息以及量化系数等)进行编码。在执行熵编码时能够使用如指数哥伦布码(Exponential Golomb)、CAVLC(Context-Adaptive Variable Length Coding，基于上下文自适应的可变长编码)、CABAC(Context-Adaptive Binary ArithmeticCoding，基于上下文自适应的二进制算术编码)等多种不同的编码方法。
熵编码部107能够对来自预测部102、103的如编码单位的残差值系数信息以及区块类型信息、预测模式信息、分割单位信息、预测单位信息以及传送单位信息、运动向量信息、参考帧信息、区块的插值信息、滤波信息等多种不同的信息进行编码。在熵编码部107中，变换区块的系数能够以变换区块内的部分区块单位基于用于指示非0的系数、绝对值大于1或2的系数以及系数的符号等的多种类型的标志进行编码。对于无法仅基于所述标志进行编码的系数，能够基于通过标志进行编码的系数与实际变换区块的系数之间的差异的绝对值进行编码。在逆量化部108以及逆变换部109中，对在量化部106中量化的值进行逆量化并对在变换部105中变换的值进行逆变换。能够通过将在逆量化部108以及逆变换部109中生成的残差值(Residual)与通过预测部102、103中包含的运动推测部、运动补偿部以及帧内预测部102预测出的预测单位进行合并而生成重建区块(Reconstructed Block)。加法运算器110能够通过对在预测部102、103中生成的预测区块与通过逆变换部109生成的残差区块进行加法运算而生成重建区块。
滤波部111能够包括去块滤波器、偏移补正部、ALF(Adaptive Loop Filter，自适应环路滤波器)中的至少一个。
去块滤波器能够消除在重建图像中因为区块之间的边界而出现的区块失真。为了判断是否需要执行去块，能够基于包含于区块的若干个列或行中的像素判断是否需要对当前区块适用去块滤波器。在对区块适用去块滤波器时，能够根据所需要的去块滤波强度适用强滤波器(Strong Filter)或弱滤波器(Weak Filter)。此外，在适用去块滤波器的过程中，能够在执行垂直滤波以及水平滤波的同时并行执行水平方向滤波以及垂直方向滤波。
偏移补正部能够对已执行去块的影像以像素单位执行与原始影像之间的偏移补正。为了对特定图像执行偏移补正，能够使用在将影像中包含的像素划分成一定数量的区域之后决定需要执行偏移的区域并对相应区域适用偏移的方法或在考虑各个像素的边缘信息的情况下适用偏移的方法。
ALF(Adaptive Loop Filtering，自适应环路滤波)能够基于对已滤波的重建影像与原始影像进行比较的值执行。也能够在将影像中包含的像素划分成特定的组之后决定需要适用到相应组中的一个滤波器并对不同的组分别执行不同的滤波。对于与是否适用ALF相关的信息，亮度信号能够以编码单位(Coding Unit，CU)进行传送，而且在各个区块中适用的ALF滤波器的形状以及滤波系数能够不同。此外，还能够适用相同形态(固定形态)的ALF滤波器而不考虑适用对象区块的特性。
存储器112能够对通过滤波部111计算出的重建区块或图像进行保存，所保存的重建区块或图像能够在执行帧间预测时提供到预测部102、103。
所述帧内预测部102以及帧间预测部103能够被统称为预测部。预测部能够利用当前区块的周边像素或之前已完成重建的参考图像生成预测区块。作为预测区块，能够在当前区块内生成1个或多个预测区块。在当前区块内的预测区块为1个时，预测区块与当前区块能够具有相同的形态。在生成预测区块之后，能够生成对应于当前区块与预测区块之间的差分的残差区块。通过对所生成的残差区块适用如率失真优化(RDO：Rate-DistortionOptimization)等多种不同的技法，能够决定最佳预测模式。例如，在进行RDO计算时能够使用如下所示的公式1。
[公式1]
在所述公式1中，D()、R()以及J()分别代表量化所导致的失真、压缩数据流的码率以及RD代价。Φ代表编码模式。λ代表拉格朗日乘数(Lagranginan multiplier)，作为用于对错误量与比特量之间的单位进行匹配的比例校正系数使用。为了在编码过程中被选择为最优化编码模式，在适用相模式时的j()即RD代价应小于适用其他模式时的结果。在对RD代价进行计算时，能够同时考虑比特率以及错误。
图6是对适用本发明之一实施例的影像解码装置600进行图示的块图。
参阅图6，影像解码装置600能够包括熵解码部601、逆量化部602、逆变换部603、加法运算部604、滤波部605、存储器606以及预测部607、608。
当通过影像编码装置100生成的影像比特流被输入到影像解码装置600时，能够按照与影像编码装置100执行的过程相反的过程对所输入的比特流进行解码。
熵解码部601能够按照与影像编码装置100的熵编码部107中执行的熵编码相反的步骤进行熵解码。例如，能够对应于在影像编码器中执行的方法，适用如指数哥伦布码(Exponential Golomb)、CAVLC(Context-Adaptive Variable Length Coding，基于上下文自适应的可变长编码)、CABAC(Context-Adaptive Binary Arithmetic Coding，基于上下文自适应的二进制算术编码)等多种不同的方法。在熵解码部601中，变换区块的系数能够以变换区块内的部分区块单位基于用于指示非0的系数、绝对值大于1或2的系数以及系数的符号等的多种类型的标志进行解码。对于无法仅基于所述标志表现的系数，能够基于通过标志表现的系数与信令系数的和进行解码。
在熵解码部601中，能够对与在编码器中执行的帧内预测以及帧间预测相关的信息进行解码。
逆量化部602通过对已量化的变换区块执行逆量化而生成变换区块。按照与图1中的逆量化部108实质相同的方式工作。
逆量化部603通过对变换区块执行逆变换而生成残差区块。此时，能够基于与预测方法(帧间或帧内预测)、区块的大小和/或形态、帧内预测模式等相关的信息决定变换方法。按照与图1中的逆变换部109实质相同的方式工作。
加法运算部604通过对在帧内预测部607或帧间预测部608中生成的预测区块与通过逆变换部603生成的残差区块进行加法运算而生成重建区块。按照与图1中的加法运算部110实质相同的方式工作。
滤波部605用于减少在重建的区块中出现的多种类型的噪声。
滤波部605能够包括去块滤波器、偏移补正部以及ALF。
从影像编码装置100，能够接收到是否对相应区块或图像适用去块滤波器以及在适用去块滤波器的情况下适用了强滤波还是弱滤波的相关信息。影像解码装置600的去块滤波器能够在接收到从影像编码装置100提供的去块滤波器相关信息之后在影像解码装置600中对相应区块执行去块滤波。
偏移补正部能够基于在进行编码时适用于影像的偏移补正类型以及偏移值信息等对已重建的影像执行偏移补正。
ALF能够基于从影像编码装置100提供的ALF适用与否信息、ALF系数信息等适用到编码单位。如上所述的ALF信息能够被包含到特定的参数集中提供。滤波部605按照与图1中的滤波部111实质相同的方式工作。
存储器606用于对通过加法运算部604生成的重建区块进行保存。按照与图1中的存储器112实质相同的方式工作。
预测部607、608能够基于从熵解码部601提供的预测区块生成相关信息以及从存储器606提供的之前已解码的区块或图像信息生成预测区块。
预测部607、608能够包括帧内预测部607以及帧间预测部608。虽然没有单独进行图示，但是预测部607、608还能够包括预测单位判定部。预测单位判定部能够接收从熵解码部601输入的预测单位信息、帧内预测方法的预测模式信息、帧间预测方法的运动预测相关信息等的多种不同的信息并从当前解码单位区分预测单位，从而判定预测单位执行帧间预测还是执行帧内预测。帧间预测部608能够利用从影像编码装置100提供的当前预测单位的帧间预测所需要的信息，基于包含当前预测单位的当前图像的上一个图像或下一个图像中的至少一个图像中包含的信息对当前预测单位执行帧间预测。或者，也能够在包含当前预测单位的当前图像内，基于已重建的一部分区域的信息执行帧间预测。
为了执行帧间预测，能够以编码单位作为基准判断包含于相应编码单位中的预测单位的运动预测方法是跳过模式(Skip Mode)、合并模式(Merge Mode)、高级运动向量预测模式(AMVP Mode)中的哪一种方法。
帧内预测部607利用位于当期拟编码的区块周边的以及已重建的像素生成预测区块。
帧内预测部607能够包括AIS(Adaptive Intra Smoothing，自适应帧内平滑)滤波器、参考像素插值部以及DC滤波器。AIS滤波器是用于对当前区块的参考像素执行滤波的滤波器，能够根据当前预测单位的预测模式自适应地决定滤波器的适用与否。能够利用从影像编码装置100提供的预测单位的预测模式以及AIS滤波器信息对当前区块的参考像素执行AIS滤波。在当前区块的预测模式为不执行AIS滤波的模式时，能够不适用AIS滤波器。
当预测单位的预测模式为基于对参考像素进行插值的像素值执行帧内预测的预测单位时，帧内预测部607的参考像素插值部能够通过对参考像素进行插值而生成分数单位位置的参考像素。所生成的分数单位位置上的参考像素能够作为当前区块内的像素的预测像素使用。在当前预测单位的预测模式为不对参考像素进行插值而生成预测区块的预测模式时，能够不对参考像素进行插值。在当前区块的预测模式为DC模式时，DC滤波器能够通过滤波生成预测区块。
帧内预测部607按照与图1中的帧内预测部102实质相同的方式工作。
帧间预测部608利用保存在存储器606中的参考图像以及运动信息生成帧间预测区块。帧间预测部608按照与图1中的帧间预测部103实质相同的方式工作。
本发明尤其涉及填充以及影像的边界处理，接下来将结合附图对适用本发明的多种不同的实施例进行详细的说明。
在适用本发明的一实施例中，能够在将编码对象影像输入到图1的影像分割部101之前执行预处理过程。编码对象影像能够具有像素单位的多种不同的横向以及纵向大小。但是，因为影像的编码以及解码是以任意的区块单位而非像素单位执行，因此需要通过执行填充过程而使编码对象影像的大小与区块单位匹配。
图7是用于对适用本发明之一实施例的填充过程进行说明的示意图。
在图7所示的实例中，编码对象影像包括区块区域以及非区块区域。通过对所述编码对象影像执行所述预处理过程，能够追加被填充的区域。在追加被填充的区域之后，能够将所述编码对象影像输入到图1的影像分割部101中。
在图7所示的实例中，最小区块单位能够是4×4。区块的横向或纵向长度能够是2n。因此，例如在编码对象影像的横向以及纵向长度分别为9的情况下，所述编码对象影像的右侧1列以及下端1行能够成为没有被包含到区块区域中的非区块区域。如上所述，当编码对象影像中包含非区块区域时，能够在考虑所述最小区块的大小的前提下执行填充。通过按照如上所述的方式在考虑区块大小的前提下执行填充，被填充之后的编码对象影像将不再包含非区块区域。通过将已填充的编码对象影像输入到图1的影像分割部101中分割成多个区块，能够以区块单位进行编码。
图8a以及8b是用于对适用本发明的填充过程进行说明的示意图。
首先，能够利用与拟填充像素最接近的像素沿着水平方向执行填充。在图8a所示的实例中，最上端的3个填充对象像素能够利用与左侧相邻的非区块区域的像素A进行填充。
接下来，能够利用与拟填充像素最接近的像素沿着垂直方向执行填充。在图8b所示的实例中，最左侧的3个填充对象像素能够利用与上端相邻的非区块区域的像素I进行填充。
在所述实例中，对从水平方向到垂直方向的填充过程进行了说明，但是本发明并不限定于此，也能够从垂直方向到水平方向进行填充。所述最小区块的大小既能够是结合图9进行说明的区块单位，也能够是子区块单位。
图9是用于对图1中的影像分割部101的动作进行说明的示意图。
输入影像能够被分割成多个最大区块。最大区块的大小能够预先设定或通过比特流进行信令。例如，当输入影像的大小为128×129而最大区块的大小为64×64时，输入影像能够被分割成4个最大区块。
各个最大区块能够被输入到图1的影像分割部101中分割成多个区块。输入影像也能够在不分割成多个最大区块的情况下直接输入到影像分割部101中。所分割区块的最小大小和/或能够被分割成子区块的区块的最大大小能够被预先设定或通过区块的上级报头进行信令。所述上级能够是视频(Video)、序列(Sequence)、图像(Picture)、条带(Slice)、并行区块(Tile)、最大编码单元(LCU；Largest Coding Unit)中的至少一个。
当前区块能够被分割成4个子区块或被分割成2个子区块。
当前区块被分割成4个子区块的过程称之为四叉树(quad-tree)分割。当前区块能够通过四叉树分割被分割成具有相同大小的4个子区块。第1分割信息是用于指示当前区块的四叉树分割与否的信息。第1分割信息能够是如1比特的标志。
当前区块被分割成2个子区块的过程称之为二叉树(binary-tree)分割。当前区块能够通过四叉树分割被分割成具有相同或不同大小的2个子区块。第2分割信息是用于指示当前区块的二叉树分割与否的信息。第2分割信息能够是如1比特的标志。当对当前区块执行二叉树分割时，能够进一步对分割方向信息进行信令。分割方向信息用于指示当前区块的分割是水平方向上的分割还是垂直方向上的分割。分割方向信息能够是如1比特的标志。当当前区块被分割成具有不同大小的2个子区块时，能够进一步对分割形态信息进行信令。分割形态信息用于指示2个子区块的分割比例。
当前区块能够利用四叉树分割以及二叉树分割以递归方式执行分割。例如，在通过四叉树分割将当前区块分割成4个子区块之后，各个子区块能够以递归方式再次执行四叉树分割或二叉树分割，也能够不再执行分割。在通过二叉树分割将当前区块分割成2个子区块之后，各个子区块能够以递归方式再次执行四叉树分割或二叉树分割，也能够不再执行分割。或者，也能够不再对通过二叉树分割生成的子区块执行四叉树分割。
编码器能够决定是否对所输入的当前区块执行四叉树分割。在步骤S901中，能够基于所述决定对第1分割信息进行编码。在对当前区块执行四叉树分割时，即，当在步骤S902中的判定结果为是时，在步骤S903中，能够通过四叉树分割将当前区块分割成4个区块。在步骤S904、S916中，通过四叉树分割生成的4个区块能够分别按照特定的顺序重新输入到步骤S901。所述特定的顺序能够是Z-扫描顺序。在步骤S904中，能够根据所述特定的顺序特别指定所述4个区块中的第一个区块并作为当前区块输入到步骤S901。
在不对当前区块执行四叉树分割时，即，当在步骤S902中的判定结果为否时，编码器能够决定是否对当前区块执行二叉树分割。在步骤S905中，能够基于所述决定对第2分割信息进行编码。在对当前区块执行二叉树分割时，即，当在步骤S906中的判定结果为是时，在步骤S907中，编码器能够决定对当前区块进行横向分割还是纵向分割并给予所述决定对分割方向信息进行编码。在对当前区块进行横向分割时，即，当在步骤S908中的判定结果为是时，在步骤S909中，能够对当前区块进行水平方向上的分割。否则，即，在步骤S908中的判定结果为否时，在步骤S910中，能够对当前区块进行垂直方向上的分割。当对当前区块的二叉树分割为非对称分割时，能够决定分割比例并进一步对分割形态信息进行编码。在所述情况下，能够在考虑分割形态信息的前提下执行步骤S909以及步骤S910。在步骤S911、S914中，通过二叉树分割生成的2个子区块能够分别按照特定的顺序重新输入到步骤S905。所述特定的顺序能够是从左侧到右侧或从上端到下端。在步骤S911中，能够根据所述特定的顺序特别指定所述2个子区块中的第一个子区块并作为当前区块输入到步骤S905。当能够对通过二叉树分割生成的子区块再次执行四叉树分割时，通过二叉树分割生成的2个子区块能够分别按照特定的顺序重新输入到步骤S901。
在不对当前区块执行二叉树分割时，即，当在步骤S906中的判定结果为否时，在步骤S912中，能够对当前区块或当前子区块进行编码。步骤S912中的编码，能够包括如预测、变换以及量化等。
当在步骤S912中进行编码的子区块不是通过二叉树分割生成的最后一个子区块时，即，当在S913中的判定结果为否时，在步骤S914中，能够特别指定通过二叉树分割生成的下一个子区块并作为当前区块输入到步骤S905。
当在步骤S912中进行编码的子区块是通过二叉树分割生成的最后一个子区块时，即，当在S913中的判定结果为是时，在步骤S915中，能够判断所述已编码的子区块所属的区块是否为通过四叉树分割生成的区块中的最后一个区块。在是最后一个区块时，即，当在步骤S915中的判定结果为是时，能够结束对在步骤S901中输入的最大区块或当前影像的编码。在不是最后一个区块时，即，当在步骤S915中的判定结果为否时，在步骤S916中，能够特别指定通过四叉树分割生成的下一个区块并作为当前区块输入到步骤S901。
图10是用于对适用本发明的解码器的动作进行说明的示意图。
在步骤S1001中，解码器能够对所输入的当前区块的第1分割信息进行解码。在对当前区块执行四叉树分割时，即，当在步骤S1002中的判定结果为是时，在步骤S1003中，能够通过四叉树分割将当前区块分割成4个区块。在步骤S1004、S1016中，通过四叉树分割生成的4个区块能够分别按照特定的顺序重新输入到步骤S1001。所述特定的顺序能够是Z-扫描顺序。在步骤S1004中，能够根据所述特定的顺序特别指定所述4个区块中的第一个区块并作为当前区块输入到步骤S1001。
在不对当前区块执行四叉树分割时，即，当在步骤S1002中的判定结果为否时，在步骤S1005中，解码器能够对当前区块的第2分割信息进行解码。在对当前区块执行二叉树分割时，即，当在步骤S1006中的判定结果为是时，在步骤S1007中，解码器能够对分割方向信息进行解码。在对当前区块进行横向分割时，即，当在步骤S1008中的判定结果为是时，在步骤S1009中，能够对当前区块进行水平方向上的分割。否则，即，在步骤S1008中的判定结果为否时，在步骤S1010中，能够对当前区块进行垂直方向上的分割。当对当前区块的二叉树分割为非对称分割时，能够进一步对分割形态信息进行解码。在所述情况下，能够在考虑分割形态信息的前提下执行步骤S1009以及步骤S1010。在步骤S1011、S1014中，通过二叉树分割生成的2个子区块能够分别按照特定的顺序重新输入到步骤S1005。所述特定的顺序能够是从左侧到右侧或从上端到下端。在步骤S1011中，能够根据所述特定的顺序特别指定所述2个子区块中的第一个子区块并作为当前区块输入到步骤S1005。当能够对通过二叉树分割生成的子区块再次执行四叉树分割时，通过二叉树分割生成的2个子区块能够分别按照特定的顺序重新输入到步骤S1001。
在不对当前区块执行二叉树分割时，即，当在步骤S1006中的判定结果为否时，在步骤S1012中，能够对当前区块或当前子区块进行编码。步骤S1012中的解码，能够包括如预测、逆量化以及逆变换等。
当在步骤S1012中进行解码的子区块不是通过二叉树分割生成的最后一个子区块时，即，当在S1013中的判定结果为否时，在步骤S1014中，能够特别指定通过二叉树分割生成的下一个子区块并作为当前区块输入到步骤S1005。
当在步骤S1012中进行解码的子区块是通过二叉树分割生成的最后一个子区块时，即，当在S1013中的判定结果为是时，在步骤S1015中，能够判断所述已解码的子区块所属的区块是否为通过四叉树分割生成的区块中的最后一个区块。在是最后一个区块时，即，当在步骤S1015中的判定结果为是时，能够结束对在步骤S1001中输入的最大区块或当前影像的解码。在不是最后一个区块时，即，当在步骤S1015中的判定结果为否时，在步骤S1016中，能够特别指定通过四叉树分割生成的下一个区块并作为当前区块输入到步骤S1001。
图11是对当前影像的大小不等于最大区块大小的倍数的情况进行示例性图示的示意图。
如图11所示，当将当前影像分割成多个最大区块时，在当前影像的右侧或下端将有相当于最大区块大小的一部分的区域残留。即，在最大区块2、最大区块5、最大区块6、最大区块7或最大区块8中，只有一部分区域有当前影像的像素存在。
接下来，将对用于有效分割如图11所示的当前影像的适用本发明的影像分割方法进行说明。
图12a至图12e是用于对适用本发明之一实施例的影像分割方法进行说明的示例图。接下来，将结合图12a至图12e对图11中的最大区块2的分割方法和/或分割信息的编码进行说明。在结合图12a至图12e进行说明的下述内容中，假定当前影像的大小为146×146，最大区块的大小为64×64，能够执行四叉树分割的区块的最小大小为16×16，子区块的最小大小为2×2。
图12a是对最大区块2进行放大的结果，其中被粗线封闭的部分为当前影像内的区域。最大区块2能够是结合图9进行说明的分割对象区块。如图12a所示，最大区块2中的最右侧位置以及最下端位置没有被完整地包含于当前影像的区域。此外，最大区块2的大小为64×64，是能够执行四叉树分割的大小。此时，在步骤S903中，能够对最大区块2执行四叉树分割。即，对于最大区块2能够省略步骤S901。接下来，能够在通过对最大区块2执行四叉树分割而生成的4个区块(A0、A1、A2以及A3)中对第一个区块即区块A0执行分割以及编码。因为区块A1以及区块A3没有被完整地包含于当前影像的区域，因此能够不对其执行分割以及编码。区块A2与区块A0相同，能够按照本发明执行分割以及编码。
图12b是对图12a中的区块A0进行放大的结果，其中被粗线封闭的部分为当前影像内的区域。区块A0能够是结合图9进行说明的分割对象区块。如图12b所示，区块A0中的最右侧位置B1以及最下端位置B3没有被完整地包含于当前影像的区域。此外，区块A0的大小为32×32，是能够执行四叉树分割的大小。此时，在步骤S903中，能够对区块A0执行四叉树分割。即，对于区块A0能够省略步骤S901。接下来，能够在通过对区块A0执行四叉树分割而生成的4个区块(B0、B1、B2以及B3)中对第一个区块即区块B0执行分割以及编码。区块B0能够按照结合图9进行说明的方法执行分割以及编码。即，区块B0能够在通过四叉树分割和/或二叉树分割执行分割或在不分割的情况下进行编码。区块B2与区块B0相同，能够按照本发明执行分割以及编码。因为区块B1以及区块B3没有被完整地包含于当前影像的区域，因此能够不对其执行分割以及编码。区块B2能够按照与区块B0相同的方法分割以及编码。即，对于区块B0以及B2不能省略步骤S901。但是，对于区块B1以及B3能够按照如后所述的方式省略步骤S901。
图12c是对图12b中的区块B1进行放大的结果，其中被粗线封闭的部分为当前影像内的区域。区块B1能够是结合图9进行说明的分割对象区块。如图12c所示，区块B1中的最右侧位置以及最下端位置没有被完整地包含于当前影像的区域。此外，区块B1的大小为16×16，是不能执行四叉树分割的大小。此时，区块B1不能执行四叉树分割，但是能够执行二叉树分割。此外，因为编码对象区块是纵向较长的矩形，因此分割方向能够决定为水平方向。因此，对于区块B1能够省略步骤S901至步骤S907，且能够根据编码对象区块的形状执行步骤S909或步骤S910的二叉树分割。接下来，能够在通过对区块B1执行二叉树分割而生成的2个区块(C1以及C2)中对第一个区块即区块C1执行分割以及编码。因为区块C2没有被完整地包含于当前影像的区域，因此能够不对其执行分割以及编码。
图12d是对图12c中的区块C1进行放大的结果，其中被粗线封闭的部分为当前影像内的区域。区块C1能够是结合图9进行说明的分割对象区块。如图12d所示，区块C1中的最右侧位置以及最下端位置没有被完整地包含于当前影像的区域。此外，因为对区块C1的上级区块即B1适用了二叉树分割，因此对区块C1也能够执行二叉树分割。此外，因为编码对象区块是纵向较长的矩形，因此分割方向能够决定为水平方向。因此，对于区块C1能够省略步骤S905至步骤S907，且能够根据编码对象区块的形状执行步骤S909或步骤S910的二叉树分割。接下来，能够在通过对区块C1执行二叉树分割而生成的2个区块(D1以及D2)中对第一个区块即区块D1执行分割以及编码。因为区块D2没有被完整地包含于当前影像的区域，因此能够不对其执行分割以及编码。
图12e是对图12d中的区块D1进行放大的结果，其中被粗线封闭的部分为当前影像内的区域。区块D1能够是结合图9进行说明的分割对象区块。如图12e所示，区块D1中的最右侧位置以及最下端位置没有被完整地包含于当前影像的区域。此外，因为对区块D1的上级区块即C1适用了二叉树分割，因此对区块D1也能够执行二叉树分割。此外，因为编码对象区块是纵向较长的矩形，因此分割方向能够决定为水平方向。因此，对于区块D1能够省略步骤S905至步骤S907，且能够根据编码对象区块的形状执行步骤S909或步骤S910的二叉树分割。接下来，能够在通过对区块D1执行二叉树分割而生成的2个区块(E1以及E2)中对第一个区块即区块E1执行分割以及编码。区块E1的水平大小等于所假定的子区块的最小大小2。因此，不能对区块E1进行纵向分割。即，区块E1能够在不分割的情况下进行编码或在横向分割之后进行编码。此时，对于区块E1能够仅对分割与否相关的信息进行信令。因为区块E2没有被完整地包含于当前影像的区域，因此能够不对其执行分割以及编码。
图11中所示的最大区块2与最大区块5的分割信息省略方式能够相同。此外，最大区块6以及最大区块7的分割信息省略方式与最大区块2以及最大区块5的分割信息省略方式相比，除了横向或纵向的方向差异之外，剩余的部分能够相同。对于最大区块8，能够利用横向或纵向的预先设定的标准按照与其他最大区块相同的方式执行分割信息的省略。
接下来，将结合图12a至图12e对图11中的最大区块2的分割方法和/或分割信息的解码进行说明。
图12a是对最大区块2进行放大的结果，其中被粗线封闭的部分为当前影像内的区域。最大区块2能够是结合图9进行说明的分割对象区块。如图12a所示，最大区块2中的最右侧位置以及最下端位置没有被完整地包含于当前影像的区域。此外，最大区块2的大小为64×64，是能够执行四叉树分割的大小。此时，在步骤S1003中，能够对最大区块2执行四叉树分割。即，对于最大区块2能够省略步骤S1001。接下来，能够在通过对最大区块2执行四叉树分割而生成的4个区块(A0、A1、A2以及A3)中对第一个区块即区块A0执行分割以及解码。因为区块A1以及区块A3没有被完整地包含于当前影像的区域，因此能够不对其执行分割以及解码。区块A2与区块A0相同，能够按照本发明执行分割以及解码。
图12b是对图12a中的区块A0进行放大的结果，其中被粗线封闭的部分为当前影像内的区域。区块A0能够是结合图9进行说明的分割对象区块。如图12b所示，区块A0中的最右侧位置以及最下端位置没有被完整地包含于当前影像的区域。此外，区块A0的大小为32×32，是能够执行四叉树分割的大小。此时，在步骤S1003中，能够对区块A0执行四叉树分割。即，对于区块A0能够省略步骤S1001。接下来，能够在通过对区块A0执行四叉树分割而生成的4个区块(B0、B1、B2以及B3)中对第一个区块即区块B0执行分割以及解码。区块B0能够按照结合图9进行说明的方法执行分割以及解码。即，区块B0能够在通过四叉树分割和/或二叉树分割执行分割或在不分割的情况下进行解码。区块B2与区块B0相同，能够按照本发明执行分割以及解码。因为区块B1以及区块B3没有被完整地包含于当前影像的区域，因此能够不对其执行分割以及解码。区块B2能够按照与区块B0相同的方法分割以及解码。即，对于区块B0以及B2不能省略步骤S1001。但是，对于区块B1以及B3能够按照如后所述的方式省略步骤S1001。
图12c是对图12b中的区块B1进行放大的结果，其中被粗线封闭的部分为当前影像内的区域。区块B1能够是结合图9进行说明的分割对象区块。如图12c所示，区块B1中的最右侧位置以及最下端位置没有被完整地包含于当前影像的区域。此外，区块B1的大小为16×16，是不能执行四叉树分割的大小。此时，区块B1不能执行四叉树分割，但是能够执行二叉树分割。此外，因为解码对象区块是纵向较长的矩形，因此分割方向能够决定为水平方向。因此，对于区块D1能够省略步骤S1001至步骤S1007，且能够根据编码对象区块的形状执行步骤S1009或步骤S1010的二叉树分割。接下来，能够在通过对区块B1执行二叉树分割而生成的2个区块(C1以及C2)中对第一个区块即区块C1执行分割以及解码。因为区块C2没有被完整地包含于当前影像的区域，因此能够不对其执行分割以及解码。
图12d是对图12c中的区块C1进行放大的结果，其中被粗线封闭的部分为当前影像内的区域。区块C1能够是结合图9进行说明的分割对象区块。如图12d所示，区块C1中的最右侧位置以及最下端位置没有被完整地包含于当前影像的区域。此外，因为对区块C1的上级区块即B1适用了二叉树分割，因此对区块C1也能够执行二叉树分割。此外，因为解码对象区块是纵向较长的矩形，因此分割方向能够决定为水平方向。因此，对于区块C1能够省略步骤S1005至步骤S1007，且能够根据编码对象区块的形状执行步骤S1009或步骤S1010的二叉树分割。接下来，能够在通过对区块C1执行二叉树分割而生成的2个区块(D1以及D2)中对第一个区块即区块D1执行分割以及解码编码。因为区块D2没有被完整地包含于当前影像的区域，因此能够不对其执行分割以及解码。
图12e是对图12d中的区块D1进行放大的结果，其中被粗线封闭的部分为当前影像内的区域。区块D1能够是结合图9进行说明的分割对象区块。如图12e所示，区块D1中的最右侧位置以及最下端位置没有被完整地包含于当前影像的区域。此外，因为对区块D1的上级区块即C1适用了二叉树分割，因此对区块D1也能够执行二叉树分割。此外，因为解码对象区块是纵向较长的矩形，因此分割方向能够决定为水平方向。因此，对于区块D1能够省略步骤S1005至步骤S1007，且能够根据编码对象区块的形状执行步骤S1009或步骤S1010的二叉树分割。接下来，能够在通过对区块D1执行二叉树分割而生成的2个区块(E1以及E2)中对第一个区块即区块E1执行分割以及解码。区块E1的水平大小等于所假定的子区块的最小大小2。因此，不能对区块E1进行纵向分割。即，区块E1能够在不分割的情况下进行解码或在横向分割之后进行解码。此时，对于区块E1能够仅对分割与否相关的信息进行信令。因为区块E2没有被完整地包含于当前影像的区域，因此能够不对其执行分割以及解码。
在结合图12进行说明的实施例中，能够在对分割对象区块执行四叉树分割之后在满足特定的条件时再执行二叉树分割。在所述实施例中，所述特定条件为分割对象区块的大小是否为可执行四叉树分割的大小。所述特定条件也能够利用可执行四叉树分割的区块与可执行二叉树分割的区块的最小大小和/或临界值进行设定。
在使用临界值时，能够基于对分割对象区块中没有被完整地包含于当前影像的区域(以下简称为“剩余区域”)的大小与临界值进行比较的结果，执行四叉树分割与二叉树分割中的一个。在接下来的说明中，假定所述临界值为32。
例如，在图12a中编码对象区块的大小为18×64，而剩余区域的大小为46×64。因为剩余区域是纵向较长的矩形，因此能够对剩余区域的横向长度与临界值进行比较。因为剩余区域的横向长度46大于所述临界值32，因此能够对64×64的分割对象区块执行四叉树分割。因为在图12b中剩余区域的横向长度14小于所述临界值32，因此能够对32×32的分割对象区块执行二叉树分割。即，即使是分割对象区块的大小是可执行四叉树分割的大小，也能够根据所述条件执行二叉树分割而不执行四叉树分割。此时，二叉树分割的分割方向是以18×32的编码对象区块的横向以及纵向中的较小者为基准。因此，图12b中的区块A0能够被分割成两个纵向较长的16×32的区块。接下来，能够反复执行垂直方向上的二叉树分割，直至区块的大小无法再次执行二叉树分割。
所述临界值能够通过如上所述的区块的上级报头进行信令。所述临界值应为可执行四叉树分割的区块的最大大小与最小大小之间的值。此外，所述临界值能够被设定为小于可执行二叉树分割的区块的最大大小。当所述临界值被设定为大于可执行二叉树分割的区块的最大大小时，所述临界值能够被重新设定为可执行二叉树分割的区块的最大大小。
图13a至图13e是用于对适用本发明之另一实施例的影像分割方法进行说明的示例图。
图13a是对最大区块2进行放大的结果，其中被粗线封闭的部分为当前影像内的区域。最大区块2能够是结合图9进行说明的分割对象区块。如图13a所示，最大区块2中的最右侧位置以及最下端位置没有被完整地包含于当前影像的区域。此时，能够基于剩余区域的形态选择区块分割方式。因为图13a中的剩余区域为纵向较长的46×64的区块，因此能够对最大区块2执行垂直方向上的二叉树分割。即，对于最大区块2能够省略步骤S901至步骤S907，且能够根据剩余区域的形态执行步骤S909或步骤S910。
图13b是对图13a中的区块A0进行放大的结果，其中被粗线封闭的部分为当前影像内的区域。区块A0能够是结合图9进行说明的分割对象区块。如图13b所示，区块A0中的最右侧位置以及最下端位置没有被完整地包含于当前影像的区域。此时，能够基于剩余区域的形态选择区块分割方式。因为图13b中的剩余区域为纵向较长的14×64的区块，因此能够对区块A0执行垂直方向上的二叉树分割。因为区块B0为当前影像区域内的区块，因此能够利用自区块分割进行编码。对于区块B0不能省略步骤S905至步骤S908。
图13c是对图13b中的区块B1进行放大的结果，其中被粗线封闭的部分为当前影像内的区域。区块B1能够是结合图9进行说明的分割对象区块。如图13c所示，区块B1中的最右侧位置以及最下端位置没有被完整地包含于当前影像的区域。此时，能够基于剩余区域的形态选择区块分割方式。因为图13c中的剩余区域为纵向较长的14×64的区块，因此能够对区块B1执行垂直方向上的二叉树分割。即，对于区块B1能够省略步骤S901至步骤S907，且能够根据剩余区域的形态执行步骤S909或步骤S910。因为区块C2没有被完整地包含于当前影像的区域，因此能够不对其执行分割以及编码。
图13d是对图13c中的区块C1进行放大的结果，其中被粗线封闭的部分为当前影像内的区域。区块C1能够是结合图9进行说明的分割对象区块。如图13d所示，区块C1中的最右侧位置以及最下端位置没有被完整地包含于当前影像的区域。此时，能够基于剩余区域的形态选择区块分割方式。因为图13c中的剩余区域为纵向较长的6×64的区块，因此能够对区块C1执行垂直方向上的二叉树分割。即，对于区块C1能够省略步骤S901至步骤S907，且能够根据剩余区域的形态执行步骤S909或步骤S910。因为区块D2没有被完整地包含于当前影像的区域，因此能够不对其执行分割以及编码。
图13e是对图13d中的区块D1进行放大的结果，其中被粗线封闭的部分为当前影像内的区域。区块D1能够是结合图9进行说明的分割对象区块。如图13e所示，区块D1中的最右侧位置以及最下端位置没有被完整地包含于当前影像的区域。此时，能够基于剩余区域的形态选择区块分割方式。因为图13c中的剩余区域为纵向较长的2×64的区块，因此能够对区块D1执行垂直方向上的二叉树分割。即，对于区块B1能够省略步骤S901至步骤S907，且能够根据剩余区域的形态执行步骤S909或步骤S910。区块E1的水平大小等于所假定的子区块的最小大小2。因此，不能对区块E1进行纵向分割。即，区块E1能够在不分割的情况下进行编码或在横向分割之后进行编码。此时，对于区块E1能够仅对分割与否相关的信息进行信令。因为区块E2没有被完整地包含于当前影像的区域，因此能够不对其执行分割以及编码。
接下来，将结合图13a至图13e对图11中的最大区块2的分割方法和/或分割信息的解码进行说明。
图13a是对最大区块2进行放大的结果，其中被粗线封闭的部分为当前影像内的区域。最大区块2能够是结合图9进行说明的分割对象区块。如图13a所示，最大区块2中的最右侧位置以及最下端位置没有被完整地包含于当前影像的区域。此时，能够基于剩余区域的形态选择区块分割方式。因为图13a中的剩余区域为纵向较长的46×64的区块，因此能够对最大区块2执行垂直方向上的二叉树分割。即，对于最大区块2能够省略步骤S1001至步骤S1007，且能够根据剩余区域的形态执行步骤S1009或步骤S1010。
图13b是对图13a中的区块A0进行放大的结果，其中被粗线封闭的部分为当前影像内的区域。区块A0能够是结合图9进行说明的分割对象区块。如图13b所示，区块A0中的最右侧位置以及最下端位置没有被完整地包含于当前影像的区域。此时，能够基于剩余区域的形态选择区块分割方式。因为图13b中的剩余区域为纵向较长的14×64的区块，因此能够对区块A0执行垂直方向上的二叉树分割。因为区块B0为当前影像区域内的区块，因此能够利用自区块分割进行解码。对于区块B0不能省略步骤S1005至步骤S1008。
图13c是对图13b中的区块B1进行放大的结果，其中被粗线封闭的部分为当前影像内的区域。区块B1能够是结合图9进行说明的分割对象区块。如图13c所示，区块B1中的最右侧位置以及最下端位置没有被完整地包含于当前影像的区域。此时，能够基于剩余区域的形态选择区块分割方式。因为图13c中的剩余区域为纵向较长的14×64的区块，因此能够对区块B1执行垂直方向上的二叉树分割。即，对于区块B1能够省略步骤S1001至步骤S1007，且能够根据剩余区域的形态执行步骤S1009或步骤S1010。因为区块C2没有被完整地包含于当前影像的区域，因此能够不对其执行分割以及解码。
图13d是对图13c中的区块C1进行放大的结果，其中被粗线封闭的部分为当前影像内的区域。区块C1能够是结合图9进行说明的分割对象区块。如图13d所示，区块C1中的最右侧位置以及最下端位置没有被完整地包含于当前影像的区域。此时，能够基于剩余区域的形态选择区块分割方式。因为图13c中的剩余区域为纵向较长的6×64的区块，因此能够对区块C1执行垂直方向上的二叉树分割。即，对于区块C1能够省略步骤S1001至步骤S1007，且能够根据剩余区域的形态执行步骤S1009或步骤S1010。因为区块D2没有被完整地包含于当前影像的区域，因此能够不对其执行分割以及解码。
图13e是对图13d中的区块D1进行放大的结果，其中被粗线封闭的部分为当前影像内的区域。区块D1能够是结合图9进行说明的分割对象区块。如图13e所示，区块D1中的最右侧位置以及最下端位置没有被完整地包含于当前影像的区域。此时，能够基于剩余区域的形态选择区块分割方式。因为图13c中的剩余区域为纵向较长的2×64的区块，因此能够对区块D1执行垂直方向上的二叉树分割。即，对于区块D1能够省略步骤S1001至步骤S1007，且能够根据剩余区域的形态执行步骤S1009或步骤S1010。区块E1的水平大小等于所假定的子区块的最小大小2。因此，不能对区块E1进行纵向分割。即，区块E1能够在不分割的情况下进行解码或在横向分割之后进行解码。此时，对于区块E1能够仅对分割与否相关的信息进行信令。因为区块E2没有被完整地包含于当前影像的区域，因此能够不对其执行分割以及解码。
在结合图13进行说明的实施例中，对分割对象区块仅执行二叉树分割，而且二叉树分割的方向能够根据剩余区域的形状决定。
在结合图9以及图10进行说明的实施例中，能够以自区块单位或区块单位执行对影像边界的分割处理。此时，能够对与执行影像边界的分割处理时的单位相关的信息进行信令。例如，所述信息能够通过如上所述的区块的上级报头从编码器向解码器进行信令。
如上所述，在对当前区块进行帧间预测时能够使用如跳过模式、合并模式、AMVP模式等。
当使用跳过模式时，利用已重建区域的运动信息决定当前区块的最优化预测模式。具体来讲，影像编码装置能够在已重建的区域内构建运动信息候选组，并使用相应候选组中RD代价最小的候选作为预测信息生成当前区块的预测信息。构建所述运动信息候选组的方法将在后续的内容中结合图14进行说明。
当使用合并模式时，在利用已重建区域的运动信息决定当前区块的最优化预测模式的方面与跳过模式相同。但是，在跳过模式中是从运动信息候选组中搜索预测错误为0的运动信息，而在运动模式中允许预测错误不为0。与跳过模式相同，影像编码装置能够在已重建的区域内构建运动信息候选组，并使用相应候选组中RD代价最小的候选作为预测信息生成当前区块的预测信息。
图14是用于对在跳过模式和合并模式下生成运动信息候选组的方法进行说明的示意图。
运动信息候选组能够包含最多N个候选。N能够是在影像编码装置以及影像解码装置中预先规定的正整数。或者，能够通过比特流对与N相关的信息进行信令。例如，能够通过区块的上级报头对与所述N相关的信息进行信令。所述区块的上级能够是视频(Video)、序列(Sequence)、图像(Picture)、条带(Slice)、并行区块(Tile)、最大编码区块(CodingTree Unit，CTU或Largest Coding Unit，LCU)中的至少一个。或者，N能够基于当前区块的大小和/或形态以可变方式决定。在结合图14进行说明的下述实施例中，假定N等于5。
在步骤S1401中，能够选择空间候选。空间候选能够是指当前区块所属图像内的空间候选区块或所述空间候选区块的运动信息。能够从当前图像内的5个空间候选区块选择最多4个空间候选。当所述空间候选区块中不包含运动信息时，例如在空间候选区块被帧内预测或PCM编码时，无法选择所述空间候选区块作为当前区块的空间候选。此外，空间候选能够以运动信息不相互重复的方式选择。
图16是用于对当前区块的空间性后补区块以及时间性后补区块的位置进行说明的示意图。
在图16所示的实例中，空间候选区块能够包括区块A1、A2、A3、A4以及A5中的至少一个。除图16中所示的空间候选区块之外，还能够将当前图像的已重建区域内的任意区块作为空间候选区块使用。在从空间候选区块选择空间候选时，能够按照区块A1、A2、A3、A4以及A5的顺序考虑。按照所述优先级，能够选择可用的空间候选区块或其运动信息作为空间候选。当可用的空间候选区块的运动信息不重复时，能够不考虑优先级最低的空间候选区块。
在步骤S1402中，能够选择时间候选。时间候选能够是指当前区块所属图像之外的其他图像(例如并置图像，collocated picture)内的时间候选区块或所述时间候选区块的运动信息。能够从并置图像内的2个时间候选区块选择1个时间候选。当所述时间候选区块中不包含运动信息时，例如在时间候选区块被帧内预测或PCM编码时，无法选择所述时间候选区块作为当前区块的时间候选。
如图16所示，时间候选区块的位置能够基于当前区块的位置决定。即，能够以与当前区块在当前图像内的位置相同位置上的并置图像内的区块作为基准决定时间候选区块。并置图像能够是重建图像或参考图像中的一个。并置图像能够通过在影像编码装置以及影像解码装置中预先定义的方法选择。例如，能够选择参考图像列表内的任意位置(例如第一个位置)上的参考图像作为并置图像。或者，能够对与并置图像的选择相关的信息进行信令。
时间候选区块能够是包含与当前区块内的任意位置相同位置上的样本的并置图像内的区块或其周边区块。所述当前区块内的任意位置能够是当前区块的左上端像素位置、中央像素位置或右下端像素位置。在图16所示的实例中，并置图像内的时间候选区块能够是区块B1以及区块B2。在从所述时间候选区块选择时间候选时，例如能够按照区块B1、B2的顺序考虑。在按照所述顺序考虑区块B1、B2时，如果能够将优先级较高的候选区块作为时间候选使用，则能够不考虑优先级较低的时间候选区块。
图17是用于对决定时间候选的运动信息的方法进行说明的示意图。
并置图像内的时间候选区块的运动信息能够是指包含于参考图像B中的预测区块。时间候选区块能够分别参考不同的参考图像。但是，在下述内容中为了说明的便利，将时间候选区块的参考图像称之为参考图像B。时间候选区块的运动向量能够在考虑图17中的TB以及TD的前提下被缩放。TB代表当前图像与参考图像A之间的距离，TD代表并置图像与参考图像B之间的距离。被缩放的时间候选的运动向量能够作为当前区块的时间候选的运动信息使用。在进行所述缩放时能够使用如下所示的公式2。
[公式2]
在所述公式2中，MV代表时间候选区块的运动向量，MVscale代表被缩放的运动向量。此外，参考图像A以及参考图像B能够是相同的参考图像。能够决定将如上所述的被缩放的运动向量MVscale作为时间候选的运动向量。此外，能够决定将时间候选的参考图像信息作为当前图像的参考图像。
当通过步骤S1401以及步骤S1402推导出的空间候选以及时间候选的和小于N个时，能够执行步骤S1403。在步骤S1403中，能够对在之前的步骤中推导出的候选进行组合并将全新的双向运动信息候选追加到运动信息候选组中。双向运动信息候选是指，通过逐个调取在之前的步骤中推导出的历史或未来方向的运动信息并进行组合而生成的全新的候选。
图18是对能够在生成双向运动信息候选时使用的组合的优先级进行示例性示意的图表。例如，能够按照图18所示的优先级首先考虑候选索引(历史)0以及候选索引(未来)1的组合。图18所示的优先级以及索引的组合仅为示例性目的而非限定。例如，还能够使用除图18所示的组合之外的追加组合或对优先级进行变更。
当在步骤S1403中追加双向运动信息候选之后的运动候选信息的整体数量仍然小于N时，能够执行步骤S1404。在步骤S1404中，能够将运动向量为零运动向量且预测方向上的参考图像不同的全新的运动信息候选追加到运动信息候选组中。
在使用AMVP模式时，能够通过对预测方向上的各个参考图像执行运动推测而决定最优化运动信息。所述预测方向能够是仅使用历史/未来中的某一个方向的单方向，也能够是同时使用历史以及未来方向的双方向。通过利用借助于运动推测决定的最优化运动信息执行运动补偿，能够生成运动区块。此时，能够对预测方向上的各个参考图像分别推导出运动推测用的运动信息候选组。相应的运动信息候选组能够作为运动推测的起始位置使用。
虽然在本说明书中是将预测方向记载为历史方向以及未来方向，但是并不限定于此。例如，也能够记载为前方以及后方。或者，也能够记载为第1方向以及第2方向。例如，在对当前区块使用N个参考图像列表时，能够有与参考图像列表对应的预测方向存在。在这种情况下，预测方向能够记载为第1方向至第N方向。所述N能够是2以上的整数。
图15是用于对在AMVP模式下推导出运动推测用的运动信息候选组的方法进行说明的示意图。
与结合图15进行的说明类似，可包含到运动信息候选组中的候选的最大数量能够在影像编码装置以及影像解码装置中决定相同的值，或通过区块的上级报头进行信令，或基于当前区块的大小和/或形态以可变方式决定。
在步骤S1501以及步骤S1502中，能够选择空间候选以及时间候选。步骤S1501以及步骤S1502能够分别按照与图14的步骤S1401以及步骤S1402类似的方式执行。但是，在步骤S1501和步骤S1401中选择的空间候选的数量能够不同。例如，在步骤S1501中能够选择2个空间候选。此外，用于选择空间候选的空间候选区块之间的优先级也能够不同。
在步骤S1503中，能够去除目前已推导出的候选中包含的重复的运动信息。步骤S1504能够按照与步骤S1404类似的方式执行。在推导出运动信息候选之后，能够选择RD代价最小的运动信息候选作为最优化运动信息。通过以所选择的运动信息作为基准执行运动推测，能够推导出AMVP模式的最优化运动信息。
用于执行如上所述的帧内预测的帧内预测模式能够包括DC模式、平面模式以N方向定向模式。N方向定向模式是通过将当前区块周边的重建像素划分成N个方向并在各个方向上将周边像素映射到预测像素而生成当前区块的预测区块的模式。在决定最优化帧内预测模式之后，能够为了对其进行编码而生成MPM候选列表。
图19是用于对MPM候选列表的生成进行说明的示意图。
MPM候选列表的数量能够决定为P(P为正整数)个。用于决定MPM候选的方法并不限定于结合图19进行说明的方法。在图19中，L是位于当前区块左侧的周边区块的帧内预测模式信息，A是位于当前区块上端的周边区块的帧内预测模式信息。按照图19所示的各个条件，能够生成包含3个MPM候选的MPM候选列表。
图20是用于对如上所述的跳过模式、合并模式、AMVP模式以及帧内预测模式的最佳预测信息的编码方法进行说明的示意图。
在步骤S2001中，能够对跳过模式动作信息进行编码。跳过模式动作信息能够是用于指示是否对当前区块适用跳过模式的信息。在步骤S2002中，能够基于跳过模式动作信息判断是否为跳过模式。在是跳过模式时，即，当在步骤S2002中的判定结果为是时，能够在移动到步骤S2007对合并候选索引进行编码之后结束。
在不是跳过模式时，即，当在步骤S2002中的判定结果为否时，在步骤S2003中，能够对预测模式信息进行编码。预测模式信息能够是用于指示对当前区块执行帧间预测还是帧内预测的信息。在步骤S2004中，能够基于预测模式信息判断对当前区块的预测模式是帧间预测模式还是帧内预测模式。在当前区块的预测模式为帧间预测模式时，即，当在步骤S2004中的判定结果为是时，能够移动到步骤S2005，而在当前区块的预测模式为帧内预测模式时，即，当在步骤S2004中的判定结果为否时，能够移动到步骤2017。
在步骤S2005中，能够对合并模式动作信息进行编码。合并模式动作信息能够是用于指示是否对当前区块适用合并模式的信息。在步骤S2006中，能够基于合并模式动作信息对当前区块的合并模式适用与否进行判断。在对当前区块适用合并模式时，即，当在步骤S2006中的判定结果为是时，在步骤S2007中，能够在对合并索引信息进行编码之后结束。
当在步骤S2006中的判定结果为不对当前区块适用合并模式时，能够移动到步骤S2008。在步骤S2008中，能够对预测方向是历史还是未来还是双向进行编码。当在步骤S2009中的判定结果为预测方向不是未来方向时，能够执行步骤S2010。当预测方向是未来方向时，能够执行步骤S2013。
接下来，能够依次在步骤S2010中对历史方向的参考图像索引信息、在步骤S2011中对历史方向的MVD(Motion Vector Dfference，运动向量差值)信息、在步骤S2012中对历史方向MVP(Motion Vector Predictor，运动向量预测)信息进行编码。其中，MVD能够是指预测区块的最优化运动向量与在AMVP候选列表中决定的最优化候选运动向量之间的差分向量。此外，MVP信息能够是指所决定的最优化AMVP候选运动信息的索引信息。
在步骤S2013中对预测方向是否为历史方向进行判断，在是历史方向时能够结束图20中的步骤。当在步骤S2013中的判定结果为预测方向不是历史方向时，能够执行步骤S2014。接下来，能够依次在步骤S2014中对未来方向的参考图像索引信息、在步骤S2015中对未来方向MVD信息、在步骤S2016中对未来方向MVP信息进行编码。
在对当前区块适用帧内预测时，即，当在步骤S2004中的判定结果为否时，在步骤S2017中，能够对MPM标志信息进行编码。MPM标志信息能够是用于指示当前区块的最优化帧内预测模式是否包含于MPM候选列表的信息。在步骤S2018中，能够对MPM标志信息是否为真进行判断。当MPM标志信息为真时，即，当在步骤S2018中的判定结果为是时，能够执行步骤S2019。在步骤S2019中，能够对用于指示与最优化帧内预测模式相同的MPM候选列表中的候选的索引信息进行编码。
当在步骤S2018中的判定结果为MPM标志信息为假时，能够执行步骤S2020。在步骤S2020中，能够对用于指示在除包含于MPM候选列表的帧内预测模式之外的剩余的帧内预测模式中，哪一种帧内预测模式为最优化帧内预测模式的信息进行编码。
图21是用于对最佳预测信息的解码方法进行说明的示意图。
在步骤S2101中，能够对跳过模式动作信息进行解码。在步骤S2102中，能够基于跳过模式动作信息判断是否为跳过模式。在是跳过模式时，即，当在步骤S2102中的判定结果为是时，能够在移动到步骤S2107对合并候选索引进行解码之后结束。
在不是跳过模式时，即，当在步骤S2102中的判定结果为否时，在步骤S2103中，能够对预测模式信息进行解码。在步骤S2104中，能够基于预测模式信息判断对当前区块的预测模式是帧间预测模式还是帧内预测模式。在当前区块的预测模式为帧间预测模式时，即，当在步骤S2104中的判定结果为是时，能够移动到步骤S2105，而在当前区块的预测模式为帧内预测模式时，即，当在步骤S2104中的判定结果为否时，能够移动到步骤2117。
在步骤S2105中，能够对合并模式动作信息进行解码。在步骤S2106中，能够基于合并模式动作信息对当前区块的合并模式适用与否进行判断。在对当前区块适用合并模式时，即，当在步骤S2106中的判定结果为是时，在步骤S2107中，能够在对合并索引信息进行解码之后结束。
当在步骤S2106中的判定结果为不对当前区块适用合并模式时，能够移动到步骤S2108。在步骤S2108中，能够对预测方向是历史还是未来还是双向进行解码。当在步骤S2109中的判定结果为预测方向不是未来方向时，能够执行步骤S2110。当预测方向是未来方向时，能够执行步骤S2113。
接下来，能够依次在步骤S2110中对历史方向的参考图像索引信息、在步骤S2115中对历史方向的MVD信息、在步骤S2112中对历史方向MVP信息进行解码。
在步骤S2113中对预测方向是否为历史方向进行判断，在是历史方向时能够结束图21中的步骤。当在步骤S2113中的判定结果为预测方向不是历史方向时，能够执行步骤S2114。接下来，能够依次在步骤S2114中对未来方向的参考图像索引信息、在步骤S2115中对未来方向MVD信息、在步骤S2116中对未来方向MVP信息进行解码。
在对当前区块适用帧内预测时，即，当在步骤S2104中的判定结果为否时，在步骤S2117中，能够对MPM标志信息进行解码。在步骤S2118中，能够对MPM标志信息是否为真进行判断。当MPM标志信息为真时，即，当在步骤S2118中的判定结果为是时，能够执行步骤S2119。在步骤S2119中，能够对用于指示与最优化帧内预测模式相同的MPM候选列表中的候选的索引信息进行解码。
当在步骤S2118中的判定结果为MPM标志信息为假时，能够执行步骤S2120。在步骤S2120中，能够对用于指示在除包含于MPM候选列表的帧内预测模式之外的剩余的帧内预测模式中，哪一种帧内预测模式为最优化帧内预测模式的信息进行解码。
接下来，将对为了对用于生成预测区块的预测信息进行编码/解码时使用当前区块之周边区块的预测信息的多种不同的实施例进行说明。
在通过二叉树分割对区块进行分割时，能够不使用当前区块周边的特定区块所具有的预测信息。即，在进行帧内预测的情况下构建MPM候选列表时，或在进行帧间预测的情况下推导出跳过、合并或AMVP的空间候选时，能够在考虑区块的分割结构的前提下将当前区块之周边区块中的一部分周边区块从候选中删除。接下来，将帧内预测的MPM候选列表或包含帧间预测的空间候选的候选列表称之为“参考候选列表”。
图22是用于对利用当前区块之周边区块构建参考候选列表的一实施例进行说明的示意图。
在步骤S2201中，能够判断当前区块之上级区块的分割形态是否为二叉树分割。即，在步骤S2201中，能够判断当前区块是否为通过二叉树分割生成的区块。当所述上级区块的分割形态不是二叉树分割时，能够判定没有需要在构建参考候选列表时排除的周边区块并结束图22中的处理。而当所述上级区块的分割形态是二叉树分割时，即，在当前区块是通过二叉树分割生成的区块时，能够执行步骤S2202。
在步骤S2202中，能够对当前区块的深度与上一个区块的深度是否相同以及当前区块与上一个区块的上级区块是否相同进行判断。所述上一个区块能够是指在编码顺序上比当前区块早一步完成编码/解码的区块。所述上级区块是指被分割成当前区块或上一个区块之前的区块。相反，下级区块能够是指通过对当前区块进行分割而生成的区块。在当前区块的分割深度与上一个区块的深度不同和/或当前区块与上一个区块的上级区块不同时，能够结束图22中的处理。即，当在步骤S2202中的判定结果为否时，能够在构建参考候选列表的过程中不按照本实施例排除任何周边区块而直接将可使用的周边区块作为候选追加到参考候选列表中。
当在步骤S2202中的判定结果为在当前区块与上一个区块的分割深度相同且当前区块的上级区块与上一个区块的上级区块相同时，在步骤S2203中，能够不将上一个区块作为候选包含到当前区块的参考候选列表或从参考候选列表中排除。当上级区块是通过二叉树分割被分割成当前区块以及上一个区块时，当前区块与上一个区块不类似的可能性较高。此时，将上一个区块的预测信息作为当前区块的预测信息使用的可能性也较低。因此，即使是属于当前区块的周边区块，也能够通过将所述上一个区块从当前区块的候选组中排除而提升预测效率以及压缩率。
当在步骤S2203中上一个区块没有包含到参考候选列表中时，在步骤S2204中，能够追加搜索用于替代所排除的参考候选的替代候选。
图23是用于对基于区块的分割形态构建当前区块的参考候选列表的实例进行说明的示意图。
在图23的(a)所示的实例中，在当前区块为第4号区块时，编码顺序上的上一个区块为第3号区块。此外，当前区块与上一个区块的上级区块是包含第3号以及第4号区块的区块。因为包含第3号以及第4号区块的上级区块是通过水平方向上的二叉树分割进行分割，因此在步骤S2201中的判定结果为是。此外，因为第3号区块与第4号区块的深度相同且上级区块也相同，因此在步骤S2202中的判定结果为是。因此，根据步骤2203，上一个区块即第3号区块将不会被包含到当前区块的参考候选列表中。
同理，在图23的(a)所示的实例中，在当前区块为第7号区块时，当前区块的上一个区块即第6号区块将从当前区块的参考候选列表中排除。同理，在图23的(b)所示的实例中，在当前区块为第11号区块时，上一个区块即第10号区块的预测信息将不会作为当前区块的参考候选。
如结合图23的(a)以及(b)所示的实施例进行的说明，在不将当前区块的上一个区块作为参考候选时，在步骤S2204中，能够搜索用于替代从参考候选列表中排除的周边区块的预测信息的其他候选。替代候选能够通过多种不同的方法决定。作为一实例，能够使用从当前区块的上级深度区块分割出的区块中没有与当前区块相邻的区块的预测信息。例如，在图23的(a)所示的实例中，在当前区块为第4号区块时，第4号区块的上级深度区块能够是对第2号、第3号、第4号区块进行合并的区块。此时，因为第2号区块是不与第4号区块相邻的从上级深度区块分割出来的区块，因此能够通过将第2号区块的预测信息追加到第4号区块的参考候选列表中替代第3号区块的预测信息。作为用于决定替代候选的其他实例，能够使用在上级报头(如视频、序列、图像、条带、并行区块、CTU等)中决定的任意的预测信息替代从参考候选列表中排除的周边区块的预测信息。例如，在通过帧内预测模式对当前区块进行帧内预测的情况下，所述任意的预测信息能够是特定的帧内预测模式(例如平面模式或DC模式)。例如，在通过帧间预测模式对当前区块进行帧内预测的情况下，所述任意的预测信息能够是特定的预测信息(例如{(0,0)运动向量，参考像素索引0，历史方向)。此外，也能够不执行步骤S2204且不搜索替代候选。
在当前区块为通过四叉树分割生成的区块时，也能够不使用当前区块周边的特定区块的预测信息。
图24是用于对利用当前区块之周边区块构建参考候选列表的另一实施例进行说明的示意图。
图25是用于对基于区块的分割形态构建当前区块的参考候选列表的另一实施例进行说明的示意图。
在步骤S2401中，能够判断当前区块之上级区块的分割形态是否为四叉树分割。即，在步骤S2401中，能够判断当前区块是否为通过四叉树分割生成的区块。当所述上级区块的分割形态不是四叉树分割时，能够判定没有需要在构建参考候选列表时排除的周边区块并结束图24中的处理。而当所述上级区块的分割形态是四叉树分割时，即，在当前区块是通过四叉树分割生成的区块时，能够执行步骤S2402。
即，在步骤S2402中，能够判断当前区块是否为通过四叉树分割生成的4个子区块中在编码顺序上的最后一个子区块。在图25所示的实例中，最后一个子区块能够是子区块D。在当前区块不是子区块D时，能够判定没有需要在构建参考候选列表时排除的周边区块并结束图24中的处理。在当前区块是子区块D时，能够执行步骤S2403。
在步骤S2403中，能够对图24中的子区块A、B、C的预测信息是否全部相同进行判断。当子区块A、B、C的预测信息并非全部相同时，能够判定没有需要在构建参考候选列表时排除的周边区块并结束图24中的处理。当子区块A、B、C的预测信息全部相同时，在步骤S2404中，能够在构建当前区块的子区块D的参考候选列表时将子区块A、B、C的预测信息从参考候选列表中排除。当上级区块是通过四叉树分割被分割成4个子区块时，4个子区块中的至少一个子区块与剩余的子区块不类似的可能性较高。此时，将不类似的子区块的预测信息作为当前区块的预测信息使用的可能性也较低。例如，在图25所示的实例中，当子区块A、B、C的预测信息相同时，子区块D的预测信息与子区块A、B、C的预测信息不相同或不类似的可能性较高。因此，即使是属于当前区块的周边区块，也能够通过将所述子区块A、B、C从子区块D的候选组中排除而提升预测效率以及压缩率。
在步骤S2405中，能够搜索用于替代所排除的参考候选的替代候选。替代候选能够通过多种不同的方法决定。作为一实例，如上所述，能够使用预先设定的预测信息(帧内预测模式时的DC或平面模式，帧间预测模式时的零运动信息等)。作为另一实例，也能够使用没有与当前区块相邻的区块中在当前区块之前最近的时间被编码的区块的预测信息。或者，也能够对步骤S2405进行省略。
图26是用于对包含于参考候选列表中的当前区块之周边区块的优先级变更方法进行说明的示意图。
在结合图26进行说明的实施例中，在构建当前区块的参考候选列表时，能够自适应地决定当前区块的可用周边区块的优先级。
在适用本发明的第1方法中，能够基于当前区块与周边区块的相邻与否和/或周边区块的位置决定优先级。例如，能够为与当前区块相邻的周边区块分配较高的优先级，为不相邻的周边区块分配较低的优先级。在图26所示的实例中，周边区块A、B、F、G是与当前区块相邻的区块。因此，能够为周边区块A、B、F、G分配较高的优先级。此外，也能够按照特定的方法决定相邻的周边区块之间的优先级。例如，能够为特定位置上的区块分配较高的优先级。所述特定位置能够是例如当前区块的左侧和/或上端。按照所述标准，能够将图26所示的周边区块的优先级最终决定为A→B→F→G→C→D→E的区块顺序。或者，也能够相反地为与当前区块相邻的区块分配较低的优先级，为不相邻的区块分给较高的优先级。此时，能够将优先级决定为C→D→E→A→B→F→G的区块顺序。
在适用本发明的第2方法中，能够基于当前区块与周边区块的区块分割深度信息设定不同的优先级。例如，能够基于当前区块的分割深度与周边区块的分割深度的类似成都分配优先级。例如，能够为具有与当前区块的分割深度类似的分割深度的周边区块分配较高的优先级。在分割深度相同的周边区块之间，能够以任意的标准分配优先级。例如，能够为如当前区块的左侧或上端等特定位置上的周边区块分配较高的优先级。
图27是用于对基于分割深度的周边区块优先级决定方法进行说明的示意图。
在图27所示的实例中，当前区块的分割深度为X，周边区块A、F的分割深度为X，周边区块B、G的分割深度为X+1，周边区块D、E的分割深度为X+2，周边区块C的分割深度为X+3。通过所述适用本发明的第2方法，能够在考虑当前区块的分割深度的前提下为具有与当前区块的分割深度类似的分割深度的周边区块分配较高的优先级，从而将优先级决定为A→F→G→B→D→E→C的区块顺序。或者，也能够在不考虑当前区块的分割深度的前提下为分割深度更高的周边区块分配更高的优先级。例如，在仅考虑周边区块的分割深度的前提下，能够将周边区块的优先级决定为C→D→E→A→F→G→B的区块顺序。或者，也能够为具有与当前区块的分割深度类似的分割深度的周边区块分配较低的优先级，或为分割深度更低的周边区块分配更高的优先级。
在适用本发明的第3方法中，能够基于区块的分割顺序决定周边区块的优先级。例如，能够以当前区块作为基准，为最近分割并编码/解码的周边区块分割较高的优先级。图28是用于对基于分割顺序的周边区块优先级决定方法进行说明的示意图。在图28所示的实例中，周边区块的分割顺序被标记在区块之间的边界。在图28所示的实例中，在考虑周边区块的分割顺序的前提下，能够将周边区块的优先级决定为E→G→B→C→F→A→D的区块顺序。或者，也能够以当前区块作为基准，为最近分割并编码/解码的周边区块分割较低的优先级。
在适用本发明的第4方法中，能够基于周边区块之间的预测信息的因果关系决定周边区块的优先级。例如，在当前区块的第1周边区块是利用与其不同的第2周边区块的预测信息进行编码/解码时，能够为第1周边区块分配较低的优先级。图29是用于对基于预测信息之因果关系的周边区块优先级决定方法进行说明的示意图。图29的(a)对当前区块与周边区块的位置进行了图示。图29的(b)对周边区块的各自的预测信息进行了图示。在图29所示的实例中，区块B是参考区块G的预测信息决定了预测信息。同理，区块C是参考区块B的预测信息、区块D是参考区块A的预测信息、区块G是参考区块E的预测信息决定了预测信息。即，例如因为是基于区块G的预测信息决定了区块B的预测信息，因此可以判定在区块G与区块B的预测信息之间有因果关系存在。在图29的(a)所示的实例中，周边区块的优先级能够是任意顺序，如A→B→C→D→E→F→G的区块顺序，也能够在考虑图29的(b)所示的预测信息之间的因果关系的前提下对所述优先级进行变更。例如，因为区块B、C、D、G是参考其他周边区块的预测信息进行编码/解码，因此能够分配较低的优先级。最终，在考虑周边区块的预测信息之间的因果关系的前提下，能够将周边区块的优先级决定为A→E→F→B→C→D→G的区块顺序。或者，也能够在第1周边区块参考第2周边区块的预测信息的情况下为第2周边区块分配较低的优先级。
在所述内容中，对利用当前区块的周边区块构建参考候选列表时决定周边区块的优先级的4种方法进行了说明。所述第1方法至第4方法能够分别独立适用。或者，也能够对第1方法至第4方法中的至少2种以上的方法进行组合适用。例如，能够通过同时适用所述第2方法以及第3方法而决定用于构建参考候选列表的周边区块的优先级。图30是用于对同时考虑到分割深度以及分割顺序时的周边区块优先级决定方法进行说明的示意图。在图30中，对周边区块的分割深度X、X+1、X+2、X+3以及分割顺序1至5进行了图示。也能够以多种不同的方式同时适用所述第2方法以及第3方法。例如，能够在为具有与当前区块的分割深度类似的分割深度的周边区块分配较高的优先级的同时为分割顺序较早的周边区块分配较高的优先级。此时，能够基于分割顺序首先对优先级进行排序。在图30所示的实例中，能够基于分割顺序按照E→G→B→C→F→A→D的顺序进行排序。接下来，能够为具有与当前区块的分割深度类似的分割深度的周边区块分配较高的优先级。例如，因为区块G的分割深度X+1比区块E的分割深度X+2更加接近当前区块的分割深度X，因此能够按照G→E→B→C→F→A→D的顺序进行重新排序。此外，因为区块A、F的分割深度X比区块C的分割深度X+3更加接近当前区块的分割深度X，因此能够按照E→G→B→F→A→C→D的顺序进行重新排序。如上所述，能够通过适用两种以上的基准决定用与当前区块的参考候选列表的周边区块的优先级。
本公开中的示例性方法为了说明的明确性而以动作序列的方式进行了描述，但这并不是为了对步骤的执行顺序进行限定，在必要时也能够同时或以不同的顺序执行各个步骤。为了实现本公开中的方法，也能够在示例的步骤基础上追加包含其他步骤，或只包含除一部分步骤之外的剩余步骤，或在排除一部分步骤之后追加包含其他步骤。
本公开的多种不同的实施例并不是对所有可能的组合进行罗列的结果，只是为了对本公开的代表性形态进行说明，在多种不同的实施例中进行说明的事项能够独立适用或以两种以上的组合方式适用。
此外，本公开中的多种不同的实施例能够通过硬件、固件(firmware)、软件或所述之结合等实现。当通过硬件实现时，能够通过一个或多个ACICs(Application SpecificIntegrated Circuits，专用集成电路)、DSPs(Digital Signal Processors，数字信号处理器)、DSPDs(Digital Signal Processing Devices，数字信号处理装置)、PLDs(Programmable Logic Devices，可编程逻辑器件)、FPGAs(Field Programmable GateArrays，现场可编程门阵列)、通用处理器(general processor)、控制器、微控制器、微处理器等实现。
本公开的范围包括可使多种不同实施例的方法中的动作在装置或计算机上执行的软件、设备可执行的指令(例如操作系统、应用程序、固件(firmware)、程序等)以及保存有所述软件或指令等的装置或计算机可执行的非暂时性计算机可读介质(non-transitorycomputer-readable medium)。
产业可用性
本发明能够用于对影像进行编码/解码。

Claims (4)

1.一种影像解码方法，其特征在于，包括：
判断包括当前区块的上级区块的分割形态的步骤；
基于所述上级区块的所述分割形态来推测所述当前区块的参考候选列表的步骤；
基于所述参考候选列表来推测所述当前区块的预测信息的步骤；以及
基于所述预测信息来生成所述当前区块的预测区块的步骤，
其中，所述参考候选列表包括至少一个候选区块，
其中，当所述上级区块包括与所述当前区块相邻的周边区块时，所述当前区块的所述参考候选列表包括与所述周边区块相邻但不与所述当前区块相邻的候选区块。
2.一种影像编码方法，其特征在于，包括：
判断包括当前区块的上级区块的分割形态的步骤；
基于所述上级区块的所述分割形态来推测所述当前区块的参考候选列表的步骤；
基于所述参考候选列表来生成所述当前区块的预测区块的步骤；以及
基于所述预测区块对所述当前区块的预测信息进行编码的步骤，
其中，所述参考候选列表包括至少一个候选区块，
其中，当所述上级区块包括与所述当前区块相邻的周边区块时，所述当前区块的所述参考候选列表包括与所述周边区块相邻但不与所述当前区块相邻的候选区块。
3.一种传送由影像编码方法生成的比特流的方法，其特征在于，包括：
所述影像编码方法包括：
判断包括当前区块的上级区块的分割形态的步骤；
基于所述上级区块的所述分割形态来推测所述当前区块的参考候选列表的步骤；
基于所述参考候选列表来生成所述当前区块的预测区块的步骤；以及
通过基于所述预测区块对所述当前区块的预测信息进行编码来生成比特流的步骤，
其中，所述参考候选列表包括至少一个候选区块，
其中，当所述上级区块包括与所述当前区块相邻的周边区块时，所述当前区块的所述参考候选列表包括与所述周边区块相邻但不与所述当前区块相邻的候选区块。
4.一种存储比特流的非暂时性计算机可读记录介质，其中，所述比特流是用编码设备通过图像编码方法产生的，其特征在于，
所述影像编码方法包括：
判断包括当前区块的上级区块的分割形态的步骤；
基于所述上级区块的所述分割形态来推测所述当前区块的参考候选列表的步骤；
基于所述参考候选列表来生成所述当前区块的预测区块的步骤；以及
基于所述预测区块对所述当前区块的预测信息编码为比特流的步骤，
其中，所述参考候选列表包括至少一个候选区块，
其中，当所述上级区块包括与所述当前区块相邻的周边区块时，所述当前区块的所述参考候选列表包括与所述周边区块相邻但不与所述当前区块相邻的候选区块。
CN202310596456.8A 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质 Pending CN116489406A (zh)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
KR20160133754 2016-10-14
KR10-2016-0133757 2016-10-14
KR10-2016-0133754 2016-10-14
KR20160133757 2016-10-14
KR10-2017-0127942 2017-09-29
KR1020170127939A KR102511611B1 (ko) 2016-10-14 2017-09-29 영상 부호화 방법/장치, 영상 복호화 방법/장치 및 비트스트림을 저장한 기록 매체
KR10-2017-0127939 2017-09-29
KR1020170127942A KR102480350B1 (ko) 2016-10-14 2017-09-29 영상 부호화 방법/장치, 영상 복호화 방법/장치 및 비트스트림을 저장한 기록 매체
CN201780063610.8A CN109937570B (zh) 2016-10-14 2017-10-12 影像编码方法/装置、影像解码方法/装置以及保存有比特流的记录介质
PCT/KR2017/011213 WO2018070786A1 (ko) 2016-10-14 2017-10-12 영상 부호화 방법/장치, 영상 복호화 방법/장치 및 비트스트림을 저장한 기록 매체

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780063610.8A Division CN109937570B (zh) 2016-10-14 2017-10-12 影像编码方法/装置、影像解码方法/装置以及保存有比特流的记录介质

Publications (1)

Publication Number Publication Date
CN116489406A true CN116489406A (zh) 2023-07-25

Family

ID=61906327

Family Applications (20)

Application Number Title Priority Date Filing Date
CN202310595082.8A Pending CN116489396A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310596456.8A Pending CN116489406A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310595151.5A Pending CN116489398A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310595129.0A Pending CN116489397A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310596009.2A Pending CN116489405A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310595313.5A Pending CN116489400A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310511201.7A Pending CN116405669A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310592033.9A Pending CN116489392A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310512086.5A Pending CN116320404A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310595849.7A Pending CN116489403A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310594159.XA Pending CN116489394A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310595161.9A Pending CN116489399A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310594432.9A Pending CN116489395A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310595869.4A Pending CN116489404A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310595418.0A Pending CN116489402A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310511853.0A Pending CN116320403A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310595383.0A Pending CN116489401A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310512074.2A Pending CN116405670A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310593832.8A Pending CN116489393A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310508607.XA Pending CN116389726A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310595082.8A Pending CN116489396A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质

Family Applications After (18)

Application Number Title Priority Date Filing Date
CN202310595151.5A Pending CN116489398A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310595129.0A Pending CN116489397A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310596009.2A Pending CN116489405A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310595313.5A Pending CN116489400A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310511201.7A Pending CN116405669A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310592033.9A Pending CN116489392A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310512086.5A Pending CN116320404A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310595849.7A Pending CN116489403A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310594159.XA Pending CN116489394A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310595161.9A Pending CN116489399A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310594432.9A Pending CN116489395A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310595869.4A Pending CN116489404A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310595418.0A Pending CN116489402A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310511853.0A Pending CN116320403A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310595383.0A Pending CN116489401A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310512074.2A Pending CN116405670A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310593832.8A Pending CN116489393A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质
CN202310508607.XA Pending CN116389726A (zh) 2016-10-14 2017-10-12 影像解码/编码方法、传送比特流的方法及记录介质

Country Status (3)

Country Link
US (5) US20220400258A1 (zh)
CN (20) CN116489396A (zh)
WO (1) WO2018070786A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11595680B2 (en) 2018-12-28 2023-02-28 Godo Kaisha Ip Bridge 1 Picture decoding device, picture decoding method, and picture decoding program with history-based candidate selection

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5344238B2 (ja) * 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
KR101452713B1 (ko) 2009-10-30 2014-10-21 삼성전자주식회사 픽처 경계의 부호화 단위를 부호화, 복호화 하는 방법 및 장치
LT3697089T (lt) * 2010-04-13 2022-01-10 Ge Video Compression, Llc Paveldėjimas ėminių masyvo multimedžio poskaidinyje
WO2011127961A1 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V. Adaptive image filtering method and apparatus
CN102939750B (zh) 2010-04-13 2016-07-06 Ge视频压缩有限责任公司 跨平面预测
CN102835114B (zh) 2010-04-13 2016-06-15 松下电器（美国）知识产权公司 图像解码方法及图像解码装置
KR102647083B1 (ko) * 2010-10-08 2024-03-14 지이 비디오 컴프레션, 엘엘씨 블록 분할 및 블록 병합을 지원하는 픽처 코딩
US8687654B1 (en) * 2012-01-05 2014-04-01 Google Inc. Method to packetize an encoded video frame
CN104704827B (zh) 2012-11-13 2019-04-12 英特尔公司 用于下一代视频的内容自适应变换译码
KR20140124434A (ko) * 2013-04-15 2014-10-27 인텔렉추얼디스커버리 주식회사 깊이 정보 맵 부호화/복호화 방법 및 장치
EP3021584A4 (en) 2013-07-12 2017-03-15 Samsung Electronics Co., Ltd. Method and apparatus for inter-layer decoding video using depth-based disparity vector, and method and apparatus for inter-layer encoding video using depth-based disparity vector
EP2938073A1 (en) * 2014-04-24 2015-10-28 Thomson Licensing Methods for encoding and decoding a picture and corresponding devices
US9769492B2 (en) * 2014-06-06 2017-09-19 Qualcomm Incorporated Conformance parameters for bitstream partitions
JPWO2015199040A1 (ja) 2014-06-24 2017-04-20 シャープ株式会社 Ｄｍｍ予測部、画像復号装置、および画像符号化装置
KR101662739B1 (ko) * 2014-10-29 2016-10-05 삼성전자주식회사 픽처 경계의 부호화 단위를 부호화, 복호화 하는 방법 및 장치
KR101612239B1 (ko) * 2015-11-20 2016-04-14 중앙대학교 산학협력단 영상 분할 방법 및 그 장치
US10116957B2 (en) * 2016-09-15 2018-10-30 Google Inc. Dual filter type for motion compensated prediction in video coding

Also Published As

Publication number Publication date
CN116489404A (zh) 2023-07-25
CN116489397A (zh) 2023-07-25
US20240007626A1 (en) 2024-01-04
US11778184B1 (en) 2023-10-03
WO2018070786A1 (ko) 2018-04-19
CN116489395A (zh) 2023-07-25
CN116405669A (zh) 2023-07-07
US11909971B2 (en) 2024-02-20
CN116320404A (zh) 2023-06-23
CN116489402A (zh) 2023-07-25
CN116489403A (zh) 2023-07-25
CN116489401A (zh) 2023-07-25
CN116489400A (zh) 2023-07-25
US20240007625A1 (en) 2024-01-04
CN116489405A (zh) 2023-07-25
CN116320403A (zh) 2023-06-23
CN116405670A (zh) 2023-07-07
US20230319276A1 (en) 2023-10-05
US20240007627A1 (en) 2024-01-04
CN116489394A (zh) 2023-07-25
US11902521B2 (en) 2024-02-13
CN116489398A (zh) 2023-07-25
CN116489396A (zh) 2023-07-25
CN116489399A (zh) 2023-07-25
CN116489393A (zh) 2023-07-25
US11909970B2 (en) 2024-02-20
US20220400258A1 (en) 2022-12-15
CN116489392A (zh) 2023-07-25
CN116389726A (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
CN109937570B (zh) 影像编码方法/装置、影像解码方法/装置以及保存有比特流的记录介质
CN109845254B (zh) 影像编码/解码方法及装置
US11533470B2 (en) Method and apparatus for encoding/decoding an image signal
CN114765688A (zh) 用于解码器侧帧内模式导出的模板的使用
KR102480350B1 (ko) 영상 부호화 방법/장치, 영상 복호화 방법/장치 및 비트스트림을 저장한 기록 매체
CN113170117A (zh) 一种视频编码/解码方法及装置
CN116489406A (zh) 影像解码/编码方法、传送比特流的方法及记录介质
KR102511611B1 (ko) 영상 부호화 방법/장치, 영상 복호화 방법/장치 및 비트스트림을 저장한 기록 매체
CN114342392A (zh) 视频信号处理方法和装置
KR20230002222A (ko) 영상 부호화 방법/장치, 영상 복호화 방법/장치 및 비트스트림을 저장한 기록 매체
KR20230042236A (ko) 영상 부호화 방법/장치, 영상 복호화 방법/장치 및 비트스트림을 저장한 기록 매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination