CN106105195B - 用于视频编码的单一样本模式的方法及装置 - Google Patents

用于视频编码的单一样本模式的方法及装置 Download PDF

Info

Publication number
CN106105195B
CN106105195B CN201580012557.XA CN201580012557A CN106105195B CN 106105195 B CN106105195 B CN 106105195B CN 201580012557 A CN201580012557 A CN 201580012557A CN 106105195 B CN106105195 B CN 106105195B
Authority
CN
China
Prior art keywords
sample
block
current
candidate
sample candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580012557.XA
Other languages
English (en)
Other versions
CN106105195A (zh
Inventor
陈渏纹
林建良
孙域晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HFI Innovation Inc
Original Assignee
HFI Innovation Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HFI Innovation Inc filed Critical HFI Innovation Inc
Publication of CN106105195A publication Critical patent/CN106105195A/zh
Application granted granted Critical
Publication of CN106105195B publication Critical patent/CN106105195B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks

Abstract

本发明揭露了一种包括单一样本模式的视频编码的方法以及装置。根据本发明的实施例构建样本候选列表，其包括来自当前深度块或当前纹理块的先前重建的相邻样本的一个或多个样本候选。样本候选是从样本候选列表中选择，且已选择的样本候选被用作当前深度块或当前纹理块的重建样本。指示已选择的样本候选的样本候选索引可被传送于编码器侧或被解析于解码器侧。可选地，样本候选索引可被隐式地导出。

Description

用于视频编码的单一样本模式的方法及装置
【相关申请的交叉引用】
本发明主张申请于2014年3月11日，序列号为61/950,929的美国临时专利申请的优先权。将此美国临时专利申请以参考的方式并入本文中。
【技术领域】
本发明涉及具有平滑内容(smooth content)的视频编码。特别地，本发明涉及具有平滑内容的深度编码或视频使用。
【背景技术】
三维(three-dimensional，3D)电视技术是近年来的技术发展趋势，其目标是给观看者带来轰动的观看体验(viewing experience)。多视图视频是一种捕捉和渲染3D视频的技术。通常的，多视图视频是通过同时地使用多个相机捕捉场景来创建的，其中，多个照相机都被合适地定位，以使每个照相机从一个视角捕捉场景。具有大量与视图相关联的视频序列的多视图视频表示了巨量的数据(massive amount data)。因此，多视图视频将需要大量的存储空间来存储和/或需要高的带宽来传送。因此，在本领域中，多视图视频编码技术被开发出来以减少所需要的存储空间以及传送带宽。于三维以及多视图编码系统中，纹理数据以及深度数据被编码。
目前，高效视频编码(High Efficiency Video Coding，HEVC)的扩展已经被开发出来，其包括范围扩展(range extensions，RExt)以及3D扩展。范围扩展的目标是非4：2：0颜色格式(例如，4：2：2以及4：4：4)，且具有更高比特深度(例如，每个样本12、14以及16比特)的视频数据，而3D扩展的目标是具有深度数据的多视图视频的编码。
利用RExt的最有可能的应用中的一个是通过有线连接或无线的方式的屏幕共用。对于包含屏幕内容(screen content)的视频，编码工具已经通过考虑屏幕内容的特定特性被开发，且已经被证明能实现编码效率的显著增加。于其中，调色板(palette)编码(即，基于主颜色的编码)技术表示使用索引到调色板(主颜色)的像素块，并通过利用空间冗余来编码调色板以及索引。
为了支持自动立体多视图显示，多视图视频加深度(multi-view video plusdepth，MVD)格式作为于JCT3V-G1005(Zhang et al.,Test Model 7of 3D-HEVC and MV-HEVC,Joint Collaborative Team on 3D Video Coding Extension Development ofITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting:San Jose,US,11–17Jan.2014,Document:JCT3V-G1005)中描述的一种新的3D视频格式被介绍。MVD格式包括纹理图像以及其相关的深度图。与表示对象的亮度以及色度信息的纹理图像不同，深度图表示对象以及照相机之间的距离以作为灰度图像(gray scale image)。深度图通常被用作非视觉信息以用于虚拟视图渲染(rendering)。MVD格式通过使用基于深度图像的渲染(depth image based rendering，DIBR)技术启用3D显示以产生用于任意视图的虚拟纹理图像。通常，只有少量的视图需要被传送。MVD格式正在被广泛地用作3D视频编码的输入格式。
通常的，与自然视频数据相比较，深度图以及屏幕内容视频显示了不同的信号特性。一般而言，深度图以及屏幕内容两者包含具有相似像素值的大量平滑区域(substantial smooth area)。此外，平滑区域中的像素甚至常共用区域中相同的像素值。
需要通过考虑深度图以及屏幕内容中平滑区域的特性来开发一种技术以通过新的预测模式以及语法进一步提高编码效率。
【发明内容】
本发明揭露了一种包括单一样本模式的视频编码的方法以及装置。根据本发明的实施例构建样本候选列表，其包括来自当前深度块或当前纹理块的先前重建的相邻样本的一个或多个样本候选。样本候选是从样本候选列表中选择，且已选择的样本候选被用作当前深度块或当前纹理块的重建样本。指示已选择的样本候选的样本候选索引(samplecandidate index)可被传送于编码器侧或被解析于解码器侧。可选地，样本候选索引可被隐式地导出。
样本候选列表可以预定义顺序包含一个或多个样本候选。于样本候选被插入之前或之后，样本候选列表可被修剪(prune)。先前重建的相邻样本可包含空间相邻样本、时间相邻样本、视图间相邻样本，或任何其组合。样本候选列表可进一步包括通过将偏移量(offset)增加到样本候选列表的一个现存的样本候选来导出的至少一个新的样本候选，其中，样本候选列表是用于屏幕内容视频编码中的当前纹理块或深度编码中的当前深度块。样本候选列表也可进一步包含：对应于零的至少一个默认样本候选、最大允许的样本值(maximum allowed sample value)的中值(middle value)、最大允许的样本值、重建的相邻样本的最大值、重建的相邻样本的众数(majority)、或先前重建的相邻样本的中位值(median)。
控制旗标可被传送于当前深度块或当前纹理块以启用或禁用用于当前深度块或当前纹理块的所述单一样本模式处理。当前深度块或当前纹理块对应于编码单元。样本候选列表的目标尺寸(target size)可被传送于包括与当前深度块或当前纹理块相关联的已编码数据的比特流的块等级、条带等级、图片等级、序列等级、或视图等级。根据编码器侧以及解码器侧的相同的过程，样本候选列表的目标尺寸还可被隐式地确定。
样本候选列表的目标尺寸可被固定为正整数N，且样本候选列表的目标尺寸被预先指定(pre-specified)或传送于包括与当前深度块或当前纹理块相关联的已编码数据的比特流。如果样本候选的当前数量小于N，则一个或多个附加的样本候选可被增加到样本候选列表。如果样本候选的当前数量大于N，则根据优先级顺序只有前N个样本候选将被保留于样本候选列表中。优先级顺序可被预先指定或根据已编码样本索引的统计值被适应性地导出。在一个示例中，样本候选列表的目标尺寸固定为2。在此情况下，第一样本候选对应于当前块的左侧的空间相邻样本的列的中间样本，且第二样本候选对应于当前块的顶部(thetop side of the current block)的空间相邻样本的行的中间样本。如果样本候选列表的样本候选为空(empty)，则空的样本候选可由通过将偏移量增加到样本候选列表中可用的样本候选所产生的新的样本候选来替代。如果样本候选的当前数量为1或者更低，则不需要传送样本候选索引以识别已选择的样本候选。
单一样本模式可进一步包括：于编码器侧，传送已选择的样本候选与当前深度块或当前纹理块之间的残差，或于解码器侧，解析该残差。残差将被用于当前深度块或当前纹理块的解码过程中。残差可使用单一表示残差值(single representative residualvalue)或使用四叉树过程(quad-tree process)来编码。此外，一旗标可被传送以指示单一表示残差值或四叉树过程是否被用于编码残差。
【附图说明】
图1A所示为被用于导出用于单一样本模式编码的样本候选的空间相邻样本的示例。
图1B所示为被用于导出用于单一样本模式编码的样本候选的时间相邻样本的示例。
图1C所示为被用于导出用于单一样本模式编码的样本候选的视图间相邻样本的示例。
图2A所示为被用于导出用于单一样本模式编码的样本候选的空间相邻样本的示例。
图2B所示为包括被用于导出用于单一样本模式编码的样本候选的两个空间相邻样本的样本候选列表的示例。
图3所示为根据本发明实施例的用于结合单一样本模式编码的系统的示范性流程图。
【具体实施方式】
如上所述，3D系统中的深度图以及对应于屏幕内容的纹理数据常包括明显的平滑区域。本文所揭露的编码方法利用对应于屏幕内容的深度图以及视频数据的平滑性(smoothness)的优点来提高编码效率。因此，本发明的编码方法使用单一样本值(singlesample value)来表示视频数据(或屏幕内容数据的深度数据)的平滑区域。于本公开中，编码模式被称为“单一样本模式”或“单一样本编码模式”。当一个块被编码于单一样本编码模式时，整个当前块被作为单一像素值来编码。换句话说，当一个块被编码于单一样本编码模式，整个块通过以单一样本值(即，深度值或像素值)来填充块的所有像素被重建。像素可对应于任何颜色格式(例如：YUV444、YUV420、YUV422、YUV400、或RGB)。
被用于填充当前块的像素值可由先前已解码像素导出。首先构建样本候选列表以用于以单一样本编码模式来编码的块。于解码器侧，该块被来自样本候选列表的已选择的候选的单一值填充。以下将描述所推荐的单一样本编码模式的细节。当其被应用于深度编码时，单一样本模式还可被称为“单一深度模式”。当其被应用于纹理数据的视频编码时，单一样本模式还可被称为“单一颜色模式”。
样本候选列表的构建
根据本发明，包括一个或多个样本候选的样本候选列表首先被构建，其中，一个或多个样本候选是用于编码于单一样本编码模式中的视频数据的块。样本候选列表的尺寸可以是固定的或自适应。例如，样本候选列表的尺寸可被固定为N，其中，N为正整数。当样本候选列表的尺寸固定为N时，因为候选列表中可能存在冗余且某些样本候选可能是不可用的，实际的样本候选列表可能较小。因此，于本公开中预期的候选列表尺寸(intendedcandidate list size)被称为“目标尺寸”。此目标尺寸可不同于候选列表的实际尺寸。
样本候选列表是通过将一个或多个样本候选以预定义顺序插入到样本候选列表来构建。样本候选可从当前块(例如，编码单元)的相邻像素中选择。根据与相邻像素相关联的图片类型，样本候选可被分类为不同类型。例如，图1A所示为可用于导出样本候选的空间相邻像素的示例。图1B所示为可用于导出样本候选的时间相邻像素的示例。图1C所示为可用于导出样本候选的视图间相邻像素的示例。然而，图1A到图1C所示的均为特定示例，相邻像素并不限于这些示例。任何先前重建的像素均可用于构建样本候选列表。
a.空间样本候选
如图1A所示，其中，每个小方块表示一个像素，空间相邻像素包括那些围绕当前图片中当前块的重建的像素(即，A0-Am、B0-Bn、D、C、以及E)。空间相邻像素位于与当前块相同的图片中。虽然所示为特定空间相邻像素，但其它空间重建的像素也可被使用。
b.时间样本候选
如图1B所示，时间相邻像素是指与当前块的时间参考图片同位(co-located)的那些像素。换句话说，时间相邻是位于或相邻于时间参考图片中的对应块。图1B所示的特定的示范性时间像素对应于位于中央块位置的右下侧(lower-right side)的同位时间像素(即，TCtr)以及位于同位块的右下角(lower-right corner)像素的斜对角(diagonallyacross from)的同位时间像素(即，TBr)。虽然所示为特定时间相邻像素，但其它的时间重建的像素也可被使用。
c.视图间样本候选
如图1C所示，视图间相邻像素是那些当前块的视图间参考图片的对应块位置中的像素。图1C所示的特定示范性视图间像素对应于对应视图间块的中央块位置的右下侧的像素(ICtr)以及位于对应视图间块的右下角像素的斜对角的像素(即，IBr)。虽然所示为特定视图间相邻像素，但其它的视图间重建的像素也可被使用。
d.附加的样本候选
除以上揭露的空间、时间、以及视图间候选之外，其它样本也可以被插入到样本候选列表。例如，附加的样本候选可以是具有默认值(例如：零)的样本、最大允许的值的中值(middle value)、最大允许的值、相邻像素的最大值、相邻像素的众数(majority)、或相邻像素的中位值(median)。此外，基于从相邻样本导出的样本，附加的样本候选可以是修改的样本。例如，附加的样本候选可以通过将常数值增加到相邻样本候选中的一个来导出。于另一示例中，附加的样本候选可从储存前N个众数像素值的查找表中导出。查找表可基于不同等级的视频数据的统计值来设计，例如：不同等级为序列、图片等级、条带等级、编码块等级(例如：HEVC中的编码单元)、或预测块等级(例如：HEVC中的预测单元)。当候选列表的实际尺寸小于目标尺寸时，附加的样本候选可被增加到样本候选列表中。
样本候选列表的修剪过程
可选的冗余修剪过程可被应用于候选列表，以提高编码效率。例如，如果样本候选与任何先前已导出样本候选相同，则样本候选将不会被插入到候选列表。为了降低复杂性，可应用局部冗余过程(partial redundancy process)，其中，冗余校验仅被应用于某些指定的候选。此外，冗余修剪过程可被独立地或联合地应用于每个颜色信道(color channel)(例如：Y、Cr、Cr、R、G、B、或深度)。于修剪后，候选列表的尺寸可能会小于目标尺寸。附加的样本候选可被增加到候选列表。
单一样本模式的残差信令(residual signaling)
编码于单一样本模式的深度数据或纹理数据的块可通过将已选择的样本填充到块的所有像素来重建，作为可选的过程，预测残差被选择性地传送。当残差被传送以用于单一样本模式时，HEVC中现有的残差四叉树转换(quad-tree transform)以及残差信令可被用于传送残差。可选地，单一delta值可被传送以用于整个单一样本模式的已编码块以作为代表性的残差值。
单一样本模式的信令
一个旗标可被用于表示单一样本编码模式的启用/禁用。此旗标可于编码单元等级被传送，以指示用于整个编码单元的单一样本编码模式的启用/禁用。此旗标也可被传送于预测单元等级，以指示用于预测单元的单一样本编码模式的启用/禁用。
高等级语法也可于条带标头、图片参数集、序列参数集、视频参数集中传送，以启用或禁用用于与视频编码相关联的对应的整个条带、图片、序列、或视频数据的单一样本模式。样本候选列表的尺寸也可于不同等级(例如：条带标头、图片参数集、序列参数集、视频参数集)的比特流中传送。
对于每个单一样本模式编码的块，样本索引可被传送以指示选择于样本候选列表的候选以重建单一样本模式编码的块。截断一元码(truncated unary)或任何其它编码方法可被应用于样本索引的二进制化。此外，基于背景的熵编码(context-dependingentropy coding)可被应用于二进制化样本索引。例如，样本索引的二进制码字的第一个二进制为背景编码(context coded)且其余二进制为旁路编码(bypass coded)。
当样本候选列表的尺寸小于或等于1时，样本索引的信令可被省略。
如先前所述，残差可被可选地传送以用于单一样本模式编码的块。如果可选的残差信令被使用，则旗标可以被进一步传送，以指示单一delta DC或正常残差是否被使用于单一样本模式编码的块。当其为具有残差的正常块时，如HEVC中使用的基于现有的残差信令语法的四叉树编码可被使用于传送残差。于单一delta DC被用于残差时，只有delta DC被发送以用于单一样本模式编码的块。
单一样本模式的限制
根据与编码块相关联的信息(例如：编码块的尺寸或编码块的分区类型)，单一样本模式可被选择性地应用。例如，单一样本模式仅被应用于32x32以及64x64的编码单元(块)。于另一示例中，单一样本模式仅被应用于具有分区类型2Nx2N的编码单元。
单一样本模式的编码器决定
基于与底层视频数据相关联的信息，关于是否启用或禁用单一样本模式的决定可被做出以用于当前图片/条带。以下所示为两个示例：
1.编码器可以搜集当前图片的像素的统计值。如果当前图片的平滑区域大于阈值，则用于当前图片/条带的单一样本模式被启用；否则，用于当前图片/条带的单一样本模式被禁用。在文献中有各种已知的平滑区域检测的技术。例如，当前图片的像素的直方图可用作平滑检测的测量。如果前N个众数像素值的总数量大于阈值，其意味着众数像素被集中于有限的值(limited value)。这是图片中平滑性的指示，且单一样本模式被启用以用于当前图片/条带。否则，单一样本模式被禁用。
2.像素统计值可基于先前重建的图片来搜集，而不是基于当前图片来搜集。例如，统计值可从时间层为当前时间层减1的先前重建的图片中搜集。一个具体的算法示例如下所示。
单一样本模式与帧内预测模式的比较
单一样本模式可被视作帧内预测模式，特别是帧内DC模式(Intra DC mode)，以使接下来的帧内编码块能使用当前单一样本模式编码的块作为先前重建的数据以形成帧内预测。
于非I条带(例如：P条带或B条带)中，单一样本模式可包含样本候选列表中的时间或视图间候选。于I条带中，单一样本模式可以仅包括样本候选列表中的空间候选。
单一样本模式的示例
在一个示例中，用于深度编码的具有固定尺寸的样本候选列表通过根据预定义顺序仅插入空间相邻深度像素来构建。例如，如图2A所示，预定义顺序可对应于A0、…、Am、B0、…、Bn以及D。完整的冗余校验可被应用于深度样本候选列表的构建过程中。一旦列表仍然有空条目(empty entries)，默认样本候选(例如，中间深度值)可用于填充候选列表。
于另一示例中，简化的修剪过程被使用，其中，于冗余校验中，候选Am仅与候选A0做比较；于冗余校验中，候选Bn仅与候选B0做比较。
于又一示例中，样本候选列表的尺寸被固定为2以用于深度编码。换句话说，样本候选列表中包括两个样本候选。样本候选列表使用位于当前块的左侧相邻列样本的中间的第一样本候选来构建。如图2B所示，如果左侧相邻列样本中有n个样本，则中间样本对应于An/2。于第一样本候选被插入后，位于当前块的顶部相邻行样本的中间的第二样本候选被插入。如图2B所示，如果顶部相邻行样本中有n个样本，则中间样本对应于Bn/2。
完整的冗余校验可被应用于像素样本候选列表的构建过程中。默认样本候选可被用于填充候选列表。对于具有屏幕内容的视频编码，默认样本可具有单独的默认颜色(例如，用于三个颜色分量的三个默认值)。
根据本发明实施例的结合单一样本模式的视频编码系统的性能与基于HTM-11.0(高效视频编码，HEVC测试模型)的现有的系统做比较。根据本发明的实施例对深度数据使用单一样本模式，其中，样本候选列表是从如图2B所示的空间相邻样本中导出，且没有残差被传送。性能比较是基于第一列中所列的不同组的测试数据。表1以及表2所示为分别于公共测试条件(common test conditions，CTC)以及于所有帧内(all-Intra，AI)测试条件下结合本发明实施例的系统的测试结果。如表所示，单一样本模式在CTC以及AI测试条件下能分别获得0.29％以及0.34％的BD率节省。
表1
表2
图3所示为根据本发明实施例的用于深度数据或纹理数据的单一样本模式编码的示范性流程图。如步骤310所示，系统接收与当前深度块或当前纹理块相关联的输入数据。对于编码，与当前深度块或当前纹理块相关联的输入数据对应于待编码的深度样本或像素值。对于解码，与当前深度块或当前纹理块相关联的输入数据对应于待解码的已编码深度数据或已编码视频像素数据。与当前深度块相关联的输入数据可以从存储器(例如，计算机存储器，缓冲器(RAM或DRAM)或其它媒体)或处理器中得到。如步骤320所示，从当前深度块或当前纹理块的先前重建的相邻样本中构建包括一个或多个样本候选的样本候选列表。如步骤330所示，从样本候选列表中确定已选择的样本候选。如步骤340所示，于编码器侧，通过用已选择的样本候选来表示当前深度块或当前纹理块中的所有样本来编码当前深度块或当前纹理块，或于解码器侧，通过使用已选择的样本候选作为用于当前深度块或当前纹理块中所有样本的重建值来解码当前深度块或当前纹理块。
以上描述可使本领域的普通技术人员如特定应用及其要求的上下文提供的来实践本发明。对本领域技术人员来说，对所描述的实施例的各种修改是显而易见的，且本文定义的一般原理可被应用于其它实施例。因此，本发明并非意在限定于以上所示及所描述的特定实施例，而是要符合与此公开揭露的原理和新颖特征相一致的最宽范围。在以上详细描述中，各种具体细节被示出以便提供本发明的彻底理解。然而，本领域技术人员应知晓本发明是可被实践的。
如上所述，本发明的实施例可以由各种硬件，软件代码，或两者的组合来实现。例如，本发明的实施例可以是被集成到视频压缩芯片电路，或被集成于视频压缩软件的程序代码以执行本文所描述的处理过程。本发明的实施例还可以是执行于数字信号处理器上的程序代码，以执行本文所描述的处理过程。本发明还可包含由计算机处理器，数字信号处理器，微处理器，或现场可编程门阵列执行的多个功能。根据本发明，通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码，这些处理器可被配置为执行特定任务。软件代码或固件代码可被开发为不同的编程语言以及不同的格式或风格。软件代码还可被编译以用于不同的目标平台。然而，根据本发明的不同的软件代码的代码格式、风格及语言，以及用于配置代码以执行任务的其他方式，均不会背离本发明的精神以及范围。
在不脱离其精神或本质特征的情况下，本发明可以其它特定形式来体现。所描述的示例在所考虑的所有的方面都只是说明性的而不是限制性的。因此，本发明的范围是由其所附的权利要求来指示的，而不是由上文的描述来指示的。在权利要求的等效范围及含义内的所有改变均包含于本发明范围之内。

Claims (22)

1.一种用于深度数据或纹理数据的块的视频编码的方法，其特征在于，所述方法包括：
接收与当前深度块或当前纹理块相关联的输入数据；
如果所述当前深度块或所述当前纹理块是以单一样本模式被编码，将单一样本模式处理应用到所述当前深度块或所述当前纹理块，其中，所述单一样本模式处理包括：
从所述当前深度块或所述当前纹理块的先前重建的相邻样本中构建包括一个或多个样本候选的样本候选列表；
从所述样本候选列表中确定已选择的样本候选；以及
于编码器侧，通过用所述已选择的样本候选来表示所述当前深度块或所述当前纹理块中的所有样本来编码所述当前深度块或所述当前纹理块，或于解码器侧，通过使用所述已选择的样本候选作为用于所述当前深度块或所述当前纹理块中所有样本的重建值来解码所述当前深度块或所述当前纹理块，
其中所述样本候选列表还包括：对应于零的至少一个默认样本候选、最大允许的样本值的中值、所述最大允许的样本值、所述重建的相邻样本的最大值，所述重建的相邻样本的众数，或所述先前重建的相邻样本的中位值。
2.如权利要求1所述的方法，其特征在于，还包括：于所述编码器侧传送样本候选索引或于所述解码器侧解析所述样本候选索引，其中，所述样本候选索引与所述已选择的样本候选相关联。
3.如权利要求1所述的方法，其特征在于，所述已选择的样本候选是由样本候选索引来指示，且所述样本候选索引被隐式地导出。
4.如权利要求1所述的方法，其特征在于，所述构建所述样本候选列表包括：以预定义顺序将一个或多个样本候选插入所述样本候选列表。
5.如权利要求1所述的方法，其特征在于，所述构建所述样本候选列表包括：于一个样本候选被插入之前或之后，选择性地修剪所述样本候选列表。
6.如权利要求1所述的方法，其特征在于，所述先前重建的相邻样本包括空间相邻样本、时间相邻样本、视图间相邻样本、或任何其组合。
7.如权利要求1所述的方法，其特征在于，所述样本候选列表还包括：通过将偏移量增加到所述样本候选列表中的一个现存的样本候选来导出至少一个新的样本候选，其中，所述样本候选列表是用于屏幕内容视频编码中的所述当前纹理块或用于深度编码中的所述当前深度块。
8.如权利要求1所述的方法，其特征在于，控制旗标被传送于所述当前深度块或所述当前纹理块以启用或禁用用于所述当前深度块或所述当前纹理块的所述单一样本模式处理，且其中，所述当前深度块或所述当前纹理块对应于编码单元。
9.如权利要求1所述的方法，其特征在于，所述样本候选列表的目标尺寸可传送于包括与所述当前深度块或所述当前纹理块相关联的已编码数据的比特流的块等级、条带等级、图片等级、序列等级、或视图等级。
10.如权利要求1所述的方法，其特征在于，根据所述编码器侧以及所述解码器侧的相同的过程，所述样本候选列表的目标尺寸被隐式地确定。
11.如权利要求1所述的方法，其特征在于，所述样本候选列表的目标尺寸被固定为正整数N，且所述样本候选列表的所述目标尺寸被预先指定或传送于包括与所述当前深度块或所述当前纹理块相关联的已编码数据的比特流。
12.如权利要求11所述的方法，其特征在于，如果样本候选的当前数量小于N，则将一个或多个附加的样本候选增加到所述样本候选列表。
13.如权利要求11所述的方法，其特征在于，如果样本候选的当前数量大于N，则根据优先级顺序只有前N个样本候选被保留于所述样本候选列表中。
14.如权利要求13所述的方法，其特征在于，所述优先级顺序被预先指定或根据已编码样本索引的统计值被适应性地导出。
15.如权利要求11所述的方法，其特征在于，所述样本候选列表的所述目标尺寸固定为2。
16.如权利要求15所述的方法，其特征在于，所述样本候选列表使用位于所述当前块的左侧的空间相邻样本的列的中间的第一样本候选，且接着使用位于所述当前块的顶部的空间相邻样本的行的第二样本候选来构建。
17.如权利要求16所述的方法，其特征在于，如果所述样本候选列表中的一个样本候选为空，则为空的所述一个样本候选由通过将偏移量增加到所述样本候选列表的可用的样本候选所产生的新的样本候选来替代。
18.如权利要求11所述的方法，其特征在于，如果样本候选的当前数量为1或者更低，则没有样本候选索引被传送以识别所述已选择的样本候选。
19.如权利要求1所述的方法，其特征在于，还包括：于所述编码器侧，传送所述已选择的样本候选与所述当前深度块或所述当前纹理块之间的残差，或于所述解码器侧，解析所述残差，且于所述解码所述当前深度块或所述当前纹理块中包括所述残差。
20.如权利要求19所述的方法，其特征在于，所述残差使用单一表示残差值或使用四叉树过程来编码。
21.如权利要求20所述的方法，其特征在于，旗标被传送以指示所述单一表示残差值或所述四叉树过程是否被用于所述残差的编码。
22.一种于视频编码系统中用于深度数据或纹理数据的块的视频编码的装置，其特征在于，所述装置包括一个或多个被配置如下的电子电路：
接收与当前深度块或当前纹理块相关联的输入数据；
如果所述当前深度块或所述当前纹理块是以单一样本模式被编码：
从所述当前深度块或所述当前纹理块的先前重建的相邻样本中构建包括一个或多个样本候选的样本候选列表；
从所述样本候选列表中确定已选择的样本候选；以及
通过用所述已选择的样本候选来表示所述当前深度块或所述当前纹理块中的所有样本来编码所述当前深度块或所述当前纹理块，或通过使用所述已选择的样本候选作为用于所述当前深度块或所述当前纹理块中所有样本的重建值来解码所述当前深度块或所述当前纹理块，
其中所述样本候选列表还包括：对应于零的至少一个默认样本候选、最大允许的样本值的中值、所述最大允许的样本值、所述重建的相邻样本的最大值，所述重建的相邻样本的众数，或所述先前重建的相邻样本的中位值。
CN201580012557.XA 2014-03-11 2015-03-11 用于视频编码的单一样本模式的方法及装置 Active CN106105195B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461950929P 2014-03-11 2014-03-11
US61/950,929 2014-03-11
PCT/CN2015/073984 WO2015135473A1 (en) 2014-03-11 2015-03-11 Method and apparatus of single sample mode for video coding

Publications (2)

Publication Number Publication Date
CN106105195A CN106105195A (zh) 2016-11-09
CN106105195B true CN106105195B (zh) 2019-06-21

Family

ID=54070945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580012557.XA Active CN106105195B (zh) 2014-03-11 2015-03-11 用于视频编码的单一样本模式的方法及装置

Country Status (7)

Country Link
US (1) US20170019665A1 (zh)
EP (1) EP3111642B1 (zh)
KR (1) KR101864979B1 (zh)
CN (1) CN106105195B (zh)
CA (1) CA2942055C (zh)
SG (1) SG11201607517TA (zh)
WO (1) WO2015135473A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2884066T3 (es) 2011-10-18 2021-12-10 Lg Electronics Inc Método de intra predicción y dispositivo para lo mismo
CN104333760B (zh) * 2014-10-10 2018-11-06 华为技术有限公司 三维图像编码方法和三维图像解码方法及相关装置
GB2557809B (en) 2015-08-28 2021-12-01 Kt Corp Method and device for processing video signal
WO2020114407A1 (en) 2018-12-03 2020-06-11 Beijing Bytedance Network Technology Co., Ltd. Partial pruning method for hmvp mode
US20220174287A1 (en) * 2019-03-26 2022-06-02 Intellectual Discovery Co., Ltd. Image encoding/decoding method and apparatus

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104396250A (zh) * 2012-07-02 2015-03-04 高通股份有限公司 用于3d视频译码的深度图的帧内译码

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120206440A1 (en) 2011-02-14 2012-08-16 Dong Tian Method for Generating Virtual Images of Scenes Using Trellis Structures
US20130114717A1 (en) * 2011-11-07 2013-05-09 Qualcomm Incorporated Generating additional merge candidates
US20130177083A1 (en) * 2012-01-05 2013-07-11 Qualcomm Incorporated Motion vector candidate index signaling in video coding
US9426463B2 (en) * 2012-02-08 2016-08-23 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
US9451277B2 (en) * 2012-02-08 2016-09-20 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
US20130271565A1 (en) * 2012-04-16 2013-10-17 Qualcomm Incorporated View synthesis based on asymmetric texture and depth resolutions
WO2013159330A1 (en) * 2012-04-27 2013-10-31 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
US9258562B2 (en) * 2012-06-13 2016-02-09 Qualcomm Incorporated Derivation of depth map estimate
US11259020B2 (en) * 2013-04-05 2022-02-22 Qualcomm Incorporated Determining palettes in palette-based video coding
US9756359B2 (en) * 2013-12-16 2017-09-05 Qualcomm Incorporated Large blocks and depth modeling modes (DMM'S) in 3D video coding
US10021418B2 (en) * 2014-06-19 2018-07-10 Hfi Innovation Inc. Method and apparatus of candidate generation for single sample mode in video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104396250A (zh) * 2012-07-02 2015-03-04 高通股份有限公司 用于3d视频译码的深度图的帧内译码

Also Published As

Publication number Publication date
CA2942055A1 (en) 2015-09-17
EP3111642A4 (en) 2017-07-26
CN106105195A (zh) 2016-11-09
EP3111642A1 (en) 2017-01-04
CA2942055C (en) 2019-07-16
WO2015135473A1 (en) 2015-09-17
KR20160132952A (ko) 2016-11-21
KR101864979B1 (ko) 2018-06-05
SG11201607517TA (en) 2016-10-28
EP3111642B1 (en) 2021-05-12
US20170019665A1 (en) 2017-01-19

Similar Documents

Publication Publication Date Title
JP6788699B2 (ja) 高い分割自由度を伴う効果的なパーティション符号化
JP6814783B2 (ja) パーティション符号化を用いた有効な予測
US20200288138A1 (en) Method and Apparatus for Encoding and Decoding a Texture Block Using Depth Based Block Partitioning
DK2391129T3 (en) New planar prediction mode
CN106134191B (zh) 用于低延迟亮度补偿处理以及基于深度查找表的编码的方法
US11265557B2 (en) Transform-based image coding method and device
CN106105195B (zh) 用于视频编码的单一样本模式的方法及装置
CN104025602B (zh) 三维视频译码中用信号通知视图合成预测支持
KR101817589B1 (ko) 3d 비디오 코딩에서 단순화된 cabac 코딩의 방법
CN105308956B (zh) 用于深度图帧内译码的预测子
KR20180004249A (ko) 고효율 비디오 코딩(hevc) 스크린 콘텐츠 코딩(scc) 확장을 위한 어드밴스드 코딩 기법
WO2015043501A1 (en) Residual coding for depth intra prediction modes
CN105052147A (zh) 用于3d-hevc的深度数据的深度译码模式信令
CN105103559A (zh) 用于3d-hevc的深度数据的深度译码模式信令
CN108464002A (zh) 视频译码中具有非正方形预测单元的线性模型预测
CN105874788B (zh) 对3d视频译码中较大预测块的逐段dc译码的简化
CN107547907B (zh) 编解码的方法及设备
CA2935301A1 (en) Method and apparatus for intra prediction coding with boundary filtering control
CN102986214A (zh) 从低动态范围图像生成高动态范围图像
CN105191317A (zh) 视图内以及跨越视图的深度查找表的预测性译码
KR102524915B1 (ko) 픽처 경계 처리를 위한 멀티형 트리 깊이 확장
CN105122796B (zh) 三维或多视图编码及解码系统中照度补偿的方法
Liu et al. Coding of 3D holoscopic image by using spatial correlation of rendered view images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant