CN105393541A - 使用基于深度的块分割编解码纹理块的方法和装置 - Google Patents

使用基于深度的块分割编解码纹理块的方法和装置 Download PDF

Info

Publication number
CN105393541A
CN105393541A CN201380078359.4A CN201380078359A CN105393541A CN 105393541 A CN105393541 A CN 105393541A CN 201380078359 A CN201380078359 A CN 201380078359A CN 105393541 A CN105393541 A CN 105393541A
Authority
CN
China
Prior art keywords
texture block
block
subregion
depth
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380078359.4A
Other languages
English (en)
Other versions
CN105393541B (zh
Inventor
亚采克·科涅奇
费边·耶格尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN105393541A publication Critical patent/CN105393541A/zh
Application granted granted Critical
Publication of CN105393541B publication Critical patent/CN105393541B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals

Abstract

本发明涉及一种解码纹理图像的编码纹理块的装置，所述解码装置包括：分割器(510)，用于基于与编码纹理块(312’)相关联的深度信息(322)确定所述编码纹理块的分割掩模(332)，其中，所述分割掩模(332)用于定义多个分区(P1，P2)，并将所述编码纹理块的纹理块元素与所述编码纹理块的所述多个分区中的分区关联；解码器(720)，用于基于所述分割掩模将所述编码纹理块的所述多个分区中的多个分区进行解码。

Description

使用基于深度的块分割编解码纹理块的方法和装置
技术领域
本发明实施例涉及计算机视觉领域，具体涉及，例如用于3D图像和视频编码的纹理+深度图以及视频编码。
在3D视频处理中，深度数据通常表示为与纹理视频的每帧相对应的深度图的集合。深度图每个点的强度描述该点到该点表示的视觉场景的摄像头的距离。或者，可以使用视差图，其中视差值与深度图的深度值成反比。
在3D视频编码中，除了传统的视频数据外，也称为纹理数据或纹理信息，每个视图的深度图也需编码。为了保持非3D编解码器的后向兼容性，在现有的3D视频编解码器中，首先对基础视图的纹理数据进行编码。剩余分量的编码顺序可以调整。当前，存在两种主要的编码顺序：纹理优先和深度优先，两者都提供了利用分量间依赖关系的机会，即，纹理分量与相应的深度分量或视差分量间的依赖关系，以提高3D视频编解码器的整体编码性能。纹理优先的编码顺序使得先进的依赖于纹理的编码工具用于编码深度数据。另一方面，深度优先的编码顺序使得先进的依赖于深度的编码工具用于纹理编码。
在3D视频编码的未来标准中，称为3D-HEVC[G.Tech，K.Wegner，Y.Chen，S.Yea，“3D-HEVC测试模型2”，3D视频编码扩展发展联合组(JointCollaborativeTeamon3DVideoCodingExtensionDevelopment，JCT3V)文件JCT3V-B1005，2012年10月]，当前纹理优先的编码顺序用于公共测试条件(CommontestConditions，CTC)。在3D视频编码的将来的进一步的标准中，称为3D-AVC[“3D-AVCDraftText6”，JCT3V-D1002，仁川，韩国，2013年4月]，当前深度优先的编码顺序用于公共测试条件(CommontestConditions，CTC)。
3D视频的联合编码是一个重要的研究领域，其目的在于利用分量间的依赖关系来提高整体的编码性能。两种方向(纹理到深度和深度到纹理)都是可能的也可以通过使用分量间的依赖关系提高整体的编码效率。
在[P.Merkle，C.Bartnik，K.M¨uller，D.Marpe，T.Wiegand，“基于块分区的分量间预测的深度编码”，图片编码研讨会，克拉科夫，波兰，2012年5月]中，同一视图的已经编码的纹理信息用于生成分割掩模，其用于预测内预测块中的同位深度块。对于得到的二进制的分割掩模的两个段的每一个得到DC预测值。从纹理到深度的形状预测将提高预测质量尤其是深度间断点的位置准确性。
在[“FraunhoferHHI(兼容HEVC；配置A)提议的3D视频技术的描述”，文件M22570，2011年11月，日内瓦，瑞士]中提出了类似的概念，其中，介绍了深度图编码的楔波和轮廓分割。
此外，也提议了在间预测中使用纹理分量和深度分量之间的高相关性的方法。在[M.Winken，H.Schwarz，T.Wiegand，“在高效3D视频+深度编码中的运动矢量继承”，图片编码研讨会，克拉科夫，波兰，2012年5月]中，提议了重用纹理视图的已编码的运动信息(即，运动矢量和参考图片索引)来减少同一视图的深度分量的要求的比特率。在该方法中，当编码深度块时，运动矢量信息和预测单元的分割可以从同位的纹理块中继承。
在[ITU-TVCEG和ISO/IECMPEG3D视频编码扩展发展联合组(JointCollaborativeTeamon3DVideoCodingExtensionDevelopment，JCT-3V)，“3D-CE3.h：3DHTM4.1的深度四叉树预测，”JCT3V-B0068，技术报告，2012年10月]中，作者提议将深度分量的块分割(即，编码四叉树的深度)限制在相应的纹理四叉树中。通过该限制，可能节省深度分量中的分割标记的比特率，但也会引入两个分量间的解析依赖关系。
在[“诺基亚提议的3D视频编码技术的描述”，文件M22552，2011年11月，日内瓦，瑞士]和[C.Lee，Y.-S.Ho，“使用视图合成预测的3D视频编码的框架”，图片编码研讨会，克拉科夫，波兰，2012年5月]中，提议了基于已经编码的深度信息为从属的纹理视图合成额外的预测信号。这里，编码块(像素值)的内容使用基于深度图的渲染技术从参考纹理视图中合成而来，该渲染技术要求深度正确地映射视图间的像素位置。
在[“FraunhoferHHI(兼容HEVC；配置A)提议的3D视频技术的描述”，文件M22570，2011年11月，日内瓦，瑞士]和[“波兹南工业大学针对3D视频编码技术的技术描述”，文件M22697，2011年11月，日内瓦，瑞士]中，基于与编码块相关联的深度值得到了用于编码当前编码块的从参考示图中预测运动信息的候选信息。
在[“FraunhoferHHI(兼容HEVC；配置A)提议的3D视频技术的描述”，文件M22570，2011年11月，日内瓦，瑞士]中提出了类似的方法，以预测已经编码的参考示图的残留。基于深度估计，确定当前块的视差矢量，视差矢量所参考的参考示图中的残留块用于预测当前块的残留。
在[“视频+深度图编码的基于深度的加权双向预测”，ICIP2012，2012年9月]中，使用权重完成了编码块的双向间预测结果的合并，该权重的值基于深度信息计算。提出了用于计算权重的不同方法，包括向块的一个或另一个区域的二进制赋值。
发明内容
本发明的目的在于提供一种高效的编码3D图像或3D视频的纹理图像的纹理块的编码方案，即，编码和解码方案。
本发明的上述目的以及其他目的是通过独立权利要求的特征来实现的。结合从属权利要求、说明书和附图，进一步的实现形式是显而易见的。
大多数的现有方案利用了纹理到深度的依赖关系。然而，尽管两种方向(纹理到深度和深度到纹理)都展现了一些优势，总的来说，使用深度信息来减少纹理码率更令人满意因为纹理码率要比深度分量的码率高得多。
而且，为了编码纹理，现有技术中的方法使用带规则形状分区的块分割或者要求通过信号发送任意形状的复杂方法，这会降低这些方法的编码性能。确定任意形状分区的分量间依赖关系目前只用于基于纹理的深度分割。通过基于深度信息确定任意形状的纹理分区能够提高整体的编码性能。
本发明的各个方面和实现形式提供了一种使用基于与纹理块相关联的深度信息确定的分割的编码，即编码和解码，纹理块的方案。根据本发明，不使用规则形状的通常是矩形的分区来对纹理块进行编码，而是使用预定数量的分区对纹理块进行编码，所述分区的形状基于深度信息确定且是任意形状，通常是不规则特别是非矩形的形状。分区的形状能够通过深度信息的现有知识(深度优先编码)确定，分区的任意形状不需要从编码器传输到解码器因为确定分区形状的计算会在解码器中重复进行。所述方案也可以称为基于深度的块分割(Depth-basedBlockPartitioning，DBBP)。
进一步的各个方面和实现方式提供方案以改进在3D和纹理+深度视频编码中使用DBBP的纹理编码，和/或降低基于DBBP视频编码的复杂度。
根据第一方面，本发明涉及一种用于编码纹理图像的纹理块的方法，所述方法包括：基于与纹理块相关联的深度信息确定所述纹理块的分割掩模，其中所述分割掩模用于定义所述纹理块的多个分区，并将所述纹理块的纹理块元素与所述多个分区的分区相关联；基于所述分割掩模编码所述纹理块的所述多个分区中的多个分区从而对所述纹理块进行编码。
即，根据第一方面的方法使用基于深度的块分割，也可以称为基于深度的块分割或者基于深度的块分割编码。
根据第一方面的方法利用了纹理分量和深度分量间的分量间依赖关系。此外，使用深度信息降低纹理码率可以提高编码效率，这是因为纹理分量的码率要比对应的深度分量的码率高得多。
更进一步地，不使用规则的，例如，矩形的分区来编码纹理块，根据第一方面的编码允许定义任意形状的分区，其中，任意形状的分区基于与待编码的纹理块相关联的深度信息而确定。纹理块中带有类似或相同纹理特征的区域通常不展现为规则形状，特别是矩形，基于与纹理块相关联的深度信息的任意形状的分割使得任意纹理区域的描述或建模更加准确。因此，例如，相比于传统的矩形块分割，与规则形状分割相比能够减少预测误差和/或能够减少通过信号发送深度四叉树分割所需要的信令开销。
即，根据第一方面的方法允许将纹理块划分成包括不规则分区和规则分区的任何种类的分区。最后，纹理块的分区的形状能够通过与纹理块相关联的深度信息的现有知识确定，描述纹理块分区任意形状的信息不需要从编码器传输到解码器因为确定纹理块分区的形状的计算能在解码器中高效进行，例如，基于与待解码的编码纹理块相关联的解码深度信息(深度优先编码)。
所述纹理图像可以是静止图像的纹理分量或者视频帧的纹理分量。
所述深度信息可以是深度图的深度值或者视差图的视差值。
根据第一方面的方法的第一种可能的实现形式中，所述编码所述多个分区中的多个分区包括：针对所述纹理块的所述多个分区中的第一分区，分别从所述纹理块的所述多个分区中的第二分区中确定用于编码所述第一分区的编码信息。所述编码信息可以涉及或者包括与所述纹理块的单独段的预测编码或者所述纹理块的单独段的非预测编码相关联的信息。
对于预测编码，所述编码信息可以包括以下的一种或多种：预测模式，预测因子索引，预测方向，参考图片索引，参考视图索引，变换系数，运动矢量，以及编码上下文。
所述编码所述多个分区中的多个分区可以为每个分区分别进行。通过为一些或者所有分区分别确定所述编码信息可以提高预测准确性，因此，预测误差减少。
根据第一方面或者第一方面的第一种实现形式的方法的第二种可能的实现形式中，所述多个分区中的分区数量是预定的或自适应确定的。
确定所述多个分区中的分区数量的两种方法(预定或者自适应确定)在表示编码块的所述数量的分区的码流中都不需要额外的信令。否则，编码器需要为每个使用基于深度的块分割的块添加信息到码流中，例如分区的数量。
根据第一方面或者第一方面上述实施形式的任一项的方法的第三种可能的实现形式中，所述多个分区中分区的数量通过分析与所述纹理块相关联的深度信息而自适应确定。
分析与所述纹理块相关联的深度信息，例如深度图值或视差图值，相比分析所述纹理块的纹理信息，例如色度和亮度，要简单。因此，所述深度信息能够用于高效地确定所述纹理块的分区数量。特别地，在块层级上，所述深度信息通常只包括极少数相关的范围或者深度信息值，用于将与所述纹理块相关联的深度信息以及相应的纹理块可靠地划分到所述多个分区中。通常，只要两个分区就足够，例如，第一分区，表示所述纹理块内前景目标的区域；第二分区，表示所述纹理块内背景的区域。
根据第一方面或者第一方面上述实施形式的任一项的方法的第四种可能的实现形式中，通过所述分割掩模将所述纹理块的所述纹理块元素与所述多个分区中的一个相关联是基于与所述纹理块元素相关联的深度信息值和阈值的对比而进行的。
使用阈值确定所述分割掩模以及相应的分区复杂度低但是一种高效的进行分割的方法，尤其是结合一维深度信息值时。
根据第四种实现形式的方法的第五种实现形式中，所述阈值是预定的或者自适应确定的。
确定所述阈值的两种方法(预定或者自适应确定)在编码块的阈值码流中都不需要额外的信令。这减少了需要传输到解码器的比特数量，提高了编码性能。否则，编码器需要为每个使用基于深度的块分割的块添加关于阈值的信息到码流中。
根据第一方面的第四或第五种实现形式的方法的第六种实现形式中，所述阈值通过分析与所述纹理块相关联的深度信息而自适应确定。
所述自适应确定所述阈值可以包括：针对与待编码的纹理块相关联的区域，计算深度信息值的平均值；将所述阈值设置成所述计算出的平均值。
所述自适应确定所述阈值可以包括：针对与待编码的纹理块相关联的区域，计算深度信息值的加权平均值，其中，用于计算所述加权平均值的权重取决于与所述纹理块中心的距离；将所述阈值设置成所述计算出的加权平均值。
所述自适应确定所述阈值可以包括：针对与待编码的纹理块相关联的区域，计算深度信息值的中值；将所述阈值设置成所述计算出的中值。
所述提及的实现形式提供了相对简单的计算所述阈值的方法，所述方法计算不复杂。这对于通常具有功耗和计算功率限制的解码器来说尤其重要。而且，所述提及的方法可以使用规则结构的算法实现，使得硬件实现更加容易。
根据第一方面或者第一方面的第一至第三种实现形式中的任一项的方法的第七种实现形式中，所述确定所述分割掩模基于向与所述纹理块相关联的深度信息值的区域实施边缘检测算法而进行。
使用在表示深度信息的图像中检测到的边缘的位置的有关信息提供了一种简单的方法确定维持目标边缘的分区。特别地，这种分割通常反映了最需要的分割，以待编解码器选择来最大化编码性能。而且，在表示深度信息的图像上进行的边缘检测通常是一项计算并不复杂的简单工作。
根据第一方面或者根据上述实现形式的任一项的第八种实现形式中，所述确定所述分割掩模以迭代方式进行，其中，在每次迭代中，满足预定选择条件的分区进一步划分成子分区直至满足预定的终止条件，或者满足预定选择条件的分区进一步划分成子分区只要还满足进一步的分割条件，其中，所述纹理块进行所述迭代分割的初始分区。
针对所述初始分区或者任何后续子分区的分割，可以使用上述实现形式的任一项。
这种迭代分割方法表示了一种规则结构的算法，使得在硬件实现上相对容易。而且，在算法变更或者微调时，任何条件的修改需要一次性完成，因为后续所有的迭代都使用完全一样的处理。
根据第一方面或者第一方面的上述实现形式的任一项的第九种实现形式中，所述方法还包括：将编码模式指示复用到码流中，所述码流包括所述纹理块的多个分区中的编码分区的编码信息，其中，所述编码模式指示表明所述纹理块的分割是否是使用基于与所述纹理块相关联的深度信息得到的分割掩模而进行的，和/或所述编码模式指示表明是否使用了多个不同的分割模式中的具体分割模式，所述多个不同的分割模式使用了通过基于与所述纹理块相关联的深度信息得到的分割掩模。
通过信号发送本发明提及的基于深度的块分割的使用非常灵活且为现有视频编解码器的结构(语法和语义)提供了简单的实现形式。
根据第一方面或者第一方面的上述实现形式的任一项的方法的第十种实现形式中，所述方法还包括：编解码与所述纹理块相关联的深度信息得到用于确定所述分割掩模的深度信息。
通过使用已经编解码的深度信息而不是原始的深度信息，编码器使用解码器同样的可用的深度信息，因此可以更加准确地计算出预测误差。该预测误差可以传输到解码器以在解码器侧更加准确地重建原始的纹理块。
根据本发明的第二方面，本发明涉及一种用于编码纹理图像的纹理块的方法，所述方法包括：根据第一方面或者其任一实现形式中说明的基于深度的块分割编码模式，编码纹理块；使用一个或多个规则形状分割编码模式编码所述纹理块；基于选择条件，选择上述编码模式中的一个用于传输编码纹理块。
通过使用根据第一方面或其任一实现形式的编码方法并结合其他编码模式，尤其是可以选择最适合的编码模式，规则形状分割编码模式用于传输，例如最适合于编码效率。
根据第二方面的第一种实现形式，所述选择包括：比较所述基于深度的块分割编码模式的编码成本和一个规则形状分割编码模式的编码成本，或者多个规则形状分割编码模式的编码成本；在所述基于深度的块分割编码模式的编码成本低于所述一个规则形状分割编码模式的编码成本，或者低于所述多个规则形状分割编码模式的全部编码成本时，选择所述基于深度的块分割编码模式。
根据第二方面或者第二方面的第一种实现形式的方法的第二种实现形式中，所述选择上述的编码模式中的一个以编码所述纹理块针对每一纹理块进行；和/或所述方法还包括：在每GOP，每内周期，每图像，每分片，每编码单元，或者每宏块中，使能或去使能所述基于深度的块分割编码模式，其中，针对所述基于深度的块分割编码模式的使能或去使能指示通过SPS，PPS，PBS，VPS，图片头，SH，宏块，或编码单元语法用信号发送。
当使用最合适的编码模式时，选择每纹理块的编码模式能够提高编码效率。
使能或去使能使用所述基于深度的块分割编码模式的可能性很大程度上能够减少对纹理图像的分区的信令开销，所述纹理图像的分区的基于深度的块分割被看成不太适合这些分区，而其他编码模式包括规则形状编码模式，例如因为纹理的分区的数据分析，被认为是更合适的。
根据第二方面或者第二方面的第一或第二种实现形式的方法的第三种实现形式中，多个可选择的编码模式包括基于规则形状分割的编码模式的集合以及一个基于深度的分割编码模式；其中，每个基于所述规则形状分割的编码模式都有一个模式专用编码模式指示与其关联，所述模式专用编码模式指示将各个规则形状分割编码模式与其他规则形状分割编码模式区分开来；所选择的基于深度的块分割编码模式通过将标记只添加到编码模式指示集合中编码模式指示中的一个从而通过信号发送，其中所述标记的第一值指示选择了与所述编码模式指示相关联的所述规则形状分割编码模式，所述标记的第二值指示选择了所述基于深度的块分割编码模式。
通过将标记只添加到编码模式指示中的一个能够提高整体的编码性能。例如，因为使用所述方法，所述标记能够添加到不常使用的模式指示中。这样，其他经常使用的模式的模式指示不受额外标记的影响，从而能够降低整体的码率。
根据第二方面或者第二方面的上述实现形式的任一项的方法的第四种实现形式中，所述方法还包括：将分割掩模映射到规则形状分区中；根据所述分割掩模的规则形状分割表示或者根据基于所述分割掩模的规则形状分割表示得到的信息，对连续的纹理块进行编码。
所述用于编码所述连续的纹理块的编码可以使用根据第一或者第二方面或者根据第一或第二方面的任一实现形式的基于深度的块分割编码，或者使用规则形状分割编码模式进行。
根据第三方面，本发明涉及计算机程序，当所述计算机程序在电脑上运行时，包括执行根据第一方面或其任一实现形式和/或第二方面或其任一实现形式的方法的程序代码。
根据第四方面，本发明涉及一种计算机程序产品，包括计算机可读存储媒介，所述计算机可读存储媒介存储有供编码装置使用的程序代码，所述程序包括指令，用于执行根据第一方面或其任一实现形式的方法，和/或根据第二方面或其任一实现形式的方法。
根据第五方面，本发明涉及一种编码装置，用于执行根据第一方面或其任一实现形式的方法，和/或根据第二方面或其任一实现形式的方法。
所述编码装置可以包括处理器，用于执行根据第一方面或其任一实现形式的方法，和/或根据第二方面或其任一实现形式的方法。
所述计算机和/或所述处理器可以通过程序进行布置以执行所述计算机程序从而执行根据第三方面的方法。
所述计算机和/或所述处理器可以通过程序进行布置以使用存储在根据第四方面的所述计算机程序产品的计算机可读存取媒介中的程序代码，并且执行所述程序代码中的指令从而执行根据第一方面或其任一实现形式的方法，和/或根据第二方面或其任一实现形式的方法。
根据第六方面，本发明涉及一种用于编码纹理图像的纹理块的编码装置，所述编码装置包括：分割器，用于基于与纹理块相关联的深度信息确定所述纹理块的分割掩模，其中所述分割掩模用于定义所述纹理块的多个分区，并将所述纹理块的纹理块元素与所述多个分区的分区相关联；编码器，用于基于所述分割掩模编码所述纹理块的所述多个分区中的多个分区从而对所述纹理块进行编码。
所述编码装置也可以称为基于深度的块分割编码装置。
根据第六方面的装置的第一种可能的实现形式中，所述编码器用于：针对所述纹理块的所述多个分区的第一分区，分别从所述纹理块的所述多个分区的第二分区中确定将用于编码所述第一分区的编码信息。
所述编码信息可以涉及或者包括与所述纹理块的单独段的预测编码或者所述纹理块的单独段的非预测编码相关联的信息。
对于预测编码，所述编码信息可以包括以下的一种或多种：预测模式，预测因子索引，预测方向，参考图片索引，参考视图索引，变换系数，运动矢量，以及编码上下文。
所述编码器可以用于为每个分区分别进行所述多个分区中的多个分区的编码。通过为一些或者所有分区分别确定所述编码信息可以提高预测准确性，因此，预测误差减少。
根据第六方面或者第六方面的第一种实现形式的装置的第二种可能的实现形式中，所述多个分区中的分区数量是预定的或者例如由分割器自适应确定的。
根据第六方面或者第六方面上述实施形式的任一项的装置的第三种可能的实现形式中，所述多个分区中分区的数量由所述分割器通过分析与所述纹理块相关联的深度信息而自适应确定。
根据第六方面或者第六方面上述实施形式的任一项的装置的第四种实现形式中，所述分割器用于：基于与纹理块元素相关联的深度信息值和阈值的对比，通过所述分割掩模将所述纹理块的纹理块元素与所述多个分区中的一个相关联。
根据第四种实现形式的装置的第五种实现形式中，所述阈值是预定的或者例如由所述分割器自适应确定的。
根据第六方面的第四或第五种实现形式的装置的第六种实现形式中，所述阈值例如由确定器通过分析与所述纹理块相关联的深度信息而自适应确定。
所述自适应确定所述阈值可以包括：针对与待编码的纹理块相关联的区域，计算深度信息值的平均值；将所述阈值设置成所述计算出的平均值。
所述例如由分割器自适应确定所述阈值可以包括：针对与待编码的纹理块相关联的区域，计算深度信息值的加权平均值，其中，用于计算所述加权平均值的权重取决于与所述纹理块中心的距离；将所述阈值设置成所述计算出的加权平均值。
所述例如由分割器自适应确定所述阈值可以包括：针对与待编码的纹理块相关联的区域，计算深度信息值的中值；将所述阈值设置成所述计算出的中值。
根据第六方面或者根据第六方面的第一至第三种实现形式中的任一项的装置的第七种实现形式中，所述分割器用于：基于向与所述纹理块相关联的深度信息值的区域实施边缘检测算法，确定所述分割掩模。
根据第六方面或者根据上述实现形式的任一项的装置的第八种实现形式中，所述分割器用于以迭代方式确定所述分割掩模，其中，在每次迭代中，满足预定选择条件的分区进一步划分成子分区直至满足预定的终止条件，或者满足预定选择条件的分区进一步划分成子分区只要还满足进一步的分割条件，其中，所述纹理块进行所述迭代分割的初始分区。
针对所述初始分区或者任何后续子分区的分割，可以使用上述实现形式的任一项。
根据第六方面或者根据第六方面的上述实现形式的任一项的装置的第十种实现形式中，所述编码装置还包括：复用器，用于将编码模式指示复用到码流中，所述码流包括所述纹理块的多个分区中的编码分区的编码信息，其中，所述编码模式指示表明所述纹理块的分割是否是使用基于与所述纹理块相关联的深度信息得到的分割掩模而进行的，和/或所述编码模式指示表明是否使用了多个不同的分割模式中的具体分割模式，所述多个不同的分割模式使用了通过基于与所述纹理块相关联的深度信息得到的分割掩模。
根据第六方面或者第六方面的上述实现形式的任一项的装置的第十种实现形式中，所述编码装置还包括：编码器，用于编码与所述纹理块相关联的深度信息；解码器，用于解码所述编码器编码的深度信息以获得用于确定所述分割掩模的与所述纹理块相关联的深度信息。
根据本发明的第七方面，本发明涉及一种用于编码纹理图像的纹理块的多模编码装置，所述编码装置包括：根据第六方面或者其任一实现形式中说明的基于深度的块分割编码模式对所述纹理块进行编码的编码装置；进一步的编码装置，用于使用一个或多个规则形状分割编码模式对所述纹理块进行编码；选择器，用于基于选择条件，选择上述编码模式中的一个用于传输编码纹理块。
根据第七方面的多模编码装置的第一种实现形式中，所述选择器还用于：比较所述基于深度的块分割编码模式的编码成本和一个规则形状分割编码模式的编码成本，或者多个规则形状分割编码模式的编码成本；在所述基于深度的块分割编码模式的编码成本低于所述一个规则形状分割编码模式的编码成本，或者低于所述多个规则形状分割编码模式的全部编码成本时，选择所述基于深度的块分割编码模式。
根据第七方面或者第七方面的第一种实现形式的多模编码装置的第二种实现形式中，所述选择器用于：选择上述编码模式中的一个对每个纹理块进行纹理块编码；和/或用于在每GOP，每内周期，每图像，每分片，每宏块，或者每编码单元中，使能或去使能所述基于深度的块分割编码模式，其中，所述选择器用于在SPS，PPS，PBS，VTS，图片头，SH，宏块，或编码单元语法中通过信号发送针对所述基于深度的块分割编码模式的使能或去使能指示。
根据第七方面或者第七方面的第一或第二种实现形式的多模编码装置的第三种实现形式中，多个可选择的编码模式包括基于规则形状分割的编码模式的集合以及一个基于深度的分割编码模式；其中，每个基于所述规则形状分割的编码模式都有一个模式专用编码模式指示与其关联，所述模式专用编码模式指示将各个规则形状分割编码模式与其他规则形状分割编码模式区分开来；所述选择器用于将标记只添加到编码模式指示集合中编码模式指示中的一个从而将所选择的基于深度的块分割编码模式用信号发送，其中所述标记的第一值指示选择了与所述编码模式指示相关联的所述规则形状分割编码模式，所述标记的第二值指示选择了所述基于深度的块分割编码模式。
根据第七方面或者第七方面的上述实现形式的任一项的多模编码装置的第四种实现形式中，所述编码装置用于将分割掩模映射到规则形状分区中；所述编码装置包括纹理编码器，用于根据所述分割掩模的规则形状分割表示或者根据基于所述分割掩模的规则形状分割表示得到的信息，对连续的纹理块进行编码。
所述纹理编码器可以是根据第一方面或其任一实现形式的编码器或编码装置，或者其他编码器，用于使用规则形状分割编码模式对连续的纹理进行编码。
根据本发明的第八方面，本发明涉及一种用于解码纹理图像的纹理块的方法，所述方法包括：基于与编码纹理块相关联的深度信息确定所述编码纹理块的分割掩模，其中所述分割掩模用于定义多个分区，并将所述编码纹理块的纹理块元素与所述编码纹理块的所述多个分区的分区相关联；基于所述分割掩模解码所述编码纹理块的所述多个分区中的多个分区。
根据第八方面的方法的第一种可能的实现形式中，所述解码所述多个分区中的多个分区包括：针对所述编码纹理块的所述多个分区中的第一分区，分别从码流中的所述纹理块的所述多个分区中的第二分区的编码信息中提取编码信息，其中，所述编码信息用于解码所述第一分区。
所述编码信息可能涉及预测或非预测编码。所述编码信息用于解码所述第一分区，可以包括以下的一种或多种：预测模式，预测因子索引，预测方向，参考图片索引，参考视图索引，变换系数，运动矢量，以及编码上下文。
根据第八方面或者第八方面的第一种实现形式的方法的第二种可能的实现形式中，所述多个分区中的分区数量是预定的或自适应确定的。
根据第八方面或者第八方面的第一或第二种实现形式的方法的第三种可能的实现形式中，所述多个分区中分区的数量通过分析与所述纹理块相关联的深度信息而自适应确定。
根据第八方面或者第八方面的上述实现形式的任一项的方法的第四种可能的实现形式中，所述多个分区中分区的数量通过分析与所述纹理块相关联的深度信息值的直方图而确定，例如，通过计算直方图中峰值的数量并将所述多个分区中分区的数量设置成计算出的峰值数量。
根据第八方面或者第八方面上述实施形式的任一项的方法的第五种可能的实现形式中，通过所述分割掩模将所述纹理块的所述纹理块元素与所述多个分区中的一个相关联是基于与所述纹理块元素相关联的深度信息值和阈值的对比而进行的。
根据第八方面的第五种实现形式的方法的第六种可能的实现形式中，所述阈值是预定的或者自适应确定的。
根据第八方面的第六种实现形式的方法的第七种可能的实现形式中，所述自适应确定所述阈值包括：针对与待编码的纹理块相关联的区域，计算深度信息值的平均值；将所述阈值设置成所述计算出的平均值；或者，针对与待编码的纹理块相关联的区域，计算深度信息值的加权平均值，其中，用于计算所述加权平均值的权重取决于与所述纹理块中心的距离；将所述阈值设置成所述加权平均值；或者，针对与待编码的纹理块相关联的区域，计算深度信息值的中值；将所述阈值设置成所述计算出的中值。
根据第八方面或者第八方面的上述实现形式的任一项的方法的第八种可能的实现形式中，所述确定所述分割掩模基于向与所述纹理块相关联的深度信息值的区域实施边缘检测算法而进行。
根据第八方面或者根据第八方面的上述实现形式的任一项的方法的第九种可能的实现形式中，所述确定所述分割掩模以迭代方式进行，其中，在每次迭代中，满足预定选择条件的分区进一步划分成子分区直至满足预定的终止条件，或者满足预定选择条件的分区进一步划分成子分区只要还满足进一步的分割条件，其中，所述纹理块进行所述迭代分割的初始分区。
根据第八方面或者第八方面的上述实现形式的任一项的方法的第十种可能的实现形式中，所述方法还包括：从码流中提取编码模式指示，所述码流包括所述纹理块的多个分区中的编码分区的编码信息，其中，所述编码模式指示表明所述纹理块的分割是否是使用基于与所述纹理块相关联的深度信息得到的分割掩模而进行的，和/或所述编码模式指示表明是否使用了多个不同的分割模式中的具体分割模式，所述多个不同的分割模式使用了通过基于与所述纹理块相关联的深度信息得到的分割掩模。
根据本发明的第九方面，本发明涉及一种用于解码纹理图像的纹理块的方法，所述方法包括：接收码流，所述码流包括纹理块的多个分区的编码分区的编码信息；从所述码流中提取编码模式指示，所述编码模式指示表明多个编码模式中的哪一个已经用于编码所述纹理块；在所述编码模式指示表明对应的基于深度的块分割编码模式用于编码所述纹理块时，根据第八方面或其任一实现形式的基于深度的块分割解码模式解码编码纹理块。
根据第九方面的方法的第一种可能的实现形式中，所述提取用于确定用于解码编码纹理块的多个解码模式中的解码模式的编码模式指示针对每个纹理块进行。
根据第九方面或第九方面的第一种实现形式的方法的第二种可能的实现形式中，所述方法还包括：从每GOP，每内周期，每图像，每分片，或每编码单元的码流中提取使能指示或去使能指示，其中，针对所述基于深度的块分割编码模式的使能或去使能指示通过SPS，PPS，PBS，VPS，图片头，SH，宏块，或编码单元语法用信号发送，所述使能或去使能指示表明是否为所述使能或去使能指示之后接收到的纹理块使能或去使能了所述基于深度的块分割编码模式。
根据第九方面或第九方面的第一或第二种实现形式的方法的第三种可能的实现形式中，多个编码模式包括基于规则形状分区的编码模式的集合以及一个基于深度的块分割编码模式。其中，每个基于所述规则形状分割的编码模式都有一个模式专用编码模式指示与其关联，所述模式专用编码模式指示将各个规则形状分割编码模式与其他规则形状分割编码模式区分开来；所选择的基于深度的块分割编码模式通过只将标记添加到编码模式指示集合中编码模式指示中的一个用信号发送，其中所述标记的第一值指示选择了与所述编码模式指示相关联的所述规则形状分割编码模式，所述标记的第二值指示选择了所述基于深度的块分割编码模式。
根据第九方面或者根据第九方面的上述实现形式的任一项的方法的第四种实现形式中，所述方法还包括：将分割掩模映射到规则形状分区中；根据所述分割掩模的规则形状分割表示或者根据基于所述分割掩模的规则形状分割表示得到的信息，对连续的编码纹理块进行解码。
所述用于编码所述连续的纹理块的解码可以使用根据第八或者第九方面或者根据第八或第九方面的任一实现形式的基于深度的块分割解码，或者使用规则形状分割解码模式进行。
根据第十方面，本发明涉及计算机程序，当所述计算机程序在电脑上运行时，包括执行根据第八方面或其任一实现形式和/或第九方面或其任一实现形式的方法的程序代码。
根据第十一方面，本发明涉及一种计算机程序产品，包括计算机可读存储媒介，所述计算机可读存储媒介存储有供解码装置使用的程序代码，所述程序包括指令，用于执行根据第八方面或其任一实现形式的方法，和/或根据第九方面或其任一实现形式的方法。
根据第十二方面，本发明涉及一种解码装置，用于执行根据第八方面或其任一实现形式的方法，和/或根据第九方面或其任一实现形式的方法。
所述解码装置可以包括处理器，用于执行根据第八方面或其任一实现形式的方法，和/或根据第九方面或其任一实现形式的方法。
所述计算机和/或所述处理器可以通过程序进行布置以执行根据第十方面的计算机程序。
所述计算机和/或所述处理器可以通过程序进行布置以使用根据第十一方面的计算机程序产品的所述计算机可读存储媒介中存储的程序代码，并执行所述程序代码中的指令。
根据第十三方面，本发明涉及一种用于解码纹理图像的编码纹理块的解码装置，所述解码装置包括：分割器，用于基于与编码纹理块相关联的深度信息确定所述编码纹理块的分割掩模，其中所述分割掩模用于定义多个分区，并将所述编码纹理块的纹理块元素与所述编码纹理块的所述多个分区的分区相关联；解码器，用于基于所述分割掩模解码所述编码纹理块的所述多个分区中的多个分区。
根据第十三方面的解码装置的第一种可能的实现形式中，所述解码装置还包括：解复用器，用于从码流中提取编码深度信息；深度解码器，用于解码所述编码深度信息获得与编码纹理块相关联的深度信息。
根据第十三方面或第十三方面的第一种实现形式的解码装置的第二种可能的实现形式中，所述解复用器用于：针对所述编码纹理块的所述多个分区的第一分区，分别从码流中的所述纹理块的所述多个分区的第二分区的编码信息中提取编码信息，其中，所述解码器用于使用所述编码信息解码所述第一分区。
所述编码信息可能涉及预测或非预测编码。所述编码信息用于解码所述第一分区，可以包括以下的一种或多种：预测模式，预测因子索引，预测方向，参考图片索引，参考视图索引，变换系数，运动矢量，以及编码上下文。
根据第十三方面或者第十三方面的第一或第二种实现形式的解码装置的第三种可能的实现形式中，所述多个分区中的分区数量是预定的或例如由所述分割器自适应确定的。
根据第十三方面或者第十三方面的上述实施形式的任一项的解码装置的第四种可能的实现形式中，所述分割器用于通过分析与所述纹理块相关联的深度信息自适应确定所述多个分区中分区的数量。
根据第十三方面或者第十三方面的第一种实现形式的解码装置的第五种可能的实现形式中，所述分割器用于通过分析与所述纹理块相关联的深度信息值的直方图而确定所述多个分区中分区的数量，例如，通过计算直方图中峰值的数量并将所述多个分区中分区的数量设置成计算出的峰值数量。
根据第十三方面或者第十三方面的第一种实现形式的解码装置的第六种实现形式中，所述分割器用于：基于与纹理块元素相关联的深度信息值和阈值的对比，将所述纹理块的所述纹理块元素与所述多个分区中的一个相关联。
根据第十三方面的第六种实现形式的解码装置的第七种可能的实现形式中，所述阈值是预定的或者例如由所述分割器自适应确定的。
根据第十三方面的第七种实现形式的解码装置的第八种可能的实现形式中，所述分割器用于通过以下方式自适应确定所述阈值：针对与待编码的纹理块相关联的区域，计算深度信息值的平均值；将所述阈值设置成所述计算出的平均值；或者，针对与待编码的纹理块相关联的区域，计算深度信息值的加权平均值，其中，用于计算所述加权平均值的权重取决于与所述纹理块中心的距离；将所述阈值设置成所述加权平均值；或者，针对与待编码的纹理块相关联的区域，计算深度信息值的中值；将所述阈值设置成所述计算出的中值。
根据第十三方面或者第十三方面的上述实现形式的任一项的解码装置的第九种可能的实现形式中，所述分割器用于：基于向与所述纹理块相关联的深度信息值的区域实施边缘检测算法而确定所述分割掩模。
根据第十三方面或者第十三方面的上述实现形式的任一项的解码装置的第十种可能的实现形式中，所述分割器用于：以迭代方式确定所述分割掩模，其中，在每次迭代中，满足预定选择条件的分区进一步划分成子分区直至满足预定的终止条件，或者满足预定选择条件的分区进一步划分成子分区只要还满足进一步的分割条件，其中，所述纹理块进行所述迭代分割的初始分区。
根据第十三方面或第十三方面的上述实现形式的任一项的解码装置的第十一种可能的实现形式中，所述解码装置还包括解复用器，用于从码流中提取编码模式指示，所述码流包括所述纹理块的多个分区中的编码分区的编码信息，其中，所述编码模式指示表明所述纹理块的分割是否是使用基于与所述纹理块相关联的深度信息得到的分割掩模而进行的，和/或所述编码模式指示表明是否使用了多个不同的分割模式中的具体分割模式，所述多个不同的分割模式使用了通过基于与所述纹理块相关联的深度信息得到的分割掩模。
根据第十四方面，本发明涉及一种多模解码装置，所述方法包括：接收器，用于接收码流，所述码流包括纹理块的多个分区的编码分区的编码信息；解复用器，用于从所述码流中提取编码模式指示，所述编码模式指示表明多个编码模式中的哪一个已经用于编码所述纹理块；根据第十一方面或其任一实现形式的基于深度的块分割解码装置，用于在所述编码模式指示表明对应的基于深度的块分割编码模式用于编码所述纹理块时，根据基于深度的块分割解码模式解码编码纹理块。
根据第十四方面的多模解码装置的第一种可能的实现形式中，所述解复用器用于提取编码模式指示，所述编码模式指示用于确定多个用于解码每个纹理块的编码纹理块的解码模式中的解码模式。
根据第十四方面或第十四方面的第一种实现形式的多模解码装置的第二种可能的实现形式中，所述解复用器用于从每GOP，每内周期，每图像，每分片，每宏块，或每编码单元的码流中提取使能指示或去使能指示，其中，针对所述基于深度的块分割编码模式的使能或去使能指示通过SPS，PPS，PBS，VPS，图片头，SH，宏块，或编码单元语法用信号发送，所述使能或去使能指示表明是否为所述使能或去使能指示之后接收到的纹理块使能或去使能了所述基于深度的块分割编码模式。
根据第十四方面或者第十四方面的第一或第二种实现形式的多模解码装置的第三种实现形式中，多个编码模式包括基于规则形状分区的编码模式的集合以及一个基于深度的分割编码模式；其中，每个基于所述规则形状分割的编码模式都有一个模式专用编码模式指示与其关联，所述模式专用编码模式指示将各个规则形状分割编码模式与其他规则形状分割编码模式区分开来；所选择的基于深度的块分割编码模式通过只添加到编码模式指示集合中编码模式指示中的一个的标记用信号发送，其中所述标记的第一值指示选择了与所述编码模式指示相关联的所述规则形状分割编码模式，所述标记的第二值指示选择了所述基于深度的块分割编码模式。
根据第十四方面或第十四方面的上述实现形式的任一项的多模解码装置的第四种可能的实现形式中，所述基于深度的块分割装置用于将分割掩模映射到规则形状分区；所述装置包括：纹理解码器，用于：根据所述分割掩模的规则形状分割表示或者根据基于所述分割掩模的规则形状分割表示得到的信息，对连续的编码纹理块进行解码。
所述纹理解码器可以是基于深度的块分割装置的解码器或者其他纹理解码器，用于基于规则形状分割编码模式将连续的编码纹理块进行解码。
本发明的各个方面以及它们的实现形式可以在硬件和/或软件或者它们的组合中实现。它们可在数字信号处理器(DigitalSignalProcessor，DSP)，微控制器或任何其他端处理器中作为软件来实现，或者在特定用途集成电路(Application-specificIntegratedCircuit，ASIC)中作为硬件电路来实现。
本发明的各个方面以及它们的实现形式可以在数字电子电路或者计算机硬件、固件和软件或它们的组合中实现。
附图说明
本发明的具体实施方式将结合以下附图进行描述，其中：
图1示出了用于例如多视图视频+深度编码的图像的纹理+深度表示的框架；
图2示出了使用基于深度的块分割编码纹理图像的纹理块的方法的实施例的流程图；
图3示出了示例性的纹理图像和相应的深度图，以及根据基于深度的块分割得到的所述纹理图像的两个不同纹理块的两个分割掩模；
图4示出了迭代使用基于深度的块分割编码纹理图像的纹理块的方法的实施例的流程图；
图5示出了使用基于深度的块分割编码纹理图像的纹理块的编码装置的实施例的框图；
图6示出了使用基于深度的块分割解码纹理图像的编码纹理块的方法的实施例的流程图；
图7示出了使用基于深度的块分割解码纹理图像的编码纹理块的解码装置的框图；
图8示出了使用基于深度的块分割编码纹理图像的纹理块的系统，该系统包括相应的编码装置和解码装置；
图9示出了根据本发明的解码实施例的示例性计算机代码；
图10示出了基于深度的块分割模式和多个示例性传统规则分割模式的重叠图；
图11示出了将基于深度的块分割块映射到规则分区进行预测的实施例的框图。
在下文附图描述中，相同或者同等元素都是通过相同或者同等参考信号指示。
具体实施方式
为了更好地理解本发明实施例，某些用于描述本发明实施例的术语将基于图1进行解释。
图1示出了典型的3D视频或多视图视频框架，其中，3D视觉场景的每个视图都由一对对应的纹理图像T和深度图D表示。在3D或多视图视频+深度编码中，除了传统的视频数据外，也称为纹理数据T，还需要对深度图D进行编码。不仅表现了传统的2D视频数据如亮度和色度，也表现了与传统视频数据相关的对应的深度信息。
图1示出了第一视图V1，由摄像机的符号表示，的纹理图像T1以及相应的深度图D1。纹理图像T1-1和相应的深度图D1-1表示3D视觉场景在第一时间t1的第一视图V1，纹理图像T1-2和相应的深度图D1-2表示3D视觉场景在第二时间实例t2的第一视图V1。类似地，3D视觉场景的第二视图V2也在图1中进行了描述，其中，纹理图像T2-1和相应的深度图D2-1表示在第一时间实例T1的第二视图V2，纹理图像T2-1和相应的深度图D2-2表示在第二时间实例t2的第二视图。这样的3D视觉场景的视图的纹理+深度表示允许从显示格式中解耦捕获的和传输的格式。这是因为，基于两个视图的纹理图像和相应的深度图，3D图像可以渲染在3D显示屏而不受其尺寸和分辨率的约束，并且甚至允许生成合成的虚拟视图。可以使用视差图而非深度图来提供与纹理图像相关联的深度信息。
对于视频编码，纹理图像划分成更小的部分，称为块，例如宏块或编码单元(CodingUnit，CU)。在编码的过程中，编码器决定每个块的编码模式，包括将每个块划分成更小的子块的可能性。这个过程通常称为块分割。因此，每个块可能由一个或多个分区组成。最新的视频编解码器通常允许矩形的分区，即矩形形状的分区。另外，为每个块或分区选择了预测模式。因为预测编码是一种非常有效的编码视频内容的方法，对于每个待编码的块，选择在块编码之前就已编码的参考块。这种块设置为待编码块的参考，而且只有与参考块相关的预测误差才需要通过信号在编码视频的码流中发送。可以从同一图片的块中选择参考块作为待编码块，这也称为图片内预测；或者可以从可用的先前编码的图片中选择参考块作为待编码块，这也称为图片间预测。对于图片内预测，也称为图像内预测或简称为内预测，使用一个或多个选择的定向预测因子预测待编码块的每个分区。在图片间预测中，也称为图像间预测或简称为间预测，可以应用运动估计方法，该方法使用运动向量来指明参考图片中的参考块相对于当前图片的待编码块的空间位置的空间位置。而且，该参考图片需要指定，通常由参考图片索引指定。对于待编码块的每个分区，编码器可以选择独立的运动矢量和参考图片索引集合。因此，每个分区的间预测可能不同。另外，在3D视频中，可以使用允许使用其他视图的块作为参考的视图间预测。
最后，对预测区域，也称为残留，即编码块的预测和参考块之间的差，进行编码并在码流中传输。
图1还示出了纹理图像T1-1的四个示例性邻块111，112，113，以及114。图1还示出了对应纹理图像T1-1的深度图D1-2120，其包括对应的深度图块，其中，深度图块121对应纹理块111，深度图块122对应纹理块112，深度图块123对应纹理块113，以及深度图块124对应纹理块114，它们表示的是相同时间的相同视图的相同区域。例如，深度图块124包括纹理块114的纹理值对应的深度图值。
如上所述，纹理块114的纹理值或纹理块114的分区的纹理值可以使用来自同一纹理图像的参考块或参考块的参考分区进行预测，或者可以使用来自同一时间实例如T2-1的不同视图的纹理图像的参考块或参考块的参考分区进行预测，或者使用先前编码的，如T1-1的，同一视图T1的纹理图像进行预测。图1示出了内编码的示例，参见箭头118，其指示使用相邻纹理块111对纹理块114的预测。图1也示出了视图间预测的示例，参见箭头158，其从纹理图像T2-1150的纹理块指向纹理图像T1-2的纹理块114。最后，图1也示出了间预测的示例，参见箭头138，其从纹理图像T1-1130的纹理块指向纹理图像T1-2110的纹理块114。
以下术语用于描述本发明实施例。
术语“图像”指的是数据的二维表示，通常是二维矩阵，也可以称为图片。
术语“视觉场景”指的是真实世界的或者合成的场景，其通过视觉系统(例如，单相机或者多相机)获得并以静态图像或视频的形式展现。
术语“3D视频帧”指的是包括描述场景的3D几何机构的信息的信号。特别地，该信息可以由与视觉场景(立体图)的两个不同的视角相关联的至少两个纹理图像表示，或者由至少一个纹理和深度/视差图(纹理+深度图)表示。单个的3D视频帧也可以称为3D图像或3D图片。
术语“3D视频序列”指的是表示动图的连续的3D视频帧的集合。
术语“纹理图像”指的是图像，静态图像或视频序列的帧，其表示特定的视角，包括与该特定视角相关的视觉场景的颜色强度和光强度信息，通常以RGB或YUV格式(包括色度和亮度值)展现。通常二维矩阵包括纹理信息，例如色度和亮度值。
术语“深度图”指的是二维矩阵，其针对每个矩阵元素包括对应的确定到视觉场景的物理或虚拟摄像头的距离的深度值。深度图可以看成是灰度图，其中每个灰度值对应一个深度值或距离。或者，视差图可以用于确定3D视觉场景的深度方面信息。视差图的视差值与深度图的深度值成反比。
术语“视差图”指的是三维视觉场景的二维表示，其中，每个元素的值与该元素所表示的3D世界的点到摄像头的距离成反比。
术语“编码块”或“块”是编码单元，通常是规则的矩形，其使用为该块选择的编码模式指定的语法描述图片或图像的编码区域。
术语“编码模式”描述的是用于编码，即，编码和/或解码编码块的手段和方法的集合。
术语“分片”指的是包括视频序列的全部图片或图像的一部分的视频序列的结构。
术语“分片头”指的是描述分片的参数的集合，其在分片的开头发送。
术语“编码单元”(CodingUnit，CU)指的是预定义大小的视频序列的基本编码结构，其包括图片(纹理图像或深度图)的一部分，例如，包括64x64像素的一部分。
术语“编码块”指的是图像中编码的区域，其对应于由编码单元表示的区域或是该区域的一部分。
术语“I-分片”指的是其中的所有编码单元都是内预测的分片，因此不允许参考其他图片。
术语“随机接入点”定义的是视频序列(2D和3D)的结构中的点，解码器能够从该点开始解码所述序列而不需要知道视频流的先前部分。
术语“图片组”(GroupofPictures，GOP)指的是视频序列的基本数据结构的一个，其包括不需要在GOP中以显示顺序排列的预定义数量的连续图片(纹理图像或深度图或二者)。
术语“序列参数集”(SequenceParameterSet，SPS)指的是以有序的消息的形式发送的参数集合，该消息包括正确解码视频流所需要的基本信息，且必须在每个随机接入点的开始用信号发送。
术语“图片参数集”(PictureParameterSet，PPS)指的是以有序的消息的形式发送的参数集合，该消息包括正确解码视频序列中的图片所需要的基本信息。
术语“辅助增强信息”(SupplementalEnhancementInformation，SEI)指的是可以在视频序列流中通过信号发送的消息，其包括关于视频序列，编码工具等的附加或可选信息。
术语“参考块”指的是图片(纹理图像或深度图)的块(纹理块或深度块)，其用于在预测编码(和解码)时对当前块进行编码，用作当前块的预测编码的参考。
下面基于图2和图3对使用基于深度的块分割编码纹理图像的纹理块的方法的实施例进行描述。图2示出了使用基于深度的块分割编码纹理图像的纹理块的方法的实施例的流程图。图3示出了纹理块的两个示例性的基于深度的块分割。
图3示出了纹理图像310，包括第一纹理块312和第二纹理块314。图3还示出了与纹理图像310相关联的以深度图320的形式的深度信息。深度图320还包括以深度块322形式的深度信息块322，其包括与第一纹理块312相关联的以深度值的形式的深度信息；以及以深度块324形式的第二深度信息块324，其包括与第二纹理块314相关联的以深度值的形式的深度信息。第一深度信息块322基本上只包括两个不同的主要灰度值，即深度值；第二深度信息块314基本上包括三个主要灰度值，即深度值。
图3示出了基于各自深度块322和324包括的深度信息确定的两个示例性分割掩模332和334。第一分割掩模332在图2中也称为mD1(x，y)，包括两个分区，第一分区P1和第二分区P2，它们的形状和区域对应于第一深度图块322的两个主要灰度值的区域。第二分割掩模334包括三个分区，第一分区P1，第二分区P2，和第三分区P3，它们的区域和形状对应于第二深度图块314的三个主要灰度值的区域。
如图2所示的基于深度的块分割的编码方法200包括以下步骤：
基于与纹理块312相关联的深度信息322确定210所述纹理块的分割掩模332，其中，所述分割掩模332用于定义所述纹理块的多个分区P1和P2，并将所述纹理块312的纹理块元素与所述多个分区中的分区关联；
基于所述分割掩模332编码所述纹理块的所述多个分区中的多个分区P1和P2从而对所述纹理块进行编码220。
即，基于第一深度块322确定的分区P1和P2映射到纹理块312，从而将纹理块元素与两个分区P1或P2中的一个相关联。
除非另有说明，为了保证可读性，以下结合第一纹理块312和对应的深度信息块322以及基于深度块322得到的分割掩模332对本发明实施例进行描述。值得提及的是这不会对本发明实施例构成限制，且可以用于：如图3所示，基于第二纹理块314，对应的第二深度块324，以及由深度信息块324得到的分割掩模334，将纹理块分割成三个或更多的分区。
纹理块的分区，也可以称为纹理块分区，可以使用传统的编码方法以及为上述的基于深度的块分割专门设计的编码方法进行编码。
根据一实施例，对纹理块的多个分区中的多个分区进行编码220包括以下步骤：针对纹理块312的多个分区中的第一分区P1，分别从纹理块312的多个分区中的第二分区P2中确定用于编码第一分区P1的编码信息，所述编码信息包括例如以下的一种或多种：预测模式，预测因子索引，预测方向，参考图片索引，参考视图索引，变换系数，运动矢量，以及编码上下文。
对于图2所示的方法的实施例，所述多个分区中的分区数量可以预定或者自适应确定。
根据本发明，通过使用阈值T＝{T1,...,TN-1}将与编码纹理块的点相关联的深度信息值，例如深度值或视差值，进行筛选，从而将块分割成多个分区(至少两个)，例如N个，N>1，分区P＝{P1,...,PN}。纹理块的点也可以称为纹理元素。对于编码纹理块p(x，y)的每个点，对其关联的深度值或视差值d(x，y)与阈值T进行以下的比较：
若：d(x，y)≥TN-1＝>p(x，y)→PN，
否则，若：d(x，y)<Ti＝>p(x，y)→Pi，i＝[1，N-1]。
阈值的数量和取值可以预定义或者自适应选择。为了确定阈值的数量，实施例可以包括，例如：
预定义分区的数量；或
在为与编码纹理块相关联的区域计算的深度值或视差值的直方图中计算检测到的峰值数量。
为了确定阈值的取值，实施例可以包括，例如：
使用预定义取值；
针对与编码纹理块相关联的区域，计算深度值或视差值的平均值，将阈值设置成计算出的平均值；
计算与编码纹理块相关联的区域中的深度值或视差值的加权平均值，例如，权重可以取决于点到纹理块中心的距离，将阈值设置成计算出的加权平均值；或
计算与编码纹理块相关联的区域中的深度值或视差值的中值，将阈值设置成计算出的中值。
这种针对两个分区的且使用简单平均值来确定阈值T1的基于深度的块分割(DepthBasedBlockPartitioning，DBBP)的示例性结果如图3所示。分割结果以二进制掩模mD1(x，y)的形式呈现，该掩模确定编码纹理块p(x，y)的哪个点属于哪个分区(P1或P2)。
本发明提出的第二种基于与编码纹理块相关联的深度信息确定分割的方案是：在以深度图或视差图的形式表示深度信息的图像上实施边缘检测算法。在本实施例中，每个检测到的边缘确定分区间的边界。
确定分割的另一实施例是在以深度图或视差图的形式表示深度信息的图像上使用分割算法。通过分析强度值以及将具有相似或相同值的图像点合并成一个分段进行分割，强度值表示深度值或视差值。通过向每个分区分配属于同一分段的所有的点来确定该分区。而且，可以使用更加高级的分割方法进行面向目标的分割，该方法考虑了关于目标的形状和/或在分析的图像中进行目标检测的一些现有知识。
在进一步的实施例中，可以在图片层级上进行分割，即，计算全部图片的分区；对编码块的分割仅需要通过分配与编码块对应的区域中的图片层级的分区即可完成。这样，将图片层级的分区分配给编码块的每个点，分配给同一图片层级分区的所有的点形成块层级的分区。这种方法尤其适用于基于深度的分割方法，例如面向目标的深度或视差分割，深度或视差图像分割或者深度或视差图像边缘检测。
在进一步的实施例中，基于深度的块分割以迭代的方式进行。在每次迭代中，选择满足预定选择条件的分区并将其进一步划分成子分区直至满足预定的终止条件，或者将其进一步划分成子分区只要还满足进一步的分割条件，其中，所述纹理块进行所述迭代分割的初始分区。
图4示出了迭代式的基于深度的块分割实施例的流程图。图4所示的步骤对应于图2的步骤210。根据图4的实施例包括以下内容：
选择401基于预定义条件待划分成预定义数量子分区的分区。首次迭代，整个纹理块作为开始分区或者初始分区。之后的迭代中，使用指定的选择条件选择步骤401中待划分的分区。
基于与选择的纹理块的分区相关联的深度信息，通过预定义的分割方法将所选择的分区划分403成预定义数量的子分区。可以使用上述提及的任一分割方法。例如，上述基于阈值的分割方法对于迭代分割十分有效。
基于预定义的条件，确定是否可以将选择的分区进一步分割成子分区或者维持现状。若可以，新的分区成为当前分区，否则，维持前一分区。
基于预定义条件，确定是否应停止迭代分割，或者是否应继续迭代分割。
选择待划分的分区的可能的选择条件可以包括，例如以下的一个或多个的组合：
最大的分区；
分区内的点间的深度差值或视差差值最大的分区，该差值可以测量，例如，方差，标准差，或者其他统计矩的最大值与最小值的差值；
邻近已经编码/解码的包括一个以上分区的邻块的分区，这些分区间的边界都在两个块的边界上；或
分区内的点的平均深度值或视差值与所有或选择的相邻分区的平均值差异最大的分区。
然后，如前所述将选择的分区划分成子分区(参见DBBP非迭代变形)。
接下来，使用指定的条件检测是否对选择的分区进一步分割。如果(使用以下的一个条件或多个条件的组合)，该决策功能的可能的实施例包括检测：
选择的分区有足够大小(预定义的或自适应的阈值，例如，取决于输入块的大小)；
每个子分区内的点间的深度差值或视差差值足够小/大(预定义的或自适应的阈值)；
子分区的数量足够小或大(预定义的或自适应的阈值)。
最后，检查结束分割过程的条件。如果(使用以下的一个条件或多个条件的组合)，该决策功能的可能的实施例包括检测：
分区的数量大于或等于定义的分区数量(预定义的或自适应的阈值)；
每个分区内的点间的深度差值或视差差值足够小/大(预定义的或自适应的阈值)；或
超过了最大迭代次数(预定义的或自适应的阈值)。
上述两个步骤可以合并成一个，同时检测是否可以进行新的分割以及结束迭代分割的条件。
所述分割的示例如图3所示。分割结果以分割掩模mD2(x，y)334的形式呈现，该掩模确定编码纹理块p(x，y)的哪个点属于哪个分区(P1，P2或P3)。在这个例子中，首次迭代时，使用简单的平均值来确定阈值将纹理块划分成两个分区P1和P2|P3。得到的子分区的深度差值或视差差值不够小，分割过程继续。第二次迭代时，选择最大的分区(P2|P3)进一步划分。通过简单的平均值进行阈值筛选，将分区进一步划分成两个分区P2和P3。现在，得到的子分区的深度差值或视差差值足够小，因此，分割过程结束。
本方法的进一步的实施例包括：向码流中添加编码模式指示，所述码流包括纹理块的多个分区中的编码分区的编码信息，其中，所述编码模式指示表明所述纹理块的分割是否是使用基于与所述纹理块相关联的深度信息得到的分割掩模而进行的，和/或所述编码模式指示表明是否使用了多个不同的分割模式中的具体分割模式，所述多个不同的分割模式使用了通过基于与所述纹理块相关联的深度信息得到的分割掩模。
在其他实施例中，所述方法还包括：编解码与所述纹理块相关联的深度信息得到用于确定所述分割掩模的深度信息。
本发明实施例中，与纹理块相关联的深度信息可以是与纹理块相关联的深度信息块中包括的深度信息。本发明实施例中，深度信息块可以是深度块，其包括作为深度信息的深度值；或者可以是视差块，其包括作为深度信息的视差值。本发明实施例中，与纹理块相关联的深度信息与图像或图片的与该纹理块同一区域，同一视图和/或同一时间实例相关联。本发明实施例中，所述深度信息可以是深度图的深度值或者视差图的视差值。本发明实施例中，所述纹理块元素或点可以是图片元素或者任何其他定义纹理块的空间分辨率的空间上更大或更小的元素。
本发明的进一步的实施例可以用于只使用与纹理块相关联的深度信息和/或不使用与纹理块相关联的纹理信息来确定分割掩模和/或对纹理块进行分割。
图5示出了包括分割器510和编码器520的编码装置500的实施例的框图。
分割器510用于基于与纹理块312相关联的深度信息322确定所述纹理块的分割掩模332，其中，所述分割掩模332用于定义多个分区P1和P2，并将所述纹理块的纹理块元素与纹理块的多个分区中的分区关联。
编码器520用于基于所述分割掩模将纹理块的多个分区中的多个分区进行编码得到编码纹理块312’。
分割器510的实施例可以用于：执行如图2和图4所述的基于深度信息确定分割掩模和将纹理块划分成多个分区的任一方法步骤，以及执行与图8，10，以及11相关的确定210纹理块的掩模的相关方法步骤。
编码器520用于：执行如图1至4所述的或者与图8，10，以及11相关的对纹理块进行编码220的步骤的任一实施例。
图6示出了使用基于深度的块分割解码纹理图像的编码纹理块的解码方法600的实施例的框图，所述基于深度的块分割解码方法包括以下步骤：
基于与编码纹理块312’相关联的深度信息322确定210所述编码纹理块312’的分割掩模332，其中，所述分割掩模332用于将所述编码纹理块312’的纹理块元素与所述编码纹理块的多个分区P1和P2中的分区关联；
基于所述分割掩模332解码720所述编码纹理块312’的多个分区中的多个分区得到解码纹理块312”。
对于解码步骤620，传统解码方法和针对基于深度的块分割专门设计的解码方法可以用于解码编码块。
图7示出了使用基于深度的块分割解码纹理图像的编码纹理块的解码装置的实施例的框图，所述解码装置700包括分割器510和解码器720。
分割器510用于基于与编码纹理块312’相关联的深度信息确定编码纹理块312’的分割掩模332，其中，所述分割掩模332用于将所述编码纹理块的纹理块元素与编码纹理块的多个分区P1和P2中的分区关联。
解码器720也可以称为纹理解码器720，用于基于所述分割掩模332，解码所述编码纹理块312’的多个分区中的多个分区得到解码纹理块312”。
分割器510用于执行与如图2，4，8，10，以及11所述的分割210相关的任一步骤或功能。具体地，解码装置700的分割器510的实施例可以包括与图5所述的编码装置500的分割器510相同的功能。
解码器720用于执行与如图6，8，10，以及11所述的解码步骤220相关的任一步骤或功能。解码器与编码器520相对应，解码器720用于执行与编码器520所执行的编码的反编码以从编码纹理块中重构纹理块。
图8示出了包括编码装置500和解码装置700的系统800的框图。
与图5所示的编码装置500相比，图8中的编码装置的实施例还包括深度编码器810，深度解码器820，以及复用器830。与图7所示的解码装置700相比，图8中的解码装置700的实施例还包括解复用器860和深度解码器820。
参见编码装置500，深度编码器810用于：接收例如以深度图320和/或对应的深度信息块322的形式的深度信息；对深度信息进行编码得到如编码深度图320’和/或对应的编码深度信息块322’的编码深度信息，并将编码深度信息传输到复用器830和深度解码器820。深度解码器820用于在编码深度信息上执行与深度编码器810执行的编码对应的解码，以得到解码深度信息，例如解码深度图320”和/或解码深度信息块322”。分割器510用于接收解码深度信息，例如解码深度图322”和/或解码深度信息块322”；基于与待编码纹理块312相关联的解码深度信息，确定分割掩模332。
或者，分割器510可以用于接收与纹理块，例如原始深度图320和/或原始对应深度信息块322，相关联的原始深度信息(参见图8中的虚线箭头)，或者任何其他与纹理块相关联的深度信息的处理版本；使用与待编码的纹理块相关联的原始深度信息而非解码深度信息。
使用与解码器侧可用的用于分割的深度信息322”对应的解码深度信息322”能够更加准确地对解码装置700上的情形进行建模，因此，允许计算与解码器侧上的残留对应的残留，从而提高编码效率。
复用器830用于接收编码深度信息和编码纹理信息，例如编码纹理块312’；将这些以及潜在的其他信息复用到发送到解码装置700的码流890上。或者，码流可以存储在存储媒介上。
参见解码装置700，解复用器860用于从码流890中提取深度信息322’，例如编码深度图和/或编码深度信息块322'，以及编码纹理块312’；将编码深度信息322'传递到深度解码器820。深度解码器820用于解码编码深度信息322'得到解码深度信息322”，例如解码深度图和/或解码深度块，解码深度信息可以输出以用于进一步处理也可以转发给分割器510以确定分割掩模332。纹理解码器720接收编码纹理块并基于从分割器510接收到的分割掩模332解码编码纹理块得到解码纹理块312”。
本发明实施例可以用于3D和纹理+深度视频编码的使用基于深度的块分割(DepthBasedBlockPartitioning，DBBP)的纹理编码的多种方法中。
实施例可以用于使用任意形状的分区表示编码纹理块的编码信息，该任意形状的分区使用DBBP来确定。每个分区可以有自己的编码信息集合或者子集合，例如运动矢量，视差矢量，参考图片索引，预测模式，内预测因子，以及残留。
实施例可以用于使用DBBP分区替代编解码器的传统分割模式，或者除了编解码器的传统分割模式外还可以使用DBBP分区，即DBBP分区是编解码器唯一可以使用的分区；或者使用其他分割模式来丰富编解码器原始已有的分割模式的集合。
实施例可以用于使用每序列可切换DBBP，每GOP可切换DBBP，每内周期可切换DBBP，每图片可切换DBBP，每分片可切换DBBP，以及每编码单元可切换DBBP，DBBP分区可以为指定的范围使能或去使能。
实施例可用于在交织视频编码中使用DBBP，其中DBBP独立应用于交织视频的每个字段。
实施例可用于通过自适应现有的编码模式指示有效地通过信号发送基于HEVC的编解码器(High-EfficiencyVideocoding，HEVC)中的DBBP分割。选择使用DBBP分区来表示编码纹理块是，例如，在从属的纹理视图中用信号发送。该编码纹理块分割成垂直的两半(Nx2N＝N宽度×2N高度)以及额外的1比特的dbbp_flag，其用于区分DBBP和原始的Nx2N分割。
图9示出了本发明实施例的与编码模式指示解析相关的伪代码，所述编码模式指示用于确定通过信号发送哪个编码模式以及使用哪个编码模式解码编码纹理块。910，读取分割模式。920，用于区分传统分割例如规则形状分割和DBBP分割的标记dbbp_flag的值设置为缺省值“false”。930，仅在传统分割模式指示使用了Nx2N分割时，才读取dbbp_flag的值。940，当dbbp_flag为“true”时，执行DBBP分割210。否则，执行传统的Nx2N分割。这样，可以大大减少需要传输给不使用DBBP的块的DBBP标记的数量，从而提高了编码性能。
实施例可用于使用DBBP分区P1和P2进行内预测，内预测模式针对每个DBBP分区确定。预测的内预测模式针对每个DBBP分区确定。针对DBBP分区计算使用的编码成本。在每个分区中，完成每个元素的编码520和720。
实施例可用于使用DBBP分区P1和P2进行运动和/或视差补偿预测，其中，为每个DBBP分区确定运动和/或视差矢量，参考图片索引以及参考图片的数量。为每个DBBP分区确定预测的运动和/或视差矢量，参考图片索引以及参考图片的数量。针对DBBP分区计算使用的编码成本。在每个分区中，完成每个元素的编码520。
使用DBBP分区进行残留预测，针对每个DBBP分区确定残留。针对每个DBBP分区确定预测的残留。针对DBBP分区计算使用的编码成本。在每个分区中，完成每个元素的编码520和720。
实施例可用于将任意形状的DBBP分区映射到可用的规则分区如矩形，以存储后续编码/解码块能够容易参考(用于预测)的编码块(包括分区)的编码信息。
在第一种使用这种映射的示例性实施例中，通过将原始的例如像素的分割掩模下采样到2x2，4x4，8x8，16x16，32x32，64x64等像素网格中进行映射。选择使用提供同样分割的规则分区的最低成本分割作为DBBP分割的表示。
在第二种使用这种映射的示例性实施例中，该实施例可用于存在两个分区的情况，通过计算与块树，例如基于HEVC的编解码器的四叉树，的当前层级的所有可用的规则分割模式的相关性，并且选择最类似的一个作为DBBP分割的表示从而进行映射。例如，通过相关性分析，将DBBP分区映射到如图10所示的HEVC的6个可用的两段分割模式的一个之中。
图10示出了传统的规则形状分割模式(灰色和透明的)的示例性重叠以及示例性的基于深度的块分割掩模332(白色和黑色的P1和P2)。重叠1010是分割掩模332和2NxN分割的重叠。重叠1020是分割掩模332和Nx2N分割的重叠。重叠1030是分割掩模332和2NxnU分割的重叠。重叠1040是分割掩模332和nLx2N分割的重叠。重叠1050是分割掩模332和nRx2N分割的重叠。选择最匹配的规则形状分割模式iopt来存储编码信息，例如运动矢量，参考图片索引，编码模式，残留，视差矢量等等。
最佳匹配可以根据如下进行确定。针对每个可用的分割模式i∈[0，5](图11)，生成两个二进制掩模m2i(x,y)和m2i+1(x,y)(参见图3示例)，其中，m2i+1(x,y)是m2i(x,y)的反值。为找到当前基于深度的分割掩模mD(x,y)的最佳匹配分割模式iopt，执行以下算法：
k o p t = arg m a x k &Sigma; x 2 N - 1 &Sigma; y 2 N - 1 m D ( x , y ) * m k ( x , y ) , k &Element; &lsqb; 0 , 11 &rsqb;
这样，在带有DBBP分区的块之后编码例如编码或解码的所有块可以使用基于传统的规则形状分割的方法，容易理解并利用DBBP块的映射后的块分割方案，以进行预测和/或上下文推导。但是，DBBP块仍使用DBBP分割编码，这意味着映射过程并不影响DBBP块的编码或解码过程。
结合这种映射的DBBP分割的实施例具有以下优势。
使用更少数量的上下文(特别是在CABAC上下文模型)。不需要添加新的上下文模型或者至少增加的模型的数量非常小。
更容易编入现有编解码器。传统的编码模式可以像处理传统的编码块那样容易地处理DBBP块；不需要对参考相邻块的预测的现有方法或者DBBP参考块的具体预测方法的形成作出任何改变。
图11示出了使用DBBP分割掩模到规则分区的映射，从DBBP参考块B01110得到的示例性预测。DBBP编码块B0映射成规则的2NxN分割的块1110’。因此，在DBBP块B0之后编码或解码的所有块都可以通过使用传统的预测方法用作参考。表示编码块的信息，例如分配到块B0的DBBP分区的运动向量和参考图片索引，可以进一步用作连续块的运动信息的传统编码的预测参考，例如，连续块B11120。
实施例可用于计算用于选择块和/或分区的编码模式的成本。成本功能可以通过以下方式进行修改：对于每个分区，只考虑该分区包括的像素来计算成本。
实施例可用于计算表示每个分区的单个深度值或视差值。代表性的值可以计算成与编码纹理块相关联的深度值或视差值的平均值，加权平均值，中值，最小值，以及最大值(例如，权重取决于到块/分区的中心的距离)。得到的结果可以用于进行视差补偿预测，以预测分区和/或块的深度值或视差值；或者可以用作参考深度值或参考视差值来编码其他块和/或分区。
实施例可用于使用表示每个DBBP分区的深度值或视差值确定前景和背景分区。表示每个DBBP分区的深度值或视差值用于确定哪个分区离摄像头更近还是更远。
实施例可用于基于前景和背景图片区域确定去遮挡区域，该前景和背景图片区域基于表示每个DBBP分区的深度值或视差值计算。基于表示每个DBBP分区的深度值或视差值计算的前景和背景分区用于确定图片中的去遮挡区域。
实施例可用于使用深度值或视差值提高编码效率，该深度值或视差值基于视差补偿预测的DBBP计算。表示DBBP分区的深度值或视差值用作视差补偿预测的视差矢量预测。
实施例可用于使用深度值或视差值提高编码效率，该深度值或视差值基于针对根据与摄像头距离选择的自适应QP(QuantizationParameter)或者QD(QuantizationParameterforDepth)的DBBP计算。表示每个DBBP分区的深度值或视差值用于基于与摄像头的距离为每个分区选择QP或QD量化参数(离摄像头的距离越远，选择的QP或QD值越高)。
本发明实施例也提供了使用DBBP时最小化视频编码的复杂度的方案，以下将对此进行解释。
实施例可用于计算并存储规则(矩形)形状块的每个分区的内预测的，运动或视差补偿，以及残留的预测信号。为计算并在存储器中存储上述的的预测信号，针对每个分区使用规则(矩形)形状的块，但是每个块中只有属于各自分区的像素才有效。这减少了存储器中的单次调用的数量并能够避免存储器中的像素调用，这是因为存储器的整个规则块被复制，读取和/或存储。因此，提供了规则存储器的存取。
实施例可用于基于稀疏的深度信息计算DBBP分割—使用深度信息的稀疏表示计算分割，即，非像素(例如，下采样的深度图或视差图)。这样，待分析和待处理的深度点或视差点的数量减少，但是，分割的准确性稍稍降低。
实施例可用于基于密集深度信息，例如像素，计算DBBP分割，并将分割掩模的分辨率下采样至网格2x2，4x4，8x8，16x16等。这样，存储描述编码分区的所有编码信息的数据结构的分辨率能够降低，节约了存储量以及存储器读写操作数量。
实施例可用于通过关闭环路滤波器，降低应用了DBBP的视频编码的复杂度。针对包括DBBP分区的块，可通过关闭环路滤波器，例如解块，ALF或SAO滤波器，降低视频编码过程的复杂度。因此，视频编码的复杂度降低了但编码性能，例如比率失真率，只是稍微降低。
本发明实施例提供了一种方法，可以称为基于深度的块分割(Depth-basedBlockPartitioning，DBBP)。实施例中，可以只使用深度信息而不用纹理信息进行纹理块的分割，例如，只使用与纹理块相关联的深度信息而不用纹理块的纹理信息。其他的实施例可能结合基于深度的块分割与其他分割方法，例如，基于粗纹理信息以保持低复杂度。但是，只使用以分割掩模形式的深度信息简单、复杂度低且能有效地分割纹理块。
这样，解码器中可用的深度信息可以重用于提高压缩率而不需在码流中发送任何其他与分区形状相关的信息。
综上，本发明实施例提供了一种使用任意形状的至少两个分区对纹理块进行编码的编码方案，所述任意形状基于深度信息确定，例如，以与编码纹理块相关联的深度图或视差图的形式。分区的形状可以很好地与纹理块的目标边界匹配，因此编码过程更加灵活，这防止了编码器将纹理块进一步分割成更小的规则形状，即矩形，的分区，节约了用信号发送这些分区的比特。根据本发明实施例，可以在解码器基于与编码纹理块相关联的可用深度信息确定分区的任意形状。因此，基于深度的分区的准确形状不需要在码流中传输，降低了码率。

Claims (15)

1.一种解码纹理图像的编码纹理块的装置，其特征在于，所述解码装置包括：
分割器(510)，用于基于与编码纹理块(312’)相关联的深度信息(322)确定所述编码纹理块的分割掩模(332)，其中，所述分割掩模(332)用于定义多个分区(P1，P2)，并将所述编码纹理块的纹理块元素与所述编码纹理块的所述多个分区中的分区关联；
解码器(720)，用于基于所述分割掩模将所述编码纹理块的所述多个分区中的多个分区进行解码。
2.如权利要求1所述的装置，其特征在于，所述多个分区中分区的数量是预定的，或者，例如，通过分析与所述纹理块相关联的所述深度信息自适应确定的。
3.如上述权利要求中任一项所述的装置，其特征在于，所述分割器用于以迭代的方式确定所述分割掩模，其中，在每次迭代中，满足预定选择条件的分区进一步划分成子分区直至满足预定的终止条件，或者满足预定选择条件的分区进一步划分成子分区只要还满足进一步的分割条件，其中，所述纹理块进行所述迭代分割的初始分区。
4.如上述权利要求中任一项所述的装置，其特征在于，所述分割器用于：基于与所述纹理块元素相关联的深度信息值和阈值的对比，将所述纹理块的纹理块元素与所述多个分区中的一个相关联；
其中，所述分割器用于通过以下方式自适应确定所述阈值：针对与待编码的纹理块相关联的区域，计算深度信息值的平均值；将所述阈值设置成所述计算出的平均值；或
针对与待编码的纹理块相关联的区域，计算深度信息值的加权平均值，其中，用于计算所述加权平均值的权重取决于与所述纹理块中心的距离；将所述阈值设置成所述加权平均值；或
针对与待编码的纹理块相关联的区域，计算深度信息值的中值；将所述阈值设置成所述计算出的中值。
5.如上述权利要求中任一项所述的装置，其特征在于，所述装置还包括：
解复用器(860)，用于从码流中提取编码深度信息；
深度解码器，用于解码所述编码深度信息以获得与所述编码纹理块相关联的所述深度信息。
6.如上述权利要求中任一项所述的装置，其特征在于，所述装置还包括：
解复用器(860)，用于：针对所述编码纹理块的所述多个分区中的第一分区，分别从码流中所述纹理块的所述多个分区中的第二分区的编码信息中提取编码信息；
其中，所述解码器用于使用所述编码信息解码所述第一分区；
所述编码信息包括以下一种或多种：预测模式，预测因子索引，预测方向，参考图片索引，参考视图索引，变换系数，运动矢量，以及编码上下文。
7.一种解码纹理图像的编码纹理块的装置，其特征在于，所述解码装置包括：
接收器，用于接收包括纹理块的多个分区中编码分区的编码信息的码流；
解复用器，用于从所述码流中提取编码模式指示，所述编码模式指示表明多个编码模式中的哪一个已经用于编码所述纹理块；
根据上述权利要求任一项的基于深度的块分割装置，用于：当所述编码模式指示表明对应的基于深度的块分割编码模式已经用于编码所述纹理块时，根据基于深度的块分割解码模式解码所述编码纹理块。
8.如权利要求7所述的装置，其特征在于，所述解复用器用于提取所述编码模式指示以确定多个解码模式中将用于解码每个纹理块的编码纹理块的解码模式；和/或
所述解复用器用于在每GOP，每内周期，每图像，每分片，或每编码单元从码流中提取使能指示或去使能指示，其中，针对所述基于深度的块分割编码模式的使能或去使能指示通过SPS，PPS，PBS，VPS，图片头，SH，宏块，或编码单元语法使用信号发送，所述使能或去使能指示表明是否为所述使能或去使能指示之后接收到的纹理块使能或去使能了所述基于深度的块分割编码模式。
9.如权利要求7或8所述的装置，其特征在于，所述多个编码模式包括基于规则形状分割的编码模式的集合以及一个基于深度的块分割编码模式；
其中每个基于所述规则形状分割的编码模式都有一个模式专用编码模式指示与其关联，所述模式专用编码模式指示将各个规则形状分割编码模式与其他规则形状分割编码模式区分开来；
所选择的基于深度的块分割编码模式通过只添加到编码模式指示集合中编码模式指示中的一个的标记用信号发送，其中所述标记的第一值指示选择了与所述编码模式指示相关联的所述规则形状分割编码模式，所述标记的第二值指示选择了所述基于深度的块分割编码模式。
10.如权利要求7至9任一项所述的装置，其特征在于，所述基于深度的块分割装置(700)用于将分割掩模(332)映射到规则形状分区；
所述装置包括：
纹理解码器，用于：根据所述分割掩模的规则形状分割表示或者根据基于所述分割掩模的规则形状分割表示得到的信息，对连续的编码纹理块进行解码。
11.一种解码纹理图像的编码纹理块的方法，其特征在于，所述方法包括：
基于与编码纹理块相关联的深度信息确定所述编码纹理块的分割掩模，其中，所述分割掩模用于定义多个分区，并将所述编码纹理块的纹理块元素与所述编码纹理块的所述多个分区中的分区关联；
基于所述分割掩模解码所述编码纹理块的所述多个分区中的多个分区。
12.一种计算机程序，当所述计算机程序在电脑上运行时，包括执行根据权利要求11的方法的程序代码。
13.一种编码纹理图像(310)的纹理块(312)的装置，其特征在于，所述装置包括：
分割器(510)，用于基于与纹理块(312)相关联的深度信息(322)确定所述纹理块的分割掩模(332)，其中，所述分割掩模(332)用于定义所述纹理块的多个分区，并将所述纹理块(312)的纹理块元素与所述多个分区中的分区关联；
编码器(520)，用于基于所述分割掩模(332)编码所述纹理块的所述多个分区中的多个分区(P1，P2)从而对所述纹理块进行编码。
14.如权利要求13所述的编码器，其特征在于，所述编码器用于：
针对所述纹理块的所述多个分区中的第一分区，分别从所述纹理块的所述多个分区中的第二分区中确定用于编码所述第一分区的编码信息，所述编码信息包括以下的一种或多种：
预测模式，预测因子索引，预测方向，参考图片索引，参考视图索引，运动矢量，变换系数，以及编码上下文。
15.一种编码纹理图像(310)的纹理块(312)的方法，其特征在于，所述装置包括：
基于与纹理块(312)相关联的深度信息(322)确定(210)所述纹理块的分割掩模(332)，其中，所述分割掩模(332)用于定义所述纹理块的多个分区，并将所述纹理块(312)的纹理块元素与所述多个分区中的分区关联；
基于所述分割掩模(332)编码所述纹理块的所述多个分区中的多个分区(P1，P2)从而对所述纹理块进行编码(220)。
CN201380078359.4A 2013-07-19 2013-07-19 使用基于深度的块分割编解码纹理块的方法和装置 Active CN105393541B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2013/065360 WO2015007348A1 (en) 2013-07-19 2013-07-19 Method and apparatus for encoding and decoding a texture block using depth based block partitioning

Publications (2)

Publication Number Publication Date
CN105393541A true CN105393541A (zh) 2016-03-09
CN105393541B CN105393541B (zh) 2018-10-12

Family

ID=48900957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380078359.4A Active CN105393541B (zh) 2013-07-19 2013-07-19 使用基于深度的块分割编解码纹理块的方法和装置

Country Status (8)

Country Link
US (2) US10616584B2 (zh)
EP (2) EP3022908B1 (zh)
JP (1) JP6250805B2 (zh)
KR (2) KR101756301B1 (zh)
CN (1) CN105393541B (zh)
ES (1) ES2652132T3 (zh)
PT (1) PT3022908T (zh)
WO (1) WO2015007348A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3022908B1 (en) 2013-07-19 2017-11-01 Huawei Technologies Co., Ltd. Method and apparatus for encoding and decoding a texture block using depth based block partitioning
KR20150012206A (ko) 2013-07-24 2015-02-03 한국전자통신연구원 3차원 콘텐츠의 부호화 방법 및 장치
WO2015123806A1 (en) * 2014-02-18 2015-08-27 Mediatek Singapore Pte. Ltd. Methods for depth based block partitioning
WO2015135175A1 (en) * 2014-03-13 2015-09-17 Mediatek Singapore Pte. Ltd. Simplified depth based block partitioning method
US9838712B2 (en) * 2014-03-17 2017-12-05 Hfi Innovation Inc. Method of signaling for depth-based block partitioning
CN107211131B (zh) 2014-11-14 2020-07-21 华为技术有限公司 对数字图像块进行基于掩码的处理的系统和方法
EP3207699B1 (en) * 2014-11-14 2021-06-09 Huawei Technologies Co., Ltd. Systems and methods for processing a block of a digital image
WO2016074744A1 (en) * 2014-11-14 2016-05-19 Huawei Technologies Co., Ltd. Systems and methods for processing a digital image
CN116193115A (zh) * 2016-03-30 2023-05-30 韩国电子通信研究院 使用画面划分信息对视频进行编码和解码的方法和设备
CN109565592B (zh) 2016-06-24 2020-11-17 华为技术有限公司 一种使用基于分割的视频编码块划分的视频编码设备和方法
WO2017220163A1 (en) 2016-06-24 2017-12-28 Huawei Technologies Co., Ltd. Devices and methods for video coding using segmentation based partitioning of video coding blocks
CN106210722B (zh) * 2016-07-08 2019-06-25 上海大学 基于hevc的分层深度视频残差层数据的编码方法
EP3349182A1 (en) * 2017-01-13 2018-07-18 Thomson Licensing Method, apparatus and stream for immersive video format
US11514613B2 (en) * 2017-03-16 2022-11-29 Samsung Electronics Co., Ltd. Point cloud and mesh compression using image/video codecs
US10776992B2 (en) * 2017-07-05 2020-09-15 Qualcomm Incorporated Asynchronous time warp with depth data
CN110892453B (zh) * 2017-07-10 2024-02-13 三星电子株式会社 使用图像/视频编解码器的点云和网格压缩
WO2020050577A1 (ko) * 2018-09-07 2020-03-12 엘지전자 주식회사 비디오 송신 방법, 비디오 송신 장치, 비디오 수신 방법 및 비디오 수신 장치
CN110889851B (zh) 2018-09-11 2023-08-01 苹果公司 针对深度和视差估计的语义分割的稳健用途
KR20210069647A (ko) * 2018-10-05 2021-06-11 인터디지털 브이씨 홀딩스 인코포레이티드 3d 포인트들을 인코딩/재구성하기 위한 방법 및 디바이스
US11216984B2 (en) 2019-01-09 2022-01-04 Samsung Electronics Co., Ltd. Patch splitting for improving video-based point cloud compression performance
EP3703378A1 (en) * 2019-03-01 2020-09-02 Koninklijke Philips N.V. Apparatus and method of generating an image signal
US11669154B2 (en) * 2020-09-03 2023-06-06 Samsung Electronics Co., Ltd. Method and device for reducing performance difference between contents and devices in communication system
WO2023118259A1 (en) * 2021-12-21 2023-06-29 Interdigital Vc Holdings France, Sas Video block partitioning based on depth or motion information
US20230281876A1 (en) * 2022-03-04 2023-09-07 Tencent America LLC Mesh compression with constrained geometry dynamic range

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009094036A1 (en) * 2008-01-25 2009-07-30 Hewlett-Packard Development Company, L.P. Coding mode selection for block-based encoding
CN102055982A (zh) * 2011-01-13 2011-05-11 浙江大学 三维视频编解码方法及装置
WO2012171477A1 (en) * 2011-06-15 2012-12-20 Mediatek Inc. Method and apparatus of texture image compression in 3d video coding

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3886184B2 (ja) * 1996-09-20 2007-02-28 株式会社ソニー・コンピュータエンタテインメント 画像データの処理方法および画像処理装置
US6381364B1 (en) * 1996-12-31 2002-04-30 Intel Corporation Content texture sensitive picture/video encoder/decoder
US9417700B2 (en) * 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
US9485503B2 (en) * 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
KR20140097528A (ko) * 2011-11-29 2014-08-06 톰슨 라이센싱 비디오 품질 측정을 위한 텍스처 마스킹
US20130287093A1 (en) 2012-04-25 2013-10-31 Nokia Corporation Method and apparatus for video coding
SG11201502194QA (en) * 2012-09-21 2015-04-29 Nokia Technologies Oy Method and apparatus for video coding
EP3022908B1 (en) 2013-07-19 2017-11-01 Huawei Technologies Co., Ltd. Method and apparatus for encoding and decoding a texture block using depth based block partitioning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009094036A1 (en) * 2008-01-25 2009-07-30 Hewlett-Packard Development Company, L.P. Coding mode selection for block-based encoding
CN102055982A (zh) * 2011-01-13 2011-05-11 浙江大学 三维视频编解码方法及装置
WO2012171477A1 (en) * 2011-06-15 2012-12-20 Mediatek Inc. Method and apparatus of texture image compression in 3d video coding

Also Published As

Publication number Publication date
US20160134874A1 (en) 2016-05-12
KR101891637B1 (ko) 2018-08-24
EP3324631B1 (en) 2021-09-08
KR20160034362A (ko) 2016-03-29
KR101756301B1 (ko) 2017-07-10
EP3324631A1 (en) 2018-05-23
EP3022908A1 (en) 2016-05-25
KR20170082658A (ko) 2017-07-14
US10616584B2 (en) 2020-04-07
EP3022908B1 (en) 2017-11-01
US20200288138A1 (en) 2020-09-10
CN105393541B (zh) 2018-10-12
JP2016529785A (ja) 2016-09-23
US11234002B2 (en) 2022-01-25
JP6250805B2 (ja) 2017-12-20
WO2015007348A1 (en) 2015-01-22
PT3022908T (pt) 2017-12-26
ES2652132T3 (es) 2018-01-31

Similar Documents

Publication Publication Date Title
CN105393541A (zh) 使用基于深度的块分割编解码纹理块的方法和装置
JP6884598B2 (ja) パーティション符号化を用いた有効な予測
CN109257598B (zh) 解码器、编码器、介质及重构、编码和解码方法
JP2021168479A (ja) デプスマップの推定および更新を用いる効率的なマルチビュー符号化
CN106464855B (zh) 提供高效率视频编码中基于深度的块划分的方法和设备
CN111527752B (zh) 图像编码和解码的方法和装置以及存储比特流的记录介质
US11856219B2 (en) Multi-view coding with effective handling of renderable portions
CN101375593A (zh) 处理多视图视频
KR20130059422A (ko) 화상 부호화 방법 및 장치, 화상 복호 방법 및 장치, 및 그 프로그램
CN106791876B (zh) 一种基于3d-hevc的深度图快速帧内预测方法
CN106165425B (zh) 利用深度信息的视频编码方法及装置
CN104853216B (zh) 基于深度的块分割方法和电子装置
CN103997635A (zh) 自由视点视频的合成视点失真预测方法及编码方法
CN105519120A (zh) 3d以及多视图视频编码中子pu语法信令以及亮度补偿的方法
CN104469387A (zh) 一种多视点视频编码中分量间的运动参数继承方法
Maceira Duch Multi-view depth coding based on a region representation combining color and depth information
Ting et al. A New Framework for Layered Depth Video Coding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant