CN112040245A - 用于帧内编码深度图多层表示的系统和方法 - Google Patents

用于帧内编码深度图多层表示的系统和方法 Download PDF

Info

Publication number
CN112040245A
CN112040245A CN201910481532.4A CN201910481532A CN112040245A CN 112040245 A CN112040245 A CN 112040245A CN 201910481532 A CN201910481532 A CN 201910481532A CN 112040245 A CN112040245 A CN 112040245A
Authority
CN
China
Prior art keywords
layer
pixels
depth
encoder
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910481532.4A
Other languages
English (en)
Other versions
CN112040245B (zh
Inventor
陈成就
覃泓胨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Marvel Digital Ltd
Original Assignee
Marvel Digital Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Marvel Digital Ltd filed Critical Marvel Digital Ltd
Priority to CN201910481532.4A priority Critical patent/CN112040245B/zh
Priority to PCT/CN2020/082464 priority patent/WO2020244296A1/zh
Publication of CN112040245A publication Critical patent/CN112040245A/zh
Application granted granted Critical
Publication of CN112040245B publication Critical patent/CN112040245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及对深度图进行处理的系统和方法，特别是涉及用于帧内编码深度图多层表示的系统和方法。本发明采用将深度图数据分块；对分块的深度图数据，设置渐进量化及其停止条件；对停止迭代的多层深度图进行数据封装；输出封装后的比特流至解码器端的手段，通过将相同平滑区域内的像素减少为简单的代表值，同时在记录像素分组中投入资源，来实现深度图的平滑度。质量目标可以使该方法的重建输出更好地服务于视频编码器的整体质量和比特率控制。本发明的一个直接应用是用于在线视频广播的3D视频内容压缩。另一个应用是3D视频格式转换。

Description

用于帧内编码深度图多层表示的系统和方法
技术领域
本发明涉及对深度图进行处理的系统和方法，特别是涉及用于帧内编码深度图多层表示的系统和方法。
背景技术
随着对图像传输要求的不断提高，为了获得图像和视频的高效存储和传输，需要对图像和视频的有效压缩方法。深度图是记录可观察场景点距摄像机光点的距离的图像或视频。它通过在场景中指定其深度，为彩色图像或在相同位置拍摄的视频中的相关颜色像素提供附加信息。因此，深度图是3D多媒体体验的关键组成部分。显示设备具有从中恢复具有深度图的图像或视频中描绘的场景的3D结构信息。深度图的压缩和编码是减少深度图数据量的过程，并为网络的不同终端的设备提供标准以理解传输的数据。深度图编码也可以被视为整个3D视频数据的压缩过程的一部分。
最常见的深度图编码或一般视频编码方案遵循相同的“混合”视频编码框架。帧被分成块，利用相邻块和帧之间的空间依赖性。数据由先前编码的块和帧预测并编码。帧内编码是深度图编码的基础步骤。它是编码过程的一部分，其中数据仅由来自同一帧的先前数据预测。帧内编码方法仅相对于当前帧内包括的信息执行操作，而相对于视频序列中的任何其他帧中包括的信息不执行操作。
现有技术的最先进标准3D高效率视频编码(“3D－High Efficiency VideoCoding”)采用下列帧内编码方法，包括：1.直流(DC)和平面预测；2.基于楔形(“wedgelet”)的深度建模；3.轮廓段深度建模。通过方向预测仅能够处理平滑数据。基于楔形的深度建模和轮廓段深度建模可以处理急剧的变化，但是帧所分成的块中仅有两层。此外，轮廓线段深度建模经常从相应的纹理视频中获得急剧的变化。这些方法的局限性在于分割仅执行一次。因此，如果分割质量差，则必须依赖其他编码方法来提高重建质量。
因此现有技术中需要提高压缩效率并更好地提高重建质量的压缩深度图的系统和方法。
发明内容
本发明自适应地量化图像并将图像分成恒定值的层的方式，提供了一种在相对复杂的场景中压缩深度图数据的系统和方法。
本发明提供一种帧内编码深度图多层表示的系统，包括下列装置：分块模块，将深度图数据分块；渐进量化模块，对分块的深度图数据设置渐进量化及其停止条件。
本发明的一个方面，还包括如下装置：数据封装模块，对停止迭代的多层深度图进行数据封装；数据输出模块，输出封装后的比特流至解码器端。
本发明的一个方面，其中：对分块的深度图数据设置渐进量化及其停止条件的渐进量化模块还包括：分层模块，将深度块被分解为多个层，每个层包含深度块中与其他层互斥的像素子集；多层表示模块，以非参数方式表示所述多个层，其中一个层可以表示深度块中所有像素的任何子集；迭代模块，采用迭代方法对所述多个层进行编码，并持续监控重建残差和优先级高的剩余区域。
本发明的一个方面，对分块的深度图数据设置渐进量化及其停止条件的渐进量化模块包括：新图层创建模块，利用编码器初始化一个空的图层列表，在所述图层列表中创建一个新图层，然后将块中的所有像素分类为唯一的图层；编码器重复执行下列模块直到迭代过程结束：计算模块，对于图层列表中的每个图层，利用加密器计算图层内所有像素的深度值的均值和方差，并将每个平均值都附加到相应的图层；深度值重建模块，编码器找到计算出的所有方差中的最大值，识别具有最大方差的层，将其调用为最大方差层；并通过使用每个像素所属层的平均值为每个像素分配深度值来创建重建块；计算重建块与原始深度块之间的平方误差之和；新图层创建模块，利用编码器在图层列表的尾部创建一个新图层，选取最大方差层内并且深度值大于最大方差层平均值的所有像素，从最大方差层中删除这些像素并将它们分配给新图层；在所述平方误差之和小于预设阈值时，结束迭代过程。
本发明的另一个方面，其中，所述预定阈值为在平方误差之和方面所需的重建质量。
本发明的另一个方面，其中所述数据封装模块，还包括：平均值附加模块，利用编码器为其图层列表中的所有图层计算图层内所有像素的深度值的均值和方差；将每个平均值都附加到相应的图层；图层处理模块，编码器通过按降序对每个层的区域或像素数进行排序来重新排序图层，从而首先处理具有最多像素的图层；二进制映射模块，编码器利用尚未编码且具有最大像素数的层，形成二进制映射，将该层中的所有像素标记为“1”，将其他像素标记为“0”，并使用上下文自适应二进制算术编码方法来编码这个二进制映射；完成该映射后，编码器继续进行下一个最大层并重复直到剩下一个层；最后一层不需要二进制映射，因为其会自动填充所有剩余像素。
本发明的另一个方面，其中数据封装模块中的最终输出数据由下列内容组成：表示深度块中的层数的整数；包含所有层的二进制映射的一系列位；体现每层的深度值的一系列整数。
本发明还提供一种帧内编码深度图多层表示的方法，包括如下步骤：将深度图数据分块；对分块的深度图数据，设置渐进量化及其停止条件。
本发明还提供一种实现本发明所述方法的编码器，对分块的深度图数据设置渐进量化及其停止条件的，其包括：新图层创建模块，利用编码器初始化一个空的图层列表，在所述图层列表中创建一个新图层，然后将块中的所有像素分类为唯一的图层；所述编码器重复执行下列模块直到迭代过程结束：计算模块，对于图层列表中的每个图层，利用加密器计算图层内所有像素的深度值的均值和方差，并将每个平均值都附加到相应的图层；深度值重建模块，编码器找到计算出的所有方差中的最大值，识别具有最大方差的层，将其调用为最大方差层；并通过使用每个像素所属层的平均值为每个像素分配深度值来创建重建块；计算重建块与原始深度块之间的平方误差之和；新图层创建模块，利用编码器在图层列表的尾部创建一个新图层，选取最大方差层内并且深度值大于最大方差层平均值的所有像素，从最大方差层中删除这些像素并将它们分配给新图层；在所述平方误差之和小于预设阈值时，结束迭代过程。
本发明中描述的方法，以模仿深度数据的性质的方式处理深度图数据。深度图通常包含大而平滑的区域，两者之间有明显清晰的边界。本发明通过将相同平滑区域内的像素减少为简单的代表值，同时在记录像素分组中投入资源，来实现深度图的平滑度。质量目标可以使该方法的重建输出更好地服务于视频编码器的整体质量和比特率控制。本发明的一个直接应用是用于在线视频广播的3D视频内容压缩。另一个应用是3D视频格式转换。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实例，对于本领域普通技术人员来讲，在不付出创新性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所述的用于帧内编码深度图多层表示的方法示意图。
图2a-图2e为本发明所述的用于帧内编码深度图多层表示的方法中设置渐进量化及其停止条件步骤的示例。
图3示意性地示出了用于执行根据本发明的方法的服务器的框图；以及
图4示意性地示出了用于保持或者携带实现根据本发明的方法的程序代码的存储单元。
具体实施方式
以下阐述的是当前被认为是所要求保护的发明的优选实施例或最佳表示性示例的内容。仔细考虑了对实施例和优选实施例的将来和现在的表示或修改，在功能、目的、结构或结果方面作出实质性改变的任何变更或修改，都旨在被本专利的权利要求所涵盖。现在将参考附图仅以举例的方式描述本发明的优选实施例。
本发明旨在提供一种处理复杂深度图数据的有效方法。根据本发明的方法，本发明的深度图实际上被分解为几个“部分”(shape)，将这几个部分结合起来为所要处理的深度图块中的所有像素，并且这些形状中的每一个附加有深度值以用作解码结果。进一步，该方法通过迭代的方式，通过使用基于方差导出的标准，来识别具有差的重建质量的区域从而重复地改进重建质量。
图1为本发明所述的用于帧内编码深度图多层表示的方法示意图。在步骤101，深度块被分解为多个层，每个层包含深度块中与其他层互斥的像素子集，参见下文步骤B.渐进量化及其停止条件的具体内容。在步骤102，所述多个层以非参数方式表示，每个层可以表示深度块中所有像素的任何子集。参见下文步骤B.渐进量化及其停止条件的子步骤d.的具体内容。它适应复杂的环境，可以任意分配场景中的深度值。在步骤103，编码过程采用迭代方法。参见下文步骤B.渐进量化及其停止条件的子步骤c。持续监控重建残差(即原始和解码深度图之间的差异的度量)和优先级高的剩余区域。该步骤103与现有技术中的轮廓线段深度建模有所不同，轮廓线段深度建模仅执行一次分割。
进一步详细描述本发明的方法，所述方法包括如下步骤：
A.将深度图数据分块；
B.对分块的深度图数据，设置渐进量化及其停止条件；
C.对停止迭代的多层深度图进行数据封装；
D.输出封装后的比特流。其中，
步骤A.将深度数据分块
在该步骤中以深度图中的“块”开始，将图片划分为更小的单元。块宽和高度通常为2的幂。例如，2×2，4×4，8×8……
步骤B.设置渐进量化及其停止条件
设置渐进量化步骤及其停止条件的步骤包括多个阶段。其中，编码器首先初始化一个空的“图层列表”，在列表中创建一个新图层，然后将块中的所有像素分类为唯一的图层。在初始化之后，编码器重复以下过程，直到过程中设定的停止条件得到满足。
a.对于图层列表中的每个图层，加密器计算图层内所有像素的深度值的均值和方差。每个平均值都附加到相应的图层。
b.编码器通过使用每个像素所属层的平均值为每个像素分配深度值来创建“重建块”。计算重建块与原始深度块之间的平方误差之和(SSE)。如果该SSE小于预设阈值，例如所述预定阈值为在SSE方面所需的重建质量，那么这个迭代过程结束。
c.编码器找到步骤a中计算的所有方差中的最大值，识别具有最大方差的层，将其调用为最大方差层(“LLV”)。
d.编码器在图层列表的尾部创建一个新图层，选取最大方差层内并且深度值大于最大方差层平均值的所有像素，从最大方差层中删除这些像素并将它们分配给新图层。回到步骤a。
图2a-图2e为本发明所述的用于帧内编码深度图多层表示的方法中设置渐进量化及其停止条件步骤的一个示例。
其中图2a－1为一个深度图块的示例，其用不同灰色阴影着色，表示不同的值。其中，白色部分201表示深度值为“30”的部分；次浅灰色部分202表示深度值为“25”的部分；较深灰色部分203表示深度值为“20”和“12”的部分；最深灰色部分204表示深度值为“10”的部分。
图2a－2表示，对于初始层列表，所有的像素都位于“0层”。
图2b－1表示，经过第一次迭代，将整个块分成两层。其中在图2b－1中的深灰色部分205为图2a－1深度图中值低于15的部分；在图2b－1中的浅灰色部分206为图2a－1深度图中值高于20的部分。
图2b－2表示，据图2b－1对块划分成两层，在“0层”的基础上产生新的层“1层”。
图2c－1表示，从两个平均值重建深度图。其中，将图2b－1中的深灰色部分205中取深度图平均值“10”；将图2b－2中的浅灰色部分206中取深度图平均值“25”。
图2c－2表示，一次迭代后的层次列表，分成“1层”和“0层”，其中数值为“10”的部分作为“0层”；数值为“25”的部分作为“1层”。
图2d－1表示，进行第二次迭代：将“第1层”拆分为两层。其中，恢复第一层的原始深度值，将图2a－1的原始深度值，在“1层”的部分中分为小于或等于“25”的一部分与等于“30”的两部分。即图2d－1中的白色部分207和较深灰色部分208。
图2d－2表示，将深度值等于“30”的一部分作为新的一层“2层”。
图2e－1表示，从三个平均值重建深度图。将图2b－1中的深灰色部分205中取深度图平均值“10”的部分仍然保持不变；将图2d－1中的白色部分207中深度值小于或等于“25”的部分重新取平均值“22”；将图2d－1中的较深灰色部分208中深度值等于“30”的部分保持不变；不再取平均值。
图2e－2表示，二次迭代后的层次列表：分成“2层”、“1层”和“0层”，其中深度值为“10”的部分作为“0层”；深度值为“22”的部分作为“1层”；深度值为“30”的部分作为“2层”。
步骤C.数据封装
通过完成前一阶段，编码器现在具有一个或多个层的层列表，每个层具有平均深度值并且包含深度块中的一些像素。进一步，通过下列两个子步骤，完成数据封装；以便将数据输出至解码器端：
a.计算步骤：编码器为其图层列表中的所有图层计算图层内所有像素的深度值的均值和方差。将每个平均值都附加到相应的图层。然后编码器通过按降序对每个层的区域或像素数进行排序来重新排序图层，从而首先处理具有最多像素的图层。
b.二进制映射步骤：编码器利用尚未编码且具有最大像素数的层，形成二进制映射，将该层中的所有像素标记为“1”，将其他像素标记为“0”，并使用上下文自适应二进制算术编码方法来编码这个二进制映射。完成该映射后，编码器继续进行下一个最大层并重复直到剩下一个层。最后一层不需要二进制映射，因为它会自动填充所有剩余像素。
步骤D.比特流输出
在数据封装步骤完成之后，解码器将会接收最终输出数据，最终输出数据是由三部分组成：整数，表示步骤B.渐进量化及其停止条件中深度块中的层数。一系列位，包含来自步骤C.数据封装的所有层的二进制映射；以及一系列整数，对应于步骤B.渐进量化及其停止条件中每层的深度值。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的提升视频分辨率和质量的方法以及视频编码器和显示终端的解码器的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
例如，图3示出了可以实现根据本发明的服务器，例如应用服务器。该服务器传统上包括处理器1010和以存储器1020形式的计算机程序产品或者计算机可读介质。存储器1020可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器1020具有用于执行上述方法中的任何方法步骤的程序代码1031的存储空间1030。例如，用于程序代码的存储空间1030可以包括分别用于实现上面的方法中的各种步骤的各个程序代码1031。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为如参考图4所述的便携式或者固定存储单元。该存储单元可以具有与图3的服务器中的存储器1020类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常，存储单元包括计算机可读代码1031’，即可以由例如诸如1010之类的处理器读取的代码，这些代码当由服务器运行时，导致该服务器执行上面所描述的方法中的各个步骤。
本文中所称的“一个实施例”、“实施例”或者“一个或者多个实施例”意味着，结合实施例描述的特定特征、结构或者特性包括在本发明的至少一个实施例中。此外，请注意，这里“在一个实施例中”的词语例子不一定全指同一个实施例。
以上描述并非旨在限制在限定本发明的以下权利要求书中使用的词语的含义或范围。而是提供了描述和说明以帮助理解各种实施例。预期未来在结构、功能或结果方面的修改将存在而并非实质性改变，并且权利要求书中的所有这些非实质性改变都旨在被权利要求所涵盖。因此，尽管已经说明和描述了本发明的优选实施例，但本领域技术人员将会理解，可以在不脱离要求保护的本发明的情况下做出许多改变和修改。另外，虽然术语“要求保护的发明”或“本发明”在本文中有时以单数形式使用，但将理解，存在如所描述和要求保护的多个发明。

Claims (16)

1.一种帧内编码深度图多层表示的方法，包括如下步骤：
将深度图数据分块；
对分块的深度图数据，设置渐进量化及其停止条件。
2.如权利要求1所述的方法，还包括如下步骤：
对停止迭代的多层深度图进行数据封装；
输出封装后的比特流至解码器端。
3.如权利要求1－2所述的方法，其中：
对分块的深度图数据，设置渐进量化及其停止条件的步骤包括：
将深度块被分解为多个层，每个层包含深度块中与其他层互斥的像素子集；
以非参数方式表示所述多个层，其中一个层可以表示深度块中所有像素的任何子集；
采用迭代方法对所述多个层进行编码，并持续监控重建残差和优先级高的剩余区域。
4.如权利要求1－2所述的方法，对分块的深度图数据，设置渐进量化及其停止条件的步骤包括：
利用编码器初始化一个空的图层列表，在所述图层列表中创建一个新图层，然后将块中的所有像素分类为唯一的图层；
编码器重复进行下列步骤直到迭代过程结束：
对于图层列表中的每个图层，利用加密器计算图层内所有像素的深度值的均值和方差，并将每个平均值都附加到相应的图层；
编码器找到计算出的所有方差中的最大值，识别具有最大方差的层，将其调用为最大方差层；并通过使用每个像素所属层的平均值为每个像素分配深度值来创建重建块；计算重建块与原始深度块之间的平方误差之和；
利用编码器在图层列表的尾部创建一个新图层，选取最大方差层内并且深度值大于最大方差层平均值的所有像素，从最大方差层中删除这些像素并将它们分配给新图层；
在所述平方误差之和小于预设阈值时，结束迭代过程。
5.如权利要求4所述的方法，其中，所述预定阈值为在平方误差之和方面所需的重建质量。
6.如权利要求2所述的方法，其中所述对停止迭代的多层深度图进行数据封装的步骤，包括如下步骤：
利用编码器为其图层列表中的所有图层计算图层内所有像素的深度值的均值和方差；将每个平均值都附加到相应的图层；
编码器通过按降序对每个层的区域或像素数进行排序来重新排序图层，从而首先处理具有最多像素的图层；
编码器利用尚未编码且具有最大像素数的层，形成二进制映射，将该层中的所有像素标记为“1”，将其他像素标记为“0”，并使用上下文自适应二进制算术编码方法来编码这个二进制映射；
完成该映射后，编码器继续进行下一个最大层并重复直到剩下一个层；
最后一层不需要二进制映射，因为其会自动填充所有剩余像素。
7.如权利要求2或6中所述的方法，其中输出封装后的比特流的步骤中的最终输出数据由下列内容组成：
表示深度块中的层数的整数；
包含所有层的二进制映射的一系列位；
体现每层的深度值的一系列整数。
8.一种帧内编码深度图多层表示的系统，包括下列装置：
分块模块，将深度图数据分块；
渐进量化模块，对分块的深度图数据设置渐进量化及其停止条件。
9.如权利要求1所述的系统，还包括如下装置：
数据封装模块，对停止迭代的多层深度图进行数据封装；
数据输出模块，输出封装后的比特流至解码器端。
10.如权利要求8－9所述的系统，其中：
对分块的深度图数据设置渐进量化及其停止条件的渐进量化模块还包括：
分层模块，将深度块被分解为多个层，每个层包含深度块中与其他层互斥的像素子集；
多层表示模块，以非参数方式表示所述多个层，其中一个层可以表示深度块中所有像素的任何子集；
迭代模块，采用迭代方法对所述多个层进行编码，并持续监控重建残差和优先级高的剩余区域。
11.如权利要求8－9所述的系统，对分块的深度图数据设置渐进量化及其停止条件的渐进量化模块包括：
新图层创建模块，利用编码器初始化一个空的图层列表，在所述图层列表中创建一个新图层，然后将块中的所有像素分类为唯一的图层；
编码器重复执行下列模块直到迭代过程结束：
计算模块，对于图层列表中的每个图层，利用加密器计算图层内所有像素的深度值的均值和方差，并将每个平均值都附加到相应的图层；
深度值重建模块，编码器找到计算出的所有方差中的最大值，识别具有最大方差的层，将其调用为最大方差层；并通过使用每个像素所属层的平均值为每个像素分配深度值来创建重建块；计算重建块与原始深度块之间的平方误差之和；
新图层创建模块，利用编码器在图层列表的尾部创建一个新图层，选取最大方差层内并且深度值大于最大方差层平均值的所有像素，从最大方差层中删除这些像素并将它们分配给新图层；
在所述平方误差之和小于预设阈值时，结束迭代过程。
12.如权利要求11所述的系统，其中，所述预定阈值为在平方误差之和方面所需的重建质量。
13.如权利要求9所述的系统，其中所述数据封装模块，还包括：
平均值附加模块，利用编码器为其图层列表中的所有图层计算图层内所有像素的深度值的均值和方差；将每个平均值都附加到相应的图层；
图层处理模块，编码器通过按降序对每个层的区域或像素数进行排序来重新排序图层，从而首先处理具有最多像素的图层；
二进制映射模块，编码器利用尚未编码且具有最大像素数的层，形成二进制映射，将该层中的所有像素标记为“1”，将其他像素标记为“0”，并使用上下文自适应二进制算术编码方法来编码这个二进制映射；完成该映射后，编码器继续进行下一个最大层并重复直到剩下一个层；最后一层不需要二进制映射，因为其会自动填充所有剩余像素。
14.如权利要求9或13中所述的系统，其中数据封装模块中的最终输出数据由下列内容组成：
表示深度块中的层数的整数；
包含所有层的二进制映射的一系列位；
体现每层的深度值的一系列整数。
15.一种实现如如权利要求1－7所述方法的编码器，对分块的深度图数据设置渐进量化及其停止条件的，其包括：
新图层创建模块，利用编码器初始化一个空的图层列表，在所述图层列表中创建一个新图层，然后将块中的所有像素分类为唯一的图层；
所述编码器重复执行下列模块直到迭代过程结束：
计算模块，对于图层列表中的每个图层，利用加密器计算图层内所有像素的深度值的均值和方差，并将每个平均值都附加到相应的图层；
深度值重建模块，编码器找到计算出的所有方差中的最大值，识别具有最大方差的层，将其调用为最大方差层；并通过使用每个像素所属层的平均值为每个像素分配深度值来创建重建块；计算重建块与原始深度块之间的平方误差之和；
新图层创建模块，利用编码器在图层列表的尾部创建一个新图层，选取最大方差层内并且深度值大于最大方差层平均值的所有像素，从最大方差层中删除这些像素并将它们分配给新图层；
在所述平方误差之和小于预设阈值时，结束迭代过程。
16.一种实现如如权利要求1－7所述方法的编码器，对停止迭代的多层深度图进行数据封装，其包括：
平均值附加模块，利用编码器为其图层列表中的所有图层计算图层内所有像素的深度值的均值和方差；将每个平均值都附加到相应的图层；
图层处理模块，编码器通过按降序对每个层的区域或像素数进行排序来重新排序图层，从而首先处理具有最多像素的图层；
二进制映射模块，编码器利用尚未编码且具有最大像素数的层，形成二进制映射，将该层中的所有像素标记为“1”，将其他像素标记为“0”，并使用上下文自适应二进制算术编码方法来编码这个二进制映射；完成该映射后，编码器继续进行下一个最大层并重复直到剩下一个层；最后一层不需要二进制映射，因为其会自动填充所有剩余像素。
CN201910481532.4A 2019-06-04 2019-06-04 用于帧内编码深度图多层表示的系统和方法 Active CN112040245B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910481532.4A CN112040245B (zh) 2019-06-04 2019-06-04 用于帧内编码深度图多层表示的系统和方法
PCT/CN2020/082464 WO2020244296A1 (zh) 2019-06-04 2020-03-31 用于帧内编码深度图多层表示的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910481532.4A CN112040245B (zh) 2019-06-04 2019-06-04 用于帧内编码深度图多层表示的系统和方法

Publications (2)

Publication Number Publication Date
CN112040245A true CN112040245A (zh) 2020-12-04
CN112040245B CN112040245B (zh) 2023-07-21

Family

ID=73575890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910481532.4A Active CN112040245B (zh) 2019-06-04 2019-06-04 用于帧内编码深度图多层表示的系统和方法

Country Status (2)

Country Link
CN (1) CN112040245B (zh)
WO (1) WO2020244296A1 (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6348918B1 (en) * 1998-03-20 2002-02-19 Microsoft Corporation Stereo reconstruction employing a layered approach
CN103581647A (zh) * 2013-09-29 2014-02-12 北京航空航天大学 一种基于彩色视频运动矢量的深度图序列分形编码方法
US20140204088A1 (en) * 2013-01-18 2014-07-24 Microsoft Corporation Surface codec using reprojection onto depth maps
US20140285626A1 (en) * 2013-03-25 2014-09-25 Microsoft Corporation Representation and Compression of Depth Data
US20140341289A1 (en) * 2011-11-11 2014-11-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Efficient multi-view coding using depth-map estimate and update
CN104202612A (zh) * 2014-04-15 2014-12-10 清华大学深圳研究生院 基于四叉树约束的编码单元的划分方法及视频编码方法
CN105007494A (zh) * 2015-07-20 2015-10-28 南京理工大学 一种3d视频深度图像模型模式的帧内楔形分割模式选择方法
CN105812801A (zh) * 2010-04-13 2016-07-27 三星电子株式会社 视频解码设备
CN106686383A (zh) * 2017-01-17 2017-05-17 湖南优象科技有限公司 一种保留深度图边缘的深度图帧内编码方法
CN108734208A (zh) * 2018-05-15 2018-11-02 重庆大学 基于多模态深度迁移学习机制的多源异构数据融合系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100668324B1 (ko) * 2005-01-21 2007-01-12 삼성전자주식회사 화상 데이터 부호화시의 비트율 제어방법 및 장치
CN101330631A (zh) * 2008-07-18 2008-12-24 浙江大学 一种立体电视系统中深度图像的编码方法
CN101835056B (zh) * 2010-04-29 2011-12-07 西安电子科技大学 基于模型的纹理视频与深度图的最优码率分配方法
CN104010196B (zh) * 2014-03-14 2017-02-15 北方工业大学 基于hevc的3d质量可伸缩视频编码
CN106327458A (zh) * 2016-08-31 2017-01-11 上海交通大学 一种基于图像分层渲染的方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6348918B1 (en) * 1998-03-20 2002-02-19 Microsoft Corporation Stereo reconstruction employing a layered approach
CN105812801A (zh) * 2010-04-13 2016-07-27 三星电子株式会社 视频解码设备
US20140341289A1 (en) * 2011-11-11 2014-11-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Efficient multi-view coding using depth-map estimate and update
US20140204088A1 (en) * 2013-01-18 2014-07-24 Microsoft Corporation Surface codec using reprojection onto depth maps
US20140285626A1 (en) * 2013-03-25 2014-09-25 Microsoft Corporation Representation and Compression of Depth Data
CN103581647A (zh) * 2013-09-29 2014-02-12 北京航空航天大学 一种基于彩色视频运动矢量的深度图序列分形编码方法
CN104202612A (zh) * 2014-04-15 2014-12-10 清华大学深圳研究生院 基于四叉树约束的编码单元的划分方法及视频编码方法
CN105007494A (zh) * 2015-07-20 2015-10-28 南京理工大学 一种3d视频深度图像模型模式的帧内楔形分割模式选择方法
CN106686383A (zh) * 2017-01-17 2017-05-17 湖南优象科技有限公司 一种保留深度图边缘的深度图帧内编码方法
CN108734208A (zh) * 2018-05-15 2018-11-02 重庆大学 基于多模态深度迁移学习机制的多源异构数据融合系统

Also Published As

Publication number Publication date
WO2020244296A1 (zh) 2020-12-10
CN112040245B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
KR102499355B1 (ko) 손실 및 무손실 영상 압축을 위한 형상-적응형 모델-기반 코덱
US10616603B2 (en) Methods and apparatuses for encoding and decoding digital images through superpixels
JP4895400B2 (ja) 画像フレームの非フレームエッジブロックの表現における改良された圧縮
CN107211131B (zh) 对数字图像块进行基于掩码的处理的系统和方法
US20230050860A1 (en) An apparatus, a method and a computer program for volumetric video
US11245897B2 (en) Methods and apparatuses for signaling partioning information for picture encoding and decoding
KR20130095261A (ko) 이미지의 현재 블록을 재구성하는 방법과 대응 인코딩 방법, 대응 디바이스 및 비트 스트림으로 인코딩된 이미지들을 저장하는 저장 매체
US10708601B2 (en) Methods and apparatuses for encoding and decoding superpixel borders
US11711535B2 (en) Video-based point cloud compression model to world signaling information
KR20150024857A (ko) 적어도 하나의 제2 이미지 성분의 기준 블록에 대하여 제1 이미지 성분의 현재 블록을 인코딩하는 방법, 인코딩 장치 및 대응하는 컴퓨터 프로그램
CN110896483A (zh) 压缩和解压缩图像数据的方法
US20230107834A1 (en) Method and apparatus of adaptive sampling for mesh compression by encoders
US20230370600A1 (en) A method and apparatus for encoding and decoding one or more views of a scene
CN111034198A (zh) 图像编码和解码方法、编码和解码设备及对应计算机程序
WO2021053262A1 (en) An apparatus, a method and a computer program for volumetric video
US10791332B2 (en) Video data processing system
CN115209147B (zh) 摄像头视频传输带宽优化方法、装置、设备及存储介质
CN112040245B (zh) 用于帧内编码深度图多层表示的系统和方法
KR20240073054A (ko) 포인트 클라우드 데이터 프레임 압축
US10045022B2 (en) Adaptive content dependent intra prediction mode coding
EP3699867A1 (en) An apparatus, a method and a computer program for volumetric video
WO2020254719A1 (en) An apparatus, a method and a computer program for volumetric video
US20240242391A1 (en) Connectivity information coding method and apparatus for coded mesh representation
US20230412837A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
US20230105452A1 (en) Method and apparatus of adaptive sampling for mesh compression by decoders

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40036771

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant