CN112673399A - 对点云的点的纹理进行编码/解码的方法 - Google Patents

对点云的点的纹理进行编码/解码的方法 Download PDF

Info

Publication number
CN112673399A
CN112673399A CN201980059057.XA CN201980059057A CN112673399A CN 112673399 A CN112673399 A CN 112673399A CN 201980059057 A CN201980059057 A CN 201980059057A CN 112673399 A CN112673399 A CN 112673399A
Authority
CN
China
Prior art keywords
texture
color information
point
point cloud
colored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980059057.XA
Other languages
English (en)
Inventor
J.里卡德
C.格德
J.拉赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of CN112673399A publication Critical patent/CN112673399A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

至少一个实施例提供了用于在比特流中生成和编码插值纹理编解码模式的方法和设备，所述插值纹理编解码模式指示比特流包含代表纹理图像的颜色信息数据，并且必须对重构的点云上未根据所述颜色信息数据进行着色的点进行纹理插值。

Description

对点云的点的纹理进行编码/解码的方法
技术领域
本实施例一般而言涉及对表示点云的几何形状和颜色的3D图像数据进行编码和解码。
背景技术
本节旨在向读者介绍可与下文描述和/或要求保护的本实施例的各个方面相关的技术的各个方面。相信该讨论有助于向读者提供背景信息，以促进更好地理解本实施例的各个方面。因而，应当理解的是，应从这种角度来阅读这些陈述，而不是作为对现有技术的承认。
点云是某个坐标系中的数据点的集合。在三维坐标系(3D空间)中，这些点通常旨在表示3D对象的外表面。点云的每个点常常由其位置(3D空间中的X、Y和Z坐标)定义，并且可能由其它相关联属性定义，诸如以例如RGB或YUV颜色空间表示的颜色、透明度、反射率、二分量法线向量等。
在下文中，考虑颜色点云，即，6分量点(X，Y，Z，R，G，B)或等价地(X，Y，Z，Y，U，V)的集合，其中(X，Y，Z)定义有色点在3D空间中的坐标，而(R，G，B)或(Y，u，V)定义这个有色点的颜色。
有色点云可以是静态的或者动态的，这取决于云是否随时间而演化。应当注意的是，在动态点云的情况下，点的数量不是恒定的，相反，一般随着时间而演化。因此，动态点云是点集合的时间排序列表。
实际上，有色点云可以被用于各种目的，诸如文化遗产/建筑物，其中以3D扫描如雕像或建筑物之类的对象，以便在不发送或访问对象的情况下共享对象的空间配置。而且，这是确保保留对象的知识以防对象被破坏的途径；例如，庙宇被地震损坏。这种点云通常是静态的、有色的并且是巨大的。
另一个用例是在地形学和制图学中，其中，通过使用3D表示，地图不限于平面，而且还可以包括地势。谷歌地图(Google Map)现在是3D地图的良好示例，但它使用网格代替点云。不过，点云可以是用于3D地图的合适数据格式，并且这种点云通常是静态的、有色的并且是巨大的。
汽车工业和自动驾驶汽车也是可以使用点云的领域。自动驾驶汽车应当能够“探测”其周围环境，以基于紧邻其附近的环境的实际情况做出良好的驾驶决定。典型的传感器(如LIDAR)产生由决定引擎使用的动态点云。这些点云并非旨在供人类查看并且它们通常小，不一定是有色的，并且是动态的，具有高捕获频率。它们可以具有其它属性，如由Lidar提供的反射率，因为这个属性是关于被感测的对象的材质的良好信息，并且可以有助于做出决定。
虚拟现实(VR)和沉浸式世界近来已成为热门话题，并被许多人预见为2D平面视频的未来。基本想法是让观看者沉浸在他周围的环境中，与他只能观看面前的虚拟世界的标准TV相反。取决于环境中观看者的自由度，沉浸性有几个等级。有色点云是分发虚拟现实(或VR)世界的良好的格式候选。它们可以是静态的或动态的，并且通常具有平均尺寸，比如说一次不超过数百万个点。
在保持可接受(或优选地非常好)的体验质量的同时，能够以合理的位速率将动态点云分发给最终用户是至关重要的。这些动态有色点云的高效压缩是使沉浸式世界的分发链切实可行的关键。
在下文中，图片包含特定图片/视频格式的一个或几个样点(像素值)阵列，这些格式指定了例如与图片(或视频)的像素值相关的所有信息以及可以由显示器和/或任何其它设备用来可视化和/或解码图片(或视频)图片的所有信息。图片包括呈第一样点阵列的形状的至少一个分量，通常是亮度(或辉度(luminance))分量，并且可能包括呈至少另一个样点阵列的形状的至少一个其它分量，通常是颜色分量。或者，等效地，相同的信息也可以由颜色样点阵列的集合来表示，诸如传统的三色RGB表示。
基于图像的点云压缩技术由于其压缩效率和低复杂度的结合而变得越来越流行。它们分两个主要步骤进行：首先，它们将点云(即，3D点)投影(正交投影)到2D图像上。例如，至少一个深度图像表示点云的几何形状，即，3D空间中3D点的空间位置(坐标)，并且至少一个纹理图像表示与点云的3D点相关联的属性，例如，与那些3D点相关联的纹理/颜色信息。接下来，这些技术用老式视频编码器对此类深度和纹理图像进行编码。它们通过充分利用2D视频编码器的性能来达到良好的压缩性能，如HEVC(“ITU-T H.265 ITU的电信标准部分(Telecommunication standardization sector)(10/2014),H系列：视听和多媒体系统、视听服务的基础设施-运动视频编码、高效视频编码(audiovisual and multimediasystems,infrastructure of audiovisual services-coding of moving video,Highefficiency video coding),议案(Recommendation)ITU-T H.265”)，同时，它们通过使用简单的投影方案保持复杂性低。
基于图像的点云压缩技术的挑战之一是，点云可能不适合投影到图像上，尤其是当点分布沿着具有很多褶皱的表面(凹/凸区域，如衣服中)时或点分布根本不沿着表面(如在皮毛或头发中)时。在这些情况下，基于图像的点云压缩技术的压缩效率低(要求许多小的投影，从而降低了2D视频压缩的效率)或质量差(由于难以将点云投影到表面上)。
现有技术中用于减轻这个问题的方法之一在于将多个几何形状和纹理信息投影到图像的同一空间位置(像素)上。这意味着为点云的3D点生成几个深度和/或纹理图像。
例如，2017年10月，中国澳门，ISO/IEC JTC1/SC29/WG11/N17248(TMC2)中定义的点云编码器就是这种情况，其中两个深度图像(代表点云的几何形状)和两个纹理图像(代表点云的颜色/纹理)被编码。
高效地压缩通过将点云的点投影到投影平面上而获得的纹理图像是个问题。
发明内容
以下给出了本实施例的简化发明内容，以提供对本实施例某些方面的基本理解。本发明内容不是本实施例的广泛概述。它并不旨在识别本实施例的关键或重要元素。以下发明内容仅以简化形式给出了本实施例的一些方面，作为下面提供的更详细描述的序言。
本实施例涉及一种方法，该方法用于在比特流中生成和编码插值纹理编解码模式，该插值纹理编解码模式指示比特流包含代表纹理图像的颜色信息数据，并且必须在重构的点云中未根据所述颜色信息数据进行着色的点上进行纹理插值。
本实施例还涉及一种方法，该方法包括检查是否包含插值纹理编解码模式，该插值纹理编解码模式指示比特流包含代表纹理图像的颜色信息数据，并且必须在重构的点云中未根据所述颜色信息数据进行着色的点上进行纹理插值，从所述颜色信息数据重构第一纹理图像，并且将颜色指派给重构的点云上未根据所述颜色信息数据进行着色的点。
通过以下结合附图对示例的描述，本实施例的具体性质以及本实施例的其它目的、优点、特征和用途将变得显而易见。
附图说明
在附图中，图示了本实施例的示例。其示出：
图1示出了TMC2编码器的概图；
图2图示了与点云的点相关联的深度值；
图3示出了TMC2解码器的概图；
图4示出了解码后的纹理图像的示例；
图5示出了两个纹理图像之间的差异；
图6示出了在用于生成纹理的路径中提出的纹理编码的示例；
图7示出了在用于重构/解码点云的纹理的路径中提出的纹理解码的示例；以及
图8图示了其中实现各个方面和实施例的系统的示例的框图。
相似或相同的元件用相同的附图标记表示。
具体实施方式
在下文中将参考附图更全面地描述本实施例，在附图中示出了本实施例的示例。但是，本实施例可以以许多替代形式来实施，并且不应当被解释为限于本文阐述的示例。因而，虽然本实施例易于有各种修改和替代形式，但是其具体示例通过附图中的示例示出，并且将在本文中进行详细描述。但是，应当理解的是，无意将本实施例限于所公开的特定形式，相反，本公开将覆盖落入如权利要求定义的本实施例的精神和范围内的所有修改、等同形式和替代形式。
本文使用的术语仅出于描述特定示例的目的，而无意于限制本实施例。如本文所使用的，单数形式“一”、“一个”和“该”也意图包括复数形式，除非上下文另外明确指出。将进一步理解的是，当在本说明书中使用时，术语“包括(comprise)”、“含有(comprising)”、“组成(include)”和/或“包含(including)”指定所述特征、整数、步骤、操作、元素和/或组件的存在。但不排除一个或多个其它特征、整数、步骤、操作、元素、组件和/或其组的存在或添加。而且，当元件被称为“响应于”或“连接到”另一个元件时，它可以直接响应于或连接到另一个元件，或者可以存在中间元件。相反，当元件被称为“直接响应于”或“直接连接到”其它元件时，不存在中间元件。如本文所使用的，术语“和/或”包括相关联的所列项目中的一个或多个的任何和所有组合，并且可以缩写为“/””。
将理解的是，虽然本文可以使用术语第一、第二等来描述各种元素，但是这些元素不应受到这些术语的限制。这些术语仅用于区分一个元素与另一个元素。例如，在不脱离本实施例的教导的情况下，第一元素可以被称为第二元素，并且类似地，第二元素可以被称为第一元素。
虽然一些图在通信路径上包括箭头以示出通信的主要方向，但是应该理解的是，通信可以在与所描绘的箭头相反的方向上发生。
关于框图和操作流程图描述了一些示例，其中每个方框表示电路元件、模块或代码的部分，其包括用于实现(一个或多个)指定的逻辑功能的一个或多个可执行指令。还应当注意的是，在其它实施方式中，在方框中指出的(一个或多个)功能可以不按指出的次序发生。例如，取决于所涉及的功能，连续示出的两个方框实际上可以基本上并发地执行，或者有时可以以相反的次序执行。
本文中对“根据示例”或“在示例中”的引用是指结合示例描述的特定特征、结构或特点可以包括在本实施例的至少一个实施方式中。在说明书中各个地方出现的短语“根据示例”或“在示例中”不一定全部是指同一个示例，也不是必须与其它示例相互排斥的单独或替代示例。
出现在权利要求中的附图标记仅仅是说明性的，并且对权利要求的范围没有限制作用。
虽然没有明确描述，但是可以以任何组合或子组合来采用本示例和变体。
像素值由C值的向量表示，其中C是分量的数量。向量的每个值由多个位(bit)表示，这些位定义了像素值的最大动态范围。
图片的块是指属于这个图片的像素的集合，并且块的像素值是指属于这个块的像素的值。
现有技术中用于对点云进行编码的方法之一(用于类别2的MPEG3DG/PCC测试模型，称为TMC2)包括将多个几何形状和纹理信息投影到2D图像的相同位置(像素)上。这意味着输入点云生成几个2D几何形状和/或2D纹理图像。在TMC2(点云压缩上MPEG 3DG Ad Hoc的类别2测试模型)，输入点云对两个深度(用于几何形状)和颜色(用于纹理)图像进行编码。
图1示出了TMC2点云编码器。顶部的行(几何形状压缩)借助于深度图像对点云的几何形状信息进行编码。中间行(元数据压缩)对从深度图像重构原始点云的几何形状所需的元数据进行编码。底部的行(纹理压缩)借助于颜色图像对重构的几何形状的颜色信息进行编码。
如图1中所示，TMC2测试模型在投影平面的每个坐标上保留两个值：最小深度(depth0)和最大深度(depth1)。这样，它更好地捕获3D空间中的点的分布，但是以增加要编码的投影数据量为代价，如图2中所示。
关于纹理压缩，生成两个纹理图像。根据两个几何形状图像，编码器能够在3D空间中重构点云。然后，利用源点云进行3D颜色转移过程。根据以下标题为“颜色近似”的一节中介绍的算法，它为每个重构的点指派颜色。
在解码器侧，如图3中所示，TMC2对深度视频流和颜色视频流进行解码，并使用元数据重构点云：
Figure BDA0002969127910000061
占用图和博克(bock)到补片(patch)索引
Figure BDA0002969127910000062
修补元数据：x0、y0、z0坐标、投影轴、界定框
关于纹理解码，从源点云生成两个纹理图像：T0是包含源点的颜色的纹理图像，这些源点的颜色在颜色转移过程中与Depth0的重构的点云对应；T1对于Depth1图像是相同的。
在图4上，示例示出了解码后的纹理图像T0和T1。
我们观察到的是T0和T1彼此之间的距离不太远。这两个图像之间的差异在图5中示出。
即使视频编码器利用了这些图像不太远的事实，在位速率和处理时间方面也要付出代价。
本实施例涉及一种从T0纹理图像对T1纹理图像进行插值而不是如现有技术那样传输所述T1纹理图像的方法。
这导致在不传输纹理T1的情况下在位速率方面以及在编码和解码两者的计算复杂度方面获得收益。
根据本实施例，仅当颜色视频比特流指示必须应用纹理插值、并且在那种情况下颜色视频比特流还指示必须应用哪种模式时，才从T0对T1进行插值。
在编码器侧，生成至少一种插值纹理编解码模式。插值纹理编解码模式指示颜色视频比特流包含代表第一纹理图像的颜色信息数据，并且必须在重构的点云中未根据所述颜色信息数据进行着色的点上进行纹理插值。当尚未从所述颜色信息数据为其分配颜色时，该点被视为未着色。
在变体中，所述插值纹理编解码模式还可以指示要使用哪个插值过程。
图6示出了在用于生成纹理的路径中提出的纹理编码的示例。
在解码器侧，如果颜色视频流包含插值纹理编解码模式，该插值纹理编解码模式指示颜色视频比特流包含代表第一纹理图像的颜色信息数据，并且必须在重构的点云中未根据所述颜色信息数据进行着色的点上进行纹理插值，从所述颜色信息数据重构第一纹理图像，并且将颜色指派给重构的点云上未根据所述颜色信息数据进行着色的点，如图7上所示。
在变体中，所述插值纹理编解码模式还可以指示要使用哪个插值过程。
根据第一实施例，所述插值纹理编解码模式指示插值过程使用TMC2的颜色转移算法(参见9.1)。
根据第一实施例，所述插值纹理编解码模式指示插值过程如下：
令：
ο
Figure BDA0002969127910000071
是纹理重构之后的重构的点云(使用解码的T0和
οpi是
Figure BDA0002969127910000072
中没有指派颜色的点
οt0i是
Figure BDA0002969127910000073
中由于重构的纹理图像T0而成为具有指派的颜色的点
对于每个点pi，取N个最接近的邻居t0i(N的典型值为5)并对每个邻居应用：
如果(Dist(pi)-Dist(t0i))＜阈值，那么Color(pi)＝Color(t0i)
否则，
Figure BDA0002969127910000074
其中
Figure BDA0002969127910000081
threshold的典型值为0.001。
颜色视频比特流中的元数据指示是否必须执行插值纹理过程以重构纹理图像，即，指示颜色视频比特流包含代表第一纹理图像的颜色信息数据，并且必须在重构的点云中未根据所述颜色信息数据进行着色的点上进行纹理插值。
在变体中，所述插值纹理编解码模式还可指示要使用哪个插值过程。
令itcm为指示要应用哪个插值过程的插值纹理模式。
这些值可以通过图像、帧或通过帧的组根据编码器的决策过程进行编解码。
itcm模式元数据的示例
第一个示例可以是将插值纹理编解码模式编解码为标志(开/关)以激活和停用纹理插值过程：
-关：每帧2个纹理图像，无纹理插值
-开：每帧1个纹理图像，纹理插值
另一个示例可以是将插值纹理编解码模式编解码为整数，并定义几个插值过程。
表1 ReadArithmetic()函数
Figure BDA0002969127910000082
Figure BDA0002969127910000091
HEVC中的SEI消息中的itcm的示例
语法 描述符
itcm_info(payloadSize){
itcm_mode u(8)
}
itcm_mode包含用于识别插值纹理编解码模式的识别号。当itcm_mode等于0时，意味着depth 1的纹理未被插值，并且必须像TMC2中那样对纹理1进行解码。
itcm_mode也可以在SPS或PPS消息中。
在图1-7上，模块是功能单元，其可以与可区分的物理单元相关或不相关。例如，这些模块或其中一些模块可以集成在一个独特的组件或电路中，或者有助于软件的功能。相反，一些模块可以潜在地由分离的物理实体组成。或者使用纯硬件，例如使用专用硬件(诸如ASIC或FPGA或VLSI，分别代表“专用集成电路”、“现场可编程门阵列”、“超大规模集成”)，或者从嵌入在设备中的多个集成电子组件或者从硬件和软件组件的混合来实现与本实施例兼容的装置。
图8图示了其中实现了各个方面和实施例的系统的示例的框图。系统8000可以被实施为包括以下描述的各种组件的设备，并且被配置为执行本申请中描述的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收器、个人视频记录系统、连接的家用电器，以及服务器。系统8000的元件可以单独或组合地在单个集成电路、多个IC和/或分立组件中实施。例如，在至少一个实施例中，系统8000的处理和编码器/解码器元件分布在多个IC和/或分立组件上。在各种实施例中，系统8000经由例如通信总线或通过专用输入和/或输出端口可通信地耦合到其它类似的系统或其它电子设备。在各种实施例中，系统8000被配置为实现本文档中描述的一个或多个方面。
系统8000包括至少一个处理器8010，其被配置为执行其中加载的指令，以实现例如本文档中描述的各个方面。处理器8010可以包括嵌入式存储器、输入输出接口和本领域已知的各种其它电路。系统8000包括至少一个存储器8020(例如，易失性存储设备和/或非易失性存储设备)。系统8000包括存储设备8040，其可以包括非易失性存储器和/或易失性存储器，包括但不限于EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备8040可以包括内部存储设备、附接的存储设备和/或网络可访问的存储设备。
系统8000包括编码器/解码器模块8030，其被配置为例如处理数据以提供编码的视频或解码的视频，并且编码器/解码器模块8030可以包括其自己的处理器和存储器。编码器/解码器模块8030表示可以被包括在设备中以执行编码和/或解码功能的(一个或多个)模块。如已知的，设备可以包括编码和解码模块之一或两者。此外，编码器/解码器模块8030可以被实现为系统8000的单独元件，或者作为硬件和软件的组合被结合到处理器8010内，如本领域技术人员已知的。
可以将要加载到处理器8010或编码器/解码器8030上以执行本文档中描述的各个方面的程序代码存储在存储设备8040中，然后加载到存储器8020上以供处理器8010执行。根据各种实施例，在执行本文档中描述的过程期间，处理器8010、存储器8020、存储设备8040和编码器/解码器模块8030中的一个或多个可以存储各种项目中的一个或多个。这样存储的项目可以包括但不限于输入视频、解码的视频、点云或解码的视频的一部分、比特流、重构的点云、矩阵、变量，以及方程、公式、运算和运算逻辑的处理的中间或最终结果。
在几个实施例中，处理器8010和/或编码器/解码器模块8030内部的存储器被用于存储指令并为编码或解码期间所需的处理提供工作存储器。
但是，在其它实施例中，处理设备外部的存储器(例如，处理设备可以是或者处理器8010或者编码器/解码器模块8030)被用于这些功能中的一个或多个。外部存储器可以是存储器8020和/或存储设备8040，例如，动态易失性存储器和/或非易失性闪存。在几个实施例中，外部非易失性闪存被用于存储电视的操作系统。在至少一个实施例中，快速外部动态易失性存储器(诸如RAM)被用作用于视频编解码和解码操作(诸如用于MPEG-2、HEVC、VVC(通用视频编码)或TMC2)的工作存储器。
如方框8130中所指示的，可以通过各种输入设备来提供对系统8000的元件的输入。此类输入设备包括但不限于(i)接收例如由广播公司通过空中传输的RF信号的RF部分，(ii)复合输入端子，(iii)USB输入端子，和/或(iv)HDMI输入端子。
在各种实施例中，方框8130的输入设备具有相关联的相应输入处理元件，如本领域中已知的。例如，RF部分可以与对于以下操作必要的元件相关联：(i)选择期望的频率(也称为选择信号，或将信号频带限制在一个频带内)，(ii)下变频所选择的信号，(iii)再次频带限制到更窄的频带，以选择(例如)在某些实施例中可以被称为信道的信号频带，(iv)解调下变频和频带受限的信号，(v)执行纠错，以及(vi)解复用以选择期望的数据分组流。各种实施例的RF部分包括执行这些功能的一个或多个元件，例如，频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可以包括执行各种这些功能的调谐器，包括例如将接收到的信号下变频到更低的频率(例如，中频或近基带频率)或基带。
在一个机顶盒实施例中，RF部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质传输的RF信号，并通过滤波、下变频和再次滤波到期望的频带来执行频率选择。
各种实施例重新布置上述(和其它)元件的次序、移除这些元件中的一些，和/或添加执行类似或不同功能的其它元件。
添加元件可以包括在现有元件之间插入元件，诸如，例如，插入放大器和模数转换器。在各种实施例中，RF部分包括天线。
此外，USB和/或HDMI端子可以包括相应的接口处理器，用于跨USB和/或HDMI连接将系统8000连接到其它电子设备。应该理解的是，输入处理的各个方面，例如Reed-Solomon纠错，可以根据需要例如在分离的输入处理IC内或在处理器8010内实现。类似地，USB或HDMI接口处理的各方面可以根据需要在分离的接口IC内或处理器8010内实现。经解调、纠错和解复用的流被提供给各种处理元件，包括例如处理器8010、编码器/解码器8030，其与存储器和存储元件结合操作以根据需要对数据流进行处理以在输出设备上呈现。
可以在集成壳体内提供系统8000的各种元件。在集成壳体内，各种元件可以使用合适的连接布置(例如，本领域已知的内部总线，包括I2C总线、布线和印刷电路板)互连，并在它们之间传输数据。
系统8000包括通信接口8050，其使得能够经由通信信道8060与其它设备通信。通信接口8050可以包括但不限于被配置为在通信信道8060上传输和接收数据的收发器。通信接口8050可以包括但不限于调制解调器或网卡，并且通信信道8060可以例如在有线和/或无线介质内实现。
在各种实施例中，使用诸如IEEE 802.11之类的Wi-Fi网络将数据流式传输到系统8000。这些实施例的Wi-Fi信号在适于Wi-Fi通信的通信信道8060和通信接口8050上被接收。这些实施例的通信信道8060通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的接入，以允许流式传输应用和其它空中通信。
其它实施例使用机顶盒将流式传输的数据提供给系统8000，该机顶盒通过输入块8130的HDMI连接来递送数据。
还有其它实施例使用输入块8130的RF连接将流式传输的数据提供给系统8000。
系统8000可以将输出信号提供给各种输出设备，包括显示器8100、扬声器8110和其它外围设备8120。在实施例的各种示例中，其它外围设备8120包括独立DVR、盘播放器、立体声系统、照明系统以及基于系统8000的输出提供功能的其它设备中的一个或多个。
在各种实施例中，控制信号使用诸如AV.Link、CEC或启用设备到设备控制的其它通信协议之类的信令在系统8000和显示器8100、扬声器8110或其它外围设备8120之间通信，有或没有用户干预。
输出设备可以经由专用连接通过相应的接口8070、8080和8090通信耦合到系统8000。
可替代地，可以经由通信接口8050使用通信信道8060将输出设备连接到系统8000。显示器8100和扬声器8110可以与系统8000的其它组件集成在诸如例如电视之类的电子设备中的单个单元中。
在各种实施例中，显示接口8070包括显示驱动器，诸如例如时序控制器(T Con)芯片。
例如，如果输入8130的RF部分是分离的机顶盒的一部分，那么显示器8100和扬声器8110可以可替代地与一个或多个其它组件分开。在其中显示器8100和扬声器8110是外部组件的各种实施例中，可以经由专用的输出连接(包括例如HDMI端口、USB端口或COMP输出)来提供输出信号。
本文描述的各种处理和特征的实施方式可以在各种不同的装备或应用中实施。这种装备的示例包括编码器、解码器、处理来自解码器的输出的后处理器、将输入提供给编码器的预处理器、视频编码器、视频解码器、视频编解码器、web服务器、机顶盒、膝上型计算机、个人计算机、蜂窝电话、PDA，以及用于处理图片或视频的任何其它设备或者其它通信设备。应当清楚的是，装备可以是移动的，甚至可以安装在移动车辆中。
此外，可以通过由处理器执行的指令来实现方法，并且可以将这样的指令(和/或由实施方式产生的数据值)存储在计算机可读存储介质上。计算机可读存储介质可以采取实施在一个或多个计算机可读介质中并且具有在其上实施的可由计算机执行的计算机可读程序代码的计算机可读程序产品的形式。给定在其中存储信息的固有能力以及提供从中检索信息的固有能力，如本文使用的计算机可读存储介质被认为是非暂时存储介质。计算机可读存储介质可以是例如但不限于电子、磁、光学、电磁、红外或半导体系统、装置或设备，或前述的任意合适组合。应该认识到的是，以下内容虽然提供了可以对其应用本实施例的计算机可读存储介质的更多具体示例，但仅仅是说明性列表，而不是详尽列表，如本领域普通技术人员容易认识到的：便携式计算机软盘；硬盘；只读存储器(ROM)；可擦可编程只读存储器(EPROM或闪存)；便携式光盘只读存储器(CD-ROM)；光学存储设备；磁存储设备；或上述内容的任意合适组合。
指令可以形成有形地实施在处理器可读介质上的应用。
指令可以是例如硬件、固件、软件或其组合。指令可以在例如操作系统、单独的应用或两者的组合中找到。因此，处理器的特征可以在于例如被配置为执行处理的设备和包括具有用于执行处理的指令的处理器可读介质(诸如存储设备)的设备。另外，除了或代替指令，处理器可读介质还可以存储由实施方式产生的数据值。
对于本领域技术人员将显而易见的是，实施方式可以产生各种信号，这些信号被格式化以携带例如可以被存储或传输的信息。信息可以包括例如用于执行方法的指令或由所描述的实施方式之一产生的数据。例如，信号可以被格式化为携带用于写入或读取本实施例的所述示例的语法的规则作为数据，或者携带由本实施例的所述示例写入的实际语法值作为数据。这种信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码并且利用编码的数据流来调制载波。信号携带的信息可以是例如模拟或数字信息。如已知的，信号可以通过各种不同的有线或无线链路传输。信号可以存储在处理器可读介质上。
已经描述了许多实施方式。不过，将理解的是，可以进行各种修改。例如，不同实施方式的元素可以被组合、补充、修改或移除以产生其它实施方式。此外，本领域普通技术人员将理解的是，可以用其它结构和处理代替所公开的结构和处理，并且结果产生的实施方式将以至少基本上相同的(一种或多种)方式执行至少基本上相同的(一个或多个)功能，以实现至少与所公开的实施方式基本上相同的(一个或多个)结果。因而，本申请考虑这些和其它实施方式。

Claims (17)

1.一种用于在比特流中生成和编码插值纹理编解码模式的方法，所述插值纹理编解码模式指示所述比特流包含代表纹理图像的颜色信息，点云的至少一个点根据所述颜色信息被着色，并且必须对所述点云上未根据所述颜色信息进行着色的至少另一个点执行纹理插值。
2.一种方法，包括检查比特流是否包含插值纹理编解码模式，所述插值纹理编解码模式指示所述比特流包含代表纹理图像的颜色信息，点云的至少一个点根据所述颜色信息被着色，并且必须对所述点云上未根据所述颜色信息进行着色的至少另一个点进行纹理插值。
3.如权利要求2所述的方法，其中所述方法还包括：根据所述纹理图像对所述点云的至少一个点进行着色，并且向所述点云上未根据所述颜色信息进行着色的至少一个点指派颜色，所述颜色是从所述纹理插值编解码模式导出的。
4.如权利要求1-3所述的方法，其中所述插值纹理编解码模式指示要使用哪个纹理插值。
5.如权利要求4所述的方法，其中所述插值纹理编解码模式指示用于对所述点云的点进行着色的纹理插值是所述点云的点的已着色的邻居点的函数。
6.如权利要求1-4所述的方法，其中所述方法还包括传输所述插值纹理编解码模式。
7.如权利要求6所述的方法，其中所述插值纹理编解码模式作为图像或元数据被传输。
8.一种携带比特流的信号，所述比特流包括插值纹理编解码模式，所述插值纹理编解码模式指示所述比特流包含代表纹理图像的颜色信息，点云的至少一个点根据所述颜色信息被着色，并且必须对所述点云上未根据所述颜色信息进行着色的至少另一个点执行纹理插值。
9.一种包括指令的计算机程序产品，当程序由一个或多个处理器执行时，所述指令使所述一个或多个处理器执行一种方法，所述方法包括：检查比特流是否包含插值纹理编解码模式，所述插值纹理编解码模式指示所述比特流包含代表纹理图像的颜色信息，点云的至少一个点根据所述颜色信息被着色，并且必须对所述点云上未根据所述颜色信息进行着色的至少另一个点执行纹理插值。
10.一种非暂时性计算机可读介质，包括用于使一个或多个处理器执行以下操作的指令：检查比特流是否包含插值纹理编解码模式，所述插值纹理编解码模式指示所述比特流包含代表纹理图像的颜色信息，点云的至少一个点根据所述颜色信息被着色，并且必须对所述点云上未根据所述颜色信息进行着色的至少另一个点执行纹理插值。
11.一种计算机可读介质，包括用于使一个或多个处理器执行以下操作的指令：在比特流中生成和编码插值纹理编解码模式，所述插值纹理编解码模式指示所述比特流包含代表纹理图像的颜色信息，点云的至少一个点根据所述颜色信息被着色，并且必须对所述点云上未根据所述颜色信息进行着色的至少另一个点执行纹理插值。
12.一种非暂时性计算机可读介质，包括比特流，所述比特流包括插值纹理编解码模式，所述插值纹理编解码模式指示所述比特流包含代表纹理图像的颜色信息，点云的至少一个点根据所述颜色信息被着色，并且必须对所述点云上未根据所述颜色信息进行着色的至少另一个点执行纹理插值。
13.一种设备，包括至少一个处理器，所述至少一个处理器被配置为：在比特流中生成和编码插值纹理编解码模式，所述插值纹理编解码模式指示所述比特流包含代表纹理图像的颜色信息，点云的至少一个点根据所述颜色信息被着色，并且必须对所述点云上未根据所述颜色信息进行着色的至少另一个点执行纹理插值。
14.一种设备，包括至少一个处理器，所述至少一个处理器被配置为：检查比特流是否包含插值纹理编解码模式，所述插值纹理编解码模式指示所述比特流包含代表纹理图像的颜色信息，点云的至少一个点根据所述颜色信息被着色，并且必须对所述点云上未根据所述颜色信息进行着色的至少另一个点执行纹理插值。
15.一种设备，包括：
-访问单元，被配置为访问包括比特流的数据，所述比特流包括插值纹理编解码模式，所述插值纹理编解码模式指示所述比特流包含代表纹理图像的颜色信息，点云的至少一个点根据所述颜色信息被着色，并且必须对所述点云上未根据所述颜色信息进行着色的至少另一个点执行纹理插值；以及
-发送器，被配置为传输包括插值纹理编解码模式的数据，所述插值纹理编解码模式指示所述比特流包含代表纹理图像的颜色信息，点云的至少一个点根据所述颜色信息被着色，并且必须对所述点云上未根据所述颜色信息进行着色的至少另一个点执行纹理插值。
16.一种方法，包括：
-访问包括比特流的数据，所述比特流包括插值纹理编解码模式，所述插值纹理编解码模式指示所述比特流包含代表纹理图像的颜色信息，点云的至少一个点根据所述颜色信息被着色，并且必须对所述点云上未根据所述颜色信息进行着色的至少另一个点执行纹理插值；以及
-传输包括插值纹理编解码模式的数据，所述插值纹理编解码模式指示所述比特流包含代表纹理图像的颜色信息，点云的至少一个点根据所述颜色信息被着色，并且必须对所述点云上未根据所述颜色信息进行着色的至少另一个点执行纹理插值。
17.一种非暂时性计算机可读介质，包括用于使一个或多个处理器执行以下操作的指令：
-访问包括比特流的数据，所述比特流包括插值纹理编解码模式，所述插值纹理编解码模式指示所述比特流包含代表纹理图像的颜色信息，点云的至少一个点根据所述颜色信息被着色，并且必须对所述点云上未根据所述颜色信息进行着色的至少另一个点执行纹理插值；以及
-传输包括插值纹理编解码模式的数据，所述插值纹理编解码模式指示所述比特流包含代表纹理图像的颜色信息，点云的至少一个点根据所述颜色信息被着色，并且必须对所述点云上未根据所述颜色信息进行着色的至少另一个点执行纹理插值。
CN201980059057.XA 2018-07-11 2019-07-11 对点云的点的纹理进行编码/解码的方法 Pending CN112673399A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18305936.9 2018-07-11
EP18305936 2018-07-11
PCT/US2019/041281 WO2020014408A1 (en) 2018-07-11 2019-07-11 Method for encoding/decoding texture of points of a point cloud

Publications (1)

Publication Number Publication Date
CN112673399A true CN112673399A (zh) 2021-04-16

Family

ID=63047292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980059057.XA Pending CN112673399A (zh) 2018-07-11 2019-07-11 对点云的点的纹理进行编码/解码的方法

Country Status (9)

Country Link
US (1) US11533505B2 (zh)
EP (1) EP3821400A1 (zh)
JP (1) JP7351858B2 (zh)
KR (1) KR20210031456A (zh)
CN (1) CN112673399A (zh)
CA (1) CA3106158A1 (zh)
SG (1) SG11202011678XA (zh)
WO (1) WO2020014408A1 (zh)
ZA (1) ZA202007683B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020014011A1 (en) 2018-07-11 2020-01-16 Interdigital Vc Holdings, Inc. A method and device for encoding/decoding the geometry of a point cloud.
KR102540770B1 (ko) 2020-06-30 2023-06-12 한국전자통신연구원 3차원 포인트 클라우드의 점유 지도 압축 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2774874B2 (ja) * 1992-08-26 1998-07-09 株式会社ナムコ 画像合成装置及び画像合成方法
US20040101045A1 (en) * 2002-11-22 2004-05-27 Keman Yu System and method for low bit rate watercolor video
US20080002896A1 (en) * 2006-06-29 2008-01-03 Microsoft Corporation Strategies For Lossy Compression Of Textures
US20080123972A1 (en) * 2005-09-20 2008-05-29 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US20130307931A1 (en) * 2011-01-24 2013-11-21 Michael Bronstein Method and System for Acquisition, Representation, Compression, and Transmission of Three-Dimensional Data
US20150213572A1 (en) * 2014-01-24 2015-07-30 Here Global B.V. Methods, apparatuses and computer program products for three dimensional segmentation and textured modeling of photogrammetry surface meshes
WO2015177123A1 (en) * 2014-05-20 2015-11-26 Thomson Licensing Method and device for encoding a frame and/or decoding a bitstream representing a frame
US20160140689A1 (en) * 2014-11-13 2016-05-19 Nvidia Corporation Supersampling for spatially distributed and disjoined large-scale data

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9300841B2 (en) 2012-06-25 2016-03-29 Yoldas Askan Method of generating a smooth image from point cloud data
EP3249921A1 (en) 2016-05-24 2017-11-29 Thomson Licensing Method, apparatus and stream for immersive video format
CN108242064B (zh) 2016-12-27 2020-06-02 合肥美亚光电技术股份有限公司 基于面阵结构光系统的三维重建方法及系统
US11514613B2 (en) 2017-03-16 2022-11-29 Samsung Electronics Co., Ltd. Point cloud and mesh compression using image/video codecs
US10909725B2 (en) * 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
TWI815842B (zh) * 2018-01-16 2023-09-21 日商索尼股份有限公司 影像處理裝置及方法
US11900639B2 (en) 2018-01-19 2024-02-13 Interdigital Vc Holdings, Inc. Processing a point cloud
EP3554082A1 (en) 2018-04-11 2019-10-16 InterDigital VC Holdings, Inc. A method and device for coding the geometry of a point cloud
US11095908B2 (en) * 2018-07-09 2021-08-17 Samsung Electronics Co., Ltd. Point cloud compression using interpolation

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2774874B2 (ja) * 1992-08-26 1998-07-09 株式会社ナムコ 画像合成装置及び画像合成方法
US20040101045A1 (en) * 2002-11-22 2004-05-27 Keman Yu System and method for low bit rate watercolor video
US20080123972A1 (en) * 2005-09-20 2008-05-29 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US20080002896A1 (en) * 2006-06-29 2008-01-03 Microsoft Corporation Strategies For Lossy Compression Of Textures
US20130307931A1 (en) * 2011-01-24 2013-11-21 Michael Bronstein Method and System for Acquisition, Representation, Compression, and Transmission of Three-Dimensional Data
US20150213572A1 (en) * 2014-01-24 2015-07-30 Here Global B.V. Methods, apparatuses and computer program products for three dimensional segmentation and textured modeling of photogrammetry surface meshes
WO2015177123A1 (en) * 2014-05-20 2015-11-26 Thomson Licensing Method and device for encoding a frame and/or decoding a bitstream representing a frame
US20160140689A1 (en) * 2014-11-13 2016-05-19 Nvidia Corporation Supersampling for spatially distributed and disjoined large-scale data

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JOSEPH YIU: "ARM Cortex-M3 权威指南", 31 July 2009, 北京航空航天大学出版社, pages: 65 - 66 *
SEBASTIAN SCHWARZ (NOKIA) ET AL: "Removal of second layer coding for PCC TMC2v1", 122. MPEG MEETING, pages 1 - 7 *
余建明 等: "CR、DR成像技术学", 30 September 2009, 中国医药科技出版社, pages: 765 - 766 *
刘欣;周佳睦;王海婴;: "基于感兴趣区域的航拍视频压缩编码技术综述", 电视技术, no. 05, pages 125 - 131 *

Also Published As

Publication number Publication date
WO2020014408A1 (en) 2020-01-16
US11533505B2 (en) 2022-12-20
JP2021531542A (ja) 2021-11-18
ZA202007683B (en) 2023-04-26
KR20210031456A (ko) 2021-03-19
US20210274219A1 (en) 2021-09-02
JP7351858B2 (ja) 2023-09-27
WO2020014408A9 (en) 2021-02-04
SG11202011678XA (en) 2020-12-30
CA3106158A1 (en) 2020-01-16
EP3821400A1 (en) 2021-05-19

Similar Documents

Publication Publication Date Title
US20240169597A1 (en) Method and device for encoding/reconstructing attributes of points of a point cloud
JP2024026293A (ja) 点群処理
KR102660951B1 (ko) 포인트 클라우드의 지오메트리를 인코딩/디코딩하기 위한 방법 및 디바이스
CN110915219A (zh) 用于对几何形状由基于八叉树的结构表示的有色点云的颜色进行编码/解码的方法和装置
CN111417985A (zh) 用于编码/解码表示3d对象的点云的几何形状的方法和设备
WO2019070830A1 (en) METHOD AND APPARATUS FOR ENCODING / DECODING THE COLORS OF A POINT CLOUD REPRESENTING A 3D OBJECT
CN112673399A (zh) 对点云的点的纹理进行编码/解码的方法
JP2022527883A (ja) 点群の欠落した点の処理
EP3594904A1 (en) A method and device for encoding/decoding the geometry of a point cloud
US11895301B2 (en) Encoding and decoding a point cloud using patches for in-between samples
US20220005231A1 (en) A method and device for encoding / reconstructing 3d points
CN114556432A (zh) 处理点云
US20210272323A1 (en) Processing a point cloud
JP2024073431A (ja) 点群のジオメトリを符号化／復号する方法及び装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination