CN117981325A - 编码/解码由至少一个传感器感测的点云几何数据的方法和装置 - Google Patents

编码/解码由至少一个传感器感测的点云几何数据的方法和装置 Download PDF

Info

Publication number
CN117981325A
CN117981325A CN202280064149.9A CN202280064149A CN117981325A CN 117981325 A CN117981325 A CN 117981325A CN 202280064149 A CN202280064149 A CN 202280064149A CN 117981325 A CN117981325 A CN 117981325A
Authority
CN
China
Prior art keywords
radius
point
coarse
sensor
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280064149.9A
Other languages
English (en)
Inventor
塞巴斯蒂安·拉瑟利
乔纳森·塔奎特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Publication of CN117981325A publication Critical patent/CN117981325A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/001Model-based coding, e.g. wire frame
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Image Processing (AREA)

Abstract

提供编码/解码与传感器索引相关联的至少一个传感器感测的点云几何数据的方法和装置,所述点云几何数据由占用二维空间的一组离散位置的某些离散位置的有序粗略点表示。方法包括:对于具有第一传感器索引(λ1)并与第一半径(r1)相关联的第一占用粗略点(P1),从与至少一个第二占用粗略点(P2)相关联的至少一个第二半径(r2)以及与至少一个第三占用粗略点(P3)相关联的至少一个第三半径(r3)中选择(110)所选预测半径(rpred),将指示所选预测半径(rpred)是等于第二半径(r2)还是等于第三半径(r3)的数据(Ipred)编码(120)到比特流中。

Description

编码/解码由至少一个传感器感测的点云几何数据的方法和 装置
技术领域
本申请一般涉及点云压缩,并且特别地涉及对由至少一个传感器感测的点云几何数据进行编码/解码方法和装置。
背景技术
本节旨在向读者介绍领域的各个方面,这些方面可以与下面描述和/或要求的本申请的至少一个示例性实施例的各个方面有关。此讨论被认为有助于为读者提供背景信息,以促进更好地理解本申请的各个方面。
作为表示3D数据的格式,点云最近受到了关注,因为它们在表示所有类型的物理对象或场景方面具有广泛的能力。点云可用于各种目的,诸如文化遗产/建筑物,其中以3D方式扫描诸如雕像或建筑物的对象,以便在不发送或不访问对象的情况下共享对象的空间配置。此外,它也是一种确保保存对象的知识的方法,以防它可能被破坏;例如,被地震破坏的寺庙。这种点云通常是静态的、彩色的和巨大的。
另一个用例是在地形学和制图学中,其中使用3D表示允许地图不限于平面,并且可以包括浮雕。谷歌地图现在是3D地图的一个很好的示例,但使用网格而不是点云。然而,点云可以是一种适合3D地图的数据格式,并且这种点云通常是静态的、彩色的和巨大的。
虚拟现实(VR)、增强现实(AR)和沉浸式世界最近成为热门话题,被许多人预见为2D平面视频的未来。它的基本理念是让观众沉浸在周围的环境中,而标准电视只允许观众看到他/她面前的虚拟世界。根据观众在环境中的自由度,沉浸感有几个层次。点云是分布VR/AR世界的良好格式候选。
汽车行业,特别是可预见的自主驾驶汽车,也是点云可被密集使用的领域。自主驾驶汽车应该能够“探测”其环境,基于检测到的它们紧邻对象的存在和性质以及道路配置做出良好的驾驶决策。
点云是位于三维(3D)空间中的一组点,可选地为每个点附加额外的值。这些额外的值通常称为属性。属性可以是,例如三分量颜色、材料特性,如反射率和/或与点相关联的表面的两分量法向量。
因此,点云是几何数据(3D空间中点的位置通常用3D笛卡尔坐标x,y和z表示)和属性的组合。
点云可以被各种类型的设备感测,如相机的阵列、深度传感器、激光器(光探测和测距,也称为激光雷达)、雷达,也可以由计算机生成(例如在电影后期制作中)。取决于用例,点云可以具有数千到数十亿个点,用于制图应用。点云的原始表示要求每个点的比特数非常多,每个笛卡尔坐标x、y或z至少有12个比特,并且可选地为更多的比特用于(一个或多个)属性,例如3乘以10个比特用于颜色。
在许多应用中,重要的是能够通过只消耗合理的比特率或存储空间将点云分发给终端用户或将它们存储在服务器中,同时保持可接受的(或优选地非常好的)体验质量。为了使许多沉浸式世界的分发链实用,有效地压缩这些点云是关键点。
对于分发给终端用户和由终端用户可视化,例如在AR/VR眼镜或任何其他支持3D的设备上,压缩可能是有损的(如视频压缩)。其他用例确实需要无损压缩,如医疗应用或自主驾驶,以避免改变从压缩和传输的点云的后续分析中获得的决策结果。
直到最近,点云压缩(又名PCC)还没有被大众市场解决,也没有标准化的点云编解码器可用。2017年,标准化工作组ISO/JCT1/SC29/WG11,又名运动图像专家组或MPEG,启动了点云压缩的工作项目。这导致了两个标准,即
·MPEG-I第5部分(ISO/IEC23090-5)或基于视频的点云压缩(又名V-PCC);
·MPEG-I第9部分(ISO/IEC23090-9)或基于几何的点云压缩(又名G-PCC)
V-PCC编码方法通过对3D对象进行多次投影来压缩点云,以获得打包成图像(或在处理动态点云时为视频)的2D块。然后使用现有的图像/视频编解码器对获得的图像或视频进行压缩,从而允许充分利用已经部署的图像和视频解决方案。就其本质而言,V-PCC仅在密集和连续的点云上是有效率的,因为图像/视频编解码器无法压缩非平滑的块,如从激光雷达感测的稀疏几何数据的投影中获得的非平滑的块。
G-PCC编码方法对感测到的稀疏几何数据的压缩有两种方案。
第一种方案基于占用树,局部可以是八叉树、四叉树或二叉树中的任何类型的树,表示点云几何形状。被占用的节点(即与包括点云中至少一个点的立方体/长方体相关联的节点)被分割,直到达到一定的大小,并且被占用的叶节点提供点的3D位置,通常在这些节点的中心。占用信息由占用数据(二进制数据,标志)携带,占用数据发信号通知节点的每个子节点的占用状态。通过使用基于邻居的预测技术,可以获得密集点云的占用数据的高水平压缩。稀疏点云也可以通过直接编码非最小尺寸的节点内的点的位置来处理,当节点内仅存在孤立点时停止树构造;此技术被称为直接编码模式(DCM)。
第二种方案基于预测树,其中每个节点表示一个点的3D位置,并且节点之间的父/子关系表示从父节点到子节点的空间预测。此方法只能处理稀疏点云数据,并提供与占用树相比延迟更低、解码更简单的优点。然而,与第一种基于占用的方法相比,压缩性能仅稍微好一点,而且编码也是复杂的,因为在构造预测树时,编码器必须(在潜在预测器的长列表中)密集地寻找最佳预测器。
在这两种方案中,属性(解)编码都是在完成几何(解)编码之后进行的,实际上导致了两遍编码。因此,联合几何/属性低延迟是通过使用将3D空间分解为独立编码的子体积的切片获得的,而无需在子体积之间进行预测。当使用多个切片时,这可能会严重影响压缩性能。
将对编码器和解码器的简单性、低延迟和压缩性能的要求结合在一起仍然是现有的点云编解码器尚未令人满意地解决的问题。
重要的用例是传输由安装在移动车辆上的至少一个传感器感测到的稀疏几何数据。这通常需要简单且低延迟的装载编码器。要求简单性,因为编码器很可能部署在并行执行其他处理(诸如(半)自主驾驶)的计算单元上,从而限制了点云编码器可用的处理能力。还要求低延迟以允许从汽车到云端的快速传输,以便基于多辆车辆采集实时查看本地交通,并基于交通信息采取足够快的决策。虽然使用5G可以使传输延迟足够低,但编码器本身不应因为编码而引入太多延迟。此外,压缩性能非常重要,因为从数百万辆汽车到云端的数据流预计将非常庞大。
G-PCC中已经利用了与旋转激光雷达感测的稀疏几何数据相关的特定先验,并已经导致了非常显著的压缩增益。
首先,G-PCC利用来自旋转激光雷达头10的感测的仰角(相对于水平地面),如图1和图2所示。激光雷达头10包括一组传感器11(例如激光器),这里示出有5个传感器。旋转激光雷达头10可以围绕竖直轴z旋转,以感测物理对象的几何数据。激光雷达感测到的几何数据用球坐标(r3D,φ,θ)表示,其中r3D是点P到激光雷达头的中心的距离,φ是激光雷达头相对于参考物旋转的方位角,以及θ是旋转激光雷达头10的传感器k相对于水平参考平面的仰角。
已经在激光雷达感测的数据上观察到沿方位角的规律性分布,如图3所示。此规律用于G-PCC中以获得点云的准1D表示,其中,直到噪音,只有半径r3D属于连续的值范围,而角度φ和θ只取离散数量的值,至I-1,其中I是用于点的感测的方位角度的数量,以及/>其中J是旋转激光雷达头10的传感器的数量。基本上,G-PCC表示二维(离散)角坐标空间(φ,θ)上的激光雷达感测的稀疏几何数据,如图3所示,以及每个点的半径值r3D
通过在球坐标空间中,使用角度的离散性质基于已经编码的点来预测当前点的位置,在G-PCC中在占用树和预测树两者中都利用了这种准1D性质,。
更准确地说,占用树密集地使用DCM,并且通过使用上下文自适应熵编码器对节点内的点的直接位置进行熵编码。然后,从点位置到角坐标(φ,θ)的局部转换以及这些角坐标相对于从先前编码的点获得的离散角坐标(θij)的位置获得上下文。使用此角坐标空间的准1D性质(r2Dij),预测树直接编码角坐标(r2D,φ,θ)中的点位置的第一版本,其中r2D是水平xy平面上的投影半径,如图4所示。然后,球坐标(r2D,φ,θ)转换为3D笛卡尔坐标(x,y,z),并编码xyz残差来解决坐标转换的误差,仰角和方位角的近似以及潜在的噪声。
G-PCC确实使用角度先验更好地压缩旋转激光雷达感测的稀疏几何数据,但没有使编码结构适应感测顺序。根据其本质,占用树必须在输出点之前编码到它的最后深度。此占用数据是根据所谓的广度优先顺序编码的:首先对根节点的占用数据进行编码,指示它的被占用子节点;然后对每个被占用子节点的占用数据进行编码,指示被占用子孙节点;并且依此类推,在树的深度上迭代,直到可以确定叶节点,并将对应点提供/输出到应用或(一个或多个)属性编码方案。关于预测树,编码器可以自由选择树中的点的顺序,但为了获得良好的压缩性能、优化预测精度,G-PCC提出为每个传感器编码一棵树。这主要具有与每个传感器使用一个编码切片相同的缺点,即非最佳的压缩性能,因为不允许在传感器之间进行预测,并且不能提供编码器低延迟。更糟糕的是,每个传感器应该有一个编码处理,并且核心编码单元的数量应该等于传感器的数量;这并不实际。
简而言之,在用于感测点云的稀疏几何数据的旋转传感器头的框架中,现有技术没有解决将编码和解码的简单性、低延迟和压缩性能相结合的问题。
此外,通过使用旋转传感器头感测点云的稀疏几何数据具有一些缺陷,并且可以使用其他类型的传感器头。
旋转传感器头的产生旋转(转动)的机械部件容易破损,而且成本很高。同样,通过构造,视角必然是2π。这不允许以高频率感测特定的感兴趣区域,例如,在车辆前面感测可能比在车辆后面感测更有趣。实际上,在大多数情况下,当传感器附接到车辆时,车辆本身会遮挡大部分2π视角,并且不需要感测被遮挡的视角。
最近出现了新型传感器,允许更灵活地选择待感测的区域。在大多数的最近设计中,传感器可以更自由地并且以电子方式(从而避免脆弱的机械部件)移动,以在3D场景中获得各种感测路径,如图5所示。图5中示出了一组4个传感器。它们的相对感测方向,即方位角和仰角,相对于彼此是固定的,但是它们总体上跟随二维角坐标(φ,θ)空间上的虚线描绘的可编程感测路径来感测场景。然后可以沿着感测路径规律地感测点云的点。当检测到感兴趣区域R时,一些传感器头也可以通过增加其感测频率来调整其感测频率,如图6所示。这种感兴趣区域R可能与例如在前一帧中先前分段的或在感测期间动态分段的接近对象、移动对象、或任何对象(行人,其他车辆等)相关联。图7示意性地示出了感测路径的另一个示例(典型的之字形感测路径),该感测路径由包括两个传感器的传感器头使用,当检测到感兴趣区域(灰色阴影点和灰色散列点)时,这两个传感器能够增加其感测频率。使用之字形感测路径可有利地用于感测3D场景的有限(方位角)角扇区。因为传感器可以附接到车辆,所以它们的感兴趣的视口必然受到阻挡场景的车辆本身的存在的限制,除非传感器位于汽车的顶部。因此,探测角度有限的传感器受到高度关注,并且更容易集成到车辆中。
如图8所示,包括单个传感器的传感器头也可以用于感测多个位置(图8上的两个竖直位置),例如使用随旋转(此处为竖直旋转)振荡的镜上的反射。在这种情况下,不使用一组传感器,而是使用沿感测路径(这里是之字形感测路径)处于不同角度位置(即在图8中具有不同的仰角)的单个传感器来模拟使用一组多个传感器的感测。
为简单起见,在以下描述和权利要求中,“传感器头”可以指一组物理传感器或模拟一组传感器的一组感测仰角索引。此外,本领域技术人员将理解“传感器”也可以指在每个感测仰角索引位置的传感器。
将编码器和解码器的简便性、低延迟和由任何类型传感器感测的点云的压缩性能的要求结合在一起仍然是现有的点云编解码器尚未令人满意地解决的问题。
考虑到前述内容,设计了本申请的至少一个示例性实施例。
发明内容
为了提供对本申请的某些方面的基本理解,下一节给出对至少一个示例性实施例的简化概要。本概要不是示例性实施例的详尽概述。它不意在识别实施例的关键或重要元素。下面的概要仅以简化形式呈现至少一个示例性实施例的一些方面,作为本文档中的其他地方提供的更详细描述的前言。
根据本申请的第一方面,提供了将与传感器索引相关联的至少一个传感器感测到的点云几何数据编码为比特流的方法,所述点云几何数据由占用二维空间的一组离散位置的某些离散位置的有序粗略点表示,每个占用粗略点,通过与感测到与所述占用粗略点相关联的点云的点的传感器相关联的传感器索引以及与点云的点已被感测到的感测时刻相关联的样本索引,定位于二维空间内,每个占用粗略点与基于点云的点距参考物的距离的半径相关联。该方法包括:对于具有第一传感器索引并与第一半径相关联的第一占用粗略点,从与具有不同于第一传感器索引的第二传感器索引的至少一个第二占用粗略点相关联的至少一个第二半径以及与具有等于第一传感器索引的传感器索引的至少一个第三占用粗略点相关联的至少一个第三半径中选择所选预测半径;将指示所选预测半径是等于第二半径还是等于第三半径的数据编码到比特流中;以及将第一半径和所选预测半径之间的残余半径预测编码到比特流中。
根据本申请的第二方面,提供了从比特流解码由与传感器索引相关联的至少一个传感器感测的点云几何数据的方法,所述点云几何数据由占用二维空间的一组离散位置的某些离散位置的有序粗略点表示,每个占用粗略点,通过与感测到与所述占用粗略点相关联的点云的点的传感器相关联的传感器索引以及与点云的点已被感测到的感测时刻相关联的样本索引,定位于二维空间内,每个占用粗略点与基于点云的点距参考物的距离的半径相关联。该方法包括:对于具有第一传感器索引的第一占用粗略点,从比特流中解码指示所选预测半径是等于第二半径还是等于第三半径的数据,所述所选预测半径是从与具有不同于第一传感器索引的第二传感器索引的至少一个第二占用粗略点相关联的至少一个第二半径以及与具有等于第一传感器索引的传感器索引的至少一个第三占用粗略点相关联的至少一个第三半径中选择的;对于第一占用粗略点,从比特流中解码残余半径;以及基于残余半径和从数据获得的所选预测半径,获得与用于第一占用粗略点的点云的点相关联的半径。
在一个示例性实施例中,数据包括指示所选预测半径是第二半径还是第三半径的二进制数据。
在一个示例性实施例中,所述至少一个第二半径形成第一半径列表,所述至少一个第三半径形成第二半径列表,并且二进制数据指示所选预测半径是属于第一半径列表还是属于第二半径列表。
在一个示例性实施例中,数据进一步包括预测器索引,预测器索引指示所选预测半径等于第一半径列表或第二半径列表中的哪个半径。
在一个示例性实施例中,在单个第二半径和至少一个第三半径的列表中选择所选预测半径,数据包括预测器索引,使得如果预测器索引不等于预定索引值,则预测器索引指示所选预测半径等于列表中的哪个半径,否则数据进一步包括指示所选预测半径是等于第二半径还是半径列表中由预定索引值指示的第三半径的二进制数据。
在一个示例性实施例中,所述至少一个第二半径和至少一个第三半径形成单个半径列表,以及数据包括指示所选预测半径等于半径列表中的哪个半径的预测器索引。
在一个示例性实施例中,在统计上从被选择最多的一个到被选择最少的一个对单个半径列表的半径进行排序。
根据本申请的第三方面,提供了表示由与传感器索引相关联的至少一个传感器感测的点云几何数据的经编码点云数据的比特流,所述点云几何数据由占用二维空间的一组离散位置的某些离散位置的有序粗略点表示,每个占用粗略点通过与感测与所述占用粗略点相关联的点云的点的传感器相关联的传感器索引以及与点云的点已被感测到的感测时刻相关联的样本索引而定位于二维空间内,每个占用粗略点与基于点云的点距参考物的距离的半径相关联。比特流包括表示与第一占用粗略点相关联的半径与所选预测半径之间的残余半径的经编码点云数据;以及指示所选预测半径是等于第二半径还是等于第三半径的数据;所述第一占用粗略点在二维空间内具有第一传感器索引;所述第二半径与具有不同于第一传感器索引的二维空间内的第二传感器索引的第二占用粗略点相关联;以及所述半径与具有等于第一传感器索引的二维空间内的传感器索引的至少一个第三占用粗略点相关联。
根据本申请的第四方面,提供了将由与传感器索引相关联的至少一个传感器感测的点云几何数据编码为比特流的装置,所述点云几何数据由占用二维空间的一组离散位置的某些离散位置的有序粗略点表示。该装置包括被配置为执行根据本申请的第一方面的方法的一个或多个处理器。
根据本申请的第五方面,提供了从比特流解码由与传感器索引相关联的至少一个传感器感测的点云几何数据的装置,所述点云几何数据由占用二维空间的一组离散位置的某些离散位置的有序粗略点表示。该装置包括被配置为执行根据本申请的第二方面的方法的一个或多个处理器。
根据本申请的第六方面,提供了计算机程序产品,包括指令,当程序被一个或多个处理器执行时,该指令使该一个或多个处理器执行根据本申请的第一方面的方法。
根据本申请的第七方面,提供了携带用于执行根据本申请的第一方面的方法的程序代码指令的非暂时性存储介质。
根据本申请的第八方面,提供了计算机程序产品,包括指令,当程序被一个或多个处理器执行时,该指令使一个或多个处理器执行根据本申请的第二方面的方法。
根据本申请的第九方面,提供了携带用于执行根据本申请的第二方面的方法的程序代码指令的非暂时性存储介质。
实施例中的至少一个的具体性质以及该实施例中的至少一个的其他目的、优点、特征和用途将从以下结合附图对示例的描述中变得显而意见。
附图说明
现在将以示例的方式参考附图,附图示出了本申请的示例性实施例,其中:
图1示意性地示出了根据现有技术的传感器头的侧视图及其一些参数;
图2示意性地示出了根据现有技术的传感器头的俯视图及其一些参数;
图3示意性地示出了根据现有技术的由旋转传感器头感测到的数据的规律分布;
图4示意性地示出了根据现有技术的3D空间中点云的点的表示;
图5示意性地示出了根据现有技术的能够沿着可编程感测路径感测真实场景的传感器头的示例;
图6示意性地示出了根据现有技术的传感器头的示例,该传感器头能够根据不同感测频率沿着可编程感测路径感测真实场景;
图7示意性地示出了根据现有技术的传感器头的示例,该传感器头能够根据不同感测频率沿着可编程之字形感测路径感测真实场景;
图8示意性地示出了能够根据不同感测频率沿着可编程之字形感测路径感测真实场景的单个传感器头;
图9示意性地示出了根据至少一个示例性实施例的粗略表示的有序粗略点;
图10示意性地示出了根据一个示例性实施例的粗略点的排序的示例;
图11示意地示出了二维坐标(s,λ)空间中的有序粗略点的表示;
图12示意性地示出了根据至少一个示例性实施例的粗略表示的有序粗略点;
图13示意性地示出了传感器感测与水平平面相似的道路上的点;
图14示意性地示出了传感器感测具有对象的道路上的点;
图15示意性地示出了根据现有技术的当从旧对象到新对象发生径向跳跃时的预测半径;
图16示意性地示出了根据至少一个示例性实施例的当从旧对象到新对象发生径向跳跃时来自另一个传感器的预测半径;
图17示出了根据至少一个示例性实施例将点云几何数据编码为经编码的点云数据的比特流的方法100的步骤的示意性框图;
图18示出了根据至少一个示例性实施例从经编码的点云数据的比特流解码点云几何数据的方法200的步骤的示意性框图;
图19示意性地示出了根据一个示例性实施例的属于第一占用粗略点的邻域的粗略点的示例;
图20示意性地示出了根据方法100和200的一个示例性实施例的属于第一占用粗略点的邻域的粗略点的示例;
图21示意性地示出了根据方法100和200的一个示例性实施例的属于第一占用粗略点的邻域的粗略点的示例;
图22示意性地示出了根据方法100和200的一个示例性实施例的属于第一占用粗略点的邻域的粗略点的示例;
图23示意性地示出了根据方法100和200的一个示例性实施例的属于第一占用粗略点的邻域的粗略点的示例;
图24示意性地示出了根据方法100和200的一个示例性实施例的属于第一占用粗略点的邻域的粗略点的示例;
图25示出了图17的方法100的变体的步骤的框图;
图26示出了图18的方法200的变体的步骤的框图;
图27示意性地示出了根据方法100和200的变体的属于第一占用粗略点的邻域的粗略点的示例;
图28示意性地示出了根据至少一个示例性实施例的预测器索引的编码/解码;以及
图29示出了实现各种方面和示例性实施例的系统的示例的框图。
相似的附图标记可以用在不同的图中来表示相似的组件。
具体实施方式
以下参照附图更完整地描述示例性实施例中的至少一个,其中图示示例性实施例中的至少一个的示例。然而,示例性实施例可以以许多替代形式体现,并且不应被解释为限于本文所述的示例。因此,应该理解的是,没有意图将示例性实施例限制到所公开的特定形式。相反,本公开的旨在涵盖落入本申请的精神和范围内的所有修改、等同物和替代方案。
至少一个方面通常涉及点云编码和解码,另一个方面通常涉及传输生成或编码的比特流,并且另一个方面涉及接收/访问解码的比特流。
此外,本方面并不限于MPEG标准,诸如与点云压缩相关的MPEG-I第5部分或第9部分,并且可被应用于例如其他标准和推荐,无论是预先存在的还是未来开发的,以及和任何此类标准和推荐(包括MPEG-I第5部分和第9部分)的扩展。除非另有说明,或技术上排除,本申请中描述的方面可以单独或组合使用。
本发明涉及由占用二维空间的一组离散位置的某些离散位置的粗略表示的有序粗略点表示的点云几何数据的编码/解码。
例如,在关于MPEG3D图形编码的工作组ISO/IECJTC1/SC29/WG7中,相对于G-PCC编解码器,命名为L3C2(低延迟低复杂度编解码器)的新编解码器正在被考虑以提高激光雷达感测的点云的编码效率。编解码器L3C2提供了点云的点的二维表示(即粗略表示)的示例。代码的描述可以在N00167中在工作组的输出文件(ISO/IECJTC1/SC29/WG7,MPEG3D图形编码,“G-PCC中考虑的技术”,2021年8月31日)中找到。
基本上,对于点云的每个感测点Pn,通过转换表示感测点Pn的3D位置的3D笛卡尔坐标(xn,yn,zn),获得与感测点Pn的传感器相关联的传感器索引λn和表示所述传感器的感测角的方位角φn。然后,基于方位角φn和传感器索引λn对点云的点进行排序,例如,首先基于方位角,以及然后基于传感器索引,根据字典顺序。点Pn的顺序索引o(Pn)可以通过以下方式获得:
o(Pn)=φn*K+λn
其中K是传感器的数量。
图9示出了粗略表示的有序粗略点。已感测到点云中的5个点。在粗略表示中,这5个点中的每一个都用粗略点(黑色点)粗略地表示:两个粗略点Pn和Pn+1分别表示在时间t1以角度φc(在多个φi′中)感测的点云中的两个点,以及三个粗略点表示在时间t2以角度φc+Δφ感测的点云的三个点。表示点云的感测点的粗略点称为占用粗略点,以及不表示点云的感测点的粗略点称为未占用粗略点。由于在粗略表示中点云的点是由占用粗略点表示的,因此与点云的点相关联的顺序索引也是与占用粗略点相关联的顺序索引。
点云几何数据的粗略表示然后可以在二维坐标(φ,λ)空间中定义。
也可以为包括转动(旋转)或非转动传感器头的任何类型的传感器头定义粗略表示。它的定义基于在二维角坐标(φ,θ)空间中的由传感器特征定义的感测路径,二维角坐标空间包括:表示方位角的方位角坐标φ,方位角表示传感器相对于参考物的感测角度;以及表示传感器相对于水平参考平面的仰角的仰角坐标θ。感测路径根据表示点云的感测点的潜在位置的有序粗略点对点云进行感测。每个粗略点由沿感测路径的与感测时刻相关联的一个样本索引s和与传感器相关联的一个传感器索引λ定义。
在图10中,使用了包括两个传感器的传感器头。两个传感器跟随的感测路径用虚线表示。对于每个样本索引s(每个感测时刻),定义两个粗略点。与第一传感器相关联的粗略点用图10上的黑色阴影点表示,以及与第二传感器相关联的粗略点用黑色散列点表示。这两种粗略点中的每个属于由感测路径SP定义的传感器感测路径(虚线)。图11示意地示出了二维坐标(s,λ)空间中的有序粗略点的表示。图10和图11中的箭头说明两个相继的有序粗略点之间的联系。
根据每个粗略点在有序粗略点中的排名,顺序索引o(P)与每个粗略点相关联:
o(P)=λ+s*K
其中,K是对于同一样本索引的一组传感器的传感器数量或单个传感器的不同位置的数量,λ是在感测时刻s感测点云的点P的传感器的传感器索引。
图12示出了粗略表示的有序粗略点,5个占用粗略点被示出(黑色圆圈):两个粗略点Pn和Pn+1被在感测时刻t1感测的点云的两个点占用(对应于样本索引s1),并且三个粗略点被在感测时刻t2感测的点云的三个点占用(对应于样本索引s2)。
点云几何数据的粗略表示然后可以定义在二维坐标(s,λ)空间中。
给定由点云的第一感测点占用的第一粗略点的顺序索引o(P1)和顺序差Δo,可以递归地重构由点云的感测点P占用的任意占用粗略点的顺序索引o(P):
o(P)=o(P-1)+Δo
编码/解码点云几何包括对点云的每个点的半径进行编码/解码。与点云的点相关联的半径是半径r2D等于半径r3D在xy水平平面上的投影,如图4所示。在下文中,半径表示与点云的点相关联的3D半径的投影。
在下文中,通过考虑定义在二维坐标(s,λ)空间中的粗略表示来描述本发明。但同样也可以针对定义在二维坐标(φ,λ)空间中的粗略表示进行描述,因为旋转传感器头,诸如激光雷达头,提供了定义在二维坐标(s,λ)空间中的特定粗略表示,其中在每个感测时刻,传感器头的传感器探测对象,并且感测点对应于表示的占用粗略点。
如前所述,点云几何数据由占用二维坐标(s,λ)空间的一组离散位置的一些离散位置的有序粗略点表示。然后,每个占用粗略点,通过与感测与所述占用粗略点相关联的点云的点的传感器相关联的传感器索引以及与点云的点已被感测到的感测时刻相关联的样本索引,定位在二维坐标(s,λ)空间内。在下面讨论的方法中,点云的每个占用粗略点都被认为是第一占用粗略点P1
与点云的点相关联的半径也与在粗略表示中表示所述点云的点的占用粗略点相关。
半径r1与在粗略表示中由第一占用粗略点P1表示的点云的点P相关联。第一占用粗略点P1在二维坐标(s,λ)内具有样本索引s1和传感器索引λ1。通常不直接对半径r1进行编码,而是在由以下得到之后对残余半径rres进行编码
rres=r1-rpred
其中rpred是预测半径。
半径r1的编码性能取决于被确定以限制残余半径的动态范围的预测半径rpred的质量。残余半径的较小动态通常要求较少比特被编码到比特流。
通常,预测半径rpred是从与由与等于第一传感器索引λ1的传感器索引相关联的同一传感器感测到的点云的点相关联的一些先前编码的半径中选择的。当半径r1在两个相继感测时刻之间(例如在样本索引s1和样本索引s1-1之间)变化不大时,这提供了良好的编码效率。
当旋转传感器探测到如图13所示的道路(接近水平平面)时,这尤其正确。在这种情况下,预测半径rpred很可能等于用于同一传感器λ1的先前编码的半径rpred,1
当然,一些对象可被放置在道路上,如图14所示。在这种情况下,预测半径rpred可能不是先前编码的半径rpred,1,而是在更远的过去(j>1)的另一先前编码的半径rpred,j,。
为此,预测半径rpred通常是从半径列表中选择的,该列表与先前编码/解码的半径相对应,这些半径与由同一传感器λ1感测到的点云的点相关联。当第一次感测到新对象时,这样的半径列表不能提供良好的预测半径rpred,即与所述新对象的点相关联的先前编码/解码的半径都不属于半径列表。
这种情况如图15所示,其中属于新对象Onew的点P通过属于另一对象Oold的预测点Ppred预测,因为点P是由传感器λ1感测到的新对象Onew的第一点。因此,预测半径rpred远非与点P相关联的第一半径r1,并且残余半径rres的动态大。编码这样的残余半径在比特率方面是昂贵的。
要解决的问题之一是更好地处理从旧对象到新对象的过渡,该过渡导致半径跳跃(对于同一传感器λ1)和糟糕的半径预测。通过改进预测,由于可以降低待编码的残余半径rres的动态,应能获得更好的性能压缩。
简单地说,本发明提供了通过以下解决此问题的解决方案:从与由与不同于第一传感器索引λ1的传感器索引以及小于或等于第一样本索引s1的样本索引相关联的传感器感测的至少一个点相关联的至少一个第二半径,选择待通过二维坐标(s,λ)空间内具有第一传感器索引λ1和第一样本索引的第一占用粗略点P1编码和表示的点云的点P相关联的预测半径rpred。所述点云的至少一个第二点在粗略表示中由至少一个第二占用粗略点表示。
从与由与不同于第一传感器索引的传感器索引相关联的传感器感测的点相关联的半径中选择属于新对象的感测点的预测半径,相比于从与由与等于第一传感器索引的传感器索引相关联的传感器感测的点相关联的半径获得的预测,提供了更好的预测。
例如,在图16中描绘与预测点Ppred相关联的所选预测半径的示例,该预测点由与不同于第一传感器索引λ1的传感器索引相关联的传感器感测。如图15所示,与点P和Ppred相关联的半径之间的残余半径相比与点P和Ppred相关联的半径之间的残余半径具有更低的动态。
因此,编码残余半径相较于编码从与由同一传感器感测到的点相关联的先前编码/解码半径所对应的预测半径中获得的残余半径有所提高。
预测半径与由具有不同于第一传感器索引λ1的传感器索引的传感器感测的点相关联,以及这些点也与小于或等于第一样本索引s1的样本索引相关联,即属于点P的因果邻域的点。
这允许编码器和解码器二者获得相同的预测半径。
图17示出了根据至少一个示例性实施例将点云几何数据编码为经编码的点云数据的比特流的方法100的步骤的框图。
在二维坐标(s,λ)空间中考虑第一占用粗略点P1。在粗略表示中,第一占用粗略点P1表示点云的感测点。在二维坐标(s,λ)空间中,第一占用粗略点P1具有第一样本索引s1和第一传感器索引λ1,并与第一半径r1相关联。
在步骤110中,从与至少一个第二占用粗略点P2相关联的至少一个第二半径r2中,为第一占用粗略点P1,获得所选预测半径rpred。每个第二占用粗略点P2具有与第一传感器索引λ1不同的第二传感器索引λ2和低于或等于第一样本索引s1的第二样本索引s2
图19示意性示出了属于第一占用粗略点P1的因果邻域的粗略点的示例。未占用粗略点是用虚线界定的白色点,以及灰色点表示占用粗略点。
灰色阴影区域表示具有与第一传感器索引λ1不同的第二传感器索引λ2和低于或等于第一样本索引s1的第二样本索引s2的第二粗略点的组。在粗略表示中,粗略点之间的箭头指示粗略点的顺序。一些第二粗略点被占用(灰色点),以及其他未被占用(白色点)。所有灰色阴影区域形成第一占用粗略点周围的因果邻域,即属于这个因果邻域的占用第二粗略点可以在处理第一占用粗略点P1之前通过编码和/或解码方法获得和/或解码。请注意,具有传感器索引等于第一传感器索引λ1的粗略点不是第二粗略点,并且不属于灰色阴影区域。
在步骤120中,数据Ipred被编码到比特流B中。数据Ipred表示所选预测半径rpred
在步骤130中,通过计算第一半径r1和所选预测半径rpred之间的差,获得残余半径rres
rres=r1-rpred
将残余半径rres编码到比特流B中。
在步骤110的一个示例性实施例中,当在与多个第二占用粗略点P2相关联的半径r2中选择所选预测半径rpred时,所选预测半径rpred对应于最小化表示比特率的成本函数(用于编码残余半径rres)或目标比特率和失真之间的折衷的半径。
在步骤130的一个实施例中,可以通过发信号通知残余半径rres是否等于零的二进制数据,然后发信号通知残余半径rres的正负号的二进制数据,对残余半径rres进行编码,以及可以使用expGolomb编码器对余数|rres|-1进行编码。
在一种变体中,余数|Q(rres)|-1可以使用expGolomb编码器进行编码,其中Q(rres)是量化的残余半径。
在不限制本发明范围的情况下,可以使用残余半径rres的任何其他编码。
图18示出了根据至少一个示例性实施例从经编码的点云数据的比特流解码点云几何数据的方法200的步骤的框图。
图18的解码方法200对应于图17的编码方法100。
考虑二维坐标(s,λ)空间中的第一占用粗略点P1。在二维坐标(s,λ)空间中,第一占用粗略点P1具有第一样本索引s1和第一传感器索引λ1
在步骤210中,从比特流B解码数据Ipred。数据Ipred表示从与至少一个第二占用粗略点P2相关联的至少一个第二半径r2中选择的所选预测半径rpred,该至少一个第二占用粗略点P2具有与第一传感器索引λ1不同的第二传感器索引λ2和低于第一样本索引s1的第二样本索引s2
在步骤220中,从比特流B中解码残余半径rres
在步骤230中,基于残余半径rres和从数据Ipred中获得的所选预测半径rpred,获得与第一粗略点P1表示的点云的点相关联的(经解码的)半径r1
r1=rres+rpred
在步骤230的一个实施例中,可以通过解码发信号通知残余半径rres是否等于零的二进制数据,并且可能地通过解码发信号通知残余半径rres的正负号的二进制数据,并且可能地通过使用expGolomb解码器解码余数|rres|-1,来解码残余半径rres
在一种变体中,余数||Q(rres)|-1可以使用expGolomb解码器解码,以及残余半径rres通过以下获得:
r1=IQ(Q(rres)+rpred
其中IQ(Q(rres))为去量化的残余半径。
在不限制本发明范围的情况下,可以使用残余半径rres的任何其他解码。
在图20中所示的方法100和200的一个示例性实施例中,所选预测半径rpred可以等于与第二占用粗略点P2相关联的第二半径r2,诸如所述第二占用粗略点P2的第二传感器索引λ2与第一传感器索引λ1之间的第一距离D1,该距离由两个边界λ2;below和λ2;above界定。在图20的示意性示例中,边界λ2;below等于2,而边界λ2;above等于1。
对第一距离D1的界定限制了第一占用粗略点P1的因果邻域,以及因此限制了选择预测半径的计算资源。它还确保了半径r1和r2之间具有一定相关性,因为当传感器索引差|λ21|大时,这种相关性趋于消失。
根据方法100和200的此示例性实施例,第二占用粗略点P2可以是具有与第一传感器索引λ1不同的第二传感器索引λ2和低于或等于第一样本索引s1的第二样本索引s2的占用粗略点。所述第二占用粗略点P2也满足所述第二占用粗略点P2的第二传感器索引λ2与第一传感器索引λ1之间的第一距离在由两个边界λ2;below和λ2;above限定的范围内的条件。这些第二占用粗略点属于图20中的灰色阴影部分。
在图21中所示的方法100和200的一个示例性实施例中,所选预测半径rpred可以等于与第二占用粗略点P2相关联的第二半径r2,诸如所述第二占用粗略点P2的第二样本索引s2和由边界W界定的第一样本索引s1之间的第二距离D2。在图21中,这样的第二占用粗略点P2属于灰色阴影部分以及边界W等于4。
对第二距离D2的界定限制了第一粗略点P1的因果邻域,以及因此限制了选择预测半径的计算资源。它还确保了半径r1和r2之间存在一定相关性,因为当传感器索引差s1-s2大时,这种相关性趋于消失,因为点P1和P2趋于属于不同对象或同一对象的不同部分。
根据方法100和200的此示例性实施例,第二占用粗略点P2可以是具有与第一传感器索引λ1不同的第二传感器索引λ2和低于或等于第一样本索引s1的第二样本索引s2的占用粗略点。所述第二占用粗略点P2也满足所述第二占用粗略点P2的第二样本索引s2与第一样本索引s1之间的第二距离D2由边界W界定的条件。
在图22所示的一个变体中,所选预测半径rpred可以等于与第二占用粗略点P2相关联的第二半径r2,诸如第二距离D2是最小的。
此变体最大化了得到良好预测半径的机会,因为被考虑用于选择预测半径的第二占用粗略点P2是离第一粗略点P1最近的占用粗略点。因此,第一占用粗略点P1和所述第二占用粗略点P2很可能与同一感测对象的点相关联。
根据此变体,第二占用粗略点P2是具有与第一传感器索引λ1不同的第二传感器索引λ2和低于或等于第一样本索引s1的第二样本索引s2的占用粗略点。所述第二占用粗略点P2也满足第二距离D2是最小的条件。在图22中,这些第二占用粗略点属于灰色阴影部分,以及考虑两个占用第二粗略点P2来选择预测半径rpred
在图23所示的方法100和200的一个示例性实施例中,可以基于与至少两个第二占用粗略点P2,i相关联的至少两个第二半径r2,i来选择所选预测半径rpred,至少两个第二占用粗略点P2,i的第二样本索引s2和第一样本索引s1之间具有相同的第二距离D2。所选预测半径rpred等于与第二占用粗略点P2,i相关联的第二半径r2,i,该第二占用粗略点P2,i或者相对于第一传感器索引λ1具有最近的传感器索引λ2,i(在图23上的点P2,i),或者在一种变体中,具有小于)第一传感器索引λ1以下的最近的传感器索引λ1(在图23上的点P2,i-1)。
根据方法100和200的此示例性实施例,第二占用粗略点P2可以是具有与第一传感器索引λ1不同的第二传感器索引λ2和低于或等于第一样本索引s1的第二样本索引s2的占用粗略点。所述第二占用粗略点P2具有相对于第一传感器索引λ1最近的传感器索引λ2,i,或在一种变体中,具有(小于)第一传感器索引λ1以下的最近的传感器索引。
此示例性实施例及其变体最大化了得到良好预测半径的机会,因为被考虑用于选择预测半径的第二占用粗略点P2是二维坐标(s,λ)空间中距第一粗略点P1最近的占用粗略点。因此,第一占用粗略点P1和所述第二占用粗略点P2很可能与同一感测对象的点相关联。
在一个变体中,所选预测半径rpred可以等于所述至少两个第二半径r2,i的平均值。
在图24所示的方法100和200的方法的一个示例性实施例中,所选预测半径rpred可以从与至少一个第二占用粗略点P2相关联的至少一个第二半径r2以及与至少一个第三占用粗略点P3相关联的至少一个第三半径r3中选择,至少一个第三占用粗略点P3具有等于第一传感器索引λ1的传感器索引λ3和低于第一样本索引s1的样本索引s3
此示例性实施例是有利的,因为它在新感测点属于新对象或新感测点属于先前感测的对象的两种情况下提供了良好的预测半径。
在方法100和200的一个示例性实施例中,该方法可进一步包括:通过基于所述至少一个第二样本索引s2(或s2,i)和第一样本索引s1的第一修正值C1,修正从与具有至少一个第二样本索引s2(或s2,i)的至少一个第二占用粗略点P2(或P2,i)相关联的至少一个第二半径r2(或r2,i)获得的所选预测半径rpred
此示例性实施例是有利的,因为它修正了当第二占用粗略点的第二样本索引严格低于第一样本索引时可能发生的样本索引的差异:
rpred,corr=rpred+C1
在方法100和200的一个示例性实施例中,修正值C1可通过以下依赖于从两个占用粗略点PO1和PO2估计的导数,两个占用粗略点PO1和PO2分别具有不同的样本索引sO1和sO2,相同的传感器索引(可以等于或可以不等于第一传感器索引λ1)和相关联的半径rO1和rO2
其中
在方法100和200的一个示例性实施例中,可以从具有传感索引sO,i,半径rO,i和相同的传感器索引的一组占用粗略点PO,i估计导数。例如,通过最小均方法,从这些占用粗略点PO,i获得方程r=a*s+b的回归线。导数则取dr/ds≈a。
在方法100和200的一个示例性实施例中,该方法可进一步包括:通过基于所述至少一个传感器索引λ2(或λ2,i)和第一传感器索引λ1的第二修正值C2,修正从与具有至少一个第二传感器索引λ2(或λ2,i)的至少一个第二占用粗略点P2(或P2,i)相关联的至少一个第二半径r2(或r2,i)获得的所选预测半径rpred
此示例性实施例是有利的,因为它修正了当第二占用粗略点的第二传感器索引与第一传感器索引不同时可能发生的传感器索引的差异:
rpred,corr=rpred+C2
在方法100和200的一个示例性实施例中,修正值C2可以通过以下依赖于从两个占用粗略点PO1和PO2估计的导数,两个占用粗略点PO1和PO2分别具有不同的传感器索引λO1和λO2,相同的样本索引(可以等于也可以不等于第一样本索引s1)和相关联的半径rO1和rO2
其中
在方法100和200的一个示例性实施例中,可以从具有传感器索引λO,i,半径rO,i和相同的样本索引的一组占用粗略点PO,i估计导数。例如,通过最小均方方法,从这些占用粗略点PO,i获得方程r=c*λ+d的回归线。导数则取为dr/ds≈c。
在方法100和200的一个示例性实施例中,可以获得所选预测半径rpred作为径向函数对第一传感器索引s1和第一传感器索引λ1的响应,以及其中所述径向函数是通过与至少其他两个第二占用粗略点(P2,i)相关联的第二半径r2,i的线性回归,基于所述至少两个第二占用粗略点P2,i的第二样本索引s2,i和第二传感器索引λ2,i获得的。
例如,方程r=e*λ+f*s+g的线性函数是从所述第二占用粗略点P2,i例如通过最小均方方法获得的。通过以下获得预测半径rpred
rpred=e*λ1+f*s1+g
图25示出了图17中的方法100的变体的步骤的框图。
在步骤105中,对于第一占用粗略点P1,获得候选半径的列表L={r2}。候选半径的列表L包括与至少一个第二占用粗略点P2相关联的至少一个第二半径r2,该至少一个第二占用粗略点P2具有与第一传感器索引λ1不同的第二传感器索引λ2,并且具有小于或等于第一样本索引s1的第二样本索引s2
所述至少一个第二占用粗略点也可以根据与图17有关的讨论的任何实施例或变体或其任何组合获得。
根据图25,所述至少一个第二占用粗略点P2进一步满足了至少一个资格条件,至少一个资格条件指示与所述至少一个第二占用粗略点P2相关联的半径可能减少残余半径rres的动态。
在方法100的变体的一个实施例中,与根据与图17有关的讨论的至少一个实施例或变体或它们的任何组合选择的占用粗略点相关联的半径,如果所述至少一个占用粗略点不满足所述至少一个资格条件,则不参与预测半径rpred的选择。资格条件是对占用粗略点进行筛选,可根据与图17有关的讨论的至少一个实施例或变体或它们的任何组合进行选择。
在步骤110中,从候选半径的列表L中为第一占用粗略点P1获得预测半径rpred
在步骤120中,数据Ipred被编码到比特流B中,该数据Ipred表示候选半径的列表L中的所选预测半径rpred
在步骤130中,获得残余半径rres并将其编码到比特流B中。
在步骤110的一个示例性实施例中,当在与多个第二和/或多个第三占用粗略点相关联的多个半径中选择所选预测半径rpred时,所选预测半径rpred对应于最小化表示比特率的成本函数(用于编码残余半径rres)或目标比特率和失真之间的折衷的半径。
图26示出了图18的方法200的变体的步骤的框图。
考虑二维坐标(s,λ)空间中的第一占用粗略点P1。在二维坐标(s,λ)空间中,第一占用粗略点P1具有第一样本索引s1和第一传感器索引λ1
在步骤105中,对于第一占用粗略点P1,获得候选半径的列表L={r2}。候选半径的列表L包括与至少一个第二占用粗略点P2相关联的至少一个第二半径r2,该至少一个第二占用粗略点P2具有与第一传感器索引λ1不同的第二传感器索引λ2,并且具有小于或等于第一样本索引s1的第二样本索引s2
所述至少一个第二占用粗略点也可以根据与图18有关的讨论的任何实施例或变体或它们的任何组合获得。
根据图26,所述至少一个第二占用粗略点P2进一步满足了至少一个资格条件,至少一个资格条件指示与所述至少一个第二占用粗略点P2相关联的半径可能减少残余半径rres的动态。
在方法200的变体的一个实施例中,与根据与图18有关的讨论的至少一个实施例或变体或它们的任何组合选择的占用粗略点相关联的半径,在所述至少一个占用粗略点不满足所述至少一个资格条件的情况下,不参与预测半径rpred的选择。资格条件是占用粗略点,可以根据与图18有关的讨论的至少一个实施例或变体或它们的任何组合进行选择。
在步骤210中,从比特流B中解码出数据Ipred。数据Ipred表示候选半径的列表L中的所选预测半径(rpred)。
在步骤220中,从比特流B中解码残余半径rres
在步骤230中,基于残余半径rres和从数据Ipred和候选半径的列表L={r2}中获得的所选预测半径rpred,获得与第一占用粗略点(P1)表示的点的点相关联的(经解码的)半径r1
在图24所示的步骤105的一个示例性实施例中,候选半径的列表L={r2,r3}可进一步包括与至少一个第三占用粗略点P3相关联的至少一个第三半径r3,该至少一个第三占用粗略点P3具有等于第一传感器索引λ1的第三传感器索引λ3和小于或等于第一样本索引s1的第三样本索引s3
此示例性实施例是有利的,因为它在新感测点属于新对象时提供良好的预测半径,并且在新感测点属于先前感测的对象时提供良好的预测半径。
在图27所示的方法100和200的变体的一个示例性实施例中,资格条件可以基于第二占用粗略点P2的第二样本索引s2和第三占用粗略点P3的第三样本索引s3之间的比较。
从简单的几何学可知,在感测的竖直平面的情况下,残余半径rres相对于预测半径rpred的动态,在第一近似中,与距离|spred-s1|成比例,其中spred是与预测半径rpred相关联的占用第二(或第三)粗略点的样本索引。
在一个变体中,如图27所示,当第二样本索引s2大于第三样本索引s3时,第二占用粗略点P2可以满足资格条件。
此示例性实施例仅在所述占用第二粗略点满足所述资格条件的情况下允许选择占用第二粗略点而不是第三占用粗略点。此情况下,所述占用第二粗略点的半径是比与第三占用粗略点相关联的半径要好的预测半径,因为占用第二粗略点晚于占用第三粗略点被感测到。
在方法100和200的变体的一个示例性实施例中,资格条件可以基于与用于感测与第一、第二和第三占用粗略点相关联的点云的点的传感器相关联的方位角的比较。
此示例性实施例使用与占用粗略点相关联的方位角的比较来确定是否需要选择第二或第三粗略点来预测第一半径r1。此示例性实施例是有利的,因为比较方位角相比于比较样本索引提供了更好的精度。
在方法100和200变体的一个示例性实施例中,当第一方位角差A1低于第二方位角差A2时,第二占用粗略点P2可满足资格条件。第一方位角差A1是与第一占用粗略点P1相关的第一方位角φ1和与第二占用粗略点P2相关联的第二方位角φ1之间的差:
A1=|φ12|
第二方位角差A2是第一方位角φ1和与第三占用粗略点P3相关联的第三方位角φ3之间的差:
A2=|φ13|
例如,如果A1>A2,那么最好的预测可能是与占用第三粗略点相关联的半径,因此占用第二粗略点不合格。反之(A1<A2),占用第二粗略点是合格的。
在方法100和200变体的一个示例性实施例中,当距离D3大于阈值th1时,第二占用粗略点P2可满足资格条件:
D3>th1
此示例性实施例是有利的,因为仅在从等于所述半径r2的所选预测半径预期的增益不太可能补偿发信号通知使用所述半径r2的额外语法的成本的情况下,它才选择与第二占用粗略点P2相关联的半径。
可以计算与第二粗略点P2相关联的第二半径r2和与第三粗略点P3相关联的第三半径r3之间的距离D3:
D3=|r2-r3|
在一种变体中,所计算距离D3中的占用第三粗略点P3可以是最近的占用粗略点,即占用第三粗略点使所述占用第三粗略点P3的第三样本索引s3与第一样本索引s1之间的距离最小化。
在方法100和200的变体的一个示例性实施例中,阈值th1可以是固定的。
在一种变体中,阈值th1可以基于先前编码或解码的残余半径rres,该rres与传感器索引等于第一传感器索引λ1的占用粗略点相关联。
例如,阈值th1可以从同一传感器索引的多个先前编码/解码的残余半径rres的振幅|rres|的平均值获得。
此变体是有利的,因为它使阈值th1适于半径的平均预测质量。
在方法100和200变体的一个示例性实施例中,当从至少两个先前编码/解码的第二占用粗略点PO,1和PO,2估计的半径的梯度关于样本索引的梯度的比率大于阈值时,第二占用粗略点P2可以满足资格条件:
在一种变体中,为了降低对噪声的敏感性,半径和样本索引的梯度的估计可以使用两个以上的先前编码/解码的第二占用粗略点。
此示例性实施例是有利的,因为仅当与所述第二占用粗略点P2相关联的感测点不属于实质上垂直于感测方向的平面时,即梯度dr/ds较小时,它才选择与第二占用粗略点P2相关联的半径。那么,如果所述点属于实质上垂直于感测方向的平面,则与相继的感测点相关联的半径没有变化(在第一近似中)作为方位角φ的函数,以及因此有小变化作为样本索引s的函数。在这种情况下,预测半径等于与第三占用粗略点P3相关联的半径,相比于预测半径等于与第二占用粗略点P2相关联的半径,可能会提供更好的编码性能。
在方法100和200变体的一个示例性实施例中,阈值th2可对应于感测方向和到感测平面的法线方向之间的最小角度αmin
th2=tan(αmin)
例如,可以选择αmin=20°这样的值。
一旦获得至少一个第二半径r2并确认为合格,编码器就在第三半径r3和所述至少一个合格的第二半径r2中选择最佳预测器。数据I(pred)必须发送给解码器,以便解码器知道使用了哪个预测器。
在步骤120或210的一个示例性实施例中,数据Ipred指示所选预测半径rpred是等于第二半径r2还是第三半径r3
在步骤120或210的一个示例性实施例中,数据Ipred可包括二进制数据b,指示所选预测半径rpred是第二半径r2还是第三半径r3
例如,二进制数据b等于0指示所选预测半径rpred是第二半径r2,等于1指示所选预测半径rpred是第三半径r3
在步骤120或210的一个示例性实施例中,所述至少一个第二半径r2可以形成第一半径列表L1={r2},以及所述至少一个第三半径r3可以形成第二半径列表L2={r3}。然后,二进制数据b可以指示所选预测半径rpred是属于第一还是第二半径列表。
在步骤120或210的一个示例性实施例中,数据Ipred可进一步包括预测器索引Idx,该预测器索引指示所选预测半径rpred等于第一或第二半径列表中的哪个半径。
在步骤120或210的一个示例性实施例中,如图28所示,可以在单个第二半径r2和Np个第三半径r3,i(Np≥1)的列表L={r3,i}中选择所选预测半径rpred。数据(Ipred)包括预测器索引Idx,如果预测器索引Idx不等于预定索引值IdxV,则预测器索引Idx指示所选预测半径rpred等于列表中的哪个半径r3;否则,数据Ipred进一步包括二进制数据fHV,指示所选预测半径rpred是等于第二半径r2还是半径列表中由预定索引值IdxV指示的第三半径r3
根据此示例性实施例,在预测器索引Idx等于预定索引值IdxV的情况下,预测器索引Idx首先被编码,可选地地随后二进制数据fHV被编码。
索引Idx可以由一系列二进制数据fi进行一元编码。
例如,预测器索引Idx包括二进制数据f1(图28)。如果二进制数据f1等于1(真),预测器索引Idx等于1,以及预测器Idx指示半径列表中的半径r3,1。如果f1=0,以及f2=1,那么预测器索引Idx等于2,以及Idx等于预定索引值IdxV(=2),那么数据Ipred还包括二进制数据fHV,如果fHV=0,该二进制数据指示半径列表中的半径r3,2,否则指示单个第二半径r2。如果f1=0,f2=0,以及f3=1,那么预测器索引Idx等于3,以及指示半径列表中的半径r3,3,等等。
这样,具有低于预定索引值IdxV的索引的半径r3,i被给予优先权。这是有利的,因为已经观察到,与最近的第三占用粗略点相关联的第三半径相比与第二占用粗略点相关联的第二半径更有可能成为最佳预测器。
在图28的示例中,预定索引值IdxV等于2,从而只有与最近的第三占用粗略点相关联的第三半径r3,1才被给予优先权。
如果预测器列表具有在0…Np-1范围内的索引,则预定索引值IdxV等于1(而不是2)。
在步骤120或210的一个示例性实施例中,所述至少一个第二半径r2和至少一个第三半径r3可以形成单个半径列表L={r2,r3},并且数据Ipred包括预测器索引,指示所选预测半径rpred等于半径列表中的哪个半径。
此单个半径列表可能是通过预测半径之间的“竞争”建立的。在实践中,局部统计量取决于例如相对于第一占用粗略点P1的占用粗略点位置,可以从先前编码/解码的点中选择所有预测半径来获得。
在一种变体中,单个半径列表的半径从统计上按照从最多次被选中到最少次被选中的次序进行排序。
然后将半径列表L的半径按照从最多次被选中到最少次被选中的次序进行排序。此变体允许使用与占用第二粗略点相关联的若干个半径,并局部适应点云的结构。
图29示出了示出实现了各种方面和示例实施例的系统示例的框图。
系统300可以作为一个或多个设备嵌入,包括下面描述的各种组件。在各种实施例中,可以配置系统300以实现本申请中描述的一个或多个方面。
可以构成系统300的全部或部分的设备的示例包括个人电脑、笔记本电脑、智能手机、平板电脑、数字多媒体机顶盒、数字电视接收器、个人视频录制系统、联网家用电器、联网车辆及其相关联的处理系统、头戴式显示设备(HMD、透视眼镜)、投影仪(投影机)、“洞穴”(包括多个显示器的系统)、服务器、视频编码器、视频解码器、处理来自视频解码器的输出的后处理器,为视频编码器提供输入的预处理器,网页服务器,机顶盒,以及用于处理点云、视频或图像的任何其他设备,或其他通信设备。系统300的元件可以单独地或组合地实施在单个集成电路(IC),多个IC,和/或分立组件中。例如,在至少一个实施例中,系统300的处理和编码器/解码器元件可以跨多个IC和/或分立组件分布。在各种实施例中,系统300可以经由例如通信总线或通过专用输入和/或输出端口通信耦合到其他类似的系统或其他电子设备。
系统300可以包括至少一个处理器310,该至少一个处理器310被配置为执行装载在其中的指令,以实现例如本申请中所述的各个方面。处理器310可以包括嵌入式存储器,输入输出接口,以及各种本领域已知的其他电路。系统300可以包括至少一个存储器320(例如,易失性存储器设备和/或非易失性存储器设备)。系统300可以包括存储设备340,它可以包括非易失性存储器和/或易失性存储器,包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光驱。作为非限制性示例,存储设备340可以包括内部存储设备,附接存储设备,和/或网络可访问的存储设备。
系统300可以包括编码器/解码器模块330,其被配置为例如处理数据以提供编码/解码的点云几何数据,并且编码器/解码器模块330可以包括其自己的处理器和存储器。编码器/解码器模块330可以表示可以包括在设备中以执行编码和/或解码功能的(一个或多个)模块。众所周知,设备可以包括编码和解码模块中的一者或两者。此外,编码器/解码器模块330可以被实现为系统300的分开的元件,或者可以作为硬件和软件的组合集成到处理器310中,如本领域技术人员已知的。
要被加载到处理器310或编码器/解码器330上以执行本申请中所描述的各种方面的程序代码可被存储在存储设备340中,并随后被加载到存储器320上以供处理器310执行。根据各种实施例,在执行本申请中描述的过程期间,处理器310、存储器320、存储设备340和编码器/解码器模块330中的一个或多个可以在存储各种项目中的一个或多个。此类存储的项目可以包括但不限于,点云帧、已编码/解码的几何形状/属性视频/图像或已编码/解码的几何形状/属性视频/图像的部分、比特流、矩阵、变量,以及等式、公式、运算和运算逻辑处理的中间或最终结果。
在多个实施例中,可使用处理器310和/或编码器/解码器模块330内部的存储器来存储指令并为可以在编码或解码期间执行的处理提供工作存储器。
然而,在其他实施例中,处理设备外部的存储器(例如,处理设备可以是处理器310或编码器/解码器模块330)可被用于这些功能中的一个或多个。外部存储器可以是存储器320和/或存储设备340,例如,动态易失性存储器和/或非易失性闪存。在几个实施例中,可使用外部非易失性闪存来存储电视的操作系统。在至少一个实施例中,可将诸如RAM之类的快速外部动态易失性存储器用作用于视频编码和解码操作的工作存储器,例如对于MPEG-2第2部分(也称为ITU-T建议H.262和ISO/IEC13818-2,也称为MPEG-2视频)、HEVC(高效视频编码)、VVC(通用视频编码)或MPEG-I第5部分或第9部分。
系统300的元件的输入可以通过块390所示的各种输入设备提供。此类输入设备包括但不限于:(i)可接收例如由广播器通过空中传输的RF信号的RF部分,(ii)复合输入终端,(iii)USB输入终端,和/或(iv)HDMI输入终端。
在各种实施例中,块390的输入设备具有相关联的相应输入处理元件,如本领域中已知的。例如,RF部分可与对于以下各项必要的元件相关联:(i)选择期望的频率(也称为选择信号,或将信号频带限制到频带内),(ii)将所选择的信号下变频,(iii)再次将频带限制到较窄的频带,以选择(例如)在某些实施例中可被称为信道的信号频带,(iv)解调下变频和频带受限的信号,(v)进行纠错,(vi)解复用以选择期望的数据包流。各种实施例的RF部分可以包括一个或多个元件来执行这些功能,例如,频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可以包括执行这些功能中的各种功能的调谐器,这些功能包括例如,将接收到的信号下变频为较低的频率(例如,中间频率或近基带频率)或基带。
在一个机顶盒实施例中,RF部分及其相关联的输入处理元件可以接收通过有线(例如电缆)介质传输的RF信号。然后,RF部分可以通过滤波、下变频和再次滤波到期望的频带来执行频率选择。
各种实施例重新布置上述(和其他)元件的顺序,移除其中一些元件,和/或添加执行类似或不同功能的其他元件。
添加元件可以包括在现有元件之间插入元件,诸如例如,插入放大器和模数转换器。在各种实施例中,RF部分可包括天线。
此外,USB和/或HDMI终端可以包括相应的接口处理器,用于通过USB和/或HDMI连接将系统300连接到其他电子设备。要理解的是,在必要时输入处理的各个方面(例如,Reed-Solomon纠错)可以例如在分开的输入处理IC内或在处理器310内实现。类似地,在必要时可以在分开的接口IC内或处理器310内实现USB或HDMI接口处理的各个方面。经解调、纠错和解复用的流可以被提供给各种处理元件,包括例如处理器310以及编码器/解码器330,它们与存储器和存储元件结合操作,以在必要时处理数据流以在输出设备上呈现。
系统300的各种元件可以提供在集成外壳内。在集成外壳内,各种元件可以使用适当的连接布置390,例如,本领域已知的内部总线(包括I2C总线)、布线和印刷电路板,来互连并在它们之间传输数据。
系统300可以包括通信接口350,该接口能够经由通信信道700与其他设备通信。通信接口350可以包括但不限于,被配置为通过通信信道700发送和接收数据的收发器。通信接口350可以包括但不限于调制解调器或网卡,并且通信信道700可以被实现,例如,在有线和/或无线介质中。
在各种实施例中,可以使用诸如IEEE802.11的Wi-Fi网络将数据流式传输到系统300。可以在适用于Wi-Fi通信的通信信道700和通信接口350上接收这些实施例的Wi-Fi信号。这些实施例的通信信道700通常可以连接到接入点或路由器,该接入点或路由器提供对包括互联网在内的外部网络的访问,以允许流式传输应用和其他云上(Over-the-top)通信。
其他实施例可以使用通过输入块390的HDMI连接传递数据的机顶盒将流式传输数据提供给系统300。
还有其他实施例可以使用输入块390的RF连接将流式传输数据提供给系统300。
流式传输数据可被用作系统300使用的信令信息的一种方式。信令信息可以包括比特流B和/或诸如点云的点的数量、坐标和/或传感器设置参数的信息。
需要注意的是,信令可以以各种方式完成。例如,在各种实施例中,一个或多个语法元素、标志等可被用于向相应的解码器发信号通知信息。
系统300可以提供输出信号到各种输出设备,包括显示器400,扬声器500,和其他外围设备600。在实施例的各种示例中,其他外围设备600可以包括独立DVR、磁盘播放机、立体声系统、照明系统,以及基于系统300的输出提供功能的其他设备中的一个或多个。
在各种实施例中,可以使用诸如AV.Link(音频/视频链路)、CEC(消费电子控制)或在有或没有用户干预的情况下启用设备到设备控制的其他通信协议等信令在系统300和显示器400、扬声器500或其他外围设备600之间通信控制信号。
输出设备可以通过相应的接口360、370和380经由专用连接通信地耦合到系统300。
可替代地,输出设备可以经由通信接口350使用通信信道700连接到系统300。显示器400和扬声器500可以与电子设备(诸如例如电视)中的系统300的其他组件集成在单个单元中。
在各种实施例中,显示接口360可包括显示驱动器,诸如例如,定时控制器(TCon)芯片。
显示器400和扬声器500可以可选地与其他组件中的一个或多个分开,例如,如果输入端390的RF部分是分开的机顶盒的一部分。在各种实施例中,其中显示器400和扬声器500可以是外部组件,可以经由专用的输出连接(包括例如,HDMI端口、USB端口或COMP输出端)提供输出信号。
在图1-29中,本文描述了各种方法,并且每种方法都包括实现所述方法的一个或多个步骤或动作。除非方法的正确操作需要特定的步骤或动作顺序,否则特定步骤和/或动作的顺序和/或使用可以被修改或组合。
关于框图和/或操作流程图描述了一些示例。每个块表示电路元件、模块或代码的部分,其中包括用于实现(一个或多个)指定逻辑功能的一个或多个可执行指令。还应该注意的是,在其他实施方式中,块中标注的(一个或多个)功能可以不按指示的次序发生。例如,相继示出的两个方框实际上可以基本上并发地执行,或者有时可以以相反的次序执行这些方框。
本文描述的实施方式和方面可以在例如方法或过程、装置、计算机程序、数据流、比特流或信号中实现。即使只在单一形式的实施方式的上下文中讨论(例如,只作为方法讨论),所讨论特性的实施方式也可以以其他形式(例如,装置或计算机程序)实现。
方法可在处理器中实现,例如,处理器一般是指处理设备,例如包括计算机、微处理器、集成电路或可编程逻辑器件。处理器还包括通信设备。
此外,方法可以通过由处理器执行的指令来实现,并且此类指令(和/或由实施方式产生的数据值)可以存储在计算机可读存储介质上。计算机可读存储介质可以采用实施在一个或多个计算机可读介质中并且具有实施在其上的可由计算机执行的计算机可读程序代码的计算机可读程序产品的形式。考虑到在其中存储信息的固有能力以及从其提供信息的检索的固有能力,如本文使用的计算机可读存储介质可以被认为是非暂态存储介质。计算机可读存储介质可以是,例如,但不限于,电子、磁、光学、电磁、红外或半导体系统、装置或设备,或前述的任何合适组合。应该认识到的是,以下虽然提供了可以对其应用本实施例的计算机可读存储介质的更具体示例,但是如本领域普通技术人员容易认识到的那样,仅仅是说明性的而非详尽列表:便携式计算机软盘;硬盘;只读存储器(ROM);可擦除可编程只读存储器(EPROM或闪存);便携式光盘只读存储器(CD-ROM);光学存储设备;磁存储设备;或前述的任何合适组合。
指令可以形成有形地实施在处理器可读介质上的应用程序。
例如,指令可以在硬件、固件、软件或组合中。例如,可以在操作系统、单独的应用或两者的组合中找到指令。因此,处理器可以被表征为例如被配置为执行过程的设备和包括具有用于执行过程的指令的处理器可读介质(诸如存储设备)的设备。另外,除了指令之外或代替指令,处理器可读介质可以存储由实施方式产生的数据值。
装置可以在例如适当的硬件、软件和固件中实现。这种装置的示例包括个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收器、个人视频录制系统、连接的家用电器、头戴式显示设备(HMD、透视眼镜)、投影仪(投影机)、“洞穴”(包括多个显示器的系统)、服务器、视频编码器、视频解码器、处理来自视频解码器的输出的后处理器、向视频编码器提供输入的预处理器、web服务器、机顶盒,以及用于处理点云、视频或图像的任何其他设备,或其他通信设备。应当清楚的是,装备可以是移动的并且甚至安装在移动车辆中。
计算机软件可以由处理器310或由硬件、或由硬件和软件的组合实现。作为非限制性示例,还可以通过一个或多个集成电路来实现实施例。存储器320可以是适合于技术环境的任何类型并且可以使用任何适当的数据存储技术(诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器,作为非限制性示例)来实现。处理器310可以是适合于技术环境的任何类型,并且可以涵盖微处理器、通用计算机、专用计算机和基于多核体系架构的处理器中的一种或多种,作为非限制性示例。
如对于本领域普通技术人员来说显而易见的,实施方式可以产生各种被格式化为携带例如可以被存储或传输的信息的信号。信息可以包括例如用于执行方法的指令或由所描述的实施方式之一产生的数据。例如,信号可以被格式化为携带所描述的实施例的比特流。这种信号可以被格式化为例如电磁波(例如,使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码并用编码的数据流对载波进行调制。信号携带的信息可以是例如模拟或数字信息。如已知的,信号可以通过各种不同的有线或无线链路被传输。信号可以存储在处理器可读介质上。
本文使用的术语仅用于描述特定实施例的目的并且不旨在进行限制。如本文所使用的,单数形式“一个”、“一种”和“该”也可以旨在包括复数形式,除非上下文另有明确指示。将进一步理解的是,当在本说明书中使用时,术语“包括/包含(include/comprise)”和/或“包括/包含(including/comprising)”可以指定所陈述的例如特征、整数、步骤、操作、元素和/或组件的存在,但不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或它们的组的存在或添加。而且,当一个元素被称为“响应”或“连接”到另一个元素时,它可以直接响应或连接到另一个元素,或者可以存在中间元素。相反,当一个元素被称为“直接响应”或“直接连接”到另一个元素时,不存在中间元素。
应该认识到的是,例如在“A/B”、“A和/或B”和“A和B中的至少一个”的情况下,符号/术语“/”、“和/或”和“至少一个”中的任何一个的使用可以旨在涵盖仅第一个列出的选项(A)的选择,或仅第二个列出的选项(B)的选择,或两个选项(A和B)的选择。作为进一步的示例,在“A、B和/或C”和“A、B和C中的至少一个”的情况下,这样的措辞旨在涵盖仅第一个列出的选项(A)的选择,或仅第二个列出的选项(B)的选择,或仅第三个列出的选项(C)的选择,或仅第一个和第二个列出的选项(A和B)的选择,或仅第一个和第三个列出的选项(A和C)的选择,或仅第二个和第三个列出的选项(B和C)的选择,或所有三个选项(A和B和C)的选择。如本领域和相关领域的普通技术人员清楚的那样,这可以扩展到与列出的一样多的项目。
在本申请中可以使用各种数值。特定值可以用于示例目的并且所描述的各方面不限于这些特定值。
将理解的是,虽然术语第一、第二等在本文中可以被用于描述各种元素,但这些元素不受这些术语的限制。这些术语仅用于将一个元素与另一个元素区分开来。例如,在不脱离本申请的教导的情况下,第一元素可以被称为第二元素,并且类似地,第二元素可以被称为第一元素。第一元素和第二元素之间不暗示排序。
对“一个示例性实施例”或“示例性实施例”或“一个实施方式”或“实施方式”及其其他变化的引用频繁地被用于传达特定特征、结构、特点等(结合实施例/实施方式描述的)包括在至少一个实施例/实施方式中。因此,出现在本申请中各处的短语“在一个示例性实施例中”或“在示例性实施例中”或“在一个实施方式中”或“在实施方式中”以及任何其他变化的出现不一定都指同一实施例。
类似地,本文对“根据示例性实施例/示例/实施方式”或“在示例性实施例/示例/实施方式中”及其其他变化的引用频繁地被用于传达特定特征、结构或特点(结合实施例/示例/实施方式描述的)可以包括在至少一个示例性实施例/示例/实施方式中。因此,出现在说明书中各处的表述“根据示例性实施例/示例/实施方式”或“在示例性实施例/示例/实施方式中”不一定都指同一示例性实施例/示例/实施方式,也不是单独或替代的示例性实施例/示例/实施方式必须与其他示例性实施例/示例/实施方式相互排斥。
权利要求中出现的附图标记仅用于说明并且对权利要求的范围没有限制作用。虽然没有明确描述,但是可以以任何组合或子组合来采用本实施例/示例和变型例。
当图作为流程图呈现时,应当理解的是,它也提供对应装置的框图。类似地,当图作为框图呈现时,应当理解的是,它也提供对应方法/过程的流程图。
虽然一些图包括通信路径上的箭头以示出通信的主要方向,但应该理解的是,通信可以发生在与所描绘的箭头相反的方向上。
各种实施方式涉及解码。如本申请中使用的,“解码”可以涵盖例如对接收到的点云帧(可能包括对一个或多个点云帧进行编码的接收到的比特流)执行以便产生适合显示或在重构的点云域中进一步处理的最终输出的过程的全部或部分。在各种实施例中,此类过程包括通常由解码器执行的过程中的一个或多个。在各种实施例中,例如,此类过程还或者可选地包括由本申请中描述的各种实施方式的解码器执行的过程。
作为进一步的示例,在一个实施例中“解码”可以仅指去量化,在一个实施例中“解码”可以指熵解码,在另一个实施例中,“解码”可以仅指差分解码,而在另一个实施例中,“解码”可以指去量化、熵解码和差分解码的组合。基于具体描述的上下文,短语“解码过程”可能旨在具体地指运算的子集,还是一般地指更广泛的解码过程将是清楚的,并且相信是本领域技术人员能够很好理解的。
各种实施方式都涉及编码。以与以上关于“解码”的讨论类似的方式,本申请中使用的“编码”可以涵盖例如对输入点云帧执行以便产生编码的比特流的过程的全部或部分。在各种实施例中,此类过程包括通常由编码器执行的过程中的一个或多个。在各种实施例中,此类过程还包括或者可选地包括由本申请中描述的各种实施方式的编码器执行的过程。
作为进一步的示例,在一个实施例中“编码”可以仅指量化,在一个实施例中“编码”可以仅指熵编码,在另一个实施例中,“编码”可以仅指差分编码,而在另一个实施例中,“编码”可以指量化、差分编码和熵编码的组合。基于特定描述的上下文,短语“编码过程”可能旨在具体地指运算的子集,还是一般地指更广泛的编码过程将是清楚的,并且相信是本领域技术人员能够很好理解的。
此外,本申请可以提到“获得”各种信息。获得信息可以包括例如以下各项中的一项或多项:估计信息、计算信息、预测信息或从存储器中检索信息。
另外,本申请可以提到“访问”各种信息。访问信息可以包括例如以下各项中的一项或多项:接收信息、(例如,从存储器)检索信息、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息。
此外,本申请可以提到“接收”各种信息。与“访问”一样,接收旨在是广义的术语。接收信息可以包括以下各项中的一项或多项:例如,访问信息或(例如,从存储器)检索信息。另外,以一种或另一种方式,在诸如例如以下操作期间:存储信息、处理信息、传输信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息,通常涉及“接收”。
而且,如本文所使用的,词语“信号”尤其是指向对应的解码器指示某事等。例如,在某些实施例中,编码器发信号通知特定信息,诸如点云的点的数量或坐标或传感器设置参数。以这种方式,在实施例中,可以在编码器侧和解码器侧使用同一参数。因此,例如,编码器可以向解码器传输(显式信令)特定参数,使得解码器可以使用同一特定参数。相反,如果解码器已经具有特定参数以及其他参数,那么可以使用信令而无需传输(隐式信令)以简单地允许解码器知道并选择特定参数。通过避免传输任何实际功能,在各种实施例中实现了比特节省。应该认识到的是,可以以多种方式来完成信令。例如,在各种实施例中,一个或多个语法元素、标志等被用于将信息发信号通知给对应的解码器。虽然前面涉及词语“信号(signal)”的动词形式,但词语“信号”在本文中也可以用作名词。
已经描述了多个实施方式。不过,应该理解的是,可以进行各种修改。例如,可以组合、补充、修改或移除不同实施方式的元素以产生其他实施方式。此外,普通技术人员将理解的是,其他结构和过程可以替代所公开的结构和过程,并且由此产生的实施方式将以至少基本上相同的(一种或多种)方式执行至少基本上相同的(一个或多个)功能,以实现至少与所公开的实施方式基本相同的(一个或多个)结果。因而,本申请设想了这些和其他实施方式。

Claims (15)

1.一种将与传感器索引相关联的至少一个传感器感测的点云几何数据编码到比特流中的方法,所述点云几何数据由占用二维空间的一组离散位置中的多个离散位置的有序粗略点表示,每个占用粗略点通过与感测与所述占用粗略点相关联的点云的点的传感器相关联的传感器索引以及与点云的点已被感测到的感测时刻相关联的样本索引而被定位于二维空间内,每个占用粗略点与基于点云的点距参考物的距离的半径相关联,其中所述方法包括:
-对于具有第一传感器索引(λ1)并与第一半径(r1)相关联的第一占用粗略点(P1),从与具有不同于第一传感器索引(λ1)的第二传感器索引(λ2)的至少一个第二占用粗略点(P2)相关联的至少一个第二半径(r2)以及与具有等于第一传感器索引(λ1)的传感器索引(λ3)的至少一个第三占用粗略点(P3)相关联的至少一个第三半径(r3)中选择(110)所选预测半径(rpred);
-将指示所选预测半径(rpred)是等于第二半径(r2)还是等于第三半径(r3)的数据(Ipred)编码(120)到比特流中;以及
-将第一半径(r1)和所选预测半径(rpred)之间的残余半径(rres)预测编码(130)到比特流中。
2.一种从比特流解码与传感器索引相关联的至少一个传感器感测的点云几何数据的方法,所述点云几何数据由占用二维空间的一组离散位置中的多个离散位置的有序粗略点表示,每个占用粗略点通过与感测与所述占用粗略点相关联的点云的点的传感器相关联的传感器索引以及与点云的点已被感测到的感测时刻相关联的样本索引而被定位于二维空间内,每个占用粗略点与基于点云的点距参考物的距离的半径相关联,其中所述方法包括:
-对于具有第一传感器索引(λ1)的第一占用粗略点(P1),从比特流中解码(210)指示所选预测半径(rpred)是等于第二半径(r2)还是等于第三半径(r3)的数据(Ipred),所述所选预测半径(rpred)已从与具有不同于第一传感器索引(λ1)的第二传感器索引(λ2)的至少一个第二占用粗略点(P2)相关联的至少一个第二半径(r2)以及与具有等于第一传感器索引(λ1)的传感器索引(λ3)的至少一个第三占用粗略点(P3)相关联的至少一个第三半径(r3)中选择出;
-对于第一占用粗略点(P1),从比特流中解码(220)残余半径(rres);以及
-基于残余半径(rres)和从数据(Ipred)获得的所选预测半径(rpred),获得(230)与用于第一占用粗略点(P1)的点云的点相关联的半径(r1)。
3.如权利要求1或2所述的方法,其中数据(Ipred)包括指示所选预测半径(rpred)是第二半径(r2)还是第三半径(r3)的二进制数据。
4.如权利要求3所述的方法,其中所述至少一个第二半径(r2)形成第一半径列表(L1={r2}),所述至少一个第三半径(r3)形成第二半径列表(L2={r3}),并且二进制数据指示所选预测半径(rpred)是属于第一半径列表还是属于第二半径列表。
5.如权利要求4所述的方法,其中数据(Ipred)进一步包括预测器索引(Idx),预测器索引(Idx)指示所选预测半径(rpred)等于第一半径列表或第二半径列表中的哪个半径。
6.如权利要求1或2所述的方法,其中在单个第二半径(r2)和至少一个第三半径(r3)的列表(L={r3})中选择所选预测半径,数据(Ipred)包括预测器索引(Idx),使得如果预测器索引(Idx)不等于预定索引值(IdxV),则预测器索引(Idx)指示所选预测半径(rpred)等于列表中的哪个半径(r3),否则数据(Ipred)进一步包括指示所选预测半径(rpred)是等于第二半径(r2)还是等于半径列表中由预定索引值(IdxV)指示的第三半径(r3)的二进制数据(fHV)。
7.如权利要求1或2所述的方法,其中所述至少一个第二半径和至少一个第三半径(r2,r3)形成单个半径列表(L={r2,r3}),以及数据(Ipred)包括指示所选预测半径(rpred)等于半径列表中的哪个半径的预测器索引。
8.如权利要求7所述的方法,其中在统计上从被选择最多的一个到被选择最少的一个对单个半径列表中的半径进行排序。
9.一种表示与传感器索引相关联的至少一个传感器感测的点云几何数据的经编码点云数据的比特流,所述点云几何数据由占用二维空间的一组离散位置中的多个离散位置的有序粗略点表示,每个占用粗略点通过与感测与所述占用粗略点相关联的点云的点的传感器相关联的传感器索引以及与点云的点已被感测到的感测时刻相关联的样本索引而被定位于二维空间内,每个占用粗略点与基于点云的点距参考物的距离的半径相关联,
其中,比特流包括表示与第一占用粗略点(P1)相关联的半径(r1)与所选预测半径(rpred)之间的残余半径的经编码点云数据;
其中,比特流进一步包括指示所选预测半径(rpred)是等于第二半径(r2)还是等于第三半径(r3)的数据(Ipred);
所述第一占用粗略点(P1)在二维空间内具有第一传感器索引(λ1);
所述第二半径(r2)与具有不同于第一传感器索引(λ1)的二维空间内的第二传感器索引(λ2)的第二占用粗略点(P2)相关联;以及
所述半径(r3)与具有等于第一传感器索引(λ1)的二维空间内的传感器索引(λ3)的至少一个第三占用粗略点(P3)相关联。
10.一种将与传感器索引相关联的至少一个传感器感测的点云几何数据编码到比特流中的装置,所述点云几何数据由占用二维空间的一组离散位置中的多个离散位置的有序粗略点表示,每个占用粗略点通过与感测与所述占用粗略点相关联的点云的点的传感器相关联的传感器索引以及与点云的点已被感测到的感测时刻相关联的样本索引而被定位于二维空间内,每个占用粗略点与基于点云的点距参考物的距离的半径相关联,其中所述装置包括至少一个处理器被配置为:
-对于具有第一传感器索引(λ1)并与第一半径(r1)相关联的第一占用粗略点(P1),从与具有不同于第一传感器索引(λ1)的第二传感器索引(λ2)的至少一个第二占用粗略点(P2)相关联的至少一个第二半径(r2)以及与具有等于第一传感器索引(λ1)的传感器索引(λ3)的至少一个第三占用粗略点(P3)相关联的至少一个第三半径(r3)中选择所选预测半径(rpred);
-将指示所选预测半径(rpred)是等于第二半径(r2)还是等于第三半径(r3)的数据(Ipred)编码到比特流中;以及
-将第一半径(r1)和所选预测半径(rpred)之间的残余半径(rres)预测编码到比特流中。
11.一种从比特流解码与传感器索引相关联的至少一个传感器感测的点云几何数据的装置,所述点云几何数据由占用二维空间的一组离散位置中的多个离散位置的有序粗略点表示,每个占用粗略点通过与感测与所述占用粗略点相关联的点云的点的传感器相关联的传感器索引以及与点云的点已被感测到的感测时刻相关联的样本索引而被定位于二维空间内,每个占用粗略点与基于点云的点距参考物的距离的半径相关联,其中所述装置包括至少一个处理器被配置为:
-对于具有第一传感器索引(λ1)的第一占用粗略点(P1),从比特流中解码指示所选预测半径(rpred)是等于第二半径(r2)还是等于第三半径(r3)的数据(Ipred),所述所选预测半径(rpred)已从与具有不同于第一传感器索引(λ1)的第二传感器索引(λ2)的至少一个第二占用粗略点(P2)相关联的至少一个第二半径(r2)以及与具有等于第一传感器索引(λ1)的传感器索引(λ3)的至少一个第三占用粗略点(P3)相关联的至少一个第三半径(r3)中选择出;
-对于第一占用粗略点(P1),从比特流中解码残余半径(rres);以及
-基于残余半径(rres)和从数据(Ipred)获得的所选预测半径(rpred),获得与用于第一占用粗略点(P1)的点云的点相关联的半径(r1)。
12.一种计算机程序产品,包括指令,当程序由一个或多个处理器执行时,指令使一个或多个处理器执行将与传感器索引相关联的至少一个传感器感测的点云几何数据编码到比特流中的方法,所述点云几何数据由占用二维空间的一组离散位置中的多个离散位置的有序粗略点表示,每个占用粗略点通过与感测与所述占用粗略点相关联的点云的点的传感器相关联的传感器索引以及与点云的点已被感测到的感测时刻相关联的样本索引而被定位于二维空间内,每个占用粗略点与基于点云的点距参考物的距离的半径相关联,其中所述方法包括:
-对于具有第一传感器索引(λ1)并与第一半径(r1)相关联的第一占用粗略点(P1),从与具有不同于第一传感器索引(λ1)的第二传感器索引(λ2)的至少一个第二占用粗略点(P2)相关联的至少一个第二半径(r2)以及与具有等于第一传感器索引(λ1)的传感器索引(λ3)的至少一个第三占用粗略点(P3)相关联的至少一个第三半径(r3)中选择(110)所选预测半径(rpred);
-将指示所选预测半径(rpred)是等于第二半径(r2)还是等于第三半径(r3)的数据(Ipred)编码(120)到比特流中;以及
-将第一半径(r1)和所选预测半径(rpred)之间的残余半径(rres)预测编码(130)到比特流中。
13.一种非暂时性存储介质,携带用于执行用于将与传感器索引相关联的至少一个传感器感测的点云几何数据编码到比特流中的方法的程序代码的指令,所述点云几何数据由占用二维空间的一组离散位置中的多个离散位置的有序粗略点表示,每个占用粗略点通过与感测与所述占用粗略点相关联的点云的点的传感器相关联的传感器索引以及与点云的点已被感测到的感测时刻相关联的样本索引而被定位于二维空间内,每个占用粗略点与基于点云的点距参考物的距离的半径相关联,其中所述方法包括:
-对于具有第一传感器索引(λ1)并与第一半径(r1)相关联的第一占用粗略点(P1),从与具有不同于第一传感器索引(λ1)的第二传感器索引(λ2)的至少一个第二占用粗略点(P2)相关联的至少一个第二半径(r2)以及与具有等于第一传感器索引(λ1)的传感器索引(λ3)的至少一个第三占用粗略点(P3)相关联的至少一个第三半径(r3)中选择(110)所选预测半径(rpred);
-将指示所选预测半径(rpred)是等于第二半径(r2)还是等于第三半径(r3)的数据(Ipred)编码(120)到比特流中;以及
-将第一半径(r1)和所选预测半径(rpred)之间的残余半径(rres)预测编码(130)到比特流中。
14.一种计算机程序产品,包括指令,当程序由一个或多个处理器执行时,指令使一个或多个处理器执行从比特流解码与传感器索引相关联的至少一个传感器感测的点云几何数据的方法,所述点云几何数据由占用二维空间的一组离散位置中的多个离散位置的有序粗略点表示,每个占用粗略点通过与感测与所述占用粗略点相关联的点云的点的传感器相关联的传感器索引以及与点云的点已被感测到的感测时刻相关联的样本索引而被定位于二维空间内,每个占用粗略点与基于点云的点距参考物的距离的半径相关联,其中所述方法包括:
-对于具有第一传感器索引(λ1)的第一占用粗略点(P1),从比特流中解码(210)指示所选预测半径(rpred)是等于第二半径(r2)还是等于第三半径(r3)的数据(Ipred),所述所选预测半径(rpred)已从与具有不同于第一传感器索引(λ1)的第二传感器索引(λ2)的至少一个第二占用粗略点(P2)相关联的至少一个第二半径(r2)以及与具有等于第一传感器索引(λ1)的传感器索引(λ3)的至少一个第三占用粗略点(P3)相关联的至少一个第三半径(r3)中选择出;
-对于第一占用粗略点(P1),从比特流中解码(220)残余半径(rres);以及
-基于残余半径(rres)和从数据(Ipred)获得的所选预测半径(rpred),获得(230)与用于第一占用粗略点(P1)的点云的点相关联的半径(r1)。
15.一种非暂时性存储介质,携带用于执行用于从比特流解码与传感器索引相关联的至少一个传感器感测的点云几何数据的方法的程序代码的指令,所述点云几何数据由占用二维空间的一组离散位置中的多个离散位置的有序粗略点表示,每个占用粗略点通过与感测与所述占用粗略点相关联的点云的点的传感器相关联的传感器索引以及与点云的点已被感测到的感测时刻相关联的样本索引而被定位于二维空间内,每个占用粗略点与基于点云的点距参考物的距离的半径相关联,其中所述方法包括:
-对于具有第一传感器索引(λ1)的第一占用粗略点(P1),从比特流中解码(210)指示所选预测半径(rpred)是等于第二半径(r2)还是等于第三半径(r3)的数据(Ipred),所述所选预测半径(rpred)已从与具有不同于第一传感器索引(λ1)的第二传感器索引(λ2)的至少一个第二占用粗略点(P2)相关联的至少一个第二半径(r2)以及与具有等于第一传感器索引(λ1)的传感器索引(λ3)的至少一个第三占用粗略点(P3)相关联的至少一个第三半径(r3)中选择出;
-对于第一占用粗略点(P1),从比特流中解码(220)残余半径(rres);以及
-基于残余半径(rres)和从数据(Ipred)获得的所选预测半径(rpred),获得(230)与用于第一占用粗略点(P1)的点云的点相关联的半径(r1)。
CN202280064149.9A 2021-09-30 2022-06-30 编码/解码由至少一个传感器感测的点云几何数据的方法和装置 Pending CN117981325A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP21306364.7A EP4160536A1 (en) 2021-09-30 2021-09-30 Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor
EP21306364.7 2021-09-30
PCT/CN2022/103141 WO2023050950A1 (en) 2021-09-30 2022-06-30 Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor

Publications (1)

Publication Number Publication Date
CN117981325A true CN117981325A (zh) 2024-05-03

Family

ID=78827765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280064149.9A Pending CN117981325A (zh) 2021-09-30 2022-06-30 编码/解码由至少一个传感器感测的点云几何数据的方法和装置

Country Status (5)

Country Link
US (1) US20240305821A1 (zh)
EP (1) EP4160536A1 (zh)
KR (1) KR20240089162A (zh)
CN (1) CN117981325A (zh)
WO (1) WO2023050950A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274417B (zh) * 2017-07-05 2020-06-16 电子科技大学 一种基于机载激光点云聚集关系的单木分割方法
EP3633621A1 (en) * 2018-10-02 2020-04-08 BlackBerry Limited Predictive coding of point clouds using multiple frames of references
WO2021084293A1 (en) * 2019-10-31 2021-05-06 Blackberry Limited Angular prior and direct coding mode for tree representation coding of a point cloud
CN110969689A (zh) * 2019-12-03 2020-04-07 上海眼控科技股份有限公司 点云特征提取方法、装置、计算机设备和存储介质
CN111432210B (zh) * 2020-04-30 2021-10-19 中山大学 一种基于填充的点云属性压缩方法

Also Published As

Publication number Publication date
EP4160536A1 (en) 2023-04-05
WO2023050950A1 (en) 2023-04-06
KR20240089162A (ko) 2024-06-20
US20240305821A1 (en) 2024-09-12

Similar Documents

Publication Publication Date Title
WO2022213571A1 (en) Method and apparatus of encoding/decoding point cloud geometry data using azimuthal coding mode
US20240185472A1 (en) Method and apparatus of encoding/decoding point cloud geometry data captured by a spinning sensors head
CN117136543A (zh) 对自旋传感器头捕获的点云几何数据进行编码/解码的方法和装置
CN117981325A (zh) 编码/解码由至少一个传感器感测的点云几何数据的方法和装置
CN117980952A (zh) 编码/解码由至少一个传感器感测的点云几何数据的方法和装置
WO2023050953A1 (en) Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor
WO2022213569A1 (en) Method and apparatus of encoding/decoding point cloud geometry data captured by a spinning sensors head
RU2818834C2 (ru) Способ и устройство кодирования/декодирования геометрических данных облака точек с использованием режима азимутального кодирования
WO2023029672A1 (en) Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor
WO2023029664A1 (en) Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor
US20240333972A1 (en) Method and apparatus of encoding/decoding point cloud captured by a spinning sensors head
JP7535665B2 (ja) 自己回転センサヘッドでキャプチャされた点群ジオメトリデータを符号化/復号化する方法及び装置
WO2022213572A1 (en) Method and apparatus of encoding/decoding point cloud geometry data captured by a spinning sensors head
WO2023123261A1 (en) Method and apparatus of encoding/decoding point cloud geometry data
US20240362824A1 (en) Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor
WO2023179279A9 (en) Encoding/decoding positions of points of a point cloud emcompassed in a cuboid volume
WO2023179277A1 (en) Encoding/decoding positions of points of a point cloud encompassed in a cuboid volume
CN118077205A (zh) 对由至少一个传感器感测到的点云几何数据进行编码/解码的方法和装置
CN117957572A (zh) 对由至少一个传感器感测到的点云几何数据进行编码/解码的方法和装置
JP2024538574A (ja) 少なくとも1つのセンサでセンシングされた点群ジオメトリデータを符号化/復号化する方法および装置
CN117981321A (zh) 对由至少一个传感器感测到的点云几何数据进行编码/解码的方法和装置
CN118613870A (zh) 编码/解码点云数据的切片的方法和装置
CN118043849A (zh) 编码/解码由至少一个传感器感测的点云几何数据的方法和装置
CN118843885A (zh) 编码/解码在长方体体积中包含的点云的点的位置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination