CN112637608A - 一种动态点云几何信息压缩率失真优化方法及装置 - Google Patents

一种动态点云几何信息压缩率失真优化方法及装置 Download PDF

Info

Publication number
CN112637608A
CN112637608A CN202011501716.1A CN202011501716A CN112637608A CN 112637608 A CN112637608 A CN 112637608A CN 202011501716 A CN202011501716 A CN 202011501716A CN 112637608 A CN112637608 A CN 112637608A
Authority
CN
China
Prior art keywords
point
original
plane
geometric
distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011501716.1A
Other languages
English (en)
Other versions
CN112637608B (zh
Inventor
熊健
吴思凡
罗旺
王小奇
王思雨
高�浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202011501716.1A priority Critical patent/CN112637608B/zh
Publication of CN112637608A publication Critical patent/CN112637608A/zh
Application granted granted Critical
Publication of CN112637608B publication Critical patent/CN112637608B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Abstract

本发明公开了一种动态点云几何信息压缩率失真优化方法及装置,针对基于视频的动态点云编码率失真优化过程中,失真模型与点与几何信息质量评估准则不一致的问题,基于点到面误差对现有的率失真优化方法进一步优化。所述方法包括:获取三维动态点云视频分解后的几何图像的原始深度信息以及使用现有率失真优化方法编码得到的几何图像的重构深度信息;基于获取到的原始深度信息和重构深度信息,计算几何图像中原始点所在平面的法向量与该原始点的投影方向之间的估计角度θ;利用计算得到的估计角度θ,优化现有率失真优化方法中几何图像的重构点到原始点所在平面距离误差的编码。本发明能够提升计算几何信息的失真的精确度。

Description

一种动态点云几何信息压缩率失真优化方法及装置
技术领域
本发明涉及一种动态点云几何信息压缩率失真优化方法及装置,属于点云 处理技术领域。
背景技术
点云定义为一组三维点,其中每个点都表示为三维坐标和特定属性(例如 颜色)。随着三维捕捉技术的发展,点云在虚拟现实、沉浸式临场感、移动地图 和三维打印等应用中得到了广泛的应用。点云的一个典型用途是在虚拟现实和 身临其境的临场感中表现人类的全息图像。我们称之为动态点云。这些使用动 态点云的应用程序生成了大量的数据。对于每帧有一百万个点的未压缩动态点 云,其比特率将达到180MB/s,因此动态点云的压缩成为这些新兴3D系统的关 键部分。
由于动态点云表示连续移动的对象,因此其中的连续帧通常具有很强的时 间冗余。近年来,运动估计(ME)和运动补偿(MC)被用于减少时间冗余。 具体来说,运动估计和运动补偿是在3D立方体或2D区块上执行的。然而,点 云具有不规则的划分,使得连续静态点云(SPC)帧中的某些点可能没有明确的 对应关系。因此,基于3D-ME的方法不能充分利用时间相关性。为了更好地保 持时间相关性,基于2D-ME的方法尝试将3D点云投影到2D空间,如圆柱体 和立方体面,然后将投影的样本组织成2D视频进行视频压缩。然而,这些方法 可能会因为遮挡而丢失大量的点。
为了提高保持时间相关性的能力和增加投影点的数量,提出了一种将动态 点云转换为2D视频的补丁投影方法。具体来说,根据法线的相似性,将输入动 态点云分解成多个面片。基于占据地图,这些补丁分别被组织成几何视频和属 性视频。然后,使用现有的视频编解码器,如高效视频编码(HEVC),对占据 地图和生成的视频进行压缩。这种方法称为基于视频的动态点云压缩(V-PCC)。 由于它可以在保持时间相关性的能力和投影点的数量之间实现更好的权衡,所 以它是高效视频编码征集动态点云压缩提案的优胜者,然后被集成到MPEG V-PCC参考软件TMC2。
在基于视频的动态点云压缩的基础上,补丁填充、运动估计和率失真优化 能够进一步提高了压缩性能。然而,现有的基于视频的动态点云压缩视频编解 码器最初是针对图像信号而设计的,未能充分考虑点云的特性。具体来说,现 有率失真优化中的失真模型无法精确计算几何信息的失真,现有的率失真优化 中,失真是根据重构信号与原始信号之间的距离来计算的。然而,几何的客观 质量是根据重建点与参考点云中对应点(最近邻点)之间的距离来衡量的,由 于重建点与参考点云中的对应点不一定相匹配,从而使得失真模型与整体几何 度量不一致。
发明内容
本发明的目的在于克服现有技术中的不足,提供一种动态点云几何信息压 缩率失真优化方法及装置,能够加强动态点云几何信息失真的精确度。为达到 上述目的,本发明是采用下述技术方案实现的:
第一方面,本发明提供了一种动态点云几何信息压缩率失真优化方法,包 括:
获取三维动态点云视频分解后的几何图像的原始深度信息以及使用现有率 失真优化方法编码得到的几何图像的重构深度信息;
基于获取到的原始深度信息和重构深度信息,计算几何图像中原始点所在 平面的法向量与该原始点的投影方向之间的估计角度θ;其中,所述该原始点的 投影方向为:该原始点在几何图像的中深度信息的取值方向;
利用计算得到的估计角度θ,优化现有率失真优化方法中几何图像的重构点 到原始点所在平面距离误差的编码。
结合第一方面,进一步地,计算几何图像中原始点所在平面的法向量,包 括:
根据三维动态点云视频分解后的几何图像的图像内容将几何图像分割为多 个64×64的编码单元,每个编码单元中有多个原始点,原始点表示为:
bi=(xi,yi,zi),i=0,1,…,n-1 (1)
式(1)中,bi表示该编码单元的第i个原始点,n表示该编码单元包含n个原 始点,xi,yi,zi表示该编码单元中第i个原始点的原始几何信息;
计算每个编码单元的平面方程z=Ux+Vy+W,包括:
初始化每个编码单元的平面方程中W=-1;
基于拟合误差函数最小化原则计算U,V,得到每个编码单元的平面方程 z=Ux+Vy-1;
采用最小二乘法对每个编码单元的平面方程拟合,计算得到几何图像中原 始点所在平面的法向量
Figure BDA0002843684400000031
结合第一方面,进一步地,所述基于拟合误差函数最小化原则计算U,V,包 括:
根据每个编码单元的平面方程z=Ux+Vy-1,得到每个编码单元的法向 量(U,V,-1);
所述拟合误差函数为:
Figure RE-GDA0002926157620000041
取U,V,W的偏导数等于0,得到:
Figure BDA0002843684400000042
式(3)中,Pxy表示坐标矩阵,由该编码单元中第i个原始点的原始几何信 息xi和yi组成,表示为:
Figure BDA0002843684400000043
式(3)中,z表示深度矢量,由该编码单元中第i个原始点的原始几何信息zi组 成,表示为:
Figure BDA0002843684400000044
将每个64×64的编码单元分为256个不重叠的4×4的块,则坐标矩阵Pxy表 示为:
Figure BDA0002843684400000045
通过滤波器1计算X方向上的梯度,得到法向量(U,V,-1)中U的估计值,其 中滤波器1为:
Figure BDA0002843684400000046
通过滤波器2计算Y方向上的梯度,得到法向量(U,V,-1)中V的估计值,其 中滤波器2为:
Figure BDA0002843684400000051
结合第一方面,进一步地,计算几何图像中原始点所在平面的法向量与该 原始点的投影方向之间的估计角度θ,包括
初始化几何图像中各点的投影方向为(0,0,-1);
根据几何图像中各点所在平面的法向量
Figure BDA0002843684400000052
通过如下公式计算估计 角度θ:
Figure BDA0002843684400000053
式(9)中,
Figure BDA0002843684400000054
表示动态点云中各点所在平面的平均法向量
Figure BDA0002843684400000055
结合第一方面,进一步地,现有率失真优化方法采用失真代价函数最小的 编码模式,其中,失真代价函数表示为:
J=D+λR (10)
式(10)中,J表示失真代价函数,R表示编码比特数,D表示编码重构的失 真,λ表示权重参数,用于平衡编码重构的失真D和编码比特数R。
结合第一方面,进一步地,采用重构点与原始点距离的误差D1以及重构点 到原始点所在平面距离的误差D2评价经现有率失真优化方法后得到的重构几何 信息的质量;
其中,重构点与原始点距离的误差D1以及重构点到原始点所在平面距离的 误差D2,通过以下公式表示:
Figure BDA0002843684400000056
Figure BDA0002843684400000057
式(11)和式(12)中,bi表示某一编码单元的第i个原始点,X表示原始点 所在平面,aj表示原始点bi对应的重构点,fj表示原始点所在平面X中距离重构 点aj最近的点,考虑fj的真实存在性,在平面X中选取距离fj最近的真实点bj作为 aj的对应点;
式(10)中,编码重构的失真用以下公式表示:
Figure BDA0002843684400000061
结合第一方面,进一步地,利用计算得到的估计角度θ,优化现有率失真优 化方法中几何图像的重构点到原始点所在平面距离误差的编码,包括:
根据式(12)计算重构点aj到原始点所在平面X距离的误差D2,考虑到fj是 平面X上重构点aj的垂点,则式(12)为:
Figure BDA0002843684400000062
式(14)中,∠biajfj
Figure BDA0002843684400000063
Figure BDA0002843684400000064
的夹角,表示为几何图像中原始点所在平 面X的法向量与点云中原始点的投影方向之间的估计角度θ;
通过式(14)和式(10),计算失真代价函数J,通过以下公式表示:
Figure BDA0002843684400000065
结合式(13)简化式(15)的失真代价函数J,通过以下公式表示:
Figure BDA0002843684400000066
式(16)中,当
Figure BDA0002843684400000067
的值取实际计算值;当
Figure BDA0002843684400000068
时,
Figure BDA0002843684400000069
的 值取实数2;
用式(16)的失真代价函数J替换现有失真代价函数,完成对现有率失真优 化方法中重构点到原始点所在平面距离误差的编码。
第二方面,本发明提供了一种动态点云几何信息压缩率失真优化装置,包 括:
获取模块:用于获取三维动态点云视频分解后的几何图像的原始深度信息 以及使用现有率失真优化方法编码得到的几何图像的重构深度信息;
计算模块:用于计算动态点云的点云中原始点所在平面的法向量与该原始 点的投影方向之间的估计角度θ;
编码优化模块:用于利用计算得到的估计角度θ,优化现有率失真优化方法 中几何图像的重构点到原始点所在平面距离误差的编码。
第三方面,本发明提供了一种动态点云几何信息压缩率失真优化装置,所 述装置包括处理器及存储介质;
所述存储介质用于存储指令;
所述处理器用于根据所述指令进行操作以执行第一方面任一项所述方法的 的步骤。
第四方面,本发明提供了一种计算机可读存储介质,其上存储有计算机程 序,该程序被处理器执行时实现第一方面任一项所述方法的步骤。
与现有技术相比,本发明实施例所提供的一种动态点云几何信息压缩率失 真优化方法及装置所达到的有益效果包括:
本发明获取动态点云中原始点的原始几何信息以及使用现有率失真优化方 法处理过后重构点的重构几何信息,计算动态点云中原始点所在平面的法向量 与该原始点的投影方向之间的估计角度θ;根据估计角度θ,优化现有率失真优 化方法中重构点到原始点所在平面距离误差的编码,该优化能够提升计算几何 信息失真的精确度,对提高动态点云几何信息压缩性能具有重要意义,为提高 基于V-PCC的贴片投影算法的动态点云几何编码性能提供了新的解决途径。
附图说明
图1是本发明一种动态点云几何信息压缩率失真优化方法的流程图;
图2是本发明一种动态点云几何信息压缩率失真优化方法中点的集合度量 关系。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明 本发明的技术方案,而不能以此来限制本发明的保护范围。
实施例一:
本实施例是基于实施例一提供的一种动态点云几何信息压缩率失真优化方 法的具体应用场景,以下实施例仅用于更加清楚地说明本发明的技术方案,而 不能以此来限制本发明的保护范围。
如图1所示,一种动态点云几何信息压缩率失真优化方法,包括:获取三 维动态点云视频分解后的几何图像的原始深度信息以及使用现有率失真优化方 法编码得到的几何图像的重构深度信息;
基于获取到的原始深度信息和重构深度信息,计算几何图像中原始点所在 平面的法向量与该原始点的投影方向之间的估计角度θ;其中,所述该原始点的 投影方向为:该原始点在几何图像的中深度信息的取值方向;
利用计算得到的估计角度θ,优化现有率失真优化方法中几何图像的重构点 到原始点所在平面距离误差的编码。
具体分解步骤如下:
步骤1:计算几何图像中原始点所在平面的法向量。
步骤1-1:根据三维动态点云视频分解后的几何图像的图像内容将几何图像 分割为多个64×64的编码单元,每个编码单元中有多个原始点,原始点表示为:
bi=(xi,yi,zi),i=0,1,…,n-1 (1)
式(1)中,bi表示该编码单元的第i个原始点,n表示该编码单元包含n个原 始点,xi,yi,zi表示该编码单元中第i个原始点的原始几何信息。
步骤1-2:计算每个编码单元的平面方程z=Ux+Vy+W。
步骤1-2-1:初始化每个编码单元的平面方程中W=-1。
步骤1-2-2:基于拟合误差函数最小化原则计算U,V,得到每个编码单元的 平面方程z=Ux+Vy-1。
步骤1-2-2-1:根据每个编码单元的平面方程z=Ux+Vy+W和W=-1, 得到每个编码单元的法向量(U,V,-1)。
步骤1-2-2-2:拟合误差函数为:
Figure RE-GDA0002926157620000091
步骤1-2-2-3:取U,V,W的偏导数等于0,得到:
Figure BDA0002843684400000092
式(3)中,Pxy表示坐标矩阵,由该编码单元中第i个原始点的原始几何信 息xi和yi组成,表示为:
Figure BDA0002843684400000093
式(3)中,z表示深度矢量,由该编码单元中第i个原始点的原始几何信息zi组 成,表示为:
Figure BDA0002843684400000094
步骤1-2-2-4:将每个64×64的编码单元分为256个不重叠的4×4的块,则 坐标矩阵Pxy表示为:
Figure BDA0002843684400000101
步骤1-2-2-5:通过滤波器1计算X方向上的梯度,得到法向量(U,V,-1)中U 的估计值,其中滤波器1为:
Figure BDA0002843684400000102
具体地,U的估计值为:将编码单元中各个不重叠的4×4的块的像素值与滤 波器1中对应位置权重的数值相乘并求和。
步骤1-2-2-6:通过滤波器2计算Y方向上的梯度,得到法向量(U,V,-1)中V的 估计值,其中滤波器2为:
Figure BDA0002843684400000103
具体地,V的估计值为:将编码单元中各个不重叠的4×4的块的像素值与滤 波器2中对应位置权重的数值相乘并求和。
步骤1-2-3:采用最小二乘法对每个编码单元的平面方程拟合。
步骤1-3:根据拟合得到的该几何图像中原始点所在平面得平面方程,得到 该几何图像中原始点所在平面的法向量
Figure BDA0002843684400000104
步骤2:计算几何图像中原始点所在平面的法向量与该原始点的投影方向之 间的估计角度θ。
步骤2-1:初始化所述几何图像中各点的投影方向为(0,0,-1)。
步骤2-2:根据几何图像中各点所在平面的法向量
Figure BDA0002843684400000105
通过如下公 式计算估计角度θ:
Figure BDA0002843684400000111
式(9)中,
Figure BDA0002843684400000112
表示几何图像中各点所在平面的平均法向量
Figure BDA0002843684400000113
步骤3:计算点到基准面的距离误差。
具体地,对于原始点云B中的一个面片,当用现有的视频编解码器对其进行 压缩时,它就变成了一个重构的面片a,因此根据图像内容将面片a分割为多个 64×64的编码单元,每个编码单元中有多个原始点。
如图2所示,实圆点表示压缩前的点(即原始点),小圆圈表示重建点。bi表 示某一编码单元的第i个原始点,X表示原始点所在平面,aj表示原始点bi对应的 重构点,其中垂点fj是原始点所在平面X中距离aj最近的点,它可能不是参考点 云中的真实点,在平面X中选取距离fj最近的真实点bj作为aj的对应点。
需要说明的是,由于三维动态点云视频分解后的几何图像代表了面片投影 方向上的深度值,在这种情况下,面片投影平面表示为平面xoy。对于与投影平 面成大角度的平面X,对应的点bj不一定是原始点bi或者垂点fj,因此,现有率 失真优化中的失真误差与几何信息的总体质量指标不一致。
步骤3-1:根据点aj到点bj所在的基准面的距离计算点到平面的误差Dc2p, 通过以下公式计算:
Figure BDA0002843684400000114
由于fj是平面X上aj的垂点,式(10)能够改写为:
Figure BDA0002843684400000115
式(11)中,∠biajfj
Figure BDA0002843684400000116
Figure BDA0002843684400000117
的夹角,表示为几何图像中原始点所在平 面X的法向量与点云中原始点的投影方向之间的估计角度θ。
步骤4:根据点到平面的误差计算新的失真误差代价函数。
步骤4-1:新的失真误差代价函数,通过以下公式计算:
J′=Dc2p+λR (12)
式(12)中,Dc2p表示步骤3中计算的基于点到平面的误差,式(12)能够 改写为:
Figure BDA0002843684400000121
步骤4-2:更新新的失真误差代价函数J′。
需要说明的是,现有率失真优化方法采用失真代价函数最小的编码模式, 其中,失真代价函数表示为:
J=D+λR (14)
式(14)中,J表示失真代价函数,R表示编码比特数,D表示编码重构的失 真,λ表示权重参数,用于平衡编码重构的失真D和编码比特数R。
采用重构点与原始点距离的误差D1以及重构点到原始点所在平面距离的误 差D2评价经现有率失真优化方法后得到的重构几何信息的质量;其中,重构点 与原始点距离的误差D1以及重构点到原始点所在平面距离的误差D2,通过以下 公式表示:
Figure BDA0002843684400000122
Figure BDA0002843684400000123
式(15)和式(16)中,bi表示某一编码单元的第i个原始点,X表示原始点 所在平面,aj表示原始点bi对应的重构点,fj表示原始点所在平面X中距离重构点 aj最近的点,考虑fj的真实存在性,在平面X中选取距离fj最近的真实点bj作为aj的 对应点;
式(14)中,编码重构的失真用以下公式表示:
Figure BDA0002843684400000131
则式(13)中,新的失真误差代价函数J′能够通过以下公式表示:
Figure BDA0002843684400000132
式(18)中,J′表示新的失真代价函数,R表示编码比特数,D表示编码重 构的失真,λ表示权重参数,用于平衡编码重构的失真D和编码比特数R。
需要说明的是,为了防止估计角度θ过大对新的失真代价函数的影响,当
Figure BDA0002843684400000133
的值取实际计算值;当
Figure BDA0002843684400000134
时,
Figure BDA0002843684400000135
的值取实数2。
利用计算得到的估计角度θ,优化现有率失真优化方法中重构点到原始点所 在平面距离误差的编码,能够提升计算几何信息失真的精确度,对提高动态点 云几何信息压缩性能具有重要意义。
实施例二:
本发明实施例提供一种动态点云几何信息压缩率失真优化装置,包括如下 模块:
获取模块:用于获取三维动态点云视频分解后的几何图像的原始深度信息 以及使用现有率失真优化方法编码得到的几何图像的重构深度信息;
计算模块:用于计算几何图像中原始点所在平面的法向量与该原始点的投 影方向之间的估计角度θ;
编码优化模块:用于利用计算得到的估计角度θ,优化现有率失真优化方法 中几何图像的重构点到原始点所在平面距离误差的编码。
实施例三:
本发明实施例还提供一种动态点云几何信息压缩率失真优化装置,包括处 理器及存储介质;
所述存储介质用于存储指令;
所述处理器用于根据所述指令进行操作以执行实施例一所述方法的步骤。 实施例四:
本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序, 该程序被处理器执行时实现实施例一所述方法的步骤。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计 算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结 合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包 含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品 的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/ 或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或 方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式 处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机 或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流 程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备 以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的 指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流 程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使 得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理, 从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程 或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通 技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变 形,这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种动态点云几何信息压缩率失真优化方法,其特征在于,包括:
获取三维动态点云视频分解后的几何图像的原始深度信息以及使用现有率失真优化方法编码得到的几何图像的重构深度信息;
基于获取到的原始深度信息和重构深度信息,计算几何图像中原始点所在平面的法向量与该原始点的投影方向之间的估计角度θ;其中,所述该原始点的投影方向为:该原始点在几何图像的中深度信息的取值方向;
利用计算得到的估计角度θ,优化现有率失真优化方法中几何图像的重构点到原始点所在平面距离误差的编码。
2.根据权利要求1所述的动态点云几何信息压缩率失真优化方法,其特征在于,计算几何图像中原始点所在平面的法向量,包括:
根据三维动态点云视频分解后的几何图像的图像内容将几何图像分割为多个64×64的编码单元,每个编码单元中有多个原始点,原始点表示为:
bi=(xi,yi,zi),i=0,1,...,n-1 (1)
式(1)中,bi表示该编码单元的第i个原始点,n表示该编码单元包含n个原始点,xi,yi,zi表示该编码单元中第i个原始点的原始几何信息;
计算每个编码单元的平面方程z=Ux+Vy+W,包括:
初始化每个编码单元的平面方程中W=-1;
基于拟合误差函数最小化原则计算U,V,得到每个编码单元的平面方程z=Ux+Vy-1;
采用最小二乘法对每个编码单元的平面方程拟合,计算得到几何图像中原始点所在平面的法向量
Figure FDA0002843684390000011
3.根据权利要求2所述的动态点云几何信息压缩率失真优化方法,其特征在于,所述基于拟合误差函数最小化原则计算U,V,包括:
根据每个编码单元的平面方程z=Ux+Vy-1,得到每个编码单元的法向量(U,V,-1);
所述拟合误差函数为:
Figure RE-FDA0002926157610000021
取U,V,W的偏导数等于0,得到:
Figure RE-FDA0002926157610000022
式(3)中,Pxy表示坐标矩阵,由该编码单元中第i个原始点的原始几何信息xi和yi组成,表示为:
Figure RE-FDA0002926157610000023
式(3)中,z表示深度矢量,由该编码单元中第i个原始点的原始几何信息zi组成,表示为:
Figure RE-FDA0002926157610000024
将每个64×64的编码单元分为256个不重叠的4×4的块,则坐标矩阵Pxy表示为:
Figure RE-FDA0002926157610000025
通过滤波器1计算X方向上的梯度,得到法向量(U,V,-1)中U的估计值,其中滤波器1为:
Figure RE-FDA0002926157610000031
通过滤波器2计算Y方向上的梯度,得到法向量(U,V,-1)中V的估计值,其中滤波器2为:
Figure RE-FDA0002926157610000032
4.根据权利要求2所述的动态点云几何信息压缩率失真优化方法,其特征在于,计算几何图像中原始点所在平面的法向量与该原始点的投影方向之间的估计角度θ,包括
初始化几何图像中各点的投影方向为(0,0,-1);
根据几何图像中各点所在平面的法向量
Figure FDA0002843684390000033
通过如下公式计算估计角度θ:
Figure FDA0002843684390000034
式(9)中,
Figure FDA0002843684390000035
表示几何图像中各点所在平面的平均法向量
Figure FDA0002843684390000036
5.根据权利要求4所述的动态点云几何信息压缩率失真优化方法,其特征在于,现有率失真优化方法采用失真代价函数最小的编码模式,其中,失真代价函数表示为:
J=D+λR (10)
式(10)中,J表示失真代价函数,R表示编码比特数,D表示编码重构的失真,λ表示权重参数,用于平衡编码重构的失真D和编码比特数R。
6.根据权利要求5所述的动态点云几何信息压缩率失真优化方法,其特征在于,采用重构点与原始点距离的误差D1以及重构点到原始点所在平面距离的误差D2评价经现有率失真优化方法后得到的重构几何信息的质量;
其中,重构点与原始点距离的误差D1以及重构点到原始点所在平面距离的误差D2,通过以下公式表示:
Figure FDA0002843684390000041
Figure FDA0002843684390000042
式(11)和式(12)中,bi表示某一编码单元的第i个原始点,X表示原始点所在平面,aj表示原始点bi对应的重构点,fj表示原始点所在平面X中距离重构点aj最近的点,考虑fj的真实存在性,在平面X中选取距离fj最近的真实点bj作为aj的对应点;
式(10)中,编码重构的失真D用以下公式表示:
Figure FDA0002843684390000043
7.根据权利要求6所述的动态点云几何信息压缩率失真优化方法,其特征在于,利用计算得到的估计角度θ,优化现有率失真优化方法中几何图像的重构点到原始点所在平面距离误差的编码,包括:
根据式(12)计算重构点aj到原始点所在平面X距离的误差D2,考虑到fj是平面X上重构点aj的垂点,则式(12)为:
Figure FDA0002843684390000044
式(14)中,∠biajfj
Figure FDA0002843684390000045
Figure FDA0002843684390000046
的夹角,表示为几何图像中原始点所在平面X的法向量与点云中原始点的投影方向之间的估计角度θ;
通过式(14)和式(10),计算失真代价函数J,通过以下公式表示:
Figure FDA0002843684390000047
结合式(13)简化式(15)的失真代价函数J,通过以下公式表示:
Figure FDA0002843684390000051
式(16)中,当
Figure FDA0002843684390000052
Figure FDA0002843684390000053
的值取实际计算值;当
Figure FDA0002843684390000054
时,
Figure FDA0002843684390000055
的值取实数2;
用式(16)的失真代价函数J替换现有失真代价函数,完成对现有率失真优化方法中重构点到原始点所在平面距离误差的编码。
8.一种动态点云几何信息压缩率失真优化装置,其特征在于,所述装置包括:
获取模块:用于获取三维动态点云视频分解后的几何图像的原始深度信息以及使用现有率失真优化方法编码得到的几何图像的重构深度信息;
计算模块:用于计算几何图像中原始点所在平面的法向量与该原始点的投影方向之间的估计角度θ;
编码优化模块:用于利用计算得到的估计角度θ,优化现有率失真优化方法中几何图像的重构点到原始点所在平面距离误差的编码。
9.一种动态点云几何信息压缩率失真优化装置,其特征在于,包括处理器及存储介质;
所述存储介质用于存储指令;
所述处理器用于根据所述指令进行操作以执行根据权利要求1~7任一项所述方法的步骤。
10.计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1~7任一项所述方法的步骤。
CN202011501716.1A 2020-12-18 2020-12-18 一种动态点云几何信息压缩率失真优化方法及装置 Active CN112637608B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011501716.1A CN112637608B (zh) 2020-12-18 2020-12-18 一种动态点云几何信息压缩率失真优化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011501716.1A CN112637608B (zh) 2020-12-18 2020-12-18 一种动态点云几何信息压缩率失真优化方法及装置

Publications (2)

Publication Number Publication Date
CN112637608A true CN112637608A (zh) 2021-04-09
CN112637608B CN112637608B (zh) 2022-11-29

Family

ID=75316846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011501716.1A Active CN112637608B (zh) 2020-12-18 2020-12-18 一种动态点云几何信息压缩率失真优化方法及装置

Country Status (1)

Country Link
CN (1) CN112637608B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113453009A (zh) * 2021-07-04 2021-09-28 西北工业大学 基于拟合平面几何误差最小的点云空间可伸缩编码几何重构方法
CN115412717A (zh) * 2021-05-26 2022-11-29 荣耀终端有限公司 一种点云方位角信息的预测编解码方法及装置
WO2023174337A1 (zh) * 2022-03-18 2023-09-21 维沃移动通信有限公司 编码、解码方法、装置及设备
CN115412717B (zh) * 2021-05-26 2024-05-17 荣耀终端有限公司 一种点云方位角信息的预测编解码方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107846593A (zh) * 2016-09-21 2018-03-27 中国移动通信有限公司研究院 一种率失真优化方法及装置
US20190311502A1 (en) * 2018-04-10 2019-10-10 Apple Inc. Point cloud attribute transfer algorithm

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107846593A (zh) * 2016-09-21 2018-03-27 中国移动通信有限公司研究院 一种率失真优化方法及装置
US20190311502A1 (en) * 2018-04-10 2019-10-10 Apple Inc. Point cloud attribute transfer algorithm

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
蒋伟等: "率失真优化的压缩感知图像编码", 《电视技术》 *
黄爱爱等: "可伸缩视频编码中基于部分解码的率失真优化", 《光学精密工程》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115412717A (zh) * 2021-05-26 2022-11-29 荣耀终端有限公司 一种点云方位角信息的预测编解码方法及装置
CN115412717B (zh) * 2021-05-26 2024-05-17 荣耀终端有限公司 一种点云方位角信息的预测编解码方法及装置
CN113453009A (zh) * 2021-07-04 2021-09-28 西北工业大学 基于拟合平面几何误差最小的点云空间可伸缩编码几何重构方法
CN113453009B (zh) * 2021-07-04 2023-02-14 西北工业大学 基于拟合平面几何误差最小的点云空间可伸缩编码几何重构方法
WO2023174337A1 (zh) * 2022-03-18 2023-09-21 维沃移动通信有限公司 编码、解码方法、装置及设备

Also Published As

Publication number Publication date
CN112637608B (zh) 2022-11-29

Similar Documents

Publication Publication Date Title
Li et al. Efficient projected frame padding for video-based point cloud compression
EP1349116B1 (en) Process for modelling a 3d scene
CN112637608B (zh) 一种动态点云几何信息压缩率失真优化方法及装置
EP3501005A1 (en) Method, encoder system and non-transitory computer readable recording medium storing thereon program for encoding point cloud of representing scene
CN112219222A (zh) 几何形状信息的运动补偿
CN102970529B (zh) 一种基于对象的多视点视频分形编码压缩与解压缩方法
CN113096200B (zh) 一种基于法向量的点云属性压缩方法、装置、设备及介质
Hou et al. Sparse representation for colors of 3D point cloud via virtual adaptive sampling
Fua et al. Reconstructing surfaces from unstructured 3d points
Xu et al. Dynamic point cloud geometry compression via patch-wise polynomial fitting
Liu et al. Model-based encoding parameter optimization for 3D point cloud compression
CN112911302B (zh) 一种面向动态点云几何信息压缩的新型合并预测编码方法
CN116721210A (zh) 基于神经有符号距离场的实时高效三维重建方法及装置
Roodaki et al. G-arrays: Geometric arrays for efficient point cloud processing
CN107396083B (zh) 一种全息图像生成方法及装置
JP5024962B2 (ja) 多視点距離情報符号化方法,復号方法,符号化装置,復号装置,符号化プログラム,復号プログラムおよびコンピュータ読み取り可能な記録媒体
KR102375135B1 (ko) 구형 물체를 이용한 다시점 카메라 위치 보정 장치 및 방법
JP4964827B2 (ja) 多視点距離情報符号化方法,復号方法,符号化装置,復号装置,符号化プログラム,復号プログラムおよびコンピュータ読み取り可能な記録媒体
Wei et al. Enhanced intra prediction scheme in point cloud attribute compression
CN109951705B (zh) 一种面向监控视频中车辆对象编码的参考帧合成方法及装置
Wang et al. Rate Control Optimization for Joint Geometry and Attribute Coding of LiDAR Point Clouds
Fu et al. Kinect-like depth compression with 2D+ T prediction
Habed et al. Novel view synthesis: a comparative analysis study
Naik et al. Surface light field coding for dynamic 3 d point clouds
WO2023179710A1 (zh) 编码方法及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant