CN111739111B

CN111739111B - 一种点云投影编码的块内偏移优化方法及系统

Info

Publication number: CN111739111B
Application number: CN201910214041.3A
Authority: CN
Inventors: 徐异凌; 徐英展; 朱文婕; 管云峰; 柳宁
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2019-03-20
Filing date: 2019-03-20
Publication date: 2023-05-30
Anticipated expiration: 2039-03-20
Also published as: CN111739111A; WO2020187297A1

Abstract

本发明提供了一种点云投影编码的块内偏移优化方法及系统，包括：在待投影的二维平面上每插入一个点云片段的投影时进行预设步长的位置搜索；判断搜索到的位置是否可以作为当前点云片段插入的位置，在判断结果为是的情况下执行二次搜索步骤；对可插入的位置进行水平和/或竖直方向0至B个位置的偏移；根据当前点云片段内的点的信息，对偏移后的位置进行编写得到占用图；对占用图进行编码，编码的精度为B+1，B为正整数；对每一种偏移情况进行编码效果测试，选择最优的偏移。本发明通过对于投影位置的微调来检测更优的投影坐标，使占用图中被占用的区域更多的被点云投影位置所覆盖，以减小失真，提升点云渲染的精确度。

Description

一种点云投影编码的块内偏移优化方法及系统

技术领域

本发明涉及图像处理技术领域，具体地，涉及一种点云投影编码的块内偏移优化方法及系统。

背景技术

近年来，随着人们对于视觉消费质量的需求日益提升，传统图像及视频媒体已经不能满足用户更加细致逼真，更加清晰绚丽的体验要求。沉浸式媒体技术作为给用户精细真实媒体体验的有效手段，近年来成为了工业界以及学术界的研究发展热点。

其中，随着点云扫描采集技术的飞速发展，三维点云作为沉浸式媒体中的代表性新型数据类型，不仅可以精确地呈现静态实物和场景，也可以进行动态立体模型的实时渲染，展现出了其良好适应于沉浸式媒体呈现的潜能，受到了广泛的关注。与此同时，点云数据的高复杂性以及庞大的数据量，增加了数据处理，传输的负担，限制了媒体呈现的精准渲染以及实时交互性能。因此，针对点云的编码，传输，处理技术研究展现出了巨大的市场价值与应用前景。

为了有效的降低点云数据的数据量，提升其数据处理的性能，国际及国内的标准化组织已经成立了相关的工作组，并呼吁各界进行积极参与，优化现有点云编码算法的性能。目前针对点云编码的经典压缩方案是将点云进行片段化投影的降维处理，将三维点云片段与二维平面位置建立对应关系，将立体深度信息转化为平面的灰度信息，并使用占用图来记录二维平面的占用情况，再结合成熟的视频编码工具进行高效的间接点云编码。该方法在进行点云投影的过程中进行了位置检测，以在进行尽可能密集填充二维空间的过程中，避免多次覆盖相同的二维位置，如公开号为CN105469388A的“基于降维的建筑物点云配准算法”。该编码压缩方案由于利用了现有的平面编码工具，可以实现高效的数据压缩，但仍存在一些限制。

实际在进行允许失真的高码率点云编码时，由于占用图编码时的编码步长不够精确，引入一定的占用图编码误差。而点云在进行投影位置检测的时候，检测的步长较大，导致占用图编码误差以更高的概率产生。这部分误差将会对于点云的几何信息引入明显的失真，严重影响点云呈现的精准度。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种点云投影编码的块内偏移优化方法及系统。

根据本发明提供的一种点云投影编码的块内偏移优化方法，包括：

位置搜索步骤：在待投影的二维平面上每插入一个点云片段的投影时进行预设步长的位置搜索；

判断步骤：判断搜索到的位置是否可以作为当前点云片段插入的位置，在判断结果为是的情况下执行二次搜索步骤；

二次搜索步骤：对可插入的位置进行水平和/或竖直方向0至B个位置的偏移；

占用图编写步骤：根据当前点云片段内的点的信息，对偏移后的位置进行编写得到占用图；

占用图编码步骤：对占用图进行编码，编码的精度为B+1，B为正整数；

最优偏移选择步骤：对每一种偏移情况进行编码效果测试，选择最优的偏移。

较佳的，所述位置搜索步骤包括：

对宽为W、高位H的所述二维平面进行步长为N的位置搜索，搜索到的位置包括：(0，0)，(0，N)，(0，2N)，...(0，H)，(N，0)，(N，N)，(N，2N),...(N,H)，...(W，H)。

较佳的，所述判断步骤判断搜索到的位置是否可以作为当前点云片段插入的位置的方法包括：安全距离检测算法、自适应旋转算法。

较佳的，所述占用图编写步骤包括：

根据当前点云片段内的点的信息，被前点云片段内的点投影到的位置对应的数值为1，未被投影到的位置对应的数值为0。

较佳的，所述最优偏移选择步骤通过率失真优化的方式对每一种偏移情况进行编码效果测试，比较编码的误差以及压缩效果。

根据本发明提供的一种点云投影编码的块内偏移优化系统，包括：

位置搜索模块：在待投影的二维平面上每插入一个点云片段的投影时进行预设步长的位置搜索；

判断模块：判断搜索到的位置是否可以作为当前点云片段插入的位置；

二次搜索模块：对可插入的位置进行水平和/或竖直方向0至B个位置的偏移；

占用图编写模块：根据当前点云片段内的点的信息，对偏移后的位置进行编写得到占用图；

占用图编码模块：对占用图进行编码，编码的精度为B+1，B为正整数；

最优偏移选择模块：对每一种偏移情况进行编码效果测试，选择最优的偏移。

较佳的，所述位置搜索模块包括：

较佳的，所述判断模块判断搜索到的位置是否可以作为当前点云片段插入的位置的方法包括：安全距离检测算法、自适应旋转算法。

较佳的，所述占用图编写模块包括：

较佳的，所述最优偏移选择模块通过率失真优化的方式对每一种偏移情况进行编码效果测试，比较编码的误差以及压缩效果。

与现有技术相比，本发明具有如下的有益效果：

本发明通过对于投影位置的微调来检测更优的投影坐标，使占用图中被占用的区域更多的被点云投影位置所覆盖，以减小失真，提升点云渲染的精确度。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的流程图；

图2为点云投影位置搜索示意图；

图3为块内偏移对于占用图编码的改进效果示意图；

图4为基于块内偏移优化的点云投影编码算法流程示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

如图1所示，本发明提供的一种点云投影编码的块内偏移优化方法，包括：

位置搜索步骤包括：

对宽为W、高位H的二维平面进行步长为N的位置搜索，搜索到的位置包括：(0，0)，(0，N)，(0，2N)，...(0，H)，(N，0)，(N，N)，(N，2N),...(N,H)，...(W，H)。

判断步骤判断搜索到的位置是否可以作为当前点云片段插入的位置的方法包括：安全距离检测算法、自适应旋转算法。

占用图编写步骤包括：

最优偏移选择步骤通过率失真优化的方式对每一种偏移情况进行编码效果测试，比较编码的误差以及压缩效果。

实施例一

点云投影编码的投影位置搜索方式，需先规定二维待投影平面的宽与高，分别用变量W与H表示。之后每在二维平面上插入一个新的点云片段的投影时，都需要进行位置搜索，具体的搜索步长为16，用变量occupancy resolution表示。

例如，对于如图2所示的二维网格上，以(0,0)，(0,16)，(0,32)……(0，H)，(16,0)，(16,16)，(16,32)……(W，H-16)，(W,H)这类的坐标位置进行检索，通过例如，但不仅限于安全距离检测算法，自适应旋转算法等方式，来确认坐标位置是否可以作为当前点云片段的插入位置。

当确认检索到的位置可以作为当前片段的插入位置时，将根据点云片段内具体的点的信息，来对于被占用的二维位置进行占用图的编写。具体的，若当前坐标被点云片段内的点投影到，则占用图对应位置数值为1；否则，则占用图对应位置数值为0。

占用图作为记录被投影二维平面上有效信息位置的数据，在对其进行编码时，若进行允许失真的编码，往往选择编码精度为2或者4，用变量occupancy precision表示。

例如，如图3所示，若编码精度为4，则在进行占用图编码时，将原始占用图根据步长4划分为多个以4为边长的子占用图块，每个子占用图块中包含16个原始占用图位置，若这些原始占用图位置中有数值不为1的位置，则将整体子占用图块用数值1表示；否则，将整体子占用图快用数字0表示。通过这样的步骤，可以有效的将原始占用图的数据量减小，进行后续的高效占用图编码。但这样可能存在，子占用图块中被占用的部分较少，但是却被整体标志为1的情况，因此引入的误差明显。

本发明在现有的点云投影编码方案的基础上，优化点云的投影位置选择策略。具体的，在现有的点云位置检测算法的基础上，若根据检测步长检测到可以作为当前点云片段的插入位置时，需再进行二次块内偏移搜索。

二次搜索的具体过程为，对于确定的插入位置，进行水平方向0～B个位置的偏移，竖直方向0～B个位置的偏移，其中B的值取为occupancy precision的值减一。由于occupancy precision的值在允许失真的编码策略中，选择为2或者4，因此偏移的信息可以使用一个2或者4字节的变量offset来表示。

具体的，若occupancy precision的值为2，则一共有4种可能的偏移情况；若occupancy precision的值为4，则一共有16种可能的偏移情况。

不同的偏移情况下，点云片段对于占用图的子占用图块的占用率不同，即可以通过偏移，提升或者降低标记为1的子占用图块中数值为1的位置的数量，影响引入的编码误差。

可以通过率失真优化的方式，对于每一种偏移情况进行具体编码效果的测试，比较其编码的误差以及压缩效果，可分别以峰值信噪比(PSNR)以及码率(Rate)作为判定标准。并以PSNR-Rate为基础，选择最优的偏移情况。

以最优的偏移情况下点云投影的插入位置来，进行后续的占用图生成，压缩编码等后续处理。

如图4所示，基于块内偏移优化的点云投影编码算法流程包括点云片段划分，片段投影，块内偏移，图片生成，图片填充，占用图生成，视频压缩等步骤。先对点云片段进行三维划分，将划分好的片段投影到二维平面上，再通过块内偏移来优化投影的结果，对未被投影到的二维位置填充信息，并用占用图来表示被投影位置，最后借助二维视频编码工具对投影获得的视频进行编码。

本发明所涉及的块内偏移优化算法将与现有的点云投影编码算法良好的结合，在进行块内自适应偏移之后，并不影响后续的各项处理步骤，并可以进一步优化点云编码的整体性能。

在上述一种点云投影编码的块内偏移优化方法的基础上，本发明还提供一种点云投影编码的块内偏移优化系统，包括：

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims

1.一种点云投影编码的块内偏移优化方法，其特征在于，包括：

二次搜索步骤：对可插入的位置进行水平和/或竖直方向0至B个步长的位置偏移；

2.根据权利要求1所述的点云投影编码的块内偏移优化方法，其特征在于，所述位置搜索步骤包括：

3.根据权利要求1所述的点云投影编码的块内偏移优化方法，其特征在于，所述判断步骤判断搜索到的位置是否可以作为当前点云片段插入的位置的方法包括：安全距离检测算法、自适应旋转算法。

4.根据权利要求1所述的点云投影编码的块内偏移优化方法，其特征在于，所述占用图编写步骤包括：

5.根据权利要求1所述的点云投影编码的块内偏移优化方法，其特征在于，所述最优偏移选择步骤通过率失真优化的方式对每一种偏移情况进行编码效果测试，比较编码的误差以及压缩效果。

6.一种点云投影编码的块内偏移优化系统，其特征在于，包括：

二次搜索模块：对可插入的位置进行水平和/或竖直方向0至B个步长的位置偏移；

7.根据权利要求6所述的点云投影编码的块内偏移优化系统，其特征在于，所述位置搜索模块包括：

8.根据权利要求6所述的点云投影编码的块内偏移优化系统，其特征在于，所述判断模块判断搜索到的位置是否可以作为当前点云片段插入的位置的方法包括：安全距离检测算法、自适应旋转算法。

9.根据权利要求6所述的点云投影编码的块内偏移优化系统，其特征在于，所述占用图编写模块包括：

10.根据权利要求6所述的点云投影编码的块内偏移优化系统，其特征在于，所述最优偏移选择模块通过率失真优化的方式对每一种偏移情况进行编码效果测试，比较编码的误差以及压缩效果。