CN112449171A - 点云分视角传输的编码方法、系统及介质 - Google Patents

Abstract

本发明提供了一种点云分视角传输的编码方法，包括：点云片段确定步骤：根据观测视角来确定对应的点云片段，获得一系列被划分到对应视角类别的点云片段；分视角传输编码步骤：根据获得的一系列被划分到对应视角类别的点云片段，采用分视角传输方案，对于需要观测到的视角进行高清晰度的编码传输，对于不需要被观察得到的视角进行较低清晰度的编码传输。本发明提供了一种对于新型的点云媒体进行根据用户视角自适应调整的传输策略，不需要对目前的点云传输策略进行较大修改，可以较好的结合目前的高压缩率的编码算法，在不损失用户主要视角的体验质量的同时，节约传输所消耗的资源，实现了分视角传输的目的。

Description

点云分视角传输的编码方法、系统及介质

技术领域

本发明涉及媒体呈现技术领域，具体地，涉及点云分视角传输的编码方法、系 统及介质。

背景技术

近年来，随着人们对于沉浸式媒体体验的需求日益增长，以及三维扫描技术的 飞速发展，三维数据已经展现出来越来越重要的应用价值，包括可以利用在机器视 觉，自动导航，文物保护，医疗诊断等场景中。

作为一种新兴的三维媒体格式，点云可以更加真实和细致地记录和描述三维对象或三维场景。点云数据是通过对三维对象的表面扫描，记录其三维坐标，并可能 记录和每一个坐标所关联的包括颜色，反射强度，法向量等在内的属性信息。现代 三维扫描技术发展迅速，人们可以获取极高精度的三维扫描结果，但着也伴随着巨 大的数据量。

为了解决点云数据巨大的数据量带来的计算负担，对于点云的压缩编码算法已经有了较多的研究，也有一些点云压缩的标准化的讨论。目前针对应用于点云编码 传输的典型压缩方案，是通过分片段投影将三维点云数据转换为二维图片进行处理。 这种方案利用现有的视频编码工具，对于点云进行编码传输，其中需要依次进行对 于点云的分法向量划分，细划分，片段投影，空白填充等步骤实现对于点云的分片 段投影，之后可以借助HEVC等视频编码技术对于投影获得的二维数据进行编码传 输。通过这种方法实现了对于点云序列的整体压缩传输。

但是在用户的实际应用场景中，只能从一定视角出发，并不能完整的观察到点 云呈现出来的所有信息，例如，从正面观察进行媒体消费时，对于点云对象的背面 的信息是观测不到的。同时，如果根据点云压缩典型方案来实施点云传输，由于对 于能观察到的视角和不能观察到的视角，进行了相同精确度的压缩，提供相同清晰 度的呈现，这将会对于传输的带宽等提出不必要的需求。对于这种由于点云的遮挡 带来的不必要的信息量，当前的对于点云序列的整体压缩传输方案并没有提出相应 的解决方案。如何在不影响观测质量的前提下，减小这种信息冗余，使之适应于实 际用户应用场景，是亟待解决的关键问题。

专利文献CN104778691B(申请号：201510160208.4)公开了一种三维点云数据 的精简处理方法。本发明主要解决了现有对三维点云进行精简的方法存在的三维物 体表面特征保留不好、重建的效果不好和计算量大的技术问题。本发明利用采集点 云数据时Kinect相机同步得到的彩色图像中的信息对三维点云进行精简，该方法 将彩色图与点云结合起来进行精简，能够避免采集及精简过程造成的物体表面一些 曲率没有显著变化但却是特征信息的点云数据的丢失；可以根据物体本身的灰度信 息设定相应的精简率进行精简；也可以根据主观因素保留自己认为比较重要的特征 点，选择性的精简点云。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种点云分视角传输的编码方法、系统及介质。

根据本发明提供的一种点云分视角传输的编码方法，包括：

点云片段确定步骤：根据观测视角来确定对应的点云片段，获得一系列被划分 到对应视角类别的点云片段；

分视角传输编码步骤：根据获得的一系列被划分到对应视角类别的点云片段， 采用分视角传输方案，对于需要观测到的视角进行高清晰度的编码传输，对于不需 要被观察得到的视角进行较低清晰度的编码传输。

优选地，所述点云片段确定步骤：

根据点云的法向量来进行片段划分，计算点云中每一个点的法向量与6个标准 法向量之间的距离，取距离最近的标准法向量为点的类别，来将所有的点划分为6 个大类，即6个大类的点云片段，之后再将这6个大类的点云片段进行连接组件提 取，将6个大类的点云片段重新划分，获得重新划分后的点云片段；

所述6个标准法向量为：

(1，0，0)，(-1，0，0)，(0，1，0)，(0，-1，0)，(0，0，1)，(0， 0，-1)；

所述连接组件提取指：将6个大类的点云片段，根据点与点之间的空间距离以 及点与点之间的邻接关系，将点与点之间的空间距离大于预设距离范围且点与点之 间不邻接的点云片段划分为更小的点云片段，使重新划分后的点云片段的点与点之 间的空间距离小于预设距离范围且点与点之间邻接；

所述重新划分后的点云片段，仍分别属于对应于6个标准法向量的6个类别， 然后根据法向量类别对获得的重新划分后的点云片段进行分方向的投影；

通过对于不同视角寻找对应的法向量，然后再确认这些法向量所对应的有哪些点云片段，获得一系列被划分到对应视角类别的点云片段。

优选地，所述分视角传输编码步骤：

所述分视角传输方案包括以下任一种或任多种：不修改点云投影方法的方案、 改进点云投影方法的方案、根据用户视角来修改标准法向量方案。

优选地，所述不修改点云投影方法的方案：

对每一个点云片段分配一个参数index，对需要被压缩编码的图片的每一个块分配一个参数列表patch index list，来记录这个块与哪些点云片段相关联；

根据获得的一系列被划分到对应视角类别的点云片段，根据观测视角划分为需要被 主要观测的点云片段，以及不需要被主要观测的点云片段；

再根据点云片段与二维片段之间的对应关系，即patch index list，确认哪些被投 影到的二维片段是需要被主要观测的，哪些是不需要被主要观测的；

对于需要被主要观测的二维片段所属于的二维块，使用视频压缩技术进行编码时，对其设定较高准确度和较高分辨率的压缩参数；

对于不需要被主要观测的二维片段所属于的二维块，使用视频压缩技术进行编码时，对其设定较低准确度和较低分辨率的压缩参数。

优选地，所述改进点云投影方法的方案包括：

主要观察片段获取步骤：根据获得的一系列被划分到对应视角类别的点云片段，根据观测视角划分为需要被主要观测的点云片段，以及不需要被主要观测的点云片 段，即确认了哪些标准法向量所对应的点云片段是需要被主要观察；

所述改进点云投影方法的方案还包括以下任一种：

方案一：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段，根据需要投影到不同的平面上，进行放大或缩小尺寸处理之后，再拼 接到一张图片上；

方案二：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段根据需要投影到不同的平面上，根据需求对于这些平面进行放大或缩小 尺寸处理之后再压缩编码；

方案三：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段根据他们的标准法向量类别投影到不同的平面上，根据需求对于这些平 面进行放大或缩小尺寸处理之后再压缩编码。

优选地，所述根据用户视角来修改标准法向量方案：

观测视角法向量计算步骤：获取用户观测视角的方向，计算该观测视角的法向量，具体过程如下：

对点云对象进行观测时，将被观察点云对象作为相对坐标系的原点，提供用户 关于被观察点云对象的相对位置坐标，计算两者这件的位置差值，获得相对的观测 视角的方向法向量，表示用户观测视角的方向。

其余标准法向量计算步骤：将该法向量定义为标准法向量之一，即将该法向量 与其中一个标准法向量进行旋转映射，然后将其他的标准法向量进行同样的旋转映 射处理，在使得总体的修改量较小的前提下，来获取其他对应的五组标准法向量， 计算过程如下：

设用户观测视角法向量通式为

将其与标准法向量(1，0，0)设定为旋转映射关系，则其他的五个标准法向量(0，1，0)，(-1，0，0)，(0， -1，0)，(0，0，1)，(0，0，-1)对应的旋转映射的法向量通式分别对应的可 表示为：

根据本发明提供的一种点云分视角传输的编码系统，包括：

点云片段确定模块：根据观测视角来确定对应的点云片段，获得一系列被划分 到对应视角类别的点云片段；

分视角传输编码模块：根据获得的一系列被划分到对应视角类别的点云片段， 采用分视角传输方案，对于需要观测到的视角进行高清晰度的编码传输，对于不需 要被观察得到的视角进行较低清晰度的编码传输。

优选地，所述点云片段确定模块：

根据点云的法向量来进行片段划分，计算点云中每一个点的法向量与6个标准 法向量之间的距离，取距离最近的标准法向量为点的类别，来将所有的点划分为6 个大类，即6个大类的点云片段，之后再将这6个大类的点云片段进行连接组件提 取，将6个大类的点云片段重新划分，获得重新划分后的点云片段；

所述6个标准法向量为：

(1，0，0)，(-1，0，0)，(0，1，0)，(0，-1，0)，(0，0，1)，(0， 0，-1)；

所述连接组件提取指：将6个大类的点云片段，根据点与点之间的空间距离以 及点与点之间的邻接关系，将点与点之间的空间距离大于预设距离范围且点与点之 间不邻接的点云片段划分为更小的点云片段，使重新划分后的点云片段的点与点之 间的空间距离小于预设距离范围且点与点之间邻接；

所述重新划分后的点云片段，仍分别属于对应于6个标准法向量的6个类别， 然后根据法向量类别对获得的重新划分后的点云片段进行分方向的投影；

通过对于不同视角寻找对应的法向量，然后再确认这些法向量所对应的有哪些点云片段，获得一系列被划分到对应视角类别的点云片段；

所述分视角传输编码模块：

所述分视角传输方案包括以下任一种或任多种：不修改点云投影方法的方案、 改进点云投影方法的方案、根据用户视角来修改标准法向量方案。

优选地，所述不修改点云投影方法的方案：

对每一个点云片段分配一个参数index，对需要被压缩编码的图片的每一个块分配一个参数列表patch index list，来记录这个块与哪些点云片段相关联；

根据获得的一系列被划分到对应视角类别的点云片段，根据观测视角划分为需要被 主要观测的点云片段，以及不需要被主要观测的点云片段；

再根据点云片段与二维片段之间的对应关系，即patch index list，确认哪些被投 影到的二维片段是需要被主要观测的，哪些是不需要被主要观测的；

对于需要被主要观测的二维片段所属于的二维块，使用视频压缩技术进行编码时，对其设定较高准确度和较高分辨率的压缩参数；

对于不需要被主要观测的二维片段所属于的二维块，使用视频压缩技术进行编码时，对其设定较低准确度和较低分辨率的压缩参数；

所述改进点云投影方法的方案包括：

主要观察片段获取模块：根据获得的一系列被划分到对应视角类别的点云片段，根据观测视角划分为需要被主要观测的点云片段，以及不需要被主要观测的点云片 段，即确认了哪些标准法向量所对应的点云片段是需要被主要观察；

所述改进点云投影方法的方案还包括以下任一种：

方案一：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段，根据需要投影到不同的平面上，进行放大或缩小尺寸处理之后，再拼 接到一张图片上；

方案二：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段根据需要投影到不同的平面上，根据需求对于这些平面进行放大或缩小 尺寸处理之后再压缩编码；

方案三：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段根据他们的标准法向量类别投影到不同的平面上，根据需求对于这些平 面进行放大或缩小尺寸处理之后再压缩编码；

所述根据用户视角来修改标准法向量方案：

观测视角法向量计算模块：获取用户观测视角的方向，计算该观测视角的法向量，具体过程如下：

对点云对象进行观测时，将被观察点云对象作为相对坐标系的原点，提供用户 关于被观察点云对象的相对位置坐标，计算两者这件的位置差值，获得相对的观测 视角的方向法向量，表示用户观测视角的方向。

其余标准法向量计算模块：将该法向量定义为标准法向量之一，即将该法向量 与其中一个标准法向量进行旋转映射，然后将其他的标准法向量进行同样的旋转映 射处理，在使得总体的修改量较小的前提下，来获取其他对应的五组标准法向量， 计算过程如下：

设用户观测视角法向量通式为

将其与标准法向量(1，0，0)设定为旋转映射关系，则其他的五个标准法向量(0，1，0)，(-1，0，0)，(0， -1，0)，(0，0，1)，(0，0，-1)对应的旋转映射的法向量通式分别对应的可 表示为：

根据本发明提供的一种存储有计算机程序的计算机可读存储介质，其特征在于，所 述计算机程序被处理器执行时实现上述中任一项所述的点云分视角传输的编码方法的步骤。

与现有技术相比，本发明具有如下的有益效果：

本发明提供了一种对于新型的点云媒体进行根据用户视角自适应调整的传输策略，不需要对目前的点云传输策略进行较大修改，可以较好的结合目前的高压缩率 的编码算法，在不损失用户主要视角的体验质量的同时，节约传输所消耗的资源， 实现了分视角传输的目的。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明提供的根据视角来确认需要被主要观察的法向量对应的平面示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人 员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于 本发明的保护范围。

根据本发明提供的一种点云分视角传输的编码方法，包括：

点云片段确定步骤：根据观测视角来确定对应的点云片段，获得一系列被划分 到对应视角类别的点云片段；

分视角传输编码步骤：根据获得的一系列被划分到对应视角类别的点云片段， 采用分视角传输方案，对于需要观测到的视角进行高清晰度的编码传输，对于不需 要被观察得到的视角进行较低清晰度的编码传输。

优选地，所述点云片段确定步骤：

根据点云的法向量来进行片段划分，计算点云中每一个点的法向量与6个标准 法向量之间的距离，取距离最近的标准法向量为点的类别，来将所有的点划分为6 个大类，即6个大类的点云片段，之后再将这6个大类的点云片段进行连接组件提 取，将6个大类的点云片段重新划分，获得重新划分后的点云片段；

所述6个标准法向量为：

(1，0，0)，(-1，0，0)，(0，1，0)，(0，-1，0)，(0，0，1)，(0， 0，-1)；

所述连接组件提取指：将6个大类的点云片段，根据点与点之间的空间距离以 及点与点之间的邻接关系，将点与点之间的空间距离大于预设距离范围且点与点之 间不邻接的点云片段划分为更小的点云片段，使重新划分后的点云片段的点与点之 间的空间距离小于预设距离范围且点与点之间邻接；

所述重新划分后的点云片段，仍分别属于对应于6个标准法向量的6个类别， 然后根据法向量类别对获得的重新划分后的点云片段进行分方向的投影；

通过对于不同视角寻找对应的法向量，然后再确认这些法向量所对应的有哪些点云片段，获得一系列被划分到对应视角类别的点云片段。

优选地，所述分视角传输编码步骤：

所述分视角传输方案包括以下任一种或任多种：不修改点云投影方法的方案、 改进点云投影方法的方案、根据用户视角来修改标准法向量方案。

优选地，所述不修改点云投影方法的方案：

对每一个点云片段分配一个参数index，对需要被压缩编码的图片的每一个块分配一个参数列表patch index list，来记录这个块与哪些点云片段相关联；

根据获得的一系列被划分到对应视角类别的点云片段，根据观测视角划分为需要被 主要观测的点云片段，以及不需要被主要观测的点云片段；

再根据点云片段与二维片段之间的对应关系，即patch index list，确认哪些被投 影到的二维片段是需要被主要观测的，哪些是不需要被主要观测的；

对于需要被主要观测的二维片段所属于的二维块，使用视频压缩技术进行编码时，对其设定较高准确度和较高分辨率的压缩参数；

对于不需要被主要观测的二维片段所属于的二维块，使用视频压缩技术进行编码时，对其设定较低准确度和较低分辨率的压缩参数。

优选地，所述改进点云投影方法的方案包括：

主要观察片段获取步骤：根据获得的一系列被划分到对应视角类别的点云片段，根据观测视角划分为需要被主要观测的点云片段，以及不需要被主要观测的点云片 段，即确认了哪些标准法向量所对应的点云片段是需要被主要观察；

所述改进点云投影方法的方案还包括以下任一种：

方案一：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段，根据需要投影到不同的平面上，进行放大或缩小尺寸处理之后，再拼 接到一张图片上；

方案二：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段根据需要投影到不同的平面上，根据需求对于这些平面进行放大或缩小 尺寸处理之后再压缩编码；

方案三：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段根据他们的标准法向量类别投影到不同的平面上，根据需求对于这些平 面进行放大或缩小尺寸处理之后再压缩编码。

优选地，所述根据用户视角来修改标准法向量方案：

观测视角法向量计算步骤：获取用户观测视角的方向，计算该观测视角的法向量，具体过程如下：

对点云对象进行观测时，将被观察点云对象作为相对坐标系的原点，提供用户 关于被观察点云对象的相对位置坐标，计算两者这件的位置差值，获得相对的观测 视角的方向法向量，表示用户观测视角的方向。

其余标准法向量计算步骤：将该法向量定义为标准法向量之一，即将该法向量 与其中一个标准法向量进行旋转映射，然后将其他的标准法向量进行同样的旋转映 射处理，在使得总体的修改量较小的前提下，来获取其他对应的五组标准法向量， 计算过程如下：

设用户观测视角法向量通式为

将其与标准法向量(1，0，0)设定为旋转映射关系，则其他的五个标准法向量(0，1，0)，(-1，0，0)，(0， -1，0)，(0，0，1)，(0，0，-1)对应的旋转映射的法向量通式分别对应的可 表示为：

本发明提供的点云分视角传输的编码系统，可以通过本发明给的点云分视角传输的编码方法的步骤流程实现。本领域技术人员可以将所述点云分视角传输的编码方法， 理解为所述点云分视角传输的编码系统的一个优选例。

根据本发明提供的一种点云分视角传输的编码系统，包括：

点云片段确定模块：根据观测视角来确定对应的点云片段，获得一系列被划分 到对应视角类别的点云片段；

分视角传输编码模块：根据获得的一系列被划分到对应视角类别的点云片段， 采用分视角传输方案，对于需要观测到的视角进行高清晰度的编码传输，对于不需 要被观察得到的视角进行较低清晰度的编码传输。

优选地，所述点云片段确定模块：

根据点云的法向量来进行片段划分，计算点云中每一个点的法向量与6个标准 法向量之间的距离，取距离最近的标准法向量为点的类别，来将所有的点划分为6 个大类，即6个大类的点云片段，之后再将这6个大类的点云片段进行连接组件提 取，将6个大类的点云片段重新划分，获得重新划分后的点云片段；

所述6个标准法向量为：

(1，0，0)，(-1，0，0)，(0，1，0)，(0，-1，0)，(0，0，1)，(0， 0，-1)；

所述连接组件提取指：将6个大类的点云片段，根据点与点之间的空间距离以 及点与点之间的邻接关系，将点与点之间的空间距离大于预设距离范围且点与点之 间不邻接的点云片段划分为更小的点云片段，使重新划分后的点云片段的点与点之 间的空间距离小于预设距离范围且点与点之间邻接；

所述重新划分后的点云片段，仍分别属于对应于6个标准法向量的6个类别， 然后根据法向量类别对获得的重新划分后的点云片段进行分方向的投影；

通过对于不同视角寻找对应的法向量，然后再确认这些法向量所对应的有哪些点云片段，获得一系列被划分到对应视角类别的点云片段；

所述分视角传输编码模块：

所述分视角传输方案包括以下任一种或任多种：不修改点云投影方法的方案、 改进点云投影方法的方案、根据用户视角来修改标准法向量方案。

优选地，所述不修改点云投影方法的方案：

对每一个点云片段分配一个参数index，对需要被压缩编码的图片的每一个块分配一个参数列表patch index list，来记录这个块与哪些点云片段相关联；

根据获得的一系列被划分到对应视角类别的点云片段，根据观测视角划分为需要被 主要观测的点云片段，以及不需要被主要观测的点云片段；

再根据点云片段与二维片段之间的对应关系，即patch index list，确认哪些被投 影到的二维片段是需要被主要观测的，哪些是不需要被主要观测的；

对于需要被主要观测的二维片段所属于的二维块，使用视频压缩技术进行编码时，对其设定较高准确度和较高分辨率的压缩参数；

对于不需要被主要观测的二维片段所属于的二维块，使用视频压缩技术进行编码时，对其设定较低准确度和较低分辨率的压缩参数；

所述改进点云投影方法的方案包括：

主要观察片段获取模块：根据获得的一系列被划分到对应视角类别的点云片段，根据观测视角划分为需要被主要观测的点云片段，以及不需要被主要观测的点云片 段，即确认了哪些标准法向量所对应的点云片段是需要被主要观察；

所述改进点云投影方法的方案还包括以下任一种：

方案一：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段，根据需要投影到不同的平面上，进行放大或缩小尺寸处理之后，再拼 接到一张图片上；

方案二：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段根据需要投影到不同的平面上，根据需求对于这些平面进行放大或缩小 尺寸处理之后再压缩编码；

方案三：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段根据他们的标准法向量类别投影到不同的平面上，根据需求对于这些平 面进行放大或缩小尺寸处理之后再压缩编码；

所述根据用户视角来修改标准法向量方案：

观测视角法向量计算模块：获取用户观测视角的方向，计算该观测视角的法向量，具体过程如下：

对点云对象进行观测时，将被观察点云对象作为相对坐标系的原点，提供用户 关于被观察点云对象的相对位置坐标，计算两者这件的位置差值，获得相对的观测 视角的方向法向量，表示用户观测视角的方向。

其余标准法向量计算模块：将该法向量定义为标准法向量之一，即将该法向量 与其中一个标准法向量进行旋转映射，然后将其他的标准法向量进行同样的旋转映 射处理，在使得总体的修改量较小的前提下，来获取其他对应的五组标准法向量， 计算过程如下：

设用户观测视角法向量通式为

将其与标准法向量(1，0，0)设定为旋转映射关系，则其他的五个标准法向量(0，1，0)，(-1，0，0)，(0，-1，0)，(0，0，1)，(0，0，-1)对应的旋转映射的法向量通式分别对应的可 表示为：

根据本发明提供的一种存储有计算机程序的计算机可读存储介质，其特征在于，所 述计算机程序被处理器执行时实现上述中任一项所述的点云分视角传输的编码方法的步骤。

下面通过优选例，对本发明进行更为具体地说明。

优选例1：

本发明的目的是提供一种分视角的点云传输编码方法。基于目前已有的典型点云压缩方案的基础上，进行修改完善，根据用户的需求，在不同的观测视角，提供 不同程度的呈现效果。

本发明基于目前的经典点云序列编码传输方案来进行实现，经典的点云序列编码方法需要依次进行，根据法向量进行片段划分，根据片段连接进行片段细划分， 根据法向量进行不同方向投影，对投影平面进行空白填充，对投影获得的视频序列 使用例如HEVC的二维编码工具来进行压缩编码。

为了实现在不同视角呈现出不同的呈现效果，可以有很多种实现方法，例如：

(1)可以只编码传输需要观测到的视角对应的数据。

(2)可以分视角分清晰度的进行编码传输。即对于需要观测到的视角进行高清 晰度的编码传输，对于不需要被观察得到的视角进行较低清晰度的编码传输。

(3)可以在进行传输分配带宽时，优先分配给需要观测到的视角对应的数据， 保证需要被观测到的视角对应的数据拥有充足的带宽进行传输。

(4)可以在进行传输分配带宽时，按照较高比例分配给需要观测到的视角对应 的数据，按照较低比例分配给不需要观测到的视角对应的数据。

接下来，我们将以分视角分清晰度传输为例，来说明如何实现分视角传输，除 了分视角分清晰度之外，还有许多不同的实现方式。为实现上述目的，本发明提供 了以下两种技术方案分别从三个角度来实现：

第一种方案，在经典的点云序列编码的基础上，在获得投影之后的视频序列之后，不改变视频序列的结构，通过修改视频编码工具的编码参数来实现。具体的来 说，由于点云序列根据法向量划分为不同的片段，因此我们可以根据视角寻找到对 应的视角对应的法向量，进一步寻找到对应的片段，对于这些片段，定位到在二维 图片上对应的投影到的片段，然后可以在视频编码工具中分别对于这些片段分配不 同的压缩参数。不同的压缩参数可以获得不同的压缩编码效果，例如对于压缩参数 量化步长序号quantizationstep，简称QP值，低的QP值可以获得较高的压缩质 量，高的QP值可以获得较低的压缩质量。

对于我们需要的视角对应的二维图片片段，进行高分辨率高精确度压缩，对于 不需要的视角对应的二维图片片段进行低分辨率低精确度压缩。

第二种方案，需要修改投影的模式，因此视频序列的结构也将进行相应的修改，但是仍然获得二维视频序列，使用二维编码工具压缩。例如，可以在对于点云进行 片段划分和投影之后，对于不需要的视角的点云片段获得的二维片段，进行降采样 处理。经过这样处理之后，我们可以获得具有复合分辨率的视频序列，然后使用二 维编码工具进行同样分辨率和精确度的压缩。除此之外，我们还提供了其余的一些 思路。

第三种方案，可以根据用户的视角来修改标准法向量。目前的动态点云的经典 压缩算法是将划分好的点云片段，根据与六个标准法向量之间的关系，划分类别， 然后选择其中一种作为主要投影方向，投影到平面上面。基于这种投影方式，可以 根据用户视角来修改标准法向量，使用户的视角对应的为投影的正面。

需要说明的是，三种方案之间并不对立，可以互相结合使用，例如可以根据用 户视角来修改标准法向量，然后再修改投影模式或者编码参数。

根据上文所述，本发明为了实现“不同视角呈现出不同的呈现效果”，共采用 了三种方案。其中，三种方案在不同的策略方面实现分视角编码，彼此之间均可以 两两结合，或者三者结合使用。：

优选例2：

本发明所提出的三种实现点云的分视角分清晰度传输的编码方案，具体的实施方案如下：

首先，无论采取哪一种编码方案都需要根据观测视角来确定对应的点云片段。 可以在目前的点云序列编码方法的基础上较为简单的实现。经过确定视角对应的点云片 段这一步骤，可以获得一系列被划分到对应视角类别的点云片段，这是这也是本专利所 提出的点云分视角传输策略中的三种技术方案的前提与基础。具体实现算法如下。

目前的点云序列的经典编码方式，是根据点云的法向量来进行片段划分。通过 计算点云中每一个点的法向量与6个标准法向量之间的距离：

(1，0，0)，(-1，0，0)，(0，1，0)，(0，-1，0)，(0，0，1)，(0， 0，-1)

取距离最近的标准法向量，来将所有的点划分为了6个大类，即6个大的点云 片段。之后再将这6个大的点云片段进行连接组件提取，划分为更加细小的片段。 但是这些更小的片段，仍分别属于对于6个标准法向量的6个类别，然后根据法向 量类别进行分方向的投影。连接组件提取处理，即将已经分为六大类的点，根据空 间距离远近以及点与点之间的邻接关系，划分为更小的点云片段，防止出现在同一 片段中的点与点之间距离过大且不相邻的情况。

例如，可以对于每一个划分好的片段，分配一个参数index来标志他们属于哪 一个法向量平面的，对应关系如下：

Index	Plane
		0	(1，0，0)
1	(-1，0，0)
		2	(0，1，0)
3	(0，-1，0)
		4	(0，0，1)
5	(0，0，-1)

由于进行了对于点云的分法向量投影，因此我们可以通过对于不同视角寻找对应的法向量，然后再确认这些法向量所对应的有哪些点云片段。通过对于不同的视 角来确认对应的法向量的方法，可以包括如下：

例如，标准法向量(0，1，0)对应的为从正前方看过去的视角，那么当用户从 正前方观测点云对象时，可以确认被主要观测到的是法向量属于(0，1，0)这一 类别的那些点云片段。如果不是从标准正向视角观测，被主要观测的点云片段类别 更多。

1、不修改点云投影方法的方案：

对于目前的视频压缩技术，例如HEVC视频压缩技术，是通过对于需要压缩的二 维图片进行块划分，即进行二维片段均匀划分，然后分别对这些块设定QP偏移值 以及其他的一些编码参数进行编码的。

因此可以在获取用户视角的基础上，确认哪些点云片段需要被主要观测。首先 可以对每一个点云片段分配一个参数index，然后对需要被压缩编码的图片的每一 个块分配一个参数列表patch index list，来记录这个块与哪些点云片段相关联。 而这些点云片段在前述划分的过程中，已经根据观测视角被划分为需要被主要观测 的点云片段，以及不需要被主要观测的点云片段。因此，可以根据点云片段与二维 片段之间的关系，即patchindex list，来确认哪些被投影到的二维片段是需要被 主要观测的，哪些是不需要被主要观测的。

(1)对于需要被主要观测的二维片段所属于的二维块，我们在使用视频压缩技 术进行编码的时候，对其设定较高准确度和较高分辨率的压缩参数。例如，使用HEVC 编码时，设定较低的QP偏移值。

(2)对于不需要被主要观测的二维片段所属于的二维块，我们在使用视频压缩 技术进行编码的时候，对其设定较低准确度和较低分辨率的压缩参数。例如，使用 HEVC编码时，设定较高的QP偏移值。

2、改进点云投影方法的方案：

除了对不同的二维片段设定不同的编码参数之外，也可以通过修改点云的投影方式来实现点云的分视角分清晰度的编码效果。

目前的经典的点云序列编码方案中，对于各个点云片段投影到二维图片的方法如下：根据各个点云片段的标准法向量类别分方向来进行投影，例如，一个点云片 段的标准法向量类别为(1，0，0)，那么进行投影时，这个点云片段的三维坐标 (x，y，z)中的(y，z)坐标被用作平面坐标，(x)坐标被用作投影深度。至于 投影位置在图片上的哪里，这主要根据节约总体占用空间的方式来进行布局，由左 上角开始，依次填充进入二维图片，使得最终的总的占用平面大小最节约。

但是在这种点云投影方案中，没有考虑到视角带来的需求，无论哪一种标准法 向量的点云片段都被以同样的分辨率投影到二维图片上，也就意味着无论哪一个视 角观测到的点云片段都以相同的分辨率进行投影编码。

针对这种问题，本发明提出对于了对于点云分视角投影的方式优化。并基于这 种思想提出了如下的3种优化思路，三种优化思路可并行进行，即择一即可：

(1)在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将 点云片段，根据需要投影到不同的平面上，进行处理之后，再拼接到一张图片上。

例如，将需要被主要观察的点云片段按照经典方法投影到图片A上，尺寸为 1280×1280，将不需要被主要观察的点云片段按照经典方法投影到图片B上，尺寸 为1280×1280。然后对于图片B进行缩小处理获得图片C，尺寸为640×640。由于 按照经典方法投影时，确保了总占用空间的最小，图片A上被投影到的位置很有可 能不超过1/4，因此图片C可以贴在图片A的没有被投影占用到的区域内。

对比优化前后，优化前占用的为1280×1280大小的图片，优化之后占用的仍为1280×1280大小的图片，但是不被主要观察的点云片段占据的平面空间更小了，采 取同样的视频编码技术，可以达到根据视角需求来分清晰度编码呈现的目的。

(2)在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将 点云片段根据需要投影到不同的平面上，根据需求对于这些平面进行处理之后再压 缩编码。

例如，将需要被主要观察的点云片段按照经典方法投影到图片A上，将不需要 被主要观察的点云片段按照经典方法投影到图片B上，然后对于图片B进行缩小尺 寸处理。之后，对于图片A和图片B均进行压缩编码呈现。

对比优化前后，优化前呈现的为一组视频序列，优化之后呈现的为两组视频序列，但是不被主要观察的点云片段由于缩小处理，降低了压缩编码的难度和成本， 采取同样的视频编码技术，可以达到根据视角需求来分清晰度编码呈现的目的。

(3)在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将 点云片段根据他们的标准法向量类别投影到不同的平面上，根据需求对于这些平面 进行处理之后再压缩编码。

例如，将各个点云片段按照根据他们的标准法向量类别分别按照经典方法投影到平面A，B，C，D，E，F上。由于可以根据用户的视角来确定哪些标准法向量的 点云片段需要被主要观察，因此可以确定这6个平面中，哪些不需要被主要观察， 可以进行缩小尺寸处理。通过对点云序列的每一帧进行这种处理之后，可以获得六 组视频序列，使用同样的视频编码技术进行编码处理。

对比优化前后，优化前呈现的为一组的视频序列，优化之后呈现的为多组视频 序列，但是不被主要观察的点云片段由于缩小处理，降低了压缩编码的难度和成本， 采取同样的视频编码技术，可以达到根据视角需求来分清晰度编码呈现的目的。

3、根据用户视角来修改标准法向量：

目前的点云序列的经典编码方式中，点云片段划分依据的标准法向量为以下的六个法向量：

(1，0，0)，(-1，0，0)，(0，1，0)，(0，-1，0)，(0，0，1)，(0， 0，-1)

但是这样导致当用户修改观测视角时，主要被观测的投影方向可以能过多。例如，当用户视角为被观测物体的斜上方，则主要被观测的投影面则需要包括被观测 物体的正面，侧面，以及上面，即至少有三面。而理想的分视角传输中，主要被观 测的投影面最好只有一面，因此上述情况不能达到很好的分视角传输的效果。对此， 本发明提出，根据用户的观测视角自适应的调整标准法向量的方向。

首先，可以获取用户观测视角的方向，计算该观测视角的法向量。例如，对点 云对象进行观测时，将被观察点云对象作为相对坐标系的原点，提供用户关于被观 察点云对象的相对位置坐标，计算两者这件的位置差值，可以获得相对的观测视角 的方向法向量，由此来表示用户观测视角的方向。

然后将该法向量定义为标准法向量之一，即将该法向量与其中一个标准法向量进行旋转映射，然后将其他的标准法向量进行同样的旋转映射处理，在使得总体的 修改量较小的前提下，来获取其他对应的五组标准法向量。计算公式i如下：

若用户观测视角法向量通式为

需要注意的是，该法向量是进行过归一化处理的，即三个坐标的平方和为1。将其与标准法向量(1，0，0)设 定为旋转映射关系，则其他的五个标准法向量(0，1，0)，(-1，0，0)，(0， -1，0)，(0，0，1)，(0，0，-1)对应的旋转映射的法向量通式分别对应的可 表示为：

例如，如果获得观测视角的法向量为

则可以获得对应的一 组正交的标准法向量为：

(0，0，1)，(0，0，-1)

之后在进行点云片段划分时，将根据这些新的标准法向量进行点云片段划分， 片段投影，视频编码等后续步骤。其中片段投影和视频编码可以采取本发明中所提 及的其余两种修改方案。

在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、 “竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示 的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装 置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的 限制。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、 装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系 统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以 被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件 内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以 是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上 述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改， 这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的 特征可以任意相互组合。

Claims (10)

1.一种点云分视角传输的编码方法，其特征在于，包括：

点云片段确定步骤：根据观测视角来确定对应的点云片段，获得一系列被划分到对应视角类别的点云片段；

分视角传输编码步骤：根据获得的一系列被划分到对应视角类别的点云片段，采用分视角传输方案，对于需要观测到的视角进行高清晰度的编码传输，对于不需要被观察得到的视角进行较低清晰度的编码传输。

2.根据权利要求1所述的点云分视角传输的编码方法，其特征在于，所述点云片段确定步骤：

根据点云的法向量来进行片段划分，计算点云中每一个点的法向量与6个标准法向量之间的距离，取距离最近的标准法向量为点的类别，来将所有的点划分为6个大类，即6个大类的点云片段，之后再将这6个大类的点云片段进行连接组件提取，将6个大类的点云片段重新划分，获得重新划分后的点云片段；

所述6个标准法向量为：

(1，0，0)，(-1，0，0)，(0，1，0)，(0，-1，0)，(0，0，1)，(0，0，-1)；

所述连接组件提取指：将6个大类的点云片段，根据点与点之间的空间距离以及点与点之间的邻接关系，将点与点之间的空间距离大于预设距离范围且点与点之间不邻接的点云片段划分为更小的点云片段，使重新划分后的点云片段的点与点之间的空间距离小于预设距离范围且点与点之间邻接；

所述重新划分后的点云片段，仍分别属于对应于6个标准法向量的6个类别，然后根据法向量类别对获得的重新划分后的点云片段进行分方向的投影；

通过对于不同视角寻找对应的法向量，然后再确认这些法向量所对应的有哪些点云片段，获得一系列被划分到对应视角类别的点云片段。

3.根据权利要求2所述的点云分视角传输的编码方法，其特征在于，所述分视角传输编码步骤：

所述分视角传输方案包括以下任一种或任多种：不修改点云投影方法的方案、改进点云投影方法的方案、根据用户视角来修改标准法向量方案。

4.根据权利要求3所述的点云分视角传输的编码方法，其特征在于，所述不修改点云投影方法的方案：

对每一个点云片段分配一个参数index，对需要被压缩编码的图片的每一个块分配一个参数列表patch index list，来记录这个块与哪些点云片段相关联；

根据获得的一系列被划分到对应视角类别的点云片段，根据观测视角划分为需要被主要观测的点云片段，以及不需要被主要观测的点云片段；

再根据点云片段与二维片段之间的对应关系，即patch index list，确认哪些被投影到的二维片段是需要被主要观测的，哪些是不需要被主要观测的；

对于需要被主要观测的二维片段所属于的二维块，使用视频压缩技术进行编码时，对其设定较高准确度和较高分辨率的压缩参数；

对于不需要被主要观测的二维片段所属于的二维块，使用视频压缩技术进行编码时，对其设定较低准确度和较低分辨率的压缩参数。

5.根据权利要求3所述的点云分视角传输的编码方法，其特征在于，所述改进点云投影方法的方案包括：

主要观察片段获取步骤：根据获得的一系列被划分到对应视角类别的点云片段，根据观测视角划分为需要被主要观测的点云片段，以及不需要被主要观测的点云片段，即确认了哪些标准法向量所对应的点云片段是需要被主要观察；

所述改进点云投影方法的方案还包括以下任一种：

方案一：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段，根据需要投影到不同的平面上，进行放大或缩小尺寸处理之后，再拼接到一张图片上；

方案二：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段根据需要投影到不同的平面上，根据需求对于这些平面进行放大或缩小尺寸处理之后再压缩编码；

方案三：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段根据他们的标准法向量类别投影到不同的平面上，根据需求对于这些平面进行放大或缩小尺寸处理之后再压缩编码。

6.根据权利要求5所述的点云分视角传输的编码方法，其特征在于，所述根据用户视角来修改标准法向量方案：

观测视角法向量计算步骤：获取用户观测视角的方向，计算该观测视角的法向量，具体过程如下：

对点云对象进行观测时，将被观察点云对象作为相对坐标系的原点，提供用户关于被观察点云对象的相对位置坐标，计算两者这件的位置差值，获得相对的观测视角的方向法向量，表示用户观测视角的方向。

其余标准法向量计算步骤：将该法向量定义为标准法向量之一，即将该法向量与其中一个标准法向量进行旋转映射，然后将其他的标准法向量进行同样的旋转映射处理，在使得总体的修改量较小的前提下，来获取其他对应的五组标准法向量，计算过程如下：

设用户观测视角法向量通式为

将其与标准法向量(1，0，0)设定为旋转映射关系，则其他的五个标准法向量(0，1，0)，(-1，0，0)，(0，-1，0)，(0，0，1)，(0，0，-1)对应的旋转映射的法向量通式分别对应的可表示为：

7.一种点云分视角传输的编码系统，其特征在于，包括：

点云片段确定模块：根据观测视角来确定对应的点云片段，获得一系列被划分到对应视角类别的点云片段；

分视角传输编码模块：根据获得的一系列被划分到对应视角类别的点云片段，采用分视角传输方案，对于需要观测到的视角进行高清晰度的编码传输，对于不需要被观察得到的视角进行较低清晰度的编码传输。

8.根据权利要求7所述的点云分视角传输的编码系统，其特征在于，所述点云片段确定模块：

根据点云的法向量来进行片段划分，计算点云中每一个点的法向量与6个标准法向量之间的距离，取距离最近的标准法向量为点的类别，来将所有的点划分为6个大类，即6个大类的点云片段，之后再将这6个大类的点云片段进行连接组件提取，将6个大类的点云片段重新划分，获得重新划分后的点云片段；

所述6个标准法向量为：

(1，0，0)，(-1，0，0)，(0，1，0)，(0，-1，0)，(0，0，1)，(0，0，-1)；

所述连接组件提取指：将6个大类的点云片段，根据点与点之间的空间距离以及点与点之间的邻接关系，将点与点之间的空间距离大于预设距离范围且点与点之间不邻接的点云片段划分为更小的点云片段，使重新划分后的点云片段的点与点之间的空间距离小于预设距离范围且点与点之间邻接；

所述重新划分后的点云片段，仍分别属于对应于6个标准法向量的6个类别，然后根据法向量类别对获得的重新划分后的点云片段进行分方向的投影；

通过对于不同视角寻找对应的法向量，然后再确认这些法向量所对应的有哪些点云片段，获得一系列被划分到对应视角类别的点云片段；

所述分视角传输编码模块：

所述分视角传输方案包括以下任一种或任多种：不修改点云投影方法的方案、改进点云投影方法的方案、根据用户视角来修改标准法向量方案。

9.根据权利要求8所述的点云分视角传输的编码系统，其特征在于，所述不修改点云投影方法的方案：

对每一个点云片段分配一个参数index，对需要被压缩编码的图片的每一个块分配一个参数列表patch index list，来记录这个块与哪些点云片段相关联；

根据获得的一系列被划分到对应视角类别的点云片段，根据观测视角划分为需要被主要观测的点云片段，以及不需要被主要观测的点云片段；

再根据点云片段与二维片段之间的对应关系，即patch index list，确认哪些被投影到的二维片段是需要被主要观测的，哪些是不需要被主要观测的；

对于需要被主要观测的二维片段所属于的二维块，使用视频压缩技术进行编码时，对其设定较高准确度和较高分辨率的压缩参数；

对于不需要被主要观测的二维片段所属于的二维块，使用视频压缩技术进行编码时，对其设定较低准确度和较低分辨率的压缩参数；

所述改进点云投影方法的方案包括：

主要观察片段获取模块：根据获得的一系列被划分到对应视角类别的点云片段，根据观测视角划分为需要被主要观测的点云片段，以及不需要被主要观测的点云片段，即确认了哪些标准法向量所对应的点云片段是需要被主要观察；

所述改进点云投影方法的方案还包括以下任一种：

方案一：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段，根据需要投影到不同的平面上，进行放大或缩小尺寸处理之后，再拼接到一张图片上；

方案二：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段根据需要投影到不同的平面上，根据需求对于这些平面进行放大或缩小尺寸处理之后再压缩编码；

方案三：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段根据他们的标准法向量类别投影到不同的平面上，根据需求对于这些平面进行放大或缩小尺寸处理之后再压缩编码；

所述根据用户视角来修改标准法向量方案：

观测视角法向量计算模块：获取用户观测视角的方向，计算该观测视角的法向量，具体过程如下：

对点云对象进行观测时，将被观察点云对象作为相对坐标系的原点，提供用户关于被观察点云对象的相对位置坐标，计算两者这件的位置差值，获得相对的观测视角的方向法向量，表示用户观测视角的方向。

其余标准法向量计算模块：将该法向量定义为标准法向量之一，即将该法向量与其中一个标准法向量进行旋转映射，然后将其他的标准法向量进行同样的旋转映射处理，在使得总体的修改量较小的前提下，来获取其他对应的五组标准法向量，计算过程如下：

设用户观测视角法向量通式为

将其与标准法向量(1，0，0)设定为旋转映射关系，则其他的五个标准法向量(0，1，0)，(-1，0，0)，(0，-1，0)，(0，0，1)，(0，0，-1)对应的旋转映射的法向量通式分别对应的可表示为：

10.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的点云分视角传输的编码方法的步骤。

Images