CN112449171B - 点云分视角传输的编码方法、系统及介质 - Google Patents
点云分视角传输的编码方法、系统及介质 Download PDFInfo
- Publication number
- CN112449171B CN112449171B CN201910827750.9A CN201910827750A CN112449171B CN 112449171 B CN112449171 B CN 112449171B CN 201910827750 A CN201910827750 A CN 201910827750A CN 112449171 B CN112449171 B CN 112449171B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- segments
- normal vector
- observed
- cloud segments
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供了一种点云分视角传输的编码方法，包括：点云片段确定步骤：根据观测视角来确定对应的点云片段，获得一系列被划分到对应视角类别的点云片段；分视角传输编码步骤：根据获得的一系列被划分到对应视角类别的点云片段，采用分视角传输方案，对于需要观测到的视角进行高清晰度的编码传输，对于不需要被观察得到的视角进行较低清晰度的编码传输。本发明提供了一种对于新型的点云媒体进行根据用户视角自适应调整的传输策略，不需要对目前的点云传输策略进行较大修改，可以较好的结合目前的高压缩率的编码算法，在不损失用户主要视角的体验质量的同时，节约传输所消耗的资源，实现了分视角传输的目的。
Description
技术领域
本发明涉及媒体呈现技术领域，具体地，涉及点云分视角传输的编码方法、系统及介质。
背景技术
近年来，随着人们对于沉浸式媒体体验的需求日益增长，以及三维扫描技术的飞速发展，三维数据已经展现出来越来越重要的应用价值，包括可以利用在机器视觉，自动导航，文物保护，医疗诊断等场景中。
作为一种新兴的三维媒体格式，点云可以更加真实和细致地记录和描述三维对象或三维场景。点云数据是通过对三维对象的表面扫描，记录其三维坐标，并可能记录和每一个坐标所关联的包括颜色，反射强度，法向量等在内的属性信息。现代三维扫描技术发展迅速，人们可以获取极高精度的三维扫描结果，但着也伴随着巨大的数据量。
为了解决点云数据巨大的数据量带来的计算负担，对于点云的压缩编码算法已经有了较多的研究，也有一些点云压缩的标准化的讨论。目前针对应用于点云编码传输的典型压缩方案，是通过分片段投影将三维点云数据转换为二维图片进行处理。这种方案利用现有的视频编码工具，对于点云进行编码传输，其中需要依次进行对于点云的分法向量划分，细划分，片段投影，空白填充等步骤实现对于点云的分片段投影，之后可以借助HEVC等视频编码技术对于投影获得的二维数据进行编码传输。通过这种方法实现了对于点云序列的整体压缩传输。
但是在用户的实际应用场景中，只能从一定视角出发，并不能完整的观察到点云呈现出来的所有信息，例如，从正面观察进行媒体消费时，对于点云对象的背面的信息是观测不到的。同时，如果根据点云压缩典型方案来实施点云传输，由于对于能观察到的视角和不能观察到的视角，进行了相同精确度的压缩，提供相同清晰度的呈现，这将会对于传输的带宽等提出不必要的需求。对于这种由于点云的遮挡带来的不必要的信息量，当前的对于点云序列的整体压缩传输方案并没有提出相应的解决方案。如何在不影响观测质量的前提下，减小这种信息冗余，使之适应于实际用户应用场景，是亟待解决的关键问题。
专利文献CN104778691B(申请号：201510160208.4)公开了一种三维点云数据的精简处理方法。本发明主要解决了现有对三维点云进行精简的方法存在的三维物体表面特征保留不好、重建的效果不好和计算量大的技术问题。本发明利用采集点云数据时Kinect相机同步得到的彩色图像中的信息对三维点云进行精简，该方法将彩色图与点云结合起来进行精简，能够避免采集及精简过程造成的物体表面一些曲率没有显著变化但却是特征信息的点云数据的丢失；可以根据物体本身的灰度信息设定相应的精简率进行精简；也可以根据主观因素保留自己认为比较重要的特征点，选择性的精简点云。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种点云分视角传输的编码方法、系统及介质。
根据本发明提供的一种点云分视角传输的编码方法，包括：
点云片段确定步骤：根据观测视角来确定对应的点云片段，获得一系列被划分到对应视角类别的点云片段；
分视角传输编码步骤：根据获得的一系列被划分到对应视角类别的点云片段，采用分视角传输方案，对于需要观测到的视角进行高清晰度的编码传输，对于不需要被观察得到的视角进行较低清晰度的编码传输。
优选地，所述点云片段确定步骤：
根据点云的法向量来进行片段划分，计算点云中每一个点的法向量与6个标准法向量之间的距离，取距离最近的标准法向量为点的类别，来将所有的点划分为6个大类，即6个大类的点云片段，之后再将这6个大类的点云片段进行连接组件提取，将6个大类的点云片段重新划分，获得重新划分后的点云片段；
所述6个标准法向量为：
(1，0，0)，(-1，0，0)，(0，1，0)，(0，-1，0)，(0，0，1)，(0，0，-1)；
所述连接组件提取指：将6个大类的点云片段，根据点与点之间的空间距离以及点与点之间的邻接关系，将点与点之间的空间距离大于预设距离范围且点与点之间不邻接的点云片段划分为更小的点云片段，使重新划分后的点云片段的点与点之间的空间距离小于预设距离范围且点与点之间邻接；
所述重新划分后的点云片段，仍分别属于对应于6个标准法向量的6个类别，然后根据法向量类别对获得的重新划分后的点云片段进行分方向的投影；
通过对于不同视角寻找对应的法向量，然后再确认这些法向量所对应的有哪些点云片段，获得一系列被划分到对应视角类别的点云片段。
优选地，所述分视角传输编码步骤：
所述分视角传输方案包括以下任一种或任多种：不修改点云投影方法的方案、改进点云投影方法的方案、根据用户视角来修改标准法向量方案。
优选地，所述不修改点云投影方法的方案：
对每一个点云片段分配一个参数index，对需要被压缩编码的图片的每一个块分配一个参数列表patch index list，来记录这个块与哪些点云片段相关联；
根据获得的一系列被划分到对应视角类别的点云片段，根据观测视角划分为需要被主要观测的点云片段，以及不需要被主要观测的点云片段；
再根据点云片段与二维片段之间的对应关系，即patch index list，确认哪些被投影到的二维片段是需要被主要观测的，哪些是不需要被主要观测的；
对于需要被主要观测的二维片段所属于的二维块，使用视频压缩技术进行编码时，对其设定较高准确度和较高分辨率的压缩参数；
对于不需要被主要观测的二维片段所属于的二维块，使用视频压缩技术进行编码时，对其设定较低准确度和较低分辨率的压缩参数。
优选地，所述改进点云投影方法的方案包括：
主要观察片段获取步骤：根据获得的一系列被划分到对应视角类别的点云片段，根据观测视角划分为需要被主要观测的点云片段，以及不需要被主要观测的点云片段，即确认了哪些标准法向量所对应的点云片段是需要被主要观察；
所述改进点云投影方法的方案还包括以下任一种：
方案一：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段，根据需要投影到不同的平面上，进行放大或缩小尺寸处理之后，再拼接到一张图片上；
方案二：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段根据需要投影到不同的平面上，根据需求对于这些平面进行放大或缩小尺寸处理之后再压缩编码；
方案三：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段根据他们的标准法向量类别投影到不同的平面上，根据需求对于这些平面进行放大或缩小尺寸处理之后再压缩编码。
优选地，所述根据用户视角来修改标准法向量方案：
观测视角法向量计算步骤：获取用户观测视角的方向，计算该观测视角的法向量，具体过程如下：
对点云对象进行观测时，将被观察点云对象作为相对坐标系的原点，提供用户关于被观察点云对象的相对位置坐标，计算两者这件的位置差值，获得相对的观测视角的方向法向量，表示用户观测视角的方向。
其余标准法向量计算步骤：将该法向量定义为标准法向量之一，即将该法向量与其中一个标准法向量进行旋转映射，然后将其他的标准法向量进行同样的旋转映射处理，在使得总体的修改量较小的前提下，来获取其他对应的五组标准法向量，计算过程如下：
设用户观测视角法向量通式为
将其与标准法向量(1，0，0)设定为旋转映射关系，则其他的五个标准法向量(0，1，0)，(-1，0，0)，(0，-1，0)，(0，0，1)，(0，0，-1)对应的旋转映射的法向量通式分别对应的可表示为：
根据本发明提供的一种点云分视角传输的编码系统，包括：
点云片段确定模块：根据观测视角来确定对应的点云片段，获得一系列被划分到对应视角类别的点云片段；
分视角传输编码模块：根据获得的一系列被划分到对应视角类别的点云片段，采用分视角传输方案，对于需要观测到的视角进行高清晰度的编码传输，对于不需要被观察得到的视角进行较低清晰度的编码传输。
优选地，所述点云片段确定模块：
根据点云的法向量来进行片段划分，计算点云中每一个点的法向量与6个标准法向量之间的距离，取距离最近的标准法向量为点的类别，来将所有的点划分为6个大类，即6个大类的点云片段，之后再将这6个大类的点云片段进行连接组件提取，将6个大类的点云片段重新划分，获得重新划分后的点云片段；
所述6个标准法向量为：
(1，0，0)，(-1，0，0)，(0，1，0)，(0，-1，0)，(0，0，1)，(0，0，-1)；
所述连接组件提取指：将6个大类的点云片段，根据点与点之间的空间距离以及点与点之间的邻接关系，将点与点之间的空间距离大于预设距离范围且点与点之间不邻接的点云片段划分为更小的点云片段，使重新划分后的点云片段的点与点之间的空间距离小于预设距离范围且点与点之间邻接；
所述重新划分后的点云片段，仍分别属于对应于6个标准法向量的6个类别，然后根据法向量类别对获得的重新划分后的点云片段进行分方向的投影；
通过对于不同视角寻找对应的法向量，然后再确认这些法向量所对应的有哪些点云片段，获得一系列被划分到对应视角类别的点云片段；
所述分视角传输编码模块：
所述分视角传输方案包括以下任一种或任多种：不修改点云投影方法的方案、改进点云投影方法的方案、根据用户视角来修改标准法向量方案。
优选地，所述不修改点云投影方法的方案：
对每一个点云片段分配一个参数index，对需要被压缩编码的图片的每一个块分配一个参数列表patch index list，来记录这个块与哪些点云片段相关联；
根据获得的一系列被划分到对应视角类别的点云片段，根据观测视角划分为需要被主要观测的点云片段，以及不需要被主要观测的点云片段；
再根据点云片段与二维片段之间的对应关系，即patch index list，确认哪些被投影到的二维片段是需要被主要观测的，哪些是不需要被主要观测的；
对于需要被主要观测的二维片段所属于的二维块，使用视频压缩技术进行编码时，对其设定较高准确度和较高分辨率的压缩参数；
对于不需要被主要观测的二维片段所属于的二维块，使用视频压缩技术进行编码时，对其设定较低准确度和较低分辨率的压缩参数；
所述改进点云投影方法的方案包括：
主要观察片段获取模块：根据获得的一系列被划分到对应视角类别的点云片段，根据观测视角划分为需要被主要观测的点云片段，以及不需要被主要观测的点云片段，即确认了哪些标准法向量所对应的点云片段是需要被主要观察；
所述改进点云投影方法的方案还包括以下任一种：
方案一：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段，根据需要投影到不同的平面上，进行放大或缩小尺寸处理之后，再拼接到一张图片上；
方案二：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段根据需要投影到不同的平面上，根据需求对于这些平面进行放大或缩小尺寸处理之后再压缩编码；
方案三：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段根据他们的标准法向量类别投影到不同的平面上，根据需求对于这些平面进行放大或缩小尺寸处理之后再压缩编码；
所述根据用户视角来修改标准法向量方案：
观测视角法向量计算模块：获取用户观测视角的方向，计算该观测视角的法向量，具体过程如下：
对点云对象进行观测时，将被观察点云对象作为相对坐标系的原点，提供用户关于被观察点云对象的相对位置坐标，计算两者这件的位置差值，获得相对的观测视角的方向法向量，表示用户观测视角的方向。
其余标准法向量计算模块：将该法向量定义为标准法向量之一，即将该法向量与其中一个标准法向量进行旋转映射，然后将其他的标准法向量进行同样的旋转映射处理，在使得总体的修改量较小的前提下，来获取其他对应的五组标准法向量，计算过程如下：
设用户观测视角法向量通式为
将其与标准法向量(1，0，0)设定为旋转映射关系，则其他的五个标准法向量(0，1，0)，(-1，0，0)，(0，-1，0)，(0，0，1)，(0，0，-1)对应的旋转映射的法向量通式分别对应的可表示为：
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现上述中任一项所述的点云分视角传输的编码方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
本发明提供了一种对于新型的点云媒体进行根据用户视角自适应调整的传输策略，不需要对目前的点云传输策略进行较大修改，可以较好的结合目前的高压缩率的编码算法，在不损失用户主要视角的体验质量的同时，节约传输所消耗的资源，实现了分视角传输的目的。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明提供的根据视角来确认需要被主要观察的法向量对应的平面示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种点云分视角传输的编码方法，包括：
点云片段确定步骤：根据观测视角来确定对应的点云片段，获得一系列被划分到对应视角类别的点云片段；
分视角传输编码步骤：根据获得的一系列被划分到对应视角类别的点云片段，采用分视角传输方案，对于需要观测到的视角进行高清晰度的编码传输，对于不需要被观察得到的视角进行较低清晰度的编码传输。
优选地，所述点云片段确定步骤：
根据点云的法向量来进行片段划分，计算点云中每一个点的法向量与6个标准法向量之间的距离，取距离最近的标准法向量为点的类别，来将所有的点划分为6个大类，即6个大类的点云片段，之后再将这6个大类的点云片段进行连接组件提取，将6个大类的点云片段重新划分，获得重新划分后的点云片段；
所述6个标准法向量为：
(1，0，0)，(-1，0，0)，(0，1，0)，(0，-1，0)，(0，0，1)，(0，0，-1)；
所述连接组件提取指：将6个大类的点云片段，根据点与点之间的空间距离以及点与点之间的邻接关系，将点与点之间的空间距离大于预设距离范围且点与点之间不邻接的点云片段划分为更小的点云片段，使重新划分后的点云片段的点与点之间的空间距离小于预设距离范围且点与点之间邻接；
所述重新划分后的点云片段，仍分别属于对应于6个标准法向量的6个类别，然后根据法向量类别对获得的重新划分后的点云片段进行分方向的投影；
通过对于不同视角寻找对应的法向量，然后再确认这些法向量所对应的有哪些点云片段，获得一系列被划分到对应视角类别的点云片段。
优选地，所述分视角传输编码步骤：
所述分视角传输方案包括以下任一种或任多种：不修改点云投影方法的方案、改进点云投影方法的方案、根据用户视角来修改标准法向量方案。
优选地，所述不修改点云投影方法的方案：
对每一个点云片段分配一个参数index，对需要被压缩编码的图片的每一个块分配一个参数列表patch index list，来记录这个块与哪些点云片段相关联；
根据获得的一系列被划分到对应视角类别的点云片段，根据观测视角划分为需要被主要观测的点云片段，以及不需要被主要观测的点云片段；
再根据点云片段与二维片段之间的对应关系，即patch index list，确认哪些被投影到的二维片段是需要被主要观测的，哪些是不需要被主要观测的；
对于需要被主要观测的二维片段所属于的二维块，使用视频压缩技术进行编码时，对其设定较高准确度和较高分辨率的压缩参数；
对于不需要被主要观测的二维片段所属于的二维块，使用视频压缩技术进行编码时，对其设定较低准确度和较低分辨率的压缩参数。
优选地，所述改进点云投影方法的方案包括：
主要观察片段获取步骤：根据获得的一系列被划分到对应视角类别的点云片段，根据观测视角划分为需要被主要观测的点云片段，以及不需要被主要观测的点云片段，即确认了哪些标准法向量所对应的点云片段是需要被主要观察；如图1所示，为本根据视角来确认需要被主要观察的法向量对应的平面示意图。
所述改进点云投影方法的方案还包括以下任一种：
方案一：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段，根据需要投影到不同的平面上，进行放大或缩小尺寸处理之后，再拼接到一张图片上；
方案二：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段根据需要投影到不同的平面上，根据需求对于这些平面进行放大或缩小尺寸处理之后再压缩编码；
方案三：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段根据他们的标准法向量类别投影到不同的平面上，根据需求对于这些平面进行放大或缩小尺寸处理之后再压缩编码。
优选地，所述根据用户视角来修改标准法向量方案：
观测视角法向量计算步骤：获取用户观测视角的方向，计算该观测视角的法向量，具体过程如下：
对点云对象进行观测时，将被观察点云对象作为相对坐标系的原点，提供用户关于被观察点云对象的相对位置坐标，计算两者这件的位置差值，获得相对的观测视角的方向法向量，表示用户观测视角的方向。
其余标准法向量计算步骤：将该法向量定义为标准法向量之一，即将该法向量与其中一个标准法向量进行旋转映射，然后将其他的标准法向量进行同样的旋转映射处理，在使得总体的修改量较小的前提下，来获取其他对应的五组标准法向量，计算过程如下：
设用户观测视角法向量通式为
将其与标准法向量(1，0，0)设定为旋转映射关系，则其他的五个标准法向量(0，1，0)，(-1，0，0)，(0，-1，0)，(0，0，1)，(0，0，-1)对应的旋转映射的法向量通式分别对应的可表示为：
本发明提供的点云分视角传输的编码系统，可以通过本发明给的点云分视角传输的编码方法的步骤流程实现。本领域技术人员可以将所述点云分视角传输的编码方法，理解为所述点云分视角传输的编码系统的一个优选例。
根据本发明提供的一种点云分视角传输的编码系统，包括：
点云片段确定模块：根据观测视角来确定对应的点云片段，获得一系列被划分到对应视角类别的点云片段；
分视角传输编码模块：根据获得的一系列被划分到对应视角类别的点云片段，采用分视角传输方案，对于需要观测到的视角进行高清晰度的编码传输，对于不需要被观察得到的视角进行较低清晰度的编码传输。
优选地，所述点云片段确定模块：
根据点云的法向量来进行片段划分，计算点云中每一个点的法向量与6个标准法向量之间的距离，取距离最近的标准法向量为点的类别，来将所有的点划分为6个大类，即6个大类的点云片段，之后再将这6个大类的点云片段进行连接组件提取，将6个大类的点云片段重新划分，获得重新划分后的点云片段；
所述6个标准法向量为：
(1，0，0)，(-1，0，0)，(0，1，0)，(0，-1，0)，(0，0，1)，(0，0，-1)；
所述连接组件提取指：将6个大类的点云片段，根据点与点之间的空间距离以及点与点之间的邻接关系，将点与点之间的空间距离大于预设距离范围且点与点之间不邻接的点云片段划分为更小的点云片段，使重新划分后的点云片段的点与点之间的空间距离小于预设距离范围且点与点之间邻接；
所述重新划分后的点云片段，仍分别属于对应于6个标准法向量的6个类别，然后根据法向量类别对获得的重新划分后的点云片段进行分方向的投影；
通过对于不同视角寻找对应的法向量，然后再确认这些法向量所对应的有哪些点云片段，获得一系列被划分到对应视角类别的点云片段；
所述分视角传输编码模块：
所述分视角传输方案包括以下任一种或任多种：不修改点云投影方法的方案、改进点云投影方法的方案、根据用户视角来修改标准法向量方案。
优选地，所述不修改点云投影方法的方案：
对每一个点云片段分配一个参数index，对需要被压缩编码的图片的每一个块分配一个参数列表patch index list，来记录这个块与哪些点云片段相关联；
根据获得的一系列被划分到对应视角类别的点云片段，根据观测视角划分为需要被主要观测的点云片段，以及不需要被主要观测的点云片段；
再根据点云片段与二维片段之间的对应关系，即patch index list，确认哪些被投影到的二维片段是需要被主要观测的，哪些是不需要被主要观测的；
对于需要被主要观测的二维片段所属于的二维块，使用视频压缩技术进行编码时，对其设定较高准确度和较高分辨率的压缩参数；
对于不需要被主要观测的二维片段所属于的二维块，使用视频压缩技术进行编码时，对其设定较低准确度和较低分辨率的压缩参数；
所述改进点云投影方法的方案包括：
主要观察片段获取模块：根据获得的一系列被划分到对应视角类别的点云片段，根据观测视角划分为需要被主要观测的点云片段，以及不需要被主要观测的点云片段，即确认了哪些标准法向量所对应的点云片段是需要被主要观察；
所述改进点云投影方法的方案还包括以下任一种：
方案一：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段，根据需要投影到不同的平面上，进行放大或缩小尺寸处理之后，再拼接到一张图片上；
方案二：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段根据需要投影到不同的平面上，根据需求对于这些平面进行放大或缩小尺寸处理之后再压缩编码；
方案三：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段根据他们的标准法向量类别投影到不同的平面上，根据需求对于这些平面进行放大或缩小尺寸处理之后再压缩编码；
所述根据用户视角来修改标准法向量方案：
观测视角法向量计算模块：获取用户观测视角的方向，计算该观测视角的法向量，具体过程如下：
对点云对象进行观测时，将被观察点云对象作为相对坐标系的原点，提供用户关于被观察点云对象的相对位置坐标，计算两者这件的位置差值，获得相对的观测视角的方向法向量，表示用户观测视角的方向。
其余标准法向量计算模块：将该法向量定义为标准法向量之一，即将该法向量与其中一个标准法向量进行旋转映射，然后将其他的标准法向量进行同样的旋转映射处理，在使得总体的修改量较小的前提下，来获取其他对应的五组标准法向量，计算过程如下：
设用户观测视角法向量通式为
将其与标准法向量(1，0，0)设定为旋转映射关系，则其他的五个标准法向量(0，1，0)，(-1，0，0)，(0，-1，0)，(0，0，1)，(0，0，-1)对应的旋转映射的法向量通式分别对应的可表示为：
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现上述中任一项所述的点云分视角传输的编码方法的步骤。
下面通过优选例，对本发明进行更为具体地说明。
优选例1：
本发明的目的是提供一种分视角的点云传输编码方法。基于目前已有的典型点云压缩方案的基础上，进行修改完善，根据用户的需求，在不同的观测视角，提供不同程度的呈现效果。
本发明基于目前的经典点云序列编码传输方案来进行实现，经典的点云序列编码方法需要依次进行，根据法向量进行片段划分，根据片段连接进行片段细划分，根据法向量进行不同方向投影，对投影平面进行空白填充，对投影获得的视频序列使用例如HEVC的二维编码工具来进行压缩编码。
为了实现在不同视角呈现出不同的呈现效果，可以有很多种实现方法，例如：
(1)可以只编码传输需要观测到的视角对应的数据。
(2)可以分视角分清晰度的进行编码传输。即对于需要观测到的视角进行高清晰度的编码传输，对于不需要被观察得到的视角进行较低清晰度的编码传输。
(3)可以在进行传输分配带宽时，优先分配给需要观测到的视角对应的数据，保证需要被观测到的视角对应的数据拥有充足的带宽进行传输。
(4)可以在进行传输分配带宽时，按照较高比例分配给需要观测到的视角对应的数据，按照较低比例分配给不需要观测到的视角对应的数据。
接下来，我们将以分视角分清晰度传输为例，来说明如何实现分视角传输，除了分视角分清晰度之外，还有许多不同的实现方式。为实现上述目的，本发明提供了以下两种技术方案分别从三个角度来实现：
第一种方案，在经典的点云序列编码的基础上，在获得投影之后的视频序列之后，不改变视频序列的结构，通过修改视频编码工具的编码参数来实现。具体的来说，由于点云序列根据法向量划分为不同的片段，因此我们可以根据视角寻找到对应的视角对应的法向量，进一步寻找到对应的片段，对于这些片段，定位到在二维图片上对应的投影到的片段，然后可以在视频编码工具中分别对于这些片段分配不同的压缩参数。不同的压缩参数可以获得不同的压缩编码效果，例如对于压缩参数量化步长序号quantization step，简称QP值，低的QP值可以获得较高的压缩质量，高的QP值可以获得较低的压缩质量。
对于我们需要的视角对应的二维图片片段，进行高分辨率高精确度压缩，对于不需要的视角对应的二维图片片段进行低分辨率低精确度压缩。
第二种方案，需要修改投影的模式，因此视频序列的结构也将进行相应的修改，但是仍然获得二维视频序列，使用二维编码工具压缩。例如，可以在对于点云进行片段划分和投影之后，对于不需要的视角的点云片段获得的二维片段，进行降采样处理。经过这样处理之后，我们可以获得具有复合分辨率的视频序列，然后使用二维编码工具进行同样分辨率和精确度的压缩。除此之外，我们还提供了其余的一些思路。
第三种方案，可以根据用户的视角来修改标准法向量。目前的动态点云的经典压缩算法是将划分好的点云片段，根据与六个标准法向量之间的关系，划分类别，然后选择其中一种作为主要投影方向，投影到平面上面。基于这种投影方式，可以根据用户视角来修改标准法向量，使用户的视角对应的为投影的正面。
需要说明的是，三种方案之间并不对立，可以互相结合使用，例如可以根据用户视角来修改标准法向量，然后再修改投影模式或者编码参数。
根据上文所述，本发明为了实现“不同视角呈现出不同的呈现效果”，共采用了三种方案。其中，三种方案在不同的策略方面实现分视角编码，彼此之间均可以两两结合，或者三者结合使用。：
优选例2：
本发明所提出的三种实现点云的分视角分清晰度传输的编码方案，具体的实施方案如下：
首先，无论采取哪一种编码方案都需要根据观测视角来确定对应的点云片段。可以在目前的点云序列编码方法的基础上较为简单的实现。经过确定视角对应的点云片段这一步骤，可以获得一系列被划分到对应视角类别的点云片段，这是这也是本专利所提出的点云分视角传输策略中的三种技术方案的前提与基础。具体实现算法如下。
目前的点云序列的经典编码方式，是根据点云的法向量来进行片段划分。通过计算点云中每一个点的法向量与6个标准法向量之间的距离：
(1，0，0)，(-1，0，0)，(0，1，0)，(0，-1，0)，(0，0，1)，(0，0，-1)
取距离最近的标准法向量，来将所有的点划分为了6个大类，即6个大的点云片段。之后再将这6个大的点云片段进行连接组件提取，划分为更加细小的片段。但是这些更小的片段，仍分别属于对于6个标准法向量的6个类别，然后根据法向量类别进行分方向的投影。连接组件提取处理，即将已经分为六大类的点，根据空间距离远近以及点与点之间的邻接关系，划分为更小的点云片段，防止出现在同一片段中的点与点之间距离过大且不相邻的情况。
例如，可以对于每一个划分好的片段，分配一个参数index来标志他们属于哪一个法向量平面的，对应关系如下：
| Index | Plane |
| 0 | (1，0，0) |
| 1 | (-1，0，0) |
| 2 | (0，1，0) |
| 3 | (0，-1，0) |
| 4 | (0，0，1) |
| 5 | (0，0，-1) |
由于进行了对于点云的分法向量投影，因此我们可以通过对于不同视角寻找对应的法向量，然后再确认这些法向量所对应的有哪些点云片段。通过对于不同的视角来确认对应的法向量的方法，可以包括如下：
例如，标准法向量(0，1，0)对应的为从正前方看过去的视角，那么当用户从正前方观测点云对象时，可以确认被主要观测到的是法向量属于(0，1，0)这一类别的那些点云片段。如果不是从标准正向视角观测，被主要观测的点云片段类别更多。
1、不修改点云投影方法的方案：
对于目前的视频压缩技术，例如HEVC视频压缩技术，是通过对于需要压缩的二维图片进行块划分，即进行二维片段均匀划分，然后分别对这些块设定QP偏移值以及其他的一些编码参数进行编码的。
因此可以在获取用户视角的基础上，确认哪些点云片段需要被主要观测。首先可以对每一个点云片段分配一个参数index，然后对需要被压缩编码的图片的每一个块分配一个参数列表patch index list，来记录这个块与哪些点云片段相关联。而这些点云片段在前述划分的过程中，已经根据观测视角被划分为需要被主要观测的点云片段，以及不需要被主要观测的点云片段。因此，可以根据点云片段与二维片段之间的关系，即patchindex list，来确认哪些被投影到的二维片段是需要被主要观测的，哪些是不需要被主要观测的。
(1)对于需要被主要观测的二维片段所属于的二维块，我们在使用视频压缩技术进行编码的时候，对其设定较高准确度和较高分辨率的压缩参数。例如，使用HEVC编码时，设定较低的QP偏移值。
(2)对于不需要被主要观测的二维片段所属于的二维块，我们在使用视频压缩技术进行编码的时候，对其设定较低准确度和较低分辨率的压缩参数。例如，使用HEVC编码时，设定较高的QP偏移值。
2、改进点云投影方法的方案：
除了对不同的二维片段设定不同的编码参数之外，也可以通过修改点云的投影方式来实现点云的分视角分清晰度的编码效果。
目前的经典的点云序列编码方案中，对于各个点云片段投影到二维图片的方法如下：根据各个点云片段的标准法向量类别分方向来进行投影，例如，一个点云片段的标准法向量类别为(1，0，0)，那么进行投影时，这个点云片段的三维坐标(x，y，z)中的(y，z)坐标被用作平面坐标，(x)坐标被用作投影深度。至于投影位置在图片上的哪里，这主要根据节约总体占用空间的方式来进行布局，由左上角开始，依次填充进入二维图片，使得最终的总的占用平面大小最节约。
但是在这种点云投影方案中，没有考虑到视角带来的需求，无论哪一种标准法向量的点云片段都被以同样的分辨率投影到二维图片上，也就意味着无论哪一个视角观测到的点云片段都以相同的分辨率进行投影编码。
针对这种问题，本发明提出对于了对于点云分视角投影的方式优化。并基于这种思想提出了如下的3种优化思路，三种优化思路可并行进行，即择一即可：
(1)在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段，根据需要投影到不同的平面上，进行处理之后，再拼接到一张图片上。
例如，将需要被主要观察的点云片段按照经典方法投影到图片A上，尺寸为1280×1280，将不需要被主要观察的点云片段按照经典方法投影到图片B上，尺寸为1280×1280。然后对于图片B进行缩小处理获得图片C，尺寸为640×640。由于按照经典方法投影时，确保了总占用空间的最小，图片A上被投影到的位置很有可能不超过1/4，因此图片C可以贴在图片A的没有被投影占用到的区域内。
对比优化前后，优化前占用的为1280×1280大小的图片，优化之后占用的仍为1280×1280大小的图片，但是不被主要观察的点云片段占据的平面空间更小了，采取同样的视频编码技术，可以达到根据视角需求来分清晰度编码呈现的目的。
(2)在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段根据需要投影到不同的平面上，根据需求对于这些平面进行处理之后再压缩编码。
例如，将需要被主要观察的点云片段按照经典方法投影到图片A上，将不需要被主要观察的点云片段按照经典方法投影到图片B上，然后对于图片B进行缩小尺寸处理。之后，对于图片A和图片B均进行压缩编码呈现。
对比优化前后，优化前呈现的为一组视频序列，优化之后呈现的为两组视频序列，但是不被主要观察的点云片段由于缩小处理，降低了压缩编码的难度和成本，采取同样的视频编码技术，可以达到根据视角需求来分清晰度编码呈现的目的。
(3)在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段根据他们的标准法向量类别投影到不同的平面上，根据需求对于这些平面进行处理之后再压缩编码。
例如，将各个点云片段按照根据他们的标准法向量类别分别按照经典方法投影到平面A，B，C，D，E，F上。由于可以根据用户的视角来确定哪些标准法向量的点云片段需要被主要观察，因此可以确定这6个平面中，哪些不需要被主要观察，可以进行缩小尺寸处理。通过对点云序列的每一帧进行这种处理之后，可以获得六组视频序列，使用同样的视频编码技术进行编码处理。
对比优化前后，优化前呈现的为一组的视频序列，优化之后呈现的为多组视频序列，但是不被主要观察的点云片段由于缩小处理，降低了压缩编码的难度和成本，采取同样的视频编码技术，可以达到根据视角需求来分清晰度编码呈现的目的。
3、根据用户视角来修改标准法向量：
目前的点云序列的经典编码方式中，点云片段划分依据的标准法向量为以下的六个法向量：
(1，0，0)，(-1，0，0)，(0，1，0)，(0，-1，0)，(0，0，1)，(0，0，-1)
但是这样导致当用户修改观测视角时，主要被观测的投影方向可以能过多。例如，当用户视角为被观测物体的斜上方，则主要被观测的投影面则需要包括被观测物体的正面，侧面，以及上面，即至少有三面。而理想的分视角传输中，主要被观测的投影面最好只有一面，因此上述情况不能达到很好的分视角传输的效果。对此，本发明提出，根据用户的观测视角自适应的调整标准法向量的方向。
首先，可以获取用户观测视角的方向，计算该观测视角的法向量。例如，对点云对象进行观测时，将被观察点云对象作为相对坐标系的原点，提供用户关于被观察点云对象的相对位置坐标，计算两者这件的位置差值，可以获得相对的观测视角的方向法向量，由此来表示用户观测视角的方向。
然后将该法向量定义为标准法向量之一，即将该法向量与其中一个标准法向量进行旋转映射，然后将其他的标准法向量进行同样的旋转映射处理，在使得总体的修改量较小的前提下，来获取其他对应的五组标准法向量。计算公式i如下：
若用户观测视角法向量通式为
需要注意的是，该法向量是进行过归一化处理的，即三个坐标的平方和为1。将其与标准法向量(1，0，0)设定为旋转映射关系，则其他的五个标准法向量(0，1，0)，(-1，0，0)，(0，-1，0)，(0，0，1)，(0，0，-1)对应的旋转映射的法向量通式分别对应的可表示为：
例如，如果获得观测视角的法向量为
则可以获得对应的一组正交的标准法向量为：
之后在进行点云片段划分时，将根据这些新的标准法向量进行点云片段划分，片段投影，视频编码等后续步骤。其中片段投影和视频编码可以采取本发明中所提及的其余两种修改方案。
在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (6)
1.一种点云分视角传输的编码方法，其特征在于，包括：
点云片段确定步骤：根据观测视角来确定对应的点云片段，获得一系列被划分到对应视角类别的点云片段；
分视角传输编码步骤：根据获得的一系列被划分到对应视角类别的点云片段，采用分视角传输方案，对于需要观测到的视角进行高清晰度的编码传输，对于不需要被观察得到的视角进行较低清晰度的编码传输；
所述分视角传输编码步骤中，所述分视角传输方案采用不修改点云投影方法的方案；
所述不修改点云投影方法的方案：
对每一个点云片段分配一个参数index，对需要被压缩编码的图片的每一个块分配一个参数列表patch index list，来记录这个块与哪些点云片段相关联；
根据获得的一系列被划分到对应视角类别的点云片段，根据观测视角划分为需要被主要观测的点云片段，以及不需要被主要观测的点云片段；
再根据点云片段与二维片段之间的对应关系，即patch index list，确认哪些被投影到的二维片段是需要被主要观测的，哪些是不需要被主要观测的；
对于需要被主要观测的二维片段所属于的二维块，使用视频压缩技术进行编码时，对其设定较高准确度和较高分辨率的压缩参数；
对于不需要被主要观测的二维片段所属于的二维块，使用视频压缩技术进行编码时，对其设定较低准确度和较低分辨率的压缩参数。
2.根据权利要求1所述的点云分视角传输的编码方法，其特征在于，所述点云片段确定步骤：
根据点云的法向量来进行片段划分，计算点云中每一个点的法向量与6个标准法向量之间的距离，取距离最近的标准法向量为点的类别，来将所有的点划分为6个大类，即6个大类的点云片段，之后再将这6个大类的点云片段进行连接组件提取，将6个大类的点云片段重新划分，获得重新划分后的点云片段；
所述6个标准法向量为：
(1，0，0)，(-1，0，0)，(0，1，0)，(0，-1，0)，(0，0，1)，(0，0，-1)；
所述连接组件提取指：将6个大类的点云片段，根据点与点之间的空间距离以及点与点之间的邻接关系，将点与点之间的空间距离大于预设距离范围且点与点之间不邻接的点云片段划分为更小的点云片段，使重新划分后的点云片段的点与点之间的空间距离小于预设距离范围且点与点之间邻接；
所述重新划分后的点云片段，仍分别属于对应于6个标准法向量的6个类别，然后根据法向量类别对获得的重新划分后的点云片段进行分方向的投影；
通过对于不同视角寻找对应的法向量，然后再确认这些法向量所对应的有哪些点云片段，获得一系列被划分到对应视角类别的点云片段。
3.根据权利要求2所述的点云分视角传输的编码方法，其特征在于，所述分视角传输编码步骤中，所述分视角传输方案采用改进点云投影方法的方案；
所述改进点云投影方法的方案包括：
主要观察片段获取步骤：根据获得的一系列被划分到对应视角类别的点云片段，根据观测视角划分为需要被主要观测的点云片段，以及不需要被主要观测的点云片段，即确认了哪些标准法向量所对应的点云片段是需要被主要观察；
所述改进点云投影方法的方案还包括以下任一种：
方案一：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段，根据需要投影到不同的平面上，进行放大或缩小尺寸处理之后，再拼接到一张图片上；
方案二：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段根据需要投影到不同的平面上，根据需求对于这些平面进行放大或缩小尺寸处理之后再压缩编码；
方案三：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段根据他们的标准法向量类别投影到不同的平面上，根据需求对于这些平面进行放大或缩小尺寸处理之后再压缩编码。
4.根据权利要求2所述的点云分视角传输的编码方法，其特征在于，所述分视角传输编码步骤中，所述分视角传输方案采用根据用户视角来修改标准法向量方案；
所述根据用户视角来修改标准法向量方案：
观测视角法向量计算步骤：获取用户观测视角的方向，计算该观测视角的法向量，具体过程如下：
对点云对象进行观测时，将被观察点云对象作为相对坐标系的原点，提供用户关于被观察点云对象的相对位置坐标，计算两者这件的位置差值，获得相对的观测视角的方向法向量，表示用户观测视角的方向；
其余标准法向量计算步骤：将该法向量定义为标准法向量之一，即将该法向量与其中一个标准法向量进行旋转映射，然后将其他的标准法向量进行同样的旋转映射处理，在使得总体的修改量较小的前提下，来获取其他对应的五组标准法向量，计算过程如下：
设用户观测视角法向量通式为
将其与标准法向量(1，0，0)设定为旋转映射关系，则其他的五个标准法向量(0，1，0)，(-1，0，0)，(0，-1，0)，(0，0，1)，(0，0，-1)对应的旋转映射的法向量通式分别对应的可表示为：
5.一种点云分视角传输的编码系统，其特征在于，包括：
点云片段确定模块：根据观测视角来确定对应的点云片段，获得一系列被划分到对应视角类别的点云片段；
分视角传输编码模块：根据获得的一系列被划分到对应视角类别的点云片段，采用分视角传输方案，对于需要观测到的视角进行高清晰度的编码传输，对于不需要被观察得到的视角进行较低清晰度的编码传输；所述点云片段确定模块：
根据点云的法向量来进行片段划分，计算点云中每一个点的法向量与6个标准法向量之间的距离，取距离最近的标准法向量为点的类别，来将所有的点划分为6个大类，即6个大类的点云片段，之后再将这6个大类的点云片段进行连接组件提取，将6个大类的点云片段重新划分，获得重新划分后的点云片段；
所述6个标准法向量为：
(1，0，0)，(-1，0，0)，(0，1，0)，(0，-1，0)，(0，0，1)，(0，0，-1)；
所述连接组件提取指：将6个大类的点云片段，根据点与点之间的空间距离以及点与点之间的邻接关系，将点与点之间的空间距离大于预设距离范围且点与点之间不邻接的点云片段划分为更小的点云片段，使重新划分后的点云片段的点与点之间的空间距离小于预设距离范围且点与点之间邻接；
所述重新划分后的点云片段，仍分别属于对应于6个标准法向量的6个类别，然后根据法向量类别对获得的重新划分后的点云片段进行分方向的投影；
通过对于不同视角寻找对应的法向量，然后再确认这些法向量所对应的有哪些点云片段，获得一系列被划分到对应视角类别的点云片段；
所述分视角传输编码模块：
所述分视角传输方案包括以下任一种或任多种：不修改点云投影方法的方案、改进点云投影方法的方案、根据用户视角来修改标准法向量方案；所述不修改点云投影方法的方案：
对每一个点云片段分配一个参数index，对需要被压缩编码的图片的每一个块分配一个参数列表patch index list，来记录这个块与哪些点云片段相关联；
根据获得的一系列被划分到对应视角类别的点云片段，根据观测视角划分为需要被主要观测的点云片段，以及不需要被主要观测的点云片段；
再根据点云片段与二维片段之间的对应关系，即patch index list，确认哪些被投影到的二维片段是需要被主要观测的，哪些是不需要被主要观测的；
对于需要被主要观测的二维片段所属于的二维块，使用视频压缩技术进行编码时，对其设定较高准确度和较高分辨率的压缩参数；
对于不需要被主要观测的二维片段所属于的二维块，使用视频压缩技术进行编码时，对其设定较低准确度和较低分辨率的压缩参数；
所述改进点云投影方法的方案包括：
主要观察片段获取模块：根据获得的一系列被划分到对应视角类别的点云片段，根据观测视角划分为需要被主要观测的点云片段，以及不需要被主要观测的点云片段，即确认了哪些标准法向量所对应的点云片段是需要被主要观察；
所述改进点云投影方法的方案还包括以下任一种：
方案一：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段，根据需要投影到不同的平面上，进行放大或缩小尺寸处理之后，再拼接到一张图片上；
方案二：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段根据需要投影到不同的平面上，根据需求对于这些平面进行放大或缩小尺寸处理之后再压缩编码；
方案三：在确认了哪些标准法向量所对应的点云片段是需要被主要观察的之后，将点云片段根据他们的标准法向量类别投影到不同的平面上，根据需求对于这些平面进行放大或缩小尺寸处理之后再压缩编码；
所述根据用户视角来修改标准法向量方案：
观测视角法向量计算模块：获取用户观测视角的方向，计算该观测视角的法向量，具体过程如下：
对点云对象进行观测时，将被观察点云对象作为相对坐标系的原点，提供用户关于被观察点云对象的相对位置坐标，计算两者这件的位置差值，获得相对的观测视角的方向法向量，表示用户观测视角的方向；
其余标准法向量计算模块：将该法向量定义为标准法向量之一，即将该法向量与其中一个标准法向量进行旋转映射，然后将其他的标准法向量进行同样的旋转映射处理，在使得总体的修改量较小的前提下，来获取其他对应的五组标准法向量，计算过程如下：
设用户观测视角法向量通式为
将其与标准法向量(1，0，0)设定为旋转映射关系，则其他的五个标准法向量(0，1，0)，(-1，0，0)，(0，-1，0)，(0，0，1)，(0，0，-1)对应的旋转映射的法向量通式分别对应的可表示为：
6.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的点云分视角传输的编码方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910827750.9A CN112449171B (zh) | 2019-09-03 | 2019-09-03 | 点云分视角传输的编码方法、系统及介质 |
| PCT/CN2020/112857 WO2021043136A1 (zh) | 2019-09-03 | 2020-09-01 | 点云投影传输方法、接收处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910827750.9A CN112449171B (zh) | 2019-09-03 | 2019-09-03 | 点云分视角传输的编码方法、系统及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112449171A CN112449171A (zh) | 2021-03-05 |
| CN112449171B true CN112449171B (zh) | 2021-10-29 |
Family
ID=74735450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910827750.9A Active CN112449171B (zh) | 2019-09-03 | 2019-09-03 | 点云分视角传输的编码方法、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112449171B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113709093B (zh) * | 2021-03-15 | 2023-08-04 | 上海交通大学 | 一种三维点云的封装方法、装置及介质 |
| CN113141526B (zh) * | 2021-04-27 | 2022-06-07 | 合肥工业大学 | QoE驱动下的联合资源分配的点云视频自适应传输方法 |
| CN113382242B (zh) * | 2021-05-20 | 2023-01-24 | 北京大学深圳研究生院 | 码率控制方法、装置、设备及计算机可读存储介质 |
| CN113395603B (zh) * | 2021-06-25 | 2022-04-01 | 合肥工业大学 | 一种基于模型预测控制的点云视频流自适应传输方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108322727A (zh) * | 2018-02-28 | 2018-07-24 | 北京搜狐新媒体信息技术有限公司 | 一种全景视频传输方法及装置 |
| CN109804633A (zh) * | 2016-09-30 | 2019-05-24 | 交互数字Vc控股公司 | 利用自适应帧内预测的全向视频编码和解码的方法和装置 |
| CN110012279A (zh) * | 2018-01-05 | 2019-07-12 | 上海交通大学 | 基于3d点云数据的分视角压缩和传输方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009128701A1 (en) * | 2008-04-18 | 2009-10-22 | Tele Atlas B.V. | Method of using laser scanned point clouds to create selective compression masks |
-
2019
- 2019-09-03 CN CN201910827750.9A patent/CN112449171B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109804633A (zh) * | 2016-09-30 | 2019-05-24 | 交互数字Vc控股公司 | 利用自适应帧内预测的全向视频编码和解码的方法和装置 |
| CN110012279A (zh) * | 2018-01-05 | 2019-07-12 | 上海交通大学 | 基于3d点云数据的分视角压缩和传输方法及系统 |
| CN108322727A (zh) * | 2018-02-28 | 2018-07-24 | 北京搜狐新媒体信息技术有限公司 | 一种全景视频传输方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 《Compression of 3D Point Clouds Using a Region-Adaptive Hierarchical Transform》;R. L. de Queiroz and P. A. Chou;《EEE Transactions on Image Processing, vol. 25, no. 8, pp. 3947-3956, Aug. 2016, doi: 10.1109/TIP.2016.2575005》;20161231;全文 * |
| 体数据压缩技术综述;吴向阳等;《计算机辅助设计与图形学学报》;20150115(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112449171A (zh) | 2021-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112449171B (zh) | 点云分视角传输的编码方法、系统及介质 | |
| KR102431117B1 (ko) | 포인트 클라우드 맵핑 | |
| US11509933B2 (en) | Method, an apparatus and a computer program product for volumetric video | |
| US7054478B2 (en) | Image conversion and encoding techniques | |
| US9041773B2 (en) | Conversion of 2-dimensional image data into 3-dimensional image data | |
| RU2692432C2 (ru) | Способ и устройство для формирования трехмерного изображения | |
| Salahieh et al. | Test model for immersive video | |
| US20180144212A1 (en) | Method and device for generating an image representative of a cluster of images | |
| DE102018006050A1 (de) | Parallaxenkorrektur in der Virtuellen Realität | |
| US20120293693A1 (en) | Image processing system, image processing method, and program | |
| CN113518996A (zh) | 从多视图视觉数据进行损坏检测 | |
| CN106875331B (zh) | 一种全景图像的非对称映射方法 | |
| TWI712990B (zh) | 用於判定影像之深度圖之方法與裝置、及非暫時性電腦可讀取儲存媒體 | |
| KR20160072165A (ko) | 3d 뷰잉을 위한 깊이 맵의 리매핑 | |
| WO2022126674A1 (zh) | 立体全景图像的质量评价方法、系统 | |
| CN104639933A (zh) | 一种立体视图的深度图实时获取方法及系统 | |
| CN104869386A (zh) | 一种基于分层处理虚拟视点合成方法 | |
| Zhu et al. | An improved depth image based virtual view synthesis method for interactive 3D video | |
| EP2833637A1 (en) | Method for processing a current image of an image sequence, and corresponding computer program and processing device | |
| Jung | A modified model of the just noticeable depth difference and its application to depth sensation enhancement | |
| JP2022533754A (ja) | ボリュメトリック映像の符号化および復号化のための方法、装置、およびコンピュータプログラム製品 | |
| CN104661013A (zh) | 一种基于空间加权的虚拟视点绘制方法 | |
| EP4133719A1 (en) | A method, an apparatus and a computer program product for volumetric video coding | |
| Luo et al. | Depth-aided inpainting for disocclusion restoration of multi-view images using depth-image-based rendering | |
| CN114827615B (zh) | 基于视觉感知与分区的动态点云编码率失真优化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |