CN115690359B - 一种点云处理方法、装置、电子设备及存储介质 - Google Patents
一种点云处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115690359B CN115690359B CN202211326541.4A CN202211326541A CN115690359B CN 115690359 B CN115690359 B CN 115690359B CN 202211326541 A CN202211326541 A CN 202211326541A CN 115690359 B CN115690359 B CN 115690359B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- dimensional
- grid
- points
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 53
- 238000012545 processing Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 11
- 239000006185 dispersion Substances 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 abstract description 27
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本申请提供一种点云处理方法、装置、电子设备及存储介质，所述点云处理方法，包括：将目标对象的三维点云投影至预先构建的二维平面，获得所述二维平面中的与各个三维点云点对应的二维投影点；基于所述二维平面中的二维投影点，构建二维投影点网格；根据所述二维投影点网格，以及所述二维投影点与所述三维点云点之间的投影关系，获得所述三维点云的点云网格。该方法通过将三维点云投影至预先构建的二维平面，将对三维点云的点云网格构建问题转化成了二维投影点网格构建问题，并在获得二维投影点网格后，根据二维投影点与三维点云点之间的对应关系，获得三维点云的点云网格，降低了点云网格的构建难度，提高了点云网格的构建效率。
Description
技术领域
本申请涉及计算机视觉技术领域，具体涉及一种点云处理方法、装置、电子设备及存储介质。
背景技术
随着立体视觉技术的发展，在构建虚拟模型时，对虚拟模型的要求变得越来越高。
对虚拟模型的构建包括对虚拟模型的点云网格构建和对虚拟模型的纹理构建。现有技术中，在对虚拟模型的点云网格构建过程中，通常是在获得三维点云后直接对三维点云进行网格构建，但受限于三维点云的数量和点云的空间分布，直接对三维点云进行网格构建的效率和准确度较低。
因此，如何快速对三维点云进行网格构建成为本领域技术人员亟需解决的技术问题。
发明内容
本申请提供一种点云处理方法、装置、电子设备及存储介质，以快速对三维点云进行网格构建，以便于通过三维点云获得虚拟模型。
根据本申请实施例的第一方面，提供了一种点云处理方法，包括：
将目标对象的三维点云投影至预先构建的二维平面，获得所述二维平面中的与各个三维点云点对应的二维投影点；
基于所述二维平面中的二维投影点，构建二维投影点网格；
根据所述二维投影点网格，以及所述二维投影点与所述三维点云点之间的投影关系，获得所述三维点云的点云网格。
在本申请的一种可选实施方式中，还包括：
基于所述目标对象的图像数据对所述三维点云的各个点云网格进行颜色填充，获得所述目标对象的三维模型。
在本申请的一种可选实施方式中，所述预先构建的二维平面，使得所述目标对象的三维点云在该二维平面上的二维投影点的离散程度符合设定的离散阈值。
在本申请的一种可选实施方式中，所述二维平面通过以下方式构建：
获得所述二维平面的平面方程，以及各三维点云点与所述平面方程之间的投影方程；
根据所述平面方程和所述投影方程，获得所述三维点云点在所述二维平面中的二维投影点坐标；
根据各二维投影点坐标和各二维投影点的几何中心坐标，确定所述二维投影点在所述二维平面中的离散损失；
根据所述离散损失，对所述二维平面的平面方程进行参数调整。
在本申请的一种可选实施方式中，所述基于所述二维平面中的二维投影点，构建二维投影点网格，包括：
对所述二维平面中的二维投影点进行网格构建，得到所述二维投影点网格。
在本申请的一种可选实施方式中，所述目标对象的图像数据通过相机阵列采集获得；
所述基于所述目标对象的图像数据对所述三维点云的各个点云网格进行颜色填充，获得所述目标对象的三维模型，包括：
从与各个点云网格对应的相机序列中，确定与各个点云网格对应的视角相机；其中，点云网格对应的相机序列中包括所述相机阵列中的能够拍摄到该点云网格的至少一个相机；
基于各视角相机拍摄的图像数据，分别对各视角的点云网格进行颜色填充，获得所述目标对象的三维模型；其中，具有相同视角相机的点云网格为同一视角的点云网格。
在本申请的一种可选实施方式中，所述从与各个点云网格对应的相机序列中，确定与各个点云网格对应的视角相机，包括：
对于任意点云网格，根据与该点云网格对应的相机序列的图像数据，构建该点云网格的复杂度损失；
根据与该点云网格对应的相机序列，以及与该点云网格相邻的任一点云网格的相机序列，确定所述该点云网格与该点云网格相邻的任一点云网格之间的平滑度损失；
根据所述该点云网格的复杂度损失和平滑度损失，从所述与该点云网格对应的相机序列中，确定该点云网格对应的视角相机。
在本申请的一种可选实施方式中，所述基于各视角相机拍摄的图像数据，分别对各视角的点云网格进行颜色填充，获得所述目标对象的三维模型，包括：
基于各视角相机拍摄的图像数据，分别对各视角的点云网格进行颜色填充，获得颜色填充后各视角的点云网格的灰度信息；
根据各视角的点云网格的灰度信息，对所述各视角点云网格之间的接缝处进行灰度调整，获得所述目标对象的三维模型。
在本申请的一种可选实施方式中，在将目标对象的三维点云投影至预先构建的二维平面，获得所述二维平面中的与各个三维点云点对应的二维投影点的步骤之前，还包括：
对所述三维点云进行点云区域划分处理，获得多个三维点云区域；
所述将目标对象的三维点云投影至预先构建的二维平面，获得所述二维平面中的与各个三维点云点对应的二维投影点，包括：分别所述多个三维点云区域的三维点云点投影至二维平面，获得所述二维平面中的与各个三维点云点对应的二维投影点；
所述基于所述二维平面中的二维投影点，构建二维投影点网格，包括：基于各个三维点云区域的三维点云点对应二维投影点，分别构建与各个三维点云区域对应的二维投影点网格；
所述根据所述二维投影点网格，以及所述二维投影点与所述三维点云点之间的投影关系，获得所述三维点云的点云网格，包括：根据各个三维点云区域对应的二维投影点网格，以及所述二维投影点与所述三维点云点之间的投影关系，获得所述三维点云的点云网格。
在本申请的一种可选实施方式中，所述根据各个三维点云区域对应的二维投影点网格，以及所述二维投影点与所述三维点云点之间的投影关系，获得所述三维点云的点云网格，包括：
根据各个三维点云区域对应的二维投影点网格，以及所述二维投影点与所述三维点云点之间的投影关系，获得各个三维点云区域的区域点云网格；
确定相邻三维点云区域的区域点云网格之间的边界点云点；
对所述边界点云点进行网格剖分，基网格剖分结果，对所述边界点云点进行合并处理，获得所述三维点云的点云网格。
在本申请的一种可选实施方式中，还包括：
基于所述目标对象的图像数据，分别对各三维点云区域的区域点云网格进行颜色填充，获得颜色填充后各三维点云区域的灰度信息；
根据各三维点云区域的灰度信息，对各三维点云区域之间的接缝处进行灰度调整，获得所述目标对象的三维模型。
在本申请的一种可选实施方式中，所述根据各三维点云区域的灰度信息，对各三维点云区域之间的接缝处进行灰度调整，获得所述目标对象的三维模型，包括：
根据所述各三维点云区域的灰度信息，构建所述接缝处与相邻三维点云区域之间的灰度损失函数；
根据所述灰度损失函数，调整所述三维点云区域之间的接缝处的灰度信息，获得所述目标对象的三维模型。
根据本申请实施例的第二方面，提供了一种点云处理装置，包括：
第一单元，用于将目标对象的三维点云投影至预先构建的二维平面，获得所述二维平面中的与各个三维点云点对应的二维投影点；
第二单元，用于基于所述二维平面中的二维投影点，构建二维投影点网格；
第三单元，用于根据所述二维投影点网格，以及所述二维投影点与所述三维点云点之间的投影关系，获得所述三维点云的点云网格。
根据本申请实施例的第三方面，提供了一种电子设备，包括：
处理器；
存储器，用于存储方法的程序，所述程序在被处理器读取运行时，执行上述点云处理方法。
根据本申请实施例的第四方面，提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述程序在被执行时执行上述点云处理方法。
与现有技术相比，本申请具有以下优点：
本申请提供一种点云处理方法、装置、电子设备及存储介质，所述点云处理方法，将三维点云投影至预先构建的二维平面，获得二维平面中的与各个三维点云点对应的二维投影点，并基于各二维投影点，构建二维投影点网格；最后，根据所述二维投影点网格，以及所述二维投影点与各三维点云点之间的投影关系，获得三维点云的点云网格。该方法通过将三维点云投影至预先构建的二维平面，将对三维点云的点云网格构建问题转化成了二维投影点网格构建问题，并在获得二维投影点网格后，根据二维投影点与三维点云点之间的对应关系，获得三维点云的点云网格，降低了点云网格的构建难度，提高了点云网格的构建效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请一实施例提供的点云处理方法应用场景示意图；
图2为本申请另一实施例提供的点云处理方法流程图；
图3为本申请另一实施例提供的二维平面计算示意图；
图4为本申请另一实施例提供的区域点云网格合并示意图；
图5为本申请另一实施例提供的不同视角的点云网格进行颜色填充后的示意图；
图6为本申请另一实施例提供的点云处理装置结构示意图；
图7为本申请另一实施例提供的电子设备结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
随着立体视觉技术的发展，在构建虚拟模型时，对虚拟模型的要求变得越来越高。
对虚拟模型的构建包括对虚拟模型的点云网格构建和对虚拟模型的纹理构建。现有技术中，在对虚拟模型的点云网格构建过程中，通常是在获得三维点云后直接对三维点云进行网格构建，但受限于三维点云的数量和点云的空间分布，直接对三维点云进行网格构建的效率和准确度较低。
因此，如何快速对三维点云进行网格构建成为本领域技术人员亟需解决的技术问题。
为了解决上述技术问题，本申请提供一种点云处理方法、装置、电子设备及存储介质。
示例性实施环境
首先，为了便于理解本申请提供的点云处理方法的具体应用场景，以下结合所述点云处理方法的一种具体应用场景对所述点云处理方法进行详细介绍。
请参考图1，图1为本申请一实施例提供的点云处理方法应用场景示意图。在本场景实施例中，所述点云处理方法应用于通过计算机构建人物三维模型的场景。
图1中包括：图像数据101、计算机102、人物三维模型103；其中，计算机102配置有区域划分单元1021、网格构建单元1022、区域合并单元1023，以及颜色填充单元1024。
图像数据101可以理解为通过相机阵列拍摄得到的目标人物的图像数据；人物三维模型103可以理解为通过人物建模技术获得的所述目标人物的3D虚拟形象。
在获得图像数据101后，将图像数据101输入计算机102，以使区域划分单元1021对图像数据101进行三维点云重建和三维点云区域划分，获得多个三维点云区域以及各三维点云区域的三维点云点；将重建获得的所述三维点云，以及所述三维点云区域的划分结果发送至网格构建单元1022。
网格构建单元1022，用于分别将所述多个三维点云区域的三维点云点投影至二维平面，获得所述二维平面中的与各个三维点云点对应的二维投影点；基于所述二维投影点，分别构建与各个三维点云区域对应的二维投影点网格；并根据所述二维投影点网格，以及所述二维投影点与所述三维点云点之间的投影关系，获得各个三维点云区域的区域点云网格；将各个三维点云区域的区域点云网格发送至区域合并单元1023。
区域合并单元1023，接收各个三维点云区域的区域点云网格，并将对相邻三维点云区域的区域点云网格之间的边界点云点进行网格剖分，并基于网格剖分结果，对边界点云点进行合并处理，获得三维点云的点云网格，并将所述三维点云的点云网格发送至颜色填充单元。
颜色填充单元1024，在获得三维点云网格后，基于相机阵列拍摄得到的图像数据101对各点云网格进行颜色填充，获得人物三维模型103，并将人物三维模型103发送至计算机102的展示界面进行展示。
可以理解的，以上对本申请场景实施例的介绍只是为了便于更好的理解本申请提供的所述点云处理方法，而非用于对所述点云处理方法的应用场景进行限定，所述点云处理方法还可以应用于其他场景，比如说，用于创建动物、卡通形象的三维模型等等。
示例性方法
在本申请的一示例性实施例中，提供一种点云处理方法，其核心在于，通过将三维点云投影至预先构建的二维平面，将对三维点云的点云网格构建问题转化成了二维投影点网格构建问题，并在获得二维投影点网格后，根据二维投影点与三维点云点之间的对应关系，获得三维点云的点云网格。
在本申请的一种可选实施例中，所述点云处理方法的实施主体可以是笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备（例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，游戏主机）等各种类型的用户终端或者是这些数据处理设备中的任一两个或多个的组合，也可以是服务器。
请参考图2，图2为本申请另一实施例提供的点云处理方法流程图。
如图2所示，所述点云处理方法包括以下步骤S201至步骤S203：
步骤S201，将目标对象的三维点云投影至预先构建的二维平面，获得所述二维平面中的与各个三维点云点对应的二维投影点。
所述三维点云可以理解为对所述目标对象进行数据采集后获得的数据集，该数据集可以理解为用于表示所述目标对象的表面特性的海量点集合，其中，每个点都包括X，Y，Z几何坐标、强度值、分类值等信息，将这些点组合在一起就会形成所述三维点云。在实际应用的过程中，三维点云可以真实的还原目标对象的三维立体效果，实现目标对象虚拟形象的可视化。
所述目标对象可以理解为待进行三维点云构建的对象，在本申请的一种可选实施方式中，所述目标对象可以为人、物、动物等，对此本申请不做限制。
在本申请的一种可选实施方式中，所述目标对象的三维点云基于通过相机阵列采集的目标对象的图像数据得到，即，基于通过相机阵列采集得到的目标对象的图像，进行三维点云构建处理，得到所述目标对象的三维点云。
在本申请的另一种可选实施方式中，考虑到计算机的内存和性能可能导致无法将大量的三维点云同时投影至二维平面，在获得目标对象的三维点云后，可以对所述目标对象的三维点云进行点云区域划分，获得多个三维点云区域，并依次针对各三维点云区域进行投影。
进一步的，为了保证所述三维投影点云投影至所述预先构建的二维平面后，能够顺利的对获得的二维投影点进行网格划分，以构建二维投影点网格，所述预先构建的二维平面应能够使得所述目标对象的三维点云在该二维平面上的二维投影点的离散程度符合设定的离散阈值。
鉴于此，在本申请的一种可选实施方式中，所述二维平面通过以下步骤S2011至步骤S2014构建：
步骤S2011，获得所述二维平面的平面方程，以及各三维点云点与所述平面方程之间的投影方程；
步骤S2012，根据所述平面方程和所述投影方程，获得所述三维点云点在所述二维平面中的二维投影点坐标；
步骤S2013，根据各二维投影点坐标和各二维投影点的几何中心坐标，确定所述二维投影点在所述二维平面中的离散损失；
步骤S2014，根据所述离散损失，对所述二维平面的平面方程进行参数调整。
为了便于理解上述二维平面的构建过程，请参考图3，图3为本申请另一实施例提供的二维平面计算示意图。
图3中包括二维平面301、二维平面的法向量302、三维点云点303、二维投影点304。
首先设二维平面301的平面方程为以下公式（1）：
mx+ny+pz=0 （1）；
其中，m、n、p表示二维平面301的平面方程的待调整参数。
此时，二维平面301的法向量302为：；
对于三维点云点303，设三维点云点303的坐标为（x0，y0，z0），此时有三维点云点303与所述平面方程（1）之间的投影方程为以下公式（2）：
（2）；
将上述公式（1）和公式（2）进行联立可得该三维点云点（x0，y0，z0）在二维平面301中的二维投影点304的坐标（x’0，y’0，z’0）。
按照上述方式，遍历所有三维点云点在所述二维平面的二维投影点坐标，并确定各二维投影点的最小外接矩形305，并获得最小外接矩形305的中心点的坐标（X’0，Y’0，Z’0）。
此时，通过所述最小外接矩形305的中心点的坐标与各二维投影点的坐标构建以下公式（3）以表示所述二维投影点的离散损失err：
（3）；
其中，i表示第i个三维点云点，N表示三维点云点的个数。
在本申请实施方式中，所述离散损失与所述二维投影点的离散程度呈正比，即，所述离散损失越大，各二维投影点的离散程度越高。
之后，不断调整所述二维平面301的平面方程改变各二维投影点的坐标，通过离散程度最高时二维平面301对应的平面方程表示所述二维平面301，并确定所述三维点云点在所述二维平面中的二维投影点。
在本申请的一种可选实施方式中，考虑到在构建三维点云的过程中，会出现一些高频噪声点，因此，为了能够更加精准的将各三维点云点投影至二维平面，在投影之间，还可以利用双边滤波器对所述三维点云点进行滤波处理，以消除所述高频噪声点。
步骤S202，基于所述二维平面中的二维投影点，构建二维投影点网格。
具体的，上述步骤S202，包括：对所述二维平面中的二维投影点进行网格构建，得到所述二维投影点网格。
另外，如上述步骤S201中所述，在获得所述二维平面中的与各个三维点云点对应的二维投影点的过程中，考虑到计算机的内存与性能问题，需要对所述三维点云进行点云区域划分，获得多个三维点云区域。
鉴于此，上述步骤S202，包括：基于各个三维点云区域的三维点云点对应二维投影点，分别构建与各个三维点云区域对应的二维投影点网格。
所述网格构建的方法可以为三角网格剖分，但在实际应用的过程中，考虑到无差别的三角网格剖分会生成“极瘦”三角网格，影响后续点云网格的颜色填充，在本申请一种可选实施方式中，可以采用德劳内三角网格算法（delaunay triangulation）对各个二维投影点进行网格构建，以得到所述二维投影点网格。
步骤S203，根据所述二维投影点网格，以及所述二维投影点与所述三维点云点之间的投影关系，获得所述三维点云的点云网格。
可以理解的，获得所述二维投影点网格后，就可以根据所述二维投影点与所述三维点云点之间的投影关系，确定不同三维点云点之间连接关系，进而获得所述三维点云的点云网格。
另外，如上述步骤S201中所述，在获得所述二维平面中的与各个三维点云点对应的二维投影点的过程中，考虑到计算机的内存与性能问题，需要对所述三维点云进行点云区域划分，获得多个三维点云区域。鉴于此，上述步骤S203，包括：根据各个三维点云区域对应的二维投影点网格，以及所述二维投影点与所述三维点云点之间的投影关系，获得所述三维点云的点云网格。
为了便于理解所述三维点云的点云网格的具体生成过程，结合以下步骤S2031至步骤S2033对该过程进行详细说明。
步骤S2031，根据各个三维点云区域对应的二维投影点网格，以及所述二维投影点与所述三维点云点之间的投影关系，获得各个三维点云区域的区域点云网格。
即，对于不同的三维点云区域，分别进行二维平面投影，获得不同三维点云区域的二维投影点；建立不同三维点云区域的二维投影点网格，并根据所不同三维点云区域的二维投影点网格，获得各个三维点云区域的区域点云网格。
步骤S2032，确定相邻三维点云区域的区域点云网格之间的边界点云点。
步骤S2033，对所述边界点云点进行网格剖分，基网格剖分结果，对所述边界点云点进行合并处理，获得所述三维点云的点云网格。
请参考图4，图4为本申请另一实施例提供的区域点云网格合并示意图。
如图4所示，图4中包括三维点云区域1的区域点云网格401，以及三维点云区域2的区域点云网格402。
其中，三维点云区域1和三维点云区域2相连，区域点云网格401和区域点云网格402之间的边界点云点分别为三维点云点D、A、F，以及三维点云点C、B、E。
进一步的，对这六个边界点云点进行网格剖分，得到△CDA、△ABC、△ABE，以及△AEF，并根据上述三角形的最小角对不同的边界点云点进行合并。
在本申请的一种可选实施方式中，对于上述任一三角形，如果该三角形的最小角小于预设的角度阈值（例如：所述预设的角度阈值为10°）；或者该三角形的最小角小于与该三角形相邻的三角形的最小角的二分之一；则将该三角形最短边的两个点进行合并。
如图4所示，对△CDA、△ABC、△ABE，以及△AEF的各内角进行角度识别后，确定边界点云点C、D，以及边界点云点A、B能够合并，边界点云点C、D合并为点N，将边界点云点A、B合并为点O。
在实际应用的过程中，在获得所述三维点云的点云网格后，为了获得所述目标对象的可视化的三维模型，还需要相机阵列拍摄得到的图像数据对所述三维点云的点云网格进行颜色填充。因此，在本申请的一种可选实施方式中，所述点云处理方法还包括以下步骤S204：
步骤S204，基于所述目标对象的图像数据对所述三维点云的各个点云网格进行颜色填充，获得所述目标对象的三维模型。
在本申请实施例中，对所述各个点云网格进行颜色填充基于相机阵列采集得到的图像数据进行，因此，在对点云网格进行颜色填充之前，还需要确定每个点云网格对应的相机，以便于从该相机中获得与该点云网格对应的图像数据。
在实际应用的过程中，通过相机阵列采集目标对象的图像数据时，会获得目标对象的多个视角的图像数据，因此，每个点云网格也会被不同的相机拍摄到，但受限于拍摄角度和外界环境的影响，不同相机拍摄得到的点云网格的图像数据的纹理和灰度都不相同。因此，为了保证颜色填充后的三维模型能够高度还原所述目标对象的实际形态，还需对图像数据进行选择。
鉴于此，上述步骤S204包括以下步骤S2041和步骤S2042。
步骤S2041，从与各个点云网格对应的相机序列中，确定与各个点云网格对应的视角相机；其中，点云网格对应的相机序列中包括所述相机阵列中的能够拍摄到该点云网格的至少一个相机；
所述视角相机可以理解为从所述相机阵列中为点云网格选择的、用于获得图像数据的相机。
在本申请的一种可选实施方式中，所述与各个网格对应的相机序列通过以下方式获得：
首先，通过投影方程获得各点云网格在所述相机阵列的像素坐标系下的像素坐标，之后根据所述相机阵列中各个相机的像素观测范围，确定各个点云网格对应的第一相机序列；
其次，对于任一点云网格，连接该点云网格的各个三维点云点与第一相机序列中各个相机中心的连线；
最后，对于任一连线，判断该连线是否穿过其他点云网格，如果穿过，则在所述第一相机序列中剔除与该连线对应的相机。
在本申请的一种可选实施方式中，为了使颜色填充后得到的三维模型表面的纹理更为光滑，需要尽可能的使相邻点云网格的视角相机相同。比如说，所述点云网格依次包括：网格1至网格6，所述相机阵列中包括相机1至相机3；此时，设点云网格与相机阵列中各相机之间的对应关系如下表1所示：
表1：
在表1中，1表示相机能够拍摄到网格，0表示相机不能拍摄到网格。即，网格1对应的相机序列包括：相机1；网格2对应的相机序列包括：相机1、相机2；网格3对应的相机包括：相机1、相机2；网格4对应的相机包括：相机2、相机3；网格5对应的相机包括：相机3；网格6对应的相机包括：相机1。
进一步的，从各网格对应的相机序列中选择合适的视角相机，使相邻网格的视角相机尽可能相同，比如说：使网格1至网格3对应的视角相机为相机1，使网格4至网格6对应的视角相机为相机3。
具体的，上述步骤S2041包括以下步骤S1至步骤S3：
步骤S1，对于任意点云网格，根据与该点云网格对应的相机序列的图像数据，构建该点云网格的复杂度损失。
在本申请实施例中，所述根据与该点云网格对应的相机序列的图像数据，构建该点云网格的复杂度损失是指，根据所述相机序列中各相机的图像数据，确定与各相机对应的、该点云网格的像素面积和纹理复杂度。
比如说，对于表1中所示的网格2，网格2对应的相机序列包括相机1和相机2，则分别采集相机1和相机2拍摄得到的网格2的图像数据1和图像数据2；并从图像数据1中获得该点云网格的像素面积1和纹理复杂度1，以及从图像数据2中获得该点云网格的像素面积2和纹理复杂度2。
之后，基于像素面积1、纹理复杂度1，以及像素面积2、纹理复杂度2，分别确定相机1的复杂度损失和相机2的复杂度损失。
具体的，假设该点云网格为△abc，则该点云网格的复杂度损失可以通过以下公式（4）获得：
（4）；
其中，E1表示网格△abc的复杂度损失值；S（area（a,b,c））表示网格△abc的像素面积；▽Gray（area（a,b,c））表示网格△abc的纹理复杂度。
步骤S2，根据与该点云网格对应的相机序列，以及与该点云网格相邻的任一点云网格的相机序列，确定所述该点云网格与该点云网格相邻的任一点云网格之间的平滑度损失。
在本申请实施例中，所述平滑度损失可以通过以下公式（5）获得：
（5）；
其中，E2表示所述相邻网格之间的平滑度损失值，l i 和l j 分别表示所述相邻网格对应的视角相机。
步骤S3，根据所述该点云网格的复杂度损失和平滑度损失，从所述与该点云网格对应的相机序列中，确定该点云网格对应的视角相机。
获得所述纹理复杂度损失和所述平滑度损失后，通过改变所述相邻点云网格的视角相机，使所述纹理复杂度损失和所述平滑度损失最小，并将损失最小时的视角相机定义为所述相邻点云网格的视角相机。
步骤S2042，基于各视角相机拍摄的图像数据，分别对各视角的点云网格进行颜色填充，获得所述目标对象的三维模型；其中，具有相同视角相机的点云网格为同一视角的点云网格。
为了便于进一步解释，以下将不同视角对应的点云网格称为不同视角的点云网格。可以理解的，在基于上述步骤S1至步骤S3对不同视角相机对应的点云网格进行颜色填充后，由于不同视角间存在相机曝光或者光照差异，因此对不同视角的一些点云网格之间的连接处会存在明显的颜色缝隙。
为了降低该颜色缝隙对三维模型整体颜色的影响，上述步骤S2042，包括以下步骤S4至步骤S5：
步骤S4，基于各视角相机拍摄的图像数据，分别对各视角的点云网格进行颜色填充，获得颜色填充后各视角的点云网格的灰度信息；
步骤S5，根据各视角的点云网格的灰度信息，对所述各视角点云网格之间的接缝处进行灰度调整，获得所述目标对象的三维模型。
为了便于理解上述步骤S4至步骤S5对接缝处的灰度调整过程。请参考图5，图5为本申请另一实施例提供的不同视角的点云网格进行颜色填充后的示意图。
图5中包括视角1的点云网格区域501、视角2的点云网格区域502，以及网格区域501与网格区域502之间的接缝区域503。
如图5所示，网格区域501和网格区域502，与接缝区域503之间的颜色并不一致。
在本申请的一种可选实施方式中，可通过构建损失函数的方式表示图5所示的网格区域501和网格区域502，与接缝区域503在灰度上的灰度损失。
具体的，所述灰度损失可以通过以下公式（6）表示：
（6）；
其中，E3表示灰度损失值；表示接缝区域503的灰度信息；表示网格区
域502的灰度信息；表示网格区域501的灰度信息；W表示网格区域501的灰度权重；1-W
表示网格区域502的灰度权重。
调整接缝区域503的灰度，直至E3最小，或E3小于预设的灰度损失阈值，完成上述步骤S5。
进一步的，如步骤S201中所述，在获得所述二维平面中的与各个三维点云点对应的二维投影点的过程中，考虑到计算机的内存与性能问题，需要对所述三维点云进行点云区域划分，获得多个三维点云区域。因此，在本申请的一种可选实施方式中，上述步骤S204中所述的基于所述目标对象的图像数据对所述三维点云的各个点云网格进行颜色填充，可以是指对一个点云区域的点云网格进行颜色填充。
进一步的，所述方法还包括以下步骤S2034至步骤S2035：
步骤S2034，基于所述目标对象的图像数据，分别对各三维点云区域的区域点云网格进行颜色填充，获得颜色填充后各三维点云区域的灰度信息；
可以理解的，在对各个点云区域的点云网格进行颜色填充后，如图4所示的不同点云区域之间未合并的边界点云点之间还存在颜色空白（例如：图4所示的△OEF即为颜色空白区域），为了填补此部分的空白，也可以为该空白区域分配一能拍摄到该区域的相机作为视角相机，以选取该区域的图像数据，对其进行颜色填充。
进一步的，考虑到该空白区域可能与其相邻的点云区域的点云网格的灰度不连续，此时，进一步执行以下步骤S2035。
步骤S2035，根据各三维点云区域的灰度信息，对各三维点云区域之间的接缝处进行灰度调整，获得所述目标对象的三维模型。
具体的，上述步骤S2035包括以下步骤S6和步骤S7：
步骤S6，根据所述各三维点云区域的灰度信息，构建所述接缝处与相邻三维点云区域之间的灰度损失函数；
步骤S7，根据所述灰度损失函数，调整所述三维点云区域之间的接缝处的灰度信息，获得所述目标对象的三维模型。
在本申请实施例中，所述接缝处与相连三维点云区域之间的灰度损失函数与上述公式（6）类似，可通过以下公式（7）表示：
（7）；
其中，E4表示灰度损失值；表示接缝处的灰度信息；表示相邻三维点云
区域中的一个三维点云区域的灰度信息；表示相邻三维点云区域中的另一个三维点
云区域的灰度信息；M和（1-M）分别表示两个三维点云区域的灰度权重信息。
在完成不同点云区域的颜色填充以及不同三维点云区域之间接缝处的灰度调整后，即可获得目标对象的完成三维模型。
综上所述，本申请提供的所述点云处理方法，将三维点云投影至预先构建的二维平面，获得二维平面中的与各个三维点云点对应的二维投影点，并基于各二维投影点，构建二维投影点网格；最后，根据所述二维投影点网格，以及所述二维投影点与各三维点云点之间的投影关系，获得三维点云的点云网格。该方法通过将三维点云投影至预先构建的二维平面，将对三维点云的点云网格构建问题转化成了二维投影点网格构建问题，并在获得二维投影点网格后，根据二维投影点与三维点云点之间的对应关系，获得三维点云的点云网格，降低了点云网格的构建难度，提高了点云网格的构建效率。
示例性装置
相应的，本申请实施例还提供一种点云处理装置，请参考图6，图6为本申请另一实施例提供的点云处理装置结构示意图。
如图6所示，所述点云处理装置，包括：
第一单元601，用于将目标对象的三维点云投影至预先构建的二维平面，获得所述二维平面中的与各个三维点云点对应的二维投影点；
第二单元602，用于基于所述二维平面中的二维投影点，构建二维投影点网格；
第三单元603，用于根据所述二维投影点网格，以及所述二维投影点与所述三维点云点之间的投影关系，获得所述三维点云的点云网格。
在本申请的一种可选实施方式中，所述点云处理装置还包括：
第四单元，用于基于所述目标对象的图像数据对所述三维点云的各个点云网格进行颜色填充，获得所述目标对象的三维模型。
在本申请的一种可选实施方式中，所述预先构建的二维平面，使得所述目标对象的三维点云在该二维平面上的二维投影点的离散程度符合设定的离散阈值。
在本申请的一种可选实施方式中，所述二维平面通过以下方式构建：
获得所述二维平面的平面方程，以及各三维点云点与所述平面方程之间的投影方程；
根据所述平面方程和所述投影方程，获得所述三维点云点在所述二维平面中的二维投影点坐标；
根据各二维投影点坐标和各二维投影点的几何中心坐标，确定所述二维投影点在所述二维平面中的离散损失；
根据所述离散损失，对所述二维平面的平面方程进行参数调整。
在本申请的一种可选实施方式中，所述基于所述二维平面中的二维投影点，构建二维投影点网格，包括：
对所述二维平面中的二维投影点进行网格构建，得到所述二维投影点网格。
在本申请的一种可选实施方式中，所述目标对象的图像数据通过相机阵列采集获得；
所述基于所述目标对象的图像数据对所述三维点云的各个点云网格进行颜色填充，获得所述目标对象的三维模型，包括：
从与各个点云网格对应的相机序列中，确定与各个点云网格对应的视角相机；其中，点云网格对应的相机序列中包括所述相机阵列中的能够拍摄到该点云网格的至少一个相机；
基于各视角相机拍摄的图像数据，分别对各视角的点云网格进行颜色填充，获得所述目标对象的三维模型；其中，具有相同视角相机的点云网格为同一视角的点云网格。
在本申请的一种可选实施方式中，所述从与各个点云网格对应的相机序列中，确定与各个点云网格对应的视角相机，包括：
对于任意点云网格，根据与该点云网格对应的相机序列的图像数据，构建该点云网格的复杂度损失；
根据与该点云网格对应的相机序列，以及与该点云网格相邻的任一点云网格的相机序列，确定所述该点云网格与该点云网格相邻的任一点云网格之间的平滑度损失；
根据所述该点云网格的复杂度损失和平滑度损失，从所述与该点云网格对应的相机序列中，确定该点云网格对应的视角相机。
在本申请的一种可选实施方式中，所述基于各视角相机拍摄的图像数据，分别对各视角的点云网格进行颜色填充，获得所述目标对象的三维模型，包括：
基于各视角相机拍摄的图像数据，分别对各视角的点云网格进行颜色填充，获得颜色填充后各视角的点云网格的灰度信息；
根据各视角的点云网格的灰度信息，对所述各视角点云网格之间的接缝处进行灰度调整，获得所述目标对象的三维模型。
在本申请的一种可选实施方式中，在将目标对象的三维点云投影至预先构建的二维平面，获得所述二维平面中的与各个三维点云点对应的二维投影点的步骤之前，还包括：
对所述三维点云进行点云区域划分处理，获得多个三维点云区域；
所述将目标对象的三维点云投影至预先构建的二维平面，获得所述二维平面中的与各个三维点云点对应的二维投影点，包括：分别所述多个三维点云区域的三维点云点投影至二维平面，获得所述二维平面中的与各个三维点云点对应的二维投影点；
所述基于所述二维平面中的二维投影点，构建二维投影点网格，包括：基于各个三维点云区域的三维点云点对应二维投影点，分别构建与各个三维点云区域对应的二维投影点网格；
所述根据所述二维投影点网格，以及所述二维投影点与所述三维点云点之间的投影关系，获得所述三维点云的点云网格，包括：根据各个三维点云区域对应的二维投影点网格，以及所述二维投影点与所述三维点云点之间的投影关系，获得所述三维点云的点云网格。
在本申请的一种可选实施方式中，所述根据各个三维点云区域对应的二维投影点网格，以及所述二维投影点与所述三维点云点之间的投影关系，获得所述三维点云的点云网格，包括：
根据各个三维点云区域对应的二维投影点网格，以及所述二维投影点与所述三维点云点之间的投影关系，获得各个三维点云区域的区域点云网格；
确定相邻三维点云区域的区域点云网格之间的边界点云点；
对所述边界点云点进行网格剖分，基网格剖分结果，对所述边界点云点进行合并处理，获得所述三维点云的点云网格。
在本申请的一种可选实施方式中，所述点云处理装置，还用于：基于所述目标对象的图像数据，分别对各三维点云区域的区域点云网格进行颜色填充，获得颜色填充后各三维点云区域的灰度信息；根据各三维点云区域的灰度信息，对各三维点云区域之间的接缝处进行灰度调整，获得所述目标对象的三维模型。
在本申请的一种可选实施方式中，所述根据各三维点云区域的灰度信息，对各三维点云区域之间的接缝处进行灰度调整，获得所述目标对象的三维模型，包括：
根据所述各三维点云区域的灰度信息，构建所述接缝处与相邻三维点云区域之间的灰度损失函数；
根据所述灰度损失函数，调整所述三维点云区域之间的接缝处的灰度信息，获得所述目标对象的三维模型。
本实施例提供的点云处理装置，与本申请上述实施例所提供的点云处理方法属于同一申请构思，可执行本申请上述任意实施例所提供的点云处理方法，具备执行点云处理方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请上述实施例提供的点云处理方法的具体处理内容，此处不再加以赘述。
示例性电子设备
本申请另一实施例还提出一种电子设备，请参考图7，图7为本申请另一实施例提供的电子设备结构示意图。
如图7所示，所述电子设备包括：
存储器200和处理器210；
其中，所述存储器200与所述处理器210连接，用于存储程序；
所述处理器210，用于通过运行所述存储器200中存储的程序，实现上述任一实施例公开的点云处理方法。
具体的，上述电子设备还可以包括：总线、通信接口220、输入设备230和输出设备240。
处理器210、存储器200、通信接口220、输入设备230和输出设备240通过总线相互连接。其中：
总线可包括一通路，在计算机系统各个部件之间传送信息。
处理器210可以是通用处理器，例如通用中央处理器（CPU）、微处理器等，也可以是特定应用集成电路（application-specific integrated circuit，ASIC），或一个或多个用于控制本发明方案程序执行的集成电路。还可以是数字信号处理器（DSP）、专用集成电路（ASIC）、现成可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
处理器210可包括主处理器，还可包括基带芯片、调制解调器等。
存储器200中保存有执行本发明技术方案的程序，还可以保存有操作系统和其他关键业务。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。更具体的，存储器200可以包括只读存储器（read-only memory，ROM）、可存储静态信息和指令的其他类型的静态存储设备、随机存取存储器（random access memory，RAM）、可存储信息和指令的其他类型的动态存储设备、磁盘存储器、flash等等。
输入设备230可包括接收用户输入的数据和信息的装置，例如键盘、鼠标、摄像头、扫描仪、光笔、语音输入装置、触摸屏、计步器或重力感应器等。
输出设备240可包括允许输出信息给用户的装置，例如显示屏、打印机、扬声器等。
通信接口220可包括使用任何收发器一类的装置，以便与其他设备或通信网络通信，如以太网，无线接入网（RAN），无线局域网(WLAN)等。
处理器210执行存储器200中所存放的程序，以及调用其他设备，可用于实现本申请上述实施例所提供的任意一种点云处理方法的各个步骤。
示例性计算机程序产品和存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的点云处理方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是存储介质，其上存储有计算机程序，计算机程序被处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的点云处理方法中的步骤，具体可以实现以下步骤：
步骤S201，将目标对象的三维点云投影至预先构建的二维平面，获得所述二维平面中的与各个三维点云点对应的二维投影点；
步骤S202，基于所述二维平面中的二维投影点，构建二维投影点网格；
步骤S203，根据所述二维投影点网格，以及所述二维投影点与所述三维点云点之间的投影关系，获得所述三维点云的点云网格。
对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，各实施例中记载的技术特征可以进行替换或者组合。
本申请各实施例种装置及终端中的模块和子模块可以根据实际需要进行合并、划分和删减。
本申请所提供的几个实施例中，应该理解到，所揭露的终端，装置和方法，可以通过其它的方式实现。例如，以上所描述的终端实施例仅仅是示意性的，例如，模块或子模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个子模块或模块可以结合或者可以集成到另一个模块，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块或子模块可以是或者也可以不是物理上分开的，作为模块或子模块的部件可以是或者也可以不是物理模块或子模块，即可以位于一个地方，或者也可以分布到多个网络模块或子模块上。可以根据实际的需要选择其中的部分或者全部模块或子模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块或子模块可以集成在一个处理模块中，也可以是各个模块或子模块单独物理存在，也可以两个或两个以上模块或子模块集成在一个模块中。上述集成的模块或子模块既可以采用硬件的形式实现，也可以采用软件功能模块或子模块的形式实现。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件单元，或者二者的结合来实施。软件单元可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (13)
1.一种点云处理方法，其特征在于，包括：
将目标对象的三维点云投影至预先构建的二维平面，获得所述二维平面中的与各个三维点云点对应的二维投影点；
基于所述二维平面中的二维投影点，构建二维投影点网格；
根据所述二维投影点网格，以及所述二维投影点与所述三维点云点之间的投影关系，获得所述三维点云的点云网格；
根据点云网格的复杂度损失和平滑度损失，从与各个点云网格对应的相机序列中，确定与各个点云网格对应的视角相机；其中，所述点云网格对应的相机序列中包括相机阵列中能够拍摄到该点云网格的至少一个相机，所述相机阵列用于采集所述目标对象的图像数据；所述点云网格的复杂度损失根据所述点云网格的像素面积和纹理复杂度确定；
基于各视角相机拍摄的图像数据，分别对各视角的点云网格进行颜色填充，获得所述目标对象的三维模型；具有相同视角的点云网格为同一视角的点云网格。
2.根据权利要求1所述的方法，其特征在于，所述预先构建的二维平面，使得所述目标对象的三维点云在该二维平面上的二维投影点的离散程度符合设定的离散阈值。
3.根据权利要求1所述的方法，其特征在于，所述二维平面通过以下方式构建：
获得所述二维平面的平面方程，以及各三维点云点与所述平面方程之间的投影方程；
根据所述平面方程和所述投影方程，获得所述三维点云点在所述二维平面中的二维投影点坐标；
根据各二维投影点坐标和各二维投影点的几何中心坐标，确定所述二维投影点在所述二维平面中的离散损失；
根据所述离散损失，对所述二维平面的平面方程进行参数调整。
4.根据权利要求1所述的方法，其特征在于，所述基于所述二维平面中的二维投影点，构建二维投影点网格，包括：
对所述二维平面中的二维投影点进行网格构建，得到所述二维投影点网格。
5.根据权利要求1所述的方法，其特征在于，所述平滑度损失通过以下方式确定，包括：
根据与该点云网格对应的相机序列，以及与该点云网格相邻的任一点云网格的相机序列，确定所述该点云网格与该点云网格相邻的任一点云网格之间的平滑度损失。
6.根据权利要求5所述的方法，其特征在于，所述基于各视角相机拍摄的图像数据，分别对各视角的点云网格进行颜色填充，获得所述目标对象的三维模型，包括：
基于各视角相机拍摄的图像数据，分别对各视角的点云网格进行颜色填充，获得颜色填充后各视角的点云网格的灰度信息；
根据各视角的点云网格的灰度信息，对所述各视角点云网格之间的接缝处进行灰度调整，获得所述目标对象的三维模型。
7.根据权利要求1所述的方法，其特征在于，在将目标对象的三维点云投影至预先构建的二维平面，获得所述二维平面中的与各个三维点云点对应的二维投影点的步骤之前，还包括：
对所述三维点云进行点云区域划分处理，获得多个三维点云区域；
所述将目标对象的三维点云投影至预先构建的二维平面，获得所述二维平面中的与各个三维点云点对应的二维投影点，包括：分别将所述多个三维点云区域的三维点云点投影至二维平面，获得所述二维平面中的与各个三维点云点对应的二维投影点；
所述基于所述二维平面中的二维投影点，构建二维投影点网格，包括：基于各个三维点云区域的三维点云点对应二维投影点，分别构建与各个三维点云区域对应的二维投影点网格；
所述根据所述二维投影点网格，以及所述二维投影点与所述三维点云点之间的投影关系，获得所述三维点云的点云网格，包括：根据各个三维点云区域对应的二维投影点网格，以及所述二维投影点与所述三维点云点之间的投影关系，获得所述三维点云的点云网格。
8.根据权利要求7所述的方法，其特征在于，所述根据各个三维点云区域对应的二维投影点网格，以及所述二维投影点与所述三维点云点之间的投影关系，获得所述三维点云的点云网格，包括：
根据各个三维点云区域对应的二维投影点网格，以及所述二维投影点与所述三维点云点之间的投影关系，获得各个三维点云区域的区域点云网格；
确定相邻三维点云区域的区域点云网格之间的边界点云点；
对所述边界点云点进行网格剖分，基网格剖分结果，对所述边界点云点进行合并处理，获得所述三维点云的点云网格。
9.根据权利要求8所述的方法，其特征在于，还包括：
基于所述目标对象的图像数据，分别对各三维点云区域的区域点云网格进行颜色填充，获得颜色填充后各三维点云区域的灰度信息；
根据各三维点云区域的灰度信息，对各三维点云区域之间的接缝处进行灰度调整，获得所述目标对象的三维模型。
10.根据权利要求9所述方法，其特征在于，所述根据各三维点云区域的灰度信息，对各三维点云区域之间的接缝处进行灰度调整，获得所述目标对象的三维模型，包括：
根据所述各三维点云区域的灰度信息，构建所述接缝处与相邻三维点云区域之间的灰度损失函数；
根据所述灰度损失函数，调整所述三维点云区域之间的接缝处的灰度信息，获得所述目标对象的三维模型。
11.一种点云处理装置，其特征在于，包括：
第一单元，用于将目标对象的三维点云投影至预先构建的二维平面，获得所述二维平面中的与各个三维点云点对应的二维投影点；
第二单元，用于基于所述二维平面中的二维投影点，构建二维投影点网格；
第三单元，用于根据所述二维投影点网格，以及所述二维投影点与所述三维点云点之间的投影关系，获得所述三维点云的点云网格；
第四单元，用于根据点云网格的复杂度损失和平滑度损失，从与各个点云网格对应的相机序列中，确定与各个点云网格对应的视角相机；其中，所述点云网格对应的相机序列中包括相机阵列中能够拍摄到该点云网格的至少一个相机，所述相机阵列用于采集所述目标对象的图像数据；所述点云网格的复杂度损失根据所述点云网格的像素面积和纹理复杂度确定；基于各视角相机拍摄的图像数据，分别对各视角的点云网格进行颜色填充，获得所述目标对象的三维模型；具有相同视角的点云网格为同一视角的点云网格。
12.一种电子设备，其特征在于，包括：
处理器；
存储器，用于存储方法的程序，所述程序在被处理器读取运行时，执行权利要求1-10任意一项所述的点云处理方法。
13.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述程序在被执行时执行权利要求1-10任意一项所述的点云处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211326541.4A CN115690359B (zh) | 2022-10-27 | 2022-10-27 | 一种点云处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211326541.4A CN115690359B (zh) | 2022-10-27 | 2022-10-27 | 一种点云处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115690359A CN115690359A (zh) | 2023-02-03 |
| CN115690359B true CN115690359B (zh) | 2023-12-15 |
Family
ID=85098706
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211326541.4A Active CN115690359B (zh) | 2022-10-27 | 2022-10-27 | 一种点云处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115690359B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115937466B (zh) * | 2023-02-17 | 2023-07-04 | 烟台市地理信息中心 | 一种融合gis的三维模型生成方法、系统及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103679807A (zh) * | 2013-12-24 | 2014-03-26 | 焦点科技股份有限公司 | 一种带边界约束的散乱点云重构方法 |
| CN103985155A (zh) * | 2014-05-14 | 2014-08-13 | 北京理工大学 | 基于映射法的散乱点云Delaunay三角剖分曲面重构方法 |
| WO2021115961A1 (en) * | 2019-12-11 | 2021-06-17 | Continental Automotive Gmbh | Method for reconstruction of a feature in an environmental scene of a road |
| KR20220008466A (ko) * | 2020-07-14 | 2022-01-21 | 한국전자통신연구원 | 3차원 점군 데이터의 메쉬 생성 방법 및 장치 |
| CN114299242A (zh) * | 2021-12-08 | 2022-04-08 | 北京百度网讯科技有限公司 | 高精地图中图像处理方法、装置、设备以及存储介质 |
| CN114782645A (zh) * | 2022-03-11 | 2022-07-22 | 科大讯飞(苏州)科技有限公司 | 虚拟数字人制作方法、相关设备及可读存储介质 |
| CN114863060A (zh) * | 2022-05-12 | 2022-08-05 | 河南爬客智能机器人有限公司 | 基于点云的三维模型重建方法、装置、设备及存储介质 |
| CN115239784A (zh) * | 2022-07-29 | 2022-10-25 | 深圳元戎启行科技有限公司 | 点云生成方法、装置、计算机设备和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11650354B2 (en) * | 2018-01-14 | 2023-05-16 | Light Field Lab, Inc. | Systems and methods for rendering data from a 3D environment |
-
2022
- 2022-10-27 CN CN202211326541.4A patent/CN115690359B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103679807A (zh) * | 2013-12-24 | 2014-03-26 | 焦点科技股份有限公司 | 一种带边界约束的散乱点云重构方法 |
| CN103985155A (zh) * | 2014-05-14 | 2014-08-13 | 北京理工大学 | 基于映射法的散乱点云Delaunay三角剖分曲面重构方法 |
| WO2021115961A1 (en) * | 2019-12-11 | 2021-06-17 | Continental Automotive Gmbh | Method for reconstruction of a feature in an environmental scene of a road |
| KR20220008466A (ko) * | 2020-07-14 | 2022-01-21 | 한국전자통신연구원 | 3차원 점군 데이터의 메쉬 생성 방법 및 장치 |
| CN114299242A (zh) * | 2021-12-08 | 2022-04-08 | 北京百度网讯科技有限公司 | 高精地图中图像处理方法、装置、设备以及存储介质 |
| CN114782645A (zh) * | 2022-03-11 | 2022-07-22 | 科大讯飞(苏州)科技有限公司 | 虚拟数字人制作方法、相关设备及可读存储介质 |
| CN114863060A (zh) * | 2022-05-12 | 2022-08-05 | 河南爬客智能机器人有限公司 | 基于点云的三维模型重建方法、装置、设备及存储介质 |
| CN115239784A (zh) * | 2022-07-29 | 2022-10-25 | 深圳元戎启行科技有限公司 | 点云生成方法、装置、计算机设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 基于序列图像的三维重建技术研究;马文超;《中国优秀硕士学位论文全文数据库 信息科技辑》;第I138-4537页 * |
| 基于空间投影点云分割的序列图像三维重建;陈瑞林，等;《信息记录材料》;第24-27页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115690359A (zh) | 2023-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020108610A1 (zh) | 图像处理方法、装置、计算机可读介质及电子设备 | |
| CN107392984B (zh) | 一种基于人脸图像生成动画的方法及计算设备 | |
| US10424112B2 (en) | Mesh boundary smoothing | |
| US8711143B2 (en) | System and method for interactive image-based modeling of curved surfaces using single-view and multi-view feature curves | |
| US10489956B2 (en) | Robust attribute transfer for character animation | |
| JP4679033B2 (ja) | 深度マップのメジアン値融合のためのシステムおよび方法 | |
| US9836879B2 (en) | Mesh skinning technique | |
| US9626797B2 (en) | Generating a consensus mesh from an input set of meshes | |
| US20150243069A1 (en) | View independent color equalized 3d scene texturing | |
| US11263356B2 (en) | Scalable and precise fitting of NURBS surfaces to large-size mesh representations | |
| CN113924600A (zh) | 基于单个图像的实时身体动画 | |
| US9881417B2 (en) | Multi-view drawing apparatus of three-dimensional objects, and method | |
| CN106960470B (zh) | 三维点云曲面重建方法及装置 | |
| CN111710035B (zh) | 人脸重建方法、装置、计算机设备及存储介质 | |
| CN115690359B (zh) | 一种点云处理方法、装置、电子设备及存储介质 | |
| WO2018039936A1 (en) | Fast uv atlas generation and texture mapping | |
| JP6852224B2 (ja) | 全視角方向の球体ライトフィールドレンダリング方法 | |
| CN117333637B (zh) | 三维场景的建模及渲染方法、装置及设备 | |
| US9959672B2 (en) | Color-based dynamic sub-division to generate 3D mesh | |
| WO2019194282A1 (ja) | 画像処理装置および２次元画像生成用プログラム | |
| US11562541B2 (en) | Topology-change-aware volumetric fusion for real-time dynamic 4D reconstruction | |
| Anasosalu et al. | Compact and accurate 3-D face modeling using an RGB-D camera: let's open the door to 3-D video conference | |
| CN110378948B (zh) | 3d模型重建方法、装置及电子设备 | |
| JP3629243B2 (ja) | モデリング時の距離成分を用いてレンダリング陰影処理を行う画像処理装置とその方法 | |
| EP4111420A1 (en) | Face mesh deformation with detailed wrinkles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |