CN113240720B - 一种三维表面重建方法、装置、服务器以及可读存储介质 - Google Patents

一种三维表面重建方法、装置、服务器以及可读存储介质 Download PDF

Info

Publication number
CN113240720B
CN113240720B CN202110571793.2A CN202110571793A CN113240720B CN 113240720 B CN113240720 B CN 113240720B CN 202110571793 A CN202110571793 A CN 202110571793A CN 113240720 B CN113240720 B CN 113240720B
Authority
CN
China
Prior art keywords
polygon
polygons
blocks
point cloud
energy equation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110571793.2A
Other languages
English (en)
Other versions
CN113240720A (zh
Inventor
崔岩
陈世超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Germany Zhuhai Artificial Intelligence Institute Co ltd
4Dage Co Ltd
Original Assignee
China Germany Zhuhai Artificial Intelligence Institute Co ltd
4Dage Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Germany Zhuhai Artificial Intelligence Institute Co ltd, 4Dage Co Ltd filed Critical China Germany Zhuhai Artificial Intelligence Institute Co ltd
Priority to CN202110571793.2A priority Critical patent/CN113240720B/zh
Publication of CN113240720A publication Critical patent/CN113240720A/zh
Application granted granted Critical
Publication of CN113240720B publication Critical patent/CN113240720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请适用于视觉图像处理技术领域，提供了一种三维表面重建方法、装置、服务器以及可读存储介质，包括：获取待处理点云；对待处理点云融合处理，得到融合点云；对融合点云进行网格化处理，得到多边形和多面体，其中，多边形为多面体之间公共的面；对多边形进行优化处理，根据优化处理后的多边形和多边体形成三维模型。可见，本申请实施例可以自适应地对点云进行优化处理，对输入点云的精度要求低，可以从低精度的点云中重建出相对平滑的模型，比起传统表面重建算法具有更好的鲁棒性，并得到和人工规整类似的三维模型。

Description

一种三维表面重建方法、装置、服务器以及可读存储介质
技术领域
本申请属于视觉图像处理技术领域，尤其涉及一种三维表面重建方法、装置、服务器以及可读存储介质。
背景技术
三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。一般地，现有技术中，三维重建的过程是通过硬件设备采集深度图生成点云，对点云进行模型化处理，得到三维模型。但是现有技术中，由于受到硬件设备的影响，采集的点云精度往往不高，从而导致三维重建效果不佳。
发明内容
本申请实施例提供了一种三维表面重建方法、装置、服务器，可以解决现有技术中三维重建效果受到点云精度影响较大的问题。
第一方面，本申请实施例提供了一种三维表面重建方法，包括：
获取待处理点云；
对所述待处理点云融合处理，得到融合点云；
对所述融合点云进行网格化处理，得到多边形和多面体，其中，所述多边形为所述多面体之间公共的面；
对所述多边形进行优化处理，根据所述优化处理后的多边形和所述多边体形成三维模型。
在第一方面的一种可能的实现方式中，对所述待处理点云融合处理，得到融合点云，包括：
根据Poisson算法对所述待处理点云融合处理，得到融合点云。
在第一方面的一种可能的实现方式中，对所述待处理点云进行网格化处理，得到多边形和多面体，其中，所述多边形为所述多面体之间公共的面，包括：
根据MeanShift算法对所述融合点云进行聚类，得到待选平面；
根据Polyfit算法对所述待选平面进行优化，得到多边形和多面体。
在第一方面的一种可能的实现方式中，对所述多边形进行优化处理，根据所述优化处理后的多边形和所述多边体形成三维模型，包括：
将所述多面体作为顶点，所述多边形作为边，基于预设拟合能量方程式设置所述多边形对应的权重，构建出S-T图；
根据最大流算法对所述S-T图进行迭代，得到多边形集合；
将所述多边形集合中共边且共面的多边形组成多边形块，根据预设平滑能量方程式对所述多边形块进行平滑处理，得到平滑处理后的多边形块；
根据预设综合能量方程式对所述平滑处理后的多边形块同时进行拟合以及平滑处理，得到剩余的多边形块；
根据所述多边形集合中除了组成多边形块以外的多边形，以及剩余的多边形块中的多边形，和所述多面体形成三维模型。
在第一方面的一种可能的实现方式中，所述预设拟合能量方程式为：
Figure 293560DEST_PATH_IMAGE001
，
其中，
Figure 7438DEST_PATH_IMAGE002
表示多边形，
Figure 708547DEST_PATH_IMAGE003
表示可以看到到多边形
Figure 41439DEST_PATH_IMAGE002
的相机数量，
Figure 511604DEST_PATH_IMAGE004
表示相机
Figure 130804DEST_PATH_IMAGE005
投影在多边形
Figure 69941DEST_PATH_IMAGE002
的栅格化像素集，
Figure 927563DEST_PATH_IMAGE006
表示相机
Figure 127600DEST_PATH_IMAGE005
的位置，
Figure 527489DEST_PATH_IMAGE007
和
Figure 812977DEST_PATH_IMAGE008
表示定义多边形
Figure 471360DEST_PATH_IMAGE002
所在的平面方程式，
Figure 666849DEST_PATH_IMAGE009
表示在相机
Figure 627852DEST_PATH_IMAGE005
空间方向上的像素
Figure 525270DEST_PATH_IMAGE010
。
在第一方面的一种可能的实现方式中，所述预设平滑能量方程式为:
Figure 331552DEST_PATH_IMAGE011
,
其中，
Figure 381547DEST_PATH_IMAGE012
表示多边形块的数量，
Figure 247872DEST_PATH_IMAGE013
表示根据最大流算法计算出的每个多边形块的平均原始光滑残差；
Figure 632586DEST_PATH_IMAGE013
被定义为：
Figure 508138DEST_PATH_IMAGE014
，
其中，
Figure 412640DEST_PATH_IMAGE015
表示原始多边形块，
Figure 715445DEST_PATH_IMAGE016
代表原始多边形块
Figure 313087DEST_PATH_IMAGE015
的数量，a，b，c表示超级参数，设置a=-0.0001，b=-10000，c=10000。
在第一方面的一种可能的实现方式中，预设综合能量方程式为：
Figure 726751DEST_PATH_IMAGE017
，
其中，
Figure 485759DEST_PATH_IMAGE018
表示多边形集合，
Figure 959466DEST_PATH_IMAGE012
表示多边形集合
Figure 53193DEST_PATH_IMAGE018
中多边形块的数量，
Figure 145914DEST_PATH_IMAGE019
表示所述预设拟合能量方程式，
Figure 149642DEST_PATH_IMAGE020
表示所述所述预设平滑能量方程式。
第二方面，本申请实施例提供了一种三维表面重建装置，包括：
获取模块，用于获取待处理点云；
融合模块，用于对所述待处理点云融合处理，得到融合点云；
网格化模块，用于对所述融合点云进行网格化处理，得到多边形和多面体，其中，所述多边形为所述多面体之间公共的面；
优化处理模块，用于对所述多边形进行优化处理，根据所述优化处理后的多边形和所述多边体形成三维模型。
在第二方面的一种可能实现的方式中，所述融合模块包括：
根据Poisson算法对所述待处理点云融合处理，得到融合点云。
在一种可能实现的方式中，所述网格化模块包括：
根据MeanShift算法对所述融合点云进行聚类，得到待选平面；
根据Polyfit算法对所述待选平面进行优化，得到多边形和多面体。
在第二方面的一种可能的实现方式中，所述优化处理模型包括：
将所述多面体作为顶点，所述多边形作为边，基于预设拟合能量方程式设置所述多边形对应的权重，构建出S-T图；
根据最大流算法对所述S-T图进行迭代，得到多边形集合；
将所述多边形集合中共边且共面的多边形组成多边形块，根据预设平滑能量方程式对所述多边形块进行平滑处理，得到平滑处理后的多边形块；
根据预设综合能量方程式对所述平滑处理后的多边形块同时进行拟合以及平滑处理，得到剩余的多边形块；
根据所述多边形集合中除了组成多边形块以外的多边形，以及剩余的多边形块中的多边形，和所述多面体形成三维模型。
在第二方面的一种可能的实现方式中，所述预设拟合能量方程式为：
Figure 528671DEST_PATH_IMAGE001
，
其中，
Figure 109694DEST_PATH_IMAGE002
表示多边形，
Figure 865160DEST_PATH_IMAGE003
表示可以看到到多边形
Figure 598761DEST_PATH_IMAGE002
的相机数量，
Figure 148691DEST_PATH_IMAGE004
表示相机
Figure 217010DEST_PATH_IMAGE005
投影在多边形
Figure 776167DEST_PATH_IMAGE002
的栅格化像素集，
Figure 364274DEST_PATH_IMAGE006
表示相机
Figure 85106DEST_PATH_IMAGE005
的位置，
Figure 643651DEST_PATH_IMAGE007
和
Figure 740920DEST_PATH_IMAGE008
表示定义多边形
Figure 449113DEST_PATH_IMAGE002
所在的平面方程式，
Figure 340845DEST_PATH_IMAGE009
表示在相机
Figure 118177DEST_PATH_IMAGE005
空间方向上的像素
Figure 19137DEST_PATH_IMAGE010
。
在第二方面的一种可能的实现方式中，所述预设平滑能量方程式为:
Figure 316257DEST_PATH_IMAGE011
,
其中，
Figure 644471DEST_PATH_IMAGE012
表示多边形块的数量，
Figure 909099DEST_PATH_IMAGE013
表示根据最大流算法计算出的每个多边形块的平均原始光滑残差；
Figure 613750DEST_PATH_IMAGE013
被定义为：
Figure 30955DEST_PATH_IMAGE014
，
其中，
Figure 530070DEST_PATH_IMAGE015
表示原始多边形块，
Figure 281994DEST_PATH_IMAGE016
代表原始多边形块
Figure 259177DEST_PATH_IMAGE015
的数量，a，b，c表示超级参数，设置a=-0.0001，b=-10000，c=10000。
在第二方面的一种可能的实现方式中，预设综合能量方程式为：
Figure 655524DEST_PATH_IMAGE017
，
其中，
Figure 200906DEST_PATH_IMAGE018
表示多边形集合，
Figure 49913DEST_PATH_IMAGE012
表示多边形集合
Figure 958351DEST_PATH_IMAGE018
中多边形块的数量，
Figure 474783DEST_PATH_IMAGE019
表示所述预设拟合能量方程式，
Figure 191066DEST_PATH_IMAGE020
表示所述所述预设平滑能量方程式。
第三方面，本申请实施例提供了一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质存储有计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。
本申请实施例与现有技术相比存在的有益效果是：
本申请实施例中，获取待处理点云；对待处理点云融合处理，得到融合点云；对融合点云进行网格化处理，得到多边形和多面体，其中，多边形为所述多面体之间公共的面；对多边形进行优化处理，根据所述优化处理后的多边形和所述多边体形成三维模型。可见，本申请实施例可以自适应地对点云进行优化处理，对输入点云的精度要求低，可以从低精度的点云中重建出相对平滑的模型，比起传统表面重建算法具有更好的鲁棒性，并得到和人工规整类似的三维模型。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种三维表面重建方法的流程示意图；
图2是本申请实施例提供的一种三维表面重建装置的结构框图；
图3是本申请实施例提供的服务器的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
下面将通过具体实施例对本申请实施例提供的技术方案进行介绍。
参见图1，为本申请实施例提供的一种三维表面重建方法的流程示意图，作为示例而非限定，该方法可以应用于服务器，该服务器可以是云服务器等计算设备，该方法可以包括以下步骤：
步骤S101、获取待处理点云。
具体地，获取待处理点云包括：获取场景对象的深度图像以及拍摄深度图像对应的相机位置；根据三维重建算法基于所述深度图像，以及拍摄深度图像对应的相机位置生成待处理点云。其中，三维重建算法可以是SFM算法， SFM算法是一种基于各种收集到的无序图片进行三维重建的离线算法。
步骤S102、对待处理点云融合处理，得到融合点云。
具体地，根据Poisson算法对待处理点云融合处理，得到融合点云。其中，Poisson算法又称为泊松分布，是一种统计与概率学里常见到的离散概率分布，适合于描述单位时间内随机事件发生的次数的概率分布。
步骤S103、对融合点云进行网格化处理，得到多边形和多面体。
其中，多边形为多面体之间公共的面。
可以理解的是，对融合点云进行多边形网格化处理的过程中，最理想化得到的模型应该是由多个多面体组成的整体，但是实际上，得到的多个多面体之间会存在很多冗余的多边形，这些冗余的多边形会影响模型的重建效果，所以需要把冗余的多边形去掉，当然，在冗余多边形的去除过程中，多边体整体上是不变的。
具体地，对融合点云进行网格化处理，得到多边形和多面体，包括：
步骤S103-1、根据MeanShift算法对融合点云进行聚类，得到待选平面。
其中，Mean Shift（即均值漂移）是基于密度的非参数聚类算法，其算法思想是假设不同簇类的数据集符合不同的概率密度分布，找到任一样本点密度增大的最快方向（最快方向的含义就是Mean Shift），样本密度高的区域对应于该分布的最大值，这些样本点最终会在局部密度最大值收敛，且收敛到相同局部最大值的点被认为是同一簇类的成员。可以理解的是，基于MeanShift算法将融合点云的法线向量、邻接关系以及平面分布组合到聚类点云，得到待选平面。
步骤S103-2、根据Polyfit算法对待选平面进行优化，得到多边形和多面体。
其中，Polyfit算法是一种优化算法，可以对待选平面对应的曲线进行优化，在待选平面中找到最优的多边形。
步骤S104、对多边形进行优化处理，根据优化处理后的多边形和多边体形成三维模型。
具体地，对多边形进行优化处理，根据优化处理后的多边形和所述多边体形成三维模型包括：
S104-1、将多面体作为顶点，多边形作为边，基于预设拟合能量方程式设置多边形对应的权重，构建出S-T图。
具体地，预设拟合能量方程式为：
Figure 527369DEST_PATH_IMAGE021
，
其中，
Figure 111934DEST_PATH_IMAGE002
表示多边形，
Figure 607507DEST_PATH_IMAGE003
表示可以看到到多边形
Figure 619325DEST_PATH_IMAGE002
的相机数量，
Figure 318291DEST_PATH_IMAGE004
表示相机
Figure 706547DEST_PATH_IMAGE005
投影在多边形
Figure 56626DEST_PATH_IMAGE002
的栅格化像素集，
Figure 239345DEST_PATH_IMAGE006
表示相机
Figure 691186DEST_PATH_IMAGE005
的位置，
Figure 617554DEST_PATH_IMAGE007
和
Figure 822139DEST_PATH_IMAGE008
表示定义多边形
Figure 175760DEST_PATH_IMAGE002
所在的平面方程式，
Figure 849318DEST_PATH_IMAGE009
表示在相机
Figure 579377DEST_PATH_IMAGE005
空间方向上的像素
Figure 248255DEST_PATH_IMAGE010
。
S104-2、根据最大流算法对S-T图进行迭代，得到多边形集合。
这里需要说明的是，这里的多边形集合可以理解为初始三维模型的表面，后续需要对初始三维模型的表面进行拟合和平滑处理，以得到最终的三维模型。
S104-3、将多边形集合中共边且共面的多边形组成多边形块，根据预设平滑能量方程式对多边形块进行平滑处理，得到平滑处理后的多边形块。
可以理解的是，预设拟合能量方程式对多边形进行拟合的过程中，会造成
拟合模型的表面上（即多边形块的区域）出现间隙和凸起，故需要对多边形块进行平滑处理。
具体地，预设平滑能量方程式为:
Figure 165920DEST_PATH_IMAGE011
,
其中，
Figure 451408DEST_PATH_IMAGE012
表示多边形块的数量，
Figure 594945DEST_PATH_IMAGE013
表示根据最大流算法计算出的每个多边形块的平均原始光滑残差；
Figure 649488DEST_PATH_IMAGE013
被定义为：
Figure 735125DEST_PATH_IMAGE014
，
其中，
Figure 976750DEST_PATH_IMAGE015
表示原始多边形块，
Figure 923978DEST_PATH_IMAGE016
代表原始多边形块
Figure 98607DEST_PATH_IMAGE015
的数量，a，b，c表示超级参数，设置a=-0.0001，b=-10000，c=10000。
S104-4、根据预设综合能量方程式对平滑处理后的多边形块同时进行拟合以及平滑处理，得到剩余的多边形块。
具体地，预设综合能量方程式为：
Figure 89566DEST_PATH_IMAGE017
，
其中，
Figure 84067DEST_PATH_IMAGE018
表示多边形集合，
Figure 694040DEST_PATH_IMAGE012
表示多边形集合
Figure 598542DEST_PATH_IMAGE018
中多边形块的数量，
Figure 635768DEST_PATH_IMAGE019
表示预设拟合能量方程式，
Figure 242199DEST_PATH_IMAGE020
表示所述预设平滑能量方程式。
可以理解的是，需要根据预设综合能量方程式比较预设拟合能量方程式的能量和预设平滑能量方程式的能量，如果大部分的能量较小，则表示迭代成功，依次达到减少多边形块数量的目的。
S104-5、根据多边形集合中除了组成多边形块以外的多边形，以及剩余多边形块中的多边形，和多面体形成三维模型。
可以理解的是，步骤S104-1至步骤S104-3减少了多边形集合中组成多边形块的多边形数量，从而根据多边形集合中除了组成多边形块以外的多边形，以及剩余多边形块中的多边形，和多面体形成最终的三维模型。优选的，对最终的三维模型进行三角化处理后保存成最终的模型文件。
本申请实施例中，获取待处理点云；对待处理点云融合处理，得到融合点云；对融合点云进行网格化处理，得到多边形和多面体，其中，多边形为所述多面体之间公共的面；对多边形进行优化处理，根据所述优化处理后的多边形和所述多边体形成三维模型。可见，本申请实施例可以自适应地对点云进行优化处理，对输入点云的精度要求低，可以从低精度的点云中重建出相对平滑的模型，比起传统表面重建算法具有更好的鲁棒性，并得到和人工规整类似的三维模型。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述三维表面重建方法，图2示出了本申请实施例提供的一种三维表面重建装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图2，该装置包括：
获取模块21，用于获取待处理点云；
融合模块22，用于对所述待处理点云融合处理，得到融合点云；
网格化模块23，用于对所述融合点云进行网格化处理，得到多边形和多面体，其中，所述多边形为所述多面体之间公共的面；
优化处理模块24，用于对所述多边形进行优化处理，根据所述优化处理后的多边形和所述多边体形成三维模型。
在一种可能实现的方式中，所述融合模块包括：
根据Poisson算法对所述待处理点云融合处理，得到融合点云。
在一种可能实现的方式中，所述网格化模块包括：
根据MeanShift算法对所述融合点云进行聚类，得到待选平面；
根据Polyfit算法对所述待选平面进行优化，得到多边形和多面体。
在一种可能的实现方式中，所述优化处理模型包括：
将所述多面体作为顶点，所述多边形作为边，基于预设拟合能量方程式设置所述多边形对应的权重，构建出S-T图；
根据最大流算法对所述S-T图进行迭代，得到多边形集合；
将所述多边形集合中共边且共面的多边形组成多边形块，根据预设平滑能量方程式对所述多边形块进行平滑处理，得到平滑处理后的多边形块；
根据预设综合能量方程式对所述平滑处理后的多边形块同时进行拟合以及平滑处理，得到剩余的多边形块；
根据所述多边形集合中除了组成多边形块以外的多边形，以及剩余的多边形块中的多边形，和所述多面体形成三维模型。
在一种可能的实现方式中，所述预设拟合能量方程式为：
Figure 655862DEST_PATH_IMAGE001
，
其中，
Figure 414871DEST_PATH_IMAGE002
表示多边形，
Figure 622998DEST_PATH_IMAGE003
表示可以看到到多边形
Figure 592091DEST_PATH_IMAGE002
的相机数量，
Figure 495649DEST_PATH_IMAGE004
表示相机
Figure 499377DEST_PATH_IMAGE005
投影在多边形
Figure 753772DEST_PATH_IMAGE002
的栅格化像素集，
Figure 210161DEST_PATH_IMAGE006
表示相机
Figure 355841DEST_PATH_IMAGE005
的位置，
Figure 89441DEST_PATH_IMAGE007
和
Figure 904951DEST_PATH_IMAGE008
表示定义多边形
Figure 973270DEST_PATH_IMAGE002
所在的平面方程式，
Figure 266848DEST_PATH_IMAGE009
表示在相机
Figure 854955DEST_PATH_IMAGE005
空间方向上的像素
Figure 841366DEST_PATH_IMAGE010
。
在一种可能的实现方式中，所述预设平滑能量方程式为:
Figure 396981DEST_PATH_IMAGE011
,
其中，
Figure 494250DEST_PATH_IMAGE012
表示多边形块的数量，
Figure 202443DEST_PATH_IMAGE013
表示根据最大流算法计算出的每个多边形块的平均原始光滑残差；
Figure 359755DEST_PATH_IMAGE013
被定义为：
Figure 405596DEST_PATH_IMAGE014
，
其中，
Figure 40976DEST_PATH_IMAGE015
表示原始多边形块，
Figure 603676DEST_PATH_IMAGE016
代表原始多边形块
Figure 931889DEST_PATH_IMAGE015
的数量，a，b，c表示超级参数，设置a=-0.0001，b=-10000，c=10000。
在一种可能的实现方式中，预设综合能量方程式为：
Figure 930938DEST_PATH_IMAGE017
，
其中，
Figure 635589DEST_PATH_IMAGE018
表示多边形集合，
Figure 52795DEST_PATH_IMAGE012
表示多边形集合
Figure 551909DEST_PATH_IMAGE018
中多边形块的数量，
Figure 303833DEST_PATH_IMAGE019
表示所述预设拟合能量方程式，
Figure 281017DEST_PATH_IMAGE020
表示所述所述预设平滑能量方程式。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
图3为本申请实施例提供的服务器的结构示意图。如图3所示，该实施例的服务器3包括：至少一个处理器30、存储器31以及存储在所述存储器31中并可在所述至少一个处理器30上运行的计算机程序32，所述处理器30执行所述计算机程序32时实现上述任意各个方法实施例中的步骤。
所述服务器3可以是云端服务器等计算设备。该服务器可包括，但不仅限于，处理器30、存储器31。本领域技术人员可以理解，图3仅仅是服务器3的举例，并不构成对服务器3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器30可以是中央处理单元(Central Processing Unit，CPU)，该处理器30还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器31在一些实施例中可以是所述服务器3的内部存储单元，例如服务器3的硬盘或内存。所述存储器31在另一些实施例中也可以是所述服务器3的外部存储设备，例如所述服务器3上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器31还可以既包括所述服务器3的内部存储单元也包括外部存储设备。所述存储器31用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器31还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种三维表面重建方法，其特征在于，包括：
获取待处理点云；
对所述待处理点云融合处理，得到融合点云；
对所述融合点云进行网格化处理，得到多边形和多面体，其中，所述多边形为所述多面体之间公共的面；
对所述多边形进行优化处理，根据所述优化处理后的多边形和所述多面体形成三维模型；
对所述多边形进行优化处理，根据所述优化处理后的多边形和所述多面体形成三维模型，包括：
将所述多面体作为顶点，所述多边形作为边，基于预设拟合能量方程式设置所述多边形对应的权重，构建出S-T图；
根据最大流算法对所述S-T图进行迭代处理，得到多边形集合；
将所述多边形集合中共边且共面的多边形组成多边形块，根据预设平滑能量方程式对所述多边形块进行平滑处理，得到平滑处理后的多边形块；
根据预设综合能量方程式对所述平滑处理后的多边形块同时进行拟合以及平滑处理，得到剩余的多边形块；
根据所述多边形集合中除了组成多边形块以外的多边形，以及剩余的多边形块中的多边形，和所述多面体形成三维模型。
2.如权利要求1所述的三维表面重建方法，其特征在于，对所述待处理点云融合处理，得到融合点云，包括：
根据Poisson算法对所述待处理点云融合处理，得到融合点云。
3.如权利要求1所述的三维表面重建方法，其特征在于，对所述待处理点云进行网格化处理，得到多边形和多面体，包括：
根据MeanShift算法对所述融合点云进行聚类，得到待选平面；
根据Polyfit算法对所述待选平面进行优化，得到多边形和多面体。
4.如权利要求1所述的三维表面重建方法，其特征在于，所述预设拟合能量方程式为：
Figure 614085DEST_PATH_IMAGE001
，
其中，
Figure 951656DEST_PATH_IMAGE002
表示多边形，
Figure 971565DEST_PATH_IMAGE003
表示可以看到多边形
Figure 512837DEST_PATH_IMAGE002
的相机数量，
Figure 98539DEST_PATH_IMAGE004
表示相机
Figure 341433DEST_PATH_IMAGE005
投影在 多边形
Figure 645375DEST_PATH_IMAGE002
的栅格化像素集，
Figure 733548DEST_PATH_IMAGE006
表示相机
Figure 517965DEST_PATH_IMAGE005
的位置，
Figure 118710DEST_PATH_IMAGE007
和
Figure 909949DEST_PATH_IMAGE008
表示定义多边形
Figure 798883DEST_PATH_IMAGE002
所在的平面方程 式，
Figure 624756DEST_PATH_IMAGE009
表示在相机
Figure 147136DEST_PATH_IMAGE005
空间方向上观测到的像素
Figure 222408DEST_PATH_IMAGE010
。
5.如权利要求4所述的三维表面重建方法，其特征在于，所述预设平滑能量方程式为:
Figure 121225DEST_PATH_IMAGE011
,
其中，
Figure 536026DEST_PATH_IMAGE012
表示多边形块的数量，
Figure 557202DEST_PATH_IMAGE013
表示根据最大流算法计算出的每个多边形块的平均原 始光滑残差；
Figure 260716DEST_PATH_IMAGE013
被定义为：
Figure 9229DEST_PATH_IMAGE014
，
其中，
Figure 32199DEST_PATH_IMAGE015
表示原始多边形块，
Figure 207965DEST_PATH_IMAGE016
代表原始多边形块
Figure 149508DEST_PATH_IMAGE015
的数量，a，b，c表示超级参数，设置 a=-0.0001，b=-10000，c=10000。
6.如权利要求5所述的三维表面重建方法，其特征在于，预设综合能量方程式为：
Figure 436132DEST_PATH_IMAGE017
，
其中，
Figure 576258DEST_PATH_IMAGE018
表示多边形集合，
Figure 188505DEST_PATH_IMAGE012
表示多边形集合
Figure 866611DEST_PATH_IMAGE018
中多边形块的数量，
Figure 442080DEST_PATH_IMAGE019
表示所述预 设拟合能量方程式，
Figure 685979DEST_PATH_IMAGE020
表示所述预设平滑能量方程式。
7.一种三维表面重建装置，其特征在于，包括：
获取模块，用于获取待处理点云；
融合模块，用于对所述待处理点云融合处理，得到融合点云；
网格化模块，用于对所述融合点云进行网格化处理，得到多边形和多面体，其中，所述多边形为所述多面体之间公共的面；
优化处理模块，用于对所述多边形进行优化处理，根据所述优化处理后的多边形和所述多面体形成三维模型；
所述优化处理模型包括：
将所述多面体作为顶点，所述多边形作为边，基于预设拟合能量方程式设置所述多边形对应的权重，构建出S-T图；
根据最大流算法对所述S-T图进行迭代，得到多边形集合；
将所述多边形集合中共边且共面的多边形组成多边形块，根据预设平滑能量方程式对所述多边形块进行平滑处理，得到平滑处理后的多边形块；
根据预设综合能量方程式对所述平滑处理后的多边形块同时进行拟合以及平滑处理，得到剩余的多边形块；
根据所述多边形集合中除了组成多边形块以外的多边形，以及剩余的多边形块中的多边形，和所述多面体形成三维模型。
8.一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的方法。
9.一种可读存储介质，所述可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。
CN202110571793.2A 2021-05-25 2021-05-25 一种三维表面重建方法、装置、服务器以及可读存储介质 Active CN113240720B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110571793.2A CN113240720B (zh) 2021-05-25 2021-05-25 一种三维表面重建方法、装置、服务器以及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110571793.2A CN113240720B (zh) 2021-05-25 2021-05-25 一种三维表面重建方法、装置、服务器以及可读存储介质

Publications (2)

Publication Number Publication Date
CN113240720A CN113240720A (zh) 2021-08-10
CN113240720B true CN113240720B (zh) 2022-05-17

Family

ID=77138776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110571793.2A Active CN113240720B (zh) 2021-05-25 2021-05-25 一种三维表面重建方法、装置、服务器以及可读存储介质

Country Status (1)

Country Link
CN (1) CN113240720B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674423A (zh) * 2021-08-27 2021-11-19 中德（珠海）人工智能研究院有限公司 一种火灾原因判定方法、装置、服务器及可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107958481A (zh) * 2016-10-17 2018-04-24 杭州海康威视数字技术股份有限公司 一种三维重建方法及装置
CN106373168A (zh) * 2016-11-24 2017-02-01 北京三体高创科技有限公司 一种基于医疗图像的分割与三维重建方法、3d打印系统
EP3570253B1 (en) * 2017-02-17 2021-03-17 SZ DJI Technology Co., Ltd. Method and device for reconstructing three-dimensional point cloud
CN109993783B (zh) * 2019-03-25 2020-10-27 北京航空航天大学 一种面向复杂三维建筑物点云的屋顶及侧面优化重建方法
CN110363858B (zh) * 2019-06-18 2022-07-01 新拓三维技术(深圳)有限公司 一种三维人脸重建方法及系统
CN110533778B (zh) * 2019-08-09 2021-01-12 中国科学院自动化研究所 大规模图像点云并行分布式网格化重建方法、系统、装置
CN110874864B (zh) * 2019-10-25 2022-01-14 奥比中光科技集团股份有限公司 获取对象三维模型的方法、装置、电子设备及系统

Also Published As

Publication number Publication date
CN113240720A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN107533771B (zh) 通过3d模型重建进行网格简化
CN115082639A (zh) 图像生成方法、装置、电子设备和存储介质
CN107578467B (zh) 一种医疗器械三维建模方法及装置
US10713844B2 (en) Rendering based generation of occlusion culling models
CN109979013B (zh) 三维人脸贴图方法及终端设备
CN109697748B (zh) 模型压缩处理方法、模型贴图处理方法装置、存储介质
CN112652046A (zh) 游戏画面的生成方法、装置、设备及存储介质
CN112927339A (zh) 图形渲染方法和装置、存储介质及电子设备
CN114677473A (zh) 三维模型的重建方法、装置、设备及存储介质
CN113240720B (zh) 一种三维表面重建方法、装置、服务器以及可读存储介质
CN108986210B (zh) 三维场景重建的方法和设备
CN117078828A (zh) 一种纹理模型简化方法及装置
CN113570725A (zh) 基于聚类的三维表面重建方法、装置、服务器及存储介质
CN113781642A (zh) 一种基于减面算法的三维模型多层级lod的生成方法
WO2023207741A1 (zh) 一种元宇宙场景素材的建模方法及相关装置
US9639975B1 (en) System and method for generating shadows
CN113592994B (zh) 用于纹理贴图的方法、装置和存储介质
KR101919085B1 (ko) 3차원 메쉬 데이터 간소화 방법 및 장치
CN115965735A (zh) 纹理贴图的生成方法和装置
CN115019057A (zh) 图像特征提取模型确定方法及装置、图像识别方法及装置
CN115311152A (zh) 图像处理方法、装置、电子设备以及存储介质
CN108846897B (zh) 三维模型表面材质模拟方法、装置、存储介质及电子设备
CN114821216A (zh) 图片去网纹神经网络模型建模、使用方法及相关设备
Fu et al. Dynamic shadow rendering with shadow volume optimization
WO2024037116A9 (zh) 三维模型的渲染方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant