CN115761154A - 一种三维模型生成方法、装置和电子设备 - Google Patents
一种三维模型生成方法、装置和电子设备 Download PDFInfo
- Publication number
- CN115761154A CN115761154A CN202211289743.6A CN202211289743A CN115761154A CN 115761154 A CN115761154 A CN 115761154A CN 202211289743 A CN202211289743 A CN 202211289743A CN 115761154 A CN115761154 A CN 115761154A
- Authority
- CN
- China
- Prior art keywords
- dimensional model
- texture
- transition region
- texture image
- ground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000007704 transition Effects 0.000 claims abstract description 97
- 239000013598 vector Substances 0.000 claims abstract description 29
- 230000004927 fusion Effects 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Image Generation (AREA)
Abstract
本申请实施例公开了一种三维模型生成方法、装置和电子设备，其中，所述三维模型生成方法包括：对待建模对象的空中三维模型和地面三维模型分别进行特征提取，获取至少三组特征向量；基于所述特征向量对所述空中三维模型和所述地面三维模型进行配准，确定融合后的三维模型的第一过渡区域；对所述第一过渡区域的三角面片进行重构，得到第二过渡区域；对所述第二过渡区域进行纹理填充，确定所述待建模对象的目标三维模型。
Description
技术领域
本申请涉及图像图形处理技术领域，尤其涉及一种三维模型生成方法、装置和电子设备。
背景技术
作为新型基础测绘的标准化产品，实景三维模型被广泛用于多个领域。目前常用的实景三维模型通常包括空中三维模型和地面三维模型，其中，空中三维模型是利用无人机上搭载的不同视角的传感器，从模型的侧面、顶部等多个角度进行拍摄，获取不同角度物体的纹理信息，并结合内业处理生成三维实景模型等产品。地面三维模型是利用地面近景摄影搭载多方位相机等多种传感器，获取所拍摄地区的地面纹理以及物体侧面纹理，通过获取的纹理信息，构建的三维模型。
然而，对于空中三维模型，由于无人机采集数据时的航高设置问题，在采集过程中近地面可能存在障碍物遮挡的问题，导致拍摄到的地面影像不全，其建模结果往往出现纹理拉花、模糊、破洞、几何模型扭曲、精度不高的情况，而地面三维模型无法同时兼顾地面及物体的顶部信息，且在大面积城市建模时，采集数据的时间较长，效率低，无法单独实现场景的完整重建。
发明内容
本申请实施例期望提供一种三维模型生成方法、装置和电子设备。
本申请的技术方案是这样实现的：
本申请第一方面的实施例提供一种三维模型生成方法，包括：
对待建模对象的空中三维模型和地面三维模型分别进行特征提取，获取至少三组特征向量；
基于所述特征向量对所述空中三维模型和所述地面三维模型进行配准，确定融合后的三维模型的第一过渡区域；
对所述第一过渡区域的三角面片进行重构，得到第二过渡区域；
对所述第二过渡区域进行纹理填充，确定所述待建模对象的目标三维模型。
可选地，所述基于所述特征向量对所述空中三维模型和所述地面三维模型进行配准，包括：
基于所述特征向量对所述空中三维模型和/或所述地面三维模型进行几何变换，实现初次配准；
基于迭代最近点算法对初次配准后的三维模型进行二次配准。
可选地，所述对所述第一过渡区域的三角面片进行重构，得到第二过渡区域，包括：
对所述第一过渡区域的三角面片进行重构，消除所述第一过渡区域中的孔洞区域，得到第二过渡区域。
可选地，所述对所述第一过渡区域的三角面片进行重构，得到第二过渡区域，包括：
利用散点轮廓算法筛选所述第一过渡区域的边界点；
利用三角网生长算法对筛选后的所述边界点进行重构三角面片，得到第二过渡区域。
可选地，所述对所述第二过渡区域进行纹理填充，包括：
获取所述第二过渡区域中的每个所述三角面片对应的纹理图像集合中每个纹理图像的纹理质量；
利用马尔科夫随机场为每个所述三角面片分配目标纹理图像；所述目标纹理图像的纹理质量不低于相应的所述纹理图像集合中任一纹理图像的纹理质量。
可选地，所述获取所述第二过渡区域中的每个所述三角面片对应的纹理图像集合中每个纹理图像的纹理质量，包括：
获取所述第二过渡区域中的每个所述三角面片映射到二维的纹理图像的像素总数和所述纹理图像包含的颜色值的方差；
基于所述像素总数和所述方差，确定每个纹理图像的纹理质量。
可选地，在对所述第二过渡区域进行纹理填充之后，所述方法还包括：
基于影像增强技术对所述第二过渡区域中的每个所述三角面片的纹理图像的亮度和颜色进行调整。
可选地，在对所述第二过渡区域进行纹理填充之后，所述方法还包括：
采用泊松融合算法消除相邻所述纹理图像接缝处的颜色差异。
本申请的第二方面的实施例提供一种三维模型生成装置，包括：
特征提取模块，用于对待建模对象的空中三维模型和地面三维模型分别进行特征提取，获取至少三组特征向量；
配准模块，用于基于所述特征向量对所述空中三维模型和所述地面三维模型进行配准，确定融合后的三维模型的第一过渡区域；
重构模块，用于对所述第一过渡区域的三角面片进行重构，得到第二过渡区域；
填充模块，用于对所述第二过渡区域进行纹理填充，确定所述待建模对象的目标三维模型。
本申请的第三方面的实施例提供一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，所述处理器执行第一方面所述方法的步骤。
本申请实施例提供的一种三维模型生成方法、装置和电子设备，其中，所述三维模型生成方法包括：对待建模对象的空中三维模型和地面三维模型分别进行特征提取，获取至少三组特征向量；基于所述特征向量对所述空中三维模型和所述地面三维模型进行配准，确定融合后的三维模型的第一过渡区域；对所述第一过渡区域的三角面片进行重构，得到第二过渡区域；对所述第二过渡区域进行纹理填充，确定所述待建模对象的目标三维模型。采用本申请的技术方案，通过将空中三维模型和地面三维模型进行融合，重构两类三维模型的过渡区域，并进行纹理映射，不仅实现了对目标区域的三维模型的完整架构，而且保证了融合后的三维模型的图像质量，提高了目标区域实景三维模型的精细化程度。
附图说明
图1为本申请实施例提供的一种三维模型生成方法的流程示意图；
图2为本申请实施例提供的一种三维模型生成装置的结构示意图；
图3为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
此外，附图仅为本申请的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
在此使用的术语的目的仅在于描述具体实施例并且不作为本申请的限制。在此使用时，单数形式的“一”、“一个”和“所述/该”也意图包括复数形式，除非上下文清楚指出另外的方式。还应明白术语“组成”和/或“包括”，当在该说明书中使用时，确定所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或更多其它的特征、整数、步骤、操作、元件、部件和/或组的存在或添加。在此使用时，术语“和/或”包括相关所列项目的任何及所有组合。
在一些实施例中，请参阅图1，图1为本申请实施例提供的一种三维模型生成方法的流程示意图，该三维模型生成方法，包括：
步骤S110，对待建模对象的空中三维模型和地面三维模型分别进行特征提取，获取至少三组特征向量。
在本实施例中，基于倾斜摄影测量技术，利用无人机上搭载的不同视角的传感器，从待建模对象的侧面、顶部等多个角度进行拍摄，可以获取不同角度对象的纹理信息，进而结合内业处理，生成空中三维模型。相应的，利用地面移动装置搭载相机进行近地面拍摄，获取所拍摄地区的地面纹理以及物体侧面纹理，进而基于获取的纹理信息，构建地面三维模型。
在一可选实施例中，对待建模对象的空中三维模型进行特征提取，包括：基于特征向量建立结构列表，进而基于结构列表确定空中三维模型的孔洞边界。
这里，结构列表可以包括点列表、边列表和面列表；其中，面列表包括三角面片的编号和三角面片对应的顶点编号；点列表包括构成三角面片的每个顶点的坐标(x，y，z)；边列表包括边的编号以及构成这条边相应点的编号，同时将首次读取此边时的相邻三角面片数量设为1。根据结构列表，可以查找相邻三角面片数量为1的边，输出边界边，进而根据边界边的长度区分模型自身边界和孔洞边界，将长度最长的边界边确定为模型自身边界，其余边界边为孔洞边界。
步骤S120，基于特征向量对空中三维模型和地面三维模型进行配准，确定融合后的三维模型的第一过渡区域。
在本实施例中，通过空间变换，可以将空中三维模型映射到地面三维模型，通过使空中三维模型中的特征向量与地面三维模型中的特征向量一一对应，从而完成空中三维模型与地面三维模型的融合。
在本实施例中，基于空中三维模型中的三个特征向量，以及地面三维模型中对应的三个特征向量，实现对空中三维模型和地面三维模型进行配准，确定融合后的三维模型的第一过渡区域。需要说明的是，用于配准的特征向量的个数可以不局限于三个，还可以是四个、五个，对此不进行限制。
在一些实施例中，基于特征向量对空中三维模型和地面三维模型进行配准，包括：
基于特征向量对空中三维模型和/或地面三维模型进行几何变换，实现初次配准；
基于迭代最近点算法对初次配准后的三维模型进行二次配准。
在本实施例中，通过转换公式将空地实景三维模型统一到同一坐标系下；
其中，转换公式为：
式中，x，y，z为配准前的地面实景三维模型坐标，X，Y，Z为粗配准后地面实景三维模型的坐标，ΔX，ΔY，ΔZ为平移参数，
为旋转矩阵，S为配准前后的缩放倍数(即尺度因子)。
通过对空中三维模型和地面三维模型中的至少之一进行平移、缩放等操作，从而将空中三维模型和地面三维模型进行初次配准，进而基于迭代最邻近点算法对初次配准后的三维模型进行处理，选择一些具有明显特征的点集来进行配准，大量减少了对应点的数目，有效降低三维模型的融合成本。
步骤S130，对第一过渡区域的三角面片进行重构，得到第二过渡区域。
在空中三维模型和地面三维模型初步融合得到的三维模型的第一过渡区域中，通常会存在孔洞区域，在上述的结构列表的孔洞边界可以进行体现。孔洞区域会极大地影响三维模型的图像质量，因此需要对孔洞区域进行处理，以消除孔洞区域对三维模型的影响。
在一些实施例中，对第一过渡区域的三角面片进行重构，得到第二过渡区域，包括：
对第一过渡区域的三角面片进行重构，消除第一过渡区域中的孔洞区域，得到第二过渡区域。
在多边形网格的面片中，三角面片是被分割的最小单位，且表示比较简单、灵活，并且拓扑描述方便，所以被广泛使用。三角面片可以包括世界坐标系下的三个顶点，待建模物体的三维模型表面即是通过大量的三角面片构成。通过对三角面片进行重构，从而可以消除第一过渡区域中的孔洞区域，提高融合后的三维模型的图像质量。
在一些实施例中，对第一过渡区域的三角面片进行重构，得到第二过渡区域，包括：
利用散点轮廓算法筛选第一过渡区域的边界点；
利用三角网生长算法对筛选后的边界点进行重构三角面片，得到第二过渡区域。
在本实施例中，对第一过渡区域的边界进行检测，通过建立数据结构列表输出边界边，将内外边界点平均距离的平均值作为重采样间隔进行顶点重采。利用散点轮廓(Alpha Shapes)算法进行初次构网，筛选三角面片的顶点，进而利用Delaunay三角网生长算法对筛选后的边界点进行重构三角面片。从第一过渡区域的边界边开始，向外扩展，搜寻边界边邻近的下一个凸包边，将上一步搜寻到的边界边删除，只保留顶点，用带约束的凸闭包完成Delaunay三角网生长算法重新构网，直到构成的三角网没有空洞且边界边的构网原则与原始模型边界边的构网原则一致为止。这里原始模型为空中三维模型或地面三维模型，当三角网区域更临近空中三维模型时，原始模型为空中三维模型；当三角网区域更临近地面三维模型时，原始模型为地面三维模型。
基于约束边界的凸闭包Delaunay三角网生长算法的具体原理为：从约束边界中寻找凸闭包的边界点，将其首尾相连构成凸闭包，然后以凸闭包边界的任意一点作为起始点，其所在的其中一条边界作为边界边，开始构建Delaunay三角形，并将构建的第一个三角形的一条边作为边界边，重复上述步骤，构建下一个Delaunay三角形，直到构建的Delaunay三角形的某个顶点为凸闭包的第二个边界点，则第一层Delaunay三角网构建完成，由此选取第一层Delaunay三角网的外边作为新的边界边，重复上述步骤，直到约束边界内凸闭包的所有点均构建成了三角形。
步骤S140，对第二过渡区域进行纹理填充，确定待建模对象的目标三维模型。
在本实施中，根据每个三角面片分别映射在二维图像上的区域得到多个纹理图像，通过对能量函数进行迭代优化，从而可以确定能量函数的最小值对应的映射关系为三角面片与纹理图像之间的映射关系。需要说明的是，能量函数可以为马尔科夫随机场(Markov Random Field，MFP)能量函数。根据采图装置在采集图像时拍摄的待建模对象的表面信息，确定二维图像对应的至少一个三角面片，然后通过三维模型上的每个三角面片的三个顶点在对应的二维图像上的反映射确定二维图像上的纹理图像集合，示例性的，采图装置在采集某二维图像时拍摄的为待建模对象的第一表面，那么将参考三维模型上第一表面对应的至少一个三角面片通过反映射在该二维图像上的区域确定至少一个纹理图像，每个三角面片对应确定一个纹理图像。
在一些实施例中，对第二过渡区域进行纹理填充，包括：
获取第二过渡区域中的每个三角面片对应的纹理图像集合中每个纹理图像的纹理质量；
利用马尔科夫随机场为每个三角面片分配目标纹理图像；目标纹理图像的纹理质量不低于相应的纹理图像集合中任一纹理图像的纹理质量。
在本实施例中，目标纹理图像为纹理图像集合中纹理质量最好的纹理图像。当存在两个或多个纹理质量相当的纹理图像时，可以任选其一作为目标纹理图像。通过每次改变三角面片与纹理图像之间的映射关系，使能量函数的能量值最终达到最小值，当能量值为最小值时，优化结束，其中，能量函数的能量值最小时对应的三角面片与纹理图像之间的映射关系，即作为纹理填充的映射关系，以保障目标三维模型的效果。
利用马尔科夫随机场为每个三角面片分配目标纹理图像的具体原理为：
计算每个图片的质量Q：
式中，φ(Fi,Ii)为三角面片投影到二维图像中的区域；
马尔可夫随机场能量公式为：
式中，三角面片F＝{F1,F2,…,Fk}(k为三角面片的个数)，标定的二维图像I＝{I1,I2,…,In}(n为选取图像格式)，为任意一个三角面片Fi(i＝1,2,…,k)选取最优标记，标记序列L＝{l1,…,lk}，标记为1到n之间的一个整数，代表图像索引号，数据项Edata为三角面片Fi的图片纹理质量，平滑项Esmooth为相邻三角面片Fi和Fj接缝处纹理的一致性。
在一些实施例中，获取第二过渡区域中的每个三角面片对应的纹理图像集合中每个纹理图像的纹理质量，包括：
获取第二过渡区域中的每个所述三角面片映射到二维的纹理图像的像素总数和纹理图像包含的颜色值的方差；
基于像素总数和方差，确定每个纹理图像的纹理质量。
在本实施例中，数据项Edata可以从三角面片对应的纹理图像的信息丰富度和清晰度衡量，具体地，可以用三角面片映射到二维纹理图像的像素总数衡量此纹理图像的信息丰富度，用纹理图像包含的颜色值的方差衡量其清晰程度。因此有：
式中，∏Ii表示三角面片Fi投影到纹理图像Ii的像素总数，D(X)表示在区域D(随机采样的3×3像素区域)内包含的颜色值的方差，方差越大，图像越清晰，反之图像越模糊。
其中，
式中，xk为k像素的颜色，μ为区域D内颜色的平均值；
Edata为上述两种函数的乘积，可以作为衡量纹理图像的标准，成为选择最优纹理图像的参考标准。
平滑项Esmooth用来解决相邻三角面片选择不同图像时产生的纹理错位现象。一般采用Potts模型作为平滑项；Potts模型为：
Esmooth＝[li≠lj]；
式中，[·]代表艾佛森(Iverson)括号，当括号内的表达式成立时取值为1，不成立时为0，即如果两个面片Fi和Fj同时选择同一个纹理图像时Esmooth为0，选择不同纹理图片时Esmooth为1。
通过此模型可以推出相邻面片选择同一个纹理图像时，会减少纹理缝隙的生成。对于未选择同一个纹理图像的相邻面片间的纹理，可以利用公式：
E用于描述相邻两个三角面片对应的纹理连续性，其值越小，表明纹理之间的差异越小，最终映射后的纹理质量就越高。
本申请实施例通过将空中三维模型和地面三维模型进行融合，重构两类三维模型的过渡区域，并进行纹理映射，不仅实现了对目标区域的三维模型的完整架构，而且保证了融合后的三维模型的图像质量，提高了目标区域实景三维模型的精细化程度。
在一些实施例中，在对第二过渡区域进行纹理填充之后，所述方法还包括：
基于影像增强技术对第二过渡区域中的每个三角面片的纹理图像的亮度和颜色进行调整。
影像增强技术采用拉普拉斯算子，拉普拉斯锐化公式为：
式中，前一项为x方向的微分系数，后一项为y方向的微分系数，x、y为像素的行列号；
在本实施例中，基于颜色梯度的整体颜色调整需从两个方面约束，即保证调整后的颜色，在接缝处左右两边的颜色值最大程度的相似，以及保证调整颜色后位于边界处的相邻点颜色像素值梯度与调整前原图像一致。
其中，保证调整后的颜色，在接缝处左右两边的颜色值最大程度的相似，有：
argming∑v(fvleft+gvleft-(fvright+gvright))2；
式中，gv表示像素点v需要调整的值，vi和vj分别表示同一个纹理块中相邻的像素点，(fvleft+gvleft)表示调整颜色后接缝处左侧颜色值，(gvright+gvright)表示调整颜色后接缝处右侧颜色值。
保证调整颜色后位于边界处的相邻点颜色像素值梯度与调整前原图像一致，有：
argming∑u∈N(v)((fv+gv-(fu+gu))-(fv-fu)2；
式中((fv+gv-(fu+gu))表示调整颜色后相邻两点的像素值颜色梯度，(fv-fu)表示原图像的颜色梯度，N(v)表示像素点v在边界上的两个邻域像素的集合。
在一些实施例中，在对第二过渡区域进行纹理填充之后，所述方法还包括：
采用泊松融合算法消除相邻纹理图像接缝处的颜色差异。
泊松融合算法需满足以下条件：Divsource＝Divtarget；
式中，Divsource为原始图像的散度，Divtarget为融合后图像散度，即要保证泊松融合前后的区域散度一致，散度公式如下：
Div(x,y)＝color(x-1,y)+color(x,y-1)+color(x,y+1)+color(x+1,y)-4color(x,y)；
式中，公式左边代表当前像素点的散度，公式右边四项代表当前像素点前后左右像素的颜色，右边最后一项代表当前像素点的颜色，x、y当前像素对应的行列号。
通过对融合后的第二过渡区域的纹理图像的亮度和颜色进行调整，从而使得空中三维模型和地面三维模型的融合区域过渡更加自然，保证了融合后的三维模型的图像质量，提高了目标区域实景三维模型的精细化程度。
在一些实施例中，请参阅图2，图2为本申请实施例提供的一种三维模型生成装置的结构示意图；本申请实施例提供一种三维模型生成装置200，包括：
特征提取模块210，用于对待建模对象的空中三维模型和地面三维模型分别进行特征提取，获取至少三组特征向量；
配准模块220，用于基于特征向量对空中三维模型和所述地面三维模型进行配准，确定融合后的三维模型的第一过渡区域；
重构模块230，用于对第一过渡区域的三角面片进行重构，得到第二过渡区域；
填充模块240，用于对第二过渡区域进行纹理填充，确定待建模对象的目标三维模型。
在一些实施例中，配准模块220具体用于：
基于特征向量对空中三维模型和/或地面三维模型进行几何变换，实现初次配准；
基于迭代最近点算法对初次配准后的三维模型进行二次配准。
在一些实施例中，重构模块230具体用于
对第一过渡区域的三角面片进行重构，消除第一过渡区域中的孔洞区域，得到第二过渡区域。
在一些实施例中，重构模块230具体还用于
利用散点轮廓算法筛选第一过渡区域的边界点；
利用三角网生长算法对筛选后的边界点进行重构三角面片，得到第二过渡区域。
在一些实施例中，填充模块240具体用于：
获取第二过渡区域中的每个三角面片对应的纹理图像集合中每个纹理图像的纹理质量；
利用马尔科夫随机场为每个三角面片分配目标纹理图像；目标纹理图像的纹理质量不低于相应的纹理图像集合中任一纹理图像的纹理质量。
在一些实施例中，填充模块240具体还用于：
获取第二过渡区域中的每个三角面片映射到二维的纹理图像的像素总数和所述纹理图像包含的颜色值的方差；
基于像素总数和所述方差，确定每个纹理图像的纹理质量。
在一些实施例中，三维模型生成装置200还包括调整模块，调整模块用于：
基于影像增强技术对所述第二过渡区域中的每个三角面片的纹理图像的亮度和颜色进行调整。
在一些实施例中，三维模型生成装置200还包括消除模块，消除模块用于：
采用泊松融合算法消除相邻纹理图像接缝处的颜色差异。
这里需要指出的是：以上三维模型生成装置实施例的描述，与上述三维模型生成方法实施例的描述是类似的，具有同三维模型生成方法实施例相似的有益效果。对于本申请三维模型生成装置实施例中未披露的技术细节，请参照本申请三维模型生成方法实施例的描述而理解，在此不再一一赘述。
在一些实施例中，本申请实施例提供一种电子设备，请参阅图3，图3为本申请实施例提供的一种电子设备的结构示意图，该电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，所述处理器执行上述三维模型生成方法的步骤。
该电子设备可以是终端、服务器或者类似的运算装置。该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central ProcessingUnits，CPU)，包括但不限于微处理器MCU或可编程逻辑器件FPGA、用于存储数据的存储器，一个或一个以上存储应用程序或数据的存储介质(例如一个或一个以上海量存储设备)。其中，存储器和存储介质可以是短暂存储或持久存储。存储在存储介质的程序可以包括一个或一个以上模块，每个模块可以包括对电子设备中的一系列指令操作。更进一步地，中央处理器可以设置为与存储介质通信，在电子设备上执行存储介质中的一系列指令操作。电子设备还可以包括一个或一个以上电源，一个或一个以上有线或无线网络接口，一个或一个以上输入输出接口，和/或，一个或一个以上操作系统，例如Windows Server，Mac OS X，Unix，Linux，FreeBSD等等。输入输出接口可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备的通信供应商提供的无线网络。
在一个实例中，输入输出接口包括一个网络适配器(Network InterfaceController，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个示例性实施例中，输入输出接口可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解，图3所示的结构仅为示意，其并不对上述电子设备的结构造成限定。例如，电子设备还可包括比图3中所示更多或者更少的组件，或者具有与图3所示不同的配置。
在一些实施例中，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述三维模型生成方法的步骤。
这里需要指出的是：以上电子设备实施例和存储介质实施例的描述，与上述三维模型生成方法实施例的描述是类似的，具有同三维模型生成方法实施例相似的有益效果。对于本申请电子设备实施例和存储介质实施例中未披露的技术细节，请参照本申请三维模型生成方法实施例的描述而理解，在此不再一一赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的三维模型生成方法、装置、设备和存储介质可以通过其他的方式实现。以上所描述的方法、装置、设备和存储介质实施例仅仅是示意性的。
本申请实施例中记载的一种三维模型生成方法、装置、电子设备和存储介质只以本申请所述实施例为例，但不仅限于此，只要涉及到该三维模型生成方法、装置、电子设备和存储介质均在本申请的保护范围。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种三维模型生成方法，包括：
对待建模对象的空中三维模型和地面三维模型分别进行特征提取，获取至少三组特征向量；
基于所述特征向量对所述空中三维模型和所述地面三维模型进行配准，确定融合后的三维模型的第一过渡区域；
对所述第一过渡区域的三角面片进行重构，得到第二过渡区域；
对所述第二过渡区域进行纹理填充，确定所述待建模对象的目标三维模型。
2.根据权利要求1所述的三维模型生成方法，其特征在于，所述基于所述特征向量对所述空中三维模型和所述地面三维模型进行配准，包括：
基于所述特征向量对所述空中三维模型和/或所述地面三维模型进行几何变换，实现初次配准；
基于迭代最近点算法对初次配准后的三维模型进行二次配准。
3.根据权利要求1所述的三维模型生成方法，其特征在于，所述对所述第一过渡区域的三角面片进行重构，得到第二过渡区域，包括：
对所述第一过渡区域的三角面片进行重构，消除所述第一过渡区域中的孔洞区域，得到第二过渡区域。
4.根据权利要求1所述的三维模型生成方法，其特征在于，所述对所述第一过渡区域的三角面片进行重构，得到第二过渡区域，包括：
利用散点轮廓算法筛选所述第一过渡区域的边界点；
利用三角网生长算法对筛选后的所述边界点进行重构三角面片，得到第二过渡区域。
5.根据权利要求1所述的三维模型生成方法，其特征在于，所述对所述第二过渡区域进行纹理填充，包括：
获取所述第二过渡区域中的每个所述三角面片对应的纹理图像集合中每个纹理图像的纹理质量；
利用马尔科夫随机场为每个所述三角面片分配目标纹理图像；所述目标纹理图像的纹理质量不低于相应的所述纹理图像集合中任一纹理图像的纹理质量。
6.根据权利要求5所述的三维模型生成方法，其特征在于，所述获取所述第二过渡区域中的每个所述三角面片对应的纹理图像集合中每个纹理图像的纹理质量，包括：
获取所述第二过渡区域中的每个所述三角面片映射到二维的纹理图像的像素总数和所述纹理图像包含的颜色值的方差；
基于所述像素总数和所述方差，确定每个纹理图像的纹理质量。
7.根据权利要求1所述的三维模型生成方法，其特征在于，在对所述第二过渡区域进行纹理填充之后，所述方法还包括：
基于影像增强技术对所述第二过渡区域中的每个所述三角面片的纹理图像的亮度和颜色进行调整。
8.根据权利要求1所述的三维模型生成方法，其特征在于，在对所述第二过渡区域进行纹理填充之后，所述方法还包括：
采用泊松融合算法消除相邻所述纹理图像接缝处的颜色差异。
9.一种三维模型生成装置，包括：
特征提取模块，用于对待建模对象的空中三维模型和地面三维模型分别进行特征提取，获取至少三组特征向量；
配准模块，用于基于所述特征向量对所述空中三维模型和所述地面三维模型进行配准，确定融合后的三维模型的第一过渡区域；
重构模块，用于对所述第一过渡区域的三角面片进行重构，得到第二过渡区域；
填充模块，用于对所述第二过渡区域进行纹理填充，确定所述待建模对象的目标三维模型。
10.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，所述处理器执行如权利要求1至8中任一项所述方法的步骤。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211289743.6A CN115761154A (zh) | 2022-10-20 | 2022-10-20 | 一种三维模型生成方法、装置和电子设备 |
| PCT/CN2022/142478 WO2024082440A1 (zh) | 2022-10-20 | 2022-12-27 | 一种三维模型生成方法、装置和电子设备 |
| US18/434,115 US20240177415A1 (en) | 2022-10-20 | 2024-02-06 | Three-dimensional model generating method and apparatus, and electronic device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211289743.6A CN115761154A (zh) | 2022-10-20 | 2022-10-20 | 一种三维模型生成方法、装置和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115761154A true CN115761154A (zh) | 2023-03-07 |
Family
ID=85352415
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211289743.6A Pending CN115761154A (zh) | 2022-10-20 | 2022-10-20 | 一种三维模型生成方法、装置和电子设备 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20240177415A1 (zh) |
| CN (1) | CN115761154A (zh) |
| WO (1) | WO2024082440A1 (zh) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030081849A1 (en) * | 2001-07-16 | 2003-05-01 | Smith Joshua Edward | Method and system for creating seamless textured three dimensional models of objects |
| US9437034B1 (en) * | 2014-12-15 | 2016-09-06 | Google Inc. | Multiview texturing for three-dimensional models |
| CN107945267B (zh) * | 2017-12-13 | 2021-02-26 | 四川川大智胜软件股份有限公司 | 一种用于人脸三维模型纹理融合的方法和设备 |
| CN108335352B (zh) * | 2018-01-22 | 2020-05-19 | 华中科技大学 | 一种面向多视图大规模三维重建场景的纹理映射方法 |
| CN109685879B (zh) * | 2018-12-13 | 2023-09-29 | 广东启慧城市信息有限公司 | 多视影像纹理分布的确定方法、装置、设备和存储介质 |
| CN113781621A (zh) * | 2020-11-05 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 三维重建处理的方法、装置、设备及存储介质 |
| CN113345084B (zh) * | 2021-06-29 | 2022-10-21 | 吉林省交通规划设计院 | 三维建模系统及三维建模方法 |
-
2022
- 2022-10-20 CN CN202211289743.6A patent/CN115761154A/zh active Pending
- 2022-12-27 WO PCT/CN2022/142478 patent/WO2024082440A1/zh unknown
-
2024
- 2024-02-06 US US18/434,115 patent/US20240177415A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20240177415A1 (en) | 2024-05-30 |
| WO2024082440A1 (zh) | 2024-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108648270B (zh) | 实时同步定位与地图构建的无人机实时三维场景重建方法 | |
| CN110363858B (zh) | 一种三维人脸重建方法及系统 | |
| CN115082639B (zh) | 图像生成方法、装置、电子设备和存储介质 | |
| CN110728671B (zh) | 基于视觉的无纹理场景的稠密重建方法 | |
| CN113192179B (zh) | 一种基于双目立体视觉的三维重建方法 | |
| WO2015080993A1 (en) | Aligning ground based images and aerial imagery | |
| CN108629742B (zh) | 真正射影像阴影检测与补偿方法、装置及存储介质 | |
| CN114143528A (zh) | 多视频流融合方法、电子设备、存储介质 | |
| CN114119607B (zh) | 基于深度神经网络的酒瓶缺陷样本生成方法及系统 | |
| CN110717936A (zh) | 一种基于相机姿态估计的图像拼接方法 | |
| CN110245199A (zh) | 一种大倾角视频与2d地图的融合方法 | |
| CN113781621A (zh) | 三维重建处理的方法、装置、设备及存储介质 | |
| CN114155150A (zh) | 一种应用于大视差场景的图像拼接方法及装置 | |
| CN110648401A (zh) | 倾斜摄影模型单体化方法、装置、电子设备和存储介质 | |
| CN115393548A (zh) | 一种适用于三维重建的网格纹理化简算法 | |
| CN112598789A (zh) | 图像纹理重建方法、装置、设备及存储介质 | |
| CN108830921A (zh) | 基于入射角度的激光点云反射强度纠正方法 | |
| CN114463521B (zh) | 一种面向空地影像数据融合的建筑目标点云快速生成方法 | |
| CN114998773A (zh) | 适用于无人机系统航拍图像的特征误匹配剔除方法及系统 | |
| JP7432793B1 (ja) | 三次元点群に基づくマッピング方法、装置、チップ及びモジュール機器 | |
| CN116363290A (zh) | 一种用于大规模场景三维重建的纹理贴图生成方法 | |
| CN113345084B (zh) | 三维建模系统及三维建模方法 | |
| CN112002007B (zh) | 基于空地影像的模型获取方法及装置、设备、存储介质 | |
| CN107610216B (zh) | 基于粒子群优化多视角立体点云生成方法及应用的摄像机 | |
| CN113658144A (zh) | 路面病害几何信息的确定方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |