CN116805356A - 建筑模型的构建方法、设备及计算机可读存储介质 - Google Patents
建筑模型的构建方法、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN116805356A CN116805356A CN202310913308.4A CN202310913308A CN116805356A CN 116805356 A CN116805356 A CN 116805356A CN 202310913308 A CN202310913308 A CN 202310913308A CN 116805356 A CN116805356 A CN 116805356A
- Authority
- CN
- China
- Prior art keywords
- building
- model
- dimensional model
- mask
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 59
- 238000013507 mapping Methods 0.000 claims abstract description 29
- 230000005855 radiation Effects 0.000 claims abstract description 16
- 238000005457 optimization Methods 0.000 claims abstract description 13
- 210000005036 nerve Anatomy 0.000 claims abstract description 10
- 238000009877 rendering Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 26
- 238000001914 filtration Methods 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 20
- 230000011218 segmentation Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 9
- 230000001537 neural effect Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种建筑模型的构建方法、设备及计算机可读存储介质，属于建筑测绘技术领域。所述建筑模型的构建方法包括以下步骤：获取无人机拍摄的原始图像；对所述原始图像进行分割处理，生成建筑区域对应的掩码图像；基于所述掩码图像与所述原始图像的特征点，将所述掩码图像与所述原始图像对齐并输出对应的掩码；将所述掩码作为神经辐射场的输入参数，基于所述掩码渲染并构建所述建筑区域的初始三维模型；对所述初始三维模型进行优化处理，得到所述建筑区域的目标三维模型。能够构建出更加精确、建筑信息完善的建筑模型。
Description
技术领域
本发明涉及建筑测绘技术领域，尤其涉及建筑模型的构建方法、设备及计算机可读存储介质。
背景技术
随着城市化进程的推进，城市建筑的数量和复杂度也不断增加，为了便于城市规划和管理，需要对城市建筑进行三维模型的重建。目前，基于无人机拍摄图像的城市建筑三维重建技术已经得到了广泛应用，但是由于城市建筑的多样性和复杂性，传统的三维重建方法，通常是使用多个视角采集的建筑图像来完成三维模型的构建，但这样的方式往往会存在着构建精度低和模型信息缺失的缺点。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种建筑模型的构建方法、设备及计算机可读存储介质，旨在解决传统的基于无人机图像的三维构建方法，存在着构建精度第以及模型信息缺失的技术问题。
为实现上述目的，本发明提供一种建筑模型的构建方法，所述建筑模型的构建方法包括以下步骤：
获取无人机拍摄的原始图像；
对所述原始图像进行分割处理，生成建筑区域对应的掩码图像；
基于所述掩码图像与所述原始图像的特征点，将所述掩码图像与所述原始图像对齐并输出对应的掩码；
将所述掩码作为神经辐射场的输入参数，基于所述掩码渲染并构建所述建筑区域的初始三维模型；
对所述初始三维模型进行优化处理，得到所述建筑区域的目标三维模型。
可选地，所述对所述原始图像进行分割处理，生成建筑区域对应的掩码图像的步骤包括：
获取分割提示；
基于所述分割提示，对所述原始图像进行图像嵌入；
基于所述图像嵌入后的所述原始图像，分割所述原始图像中的建筑区域和非建筑区域；
基于分割后的所述建筑区域，预测并输出所述建筑区域的掩码图像。
可选地，所述基于所述掩码图像与所述原始图像的特征点，将所述掩码图像与所述原始图像对齐并输出对应的掩码的步骤包括：
提取所述掩码图像的第一关键点和所述原始图像的第二关键点；
基于所述第一关键点和所述第二关键点，确定所述掩码图像在所述原始图像中的位置和方向；
基于所述掩码图像在所述原始图像中的位置和方向，输出所述建筑区域的掩码。
可选地，所述将所述掩码作为神经辐射场的输入参数，基于所述掩码渲染并构建所述建筑区域的初始三维模型的步骤包括：
将所述建筑区域各个视图的掩码作为所述神经辐射场的输入参数；
基于所述建筑区域各个视图的掩码，进行掩模逆绘制，得到对应的三维掩模；
基于所述各个视图的三维掩模，构建所述建筑区域的初始三维模型。
可选地，所述对所述初始三维模型进行优化处理的步骤包括：
获取所述初始三维模型的点云数据；
根据所述点云数据的点云属性，设置滤波范围；
基于所述滤波范围，过滤所述点云数据中的离群点；
基于过滤后的点云数据，优化所述初始三维模型。
可选地，所述对所述初始三维模型进行优化处理的步骤，还包括：
获取所述初始三维模型的待优化表面区域；
基于所述待优化表面区域的点云数据，估算对应的法向量；
基于所述法向量，对所述待优化表面区域进行表面重建，以优化所述初始三维模型。
可选地，所述对所述初始三维模型进行优化处理的步骤，还包括：
获取所述建筑区域对应的建筑结构信息；
基于所述建筑结构信息，确定对应的几何约束条件；
基于所述几何约束条件，对所述三维模型的尺寸进行几何约束，以优化所述初始三维模型。
可选地，所述对所述初始三维模型进行优化处理，得到所述建筑区域的目标三维模型的步骤，还包括：
基于所述原始图像数据对应的三维序列和所述初始三维模型，生成对应的纹理图像集；
建立所述纹理图像集中的纹理像素与三维模型顶点之间的映射关系；
基于所述映射关系，将所述纹理图像映射值至所述初始三维模型上，以得到所述目标三维模型。
此外，为实现上述目的，本发明还提供一种建筑模型的构建设备，所述建筑模型的构建设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的建筑模型的构建程序，所述建筑模型的构建程序配置为实现如上所述的建筑模型的构建方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有建筑模型的构建程序，所述建筑模型的构建程序被处理器执行时实现如上所述的建筑模型的构建方法的步骤。
本发明实施例通过提供一种建筑模型的构建方法，通过获取无人机拍摄的原始图像，对所述原始图像进行分割处理，生成建筑区域对应的掩码图像，基于所述掩码图像与原始图像的特征点，将掩码图像与原始图像对齐并输出对应的掩码，将掩码作为神经辐射场的输入参数，基于掩码渲染并构建建筑区域的初始三维模型，对初始三维模型进行优化处理，得到建筑区域的目标三维模型。通过上述建筑模型的构建方法，能够使得最终得到的建筑模型更加精确，且具备建筑区域的详细信息，更精确的建模模型具备更加广泛的应用前景，在应用到其他场景时，如城市规划、建筑设计、历史文化遗产保护等，能够为其提供准确的参考价值。
附图说明
图1为本发明建筑模型的构建方法第一实施例的流程示意图；
图2为本发明建筑模型的构建方法第二实施例的流程示意图；
图3为本发明建筑模型的构建方法第三实施例的流程示意图；
图4为本发明建筑模型的构建方法第四实施例的流程示意图；
图5是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供了一种建筑模型的构建方法，参照图1，图1为本发明一种建筑模型的构建方法第一实施例的流程示意图。
本实施例中，所述建筑模型的构建方法包括：
步骤S10、获取无人机拍摄的原始图像。
在本实施例中，无人机拍摄的原始图像数据为无人机按照预设拍摄航线飞行拍摄采集的城市区域的图像数据，该原始图像数据中包含区域有建筑区域以及非建筑区域，后续的建模过程中，需要从原始图像数据中分离出建筑区域，并通过建筑区域的图像数据，构建出建筑区域对应的三维模型。
可选地，无人机拍摄的原始图像数据可以由无人机直接上传到云平台上获取，也可以从无人机中拷贝获取。
在本实施例中，通过获取无人机采集的原始图像数据，便于后续基于原始图像数据进行建筑区域三维模型的构建。
步骤S20、对所述原始图像进行分割处理，生成建筑区域对应的掩码图像。
在本实施例中，需要对原始图像数据进行分割处理，也就是将原始图像数据中的建筑区域和非建筑区域区分出来。可选地，可以借助图像分割模型来执行图像分割，并输出掩码图像的步骤，在分割图像时，向模型输入正确的提示，模型在接收到提示之后，能够基于提示对图像进行图像嵌入，并基于图像嵌入进行掩码预测，以此来分割图像数据中的建筑区域和非建筑区域。
可选地，作为一种可行的实施方式，可以使用SAM模型输出建筑区域的掩码图像，需要说明的是，SAM模型在使用之前，还需要经过系统的预训练，将其训练为能够根据任务图像提示返回有效的分割掩码的分割模型，其中，任务图像提示可以是前景/背景点、粗框或掩码、自由格式文本等，这里的指示为用来表示图像中要分割的内容的任何信息，可以为多个。为了训练模型，需要大量多样的数据源，使用SAM模型收集数据，标注者使用SAM交互式地标注图像，然后使用新标注的数据依次更新SAM，经过多次重复此循环以迭代改进模型和数据集。
进一步地，SAM模型包括图像编码器和掩码预测器，编码器基于原始图像数据，生成对应的图像嵌入向量，图像中的掩码预测器，会基于编码器的图像嵌入向量以及输入的提示，在原始图像上的网格中对单点输入提示进行上采样，进而从提示中预测多个掩码。随后，对掩码进行质量过滤，并使用非最大值抑制重复执行，进一步提高掩码预测的质量。最后SAM模型基于预测的掩码，输出分割后的建筑区域的掩码图像。
在本实施例中，通过将原始图像数据中的建筑区域和非建筑区域划分开来，便于后续对建筑区域内的建筑进行建模处理。
步骤S30、基于所述掩码图像与所述原始图像的特征点，将所述掩码图像与所述原始图像对齐并输出对应的掩码。
在基于原始图像数据分割出来建筑区域的掩码图像，还需要与原始图像进行对齐，以得到建筑区域的掩码，用于作为后续构建初始三维模型的输入参数。
首先提取掩码图像与原始图像的特征点，将提取到的掩码图像中的特征点称为“第一特征点”，将提取到的原始图像的特征点称为“第二特征点”，将第一特征点和第二特征点进行匹配，以此确定掩码图像在原始图像中的位置和方向，这里主要是为了保证分割后的掩码图像与原始图像中的轮廓是一致的，保证图像分割的准确性。在确定了掩码图像在原始图像中的位置和方向之后，就可以输出建筑区域掩码图像中的掩码。
其中，对于图像中特征点的提取，可以采用尺度空间的极值检测方法，根据不同尺度下的高斯模糊化图像差异寻找局部极值，这些找到的极值所对应的点被就是特征点。在不同尺寸空间下可能找出过多的特征点，有些特征点可能相对不易辨识或易受噪声干扰，可以个根据特征点附近像素的信息、特征点的尺寸、特征点的主曲率来定位各个特征点，借此消除位于边上或是易受噪声干扰的特征点。在进行掩码图像的方向定位时，利用图像的局部特征为给每一个特征点分配一个基准方向，通过计算特征点局部邻域的方向直方图，寻找直方图中最大值的方向作为特征点的主方向。
需要说明的是，图像中特征点的数量为多个，“第一”和“第二”的字眼仅用于区分称呼，并不对特征点的数量和用途进行限制。
可选地，进行图像对齐的操作时，可以使用SIFT和SURF算法，进行图像匹配。
在本实施例中，将掩码图像和原始图像进行对齐，能够保证分割后的掩码图像与原始图像中的轮廓是一致的，保证图像分割的准确性。
步骤S40、将所述掩码作为神经辐射场的输入参数，基于所述掩码渲染并构建所述建筑区域的初始三维模型。
在本实施中，在构建建筑的初始建筑三维模型时，需要基于无人机拍摄的多个视角的图像数据进行构建，作为一种可行的实施方式，可以借助NeRF(Neural RadianceFields，神经辐射场)算法模型来进行构建。NeRF算法模型能够将场景建模变成一个连续的5D辐射场隐式存储在神经网络中，只需输入稀疏的多视角的图像训练得到一个神经辐射场模型，根据这个模型可以渲染出任意视角下的清晰的照片。即通过构造一个隐式的渲染流程，输入某个视角下发射的光线的位置o，方向d以及对应的坐标(x，y，z)，送入神经辐射场得到体密度和颜色，最后再通过体渲染得到最终的图像。进一步地，利用已经训练过的NeRF模型。获得当前视图的2D分割掩码，然后将其投影到3D掩模的体素网格上，然后基于当前视图的掩码进行掩模逆绘制得到对应的3D掩模。迭代执行上述过程，遍历更多的视图，与此同时，3D掩模也变得越来越完整，直至最后获得建筑区域的初始三维模型。在上述过程中，根据嵌入NeRF中的学习密度分布，执行掩模逆渲染以将2D掩码投影到3D掩模上。
可选地，除了应用NeRF算法之外，还可以使用NeRF++算法等。
在本实施例中，通过利用神经辐射场算法构建建筑区域的初始三维模型，这里构建的初始三维模型相较于其他方式构造出来的模型，更加精确、逼真，可以在任意角度和距离下呈现出真实的物体表面和纹理细节。
步骤S50、对所述初始三维模型进行优化处理，得到所述建筑区域的目标三维模型。
在本实施例中，为了使得最终得到的建筑区域的三维模型更加精确，还需要对此前构建的初始三维模型进行进一步优化，包括点云优化、法向量估算、几何条件约束和纹理映射。在点云优化的过程中，先获取初始三维模型的点云数据，根据点云数据的点云属性，设置滤波范围，通过过滤滤波范围以外的离群点，筛选出合适的点云数据，并基于点云数据优化初始三维模型，以此达到降噪的目的，使得建筑区域的三维模型边缘更加清晰。通过法向量估算来修正模型表面的畸变，即通过法向量对畸变的模型表面进行重建，以此来优化建筑区域的三维模型。通过获取建筑区域的建筑结构信息，如建筑高度、建筑面积等，确定对应的几何约束条件，通过几何约束条件来优化初始三维模型，使得最终构造出来的建筑模型的尺寸合理。通过对优化后的初始建筑模型进行纹理映射，以得到最终的目标建筑模型。该目标建筑模型中能够显示出建筑的详细信息，在应用到其他场景时，如城市规划、建筑设计、历史文化遗产保护等，能够为其提供准确的参考价值。
在本实施例中，通过对建筑区域的初始三维模型进行进一步的优化，使得最终得到的建筑模型更加精确，且具备建筑区域的详细信息，更精确的建模模型具备更加广泛的应用前景。
可选地，为了提升模型的构建精度，还可以从无人机的拍摄图像的清晰度的角度出发，通过获取建筑物的初始数据，包括高度、位置、外立面材料信息，如大厦的外立面材料是玻璃可能会反光，此外还需要根据拍摄时间，确定对应时刻的天气信息，如果是晴天，进一步确定太阳的照射角度，推算太阳光以及建筑外立面是否会使得无人机的镜头造成反光、光晕过大等情况，在规划无人机的拍摄路线时，尽可能地避免因反光导致拍摄的图像不符合要求情况的发生，对不同建筑区域，制定响应的拍摄航线，拍摄角度以及拍摄时间。
进一步的，参照图2，本发明建筑模型的构建方法第二实施例，步骤S50还包括以下步骤：
步骤S51、获取所述初始三维模型的点云数据。
步骤S52、根据所述点云数据的点云属性，设置滤波范围。
步骤S53、基于所述滤波范围，过滤所述点云数据中的离群点。
步骤S54、基于过滤后的点云数据，优化所述初始三维模型。
经过初步构建出来的初始三维模型，其整体仍然会存在边缘粗糙，图像模糊，纹理不匹配等问题，为了能够得到更是精确的建筑三维模型，需要对初始三维模型进行表面重建。在本实施例中，则是对建筑的初始三维模型进行点云优化。即先获取初始三维模型的点云数据，根据点云数据的点云属性，设置滤波范围，通过过滤滤波范围以外的离群点，筛选出合适的点云数据，并基于点云数据优化初始三维模型，以此达到降噪的目的。
其中，可以预先对于初始三维模型进行点云扫描，得到初始三维模型对应的点云模型，点云模型由大量的三维坐标点组成，且每个三维坐标点都有自己的点云属性，也就是位置和属性信息。基于三维坐标点的位置和属性信息，对三维坐标点进行点的邻域统计分析，即计算该点到它临近点的平均距离，得到对应的高斯分布，该高斯分布的形状由均值和标准差决定，基于该高斯分布的标准范围设置滤波半径，那么平均距离在滤波半径之外的点，则被定义为离群点，将其从众多点云中除去。以此迭代遍历点云模型中的每一个点，过滤掉离群点，基于剩余的点云数据，优化初始三维模型，使得三维模型的边缘和表面更加清晰。
在本实施例中，通过对初始三维模型进行点云优化，能够使得建筑的三维模型边缘和表面更加清晰，得到更加精确的模型。
参照图3，本发明建筑模型的构建方法第三实施例，对初始三维模型进行优化的步骤S50还包括以下步骤：
步骤S55、获取所述初始三维模型的待优化表面区域。
步骤S56、基于所述待优化表面区域的点云数据，估算对应的法向量。
步骤S57、基于所述法向量，对所述待优化表面区域进行表面重建，以优化所述初始三维模型。
在本实施例中，构建出来的初始三维模型，其模型的表面会存在不同程度的畸变，为了能够修正模型表面的畸变，还需要对模型表面进行法向量估算，通过法向量对畸变的模型表面进行重建，以此来优化建筑区域的初始三维模型。
可选地，需要进行表面重建的区域可以由工作人员选中，即获取初始三维模型的待优化表面区域，基于待优化表面区域的点云数据，也就是该区域中的三维坐标点，基于这些三维坐标点的邻域，拟合一个平面，近似估算该平面的法线，法线对应的法向量即为估算的法向量。其中，记点的邻域为：
N＝{pi(xi，yi，zi)|i＝1，2，..，n}，
需要拟合的平面的表达式为：
Ax+By+Cz+D＝0
A2+B2+C2＝1，
采用最小二乘法进行平面的拟合，即求解如下的最小值问题：
通过求导并令导数为0，并解出对应的线性方程组，得到M是协方差矩阵，依此类推，寻找线性方程的近似解，令n＝[A,B,C]T，满足：
利用拉格朗日乘子法，构造新的优化函数：
f(n,λ)＝(Mn)TMn+λ(1-nTn)，
从而能够推导出上式的解是协方差矩阵M的最小特征值所对应的归一化特征向量，从而可以得到当前的法向量是：
在本实施例中，估算出来的法向量与待优化表面的曲率始终保持垂直的关系，因此通过估算出来的法向量，对表面区域进行重建，优化初始三维模型，可以提升模型的准确度和细节度。
参照图4，本发明建筑模型的构建方法第四实施例，对初始三维模型进行优化的步骤S50还包括以下步骤：
步骤S58、基于所述原始图像数据对应的三维序列和所述初始三维模型，生成对应的纹理图像集；
步骤S59、建立所述纹理图像集中的纹理像素与三维模型顶点之间的映射关系；
步骤S60、基于所述映射关系，将所述纹理图像映射值至所述初始三维模型上，以得到所述目标三维模型。
在本实施例中，为了使得建筑模型的表面能够显示建筑区域的外部信息，还需要对初始三维模型进行纹理映射，即利用原始图像数据中的图像序列和初始三维模型生成对应的纹理图像，这张纹理图像又被称为纹理地图集，然后，建立纹理地图集中的纹理像素和模型顶点之间的映射关系，并基于映射关系，将纹理图像映射至初始三维模型之上，得到最后的目标三维模型。可选地，图像序列的获取借助算法实现，将建筑的初始三维模型和无人机的摄像机参数的RGB图像集作为算法的输入，由算法输出经过可见性计算、面片生成、纹理块打包、颜色匹配和连续性优化等步骤之后，输出最终的图像序列。
进一步地，确定纹理像素(u，v)和模型空间顶点(x，y，z)的映射函数f，使得(u，v)＝f(x，y，z)。其中u，v纹理坐标系的取值范围在[0，1]，一般取纹理图像左下角为(0，0)，右上角为(1，1)，其中，纹理坐标u，v的定义和纹理尺寸以及形状没有关系，对于任何一个纹理，它的u和v的值都是从0到1，例如u，v(0，0)代表纹理的左下角，u，v(0.5，0.5)则代表纹理的中心的，u，v(1,1)代表纹理的右上角。对于拥有复杂结构的三维模型来说，可以采用两步纹理映射法，采用一个中介曲面作为过渡，将纹理空间到模型空间的映射分为纹理空间到中介曲面，和中介曲面到模型空间两步映射，中介曲面可以为平面、球面、圆柱面等，通过定义中介曲面与纹理像素的参数方程，可以得到纹理映射函数。通过纹理映射函数，将图像序列映射到优化后的模型上，得到最终的目标三维模型。
需要说明的是，在进行纹理映射之前，还需要获取建筑区域的建筑结构信息，如建筑高度、建筑面积等，确定对应的几何约束条件，通过几何约束条件来优化初始三维模型，如模型中线段之间的位置关系，模型的尺寸等。使得最终构造出来的建筑模型的尺寸合理。
在本实施例中，通过对优化后的初始建筑模型进行纹理映射，以得到最终的目标建筑模型，该目标建筑模型中能够显示出建筑的基本信息，在应用到其他场景时，能够为其提供准确的参考价值。
参照图5，图5为本发明实施例方案涉及的硬件运行环境的建筑模型的构建设备结构示意图。
如图5所示，该建筑模型的构建设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图5中示出的结构并不构成对建筑模型的构建设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图5所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及建筑模型的构建程序。
在图5所示的建筑模型的构建设备中，网络接口1004主要用于与其他设备进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明建筑模型的构建设备中的处理器1001、存储器1005可以设置在建筑模型的构建设备中，所述建筑模型的构建设备通过处理器1001调用存储器1005中存储的建筑模型的构建程序，并执行以下步骤：
获取无人机拍摄的原始图像；
对所述原始图像进行分割处理，生成建筑区域对应的掩码图像；
基于所述掩码图像与所述原始图像的特征点，将所述掩码图像与所述原始图像对齐并输出对应的掩码；
将所述掩码作为神经辐射场的输入参数，基于所述掩码渲染并构建所述建筑区域的初始三维模型；
对所述初始三维模型进行优化处理，得到所述建筑区域的目标三维模型。
进一步地，所述建筑模型的构建设备通过处理器1001调用存储器1005中存储的建筑模型的构建程序，还执行以下步骤：
获取分割提示；
基于所述分割提示，对所述原始图像进行图像嵌入；
基于所述图像嵌入后的所述原始图像，分割所述原始图像中的建筑区域和非建筑区域；
基于分割后的所述建筑区域，预测并输出所述建筑区域的掩码图像。
进一步地，所述建筑模型的构建设备通过处理器1001调用存储器1005中存储的建筑模型的构建程序，还执行以下步骤：
提取所述掩码图像的第一关键点和所述原始图像的第二关键点；
基于所述第一关键点和所述第二关键点，确定所述掩码图像在所述原始图像中的位置和方向；
基于所述掩码图像在所述原始图像中的位置和方向，输出所述建筑区域的掩码。
进一步地，所述建筑模型的构建设备通过处理器1001调用存储器1005中存储的建筑模型的构建程序，还执行以下步骤：
将所述建筑区域各个视图的掩码作为所述神经辐射场的输入参数；
基于所述建筑区域各个视图的掩码，进行掩模逆绘制，得到对应的三维掩模；
基于所述各个视图的三维掩模，构建所述建筑区域的初始三维模型。
进一步地，所述建筑模型的构建设备通过处理器1001调用存储器1005中存储的建筑模型的构建程序，还执行以下步骤：
获取所述初始三维模型的点云数据；
根据所述点云数据的点云属性，设置滤波范围；
基于所述滤波范围，过滤所述点云数据中的离群点；
基于过滤后的点云数据，优化所述初始三维模型。
进一步地，所述建筑模型的构建设备通过处理器1001调用存储器1005中存储的建筑模型的构建程序，还执行以下步骤：
获取所述初始三维模型的待优化表面区域；
基于所述待优化表面区域的点云数据，估算对应的法向量；
基于所述法向量，对所述待优化表面区域进行表面重建，以优化所述初始三维模型。
进一步地，所述建筑模型的构建设备通过处理器1001调用存储器1005中存储的建筑模型的构建程序，还执行以下步骤：
获取所述建筑区域对应的建筑结构信息；
基于所述建筑结构信息，确定对应的几何约束条件；
基于所述几何约束条件，对所述三维模型的尺寸进行几何约束，以优化所述初始三维模型。
进一步地，所述建筑模型的构建设备通过处理器1001调用存储器1005中存储的建筑模型的构建程序，还执行以下步骤：
基于所述原始图像数据对应的三维序列和所述初始三维模型，生成对应的纹理图像集；
建立所述纹理图像集中的纹理像素与三维模型顶点之间的映射关系；
基于所述映射关系，将所述纹理图像映射值至所述初始三维模型上，以得到所述目标三维模型。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种建筑模型的构建方法，其特征在于，所述建筑模型的构建方法包括以下步骤：
获取无人机拍摄的原始图像；
对所述原始图像进行分割处理，生成建筑区域对应的掩码图像；
基于所述掩码图像与所述原始图像的特征点，将所述掩码图像与所述原始图像对齐并输出对应的掩码；
将所述掩码作为神经辐射场的输入参数，基于所述掩码渲染并构建所述建筑区域的初始三维模型；
对所述初始三维模型进行优化处理，得到所述建筑区域的目标三维模型。
2.如权利要求1所述的建筑模型的构建方法，其特征在于，所述对所述原始图像进行分割处理，生成建筑区域对应的掩码图像的步骤包括：
获取分割提示；
基于所述分割提示，对所述原始图像进行图像嵌入；
基于所述图像嵌入后的所述原始图像，分割所述原始图像中的建筑区域和非建筑区域；
基于分割后的所述建筑区域，预测并输出所述建筑区域的掩码图像。
3.如权利要求1所述的建筑模型的构建方法，其特征在于，所述基于所述掩码图像与所述原始图像的特征点，将所述掩码图像与所述原始图像对齐并输出对应的掩码的步骤包括：
提取所述掩码图像的第一关键点和所述原始图像的第二关键点；
基于所述第一关键点和所述第二关键点，确定所述掩码图像在所述原始图像中的位置和方向；
基于所述掩码图像在所述原始图像中的位置和方向，输出所述建筑区域的掩码。
4.如权利要求1所述的建筑模型的构建方法，其特征在于，所述将所述掩码作为神经辐射场的输入参数，基于所述掩码渲染并构建所述建筑区域的初始三维模型的步骤包括：
将所述建筑区域各个视图的掩码作为所述神经辐射场的输入参数；
基于所述建筑区域各个视图的掩码，进行掩模逆绘制，得到对应的三维掩模；
基于所述各个视图的三维掩模，构建所述建筑区域的初始三维模型。
5.如权利要求1所述的建筑模型的构建方法，其特征在于，所述对所述初始三维模型进行优化处理的步骤包括：
获取所述初始三维模型的点云数据；
根据所述点云数据的点云属性，设置滤波范围；
基于所述滤波范围，过滤所述点云数据中的离群点；
基于过滤后的点云数据，优化所述初始三维模型。
6.如权利要求1所述的建筑模型的构建方法，其特征在于，所述对所述初始三维模型进行优化处理的步骤，还包括：
获取所述初始三维模型的待优化表面区域；
基于所述待优化表面区域的点云数据，估算对应的法向量；
基于所述法向量，对所述待优化表面区域进行表面重建，以优化所述初始三维模型。
7.如权利要求1所述的建筑模型的构建方法，其特征在于，所述对所述初始三维模型进行优化处理的步骤，还包括：
获取所述建筑区域对应的建筑结构信息；
基于所述建筑结构信息，确定对应的几何约束条件；
基于所述几何约束条件，对所述三维模型的尺寸进行几何约束，以优化所述初始三维模型。
8.如权利要求1所述的建筑模型的构建方法，其特征在于，所述对所述初始三维模型进行优化处理，得到所述建筑区域的目标三维模型的步骤，还包括：
基于所述原始图像数据对应的三维序列和所述初始三维模型，生成对应的纹理图像集；
建立所述纹理图像集中的纹理像素与三维模型顶点之间的映射关系；
基于所述映射关系，将所述纹理图像映射值至所述初始三维模型上，以得到所述目标三维模型。
9.一种建筑模型的构建设备，其特征在于，所述建筑模型的构建设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的建筑模型的构建程序，所述建筑模型的构建程序配置为实现如权利要求1至8中任一项所述的建筑模型的构建方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有建筑模型的构建程序，所述建筑模型的构建程序被处理器执行时实现如权利要求1至8任一项所述的建筑模型的构建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310913308.4A CN116805356A (zh) | 2023-07-24 | 2023-07-24 | 建筑模型的构建方法、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310913308.4A CN116805356A (zh) | 2023-07-24 | 2023-07-24 | 建筑模型的构建方法、设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116805356A true CN116805356A (zh) | 2023-09-26 |
Family
ID=88079569
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310913308.4A Pending CN116805356A (zh) | 2023-07-24 | 2023-07-24 | 建筑模型的构建方法、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116805356A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117540458A (zh) * | 2023-10-31 | 2024-02-09 | 重庆市规划和自然资源信息中心 | 建筑物全空间全要素不动产建模方法 |
-
2023
- 2023-07-24 CN CN202310913308.4A patent/CN116805356A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117540458A (zh) * | 2023-10-31 | 2024-02-09 | 重庆市规划和自然资源信息中心 | 建筑物全空间全要素不动产建模方法 |
| CN117540458B (zh) * | 2023-10-31 | 2024-05-28 | 重庆市规划和自然资源信息中心 | 建筑物全空间全要素不动产建模方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109872397B (zh) | 一种基于多目立体视觉的飞机零件的三维重建方法 | |
| US8363926B2 (en) | Systems and methods for modeling three-dimensional objects from two-dimensional images | |
| US7983474B2 (en) | Geospatial modeling system and related method using multiple sources of geographic information | |
| WO2018061010A1 (en) | Point cloud transforming in large-scale urban modelling | |
| CN110866531A (zh) | 一种基于三维建模的建筑物特征提取方法、系统及存储介质 | |
| EP3756163B1 (en) | Methods, devices, and computer program products for gradient based depth reconstructions with robust statistics | |
| US9147279B1 (en) | Systems and methods for merging textures | |
| US20240169674A1 (en) | Indoor scene virtual roaming method based on reflection decomposition | |
| CN113192179A (zh) | 一种基于双目立体视觉的三维重建方法 | |
| CN112465849B (zh) | 一种无人机激光点云与序列影像的配准方法 | |
| CN108629742B (zh) | 真正射影像阴影检测与补偿方法、装置及存储介质 | |
| CN114782628A (zh) | 基于深度相机的室内实时三维重建方法 | |
| CN113781621A (zh) | 三维重建处理的方法、装置、设备及存储介质 | |
| CN114494589A (zh) | 三维重建方法、装置、电子设备和计算机可读存储介质 | |
| CN116805356A (zh) | 建筑模型的构建方法、设备及计算机可读存储介质 | |
| CN111652241A (zh) | 融合影像特征与密集匹配点云特征的建筑物轮廓提取方法 | |
| CN114463521B (zh) | 一种面向空地影像数据融合的建筑目标点云快速生成方法 | |
| CN115393548A (zh) | 一种适用于三维重建的网格纹理化简算法 | |
| CN115222884A (zh) | 一种基于人工智能的空间对象分析及建模优化方法 | |
| Moorfield et al. | Bilateral filtering of 3D point clouds for refined 3D roadside reconstructions | |
| Patil et al. | A comparative evaluation of SGM variants (including a new variant, tMGM) for dense stereo matching | |
| Böhm et al. | Model refinement by integrated processing of laser scanning and photogrammetry | |
| CN115631317B (zh) | 隧道衬砌正射影像生成方法及装置、存储介质、终端 | |
| Novacheva | Building roof reconstruction from LiDAR data and aerial images through plane extraction and colour edge detection | |
| US20210241430A1 (en) | Methods, devices, and computer program products for improved 3d mesh texturing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |