CN117115339B - 一种基于NeRF 5D神经辐射场的建筑三维重建与损伤识别方法 - Google Patents

一种基于NeRF 5D神经辐射场的建筑三维重建与损伤识别方法 Download PDF

Info

Publication number
CN117115339B
CN117115339B CN202310893947.9A CN202310893947A CN117115339B CN 117115339 B CN117115339 B CN 117115339B CN 202310893947 A CN202310893947 A CN 202310893947A CN 117115339 B CN117115339 B CN 117115339B
Authority
CN
China
Prior art keywords
network
branch
building
image
dimensional reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310893947.9A
Other languages
English (en)
Other versions
CN117115339A (zh
Inventor
黄永
罗翔云
李惠
申嘉伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202310893947.9A priority Critical patent/CN117115339B/zh
Publication of CN117115339A publication Critical patent/CN117115339A/zh
Application granted granted Critical
Publication of CN117115339B publication Critical patent/CN117115339B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于NeRF5D神经辐射场的建筑三维重建与损伤识别方法。所述方法首先通过SIFT特征匹配和增量型SFM稀疏重建对单一建筑图像数据集进行预处理，获取图像3D坐标以及相机位姿信息。再利用多分辨率哈希编码并整合，对图像3D坐标进行特征映射。然后将特征映射和相机位姿信息输入本发明提出的三分支网络模型，预测各像素位置的体积密度、RGB色值和语义预测。最后分别通过体素填充和像素整合获得建筑三维重构模型和损伤识别结果。此方法提出了一种单体损伤建筑重建全流程，以及一种轻量化的三分支三维重构和语义分割网络模型，可实现对单一建筑准确且高效的数字孪生和损伤识别。

Description

一种基于NeRF 5D神经辐射场的建筑三维重建与损伤识别 方法
技术领域
本发明属于计算机视觉和土木工程技术领域，特别是涉及一种基于NeRF 5D神经辐射场的建筑三维重建与损伤识别方法。
背景技术
地震灾害会造成十分严重的城市破坏与巨额经济损失。随着我国经济的高速发展和城镇化水平的不断提高，大量农村人口涌入城市使得人口分布情况发生改变，城镇人口密度的持续增加导致地震损失风险急剧上升。城市内各类建筑交错林立，地震灾害形态、灾情演化和社会影响将更为复杂，应急救灾更为困难，造成的破坏性后果也愈发严重。
基于在应急决策中缺乏有效数据这一痛点问题，数字孪生技术可基于完整数据库打造建筑物抗震性能排查及灾害情景构建系统，能够针对灾害特点构建相应情景，模拟灾害发生及救援过程，在未受灾时，该系统可以根据反馈的信息三维重构建筑物模型，确认其抗震性能，实时监测建筑物健康状况，在受灾情况下科学辅助决策，以推进震区防御工作.提升应急救援能力。但是，传统数字孪生的三维重建方法存在重建精度低，算力消耗严重，重构时间过长等问题，在实际工程应用领域存在诸多问题等待解决。
基于上述背景，本发明所述方法利用数字孪生神经辐射场(NeRF)技术，将受灾建筑建模成一个连续的5D辐射场隐式储存在神经网络中，建立起可自适应学习的建筑映射模型，同时利用该神经网络的分支建立了一种基于稀疏标注的语义分割模型，能够在细尺度上识别建筑结构的损伤情况。这种方式打破了传统建模重复性操作的缺点，为建筑物防灾减灾提供了一种更加清晰便捷的操作方法，可大幅降低建筑三维重建的经济成本和时间成本。
发明内容
本发明目的是为了解决现有技术中的问题，提出了一种基于NeRF 5D神经辐射场的建筑三维重建与损伤识别方法。所述方法适用于利用图像数据集对单一建筑或结构进行三维重构以及损伤识别。
本发明是通过以下技术方案实现的，本发明提出一种基于NeRF 5D神经辐射场的建筑三维重建与损伤识别方法，具体包括以下步骤：
步骤一，图像数据集进行前处理：首先利用COLMAP从数据集中提取图像3D坐标和相机位姿，并输出为信息文件；
步骤二，坐标信息参数化编码：将图像3D坐标在多个分辨率的网格中进行哈希编码，形成图像3D坐标的高阶映射，再将全部分辨率下的映射进行拼接，形成三维重建-语义分割网络的特征输入；
步骤三，网络预测：以instant-NGP为基础建立三分支网络模型，投入步骤二所获的特征输入，分别输出图像对应像素位置的体积密度、颜色和语义预测结果；
步骤四，三维重建与损伤识别：基于图像3D坐标及步骤三输出的体积密度和颜色，完成单个建筑物的三维重建；由各像素位置语义预测结果逐步完成整幅图像的损伤位置与损伤类型标注，实现损伤识别。
进一步地，所述步骤一具体为：
步骤1.1、图像特征提取与匹配：利用COLMAP从数据集中提取特征点与特征描述子，并用SIFT算法将提取到的特征点与特征描述子与原图进行几何一致性验证；
步骤1.2、稀疏重建：采用SFM增量式稀疏重建，匹配坐标视角与实体三维建筑的映射，完成图像的3D坐标和相机位姿信息的获取。
进一步地，所述步骤二具体为：
步骤2.1、确定超参数：采取多分辨率网格化实现高精度三维重建，重建过程中需确定分辨率层级的数量、各层级对空间网格的划分精细度以及哈希表所含映射地址的个数；
步骤2.2、特征编码：利用多分辨率哈希编码形成各像素位置的特征编码，其与相机位姿共同组成网络模型的输入。
进一步地，所述步骤三具体为：
步骤3.1、向网络输入步骤二获取的像素特征编码；所有网络层间均采取全连接；特征编码经主干网络即两个全连接隐含层传播后，进入下一分步的多支线传播；
步骤3.2、在网络的第二隐含层开启三分支计算；第一分支直接输出体积密度；第二分支在拼接相机位姿后，再经历一个全连接隐含层后输出RGB三通道色值；第三分支在第二隐含层的基础上再经过四个全连接隐含层后，输出语义预测结果；
步骤3.3、模型优化；主干网络和第一分支、第二分支采取自监督学习策略，利用目标函数进行模型参数更新；第三分支采取监督学习策略，利用交叉熵损失函数进行网络参数更新。
进一步地，在步骤3.1中，主干网络的传播计算公式具体为：
h2＝Fmain(φ)
上式表示主干网络的传播计算，φ表示像素特征编码，Fmain为主干网络复合函数，h2表示主干网络的第二隐含层输出。
进一步地，在步骤3.2中，各网络分支的表达式具体为：σ＝Fbranch1(h2)；c＝Fbranch2(h2,p)；s＝Fbranch3(h2)；
其中Fbranchi表示分支网络复合函数，σ、c、s分别表示体积密度、RGB色值、语义预测向量，p为相机位姿。
进一步地，在步骤3.3中，目标函数为：
其中，d为两像素点之间的距离，Δh和Δw表示哈希列表与MLP权重的误差值，i*(r,j)是前向传播后累计的总误差。
进一步地，所述步骤四具体为：
步骤4.1、利用体素填充法将体积密度和颜色计算为三维模型，完成建筑结构的三维重建；
步骤4.2、将所有像素位置语义预测结果整合为语义分割图，完成数据集的损伤识别。
本发明提出一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述一种基于NeRF 5D神经辐射场的建筑三维重建与损伤识别方法的步骤。
本发明提出一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时实现所述一种基于NeRF 5D神经辐射场的建筑三维重建与损伤识别方法的步骤。
本发明具有以下有益效果：
1、本发明提出了一种单体损伤建筑重建全流程，构建了从原始图像数据为起点的建筑三维重构方法。
2、本发明提出了一种轻量化的三分支三维重构和语义分割网络模型，可实现对单一建筑的快速数字孪生和语义理解，且精度较高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明所述一种基于NeRF 5D神经辐射场的建筑三维重建与损伤识别方法的流程图。
图2为本发明所提出的三分支网络模型示意图。
图3为本发明实施例中三维重建精确度指标PSNR随训练时间的变化图。
图4为本发明实施例中各类损伤的识别精度混淆矩阵编码图。
图5为本发明实例中建筑三维重构结果随训练时间变化的示意图。
图6为本发明实例中损伤识别结果示意图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
结合图1，本发明提出一种基于NeRF 5D神经辐射场的建筑三维重建与损伤识别方法，具体包括以下步骤：
步骤一，图像数据集进行前处理：首先利用COLMAP从数据集中提取图像3D坐标和相机位姿，并输出为信息文件；
步骤二，坐标信息参数化编码：将图像3D坐标在多个分辨率的网格中进行哈希编码，形成图像3D坐标的高阶映射，再将全部分辨率下的映射进行拼接，形成三维重建-语义分割网络的特征输入；
步骤三，网络预测：以instant-NGP为基础建立三分支网络模型，投入步骤二所获的特征输入，分别输出图像对应像素位置的体积密度、颜色和语义预测结果；
步骤四，三维重建与损伤识别：基于图像3D坐标及步骤三输出的体积密度和颜色，完成单个建筑物的三维重建；由各像素位置语义预测结果逐步完成整幅图像的损伤位置与损伤类型标注，实现损伤识别。
所述步骤一具体为：
步骤1.1、图像特征提取与匹配：利用COLMAP从数据集中提取特征点与特征描述子，并用SIFT算法将提取到的特征点与特征描述子与原图进行几何一致性验证；
步骤1.2、稀疏重建：采用SFM增量式稀疏重建，匹配坐标视角与实体三维建筑的映射，完成图像的3D坐标和相机位姿信息的获取。
所述步骤二具体为：
步骤2.1、确定超参数：采取多分辨率网格化实现高精度三维重建，重建过程中需确定分辨率层级的数量、各层级对空间网格的划分精细度以及哈希表所含映射地址的个数；
步骤2.2、特征编码：利用多分辨率哈希编码形成各像素位置的特征编码，其与相机位姿共同组成网络模型的输入。
所述步骤三具体为：
步骤3.1、向网络输入步骤二获取的像素特征编码；本发明的网络模型见图2，所有网络层间均采取全连接；特征编码经主干网络即两个全连接隐含层传播后，进入下一分步的多支线传播；
步骤3.2、在网络的第二隐含层开启三分支计算；第一分支直接输出体积密度；第二分支在拼接相机位姿后，再经历一个全连接隐含层后输出RGB三通道色值；第三分支在第二隐含层的基础上再经过四个全连接隐含层后，输出语义预测结果；
步骤3.3、模型优化；主干网络和第一分支、第二分支采取自监督学习策略，利用目标函数进行模型参数更新；第三分支采取监督学习策略，利用交叉熵损失函数进行网络参数更新。
在步骤3.1中，主干网络的传播计算公式具体为：
h2＝Fmain(φ)
上式表示主干网络的传播计算，φ表示像素特征编码，Fmain为主干网络复合函数，h2表示主干网络的第二隐含层输出。
在步骤3.2中，各网络分支的表达式具体为：σ＝Fbranch1(h2)；c＝Fbranch2(h2,p)；s＝Fbranch3(h2)；
其中Fbranchi表示分支网络复合函数，σ、c、s分别表示体积密度、RGB色值、语义预测向量，p为相机位姿。
在步骤3.3中，目标函数为：
其中，d为两像素点之间的距离，Δh和Δw表示哈希列表与MLP权重的误差值，i*(t,j)是前向传播后累计的总误差。
所述步骤四具体为：
步骤4.1、利用体素填充法将体积密度和颜色计算为三维模型，完成建筑结构的三维重建；
步骤4.2、将所有像素位置语义预测结果整合为语义分割图，完成数据集的损伤识别。
实施例
本实施方式使将本发明应用于单个建筑的三维重建和损伤识别，图1给出了本发明所述方法的流程图，图2给出了本发明提出的三分支网络结构示意图。本实例选择了汶川北川县的某一代表性震后整体倾斜多层建筑，使用对其多角度拍摄的图像数据集对该建筑进行三维重建和损伤识别。
该损伤数据集具有154个RGB三通道图像数据，全面覆盖建筑的正立面、左侧立面、右侧立面、顶面，并含有少量可观测背面的图像。
所述步骤一具体为：本实施例中，将图像数据集利用COLMAP进行前处理，输出包含图像3D坐标和相机位姿信息的json文件，其中，图像3D坐标为三维笛卡尔坐标表示，相机位姿为球坐标极角和俯仰角表示。
所述步骤二具体为：本实例确定分辨率的层级个数为16，最粗糙层级为16网格，最精密层级为512网格，中间层级做线性插值后取整。
所述步骤三具体为：本实例中的网络结构如图2所示。具体来说，主干网络的两个隐含层分别拥有64个神经元。第一分支直接由主干网络输出16维体积密度；第二分支为32神经元的全连接单隐含层结构，其输入为主干网络的第二隐含层拼合相机位姿的四维平铺，并输出三通道RGB色值，即64+2×4＝72维输入，3维输出；第三分支拥有4个全连接隐含层，每层含64神经元，其以主干网络第二隐含层的输出作为输入，输出尺寸与分割类别个数相同，本实例有落瓦、一级变形窗、二级变形窗、剪切变形门和裂缝5种待识别的损伤类型，因此第三分支为5维输出。主干网络和第一、第二分支采用ReLU作为激活函数，第三分支采用Sigmoid激活函数。
所述步骤四具体为：向完成优化的模型中输入包含图像3D坐标和相机位姿信息的json文件，使模型输出体积密度、颜色、语义预测结果。利用体素填充法将体积密度和颜色计算为三维模型，完成建筑结构的三维重建。将所有像素位置语义预测结果整合为语义分割图，完成数据集的损伤识别。
本发明提出一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述一种基于NeRF 5D神经辐射场的建筑三维重建与损伤识别方法的步骤。
本发明提出一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时实现所述一种基于NeRF 5D神经辐射场的建筑三维重建与损伤识别方法的步骤。
本发明实施例提供了一种电子设备，该电子设备包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，其中，存储器用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器和处理器通过总线连接。具体地，处理器通过运行存储在存储器的上述计算机程序时实现上述实施例中的任一步骤。
本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasablePROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronousDRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambusRAM，DRRAM)。应注意，本发明描述的方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，高密度数字视频光盘(digital video disc，DVD))、或者半导体介质(例如，固态硬盘(solid state disc，SSD))等。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
应注意，本申请实施例中的处理器可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上对本发明所提出的一种基于NeRF 5D神经辐射场的建筑三维重建与损伤识别方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种基于NeRF 5D神经辐射场的建筑三维重建与损伤识别方法，其特征在于，具体包括以下步骤：
步骤一，图像数据集进行前处理：首先利用COLMAP从数据集中提取图像3D坐标和相机位姿，并输出为信息文件；
步骤二，坐标信息参数化编码：将图像3D坐标在多个分辨率的网格中进行哈希编码，形成图像3D坐标的高阶映射，再将全部分辨率下的映射进行拼接，形成三维重建-语义分割网络的特征输入；
步骤三，网络预测：以instant-NGP为基础建立三分支网络模型，投入步骤二所获的特征输入，分别输出图像对应像素位置的体积密度、颜色和语义预测结果；
所述步骤三具体为：
步骤3.1、向网络输入步骤二获取的像素特征编码；所有网络层间均采取全连接；特征编码经主干网络即两个全连接隐含层传播后，进入下一分步的多支线传播；
步骤3.2、在网络的第二隐含层开启三分支计算；第一分支直接输出体积密度；第二分支在拼接相机位姿后，再经历一个全连接隐含层后输出RGB三通道色值；第三分支在第二隐含层的基础上再经过四个全连接隐含层后，输出语义预测结果；
步骤3.3、模型优化；主干网络和第一分支、第二分支采取自监督学习策略，利用目标函数进行模型参数更新；第三分支采取监督学习策略，利用交叉熵损失函数进行网络参数更新；
步骤四，三维重建与损伤识别：基于图像3D坐标及步骤三输出的体积密度和颜色，完成单个建筑物的三维重建；由各像素位置语义预测结果逐步完成整幅图像的损伤位置与损伤类型标注，实现损伤识别。
2.根据权利要求1所述的方法，其特征在于：所述步骤一具体为：
步骤1.1、图像特征提取与匹配：利用COLMAP从数据集中提取特征点与特征描述子，并用SIFT算法将提取到的特征点与特征描述子与原图进行几何一致性验证；
步骤1.2、稀疏重建：采用SFM增量式稀疏重建，匹配坐标视角与实体三维建筑的映射，完成图像的3D坐标和相机位姿信息的获取。
3.根据权利要求2所述的方法，其特征在于：所述步骤二具体为：
步骤2.1、确定超参数：采取多分辨率网格化实现高精度三维重建，重建过程中需确定分辨率层级的数量、各层级对空间网格的划分精细度以及哈希表所含映射地址的个数；
步骤2.2、特征编码：利用多分辨率哈希编码形成各像素位置的特征编码，其与相机位姿共同组成网络模型的输入。
4.根据权利要求3所述的方法，其特征在于：在步骤3.1中，主干网络的传播计算公式具体为：
h2＝Fmain(φ)
上式表示主干网络的传播计算，φ表示像素特征编码，Fmain为主干网络复合函数，h2表示主干网络的第二隐含层输出。
5.根据权利要求4所述的方法，其特征在于：在步骤3.2中，各网络分支的表达式具体为：σ＝Fbranch1(h2)；c＝Fbranch2(h2,p)；s＝Fbranch3(h2)；
其中Fbranchi表示分支网络复合函数，σ、c、s分别表示体积密度、RGB色值、语义预测向量，p为相机位姿。
6.根据权利要求5所述的方法，其特征在于：在步骤3.3中，目标函数为：
其中，d为两像素点之间的距离，Δh和Δw表示哈希列表与MLP权重的误差值，i*(r,j)是前向传播后累计的总误差。
7.根据权利要求6所述的方法，其特征在于：所述步骤四具体为：
步骤4.1、利用体素填充法将体积密度和颜色计算为三维模型，完成建筑结构的三维重建；
步骤4.2、将所有像素位置语义预测结果整合为语义分割图，完成数据集的损伤识别。
8.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7任一项所述方法的步骤。
9.一种计算机可读存储介质，用于存储计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1-7任一项所述方法的步骤。
CN202310893947.9A 2023-07-20 2023-07-20 一种基于NeRF 5D神经辐射场的建筑三维重建与损伤识别方法 Active CN117115339B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310893947.9A CN117115339B (zh) 2023-07-20 2023-07-20 一种基于NeRF 5D神经辐射场的建筑三维重建与损伤识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310893947.9A CN117115339B (zh) 2023-07-20 2023-07-20 一种基于NeRF 5D神经辐射场的建筑三维重建与损伤识别方法

Publications (2)

Publication Number Publication Date
CN117115339A CN117115339A (zh) 2023-11-24
CN117115339B true CN117115339B (zh) 2024-05-14

Family

ID=88799221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310893947.9A Active CN117115339B (zh) 2023-07-20 2023-07-20 一种基于NeRF 5D神经辐射场的建筑三维重建与损伤识别方法

Country Status (1)

Country Link
CN (1) CN117115339B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117367331B (zh) * 2023-12-04 2024-03-12 山西阳光三极科技股份有限公司 一种矿区地表形变的雷达监测方法、装置以及电子设备
CN117829862A (zh) * 2024-03-04 2024-04-05 贵州联广科技股份有限公司 一种基于互联互通的数据源追溯方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965758A (zh) * 2022-12-28 2023-04-14 无锡东如科技有限公司 一种图协同单目实例三维重建方法
WO2023077816A1 (zh) * 2021-11-03 2023-05-11 中国华能集团清洁能源技术研究院有限公司 边界优化的遥感图像语义分割方法、装置、设备及介质
WO2023129190A1 (en) * 2021-12-30 2023-07-06 Google Llc Generative modeling of three dimensional scenes and applications to inverse problems
CN116416375A (zh) * 2023-02-17 2023-07-11 贵州大学 一种基于深度学习的三维重建方法和系统
CN116452758A (zh) * 2023-06-20 2023-07-18 擎翌(上海)智能科技有限公司 一种神经辐射场模型加速训练方法、装置、设备及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230052645A1 (en) * 2021-08-02 2023-02-16 Nvidia Corporation Multiresolution hash encoding for neural networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023077816A1 (zh) * 2021-11-03 2023-05-11 中国华能集团清洁能源技术研究院有限公司 边界优化的遥感图像语义分割方法、装置、设备及介质
WO2023129190A1 (en) * 2021-12-30 2023-07-06 Google Llc Generative modeling of three dimensional scenes and applications to inverse problems
CN115965758A (zh) * 2022-12-28 2023-04-14 无锡东如科技有限公司 一种图协同单目实例三维重建方法
CN116416375A (zh) * 2023-02-17 2023-07-11 贵州大学 一种基于深度学习的三维重建方法和系统
CN116452758A (zh) * 2023-06-20 2023-07-18 擎翌(上海)智能科技有限公司 一种神经辐射场模型加速训练方法、装置、设备及介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Structure‐aware 3D reconstruction for cable‐stayed bridges: A learning‐based method;Hu, Fangqiao等;Computer-Aided Civil & Infrastructure Engineering;20211231;全文 *
基于语义的倾斜影像单体建模技术研究;艾海滨;董友强;王庆栋;张力;;测绘科学;20190418(06);全文 *
建筑三维重建方法综述;胡芳侨等;智能建筑与智慧城市;20200525;全文 *
高空间分辨率卫星遥感影像树冠信息提取方法研究;覃先林, 李增元, 易浩若;遥感技术与应用;20050530(02);全文 *

Also Published As

Publication number Publication date
CN117115339A (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
CN117115339B (zh) 一种基于NeRF 5D神经辐射场的建筑三维重建与损伤识别方法
CN112991354B (zh) 一种基于深度学习的高分辨率遥感影像语义分割方法
Hu et al. Structure‐aware 3D reconstruction for cable‐stayed bridges: A learning‐based method
CN113177555B (zh) 基于跨层级跨尺度跨注意力机制的目标处理方法及装置
CN114897779A (zh) 基于融合注意力的宫颈细胞学图像异常区域定位方法及装置
WO2021164280A1 (zh) 三维边缘检测方法、装置、存储介质和计算机设备
CN113362242B (zh) 基于多特征融合网络的图像修复方法
CN115082293A (zh) 一种基于Swin Transformer和CNN双分支耦合的图像配准方法
CN115601511B (zh) 三维重建方法、装置、计算机设备及计算机可读存储介质
CN113436237B (zh) 一种基于高斯过程迁移学习的复杂曲面高效测量系统
CN116453121B (zh) 一种车道线识别模型的训练方法及装置
CN115100185A (zh) 图像处理方法、装置、计算机设备和存储介质
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN115512222A (zh) 一种线下训练-线上学习的灾害场景地物损毁评估方法
CN116563682A (zh) 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法
CN116485815A (zh) 基于双尺度编码器网络的医学图像分割方法、设备和介质
CN114048845A (zh) 点云修复方法、装置、计算机设备和存储介质
CN112560719A (zh) 基于多尺度卷积-多核池化的高分辨率影像水体提取方法
CN117036425A (zh) 点云分级决策配准方法、系统、设备及介质
CN116306277A (zh) 一种滑坡位移预测方法、装置及相关组件
CN115100091A (zh) 一种sar图像转光学图像的转换方法及装置
CN115170682A (zh) 一种处理点云数据的方法和目标处理点云数据模型
WO2023088177A1 (zh) 神经网络模型训练方法、矢量化三维模型建立方法及设备
CN112508441B (zh) 基于深度学习三维重建的城市高密度区室外热舒适评价方法
CN114186078B (zh) 知识图谱的表示学习方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant