CN117495797A - 基于隐式三维表达引导的航空数据变化检测方法及系统 - Google Patents
基于隐式三维表达引导的航空数据变化检测方法及系统 Download PDFInfo
- Publication number
- CN117495797A CN117495797A CN202311441945.2A CN202311441945A CN117495797A CN 117495797 A CN117495797 A CN 117495797A CN 202311441945 A CN202311441945 A CN 202311441945A CN 117495797 A CN117495797 A CN 117495797A
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- implicit
- base
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008859 change Effects 0.000 title claims abstract description 81
- 238000001514 detection method Methods 0.000 title claims abstract description 48
- 230000014509 gene expression Effects 0.000 title claims abstract description 45
- 238000009877 rendering Methods 0.000 claims abstract description 73
- 230000005855 radiation Effects 0.000 claims abstract description 36
- 238000013136 deep learning model Methods 0.000 claims abstract description 24
- 210000005036 nerve Anatomy 0.000 claims abstract description 23
- 238000013507 mapping Methods 0.000 claims abstract description 18
- 238000010586 diagram Methods 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 15
- 230000001537 neural effect Effects 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000000007 visual effect Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于隐式三维表达引导的航空数据变化检测方法及系统，包括：对基期影像和待检测影像进行联合几何定位，得到基期影像位姿和待检测影像位姿；构建隐式三维模型，建立场景神经辐射场下空间位置方向信息与空间点体密度信息、颜色信息之间的映射关系，得到基期隐式三维模型；将待检测影像位姿输入基期隐式三维模型，得到基期影像渲染图；利用深度学习模型分别对待检测影像和基期影像渲染图进行感兴趣地物掩膜提取，得到待检测影像掩膜结果和基期影像渲染图掩膜结果，由待检测影像掩膜结果和基期影像渲染图掩膜结果生成变化图斑。本发明通过采用隐式三维表达技术，实现数据的快速配准需求，有效提高数据配准的效率和精度。
Description
技术领域
本发明涉及遥感影像技术领域，尤其涉及一种基于隐式三维表达引导的航空数据变化检测方法及系统。
背景技术
在早期的航空影像变化检测工作流程中，一般是先通过正射纠正得到正射影像，再进行两期正射影像间的严格配准，最后对配准后的影像对做变化检测处理。
上述处理流程冗长、精度低、要求数据间具有严格配准关系、时效性较差，且因过于侧重定位准确的变化区域，而忽略处理效率，这极大地限制了变化检测技术在实际任务中的应用。
因此，针对航空影像变化检测，需要提出一种能克服上述缺陷的新方法。
发明内容
本发明提供一种基于隐式三维表达引导的航空数据变化检测方法及系统，用以解决现有技术中针对航空影像变化检测的处理流程普遍存在的缺陷。
第一方面，本发明提供一种基于隐式三维表达引导的航空数据变化检测方法，包括：
采集航空数据，划分所述航空数据为基期影像和待检测影像，对所述基期影像和所述待检测影像进行联合几何定位，得到基期影像位姿和待检测影像位姿；
构建隐式三维模型，建立场景神经辐射场下空间位置方向信息与空间点体密度信息、颜色信息之间的映射关系，得到基期隐式三维模型；
将所述待检测影像位姿输入所述基期隐式三维模型，得到基期影像渲染图；
利用深度学习模型分别对所述待检测影像和所述基期影像渲染图进行感兴趣地物掩膜提取，得到待检测影像掩膜结果和基期影像渲染图掩膜结果，由所述待检测影像掩膜结果和所述基期影像渲染图掩膜结果生成变化图斑。
根据本发明提供的一种基于隐式三维表达引导的航空数据变化检测方法，采集航空数据，包括：
采用无人机分别在两个时段或多个时段对同一区域采集航空视频数据，将所述航空视频数据按照预设间隔进行抽帧，得到视频抽帧影像；
采用无人机分别在多个时段对同一区域采集影像数据；
确定采用覆盖同一区域的两个时段或多个时段的由所述视频抽帧影像和所述影像数据构成航空数据。
根据本发明提供的一种基于隐式三维表达引导的航空数据变化检测方法，划分所述航空数据为基期影像和待检测影像，对所述基期影像和所述待检测影像进行联合几何定位，得到基期影像位姿和待检测影像位姿，包括：
以所述航空数据对应时间序列最靠前的一组数据作为所述基期影像，其余数据作为所述待检测影像；
将所述基期影像和所述待检测影像分别在同一坐标系下进行对齐，获得所述基期影像位姿和所述待检测影像位姿。
根据本发明提供的一种基于隐式三维表达引导的航空数据变化检测方法，利用所述基期影像训练神经辐射场模型构建隐式三维模型，建立所述场景神经辐射场下空间位置方向信息与空间点体密度信息、颜色信息之间的映射关系，得到基期隐式三维模型，包括：
确定所述隐式三维模型中所述神经辐射场模型的输入包括空间中光线的五维向量，所述神经辐射场模型包括第一多层感知器和第二多层感知器，所述第一多层感知器的输入为所述五维向量中的空间中任一点位置信息，所述第二多层感知器的输入为所述五维向量中光线的位置方向信息，输出任一点根据所述光线的位置方向信息表现的颜色信息；
利用所述基期影像和所述基期影像位姿训练所述隐式三维模型，输出所述基期隐式三维模型。
根据本发明提供的一种基于隐式三维表达引导的航空数据变化检测方法，利用深度学习模型分别对所述待检测影像和所述基期影像渲染图进行感兴趣地物掩膜提取，得到待检测影像掩膜结果和基期影像渲染图掩膜结果，包括：
确定预先训练好的深度学习模型和感兴趣地物类别标识；
将所述待检测影像和所述感兴趣地物类别标识输入至所述深度学习模型，得到所述待检测影像掩膜结果；
将所述基期影像渲染图和所述感兴趣地物类别标识输入至所述深度学习模型，得到所述基期影像渲染图掩膜结果。
根据本发明提供的一种基于隐式三维表达引导的航空数据变化检测方法，由所述待检测影像掩膜结果和所述基期影像渲染图掩膜结果生成变化图斑，包括：
将所述待检测影像掩膜结果减去所述基期影像渲染图掩膜结果，得到所述变化图斑。
第二方面，本发明还提供一种基于隐式三维表达引导的航空数据变化检测系统，包括：
采集定位模块，用于采集航空数据，划分所述航空数据为基期影像和待检测影像，对所述基期影像和所述待检测影像进行联合几何定位，得到基期影像位姿和待检测影像位姿；
构建映射模块，用于构建隐式三维模型，建立场景神经辐射场下空间位置方向信息与空间点体密度信息、颜色信息之间的映射关系，得到基期隐式三维模型；
渲染生成模块，用于将所述待检测影像位姿输入所述基期隐式三维模型，得到基期影像渲染图；
变化检测模块，用于利用深度学习模型分别对所述待检测影像和所述基期影像渲染图进行感兴趣地物掩膜提取，得到待检测影像掩膜结果和基期影像渲染图掩膜结果，由所述待检测影像掩膜结果和所述基期影像渲染图掩膜结果生成变化图斑。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于隐式三维表达引导的航空数据变化检测方法。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于隐式三维表达引导的航空数据变化检测方法。
第五方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于隐式三维表达引导的航空数据变化检测方法。
本发明提供的基于隐式三维表达引导的航空数据变化检测方法及系统，通过将航空数据的两期数据进行联合几何定位，利用神经辐射场对基期影像构建隐式三维模型，将待检测影像的视角输入由基期影像构建的隐式三维模型，渲染出基期影像在该待检测影像视角下的渲染图，从而借助基期影像渲染图和待检测影像消除两期航空数据间的配准误差和投影差异，实现快速完全的配准，最后检测经配准后的两期影像间的变化，得到待检测影像相对于基期影像的变化图斑，借助隐式三维表达技术，实现数据的快速配准需求，有效提高数据配准的效率和精度，消除投影差和配准误差对变化检测结果的影响。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于隐式三维表达引导的航空数据变化检测方法的流程示意图之一；
图2是本发明提供的基于隐式三维表达引导的航空数据变化检测方法的流程示意图之二；
图3是本发明提供的基于隐式三维表达引导的航空数据变化检测系统的结构示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对目前航空影像变化检测方法中存在的不足，本发明引入近年来发展迅速的隐式三维表达技术，对于已知位姿的一组影像，隐式三维表达技术可以迅速构建出场景模型，并渲染出任意指定视角下的高质量影像。考虑到基于神经辐射场等手段的隐式三维表达技术构建场景模型的精度和效率不断提高，已经可以满足两期数据快速配准的需求，为变化检测任务提供了一套高效率高精度的数据配准方案，因此，本发明提出一种基于隐式三维表达引导的航空数据变化检测方法。
图1是本发明实施例提供的基于隐式三维表达引导的航空数据变化检测方法的流程示意图之一，如图1所示，包括：
步骤100：采集航空数据，划分所述航空数据为基期影像和待检测影像，对所述基期影像和所述待检测影像进行联合几何定位，得到基期影像位姿和待检测影像位姿；
步骤200：构建隐式三维模型，建立场景神经辐射场下空间位置方向信息与空间点体密度信息、颜色信息之间的映射关系，得到基期隐式三维模型；
步骤300：将所述待检测影像位姿输入所述基期隐式三维模型，得到基期影像渲染图；
步骤400：利用深度学习模型分别对所述待检测影像和所述基期影像渲染图进行感兴趣地物掩膜提取，得到待检测影像掩膜结果和基期影像渲染图掩膜结果，由所述待检测影像掩膜结果和所述基期影像渲染图掩膜结果生成变化图斑。
具体地，本发明实施例中涉及的航空数据可以是无人机系统直接拍摄的航空影像，也可以是航空视频抽帧得到航空影像，将时间序列上最靠前的一组数据被定义为基期影像，其余相对靠后的数据被定义为待检测影像。
区别于现有的先进行两期航空数据几何精校正、严格联合配准和变化检测的传统方案，提出了包含几何精校正、基于基期影像的隐式模型三维构建、基期影像视角调整和变化检测四个步骤的航空数据快速变化检测步骤。首先将两期数据进行联合几何定位，再利用神经辐射场对基期影像构建隐式三维模型。将待检测影像的视角输入由基期影像构建的隐式三维模型，渲染出基期影像在该待检测影像视角下的渲染图，从而借助基期影像渲染图和待检测影像消除两期航空数据间的配准误差和投影差异，实现快速完全的配准。最后检测经配准后的两期影像间的变化，得到待检测影像相对于基期影像的变化图斑，整体流程步骤如图2所示。
本发明通过将航空数据的两期数据进行联合几何定位，利用神经辐射场对基期影像构建隐式三维模型，将待检测影像的视角输入由基期影像构建的隐式三维模型，渲染出基期影像在该待检测影像视角下的渲染图，从而借助基期影像渲染图和待检测影像消除两期航空数据间的配准误差和投影差异，实现快速完全的配准，最后检测经配准后的两期影像间的变化，得到待检测影像相对于基期影像的变化图斑，借助隐式三维表达技术，实现数据的快速配准需求，有效提高数据配准的效率和精度，消除投影差和配准误差对变化检测结果的影响。
基于上述实施例，采集航空数据，包括：
采用无人机分别在两个时段或多个时段对同一区域采集航空视频数据，将所述航空视频数据按照预设间隔进行抽帧，得到视频抽帧影像；
采用无人机分别在多个时段对同一区域采集影像数据；
确定采用覆盖同一区域的两个时段或多个时段的由所述视频抽帧影像和所述影像数据构成航空数据。
具体地，本发明实施例的航空输入数据通常为同一场景下的两期或多期航空影像或视频数据：包括覆盖同一场景、具有一定重叠度的两期或多期航空数据，包含如下可能的数据源：
使用无人机系统分别在两个或多个时段对同一区域采集视频数据，将航空视频按一定间隔抽帧；
使用无人机系统分别在多个时段对同一区域采集影像数据；
由无人机系统拍摄的影像和视频抽帧影像共同构成的、覆盖同一区域的两个时段或多个时段的数据。
基于上述实施例，划分所述航空数据为基期影像和待检测影像，对所述基期影像和所述待检测影像进行联合几何定位，得到基期影像位姿和待检测影像位姿，包括：
以所述航空数据对应时间序列最靠前的一组数据作为所述基期影像，其余数据作为所述待检测影像；
将所述基期影像和所述待检测影像分别在同一坐标系下进行对齐，获得所述基期影像位姿和所述待检测影像位姿。
具体地，以两期航空数据为例。定义输入的基期航空数据为AI:{A1,A2,A3,…,Am}，待处理航空数据为BI:{B1,B2,B3,…,Bn}。由影像组间及组内的相同地物提取同名点，根据同名点解算影像间的相对位置关系，从而确定所有输入影像在同一坐标系下的位姿，定义为TA:{TA1,TA2,TA3,…,TAm}和TB:{TB1,TB2,TB3,…,TBn}。位姿与两组影像一一对应。
基于上述实施例，利用所述基期影像训练神经辐射场模型构建隐式三维模型，建立所述场景神经辐射场下空间位置方向信息与空间点体密度信息、颜色信息之间的映射关系，得到基期隐式三维模型，包括：
确定所述隐式三维模型中所述神经辐射场模型的输入包括空间中光线的五维向量，所述神经辐射场模型包括第一多层感知器和第二多层感知器，所述第一多层感知器的输入为所述五维向量中的空间中任一点位置信息，所述第二多层感知器的输入为所述五维向量中光线的位置方向信息，输出为任一点根据所述光线的位置方向信息表现的颜色信息；
利用所述基期影像和所述基期影像位姿训练所述隐式三维模型，输出所述基期隐式三维模型。
具体地，本发明实施例中用于变化检测的基期三维参考由一个神经辐射场网络(Neural Radiance Field，NeRF)表示。神经辐射场将三维世界场景用一个连续的网络函数模型来表示：函数的输入是代表空间中光线(射线)的五维向量(x,y,z,θ,φ)，其中o(x,y,z)代表空间中某点的位置，d(θ,φ)代表该点处的光线方向；函数的输出是该空间点的体密度σ以及该点的颜色信息rgb。
神经辐射场网络的主体由两个多层感知器(MLP)网络组成：第一个MLP网络用于学习空间场景的几何信息。在神经辐射场模型的先验条件中，认为空间场景的几何属性不随观察视角的改变而变化，颜色信息与观测视角紧密相关。因此第一个MLP网络仅接受o(x,y,z)作为输入。同时，为了让神经网络有更好的拟合效果，MLP网络的输入需要使用下式(1)所示的高频映射函数进行编码处理：
encoded(p)＝(sin(20πp),cos(20πp),…,sin(2L-1πp),cos(2L-1πp)) (1)
其中p表示被编码的输入量。
此时，第一个MLP网络被转换为式(2)：
σ(x,y,z),feature(x,y,z)＝MLP1(encoded(o(x,y,z))) (2)
其中σ(x,y,z)代表空间点o的体密度特征三维坐标，feature(x,y,z)代表MLP网络输出的代表空间场景几何信息的深度特征三维坐标。
第二个MLP网络主要用于学习空间场景的辐射信息。由于光照等条件的影响，三维世界中场景的辐射性质不像几何性质一样稳定，在不同的观测视角下会呈现出不同的辐射表达。因此，神经网络中的第二个MLP网络需要接受d(θ,φ)信息，如式(3)所示：
rgb(x,y,z,θ,φ)＝MLP2(encoded(d(θ,φ)),feature(x,y,z)) (3)
因此，神经辐射场网络将空间中的一根射线与该射线的空间几何、辐射信息建立了直接联系，在一个连续的空间中，所有的点都满足式(4)所建立的函数关系。
rgb,σ＝NeRF(x,y,z,θ,φ) (4)
将基期影像AI:{A1,A2,A3,…,Am}及与其对应的位姿TA:{TA1,TA2,TA3,…,TAm}作为输入，训练出基期影像所对应地理场景的神经辐射场模型NeRFR，其过程可由式(5)表示：
NeRFR＝train(AI,TA) (5)
基于上述实施例，生成基于待检测影像视角的基期影像渲染图，根据前述实施例中得到的待检测影像位姿TB:{TB1,TB2,TB3,…,TBn}和基期影像参考隐式三维模型，由参考模型渲染出与待检测影像视角相同的基期影像渲染图。其中，AI′表示基期影像渲染图，定义为AI′:{A′1,A′2,A′3,…,A′n}。AI′的获取过程可由式(6)表示，能快速完全地消除两期影像间的配准误差和投影差异。
AI′＝NeRFR(TB) (6)
基于上述实施例，利用深度学习模型分别对所述待检测影像和所述基期影像渲染图进行感兴趣地物掩膜提取，得到待检测影像掩膜结果和基期影像渲染图掩膜结果，包括：
确定预先训练好的深度学习模型和感兴趣地物类别标识；
将所述待检测影像和所述感兴趣地物类别标识输入至所述深度学习模型，得到所述待检测影像掩膜结果；
将所述基期影像渲染图和所述感兴趣地物类别标识输入至所述深度学习模型，得到所述基期影像渲染图掩膜结果。
其中，由所述待检测影像掩膜结果和所述基期影像渲染图掩膜结果生成变化图斑，包括：
将所述待检测影像掩膜结果减去所述基期影像渲染图掩膜结果，得到所述变化图斑。
具体地，本发明实施例首先进行感兴趣地物掩膜提取。
利用深度学习模型，分别对相同视角下的两组影像AI′:{A′1,A′2,A′3,…,A′n}和BI:{B1,B2,B3,…,Bn}进行感兴趣地物掩膜提取。其中，F表示预训练好的深度学习模型，k表示感兴趣地物类别，可为水域、建筑物、植被等。I为待处理的影像，Ik为I影像中提取得到的感兴趣地物掩膜。Ik的获取过程可由式(7)表示：
Ik＝F(I,k) (7)
按照上述步骤，分别对相同视角下的两期影像进行感兴趣地物掩膜提取，可得到两组一一对应的感兴趣地物掩膜，定义为和
其次生成最终的变化图斑，将两组一一对应的感兴趣地物掩膜作差，得到感兴趣地物的变化图斑。其中,表示对待检测影像Bi提取感兴趣地物k后的掩膜结果，/>表示对与Bi相同视角的基期影像A′ I提取感兴趣地物k后的掩膜结果。/>为/>与/>作差的结果，表示了观测场景在Bi拍摄视角下，感兴趣地物k的变化情况，/>即最终输出的不受投影差影响的变化图斑产品，其获取过程可由式(8)表示：
下面对本发明提供的基于隐式三维表达引导的航空数据变化检测系统进行描述，下文描述的基于隐式三维表达引导的航空数据变化检测系统与上文描述的基于隐式三维表达引导的航空数据变化检测方法可相互对应参照。
图3是本发明实施例提供的基于隐式三维表达引导的航空数据变化检测系统的结构示意图，如图3所示，包括：采集定位模块31、构建映射模块32、渲染生成模块33和变化检测模块34，其中：
采集定位模块31用于采集航空数据，划分所述航空数据为基期影像和待检测影像，对所述基期影像和所述待检测影像进行联合几何定位，得到基期影像位姿和待检测影像位姿；构建映射模块32用于构建隐式三维模型，建立场景神经辐射场下空间位置方向信息与空间点体密度信息、颜色信息之间的映射关系，得到基期隐式三维模型；渲染生成模块33用于将所述待检测影像位姿输入所述基期隐式三维模型，得到基期影像渲染图；变化检测模块34用于利用深度学习模型分别对所述待检测影像和所述基期影像渲染图进行感兴趣地物掩膜提取，得到待检测影像掩膜结果和基期影像渲染图掩膜结果，由所述待检测影像掩膜结果和所述基期影像渲染图掩膜结果生成变化图斑。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行基于隐式三维表达引导的航空数据变化检测方法，该方法包括：采集航空数据，划分所述航空数据为基期影像和待检测影像，对所述基期影像和所述待检测影像进行联合几何定位，得到基期影像位姿和待检测影像位姿；构建隐式三维模型，建立场景神经辐射场下空间位置方向信息与空间点体密度信息、颜色信息之间的映射关系，得到基期隐式三维模型；将所述待检测影像位姿输入所述基期隐式三维模型，得到基期影像渲染图；利用深度学习模型分别对所述待检测影像和所述基期影像渲染图进行感兴趣地物掩膜提取，得到待检测影像掩膜结果和基期影像渲染图掩膜结果，由所述待检测影像掩膜结果和所述基期影像渲染图掩膜结果生成变化图斑。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于隐式三维表达引导的航空数据变化检测方法，该方法包括：采集航空数据，划分所述航空数据为基期影像和待检测影像，对所述基期影像和所述待检测影像进行联合几何定位，得到基期影像位姿和待检测影像位姿；构建隐式三维模型，建立场景神经辐射场下空间位置方向信息与空间点体密度信息、颜色信息之间的映射关系，得到基期隐式三维模型；将所述待检测影像位姿输入所述基期隐式三维模型，得到基期影像渲染图；利用深度学习模型分别对所述待检测影像和所述基期影像渲染图进行感兴趣地物掩膜提取，得到待检测影像掩膜结果和基期影像渲染图掩膜结果，由所述待检测影像掩膜结果和所述基期影像渲染图掩膜结果生成变化图斑。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于隐式三维表达引导的航空数据变化检测方法，该方法包括：采集航空数据，划分所述航空数据为基期影像和待检测影像，对所述基期影像和所述待检测影像进行联合几何定位，得到基期影像位姿和待检测影像位姿；构建隐式三维模型，建立场景神经辐射场下空间位置方向信息与空间点体密度信息、颜色信息之间的映射关系，得到基期隐式三维模型；将所述待检测影像位姿输入所述基期隐式三维模型，得到基期影像渲染图；利用深度学习模型分别对所述待检测影像和所述基期影像渲染图进行感兴趣地物掩膜提取，得到待检测影像掩膜结果和基期影像渲染图掩膜结果，由所述待检测影像掩膜结果和所述基期影像渲染图掩膜结果生成变化图斑。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于隐式三维表达引导的航空数据变化检测方法，其特征在于，包括：
采集航空数据，划分所述航空数据为基期影像和待检测影像，对所述基期影像和所述待检测影像进行联合几何定位，得到基期影像位姿和待检测影像位姿；
构建隐式三维模型，建立场景神经辐射场下空间位置方向信息与空间点体密度信息、颜色信息之间的映射关系，得到基期隐式三维模型；
将所述待检测影像位姿输入所述基期隐式三维模型，得到基期影像渲染图；
利用深度学习模型分别对所述待检测影像和所述基期影像渲染图进行感兴趣地物掩膜提取，得到待检测影像掩膜结果和基期影像渲染图掩膜结果，由所述待检测影像掩膜结果和所述基期影像渲染图掩膜结果生成变化图斑。
2.根据权利要求1所述的基于隐式三维表达引导的航空数据变化检测方法，其特征在于，采集航空数据，包括：
采用无人机分别在两个时段或多个时段对同一区域采集航空视频数据，将所述航空视频数据按照预设间隔进行抽帧，得到视频抽帧影像；
采用无人机分别在多个时段对同一区域采集影像数据；
确定采用覆盖同一区域的两个时段或多个时段的由所述视频抽帧影像和所述影像数据构成航空数据。
3.根据权利要求2所述的基于隐式三维表达引导的航空数据变化检测方法，其特征在于，划分所述航空数据为基期影像和待检测影像，对所述基期影像和所述待检测影像进行联合几何定位，得到基期影像位姿和待检测影像位姿，包括：
以所述航空数据对应时间序列最靠前的一组数据作为所述基期影像，其余数据作为所述待检测影像；
将所述基期影像和所述待检测影像分别在同一坐标系下进行对齐，获得所述基期影像位姿和所述待检测影像位姿。
4.根据权利要求1所述的基于隐式三维表达引导的航空数据变化检测方法，其特征在于，利用所述基期影像训练神经辐射场模型构建隐式三维模型，建立所述场景神经辐射场下空间位置方向信息与空间点体密度信息、颜色信息之间的映射关系，得到基期隐式三维模型，包括：
确定所述隐式三维模型中所述神经辐射场模型的输入包括空间中光线的五维向量，所述神经辐射场模型包括第一多层感知器和第二多层感知器，所述第一多层感知器的输入为所述五维向量中的空间中任一点位置信息，所述第二多层感知器的输入为所述五维向量中光线的位置方向信息，输出任一点根据所述光线的位置方向信息表现的颜色信息；
利用所述基期影像和所述基期影像位姿训练所述隐式三维模型，输出所述基期隐式三维模型。
5.根据权利要求1所述的基于隐式三维表达引导的航空数据变化检测方法，其特征在于，利用深度学习模型分别对所述待检测影像和所述基期影像渲染图进行感兴趣地物掩膜提取，得到待检测影像掩膜结果和基期影像渲染图掩膜结果，包括：
确定预先训练好的深度学习模型和感兴趣地物类别标识；
将所述待检测影像和所述感兴趣地物类别标识输入至所述深度学习模型，得到所述待检测影像掩膜结果；
将所述基期影像渲染图和所述感兴趣地物类别标识输入至所述深度学习模型，得到所述基期影像渲染图掩膜结果。
6.根据权利要求5所述的基于隐式三维表达引导的航空数据变化检测方法，其特征在于，由所述待检测影像掩膜结果和所述基期影像渲染图掩膜结果生成变化图斑，包括：
将所述待检测影像掩膜结果减去所述基期影像渲染图掩膜结果，得到所述变化图斑。
7.一种基于隐式三维表达引导的航空数据变化检测系统，其特征在于，包括：
采集定位模块，用于采集航空数据，划分所述航空数据为基期影像和待检测影像，对所述基期影像和所述待检测影像进行联合几何定位，得到基期影像位姿和待检测影像位姿；
构建映射模块，用于构建隐式三维模型，建立场景神经辐射场下空间位置方向信息与空间点体密度信息、颜色信息之间的映射关系，得到基期隐式三维模型；
渲染生成模块，用于将所述待检测影像位姿输入所述基期隐式三维模型，得到基期影像渲染图；
变化检测模块，用于利用深度学习模型分别对所述待检测影像和所述基期影像渲染图进行感兴趣地物掩膜提取，得到待检测影像掩膜结果和基期影像渲染图掩膜结果，由所述待检测影像掩膜结果和所述基期影像渲染图掩膜结果生成变化图斑。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于隐式三维表达引导的航空数据变化检测方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于隐式三维表达引导的航空数据变化检测方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于隐式三维表达引导的航空数据变化检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311441945.2A CN117495797B (zh) | 2023-10-30 | 2023-10-30 | 基于隐式三维表达引导的航空数据变化检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311441945.2A CN117495797B (zh) | 2023-10-30 | 2023-10-30 | 基于隐式三维表达引导的航空数据变化检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117495797A true CN117495797A (zh) | 2024-02-02 |
| CN117495797B CN117495797B (zh) | 2024-06-14 |
Family
ID=89684161
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311441945.2A Active CN117495797B (zh) | 2023-10-30 | 2023-10-30 | 基于隐式三维表达引导的航空数据变化检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117495797B (zh) |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001013954A (ja) * | 1999-06-29 | 2001-01-19 | Canon Inc | 描画装置及び描画方法、記憶媒体 |
| US20040104935A1 (en) * | 2001-01-26 | 2004-06-03 | Todd Williamson | Virtual reality immersion system |
| US20050180628A1 (en) * | 2004-02-12 | 2005-08-18 | Xerox Corporation | Systems and methods for identifying regions within an image having similar continuity values |
| CN110648120A (zh) * | 2019-09-29 | 2020-01-03 | 国家林业和草原局西北调查规划设计院 | 一种基于移动互联的在线森林资源督查方法 |
| CN112862901A (zh) * | 2021-02-20 | 2021-05-28 | 清华大学 | 基于多视视频与时空神经辐射场的实验动物视场模拟方法 |
| US20210279952A1 (en) * | 2020-03-06 | 2021-09-09 | Nvidia Corporation | Neural rendering for inverse graphics generation |
| CN114004941A (zh) * | 2022-01-04 | 2022-02-01 | 苏州浪潮智能科技有限公司 | 一种基于神经辐射场的室内场景三维重建系统及方法 |
| CN114119849A (zh) * | 2022-01-24 | 2022-03-01 | 阿里巴巴（中国）有限公司 | 三维场景渲染方法、设备以及存储介质 |
| CN114417489A (zh) * | 2022-03-30 | 2022-04-29 | 宝略科技(浙江)有限公司 | 一种基于实景三维模型的建筑基底轮廓精细化提取方法 |
| US20220309672A1 (en) * | 2021-03-25 | 2022-09-29 | Mitsubishi Electric Research Laboratories, Inc. | InSeGAN: A Generative Approach to Instance Segmentation in Depth Images |
| CN115439606A (zh) * | 2022-08-31 | 2022-12-06 | 华为技术有限公司 | 三维重建方法、图形界面、系统及相关装置 |
| CN115841546A (zh) * | 2022-12-28 | 2023-03-24 | 江西科骏实业有限公司 | 一种场景结构关联的地铁站多视矢量仿真渲染方法及系统 |
| CN116091497A (zh) * | 2023-04-07 | 2023-05-09 | 航天宏图信息技术股份有限公司 | 遥感变化检测方法、装置、电子设备和存储介质 |
| US20230154104A1 (en) * | 2021-11-12 | 2023-05-18 | Nec Laboratories America, Inc. | UNCERTAINTY-AWARE FUSION TOWARDS LARGE-SCALE NeRF |
| CN116229031A (zh) * | 2023-05-10 | 2023-06-06 | 航天宏图信息技术股份有限公司 | 三维地球可视化纹理贴图方法、电子设备和存储介质 |
| CN116597082A (zh) * | 2023-05-17 | 2023-08-15 | 杭州电子科技大学 | 一种基于隐式三维重建的轮毂工件数字化方法 |
| CN116958453A (zh) * | 2023-09-20 | 2023-10-27 | 成都索贝数码科技股份有限公司 | 基于神经辐射场的三维模型重建方法、设备和介质 |
-
2023
- 2023-10-30 CN CN202311441945.2A patent/CN117495797B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001013954A (ja) * | 1999-06-29 | 2001-01-19 | Canon Inc | 描画装置及び描画方法、記憶媒体 |
| US20040104935A1 (en) * | 2001-01-26 | 2004-06-03 | Todd Williamson | Virtual reality immersion system |
| US20050180628A1 (en) * | 2004-02-12 | 2005-08-18 | Xerox Corporation | Systems and methods for identifying regions within an image having similar continuity values |
| CN110648120A (zh) * | 2019-09-29 | 2020-01-03 | 国家林业和草原局西北调查规划设计院 | 一种基于移动互联的在线森林资源督查方法 |
| US20210279952A1 (en) * | 2020-03-06 | 2021-09-09 | Nvidia Corporation | Neural rendering for inverse graphics generation |
| CN112862901A (zh) * | 2021-02-20 | 2021-05-28 | 清华大学 | 基于多视视频与时空神经辐射场的实验动物视场模拟方法 |
| US20220309672A1 (en) * | 2021-03-25 | 2022-09-29 | Mitsubishi Electric Research Laboratories, Inc. | InSeGAN: A Generative Approach to Instance Segmentation in Depth Images |
| US20230154104A1 (en) * | 2021-11-12 | 2023-05-18 | Nec Laboratories America, Inc. | UNCERTAINTY-AWARE FUSION TOWARDS LARGE-SCALE NeRF |
| CN114004941A (zh) * | 2022-01-04 | 2022-02-01 | 苏州浪潮智能科技有限公司 | 一种基于神经辐射场的室内场景三维重建系统及方法 |
| CN114119849A (zh) * | 2022-01-24 | 2022-03-01 | 阿里巴巴（中国）有限公司 | 三维场景渲染方法、设备以及存储介质 |
| CN114417489A (zh) * | 2022-03-30 | 2022-04-29 | 宝略科技(浙江)有限公司 | 一种基于实景三维模型的建筑基底轮廓精细化提取方法 |
| CN115439606A (zh) * | 2022-08-31 | 2022-12-06 | 华为技术有限公司 | 三维重建方法、图形界面、系统及相关装置 |
| CN115841546A (zh) * | 2022-12-28 | 2023-03-24 | 江西科骏实业有限公司 | 一种场景结构关联的地铁站多视矢量仿真渲染方法及系统 |
| CN116091497A (zh) * | 2023-04-07 | 2023-05-09 | 航天宏图信息技术股份有限公司 | 遥感变化检测方法、装置、电子设备和存储介质 |
| CN116229031A (zh) * | 2023-05-10 | 2023-06-06 | 航天宏图信息技术股份有限公司 | 三维地球可视化纹理贴图方法、电子设备和存储介质 |
| CN116597082A (zh) * | 2023-05-17 | 2023-08-15 | 杭州电子科技大学 | 一种基于隐式三维重建的轮毂工件数字化方法 |
| CN116958453A (zh) * | 2023-09-20 | 2023-10-27 | 成都索贝数码科技股份有限公司 | 基于神经辐射场的三维模型重建方法、设备和介质 |
Non-Patent Citations (2)
| Title |
|---|
| "时序无人机影像二三維综合的面向对象建筑物变化检测关键技术研究", 《中国博士学位论文全文数据库基础科学辑》, no. 01, 15 January 2020 (2020-01-15), pages 008 - 35 * |
| THU NGUYEN-PHUOC等: "HoloGAN：Unsupervised Learning of 3D Representations From Natural Images", 《THE IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION》, 31 December 2019 (2019-12-31), pages 7588 - 7597 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117495797B (zh) | 2024-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104484648B (zh) | 基于轮廓识别的机器人可变视角障碍物检测方法 | |
| CN105678689B (zh) | 高精地图数据配准关系确定方法及装置 | |
| CN106529538A (zh) | 一种飞行器的定位方法和装置 | |
| CN104268935A (zh) | 一种基于特征的机载激光点云与影像数据融合系统及方法 | |
| KR102450931B1 (ko) | 이미지 정합 방법 및 연관된 모델 훈련 방법, 기기, 장치 | |
| CN111261016A (zh) | 道路地图的构建方法、装置和电子设备 | |
| CN104077760A (zh) | 一种航空摄影测量的快速拼接系统及其实现方法 | |
| CN113313659B (zh) | 一种多机协同约束下高精度图像拼接方法 | |
| CN103093459A (zh) | 利用机载LiDAR点云数据辅助影像匹配的方法 | |
| AU2022223991A1 (en) | Computer vision systems and methods for supplying missing point data in point clouds derived from stereoscopic image pairs | |
| KR20140054710A (ko) | 3차원 지도 생성 장치 및 3차원 지도 생성 방법 | |
| CN109240291B (zh) | 一种基于远程控制的机器人运动线路规划方法及系统 | |
| Han et al. | LiDAR point cloud registration by image detection technique | |
| CN113340312A (zh) | 一种ar室内实景导航方法及系统 | |
| Sun et al. | F3-Net: Multiview scene matching for drone-based geo-localization | |
| CN110443837B (zh) | 一种直线特征约束下的城区机载激光点云与航空影像配准方法和系统 | |
| CN117876608B (zh) | 三维图像重建方法、装置、计算机设备及存储介质 | |
| Jiang et al. | Learned local features for structure from motion of uav images: A comparative evaluation | |
| CN117495797B (zh) | 基于隐式三维表达引导的航空数据变化检测方法及系统 | |
| CN111754388B (zh) | 一种建图方法及车载终端 | |
| CN113808256A (zh) | 一种结合身份识别的高精度全息人体重建方法 | |
| CN113807357A (zh) | 一种基于室内地标文本与轮廓的室内定位方法 | |
| CN113554754A (zh) | 一种基于计算机视觉的室内定位方法 | |
| CN111311627A (zh) | 一种车辆轮廓线的生成方法及系统、车辆、存储介质 | |
| CN117095119B (zh) | 一种地空一体测绘方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |