CN117670961B - 基于深度学习的低空遥感影像多视立体匹配方法及系统 - Google Patents
基于深度学习的低空遥感影像多视立体匹配方法及系统 Download PDFInfo
- Publication number
- CN117670961B CN117670961B CN202410140397.8A CN202410140397A CN117670961B CN 117670961 B CN117670961 B CN 117670961B CN 202410140397 A CN202410140397 A CN 202410140397A CN 117670961 B CN117670961 B CN 117670961B
- Authority
- CN
- China
- Prior art keywords
- image
- matching
- points
- point
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 238000005457 optimization Methods 0.000 claims abstract description 47
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 42
- 230000002159 abnormal effect Effects 0.000 claims abstract description 20
- 238000001914 filtration Methods 0.000 claims abstract description 20
- 238000009792 diffusion process Methods 0.000 claims description 35
- 238000000605 extraction Methods 0.000 claims description 14
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 12
- 238000011524 similarity measure Methods 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 9
- 230000035772 mutation Effects 0.000 abstract description 6
- 238000007670 refining Methods 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002035 prolonged effect Effects 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 241000842962 Apoda limacodes Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的低空遥感影像多视立体匹配方法及系统，首先在初始影像中提取并匹配均匀分布的特征点，通过构建卷积神经网络优化特征匹配获取高精度种子点；然后利用影像像素与物方面元的投影关系扩散种子，将不相邻影像中的对应像点及其周围像素输入卷积神经网络获取最优匹配及对应三维点坐标；最后利用密度约束及特征约束过滤异常匹配点，精化点云模型。本发明利用卷积神经网络学习多视影像在视差突变、灰度突变和弱纹理等不利条件下的稳健匹配以提高匹配精度与重建点云完整度，通过不相邻影像匹配优化降低多视立体匹配算法的时间复杂度，在保证精度与完整度的前提下提高匹配效率。
Description
技术领域
本发明属于遥感图像处理影像匹配技术领域，涉及一种低空遥感影像多视立体匹配方法及系统，具体涉及一种基于卷积神经网络的基于深度学习的低空遥感影像多视立体匹配方法及系统。
背景技术
近年来，低空遥感影像立体匹配方法被广泛地用于大尺度场景的三维重建，其中基于种子点或种子面元增长区域的多视立体匹配方法利用多视影像的冗余测量匹配削弱了噪声、遮挡等不利因素对匹配精度的影响，在匹配精度和重建点云完整度方面都名列前茅，该方法的基本步骤为：1）在原始影像中以固定尺寸划分网格，在每个影像网格中提取并匹配均匀分布的特征点作为种子；2）以种子点为基础在周围像素中寻找匹配像素扩散加密点云数据，丰富点云数据的纹理细节；3）利用密度、特征等约束条件过滤误匹配导致的异常点，精化数字表面模型。
在种子点匹配与点云扩散加密的过程中，为了提高重建三维点的精度，通常利用目标像素及其周围像素灰度值的互相关关系优化匹配。然而，传统的基于影像灰度匹配优化方法易受到视差变化和弱纹理等因素的影响造成误匹配和匹配失败等现象，导致重建点云数据中存在异常点或点云空洞。而且由于低空遥感摄影平台不稳定且像幅更小，为了保证测量精度低空遥感影像的重叠度更大，因此覆盖同一场景所需影像数目更多且同一物点会被更多的影像拍摄到。由于更多影像和更多同名点参与多视影像立体匹配过程中会增加算法的时间复杂度，所以如何降低多视立体匹配算法的复杂度提高匹配效率也是亟待解决的问题。
发明内容
为了解决上述技术问题，本发明提出了一种基于卷积神经网络的低空遥感多视立体匹配方法、系统及设备，以达到提高影像匹配精度、匹配效率和重建点云完整度的目的。
本发明的方法所采用的技术方案是：一种基于深度学习的低空遥感影像多视立体匹配方法，包括以下步骤：
步骤1：在初始影像中提取均匀分布的特征点并匹配，将初始匹配像点输入特征匹配卷积神经网络进行优化匹配，通过优化后同名像点与影像参数带入前方交会误差方程获取均匀分布的种子点；
步骤2：过种子点建立物方面元，将种子点对应同名像素周围μ×μ个像素投影到物方面元上对种子点局部进行扩散，利用扩散后三维点与影像间的投影关系筛选参与匹配的影像并约束匹配优化范围，将目标影像及目标范围内的像素输入点云扩散优化卷积神经网络，逐点优化匹配并计算对应地物点坐标，得到加密后三维点云；其中，μ为预设值；
步骤3：异常点过滤，获得基于深度学习的低空遥感影像多视立体匹配结果三维点云模型。
作为优选，步骤1的具体实现包括以下子步骤：
步骤1.1：特征点提取，对于每张影像，以η×η像素为单位划分均匀网格，并在每个网格中均提取m个DOG特征点；其中，η、m为预设值；
步骤1.2：特征匹配，对于每个特征点，采用SIFT描述子进行匹配，利用匹配点立体相对前方交会计算生成初始特征点云；
步骤1.3：利用匹配优化卷积神经网络，优化初始特征点云并过滤误匹配点，得到种子点云。
作为优选，步骤1中，所述特征匹配卷积神经网络，由影像信息提取模块和全连接最优匹配搜索模块组成；
所述影像信息提取模块，包括两个串联设置的16个卷积层，L1和L2层，所述第1层至第15层卷积层之后均设置有残差块，所述第16层之后依次设置有归一化层、激活层和残差块；
所述全连接最优匹配搜索模块，包括一个影像窗口描述子模块和最优匹配搜索子模块；所述影像窗口描述子模块，由11×11×16×200的全连接层组成，输出结果为描述输入影像窗口的200维特征向量；所述最优匹配搜索子模块，由200×64的全连接层组成，输出结果为参考影像与搜索影像窗口的相似性测度，选择最终相似性测度最高的像素作为匹配像素。
作为优选，步骤2的具体实现包括以下子步骤：
步骤2.1：将种子点P(X c, Y c,Z c)反投影到影像上计算投影像点p ic(x ic,y ic)，根据像点坐标值与影像宽、高判断投影像点p是否在影像范围内，取投影像点在影像一定范围内的影像序列作为该种子点的待匹配影像集记为I= {I 0，I 1，…，I j}；其中，i取0或正整数，j≥3；
步骤2.2：在待匹配影像集中选择投影像点最靠近影像中心的一张影像作为匹配扩散主影像记为I m，其投影像点记为p m(x c,y c)，在物方过种子点P建立一张与主影像I m平行的物方平面记为Patch；
步骤2.3：在主影像I m中，在投影像点p m(x c,y c)周围选择μ×μ个像素记为p m(x s,y t)，将p m(x s,y t)投影到Patch上得到μ×μ个地物点，记为P P(X st,Y st,Z st)；其中，0≤s<μ，0≤t<μ；
步骤2.4：对于Patch上的每个地物点P P(X st,Y st,Z st)，结合影像参数将其分别投影到影像I 0和I j上，得到像点坐标p 0(x s,y t)和p j(x s,y t)，作为初始匹配像点；
步骤2.5：在影像I 0和I j上，以像点p 0(x s,y t)和p j(x s,y t)为中心，寻找最优匹配点记为p n 0(x k s,y k t)和p k j(x k s,y k t)；
步骤2.6：将最终匹配点坐标p k 0(x k s,y k t)和p k j(x k s,y k t)与影像影像I 0和I j的参数带入前方交会误差方程，计算最终三维点坐标P k P(X st,Y st,Z st)；
步骤2.7：重复步骤2.4-2.6，直到Patch上μ×μ个地物点匹配优化完成，则理论上种子点P(X c,Y c,Z c)由一个三维点扩散为μ×μ个三维点；
步骤2.8：重复步骤2.1-2.7，直到种子点云中所有点扩散完毕，得到加密后三维点云。
作为优选，步骤2中，所述筛选参与匹配的影像的规则为所有包含待匹配同名像点的影像序列中基线最长的两张影像；
将种子点P(X c,Y c,Z c)及第i张影像的影像参数带入下述共线条件方程中计算投影像点坐标p i(x ic,y ic)；
（1）
其中，i取0或正整数， (x 0i,y 0i,-f i)为影像i的投影中心在该影像像空间坐标系中的坐标，(X si,Y si,Z si)为影像拍摄时刻投影中心在物空间坐标系中的坐标，为影像拍摄时刻摄影机主光轴的旋转矩阵；
若投影像点坐标不超过影像像幅的预设范围则将该影像放入待匹配影像集I={I 0，I 1，…，I j}，j≥ 2，若j<2则取消扩散优化该地物点，在匹配影像集I中仅选择I 0和第I j张影像中的特定像素参与点云扩散及优化过程。
作为优选，步骤2中，将目标影像及目标范围内的像素通过点云扩散优化卷积神经网络，逐点优化匹配并计算对应地物点坐标，得到加密后三维点云；
所述点云扩散优化卷积神经网络，包括影像信息提取模块和全连接最优匹配搜索模块；
所述影像信息提取模块，包括1个串联设置的16个卷积层，所述第1层至第15层卷积层之后均设置有残差块，所述第16层之后依次设置有归一化层、激活层和残差块；
所述全连接最优匹配搜索模块，包括一个影像窗口描述子模块和最优匹配搜索子模块；所述影像窗口描述子模块，由17×17×16×200的全连接层组成，输出结果为描述输入影像窗口的200维特征向量；所述最优匹配搜索子模块，由200×64的全连接层组成，输出结果为参考影像与搜索影像窗口的相似性测度，选择最终相似性测度最高的像素作为匹配像素。
作为优选，步骤3中，利用点云密度约束、线特征约束与平面特征约束过滤并拟合点云数据中的异常点，修补弱纹理出的点云空洞，获得精化的基于卷积神经网络的低空遥感影像多视立体匹配模型。
作为优选，步骤3的具体实现包括以下子步骤：
步骤3.1：利用点云数据的密度约束过滤误匹配的异常点；
步骤3.2：利用影像的线特征约束过滤并拟合点云数据中位于棱角线、边缘线或分界线上的三维点；
步骤3.3：利用影像的平面特征约束过滤并拟合点云数据中位于平面上的三维点并修补平面弱纹理造成的点云空洞，获得精化的基于卷积神经网络的低空遥感影像多视立体匹配模型。
本发明的系统所采用的技术方案是：一种基于深度学习的低空遥感影像多视立体匹配系统，包括以下模块：
种子点云匹配模块，用于在初始影像中提取均匀分布的特征点并匹配，将初始匹配像点输入特征匹配卷积神经网络进行优化匹配，通过优化后同名像点与影像参数带入前方交会误差方程获取均匀分布的种子点；
种子点扩散模块，用于过种子点建立物方面元，将种子点对应同名像素周围μ×μ个像素投影到物方面元上对种子点局部进行扩散，利用扩散后三维点与影像间的投影关系筛选参与匹配的影像并约束匹配优化范围，将目标影像及目标范围内的像素输入匹配优化卷积神经网络，逐点优化匹配并计算对应地物点坐标，得到加密后三维点云；其中，μ为预设值；
异常点过滤模块，用于异常点过滤，获得基于深度学习的低空遥感影像多视立体匹配结果三维点云模型。
相对于现有技术，本发明的有益效果包括：
（1）本发明基于种子点或种子面元增长区域的多视立体匹配思想，在种子获取和扩散阶段构建匹配优化卷积神经网络，学习在噪声、遮挡、深度不连续、弱纹理或重复纹理等不利条件下的稳健匹配；
（2）本发明在逐点匹配优化过程中筛选少量且不相邻的影像参与匹配在降低算法时间和空间复杂度的同时延长摄影基线减少前方交会误差，在保证匹配精度的同时提高匹配效率；
（3）本发明基于深度学习思想优化传统的基于灰度的匹配方法在灰度突变、视差突变和弱纹理等条件下的不足，在保证匹配效率的前提下提高了多视立体匹配的精度与重建点云完整度；
（4）本发明在特征匹配神经网络中引用更为复杂的神经网络结构目的在于提取影像更深层次的信息，提高种子匹配精度；
（5）本发明筛选参与匹配的影像的规则为所有包含待匹配同名像点的影像序列中基线最长的两张影像，以延长摄影基线提高前方交会精度并降低匹配优化算法的复杂度；
（6）本发明在点云扩散中选择包含像素更多的影像窗口目的在于扩散点非特征像素包含影像信息量更少，扩大影像窗口可以提取影像中更多的信息量，采用更为简单的卷积网络目的在于降低神经网络的复杂度提高系统运行效率。
附图说明
下面使用实施例，以及具体实施方式作进一步说明本文的技术方案。另外，在说明技术方案的过程中，也使用了一些附图。对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图以及本发明的意图。
图1为本发明实施例的方法流程图。
图2为本发明实施例构建的特征匹配卷积神经网络结构图。
图3为本发明实施例构建的点云扩散优化卷积神经网络结构图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1，本实施例提供的一种基于深度学习的低空遥感影像多视立体匹配方法，其特征在于，包括以下步骤：
步骤1：在初始影像中提取均匀分布的特征点并匹配，将初始匹配像点通过特征匹配卷积神经网络进行优化匹配，将优化后同名像点与影像参数带入前方交会误差方程获取均匀分布的种子点；
在一种实施方式中，步骤1中种子点云匹配具体实现步骤如下：
步骤1.1，对于实施例中输入的每张影像，以η×η（实施例中η=32）个像素为单位划分均匀网格，并在每个网格中提取m（实施例中m=8）个DOG特征点；
步骤1.2，对于每个特征点，采用SIFT描述子描述像素特征，根据像素特征向量的相似性匹配不同影像上的同名像点；
步骤1.3，对于多视影像上的同名像点，将同名点及其周围像素输入特征匹配卷积神经网络输出最优匹配像点坐标；
在一种实施方式中，请见图2，输入数据为11×11像素的RGB彩色影像，特征匹配卷积神经网络络结构为：
L1：卷积层→11×11（影像窗口）→3×3×16（卷积核）；
L2：卷积层→11×11（影像窗口）→3×3×16×16（卷积核）；
L3：全连接层→11×11×16×200；
L4：全连接层→200×64；
特征匹配卷积神经网络包括卷积影像信息提取模块和全连接最优匹配搜索模块；
其中，卷积影像提取模块包括两个串联设置的卷积层，其中第一个卷积层（L1）为16层，卷积核大小均为3×3，步长为1，目的在于挖掘影像的深层信息，突出像素特征，第二个卷积层（L2）卷积核大小均3×3×16，在所述第1层至第15层卷积层之和均加入有残差块以削弱影像噪声，所述第16层之后依次加入有归一化层、激活层和残差块用以抑制梯度消失与梯度爆炸并加速网络运行，在特征匹配神经网络中引用更为复杂的神经网络结构目的在于提取影像更深层次的信息，提高种子匹配精度；
全连接最优匹配搜索模块，包括一个影像窗口描述子模块（L3）和最优匹配搜索子模块（L4），其中L3由11×11×16×200的全连接层组成，输出结果为描述输入影像窗口的200维特征向量，最优匹配搜索子模块由200×64的全连接层组成，输出结果为参考影像与搜索影像窗口的相似性测度，选择最终相似性测度最高的像素作为匹配像素。
特征匹配卷积神经网络中取消了标准卷积神经网络的池化层，目的在于尽可能保留影像各像素的深度特征，提高影像匹配精度。
将优化后得到的同名像点坐标和影像参数带入前方交会误差方程（公式1）：
（1）
其中，l 1i~l 6i是最小二乘误差方程的系数，l xi和l yi是误差方程的常数项，对于每张影像上的同名像点，根据一个同名像点在一张影像上的像点坐标p i(x i,y i)，该影像中心在像空间坐标系中的坐标(x 0i,y 0i,-f i)，该影像投影中心在物空间坐标系中的坐标 (X si,Y si,Z si)和影像拍摄时刻的旋转矩阵，误差方程（1）中的系数l 1~l 6与常数项l x和l y可以由公式（2）计算：
（2）
由此，若同一物点被n（n≥2）张影像拍摄到，则可构建2n个误差方程，未知数数目小于方程数，可用最小二乘法求解同名像点对应的地物点在物空间坐标系中的坐标，待所有同名特征点均计算完毕后即得到均匀分布的三维种子点。
步骤2：过种子点建立物方面元，将种子点对应同名像素周围μ×μ个像素投影到物方面元上对种子点局部进行扩散，利用扩散后三维点与影像间的投影关系筛选参与匹配的影像并约束匹配优化范围，将目标影像及目标范围内的像素通过点云扩散优化卷积神经网络，逐点优化匹配并计算对应地物点坐标，得到加密后三维点云；其中，μ为预设值；
在一种实施方式中，所述筛选参与匹配的影像的规则为所有包含待匹配同名像点的影像序列中基线最长的两张影像；
若投影像点坐标不超过影像像幅的预设范围则将该影像放入待匹配影像集I={I 0，I 1，…，I j}，j≥ 2，若j<2则取消扩散优化该地物点，在匹配影像集I中仅选择I 0和第I j张影像中的特定像素参与点云扩散及优化过程，以延长摄影基线提高前方交会精度并降低匹配优化算法的复杂度。
在一种实施方式中，步骤2中匹配优化过程具体实现步骤如下：
步骤2.1，将种子点P(X c, Y c,Z c)投影到及影像参数带入共线条件方程（公式（3））计算种子点投影到第i张影像上的像点坐标像点p ic(x ic,y ic) （i= 0,1,…,），
（3）
其中，i取0或正整数，(x 0i,y 0i,-f i)为影像i的投影中心在该影像像空间坐标系中的坐标，(X si,Y si,Z si)为影像拍摄时刻投影中心在物空间坐标系中的坐标，为影像拍摄时刻摄影机主光轴的旋转矩阵，根据像点坐标值p ic(x ic,y ic)与影像宽（w）和高（h）的值判断投影像点p是否在影像范围内，取投影像点在影像一定范围内（实施例中取0 ≤x ic<0.4×w, 0 ≤y ic<0.4×h）的影像序列作为该种子点的待匹配影像集记为I（I= {I 0，I 1，…，I j}，j≥ 2，若j<2则取消扩散优化该地物点）；
步骤2.2，计算种子点在影像集在待匹配影像集I中各投影像点p ic(x ic,y ic)与影像坐标系中心的距离d i（其中0 ≤i≤j）即：
（4）
选择d i值最小的一张影像作为匹配扩散主影像记为I m，其投影像点记为p m(x c y c)，在物方过种子点P建立一张与主影像I m平行的物方平面记为Patch，在物空间坐标系下令影像I m的主光轴特征向量为，则Patch的平面方程为：
（5）
步骤2.3，在主影像I m中，在投影像点p m(x c,y c)周围选择μ×μ（实施例中μ=21,step=2即21×21像素影像窗口中每隔一个像素扩散一个三维点）个像素记为p m(x s,y t)（0≤s<μ，0≤t<μ），利用像点坐标(x s,y t)替换共线条件方程（1）中的(x ic,y ic)，与Patch的平面方程联立，求解p m(x s,y t)投影到Patch上的地物点坐标（X,Y,Z），则由μ×μ个像素投影可计算得到μ×μ个地物点，分别记为P P(X st, Y st,Z st)；
步骤2.4，将Patch上的地物点坐标P P(X st, Y st,Z st)与影像I 0和I j的参数带入共线条件方程（1），计算P P(X st, Y st,Z st)投影到影像I 0和I j上的像点坐标p 0(x s,y t)和p j(x s,y t)，作为初始匹配像点；
步骤2.5，在影像I 0和I j上，以像点p 0(x s,y t)和p j(x s,y t)为中心，取局部影像窗口输入点云扩散优化卷积神经网络，寻找最优匹配点记为p n 0(x k s,y k t)和p k j(x k s,y k t)。
如图3，在一种实施方式中，点云扩散优化卷积神经网络，包括影像信息提取模块和全连接最优匹配搜索模块，具体为：
L1：卷积层→17×17（影像窗口）→3×3×16（卷积核）；
L2：全连接层→17×17×16×200；
L3：全连接层→200×64。
所述影像信息提取模块，包括1个串联设置的16个卷积层，所述第1层至第15层卷积层之和均加入有残差块，所述第16层之后依次加入有归一化层，激活层和残差块，与种子点匹配优化神经网络相比，点云扩散神经网络使用包含像素更多的影像窗口目的在于扩散点非特征像素包含影像信息量更少，扩大影像窗口可以提取影像中更多的信息量，而在构建神经网络阶段减少了一层卷积层，目的在于点云扩散需要匹配点数为种子匹配的百倍以上，降低神经网络的复杂度有助于提高系统的运行效率；
所述全连接最优匹配搜索模块，包括一个影像窗口描述子模块和最优匹配搜索子模块，影像窗口描述子模块由17×17×16×200的全连接层组成，输出结果为描述输入影像窗口的200维特征向量，最优匹配搜索子模块由200×64的全连接层组成，输出结果为参考影像与搜索影像窗口的相似性测度，选择最终相似性测度最高的像素作为匹配像素。
步骤2.6，将最终匹配点坐标p k 0(x k s,y k t)和p k j(x k s,y k t)与影像影像I 0和I j的参数带入前方交会误差方程（2）和（1），计算最终三维点坐标P k P(X st, Y st,Z st)；
步骤2.7，重复步骤2.4-2.6，直到Patch上μ×μ个地物点匹配优化完成，则种子点P(X c, Y c,Z c)扩散完毕；
步骤2.8，重复步骤2.1-2.7，直到每个种子点均扩散完毕，得到加密后三维点云。
步骤3：异常点过滤，获得基于深度学习的低空遥感影像多视立体匹配结果三维点云模型。
在一种实施方式中，利用点云密度约束、线特征约束与平面特征约束过滤并拟合点云数据中的异常点，修补弱纹理出的点云空洞，获得精化的基于卷积神经网络的低空遥感影像多视立体匹配模型。
在一种实施方式中，步骤3的具体实现包括以下子步骤：
步骤3.1，在每个三维点周围搜索一定范围内的邻域点，若某一点周围的三维点数目小于阈值ε（ε设为点云数据整体密度的1/3）则将该点视为误匹配的异常点并将其从点云数据中过滤掉；
步骤3.2，利用LSD（Line Segment Detector）直线分割检测算法检测并匹配直线的轮廓，然后提取线段起点和终点坐标计算直线在物空间坐标系下的直线方程，最后将点云数据中位于直线附近的点拟合到空间直线上；
步骤3.3，利用ParseNet算法提取影像中的平面特征，然后提取可投影到平面特征上的三维点集群拟合成空间平面，最后利用空间平面修补点云空洞。
匹配完成后将结果点云反投影到影像中获取影像中的R（red红色）、G（green绿色）、B（blue蓝色）通道信息得到彩色点云数据，将最终结果记录为txt文档，文档内容包括：结果点云三维坐标与对应三维点RGB亮度值。
本实施例还提供了一种基于深度学习的低空遥感影像多视立体匹配系统，包括以下模块：
种子点云匹配模块，用于在初始影像中提取均匀分布的特征点并匹配，将初始匹配像点输入特征匹配卷积神经网络进行优化匹配，通过优化后同名像点与影像参数带入前方交会误差方程获取均匀分布的种子点；
种子点扩散模块，用于过种子点建立物方面元，将种子点对应同名像素周围μ×μ个像素投影到物方面元上对种子点局部进行扩散，利用扩散后三维点与影像间的投影关系筛选参与匹配的影像并约束匹配优化范围，将目标影像及目标范围内的像素输入匹配优化卷积神经网络，逐点优化匹配并计算对应地物点坐标，得到加密后三维点云；其中，μ为预设值；
异常点过滤模块，用于异常点过滤，获得基于深度学习的低空遥感影像多视立体匹配结果三维点云模型。
以下通过仿真实验来验证本发明的有效性：
仿真实验采用五张航向重叠的（西北大学校区）真彩色低空遥感影像，并得到准确的内外方位元素，相邻影像间的重叠度大于80%，标准影像大小为3888×2592，实验采用Dell T3660图形工作站运行（CPU:12th Gen Intel(R) Core(TM) i9-12900K 3.20 GHz 12核 24线程，内存:64.0 GB ，硬盘: 1T固态/8T机械，显卡: NVIDIA GeForce RTX 309024G）。
评价指标：对匹配精度和重建点云完整度两个方面进行评价。
（1）点云精度：点云精度评价指标采用异常点所占点云数目百分比和点云精度估计两方面评价，点云精度估计基于Dai在2012年提出的精度验证方法，方法中，设m j是属于三维模型中第j个平面上物点的集合，平面j的方程为a j X+b j Y+c j Z+d j= 0，m j集合中物点坐标设为(X i j,Y i j,Z i j) (i= 1,2,…,m j)，n是模型表面的个数，点云的平均误差可以按照公式(6)来计算：
；
（2）重建点云完整度：比较扩散点云重建优化成功率。
仿真结果：根据评价指标，仿真实验的实验数据如下表1和表2所示：
表1：点云精度比较
表2：重建点云完整度比较
从表1的实验结果可以看出，对比同一数据影像匹配结果，基于卷积神经网络的匹配方法优化成功率更高，重建点云异常点更少，误差更小。这是因为本发明利用卷积神经网络学习了在灰度突变、视差突变和弱纹理等不利条件下的稳健匹配，同时通过延长摄影基线降低了前方交会计算地物点坐标的误差，因而匹配结果优于传统的基于灰度影像优化的多视立体匹配方法。
综上所述，本发明具有如下的优点：
（1）利用卷积神经网络学习影像在灰度突变、视差突变和弱纹理等不利条件下的稳健匹配提高种子点云与扩散点云优化的匹配成功率和匹配精度。
（2）筛选不相邻的影像参与匹配优化过程，降低匹配优化算法的复杂度并延长摄影基线降低前方交会计算地物点坐标的误差，与此同时降低扩散点优化神经网络的复杂度，进而在保证精度的前提下提高匹配效率。
应当理解的是，上述描述的实施例是本发明一部分实施例，而不是全部的实施例。另外，本发明提供的各个实施例或单个实施例中的技术特征可以相互任意结合，以形成可行的技术方案，这种结合不受步骤先后次序和/或结构组成模式的约束，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (5)
1.一种基于深度学习的低空遥感影像多视立体匹配方法，其特征在于，包括以下步骤：
步骤1：在初始影像中提取均匀分布的特征点并匹配，将初始匹配像点输入特征匹配卷积神经网络进行优化匹配，通过优化后同名像点与影像参数带入前方交会误差方程获取均匀分布的种子点；
所述特征匹配卷积神经网络，由影像信息提取模块和全连接最优匹配搜索模块组成；
所述影像信息提取模块，包括两个串联设置的各16个卷积层，L1和L2层，第1层至第15层卷积层之后均设置有残差块，第16层之后依次设置有归一化层、激活层和残差块；
所述全连接最优匹配搜索模块，包括一个影像窗口描述子模块和最优匹配搜索子模块；所述影像窗口描述子模块，由11×11×16×200的全连接层组成，输出结果为描述输入影像窗口的200维特征向量；所述最优匹配搜索子模块，由200×64的全连接层组成，输出结果为参考影像与搜索影像窗口的相似性测度，选择最终相似性测度最高的像素作为匹配像素；
步骤2：过种子点建立物方面元，将种子点对应同名像素周围μ×μ个像素投影到物方面元上对种子点局部进行扩散，利用扩散后三维点与影像间的投影关系筛选参与匹配的影像并约束匹配优化范围，将目标影像及目标范围内的像素输入点云扩散优化卷积神经网络，逐点优化匹配并计算对应地物点坐标，得到加密后三维点云；其中，μ为预设值；
步骤2的具体实现包括以下子步骤：
步骤2.1：将种子点P(Xc,Yc,Zc)利用共线条件方程反投影到影像上计算投影像点pic(xic,yic)，根据像点坐标值与影像宽、高判断投影像点p是否在影像范围内，取投影像点在影像一定范围内的影像序列作为该种子点的待匹配影像集记为I＝{I0，I1，…，Ij}；其中，i取0或正整数，j≥3；
步骤2.2：在待匹配影像集中选择投影像点最靠近影像中心的一张影像作为匹配扩散主影像记为Im，其投影像点记为pm(xc,yc)，在物方过种子点P建立一张与主影像Im平行的物方平面记为Patch；
步骤2.3：在主影像Im中，在投影像点pm(xc,yc)周围选择μ×μ个像素记为pm(xs,yt)，将pm(xs,yt)投影到Patch上得到μ×μ个地物点，记为PP(Xst,Yst,Zst)；其中，0≤s<μ，0≤t<μ；
步骤2.4：对于Patch上的每个地物点PP(Xst,Yst,Zst)，结合影像参数将其分别投影到影像I0和Ij上，得到像点坐标p0(xs,yt)和pj(xs,yt)，作为初始匹配像点；
步骤2.5：在影像I0和Ij上，以像点p0(xs,yt)和pj(xs,yt)为中心，取局部影像窗口输入匹配优化卷积神经网络，寻找最优匹配点记为pn 0(xk s,yk t)和pk j(xk s,yk t)；
步骤2.6：将最终匹配点坐标pk 0(xk s,yk t)和pk j(xk s,yk t)与影像影像I0和Ij的参数带入前方交会误差方程，计算最终三维点坐标Pk P(Xst,Yst,Zst)；
步骤2.7：重复步骤2.4-2.6，直到Patch上μ×μ个地物点匹配优化完成，则理论上种子点P(Xc,Yc,Zc)由一个三维点扩散为μ×μ个三维点；
步骤2.8：重复步骤2.1-2.7，直到种子点云中所有点扩散完毕，得到加密后三维点云；
若投影像点坐标pic(xic,yic)不超过影像像幅的预设范围则将该影像放入待匹配影像集I＝{I0，I1，…，Ij}，j≥2，若j<2则取消扩散优化该地物点，在匹配影像集I中仅选择I0和第Ij张影像中的特定像素参与点云扩散及优化过程，所述筛选参与匹配的影像的规则为所有包含待匹配同名像点的影像序列中基线最长的两张影像；
步骤3：异常点过滤，获得基于深度学习的低空遥感影像多视立体匹配结果三维点云模型。
2.根据权利要求1所述的基于深度学习的低空遥感影像多视立体匹配方法，其特征在于：步骤1的具体实现包括以下子步骤：
步骤1.1：特征点提取，对于每张影像，以η×η像素为单位划分均匀网格，并在每个网格中均提取m个DOG特征点；其中，η、m为预设值；
步骤1.2：特征匹配，对于每个特征点，采用SIFT描述子进行匹配，利用匹配点立体相对前方交会计算生成初始特征点云；
步骤1.3：基于匹配优化卷积神经网络，优化初始特征点云并过滤误匹配点，得到种子点云。
3.根据权利要求1所述的基于深度学习的低空遥感影像多视立体匹配方法，其特征在于：步骤2中，所述点云扩散优化卷积神经网络，包括影像信息提取模块和全连接最优匹配搜索模块；
所述影像信息提取模块，包括1个串联设置的16个卷积层，第1层至第15层卷积层之后均设置有残差块，第16层之后依次设置有归一化层、激活层和残差块；
所述全连接最优匹配搜索模块，包括一个影像窗口描述子模块和最优匹配搜索子模块；所述影像窗口描述子模块，由17×17×16×200的全连接层组成，输出结果为描述输入影像窗口的200维特征向量；所述最优匹配搜索子模块，由200×64的全连接层组成，输出结果为参考影像与搜索影像窗口的相似性测度，选择最终相似性测度最高的像素作为匹配像素。
4.根据权利要求1或3所述的基于深度学习的低空遥感影像多视立体匹配方法，其特征在于，步骤3的具体实现包括以下子步骤：
步骤3.1：利用点云数据的密度约束过滤误匹配的异常点；
步骤3.2：利用影像的线特征约束过滤并拟合点云数据中位于棱角线、边缘线或分界线上的三维点；
步骤3.3：利用影像的平面特征约束过滤并拟合点云数据中位于平面上的三维点并修补平面弱纹理造成的点云空洞，获得精化的基于卷积神经网络的低空遥感影像多视立体匹配模型。
5.一种基于深度学习的低空遥感影像多视立体匹配系统，采用权利要求1-4任一项所述的方法；其特征在于，包括以下模块：
种子点云匹配模块，用于在初始影像中提取均匀分布的特征点并匹配，将初始匹配像点输入特征匹配卷积神经网络进行优化匹配，通过优化后同名像点与影像参数带入前方交会误差方程获取均匀分布的种子点；
种子点扩散模块，用于过种子点建立物方面元，将种子点对应同名像素周围μ×μ个像素投影到物方面元上对种子点局部进行扩散，利用扩散后三维点与影像间的投影关系筛选参与匹配的影像并约束匹配优化范围，将目标影像及目标范围内的像素输入匹配优化卷积神经网络，逐点优化匹配并计算对应地物点坐标，得到加密后三维点云；其中，μ为预设值；
异常点过滤模块，用于异常点过滤，获得基于深度学习的低空遥感影像多视立体匹配结果三维点云模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410140397.8A CN117670961B (zh) | 2024-02-01 | 2024-02-01 | 基于深度学习的低空遥感影像多视立体匹配方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410140397.8A CN117670961B (zh) | 2024-02-01 | 2024-02-01 | 基于深度学习的低空遥感影像多视立体匹配方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117670961A CN117670961A (zh) | 2024-03-08 |
| CN117670961B true CN117670961B (zh) | 2024-04-16 |
Family
ID=90066451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410140397.8A Active CN117670961B (zh) | 2024-02-01 | 2024-02-01 | 基于深度学习的低空遥感影像多视立体匹配方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117670961B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105825543A (zh) * | 2016-03-31 | 2016-08-03 | 武汉大学 | 基于低空遥感影像的多视密集点云生成方法及系统 |
| CN106600686A (zh) * | 2016-12-06 | 2017-04-26 | 西安电子科技大学 | 一种基于多幅未标定图像的三维点云重建方法 |
| CN117011561A (zh) * | 2023-07-31 | 2023-11-07 | 深圳市规划和自然资源数据管理中心(深圳市空间地理信息中心) | 基于几何约束与卷积神经网络的影像匹配优化方法及系统 |
| CN117115336A (zh) * | 2023-07-13 | 2023-11-24 | 中国工程物理研究院计算机应用研究所 | 一种基于遥感立体影像的点云重建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112435309A (zh) * | 2020-12-07 | 2021-03-02 | 苏州深透智能科技有限公司 | 一种基于深度学习的增强ct图像质量和分辨率的方法 |
-
2024
- 2024-02-01 CN CN202410140397.8A patent/CN117670961B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105825543A (zh) * | 2016-03-31 | 2016-08-03 | 武汉大学 | 基于低空遥感影像的多视密集点云生成方法及系统 |
| CN106600686A (zh) * | 2016-12-06 | 2017-04-26 | 西安电子科技大学 | 一种基于多幅未标定图像的三维点云重建方法 |
| CN117115336A (zh) * | 2023-07-13 | 2023-11-24 | 中国工程物理研究院计算机应用研究所 | 一种基于遥感立体影像的点云重建方法 |
| CN117011561A (zh) * | 2023-07-31 | 2023-11-07 | 深圳市规划和自然资源数据管理中心(深圳市空间地理信息中心) | 基于几何约束与卷积神经网络的影像匹配优化方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于非固定初始面元的无人机影像点云优化算法;杨楠;邵振峰;郭丙轩;彭哲;黄蕾;;武汉大学学报(信息科学版);20160725(08);第22-29页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117670961A (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Konrad et al. | Learning-based, automatic 2d-to-3d image and video conversion | |
| CN111462206B (zh) | 一种基于卷积神经网络的单目结构光深度成像方法 | |
| CN104867135B (zh) | 一种基于指导图像引导的高精度立体匹配方法 | |
| CN104463899B (zh) | 一种目标对象检测、监控方法及其装置 | |
| Yuan et al. | Image haze removal via reference retrieval and scene prior | |
| CN102651135B (zh) | 一种基于优化方向采样的自然图像抠图方法 | |
| CN109345502B (zh) | 一种基于视差图立体结构信息提取的立体图像质量评价方法 | |
| CN105513064A (zh) | 一种基于图像分割和自适应权重的立体匹配方法 | |
| CN108648264B (zh) | 基于运动恢复的水下场景重建方法及存储介质 | |
| CN108596975A (zh) | 一种针对弱纹理区域的立体匹配算法 | |
| CN110853027A (zh) | 一种基于局部变动和全局变化的三维合成图像无参考质量评价方法 | |
| Yang et al. | Non-parametric depth distribution modelling based depth inference for multi-view stereo | |
| CN108596881A (zh) | 一种爆破后岩石粒度的智能图像统计方法 | |
| CN110322572A (zh) | 一种基于双目视觉的水下涵隧内壁三维信息恢复方法 | |
| CN112508817A (zh) | 一种基于循环生成对抗网络的图像运动盲去模糊方法 | |
| Nayak et al. | A modified triangle box-counting with precision in error fit | |
| CN110120012B (zh) | 基于双目摄像头的同步关键帧提取的视频拼接方法 | |
| CN114663298A (zh) | 基于半监督深度学习的视差图修补方法及系统 | |
| Li et al. | Global color consistency correction for large-scale images in 3-D reconstruction | |
| CN117670961B (zh) | 基于深度学习的低空遥感影像多视立体匹配方法及系统 | |
| CN105574844A (zh) | 辐射响应函数估计方法和装置 | |
| CN116012517B (zh) | 一种正则化的图像渲染方法及装置 | |
| CN107564045A (zh) | 基于梯度域引导滤波的立体匹配算法 | |
| CN116433822A (zh) | 一种神经辐射场训练方法、装置、设备及介质 | |
| CN114998397B (zh) | 一种多视角卫星影像立体像对优化选择方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |