CN117078982B - 基于深度学习的大倾角立体像对准密集特征匹配方法 - Google Patents
基于深度学习的大倾角立体像对准密集特征匹配方法 Download PDFInfo
- Publication number
- CN117078982B CN117078982B CN202311329966.5A CN202311329966A CN117078982B CN 117078982 B CN117078982 B CN 117078982B CN 202311329966 A CN202311329966 A CN 202311329966A CN 117078982 B CN117078982 B CN 117078982B
- Authority
- CN
- China
- Prior art keywords
- matching
- feature
- deep learning
- image
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013135 deep learning Methods 0.000 title claims abstract description 40
- 230000011218 segmentation Effects 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000005457 optimization Methods 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 claims 3
- 238000005259 measurement Methods 0.000 abstract description 2
- 230000018109 developmental process Effects 0.000 abstract 1
- 230000002349 favourable effect Effects 0.000 abstract 1
- 238000012216 screening Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
Abstract
本发明面向三维立体匹配场景的影像测量匹配领域，提出一种基于深度学习的大倾角立体像对准密集特征匹配方法，通过建立与训练深度学习语义分割模型，采用自动化语义分割方法获取多平面场景的语义信息，再根据多平面分割的掩码结果，进行自适应优化，实现抠图分割；最后利用高精度匹配算法进行局部各平面匹配。本方案提高了匹配的精度和鲁棒性，为目标识别、特征匹配、影像配准及三维重建等领域的发展提供有利的支撑。
Description
技术领域
本发明涉及影像测量匹配领域，具体涉及基于深度学习的大倾角立体像对准密集特征匹配方法。
背景技术
影像匹配是指将两幅或多幅图像中的相同场景的特征点对应起来的过程,是数字摄影测量与计算机视觉中的典型技术之一。影像匹配技术具有广泛的应用场景，在三维重建、遥感影像分析、智能交通、机器人导航等领域发挥着重要作用。传统影像匹配方法主要依赖于手工设计的特征和经验，对于不同的场景需要进行不同的调整和优化，而基于深度学习的影像匹配方法可以通过大量的数据自动学习到特征和模式，具有更强的适应性。然而在面向具有复杂几何和辐射畸变的倾斜立体三维影像时，无论经典不变特征匹配算法还是新型深度学习匹配网络，均难以得到较为可靠的匹配结果。
传统的语义分割方法通常采用手工设计特征或简单的卷积神经网络等浅层模型，无法很好地识别复杂的场景和细节，导致分割结果的精度不高。同时需要大量标注好的数据用于模型训练，而这需要耗费大量的时间和人力物力成本，影响立体场景平面分割的质量。尚未有方法将语义分割用在复杂场景的多平面分割与匹配上。
由于多平面语义分割任务的特殊性，即每个像素点都需要被分类，因此在训练和预测过程中可能会出现斑点噪声的问题，即未能很好地划分边界并分割出具体的区域，影响匹配结果。消除这些噪声往往需要人工手动消除，费时费力，这也在一定程度上限制了该方法的推广应用。
虽然深度学习在影像匹配领域已经有了不错的应用，但却存在与传统算法相同的问题，面向具有复杂畸变、大视差和弱纹理的影像区域时匹配性能不佳，均难以检测和匹配到高精度的同名特征点。因此在一定程度上限制了后续工程的应用。
发明内容
本发明目的是提供一种基于深度学习的大倾角立体像对准密集特征匹配方法，能够在面向具有复杂几何和辐射畸变的倾斜立体三维影像时提高匹配的精度和鲁棒性。
本发明为实现上述目的，通过以下技术方案实现：
基于深度学习的大倾角立体像对准密集特征匹配方法，包括步骤：
步骤1、建立与训练深度学习语义分割模型，对图像不同对象进行分割，得到分割掩码预测结果；
步骤2、根据多平面分割的掩码结果，进行自适应优化，使用优化后的掩码图与原图像进行按位与运算，得到只含前景区域的图像，实现抠图分割；
步骤3、使用SIFT算法确定待匹配的同名平面，采用深度学习局部特征增强模块高精度匹配。
优选的，步骤3中还包括，用SIFT算法得到的SIFT匹配的特征点后，通过投影变形纠正得到改正后的同名平面。
优选的，步骤1所述深度学习语义分割模型的建立与训练过程包括：
主干特征提取，获取五个初步有效的特征层；
对所述五个特征层进行上采样和特征融合，获得最终的融合了所有特征的有效特征层；
利用最终的有效特征层对每一个特征点进行分类预测。
优选的，主干特征提取的编码器采用VGG16网络，解码器采用Unet，通过不断的上采样和卷积堆叠输出各个平面的预测掩码图。
优选的，步骤2所述自适应优化的方法为：
去除白色小面积区域，采用8邻域搜索方式遍历图中所有像素点，搜索与当前像素点连接的像素点，按照下式计算搜索完毕后连通区域的面积：
（1）
式中，代表最终连通区域大小，/>表示迭代次数，/>表示第i次生长所扩展得到的区域面积，根据设定阈值/>像素将小于/>像素的连通区域/>颜色反转，得到去除小面积区域后的结果；
接着，在得到上述结果后，采用4邻域搜索方式搜索与当前像素点相连的像素点，并根据公式（1）再次计算出搜索完毕后连通区域的面积，根据设定阈值像素将小于/>像素的连通区域/>颜色反转，得到填充黑色孔洞后的结果。
优选的，抠图分割的步骤为：通过将原图像素点与掩码图像素点一一对应，对于掩码图中白色像素对应的原图像素，将它们取出并拷贝至新的图像中，形成目标平面的分割结果。
优选的，投影变形纠正包括步骤：
根据SIFT匹配的特征点计算投影变换矩阵：
式中，和/>分别代表配对的左、右影像/>、/>中的特征匹配点，为/>中的9个投影变换系数，再依照下式对右影像进行投影变形纠正：
式中，和/>分别为右影像的投影变形改正前/>和改正后/>的像素坐标。
优选的，深度学习局部特征增强模块高精度匹配的步骤包括：
特征提取，将纠正过的同名平面输入卷积神经网络进行特征提取，输出分别为原影像分辨率基础上的1/8的粗级特征图和1/2细级特征图；
生成粗级特征预测结果，将粗提取特征图、/>分别展平为一维向量，并在每个向量中添加位置编码，将含有位置编码的向量输入到由4个自注意层与交叉注意层构成深度学习局部特征增强模块进行多次迭代，得到特征/>、/>；
生成最终匹配预测结果，在细级特征图上找到粗等级特征图匹配预测的对应位置，从细提取特征图/>、/>中分别裁剪出大小为/>的局部对应窗口，所有的粗匹配将分别在细等级局部窗口内进行精化匹配，最终输出/>、/>的亚像素匹配预测/>；
坐标转换，将的坐标利用投影变换矩阵/>还原到原始影像中，得到当前同名平面的高精度弱纹理匹配结果；
坐标融合，将所有同名平面融合，即为最终的结合语义分割和局部特征增强的大倾角立体像对准密集特征匹配点。
本发明的优点在于：针对大倾角立体像对存在复杂畸变、显著遮挡、纹理匮乏等问题导致的同名特征匹配稀少问题，创新性的提出了一种基于影像语义分割和局部特征增强网络的准密集特征可靠匹配算法，通过利用局部平面的深度学习分割、局部平面的几何纠正、局部平面的弱纹理特征深度学习增强，使得本发明在正确匹配点数、匹配点正确率、匹配点空间分布质量等方面具有显著优势，能够较好的适用于大倾角复杂场景与弱纹理区域的匹配任务，为后续的三维重建、影像配准应用奠定了基础。具体的创新之处包含：
1）针对大倾角立体像对存在复杂畸变、显著遮挡、纹理匮乏下匹配困难等问题，首次将深度学习语义分割算法应用在复杂三维场景的平面分割下，提升了分割精度与效率，并首次与影像匹配的任务相结合，提升了正确匹配点数、匹配点正确率、匹配点空间分布质量。
2）提出了一种语义分割结果自适应优化方法，该方法采用邻域搜索的方式对分割结果进行自适应优化，具有自动消除斑点噪声、提高分割精度、可迁移性和可解释性等方面的优势。它可以降低人力物力成本，同时可以提高分割结果的准确性和稳定性，能够有效推动多平面语义分割结果的后续应用。
针对影像在大视角、弱纹理、复杂畸变区域匹配性能不佳等问题，本发明在深度学习局部特征增强算法基础上进行改进，将CNN和Transformer循环迭代后得到的弱纹理特征中加入大视角下的影像几何纠正，增强了深度学习局部特征增强弱纹理特征在视角变化影像上的透视不变性，提高了同名平面在大视角、弱纹理、复杂畸变区域的适应性，进而极大提高了整体影像的匹配点数量、匹配精度与匹配空间分布质量。
附图说明
图1为本发明流程图；
图2为本发明VGG16-UNet深度学习网络结构流程图；
图3为本发明基于深度学习高精度匹配方法的流程图；
图4为本发明用于深度学习的数据标注示意图；
图5为本发明自适应优化流程图；
图6为本发明SIFT自动识别方法示意图；
图7为本发明深度学习的高精度匹配详细流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
本发明公开了一种基于深度学习的大倾角立体像对准密集特征匹配方法，总体流程请参照图1，包括深度学习VGG16-Unet语义分割模型训练、多平面场景分割结果自适应优化与分割和同名平面筛选与高精度匹配三个流程，具体步骤如下。
首先，利用现有的航空影像与模拟三维场景数据进行多平面数据标注，获得足量的多模态同名影像块训练数据，为接下来深度神经网络（VGG16-Unet）的训练与学习奠定样本基础。本发明实施例采用了少量但具有代表性的三维复杂场景数据进行训练，选取80张来自真实航空飞机拍摄和下载的模拟三维场景地图的图像作为训练数据，视角变化较大，存在景深突变和局部遮挡，并且表面纹理不够丰富。这些数据被人工标注为房顶、正面、侧面、地面和背景等五个部分，以便充分提取每个平面。这种数据选择和标注方式可以为后续算法的训练和场景理解提供有代表性的数据支持。部分标注数据如图4所示。
其次，使用VGG16网络对输入图像进行编码。深度学习VGG16-Unet语义分割模型分为三部分，首先采用VGG16网络进行主干特征提取，VGG16是一个深度卷积神经网络，可以将输入图像进行多层次的特征提取，并生成高维特征向量。主干特征提取出五个初步有效的特征层，然后将获取到的五个初步有效特征层进行上采样，并且进行特征融合，获得一个最终的，融合了所有特征的有效特征层。最后是预测部分，利用最后一个有效特征层对每一个特征点进行分类，相当于对每一个像素点进行分类。具体而言，将 VGG16 作为编码器，Unet作为解码器，其中 VGG16 的主要作用是提取输入图像的特征信息，Unet 的主要作用是进行图像分割。在编码阶段采用VGG的前13个卷积层作为特征提取网络，采用3×3大小卷积核，将输入的图像由512×512像素经过4次下采样压缩为32×32×512像素，实现特征多平面提取。将编码后的特征向量传入到Unet网络中进行解码操作，使用softmax激活函数将每个像素属于不同目标的概率进行计算，本发明使用的网络结构参数如图2所示。Unet网络是一种全卷积网络(FCN)，核心思想式通过上采样和跳跃式连接的方式将编码后的特征向量进行解码，采用上采样与特征融合完成各平面的分割，解码器通过不断的上采样及卷积堆叠，将最后的输出层尺寸恢复至512× 512像素大小，进而输出各个平面的预测掩码图。
由第一步得到预测掩码图后，进行第二步分割掩码图自适应优化，以此来消除部分掩码图中存在的洞孔以及小部分预测错误的小区域。该方法通过区域生长的方式，先去除小面积区域（白色），再填补孔洞（黑色）以实现自适应优化。在得到局部预测结果的掩码图后，首先需要去除小区域。然后，遍历图中所有像素点，采用8邻域搜索方式（即搜索当前像素周围的8个像素）如图5所示，搜索与当前像素点连接的像素点，并按照下式计算出搜索完毕后连通区域的面积：
（1）
式中，代表最终连通区域大小，/>表示迭代次数，/>表示第i次生长所扩展得到的区域面积，根据设定阈值/>像素将小于/>像素的连通区域/>颜色反转，得到去除小面积区域后的结果。本实施例中阈值/>。
在得到上述结果后，采用4邻域搜索方式搜索与当前像素点相连的像素点，并根据公式（1）再次计算出搜索完毕后连通区域的面积，根据设定阈值像素将小于/>像素的连通区域/>颜色反转，得到填充黑色孔洞后的结果。本实施例中/>。
通过将原图像素点与掩码图像素点一一对应，对于掩码图中白色像素对应的原图像素，将它们取出并拷贝至新的图像中，形成目标平面的分割结果，这一方法可以有效地提高图像分割质量。其技术流程图如图5所示。
基于深度学习的高精度匹配方法流程如图3所示，主要包括SIFT同名平面筛选、同名平面纠正、基于深度学习局部特征高精度匹配三部分。
在进行高精度匹配前，需要先对左右影像进行配对筛选，并找到对应区域，以确保匹配的有效性。为了从大规模无序的多平面分割结果中准确和高效地筛选出同名平面，本实施例采用SIFT算法来自动筛选对应区域，首先将每一个左右局部进行匹配。当左右局部匹配成功时，就完成了一对对应区域的筛选。然后对余下区域进行筛选，直到所有区域都被匹配完毕，这样就完成了一对影像的局部配对，自动筛过程如图6所示。
为了消除大视角下影像畸变对影像匹配的影响，用上一步得到的SIFT匹配的特征点计算两幅图像之间的转换矩阵，然后用变换矩阵将右影像纠正到同一姿态，继而得到纠正后的同名平面。根据下式计算出投影变换矩阵：
式中，和/>分别代表配对的左、右影像/>、/>中的特征匹配点，为/>中的9个投影变换系数，再依照下式对右影像进行投影变形纠正：
式中，和/>分别为右影像的投影变形改正前/>和改正后/>的像素坐标。右影像经投影变形改正后，对应区域的仿射畸变得到较大程度的改善。
经过同名平面几何纠正后，匹配算法对影像的仿射畸变具有良好的适应性，在此基础上引入深度学习局部特征增强匹配算法，同名平面纠正与高精度匹配流程图如图7所示：
Step1、特征提取，将纠正过的同名平面输入VGG卷积神经网络进行特征提取，最终输出分别为原影像分辨率基础上的1/8的粗级特征图和1/2细级特征图；
Step2、生成粗级特征预测结果，将粗提取特征图、/>分别展平为一维向量，并在每个向量中添加位置编码，将含有位置编码的向量输入到由4个自注意层与交叉注意层构成深度学习局部特征增强模块进行多次迭代，经过多迭代后的特征图向量会被转换为有较高区分度且易于匹配的特征/>、/>；
Step3、生成最终匹配预测结果，在细级特征图上找到粗等级特征图匹配预测的对应位置，从细提取特征图/>、/>中分别裁剪出大小为/>（/>）的局部对应窗口，同理所有的粗匹配将分别在细等级局部窗口内进行精化匹配，最终输出/>、/>的亚像素匹配预测/>；
Step4、坐标转换，将的坐标利用投影变换矩阵/>还原到原始影像中，得到当前同名平面的高精度弱纹理匹配结果；
Step5、坐标融合，将所有同名平面融合，即为最终的结合语义分割和局部特征增强的大倾角立体像对准密集特征匹配点。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.基于深度学习的大倾角立体像对准密集特征匹配方法，其特征在于，包括步骤：
步骤1、建立与训练深度学习语义分割模型，对图像不同对象进行分割，得到分割掩码预测结果；
步骤2、根据多平面分割的掩码结果，进行自适应优化，使用优化后的掩码图与原图像进行按位与运算，得到只含前景区域的图像，实现抠图分割；
所述自适应优化的方法为：
去除白色小面积区域，采用8邻域搜索方式遍历图中所有像素点，搜索与当前像素点连接的像素点，按照下式计算搜索完毕后连通区域的面积：
式中，R代表最终连通区域大小，n表示迭代次数，Si表示第i次生长所扩展得到的区域面积，根据设定阈值r像素将小于r像素的连通区域R颜色反转，得到去除小面积区域后的结果；
接着，在得到上述结果后，采用4邻域搜索方式搜索与当前像素点相连的像素点，并根据公式(1)再次计算出搜索完毕后连通区域的面积，根据设定阈值r'像素将小于r'像素的连通区域R颜色反转，得到填充黑色孔洞后的结果；
步骤3、使用SIFT算法确定待匹配的同名平面，用SIFT算法得到的SIFT匹配的特征点后，通过投影变形纠正得到改正后的同名平面，采用深度学习局部特征增强模块高精度匹配；
所述投影变形纠正包括步骤：
根据SIFT匹配的特征点计算投影变换矩阵H：
式中，(x,y)和(x',y')分别代表配对的左、右影像IA、IB中的特征匹配点，h11,h12…h33为H中的9个投影变换系数，再依照下式对右影像进行投影变形纠正：
式中，(x',y')和(x”,y”)分别为右影像的投影变形改正前IB和改正后IB'的像素坐标；
所述深度学习局部特征增强模块高精度匹配的步骤包括：
特征提取，将纠正过的同名平面输入卷积神经网络进行特征提取，输出分别为原影像分辨率基础上的1/8的粗级特征图和1/2细级特征图；
生成粗级特征预测结果，将粗提取特征图分别展平为一维向量，并在每个向量中添加位置编码，将含有位置编码的向量输入到由4个自注意层与交叉注意层构成深度学习局部特征增强模块进行多次迭代，得到特征/>
生成最终匹配预测结果，在细级特征图上找到粗等级特征图匹配预测的对应位置从细提取特征图/>中分别裁剪出大小为w×w的局部对应窗口，所有的粗匹配将分别在细等级局部窗口内进行精化匹配，最终输出IA、IB'的亚像素匹配预测Mf；
坐标转换，将IB'的坐标利用投影变换矩阵H还原到原始影像中，得到当前同名平面的高精度弱纹理匹配结果；
坐标融合，将所有同名平面融合，即为最终的结合语义分割和局部特征增强的大倾角立体像对准密集特征匹配点。
2.根据权利要求1所述基于深度学习的大倾角立体像对准密集特征匹配方法，其特征在于，步骤1所述深度学习语义分割模型的建立与训练过程包括：
主干特征提取，获取五个初步有效的特征层；
对所述五个特征层进行上采样和特征融合，获得最终的融合了所有特征的有效特征层；
利用最终的有效特征层对每一个特征点进行分类预测。
3.根据权利要求2所述基于深度学习的大倾角立体像对准密集特征匹配方法，其特征在于，主干特征提取的编码器采用VGG16网络，解码器采用Unet，通过不断的上采样和卷积堆叠输出各个平面的预测掩码图。
4.根据权利要求1所述基于深度学习的大倾角立体像对准密集特征匹配方法，其特征在于，所述抠图分割的步骤为：通过将原图像素点与掩码图像素点一一对应，对于掩码图中白色像素对应的原图像素，将它们取出并拷贝至新的图像中，形成目标平面的分割结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311329966.5A CN117078982B (zh) | 2023-10-16 | 2023-10-16 | 基于深度学习的大倾角立体像对准密集特征匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311329966.5A CN117078982B (zh) | 2023-10-16 | 2023-10-16 | 基于深度学习的大倾角立体像对准密集特征匹配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117078982A CN117078982A (zh) | 2023-11-17 |
| CN117078982B true CN117078982B (zh) | 2024-01-26 |
Family
ID=88717447
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311329966.5A Active CN117078982B (zh) | 2023-10-16 | 2023-10-16 | 基于深度学习的大倾角立体像对准密集特征匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117078982B (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107369204A (zh) * | 2017-07-27 | 2017-11-21 | 北京航空航天大学 | 一种基于深度学习从单幅照片恢复出场景基本三维结构的方法 |
| CN110070091A (zh) * | 2019-04-30 | 2019-07-30 | 福州大学 | 用于街景理解的基于动态插值重建的语义分割方法及系统 |
| CN111144388A (zh) * | 2020-04-03 | 2020-05-12 | 速度时空信息科技股份有限公司 | 一种基于单目影像的道路标志标线的更新方法 |
| CN111210435A (zh) * | 2019-12-24 | 2020-05-29 | 重庆邮电大学 | 一种基于局部和全局特征增强模块的图像语义分割方法 |
| CN111310558A (zh) * | 2019-12-28 | 2020-06-19 | 北京工业大学 | 一种基于深度学习和图像处理法的路面病害智能提取方法 |
| CN111489357A (zh) * | 2019-01-29 | 2020-08-04 | 广州市百果园信息技术有限公司 | 一种图像分割方法、装置、设备及存储介质 |
| CN112287807A (zh) * | 2020-10-27 | 2021-01-29 | 武汉大学 | 一种基于多分支金字塔神经网络的遥感影像道路提取方法 |
| CN113920344A (zh) * | 2021-11-23 | 2022-01-11 | 北京智创华科半导体研究院有限公司 | 基于分类全局能量约束的立体影像特征匹配方法以及装置 |
| CN114544006A (zh) * | 2022-01-07 | 2022-05-27 | 上海同繁勘测工程科技有限公司 | 一种基于环境光照条件的低空遥感影像校正系统及方法 |
| CN115240079A (zh) * | 2022-07-05 | 2022-10-25 | 中国人民解放军战略支援部队信息工程大学 | 一种多源遥感影像深度特征融合匹配方法 |
| CN115496928A (zh) * | 2022-09-30 | 2022-12-20 | 云南大学 | 基于多重特征匹配的多模态图像特征匹配方法 |
| CN115578426A (zh) * | 2022-10-25 | 2023-01-06 | 哈尔滨工业大学 | 一种基于稠密特征匹配的室内服务机器人重定位方法 |
| WO2023280038A1 (zh) * | 2021-07-05 | 2023-01-12 | 华为技术有限公司 | 一种三维实景模型的构建方法及相关装置 |
| CN116091706A (zh) * | 2023-04-07 | 2023-05-09 | 山东建筑大学 | 多模态遥感影像深度学习匹配的三维重建方法 |
| WO2023154320A1 (en) * | 2022-02-08 | 2023-08-17 | Senem Velipasalar | Thermal anomaly identification on building envelopes as well as image classification and object detection |
-
2023
- 2023-10-16 CN CN202311329966.5A patent/CN117078982B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107369204A (zh) * | 2017-07-27 | 2017-11-21 | 北京航空航天大学 | 一种基于深度学习从单幅照片恢复出场景基本三维结构的方法 |
| CN111489357A (zh) * | 2019-01-29 | 2020-08-04 | 广州市百果园信息技术有限公司 | 一种图像分割方法、装置、设备及存储介质 |
| CN110070091A (zh) * | 2019-04-30 | 2019-07-30 | 福州大学 | 用于街景理解的基于动态插值重建的语义分割方法及系统 |
| CN111210435A (zh) * | 2019-12-24 | 2020-05-29 | 重庆邮电大学 | 一种基于局部和全局特征增强模块的图像语义分割方法 |
| CN111310558A (zh) * | 2019-12-28 | 2020-06-19 | 北京工业大学 | 一种基于深度学习和图像处理法的路面病害智能提取方法 |
| CN111144388A (zh) * | 2020-04-03 | 2020-05-12 | 速度时空信息科技股份有限公司 | 一种基于单目影像的道路标志标线的更新方法 |
| CN112287807A (zh) * | 2020-10-27 | 2021-01-29 | 武汉大学 | 一种基于多分支金字塔神经网络的遥感影像道路提取方法 |
| WO2023280038A1 (zh) * | 2021-07-05 | 2023-01-12 | 华为技术有限公司 | 一种三维实景模型的构建方法及相关装置 |
| CN113920344A (zh) * | 2021-11-23 | 2022-01-11 | 北京智创华科半导体研究院有限公司 | 基于分类全局能量约束的立体影像特征匹配方法以及装置 |
| CN114544006A (zh) * | 2022-01-07 | 2022-05-27 | 上海同繁勘测工程科技有限公司 | 一种基于环境光照条件的低空遥感影像校正系统及方法 |
| WO2023154320A1 (en) * | 2022-02-08 | 2023-08-17 | Senem Velipasalar | Thermal anomaly identification on building envelopes as well as image classification and object detection |
| CN115240079A (zh) * | 2022-07-05 | 2022-10-25 | 中国人民解放军战略支援部队信息工程大学 | 一种多源遥感影像深度特征融合匹配方法 |
| CN115496928A (zh) * | 2022-09-30 | 2022-12-20 | 云南大学 | 基于多重特征匹配的多模态图像特征匹配方法 |
| CN115578426A (zh) * | 2022-10-25 | 2023-01-06 | 哈尔滨工业大学 | 一种基于稠密特征匹配的室内服务机器人重定位方法 |
| CN116091706A (zh) * | 2023-04-07 | 2023-05-09 | 山东建筑大学 | 多模态遥感影像深度学习匹配的三维重建方法 |
Non-Patent Citations (4)
| Title |
|---|
| MatchFormer: Interleaving Attention in Transformers for Feature Matching;Qing Wang 等;《arXiv》;2746-2762 * |
| 基于几何约束的倾斜影像特征匹配方法研究;张冬梅;《中国优秀硕士学位论文全文数据库 信息科技辑》;第2023年卷(第3期);I138-554 * |
| 融合互补仿射不变特征的倾斜立体影像高精度自动配准方法;姚国标 等;《测绘学报》;第42卷(第6期);869-876+883 * |
| 面向图像匹配的局部特征提取研究进展;刘向增 等;《计算机技术与发展》;第32卷(第2期);1-13 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117078982A (zh) | 2023-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Melekhov et al. | Dgc-net: Dense geometric correspondence network | |
| CN109410321B (zh) | 基于卷积神经网络的三维重建方法 | |
| US11763433B2 (en) | Depth image generation method and device | |
| Hu et al. | Deep depth completion from extremely sparse data: A survey | |
| CN108038906B (zh) | 一种基于图像的三维四边形网格模型重建方法 | |
| CN110689008A (zh) | 一种面向单目图像的基于三维重建的三维物体检测方法 | |
| CN111161364B (zh) | 一种针对单视角深度图的实时形状补全和姿态估计方法 | |
| CN108876814B (zh) | 一种生成姿态流图像的方法 | |
| Zhang et al. | Efficient inductive vision transformer for oriented object detection in remote sensing imagery | |
| CN113850900B (zh) | 三维重建中基于图像和几何线索恢复深度图的方法及系统 | |
| CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
| CN115908517B (zh) | 一种基于对应点匹配矩阵优化的低重叠点云配准方法 | |
| CN115719407A (zh) | 一种面向大规模航拍图像的分布式多视图立体重建方法 | |
| CN114926553A (zh) | 基于神经辐射场的三维场景一致性风格化方法及系统 | |
| CN114255197A (zh) | 一种红外与可见光图像自适应融合对齐方法及系统 | |
| CN113538569A (zh) | 一种弱纹理物体位姿估计方法和系统 | |
| Wei et al. | Iterative feature matching for self-supervised indoor depth estimation | |
| CN117456136A (zh) | 一种基于多模态视觉识别的数字孪生场景智能生成方法 | |
| Dinh et al. | Disparity estimation using stereo images with different focal lengths | |
| CN115511759A (zh) | 一种基于级联特征交互的点云图像深度补全方法 | |
| Yao et al. | Depthssc: Depth-spatial alignment and dynamic voxel resolution for monocular 3d semantic scene completion | |
| CN114463521A (zh) | 一种面向空地影像数据融合的建筑目标点云快速生成方法 | |
| CN113936047A (zh) | 稠密深度图生成方法及系统 | |
| CN116091706B (zh) | 多模态遥感影像深度学习匹配的三维重建方法 | |
| Ye et al. | Ec-sfm: Efficient covisibility-based structure-from-motion for both sequential and unordered images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |