CN115330930A - 基于稀疏到稠密特征匹配网络的三维重建方法和系统 - Google Patents

基于稀疏到稠密特征匹配网络的三维重建方法和系统 Download PDF

Info

Publication number
CN115330930A
CN115330930A CN202210675654.9A CN202210675654A CN115330930A CN 115330930 A CN115330930 A CN 115330930A CN 202210675654 A CN202210675654 A CN 202210675654A CN 115330930 A CN115330930 A CN 115330930A
Authority
CN
China
Prior art keywords
feature
dense
image
feature map
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210675654.9A
Other languages
English (en)
Inventor
孟子尧
盛斌
任然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202210675654.9A priority Critical patent/CN115330930A/zh
Publication of CN115330930A publication Critical patent/CN115330930A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于稀疏到稠密特征匹配网络的三维重建方法和系统，包括：步骤1：使用可变形卷积网络提取多级特征图；步骤2：在每个卷积层之后加入批归一化层；步骤3：通过多个特征提取块，经过卷积和批归一化得到多级特征图，以特征图金字塔的形式形成多级加权融合的输入；步骤4：融合多层次特征，为不同层次的特征图分配不同的权重，从而平衡注意力，得到属于不同层次的具有强语义信息的特征，以及图像对的对应匹配关系，并基于匹配关系进行二维到三维的映射，从而实现三维重建。本发明采用可变形卷积网络以关注局部形状信息，同时通过一个多级加权融合模块以实现多级特征提取，进而实现鲁棒和准确的三维重建。

Description

基于稀疏到稠密特征匹配网络的三维重建方法和系统
技术领域
本发明涉及三维重建技术领域，具体地，涉及一种基于稀疏到稠密特征匹配网络的三维重建方法和系统。
背景技术
三维重建的目的是从一组图像中获得一个物体或场景的几何结构和结构，如何提取鲁棒、准确和充分的图像对应关系是三维重建的关键问题。
专利文献CN114067051A(申请号：CN202111355721.0)公开一种三维重建处理方法、装置、电子设备以及存储介质，涉及计算机视觉技术领域，尤其涉及计算机图形学技术领域。具体实现方案为：获取目标图像，其中，上述目标图像中包含：待重建目标；基于上述待重建目标获取上述目标图像的背景蒙版图像；基于上述背景蒙版图像对上述待重建目标进行三维重建处理，得到三维重建处理结果。
现有的三维重建及图像匹配方法在提取准确的图像对应关系和关注场景局部形状信息等方面存在不足。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于稀疏到稠密特征匹配网络的三维重建方法和系统。
根据本发明提供的基于稀疏到稠密特征匹配网络的三维重建方法，包括：
步骤1：使用可变形卷积网络提取多级特征图，采用轻量级L2-Net作为主干网络，并将最后一个卷积层替换为可变形卷积层，使用步长为2的卷积实现特征图的下采样；
步骤2：在每个卷积层之后加入批归一化层，在训练期间分别将批归一化层的权重和偏差参数固定为1和0；
步骤3：通过多个特征提取块，经过卷积和批归一化得到多级特征图，以特征图金字塔的形式形成多级加权融合的输入；
步骤4：融合多层次特征，为不同层次的特征图分配不同的权重，从而平衡注意力，得到属于不同层次的具有强语义信息的特征，以及图像对的对应匹配关系，并基于匹配关系进行二维到三维的映射，从而实现三维重建。
优选的，通过额外的卷积层从先验特征图中学习得到偏移量，在标准二维卷积中常规网格采样位置添加二维偏移，以局部、稠密和自适应方式的输入特征为条件，利用规则网格R定义感受野大小和空洞，对于输出特征图y上的每个位置p0，则有：
Figure BDA0003696431540000021
其中，w(pn)表示位置pn上由w加权的采样值；x(p0+pn)表示输入特征图x上对应p0+pn位置的值；p0表示输出特征图y上的位置；pn表示输入特征图x上由规则网格R采样位置的枚举；
在可变形卷积中，通过规则网格R增加偏移量{Δpn|n＝1,…,N}，其中N＝|R|，得到：
Figure BDA0003696431540000022
优选的，由于偏移量Δpn是小数，通过双线性插值得到：
Figure BDA0003696431540000023
G(q,p)表示对q和p的双线性插值；p表示任意位置，p＝p0+pn+Δpn；q表示特征图x中的所有积分空间位置的枚举；G是双线性插值核。
优选的，对于要匹配的图像对(IA,IB)，使用关键点检测器来获得图像IA的关键点集KA，特征匹配过程即稀疏到密集的超列匹配问题，对图像IA中的每个关键点
Figure BDA0003696431540000024
在图像IB中找到对应的关键点
Figure BDA0003696431540000025
关键点分类分布为：
Figure BDA0003696431540000026
其中，
Figure BDA0003696431540000027
表示图像IB每个关键点
Figure BDA0003696431540000028
的稠密对应；q表示IB的像素点；Cn[q]表示IB像素点q的稠密对应；Cn表示稠密对应图，Ω表示IB的像素，θ是网络参数。
优选的，将图像IA和图像IB进行可变形特征提取，得到特征图
Figure BDA0003696431540000029
和
Figure BDA00036964315400000210
其中，
Figure BDA00036964315400000211
表示图像IA在级别L的特征图，
Figure BDA00036964315400000212
表示图像IB在级别L的特征图，多级对应映射{Sl|l＝1,…,L}的计算方式为：
Figure BDA00036964315400000213
其中，
Figure BDA00036964315400000214
代表将关键点
Figure BDA00036964315400000215
下采样到
Figure BDA00036964315400000216
＊表示1×1卷积；
应用加权融合，稠密对应图Cn最终被计算为：
Figure BDA0003696431540000031
其中，μ()表示上采样算子，ωl表示第l级的权重；
通过可变形特征提取和加权融合，获得图像对(IA,IB)的对应匹配关系，记为
Figure BDA0003696431540000032
其中，NAB表示IA和IB之间的特征匹配数。
根据本发明提供的基于稀疏到稠密特征匹配网络的三维重建系统，包括：
模块M1：使用可变形卷积网络提取多级特征图，采用轻量级L2-Net作为主干网络，并将最后一个卷积层替换为可变形卷积层，使用步长为2的卷积实现特征图的下采样；
模块M2：在每个卷积层之后加入批归一化层，在训练期间分别将批归一化层的权重和偏差参数固定为1和0；
模块M3：通过多个特征提取块，经过卷积和批归一化得到多级特征图，以特征图金字塔的形式形成多级加权融合的输入；
模块M4：融合多层次特征，为不同层次的特征图分配不同的权重，从而平衡注意力，得到属于不同层次的具有强语义信息的特征，以及图像对的对应匹配关系，并基于匹配关系进行二维到三维的映射，从而实现三维重建。
优选的，通过额外的卷积层从先验特征图中学习得到偏移量，在标准二维卷积中常规网格采样位置添加二维偏移，以局部、稠密和自适应方式的输入特征为条件，利用规则网格R定义感受野大小和空洞，对于输出特征图y上的每个位置p0，则有：
Figure BDA0003696431540000033
其中，w(pn)表示位置pn上由w加权的采样值；x(p0+pn)表示输入特征图x上对应p0+pn位置的值；p0表示输出特征图y上的位置；pn表示输入特征图x上由规则网格R采样位置的枚举；
在可变形卷积中，通过规则网格R增加偏移量{Δpn|n＝1,…,N}，其中N＝|R|，得到：
Figure BDA0003696431540000034
优选的，由于偏移量Δpn是小数，通过双线性插值得到：
Figure BDA0003696431540000035
G(q,p)表示对q和p的双线性插值；p表示任意位置，p＝p0+pn+Δpn；q表示特征图x中的所有积分空间位置的枚举；G是双线性插值核。
优选的，对于要匹配的图像对(IA,IB)，使用关键点检测器来获得图像IA的关键点集KA，特征匹配过程即稀疏到密集的超列匹配问题，对图像IA中的每个关键点
Figure BDA0003696431540000041
在图像IB中找到对应的关键点
Figure BDA0003696431540000042
关键点分类分布为：
Figure BDA0003696431540000043
其中，
Figure BDA0003696431540000044
表示图像IB每个关键点
Figure BDA0003696431540000045
的稠密对应；q表示IB的像素点；Cn[q]表示IB像素点q的稠密对应；Cn表示稠密对应图，Ω表示IB的像素，θ是网络参数。
优选的，将图像IA和图像IB进行可变形特征提取，得到特征图
Figure BDA0003696431540000046
和
Figure BDA0003696431540000047
其中，
Figure BDA0003696431540000048
表示图像IA在级别L的特征图，
Figure BDA0003696431540000049
表示图像IB在级别L的特征图，多级对应映射{S1|l＝1,…,L}的计算方式为：
Figure BDA00036964315400000410
其中，
Figure BDA00036964315400000411
代表将关键点
Figure BDA00036964315400000412
下采样到
Figure BDA00036964315400000413
＊表示1×1卷积；
应用加权融合，稠密对应图Cn最终被计算为：
Figure BDA00036964315400000414
其中，μ()表示上采样算子，ωl表示第l级的权重；
通过可变形特征提取和加权融合，获得图像对(IA,IB)的对应匹配关系，记为
Figure BDA00036964315400000415
其中，NAB表示IA和IB之间的特征匹配数。
与现有技术相比，本发明具有如下的有益效果：
本发明通过提出一种可形变的稀疏-稠密特征匹配算法，采用可变形卷积网络以关注局部形状信息，同时通过一个多级加权融合模块以实现多级特征提取，进而实现鲁棒，准确的三维重建。本发明还可用于大规模场景的三维重建，包括应用于导航领域的重建，建筑物的重建等。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明方法流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例：
图像匹配是三维重建过程的关键一环，本发明设计了一种基于稀疏到稠密特征匹配的神经网络结构以实现图像匹配，该网络包括了一个可变形特征提取模块用于提取多级特征图，一个多级加权融合模块用于加权融合多级特征图并预测对应匹配的关键点。
本发明提供了一种基于稀疏到稠密特征匹配网络的三维重建系统，包括：可变形特征提取模块和多级加权融合模块。
可变性卷积在标准二维卷积中常规网格采样位置添加了二维偏移，这使采样网格能够自由变形。偏移量则通过额外的卷积层从前面的特征图中学习。这种变形以局部、稠密和自适应方式的输入特征为条件。二维卷积包含两个步骤：1)在输入特征图x上利用规则网格R进行采样；2)计算由w加权的采样值的加和。这一过程中，规则网格R定义了感受野大小和空洞。对于输出特征图y上的每个位置p0，有：
Figure BDA0003696431540000051
w(pn)表示位置pn上由w加权的采样值；x(p0+pn)表示输入特征图x上对应p0+pn位置的值；p0表示输出特征图y上的位置；pn表示输入特征图x上由规则网格R采样位置的枚举。
其中，pn枚举了规则网格R中的位置，在可变形卷积中，规则网格R增加了偏移量{Δpn|n＝1,…,N}，其中N＝|R|。代入式(1)：
Figure BDA0003696431540000052
Δpn表示规则网格R上增加的偏移量。
这样，采样将会在具有不规则和偏移pn+Δpn的位置上进行。由于偏移量Δpn通常是小数，可以通过通过双线性插值将式(2)实现为：
Figure BDA0003696431540000053
G(q,p)表示对q和p的双线性插值；p表示任意位置，p＝p0+pn+Δpn；q表示特征图x中的所有积分空间位置的枚举。
其中，p(p＝p0+pn+Δpn)表示任意位置(通常以分数形式)，而q枚举出特征图x中的所有积分空间位置，G是双线性插值核。偏移量通过在相同的输入特征图上应用卷积层来获得。卷积核通常具有与当前卷积层相同的空间分辨率和空洞。输出偏移与输入特征图具有相同的空间分辨率。通道维度2N对应N个二维偏移。训练时需要同时学习用于生成输出特征的卷积核和偏移量。学习偏移量的过程中，梯度通过式(3)进行反向传播。
如图1，本发明使用可变形卷积网络来提取多级特征图，采用轻量级L2-Net作为主干网络，并将最后一个卷积层替换为可变形卷积层，使用步长为2的卷积来实现特征图的下采样。在每个卷积层之后加入批归一化层，批归一化层的权重和偏差参数不做更新，在训练期间分别固定为1和0。可变形特征提取模块包含几个特征提取块和一个可变形特征提取块。对于输入图像，通过一个特征提取块，经过卷积和批归一化得到特征图。经过几个特征提取块后，获得多级特征图，以特征图金字塔的形式形成多级加权融合模块的输入。
对于要匹配的图像对(IA,IB)，首先使用关键点检测器来获得图像IA的关键点集KA。特征匹配过程即稀疏到密集的超列匹配问题，主要目标为对图像IA中的每个关键点
Figure BDA0003696431540000061
在图像IB中找到对应的关键点
Figure BDA0003696431540000062
关键点分类分布可以写成：
Figure BDA0003696431540000063
Figure BDA0003696431540000064
表示图像IB每个关键点
Figure BDA0003696431540000065
的稠密对应；q表示IB的像素点；Cn[q]表示IB像素点q的稠密对应；Cn表示稠密对应图，Ω表示IB的像素，θ是网络参数。
将图像IA和图像IB通过可变形特征提取模块，得到特征图
Figure BDA0003696431540000066
和
Figure BDA0003696431540000067
其中，
Figure BDA0003696431540000068
表示图像IA在级别L的特征图，
Figure BDA0003696431540000069
表示图像IB在级别L的特征图。多级对应映射{Sl|l＝1,…,L}的计算方式为：
Figure BDA00036964315400000610
其中，
Figure BDA00036964315400000611
代表将关键点
Figure BDA00036964315400000612
下采样到
Figure BDA00036964315400000613
＊表示1×1卷积。应用加权融合，稠密对应图Cn最终被计算为：
Figure BDA00036964315400000614
其中，μ()表示上采样算子，ωl表示第l级的权重。加权融合模块可以融合多层次的特征，并为不同层次的特征图分配不同的权重，从而平衡注意力，得到属于不同层次的具有强语义信息的特征。通过可变形特征提取模块和加权融合模块，即可获得图像对(IA,IB)的对应匹配关系，记为
Figure BDA0003696431540000071
其中，NAB表示IA和IB之间的特征匹配数。
根据本发明提供的基于稀疏到稠密特征匹配网络的三维重建系统，包括：模块M1：使用可变形卷积网络提取多级特征图，采用轻量级L2-Net作为主干网络，并将最后一个卷积层替换为可变形卷积层，使用步长为2的卷积实现特征图的下采样；模块M2：在每个卷积层之后加入批归一化层，在训练期间分别将批归一化层的权重和偏差参数固定为1和0；模块M3：通过多个特征提取块，经过卷积和批归一化得到多级特征图，以特征图金字塔的形式形成多级加权融合的输入；模块M4：融合多层次特征，为不同层次的特征图分配不同的权重，从而平衡注意力，得到属于不同层次的具有强语义信息的特征，以及图像对的对应匹配关系，并基于匹配关系进行二维到三维的映射，从而实现三维重建。
通过额外的卷积层从先验特征图中学习得到偏移量，在标准二维卷积中常规网格采样位置添加二维偏移，以局部、稠密和自适应方式的输入特征为条件，利用规则网格R定义感受野大小和空洞，对于输出特征图y上的每个位置p0，则有：
Figure BDA0003696431540000072
其中，w(pn)表示位置pn上由w加权的采样值；x(p0+pn)表示输入特征图x上对应p0+pn位置的值；p0表示输出特征图y上的位置；pn表示输入特征图x上由规则网格R采样位置的枚举；在可变形卷积中，通过规则网格R增加偏移量{Δpn|n＝1,…,N}，其中N＝|R|，得到：
Figure BDA0003696431540000073
由于偏移量Δpn是小数，通过双线性插值得到：
Figure BDA0003696431540000074
G(q,p)表示对q和p的双线性插值；p表示任意位置，p＝p0+pn+Δpn；q表示特征图x中的所有积分空间位置的枚举；G是双线性插值核。
对于要匹配的图像对(IA,IB)，使用关键点检测器来获得图像IA的关键点集KA，特征匹配过程即稀疏到密集的超列匹配问题，对图像IA中的每个关键点
Figure BDA0003696431540000075
在图像IB中找到对应的关键点
Figure BDA0003696431540000076
关键点分类分布为：
Figure BDA0003696431540000081
其中，
Figure BDA0003696431540000082
表示图像IB每个关键点
Figure BDA0003696431540000083
的稠密对应；q表示IB的像素点；Cn[q]表示IB像素点q的稠密对应；Cn表示稠密对应图，Ω表示IB的像素，θ是网络参数。
将图像IA和图像IB进行可变形特征提取，得到特征图
Figure BDA0003696431540000084
和
Figure BDA0003696431540000085
其中，
Figure BDA0003696431540000086
表示图像IA在级别L的特征图，
Figure BDA0003696431540000087
表示图像IB在级别L的特征图，多级对应映射{Sl|l＝1,…,L}的计算方式为：
Figure BDA0003696431540000088
其中，
Figure BDA0003696431540000089
代表将关键点
Figure BDA00036964315400000810
下采样到
Figure BDA00036964315400000811
＊表示1×1卷积；
应用加权融合，稠密对应图Cn最终被计算为：
Figure BDA00036964315400000812
其中，μ()表示上采样算子，ωl表示第l级的权重；
通过可变形特征提取和加权融合，获得图像对(IA,IB)的对应匹配关系，记为
Figure BDA00036964315400000813
其中，NAB表示IA和IB之间的特征匹配数。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于稀疏到稠密特征匹配网络的三维重建方法，其特征在于，包括：
步骤1：使用可变形卷积网络提取多级特征图，采用轻量级L2-Net作为主干网络，并将最后一个卷积层替换为可变形卷积层，使用步长为2的卷积实现特征图的下采样；
步骤2：在每个卷积层之后加入批归一化层，在训练期间分别将批归一化层的权重和偏差参数固定为1和0；
步骤3：通过多个特征提取块，经过卷积和批归一化得到多级特征图，以特征图金字塔的形式形成多级加权融合的输入；
步骤4：融合多层次特征，为不同层次的特征图分配不同的权重，从而平衡注意力，得到属于不同层次的具有强语义信息的特征，以及图像对的对应匹配关系，并基于匹配关系进行二维到三维的映射，从而实现三维重建。
2.根据权利要求1所述的基于稀疏到稠密特征匹配网络的三维重建方法，其特征在于，通过额外的卷积层从先验特征图中学习得到偏移量，在标准二维卷积中常规网格采样位置添加二维偏移，以局部、稠密和自适应方式的输入特征为条件，利用规则网格R定义感受野大小和空洞，对于输出特征图y上的每个位置p0，则有：
Figure FDA0003696431530000011
其中，w(pn)表示位置pn上由w加权的采样值；x(p0+pn)表示输入特征图x上对应p0+pn位置的值；p0表示输出特征图y上的位置；pn表示输入特征图x上由规则网格R采样位置的枚举；
在可变形卷积中，通过规则网格R增加偏移量{Δpn|n＝1,…,N}，其中N＝|R|，得到：
Figure FDA0003696431530000013
3.根据权利要求2所述的基于稀疏到稠密特征匹配网络的三维重建方法，其特征在于，由于偏移量Δpn是小数，通过双线性插值得到：
Figure FDA0003696431530000012
G(q,p)表示对q和p的双线性插值；p表示任意位置，p＝p0+pn+Δpn；q表示特征图x中的所有积分空间位置的枚举；G是双线性插值核。
4.根据权利要求1所述的基于稀疏到稠密特征匹配网络的三维重建方法，其特征在于，对于要匹配的图像对(IA,IB)，使用关键点检测器来获得图像IA的关键点集KA，特征匹配过程即稀疏到密集的超列匹配问题，对图像IA中的每个关键点
Figure FDA0003696431530000021
在图像IB中找到对应的关键点
Figure FDA0003696431530000022
关键点分类分布为：
Figure FDA0003696431530000023
其中，
Figure FDA0003696431530000024
表示图像IB每个关键点
Figure FDA0003696431530000025
的稠密对应；q表示IB的像素点；Cn[q]表示IB像素点q的稠密对应；Cn表示稠密对应图，Ω表示IB的像素，θ是网络参数。
5.根据权利要求4所述的基于稀疏到稠密特征匹配网络的三维重建方法，其特征在于，将图像IA和图像IB进行可变形特征提取，得到特征图
Figure FDA0003696431530000026
和
Figure FDA0003696431530000027
其中，
Figure FDA0003696431530000028
表示图像IA在级别L的特征图，
Figure FDA0003696431530000029
表示图像IB在级别L的特征图，多级对应映射{Sl|l＝1,…,L}的计算方式为：
Figure FDA00036964315300000210
其中，
Figure FDA00036964315300000211
代表将关键点
Figure FDA00036964315300000212
下采样到
Figure FDA00036964315300000213
＊表示1×1卷积；
应用加权融合，稠密对应图Cn最终被计算为：
Figure FDA00036964315300000214
其中，μ()表示上采样算子，ωl表示第l级的权重；
通过可变形特征提取和加权融合，获得图像对(IA,IB)的对应匹配关系，记为
Figure FDA00036964315300000215
其中，NAB表示IA和IB之间的特征匹配数。
6.一种基于稀疏到稠密特征匹配网络的三维重建系统，其特征在于，包括：
模块M1：使用可变形卷积网络提取多级特征图，采用轻量级L2-Net作为主干网络，并将最后一个卷积层替换为可变形卷积层，使用步长为2的卷积实现特征图的下采样；
模块M2：在每个卷积层之后加入批归一化层，在训练期间分别将批归一化层的权重和偏差参数固定为1和0；
模块M3：通过多个特征提取块，经过卷积和批归一化得到多级特征图，以特征图金字塔的形式形成多级加权融合的输入；
模块M4：融合多层次特征，为不同层次的特征图分配不同的权重，从而平衡注意力，得到属于不同层次的具有强语义信息的特征，以及图像对的对应匹配关系，并基于匹配关系进行二维到三维的映射，从而实现三维重建。
7.根据权利要求6所述的基于稀疏到稠密特征匹配网络的三维重建系统，其特征在于，通过额外的卷积层从先验特征图中学习得到偏移量，在标准二维卷积中常规网格采样位置添加二维偏移，以局部、稠密和自适应方式的输入特征为条件，利用规则网格R定义感受野大小和空洞，对于输出特征图y上的每个位置p0，则有：
Figure FDA0003696431530000031
其中，w(pn)表示位置pn上由w加权的采样值；x(p0+pn)表示输入特征图x上对应p0+pn位置的值；p0表示输出特征图y上的位置；pn表示输入特征图x上由规则网格R采样位置的枚举；
在可变形卷积中，通过规则网格R增加偏移量{Δpn|n＝1,…,N}，其中N＝|R|，得到：
Figure FDA00036964315300000313
8.根据权利要求7所述的基于稀疏到稠密特征匹配网络的三维重建系统，其特征在于，由于偏移量Δpn是小数，通过双线性插值得到：
Figure FDA0003696431530000032
G(q,p)表示对q和p的双线性插值；p表示任意位置，p＝p0+pn+Δpn；q表示特征图x中的所有积分空间位置的枚举；G是双线性插值核。
9.根据权利要求6所述的基于稀疏到稠密特征匹配网络的三维重建系统，其特征在于，对于要匹配的图像对(IA,IB)，使用关键点检测器来获得图像IA的关键点集KA，特征匹配过程即稀疏到密集的超列匹配问题，对图像IA中的每个关键点
Figure FDA0003696431530000033
在图像IB中找到对应的关键点
Figure FDA0003696431530000034
关键点分类分布为：
Figure FDA0003696431530000035
其中，
Figure FDA0003696431530000036
表示图像IB每个关键点
Figure FDA00036964315300000312
的稠密对应；q表示IB的像素点；Cn[q]表示IB像素点q的稠密对应；Cn表示稠密对应图，Ω表示IB的像素，θ是网络参数。
10.根据权利要求9所述的基于稀疏到稠密特征匹配网络的三维重建系统，其特征在于，将图像IA和图像IB进行可变形特征提取，得到特征图
Figure FDA0003696431530000037
和
Figure FDA0003696431530000038
其中，
Figure FDA0003696431530000039
表示图像IA在级别L的特征图，
Figure FDA00036964315300000310
表示图像IB在级别L的特征图，多级对应映射{Sl|l＝1,…,L}的计算方式为：
Figure FDA00036964315300000311
其中，
Figure FDA0003696431530000041
代表将关键点
Figure FDA0003696431530000042
下采样到
Figure FDA0003696431530000043
＊表示1×1卷积；
应用加权融合，稠密对应图Cn最终被计算为：
Figure FDA0003696431530000044
其中，μ()表示上采样算子，ωl表示第l级的权重；
通过可变形特征提取和加权融合，获得图像对(IA,IB)的对应匹配关系，记为
Figure FDA0003696431530000045
其中，NAB表示IA和IB之间的特征匹配数。
CN202210675654.9A 2022-06-15 2022-06-15 基于稀疏到稠密特征匹配网络的三维重建方法和系统 Pending CN115330930A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210675654.9A CN115330930A (zh) 2022-06-15 2022-06-15 基于稀疏到稠密特征匹配网络的三维重建方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210675654.9A CN115330930A (zh) 2022-06-15 2022-06-15 基于稀疏到稠密特征匹配网络的三维重建方法和系统

Publications (1)

Publication Number Publication Date
CN115330930A true CN115330930A (zh) 2022-11-11

Family

ID=83915696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210675654.9A Pending CN115330930A (zh) 2022-06-15 2022-06-15 基于稀疏到稠密特征匹配网络的三维重建方法和系统

Country Status (1)

Country Link
CN (1) CN115330930A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117409379A (zh) * 2023-10-17 2024-01-16 哈尔滨工业大学 一种基于计算机视觉的大跨桥梁车辆追踪与车辆荷载谱智能识别方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117409379A (zh) * 2023-10-17 2024-01-16 哈尔滨工业大学 一种基于计算机视觉的大跨桥梁车辆追踪与车辆荷载谱智能识别方法

Similar Documents

Publication Publication Date Title
CN112101190B (zh) 一种遥感图像分类方法、存储介质及计算设备
CN109389552B (zh) 一种基于上下文相关多任务深度学习的图像超分辨算法
CN112767251B (zh) 基于多尺度细节特征融合神经网络的图像超分辨率方法
CN113033570B (zh) 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法
CN112001914A (zh) 深度图像补全的方法和装置
CN111861886B (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
CN112560966B (zh) 基于散射图卷积网络的极化sar图像分类方法、介质及设备
CN110992366A (zh) 一种图像语义分割方法、装置及存储介质
CN114612902A (zh) 图像语义分割方法、装置、设备、存储介质及程序产品
Yang et al. Image super-resolution reconstruction based on improved Dirac residual network
Zhou et al. MSAR‐DefogNet: Lightweight cloud removal network for high resolution remote sensing images based on multi scale convolution
Tian et al. Automatic feature type selection in digital photogrammetry of piping
CN113496472A (zh) 图像去雾模型构建、道路图像去雾方法、装置及车辆
CN110866866A (zh) 图像仿色处理方法、装置、电子设备及存储介质
CN113344110B (zh) 一种基于超分辨率重建的模糊图像分类方法
CN115330930A (zh) 基于稀疏到稠密特征匹配网络的三维重建方法和系统
CN103106402A (zh) 一种基于重建的车牌汉字识别方法
CN111932466B (zh) 一种图像去雾方法、电子设备及存储介质
CN113191367A (zh) 基于密集尺度动态网络的语义分割方法
CN110489584B (zh) 基于密集连接的MobileNets模型的图像分类方法及系统
CN113240589A (zh) 一种多尺度特征融合的图像去雾方法及系统
CN115797633B (zh) 一种遥感图像分割方法、系统、存储介质和电子设备
CN117496162B (zh) 一种红外卫星遥感影像薄云去除方法、装置及介质
CN114119698B (zh) 基于注意力机制的无监督单目深度估计方法
CN112329925B (zh) 模型生成方法、特征提取方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination