CN115439673B - 基于扇形卷积神经网络的图像特征匹配方法 - Google Patents

基于扇形卷积神经网络的图像特征匹配方法 Download PDF

Info

Publication number
CN115439673B
CN115439673B CN202211401655.0A CN202211401655A CN115439673B CN 115439673 B CN115439673 B CN 115439673B CN 202211401655 A CN202211401655 A CN 202211401655A CN 115439673 B CN115439673 B CN 115439673B
Authority
CN
China
Prior art keywords
image
neural network
descriptor
feature
fan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211401655.0A
Other languages
English (en)
Other versions
CN115439673A (zh
Inventor
陈刚
林文蔚
仲崇豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202211401655.0A priority Critical patent/CN115439673B/zh
Publication of CN115439673A publication Critical patent/CN115439673A/zh
Application granted granted Critical
Publication of CN115439673B publication Critical patent/CN115439673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于扇形卷积神经网络的图像特征匹配方法，通过构建扇形卷积神经网络，根据损失函数对扇形卷积神经网络进行训练优化，获得目标模型，使得本发明的实施例具有较强的泛化能力和鲁棒性；通过在图像中提取特征点，并以特征点为中心在图像中提取正方形图像块集；将图像块集输入扇形卷积神经网络中，得到旋转描述子；其中，旋转描述子是可旋转重编码描述子；对旋转描述子进行处理，能够在图像任意旋转变化的情况下，完成图像的高精度特征匹配。本发明的实施例可广泛应用于计算机图像处理技术领域。

Description

基于扇形卷积神经网络的图像特征匹配方法
技术领域
本发明涉及计算机图像处理技术领域，尤其是基于扇形卷积神经网络的图像特征匹配方法。
背景技术
图像特征检测与匹配时图像处理的核心领域之一，应用广泛。在非平面的场景中，图像通常存在着旋转、视角和光照的变化，这些变化导致外观发生显著变换。现有大多数算法是依赖于局部图像特征描述子来实现图像之间的匹配，而局部图像特征描述子的核心问题是不变性和可区分性，传统的图像特征匹配方案在处理旋转问题的时候，都是基于集合特征或者梯度特征的手工检测算法，这些算法有着可解释的数学理论基础，也能够具有旋转不变性。但传统手工算法是基于某种固定的前提假设，是对现实世界的简化和抽象，其在鲁棒性和泛化能力方面存在不足。
随着卷积神经网络的出现，特征提取的泛化和对海量数据的支持极大地提高了局部特征的描述能力，但现有的卷积神经网络算法由于没有在旋转不变性上的独立优化，而是通过数据增强和网络加深的方法学习旋转不变性，其所得出的描述子无法具有处理存在着较大的角度差的旋转图片的匹配的显著效果。此外，由于网络的加深导致其计算复杂度增大，应用设备要求更为严格。
发明内容
有鉴于此，本发明实施例提供了一种高精度、匹配能力强、复杂度低的基于扇形卷积神经网络的图像特征匹配方法。
本发明的实施例提供了基于扇形卷积神经网络的图像特征匹配方法，包括：构建扇形卷积神经网络，根据损失函数对所述扇形卷积神经网络进行训练优化，获得目标模型；在图像中提取特征点，并以所述特征点为中心在所述图像中提取正方形图像块集；将所述正方形图像块集输入所述目标模型中，得到旋转描述子；其中，所述旋转描述子为可旋转重编码描述子；对所述旋转描述子进行处理，完成图像的特征匹配。
可选地，所述构建扇形卷积神经网络，根据损失函数对所述卷积神经网络进行训练优化，获得目标模型，包括：构建一层扇形卷积层，并构建五层一维卷积层；根据所述扇形卷积层以及所述一维卷积层构建扇形卷积神经网络；通过损失函数对所述扇形卷积神经网络进行训练，获得目标模型。
可选地，所述通过损失函数对所述扇形卷积神经网络进行训练，所述损失函数为：
Figure 61950DEST_PATH_IMAGE001
Figure 473340DEST_PATH_IMAGE002
Figure 645696DEST_PATH_IMAGE003
/>
其中，L代表损失函数，
Figure 800733DEST_PATH_IMAGE004
代表旋转描述子的长度，/>
Figure 7724DEST_PATH_IMAGE005
代表负样本的损失函数，gt代表所述旋转描述子在正确角度匹配的展开点序号，/>
Figure 590015DEST_PATH_IMAGE006
代表正样本的损失函数，/>
Figure 984087DEST_PATH_IMAGE007
代表
Figure 942816DEST_PATH_IMAGE008
的距离参数，/>
Figure 4313DEST_PATH_IMAGE009
代表/>
Figure 23084DEST_PATH_IMAGE010
的距离参数，/>
Figure 668567DEST_PATH_IMAGE011
代表正样本与参考样本在正确角度的相似度，/>
Figure 899828DEST_PATH_IMAGE012
代表参考样本和正样本在错误角度的相似度，/>
Figure 815832DEST_PATH_IMAGE013
代表负样本与参考样本特征点的相似度。
可选地，所述在图像中提取特征点，并以所述特征点为中心在所述图像中提取正方形图像块集，包括：采用特征点检测方法提取特征点；以所述特征点为中心，在图像中提取正方形图像块，形成正方形图像块集。
可选地，所述将所述正方形图像块集输入所述目标模型中，得到旋转描述子，包括：通过扇形卷积核对图像块进行卷积，得到特征图；其中，所述图像块来源于所述正方形图像块集；对所述特征图进行循环填充，并将循环填充后的所述特征图输入一维卷积层进行卷积，得到可旋转重编码的旋转描述子。
可选地，所述通过扇形卷积核对图像块进行卷积，得到特征图，包括：确定扇形卷积核的夹角大小、扇形卷积核的半径大小、扇形卷积核的旋转步长、卷积开始位置；根据所述扇形卷积核的夹角大小、所述扇形卷积核的半径大小、所述扇形卷积核的旋转步长、所述卷积开始位置以特征点为中心进行旋转卷积；对扇形卷积核覆盖的像素进行加权求和，得到特征值；当旋转角度累积到360°，得到一个特征向量环；以所述卷积开始位置为向量首位进行展开，获得特征向量；将所述特征向量输入激活函数，输出特征图。
可选地，所述对所述特征图进行循环填充，包括：在特征图的起始位置填充末尾特征值；在特征图的末尾位置填充起始特征值。
可选地，所述对所述旋转描述子进行处理，完成图像的特征匹配，包括：确定一组所述旋转描述子为固定描述子组，对另一组所述旋转描述子中的每个描述子进行旋转重编码，得到全角度描述子组；计算所述全角度描述子组与所述固定描述子组余弦相似度矩阵；对所述余弦相似度矩阵进行双向暴力匹配，得到所述特征点的匹配关系，完成图像特征匹配。
本发明的实施例还提供了一种电子设备，包括处理器以及存储器；所述存储器用于存储程序；所述处理器执行所述程序实现如上所述的方法。
本发明的实施例还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如上所述的方法。
本发明实施例具有如下有益效果：通过构建扇形卷积神经网络，根据损失函数对扇形卷积神经网络进行训练优化，获得目标模型，使得本发明的实施例具有较强的泛化能力和鲁棒性；通过在图像中提取特征点，并以特征点为中心在图像中提取正方形图像块集；将图像块集输入扇形卷积神经网络中，得到旋转描述子；其中，旋转描述子是可旋转重编码描述子；对旋转描述子进行处理，能够在图像任意旋转变化的情况下，完成图像的高精度特征匹配。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本林谷普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1是本发明实施例提供的图像特征匹配方法流程图；
图2是本发明实施例提供的图像特征匹配方法直观示意图；
图3是本发明实施例提供的单个通道扇形卷积层卷积过程图；
图4是本发明实施例提供的一维卷积层的处理过程图；
图5是本发明实施例提供的旋转重编码示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术中卷积神经网络算法针对旋转图像的匹配计算复杂度大、精度低、匹配能力不足等问题，本发明实施例提供了一种基于扇形卷积神经网络的特征图像匹配方法,以扇形卷积核为核心构建扇形卷积神经网络，先通过扇形卷积层的扇形卷积核旋转提取出图像块在每个固定角度下的扇形特征，得到一个特征向量环并展开成一维向量，通过一维卷积层对每个角度的特征进行聚合，输出一个可全角度编码的描述子，能够实现任意角度的描述子重编码匹配，从而达到任意角度差图像对匹配的目的。参照图1和图2，图1是本发明实施例提供的图像特征匹配方法流程图，图2是本发明实施例提供的图像特征匹配方法直观示意图，本发明的实施例包括以下步骤S100~S400。
S100、构建扇形卷积神经网络，根据损失函数对扇形卷积神经网络进行训练优化，获得目标模型。
具体地，步骤S100包括以下步骤S110~S130。
S110、构建一层扇形卷积层，并构建五层一维卷积层。
具体地，参照图2，图2中h为输入的图像块的边长，Ns为扇形卷积核的通道数，N1，N2，…，Nn是一维卷积核的通道数，n是一维卷积层的层数，l是描述子长度；在本发明实施例的扇形卷积神经网络中包含6层卷积层，其中第一层为扇形卷积层，其余5层为一维卷积层，通道数为128-128-256-256-128-64。
S120、根据扇形卷积层以及一维卷积层构建扇形卷积神经网络。
S130、通过损失函数对扇形卷积神经网络进行训练，获得目标模型。
具体地，在模型训练过程中，输入参考样本Pr、正样本Pp、负样本Pn三个图像块，设定输出分别为参考样本描述子Dr、正样本描述子Dp、负样本描述子Dn。固定Dr，对Dp进行一次旋转重编码，得到
Figure 5504DEST_PATH_IMAGE014
，对Dn进行一次旋转重编码，得到/>
Figure 639748DEST_PATH_IMAGE015
，并计算Dr和Dn相对于参考样本Dr的余弦相似度，计算公式为：/>
Figure 940279DEST_PATH_IMAGE016
Figure 710789DEST_PATH_IMAGE017
式中，
Figure 805784DEST_PATH_IMAGE018
为正样本描述子Dp与参考样本描述子Dr的余弦相似度，/>
Figure 927324DEST_PATH_IMAGE019
为负样本描述子Dn与参考样本描述子Dr的余弦相似度，/>
Figure 765967DEST_PATH_IMAGE020
为序列/>
Figure 656563DEST_PATH_IMAGE021
中的元值素，/>
Figure 188038DEST_PATH_IMAGE022
为序列/>
Figure 265716DEST_PATH_IMAGE023
的元素值。
通过余弦相似度的计算，能够得到参考样本与正样本特征点的相似度
Figure 663375DEST_PATH_IMAGE024
以及参考样本与负样本特征点的相似度/>
Figure 408477DEST_PATH_IMAGE025
，其中，只有/>
Figure 110854DEST_PATH_IMAGE026
是正确位置的特征点在正确角度上旋转重编码的相似度，需要说明的是，gt为正样本描述子Dp与参考样本描述子Dr在正确角度上匹配的展开点序号。
在本发明实施例的描述子辨别能力上，需要保证描述子能够准确区别不同位置的特征点，因此需要最小化
Figure 941407DEST_PATH_IMAGE027
，最大化/>
Figure 121852DEST_PATH_IMAGE028
，在正确角度匹配上，需要保证/>
Figure 721461DEST_PATH_IMAGE029
最高，而/>
Figure 594739DEST_PATH_IMAGE030
较低。
基于以上训练需要，本发明的实施例通过损失函数对扇形卷积神经网络进行训练，能够训练优化出精度最高的图像匹配模型，作为目标模型。
本发明的实施例的损失函数为：
Figure 912588DEST_PATH_IMAGE031
Figure 896724DEST_PATH_IMAGE002
Figure 616419DEST_PATH_IMAGE003
其中，L代表损失函数，
Figure 395019DEST_PATH_IMAGE032
代表旋转描述子的长度，/>
Figure 200164DEST_PATH_IMAGE005
代表负样本的损失函数，gt代表旋转描述子在正确角度匹配的展开点序号，/>
Figure 987991DEST_PATH_IMAGE033
代表正样本的损失函数，/>
Figure 562192DEST_PATH_IMAGE034
代表/>
Figure 275808DEST_PATH_IMAGE035
的距离参数，/>
Figure 302670DEST_PATH_IMAGE036
代表/>
Figure 894188DEST_PATH_IMAGE037
的距离参数，/>
Figure 322895DEST_PATH_IMAGE038
代表正样本与参考样本在正确角度的相似度，/>
Figure 708877DEST_PATH_IMAGE039
代表参考样本和正样本在错误角度的相似度，/>
Figure 223035DEST_PATH_IMAGE040
代表负样本与参考样本特征点的相似度。
S200、在图像中提取特征点，并以特征点为中心在图像中提取正方形图像块集。
具体地，本发明能够对两张或两张以上的图片进行图像匹配，以两张图片的图像匹配为例对步骤S200进行说明，步骤S200包括以下步骤S210~S220。
S210、采用特征点检测方法提取特征点。
具体地，对旋转角度不同的图像通过角点检测算法进行特征提取，获得特征点；其中，本发明的实施例使用的特征点检测方法可以是Fast算法、sift算法、superpoint算法等。
S220、以特征点为中心，在图像中提取正方形图像块，形成正方形图像块集。
S300、将图像块集输入目标模型中，得到旋转描述子；其中，旋转描述子为可旋转重编码描述子。
具体地，步骤S300包括以下步骤S310~S320。
S310、通过扇形卷积核对图像块进行卷积，得到特征图；其中，图像块来源于图像块集。
具体地，步骤S310包括以下步骤S311~S316。
S311、确定扇形卷积核的夹角大小、扇形卷积核的半径大小、扇形卷积核的旋转步长、卷积开始位置。
具体地，参照图3，图3是本发明实施例提供的单个通道的扇形卷积层卷积过程图，以特征点O为圆心，确定扇形卷积核的夹角为
Figure 352665DEST_PATH_IMAGE041
，半径为h/2，旋转步长为/>
Figure 635879DEST_PATH_IMAGE042
，将卷积开始位置设定为零时刻位置。
S312、根据扇形卷积核的夹角大小、扇形卷积核的半径大小、扇形卷积核的旋转步长、卷积开始位置以特征点为中心进行旋转卷积。
具体地，根据扇形卷积核的夹角为
Figure 458341DEST_PATH_IMAGE043
，半径为h/2，旋转步长为/>
Figure 459796DEST_PATH_IMAGE044
，从卷积开始位置开始以特征点O为圆心按顺时针或逆时针进行旋转卷积。
S313、对扇形卷积核覆盖的像素进行加权求和，得到特征值。
具体地，对每次旋转过程中扇形卷积核覆盖到的像素进行加权求和，得到特征值。
S314、当旋转角度累积到360°，得到一个特征向量环。
具体地，当旋转角度累积达到360°时，得到一个特征向量环，本发明实施例的特征向量环参照图2所示。
S315、以卷积开始位置为向量首位进行展开，获得特征向量。
具体地，以卷积开始位置为向量首位进行展开，得到一个可重复编码的特征向量，该特征向量的长度为
Figure 861958DEST_PATH_IMAGE045
，该特征向量环能够显示对应图像块的特征。
S316、将特征向量输入激活函数，输出特征图。
具体地，将步骤S315得到的特征向量输入到tanh激活函数中，输出特征图，得到扇形卷积层的输出，本发明实施例的激活函数对特征向量处理的公式为：
Figure 265258DEST_PATH_IMAGE046
式中，
Figure 258621DEST_PATH_IMAGE047
是扇形卷积层输出的特征矩阵；/>
Figure 481792DEST_PATH_IMAGE048
是扇形卷积层的通道数；
Figure 720269DEST_PATH_IMAGE049
是激活函数；/>
Figure 978075DEST_PATH_IMAGE050
是/>
Figure 611182DEST_PATH_IMAGE051
个通道的扇形权重；k是单个通道扇形卷积核的权重数量；/>
Figure 587228DEST_PATH_IMAGE052
是所有被扇形卷积核被覆盖到的像素值集合。
本发明的实施例采用双线性插值法计算像素值，在扇形卷积核卷积过程中覆盖到非整数的坐标时也能够进行像素计算处理。
S320、将特征图进行循环填充，并将循环填充后的特征图输入一维卷积层进行卷积，得到可旋转重编码的旋转描述子。
具体地，参照图4，图4是本发明实施例提供的一维卷积层处理过程，将特征图进行循环填充的步骤如下S321~S322：
S321、在特征图的起始位置填充末尾特征值。
S322、在特征图的末尾位置填充起始特征值。
通过步骤S320的循环填充，能够保证特征图在输入到一维卷积层后仍然保持相同的维度，并且在卷积的过程中，特征图中的每个位置都能够与其相邻位置的特征值进行卷积，增强单个特征角度的信息表示能力。
循环填充后的特征图长度为
Figure 862351DEST_PATH_IMAGE053
，将循环填充后的特征图输入一维卷积层进行卷积，一维卷积层的输出结果为：
Figure 974664DEST_PATH_IMAGE054
其中，
Figure 309830DEST_PATH_IMAGE055
为激活函数，/>
Figure 507593DEST_PATH_IMAGE056
为第i层的一维卷积，
Figure 586408DEST_PATH_IMAGE057
为本发明实施例的循环填充函数，/>
Figure 553227DEST_PATH_IMAGE058
为第i层的一维卷积输出，
Figure 793715DEST_PATH_IMAGE059
。
当一维卷积层卷积结束，则得到可旋转重编码的旋转描述子D5。
在本发明的实施例中，以两张图片的匹配为例，将两张图片输入到本发明实施例的卷积神经网络中，能够得到对应两张图片的两组旋转描述子。
S400、对旋转描述子进行处理，完成图像的特征匹配。
具体地，步骤S400包括以下步骤S410~S430。
S410、确定一组旋转描述子为固定描述子组，对另一组旋转描述子中的每个描述子进行旋转重编码，得到全角度描述子组。
具体地，确定一组旋转描述子为固定描述子组，对另一组旋转描述子的每个描述子进行旋转重编码，得到全角度描述子组，其中，参照图5，图5是本发明实施例提供的旋转重编码示意图，全角度描述子表征的是该旋转描述子的特征向量环从不同位置进行展开所得到的描述子。
S420、计算全角度描述子组与固定描述子组的余弦相似度矩阵。
具体地，分别遍历全角度描述子组和固定描述子组，计算全角度描述子组中的每个描述子与固定描述子组中所有描述子的余弦相似度，并计算固定描述子组中的每个描述子与全角度描述子组中所有描述子的余弦相似度，即两组之间的两两描述子分别求解余弦相似度，得到全角度描述子组与固定描述子组的余弦相似度矩阵。
S430、对余弦相似度矩阵进行双向暴力匹配，得到两组特征点的匹配关系，完成图像特征匹配。
具体地，对余弦相似度矩阵进行双向暴力匹配，即逐行逐列遍历余弦相似度矩阵，得到每行每列的最大余弦相似度，当且仅当余弦相似度矩阵中的相似度在行和列均为最大值时，两个描述子取得互为最大余弦相似度值，此时这两个描述子则为双向匹配成功描述子对，根据余弦相似度矩阵中的双向匹配成功描述子对，得到两组特征点的匹配关系，完成图像特征匹配；其中，两组特征点分别对应输入的两张图像。
本发明的实施例还提供了一种电子设备，包括处理器以及存储器；所述存储器用于存储程序；所述处理器执行所述程序实现如上所述的方法。
本发明的实施例还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如上所述的方法。
本发明的实施例具有如下有益效果。
1、本发明的实施例通过构建扇形卷积神经网络，采用扇形卷积的方式，将图像特征的旋转信息显式地分块编码到特征向量中，实现了一种可重复编码重组的描述子方法，能够仅通过一次网络模型，且无需计算图像的方向信息，即可计算出正确角度下的匹配关系，实现任意旋转角度下的高精度、匹配能力强、复杂度低的图像对匹配。
2、本发明的实施例通过特征图的循环填充能够保证特征图在一维卷积过程中维度不减少，并且保证每个特征值都能够与其相邻位置的特征值进行卷积，能够增强单个特征角度的信息表示能力。
3、本发明的实施例通过步骤S130的损失函数，能够有效训练本发明卷积神经网络中的网络参数，保证了所得到的旋转描述子的辨别性能和正确角度的匹配性能，提升了描述子在旋转匹配上的精度和鲁棒性。
以下是本发明实施例提供的一个应用场景。
以两张图像的匹配为例，首先构建扇形卷积神经网络，根据损失函数对扇形卷积神经网络进行训练优化，获得目标模型；在上述两张图像中分别提取特征点，并以这两张图的特征点为中心在图像中提取正方形图像块集；将正方形图像块集输入目标模型中，得到对应两张图像的两组旋转描述子；其中，旋转描述子为可旋转重编码描述子；确定其中一组为固定描述子组，对另一组旋转描述子中的每个描述子进行旋转重编码，得到全角度描述子组，通过全角度描述子组与固定描述子组进行双向暴力匹配以及余弦相似度计算，得到特征点的匹配关系，根据匹配关系计算图像的旋转以及平移关系，完成图像的特征匹配。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置）、便携式计算机盘盒（磁装置）、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编辑只读存储器（EPROM或闪速存储器）、光纤装置以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。需要说明的是，本发明实施例中的步骤以及步骤序号仅仅是为了方便描述本发明，并不用于作步骤顺序的限定。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。

Claims (9)

1.基于扇形卷积神经网络的图像特征匹配方法，其特征在于，包括：
构建扇形卷积神经网络，根据损失函数对所述扇形卷积神经网络进行训练优化，获得目标模型；其中，所述扇形卷积神经网络具有扇形卷积层和一维卷积层；
在图像中提取特征点，并以所述特征点为中心在所述图像中提取正方形图像块集；
将所述正方形图像块集输入所述目标模型中，得到旋转描述子；其中，所述旋转描述子为可旋转重编码描述子；
对所述旋转描述子进行旋转重编码和特征匹配处理，完成图像的特征匹配；
其中，所述将所述正方形图像块集输入所述目标模型中，得到旋转描述子，包括：通过扇形卷积核对图像块进行卷积，得到特征图；其中，所述图像块来源于所述正方形图像块集；
对所述特征图进行循环填充，并将循环填充后的所述特征图输入一维卷积层进行卷积，得到可旋转重编码的旋转描述子。
2.根据权利要求1所述的基于扇形卷积神经网络的图像特征匹配方法，其特征在于，所述构建扇形卷积神经网络，根据损失函数对所述卷积神经网络进行训练优化，获得目标模型，包括：
构建一层扇形卷积层，并构建五层一维卷积层；
根据所述扇形卷积层以及所述一维卷积层构建扇形卷积神经网络；
通过损失函数对所述扇形卷积神经网络进行训练，获得目标模型。
3.根据权利要求2所述的基于扇形卷积神经网络的图像特征匹配方法，其特征在于，所述通过损失函数对所述扇形卷积神经网络进行训练，所述损失函数为：
Figure 728041DEST_PATH_IMAGE001
Figure 563142DEST_PATH_IMAGE002
Figure 572686DEST_PATH_IMAGE003
其中，L代表损失函数，
Figure 950578DEST_PATH_IMAGE004
代表旋转描述子的长度，
Figure 637475DEST_PATH_IMAGE005
代表负样本的损失函数，gt代表所述旋转描述子在正确角度匹配的展开点序号，
Figure 835238DEST_PATH_IMAGE006
代表正样本的损失函数，
Figure 648473DEST_PATH_IMAGE007
代表
Figure 5505DEST_PATH_IMAGE008
的距离参数，
Figure 511573DEST_PATH_IMAGE009
代表
Figure 196632DEST_PATH_IMAGE010
的距离参数，
Figure 813558DEST_PATH_IMAGE011
代表正样本与参考样本在正确角度的相似度，
Figure 25097DEST_PATH_IMAGE012
代表参考样本和正样本在错误角度的相似度，
Figure 702066DEST_PATH_IMAGE013
代表负样本与参考样本特征点的相似度。
4.根据权利要求1所述的基于扇形卷积神经网络的图像特征匹配方法，其特征在于，所述在图像中提取特征点，并以所述特征点为中心在所述图像中提取正方形图像块集，包括：
采用特征点检测方法提取特征点；
以所述特征点为中心，在图像中提取正方形图像块，形成正方形图像块集。
5.根据权利要求1所述的基于扇形卷积神经网络的图像特征匹配方法，其特征在于，所述通过扇形卷积核对图像块进行卷积，得到特征图，包括：
确定扇形卷积核的夹角大小、扇形卷积核的半径大小、扇形卷积核的旋转步长、卷积开始位置；
根据所述扇形卷积核的夹角大小、所述扇形卷积核的半径大小、所述扇形卷积核的旋转步长、所述卷积开始位置以特征点为中心进行旋转卷积；
对扇形卷积核覆盖的像素进行加权求和，得到特征值；
当旋转角度累积到360°，得到一个特征向量环；
以所述卷积开始位置为向量首位进行展开，获得特征向量；
将所述特征向量输入激活函数，输出特征图。
6.根据权利要求1所述的基于扇形卷积神经网络的图像特征匹配方法，其特征在于，所述对所述特征图进行循环填充，包括：
在特征图的起始位置填充末尾特征值；
在特征图的末尾位置填充起始特征值。
7.根据权利要求1所述的基于扇形卷积神经网络的图像特征匹配方法，其特征在于，所述对所述旋转描述子进行旋转重编码和特征匹配处理，完成图像的特征匹配，包括：
确定一组所述旋转描述子为固定描述子组，对另一组所述旋转描述子中的每个描述子进行旋转重编码，得到全角度描述子组；
计算所述全角度描述子组与所述固定描述子组的余弦相似度矩阵；
对所述余弦相似度矩阵进行双向暴力匹配，得到所述特征点的匹配关系，完成图像特征匹配。
8.一种电子设备，其特征在于，包括处理器以及存储器；所述存储器用于存储程序；所述处理器执行所述程序实现如权利要求1至7中任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1至7中任一项所述的方法。
CN202211401655.0A 2022-11-10 2022-11-10 基于扇形卷积神经网络的图像特征匹配方法 Active CN115439673B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211401655.0A CN115439673B (zh) 2022-11-10 2022-11-10 基于扇形卷积神经网络的图像特征匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211401655.0A CN115439673B (zh) 2022-11-10 2022-11-10 基于扇形卷积神经网络的图像特征匹配方法

Publications (2)

Publication Number Publication Date
CN115439673A CN115439673A (zh) 2022-12-06
CN115439673B true CN115439673B (zh) 2023-03-24

Family

ID=84252277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211401655.0A Active CN115439673B (zh) 2022-11-10 2022-11-10 基于扇形卷积神经网络的图像特征匹配方法

Country Status (1)

Country Link
CN (1) CN115439673B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018036146A1 (zh) * 2016-08-26 2018-03-01 东方网力科技股份有限公司 基于卷积神经网络的目标匹配方法、装置及存储介质
CN109934857A (zh) * 2019-03-04 2019-06-25 大连理工大学 一种基于卷积神经网络与orb特征的回环检测方法
CN110490301A (zh) * 2019-04-25 2019-11-22 中国科学院自动化研究所南京人工智能芯片创新研究院 基于卷积神经网络的线特征描述方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170243084A1 (en) * 2015-11-06 2017-08-24 The Regents Of The University Of California Dsp-sift: domain-size pooling for image descriptors for image matching and other applications
US10997746B2 (en) * 2018-04-12 2021-05-04 Honda Motor Co., Ltd. Feature descriptor matching
CN112016454A (zh) * 2020-08-27 2020-12-01 云南翼飞视科技有限公司 一种人脸对齐的检测方法
CN113160316B (zh) * 2021-04-25 2023-01-06 华南理工大学 非刚体三维形状的扇形卷积特征提取方法与系统
CN114067100A (zh) * 2021-10-29 2022-02-18 厦门大学 一种在困难条件下检测子和描述符同时生成的特征点匹配方法
CN114119987A (zh) * 2021-11-19 2022-03-01 云南电网有限责任公司电力科学研究院 基于卷积神经网络的特征提取和描述子生成方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018036146A1 (zh) * 2016-08-26 2018-03-01 东方网力科技股份有限公司 基于卷积神经网络的目标匹配方法、装置及存储介质
CN109934857A (zh) * 2019-03-04 2019-06-25 大连理工大学 一种基于卷积神经网络与orb特征的回环检测方法
CN110490301A (zh) * 2019-04-25 2019-11-22 中国科学院自动化研究所南京人工智能芯片创新研究院 基于卷积神经网络的线特征描述方法

Also Published As

Publication number Publication date
CN115439673A (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
CN110135366B (zh) 基于多尺度生成对抗网络的遮挡行人重识别方法
Chen et al. Fsrnet: End-to-end learning face super-resolution with facial priors
Coors et al. Spherenet: Learning spherical representations for detection and classification in omnidirectional images
Kulhánek et al. Viewformer: Nerf-free neural rendering from few images using transformers
CN110060276B (zh) 对象追踪方法、追踪处理方法、相应的装置、电子设备
Barroso-Laguna et al. Key. net: Keypoint detection by handcrafted and learned cnn filters revisited
CN107329962B (zh) 图像检索数据库生成方法、增强现实的方法及装置
Ma et al. Ppt: token-pruned pose transformer for monocular and multi-view human pose estimation
CN113869282B (zh) 人脸识别方法、超分模型训练方法及相关设备
CN111553936B (zh) 一种点云配准方法、系统、装置和存储介质
CN112163990B (zh) 360度图像的显著性预测方法及系统
CN111582220B (zh) 一种基于移位图卷积神经网络骨骼点行为识别系统及其识别方法
CN115019181B (zh) 遥感图像旋转目标检测方法、电子设备及存储介质
Yu et al. Unbiased multi-modality guidance for image inpainting
US20220335666A1 (en) Method and apparatus for point cloud data processing, electronic device and computer storage medium
Peri et al. ReF--Rotation Equivariant Features for Local Feature Matching
CN115439673B (zh) 基于扇形卷积神经网络的图像特征匹配方法
CN115630660B (zh) 基于卷积神经网络的条码定位方法和装置
EP2080168A1 (en) Object tracking in computer vision
TWI803243B (zh) 圖像擴增方法、電腦設備及儲存介質
CN115564639A (zh) 背景虚化方法、装置、计算机设备和存储介质
CN107622498A (zh) 基于场景分割的图像穿越处理方法、装置及计算设备
Clark et al. Perspective correction for improved visual registration using natural features.
Ruiqiang et al. Improved object detection using data enhancement method based on generative adversarial nets
Slimani et al. RoCNet++: Triangle-based descriptor for accurate and robust point cloud registration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant