CN115439673A - 基于扇形卷积神经网络的图像特征匹配方法 - Google Patents
基于扇形卷积神经网络的图像特征匹配方法 Download PDFInfo
- Publication number
- CN115439673A CN115439673A CN202211401655.0A CN202211401655A CN115439673A CN 115439673 A CN115439673 A CN 115439673A CN 202211401655 A CN202211401655 A CN 202211401655A CN 115439673 A CN115439673 A CN 115439673A
- Authority
- CN
- China
- Prior art keywords
- image
- neural network
- descriptor
- feature
- fan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于扇形卷积神经网络的图像特征匹配方法,通过构建扇形卷积神经网络,根据损失函数对扇形卷积神经网络进行训练优化,获得目标模型,使得本发明的实施例具有较强的泛化能力和鲁棒性;通过在图像中提取特征点,并以特征点为中心在图像中提取正方形图像块集;将图像块集输入扇形卷积神经网络中,得到旋转描述子;其中,旋转描述子是可旋转重编码描述子;对旋转描述子进行处理,能够在图像任意旋转变化的情况下,完成图像的高精度特征匹配。本发明的实施例可广泛应用于计算机图像处理技术领域。
Description
技术领域
本发明涉及计算机图像处理技术领域,尤其是基于扇形卷积神经网络的图像特征匹配方法。
背景技术
图像特征检测与匹配时图像处理的核心领域之一,应用广泛。在非平面的场景中,图像通常存在着旋转、视角和光照的变化,这些变化导致外观发生显著变换。现有大多数算法是依赖于局部图像特征描述子来实现图像之间的匹配,而局部图像特征描述子的核心问题是不变性和可区分性,传统的图像特征匹配方案在处理旋转问题的时候,都是基于集合特征或者梯度特征的手工检测算法,这些算法有着可解释的数学理论基础,也能够具有旋转不变性。但传统手工算法是基于某种固定的前提假设,是对现实世界的简化和抽象,其在鲁棒性和泛化能力方面存在不足。
随着卷积神经网络的出现,特征提取的泛化和对海量数据的支持极大地提高了局部特征的描述能力,但现有的卷积神经网络算法由于没有在旋转不变性上的独立优化,而是通过数据增强和网络加深的方法学习旋转不变性,其所得出的描述子无法具有处理存在着较大的角度差的旋转图片的匹配的显著效果。此外,由于网络的加深导致其计算复杂度增大,应用设备要求更为严格。
发明内容
有鉴于此,本发明实施例提供了一种高精度、匹配能力强、复杂度低的基于扇形卷积神经网络的图像特征匹配方法。
本发明的实施例提供了基于扇形卷积神经网络的图像特征匹配方法,包括:构建扇形卷积神经网络,根据损失函数对所述扇形卷积神经网络进行训练优化,获得目标模型;在图像中提取特征点,并以所述特征点为中心在所述图像中提取正方形图像块集;将所述正方形图像块集输入所述目标模型中,得到旋转描述子;其中,所述旋转描述子为可旋转重编码描述子;对所述旋转描述子进行处理,完成图像的特征匹配。
可选地,所述构建扇形卷积神经网络,根据损失函数对所述卷积神经网络进行训练优化,获得目标模型,包括:构建一层扇形卷积层,并构建五层一维卷积层;根据所述扇形卷积层以及所述一维卷积层构建扇形卷积神经网络;通过损失函数对所述扇形卷积神经网络进行训练,获得目标模型。
可选地,所述通过损失函数对所述扇形卷积神经网络进行训练,所述损失函数为:
其中,L代表损失函数,代表旋转描述子的长度,代表负样本的损失函数,gt代表所述旋转描述子在正确角度匹配的展开点序号,代表正样本的损失函数,代表的距离参数,代表的距离参数,代表正样本与参考样本在正确角度的相似度,代表参考样本和正样本在错误角度的相似度,代表负样本与参考样本特征点的相似度。
可选地,所述在图像中提取特征点,并以所述特征点为中心在所述图像中提取正方形图像块集,包括:采用特征点检测方法提取特征点;以所述特征点为中心,在图像中提取正方形图像块,形成正方形图像块集。
可选地,所述将所述正方形图像块集输入所述目标模型中,得到旋转描述子,包括:通过扇形卷积核对图像块进行卷积,得到特征图;其中,所述图像块来源于所述正方形图像块集;对所述特征图进行循环填充,并将循环填充后的所述特征图输入一维卷积层进行卷积,得到可旋转重编码的旋转描述子。
可选地,所述通过扇形卷积核对图像块进行卷积,得到特征图,包括:确定扇形卷积核的夹角大小、扇形卷积核的半径大小、扇形卷积核的旋转步长、卷积开始位置;根据所述扇形卷积核的夹角大小、所述扇形卷积核的半径大小、所述扇形卷积核的旋转步长、所述卷积开始位置以特征点为中心进行旋转卷积;对扇形卷积核覆盖的像素进行加权求和,得到特征值;当旋转角度累积到360°,得到一个特征向量环;以所述卷积开始位置为向量首位进行展开,获得特征向量;将所述特征向量输入激活函数,输出特征图。
可选地,所述对所述特征图进行循环填充,包括:在特征图的起始位置填充末尾特征值;在特征图的末尾位置填充起始特征值。
可选地,所述对所述旋转描述子进行处理,完成图像的特征匹配,包括:确定一组所述旋转描述子为固定描述子组,对另一组所述旋转描述子中的每个描述子进行旋转重编码,得到全角度描述子组;计算所述全角度描述子组与所述固定描述子组余弦相似度矩阵;对所述余弦相似度矩阵进行双向暴力匹配,得到所述特征点的匹配关系,完成图像特征匹配。
本发明的实施例还提供了一种电子设备,包括处理器以及存储器;所述存储器用于存储程序;所述处理器执行所述程序实现如上所述的方法。
本发明的实施例还提供了一种计算机可读存储介质,所述存储介质存储有程序,所述程序被处理器执行实现如上所述的方法。
本发明实施例具有如下有益效果:通过构建扇形卷积神经网络,根据损失函数对扇形卷积神经网络进行训练优化,获得目标模型,使得本发明的实施例具有较强的泛化能力和鲁棒性;通过在图像中提取特征点,并以特征点为中心在图像中提取正方形图像块集;将图像块集输入扇形卷积神经网络中,得到旋转描述子;其中,旋转描述子是可旋转重编码描述子;对旋转描述子进行处理,能够在图像任意旋转变化的情况下,完成图像的高精度特征匹配。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面对实施例描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本林谷普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1是本发明实施例提供的图像特征匹配方法流程图;
图2是本发明实施例提供的图像特征匹配方法直观示意图;
图3是本发明实施例提供的单个通道扇形卷积层卷积过程图;
图4是本发明实施例提供的一维卷积层的处理过程图;
图5是本发明实施例提供的旋转重编码示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术中卷积神经网络算法针对旋转图像的匹配计算复杂度大、精度低、匹配能力不足等问题,本发明实施例提供了一种基于扇形卷积神经网络的特征图像匹配方法,以扇形卷积核为核心构建扇形卷积神经网络,先通过扇形卷积层的扇形卷积核旋转提取出图像块在每个固定角度下的扇形特征,得到一个特征向量环并展开成一维向量,通过一维卷积层对每个角度的特征进行聚合,输出一个可全角度编码的描述子,能够实现任意角度的描述子重编码匹配,从而达到任意角度差图像对匹配的目的。参照图1和图2,图1是本发明实施例提供的图像特征匹配方法流程图,图2是本发明实施例提供的图像特征匹配方法直观示意图,本发明的实施例包括以下步骤S100~S400。
S100、构建扇形卷积神经网络,根据损失函数对扇形卷积神经网络进行训练优化,获得目标模型。
具体地,步骤S100包括以下步骤S110~S130。
S110、构建一层扇形卷积层,并构建五层一维卷积层。
具体地,参照图2,图2中h为输入的图像块的边长,Ns为扇形卷积核的通道数,N1,N2,…,Nn是一维卷积核的通道数,n是一维卷积层的层数,l是描述子长度;在本发明实施例的扇形卷积神经网络中包含6层卷积层,其中第一层为扇形卷积层,其余5层为一维卷积层,通道数为128-128-256-256-128-64。
S120、根据扇形卷积层以及一维卷积层构建扇形卷积神经网络。
S130、通过损失函数对扇形卷积神经网络进行训练,获得目标模型。
具体地,在模型训练过程中,输入参考样本Pr、正样本Pp、负样本Pn三个图像块,设定输出分别为参考样本描述子Dr、正样本描述子Dp、负样本描述子Dn。固定Dr,对Dp进行一次旋转重编码,得到,对Dn进行一次旋转重编码,得到,并计算Dr和Dn相对于参考样本Dr的余弦相似度,计算公式为:
通过余弦相似度的计算,能够得到参考样本与正样本特征点的相似度以及参考样本与负样本特征点的相似度,其中,只有是正确位置的特征点在正确角度上旋转重编码的相似度,需要说明的是,gt为正样本描述子Dp与参考样本描述子Dr在正确角度上匹配的展开点序号。
基于以上训练需要,本发明的实施例通过损失函数对扇形卷积神经网络进行训练,能够训练优化出精度最高的图像匹配模型,作为目标模型。
本发明的实施例的损失函数为:
其中,L代表损失函数,代表旋转描述子的长度,代表负样本的损失函数,gt代表旋转描述子在正确角度匹配的展开点序号,代表正样本的损失函数,代表的距离参数,代表的距离参数,代表正样本与参考样本在正确角度的相似度,代表参考样本和正样本在错误角度的相似度,代表负样本与参考样本特征点的相似度。
S200、在图像中提取特征点,并以特征点为中心在图像中提取正方形图像块集。
具体地,本发明能够对两张或两张以上的图片进行图像匹配,以两张图片的图像匹配为例对步骤S200进行说明,步骤S200包括以下步骤S210~S220。
S210、采用特征点检测方法提取特征点。
具体地,对旋转角度不同的图像通过角点检测算法进行特征提取,获得特征点;其中,本发明的实施例使用的特征点检测方法可以是Fast算法、sift算法、superpoint算法等。
S220、以特征点为中心,在图像中提取正方形图像块,形成正方形图像块集。
S300、将图像块集输入目标模型中,得到旋转描述子;其中,旋转描述子为可旋转重编码描述子。
具体地,步骤S300包括以下步骤S310~S320。
S310、通过扇形卷积核对图像块进行卷积,得到特征图;其中,图像块来源于图像块集。
具体地,步骤S310包括以下步骤S311~S316。
S311、确定扇形卷积核的夹角大小、扇形卷积核的半径大小、扇形卷积核的旋转步长、卷积开始位置。
S312、根据扇形卷积核的夹角大小、扇形卷积核的半径大小、扇形卷积核的旋转步长、卷积开始位置以特征点为中心进行旋转卷积。
S313、对扇形卷积核覆盖的像素进行加权求和,得到特征值。
具体地,对每次旋转过程中扇形卷积核覆盖到的像素进行加权求和,得到特征值。
S314、当旋转角度累积到360°,得到一个特征向量环。
具体地,当旋转角度累积达到360°时,得到一个特征向量环,本发明实施例的特征向量环参照图2所示。
S315、以卷积开始位置为向量首位进行展开,获得特征向量。
S316、将特征向量输入激活函数,输出特征图。
具体地,将步骤S315得到的特征向量输入到tanh激活函数中,输出特征图,得到扇形卷积层的输出,本发明实施例的激活函数对特征向量处理的公式为:
本发明的实施例采用双线性插值法计算像素值,在扇形卷积核卷积过程中覆盖到非整数的坐标时也能够进行像素计算处理。
S320、将特征图进行循环填充,并将循环填充后的特征图输入一维卷积层进行卷积,得到可旋转重编码的旋转描述子。
具体地,参照图4,图4是本发明实施例提供的一维卷积层处理过程,将特征图进行循环填充的步骤如下S321~S322:
S321、在特征图的起始位置填充末尾特征值。
S322、在特征图的末尾位置填充起始特征值。
通过步骤S320的循环填充,能够保证特征图在输入到一维卷积层后仍然保持相同的维度,并且在卷积的过程中,特征图中的每个位置都能够与其相邻位置的特征值进行卷积,增强单个特征角度的信息表示能力。
当一维卷积层卷积结束,则得到可旋转重编码的旋转描述子D5。
在本发明的实施例中,以两张图片的匹配为例,将两张图片输入到本发明实施例的卷积神经网络中,能够得到对应两张图片的两组旋转描述子。
S400、对旋转描述子进行处理,完成图像的特征匹配。
具体地,步骤S400包括以下步骤S410~S430。
S410、确定一组旋转描述子为固定描述子组,对另一组旋转描述子中的每个描述子进行旋转重编码,得到全角度描述子组。
具体地,确定一组旋转描述子为固定描述子组,对另一组旋转描述子的每个描述子进行旋转重编码,得到全角度描述子组,其中,参照图5,图5是本发明实施例提供的旋转重编码示意图,全角度描述子表征的是该旋转描述子的特征向量环从不同位置进行展开所得到的描述子。
S420、计算全角度描述子组与固定描述子组的余弦相似度矩阵。
具体地,分别遍历全角度描述子组和固定描述子组,计算全角度描述子组中的每个描述子与固定描述子组中所有描述子的余弦相似度,并计算固定描述子组中的每个描述子与全角度描述子组中所有描述子的余弦相似度,即两组之间的两两描述子分别求解余弦相似度,得到全角度描述子组与固定描述子组的余弦相似度矩阵。
S430、对余弦相似度矩阵进行双向暴力匹配,得到两组特征点的匹配关系,完成图像特征匹配。
具体地,对余弦相似度矩阵进行双向暴力匹配,即逐行逐列遍历余弦相似度矩阵,得到每行每列的最大余弦相似度,当且仅当余弦相似度矩阵中的相似度在行和列均为最大值时,两个描述子取得互为最大余弦相似度值,此时这两个描述子则为双向匹配成功描述子对,根据余弦相似度矩阵中的双向匹配成功描述子对,得到两组特征点的匹配关系,完成图像特征匹配;其中,两组特征点分别对应输入的两张图像。
本发明的实施例还提供了一种电子设备,包括处理器以及存储器;所述存储器用于存储程序;所述处理器执行所述程序实现如上所述的方法。
本发明的实施例还提供了一种计算机可读存储介质,所述存储介质存储有程序,所述程序被处理器执行实现如上所述的方法。
本发明的实施例具有如下有益效果。
1、本发明的实施例通过构建扇形卷积神经网络,采用扇形卷积的方式,将图像特征的旋转信息显式地分块编码到特征向量中,实现了一种可重复编码重组的描述子方法,能够仅通过一次网络模型,且无需计算图像的方向信息,即可计算出正确角度下的匹配关系,实现任意旋转角度下的高精度、匹配能力强、复杂度低的图像对匹配。
2、本发明的实施例通过特征图的循环填充能够保证特征图在一维卷积过程中维度不减少,并且保证每个特征值都能够与其相邻位置的特征值进行卷积,能够增强单个特征角度的信息表示能力。
3、本发明的实施例通过步骤S130的损失函数,能够有效训练本发明卷积神经网络中的网络参数,保证了所得到的旋转描述子的辨别性能和正确角度的匹配性能,提升了描述子在旋转匹配上的精度和鲁棒性。
以下是本发明实施例提供的一个应用场景。
以两张图像的匹配为例,首先构建扇形卷积神经网络,根据损失函数对扇形卷积神经网络进行训练优化,获得目标模型;在上述两张图像中分别提取特征点,并以这两张图的特征点为中心在图像中提取正方形图像块集;将正方形图像块集输入目标模型中,得到对应两张图像的两组旋转描述子;其中,旋转描述子为可旋转重编码描述子;确定其中一组为固定描述子组,对另一组旋转描述子中的每个描述子进行旋转重编码,得到全角度描述子组,通过全角度描述子组与固定描述子组进行双向暴力匹配以及余弦相似度计算,得到特征点的匹配关系,根据匹配关系计算图像的旋转以及平移关系,完成图像的特征匹配。
在一些可选择的实施例中,在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如,取决于所涉及的功能/操作,连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外,在本发明的流程图中所呈现和描述的实施例以示例的方式被提供,目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的,其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置)、便携式计算机盘盒(磁装置)、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编辑只读存储器(EPROM或闪速存储器)、光纤装置以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。需要说明的是,本发明实施例中的步骤以及步骤序号仅仅是为了方便描述本发明,并不用于作步骤顺序的限定。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明,但本发明并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换,这些等同的变形或替换均包含在本发明权利要求所限定的范围内。
Claims (10)
1.基于扇形卷积神经网络的图像特征匹配方法,其特征在于,包括:
构建扇形卷积神经网络,根据损失函数对所述扇形卷积神经网络进行训练优化,获得目标模型;
在图像中提取特征点,并以所述特征点为中心在所述图像中提取正方形图像块集;
将所述正方形图像块集输入所述目标模型中,得到旋转描述子;其中,所述旋转描述子为可旋转重编码描述子;
对所述旋转描述子进行处理,完成图像的特征匹配。
2.根据权利要求1所述的基于扇形卷积神经网络的图像特征匹配方法,其特征在于,所述构建扇形卷积神经网络,根据损失函数对所述卷积神经网络进行训练优化,获得目标模型,包括:
构建一层扇形卷积层,并构建五层一维卷积层;
根据所述扇形卷积层以及所述一维卷积层构建扇形卷积神经网络;
通过损失函数对所述扇形卷积神经网络进行训练,获得目标模型。
4.根据权利要求1所述的基于扇形卷积神经网络的图像特征匹配方法,其特征在于,所述在图像中提取特征点,并以所述特征点为中心在所述图像中提取正方形图像块集,包括:
采用特征点检测方法提取特征点;
以所述特征点为中心,在图像中提取正方形图像块,形成正方形图像块集。
5.根据权利要求1所述的基于扇形卷积神经网络的图像特征匹配方法,其特征在于,所述将所述正方形图像块集输入所述目标模型中,得到旋转描述子,包括:
通过扇形卷积核对图像块进行卷积,得到特征图;其中,所述图像块来源于所述正方形图像块集;
对所述特征图进行循环填充,并将循环填充后的所述特征图输入一维卷积层进行卷积,得到可旋转重编码的旋转描述子。
6.根据权利要求5所述的基于扇形卷积神经网络的图像特征匹配方法,其特征在于,所述通过扇形卷积核对图像块进行卷积,得到特征图,包括:
确定扇形卷积核的夹角大小、扇形卷积核的半径大小、扇形卷积核的旋转步长、卷积开始位置;
根据所述扇形卷积核的夹角大小、所述扇形卷积核的半径大小、所述扇形卷积核的旋转步长、所述卷积开始位置以特征点为中心进行旋转卷积;
对扇形卷积核覆盖的像素进行加权求和,得到特征值;
当旋转角度累积到360°,得到一个特征向量环;
以所述卷积开始位置为向量首位进行展开,获得特征向量;
将所述特征向量输入激活函数,输出特征图。
7.根据权利要求5所述的基于扇形卷积神经网络的图像特征匹配方法,其特征在于,所述对所述特征图进行循环填充,包括:
在特征图的起始位置填充末尾特征值;
在特征图的末尾位置填充起始特征值。
8.根据权利要求1所述的基于扇形卷积神经网络的图像特征匹配方法,其特征在于,所述对所述旋转描述子进行处理,完成图像的特征匹配,包括:
确定一组所述旋转描述子为固定描述子组,对另一组所述旋转描述子中的每个描述子进行旋转重编码,得到全角度描述子组;
计算所述全角度描述子组与所述固定描述子组的余弦相似度矩阵;
对所述余弦相似度矩阵进行双向暴力匹配,得到所述特征点的匹配关系,完成图像特征匹配。
9.一种电子设备,其特征在于,包括处理器以及存储器;所述存储器用于存储程序;所述处理器执行所述程序实现如权利要求1至8中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质存储有程序,所述程序被处理器执行实现如权利要求1至8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211401655.0A CN115439673B (zh) | 2022-11-10 | 2022-11-10 | 基于扇形卷积神经网络的图像特征匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211401655.0A CN115439673B (zh) | 2022-11-10 | 2022-11-10 | 基于扇形卷积神经网络的图像特征匹配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115439673A true CN115439673A (zh) | 2022-12-06 |
CN115439673B CN115439673B (zh) | 2023-03-24 |
Family
ID=84252277
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211401655.0A Active CN115439673B (zh) | 2022-11-10 | 2022-11-10 | 基于扇形卷积神经网络的图像特征匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115439673B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170243084A1 (en) * | 2015-11-06 | 2017-08-24 | The Regents Of The University Of California | Dsp-sift: domain-size pooling for image descriptors for image matching and other applications |
WO2018036146A1 (zh) * | 2016-08-26 | 2018-03-01 | 东方网力科技股份有限公司 | 基于卷积神经网络的目标匹配方法、装置及存储介质 |
CN109934857A (zh) * | 2019-03-04 | 2019-06-25 | 大连理工大学 | 一种基于卷积神经网络与orb特征的回环检测方法 |
US20190318502A1 (en) * | 2018-04-12 | 2019-10-17 | Honda Motor Co., Ltd. | Feature descriptor matching |
CN110490301A (zh) * | 2019-04-25 | 2019-11-22 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 基于卷积神经网络的线特征描述方法 |
CN112016454A (zh) * | 2020-08-27 | 2020-12-01 | 云南翼飞视科技有限公司 | 一种人脸对齐的检测方法 |
CN113160316A (zh) * | 2021-04-25 | 2021-07-23 | 华南理工大学 | 非刚体三维形状的扇形卷积特征提取方法与系统 |
CN114067100A (zh) * | 2021-10-29 | 2022-02-18 | 厦门大学 | 一种在困难条件下检测子和描述符同时生成的特征点匹配方法 |
CN114119987A (zh) * | 2021-11-19 | 2022-03-01 | 云南电网有限责任公司电力科学研究院 | 基于卷积神经网络的特征提取和描述子生成方法及系统 |
-
2022
- 2022-11-10 CN CN202211401655.0A patent/CN115439673B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170243084A1 (en) * | 2015-11-06 | 2017-08-24 | The Regents Of The University Of California | Dsp-sift: domain-size pooling for image descriptors for image matching and other applications |
WO2018036146A1 (zh) * | 2016-08-26 | 2018-03-01 | 东方网力科技股份有限公司 | 基于卷积神经网络的目标匹配方法、装置及存储介质 |
US20190318502A1 (en) * | 2018-04-12 | 2019-10-17 | Honda Motor Co., Ltd. | Feature descriptor matching |
CN109934857A (zh) * | 2019-03-04 | 2019-06-25 | 大连理工大学 | 一种基于卷积神经网络与orb特征的回环检测方法 |
CN110490301A (zh) * | 2019-04-25 | 2019-11-22 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 基于卷积神经网络的线特征描述方法 |
CN112016454A (zh) * | 2020-08-27 | 2020-12-01 | 云南翼飞视科技有限公司 | 一种人脸对齐的检测方法 |
CN113160316A (zh) * | 2021-04-25 | 2021-07-23 | 华南理工大学 | 非刚体三维形状的扇形卷积特征提取方法与系统 |
CN114067100A (zh) * | 2021-10-29 | 2022-02-18 | 厦门大学 | 一种在困难条件下检测子和描述符同时生成的特征点匹配方法 |
CN114119987A (zh) * | 2021-11-19 | 2022-03-01 | 云南电网有限责任公司电力科学研究院 | 基于卷积神经网络的特征提取和描述子生成方法及系统 |
Non-Patent Citations (3)
Title |
---|
KWANG MOO YI 等: "LIFT: Learned Invariant Feature Transform", 《ECCV 2016, PART VI, LNCS 9910》 * |
LIN CHEN 等: "DEEP LEARNING BASED FEATURE MATCHING AND ITS APPLICATION IN IMAGE ORIENTATION", 《ISPRS ANNALS OF THE PHOTOGRAMMETRY, REMOTE SENSING AND SPATIAL INFORMATION SCIENCES》 * |
徐德刚等: "基于扇形邻域差异直方图的匣钵裂纹检测", 《光学学报》 * |
Also Published As
Publication number | Publication date |
---|---|
CN115439673B (zh) | 2023-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Coors et al. | Spherenet: Learning spherical representations for detection and classification in omnidirectional images | |
Gondal et al. | The unreasonable effectiveness of texture transfer for single image super-resolution | |
Kulhánek et al. | Viewformer: Nerf-free neural rendering from few images using transformers | |
Shen et al. | PanoFormer: Panorama transformer for indoor 360∘ depth estimation | |
CN110766025B (zh) | 绘本识别方法、装置、系统及存储介质 | |
CN112163990B (zh) | 360度图像的显著性预测方法及系统 | |
CN111046771A (zh) | 用于恢复书写轨迹的网络模型的训练方法 | |
CN115019181B (zh) | 遥感图像旋转目标检测方法、电子设备及存储介质 | |
CN113869282A (zh) | 人脸识别方法、超分模型训练方法及相关设备 | |
CN111028302B (zh) | 一种基于深度学习的压缩对象成像方法及系统 | |
AU2009347563A1 (en) | Detection of objects represented in images | |
Liu et al. | Learning to match ground camera image and uav 3-d model-rendered image based on siamese network with attention mechanism | |
CN115439673B (zh) | 基于扇形卷积神经网络的图像特征匹配方法 | |
CN115760641B (zh) | 基于多尺度特征注意力网络的遥感影像去云雾方法和设备 | |
CN116934591A (zh) | 多尺度特征提取的图像拼接方法、装置、设备及存储介质 | |
CN114998630B (zh) | 一种从粗到精的地对空图像配准方法 | |
CN115564639A (zh) | 背景虚化方法、装置、计算机设备和存储介质 | |
CN115205112A (zh) | 一种真实复杂场景图像超分辨率的模型训练方法及装置 | |
CN114841870A (zh) | 图像处理方法、相关装置和系统 | |
Li et al. | Learn to model blurry motion via directional similarity and filtering | |
CN115063459B (zh) | 点云配准方法及装置、全景点云融合方法及系统 | |
CN117853664B (zh) | 基于双分支特征融合三维人脸重建方法 | |
CN116311077B (zh) | 一种基于显著性图的多光谱融合的行人检测方法及装置 | |
Vasilyev et al. | Classification via compressed latent space | |
US20240161362A1 (en) | Target-augmented material maps |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |