CN116433770A - 一种定位方法、定位装置及存储介质 - Google Patents
一种定位方法、定位装置及存储介质 Download PDFInfo
- Publication number
- CN116433770A CN116433770A CN202310475470.2A CN202310475470A CN116433770A CN 116433770 A CN116433770 A CN 116433770A CN 202310475470 A CN202310475470 A CN 202310475470A CN 116433770 A CN116433770 A CN 116433770A
- Authority
- CN
- China
- Prior art keywords
- image
- input image
- intermediate frequency
- feature
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 65
- 239000011159 matrix material Substances 0.000 claims description 48
- 238000013527 convolutional neural network Methods 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 19
- 230000004913 activation Effects 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 abstract description 19
- 230000008859 change Effects 0.000 abstract description 7
- 230000000875 corresponding effect Effects 0.000 description 66
- 230000006870 function Effects 0.000 description 36
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003746 feather Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种定位方法、定位装置及存储介质,所述方法包括以下步骤:获取目标当前所在环境的图像作为输入图像;根据输入图像的中频信息,生成输入图像对应的中频特征图像;将输入图像与中频特征图像进行特征融合,获得输入图像的增强图像特征;将输入图像的增强图像特征与对应于预设位置信息的预设环境图像的图像特征进行匹配;根据匹配结果,获取对应的预设位置信息对目标进行定位。本申请技术方案,采用基于中频信息增强的图像特征进行特征匹配,可以减少环境外观变化对特征匹配结果的影响,提高目标定位的准确性。
Description
技术领域
本申请涉及定位技术领域,具体涉及一种定位方法、定位装置及存储介质。
背景技术
视觉定位技术使用环境图像作为输入,查询数据库中与之匹配的图像,进而使用匹配到的图像的地理信息作为目标当前的地理信息,实现对目标的定位。然而,目标当前所处的环境可能存在季节、光照、天气等外观变化,使得当前获取的环境图像与数据库保存的图像存在很大差异,从而影响当前环境图像在数据库中进行匹配的结果,降低了目标定位的准确性。
发明内容
针对上述技术问题,本申请提供一种定位方法、定位装置及存储介质,通过采用基于中频信息增强的图像特征进行特征匹配,可以减少环境外观变化对特征匹配结果的影响,提高目标定位的准确性。
为解决上述技术问题,本申请提供一种定位方法,所述方法包括以下步骤:
获取目标当前所在环境的图像作为输入图像;
根据所述输入图像的中频信息,生成所述输入图像对应的中频特征图像;
将所述输入图像与所述中频特征图像进行特征融合,获得所述输入图像的增强图像特征;
将所述输入图像的增强图像特征与对应于预设位置信息的预设环境图像的图像特征进行匹配;
根据匹配结果,获取对应的预设位置信息对所述目标进行定位。
可选地,所述根据所述输入图像的中频信息,生成所述输入图像对应的中频特征图像,包括:
对所述输入域图像进行从空间域到频率域的DCT变换,以获取DCT系数矩阵;
根据所述DCT系数矩阵确定所述输入图像的中频信息在频率域中的上边界与下边界;
根据所述上边界、所述下边界、对应于所述上边界的掩膜尺寸基准参数及对应于所述下边界的掩膜尺寸基准参数,确定掩膜的范围;
根据所述掩膜的范围,生成用于将所述输入图像的中频信息所在的区域作为兴趣区的掩膜矩阵;
使用所述掩膜矩阵进行逆DCT变换,得到所述输入图像对应的中频特征图像。
可选地,所述根据所述DCT系数矩阵确定所述输入图像的中频信息在频率域中的上边界与下边界,包括:
将所述DCT系数矩阵展开成向量并按顺序排列,所述向量为:
h=sort(flatten(D(u,v))),
其中,D(u,v)为所述DCT系数矩阵;u和v分别表示频率域中的横向坐标和纵向坐标,u的取值范围为[0,M-1],v的取值范围为[0,N-1],M和N分别是所述输入图像的高度和宽度;
构造集合:
其中,i和j分别表示所述DCT系数矩阵的i行和j列;l(t)为所述向量中第t个元素在所述DCT系数矩阵中对应的位置与D(0,0)之间的距离;h(t)为向量的第t个元素的值,t∈[1,n],n为向量的长度;
可选地,所述方法,还包括:
计算所述集合的标准差;
所述根据所述上边界、所述下边界、对应于所述上边界的掩膜尺寸基准参数及对应于所述下边界的掩膜尺寸基准参数,确定掩膜的范围,包括:
根据所述上边界、所述下边界、所述标准差及对应于所述上边界的掩膜尺寸基准参数及对应于所述下边界的掩膜尺寸基准参数,确定掩膜的内径和外径,以得到掩膜的范围;
其中,所述内径为r=(α-c)*θ+ub,所述外径为R=(β-c)*θ+lb,其中,α为对应于所述上边界的掩膜尺寸基准参数,β为对应于所述上边界的掩膜尺寸基准参数,c为调节常数,c的取值大于0且小于或等于1,θ为标准差,ub为上边界,lb为下边界。
可选地,所述方法,还包括:
通过卷积神经网络对所述输入图像进行处理,得到第一特征向量;
将所述第一特征向量输入第一全连接层中进行线性变换,并经过第一激活函数进行非线性变换,得到第二特征向量;
将所述第二特征向量输入第二全连接层中进行线性变换,得到输出向量,所述输出向量∈R2;
通过第二激活函数对所述输出向量进行非线性变换,将所述输出向量映射到区间(0,1)中,得到对应于所述上边界的掩膜尺寸基准参数及对应于所述下边界的掩膜尺寸基准参数。
可选地,所述将所述输入图像与所述中频特征图像进行特征融合,获得所述输入图像的增强图像特征,包括:
将所述输入图像和所述中频特征图像输入卷积神经网络中,得到所述输入图像的第一卷积特征与所述中频特征图像的第二卷积特征;
将所述第一卷积特征与所述第二卷积特征进行拼接,得到第三特征向量;
将所述第三特征向量输入全连接神经网络,得到所述输入图像的增强图像特征。
可选地,所述方法,还包括:
获取同一预设位置的不同环境外观下的多个预设环境图像,以将多个预设位置的多个预设环境图像作为样本图像,所述样本图像包括锚点样本、与所述锚点样本对应的正样本以及与锚点样本对应的负样本;
根据所述样本图像的中频信息,生成所述样本图像对应的中频特征图像;
将所述样本图像与对应的中频特征图像进行特征融合,获得所述样本图像对应的增强图像特征;
使用所述样本图像对应的增强图像特征对所述第一全连接层、所述第二全连接层、所述全连接神经网络进行训练;
在损失函数符合预设条件时,停止训练。
可选地,所述损失函数包括第一损失函数、第二损失函数和第三损失函数;其中,
第一损失函数为:
Ltri=max(||Xa-Xpos||2-||Xa-XNeg||2+m,0),
Xa为锚点样本的增强图像特征;Xpos为正样本的增强图像特征;Xneg为负样本的增强图像特征;m为用于调节正样本与负样本在特征空间中的距离的超参数;
第二损失函数为:
第三损失函数为:
Lreg=-log(minp≠q(||Xp,Xq||2)).。
本申请提供一种定位设备,包括存储介质与控制器,其中,所述存储介质上存储有定位程序,所述定位程序被所述控制器执行时实现如上任一所述的定位方法的步骤。
本申请提供一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上任一所述的定位方法的步骤。
本申请的定位方法、定位装置及存储介质,所述方法包括以下步骤:获取目标当前所在环境的图像作为输入图像;根据输入图像的中频信息,生成输入图像对应的中频特征图像;将输入图像与中频特征图像进行特征融合,获得输入图像的增强图像特征;将输入图像的增强图像特征与对应于预设位置信息的预设环境图像的图像特征进行匹配;根据匹配结果,获取对应的预设位置信息对目标进行定位。本申请技术方案,采用基于中频信息增强的图像特征进行特征匹配,可以减少环境外观变化对特征匹配结果的影响,提高目标定位的准确性。
附图说明
图1是根据一实施例示出的定位方法的流程示意图。
图2是根据一实施例示出的特征匹配过程的示意图。
图3是根据一实施例示出的获取图像增强特征的流程示意图。
图4是根据一实施例示出的卷积神经网络的架构示意图。
具体实施方式
为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施方式。但是,本发明可以以许多不同的形式来实现,并不限于本文所描述的实施方式。相反地,提供这些实施方式的目的是使对本发明的公开内容理解的更加透彻全面。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的,不是旨在于限制本发明。
图1是根据一实施例示出的定位方法的流程示意图。如图1所示,本申请的定位方法,包括以下步骤:
S1:获取目标当前所在环境的图像作为输入图像;
S2:根据输入图像的中频信息,生成输入图像对应的中频特征图像;
S3:将输入图像与中频特征图像进行特征融合,获得输入图像的增强图像特征;
S4:将输入图像的增强图像特征与对应于预设位置信息的预设环境图像的图像特征进行匹配;
S5:根据匹配结果,获取对应的预设位置信息对目标进行定位。
通过上述方式,在将目标当前所在环境的图像与预设环境图像进行匹配时,采用了基于中频信息增强的图像特征进行特征匹配,由于中频信息对环境外观的变化相对不敏感,可以减少环境外观变化对特征匹配结果的影响,提高特征匹配结果对环境外观变化的鲁棒性,从而提高目标定位的准确性。
目标当前所在环境可以是室内环境或户外环境。目标当前所在环境的图像可以通过目标装载的图像采集装置进行采集。一种场景下,车辆或机器人等目标采集当前所在环境的图像,通过本申请的定位方法,可以实现对车辆或机器人等目标的定位。又一种场景下,用户使用终端采集当前所在环境的图像,通过本申请的定位方法,可以实现对终端的定位,进而间接地对该用户进行定位。
可选地,S2步骤中,根据输入图像的中频信息,生成输入图像对应的中频特征图像,包括:
对输入域图像进行从空间域到频率域的DCT(Discrete Cosine Transform,离散余弦变换)变换,以获取DCT系数矩阵;
根据DCT系数矩阵确定输入图像的中频信息在频率域中的上边界与下边界;
根据上边界、下边界、对应于上边界的掩膜尺寸基准参数及对应于下边界的掩膜尺寸基准参数,确定掩膜的范围;
根据掩膜的范围,生成用于将输入图像的中频信息所在的区域作为兴趣区的掩膜矩阵;
使用掩膜矩阵进行逆DCT变换,得到输入图像对应的中频特征图像。
DCT系数矩阵可描述为:
其中,是离散余弦变换的基函数,用于将图像从空间域转换到频率域。u和v分别表示在频率域中的横向坐标和纵向坐标,取值范围为[0,M-1]和[0,N-1]。x和y分别表示在空间域中的横向和纵向坐标,取值范围为[0,M-1]和[0,N-1]。M和N分别是输入图像的高度和宽度,且为2的整数次幂。I(x,y)为输入图像的像素值矩阵中第x行、第y列的值。φ(u)和φ(v)为基函数C(u,v,x,y)的标准化系数,定义为:
其中,DCT系数矩阵的特点是低频信息集中于矩阵左上角,逐渐向外扩散至右下角的高频信息,因此,中频信息在DCT系数矩阵主要集中在中部环形带状的区域,这个区域也即所需要设计的掩膜的信息提取范围。确定掩膜的范围时,除了确定中频信息在频率域中的上边界与下边界之前,还使用了对应于上边界的掩膜尺寸基准参数及对应于下边界的掩膜尺寸基准参数,这两个基准参数用于对上边界与下边界进行调整,以调整掩膜范围。在一实施方式中,对应于上边界的掩膜尺寸基准参数及对应于下边界的掩膜尺寸基准参数可以通过预先训练的神经网络模型对输入图像进行处理得到,以实现掩膜范围根据不同输入图像的自适应调节,获得更合适、有用的中频信息。在确定掩膜的范围后,生成用于将输入图像的中频信息所在的区域作为兴趣区的掩膜矩阵,掩膜矩阵所要提取信息的区域为兴趣区。之后,使用掩膜矩阵进行逆DCT变换,得到输入图像对应的中频特征图像。逆DCT变换可描述如下:
其中,I′(x,y)为变换得到的频特征图像的像素值矩阵中第x行、第y列的值。F(u,v)为掩膜矩阵,可描述如下:
可选地,根据DCT系数矩阵确定输入图像的中频信息在频率域中的上边界与下边界,具体包括如下步骤:
将DCT系数矩阵展开成向量并按顺序排列,向量为:
H=sort(flatten(D(u,v))),
其中,D(u,v)为DCT系数矩阵;u和v分别表示频率域中的横向坐标和纵向坐标,u的取值范围为[0,M-1],v的取值范围为[0,N-1],M和N分别是输入图像的高度和宽度;
构造集合:
其中,i和j分别表示DCT系数矩阵的i行和j列;l(t)为向量中第t个元素在DCT系数矩阵中对应的位置与D(0,0)之间的距离;h(t)为向量的第t个元素的值,t∈[1,n],n为向量的长度;
其中,表示向上取整,/>表示前e的位置,/>表示后(1-f)的位置,lb和ub分别表示上下截取后的距离值,即取排名第/>和排名第/>的距离值作为下边界和上边界。例如,设定低频信号为DCT系数矩阵数值的前5%,高频信号为DCT系数矩阵数值的后5%,那么5%~95%为中频信息,此时,e为0.05,f为0.95,取排名第/>和排名第/>的距离值作为下边界和上边界。可以理解,中频信息的范围可以根据需要进行调整。
可选地,本申请的方法,还包括:
计算集合的标准差;
根据上边界、下边界、对应于上边界的掩膜尺寸基准参数及对应于下边界的掩膜尺寸基准参数,确定掩膜的范围,包括:
根据上边界、下边界、标准差及对应于上边界的掩膜尺寸基准参数及对应于下边界的掩膜尺寸基准参数,确定掩膜的内径和外径,以得到掩膜的范围;
其中,内径为r=(α-c)*θ+ub,外径为R=(β-c)*θ+lb,其中,α为对应于上边界的掩膜尺寸基准参数,β为对应于上边界的掩膜尺寸基准参数,c为调节常数,c的取值大于0且小于或等于1,θ为标准差,ub为上边界,lb为下边界。
其中,通过计算集合L的标准差,可以使掩膜在常数c所设定的标准差范围内自适应调节大小。优选地,c取值为0.5,也即,在半个标准差的距离内自适应调节掩膜的大小,从而掩膜大小的波动较小,以保证识别效果。
确定掩膜的内径和外径后,掩膜矩阵可描述如下:
可选地,为获取对应于上边界的掩膜尺寸基准参数α及对应于下边界的掩膜尺寸基准参数β,本申请的方法,还包括:
通过卷积神经网络对输入图像进行处理,得到第一特征向量;
将第一特征向量输入第一全连接层中进行线性变换,并经过第一激活函数进行非线性变换,得到第二特征向量;
将第二特征向量输入第二全连接层中进行线性变换,得到输出向量,输出向量∈R2;
通过第二激活函数对输出向量进行非线性变换,将输出向量映射到区间(0,1)中,得到对应于上边界的掩膜尺寸基准参数及对应于下边界的掩膜尺寸基准参数。
其中,第一特征向量和第二特征向量优选∈R512,第一激活函数优选ReLU激活函数,第二激活函数为Sigmoid激活函数,获取α和β的过程可采用如下表达式表示:
α,β=Sigmoid(W2ReLU(W1CNN(I)+bi)+b2),
其中,I:输入图像;
CNN(I):通过卷积神经网络(Convolutional Neural Networks,CNN)提取出的图像特征向量;
W1:第一全连接层(FC)的权重矩阵,将CNN特征向量映射到另一个向量空间;
b1:第一全连接层的偏置向量,用于平移映射后的向量;
ReLU(x):非线性激活函数,将第一全连接层的输出进行非线性变换;
W2:第二全连接层(FC)的权重矩阵,将非线性变换后的向量映射到一个二维向量空间;
b2:第二全连接层的偏置向量,用于平移映射后的向量;
Sigmoid(x):激活函数,将第二全连接层的输出映射到(0,1)区间内,得到α和β两个参数。
通过上述处理,对应于上边界的掩膜尺寸基准参数及对应于下边界的掩膜尺寸基准参数可以通过预先训练的神经网络模型对输入图像进行处理得到,以实现掩膜范围根据不同输入图像的自适应调节,获得更合适、有用的中频信息。
可选地,S3步骤,将输入图像与中频特征图像进行特征融合,获得输入图像的增强图像特征,包括:
将输入图像和中频特征图像输入卷积神经网络中,得到输入图像的第一卷积特征与中频特征图像的第二卷积特征;
将第一卷积特征与第二卷积特征进行拼接,得到第三特征向量;
将第三特征向量输入全连接神经网络(Embed层),得到输入图像的增强图像特征。
其中,第一卷积特征与第二卷积特征优选R512,第三特征向量优选R1024,Embed层的结构可描述如下:
Embed(V)=ReLU(BN(W5ReLU(BN(W4ReLU(BN(W3V+b3))+b4))+b5))∈R512,
其中,W3∈R512×1024、W4∈R512×512、W5∈R1024×512,分别为Embed层的三个全连接层的权重矩阵。b3∈R512、b4∈R512、b5∈R1024,分别为Embed层的三个全连接层的偏置向量。BN表示批量归一化操作。
以下结合图2,对上述获取增强图像特征的过程进行总结描述。如图2所示,在获取输入的图像后,通过卷积神经网络CNN、第一全连接层(FC)、ReLU激活函数、第二全连接层(FC)、Sigmoid激活函数依次处理,得到α和β两个参数。此外,对输入的图像进行DCT变换后,根据DCT系数矩阵得到θ、lb、ub,再根据α、β、θ、lb、ub确定掩膜的内径r和外径R,创建适用于当前输入的图像的掩膜矩阵。之后,进行逆DCT变换并使用掩膜矩阵,得到中频特征图像。将输入图像和中频特征图像输入卷积神经网络CNN中,得到输入图像的第一卷积特征与中频特征图像的第二卷积特征,将第一卷积特征与第二卷积特征进行拼接(Concat),得到第三特征向量,将第三特征向量输入全连接神经网络(Embed层),至此得到与输入的图像对应的增强图像特征。进一步地,当上述输入的图像是目标当前所在环境的图像时,将增强图像特征与对应于预设位置信息的预设环境图像的图像特征进行匹配,以对目标进行定位。当上述输入的图像是预设环境图像时,将增强图像特征存储与特征库(Feather Database)中,作为训练神经网络的数据。
在DCT-Mask Net中,卷积神经网络CNN采用VGG16网络的卷积层,并对其进行修改以更适用于提取场景图像的特征。VGG16是属于分类的深度学习网络,使用全连接层的特征来进行分类。对于位置识别,卷积层的特征(conv)相比于全连接层的特征对外观变化有更强的鲁棒性,可以获得更高的准确度。因此,截取VGG16网络的卷积层的部分来提取特征。此外,为了减小网络训练参数和获得更小特征形状来加速模型训练,在截取的卷积层的后端添加自适应最大池化层以更便于获取所需的降维结果,并将卷积层的权重冻结,即不训练CNN。本申请的卷积神经网络CNN的具体框架请参考图3。
本申请在训练神经网络模型时,使用损失函数对上述的第一全连接层、第二全连接层、全连接神经网络进行训练。现有方法主要通过简单的权重来约束三元组损失函数(Triplet loss),以获得更好的视觉特征,但不考虑对特征增加更多相关性的约束和适当的正则化,从而无法在大数据集中获得很好识别效果。由于Triplet loss无法满足越来越复杂的场景数据集,同时训练易过拟合的问题,因此,本申请采用去相关化损失函数(Decorrelation loss)和规范化损失函数(Regulation loss)来优化Triplet loss,提高了特征的区分度和避免模型过拟合。
可选地,为训练神经网络模型,本申请的方法,还包括以下步骤:
获取同一预设位置的不同环境外观下的多个预设环境图像,以将多个预设位置的多个预设环境图像作为样本图像,样本图像包括锚点样本、与锚点样本对应的正样本以及与锚点样本对应的负样本;
根据样本图像的中频信息,生成样本图像对应的中频特征图像;
将样本图像与对应的中频特征图像进行特征融合,获得样本图像对应的增强图像特征;
使用样本图像对应的增强图像特征对第一全连接层、第二全连接层、全连接神经网络进行训练;
在损失函数符合预设条件时,停止训练。
其中,预设位置是指位置信息已知的位置,预设环境图像是指预先采集的已知位置的环境图像。预设位置的位置信息(即预设位置信息)、预设环境图像以及预设环境图像的增强图像特征相互关联存储。同一预设位置的不同环境外观下的多个预设环境图像,可以是同一预设位置在不同季节、光照、天气下的预设环境图像,每个预设位置可以绑定多个不同环境外观下的预设环境图像。将多个预设位置的多个预设环境图像作为样本图像,得到训练集。样本图像中,正样本可以是同一地方但不同外观变化的环境图像,负样本可以是不同地点不同外观变化的环境图像。
在确定样本图像后,根据样本图像的中频信息,生成样本图像对应的中频特征图像,再将样本图像与对应的中频特征图像进行特征融合,获得样本图像对应的增强图像特征。此过程与S2-S3及图2所示过程相同,区别仅在于将输入图像变换为预设环境图像,因此,不再赘述。
可选地,损失函数包括第一损失函数(Triplet loss)、第二损失函数(Decorrelation loss)和第三损失函数(Regulation loss)。具体可表示为:
LDR-tri=Ldecor+Lreg+Ltri,
其中,Ldecor表示Decorrelation loss,Lreg表示Regulation loss,Ltri表示Tripletloss。
具体地,第一损失函数为:
Ltri=max(||Xa-Xpos||2-||Xa-XNeg||2+m,0),
其中,Xa为锚点样本的增强图像特征;Xpos为正样本的增强图像特征;Xneg为负样本的增强图像特征;m为用于调节正样本与负样本在特征空间中的距离的超参数,优选设置m=0.31。Triplet loss是三元组学习损失函数的主要部分。它鼓励锚点和正样本的特征向量比负样本的特征向量更接近。这里使用的是标准的三元组损失函数。
具体地,第二损失函数为:
其中,λ为用于平衡Σk(1-Ckk)2与这两项的重要性的常数;/>X为样本图像的增强图像特征,k和1分别表示X的ith和jth维度,p和q分别表示不同的样本图像。优选设置λ=0.001。Decorrelation loss用于降低特征向量每一位之间的相关性,从而提高特征的可辨别性。具体而言,在每个mini-batch中计算特征向量的相关矩阵,然后通过loss鼓励相关矩阵对角线上的元素尽可能大,非对角线的元素尽可能小,从而让特征向量上同一位之间相关高,不同位之间相关性低。
具体地,第三损失函数为:
Lreg=-log(minp≠q(||Xp,Xq||2))。
其中,Regulation loss为了让特征在特征空间中足够分散。使用Triplet loss训练时,模型倾向将所有特征压缩到特征空间的某个小范围,减少了特征之间的区分度,表现出模型过拟合的现象。在每个batch中,选择最小距离的两个向量,通过loss增加他们之间的距离。
请继续参考图1,在得到输入图像的增强图像特征后,将输入图像的增强图像特征与对应于预设位置信息的预设环境图像的图像特征进行匹配,根据匹配结果,获取对应的预设位置信息对目标进行定位。
图像特征匹配的过程,可通过获取图像特征之间的余弦相似度来判断图像特征之间是否相似。当两张图像足够相似,则图像特征的余弦相似度接近1,反之,则图像特征的余弦相似度接近-1。余弦相似度的定义为:
其中,Q、R分别对应输入图像的图像特征和预设环境图像的图像特征,i是特征向量的分量,n是特征向量的长度。
请参考图4,一种对目标进行定位的场景下,地图上有p1和p2两个位置,特征库中存储有p1位置冬季的环境图像的增强图像特征与p2位置冬季的环境图像的增强图像特征。当输入的图像(Input)为一幅春季的图像时,通过获取输入图像的增强图像特征,计算输入图像的增强图像特征和特征库中的增强图像特征的余弦相似度。根据计算结果,确定与输入图像匹配的是p2位置冬季的环境图像,进而,获取p2位置的位置信息,作为输入图像的位置信息,即确定了目标当前的位置,实现对目标的定位。由于本申请采用基于中频信息增强的图像特征进行特征匹配,可以减少环境外观变化对特征匹配结果的影响,同时建立了自适应调节的掩膜,可获得合适的中频信息,从而可以有效提高了目标定位的准确性。
本申请的定位方法包括以下步骤:获取目标当前所在环境的图像作为输入图像;根据输入图像的中频信息,生成输入图像对应的中频特征图像;将输入图像与中频特征图像进行特征融合,获得输入图像的增强图像特征;将输入图像的增强图像特征与对应于预设位置信息的预设环境图像的图像特征进行匹配;根据匹配结果,获取对应的预设位置信息对目标进行定位。本申请技术方案,采用基于中频信息增强的图像特征进行特征匹配,可以减少环境外观变化对特征匹配结果的影响,提高目标定位的准确性。
本申请提供一种定位设备,包括存储介质与控制器,其中,所述存储介质上存储有定位程序,所述定位程序被所述控制器执行时实现如上实施例所述的定位方法的步骤。
本申请提供一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上实施例所述的定位方法的步骤。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种定位方法,其特征在于,所述方法包括以下步骤:
获取目标当前所在环境的图像作为输入图像;
根据所述输入图像的中频信息,生成所述输入图像对应的中频特征图像;
将所述输入图像与所述中频特征图像进行特征融合,获得所述输入图像的增强图像特征;
将所述输入图像的增强图像特征与对应于预设位置信息的预设环境图像的图像特征进行匹配;
根据匹配结果,获取对应的预设位置信息对所述目标进行定位。
2.根据权利要求1所述的方法,其特征在于,所述根据所述输入图像的中频信息,生成所述输入图像对应的中频特征图像,包括:
对所述输入域图像进行从空间域到频率域的DCT变换,以获取DCT系数矩阵;
根据所述DCT系数矩阵确定所述输入图像的中频信息在频率域中的上边界与下边界;
根据所述上边界、所述下边界、对应于所述上边界的掩膜尺寸基准参数及对应于所述下边界的掩膜尺寸基准参数,确定掩膜的范围;
根据所述掩膜的范围,生成用于将所述输入图像的中频信息所在的区域作为兴趣区的掩膜矩阵;
使用所述掩膜矩阵进行逆DCT变换,得到所述输入图像对应的中频特征图像。
3.根据权利要求2所述的方法,其特征在于,所述根据所述DCT系数矩阵确定所述输入图像的中频信息在频率域中的上边界与下边界,包括:
将所述DCT系数矩阵展开成向量并按顺序排列,所述向量为:
H=sort(flatten(D(u,v))),
其中,D(u,v)为所述DCT系数矩阵;u和v分别表示频率域中的横向坐标和纵向坐标,u的取值范围为[0,M-1],v的取值范围为[0,N-1],M和N分别是所述输入图像的高度和宽度;
构造集合:
其中,i和j分别表示所述DCT系数矩阵的i行和j列;l(t)为所述向量中第t个元素在所述DCT系数矩阵中对应的位置与D(0,0)之间的距离;h(t)为向量的第t个元素的值,t∈[1,n],n为向量的长度;
4.根据权利要求2或3所述的方法,其特征在于,所述方法,还包括:
计算所述集合的标准差;
所述根据所述上边界、所述下边界、对应于所述上边界的掩膜尺寸基准参数及对应于所述下边界的掩膜尺寸基准参数,确定掩膜的范围,包括:
根据所述上边界、所述下边界、所述标准差及对应于所述上边界的掩膜尺寸基准参数及对应于所述下边界的掩膜尺寸基准参数,确定掩膜的内径和外径,以得到掩膜的范围;
其中,所述内径为r=(α-c)*θ+ub,所述外径为R=(β-c)*θ+lb,其中,α为对应于所述上边界的掩膜尺寸基准参数,β为对应于所述上边界的掩膜尺寸基准参数,c为调节常数,c的取值大于0且小于或等于1,θ为标准差,ub为上边界,lb为下边界。
5.根据权利要求2或3所述的方法,其特征在于,所述方法,还包括:
通过卷积神经网络对所述输入图像进行处理,得到第一特征向量;
将所述第一特征向量输入第一全连接层中进行线性变换,并经过第一激活函数进行非线性变换,得到第二特征向量;
将所述第二特征向量输入第二全连接层中进行线性变换,得到输出向量,所述输出向量∈R2;
通过第二激活函数对所述输出向量进行非线性变换,将所述输出向量映射到区间(0,1)中,得到对应于所述上边界的掩膜尺寸基准参数及对应于所述下边界的掩膜尺寸基准参数。
6.根据权利要求5所述的方法,其特征在于,所述将所述输入图像与所述中频特征图像进行特征融合,获得所述输入图像的增强图像特征,包括:
将所述输入图像和所述中频特征图像输入卷积神经网络中,得到所述输入图像的第一卷积特征与所述中频特征图像的第二卷积特征;
将所述第一卷积特征与所述第二卷积特征进行拼接,得到第三特征向量;
将所述第三特征向量输入全连接神经网络,得到所述输入图像的增强图像特征。
7.根据权利要求6所述的方法,其特征在于,所述方法,还包括:
获取同一预设位置的不同环境外观下的多个预设环境图像,以将多个预设位置的多个预设环境图像作为样本图像,所述样本图像包括锚点样本、与所述锚点样本对应的正样本以及与锚点样本对应的负样本;
根据所述样本图像的中频信息,生成所述样本图像对应的中频特征图像;
将所述样本图像与对应的中频特征图像进行特征融合,获得所述样本图像对应的增强图像特征;
使用所述样本图像对应的增强图像特征对所述第一全连接层、所述第二全连接层、所述全连接神经网络进行训练;
在损失函数符合预设条件时,停止训练。
8.根据权利要求7所述的方法,其特征在于,所述损失函数包括第一损失函数、第二损失函数和第三损失函数;其中,
第一损失函数为:
Ltri=max(||Xa-Xpos||2-||Xa-XNeg||2+m,0),
Xa为锚点样本的增强图像特征;Xpos为正样本的增强图像特征;Xneg为负样本的增强图像特征;m为用于调节正样本与负样本在特征空间中的距离的超参数;
第二损失函数为:
第三损失函数为:
Lreg=-log(minp≠q(||Xp,Xq||2))。
9.一种定位设备,其特征在于,包括存储介质与控制器,其中,所述存储介质上存储有定位程序,所述定位程序被所述控制器执行时实现如权利要求1至8中任一项所述的定位方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的定位方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310475470.2A CN116433770B (zh) | 2023-04-27 | 2023-04-27 | 一种定位方法、定位装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310475470.2A CN116433770B (zh) | 2023-04-27 | 2023-04-27 | 一种定位方法、定位装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116433770A true CN116433770A (zh) | 2023-07-14 |
CN116433770B CN116433770B (zh) | 2024-01-30 |
Family
ID=87090759
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310475470.2A Active CN116433770B (zh) | 2023-04-27 | 2023-04-27 | 一种定位方法、定位装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116433770B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110026849A1 (en) * | 2009-07-31 | 2011-02-03 | Hirokazu Kameyama | Image processing apparatus and method, data processing apparatus and method, and program and recording medium |
US20210089040A1 (en) * | 2016-02-29 | 2021-03-25 | AI Incorporated | Obstacle recognition method for autonomous robots |
CN112926457A (zh) * | 2021-02-26 | 2021-06-08 | 中国电子科技集团公司第二十八研究所 | 一种基于融合频域和空间域网络模型的sar图像识别方法 |
CN113378620A (zh) * | 2021-03-31 | 2021-09-10 | 中交第二公路勘察设计研究院有限公司 | 监控视频噪声环境下跨摄像头行人重识别方法 |
CN115223004A (zh) * | 2022-06-17 | 2022-10-21 | 长安大学 | 基于改进的多尺度融合生成对抗网络图像增强方法 |
CN115439702A (zh) * | 2022-11-08 | 2022-12-06 | 武昌理工学院 | 一种基于频域处理的弱噪声图像分类方法 |
-
2023
- 2023-04-27 CN CN202310475470.2A patent/CN116433770B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110026849A1 (en) * | 2009-07-31 | 2011-02-03 | Hirokazu Kameyama | Image processing apparatus and method, data processing apparatus and method, and program and recording medium |
US20210089040A1 (en) * | 2016-02-29 | 2021-03-25 | AI Incorporated | Obstacle recognition method for autonomous robots |
CN112926457A (zh) * | 2021-02-26 | 2021-06-08 | 中国电子科技集团公司第二十八研究所 | 一种基于融合频域和空间域网络模型的sar图像识别方法 |
CN113378620A (zh) * | 2021-03-31 | 2021-09-10 | 中交第二公路勘察设计研究院有限公司 | 监控视频噪声环境下跨摄像头行人重识别方法 |
CN115223004A (zh) * | 2022-06-17 | 2022-10-21 | 长安大学 | 基于改进的多尺度融合生成对抗网络图像增强方法 |
CN115439702A (zh) * | 2022-11-08 | 2022-12-06 | 武昌理工学院 | 一种基于频域处理的弱噪声图像分类方法 |
Non-Patent Citations (3)
Title |
---|
XING SHEN 等: "DCT-Mask: Discrete Cosine Transform Mask Representation for Instance Segmentation", 《2021 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》, pages 8716 - 8725 * |
时佳琦: "真实场景下黑烟车烟雾检测算法的研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, no. 02, pages 034 - 1607 * |
牛晓霞 等: "基于DCT域的公路车牌定位算法", 《微处理机》, vol. 31, no. 04, pages 75 - 77 * |
Also Published As
Publication number | Publication date |
---|---|
CN116433770B (zh) | 2024-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108596258B (zh) | 一种基于卷积神经网络随机池化的图像分类方法 | |
CN107529650B (zh) | 闭环检测方法、装置及计算机设备 | |
CN110209859B (zh) | 地点识别及其模型训练的方法和装置以及电子设备 | |
CN113326930B (zh) | 数据处理方法、神经网络的训练方法及相关装置、设备 | |
US8280839B2 (en) | Nearest neighbor methods for non-Euclidean manifolds | |
CN103927531B (zh) | 一种基于局部二值和粒子群优化bp神经网络的人脸识别方法 | |
CN110111269B (zh) | 基于多尺度上下文聚合网络的低照度成像算法及装置 | |
CN113627472A (zh) | 基于分层深度学习模型的智慧园林食叶害虫识别方法 | |
CN114693983B (zh) | 基于图像-实例对齐网络的训练方法和跨域目标检测方法 | |
CN112053309A (zh) | 一种图像增强方法及图像增强装置 | |
CN116704188A (zh) | 一种基于改进U-Net网络的不同容重小麦籽粒图像分割算法 | |
CN113343771A (zh) | 一种基于自适应元学习的人脸防伪方法 | |
CN110135435B (zh) | 一种基于广度学习系统的显著性检测方法及装置 | |
CN112329818B (zh) | 基于图卷积网络嵌入表征的高光谱图像非监督分类方法 | |
CN116433770B (zh) | 一种定位方法、定位装置及存储介质 | |
CN116029916A (zh) | 基于结合稠密小波的双分支网络的低照度图像增强方法 | |
CN112102175A (zh) | 图像对比度的增强方法、装置、存储介质及电子设备 | |
CN112634176A (zh) | 基于多感知对抗生成网络的手机拍摄图像去噪方法 | |
CN113850733A (zh) | 基于变幂次单稳态自适应随机共振的彩色图像增强方法 | |
CN113066023A (zh) | 一种基于自校准卷积神经网络的sar图像去斑方法 | |
CN111652311A (zh) | 基于稀疏椭圆rbf神经网络的图像稀疏表示方法 | |
CN113222953B (zh) | 基于深度伽马变换的自然图像增强方法 | |
CN112381176B (zh) | 一种基于双目特征融合网络的图像分类方法 | |
CN113409225B (zh) | 基于Retinex的无人机拍摄图像增强算法 | |
CN117893455B (zh) | 图像亮度和对比度调整方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |