CN117036737A - 基于信息熵、gms与lc显著检测的特征提取与匹配方法 - Google Patents
基于信息熵、gms与lc显著检测的特征提取与匹配方法 Download PDFInfo
- Publication number
- CN117036737A CN117036737A CN202311035505.7A CN202311035505A CN117036737A CN 117036737 A CN117036737 A CN 117036737A CN 202311035505 A CN202311035505 A CN 202311035505A CN 117036737 A CN117036737 A CN 117036737A
- Authority
- CN
- China
- Prior art keywords
- matching
- image
- gray
- points
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000001514 detection method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 9
- 238000003066 decision tree Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/86—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using syntactic or structural representations of the image or video pattern, e.g. symbolic string recognition; using graph matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于信息熵、GMS与LC显著检测的特征提取与匹配方法,涉及机器视觉技术领域。该方法首先针对两张待匹配图像,基于图像RGB三个通道的信息熵,得到像素级融合的灰度图像;并基于LC算法将灰度图像中冗余像素剔除;然后建立图像金字塔,采用FAST算法来检测灰度图像中的特征点;利用BRIEF算法来计算每一个特征点的描述子;并采用汉明距离暴力匹配进行特征匹配,将当前帧的描述子信息与前一帧图像缓存的描述子信息进行匹配;最后使用改进的GMS算法将错误匹配进行剔除,使用高斯核对GMS算法的统计结果加权,优化匹配结果,最终输出匹配结果。该方法提高了匹配正确率,得到了稳定的、高质量的特征点匹配。
Description
技术领域
本发明涉及机器视觉技术领域,尤其涉及基于信息熵、GMS与LC显著检测的特征提取与匹配方法。
背景技术
特征提取与匹配在计算机视觉的研究中是非常重要的,如今视觉SLAM也吸引了非常多的研究者。视觉SLAM是通过视觉传感器对目标环境进行定位与建图,在视觉传感器上可以获得丰富的信息。特征提取与匹配是SLAM中不可或缺的要素。SIFT算法通过稠密无差别的采集样本点,来形成图像的特征描述,但该算法计算比较复杂、使用时间也比较长。SURF算法是基于加速稳健特征的算法,精度也比较高。FAST算法相对较快,能够运用到实时处理的环境中,但该算法不具有方向性与尺度不变性。BRISK算法、AKAZE算法在图像处理中也是比较优秀的算法,但这些算法对旋转和尺度变换都具有不变性。ORB算法作为对FAST算法的改进算法,该算法解决了方向性与尺度不变性的问题。
综合对比分析以上算法,ORB算法的速度快,匹配精度相对较高,实时性好。但ORB算法也存在着诸多问题,导致特征提取不准确;在视觉传感器身处的环境局部纹理较弱时,所提取特征点的描述子无法加以区分,从而造成了误匹配,在实际应用场景下这种误匹配情况是十分严重的。而且在视觉传感器身处重复性纹理区域或者有很多干扰对象的背景区域中时,ORB特征提取过程中存在对冗余区域的特征提取使得运算效率不高,也导致提取到的特征点由于独特性不够也很容易产生误匹配,图像进行特征点提取与匹配时,匹配时会存在大量误匹配的情况,无法将误匹配进行剔除。SLAM的精度与鲁棒性大大降低,因此为寻求更为鲁棒的特征点提取算法和剔除匹配中所存在的误匹配对于当前现状就显得尤为重要。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足,提供一种基于信息熵、GMS与LC显著检测的特征提取与匹配方法,实现图像特征点的提取与匹配。
为解决上述技术问题,本发明所采取的技术方案是:基于信息熵、GMS与LC显著检测的特征提取与匹配方法,包括以下步骤:
步骤1、对两张待匹配图像分别进行图像处理;
步骤2、分别将每张图像的RGB三个通道所有像素点的像素值分别进行遍历统计,得到各像素值的数量;
步骤3、计算每张图像RGB三个通道的信息熵,进而计算各个通道的权重,最终基于信息量的大小将RGB图像融合输出,得到像素级融合的灰度图像;
步骤3.1:计算每张图像RGB三个通道的信息熵;
分别表示每张图像RGB三个通道IR、IG、IB的信息熵HR、HG、HB如下公式所示:
其中,pR(Rb)表示IR的直方图统计量,Rb表示图像IR中灰度范围[0,k-1]区间内的离散灰度随机变量,pG(Gb)表示IG的直方图统计量,Gb表示图像IG中灰度范围[0,k-1]区间内的离散灰度随机变量,pB(Bb)表示IB的直方图统计量,Bb表示图像IB中灰度范围[0,k-1]区间内的离散灰度随机变量;
步骤3-2:根据每张图像RGB三个通道的信息熵值计算各个通道的权重;
RGB三个通道的权重λR、λG、λB如下公式所示:
步骤3.3:基于图像RGB三个通道的信息熵将彩色图像转变为灰度图像;
基于图像RGB三个通道信息熵计算RGB每个像素分量的最优融合权值,得到像素级融合的灰度图像;
各通道融合输出的灰度图像Grey如下公式所示:
Grey=λRR+λGG+λBB
其中,R、G、B分别为RGB图像任意像素的分量。
步骤4、基于LC算法将灰度图像中冗余像素剔除;
步骤4.1:利用统计直方图计算出灰度图像中各个灰度值的显著性值,将显著性值赋给对应灰度值的像素点,计算获取[0,255]灰度值的显著性值矩阵;
各个灰度值的显著性值通过如下公式计算:
其中,fn是灰度值为n的像素点个数,S(p)为像素值p对应的显著性值,d(p,n)为待求灰度值p与灰度值n的欧式距离;
步骤4.2:利用像素点与显著性值的对应关系,根据显著性值搜索特定区域的像素点,再对筛选之后的特定像素点进行ORB特征提取;
步骤4.3:设定阈值Ts,对显著性值高于Ts的像素点进行特征提取,不满足阈值条件的像素点认为是非显著性区域的冗余像素点,则进行剔除;
步骤5、建立图像金字塔,采用FAST算法来检测灰度图像中的特征点;
步骤5.1:从灰度图像中选取一点P,判断该点是否为特征点;以P为圆心画一个半径为3pixel的圆;圆周上如果有连续n个像素点的灰度值比P点的灰度值大或者小,则判定该点P为特征点;步骤5.2:使用ID3算法训练一个决策树,将特征点圆周上的16个像素输入决策树中,以此来筛选出最优的FAST特征点;
步骤5.3:使用非极大值抑制算法去除相邻位置的多个特征点;计算每一个特征点的响应值,保留响应值最大的特征点,删除其余的特征点;所述特征点的响应值为特征点P和其周围16个特征点偏差的绝对值和;
步骤5.4:建立金字塔,来实现特征点的多尺度不变性;设置一个比例因子和金字塔的层数,将原灰度图像按比例因子缩小成n幅图像;
步骤5.5:确定特征点的方向;
通过矩来计算特征点以r为半径范围内的质心,特征点坐标到质心形成一个向量作为该特征点的方向;
矩的定义为:
其中,m称为矩,p、q为阶数,I(x,y)是以当前像素点为原点的坐标系,x和y是I(x,y)坐标系中的坐标;
该矩的质心为:
其中,m00是以像素点I(0,0)为原点,直径为d的圆形窗口中所有像素点的灰度值累加和;m10是x方向上的质心偏移累加和,m01是y方向上的质心偏移累加和,C是以I(0,0)为原点的质心的相对坐标;
从特征点到质心C做向量,则质心角度θ为:
步骤6、利用BRIEF算法来计算每一个特征点的描述子,然后对于每一个特征点,都得到了一个128的二进制编码;
步骤7、采用汉明距离暴力匹配进行特征匹配,将当前帧的描述子信息与前一帧图像缓存的描述子信息进行匹配;
步骤8、使用改进的GMS算法将错误匹配进行剔除,使用高斯核对GMS算法的统计结果加权,优化匹配结果,最终输出匹配结果;
步骤8.1:设定待匹配图像为{Ia,Ib},依据步骤1到步骤7的特征提取方法分别提取出{M,N}个特征点,X={x1,x2,…,xi,…,xM}表示图Ia到Ib的暴力匹配后的最邻近的匹配,其中,xi表示像素点qi与pi的匹配,定义xi的邻域Ei为:
Ei={xj|xj∈X,xj≠xi,d(qi,pi)}
步骤8.2:计算xi相似邻域;
xi相似邻域满足以下取值范围:
Si={xj|xj∈Ei,d(qi,pi)<r}
其中,d(qi,pi)为图像两点间的欧氏距离,r为距离阈值,Si为匹配xi的邻域支持量,如下公式所示:
Si=|xi|-1
步骤8.3:使用改进的GMS算法进行误匹配特征点的剔除;
设中心网格a为待判断网格,在邻域内有8个网格,设中心坐标为(x,y),那么a1的坐标为(x+1,y+1),a2的坐标为(x,y+1),a1、a3、a6、a8与a的距离均为其余网格与a的距离均为1;这些网格与中心网格a距离越大,则置信度越小,距离越小,网格置信度越大;为描述距离产生的置信度差异,使得剔除误匹配更为精确,对网格匹配结果进行加权;选择高斯核对网格进行加权,标准差为σ,中心坐标为(x,y),二维高斯函数G为:
以待判断网格a为中心点,对高斯函数离散化采样并归一化处理,得到3×3加权矩阵:
设9个网格与对应的网格匹配点数目为nt,t=1,2,3....9,则网格中心网格a的支持度为:
S=9(A11n1+A12n2+A13n3+A21n4+A22n5+A23n6+A31n7+A32n8+A33n9)
设支持度阈值为T,如果支持度S大于阈值T,则认为中心网格内的特征点满足GMS算法要求,否则将此不满足要求的特征匹配点剔除;
步骤8.4:将剩余的特征点用二项分布来近似Si的分布,即匹配xi的邻域内匹配数,如下公式所示:
其中,pt表示正确匹配在它某个邻域窗口匹配支持率,pf则表示为错误匹配被其某个邻域窗口匹配支持的概率;|Ei|表示在邻域Ei内匹配对的数量,B(,)表示二项分布;
则正确匹配的平均值mt,标准差Vt,错误匹配的平均值mf,标准差Vf,如下公式所示:
其中,K表示为选取邻域的块数;
得到的匹配评价分数Z为:
评价分数越大,则区分度就越明显,当|Ei|趋于无穷时,Z也趋于无穷,即当图像中匹配点的数量越多时,正确匹配邻域支持点的数量便会更多,正确匹配与误匹配的可区分度就越大。
采用上述技术方案所产生的有益效果在于:本发明提供的基于信息熵、GMS与LC显著检测的特征提取与匹配方法,使得特征点匹配个数与匹配率均有明显提升,也说明了彩色图像通过信息熵进行度量方法的正确性,从信息论的角度解释了算法的有效性。其次利用GMS算法将特征点的运动平滑约束转为特征匹配邻域的统计量,将邻域内支持点个数较少或没有的匹配点滤除,从而实现对提取出的特征点进行匹配和误匹配剔除。通过实验可以看到相较于原算法极大的提高了匹配正确率,得到了稳定的、高质量的特征点匹配,这对于SLAM之后的一系列的处理有很大意义。
附图说明
图1为本发明实施例提供的基于信息熵、GMS与LC显著检测的特征提取与匹配方法的流程图;
图2为本发明实施例提供的测试时所用的两帧视频图像,其中,(a)为第一帧视频图像,(b)为第二帧视频图像;
图3为本发明实施例提供的测试时某一帧图像的RGB三原色的灰度直方图;
图4为本发明实施例提供的测试时某一帧图像的显著性图;
图5为本发明实施例提供的GMS算法邻域支持剔除误匹配示意图;
图6为本发明实施例提供的图像网格化示意图;
图7为本发明实施例提供的两帧图像的匹配结果。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
本实施例中,基于信息熵、GMS与LC显著检测的特征提取与匹配方法,如图1所示,包括以下步骤:
步骤1、对两张待匹配图像分别进行图像处理;
步骤2、分别将每张图像的RGB三个通道所有像素点的像素值分别进行遍历统计,得到各像素值的数量;
步骤3、计算每张图像RGB三个通道的信息熵,进而计算各个通道的权重,最终基于信息量的大小将RGB图像融合输出,得到像素级融合的灰度图像;
步骤3.1:计算每张图像RGB三个通道的信息熵;
信息熵计算公式如下:
其中,pr(rb)代表三个通道的直方图统计量,图像的灰度范围为[0,k-1],图像大小为L×W,rb为此区间的离散灰度随机变量,b=0、1、2、3…k-1,nb为第b级灰度在图像中出现的次数;
分别表示每张图像RGB三个通道IR、IG、IB的信息熵HR、HG、HB如下公式所示:
其中,pR(Rb)表示IR的直方图统计量,Rb表示图像IR中灰度范围[0,k-1]区间内的离散灰度随机变量,pG(Gb)表示IG的直方图统计量,Gb表示图像IG中灰度范围[0,k-1]区间内的离散灰度随机变量,pB(Bb)表示IB的直方图统计量,Bb表示图像IB中灰度范围[0,k-1]区间内的离散灰度随机变量;
步骤3-2:根据每张图像RGB三个通道的信息熵值计算各个通道的权重;
RGB三个通道的权重λR、λG、λB如下公式所示:
步骤3.3:基于图像RGB三个通道的信息熵将彩色图像转变为灰度图像;
基于图像RGB三个通道信息熵计算RGB每个像素分量的最优融合权值,得到像素级融合的灰度图像;
各通道融合输出的灰度图像Grey如下公式所示:
Grey=λRR+λGG+λBB
其中,R、G、B分别为RGB图像任意像素的分量。
本实施例中,首先使用外置设备采集不同时刻同一场景的多帧图像,并进行存储。采集的图像实例如图2所示。将图像分别进行图像处理,将每张图像RGB三通道所有像素点的像素值分别进行遍历统计,得到各像素值的个数,得到RGB三个通道的各像素值的数值,绘制出RGB三原色的灰度直方图,绘制实例如图3所示。
步骤4、基于LC算法将灰度图像中灰度变化不明显的大面积背景区域、填充区域等冗余像素剔除,使得检测更有针对性;
步骤4.1:利用统计直方图计算出灰度图像中各个灰度值的显著性值,将显著性值赋给对应灰度值的像素点,计算获取[0,255]灰度值的显著性值矩阵;
各个灰度值的显著性值通过如下公式计算:
其中,fn是灰度值为n的像素点个数,S(p)为像素值p对应的显著性值,d(p,n)为待求灰度值p与灰度值n的欧式距离;
步骤4.2:利用像素点与显著性值的对应关系,根据显著性值搜索特定区域的像素点,再对筛选之后的特定像素点进行ORB特征提取;
步骤4.3:设定阈值Ts,对显著性值高于Ts的像素点进行特征提取,不满足阈值条件的像素点认为是非显著性区域的冗余像素点,则进行剔除;
本实施例中,步骤4最终处理所得的灰度图像如图4所示,这种情况下算法运算效率得到提升。
步骤5、建立图像金字塔,采用FAST算法来检测灰度图像中的特征点;
步骤5.1:从灰度图像中选取一点P,判断该点是否为特征点;以P为圆心画一个半径为3pixel的圆;圆周上如果有连续n个像素点的灰度值比P点的灰度值大或者小,则判定该点P为特征点;本实施例中,n设置为12;
步骤5.2:使用ID3算法训练一个决策树,将特征点圆周上的16个像素输入决策树中,以此来筛选出最优的FAST特征点;
步骤5.3:使用非极大值抑制算法去除相邻位置的多个特征点;计算每一个特征点的响应值,保留响应值最大的特征点,删除其余的特征点;所述特征点的响应值为特征点P和其周围16个特征点偏差的绝对值和;
步骤5.4:建立金字塔,来实现特征点的多尺度不变性;设置一个比例因子和金字塔的层数,将原灰度图像按比例因子缩小成n幅图像;
步骤5.5:确定特征点的方向;
通过矩来计算特征点以r为半径范围内的质心,特征点坐标到质心形成一个向量作为该特征点的方向;
矩的定义为:
其中,m称为矩,p、q为阶数,I(x,y)是以当前像素点为原点的坐标系,x和y是I(x,y)坐标系中的坐标;
该矩的质心为:
其中,m00是以像素点I(0,0)为原点,直径为d的圆形窗口中所有像素点的灰度值累加和;m10是x方向上的质心偏移累加和,m01是y方向上的质心偏移累加和,C是以I(0,0)为原点的质心的相对坐标;
从特征点到质心C做向量,则质心角度θ为:
步骤6、利用BRIEF算法来计算每一个特征点的描述子,然后对于每一个特征点,都得到了一个128的二进制编码;
步骤7、采用汉明距离暴力匹配进行特征匹配,将当前帧的描述子信息与前一帧图像缓存的描述子信息进行匹配;
步骤8、使用改进的GMS算法将错误匹配进行剔除,使用高斯核对GMS算法的统计结果加权,优化匹配结果,最终输出匹配结果;
步骤8.1:设定待匹配图像为{Ia,Ib},依据步骤1到步骤7的特征提取方法分别提取出{M,N}个特征点,X={x1,x2,…,x,…,xM}表示图Ia到Ib的暴力匹配后的最邻近的匹配,其中,xi表示像素点qi与pi的匹配,定义xi的邻域Ei为:
Ei={xj|xj∈X,xj≠xi,d(qi,pi)}
步骤8.2:计算xi相似邻域;
xi相似邻域满足以下取值范围:
Si={xj|xj∈Ei,d(qi,pi)<r}
其中,d(qi,pi)为图像两点间的欧氏距离,r为距离阈值,Si为匹配xi的邻域支持量,如下公式所示:
Si=|xi|-1
步骤8.3:使用改进的GMS算法进行误匹配特征点的剔除;
为了使得GMS算法剔除错误匹配更加的准确,现对GMS算法进行改进。GMS算法剔除误匹配的原理如图5所示,是正确匹配的邻域内的特征点之间往往都保持了几何一致性,通过评估待判断的匹配对特征点邻区域内含有的匹配对的点的数量可以区分正确和错误的匹配。在此邻域中,设置中心网格,选择高斯核对网格进行加权。从而使得在邻域内,距离待检测匹配点越近的其他点权重就越大。最后算出中心网格a的支持度。
设中心网格a为待判断网格,在邻域内有8个网格,设中心坐标为(x,y),那么a1的坐标为(x+1,y+1),a2的坐标为(x,y+1),a1、a3、a6、a8与a的距离均为其余网格与a的距离均为1;这些网格与中心网格a距离越大,则置信度越小,距离越小,网格置信度越大;为描述距离产生的置信度差异,使得剔除误匹配更为精确,对网格匹配结果进行加权;选择高斯核对网格进行加权,标准差为σ,中心坐标为(x,y),二维高斯函数G为:
以待判断网格a为中心点,对高斯函数离散化采样并归一化处理,得到3×3加权矩阵:
设9个网格与对应的网格匹配点数目为nt,t=1,2,3....9,如图6所示,则网格中心网格a的支持度为:
S=9(A11n1+A12n2+A13n3+A21n4+A22n5+A23n6+A31n7+A32n8+A33n9)
设支持度阈值为T,如果支持度S大于阈值T,则认为中心网格内的特征点满足GMS算法要求,否则将此不满足要求的特征点剔除;
步骤8.4:将剩余的特征点用二项分布来近似Si的分布,即匹配xi的邻域内匹配数,如下公式所示:
其中,pt表示正确匹配在它某个邻域窗口匹配支持率,pf则表示为错误匹配被其某个邻域窗口匹配支持的概率;|Ei|表示在邻域Ei内匹配对的数量,B(,)表示二项分布;
则正确匹配的平均值mt,标准差Vt,错误匹配的平均值mf,标准差Vf,如下公式所示:
其中,K表示为选取邻域的块数;
得到的匹配评价分数Z为:
评价分数越大,则区分度就越明显,当|Ei|趋于无穷时,Z也趋于无穷,即当图像中匹配点的数量越多时,正确匹配邻域支持点的数量便会更多,正确匹配与误匹配的可区分度就越大,本实施例所得两幅图像的匹配结果如图7所示。
可以看出,本发明针对传统特征提取与匹配中图像数据信息利用率不高与存在的误匹配,提出了一种基于信息熵、GMS算法与LC显著检测算法的特征提取与匹配的方法,通过该方法使得特征点匹配个数与匹配率均有明显提升,也说明了彩色图像通过信息熵进行度量方法的正确性,从信息论的角度解释了算法的有效性。其次利用改进后的GMS算法将特征点的运动平滑约束转为特征匹配邻域的统计量,将邻域内支持点个数较少或没有的匹配点滤除,从而实现对提取出的特征点进行匹配和误匹配剔除。通过对GMS算法的改进使得剔除误匹配相对于原算法更加的精准,在实验中可以看到相较于原算法极大的提高了匹配正确率,得到了稳定的、高质量的特征点匹配,这对于SLAM之后的一系列的处理有很大意义。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明权利要求所限定的范围。
Claims (7)
1.一种基于信息熵、GMS与LC显著检测的特征提取与匹配方法,包括以下步骤:
步骤1、对两张待匹配图像分别进行图像处理;
步骤2、分别将每张图像的RGB三个通道所有像素点的像素值分别进行遍历统计,得到各像素值的数量;
步骤3、计算每张图像RGB三个通道的信息熵,进而计算各个通道的权重,最终基于信息量的大小将RGB图像融合输出,得到像素级融合的灰度图像;
步骤4、基于LC算法将灰度图像中冗余像素剔除;
步骤5、建立图像金字塔,采用FAST算法来检测灰度图像中的特征点;
步骤6、利用BRIEF算法来计算每一个特征点的描述子,然后对于每一个特征点,都得到了一个128的二进制编码;
步骤7、采用汉明距离暴力匹配进行特征匹配,将当前帧的描述子信息与前一帧图像缓存的描述子信息进行匹配;
步骤8、使用改进的GMS算法将错误匹配进行剔除,使用高斯核对GMS算法的统计结果加权,优化匹配结果,最终输出匹配结果。
2.根据权利要求1所述的基于信息熵、GMS与LC显著检测的特征提取与匹配方法,包括以下步骤:所述步骤3的具体方法为:
步骤3.1:计算每张图像RGB三个通道的信息熵;
分别表示每张图像RGB三个通道IR、IG、IB的信息熵HR、HG、HB如下公式所示:
其中,pR(Rb)表示IR的直方图统计量,Rb表示图像IR中灰度范围[0,k-1]区间内的离散灰度随机变量,pG(Gb)表示IG的直方图统计量,Gb表示图像IG中灰度范围[0,k-1]区间内的离散灰度随机变量,pB(Bb)表示IB的直方图统计量,Bb表示图像IB中灰度范围[0,k-1]区间内的离散灰度随机变量;
步骤3-2:根据每张图像RGB三个通道的信息熵值计算各个通道的权重;
RGB三个通道的权重λR、λG、λB如下公式所示:
步骤3.3:基于图像RGB三个通道的信息熵将彩色图像转变为灰度图像;
基于图像RGB三个通道信息熵计算RGB每个像素分量的最优融合权值,得到像素级融合的灰度图像;
各通道融合输出的灰度图像Grey如下公式所示:
Grey=λRR+λGG+λBB
其中,R、G、B分别为RGB图像任意像素的分量。
3.根据权利要求2所述的基于信息熵、GMS与LC显著检测的特征提取与匹配方法,其特征在于:包括以下步骤:
步骤4.1:利用统计直方图计算出灰度图像中各个灰度值的显著性值,将显著性值赋给对应灰度值的像素点,计算获取[0,255]灰度值的显著性值矩阵;
步骤4.2:利用像素点与显著性值的对应关系,根据显著性值搜索特定区域的像素点,再对筛选之后的特定像素点进行ORB特征提取;
步骤4.3:设定阈值Ts,对显著性值高于Ts的像素点进行特征提取,不满足阈值条件的像素点认为是非显著性区域的冗余像素点,则进行剔除。
4.根据权利要求3所述的基于信息熵、GMS与LC显著检测的特征提取与匹配方法,其特征在于:步骤4.1所述各个灰度值的显著性值通过如下公式计算:
其中,fn是灰度值为n的像素点个数,S(p)为像素值p对应的显著性值,d(p,n)为待求灰度值p与灰度值n的欧式距离。
5.根据权利要求3所述的基于信息熵、GMS与LC显著检测的特征提取与匹配方法,其特征在于:所述步骤5的具体方法为:
步骤5.1:从灰度图像中选取一点P,判断该点是否为特征点;以P为圆心画一个半径为3pixel的圆;圆周上如果有连续n个像素点的灰度值比P点的灰度值大或者小,则判定该点P为特征点;步骤5.2:使用ID3算法训练一个决策树,将特征点圆周上的16个像素输入决策树中,以此来筛选出最优的FAST特征点;
步骤5.3:使用非极大值抑制算法去除相邻位置的多个特征点;计算每一个特征点的响应值,保留响应值最大的特征点,删除其余的特征点;所述特征点的响应值为特征点P和其周围16个特征点偏差的绝对值和;
步骤5.4:建立金字塔,来实现特征点的多尺度不变性;设置一个比例因子和金字塔的层数,将原灰度图像按比例因子缩小成n幅图像;
步骤5.5:确定特征点的方向;
通过矩来计算特征点以r为半径范围内的质心,特征点坐标到质心形成一个向量作为该特征点的方向。
6.根据权利要求5所述的基于信息熵、GMS与LC显著检测的特征提取与匹配方法,其特征在于:步骤5.5所述矩的定义为:
其中,m称为矩,p、q为阶数,I(x,y)是以当前像素点为原点的坐标系,x和y是I(x,y)坐标系中的坐标;
该矩的质心为:
其中,m00是以像素点I(0,0)为原点,直径为d的圆形窗口中所有像素点的灰度值累加和;m10是x方向上的质心偏移累加和,m01是y方向上的质心偏移累加和,C是以I(0,0)为原点的质心的相对坐标;
从特征点到质心C做向量,则质心角度θ为:
7.根据权利要求6所述的基于信息熵、GMS与LC显著检测的特征提取与匹配方法,其特征在于:所述步骤8的具体方法为:
步骤8.1:设定待匹配图像为{Ia,Ib},依据步骤1到步骤7的特征提取方法分别提取出{M,N}个特征点,X={x1,x2,…,xi,…,xM}表示图Ia到Ib的暴力匹配后的最邻近的匹配,其中,xi表示像素点qi与pi的匹配,定义xi的邻域Ei为:
Ei={xj|xj∈X,xj≠xi,d(qi,pi)}
步骤8.2:计算xi相似邻域;
xi相似邻域满足以下取值范围:
Si={xj|xj∈Ei,d(qi,pi)<r}
其中,d(qi,pi)为图像两点间的欧氏距离,r为距离阈值,Si为匹配xi的邻域支持量,如下公式所示:
Si=|xi|-1
步骤8.3:使用改进的GMS算法进行误匹配特征点的剔除;
设中心网格a为待判断网格,在邻域内有8个网格,设中心坐标为(x,y),那么a1的坐标为(x+1,y+1),a2的坐标为(x,y+1),a1、a3、a6、a8与a的距离均为其余网格与a的距离均为1;这些网格与中心网格a距离越大,则置信度越小,距离越小,网格置信度越大;为描述距离产生的置信度差异,使得剔除误匹配更为精确,对网格匹配结果进行加权;选择高斯核对网格进行加权,标准差为σ,中心坐标为(x,y),二维高斯函数G为:
以待判断网格a为中心点,对高斯函数离散化采样并归一化处理,得到3×3加权矩阵:
设9个网格与对应的网格匹配点数目为nt,t=1,2,3....9,则网格中心网格a的支持度为:
S=9(A11n1+A12n2+A13n3+A21n4+A22n5+A23n6+A31n7+A32n8+A33n9)
设支持度阈值为T,如果支持度S大于阈值T,则认为中心网格内的特征点满足GMS算法要求,否则将此不满足要求的特征匹配点剔除;
步骤8.4:将剩余的特征点用二项分布来近似Si的分布,即匹配xi的邻域内匹配数,如下公式所示:
其中,pt表示正确匹配在它某个邻域窗口匹配支持率,pf则表示为错误匹配被其某个邻域窗口匹配支持的概率;|Ei|表示在邻域Ei内匹配对的数量,B(,)表示二项分布;
则正确匹配的平均值mt,标准差Vt,错误匹配的平均值mf,标准差Vf,如下公式所示:
其中,K表示为选取邻域的块数;
得到的匹配评价分数Z为:
评价分数越大,则区分度就越明显,当|Ei|趋于无穷时,Z也趋于无穷,即当图像中匹配点的数量越多时,正确匹配邻域支持点的数量便会更多,正确匹配与误匹配的可区分度就越大。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311035505.7A CN117036737A (zh) | 2023-08-17 | 2023-08-17 | 基于信息熵、gms与lc显著检测的特征提取与匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311035505.7A CN117036737A (zh) | 2023-08-17 | 2023-08-17 | 基于信息熵、gms与lc显著检测的特征提取与匹配方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117036737A true CN117036737A (zh) | 2023-11-10 |
Family
ID=88635074
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311035505.7A Pending CN117036737A (zh) | 2023-08-17 | 2023-08-17 | 基于信息熵、gms与lc显著检测的特征提取与匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117036737A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117291914A (zh) * | 2023-11-24 | 2023-12-26 | 南昌江铃华翔汽车零部件有限公司 | 汽车零部件缺陷检测方法、系统、计算机及存储介质 |
CN117911631A (zh) * | 2024-03-19 | 2024-04-19 | 广东石油化工学院 | 一种基于异源图像匹配的三维重建方法 |
CN118015004A (zh) * | 2024-04-10 | 2024-05-10 | 宝鸡康盛精工精密制造有限公司 | 一种激光切割扫描系统及方法 |
-
2023
- 2023-08-17 CN CN202311035505.7A patent/CN117036737A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117291914A (zh) * | 2023-11-24 | 2023-12-26 | 南昌江铃华翔汽车零部件有限公司 | 汽车零部件缺陷检测方法、系统、计算机及存储介质 |
CN117291914B (zh) * | 2023-11-24 | 2024-02-09 | 南昌江铃华翔汽车零部件有限公司 | 汽车零部件缺陷检测方法、系统、计算机及存储介质 |
CN117911631A (zh) * | 2024-03-19 | 2024-04-19 | 广东石油化工学院 | 一种基于异源图像匹配的三维重建方法 |
CN117911631B (zh) * | 2024-03-19 | 2024-05-28 | 广东石油化工学院 | 一种基于异源图像匹配的三维重建方法 |
CN118015004A (zh) * | 2024-04-10 | 2024-05-10 | 宝鸡康盛精工精密制造有限公司 | 一种激光切割扫描系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108830285B (zh) | 一种基于Faster-RCNN的加强学习的目标检测方法 | |
CN117036737A (zh) | 基于信息熵、gms与lc显著检测的特征提取与匹配方法 | |
CN107038416B (zh) | 一种基于二值图像改进型hog特征的行人检测方法 | |
CN106373146B (zh) | 一种基于模糊学习的目标跟踪方法 | |
CN107239792A (zh) | 一种基于二进制描述子的工件识别方法及装置 | |
CN109801305B (zh) | 基于深度胶囊网络的sar图像变化检测方法 | |
CN110197185B (zh) | 一种基于尺度不变特征变换算法监测桥下空间的方法和系统 | |
CN116910752B (zh) | 一种基于大数据的恶意代码检测方法 | |
CN116342894B (zh) | 基于改进YOLOv5的GIS红外特征识别系统及方法 | |
CN108921872B (zh) | 一种适用于长程跟踪的鲁棒性视觉目标跟踪方法 | |
CN110942473A (zh) | 一种基于特征点网格化匹配的运动目标跟踪检测方法 | |
CN110910497B (zh) | 实现增强现实地图的方法和系统 | |
CN113096103A (zh) | 一种面向放空火炬的烟气智能影像感知方法 | |
CN112101283A (zh) | 一种交通标志智能识别方法及系统 | |
CN111597875A (zh) | 一种交通标志识别方法、装置、设备及存储介质 | |
CN115100068A (zh) | 一种红外图像校正方法 | |
CN112784494B (zh) | 假阳性识别模型的训练方法、目标识别方法及装置 | |
CN117994573A (zh) | 一种基于超像素和可形变卷积的红外弱小目标检测方法 | |
CN108960005B (zh) | 一种智能视觉物联网中对象视觉标签的建立及显示方法、系统 | |
CN117409254A (zh) | 一种基于ResNet34残差神经网络的天麻客观质量分类评价方法 | |
CN117475327A (zh) | 一种城市中基于遥感图像的多目标检测定位方法和系统 | |
US20230386023A1 (en) | Method for detecting medical images, electronic device, and storage medium | |
CN110910332B (zh) | 一种视觉slam系统动态模糊处理方法 | |
CN116168213A (zh) | 人流量数据的识别方法和人流量数据识别模型的训练方法 | |
CN116129187A (zh) | 基于局部稳定特征点的快速目标检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |