CN111553425B - 一种用于视觉定位的模板匹配lsp算法、介质和设备 - Google Patents

一种用于视觉定位的模板匹配lsp算法、介质和设备 Download PDF

Info

Publication number
CN111553425B
CN111553425B CN202010358437.8A CN202010358437A CN111553425B CN 111553425 B CN111553425 B CN 111553425B CN 202010358437 A CN202010358437 A CN 202010358437A CN 111553425 B CN111553425 B CN 111553425B
Authority
CN
China
Prior art keywords
image
pyramid
template
pixel points
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010358437.8A
Other languages
English (en)
Other versions
CN111553425A (zh
Inventor
彭绍湖
刘长红
朱希诚
胡晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN202010358437.8A priority Critical patent/CN111553425B/zh
Publication of CN111553425A publication Critical patent/CN111553425A/zh
Application granted granted Critical
Publication of CN111553425B publication Critical patent/CN111553425B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752Contour matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于视觉定位的模板匹配LSP算法、介质和设备,算法包括首先获取模板图像,构建模板图像金字塔;对模板图像金字塔中的所有图像构建自适应网格;然后对每张图像中的所有最小网格进行筛选,判断是否需要对其检测局部稳定像素点;针对每一个筛选出的网格,评估网格中像素点的特征信息量,并根据特征信息量选择出稳定像素点;对于所选择出的所有稳定像素点,使用基于梯度幅度标准差的更新策略检测出其中的局部稳定像素点;获取待定位的目标图像,然后基于检测出的局部稳定像素点,使用由粗到细的搜索方法将目标图像和模板图像进行匹配,从而根据匹配结果获得目标图像的旋转角度。本发明能够克服环境干扰,有效解决定位问题。

Description

一种用于视觉定位的模板匹配LSP算法、介质和设备
技术领域
本发明涉及计算机视觉技术领域,特别涉及一种用于视觉定位的模板匹配LSP算法、介质和设备。
背景技术
模板匹配在计算机视觉和图像处理领域中属于经典的方法,其作为图像处理和模式识别中的重要技术,不需要任何的先验知识,因此在视觉领域有着广泛的应用,如视觉定位、移动目标跟踪、人脸识别等。给定模板图和目标图,通过一定的计算,在目标图中确定与模板图最相似的区域作为匹配的结果。在视觉定位的实际运用场景中,算法会遭遇许多挑战,例如任意角度的旋转、非线性的光照、噪声、模糊、遮挡和复杂的背景。
为了对抗各种实际环境的干扰,许多方法都被提出以实现算法在实际运用的鲁棒性。Yibin Huang等人在FDCM算法的基础上进行了改进提高,对边缘点采样并连接拟合出的线段以表示目标的轮廓,通过计算像素点的距离和方向实现匹配。算法只能在线段拟合较好的情况下有好的表现,噪声、模糊、遮挡或是图像自身具有复杂的背景都会导致构成拟合边缘的线段出现误差,而影响匹配的效果。有一类算法基于归一化互相关(NCC),主要利用相关系数公式计算目标图和模板图之间的相关系数,得到相关系数矩阵,通过对相关系数矩阵的分析,判断两幅图像是否相关。基于NCC的算法能满足准确性,但是计算过程十分耗时,难以满足实际应用中要求的实时性。
发明内容
本发明的第一目的在于克服现有技术的缺点与不足,提供一种用于视觉定位的模板匹配LSP算法,该算法可以克服环境干扰,有效解决定位问题。
本发明的第二目的在于提供一种存储介质。
本发明的第三目的在于提供一种计算设备。
本发明的第一目的通过下述技术方案实现:一种用于视觉定位的模板匹配LSP算法,包括如下步骤:
S1、获取模板图像,构建模板图像金字塔;
S2、对模板图像金字塔中的所有图像构建自适应网格;
S3、对每张图像中的所有最小网格进行筛选,判断是否需要对其检测局部稳定像素点;
S4、针对每一个筛选出的网格,评估网格中像素点的特征信息量,并根据特征信息量选择出稳定像素点;
S5、对于所选择出的所有稳定像素点,使用基于梯度幅度标准差的更新策略检测出其中的局部稳定像素点;
S6、获取待定位的目标图像,然后基于步骤S5检测出的局部稳定像素点,使用由粗到细的搜索方法将目标图像和模板图像进行匹配,从而根据匹配结果获得目标图像的旋转角度。
优选的,步骤S1中模板图像金字塔的构建过程如下:
S11、对模板图像的宽和高分别进行扩展,将宽和高的像素个数都扩展为最接近的2的幂次方;
S12、对扩展后的模板图像以比例因子为2的高斯平滑进行下采样,生成模板图像金字塔;
S13、在预设的旋转角度范围内,对模板图像金字塔中每一层的图像按照设定的角度步长进行旋转,得到旋转后的所有图像:
Figure BDA0002474258340000021
其中,i是模板图像金字塔层数序号;N是模板图像金字塔总层数;δR是旋转角度基准步长,当旋转角度的范围减小,δR的值也随之减小,δR的值还与消耗的时间相关,因此受模板图像金字塔层数的限制,当金字塔的总层数减小,δR的值增大;
Figure BDA0002474258340000031
是第i层的图像的旋转角度步长,为了不断精确角度和减少计算所耗时间,自金字塔顶层往下的每一层,其旋转角度步长
Figure BDA0002474258340000032
都比上一层要小;
j是每层图像角度旋转的序号;Rj是图像的旋转角度;Rs是旋转的起始角度;RE是旋转的终止角度。
优选的,在步骤S2中,自适应网格的构建具体如下:
基于四叉树结构对模板图像金字塔中每张图像进行分格处理,分割出自适应网格,其中,图像中最小网格的宽或高通过第一阈值δwh设定,当网格的宽或高小于第一阈值δwh时,则不再进行四叉树分割,最终所有图像被构建的相应网格完全覆盖;
在设定第一阈值δwh时,应使得金字塔顶层图像至少能建立三层四叉树结构进行分割,第一阈值δwh的计算公式如下:
Figure BDA0002474258340000033
式中,WTN和HTN分别是金字塔最顶层图像的宽和高。
更进一步的,在步骤S3中,使用第二阈值δms对每张图像中的所有最小网格进行筛选,当最小网格中的有效边缘像素点的个数多于第二阈值δms时,该最小网格作为被筛选出的网格,被筛选出的最小网格即被判断为需要对其检测局部稳定像素点。
优选的,在步骤S4中,针对每一个筛选出的网格,使用基于梯度幅度和梯度方向的计算方法评估网格中像素点的特征信息量,具体如下:
通过像素点的梯度幅度
Figure BDA0002474258340000034
和梯度方向
Figure BDA0002474258340000035
计算出像素点的特征信息量
Figure BDA0002474258340000036
Figure BDA0002474258340000037
其中,x和y分别是像素点的横、纵坐标;i是模板图像金字塔层数序号;li是模板图像金字塔相应的层数;j是每层图像角度旋转的序号;α和β分别是梯度幅度和梯度方向的权重值;
在每个最小网格中选择出特征信息量最多的一个像素点作为稳定像素点,并由此得到每一层图像的稳定像素点集。
更进一步的,α为0.7,β为0.3。
更进一步的,在步骤S5中,使用一种基于梯度幅度标准差的更新策略检测出局部稳定像素点,过程如下:
S51、在模板图像金字塔的顶层图像中,从每个筛选出的最小网格中选取特征信息量最多的点作为局部稳定像素点,得到顶层图像TN(x,y)的一个局部稳定像素点集
Figure BDA0002474258340000041
S52、将所有属于局部稳定像素点集
Figure BDA0002474258340000042
的局部稳定像素点都传递扩展至下一层图像中的相应位置,属于下一层图像的稳定像素点集
Figure BDA0002474258340000043
中的新像素点通过基于梯度幅度标准差的更新策略检测得出:
Figure BDA0002474258340000044
其中,δstd(x,y)被用于计算中心像素与其周围8个像素的梯度幅度标准差,稳定像素点集
Figure BDA0002474258340000045
的每一个像素点都是梯度幅度标准差的最大值;a是中心像素在x方向上的坐标统计范围;b是中心像素y方向上的坐标统计范围;G是统计范围内像素的梯度幅度;
Figure BDA0002474258340000046
是统计范围内的平均梯度幅度;
S53、在图像TN-1(x,y)中,除了筛选出来的最小网格外,将剩余网格中的稳定像素点以步骤S52中基于梯度幅度标准差的更新策略这一相同方式进行检测,从而得到稳定像素点集
Figure BDA0002474258340000047
S54、由于模板图像金字塔顶层之外其他层的图像Ti-1(x,y)的尺寸是其上一层图像Ti(x,y)尺寸的四倍大,图像Ti-1(x,y)具有更多的网格和像素点,故图像TN-1(x,y)的局部稳定像素点集
Figure BDA0002474258340000048
通过以下方式得到:
Figure BDA0002474258340000049
其中,i=0,1,...,N-1;
S55、模板图像金字塔剩余层的图像Ti-1(x,y)均按照步骤S52~S54检测局部稳定像素点,最终,模板图像金字塔的每一层图像的所有局部稳定像素点都能被检测出。
优选的,在步骤S6中,基于步骤S5检测出的局部稳定像素点,在目标图像和模板图像匹配的过程中,使用由粗到细的搜索方法,金字塔从上到下旋转角度步长逐渐变小,同时搜索角度的范围也逐渐变小,过程如下:
S61、在模板图像金字塔中,提取每层图像的局部稳定像素点集
Figure BDA0002474258340000051
中每个局部稳定像素点的梯度信息,梯度信息包括X方向梯度导数
Figure BDA0002474258340000052
Y方向梯度导数
Figure BDA0002474258340000053
和梯度幅度的倒数
Figure BDA0002474258340000054
S62、为实现模板图像和目标图像匹配,建立与模板图像金字塔相同层数的目标图像金字塔;
S63、从目标图像金字塔顶层开始,利用滑动候选窗口在目标图像上滑动来获取每层图像中每个像素点的梯度信息,然后计算候选窗口所选取像素点与模板图像中每个局部稳定像素点的相似度dLSP(x,y),计算公式如下:
Figure BDA0002474258340000055
式中,M是被计算的像素点个数;k是获取到不同像素点梯度信息的滑动候选窗口的总个数;w和h分别是模板图像金字塔中图像
Figure BDA0002474258340000056
在旋转角度Rj下的宽和高;
Figure BDA0002474258340000057
Figure BDA0002474258340000058
分别是候选窗口中被计算像素点的X方向梯度导数、Y方向梯度导数和梯度幅度倒数;
S64、为了使匹配更稳定,利用相似度阈值对获取到不同像素点梯度信息的各个候选窗口进行筛选,使筛选出来的每一个候选窗口的相似度都比相似度阈值δd大,相似度阈值的计算公式如下:
δd=min(1-σMinGreedy×M,σMin×M);
式中,σMin代表计算时的最小评分阈值,范围在(0,1),取值0.7;σGreedy代表计算时的贪婪度阈值,取值0.9;
然后再从筛选出来的候选窗口中选择出相似度最高的窗口,将其作为模板图像和目标图像的最终匹配结果;
由相似度最高窗口的梯度信息即可得到目标图像的旋转角度。
本发明的第二目的通过下述技术方案实现:一种存储介质,存储有程序,所述程序被处理器执行时,实现本发明第一目的所述的用于视觉定位的模板匹配LSP算法。
本发明的第三目的通过下述技术方案实现:一种计算设备,包括处理器以及用于存储处理器可执行程序的存储器,所述处理器执行存储器存储的程序时,实现本发明第一目的所述的用于视觉定位的模板匹配LSP算法。
本发明相对于现有技术具有如下的优点及效果:
(1)本发明用于视觉定位的模板匹配LSP算法,包括首先获取模板图像,构建模板图像金字塔;对模板图像金字塔中的所有图像构建自适应网格;然后对每张图像中的所有最小网格进行筛选,判断是否需要对其检测局部稳定像素点;针对每一个筛选出的网格,评估网格中像素点的特征信息量,并根据特征信息量选择出稳定像素点;对于所选择出的所有稳定像素点,使用基于梯度幅度标准差的更新策略检测出其中的局部稳定像素点;获取待定位的目标图像,然后基于检测出的局部稳定像素点,使用由粗到细的搜索方法将目标图像和模板图像进行匹配,从而根据匹配结果获得目标图像的旋转角度。本发明通过从模板图像中检测出局部稳定像素点作为有效的特征点来进行图像匹配,舍弃无用像素点,因此可以克服各种实际环境的干扰,有效提高匹配准确度、效率和稳定性,故能够在复杂的背景、模糊、噪声以及部分遮挡的条件下,有效解决定位问题,并且能够获得准确的目标旋转角度,满足在实际应用场景中视觉定位所需的实时性和鲁棒性要求。
(2)本发明模板匹配LSP算法使用了基于梯度幅度标准差的更新策略检测出局部稳定像素点,对于金字塔顶层的图像,评估每一个筛选出的最小网格中的像素点来检测出稳定像素点,对于除金字塔顶层之外的其他所有层的图像,需要通过更新策略,更新上一层图像传递的局部稳定像素点在当前层的图像中的位置以及每一个稳定像素点所归属的新的最小网格。在当前层的图像中,排除已有稳定像素点归属的最小网格后,以相同的评估方法,检测出当前层的局部稳定像素点,最终更新得到的局部稳定像素点和评估检测得到的局部稳定像素点,共同作为当前层图像的所有局部稳定像素点,因此,模板图像金字塔的每一层图像的所有局部稳定像素点都能被检测出,有利于匹配准确性和稳定性的提高。
(3)本发明模板匹配LSP算法中,特征信息量与梯度幅度和梯度方向有关,由于一个像素点的梯度幅度越大,其包含的信息越丰富,图像的角点处通常意味着目标轮廓的改变,相邻像素点的梯度方向差就决定了一个像素点是否接近图像的角点,因此,特征信息量能够携带丰富的图像信息,根据特征信息量选择出的稳定像素点作为特征点也能准确有效代表图像。
(4)本发明模板匹配LSP算法中,通过滑动候选窗口获取目标图像金字塔每层图像中每个像素点的梯度信息,从而实现了从粗到细的快速全面搜索;通过筛选各个候选窗口来找出相似度最高的窗口,由相似度最高窗口的梯度信息得到目标图像旋转角度,能减少计算量,增强视觉定位的实时性。
附图说明
图1是本发明用于视觉定位的模板匹配LSP算法的流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例1
本实施例公开了一种用于视觉定位的模板匹配LSP算法,如图1所示,包括如下步骤:
S1、获取模板图像,构建模板图像金字塔:
S11、对模板图像的宽和高分别进行扩展,将宽和高的像素个数都扩展为最接近的2的幂次方;
S12、对扩展后的模板图像以比例因子为2的高斯平滑进行下采样,生成模板图像金字塔;
S13、在预设的旋转角度范围内,对模板图像金字塔中每一层的图像按照设定的角度步长进行旋转,得到旋转后的所有图像,最终模板图像金字塔每层图像都是旋转后的图像:
Figure BDA0002474258340000081
其中,i是模板图像金字塔层数序号;N是模板图像金字塔总层数;δR是旋转角度基准步长,当旋转角度的范围减小,δR的值也随之减小,δR的值还与消耗的时间相关,因此受模板图像金字塔层数的限制,当金字塔的总层数减小,δR的值增大;在本实施例中,δR设置为1;
Figure BDA0002474258340000082
是第i层的图像的旋转角度步长,
Figure BDA0002474258340000083
自金字塔顶层往下的每一层,其旋转角度步长
Figure BDA0002474258340000084
都比上一层要小,这样才能不断精确角度,同时也减少计算所耗时间;
j是每层图像角度旋转的序号;Rj是图像每次旋转对应的角度;Rs是旋转的起始角度;RE是旋转的终止角度。
S2、对模板图像金字塔中的所有图像构建自适应网格,具体如下:
基于四叉树结构对模板图像金字塔中每张图像进行分格处理,分割出自适应网格,其中,图像中最小网格的宽或高通过第一阈值δwh设定,当网格的宽或高小于第一阈值δwh时,则不再进行四叉树分割,最终所有图像被构建的相应网格完全覆盖;
第一阈值δwh的计算公式如下:
Figure BDA0002474258340000085
式中,WTN和HTN分别是金字塔最顶层图像的宽和高。
当第一阈值δwh越小,越多的特征像素点被获取,这使得匹配的精度提升,但会浪费计算与内存资源,同时更多无用的像素点也随之包含在了特征像素点中,这将会导致匹配结果不稳定。当第一阈值δwh越大,特征像素点的个数越少,这能减少匹配过程的耗时,但用于匹配的特征可能不够充足,导致匹配结果不准确。因此,在设定第一阈值δwh时,第一阈值δwh应保证能使得金字塔顶层图像至少能建立三层四叉树结构进行分割,才会有较好的匹配结果。
S3、对每张图像中的所有最小网格进行筛选,判断是否需要对其检测局部稳定像素点。
在本实施例中,使用第二阈值δms对每张图像中的所有最小网格进行筛选,当最小网格中的有效边缘像素点的个数多于第二阈值δms时,该最小网格作为被筛选出的网格,被筛选出的最小网格即被判断为需要后续对其检测局部稳定像素点。
第二阈值δms的设定与第一阈值δwh相关联,因为每一个筛选出的最小网格中只有一个特征像素点被提取,所以δms的值减小时,图像特征点的个数相应增多,这会增加消耗的时间和内存;δms的值增大时,图像特征点的个数相应减少,这会降低匹配的准确性,但能减少匹配所需要的时间。
S4、针对每一个筛选出的网格,使用基于梯度幅度和梯度方向的计算方法评估像素点的特征信息量,具体如下:
通过像素点的梯度幅度
Figure BDA0002474258340000091
和梯度方向
Figure BDA0002474258340000092
计算出像素点的特征信息量
Figure BDA0002474258340000093
Figure BDA0002474258340000094
其中,i是模板图像金字塔层数序号;li是模板图像金字塔相应的层数;j是每层图像角度旋转的序号;α和β分别是梯度幅度和梯度方向的权重值,此处α可取0.7,β可取0.3。
由于一个像素点的梯度幅度越大,其包含的信息越丰富。图像的角点处通常意味着目标轮廓的改变,这也为模板匹配提供了更多的信息,而相邻像素点的梯度方向差就决定了一个像素点是否靠近图像的角点。因此,如上计算的特征信息量与梯度幅度和梯度方向有关。
然后根据特征信息量选择出稳定像素点:每个筛选出来的最小网格中特征信息量最多的一个像素点即作为稳定像素点,并由此得到每一层图像的稳定像素点集。
S5、对于所选择出的所有稳定像素点,使用基于梯度幅度标准差的更新策略检测出其中的局部稳定像素点,过程如下:
S51、在模板图像金字塔的顶层图像中,从每个筛选出的最小网格中选取特征信息量最多的点作为局部稳定像素点,得到顶层图像TN(x,y)的一个局部稳定像素点集
Figure BDA0002474258340000101
对于顶层图像来说,由于顶层无上一层局部稳定像素点可以传入,因此顶层图像的稳定像素点就是其局部稳定像素点。
S52、将所有属于局部稳定像素点集
Figure BDA0002474258340000102
的局部稳定像素点都传递扩展至下一层图像中的相应位置,属于下一层图像的稳定像素点集
Figure BDA0002474258340000103
中的新像素点通过基于梯度幅度标准差的更新策略检测得出:
Figure BDA0002474258340000104
其中,δstd(x,y)被用于计算中心像素与其周围8个像素的梯度幅度标准差,稳定像素点集
Figure BDA0002474258340000105
的每一个像素点都是梯度幅度标准差的最大值;a是中心像素在x方向上的坐标统计范围;b是中心像素y方向上的坐标统计范围;G是统计范围内像素的梯度幅度;
Figure BDA0002474258340000106
是统计范围内的平均梯度幅度。
S53、在图像TN-1(x,y)中,除了筛选出来的最小网格外,将剩余网格中的稳定像素点以步骤S52中基于梯度幅度标准差的更新策略这一相同方式进行检测,从而得到稳定像素点集
Figure BDA0002474258340000107
S54、由于模板图像金字塔顶层之外其他层的图像Ti-1(x,y)的尺寸是其上一层图像Ti(x,y)尺寸的四倍大,图像Ti-1(x,y)具有更多的网格和像素点,故图像TN-1(x,y)的局部稳定像素点集
Figure BDA0002474258340000108
通过以下方式得到:
Figure BDA0002474258340000109
其中,i=0,1,...,N-1;
S55、模板图像金字塔剩余层的图像Ti-1(x,y)均按照步骤S52~S54检测局部稳定像素点,最终,模板图像金字塔的每一层图像的所有局部稳定像素点都能被检测出。
S6、获取待定位的目标图像,然后基于步骤S5检测出的局部稳定像素点,使用由粗到细的搜索方法(金字塔从上到下旋转角度步长逐渐变小,同时搜索角度的范围也逐渐变小)将目标图像和模板图像进行匹配,从而根据匹配结果获得目标图像的旋转角度,过程如下:
S61、在模板图像金字塔中,提取每层图像的局部稳定像素点集
Figure BDA0002474258340000111
中每个局部稳定像素点的梯度信息,梯度信息包括X方向梯度导数
Figure BDA0002474258340000112
Y方向梯度导数
Figure BDA0002474258340000113
和梯度幅度的倒数
Figure BDA0002474258340000114
S62、为实现模板图像和目标图像匹配,建立与模板图像金字塔相同层数的目标图像金字塔,构建过程与步骤S1相同;
S63、从目标图像金字塔顶层开始,利用滑动候选窗口在目标图像上滑动来获取每层图像中每个像素点的梯度信息,然后计算候选窗口所选取像素点与模板图像中每个局部稳定像素点的相似度dLSP(x,y),计算公式如下:
Figure BDA0002474258340000115
式中,M是被计算的像素点个数;k是获取到不同像素点梯度信息的滑动候选窗口的总个数;w和h分别是模板图像金字塔中图像
Figure BDA0002474258340000116
在旋转角度Rj下的宽和高;
Figure BDA0002474258340000117
Figure BDA0002474258340000118
分别是候选窗口中被计算像素点的X方向梯度导数、Y方向梯度导数和梯度幅度倒数。
S64、为了使匹配更稳定,利用相似度阈值对获取到不同像素点梯度信息的各个候选窗口进行筛选,使筛选出来的每一个候选窗口的相似度都比相似度阈值δd大,相似度阈值的计算公式如下:
δd=min(1-σMinGreedy×M,σMin×M);
式中,σMin代表计算时的最小评分阈值,范围在(0,1),取值0.7;σGreedy代表计算时的贪婪度阈值,取值0.9;
然后再从筛选出来的候选窗口中选择出相似度最高的窗口,将其作为模板图像和目标图像的最终匹配结果,由相似度最高窗口的梯度信息即可得到目标图像的旋转角度。
实施例2
本实施例公开了一种存储介质,存储有程序,所述程序被处理器执行时,实现本实施例1中所述的用于视觉定位的模板匹配LSP算法,具体如下:
S1、获取模板图像,构建模板图像金字塔;
S2、对模板图像金字塔中的所有图像构建自适应网格;
S3、对每张图像中的所有最小网格进行筛选,判断是否需要对其检测局部稳定像素点;
S4、针对每一个筛选出的网格,评估网格中像素点的特征信息量,并根据特征信息量选择出稳定像素点;
S5、对于所选择出的所有稳定像素点,使用基于梯度幅度标准差的更新策略检测出其中的局部稳定像素点;
S6、获取待定位的目标图像,然后基于步骤S5检测出的局部稳定像素点,使用由粗到细的搜索方法将目标图像和模板图像进行匹配,从而根据匹配结果获得目标图像的旋转角度。
本实施例中的存储介质可以是磁盘、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、U盘、移动硬盘等介质。
实施例3
本实施例公开了一种计算设备,包括处理器以及用于存储处理器可执行程序的存储器,所述处理器执行存储器存储的程序时,实现本实施例1中所述的用于视觉定位的模板匹配LSP算法,具体如下:
S1、获取模板图像,构建模板图像金字塔;
S2、对模板图像金字塔中的所有图像构建自适应网格;
S3、对每张图像中的所有最小网格进行筛选,判断是否需要对其检测局部稳定像素点;
S4、针对每一个筛选出的网格,评估网格中像素点的特征信息量,并根据特征信息量选择出稳定像素点;
S5、对于所选择出的所有稳定像素点,使用基于梯度幅度标准差的更新策略检测出其中的局部稳定像素点;
S6、获取待定位的目标图像,然后基于步骤S5检测出的局部稳定像素点,使用由粗到细的搜索方法将目标图像和模板图像进行匹配,从而根据匹配结果获得目标图像的旋转角度。
本实施例中所述的计算设备可以是台式电脑、笔记本电脑、智能手机、PDA手持终端、平板电脑或其他具有处理器功能的终端设备。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (7)

1.一种用于视觉定位的模板匹配LSP算法,其特征在于,包括如下步骤:
S1、获取模板图像,构建模板图像金字塔;
S2、对模板图像金字塔中的所有图像构建自适应网格;
S3、对每张图像中的所有最小网格进行筛选,判断是否需要对其检测局部稳定像素点;
S4、针对每一个筛选出的网格,评估网格中像素点的特征信息量,并根据特征信息量选择出稳定像素点;
S5、对于所选择出的所有稳定像素点,使用基于梯度幅度标准差的更新策略检测出其中的局部稳定像素点;
S6、获取待定位的目标图像,然后基于步骤S5检测出的局部稳定像素点,使用由粗到细的搜索方法将目标图像和模板图像进行匹配,从而根据匹配结果获得目标图像的旋转角度;
在步骤S4中,针对每一个筛选出的网格,使用基于梯度幅度和梯度方向的计算方法评估网格中像素点的特征信息量,具体如下:
通过像素点的梯度幅度
Figure FDA0004111656050000011
和梯度方向
Figure FDA0004111656050000012
计算出像素点的特征信息量
Figure FDA0004111656050000013
Figure FDA0004111656050000014
其中,x和y分别是像素点的横、纵坐标;i是模板图像金字塔层数序号;li是模板图像金字塔相应的层数;j是每层图像角度旋转的序号;α和β分别是梯度幅度和梯度方向的权重值;
在每个最小网格中选择出特征信息量最多的一个像素点作为稳定像素点,并由此得到每一层图像的稳定像素点集;
α为0.7,β为0.3;
在步骤S5中,使用一种基于梯度幅度标准差的更新策略检测出局部稳定像素点,过程如下:
S51、在模板图像金字塔的顶层图像中,从每个筛选出的最小网格中选取特征信息量最多的点作为局部稳定像素点,得到顶层图像TN(x,y)的一个局部稳定像素点集
Figure FDA0004111656050000021
S52、将所有属于局部稳定像素点集
Figure FDA0004111656050000022
的局部稳定像素点都传递扩展至下一层图像中的相应位置,属于下一层图像的稳定像素点集
Figure FDA0004111656050000023
中的新像素点通过基于梯度幅度标准差的更新策略检测得出:
Figure FDA0004111656050000024
其中,δstd(x,y)被用于计算中心像素与其周围8个像素的梯度幅度标准差,稳定像素点集
Figure FDA0004111656050000025
的每一个像素点都是梯度幅度标准差的最大值;a是中心像素在x方向上的坐标统计范围;b是中心像素y方向上的坐标统计范围;G是统计范围内像素的梯度幅度;
Figure FDA0004111656050000026
是统计范围内的平均梯度幅度;
S53、在图像TN-1(x,y)中,除了筛选出来的最小网格外,将剩余网格中的稳定像素点以步骤S52中基于梯度幅度标准差的更新策略这一相同方式进行检测,从而得到稳定像素点集
Figure FDA0004111656050000027
S54、由于模板图像金字塔顶层之外其他层的图像Ti-1(x,y)的尺寸是其上一层图像Ti(x,y)尺寸的四倍大,图像Ti-1(x,y)具有更多的网格和像素点,故图像TN-1(x,y)的局部稳定像素点集
Figure FDA0004111656050000028
通过以下方式得到:
Figure FDA0004111656050000029
其中,i=0,1,...,N-1;
S55、模板图像金字塔剩余层的图像Ti-1(x,y)均按照步骤S52~S54检测局部稳定像素点,最终,模板图像金字塔的每一层图像的所有局部稳定像素点都能被检测出。
2.根据权利要求1所述的用于视觉定位的模板匹配LSP算法,其特征在于,步骤S1中模板图像金字塔的构建过程如下:
S11、对模板图像的宽和高分别进行扩展,将宽和高的像素个数都扩展为最接近的2的幂次方;
S12、对扩展后的模板图像以比例因子为2的高斯平滑进行下采样,生成模板图像金字塔;
S13、在预设的旋转角度范围内,对模板图像金字塔中每一层的图像按照设定的角度步长进行旋转,得到旋转后的所有图像:
Figure FDA0004111656050000031
其中,i是模板图像金字塔层数序号;N是模板图像金字塔总层数;δR是旋转角度基准步长,当旋转角度的范围减小,δR的值也随之减小,δR的值还与消耗的时间相关,因此受模板图像金字塔层数的限制,当金字塔的总层数减小,δR的值增大;
Figure FDA0004111656050000033
是第i层的图像的旋转角度步长,为了不断精确角度和减少计算所耗时间,自金字塔顶层往下的每一层,其旋转角度步长
Figure FDA0004111656050000034
都比上一层要小;
j是每层图像角度旋转的序号;Rj是图像的旋转角度;Rs是旋转的起始角度;RE是旋转的终止角度。
3.根据权利要求1所述的用于视觉定位的模板匹配LSP算法,其特征在于,在步骤S2中,自适应网格的构建具体如下:
基于四叉树结构对模板图像金字塔中每张图像进行分格处理,分割出自适应网格,其中,图像中最小网格的宽或高通过第一阈值δwh设定,当网格的宽或高小于第一阈值δwh时,则不再进行四叉树分割,最终所有图像被构建的相应网格完全覆盖;
在设定第一阈值δwh时,应使得金字塔顶层图像至少能建立三层四叉树结构进行分割,第一阈值δwh的计算公式如下:
Figure FDA0004111656050000032
式中,WTN和HTN分别是金字塔最顶层图像的宽和高。
4.根据权利要求3所述的用于视觉定位的模板匹配LSP算法,其特征在于,在步骤S3中,使用第二阈值δms对每张图像中的所有最小网格进行筛选,当最小网格中的有效边缘像素点的个数多于第二阈值δms时,该最小网格作为被筛选出的网格,被筛选出的最小网格即被判断为需要对其检测局部稳定像素点。
5.根据权利要求1所述的用于视觉定位的模板匹配LSP算法,其特征在于,在步骤S6中,基于步骤S5检测出的局部稳定像素点,在目标图像和模板图像匹配的过程中,使用由粗到细的搜索方法,金字塔从上到下旋转角度步长逐渐变小,同时搜索角度的范围也逐渐变小,过程如下:
S61、在模板图像金字塔中,提取每层图像的局部稳定像素点集
Figure FDA0004111656050000041
中每个局部稳定像素点的梯度信息,梯度信息包括X方向梯度导数
Figure FDA0004111656050000042
Y方向梯度导数
Figure FDA0004111656050000043
和梯度幅度的倒数
Figure FDA0004111656050000044
S62、为实现模板图像和目标图像匹配,建立与模板图像金字塔相同层数的目标图像金字塔;
S63、从目标图像金字塔顶层开始,利用滑动候选窗口在目标图像上滑动来获取每层图像中每个像素点的梯度信息,然后计算候选窗口所选取像素点与模板图像中每个局部稳定像素点的相似度dLSP(x,y),计算公式如下:
Figure FDA0004111656050000045
式中,M是被计算的像素点个数;k是获取到不同像素点梯度信息的滑动候选窗口的总个数;w和h分别是模板图像金字塔中图像
Figure FDA0004111656050000046
在旋转角度Rj下的宽和高;
Figure FDA0004111656050000047
Figure FDA0004111656050000048
分别是候选窗口中被计算像素点的X方向梯度导数、Y方向梯度导数和梯度幅度倒数;
S64、为了使匹配更稳定,利用相似度阈值对获取到不同像素点梯度信息的各个候选窗口进行筛选,使筛选出来的每一个候选窗口的相似度都比相似度阈值δd大,相似度阈值的计算公式如下:
δd=min(1-σMinGreedy×M,σMin×M);
式中,σMin代表计算时的最小评分阈值,范围在(0,1),取值0.7;σGreedy代表计算时的贪婪度阈值,取值0.9;
然后再从筛选出来的候选窗口中选择出相似度最高的窗口,将其作为模板图像和目标图像的最终匹配结果;
由相似度最高窗口的梯度信息即可得到目标图像的旋转角度。
6.一种存储介质,存储有程序,其特征在于,所述程序被处理器执行时,实现权利要求1至5中任一项所述的用于视觉定位的模板匹配LSP算法。
7.一种计算设备,包括处理器以及用于存储处理器可执行程序的存储器,其特征在于,所述处理器执行存储器存储的程序时,实现权利要求1至5中任一项所述的用于视觉定位的模板匹配LSP算法。
CN202010358437.8A 2020-04-29 2020-04-29 一种用于视觉定位的模板匹配lsp算法、介质和设备 Active CN111553425B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010358437.8A CN111553425B (zh) 2020-04-29 2020-04-29 一种用于视觉定位的模板匹配lsp算法、介质和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010358437.8A CN111553425B (zh) 2020-04-29 2020-04-29 一种用于视觉定位的模板匹配lsp算法、介质和设备

Publications (2)

Publication Number Publication Date
CN111553425A CN111553425A (zh) 2020-08-18
CN111553425B true CN111553425B (zh) 2023-04-25

Family

ID=72004294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010358437.8A Active CN111553425B (zh) 2020-04-29 2020-04-29 一种用于视觉定位的模板匹配lsp算法、介质和设备

Country Status (1)

Country Link
CN (1) CN111553425B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160236B (zh) * 2020-11-30 2022-11-22 齐鲁工业大学 一种光伏电池阴影遮挡的图像识别方法
CN114758161B (zh) * 2020-12-25 2024-04-12 东声(苏州)智能科技有限公司 图像目标匹配定位方法、存储介质和计算机
CN112818974A (zh) * 2021-01-26 2021-05-18 浙江国自机器人技术股份有限公司 一种基于机器视觉的表计自动建模方法
CN113128554B (zh) * 2021-03-10 2022-05-24 广州大学 一种基于模板匹配的目标定位方法、系统、装置及介质
CN115588109B (zh) * 2022-09-26 2023-06-06 苏州大学 一种图像模板匹配方法、装置、设备及应用
CN117315274B (zh) * 2023-11-28 2024-03-19 淄博纽氏达特机器人系统技术有限公司 一种基于自适应特征提取的视觉slam方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101620671A (zh) * 2009-08-14 2010-01-06 华中科技大学 一种利用河道地标间接定位识别立体建筑物的方法
CN102654902A (zh) * 2012-01-16 2012-09-05 江南大学 基于轮廓向量特征的嵌入式实时图像匹配方法
CN103700135A (zh) * 2014-01-08 2014-04-02 北京科技大学 一种三维模型局部球面调和特征提取方法
CN110197232A (zh) * 2019-06-05 2019-09-03 中科新松有限公司 基于边缘方向和梯度特征的图像匹配方法
CN110210565A (zh) * 2019-06-05 2019-09-06 中科新松有限公司 归一化互相关图像模板匹配实现方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101620671A (zh) * 2009-08-14 2010-01-06 华中科技大学 一种利用河道地标间接定位识别立体建筑物的方法
CN102654902A (zh) * 2012-01-16 2012-09-05 江南大学 基于轮廓向量特征的嵌入式实时图像匹配方法
CN103700135A (zh) * 2014-01-08 2014-04-02 北京科技大学 一种三维模型局部球面调和特征提取方法
CN110197232A (zh) * 2019-06-05 2019-09-03 中科新松有限公司 基于边缘方向和梯度特征的图像匹配方法
CN110210565A (zh) * 2019-06-05 2019-09-06 中科新松有限公司 归一化互相关图像模板匹配实现方法

Also Published As

Publication number Publication date
CN111553425A (zh) 2020-08-18

Similar Documents

Publication Publication Date Title
CN111553425B (zh) 一种用于视觉定位的模板匹配lsp算法、介质和设备
US7664329B2 (en) Block-based Gaussian mixture model video motion detection
CN109493367B (zh) 一种对目标对象进行跟踪的方法和设备
WO2020077858A1 (zh) 基于神经网络的视频描述生成方法、介质、终端及装置
CN110334762B (zh) 一种基于四叉树结合orb和sift的特征匹配方法
CN110838126B (zh) 细胞图像分割方法、装置、计算机设备和存储介质
CN110135500A (zh) 一种基于自适应深度特征滤波器的多场景下目标跟踪方法
CN110807473A (zh) 目标检测方法、装置及计算机存储介质
CN108876820B (zh) 一种基于均值漂移的遮挡条件下移动目标追踪方法
CN109242019B (zh) 一种水面光学小目标快速检测与跟踪方法
CN115641327B (zh) 一种基于大数据的建筑工程质量监理和预警系统
CN110717934B (zh) 一种基于strcf的抗遮挡目标跟踪方法
CN104933738A (zh) 一种基于局部结构检测和对比度的视觉显著图生成方法
CN116258722B (zh) 基于图像处理的桥梁建筑智能检测方法
CN105447488B (zh) 基于素描线段拓扑结构的sar图像目标检测方法
CN112907580A (zh) 一种应用于弱纹理场景下的综合点线特征的图像特征提取和匹配算法
CN112164093A (zh) 一种基于边缘特征和相关滤波的人物自动跟踪方法
CN112967305B (zh) 一种复杂天空场景下的图像云背景检测方法
CN108764343B (zh) 一种跟踪算法中的跟踪目标框的定位方法
CN108694411A (zh) 一种识别相似图像的方法
CN116805389A (zh) 一种基于解耦级联区域生成网络的开放世界目标检测方法
CN111192302A (zh) 一种基于运动平滑性和ransac算法的特征匹配方法
CN113129332A (zh) 执行目标对象跟踪的方法和装置
CN105205826B (zh) 一种基于方向直线筛选的sar图像目标方位角估计方法
Bei et al. An Improved ORB Algorithm for Feature Extraction and Homogenization Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant