CN109726746A - 一种模板匹配的方法及装置 - Google Patents

一种模板匹配的方法及装置 Download PDF

Info

Publication number
CN109726746A
CN109726746A CN201811564354.3A CN201811564354A CN109726746A CN 109726746 A CN109726746 A CN 109726746A CN 201811564354 A CN201811564354 A CN 201811564354A CN 109726746 A CN109726746 A CN 109726746A
Authority
CN
China
Prior art keywords
feature
matched
convolutional layer
image
score value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811564354.3A
Other languages
English (en)
Other versions
CN109726746B (zh
Inventor
王枫
毛礼建
孙海涛
任馨怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201811564354.3A priority Critical patent/CN109726746B/zh
Publication of CN109726746A publication Critical patent/CN109726746A/zh
Application granted granted Critical
Publication of CN109726746B publication Critical patent/CN109726746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种模板匹配的方法及装置,所述方法包括:分别将模板图像及待匹配图像输入到预先训练完成的卷积神经网络的卷积层,获得所述模板图像的第一特征图,及所述待匹配图像的第二特征图;在所述第二特征图的每个位置上,使所述第一特征图与该位置对应的第二子特征图进行特征向量匹配,根据匹配的特征向量的数量,确定每个位置对应的匹配分值;在所述第二特征图的每个位置,确定所述第一特征图在该位置时覆盖的第二特征图的范围,确定该范围内每个位置对应的匹配分值和,将匹配分值和最大时对应范围确定的在所述待匹配图像中的子图像与所述模板图像匹配,这样可以能够提高模板匹配精准度。

Description

一种模板匹配的方法及装置
技术领域
本发明涉及图像检索技术领域,尤其涉及一种模板匹配的方法及装置。
背景技术
模板匹配是研究某一特定对象物的模板图像位于待匹配图像的位置,进而识别对象物,它是图像处理中最基本、最常用的匹配方法。目前常见的模板匹配技术方案包括:基于像素级信息进行匹配的技术方案,即直接将模板图像与待匹配图像遍历逐像素相减,计算均方误差,其中均方误差最小的那个区域就是最终匹配到的位置;基于边缘信息进行匹配的技术方案,即计算模板图像和待匹配图像的边缘信息,通过边缘信息匹配的方式,得到最佳匹配位置。
但是,现有的这些模板匹配的技术方案存在一些局限性,例如当待匹配图像的成像质量发生很大变化,如光线发生很大变化时,现有算法的匹配精度会直线下降,甚至匹配不到;由于现有算法均是先通过对模板图像中物体的描述,然后在待匹配图像上寻找最佳特定对象物位置,只关注是否找到特定对象物,输出结果中大多都是待匹配的特定对象物位于中间位置,定位不够精准;当待匹配图像中的特定对象物相对于模板图像发生形变的时候,将无法匹配成功;若模板图像中的某一特定对象物是实际工业应用中出现复杂的部件,如中文字符,这种情况很难用现有技术进行模板匹配。
发明内容
本发明实施例提供了一种模板匹配的方法及装置,用以解决待匹配图像因光线变换、物体形变等变化的影响,导致模板匹配精准度下降的问题。
本发明实施例提供了一种模板匹配的方法,所述方法包括:
分别将模板图像及待匹配图像输入到预先训练完成的卷积神经网络的卷积层,获得所述模板图像的第一特征图,及所述待匹配图像的第二特征图;
在所述第二特征图的每个位置使所述第一特征图与该位置对应的第二子特征图进行匹配,根据匹配的特征向量的数量,确定每个位置对应的匹配分值;
在所述第二特征图的每个位置,确定所述第一特征图在该位置时覆盖的第二特征图的范围,确定该范围内每个位置对应的匹配分值和,确定匹配分值和最大时对应范围确定的在所述待匹配图像中的子图像与所述模板图像匹配。
进一步地,预先确定所述卷积神经网络的卷积层包括:
将VGG-19网络中的设定的卷积层作为确定的所述卷积神经网络的卷积层。
进一步地,所述设定的卷积层包括所述VGG-19网络中的第二个卷积层,位于所有卷积层中间的卷积层,以及倒数第二个卷积层。
进一步地,预先确定所述卷积神经网络的卷积层中的每个目标卷积核包括:
针对所述设定的卷积层中的每个卷积层中的每个卷积核,确定该卷积核各个幅度值绝对值的和;对每个卷积核对应的和按照从大到小的顺序排序,将排序在前的设定数量的卷积核作为该卷积层的目标卷积核。
进一步地,所述根据匹配的特征向量的数量,确定每个位置对应的匹配分值包括:
针对该范围内的每个像素点,根据该像素点在第一特征图中对应的特征向量,以及在第二子特征图中对应的特征向量,识别相同的特征向量的数量;
根据该范围内每个像素点对应的特征向量的数量,确定该位置对应的匹配分值。
进一步地,所述根据该范围内每个像素点对应的特征向量的数量,确定该位置对应的匹配分值包括:
将该范围内的每个像素点对应的特征向量的数量的倒数的和,确定为该位置对应的匹配分值。
本发明实施例提供了一种模板匹配的装置,所述装置包括:
获得模块,用于分别将模板图像及待匹配图像输入到预先训练完成的卷积神经网络的卷积层,获得所述模板图像的第一特征图,及所述待匹配图像的第二特征图;
第一确定模块,用于在所述第二特征图的每个位置使所述第一特征图与该位置对应的第二子特征图进行匹配,根据匹配的特征向量的数量,确定每个位置对应的匹配分值;
匹配模块,用于在所述第二特征图的每个位置,确定所述第一特征图在该位置时覆盖的第二特征图的范围,确定该范围内每个位置对应的匹配分值和,确定匹配分值和最大时对应范围确定的在所述待匹配图像中的子图像与所述模板图像匹配。
进一步地,所述装置还包括:
选择模块,用于将VGG-19网络中的设定的卷积层作为确定的所述卷积神经网络的卷积层。
进一步地,所述装置还包括:
第二确定模块,用于针对所述设定的卷积层中的每个卷积层中的每个卷积核,确定该卷积核各个幅度值绝对值的和;对每个卷积核对应的和按照从大到小的顺序排序,将排序在前的设定数量的卷积核作为该卷积层的目标卷积核。
进一步地,所述第一确定模块,具体用于针对该范围内的每个像素点,根据该像素点在第一特征图中对应的特征向量,以及在第二子特征图中对应的特征向量,识别相同的特征向量的数量;根据该范围内每个像素点对应的特征向量的数量,确定该位置对应的匹配分值。
进一步地,所述第一确定模块,具体用于将该范围内的每个像素点对应的特征向量的数量的倒数的和,确定为该位置对应的匹配分值。
本发明实施例提供了一种模板匹配的方法及装置,所述方法包括:分别将模板图像及待匹配图像输入到预先训练完成的卷积神经网络的卷积层,获得所述模板图像的第一特征图,及所述待匹配图像的第二特征图;在所述第二特征图的每个位置上,使所述第一特征图与该位置对应的第二子特征图进行特征向量匹配,根据匹配的特征向量的数量,确定每个位置对应的匹配分值;在所述第二特征图的每个位置,确定所述第一特征图在该位置时覆盖的第二特征图的范围,确定该范围内每个位置对应的匹配分值和,将匹配分值和最大时对应范围确定的在所述待匹配图像中的子图像与所述模板图像匹配。
由于本发明实施例中基于卷积神经网络,获取待匹配图像及模板图像的特征图,采用模板图像和待匹配图像的特征图进行匹配,可以有效避免光线变换、形变等变化的影响,根据每个位置对应的匹配范围内包含的特征向量的数量,确定每个位置对应的匹配分值,并将匹配分值和最大时对应范围确定的在该待匹配图像中的子图像与该模板图像匹配,从而有效提高模板匹配精准度。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的一种模板匹配的方法流程图;
图2(a)为本发明实施例2提供的飞机原图;
图2(b)~图2(f)为本发明实施例2提供的飞机在不同卷积层的特征图;
图3为本发明实施例3提供的5个幅度值间隔相同的卷积核输出的特征图;
图4为本发明实施例3提供的卷积层conv1_2中卷积核的响应强度统计图;
图5为本发明实施例4提供的一种模板匹配的方法流程图;
图6A为本发明实施例4提供的显示模板图像匹配位置的得分热力图;
图6B为本发明实施例4提供的显示模板图像实际匹配位置的示意图;
图6C为本发明实施例4提供的模板匹配结果示意图;
图7为本发明实施例4提供的本发明与现有技术中模板匹配的效果显示图;
图8为本发明实施例4提供的本发明与现有技术中模板匹配的效果显示图;
图9为本发明实施例4提供的本发明与现有技术中模板匹配的效果显示图;
图10为本发明实施例5提供的一种模板匹配的装置结构示意图。
具体实施方式
下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例1:
图1为本发明实施例提供的一种模板匹配的方法流程图,所述方法包括:
S101:分别将模板图像及待匹配图像输入到预先训练完成的卷积神经网络的卷积层,获得所述模板图像的第一特征图,及所述待匹配图像的第二特征图。
为了提高模板匹配的准确性,本发明实施例采用预先训练完成的卷积神经网络的卷积层,对模板图像及待匹配图像进行处理。
将模板图像和待匹配图像分别输入到预先训练完成的卷积神经网络的卷积层中,即可获得该模板图像的第一特征图,及该待匹配图像的第二特征图,其中,卷积神经网络的卷积层获取图像的特征图的过程属于现有技术,在本发明实施例中对该过程不进行赘述。
S102:在所述第二特征图的每个位置使所述第一特征图与该位置对应的第二子特征图进行匹配,根据匹配的特征向量的数量,确定每个位置对应的匹配分值。
为了更加精准地进行模板匹配,在本发明实施例中将第一特征图在第二特征图的每个位置,与该位置对应的第二子特征图进行匹配,从而确定每个位置对应的匹配分值。
具体的,在第二特征图上的每个位置进行匹配时,为了能够确定每个位置对应的匹配分值,将第二特征图的边缘向外扩大相应的长度,具体的扩大的长度根据第一特征图的大小确定。在进行模板匹配时,具体的可以采用第一特征图中某一固定的像素点,与第二特征图上每个像素点对应的位置依次进行匹配,也就是将第一特征图中某一固定的像素点依次与第二特征图上每个像素点进行重合,从而可以将第二特征图中与第一特征图重叠部分作为第二子特征图。针对第二子特征图中的每个像素点,根据将该像素点在第一特征图中对应的特征向量,与第二子特征图中对应的特征向量进行匹配,根据匹配的特征向量的数量,确定该像素点对应的子匹配分值,将第二子特征图中每个像素点对应的子匹配分值的倒数的和来确定该第二子特征图对应位置的匹配分值。
例如该固定的像素点可以是第一特征图中作为左上角、右下角的某一像素点,较佳地,可以为位于第一特征图中心位置的像素点。
S103:在所述第二特征图的每个位置,确定所述第一特征图在该位置时覆盖的第二特征图的范围,确定该范围内每个位置对应的匹配分值和,确定匹配分值和最大时对应范围确定的在所述待匹配图像中的子图像与所述模板图像匹配。
当确定了第二特征图中每个位置对应的匹配分值后,可以将每个位置对应的匹配分值作为每个位置对应的得分热力值,因此可以构成与待匹配图像大小相同的得分热力图,该得分热力图上每个像素点的得分热力值,为该像素点作为对应位置时的匹配分值。再次使第一特征图与该得分热力图中每个对应的位置进行匹配,根据匹配时,该得分热力图与该第一特征图重叠的部分,因为第二特征图与待匹配图像的大小也相同,因此也就是第一特征图在该位置时覆盖的第二特征图的范围,根据该范围内每个位置对应的匹配分值和,确定每个位置对应的匹配分值和。因为每个位置是与待匹配图像的每个像素点对应的,因此当确定了匹配分值和最大的位置,也就可以确定匹配分值和最大的像素点,则可以确定该模板图像在该位置与待匹配图像匹配。
由于本发明实施例中基于卷积神经网络,获取待匹配图像及模板图像的特征图,采用模板图像和待匹配图像的特征图进行匹配,可以有效避免光线变换、形变等变化的影响,根据每个位置对应的匹配范围内包含的特征向量的数量,确定每个位置对应的匹配分值,并将匹配分值和最大时对应范围确定的在该待匹配图像中的子图像与该模板图像匹配,从而有效提高模板匹配精准度。
实施例2:
为了提高第一特征图和第二特征图的质量,在上述实施例的基础上,预先确定所述卷积神经网络的卷积层包括:
将VGG-19网络中的设定的卷积层作为确定的所述卷积神经网络的卷积层。
所述设定的卷积层包括所述VGG-19网络中的第二个卷积层,位于所有卷积层中间的卷积层,以及倒数第二个卷积层。
在上述实施例中的卷积神经网络,需要研发人员对使用到的卷积神经网络的卷积层进行分析并选择更适合做模板匹配的卷积层,经过相关研发人员的分析,本发明实施例优选VGG卷积神经网络模型,即Visual Geometry Group视觉几何组卷积神经网络模型,为了提高大规模图像分类与识别的精度和准确率,在该模型中优选VGG-19网络。
图2为一个飞机模型图像在VGG-19网络不同的卷积层进行特征提取的特征图,其中,图2(a)为飞机原图,图2(b)~图2(f)分别为飞机图像通过卷积层conv1_2,卷积层relu2_2,卷积层conv3_4,卷积层relu4_4,卷积层conv5_1分别提取的特征图,将图2(b)~图2(f)所示的各个卷积层提取的特征图与图2(a)所示的原图进行比较,可知卷积神经网络中位于前面的卷积层和位于部分中间的卷积层更适合做模板匹配的卷积层,至于带有明显语义信息的高维特征信息的卷积层在VGG-19网络数量不多,也就是位于卷积神经网络后面的卷积层,同时这些高维特征信息对于模板匹配也不是必要的,因此在进行模板匹配的时候,可以不使用这些携带高维特征信息的卷积层。因此,将本发明实施例确定的卷积神经网络的卷积层较优选VGG-19网络中的前面和部分中间的卷积层,其中,优选VGG-19网络中的第二个卷积层,位于所有卷积层中间的卷积层,以及倒数第二个卷积层,也就是选用了VGG-19网络中的第二个卷积层、第三个卷积层和第四个卷积层。
由于本发明实施例中预先确定VGG-19网络中的第二个卷积层,位于所有卷积层中间的卷积层,以及倒数第二个卷积层具有较好的特征识别效果,因此可以保证后续模板匹配的准确性。
实施例3:
为了进一步提高模板匹配的准确性,在上述各个实施例的基础上,预先确定所述卷积神经网络的卷积层中的每个目标卷积核包括:
针对所述设定的卷积层中的每个卷积层中的每个卷积核,确定该卷积核各个幅度值绝对值的和;对每个卷积核对应的和按照从大到小的顺序排序,将排序在前的设定数量的卷积核作为该卷积层的目标卷积核。
由于卷积层中的卷积核对卷积神经网络输出的特征图起到关键作用,为了进一步提高模板匹配的效果,可以预先确定所述卷积神经网络的卷积层中的每个目标卷积核。
其中,卷积核刻画特征的能力可以表现为其对外部响应强度大小,在此,针对上述实施例中设定的卷积层中每个卷积层中的每个卷积核,由于卷积核各个幅度值绝对值的和可以用来衡量卷积核(kernel)的提取特征的响应强度,因此,每个卷积核的响应强度可以表示为S=∑|ki,j|,式中,S为卷积核K对应的响应强度,ki,j为卷积核K的各个幅度值,该卷积核K∈Ri×j为i行j列的矩阵,比如说3行3列的卷积核,即3×3的卷积核。该卷积核K的响应强度为L1范数。通过这种衡量卷积核响应强度的指标,研发人员以卷积层conv1_2为例,计算统计了该卷积层中64×64个卷积核的响应强度,并将其归一化统计如图3所示,图3为研究人员随机提取5个幅度值间隔相同的卷积核输出的特征图,从左到右依次是幅度值为0.1、0.3、0.5、0.7、0.9下随机提取的卷积核输出的特征图。
图4为卷积层conv1_2中卷积核的响应强度统计图(Sum of magnitude),其中,横坐标表示卷积核的响应强度,纵坐标表示卷积核数量(kernel number)。根据该统计图可知,卷积层conv1_2层内的卷积核的响应强度低于0.4的占比为97.36%,响应强度低于0.2的占比79.91%,如果在最终进行的模板匹配的过程中使用的特征向量中包含了响应强度低于0.4和响应强度低于0.2这一类的卷积核信息,将会强烈的削弱了特征比较明显的有效卷积核提取的特征的作用,它们的存在对最终获得的第一特征图和第二特征图会造成很大的负面影响。同时由于这类的卷积核占比很大,会占据很大的存储空间,同时会提高计算特征向量的时间复杂度,增加算法负荷。
由此可知,在进行模板匹配的第一特征图和第二特征图时,卷积层中的大量的卷积核是不需要的,可以将其删除。因此,可以将每个卷积核对应的响应强度按照从大到小的顺序排序,将排序在前的设定数量的卷积核作为该卷积层的目标卷积核,较优地,可以选择排名前百分之十的卷积核作为该卷积层的目标卷积核,也可以删除响应强度低于某一设定数值的“僵尸核”,留下的卷积核为该卷积层的目标卷积核,例如留下响应强度不低于0.4的卷积核,这样有利于提高模板图像在待匹配图像的定位效果,同时可以减少后期特征向量相似度的计算量,进而提高模板匹配的效果,因此,最终进行模板匹配的第一特征图和第二特征图是卷积神经网络中设定的卷积层中响应强度较大的卷积核的输出特征构建的。
由于本发明实施例中根据卷积核各个幅度值绝对值的和选取目标卷积核,因此可以进一步地提高模板匹配准确性。
实施例4:
为了进一步提高模板匹配精准度,在上述各个实施例的基础上,所述根据匹配的特征向量的数量,确定每个位置对应的匹配分值包括:
针对该范围内的每个像素点,根据该像素点在第一特征图中对应的特征向量,以及在第二子特征图中对应的特征向量,识别相同的特征向量的数量;
根据该范围内每个像素点对应的特征向量的数量,确定该位置对应的匹配分值。
所述根据该范围内每个像素点对应的特征向量的数量,确定该位置对应的匹配分值包括:
将该范围内的每个像素点对应的特征向量的数量的倒数的和,确定为该位置对应的匹配分值。
为了进一步提高模板匹配精准度,在进行模板匹配时,采用第一特征图中的某个固定像素点,可以针对上述实施例中提到的第二子特征图范围内的每个像素点,根据该固定像素点在第一特征图中对应的特征向量,以及在第二子特征图中对应的特征向量,识别相同的特征向量,然后,可以根据第二子特征图范围内每个像素点对应的相同的特征向量的数量,确定该位置对应的匹配分值,具体的确定方法不做限制,例如,可以依据特征向量的数量划分不同的范围,并且不同的范围对应不同的匹配分值,比如特征向量的数量在0-10个的范围内,对应的匹配分值为100分,特征向量的数量在11-20个的范围内,对应的匹配分值为99分,依次类推,得到不同范围对应的匹配分值;也可以将该范围内的每个像素点对应的特征向量的数量的倒数确定为该位置对应的匹配分值;还可以将该范围内的每个像素点对应的特征向量的数量的倒数的和确定为该位置对应的匹配分值。为了进一步提高模板匹配精准度,本发明实施例优选将第二子特征图范围内的每个像素点对应的特征向量的数量的倒数的和,确定为该位置对应的匹配分值。
为了更加形象地解释该位置对应的匹配分值的获得过程,将T、S表示第一特征图和第二子特征图对应的特征块patches,这样可以便于评价这两个特征块patch即之间的相似度,其中,ti∈Rd和sj∈Rd是T和S中对应每个像素点的一个特征小块,即ti是第一特征图中第i个像素点对应的特征向量的集合,sj是第二子特征图中第j个像素点对应的特征向量的集合。
根据观察可知,如果模板图像和目标图像是一致的,其特征分布也应该是一致或者类似的,则对应的ti∈Rd应该可以在sj∈Rd中找到一个或多个匹配的特征向量。为第一特征图中第i个像素点对应的特征向量集合,为第二子特征图中第j个像素点对应的特征向量集合,根据在多维空间数据库NN中找最近邻点的公式,针对第二子特征图范围内的每个像素点,根据该固定的像素点在第一特征图中对应的特征向量集合以及在第二子特征图中对应的特征向量集合识别相同的特征向量,该公式为:
其中,是距离计算公式,如该距离为L2,当距离L2大于设定的阈值后,认为此时的特征向量集合为特征向量集合匹配到的相同特征向量,即针对第二子特征图中每个像素点,根据该像素点在第一特征图中对应的特征向量集合以及在第二子特征图中对应的特征向量集合记录特征向量集合在第二子特征图Sf中匹配的相同的特征向量的数量为num(ti,Sf)。
针对第二子特征图范围内的每个像素点,根据该像素点在第一特征图中对应的特征向量集合ti∈Rd,以及在第二子特征图中对应的特征向量集合,识别相同的特征向量,并记录相同的特征向量的数量,由于相同的特征向量的数量越多,其权重越大,所以,要采用在对该范围内的每个像素点对应的相同的特征向量的数量的倒数的和的函数,确定该位置对应的匹配分值,求该匹配分值具体公式为:
式中,1/num(ti,S)为衡量多维空间数据库NN空间多样性的指标,理论上,根据该像素点在第一特征图T的多维空间数据库NN内对应的特征向量集合ti∈Rd,以及在第二子特征图S中第j个像素点对应的特征向量集合sj∈Rd,识别的相同的特征向量的数量越小越好。
根据该得分函数,可知将该范围内的每个像素点对应的特征向量数量的倒数的和,确定为该位置对应的匹配分值。
基于上述各个实施例,图5为一种模板匹配的方法流程图,如图5所示,该方法的具体步骤可以为:
S501:预先确定所述卷积神经网络的卷积层。
将VGG-19网络中的设定的卷积层作为确定的所述卷积神经网络的卷积层,具体为所述VGG-19网络中的第二个卷积层,位于所有卷积层中间的卷积层,以及倒数第二个卷积层。
S502:预先确定所述卷积神经网络的卷积层中的每个目标卷积核。
针对步骤S501确定的卷积层中的每个卷积层中的每个卷积核,确定该卷积核各个幅度值绝对值的和;对每个卷积核对应的和按照从大到小的顺序排序,将排序在前的设定数量的卷积核作为该卷积层的目标卷积核。
S503:计算第一特征图和第二子特征图的匹配分值,并得到得分热力图。
分别将模板图像及待匹配图像输入到预先训练完成的卷积神经网络的卷积层,获得所述模板图像的第一特征图,及所述待匹配图像的第二特征图;
在所述第二特征图的每个位置使所述第一特征图与该位置对应的第二子特征图进行匹配,根据匹配的特征向量的数量,确定每个位置对应的匹配分值,当确定了第二特征图中每个位置对应的匹配分值后,可以将每个位置对应的匹配分值作为每个位置对应的得分热力值,因此可以构成与待匹配图像大小相同的得分热力图,该得分热力图上每个像素点的得分热力值,为该像素点作为对应位置时的匹配分值。
S504:根据得分热力图,确定模板图像与待匹配图像匹配的位置。
获得得分热力图之后,可以使第一特征图与该得分热力图中每个对应的位置进行匹配,根据之前匹配时,该得分热力图与该第一特征图重叠的部分,也就是第一特征图在该位置时覆盖的第二特征图的范围,根据该范围内每个位置对应的匹配分值和,确定每个对应的匹配分值和。由于每个位置是与待匹配图像的每个像素点对应的,因此当确定了匹配分值和最大的位置,也就可以确定匹配分值和最大的像素点,则可以确定该模板图像与待匹配图像匹配的位置。图6A所示的是得分热力图中模板图像在待匹配图像上匹配的位置1,图6B所示的是模板图像在待匹配图像上实际匹配的位置2,图6C所示的是本发明实施例中模板图像在待匹配图像上匹配的位置1和实际匹配位置2,通过图6C可知,本发明实施例提供的方法进行模板匹配的精准度很高。
基于上述各个实施例,图7-9所示的现有一些模板匹配的方法与本发明实施例提供的模板匹配的方法进行模板匹配的效果图进行显示比较,其中,3为正确匹配的位置,4为回归类物体检测SSD方法匹配的位置,5为电子信息服务BBS方法匹配的位置,6为资料数据索引装置DDIS匹配的位置,7为本发明实施例匹配的位置。
如图7所示,无论待匹配图像中的光线如何变化,本发明实施例提供的模板匹配的方法匹配的位置与仪表正确匹配的位置一致,解决了光照复杂变化下的匹配精度直线下降问题。
如图8所示,无论模板图像怎么形变,本发明实施例提供的模板匹配的方法匹配的位置与形变结构正确匹配的位置一致,解决了物体形变下的匹配精度下降问题。
如图9所示,对于实际工业应用中出现复杂的部件,本发明实施例提供的模板匹配的方法匹配的位置与中文字符“分”正确匹配的位置一致,解决了实际工业应用中出现复杂部件很难进行匹配的问题。
由于本发明实施例中针对该范围内的每个像素点,根据该像素点在第一特征图中对应的特征向量,以及在第二子特征图中对应的特征向量,识别相同的特征向量的数量;将该范围内的每个像素点对应的数量的倒数的和,确定为该位置对应的匹配分值,进一步提高了模板匹配的精准度。
实施例5:
基于上述各个实施例的基础上,图10为本发明实施例提供了一种模板匹配装置的结构示意图,所述装置包括:
获得模块1001,用于分别将模板图像及待匹配图像输入到预先训练完成的卷积神经网络的卷积层,获得所述模板图像的第一特征图,及所述待匹配图像的第二特征图;
第一确定模块1002,用于在所述第二特征图的每个位置使所述第一特征图与该位置对应的第二子特征图进行匹配,根据匹配的特征向量的数量,确定每个位置对应的匹配分值;
匹配模块1003,用于在所述第二特征图的每个位置,确定所述第一特征图在该位置时覆盖的第二特征图的范围,确定该范围内每个位置对应的匹配分值和,确定匹配分值和最大时对应范围确定的在所述待匹配图像中的子图像与所述模板图像匹配。
进一步地,所述装置还包括:
选择模块,用于将VGG-19网络中的设定的卷积层作为确定的所述卷积神经网络的卷积层。
进一步地所述装置还包括:
第二确定模块,用于针对所述设定的卷积层中的每个卷积层中的每个卷积核,确定该卷积核各个幅度值绝对值的和;对每个卷积核对应的和按照从大到小的顺序排序,将排序在前的设定数量的卷积核作为该卷积层的目标卷积核。
进一步地,所述第一确定模块,具体用于针对该范围内的每个像素点,根据该像素点在第一特征图中对应的特征向量,以及在第二子特征图中对应的特征向量,识别相同的特征向量的数量;根据该范围内每个像素点对应的特征向量的数量,确定该位置对应的匹配分值。
进一步地,所述第一确定模块,具体用于将该范围内的每个像素点对应的特征向量的数量的倒数的和,确定为该位置对应的匹配分值。
由于本发明实施例中可以匹配模块1003在待匹配图像的第二特征图的每个位置,确定模板图像的第一特征图在该位置时覆盖的第二特征图的范围,确定该范围内每个位置对应的匹配分值和,将匹配分值和最大时对应范围确定的在该待匹配图像中的子图像与该模板图像匹配,从而能够提高模板匹配精准度。
对于系统/装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者一个操作与另一个实体或者另一个操作区分开来,而不一定要求或者暗示这些实体或者操作之间存在任何这种实际的关系或者顺序。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全应用实施例、或结合应用和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (11)

1.一种模板匹配的方法,其特征在于,所述方法包括:
分别将模板图像及待匹配图像输入到预先训练完成的卷积神经网络的卷积层,获得所述模板图像的第一特征图,及所述待匹配图像的第二特征图;
在所述第二特征图的每个位置使所述第一特征图与该位置对应的第二子特征图进行匹配,根据匹配的特征向量的数量,确定每个位置对应的匹配分值;
在所述第二特征图的每个位置,确定所述第一特征图在该位置时覆盖的第二特征图的范围,确定该范围内每个位置对应的匹配分值和,确定匹配分值和最大时对应范围确定的在所述待匹配图像中的子图像与所述模板图像匹配。
2.如权利要求1所述的方法,其特征在于,预先确定所述卷积神经网络的卷积层包括:
将VGG-19网络中的设定的卷积层作为确定的所述卷积神经网络的卷积层。
3.如权利要求2所述的方法,其特征在于,所述设定的卷积层包括所述VGG-19网络中的第二个卷积层,位于所有卷积层中间的卷积层,以及倒数第二个卷积层。
4.如权利要求2或3所述的方法,其特征在于,预先确定所述卷积神经网络的卷积层中的每个目标卷积核包括:
针对所述设定的卷积层中的每个卷积层中的每个卷积核,确定该卷积核各个幅度值绝对值的和;对每个卷积核对应的和按照从大到小的顺序排序,将排序在前的设定数量的卷积核作为该卷积层的目标卷积核。
5.如权利要求1所述的方法,其特征在于,所述根据匹配的特征向量的数量,确定每个位置对应的匹配分值包括:
针对该范围内的每个像素点,根据该像素点在第一特征图中对应的特征向量,以及在第二子特征图中对应的特征向量,识别相同的特征向量的数量;
根据该范围内每个像素点对应的特征向量的数量,确定该位置对应的匹配分值。
6.如权利要求5所述的方法,其特征在于,所述根据该范围内每个像素点对应的特征向量的数量,确定该位置对应的匹配分值包括:
将该范围内的每个像素点对应的特征向量的数量的倒数的和,确定为该位置对应的匹配分值。
7.一种模板匹配的装置,其特征在于,所述装置包括:
获得模块,用于分别将模板图像及待匹配图像输入到预先训练完成的卷积神经网络的卷积层,获得所述模板图像的第一特征图,及所述待匹配图像的第二特征图;
第一确定模块,用于在所述第二特征图的每个位置使所述第一特征图与该位置对应的第二子特征图进行匹配,根据匹配的特征向量的数量,确定每个位置对应的匹配分值;
匹配模块,用于在所述第二特征图的每个位置,确定所述第一特征图在该位置时覆盖的第二特征图的范围,确定该范围内每个位置对应的匹配分值和,确定匹配分值和最大时对应范围确定的在所述待匹配图像中的子图像与所述模板图像匹配。
8.如权利要求7所述的装置,其特征在于,所述装置还包括:
选择模块,用于将VGG-19网络中的设定的卷积层作为确定的所述卷积神经网络的卷积层。
9.如权利要求8所述的装置,其特征在于,所述装置还包括:
第二确定模块,用于针对所述设定的卷积层中的每个卷积层中的每个卷积核,确定该卷积核各个幅度值绝对值的和;对每个卷积核对应的和按照从大到小的顺序排序,将排序在前的设定数量的卷积核作为该卷积层的目标卷积核。
10.如权利要求7所述的装置,其特征在于,所述第一确定模块,具体用于针对该范围内的每个像素点,根据该像素点在第一特征图中对应的特征向量,以及在第二子特征图中对应的特征向量,识别相同的特征向量的数量;根据该范围内每个像素点对应的特征向量的数量,确定该位置对应的匹配分值。
11.如权利要求10所述的装置,其特征在于,所述第一确定模块,具体用于将该范围内的每个像素点对应的特征向量的数量的倒数的和,确定为该位置对应的匹配分值。
CN201811564354.3A 2018-12-20 2018-12-20 一种模板匹配的方法及装置 Active CN109726746B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811564354.3A CN109726746B (zh) 2018-12-20 2018-12-20 一种模板匹配的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811564354.3A CN109726746B (zh) 2018-12-20 2018-12-20 一种模板匹配的方法及装置

Publications (2)

Publication Number Publication Date
CN109726746A true CN109726746A (zh) 2019-05-07
CN109726746B CN109726746B (zh) 2021-02-26

Family

ID=66296994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811564354.3A Active CN109726746B (zh) 2018-12-20 2018-12-20 一种模板匹配的方法及装置

Country Status (1)

Country Link
CN (1) CN109726746B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287857A (zh) * 2019-06-20 2019-09-27 厦门美图之家科技有限公司 一种特征点检测模型的训练方法
CN110705479A (zh) * 2019-09-30 2020-01-17 北京猎户星空科技有限公司 模型训练方法和目标识别方法、装置、设备及介质
CN110929805A (zh) * 2019-12-05 2020-03-27 上海肇观电子科技有限公司 神经网络的训练方法、目标检测方法及设备、电路和介质
CN111340882A (zh) * 2020-02-20 2020-06-26 盈嘉互联(北京)科技有限公司 基于图像的室内定位方法及装置
CN113127864A (zh) * 2019-12-31 2021-07-16 奇安信科技集团股份有限公司 特征码提取方法、装置、计算机设备和可读存储介质
CN113361636A (zh) * 2021-06-30 2021-09-07 山东建筑大学 一种图像分类方法、系统、介质及电子设备
CN113537254A (zh) * 2021-08-27 2021-10-22 重庆紫光华山智安科技有限公司 图像特征提取方法、装置、电子设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463175A (zh) * 2014-12-23 2015-03-25 智慧眼(湖南)科技发展有限公司 手指静脉特征匹配方法和装置
US9424494B1 (en) * 2016-01-28 2016-08-23 International Business Machines Corporation Pure convolutional neural network localization
CN106570192A (zh) * 2016-11-18 2017-04-19 广东技术师范学院 一种基于深度学习的多视图图像检索方法
CN107193983A (zh) * 2017-05-27 2017-09-22 北京小米移动软件有限公司 图像搜索方法及装置
CN107562805A (zh) * 2017-08-08 2018-01-09 浙江大华技术股份有限公司 一种以图搜图的方法及装置
CN108427738A (zh) * 2018-03-01 2018-08-21 中山大学 一种基于深度学习的快速图像检索方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463175A (zh) * 2014-12-23 2015-03-25 智慧眼(湖南)科技发展有限公司 手指静脉特征匹配方法和装置
US9424494B1 (en) * 2016-01-28 2016-08-23 International Business Machines Corporation Pure convolutional neural network localization
CN106570192A (zh) * 2016-11-18 2017-04-19 广东技术师范学院 一种基于深度学习的多视图图像检索方法
CN107193983A (zh) * 2017-05-27 2017-09-22 北京小米移动软件有限公司 图像搜索方法及装置
CN107562805A (zh) * 2017-08-08 2018-01-09 浙江大华技术股份有限公司 一种以图搜图的方法及装置
CN108427738A (zh) * 2018-03-01 2018-08-21 中山大学 一种基于深度学习的快速图像检索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王银立: "输电线路导线断股及绝缘子自爆的图像识别算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287857A (zh) * 2019-06-20 2019-09-27 厦门美图之家科技有限公司 一种特征点检测模型的训练方法
CN110287857B (zh) * 2019-06-20 2021-06-04 厦门美图之家科技有限公司 一种特征点检测模型的训练方法
CN110705479A (zh) * 2019-09-30 2020-01-17 北京猎户星空科技有限公司 模型训练方法和目标识别方法、装置、设备及介质
CN110929805A (zh) * 2019-12-05 2020-03-27 上海肇观电子科技有限公司 神经网络的训练方法、目标检测方法及设备、电路和介质
CN110929805B (zh) * 2019-12-05 2023-11-10 上海肇观电子科技有限公司 神经网络的训练方法、目标检测方法及设备、电路和介质
CN113127864A (zh) * 2019-12-31 2021-07-16 奇安信科技集团股份有限公司 特征码提取方法、装置、计算机设备和可读存储介质
CN113127864B (zh) * 2019-12-31 2024-05-24 奇安信科技集团股份有限公司 特征码提取方法、装置、计算机设备和可读存储介质
CN111340882A (zh) * 2020-02-20 2020-06-26 盈嘉互联(北京)科技有限公司 基于图像的室内定位方法及装置
CN111340882B (zh) * 2020-02-20 2024-02-20 盈嘉互联(北京)科技有限公司 基于图像的室内定位方法及装置
CN113361636A (zh) * 2021-06-30 2021-09-07 山东建筑大学 一种图像分类方法、系统、介质及电子设备
CN113537254A (zh) * 2021-08-27 2021-10-22 重庆紫光华山智安科技有限公司 图像特征提取方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN109726746B (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN109726746A (zh) 一种模板匹配的方法及装置
Zhang et al. MCnet: Multiple context information segmentation network of no-service rail surface defects
CN109344736B (zh) 一种基于联合学习的静态图像人群计数方法
Wang et al. Autonomous garbage detection for intelligent urban management
CN108428229A (zh) 一种基于深度神经网络提取表观和几何特征的肺部纹理识别方法
CN105574527B (zh) 一种基于局部特征学习的快速物体检测方法
CN110245593B (zh) 一种基于图像相似度的手势图像关键帧提取方法
CN109446925A (zh) 一种基于卷积神经网络的电力设备检测算法
CN109583483A (zh) 一种基于卷积神经网络的目标检测方法和系统
CN107871102A (zh) 一种人脸检测方法及装置
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
CN104572804A (zh) 一种视频物体检索的方法及其系统
CN106780546B (zh) 基于卷积神经网络的运动模糊编码点的身份识别方法
CN109498037A (zh) 基于深度学习提取特征和多重降维算法的脑认知测量方法
CN108932509A (zh) 一种基于视频跟踪的跨场景目标检索方法及装置
Li et al. Small object detection algorithm based on feature pyramid-enhanced fusion SSD
CN109840905A (zh) 电力设备锈迹检测方法及系统
CN116524356A (zh) 一种矿石图像小样本目标检测方法及系统
JPH08508128A (ja) 分布マップを用いる画像の分類方法及び装置
CN116681962A (zh) 基于改进YOLOv5的电力设备热图像检测方法及系统
Zhang Application of artificial intelligence recognition technology in digital image processing
CN115719414A (zh) 基于任意四边形回归的目标检测与精确定位方法
CN103955915A (zh) 基于稀疏表示和多字典的sar图像分割
CN105023016B (zh) 基于压缩感知分类的目标感知方法
CN106570910A (zh) 基于自编码特征和近邻模型的图像自动标注方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant