CN106355607B - 一种宽基线彩色图像模板匹配方法 - Google Patents

一种宽基线彩色图像模板匹配方法 Download PDF

Info

Publication number
CN106355607B
CN106355607B CN201610662362.6A CN201610662362A CN106355607B CN 106355607 B CN106355607 B CN 106355607B CN 201610662362 A CN201610662362 A CN 201610662362A CN 106355607 B CN106355607 B CN 106355607B
Authority
CN
China
Prior art keywords
value
image
template
pixel
width
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610662362.6A
Other languages
English (en)
Other versions
CN106355607A (zh
Inventor
贾迪
刘超
董娜
孙劲光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning Technical University
Original Assignee
Liaoning Technical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning Technical University filed Critical Liaoning Technical University
Priority to CN201610662362.6A priority Critical patent/CN106355607B/zh
Publication of CN106355607A publication Critical patent/CN106355607A/zh
Application granted granted Critical
Publication of CN106355607B publication Critical patent/CN106355607B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提出一种宽基线彩色图像模板匹配方法,属于图像处理技术领域,该方法利用图像多通道特征,提出采用矢量VSAD度量两幅图像间抽样像素的一致性,并以此为基础给出一种Lab‑SAD方法增加待匹配区域在目标影像中有效信息;其次,提出选取的模板中所包含的颜色或颜色组合在待匹配图像中越少,则匹配正确性概率越高这一假设,给出一种分值图的计算方法,该图中的像素灰度值越大则分数越高,则以该位置为基础选取模板进行匹配的准确率越高;最后,给出依据分值图排序模板区域的方法,并选取高分值区域作为最终的模板选择区域,通过实验验证了本发明在宽基线条件下具备较高的准确性与有效性。

Description

一种宽基线彩色图像模板匹配方法
技术领域
本发明属于图像处理技术领域,具体涉及一种宽基线彩色图像模板匹配方法。
背景技术
模板匹配算法通常考虑所有可能的变换,包括旋转、尺度及仿射变换;Alexe等提供了一种高效的计算方式处理两幅图像匹配窗口中的高维矢量,该方法提取两个窗口重叠部分的边界,并使用它去限制与匹配多窗口;Tsai等提出一种模板匹配方法,该方法使用波分解与环形投影法并重点考虑了旋转变换;Kim等给出一种灰度模板匹配方法,该具备较好地抗旋转与尺度变换;Yao等提出一种搜索颜色纹理的方法,该方法同样考虑了旋转与尺度变换;在宽基线条件下,后三种方法存在匹配质量不高的问题;另一项相关研究为Tian等的工作,该方法对密度形变场进行参数估计,是一种从目标变换参数空间中获得最小变换距离的方法;FAST-Match由Korman等于2013年提出,该方法通过抽样计算匹配区域像素间最小化SAD判定匹配结果,并使用全局索模板匹配实现加速搜索;Yang等以该方法为基础,实现了一种由粗到精的区域选择与匹配。
宽基线条件下,随着摄影基线的增大,待匹配区域在目标影像中有效信息逐渐降低,这种情况下有效地利用图像中的多种信息、选择合适的待匹配位置成为提高匹配准确性的有效手段;由于Fast-Match方法是一种最新基于灰度图像匹配的方法,而在匹配彩色图像时需要首先进行颜色空间的转换,这一映射过程将导致彩色信息的损失,导致在匹配色彩空间差异较大区域时出现误匹配;模板匹配方法在匹配宽基线图像时存在以下影响匹配准确性的问题:1)随着摄影基线的增大,待匹配区域在目标影像中有效信息逐渐降低;2)匹配区域的选择对匹配结果准确性影响较大。
发明内容
针对现有技术的不足,本发明提出一种宽基线彩色图像模板匹配方法,该方法构造VSAD、Lab-SAD方法提高彩色图像匹配的准确率;依据选取的模板中所包含的颜色或颜色组合在待匹配图像中越少,则匹配正确性概率越高这一假设,利用分值图排序模板区域,并选取高分值区域作为最终的模板选择区域,以此提高模板匹配的准确率。
一种宽基线彩色图像模板匹配方法,包括以下步骤:
步骤1、将待匹配的两个图像的像素点进行分块,采用密度聚类方法对每个分块的R、G、B三维数据进行聚类,将分块内同类像素点进行标号且计算同通道均值,构建结构集,根据待匹配的两个图像之间每个结构单元的欧式距离,更新结构集,根据更新后的结构集获得分值图;
步骤2、根据分值图获得积分图;
步骤3、根据实际需求设定待匹配模板的大小;
步骤4、遍历积分图中的每个像素点,获得以目标像素点为右下角的矩形区域的分值累计值,获得由多个单元构成的集合,所述单元包括分值累计值和目标像素点坐标;
步骤5、根据分值累计值将单元由大到小进行排序,获得排序后的集合;
步骤6、从分值累计值最大的单元开始,在排序后的集合中抽取多个不相邻区域的单元,获得模板选择结果集;
步骤7、在第一幅图像中将选择的模板进行仿射变换,变换模板的边长、位置和角度,根据变换后的位置,在第二幅图像中获得变换后的区域;
步骤8、随机选取第一幅图像中模板的像素点和第二幅图像中变换后区域的像素点,获得第一幅图像中模板的像素点坐标与第二幅图像中变换后区域的像素点坐标相似度差异值;
步骤9、反复执行步骤7至步骤8,对模板进行多次仿射变换,获得每次变换后的相似度差异值,选择其中相似度差异值最小值所对应的仿射变换矩阵,对模板进行仿射变换,获得在第二幅图像中的对应区域,完成匹配。
步骤1所述的将待匹配的两个图像的像素点进行分块,采用密度聚类方法对每个分块的R、G、B三维数据进行聚类,将分块内同类像素点进行标号且计算同通道均值,构建结构集,根据待匹配的两个图像之间每个结构单元的欧式距离,更新结构集,根据更新后的结构集获得分值图,具体步骤如下:
步骤1-1、根据实际需求设定分块大小,将第一幅图像与第二幅图像分别进行分块,获得第一幅图像分块集合和第二幅图像分块集合;
步骤1-2、将第一幅图像分块集合和第二幅图像分块集合中的每个分块的R、G、B三维数据进行密度聚类处理,将分块内同类像素点进行标号,获得聚类后的第一幅图像分块集合和第二幅图像分块集合;
步骤1-3、获得每个分块内部同类标号的同通道均值建立结构单元,获得第一幅图像结构集S1和第二幅图像结构集S2
所述的结构单元s公式如下:
其中,BN表示分块号,<x1,y1>..<xn,yn>表示当前分块内同类标号的像素点坐标;
步骤1-4、将结构单元中同通道均值替换为L、a、b,对结构单元进行更新;
更新后的结构单元s公式如下:
s=[Lab BN<x1,y1>..<xn,yn>] (2)
其中,L表示Lab颜色空间中的L分量,用于表示像素的亮度,取值范围是[0,100],取值为0时为纯黑,取值为100时为纯白;a表示从红色到绿色的范围,取值范围为[127,-128];b表示从黄色到蓝色的范围,取值范围为[127,-128];
步骤1-5、获得第一幅图像结构集S1到第二幅图像结构集S2的各结构单元s之间a、b的欧式距离;
步骤1-6、获得欧式距离小于设定阈值的数量,并将数量的倒数记入结构单元的首字节;
记入后的结构单元s公式如下:
其中,N表示欧式距离小于设定阈值的数量;
步骤1-7、构造一个与第一幅图像同大小的零矩阵,遍历第一幅图像结构集中所有的结构单元,将每个结构单元中的首字节,根据结构单元中的像素点坐标对应填入零矩阵中,即获得分值图。
步骤7所述的在第一幅图像中将选择的模板进行仿射变换,变换模板的边长、位置和角度,根据变换后的位置,在第二幅图像中获得变换后的区域;
仿射变换公式如下:
[x y 1]=p·T (4)
其中,[x y 1]表示经仿射变换后的坐标,p=[X Y 1]表示第一幅图像中模板中像素点的坐标;
T表示变换矩阵,具体公式如下:
其中,λx表示横向缩放比例系数,取值范围为[0.1 10],λy表示纵向缩放比例系数,取值范围为[0.110],θ表示旋转角,取值范围是0°-359°,xo和yo表示模板中心像素点坐标。
步骤8所述的随机选取第一幅图像中模板的像素点和第二幅图像中变换后区域的像素点,获得第一幅图像中模板的像素点坐标与第二幅图像中变换后区域的像素点坐标相似度差异值;
相似度差异值ΔT(I1,I2)计算公式如下:
其中,I1表示第一幅图像,I2表示第一幅图像;n1表示随机选取的像素点个数;表示第一幅图像I1中模板的像素点p的a通道值,表示第一幅图像I1中模板的像素点p的b通道值,表示第二幅图像I2中模板的像素点T(p)的a通道值,表示第二幅图像I2中模板的像素点T(p)的b通道值。
本发明优点:
宽基线条件下,随着摄影基线的增大,待匹配区域在目标影像中有效信息逐渐降低,这种情况下如何有效利用图像中的有效信息,如何选择待匹配位置将成为提高匹配准确性重点考虑的问题;本项发明提出宽基线彩色图像模板匹配方法,该方法利用图像多通道特征,提出采用矢量VSAD度量两幅图像间抽样像素的一致性,并以此为基础给出一种Lab-SAD方法增加待匹配区域在目标影像中有效信息;其次,提出选取的模板中所包含的颜色或颜色组合在待匹配图像中越少,则匹配正确性概率越高这一假设,给出一种分值图的计算方法,该图中的像素灰度值越大则分数越高,则以该位置为基础选取模板进行匹配的准确率越高。最后,给出依据分值图排序模板区域的方法,并选取高分值区域作为最终的模板选择区域,通过实验验证了本发明在宽基线条件下具备较高的准确性与有效性。
附图说明
图1为本发明一种实施方式的宽基线彩色图像模板匹配方法流程图;
图2为本发明一种实施方式的步骤1流程图;
图3为本发明一种实施方式的分值图的获取过程示意图,其中,图(a)为目标场景第一视角图像,图(b)为目标场景第二视角图像,图(c)为经聚类处理后目标场景第一视角图像,图(d)为经聚类处理后目标场景第二视角图像,图(e)为分值图;
图4为本发明一种实施方式的最佳匹配模板的选择示意图,其中,图(a)~图(f)为多种匹配情况的模拟图;
图5为本发明一种实施方式的利用积分图求解矩形内像素示意图;
图6为本发明一种实施方式的待匹配图像与模板选择位置示意图;
图7为本发明一种实施方式的彩色图像转灰度图像的信息损失示意图,其中,图(a)为原始图像,图(b)为图(a)转为灰度化后的图;
图8为本发明一种实施方式的Lab-SAD空间示意图;
图9为本发明一种实施方式的本发明与现有方法匹配结果示意图,其中,图(a)为采用本方法获得的匹配结果示意图,图(b)为采用Fast-Match方法获得的匹配结果示意图;图(c)为图(a)中每个匹配位置的区域放大图;图(d)为图(b)中每个匹配位置的区域放大图;
图10为本发明一种实施方式的随机选择模板匹配结果示意图,其中,图(a)为采用随机方法确定的模板位置示意图,图(b)为采用本文方法获得的匹配结果示意图,图(c)为相应的局部放大区域示意图;
图11为本发明一种实施方式的算法性能评估曲线图,其中,图(a)为采用本方法与Fast-Match方法的对比结果示意图,图(b)为采用本方法匹配所有位置的实验结果示意图。
具体实施方式
下面结合附图对本发明一种实施例做进一步说明。
本发明实施例中,选用4核主频为3.3GHz的CPU,内存8G的计算机作为实验环境,Matlab编码;采用牛津大学数据Graf,其中包含6张不同视角拍摄的同目标影像,以及建筑影像数据Pascal VOC 2010;
宽基线彩色图像模板匹配方法,方法流程图如图1所示,包括以下步骤:
步骤1、将待匹配的两个图像的像素点进行分块,采用密度聚类方法对每个分块的R、G、B三维数据进行聚类,将分块内同类像素点进行标号且计算同通道均值,构建结构集,根据待匹配的两个图像之间每个结构单元的欧式距离,更新结构集,根据更新后的结构集获得分值图;方法流程图如图2所示,具体步骤如下:
步骤1-1、根据实际需求设定分块大小为100×100,将第一幅图像I1与第二幅图像I2分别进行分块,获得第一幅图像分块集合B1和第二幅图像分块集合B2
本发明实施例中,如图3中图(a)和图(b)所示,两幅包含相同场景的宽基线影像;
步骤1-2、将第一幅图像分块集合B1和第二幅图像分块集合B2中的每个分块的R、G、B三维数据进行密度聚类(DBSCAN)处理,将分块内同类像素点进行标号,获得聚类后的第一幅图像分块集合DB1和第二幅图像分块集合DB2
本发明实施例中,如图3中图(c)和图(d)所示,为图3中图(a)和图(b)采用分块密度聚类方法后获得的结果示意图;为了缩短本文算法的处理时间,本发明采用多核CPU通过并行DBSCAN算法处理对每个分块进行密度聚类。采用一颗8核的CPU处理的800×600的图像,当分块大小为100×100时,耗时2.8秒;
步骤1-3、获得每个分块内部同类标号的同通道均值建立结构单元,获得第一幅图像结构集S1和第二幅图像结构集S2
所述的结构单元s公式如下:
其中,BN表示分块号,<x1,y1>..<xn,yn>表示当前分块内同类标号的像素点坐标;
步骤1-4、将结构单元中同通道均值替换为L、a、b,对结构单元进行更新;
更新后的结构单元s公式如下:
s=[Lab BN<x1,y1>..<xn,yn>] (2)
其中,L表示Lab颜色空间中的L分量,用于表示像素的亮度,取值范围是[0,100],取值为0时为纯黑,取值为100时为纯白;a表示从红色到绿色的范围,取值范围为[127,-128];b表示从黄色到蓝色的范围,取值范围为[127,-128];
步骤1-5、获得第一幅图像结构集S1到第二幅图像结构集S2的各结构单元s之间a、b的欧式距离;
本发明实施例中,令s1为<a1 b1>,s2为<a2 b2>,其欧式距离dist为:
步骤1-6、获得欧式距离小于设定阈值Tr=2的数量N,并将数量的倒数记入S1中结构单元的首字节;
记入后的结构单元s公式如下:
其中,N表示欧式距离小于设定阈值的数量;
步骤1-7、构造一个与第一幅图像同大小(行列分别为m及n)的零矩阵T,遍历第一幅图像结构集S1中所有的结构单元s,将每个结构单元s中的首字节根据结构单元中的像素点坐标<x1,y1>..<xn,yn>对应填入零矩阵中,即获得分值图ScoreMap;
本发明实施例中,如图4中图(a)至图(f)所示,分值图与选择最佳模板匹配位置计算理论如下:
在选取模板进行匹配前,模板的选定位置会对匹配结果的准确性产生重要影响,这是由于Fast-Match匹配方法是一种以抽样区域像素点灰度间欧式距离作为相似性度量的方法;
进行两幅图像匹配时,选择两幅图像中颜色或颜色组合越少的区域,在进行区域随机抽样匹配时准确率越高。如图4所示,其中1号区域为背景色灰色,2号区域为红色,3号区域为黄色;图4中图(b)是由图4中图(a)旋转缩小后得到的结果,如果将模板选择在1号区域上,则由于在匹配图像中存在多类似的区域导致不能准确地定位匹配位置;如将模板选择在2号区域上,则由于该区域在匹配目标中仅有一处,因此通过模板匹配可以获得准确匹配结果;随着相似区域的增加,如图4中图(c)所示,图4中图(a)与其匹配准确率可能出现降低;图4中图(d)为图4中图(c)经旋转、缩小变换后得到的图像,也存在同样的问题;图4中图(e)中,3号所在区域的选择位置中具有唯一颜色特征组合,因此匹配结果唯一;基于上述假设,本发明提出一种分值图表示方法:以分值描述当前位置的颜色或颜色组合出现的概率,分值图中灰度值越高的像素,则代表分值越高,则选择该位置作为模板匹配的正确率越高;
本发明实施例中,如图3中图(e)所示,分值最高(灰度值)的区域为对应原图中的鸡嘴(黄色)区域,而该区域在目标图像中存在的部分最少;大部分的背景(灰色)区域的分值最低,而该类区域在目标图像中存在的部分最多,因此可以直观地反映分值图计算方法的正确性;
步骤2、根据分值图获得积分图SMSAT;
本发明实施例中,采用积分图加速计算区块累计值和;
积分图的概念最早是由Paul Viola等人提出,图5上任意一点的值是指从灰度图像的左上角与当前点所围成的矩形区域内所有像素点灰度值之和,令SAT(*)为当前位置的积分值,图5给出了利用积分图求解矩形内像素和的示例;
矩形区域ABCD是以I(i,j)为中心,边长分别为2rx与2ry构成;通常累计矩形内像素和需要遍历2rx×2ry次,而通过积分图计算,则可通过矩形四点的加减运算得到:
步骤3、根据实际需求设定待匹配模板的大小为W×H;
本发明实施例中,匹配模板的大小为100×100;
步骤4、遍历积分图中的每个像素点,获得以目标像素点为右下角的矩形区域的分值累计值,获得由m×n个单元<BS ij>构成的集合S,m为分值图的长,n为分值图的宽;
本发明实施例中,遍历积分图SMSAT中的每个点(i,j),通过以下公式计算以(i,j)为左上角,(i+W,j+H)为右下角的矩形区域分值累计值BS,其中BS的计算方法如下:
BS=SAT(i+W,j+H)+SAT(i,j)-SAT(i+W,j)-SAT(i,j+W) (8)
步骤5、根据分值累计值BS将单元<BS ij>由大到小进行排序,获得排序后的集合S;
步骤6、从分值累计值最大的单元S[0]开始,在排序后的集合中抽取多个不相邻区域的单元,获得模板选择结果集R;
本发明实施例中,如图6所示,抽取12个不相邻区域的单元,即在第一幅图像标记了12个模板;
步骤7、在第一幅图像中将选择的模板进行仿射变换,变换模板的边长、位置和角度,根据变换后的位置,在第二幅图像中获得变换后的区域;
仿射变换公式如下:
[x y 1]=p·T (4)
其中,[x y 1]表示经仿射变换后的坐标,p=[X Y 1]表示第一幅图像中模板中像素点的坐标;
T表示变换矩阵,具体公式如下:
其中,λx表示横向缩放比例系数,取值范围为[0.1 10],λy表示纵向缩放比例系数,取值范围为[0.1 10],θ表示旋转角,取值范围是0°~359°,xo和yo表示模板中心像素点坐标;
步骤8、随机选取第一幅图像中模板的像素点和第二幅图像中变换后区域的像素点,获得第一幅图像中模板的像素点坐标与第二幅图像中变换后区域的像素点坐标相似度差异值;
本发明实施例中,ΔT(I1,I2)计算理论如下:
彩色图像灰度化将损失部分重要信息,如图7中图(a)所示由三种颜色构成,其RGB的值分别为(69,0,0)、(0,35,0)、(0,0,182);图7中图(b)是由图7中图(a)灰度化后获得的结果。由图可见,红、绿、蓝区域转化后的灰度相同,其值均为21;由此可见,当使用模板匹配算法时,损失了原有图像中的颜色信息,可能导致匹配错误率升高;
本发明实施例中,第一幅图像I1与第二幅图像I2间的相似性ΔT(I1,I2)由SAD(sumof absolute differences)计算得到,令T为第一幅图像I1中的像素p到第二幅图像I2中像素间的仿射变换矩阵,则有如下方程:
本发明实施例中,第一幅图像I1与第二幅图像I2均为彩色图象,则灰度化后的公式(9)修改如下:
本发明实施例中,为了避免彩色图像灰度化将损失部分重要信息的问题,利用模板与匹配图像中每个通道间的欧式距离绝对值确定二者间的相似性:
本发明实施例中,不失一般性,上述公式可以表达为矢量SAD(Vector SAD):
其中,V(m)表示m通道的矢量值,K表示通道总数;
本发明实施例中,为了更好地完成匹配,将彩色图象由RGB空间转为Lab空间;当计算两幅彩色图象的相似性时,通过计算<a,b>的SAD是否落在长为w、宽为h的立方体内,以此判断模板与匹配区域的相似度;为了获得光照鲁棒性,同时为了减少计算量,未考虑L的值,此时颜色空间的相似性判断如图8所示,则Lab-SAD可表示为:
其中,I1表示第一幅图像,I2表示第一幅图像;n1表示随机选取的像素点个数,通常像素点p应选取多个,p的个数越多,匹配结果约准确,本发明实施例中n1取值为200;表示第一幅图像I1中模板的像素点p的a通道值,表示第一幅图像I1中模板的像素点p的b通道值,表示第二幅图像I2中模板的像素点T(p)的a通道值,表示第二幅图像I2中模板的像素点T(p)的b通道值;
步骤9、反复执行步骤7至步骤8,对模板进行多次仿射变换,获得每次变换后的相似度差异值,选择其中相似度差异值最小值所对应的仿射变换矩阵,对模板进行仿射变换,获得在第二幅图像中的对应区域,完成匹配。
图9中图(a)为采用本方法获得的匹配结果,图9中图(b)为采用Fast-Match方法获得的匹配结果;图9中图(c)和图(d)分别为图9中图(a)和图(b)中每个匹配位置的区域放大图。由图9中图(c)可见,I、II、III、IV、V、IX、X、XI、XII为正确的匹配区域,因此其匹配准确率为9/12=75%,而图9中图(d)中,仅有II,III,V为正确匹配区域,因此其准确率为25%,验证了本方法的有效性;
图10中图(a)为采用随机方法确定的模板位置(模板间不重叠,尽可能使模板分布均匀),图10中图(b)为采用本方法获得的匹配结果,相应的局部放大区域如图10中图(c)所示;由图10中图(c)可见,正确的匹配区域为II、VI、IX、XII,因此其匹配准确率为33%,低于75%,验证了本方法的有效性;
图11为一组算法性能评估图;其中,图11中图(a)为采用本方法与Fast-Match方法的对比结果,由图可见,在摄影基线变换不大的情况下,两种方法的准确率均较高,达到90%以上。随着摄影基线的增加,Fast-Match方法所采用的SAD方法匹配准确率降低速率更快,如在编号为6的图像中,本文所采用的Lab-SAD方法匹配准确率为40%,而Fast-Match方法匹配准确率低于20%;图11中图(b)为采用本方法匹配所有位置的实验结果,其中上方曲线为落在高分值图区域且匹配正确的比率,下方曲线为未落在高分值图区域且匹配正确的比率,由图可见,高分值图区域的合理选择将提高模板匹配方法的准确率,同样验证了本文方法的有效性。

Claims (4)

1.一种宽基线彩色图像模板匹配方法,其特征在于,包括以下步骤:
步骤1、将待匹配的两个图像的像素点进行分块,采用密度聚类方法对每个分块的R、G、B三维数据进行聚类,将分块内同类像素点进行标号且计算同通道均值,构建结构集,根据待匹配的两个图像之间每个结构单元的欧式距离,更新结构集,根据更新后的结构集获得分值图;
步骤2、根据分值图获得积分图;
步骤3、根据实际需求设定待匹配模板的大小;
步骤4、遍历积分图中的每个像素点,获得以目标像素点为右下角的矩形区域的分值累计值,获得由多个单元构成的集合,所述单元包括分值累计值和目标像素点坐标;
步骤5、根据分值累计值将单元由大到小进行排序,获得排序后的集合;
步骤6、从分值累计值最大的单元开始,在排序后的集合中抽取多个不相邻区域的单元,获得模板选择结果集;
步骤7、在第一幅图像中将选择的模板进行仿射变换,变换模板的边长、位置和角度,根据变换后的位置,在第二幅图像中获得变换后的区域;
步骤8、随机选取第一幅图像中模板的像素点和第二幅图像中变换后区域的像素点,获得第一幅图像中模板的像素点坐标与第二幅图像中变换后区域的像素点坐标相似度差异值;
步骤9、反复执行步骤7至步骤8,对模板进行多次仿射变换,获得每次变换后的相似度差异值,选择其中相似度差异值最小值所对应的仿射变换矩阵,对模板进行仿射变换,获得在第二幅图像中的对应区域,完成匹配。
2.根据权利要求1所述的宽基线彩色图像模板匹配方法,其特征在于,步骤1所述的将待匹配的两个图像的像素点进行分块,采用密度聚类方法对每个分块的R、G、B三维数据进行聚类,将分块内同类像素点进行标号且计算同通道均值,构建结构集,根据待匹配的两个图像之间每个结构单元的欧式距离,更新结构集,根据更新后的结构集获得分值图,具体步骤如下:
步骤1-1、根据实际需求设定分块大小,将第一幅图像与第二幅图像分别进行分块,获得第一幅图像分块集合和第二幅图像分块集合;
步骤1-2、将第一幅图像分块集合和第二幅图像分块集合中的每个分块的R、G、B三维数据进行密度聚类处理,将分块内同类像素点进行标号,获得聚类后的第一幅图像分块集合和第二幅图像分块集合;
步骤1-3、获得每个分块内部同类标号的同通道均值建立结构单元,获得第一幅图像结构集S1和第二幅图像结构集S2
所述的结构单元s公式如下:
其中,BN表示分块号,<x1,y1>..<xn,yn>表示当前分块内同类标号的像素点坐标;
步骤1-4、将结构单元中同通道均值替换为L、a、b,对结构单元进行更新;
更新后的结构单元s公式如下:
s=[L a b BN<x1,y1>..<xn,yn>] (2)
其中,L表示Lab颜色空间中的L分量,用于表示像素的亮度,取值范围是[0,100],取值为0时为纯黑,取值为100时为纯白;a表示从红色到绿色的范围,取值范围为[127,-128];b表示从黄色到蓝色的范围,取值范围为[127,-128];
步骤1-5、获得第一幅图像结构集S1到第二幅图像结构集S2的各结构单元s之间a、b的欧式距离;
步骤1-6、获得欧式距离小于设定阈值的数量,并将数量的倒数记入结构单元的首字节;
记入后的结构单元s公式如下:
其中,N表示欧式距离小于设定阈值的数量;
步骤1-7、构造一个与第一幅图像同大小的零矩阵,遍历第一幅图像结构集中所有的结构单元,将每个结构单元中的首字节,根据结构单元中的像素点坐标对应填入零矩阵中,即获得分值图。
3.根据权利要求1所述的宽基线彩色图像模板匹配方法,其特征在于,步骤7所述的在第一幅图像中将选择的模板进行仿射变换,变换模板的边长、位置和角度,根据变换后的位置,在第二幅图像中获得变换后的区域;
仿射变换公式如下:
[x y 1]=p·T (4)
其中,[x y 1]表示经仿射变换后的坐标,p=[X Y 1]表示第一幅图像中模板中像素点的坐标;
T表示变换矩阵,具体公式如下:
其中,λx表示横向缩放比例系数,取值范围为[0.110],λy表示纵向缩放比例系数,取值范围为[0.1 10],θ表示旋转角,取值范围是0°-359°,xo和yo表示模板中心像素点坐标。
4.根据权利要求1所述的宽基线彩色图像模板匹配方法,其特征在于,步骤8所述的随机选取第一幅图像中模板的像素点和第二幅图像中变换后区域的像素点,获得第一幅图像中模板的像素点坐标与第二幅图像中变换后区域的像素点坐标相似度差异值;
相似度差异值ΔT(I1,I2)计算公式如下:
其中,I1表示第一幅图像,I2表示第一幅图像;n1表示随机选取的像素点个数;表示第一幅图像I1中模板的像素点p的a通道值,表示第一幅图像I1中模板的像素点p的b通道值,表示第二幅图像I2中模板的像素点T(p)的a通道值,表示第二幅图像I2中模板的像素点T(p)的b通道值。
CN201610662362.6A 2016-08-12 2016-08-12 一种宽基线彩色图像模板匹配方法 Expired - Fee Related CN106355607B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610662362.6A CN106355607B (zh) 2016-08-12 2016-08-12 一种宽基线彩色图像模板匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610662362.6A CN106355607B (zh) 2016-08-12 2016-08-12 一种宽基线彩色图像模板匹配方法

Publications (2)

Publication Number Publication Date
CN106355607A CN106355607A (zh) 2017-01-25
CN106355607B true CN106355607B (zh) 2019-01-22

Family

ID=57843875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610662362.6A Expired - Fee Related CN106355607B (zh) 2016-08-12 2016-08-12 一种宽基线彩色图像模板匹配方法

Country Status (1)

Country Link
CN (1) CN106355607B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110580729B (zh) * 2018-06-11 2022-12-09 阿里巴巴集团控股有限公司 图片的配色方法和装置以及电子设备
CN109242011A (zh) * 2018-08-27 2019-01-18 深圳开立生物医疗科技股份有限公司 一种识别图像差异的方法及装置
CN109829502B (zh) * 2019-02-01 2023-02-07 辽宁工程技术大学 一种面向重复纹理及非刚性形变的像对高效稠密匹配方法
CN109886325B (zh) * 2019-02-01 2022-11-29 辽宁工程技术大学 一种非线性颜色空间分类的模板选择与加速匹配方法
CN112926695B (zh) * 2021-04-16 2024-05-24 动员(北京)人工智能技术研究院有限公司 基于模板匹配的图像识别方法和系统
CN114327215B (zh) * 2022-03-15 2022-07-29 之江实验室 一种智能识别图表刷选目标的方法、装置和介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103700099A (zh) * 2013-12-18 2014-04-02 同济大学 一种旋转和尺度不变的宽基线立体匹配方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3009985A4 (en) * 2013-06-13 2017-02-15 Konica Minolta, Inc. Image processing method, image processing device, and image processing program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103700099A (zh) * 2013-12-18 2014-04-02 同济大学 一种旋转和尺度不变的宽基线立体匹配方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Colour FAST (CFAST) match: fast affine template matching for colour images;Di Jia 等;《ELECTRONICS LETTERS》;20160731;第1220-1221页 *
Simon Korman 等.FAsT-Match: Fast Affine Template Matching.《CVPR 2013 IEEE conference》.2013,第2331-2338页. *
基于非参数模型的点集匹配算法研究;马佳义;《中国博士学位论文全文数据库 信息科技辑》;20150715;第2015年卷(第07期);全文 *

Also Published As

Publication number Publication date
CN106355607A (zh) 2017-01-25

Similar Documents

Publication Publication Date Title
CN106355607B (zh) 一种宽基线彩色图像模板匹配方法
CN108549873B (zh) 三维人脸识别方法和三维人脸识别系统
CN105894502B (zh) 基于超图模型的rgbd图像显著性检测方法
CN106250870B (zh) 一种联合局部和全局相似性度量学习的行人再识别方法
CN105303152B (zh) 一种人体再识别方法
CN103035013B (zh) 一种基于多特征融合的精确运动阴影检测方法
CN109344701A (zh) 一种基于Kinect的动态手势识别方法
CN103810473B (zh) 一种基于隐马尔科夫模型的人体对象的目标识别方法
CN103632146B (zh) 一种基于头肩距的人体检测方法
CN105787481B (zh) 一种基于目标性潜在区域分析的目标检测方法及其应用
CN104850850A (zh) 一种结合形状和颜色的双目立体视觉图像特征提取方法
CN104966085A (zh) 一种基于多显著特征融合的遥感图像感兴趣区域检测方法
CN103606170B (zh) 基于彩色尺度不变的街景影像特征检测与匹配方法
CN105046701B (zh) 一种基于构图线的多尺度显著目标检测方法
CN109740572A (zh) 一种基于局部彩色纹理特征的人脸活体检测方法
CN103366178A (zh) 一种用于对目标图像进行颜色分类的方法与设备
CN104657980A (zh) 一种改进的基于Meanshift的多通道图像分割算法
CN111461036B (zh) 一种利用背景建模增强数据的实时行人检测方法
CN108629783A (zh) 基于图像特征密度峰值搜索的图像分割方法、系统及介质
CN108960142B (zh) 基于全局特征损失函数的行人再识别方法
CN103839042A (zh) 人脸识别方法和人脸识别系统
CN109920018A (zh) 基于神经网络的黑白照片色彩恢复方法、装置及存储介质
CN103678552A (zh) 基于显著区域特征的遥感影像检索方法及系统
CN108388901B (zh) 基于空间-语义通道的协同显著目标检测方法
CN114279433A (zh) 地图数据自动化生产方法、相关装置及计算机程序产品

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190122

Termination date: 20200812