CN106251362B - 一种基于快速相关邻域特征点的滑窗目标跟踪方法及系统 - Google Patents

一种基于快速相关邻域特征点的滑窗目标跟踪方法及系统 Download PDF

Info

Publication number
CN106251362B
CN106251362B CN201610562320.5A CN201610562320A CN106251362B CN 106251362 B CN106251362 B CN 106251362B CN 201610562320 A CN201610562320 A CN 201610562320A CN 106251362 B CN106251362 B CN 106251362B
Authority
CN
China
Prior art keywords
window
point
interest
target
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610562320.5A
Other languages
English (en)
Other versions
CN106251362A (zh
Inventor
朱伟
张奔
翟尚礼
杜瀚宇
刘姝含
苗锋
白俊奇
司晓云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Lesi Electronic Equipment Co., Ltd.
Original Assignee
Nanjing Lesi Electronic Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Lesi Electronic Equipment Co Ltd filed Critical Nanjing Lesi Electronic Equipment Co Ltd
Priority to CN201610562320.5A priority Critical patent/CN106251362B/zh
Publication of CN106251362A publication Critical patent/CN106251362A/zh
Application granted granted Critical
Publication of CN106251362B publication Critical patent/CN106251362B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Abstract

本发明公开了一种基于快速相关邻域特征点的滑窗目标跟踪方法,包括以下步骤:S1:生成目标窗口模板;S2:提取快速相关邻域特征点;S3:筛选最优兴趣点;S4:兴趣点滑窗搜索;S5:特征点模板匹配更新;S6:决策投票目标输出。本发明还公开了一种基于快速相关邻域特征点的滑窗目标跟踪系统。本发明解决了复杂场景下目标跟踪的实时性差与稳定性低的问题,以快速相关邻域特征点为兴趣点检测,增强复杂场景下目标特征描述的鲁棒性;利用窗口互相关关系进行兴趣点筛选,提高目标描述的准确性;在进行模板构造时采用滑动窗口搜素与自适应多尺度模板匹配在线更新,最后采用决策投票实现目标窗口输出,提高了复杂场景下目标跟踪的精度及稳定性。

Description

一种基于快速相关邻域特征点的滑窗目标跟踪方法及系统
技术领域
本发明涉及图像处理技术,特别是涉及一种基于快速相关邻域特征点的滑窗目标跟踪方法及系统。
背景技术
目标跟踪技术在图像处理与计算机视觉领域有着广泛的应用,如异常行为监控、交通流量监控、目标行为分析等领域。在现实场景中,由于目标形态变化、场景外部环境突变及场景多目标干扰,给目标跟踪的实时性与鲁棒性带来诸多难题。
目前,国内外研究学者对目标跟踪技术进行了大量研究,齐志权等在专利“一种用于目标跟踪的模板特征选择方法”中提出一种模板特征选取方法,能有效剔除目标模板内的非目标特征点,但应用于复杂场景下目标跟踪鲁棒差。常发亮等在论文“遮挡情况下基于特征相关匹配的目标跟踪算法”中提出边缘匹配算法及多块灰度匹配,解决了部分遮挡情况下目标跟踪问题,该方法难以适应场景性差,难以获得稳定跟踪。Alex Bewley等人在论文“Simple online and realtime tracking”中提出一种在线的实时目标跟踪方法,利用FrRCNN框架构造多目标检测与跟踪,该方法在复杂场景及光照变化剧烈时,跟踪性能难以保证。
发明内容
发明目的:本发明的目的是提供一种能够解决现有技术存在的缺陷的一种基于快速相关邻域特征点的滑窗目标跟踪方法及系统。
技术方案:本发明所述的基于快速相关邻域特征点的滑窗目标跟踪方法,包括以下步骤:
S1:生成目标窗口模板:目标窗口模板Tw包括左水平模板TL、右水平模板TR、上垂直模板TU、下垂直模板TD、当前帧的窗口更新模板Twi和初始目标窗口模板Tw0,其中,左水平模板TL、右水平模板TR、上垂直模板TU和下垂直模板TD由如下方法得到:以当前窗口位置为中心,向左平移m个像素得到左水平模板TL,向右平移m个像素得到右水平模板TR,向上平移n个像素得到上垂直模板TU,向下平移n个像素得到下垂直模板TD
S2:提取快速相关邻域特征点:构建相关邻域中的第一与第二邻域,并设定对应阈值;对目标窗口进行窗口滑动遍历,分别计算窗口第一邻域特征关系f1(i,t)与第二邻域特征关系f2(i,t),根据兴趣点判定准则实现目标模板特征点的提取;
S3:筛选最优兴趣点:提取兴趣点的目标窗口,计算当前窗口与上一帧图像窗口的互相关系数Ckj,构造加权距离系数Ekj,进而计算对应的兴趣点质量得分系数S,对兴趣点集及对应质量得分系数S进行排序,选取质量得分系数在前T%且满足S≥U的特征点子集作为该目标的最优兴趣点;
S4:兴趣点滑窗搜索:对下一帧图像进行兴趣点检测,当检测兴趣点有最优特征点时,根据最优兴趣点相对位置计算映射后的窗口位置;当检测兴趣点无最优特征点时,根据所有检测兴趣点构成的闭合曲线计算映射后的窗口位置,若检测兴趣点大于m个,窗口相对位置变化以所有兴趣点构成曲线的质心位置进行求解;
S5:特征点模板匹配更新:对于步骤S4得到的疑似目标窗口,首先构造多尺度空间窗,对空间窗内连续帧目标变化的长宽进行限定;然后根据目标特征点模板匹配度量采取归一化互相参数,寻找对应每一帧图像中最匹配目标窗口;
S6:决策投票目标输出:对上述空间内疑似目标窗口进行模板匹配,匹配模板采用步骤S1得到的六种目标窗口模板Tw,将所有疑似目标窗口分别与匹配模板中的初始目标窗口模板Tw0进行一一匹配计算出相应的响应N0,将所有疑似目标窗口分别与当前帧的窗口更新模板Twi进行一一匹配计算出相应的响应Ni,分别计算N0、Ni与决策阈值a1的关系,构造投票池A和B,进而判断输出综合得分最大的疑似目标窗口。
进一步,所述步骤S2包括以下步骤:
S2.1:形成候选的相关邻域:相关邻域由两部分邻域构成:第一邻域为标准4邻域,包括4个点;第二邻域包括弱4邻域和4邻域轮廓外侧点,共8个点;
S2.2:设置第一邻域阈值为t1,第二邻域阈值为t2,候选兴趣点的像素值为It,定义候选兴趣点与第一邻域像素的之间邻域特征关系为:
式(1)中,i∈[1,4];
定义候选兴趣点与第二邻域像素的之间邻域特征关系为:
式(2)中,i∈[5,12];
S2.3:判断候选兴趣点:计算当前候选兴趣点的第一邻域特征关系f1(i,t),筛选出至少3个位置满足第一邻域关系f1(i,t)=1或f1(i,t)=-1的候选兴趣点;然后,对筛选后的候选兴趣点的位置按顺时针顺序计算其第二邻域特征关系f2(i,t),依次判断筛选后的候选兴趣点是否存在连续N个位置满足f2(i,t)=1或f2(i,t)=-1,若存在,则输出筛选后的候选兴趣点;否则,则继续进行搜索,直至完成全部第二邻域的搜索。
进一步,所述步骤S3包括以下步骤:
S3.1:提取兴趣点的目标窗口,计算当前窗口与上一帧图像窗口的互相关系数Ckj,如式(3)所示:
式(3)中,σk为区域兴趣点k的标准差,σj为区域兴趣点j的标准差,kuv为兴趣点k在窗口(u,v)处对应的值,juv为兴趣点j的在窗口(u,v)处对应的值,ka为兴趣点k窗口内像素均值,ja为兴趣点j窗口内像素均值,w为目标窗口模板的宽度;
S3.2:根据互相关系数Ckj构造加权距离系数Ekj
式(4)中,rkj为兴趣点k和j的马式距离,σkj为兴趣点k和j的标准差;
S3.3:根据加权距离系数Ekj计算对应的兴趣点质量得分系数S:
S=log(1+Ekj) (5)
S3.4:对兴趣点集及对应质量得分系数S进行排序,选取质量得分系数在前T%且满足S≥U的特征点子集作为该目标的最优特征点。
进一步,所述步骤S5包括以下步骤:
S5.1:对于步骤S4得到的疑似目标窗口,利用高斯金字塔采样构造多尺度空间窗,对空间窗内连续帧目标变化的长宽进行限定,高斯金字塔采样因子N设置为:
N=1.2s (6)
式(6)中,s为空间采样因子;
S5.2:根据目标特征点模板匹配度量采取归一化互相参数,寻找对应每一帧图像中最匹配目标窗口,其中,窗口间归一化互相关参数NCCP为:
式(7)中,T为步骤S1中所述目标窗口模板中的任意一种,TP为疑似目标窗口,w和h分别是目标窗口模板的宽度和高度,i和j分别为目标窗口模板内像素的水平坐标与垂直坐标。
进一步,所述步骤S6包括以下步骤:
S6.1:对上述空间内疑似目标窗口进行模板匹配,匹配模板采用步骤S1得到的六种目标窗口模板Tw,将所有疑似目标窗口分别与匹配模板中的初始目标窗口模板Tw0进行一一匹配计算出相应的响应N0,将所有疑似目标窗口分别与当前帧的窗口更新模板Twi进行一一匹配计算出相应的响应Ni,分别计算N0、Ni与决策阈值a1的关系:若当前疑似目标窗口与N0及Ni都满足归一化互相关参数≥a1,则直接输出该窗口;若当前疑似目标窗口只与N0满足归一化互相关参数≥a1,则返回步骤S2;若当前疑似目标窗口只与Ni满足归一化互相关参数≥a1,则返回步骤S3;若当前疑似目标窗口与N0及Ni都不满足归一化互相关参数≥a1,则返回步骤S4。
S6.2:计算当前疑似目标窗口分别与TL、TR、TU及TD的相关响应NL、NR、Nu及ND,将该疑似目标窗口的综合得分放入决策投票池A中,该情况下综合得分ST计算为下式:
ST=0.3N0+0.5Ni+0.2(NL+NR+NU+ND) (8)
S6.3:计算当前疑似目标窗口与N0、Ni模板的相关响应,将该疑似目标窗口的综合得分放入决策投票池A中,该情况下综合得分ST计算为下式:
ST=0.3N0+0.6Ni+0.1(NL+NR+NU+ND) (9)
S6.4:计算当前疑似目标窗口与N0、Ni模板的相关响应,将该疑似目标窗口的综合得分放入决策投票池B中,该情况下综合得分ST计算为下式:
ST=0.3N0+0.4Ni+0.3(NL+NR+NU+ND) (10)
S6.5:若投票池A中有疑似目标窗口,则直接进行综合得分比较,输出综合得分最大的疑似目标窗口;若投票池A中无疑似目标窗口,则将投票池B中所有疑似目标窗口的综合得分进行比较,输出综合得分最大的疑似目标窗口。
本发明所述的基于快速相关邻域特征点的滑窗目标跟踪系统,该系统包括:
目标窗口模板生成模块:用于生成左水平模板TL、右水平模板TR、上垂直模板TU、下垂直模板TD、当前帧的窗口更新模板Twi和初始目标窗口模板Tw0
快速相关邻域特征点提取模块:用于构建相关邻域中的第一与第二邻域,并设定对应阈值;对目标窗口进行窗口滑动遍历,分别计算窗口第一邻域特征关系f1(i,t)与第二邻域特征关系f2(i,t),根据兴趣点判定准则实现目标模板特征点的提取;
最优兴趣点筛选模块:用于提取兴趣点的目标窗口,计算当前窗口与上一帧图像窗口的互相关系数Ckj,构造加权距离系数Ekj,进而计算对应的兴趣点质量得分系数S,对兴趣点集及对应质量得分系数S进行排序,选取质量得分系数在前T%且满足S≥U的特征点子集作为该目标的最优兴趣点;
兴趣点滑窗搜索模块:用于对下一帧图像进行兴趣点检测,当检测兴趣点有最优特征点时,根据最优兴趣点相对位置计算映射后的窗口位置;当检测兴趣点无最优特征点时,根据所有检测兴趣点构成的闭合曲线计算映射后的窗口位置,若检测兴趣点大于m个,窗口相对位置变化以所有兴趣点构成曲线的质心位置进行求解;
特征点模板匹配更新模块:用于对兴趣点滑窗搜索模块得到的疑似目标窗口构造多尺度空间窗,对空间窗内连续帧目标变化的长宽进行限定;然后根据目标特征点模板匹配度量采取归一化互相参数,寻找对应每一帧图像中最匹配目标窗口;
决策投票目标输出模块:用于对上述空间内疑似目标窗口进行模板匹配,匹配模板采用目标窗口模板生成模块得到的六种目标窗口模板Tw,将所有疑似目标窗口分别与匹配模板中的初始目标窗口模板Tw0进行一一匹配计算出相应的响应N0,将所有疑似目标窗口分别与当前帧的窗口更新模板Twi进行一一匹配计算出相应的响应Ni,分别计算N0、Ni与决策阈值a1的关系,构造投票池A和B,进而判断输出综合得分最大的疑似目标窗口。
有益效果:本发明解决了复杂场景下目标跟踪的实时性差与稳定性低的问题,以快速相关邻域特征点为兴趣点检测,增强复杂场景下目标特征描述的鲁棒性;利用窗口互相关关系进行兴趣点筛选,提高目标描述的准确性;在进行模板构造时采用滑动窗口搜素与自适应多尺度模板匹配在线更新,最后采用决策投票实现目标窗口输出,提高了复杂场景下目标跟踪的精度及稳定性。与现有技术相比,本发明提出的方法在场景适应性与鲁棒性上均获得较好效果,目标跟踪效果优异。
附图说明
图1为本发明的具体实施方式的方法流程图;
图2为本发明的具体实施方式的快速相关邻域特征点检测的示意图;
图3为本发明的具体实施方式的决策投票目标输出过程的流程图。
具体实施方式
下面结合附图和具体实施方式,对本发明的技术方案作进一步的介绍。
本发明公开了一种基于相关邻域特征点的滑窗目标跟踪方法,如图1所示,包括以下步骤:
S1:生成目标窗口模板;
设目标窗口Tw尺寸w×h,窗口位置(x,y),以当前窗口位置为中心,向左平移m个像素得到左水平模板TL,向右平移m个像素得到右水平模板TR,向上平移n个像素得到上垂直模板TU,向下平移n个像素得到下垂直模板TD;其中m=0.2w(向上取整,不足3个像素时取3),n=0.2h(向上取整,不足3个像素时取3),w和h分别是目标窗口模板的宽度和高度,初始得到的目标窗口模板由上述5种模板构成。对于连续帧图像,目标窗口模板都将进行在线更新,进而确保适应目标变化来实现稳定跟踪,同时,初始目标窗口Tw0将继续保留,最终形成的目标窗口模板由上述6种模板构成。
S2:提取快速相关邻域特征点;
包括以下步骤:
S2.1:形成候选的相关邻域:如图2所示,相关邻域由两部分邻域构成:第一邻域为标准4邻域,包括4个点,位置分别为1、2、3和4;第二邻域包括弱4邻域和4邻域轮廓外侧点,弱4领域的位置分别为6、8、10和12,4领域轮廓外侧点的位置分别为5、7、9和11,共8个点;
S2.2:设置第一邻域阈值为t1=10,第二邻域阈值为t2=6,候选兴趣点的像素值为It,定义候选兴趣点与第一邻域像素的之间邻域特征关系为:
式(1)中,i∈[1,4];
定义候选兴趣点与第二邻域像素的之间邻域特征关系为:
式(2)中,i∈[5,12];
f1(i,t)与f2(i,t)刻画了相关邻域对中心像素点的不同影响程度;
S2.3:计算当前候选兴趣点的第一邻域特征关系f1(i,t),筛选出至少3个位置满足第一邻域关系f1(i,t)=1或f1(i,t)=-1的候选兴趣点;然后,对筛选后的候选兴趣点的位置按顺时针顺序计算其第二邻域特征关系f2(i,t),即按照5,6,7,…,12的顺序计算,依次判断筛选后的候选兴趣点是否存在连续N个位置满足f2(i,t)=1或f2(i,t)=-1,若存在,则输出筛选后的候选兴趣点;否则,则继续进行搜索,直至完成全部第二邻域的搜索。
S3:筛选最优兴趣点:
为刻画检测到的兴趣点质量得分系数S,对当前帧图像中兴趣点与其上一帧图像中兴趣点进行特征点匹配,特征点匹配要求兴趣点位置在w×w窗口内,因此,步骤S3包括以下步骤:
S3.1:提取兴趣点的目标窗口,计算当前窗口与上一帧图像窗口的互相关系数Ckj,如式(3)所示:
式(3)中,σk为兴趣点k的标准差,σj为兴趣点j的标准差,kuv为兴趣点k在窗口(u,v)处对应的值,juv为兴趣点j的在窗口(u,v)处对应的值,ka为兴趣点k窗口内像素均值,ja为兴趣点j窗口内像素均值,w为目标窗口模板的宽度;
S3.2:根据互相关系数Ckj构造加权距离系数Ekj
式(4)中,rkj为兴趣点k和j的马式距离,σkj为兴趣点k和j的标准差;
S3.3:根据加权距离系数Ekj计算对应的兴趣点质量得分系数S:
S=log(1+Ekj) (5)
S3.4:对兴趣点集及对应质量得分系数S进行排序,选取质量得分系数在前20%且满足S≥U的特征点子集作为该目标的最优特征点。需要说明的是,若特征点子集中元素不足2个,则不需要进行筛选。
S4:兴趣点滑窗搜索;
对下一帧图像进行兴趣点检测,根据兴趣点位置进行窗口搜索,滑窗搜索实现疑似目标窗口的提取。窗口搜索策略分为以下两个情形:
1)当检测兴趣点有最优特征点时,根据连续帧中最优特征点相对位置计算映射后窗口位置,若最优特征点大于两个,窗口相对位置变化以最优特征点构成曲线的质心位置进行求解;
2)当检测兴趣点无最优特征点时,根据连续帧中所有检测兴趣点构成的闭合曲线计算映射后窗口位置,若检测兴趣点大于两个,窗口相对位置变化以所有兴趣点构成曲线的质心位置进行求解。
S5:特征点模板匹配更新;
上步骤得到的疑似窗口在很多场景下并不能很好的刻画当前帧目标变化情况,因此需要及时调整特征点模板匹配情况来实现自适应窗口更新。步骤S5包括以下步骤:
S5.1:对于原始疑似目标窗口TPw,其尺寸大小为w'×h',为解决多尺度下目标窗口变化,采样变化因子N设置为:
N=1.2s (6)
式(6)中,s∈[-4,4]为空间采样因子,空间窗内连续帧目标变化长宽被分别限制在[0.5w',2w'],[0.5h',2h']。
S5.2:为快速寻找每一帧图像中最匹配的窗口,目标特征点模板匹配度量采取归一化互相参数;窗口间归一化互相关参数NCCP定义如下:
式(7)中,T为步骤S1中所述目标窗口模板中的任意一种,TP为疑似目标窗口,w与h分别是目标窗口模板的宽度和高度,i和j分别为分别为目标窗口模板内像素的水平坐标与垂直坐标,因此在生成疑似目标窗口后都需要将其归一化到目标窗口模板尺寸。
S6:决策投票目标输出;
对上述空间内疑似目标窗口进行模板匹配,疑似目标窗口种类有9种,匹配模板由6种,决策投票目标输出包括以下步骤:
S6.1:对上述空间内疑似目标窗口进行模板匹配,匹配模板采用步骤S1得到的六种目标窗口模板Tw,将所有疑似目标窗口分别与匹配模板中的初始目标窗口模板Tw0进行一一匹配计算出相应的响应N0,将所有疑似目标窗口分别与当前帧的窗口更新模板Twi进行一一匹配计算出相应的响应Ni,分别计算N0、Ni与决策阈值a1的关系:若当前疑似目标窗口与N0及Ni都满足归一化互相关参数≥a1,则直接输出该窗口;若当前疑似目标窗口只与N0满足归一化互相关参数≥a1,则返回步骤S2;若当前疑似目标窗口只与Ni满足归一化互相关参数≥a1,则返回步骤S3;若当前疑似目标窗口与N0及Ni都不满足归一化互相关参数≥a1,则返回步骤S4。
S6.2:计算当前疑似目标窗口分别与TL、TR、TU及TD的相关响应NL、NR、Nu及ND,将该疑似目标窗口的综合得分放入决策投票池A中,该情况下综合得分ST计算为下式:
ST=0.3N0+0.5Ni+0.2(NL+NR+NU+ND) (8)
S6.3:计算当前疑似目标窗口与N0、Ni模板的相关响应,将该疑似目标窗口的综合得分放入决策投票池A中,该情况下综合得分ST计算为下式:
ST=0.3N0+0.6Ni+0.1(NL+NR+NU+ND) (9)
S6.4:计算当前疑似目标窗口与N0、Ni模板的相关响应,将该疑似目标窗口的综合得分放入决策投票池B中,该情况下综合得分ST计算为下式:
ST=0.3N0+0.4Ni+0.3(NL+NR+NU+ND)(10)
S6.5:若投票池A中有疑似目标窗口,则直接进行综合得分比较,输出综合得分最大的疑似目标窗口;若投票池A中无疑似目标窗口,则将投票池B中所有疑似目标窗口的综合得分进行比较,输出综合得分最大的疑似目标窗口。
本发明还公开了一种基于快速相关邻域特征点的滑窗目标跟踪系统,该系统包括:
目标窗口模板生成模块:用于生成左水平模板TL、右水平模板TR、上垂直模板TU、下垂直模板TD、当前帧的窗口更新模板Twi和初始目标窗口模板Tw0
快速相关邻域特征点提取模块:用于构建相关邻域中的第一与第二邻域,并设定对应阈值;对目标窗口进行窗口滑动遍历,分别计算窗口第一邻域特征关系f1(i,t)与第二邻域特征关系f2(i,t),根据兴趣点判定准则实现目标模板特征点的提取;
最优兴趣点筛选模块:用于提取兴趣点的目标窗口,计算当前窗口与上一帧图像窗口的互相关系数Ckj,构造加权距离系数Ekj,进而计算对应的兴趣点质量得分系数S,对兴趣点集及对应质量得分系数S进行排序,选取质量得分系数在前T%且满足S≥U的特征点子集作为该目标的最优兴趣点;
兴趣点滑窗搜索模块:用于对下一帧图像进行兴趣点检测,当检测兴趣点有最优特征点时,根据最优兴趣点相对位置计算映射后的窗口位置;当检测兴趣点无最优特征点时,根据所有检测兴趣点构成的闭合曲线计算映射后的窗口位置,若检测兴趣点大于m个,窗口相对位置变化以所有兴趣点构成曲线的质心位置进行求解;
特征点模板匹配更新模块:用于对兴趣点滑窗搜索模块得到的疑似目标窗口构造多尺度空间窗,对空间窗内连续帧目标变化的长宽进行限定;然后根据目标特征点模板匹配度量采取归一化互相参数,寻找对应每一帧图像中最匹配目标窗口;
决策投票目标输出模块:用于对上述空间内疑似目标窗口进行模板匹配,匹配模板采用目标窗口模板生成模块得到的六种目标窗口模板Tw,将所有疑似目标窗口分别与匹配模板中的初始目标窗口模板Tw0进行一一匹配计算出相应的响应N0,将所有疑似目标窗口分别与当前帧的窗口更新模板Twi进行一一匹配计算出相应的响应Ni,分别计算N0、Ni与决策阈值a1的关系,构造投票池A和B,进而判断输出综合得分最大的疑似目标窗口。

Claims (6)

1.一种基于快速相关邻域特征点的滑窗目标跟踪方法,其特征在于:包括以下步骤:
S1:生成目标窗口模板:目标窗口模板Tw包括左水平模板TL、右水平模板TR、上垂直模板TU、下垂直模板TD、当前帧的窗口更新模板Twi和初始目标窗口模板Tw0,其中,左水平模板TL、右水平模板TR、上垂直模板TU和下垂直模板TD由如下方法得到:以当前窗口位置为中心,向左平移m个像素得到左水平模板TL,向右平移m个像素得到右水平模板TR,向上平移n个像素得到上垂直模板TU,向下平移n个像素得到下垂直模板TD
S2:提取快速相关邻域特征点:构建相关邻域中的第一与第二邻域,并设定对应阈值;对目标窗口进行窗口滑动遍历,分别计算窗口第一邻域特征关系f1(i1,t)与第二邻域特征关系f2(i2,t),i1为第一邻域的点,i1∈[1,4],i2为第二邻域的点,i2∈[5,12],t为候选兴趣点,根据兴趣点判定准则实现目标模板特征点的提取;
S3:筛选最优兴趣点:提取兴趣点的目标窗口,计算当前窗口与上一帧图像窗口的互相关系数Ckj,构造加权距离系数Ekj,k表示兴趣点k,j表示兴趣点j,进而计算对应的兴趣点质量得分系数S,对兴趣点集及对应质量得分系数S进行排序,选取质量得分系数在前T%且满足S≥U的特征点子集作为该目标的最优兴趣点;T和U都表示阈值;
S4:兴趣点滑窗搜索:对下一帧图像进行兴趣点检测,当检测兴趣点有最优特征点时,根据最优兴趣点相对位置计算映射后的疑似目标窗口位置;当检测兴趣点无最优特征点时,根据所有检测兴趣点构成的闭合曲线计算映射后的疑似目标窗口位置,若检测兴趣点大于m1个,疑似目标窗口相对位置变化以所有兴趣点构成曲线的质心位置进行求解;
S5:特征点模板匹配更新:对于步骤S4得到的疑似目标窗口,首先构造多尺度空间窗,对空间窗内连续帧目标变化的长宽进行限定;然后根据目标特征点模板匹配度量采取归一化互相关参数,寻找对应每一帧图像中最匹配目标窗口;
S6:决策投票目标输出:对上述空间内疑似目标窗口进行模板匹配,匹配模板采用步骤S1得到的六种目标窗口模板,将所有疑似目标窗口分别与匹配模板中的初始目标窗口模板Tw0进行一一匹配计算出相应的响应N0,将所有疑似目标窗口分别与当前帧的窗口更新模板Twi进行一一匹配计算出相应的响应Ni,分别计算N0、Ni与决策阈值a1的关系,构造投票池A和B,进而判断输出综合得分最大的疑似目标窗口。
2.如权利要求1所述的基于快速相关邻域特征点的滑窗目标跟踪方法,其特征在于:所述步骤S2包括以下步骤:
S2.1:形成候选的相关邻域:相关邻域由两部分邻域构成:第一邻域为标准4邻域,包括4个点;第二邻域包括弱4邻域和4邻域轮廓外侧点,共8个点;
S2.2:设置第一邻域阈值为t1,第二邻域阈值为t2,候选兴趣点的像素值为It,定义候选兴趣点与第一邻域像素的之间邻域特征关系为:
式(1)中,i1∈[1,4];为第一邻域点的像素值;
定义候选兴趣点与第二邻域像素的之间邻域特征关系为:
式(2)中,i2∈[5,12];为第二邻域点的像素值;
S2.3:判断候选兴趣点:计算当前候选兴趣点的第一邻域特征关系f1(i1,t),筛选出至少3个位置满足第一邻域关系f1(i1,t)=1或f1(i1,t)=-1的候选兴趣点;然后,对筛选后的候选兴趣点的位置按顺时针顺序计算其第二邻域特征关系f2(i2,t),依次判断筛选后的候选兴趣点是否存在连续N个位置满足f2(i2,t)=1或f2(i2,t)=-1,若存在,则输出筛选后的候选兴趣点;否则,则继续进行搜索,直至完成全部第二邻域的搜索。
3.如权利要求1所述的基于快速相关邻域特征点的滑窗目标跟踪方法,其特征在于:所述步骤S3包括以下步骤:
S3.1:提取兴趣点的目标窗口,计算当前窗口与上一帧图像窗口的互相关系数Ckj,如式(3)所示:
式(3)中,σk为区域兴趣点k的标准差,σj为区域兴趣点j的标准差,kuv为兴趣点k在窗口(u,v)处对应的值,juv为兴趣点j的在窗口(u,v)处对应的值,ka为兴趣点k窗口内像素均值,ja为兴趣点j窗口内像素均值,w为目标窗口模板的宽度;
S3.2:根据互相关系数Ckj构造加权距离系数Ekj
式(4)中,rkj为兴趣点k和j的马式距离,σkj为兴趣点k和j的标准差;
S3.3:根据加权距离系数Ekj计算对应的兴趣点质量得分系数S:
S=log(1+Ekj) (5)
S3.4:对兴趣点集及对应质量得分系数S进行排序,选取质量得分系数在前T%且满足S≥U的特征点子集作为该目标的最优特征点。
4.如权利要求1所述的基于快速相关邻域特征点的滑窗目标跟踪方法,其特征在于:所述步骤S5包括以下步骤:
S5.1:对于步骤S4得到的疑似目标窗口,利用高斯金字塔采样构造多尺度空间窗,对空间窗内连续帧目标变化的长宽进行限定,高斯金字塔采样因子N设置为:
N=1.2s (6)
式(6)中,s为空间采样因子;
S5.2:根据目标特征点模板匹配度量采取归一化互相关参数,寻找对应每一帧图像中最匹配目标窗口,其中,窗口间归一化互相关参数NCCP为:
式(7)中,T1为步骤S1中所述目标窗口模板中的任意一种,TP为疑似目标窗口,w和h分别是目标窗口模板的宽度和高度,i3和j1分别为目标窗口模板内像素的水平坐标与垂直坐标,m为以窗口位置(x,y)为中心,向左或者向右平移的像素个数;n为以窗口位置(x,y)为中心,向上或者向下平移的像素个数。
5.如权利要求1所述的基于快速相关邻域特征点的滑窗目标跟踪方法,其特征在于:所述步骤S6包括以下步骤:
S6.1:对上述空间内疑似目标窗口进行模板匹配,匹配模板采用步骤S1得到的六种目标窗口模板,将所有疑似目标窗口分别与匹配模板中的初始目标窗口模板Tw0进行一一匹配计算出相应的响应N0,将所有疑似目标窗口分别与当前帧的窗口更新模板Twi进行一一匹配计算出相应的响应Ni,分别计算N0、Ni与决策阈值a1的关系:若当前疑似目标窗口与N0及Ni都满足归一化互相关参数≥a1,则直接输出该窗口;若当前疑似目标窗口只与N0满足归一化互相关参数≥a1,则返回步骤S2;若当前疑似目标窗口只与Ni满足归一化互相关参数≥a1,则返回步骤S3;若当前疑似目标窗口与N0及Ni都不满足归一化互相关参数≥a1,则返回步骤S4;
S6.2:计算当前疑似目标窗口分别与TL、TR、TU及TD的相关响应NL、NR、Nu及ND,将该疑似目标窗口的综合得分放入决策投票池A中,该情况下综合得分ST计算为下式:
ST=0.3N0+0.5Ni+0.2(NL+NR+NU+ND) (8)
S6.3:计算当前疑似目标窗口与N0、Ni模板的相关响应,将该疑似目标窗口的综合得分放入决策投票池A中,该情况下综合得分ST计算为下式:
ST=0.3N0+0.6Ni+0.1(NL+NR+NU+ND) (9)
S6.4:计算当前疑似目标窗口与N0、Ni模板的相关响应,将该疑似目标窗口的综合得分放入决策投票池B中,该情况下综合得分ST计算为下式:
ST=0.3N0+0.4Ni+0.3(NL+NR+NU+ND) (10)
S6.5:若投票池A中有疑似目标窗口,则直接进行综合得分比较,输出综合得分最大的疑似目标窗口;若投票池A中无疑似目标窗口,则将投票池B中所有疑似目标窗口的综合得分进行比较,输出综合得分最大的疑似目标窗口。
6.一种基于快速相关邻域特征点的滑窗目标跟踪系统,其特征在于:该系统包括:
目标窗口模板生成模块:用于生成左水平模板TL、右水平模板TR、上垂直模板TU、下垂直模板TD、当前帧的窗口更新模板Twi和初始目标窗口模板Tw0
快速相关邻域特征点提取模块:用于构建相关邻域中的第一与第二邻域,并设定对应阈值;对目标窗口进行窗口滑动遍历,分别计算窗口第一邻域特征关系f1(i1,t)与第二邻域特征关系f2(i2,t),i1为第一邻域的点,i1∈[1,4],i2为第二邻域的点,i2∈[5,12],t为候选兴趣点,根据兴趣点判定准则实现目标模板特征点的提取;
最优兴趣点筛选模块:用于提取兴趣点的目标窗口,计算当前窗口与上一帧图像窗口的互相关系数Ckj,构造加权距离系数Ekj,k表示兴趣点k,j表示兴趣点j,进而计算对应的兴趣点质量得分系数S,对兴趣点集及对应质量得分系数S进行排序,选取质量得分系数在前T%且满足S≥U的特征点子集作为该目标的最优兴趣点;T和U都表示阈值;
兴趣点滑窗搜索模块:用于对下一帧图像进行兴趣点检测,当检测兴趣点有最优特征点时,根据最优兴趣点相对位置计算映射后的疑似目标窗口位置;当检测兴趣点无最优特征点时,根据所有检测兴趣点构成的闭合曲线计算映射后的疑似目标窗口位置,若检测兴趣点大于m个,疑似目标窗口相对位置变化以所有兴趣点构成曲线的质心位置进行求解;
特征点模板匹配更新模块:用于对兴趣点滑窗搜索模块得到的疑似目标窗口构造多尺度空间窗,对空间窗内连续帧目标变化的长宽进行限定;然后根据目标特征点模板匹配度量采取归一化互相关参数,寻找对应每一帧图像中最匹配目标窗口;
决策投票目标输出模块:用于对上述空间内疑似目标窗口进行模板匹配,匹配模板采用目标窗口模板生成模块得到的六种目标窗口模板,将所有疑似目标窗口分别与匹配模板中的初始目标窗口模板Tw0进行一一匹配计算出相应的响应N0,将所有疑似目标窗口分别与当前帧的窗口更新模板Twi进行一一匹配计算出相应的响应Ni,分别计算N0、Ni与决策阈值a1的关系,构造投票池A和B,进而判断输出综合得分最大的疑似目标窗口。
CN201610562320.5A 2016-07-15 2016-07-15 一种基于快速相关邻域特征点的滑窗目标跟踪方法及系统 Active CN106251362B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610562320.5A CN106251362B (zh) 2016-07-15 2016-07-15 一种基于快速相关邻域特征点的滑窗目标跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610562320.5A CN106251362B (zh) 2016-07-15 2016-07-15 一种基于快速相关邻域特征点的滑窗目标跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN106251362A CN106251362A (zh) 2016-12-21
CN106251362B true CN106251362B (zh) 2019-02-01

Family

ID=57613830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610562320.5A Active CN106251362B (zh) 2016-07-15 2016-07-15 一种基于快速相关邻域特征点的滑窗目标跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN106251362B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107481265B (zh) * 2017-08-17 2020-05-19 成都通甲优博科技有限责任公司 目标重定位方法及装置
CN108763346B (zh) * 2018-05-15 2022-02-01 中南大学 一种滑窗箱型图中值滤波的异常点处理方法
CN109959921B (zh) * 2019-02-27 2021-03-26 浙江大学 一种基于北斗授时的声信号距离估计方法
CN110210565B (zh) * 2019-06-05 2021-04-30 中科新松有限公司 归一化互相关图像模板匹配实现方法
CN110517288B (zh) * 2019-07-23 2021-11-02 南京莱斯电子设备有限公司 基于全景多路4k视频图像的实时目标检测跟踪方法
CN111681262B (zh) * 2020-05-08 2021-09-03 南京莱斯电子设备有限公司 一种基于邻域梯度的复杂背景下红外弱小目标检测方法
CN114117934B (zh) * 2021-12-03 2023-04-07 华电新疆哈密煤电开发有限公司 基于门控神经网络的电站锅炉水冷壁壁温在线预测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102385690A (zh) * 2010-09-01 2012-03-21 汉王科技股份有限公司 基于视频图像的目标跟踪方法及系统
CN103605953A (zh) * 2013-10-31 2014-02-26 电子科技大学 基于滑窗搜索的车辆兴趣目标检测方法
CN103871081A (zh) * 2014-03-29 2014-06-18 湘潭大学 一种自适应鲁棒在线目标跟踪方法
CN105260749A (zh) * 2015-11-02 2016-01-20 中国电子科技集团公司第二十八研究所 基于方向梯度二值模式和软级联svm的实时目标检测方法
CN105427286A (zh) * 2015-11-06 2016-03-23 中国电子科技集团公司第二十八研究所 一种基于灰度和梯度分割的红外目标检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102385690A (zh) * 2010-09-01 2012-03-21 汉王科技股份有限公司 基于视频图像的目标跟踪方法及系统
CN103605953A (zh) * 2013-10-31 2014-02-26 电子科技大学 基于滑窗搜索的车辆兴趣目标检测方法
CN103871081A (zh) * 2014-03-29 2014-06-18 湘潭大学 一种自适应鲁棒在线目标跟踪方法
CN105260749A (zh) * 2015-11-02 2016-01-20 中国电子科技集团公司第二十八研究所 基于方向梯度二值模式和软级联svm的实时目标检测方法
CN105427286A (zh) * 2015-11-06 2016-03-23 中国电子科技集团公司第二十八研究所 一种基于灰度和梯度分割的红外目标检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Block Matching Technique for Object Tracking Employing Peripheral Increment Sign Correlation Image;Budi Sugandi et al.;《Proceedings of the International Conference on Computer and Communication Engineering》;20080515;第113-117页
Fast Template Matching Based on Normalized Cross Correlation With Centroid Bounding;Zhuo YANG et al.;《International Conference on Measuring Technology and Mechatronics Automation》;20101231;第224-227页
基于邻域相关度和LBP算子的人脸图像识别;刘雪锋;《吉林大学学报(理学版)》;20150731;第53卷(第4期);第687-692页
遮挡情况下基于特征相关匹配的目标跟踪算法;常发亮 等;《中国图象图形学报》;20060630;第11卷(第6期);第877-882页

Also Published As

Publication number Publication date
CN106251362A (zh) 2016-12-21

Similar Documents

Publication Publication Date Title
CN106251362B (zh) 一种基于快速相关邻域特征点的滑窗目标跟踪方法及系统
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
CN108875600A (zh) 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质
CN104063883B (zh) 一种基于对象和关键帧相结合的监控视频摘要生成方法
CN108764167B (zh) 一种时空关联的目标重识别方法和系统
CN102542289B (zh) 一种基于多高斯计数模型的人流量统计方法
CN109598794B (zh) 三维gis动态模型的构建方法
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN105374033B (zh) 基于脊波反卷积网络和稀疏分类的sar图像分割方法
CN104751478A (zh) 一种基于多特征融合的面向对象的建筑物变化检测方法
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN110135354B (zh) 一种基于实景三维模型的变化检测方法
CN104978567B (zh) 基于场景分类的车辆检测方法
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN110826389B (zh) 基于注意力3d频率卷积神经网络的步态识别方法
CN107424161B (zh) 一种由粗至精的室内场景图像布局估计方法
CN104820997B (zh) 一种基于分块稀疏表达与hsv特征融合的目标跟踪方法
CN104166841A (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
CN101482923A (zh) 视频监控中人体目标的检测与性别识别方法
CN110084165A (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
CN110751099A (zh) 一种基于深度学习的无人机航拍视频轨迹高精度提取方法
CN104408741A (zh) 一种时序一致性约束的视频全局运动估计方法
CN104599291B (zh) 基于结构相似度和显著性分析的红外运动目标检测方法
CN107527356B (zh) 一种基于懒交互方式的视频跟踪方法
CN109543753A (zh) 基于自适应模糊修复机制的车牌识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20181029

Address after: 210000 the 05 building of Tianan Digital City, 36 Yongfeng Avenue, Qinhuai District, Nanjing, Jiangsu.

Applicant after: Nanjing Lesi Electronic Equipment Co., Ltd.

Address before: 210007 1 East Street, alfalfa garden, Qinhuai District, Nanjing, Jiangsu.

Applicant before: China Electronic Technology Corporation (Group) 28 Institute

GR01 Patent grant
GR01 Patent grant