CN112633078B - 目标跟踪自校正方法、系统、介质、设备、终端及应用 - Google Patents

目标跟踪自校正方法、系统、介质、设备、终端及应用 Download PDF

Info

Publication number
CN112633078B
CN112633078B CN202011391675.5A CN202011391675A CN112633078B CN 112633078 B CN112633078 B CN 112633078B CN 202011391675 A CN202011391675 A CN 202011391675A CN 112633078 B CN112633078 B CN 112633078B
Authority
CN
China
Prior art keywords
target
tracking
similarity
frame
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011391675.5A
Other languages
English (en)
Other versions
CN112633078A (zh
Inventor
张建龙
李桥
何建辉
王斌
崔梦莹
刘池帅
郭鑫宇
时国强
方光祖
余鑫城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202011391675.5A priority Critical patent/CN112633078B/zh
Publication of CN112633078A publication Critical patent/CN112633078A/zh
Application granted granted Critical
Publication of CN112633078B publication Critical patent/CN112633078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于目标跟踪技术领域，公开了一种目标跟踪自校正方法、系统、介质、设备、终端及应用，选择孪生网络跟踪算法SiamFC++作为基本跟踪算法，通过分类分支与回归分支计算搜索帧与模板帧的相似度，得到模板帧与搜索帧的深度特征相似度图；取出相似度最高的10个目标位置，计算两两之间的欧氏距离，画出距离分布直方图，根据直方图的分布规律判断跟踪是否失效；当判断出发生跟踪失效后，计算前帧目标与当前帧中候选目标间的相似度，取相似度最高的目标为校正后目标；计算跟踪结果与目标真实位置之间的误差，计算准确率，对跟踪结果进行评价。本发明利用深度学习的强大能力，提取目标的深度特征，很大程度提高跟踪的精度。

Description

目标跟踪自校正方法、系统、介质、设备、终端及应用
技术领域
本发明属于目标跟踪技术领域，尤其涉及一种目标跟踪自校正方法、系统、介质、设备、终端及应用。
背景技术
目前：目标跟踪在过去几十年中备受关注，并且广泛应用于诸如监视，机器人技术和人机交互等众多视觉应用中。近年来，由于标准化基准的构建和业界的需求，视频目标跟踪技术得以飞速发展，其中不乏各类优秀算法，其代表算法包括基于相关滤波类、基于深度学习类等。相关滤波最早被应用于信号处理领域计算两个信号的相关程度，其将时域上的计算转到频域，可以极大减少运算量，实现算法实时跟踪。基于深度学习的目标跟踪算法具有强的普适性和有效性，
近年来基于孪生网络的跟踪算法得到了广泛发展。基于孪生网络的跟踪器将跟踪问题视为互相关问题，首先训练一个连接两个网络分支的神经网络，然后从两个分支的互相关中产生相似性图，一个用于对象模板，另一个用于搜索区域。该类跟踪算法具有跟踪速度快，准确率高的优点。然而，其研究中的诸多挑战也困扰着众多研究人员，如光照变化、尺度变化、快速变形、运动模糊、背景斑杂和目标遮挡等都会影响跟踪器性能。尤其是当目标跟踪丢失后，后续场景难以跟踪到正确的目标。此类因素严重影响了目标跟踪的准确性。
通过上述分析，现有技术存在的问题及缺陷为：目前跟踪场景中的干扰因素会影响跟踪结果，很容易导致跟踪失效，且当跟踪失效后难以重新找到目标，缺乏有效的校正方法使得跟踪器重新获得正确的目标位置。
解决以上问题及缺陷的难度为：如何有效地判断出跟踪失效的场景以及校正跟踪结果。
解决以上问题及缺陷的意义为：可以自行判断跟踪算法是否失效，当跟踪失效后，校正跟踪结果，避免跟踪失效后完全丢失目标，对于提升目标跟踪准确度具有重大意义，对实际场景中的应用具有较大的现实意义。
发明内容
针对现有技术存在的问题，本发明提供了一种目标跟踪自校正方法、系统、介质、设备、终端及应用。
本发明是这样实现的，一种目标跟踪自校正方法，所述目标跟踪自校正方法包括：
选择孪生网络跟踪算法SiamFC++作为基本跟踪算法，通过分类分支与回归分支计算搜索帧与模板帧的相似度，得到模板帧与搜索帧的深度特征相似度图；
取出相似度最高的10个目标位置，计算两两之间的欧氏距离，画出距离分布直方图，根据直方图的分布规律判断跟踪是否失效；
当判断出发生跟踪失效后，计算前帧目标与当前帧中候选目标间的相似度，取相似度最高的目标为校正后目标；
计算跟踪结果与目标真实位置之间的误差，计算准确率，对跟踪结果进行评价。
进一步，所述选择孪生网络跟踪算法SiamFC++作为基本跟踪算法，对模板帧与搜索帧提取深度特征并做互相关操作，得到模板帧与搜索帧的深度特征相似度图具体包括：
1)特征提取：跟踪序列中第一帧为模板帧，需要跟踪的图像为搜索帧。将模板图像I1与当前搜索图像I2输入相同的特征提取网络，得到模板特征F1与搜索特征F2，选择GoogleNet网络为特征提取网络；
2)互相关计算相似度得分：将模板特征F1与搜索特征F2输入分类与回归支路，使用F1作卷积核与F2做互相关计算，分类支路得到目标中心位置的相似度图S，S中相似度最大点即为目标中心点位置(x1,y1)，回归分支得到四条边框距离中心点位置，二者综合得到相似度图。相似度计算定义如下：
fi(z,x)＝ψi(φ(z))*ψi(φ(x)),i∈{cls,reg}；
式中z代表模板帧，x代表搜索帧，*代表互相关操作，φ(.)代表特征提取过程，ψi(.)代表分类分支或回归分支，i代表子任务类型，其中cls代表分类支路，reg代表回归支路；
3)图像尺寸：模板帧根据目标位置裁剪大小为127*127，搜索帧根据前帧目标位置裁剪大小为303*303，将裁剪后图像输入特征提取网络，得到模板特征大小为3*3*256，其中256是特征维度，3*3是每一维度特征图尺寸，搜索模板大小为27*27*256，其中256是特征维度，27*27是每一维度特征图尺寸。将二者做互相关后，得到的相似度图大小为19*19。
进一步，所述取出相似度最高的10个目标位置，计算两两之间的欧氏距离，画出距离分布直方图，根据直方图的分布规律判断跟踪是否失效具体包括：
1)距离分布直方图：根据相似度图S得到相似度最高的位置S1的坐标为(x1,y1)，依此类推，相似度为第M高的位置SM坐标为(xM,yM)，取M＝10，上一帧中相似度最高的位置S1'为(x'1,y'1)。距离分布P定义如下：
P＝{D12,D13,…D(M-1)M}；
其中
作出距离分布P的分布直方图H＝{H1,H2,…Hn}，其中n为直方图的组数，Hi代表第i组的频率；
2)U型分布：当直方图H呈现“U”型分布，即H1、Hn频率较大，此时判决算法认为目标跟踪可能失效，此时进一步判断，取H1>0.3,Hn>0.3,n＝10；
3)距离判断：当距离分布呈现“U”型分布时，说明场景中出现了相似物，产生干扰。对前10个目标的位置聚类，聚类中心分别为目标位置与相似物体位置，其中距离S1'距离近位置为目标位置；
跟踪中第f帧目标中心点位置为(xf,yf)，相似物中心点坐标为(x'f,y'f),第f+1帧目标中心点位置为(xf+1,yf+1)，相似物中心点坐标为(x'f+1,y'f+1)，则定义目标距离为Df，转移距离为D'f，二者定义为：
若Df＞Df'，则目标发生跟踪失效，反之未发生失效。
进一步，所述当判断出发生跟踪失效后，计算前帧目标与当前帧中候选目标间的相似度，取相似度最高的目标为校正后目标具体包括：判断目标跟踪失效后，取失效帧中相似度最高的10个目标为候选目标，前一帧中跟踪结果为参考目标，计算参考目标与10个候选目标的结构相似度，计算公式如下：
SSIM(x,y)＝l(x,y)α·c(x,y)β·s(x,y)γ；
其中x，y分别为参考目标与候选目标，ux,uy,σx 2,σy 2,σxy分别表示图像x，y的均值、方差和协方差。C1、C2、C3为小的常数。利用参数α、β、γ调整模型中三个成分所占的比重；
候选目标中与参考目标SSIM相似度最大的目标即为跟踪结果。
进一步，所述计算跟踪结果与目标真实位置之间的误差，计算准确率，对跟踪结果进行评价包括：
使用准确率Accuracy指标计算公式：
其中代表第t帧中目标ground truth代表的bounding box，/>代表第t帧跟踪器预测的bounding box。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
选择孪生网络跟踪算法SiamFC++作为基本跟踪算法，通过分类分支与回归分支计算搜索帧与模板帧的相似度，得到模板帧与搜索帧的深度特征相似度图；
取出相似度最高的10个目标位置，计算两两之间的欧氏距离，画出距离分布直方图，根据直方图的分布规律判断跟踪是否失效；
当判断出发生跟踪失效后，计算前帧目标与当前帧中候选目标间的相似度，取相似度最高的目标为校正后目标；
计算跟踪结果与目标真实位置之间的误差，计算准确率，对跟踪结果进行评价。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
选择孪生网络跟踪算法SiamFC++作为基本跟踪算法，通过分类分支与回归分支计算搜索帧与模板帧的相似度，得到模板帧与搜索帧的深度特征相似度图；
取出相似度最高的10个目标位置，计算两两之间的欧氏距离，画出距离分布直方图，根据直方图的分布规律判断跟踪是否失效；
当判断出发生跟踪失效后，计算前帧目标与当前帧中候选目标间的相似度，取相似度最高的目标为校正后目标；
计算跟踪结果与目标真实位置之间的误差，计算准确率，对跟踪结果进行评价。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的目标跟踪自校正方法。
本发明的另一目的在于提供一种实施所述目标跟踪自校正方法的目标跟踪自校正系统，所述目标跟踪自校正系统包括：
深度特征相似度图获取模块，用于选择孪生网络跟踪算法SiamFC++作为基本跟踪算法，通过分类分支与回归分支计算搜索帧与模板帧的相似度，得到模板帧与搜索帧的深度特征相似度图；
跟踪是否失效判断模块，用于取出相似度最高的10个目标位置，计算两两之间的欧氏距离，画出距离分布直方图，根据直方图的分布规律判断跟踪是否失效；
校正后目标获取模块，用于当判断出发生跟踪失效后，计算前帧目标与当前帧中候选目标间的相似度，取相似度最高的目标为校正后目标；
跟踪结果评价模块，用于计算跟踪结果与目标真实位置之间的误差，计算准确率，对跟踪结果进行评价。
本发明的另一目的在于提供一种目标跟踪方法，所述目标跟踪方法使用所述的目标跟踪自校正方法，包括：监视目标跟踪方法、机器人目标跟踪方法、人机交互目标跟踪方法。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明主要作用于目标跟踪领域，解决现有的跟踪失效后目标丢失，无法继续跟踪的问题。本发明采用孪生网络对目标进行跟踪，计算场景中目标与跟踪物体的相似度，寻找跟踪目标正确位置，具有较高的准确性与较快的跟踪速度，具有较高的实用价值。
本发明利用统计理论判断跟踪是否失效，深入挖掘跟踪过程中目标的统计规律，与实际的物理意义相结合，准确快速判断出跟踪是否失效，同时结合孪生网络特性与统计方法，对跟踪结果进行校正，寻找正确的目标位置，具有较大的社会意义与现实意义，
本发明采用深度学习与统计理论相结合的方法，利用深度学习的强大能力，提取目标的深度特征，很大程度提高跟踪的精度。统计理论深入分析和探究跟踪失效发生的本质原因，建立准确的判决准则与校正机制。本发明所提出的方法能够准确的校正孪生网络跟踪算法中跟踪失效的问题，提高跟踪准确率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的目标跟踪自校正方法流程图。
图2是本发明实施例提供的目标跟踪自校正系统的结构示意图；
图2中：1、深度特征相似度图获取模块；2、跟踪是否失效判断模块；3、校正后目标获取模块；4、跟踪结果评价模块。
图3是本发明实施例提供的目标跟踪自校正方法的实现流程图。
图4是本发明实施例提供的距离分布直方图U型分布示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种目标跟踪自校正方法、系统、介质、设备、终端及应用，下面结合附图对本发明作详细的描述。
如图1所示，本发明提供的目标跟踪自校正方法包括以下步骤：
S101：选择孪生网络跟踪算法SiamFC++作为基本跟踪算法，通过分类分支与回归分支计算搜索帧与模板帧的相似度，得到模板帧与搜索帧的深度特征相似度图；
S102：取出相似度最高的10个目标位置，计算两两之间的欧氏距离，画出距离分布直方图，根据直方图的分布规律判断跟踪是否失效；
S103：当判断出发生跟踪失效后，计算前帧目标与当前帧中候选目标间的相似度，取相似度最高的目标为校正后目标；
S104：计算跟踪结果与目标真实位置之间的误差，计算准确率，对跟踪结果进行评价。
本发明提供的目标跟踪自校正方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的目标跟踪自校正方法仅仅是一个具体实施例而已。
如图2所示，本发明提供的目标跟踪自校正系统包括：
深度特征相似度图获取模块1，用于选择孪生网络跟踪算法SiamFC++作为基本跟踪算法，通过分类分支与回归分支计算搜索帧与模板帧的相似度，得到模板帧与搜索帧的深度特征相似度图；
跟踪是否失效判断模块2，用于取出相似度最高的10个目标位置，计算两两之间的欧氏距离，画出距离分布直方图，根据直方图的分布规律判断跟踪是否失效；
校正后目标获取模块3，用于当判断出发生跟踪失效后，计算前帧目标与当前帧中候选目标间的相似度，取相似度最高的目标为校正后目标；
跟踪结果评价模块4，用于计算跟踪结果与目标真实位置之间的误差，计算准确率，对跟踪结果进行评价。
下面结合附图对本发明的技术方案作进一步的描述。
如图2所示，本发明实施例提供的目标跟踪自校正方法具体包括以下步骤：
步骤一，选择孪生网络跟踪算法SiamFC++作为基本跟踪算法，对模板帧与搜索帧提取深度特征并做互相关操作，得到模板帧与搜索帧的深度特征相似度图。
a)特征提取：跟踪序列中第一帧为模板帧，需要跟踪的图像为搜索帧。将模板图像I1与当前搜索图像I2输入相同的特征提取网络，得到模板特征F1与搜索特征F2，选择GoogleNet网络为特征提取网络。
b)互相关计算相似度得分：将模板特征F1与搜索特征F2输入分类与回归支路，使用F1作卷积核与F2做互相关计算，分类支路得到目标中心位置的相似度图S，S中相似度最大点即为目标中心点位置(x1,y1)，回归分支得到四条边框距离中心点位置，二者综合得到相似度图。相似度计算定义如下：
fi(z,x)＝ψi(φ(z))*ψi(φ(x)),i∈{cls,reg}；
式中z代表模板帧，x代表搜索帧，*代表互相关操作，φ(.)代表特征提取过程，ψi(.)代表分类分支或回归分支，i代表子任务类型，其中cls代表分类支路，reg代表回归支路。
c)图像尺寸：模板帧根据目标位置裁剪大小为127*127，搜索帧根据前帧目标位置裁剪大小为303*303，将裁剪后图像输入特征提取网络，得到模板特征大小为3*3*256，其中256是特征维度，3*3是每一维度特征图尺寸。搜索模板大小为27*27*256，其中256是特征维度，27*27是每一维度特征图尺寸。将二者做互相关后，得到的相似度图大小为19*19。
步骤二，取出相似度最高的10个目标位置，计算两两之间的欧氏距离，画出距离分布直方图，根据直方图的分布规律判断跟踪是否失效。
a)距离分布直方图：根据相似度图S得到相似度最高的位置S1的坐标为(x1,y1)，依此类推，相似度为第M高的位置SM坐标为(xM,yM)，取M＝10。上一帧中相似度最高的位置S1'为(x'1,y'1)。距离分布P定义如下：
P＝{D12,D13,…D(M-1)M}；
其中
作出距离分布P的分布直方图H＝{H1,H2,…Hn}，其中n为直方图的组数，Hi代表第i组的频率。
b)U型分布：当直方图H呈现“U”型分布，即H1、Hn频率较大，如图3所示。此时判决算法认为目标跟踪可能失效，此时进一步判断，取H1>0.3,Hn>0.3,n＝10。
c)距离判断：当距离分布呈现“U”型分布时，说明场景中出现了相似物，产生干扰。对前10个目标的位置聚类，聚类中心分别为目标位置与相似物体位置，其中距离S1'距离近位置为目标位置。
跟踪中第f帧目标中心点位置为(xf,yf)，相似物中心点坐标为(x'f,y'f),第f+1帧目标中心点位置为(xf+1,yf+1)，相似物中心点坐标为(x'f+1,y'f+1)。则定义目标距离为Df，转移距离为D'f，二者定义为：
若Df＞Df'，则目标发生跟踪失效，反之未发生失效。
步骤三，当判断出发生跟踪失效后，计算前帧目标与当前帧中候选目标间的相似度，取相似度最高的目标为校正后目标。
判断目标跟踪失效后，取失效帧中相似度最高的10个目标为候选目标，前一帧中跟踪结果为参考目标，计算参考目标与10个候选目标的结构相似度(SSIM:StructuralSimilarity)，计算公式如下：
SSIM(x,y)＝l(x,y)α·c(x,y)β·s(x,y)γ；
其中x，y分别为参考目标与候选目标，ux,uy,σx 2,σy 2,σxy分别表示图像x，y的均值、方差和协方差。C1、C2、C3为小的常数。利用参数α、β、γ调整模型中三个成分所占的比重。
候选目标中与参考目标SSIM相似度最大的目标即为跟踪结果。
步骤四，计算跟踪结果与目标真实位置之间的误差，计算准确率，对跟踪结果进行评价。
使用准确率Accuracy指标计算公式：
其中代表第t帧中目标ground truth代表的bounding box，/>代表第t帧跟踪器预测的boundingbox。
下面结合仿真对本发明的技术效果作详细的描述。
1、仿真条件，本发明是在GPU为2080Ti的Ubantu18.04操作系统的PC上，运用Pycharm软件完成本发明仿真实验。
2、仿真实验内容，本发明选择跟踪数据集VOT2018、OTB100进行实验验证。VOT2018包含60个场景，共3万幅图片；OTB100包含100个场景，共6W幅图片。
3.仿真实验结果及分析
表1为本发明方法与原跟踪算法SiamFC++的跟踪准确性Accuracy比较：
由表1可以看出，本发明通过对跟踪结果的校正，相比于孪生网络跟踪算法SiamFC++具有更准确的跟踪结果。本发明不仅能提高跟踪准确性，当目标跟踪失效后，可以通过判决算法发现跟踪丢失场景，并通过校正算法重新找到正确目标。具有较高的实用价值。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种目标跟踪自校正方法，其特征在于，所述目标跟踪自校正方法包括：
选择孪生网络跟踪算法SiamFC++作为基本跟踪算法，通过分类分支与回归分支计算搜索帧与模板帧的相似度，得到模板帧与搜索帧的深度特征相似度图；
取出相似度最高的10个目标位置，计算两两之间的欧氏距离，画出距离分布直方图，根据直方图的分布规律判断跟踪是否失效；
当判断出发生跟踪失效后，计算前帧目标与当前帧中候选目标间的相似度，取相似度最高的目标为校正后目标；
计算跟踪结果与目标真实位置之间的误差，计算准确率，对跟踪结果进行评价；
所述选择孪生网络跟踪算法SiamFC++作为基本跟踪算法，对模板帧与搜索帧提取深度特征并做互相关操作，得到模板帧与搜索帧的深度特征相似度图具体包括：
1)特征提取：跟踪序列中第一帧为模板帧，需要跟踪的图像为搜索帧，将模板图像I1与当前搜索图像I2输入相同的特征提取网络，得到模板特征F1与搜索特征F2，选择GoogleNet网络为特征提取网络；
2)互相关计算相似度得分：将模板特征F1与搜索特征F2输入分类与回归支路，使用F1作卷积核与F2做互相关计算，分类支路得到目标中心位置的相似度图S，S中相似度最大点即为目标中心点位置(x1,y1)，回归分支得到四条边框距离中心点位置，二者综合得到相似度图，相似度计算定义如下：
fi(z,x)＝ψi(φ(z))*ψi(φ(x)),i∈{cls,reg}；
式中z代表模板帧，x代表搜索帧，*代表互相关操作，φ(.)代表特征提取过程，ψi(.)代表分类分支或回归分支，i代表子任务类型，其中cls代表分类支路，reg代表回归支路；
3)图像尺寸：模板帧根据目标位置裁剪大小为127*127，搜索帧根据前帧目标位置裁剪大小为303*303，将裁剪后图像输入特征提取网络，得到模板特征大小为3*3*256，其中256是特征维度，3*3是每一维度特征图尺寸，搜索模板大小为27*27*256，其中256是特征维度，27*27是每一维度特征图尺寸，将二者做互相关后，得到的相似度图大小为19*19。
2.如权利要求1所述的目标跟踪自校正方法，其特征在于，所述取出相似度最高的10个目标位置，计算两两之间的欧氏距离，画出距离分布直方图，根据直方图的分布规律判断跟踪是否失效具体包括：
1)距离分布直方图：根据相似度图S得到相似度最高的位置S1的坐标为(x1,y1)，依此类推，相似度为第M高的位置SM坐标为(xM,yM)，取M＝10，上一帧中相似度最高的位置S1'为(x'1,y'1)，距离分布P定义如下：
P＝{D12,D13,…D(M-1)M}；
其中
作出距离分布P的分布直方图H＝{H1,H2,…Hn}，其中n为直方图的组数，Hi代表第i组的频率；
2)U型分布：当直方图H呈现“U”型分布，即H1、Hn频率较大，此时判决算法认为目标跟踪可能失效，此时进一步判断，取H1>0.3,Hn>0.3,n＝10；
3)距离判断：当距离分布呈现“U”型分布时，说明场景中出现了相似物，产生干扰，对前10个目标的位置聚类，聚类中心分别为目标位置与相似物体位置，其中距离S′1距离近位置为目标位置；
跟踪中第f帧目标中心点位置为(xf,yf)，相似物中心点坐标为(x'f,y'f),第f+1帧目标中心点位置为(xf+1,yf+1)，相似物中心点坐标为(x'f+1,y'f+1)，则定义目标距离为Df，转移距离为D'f，二者定义为：
若Df＞Df'，则目标发生跟踪失效，反之未发生失效。
3.如权利要求1所述的目标跟踪自校正方法，其特征在于，所述当判断出发生跟踪失效后，计算前帧目标与当前帧中候选目标间的相似度，取相似度最高的目标为校正后目标具体包括：判断目标跟踪失效后，取失效帧中相似度最高的10个目标为候选目标，前一帧中跟踪结果为参考目标，计算参考目标与10个候选目标的结构相似度，计算公式如下：
SSIM(x,y)＝l(x,y)α·c(x,y)β·s(x,y)γ；
其中x，y分别为参考目标与候选目标，ux,uy,σx 2,σy 2,σxy分别表示图像x，y的均值、方差和协方差，C1、C2、C3为小的常数，利用参数α、β、γ调整模型中三个成分所占的比重；
候选目标中与参考目标SSIM相似度最大的目标即为跟踪结果。
4.如权利要求1所述的目标跟踪自校正方法，其特征在于，所述计算跟踪结果与目标真实位置之间的误差，计算准确率，对跟踪结果进行评价包括：
使用准确率Accuracy指标计算公式：
其中代表第t帧中目标ground truth代表的bounding box，/>代表第t帧跟踪器预测的bounding box。
5.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1～4任意一项所述的目标跟踪自校正方法。
6.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1～4任意一项所述的目标跟踪自校正方法。
7.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现权利要求1～4任意一项所述的目标跟踪自校正方法。
8.一种实施权利要求1～4任意一项所述目标跟踪自校正方法的目标跟踪自校正系统，其特征在于，所述目标跟踪自校正系统包括：
深度特征相似度图获取模块，用于选择孪生网络跟踪算法SiamFC++作为基本跟踪算法，通过分类分支与回归分支计算搜索帧与模板帧的相似度，得到模板帧与搜索帧的深度特征相似度图；
跟踪是否失效判断模块，用于取出相似度最高的10个目标位置，计算两两之间的欧氏距离，画出距离分布直方图，根据直方图的分布规律判断跟踪是否失效；
校正后目标获取模块，用于当判断出发生跟踪失效后，计算前帧目标与当前帧中候选目标间的相似度，取相似度最高的目标为校正后目标；
跟踪结果评价模块，用于计算跟踪结果与目标真实位置之间的误差，计算准确率，对跟踪结果进行评价。
9.一种目标跟踪方法，其特征在于，所述目标跟踪方法使用权利要求1～4任意一项所述的目标跟踪自校正方法，包括：监视目标跟踪方法、机器人目标跟踪方法、人机交互目标跟踪方法。
CN202011391675.5A 2020-12-02 2020-12-02 目标跟踪自校正方法、系统、介质、设备、终端及应用 Active CN112633078B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011391675.5A CN112633078B (zh) 2020-12-02 2020-12-02 目标跟踪自校正方法、系统、介质、设备、终端及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011391675.5A CN112633078B (zh) 2020-12-02 2020-12-02 目标跟踪自校正方法、系统、介质、设备、终端及应用

Publications (2)

Publication Number Publication Date
CN112633078A CN112633078A (zh) 2021-04-09
CN112633078B true CN112633078B (zh) 2024-02-02

Family

ID=75307416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011391675.5A Active CN112633078B (zh) 2020-12-02 2020-12-02 目标跟踪自校正方法、系统、介质、设备、终端及应用

Country Status (1)

Country Link
CN (1) CN112633078B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082709B (zh) * 2022-07-21 2023-07-07 陕西合友网络科技有限公司 遥感大数据处理方法、系统及云平台

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2028620A1 (en) * 2007-08-24 2009-02-25 Nikon Corporation Subject tracking method, subject tracking device, and computer program product
CN111161311A (zh) * 2019-12-09 2020-05-15 中车工业研究院有限公司 一种基于深度学习的视觉多目标跟踪方法及装置
CN111242974A (zh) * 2020-01-07 2020-06-05 重庆邮电大学 一种基于孪生网络和反向传播的车辆实时跟踪方法
CN111639551A (zh) * 2020-05-12 2020-09-08 华中科技大学 基于孪生网络和长短期线索的在线多目标跟踪方法和系统
CN111696130A (zh) * 2019-03-12 2020-09-22 北京京东尚科信息技术有限公司 目标跟踪方法、目标跟踪装置及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2028620A1 (en) * 2007-08-24 2009-02-25 Nikon Corporation Subject tracking method, subject tracking device, and computer program product
CN111696130A (zh) * 2019-03-12 2020-09-22 北京京东尚科信息技术有限公司 目标跟踪方法、目标跟踪装置及计算机可读存储介质
CN111161311A (zh) * 2019-12-09 2020-05-15 中车工业研究院有限公司 一种基于深度学习的视觉多目标跟踪方法及装置
CN111242974A (zh) * 2020-01-07 2020-06-05 重庆邮电大学 一种基于孪生网络和反向传播的车辆实时跟踪方法
CN111639551A (zh) * 2020-05-12 2020-09-08 华中科技大学 基于孪生网络和长短期线索的在线多目标跟踪方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于Tiny Darknet全卷积孪生网络的目标跟踪;史璐璐;张索非;吴晓富;;南京邮电大学学报(自然科学版)(第04期);全文 *
基于目标感知特征筛选的孪生网络跟踪算法;陈志旺;张忠新;宋娟;罗红福;彭勇;;光学学报(第09期);全文 *

Also Published As

Publication number Publication date
CN112633078A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
US11763485B1 (en) Deep learning based robot target recognition and motion detection method, storage medium and apparatus
CN109165589B (zh) 基于深度学习的车辆重识别方法和装置
CN110120064B (zh) 一种基于互强化与多注意机制学习的深度相关目标跟踪算法
CN105913028B (zh) 一种基于face++平台的人脸跟踪方法及其装置
CN109977895B (zh) 一种基于多特征图融合的野生动物视频目标检测方法
US11392787B2 (en) Method for grasping texture-less metal parts based on bold image matching
CN111582349B (zh) 一种基于YOLOv3和核相关滤波改进的目标跟踪算法
WO2021253686A1 (zh) 特征点跟踪训练及跟踪方法、装置、电子设备及存储介质
CN114821093A (zh) 从图像中提取特征的方法、装置及计算器可读介质
CN111127519A (zh) 一种双模型融合的目标跟踪控制系统及其方法
Gong et al. A method for wheat head detection based on yolov4
CN112633078B (zh) 目标跟踪自校正方法、系统、介质、设备、终端及应用
Wang et al. Multistage model for robust face alignment using deep neural networks
CN111881775B (zh) 一种人脸实时识别方法和装置
Lai et al. Ncsiam: Reliable matching via neighborhood consensus for siamese-based object tracking
CN108985216B (zh) 一种基于多元logistic回归特征融合的行人头部检测方法
CN108241869A (zh) 一种基于快速可变形模型和机器学习的图像目标识别方法
Peng et al. Temporal objectness: Model-free learning of object proposals in video
CN114419716A (zh) 一种人脸图像面部关键点标定的校准方法
CN113888603A (zh) 基于光流跟踪和特征匹配的回环检测及视觉slam方法
CN113920155A (zh) 一种基于核相关滤波的动目标跟踪算法
CN112528937A (zh) 一种视频抽油机启停的检测方法
CN113129332A (zh) 执行目标对象跟踪的方法和装置
CN108346158B (zh) 基于主块数据关联的多目标跟踪方法及系统
CN113642500B (zh) 一种基于多阶段域自适应的低照度目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant