CN108320301A - 一种基于跟踪学习检测的目标跟踪优化方法 - Google Patents
一种基于跟踪学习检测的目标跟踪优化方法 Download PDFInfo
- Publication number
- CN108320301A CN108320301A CN201810079102.5A CN201810079102A CN108320301A CN 108320301 A CN108320301 A CN 108320301A CN 201810079102 A CN201810079102 A CN 201810079102A CN 108320301 A CN108320301 A CN 108320301A
- Authority
- CN
- China
- Prior art keywords
- frame
- tracking
- image video
- sequence
- video frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 110
- 238000001514 detection method Methods 0.000 title claims abstract description 101
- 238000005457 optimization Methods 0.000 title claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 50
- 230000003287 optical effect Effects 0.000 claims description 14
- 238000012795 verification Methods 0.000 claims description 14
- 238000007637 random forest analysis Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 9
- 238000007635 classification algorithm Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于跟踪学习检测的目标跟踪优化方法，属于计算机视觉领域，其主要思路为：确定L帧灰度图像视频帧序列，每帧灰度图像视频帧序列中分别包含一个跟踪目标；第1帧灰度图像视频帧序列中的跟踪目标位置已知，其余L‑1帧灰度图像视频帧序列中的跟踪目标位置未知；t∈{1,2,…,L}，t的初始值为1；在第t帧目标限定框中选取个均匀跟踪点，进而在第t+1帧灰度图像视频帧序列中得到第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1；从第t+1帧灰度图像视频帧序列中获得第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1，进而确定第t+1帧跟踪目标的最终位置；令t的值加1，直到得到第2帧跟踪目标的最终位置至第L帧跟踪目标的最终位置，并记为基于跟踪学习检测的目标跟踪优化结果。
Description
技术领域
本发明属于计算机视觉领域，特别涉及一种基于跟踪学习检测的目标跟踪优化方法，即一种基于跟踪-学习-检测(Tracking-Learning-Detection，TLD)的目标跟踪优化方法，适用于视频帧序列中单个目标长时间的稳定跟踪。
背景技术
近些年来，目标检测和目标跟踪一直是计算视觉领域中备受瞩目的科技前沿方向，主要包括从视频帧序列中检测和识别出感兴趣的运动目标，然后持续稳定地跟踪运动目标，并对运动目标的运动状态实时进行详尽描绘；目标检测和目标跟踪涉及到人工智能、图像处理和模式识别等多领域的学科。
随着相关领域学科的飞速发展，目标检测和目标跟踪无论在民用方面还是军事方面都拥有着无可比拟的应用潜力，已经成为了一项现实生活中无法或缺的非常重要的科学技术；在经过科研工作者长达数十年的研究中，很多优秀的目标跟踪算法一一问世，例如基于粒子滤波的目标跟踪算法、基于运动目标建模的目标跟踪算法和基于卡尔曼滤波的目标跟踪算法等等，这些经典的目标跟踪算法都有自己的局限性，不能很好的适用于更广泛的场景，缺乏对目标长时间实时跟踪的能力，缺乏自我学习和自我调整的能力，随着跟踪时间的变长，跟踪效果越来越差，最终导致跟踪的失败。
目标跟踪算法TLD的提出很好的解决了视频帧序列中单目标长时间实时跟踪的问题，该算法首次将跟踪和检测结合起来，二者相互协作，相辅相成，面对复杂的跟踪场景，如遮挡、光照变化、尺度变换等有较强的抗干扰能力；当目标跟踪算法TLD跟踪失败时，重新检测能有效再次识别到跟踪目标，有效的提高了该跟踪算法的鲁棒性，此外目标跟踪算法TLD创造性的结合了跟踪和检测的结果进行在线学习，自我修正，有效的的提高了该跟踪算法长时间实时跟踪的稳定性。
目标跟踪算法TLD可以分为跟踪阶段、检测阶段和学习阶段三个阶段，跟踪阶段和检测阶段相互独立，学习阶段根据跟踪阶段和检测阶段的结果进行在线学习，不断完善和稳定目标跟踪算法TLD的跟踪能力；其中跟踪阶段和检测阶段的最终输出分别为跟踪阶段限定框和检测阶段限定框，结合跟踪阶段和检测阶段得到的最终输出称为目标限定框；目标跟踪算法TLD的鲁棒性和稳定性值得肯定，但是该算法总体的实时性一般，有待提高，特别是视频帧序列中的检测阶段，每次都要对整个灰度图像视频帧序列进行全局扫描，严重影响了检测阶段的检测速度，进而降低了整个目标跟踪算法TLD的实时性。
发明内容
针对上述现有技术存在的不足，本发明的目的在于提出一种基于跟踪学习检测的目标跟踪优化方法，该种基于跟踪学习检测的目标跟踪优化方法充分考虑了检测阶段的扫描策略，在跟踪阶段对跟踪目标进行马尔科夫预测，在检测阶段利用跟踪阶段的结果缩小扫描范围，并使用尺度等级无序的滑动窗口进行扫描，有效地提高了目标跟踪算法TLD的实时性。
为达到上述技术目的，本发明采用如下技术方案予以实现。
一种基于跟踪学习检测的目标跟踪优化方法，包括以下步骤：
步骤1，获取L帧用于跟踪的彩色图像视频帧序列，对所述L帧用于跟踪的彩色图像视频帧序列分别进行灰度转换，进而得到L帧灰度图像视频帧序列，每帧灰度图像视频帧序列都为N行M列，且每帧灰度图像视频帧序列中分别包含一个跟踪目标；第1帧灰度图像视频帧序列中的跟踪目标位置已知，其余L-1帧灰度图像视频帧序列中的跟踪目标位置未知；其中，L、N、M分别为大于0的正整数；
初始化：令t表示第t帧灰度图像视频帧序列，t∈{1,2,…,L}，t的初始值为1；确定第1帧目标限定框b1 O和第1帧灰度图像视频帧序列的正负样本库L1；
步骤2，在第t帧目标限定框bt O中选取Nt U个均匀跟踪点，并根据第t帧灰度图像视频帧序列的正负样本库Lt，在第t+1帧灰度图像视频帧序列中得到第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1；
步骤3，从第t+1帧灰度图像视频帧序列中获得第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1；
步骤4，根据第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1和第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1，得到第t+1帧目标限定框，进而确定第t+1帧跟踪目标的最终位置；
步骤5，令t的值加1，执行步骤2至步骤4,直到得到第2帧跟踪目标的最终位置至第L帧跟踪目标的最终位置，并记为基于跟踪学习检测的目标跟踪优化结果。
本发明的有益效果：
本发明方法对目标跟踪算法TLD中的检测阶段进行改进，在跟踪阶段加入了马尔科夫预测的方法，并结合归一化互相关预测和马尔科夫预测的结果，在检测阶段使用尺度等级无序的搜索策略对缩小后的包含跟踪目标的区域进行搜索，有效降低了目标跟踪算法TLD的运算量，提高了目标跟踪算法TLD的实时性。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细说明。
图1为本发明的一种基于跟踪学习检测的目标跟踪优化方法流程图；
图2为目标跟踪算法TLD的框架图。
具体实施方式
参照图1，为本发明的一种基于跟踪学习检测的目标跟踪优化方法流程图；其中所述基于跟踪学习检测的目标跟踪优化方法，包括以下步骤：
步骤1，获取L帧用于跟踪的彩色图像视频帧序列，对所述L帧用于跟踪的彩色图像视频帧序列分别进行灰度转换，进而得到L帧灰度图像视频帧序列，每帧灰度图像视频帧序列都为N行M列，且每帧灰度图像视频帧序列中分别包含一个跟踪目标；第1帧灰度图像视频帧序列中的跟踪目标位置已知，其余L-1帧灰度图像视频帧序列中的跟踪目标位置未知；其中，L、N、M分别为大于0的正整数。
初始化：令t表示第t帧灰度图像视频帧序列，t∈{1,2,…,L}，t的初始值为1。
将以第1帧灰度图像视频帧序列中跟踪目标为中心、高度为h1、宽度为w1的矩形框，记为第1帧目标限定框所述第1帧目标限定框是包含第1帧灰度图像视频帧序列中跟踪目标的目标限定框，上标O表示目标限定框，0<h1≤N，0<w1≤M。
以第1帧灰度图像视频帧序列的第1行第1列像素点为原点O，并以水平向右为x轴正方向、以竖直向下为y轴正方向建立第1帧灰度图像视频帧序列坐标系,则第1帧目标限定框中第1行第1列像素点坐标为 表示第1帧目标限定框的x轴坐标，表示第1帧目标限定框的y轴坐标，表示第1帧目标限定框的宽度，表示第1帧目标限定框的高度；
根据目标跟踪算法TLD使用大小为的滑动窗口对第t帧灰度图像视频帧序列进行全局扫描，扫描区域为第t帧灰度图像视频帧序列全局，总计得到个扫描窗口，每个扫描窗口包含一个图像块，进而得到个图像块，其中第k个图像块为 上标P表示扫描得到的图像块，上标D表示检测阶段，下标st表示第t帧灰度图像视频帧序列的尺度等级，表示第t帧灰度图像视频帧序列尺度等级为st的滑动窗口高度，表示第t帧灰度图像视频帧序列尺度等级为st的滑动窗口宽度，将第t帧灰度图像视频帧序列的初始滑动窗口表示为swt,0，第t帧灰度图像视频帧序列的初始滑动窗口swt,0的大小为ht,0×wt,0，根据经验值，在第1帧灰度图像视频帧序列中设定h1,0＝w1,0＝15，其余L-1帧中，若第t'帧目标限定框同时满足0<ht'≤N，0<wt'≤M，则第t'+1帧灰度图像视频帧序列的初始滑动窗口swt'+1,0大小等同于第t'帧目标限定框的大小，即若第t'帧目标限定框不满足0<ht'≤N，0<wt'≤M中任意一个条件，则第t'+1帧灰度图像视频帧序列初始滑动窗口swt'+1,0大小设定为ht'+1,0＝wt'+1,0＝15；其中，t'∈{2,3,…,L}，t'+1∈{3,4,…,L}。
所述第t帧目标限定框是包含第t帧灰度图像视频帧序列中跟踪目标的目标限定框，尺度等级st的值加1等同于第t帧灰度图像视频帧序列尺度等级为st的滑动窗口高度和宽度分别放大m倍，放大m倍后第t帧灰度图像视频帧序列尺度等级为st的高度和宽度非整数时分别向上取整；尺度等级st的值减1等同于第t帧灰度图像视频帧序列尺度等级为st的滑动窗口高度和宽度分别缩小m倍，缩小m倍后第t帧灰度图像视频帧序列尺度等级为st的高度和宽度非整数时分别向下取整；其中，m表示设定常数，根据经验值取m＝1.2。
设定第t帧灰度图像视频帧序列全局扫描采用NG个尺度等级，NG为正奇数，NG≥3,NG个尺度等级依次为即第t帧灰度图像视频帧序列的尺度等级根据经验值取NG＝21，21个尺度等级依次为-10,-9,…,0,…,9,10，此时st∈{-10,…,-1,0,1,…,10}，上标G表示全局扫描；将相应尺度等级st下对应的缩放倍数记为第t帧灰度图像视频帧序列尺度等级为st的滑动窗口高度第t帧灰度图像视频帧序列尺度等级为st的滑动窗口宽度
若或则停止使用大小为的滑动窗口对第t帧灰度图像视频帧序列进行全局扫描，全局扫描使用大小为的滑动窗口按照尺度等级st从小到大的顺序依次对第t帧灰度图像视频帧序列进行扫描，其中尺度等级st从小到大的顺序依次为-10,-9,…-1,0,1,…9,10；将第t帧灰度图像视频帧序列尺度等级为st的滑动窗口水平方向上步长记为将第t帧灰度图像视频帧序列尺度等级为st的滑动窗口竖直方向上步长记为第t帧灰度图像视频帧序列尺度等级为st的滑动窗口水平方向上步长和第t帧灰度图像视频帧序列尺度等级为st的滑动窗口竖直方向上步长分别为相应尺度等级下第t帧灰度图像视频帧序列尺度等级为st的滑动窗口高度和第t帧灰度图像视频帧序列尺度等级为st的滑动窗口宽度的10％，即 表示向上取整，上标H表示水平方向，上标V表示竖直方向，上标G表示全局扫描。
将第t帧目标限定框包含的图像块记为Pt O，对第t帧灰度图像视频帧序列的个图像块进行重叠度的比较，依次计算第t帧灰度图像视频帧序列的个图像块分别与第t帧目标限定框包含的图像块Pt O的重叠度，总计得到个重叠度，个重叠度中第k个重叠度为其表达式为：
其中，表示第t帧灰度图像视频帧序列的第k个图像块和第t帧目标限定框包含的图像块Pt O的重叠度，根据经验值取omin＝0，omax＝1；表示第t帧灰度图像视频帧序列的第k个图像块的面积， 表示第t帧目标限定框包含的图像块Pt O的面积， 表示第t帧灰度图像视频帧序列的第k个图像块和第t帧目标限定框包含的图像块Pt O重叠部分的面积，
min表示取最小值。
当t取值为1时，按照公式(1)依次计算第1帧灰度图像视频帧序列的个图像块分别与第1帧目标限定框包含的图像块P1 O的重叠度，进而总计得到个重叠度，个重叠度中第k个重叠度为若则将个重叠度中第k个重叠度对应图像块记为第a个满足要求的图像块，a的初始值为1，令a的值加1；遍历个重叠度，进而得到NN1'个满足要求的图像块；其中，a∈{1,2,…,NN1'}，根据经验值取θN＝0.2，
根据方差分类法对NN1'个满足要求的图像块进行方差分类，得到NN1个图像块，0≤NN1≤NN1'；最终对NN1个图像块使用双线性插值算法进行归一化处理，得到包含NN1个图像块的负样本库NL1，N表示负样本。
若则将个重叠度中第k个重叠度对应图像块记为第a'个满足要求的图像块，a'的初始值为1，令a'的值加1；遍历个重叠度，进而得到NP1'个满足要求的图像块；其中，a'∈{1,2,…,NP1'}，根据经验值取θP＝0.8，
根据方差分类法对NP1'个满足要求的图像块进行方差分类得到NP1个图像块，0≤NP1≤NP1'，最终对NP1个图像块使用双线性插值算法进行归一化处理得到包含NP1个图像块的正样本库PL1，P表示正样本；将包含NP1个图像块的正样本库PL1和包含NN1个图像块的负样本库NL1记为第1帧灰度图像视频帧序列的正负样本库L1。
步骤2，进入跟踪阶段：使用大小为K×K的均匀网格在第t帧目标限定框中选取个均匀跟踪点，根据经验值取K＝10，具体步骤为：根据第t帧目标限定框中第1行第1列像素点坐标为确定第t帧目标限定框水平方向相邻均匀跟踪点之间间隔为第t帧目标限定框竖直方向相邻均匀跟踪点之间间隔为 表示向下取整,其中第j个均匀跟踪点为ut,j，上标U表示均匀跟踪点，表示第t帧目标限定框的x轴坐标，表示第t帧目标限定框的y轴坐标，表示第t帧目标限定框的宽度，表示第t帧目标限定框的高度。
将第t帧目标限定框中第1行第1列像素点作为第1个均匀跟踪点，第1个均匀跟踪点的横坐标为第1个均匀跟踪点的纵坐标为表示第t帧目标限定框水平方向相邻均匀跟踪点之间间隔，表示第t帧目标限定框竖直方向相邻均匀跟踪点之间间隔；以第1个均匀跟踪点为起点、水平方向相邻均匀跟踪点之间间隔为竖直方向的相邻均匀跟踪点之间间隔为在第t帧目标限定框中选取个像素点，记为第t帧目标限定框中使用均匀选取跟踪点的方式得到的个均匀跟踪点；其中，第t帧目标限定框水平方向相邻均匀跟踪点之间间隔小于第t帧目标限定框的宽度第t帧目标限定框竖直方向相邻均匀跟踪点之间间隔小于第t帧目标限定框的高度和分别为大于0的正整数。
2.1对第t帧目标限定框中的个均匀跟踪点使用光流法LK进行跟踪，在t+1帧灰度图像视频帧序列中得到个预测跟踪点，其中第j个预测跟踪点为ut+1,j，与取值相等且一一对应；第t+1帧灰度图像视频帧序列中的第j个预测跟踪点ut+1,j的相应状态标签为lt+1,j，lt+1,j∈{0,1}，lt+1,j＝0表示第t+1帧灰度图像视频帧序列中的第j个均匀跟踪点ut+1,j未被光流法LK成功跟踪，lt+1,j＝1表示第t+1帧灰度图像视频帧序列中的第j个均匀跟踪点ut+1,j被光流法LK成功跟踪；再对第t+1帧灰度图像视频帧序列中的个预测跟踪点使用光流法LK进行逆跟踪，在第t帧灰度图像视频帧序列中得到个逆跟踪点，其中第j个逆跟踪点为ut',j,与取值相等且一一对应，上标LK表示经过1次光流法LK跟踪，上标2LK表示经过2次光流法LK跟踪。
2.2第t帧目标限定框中的个均匀跟踪点经过光流法LK跟踪后得到个预测跟踪点，使用前向后向误差法(Forward-Backward，FB)对第t+1帧灰度图像视频帧序列中状态标签为1的预测跟踪点进行验证，得到经过前向后向误差法验证后状态标签仍为1的个预测跟踪点，上标1表示经过前向后向误差法1次验证。
2.3使用归一化互相关预测法(Normalized Cross Correlation，NCC)对经过前向后向误差法验证后状态标签仍为1的个预测跟踪点进行验证，得到经过归一化互相关预测法验证后状态标签仍为1的个预测跟踪点，上标2表示经过前向后向误差法和归一化互相关预测法2次验证。
2.4对经过归一化互相关预测法验证后状态标签仍为1的个预测跟踪点使用目标跟踪算法TLD得到归一化互相关预测后第t+1帧跟踪阶段限定框归一化互相关预测后第t+1帧跟踪阶段限定框包含的图像块记为上标N表示经过归一化互相关预测。
2.5使用马尔科夫预测法对经过归一化互相关预测法验证后状态标签仍为1的个预测跟踪点进行验证，得到经过马尔科夫预测法验证后状态标签仍为1的个预测跟踪点，上标3表示经过前向后向误差法、归一化互相关预测法和马尔科夫预测法3次验证。
2.6对经过马尔科夫预测法验证后状态标签仍为1的个预测跟踪点使用目标跟踪算法TLD得到马尔科夫预测后第t+1帧跟踪阶段限定框马尔科夫预测后第t+1帧跟踪阶段限定框包含的图像块记为上标M表示经过马尔科夫预测。
2.7根据归一化互相关匹配算法分别得到归一化互相关预测后第t+1帧跟踪阶段限定框包含的图像块与第t帧灰度图像视频帧序列的正负样本库Lt中样本的相关相似度以及马尔科夫预测后第t+1帧跟踪阶段限定框包含的图像块与第t帧灰度图像视频帧序列的正负样本库Lt中样本的相关相似度上标T表示跟踪阶段。
2.8若相关相似度满足则令第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签并认为第t+1帧灰度图像视频帧序列跟踪阶段跟踪失败。
其中，表示第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签，表示第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签，表示第t+1帧灰度图像视频帧序列中归一化互相关预测法预测成功，表示第t+1帧灰度图像视频帧序列中马尔科夫预测法预测成功。
若相关相似度令第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签将归一化互相关预测后第t+1帧跟踪阶段限定框作为第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1，并将第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1作为第t+1帧灰度图像视频帧序列跟踪阶段的最终输出；其中，表示第t+1帧灰度图像视频帧序列中归一化互相关预测法预测失败，表示第t+1帧灰度图像视频帧序列中马尔科夫预测法预测失败。
若相关相似度不满足和中任一条件，则令第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签将马尔科夫预测后第t+1帧跟踪阶段限定框作为第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1，并将第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1作为第t+1帧灰度图像视频帧序列跟踪阶段的最终输出。
其中，θR表示相关相似度阈值，根据经验值取θR＝0.7，上标R表示相关相似度，max表示取最大值。
综合上述在第t+1帧灰度图像视频帧序列中得到第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1，令第t+1帧灰度图像视频帧序列的跟踪阶段限定框状态标签若在第t+1帧灰度图像视频帧序列跟踪阶段中没有得到第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1，令第t+1帧灰度图像视频帧序列的跟踪阶段限定框状态标签 表示第t+1帧灰度图像视频帧序列跟踪阶段的跟踪成功与否。
步骤3，进入检测阶段；对第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签和第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签采用不同的搜索范围，具体分为以下三种情况：
若第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签则对第t+1帧灰度图像视频帧序列进行扫描，扫描区域为第t+1帧灰度图像视频帧序列全局，将该扫描区域标记为第t+1帧灰度图像视频帧序列扫描区域At+1；令第t+1帧灰度图像视频帧序列扫描区域At+1对应的扫描状态标签表示对第t+1帧灰度图像视频帧序列扫描区域At+1进行尺度等级无序的全局扫描，上标R表示尺度等级无序。
所述尺度等级无序的扫描是指第t+1帧灰度图像视频帧序列中的滑动窗口不再按照尺度等级st+1从小到大的顺序进行扫描，而是先用尺度等级st+1＝0、st+1＝-1和st+1＝1对应的滑动窗口对第t+1帧灰度图像视频帧序列扫描区域At+1进行扫描，然后根据st+1＝0、st+1＝-1和st+1＝1三种不同尺度等级滑动窗口的扫描结果决定下次扫描尺度等级的扫描策略。
若第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签对第t+1帧灰度图像视频帧序列进行扫描，扫描区域为第t+1帧灰度图像视频帧序列局部，第t+1帧灰度图像视频帧序列局部具体是以第t帧目标限定框bt O的中心为中心、高度为宽度为的扫描区域，根据经验值取n1＝2；将该扫描区域标记为第t+1帧灰度图像视频帧序列扫描区域At+1；令第t+1帧灰度图像视频帧序列扫描区域At+1对应的扫描状态标签为表示对第t+1帧灰度图像视频帧序列扫描区域At+1进行尺度等级无序的局部扫描。
若第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签对第t+1帧灰度图像视频帧序列进行扫描，扫描区域为第t+1帧灰度图像视频帧序列设定区域，第t+1帧灰度图像视频帧序列设定区域是根据马尔科夫预测法预测的第t+1帧灰度图像视频帧序列中跟踪目标水平和竖直方向运动状态，将第t帧目标限定框的宽度和高度分别按照预测的水平和竖直方向运动状态延长n2倍后所包含的区域，即是将第t帧目标限定框的宽度和高度分别延长n2倍后所包含的区域，根据经验值取n2＝1.75；将该扫描区域标记为第t+1帧灰度图像视频帧序列扫描区域At+1；令第t+1帧灰度图像视频帧序列扫描区域At+1对应的扫描状态标签为表示对第t+1帧灰度图像视频帧序列扫描区域At+1进行尺度等级无序的局部扫描。
对第t+1帧灰度图像视频帧序列扫描区域At+1进行尺度等级无序的扫描，第t+1帧灰度图像视频帧序列的初始滑动窗口swt+1,0的大小设置为第t帧目标限定框同等大小，即第t+1帧灰度图像视频帧序列的初始滑动窗口swt+1,0的高第t+1帧灰度图像视频帧序列的初始滑动窗口swt+1,0的宽若第t帧灰度图像视频帧序列没有得到目标限定框，即第t帧目标限定框的大小根据经验值重新设定此时第t+1帧灰度图像视频帧序列的初始滑动窗口大小swt+1,0为设定第t+1帧灰度图像视频帧序列尺度等级无序的扫描采用个尺度等级，为正奇数且个尺度等级依次为即第t+1帧灰度图像视频帧序列的尺度等级
若第t+1帧灰度图像视频帧序列扫描区域At+1对应的扫描状态标签根据经验值取21个尺度等级依次为-10,-9,…,0,…,9,10，即
st+1∈{-10,-9,…,-1,0,1,…,9,10}；若第t+1帧灰度图像视频帧序列扫描区域At+1对应的扫描状态标签根据经验值取7个尺度等级依次为-3,-2,-1,0,1,2,3，即st+1∈{-3,-2,-1,0,1,2,3}；将相应尺度等级st+1下对应的缩放倍数记为第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口高度第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口宽度其中 将第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口水平方向上步长记为将第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口竖直方向上步长记为第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口水平方向上步长和第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口竖直方向上步长分别为第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口高度和第t帧灰度图像视频帧序列尺度等级为st+1的滑动窗口宽度的10％，即
表示向上取整。
对第t+1帧灰度图像视频帧序列扫描区域At+1使用尺度等级为st+1的滑动窗口进行扫描和分类的具体子步骤为：
3.1若第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口高度或第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口宽度即第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口大小超出了第t+1帧灰度图像视频帧序列扫描区域At+1，那么对应尺度等级为st+1的情况下检测阶段检测失败，令相关相似度表示第t+1帧灰度图像视频帧序列尺度等级st+1对应的检测阶段限定框包含的图像块和第t帧灰度图像视频帧序列的正负样本库Lt中样本的相关相似度，表示第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口经过扫描和分类后得到的检测阶段限定框；若第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口大小没有超出第t+1帧灰度图像视频帧序列扫描区域At+1，即则使用大小为滑动窗口对第t+1帧灰度图像视频帧序列扫描区域At+1按照先水平后竖直的顺序进行扫描，第t+1帧灰度图像视频帧序列水平方向上步长为第t+1帧灰度图像视频帧序列竖直方向上步长为总计得到个扫描窗口，每个扫描窗口包含一个图像块，进而得到个图像块；其中为大于0的正整数，个图像块中第个图像块为 根据经验值取n＝1.75。
3.2对个图像块使用方差分类算法进行方差分类，在第t+1帧灰度图像视频帧序列扫描区域At+1中得到经过方差分类的个图像块；其中，上标1表示经过方差分类，个图像块中第个图像块为
3.3对经过方差分类的个图像块使用随机森林分类算法进行随机森林分类，在第t+1帧灰度图像视频帧序列扫描区域At+1中得到经过随机森林分类的个图像块；其中，上标2表示经过随机森林分类，个图像块中第个图像块为
3.4对经过随机森林分类的个图像块使用最近邻分类算法使用进行最近邻分类，在第t+1帧灰度图像视频帧序列扫描区域At+1中得到经过最近邻分类的个图像块；其中，上标3表示经过最近邻分类，个图像块中第个图像块为
3.5若经过最近邻分类的图像块个数则在第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口的检测阶段检测失败；经过最近邻分类的图像块个数对包含个图像块的扫描区域使用TLD目标跟踪算法得到第t+1帧灰度图像视频帧序列尺度等级为st+1时对应的个检测阶段限定框；个检测阶段限定框中第i个检测阶段限定框为第i个检测阶段限定框包含的图像块记为
3.6根据归一化互相关匹配算法计算个图像块分别与第t帧灰度图像视频帧序列的正负样本库Lt中样本的相关相似度，进而得到个相关相似度；设定个相关相似度中第i个相关相似度为将个相关相似度中的最大值标记为尺度等级为st+1时的最大相关相似度若尺度等级为st+1时的最大相关相似度对应的检测阶段限定框不唯一，则将个相关相似度中第1个相关相似度重新标记为尺度等级为st+1时的最大相关相似度
3.7令st+1的值分别取0、-1和1，重复执行子步骤3.1至3.6，分别得到尺度等级为0时的最大相关相似度尺度等级为-1时的最大相关相似度和尺度等级为1时的最大相关相似度然后根据尺度等级为0时的最大相关相似度尺度等级为-1时的最大相关相似度和尺度等级为1时的最大相关相似度之间的大小关系，决定下一个第t+1帧灰度图像视频帧序列滑动窗口扫描所用的尺度等级，具体过程为：
(1)若相关相似度max表示取最大值，执行以下子步骤：
3.7.1设置第一尺度等级临时变量为s'，令第一尺度等级临时变量s'的初始值为2，执行步骤3.7.2。
3.7.2根据子步骤3.1至3.6对第t+1帧灰度图像视频帧序列扫描区域At+1使用尺度等级为s'的滑动窗口swt+1，s′进行扫描和分类，得到尺度等级为s'时的最大相关相似度执行步骤3.7.3。
3.7.3若相关相似度令第一尺度等级临时变量s'的值减1，执行步骤3.7.4；若相关相似度令第一尺度等级临时变量s'的值加1，执行步骤3.7.2；直到满足条件执行步骤3.7.4。
3.7.4令第t+1帧灰度图像视频帧序列的尺度等级st+1的值等于第一尺度等级临时变量s'的值，将第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口经过扫描和分类后得到的检测阶段限定框作为第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1，并将第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1作为第t+1帧灰度图像视频帧序列检测阶段的最终输出。
(2)若相关相似度max表示取最大值，执行以下子步骤：
3.7.5设置第二尺度等级临时变量令第二尺度等级临时变量的初始值为-2，执行步骤3.7.6。
3.7.6根据子步骤3.1至3.6对第t+1帧灰度图像视频帧序列扫描区域At+1使用尺度等级为的滑动窗口进行扫描和分类，得到尺度等级为时的最大相关相似度执行步骤3.7.7。
3.7.7若相关相似度令第二尺度等级临时变量的值加1，执行步骤3.7.8；若相关相似度令第二尺度等级临时变量的值减1，执行步骤3.7.6；直到满足条件执行步骤3.7.8。
3.7.8令第t+1帧灰度图像视频帧序列的尺度等级st+1的值与第二尺度等级临时变量的值取值相等，将第t+1帧灰度图像视频帧序列尺度等级st+1对应的扫描窗口扫描和分类后得到的检测阶段限定框作为第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1，并将第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1作为第t+1帧灰度图像视频帧序列检测阶段的最终输出。
(3)若相关相似度不满足和中的任一条件，则将第t+1帧灰度图像视频帧序列的尺度等级st+1取值为0时对应的扫描窗口swt+1,0扫描和分类后得到的检测阶段限定框作为第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1，并将第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1作为第t+1帧灰度图像视频帧序列检测阶段的最终输出。
综合上述步骤在第t+1帧灰度图像视频帧序列中得到检测阶段对应的检测阶段限定框，令第t+1帧灰度图像视频帧序列的检测阶段状态标签若在第t+1帧灰度图像视频帧序列检测阶段中没有得到检测阶段对应的检测阶段限定框，令第t+1帧灰度图像视频帧序列的检测阶段状态标签表示第t+1帧灰度图像视频帧序列检测阶段的检测成功与否。
步骤4，若第t+1帧灰度图像视频帧序列的跟踪阶段限定框状态标签第t+1帧灰度图像视频帧序列的检测阶段状态标签对第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1和第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1使用P-N学习机制提高随机森林分类和最近邻分类算法的分类能力；对第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1和第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1使用目标跟踪算法TLD得到第t+1帧目标限定框obt+1，进而确定第t+1帧跟踪目标的最终位置，执行步骤5。
若第t+1帧灰度图像视频帧序列的跟踪阶段限定框状态标签第t+1帧灰度图像视频帧序列的检测阶段状态标签对第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1使用P-N学习机制提高随机森林分类和最近邻分类算法的分类能力；对第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1使用目标跟踪算法TLD得到第t+1帧目标限定框obt+1，进而确定第t+1帧跟踪目标的最终位置，执行步骤5。
若第t+1帧灰度图像视频帧序列的跟踪阶段限定框状态标签第t+1帧灰度图像视频帧序列的检测阶段状态标签对第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1使用P-N学习机制提高随机森林分类和最近邻分类算法的分类能力；对第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1使用目标跟踪算法TLD得到第t+1帧目标限定框obt+1，进而确定第t+1帧跟踪目标的最终位置，执行步骤5。
若第t+1帧灰度图像视频帧序列的跟踪阶段限定框状态标签第t+1帧灰度图像视频帧序列的检测阶段状态标签判定在第t+1帧灰度图像视频帧序列中使用改进的目标跟踪算法TLD跟踪失败，则将第t+1帧目标限定框大小设定为令t的值加1，令第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签返回步骤3。
步骤5，令t的值加1，执行步骤2至步骤4,直到得到第2帧跟踪目标的最终位置至第L帧跟踪目标的最终位置，并记为基于跟踪学习检测的目标跟踪优化结果，此时整个改进的目标跟踪算法TLD终止。
参照图2，为目标跟踪算法TLD的框架图；由图2看出目标跟踪算法TLD包含的三个阶段和相互协作关系，其中三个阶段为：检测阶段、跟踪阶段和学习阶段。
Claims (7)
1.一种基于跟踪学习检测的目标跟踪优化方法，其特征在于，包括以下步骤：
步骤1，获取L帧用于跟踪的彩色图像视频帧序列，对所述L帧用于跟踪的彩色图像视频帧序列分别进行灰度转换，进而得到L帧灰度图像视频帧序列，每帧灰度图像视频帧序列都为N行M列，且每帧灰度图像视频帧序列中分别包含一个跟踪目标；第1帧灰度图像视频帧序列中的跟踪目标位置已知，其余L-1帧灰度图像视频帧序列中的跟踪目标位置未知；其中，L、N、M分别为大于0的正整数；
初始化：令t表示第t帧灰度图像视频帧序列，t∈{1,2,…,L}，t的初始值为1；确定第1帧目标限定框和第1帧灰度图像视频帧序列的正负样本库L1；
步骤2，在第t帧目标限定框中选取个均匀跟踪点，并根据第t帧灰度图像视频帧序列的正负样本库Lt，在第t+1帧灰度图像视频帧序列中得到第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1；
步骤3，从第t+1帧灰度图像视频帧序列中获得第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1；
步骤4，根据第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1和第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1，得到第t+1帧目标限定框，进而确定第t+1帧跟踪目标的最终位置；
步骤5，令t的值加1，执行步骤2至步骤4,直到得到第2帧跟踪目标的最终位置至第L帧跟踪目标的最终位置，并记为基于跟踪学习检测的目标跟踪优化结果。
2.如权利要求1所述的一种基于跟踪学习检测的目标跟踪优化方法，其特征在于，在步骤1中，所述第1帧目标限定框和第1帧灰度图像视频帧序列的正负样本库L1，其确定过程分别为：
将以第1帧灰度图像视频帧序列中跟踪目标为中心、高度为h1、宽度为w1的矩形框，记为第1帧目标限定框所述第1帧目标限定框是包含第1帧灰度图像视频帧序列中跟踪目标的目标限定框，上标O表示目标限定框，0<h1≤N，0<w1≤M；
使用大小为的滑动窗口对第t帧灰度图像视频帧序列进行全局扫描，扫描区域为第t帧灰度图像视频帧序列全局，总计得到个扫描窗口，每个扫描窗口包含一个图像块，进而得到个图像块；
将第t帧目标限定框包含的图像块记为对第t帧灰度图像视频帧序列的个图像块进行重叠度的比较，依次计算第t帧灰度图像视频帧序列的个图像块分别与第t帧目标限定框包含的图像块的重叠度，总计得到个重叠度，个重叠度中第k个重叠度为其表达式为：
其中，表示第t帧灰度图像视频帧序列的第k个图像块和第t帧目标限定框包含的图像块的重叠度， 表示第t帧灰度图像视频帧序列的第k个图像块的面积， 表示第t帧目标限定框包含的图像块的面积， 表示第t帧灰度图像视频帧序列的第k个图像块和第t帧目标限定框包含的图像块Pt O重叠部分的面积，
min表示取最小值；
当t取值为1时，依次计算第1帧灰度图像视频帧序列的个图像块分别与第1帧目标限定框包含的图像块的重叠度，进而总计得到个重叠度，个重叠度中第k个重叠度为若则将个重叠度中第k个重叠度对应图像块记为第a个满足要求的图像块，a的初始值为1，令a的值加1；遍历个重叠度，进而得到NN′1个满足要求的图像块；其中，a∈{1,2,…,NN′1}；
根据方差分类法对NN′1个满足要求的图像块进行方差分类，得到NN1个图像块，0≤NN1≤NN′1；最终对NN1个图像块使用双线性插值算法进行归一化处理，得到包含NN1个图像块的负样本库NL1，N表示负样本；
若则将个重叠度中第k个重叠度对应图像块记为第a'个满足要求的图像块，a'的初始值为1，令a'的值加1；遍历个重叠度，进而得到NP′1个满足要求的图像块；其中，a'∈{1,2,…,NP′1}，
根据方差分类法对NP′1个满足要求的图像块进行方差分类得到NP1个图像块，0≤NP1≤NP′1，最终对NP1个图像块使用双线性插值算法进行归一化处理得到包含NP1个图像块的正样本库PL1，P表示正样本；将包含NP1个图像块的正样本库PL1和包含NN1个图像块的负样本库NL1记为第1帧灰度图像视频帧序列的正负样本库L1。
3.如权利要求1所述的一种基于跟踪学习检测的目标跟踪优化方法，其特征在于，在步骤2中，所述在第t帧目标限定框中选取个均匀跟踪点，具体是指使用大小为K×K的均匀网格在第t帧目标限定框中选取个均匀跟踪点，其过程为：
将第t帧目标限定框中第1行第1列像素点作为第1个均匀跟踪点，并以第1个均匀跟踪点为起点、水平方向相邻均匀跟踪点之间间隔为竖直方向的相邻均匀跟踪点之间间隔为在第t帧目标限定框中选取个像素点，记为第t帧目标限定框中使用均匀选取跟踪点的方式得到的个均匀跟踪点；其中， 表示向下取整,表示第t帧目标限定框的宽度，和分别为大于0的正整数。
4.如权利要求3所述的一种基于跟踪学习检测的目标跟踪优化方法，其特征在于，在步骤2中，所述在第t+1帧灰度图像视频帧序列中得到第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1，其过程为：
2.1对第t帧目标限定框中的个均匀跟踪点使用光流法进行跟踪，在t+1帧灰度图像视频帧序列中得到个预测跟踪点，其中第j个预测跟踪点为ut+1,j，与取值相等且一一对应；第t+1帧灰度图像视频帧序列中的第j个预测跟踪点ut+1,j的相应状态标签为lt+1,j，lt+1,j∈{0,1}，lt+1,j＝0表示第t+1帧灰度图像视频帧序列中的第j个均匀跟踪点ut+1,j未被光流法成功跟踪，lt+1,j＝1表示第t+1帧灰度图像视频帧序列中的第j个均匀跟踪点ut+1,j被光流法成功跟踪；再对第t+1帧灰度图像视频帧序列中的个预测跟踪点使用光流法进行逆跟踪，在第t帧灰度图像视频帧序列中得到个逆跟踪点，其中第j个逆跟踪点为u′t,j,与取值相等且一一对应，上标LK表示经过1次光流法跟踪，上标2LK表示经过2次光流法跟踪；
2.2第t帧目标限定框中的个均匀跟踪点经过光流法跟踪后得到个预测跟踪点，使用前向后向误差法对第t+1帧灰度图像视频帧序列中状态标签为1的预测跟踪点进行验证，得到经过前向后向误差法验证后状态标签仍为1的个预测跟踪点，上标1表示经过前向后向误差法1次验证；
2.3使用归一化互相关预测法对经过前向后向误差法验证后状态标签仍为1的个预测跟踪点进行验证，得到经过归一化互相关预测法验证后状态标签仍为1的个预测跟踪点，上标2表示经过前向后向误差法和归一化互相关预测法2次验证；
2.4对经过归一化互相关预测法验证后状态标签仍为1的个预测跟踪点使用目标跟踪算法得到归一化互相关预测后第t+1帧跟踪阶段限定框归一化互相关预测后第t+1帧跟踪阶段限定框包含的图像块记为上标N表示经过归一化互相关预测；
2.5使用马尔科夫预测法对经过归一化互相关预测法验证后状态标签仍为1的个预测跟踪点进行验证，得到经过马尔科夫预测法验证后状态标签仍为1的个预测跟踪点，上标3表示经过前向后向误差法、归一化互相关预测法和马尔科夫预测法3次验证；
2.6对经过马尔科夫预测法验证后状态标签仍为1的个预测跟踪点使用目标跟踪算法得到马尔科夫预测后第t+1帧跟踪阶段限定框马尔科夫预测后第t+1帧跟踪阶段限定框包含的图像块记为上标M表示经过马尔科夫预测；
2.7根据归一化互相关匹配算法分别得到归一化互相关预测后第t+1帧跟踪阶段限定框包含的图像块与第t帧灰度图像视频帧序列的正负样本库Lt中样本的相关相似度以及马尔科夫预测后第t+1帧跟踪阶段限定框包含的图像块与第t帧灰度图像视频帧序列的正负样本库Lt中样本的相关相似度上标T表示跟踪阶段；
2.8若相关相似度满足则令第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签并认为第t+1帧灰度图像视频帧序列跟踪阶段跟踪失败；
其中，表示第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签，表示第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签，表示第t+1帧灰度图像视频帧序列中归一化互相关预测法预测成功，表示第t+1帧灰度图像视频帧序列中马尔科夫预测法预测成功；
若相关相似度令第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签将归一化互相关预测后第t+1帧跟踪阶段限定框作为第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1，并将第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1作为第t+1帧灰度图像视频帧序列跟踪阶段的最终输出；其中，表示第t+1帧灰度图像视频帧序列中归一化互相关预测法预测失败，表示第t+1帧灰度图像视频帧序列中马尔科夫预测法预测失败；
若相关相似度不满足和中任一条件，则令第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签将马尔科夫预测后第t+1帧跟踪阶段限定框作为第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1；
其中，θR表示相关相似度阈值，上标R表示相关相似度，max表示取最大值。
5.如权利要求4所述的一种基于跟踪学习检测的目标跟踪优化方法，其特征在于，步骤3的子步骤为：
3.0确定第t+1帧灰度图像视频帧序列扫描区域为At+1，设定第t+1帧灰度图像视频帧序列尺度等级无序的扫描采用个尺度等级，为正奇数且 个尺度等级依次为即第t+1帧灰度图像视频帧序列的尺度等级第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口高度为第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口宽度为
3.1若第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口高度或第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口宽度则对应尺度等级为st+1的情况下检测阶段检测失败，令相关相似度 表示第t+1帧灰度图像视频帧序列尺度等级st+1对应的检测阶段限定框包含的图像块和第t帧灰度图像视频帧序列的正负样本库Lt中样本的相关相似度，表示第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口经过扫描和分类后得到的检测阶段限定框；若则使用大小为滑动窗口对第t+1帧灰度图像视频帧序列扫描区域At+1按照先水平后竖直的顺序进行扫描，第t+1帧灰度图像视频帧序列水平方向上步长为第t+1帧灰度图像视频帧序列竖直方向上步长为总计得到个扫描窗口，每个扫描窗口包含一个图像块，进而得到个图像块；其中为大于0的正整数，n为设定常数；
3.2对个图像块使用方差分类算法进行方差分类，在第t+1帧灰度图像视频帧序列扫描区域At+1中得到经过方差分类的个图像块；其中，上标1表示经过方差分类；
3.3对经过方差分类的个图像块使用随机森林分类算法进行随机森林分类，在第t+1帧灰度图像视频帧序列扫描区域At+1中得到经过随机森林分类的个图像块；其中，上标2表示经过随机森林分类；
3.4对经过随机森林分类的个图像块使用最近邻分类算法使用进行最近邻分类，在第t+1帧灰度图像视频帧序列扫描区域At+1中得到经过最近邻分类的个图像块；其中，上标3表示经过最近邻分类；3.5若经过最近邻分类的图像块个数则在第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口的检测阶段检测失败；经过最近邻分类的图像块个数对包含个图像块的扫描区域使用目标跟踪算法得到第t+1帧灰度图像视频帧序列尺度等级为st+1时对应的个检测阶段限定框；
3.6根据归一化互相关匹配算法计算个图像块分别与第t帧灰度图像视频帧序列的正负样本库Lt中样本的相关相似度，进而得到个相关相似度；将个相关相似度中的最大值标记为尺度等级为st+1时的最大相关相似度若尺度等级为st+1时的最大相关相似度对应的检测阶段限定框不唯一，则将个相关相似度中第1个相关相似度重新标记为尺度等级为st+1时的最大相关相似度
3.7令st+1的值分别取0、-1和1，重复执行子步骤3.1至3.6，分别得到尺度等级为0时的最大相关相似度尺度等级为-1时的最大相关相似度和尺度等级为1时的最大相关相似度然后根据尺度等级为0时的最大相关相似度尺度等级为-1时的最大相关相似度和尺度等级为1时的最大相关相似度之间的大小关系，决定下一个第t+1帧灰度图像视频帧序列滑动窗口扫描所用的尺度等级，具体过程为：
(1)若相关相似度max表示取最大值，执行以下子步骤：
3.7.1设置第一尺度等级临时变量为s'，令第一尺度等级临时变量s'的初始值为2，执行步骤3.7.2；
3.7.2根据子步骤3.1至3.6对第t+1帧灰度图像视频帧序列扫描区域At+1使用尺度等级为s'的滑动窗口swt+1,s'进行扫描和分类，得到尺度等级为s'时的最大相关相似度执行步骤3.7.3；
3.7.3若相关相似度令第一尺度等级临时变量s'的值减1，执行步骤3.7.4；若相关相似度令第一尺度等级临时变量s'的值加1，执行步骤3.7.2；直到满足条件执行步骤3.7.4；
3.7.4令第t+1帧灰度图像视频帧序列的尺度等级st+1的值等于第一尺度等级临时变量s'的值，将第t+1帧灰度图像视频帧序列尺度等级为st+1的滑动窗口经过扫描和分类后得到的检测阶段限定框作为第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1；
(2)若相关相似度max表示取最大值，执行以下子步骤：
3.7.5设置第二尺度等级临时变量令第二尺度等级临时变量的初始值为-2，执行步骤3.7.6；
3.7.6根据子步骤3.1至3.6对第t+1帧灰度图像视频帧序列扫描区域At+1使用尺度等级为的滑动窗口进行扫描和分类，得到尺度等级为时的最大相关相似度执行步骤3.7.7；
3.7.7若相关相似度令第二尺度等级临时变量的值加1，执行步骤3.7.8；若相关相似度令第二尺度等级临时变量的值减1，执行步骤3.7.6；直到满足条件执行步骤3.7.8；
3.7.8令第t+1帧灰度图像视频帧序列的尺度等级st+1的值与第二尺度等级临时变量的值取值相等，将第t+1帧灰度图像视频帧序列尺度等级st+1对应的扫描窗口扫描和分类后得到的检测阶段限定框作为第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1；
(3)若相关相似度不满足和中的任一条件，则将第t+1帧灰度图像视频帧序列的尺度等级st+1取值为0时对应的扫描窗口swt+1,0扫描和分类后得到的检测阶段限定框作为第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1。
6.如权利要求5所述的一种基于跟踪学习检测的目标跟踪优化方法，其特征在于，在3.0中，所述第t+1帧灰度图像视频帧序列扫描区域为At+1，还包括：
若第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签则对第t+1帧灰度图像视频帧序列进行扫描，扫描区域为第t+1帧灰度图像视频帧序列全局，将该扫描区域标记为第t+1帧灰度图像视频帧序列扫描区域At+1；令第t+1帧灰度图像视频帧序列扫描区域At+1对应的扫描状态标签表示对第t+1帧灰度图像视频帧序列扫描区域At+1进行尺度等级无序的全局扫描，上标R表示尺度等级无序；
若第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签对第t+1帧灰度图像视频帧序列进行扫描，扫描区域为第t+1帧灰度图像视频帧序列局部，第t+1帧灰度图像视频帧序列局部具体是以第t帧目标限定框的中心为中心、高度为宽度为的扫描区域，将该扫描区域标记为第t+1帧灰度图像视频帧序列扫描区域At+1；令第t+1帧灰度图像视频帧序列扫描区域At+1对应的扫描状态标签为表示对第t+1帧灰度图像视频帧序列扫描区域At+1进行尺度等级无序的局部扫描；
若第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签对第t+1帧灰度图像视频帧序列进行扫描，扫描区域为第t+1帧灰度图像视频帧序列设定区域，所述设定区域是将第t帧目标限定框的宽度和高度分别延长n2倍后所包含的区域，n2表示设定常数；将该扫描区域标记为第t+1帧灰度图像视频帧序列扫描区域At+1；令第t+1帧灰度图像视频帧序列扫描区域At+1对应的扫描状态标签为表示对第t+1帧灰度图像视频帧序列扫描区域At+1进行尺度等级无序的局部扫描。
7.如权利要求6所述的一种基于跟踪学习检测的目标跟踪优化方法，其特征在于，在步骤4中，所述确定第t+1帧跟踪目标的最终位置，其过程为：
若第t+1帧灰度图像视频帧序列的跟踪阶段限定框状态标签第t+1帧灰度图像视频帧序列的检测阶段状态标签对第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1和第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1使用目标跟踪算法得到第t+1帧目标限定框obt+1，进而确定第t+1帧跟踪目标的最终位置，执行步骤5；
若第t+1帧灰度图像视频帧序列的跟踪阶段限定框状态标签第t+1帧灰度图像视频帧序列的检测阶段状态标签对第t+1帧灰度图像视频帧序列的检测阶段限定框dbt+1使用目标跟踪算法得到第t+1帧目标限定框obt+1，进而确定第t+1帧跟踪目标的最终位置，执行步骤5；
若第t+1帧灰度图像视频帧序列的跟踪阶段限定框状态标签第t+1帧灰度图像视频帧序列的检测阶段状态标签对第t+1帧灰度图像视频帧序列的跟踪阶段限定框tbt+1使用目标跟踪算法得到第t+1帧目标限定框obt+1，进而确定第t+1帧跟踪目标的最终位置，执行步骤5；
若第t+1帧灰度图像视频帧序列的跟踪阶段限定框状态标签第t+1帧灰度图像视频帧序列的检测阶段状态标签判定在第t+1帧灰度图像视频帧序列中使用改进的目标跟踪算法跟踪失败，则将第t+1帧目标限定框大小设定为令t的值加1，令第t+1帧灰度图像视频帧序列中归一化互相关预测法的状态标签第t+1帧灰度图像视频帧序列中马尔科夫预测法的状态标签返回步骤3。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810079102.5A CN108320301B (zh) | 2018-01-26 | 2018-01-26 | 一种基于跟踪学习检测的目标跟踪优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810079102.5A CN108320301B (zh) | 2018-01-26 | 2018-01-26 | 一种基于跟踪学习检测的目标跟踪优化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108320301A true CN108320301A (zh) | 2018-07-24 |
| CN108320301B CN108320301B (zh) | 2022-03-18 |
Family
ID=62887917
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810079102.5A Active CN108320301B (zh) | 2018-01-26 | 2018-01-26 | 一种基于跟踪学习检测的目标跟踪优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108320301B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111008305A (zh) * | 2019-11-29 | 2020-04-14 | 百度在线网络技术（北京）有限公司 | 一种视觉搜索方法、装置以及电子设备 |
| CN112465859A (zh) * | 2019-09-06 | 2021-03-09 | 顺丰科技有限公司 | 快速运动目标的检测方法、装置、设备和储存介质 |
| CN113920155A (zh) * | 2021-08-30 | 2022-01-11 | 北京自动化控制设备研究所 | 一种基于核相关滤波的动目标跟踪算法 |
| CN114739391A (zh) * | 2022-04-06 | 2022-07-12 | 重庆工商大学 | 跟踪目标的定位优化方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102881022A (zh) * | 2012-07-20 | 2013-01-16 | 西安电子科技大学 | 基于在线学习的遮挡目标跟踪方法 |
| CN103902960A (zh) * | 2012-12-28 | 2014-07-02 | 北京计算机技术及应用研究所 | 一种实时人脸识别系统及其方法 |
| US20140334668A1 (en) * | 2013-05-10 | 2014-11-13 | Palo Alto Research Center Incorporated | System and method for visual motion based object segmentation and tracking |
| CN104408743A (zh) * | 2014-11-05 | 2015-03-11 | 百度在线网络技术（北京）有限公司 | 图像分割方法和装置 |
| CN104463862A (zh) * | 2014-11-28 | 2015-03-25 | 哈尔滨工业大学 | 肾脏ct序列图像快速分割方法 |
| CN106204649A (zh) * | 2016-07-05 | 2016-12-07 | 西安电子科技大学 | 一种基于tld算法的目标跟踪方法 |
| CN106303461A (zh) * | 2016-09-08 | 2017-01-04 | 福建师范大学 | 基于视频分析的移动式智能安防装置 |
| CN106373146A (zh) * | 2016-10-27 | 2017-02-01 | 南京航空航天大学 | 一种基于模糊学习的目标跟踪方法 |
| CN106780552A (zh) * | 2016-11-08 | 2017-05-31 | 西安电子科技大学 | 基于局部区域联合跟踪检测学习的抗遮挡目标跟踪方法 |
| CN106886748A (zh) * | 2016-12-28 | 2017-06-23 | 中国航天电子技术研究院 | 一种基于tld的适用于无人机的变尺度目标跟踪方法 |
| WO2017168462A1 (en) * | 2016-03-29 | 2017-10-05 | Nec Corporation | An image processing device, an image processing method, and computer-readable recording medium |
| CN107392210A (zh) * | 2017-07-12 | 2017-11-24 | 中国科学院光电技术研究所 | 一种基于tld算法的目标检测跟踪方法 |
| CN107423702A (zh) * | 2017-07-20 | 2017-12-01 | 西安电子科技大学 | 基于tld跟踪系统的视频目标跟踪方法 |
-
2018
- 2018-01-26 CN CN201810079102.5A patent/CN108320301B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102881022A (zh) * | 2012-07-20 | 2013-01-16 | 西安电子科技大学 | 基于在线学习的遮挡目标跟踪方法 |
| CN103902960A (zh) * | 2012-12-28 | 2014-07-02 | 北京计算机技术及应用研究所 | 一种实时人脸识别系统及其方法 |
| US20140334668A1 (en) * | 2013-05-10 | 2014-11-13 | Palo Alto Research Center Incorporated | System and method for visual motion based object segmentation and tracking |
| CN104408743A (zh) * | 2014-11-05 | 2015-03-11 | 百度在线网络技术（北京）有限公司 | 图像分割方法和装置 |
| CN104463862A (zh) * | 2014-11-28 | 2015-03-25 | 哈尔滨工业大学 | 肾脏ct序列图像快速分割方法 |
| WO2017168462A1 (en) * | 2016-03-29 | 2017-10-05 | Nec Corporation | An image processing device, an image processing method, and computer-readable recording medium |
| CN106204649A (zh) * | 2016-07-05 | 2016-12-07 | 西安电子科技大学 | 一种基于tld算法的目标跟踪方法 |
| CN106303461A (zh) * | 2016-09-08 | 2017-01-04 | 福建师范大学 | 基于视频分析的移动式智能安防装置 |
| CN106373146A (zh) * | 2016-10-27 | 2017-02-01 | 南京航空航天大学 | 一种基于模糊学习的目标跟踪方法 |
| CN106780552A (zh) * | 2016-11-08 | 2017-05-31 | 西安电子科技大学 | 基于局部区域联合跟踪检测学习的抗遮挡目标跟踪方法 |
| CN106886748A (zh) * | 2016-12-28 | 2017-06-23 | 中国航天电子技术研究院 | 一种基于tld的适用于无人机的变尺度目标跟踪方法 |
| CN107392210A (zh) * | 2017-07-12 | 2017-11-24 | 中国科学院光电技术研究所 | 一种基于tld算法的目标检测跟踪方法 |
| CN107423702A (zh) * | 2017-07-20 | 2017-12-01 | 西安电子科技大学 | 基于tld跟踪系统的视频目标跟踪方法 |
Non-Patent Citations (4)
| Title |
|---|
| CLAUDIO CARAFFI等: "《A system for real-time detection and tracking of vehicles from a single car-mounted camera》", 《2012 15TH INTERNATIONAL IEEE CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS》 * |
| 姚沛: "《基于TLD多目标跟踪算法研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 焦蓬斐 等: "《基于多新息Kalman滤波的TLD改进算法》", 《数据采集与处理》 * |
| 陈冰 等: "《一种新的红外成像末制导目标跟踪方法》", 《光子学报》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112465859A (zh) * | 2019-09-06 | 2021-03-09 | 顺丰科技有限公司 | 快速运动目标的检测方法、装置、设备和储存介质 |
| CN111008305A (zh) * | 2019-11-29 | 2020-04-14 | 百度在线网络技术（北京）有限公司 | 一种视觉搜索方法、装置以及电子设备 |
| US11704813B2 (en) | 2019-11-29 | 2023-07-18 | Baidu Online Network Technology (Beijing) Co., Ltd. | Visual search method, visual search device and electrical device |
| CN113920155A (zh) * | 2021-08-30 | 2022-01-11 | 北京自动化控制设备研究所 | 一种基于核相关滤波的动目标跟踪算法 |
| CN114739391A (zh) * | 2022-04-06 | 2022-07-12 | 重庆工商大学 | 跟踪目标的定位优化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108320301B (zh) | 2022-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110363122B (zh) | 一种基于多层特征对齐的跨域目标检测方法 | |
| Li et al. | Adaptive deep convolutional neural networks for scene-specific object detection | |
| CN108320301B (zh) | 一种基于跟踪学习检测的目标跟踪优化方法 | |
| CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
| CN103886325B (zh) | 一种分块的循环矩阵视频跟踪方法 | |
| CN111080675A (zh) | 一种基于时空约束相关滤波的目标跟踪方法 | |
| CN108564598B (zh) | 一种改进的在线Boosting目标跟踪方法 | |
| CN110046659B (zh) | 一种基于tld的长时间单目标跟踪方法 | |
| CN110322445A (zh) | 一种基于最大化预测和标签间相关性损失函数的语义分割方法 | |
| CN113744311A (zh) | 基于全连接注意力模块的孪生神经网络运动目标跟踪方法 | |
| CN111582349B (zh) | 一种基于YOLOv3和核相关滤波改进的目标跟踪算法 | |
| CN107967692A (zh) | 一种基于跟踪学习检测的目标跟踪优化方法 | |
| Chen et al. | Using FTOC to track shuttlecock for the badminton robot | |
| CN107844739B (zh) | 基于自适应同时稀疏表示的鲁棒性目标追踪方法 | |
| CN113129336A (zh) | 一种端到端多车辆跟踪方法、系统及计算机可读介质 | |
| Li et al. | Robust object tracking via multi-feature adaptive fusion based on stability: contrast analysis | |
| Wang et al. | Multiple pedestrian tracking with graph attention map on urban road scene | |
| Li et al. | License plate detection using convolutional neural network | |
| Gad et al. | Real-time lane instance segmentation using SegNet and image processing | |
| Yin | Object Detection Based on Deep Learning: A Brief Review | |
| CN115984223A (zh) | 基于PCANet及多分类器融合的图像溢油检测方法 | |
| Liu et al. | A DeNoising FPN with Transformer R-CNN for Tiny Object Detection | |
| CN104680194A (zh) | 基于随机蕨丛和随机投影的在线目标跟踪方法 | |
| CN110111358B (zh) | 一种基于多层时序滤波的目标跟踪方法 | |
| CN111273779B (zh) | 基于自适应空间监督的动态手势识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |