CN111311643B - 使用动态搜索的视频目标跟踪方法 - Google Patents

使用动态搜索的视频目标跟踪方法 Download PDF

Info

Publication number
CN111311643B
CN111311643B CN202010234575.5A CN202010234575A CN111311643B CN 111311643 B CN111311643 B CN 111311643B CN 202010234575 A CN202010234575 A CN 202010234575A CN 111311643 B CN111311643 B CN 111311643B
Authority
CN
China
Prior art keywords
frame
node
aog
graph
bounding box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010234575.5A
Other languages
English (en)
Other versions
CN111311643A (zh
Inventor
吴炜
朱爰润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010234575.5A priority Critical patent/CN111311643B/zh
Publication of CN111311643A publication Critical patent/CN111311643A/zh
Application granted granted Critical
Publication of CN111311643B publication Critical patent/CN111311643B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种使用动态搜索的视频目标跟踪方法，主要解决现有技术跟踪效果不佳的问题。其实现方案为：根据第一帧目标包围盒建立全结构与或图；对全结构与或图修剪得对象与或图；使用对象与或图在划定的搜索区域跟踪，产生当前帧解析集合和最优结果，并由该集合设置当前帧参数放入训练帧集合；根据训练帧集合计算不可追踪帧计数及干扰对象个数，并据此参数判断是否需要重新学习对象与或图：若是，则重新剪枝全结构与或图，获得更新的对象与或图，否则，使用当前帧解析集合进行对象与或图根或节点训练；使用更新后的目标对象与或图进行下一帧的跟踪，直到完成最后一帧跟踪。本发明跟踪效果好，性能优，可用于对视频中目标运动轨迹的检测和跟踪。

Description

使用动态搜索的视频目标跟踪方法
技术领域
本发明属于视频处理技术领域，特别涉及一种目标跟踪方法，可用于对视频中目标运动轨迹的检测和跟踪。
背景技术
视频中的目标检测和在线跟踪一直是受到普遍重视和研究的问题，该问题广泛存在于刑侦学，信息科学，计算机科学，图像学等诸多科学技术领域。在实际运用中，视频输入端会将视频流进行处理分帧，并逐帧传回后端，后端根据由初始帧标记的待跟踪对象进行逐帧解析并进行目标的在线跟踪，待跟踪对象可以是人类，动物，植物，以及任何在视频中具有实际形体的物件。通过对视频中运动目标的跟踪，可以获得目标在整个视频流中的运动路径。目标运动的跟踪结果可应用于轨迹预测，预警分析，动作捕捉等多个方向，具有广泛的理论和实际应用价值。
Navneet Dalal,Bill Triggs等人在其论文《Histograms ofOriented Gradientsfor Human Detection》，提出使用方向梯度直方图(以下统称HOG特征)用作目标检测跟踪，该方法是经典的目标跟踪方法之一。其先通过将初始帧中标记的待检测对象进行裁剪，提取HOG特征，并训练出SVM分类器，再在后续帧中使用滑动窗口的方式寻找高响应区域并标记，实现对目标的检测和跟踪。该方法的优势是不需要使用大量数据进行预训练，并且运行较快，在任何类别下都可进行在线跟踪。缺陷是相较于神经网络跟踪的准确率不高，容易出现跟踪失败的情况。
Pedro F.Felzenszwalb等人所著论文《Object Detection withDiscriminatively Trained Part-Based Models》中提出判别性训练部分模板DPM方法用作目标检测跟踪，该方法在HOG特征的基础上，扩充二倍分辨率下的部分模板，并引入隐变量支持向量机LSVM对部分模板进行训练，从而更好实现对象的检测跟踪，但该方法存在需要实现确定部分模板数量的缺陷。
Tianfu Wu等人在论文《Online Object Tracking,Learning and ParsingwithAnd-Or Graphs》中提出了基于与或图AOG的目标检测和跟踪方法。Tianfu Wu等人在其论文中使用HOG+局部二进制LBP+颜色直方图来扩充传统的HOG特征，并结合AOG对目标进行结构建模，但在实际运用中该方法仍存在跟踪失败的情况，尤其是在一些较复杂的数据集上，表现的更为明显。
深圳腾讯科技有限公司在其申请的专利“目标跟踪方法、目标跟踪装置、目标跟踪设备”(申请号：201811198327.9，公开号：110163889A)中，公开了一种目标检测方法，该方法将人分成头部和身体，分别进行检测，并对最终检测结果进行合并。该方法有着划分死板的缺陷，无法针对目标进行灵活的分割和划分最具判别力的设置，使得最终跟踪结果差。
中国电子科技集团公司第三研究所在其申请的专利“目标跟踪方法和目标跟踪装置”(申请号：201611128715.0，公开号：106709939B)中，介绍了一种目标跟踪的方法，该方法利用帧间差异结合模型算法对目标轨迹进行推断，这种方法没有对跟踪目标进行结构建模，仅对图像全局进行分析，很容易受到背景杂波和物体形变等多种复杂情况的干扰，导致跟踪效果不佳。
发明内容
本发明的目的在于针对上述现有技术的不足，基于Tianfu Wu等人提出的传统与或图AOG跟踪方法，提出一种使用动态搜索的视频目标跟踪方法，以提高目标跟踪效果。
本发明的技术思路是：将与或图AOG用作目标跟踪的基础，通过建立全结构与或图AOG，描述物体零件配置的所有可能方式；通过对全结构与或图AOG进行修剪，得到描述具体目标的对象与或图AOG；通过使用目标的对象与或图AOG在划定的搜索区域进行目标跟踪，选出当前帧的最优预测结果。其实现步骤包括如下：
(1)根据第一帧目标包围盒建立全结构与或图AOG，以描述物体零件配置的所有可能方式，其包括与节点，或节点和终端节点；该与节点代表对组合的拆分，该或节点代表某种分割结果，或节点的子分支代表对或节点本身的不同分割方式，该终端节点用来接地至图像数据，终端节点与或节点一一对应，且每个或节点都有与其对应的子终端节点和多个子与节点；
(2)对全结构与或图AOG进行修剪，得到描述具体目标的对象与或图AOG；
(3)划定搜索区域，使用对象与或图AOG进行目标跟踪，产生当前帧的解析集合并从中选出当前帧的最优预测结果；
(4)根据当前帧的解析集合进行当前帧的参数设置，并将当前帧添加进训练帧集合；
(5)根据训练帧集合判断当前帧的可追踪帧性，获得不可追踪帧计数，并根据当前帧的解析集合获得当前帧的干扰对象总数；
(6)根据训练帧集合进行对象与或图AOG的更新，即判断训练帧集合是否满足如下两个条件之一：
A.不可追踪帧计数大于不可追踪帧上限阈值；
B.当前帧为可追踪帧且当前帧的干扰对象总数大于干扰项上限阈值；
若满足，则删除当前对象与或图AOG，基于训练帧集合对全结构AOG进行重新修剪，获得新的对象与或图AOG，该新的对象与或图AOG具有新的结构和新的各节点分类器参数，
否则，即两个条件都不满足时，则保留对象与或图AOG，并使用当前帧的解析集合进行对象与或图AOG根或节点分类器的训练；
(7)使用更新后的目标对象与或图AOG进行下一帧的跟踪，判断当前帧序号F是否为最后一帧序号，若是，则结束跟踪，否则，令F＝F+1，返回(3)进行下一帧的目标跟踪。
本发明与现有技术相比，具有如下优点：
第一，本发明通过与或图AOG对跟踪目标进行建模，描述了跟踪目标所有可能的零件配置，克服了传统基于HOG特征的目标跟踪算法仅针对整体建模而缺乏零件细节的缺陷，并且相较于其他死板的零件结构划分方法具有更强大的灵活性，使得本发明具有更优秀的跟踪性能。
第二，本发明通过目标运动速度对目标搜索范围进行灵活控制，克服了传统基于帧间差异方法和传统与或图跟踪方法在较大且固定的搜索范围内进行目标搜索的缺陷，使得本发明具有较低的空间复杂度和更好的跟踪性能。
第三，本发明通过及时更新描述目标的对象与或图AOG，令目标模型时刻保持较新的状态，克服了传统与或图跟踪方法对与或图模型更新不及时的缺陷，使得本发明更少的出现跟踪漂移、跟踪丢失情况，提高了跟踪稳定性和跟踪效果。
附图说明
图1是本发明的实现流程图；
图2是用本发明和传统与或图AOG跟踪方法在TB50视频集上的跟踪准确率对比图；
图3是用本发明和传统与或图AOG跟踪方法在TB50视频集上的跟踪成功率对比图；
图4是用本发明和传统与或图AOG跟踪方法在TB100视频集上的跟踪准确率对比图；
图5是用本发明和传统与或图AOG跟踪方法在TB100视频集上的跟踪成功率对比图。
具体实施方式
下面结合附图对本发明的实施例和效果做进一步的详细描述。
本发明是对现有与或图AOG跟踪方法的改进，其中与或图AOG是由与节点、或节点的终端节点组成的树状结构，与节点代表对组合的拆分，或节点代表某种分割结果，该分割结果包含分割区域和该区域的SVM分类器向量，或节点的子分支代表对或节点本身的不同分割方式，终端节点用来接地至图像数据，终端节点与或节点一一对应，且每个或节点都有与其对应的子终端节点和多个子与节点，子与节点代表对该或节点的具体拆分方式。与或图AOG的得分由其节点得分来表示，其中与节点的得分为其子节点的得分和，或节点的得分为其子节点得分的最大值，终端节点的得分为该终端节点接地图像数据的特征向量与该终端节点唯一对应的或节点分类器向量的内积。
参照图1，对本实例的实现步骤如下：
步骤1：根据第一帧目标包围盒建立全结构与或图AOG。
(1.1)读取第一帧中的目标对象包围盒，并以t0像素为间隔进行网格化，t0为网格像素值边长；
(1.2)将网格视作根或节点，为其创造一个终端子节点，用以连接图像数据；
(1.3)将网格进行长或宽任意方向的二元分割，每种有效分割方式视作一个子与节点，将子与节点拆分成两个子或节点，子或节点即代表分割开的网格，每个子或节点拥有一个终端节点，代表子或节点本身，用以连接图像数据；
(1.4)将子或节点视作新的根节点，递归进行二元分割直至所有或节点分割至单位网格为止，得到全结构与或图AOG。
步骤2：对全结构与或图AOG进行修剪，得到描述具体目标的对象与或图AOG。
(2.1)建立正例特征向量集合R+和负例特征向量集合R-；
(2.2)清空集合R+,R-；
(2.3)定义正负例重叠率m，相似目标计数点τ，并对当前帧序号做判断：
若当前帧序号为1，则执行(2.4)，
否则，执行(2.5)；
(2.4)统计第一帧的相似目标计数点并赋值给τ：
(2.4.1)定义第一帧搜索区域为：以第一帧目标对象包围盒中心点为中心，边长为MROI的正方形，其中MROI为搜索区域边长上限，将第一帧搜索区域以t0像素为间隔进行网格化；
(2.4.2)计算第一帧目标对象包围盒的特征向量V1，使用和第一帧目标对象包围盒同等大小的滑动窗口，从第一帧搜索区域左上角按行优先的顺序遍历至右下角，计算每个滑动位置的特征向量V0，并将V1的模和V0的模的差值存入模值二维数组V；
(2.4.3)定义尺寸为FL×FL的滤波器，FL为滤波器长度，滤波器满足如下规则：
以滤波器左上角建立坐标系，滤波器中心位置的输入数据为滤波器内所有输入数据的最小值；
滤波器主副对角线上的输入数据满足靠近中心点的输入数据小于远离中心点的输入数据；
将滤波器按主对角线和副对角线进行区域划分，两条对角线将滤波器划分成上下左右四个对称区域，每个区域均呈三角状，对于每个区域内的输入数据，均满足靠近滤波器中心位置的输入数据小于远离滤波器中心位置的输入数据；
使用该滤波器以滑动窗口的方式对模值二维数组V进行滤波，统计在模值二维数组V上符合滤波器规则的区域总数，将该总数赋值给目标计数点τ；
(2.5)定义每个训练帧均有各自的相似计数VC，以帧序号作为下标区分，统计训练帧集合D内所有训练帧的相似计数VC平均值，将该平均值赋值给相似目标计数点τ；
(2.6)参数更新：
(2.6.1)更新正负例重叠率m＝M0×(MT-e-τ)，其中M0为初始重叠率限制，MT为映射平移系数；
(2.6.2)更新正例特征向量集合R+，即对所有训练帧的预测包围盒进行平移，该平移具体包括上、下、左、右、左上、左下、右上、右下这8个方向，每次平移距离为t0/2像素值，将平移结果和预测包围盒本身均作为正例包围盒，计算正例包围盒特征向量并添加进正例特征向量集合R+；
(2.6.3)更新负例特征向量集合R-，定义每个训练帧具有各自的难例特征向量集合HN，以帧序号作为下标区分，若当前帧序号不为1，则执行(2.6.4)，否则，执行(2.6.5)；
(2.6.4)判断相似目标计数点τ的值，定义相似估计阈值τα，若τ>τα，则将每个训练帧对应的HN添加进负例特征向量集合R-，并执行(2.6.5)，否则，不添加；
(2.6.5)在每个训练帧的正例包围盒周围以均匀分布随机选取同尺度同大小的负例包围盒，选取时应保证负例包围盒与正例包围盒的交集面积与正例包围盒面积的比值，小于正负例重叠率m，计算选取的负例包围盒特征向量并添加进负例特征向量集合R-；
(2.7)使用正例特征向量集合R+和负例特征向量集合R-进行训练，得到根或节点的SVM分类器，作为全结构与或图AOG根或节点的SVM分类器；
(2.8)按照广度优先顺序遍历全结构与或图AOG的子或节点，每遍历一层或节点，就统计该层或节点的训练误差率，记该层或节点最低训练误差率为σ，将该层所有训练误差率大于σ+α的或节点及其所有子节点剪枝，待所有层遍历完成后获得初步修剪的对象与或图AOG，其中α代表误差容许上限；
(2.9)使用隐变量支持向量机对初步修剪后的对象与或图AOG进行再训练，统计训练过程中所有分支的再分配标记率，并修剪掉再分配标记率小于∈的分支，得到最终的对象与或图AOG，其中∈表示标记修剪率。
步骤3：划定搜索区域，使用对象与或图AOG进行目标跟踪，产生当前帧的解析集合并从中选出当前帧的最优预测结果。
(3.1)输入待跟踪帧为当前帧，设当前帧序号为F，前一帧为F-1，且F-1为已跟踪，F帧最优预测包围盒由F-1帧预测包围盒初始化；
(3.2)划定搜索区域：定义每个训练帧具有各自的速度值为VS，以帧序号作为下标区分，因此F-1帧速度值为VSF-1，取第一帧矩形包围盒与F-1帧矩形包围盒两者长和宽的最大值为LF，设定初始速度限制值VI，速度变化程度值Vα，令F帧的搜索区域边长为：L＝Min(LF×(VI+Vα×VSF-1/LF),MROI)，则F帧的搜索区域为：以F帧最优预测包围盒中心点为中心，边长为L的正方形，其中Min函数输出LF×(VI+Vα×VSF-1/LF)与MROI两者的较小值；
(3.3)定义解析集合C并清空，将F帧搜索区域网格化，使用滑动窗口的方式，将对象与或图AOG的根或节点分类器从搜索区域左上角遍历到右下角，计算每个区域的得分，该区域的得分由对象与或图AOG在该区域所在位置处的根或节点得分来表示，将每个区域位置及其得分以二元组的方式存进解析集合C中；
(3.4)更新F帧最优预测包围盒：取解析集合C中得分最高的区域位置作为F帧的最优预测矩形包围盒，并将该预测包围盒存入包围盒集合Z中，该包围盒集合Z即为所有训练帧最优包围盒的结果集合。
步骤4：根据当前帧的解析集合进行当前帧的参数设置，并将当前帧添加进训练帧集合。
(4.1)对解析集合C中的区域进行非极大化抑制，以解析集合C中的最高得分区域为参考，筛选掉解析集合C中重叠率大于重叠率控制值Sα的项；
(4.2)定义高得分解析集合CD并清空，选取解析集合C中得分最高的Tb个项，保存在高得分解析集合CD中，Tb为高得分项数；
(4.3)定义干扰项集合CF并清空，定义解析集合C中的最高得分为SF，统计高得分解析集合CD中所有得分大于Sα×SF的项，保存至干扰项集合CF；
(4.4)对干扰项集合CF中的项进行非极大化抑制，统计相互重叠小于Sγ的个数μ，将μ赋值给F帧的相似计数VCF，其中Sγ代表相似重叠阈值；
(4.4)取出高得分解析集合CD中不与最高得分区域重叠，且相互之间不重叠的项，计算其特征向量并添加进F帧的难例特征向量集合HNF；
(4.5)计算F帧最优预测包围盒中心点和F-1帧预测包围盒中心点的距离，赋值给F帧的速度值VSF；
(4.6)将F帧添加进训练帧集合D中。
步骤5：根据训练帧集合判断当前帧的可追踪帧性，获得不可追踪帧计数，并根据当前帧的解析集合获得当前帧的干扰对象总数。
(5.1)统计训练帧集合D中除F帧外其他项的最优得分均值mean和方差std；
(5.2)判断F帧的解析集合最高得分SF是否满足SF<mean-δ×std的条件：
若满足，则将F帧标记为不可追踪帧；
否则，不标记，其中δ为高斯系数。
(5.3)统计高得分解析集合CD中与最高得分区域重叠小于Sβ且得分大于Sθ×SF的项的个数作为干扰对象总数g，其中Sβ为高得分重叠率下限，Sθ为得分缩放系数，SF为解析集合最高得分。
步骤6：根据训练帧集合进行对象与或图AOG的更新。
判断训练帧集合是否满足如下两个条件之一：
A.不可追踪帧计数大于不可追踪帧上限阈值；
B.当前帧为可追踪帧且当前帧的干扰对象总数大于干扰项上限阈值；
若满足，则删除当前对象与或图AOG，并执行步骤2，即基于训练帧集合对全结构AOG进行重新修剪，获得新的对象与或图AOG，该新的对象与或图AOG具有新的结构和新的各节点分类器参数，
若两个条件都不满足时，则保留对象与或图AOG，并使用当前帧的解析集合进行对象与或图AOG根或节点分类器的训练。
所述两个条件A与B的具体判断方式如下：
(6.1)判断第一个条件A是否成立：
(6.1.1)定义不可追踪帧计数G，若F帧被标记为不可追踪帧，则令G＝G+1；
(6.1.2)定义Gα为不可追踪帧上限阈值，若G>Gα，则第一个条件A成立，否则,第一个条件A不成立；
(6.2)判断第二个条件B是否成立：
(6.2.1)定义干扰项上限阈值gα，若干扰对象总数g>gα，则第二个条件B成立，否则，第二个条件B不成立。
步骤7：使用更新后的目标对象与或图AOG进行下一帧的跟踪。
判断当前帧序号F是否为最后一帧序号：
若是，则结束跟踪，输出包围盒集合Z作为最终结果，
否则，令F＝F+1，返回步骤3进行下一帧的目标跟踪。
本发明的效果可通过以下实验进一步说明：
1)实验条件与参数：
本发明的验证方法使用Ubuntu14操作系统，CPU为Intel Core i7-7700HQ,数据集使用TB50/100视频集进行跟踪测试。
设置实验中的参数取值为：FL＝5；M0＝0.5；MT＝1；t0＝4；α＝0.01；ε＝0.1；VI＝1.5；Vα＝2；Gα＝4；gα＝7；δ＝3；Sα＝0.7；Sβ＝0.2；MROI＝1000；Sθ＝0.7；Tb＝10；
2)实验内容与结果
实验采用国际上通用的目标跟踪方法评价标准，即使用TB-50/100视频集进行测试，实验结果对视频集表现取平均，使用OPE标准绘制出本发明和原始方法即传统与或图AOG跟踪方法的各项试验对比。
实验1，用本发明和原始方法在TB50视频集上进行跟踪准确率的对比，TB50视频集包含50个视频，本实验通过对比本发明和原始方法在每个视频中的表现，并最后对50个视频的表现结果取平均，绘制出本发明和原始方法在TB50视频集上的跟踪准确率对比图，结果如附图2，其中横坐标代表像素间隔，纵坐标代表预测包围盒和真实包围盒的中心点距离小于横坐标像素间隔的帧数占总帧数的百分比。附图2中圆点标记曲线为本发明跟踪准确率，方点标记曲线为原始方法跟踪准确率。
从附图2可见，圆点标记曲线整体处于方点标记曲线之上，说明本发明产生的预测包围盒与真实包围盒中心点距离更靠近，本发明跟踪准确率性能更优。
实验2，用本发明和原始方法在TB50视频集上进行跟踪成功率的对比，通过对比本发明和原始方法在TB50视频集内每个视频的表现，并最后对50个视频的表现结果取平均，绘制出本发明和原始方法在TB50视频集上的跟踪成功率对比图，结果如附图3，其中横坐标代表重叠率，纵坐标代表预测包围盒和真实包围盒的交并比数值大于横坐标重叠率的帧数占总帧数的百分比。附图3中圆点标记曲线为本发明跟踪成功率，方点标记曲线为原始方法跟踪成功率。
从附图3可见，圆点标记曲线整体处于方点标记曲线之上，说明本发明产生的预测包围盒与真实包围盒交并比数值更大，本发明跟踪成功率性能更优。
实验3，用本发明和原始方法在TB100视频集上进行跟踪准确率的对比，TB100视频集包含100个视频，本实验通过对比本发明和原始方法在每个视频中的表现，并最后对100个视频的表现结果取平均，绘制出本发明和原始方法在TB100视频集上的跟踪准确率对比图，结果如附图4，其中横坐标代表像素间隔，纵坐标代表预测包围盒和真实包围盒的中心点距离小于横坐标像素间隔的帧数占总帧数的百分比。附图4中圆点标记曲线为本发明跟踪准确率，方点标记曲线为原始方法跟踪准确率。
从附图4可见，圆点标记曲线整体处于方点标记曲线之上，说明本发明产生的预测包围盒与真实包围盒中心点距离更靠近，本发明跟踪准确率性能更优。
实验4，用本发明和原始方法在TB100视频集上进行跟踪成功率的对比，通过对比本发明和原始方法在TB100视频集内每个视频的表现，并最后对100个视频的表现结果取平均，绘制出本发明和原始方法在TB100视频集上的跟踪成功率对比图，结果如附图5，其中横坐标代表重叠率，纵坐标代表预测包围盒和真实包围盒的交并比数值大于横坐标重叠率的帧数占总帧数的百分比。附图5中圆点标记曲线为本发明的跟踪成功率，方点标记曲线为原始方法的跟踪成功率。
从附图5可见，圆点标记曲线整体处于方点标记曲线之上，说明本发明产生的预测包围盒与真实包围盒交并比数值更大，本发明跟踪成功率性能更优。
将附图2、附图4的具体数值进性对比，结果如表1。
将附图3、附图5的具体数值进行对比，结果如表2。
表1.TB50/100准确率具体数值对比
Figure BDA0002430553540000101
表1左侧为一组像素间隔取值，对应附图2、附图4的横坐标取值，在不同的像素间隔取值下，对比了原始方法和本发明在TB100和TB50上的表现。由表1可见，对于所有的像素间隔取值，本发明在TB50和TB100上的百分比数值均高于原始方法，说明本发明具有更好的准确率性能优势。
表2.TB50/100成功率具体数值对比
Figure BDA0002430553540000102
表2左侧为一组重叠率取值，对应附图3、附图5的横坐标取值，在不同的重叠率取值下，对比了原始方法和本发明在TB50和TB100上的表现。从表2可见，对于所有的重叠率取值，本发明在TB50和TB100上的百分比数值均高于原始方法，说明了本发明在成功率上的性能优势。
综上所述，本发明相较于传统与或图AOG跟踪方法具有更优异的表现，无论是从准确率还是成功率进行衡量，都能带来一定的性能提升，展现出更好的跟踪效果。

Claims (8)

1.一种使用动态搜索的视频目标跟踪方法，其特征在于，包括如下：
(1)根据第一帧目标包围盒建立全结构与或图AOG，以描述物体零件配置的所有可能方式，其包括与节点，或节点和终端节点；该与节点代表对组合的拆分，该或节点代表某种分割结果，或节点的子分支代表对或节点本身的不同分割方式，该终端节点用来接地至图像数据，终端节点与或节点一一对应，且每个或节点都有与其对应的子终端节点和多个子与节点；
(2)对全结构与或图AOG进行修剪，得到描述具体目标的对象与或图AOG；
(3)划定搜索区域，使用对象与或图AOG进行目标跟踪，产生当前帧的解析集合并从中选出当前帧的最优预测结果；
(4)根据当前帧的解析集合进行当前帧的参数设置，并将当前帧添加进训练帧集合；
(5)根据训练帧集合判断当前帧的可追踪帧性，获得不可追踪帧计数，并根据当前帧的解析集合获得当前帧的干扰对象总数；
(6)根据训练帧集合进行对象与或图AOG的更新，即判断训练帧集合是否满足如下两个条件之一：
A.不可追踪帧计数大于不可追踪帧上限阈值；
B.当前帧为可追踪帧且当前帧的干扰对象总数大于干扰项上限阈值；
若满足，则删除当前对象与或图AOG，基于训练帧集合对全结构AOG进行重新修剪，获得新的对象与或图AOG，该新的对象与或图AOG具有新的结构和新的各节点分类器参数，
否则，即两个条件都不满足时，则保留对象与或图AOG，并使用当前帧的解析集合进行对象与或图AOG根或节点分类器的训练；
(7)使用更新后的目标对象与或图AOG进行下一帧的跟踪，判断当前帧序号F是否为最后一帧序号，若是，则结束跟踪，否则，令F＝F+1，返回(3)进行下一帧的目标跟踪。
2.根据权利要求1所述的方法，其中(1)中根据第一帧目标包围盒来建立全结构与或图AOG，实现如下：
(1a)读取第一帧中的目标对象包围盒并网格化；
(1b)将网格视作根或节点，为其创造一个终端子节点，用以连接图像数据；
(1c)将网格进行长或宽任意方向的二元分割，每种有效分割方式视作一个子与节点，将子与节点拆分成两个子或节点，子或节点即代表分割开的网格，每个子或节点拥有一个终端节点，代表子或节点本身，用以连接图像数据；
(1d)将子或节点视作新的根节点，递归进行二元分割直至所有或节点分割至单位网格为止，得到全结构与或图AOG。
3.根据权利要求1所述的方法，其中(2)中修剪全结构与或图AOG，得到描述具体目标的对象与或图AOG，实现如下：
(2a)建立正例特征向量集合R+和负例特征向量集合R-；
(2b)清空集合R+,R-；
(2c)定义正负例重叠率m，相似目标计数点τ，并对当前帧序号做判断，若当前帧序号为1，则执行(2d)，否则，执行(2e)；
(2d)统计第一帧的相似目标计数点并赋值给τ：
(2d1)定义第一帧搜索区域为：以第一帧目标对象包围盒中心点为中心，边长为MROI的正方形，其中MROI为搜索区域边长上限，将第一帧搜索区域网格化；
(2d2)计算第一帧目标对象包围盒的特征向量V1，使用和第一帧目标对象包围盒同等大小的滑动窗口，从第一帧搜索区域左上角按行优先的顺序遍历至右下角，计算每个滑动位置的特征向量V0，并将V1的模和V0的模的差值存入模值二维数组V；
(2d3)定义尺寸为FL×FL的滤波器，FL为滤波器长度，滤波器满足如下规则：
以滤波器左上角建立坐标系，滤波器中心位置的输入数据为滤波器内所有输入数据的最小值；
滤波器主副对角线上的输入数据满足靠近中心点的输入数据小于远离中心点的输入数据；
由主副对角线划分开的上下左右四个区域满足靠近中心点的输入数据小于远离中心点的输入数据，使用该滤波器以滑动窗口的方式对模值二维数组V进行滤波，统计在模值二维数组V上符合滤波器规则的区域总数，将该总数赋值给相似目标计数点τ；
(2e)定义每个训练帧均有各自的相似计数VC，以帧序号作为下标区分，统计所有训练帧的VC的平均值，将该平均值赋值给相似目标计数点τ；
(2f)参数更新：
(2f1)更新正负例重叠率m＝M0×(MT-e-τ)，其中M0为初始重叠率限制，MT为映射平移系数；
(2f2)更新正例特征向量集合R+，即对所有训练帧的预测包围盒进行平移，将平移结果和预测包围盒本身均作为正例包围盒，计算正例包围盒特征向量并添加进正例特征向量集合R+；
(2f3)更新负例特征向量集合R-，定义每个训练帧具有各自的难例特征向量集合HN，以帧序号作为下标区分，若当前帧序号不为1，则执行(2f4)，否则，执行(2f5)；
(2f4)判断相似目标计数点τ的值，定义相似估计阈值τα，若τ>τα，则将每个训练帧对应的HN添加进负例特征向量集合R-，并执行(2f5)，否则，不添加；
(2f5)在每个训练帧的正例包围盒周围以均匀分布随机选取同尺度同大小的负例包围盒，选取时应保证负例包围盒与正例包围盒的交集面积与正例包围盒面积的比值，小于正负例重叠率m，计算选取的负例包围盒特征向量并添加进负例特征向量集合R-；
(2g)使用正例特征向量集合R+和负例特征向量集合R-进行训练得到SVM分类器，作为全结构与或图AOG根节点的SVM分类器；
(2l)按照广度优先顺序遍历全结构与或图AOG的子或节点，每遍历一层或节点，就统计该层或节点的训练误差率，记该层或节点最低训练误差率为σ，将该层所有训练误差率大于σ+α的或节点及其所有子节点剪枝，待所有层遍历完成后获得初步修剪的对象与或图AOG，α代表误差容许上限；
(2m)使用隐变量支持向量机对初步修剪的对象与或图AOG进行再训练，统计训练过程中所有分支的再分配标记率，并修剪掉再分配标记率小于∈的分支，得到最终的对象与或图AOG，∈表示标记修剪率。
4.根据权利要求1所述的方法，其中(3)中划定搜索区域，使用对象与或图AOG进行目标跟踪，产生当前帧的解析集合并从中选出当前帧的最优预测结果，实现如下：
(3a)输入待跟踪帧为当前帧，设当前帧序号为F，前一帧为F-1，且F-1已跟踪，F帧最优预测包围盒由F-1帧预测包围盒初始化；
(3b)划定搜索区域：定义每个训练帧具有各自的速度值为VS，以帧序号作为下标区分，因此F-1帧速度值为VSF-1，取第一帧矩形包围盒与F-1帧矩形包围盒两者长和宽的最大值为LF，设定初始速度限制值VI，速度变化程度值Vα，令L＝Min(LF×(VI+Vα×VSF-1/LF),MROI)为F帧的搜索区域边长，其中Min函数输出该函数两输入的较小值，则F帧的搜索区域为：以F帧最优预测包围盒中心点为中心，边长为L的正方形；
(3c)定义解析集合C并清空，将F帧搜索区域网格化，使用滑动窗口的方式，将对象与或图AOG的根分类器从搜索区域左上角遍历到右下角，计算每个区域的评分，将每个区域位置及其评分以二元组的方式存进解析集合C中；
(3d)更新F帧最优预测包围盒：取解析集合C中评分最高的区域位置作为F帧的最优预测矩形包围盒，将该预测包围盒存入包围盒集合Z中，包围盒集合Z为所有训练帧最优包围盒的结果集合。
5.根据权利要求1所述的方法，其中(4)根据当前帧的解析集合进行当前帧的参数设置，并将当前帧添加进训练帧集合，实现如下：
(4a)对解析集合C中的区域进行非极大化抑制，以最高得分区域为参考，筛选掉解析集合C中重叠率大于重叠率控制值Sα的项；
(4b)定义高得分解析集合CD并清空，选取解析集合C中得分最高的Tb个项，保存在高得分解析集合CD中，Tb为高得分项数；
(4c)定义干扰项集合CF并清空，定义解析集合C中的最高得分为SF，统计高得分解析集合CD中所有得分大于Sα×SF的项，保存至干扰项集合CF；
(4d)对干扰项集合CF中的项进行非极大化抑制，统计相互重叠小于Sγ的个数μ，Sγ代表相似重叠阈值，将μ赋值给F帧的相似计数VCF；
(4e)取出高得分解析集合CD中不与最高得分区域重叠，且相互之间不重叠的项，计算其特征向量并添加进F帧的难例特征向量集合HNF；
(4f)计算F帧最优预测包围盒中心点和F-1帧预测包围盒中心点的距离，赋值给F帧的速度值VSF；
(4g)将F帧添加进训练帧集合D中。
6.根据权利要求1所述的方法，其中(5)中根据训练帧集合判断当前帧的可追踪帧性，获得不可追踪帧计数，实现如下：
(5a)统计训练帧集合D中除F帧外其他项的最优评分均值mean和方差std；
(5b)判断F帧的解析集合最高得分SF是否满足SF<mean-δ×std：若满足，则将F帧标记为不可追踪帧；否则，不标记，其中δ为高斯系数。
7.根据权利要求1所述的方法，其中(5)中根据当前帧的解析集合获得当前帧的干扰对象总数，是将统计高得分解析集合CD中与最高得分区域重叠小于Sβ且评分大于Sθ×SF的项的个数作为干扰对象总数g，其中Sβ为高得分重叠率下限，Sθ为得分缩放系数，SF为解析集合最高得分。
8.根据权利要求1所述的方法，其中(6)中判断训练帧集合是否满足如下两个条件之一，实现如下：
(6a)判断第一个条件A是否成立：
(6a1)定义不可追踪帧计数G，若F帧被标记为不可追踪帧，则令G＝G+1；
(6a2)定义Gα为不可追踪帧上限阈值，若G>Gα，则第一个条件A成立，否则,第一个条件A不成立；
(6b)判断第二个条件B是否成立：
(6b1)定义干扰项上限阈值gα，若干扰对象总数g>gα，则第二个条件B成立，否则第二个条件B不成立。
CN202010234575.5A 2020-03-30 2020-03-30 使用动态搜索的视频目标跟踪方法 Active CN111311643B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010234575.5A CN111311643B (zh) 2020-03-30 2020-03-30 使用动态搜索的视频目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010234575.5A CN111311643B (zh) 2020-03-30 2020-03-30 使用动态搜索的视频目标跟踪方法

Publications (2)

Publication Number Publication Date
CN111311643A CN111311643A (zh) 2020-06-19
CN111311643B true CN111311643B (zh) 2023-03-24

Family

ID=71160920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010234575.5A Active CN111311643B (zh) 2020-03-30 2020-03-30 使用动态搜索的视频目标跟踪方法

Country Status (1)

Country Link
CN (1) CN111311643B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115630191B (zh) * 2022-12-22 2023-03-28 成都纵横自动化技术股份有限公司 基于全动态视频的时空数据集检索方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103080897A (zh) * 2010-08-05 2013-05-01 波音公司 用于光学资产识别及位置跟踪的方法和系统
JP2017033175A (ja) * 2015-07-30 2017-02-09 株式会社リコー 画像処理装置、画像処理方法及びプログラム
CN107274433A (zh) * 2017-06-21 2017-10-20 吉林大学 基于深度学习的目标跟踪方法、装置及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9251598B2 (en) * 2014-04-10 2016-02-02 GM Global Technology Operations LLC Vision-based multi-camera factory monitoring with dynamic integrity scoring

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103080897A (zh) * 2010-08-05 2013-05-01 波音公司 用于光学资产识别及位置跟踪的方法和系统
JP2017033175A (ja) * 2015-07-30 2017-02-09 株式会社リコー 画像処理装置、画像処理方法及びプログラム
CN107274433A (zh) * 2017-06-21 2017-10-20 吉林大学 基于深度学习的目标跟踪方法、装置及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
在线多目标视频跟踪算法综述;李月峰等;《计算技术与自动化》;20180315(第01期);全文 *
融合速度特征的压缩感知目标跟踪算法;田健等;《南京大学学报(自然科学)》;20160130(第01期);全文 *

Also Published As

Publication number Publication date
CN111311643A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
US10929649B2 (en) Multi-pose face feature point detection method based on cascade regression
CN107563381B (zh) 基于全卷积网络的多特征融合的目标检测方法
Yang et al. Class-agnostic few-shot object counting
CN107145862B (zh) 一种基于霍夫森林的多特征匹配多目标跟踪方法
CN107273905B (zh) 一种结合运动信息的目标主动轮廓跟踪方法
CN108304798A (zh) 基于深度学习及运动一致性的街面秩序事件视频检测方法
Lalitha et al. A survey on image segmentation through clustering algorithm
CN106295564B (zh) 一种邻域高斯结构和视频特征融合的动作识别方法
CN108510516A (zh) 一种散乱点云的三维线段提取方法及系统
Huang et al. Soft-margin mixture of regressions
Wang et al. Point linking network for object detection
CN106204651A (zh) 一种基于改进的判决与生成联合模型的目标跟踪方法
CN103985143A (zh) 基于字典学习的视频中判别性在线目标跟踪方法
CN106845375A (zh) 一种基于层级化特征学习的动作识别方法
Yang et al. Visual tracking with long-short term based correlation filter
Xu et al. Occlusion problem-oriented adversarial faster-RCNN scheme
CN111311643B (zh) 使用动态搜索的视频目标跟踪方法
CN113486902A (zh) 基于元学习的三维点云分类算法自动选择方法
CN110705394B (zh) 一种基于卷积神经网络的景区人群行为分析方法
Abdullah et al. Vehicle counting using deep learning models: a comparative study
Nguyen et al. A Combination of Histogram of Oriented Gradients and Color Features to Cooperate with Louvain Method based Image Segmentation.
CN113887509B (zh) 一种基于图像集合的快速多模态视频人脸识别方法
Tziakos et al. Video event segmentation and visualisation in non-linear subspace
Xiao et al. Research on scale adaptive particle filter tracker with feature integration
Shri et al. Video Analysis for Crowd and Traffic Management

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant