CN110827324B - 一种视频目标跟踪方法 - Google Patents

一种视频目标跟踪方法 Download PDF

Info

Publication number
CN110827324B
CN110827324B CN201911086267.6A CN201911086267A CN110827324B CN 110827324 B CN110827324 B CN 110827324B CN 201911086267 A CN201911086267 A CN 201911086267A CN 110827324 B CN110827324 B CN 110827324B
Authority
CN
China
Prior art keywords
target
tracking
sub
pixel point
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911086267.6A
Other languages
English (en)
Other versions
CN110827324A (zh
Inventor
夏斯维
陈迅
李绍鹏
杨海兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhenjiang Shenghe Technology Electronics Co.,Ltd.
Original Assignee
Jiangsu University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University of Science and Technology filed Critical Jiangsu University of Science and Technology
Priority to CN201911086267.6A priority Critical patent/CN110827324B/zh
Publication of CN110827324A publication Critical patent/CN110827324A/zh
Application granted granted Critical
Publication of CN110827324B publication Critical patent/CN110827324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种视频目标跟踪方法，在目标选取过程中增加了目标跟踪失败判别机制，以及在目标选取失败后的基于分块思想的目标滤波器模板更新策略，重新对目标跟踪提供图像基础。本发明因为使用了目标跟踪失败判别机制，所以能够在跟踪过程中及时发现目标漂移或丢失，为后续调整目标滤波器模板提供了可靠依据；因为使用了基于分块思想的模板更新策略，扩大了目标搜索区域，所以在判断出目标跟踪失败之后，能够及时修正错误，提高跟踪效果。

Description

一种视频目标跟踪方法
技术领域
本发明涉及计算机视觉处理领域，尤其涉及一种视频目标跟踪方法。
背景技术
目标跟踪是计算机视觉领域各类高级应用的中间层基础，在人机交互、军事防御或是民用安全方面等领域具有重要的研究意义和广阔的应用前景。由于跟踪环境的复杂性和目标本身的多变性，实现精确的目标跟踪具有非常大的挑战性。
目标跟踪的主要任务是第一帧给出特定目标，而后根据第一帧的信息，估计后续视频图像序列中特定跟踪目标的位置或区域，以此来为高层应用提供目标的轨迹和其他运动信息。目标跟踪算法的基本流程一般由4个部分组成：运动模型、特征提取、外观模型以及在线更新方法。运动模型是在视频帧中给出目标的候选框；特征提取是提取候选框图像中能够较为准确的表达目标的特征，现在常用的特征有手工特征如HOG特征以及深度特征如卷积特征；外观模型的作用在于判断候选区域是否为目标，同时它在跟踪过程中处于核心位置；在线更新方法，是针对视频跟踪的目标和背景信息的变化，根据当前帧的跟踪结果来不断更新改善外观模型，以提高跟踪精度。
但由于跟踪环境的复杂性和目标本身的多变性，尤其是当出现目标物被遮挡、目标物快速移动或目标物在平面内旋转等问题，会影响目标跟踪的准确性，现有的目标跟踪方法，缺乏对跟踪过程中结果是否准确进行判断，以及缺乏针对错误跟踪的后续处理方法。常见的判断方法就是通过欧氏距离来判断跟踪是否准确，但是都是欧式距离只能简单测量预测框中心与前一帧目标中心距离，并不能代表目标位置的变化，从而无法评判跟踪的效果。
发明内容
本发明提供了一种视频目标跟踪方法，以解决现有技术中缺乏准确判断跟踪效果的方法的问题。
本发明提供了一种视频目标跟踪方法，包括如下步骤：
步骤1：根据前一帧图像获取当前帧图像中的目标候选框；
步骤2：计算前一帧图像至当前帧图像所有像素点所产生的光流值的平均值；
步骤3：将所述步骤1中获取的目标候选框中每一像素点的光流值与所述步骤2中获取平均值进行比较，当目标候选框中的像素点的光流值大于平均值时，将该像素点记为正确像素点；当目标候选框中的像素点的光流值小于平均值时，将该像素点记为错误像素点；
步骤4：将所述步骤3中获取的正确像素点个数与目标候选框中的像素点总个数进行比较，当正确像素点个数与目标候选框中的像素点总个数的比值大于成功阀值时，目标跟踪成功；当正确像素点个数与目标候选框中的像素点总个数的比值小于成功阀值时，目标跟踪失败。
进一步地，所述步骤4中，当判断结果为目标跟踪失败时，先将当前帧图像分割成数个子图块，再计算每个子图块的权重，最后对所有子图块依照权重进行加权处理，获得目标滤波器模板，用于后续视频帧的跟踪。
进一步地，所述步骤4中计算每个子图块的权重的方法为，计算子图块的中心偏移量，将中心偏移量作为对应子图块的权重。
进一步地，通过相位相关算法计算子图块的中心偏移量。
进一步地，所述步骤4中的成功阀值为0.6。
本发明的有益效果：
本发明因为使用了目标跟踪失败判别机制，所以能够在跟踪过程中及时发现目标漂移或丢失，为后续调整目标滤波器模板提供了可靠依据；因为使用了光流算法，所以能够运用空间信息来进一步提高目标跟踪过程的可靠性；因为使用了基于分块思想的模板更新策略，扩大了目标搜索区域，所以在判断出目标跟踪失败之后，能够及时修正错误，提高跟踪效果；因为使用了基于频域计算的相位相关算法，所以能在提高算法跟踪精确度的同时保证跟踪速率。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1为本发明实施例提供的一种视频目标跟踪方法的流程示意图；
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明主要针对目标跟踪过程当中的复杂的跟踪环境提出的，具体流程示意图如图1所示，主要包括两个部分，一方面是目标跟踪失败判别机制，用于在跟踪过程中判断跟踪成功与否；另一方面是在目标跟踪失败判别机制判断出目标跟踪失败后，提出基于分块思想的目标滤波器模板更新策略，提高目标跟踪的效果。
为此，本发明提供了一种视频目标跟踪方法，包括如下步骤：
步骤1：根据前一帧图像获取当前帧图像中的目标候选框，首先当前帧图像依照前一帧图像中的目标位置，确定好当前帧图像中目标的搜索区域，通过在搜索区域中进行循环移位获得多个目标候选框，将各个目标候选框分别与前一帧目标滤波器模板进行相关滤波运算，得到各个候选框与目标的相似度，相似度越大则被认定为目标的可能越大，取相似度最大的候选框作为当前帧图像的目标候选框，同时也作为当前帧的目标滤波器模板。
其中，视频图像的第一帧中直接给出需要跟踪的目标以及目标位置，作为第一帧当中目标滤波器模板。
这里的目标滤波器模板是通过最优化输入样本与真实值之间的误差问题获得的，也就被转化为下面的损失函数优化问题，如公式(1)所示，
Figure BDA0002265507520000041
其中yn＝[y1,y2,…,yn]∈Rk×1表示高斯形状响应，xn∈Rk×1是第n个输入向量通道,λ是正则项系数，w*是需要求解的目标滤波器模板参数。
步骤2：计算前一帧图像至当前帧图像所有像素点所产生的光流值的平均值；
步骤3：将目标候选框中每一像素点的光流值与步骤2中获取平均值进行比较，当目标候选框中像素点的光流值大于平均值时，将该像素点记为正确像素点；当目标候选框中像素点的光流值小于平均值时，将该像素点记为错误像素点；
步骤4：将步骤3中获取的正确像素点个数与目标候选框中的像素点总个数进行比较，当正确像素点个数与目标候选框中的像素点总个数的比值大于成功阀值时，目标跟踪成功；当正确像素点个数与目标候选框中的像素点总个数的比值小于成功阀值时，目标跟踪失败，为控制容错性，成功阀值优选0.6。
步骤2和步骤3是本发明基于光流法提出的跟踪失败判别机制，本发明使用的梯度算法是Horn-Schunck光流算法。Horn-Schunck算法是一种全局约束方法，该算法提出了光流平滑约束的概念，即图像上任何点处的光流值不是独立的，并且光流值在整个图像范围内平滑地变化。
本发明还在判断出目标跟踪失败后提供了基于分块训练的目标滤波器模板更新方法，具体方法为当判断结果为目标跟踪失败时，先将当前帧图像分割成数个子图块，再通过相位相关算法计算每个子图块的中心偏移量，作为每个子图块的权重，最后对所有子图块依照权重进行加权处理，获得目标滤波器模板，用于后续视频帧的跟踪。
分割的子图块个数越多，后续处理更加准确，但数量越多会导致计算量越大，本发明优选平均分割成9个子图块，在计算能力允许的前提下可以增加分割数量。
本发明通过位相关算法计算每个子图块的中心偏移量，作为每个子图块的权重，是将计算由时域转换到了频域，增加了计算速度。
相位相关算法主要是通过图像之间的转换来获取图片的偏移量。图像f2(x,y)是通过对图像f1(x,y)傅里叶变换(x0,y0)得到的图像。对应于f1(x,y)和f2(x,y)的傅里叶变换为F1(x,y)和F2(x,y)，其时移属性如式(2)：
F2(x,y)＝exp(-j*2*pi(x*x0+y*y0))*F1(x,y) (2)
计算频域交叉功率谱如公式(3)所示：
Figure BDA0002265507520000051
最后，可以将交叉功率谱通过逆傅里叶变换来获得冲击函数。该函数仅在(x0,y0)处具有最大值，并且在其他位置几乎为零，由此，获得了每个子图块的中心偏移量。
接着将获得的偏移量用于计算每个子模块的权重，为方便计算，本发明对每个子图块的中心偏移量进行归一化处理，将权重规定在(0,1)范围，具体如公式(4)、(5)所示，
Figure BDA0002265507520000052
/>
Figure BDA0002265507520000053
其中xi，yi是每个子图块的水平和垂直方向的偏移，Xi是每个子图块的偏移量,αi是为每个子图块的权重。
最后，通过公式(6)对所有子图块依照权重进行加权处理，获得目标滤波器模板，用于后续视频帧的跟踪，
Figure BDA0002265507520000054
其中，H*表示新目标滤波器模板，h*则表示各个子块训练获得的子滤波器模板。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (4)

1.一种视频目标跟踪方法，其特征在于，包括如下步骤：
步骤1：根据前一帧图像获取当前帧图像中的目标候选框；
步骤2：计算前一帧图像至当前帧图像所有像素点所产生的光流值的平均值；
步骤3：将所述步骤1中获取的目标候选框中每一像素点的光流值与所述步骤2中获取平均值进行比较，当目标候选框中的像素点的光流值大于平均值时，将该像素点记为正确像素点；当目标候选框中的像素点的光流值小于平均值时，将该像素点记为错误像素点；
步骤4：将所述步骤3中获取的正确像素点个数与目标候选框中的像素点总个数进行比较，当正确像素点个数与目标候选框中的像素点总个数的比值大于成功阀值时，目标跟踪成功；
当正确像素点个数与目标候选框中的像素点总个数的比值小于成功阀值时，目标跟踪失败，当判断结果为目标跟踪失败时，先将当前帧图像分割成数个子图块，再计算每个子图块的权重，最后对所有子图块依照权重进行加权处理，获得目标滤波器模板，用于后续视频帧的跟踪。
2.如权利要求1所述的视频目标跟踪方法，其特征在于，所述步骤4中计算每个子图块的权重的方法为，计算子图块的中心偏移量，将中心偏移量作为对应子图块的权重。
3.如权利要求2所述的视频目标跟踪方法，其特征在于，通过相位相关算法计算子图块的中心偏移量。
4.如权利要求1所述的视频目标跟踪方法，其特征在于，所述步骤4中的成功阀值为0.6。
CN201911086267.6A 2019-11-08 2019-11-08 一种视频目标跟踪方法 Active CN110827324B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911086267.6A CN110827324B (zh) 2019-11-08 2019-11-08 一种视频目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911086267.6A CN110827324B (zh) 2019-11-08 2019-11-08 一种视频目标跟踪方法

Publications (2)

Publication Number Publication Date
CN110827324A CN110827324A (zh) 2020-02-21
CN110827324B true CN110827324B (zh) 2023-05-26

Family

ID=69553404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911086267.6A Active CN110827324B (zh) 2019-11-08 2019-11-08 一种视频目标跟踪方法

Country Status (1)

Country Link
CN (1) CN110827324B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111416937B (zh) * 2020-03-25 2021-08-20 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101369346B (zh) * 2007-08-13 2010-09-15 北京航空航天大学 一种视频运动目标自适应窗口的跟踪方法
CN101770568A (zh) * 2008-12-31 2010-07-07 南京理工大学 基于仿射不变点及光流计算的目标自动识别和跟踪方法
CN108269269A (zh) * 2016-12-30 2018-07-10 纳恩博（北京）科技有限公司 目标跟踪方法和装置
CN108090919B (zh) * 2018-01-02 2020-12-22 华南理工大学 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法
CN108776974B (zh) * 2018-05-24 2019-05-10 南京行者易智能交通科技有限公司 一种适用于公共交通场景的实时目标跟踪方法
CN109102523A (zh) * 2018-07-13 2018-12-28 南京理工大学 一种运动目标检测和跟踪方法

Also Published As

Publication number Publication date
CN110827324A (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
CN114782691B (zh) 基于深度学习的机器人目标识别与运动检测方法、存储介质及设备
CN107424177B (zh) 基于连续相关滤波器的定位修正长程跟踪方法
CN105335986B (zh) 基于特征匹配和MeanShift算法的目标跟踪方法
CN110276785B (zh) 一种抗遮挡红外目标跟踪方法
CN109285179A (zh) 一种基于多特征融合的运动目标跟踪方法
CN106210449B (zh) 一种多信息融合的帧率上变换运动估计方法及系统
CN110287826B (zh) 一种基于注意力机制的视频目标检测方法
CN108198201A (zh) 一种多目标跟踪方法、终端设备及存储介质
CN104820997B (zh) 一种基于分块稀疏表达与hsv特征融合的目标跟踪方法
CN109974743B (zh) 一种基于gms特征匹配及滑动窗口位姿图优化的视觉里程计
CN110120065B (zh) 一种基于分层卷积特征和尺度自适应核相关滤波的目标跟踪方法及系统
CN103077531B (zh) 基于边缘信息的灰度目标自动跟踪方法
CN113223055B (zh) 图像目标跟踪模型建立方法及图像目标跟踪方法
CN107622507B (zh) 一种基于深度学习的空中目标跟踪方法
CN109739011B (zh) 一种基于改进爬山法的自动对焦方法
CN110390685A (zh) 一种基于事件相机的特征点跟踪方法
CN106570892A (zh) 一种基于边缘增强模板匹配的运动目标主动跟踪方法
CN110458862A (zh) 一种遮挡背景下的运动目标跟踪方法
KR100994367B1 (ko) 영상 추적 장치의 이동표적 움직임 추적 방법
CN115375733A (zh) 基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法
CN106408600B (zh) 一种用于太阳高分辨率图像中图像配准的方法
CN110827324B (zh) 一种视频目标跟踪方法
CN106874881A (zh) 一种多模板时空关联的局部反联合稀疏表示目标跟踪方法
CN106570536A (zh) 一种时差定位系统目标高精度跟踪滤波方法
CN113129332A (zh) 执行目标对象跟踪的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240109

Address after: Room 5201, Zhenjiang Entrepreneurship Park, No. 18 Jiefang Road, Jingkou District, Zhenjiang City, Jiangsu Province, 212001

Patentee after: Zhenjiang Shenghe Technology Electronics Co.,Ltd.

Address before: Science and Technology Office of Jiangsu University of science and technology, No.2, Mengxi Road, Zhenjiang, Jiangsu, 212003

Patentee before: JIANGSU University OF SCIENCE AND TECHNOLOGY

TR01 Transfer of patent right