CN112561958B - 一种相关滤波图像跟踪丢失判定方法 - Google Patents

一种相关滤波图像跟踪丢失判定方法 Download PDF

Info

Publication number
CN112561958B
CN112561958B CN202011402956.6A CN202011402956A CN112561958B CN 112561958 B CN112561958 B CN 112561958B CN 202011402956 A CN202011402956 A CN 202011402956A CN 112561958 B CN112561958 B CN 112561958B
Authority
CN
China
Prior art keywords
target
image
svm
computer system
judgment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011402956.6A
Other languages
English (en)
Other versions
CN112561958A (zh
Inventor
高山
张奇婕
胡昆钰
寇展
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Huazhong Tianjing Tongshi Technology Co ltd
Original Assignee
Wuhan Huazhong Tianjing Tongshi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Huazhong Tianjing Tongshi Technology Co ltd filed Critical Wuhan Huazhong Tianjing Tongshi Technology Co ltd
Priority to CN202011402956.6A priority Critical patent/CN112561958B/zh
Publication of CN112561958A publication Critical patent/CN112561958A/zh
Application granted granted Critical
Publication of CN112561958B publication Critical patent/CN112561958B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种相关滤波图像跟踪丢失判定方法，步骤一，将方向梯度直方图特征与跟踪器响应值进行组合形成特征向量；步骤二，将当前目标的特征向量使用SVM进行丢失判定，如果没有丢失则重复步骤一。本发明使用基于特征的相关滤波图像跟踪丢失判定算法进行深度结合，利用了跟踪算法的特征提取能力，降低了丢失判断的错误概率；通过使用SVM对特征向量的判断，规避了直接使用相关滤波响应输出与阈值比较的方案，增加了丢失判断的稳健程度；也通过对SVM的不断训练，实时对判断情况进行调整，显著降低误判的可能性。

Description

一种相关滤波图像跟踪丢失判定方法
技术领域
本发明属于机器视觉技术领域，具体涉及一种基于特征的相关滤波图像跟踪丢失判定方法。
背景技术
近些年来，相关滤波在目标跟踪领域得到了广泛应用；相关滤波的跟踪算法始于2010年David S Bolme提出的MOSSE方法，其方法利用了信号处理中的相关性，通过提取目标特征来训练相关滤波器，对下一帧的输入图像进行滤波。
现有的相关滤波图像跟踪丢失判定多使用阈值判定的方法，即相关滤波响应输出与固定阈值进行比对，低于固定阈值则判定为丢失。
由于针对不同目标其相关滤波响应不同，固定阈值效果不一致，而且目标部分形变和旋转也会造成相关滤波响应值下降：在目标旋转与形变或者图像明亮度改变的时候会产生目标假丢失的信号，因此这种方法容易造成误判。
基于阈值的相关滤波图像跟踪丢失判定方法不准确的本质在于没有把足够的信息输入给目标丢失判断分类器，而目标丢失判断分类器只有大小判断的功能，过于简单。
发明内容
本发明的目的在于克服现有技术的以上不足，提供一种基于特征的相关滤波图像跟踪丢失判定方法，以提升图像跟踪目标丢失判断的准确度。
本发明解决其技术问题所采用的技术方案是：一种相关滤波图像跟踪丢失判定方法，步骤一，将方向梯度直方图特征与跟踪器响应值进行组合形成特征向量；步骤二，将当前目标的特征向量使用SVM进行丢失判定，如果没有丢失则重复步骤一。
所述的一种相关滤波图像跟踪丢失判定方法，具体步骤为：
（1）计算机系统CPU对从图像传感器、内存空间或者其他储存设备读取的图像数据进行特征提取；
（2）计算机系统CPU将提取的特征与内存空间储存的自身模板进行相关滤波图像跟踪，得到目标图像位置坐标；
（3）对图像数据进行丢失判定，如果丢失则进入（4）对输出判定结果，如果没有丢失则进入下一步；
（5）计算机系统CPU根据目标图像位置坐标，对图像数据进行HOG特征提取；
（6）计算机系统CPU使用提取的HOG特征更新自身模板，将模板储存在内存空间；
（7）启动丢失判定器更新，更新丢失判断算法内的数据。
所述的一种相关滤波图像跟踪丢失判定方法，具体步骤为：
（1）计算机系统CPU对从图像传感器、内存空间或者其他储存设备读取的图像数据进行特征提取；
（2）计算机系统CPU同时对图像数据进行丢失判定，如果丢失则进入（3）对输出判定结果，如果没有丢失则进入下一步；
（4）计算机系统CPU将提取的特征与内存空间储存的自身模板进行相关滤波图像跟踪，得到目标图像位置坐标；
（5）计算机系统CPU根据目标图像位置坐标，对图像数据进行HOG特征提取；
（6）计算机系统CPU同时启动丢失判定器更新，更新丢失判断算法内的数据；
（7）计算机系统CPU使用提取的HOG特征更新自身模板，将模板储存在内存空间。
进一步，所述的步骤二中SVM的训练方法为：选定目标所在的图像作为正样本，目标周围的不包含目标的图像作为负样本，对正样本和负样本进行HOG特征提取，与相关滤波响应值组成正特征向量和负特征向量；分别把正特征向量和负特征向量输入给SVM进行训练，如果得到的支持向量在判别正负样本时分类正确并且输出值收敛，则准备阶段完成，进入启动阶段；如果分类错误或者输出值不收敛，则留在准备阶段。
进一步，所述的SVM判定方法为：将当前帧图像中心提取特征，与相关滤波响应值组成特征向量，输入SVM，通过已有的支持向量输出判定结果；当结果判定为不包含目标则认为丢失，当结果判定为包含目标则认为没有丢失。
进一步，所述启动阶段的SVM训练方法与准备阶段的SVM训练方法过程相同。
本发明的有益效果在于：使用基于特征的相关滤波图像跟踪丢失判定算法进行深度结合，利用了跟踪算法的特征提取能力，降低了丢失判断的错误概率；通过使用SVM对特征向量的判断，规避了直接使用相关滤波响应输出与阈值比较的方案，增加了丢失判断的稳健程度；也通过对SVM的不断训练，实时对判断情况进行调整，显著降低误判的可能性。
附图说明
图1为本发明在单线程模式下的图像跟踪流程图；
图2为本发明在多线程模式下的图像跟踪流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
关于方向梯度直方图特征提取：方向梯度直方图（Histogram of OrientedGradient， HOG）是一种特征提取技术，HOG特征提取指的是在图像的局部进行像素梯度的统计，将统计值作为直方图向量保存，从而作为一种特征，这种特征计算量小，但是包含纹理信息丰富。在本专利中，被用于图像的特征提取。
关于支持向量机：支持向量机（Support Vector Machine，SVM）是一种二元分类技术。通过输入训练的特征向量，SVM计算一个损失函数的值，逐渐找到能够对输入特征进行二元分类的“支持向量”。在本专利中，SVM作为目标丢失判断分类器，能够用于判断目标是否在相关跟踪中丢失。
关于相关滤波图像跟踪算法：相关滤波图像跟踪算法是一种简便易行、十分常见的图像跟踪算法选择。它主要有“目标相关滤波”-“目标模板更新”两个步骤，这两个步骤不断进行循环，从而保持能够计算出目标在图像中的位置。
本专利公开的一种基于特征的相关滤波图像跟踪丢失判定方法，是基于运行在计算机系统CPU上的跟踪丢失判定算法软件实现，用于辅助图像跟踪流程。计算机系统采用单线程与多线程两种不同的工作方式，根据相关滤波图像独立特征提取与组合跟踪特征提取两种不同方式，基于特征的相关滤波图像跟踪丢失判定算法可以分为2种类型：单线程模式，多线程模式。
单线程时如图1所示，基于相关滤波图像跟踪丢失判定方法步骤为：
（1）计算机系统CPU对从图像传感器、内存空间或者其他储存设备读取的图像数据进行特征提取；
（2）计算机系统CPU将提取的特征与内存空间储存的自身模板进行相关滤波图像跟踪，得到目标图像位置坐标；
（3）对图像数据进行丢失判定，如果丢失则进入（4）对输出判定结果，如果没有丢失则进入下一步；
（5）计算机系统CPU根据目标图像位置坐标，对图像数据进行HOG特征提取；
（6）计算机系统CPU使用提取的HOG特征更新自身模板，将模板储存在内存空间；
（7）启动丢失判定器更新，更新丢失判断算法内的数据。
多线程时如图2所示，基于相关滤波图像跟踪丢失判定方法步骤为：
（1）计算机系统CPU对从图像传感器、内存空间或者其他储存设备读取的图像数据进行特征提取；
（2）计算机系统CPU同时对内存空间储存的图像数据进行丢失判定，如果丢失则进入（3）对输出判定结果，如果没有丢失则进入下一步；
（4）计算机系统CPU将提取的特征与内存空间储存的自身模板进行相关滤波图像跟踪，得到目标图像位置坐标；
（5）计算机系统CPU根据目标图像位置坐标，对图像数据进行HOG特征提取；
（6）计算机系统CPU同时启动丢失判定器更新，更新丢失判断算法内的数据；
（7）计算机系统CPU使用提取的HOG特征更新自身模板，将模板储存在内存空间。
本发明专利使用HOG特征提取方法，把HOG特征与跟踪器响应值进行组合形成特征向量，将当前目标的特征向量使用SVM进行丢失判定，得到当前是否目标丢失。
判定准备阶段：准备阶段不进行丢失判定，只有在相关滤波图像跟踪算法的“目标模板更新”步骤对SVM进行训练；其中SVM的训练方法为：“目标模板更新”步骤，选定目标所在的图像作为正样本，目标周围的不包含目标的图像作为负样本，对正样本和负样本进行HOG特征提取，与相关滤波响应值组成正特征向量和负特征向量；分别把正特征向量和负特征向量输入给SVM进行训练，如果得到的支持向量在判别正负样本时分类正确并且输出值收敛，则准备阶段完成，进入启动阶段；如果分类错误或者输出值不收敛，则留在准备阶段，在下一个“目标模板更新”步骤中执行SVM训练。
判定启动阶段：在相关滤波图像跟踪算法的“目标相关滤波”步骤计算出相关滤波响应值，然后使用SVM进行丢失判定，进入“目标模板更新”步骤后对SVM进行训练。
SVM判定方法：将当前帧图像中心提取特征，与相关滤波响应值组成特征向量，输入SVM，通过已有的支持向量输出判定结果；当结果判定为不包含目标则认为丢失，当结果判定为包含目标则认为没有丢失。
启动阶段的SVM训练方法与准备阶段的SVM训练方法过程相同。
图像跟踪流程如下。
（1）图像数据通过传感器或者读取存储空间的形式传输给CPU，CPU对图像数据进行特征提取。本过程属于“目标相关滤波”步骤。
（2）CPU将提取的特征与自身模板进行相关滤波图像跟踪，得到目标图像位置坐标。本过程属于“目标相关滤波”步骤。
（3.1）在单线程模式下，丢失判定算法在跟踪算法的“目标相关滤波”过程内部提取特征、相关滤波后，启动丢失判定，得到跟踪丢失判定结果。
（3.2）在多线程模式下，丢失判定算法在跟踪算法提取特征后，使用另一个线程启动丢失判定，得到跟踪丢失判定结果。
（4）计算机系统CPU根据目标图像位置坐标，对图像数据进行HOG特征提取。本过程属于“目标模板更新”步骤。
（5）计算机系统CPU使用提取的特征更新自身模板。本过程属于“目标模板更新”步骤。
（6.1）在单线程模式下，在跟踪算法的“目标模板更新”过程内部重新提取特征、更新跟踪模板后，启动丢失判定器更新，更新丢失判断算法内的数据。
（6.2）在多线程模式下，在跟踪算法的“目标模板更新”过程内部重新提取特征后，使用另一个线程启动丢失判定器更新，更新丢失判断算法内的数据。
丢失判定流程如下。
（1）计算机系统CPU根据丢失判定算法获取图像特征；
（2）将图像特征输入SVM分类器，进行输出结果判定；
（3）当跟踪丢失判定结果为没有丢失时，获取新目标新特征。
（4）新目标新特征训练并更新SVM。
图像跟踪流程与丢失判定流程参考附图中单线程模式图像跟踪流程图与多线程模式图像跟踪流程图。流程图中3、4、7是丢失判定流程。
上述实施例仅例示性说明本发明的原理及其功效，以及部分运用的实施例，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (1)

1.一种相关滤波图像跟踪丢失判定方法，其特征在于：
步骤一，将方向梯度直方图特征与跟踪器响应值进行组合形成特征向量之后，计算机系统CPU对从传感器或存储空间读取的图像数据进行特征提取；
步骤二，将当前目标的特征向量使用SVM进行丢失判定，如果没有丢失则重复步骤一：
单线程模式时，计算机系统CPU将提取的特征与内存空间储存的自身模板进行相关滤波图像跟踪，得到目标图像位置坐标，然后对图像数据进行丢失判定，如果丢失则对输出判定结果，如果没有丢失，则计算机系统CPU将提取的特征与内存空间储存的自身模板进行相关滤波图像跟踪，得到目标图像位置坐标，计算机系统CPU使用提取的HOG特征更新自身模板，将模板储存在内存空间，启动丢失判定器更新；
多线程模式时，计算机系统CPU同时对图像数据进行丢失判定，如果丢失则对输出判定结果，如果没有丢失，计算机系统CPU将提取的特征与内存空间储存的自身模板进行相关滤波图像跟踪，得到目标图像位置坐标，计算机系统CPU根据目标图像位置坐标，对图像数据进行HOG特征提取，计算机系统CPU同时启动丢失判定器更新，计算机系统CPU使用提取的HOG特征更新自身模板，将模板储存在内存空间；
所述的SVM训练方法为：选定目标所在的图像作为正样本，目标周围的图像作为负样本，对正样本和负样本进行HOG特征提取，与相关滤波响应值组成正特征向量和负特征向量；分别把正特征向量和负特征向量输入给SVM进行训练，如果得到的支持向量在判别正负样本时分类正确并且输出值收敛，则准备阶段完成，进入启动阶段；如果分类错误或者输出值不收敛，则留在准备阶段；
所述的SVM判定方法为：将当前帧图像中心提取特征，与相关滤波响应值组成特征向量，输入SVM，通过已有的支持向量输出判定结果；当结果判定为不包含目标则认为丢失，当结果判定为包含目标则认为没有丢失；
所述启动阶段的SVM训练方法与准备阶段的SVM训练方法过程相同。
CN202011402956.6A 2020-12-04 2020-12-04 一种相关滤波图像跟踪丢失判定方法 Active CN112561958B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011402956.6A CN112561958B (zh) 2020-12-04 2020-12-04 一种相关滤波图像跟踪丢失判定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011402956.6A CN112561958B (zh) 2020-12-04 2020-12-04 一种相关滤波图像跟踪丢失判定方法

Publications (2)

Publication Number Publication Date
CN112561958A CN112561958A (zh) 2021-03-26
CN112561958B true CN112561958B (zh) 2023-04-18

Family

ID=75048367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011402956.6A Active CN112561958B (zh) 2020-12-04 2020-12-04 一种相关滤波图像跟踪丢失判定方法

Country Status (1)

Country Link
CN (1) CN112561958B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488811A (zh) * 2015-11-23 2016-04-13 华中科技大学 一种基于深度梯度的目标跟踪方法与系统
CN109753846A (zh) * 2017-11-03 2019-05-14 北京深鉴智能科技有限公司 目标跟踪硬件实现系统和方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200237B (zh) * 2014-08-22 2019-01-11 浙江生辉照明有限公司 一种基于核化相关滤波高速自动多目标跟踪方法
US10249047B2 (en) * 2016-09-13 2019-04-02 Intelligent Fusion Technology, Inc. System and method for detecting and tracking multiple moving targets based on wide-area motion imagery
CN110796676A (zh) * 2019-10-10 2020-02-14 太原理工大学 高置信度更新策略结合svm再检测技术的目标跟踪方法
CN111160365A (zh) * 2019-12-06 2020-05-15 南京航空航天大学 基于检测器和跟踪器相结合的无人机目标跟踪方法
CN111476819A (zh) * 2020-03-19 2020-07-31 重庆邮电大学 一种基于多相关滤波模型的长时目标跟踪方法
CN111862160B (zh) * 2020-07-23 2023-10-13 中国兵器装备集团自动化研究所有限公司 一种基于arm平台的目标跟踪方法、介质和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488811A (zh) * 2015-11-23 2016-04-13 华中科技大学 一种基于深度梯度的目标跟踪方法与系统
CN109753846A (zh) * 2017-11-03 2019-05-14 北京深鉴智能科技有限公司 目标跟踪硬件实现系统和方法

Also Published As

Publication number Publication date
CN112561958A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
JP4830650B2 (ja) 追跡装置
CN105205486B (zh) 一种车标识别方法及装置
WO2022095440A1 (zh) 面向自动驾驶的人机协同感知方法及系统
US7840035B2 (en) Information processing apparatus, method of computer control, computer readable medium, and computer data signal
JP2015522200A (ja) 人顔特徴点の位置決め方法、装置及び記憶媒体
CN104200495A (zh) 一种视频监控中的多目标跟踪方法
CN112784712B (zh) 一种基于实时监控的失踪儿童预警实现方法、装置
WO2020140223A1 (en) Continuous learning for object tracking
JPWO2017094140A1 (ja) 物体検出装置及び物体検出方法
CN112541394A (zh) 黑眼圈及鼻炎识别方法、系统及计算机介质
CN110458019B (zh) 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法
CN114998628A (zh) 基于模板匹配的孪生网络长时目标跟踪方法
CN112561958B (zh) 一种相关滤波图像跟踪丢失判定方法
CN111881775B (zh) 一种人脸实时识别方法和装置
CN116665097A (zh) 一种结合上下文感知的自适应目标跟踪方法
CN116168328A (zh) 一种甲状腺结节超声检查系统及方法
Li et al. RaP-Net: A region-wise and point-wise weighting network to extract robust features for indoor localization
CN115171189A (zh) 一种疲劳检测方法、装置、设备和存储介质
CN109741302A (zh) 基于机器视觉的sd卡形态识别系统和方法
CN112183215B (zh) 一种结合多特征级联svm与人眼模板的人眼定位方法及系统
CN111047625B (zh) 一种菜品视频样本半自动标记的方法
CN114549420A (zh) 基于模板匹配的工件识别定位方法
CN113139946A (zh) 一种基于视觉的衬衫污渍定位设备
Kong et al. Adaptive image edge detection model using improved Canny algorithm
JP2022019339A (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant