CN108986134A - 一种基于相关滤波跟踪的视频目标半自动标注方法 - Google Patents

一种基于相关滤波跟踪的视频目标半自动标注方法 Download PDF

Info

Publication number
CN108986134A
CN108986134A CN201810940589.1A CN201810940589A CN108986134A CN 108986134 A CN108986134 A CN 108986134A CN 201810940589 A CN201810940589 A CN 201810940589A CN 108986134 A CN108986134 A CN 108986134A
Authority
CN
China
Prior art keywords
frame
video
video object
correlation filtering
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810940589.1A
Other languages
English (en)
Other versions
CN108986134B (zh
Inventor
尚凌辉
王弘玥
张兆生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Jieshang Smart Grid Technology Co ltd
Original Assignee
ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd filed Critical ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd
Priority to CN201810940589.1A priority Critical patent/CN108986134B/zh
Publication of CN108986134A publication Critical patent/CN108986134A/zh
Application granted granted Critical
Publication of CN108986134B publication Critical patent/CN108986134B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Abstract

本发明公开了一种基于相关滤波跟踪的视频目标半自动标注方法。本发明采用目标跟踪的算法来跟踪视频中的待标记目标，利用算法获得的跟踪结果对视频中的待标记目标进行初步的自动标注，然后通过人工和数学计算相结合方法来校验视频目标自动标注结果，最终完成视频目标标注。本发明结合人工检测校验和数学计算相结合的办法，通过较少的人力消耗获取大量的已标注图像样本，另外本发明利用的相关滤波跟踪算法鲁棒性强，可以每间隔3帧进行一次人工检查矫正，这样在很大程度上节省了时间和人力的消耗。

Description

一种基于相关滤波跟踪的视频目标半自动标注方法
技术领域
本发明属于计算机视觉技术领域，涉及一种基于相关滤波跟踪的视频目标半自动标注方法。
背景技术
随着机器学习技术在计算机视觉领域的不断应用，对标注过的数据需求量越来越大。传统的纯人工数据标注的方法，由于其先天的特点：人的精力有限，存在着耗时耗人力的缺点，很难满足计算机视觉需要大量已标注数据样本的需求。特别是视频数据标注，比单纯的图像数据标注更加艰巨，一段视频数据的标注往往相当于几万甚至几百万张图像数据标注。然而视频数据本身是一个连续变化的图像信息序列，连续帧之间的图像信息变化不大，具有极大的相似性。因此，可以通过提供一种基于相关滤波跟踪的视频目标半自动标注方法，来解决以上问题。
发明内容
本发明的目的在于提供一种基于目标跟踪算法的视频目标半自动标注的方法，本发明采用目标跟踪的算法来跟踪视频中的待标记目标，利用算法获得的跟踪结果对视频中的待标记目标进行初步的自动标注，然后通过人工和数学计算相结合方法来校验视频目标自动标注结果，最终完成视频目标标注。
为了实现上述目的，本发明所采用的技术方案是：
步骤1、在初始帧中，人工标注需要标注的目标作为待跟踪目标，设定人工校验间隔帧数n。
步骤2、输入下一帧视频，采用相关滤波算法来检测识别待跟踪目标。
步骤3、根据相关滤波得出的跟踪结果进行视频目标自动标注。
步骤4、对相关滤波自动标注的结果进行人工校验，并计算人工校验标注结果与相关滤波自动标注的相似性。
步骤5、输入下一帧视频，以校验过的视频目标为待追踪目标，利用相关滤波跟踪视频目标，根据获得的跟踪结果进行自动标注。
步骤6、输入下一帧视频，以上一帧视频相关滤波自动标注结果为待追踪目标，利用相关滤波跟踪视频目标，根据获得的跟踪结果进行自动标注。
步骤7、重复第6步骤直到完成间隔n帧，然后进行人工校验，并计算人工校验标注结果与相关滤波自动标注的相似性。
步骤8、计算两次人工校验间隔的n帧中视频目标的运动速度，从而计算出间隔n帧中每帧的视频目标标注结果。
步骤9、将由运动速度获得的视频标注结果与该帧相关滤波获得标注结果加权计算的获得的视频标注结果作为该帧最终的标注结果。
步骤10、重复步骤9直至获得两次人工校验间隔n帧的每帧中视频目标标注结果。
步骤11、不断的重复以上步骤，直到完成视频目标标注。
本发明的有益效果：
1、本发明提供的基于相关滤波目标跟踪的半自动视频标注样本生成方法，通过人工标注视频中的待标注目标，利用相关滤波进行自动跟踪，生成初步标注样本，结合人工检测校验和数学计算相结合的办法，通过较少的人力消耗获取大量的已标注图像样本。
2. 本发明利用的相关滤波跟踪算法鲁棒性强，可以每间隔3帧进行一次人工检查矫正，这样在很大程度上节省了时间和人力的消耗。
附图说明
图1为本发明方法流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他的实施例，都属于本发明保护的范围。
本发明所采用的技术方案是：采用相关滤波的跟踪算法，来跟踪视频中的待标注目标，利用算法的跟踪结果对视频中的待标注目标进行初步的自动标注，然后通过选择间隔n帧进行人工校验标注结果，并计算人工校验与自动标注之间的相似度。因为视频自身具备的连续变化的特点，可以认为两次人工校验间隔帧里视频目标的运动变化是一个可以预测的匀速变化的运动，可通过数学公式计算获得。因此，两次人工校验之间间隔帧中的自动标注结果可通过数学计算获得的视频目标标注结果与相关滤波跟踪获得的视频目标标注结果加权计算获得。相关滤波的自动标注结果的权值是上述提到的人工校验与相关滤波自动标注之间的相似性。
本发明具体包括如下步骤：
1、在初始帧中，人工标注需要标注的目标作为待跟踪目标。设定人工校验间隔帧数n。n可大于等于3。
2、输入下一帧视频，采用相关滤波算法来检测识别待跟踪目标。
3、根据相关滤波得出的跟踪结果进行视频目标自动标注。
4、对相关滤波自动标注的结果进行人工校验，并计算人工校验标注结果与相关滤波自动标注的相似性。
5、然后输入下一帧视频，以校验过的视频目标为待追踪目标，利用相关滤波跟踪视频目标，根据获得的跟踪结果进行自动标注。
6、输入下一帧视频，以上一帧视频相关滤波自动标注结果为待追踪目标，利用相关滤波跟踪视频目标，根据获得的跟踪结果进行自动标注。
7、重复第6步骤直到完成间隔n帧，然后进行人工校验，并计算人工校验标注结果与相关滤波自动标注的相似性。
8、计算两次人工校验间隔的n帧中视频目标的运动速度，从而计算出间隔n帧中每帧的视频目标标注结果。
9、将由运动速度获得的视频标注结果与该帧相关滤波获得标注结果加权计算的获得的视频标注结果作为该帧最终的标注结果。其中相关滤波的权值是前面一次人工校验标注结果与相关滤波自动标注的相似性。
10、重复步骤9直至获得两次人工校验间隔n帧的每帧中视频目标标注结果。
11、不断的重复以上步骤，直到完成视频目标标注。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。

Claims (2)

1.一种基于相关滤波跟踪的视频目标半自动标注方法，其特征在于该方法包括以下步骤：
步骤1、在初始帧中，人工标注需要标注的目标作为待跟踪目标，设定人工校验间隔帧数n；
步骤2、输入下一帧视频，采用相关滤波算法来检测识别待跟踪目标；
步骤3、根据相关滤波得出的跟踪结果进行视频目标自动标注；
步骤4、对相关滤波自动标注的结果进行人工校验，并计算人工校验标注结果与相关滤波自动标注的相似性；
步骤5、输入下一帧视频，以校验过的视频目标为待追踪目标，利用相关滤波跟踪视频目标，根据获得的跟踪结果进行自动标注；
步骤6、输入下一帧视频，以上一帧视频相关滤波自动标注结果为待追踪目标，利用相关滤波跟踪视频目标，根据获得的跟踪结果进行自动标注；
步骤7、重复第6步骤直到完成间隔n帧，然后进行人工校验，并计算人工校验标注结果与相关滤波自动标注的相似性；
步骤8、计算两次人工校验间隔的n帧中视频目标的运动速度，从而计算出间隔n帧中每帧的视频目标标注结果；
步骤9、将由运动速度获得的视频标注结果与该帧相关滤波获得标注结果加权计算的获得的视频标注结果作为该帧最终的标注结果；
步骤10、重复步骤9直至获得两次人工校验间隔n帧的每帧中视频目标标注结果；
步骤11、不断的重复以上步骤，直到完成视频目标标注。
2.根据权利要求1所述的一种基于相关滤波跟踪的视频目标半自动标注方法，其特征在于：n≥3。
CN201810940589.1A 2018-08-17 2018-08-17 一种基于相关滤波跟踪的视频目标半自动标注方法 Active CN108986134B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810940589.1A CN108986134B (zh) 2018-08-17 2018-08-17 一种基于相关滤波跟踪的视频目标半自动标注方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810940589.1A CN108986134B (zh) 2018-08-17 2018-08-17 一种基于相关滤波跟踪的视频目标半自动标注方法

Publications (2)

Publication Number Publication Date
CN108986134A true CN108986134A (zh) 2018-12-11
CN108986134B CN108986134B (zh) 2021-06-18

Family

ID=64554291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810940589.1A Active CN108986134B (zh) 2018-08-17 2018-08-17 一种基于相关滤波跟踪的视频目标半自动标注方法

Country Status (1)

Country Link
CN (1) CN108986134B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753975A (zh) * 2019-02-02 2019-05-14 杭州睿琪软件有限公司 一种训练样本获得方法、装置、电子设备和存储介质
CN110189333A (zh) * 2019-05-22 2019-08-30 湖北亿咖通科技有限公司 一种图片语义分割半自动标注方法及装置
CN110782005A (zh) * 2019-09-27 2020-02-11 山东大学 基于弱标注数据进行跟踪的图像标注方法及系统
CN112053323A (zh) * 2020-07-31 2020-12-08 上海图森未来人工智能科技有限公司 单镜头多帧图像数据物体追踪标注方法和装置、存储介质
CN113127666A (zh) * 2020-01-15 2021-07-16 初速度（苏州）科技有限公司 一种连续帧数据的标注系统、方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002064737A (ja) * 2000-08-23 2002-02-28 Rekoode Onkyo:Kk 自動探査追尾式カメラシステム
CN101008941A (zh) * 2007-01-10 2007-08-01 复旦大学 多文档自动摘要的逐次主轴筛选法
CN102722886A (zh) * 2012-05-21 2012-10-10 浙江捷尚视觉科技有限公司 一种基于三维标定和特征点匹配的视频测速方法
CN103559237A (zh) * 2013-10-25 2014-02-05 南京大学 基于目标跟踪的半自动图像标注样本生成方法
CN106020223A (zh) * 2016-07-19 2016-10-12 零度智控（北京）智能科技有限公司 飞行器的飞行控制方法、装置及系统
CN106407910A (zh) * 2016-08-31 2017-02-15 上海交通大学 一种基于多实例学习的视频目标追踪方法
CN106529485A (zh) * 2016-11-16 2017-03-22 北京旷视科技有限公司 用于获取训练数据的方法及装置
CN107368565A (zh) * 2017-07-10 2017-11-21 美的集团股份有限公司 数据处理方法、数据处理装置和计算机可读存储介质
CN108288283A (zh) * 2018-01-22 2018-07-17 扬州大学 一种基于相关滤波的视频跟踪方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002064737A (ja) * 2000-08-23 2002-02-28 Rekoode Onkyo:Kk 自動探査追尾式カメラシステム
CN101008941A (zh) * 2007-01-10 2007-08-01 复旦大学 多文档自动摘要的逐次主轴筛选法
CN102722886A (zh) * 2012-05-21 2012-10-10 浙江捷尚视觉科技有限公司 一种基于三维标定和特征点匹配的视频测速方法
CN103559237A (zh) * 2013-10-25 2014-02-05 南京大学 基于目标跟踪的半自动图像标注样本生成方法
CN106020223A (zh) * 2016-07-19 2016-10-12 零度智控（北京）智能科技有限公司 飞行器的飞行控制方法、装置及系统
CN106407910A (zh) * 2016-08-31 2017-02-15 上海交通大学 一种基于多实例学习的视频目标追踪方法
CN106529485A (zh) * 2016-11-16 2017-03-22 北京旷视科技有限公司 用于获取训练数据的方法及装置
CN107368565A (zh) * 2017-07-10 2017-11-21 美的集团股份有限公司 数据处理方法、数据处理装置和计算机可读存储介质
CN108288283A (zh) * 2018-01-22 2018-07-17 扬州大学 一种基于相关滤波的视频跟踪方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753975A (zh) * 2019-02-02 2019-05-14 杭州睿琪软件有限公司 一种训练样本获得方法、装置、电子设备和存储介质
CN110189333A (zh) * 2019-05-22 2019-08-30 湖北亿咖通科技有限公司 一种图片语义分割半自动标注方法及装置
CN110189333B (zh) * 2019-05-22 2022-03-15 湖北亿咖通科技有限公司 一种图片语义分割半自动标注方法及装置
CN110782005A (zh) * 2019-09-27 2020-02-11 山东大学 基于弱标注数据进行跟踪的图像标注方法及系统
CN110782005B (zh) * 2019-09-27 2023-02-17 山东大学 基于弱标注数据进行跟踪的图像标注方法及系统
CN113127666A (zh) * 2020-01-15 2021-07-16 初速度（苏州）科技有限公司 一种连续帧数据的标注系统、方法和装置
CN113127666B (zh) * 2020-01-15 2022-06-24 魔门塔(苏州)科技有限公司 一种连续帧数据的标注系统、方法和装置
CN112053323A (zh) * 2020-07-31 2020-12-08 上海图森未来人工智能科技有限公司 单镜头多帧图像数据物体追踪标注方法和装置、存储介质

Also Published As

Publication number Publication date
CN108986134B (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN108986134A (zh) 一种基于相关滤波跟踪的视频目标半自动标注方法
CN106056628B (zh) 基于深度卷积神经网络特征融合的目标跟踪方法及系统
CN104599292B (zh) 一种基于低秩矩阵分解的抗噪运动目标检测算法
CN101447082B (zh) 一种运动目标实时检测方法
CN104094279B (zh) 大范围优先的跨摄像机视觉目标再识别方法
CN103440668B (zh) 一种在线视频目标跟踪方法和装置
CN106709936A (zh) 一种基于卷积神经网络的单目标跟踪方法
CN106250938A (zh) 目标跟踪方法、增强现实方法及其装置
CN107895160A (zh) 人脸检测与识别装置及方法
CN108198201A (zh) 一种多目标跟踪方法、终端设备及存储介质
CN103677274B (zh) 一种基于主动视觉的互动投影方法及系统
CN105488811B (zh) 一种基于深度梯度的目标跟踪方法与系统
CN105931269A (zh) 一种视频中的目标跟踪方法及装置
CN109919977A (zh) 一种基于时间特征的视频运动人物跟踪与身份识别方法
CN106204658A (zh) 运动图像跟踪方法及装置
CN113762133A (zh) 基于人体姿态识别的自重健身辅助教练系统、方法、终端
CN101853388B (zh) 一种基于几何不变量的视角不变的行为识别方法
CN103473792A (zh) 一种运动目标检测方法
CN105139419A (zh) 一种足球比赛视频的球员及球体跟踪方法
CN103413149A (zh) 复杂背景中实现静态目标检测和识别的方法
CN102663777A (zh) 基于多视点视频的目标跟踪方法及系统
CN110314361B (zh) 一种基于卷积神经网络的篮球进球得分判断方法及系统
CN102314591A (zh) 静止前景物体的检测方法和设备
CN111402289A (zh) 基于深度学习的人群表演误差检测方法
CN108717522A (zh) 一种基于深度学习和相关滤波的人体目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230505

Address after: Room 1009, No. 88 Laohanghai Road, Shangcheng District, Hangzhou City, Zhejiang Province, 310000

Patentee after: HANGZHOU JIESHANG SMART GRID TECHNOLOGY CO.,LTD.

Address before: 311121 East Building, building 7, No. 998, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province

Patentee before: ZHEJIANG ICARE VISION TECHNOLOGY Co.,Ltd.