CN105741326B - 一种基于聚类融合的视频序列的目标跟踪方法 - Google Patents
一种基于聚类融合的视频序列的目标跟踪方法 Download PDFInfo
- Publication number
- CN105741326B CN105741326B CN201610160169.2A CN201610160169A CN105741326B CN 105741326 B CN105741326 B CN 105741326B CN 201610160169 A CN201610160169 A CN 201610160169A CN 105741326 B CN105741326 B CN 105741326B
- Authority
- CN
- China
- Prior art keywords
- external world
- world frame
- rectangle external
- rectangle
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种基于聚类融合的视频序列的目标跟踪方法,首先对视频序列中的目标采用多种方法实现跟踪,得出相应的跟踪结果,其表现形式为被跟踪目标的矩形外界边框的坐标。然后将得出的所有跟踪结果作为输入,采用输入的所有矩形外界边框的坐标的均值作为被跟踪目标的初始聚类中心。不限定分类数,对所有输入的矩形外界边框的坐标进行加权分类,判断其是否属于该初始类。最后以聚类后属于初始类的矩形外界边框的坐标取均值,作为最终跟踪结果。通过本发明方法,可以融合多种视频序列跟踪方法,从而提高了跟踪效果,而且运行时间也大大缩短。
Description
技术领域
本发明涉及计算机视觉、模式识别等领域,具体涉及将多种视频序列目标跟踪方法进行融合,可用于对视频序列中的目标进行跟踪。
背景技术
目标跟踪广泛应用于视频监视、人机交互及交互视频的制作。目标跟踪具有很高的难度,要考虑众多的影响因素,比如光照变化,目标半遮挡和全遮挡,二维/三维目标旋转、变形,比例变化,低分辨率,快速移动,目标模糊,目标与背景相似或与场景中的其他物体相似。因此,传统的单一跟踪方法难以实现对所有场景的高准确度跟踪,只能解决专门场景中的目标跟踪。
对于目标跟踪,国外学者最新发表的《Parallel robust online simpletracking》中,用特定的方式结合光流法,模板跟踪法和检测算法进行目标跟踪。此方法可以提高跟踪效果,但是这三部分算法只能被相似的方法替换,有太大的局限性。
目前的算法的共性在于:算法只能融合固定的算法或者只能被相似的算法替换,因此如果有一种新方法,它能够融合多种(数量大于等于2)视频序列目标跟踪方法且能实现较好的跟踪效果,那将是目标跟踪领域的一大进步。
发明内容
针对现有技术的不足,本发明旨在提供一种基于聚类融合的视频序列目标跟踪方法,针对各种影响跟踪的因素,通过融合不同方法的跟踪结果来得出一种结果。
为了实现上述目的,本发明采用如下技术方案:
一种基于聚类融合的视频序列的目标跟踪方法,包括如下步骤:
S1获取被跟踪目标的视频序列;
S2对所述视频序列采用至少两种方法进行目标跟踪,分别得到采用每种方法进行目标跟踪的结果;
S3根据步骤S2中各种方法得到的目标跟踪结果,确定每种方法得到的被跟踪目标矩形外界边框,并将所有的矩形外界边框坐标作为输入;
S4以步骤S3中输入的所有矩形外界边框坐标的均值作为被跟踪目标的初始聚类中心,不限定分类数,对所有输入的矩形外界边框的坐标进行加权分类,判断其是否属于该初始类;
S5经过步骤S4的聚类后,对初始类中所有矩形外界边框的坐标取均值,即为最终的目标跟踪结果。
需要说明的是,步骤S4中对每个输入的矩形外界边框的坐标进行加权分类,确定是否属于初始类的具体方法如下:
令
s=1:n;
t=1:m;
H(t,s)=data(t,s)/aveData(s);
其中,H(t,s)为输入的每个矩形外界边框坐标数据对应的权重,n为每个矩形外界边框坐标数据的维数,m为矩形外界边框坐标数据的个数总数,s为某个矩形外界边框坐标数据中的第s维,t为所有矩形外界边框坐标数据中的第t个数据,data(t,s)为每个t和s所对应的矩形外界边框坐标数据,aveData为所有矩形外界边框坐标数据的均值,aveData(s)为均值对应的维数,即每个矩形外界边框坐标数据的每一维的权重就是该矩形外界边框坐标数据除以均值相对应的维数;
对每个矩形外界边框坐标数据的每一维进行加权后,计算各个矩形外界边框坐标数据与所述初始聚类中心的欧几里得距离,再分别计算每个矩形外界边框坐标数据之间的欧几里得距离;对于每个矩形外界边框坐标,如果其与初始聚类中心的距离值大于与其他矩形外界边框坐标的距离值,即与初始聚类中心的距离最小,那么就把该矩形外界边框坐标数据归于初始类中。
本发明的有益效果在于:通过本发明方法,可以融合多种视频序列跟踪方法,从而提高了跟踪效果,而且运行时间也大大缩短。
附图说明
图1为本发明的实施流程图;
图2为本发明的性能效果示意图。
具体实施方式
以下将结合附图对本发明作进一步的描述,需要说明的是,本实施例以本技术方案为前提,给出了详细的实施方式和具体的操作过程,但本发明的保护范围并不限于本实施例。
如图1所示,一种基于聚类融合的视频序列的目标跟踪方法包括如下步骤:
S1获取被跟踪目标的视频序列;在本实施例中,将该视频序列命名为carScale。
S2对视频序列carScale采用29种方法分别进行跟踪,分别得到采用每种方法进行目标跟踪的结果。所述29种跟踪方法分别为:VR、TM、RS、PD、MS、CT、TLD、IVT、DFT、ASLA、L1APG、ORIA、MTT、CSK、SCM、LOT、CPF、Struck、MIL、OAB、SBT、BSBT、Frag、KMS、SMS、LSK、VTS、VTD、CXT。
S3根据步骤S2中各种方法得到的目标跟踪结果,确定每种方法得到的被跟踪目标矩形外界边框,并将所有的外界边框坐标作为输入;
S4以步骤S3中输入的所有矩形外界边框坐标的均值作为被跟踪目标的初始聚类中心,不限定分类数,对所有输入的矩形外界边框的坐标进行加权分类,判断其是否属于该初始类:
令
s=1:n;
t=1:m;
H(t,s)=data(t,s)/aveData(s);
其中,H(t,s)为输入的每个矩形外界边框坐标数据对应的权重,n为每个矩形外界边框坐标数据的维数,m为矩形外界边框坐标数据的个数总数,s为某个矩形外界边框坐标数据中的第s维,t为所有矩形外界边框坐标数据中的第t个数据,data(t,s)为每个t和s所对应的矩形外界边框坐标数据,aveData为所有矩形外界边框坐标数据的均值,aveData(s)为均值对应的维数,即每个矩形外界边框坐标数据的每一维的权重就是该矩形外界边框坐标数据除以均值相对应的维数;
对每个矩形外界边框坐标数据的每一维进行加权后,计算各个矩形外界边框坐标数据与所述初始聚类中心的欧几里得距离,再分别计算每个矩形外界边框坐标数据之间的欧几里得距离;对于每个矩形外界边框坐标,如果其与初始聚类中心的距离值大于与其他矩形外界边框坐标的距离值,即与初始聚类中心的距离最小,那么就把该矩形外界边框坐标数据归于初始类中。
S5经过步骤S4的聚类后,对初始类中所有矩形外界边框的坐标取均值,即为最终的目标跟踪结果。
本实施例中,针对carScale视频序列的252帧图像组成的测试数据集OPE,采用覆盖率(Success rate)对本发明以及ORIA、IVT、ASLA、SCM、LSK、L1APG、SMS、MIT等跟踪方法得到的结果分别进行评估,具体为:
其中,a表示本发明方法得到的跟踪矩形外界边框,b代表目标实际的矩形外界边框,∪是两个矩形外界边框的并集,∩是两个矩形外界边框的交集,O(a,b)为测量跟踪结果矩形外界边框与实际结果矩形外界边框的覆盖率。评估结果如图2所示,每条曲线均为覆盖率大于阈值得出的曲线。从图2中可以看出,本发明方法(Kmeans)得出的覆盖率评估结果整体上优于其他方法。
本发明方法与其他几种方法的跟踪精度数据如表1所示。
表1
本发明的跟踪精度为0.708,CXT的跟踪精度为0.672,ORIA的跟踪精度为0.646,IVT的跟踪精度为0.62,ASLA的跟踪精度为0.601,SCM的跟踪精度为0.587,LSK的跟踪精度为0.575,L1APG的跟踪精度为0.494,SMS的跟踪精度为0.488,MTT的跟踪精度为0.481,其中跟踪精度为每条曲线下方与横轴和纵轴围成的面积。通过跟踪精度可以看出,本发明、CXT、ORIA和IVT的跟踪效果较好,其它跟踪方法效果较差,而本发明方法的跟踪效果又明显优于CXT、ORIA和IVT。
进一步地,本发明的运行时间为52秒,CXT、ORIA和IVT的跟踪效果较好,但运行时间分别为395秒、315秒和144秒,与本发明相比运行时间较长。
综上所述,利用本发明方法得到的跟踪结果效果较好,且一定程度上缩短了运行时间。
对于本领域的技术人员来说,可以根据以上的技术方案和构思,作出各种相应的改变和变形,而所有的这些改变和变形都应该包括在本发明权利要求的保护范围之内。
Claims (1)
1.一种基于聚类融合的视频序列的目标跟踪方法,其特征在于,包括如下步骤:
S1获取被跟踪目标的视频序列;
S2对所述视频序列采用至少两种方法进行目标跟踪,分别得到采用每种方法进行目标跟踪的结果;
S3根据步骤S2中各种方法得到的目标跟踪结果,确定每种方法得到的被跟踪目标矩形外界边框,并将所有的矩形外界边框坐标作为输入;
S4以步骤S3中输入的所有矩形外界边框坐标的均值作为被跟踪目标的初始聚类中心,不限定分类数,对所有输入的矩形外界边框的坐标进行加权分类,判断其是否属于初始类;
S5经过步骤S4的聚类后,对初始类中所有矩形外界边框的坐标取均值,即为最终的目标跟踪结果;
步骤S4中对每个输入的矩形外界边框的坐标进行加权分类,确定是否属于初始类的具体方法如下:
令
s=1:n;
t=1:m;
H(t,s)=data(t,s)/aveData(s);
其中,H(t,s)为输入的每个矩形外界边框坐标数据对应的权重,n为每个矩形外界边框坐标数据的维数,m为矩形外界边框坐标数据的个数总数,s为某个矩形外界边框坐标数据中的第s维,t为所有矩形外界边框坐标数据中的第t个数据,data(t,s)为每个t和s所对应的矩形外界边框坐标数据,aveData为所有矩形外界边框坐标数据的均值,aveData(s)为均值对应的维数,即每个矩形外界边框坐标数据的每一维的权重就是该矩形外界边框坐标数据除以均值相对应的维数;
对每个矩形外界边框坐标数据的每一维进行加权后,计算各个矩形外界边框坐标数据与所述初始聚类中心的欧几里得距离,再分别计算每个矩形外界边框坐标数据之间的欧几里得距离;对于每个矩形外界边框坐标,如果其与初始聚类中心的距离值大于与其他矩形外界边框坐标的距离值,即与初始聚类中心的距离最小,那么就把该矩形外界边框坐标数据归于初始类中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610160169.2A CN105741326B (zh) | 2016-03-21 | 2016-03-21 | 一种基于聚类融合的视频序列的目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610160169.2A CN105741326B (zh) | 2016-03-21 | 2016-03-21 | 一种基于聚类融合的视频序列的目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105741326A CN105741326A (zh) | 2016-07-06 |
CN105741326B true CN105741326B (zh) | 2018-12-14 |
Family
ID=56250980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610160169.2A Expired - Fee Related CN105741326B (zh) | 2016-03-21 | 2016-03-21 | 一种基于聚类融合的视频序列的目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105741326B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107818573B (zh) * | 2016-09-12 | 2020-10-02 | 杭州海康威视数字技术股份有限公司 | 一种目标跟踪方法及装置 |
CN106682573B (zh) * | 2016-11-15 | 2019-12-03 | 中山大学 | 一种单摄像头的行人跟踪方法 |
CN108664935A (zh) * | 2018-05-14 | 2018-10-16 | 中山大学新华学院 | 基于cuda的深度时空信息融合的目标跟踪方法及系统 |
CN110706193A (zh) * | 2018-06-21 | 2020-01-17 | 北京京东尚科信息技术有限公司 | 图像处理方法和装置 |
CN110378200A (zh) * | 2019-06-03 | 2019-10-25 | 特斯联(北京)科技有限公司 | 一种基于行为特征聚类的智能安防提示设备与方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104992452A (zh) * | 2015-06-25 | 2015-10-21 | 中国计量学院 | 基于热成像视频的飞行目标自动跟踪方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9090263B2 (en) * | 2010-07-20 | 2015-07-28 | GM Global Technology Operations LLC | Lane fusion system using forward-view and rear-view cameras |
-
2016
- 2016-03-21 CN CN201610160169.2A patent/CN105741326B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104992452A (zh) * | 2015-06-25 | 2015-10-21 | 中国计量学院 | 基于热成像视频的飞行目标自动跟踪方法 |
Non-Patent Citations (1)
Title |
---|
基于ISM形状模型的目标检测算法;郭秀才等;《计算机应用与软件》;20140430;第31卷(第4期);219-222 * |
Also Published As
Publication number | Publication date |
---|---|
CN105741326A (zh) | 2016-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105741326B (zh) | 一种基于聚类融合的视频序列的目标跟踪方法 | |
Xie et al. | Moving object segmentation and detection for robust RGBD-SLAM in dynamic environments | |
CN105488815B (zh) | 一种支持目标尺寸变化的实时对象跟踪方法 | |
US20180047175A1 (en) | Method for implementing human skeleton tracking system based on depth data | |
CN104317391B (zh) | 一种基于立体视觉的三维手掌姿态识别交互方法和系统 | |
CN106296742B (zh) | 一种结合特征点匹配的在线目标跟踪方法 | |
CN103824070B (zh) | 一种基于计算机视觉的快速行人检测方法 | |
CN105930767A (zh) | 一种基于人体骨架的动作识别方法 | |
CN104680559B (zh) | 基于运动行为模式的多视角室内行人跟踪方法 | |
CN104915656B (zh) | 一种基于双目视觉测量技术的快速人脸识别方法 | |
CN106203423B (zh) | 一种融合上下文探测的弱结构感知视觉目标跟踪方法 | |
WO2009123354A1 (en) | Method, apparatus, and program for detecting object | |
CN105930795A (zh) | 一种基于人体骨骼关节点间空间向量的行走状态识别方法 | |
CN105893946A (zh) | 一种正面人脸图像的检测方法 | |
CN103218605A (zh) | 一种基于积分投影与边缘检测的快速人眼定位方法 | |
CN105631420A (zh) | 一种基于3d骨架的多视角室内人体行为识别方法 | |
CN104615996B (zh) | 一种多视角二维人脸特征点自动定位方法 | |
CN106682641A (zh) | 基于fhog‑lbph特征的图像行人识别方法 | |
CN103237155B (zh) | 一种单视角被遮挡的目标的跟踪和定位方法 | |
CN105138983B (zh) | 基于加权部件模型和选择性搜索分割的行人检测方法 | |
CN104821010A (zh) | 基于双目视觉的人手三维信息实时提取方法及系统 | |
CN103105924A (zh) | 人机交互方法和装置 | |
CN108961385A (zh) | 一种slam构图方法及装置 | |
Qiu et al. | Radio-assisted human detection | |
CN107358621A (zh) | 对象跟踪方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181214 Termination date: 20190321 |