CN108960286A - 一种目标跟踪定位方法及装置 - Google Patents
一种目标跟踪定位方法及装置 Download PDFInfo
- Publication number
- CN108960286A CN108960286A CN201810559245.6A CN201810559245A CN108960286A CN 108960286 A CN108960286 A CN 108960286A CN 201810559245 A CN201810559245 A CN 201810559245A CN 108960286 A CN108960286 A CN 108960286A
- Authority
- CN
- China
- Prior art keywords
- stage filter
- model
- target
- tracking target
- specific tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种目标跟踪定位方法及装置,该方法包括:基于YOLO网络模型的目标检测算法对视频中的目标进行分类和定位,确定视频中的目标对应的检测结果;获取特定跟踪目标对应的检测结果,将特定跟踪目标的检测结果作为输入,构建多阶段学习滤波器跟踪模型;采用多阶段学习滤波器跟踪模型在连续的视频帧中通过预设跟踪决策模型对特定跟踪目标进行跟踪定位。本发明可以对视频监控中的多个目标进行实时跟踪,对视频中出现的某些危险的目标做出预警,还可根据关注程度对特定跟踪目标在一段视频内的运动轨迹和状态进行实时跟踪,从而使得目标跟踪定位具有更好的实际应用价值,满足客户需求的精准性、实时性、自适应性等极为强大的智能监控系统。
Description
技术领域
本发明涉及目标检测及目标跟踪技术领域,特别是涉及一种目标跟踪定位方法及装置。
背景技术
人类与外部世界的联系主要是通过视觉、听觉以及触觉三种基本方式,其中人类的视觉系统是人类感知外部世界和获取外界信息最重要的渠道。据统计,人类获取的外界信息中有80%是通过视觉系统接受。人类通过视觉系统进行观察,可以感知周围环境中物体的形状、颜色以及变化;甚至通过观察不同的照片,人类可以感受到照片中人物的喜怒哀乐。但是,由于人类活动范围和精力是有限的,从而限制了人类视觉系统在一些场景下的应用。例如,在一些危险或极端恶劣的工作环境下,如核电站监控、海底探索等,人们通常使用自动化程度高的计算机视觉替代人类视觉从事相关工作。此外,在流水线工业生产过程中,对产品质量进行检测时,人类由于疲劳等因素无法连续长时间维持高效率和高精度工作,而使用计算机视觉进行检测工作已经被人们广泛接受。
随着电子技术、数字通信计算机处理能力的不断提高,人们日常生活中会产生大量的图像、视频等多种视觉信息。如何让计算机像人类一样能够接收、分析和理解这些图像数据,使机器具有视觉功能已成为计算机科学、应用数学、神经生理学以及心理学等多学科交叉领域中一个最热门的研究问题之一。
目前,在部分的的应用场景中,只需要目标检测算法检测出图像中的各种目标物体的类别和位置即可满足需求,然而在一些情况下,还需要关注特定的某一个特定对象在一段视频中的运动轨迹和状态。例如,在监控系统中,不仅需要采用目标检测算法对视频中出现的某些目标物体做出预警,同时需要考虑对某些特定人员,在某一段视频中所在的位置和状态做调查取证,因此,在物体识别系统中只采用目标检测技术,无法对特定跟踪目标的运动轨迹和状态进行检测跟踪,即,已无法满足客户需求的精准性、实时性、自适应性等极为强大的智能监控系统。
发明内容
本发明的目的在于提出一种目标跟踪定位方法及装置,以解决现有技术的物体识别技术中仅利用目标检测算法,无法对特定跟踪目标的运动轨迹和状态进行检测跟踪,即,已无法满足客户需求的精准性、实时性、自适应性等极为强大的智能监控系统的问题。
为达到上述目的,本发明提供了以下技术方案:
一种目标跟踪定位方法,包括:
基于YOLO网络模型的目标检测算法对视频中的目标进行分类和定位,确定所述视频中的目标对应的检测结果;
获取特定跟踪目标对应的检测结果,将所述特定跟踪目标的检测结果作为输入,构建多阶段学习滤波器跟踪模型,所述多阶段学习滤波器跟踪模型包括:全局阶段滤波器模型、一致性阶段滤波器模型以及初始阶段滤波器模型;
采用所述多阶段学习滤波器跟踪模型在连续的视频帧中通过预设跟踪决策模型对所述特定跟踪目标进行跟踪定位。
进一步地,所述获取特定跟踪目标对应的检测结果,将所述特定跟踪目标的检测结果作为输入,构建多阶段学习滤波器跟踪模型,所述多阶段学习滤波器跟踪模型包括:全局阶段滤波器模型、一致性阶段滤波器模型以及初始阶段滤波器模型的步骤,包括:
获取特定跟踪目标对应的检测结果;
将所述特定跟踪目标的检测结果作中的所有视频帧作为输入,构建全局阶段滤波器模型和一致性阶段滤波器模型;
将所述特定跟踪目标的检测结果中初始帧作为输入,构建初始阶段滤波器模型;
以所述全局阶段滤波器模型、所述一致性阶段滤波器模型以及所述初始阶段滤波器模型构建所述多阶段学习滤波器跟踪模型。
进一步地,所述采用所述多阶段学习滤波器跟踪模型在连续的视频帧中通过预设跟踪决策模型对所述特定跟踪目标进行跟踪定位的步骤,包括:
在视频的每一帧中,利用第一公式在第t帧到第t+1帧定位所述特定跟踪目标的过程中,所述全局阶段滤波器、所述一致性阶段滤波器以及所述初始阶段滤波器对应生成三个置信矩阵,且每个置信矩阵中的最大值所在的位置即为对应滤波器在第t+1帧中对所述特定跟踪目标位置的估计;
判断所述全局阶段滤波器模型生成的置信矩阵的最大值是否不等于所述一致性阶段滤波器模型生成的置信矩阵中的最大值;
当所述全局阶段滤波器模型生成的置信矩阵的最大值不等于所述一致性阶段滤波器模型生成的置信矩阵中的最大值时,则选择所述全局阶段滤波器、所述一致性阶段滤波器以及所述初始阶段滤波器在第t+1帧中对所述特定跟踪目标位置的估计中最大值所对应的滤波器对所述特定跟踪目标进行跟踪定位;
当所述全局阶段滤波器模型生成的置信矩阵的最大值等于所述一致性阶段滤波器模型生成的置信矩阵中的最大值时,则判断所述初始阶段滤波器的对所述特定跟踪目标位置的估计值是否大于或等于所述全局阶段滤波器的对所述特定跟踪目标位置的估计值;
当所述初始阶段滤波器的对所述特定跟踪目标位置的估计值大于或等于所述全局阶段滤波器的对所述特定跟踪目标位置的估计值时,则选择所述初始阶段滤波器对所述特定跟踪目标进行跟踪定位;
当所述初始阶段滤波器的对所述特定跟踪目标位置的估计值小于所述全局阶段滤波器的对所述特定跟踪目标位置的估计值时,则计算所述全局阶段滤波器和所述一致性阶段滤波器在连续两帧之间的一阶差分,选择所述一阶差分中的最小值对应的滤波器对所述特定跟踪目标进行跟踪定位。
进一步地,所述判断所述全局阶段滤波器模型生成的置信矩阵的最大值是否不等于所述一致性阶段滤波器模型生成的置信矩阵中的最大值的步骤之前,还包括:
判断所述一致性阶段滤波器是否满足向后跟踪帧数n或者一致性误差阈值的条件;
若是,则所述全局阶段滤波器模型和所述一致性阶段滤波器模型相同,采用全局阶段滤波器或所述一致性阶段滤波器对所述特定跟踪目标进行跟踪定位;
若否,则判断所述全局阶段滤波器模型生成的置信矩阵的最大值是否不等于所述一致性阶段滤波器模型生成的置信矩阵中的最大值。
进一步地,所述第一公式为:其中,i∈{G,C,I}, Fi为所述全局阶段滤波器模型、所述一致性阶段滤波器模型和所述初始阶段滤波器模型对应的滤波器,F-1为傅立叶逆变换,为测试样本的傅立叶变化。
进一步地,预设跟踪决策模型为:其中,ΔLt+1=Lt+1-Lt为所述全局阶段滤波器或所述一致性阶段滤波器在连续两帧之间的一阶差分。
一种目标跟踪定位装置,包括:
目标检测单元,用于基于YOLO网络模型的目标检测算法对视频中的目标进行分类和定位,确定所述视频中的目标对应的检测结果;
跟踪模型构建单元,用于获取特定跟踪目标对应的检测结果,将所述特定跟踪目标的检测结果作为输入,构建多阶段学习滤波器跟踪模型,所述多阶段学习滤波器跟踪模型包括:全局阶段滤波器模型、一致性阶段滤波器模型以及初始阶段滤波器模型;
跟踪定位单元,用于采用所述多阶段学习滤波器跟踪模型在连续的视频帧中通过预设跟踪决策模型对所述特定跟踪目标进行跟踪定位。
进一步地,所述跟踪定位单元包括:
估计单元,用于在视频的每一帧中,利用第一公式在第t帧到第t+1帧定位所述特定跟踪目标的过程中,所述全局阶段滤波器、所述一致性阶段滤波器以及所述初始阶段滤波器对应生成三个置信矩阵,且每个置信矩阵中的最大值所在的位置即为对应滤波器在第t+1帧中对所述特定跟踪目标位置的估计;
第一判断单元,用于判断所述全局阶段滤波器模型生成的置信矩阵的最大值是否不等于所述一致性阶段滤波器模型生成的置信矩阵中的最大值;
第一选择单元,用于当所述全局阶段滤波器模型生成的置信矩阵的最大值不等于所述一致性阶段滤波器模型生成的置信矩阵中的最大值时,则选择所述全局阶段滤波器、所述一致性阶段滤波器以及所述初始阶段滤波器在第 t+1帧中对所述特定跟踪目标位置的估计中最大值所对应的滤波器对所述特定跟踪目标进行跟踪定位;
第二判断单元,用于当所述全局阶段滤波器模型生成的置信矩阵的最大值等于所述一致性阶段滤波器模型生成的置信矩阵中的最大值时,则判断所述初始阶段滤波器的对所述特定跟踪目标位置的估计值是否大于或等于所述全局阶段滤波器的对所述特定跟踪目标位置的估计值;
第二选择单元,用于当所述初始阶段滤波器的对所述特定跟踪目标位置的估计值大于或等于所述全局阶段滤波器的对所述特定跟踪目标位置的估计值时,则选择所述初始阶段滤波器对所述特定跟踪目标进行跟踪定位;
第三选择单元,用于当所述初始阶段滤波器的对所述特定跟踪目标位置的估计值小于所述全局阶段滤波器的对所述特定跟踪目标位置的估计值时,则计算所述全局阶段滤波器和所述一致性阶段滤波器在连续两帧之间的一阶差分,选择所述一阶差分中的最小值对应的滤波器对所述特定跟踪目标进行跟踪定位。
一种存储介质,所述存储介质包括存储的程序,
其中,在所述程序运行时控制所述存储介质所在的设备执行如上述任一项所述的目标跟踪定位方法。
一种处理器,所述处理器用于运行程序,
其中,所述程序运行时执行如上述任一项所述的目标跟踪定位方法。
经由上述的技术方案可知,与现有技术相比,本发明公开了一种目标跟踪定位方法及装置,该方法包括:基于YOLO网络模型的目标检测算法对视频中的目标进行分类和定位,确定视频中的目标对应的检测结果;获取特定跟踪目标对应的检测结果,将特定跟踪目标的检测结果作为输入,构建多阶段学习滤波器跟踪模型;采用多阶段学习滤波器跟踪模型在连续的视频帧中通过预设跟踪决策模型对特定跟踪目标进行跟踪定位。本发明通过在监控系统中根据自己的需求,决定对监控中的多目标还是对指定目标进行检测跟踪;换言之,本发明可以对视频监控中的多个目标进行实时跟踪,对视频中出现的某些危险物体做出预警,还可以根据关注程度对特定的目标在一段视频内的运动轨迹和状态进行实时跟踪,从而使得目标跟踪定位具有更好的实际应用价值,满足客户需求的精准性、实时性、自适应性等极为强大的智能监控系统。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例示出的一种目标跟踪定位方法流程示意图;
图2为本发明实施例示出的步骤S102的具体实施方式流程示意图;
图3为本发明实施例示出的步骤S103的具体实施方式流程示意图;
图4为本发明实施例示出的一种目标跟踪定位装置结构示意图;
图5为本发明实施例示出的跟踪定位单元403的具体结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本实施例公开了一种目标跟踪定位方法,该方法具体包括如下步骤:
S101、基于YOLO网络模型的目标检测算法对视频中的目标进行分类和定位,确定所述视频中的目标对应的检测结果。
在本实施例中,在基于YOLO模型的目标检测方法的基础之上,利用 YOLO网络模型的目标检测算法对视频中的目标进行分类和定位,确定视频中的目标对应的检测结果,例如,某个连续视频中存在目标A、目标B和目标C 以及对应目标的位置信息。
S102、获取特定跟踪目标对应的检测结果,将所述特定跟踪目标的检测结果作为输入,构建多阶段学习滤波器跟踪模型。
在本实施例中,所述多阶段学习滤波器跟踪(MPFL,Multistage Learning FilterTracking)模型包括:全局阶段滤波器(Global Phase Filter,GPF)模型、一致性阶段滤波器(Consistency Phase Filter,CPF)模型以及初始阶段滤波器 (Initial Phase Filter,IPF)模型。
可以将三个滤波器GPF,CPF,IPF分别表示为FG,FC,FI,在线更新的多阶段滤波器可以定义为:F*={FG,FC,FI},由于相关滤波模型包含滤波器和目标模型,所以MPFL模型中的三个滤波器所对应的目标模型定义为: O*={OG,OC,OI},在MPFL模型中,每一个滤波器模型是由该滤波器及其对应的目标模型组成,即:Mi={Fi,Oi},i∈{G,C,I}。
如图2所示,为本发明实施例提供的步骤S102的一种具体实施方式,则所述获取特定跟踪目标对应的检测结果,将所述特定跟踪目标的检测结果作为输入,构建多阶段学习滤波器跟踪模型,所述多阶段学习滤波器跟踪模型包括:全局阶段滤波器模型、一致性阶段滤波器模型以及初始阶段滤波器模型的步骤,具体可以包括如下步骤:
S201、获取特定跟踪目标对应的检测结果。
在本实施例中,若指定特定跟踪目标为目标A,则将以目标A作为特定跟踪目标对应的检测结果作为输入,构建多阶段学习滤波器跟踪模型。
S202、将所述特定跟踪目标的检测结果作中的所有视频帧作为输入,构建全局阶段滤波器模型和一致性阶段滤波器模型。
在本实施例中,从第t帧跟踪到第t+1帧的过程中,为了自适应特定跟踪目标的外观变化,需要利用t+1帧之前每一帧信息迭代的对全局阶段滤波模型MG更新,即:
在上述中所展示的模型更新方式与KCF的模型更新方式相同,这种更新方式的好处是可以自适应特定跟踪目标外观的变化;但其缺点是如果特定跟踪遭受遮挡、光照变化等干扰因素影响时,随着干扰因素所积累的误差增加,会造成跟踪定位的漂移现象。但是,采用KCF跟踪算法迭代更新模型的跟踪器难以克服跟踪漂移的问题,以此为动机,本发明提出采用一致性阶段滤波器模型MC解决跟踪漂移的问题。
一致性阶段滤波器模型利用向后跟踪的方式,计算向前跟踪和向后跟踪在同一帧中定位的欧氏距离,从而决定是否需要在这一段时间内的进行模型更新。采用全局阶段滤波器模型MG和一致性阶段滤波器模型MC可以解决遮挡时间较短时的跟踪漂移问题。但是如果遮挡时间过长,全局阶段滤波器模型 MG和一致性阶段滤波器模型MC的更新都受到遮挡信息的干扰,当特定跟踪目标再次出现时,采用全局阶段滤波器FG或一致性阶段滤波器FC定位特定跟踪目标会产生定位误差较大甚至是丢失特定跟踪目标的可能。由于历经长时间遮挡之后,在大多数情况下如果特定跟踪目标再次出现时,特定跟踪目标的外观与第一帧建模的特定跟踪目标外观非常相似,因此,本发明采用MPFL模型中的初始阶段滤波器FI可以修正全局阶段滤波器FG和一致性阶段滤波器FC产生定位误差较大或者是丢失特定跟踪目标问题。
S203、将所述特定跟踪目标的检测结果中初始帧作为输入,构建初始阶段滤波器模型。
在本实施例中,初始阶段滤波器模型MI更新模型为:通过该初始阶段滤波器模型MI可以看出,初始阶段滤波器模型MI只利用第一帧的信息对特定跟踪目标进行建模,然后在接下来的视频序列中,利用初始阶段滤波器FI进行特定跟踪目标的跟踪定位。
上面介绍了MPFL模型的框架,及其所包含的全局阶段滤波器模型MG和初始阶段滤波器模型MI的更新方式,以下主要介绍一致性阶段滤波器模型的更新方式:
一致性误差最早用于判断基于点跟踪的跟踪失败,其思想是通过向前向后跟踪到同一帧时,在目标区域内所有跟踪点的误差在固定阈值的条件下,统计精确度和召回率来判断跟踪的失败。而在本发明实施例中,是利用前后一致性误差来确定一段视频内是否存在严重干扰因素。如果这段视频不存在严重的干扰信息,就利用这段视频的信息对一致性阶段滤波器和对应目标模型进行更新;如果存在严重的干扰信息,那么就需要丢弃这段视频对于一致性阶段滤波器和对应目标模型的更新,这样可以减少模型更新时误差的引入,从而有效地解决跟踪漂移问题。例如:在一段长度为n的视频序列 P={It,It+1,…,It+n-1}中,假设si=(xi,yi),i∈{t,t+1,…,t+n-1}表示在视频的第i 帧中特定跟踪目标定位结果的坐标,使用一致性阶段滤波器FC向前跟踪n帧,生成的向前轨迹坐标是其中,下标f表示向前跟踪,上标n表示跟踪的长度,为了验证在给定视频序列P中生成的轨迹是否可靠,需要使用一致性阶段滤波器FC从第t+n-1帧向后跟踪到第t帧生成向后轨迹下标b表示向后跟踪,即:将一致性误差定义为向前轨迹中的st和向后轨迹中之间的欧氏距离:
在视频序列中,指定跟踪目标会遭受各种干扰因素的影响,当MPFL模型从第t帧跟踪到第t+n-1帧时,一致性阶段波器FC以t+n-1帧为起点向后跟踪到第 t帧,这时在第t帧中存在MPFL模型跟踪结果st和一致性阶段波器FC向后跟踪的结果若跟踪的特定跟踪目标在这段视频中特定跟踪目标没有遭受遮挡的影响,则MPFL模型跟踪结果st和一致性阶段波器FC向后跟踪的结果之间的一致性误差Cerror是一个较小的值或者为零;若跟踪的特定跟踪目标在这段视频中遭受遮挡的影响,则MPFL模型跟踪结果st和一致性阶段波器FC向后跟踪的结果之间的一致性误差Cerror会产生一个较大值。根据以上两种情况,一致性阶段滤波器模型MC的更新可以表示为:
其中,在该公式中,θ表示一致性误差阈值。
根据上述公式所示可知,一致性阶段滤波器模型MC的更新分为两种情况:第一种情况,特定跟踪目标没有遭受剧烈变化的因素干扰时,如上述公式上半部分,一致性阶段滤波器从第t+n帧向后跟踪到第t帧,MPFL模型跟踪结果st和一致性阶段波器FC结果之间的一致性误差Cerror<θ,这时采用第t帧到第 t+n帧之间所有的样本对一致性阶段滤波器模型MC更新;而对于第二种情况,如上述公式下半部分,特定跟踪目标遭受如遮挡或光照变化等剧烈变化的因素干扰时,MPFL模型跟踪结果st和一致性阶段波器FC结果之间的一致性误差Cerror>θ,此时,由于剧烈变化干扰因素的存在,如果继续更新一致性阶段波器模型MC,则一致性阶段波器模型MC就等同于全局阶段滤波器模型MG,于是,会引入大量的噪声信息,从而使得一致性阶段波器FC在接下来的视频中定位特定跟踪目标会产生漂移甚至是丢失目标。
因此,在Cerror>θ的条件下,需要将第t帧到第t+n帧之间对于一致性阶段滤波器模型MC更新将全部丢弃,也就是第t+n帧的一致性阶段滤波器模型MC等于第t帧的一致性阶段滤波器模型MC。通过对比MPFL模型中全局阶段滤波器模型MG和一致性阶段滤波器模型MC的更新方式可以发现,这两个滤波器模型实际上是一对互补的滤波器模型。为了自适应特定跟踪目标的外观变化全局阶段滤波器模型MG需要利用每一帧的信息对滤波器模型进行更新,这种方式在特定跟踪目标外观遭受剧烈的干扰因素影响时,随着模型的更新会引入大量的噪声信息,从而引起特定跟踪定位的漂移甚至是丢失;而一致性阶段滤波器模型MC通过FC的向后跟踪的一致性误差丢弃遭受剧烈的干扰因素影响的视频信息,这样可以减少噪声信息对模型的影响,但是在这段视频内一致性阶段滤波器模型MC无法自适应特定跟踪目标的外观变化,此时,使用全局阶段滤波器FG对特定跟踪目标进行跟踪是对于一致性阶段滤波器FC的一种补充。当特定跟踪目标受到长时间严重遮挡时,以上两个滤波器模型都会由于模型的更新造成跟踪目标定位的不准确,此时初始阶段滤波器FI可以在特定跟踪目标重新出现时正确的定位特定跟踪目标。
S204、以所述全局阶段滤波器模型、所述一致性阶段滤波器模型以及所述初始阶段滤波器模型构建所述多阶段学习滤波器跟踪模型。
多阶段学习滤波器(MPFL)模型在特定跟踪目标跟踪过程中定位特定跟踪目标的跟踪算法。在本发明实施例的跟踪算法中,MPFL模型有MG、MC以及 MI三个采用不同机制更新的滤波器模型。
S103、采用所述多阶段学习滤波器跟踪模型在连续的视频帧中通过预设跟踪决策模型对所述特定跟踪目标进行跟踪定位。
如图3所示,为本发明实施例提供的步骤S103的一种具体实施方式,则所述采用所述多阶段学习滤波器跟踪模型在连续的视频帧中通过预设跟踪决策模型对所述特定跟踪目标进行跟踪定位的步骤,具体包括如下步骤:
S301、在视频的每一帧中,利用第一公式在第t帧到第t+1帧定位所述特定跟踪目标的过程中,所述全局阶段滤波器、所述一致性阶段滤波器以及所述初始阶段滤波器对应生成三个置信矩阵,且每个置信矩阵中的最大值所在的位置即为对应滤波器在第t+1帧中对所述特定跟踪目标位置的估计。
在本实施例中,所述第一公式为:其中, i∈{G,C,I},Fi为所述全局阶段滤波器模型、所述一致性阶段滤波器模型和所述初始阶段滤波器模型对应的滤波器,F-1为傅立叶逆变换,为测试样本的傅立叶变化。在得到三个滤波器对于第t+1帧中特定跟踪目标位置的估计之后,则本发明实施例中预设跟踪决策模型为:
其中,ΔLt+1=Lt+1-Lt为所述全局阶段滤波器或所述一致性阶段滤波器在连续两帧之间的一阶差分。
S302、判断所述全局阶段滤波器模型生成的置信矩阵的最大值是否不等于所述一致性阶段滤波器模型生成的置信矩阵中的最大值,若是,即则执行步骤S303,若否,即则执行步骤S304。
S303、选择所述全局阶段滤波器、所述一致性阶段滤波器以及所述初始阶段滤波器在第t+1帧中对所述特定跟踪目标位置的估计中最大值所对应的滤波器对所述特定跟踪目标进行跟踪定位。
S304、判断所述初始阶段滤波器的对所述特定跟踪目标位置的估计值是否大于或等于所述全局阶段滤波器的对所述特定跟踪目标位置的估计值,若是,即则执行步骤S305;若否,即则执行步骤S306。
S305、选择所述初始阶段滤波器对所述特定跟踪目标进行跟踪定位;
S306、计算所述全局阶段滤波器和所述一致性阶段滤波器在连续两帧之间的一阶差分,选择所述一阶差分中的最小值对应的滤波器对所述特定跟踪目标进行跟踪定位。
在本实施例中,需要说明的是,在特定跟踪目标跟踪的过程中,由于在 MPFL模型中MG、MC以及MI更新机制的不同,于是滤波器FG、FC以及FI会生成三个不同的置信矩阵。以jogging视频为例,经过前t帧视频的学习,MPFL 模型中的全局阶段滤波器模型MG利用每一帧的信息更新,因此在训练样本中包含了完全遮挡信息;而一致性阶段滤波器模型MC利用一致性误差在训练样本中可以有效的丢弃完全遮挡信息对于模型的更新干扰,于是,当在第t+1帧中进行定位时,三个滤波器会生成三个不同的置信矩阵。另外,由于滤波器 FG受到完全遮挡信息的干扰,它生成的置信矩阵中的最大值小于滤波器FC生成的置信矩阵中的最大值,若特定跟踪目标经历的是部分遮挡,一致性阶段滤波器模型MC可能会丢弃部分有用视频对于模型的更新,此时滤波器FG生成的置信矩阵中的最大值大于滤波器FC生成的置信矩阵中的最大值,但是无论上述哪一种情况发生,当滤波器FI的置信矩阵的最大值最大时,特定跟踪目标的外观一定与第一帧最接近,因此,当滤波器FG和FC生成的两个置信矩阵中的最大值不相等时(即),那么,选择中最大值所对应的滤波器对特定跟踪目标进行跟踪定位。
在一些较长时间的视频序列中,目标会反复的受到遮挡或光照变化等因素的影响,此时,滤波器FG和FC生成的两个置信矩阵中的最大值相等(即),但是对应不同定位结果,如果FI的对特定跟踪目标位置的估计值大于等于滤波器FG或FC的值,那么使用初始阶段滤波器FI对特定跟踪目标进行定位,这是因为初始阶段滤波器模型MI在整个跟踪过程中没有进行模型的更新,所以初始阶段滤波器FI对应的最大值大于其他两个滤波器时,采用初始阶段滤波器FI对特定跟踪目标进行定位更为准确。若初始阶段滤波器FI的最大值小于其他两个滤波器的最大值,计算滤波器FG和FC对于连续两帧测试样本的归一化一阶差分,用以衡量两个滤波器的稳定性,在视频序列中,特定跟踪目标的变化是一个连续的过程,因而选择相对稳定的滤波器对特定跟踪目标进行定位更为合理,则选择一阶差分小的,也就是相对稳定的滤波器的定位结果作为特定跟踪目标的跟踪结果。
进一步的,所述判断所述全局阶段滤波器模型生成的置信矩阵的最大值是否不等于所述一致性阶段滤波器模型生成的置信矩阵中的最大值的步骤之前,还可以包括如下步骤:
判断所述一致性阶段滤波器是否满足向后跟踪帧数n或者一致性误差阈值的条件;
若是,则所述全局阶段滤波器模型和所述一致性阶段滤波器模型相同,采用全局阶段滤波器或所述一致性阶段滤波器对所述特定跟踪目标进行跟踪定位;
若否,则判断所述全局阶段滤波器模型生成的置信矩阵的最大值是否不等于所述一致性阶段滤波器模型生成的置信矩阵中的最大值。
本发明实施例提供的一种目标跟踪定位方法,该方法包括:基于YOLO 网络模型的目标检测算法对视频中的目标进行分类和定位,确定视频中的目标对应的检测结果;获取特定跟踪目标对应的检测结果,将特定跟踪目标的检测结果作为输入,构建多阶段学习滤波器跟踪模型;采用多阶段学习滤波器跟踪模型在连续的视频帧中通过预设跟踪决策模型对特定跟踪目标进行跟踪定位。本发明通过在监控系统中根据自己的需求,决定对监控中的多目标还是对指定目标进行检测跟踪;换言之,本发明可以对视频监控中的多个目标进行实时跟踪,对视频中出现的某些危险物体做出预警,还可以根据关注程度对特定的目标在一段视频内的运动轨迹和状态进行实时跟踪,从而使得目标跟踪定位具有更好的实际应用价值,满足客户需求的精准性、实时性、自适应性等极为强大的智能监控系统。
请参阅图4,基于上述实施例公开的一种目标跟踪定位方法,本实施例对应公开了一种目标跟踪定位装置,具体包括:目标检测单元401、跟踪模型构建单元402和跟踪定位单元403,其中:
目标检测单元401,用于基于YOLO网络模型的目标检测算法对视频中的目标进行分类和定位,确定所述视频中的目标对应的检测结果;
跟踪模型构建单元402,用于获取特定跟踪目标对应的检测结果,将所述特定跟踪目标的检测结果作为输入,构建多阶段学习滤波器跟踪模型,所述多阶段学习滤波器跟踪模型包括:全局阶段滤波器模型、一致性阶段滤波器模型以及初始阶段滤波器模型;
跟踪定位单元403,用于采用所述多阶段学习滤波器跟踪模型在连续的视频帧中通过预设跟踪决策模型对所述特定跟踪目标进行跟踪定位。
如图5所示,为本发明实施例提供的跟踪定位单元403的结构示意图,该跟踪定位单元403具体可以包括:估计单元501、第一判断单元502、第一选择单元503、第二判断单元504、第二选择单元505和第三选择单元506,其中:
估计单元501,用于在视频的每一帧中,利用第一公式在第t帧到第t+1帧定位所述特定跟踪目标的过程中,所述全局阶段滤波器、所述一致性阶段滤波器以及所述初始阶段滤波器对应生成三个置信矩阵,且每个置信矩阵中的最大值所在的位置即为对应滤波器在第t+1帧中对所述特定跟踪目标位置的估计;
第一判断单元502,用于判断所述全局阶段滤波器模型生成的置信矩阵的最大值是否不等于所述一致性阶段滤波器模型生成的置信矩阵中的最大值;
第一选择单元503,用于当所述全局阶段滤波器模型生成的置信矩阵的最大值不等于所述一致性阶段滤波器模型生成的置信矩阵中的最大值时,则选择所述全局阶段滤波器、所述一致性阶段滤波器以及所述初始阶段滤波器在第t+1帧中对所述特定跟踪目标位置的估计中最大值所对应的滤波器对所述特定跟踪目标进行跟踪定位;
第二判断单元504,用于当所述全局阶段滤波器模型生成的置信矩阵的最大值等于所述一致性阶段滤波器模型生成的置信矩阵中的最大值时,则判断所述初始阶段滤波器的对所述特定跟踪目标位置的估计值是否大于或等于所述全局阶段滤波器的对所述特定跟踪目标位置的估计值;
第二选择单元505,用于当所述初始阶段滤波器的对所述特定跟踪目标位置的估计值大于或等于所述全局阶段滤波器的对所述特定跟踪目标位置的估计值时,则选择所述初始阶段滤波器对所述特定跟踪目标进行跟踪定位;
第三选择单元506,用于当所述初始阶段滤波器的对所述特定跟踪目标位置的估计值小于所述全局阶段滤波器的对所述特定跟踪目标位置的估计值时,则计算所述全局阶段滤波器和所述一致性阶段滤波器在连续两帧之间的一阶差分,选择所述一阶差分中的最小值对应的滤波器对所述特定跟踪目标进行跟踪定位。
本发明实施例提供的一种目标跟踪定位装置通过在监控系统中根据自己的需求,决定对监控中的多目标还是对指定目标进行检测跟踪;换言之,本发明可以对视频监控中的多个目标进行实时跟踪,对视频中出现的某些危险物体做出预警,还可以根据关注程度对特定的目标在一段视频内的运动轨迹和状态进行实时跟踪,从而使得目标跟踪定位具有更好的实际应用价值,满足客户需求的精准性、实时性、自适应性等极为强大的智能监控系统。
所述基于浏览器的数据处理装置包括处理器和存储器,上述目标检测单元、跟踪模型构建单元和跟踪定位单元,等均作为程序模块存储在存储器中,由处理器执行存储在存储器中的上述程序模块来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序模块。内核可以设置一个或以上,通过利用YOLO网络模型的目标检算法的检测结果作为指定跟踪目标的输入,然后在利用改进的KCF跟踪算法实时的对特定目标进行跟踪检测,以满足客户需求的精准性、实时性、自适应性等极为强大的智能监控系统。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器 (RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现所述目标跟踪定位方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述目标跟踪定位方法。
本发明实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:
基于YOLO网络模型的目标检测算法对视频中的目标进行分类和定位,确定所述视频中的目标对应的检测结果;
获取特定跟踪目标对应的检测结果,将所述特定跟踪目标的检测结果作为输入,构建多阶段学习滤波器跟踪模型,所述多阶段学习滤波器跟踪模型包括:全局阶段滤波器模型、一致性阶段滤波器模型以及初始阶段滤波器模型;
采用所述多阶段学习滤波器跟踪模型在连续的视频帧中通过预设跟踪决策模型对所述特定跟踪目标进行跟踪定位。
具体的,所述获取特定跟踪目标对应的检测结果,将所述特定跟踪目标的检测结果作为输入,构建多阶段学习滤波器跟踪模型,所述多阶段学习滤波器跟踪模型包括:全局阶段滤波器模型、一致性阶段滤波器模型以及初始阶段滤波器模型的步骤,包括:
获取特定跟踪目标对应的检测结果;
将所述特定跟踪目标的检测结果作中的所有视频帧作为输入,构建全局阶段滤波器模型和一致性阶段滤波器模型;
将所述特定跟踪目标的检测结果中初始帧作为输入,构建初始阶段滤波器模型;
以所述全局阶段滤波器模型、所述一致性阶段滤波器模型以及所述初始阶段滤波器模型构建所述多阶段学习滤波器跟踪模型。
具体的,所述采用所述多阶段学习滤波器跟踪模型在连续的视频帧中通过预设跟踪决策模型对所述特定跟踪目标进行跟踪定位的步骤,包括:
在视频的每一帧中,利用第一公式在第t帧到第t+1帧定位所述特定跟踪目标的过程中,所述全局阶段滤波器、所述一致性阶段滤波器以及所述初始阶段滤波器对应生成三个置信矩阵,且每个置信矩阵中的最大值所在的位置即为对应滤波器在第t+1帧中对所述特定跟踪目标位置的估计;
判断所述全局阶段滤波器模型生成的置信矩阵的最大值是否不等于所述一致性阶段滤波器模型生成的置信矩阵中的最大值;
当所述全局阶段滤波器模型生成的置信矩阵的最大值不等于所述一致性阶段滤波器模型生成的置信矩阵中的最大值时,则选择所述全局阶段滤波器、所述一致性阶段滤波器以及所述初始阶段滤波器在第t+1帧中对所述特定跟踪目标位置的估计中最大值所对应的滤波器对所述特定跟踪目标进行跟踪定位;
当所述全局阶段滤波器模型生成的置信矩阵的最大值等于所述一致性阶段滤波器模型生成的置信矩阵中的最大值时,则判断所述初始阶段滤波器的对所述特定跟踪目标位置的估计值是否大于或等于所述全局阶段滤波器的对所述特定跟踪目标位置的估计值;
当所述初始阶段滤波器的对所述特定跟踪目标位置的估计值大于或等于所述全局阶段滤波器的对所述特定跟踪目标位置的估计值时,则选择所述初始阶段滤波器对所述特定跟踪目标进行跟踪定位;
当所述初始阶段滤波器的对所述特定跟踪目标位置的估计值小于所述全局阶段滤波器的对所述特定跟踪目标位置的估计值时,则计算所述全局阶段滤波器和所述一致性阶段滤波器在连续两帧之间的一阶差分,选择所述一阶差分中的最小值对应的滤波器对所述特定跟踪目标进行跟踪定位。
具体的,所述判断所述全局阶段滤波器模型生成的置信矩阵的最大值是否不等于所述一致性阶段滤波器模型生成的置信矩阵中的最大值的步骤之前,还包括:
判断所述一致性阶段滤波器是否满足向后跟踪帧数n或者一致性误差阈值的条件;
若是,则所述全局阶段滤波器模型和所述一致性阶段滤波器模型相同,采用全局阶段滤波器或所述一致性阶段滤波器对所述特定跟踪目标进行跟踪定位;
若否,则判断所述全局阶段滤波器模型生成的置信矩阵的最大值是否不等于所述一致性阶段滤波器模型生成的置信矩阵中的最大值。
具体的,所述第一公式为:其中,i∈{G,C,I}, Fi为所述全局阶段滤波器模型、所述一致性阶段滤波器模型和所述初始阶段滤波器模型对应的滤波器,F-1为傅立叶逆变换,为测试样本的傅立叶变化。
具体的,预设跟踪决策模型为:其中,ΔLt+1=Lt+1-Lt为所述全局阶段滤波器或所述一致性阶段滤波器在连续两帧之间的一阶差分。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:
基于YOLO网络模型的目标检测算法对视频中的目标进行分类和定位,确定所述视频中的目标对应的检测结果;
获取特定跟踪目标对应的检测结果,将所述特定跟踪目标的检测结果作为输入,构建多阶段学习滤波器跟踪模型,所述多阶段学习滤波器跟踪模型包括:全局阶段滤波器模型、一致性阶段滤波器模型以及初始阶段滤波器模型;
采用所述多阶段学习滤波器跟踪模型在连续的视频帧中通过预设跟踪决策模型对所述特定跟踪目标进行跟踪定位。
具体的,所述获取特定跟踪目标对应的检测结果,将所述特定跟踪目标的检测结果作为输入,构建多阶段学习滤波器跟踪模型,所述多阶段学习滤波器跟踪模型包括:全局阶段滤波器模型、一致性阶段滤波器模型以及初始阶段滤波器模型的步骤,包括:
获取特定跟踪目标对应的检测结果;
将所述特定跟踪目标的检测结果作中的所有视频帧作为输入,构建全局阶段滤波器模型和一致性阶段滤波器模型;
将所述特定跟踪目标的检测结果中初始帧作为输入,构建初始阶段滤波器模型;
以所述全局阶段滤波器模型、所述一致性阶段滤波器模型以及所述初始阶段滤波器模型构建所述多阶段学习滤波器跟踪模型。
具体的,所述采用所述多阶段学习滤波器跟踪模型在连续的视频帧中通过预设跟踪决策模型对所述特定跟踪目标进行跟踪定位的步骤,包括:
在视频的每一帧中,利用第一公式在第t帧到第t+1帧定位所述特定跟踪目标的过程中,所述全局阶段滤波器、所述一致性阶段滤波器以及所述初始阶段滤波器对应生成三个置信矩阵,且每个置信矩阵中的最大值所在的位置即为对应滤波器在第t+1帧中对所述特定跟踪目标位置的估计;
判断所述全局阶段滤波器模型生成的置信矩阵的最大值是否不等于所述一致性阶段滤波器模型生成的置信矩阵中的最大值;
当所述全局阶段滤波器模型生成的置信矩阵的最大值不等于所述一致性阶段滤波器模型生成的置信矩阵中的最大值时,则选择所述全局阶段滤波器、所述一致性阶段滤波器以及所述初始阶段滤波器在第t+1帧中对所述特定跟踪目标位置的估计中最大值所对应的滤波器对所述特定跟踪目标进行跟踪定位;
当所述全局阶段滤波器模型生成的置信矩阵的最大值等于所述一致性阶段滤波器模型生成的置信矩阵中的最大值时,则判断所述初始阶段滤波器的对所述特定跟踪目标位置的估计值是否大于或等于所述全局阶段滤波器的对所述特定跟踪目标位置的估计值;
当所述初始阶段滤波器的对所述特定跟踪目标位置的估计值大于或等于所述全局阶段滤波器的对所述特定跟踪目标位置的估计值时,则选择所述初始阶段滤波器对所述特定跟踪目标进行跟踪定位;
当所述初始阶段滤波器的对所述特定跟踪目标位置的估计值小于所述全局阶段滤波器的对所述特定跟踪目标位置的估计值时,则计算所述全局阶段滤波器和所述一致性阶段滤波器在连续两帧之间的一阶差分,选择所述一阶差分中的最小值对应的滤波器对所述特定跟踪目标进行跟踪定位。
具体的,所述判断所述全局阶段滤波器模型生成的置信矩阵的最大值是否不等于所述一致性阶段滤波器模型生成的置信矩阵中的最大值的步骤之前,还包括:
判断所述一致性阶段滤波器是否满足向后跟踪帧数n或者一致性误差阈值的条件;
若是,则所述全局阶段滤波器模型和所述一致性阶段滤波器模型相同,采用全局阶段滤波器或所述一致性阶段滤波器对所述特定跟踪目标进行跟踪定位;
若否,则判断所述全局阶段滤波器模型生成的置信矩阵的最大值是否不等于所述一致性阶段滤波器模型生成的置信矩阵中的最大值。
具体的,所述第一公式为:其中,i∈{G,C,I}, Fi为所述全局阶段滤波器模型、所述一致性阶段滤波器模型和所述初始阶段滤波器模型对应的滤波器,F-1为傅立叶逆变换,为测试样本的傅立叶变化。
具体的,预设跟踪决策模型为:其中,ΔLt+1=Lt+1-Lt为所述全局阶段滤波器或所述一致性阶段滤波器在连续两帧之间的一阶差分。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器 (RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种目标跟踪定位方法,其特征在于,包括:
基于YOLO网络模型的目标检测算法对视频中的目标进行分类和定位,确定所述视频中的目标对应的检测结果;
获取特定跟踪目标对应的检测结果,将所述特定跟踪目标的检测结果作为输入,构建多阶段学习滤波器跟踪模型,所述多阶段学习滤波器跟踪模型包括:全局阶段滤波器模型、一致性阶段滤波器模型以及初始阶段滤波器模型;
采用所述多阶段学习滤波器跟踪模型在连续的视频帧中通过预设跟踪决策模型对所述特定跟踪目标进行跟踪定位。
2.根据权利要求1所述的方法,其特征在于,所述获取特定跟踪目标对应的检测结果,将所述特定跟踪目标的检测结果作为输入,构建多阶段学习滤波器跟踪模型,所述多阶段学习滤波器跟踪模型包括:全局阶段滤波器模型、一致性阶段滤波器模型以及初始阶段滤波器模型的步骤,包括:
获取特定跟踪目标对应的检测结果;
将所述特定跟踪目标的检测结果作中的所有视频帧作为输入,构建全局阶段滤波器模型和一致性阶段滤波器模型;
将所述特定跟踪目标的检测结果中初始帧作为输入,构建初始阶段滤波器模型;
以所述全局阶段滤波器模型、所述一致性阶段滤波器模型以及所述初始阶段滤波器模型构建所述多阶段学习滤波器跟踪模型。
3.根据权利要求1所述的方法,其特征在于,所述采用所述多阶段学习滤波器跟踪模型在连续的视频帧中通过预设跟踪决策模型对所述特定跟踪目标进行跟踪定位的步骤,包括:
在视频的每一帧中,利用第一公式在第t帧到第t+1帧定位所述特定跟踪目标的过程中,所述全局阶段滤波器、所述一致性阶段滤波器以及所述初始阶段滤波器对应生成三个置信矩阵,且每个置信矩阵中的最大值所在的位置即为对应滤波器在第t+1帧中对所述特定跟踪目标位置的估计;
判断所述全局阶段滤波器模型生成的置信矩阵的最大值是否不等于所述一致性阶段滤波器模型生成的置信矩阵中的最大值;
当所述全局阶段滤波器模型生成的置信矩阵的最大值不等于所述一致性阶段滤波器模型生成的置信矩阵中的最大值时,则选择所述全局阶段滤波器、所述一致性阶段滤波器以及所述初始阶段滤波器在第t+1帧中对所述特定跟踪目标位置的估计中最大值所对应的滤波器对所述特定跟踪目标进行跟踪定位;
当所述全局阶段滤波器模型生成的置信矩阵的最大值等于所述一致性阶段滤波器模型生成的置信矩阵中的最大值时,则判断所述初始阶段滤波器的对所述特定跟踪目标位置的估计值是否大于或等于所述全局阶段滤波器的对所述特定跟踪目标位置的估计值;
当所述初始阶段滤波器的对所述特定跟踪目标位置的估计值大于或等于所述全局阶段滤波器的对所述特定跟踪目标位置的估计值时,则选择所述初始阶段滤波器对所述特定跟踪目标进行跟踪定位;
当所述初始阶段滤波器的对所述特定跟踪目标位置的估计值小于所述全局阶段滤波器的对所述特定跟踪目标位置的估计值时,则计算所述全局阶段滤波器和所述一致性阶段滤波器在连续两帧之间的一阶差分,选择所述一阶差分中的最小值对应的滤波器对所述特定跟踪目标进行跟踪定位。
4.根据权利要求3所述的方法,其特征在于,所述判断所述全局阶段滤波器模型生成的置信矩阵的最大值是否不等于所述一致性阶段滤波器模型生成的置信矩阵中的最大值的步骤之前,还包括:
判断所述一致性阶段滤波器是否满足向后跟踪帧数n或者一致性误差阈值的条件;
若是,则所述全局阶段滤波器模型和所述一致性阶段滤波器模型相同,采用全局阶段滤波器或所述一致性阶段滤波器对所述特定跟踪目标进行跟踪定位;
若否,则判断所述全局阶段滤波器模型生成的置信矩阵的最大值是否不等于所述一致性阶段滤波器模型生成的置信矩阵中的最大值。
5.根据权利要求3所述的方法,其特征在于,所述第一公式为:其中,i∈{G,C,I},Fi为所述全局阶段滤波器模型、所述一致性阶段滤波器模型和所述初始阶段滤波器模型对应的滤波器,F-1为傅立叶逆变换,为测试样本的傅立叶变化。
6.根据权利要求5所述的方法,其特征在于,预设跟踪决策模型为:其中,ΔLt+1=Lt+1-Lt为所述全局阶段滤波器或所述一致性阶段滤波器在连续两帧之间的一阶差分。
7.一种目标跟踪定位装置,其特征在于,包括:
目标检测单元,用于基于YOLO网络模型的目标检测算法对视频中的目标进行分类和定位,确定所述视频中的目标对应的检测结果;
跟踪模型构建单元,用于获取特定跟踪目标对应的检测结果,将所述特定跟踪目标的检测结果作为输入,构建多阶段学习滤波器跟踪模型,所述多阶段学习滤波器跟踪模型包括:全局阶段滤波器模型、一致性阶段滤波器模型以及初始阶段滤波器模型;
跟踪定位单元,用于采用所述多阶段学习滤波器跟踪模型在连续的视频帧中通过预设跟踪决策模型对所述特定跟踪目标进行跟踪定位。
8.根据权利要求1所述的装置,其特征在于,所述跟踪定位单元包括:
估计单元,用于在视频的每一帧中,利用第一公式在第t帧到第t+1帧定位所述特定跟踪目标的过程中,所述全局阶段滤波器、所述一致性阶段滤波器以及所述初始阶段滤波器对应生成三个置信矩阵,且每个置信矩阵中的最大值所在的位置即为对应滤波器在第t+1帧中对所述特定跟踪目标位置的估计;
第一判断单元,用于判断所述全局阶段滤波器模型生成的置信矩阵的最大值是否不等于所述一致性阶段滤波器模型生成的置信矩阵中的最大值;
第一选择单元,用于当所述全局阶段滤波器模型生成的置信矩阵的最大值不等于所述一致性阶段滤波器模型生成的置信矩阵中的最大值时,则选择所述全局阶段滤波器、所述一致性阶段滤波器以及所述初始阶段滤波器在第t+1帧中对所述特定跟踪目标位置的估计中最大值所对应的滤波器对所述特定跟踪目标进行跟踪定位;
第二判断单元,用于当所述全局阶段滤波器模型生成的置信矩阵的最大值等于所述一致性阶段滤波器模型生成的置信矩阵中的最大值时,则判断所述初始阶段滤波器的对所述特定跟踪目标位置的估计值是否大于或等于所述全局阶段滤波器的对所述特定跟踪目标位置的估计值;
第二选择单元,用于当所述初始阶段滤波器的对所述特定跟踪目标位置的估计值大于或等于所述全局阶段滤波器的对所述特定跟踪目标位置的估计值时,则选择所述初始阶段滤波器对所述特定跟踪目标进行跟踪定位;
第三选择单元,用于当所述初始阶段滤波器的对所述特定跟踪目标位置的估计值小于所述全局阶段滤波器的对所述特定跟踪目标位置的估计值时,则计算所述全局阶段滤波器和所述一致性阶段滤波器在连续两帧之间的一阶差分,选择所述一阶差分中的最小值对应的滤波器对所述特定跟踪目标进行跟踪定位。
9.一种存储介质,其特征在于,所述存储介质包括存储的程序,
其中,在所述程序运行时控制所述存储介质所在的设备执行如权利要求1-4中任一项所述的目标跟踪定位方法。
10.一种处理器,其特征在于,所述处理器用于运行程序,
其中,所述程序运行时执行如权利要求1-4中任一项所述的目标跟踪定位方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810559245.6A CN108960286A (zh) | 2018-06-01 | 2018-06-01 | 一种目标跟踪定位方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810559245.6A CN108960286A (zh) | 2018-06-01 | 2018-06-01 | 一种目标跟踪定位方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108960286A true CN108960286A (zh) | 2018-12-07 |
Family
ID=64493001
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810559245.6A Pending CN108960286A (zh) | 2018-06-01 | 2018-06-01 | 一种目标跟踪定位方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108960286A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109584558A (zh) * | 2018-12-17 | 2019-04-05 | 长安大学 | 一种面向城市交通信号配时的交通流统计方法 |
CN109961045A (zh) * | 2019-03-25 | 2019-07-02 | 联想(北京)有限公司 | 一种位置信息提示方法、装置及电子设备 |
CN111192289A (zh) * | 2019-11-27 | 2020-05-22 | 武汉华中天经通视科技有限公司 | 一种飞行器目标自动跟踪方法 |
CN111738063A (zh) * | 2020-05-08 | 2020-10-02 | 华南理工大学 | 船舶目标跟踪方法、系统、计算机设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107527009A (zh) * | 2017-07-11 | 2017-12-29 | 浙江汉凡软件科技有限公司 | 一种基于yolo目标检测的遗留物检测方法 |
CN108062764A (zh) * | 2017-11-30 | 2018-05-22 | 极翼机器人(上海)有限公司 | 一种基于视觉的物体跟踪方法 |
-
2018
- 2018-06-01 CN CN201810559245.6A patent/CN108960286A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107527009A (zh) * | 2017-07-11 | 2017-12-29 | 浙江汉凡软件科技有限公司 | 一种基于yolo目标检测的遗留物检测方法 |
CN108062764A (zh) * | 2017-11-30 | 2018-05-22 | 极翼机器人(上海)有限公司 | 一种基于视觉的物体跟踪方法 |
Non-Patent Citations (1)
Title |
---|
孙航等: ""基于多阶段学习的相关滤波目标跟踪"", 《电子学报》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109584558A (zh) * | 2018-12-17 | 2019-04-05 | 长安大学 | 一种面向城市交通信号配时的交通流统计方法 |
CN109961045A (zh) * | 2019-03-25 | 2019-07-02 | 联想(北京)有限公司 | 一种位置信息提示方法、装置及电子设备 |
CN109961045B (zh) * | 2019-03-25 | 2021-10-22 | 联想(北京)有限公司 | 一种位置信息提示方法、装置及电子设备 |
CN111192289A (zh) * | 2019-11-27 | 2020-05-22 | 武汉华中天经通视科技有限公司 | 一种飞行器目标自动跟踪方法 |
CN111192289B (zh) * | 2019-11-27 | 2022-06-14 | 武汉华中天经通视科技有限公司 | 一种飞行器目标自动跟踪方法 |
CN111738063A (zh) * | 2020-05-08 | 2020-10-02 | 华南理工大学 | 船舶目标跟踪方法、系统、计算机设备及存储介质 |
CN111738063B (zh) * | 2020-05-08 | 2023-04-18 | 华南理工大学 | 船舶目标跟踪方法、系统、计算机设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108960286A (zh) | 一种目标跟踪定位方法及装置 | |
EP3637328A1 (en) | Refrigerant leak detection method and device for air conditioner | |
Langone et al. | Incremental kernel spectral clustering for online learning of non-stationary data | |
CN110111363A (zh) | 一种基于目标检测的跟踪方法及设备 | |
CN108596221A (zh) | 标尺读数的图像识别方法及设备 | |
CN109815865A (zh) | 一种基于虚拟水尺的水位识别方法及系统 | |
CN110047095A (zh) | 基于目标检测的跟踪方法、装置及终端设备 | |
CN105590328B (zh) | 基于稀疏表示选择性外观模型的帧自适应目标跟踪算法 | |
CN113435432B (zh) | 视频异常检测模型训练方法、视频异常检测方法和装置 | |
CN104349217A (zh) | 一种动态物体的检测处理方法及其系统 | |
CN111260082A (zh) | 一种基于神经网络的空间对象运动轨迹曲线预测方法 | |
US11782496B2 (en) | Smart context subsampling on-device system | |
CN109034100A (zh) | 人脸图样检测方法、装置、设备及存储介质 | |
Schirmann et al. | Linking seakeeping performance predictions with onboard measurements for surface platform digital twins | |
CN114445684A (zh) | 车道线分割模型的训练方法、装置、设备及存储介质 | |
CN108765464A (zh) | 基于残差补偿的低秩重检测上下文长时跟踪方法及系统 | |
CN116051118B (zh) | 行为时序模型的分析方法及装置 | |
CN108986145A (zh) | 视频图像处理方法及装置 | |
CN108401140A (zh) | 一种基于多层视觉处理的智能视频监控系统和方法 | |
CN110008880A (zh) | 一种模型压缩方法及装置 | |
CN110263842A (zh) | 用于目标检测的神经网络训练方法、装置、设备、介质 | |
Cordier et al. | Model-Checking an Ecosystem Model for Decision-Aid | |
Gu et al. | VTST: Efficient Visual Tracking With a Stereoscopic Transformer | |
CN114494999A (zh) | 一种双分支联合型目标密集预测方法及系统 | |
CN113850160A (zh) | 重复动作的计数方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181207 |
|
RJ01 | Rejection of invention patent application after publication |