CN110148153B - 一种多目标的跟踪方法和相关装置 - Google Patents
一种多目标的跟踪方法和相关装置 Download PDFInfo
- Publication number
- CN110148153B CN110148153B CN201910269650.9A CN201910269650A CN110148153B CN 110148153 B CN110148153 B CN 110148153B CN 201910269650 A CN201910269650 A CN 201910269650A CN 110148153 B CN110148153 B CN 110148153B
- Authority
- CN
- China
- Prior art keywords
- detection
- targets
- tracking
- groups
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种多目标的跟踪方法和相关装置,所述方法包括:获取第一检测帧图像以调用M种检测算法对第一检测帧图像进行处理,得到W组检测目标;确定W组检测目标之间的第一关联关系以生成包含第一关联关系的第一关联信息;获取第一跟踪帧图像以调用M种检测算法对第一跟踪帧图像进行处理,得到X组跟踪目标;将W组检测目标分别与X组跟踪目标进行对比以确定W组检测目标中的每组检测目标与X组跟踪目标是否相同;若不同,则确定X组跟踪目标之间的第二关联关系以生成包含第二关联关系的第二关联信息;将第一关联信息更新为第二关联信息。实施本发明实施例,有利于持续准确的跟踪多个目标,保证稳定的跟踪效果。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种多目标的跟踪方法和相关装置。
背景技术
当前多目标跟踪(MOT)技术经过数十年的发展如今已成为一个比较成熟的技术,在各个领域均有非常广泛的应用,如导弹的跟踪,人流的跟踪等。
在生活中,在公共场所往往会设置大量的摄像头,通过摄像头进行实时监测、跟踪行人、行人的携带物、车辆等,预防出现异常现象,确保普通居民的安全。
然而,在现有技术中,在跟踪行人、行人的携带物或车辆时,均采用统一的跟踪算法进行处理,从而导致无法持续准确的跟踪多个目标,跟踪效果不稳定。
发明内容
本发明实施例提供了一种多目标的跟踪方法和相关装置,实施本发明实施例,有利于持续准确的跟踪多个目标,保证稳定的跟踪效果。
本发明第一方面提供了一种多目标的跟踪方法,包括:
获取第一检测帧图像以调用M种检测算法对所述第一检测帧图像进行处理,得到所述第一检测帧图像中的W组检测目标,其中,M为正整数,0<W≤M且W为整数;
确定所述W组检测目标之间的第一关联关系以生成包含所述第一关联关系的第一关联信息;
获取第一跟踪帧图像以调用所述M种检测算法对所述第一跟踪帧图像进行处理,得到所述第一跟踪帧图像中的X组跟踪目标,其中,所述第一跟踪帧图像的上一帧图像为所述第一检测帧图像,0<X≤M且X为整数;
将所述W组检测目标分别与所述X组跟踪目标进行对比,以确定所述W组检测目标中的每组检测目标与所述X组跟踪目标是否相同;
若所述W组检测目标中的每组检测目标与所述X组跟踪目标不同,则确定所述X组跟踪目标之间的第二关联关系以生成包含所述第二关联关系的第二关联信息;
将所述第一关联信息更新为所述第二关联信息。
本发明第二方面提供了一种服务器,包括:
第一获取模块,用于获取第一检测帧图像以调用M种检测算法对所述第一检测帧图像进行处理,得到所述第一检测帧图像中的W组检测目标,其中,M为正整数,0<W≤M且W为整数;
第一确定模块,用于确定所述W组检测目标之间的第一关联关系以生成包含所述第一关联关系的第一关联信息;
第二获取模块,用于获取第一跟踪帧图像以调用所述M种检测算法对所述第一跟踪帧图像进行处理,得到所述第一跟踪帧图像中的X组跟踪目标,其中,所述第一跟踪帧图像的上一帧图像为所述第一检测帧图像,0<X≤M且X为整数;
对比模块,用于将所述W组检测目标分别与所述X组跟踪目标进行对比,以确定所述W组检测目标中的每组检测目标与所述X组跟踪目标是否相同;
第二确定模块,用于若所述W组检测目标中的每组检测目标与所述X组跟踪目标不同,则确定所述X组跟踪目标之间的第二关联关系以生成包含所述第二关联关系的第二关联信息;
更新模块,用于将所述第一关联信息更新为所述第二关联信息。
本发明第三方面提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述存储计算机程序被所述处理器执行,以实现多目标的跟踪方法任一项所述的方法。
可以看出,上述技术方案中,获取第一检测帧图像以调用M种检测算法对所述第一检测帧图像进行处理,得到所述第一检测帧图像中的W组检测目标,通过调用M种检测算法对第一检测帧图像进行处理,能准确检测第一检测帧图像包含的不同检测类别的多个目标,同时根据检测类别实现了对多个目标的分组;通过确定W组检测目标之间的第一关联关系以生成包含第一关联关系的第一关联信息,根据第一关联信息可初步准确把控W组检测目标之间的关联关系;通过调用M种检测算法对获取的第一跟踪帧图像处理,得到第一跟踪帧图像中的X组跟踪目标,当比对W组检测目标中的每组检测目标与X组跟踪目标不同时,通过确定X组跟踪目标之间的第二关联关系以生成包含第二关联关系的第二关联信息,实现了对多个新目标关联信息的确定,保证关联信息的及时性、准确性;将第一关联信息更新为第二关联信息,实现了关联信息的持续更新,同时为后续关联信息的有效利用提供便利。另外,通过对多帧图像分别调用M种检测算法,实现了准确确定多帧图像中包含的不同类别的多个目标,从而实现持续准确的跟踪多个目标,保证了稳定的跟踪效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1为本发明一个实施例提供的一种多目标的跟踪方法的流程示意图;
图2-a为本发明又一个实施例提供的一种多目标的跟踪方法的流程示意图;
图2-b为本发明的一个实施例提供的一种检测目标与检测目标之间的交并示意图;
图2-c为本发明的一个实施例提供的一种跟踪帧图像确定的示意图;
图3为本发明一个实施例提供的一种服务器的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
以下分别进行详细说明。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,参见图1,图1为本发明的一个实施例提供的一种多目标的跟踪方法的流程示意图。其中,如图1所示,本发明的一个实施例提供的一种多目标的跟踪方法可以包括:
101、服务器获取第一检测帧图像以调用M种检测算法对所述第一检测帧图像进行处理,得到所述第一检测帧图像中的W组检测目标。
其中,M为正整数,0<W≤M且W为整数。
其中,M例如可等于1、2、3、5、6、11、13、20或其他值。
其中,W例如可等于1、2、3、5、6、11、13、20或其他值。
可选的,所述W组检测目标中的每组检测目标包含N个检测目标,其中,第i组检测目标中的N个检测目标的检测类别与第(i+1)组检测目标中的N个检测目标的检测类别不同,0<i<W且i为整数,N为正整数。
其中,i例如可等于1、2、3、5、6、11、13、20或其他值。
其中,N例如可等于1、2、3、5、6、11、13、20或其他值。
可选的,所述检测类别例如可以包括:人脸、身体、携带物、车等。
其中,携带物例如可以包括包、行李等。
可选的,M种检测算法例如可以包括人脸检测算法、身体检测算法、车辆检测算法、携带物检测算法等。
可选的,检测目标例如可以包括检测框。
举例来说,通过调用M种检测算法对第一检测帧图像进行处理时,会检测到多个检测框,这些检测框就是多个检测目标。在检测到多个检测框的同时,依据M种检测算法可以将多个检测框进行分类,从而得到多组检测目标。
102、服务器确定所述W组检测目标之间的第一关联关系以生成包含所述第一关联关系的第一关联信息。
可选的,第一关联关系例如可以包括从属关系。
举例来说,当W组检测目标包括人脸组、身体组、携带物组时,人脸组包括了目标的人脸,身体组包括了目标的身体,携带物组包括了目标的携带物时,那么人脸、身体、携带物都是同一个目标的所有物,即可以理解为一种从属关系,其中,人脸组中的所有检测目标均为人脸,身体组中的所有检测目标均为身体,携带物组中的所有检测目标均为携带物。
具体来说,在一种可能的实施方式中,当W组检测目标包括人脸组、身体组、携带物组时,W组检测目标中每组检测目标包含的检测目标具体可以如表1所示:
表1W组检测目标中每组检测目标包含的检测目标
可以看出,每组检测目标中可以包含多个检测目标。在确定W组检测目标之间的关联关系后,W组检测目标之间的第一关联信息具体可以如表2所示:
表2W组检测目标之间的第一关联信息
标识信息一 | 人脸一 | 身体一 | 携带物一 |
标识信息二 | 人脸二 | 身体二 | 携带物二 |
标识信息三 | 人脸三 | 身体三 | 携带物三 |
··· | ··· | ··· | ··· |
可以看出,每一条都包含了与检测目标对应的标识信息,这里的标识信息可以便于后续关联信息的持续更新。
又举例来说,当W组检测目标包括人脸组、车辆组时,人脸组包括了目标的人脸、车辆组包括了目标驾驶的车,那么车、人脸都是同一目标的,即也可以理解为一种从属关系。其中,人脸组中的所有检测目标均为人脸,车辆组中的所有检测目标均为车辆。
具体来说,在一种可能的实施方式中,当W组检测目标包括人脸组、车辆组时,W组检测目标中每组检测目标包含的检测目标具体可以如表3所示:
表3W组检测目标中每组检测目标包含的检测目标
可以看出,每组检测目标中可以包含多个检测目标。在确定W组检测目标之间的关联关系后,W组检测目标之间的第一关联信息具体可以如表4所示:
表4W组检测目标之间的第一关联信息
标识信息一 | 人脸一 | 车辆一 |
标识信息二 | 人脸二 | 车辆二 |
标识信息三 | 人脸三 | 车辆三 |
··· | ··· | ··· |
可以看出,每一条都包含了与检测目标对应的标识信息,这里的标识信息可以便于后续关联信息的持续更新。
103、服务器获取第一跟踪帧图像以调用所述M种检测算法对所述第一跟踪帧图像进行处理,得到所述第一跟踪帧图像中的X组跟踪目标。
其中,所述第一跟踪帧图像的上一帧图像为所述第一检测帧图像,0<X≤M且X为整数。
其中,X例如可等于1、2、3、5、6、11、13、20或其他值。
可选的,所述X组跟踪目标中的每组跟踪目标包含N个跟踪目标,其中,第n组跟踪目标中的N个跟踪目标的跟踪类别与第(n+1)组跟踪目标中的N个跟踪目标的跟踪类别不同,0<n<X且n为整数。
其中,n例如可等于1、2、3、5、6、11、13、20或其他值。
可选的,所述跟踪类别例如可以包括:人脸、身体、携带物、车等。
其中,携带物例如可以包括包、行李等。
可选的,跟踪目标例如可以包括跟踪框。
举例来说,通过调用M种检测算法对第一跟踪帧图像进行处理时,会检测到多个跟踪框,这些跟踪框就是多个检测目标。在检测到多个跟踪框的同时,依据M种检测算法可以将多个跟踪框进行分类,从而得到多组跟踪目标。
104、服务器将所述W组检测目标分别与所述X组跟踪目标进行对比,以确定所述W组检测目标中的每组检测目标与所述X组跟踪目标是否相同。
105、若所述W组检测目标中的每组检测目标与所述X组跟踪目标不同,服务器则确定所述X组跟踪目标之间的第二关联关系以生成包含所述第二关联关系的第二关联信息。
可选的,第二关联关系例如可以包括从属关系。
举例来说,当X组跟踪目标包括人脸组、身体组、携带物组时,人脸组包括了目标的人脸,身体组包括了目标的身体,携带物组包括了目标的携带物时,那么人脸、身体、携带物都是同一个目标的所有物,即可以理解为一种从属关系,其中,人脸组中的所有跟踪目标均为人脸,身体组中的所有跟踪目标均为身体,携带物组中的所有跟踪目标均为携带物。
具体来说,在一种可能的实施方式中,当X组跟踪目标包括人脸组、身体组、携带物组时,X组跟踪目标中每组跟踪目标包含的跟踪目标具体可以如表5所示:
表5X组跟踪目标中每组跟踪目标包含的跟踪目标
可以看出,每组跟踪目标中可以包含多个跟踪目标。在确定X组跟踪目标之间的关联关系后,X组跟踪目标之间的第一关联信息具体可以如表6所示:
表6X组跟踪目标之间的第一关联信息
标识信息一 | 人脸一 | 身体一 | 携带物一 |
标识信息二 | 人脸二 | 身体二 | 携带物二 |
标识信息三 | 人脸三 | 身体三 | 携带物三 |
··· | ··· | ··· | ··· |
可以看出,每一条都包含了与跟踪目标对应的标识信息,这里的标识信息可以便于后续关联信息的持续更新。
又举例来说,当X组跟踪目标包括人脸组、车辆组时,人脸组包括了目标的人脸、车辆组包括了目标驾驶的车,那么车、人脸都是同一目标的,即也可以理解为一种从属关系。其中,人脸组中的所有跟踪目标均为人脸,车辆组中的所有跟踪目标均为车辆。
具体来说,在一种可能的实施方式中,当X组跟踪目标包括人脸组、车辆组时,X组跟踪目标中每组跟踪目标包含的跟踪目标具体可以如表7所示:
表7X组跟踪目标中每组跟踪目标包含的跟踪目标
可以看出,每组跟踪目标中可以包含多个跟踪目标。在确定X组跟踪目标之间的关联关系后,X组跟踪目标之间的第一关联信息具体可以如表8所示:
表8X组跟踪目标之间的第一关联信息
标识信息一 | 人脸一 | 车辆一 |
标识信息二 | 人脸二 | 车辆二 |
标识信息三 | 人脸三 | 车辆三 |
··· | ··· | ··· |
可以看出,每一条都包含了与跟踪目标对应的标识信息,这里的标识信息可以便于后续关联信息的持续更新。
106、服务器将所述第一关联信息更新为所述第二关联信息。
参见图2-a,图2-a为本发明的又一个实施例提供的一种多目标的跟踪方法的流程示意图。其中,如图2-a所示,本发明的又一个实施例提供的一种多目标的跟踪方法可以包括:
201、服务器获取视频数据。
可选的,服务器可以从数据库中获取视频数据,也可以从本地服务器中获取视频数据,还可以通过摄像头中获取实时的视频数据。
进一步,摄像头例如可以是分布在火车站、地铁站、高铁站等公共场所的摄像头。
202、服务器解码所述视频数据以得到所述视频数据的P个帧图像。
其中,P为大于1的整数。
其中,P例如可等于2、3、5、6、11、13、20或其他值。
可选的,所述P个帧图像按照时间先后顺序排列。
203、服务器按照预设检测帧确定策略确定所述P个帧图像中的Q个检测帧图像。
其中,0<Q<P且Q为整数。
其中,Q例如可等于1、2、3、5、6、11、13、20或其他值。
可选的,所述预设检测帧确定策略可由管理员事先设定。或者所述预设检测帧确定策略也可记录在配置文件中,可通过查询配置文件来确定所述预设检测帧确定策略。
举例来说,预设检测帧确定策略例如可以为每间隔4帧确定一个检测帧图像,即服务器每间隔4帧在10个帧图像中设置检测帧图像,以得到2个检测帧图像。
204、服务器按照时间先后顺序确定所述Q个检测帧图像中的第一检测帧图像。
可选的,第一检测帧图像是Q个检测帧图像中时间排序为第一的检测帧图像。
205、服务器调用图像调节算法缩小所述第一检测帧图像。
其中,调用图像调节算法对帧图像进行处理,从而实现放大或者缩小图像。
206、服务器调用所述M种检测算法对已缩小的所述第一检测帧图像进行处理,得到所述W组检测目标。
可选的,所述W组检测目标中的每组检测目标包含N个检测目标,其中,第i组检测目标中的N个检测目标的检测类别与第(i+1)组检测目标中的N个检测目标的检测类别不同,0<i<W且i为整数,N为正整数。
其中,i例如可等于1、2、3、5、6、11、13、20或其他值。
其中,N例如可等于1、2、3、5、6、11、13、20或其他值。
可选的,所述检测类别例如可以包括:人脸、身体、携带物、车等。
其中,携带物例如可以包括包、行李等。
可选的,M种检测算法例如可以包括人脸检测算法、身体检测算法、车辆检测算法、携带物检测算法等。
可选的,检测目标例如可以包括检测框。
举例来说,通过调用M种检测算法对第一检测帧图像进行处理时,会检测到多个检测框,这些检测框就是多个检测目标。在检测到多个检测框的同时,依据M种检测算法可以将多个检测框进行分类,从而得到多组检测目标。
207、服务器确定所述W组检测目标之间的第一关联关系以生成包含所述第一关联关系的第一关联信息。
可选的,第一关联关系例如可以包括从属关系。
举例来说,当W组检测目标包括人脸组、身体组、携带物组时,人脸组包括了目标的人脸,身体组包括了目标的身体,携带物组包括了目标的携带物时,那么人脸、身体、携带物都是同一个目标的所有物,即可以理解为一种从属关系,其中,人脸组中的所有检测目标均为人脸,身体组中的所有检测目标均为身体,携带物组中的所有检测目标均为携带物。
具体来说,在一种可能的实施方式中,当W组检测目标包括人脸组、身体组、携带物组时,W组检测目标中每组检测目标包含的检测目标具体可以如表9所示:
表9W组检测目标中每组检测目标包含的检测目标
可以看出,每组检测目标中可以包含多个检测目标。在确定W组检测目标之间的关联关系后,W组检测目标之间的第一关联信息具体可以如表10所示:
表10W组检测目标之间的第一关联信息
可以看出,每一条都包含了与检测目标对应的标识信息,这里的标识信息可以便于后续关联信息的持续更新。
又举例来说,当W组检测目标包括人脸组、车辆组时,人脸组包括了目标的人脸、车辆组包括了目标驾驶的车,那么车、人脸都是同一目标的,即也可以理解为一种从属关系。其中,人脸组中的所有检测目标均为人脸,车辆组中的所有检测目标均为车辆。
具体来说,在一种可能的实施方式中,当W组检测目标包括人脸组、车辆组时,W组检测目标中每组检测目标包含的检测目标具体可以如表11所示:
表11W组检测目标中每组检测目标包含的检测目标
可以看出,每组检测目标中可以包含多个检测目标。在确定W组检测目标之间的关联关系后,W组检测目标之间的第一关联信息具体可以如表12所示:
表12W组检测目标之间的第一关联信息
标识信息一 | 人脸一 | 车辆一 |
标识信息二 | 人脸二 | 车辆二 |
标识信息三 | 人脸三 | 车辆三 |
··· | ··· | ··· |
可以看出,每一条都包含了与检测目标对应的标识信息,这里的标识信息可以便于后续关联信息的持续更新。可选的,参见图2-b,图2-b为本发明的一个实施例提供的一种检测目标与检测目标之间的交并示意图,在本发明一种可能的实施方式中,所述确定所述W组检测目标之间的第一关联关系以生成包含所述第一关联关系的第一关联信息,包括:
确定所述W组检测目标之间的交并比以得到W组交并值,其中,所述W组检测目标之间的交并比为所述W组检测目标中的每组检测目标之间的交集与所述W组检测目标中的每组跟踪目标之间的并集的比值;
将所述W组交并值与预设交并阈值进行对比,以确定所述W组交并值是否大于所述预设交并阈值;
若所述W组交并值大于所述预设交并阈值,则确定所述W组检测目标之间的所述第一关联关系以生成包含所述第一关联关系的所述第一关联信息。
可以看出,上述技术方案中,确定W组检测目标之间的交并比以得到W组交并值,从而得到W组检测目标之间的交集与并集的比值,将W组交并值与预设交并阈值进行对比,以确定W组交并值是否大于预设交并阈值,通过对比,判定W组交并值是否大于预设交并阈值,在W组交并值大于预设交并阈值时,确定W组检测目标之间的第一关联关系以生成包含第一关联关系的第一关联信息,从而实现W组检测目标之间关联关系的判定,进而生成包含第一关联关系的第一关联信息,实现了关联信息的存储,也为后续关联信息的有效利用提供便利。
208、服务器获取第一跟踪帧图像以调用所述M种检测算法对所述第一跟踪帧图像进行处理,得到所述第一跟踪帧图像中的X组跟踪目标。
其中,所述第一跟踪帧图像的上一帧图像为所述第一检测帧图像,0<X≤M且X为整数。
其中,X例如可等于1、2、3、5、6、11、13、20或其他值。
可选的,所述X组跟踪目标中的每组跟踪目标包含N个跟踪目标,其中,第n组跟踪目标中的N个跟踪目标的跟踪类别与第(n+1)组跟踪目标中的N个跟踪目标的跟踪类别不同,0<n<X且n为整数。
其中,n例如可等于1、2、3、5、6、11、13、20或其他值。
可选的,所述跟踪类别例如可以包括:人脸、身体、携带物、车等。
其中,携带物例如可以包括包、行李等。
可选的,跟踪目标例如可以包括跟踪框。
举例来说,通过调用M种检测算法对第一跟踪帧图像进行处理时,会检测到多个跟踪框,这些跟踪框就是多个检测目标。在检测到多个跟踪框的同时,依据M种检测算法可以将多个跟踪框进行分类,从而得到多组跟踪目标。
可选的,参见图2-c,图2-c为本发明的一个实施例提供的一种跟踪帧图像确定的示意图,在本发明一种可能的实施方式中,所述获取第一跟踪帧图像以调用所述M种检测算法对所述第一跟踪帧图像进行处理,得到所述第一跟踪帧图像中的X组跟踪目标,包括:
将(P-Q)个帧图像设置为跟踪帧图像以得到(P-Q)个跟踪帧图像,其中,所述(P-Q)个跟踪帧图像为所述P个帧图像中不包括所述Q个检测帧图像的帧图像;
按照时间先后顺序确定所述(P-Q)个跟踪帧图像的第二跟踪帧图像;
检测所述第二跟踪帧图像的上一帧图像为所述第一检测帧图像;
将所述第二跟踪帧图像设置为所述第一跟踪帧图像;
调用所述图像调节算法缩小所述第一跟踪帧图像;
调用所述M种检测算法对已缩小的所述第一跟踪帧图像进行处理,得到所述X组跟踪目标。
可以看出,上述技术方案中,将(P-Q)个帧图像设置为跟踪帧图像以得到(P-Q)个跟踪帧图像,解释了跟踪帧图像的来源,按照时间先后顺序确定(P-Q)个跟踪帧图像的第二跟踪帧图像,通过按照时间先后顺序从(P-Q)个跟踪帧图像中得到第二跟踪帧图像,从而为后续确定第一跟踪帧图像做准备;检测第二跟踪帧图像的上一帧图像为第一检测帧图像,避免少检测一帧图像,确保了实时的跟踪;调用图像调节算法缩小所述第一跟踪帧图像,降低多目标跟踪的计算复杂度,提升吞吐量及时延,加快了计算速度;调用M种检测算法对已缩小的所述第一跟踪帧图像进行处理,得到所述X组跟踪目标,通过调用M种检测算法检测跟踪目标,实现了跟踪目标的确定,为后续的对比提供便利。
209、服务器将所述W组检测目标分别与所述X组跟踪目标进行对比,以确定所述W组检测目标中的每组检测目标与所述X组跟踪目标是否相同。
举例来说,当W组检测目标包括人脸组、车辆组时,其中,人脸组包括:人脸一、人脸二和人脸三,车辆组包括车辆一、车辆二和车辆三。当X组跟踪目标包括人脸组、车辆组时,其中,人脸组包括:人脸a、人脸b和人脸c,车辆组包括车辆a、车辆b和车辆c。那么具体的对比过程,例如可以是:W组检测目标的人脸组与X组跟踪目标的人脸组进行对比,W组检测目标的车辆组与X组跟踪目标的车辆组进行对比。
进一步来说,人脸一、人脸二和人脸三分别与人脸a进行对比、人脸一、人脸二和人脸三分别与人脸b进行对比,人脸一、人脸二和人脸三分别与人脸c进行对比;车辆一、车辆二和车辆三分别与车辆a进行对比、车辆一、车辆二和车辆三分别与车辆b进行对比,车辆一、车辆二和车辆三分别与车辆c进行对比。
可选的,在一种可能的实施方式中,所述方法还包括:
若所述W组检测目标中的每组检测目标与所述X组跟踪目标相同,则获取第三跟踪帧图像以调用所述M种检测算法对所述第三跟踪帧图像进行处理,得到所述第三跟踪帧图像中的Y组跟踪目标,其中,所述第三跟踪帧图像的上一帧图像为所述第一跟踪帧图像,0<Y≤M且Y为整数;
将所述W组检测目标分别与所述Y组跟踪目标进行对比,以确定所述W组检测目标中的每组检测目标与所述Y组跟踪目标是否相同;
若所述W组检测目标中的每组检测目标与所述Y组跟踪目标不同,则确定所述Y组跟踪目标之间的第五关联关系以生成包含所述第五关联关系的第五关联信息;
将所述第二关联信息更新为所述第五关联信息。
其中,Y例如可等于1、2、3、5、6、11、13、20或其他值。
可以看出,上述技术方案中,在W组检测目标中的每组检测目标与X组跟踪目标相同时,就获取第三跟踪帧图像以调用M种检测算法对第三跟踪帧图像进行处理,得到第三跟踪帧图像中的Y组跟踪目标,实现了在检测目标与跟踪目标相同时,灵活的获取下一帧图像,并对下一帧图像进行处理,有利于持续准确的跟踪多个目标,保证稳定的跟踪效果。接着,将W组检测目标分别与Y组跟踪目标进行对比,以判断W组检测目标中的每组检测目标与Y组跟踪目标是否相同,在不同时,确定Y组跟踪目标之间的第五关联关系以生成包含第五关联关系的第五关联信息,进而实现关联信息的持续更新,保证关联信息的及时性、准确性,保证稳定的跟踪效果,也可以为后续关联信息的有效利用提供便利。
进一步来说,若所述W组检测目标中的每组检测目标与所述Y组跟踪目标相同,则获取第四跟踪帧图像以调用所述M种检测算法对所述第四跟踪帧图像进行处理,得到所述第四跟踪帧图像中的Z组跟踪目标,其中,0<Z≤M且Z为整数。在遇到第二检测帧图像之前,检测目标与跟踪目标依旧一样,那么就一直获取跟踪帧图像,重复检测目标与跟踪目标的对比,判断检测目标与跟踪目标是否相同。
其中,Z例如可等于1、2、3、5、6、11、13、20或其他值。
210、服务器若所述W组检测目标中的每组检测目标与所述X组跟踪目标不同,则确定所述X组跟踪目标之间的第二关联关系以生成包含所述第二关联关系的第二关联信息。
可选的,第二关联关系例如可以包括从属关系。
举例来说,当X组跟踪目标包括人脸组、身体组、携带物组时,人脸组包括了目标的人脸,身体组包括了目标的身体,携带物组包括了目标的携带物时,那么人脸、身体、携带物都是同一个目标的所有物,即可以理解为一种从属关系,其中,人脸组中的所有跟踪目标均为人脸,身体组中的所有跟踪目标均为身体,携带物组中的所有跟踪目标均为携带物。
具体来说,在一种可能的实施方式中,当X组跟踪目标包括人脸组、身体组、携带物组时,X组跟踪目标中每组跟踪目标包含的跟踪目标具体可以如表13所示:
表13X组跟踪目标中每组跟踪目标包含的跟踪目标
可以看出,每组跟踪目标中可以包含多个跟踪目标。在确定X组跟踪目标之间的关联关系后,X组跟踪目标之间的第一关联信息具体可以如表14所示:
表14X组跟踪目标之间的第一关联信息
标识信息一 | 人脸一 | 身体一 | 携带物一 |
标识信息二 | 人脸二 | 身体二 | 携带物二 |
标识信息三 | 人脸三 | 身体三 | 携带物三 |
··· | ··· | ··· | ··· |
可以看出,每一条都包含了与跟踪目标对应的标识信息,这里的标识信息可以便于后续关联信息的持续更新。
又举例来说,当X组跟踪目标包括人脸组、车辆组时,人脸组包括了目标的人脸、车辆组包括了目标驾驶的车,那么车、人脸都是同一目标的,即也可以理解为一种从属关系。其中,人脸组中的所有跟踪目标均为人脸,车辆组中的所有跟踪目标均为车辆。
具体来说,在一种可能的实施方式中,当X组跟踪目标包括人脸组、车辆组时,X组跟踪目标中每组跟踪目标包含的跟踪目标具体可以如表15所示:
表15X组跟踪目标中每组跟踪目标包含的跟踪目标
可以看出,每组跟踪目标中可以包含多个跟踪目标。在确定X组跟踪目标之间的关联关系后,X组跟踪目标之间的第一关联信息具体可以如表16所示:
表16X组跟踪目标之间的第一关联信息
标识信息一 | 人脸一 | 车辆一 |
标识信息二 | 人脸二 | 车辆二 |
标识信息三 | 人脸三 | 车辆三 |
··· | ··· | ··· |
可以看出,每一条都包含了与跟踪目标对应的标识信息,这里的标识信息可以便于后续关联信息的持续更新。
211、服务器将所述第一关联信息更新为所述第二关联信息。举例来说,在W组检测目标中的每组检测目标与X组跟踪目标部分不同时,那么,服务器会将第二关联信息中与第一关联信息不同的关联信息添加至第一关联信息;在W组检测目标中的每组检测目标与X组跟踪目标完全不同时,那么,服务器会将第二关联信息与第一关联信息同时保存;在W组检测目标中的每组检测目标与X组跟踪目标相同时,服务器会保持第一关联信息不变。
可选的,第一方面,在本发明一种可能的实施方式中,所述方法还包括:
获取所述第一检测帧图像的下一检测帧图像以得到第二检测帧图像;
调用所述图像调节算法缩小所述第二检测帧图像;
调用所述M种检测算法对已缩小的所述第二检测帧图像进行处理,得到已缩小的所述第二检测帧图像中的T组检测目标,其中,0<T≤M且T为整数;
获取所述第二检测帧图像的上一帧图像的R组跟踪目标,其中,,0<R≤M且R为整数;
将所述T组检测目标与所述R组跟踪目标进行对比,以确定所述T组检测目标中是否包含所述R组跟踪目标;
若所述T组检测目标中不包含所述R组跟踪目标,则确定目标帧图像的U组跟踪目标中不包含所述R组跟踪目标,其中,在所述第二检测帧图像与所述目标帧图像之间的S个帧图像中均不包含所述R组跟踪目标,0<U≤M且U为整数,S为大于1的整数;
将(S+2)与预设删除跟踪目标阈值进行对比,以确定(S+2)是否大于所述预设删除跟踪目标阈值;
若(S+2)大于所述预设删除跟踪目标阈值,则删除包含所述R组跟踪目标之间的第三关联关系的第三关联信息。
其中,T例如可等于1、2、3、5、6、11、13、20或其他值。
其中,R例如可等于1、2、3、5、6、11、13、20或其他值。
其中,S例如可等于2、3、5、6、11、13、20或其他值。
可选的,所述第二检测帧图像的上一帧图像为跟踪帧图像。
可选的,所述目标帧图像为跟踪帧图像。
可选的,所述T组检测目标中的每组检测目标包含K个检测目标,其中,第j组检测目标中的K个检测目标的检测类别与第(j+1)组检测目标中的K个检测目标的检测类别不同,0<j<T且j为整数,K为正整数。
其中,j例如可等于1、2、3、5、6、11、13、20或其他值。
其中,K例如可等于1、2、3、5、6、11、13、20或其他值。
可选的,所述检测类别例如可以包括:人脸、身体、携带物、车等。
其中,携带物例如可以包括包、行李等。
可选的,所述R组跟踪目标中的每组跟踪目标包含F个跟踪目标,其中,第h组跟踪目标中的F个跟踪目标的跟踪类别与第(h+1)组跟踪目标中的F个跟踪目标的跟踪类别不同,0<h<T且h为整数,F为正整数。
其中,h例如可等于1、2、3、5、6、11、13、20或其他值。
其中,F例如可等于1、2、3、5、6、11、13、20或其他值。
可选的,所述跟踪类别例如可以包括:人脸、身体、携带物、车等。
其中,携带物例如可以包括包、行李等。
举例来说,服务器每间隔7帧在13个帧图像中设置检测帧图像,以得到2个检测帧图像,那么在第二个检测帧图像(第二个检测帧图像属于13个帧图像中的第9帧图像)中有6组检测目标,在第二个检测帧图像的上一帧图像中有5组跟踪目标。服务器先将6组检测目标与5组跟踪目标进行对比,以确定6组检测目标中是否包含5组跟踪目标。若6组检测目标中不包含5组跟踪目标,那么服务器则确定第10帧图像中是否包含5组跟踪目标,如果没有,那么服务器则确定第11帧图像中是否包含5组跟踪目标,直到帧图像的数量超过预设删除跟踪目标阈值时,就删除5组跟踪目标。
其中,出现6组检测目标中不包含5组跟踪目标的原因可能是包含3个。第一种原因包括,在第二个检测帧图像、第10帧图像或者第11帧图像中的目标已经移动到图像边缘,在此时,调用M种检测算法检测到的检测框或者跟踪框在一定程度上存在压缩,而当压缩程度小于预设压缩阈值时,服务器会判定6组检测目标中不包含5组跟踪目标,也就是说,这5组跟踪目标不存在了;第二种原因包括,检测框或者跟踪框的质量比较低,也就是说调用M种检测算法也无法检测到检测框或者跟踪框;第三种原因包括,检测框或者跟踪框的大小超过预设框最大阈值,或者,检测框或者跟踪框的大小小于预设框最小阈值。
进一步的,预设压缩阈值、预设框最大阈值、预设框最小阈值均存储在配置文件中。
可以看出,上述技术方案中,获取所述第一检测帧图像的下一检测帧图像以得到第二检测帧图像,为后续得到第二检测帧图像的T组检测目标做准备;调用所述图像调节算法缩小所述第二检测帧图像,降低多目标跟踪的计算复杂度,提升吞吐量及时延,加快了计算速度;调用所述M种检测算法对已缩小的所述第二检测帧图像进行处理,得到已缩小的所述第二检测帧图像中的T组检测目标,从而解释了T组检测目标的由来;获取所述第二检测帧图像的上一帧图像的R组跟踪目标,为后续将T组检测目标与R组跟踪目标进行对比做准备;在T组检测目标中不包含R组跟踪目标时,继续进行跟踪,直到帧图像数量超出预设删除跟踪目标阈值时,删除包含所述R组跟踪目标之间的第三关联关系的第三关联信息,从而实现目标消失后的自动删除,节省存储空间,提高运行速度。
可选的,基于第一方面,在本发明一种可能的实施方式中,所述方法还包括:
若所述T组检测目标中包含所述R组跟踪目标,则获取包含所述R组跟踪目标之间的第三关联关系的第三关联信息;
确定(T-R)组检测目标之间的第四关联关系以生成包含所述第四关联关系的第四关联信息,其中,所述(T-R)组检测目标为所述T组检测目标中不包含所述R组跟踪目标的检测目标;
将所述第四关联信息添加至所述第三关联信息中。
可以看出,上述技术方案中,在T组检测目标中包含R组跟踪目标时,获取包含R组跟踪目标之间的第三关联关系的第三关联信息,从而可以将包含(T-R)组检测目标之间的第四关联关系的第四关联信息添加至第三关联信息中,实现了在新目标出现时,信息的更新,保证了多目标追踪过程中信息的及时性、准确性。
参见图3,图3为本发明的一个实施例提供的一种服务器的示意图。其中,如图3所示,本发明的一个实施例提供的一种服务器300可以包括:
第一获取模块301,用于获取第一检测帧图像以调用M种检测算法对所述第一检测帧图像进行处理,得到所述第一检测帧图像中的W组检测目标。
其中,M为正整数,0<W≤M且W为整数。
其中,M例如可等于1、2、3、5、6、11、13、20或其他值。
其中,W例如可等于1、2、3、5、6、11、13、20或其他值。
可选的,所述W组检测目标中的每组检测目标包含N个检测目标,其中,第i组检测目标中的N个检测目标的检测类别与第(i+1)组检测目标中的N个检测目标的检测类别不同,0<i<W且i为整数,N为正整数。
其中,i例如可等于1、2、3、5、6、11、13、20或其他值。
其中,N例如可等于1、2、3、5、6、11、13、20或其他值。
可选的,所述检测类别例如可以包括:人脸、身体、携带物、车等。
其中,携带物例如可以包括包、行李等。
可选的,M种检测算法例如可以包括人脸检测算法、身体检测算法、车辆检测算法、携带物检测算法等。
可选的,检测目标例如可以包括检测框。
举例来说,通过调用M种检测算法对第一检测帧图像进行处理时,会检测到多个检测框,这些检测框就是多个检测目标。在检测到多个检测框的同时,依据M种检测算法可以将多个检测框进行分类,从而得到多组检测目标。
可选的,在本发明一种可能的实施方式中,第一获取模块,具体用于获取视频数据;
解码所述视频数据以得到所述视频数据的P个帧图像,其中,P为大于1的整数;
按照预设检测帧确定策略确定所述P个帧图像中的Q个检测帧图像,其中,0<Q<P且Q为整数;
按照时间先后顺序确定所述Q个检测帧图像中的第一检测帧图像;
调用图像调节算法缩小所述第一检测帧图像;
调用所述M种检测算法对已缩小的所述第一检测帧图像进行处理,得到所述W组检测目标。
可选的,视频数据可以从数据库中获取,也可以从本地服务器中获取,还可以通过摄像头中获取。
进一步,摄像头例如可以是分布在火车站、地铁站、高铁站等公共场所的摄像头。
其中,P例如可等于2、3、5、6、11、13、20或其他值。
可选的,所述P个帧图像按照时间先后顺序排列。
其中,Q例如可等于1、2、3、5、6、11、13、20或其他值。
可选的,所述预设检测帧确定策略可由管理员事先设定。或者所述预设检测帧确定策略也可记录在配置文件中,可通过查询配置文件来确定所述预设检测帧确定策略。
举例来说0,预设检测帧确定策略例如可以为每间隔4帧确定一个检测帧图像,即服务器每间隔4帧在10个帧图像中设置检测帧图像,以得到2个检测帧图像。
可选的,第一检测帧图像是Q个检测帧图像中时间排序为第一的检测帧图像。
其中,调用图像调节算法对帧图像进行处理,从而实现放大或者缩小图像。
可选的,检测目标例如可以包括检测框。
第一确定模块302,用于确定所述W组检测目标之间的第一关联关系以生成包含所述第一关联关系的第一关联信息。
可选的,第一关联关系例如可以包括从属关系。
举例来说,当W组检测目标包括人脸组、身体组、携带物组时,人脸组包括了目标的人脸,身体组包括了目标的身体,携带物组包括了目标的携带物时,那么人脸、身体、携带物都是同一个目标的所有物,即可以理解为一种从属关系,其中,人脸组中的所有检测目标均为人脸,身体组中的所有检测目标均为身体,携带物组中的所有检测目标均为携带物。
具体来说,在一种可能的实施方式中,当W组检测目标包括人脸组、身体组、携带物组时,W组检测目标中每组检测目标包含的检测目标具体可以如表17所示:
表17W组检测目标中每组检测目标包含的检测目标
可以看出,每组检测目标中可以包含多个检测目标。在确定W组检测目标之间的关联关系后,W组检测目标之间的第一关联信息具体可以如表18所示:
表18W组检测目标之间的第一关联信息
标识信息一 | 人脸一 | 身体一 | 携带物一 |
标识信息二 | 人脸二 | 身体二 | 携带物二 |
标识信息三 | 人脸三 | 身体三 | 携带物三 |
··· | ··· | ··· | ··· |
可以看出,每一条都包含了与检测目标对应的标识信息,这里的标识信息可以便于后续关联信息的持续更新。
又举例来说,当W组检测目标包括人脸组、车辆组时,人脸组包括了目标的人脸、车辆组包括了目标驾驶的车,那么车、人脸都是同一目标的,即也可以理解为一种从属关系。其中,人脸组中的所有检测目标均为人脸,车辆组中的所有检测目标均为车辆。
具体来说,在一种可能的实施方式中,当W组检测目标包括人脸组、车辆组时,W组检测目标中每组检测目标包含的检测目标具体可以如表19所示:
表19W组检测目标中每组检测目标包含的检测目标
可以看出,每组检测目标中可以包含多个检测目标。在确定W组检测目标之间的关联关系后,W组检测目标之间的第一关联信息具体可以如表20所示:
表20W组检测目标之间的第一关联信息
标识信息一 | 人脸一 | 车辆一 |
标识信息二 | 人脸二 | 车辆二 |
标识信息三 | 人脸三 | 车辆三 |
··· | ··· | ··· |
可以看出,每一条都包含了与检测目标对应的标识信息,这里的标识信息可以便于后续关联信息的持续更新。
可选的,在本发明一种可能的实施方式中,第一确定模块,具体用于
第一确定模块,具体用于确定所述W组检测目标之间的交并比以得到W组交并值,其中,所述W组检测目标之间的交并比为所述W组检测目标中的每组检测目标之间的交集与所述W组检测目标中的每组跟踪目标之间的并集的比值;
将所述W组交并值与预设交并阈值进行对比,以确定所述W组交并值是否大于所述预设交并阈值;
若所述W组交并值大于所述预设交并阈值,则确定所述W组检测目标之间的所述第一关联关系以生成包含所述第一关联关系的所述第一关联信息。
第二获取模块303,用于获取第一跟踪帧图像以调用所述M种检测算法对所述第一跟踪帧图像进行处理,得到所述第一跟踪帧图像中的X组跟踪目标。
其中,所述第一跟踪帧图像的上一帧图像为所述第一检测帧图像,0<X≤M且X为整数。
其中,X例如可等于1、2、3、5、6、11、13、20或其他值。
可选的,所述X组跟踪目标中的每组跟踪目标包含N个跟踪目标,其中,第n组跟踪目标中的N个跟踪目标的跟踪类别与第(n+1)组跟踪目标中的N个跟踪目标的跟踪类别不同,0<n<X且n为整数。
其中,n例如可等于1、2、3、5、6、11、13、20或其他值。
可选的,所述跟踪类别例如可以包括:人脸、身体、携带物、车等。
其中,携带物例如可以包括包、行李等。
可选的,跟踪目标例如可以包括跟踪框。
举例来说,通过调用M种检测算法对第一跟踪帧图像进行处理时,会检测到多个跟踪框,这些跟踪框就是多个检测目标。在检测到多个跟踪框的同时,依据M种检测算法可以将多个跟踪框进行分类,从而得到多组跟踪目标。
对比模块304,用于将所述W组检测目标分别与所述X组跟踪目标进行对比,以确定所述W组检测目标中的每组检测目标与所述X组跟踪目标是否相同。
第二确定模块305,用于若所述W组检测目标中的每组检测目标与所述X组跟踪目标不同,则确定所述X组跟踪目标之间的第二关联关系以生成包含所述第二关联关系的第二关联信息。
可选的,第二关联关系例如可以包括从属关系。
举例来说,当X组跟踪目标包括人脸组、身体组、携带物组时,人脸组包括了目标的人脸,身体组包括了目标的身体,携带物组包括了目标的携带物时,那么人脸、身体、携带物都是同一个目标的所有物,即可以理解为一种从属关系,其中,人脸组中的所有跟踪目标均为人脸,身体组中的所有跟踪目标均为身体,携带物组中的所有跟踪目标均为携带物。
具体来说,在一种可能的实施方式中,当X组跟踪目标包括人脸组、身体组、携带物组时,X组跟踪目标中每组跟踪目标包含的跟踪目标具体可以如表21所示:
表21X组跟踪目标中每组跟踪目标包含的跟踪目标
可以看出,每组跟踪目标中可以包含多个跟踪目标。在确定X组跟踪目标之间的关联关系后,X组跟踪目标之间的第一关联信息具体可以如表22所示:
表22X组跟踪目标之间的第一关联信息
标识信息一 | 人脸一 | 身体一 | 携带物一 |
标识信息二 | 人脸二 | 身体二 | 携带物二 |
标识信息三 | 人脸三 | 身体三 | 携带物三 |
··· | ··· | ··· | ··· |
可以看出,每一条都包含了与跟踪目标对应的标识信息,这里的标识信息可以便于后续关联信息的持续更新。
又举例来说,当X组跟踪目标包括人脸组、车辆组时,人脸组包括了目标的人脸、车辆组包括了目标驾驶的车,那么车、人脸都是同一目标的,即也可以理解为一种从属关系。其中,人脸组中的所有跟踪目标均为人脸,车辆组中的所有跟踪目标均为车辆。
具体来说,在一种可能的实施方式中,当X组跟踪目标包括人脸组、车辆组时,X组跟踪目标中每组跟踪目标包含的跟踪目标具体可以如表23所示:
表23X组跟踪目标中每组跟踪目标包含的跟踪目标
可以看出,每组跟踪目标中可以包含多个跟踪目标。在确定X组跟踪目标之间的关联关系后,X组跟踪目标之间的第一关联信息具体可以如表24所示:
表24X组跟踪目标之间的第一关联信息
标识信息一 | 人脸一 | 车辆一 |
标识信息二 | 人脸二 | 车辆二 |
标识信息三 | 人脸三 | 车辆三 |
··· | ··· | ··· |
可以看出,每一条都包含了与跟踪目标对应的标识信息,这里的标识信息可以便于后续关联信息的持续更新。
更新模块306,用于将所述第一关联信息更新为所述第二关联信息。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应所述知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应所述知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种多目标的跟踪方法,其特征在于,包括:
获取第一检测帧图像以调用M种检测算法对所述第一检测帧图像进行处理,得到所述第一检测帧图像中的W组检测目标,其中,M为正整数,0<W≤M且W为整数;所述W组检测目标中的每组检测目标包含N个检测目标,其中,第i组检测目标中的N个检测目标的检测类别与第i+1组检测目标中的N个检测目标的检测类别不同,0<i<W且i为整数,N为正整数;
确定所述W组检测目标之间的第一关联关系以生成包含所述第一关联关系的第一关联信息;其中,所述第一关联信息包括第一标识信息和所述W组检测目标中的检测目标,所述第一标识信息便于所述第一关联信息的更新;
获取第一跟踪帧图像以调用所述M种检测算法对所述第一跟踪帧图像进行处理,得到所述第一跟踪帧图像中的X组跟踪目标,其中,所述第一跟踪帧图像的上一帧图像为所述第一检测帧图像,0<X≤M且X为整数;所述X组跟踪目标中的每组跟踪目标包含N个跟踪目标,其中,第n组跟踪目标中的N个跟踪目标的跟踪类别与第n+1组跟踪目标中的N个跟踪目标的跟踪类别不同,0<n<X且n为整数;
将所述W组检测目标分别与所述X组跟踪目标进行对比,以确定所述W组检测目标中的每组检测目标与所述X组跟踪目标是否相同;
若所述W组检测目标中的每组检测目标与所述X组跟踪目标不同,则确定所述X组跟踪目标之间的第二关联关系以生成包含所述第二关联关系的第二关联信息;其中,所述第二关联信息包括第二标识信息和所述X组跟踪目标中的跟踪目标,所述第二标识信息便于所述第二关联信息的更新;
将所述第一关联信息更新为所述第二关联信息。
2.根据权利要求1所述的方法,其特征在于,所述获取第一检测帧图像以调用M种检测算法对所述第一检测帧图像进行处理,得到所述第一检测帧图像中的W组检测目标,包括:
获取视频数据;
解码所述视频数据以得到所述视频数据的P个帧图像,其中,P为大于1的整数;
按照预设检测帧确定策略确定所述P个帧图像中的Q个检测帧图像,其中,0<Q<P且Q为整数;
按照时间先后顺序确定所述Q个检测帧图像中的第一检测帧图像;
调用图像调节算法缩小所述第一检测帧图像;
调用所述M种检测算法对已缩小的所述第一检测帧图像进行处理,得到所述W组检测目标。
3.根据权利要求2所述的方法,其特征在于,所述获取第一跟踪帧图像以调用所述M种检测算法对所述第一跟踪帧图像进行处理,得到所述第一跟踪帧图像中的X组跟踪目标,包括:
将P-Q个帧图像设置为跟踪帧图像以得到P-Q个跟踪帧图像,其中,所述P-Q个跟踪帧图像为所述P个帧图像中不包括所述Q个检测帧图像的帧图像;
按照时间先后顺序确定所述P-Q个跟踪帧图像的第二跟踪帧图像;
检测所述第二跟踪帧图像的上一帧图像为所述第一检测帧图像;
将所述第二跟踪帧图像设置为所述第一跟踪帧图像;
调用所述图像调节算法缩小所述第一跟踪帧图像;
调用所述M种检测算法对已缩小的所述第一跟踪帧图像进行处理,得到所述X组跟踪目标。
4.根据权利要求1所述的方法,其特征在于,所述确定所述W组检测目标之间的第一关联关系以生成包含所述第一关联关系的第一关联信息,包括:
确定所述W组检测目标之间的交并比以得到W组交并值,其中,所述W组检测目标之间的交并比值为所述W组检测目标中的每组检测目标之间的交集与所述W组检测目标中的每组检测目标之间的并集的比值;
将所述W组交并值与预设交并阈值进行对比,以确定所述W组交并值是否大于所述预设交并阈值;
若所述W组交并值大于所述预设交并阈值,则确定所述W组检测目标之间的所述第一关联关系以生成包含所述第一关联关系的所述第一关联信息。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述第一检测帧图像的下一检测帧图像以得到第二检测帧图像;
调用所述图像调节算法缩小所述第二检测帧图像;
调用所述M种检测算法对已缩小的所述第二检测帧图像进行处理,得到已缩小的所述第二检测帧图像中的T组检测目标,其中,0<T≤M且T为整数;
获取所述第二检测帧图像的上一帧图像的R组跟踪目标,其中,0<R≤M且R为整数;
将所述T组检测目标与所述R组跟踪目标进行对比,以确定所述T组检测目标中是否包含所述R组跟踪目标;
若所述T组检测目标中不包含所述R组跟踪目标,则确定目标帧图像的U组跟踪目标中不包含所述R组跟踪目标,其中,在所述第二检测帧图像与所述目标帧图像之间的S个帧图像中均不包含所述R组跟踪目标,0<U≤M且U为整数,S为大于1的整数;
将S+2与预设删除跟踪目标阈值进行对比,以确定S+2是否大于所述预设删除跟踪目标阈值;
若S+2大于所述预设删除跟踪目标阈值,则删除包含所述R组跟踪目标之间的第三关联关系的第三关联信息。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
若所述T组检测目标中包含所述R组跟踪目标,则获取包含所述R组跟踪目标之间的第三关联关系的第三关联信息;
确定T-R组检测目标之间的第四关联关系以生成包含所述第四关联关系的第四关联信息,其中,所述T-R组检测目标为所述T组检测目标中不包含所述R组跟踪目标的检测目标;
将所述第四关联信息添加至所述第三关联信息中。
7.一种服务器,其特征在于,包括:
第一获取模块,用于获取第一检测帧图像以调用M种检测算法对所述第一检测帧图像进行处理,得到所述第一检测帧图像中的W组检测目标,其中,M为正整数,0<W≤M且W为整数;所述W组检测目标中的每组检测目标包含N个检测目标,其中,第i组检测目标中的N个检测目标的检测类别与第i+1组检测目标中的N个检测目标的检测类别不同,0<i<W且i为整数,N为正整数;
第一确定模块,用于确定所述W组检测目标之间的第一关联关系以生成包含所述第一关联关系的第一关联信息;其中,所述第一关联信息包括第一标识信息和所述W组检测目标中的检测目标,所述第一标识信息便于所述第一关联信息的更新;
第二获取模块,用于获取第一跟踪帧图像以调用所述M种检测算法对所述第一跟踪帧图像进行处理,得到所述第一跟踪帧图像中的X组跟踪目标,其中,所述第一跟踪帧图像的上一帧图像为所述第一检测帧图像,0<X≤M且X为整数;所述X组跟踪目标中的每组跟踪目标包含N个跟踪目标,其中,第n组跟踪目标中的N个跟踪目标的跟踪类别与第n+1组跟踪目标中的N个跟踪目标的跟踪类别不同,0<n<X且n为整数;
对比模块,用于将所述W组检测目标分别与所述X组跟踪目标进行对比,以确定所述W组检测目标中的每组检测目标与所述X组跟踪目标是否相同;
第二确定模块,用于若所述W组检测目标中的每组检测目标与所述X组跟踪目标不同,则确定所述X组跟踪目标之间的第二关联关系以生成包含所述第二关联关系的第二关联信息;其中,所述第二关联信息包括第二标识信息和所述X组跟踪目标中的跟踪目标,所述第二标识信息便于所述第二关联信息的更新;
更新模块,用于将所述第一关联信息更新为所述第二关联信息。
8.根据权利要求7所述的服务器,其特征在于,
第一获取模块,具体用于获取视频数据;
解码所述视频数据以得到所述视频数据的P个帧图像,其中,P为大于1的整数;
按照预设检测帧确定策略确定所述P个帧图像中的Q个检测帧图像,其中,0<Q<P且Q为整数;
按照时间先后顺序确定所述Q个检测帧图像中的第一检测帧图像;
调用图像调节算法缩小所述第一检测帧图像;
调用所述M种检测算法对已缩小的所述第一检测帧图像进行处理,得到所述W组检测目标。
9.根据权利要求7所述的服务器,其特征在于,
第一确定模块,具体用于确定所述W组检测目标之间的交并比以得到W组交并值,其中,所述W组检测目标中的每组检测目标之间的交并比为所述W组检测目标之间的交集与所述W组检测目标中的每组检测目标之间的并集的比值;
将所述W组交并值与预设交并阈值进行对比,以确定所述W组交并值是否大于所述预设交并阈值;
若所述W组交并值大于所述预设交并阈值,则确定所述W组检测目标之间的所述第一关联关系以生成包含所述第一关联关系的所述第一关联信息。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,所述存储计算机程序被处理器执行,以实现如权利要求1-6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910269650.9A CN110148153B (zh) | 2019-04-03 | 2019-04-03 | 一种多目标的跟踪方法和相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910269650.9A CN110148153B (zh) | 2019-04-03 | 2019-04-03 | 一种多目标的跟踪方法和相关装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110148153A CN110148153A (zh) | 2019-08-20 |
CN110148153B true CN110148153B (zh) | 2021-09-14 |
Family
ID=67589478
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910269650.9A Active CN110148153B (zh) | 2019-04-03 | 2019-04-03 | 一种多目标的跟踪方法和相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110148153B (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106203513B (zh) * | 2016-07-08 | 2019-06-21 | 浙江工业大学 | 一种基于行人头肩多目标检测及跟踪的统计方法 |
CN107798272B (zh) * | 2016-08-30 | 2021-11-02 | 佳能株式会社 | 快速多目标检测与跟踪系统 |
CN107993245B (zh) * | 2017-11-15 | 2021-09-14 | 湖北三江航天红峰控制有限公司 | 一种空天背景多目标检测和跟踪方法 |
CN108549846B (zh) * | 2018-03-26 | 2022-03-22 | 北京航空航天大学 | 一种结合运动特征和头肩结构的行人检测与统计方法 |
CN108664930A (zh) * | 2018-05-11 | 2018-10-16 | 西安天和防务技术股份有限公司 | 一种智能的多目标检测跟踪方法 |
CN109360226B (zh) * | 2018-10-17 | 2021-09-24 | 武汉大学 | 一种基于时间序列多特征融合的多目标跟踪方法 |
-
2019
- 2019-04-03 CN CN201910269650.9A patent/CN110148153B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110148153A (zh) | 2019-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7982774B2 (en) | Image processing apparatus and image processing method | |
KR101690645B1 (ko) | 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법 및 이를 이용한 스테레오 영상 정합장치 | |
CN111553259B (zh) | 一种图像去重方法及系统 | |
WO2022142417A1 (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
CN112817755A (zh) | 基于目标追踪加速的边云协同深度学习目标检测方法 | |
CN104270553B (zh) | 一种视频场景切换检测方法及装置 | |
CN112668522B (zh) | 一种人体关键点与人体掩码联合检测网络及方法 | |
Hung et al. | Speed up temporal median filter for background subtraction | |
EP1542152A1 (en) | Object detection | |
CN109960969B (zh) | 移动路线生成的方法、装置及系统 | |
CN111445487B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
CN112135188A (zh) | 视频裁剪方法、电子设备及计算机可读存储介质 | |
US20170300777A1 (en) | Method and Device for Establishing Correspondence Between Objects in a Multi-Image Source Environment | |
US20140341466A1 (en) | Noise estimation for images | |
CN111178261A (zh) | 一种基于视频编码技术的人脸检测加速方法 | |
CN107506691B (zh) | 一种基于肤色检测的唇部定位方法和系统 | |
CN110827432A (zh) | 一种基于人脸识别的课堂考勤方法及系统 | |
CN111241928A (zh) | 人脸识别底库优化方法、系统、设备、可读存储介质 | |
CN110148153B (zh) | 一种多目标的跟踪方法和相关装置 | |
GB2612707A (en) | Reducing resources costs in visual recognition | |
Emami et al. | Online failure detection and correction for CAMShift tracking algorithm | |
Liu et al. | DCMS-YOLOv5: A Dual-Channel and Multi-Scale Vertical Expansion Helmet Detection Model Based on YOLOv5. | |
CN115170894B (zh) | 一种烟火检测的方法及装置 | |
Wang et al. | Virtual reality scene construction based on multimodal video scene segmentation algorithm | |
Bo et al. | PhD forum: Illumination-robust foreground detection for multi-camera occupancy mapping |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |