CN113674317A - 一种高位视频的车辆跟踪方法及装置 - Google Patents

一种高位视频的车辆跟踪方法及装置 Download PDF

Info

Publication number
CN113674317A
CN113674317A CN202110916319.9A CN202110916319A CN113674317A CN 113674317 A CN113674317 A CN 113674317A CN 202110916319 A CN202110916319 A CN 202110916319A CN 113674317 A CN113674317 A CN 113674317A
Authority
CN
China
Prior art keywords
price matrix
running track
predicted
vehicle
target vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110916319.9A
Other languages
English (en)
Other versions
CN113674317B (zh
Inventor
唐健
张驰
王浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jieshun Science and Technology Industry Co Ltd
Original Assignee
Shenzhen Jieshun Science and Technology Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jieshun Science and Technology Industry Co Ltd filed Critical Shenzhen Jieshun Science and Technology Industry Co Ltd
Priority to CN202110916319.9A priority Critical patent/CN113674317B/zh
Publication of CN113674317A publication Critical patent/CN113674317A/zh
Application granted granted Critical
Publication of CN113674317B publication Critical patent/CN113674317B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种高位视频的车辆跟踪方法及装置,能够提高在高位视频中对车辆的跟踪及识别的速度和准确性,其中,方法包括:获取高位视频中第一目标车辆及车辆信息,所述车辆信息包含所述第一目标车辆对应的位置和车牌号码以及位置信息;通过第一预设算法获取所述第一目标车辆的第一预测运行轨迹,并通过检测框表示所述第一目标车辆的位置,预测框表示所述第一预测运行轨迹的位置;根据所述第一预测运行轨迹获取第二预测运行轨迹;通过预设目标跟踪算法将所述第一目标车辆在当前帧的检测结果与所述第二预测运行轨迹进行匹配得到匹配结果;根据所述匹配结果生成所述第一目标车辆的目标预测轨迹。

Description

一种高位视频的车辆跟踪方法及装置
技术领域
本申请实施例涉及数据处理技术领域,尤其涉及一种高位视频的车辆跟踪方法及装置。
背景技术
随着人工智能技术的不断发展,目前人工智能技术已经深刻变革了各个行业,尤其是应用在在智慧城市停车领域,高位视频监控这一技术的应用表现得更加明显,智能城市停车技术应用主要是依赖于大数据和深度学习的检测跟踪等技术,对于城市中路侧停车管理越来越数字化以及智能化。
目前基于人工智能技术的高位视频监控技术主要可以分为检测、跟踪或事件判断三大部分,三者紧密相连,通过高位视频监控技术拍摄的视频信息中存在目标多、目标小和目标容易被遮挡等难点。现有技术中,为了克服上述难点,通常是终端应用跟踪算法对每个目标进行再识别(CNN外观特征)后,为了进一步提高精度,再使用交并比(IoU,Intersection over Union)代价矩阵进行计算,通过再识别和IoU代价矩阵两者级联计算,以提高准确性。但CNN外观提取特征十分耗时,特别是在目标车辆多的时候,这使得车辆跟踪困难。另外,级联匹配对检测模块和CNN模块都有比较高性能要求,容易出现跟踪ID切换等现象。
发明内容
本申请提供了一种高位视频的车辆跟踪方法及装置,能够提高在高位视频中对车辆的跟踪及识别的速度和准确性。
本申请第一方面提供了一种高位视频的车辆跟踪方法,包括:
获取高位视频中第一目标车辆及车辆信息,所述车辆信息包含所述第一目标车辆对应的位置和车牌号码以及位置信息;
通过第一预设算法获取所述第一目标车辆的第一预测运行轨迹,通过检测框表示所述第一目标车辆的位置,预测框表示所述第一预测运行轨迹的位置;
根据所述第一预测运行轨迹获取第二预测运行轨迹;
通过预设目标跟踪算法将所述第一目标车辆在当前帧的检测结果与所述第二预测运行轨迹进行匹配得到匹配结果,所述预设目标跟踪算法包括对第一代价矩阵、第二代价矩阵以及第三代价矩阵的计算,所述第一代价矩阵用于描述所述检测框与所述第二预测运行轨迹之间的位置关系,所述第二代价矩阵用于描述检测框内车辆与第一目标车辆外观上的相似度,所述第三代价矩阵通过所述第一代价矩阵和所述第二代价矩阵融合所得;
根据所述匹配结果生成所述第一目标车辆的目标预测轨迹。
可选的,所述根据所述第一预测运行轨迹获取第二预测运行轨迹,包括:
判断所述第一预测运行轨迹在预设个连续帧中是否能关联到所述第一目标车辆;
若是,则根据所述第一预测运行轨迹生成第二预测运行轨迹,并将所述第二预测运行轨迹的预测框与当前帧中所述第一目标车辆的检测框融合;
若否,则删除所述第一预测运行轨迹。
可选的,所述通过预设目标跟踪算法将所述第一目标车辆在当前帧的检测结果与所述第二预测运行轨迹进行匹配得到匹配结果,包括:
通过所述预设目标跟踪算法获取所述预测框和所述检测框的第一代价矩阵,所述第一代价矩阵越小说明所述检测框与所述第二预测运行轨迹匹配度越高;
判断所述第一代价矩阵是否小于阈值;
若是,则将所述检测框与所述第二预测运行轨迹进行匹配得到匹配结果。
可选的,所述判断所述第一代价矩阵是否小于阈值,还包括:
若否,则根据预测框和所述检测框获取第二代价矩阵,所述第二代价矩阵越大说明所述检测框内车辆的相似度越高;
根据所述第一代价矩阵和所述第二代价矩阵融合得到第三代价矩阵;
通过第二预设算法对所述第三代价矩阵进行匹配处理得到匹配结果,所述第二预设算法为匈牙利匹配算法。
可选的,在所述通过第二预设算法对所述第三代价矩阵进行匹配处理得到匹配结果之后,所述方法还包括:
对所述匹配处理中未匹配上的检测框生成第三预测运行轨迹;
判断在预设个连续帧中所述检测框与所述第三预测运行轨迹是否相匹配;
若否,则删除所述第三预测运行轨迹;
若是,则确定所述第三预测运行轨迹为目标预测运行轨迹。
可选的,所述预设目标跟踪算法为IoU跟踪算法。
本申请实施例第二方面提供了一种高位视频的车辆跟踪装置,包括:
第一获取单元,用于获取高位视频中第一目标车辆及车辆信息,所述车辆信息包含所述第一目标车辆对应的位置和车牌号码以及位置信息;
第二获取单元,用于通过第一预设算法获取所述第一目标车辆的第一预测运行轨迹,通过检测框表示所述第一目标车辆的位置,预测框表示所述第一预测运行轨迹的位置;
第一更新单元,用于根据所述第一预测运行轨迹获取第二预测运行轨迹;
执行单元,用于通过预设目标跟踪算法将所述第一目标车辆在当前帧的检测结果与所述第二预测运行轨迹进行匹配得到匹配结果,所述预设目标跟踪算法包括对第一代价矩阵、第二代价矩阵以及第三代价矩阵的计算,所述第一代价矩阵用于描述所述检测框与所述第二预测运行轨迹之间的位置关系,所述第二代价矩阵用于描述检测框内车辆与第一目标车辆外观上的相似度,所述第三代价矩阵通过所述第一代价矩阵和所述第二代价矩阵融合所得;
生成单元,用于根据所述匹配结果生成所述第一目标车辆的目标预测轨迹。
可选的,所述第一更新单元,包括:
第一判断模块,用于判断所述第一预测运行轨迹在预设个连续帧中是否能关联到所述第一目标车辆;
第一更新模块,用于当第一判断模块确定所述第一预测运行轨迹在预设个连续帧中关联到所述第一目标车辆时,则根据所述第一预测运行轨迹生成第二预测运行轨迹,并将所述第二预测运行轨迹的预测框与当前帧中所述第一目标车辆的检测框融合;
第一删除模块,用于当第一判断模块确定所述第一预测运行轨迹在预设个连续帧中无法关联到所述第一目标车辆时,则删除所述第一预测运行轨迹。
可选的,所述执行单元,包括:
第一获取模块,用于通过所述预设目标跟踪算法获取所述预测框和所述检测框的第一代价矩阵,所述第一代价矩阵用于描述所述检测框与所述第二预测运行轨迹之间的位置关系,所述第一代价矩阵越小说明所述检测框与所述第二预测运行轨迹匹配度越高;
第二判断模块,用于判断所述第一代价矩阵是否小于阈值;
第一匹配模块,用于当第二判断模块确定所述第一代价矩阵小于阈值时,则将所述检测框与所述第二预测运行轨迹进行匹配得到匹配结果。
可选的,所述执行单元,还包括:
第二获取模块,用于当第二判断模块确定所述第一代价矩阵大于阈值时,则根据预测框和所述检测框获取第二代价矩阵,所述第二代价矩阵越大说明所述检测框内车辆的相似度越高;
融合模块,用于根据所述第一代价矩阵和所述第二代价矩阵融合得到第三代价矩阵;
第二匹配模块,用于通过第二预设算法对所述第三代价矩阵进行匹配处理得到匹配结果,所述第二预设算法为匈牙利匹配算法。
可选的,所述执行单元,还包括:
第一生成模块,用于对所述匹配处理中未匹配上的检测框生成第三预测运行轨迹;
第三判断模块,用于判断在预设个连续帧中所述检测框与所述第三预测运行轨迹是否相匹配;
第二删除模块,用于当第三判断模块确定在预设个连续帧与所述第三预设运行轨迹不匹配时,则删除所述第三预测运行轨迹;
确定模块,用于当第三判断模块确定在预设个连续帧与所述第三预设运行轨迹相匹配时,则确定所述第三预测运行轨迹为目标预测运行轨迹。
本申请第三方面提供了一种高位视频的车辆跟踪装置,包括:
处理器、存储器、输入输出单元、总线;
所述处理器与所述存储器、所述输入输出单元以及所述总线相连;
所述处理器具体执行如下操作:
获取高位视频中第一目标车辆及车辆信息,所述车辆信息包含所述第一目标车辆对应的位置和车牌号码以及位置信息;
通过第一预设算法获取所述第一目标车辆的第一预测运行轨迹,并通过检测框表示所述第一目标车辆的位置,预测框表示所述第一预测运行轨迹的位置;
根据所述第一预测运行轨迹获取第二预测运行轨迹;
通过预设目标跟踪算法将所述第一目标车辆在当前帧的检测结果与所述第二预测运行轨迹进行匹配得到匹配结果,所述预设目标跟踪算法包括对第一代价矩阵、第二代价矩阵以及第三代价矩阵的计算,所述第一代价矩阵用于描述所述检测框与所述第二预测运行轨迹之间的位置关系,所述第二代价矩阵用于描述检测框内车辆与第一目标车辆外观上的相似度,所述第三代价矩阵通过所述第一代价矩阵和所述第二代价矩阵融合所得;
根据所述匹配结果生成所述第一目标车辆的目标预测轨迹。
本申请实施例第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质上保存有程序,所述程序在计算机上执行时执行前述高位视频的车辆跟踪方法。
从以上技术方案可以看出,本申请先确定高位视频中第一目标车辆的第一预测运行轨迹,由于车辆处于不间断运动的状态,可能第一目标车辆已从该高位视频中消失,若继续执行跟踪计算的话会浪费计算资源,因此本申请对第一预测运行轨迹进行更新得到第二预测运行轨迹,通过预设目标跟踪算法对第一目标车辆和第二预测运行轨迹进行匹配并根据匹配结果调整目标预测运行轨迹,预设目标中通过第一代价矩阵、第二代价矩阵以及第三代价矩阵的计算来提高匹配的准确性,使得对第一目标车辆的识别和跟踪更准确的同时还节省了计算资源。
附图说明
图1为本申请中高位视频的车辆跟踪方法的一个实施例流程示意图;
图2a和图2b为本申请中高位视频的车辆跟踪方法的另一实施例流程示意图;
图3为本申请中高位视频的车辆跟踪装置的一个实施例结构示意图;
图4为本申请中高位视频的车辆跟踪装置的另一实施例结构示意图;
图5为本申请中检测框和预测框的示意图。
具体实施方式
本申请实施例提供了一种高位视频的车辆跟踪方法及装置,能够提高在高位视频中对车辆的跟踪及识别的速度和准确性。
下面将结合本申请实施例中的附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的方法可以应用于服务器、终端或者其它具备逻辑处理能力的设备,对此,本申请不作限定。为方便描述,下面以执行主体为终端为例进行描述。
请参阅图1,本申请中高位视频的车辆跟踪方法的一个实施例包括:
101、终端获取高位视频中第一目标车辆及车辆信息,所述车辆信息包含所述第一目标车辆位置和车牌的类别以及位置信息;
为了方便对车场进行管理,可通过高位视频系统识别车辆特征和车牌号码,追踪车辆驶入和使出泊位的过程,并将收费结算信息发送给相应终端,本申请实施例中,终端通过常见的深度学习检测算法来检测和获取目标车辆的信息,例如YOLOv3算法、SSD算法等等,具体此处不做限定,又由于跟踪的性能和检测器的性能紧密相关,并受限于终端计算资源,因此本申请实施例对目标检测算法的网络结构进行一定裁剪,以使得检测跟踪的准确性和耗时达到平衡。
102、终端通过第一预设算法获取所述第一目标车辆的第一预测运行轨迹,并通过检测框表示所述第一目标车辆的位置,预测框表示所述第一预测运行轨迹的位置;
本申请实施例中,获取第一目标车辆的预测运行轨迹的第一预设算法为卡尔曼滤波算法,一般来说,根据观测数据对随机量进行定量推断,特别是对动态行为的状态估计,它能实现实时运行状态的估计和预测功能,终端通过检测框圈出第一目标车辆,预测框圈出第一预测运行轨迹,需要说明的是,第一目标车辆是指在当前的高位视频中可检测到的车辆,而不是对车辆的数量的限制。
103、终端根据所述第一预测运行轨迹获取第二预测运行轨迹;
由于车辆的运行与否并不确定,因此需要对第一目标车辆的运行轨迹进行更新,根据第一预测运行轨迹预测一个新的轨迹并且与当前的检测框融合,进而更准确的描述第一目标车辆的运动,当预测轨迹在连续多帧(该值可以根据实际情况进行设置)都没有关联到第一目标车辆,则认为该第一目标车辆在高位视频中消失,将该车辆的轨迹删除,以减少无用数据占用计算资源。
104、终端通过预设目标跟踪算法将所述第一目标车辆在当前帧的检测结果与所述第二预测运行轨迹进行匹配得到匹配结果;
本申请实施例中,所述预设目标跟踪算法包括对第一代价矩阵、第二代价矩阵以及第三代价矩阵的计算,所述第一代价矩阵用于描述所述检测框与所述第二预测运行轨迹之间的位置关系,所述第二代价矩阵用于描述检测框内车辆与第一目标车辆外观上的相似度,所述第三代价矩阵通过所述第一代价矩阵和所述第二代价矩融合所得,通过检测框和预设框两个区域重叠的部分进行匹配,然后与设定的阈值进行比较,具体参见后续实施例中步骤205至步骤215,此处不做赘述。
105、终端根据所述匹配结果生成所述第一目标车辆的目标预测轨迹。
本申请实施例通过卡尔曼滤波算法对检测到的第一目标车辆的轨迹进行第一预测运行轨迹进行更新得到第二预测运行轨迹,通过预设目标跟踪算法对第一目标车辆和第二预测运行轨迹进行匹配并根据匹配结果调整目标预测运行轨迹,经过多重计算后,能减少错误匹配的概率,从而提高对车辆跟踪判断的准确性并减少不必要的计算资源。
请参阅图2,本申请中高位视频的车辆跟踪方法的另一个实施例包括:
201、终端获取高位视频中第一目标车辆及车辆信息,所述车辆信息包含所述第一目标车辆对应的车型和车牌的类别以及位置信息;
202、终端通过第一预设算法获取所述第一目标车辆的第一预测运行轨迹,通过检测框表示所述第一目标车辆的位置,预测框表示所述第一预测运行轨迹的位置;
本申请实施例中步骤201至202与前述实施例中步骤101至102类似,此处不做赘述。
203、终端判断所述第一预测运行轨迹在预设个连续帧中是否能关联到所述第一目标车辆,若否,则执行步骤204,若是,则执行步骤205;
本申请实施例中判断第一预测运行轨迹与第一目标车辆是否仍关联的连续帧的默认值为15,也可以根据实际需要进行调整,具体此处不做限定。
204、终端删除所述第一预测运行轨迹;
若在第一预测运行轨迹中连续15帧都没有关联到第一目标车辆,则确定第一目标车辆已经离开当前高位视频的监控画面中,因此删除该第一预测运行轨迹,以减少无用数据占用计算资源。
205、终端根据所述第一预测运行轨迹生成第二预测运行轨迹,并将所述第二预测运行轨迹的预测框与当前帧中所述第一目标车辆的检测框融合;
终端通过卡尔曼滤波算法根据第一预测运行轨迹预测一个新的轨迹(第二预测运行轨迹)并且将该第二预测运行轨迹与当前的检测框做融合,能够更准确的描述第一目标车辆的运行情况。
206、终端通过所述预设目标跟踪算法获取所述预测框和所述检测框的第一代价矩阵,所述第一代价矩阵用于描述所述检测框与所述第二预测运行轨迹之间的位置关系,所述第一代价矩阵越小说明所述检测框与所述第二预测运行轨迹匹配度越高;
为了对本申请实施例中的计算进行详细的解释说明,假设当前有M条第二预测轨迹(用预测框表示),当前帧存在N个目标(用检测框表示),检测框与预测框的IoU计算,请参阅图5,检测框为ABCD,面积为S1,轨迹预测框为EFGH,面积为S2,两者重合区域为EICJ,面积为S3,两者的IoU计算具体计算如公式(1),定义如下:
IoU=S3/(S1+S2-S3) (公式1)
终端计算IoU代价矩阵(第一代价矩阵)X(i,j),其中的一个元素x(i,j)的计算如公式(2),定义如下:
x(i,j)=1-IoU(i,j) (公式2)
其中IoU(i,j)为第i个轨迹和第j个检测框的IoU。
207、终端判断所述第一代价矩阵是否小于阈值,若是,则执行步骤208,若否则执行步骤210;
本申请实施例中,设置阈值T与该x(i,j)进行比较,该阈值设置为0.1,也可以根据实际计算要求设置为其它值,
208、终端将所述检测框与所述第二预测运行轨迹进行匹配得到匹配结果;
若x(i,j)小于阈值T,则确定检测框j与第二预测轨迹i匹配,当车辆处于静止、缓慢倒车或缓慢前进状态时,均满足该计算条件。
209、终端根据所述匹配结果生成所述第一目标车辆的目标预测轨迹;
对于匹配上的结果,终端根据检测框修正对应的预测框得到的目标预测运行轨迹,并为该目标预测运行轨迹设置轨迹ID。
210、终端根据预测框和所述检测框获取第二代价矩阵,所述第二代价矩阵越大说明所述检测框内车辆的相似度越高;
对于在IoU匹配中未匹配上的轨迹和检测框,假设未匹配上的轨迹有M1个,未匹配上的检测框有M2个,则计算预测框和检测框的re-id(再识别)特征余弦距离矩阵(第二代价矩阵)Y(i,j),由于对当前的视频进行再次识别,因此为了确定当前检测的车辆与第一目标车辆是否一致,对于M1个轨迹预测框和M2个检测框,用卷积神经网络(CNN,ConvolutionalNeural Networks)提取特征,特征维度为n设为128,则第i个轨迹预测框提取的特征维度为:
Figure BDA0003204814950000101
第j个检测框提取的特征维度为:
Figure BDA0003204814950000102
当x(i,j)大于阈值T时,则第二代价矩阵Y(i,j)中的某一个元素y(i,j)的计算,具体如公式(3),定义如下:
Figure BDA0003204814950000103
第二代价矩阵用于描述目标车辆外观之间的相似度,相似度越高,则表示当前检测框越容易与之前的检测框匹配上。
211、终端根据所述第一代价矩阵和所述第二代价矩阵融合得到第三代价矩阵;
终端将第一代价矩阵X(i,j)和第二代价矩阵Y(i,j)融合得到第三代价矩阵Z(i,j),具体计算如公式(4),定义如下:
Z(i,j)=αX(i,j)+(1-α)Y(i,j) 公式(4)
其中,α为经验值,本申请实施例中设为0.75,也可以根据实际情况设为其它值,它作用于矩阵里的每一个元素,即:
z(i,j)=αx(i,j)+(1-α)y(i,j)
由于α大于0.5时表明IoU的判别占主要作用,Y(i,j)的准确性与所用的CNN网络密切相关,而且在一些特殊场景如几辆相同款式的车出现时容易失效,因此,该计算中α的值需要通过大量测试来确定,以提高识别的准确性。
212、终端通过第二预设算法对所述第三代价矩阵进行匹配处理得到匹配结果,所述第二预设算法为匈牙利匹配算法;
终端将第三代价矩阵输入级联匈牙利分配算法中,得到最优匹配结果,由于匈牙利算法为公知算法,具体计算过程此处不做赘述。
213、终端对所述匹配处理中未匹配上的检测框生成第三预测运行轨迹;
对于在上述步骤中未匹配上的目标检测框,可能在再识别时该检测框与预测框偏离较大,因此终端为其生成不确定的预测轨迹。
214、终端判断在预设个连续帧中所述检测框与所述第三预测运行轨迹是否相匹配,若否,则执行步骤215,若是,则执行步骤209;
为了明确步骤213生成的预测轨迹的准确性,终端在连续3帧内将该预测轨迹与检测框进行匹配检测,也可以根据实际情况设置开始匹配检测的帧数,在连续3帧内匹配到检测框,则将该不确定的预测轨迹确定为目标轨迹,并为该目标轨迹赋予独有的轨迹ID。
215、终端删除所述第三预测运行轨迹。
如在连续3帧内未匹配到检测框,可确定步骤213生成的预测轨迹没有相对应的检测框,终端将该不确定的预测轨迹删除,以减少不必要的数据占用计算资源。
本申请实施例中,通过匈牙利算法分别优化第一代价矩阵和第二代价矩阵,其中,第一代价矩阵通过IoU算法将检测框和预测轨迹进行严格的筛选匹配,当IoU小于阈值时进行第二代价矩阵的计算,这可以在目标车辆静止或缓慢行驶时,减少终端的运算量,在第二代价矩阵的计算中,综合考虑第一代价矩阵和第二代价矩阵的贡献,分别给两个矩阵分配经验权重,该值经过大量的实验来设定,以减少错误匹配的概率,提高识别的准确性。
上面对本申请实施例中高位视频的车辆跟踪方法进行了描述,下面对本申请实施例中高位视频的车辆跟踪装置进行描述:
请参阅图3,本申请中高位视频的车辆跟踪装置一个实施例包括:
第一获取单元301,用于获取高位视频中第一目标车辆及车辆信息,所述车辆信息包含所述第一目标车辆对应的车型和车牌的类别以及位置信息;
第二获取单元302,用于通过第一预设算法获取所述第一目标车辆的第一预测运行轨迹,通过检测框表示所述第一目标车辆的位置,预测框表示所述第一预测运行轨迹的位置;
第一更新单元303,用于根据所述第一预测运行轨迹获取第二预测运行轨迹;
执行单元304,用于通过预设目标跟踪算法将所述第一目标车辆在当前帧的检测结果与所述第二预测运行轨迹进行匹配得到匹配结果;
生成单元305,用于根据所述匹配结果生成所述第一目标车辆的目标预测轨迹。
本申请实施例中,第一更新单元303,包含有:
第一判断模块3031,用于判断所述第一预测运行轨迹在预设个连续帧中是否能关联到所述第一目标车辆;
第一更新模块3032,用于当第一判断模块确定所述第一预测运行轨迹在预设个连续帧中关联到所述第一目标车辆时,则根据所述第一预测运行轨迹生成第二预测运行轨迹,并将所述第二预测运行轨迹的预测框与当前帧中所述第一目标车辆的检测框融合;
第一删除模块3033,用于当第一判断模块确定所述第一预测运行轨迹在预设个连续帧中无法关联到所述第一目标车辆时,则删除所述第一预测运行轨迹。
本申请实施例中,执行单元304,包含有:
第一获取模块3041,用于通过所述预设目标跟踪算法获取所述预测框和所述检测框的第一代价矩阵,所述第一代价矩阵用于描述所述检测框与所述第二预测运行轨迹之间的位置关系,所述第一代价矩阵越小说明所述检测框与所述第二预测运行轨迹匹配度越高;
第二判断模块3042,用于判断所述第一代价矩阵是否小于阈值;
第一匹配模块3043,用于当第二判断模块确定所述第一代价矩阵小于阈值时,则将所述检测框与所述第二预测运行轨迹进行匹配得到匹配结果。
第二获取模块3045,用于当第二判断模块确定所述第一代价矩阵大于阈值时,则根据预测框和所述检测框获取第二代价矩阵,所述第二代价矩阵越大说明所述检测框内车辆的相似度越高;
融合模块3046,用于根据所述第一代价矩阵和所述第二代价矩阵融合得到第三代价矩阵;
第二匹配模块3047,用于通过第二预设算法对所述第三代价矩阵进行匹配处理得到匹配结果,所述第二预设算法为匈牙利匹配算法。
第一生成模块3048,用于对所述匹配处理中未匹配上的检测框生成第三预测运行轨迹;
第三判断模块3049,用于判断在预设个连续帧中所述检测框与所述第三预测运行轨迹是否相匹配;
第二删除模块30410,用于当第三判断模块确定在预设个连续帧与所述第三预设运行轨迹不匹配时,则删除所述第三预测运行轨迹;
确定模块30411,用于当第三判断模块确定在预设个连续帧与所述第三预设运行轨迹相匹配时,则确定所述第三预测运行轨迹为目标预测运行轨迹。
请参阅图4,本申请中高位视频的车辆跟踪装置的一个实施例包括:
处理器401、存储器402、输入输出单元403、总线404;
所述处理器401与所述存储器402、所述输入输出单元403以及所述总线404相连;
所述处理器401具体执行如下操作:
获取高位视频中第一目标车辆及车辆信息,所述车辆信息包含所述第一目标车辆对应的位置和车牌号码以及位置信息;
通过第一预设算法获取所述第一目标车辆的第一预测运行轨迹,并通过检测框表示所述第一目标车辆的位置,预测框表示所述第一预测运行轨迹的位置;
根据所述第一预测运行轨迹获取第二预测运行轨迹;
通过预设目标跟踪算法将所述第一目标车辆在当前帧的检测结果与所述第二预测运行轨迹进行匹配得到匹配结果,所述预设目标跟踪算法包括对第一代价矩阵、第二代价矩阵以及第三代价矩阵的计算,所述第一代价矩阵用于描述所述检测框与所述第二预测运行轨迹之间的位置关系,所述第二代价矩阵用于描述检测框内车辆与第一目标车辆外观上的相似度,所述第三代价矩阵通过所述第一代价矩阵和所述第二代价矩融合所得;
根据所述匹配结果生成所述第一目标车辆的目标预测轨迹。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,read-onlymemory)、随机存取存储器(RAM,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种高位视频的车辆跟踪方法,其特征在于,包括:
获取高位视频中第一目标车辆及车辆信息,所述车辆信息包含所述第一目标车辆对应的位置和车牌号码以及位置信息;
通过第一预设算法获取所述第一目标车辆的第一预测运行轨迹,并通过检测框表示所述第一目标车辆的位置,预测框表示所述第一预测运行轨迹的位置;
根据所述第一预测运行轨迹获取第二预测运行轨迹;
通过预设目标跟踪算法将所述第一目标车辆在当前帧的检测结果与所述第二预测运行轨迹进行匹配得到匹配结果,所述预设目标跟踪算法包括对第一代价矩阵、第二代价矩阵以及第三代价矩阵的计算,所述第一代价矩阵用于描述所述检测框与所述第二预测运行轨迹之间的位置关系,所述第二代价矩阵用于描述检测框内车辆与第一目标车辆外观上的相似度,所述第三代价矩阵通过所述第一代价矩阵和所述第二代价矩阵融合所得;
根据所述匹配结果生成所述第一目标车辆的目标预测轨迹。
2.根据权利要求1所述的高位视频的车辆跟踪方法,其特征在于,所述根据所述第一预测运行轨迹获取第二预测运行轨迹,包括:
判断所述第一预测运行轨迹在预设个连续帧中是否能关联到所述第一目标车辆;
若是,则根据所述第一预测运行轨迹生成第二预测运行轨迹,并将所述第二预测运行轨迹的预测框与当前帧中所述第一目标车辆的检测框融合;
若否,则删除所述第一预测运行轨迹。
3.根据权利要求2所述的高位视频的车辆跟踪方法,其特征在于,所述通过预设目标跟踪算法将所述第一目标车辆在当前帧的检测结果与所述第二预测运行轨迹进行匹配得到匹配结果,包括:
通过所述预设目标跟踪算法获取所述预测框和所述检测框的第一代价矩阵,所述第一代价矩阵越小说明所述检测框与所述第二预测运行轨迹匹配度越高;
判断所述第一代价矩阵是否小于阈值;
若是,则将所述检测框与所述第二预测运行轨迹进行匹配得到匹配结果。
4.根据权利要求3所述的高位视频的车辆跟踪方法,其特征在于,所述判断所述第一代价矩阵是否小于阈值,还包括:
若否,则根据预测框和所述检测框获取第二代价矩阵,所述第二代价矩阵越大说明所述检测框内车辆的相似度越高;
根据所述第一代价矩阵和所述第二代价矩阵融合得到第三代价矩阵;
通过第二预设算法对所述第三代价矩阵进行匹配处理得到匹配结果,所述第二预设算法为匈牙利匹配算法。
5.根据权利要求4所述的高位视频的车辆跟踪方法,其特征在于,在所述通过第二预设算法对所述第三代价矩阵进行匹配处理得到匹配结果之后,所述方法还包括:
对所述匹配处理中未匹配上的检测框生成第三预测运行轨迹;
判断在预设个连续帧中所述检测框与所述第三预测运行轨迹是否相匹配;
若否,则删除所述第三预测运行轨迹;
若是,则确定所述第三预测运行轨迹为目标预测运行轨迹。
6.根据权利要求1至5中任一项所述的高位视频的车辆跟踪方法,其特征在于,所述预设目标跟踪算法为IoU跟踪算法。
7.一种高位视频的车辆跟踪装置,其特征在于,包括:
第一获取单元,用于获取高位视频中第一目标车辆及车辆信息,所述车辆信息包含所述第一目标车辆对应的位置和车牌号码以及位置信息;
第二获取单元,用于通过第一预设算法获取所述第一目标车辆的第一预测运行轨迹,通过检测框表示所述第一目标车辆的位置,预测框表示所述第一预测运行轨迹的位置;
第一更新单元,用于根据所述第一预测运行轨迹获取第二预测运行轨迹;
执行单元,用于通过预设目标跟踪算法将所述第一目标车辆在当前帧的检测结果与所述第二预测运行轨迹进行匹配得到匹配结果,所述预设目标跟踪算法包括对第一代价矩阵、第二代价矩阵以及第三代价矩阵的计算,所述第一代价矩阵用于描述所述检测框与所述第二预测运行轨迹之间的位置关系,所述第二代价矩阵用于描述检测框内车辆与第一目标车辆外观上的相似度,所述第三代价矩阵通过所述第一代价矩阵和所述第二代价矩阵融合所得;
生成单元,用于根据所述匹配结果生成所述第一目标车辆的目标预测轨迹。
8.根据权利要求7所述的高位视频的车辆跟踪装置,其特征在于,所述第一更新单元,包括:
第一判断模块,用于判断所述第一预测运行轨迹在预设个连续帧中是否能关联到所述第一目标车辆;
第一更新模块,用于当第一判断模块确定所述第一预测运行轨迹在预设个连续帧中关联到所述第一目标车辆时,则根据所述第一预测运行轨迹生成第二预测运行轨迹,并将所述第二预测运行轨迹的预测框与当前帧中所述第一目标车辆的检测框融合;
第一删除模块,用于当第一判断模块确定所述第一预测运行轨迹在预设个连续帧中无法关联到所述第一目标车辆时,则删除所述第一预测运行轨迹。
9.根据权利要求7所述的高位视频的车辆跟踪装置,其特征在于,所述执行单元,包括:
第一获取模块,用于通过所述预设目标跟踪算法获取所述预测框和所述检测框的第一代价矩阵,所述第一代价矩阵用于描述所述检测框与所述第二预测运行轨迹之间的位置关系,所述第一代价矩阵越小说明所述检测框与所述第二预测运行轨迹匹配度越高;
第二判断模块,用于判断所述第一代价矩阵是否小于阈值;
第一匹配模块,用于当第二判断模块确定所述第一代价矩阵小于阈值时,则将所述检测框与所述第二预测运行轨迹进行匹配得到匹配结果。
10.根据权利要求7所述的高位视频的车辆跟踪装置,其特征在于,所述执行单元,还包括:
第二获取模块,用于当第二判断模块确定所述第一代价矩阵大于阈值时,则根据预测框和所述检测框获取第二代价矩阵,所述第二代价矩阵越大说明所述检测框内车辆的相似度越高;
融合模块,用于根据所述第一代价矩阵和所述第二代价矩阵融合得到第三代价矩阵;
第二匹配模块,用于通过第二预设算法对所述第三代价矩阵进行匹配处理得到匹配结果,所述第二预设算法为匈牙利匹配算法。
CN202110916319.9A 2021-08-10 2021-08-10 一种高位视频的车辆跟踪方法及装置 Active CN113674317B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110916319.9A CN113674317B (zh) 2021-08-10 2021-08-10 一种高位视频的车辆跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110916319.9A CN113674317B (zh) 2021-08-10 2021-08-10 一种高位视频的车辆跟踪方法及装置

Publications (2)

Publication Number Publication Date
CN113674317A true CN113674317A (zh) 2021-11-19
CN113674317B CN113674317B (zh) 2024-04-26

Family

ID=78542180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110916319.9A Active CN113674317B (zh) 2021-08-10 2021-08-10 一种高位视频的车辆跟踪方法及装置

Country Status (1)

Country Link
CN (1) CN113674317B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114118253A (zh) * 2021-11-23 2022-03-01 合肥工业大学 一种基于多源数据融合的车辆检测方法及检测装置
CN115830079A (zh) * 2023-02-15 2023-03-21 天翼交通科技有限公司 交通参与者的轨迹追踪方法、装置及介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108053427A (zh) * 2017-10-31 2018-05-18 深圳大学 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
WO2019006632A1 (zh) * 2017-07-04 2019-01-10 深圳大学 一种视频多目标跟踪方法及装置
CN110472496A (zh) * 2019-07-08 2019-11-19 长安大学 一种基于目标检测与跟踪的交通视频智能分析方法
CN110782483A (zh) * 2019-10-23 2020-02-11 山东大学 基于分布式相机网络的多视图多目标跟踪方法及系统
CN111126152A (zh) * 2019-11-25 2020-05-08 国网信通亿力科技有限责任公司 一种基于视频的多目标行人检测与跟踪的方法
WO2020150896A1 (zh) * 2019-01-22 2020-07-30 深圳大学 视频目标的数据关联方法、装置及存储介质
CN111627045A (zh) * 2020-05-06 2020-09-04 佳都新太科技股份有限公司 单镜头下的多行人在线跟踪方法、装置、设备及存储介质
CN111768430A (zh) * 2020-06-23 2020-10-13 重庆大学 一种基于多特征级联匹配的高速公路外场车辆跟踪方法
US20200364882A1 (en) * 2019-01-17 2020-11-19 Beijing Sensetime Technology Development Co., Ltd. Method and apparatuses for target tracking, and storage medium
CN112634325A (zh) * 2020-12-10 2021-04-09 重庆邮电大学 一种无人机视频多目标跟踪方法
US20210191424A1 (en) * 2019-12-23 2021-06-24 Lyft, Inc Camera-sensor fusion module for surface detection and fleet vehicle control systems and methods
CN113034548A (zh) * 2021-04-25 2021-06-25 安徽科大擎天科技有限公司 一种适用于嵌入式终端的多目标跟踪方法及其系统
CN113160274A (zh) * 2021-04-19 2021-07-23 桂林电子科技大学 一种基于YOLOv4的改进DeepSort目标检测跟踪方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019006632A1 (zh) * 2017-07-04 2019-01-10 深圳大学 一种视频多目标跟踪方法及装置
CN108053427A (zh) * 2017-10-31 2018-05-18 深圳大学 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
US20200364882A1 (en) * 2019-01-17 2020-11-19 Beijing Sensetime Technology Development Co., Ltd. Method and apparatuses for target tracking, and storage medium
WO2020150896A1 (zh) * 2019-01-22 2020-07-30 深圳大学 视频目标的数据关联方法、装置及存储介质
CN110472496A (zh) * 2019-07-08 2019-11-19 长安大学 一种基于目标检测与跟踪的交通视频智能分析方法
CN110782483A (zh) * 2019-10-23 2020-02-11 山东大学 基于分布式相机网络的多视图多目标跟踪方法及系统
CN111126152A (zh) * 2019-11-25 2020-05-08 国网信通亿力科技有限责任公司 一种基于视频的多目标行人检测与跟踪的方法
US20210191424A1 (en) * 2019-12-23 2021-06-24 Lyft, Inc Camera-sensor fusion module for surface detection and fleet vehicle control systems and methods
CN111627045A (zh) * 2020-05-06 2020-09-04 佳都新太科技股份有限公司 单镜头下的多行人在线跟踪方法、装置、设备及存储介质
CN111768430A (zh) * 2020-06-23 2020-10-13 重庆大学 一种基于多特征级联匹配的高速公路外场车辆跟踪方法
CN112634325A (zh) * 2020-12-10 2021-04-09 重庆邮电大学 一种无人机视频多目标跟踪方法
CN113160274A (zh) * 2021-04-19 2021-07-23 桂林电子科技大学 一种基于YOLOv4的改进DeepSort目标检测跟踪方法
CN113034548A (zh) * 2021-04-25 2021-06-25 安徽科大擎天科技有限公司 一种适用于嵌入式终端的多目标跟踪方法及其系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
NIVEN SIE JUN LIANG, ETAL.: "Multi-camera multi-target drone tracking systems with trajectory-based target matching and re-identification", 《2021 INTERNATIONAL CONFERENCE ON UNMANNED AIRCRAFT SYSTEMS (ICUAS) 》 *
方岚;于凤芹;: "自适应在线判别外观学习的分层关联多目标跟踪", 中国图象图形学报, no. 04 *
陈志鸿;黄立勤;: "基于卡尔曼滤波和多种信息融合的在线多目标跟踪算法", 信息通信, no. 03 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114118253A (zh) * 2021-11-23 2022-03-01 合肥工业大学 一种基于多源数据融合的车辆检测方法及检测装置
CN114118253B (zh) * 2021-11-23 2024-02-20 合肥工业大学 一种基于多源数据融合的车辆检测方法及检测装置
CN115830079A (zh) * 2023-02-15 2023-03-21 天翼交通科技有限公司 交通参与者的轨迹追踪方法、装置及介质
CN115830079B (zh) * 2023-02-15 2023-05-26 天翼交通科技有限公司 交通参与者的轨迹追踪方法、装置及介质

Also Published As

Publication number Publication date
CN113674317B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
CN107767405B (zh) 一种融合卷积神经网络的核相关滤波目标跟踪方法
Bansod et al. Crowd anomaly detection and localization using histogram of magnitude and momentum
CN109710780B (zh) 一种归档方法及装置
CN111709975B (zh) 多目标跟踪方法、装置、电子设备及存储介质
CN112052837A (zh) 基于人工智能的目标检测方法以及装置
Lee et al. Real-time illegal parking detection in outdoor environments using 1-D transformation
CN113674317A (zh) 一种高位视频的车辆跟踪方法及装置
CN112989962B (zh) 轨迹生成方法、装置、电子设备及存储介质
CN111401196A (zh) 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质
Li et al. Vehicle counting and traffic flow parameter estimation for dense traffic scenes
CN111652181A (zh) 目标跟踪方法、装置及电子设备
CN113763425A (zh) 道路区域标定方法及电子设备
Hossain et al. DFC-D: A dynamic weight-based multiple features combination for real-time moving object detection
CN114359564A (zh) 图像识别方法、装置、计算机设备、存储介质和产品
CN114820765A (zh) 图像识别方法、装置、电子设备及计算机可读存储介质
CN113674318A (zh) 一种目标跟踪方法、装置及设备
Boufares et al. Moving object detection system based on the modified temporal difference and otsu algorithm
CN117197796A (zh) 一种车辆遮挡识别方法及相关装置
Ahmed et al. Localization of region of interest in surveillance scene
CN108776972B (zh) 一种对象跟踪方法及装置
CN113762027B (zh) 一种异常行为的识别方法、装置、设备及存储介质
Anikin et al. Identification of Vehicle Trajectory Anomalies on Streaming Video
CN109949335B (zh) 一种图像处理方法及装置
JP4818430B2 (ja) 移動物体認識方法及び装置
CN112700657B (zh) 用于生成检测信息的方法、装置、路侧设备和云控平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant