CN114708533A - 目标跟踪方法、装置、设备及存储介质 - Google Patents
目标跟踪方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114708533A CN114708533A CN202210295903.1A CN202210295903A CN114708533A CN 114708533 A CN114708533 A CN 114708533A CN 202210295903 A CN202210295903 A CN 202210295903A CN 114708533 A CN114708533 A CN 114708533A
- Authority
- CN
- China
- Prior art keywords
- target object
- tracking
- candidate target
- candidate
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本申请实施例提供了目标跟踪方法、装置、设备及存储介质,所述方法包括:从视频流中获取目标检测框区域;目标检测框区域包括被遮挡的候选目标对象和/或存在强灯光的候选目标对象;基于目标检测框区域内所包含候选目标对象的特征信息,从视频流中确定与候选目标对象匹配的原始目标对象;合并目标检测框区域内的候选目标对象与原始目标对象,得到与原始目标对象相应跟踪号的跟踪结果。保证被遮挡的候选目标对象和/或存在强灯光的候选目标对象与所匹配的原始目标对象具有相同的跟踪号,在高遮挡以及日夜变换的情况下对原始目标对象进行长期稳定的跟踪,提升多目标跟踪的准确率,保证对目标被遮挡和夜间时的跟踪持续性,实现对目标长期稳定的跟踪。
Description
技术领域
本申请涉及数据跟踪与处理技术领域,特别是涉及一种目标跟踪方法、一种目标跟踪装置、相应的一种电子设备以及相应的一种计算机存储介质。
背景技术
近年来随着我国人民生活水平的日益提升,私家车的数量也随之增长,然而由于大多数城市的老城区在规划时未考虑预留数量较大的停车位,导致如今停车位资源的供需矛盾日渐加剧,在不少地区出现“一位难求”的状况。相对于传统的封闭停车场建设,路内泊位智能化设计与规划能够更灵活的解决停车难问题,解决车辆乱停乱放的现象,还能让城市资产快速变现,是城市停车行业的新风口。
目前该路内泊车的收费服务,可通过人工参与或者高位摄像机拍摄的视频监测车辆的泊入与泊出实现。其中,采用视频分析的方案需要对车辆进行长期稳定的跟踪,不允许出现串号和中断的情况,然而路内的泊位通常遮挡严重,且车辆停泊时间较长,需要对车辆进行抗干扰能力强的长期稳定跟踪。
发明内容
鉴于上述问题,提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种目标跟踪方法、一种目标跟踪装置、相应的一种电子设备以及相应的一种计算机存储介质。
本申请实施例公开了一种目标跟踪方法,所述方法包括:
从视频流中获取目标检测框区域;所述目标检测框区域包括被遮挡的候选目标对象和/或存在强灯光的候选目标对象;
基于所述目标检测框区域内所包含候选目标对象的特征信息,从所述视频流中确定与所述候选目标对象匹配的原始目标对象;
合并所述目标检测框区域内的候选目标对象与所述原始目标对象,得到与所述原始目标对象相应跟踪号的跟踪结果。
可选地,所述视频流包括分别与多个不同的跟踪号对应的多个跟踪序列,所述合并所述目标检测框区域内的候选目标对象与所述原始目标对象,得到与所述原始目标对象相应跟踪号的跟踪结果,包括:
获取原始目标对象的原始目标跟踪序列与所述候选目标对象的候选跟踪序列,将所述候选跟踪序列与所述原始目标跟踪序列关联;
确定所述候选目标对象的跟踪号为与原始目标对象的跟踪号相同,以确定与所述原始目标对象的跟踪号为同一跟踪号的跟踪结果。
可选地,所述基于所述目标检测框区域内所包含候选目标对象的特征信息,从所述视频流中确定与所述候选目标对象匹配的原始目标对象,包括:
获取所述目标检测框区域内的被遮挡的候选目标对象的特征信息,基于被遮挡的候选目标对象的特征信息,从所述视频流中确定与所述被遮挡的候选目标对象匹配的原始目标对象,以查找所述被遮挡的候选目标对象在遮挡前的原始目标对象;
和/或,获取所述目标检测框区域内的存在强灯光的候选目标对象的特征信息,基于存在强灯光的候选目标对象的特征信息,从所述视频流中确定与所述存在强灯光的候选目标对象匹配的原始目标对象,以确定在灯光干扰情况下的原始目标对象。
可选地,所述视频流包括至少一个在目标检测框区域内的被遮挡对象;所述基于被遮挡的候选目标对象的特征信息,从所述视频流中确定与所述被遮挡的候选目标对象匹配的原始目标对象,包括:
在至少一个在目标检测框区域内的被遮挡对象中获取特征稳定的被遮挡的候选目标对象;所述特征稳定的被遮挡的候选目标对象在所述目标检测区域内的显示时长超过预设时长;
获取在出现所述特征稳定的被遮挡的候选目标对象前的历史视频流中消失超过所述预设时长的目标对象;
基于所述特征稳定的被遮挡的候选目标对象的平均特征信息,与历史视频流中消失超过所述预设时长的目标对象的平均特征信息,确定与所述被遮挡的候选目标对象匹配的原始目标对象。
可选地,所述平均特征信息包括外观特征;所述基于所述特征稳定的被遮挡的候选目标对象的平均特征信息,与历史视频流中消失超过所述预设时长的目标对象的平均特征信息,确定与所述被遮挡的候选目标对象匹配的原始目标对象,包括:
若所述特征稳定的被遮挡的候选目标对象的外观特征与所述历史视频流中消失超过所述预设时长的目标对象的外观特征相似,且所述特征稳定的被遮挡的候选目标对象满足预设速度和距离的约束条件,则确定所述历史视频流中消失超过所述预设时长的目标对象为与所述被遮挡的候选目标对象匹配的原始目标对象。
可选地,所述基于存在强灯光的候选目标对象的特征信息,从所述视频流中确定与所述存在强灯光的候选目标对象匹配的原始目标对象,包括:
从所述视频流中获取最后一帧图像具有灯光的跟踪序列;
基于所述存在强灯光的候选目标对象的特征信息与所述最后一帧图像具有灯光的跟踪序列中的最后一帧图像的特征信息,确定与所述存在强灯光的候选目标对象匹配的原始目标对象。
可选地,所述特征信息包括相似程度;所述基于所述存在强灯光的候选目标对象的特征信息与所述最后一帧图像具有灯光的跟踪序列中的最后一帧图像的特征信息,确定与所述存在强灯光的候选目标对象匹配的原始目标对象,包括:
若所述存在强灯光的候选目标对象与所述最后一帧图像具有灯光的跟踪序列中的最后一帧图像的相似程度达到预设程度,则确定所述最后一帧图像具有灯光的跟踪序列中检测框区域内的目标对象,为与所述存在强灯光的候选目标对象匹配的原始目标对象。
可选地,所述特征信息包括相似程度,所述相似程度包括外观相似程度、位置相似程度以及形状相似程度;
所述基于所述存在强灯光的候选目标对象的特征信息与所述最后一帧图像具有灯光的跟踪序列中的最后一帧图像的特征信息,确定与所述存在强灯光的候选目标对象匹配的原始目标对象,还包括:
若所述存在强灯光的候选目标对象与所述最后一帧图像具有灯光的跟踪序列中的最后一帧图像的外观相似程度低于预设程度,但所述存在强灯光的候选目标对象与所述最后一帧图像具有灯光的跟踪序列中的最后一帧图像的位置相似程度以及形状相似程度达到预设程度,则确定所述最后一帧图像具有灯光的跟踪序列中检测框区域内的目标对象,为与所述存在强灯光的候选目标对象匹配的原始目标对象。
本申请实施例还公开了一种目标跟踪装置,所述装置包括:
目标检测框区域获取模块,用于从视频流中获取目标检测框区域;所述目标检测框区域包括被遮挡的候选目标对象和/或存在强灯光的候选目标对象;
原始目标对象确定模块,用于基于所述目标检测框区域内所包含候选目标对象的特征信息,从所述视频流中确定与所述候选目标对象匹配的原始目标对象;
跟踪结果输出模块,用于合并所述目标检测框区域内的候选目标对象与所述原始目标对象,得到与所述原始目标对象相应跟踪号的跟踪结果。
可选地,所述视频流包括分别与多个不同的跟踪号对应的多个跟踪序列,所述跟踪结果输出模块包括:
跟踪序列关联子模块,用于获取原始目标对象的原始目标跟踪序列与所述候选目标对象的候选跟踪序列,将所述候选跟踪序列与所述原始目标跟踪序列关联,确定所述候选目标对象的跟踪号为与原始目标对象的跟踪号相同,以确定与所述原始目标对象的跟踪号为同一跟踪号的跟踪结果。
可选地,所述原始目标对象确定模块包括:
第一原始目标对象匹配子模块,用于获取所述目标检测框区域内的被遮挡的候选目标对象的特征信息,基于被遮挡的候选目标对象的特征信息,从所述视频流中确定与所述被遮挡的候选目标对象匹配的原始目标对象,以查找所述被遮挡的候选目标对象在遮挡前的原始目标对象;
第二原始目标对象匹配子模块,用于获取所述目标检测框区域内的存在强灯光的候选目标对象的特征信息,基于存在强灯光的候选目标对象的特征信息,从所述视频流中确定与所述存在强灯光的候选目标对象匹配的原始目标对象,以确定在灯光干扰情况下的原始目标对象。
可选地,所述视频流包括至少一个在目标检测框区域内的被遮挡对象;所述第一原始目标对象匹配子模块包括:
候选目标对象获取单元,用于在至少一个在目标检测框区域内的被遮挡对象中获取特征稳定的被遮挡的候选目标对象;所述特征稳定的被遮挡的候选目标对象在所述目标检测区域内的显示时长超过预设时长;
目标对象确定单元,用于获取在出现所述特征稳定的被遮挡的候选目标对象前的历史视频流中消失超过所述预设时长的目标对象;
第一原始目标对象确定单元,用于基于所述特征稳定的被遮挡的候选目标对象的平均特征信息,与历史视频流中消失超过所述预设时长的目标对象的平均特征信息,确定与所述被遮挡的候选目标对象匹配的原始目标对象。
可选地,所述平均特征信息包括外观特征;所述第一原始目标对象确定单元包括:
第一原始目标对象确定子单元,用于在所述特征稳定的被遮挡的候选目标对象的外观特征与所述历史视频流中消失超过所述预设时长的目标对象的外观特征相似,且所述特征稳定的被遮挡的候选目标对象满足预设速度和距离的约束条件时,确定所述历史视频流中消失超过所述预设时长的目标对象为与所述被遮挡的候选目标对象匹配的原始目标对象。
可选地,所述第二原始目标对象匹配子模块包括:
跟踪序列获取单元,用于从所述视频流中获取最后一帧图像具有灯光的跟踪序列;
第二原始对象确定单元,用于基于所述存在强灯光的候选目标对象的特征信息与所述最后一帧图像具有灯光的跟踪序列中的最后一帧图像的特征信息,确定与所述存在强灯光的候选目标对象匹配的原始目标对象。
可选地,所述特征信息包括相似程度;所述第二原始对象确定单元包括:
第二原始目标对象确定子单元,用于在所述存在强灯光的候选目标对象与所述最后一帧图像具有灯光的跟踪序列中的最后一帧图像的相似程度达到预设程度时,确定所述最后一帧图像具有灯光的跟踪序列中检测框区域内的目标对象,为与所述存在强灯光的候选目标对象匹配的原始目标对象。
可选地,所述特征信息包括相似程度,所述相似程度包括外观相似程度、位置相似程度以及形状相似程度;所述第二原始对象确定单元还包括:
第二原始目标对象确定子单元,还用于所述存在强灯光的候选目标对象与所述最后一帧图像具有灯光的跟踪序列中的最后一帧图像的外观相似程度低于预设程度,但所述存在强灯光的候选目标对象与所述最后一帧图像具有灯光的跟踪序列中的最后一帧图像的位置相似程度以及形状相似程度达到预设程度时,确定所述最后一帧图像具有灯光的跟踪序列中检测框区域内的目标对象,为与所述存在强灯光的候选目标对象匹配的原始目标对象。
本申请实施例还公开了一种电子设备,包括:处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现任一项所述目标跟踪方法的步骤。
本申请实施例还公开了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现任一项所述目标跟踪方法的步骤。
本申请实施例包括以下优点:
本申请实施例中,在进行多目标跟踪时可以对目标检测框区域内被遮挡的候选目标对象和/或存在强灯光的候选目标对象进行跟踪,主要可基于目标检测框区域内所包含候选目标对象的特征信息,从视频流中确定与候选目标对象匹配的原始目标对象,以合并目标检测框区域内的候选目标对象与原始目标对象,得到与原始目标对象相应跟踪号的跟踪结果,保证被遮挡的候选目标对象和/或存在强灯光的候选目标对象与所匹配的原始目标对象具有相同的跟踪号,在高遮挡以及日夜变换的情况下对原始目标对象进行长期稳定的跟踪,在提升多目标跟踪的准确率的同时,保证对目标被遮挡和夜间时的跟踪持续性,实现对目标长期稳定的跟踪。
附图说明
图1是相关技术中多目标跟踪的流程示意图;
图2是本申请的一种目标跟踪方法实施例的步骤流程图;
图3是本申请的另一种目标跟踪方法实施例的步骤流程图;
图4是本申请实施例提供的加入目标找回后的目标跟踪的流程示意图;
图5是本申请实施例提供的车辆被遮挡后的场景示意图;
图6是本申请实施例提供的车灯检测的过程示意图;
图7是本申请的一种目标跟踪装置实施例的结构框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
路内泊位智能化设计与规划能够更灵活的解决停车难问题,路内泊位可以是在道路路内所设计的停车泊位,是指依法在城市道路范围内施划设置的供机动车临时停放的场所,其包括车行道停车泊位和人行道停车泊位。
目前针对该路内泊位的收费服务,可通过人工参与或者高位摄像机拍摄的视频监测车辆的泊入与泊出实现。具体的,人工参与方式指的是收费人员负责巡视若干街区的泊位,在发现有车辆驶入时可进行拍照,并贴上收费二维码;视频监测方式为智能的无人值守方式,其主要是采用高位相机拍摄到的视频自动监测车辆停入和驶出泊位的状态,并根据识别到的车牌进行收费,此时还可保留视频和图像证据,视频监测方式可基于智能化方式提升城市管理效率,其收费服务更加准确,且可基于所保留的视频和图像证据实现追溯。
其中,视频监测方式需要采用视频分析实现,而在采用视频分析的方案中,其对车辆的跟踪主要是基于多目标跟踪实现。参照图1,示出了相关技术中多目标跟踪的流程示意图,多目标跟踪通常可采用基于检测框的跟踪方案(trackingby detection,为多目标跟踪算法,是一种使用视频对多种目标进行长期跟踪的方法,其输入为视频和检测框,输出为每个目标对象的唯一ID,即跟踪号)实现。
其主要可在已有检测框的情况下,通过数据关联(data association)对视频的前后帧中的目标对象进行关联,以确定相同的目标对象。具体的,数据关联通常可通过计算相似度矩阵,相似度通常使用外观特征、位置关系和形状大小关系作为衡量,并采用这三种相似度的加权平均值计算得到;然后再利用KM算法(Kuhn—Munkres)进行匹配实现,根据匹配结果对跟踪序列进行更新,以维护序列的生命周期,并输出跟踪结果。
然而,采用视频分析的方案需要对车辆进行长期稳定的跟踪,由于串号将会导致收错费,中断将会导致资源损耗,其长期稳定的跟踪不允许出现串号和中断的情况,但多目标跟踪的相关技术对于低遮挡、短时间的跟踪可以起到较好的效果,而对于出现高遮挡(即遮挡严重)、长时间(例如车辆停泊时间较长),特别还需跨越白天和黑夜的跟踪并不适用,需要对跟踪的实现提出更高的要求;且算法通常部署在边缘设备中,必须采用轻量化的方案提升计算效率,降低成本,因而运用于路内泊车的跟踪算法是一个轻量、高效、抗干扰能力强的长期稳定跟踪算法。
参照图2,示出了本申请的一种目标跟踪方法实施例的步骤流程图,具体可以包括如下步骤:
步骤201,从视频流中获取目标检测框区域;
本申请实施例针对路内停车应用的特点,包括对路内停车高遮挡,长时间跟踪的特点进行针对性优化,以有效提升高遮挡、长时间跟踪的准确率,其所需实现的长时间稳定的跟踪,主要是基于保证对所跟踪的目标对象的跟踪号的不变实现,需保证车辆被遮挡时跟踪的持续性,以及保证夜间时的跟踪持续性。
在目标跟踪中,通常可基于视频流和检测框输出对每个目标对象的唯一ID,即目标对象的跟踪号进行跟踪以实现对相应目标对象的追踪。其中,在进行多目标跟踪时,在连续的视频帧中同一目标的跟踪号相同,且在算法内部每个目标都会维持一个跟踪序列,一个跟踪序列可以包含该目标在历史中出现的位置、外观特征等关键信息。
对于新的视频帧中,将会根据物体检测框提取视频帧中对象的外观特征,并参考对象的位置和形状信息,与算法维持的所有跟踪序列进行相似度匹配,即对新视频帧中重现出现的目标对象和历史跟踪序列中的目标对象进行匹配,匹配所使用到的总体相似度是使用外观特征、位置相似度和形状相似度加权平均得到的,其中相似度高的对象则会被认为是同一目标,并赋予相同的跟踪号;如果物体检测框内所检测的对象与所有跟踪序列的相似度都不高,则将会赋予此目标新的跟踪号。
为了保证目标对象的跟踪号不变,此时需要对视频流中的目标检测区域所包含的对象进行处理,那么在车辆被高遮挡和/或夜间的情况下,其所需处理的目标检测区域可以为与这两种情况相关的检测框,即所获取的目标检测框区域,可以包括被遮挡的候选目标对象和/或存在强灯光的候选目标对象,以对检测框内所包含的被遮挡的候选目标对象和/或存在强灯光的候选目标对象进行处理。
在实际应用中,存在强灯光的候选目标对象可以指的是候选目标对象其自身原本存在的强灯光物体,例如车辆所亮起的车灯,其也可以指的是被其他强灯光物体反射或者直射的候选目标对象,即候选目标对象存在来自其他因素所带来的强灯光。其中,对于强灯光而言,其可以为亮度超过设定亮度阈值的灯光,所设定的亮度阈值可以是亮度太大而导致的妨碍摄像头无法拍摄到对象原本外观形态(包括形状、颜色等)的亮度值,此亮度值可能受到天气、外物等光线的影响,主要基于实际情况而定。
需要说明的是,用于进行目标跟踪的视频流可以为所接收的实时视频流,也可以为所录制的视频流,对此,本申请实施例不加以限制。
步骤202,基于目标检测框区域内所包含候选目标对象的特征信息,从视频流中确定与候选目标对象匹配的原始目标对象;
在车辆被高遮挡和/或夜间的情况下,对检测框内所包含的被遮挡的候选目标对象和/或存在强灯光的候选目标对象进行处理,可以从视频流中确定与候选目标对象匹配的原始目标对象,以保证在遇到被遮挡情况和/或夜间强灯光情况下的候选目标对象的跟踪号,可以与所确定的相匹配的原始目标对象的跟踪号相同,即保持跟踪号的不变以保证对此目标对象的长期跟踪的稳定性。
在本申请实施例中,可基于对路内停车应用的特点,为了应对高遮挡导致的短期跟踪号改变,可加入对在遮挡过程中在画面消息的目标对象的找回策略,且可针对由于夜间灯光导致的目标跟踪号改变的现象,加入灯光干扰抑制算法,对夜间灯光照射而导致外观相似度的剧烈变化进行修正,以保证目标对象的跟踪号的稳定。
具体的,主要可基于目标检测区域内所包含的候选目标对象的特征信息,从视频流中确定与候选目标对象匹配的原始目标对象,以将所匹配的原始目标对象的跟踪号关联至候选目标对象,使得即便在出现车辆被高遮挡和/或夜间的情况下,依然能够保持原始目标对象的跟踪号不变。
其原始目标对象的确定,可以包括基于目标检测框区域内的被遮挡的候选目标对象的特征信息,从视频流中查找被遮挡的候选目标对象在遮挡前的原始目标对象,和/或基于目标检测框区域内的存在强灯光的候选目标对象的特征信息,从视频流中确定在灯光干扰情况下的原始目标对象。需要说明的,若车辆的路内泊位为在夜间被遮挡且存在强灯光的情况时,其基于目标检测框区域内的被遮挡的候选目标对象的特征信息和存在强灯光的候选目标对象的特征信息所确定的原始目标对象可以为同一目标对象,对此,本申请实施例不加以限制。
步骤203,合并目标检测框区域内的候选目标对象与原始目标对象,得到与原始目标对象相应跟踪号的跟踪结果。
为了保持原始目标对象的跟踪号不变,在确定与车辆被高遮挡和/或夜间情况下的候选目标对象相匹配的原始目标对象后,可以合并目标检测框区域内的候选目标对象与原始目标对象,主要可以表现为将候选目标对象的跟踪序列与原始目标对象的跟踪序列进行关联,使得候选目标对象的跟踪号与原始目标对象的跟踪号相同,以便得到与原始目标对象相应跟踪号的跟踪结果。
其所得到的跟踪结果为基于具有候选目标对象的跟踪序列以及原始目标对象的跟踪序列进行合并后的跟踪序列确定,其可以为在合并后的跟踪序列中基于原始目标对象相应跟踪号进行跟踪得到的结果。
本申请实施例中,在进行多目标跟踪时可以对目标检测框区域内被遮挡的候选目标对象和/或存在强灯光的候选目标对象进行跟踪,主要可基于目标检测框区域内所包含候选目标对象的特征信息,从视频流中确定与候选目标对象匹配的原始目标对象,以合并目标检测框区域内的候选目标对象与原始目标对象,得到与原始目标对象相应跟踪号的跟踪结果,保证被遮挡的候选目标对象和/或存在强灯光的候选目标对象与所匹配的原始目标对象具有相同的跟踪号,在高遮挡以及日夜变换的情况下对原始目标对象进行长期稳定的跟踪,在提升多目标跟踪的准确率的同时,保证对目标被遮挡和夜间时的跟踪持续性,实现对目标长期稳定的跟踪。
参照图3,示出了本申请的另一种目标跟踪方法实施例的步骤流程图,具体可以包括如下步骤:
步骤301,基于目标检测框区域内的被遮挡的候选目标对象的特征信息,从视频流中查找被遮挡的候选目标对象在遮挡前的原始目标对象;
本申请实施例针对路内停车应用的特点,包括对路内停车高遮挡,长时间跟踪的特点进行针对性优化,以有效提升高遮挡、长时间跟踪的准确率,其所需实现的长时间稳定的跟踪,主要是基于保证对所跟踪的目标对象的跟踪号的不变实现,需保证车辆被遮挡时跟踪的持续性,以及保证夜间时的跟踪持续性。
在本申请的一种实施例中,为了应对高遮挡导致的短期跟踪号改变,可加入对在遮挡过程中在画面消息的目标对象的找回策略,其主要可表现为基于目标检测框区域内的被遮挡的候选目标对象的特征信息,从视频流中查找被遮挡的候选目标对象在遮挡前的原始目标对象。
具体的,可以通过获取目标检测框区域内的被遮挡的候选目标对象的特征信息,基于被遮挡的候选目标对象的特征信息,从视频流中确定与被遮挡的候选目标对象匹配的原始目标对象,以实现对被遮挡的候选目标对象在遮挡前的原始目标对象的查找。
其中,视频流可以包括至少一个在目标检测框区域内的被遮挡对象,在从视频流中确定与被遮挡的候选目标对象匹配的原始目标对象时,可以在至少一个在目标检测框区域内的被遮挡对象中获取特征稳定的被遮挡的候选目标对象,特征稳定的被遮挡的候选目标对象可以指的是在目标检测区域内的显示时长超过预设时长的目标对象,此时可获取在出现特征稳定的被遮挡的候选目标对象前的历史视频流中消失超过预设时长的目标对象,基于特征稳定的被遮挡的候选目标对象的平均特征信息,与历史视频流中消失超过预设时长的目标对象的平均特征信息,确定与被遮挡的候选目标对象匹配的原始目标对象。
具体的,参照图4,示出了本申请实施例提供的加入目标找回后的目标跟踪的流程示意图,其主要是在状态更新时,若候选目标对象出现预设时长,则此时可将所丢失的目标找回,若此为同一目标,则可以将目标进行合并后输出得到跟踪结果。
作为一种示例,参照图5,示出了本申请实施例提供的车辆被遮挡后的场景示意图,在这个路内停车的场景中,通常会出现车辆被遮挡后又出现的情况,或者车辆在进行路内泊车时,由看得到车牌到驶入泊位后被其他泊车车辆所遮挡的情况。如图5所示,路边停靠的车辆A逐渐被公交车B遮挡,其车辆A在图像中的检测框将会慢慢变小直至检测框消失,然后检测框又慢慢地完整出现在检测视野中;但由于车辆A出现被公交车B遮挡的现象,目标对象(在本示例中指的是车辆A)的外观特征将不完整,即被污染,那么在所跟踪的目标对象被遮挡时其目标的外观特征是不可靠的,且目标在被遮挡后和重新出现时的检测框是不完整的,即在所跟踪的目标对象被遮挡时其目标的位置相似度和形状相似度也是不可靠的,在目标对象发生遮挡后通常将会变更为新的跟踪号。
在实际应用中,当目标对象发生遮挡后再重新出现,由于重新出现的目标对象的形状可能受到挤压,此时相应的重新出现的目标对象的外观特征也会发生改变,即将会使得多目标跟踪算法判定当前重新出现的目标对象与遮挡前的目标对象不是同一个目标,并赋予重新出现的目标对象一个新的跟踪号,但当对象出现一定时长已经不被遮挡后,对象的形状与外观特征将恢复为与遮挡前相似,此时与遮挡前相似的对象可用于找回原来的跟踪号。具体可以表现为在如图1所示的原有的算法中加入目标找回策略,当新的目标出现一个稳定的时长,例如达到预设时长后,可以认为在预设时长后出现的新的目标的特征相较原始目标对象逐渐稳定,即可确定其为特征稳定的被遮挡的候选目标对象,以便基于对特征稳定的候选目标对象进行处理。需要说明的是,预设时长可以是基于视频帧率和物体平均运动速度设置的一个经验阈值,即其主要基于经验值确定,例如20帧,对此,本申请实施例不加以限制。
具体的,所用于确定与被遮挡的候选目标对象匹配的原始目标对象的平均特征信息可以包括外观特征,具体可以是算法维持的跟踪序列的外观特征的平均值。若特征稳定的被遮挡的候选目标对象的外观特征,与历史视频流中消失超过预设时长的目标对象的外观特征相似,且特征稳定的被遮挡的候选目标对象满足预设速度和距离的约束条件,则可以确定历史视频流中消失超过预设时长的目标对象为与候选目标对象匹配的原始目标对象,即可将被遮挡的候选目标对象与超过预设时长的目标对象被认定为同一目标。
其中,之所以采用平均特征,是为了降低目标对象被遮挡时其外观特征被污染所造成的影响,提高目标跟踪的准确率。其所加入的目标找回算法,可有效应对因遮挡导致的跟踪号改变的情况,即使目标对象在遮挡期间发生短暂的改变,还可以重新找回遮挡前的目标对象进行跟踪,从而实现长期稳定的跟踪。并不会造成服务的资源损耗。
需要说明的是,在所需满足的满足预设速度和距离的约束条件中,速度和距离的约束可以是指同一目标对象在有限的时间内不能发生不符合实际的移动,即将会对此目标独享的的速度和距离进行约束。具体的,距离约束可以是指目标对象在有限时间内不能移动太远,而速度约束可以指的是目标对象在有限时间内不能移动太快,针对约束的阈值可根据实际场景进行设置,对此,本申请实施例不加以限制。
步骤302,基于目标检测框区域内的存在强灯光的候选目标对象的特征信息,从视频流中确定在灯光干扰情况下的原始目标对象;
在本申请的一种实施例中,为了针对由于夜间灯光导致的目标跟踪号改变的现象,加入灯光干扰抑制算法,对因夜间灯光照射而导致外观相似度的剧烈变化进行修正,以保证目标对象的跟踪号的稳定,其主要可表现为基于目标检测框区域内的存在强灯光的候选目标对象的特征信息,从视频流中确定在灯光干扰情况下的原始目标对象。
具体的,可以通过获取目标检测框区域内的存在强灯光的候选目标对象的特征信息,基于存在强灯光的候选目标对象的特征信息,从视频流中确定与存在强灯光的候选目标对象匹配的原始目标对象,以实现对灯光干扰情况下原始目标对象的确定,以对灯光干扰进行抑制。
在实际应用中,存在强灯光的候选目标对象可以指的是候选目标对象其自身原本存在的强灯光物体,例如车辆所亮起的车灯,其也可以指的是被其他强灯光物体反射或者直射的候选目标对象,即候选目标对象存在来自其他因素所带来的强灯光。其中,对于强灯光而言,其可以为亮度超过设定亮度阈值的灯光,所设定的亮度阈值可以是亮度太大而导致的妨碍摄像头无法拍摄到对象原本外观形态(包括形状、颜色等)的亮度值,此亮度值可能受到天气、外物等光线的影响,主要基于实际情况而定。
其中,在从视频流中确定与存在强灯光的候选目标对象匹配的原始目标对象时,可以从视频流中获取最后一帧图像具有灯光的跟踪序列,此跟踪序列可以为在关闭车灯前,即所存在的强灯光减弱甚至灯光消失前的跟踪序列,此时可以基于存在强灯光的候选目标对象的特征信息与最后一帧图像具有灯光的跟踪序列中的最后一帧图像的特征信息,确定与存在强灯光的候选目标对象匹配的原始目标对象。
具体的,用于确定与存在强灯光的候选目标对象匹配的原始目标对象的特征信息可以包括相似程度,此时在确定与之相匹配的原始目标对象时,对于有较强灯光的检测框和最后一帧有灯光的跟踪序列,可以按照相似程度的确定以对与之相匹配的原始目标对象进行匹配,若存在强灯光的候选目标对象与最后一帧图像具有灯光的跟踪序列中的最后一帧图像的相似程度达到预设程度,则可以确定最后一帧图像具有灯光的跟踪序列中检测框区域内的目标对象,为与存在强灯光的候选目标对象匹配的原始目标对象,即可以确定存在强灯光的候选目标对象的跟踪号与最后一帧图像具有灯光的跟踪序列的跟踪号相同,并将存在强灯光的候选目标对象的跟踪序列与其关联。
相似程度可以包括外观相似程度、位置相似程度以及形状相似程度。相似程度可以基于如图1或图4所示的相似度计算实现,其相似度通常使用外观特征、位置关系和形状大小关系作为衡量,并可采用这三种相似度的加权平均值计算得到。
在一种优选的实施例中,由于在将新视频帧出现的目标对象和历史跟踪序列中的目标对象进行匹配时,主要是基于外观特征、位置相似度和形状相似度加权平均得到的总体相似度实现的,而夜间车灯的明灭将会导致外观特征发生剧烈的变化,从而同一目标的相似度会降低导致无法匹配,从而夜间的跟踪号也将会经常发生改变,在加入车灯检测后,在车灯状态发生变化时,可以采用位置相似度和形状相似度计算总体相似度,忽视外观特征的影响,从而保证跟踪号不发生改变。那么除了在基于相似度对原始目标对象进行匹配以外,即除正常的匹配外,对于未匹配成功的检测框,假设这类检测框中存在位置相似度和形状相似度都很高,但外观相似度较低的目标对象,此时可以对此目标对象进行记录,主要可标记这种目标对象为位置靠近目标,即其目标对象的位置靠近目标(例如车灯)。
具体为在存在强灯光的候选目标对象与最后一帧图像具有灯光的跟踪序列中的最后一帧图像的外观相似程度低于预设程度,但存在强灯光的候选目标对象与最后一帧图像具有灯光的跟踪序列中,其最后一帧图像的位置相似程度以及形状相似程度达到预设程度这种情况时,可以确定最后一帧图像的具有灯光的跟踪序列中位于检测框区域内的目标对象,是与存在强灯光的候选目标对象匹配的原始目标对象,即可以确定存在强灯光的候选目标对象的跟踪号与最后一帧图像具有灯光的跟踪序列的跟踪号相同,并将存在强灯光的候选目标对象的跟踪序列与其关联。
作为一种示例,路内泊车的相关检测服务除了需要面对车辆被遮挡的情况以外,还需要面对所受到的夜间车辆灯光干扰的现象,例如夜间车辆在起步时所开启的车灯,以及在停车时所关闭的车灯,车辆在行进过程中车灯与相机位置将会发生变化,且有时会对相机进行直射而导致相机所采集的图像中产生很强的光斑,这些光斑将会使得在图像中车辆的外观特征发生剧烈变化,从而导致车辆跟踪号发生改变。特别是在车辆进离场的过程,如果车辆跟踪号发生改变,将很可能会丢失对该此事件的捕获,从而导致资源损耗的产生。
当车灯开启且直射相机时,车灯位置处将会出现一块亮度特别高的区域,即该区域的图像RGB值均表现地特别高,通常将会大于某阈值(例如240),而在图像中白色对应的RGB像素均为255,但在自然界中看到的白色通常并非图像意义的纯白,通常不会出现三通道像素值都特别高的情况,只有在强光直射相机的时候才会出现像素值特别高的情况。
而对于未匹配成功的检测框,为了基于位置相似度和形状相似度都很高的位置靠近目标进行标记,此时可按照图6所示的方式,对车灯进行检测。具体的,确定具有强灯光对象的位置相似度和形状相似度是否为车灯,若为车灯,则确定具有强灯光对象的与最后一帧有灯光的目标对象为同一目标,其中,可缩放检测框到统一尺寸,并对图像中的像素值进行检测,在像素值大于某阈值时生成掩膜,求出掩膜的连通区域,并基于连通区域的尺寸信息以及位置信息,以判定是否为车灯。
在具体实现中,可以将检测框缩放到统一尺寸,具体是将图像块的resize到统一的尺寸,这样能够使得所有目标对象的大小可以保持一致,而不受物体实际大小的影响。此时可以基于所缩放尺寸后的检测框对图像中的像素值进行检测,根据像素值是否大于某阈值(通常选240)生成掩膜(mask),然后可以对所生成的掩膜进行形态学操作(包括进行a形态学操作或者b形态学操作,例如腐蚀、膨胀等),并求出掩膜的连通区域,再通过连通区域的大小、宽高比以及此连通区域在图像中的相对位置来判断是否为车灯。那么除正常的匹配外,对于没匹配上的检测框,可以基于如图6所示的方式去检查是否存在位置靠近目标,如果存在,则可以认为是受灯光影响的目标,仍将其关联到相关的跟踪序列上。
在本实例中,通过这种方式可以有效应对夜间灯光干扰,实现长期日夜的跟踪。例如,在某个视频中,若其未进行夜间灯光抑制时,则可以看到跟踪号为1号的车辆离场时由于车灯直射相机,颜色发生明显的改变,因而跟踪号也会随之发生改变;而假设在另一视频中加入灯光干扰检测算法后,其跟踪号为1号的车辆离场的过程跟踪号不会发生改变,从而可以有效捕获离场时间,能够避免资损的产生。
需要说明的是,灯光干扰抑制算法不受时间设置的限制,仅不受限于夜间,在日间存在的阴雨天气时,也将使用灯光干扰抑制算法对灯光进行抑制,对此,本申请实施例不加以限制。
步骤303,将候选跟踪序列与原始目标跟踪序列关联,确定与原始目标对象的跟踪号为同一跟踪号的跟踪结果。
在本申请的一种实施例中,为了保持原始目标对象的跟踪号不变,在确定与车辆被高遮挡和/或夜间情况下的候选目标对象相匹配的原始目标对象后,可以合并目标检测框区域内的候选目标对象与原始目标对象。
具体的,视频流可以包括分别与多个不同的跟踪号对应的多个跟踪序列,对候选目标对象和原始目标对象的合并,可以表现为获取原始目标对象的原始目标跟踪序列与候选目标对象的候选跟踪序列,将候选跟踪序列与所述原始目标跟踪序列关联,使得候选目标对象的跟踪号与原始目标对象的跟踪号相同,以确定与原始目标对象的跟踪号为同一跟踪号的跟踪结果。
其所得到的跟踪结果为基于具有候选目标对象的跟踪序列以及原始目标对象的跟踪序列进行合并后的跟踪序列确定,其可以为在合并后的跟踪序列中基于原始目标对象相应跟踪号进行跟踪得到的结果。
本申请实施例中,针对路内停车应用场景的特点,通过在多目标跟踪算法中加入找回策略和夜间灯光干扰抑制算法,可有效实现路侧停车中对高遮挡的情况下车辆的长期稳定的跟踪,对于上述找回策略和夜间灯光干扰抑制的方案可以基于实际需要同时使用或者使用其中任一项,保障路侧停车服务的准确率,避免资损的产生,从而提升整体服务的智能化水平,减少人员参与,提升城市运行效率;以及,在高遮挡以及日夜变换的情况下对原始目标对象进行长期稳定的跟踪,在提升多目标跟踪的准确率的同时,保证对目标被遮挡和夜间时的跟踪持续性,实现对目标长期稳定的跟踪。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请实施例并不受所描述的动作顺序的限制,因为依据本申请实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本申请实施例所必须的。
参照图7,示出了本申请的一种目标跟踪装置实施例的结构框图,具体可以包括如下模块:
目标检测框区域获取模块701,用于从视频流中获取目标检测框区域;所述目标检测框区域包括被遮挡的候选目标对象和/或存在强灯光的候选目标对象;
原始目标对象确定模块702,用于基于所述目标检测框区域内所包含候选目标对象的特征信息,从所述视频流中确定与所述候选目标对象匹配的原始目标对象;
跟踪结果输出模块703,用于合并所述目标检测框区域内的候选目标对象与所述原始目标对象,得到与所述原始目标对象相应跟踪号的跟踪结果。
在本申请的一种实施例中,所述视频流包括分别与多个不同的跟踪号对应的多个跟踪序列,所述跟踪结果输出模块703可以包括如下子模块:
跟踪序列关联子模块,用于获取原始目标对象的原始目标跟踪序列与所述候选目标对象的候选跟踪序列,将所述候选跟踪序列与所述原始目标跟踪序列关联,确定所述候选目标对象的跟踪号为与原始目标对象的跟踪号相同,以确定与所述原始目标对象的跟踪号为同一跟踪号的跟踪结果。
在本申请的一种实施例中,原始目标对象确定模块702可以包括如下子模块:
第一原始目标对象匹配子模块,用于获取所述目标检测框区域内的被遮挡的候选目标对象的特征信息,基于被遮挡的候选目标对象的特征信息,从所述视频流中确定与所述被遮挡的候选目标对象匹配的原始目标对象,以查找所述被遮挡的候选目标对象在遮挡前的原始目标对象;
第二原始目标对象匹配子模块,用于获取所述目标检测框区域内的存在强灯光的候选目标对象的特征信息,基于存在强灯光的候选目标对象的特征信息,从所述视频流中确定与所述存在强灯光的候选目标对象匹配的原始目标对象,以确定在灯光干扰情况下的原始目标对象。
在本申请的一种实施例中,所述视频流包括至少一个在目标检测框区域内的被遮挡对象;第一原始目标对象匹配子模块可以包括如下单元:
候选目标对象获取单元,用于在至少一个在目标检测框区域内的被遮挡对象中获取特征稳定的被遮挡的候选目标对象;所述特征稳定的被遮挡的候选目标对象在所述目标检测区域内的显示时长超过预设时长;
目标对象确定单元,用于获取在出现所述特征稳定的被遮挡的候选目标对象前的历史视频流中消失超过所述预设时长的目标对象;
第一原始目标对象确定单元,用于基于所述特征稳定的被遮挡的候选目标对象的平均特征信息,与历史视频流中消失超过所述预设时长的目标对象的平均特征信息,确定与所述被遮挡的候选目标对象匹配的原始目标对象。
在本申请的一种实施例中,所述平均特征信息包括外观特征;第一原始目标对象确定单元可以包括如下子单元:
第一原始目标对象确定子单元,用于在所述特征稳定的被遮挡的候选目标对象的外观特征与所述历史视频流中消失超过所述预设时长的目标对象的外观特征相似,且所述特征稳定的被遮挡的候选目标对象满足预设速度和距离的约束条件时,确定所述历史视频流中消失超过所述预设时长的目标对象为与所述被遮挡的候选目标对象匹配的原始目标对象。
在本申请的一种实施例中,第二原始目标对象匹配子模块可以包括如下单元:
跟踪序列获取单元,用于从所述视频流中获取最后一帧图像具有灯光的跟踪序列;
第二原始对象确定单元,用于基于所述存在强灯光的候选目标对象的特征信息与所述最后一帧图像具有灯光的跟踪序列中的最后一帧图像的特征信息,确定与所述存在强灯光的候选目标对象匹配的原始目标对象。
在本申请的一种实施例中,所述特征信息包括相似程度;第二原始对象确定单元可以包括如下子单元:
第二原始目标对象确定子单元,用于在所述存在强灯光的候选目标对象与所述最后一帧图像具有灯光的跟踪序列中的最后一帧图像的相似程度达到预设程度时,确定所述最后一帧图像具有灯光的跟踪序列中检测框区域内的目标对象,为与所述存在强灯光的候选目标对象匹配的原始目标对象。
在本申请的一种实施例中,所述特征信息包括相似程度,所述相似程度包括外观相似程度、位置相似程度以及形状相似程度;第二原始对象确定单元还可以包括如下子单元:
第二原始目标对象确定子单元,还用于所述存在强灯光的候选目标对象与所述最后一帧图像具有灯光的跟踪序列中的最后一帧图像的外观相似程度低于预设程度,但所述存在强灯光的候选目标对象与所述最后一帧图像具有灯光的跟踪序列中的最后一帧图像的位置相似程度以及形状相似程度达到预设程度时,确定所述最后一帧图像具有灯光的跟踪序列中检测框区域内的目标对象,为与所述存在强灯光的候选目标对象匹配的原始目标对象。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本申请实施例还提供了一种电子设备,包括:
包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,该计算机程序被处理器执行时实现上述目标跟踪方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储计算机程序,计算机程序被处理器执行时实现上述目标跟踪方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种目标跟踪方法、一种目标跟踪装置、相应的一种电子设备以及相应的一种计算机存储介质,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (11)
1.一种目标跟踪方法,其特征在于,所述方法包括:
从视频流中获取目标检测框区域;所述目标检测框区域包括被遮挡的候选目标对象和/或存在强灯光的候选目标对象;
基于所述目标检测框区域内所包含候选目标对象的特征信息,从所述视频流中确定与所述候选目标对象匹配的原始目标对象;
合并所述目标检测框区域内的候选目标对象与所述原始目标对象,得到与所述原始目标对象相应跟踪号的跟踪结果。
2.根据权利要求1所述的方法,其特征在于,所述视频流包括分别与多个不同的跟踪号对应的多个跟踪序列,所述合并所述目标检测框区域内的候选目标对象与所述原始目标对象,得到与所述原始目标对象相应跟踪号的跟踪结果,包括:
获取原始目标对象的原始目标跟踪序列与所述候选目标对象的候选跟踪序列,将所述候选跟踪序列与所述原始目标跟踪序列关联;
确定所述候选目标对象的跟踪号为与原始目标对象的跟踪号相同,以确定与所述原始目标对象的跟踪号为同一跟踪号的跟踪结果。
3.根据权利要求1或2所述的方法,其特征在于,所述基于所述目标检测框区域内所包含候选目标对象的特征信息,从所述视频流中确定与所述候选目标对象匹配的原始目标对象,包括:
获取所述目标检测框区域内的被遮挡的候选目标对象的特征信息,基于被遮挡的候选目标对象的特征信息,从所述视频流中确定与所述被遮挡的候选目标对象匹配的原始目标对象,以查找所述被遮挡的候选目标对象在遮挡前的原始目标对象;
和/或,获取所述目标检测框区域内的存在强灯光的候选目标对象的特征信息,基于存在强灯光的候选目标对象的特征信息,从所述视频流中确定与所述存在强灯光的候选目标对象匹配的原始目标对象,以确定在灯光干扰情况下的原始目标对象。
4.根据权利要求3所述的方法,其特征在于,所述视频流包括至少一个在目标检测框区域内的被遮挡对象;所述基于被遮挡的候选目标对象的特征信息,从所述视频流中确定与所述被遮挡的候选目标对象匹配的原始目标对象,包括:
在至少一个在目标检测框区域内的被遮挡对象中获取特征稳定的被遮挡的候选目标对象;所述特征稳定的被遮挡的候选目标对象在所述目标检测区域内的显示时长超过预设时长;
获取在出现所述特征稳定的被遮挡的候选目标对象前的历史视频流中消失超过所述预设时长的目标对象;
基于所述特征稳定的被遮挡的候选目标对象的平均特征信息,与历史视频流中消失超过所述预设时长的目标对象的平均特征信息,确定与所述被遮挡的候选目标对象匹配的原始目标对象。
5.根据权利要求4所述的方法,其特征在于,所述平均特征信息包括外观特征;所述基于所述特征稳定的被遮挡的候选目标对象的平均特征信息,与历史视频流中消失超过所述预设时长的目标对象的平均特征信息,确定与所述被遮挡的候选目标对象匹配的原始目标对象,包括:
若所述特征稳定的被遮挡的候选目标对象的外观特征与所述历史视频流中消失超过所述预设时长的目标对象的外观特征相似,且所述特征稳定的被遮挡的候选目标对象满足预设速度和距离的约束条件,则确定所述历史视频流中消失超过所述预设时长的目标对象为与所述被遮挡的候选目标对象匹配的原始目标对象。
6.根据权利要求3所述的方法,其特征在于,所述基于存在强灯光的候选目标对象的特征信息,从所述视频流中确定与所述存在强灯光的候选目标对象匹配的原始目标对象,包括:
从所述视频流中获取最后一帧图像具有灯光的跟踪序列;
基于所述存在强灯光的候选目标对象的特征信息与所述最后一帧图像具有灯光的跟踪序列中的最后一帧图像的特征信息,确定与所述存在强灯光的候选目标对象匹配的原始目标对象。
7.根据权利要求6所述的方法,其特征在于,所述特征信息包括相似程度;所述基于所述存在强灯光的候选目标对象的特征信息与所述最后一帧图像具有灯光的跟踪序列中的最后一帧图像的特征信息,确定与所述存在强灯光的候选目标对象匹配的原始目标对象,包括:
若所述存在强灯光的候选目标对象与所述最后一帧图像具有灯光的跟踪序列中的最后一帧图像的相似程度达到预设程度,则确定所述最后一帧图像具有灯光的跟踪序列中检测框区域内的目标对象,为与所述存在强灯光的候选目标对象匹配的原始目标对象。
8.根据权利要求6或7所述的方法,其特征在于,所述特征信息包括相似程度,所述相似程度包括外观相似程度、位置相似程度以及形状相似程度;
所述基于所述存在强灯光的候选目标对象的特征信息与所述最后一帧图像具有灯光的跟踪序列中的最后一帧图像的特征信息,确定与所述存在强灯光的候选目标对象匹配的原始目标对象,还包括:
若所述存在强灯光的候选目标对象与所述最后一帧图像具有灯光的跟踪序列中的最后一帧图像的外观相似程度低于预设程度,但所述存在强灯光的候选目标对象与所述最后一帧图像具有灯光的跟踪序列中的最后一帧图像的位置相似程度以及形状相似程度达到预设程度,则确定所述最后一帧图像具有灯光的跟踪序列中检测框区域内的目标对象,为与所述存在强灯光的候选目标对象匹配的原始目标对象。
9.一种目标跟踪装置,其特征在于,所述装置包括:
目标检测框区域获取模块,用于从视频流中获取目标检测框区域;所述目标检测框区域包括被遮挡的候选目标对象和/或存在强灯光的候选目标对象;
原始目标对象确定模块,用于基于所述目标检测框区域内所包含候选目标对象的特征信息,从所述视频流中确定与所述候选目标对象匹配的原始目标对象;
跟踪结果输出模块,用于合并所述目标检测框区域内的候选目标对象与所述原始目标对象,得到与所述原始目标对象相应跟踪号的跟踪结果。
10.一种电子设备,其特征在于,包括:处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1-8中任一项所述目标跟踪方法的步骤。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述目标跟踪方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210295903.1A CN114708533A (zh) | 2022-03-24 | 2022-03-24 | 目标跟踪方法、装置、设备及存储介质 |
PCT/CN2023/083239 WO2023179697A1 (zh) | 2022-03-24 | 2023-03-23 | 目标跟踪方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210295903.1A CN114708533A (zh) | 2022-03-24 | 2022-03-24 | 目标跟踪方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114708533A true CN114708533A (zh) | 2022-07-05 |
Family
ID=82169966
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210295903.1A Pending CN114708533A (zh) | 2022-03-24 | 2022-03-24 | 目标跟踪方法、装置、设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114708533A (zh) |
WO (1) | WO2023179697A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116386152A (zh) * | 2023-03-09 | 2023-07-04 | 南京地铁运营有限责任公司 | 一种基于路边无道闸智慧停车管理系统 |
CN116709614A (zh) * | 2023-08-02 | 2023-09-05 | 深圳爱图仕创新科技股份有限公司 | 灯光控制方法、装置、计算机设备及计算机可读存储介质 |
WO2023179697A1 (zh) * | 2022-03-24 | 2023-09-28 | 阿里云计算有限公司 | 目标跟踪方法、装置、设备及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103208185B (zh) * | 2013-03-19 | 2016-07-20 | 东南大学 | 一种基于车灯识别的夜间车辆检测方法及系统 |
CN103903282A (zh) * | 2014-04-08 | 2014-07-02 | 陕西科技大学 | 一种基于LabVIEW的目标跟踪方法 |
CN105095905B (zh) * | 2014-04-18 | 2018-06-22 | 株式会社理光 | 目标识别方法和目标识别装置 |
CN105374050B (zh) * | 2015-10-12 | 2019-10-18 | 浙江宇视科技有限公司 | 运动目标跟踪恢复方法及装置 |
CN109325967B (zh) * | 2018-09-14 | 2023-04-07 | 腾讯科技(深圳)有限公司 | 目标跟踪方法、装置、介质以及设备 |
CN111145214A (zh) * | 2019-12-17 | 2020-05-12 | 深圳云天励飞技术有限公司 | 目标跟踪方法、装置、终端设备及介质 |
CN111738053B (zh) * | 2020-04-15 | 2022-04-01 | 上海摩象网络科技有限公司 | 一种跟踪对象确定方法、设备和手持相机 |
CN114708533A (zh) * | 2022-03-24 | 2022-07-05 | 阿里云计算有限公司 | 目标跟踪方法、装置、设备及存储介质 |
-
2022
- 2022-03-24 CN CN202210295903.1A patent/CN114708533A/zh active Pending
-
2023
- 2023-03-23 WO PCT/CN2023/083239 patent/WO2023179697A1/zh unknown
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023179697A1 (zh) * | 2022-03-24 | 2023-09-28 | 阿里云计算有限公司 | 目标跟踪方法、装置、设备及存储介质 |
CN116386152A (zh) * | 2023-03-09 | 2023-07-04 | 南京地铁运营有限责任公司 | 一种基于路边无道闸智慧停车管理系统 |
CN116709614A (zh) * | 2023-08-02 | 2023-09-05 | 深圳爱图仕创新科技股份有限公司 | 灯光控制方法、装置、计算机设备及计算机可读存储介质 |
CN116709614B (zh) * | 2023-08-02 | 2023-10-20 | 深圳爱图仕创新科技股份有限公司 | 灯光控制方法、装置、计算机设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2023179697A1 (zh) | 2023-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114708533A (zh) | 目标跟踪方法、装置、设备及存储介质 | |
CN106297278B (zh) | 一种用于查询抛洒物车辆的方法和系统 | |
WO2018153211A1 (zh) | 获取交通路况信息的方法及装置、计算机存储介质 | |
CN108021856B (zh) | 车辆尾灯识别方法、装置及车辆 | |
CN112258668A (zh) | 基于高位摄像头对路边车辆停车行为的检测方法 | |
CN103325258A (zh) | 基于视频处理的闯红灯检测装置及其方法 | |
CN113850123A (zh) | 基于视频的公路监控方法及装置、存储介质和监控系统 | |
CN101727748A (zh) | 一种基于车辆尾灯检测的车辆监控方法、系统和设备 | |
CN109427191B (zh) | 一种行驶检测方法及装置 | |
CN113470371B (zh) | 识别违规车辆的方法、系统和计算机可读存储介质 | |
CN103366569A (zh) | 实时抓拍交通违章车辆的方法及系统 | |
CN108932849B (zh) | 一种记录多台机动车低速行驶违法行为的方法及装置 | |
US9665783B2 (en) | Night parking detection | |
CN105046966A (zh) | 即停即离区域的违章停车行为自动检测系统和方法 | |
CN105574502A (zh) | 一种自助发卡机违章行为自动检测方法 | |
JP2015090679A (ja) | 車両軌跡抽出方法、車両領域抽出方法、車両速度推定方法、車両軌跡抽出プログラム、車両領域抽出プログラム、車両速度推定プログラム、車両軌跡抽出システム、車両領域抽出システム、及び、車両速度推定システム | |
CN114781479A (zh) | 交通事件检测方法及装置 | |
CN115761668A (zh) | 摄像头的污渍识别方法、装置、车辆及存储介质 | |
CN111105619A (zh) | 一种路侧逆向停车的判断方法及装置 | |
Blumer et al. | Cost-effective single-camera multi-car parking monitoring and vacancy detection towards real-world parking statistics and real-time reporting | |
CN113034918B (zh) | 一种车辆远光灯变道持续跟踪方法 | |
Yuliandoko et al. | Automatic vehicle counting using Raspberry pi and background subtractions method in the sidoarjo toll road | |
Ku et al. | Visual motorcycle detection and tracking algorithms | |
CN111523368B (zh) | 信息处理装置、服务器以及交通管理系统 | |
CN105389991A (zh) | 一种自适应的闯红灯抓拍方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |