CN114387296A - 目标轨迹追踪方法、装置、计算机设备及存储介质 - Google Patents
目标轨迹追踪方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN114387296A CN114387296A CN202210016397.8A CN202210016397A CN114387296A CN 114387296 A CN114387296 A CN 114387296A CN 202210016397 A CN202210016397 A CN 202210016397A CN 114387296 A CN114387296 A CN 114387296A
- Authority
- CN
- China
- Prior art keywords
- target
- tracking
- information
- queue
- targets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种目标轨迹追踪方法、装置、计算机设备及存储介质。所述方法包括以下步骤:对目标队列中的目标的每一帧图片进行目标检测以获取目标信息;对所述目标信息进行目标特征提取,得到提取信息;基于所述提取信息构建特征数据集;基于所述特征数据集更新所述目标队列;根据预设的追踪条件判断是否终止追踪所述目标队列中的目标;若终止追踪所述目标队列中的目标,则获取终止追踪的目标的运动轨迹并将终止追踪的目标从所述目标队列中移除,所述运动轨迹由终止追踪的目标在连续多帧图片上的位置信息构成。通过实施本发明实施例的方法能够有效地解决目标运动轨迹捕获问题,同时提升了整体城市交叉路口等交通事件监管系统的效率。
Description
技术领域
本发明涉及交通目标追踪领域,更具体地说是指一种目标轨迹追踪方法、装置、计算机设备及存储介质。
背景技术
随着智慧交通、智慧城市的不断发展的大潮流下,基于视频的深度学习方案被逐步应用于城市智慧交通。与此同时对交通参与者的精确定位、识别,以及复杂交通事件的分析、认知提出了更加高的要求。
目标轨迹,作为交通参与者行为分析、交通事件判定的基础指标显得尤为重要。只有获取目标的有效轨迹,才能对目标进行准确的行为分析,然后判定目标是否违反交通法规,对场景中的交通情况进行实时监测。
以城市道路交叉路口为场景(但不局限于城市道路交叉路口),以视频为基础,能够有效获取交通参与者目标经过路口时的连续图片;结合深度学习算法,对出现在图像视野中的目标进行识别和定位,获取目标在每一帧图片上的位置;基于捕获的连续帧的目标位置和类别,恢复其在场景中的运动轨迹,完成对目标的追踪。由于场景中交通参与者目标的数量、位置、速度等有着极大的不确定性,因此在基于深度学习获取单张图片上目标类别和位置的基础上,需要对相邻帧图片上同一目标进行准确配对,或者基于前一帧已知的单一目标特征的基础上,获取未来帧图像上同一目标的位置。但由于路口极为复杂的交通状况(遮挡、相似干扰等),为无遗漏且准确获取每一出现的交通参与者目标的轨迹带来了巨大的挑战。主要表现为以下几点:1)多个目标同时经过路口时,存在较大幅度的遮挡,这为使用目标的特征比对来完成相邻帧同一目标的匹配带来的较大的困难;2)当出现完全遮挡、或深度学习检测目标失败的情况下,会导致短时间内目标的轨迹断开,因此需要在缺少部分特征条件下,实现对目标位置在未来帧上的预测,降低目标消失无法恢复的概率;3)需要顾及单帧图片处理和完成当前追踪的效率,保证目标在相邻处理帧之间不要存在过大的位移,保证目标被持续追踪的概率;4)同一目标在相邻帧图像上的尺度、特征都会存在差异,这直接导致追踪的难度增加。
发明内容
本发明的目的在于克服现有技术的缺陷,提供一种目标轨迹追踪方法、装置、计算机设备及存储介质。
为实现上述目的,本发明采用以下技术方案:
第一方面,本发明实施例提供了一种目标轨迹追踪方法,包括以下步骤:
对目标队列中的目标的每一帧图片进行目标检测以获取目标信息;
对所述目标信息进行目标特征提取,得到提取信息;
基于所述提取信息构建特征数据集;
基于所述特征数据集更新所述目标队列;
根据预设的追踪条件判断是否终止追踪所述目标队列中的目标;
若终止追踪所述目标队列中的目标,则获取终止追踪的目标的运动轨迹并将终止追踪的目标从所述目标队列中移除,所述运动轨迹由终止追踪的目标在连续多帧图片上的位置信息构成。
其进一步技术方案为:所述对目标队列中的目标的每一帧图片进行目标检测以获取目标信息的步骤,包括:
通过预设的摄像头对目标队列中的目标进行拍摄,以获取目标的每一帧图片;
通过预设的深度学习模型对每一帧图片进行目标检测以获取目标信息。
其进一步技术方案为:所述目标信息包括目标的位置、类别、目标的左上角坐标以及右上角坐标。
其进一步技术方案为:所述对所述目标信息进行目标特征提取,得到提取信息的步骤,包括:
将目标的左上角坐标以及右上角坐标围成的矩形框进行截取处理得到的局部抠图作为提取信息。
其进一步技术方案为:所述基于所述提取信息构建特征数据集的步骤,包括:
将所述提取信息进行哈希值计算,构建提取信息的全局特征;
对所述提取信息进行尺度不变特征变换,构建提取信息的局部关键点特征;
对所述提取信息进行滤波计算,构建提取信息的纹理特征;
将所述全局特征、所述局部关键点特征和所述纹理特征进行组合,得到特征数据集。
其进一步技术方案为:所述基于所述特征数据集更新所述目标队列的步骤,包括:
基于所述特征数据集对所述目标队列中的目标进行更新,以及对新增的目标进行标记追踪并将新增的目标放入所述目标队列。
其进一步技术方案为:所述基于所述特征数据集对所述目标队列中的目标进行更新的步骤,包括:
基于所述特征数据集采用特征比对策略对目标队列中的目标进行第一次状态更新,并判断第一次状态更新是否更新成功;
若第一次状态更新失败,则采用模板搜索匹配策略对目标队列中的目标进行第二次状态更新;
对目标队列中的目标采用位置校正策略进行第三次状态更新。
其进一步技术方案为:所述预设的追踪条件包括:有效追踪区域、追踪距离和追踪时间。
第二方面,本发明实施例还提供了一种目标轨迹追踪装置,包括:
检测单元,用于对目标队列中的目标的每一帧图片进行目标检测以获取目标信息;
提取单元,用于对所述目标信息进行目标特征提取,得到提取信息;
构建单元,用于基于所述提取信息构建特征数据集;
更新单元,用于基于所述特征数据集更新所述目标队列;
判断单元,用于根据预设的追踪条件判断是否终止追踪所述目标队列中的目标;
获取单元,用于若终止追踪所述目标队列中的目标,则获取终止追踪的目标的运动轨迹并将终止追踪的目标从所述目标队列中移除,所述运动轨迹由终止追踪的目标在连续多帧图片上的位置信息构成。
第三方面,本发明实施例还提供了一种计算机设备,所述计算机设备包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现如上所述的方法。
第四方面,本发明实施例还提供了一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的方法。
本发明与现有技术相比的有益效果是:本发明实施例一种目标轨迹追踪方法,综合考虑城市路口中交通复杂性、随机性,以及目标追踪单帧图像处理效率、整体资源消耗的情况下,结合基于深度学习检测到的目标位置和类别为数据基础,融合多策略模式,在不同条件下自适应的选择最优策略,完成场景中的交通参与者目标的轨迹追踪。能够有效地解决目标运动轨迹捕获问题,同时提升了整体城市交叉路口等交通截面的交通事件监管系统的效率,具有一定的社会效益和经济效益。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的目标轨迹追踪方法的应用场景示意图;
图2为本发明实施例提供的目标轨迹追踪方法的流程示意图;
图3为本发明实施例提供的目标轨迹追踪方法的子流程示意图;
图4为本发明实施例提供的目标轨迹追踪方法的子流程示意图;
图5为本发明实施例提供的目标轨迹追踪方法的子流程示意图;
图6为本发明实施例提供的目标轨迹追踪装置的示意性框图;
图7为本发明实施例提供的目标轨迹追踪装置的检测单元的示意性框图;
图8为本发明实施例提供的目标轨迹追踪装置的提取单元的示意性框图;
图9为本发明实施例提供的目标轨迹追踪装置的构建单元的示意性框图;
图10为本发明实施例提供的目标轨迹追踪装置的更新单元的示意性框图;
图11为本发明实施例提供的目标轨迹追踪装置的更新子单元的示意性框图;以及
图12为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
请参阅图1和图2,图1为本发明实施例提供的目标轨迹追踪方法的应用场景示意图。图2为本发明实施例提供的目标轨迹追踪方法的示意性流程图。该目标轨迹追踪方法应用于服务器中。摄像头获取的图片发送至服务器,以使服务器可以对图片进行处理、并基于处理后的结果更新目标队列,最后根据预设的追踪条件结束对目标的追踪以获取目标的轨迹。
图2是本发明实施例提供的目标轨迹追踪方法的流程示意图。如图2所示,该方法包括以下步骤S110至S150。
S110、对目标队列中的目标的每一帧图片进行目标检测以获取目标信息。
如图3所示,在一实施例中,所述步骤S110可包括步骤S111至S112。
S111、通过预设的摄像头对目标队列中的目标进行拍摄,以获取目标的每一帧图片。
S112、通过预设的深度学习模型对每一帧图片进行目标检测以获取目标信息。
在本实施例中,充分综合考虑了交通参与者目标在路口中行为的随机性和复杂性,以及算法资源消耗、时间效率等因素,基于视频的深度学习模型,会对摄像头传输过来的图片进行目标的检测(目标包括但不限于交通参与者),得到场景中交通参与者在当前帧图片下的信息。
S120、对目标信息进行目标特征提取,得到提取信息。
在一实施例中,目标信息包括目标的位置、类别、目标的左上角坐标以及右上角坐标。
在一实施例中,所述步骤S120可包括步骤S121。
S121、将目标的左上角坐标以及右上角坐标围成的矩形框进行截取处理得到的局部抠图作为提取信息。
在本实施例中,对目标信息进行提取,将目标的左上角坐标以及右上角坐标围成的矩形框进行截取处理得到的局部抠图作为提取信息,方便与已存在的非追踪完成的目标进行特征比对。
S130、基于提取信息构建特征数据集。
在一实施例中,如图4所示,所述步骤S130可包括步骤S131至S134。
S131、将提取信息进行哈希值计算,构建提取信息的全局特征。
S132、对提取信息进行尺度不变特征变换,构建提取信息的局部关键点特征。
S133、对提取信息进行滤波计算,构建提取信息的纹理特征。
S134、将全局特征、局部关键点特征和纹理特征进行组合,得到特征数据集。
在本实施例中,通过构建提取信息的全局特征、局部关键点特征和纹理特征,完成了对当前帧中检测到目标的特征提取,形成了目标的身份识别。
S140、基于特征数据集更新目标队列。
在一实施例中,所述步骤S140可包括步骤S141。
S141、基于特征数据集对目标队列中的目标进行更新,以及对新增的目标进行标记追踪并将新增的目标放入目标队列。
如图5所示,在一实施例中,基于特征数据集对目标队列中的目标进行更新的步骤可包括步骤S1411至S1413。
S1411、基于特征数据集采用特征比对策略对目标队列中的目标进行第一次状态更新,并判断第一次状态更新是否更新成功。
在本实施例中,采用特征比对策略,可以快速的筛选出和种子目标匹配的目标新位置,完成追踪目标在当前帧图片上的状态更新。此策略简单直接、可以有很好地效率,特别是在同一时间追踪目标较少且目标运行中没有出现轨迹重叠交叉时。但实际场景中,目标同时出现数量多,轨迹随机,相互遮挡是大概率事件,此策略则会得到置信度很低的结果或者直接追踪失效。
S1412、若第一次状态更新失败,则采用模板搜索匹配策略对目标队列中的目标进行第二次状态更新。
在本实施例中,在采用特征比对策略对目标在当前帧图像上追踪失败的情况下,采取模板匹配策略的方式对目标新的追踪位置进行一个搜索预测。即使在特征比对策略失败的情况下,种子目标也拥有其在前一帧图像下的位置、特征等。基于目标在前一帧图像下的位置,可以大致划定目标在当前帧图片上可能的位置区域,记做predict_area;基于目标在前一帧图像下检测框大小、特征集,可以构建一个目标模板,使用此目标模板在predict_area上进行匹配搜索,预测目标最大概率出现的位置。模板匹配搜索虽然计算复杂度更高,但是在局部小范围内计算依旧高效,同时计算结果一定能够得到一个预测结果作为目标新位置的更新,记为predict_res,保证了目标追踪的连续性。但是,由于前后帧同一目标的大小、周围场景、图像光线等都存在随机性和不断变化性,这些因素直接导致模板搜索匹配的预测结果存在一定的误差,主要表现在位置上,特别是在图像远端目标较小时表现最为明显。
S1413、对目标队列中的目标采用位置校正策略进行第三次状态更新。
在本实施例中,基于模板搜索匹配策略得到目标新位置存在一定误差,当目标在图像中较小时变现最为明显,并且如果持续以模板搜索匹配的结果进行目标新位置更新,位置误差会积累扩大。在前面获取目标信息中获取了当前帧所有目标的准确位置,此数据基础用来对模板搜索匹配策略更新的追踪目标进行校正。模板搜索匹配策略更新的目标新位置存在的误差是在真实位置基础上的偏移,因此基于模板搜索匹配策略更新的目标新位置,根据计算重叠度指标,在前面获取目标信息中检测到的目标的位置中去搜寻到最可能的真实位置,从而对目标新位置进行校正,保证种子目标的状态信息的准确性,保证后续追踪的精度。
以上述策略融合使用,且使用一定的择优逻辑,构成了整体的目标追踪算法。在实际使用中,可以根据实际使用场景,自适应的调整策略融合使用的顺序、相互衔接的逻辑条件,以达到最好的应用效果。
S150、根据预设的追踪条件判断是否终止追踪目标队列中的目标。
在一实施例中,预设的追踪参数包括:有效追踪区域、追踪距离和追踪时间。
S160、若终止追踪目标队列中的目标,则获取终止追踪的目标的运动轨迹并将终止追踪的目标从目标队列中移除,运动轨迹由终止追踪的目标在连续多帧图片上的位置信息构成。
在本实施例中,若不终止追踪目标队列中的目标,则持续更新目标队列,通过设定目标追踪结束的条件,帮助单个目标完成追踪计算。通过设定有效追踪区域、最远追踪距离、最长追踪时间等,结束单个目标的追踪,获取得到完整的运动轨迹,为目标的行为分析、城市路口交通事件分析提供数据基础。
本发明实施例一种目标轨迹追踪方法,综合考虑城市路口中交通复杂性、随机性,以及目标追踪单帧图像处理效率、整体资源消耗的情况下,结合基于深度学习检测到的目标位置和类别为数据基础,融合多策略模式,在不同条件下自适应的选择最优策略,完成场景中的交通参与者目标的轨迹追踪。能够有效地解决目标运动轨迹捕获问题,同时提升了整体城市交叉路口等交通截面的交通事件监管系统的效率,具有一定的社会效益和经济效益。
图6是本发明实施例提供的一种目标轨迹追踪装置300的示意性框图。如图6所示,对应于以上目标轨迹追踪方法,本发明还提供一种目标轨迹追踪装置300。该目标轨迹追踪装置300包括用于执行上述目标轨迹追踪方法的单元,该装置300可以被配置于台式电脑、平板电脑、手提电脑、等终端中。具体地,请参阅图6,该目标轨迹追踪装置300包括检测单元301、提取单元302、构建单元303、更新单元304、判断单元305及获取单元306。
检测单元301,用于对目标队列中的目标的每一帧图片进行目标检测以获取目标信息。
如图7所示,在一实施例中,检测单元301包括拍摄模块3011和检测模块3012。
拍摄模块3011,用于通过预设的摄像头对目标队列中的目标进行拍摄,以获取目标的每一帧图片。
检测模块3012,用于通过预设的深度学习模型对每一帧图片进行目标检测以获取目标信息。
在本实施例中,充分综合考虑了交通参与者目标在路口中行为的随机性和复杂性,以及算法资源消耗、时间效率等因素,基于视频的深度学习模型,会对摄像头传输过来的图片进行目标的检测(目标包括但不限于交通参与者),得到场景中交通参与者在当前帧图片下的信息。
提取单元302,用于对所述目标信息进行目标特征提取,得到提取信息。
在一实施例中,目标信息包括目标的位置、类别、目标的左上角坐标以及右上角坐标。
如图8所示,在一实施例中,提取单元302包括截取模块3021。
截取模块3021,用于将目标的左上角坐标以及右上角坐标围成的矩形框进行截取处理得到的局部抠图作为提取信息。
在本实施例中,对目标信息进行提取,将目标的左上角坐标以及右上角坐标围成的矩形框进行截取处理得到的局部抠图作为提取信息,方便与已存在的非追踪完成的目标进行特征比对。
构建单元303,用于基于所述提取信息构建特征数据集。
如图9所示,在一实施例中,构建单元303包括第一计算子单元3031、特征变换子单元3032、第二计算子单元3033以及组合子单元3034。
第一计算子单元3031,用于将提取信息进行哈希值计算,构建提取信息的全局特征。
特征变换子单元3032,用于对提取信息进行尺度不变特征变换,构建提取信息的局部关键点特征。
第二计算子单元3033,用于对提取信息进行滤波计算,构建提取信息的纹理特征。
组合子单元3034,用于将全局特征、局部关键点特征和纹理特征进行组合,得到特征数据集。
在本实施例中,通过构建提取信息的全局特征、局部关键点特征和纹理特征,完成了对当前帧中检测到目标的特征提取,形成了目标的身份识别。
更新单元304,用于基于所述特征数据集更新所述目标队列。
如图10所示,在一实施例中,更新单元304包括更新子单元3041。
更新子单元3041,用于基于特征数据集对目标队列中的目标进行更新,以及对新增的目标进行标记追踪并将新增的目标放入目标队列。
如图11所示,在一实施例中,更新子单元3041包括特征比对模块30411、模板搜索匹配模块30412和位置校正模块30413。
特征比对模块30411,用于基于特征数据集采用特征比对策略对目标队列中的目标进行第一次状态更新,并判断第一次状态更新是否更新成功。
在本实施例中,采用特征比对策略,可以快速的筛选出和种子目标匹配的目标新位置,完成追踪目标在当前帧图片上的状态更新。此策略简单直接、可以有很好地效率,特别是在同一时间追踪目标较少且目标运行中没有出现轨迹重叠交叉时。但实际场景中,目标同时出现数量多,轨迹随机,相互遮挡是大概率事件,此策略则会得到置信度很低的结果或者直接追踪失效。
模板搜索匹配模块30412,用于若第一次状态更新失败,则采用模板搜索匹配策略对目标队列中的目标进行第二次状态更新。
在本实施例中,在采用特征比对策略对目标在当前帧图像上追踪失败的情况下,采取模板匹配策略的方式对目标新的追踪位置进行一个搜索预测。即使在特征比对策略失败的情况下,种子目标也拥有其在前一帧图像下的位置、特征等。基于目标在前一帧图像下的位置,可以大致划定目标在当前帧图片上可能的位置区域,记做predict_area;基于目标在前一帧图像下检测框大小、特征集,可以构建一个目标模板,使用此目标模板在predict_area上进行匹配搜索,预测目标最大概率出现的位置。模板匹配搜索虽然计算复杂度更高,但是在局部小范围内计算依旧高效,同时计算结果一定能够得到一个预测结果作为目标新位置的更新,记为predict_res,保证了目标追踪的连续性。但是,由于前后帧同一目标的大小、周围场景、图像光线等都存在随机性和不断变化性,这些因素直接导致模板搜索匹配的预测结果存在一定的误差,主要表现在位置上,特别是在图像远端目标较小时表现最为明显。
位置校正模块30413,用于对目标队列中的目标采用位置校正策略进行第三次状态更新。
在本实施例中,基于模板搜索匹配策略得到目标新位置存在一定误差,当目标在图像中较小时变现最为明显,并且如果持续以模板搜索匹配的结果进行目标新位置更新,位置误差会积累扩大。在前面获取目标信息中获取了当前帧所有目标的准确位置,此数据基础用来对模板搜索匹配策略更新的追踪目标进行校正。模板搜索匹配策略更新的目标新位置存在的误差是在真实位置基础上的偏移,因此基于模板搜索匹配策略更新的目标新位置,根据计算重叠度指标,在前面获取目标信息中检测到的目标的位置中去搜寻到最可能的真实位置,从而对目标新位置进行校正,保证种子目标的状态信息的准确性,保证后续追踪的精度。
以上述策略融合使用,且使用一定的择优逻辑,构成了整体的目标追踪算法。在实际使用中,可以根据实际使用场景,自适应的调整策略融合使用的顺序、相互衔接的逻辑条件,以达到最好的应用效果。
判断单元305,用于根据预设的追踪条件判断是否终止追踪所述目标队列中的目标。
在一实施例中,预设的追踪参数包括:有效追踪区域、追踪距离和追踪时间。
获取单元306,用于若终止追踪所述目标队列中的目标,则获取终止追踪的目标的运动轨迹并将终止追踪的目标从所述目标队列中移除,所述运动轨迹由终止追踪的目标在连续多帧图片上的位置信息构成。
在本实施例中,若不终止追踪目标队列中的目标,则持续更新目标队列,通过设定目标追踪结束的条件,帮助单个目标完成追踪计算。通过设定有效追踪区域、最远追踪距离、最长追踪时间等,结束单个目标的追踪,获取得到完整的运动轨迹,为目标的行为分析、城市路口交通事件分析提供数据基础。
本发明实施例一种目标轨迹追踪装置,综合考虑城市路口中交通复杂性、随机性,以及目标追踪单帧图像处理效率、整体资源消耗的情况下,结合基于深度学习检测到的目标位置和类别为数据基础,融合多策略模式,在不同条件下自适应的选择最优策略,完成场景中的交通参与者目标的轨迹追踪。能够有效地解决目标运动轨迹捕获问题,同时提升了整体城市交叉路口等交通截面的交通事件监管系统的效率,具有一定的社会效益和经济效益。
需要说明的是,所属领域的技术人员可以清楚地了解到,上述目标轨迹追踪装置和各单元的具体实现过程,可以参考前述方法实施例中的相应描述,为了描述的方便和简洁,在此不再赘述。
上述目标轨迹追踪装置可以实现为一种计算机程序的形式,该计算机程序可以在如图12所示的计算机设备上运行。
请参阅图12,图12是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是终端,也可以是服务器,其中,终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。服务器可以是独立的服务器,也可以是多个服务器组成的服务器集群。
参阅图12,该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505,其中,存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令,该程序指令被执行时,可使得处理器502执行一种目标轨迹追踪方法。
该处理器502用于提供计算和控制能力,以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境,该计算机程序5032被处理器502执行时,可使得处理器502执行一种目标轨迹追踪方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解,图12中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备500的限定,具体的计算机设备500可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,所述处理器502用于运行存储在存储器中的计算机程序5032,以实现如下步骤:
对目标队列中的目标的每一帧图片进行目标检测以获取目标信息;
对所述目标信息进行目标特征提取,得到提取信息;
基于所述提取信息构建特征数据集;
基于所述特征数据集更新所述目标队列;
根据预设的追踪条件判断是否终止追踪所述目标队列中的目标;
若终止追踪所述目标队列中的目标,则获取终止追踪的目标的运动轨迹并将终止追踪的目标从所述目标队列中移除,所述运动轨迹由终止追踪的目标在连续多帧图片上的位置信息构成。
在一实施例中,处理器502在实现所述对目标队列中的目标的每一帧图片进行目标检测以获取目标信息的步骤时,具体实现如下步骤:
通过预设的摄像头对目标队列中的目标进行拍摄,以获取目标的每一帧图片;
通过预设的深度学习模型对每一帧图片进行目标检测以获取目标信息。
在一实施例中,所述目标信息包括目标的位置、类别、目标的左上角坐标以及右上角坐标。
在一实施例中,处理器502在实现所述对所述目标信息进行目标特征提取,得到提取信息的步骤时,具体实现如下步骤:
将目标的左上角坐标以及右上角坐标围成的矩形框进行截取处理得到的局部抠图作为提取信息。
其进一步技术方案为:所述基于所述提取信息构建特征数据集的步骤,包括:
将所述提取信息进行哈希值计算,构建提取信息的全局特征;
对所述提取信息进行尺度不变特征变换,构建提取信息的局部关键点特征;
对所述提取信息进行滤波计算,构建提取信息的纹理特征;
将所述全局特征、所述局部关键点特征和所述纹理特征进行组合,得到特征数据集。
在一实施例中,处理器502在实现所述基于所述特征数据集更新所述目标队列的步骤时,具体实现如下步骤:
基于所述特征数据集对所述目标队列中的目标进行更新,以及对新增的目标进行标记追踪并将新增的目标放入所述目标队列。
在一实施例中,处理器502在实现所述基于所述特征数据集对所述目标队列中的目标进行更新的步骤时,具体实现如下步骤:
基于所述特征数据集采用特征比对策略对目标队列中的目标进行第一次状态更新,并判断第一次状态更新是否更新成功;
若第一次状态更新失败,则采用模板搜索匹配策略对目标队列中的目标进行第二次状态更新;
对目标队列中的目标采用位置校正策略进行第三次状态更新。
在一实施例中,所述预设的追踪条件包括:有效追踪区域、追踪距离和追踪时间。
应当理解,在本申请实施例中,处理器502可以是中央处理单元 (CentralProcessing Unit,CPU),该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路 (Application Specific IntegratedCircuit,ASIC)、现成可编程门阵列 (Field-Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令,计算机程序可存储于一存储介质中,该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行,以实现上述方法的实施例的流程步骤。
因此,本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序,其中该计算机程序被处理器执行时使处理器执行如下步骤:
对目标队列中的目标的每一帧图片进行目标检测以获取目标信息;
对所述目标信息进行目标特征提取,得到提取信息;
基于所述提取信息构建特征数据集;
基于所述特征数据集更新所述目标队列;
根据预设的追踪条件判断是否终止追踪所述目标队列中的目标;
若终止追踪所述目标队列中的目标,则获取终止追踪的目标的运动轨迹并将终止追踪的目标从所述目标队列中移除,所述运动轨迹由终止追踪的目标在连续多帧图片上的位置信息构成。
在一实施例中,所述处理器在执行所述计算机程序而实现所述对目标队列中的目标的每一帧图片进行目标检测以获取目标信息的步骤时,具体实现如下步骤:
通过预设的摄像头对目标队列中的目标进行拍摄,以获取目标的每一帧图片;
通过预设的深度学习模型对每一帧图片进行目标检测以获取目标信息。
在一实施例中,所述目标信息包括目标的位置、类别、目标的左上角坐标以及右上角坐标。
在一实施例中,所述处理器在执行所述计算机程序而实现对所述目标信息进行目标特征提取,得到提取信息的步骤时,具体实现如下步骤:
将目标的左上角坐标以及右上角坐标围成的矩形框进行截取处理得到的局部抠图作为提取信息。
其进一步技术方案为:所述基于所述提取信息构建特征数据集的步骤,包括:
将所述提取信息进行哈希值计算,构建提取信息的全局特征;
对所述提取信息进行尺度不变特征变换,构建提取信息的局部关键点特征;
对所述提取信息进行滤波计算,构建提取信息的纹理特征;
将所述全局特征、所述局部关键点特征和所述纹理特征进行组合,得到特征数据集。
在一实施例中,所述处理器在执行所述计算机程序而实现所述基于所述特征数据集更新所述目标队列的步骤时,具体实现如下步骤:
基于所述特征数据集对所述目标队列中的目标进行更新,以及对新增的目标进行标记追踪并将新增的目标放入所述目标队列。
在一实施例中,所述处理器在执行所述计算机程序而实现所述基于所述特征数据集对所述目标队列中的目标进行更新的步骤时,具体实现如下步骤:
基于所述特征数据集采用特征比对策略对目标队列中的目标进行第一次状态更新,并判断第一次状态更新是否更新成功;
若第一次状态更新失败,则采用模板搜索匹配策略对目标队列中的目标进行第二次状态更新;
对目标队列中的目标采用位置校正策略进行第三次状态更新。
在一实施例中,所述预设的追踪条件包括:有效追踪区域、追踪距离和追踪时间。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的。例如,各个单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,终端,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (11)
1.一种目标轨迹追踪方法,其特征在于,包括以下步骤:
对目标队列中的目标的每一帧图片进行目标检测以获取目标信息;
对所述目标信息进行目标特征提取,得到提取信息;
基于所述提取信息构建特征数据集;
基于所述特征数据集更新所述目标队列;
根据预设的追踪条件判断是否终止追踪所述目标队列中的目标;
若终止追踪所述目标队列中的目标,则获取终止追踪的目标的运动轨迹并将终止追踪的目标从所述目标队列中移除,所述运动轨迹由终止追踪的目标在连续多帧图片上的位置信息构成。
2.根据权利要求1所述的目标轨迹追踪方法,其特征在于,所述对目标队列中的目标的每一帧图片进行目标检测以获取目标信息的步骤,包括:
通过预设的摄像头对目标队列中的目标进行拍摄,以获取目标的每一帧图片;
通过预设的深度学习模型对每一帧图片进行目标检测以获取目标信息。
3.根据权利要求1所述的目标轨迹追踪方法,其特征在于,所述目标信息包括目标的位置、类别、目标的左上角坐标以及右上角坐标。
4.根据权利要求3所述的目标轨迹追踪方法,其特征在于,所述对所述目标信息进行目标特征提取,得到提取信息的步骤,包括:
将目标的左上角坐标以及右上角坐标围成的矩形框进行截取处理得到的局部抠图作为提取信息。
5.根据权利要求1所述的目标轨迹追踪方法,其特征在于,所述基于所述提取信息构建特征数据集的步骤,包括:
将所述提取信息进行哈希值计算,构建提取信息的全局特征;
对所述提取信息进行尺度不变特征变换,构建提取信息的局部关键点特征;
对所述提取信息进行滤波计算,构建提取信息的纹理特征;
将所述全局特征、所述局部关键点特征和所述纹理特征进行组合,得到特征数据集。
6.根据权利要求1所述的目标轨迹追踪方法,其特征在于,所述基于所述特征数据集更新所述目标队列的步骤,包括:
基于所述特征数据集对所述目标队列中的目标进行更新,以及对新增的目标进行标记追踪并将新增的目标放入所述目标队列。
7.根据权利要求6所述的目标轨迹追踪方法,其特征在于,所述基于所述特征数据集对所述目标队列中的目标进行更新的步骤,包括:
基于所述特征数据集采用特征比对策略对目标队列中的目标进行第一次状态更新,并判断第一次状态更新是否更新成功;
若第一次状态更新失败,则采用模板搜索匹配策略对目标队列中的目标进行第二次状态更新;
对目标队列中的目标采用位置校正策略进行第三次状态更新。
8.根据权利要求1所述的目标轨迹追踪方法,其特征在于,所述预设的追踪条件包括:有效追踪区域、追踪距离和追踪时间。
9.一种目标轨迹追踪装置,其特征在于,包括:
检测单元,用于对目标队列中的目标的每一帧图片进行目标检测以获取目标信息;
提取单元,用于对所述目标信息进行目标特征提取,得到提取信息;
构建单元,用于基于所述提取信息构建特征数据集;
更新单元,用于基于所述特征数据集更新所述目标队列;
判断单元,用于根据预设的追踪条件判断是否终止追踪所述目标队列中的目标;
获取单元,用于若终止追踪所述目标队列中的目标,则获取终止追踪的目标的运动轨迹并将终止追踪的目标从所述目标队列中移除,所述运动轨迹由终止追踪的目标在连续多帧图片上的位置信息构成。
10.一种计算机设备,其特征在于,所述计算机设备包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述的方法。
11.一种存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210016397.8A CN114387296A (zh) | 2022-01-07 | 2022-01-07 | 目标轨迹追踪方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210016397.8A CN114387296A (zh) | 2022-01-07 | 2022-01-07 | 目标轨迹追踪方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114387296A true CN114387296A (zh) | 2022-04-22 |
Family
ID=81200512
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210016397.8A Pending CN114387296A (zh) | 2022-01-07 | 2022-01-07 | 目标轨迹追踪方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114387296A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116168421A (zh) * | 2023-04-13 | 2023-05-26 | 微网优联科技(成都)有限公司 | 一种基于ipc网络摄像机的目标追踪方法及系统 |
CN117974718A (zh) * | 2024-02-02 | 2024-05-03 | 北京视觉世界科技有限公司 | 目标检测追踪方法、装置、设备及存储介质 |
-
2022
- 2022-01-07 CN CN202210016397.8A patent/CN114387296A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116168421A (zh) * | 2023-04-13 | 2023-05-26 | 微网优联科技(成都)有限公司 | 一种基于ipc网络摄像机的目标追踪方法及系统 |
CN116168421B (zh) * | 2023-04-13 | 2023-07-25 | 微网优联科技(成都)有限公司 | 一种基于ipc网络摄像机的目标追踪方法及系统 |
CN117974718A (zh) * | 2024-02-02 | 2024-05-03 | 北京视觉世界科技有限公司 | 目标检测追踪方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108447091B (zh) | 目标定位方法、装置、电子设备及存储介质 | |
CN110555901B (zh) | 动静态场景的定位和建图方法、装置、设备和存储介质 | |
CN112883819A (zh) | 多目标跟踪方法、装置、系统及计算机可读存储介质 | |
CN110264493B (zh) | 一种针对运动状态下的多目标对象追踪方法和装置 | |
US8989506B1 (en) | Incremental image processing pipeline for matching multiple photos based on image overlap | |
CN112016353B (zh) | 一种基于视频的人脸图像进行身份识别方法及装置 | |
WO2023197232A1 (zh) | 目标跟踪方法及装置、电子设备、计算机可读介质 | |
CN111553234B (zh) | 融合人脸特征与Re-ID特征排序的行人跟踪方法及装置 | |
CN114387296A (zh) | 目标轨迹追踪方法、装置、计算机设备及存储介质 | |
CN111429476B (zh) | 确定目标人物行动轨迹的方法和装置 | |
CN111310728A (zh) | 基于监控相机和无线定位的行人重识别系统 | |
CN111476132A (zh) | 视频场景识别方法、装置及电子设备、存储介质 | |
CN113837006B (zh) | 一种人脸识别方法、装置、存储介质及电子设备 | |
CN113256683B (zh) | 目标跟踪方法及相关设备 | |
CN113470013A (zh) | 一种搬移物品的检测方法及装置 | |
CN116612493B (zh) | 一种行人地理轨迹提取方法及设备 | |
CN116258881A (zh) | 一种图像聚类方法、装置、终端及计算机可读存储介质 | |
CN113989914B (zh) | 一种基于人脸识别的安防监控方法及系统 | |
CN115249407B (zh) | 指示灯状态识别方法、装置、电子设备、存储介质及产品 | |
CN112802112B (zh) | 视觉定位方法、装置、服务器及存储介质 | |
JP7374632B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN111597980B (zh) | 一种目标对象聚类方法及装置 | |
CN111382628B (zh) | 同行判定方法及装置 | |
CN112966575A (zh) | 一种应用于智慧社区的目标人脸识别方法及装置 | |
CN112434671B (zh) | 一种行人快照优选方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 518000 No. a1901-07, building 11, Shenzhen Bay science and technology ecological park, No. 16, Keji South Road, community, high tech Zone, Yuehai street, Shenzhen, Guangdong Province, and No. 01-08, 20th floor Applicant after: SHENZHEN GENVICT TECHNOLOGY Co.,Ltd. Address before: 518000 No. 01-08, floor 18-20, block a, building 11, Shenzhen Bay science and technology ecological park, No. 16, Keji South Road, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province Applicant before: SHENZHEN GENVICT TECHNOLOGY Co.,Ltd. |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |