CN113674318A - 一种目标跟踪方法、装置及设备 - Google Patents
一种目标跟踪方法、装置及设备 Download PDFInfo
- Publication number
- CN113674318A CN113674318A CN202110936054.9A CN202110936054A CN113674318A CN 113674318 A CN113674318 A CN 113674318A CN 202110936054 A CN202110936054 A CN 202110936054A CN 113674318 A CN113674318 A CN 113674318A
- Authority
- CN
- China
- Prior art keywords
- target
- position information
- image frame
- tracking
- lightweight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 99
- 238000012545 processing Methods 0.000 claims description 53
- 238000012549 training Methods 0.000 claims description 48
- 238000001514 detection method Methods 0.000 claims description 22
- 238000013136 deep learning model Methods 0.000 claims description 18
- 230000004044 response Effects 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 3
- 230000008569 process Effects 0.000 description 22
- 238000003860 storage Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000006872 improvement Effects 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000001680 brushing effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000009191 jumping Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本说明书实施例中公开了一种目标跟踪方法、装置及设备。该方案包括:通过采用轻量化目标跟踪模型,去获取目标视频中第一图像帧内的第一选定目标的第一标识信息;若前期针对目标视频确定出的第二选定目标的第二标识信息与该第一选定目标的第一标识信息不同,则对第一选定目标与第二选定目标进行特征比对,从而可以在基于特征比对结果确定第一选定目标与第二选定目标为同一目标后,将该第一选定目标的标识信息变更为第二标识信息。
Description
技术领域
本申请涉及互联网技术领域,尤其涉及一种目标跟踪方法、装置及设备。
背景技术
随着科技的发展,越来越多的场景开始出现对目标进行跟踪检测的需求。例如,无人驾驶场景、在对用户进行身份验证的场景,或者,识别指定地点是否具有入侵者的场景等。由于这些场景通常需要对视频中的目标进行准确跟踪,因此,目前采用的目标跟踪方法通常较为复杂,这不仅会消耗大量的计算资源,还会对目标跟踪效率产生影响。
综上所述,如何提供一种运行效率较高且准确性也较好的目标跟踪方法已成为亟需解决的问题。
发明内容
本说明书实施例提供了一种目标跟踪方法、装置及设备,用于在保证目标跟踪结果的准确性的基础上去提升目标跟踪效率。
为解决上述技术问题,本说明书实施例是这样实现的:
本说明书实施例提供的一种目标跟踪方法,包括:
采用轻量化目标跟踪模型,获取目标视频中第一图像帧内的第一选定目标的第一标识信息;所述轻量化目标跟踪模型是根据待跟踪目标的位置信息进行目标跟踪处理的深度学习模型;
获取所述目标视频中第二图像帧内的第二选定目标的第二标识信息;所述第二图像帧的采集时刻早于所述第一图像帧的采集时刻;
若所述第一标识信息与所述第二标识信息不同,对所述第一选定目标与所述第二选定目标进行特征比对,得到特征比对结果;
若所述特征比对结果表示所述第一选定目标与所述第二选定目标为同一目标,将所述第一标识信息变更为所述第二标识信息。
本说明书实施例提供的一种目标跟踪装置,包括:
第一获取模块,用于采用轻量化目标跟踪模型,获取目标视频中第一图像帧内的第一选定目标的第一标识信息;所述轻量化目标跟踪模型是根据待跟踪目标的位置信息进行目标跟踪处理的深度学习模型;
第二获取模块,用于获取所述目标视频中第二图像帧内的第二选定目标的第二标识信息;所述第二图像帧的采集时刻早于所述第一图像帧的采集时刻;
特征比对模块,用于若所述第一标识信息与所述第二标识信息不同,对所述第一选定目标与所述第二选定目标进行特征比对,得到特征比对结果;
标识信息变更模块,用于若所述特征比对结果表示所述第一选定目标与所述第二选定目标为同一目标,将所述第一标识信息变更为所述第二标识信息。
本说明书实施例提供的一种目标跟踪设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
采用轻量化目标跟踪模型,获取目标视频中第一图像帧内的第一选定目标的第一标识信息;所述轻量化目标跟踪模型是根据待跟踪目标的位置信息进行目标跟踪处理的深度学习模型;
获取所述目标视频中第二图像帧内的第二选定目标的第二标识信息;所述第二图像帧的采集时刻早于所述第一图像帧的采集时刻;
若所述第一标识信息与所述第二标识信息不同,对所述第一选定目标与所述第二选定目标进行特征比对,得到特征比对结果;
若所述特征比对结果表示所述第一选定目标与所述第二选定目标为同一目标,将所述第一标识信息变更为所述第二标识信息。
本说明书中提供的至少一个实施例能够实现以下有益效果:
该方案,通过采用轻量化目标跟踪模型对目标视频进行目标跟踪处理,有利于提升目标跟踪方法的运行效率;以及,通过根据特征比对结果,在确定标识信息不同的第一选定目标与第二选定目标实际为同一目标时,将第一选定目标的标识信息变更为第二选定目标的标识信息,有利于提升基于轻量化目标跟踪模型进行目标跟踪时得到的跟踪结果的准确性。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本说明书实施例提供的一种目标跟踪方法的流程示意图;
图2为本说明书实施例提供的一种应用于刷脸支付场景的目标跟踪方法的泳道流程示意图;
图3为本说明书实施例提供的对应于图1的一种目标跟踪装置的结构示意图;
图4为本说明书实施例提供的对应于图1的一种目标跟踪设备的结构示意图。
具体实施方式
为使本说明书一个或多个实施例的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本说明书一个或多个实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本说明书的一部分实施例,而不是全部的实施例。基于本说明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本说明书一个或多个实施例保护的范围。
以下结合附图,详细说明本说明书各实施例提供的技术方案。
现有技术中,目标跟踪(Object tracking),通常指在给定视频中的某一图像帧内的待跟踪目标的位置的情况下,对后续图像帧中该待跟踪目标的位置进行预测。而目标检测(Object Detection)通常指对图像中的目标进行定位和识别。
目前,在进行目标跟踪时,通常需要利用目标检测模型或目标检测算法对视频中的当前帧图像以及上一帧图像进行目标检测,确定当前帧图像以及上一帧图像中存在目标的各个预测区域。利用特征提取模型提取当前帧图像以及上一帧图像中各个预测区域内的目标的特征向量,通过对从当前帧图像以及上一帧图像中分别提取出的各个目标的特征向量进行逐一比对,以确定当前帧图像中的各个目标与上一帧图像中的各个目标之间的对应关系,进而得到目标跟踪结果。由于提取目标特征以及进行特征比对的操作计算量较大,耗时较长,使得这种基于特征比对的目标跟踪方法的时延较大,无法满足针对目标进行跟踪检测时的实时性需求。
为了解决现有技术中的缺陷,本方案给出了以下实施例:
图1为本说明书实施例提供的一种目标跟踪方法的流程示意图。从程序角度而言,该流程的执行主体可以为与视频采集设备连接的计算机或者服务器,或者,所述计算机或服务器处搭载的应用程序。如图1所示,该流程可以包括以下步骤:
步骤102:采用轻量化目标跟踪模型,获取目标视频中第一图像帧内的第一选定目标的第一标识信息;所述轻量化目标跟踪模型是根据待跟踪目标的位置信息进行目标跟踪处理的深度学习模型。
在本说明书实施例中,若已识别出目标视频中的第一图像帧之前的图像帧中存在的目标,而对目标视频继续进行目标跟踪时,可以将该已识别出的目标作为待跟踪目标。在利用轻量化目标跟踪模型对目标视频进行目标跟踪时,通常需要向轻量化目标跟踪模型输入待跟踪目标的历史位置信息,轻量化目标跟踪模型还可以确定出第一图像帧中的目标的预测位置信息,从而使得轻量化目标跟踪模型可以根据该历史位置信息指示区域与该预测位置信息指示区域之间的关联性,生成目标跟踪结果。
可见,在利用轻量化目标跟踪模型针对第一图像帧生成目标跟踪结果的过程中,是无需执行特征比对操作的,相较于现有的基于特征比对的目标跟踪方法,其可以减少目标跟踪处理过程中所需执行的计算量,有利于提升目标跟踪方法的运行效率。
在实际应用中,若基于轻量化目标跟踪模型确定第一图像帧中存在的指定目标与指定待跟踪目标为同一目标,则可以将该指定待跟踪目标的历史标识信息作为该指定目标的标识信息;而若基于轻量化目标跟踪模型确定第一图像帧中存在的指定目标与各个待跟踪目标均为不同的目标,则可以为该指定目标分配与各个待跟踪目标的历史标识信息均不同的标识信息,以便于展示目标跟踪结果。
在本说明书实施例中,轻量化目标跟踪模型可以为多目标跟踪模型,因此,在利用该轻量化目标跟踪模型对第一图像帧进行目标跟踪处理后,可能会跟踪到多个目标。而在部分应用场景中,可能仅需关注上述多个跟踪到的目标中的指定目标,例如,刷脸支付的场景仅需关注当前的待支付用户即可,而车辆通过门禁的场景则仅需关注当前待通过门禁的车辆即可,因此,可以从上述跟踪到的多个目标中确定出需要关注的目标作为选定目标,以便于后续处理。
步骤104:获取所述目标视频中第二图像帧内的第二选定目标的第二标识信息;所述第二图像帧的采集时刻早于所述第一图像帧的采集时刻。
在本说明书实施例中,第二图像帧既可以是目标视频中的第一图像帧的上一帧图像,也可以是目标视频中的采集时间位于第一图像帧的采集时间之前的第N帧图像(N大于1),对此可以根据实际需求而设置。
在本说明书实施例中,第二图像帧内的第二选定目标既可以是采用轻量化目标跟踪模型确定出的,也可以是采用现有的基于特征比对的目标跟踪模型确定出的,对此不作具体限定。即使第二图像帧内的第二选定目标是基于现有的特征比对的目标跟踪模型确定出的,由于图1中的方法利用了运行效率更高的轻量化目标跟踪模型对第一图像帧进行的目标跟踪处理,因此,图1中的方法相较于现有技术中的基于特征比对的目标跟踪模方案,仍旧具有提升运行效率的技术效果。
步骤106:若所述第一标识信息与所述第二标识信息不同,对所述第一选定目标与所述第二选定目标进行特征比对,得到特征比对结果。
在本说明书实施例中,通常情况下,若第一选定目标的第一标识信息与第二选定目标的第二标识信息不同,则可以表示第一选定目标与第二选定目标为不同的目标。但是,由于轻量化目标跟踪模型是根据待跟踪目标的位置信息进行目标跟踪处理的,使得在待跟踪目标的位移较大时,可能会影响轻量化目标跟踪模型生成的目标跟踪结果的准确性。因此,即使第一选定目标的第一标识信息与第二选定目标的第二标识信息不同,该第一选定目标与第二选定目标仍旧存在属于同一目标的可能性。基于此,在确定第一标识信息与第二标识信息不同时,可以对提取到的第一选定目标的特征向量与第二选定目标的特征向量进行特征比对,以基于准确性更好的特征比对结果对目标跟踪结果进行校验。
步骤108:若所述特征比对结果表示所述第一选定目标与所述第二选定目标为同一目标,将所述第一标识信息变更为所述第二标识信息。
在本说明书实施例中,若第一选定目标的第一标识信息与第二选定目标的第二标识信息不同,但特征比对结果表示第一选定目标与第二选定目标为同一目标,则可以表示针对第一选定目标的目标跟踪结果并不准确,因此,通过将第一选定目标的第一标识信息变更为第二标识信息,以实现对目标跟踪结果的校正,有利于提升图1中的目标跟踪方法的准确性。
在实际应用中,由于基于轻量化目标跟踪模型生成的目标跟踪结果的正确率可以达到92%以上,因此,若确定第一标识信息与第二标识信息相同,则通常可以认为第一选定目标与第二选定目标为同一目标,而无需再基于特征比对结果去对目标跟踪结果进行校验,有利于保证目标跟踪效率。
当然,在确定第一标识信息与第二标识信息相同之后,也可以继续对第一选定目标与第二选定目标进行特征比对,若特征比对结果表示第一选定目标与第二选定目标为不同目标,则可以将第一选定目标的第一标识信息变更为与各个待跟踪目标的历史标识信息均不同的标识信息,以对目标跟踪结果进行校正。
在本说明书实施例中,若待跟踪目标的数量为N,从第一图像帧中确定出的目标数量为M,且N与M中至少有一个为大于1的数值,在使用现有的基于特征比对的目标跟踪方法进行目标跟踪时,需执行的特征比对处理的次数为N与M之积,而使用图1中的方法进行目标跟踪时,最多只需执行一次特征比对处理,即可生成准确性较好的目标跟踪结果。可见,图1中的目标跟踪方法相较于现有技术中的基于特征比对的目标跟踪方法,可以大幅度的减少目标跟踪处理过程中所需执行的特征比对处理的次数,即可以减少目标跟踪处理所需执行的计算量,从而可以实现提升目标跟踪效率的技术效果。
图1中的方法,通过采用轻量化目标跟踪模型对目标视频进行目标跟踪处理,有利于提升目标跟踪方法的运行效率;以及,通过根据特征比对结果,在确定标识信息不同的第一选定目标与第二选定目标实际为同一目标时,将第一选定目标的标识信息变更为第二选定目标的标识信息,有利于提升基于轻量化目标跟踪模型进行目标跟踪时得到的跟踪结果的准确性。
同时,由于在刷脸支付、电子不停车收费(Electronic Toll Collection,ETC)等目标跟踪场景中,为保证目标的意愿安全,通常需要在确定目标视频中的连续的多个图像帧中的选定目标为同一目标后,才对该选定目标执行后续的扣费、放行等处理操作,以实现意愿检测。而若确定连续的图像帧中的选定目标为不同目标时,则需要对后续图像帧重新进行意愿检测,以保证目标的意愿安全。
基于此,可知,图1中的方法,在确定第一选定目标与第二选定目标的标识信息不同,但第一选定目标与第二选定目标实际为同一目标时,通过将第一选定目标的标识信息变更为第二选定目标的标识信息,不仅可以提升意愿检测的准确性,还可以避免去重新进行意愿检测,有利于减少目标跟踪方法所需执行的时间,从而可以提升用户体验。
基于图1中的方法,本说明书实施例还提供了该方法的一些具体实施方案,下面进行说明。
在本说明书实施例中,步骤102:采用轻量化目标跟踪模型,获取目标视频中第一图像帧内的第一选定目标的第一标识信息,具体可以包括:
根据待跟踪目标的历史位置信息,利用轻量化目标跟踪模型对所述第一图像帧进行目标跟踪处理,得到所述第一图像帧中的待选目标;所述待选目标包括:跟踪成功目标以及新增跟踪目标中的至少一种;一个所述跟踪成功目标对应于一个所述待跟踪目标;所述新增跟踪目标与所述待跟踪目标为不同的目标。
根据所述待跟踪目标的历史标识信息,确定所述待选目标的标识信息;其中,所述新增跟踪目标的标识信息为与所述历史标识信息不同的标识信息;所述跟踪成功目标的标识信息为与所述跟踪成功目标对应的所述待跟踪目标的历史标识信息。
根据预设规则,从所述待选目标中确定第一选定目标。
根据所述待选目标的标识信息,确定所述第一选定目标的第一标识信息。
在本说明书实施例中,待跟踪目标可以指上一次对目标视频中的图像帧(即第三图像帧)执行目标跟踪处理和/或目标检测处理所得到的已识别目标,其中,第三图像帧的采集时间早于第一图像帧的采集时间,待跟踪目标的历史位置信息可以用于确定所述第三图像帧中存在所述待跟踪目标的区域;待跟踪目标的历史标识信息可以为针对第三图像帧中的已识别目标分配的标识信息。在实际应用中,待跟踪目标的数量既可以是一个,也可以是多个,对此不作限定。
在本说明书实施例中,在利用轻量化目标跟踪模型对第一图像帧进行目标跟踪处理时,不仅可以从第一图像帧中识别出待跟踪目标(即跟踪成功目标),还可能从第一图像帧中识别出与待跟踪目标不同的目标(即新增跟踪目标),从而需要基于预设规则,从新增跟踪目标以及跟踪成功目标中,确定第一图像帧中的第一选定目标。
在实际应用中,该预设规则可以根据实际需求设置,对此不作具体限定。例如,针对电子不停车收费场景,该预设规则可以为将第一图像帧中的面积最大的车辆,作为第一图像帧的第一选定目标。或者,针对监测车辆压线违章的场景,可以令图像中的指定区域内包含公路上的白色实线,从而将位于该指定区域内的车辆确定为第一图像帧的第一选定目标等。
在本说明书实施例中,所述根据待跟踪目标的历史位置信息,利用轻量化目标跟踪模型对所述第一图像帧进行目标跟踪处理,得到所述第一图像帧中的待选目标,具体可以包括:
针对任意一个待跟踪目标,将所述待跟踪目标的历史位置信息以及所述第一图像帧输入轻量化目标跟踪模型,得到所述轻量化目标跟踪模型输出的预测位置信息以及目标跟踪结果;所述目标跟踪结果是根据所述历史位置信息与所述预测位置信息确定的。其中,所述预测位置信息用于确定预测到的所述第一图像帧中可能存在目标的区域。
若所述目标跟踪结果表示所述第一图像帧中所述预测位置信息指示的区域内的目标与所述待跟踪目标为同一目标,则将所述第一图像帧中所述预测位置信息指示的区域内的目标确定为跟踪成功目标。即针对所述待跟踪目标跟踪成功。
若所述目标跟踪结果表示所述第一图像帧中所述预测位置信息指示的区域内的目标与所述待跟踪目标为不同的目标,则将所述第一图像帧中所述预测位置信息指示的区域内的目标确定为新增跟踪目标。即识别出了第一图像帧中具有除所述待跟踪目标以外的目标。
若所述目标跟踪结果表示所述第一图像帧中的各个所述预测位置信息指示的区域内均未包含所述待跟踪目标,则可以表示针对所述待跟踪目标跟踪失败。
在本说明书实施例中,当轻量化目标跟踪模型为多目标跟踪模型时,可以一次性的将多个待跟踪目标的历史位置信息以及所述第一图像帧输入轻量化目标跟踪模型,此时,轻量化目标跟踪模型可以输出针对各个待跟踪目标的目标跟踪结果,从而有利于提升目标跟踪方法的运行效率。
在本说明书实施例中,所述轻量化目标跟踪模型可以包括第一轻量化目标跟踪模型以及第二轻量化目标跟踪模型中的至少一种。
所述第一轻量化目标跟踪模型可以是利用第一训练样本对深度学习模型进行训练得到的;所述第一训练样本可以为携带有样本历史位置信息以及第一样本预测位置信息的图像;所述第一训练样本的标签数据可以是根据所述样本历史位置信息指示的区域与所述第一样本预测位置信息指示的区域之间的重叠度确定的;其中,所述第一样本预测位置信息指示的区域可以为所述第一训练样本中对所述样本历史位置信息指示的区域放大预设倍数后得到的区域。
所述第二轻量化目标跟踪模型可以是利用第二训练样本对深度学习模型进行训练得到的;所述第二训练样本可以为携带有样本历史位置信息以及第二样本预测位置信息的图像;所述第二训练样本的标签数据可以是根据所述样本历史位置信息指示的区域与所述第二样本预测位置信息指示的区域之间的重叠度确定的;其中,所述第二样本预测位置信息指示的区域可以为利用目标识别模型对所述第二训练样本进行目标检测处理后得到的存在目标的区域。
其中,第一轻量化目标跟踪模型既可以采用卷积神经网络(ConvolutionalNeural Networks,CNN)实现,也可以采用轻量化卷积神经网络实现。其中,轻量化神经网络相较于卷积神经网络模型而言,其模型参数量更少,计算复杂度更低,从而使得轻量化卷积神经网络模型的运行效率较高。具体的,轻量化卷积神经网络模型中应至少包含有多个卷积层,当然,轻量化卷积神经网络模型还可以包含池化层和/或全连接层。
而第二轻量化目标跟踪模型可以基于多任务卷积神经网络(Multi-taskconvolutional neural network,MTCNN)、SSD(Single Shot Detector)模型、YOLO系列模型实现。
在本说明书实施例中,样本历史位置信息可以用于确定待跟踪目标样本发生位移前在图像中所处的第一区域,样本预测位置信息可以用于确定待跟踪目标样本发生位移后在图像中所处的第二区域。而训练样本的标签数据具体可以为第一区域中存在的目标与第二区域中存在的目标为同一目标的置信度,该置信度同第一区域与第二区域之间的重叠度(Intersection Over Union,IOU)成正比,即两个区域之间的重叠度越高,这两个区域内存在同一个目标的可能性就越大。
通过对比可知,在模型训练阶段,第一轻量化目标跟踪模型以及第二轻量化目标跟踪模型的主要区别在于,针对两者所使用的样本预测位置信息的生成方式不同。由于训练后得到的模型输出的针对目标的预测位置信息与该模型在训练阶段使用的样本预测位置信息具有一致性,因此,在针对第一图像帧进行目标跟踪处理时,第一轻量化目标跟踪模型输出的预测位置信息可以用于确定该第一图像帧中对待跟踪目标的历史位置信息指示的区域放大预设倍数后得到的区域;而第二轻量化目标跟踪模型输出的预测位置信息可以用于确定利用目标识别模型对所述第一图像帧进行目标检测处理后得到的存在目标的区域。
可见,第二轻量化目标跟踪模型相较于第一轻量化目标跟踪模型输出的预测位置信息的可信度与准确性更高,但是第二轻量化目标跟踪模型相较于第一轻量化目标跟踪模型的运算过程也更为复杂,运行效率也更低。基于此,可以间歇性的利用第一轻量化目标跟踪模型与第二轻量化目标跟踪模型对目标视频中的图像帧进行目标跟踪处理,以在保证目标跟踪准确性的基础上,进一步提升目标跟踪效率。
从而,所述将所述待跟踪目标的历史位置信息以及所述第一图像帧输入轻量化目标跟踪模型之前,还可以包括:
判断所述第一图像帧的帧序号是否是预设值,得到第一判断结果。
所述将所述待跟踪目标的历史位置信息以及所述第一图像帧输入轻量化目标跟踪模型,具体可以包括:
若所述第一判断结果表示所述第一图像帧的帧序号不是预设值,则将所述待跟踪目标的历史位置信息以及所述第一图像帧输入所述第一轻量化目标跟踪模型。
若所述第一判断结果表示所述第一图像帧的帧序号是预设值,则将所述待跟踪目标的历史位置信息以及所述第一图像帧输入所述第二轻量化目标跟踪模型。
在本说明书实施例中,可以根据采集时间由早至晚的顺序,对目标视频中的图像帧进行编号,从而使得目标视频中的各个图像帧都具有各自的帧序号。预设值则可以根据实际情况进行设置,例如,预设值可以为具有规律性的不连续数值,例如,1、3、5、7…;或者,1、5、10、15…,对此不作具体限定。该实施例中,通过根据待处理图像帧的帧序号,去选用不同的轻量化目标跟踪模型进行目标跟踪处理,可以在保证目标跟踪准确性的基础上,进一步提升目标跟踪效率。
在实际应用中,在对第一图像帧进行目标跟踪处理时,若不具有待跟踪目标,即在对第一图像帧的前序图像帧进行目标跟踪处理或者目标检测处理时未识别出目标,则可以将第一图像帧输入第二轻量化目标跟踪模型,以便于及时识别出第一图像帧中的新增跟踪目标。
在本说明书实施例中,设备采集帧率可以指视频采集设备在单位时间内采集的图像帧的数量。由于轻量化目标跟踪模型是根据待跟踪目标的位置信息进行目标跟踪的,因此,当视频采集设备在采集目标视频的过程中出现设备采集帧率较低的情况,或者,目标视频中的目标运动过快而导致单位时间内产生的位移较大时,都会影响轻量化目标跟踪模型生成的目标跟踪结果的准确性。而当目标视频对应的设备采集帧率较高时,轻量化目标跟踪模型生成的目标跟踪结果的准确性通常时较好的。
基于此,图1中的方法,在步骤106:对所述第一选定目标与所述第二选定目标进行特征比对之前,还可以包括:
确定所述第一图像帧对应的设备采集帧率的标准分数。
判断所述标准分数是否小于预设阈值,得到第二判断结果。
对应的,对所述第一选定目标与所述第二选定目标进行特征比对,具体可以包括:
若所述第二判断结果表示所述标准分数小于预设阈值,且所述第一标识信息与所述第二标识信息不同,则对所述第一选定目标与所述第二选定目标进行特征比对。
而若所述第二判断结果表示所述标准分数大于等于预设阈值,则可以认为确定出的第一选定目标的第一标识信息是正确的,因此,若所述第一标识信息与所述第二标识信息不同,则可以表示第一选定目标与第二选定目标实际应为不同的目标,从而可以不再对所述第一选定目标与所述第二选定目标进行特征比对。
在该实施例中,由于第一图像帧对应的设备采集帧率的标准分数小于预设阈值,可以表示第一图像帧对应的设备采集帧率较低;通过在确定设备采集帧率较低,且第一选定目标的第一标识信息与第二选定目标的第二标识信息不同后,再对第一选定目标与第二选定目标进行特征比对,以得到最终的目标跟踪结果,可以在保证目标跟踪结果准确性的基础上,进一步提升目标跟踪方法的运行效率。
在本说明书实施例中,标注分数又可以称为z分数。因此,所述确定所述第一图像帧对应的设备采集帧率的标准分数,具体可以包括:
确定所述目标视频中的采集时刻位于所述第一图像帧的采集时刻与所述第二图像帧的采集时刻之间的图像帧的数量。
确定所述第一图像帧的采集时刻与所述第二图像帧的采集时刻之间的时间间隔。
计算所述数量与所述时间间隔之商,得到所述第一图像帧对应的设备采集帧率。
获取历史设备采集帧率的平均值以及所述历史设备采集帧率的标准差。其中,历史设备采集帧率可以指视频采集设备在采集第一图像帧之前的图像帧时的设备采集帧率。
计算所述设备采集帧率与所述平均值之差同所述标准差的商,得到所述第一图像帧对应的设备采集帧率的标准分数。
在实际应用中,在执行步骤108:将所述第一标识信息变更为所述第二标识信息之后,还可以包括:
根据所述设备采集帧率,更新所述历史设备采集帧率的平均值以及所述历史设备采集帧率的标准差。
在该实施例中,通过基于当前计算得到的设备采集帧率,对视频采集设备的历史设备采集帧率的平均值及标准差进行更新,有利于提升后续计算得到的设备采集帧率的准确性,以及提升目标跟踪方法的运行效率与准确性。
在本说明书实施例中,图1中的目标跟踪方法可以应用于刷脸支付场景。当应用于刷脸支付场景时,待跟踪目标可以为待跟踪人脸,第一轻量化目标跟踪模型可以包括轻量化人脸跟踪模型以及轻量化头部跟踪模型,第二轻量化目标跟踪模型可以为轻量化人脸检测跟踪模型,待选目标为待选人脸,第一选定目标为第一选定人脸,第二选定目标为第二选定人脸。
为便于理解,针对刷脸支付场景的目标跟踪方法的流程进行解释说明,该流程可以包括以下步骤:
步骤200:获取支付请求;响应于该支付请求,采集目标视频。
步骤202:判断目标视频中的第一图像帧的帧序号是否是预设值,得到第一判断结果;若所述第一判断结果表示所述第一图像帧的帧序号不是预设值,则跳转至步骤204;否则,跳转至步骤212。
步骤204:将待跟踪人脸的历史位置信息以及所述第一图像帧输入轻量化人脸跟踪模型,以利用轻量化人脸跟踪模型进行人脸跟踪,得到所述轻量化人脸跟踪模型输出的人脸预测位置信息以及第一人脸跟踪结果;所述人脸预测位置信息用于确定所述第一图像帧中对所述历史位置信息指示的区域放大第一预设倍数后得到的预测人脸区域;跳转至步骤206和/或208。
步骤206:若所述第一人脸跟踪结果表示所述预测人脸区域内包含的人脸与待跟踪人脸为同一人脸,则得到跟踪成功人脸,跳转至步骤218。
步骤208:若所述第一人脸跟踪结果表示所述预测人脸区域内不包含人脸,则将所述历史位置信息以及所述第一图像帧输入所述轻量化头部跟踪模型,利用轻量化头部跟踪模型进行人脸跟踪,得到所述轻量化头部跟踪模型输出的头部预测位置信息以及第二人脸跟踪结果;跳转至步骤210。其中,所述头部预测位置信息用于确定所述第一图像帧中的预测头肩区域内的预测头部区域,所述预测头肩区域为对所述历史位置信息指示的区域放大第二预设倍数后得到的区域,所述第二预设倍数大于所述第一预设倍数;所述预测头部区域是基于人体关键点信息从所述预测头肩区域内提取到的包含用户头部的区域。
步骤210:若所述第二人脸跟踪结果表示所述预测头部区域内包含的人脸与待跟踪人脸为同一人脸,则得到跟踪成功人脸;在对第一图像帧的后续图像帧进行人脸跟踪处理时,该头部预测位置信息可以作为该跟踪成功人脸的历史位置信息使用,跳转至步骤218。若所述第二人脸跟踪结果表示所述预测头部区域内不包含人脸,则表示针对该待跟踪人脸跟踪失败,跳转至结束。
步骤212:将待跟踪人脸的历史位置信息以及第一图像帧输入轻量化人脸检测跟踪模型,利用轻量化人脸检测跟踪模型进行人脸跟踪,得到轻量化人脸检测跟踪模型输出的人脸预测位置信息以及第三人脸跟踪结果;所述人脸预测位置信息用于确定利用轻量化人脸检测跟踪模型中的目标识别子模型对第一图像帧进行人脸检测后得到的存在人脸的预测人脸区域;跳转至步骤214和/或216。
步骤214:若所述第三人脸跟踪结果表示所述预测人脸区域内包含的人脸与待跟踪人脸为同一人脸,则得到跟踪成功人脸,跳转至步骤218。
步骤216:若所述第三人脸跟踪结果表示所述预测人脸区域内包含的人脸与待跟踪人脸为不同人脸,则得到新增跟踪人脸,跳转至步骤218。
步骤218:根据待跟踪人脸的历史标识信息,确定待选人脸的标识信息;其中,待选人脸包括:跟踪成功人脸以及新增跟踪人脸中的至少一种;一个跟踪成功人脸对应于一个待跟踪人脸,所述跟踪成功人脸的标识信息为与所述跟踪成功人脸对应的待跟踪人脸的历史标识信息;所述新增跟踪人脸与所述待跟踪人脸为不同人脸,所述新增跟踪人脸的标识信息为与各个所述历史标识信息均不同的标识信息。
步骤220:根据所述待选人脸的面积,以及所述待选人脸的中心点与所述第一图像帧的中心点之间的距离,计算所述待选人脸的选中概率;所述选中概率与所述待选人脸的面积成正比,所述选中概率与所述距离成反比;所述待选人脸的面积为所述预测人脸区域的面积或者所述预测头部区域的面积中的一种;将所述选中概率最大的待选人脸,确定为第一选定人脸。
步骤222:获取所述目标视频中第二图像帧内的第二选定人脸的第二标识信息;所述第二图像帧的采集时刻早于所述第一图像帧的采集时刻。
步骤224:确定所述第一图像帧对应的设备采集帧率的标准分数。
步骤226:判断是否所述第一标识信息与所述第二标识信息不同,且所述标准分数小于预设阈值,若是,跳转至步骤228。若否,跳转至结束。
步骤228:提取第一选定人脸与第二选定人脸的人脸特征向量,基于提取到的人脸特征向量,对第一选定人脸与第二选定人脸进行特征比对,得到特征比对结果。
步骤230:若所述特征比对结果表示第一选定人脸与第二选定人脸为同一人脸,则将所述第一标识信息变更为所述第二标识信息。
步骤232:响应于支付请求,生成与所述第一选定人脸对应的支付凭证;所述支付凭证用于指示对所述第一选定人脸所属用户的账户进行扣款处理。
值得注意的是,基于步骤204-210,可知,本实施例中,在利用轻量化人脸跟踪模型针对某个待跟踪人脸跟踪失败后,可以利用轻量化头部跟踪模型再次针对该待跟踪人脸进行人脸跟踪处理。
这是由于,轻量化人脸跟踪模型是基于用户人脸区域进行人脸跟踪的,若用户人脸位移较大,或者用户处于侧脸姿态,均会影响该轻量化人脸跟踪模型针对待跟踪人脸的跟踪成功率。而轻量化头部跟踪模型是基于用户的头肩区域以及头部区域进行人脸跟踪的,且该头部区域是根据人体关键点信息确定出的,使得在用户人脸位移较大,或者用户处于侧脸姿态时,该轻量化头部跟踪模型针对待跟踪人脸仍旧能够具有较高的跟踪成功率。从而在利用轻量化人脸跟踪模型针对某个待跟踪人脸跟踪失败后,可以利用轻量化头部跟踪模型再次针对该待跟踪人脸进行人脸跟踪处理,以提升人脸跟踪成功率。
在实际应用中,轻量化头部跟踪模型可是利用第三训练样本对深度学习模型进行训练得到的;所述第三训练样本可以为携带有样本人脸历史位置信息、样本头肩预测位置信息、样本头部预测位置信息的图像;其中,样本头肩预测位置信息用于确定第三训练样本中对所述样本人脸历史位置信息指示的区域放大第二预设倍数后得到的头肩预测区域,样本头部预测位置信息用于确定基于人体关键点信息(例如,人体关节点信息)从头肩预测区域内提取到的包含用户头部的头部预测区域。所述第三训练样本的标签数据可以为样本人脸历史位置信息指示的区域内的人脸同该头部预测区域内的人脸为同一人脸的置信度,该置信度可以与样本人脸历史位置信息指示的区域同该头部预测区域之间的重叠度成正比。
在实际应用中,在将待跟踪人脸的历史位置信息以及第一图像帧输入轻量化头部跟踪模型后,轻量化头部跟踪模型除了可以输出头部预测位置信息以及第二人脸跟踪结果以外,还可以输出头肩预测位置信息。该头肩预测位置信息可以用于确定第一图像帧中对所述历史位置信息指示的区域放大第二预设倍数后得到的区域,对此不做赘述。
在本说明书实施例中,区块链(Block chain),可以理解为是多个区块顺序存储构成的数据链,每个区块的区块头都包含有本区块的时间戳、前一个区块信息的哈希值和本区块信息的哈希值,由此实现区块与区块之间的相互验证,构成不可篡改的区块链。每个区块都可以理解为是一个数据块(存储数据的单元)。区块链作为一种去中心化的数据库,是一串使用密码学方法相互关联产生的数据块,每一个数据块中包含了一次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块与区块首尾相连形成的链,即为区块链。若需要修改块内数据,则需要修改此区块之后所有区块的内容,并将区块链网络中所有节点备份的数据进行修改。因此,区块链具有难以篡改、删除的特点,在数据已保存至区块链后,其作为一种保持内容完整性的方法具有可靠性。
基于区块链系统的上述特性,可以将步骤232中生成的支付凭证存储至区块链,以便于后续基于区块链中存储的可信度高的支付凭证,对第一选定人脸所属用户的账户的扣款记录进行核准。
图2为本说明书实施例提供的一种应用于刷脸支付场景的目标跟踪方法的泳道流程示意图。如图2所示,该人脸跟踪流程可以涉及视频采集设备及人脸跟踪处理设备等执行主体。
在视频采集阶段,视频采集设备可以响应于支付请求,采集目标视频,并将目标视频发送至人脸跟踪处理设备。
在人脸跟踪处理阶段,人脸跟踪处理设备则可以执行本说明书实施例所示出的针对刷脸支付场景的目标跟踪方法的流程,对此不作赘述。
基于同样的思路,本说明书实施例还提供了上述方法对应的装置。图3为本说明书实施例提供的对应于图1的一种目标跟踪装置的结构示意图。如图3所示,该装置可以包括:
第一获取模块302,第一获取模块,用于采用轻量化目标跟踪模型,获取目标视频中第一图像帧内的第一选定目标的第一标识信息;所述轻量化目标跟踪模型是根据待跟踪目标的位置信息进行目标跟踪处理的深度学习模型。
第二获取模块304,用于获取所述目标视频中第二图像帧内的第二选定目标的第二标识信息;所述第二图像帧的采集时刻早于所述第一图像帧的采集时刻。
特征比对模块306,用于若所述第一标识信息与所述第二标识信息不同,对所述第一选定目标与所述第二选定目标进行特征比对,得到特征比对结果。
标识信息变更模块308,用于若所述特征比对结果表示所述第一选定目标与所述第二选定目标为同一目标,将所述第一标识信息变更为所述第二标识信息。
基于图3中的装置,本说明书实施例还提供了该装置的一些具体实施方案,下面进行说明。
可选的,图3中的装置,所述第一获取模块302,具体可以包括:
待选目标确定单元,用于根据待跟踪目标的历史位置信息,利用轻量化目标跟踪模型对所述第一图像帧进行目标跟踪处理,得到所述第一图像帧中的待选目标;所述待选目标包括:跟踪成功目标以及新增跟踪目标中的至少一种;一个所述跟踪成功目标对应于一个所述待跟踪目标;所述新增跟踪目标与所述待跟踪目标为不同的目标。
标识信息确定单元,用于根据所述待跟踪目标的历史标识信息,确定所述待选目标的标识信息;其中,所述新增跟踪目标的标识信息为与所述历史标识信息不同的标识信息;所述跟踪成功目标的标识信息为与所述跟踪成功目标对应的所述待跟踪目标的历史标识信息。
第一选定目标确定单元,用于根据预设规则,从所述待选目标中确定第一选定目标。
第一标识信息确定单元,用于根据所述待选目标的标识信息,确定所述第一选定目标的第一标识信息。
其中,所述待选目标确定单元,具体可以包括:
目标跟踪子单元,用于针对任意一个待跟踪目标,将所述待跟踪目标的历史位置信息以及所述第一图像帧输入轻量化目标跟踪模型,得到所述轻量化目标跟踪模型输出的预测位置信息以及目标跟踪结果;所述目标跟踪结果是根据所述历史位置信息与所述预测位置信息确定的。
跟踪成功目标确定子单元,用于若所述目标跟踪结果表示所述第一图像帧中所述预测位置信息指示的区域内的目标与所述待跟踪目标为同一目标,则将所述第一图像帧中所述预测位置信息指示的区域内的目标确定为跟踪成功目标。
新增跟踪目标确定子单元,用于若所述目标跟踪结果表示所述第一图像帧中所述预测位置信息指示的区域内的目标与所述待跟踪目标为不同的目标,则将所述第一图像帧中所述预测位置信息指示的区域内的目标确定为新增跟踪目标。
可选的,图3中的装置,所述轻量化目标跟踪模型可以包括第一轻量化目标跟踪模型以及第二轻量化目标跟踪模型中的至少一种。
所述第一轻量化目标跟踪模型可以是利用第一训练样本对深度学习模型进行训练得到的;所述第一训练样本为携带有样本历史位置信息以及第一样本预测位置信息的图像;所述第一训练样本的标签数据是根据所述样本历史位置信息指示的区域与所述第一样本预测位置信息指示的区域之间的重叠度确定的;其中,所述第一样本预测位置信息指示的区域为所述第一训练样本中对所述样本历史位置信息指示的区域放大预设倍数后得到的区域。
所述第二轻量化目标跟踪模型可以是利用第二训练样本对深度学习模型进行训练得到的;所述第二训练样本为携带有样本历史位置信息以及第二样本预测位置信息的图像;所述第二训练样本的标签数据是根据所述样本历史位置信息指示的区域与所述第二样本预测位置信息指示的区域之间的重叠度确定的;其中,所述第二样本预测位置信息指示的区域为利用目标识别模型对所述第二训练样本进行目标检测处理后得到的存在目标的区域。
可选的,图3中的装置,还可以包括:
第一判断模块,用于判断第一图像帧的帧序号是否是预设值,得到第一判断结果。
其中,所述目标跟踪子单元,具体可以用于:
若所述第一判断结果表示所述第一图像帧的帧序号不是预设值,则将所述待跟踪目标的历史位置信息以及所述第一图像帧输入所述第一轻量化目标跟踪模型。
若所述第一判断结果表示所述第一图像帧的帧序号是预设值,则将所述待跟踪目标的历史位置信息以及所述第一图像帧输入所述第二轻量化目标跟踪模型。
可选的,图3中的装置,所述待跟踪目标可以为待跟踪人脸,所述第一轻量化目标跟踪模型可以包括轻量化人脸跟踪模型以及轻量化头部跟踪模型。
若所述第一判断结果表示所述第一图像帧的帧序号不是预设值,所述目标跟踪子单元,具体可以用于:
将所述待跟踪人脸的历史位置信息以及所述第一图像帧输入所述轻量化人脸跟踪模型,得到所述轻量化人脸跟踪模型输出的人脸预测位置信息以及第一人脸跟踪结果;所述人脸预测位置信息用于确定所述第一图像帧中对所述历史位置信息指示的区域放大第一预设倍数后得到的预测人脸区域。
若所述第一人脸跟踪结果表示所述预测人脸区域内不包含人脸,则将所述历史位置信息以及所述第一图像帧输入所述轻量化头部跟踪模型,得到所述轻量化头部跟踪模型输出的头部预测位置信息以及第二人脸跟踪结果;所述头部预测位置信息用于确定所述第一图像帧中的预测头肩区域内的预测头部区域,所述预测头肩区域为对所述历史位置信息指示的区域放大第二预设倍数后得到的区域,所述预测头部区域是基于人体关键点信息从所述预测头肩区域内提取到的包含用户头部的区域。
可选的,所述待选目标为待选人脸;所述第一选定目标确定单元,具体可以用于:
根据所述待选人脸的面积,以及所述待选人脸的中心点与所述第一图像帧的中心点之间的距离,计算所述待选人脸的选中概率;所述选中概率与所述待选人脸的面积成正比,所述选中概率与所述距离成反比;所述待选人脸的面积为所述预测人脸区域的面积或者所述预测头部区域的面积中的一种。将所述选中概率最大的待选人脸,确定为第一选定人脸。
可选的,图3中的装置,还可以包括:
支付请求获取模块,用于获取支付请求。
支付凭证生成模块,用于在将所述第一标识信息变更为所述第二标识信息之后,响应于所述支付请求,生成与所述第一选定人脸对应的支付凭证;所述支付凭证用于指示对所述第一选定人脸所属用户的账户进行扣款处理。
可选的,图3中的装置,还可以包括:
标准分数确定模块,用于确定所述第一图像帧对应的设备采集帧率的标准分数。
第二判断模块,用于判断所述标准分数是否小于预设阈值,得到第二判断结果。
所述特征比对模块,具体可以用于:
若所述第二判断结果表示所述标准分数小于预设阈值,且所述第一标识信息与所述第二标识信息不同,则对所述第一选定目标与所述第二选定目标进行特征比对。
所述标准分数确定模块,具体可以用于:
确定所述目标视频中的采集时刻位于所述第一图像帧的采集时刻与所述第二图像帧的采集时刻之间的图像帧的数量。
确定所述第一图像帧的采集时刻与所述第二图像帧的采集时刻之间的时间间隔。
计算所述数量与所述时间间隔之商,得到所述第一图像帧对应的设备采集帧率。
获取历史设备采集帧率的平均值以及所述历史设备采集帧率的标准差。
计算所述设备采集帧率与所述平均值之差同所述标准差的商,得到所述第一图像帧对应的设备采集帧率的标准分数。
可选的,图3中的装置,还可以包括:
更新模块,用于根据所述设备采集帧率,更新所述历史设备采集帧率的平均值以及所述历史设备采集帧率的标准差。
基于同样的思路,本说明书实施例还提供了上述方法对应的设备。
图4为本说明书实施例提供的对应于图1的一种目标跟踪设备的结构示意图。如图4所示,设备400可以包括:
至少一个处理器410;以及,
与所述至少一个处理器通信连接的存储器430;其中,
所述存储器430存储有可被所述至少一个处理器410执行的指令420,所述指令被所述至少一个处理器410执行,以使所述至少一个处理器410能够:
采用轻量化目标跟踪模型,获取目标视频中第一图像帧内的第一选定目标的第一标识信息;所述轻量化目标跟踪模型是根据待跟踪目标的位置信息进行目标跟踪处理的深度学习模型。
获取所述目标视频中第二图像帧内的第二选定目标的第二标识信息;所述第二图像帧的采集时刻早于所述第一图像帧的采集时刻。
若所述第一标识信息与所述第二标识信息不同,对所述第一选定目标与所述第二选定目标进行特征比对,得到特征比对结果。
若所述特征比对结果表示所述第一选定目标与所述第二选定目标为同一目标,将所述第一标识信息变更为所述第二标识信息。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于图4所示的设备而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字符系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字符助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字符多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (20)
1.一种目标跟踪方法,包括:
采用轻量化目标跟踪模型,获取目标视频中第一图像帧内的第一选定目标的第一标识信息;所述轻量化目标跟踪模型是根据待跟踪目标的位置信息进行目标跟踪处理的深度学习模型;
获取所述目标视频中第二图像帧内的第二选定目标的第二标识信息;所述第二图像帧的采集时刻早于所述第一图像帧的采集时刻;
若所述第一标识信息与所述第二标识信息不同,对所述第一选定目标与所述第二选定目标进行特征比对,得到特征比对结果;
若所述特征比对结果表示所述第一选定目标与所述第二选定目标为同一目标,将所述第一标识信息变更为所述第二标识信息。
2.如权利要求1所述的方法,所述采用轻量化目标跟踪模型,获取目标视频中第一图像帧内的第一选定目标的第一标识信息,具体包括:
根据待跟踪目标的历史位置信息,利用轻量化目标跟踪模型对所述第一图像帧进行目标跟踪处理,得到所述第一图像帧中的待选目标;所述待选目标包括:跟踪成功目标以及新增跟踪目标中的至少一种;一个所述跟踪成功目标对应于一个所述待跟踪目标;所述新增跟踪目标与所述待跟踪目标为不同的目标;
根据所述待跟踪目标的历史标识信息,确定所述待选目标的标识信息;其中,所述新增跟踪目标的标识信息为与所述历史标识信息不同的标识信息;所述跟踪成功目标的标识信息为与所述跟踪成功目标对应的所述待跟踪目标的历史标识信息;
根据预设规则,从所述待选目标中确定第一选定目标;
根据所述待选目标的标识信息,确定所述第一选定目标的第一标识信息。
3.如权利要求2所述的方法,所述根据待跟踪目标的历史位置信息,利用轻量化目标跟踪模型对所述第一图像帧进行目标跟踪处理,得到所述第一图像帧中的待选目标,具体包括:
针对任意一个待跟踪目标,将所述待跟踪目标的历史位置信息以及所述第一图像帧输入轻量化目标跟踪模型,得到所述轻量化目标跟踪模型输出的预测位置信息以及目标跟踪结果;所述目标跟踪结果是根据所述历史位置信息与所述预测位置信息确定的;
若所述目标跟踪结果表示所述第一图像帧中所述预测位置信息指示的区域内的目标与所述待跟踪目标为同一目标,则将所述第一图像帧中所述预测位置信息指示的区域内的目标确定为跟踪成功目标;
若所述目标跟踪结果表示所述第一图像帧中所述预测位置信息指示的区域内的目标与所述待跟踪目标为不同的目标,则将所述第一图像帧中所述预测位置信息指示的区域内的目标确定为新增跟踪目标。
4.如权利要求3所述的方法,所述轻量化目标跟踪模型包括第一轻量化目标跟踪模型以及第二轻量化目标跟踪模型中的至少一种;
所述第一轻量化目标跟踪模型是利用第一训练样本对深度学习模型进行训练得到的;所述第一训练样本为携带有样本历史位置信息以及第一样本预测位置信息的图像;所述第一训练样本的标签数据是根据所述样本历史位置信息指示的区域与所述第一样本预测位置信息指示的区域之间的重叠度确定的;其中,所述第一样本预测位置信息指示的区域为所述第一训练样本中对所述样本历史位置信息指示的区域放大预设倍数后得到的区域;
所述第二轻量化目标跟踪模型是利用第二训练样本对深度学习模型进行训练得到的;所述第二训练样本为携带有样本历史位置信息以及第二样本预测位置信息的图像;所述第二训练样本的标签数据是根据所述样本历史位置信息指示的区域与所述第二样本预测位置信息指示的区域之间的重叠度确定的;其中,所述第二样本预测位置信息指示的区域为利用目标识别模型对所述第二训练样本进行目标检测处理后得到的存在目标的区域。
5.如权利要求4所述的方法,所述将所述待跟踪目标的历史位置信息以及所述第一图像帧输入轻量化目标跟踪模型之前,还包括:
判断所述第一图像帧的帧序号是否是预设值,得到第一判断结果;
所述将所述待跟踪目标的历史位置信息以及所述第一图像帧输入轻量化目标跟踪模型,具体包括:
若所述第一判断结果表示所述第一图像帧的帧序号不是预设值,则将所述待跟踪目标的历史位置信息以及所述第一图像帧输入所述第一轻量化目标跟踪模型;
若所述第一判断结果表示所述第一图像帧的帧序号是预设值,则将所述待跟踪目标的历史位置信息以及所述第一图像帧输入所述第二轻量化目标跟踪模型。
6.如权利要求5所述的方法,所述待跟踪目标为待跟踪人脸,所述第一轻量化目标跟踪模型包括轻量化人脸跟踪模型;
将所述待跟踪目标的历史位置信息以及所述第一图像帧输入所述第一轻量化目标跟踪模型,得到所述第一轻量化目标跟踪模型输出的预测位置信息以及目标跟踪结果,具体包括:
将所述待跟踪人脸的历史位置信息以及所述第一图像帧输入所述轻量化人脸跟踪模型,得到所述轻量化人脸跟踪模型输出的人脸预测位置信息以及第一人脸跟踪结果;所述人脸预测位置信息用于确定所述第一图像帧中对所述历史位置信息指示的区域放大第一预设倍数后得到的预测人脸区域。
7.如权利要求6所述的方法,所述第一轻量化目标跟踪模型还包括轻量化头部跟踪模型;
所述得到所述轻量化人脸跟踪模型输出的人脸预测位置信息以及第一人脸跟踪结果之后,还包括:
若所述第一人脸跟踪结果表示所述预测人脸区域内不包含人脸,则将所述历史位置信息以及所述第一图像帧输入所述轻量化头部跟踪模型,得到所述轻量化头部跟踪模型输出的头部预测位置信息以及第二人脸跟踪结果;所述头部预测位置信息用于确定所述第一图像帧中的预测头肩区域内的预测头部区域,所述预测头肩区域为对所述历史位置信息指示的区域放大第二预设倍数后得到的区域,所述预测头部区域是基于人体关键点信息从所述预测头肩区域内提取到的包含用户头部的区域。
8.如权利要求7所述的方法,所述待选目标为待选人脸;
所述根据预设规则,从所述待选目标中确定第一选定目标,具体包括:
根据所述待选人脸的面积,以及所述待选人脸的中心点与所述第一图像帧的中心点之间的距离,计算所述待选人脸的选中概率;所述选中概率与所述待选人脸的面积成正比,所述选中概率与所述距离成反比;所述待选人脸的面积为所述预测人脸区域的面积或者所述预测头部区域的面积中的一种;
将所述选中概率最大的待选人脸,确定为第一选定人脸。
9.如权利要求8所述的方法,所述获取目标视频中第一图像帧内的第一选定目标的第一标识信息之前,还包括:
获取支付请求;
所述若所述特征比对结果表示所述第一选定目标与所述第二选定目标为同一目标,将所述第一标识信息变更为所述第二标识信息之后,还包括:
响应于所述支付请求,生成与所述第一选定人脸对应的支付凭证;所述支付凭证用于指示对所述第一选定人脸所属用户的账户进行扣款处理。
10.如权利要求1-9中任意一项所述的方法,所述对所述第一选定目标与所述第二选定目标进行特征比对之前,还包括:
确定所述第一图像帧对应的设备采集帧率的标准分数;
判断所述标准分数是否小于预设阈值,得到第二判断结果;
所述对所述第一选定目标与所述第二选定目标进行特征比对,具体包括:
若所述第二判断结果表示所述标准分数小于预设阈值,且所述第一标识信息与所述第二标识信息不同,则对所述第一选定目标与所述第二选定目标进行特征比对。
11.如权利要求10所述的方法,所述确定所述第一图像帧对应的设备采集帧率的标准分数,具体包括:
确定所述目标视频中的采集时刻位于所述第一图像帧的采集时刻与所述第二图像帧的采集时刻之间的图像帧的数量;
确定所述第一图像帧的采集时刻与所述第二图像帧的采集时刻之间的时间间隔;
计算所述数量与所述时间间隔之商,得到所述第一图像帧对应的设备采集帧率;
获取历史设备采集帧率的平均值以及所述历史设备采集帧率的标准差;
计算所述设备采集帧率与所述平均值之差同所述标准差的商,得到所述第一图像帧对应的设备采集帧率的标准分数。
12.如权利要求11所述的方法,所述将所述第一标识信息变更为所述第二标识信息之后,还包括:
根据所述设备采集帧率,更新所述历史设备采集帧率的平均值以及所述历史设备采集帧率的标准差。
13.一种目标跟踪装置,包括:
第一获取模块,用于采用轻量化目标跟踪模型,获取目标视频中第一图像帧内的第一选定目标的第一标识信息;所述轻量化目标跟踪模型是根据待跟踪目标的位置信息进行目标跟踪处理的深度学习模型;
第二获取模块,用于获取所述目标视频中第二图像帧内的第二选定目标的第二标识信息;所述第二图像帧的采集时刻早于所述第一图像帧的采集时刻;
特征比对模块,用于若所述第一标识信息与所述第二标识信息不同,对所述第一选定目标与所述第二选定目标进行特征比对,得到特征比对结果;
标识信息变更模块,用于若所述特征比对结果表示所述第一选定目标与所述第二选定目标为同一目标,将所述第一标识信息变更为所述第二标识信息。
14.如权利要求13所述的装置,所述第一获取模块,具体包括:
待选目标确定单元,用于根据待跟踪目标的历史位置信息,利用轻量化目标跟踪模型对所述第一图像帧进行目标跟踪处理,得到所述第一图像帧中的待选目标;所述待选目标包括:跟踪成功目标以及新增跟踪目标中的至少一种;一个所述跟踪成功目标对应于一个所述待跟踪目标;所述新增跟踪目标与所述待跟踪目标为不同的目标;
标识信息确定单元,用于根据所述待跟踪目标的历史标识信息,确定所述待选目标的标识信息;其中,所述新增跟踪目标的标识信息为与所述历史标识信息不同的标识信息;所述跟踪成功目标的标识信息为与所述跟踪成功目标对应的所述待跟踪目标的历史标识信息;
第一选定目标确定单元,用于根据预设规则,从所述待选目标中确定第一选定目标;
第一标识信息确定单元,用于根据所述待选目标的标识信息,确定所述第一选定目标的第一标识信息。
15.如权利要求14所述的装置,所述待选目标确定单元,具体包括:
目标跟踪子单元,用于针对任意一个待跟踪目标,将所述待跟踪目标的历史位置信息以及所述第一图像帧输入轻量化目标跟踪模型,得到所述轻量化目标跟踪模型输出的预测位置信息以及目标跟踪结果;所述目标跟踪结果是根据所述历史位置信息与所述预测位置信息确定的;
跟踪成功目标确定子单元,用于若所述目标跟踪结果表示所述第一图像帧中所述预测位置信息指示的区域内的目标与所述待跟踪目标为同一目标,则将所述第一图像帧中所述预测位置信息指示的区域内的目标确定为跟踪成功目标;
新增跟踪目标确定子单元,用于若所述目标跟踪结果表示所述第一图像帧中所述预测位置信息指示的区域内的目标与所述待跟踪目标为不同的目标,则将所述第一图像帧中所述预测位置信息指示的区域内的目标确定为新增跟踪目标。
16.如权利要求15所述的装置,所述轻量化目标跟踪模型包括第一轻量化目标跟踪模型以及第二轻量化目标跟踪模型中的至少一种;
所述第一轻量化目标跟踪模型是利用第一训练样本对深度学习模型进行训练得到的;所述第一训练样本为携带有样本历史位置信息以及第一样本预测位置信息的图像;所述第一训练样本的标签数据是根据所述样本历史位置信息指示的区域与所述第一样本预测位置信息指示的区域之间的重叠度确定的;其中,所述第一样本预测位置信息指示的区域为所述第一训练样本中对所述样本历史位置信息指示的区域放大预设倍数后得到的区域;
所述第二轻量化目标跟踪模型是利用第二训练样本对深度学习模型进行训练得到的;所述第二训练样本为携带有样本历史位置信息以及第二样本预测位置信息的图像;所述第二训练样本的标签数据是根据所述样本历史位置信息指示的区域与所述第二样本预测位置信息指示的区域之间的重叠度确定的;其中,所述第二样本预测位置信息指示的区域为利用目标识别模型对所述第二训练样本进行目标检测处理后得到的存在目标的区域。
17.如权利要求16所述的装置,还包括:
第一判断模块,用于判断所述第一图像帧的帧序号是否是预设值,得到第一判断结果;
所述目标跟踪子单元,具体用于:
若所述第一判断结果表示所述第一图像帧的帧序号不是预设值,则将所述待跟踪目标的历史位置信息以及所述第一图像帧输入所述第一轻量化目标跟踪模型;
若所述第一判断结果表示所述第一图像帧的帧序号是预设值,则将所述待跟踪目标的历史位置信息以及所述第一图像帧输入所述第二轻量化目标跟踪模型。
18.如权利要求17所述的装置,所述待跟踪目标为待跟踪人脸,所述第一轻量化目标跟踪模型包括轻量化人脸跟踪模型以及轻量化头部跟踪模型;
若所述第一判断结果表示所述第一图像帧的帧序号不是预设值,所述目标跟踪子单元,具体用于:
将所述待跟踪人脸的历史位置信息以及所述第一图像帧输入所述轻量化人脸跟踪模型,得到所述轻量化人脸跟踪模型输出的人脸预测位置信息以及第一人脸跟踪结果;所述人脸预测位置信息用于确定所述第一图像帧中对所述历史位置信息指示的区域放大第一预设倍数后得到的预测人脸区域;
若所述第一人脸跟踪结果表示所述预测人脸区域内不包含人脸,则将所述历史位置信息以及所述第一图像帧输入所述轻量化头部跟踪模型,得到所述轻量化头部跟踪模型输出的头部预测位置信息以及第二人脸跟踪结果;所述头部预测位置信息用于确定所述第一图像帧中的预测头肩区域内的预测头部区域,所述预测头肩区域为对所述历史位置信息指示的区域放大第二预设倍数后得到的区域,所述预测头部区域是基于人体关键点信息从所述预测头肩区域内提取到的包含用户头部的区域。
19.如权利要求13-18中任意一项所述的装置,还包括:
标准分数确定模块,用于确定所述第一图像帧对应的设备采集帧率的标准分数;
第二判断模块,用于判断所述标准分数是否小于预设阈值,得到第二判断结果;
所述特征比对模块,具体用于:
若所述第二判断结果表示所述标准分数小于预设阈值,且所述第一标识信息与所述第二标识信息不同,则对所述第一选定目标与所述第二选定目标进行特征比对。
20.一种目标跟踪设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
采用轻量化目标跟踪模型,获取目标视频中第一图像帧内的第一选定目标的第一标识信息;所述轻量化目标跟踪模型是根据待跟踪目标的位置信息进行目标跟踪处理的深度学习模型;
获取所述目标视频中第二图像帧内的第二选定目标的第二标识信息;所述第二图像帧的采集时刻早于所述第一图像帧的采集时刻;
若所述第一标识信息与所述第二标识信息不同,对所述第一选定目标与所述第二选定目标进行特征比对,得到特征比对结果;
若所述特征比对结果表示所述第一选定目标与所述第二选定目标为同一目标,将所述第一标识信息变更为所述第二标识信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110936054.9A CN113674318A (zh) | 2021-08-16 | 2021-08-16 | 一种目标跟踪方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110936054.9A CN113674318A (zh) | 2021-08-16 | 2021-08-16 | 一种目标跟踪方法、装置及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113674318A true CN113674318A (zh) | 2021-11-19 |
Family
ID=78542938
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110936054.9A Pending CN113674318A (zh) | 2021-08-16 | 2021-08-16 | 一种目标跟踪方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113674318A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023094894A1 (zh) * | 2021-11-24 | 2023-06-01 | 商汤国际私人有限公司 | 目标跟踪、事件检测方法及装置、电子设备和存储介质 |
CN117255179A (zh) * | 2023-11-14 | 2023-12-19 | 北京灵赋生物科技有限公司 | 基于图像标签识别导向的轨迹监测系统 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105354543A (zh) * | 2015-10-29 | 2016-02-24 | 小米科技有限责任公司 | 视频处理方法及装置 |
CN108154118A (zh) * | 2017-12-25 | 2018-06-12 | 北京航空航天大学 | 一种基于自适应组合滤波与多级检测的目标探测系统及方法 |
WO2018133666A1 (zh) * | 2017-01-17 | 2018-07-26 | 腾讯科技(深圳)有限公司 | 视频目标跟踪方法和装置 |
CN108596955A (zh) * | 2018-04-25 | 2018-09-28 | Oppo广东移动通信有限公司 | 一种图像检测方法、图像检测装置及移动终端 |
US20180374219A1 (en) * | 2017-06-27 | 2018-12-27 | Shanghai Xiaoi Robot Technology Co., Ltd. | Video tracking method and device, and object recognition method and device |
CN109145781A (zh) * | 2018-08-03 | 2019-01-04 | 北京字节跳动网络技术有限公司 | 用于处理图像的方法和装置 |
CN109446942A (zh) * | 2018-10-12 | 2019-03-08 | 北京旷视科技有限公司 | 目标跟踪方法、装置和系统 |
CN110490902A (zh) * | 2019-08-02 | 2019-11-22 | 西安天和防务技术股份有限公司 | 应用于智慧城市的目标跟踪方法、装置、计算机设备 |
CN112182294A (zh) * | 2020-09-28 | 2021-01-05 | 天地伟业技术有限公司 | 一种视频结构化人车检测算法 |
CN112541434A (zh) * | 2020-12-14 | 2021-03-23 | 无锡锡商银行股份有限公司 | 一种基于中心点跟踪模型的人脸识别方法 |
CN113034548A (zh) * | 2021-04-25 | 2021-06-25 | 安徽科大擎天科技有限公司 | 一种适用于嵌入式终端的多目标跟踪方法及其系统 |
CN113128454A (zh) * | 2021-04-30 | 2021-07-16 | 北京智通东方软件科技有限公司 | 视频处理方法、装置、存储介质及电子设备 |
-
2021
- 2021-08-16 CN CN202110936054.9A patent/CN113674318A/zh active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105354543A (zh) * | 2015-10-29 | 2016-02-24 | 小米科技有限责任公司 | 视频处理方法及装置 |
WO2018133666A1 (zh) * | 2017-01-17 | 2018-07-26 | 腾讯科技(深圳)有限公司 | 视频目标跟踪方法和装置 |
US20180374219A1 (en) * | 2017-06-27 | 2018-12-27 | Shanghai Xiaoi Robot Technology Co., Ltd. | Video tracking method and device, and object recognition method and device |
CN108154118A (zh) * | 2017-12-25 | 2018-06-12 | 北京航空航天大学 | 一种基于自适应组合滤波与多级检测的目标探测系统及方法 |
CN108596955A (zh) * | 2018-04-25 | 2018-09-28 | Oppo广东移动通信有限公司 | 一种图像检测方法、图像检测装置及移动终端 |
CN109145781A (zh) * | 2018-08-03 | 2019-01-04 | 北京字节跳动网络技术有限公司 | 用于处理图像的方法和装置 |
CN109446942A (zh) * | 2018-10-12 | 2019-03-08 | 北京旷视科技有限公司 | 目标跟踪方法、装置和系统 |
CN110490902A (zh) * | 2019-08-02 | 2019-11-22 | 西安天和防务技术股份有限公司 | 应用于智慧城市的目标跟踪方法、装置、计算机设备 |
CN112182294A (zh) * | 2020-09-28 | 2021-01-05 | 天地伟业技术有限公司 | 一种视频结构化人车检测算法 |
CN112541434A (zh) * | 2020-12-14 | 2021-03-23 | 无锡锡商银行股份有限公司 | 一种基于中心点跟踪模型的人脸识别方法 |
CN113034548A (zh) * | 2021-04-25 | 2021-06-25 | 安徽科大擎天科技有限公司 | 一种适用于嵌入式终端的多目标跟踪方法及其系统 |
CN113128454A (zh) * | 2021-04-30 | 2021-07-16 | 北京智通东方软件科技有限公司 | 视频处理方法、装置、存储介质及电子设备 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023094894A1 (zh) * | 2021-11-24 | 2023-06-01 | 商汤国际私人有限公司 | 目标跟踪、事件检测方法及装置、电子设备和存储介质 |
CN117255179A (zh) * | 2023-11-14 | 2023-12-19 | 北京灵赋生物科技有限公司 | 基于图像标签识别导向的轨迹监测系统 |
CN117255179B (zh) * | 2023-11-14 | 2024-02-02 | 北京灵赋生物科技有限公司 | 基于图像标签识别导向的轨迹监测系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109784391B (zh) | 基于多模型的样本标注方法及装置 | |
CN109086873B (zh) | 递归神经网络的训练方法、识别方法、装置及处理设备 | |
US20200234086A1 (en) | Systems for modeling uncertainty in multi-modal retrieval and methods thereof | |
CN113674318A (zh) | 一种目标跟踪方法、装置及设备 | |
CN109934074B (zh) | 行动轨迹确定方法及装置 | |
CN111311634A (zh) | 一种人脸图像检测方法、装置及设备 | |
CN113468520A (zh) | 应用于区块链业务的数据入侵检测方法及大数据服务器 | |
CN113032777B (zh) | 一种Web恶意请求检测方法及设备 | |
CN111798487A (zh) | 目标跟踪方法、装置和计算机可读存储介质 | |
CN111553234A (zh) | 融合人脸特征与Re-ID特征排序的行人跟踪方法及装置 | |
JP2022521540A (ja) | オンライン学習を利用した物体追跡のための方法およびシステム | |
CN112214402B (zh) | 一种代码验证算法的选择方法、装置及存储介质 | |
CN110490058B (zh) | 行人检测模型的训练方法、装置、系统和计算机可读介质 | |
Abdel-Aty et al. | Advances and applications of computer vision techniques in vehicle trajectory generation and surrogate traffic safety indicators | |
JPWO2020184539A1 (ja) | 物体追跡装置、物体追跡方法、及び、プログラム | |
CN116958267B (zh) | 位姿处理方法、装置、电子设备及存储介质 | |
CN113468017A (zh) | 应用于区块链的在线业务状态检测方法及业务服务器 | |
US20210044864A1 (en) | Method and apparatus for identifying video content based on biometric features of characters | |
CN113869137A (zh) | 事件检测方法、装置、终端设备及存储介质 | |
CN111242105A (zh) | 一种用户识别方法、装置及设备 | |
CN112597459A (zh) | 一种身份验证方法及装置 | |
CN116453226A (zh) | 基于人工智能的人体姿态识别方法、装置及相关设备 | |
US11314968B2 (en) | Information processing apparatus, control method, and program | |
CN114494977A (zh) | 一种异常停车检测方法、电子设备及存储介质 | |
CN114710318A (zh) | 一种限制爬虫高频访问的方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |