CN114092720A - 目标跟踪方法、装置、计算机设备和存储介质 - Google Patents

目标跟踪方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN114092720A
CN114092720A CN202010778179.9A CN202010778179A CN114092720A CN 114092720 A CN114092720 A CN 114092720A CN 202010778179 A CN202010778179 A CN 202010778179A CN 114092720 A CN114092720 A CN 114092720A
Authority
CN
China
Prior art keywords
tracked
target
feature
features
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010778179.9A
Other languages
English (en)
Inventor
关喜嘉
王邓江
蓝煜东
邓永强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wanji Technology Co Ltd
Original Assignee
Beijing Wanji Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wanji Technology Co Ltd filed Critical Beijing Wanji Technology Co Ltd
Priority to CN202010778179.9A priority Critical patent/CN114092720A/zh
Publication of CN114092720A publication Critical patent/CN114092720A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/251Fusion techniques of input or preprocessed data

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请涉及一种目标跟踪方法、装置、计算机设备和存储介质,通过对不同视角的摄像设备采集多个当前帧图像中的同一待跟踪目标的预测轨迹进行融合,得到各待跟踪目标的融合预测轨迹,然后对当前帧图像中检测的各待跟踪目标的第一特征与对应的融合预测轨迹的特征进行匹配,并根据匹配成功的第一特征对各待跟踪目标进行跟踪。该方法节省了资源和时间,提高了基于多张图像进行目标跟踪时的跟踪效率。

Description

目标跟踪方法、装置、计算机设备和存储介质
技术领域
本申请涉及目标跟踪技术领域,特别是涉及一种目标跟踪方法、装置、计算机设备和存储介质。
背景技术
随着技术的发展,目标跟踪在越来越多的领域得到了广泛应用,例如,智能监控、人机交互、视频检索等领域。
一般在进行目标跟踪时都是通过获取到目标场景下的整幅图像后,基于整幅图像进行目标跟踪。通常,普通的RGB摄像设备采集范围有限,同一场景只能采集到有限范围内的图像,则需要将这多张图像进行拼接合成一张图像,然后根据合成的图像实现目标场景中目标的跟踪。
然而,上述目标跟踪过程较为复杂,使得基于多张图像进行目标跟踪时存在效率低下的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高基于多张图像进行目标跟踪时的跟踪效率的目标跟踪方法、装置、计算机设备和存储介质。
第一方面,本申请实施例提供一种目标跟踪方法,该方法包括:
对多个当前帧图像中的同一待跟踪目标的预测轨迹进行融合,得到各待跟踪目标的融合预测轨迹;多个当前帧图像为不同视角的摄像设备采集的图像;
对各待跟踪目标的第一特征与对应的融合预测轨迹的特征进行匹配;第一特征为对当前帧图像进行目标检测得到的待跟踪目标的特征;
根据匹配成功的第一特征对待跟踪目标进行跟踪。
在其中一个实施例中,该方法还包括:
从不同视角的摄像设备采集的多个当前帧图像中检测各待跟踪目标,得到各待跟踪目标的检测框;
提取各待跟踪目标的检测框中的图像特征作为第一特征。
在其中一个实施例中,在上述对多个当前帧图像中的同一待跟踪目标的预测轨迹进行融合之前,该方法还包括:
通过预设的跟踪算法模型预测各当前帧图像中每一个待跟踪目标的预测轨迹,其中,跟踪算法模型是基于预设的状态空间方程构建的。
在其中一个实施例中,上述预设的状态空间方程包括匀变速运动状态的空间方程和匀速运动状态的空间方程;
若跟踪算法模型是基于匀变速运动状态的空间方程构建的,则跟踪算法模型是用于预测未完成跟踪的图像中的目标的轨迹预测;若跟踪算法模型是基于匀速运动状态的空间方程构建的,则跟踪算法模型是用于更新已完成跟踪的图像中的目标的轨迹。
在其中一个实施例中,上述对各待跟踪目标的第一特征与对应的融合预测轨迹的特征进行匹配,包括:
获取各待跟踪目标的当前连续跟踪失败的次数;其中,当前连续跟踪失败表示在当前帧之前待跟踪目标的第一特征与融合预测轨迹的特征连续匹配失败;
以当前连续跟踪失败的次数从小到大的顺序,依次对各待跟踪目标的第一特征与对应的融合预测轨迹的特征进行匹配。
在其中一个实施例中,上述依次对各待跟踪目标的第一特征与对应的融合预测轨迹的特征进行匹配,包括:
依次计算各待跟踪目标的融合预测轨迹的特征与所有第一特征之间的相似度;
获取各待跟踪目标的最小相似度对应的第一特征;
若所有的待跟踪目标的最小相似度对应的第一特征均不相同,则各待跟踪目标的最小相似度对应的第一特征与融合预测轨迹的特征匹配成功;
若存在至少两个待跟踪目标的最小相似度对应的第一特征相同,则获取第二特征,并基于第二特征与各待跟踪目标的融合预测轨迹之间的交并比,对第二特征与各待跟踪目标的融合预测轨迹进行匹配;其中,第二特征为未匹配成功的第一特征。
在其中一个实施例中,上述第二特征包括最小相似度对应的第一特征之外的其它第一特征,和/或,所有的待跟踪目标的最小相似度对应的第一特征中相同的第一特征。
在其中一个实施例中,上述基于第二特征与各待跟踪目标的融合预测轨迹之间的交并比,对第二特征与各待跟踪目标的融合预测轨迹进行匹配,包括:
依次计算各待跟踪目标的融合预测轨迹与第二特征中各第一特征之间的交并比;
获取各待跟踪目标的最小交并比对应的第一特征;
若所有的待跟踪目标的最小交并比对应的第一特征均不相同,则各待跟踪目标的最小交并比对应的第一特征与融合预测轨迹匹配成功。
在其中一个实施例中,在上述根据匹配成功的第一特征对待跟踪目标进行跟踪之前,该方法还包括:
将匹配成功的第一特征存储至特征池中与第一特征对应的预测轨迹列表中,特征池中包括各帧图像中匹配成功的各待跟踪目标的第一特征与融合预测轨迹之间的对应关系。
在其中一个实施例中,在上述将匹配成功的第一特征存储至特征池中与第一特征对应的预测轨迹列表中之后,该方法还包括:
根据预设的存储条件,对特征池中每个待跟踪目标的第一特征进行管理;存储条件用于控制特征池中各待跟踪目标的第一特征的数量。
第二方面,本申请实施例一种目标跟踪装置,该装置包括:
融合模块,用于对多个当前帧图像中的同一待跟踪目标的预测轨迹进行融合,得到各待跟踪目标的融合预测轨迹;多个当前帧图像为不同视角的摄像设备采集的图像;
匹配模块,用于对各待跟踪目标的第一特征与对应的融合预测轨迹的特征进行匹配;第一特征为对当前帧图像进行目标检测得到的待跟踪目标的特征;
跟踪模块,用于根据匹配成功的第一特征对待跟踪目标进行跟踪。
在其中一个实施例中,该装置包括:
检测框获取模块,用于从不同视角的摄像设备采集的多个当前帧图像中检测各待跟踪目标,得到各待跟踪目标的检测框;
特征提取模块,用于提取各待跟踪目标的检测框中的图像特征作为第一特征。
在其中一个实施例中,该装置包括:
预测模块,用于通过预设的跟踪算法模型预测各当前帧图像中每一个待跟踪目标的预测轨迹,其中,跟踪算法模型是基于预设的状态空间方程构建的。
在其中一个实施例中,上述预设的状态空间方程包括匀变速运动状态的空间方程和匀速运动状态的空间方程;若跟踪算法模型是基于匀变速运动状态的空间方程构建的,则跟踪算法模型是用于预测未完成跟踪的图像中的目标的轨迹预测;若跟踪算法模型是基于匀速运动状态的空间方程构建的,则跟踪算法模型是用于更新已完成跟踪的图像中的目标的轨迹。
在其中一个实施例中,上述匹配模块,包括:
失败次数单元,用于获取各待跟踪目标的当前连续跟踪失败的次数;其中,当前连续跟踪失败表示在当前帧之前待跟踪目标的第一特征与融合预测轨迹的特征连续匹配失败;
顺序匹配单元,用于以当前连续跟踪失败的次数从小到大的顺序,依次对各待跟踪目标的第一特征与对应的融合预测轨迹的特征进行匹配。
在其中一个实施例中,上述顺序匹配单元,具体用于依次计算各待跟踪目标的融合预测轨迹的特征与所有第一特征之间的相似度;获取各待跟踪目标的最小相似度对应的第一特征;若所有的待跟踪目标的最小相似度对应的第一特征均不相同,则各待跟踪目标的最小相似度对应的第一特征与融合预测轨迹的特征匹配成功;若存在至少两个待跟踪目标的最小相似度对应的第一特征相同,则获取第二特征,并基于第二特征与各待跟踪目标的融合预测轨迹之间的交并比,对第二特征与各待跟踪目标的融合预测轨迹进行匹配;其中,第二特征为未匹配成功的第一特征。
在其中一个实施例中,上述第二特征包括最小相似度对应的第一特征之外的其它第一特征,和/或,所有的待跟踪目标的最小相似度对应的第一特征中相同的第一特征。
在其中一个实施例中,上述顺序匹配单元,还具体用于依次计算各待跟踪目标的融合预测轨迹与第二特征中各第一特征之间的交并比;获取各待跟踪目标的最小交并比对应的第一特征;若所有的待跟踪目标的最小交并比对应的第一特征均不相同,则各待跟踪目标的最小交并比对应的第一特征与融合预测轨迹匹配成功。
在其中一个实施例中,该装置还包括:存储模块,用于将匹配成功的第一特征存储至特征池中与第一特征对应的预测轨迹列表中,特征池中包括各帧图像中匹配成功的各待跟踪目标的第一特征与融合预测轨迹之间的对应关系。
在其中一个实施例中,该装置还包括:管理模块,用于根据预设的存储条件,对特征池中每个待跟踪目标的第一特征进行管理;存储条件用于控制特征池中各待跟踪目标的第一特征的数量。
第三方面,本申请实施例一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述第一方面实施例提供的任一方法的步骤。
第四方面,本申请实施例一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述第一方面实施例提供的任一方法的步骤。
本申请实施例的一种目标跟踪方法、装置、计算机设备和存储介质,通过对不同视角的摄像设备采集多个当前帧图像中的同一待跟踪目标的预测轨迹进行融合,得到各待跟踪目标的融合预测轨迹,然后对当前帧图像中检测的各待跟踪目标的第一特征与对应的融合预测轨迹的特征进行匹配,并根据匹配成功的第一特征对各待跟踪目标进行跟踪。该方法中,对于不同视角的摄像设备采集多个当前帧图像中每一个待跟踪目标,是单独预测了预测轨迹后,通过融合的方式得到各待跟踪目标的融合预测轨迹,并采用融合预测轨迹与该多个当前帧图像中每一个待跟踪目标的第一特征进行匹配,实现该多个当前帧图像中待跟踪目标的跟踪,整个过程,无论是预测当前帧图像中的目标的预测轨迹还是检测当前帧图像中的目标的第一特征,均是基于当前帧的单独的图像进行的,无需将当前帧的多张图像进行拼接,节省了拼接过程,从而节省资源和时间,提高了基于多张图像进行目标跟踪时的跟踪效率。
附图说明
图1为一个实施例中目标跟踪方法的应用环境图;
图1a为一个实施例中目标跟踪方法的应用环境图;
图2为一个实施例中目标跟踪方法的流程示意图;
图3为另一个实施例中目标跟踪方法的流程示意图;
图4为另一个实施例中目标跟踪方法的流程示意图;
图5为另一个实施例中目标跟踪方法的流程示意图;
图6为另一个实施例中目标跟踪方法的流程示意图;
图7为另一个实施例中目标跟踪方法的示意图;
图8为一个实施例中目标跟踪装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的目标跟踪方法,可以应用于如图1所示的应用环境中。其中,计算机设备通过网络与各摄像设备进行通信。其中,计算机设备可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,摄像设备包括但不限于是专业摄像机、CCD摄像机、网络摄像机、广播级摄像机、业务级摄像机、家用级摄像机、演播室/现场座机型摄像机、便携式摄像机、黑白摄像机、彩色摄像机、红外线摄像机、X光摄像机、监控摄像机、暗访摄像机、纽扣看字摄像机等。其中多个摄像设备之间可以相同也可以不相同,对此不作限定。
其中,计算机设备的内部结构图请参见图1a。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储目标跟踪的相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种目标跟踪方法。
本申请实施例提供一种目标跟踪方法、装置、计算机设备和存储介质,能够提高基于多张图像进行目标跟踪时的跟踪效率。下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。需要说明的是,本申请提供的一种目标跟踪方法,图2-图7的执行主体为计算机设备。其中,该图2-图7的执行主体还可以是目标跟踪装置,该装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。
在一个实施例中,如图2所示,提供了一种目标跟踪方法,本实施例涉及的是计算机设备基于多张图像分别进行多张图像中的目标的轨迹预测后,将同一待跟踪目标的预测轨迹融合得到该待跟踪目标的融合预测轨迹,然后根据融合预测轨迹对多张图像中每个待跟踪目标的第一特征进行匹配,并对匹配成功的待跟踪目标进行跟踪的具体过程,该实施例包括以下步骤:
S101,对多个当前帧图像中的同一待跟踪目标的预测轨迹进行融合,得到各待跟踪目标的融合预测轨迹;多个当前帧图像为不同视角的摄像设备采集的图像。
其中,当前帧图像指的是当前时刻摄像设备采集的图像,摄像设备在不同时刻采集的各帧图像组合起来就是摄像设备采集的视频流。实际应用时,若要跟踪目标场景中的目标时,在一些情况可以通过相对于该目标场景不同视角的摄像设备监控该目标场景,即多个摄像设备可从不同视角采集到目标场景在一定时间段中的视频流。待跟踪目标即为图像中需要跟踪的目标。
其中,预测轨迹指的是预测出的每一个目标在当前帧图像中的轨迹,例如,根据上一帧图像中各目标已发生的轨迹预测当前帧图像中各目标的轨迹。这里需要说明的是,轨迹在各帧图像中的形式为矩形框的形式,预测轨迹可称为预测跟踪框。由于各摄像设备是从不同视角采集的视频流,那么对于视频流中每一帧图像来说目标场景中的待跟踪目标是存在重复的,例如,目标1号可能在每个视角的视频流中出现,目标2号可能只出现其中几个视角的视频流中;因此,当预测了对各摄像设备采集的所有当前帧图像中目标的轨迹后,对于同一待跟踪目标来说(例如,目标1号存在多个预测轨迹),则需要将同一待跟踪目标的预测轨迹进行融合,得到该待跟踪目标最终的融合预测轨迹。可以理解的是,每个待跟踪目标的融合预测轨迹可以反映该目标在目标场景中当前视频中的完整轨迹。
S102,对各待跟踪目标的第一特征与对应的融合预测轨迹的特征进行匹配;第一特征为对当前帧图像进行目标检测得到的待跟踪目标的特征。
其中,第一特征为对多个当前帧图像进行目标检测得到的待跟踪目标的特征,例如,通过预设的目标检测模型进行检测,该目标检测模型可以是基于神经网络的模型等,本实施例对此不作限定。可以理解的是,该第一特征检测的是当前帧图像中存在的目标,但其仅仅只是检测出了感兴趣区域,并不知道检测出的各感兴趣区域是哪一个目标,即不知道检测出的各目标的具体标识。所以若要实现对当前帧图像中各目标的跟踪,必须先确定出检出出的各第一特征分别是哪一个目标,确定出各第一特征对应的待跟踪目标的标识。
具体地,对各待跟踪目标的第一特征与对应的融合预测轨迹的特征进行匹配,其中,匹配时可以是通过相似度进行匹配,也可以通过交并比进行匹配等,还可以采用其他方式进行匹配,本实施例对此不作限定。
S103,根据匹配成功的第一特征对待跟踪目标进行跟踪。
在上述过程中,融合预测轨迹的各待跟踪目标的标识是已经确定的,所以若第一特征与某一个融合预测轨迹匹配成功,则认为该第一特征对应的待跟踪目标的标识就是该融合预测轨迹对应的待跟踪目标的标识,通过匹配的方式依次确定出检测的第一特征对应待跟踪目标的标识,相当于,确定出当前帧图像中每一个待跟踪目标的标识后,将各待跟踪目标检测的第一特征更新为该待跟踪目标在当前帧图像中的真实轨迹,完成当前帧图像中对各待跟踪目标的跟踪。
本实施例提供的目标跟踪方法,通过对不同视角的摄像设备采集多个当前帧图像中的同一待跟踪目标的预测轨迹进行融合,得到各待跟踪目标的融合预测轨迹,然后对当前帧图像中检测的各待跟踪目标的第一特征与对应的融合预测轨迹的特征进行匹配,并根据匹配成功的第一特征对各待跟踪目标进行跟踪。该方法中,对于不同视角的摄像设备采集多个当前帧图像中每一个待跟踪目标,是单独预测了预测轨迹后,通过融合的方式得到各待跟踪目标的融合预测轨迹,并采用融合预测轨迹与该多个当前帧图像中每一个待跟踪目标的第一特征进行匹配,实现该多个当前帧图像中待跟踪目标的跟踪,整个过程,无论是预测当前帧图像中的目标的预测轨迹还是检测当前帧图像中的目标的第一特征,均是基于当前帧的单独的图像进行的,无需将当前帧的多张图像进行拼接,节省了拼接过程,从而节省资源和时间,提高了基于多张图像进行目标跟踪时的跟踪效率。
提供一种获取当前帧图像中各待跟踪目标的第一特征的实施例,如图3所示,在一个实施例中,该实施例包括:
S201,从不同视角的摄像设备采集的多个当前帧图像中检测各待跟踪目标,得到各待跟踪目标的检测框。
实际应用中,第一特征可以是从每一帧图像中检测的待跟踪目标的检测框的特征,因此,先从多个当前帧图像中检测各待跟踪目标以得到各待跟踪目标的检测框。例如,将该多个当前帧图像输入至目标检测模型中,得到各待跟踪目标的检测框。其中,本实施例中得到的检测框至少可以表示出各待跟踪目标的位置和尺寸信息,但不能确定各待跟踪目标的标识。
S202,提取各待跟踪目标的检测框中的图像特征作为第一特征。
在获取到多个当前帧图像中各待跟踪目标的检测框后,提取各检测框中的图像特征作为各待跟踪目标的第一特征,其中,该图像特征的提取算法包括但不限于是通过计算和统计图像局部区域的梯度方向直方图来构成的方向梯度直方图(Histogram ofOriented Gradient,HOG)、加速稳健特征(Speeded Up Robust Features,SURF),SURF是对SIFT的一种改进,主要特点是快速、尺度不变特征变换(Oriented FAST and RotatedBRIEF,ORB),ORB是一种快速特征点提取和描述的算法、尺度不变特征变换(Scale-invariant feature transform,SIFT),SIFT是用于图像处理领域的一种描述。优选地,本实施例中图像特征是HOG特征,由于本申请实施例提供的目标跟踪方法可以应用到实时视频中,所以对提取多个当前帧图像中各待跟踪目标的第一特征的时间是希望越快约好,因此就需要尽量降低GPU的占用,而HOG特征不占用GPU资源,使得本实施例中将提取第一特征的时间可以满足实时视频的需求。
本申请实施例提供的目标跟踪方法中通过以检测的图像中目标的检测框中的图像特征作为目标的第一特征,一方面检测框至少可以反映各待跟踪目标的位置和尺寸信息,以检测框中特征作为第一特征使得第一特征可以准确的表示各待跟踪目标;另一方面,当以HOG特征作为图像特征,不占用GPU资源,使得本实施例中将提取第一特征的时间可以满足实时视频的需求。
对于上述实施例中提及各待跟踪目标的预测轨迹的预测过程,下面通过几种实施例进行说明。在一个实施例中,获取当前帧图像中每一个待跟踪目标的预测轨迹的实施例包括:通过预设的跟踪算法模型预测各当前帧图像中每一个待跟踪目标的预测轨迹,其中,跟踪算法模型是基于预设的状态空间方程构建的。
其中,状态空间方程是根据目标在空间中的不同运动状态建立的可以反映目标的轨迹在不同时刻的变化情况、运动信息等表达式;基于该状态空间方程构建的跟踪算法模型,例如,卡尔曼滤波器,就可以更加贴近目标在空间中运动时真实信息。在构建好跟踪算法模型后,通过该跟踪算法模型预测各当前帧图像中每一个待跟踪目标的预测轨迹,可以使每一个待跟踪目标的预测轨迹更加准确。
可选地,在一个实施例中,预设的状态空间方程包括匀变速运动状态的空间方程和匀速运动状态的空间方程;若跟踪算法模型是基于匀变速运动状态的空间方程构建的,则跟踪算法模型是用于预测未完成跟踪的图像中的目标的轨迹预测;若跟踪算法模型是基于匀速运动状态的空间方程构建的,则跟踪算法模型是用于更新已完成跟踪的图像中的目标的轨迹。
其中,跟踪算法模型是基于匀变速运动状态的空间方程构建的情况下,匀变速运动状态的空间方程将目标在空间的运动与时间进行了耦合,考虑了加速度的影响,可以使得轨迹预测误差更小,提升了速度变化大的跟踪效果。
示例地,以每一时刻的各目标轨迹为一个矩形框,第一种情况,将目标在图像里的运动看作匀变速运动,则构建如下状态空间方程(1)反映目标在图像里匀变速运动时的信息变化。
Figure BDA0002619241630000131
其中,上式中,x′、y′代表当前帧图像中目标的轨迹中心点在图像x轴、y轴的坐标,x、y代表时间t之前目标的轨迹中心点在图像x轴、y轴的坐标,
Figure BDA0002619241630000132
Figure BDA0002619241630000133
代表时间t之前同一目标在图像x轴、y轴方向的速度,
Figure BDA0002619241630000134
代表时间t之前同一目标在图像x轴、y轴方向的加速度;α′、h′代表当前帧图像中目标的轨迹的长宽比和高度,α、h代表时间t之前目标的轨迹的长宽比和高度,
Figure BDA0002619241630000135
代表同一目标在时间t之前长宽比变化率、高度变化率。
其中,上述t代表跟踪失败的时刻,那么t之前轨迹坐标是以视频流中已完成跟踪的最后一个图像为准,速度和加速度则是指t时刻之前某个时间段的平均速度和平均加速度。那么基于上述状态空间方程(1),可以对每个时刻的图像(视频流中每一帧图像)中的目标的轨迹进行预测。由于状态空间方程(1)与时间进行了耦合,考虑到加速度,这样在轨迹预测阶段就考虑加速度的影响,可以使得轨迹预测误差更小,提升了速度变化大的跟踪效果。
其中,跟踪算法模型是基于匀速运动状态的空间方程构建的情况下,匀速运动状态的空间方程是对目标的运动状态进行了简化,可以节省计算资源,提高了更新效率。
示例地,本申请实施例提供的目标跟踪算法是需要应用到实时视频中,为了避免耗时过高问题,在更新每一帧图像中目标的轨迹时,可以将状态空间方程(1)简化为匀速运动形式,如下公式(2):
Figure BDA0002619241630000141
其中上式中,x′、y′代表当前轨迹中心点在图像x轴、y轴的坐标,x、y代表上一帧轨迹中心点在图像x轴、y轴的坐标,
Figure BDA0002619241630000143
代表上一帧同一目标在图像x轴、y轴方向的速度;α′、h′代表当前轨迹的长宽比和高度,α、h代表上一帧轨迹的长宽比和高度,
Figure BDA0002619241630000142
代表同一目标在相邻帧的长宽比变化率、高度变化率。
这样通过简化的状态空间方程(2),并采用卡尔曼滤波器,就可以根据确定的各待跟踪目标的第一特征后,对图像中各待跟踪目标进行实时状态的更新。由于将目标的运动简化为匀速运动形式后,建立的跟踪算法模型对目标的轨迹在进行更新时,提升更新效率,满足实时视频的需求。
如图4所示,在一个实施例中,上述S102中对各待跟踪目标的第一特征与对应的融合预测轨迹的特征进行匹配的过程包括以下步骤:
S301,获取各待跟踪目标的当前连续跟踪失败的次数;其中,当前连续跟踪失败表示在当前帧之前待跟踪目标的第一特征与融合预测轨迹的特征连续匹配失败。
其中,当前连续跟踪失败表示在当前帧之前待跟踪目标的第一特征与融合预测轨迹的特征连续匹配失败的情况,对于每个待跟踪目标来说,需要在视频流中一帧一帧的确定各待跟踪目标的轨迹,每个待跟踪目标都有个跟踪失败的情况,每进行完一帧图像中目标轨迹的确定后,将各待跟踪目标的跟踪失败或成功情况记录下来,例如,可以建立一个特征池,该特征池中对于每个待跟踪目标分别建一个表,用于存储每个待跟踪目标的所有信息,包括:该待跟踪目标在哪一帧图像跟踪失败或成功,该待跟踪目标的检测框、预测轨迹等。这样,在需要信息时,可以直接在特征池中获取。当然,获取到各待跟踪目标的当前连续跟踪失败的次数也可以采用其他方式,本实施例对此不作限定。
S302,以当前连续跟踪失败的次数从小到大的顺序,依次对各待跟踪目标的第一特征与对应的融合预测轨迹的特征进行匹配。
其中,连续跟踪失败次数越多,说明该待跟踪目标的匹配成功率越低,那么在获取到各待跟踪目标的当前连续跟踪失败的次数后,以当前连续跟踪失败的次数从小到大的顺序,依次对各待跟踪目标的第一特征与对应的融合预测轨迹的特征进行匹配,以匹配成功率高的待跟踪目标开始进行匹配。
本实施例中,根据各待跟踪目标的当前连续跟踪失败的次数从小到大的顺序开始进行匹配,将以匹配成功率高的待跟踪目标优先进行匹配,可提高匹配效率。
在匹配时,可以采用混合匹配方法进行特征匹配,不同的匹配方法之前可以互补,从不同维度对第一特征与对应的融合预测轨迹进行匹配,可以有效地确定出各待跟踪目标的标识,提高目标跟踪准确性和有效性。
则如图5所示,在一个实施例中,上述S302包括以下步骤:
S401,依次计算各待跟踪目标的融合预测轨迹的特征与所有第一特征之间的相似度。
依次时一个一个执行本实施例中的各步骤,则以其中一个待跟踪目标:目标1号为例:将该目标1号的融合预测轨迹分别与所有第一特征之间,计算相似度,这里的所有第一特征指的是多个当前帧图像中所有的第一特征。例如,多个当前帧图像是3张图像,该3张图像中检测到了10个第一特征,那么就是将目标1号的融合预测轨迹分别与这10个第一特征计算相似度,即有10个相似度。
其中,计算相似度的方式可是通过距离度量的方式,例如欧式距离等,本实施例对计算相似度的方式不作限定。
S402,获取各待跟踪目标的最小相似度对应的第一特征。
在获取到各待跟踪目标的融合预测轨迹的特征与所有第一特征之间的相似度后,获取各待跟踪目标的最小相似度对应的第一特征。由于对于每个待跟踪目标来说,都有多个相似度,从该待跟踪目标的多个相似度中选择最小的相似度对应的第一特征,例如:待跟踪目标是目标1号,所有第一特征一共是10个,则目标1号经过S401步骤具有10个相似度,从这10个相似度中选择最小相似度,该最小相似度对应的第一特征就是目标1号要获取的第一特征;依照此过程,依次获取每一个待跟踪目标的最小相似度对应的第一特征。
S403,若所有的待跟踪目标的最小相似度对应的第一特征均不相同,则各待跟踪目标的最小相似度对应的第一特征与融合预测轨迹的特征匹配成功。
在上述步骤中获取每一个待跟踪目标的最小相似度对应的第一特征后,对于每一个待跟踪目标来说都存在对应关系:待跟踪目标N号--融合预测轨迹--最小相似度--第一特征;若该对应关系中,没有重复的第一特征,即一个第一特征不能出现在两个以上的对应关系中;若该对应关系中的第一特征都不存在重复,在确定该待跟踪目标的最小相似度对应的这一组第一特征与融合预测轨迹之间匹配成功。
需要说明的是,因为本步骤中得到的所有待跟踪目标的对应关系都是以各待跟踪的最小相似度确定的,所以,对于每个待跟踪目标来说,其最小相似度对应的一组第一特征与融合预测轨迹是最相似的,在这种前提下,对应关系中的第一特征都不存在重复,就说明每个第一特征都匹配到了正确的融合预测轨迹,那么对应关系中的第一特征和融合预测轨迹就匹配成功。
S404,若存在至少两个待跟踪目标的最小相似度对应的第一特征相同,则获取第二特征,并基于第二特征与各待跟踪目标的融合预测轨迹之间的交并比,对第二特征与各待跟踪目标的融合预测轨迹进行匹配;其中,第二特征为未匹配成功的第一特征。
但若是上述得到所有待跟踪目标的对应关系,这些对应关系中,只要存在两个以上第一特征相同,那么相同的这个第一特征所在的对应关系中的第一特征和融合预测轨迹就未匹配成功。对于这种情况,可以采用两种处理方式,一种是确定该相同的这个第一特征所在的所有对应关系不成立,即该第一特征和融合预测轨迹未匹配成功,另外一种处理方式是对比该相同的这个第一特征所在的所有对应关系中各相似度的大小关系,将该第一特征确定到这几个对应关系的相似度值中最小那个,而其他对应关系可以以各自相似度值从小到大顺序调整,直至所有对应关系中不存在重复的第一特征。其中,本实施例中,以第一种方式处理,若存在至少两个待跟踪目标的最小相似度对应的第一特征相同时,获取第二特征,其中,第二特征为未匹配成功的第一特征。
可选地,第二特征包括最小相似度对应的第一特征之外的其它第一特征,和/或,所有的待跟踪目标的最小相似度对应的第一特征中相同的第一特征。
即,第二特征中除了包括上述待跟踪目标的最小相似度对应的第一特征中相同的第一特征以外,还可以包括最小相似度对应的第一特征之外的其它第一特征,具体地,由于上述的每个待跟踪目标的对应关系都是以最小相似度确定的,那么在确定相似度最小值的对应关系过程中,会存在遗留其他第一特征,对于这些遗留的第一特征也属于未匹配成功的第一特征。例如,有3个待跟踪目标:目标1号、目标2号、目标3号;有4个第一特征:第一特征A、第一特征B、第一特征C、第一特征D;目标1号与第一特征A之间的相似度最小,假设目标1号的对应关系是:目标1号--第一特征A--最小相似度--目标1号融合预测轨迹;目标2号的对应关系是:目标2号--第一特征A--最小相似度--目标2号融合预测轨迹;目标3号的对应关系是:目标3号--第一特征B--最小相似度--目标3号融合预测轨迹;目标4号的对应关系是:目标4号--第一特征C--最小相似度--目标4号融合预测轨迹;那么这种情况下,第一特征A出现在了两个对应关系中,确定第一特征A匹配失败,而第一特征D因为没有出现在对应关系中,所以被遗留下来,也是匹配失败的。
对于未匹配成功的第一特征(即第二特征),可以通过计算交并比的方式确定与对应的融合预测轨迹是否匹配,即基于第二特征与各待跟踪目标的融合预测轨迹之间的交并比,对第二特征与各待跟踪目标的融合预测轨迹进行匹配。如图6所示,在一个实施例中,S404中“基于第二特征与各待跟踪目标的融合预测轨迹之间的交并比,对第二特征与各待跟踪目标的融合预测轨迹进行匹配”包括以下步骤:
S501,依次计算各待跟踪目标的融合预测轨迹与第二特征中各第一特征之间的交并比。
同样,依次计算时是一个一个执行本实施例中的各步骤,以其中一个待跟踪目标:目标1号为例:将该目标1号的融合预测轨迹分别与第二特征中各第一特征之间,计算交并比,这里的第一特征时上述第二特征中未匹配成功的第一征,计算交并比时仍以计算的第二特征中每个第一特征与目标1号的融合预测轨迹之间的交并比。例如,第二特征中有4个第一特征,那么就是将目标1号的融合预测轨迹分别与这4个第一特征计算交并比,即目标1号有4个交并比。依照该过程计算,每个待跟踪目标都有4个交并比。
其中,计算交并比的方式即为第一特征对应的检测框与融合预测轨迹的矩形框之间的交集比上两者的并集。
S502,获取各待跟踪目标的最小交并比对应的第一特征。
在获取到各待跟踪目标的融合预测轨迹的特征与第二特征中各第一特征之间的交并比后,获取各待跟踪目标的最小交并比对应的第一特征。选择方式与上述相似度类似,例如:待跟踪目标是目标1号,第二特征中的第一特征一共是4个,则目标1号经过S501步骤后得到4个交并比,从这4个交并比中选择最小交并比,该最小交并比对应的第一特征就是目标1号的最小交并比对应的第一特征;依照此过程,依次获取每一个待跟踪目标的最小交并比对应的第一特征。
S503,若所有的待跟踪目标的最小交并比对应的第一特征均不相同,则各待跟踪目标的最小交并比对应的第一特征与融合预测轨迹匹配成功。
在上述步骤中获取每一个待跟踪目标的最小交并比对应的第一特征后,对于每个待跟踪目标来说对应关系是:待跟踪目标N号--融合预测轨迹--最小交并比--第一特征;若该对应关系中的第一特征都不存在重复,则确定该待跟踪目标的最小交并比对应的这一组第一特征与融合预测轨迹之间匹配成功。
需要理解是,由于本实施例是经过相似度后未匹配成功的第一特征计算交并比,所以在未匹配成功的第一特征数量较少的情况下,不一定每个待跟踪目标都可以确定到对应关系,因此,对于第一特征数量较少的情况下,只要保证每个第一特征所在的对应关系中,相似度值是最小的即可。
本实施例提供的目标跟踪方法,先基于相似度对各待跟踪目标的融合预测轨迹与获取的第一特征进行匹配,对于未匹配成功的第一特征,采用交并比的方式进行匹配,这样从不同维度进行匹配,可全面有效地保证每个第一特征都可以匹配,使得各待跟踪目标都可以被准确的跟踪。
对于匹配成功的第一特征和融合预测轨迹,在根据第一特征对对应的待跟踪目标在跟踪的同时,还可以将匹配成功的各待跟踪目标的第一特征进行存储,则在一个实施例中,该方法还包括:将匹配成功的第一特征存储至特征池中与第一特征对应的预测轨迹列表中,特征池中包括各帧图像中匹配成功的各待跟踪目标的第一特征与融合预测轨迹之间的对应关系。可选地,在将匹配成功的第一特征存储至特征池中与第一特征对应的预测轨迹列表中之后,该方法还包括:根据预设的存储条件,对特征池中每个待跟踪目标的第一特征进行管理;存储条件用于控制特征池中各待跟踪目标的第一特征的数量。
其中,每进行一帧图像,将该帧所有图像中的匹配成功的第一特征存储至特征池中与第一特征对应的预测轨迹列表中,其中,该特征池中包括各帧图像中匹配成功的各待跟踪目标的第一特征与融合预测轨迹之间的对应关系,还可以包括其他信息,例如,上述该待跟踪目标的跟踪失败次数,或者匹配过程的相似度和交并比值,以及匹配成功后确定的各待跟踪目标的标识等等,本实施例对此不作限定。
为了避免特征池数据量太大占用内存影响跟踪效率,需要对特征池中的数据进行管理,例如限制存储数量,对每个待跟踪目标只保留一定数量的数据,删除保留时间过长的特征,以HOG特征为例,虽然HOG特征可以用于区分目标,但并不是刻意区分所有时刻的所有目标,对于时间较为久远的,其效果并不是很好,所以可以在特征池只保留每个轨迹的最新100帧的HOG特征。这样对特征池进行有效管理,既可以保存数据以便后续沿用,还不影响跟踪效率。
在一个实施例中,如图7所示,提供了一种目标跟踪方法的实施例,该实施例包括:
S601,获取不同视角采集的各视频流中当前帧图像;
S602,从多个当前帧图像中检测待跟踪目标的检测框;
S603,提取各待跟踪目标检测框的HOG特征,执行S606;
S604,构建状态空间方程的跟踪算法按模型;
S605,预测当前帧图像中待跟踪目标的预测轨迹;
S606,存储至特征特征池中;
S607,对预测轨迹的特征和所有HOG特征计算相似度进行匹配;
S608,对预测轨迹和剩余未匹配成功的HOG特征计算交并比进行匹配;
S609,匹配成功的更新轨迹;
S610,结束。
本实施例提供的目标跟踪方法中各步骤,其实现原理和技术效果与前面各目标跟踪方法实施例中类似,在此不再赘述。图7实施例中各步骤的实现方式只是一种举例,对各实现方式不作限定,各步骤的顺序在实际应用中可进行调整,只要可以实现各步骤的目的即可。
应该理解的是,虽然图2-7的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-7中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图8所示,提供了一种目标跟踪装置,该装置包括:
融合模块10,用于对多个当前帧图像中的同一待跟踪目标的预测轨迹进行融合,得到各待跟踪目标的融合预测轨迹;多个当前帧图像为不同视角的摄像设备采集的图像;
匹配模块11,用于对各待跟踪目标的第一特征与对应的融合预测轨迹的特征进行匹配;第一特征为对当前帧图像进行目标检测得到的待跟踪目标的特征;
跟踪模块12,用于根据匹配成功的第一特征对待跟踪目标进行跟踪。
在一个实施例中,该装置包括:
检测框获取模块,用于从不同视角的摄像设备采集的多个当前帧图像中检测各待跟踪目标,得到各待跟踪目标的检测框;
特征提取模块,用于提取各待跟踪目标的检测框中的图像特征作为第一特征。
在一个实施例中,该装置包括:预测模块,用于通过预设的跟踪算法模型预测各当前帧图像中每一个待跟踪目标的预测轨迹,其中,跟踪算法模型是基于预设的状态空间方程构建的。
在一个实施例中,上述预设的状态空间方程包括匀变速运动状态的空间方程和匀速运动状态的空间方程;若跟踪算法模型是基于匀变速运动状态的空间方程构建的,则跟踪算法模型是用于预测未完成跟踪的图像中的目标的轨迹预测;若跟踪算法模型是基于匀速运动状态的空间方程构建的,则跟踪算法模型是用于更新已完成跟踪的图像中的目标的轨迹。
在一个实施例中,上述匹配模块11,包括:
失败次数单元,用于获取各待跟踪目标的当前连续跟踪失败的次数;其中,当前连续跟踪失败表示在当前帧之前待跟踪目标的第一特征与融合预测轨迹的特征连续匹配失败;
顺序匹配单元,用于以当前连续跟踪失败的次数从小到大的顺序,依次对各待跟踪目标的第一特征与对应的融合预测轨迹的特征进行匹配。
在一个实施例中,上述顺序匹配单元,具体用于依次计算各待跟踪目标的融合预测轨迹的特征与所有第一特征之间的相似度;获取各待跟踪目标的最小相似度对应的第一特征;若所有的待跟踪目标的最小相似度对应的第一特征均不相同,则各待跟踪目标的最小相似度对应的第一特征与融合预测轨迹的特征匹配成功;若存在至少两个待跟踪目标的最小相似度对应的第一特征相同,则获取第二特征,并基于第二特征与各待跟踪目标的融合预测轨迹之间的交并比,对第二特征与各待跟踪目标的融合预测轨迹进行匹配;其中,第二特征为未匹配成功的第一特征。
在一个实施例中,上述第二特征包括最小相似度对应的第一特征之外的其它第一特征,和/或,所有的待跟踪目标的最小相似度对应的第一特征中相同的第一特征。
在一个实施例中,上述顺序匹配单元,还具体用于依次计算各待跟踪目标的融合预测轨迹与第二特征中各第一特征之间的交并比;获取各待跟踪目标的最小交并比对应的第一特征;若所有的待跟踪目标的最小交并比对应的第一特征均不相同,则各待跟踪目标的最小交并比对应的第一特征与融合预测轨迹匹配成功。
在一个实施例中,该装置还包括:存储模块,用于将匹配成功的第一特征存储至特征池中与第一特征对应的预测轨迹列表中,特征池中包括各帧图像中匹配成功的各待跟踪目标的第一特征与融合预测轨迹之间的对应关系。
在一个实施例中,该装置还包括:管理模块,用于根据预设的存储条件,对特征池中每个待跟踪目标的第一特征进行管理;存储条件用于控制特征池中各待跟踪目标的第一特征的数量。
关于目标跟踪装置的具体限定可以参见上文中对于目标跟踪方法的限定,在此不再赘述。上述目标跟踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图1a所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种目标跟踪方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图1a中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
对多个当前帧图像中的同一待跟踪目标的预测轨迹进行融合,得到各待跟踪目标的融合预测轨迹;多个当前帧图像为不同视角的摄像设备采集的图像;
对各待跟踪目标的第一特征与对应的融合预测轨迹的特征进行匹配;第一特征为对当前帧图像进行目标检测得到的待跟踪目标的特征;
根据匹配成功的第一特征对待跟踪目标进行跟踪。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
从不同视角的摄像设备采集的多个当前帧图像中检测各待跟踪目标,得到各待跟踪目标的检测框;
提取各待跟踪目标的检测框中的图像特征作为第一特征。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
通过预设的跟踪算法模型预测各当前帧图像中每一个待跟踪目标的预测轨迹,其中,跟踪算法模型是基于预设的状态空间方程构建的。
在一个实施例中,上述预设的状态空间方程包括匀变速运动状态的空间方程和匀速运动状态的空间方程;
若跟踪算法模型是基于匀变速运动状态的空间方程构建的,则跟踪算法模型是用于预测未完成跟踪的图像中的目标的轨迹预测;若跟踪算法模型是基于匀速运动状态的空间方程构建的,则跟踪算法模型是用于更新已完成跟踪的图像中的目标的轨迹。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取各待跟踪目标的当前连续跟踪失败的次数;其中,当前连续跟踪失败表示在当前帧之前待跟踪目标的第一特征与融合预测轨迹的特征连续匹配失败;
以当前连续跟踪失败的次数从小到大的顺序,依次对各待跟踪目标的第一特征与对应的融合预测轨迹的特征进行匹配。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
依次计算各待跟踪目标的融合预测轨迹的特征与所有第一特征之间的相似度;
获取各待跟踪目标的最小相似度对应的第一特征;
若所有的待跟踪目标的最小相似度对应的第一特征均不相同,则各待跟踪目标的最小相似度对应的第一特征与融合预测轨迹的特征匹配成功;
若存在至少两个待跟踪目标的最小相似度对应的第一特征相同,则获取第二特征,并基于第二特征与各待跟踪目标的融合预测轨迹之间的交并比,对第二特征与各待跟踪目标的融合预测轨迹进行匹配;其中,第二特征为未匹配成功的第一特征。
在一个实施例中,上述第二特征包括最小相似度对应的第一特征之外的其它第一特征,和/或,所有的待跟踪目标的最小相似度对应的第一特征中相同的第一特征。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
依次计算各待跟踪目标的融合预测轨迹与第二特征中各第一特征之间的交并比;
获取各待跟踪目标的最小交并比对应的第一特征;
若所有的待跟踪目标的最小交并比对应的第一特征均不相同,则各待跟踪目标的最小交并比对应的第一特征与融合预测轨迹匹配成功。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将匹配成功的第一特征存储至特征池中与第一特征对应的预测轨迹列表中,特征池中包括各帧图像中匹配成功的各待跟踪目标的第一特征与融合预测轨迹之间的对应关系。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据预设的存储条件,对特征池中每个待跟踪目标的第一特征进行管理;存储条件用于控制特征池中各待跟踪目标的第一特征的数量。
上述实施例提供的一种计算机设备,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
对多个当前帧图像中的同一待跟踪目标的预测轨迹进行融合,得到各待跟踪目标的融合预测轨迹;多个当前帧图像为不同视角的摄像设备采集的图像;
对各待跟踪目标的第一特征与对应的融合预测轨迹的特征进行匹配;第一特征为对当前帧图像进行目标检测得到的待跟踪目标的特征;
根据匹配成功的第一特征对待跟踪目标进行跟踪。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
从不同视角的摄像设备采集的多个当前帧图像中检测各待跟踪目标,得到各待跟踪目标的检测框;
提取各待跟踪目标的检测框中的图像特征作为第一特征。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
通过预设的跟踪算法模型预测各当前帧图像中每一个待跟踪目标的预测轨迹,其中,跟踪算法模型是基于预设的状态空间方程构建的。
在一个实施例中,上述预设的状态空间方程包括匀变速运动状态的空间方程和匀速运动状态的空间方程;
若跟踪算法模型是基于匀变速运动状态的空间方程构建的,则跟踪算法模型是用于预测未完成跟踪的图像中的目标的轨迹预测;若跟踪算法模型是基于匀速运动状态的空间方程构建的,则跟踪算法模型是用于更新已完成跟踪的图像中的目标的轨迹。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取各待跟踪目标的当前连续跟踪失败的次数;其中,当前连续跟踪失败表示在当前帧之前待跟踪目标的第一特征与融合预测轨迹的特征连续匹配失败;
以当前连续跟踪失败的次数从小到大的顺序,依次对各待跟踪目标的第一特征与对应的融合预测轨迹的特征进行匹配。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
依次计算各待跟踪目标的融合预测轨迹的特征与所有第一特征之间的相似度;
获取各待跟踪目标的最小相似度对应的第一特征;
若所有的待跟踪目标的最小相似度对应的第一特征均不相同,则各待跟踪目标的最小相似度对应的第一特征与融合预测轨迹的特征匹配成功;
若存在至少两个待跟踪目标的最小相似度对应的第一特征相同,则获取第二特征,并基于第二特征与各待跟踪目标的融合预测轨迹之间的交并比,对第二特征与各待跟踪目标的融合预测轨迹进行匹配;其中,第二特征为未匹配成功的第一特征。
在一个实施例中,上述第二特征包括最小相似度对应的第一特征之外的其它第一特征,和/或,所有的待跟踪目标的最小相似度对应的第一特征中相同的第一特征。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
依次计算各待跟踪目标的融合预测轨迹与第二特征中各第一特征之间的交并比;
获取各待跟踪目标的最小交并比对应的第一特征;
若所有的待跟踪目标的最小交并比对应的第一特征均不相同,则各待跟踪目标的最小交并比对应的第一特征与融合预测轨迹匹配成功。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将匹配成功的第一特征存储至特征池中与第一特征对应的预测轨迹列表中,特征池中包括各帧图像中匹配成功的各待跟踪目标的第一特征与融合预测轨迹之间的对应关系。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据预设的存储条件,对特征池中每个待跟踪目标的第一特征进行管理;存储条件用于控制特征池中各待跟踪目标的第一特征的数量。
上述实施例提供的一种计算机可读存储介质,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种目标跟踪方法,其特征在于,所述方法包括:
对多个当前帧图像中的同一待跟踪目标的预测轨迹进行融合,得到所述各待跟踪目标的融合预测轨迹;所述多个当前帧图像为不同视角的摄像设备采集的图像;
对所述各待跟踪目标的第一特征与对应的融合预测轨迹的特征进行匹配;所述第一特征为对所述当前帧图像进行目标检测得到的待跟踪目标的特征;
根据匹配成功的第一特征对所述待跟踪目标进行跟踪。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
从不同视角的摄像设备采集的多个当前帧图像中检测所述各待跟踪目标,得到所述各待跟踪目标的检测框;
提取所述各待跟踪目标的检测框中的图像特征作为所述第一特征。
3.根据权利要求1或2所述的方法,其特征在于,在所述对多个当前帧图像中的同一待跟踪目标的预测轨迹进行融合之前,所述方法还包括:
通过预设的跟踪算法模型预测各所述当前帧图像中每一个待跟踪目标的预测轨迹,其中,所述跟踪算法模型是基于预设的状态空间方程构建的。
4.根据权利要求3所述的方法,其特征在于,所述预设的状态空间方程包括匀变速运动状态的空间方程和匀速运动状态的空间方程;
若所述跟踪算法模型是基于所述匀变速运动状态的空间方程构建的,则所述跟踪算法模型是用于预测未完成跟踪的图像中的目标的轨迹预测;若所述跟踪算法模型是基于所述匀速运动状态的空间方程构建的,则所述跟踪算法模型是用于更新已完成跟踪的图像中的目标的轨迹。
5.根据权利要求1或2所述的方法,其特征在于,对所述各待跟踪目标的第一特征与对应的融合预测轨迹的特征进行匹配,包括:
获取所述各待跟踪目标的当前连续跟踪失败的次数;其中,当前连续跟踪失败表示在当前帧之前待跟踪目标的第一特征与融合预测轨迹的特征连续匹配失败;
以所述当前连续跟踪失败的次数从小到大的顺序,依次对所述各待跟踪目标的第一特征与对应的融合预测轨迹的特征进行匹配。
6.根据权利要求5所述的方法,其特征在于,所述依次对所述各待跟踪目标的第一特征与对应的融合预测轨迹的特征进行匹配,包括:
依次计算所述各待跟踪目标的融合预测轨迹的特征与所有第一特征之间的相似度;
获取所述各待跟踪目标的最小相似度对应的第一特征;
若所有的待跟踪目标的最小相似度对应的第一特征均不相同,则所述各待跟踪目标的最小相似度对应的第一特征与融合预测轨迹的特征匹配成功;
若存在至少两个待跟踪目标的最小相似度对应的第一特征相同,则获取第二特征,并基于所述第二特征与所述各待跟踪目标的融合预测轨迹之间的交并比,对所述第二特征与所述各待跟踪目标的融合预测轨迹进行匹配;其中,所述第二特征为未匹配成功的第一特征。
7.根据权利要求6所述的方法,其特征在于,所述第二特征包括最小相似度对应的第一特征之外的其它第一特征,和/或,所述所有的待跟踪目标的最小相似度对应的第一特征中相同的第一特征。
8.根据权利要求6所述的方法,其特征在于,所述基于所述第二特征与所述各待跟踪目标的融合预测轨迹之间的交并比,对所述第二特征与所述各待跟踪目标的融合预测轨迹进行匹配,包括:
依次计算所述各待跟踪目标的融合预测轨迹与所述第二特征中各第一特征之间的交并比;
获取所述各待跟踪目标的最小交并比对应的第一特征;
若所有的待跟踪目标的最小交并比对应的第一特征均不相同,则所述各待跟踪目标的最小交并比对应的第一特征与融合预测轨迹匹配成功。
9.根据权利要求1或2所述的方法,其特征在于,在所述根据匹配成功的第一特征对所述待跟踪目标进行跟踪之前,所述方法还包括:
将匹配成功的第一特征存储至特征池中与所述第一特征对应的预测轨迹列表中,所述特征池中包括各帧图像中匹配成功的各待跟踪目标的第一特征与融合预测轨迹之间的对应关系。
10.根据权利要求9所述的方法,其特征在于,在所述将匹配成功的第一特征存储至特征池中与所述第一特征对应的预测轨迹列表中之后,所述方法还包括:
根据预设的存储条件,对所述特征池中每个待跟踪目标的第一特征进行管理;所述存储条件用于控制所述特征池中各待跟踪目标的第一特征的数量。
11.一种目标跟踪装置,其特征在于,所述装置包括:
融合模块,用于对多个当前帧图像中的同一待跟踪目标的预测轨迹进行融合,得到所述各待跟踪目标的融合预测轨迹;所述多个当前帧图像为不同视角的摄像设备采集的图像;
匹配模块,用于对所述各待跟踪目标的第一特征与对应的融合预测轨迹的特征进行匹配;所述第一特征为对所述当前帧图像进行目标检测得到的待跟踪目标的特征;
跟踪模块,用于根据匹配成功的第一特征对所述待跟踪目标进行跟踪。
12.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的方法的步骤。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
CN202010778179.9A 2020-08-05 2020-08-05 目标跟踪方法、装置、计算机设备和存储介质 Pending CN114092720A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010778179.9A CN114092720A (zh) 2020-08-05 2020-08-05 目标跟踪方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010778179.9A CN114092720A (zh) 2020-08-05 2020-08-05 目标跟踪方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN114092720A true CN114092720A (zh) 2022-02-25

Family

ID=80295182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010778179.9A Pending CN114092720A (zh) 2020-08-05 2020-08-05 目标跟踪方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN114092720A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117670939A (zh) * 2024-01-31 2024-03-08 苏州元脑智能科技有限公司 多相机的多目标跟踪方法、装置、存储介质及电子设备
CN117671296A (zh) * 2023-12-19 2024-03-08 珠海市欧冶半导体有限公司 目标跟踪法、装置、计算机设备和存储介质
CN118038341A (zh) * 2024-04-15 2024-05-14 苏州元脑智能科技有限公司 多目标跟踪方法、装置、计算机设备以及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117671296A (zh) * 2023-12-19 2024-03-08 珠海市欧冶半导体有限公司 目标跟踪法、装置、计算机设备和存储介质
CN117670939A (zh) * 2024-01-31 2024-03-08 苏州元脑智能科技有限公司 多相机的多目标跟踪方法、装置、存储介质及电子设备
CN117670939B (zh) * 2024-01-31 2024-04-19 苏州元脑智能科技有限公司 多相机的多目标跟踪方法、装置、存储介质及电子设备
CN118038341A (zh) * 2024-04-15 2024-05-14 苏州元脑智能科技有限公司 多目标跟踪方法、装置、计算机设备以及存储介质

Similar Documents

Publication Publication Date Title
CN110866480B (zh) 对象的跟踪方法及装置、存储介质、电子装置
US11062123B2 (en) Method, terminal, and storage medium for tracking facial critical area
CN108985162A (zh) 目标实时跟踪方法、装置、计算机设备及存储介质
CN114092720A (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN112364827B (zh) 人脸识别方法、装置、计算机设备和存储介质
CN111915483B (zh) 图像拼接方法、装置、计算机设备和存储介质
CN109299658B (zh) 脸部检测方法、脸部图像渲染方法、装置及存储介质
CN107633208B (zh) 电子装置、人脸追踪的方法及存储介质
WO2020233397A1 (zh) 在视频中对目标进行检测的方法、装置、计算设备和存储介质
CN111666922A (zh) 视频匹配方法、装置、计算机设备和存储介质
CN113362441B (zh) 三维重建方法、装置、计算机设备和存储介质
CN112734747B (zh) 一种目标检测方法、装置、电子设备和存储介质
CN114063098A (zh) 多目标跟踪方法、装置、计算机设备和存储介质
JP2017076288A (ja) 情報処理装置、情報処理方法及びプログラム
CN113129229A (zh) 图像处理方法、装置、计算机设备和存储介质
CN118038341A (zh) 多目标跟踪方法、装置、计算机设备以及存储介质
CN116760937B (zh) 一种基于多机位的视频拼接方法、装置、设备及存储介质
Feng et al. Online principal background selection for video synopsis
CN116468753A (zh) 目标追踪方法、装置、设备、存储介质和程序产品
WO2022206679A1 (zh) 图像处理方法、装置、计算机设备和存储介质
WO2024000558A1 (zh) 目标跟踪方法、目标跟踪系统和电子设备
WO2022257778A1 (zh) 拍摄装置状态识别方法、装置、计算机设备和存储介质
CN115396597A (zh) 视频防抖拼接方法及相关设备
KR20190134916A (ko) 실시간 로드 영상을 통해 유동 인구 데이터를 수집하는 방법 및 장치
CN113592781A (zh) 背景图像的生成方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination