CN111292352A - 多目标跟踪方法、装置、设备及存储介质 - Google Patents

Abstract

本发明提供一种多目标跟踪方法、装置、设备及存储介质。该方法包括：实时获取可移动终端设备在道路中行驶时拍摄的道路影像，根据道路影像的当前帧，检测得到至少一个第一目标物体，并提取至少一个第一目标物体的特征信息，将至少一个第一目标物体的特征信息与已跟踪目标物体的预测特征信息进行匹配，得到匹配结果，已跟踪目标物体包括至少一个第二目标物体，并根据匹配结果更新已跟踪目标物体的跟踪数据，实现了可移动终端设备能够在复杂路况下进行准确的跟踪。

Description

多目标跟踪方法、装置、设备及存储介质

技术领域

本发明涉及机器视觉跟踪技术领域，尤其涉及一种多目标跟踪方法、装置、设备及存储介质。

背景技术

智能移动机器人、自动驾驶等技术是通过传感器感知外界环境和自身状态，实现在非结构化环境下的自主作业，其主要包含感知、决策与规划、控制三个主要的算法模块。其中多目标跟踪技术是感知的重要组成部分，是衔接目标检测和决策规划的耦合环节。在移动机器人或者自动驾驶车辆中，通过多目标分析技术能够分析目标障碍物的行为模式，预测障碍物运动情况，为决策与规划模块的风险评估提供基础。目前，具有视觉跟踪功能的移动机器人被广泛应用于军事、安防、工业制造、宇宙探测、娱乐、社会服务等领域。

在实际应用场景中，智能移动机器人或者自动驾驶系统需要通过目标跟踪算法对运动的车辆、行人、其他动物或者物体的运动进行跟踪，感知周围环境和自身状态。针对多目标跟踪的航迹管理，现有技术中的目标检测方法不管是基于传统的逻辑检测方法还是基于深度学习的检测方法均不可避免的会出现遗漏的情况，如果仅依靠传统的检测法容易产生航迹消失较快的现象发生。并且，视觉跟踪算法只能跟踪场景相对简单的目标，不适用于场景多且乱，道路颠簸，斜坡等会对多目标目标跟踪带来较大干扰的环境。可见，现有技术对于多目标的跟踪往往不能得到准确的跟踪结果。

发明内容

本发明提供一种多目标跟踪方法、装置、设备及存储介质，在复杂路况下，也能对前方目标物体进行准确的跟踪。

第一方面，本发明提供一种多目标跟踪方法，包括：

实时获取可移动终端设备在道路中行驶时拍摄的道路影像；

根据所述道路影像的当前帧，检测得到至少一个第一目标物体特征信息；

将所述至少一个第一目标物体的特征信息与已跟踪目标物体的特征信息进行匹配，得到匹配结果；所述已跟踪目标物体包括至少一个第二目标物体；

根据所述匹配结果更新已跟踪目标物体的跟踪数据。

在一种具体的实现方式中，所述根据所述道路影像的当前帧，检测得到至少一个第一目标物体特征信息，包括：

根据所述道路影像的当前帧，检测得到至少一个第一目标物体；

提取每个第一目标物体的运动特征和图像特征；

将所述运动特征和所述图像特征进行融合，得到所述第一目标物体的特征信息；

其中，所述运动特征信息包括目标位置、速度、加速度中的至少一种，所述图像特征包括方向梯度直方图HOG、颜色直方图和深度中的至少一种。

在一种具体的实现方式中，所述方法还包括：

根据所述已跟踪目标物体的跟踪数据，预测所述至少一个第二目标物体的运动特征，得到每个第二目标物体的预测运动特征和图像特征。

在一种具体的实现方式中，所述方法还包括：

根据所述当前帧之前的至少一个图像帧，得到所述可移动终端设备的自身运动信息；

根据所述可移动终端设备的自身运动信息，对所述至少一个第二目标物体的预测运动特征进行补偿。

进一步地，所述方法还包括：

将所述至少一个第二目标物体的预测运动特征和图像特征进行融合，得到所述已跟踪目标物体的特征信息。

具体的，所述将所述至少一个目标物体的特征信息与已跟踪目标物体的特征信息进行匹配，得到匹配结果，包括：

将所述至少一个第一目标物体的特征信息与至少一个第二目标物体的特征信息进行两两融合，得到相似性矩阵；

采用匈牙利算法，根据所述相似性矩阵，计算得到所述匹配结果。

在一种具体的实现方式中，所述匹配结果包括匹配成功、第二目标物体匹配失败和第一目标物体匹配失败中的至少一种，所述方法包括：

若匹配成功，则根据匹配成功的第一目标物体的跟踪数据对对应的第二目标物体的跟踪数据进行更新；

若第二目标物体匹配失败，则在所述当前帧的第一图像位置进行局部检测，在所述第一图像位置仍未检测到与所述第二目标物体匹配的目标物体时，将所述第二目标物体从所述已跟踪目标物体中删除；所述第一图像位置为所述第二目标物体在当前帧的预测目标位置；

若第一目标物体匹配失败，则根据预设添加条件，确定是否将所述第一目标物体添加至所述已跟踪目标物体的队列中。

第二方面，本发明提供一种多目标跟踪装置，包括：

获取模块，用于实时获取可移动终端设备在道路中行驶时拍摄的道路影像；

检测模块，用于根据所述道路影像的当前帧，检测得到至少一个第一目标物体的特征信息；

处理模块，用于将所述至少一个第一目标物体的特征信息与已跟踪目标物体的特征信息进行匹配，得到匹配结果；所述已跟踪目标物体包括至少一个第二目标物体；

所述处理模块还用于根据所述匹配结果更新已跟踪目标物体的跟踪数据。

第三方面，本发明提供一种可移动的终端设备，包括：如第二方面所述的多目标跟踪装置、存储器及处理器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如权利要求1至7任一项所述的多目标跟踪方法。

第四方面，本发明供一种存储介质，包括：可读存储介质和计算机程序，所述计算机程序用于实现第一方面所述的多目标跟踪方法。

本发明实施例提供的一种多目标跟踪方法、装置、设备及存储介质，通过对实时拍摄的道路影像中的图像帧进行检测，得到至少一个第一目标物体的特征信息，将至少一个第一目标物体的特征信息与已跟踪的每个第二目标物体进行匹配，根据不同的匹配结果，更新已跟踪目标物体的跟踪数据，使可移动终端设备能够在复杂路况下进行准确的跟踪。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种多目标跟踪方法实施例一的流程示意图；

图2a或图2b为本发明实施例提供的一种目标位置的坐标系实施例的示意图；

图3为本发明实施例提供的一种多目标跟踪方法实施例二的流程示意图；

图4为本发明实施例提供的一种构建相似性矩阵实施例的示意图；

图5为本发明实施例提供的一种多目标跟踪方法实施例三的流程示意图；

图6为本发明实施例提供的一种多目标跟踪方法实施例四的流程示意图；

图7为本发明实施例提供的一种多目标跟踪装置实施例一的结构示意图；

图8为本发明一实施例提供的可移动的终端设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本文中使用的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明的说明书中通篇提到的“一实施例”或“另一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一实施例中”或“本实施例中”未必一定指相同的实施例。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

多目标跟踪技术是指通过传感器感知外界世界环境和自身状态，并通过对视频信息的分析标识并跟踪特定的目标。基于视觉的目标跟踪在智能监控、动作与行为分析、自动驾驶等领域都有重要的应用。例如，在自动驾驶系统中，目标跟踪算法要对运动的车、行人、其他动物或者物体的运动进行跟踪，并对它们在未来的位置、速度等信息作出预判。

多目标跟踪技术中，需要根据每一帧图像中目标的检测结果，匹配已有的目标轨迹；对于新出现的目标，需要生成新的目标；对于已经离开摄像机视野的目标，需要终止轨迹的跟踪。

本发明针对复杂运动情况，以及在复杂的场景下，提出能够适应不同环境的，融合多种传感器的多目标跟踪方法，下面通过几个具体的实施例进行说明。

图1为本发明实施例提供的一种多目标跟踪方法实施例一的流程示意图，本发明的执行主体为一种可移动的终端设备，该终端设备以是一种车载设备，或者，可以是一种智能车辆系统，例如无人驾驶车辆，或者，可以是一种智能移动机器人，或者还可以是手机、笔记本、平板、智能可穿戴产品、道路检测设备等任一具有相机的可移动的终端设备。

如图1所示，该多目标跟踪方法包括：

S101：实时获取可移动终端设备在道路中行驶时拍摄的道路影像。

可移动终端设备可通过安装在自身设备中的或者通过与自身设备连接的摄像头或者视觉传感器实时拍摄获取道路行驶中的道路影像，或者可以是接收其他设备发送的道路影像。

S102：根据道路影像的当前帧，检测得到至少一个第一目标物体的特征信息。

道路影像包括多个图像帧，当前帧可以是多个图像帧中的任意一帧，当前帧中的至少一个第一目标物体包括可移动终端设备周围的车辆、行人、路障、或者其他动物或物体。

在本步骤中，根据道路影像的当前帧，检测当前帧中的至少一个第一目标物体的特征信息，该特征信息为多种特征融合后的特征表示。

在一种具体的实现方式中，本步骤具体包括：根据道路影像的当前帧，检测得到至少一个第一目标物体，提取每个第一目标物体的运动特征和图像特征，将运动特征和图像特征进行融合，得到第一目标物体的特征信息，示例性的，运动特征包括目标位置、速度、加速度中的至少一种，图像特征包括方向梯度直方图(Histogram of Oriented Gradient,HOG)、颜色直方图和深度中的至少一种。

示例性的，图2a或图2b为本发明实施例提供的一种目标位置的坐标系实施例的示意图，可移动终端设备中设置有系统，例如机器人系统，由3运动自由度组成，并包含如图2a所示的图像坐标系和如图2b所示的车体坐标系，根据相机的测距方法将如图2a中检测得到的每个第一目标物体的图像坐标转换为车体坐标，具体可采用以下公式：

其中，u,v表示目标点(例如目标物体的中心点)位于图像坐标系下的坐标值；M1，M2分别表示内参矩阵和外参矩阵，Xw、Yw和Zw表示目标点位于车体坐标系下的坐标值。

获得目标物体在车体坐标系中的目标位置之后，根据卡尔曼滤波估计目标物体的速度和加速度等运动信息。

feature_motion＝(x,y,v_x,v_y,a_x,a_y)^T

上式表示，目标物体在车体坐标系中的运动描述特征。

作为一种示例，本方案通过检测当前帧中的图像数据，提取目标物体的颜色直方图、HOG等特征信息用于描述检测目标。

feature_color＝(c₁,c₂,c₃,…c_n)^T

上式表示，目标物体的颜色直方图。

featureh_og＝(h₁,h₂,h₃,…h_n)^T

上式表示，目标物体的HOG特征向量。

作为一种示例，本方案通过检测当前帧中的图像数据，提取目标物体的深度，包括利用训练好的深度学习前向推理模型对当前帧中的图像数据进行处理，取其最后一层的向量作为描述目标物体深度的特征。

feature_deep＝(d₁,d₂,d₃,…d_n)^T

上式表示目标物体的深度。

进一步地，本方案在确定当前帧中每个第一目标物体的特征信息后，对每个第一目标物体在下一图像帧中的特征信息进行预测，得到每个第一目标物体的预测特征信息，应理解，在对下一图像帧进行同样的操作过程时

S103：将至少一个第一目标物体的特征信息与已跟踪目标物体的特征信息进行匹配，得到匹配结果。

其中，已跟踪目标物体包括至少一个第二目标物体，已跟踪目标物体可以是由当前帧之前的至少一个图像帧检测得到的至少一个第二目标物体组成的。已跟踪目标物体的预测特征信息为预测得到的已跟踪目标物体中每个第二目标物体在当前帧中的特征信息。

在本步骤中，针对每个第一目标物体和已跟踪的每个第二目标物体，将第一目标物体的特征信息和第二目标物体的预测特征信息进行匹配，得到匹配结果。

在一种具体的实现方式中，在获取已跟踪目标物体的特征信息的过程中，包括：根据已跟踪目标物体的跟踪数据，预测至少一个第二目标物体的运动特征，得到每个第二目标物体的预测运动特征和图像特征。对已跟踪目标物体中的每个第二目标物体在下一个图像帧中的运动特征进行预测，得到已跟踪目标物体的预测运动特征。

进一步地，将至少一个第二目标物体的预测运动特征和图像特征进行融合，得到已跟踪目标物体的特征信息。

图3为本发明实施例提供的一种多目标跟踪方法实施例二的流程示意图，示例性的，如图3所示，步骤S103包括：

S1031：将至少一个第一目标物体的特征信息与至少一个第二目标物体的特征信息进行两两融合，得到相似性矩阵。

在本步骤中，分别线性叠加、门限滤波等技术将进行匹配的第一目标物体和第二目标物体中对应的各个特征信息进行融合，得到该第一目标物体和第二目标物体的匹配度，按照上述过程得到每个第一目标物体与每个第二目标物体的相似度，最终得到相似性矩阵。

结合图4所示，为本发明实施例提供的一种构建相似性矩阵实施例的示意图，其中，T1至T4为已跟踪的目标物体，D1至D4为在当前帧中检测得到的第一目标物体，每个方格中为每个第一目标物体和每个第二目标物体的相似度，若相似度为0，表示第一目标物体与第二目标物体不能匹配。

S1032：采用匈牙利算法，根据相似性矩阵，计算得到匹配结果。

采用匈牙利算法，对相似性矩阵进行计算，通过分析每个第一目标物体和每个第二目标物体的相似度，确定已跟踪的目标物体中是否存在与第一目标物体对应的第二目标物体，或者当前帧检测到的第一目标物体中是否存在与已跟踪的目标物体对应的第一目标物体，进而得到匹配结果。

可选的，匹配结果包括匹配成功、第二目标物体匹配失败和第一目标物体匹配失败中的至少一种。在已跟踪目标物体中若存在与第一目标物体匹配的第二目标物体，即匹配成功；在已跟踪目标物体中若不存在能够与第一目标匹配的第二目标物体，即第一目标物体匹配失败；在检测当前帧得到的至少一个第一目标物体中，若不存在能够与第二目标物体匹配的第一目标物体，即第二目标物体匹配失败。

S104：根据匹配结果更新已跟踪目标物体的跟踪数据。

在本步骤中，根据匹配结果更新已跟踪目标物体的跟踪数据，包括添加新的目标物体至已跟踪目标物体、删除已跟踪目标物体中已经不出现的第二目标物体、或者根据新检测到的与已跟踪目标物体对应的第一目标物体的特征信息更新对应的已跟踪目标物体的跟踪数据。

示例性的，若匹配成功，则根据匹配成功的第一目标物体的跟踪数据对对应的第二目标物体的跟踪数据进行更新，可选的，跟踪数据可以包括特征信息或者是特征信息中的部分信息。

若第二目标物体匹配失败，则在当前帧的第一图像位置进行局部检测，在第一图像位置仍未检测到与所述第二目标物体匹配的目标物体时，将第二目标物体从已跟踪目标物体中删除，以使已经消失于可移动终端设备视觉范围的第二目标物体得从已跟踪目标物体中清除，不在对其进行跟踪。第一图像位置为第二目标物体在当前帧的预测目标位置，或者，第一图像位置可以是以第二目标物体在当前帧的预测目标位置为中心的预设大小的区域。

若第一目标物体匹配失败，则根据预设添加条件，确定是否将第一目标物体添加至已跟踪目标物体的队列中。例如，对同一第一目标物体匹配失败的次数进行计数，在第一目标物体匹配失败的次数满足预设阈值时，将该第一目标物体添加至已跟踪目标物体，使检测得到的新的第一目标物体得到及时跟踪。

本实施例提供的一种多目标跟踪方法，通过对实时拍摄的道路影像中的图像帧进行检测，得到至少一个第一目标物体的特征信息，将至少一个第一目标物体的特征信息与已跟踪的每个第二目标物体进行匹配，根据不同的匹配结果，更新已跟踪目标物体的跟踪数据，使可移动终端设备能够在复杂路况下进行准确的跟踪。

图5为本发明实施例提供的一种多目标跟踪方法实施例三的流程示意图，示例性的，如图5所示，本方案在确定已跟踪目标物体的跟踪数据之后，还包括：

S201：根据当前帧之前的至少一个图像帧，得到可移动终端设备的自身运动信息。

其中，可移动终端设备的自身运动信息包括车姿数据，可选的，车姿数据可以为通过陀螺仪里程计、或者速度传感器得到的可移动终端设备自身的速度、角速度、转角、行驶距离等数据。

可选的，图像帧的数量可以是一至多个，也可以是预设数量的，本方案对此不做要求。

在本步骤中，根据当前帧之前的至少一个图像帧，具体可以是图像帧的信息，结合光流法、深度学习及多视图集合等方法，计算可移动终端设备的自身运动信息。

S202：根据可移动终端设备的自身运动信息，对至少一个第二目标物体的预测运动特征进行补偿。

在本步骤中，根据可移动终端设备的自身运动信息，对已跟踪目标物体中的每个第二目标物体的预测运动特征进行补偿，以校正至少一个第二目标物体的预测运动特征。

本实施例通过自身运动信息对已跟踪目标物体进行运动补偿，提高了预测的准确度，降低了目标物体跟踪的设备标识ID切换率。

图6为本发明实施例提供的一种多目标跟踪方法实施例四的流程示意图，示例性的，如图6所示，本方法包括：

S0：开始。

S1：检测当前帧中的第一目标物体。

S2：提取第一目标物体的运动特征。

S3：提取第一目标物体的图像特征。

S4：根据第一目标物体的运动特征和图像特征，融合得到第一目标物体的特征信息。

S5：将步骤S4得到的第一目标物体的特征信息和预先获取的第二目标物体的特征信息进行特征匹配，得到匹配结果。

S6：根据匹配结果确定新的已跟踪目标物体的队列。

若匹配结果为匹配成功，则执行步骤S7；若匹配结果为第二目标物体匹配失败，则执行步骤S8；若匹配结果为第一目标物体匹配失败，则执行步骤S9。

S7：根据匹配成功的第一目标物体的跟踪数据对对应的第二目标物体的跟踪数据进行更新。

S8：确定是否满足删除条件。

若满足删除条件，则执行步骤S10：将该第二目标物体从已跟踪目标物体的队列中删除。

若不满足删除条件，则执行S11对第二目标物体的位置附近进行局部检测，S12确定是否检测到第一目标物体，若是，则执行S13根据检测到的第一目标物体的跟踪数据对对应的第二目标物体的跟踪数据进行更新，若否，则执行S14不更新。

S9：确定是否满足预设添加条件；若是，则执行步骤S15将第一目标物体添加至已跟踪目标物体的队列中。

S16：根据上述步骤的检测结果，得到新的已跟踪目标物体的队列。

S17：根据已跟踪目标物体，得到第二目标物体的图像特征。

S18：根据已跟踪目标物体，预测并获取第二目标物体的预测运动特征。

S19：获取可移动终端设备的自身运动信息，并通过自身运动信息对第二目标物体的预测运动特征进行补偿。

S20：根据第二目标物体的预测运动特征和图像特征，融合得到第二目标物体的特征信息。

图7为本发明实施例提供的一种多目标跟踪装置实施例一的结构示意图，如图7所示，该多目标跟踪装置10包括：

获取模块11，用于实时获取可移动终端设备在道路中行驶时拍摄的道路影像；

检测模块12，用于根据所述道路影像的当前帧，检测得到至少一个第一目标物体的特征信息；

处理模块13，用于将所述至少一个第一目标物体的特征信息与已跟踪目标物体的特征信息进行匹配，得到匹配结果；所述已跟踪目标物体包括至少一个第二目标物体；

所述处理模块13还用于根据所述匹配结果更新已跟踪目标物体的跟踪数据。

本实施例提供的一种多目标跟踪装置10包括：获取模块11、检测模块12和处理模块13，通过对实时拍摄的道路影像中的图像帧进行检测，得到至少一个第一目标物体的特征信息，将至少一个第一目标物体的特征信息与已跟踪的每个第二目标物体进行匹配，根据不同的匹配结果，更新已跟踪目标物体的跟踪数据，使可移动终端设备能够在复杂路况下进行准确的跟踪。

在一种可能的设计中，所述处理模块13具体用于：

根据所述道路影像的当前帧，检测得到至少一个第一目标物体；

提取每个第一目标物体的运动特征和图像特征；

将所述运动特征和所述图像特征进行融合，得到所述第一目标物体的特征信息；

其中，所述运动特征信息包括目标位置、速度、加速度中的至少一种，所述图像特征包括方向梯度直方图HOG、颜色直方图和深度中的至少一种。

在一种可能的设计中，处理模型13还用于：

根据所述已跟踪目标物体的跟踪数据，预测所述至少一个第二目标物体的运动特征，得到每个第二目标物体的预测运动特征和图像特征。

在一种可能的设计中，处理模块13还用于：

根据所述当前帧之前的至少一个图像帧，得到所述可移动终端设备的自身运动信息；

根据所述可移动终端设备的自身运动信息，对所述至少一个第二目标物体的预测运动特征进行补偿。

在一种可能的设计中，处理模块13还用于：

将所述至少一个第二目标物体的预测运动特征和图像特征进行融合，得到所述已跟踪目标物体的特征信息。

在一种可能的设计中，处理模块13具体用于：

将所述至少一个第一目标物体的特征信息与至少一个第二目标物体的特征信息进行两两融合，得到相似性矩阵；

采用匈牙利算法，根据所述相似性矩阵，计算得到所述匹配结果。

在一种可能的设计中，所述处理模块13还用于：

若匹配成功，则根据匹配成功的第一目标物体的跟踪数据对对应的第二目标物体的跟踪数据进行更新；

若第二目标物体匹配失败，则在所述当前帧的第一图像位置进行局部检测，在所述第一图像位置仍未检测到与所述第二目标物体匹配的目标物体时，将所述第二目标物体从所述已跟踪目标物体中删除；所述第一图像位置为所述第二目标物体在当前帧的预测目标位置；

若第一目标物体匹配失败，则根据预设添加条件，确定是否将所述第一目标物体添加至所述已跟踪目标物体的队列中。

本实施例提供的多目标跟踪装置，可以执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。

本发明实施例还提供一种可移动的终端设备，参见图8，本发明实施例仅以图8为例进行说明，并不表示本发明仅限于此。

图8为本发明一实施例提供的可移动的终端设备的硬件结构示意图。本实施例提供的可移动的终端设备包括但不限于车载设备、无人驾驶车辆、机器人、移动电话、计算机、平板设备、智能测距设备、个人数字助理等。

如图8所示，本实施例提供的可移动终端设备20可以包括：存储器201、处理器202以及多目标跟踪装置204；可选的，还可以包括总线203。其中，总线203用于实现各元件之间的连接。

所述存储器201存储计算机执行指令；

所述处理器202执行所述存储器201存储的计算机执行指令，使得所述处理器执行前述任一项实施例提供的多目标跟踪方法。

其中，存储器201和处理器202之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可以通过一条或者多条通信总线或信号线实现电性连接，如可以通过总线203连接。存储器201中存储有实现数据访问控制方法的计算机执行指令，包括至少一个可以软件或固件的形式存储于存储器201中的软件功能模块，处理器202通过运行存储在存储器201内的软件程序以及模块，从而执行各种功能应用以及数据处理。

存储器201可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(ProgrammableRead-Only Memory，简称：PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，简称：EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，简称：EEPROM)等。其中，存储器201用于存储程序，处理器202在接收到执行指令后，执行程序。进一步地，上述存储器201内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。

处理器202可以是一种集成电路芯片，具有信号的处理能力。上述的处理器202可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(Network Processor，简称：NP)等。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。可以理解，图8的结构仅为示意，还可以包括比图8中所示更多或者更少的组件，或者具有与图8所示不同的配置。图8中所示的各组件可以采用硬件和/或软件实现。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机执行指令，计算机执行指令被处理器执行时可以实现上述任一方法实施例提供的多目标跟踪方法。

本实施例中的计算机可读存储介质可以是计算机能够存取的任何可用介质，或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备，可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如SSD)等。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种多目标跟踪方法，其特征在于，包括：

实时获取可移动终端设备在道路中行驶时拍摄的道路影像；

根据所述道路影像的当前帧，检测得到至少一个第一目标物体特征信息；

将所述至少一个第一目标物体的特征信息与已跟踪目标物体的特征信息进行匹配，得到匹配结果；所述已跟踪目标物体包括至少一个第二目标物体；

根据所述匹配结果更新已跟踪目标物体的跟踪数据。

2.根据权利要求1所述的方法，其特征在于，所述根据所述道路影像的当前帧，检测得到至少一个第一目标物体特征信息，包括：

根据所述道路影像的当前帧，检测得到至少一个第一目标物体；

提取每个第一目标物体的运动特征和图像特征；

将所述运动特征和所述图像特征进行融合，得到所述第一目标物体的特征信息；

其中，所述运动特征信息包括目标位置、速度、加速度中的至少一种，所述图像特征包括方向梯度直方图HOG、颜色直方图和深度中的至少一种。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

根据所述已跟踪目标物体的跟踪数据，预测所述至少一个第二目标物体的运动特征，得到每个第二目标物体的预测运动特征和图像特征。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

根据所述当前帧之前的至少一个图像帧，得到所述可移动终端设备的自身运动信息；

根据所述可移动终端设备的自身运动信息，对所述至少一个第二目标物体的预测运动特征进行补偿。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

将所述至少一个第二目标物体的预测运动特征和图像特征进行融合，得到所述已跟踪目标物体的特征信息。

6.根据权利要求1或2所述的方法，其特征在于，所述将所述至少一个目标物体的特征信息与已跟踪目标物体的特征信息进行匹配，得到匹配结果，包括：

将所述至少一个第一目标物体的特征信息与至少一个第二目标物体的特征信息进行两两融合，得到相似性矩阵；

采用匈牙利算法，根据所述相似性矩阵，计算得到所述匹配结果。

7.根据权利要求1或2所述的方法，其特征在于，所述匹配结果包括匹配成功、第二目标物体匹配失败和第一目标物体匹配失败中的至少一种，所述方法包括：

若匹配成功，则根据匹配成功的第一目标物体的跟踪数据对对应的第二目标物体的跟踪数据进行更新；

若第二目标物体匹配失败，则在所述当前帧的第一图像位置进行局部检测，在所述第一图像位置仍未检测到与所述第二目标物体匹配的目标物体时，将所述第二目标物体从所述已跟踪目标物体中删除；所述第一图像位置为所述第二目标物体在当前帧的预测目标位置；

若第一目标物体匹配失败，则根据预设添加条件，确定是否将所述第一目标物体添加至所述已跟踪目标物体的队列中。

8.一种多目标跟踪装置，其特征在于，包括：

获取模块，用于实时获取可移动终端设备在道路中行驶时拍摄的道路影像；

检测模块，用于根据所述道路影像的当前帧，检测得到至少一个第一目标物体的特征信息；

处理模块，用于将所述至少一个第一目标物体的特征信息与已跟踪目标物体的特征信息进行匹配，得到匹配结果；所述已跟踪目标物体包括至少一个第二目标物体；

所述处理模块还用于根据所述匹配结果更新已跟踪目标物体的跟踪数据。

9.一种可移动的终端设备，其特征在于，包括：如权利要求8所述的多目标跟踪装置、存储器及处理器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如权利要求1至7任一项所述的多目标跟踪方法。

10.一种存储介质，其特征在于，包括：可读存储介质和计算机程序，所述计算机程序用于实现权利要求1至7任一项所述的多目标跟踪方法。

Images