CN113744304A

CN113744304A - 一种目标检测跟踪的方法和装置

Info

Publication number: CN113744304A
Application number: CN202010480879.XA
Authority: CN
Inventors: 孙阳阳; 杨臻
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2020-05-30
Filing date: 2020-05-30
Publication date: 2021-12-03

Abstract

本申请公开了一种目标检测跟踪的方法和装置，用以提供一种稳定性以及鲁棒性更好的目标检测跟踪方法。该方法包括：获取至少一张图像；通过深度卷积网络对所述图像进行目标检测与显著性检测，得到至少N个建议对象信息以及显著性图像，所述N为正整数，所述建议对象信息包括所述建议对象在所述图像中的位置以及所述建议对象的类别；预测所述建议对象中目标对象的下一步运动轨迹，所述目标对象为交集比例不小于比例阈值的建议对象，所述交集比例为建议对象在所述图像中的位置与显著性区域之间的交集与并集的比例。通过该方法，在确定目标对象时，结合显著性图像，有效提高目标检测效率，以及提高在目标漏检情况下的跟踪的准确性和稳定性。

Description

一种目标检测跟踪的方法和装置

技术领域

本发明涉及交通检测技术领域，特别涉及一种目标检测跟踪的方法和装置。

背景技术

随着人工智能、视觉技术等科技的不断发展，自动驾驶逐渐成为智能汽车的新趋势。而在自动驾驶过程中，驾驶安全性尤为重要，需要及时的对来往行人、车辆进行检测和跟踪，获取行人以及车辆的类别、位置信息、预期行动轨迹等，从而有效进行躲避，安全驾驶。因此，多目标的检测和跟踪是自动驾驶系统中的重要任务之一。如图1所示，行人检测和与已跟踪目标匹配的过程。

其中，在进行多目标的检测和跟踪过程中，经常会因所处场景复杂，周边环境变化以及目标物遮挡等因素影响，存在目标漏检测或者干扰目标过多的情况，从而无法准确的进行目标检测跟踪。

综上，目前目标检测跟踪方法的稳定性、精准性以及鲁棒性较差。

发明内容

本申请提供一种目标检测跟踪的方法和装置，用以提供一种高效、精准、稳定性以及鲁棒性更好的目标检测跟踪方法。

应理解，本申请实施例中提供的进行目标检测跟踪的方法可以由目标检测系统执行。

在一种可能的实现方式中，所述目标检测跟踪的系统包括数据获取单元、目标检测单元、预处理单元、目标跟踪单元。

其中，所述数据获取单元，用于持续采集数据并把连续的图片发送到所述目标检测单元以及和所述预处理单元。

所述目标检测单元，用于获取当前帧图像。

其中，所述数据获取单元可以为安装在智能车辆上的摄像机和/或至少一种具有数据采集发送功能的传感器等。

所述目标检测单元，用于把输入的所述当前帧图像进行目标检测以及显著性检测，得到所述输入图像的初始化图像和显著性图像。

所述预处理单元，用于接收所述目标检测单元901输出的所述当前帧图像的初始化图像以及显著性图像。

同时，所述预处理单元还用于对所述数据获取单元输入的图片数据，提取目标的表观特征。

所述目标跟踪单元，用于根据输入目标的类别、位置、显著性区域和表观特征信息，对检测到的行人和车辆目标进行跟踪。

所述输出单元，用于输出跟踪目标的位置信息和跟踪ID。

需要说明的是，本申请中所述目标检测跟踪系统可以是单独一个具有目标检测跟踪功能的装置。也可以是至少两个装置的组合，即至少两个装置组合成一个整体具有目标检测跟踪功能的系统，当所述目标检测跟踪系统为至少两个装置的组合时，所述目标检测跟踪系统中的两个装置之间，可以通过蓝牙、有线连接或者无线传输中的一种通信方式进行通信。

其中，本申请实施例中所述的目标检测跟踪系统可以安装在移动设备上，例如车辆中，用于所述智能车辆对行人和周边车辆进行检测和跟踪，尤其适用自动驾驶场景下所述智能车辆对周边的目标的检测和跟踪。另外，所述目标检测跟踪系统除了安装在移动设备上以外，还也可以安装在固定的设备上，例如，安装在路侧单元(road side unit，RSU)等设备上，用于对周边的行人以及车辆进行检测跟踪，并将检测跟踪的结果通知给对应的设备。

第一方面，本申请实施例提供一种目标检测跟踪的方法，包括：

获取至少一张图像；通过深度卷积网络对所述图像进行目标检测与显著性检测，得到至少N个建议对象信息以及显著性图像，所述N为正整数，所述建议对象信息包括所述建议对象在所述图像中的位置以及所述建议对象的类别；预测所述建议对象中目标对象的下一步运动轨迹，所述目标对象为交集比例不小于比例阈值的建议对象。

其中，可选的，当上述方法是由所述目标检测跟踪系统执行时，通过数据采集单元获取至少一张图像；目标检测单元通过深度卷积网络对所述图像进行目标检测与显著性检测，得到至少N个建议对象信息以及显著性图像，所述N为正整数，所述建议对象信息包括所述建议对象在所述图像中的位置以及所述建议对象的类别；通过预处理单元确定所述建议对象中的目标对象；通过目标跟踪单元预测所述建议对象中目标对象的下一步运动轨迹。

基于上述方法，进行目标检测跟踪时，同时通过深度卷积网络对输入的图像进行目标检测以及显著性检测，从而在确定目标对象时，结合显著性图像，有效提高目标检测效率，此外，结合显著性图像可以提高在目标漏检情况下的跟踪的准确性和稳定性。

其中，为方便理解，本领域技术人员根据本领域公知常识可以知道，本申请实施例中所述的建议对象在所述当前帧图像中的位置，可以用建议矩形框表示。

在一种可能的实现方式中，所述交集比例为所述建议对象在所述图像中的位置与显著性区域之间的交集与并集的比例。

在一种可能的实现方式中，根据所述显著性图像中的显著性区域从所述建议对象中确定所述目标对象。

基于上述方法，在确定目标对象时，通过显著性图像对已选取的所述建议对象进行约束，一方面能够有效减少了搜索区间，提高了目标对象的确定效率，另一方面，还能根据所述显著性图像进行校正，有效避免了漏检情况，降低了误差率。

在一种可能的实现方式中，所述至少N个建议对象信息还包括所述建议对象的表观特征；其中，所述表观特征包括对象的颜色、亮度、方向、形状、大小、型号中的一种或多种。

可选的，当上述方法是由所述目标检测跟踪系统执行时，通过预处理单元确定所述建议对象的表观特征。

基于上述方法，本申请实施例中为了更好的确定目标对象，提升目标跟踪成功率，还确定所述目标对象的表观特征。

在一种可能的实现方式中，所述预测所述建议对象中目标对象的下一步运动轨迹之前，在所述目标对象中存在新目标对象时，为所述新目标对象分配新的跟踪标识ID。

可选的，当上述方法是由所述目标检测跟踪系统执行时，还通过目标跟踪单元为所述新对象分配新的跟踪ID。

基于上述方法，本申请实施例通过为目标对象添加跟踪ID，有效区别目标对象，因此，在确定存在新的目标对象后，为新的目标对象分配一个新的跟踪ID。

在一种可能的实现方式中，所述为所述新目标对象分配新的跟踪ID之后，将本次图像检测得到的新目标对象添加到上一次图像检测得到的目标对象中。

其中，本申请实施例中目标对象与跟踪ID存在对应关系，并将所述对应关系存储在关系库中，用于后续进行所述目标对象运动轨迹的跟踪。

可选的，当上述方法是由所述目标检测跟踪系统执行时，还通过目标跟踪单元将所述新目标对象作为需要进行预测下一步运动轨迹的对象，存储到关系库中，为了方便理解，本申请实施例中将需要进行预测下一步运动轨迹的对象称为跟踪对象。

基于上述方法，本申请实施例中，若采集到的所述图像中，存在新目标对象时，则意味着所述关系库中之前没有所述新目标对象，因此，为了更好的进行检测跟踪，将所述新目标对象存储到所述关系库中，作为需要预测下一步运动轨迹的对象，即跟踪对象。

在一种可能的实现方式中，根据本次图像检测得到的目标对象更新上一次图像检测得到的目标对象。

其中，需要说明的是，本申请实施例中为了有效降低所述关系库的信息存储量，还可以将所述目标对象的相关信息存储到存储器中。所述存储器可以位于为所述目标检测跟踪系统；或者，所述存储器与所述目标检测跟踪系统具有有线或者无线通信连接。

在一种可能的实现方式中，将上一次图像检测得到的第一目标对象更新为本次图像检测得到的第一目标对象，所述上一次图像检测得到的第一目标对象为与本次图像检测得到的第一目标对象匹配成功的目标对象，所述本次图像检测得到的第一目标对象为与上一次图像检测得到的第一目标对象成功匹配的目标对象。

可选的，当上述方法是由所述目标检测跟踪系统执行时，通过目标跟踪单元将上一次图像检测得到的第一目标对象更新为本次图像检测得到的第一目标对象，所述上一次图像检测得到的第一目标对象为与本次图像检测得到的第一目标对象匹配成功的目标对象，所述本次图像检测得到的第一目标对象为与上一次图像检测得到的第一目标对象成功匹配的目标对象。

基于上述方法，本申请实施例提供了一种对目标对象进行运动轨迹跟踪处理的详细过程。

在一种可能的实现方式中，所述方法还包括：将上一次图像检测得到的第二目标对象进行删除，所述第二目标对象为上一次图像检测得到的目标对象中，连续两帧未成功匹配的目标对象。

可选的，当上述方法是由所述目标检测跟踪系统执行时，通过目标跟踪单元确定是否存在连续两帧未成功匹配目标对象的第二目标对象，若有，则通过目标跟踪单元结束所述第二目标对象的检测跟踪。

基于上述方法，本申请实施例中，若存在连续两帧未成功匹配目标对象的第二目标对象，结束所述对该第二目标对象的检测跟踪。从而能够有效减少不必要的预测，节省系统开销。

在一种可能的实现方式中，在所述本次图像检测得到的目标对象的位置与所述上一次图像检测得到的目标对象的位置的重合度不小于第一阈值时，确定所述本次图像检测得到的目标对象与所述上一次图像检测得到的目标对象匹配成功；或在所述本次图像检测得到的目标对象的表观特征与所述上一次图像检测得到的目标对象的表观特征的相似度不小于第二阈值时，确定所述本次图像检测得到的目标对象与所述上一次图像检测得到的目标对象匹配成功；或在所述第一阈值与所述第二阈值的权重不小于第三阈值时，确定所述本次图像检测得到的目标对象与所述上一次图像检测得到的目标对象匹配成功。

可选的，当上述方法是由所述目标检测跟踪系统执行时，通过目标跟踪单元确定本次图像检测得到的目标对象的位置与所述上一次图像检测得到的目标对象是否成功。

基于上述方法，本申请实施例提供了多种如何确定本次图像检测得到的目标对象的位置与所述上一次图像检测得到的目标对象是否成功的方式。

在一种可能的实现方式中，根据所述上一次图像检测得到的第三目标对象，预测下一步运动轨迹，所述第三目标对象为未与所述本次图像检测得到的目标对象成功匹配的目标对象。

在一种可能的实现方式中，将所述第三目标对象进行粒子滤波预测，得到所述第三目标对象下一步在所述图像中的第一预测位置；确定所述第三目标对象在所述图像中的第一预测位置与所述第三目标对象的显著性区域的重合度；在所述重合度不小于第四阈值时，将所述第三目标对象在所述图像中的第一预测位置，确定为所述第三对象下一步在所述图像中的位置。

在一种可能的实现方式中，将所述第三目标对象进行粒子滤波预测，得到所述第三目标对象下一步在所述图像中的预测位置；确定所述第三目标对象在所述图像中的预测位置与所述第三目标对象的显著性区域的重合度；在所述重合度小于第四阈值时，将所述第三目标对象进行线性预测，得到所述第三目标对象在所述图像中的第二预测位置；将所述第二预测位置确定为所述第三目标对象下一步在所述图像中的位置。

基于上述方法，本申请实施例提供了一种预测所述未匹配成功的第三目标对象下一步的位置的方式。

在一种可能的实现方式中，通过深度卷积网络对所述当前帧图像进行显著性检测，得到显著性图像；其中，所述深度卷积网络中使用对抗网络预测显著性图salGANd对生成的显著性图像进行监督。

可选的，当上述方法是由所述目标检测跟踪系统执行时，目标检测单元通过深度卷积网络对所述当前帧图像进行显著性检测，得到显著性图像。

基于上述方法，本申请实施例通过深度卷积网络对所述当前帧图像进行处理，同时，使用salGANd对生成显著新图进行监督，有效提高了目标检测的region proposal搜索效率，以及显著性图像的精准性。

在一种可能的实现方式中，所述预测所述建议对象中目标对象的下一步运动轨迹之后，将所述目标对象下一步的运动轨迹通过车辆中的语音播报装置进行播报。

在一种可能的实现方式中，所述预测所述建议对象中目标对象的下一步运动轨迹之后，在根据所述目标对象的下一步运动轨迹确定存危险对象时，通知车辆驾驶人员或者车辆自动驾驶系统进行紧急避让，所述危险对象为下一步运行到的位置与所述车辆之间的距离小于安全距离的目标对象。

基于上述方法，本申请实施例中所述目标跟踪单元通过预测所述目标对象的下一步运动轨迹，能够及时确认所述目标对象是否为危险对象，从而在所述目标对象为危险对象时，能够及时的将所述目标对象为危险对象的信息向用户进行通知，使接收到所述通知的用户有效避免因危险对象造成的安全隐患。

需要说明的是，本申请实施例所述方法可以在本地执行，也可以在云端执行，具体本申请实施例不做限定。

第二方面，本申请实施例还提供一种目标检测跟踪装置，该装置可以用来执行上述第一方面及第一方面的任意可能的实现方式中的操作。例如，所述装置可以包括用于执行上述第一方面或第一方面的任意可能的实现方式中的各个操作的模块或单元。比如包括收发模块和处理模块。

第三方面，本申请实施例提供了一种芯片系统，包括处理器，可选的还包括存储器；其中，存储器用于存储计算机程序，处理器用于从存储器中调用并运行计算机程序，使得安装有芯片系统的目标检测跟踪装置执行上述第一方面或第一方面的任意可能的实现方式中的任一方法。

第四方面，本申请实施例提供了一种车辆，至少一个摄像器，至少一个存储器，至少一个收发器以及至少一个处理器；

所述摄像器，用于获取至少一张图像；

所述存储器，用于存储一个或多个程序以及数据信息；其中所述一个或多个程序包括指令；

所述收发器，用于与所述车辆中的通讯设备进行数据传输，以及用于与云端进行数据传输；

所述处理器，用于通过深度卷积网络对所述图像进行目标检测与显著性检测，得到至少N个建议对象信息以及显著性图像，所述N为正整数，所述建议对象信息包括所述建议对象在所述图像中的位置以及所述建议对象的类别；预测所述建议对象中目标对象的下一步运动轨迹，所述目标对象为交集比例不小于比例阈值的建议对象。

在一种可能的实现方式中，所述车辆还包括显示屏，语音播报装置以及至少一个传感器；

所述显示屏，用于显示所述目标对象的运动轨迹；

所述语音播报装置，用于播报所述目标对象的运动轨迹；

所述传感器，用于对所述目标对象的位置、距离进行检测。

其中，本申请实施例中所述的摄像器可以是驾驶员监测系统的摄像机、座舱型摄像机、红外摄像机、行车记录仪(即录像终端)、倒车影像摄像头等，具体本申请实施例不进行限制。

所述摄像器的拍摄区域可以为所述车辆的外部环境。例如，当车辆前行时，所述拍摄区域为车头前方区域；当车辆进行倒车，所述拍摄区域为车尾后方区域；当所述摄像器为360度多角度摄像器时，所述拍摄区域可以为所述车辆周边360度区域等。

本申请实施例中所述的传感器可以是光电抄/光敏传感器、超声波/声敏传感器、测距/距离传感器、视觉/图像传感器等一种或多种。

第五方面，本申请实施例提供了一种计算机程序产品，计算机程序产品包括：计算机程序代码，当计算机程序代码被目标检测跟踪装置的通信模块、处理模块或收发器、处理器运行时，使得所述目标检测跟踪装置执行上述第一方面或第一方面的任意可能的实现方式中的任一方法。

第六方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有程序，程序使得目标检测跟踪装置执行上述第一方面或第一方面的任意可能的实现方式中的任一方法。

附图说明

图1为本申请实施例提供的目标检测跟踪图片示意图；

图2为现有第一种目标检测跟踪方法示意图；

图3为现有第二种目标检测跟踪方法示意图；

图4为现有第三种目标检测跟踪方法示意图；

图5为本申请实施例提供的一种目标检测跟踪方法示意图；

图6为本申请实施例提供的一种目标检测跟踪系统安装场景示意图；

图7为本申请实施例提供的一种自动驾驶场景示意图；

图8为本申请实施例提供的另一种目标检测跟踪系统安装场景示意图；

图9为本申请实施例提供的一种目标检测跟踪系统架构图；

图10为本申请实施例提供的一种神经网络模型示意图；

图11为本申请实施例提供的一种利用salGANd监督显著性图的生成示意图；

图12为本申请实施例提供的一种目标检测跟踪方法的流程示意图；

图13为本申请实施例提供的一种采集场景示意图；

图14为本申请实施例提供的一种采集到的当前帧图像示意图；

图15为本申请实施例提供的一种当前帧图像进行目标检测后示意图；

图16为本申请实施例提供的一种建议矩形框与显著性区域交集比例示意图；

图17为本申请实施例提供的一种目标跟踪流程示意图；

图18为本申请实施例提供的一种跟踪对象预测流程示意图；

图19为本申请实施例提供的一种粒子滤波预测流程示意图；

图20为本申请提供的第一种目标检测跟踪的装置示意图；

图21为本申请提供的第二种目标检测跟踪的装置示意图；

图22为本申请提供的一种车辆示意图。

具体实施方式

随着人工智能、视觉技术等科技的不断发展，自动驾驶逐渐成为智能汽车的新趋势。而在自动驾驶过程中，驾驶安全性尤为重要。其中，为了有效提升驾驶安全性，如图1所示，需要及时的对来往行人、车辆进行检测和跟踪，获取行人以及车辆的类别、位置信息、预期行动轨迹等。从而有效进行躲避，安全驾驶。因此，多目标的检测和跟踪是自动驾驶系统中的重要任务之一。

目前，现有进行目标检测跟踪的方式主要有下列几种：

方式1：如图2所示，在进行目标检测跟踪过程中，首先使用显著性模型计算输入视频的颜色、亮度、方向的显著性图，并用显著性图来定义简单场景和复杂场景。若为简单场景，则用显著性区域建立矩形框作为跟踪目标。若为复杂场景，则需手动建立跟踪框。跟踪失败时，使用显著性模型对每一帧图片进行检测，对显著性图中的各个区域与以前跟踪结果进行匹配，对相似度最高的区域进行跟踪。

然而，所述方式1提供的目标检测跟踪的方案需要单独建立显著性模型，而且还需要根据显著性图判断场景复杂程度，从而建立跟踪框进行跟踪。这种方式在实际应用过程中，操作复杂，且经常需要手动建立跟踪框，人工开销大，且存在误差较大的问题。

此外，该方式在跟踪失败的时候，需要重复使用显著性模型去计算每帧显著性图，当多个区域特征相似或者跟踪目标被遮挡时，经常会导致目标跟踪失败，而且缺少跟踪预测功能。

方式2：如图3所示，在进行目标检测跟踪过程中，使用显著性检测技术区分图像中的前景与背景，对图像进行对比度增强和分割，图像分割破坏原矩形框中的背景信息，保留了目标信息，使目标信息的特征强于背景信息，将只含有前景信息的矩形框图作为跟踪目标。

然而，所述方式2提供的目标检测跟踪的方案中，目标检测和生成显著性图的模块相互独立，只有物体被检测出来后才能使用显著性图对目标框进行分割，然后用于跟踪目标初始化。一旦存在目标漏检时，则无法有效利用显著性图。

方式3：如图4所示，在进行目标检测跟踪过程中，首先使用视觉注意力方法提取视频中的第一帧图像中的显著性区域，去除背景获取运动目标。然后，继续使用改进的均值漂移法对检测出来的运动目标进行跟踪。例如，把原图分解成8个不同分辨率的子图，分别提取子图的特征，然后，经过中央周边差算子和非线性归一化操作对各特征图进行处理，合成一个总的显著性特征图。

然而，所述方式3提供的目标检测跟踪的方案中，生成特征图的流程复杂。此外，由于显著性区域也包含非运动目标或者非关注目标，因此从特征图中提有效的显著性区域并判断是否包含运动目标，把包含运动目标的作为跟踪目标的过程中，会产生无效跟踪目标。

综上所述，现有方案进行目标检测跟踪的方法较为复杂，无法进行更精准的目标检测跟踪，预测误差偏大。

为解决该问题，本申请实施例提供一种目标检测跟踪的方法和装置，用以高效、精准的进行目标检测跟踪。

本申请实施例的技术方案可以应用于各种通信系统，例如：长期演进(long termevolution，LTE)系统，全球互联微波接入(worldwide interoperability for microwaveaccess，WiMAX)通信系统，未来的第五代(5th Generation，5G)系统，如新一代无线接入技术(new radio access technology，NR)，及未来的通信系统，如6G系统等。

以5G系统(也可以称为New Radio系统)为例，具体来说，本申请实施例中主要在检测过程中，同时对输入的图像完成目标检测和生成显著性图像的任务，从而根据目标检测得到的初始化图像，以及所述显著性图像，进行互相补充，互相约束，得到所述输入图像的目标矩形框，更好的提升了目标检测跟踪的精度，与此同时，能有效避免因目标检测跟踪过程中，因漏检导致的目标跟踪失败，以及可能导致的安全性问题。

如图5所示，本申请实施例提供的目标检测跟踪的方法，包括下列步骤：

步骤500，获取至少一张图像。

步骤501，通过深度卷积网络对所述图像进行目标检测与显著性检测，得到至少N个建议对象信息以及显著性图像。

其中，所述N为正整数，所述建议对象信息包括所述建议对象在所述图像中的位置以及所述建议对象的类别。

步骤502，预测所述建议对象中目标对象的下一步运动轨迹，所述目标对象为交集比例不小于比例阈值的建议对象。

需要说明的是，为了便于后续理解说明，本申请实施例中将所述建议对象在所述当前帧图像中的位置，用建议矩形框表示；将所述目标对象在所述当前帧图像中的位置，用目标矩形框表示。

其中，本申请实施例中确定交集比例的方式有多种，具体并不限于下述几种：

方式1：所述交集比例为所述建议对象在所述图像中的位置与显著性区域之间的交集与并集的比例。

也就是说，所述交集比例为所述建议对象对应的建议矩形框与所述显著性区域之间的交集比例。

方式2：将所述显著性区域划分为至少4个小矩形框，从所述小矩形框中确定小矩形框A，所述小矩形框A是指与所述建议对象对应的建议矩形框有重叠的小矩形框。

进一步的，将所述小矩形框A的数量与所述小矩形框的总数量的比值，确定为所述交集比例。

方式3：确定所述建议对象对应的建议矩形框的中心位置，以所述中心位置为圆点，以预设的半径进行画圆，得到一个圆形区域，将所述圆形区域的面积与所述显著性区域的面积的比值确定为所述交集比例。

此外，本申请实施例中通过上述方式1～方式3中任一种方式确定的交集比例不是整数时，可以采用四舍五入的方式进行归整处理。

其中，本领域技术人员可以理解，在进行目标检测跟踪的过程中，使用目标检测网络进行目标检测时，可以分为两阶段的。其中，第一个阶段，在采集到的所述当前帧图像中生成多个预测矩形框(其中，本申请实施例中并不限定生成多个矩形框的方式)，然后，从所述预测矩形框里面优选前N的可信度高的矩形框，作为建议矩形框，所述建议矩形框是指矩形框中存在目标对象的可能性较高的矩形框。最后，将所述建议矩形框送到第二阶段进行进一步跟踪处理。

而本申请实施例中，在第一阶段的网络中，还同时生成了显著性图像，从而，再向所述第二阶段发送矩形框时，进一步使用显著性图像来约束所述N个建议框。其中，将与显著性区域有交集，且交集比例大于比例阈值的，送到第二阶段，不满足该要求的就过滤掉。因此，有效提高目标检测效率，此外，结合显著性图像可以提高在目标漏检情况下的跟踪的准确性和稳定性。

为便于理解本申请实施例，本申请实施例提供了一种用于目标检测跟踪的系统架构。其中，所述目标检测跟踪系统可以是单独一个具有目标检测跟踪功能的装置。也可以是至少两个装置的组合，即至少两个装置组合成一个整体具有目标检测跟踪功能的系统，当所述目标检测跟踪系统为至少两个装置的组合时，所述目标检测跟踪系统中的两个装置之间，可以通过蓝牙、有线连接或者无线传输中的一种通信方式进行通信。

此外，本申请实施例一种可选的方式，如图6所示，本申请中所述目标检测跟踪系统，可以安装在智能车辆中，用于所述智能车辆对行人和周边车辆进行检测和跟踪，尤其适用自动驾驶场景下所述智能车辆对周边的目标的检测和跟踪。

其中，如图7所示，为本申请实施例的一种可能的应用场景示意图。上述应用场景可以为无人驾驶、自动驾驶、智能驾驶、网联驾驶等。所述目标检测跟踪的系统可以安装在机动车辆(例如无人车、智能车、电动车、数字汽车等)、无人机、轨道车、自行车、信号灯、测速装置或网络设备(如各种系统中的基站、终端设备)等等。

另外，所述目标检测跟踪系统除了安装在移动设备上(例如安装在车辆上)，用于对所述车辆周围的行人以及车辆进行检测跟踪以外，还也可以安装在固定的设备上，例如，如图8所示，安装在路侧单元(road side unit，RSU)等设备上，用于对周边的行人以及车辆进行检测跟踪，并将检测跟踪的结果通知给对应的设备。即本申请实施例对所述目标检测跟踪系统的安装的位置和功能等不做限定。

其中，所述目标检测跟踪的系统架构具体并不限于下述构造。

如图9所示，该目标检测跟踪的系统包括数据获取单元900、目标检测单元901、预处理单元902以及目标跟踪单元903以及输出单元904。所述数据获取单元900，用于持续采集数据并把连续的图片发送到所述目标检测单元901以及和所述预处理单元902。

所述目标检测单元900，用于获取当前帧图像。

其中，当所述目标检测跟踪系统为多个装置组成的系统架构时，所述数据获取单元900可以为安装在智能车辆上的摄像机和/或至少一种具有数据采集发送功能的传感器等。

所述目标检测单元901，用于把输入的所述当前帧图像同时进行目标检测以及显著性检测，得到至少N个建议对象信息以及显著性图像。

其中，本申请实施例中一种可选的方式，所述目标检测单元901在对输入的所述当前帧图像进行处理时，为了提高目标检测的候选区域(region proposal)搜索效率，应用深度卷积神经网络对所述当前帧图像进行显著性检测以及目标检测。

示例性的，本申请实施例中应用的深度卷积神经网络为如图10所示的神经网络模型。

进一步的，为了提升获取的显著性图像的精准度，如图11所示，所述神经网络模型训练过程中，利用salGANd的输出作为生成显著性图的监督。

其中，本申请实施例中所述神经网络模型可以同时完成目标检测和显著性检测的任务。将获取到的所述当前帧图像输入到深度卷积神经网络中，VGG16作为主干网络(backbone)提取图像特征，使用分层相对优先级(Relevant Point Nought，RPN)和推荐目标区域(region of interest，ROI)池(Pooling)在VGG16的Conv4-3层和Conv5-3获取不同层次的语义信息。

其中，所述神经网络模型中的Conv4-3层特征可减少目标空间信息损失，用于获取小尺寸目标的信息。两分层的RPN的输出的类别和位置框整合后通过网络管理系统(Network Management System，NMS)处理产生ROIs。ROIs经过两分层ROI Pooling后连接成一个最后的特征用于最后的目标分类和位置预测。进一步的，所述神经网络模型通过Conv4-3、Conv5-3层输出的特征图(feature map)和每层的RPN生成对应目标的显著性区域(图中的obj Mask)。其中，所述显著性区域作为目标的anchor约束。

所述预处理单元902，用于接收所述目标检测单元901输出的所述当前帧图像的初始化图像以及显著性图像。同时，所述预处理单元902还用于对所述数据获取单元900输入的图片数据，提取目标的表观特征。

其中，本申请实施例中的所述表观特征包括所述目标的颜色、亮度、方向、形状、大小、型号中的一种或多种。

例如，所述表观特征包括所述当前帧图像中显示的车辆的型号、颜色、大小、品牌等；还可以包括所述当前帧图像中显示的人物的性别、身高、衣帽颜色等。

所述目标跟踪单元903，用于根据输入目标的类别、位置、显著性区域和表观特征信息，对检测到的行人和车辆目标进行跟踪。

所述输出单元904，用于输出跟踪目标的位置信息和跟踪ID。

其中，本申请实施例描述的系统架构以及业务场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定。进一步的，本领域普通技术人员可知，随着网络架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。应理解，图6以及图11仅为便于理解而示例的简化示意图，该系统架构中还可以包括其他设备或者还可以包括其他采集装置，图6以及图11中未予以画出。

以下再对本申请实施例中涉及的部分用语进行解释说明，以便于理解。

1)自动驾驶，是指主要依靠人工智能、视觉计算、雷达、监控装置以及全球定位系统等协同合作，在不需要驾驶者的操作下，车辆系统自动安全地操作机动车的技术。

2)智能车辆，是指一个集环境感知、规划决策、多等级辅助驾驶等功能于一体的综合车辆。其中，所示智能车辆上装有电视摄像机、电子计算机和自动操纵系统等装置，集中运用了计算机、现代传感、信息融合、通讯、人工智能及自动控制等技术，是典型的高新技术综合体。

3)视觉计算理论(computational theory fvision)，是美国人工智能专家马尔1977年提出。该理论认为，视觉是一个多级的、自下而上的分析过程，在这个过程中产生一系列关于客体的不同表征，这些表征对有关的视觉环境提供越来越详细的信息。在客体视知觉过程中，产生三级不同水平的表征。

4)目标检测，是指从图像中定位多个目标物体，包括目标的类别和位置，位置一般用矩形框标记，矩形框也叫bounding box。

5)目标分类，是指判断图像中目标的类别。

6)多目标跟踪，是指在连续图像序列中，根据上一帧图像中目标位置，计算物体完整的运动轨迹。多目标跟踪，即根据给定的一个图像序列，计算在下一帧图像中目标的确切位置，并将不同帧中的运动物体一一对应，给出不同物体的运动轨迹。

7)数据关联，是多目标跟踪任务中经常使用的典型的处理方法，根据每帧的目标之间的特征相似程度，判断是否属于同一目标。

8)视觉显著性检测，是指通过算法模拟人的视觉特点，提取图像中的显著区域(即人类感兴趣的区域)，人类自动地对感兴趣区域进行处理而选择性地忽略不感兴趣区域，这些人们感兴趣区域被称之为显著性区域。图像中物体显著性检测，一般是通过模拟人类注意力机制实现。

9)显著性区域，是指人们感兴趣区域或者包含关注目标的区域。

10)显著性图，是指张图片中显著性区域的集合。

11)推荐目标区域(region proposal)，是指在两阶段的目标检测过程中，第一阶段通过RPN(region proposal Net，一种网络)得到可能包含目标物特征区域。

12)特征图(feature map)，是指目标检测过程中由神经网络提取的高阶特征图。

其中，本申请实施例中的术语“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中，A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。以下至少一项(个)下或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。

除非有相反的说明，本申请实施例提及“第一”、“第二”等序数词是用于对多个对象进行区分，不用于限定多个对象的顺序、时序、优先级或者重要程度。此外，本申请实施例和权利要求书及附图中的术语“包括”和“具有”不是排他的。例如，包括了一系列步骤或模块的过程、方法、系统、产品或设备，不限定于已列出的步骤或模块，还可以包括没有列出的步骤或模块。

下面基于上述图9所述的目标检测跟踪系统，本申请实施例提供了一种目标检测跟踪的方法，如图12所示，本申请实施例提供的一种目标检测方法，具体流程包括：

步骤1200，数据采集单元采集至少一张图像。

如图13所示，假设A为车辆1中所述数据采集单元进行图像采集的阈值范围，则所述数据采集单元采集到的当前帧图像如图14所示。

步骤1201，所述数据采集单元将采集到的所述图像发送给目标检测单元以及预处理单元。

步骤1202，所述目标检测单元对接收到的所述图像进行目标检测以及显著性检测，得到至少N个建议对象信息以及显著性图像。

其中，所述N为不小于1的正整数，所述建议对象信息包括所述建议对象在所述当前帧图像中的位置以及所述建议对象的类别。本申请实施例中确定对象的类别，是指确定所述对象是行人还是车辆，或者是其他物体。

示例性的，所述目标检测单元对所述当前帧图像14进行目标检测，得到所述当前帧图像14中的目标对象的位置和类别，即图15，其中虚线框表示目标的类别为车辆，实线框表示目标的类别为行人。此外，所述目标检测单元对所述当前帧图像14进行显著性检测后，还得到所述当前帧图像对应的显著性图像，即图16。

步骤1203，所述目标检测单元将所述N个建议对象信息与所述显著性图像发送给预处理单元。

步骤1204，所述预处理单元接收所述目标检测单元发送的所述N个建议对象信息以及所述显著性图像。

步骤1205，所述预处理单元确定在所述图像中的位置与所述显著性图像中显著性区域存在交集，且交集比例不小于比例阈值的建议对象。

可选的，所述交集比例为建议对象在所述图像中的位置与显著性区域之间的交集与并集的比例。

步骤1206，所述预处理单元将所述交集比例不小于比例阈值的建议对象确定为目标对象。

此外，为了节省系统存储空间以及开销，所述预处理单元还可以将小于比例阈值的建议对象删除。

示例性，例如，假设比例阈值为60％，从上述图15的内容中可以看出，图15中通过对所述当前帧图像检测，得到了6个建议矩形框，分别为建议矩形框1～6，有6个显著性区域。其中，如图16所示，通过确定6个建议矩形框分别与6个显著性区域的交集比例可知，只有建议矩形框1～4与对应显著性区域的交集比例不小于60％。因此，过滤掉所述建议框5和6。本申请实施例中，所述步骤1206，在确定目标对象时，结合显著性图像，有效提高目标检测效率，此外，结合显著性图像可以提高在目标漏检情况下的跟踪的准确性和稳定性。

步骤1207，所述预处理单元从所述图像中，提取所述目标对象对应的表观特征。

其中，本申请实施例中一种可选的方式，本申请实施例通过下列方式提取所述当前帧图像中目标对象的表观特征：

具体的，将所述当前帧图像从RGB色彩模式(RGB color mode)颜色空间转到色调-饱和度-明度(Hue-Saturation-Value，HSV)颜色空间。

步骤1208，所述预处理单元将所述目标对象信息发送给目标跟踪单元。

其中，所述目标对象信息包括所述目标对象在所述图像中的位置，所述目标对象的类别以及表观特征等信息。

步骤1209，所述目标跟踪单元接收所述目标对象信息。

步骤1210，所述目标跟踪单元预测所述目标对象的下一步运动轨迹。

其中，本申请实施例中，所述目标跟踪单元通过预测所述目标对象的下一步运动轨迹，能够及时确认所述目标对象是否为危险对象，从而在所述目标对象为危险对象时，能够及时的将所述目标对象为危险对象的信息向用户进行通知，使接收到所述通知的用户有效避免因危险对象造成的安全隐患。

示例性的，已驾驶场景为例，当所述驾驶车辆中的目标检测跟踪系统，对采集到的图像进行检测，确定了4个有效目标对象，例如，目标对象1～4。所述目标检测跟踪系统在对所述4个目标对象分别预测下一步运动轨迹后，得知所述目标对象1下一步运动轨迹可能会进入所述车辆安全驾驶距离内，即所述目标对象1下一步的位置与所述车辆的距离小于所述车辆的安全距离，其余3个目标对象为安全对象。因此，所述目标检测跟踪系统输出所述4个目标对象下一步的运动轨迹，并提示所述目标对象1确定为危险对象。

当所述车辆为自动驾驶时，则所述车辆自动驾驶系统根据所述目标检测跟踪输出的所述目标对象的下一步运动轨迹，以及所述目标对象1为危险对象的通知，可以根据实际情况进行及时调整，例如，紧急避让、减速慢行、靠边停车以及根据所述目标对象的运动轨迹重新规划行驶路线。

当所述车辆为手动驾驶时，则驾驶员根据车辆中语音广播装置播报的所述目标对象的下一步运动轨迹，以及所述目标对象1为危险对象的通知，根据实际情况进行及时调整，例如，紧急避让、减速慢行、靠边停车以及根据所述目标对象的运动轨迹重新规划行驶路线。

需要说明的是，本申请实施例中，所述目标检测跟踪系统可以仅用于输出所述目标对象下一步的运动轨迹，不判定哪些是危险对象，哪些是安全对象。从所述目标对象中确定危险对象的执行主体具体可以由接收所述运动轨迹的驾驶系统等进行进一步确认，在此本申请实施例不进行限制，任何适用本申请实施例的方式都属于本申请保护范围。

进一步的，本申请实施例中基于所述步骤1210，所述目标跟踪单元在对所述目标矩形框中的目标对象进行跟踪时，具体流程可参见图17所示。

步骤1700，输入目标对象信息。

其中，所述目标跟踪单元数据输入的信息包括下列中的一种或多种：

HSV颜色空间图、目标对象的类别、目标对象的位置和目标的显著性区域。

其中，所述目标对象信息是所述预处理单元发送给所述目标跟踪单元的。

示例性的，所述数据输入的形式可以通过向量进行表示：

例如，已检测的目标可用向量表示为x＝[x_left,y_top,x_right,y_bottom,object_class]。

步骤1701，确定输入的所述目标对象中是否存在新目标对象。

步骤1702，为确定的所述新目标分配新的跟踪ID，并将所述新目标作为新的跟踪对象，进行存储。

本申请实施例中，所述跟踪对象可以理解为需要预测下一步运动轨迹的对象，例如，所述跟踪对象为上一次图像检测跟踪确定的目标对象。

具体的，本申请实施例中将上一次检测到的目标对象存储到所述关系库中，用于与下一次进行图像采集确定的目标对象进行匹配下一次采集到图像，且得到对应的目标对象后，与所述关系库中之前存储的目标对象，进行匹配。

可以理解的是，若本次采集到的图像中，存在新目标对象时，则意味着所述关系库中之前没有所述新目标对象，因此，为了更好的进行检测跟踪，将所述新目标对象存储到所述关系库中，作为下一次的跟踪对象。

需要说明的是，本申请实施例中，为保证所述关系库中存储信息的有效性以及实用性，所述关系库定期对存储的数据进行更新处理。

示例性的，假设所述智能车辆停靠时间超过30分钟后，因为停靠时间过久，周边的行人与车辆已经更新了几波，因此，再次启动智能车辆后，将所述关系库进行格式化更新。

步骤1703，根据本次确定的目标对象，对关系库中已存储的上一次的目标对象进行匹配，若有匹配成功的对象，执行1704，若有未匹配成功的对象，执行1705。

进一步的，本申请实施例一种可选的方式，可以通过多种方式确定本次图像检测得到的目标对象与所述上一次图像检测得到的目标对象匹配成功，具体并不限于下述几种：

确定方式1：在所述本次图像检测得到的目标对象的位置与所述上一次图像检测得到的目标对象的位置的重合度不小于第一阈值时，确定所述本次图像检测得到的目标对象与所述上一次图像检测得到的目标对象匹配成功。

确定方式2：在所述本次图像检测得到的目标对象的表观特征与所述上一次图像检测得到的目标对象的表观特征的相似度不小于第二阈值时，确定所述本次图像检测得到的目标对象与所述上一次图像检测得到的目标对象匹配成功。

确定方式3：在所述第一阈值与所述第二阈值的权重不小于第三阈值时，确定所述本次图像检测得到的目标对象与所述上一次图像检测得到的目标对象匹配成功。

步骤1704，将上一次图像检测得到的第一目标对象更新为本次图像检测得到的第一目标对象。

其中，所述上一次图像检测得到的第一目标对象为与本次图像检测得到的第一目标对象匹配成功的目标对象，所述本次图像检测得到的第一目标对象为与上一次图像检测得到的第一目标对象成功匹配的目标对象。

本申请实施例中一种可选的方式，通过卡尔曼滤波预测下一次目标对象的位置。

示例性的，基于常量速度模型用卡尔曼滤波预测目标在两帧之间的位移。

预测变量可表示为X：

X＝[x_left,δx_left,y_top,δy_top,x_right,δx_right,y_bottom,δy_bottom]

其中δ表示bounding box的子图坐标中的变化。当目标对象和跟踪对象关联上时，目标对象的bounding box更新跟踪对象状态。

步骤1705，根据所述上一次图像检测得到的第三目标对象，预测下一步运动轨迹，所述第三目标对象为未与所述本次图像检测得到的目标对象成功匹配的目标对象。

进一步的，将上一次图像检测得到的第二目标对象进行删除，所述第二目标对象为上一次图像检测得到的目标对象中，连续两帧未成功匹配的目标对象。

从而能够有效减少对目标位置的不必要预测。

此外，本申请实施例中，所述步骤1705中，根据所述上一次图像检测得到的第三目标对象，预测下一步运动轨迹，具体可参见图18所示的步骤进行预测。

步骤1800，将所述第三目标对象进行粒子滤波预测，得到所述第三目标对象下一步在所述图像中的第一预测位置。

示例性的，本申请实施例在进行粒子滤波预测时，具体流程可参见图19所示。

S1900，粒子初始化。

示例性的，假设时间T＝0，得到下列矩阵：

其中F是转移矩阵，dT＝1，代表采样时间；

Q 是处理的协方差矩阵；

H是观测模型；

R测量的协方差矩阵，其中Gr＝1/16，行人检测L1＝1，车辆L＝0.5；

P前协方差矩阵；

S1901，粒子预测。

示例性的，根据上一帧观测状态计算当前的位置：

时间T＝1,2,3…；

滤波器时间跟新方程：

滤波器状态更行方程：

其中y是表示是测量值(检测结果)和预测值之间变化，用于计算目标位置在x和y方向变化参数δ_x,δ_y，而这两个参数用于计算粒子分布分标准差σ_x,σ_y。目标位置状态用其bounding box矩形框的左上顶点和右下顶点表示，既能准确表示目标位置，也能根据目标尺寸变化调整矩形框大小。

δ_x＝(x_{left_d}-x_{left_p})+(x_{right_d}-x_{right_p})

δ_y＝(y_{top_d}-y_{top_p})+(y_{bottom_d}-y_{bottom_p})

完成目标的位置预测后，根据预测位置和检测位置计算粒子权重，其中，使用矩形框(boundingbox)的两个矩形框交集和并集的面积之比(Intersection over Union，IOU)和目标特征的HSV直方图作为衡量的权重。

其中HSV图中的色调通道和饱和度通道的取值范围分别为[0,180]、[0,255]。设定直方图数量分别为50和60，计算两通道的直方图，对直方图分别进行归一化，然后串联成一个总的直方图。

最后，粒子权重最大的作为最终预测值。

其中，当所述粒子权重更新后，还会继续执行S1902，粒子权重更新；以及执行S1903，重采样等步骤。

步骤1801，确定所述第三目标对象在所述图像中的第一预测位置与所述第三目标对象的显著性区域的重合度是否不小于第四阈值，若是，执行步骤1802，若否，执行步骤1803。

步骤1802，将所述第三目标对象在所述图像中的第一预测位置，确定为所述第三对象下一步在所述图像中的位置。

步骤1803，将所述第三目标对象进行线性预测，得到所述第三目标对象在所述图像中的第二预测位置。

步骤1804，将所述第二预测位置确定为所述第三目标对象下一步在所述图像中的位置。

需要说明的是，本申请实施例所述方法还可以应用到监控领域。例如，本申请实施例可以在确定所述目标对象下一步的运动轨迹后，在显示屏中显示出所述目标对象下一步的运动轨迹等。

通过上述对本申请方案的介绍，可以理解的是，上述实现各设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件单元。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

如图20所示，本发明实施例一种目标检测跟踪的装置，该目标检测跟踪的装置包括处理器2000、存储器2001和收发机2002；

处理器2000负责管理总线架构和通常的处理，存储器2001可以存储处理器2000在执行操作时所使用的数据。收发机2002用于在处理器2000的控制下接收和发送数据与存储器2001进行数据通信。

总线架构可以包括任意数量的互联的总线和桥，具体由处理器2000代表的一个或多个处理器和存储器2001代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。处理器2000负责管理总线架构和通常的处理，存储器2001可以存储处理器2000在执行操作时所使用的数据。

本发明实施例揭示的流程，可以应用于处理器2000中，或者由处理器2000实现。在实现过程中，安全驾驶监测的流程的各步骤可以通过处理2000中的硬件的集成逻辑电路或者软件形式的指令完成。处理器2000可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器2001，处理器2000读取存储器2001中的信息，结合其硬件完成信号处理流程的步骤。

本申请一种可选的方式，所述处理器2000用于读取存储器2001中的程序并以执行如图5所示的S500-S503中的方法流程；或执行如图12所示的S1200-S1208中的方法流程；执行如图17所示的S1700-S1705中的方法流程；执行如图18所示的S1800-S1805中的方法流程；或执行如图19所示的S1900-S1903中的方法流程。

如图21所示，本发明提供一种目标检测跟踪的装置，所述装置包括收发模块2100和处理模块2101。

所述通信模块2100，用于获取至少一张图像；

所述处理模块2101，用于通过深度卷积网络对所述图像进行目标检测与显著性检测，得到至少N个建议对象信息以及显著性图像，所述N为正整数，所述建议对象信息包括所述建议对象在所述图像中的位置以及所述建议对象的类别；预测所述建议对象中目标对象的下一步运动轨迹，所述目标对象为交集比例不小于比例阈值的建议对象，所述交集比例为建议对象在所述图像中的位置与显著性区域之间的交集与并集的比例。

在一种实现方式中，所述至少N个建议对象信息还包括所述建议对象的表观特征；

其中，所述表观特征包括对象的颜色、亮度、方向、形状、大小、型号中的一种或多种。

在一种实现方式中，所述处理模块2101还用于：

在确定所述目标对象中存在新目标对象时，为所述新目标对象分配新的跟踪标识ID。

在一种实现方式中，所述处理模块2101还用于：

根据本次图像检测得到的目标对象更新上一次图像检测得到的目标对象。

在一种实现方式中，所述处理模块2101具体用于：

将上一次图像检测得到的第一目标对象更新为本次图像检测得到的第一目标对象，所述上一次图像检测得到的第一目标对象为与本次图像检测得到的第一目标对象匹配成功的目标对象，所述本次图像检测得到的第一目标对象为与上一次图像检测得到的第一目标对象成功匹配的目标对象。

在一种实现方式中，所述处理模块2101还用于：

将本次图像检测得到的新目标对象添加到上一次图像检测得到的目标对象中。

在一种实现方式中，所述处理模块2101还用于：

将上一次图像检测得到的第二目标对象进行删除，所述第二目标对象为上一次图像检测得到的目标对象中，连续两帧未成功匹配的目标对象。

在一种实现方式中，在所述本次图像检测得到的目标对象的位置与所述上一次图像检测得到的目标对象的位置的重合度不小于第一阈值时，确定所述本次图像检测得到的目标对象与所述上一次图像检测得到的目标对象匹配成功；或

在所述本次图像检测得到的目标对象的表观特征与所述上一次图像检测得到的目标对象的表观特征的相似度不小于第二阈值时，确定所述本次图像检测得到的目标对象与所述上一次图像检测得到的目标对象匹配成功；或

在所述第一阈值与所述第二阈值的权重不小于第三阈值时，确定所述本次图像检测得到的目标对象与所述上一次图像检测得到的目标对象匹配成功。

在一种实现方式中，所述处理模块2101具体用于：

根据所述上一次图像检测得到的第三目标对象，预测下一步运动轨迹，所述第三目标对象为未与所述本次图像检测得到的目标对象成功匹配的目标对象。

在一种实现方式中，所述处理模块2101具体用于：

将所述第三目标对象进行粒子滤波预测，得到所述第三目标对象下一步在所述图像中的第一预测位置；

确定所述第三目标对象在所述图像中的第一预测位置与所述第三目标对象的显著性区域的重合度；

在所述重合度不小于第四阈值时，将所述第三目标对象在所述图像中的第一预测位置，确定为所述第三对象下一步在所述图像中的位置。

在一种实现方式中，所述处理模块2101具体用于：

将所述第三目标对象进行粒子滤波预测，得到所述第三目标对象下一步在所述图像中的预测位置；

确定所述第三目标对象在所述图像中的预测位置与所述第三目标对象的显著性区域的重合度；

在所述重合度小于第四阈值时，将所述第三目标对象进行线性预测，得到所述第三目标对象在所述图像中的第二预测位置；

将所述第二预测位置确定为所述第三目标对象下一步在所述图像中的位置。

在一种实现方式中，所述处理模块2101具体用于：

通过深度卷积网络对所述当前帧图像进行显著性检测，得到显著性图像；

其中，所述深度卷积网络中使用对抗网络预测显著性图salGANd对生成显著新图进行监督。

在一种实现方式中，所述预测所述建议对象中目标对象的下一步运动轨迹之后，所述处理模块2101还用于：

将所述目标对象下一步的运动轨迹通过车辆中的语音播报装置进行播报。

在根据所述目标对象的下一步运动轨迹确定存危险对象时，通知车辆驾驶人员或者车辆自动驾驶系统进行紧急避让，所述危险对象为下一步运行到的位置与所述车辆之间的距离小于安全距离的目标对象。

上述图21所示的通信模块2100和处理模块2101的功能可以由处理器2000运行存储器2001中的程序执行，或者由处理器2000单独执行。

如图22所示，本发明提供一种车辆，所述装置包括至少一个摄像器2201，至少一个存储器2202，至少一个收发器2203以及至少一个处理器2204；

所述摄像器2201，用于获取至少一张图像；

所述存储器2202，用于存储一个或多个程序以及数据信息；其中所述一个或多个程序包括指令；

所述收发器2203，用于与所述车辆中的通讯设备进行数据传输，以及用于与云端进行数据传输；

所述处理器2204，用于通过深度卷积网络对所述图像进行目标检测与显著性检测，得到至少N个建议对象信息以及显著性图像，所述N为正整数，所述建议对象信息包括所述建议对象在所述图像中的位置以及所述建议对象的类别；预测所述建议对象中目标对象的下一步运动轨迹，所述目标对象为交集比例不小于比例阈值的建议对象，所述交集比例为建议对象在所述图像中的位置与显著性区域之间的交集与并集的比例。

在一种实现方式中，所述车辆还包括显示屏2205，语音播报装置2206以及至少一个传感器2207；

所述显示屏2205，用于显示所述目标对象的运动轨迹；

所述语音播报装置2206，用于播报所述目标对象的运动轨迹；

所述传感器2207，用于对所述目标对象的位置、距离进行检测。

在一些可能的实施方式中，本发明实施例提供的目标检测跟踪的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序代码在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书中描述的根据本发明各种示例性实施方式的目标检测跟踪的方法中的步骤。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

根据本发明的实施方式的用于目标检测跟踪的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在服务器设备上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被通信传输、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由周期网络动作系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备。

本申请实施例针对目标检测跟踪的方法还提供一种计算设备可读存储介质，即断电后内容不丢失。该存储介质中存储软件程序，包括程序代码，当所述程序代码在计算设备上运行时，该软件程序在被一个或多个处理器读取并执行时可实现本申请实施例上面任何一种目标检测跟踪的方案。

以上参照示出根据本申请实施例的方法、装置(系统)和/或计算机程序产品的框图和/或流程图描述本申请。应理解，可以通过计算机程序指令来实现框图和/或流程图示图的一个块以及框图和/或流程图示图的块的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机的处理器和/或其它可编程数据处理装置，以产生机器，使得经由计算机处理器和/或其它可编程数据处理装置执行的指令创建用于实现框图和/或流程图块中所指定的功能/动作的方法。

相应地，还可以用硬件和/或软件(包括固件、驻留软件、微码等)来实施本申请。更进一步地，本申请可以采取计算机可使用或计算机可读存储介质上的计算机程序产品的形式，其具有在介质中实现的计算机可使用或计算机可读程序代码，以由指令执行系统来使用或结合指令执行系统而使用。在本申请上下文中，计算机可使用或计算机可读介质可以是任意介质，其可以包含、存储、通信、传输、或传送程序，以由指令执行系统、装置或设备使用，或结合指令执行系统、装置或设备使用。

本申请结合多个流程图详细描述了多个实施例，但应理解，这些流程图及其相应的实施例的相关描述仅为便于理解而示例，不应对本申请构成任何限定。各流程图中的每一个步骤并不一定是必须要执行的，例如有些步骤是可以跳过的。并且，各个步骤的执行顺序也不是固定不变的，也不限于图中所示，各个步骤的执行顺序应以其功能和内在逻辑确定。

本申请描述的多个实施例之间可以任意组合或步骤之间相互交叉执行，各个实施例的执行顺序和各个实施例的步骤之间的执行顺序均不是固定不变的，也不限于图中所示，各个实施例的执行顺序和各个实施例的各个步骤的交叉执行顺序应以其功能和内在逻辑确定。

尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包括这些改动和变型在内。

Claims

1.一种目标检测跟踪的方法，其特征在于，所述方法包括：

获取至少一张图像；

通过深度卷积网络对所述图像进行目标检测与显著性检测，得到至少N个建议对象信息以及显著性图像，所述N为正整数，所述建议对象信息包括所述建议对象在所述图像中的位置以及所述建议对象的类别；

预测所述建议对象中目标对象的下一步运动轨迹，所述目标对象为交集比例不小于比例阈值的建议对象。

2.根据权利要求1所述的方法，其特征在于，所述至少N个建议对象信息还包括所述建议对象的表观特征；

3.根据权利要求1或2所述的方法，其特征在于，所述预测所述建议对象中目标对象的下一步运动轨迹之前，还包括：

在所述目标对象中存在新目标对象时，为所述新目标对象分配新的跟踪标识ID。

4.根据权利要求1～3任一项所述的方法，其特征在于，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，所述根据本次图像检测得到的目标对象更新上一次图像检测得到的目标对象，包括：

6.根据权利要求4或5所述的方法，其特征在于，所述根据本次图像检测得到的目标对象更新上一次图像检测得到的目标对象，包括：

7.根据权利要求4～6任一项所述的方法，其特征在于，所述方法还包括：

8.根据权利要求5～7任一项所述的方法，其特征在于，在所述本次图像检测得到的目标对象的位置与所述上一次图像检测得到的目标对象的位置的重合度不小于第一阈值时，确定所述本次图像检测得到的目标对象与所述上一次图像检测得到的目标对象匹配成功；或

9.根据权利要求5～8任一项所述的方法，其特征在于，所述方法还包括：

10.根据权利要求9所述的方法，其特征在于，所述根据所述上一次图像检测得到的第三目标对象，预测下一步运动轨迹，包括：

11.根据权利要求9所述的方法，其特征在于，所述根据所述上一次图像检测得到的第三目标对象，预测下一步运动轨迹，包括：

12.根据权利要求1～11任一项所述的方法，其特征在于，所述通过深度卷积网络同时对所述当前帧图像进行目标检测与显著性检测，包括：

13.根据权利要求1～12任一项所述的方法，其特征在于，所述预测所述建议对象中目标对象的下一步运动轨迹之后，还包括：

14.根据权利要求1～13任一项所述的方法，其特征在于，所述预测所述建议对象中目标对象的下一步运动轨迹之后，还包括：

15.一种目标检测跟踪的装置，其特征在于，包括：

收发模块，用于获取至少一张图像；

处理模块，用于通过深度卷积网络对所述图像进行目标检测与显著性检测，得到至少N个建议对象信息以及显著性图像，所述N为正整数，所述建议对象信息包括所述建议对象在所述图像中的位置以及所述建议对象的类别；预测所述建议对象中目标对象的下一步运动轨迹，所述目标对象为交集比例不小于比例阈值的建议对象。

16.根据权利要求15所述的装置，其特征在于，所述至少N个建议对象信息还包括所述建议对象的表观特征；

17.根据权利要求15或16所述的装置，其特征在于，所述处理模块还用于：

18.根据权利要求15～17任一项所述的装置，其特征在于，所述处理模块还用于：

19.根据权利要求18所述的装置，其特征在于，所述处理模块具体用于：

20.根据权利要求18或19所述的装置，其特征在于，所述处理模块具体用于：

21.根据权利要求18～20任一项所述的装置，其特征在于，所述处理模块还用于：

22.根据权利要求19～21任一项所述的装置，其特征在于，在所述本次图像检测得到的目标对象的位置与所述上一次图像检测得到的目标对象的位置的重合度不小于第一阈值时，确定所述本次图像检测得到的目标对象与所述上一次图像检测得到的目标对象匹配成功；或

23.根据权利要求19～22任一项所述的装置，其特征在于，所述处理模块具体用于：

24.根据权利要求23所述的装置，其特征在于，所述处理模块具体用于：

25.根据权利要求23所述的装置，其特征在于，所述处理模块具体用于：

26.根据权利要求15～25任一项所述的装置，其特征在于，所述处理模块具体用于：

27.根据权利要求15～26任一项所述的装置，其特征在于，所述处理模块还用于：

28.根据权利要求15～27任一项所述的方法，其特征在于，所述处理模块具体用于：

29.一种目标检测跟踪的装置，其特征在于，包括：一个或多个处理器；存储器；收发器；

所述处理器，用于根据所述存储器中的至少一个或多个程序，执行如权利要求1～14中任一项所述的方法。

30.一种车辆，其特征在于，包括：至少一个摄像器，至少一个存储器，至少一个收发器以及至少一个处理器；

所述摄像器，用于获取至少一张图像；

31.根据权利要求30所述的车辆，其特征在于，所述车辆还包括显示屏，语音播报装置以及至少一个传感器；

所述显示屏，用于显示所述目标对象的运动轨迹；

所述语音播报装置，用于播报所述目标对象的运动轨迹；

所述传感器，用于对所述目标对象的位置、距离进行检测。

32.一种计算机可读存储介质，其特征在于，包括计算机指令，当所述计算机指令在目标检测跟踪装置上运行时，使得所述目标检测跟踪装置执行如权利要求1～14中任一所述的方法步骤。