CN115937498A - 一种目标检测方法、装置及电子设备 - Google Patents

Abstract

本发明提供一种目标检测方法、装置及电子设备，本发明先确定所述第一图像中所述第一目标的至少一个候选位置框；在所述至少一个候选位置框中，选取与所述第一目标的轨迹匹配度最高的候选位置框，作为所述第一图像中所述第一目标的目标检测框。如此，本发明可以在确定候选位置框后，通过特征匹配的方式，将与第一目标的轨迹匹配度最高的候选位置框确定为目标检测框，考虑了第一目标的实际轨迹位置，保证了第一目标轨迹的连续性，使得第一目标的位置检测更加准确，提高了图像中目标位置检测的准确度。

Description

一种目标检测方法、装置及电子设备

技术领域

本发明涉及图像识别技术领域，尤其涉及一种目标检测方法、装置及电子设备。

背景技术

目前运动目标的检测算法多通过神经网络检测实现位置检测。该方案中通过特征提取和深度学习，确定多个指向该运动目标的候选框，然后通过非极大值抑制（nonmaximum suppression，NMS）和交并比比对的方式，在多个候选框中确定目标框，从而实现运动目标的位置检测。

但是该方案中一般选择置信度最高的候选框为目标框，置信度最高的候选框可能不是最能表征运动目标的位置的候选框。简单的通过置信度和交并比的方式确定运动目标的检测位置，与运动目标的实际位置可能存在偏差，导致运动目标的位置检测准确率较低。

发明内容

本发明提供了一种目标检测方法、装置及电子设备，能够提高图像中目标位置检测的准确度。

第一方面，本发明提供了一种车辆检测方法，包括：获取第一图像；其中，第一图像中包含第一目标；确定第一图像中第一目标的至少一个候选位置框；在至少一个候选位置框中，选取与第一目标的轨迹匹配度最高的候选位置框，作为第一图像中第一目标的目标检测框。

在一种可能的实现方式中，在至少一个候选位置框中，选取与第一目标的轨迹匹配度最高的候选位置框，作为第一图像中第一目标的目标检测框，包括：确定至少一个候选位置框中各候选位置框对应的轨迹特征；将各候选位置框对应的轨迹特征与第一目标的预设轨迹特征进行匹配，确定轨迹匹配度最高的候选位置框；将轨迹匹配度最高的候选位置框，确定为目标检测框。

在一种可能的实现方式中，将各候选位置框对应的轨迹特征与第一目标的预设轨迹特征进行匹配，确定轨迹匹配度最高的候选位置框，包括：对于任一候选位置框，以该候选位置框对应的各轨迹特征为二分图的第一点集，以所述预设轨迹特征中的各轨迹特征为二分图的第二点集，构建二分图；对所述二分图的第一点集中各轨迹特征与第二点集中各轨迹特征进行两两关联，得到多个匹配组合；每个匹配组合包括至少一个两两关联的特征对；计算所述各特征对中两个轨迹特征之间的相似度；基于所述二分图中每个特征对的相似度，确定所述轨迹匹配度最高的候选位置框。

在一种可能的实现方式中，所述基于匈牙利算法，以及所述二分图中每个特征对的相似度，确定所述轨迹匹配度最高的候选位置框，包括：基于匈牙利算法，以匹配组合中各特征对对应的相似度为权重，计算各匹配组合的综合相似度，并将综合相似度最大的匹配组合，确定为所述多个匹配组合中的最优匹配组合；将最优匹配组合的综合相似度，确定为该候选位置框对应的相似度；将各候选位置框中相似度最大的候选位置框，确定为所述轨迹匹配度最高的候选位置框。

在一种可能的实现方式中，确定所述第一图像中所述第一目标的至少一个候选位置框，包括：将所述第一图像输入预设的神经网络模型，得到所述第一目标的各预选位置框，以及各预选位置框对应的置信度；计算所述各预选位置框中基准框与除基准框之外的其他预选位置框之间的交并比；所述基准框为所述各预选位置框中置信度最大的预选位置框；基于所述交并比，在所述各预选位置框中确定所述至少一个候选位置框。

在一种可能的实现方式中，确定所述第一图像中所述第一目标的至少一个候选位置框，包括：获取第二图像，以及所述第二图像中第一目标的目标检测框；所述第二图像为第一图像的前一帧图像；基于所述第二图像中第一目标的目标检测框，确定该目标检测框对应的轨迹特征；在第一图像中确定多个预选位置框，并确定各预选位置框的轨迹特征；基于该目标检测框对应的轨迹特征和各预选位置框的轨迹特征，进行优化匹配，确定各预选位置框与该目标检测框的相似度；将相似度大于设定阈值的预选位置框，确定为所述至少一个候选位置框。

在一种可能的实现方式中，所述第一目标的轨迹的确定方法，包括：获取第一图像之前的多帧图像，以及各帧图像对应的目标检测框；基于各帧图像对应的目标检测框，进行特征分析，得到所述第一目标的预设轨迹特征；所述预设轨迹特征包括下述至少一项：所述第一目标的像素点位置，形状特征，区域类型和空间关系特征。

在一种可能的实现方式中，该目标检测方法还包括：记录各时刻所述第一目标的位置；基于各时刻所述第一目标的位置，计算设定时段内所述第一目标的移动距离；基于所述第一目标的移动距离和所述设定时段的时长，确定所述第一目标的移动速度。

在一种可能的实现方式中，该目标检测方法还包括：记录各时刻所述第一目标的位置；基于各时刻所述第一目标的位置，建立所述第一目标的移动轨迹图；显示所述第一目标的移动轨迹图。

第二方面，本发明实施例提供了一种目标检测装置，其特征在于，包括：通信模块，用于获取第一图像；其中，第一图像中包含第一目标；处理模块，用于确定第一图像中第一目标的至少一个候选位置框；在至少一个候选位置框中，选取与第一目标的轨迹匹配度最高的候选位置框，作为第一图像中第一目标的目标检测框。

在一种可能的实现方式中，处理模块，具体用于确定至少一个候选位置框中各候选位置框对应的轨迹特征；将各候选位置框对应的轨迹特征与第一目标的预设轨迹特征进行匹配，确定轨迹匹配度最高的候选位置框；将轨迹匹配度最高的候选位置框，确定为目标检测框。

在一种可能的实现方式中，处理模块，具体用于对于任一候选位置框，以该候选位置框对应的各轨迹特征为二分图的第一点集，以所述预设轨迹特征中的各轨迹特征为二分图的第二点集，构建二分图；对所述二分图的第一点集中各轨迹特征与第二点集中各轨迹特征进行两两关联，得到多个匹配组合；每个匹配组合包括至少一个两两关联的特征对；计算所述各特征对中两个轨迹特征之间的相似度；基于所述二分图中每个特征对的相似度，确定所述轨迹匹配度最高的候选位置框。

在一种可能的实现方式中，处理模块，具体用于基于匈牙利算法，以匹配组合中各特征对对应的相似度为权重，计算各匹配组合的综合相似度，并将综合相似度最大的匹配组合，确定为所述多个匹配组合中的最优匹配组合；将最优匹配组合的综合相似度，确定为该候选位置框对应的相似度；将各候选位置框中相似度最大的候选位置框，确定为所述轨迹匹配度最高的候选位置框。

在一种可能的实现方式中，处理模块，具体用于将所述第一图像输入预设的神经网络模型，得到所述第一目标的各预选位置框，以及各预选位置框对应的置信度；计算所述各预选位置框中基准框与除基准框之外的其他预选位置框之间的交并比；所述基准框为所述各预选位置框中置信度最大的预选位置框；基于所述交并比，在所述各预选位置框中确定所述至少一个候选位置框。

在一种可能的实现方式中，通信模块，具体用于获取第二图像，以及所述第二图像中第一目标的目标检测框；所述第二图像为第一图像的前一帧图像；处理模块，具体用于基于所述第二图像中第一目标的目标检测框，确定该目标检测框对应的轨迹特征；在第一图像中确定多个预选位置框，并确定各预选位置框的轨迹特征；基于该目标检测框对应的轨迹特征和各预选位置框的轨迹特征，进行优化匹配，确定各预选位置框与该目标检测框的相似度；将相似度大于设定阈值的预选位置框，确定为所述至少一个候选位置框。

在一种可能的实现方式中，通信模块，还用于获取第一图像之前的多帧图像，以及各帧图像对应的目标检测框；处理模块，还用于基于各帧图像对应的目标检测框，进行特征分析，得到所述第一目标的预设轨迹特征；所述预设轨迹特征用于表征所述第一目标的轨迹，所述预设轨迹特征包括下述至少一项：所述第一目标的像素点位置，形状特征，区域类型和空间关系特征。

在一种可能的实现方式中，处理模块，还用于记录各时刻所述第一目标的位置；基于各时刻所述第一目标的位置，计算设定时段内所述第一目标的移动距离；基于所述第一目标的移动距离和所述设定时段的时长，确定所述第一目标的移动速度。

在一种可能的实现方式中，处理模块，还用于记录各时刻所述第一目标的位置；基于各时刻所述第一目标的位置，建立所述第一目标的移动轨迹图；显示所述第一目标的移动轨迹图。

第三方面，本发明实施例提供了一种电子设备，所述电子设备包括存储器和处理器，该存储器存储有计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序执行如上述第一方面以及第一方面中任一种可能的实现方式所述方法的步骤。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述第一方面以及第一方面中任一种可能的实现方式所述方法的步骤。

本发明提供一种目标检测方法、装置及电子设备，本发明先确定所述第一图像中所述第一目标的至少一个候选位置框；在所述至少一个候选位置框中，选取与所述第一目标的轨迹匹配度最高的候选位置框，作为所述第一图像中所述第一目标的目标检测框。相比于通过置信度和交并比实现目标位置检测的方案，本发明可以在确定候选位置框后，通过特征匹配的方式，将与第一目标的轨迹匹配度最高的候选位置框确定为目标检测框，考虑了第一目标的实际轨迹位置，保证了第一目标轨迹的连续性，使得第一目标的位置检测更加准确，提高了图像中目标位置检测的准确度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种目标检测图像的示意图；

图2是本发明实施例提供的一种目标检测方法的流程示意图；

图3是本发明实施例提供的另一种目标检测图像的示意图；

图4是本发明实施例提供的一种目标检测装置的结构示意图；

图5是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

在本发明的描述中，除非另有说明，“/”表示“或”的意思，例如，A/B可以表示A或B。本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。此外，“至少一个”“多个”是指两个或两个以上。“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念，便于理解。

此外，本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，而是可选的还包括其他没有列出的步骤或模块，或可选的还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明的附图通过具体实施例来进行说明。

目前，目标检测算法多通过置信度和交并比组合筛选方案实现，也即，NMS。常用的目标检测算法，无论是单阶段One-stage的单目标多框检测（single shot multiBoxdetector，SSD）系列算法、YOLO系列算法还是两阶段Two-stage的基于候选区域的神经网络（region with CNN features，RCNN）系列的算法，非极大值抑制都是其中必不可少的一个组件。在现有的基于anchor的目标检测算法中，都会产生数量巨大的候选矩形框，这些矩形框有很多是指向同一目标，因此就存在大量冗余的候选矩形框。非极大值抑制算法的目的正在于此，它可以消除多余的框，找到最佳的物体检测位置。

如图1所示，本发明实施例提供的一种目标检测图像的示意图。在对图1中目标车辆100检测过程中，产生多个候选框，通过计算各候选框的置信度，并结合交并比，实现非极大值抑制，删除冗余的候选框，得到能够表征目标车辆最佳位置的预选框101。

示例性的，NMS应用于RCNN算法时，具体的实现步骤如下所示。NMS的具体实现过程严格按照搜索局部极大值，抑制非极大值元素的思想来实现。

（1）设定目标框的置信度阈值。例如，常用的阈值是0.5左右。

（2）根据置信度降序排列候选框列表。例如，图1所示的多个候选框。

（3）选取置信度最高的候选框添加到输出列表。

（4）计算置信度最高的候选框与候选框列表中其他候选框之间的交并比IoU，删除IoU大于阈值的候选框。

其中，交并比还可以为CIoU、GIoU、DIoU等参数，本申请不做限定。

（5）重复上述过程，直到候选框列表为空，返回输出列表。

经典的NMS方法大多基于置信度进行排序，然后利用IoU进行的比对。然而在实际应用过程中发现，置信度最高的预选框不一定是系统需要的框，如果按照置信度去掉相近的候选框有时会造成真正目标框的丢失。从本质上来说，NMS对目标序列的跟踪提供了测量数据，但是反过来说，跟踪并未对NMS提供信息使NMS更优。因此，经典的NMS方法存在运动目标位置检测不准确的问题。

本发明提出一种目标检测方法，在根据置信度筛选完候选位置框的基础上，利用图像目标轨迹的跟踪与预测，轨迹特征匹配，去选取概率最大的预选框，利用选出的概率最大的框去做NMS的框的滤除，这样会使最终选取出来的框更有连续性，也更接近实际结果，提高目标位置检测的准确度和稳定性。

本发明适用于本车对周围车辆或行人等物体进行检测的情况，其中本车可以是商用车，也可以是乘用车，本实施例对此并不进行任何限定。典型的，本发明适用于在行驶的过程中本车对前车进行目标检测的情况，其中本车是商用车。

图2为本发明实施例提供的一种目标检测方法的流程示意图。该方法的执行主体为目标检测装置。该装置可以配置于摄像装置中，或者与摄像装置连接的控制器中，该控制器可以是出厂前安装于车辆中，也可以是出厂后再安装于车辆中。该方法包括步骤S201-S203。

S201、获取第一图像。

其中，第一图像是指包含第一目标的图像，该图像可以由本车中的摄像装置采集得到。

第一目标是待识别的目标物。在一些实施例中，第一目标包括本车周围的静止目标和运动目标。示例性的，第一目标可以为本车周围的道路护栏、灯杆等。第一目标还可以为本车周围的车辆、行人等。

示例性的，第一目标可以为图1所示的目标车辆100。第一图像可以为图1所示的对目标车辆100拍摄的图像。

作为一种可能的实现方式，控制器可以通过摄像装置对第一目标进行拍摄，逐帧获取第一目标的实时图像。

作为另一种可能的实现方式，控制器还可以从控制器的存储器中获取第一目标在各时刻的历史图像。

S202、确定第一图像中第一目标的至少一个候选位置框。

候选位置框是指表征第一目标的位置的准确度大于设定阈值的位置框。示例性的，候选位置框是指对预选位置框进行初选后得到的位置框。

预选位置框是指在第一图像中表征第一目标位置的位置框。预选位置框可以通过现有技术中的目标检测方法对第一图像中的第一目标检测得到。

作为一种可能的实现方式，在第一目标初始进入第一图像，第一目标的轨迹未建立时，控制器可以采用经典NMS方法，通过神经网络模型，确定多个预选位置框，并对多个预选位置框进行初选，得到至少一个候选位置框。

示例性的，控制器可以通过步骤A1-A3，得到至少一个候选位置框。

A1、将所述第一图像输入预设的神经网络模型，得到所述第一目标的各预选位置框，以及各预选位置框对应的置信度。

在一些实施例中，预选位置框是指在第一图像中表征第一目标位置的位置框。

预设的神经网络模型可以对第一图像中第一目标的各图像特征进行分析，并学习各图像特征之间的关联关系，最终输出多个预选位置框，以及各预选位置框对应的置信度。也即，预选位置框是预设的神经网络模型对第一图像中第一目标的各图像特征进行分析后，预测得到的多个位置框。

其中，第一目标的图像特征包括颜色特征，纹理特征，形状特征和空间关系特征。

需要说明的是，本发明实施例可以预先设定置信度阈值。控制器可以预选设定的置信度阈值，输出置信度大于置信度阈值的多个预选位置框。

A2、计算所述各预选位置框中基准框与除基准框之外的其他预选位置框之间的交并比。

在一些实施例中，所述基准框为所述各预选位置框中置信度最大的预选位置框。

A3、基于所述交并比，在所述各预选位置框中确定所述至少一个候选位置框。

如此，本发明实施例可以在第一目标的轨迹建立之前，基于经典NMS的方式确定。

作为一种可能的实现方式，控制器可以将交并比小于交并比阈值的预选位置框，确定为候选位置框。

作为另一种可能的实现方式，在第一目标进入第一图像一定时间后，第一目标的轨迹已建立，控制器可以基于第一图像的前一帧图像中第一目标的轨迹，确定至少一个候选位置框。

示例性的，控制器可以通过步骤B1-B5，得到至少一个候选位置框。

B1、获取第二图像，以及所述第二图像中第一目标的目标检测框。

其中，所述第二图像为第一图像的前一帧图像。

目标检测框是指与第一目标的轨迹匹配度最高的候选位置框。

B2、基于所述第二图像中第一目标的目标检测框，确定该目标检测框对应的轨迹特征。

在一些实施例中，第一目标的轨迹特征为第一目标的各图像特征中与轨迹相关的特征。

示例性的，第一目标的轨迹特征可以包括第一目标中各像素点在第一图像中的位置，各像素点对应的图像类型，第一目标的宽度和第一目标的高度等。

又一示例性的，第一目标的轨迹特征还可以包括第一目标的各像素点的颜色，第一目标不同区域之间的相对位置关系等等。

B3、在第一图像中确定多个预选位置框，并确定各预选位置框的轨迹特征。

示例性的，控制器可以通过步骤A1，将第一图像输入预设的神经网络模型，得到多个预选位置框。

又一示例性的，控制器还可以在第一图像中随机选定多个预选位置框。

B4、基于该目标检测框对应的轨迹特征和各预选位置框的轨迹特征，进行优化匹配，确定各预选位置框与该目标检测框的相似度。

B5、将相似度大于设定阈值的预选位置框，确定为所述至少一个候选位置框。

在一些实施例中，本发明实施例可以逐帧对第一目标的实时图像进行分析，利用前一帧图像，以及前一帧图像的目标检测框，进行轨迹匹配，确定至少一个候选位置框。

在分析过程中，每帧图像会产生对应于第一目标的一个目标簇。目标簇中包括多个预选位置框。本发明实施例可以基于前一帧图像确定的目标簇中的目标检测框，在当前帧的多个预选位置框中进行轨迹特征匹配，选取概率较大的，也即相似度大于设定阈值的预选位置框，作为至少一个候选位置框，实现目标的位置检测，提高目标位置检测的准确性。

S203、在至少一个候选位置框中，选取与第一目标的轨迹匹配度最高的候选位置框，作为第一图像中第一目标的目标检测框。

在一些实施例中，目标检测框为与第一目标的轨迹匹配度最高的候选位置框。

作为一种可能的实现方式，在确定至少一个候选框之后，本发明实施例可以基于步骤S2031-S2033，将各候选位置框的轨迹特征与第一目标的预设轨迹特征进行最优匹配，确定目标检测框。

S2031、确定至少一个候选位置框中各候选位置框对应的轨迹特征。

在一些实施例中，轨迹特征为各图像特征中与轨迹相关的特征。

示例性的，第一目标的轨迹特征可以包括第一目标中各像素点在第一图像中的位置，各像素点对应的图像类型，第一目标的宽度和第一目标的高度等。

又一示例性的，第一目标的轨迹特征还可以包括第一目标的各像素点的颜色，第一目标不同区域之间的相对位置关系等等。

S2032、将各候选位置框对应的轨迹特征与第一目标的预设轨迹特征进行匹配，确定轨迹匹配度最高的候选位置框。

在一些实施例中，第一目标的预设轨迹特征为基于第一图像之前的多帧图像确定的。

示例性的，本发明实施例可以采用匈牙利算法，通过步骤C1-C5，确定轨迹匹配度最高的候选位置框。

C1、对于任一候选位置框，以该候选位置框对应的各轨迹特征为二分图的第一点集，以所述预设轨迹特征中的各轨迹特征为二分图的第二点集，构建二分图。

C2、对所述二分图的第一点集中各轨迹特征与第二点集中各轨迹特征进行两两关联，得到多个匹配组合。

其中，每个匹配组合包括至少一个两两关联的特征对。

C3、计算所述各特征对中两个轨迹特征之间的相似度。

C4、基于所述二分图中每个特征对的相似度，确定所述轨迹匹配度最高的候选位置框。

作为一种可能的实现方式，步骤C4具体可以实现为基于匈牙利算法，以匹配组合中各特征对对应的相似度为权重，计算各匹配组合的综合相似度，并将综合相似度最大的匹配组合，确定为所述多个匹配组合中的最优匹配组合；将最优匹配组合的综合相似度，确定为该候选位置框对应的相似度；将各候选位置框中相似度最大的候选位置框，确定为所述轨迹匹配度最高的候选位置框。

S2033、将轨迹匹配度最高的候选位置框，确定为目标检测框。

本发明实施例先确定第一图像中第一目标的至少一个候选位置框；在至少一个候选位置框中，选取与第一目标的轨迹匹配度最高的候选位置框，作为第一图像中第一目标的目标检测框。相比于通过置信度和交并比实现目标位置检测的方案，本发明可以在确定候选位置框后，通过特征匹配的方式，将与第一目标的轨迹匹配度最高的候选位置框确定为目标检测框，考虑了第一目标的实际轨迹位置，保证了第一目标轨迹的连续性，使得第一目标的位置检测更加准确，提高了图像中目标位置检测的准确度。

作为另一种可能的实现方式，在通过步骤B1-B5，结合第二图像，确定至少一个候选位置框之后，步骤S203还可以具体实现为：

控制器直接将相似度最大的候选位置框，确定为目标检测框。

可选的，本发明实施例可以在确定目标检测框之后，删除至少一个候选位置框中除目标检测框之外的其他候选位置框。

可选的，本发明实施例提供的目标检测方法，在步骤S203之前还包括第一目标的轨迹的确定方法。示例性的，第一目标的轨迹的确定方法可以实现为步骤S301-S302。

S301、获取第一图像之前的多帧图像，以及各帧图像对应的目标检测框。

S302、基于各帧图像对应的目标检测框，进行特征分析，得到所述第一目标的预设轨迹特征。

预设轨迹特征用于表征所述第一目标的轨迹。

示例性的，预设轨迹特征包括下述至少一项：第一目标的像素点位置，形状特征，区域类型和空间关系特征。

需要说明的是，本发明实施例可以获取第一图像之前的多帧图像，以及各帧图像中的目标检测框；基于各帧图像的目标检测框，确定第一目标的预设轨迹特征。如此，本发明实施例可更多的考虑第一图像之前各时刻第一目标的轨迹的影响，进一步提高了目标位置检测的准确度。

可选的，本发明实施例提供的目标检测方法，还包括步骤S401-S403。

S401、记录各时刻第一目标的位置。

S402、基于各时刻第一目标的位置，计算设定时段内第一目标的移动距离。

S403、基于第一目标的移动距离和设定时段的时长，确定第一目标的移动速度。

如此，本发明在实现目标位置检测，提高目标位置检测准确性的基础上，进一步提高了对目标测速测距的准确度。

可选的，本发明实施例提供的目标检测方法，还包括步骤S501-S503。

S501、记录各时刻第一目标的位置。

S502、基于各时刻第一目标的位置，建立第一目标的移动轨迹图。

S503、显示第一目标的移动轨迹图。

如此，本发明在实现目标位置检测，提高目标位置检测准确性的基础上，进一步提高了目标轨迹图的准确性，从而为用户提供准确便捷的视觉体验。

对于初始的视频帧或者刚出现的目标，本发明实施例提供的目标检测方法可以具体实现为步骤S601-S608。

S601、获取第一图像，第一图像之前的多帧图像，以及多帧图像中各帧图像对应的目标检测框。

S602、将第一图像输入预设的神经网络模型，得到多个预选位置框，以及各预选位置框对应的置信度。

S603、将置信度最大的预选位置框确定为基准框，并计算基准框与其他预选位置框之间的交并比参数。

S604、将交并比参数满足预设条件的预选位置框，确定为候选位置框。

其中，交并比参数可以包括IoU、CIoU、GIoU和DIoU。

示例性的，控制器可以将IoU大于交并比阈值的预选位置框，确定为候选位置框。其中，交并比阈值可以为0.6。本申请不做限定。

本发明通过置信度和交并比的方式，对多个预选位置框进行聚类，选取概率较大的预选位置框作为候选位置框，构成目标簇。

对于第一图像的多个目标，每个目标对应一个由候选位置框构成的目标簇。本发明通过构建目标簇，将目标检测框在内的多个候选位置框选取出来，以便下一步轨迹特征对比，确定最能表征第一目标位置的候选位置框，也即目标检测框。

对于第一图像之前的多帧图像，每帧图像对应的目标检测框，即为该帧图像的目标簇中最能表征第一目标位置的候选位置框。

S605、确定各候选位置框对应的轨迹特征。

S606、基于第一图像之前的多帧图像，以及各帧图像对应的目标检测框，确定第一目标的预设轨迹特征。

S607、将各候选位置框对应的轨迹特征与预设轨迹特征进行匹配，确定轨迹匹配度最高的候选位置框。

S608、将轨迹匹配度最高的候选位置框确定为目标检测框，实现第一图像中第一目标的位置检测。

基于上述实施例，本发明可以基于置信度和交并比，确定候选位置框后，将各候选位置框对应的轨迹特征与预设轨迹特征进行匹配，并将轨迹匹配度最高的候选位置框确定为目标检测框。相比于直接通过置信度和交并比实现目标位置检测的方案，本发明考虑了第一目标的实际轨迹位置，保证了第一目标轨迹的连续性，使得第一目标的位置检测更加准确，提高了图像中目标位置检测的准确度。

对于已建立第一目标轨迹的视频帧，本发明实施例提供的目标检测方法还可以具体实现为步骤S701-S706。

S701、获取第一图像，第二图像，以及第二图像中目标检测框。

S702、在第一图像中确定多个预选位置框，并确定各预选位置框对应的轨迹特征。

作为一种可能的实现方式，控制器可以通过步骤S602-S605的方式，选取多个预选位置框，确定各预选位置框对应的轨迹特征。

作为另一种可能的实现方式，控制器还可以在第一图像中随机选取多个预选位置框，并确定各预选位置框对应的轨迹特征。

S703、基于第二图像，以及第二图像中目标检测框，确定第二图像中目标检测框对应的轨迹特征。

S704、基于第二图像中目标检测框对应的轨迹特征，和各预选位置框对应的轨迹特征，进行轨迹匹配，确定各预选位置框与该目标检测框的相似度。

示例性的，控制器可以基于匈牙利算法，确定各预选位置框与该目标检测框的相似度。

S705、将相似度大于设定阈值的预选位置框，确定为至少一个候选位置框。

S706、将相似度最大的候选位置框，确定为目标检测框。

基于上述实施例，本发明直接采用前一帧图像的轨迹特征，与第一图像中各预选位置框对应的轨迹特征，进行最优匹配，并将相似度最大，也即匹配度最高的候选位置框，确定为目标检测框，简化了目标位置检测流程，同时提高了图像中目标位置检测准确度和检测效率。

在实际应用中，本发明实施例提供的目标检测方法还可以通过如下方式实现。如图3所示，帧1、帧2、帧3是某一视频片段里连续的3帧图像。三帧图像中均包含目标，也即目标车辆100。其中，每一帧内的矩形目标框为神经网络(如yolo,SSD等网络)预测的预选框，目标只有两个预选框只是为了说明问题，在实际检测中会得到很多框，我们用2个框来说明选择和处理的方法。

例如，帧1中包括第一预选框111和第二预选框112。帧2中包括第三预选框121和第四预选框122。帧3中包括第五预选框131和第六预选框132。

对于初始的视频帧或者刚出现的目标(比如前5帧)，先利用经典的nms方法进行预选框的挑选，然后利用目标的在图像中的像素位置、类型、宽高、图像特征等信息对目标进行跟踪，建立目标的轨迹。基于已经建立轨迹的目标，优化后的nms的过程如步骤一至步骤五：

步骤一，设定目标预选框的置信度阈值，在此为最大程度的保留可能正确的目标框，选用比常用值略低的值，如0.4。如此可选择出多个目标预选框，也即多个预选位置框。

步骤二，根据预选框之间的IOU(也可以是其改进的版本CIoU、GIoU、DIoU等)。例如一般典型阈值可取0.6，对预选框进行聚类分类。即经过预选框聚类后，每个目标对应一个预选框的目标簇。

如此，可在多个预选位置框中得到由至少一个候选位置框构成的目标簇。

可以理解的是，对个一帧图像中的多个目标，本发明可以分别对各目标进行聚类，也即每个目标对应一个预选框的目标簇。

步骤三，然后根据目标跟踪序列的预测信息与目标簇的每一个预选框去进行相似度的关联，同样可利用目标在图像中的像素位置、类型、宽高、图像特征等信息进行管理，利用匈牙利算法进行全局的匹配，得到全局最优匹配，完成目标的关联。

如图3所示，对于帧1，第一预选框111和第二预选框112组成了一个目标簇，利用之前建立的跟踪轨迹信息会选取第二预选框112作为我们的目标，也即帧1中目标车辆100的目标检测框。对于帧2，第三预选框121和第四预选框122组成了一个目标簇。利用帧1中第二预选框112，确定目标车辆100的跟踪轨迹信息，并基于由帧1中第二预选框112确定的目标车辆100的跟踪轨迹信息，进行特征匹配，选取第四预选框122作为我们的目标，也即帧2中目标车辆的目标检测框。

步骤四，对于跟踪信息的预测信息选中的目标框进行标记并选择将其作为本周期的检测目标，同目标簇的其余检测目标进行删除。

例如，对于帧1，当选定第二预选框112作为帧1中目标车辆100的目标检测框后，将第一预选框111删除。

步骤五，对于不同的目标进行上述操作，直到完成目标的挑选。

利用改进后的方法得到的目标检测框序列，具备了跟踪信息的补充会使目标检测框更稳定，有利于对图像目标进行测速等操作，具有很大的实际工程意义。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

以下为本发明的装置实施例，对于其中未详尽描述的细节，可以参考上述对应的方法实施例。

图4示出了本发明实施例提供的一种目标检测装置的结构示意图。目标检测装置应用于乘用车或商务车的控制器。该目标检测装置800包括通信模块801和处理模块802。

通信模块801，用于获取第一图像；其中，第一图像中包含第一目标；处理模块。

处理模块802，用于确定第一图像中第一目标的至少一个候选位置框；在至少一个候选位置框中，选取与第一目标的轨迹匹配度最高的候选位置框，作为第一图像中第一目标的目标检测框。

在一种可能的实现方式中，处理模块802，具体用于确定至少一个候选位置框中各候选位置框对应的轨迹特征；将各候选位置框对应的轨迹特征与第一目标的预设轨迹特征进行匹配，确定轨迹匹配度最高的候选位置框；将轨迹匹配度最高的候选位置框，确定为目标检测框。

在一种可能的实现方式中，处理模块802，具体用于对于任一候选位置框，以该候选位置框对应的各轨迹特征为二分图的第一点集，以所述预设轨迹特征中的各轨迹特征为二分图的第二点集，构建二分图；对所述二分图的第一点集中各轨迹特征与第二点集中各轨迹特征进行两两关联，得到多个匹配组合；每个匹配组合包括至少一个两两关联的特征对；计算所述各特征对中两个轨迹特征之间的相似度；基于所述二分图中每个特征对的相似度，确定所述轨迹匹配度最高的候选位置框。

在一种可能的实现方式中，处理模块802，具体用于基于匈牙利算法，以匹配组合中各特征对对应的相似度为权重，计算各匹配组合的综合相似度，并将综合相似度最大的匹配组合，确定为所述多个匹配组合中的最优匹配组合；将最优匹配组合的综合相似度，确定为该候选位置框对应的相似度；将各候选位置框中相似度最大的候选位置框，确定为所述轨迹匹配度最高的候选位置框。

在一种可能的实现方式中，处理模块802，具体用于将所述第一图像输入预设的神经网络模型，得到所述第一目标的各预选位置框，以及各预选位置框对应的置信度；计算所述各预选位置框中基准框与除基准框之外的其他预选位置框之间的交并比；所述基准框为所述各预选位置框中置信度最大的预选位置框；基于所述交并比，在所述各预选位置框中确定所述至少一个候选位置框。

在一种可能的实现方式中，通信模块801，具体用于获取第二图像，以及所述第二图像中第一目标的目标检测框；所述第二图像为第一图像的前一帧图像；处理模块802，具体用于基于所述第二图像中第一目标的目标检测框，确定该目标检测框对应的轨迹特征；在第一图像中确定多个预选位置框，并确定各预选位置框的轨迹特征；基于该目标检测框对应的轨迹特征和各预选位置框的轨迹特征，进行优化匹配，确定各预选位置框与该目标检测框的相似度；将相似度大于设定阈值的预选位置框，确定为所述至少一个候选位置框。

在一种可能的实现方式中，通信模块801，还用于获取第一图像之前的多帧图像，以及各帧图像对应的目标检测框；处理模块802，还用于基于各帧图像对应的目标检测框，进行特征分析，得到所述第一目标的预设轨迹特征；所述预设轨迹特征用于表征所述第一目标的轨迹，所述预设轨迹特征包括下述至少一项：所述第一目标的像素点位置，形状特征，区域类型和空间关系特征。

在一种可能的实现方式中，处理模块802，还用于记录各时刻所述第一目标的位置；基于各时刻所述第一目标的位置，计算设定时段内所述第一目标的移动距离；基于所述第一目标的移动距离和所述设定时段的时长，确定所述第一目标的移动速度。

在一种可能的实现方式中，处理模块802，还用于记录各时刻所述第一目标的位置；基于各时刻所述第一目标的位置，建立所述第一目标的移动轨迹图；显示所述第一目标的移动轨迹图。

图5是本发明实施例提供的一种电子设备的结构示意图。如图5所示，该实施例的电子设备900包括：处理器901、存储器902以及存储在所述存储器902中并可在所述处理器901上运行的计算机程序903。所述处理器901执行所述计算机程序903时实现上述各方法实施例中的步骤，例如图2所示的步骤201至步骤203。或者，所述处理器901执行所述计算机程序903时实现上述各装置实施例中各模块/单元的功能，例如，图4所示通信模块801和处理模块802的功能。

示例性的，所述计算机程序903可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器902中，并由所述处理器901执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序903在所述电子设备900中的执行过程。例如，所述计算机程序903可以被分割成图4所示通信模块801和处理模块802。

所称处理器901可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器902可以是所述电子设备900的内部存储单元，例如电子设备900的硬盘或内存。所述存储器902也可以是所述电子设备900的外部存储设备，例如所述电子设备900上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（SecureDigital，SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器902还可以既包括所述电子设备900的内部存储单元也包括外部存储设备。所述存储器902用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述存储器902还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（RandomAccess Memory，RAM）、电载波信号、电信信号以及软件分发介质等。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种目标检测方法，其特征在于，包括：

获取第一图像；其中，所述第一图像中包含第一目标；

确定所述第一图像中所述第一目标的至少一个候选位置框；

在所述至少一个候选位置框中，选取与所述第一目标的轨迹匹配度最高的候选位置框，作为所述第一图像中所述第一目标的目标检测框。

2.根据权利要求1所述的目标检测方法，其特征在于，所述在所述至少一个候选位置框中，选取与所述第一目标的轨迹匹配度最高的候选位置框，作为所述第一图像中所述第一目标的目标检测框，包括：

确定所述至少一个候选位置框中各候选位置框对应的轨迹特征；

将各候选位置框对应的轨迹特征与第一目标的预设轨迹特征进行匹配，确定轨迹匹配度最高的候选位置框；

将所述轨迹匹配度最高的候选位置框，确定为所述目标检测框。

3.根据权利要求2所述的目标检测方法，其特征在于，所述将各候选位置框对应的轨迹特征与第一目标的预设轨迹特征进行匹配，确定轨迹匹配度最高的候选位置框，包括：

对于任一候选位置框，以该候选位置框对应的各轨迹特征为二分图的第一点集，以所述预设轨迹特征中的各轨迹特征为二分图的第二点集，构建二分图；

对所述二分图的第一点集中各轨迹特征与第二点集中各轨迹特征进行两两关联，得到多个匹配组合；每个匹配组合包括至少一个两两关联的特征对；

计算所述各特征对中两个轨迹特征之间的相似度；

基于所述二分图中每个特征对的相似度，确定所述轨迹匹配度最高的候选位置框。

4.根据权利要求3所述的目标检测方法，其特征在于，所述基于匈牙利算法，以及所述二分图中每个特征对的相似度，确定所述轨迹匹配度最高的候选位置框，包括：

基于匈牙利算法，以匹配组合中各特征对对应的相似度为权重，计算各匹配组合的综合相似度，并将综合相似度最大的匹配组合，确定为所述多个匹配组合中的最优匹配组合；

将最优匹配组合的综合相似度，确定为该候选位置框对应的相似度；

将各候选位置框中相似度最大的候选位置框，确定为所述轨迹匹配度最高的候选位置框。

5.根据权利要求2所述的目标检测方法，其特征在于，所述确定所述第一图像中所述第一目标的至少一个候选位置框，包括：

将所述第一图像输入预设的神经网络模型，得到所述第一目标的各预选位置框，以及各预选位置框对应的置信度；

计算所述各预选位置框中基准框与除基准框之外的其他预选位置框之间的交并比；所述基准框为所述各预选位置框中置信度最大的预选位置框；

基于所述交并比，在所述各预选位置框中确定所述至少一个候选位置框。

6.根据权利要求2所述的目标检测方法，其特征在于，所述确定所述第一图像中所述第一目标的至少一个候选位置框，包括：

获取第二图像，以及所述第二图像中第一目标的目标检测框；所述第二图像为第一图像的前一帧图像；

基于所述第二图像中第一目标的目标检测框，确定该目标检测框对应的轨迹特征；

在第一图像中确定多个预选位置框，并确定各预选位置框的轨迹特征；

基于该目标检测框对应的轨迹特征和各预选位置框的轨迹特征，进行优化匹配，确定各预选位置框与该目标检测框的相似度；

将相似度大于设定阈值的预选位置框，确定为所述至少一个候选位置框。

7.根据权利要求1所述的目标检测方法，其特征在于，所述第一目标的轨迹的确定方法，包括：

获取第一图像之前的多帧图像，以及各帧图像对应的目标检测框；

基于各帧图像对应的目标检测框，进行特征分析，得到所述第一目标的预设轨迹特征；所述预设轨迹特征用于表征所述第一目标的轨迹，所述预设轨迹特征包括下述至少一项：所述第一目标的像素点位置，形状特征，区域类型和空间关系特征。

8.根据权利要求1至6中任一项所述的目标检测方法，其特征在于，所述目标检测方法还包括：

记录各时刻所述第一目标的位置；

基于各时刻所述第一目标的位置，计算设定时段内所述第一目标的移动距离；

基于所述第一目标的移动距离和所述设定时段的时长，确定所述第一目标的移动速度。

9.一种目标检测装置，其特征在于，包括：

通信模块，用于获取第一图像；其中，所述第一图像中包含第一目标；

处理模块，用于确定所述第一图像中所述第一目标的至少一个候选位置框；在所述至少一个候选位置框中，选取与所述第一目标的轨迹匹配度最高的候选位置框，作为所述第一图像中所述第一目标的目标检测框。

10.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，该存储器存储有计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序执行如权利要求1至8中任一项所述的方法。

Images