CN114429619A

CN114429619A - 目标车辆的检测方法及装置

Info

Publication number: CN114429619A
Application number: CN202210094544.3A
Authority: CN
Inventors: 杨钰鑫; 朱铖恺; 武伟
Original assignee: Zhejiang Shangtang Technology Development Co Ltd
Current assignee: Zhejiang Shangtang Technology Development Co Ltd
Priority date: 2022-01-26
Filing date: 2022-01-26
Publication date: 2022-05-03

Abstract

本公开涉及计算机视觉技术领域，具体提供了一种目标车辆的检测方法及装置。一种目标车辆的检测方法，包括：获取待处理图像，所述待处理图像包括车辆；对待处理图像进行图像检测，得到目标对象的检测结果；所述目标对象为属于所述车辆的至少一类车辆组件；响应于所述目标对象的检测结果满足预设条件，确定所述待处理图像中的所述车辆为目标车辆。本公开实施方式降低对目标车辆的误检和漏检风险，提高检测识别精度。

Description

目标车辆的检测方法及装置

技术领域

本公开涉及计算机视觉技术领域，具体涉及一种目标车辆的检测方法及装置。

背景技术

基于计算机视觉(CV，Computer Vision)的车辆检测识别，对于城市道路交通管理具有重要的意义。特种车辆是参与城市交通的车辆类型之一，特种车辆是指在外形、重量等方面经过特制或改装的具有特殊用途的车辆，例如警车、消防车、危化品运输车、工程抢险车等。

相关技术中，针对特种车辆的检测识别，主要是利用图像分类技术训练分类网络，利用分类网络对特种车辆进行检测识别，识别精度不高，存在大量误报，难以落地应用。

发明内容

为提高对目标车辆的检测识别精度，本公开实施方式提供了一种目标车辆的检测方法、装置、电子设备以及存储介质。

第一方面，本公开实施方式提供了一种目标车辆的检测方法，包括：

获取待处理图像，所述待处理图像包括车辆；

对待处理图像进行图像检测，得到目标对象的检测结果；所述目标对象为属于所述车辆的至少一类车辆组件；

响应于所述目标对象的检测结果满足预设条件，确定所述待处理图像中的所述车辆为目标车辆。

在一些实施方式中，所述对待处理图像进行图像检测，得到目标对象的检测结果，包括：

对所述待处理图像进行特征提取，得到所述待处理图像对应的特征图；

对所述特征图进行检测，确定所述特征图中每个所述目标对象的感兴趣区域；

基于所述感兴趣区域从预先设置的多个尺度的初始检测框中，匹配得到每个所述目标对象的参考检测框；

对每个所述目标对象的参考检测框进行回归处理，得到所述目标对象的检测结果。

在一些实施方式中，所述对每个所述目标对象的参考检测框进行回归处理，得到所述目标对象的检测结果，包括：

对于任意一个所述目标对象，对所述目标对象对应的所述参考检测框进行边框回归，得到所述目标对象对应的候选检测框集合；

基于非极大值抑制算法对所述候选检测框集合进行处理，确定所述目标对象的目标检测框；

将所述目标检测框确定为所述目标对象的检测结果。

在一些实施方式中，预先设置所述初始检测框的过程，包括：

获取样本数据集，所述样本数据集中的每个样本数据包括目标对象以及所述目标对象对应的检测框标签；

基于所述检测框标签和多个尺度的检测框类别，对所述样本数据集进行聚类处理，得到每个检测框类别对应的聚类检测框；

根据各个检测框类别对应的聚类检测框，确定所述目标对象的各个所述初始检测框。

在一些实施方式中，所述对所述待处理图像进行特征提取，得到所述待处理图像对应的特征图，包括：

对所述待处理图像进行特征提取，得到多尺度的特征图；

所述对每个所述目标对象的参考检测框进行回归处理，得到所述目标对象的检测结果，包括：

对于任意尺度的所述特征图，基于当前尺度的特征图与前一尺度的特征图进行融合处理，得到当前尺度的融合特征图；

对于任意尺度的所述融合特征图，对所述融合特征图中每个所述目标对象的所述参考检测框进行回归处理，得到所述目标对象的检测结果。

对所述待处理图像进行特征提取，得到多尺度的特征图；

基于各个所述融合特征图对所述目标对象进行分类处理，得到所述目标对象的检测结果。

将所述待处理图像输入预先训练好的骨干网络，得到所述骨干网络输出的所述待处理图像的多尺度的特征图；

利用预先训练好的功能网络，根据所述多尺度的特征图进行分类处理，得到所述目标对象的分类结果；利用预先训练好的功能网络，根据所述多尺度的特征图进行回归处理，得到所述目标对象的回归结果；

将所述分类结果和所述回归结果，确定为所述目标对象的所述检测结果。

在一些实施方式中，响应于所述目标对象的检测结果满足预设条件，确定所述待处理图像中的所述车辆为目标车辆，包括：

对于所属同一车辆的所述目标对象，根据同一类别的每个目标对象的置信度分数，确定每个类别的置信度分数；

根据每个类别的置信度分数确定所述车辆的置信度分数；

响应于所述车辆的置信度分数不小于预设阈值，确定所述检测结果满足预设条件。

在一些实施方式中，所述根据同一类别的每个目标对象的置信度分数，确定每个类别的置信度分数，包括以下中至少之一：

将同一类别中最大的置信度分数，确定为所述类别的置信度分数；

将同一类别中每个目标对象的置信度分数的平均值，确定为所述类别的置信度分数。

在一些实施方式中，所述根据每个类别的置信度分数确定所述车辆的置信度分数，包括以下中至少之一：

将所有类别中最大的置信度分数，确定为所述车辆的置信度分数；

将所有类别中目标类别的置信度分数，确定为所述车辆的置信度分数；

将各个类别的置信度分数的平均值，确定为所述车辆的置信度分数；

根据每个类别的置信度分数以及置信度权值，确定所述车辆的置信度分数。

在一些实施方式中，所述车辆包括危化品车辆，所述目标对象包括所述危化品车辆的标志灯和/或标志牌。

第二方面，本公开实施方式提供了一种目标车辆的检测装置，包括：

获取模块，被配置为获取待处理图像，所述待处理图像包括车辆；

检测模块，被配置为对待处理图像进行图像检测，得到目标对象的检测结果；所述目标对象为属于所述车辆的至少一类车辆组件；

确定模块，被配置为响应于所述目标对象的检测结果满足预设条件，确定所述待处理图像中的所述车辆为目标车辆。

在一些实施方式中，所述检测模块被配置为：

对于任意一个所述目标对象，对所述目标对象对应的所述初始检测框进行边框回归，得到所述目标对象对应的候选检测框集合；

将所述目标检测框确定为所述目标对象的检测结果。

在一些实施方式中，所述检测模块被配置为：

对所述待处理图像进行特征提取，得到多尺度的特征图；

在一些实施方式中，所述检测模块被配置为：

对所述待处理图像进行特征提取，得到多尺度的特征图；

在一些实施方式中，所述检测模块被配置为：

在一些实施方式中，所述确定模块被配置为：

根据每个类别的置信度分数确定所述车辆的置信度分数；

在一些实施方式中，所述确定模块被配置为以下中至少之一：

第三方面，本公开实施方式提供了一种电子设备，包括：

处理器；以及

存储器，存储有能够被所述处理器读取的计算机指令，当所述计算机指令被读取时，所述处理器执行根据第一方面任一实施方式所述的方法。

第四方面，本公开实施方式提供了一种存储介质，用于存储计算机可读指令，所述计算机可读指令用于使计算机执行根据第一方面任一实施方式所述的方法。

本公开实施方式的检测方法，包括对获取的待处理图像进行图像检测，得到目标对象的检测结果，响应于目标对象的检测结果满足预设条件，确定待处理图像中的车辆为目标车辆，其中，目标对象为属于车辆的至少一类车辆组件。本公开实施方式中，通过对待处理图像中目标对象的检测，根据目标对象的检测结果确定目标车辆，降低误检和漏检风险，提高对目标车辆的检测识别精度。

附图说明

为了更清楚地说明本公开具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是相关技术中危化品运输车辆的示意图。

图2是根据本公开一些实施方式中目标车辆的检测方法的流程图。

图3是根据本公开一些实施方式中目标车辆的检测方法的流程图。

图4是根据本公开一些实施方式中目标车辆的检测方法的流程图。

图5是根据本公开一些实施方式中目标车辆的检测方法的流程图。

图6是根据本公开一些实施方式中图像检测网络的结构原理图。

图7是根据本公开一些实施方式中目标车辆的检测方法的流程图。

图8是根据本公开一些实施方式中目标车辆的检测方法的流程图。

图9是根据本公开一些实施方式中目标车辆的检测方法的流程图。

图10是根据本公开一些实施方式中待处理图像的示例图。

图11是根据本公开一些实施方式中目标车辆的检测方法的可视化结果示意图。

图12是根据本公开一些实施方式中目标车辆的检测方法的流程图。

图13是根据本公开一些实施方式中目标车辆的检测装置的结构框图。

图14是根据本公开一些实施方式中电子设备的结构框图。

具体实施方式

下面将结合附图对本公开的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本公开一部分实施方式，而不是全部的实施方式。基于本公开中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本公开保护的范围。此外，下面所描述的本公开不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

特种车辆是指在外形、重量等方面经过特制或者改装的具有特殊用途的车辆，例如警车、消防车、危化品运输处、工程抢险车等。特种车辆在参与城市道路交通时，由于其具有用途特殊性，因此对于特种车辆的检测识别有利于维护交通安全和处理特殊事件。

相关技术中，基于计算机视觉(CV，Computer Vision)的车辆检测识别中，主要是利用图像分类技术提取车辆图像特征进行特种车辆的识别。例如，基于Haar特征和AdaBoost级联分类器进行车辆识别，或者通过BP神经网络提取车辆图像特征进行车辆识别等。

这些检测识别方法主要关注于车辆的整体特征，导致对部分特种车辆的检测识别精度较低，出现大量的误检或漏检。例如，以危化品运输车为例，图1示出了常见的危化品运输车的主视和侧视图，其通常用于运输炸药、鞭炮、石油天然气等。通过图1可以看到，危化品运输车从车辆外形上与普通运输车辆几乎无异，仅在车头或车身位置安装“危险”标识的标志灯或标志牌，相关技术中的检测识别方法仅关注车辆整体特征，容易造成对危化品运输车的大量漏检。

为提高针对目标车辆的检测识别精度，本公开实施方式提供了一种目标车辆的检测方法、装置、电子设备以及存储介质。

第一方面，本公开实施方式提供了一种目标车辆的检测方法，该方法可应用于电子设备。本公开实施方式所述的电子设备可以是任何适于实施的设备类型，例如道路监控系统、车载辅助驾驶系统、移动终端以及云服务器等，本公开对此不作限制。

如图2所示，在一些实施方式中，本公开示例的目标车辆的检测方法，包括：

S210、获取待处理图像，待处理图像包括车辆。

具体而言，待处理图像指包含车辆的道路图像，例如城市道路、高速公路中的道路图像。道路图像中包括至少一个车辆，车辆可以是任何类型的车辆，本公开实施方式的方法，旨在由待处理图像中确定车辆是否为期望于检测的目标车辆。

目标车辆可以是任意类型的特种车辆，例如，目标车辆以危化品运输车为例，本公开实施方式的检测方法旨在确定待处理图像中包括的车辆，是否为危化品运输车。当然，目标车辆也可以是其他任何适于检测的车辆类型，例如救护车、消防车、警车、工程抢险车等，本公开对此不作限制。

本公开实施方式中，待处理图像的获取方式可以根据具体的应用场景进行选择。例如，在应用于车载辅助驾驶系统时，待处理图像可以通过设置在车辆中控台的摄像头采集获取。又例如，在应用于城市道路监控系统时，待处理图像可以通过设置在道路上的监控摄像头采集获取。再例如，在应用于移动终端时，待处理图像可以通过移动终端的摄像头采集获取。本领域技术人员对此可以理解，本公开不再枚举。

值得说明的是，本公开实施方式所述的待处理图像，可以是通过图像采集设备采集的单帧图像，也可以是通过图像采集设备采集的视频流中的帧图像。另外，一帧待处理图像中可以仅包括一个车辆，也可以包括多个车辆，本公开对此不作限制。

S220、对待处理图像进行图像检测，得到目标对象的检测结果。

本公开实施方式中，目标对象是指设于车辆上的车辆组件，也即目标对象归属于车辆。

可以理解，对于特种车辆，其往往经过特殊的改装，因此具有一类或多类区别于普通车辆的组件。例如，以警车、救护车为例，警车和救护车的车顶往往加装有警示灯，警示灯即可作为本公开所述的一类目标对象。又例如，以危化品运输车辆为例，如图1所示，危化品运输车辆往往会在车头的顶部设置标注有“危险”字样的标志灯，并且，往往还会在车头或车身其他位置设置标注有“危险”字样的标志牌，标志灯和标志牌即可分别作为本公开所述的一类目标对象。

总而言之，本公开实施方式的目标对象，可以是指任何适于将目标车辆与普通车辆进行区分、且属于目标车辆一部分的车辆组件。例如上述示例中的警示灯、标志灯、标志牌等，本领域技术人员对此可以理解，本公开不再枚举示例。

在S220中，在对待处理图像进行图像检测时，并非仅针对车辆进行检测，而是针对属于车辆的目标对象进行检测，从而得到车辆的目标对象的检测结果。

在一些实施方式中，检测结果可以包括目标对象的检测框信息以及目标对象的类别信息。检测框信息可以用于检测结果的可视化，也即在图像中利用检测框指示出目标对象所在位置以及目标对象对应的区域。目标对象的类别信息可以用于表征某个目标对象所属的类别，举例来说，在对危化品运输车检测时，目标对象包括“标志灯”和“标志牌”两种类别，从而检测结果中可以表示出每个目标对象所属的类别。

在一些实施方式中，可以通过预先训练好的图像检测网络对待处理图像进行图像检测，从而得到目标对象的检测结果。本公开下文实施方式中对图像检测网络的网络结构以及原理进行具体说明，在此暂不详述。

可以理解，目标对象的检测结果，表示由待处理图像中检测出的目标对象的相关信息。例如，对于一张包含危化品运输车的待处理图像而言，在对待处理图像进行图像检测得到的检测结果中，包括标志灯和/或标志牌的检测框信息和类别信息，从而利用下述S230来融合目标对象的相关信息，即可确定待处理图像中的车辆是否为危化品运输车。

S230、响应于目标对象的检测结果满足预设条件，确定待处理图像中的车辆为目标车辆。

具体而言，在确定待处理图像中目标对象的检测结果之后，即可根据各个目标对象的检测结果，确定目标对象所属车辆是否为目标车辆。

在一些实施方式中，在车辆仅包括一类车辆组件作为目标对象时，可以根据该类目标对象的检测结果，基于预先设置的判断条件，对检测结果进行逻辑判断，确定目标对象的检测结果是否满足预设条件。

例如一个示例中，目标车辆以警车为例，目标对象仅包括设置于警车车顶的“警示灯”。在通过S220得到“警示灯”的相关检测结果(例如警示灯置信度分数)之后，即可将警示灯的置信度分数与预设阈值进行比较。当置信度分数超过预设阈值时，即可确定警示灯的检测结果满足预设条件，也即待处理图像的车辆为警车。反之，当置信度分数低于预设阈值时，即可确定警示灯的检测结果不满足预设条件，也即待处理图像中的车辆不是警车。

在一些实施方式中，在车辆包括两类或者更多类车辆组件作为目标对象时，可以融合每一类目标对象的检测结果，得到整个车辆的置信度分数，然后基于预先设置的判断条件，确定车辆是否为目标车辆。

例如一个示例中，目标车辆以危化品运输车为例，目标对象包括设于危化品运输车上的“标志灯”和“标志牌”共两类车辆组件。在通过S220得到“标志灯”和“标志牌”的相关检测结果(例如标志灯和标志牌置信度分数)之后，可以根据标志灯的置信度分数和标志牌的置信度分数进行融合处理，将融合得到的置信度分数作为待处理图像中车辆的置信度分数，然后将车辆的置信度分数与预设阈值进行比较，从而确定车辆是否为危化品运输车辆。本公开下述实施方式中对此具体进行说明，在此暂不详述。

可以理解，在本公开实施方式中，首先对待处理图像进行图像检测，得到目标对象的检测结果，然后对目标对象的检测结果进行逻辑判断，确定待处理图像中的车辆是否为目标车辆。也即，本公开实施方式利用对车辆组件进行目标检测的方式，确定车辆是否为目标车辆，相较于相关技术中提取车辆整体的图像特征进行目标分类的方式，可以更好的关注到目标车辆的细节特征。

例如仍以危化品运输车检测为例，相关技术中，通过提取车辆整体的图像特征对车辆进行目标分类，从而确定车辆是否属于危化品运输车。但是由于危化品运输车与普通运输车相差不大，检测网络仅关注整体特征很容易造成这类车辆的漏检。而在本公开实施方式中，则是针对危化品运输车的标志牌、标志灯等局部特征进行目标检测，然后综合逻辑判断确定是否为危化品运输车，大大提高目标车辆的检测准确率。

通过上述可知，本公开实施方式中，通过对待处理图像中目标对象的检测，根据目标对象的检测结果确定目标车辆，降低误检和漏检风险，提高对目标车辆的检测识别精度。

在一些实施方式中，在S220中，针对目标对象的检测结果可以包括对目标对象的分类结果和回归结果。分类结果表示对目标对象进行分类的结果，例如上述示例的危险品运输车辆检测识别中，分别结果表示对目标对象进行“标志灯”和“标志牌”两种类别进行分类的结果。回归结果表示目标对象在图像中的位置信息，例如上述示例的危险品运输车辆检测识别中，回归结果可表示对标志灯和标志牌的检测框信息。

如图3所示，在一些实施方式中，本公开示例的检测方法，得到目标对象的检测结果包括的回归结果的过程包括：

S310、对待处理图像进行特征提取，得到待处理图像对应的特征图。

本公开实施方式中，可以基于图像检测技术，对待处理图像进行特征提取，从而得到待处理图像的特征图，特征图可以包括待处理图像的语义信息和纹理信息。

在一个示例中，可以基于预先训练得到的神经网络对待处理图像进行特征提取，得到待处理图像对应的特征图。本公开下述进行具体说明，在此暂不详述。

S320、对特征图进行检测，确定特征图中每个目标对象的感兴趣区域。

本公开实施方式中，在得到特征图之后，可以基于目标对象的特征对特征图进行图像检测，从而由特征图中确定每个目标对象的感兴趣区域(ROI，region of interest)。感兴趣区域表示目标对象在特征图中的位置区域。

S330、基于感兴趣区域从预先设置的多个尺度的初始检测框中，匹配得到每个目标对象的参考检测框。

本公开实施方式中，预先针对目标对象设置多个不同尺度的检测框，也即本公开所述的初始检测框(anchor)，初始检测框的作用是作为对每个目标对象进行回归预测的参考检测框。

初始检测框anchor的参数可包括面积(scale)以及长宽比(aspects)。在一些实施方式中，可以基于具体的检测目标对象的尺寸在对应设置多个不同尺度的anchor，例如在对危化品运输车的标志灯和标志牌检测时，可以预先基于标志灯和标志牌的大小比例设计对应不同尺度的初始检测框。在另一些实施方式中，也可以通过海量样本数据，采用聚类的方式得到针对目标对象的初始检测框，本公开下述实施方式进行说明，在此暂不详述。

对于待处理图像中的任意一个目标对象，根据该目标对象的感兴趣区域的尺寸大小，从预先设置的多个尺寸的初始检测框中，匹配出与感兴趣区域大小相适配的检测框，作为该目标对象的参考检测框。

S340、对每个目标对象的参考检测框进行回归处理，得到目标对象的检测结果。

本公开实施方式中，在确定每个目标对象的参考检测框之后，即可基于参考检测框进行回归处理，从而得到每个目标对象准确的检测框信息，也即本公开中目标对象的检测结果包括的回归结果。

在一些实施方式中，可以基于NMS(Non-Maximum Suppression，非极大值抑制)算法对参考检测框进行回归处理，得到目标对象的检测结果。下面结合图4实施方式进行说明。

如图4所示，在一些实施方式中，本公开示例的检测方法中，基于NMS算法对参考检测框进行回归处理的过程包括：

S341、对于任意一个目标对象，对目标对象对应的参考检测框进行边框回归，得到目标对象对应的候选检测框集合。

S342、基于非极大值抑制算法对候选检测框集合进行处理，确定目标对象的目标检测框。

S343、将目标检测框确定为目标对象的检测结果。

以待处理图像中的任意一个目标对象为例，对该目标对象的参考检测框进行边框回归，可以得到目标对象对应的多个候选检测框，这些候选检测框的集合以及候选检测框集合(Bounding Box)。

本公开实施方式中，利用非极大值抑制NMS算法，对于候选检测框集合中的每个候选检测框，根据各个候选检测框的置信度分数，选择置信度分数最高的候选检测框M，将其从候选检测框集合中移除并加入到最终的检测结果中。然后计算候选检测框集合中其他候选检测框与候选检测框M的交并比(IoU，Intersection-over-Union)，将交并比大于阈值的候选检测框从候选检测框集合中移除。重复执行上述过程直至得到最终被保留下来的候选检测框，该检测框即为目标对象的目标检测框，将目标检测框作为目标对象的检测结果包括的回归结果。

在一些实施方式中，在上述图3和图4实施方式中，本公开示例的检测方法还包括预先通过聚类处理得到初始检测框(anchor)的过程，下面结合图5进行说明。

如图5所示，在一些实施方式中，本公开示例的目标车辆的检测方法，还包括：

S510、获取样本数据集，样本数据集中的每个样本数据包括目标对象以及目标对象对应的检测框标签。

S520、基于检测框标签和多个不同尺度的检测框类别，对样本数据集进行聚类处理，得到每个检测框类别对应的聚类检测框。

S530、根据各个检测框类别对应的聚类检测框，确定针对目标对象的不同尺度的初始检测框。

通过前文所述可知，初始检测框anchor的作用是针对目标对象的感兴趣区域进行回归处理的原始检测框，因此若初始检测框anchor设置的恰当，可以大幅减少目标对象的参考检测框的回归处理时间，提高图像检测网络的效率。从而，在本公开一些实施方式中，基于海量的样本数据集聚类处理，得到多个不同尺度的检测框作为初始检测框，可以尽可能准确的覆盖目标对象的各种尺度。

具体来说，首先获取样本数据集，样本数据集中的每个样本数据包括样本图像，样本图像上包括目标车辆和目标对象，同时，还可以通过人工标注的方式得到样本图像上目标对象的检测框标签(GT，ground truth)。

在对样本数据集进行聚类处理之前，可预先基于初始检测框的数量设置对应的聚类检测框。例如一个示例中，共需5*8＝40个初始检测框，从而可以预先设置40种不同尺度的检测框作为每种类别的聚类检测框。之后，即可基于海量的样本数据进行聚类处理，以对聚类检测框进行调整更新，得到每种类别优化后的聚类检测框作为初始检测框。

以一个样本数据为例，可以基于检测框标签与各个聚类检测框的距离，将样本数据聚类至对应的类别，然后对该类别的聚类检测框进行调整。如此利用多个样本数据循环迭代，直至满足收敛条件，从而得到每个检测框类别对应的优化后的聚类检测框，将该聚类检测框作为该类别最终的初始检测框。

上述对于检测框聚类处理的过程，本领域技术人员参照相关技术可以理解并充分实施，本公开对此不再赘述。

通过上述可知，本公开实施方式中，基于海量的样本数据集聚类处理得到初始检测框，从而尽可能准确的覆盖目标对象的各种尺度，减少目标对象的检测框的回归处理时间，提高图像检测网络的效率。

在一些实施方式中，在对待处理图像进行图像检测的过程中，可以通过基于深度神经网络的图像检测网络来对目标对象进行检测，从而得到目标对象的检测结果，也即，图像检测网络的输入为待处理图像，输出为预测得到的目标对象的检测结果。

图6示出了本公开一些实施方式中图像检测网络的结构原理图，下面结合图6对本公开检测方法进行说明。

如图6所示，在一些实施方式中，本公开示例的图像检测网络可以采用例如Retinanet网络。具体而言，图像检测网络的骨干网络(backbone)和功能网络，骨干网络主要用于图像特征提取以及特征融合处理，从而得到用于分类或者回归处理的特征图，功能网络主要用于基于骨干网络的特征图进行分类和回归处理，从而得到目标对象的检测结果。

在本实施方式示例中，骨干网络包括特征提取网络和特征金字塔，特征提取网络可以为ResNet(残差网络)，特征金字塔为FPN(feature pyramid networks，特征金字塔网络)。

特征金字塔是图像多尺度的形象表达，是一种以多尺度来解释图像的有效且简单的结构。简单来说，从金字塔的底层到顶层，可以通过对图像不断向下采样进行缩放直至顶层实现。举例来说，原始图像为1920像素*1080像素，其可作为金字塔的底层。对原始图像进行下采样后，分辨率降低为1280像素*720像素，其作为金字塔的倒数第二层。再次对倒数第二层图像进行下采样后，分辨率降低为960像素*540像素，其作为金字塔的倒数第三层……以此类推，直至得到金字塔顶层图像。该特征金字塔包含的图像信息等效于原始图像的图像信息。

如图6所示，在本公开实施方式中，特征提取网络通过对待处理图像进行下采样，提取得到多尺度的特征图。例如图6中仅示出了3层不同尺度的特征图，事实上，特征提取网络可以提取更多层尺度的特征图，例如特征提取网络可以提取自上至下为P1～P7共7层的特征图。

FPN网络在特征金字塔的基础上增加了自上而下的路径和横向的连接，从而可以通过横向的连接融合不同层次的特征，使得最终得到的融合特征图具有更加丰富的语义信息。本公开下文实施方式中对ResNet和FPN的工作原理进行说明，在此暂不详述。

功能网络包括分类网络和回归网络，分类网络主要用于预测输出目标对象的类别以及置信度分数，例如目标对象属于“标志灯”或者“标志牌”的置信度分数，而回归网络则主要用于对目标对象的检测框进行回归，确定检测框坐标以及检测框尺寸等检测框信息。从而，综合分类网络和回归网络的输出结果，即可得到目标对象的检测结果。

上述对图6示例的图像检测网络的结构进行了说明，在图6示例的基础上，下面对本公开实施方式的检测方法进行说明。

如图7所示，在一些实施方式中，本公开示例的目标车辆的检测方法，对待处理图像进行图像检测的过程，包括：

S710、对待处理图像进行特征提取，得到多尺度的特征图。

S720、对多尺度的特征图进行分类处理，得到目标对象的分类结果；根据多尺度的特征图进行回归处理，得到目标对象的回归结果。

S730、根据分类结果和回归结果，确定目标对象的检测结果。

如图6所示，特征提取网络(ResNet)通过对待处理图像进行多尺度的下采样，从而得到多层的特征金字塔，其中特征金字塔的每一层为一张不同尺度的特征图。

在一些实施方式中，在得到多尺度的特征图之后，即可利用特征金字塔(FPN)对特征图自顶层至底层进行融合处理，从而功能网络根据处理后的融合特征图分别进行分类和回归处理。

如图8所示，在一些实施方式中，本公开示例的目标对象的检测方法，得到目标对象的分类结果的过程包括：

S721-1、对于任意尺度的特征图，基于当前尺度的特征图与前一尺度的特征图进行融合处理，得到当前尺度的融合特征图。

S721-2、基于每个融合特征图对目标对象进行分类处理，得到目标对象的检测结果。

具体来说，如图6所示，ResNet对待处理图像进行特征提取之后，得到多个尺度的特征图。在一个示例中，特征金字塔自顶层至底层共包括P1～P7特征层，可以从P3～P7层开始构建FPN，也即，可将P3层对应的特征图作为FPN顶层的特征图。

对于FPN的任意非顶层，可以基于当前尺度的特征图与前一尺度的特征图进行融合处理，得到当前尺度的融合特征图，从而逐层迭代处理，直至得到最底层对应的融合特征图。

以FPN的第二层为例，可首先将FPN顶层特征图上采样至第二尺度，然后与特征提取网络中P4层的特征图融合处理，得到第二层的融合特征图。在对FPN第三层处理时，可将第二层的融合特征图上采样至第三尺度，然后与特征提取网络中P5层的特征图融合处理，得到第三层的融合特征图……以此类推，直至得到最底层的融合特征图，也即，骨干网络的输出为P3～P7层对应的融合特征图。

在一些实施方式中，为了提高骨干网络的处理效率，本公开实施方式中将所有特征层的通道数目缩减为原本的1/n，n＝2，4，8，16……，例如，相关技术中Retinanet网络的通道数目为256，本公开一些实施方式中，即可取n＝8，从而将通道数据缩减至256/8＝32，可以显著减少骨干网络的数据量，提高数据处理效率。

继续参照图6，在得到骨干网络输出的多层的融合特征图之后，功能网络中分的分类网络即可结合每个融合特征图对目标对象进行分类处理，从而确定每个目标对象的类别、以及目标对象属于该类别的置信度分数。以危化品运输车辆为例，目标对象包括标志灯和标志牌两个类别，从而分类网络输出得到每个目标对象属于标志灯还是标志牌，以及每个目标对象属于该类别的置信度分数。

如图9所示，在一些实施方式中，本公开示例的目标对象的检测方法，得到目标对象的回归结果的过程包括：

S722-1、对于任意尺度的特征图，基于当前尺度的特征图与前一尺度的特征图进行融合处理，得到当前尺度的融合特征图。

S722-2、对于任意尺度的融合特征图，对融合特征图中每个目标对象的参考检测框进行回归处理，得到目标对象的检测结果。

首先，与前述实施方式相同，ResNet对待处理图像进行特征提取之后，得到多个尺度的特征图，FPN自顶层至底层逐层对特征图进行融合处理，从而得到每层对应的融合特征图。在得到融合特征图之后，功能网络的回归网络即根据每层的融合特征图对目标对象的检测框进行回归处理。

本公开实施方式中，每一层融合特征图对应至少一个初始检测框(anchor)，初始检测框anchor可以根据实际应用场景预先设置。例如一个示例中，可以针对FPN的每个图像尺度设置8个不同大小和长宽比的anchor，以满足不同大小比例的目标对象，从而对于P3～P7层，共设置5*8＝40个anchor。预先设置初始检测框anchor的过程可参照前述图5实施方式，本公开对此不再赘述。

本公开实施方式中，例如在P3～P7层对应的融合特征图处理时，对于每一层的融合特征图，可从预先设置的初始检测框中确定图像中每个目标对象位置的参考检测框，然后可基于NMS算法对参考检测框进行回归处理，得到目标对象的检测框信息，检测框信息可包括例如检测框的坐标和长宽比等信息。具体过程可参照前述图4实施方式，在此不再赘述。

在得到每一层的检测框信息之后，即可结合P3～P7层的检测框信息，确定目标对象的回归结果，回归结果包括图像中每个目标对象的检测框坐标以及检测框的长宽比等。

在通过上述实施方式，分别得到分类网络输出的分类结果和回归网络输出的回归结果之后，即可将分类结果以及回归结果作为图像检测网络输出的检测结果。

在一个示例中，待处理图像如图10所示，待处理图像中包括危化品运输车辆，危化品运输车对应的目标对象为标志灯和标志牌。将待处理图像输入图像检测网络之后，得到的检测结果可以表示为：

其中，label表示目标对象的类别，confidence表示目标对象属于该类别的置信度分数，roi表示检测框信息。

在一些实施方式中，图像检测网络输出对应的图形可视化结果如图11中所示，图11中虚线框即为标志灯和标志牌的检测框。可以理解，在一些实施方式中，图11的可视化结果中也可以在检测框周围显示输出目标对象的类别和置信度分数，本公开对此不作限制。

值得说明的是，本公开一些实施方式中，还包括对上述图像检测网络进行训练的过程。其中，在对分类网络进行训练时，可以使用quality_focal_loss作为损失函数，从而有效缓解网络训练过程中的类不平衡问题。在对回归网络进行训练时，可以使用giou_loss作为损失函数，从而提高网络性能。

对于上述各个网络的训练过程，本领域技术人员在上述公开的基础上，结合相关技术毫无疑义可以理解并充分实现，本公开不再针对网络训练过程进行展开。

在基于前述实施方式得到图像检测网络输出的检测结果之后，即可根据检测结果确定待处理图像中的车辆是否为目标车辆，下面结合图12实施方式进行说明。

如图12所示，在一些实施方式中，本公开示例的检测方法，确定待处理图像中车辆为目标车辆的过程包括：

S1210、对于所属同一车辆的所述目标对象，根据同一类别的每个目标对象的置信度分数，确定每个类别的置信度分数。

S1220、根据每个类别的置信度分数确定车辆的置信度分数。

S1230、响应于车辆的置信度分数不小于预设阈值，确定检测结果满足预设条件。

具体而言，参见前述图10实施方式示例可知，在图像检测网络输出的检测结果中，包括待处理图像中的各个目标对象的类别以及目标对象属于该类别的置信度分数。另外，可以理解，在同一个目标对象类别中，可能包括不止一个目标对象，从而每个类别中包括至少一个目标对象。并且，对于待处理图像包括多个车辆的情况下，各个目标对象也可能不属于同一车辆，本公开下述中，以属于同一车辆的各个目标对象为例进行说明。

在一个示例中，以危化品车辆检测为例，图像检测网络输出的某一个车辆的检测结果为：[[0.8，0.5]，[0.4]]。其表示：标志灯类别中包括两个目标对象，置信度分数分别为0.8和0.5；标志牌类别中包括一个目标对象，置信度分数为0.4。可以理解，若某个类别未输出检测结果，表示为[0]即可。

首先，可以针对同一类别的每个目标对象的置信度分数，确定该类别的置信度分数。例如一个示例中，可以将该类别中最大的置信度分数作为该类别的置信度分数，例如上述示例中，可将0.8作为标志灯类别的置信度分数，将0.4作为标志牌类别的置信度分数。当然，本领域技术人员可以理解，也可以通过其他方式确定每个类别的置信度分数，本公开对此不作限制。

其次，在得到每个类别的置信度分数之后，即可根据各个类别的置信度分数确定待处理图像中车辆的置信度分数。本公开实施方式中，给出下面表一所示的7种确定车辆置信度分数的方式：

表一

以表一第1种方式为例，可以将多种类别中最大的置信度分数作为车辆的置信度分数。例如上述示例中，标志灯类别的置信度分数为0.8，标志牌类别的置信度分数为0.4，从而可将0.8作为待处理图像中车辆的置信度分数。

以表一第2种或者第6种方式为例，可以仅将多种类别中的某一个类别的置信度分数作为车辆的置信度分数。例如上述示例中，标志灯相较于标志牌具有更加明显的特征，从而可以仅将标志灯类别的置信度分数0.8作为待处理图像中车辆的置信度分数。

以表一第7种方式为例，可以通过计算多种类别的置信度分数的平均值，将该平均值作为待处理图像中车辆的置信度分数。

以表一第3种至第5中方式为例，可以预先为不同类别设置对应的权重，基于权重对各类别的置信度分数进行加权求和，将最终的计算值作为待处理图像中车辆的置信度分数。

可以理解，本公开实施方式并不局限于上述示例，在其他实施方式中，本领域技术人员还可以采用其他方式确定车辆的置信度分数，本公开对此不作限制。

在得到待处理图像中车辆的置信度分数之后，即可将该车辆的置信度分数与预设阈值进行比较。预设阈值表示车辆属于目标车辆的门限值，若车辆的置信度分数小于该预设阈值，则表示该车辆不属于目标车辆，确定检测结果不满足预设条件。若车辆的置信度分数不小于该预设阈值，则表示该车辆属于目标车辆，确定检测结果满足预设条件。

对于预设阈值的具体数值，本领域技术人员可以预先根据具体的应用场景实验得到，本公开对此不作限制。例如一个示例中，可设置预设阈值为0.75，在上述示例中，采用表一第1中方式，根据标志灯类别的置信度分数0.8和标志牌类别的置信度分数0.4确定的车辆的置信度分数为0.8，从而车辆的置信度分数0.8大于预设阈值0.75，即可确定待处理图像上的车辆是危化品运输车。

第二方面，本公开实施方式提供了一种目标车辆的检测装置，该装置可应用于电子设备。本公开实施方式所述的电子设备可以是任何适于实施的设备类型，例如道路监控系统、车载辅助驾驶系统、移动终端以及云服务器等，本公开对此不作限制。

如图13所示，在一些实施方式中，本公开示例的目标车辆的检测装置，包括：

获取模块10，被配置为获取待处理图像，待处理图像包括车辆；

检测模块20，被配置为对待处理图像进行图像检测，得到目标对象的检测结果；目标对象为属于车辆的至少一类车辆组件；

确定模块30，被配置为响应于目标对象的检测结果满足预设条件，确定待处理图像中的车辆为目标车辆。

在一些实施方式中，检测模块20被配置为：

对待处理图像进行特征提取，得到多尺度的特征图；

根据多尺度的特征图进行分类处理，得到目标对象的分类结果；根据多尺度的特征图进行回归处理，得到目标对象的回归结果；

根据分类结果和回归结果，确定目标对象的检测结果。

在一些实施方式中，检测模块20被配置为：

对待处理图像进行特征提取，得到待处理图像对应的特征图；

对特征图进行检测，确定特征图中每个目标对象的感兴趣区域；

基于感兴趣区域从预先设置的多个尺度的初始检测框中，匹配得到每个目标对象的参考检测框；

对每个目标对象的参考检测框进行回归处理，得到目标对象的检测结果。

在一些实施方式中，检测模块20被配置为：

对于任意一个目标对象，对目标对象对应的初始检测框进行边框回归，得到目标对象对应的候选检测框集合；

基于非极大值抑制算法对候选检测框集合进行处理，确定目标对象的目标检测框；

将目标检测框确定为目标对象的检测结果。

在一些实施方式中，检测模块20被配置为：

获取样本数据集，样本数据集中的每个样本数据包括目标对象以及目标对象对应的检测框标签；

基于检测框标签和多个尺度的检测框类别，对样本数据集进行聚类处理，得到每个检测框类别对应的聚类检测框；

根据各个检测框类别对应的聚类检测框，确定目标对象的各个初始检测框。

在一些实施方式中，检测模块20被配置为：

对待处理图像进行特征提取，得到多尺度的特征图；

对于任意尺度的特征图，基于当前尺度的特征图与前一尺度的特征图进行融合处理，得到当前尺度的融合特征图；

对于任意尺度的融合特征图，对融合特征图中每个目标对象的参考检测框进行回归处理，得到目标对象的检测结果。

在一些实施方式中，检测模块20被配置为：

对待处理图像进行特征提取，得到多尺度的特征图；

基于各个融合特征图对目标对象进行分类处理，得到目标对象的检测结果。

在一些实施方式中，检测模块20被配置为：

将待处理图像输入预先训练好的骨干网络，得到骨干网络输出的待处理图像的多尺度的特征图；

利用预先训练好的功能网络，根据多尺度的特征图进行分类处理，得到目标对象的分类结果；利用预先训练好的功能网络，根据多尺度的特征图进行回归处理，得到目标对象的回归结果；

将分类结果和回归结果，确定为目标对象的检测结果。

在一些实施方式中，确定模块30被配置为：

对于所属同一车辆的目标对象，根据同一类别的每个目标对象的置信度分数，确定每个类别的置信度分数；

根据每个类别的置信度分数确定车辆的置信度分数；

响应于车辆的置信度分数不小于预设阈值，确定检测结果满足预设条件。

在一些实施方式中，确定模块30被配置为以下中至少之一：

将同一类别中最大的置信度分数，确定为类别的置信度分数；

将同一类别中每个目标对象的置信度分数的平均值，确定为类别的置信度分数。

在一些实施方式中，确定模块30被配置为以下中至少之一：

将所有类别中最大的置信度分数，确定为车辆的置信度分数；

将所有类别中目标类别的置信度分数，确定为车辆的置信度分数；

将各个类别的置信度分数的平均值，确定为车辆的置信度分数；

根据每个类别的置信度分数以及置信度权值，确定车辆的置信度分数。

在一些实施方式中，车辆包括危化品车辆，目标对象包括危化品车辆的标志灯和/或标志牌。

第三方面，本公开实施方式提供了一种电子设备，包括：

处理器；以及

存储器，存储有能够被处理器读取的计算机指令，当计算机指令被读取时，处理器执行根据第一方面任一实施方式的方法。

第四方面，本公开实施方式提供了一种存储介质，用于存储计算机可读指令，计算机可读指令用于使计算机执行根据第一方面任一实施方式的方法。

具体而言，图14示出了适于用来实现本公开方法的电子设备600的结构示意图，通过图14所示电子设备，可实现上述处理器及存储介质相应功能。

如图14所示，电子设备600包括处理器601，其可以根据存储在存储器602中的程序或者从存储部分608加载到存储器602中的程序而执行各种适当的动作和处理。在存储器602中，还存储有电子设备600操作所需的各种程序和数据。处理器601和存储器602通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本公开的实施方式，上文方法过程可以被实现为计算机软件程序。例如，本公开的实施方式包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行上述方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。

附图中的流程图和框图，图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

显然，上述实施方式仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本公开创造的保护范围之中。

Claims

1.一种目标车辆的检测方法，其特征在于，包括：

获取待处理图像，所述待处理图像包括车辆；

2.根据权利要求1所述的方法，其特征在于，所述对待处理图像进行图像检测，得到目标对象的检测结果，包括：

3.根据权利要求2所述的方法，其特征在于，所述对每个所述目标对象的参考检测框进行回归处理，得到所述目标对象的检测结果，包括：

将所述目标检测框确定为所述目标对象的检测结果。

4.根据权利要求2所述的方法，其特征在于，预先设置所述初始检测框的过程，包括：

5.根据权利要求2或3所述的方法，其特征在于，所述对所述待处理图像进行特征提取，得到所述待处理图像对应的特征图，包括：

对所述待处理图像进行特征提取，得到多尺度的特征图；

6.根据权利要求1所述的方法，其特征在于，所述对待处理图像进行图像检测，得到目标对象的检测结果，包括：

对所述待处理图像进行特征提取，得到多尺度的特征图；

7.根据权利要求1至6任一项所述的方法，其特征在于，所述对待处理图像进行图像检测，得到目标对象的检测结果，包括：

8.根据权利要求1至7任一项所述的方法，其特征在于，响应于所述目标对象的检测结果满足预设条件，确定所述待处理图像中的所述车辆为目标车辆，包括：

根据每个类别的置信度分数确定所述车辆的置信度分数；

9.根据权利要求8所述的方法，其特征在于，

所述根据同一类别的每个目标对象的置信度分数，确定每个类别的置信度分数，包括以下中至少之一：

将同一类别中每个目标对象的置信度分数的平均值，确定为所述类别的置信度分数；

所述根据每个类别的置信度分数确定所述车辆的置信度分数，包括以下中至少之一：

10.根据权利要求1至9任一项所述的方法，其特征在于，

所述车辆包括危化品车辆，所述目标对象包括所述危化品车辆的标志灯和/或标志牌。

11.一种目标车辆的检测装置，其特征在于，包括：

12.一种电子设备，其特征在于，包括：

处理器；以及

存储器，存储有能够被所述处理器读取的计算机指令，当所述计算机指令被读取时，所述处理器执行根据权利要求1至10中任一项所述的方法。

13.一种存储介质，其特征在于，用于存储计算机可读指令，所述计算机可读指令用于使计算机执行根据权利要求1至10中任一项所述的方法。