CN111008544B - 交通监控和无人驾驶辅助系统以及目标检测方法及设备 - Google Patents

Abstract

本申请公开了一种交通监控系统，包括：监控终端、目标检测模块；所述监控终端，用于获取交通监控图像，并将所述交通监控图像发送给所述目标检测模块；所述目标检测模块，用于接收所述监控终端发送的交通监控图像；生成所述交通监控图像的特征层；对所述交通监控图像的特征层进行目标回归与分类检测，得到先验框中目标的分类置信度；对所述特征层的更深层特征层进行预视检测，得到与所述先验框对应的预视区域中包含目标的置信度；根据所述分类置信度和所述预视区域中包含目标的置信度，得到目标检测分类概率；根据所述目标检测分类概率，确定所述交通监控图像包含的目标对象。采用上述系统，以解决现有交通监控系统存在的误报警问题。

Description

交通监控和无人驾驶辅助系统以及目标检测方法及设备

技术领域

本申请涉及计算机视觉技术领域，具体涉及一种交通监控系统；本申请同时涉及一种无人驾驶辅助系统，以及一种目标检测方法、装置、电子设备及存储设备。

背景技术

交通监控系统下，需要实时快速高效地检测交通监控场景下的机动车、非机动车、行人等目标。

现有技术下，在交通监控系统中通常采用多尺度探测器进行目标的检测，由于浅层特征层的语义信息缺乏，因此当图像中某一块小区域确实“看上去”很像某一类物体，但实际上并不是某类物体(例如，将机动车与非机动车道之间的隔离带检测为公交车)时，易导致误报警的发生。在这样的监控场景下，背景(例如，机动车与非机动车道之间的隔离带)经常长时间保持不变，一旦在背景部分出现了误检测报警，这样的误报警会长时间的存在(因为背景始终不变)。

因此，交通监控系统进行准确的目标检测、有效抑制误报警的发生是需要解决的问题。

发明内容

本申请提供一种交通监控系统，以解决现有交通监控系统存在的误报警问题。

本申请提供一种交通监控系统，包括：监控终端、目标检测模块；

所述监控终端，用于获取交通监控图像，并将所述交通监控图像发送给所述目标检测模块；

所述目标检测模块，用于接收所述监控终端发送的交通监控图像；生成所述交通监控图像的特征层；对所述交通监控图像的特征层进行目标回归与分类检测，得到先验框中目标的分类置信度；对所述特征层的更深层特征层进行预视检测，得到与所述先验框对应的预视区域中包含目标的置信度；根据所述分类置信度和所述预视区域中包含目标的置信度，得到目标检测分类概率；根据所述目标检测分类概率，确定所述交通监控图像包含的目标对象。

可选的，所述系统还包括：

报警模块，用于根据所述交通监控图像中包含的目标对象，识别出报警信息并进行报警。

可选的，所述分类置信度为在与所述先验框对应的预视区域中包含目标的条件下的分类概率；所述预视区域中包含目标的置信度为所述先验框对应的预视区域中包含目标的概率。

可选的，所述目标检测模块具体用于将所述分类概率与所述预视区域中包含目标的概率相乘，将得到的积确定为所述目标检测分类概率。

可选的，所述目标检测模块具体用于使用局部极大目标检测分类概率对应的先验框抑制与其位置相近的其他目标检测分类概率对应的先验框；

将所述局部极大目标检测分类概率对应的先验框所对应的图像作为所述交通监控图像包含的目标对象。

本申请还提供一种无人驾驶辅助系统，包括：监控终端、目标检测模块；

所述监控终端，用于获取道路图像，并将所述道路图像发送给所述目标检测模块；

所述目标检测模块，用于接收所述监控终端发送的道路图像；生成所述道路图像的特征层；对所述道路图像的特征层进行目标回归与分类检测，得到先验框中目标的分类置信度；对所述特征层的更深层特征层进行预视检测，得到与所述先验框对应的预视区域中包含目标的置信度；根据所述分类置信度和所述预视区域中包含目标的置信度，得到目标检测分类概率；根据所述目标检测分类概率，确定所述道路图像包含的目标对象。

可选的，所述系统还包括：

报警模块，用于根据所述道路图像中包含的目标对象，识别出报警信息并进行报警。

可选的，所述分类置信度为在与所述先验框对应的预视区域中包含目标的条件下的分类概率；所述预视区域中包含目标的置信度为所述先验框对应的预视区域中包含目标的概率。

可选的，所述目标检测模块具体用于将所述分类概率与所述预视区域中包含目标的概率相乘，将得到的积确定为所述目标检测分类概率。

可选的，所述目标检测模块具体用于使用局部极大目标检测分类概率对应的先验框抑制与其位置相近的其他目标检测分类概率对应的先验框；

将所述局部极大目标检测分类概率对应的先验框所对应的图像作为所述道路图像包含的目标对象。

本申请还提供一种目标检测方法，包括：

对待检测图像的特征层进行目标回归与分类检测，得到先验框中目标的分类置信度；

对所述特征层的更深层特征层进行预视检测，得到与所述先验框对应的预视区域中包含目标的置信度；

根据所述分类置信度和所述预视区域中包含目标的置信度，得到目标检测分类概率；

根据所述目标检测分类概率，得到最终目标检测结果。

可选的，在对待检测图像的特征层进行目标回归与分类检测，得到先验框中目标的分类置信度步骤之前，还包括：

获取待检测图像；

生成待检测图像的特征层。

可选的，所述分类置信度为在与所述先验框对应的预视区域中包含目标的条件下的分类概率；所述预视区域中包含目标的置信度为所述先验框对应的预视区域中包含目标的概率；

所述根据所述分类置信度和所述预视区域中包含目标的置信度，得到目标检测分类概率，包括：

将所述分类概率与所述预视区域中包含目标的概率相乘，将得到的积确定为所述目标检测分类概率。

可选的，所述对所述特征层进行目标回归与分类检测，得到先验框中目标的分类置信度，包括：

将所述特征层输入用于进行目标回归与分类检测的检测器头部；

采用所述检测器头部对所述特征层进行目标回归与分类检测，得到先验框中目标的分类置信度。

可选的，所述对所述特征层的更深层特征层进行预视检测，得到与所述先验框对应的预视区域中包含目标的置信度，包括：

将所述特征层的更深层特征层输入用于进行预视检测的预视算法块；

采用所述预视算法块对所述特征层的更深层特征层进行预视检测，得到与所述先验框对应的预视区域中包含目标的置信度。

可选的，对所述特征层的更深层特征层进行预视检测，得到与所述先验框对应的预视区域中包含目标的置信度，包括：

对比所述特征层至少更深一层的特征层进行预视检测，得到与所述先验框对应的预视区域中包含目标的置信度。

可选的，所述特征层为浅层特征层。

可选的，所述根据目标检测分类概率，得到最终目标检测结果，包括：

使用局部极大目标检测分类概率对应的先验框抑制与其位置相近的其他目标检测分类概率对应的先验框；

将所述局部极大目标检测分类概率对应的先验框作为目标检测结果。

本申请还提供一种目标检测装置，包括：

分类置信度得到单元，用于对待检测图像的特征层进行目标回归与分类检测，得到先验框中目标的分类置信度；

包含目标的置信度得到单元，用于对所述特征层的更深层特征层进行预视检测，得到与所述先验框对应的预视区域中包含目标的置信度；

目标检测分类概率得到单元，用于根据所述分类置信度和所述预视区域中包含目标的置信度，得到目标检测分类概率；

最终目标检测结果得到单元，用于根据所述目标检测分类概率，得到最终目标检测结果。

本申请还提供一种电子设备，包括：

处理器；以及

存储器，用于存储得到目标检测方法的程序，该设备通电并通过所述处理器运行该得到目标检测方法的程序后，执行下述步骤：

对待检测图像的特征层进行目标回归与分类检测，得到先验框中目标的分类置信度；

对所述特征层的更深层特征层进行预视检测，得到与所述先验框对应的预视区域中包含目标的置信度；

根据所述分类置信度和所述预视区域中包含目标的置信度，得到目标检测分类概率；

根据所述目标检测分类概率，得到最终目标检测结果。

本申请另外提供一种存储设备，

存储有得到目标检测方法的程序，该程序被处理器运行，执行下述步骤：

对待检测图像的特征层进行目标回归与分类检测，得到先验框中目标的分类置信度；

对所述特征层的更深层特征层进行预视检测，得到与所述先验框对应的预视区域中包含目标的置信度；

根据所述分类置信度和所述预视区域中包含目标的置信度，得到目标检测分类概率；

根据所述目标检测分类概率，得到最终目标检测结果。

与现有技术相比，本申请具有以下优点：

本申请提供一种交通监控系统，目标检测模块对待检测图像的特征层的更深层特征层进行预视检测，得到与先验框对应的预视区域中包含目标的置信度，并在得到目标检测分类概率时，将先验框对应的预视区域中包含目标的置信度作为一个因素加以考虑，由于预视检测是施加在深层特征层，拥有更大的感受野，能够感知到更大范围的画面，可以感知大区域里是否包含物体，能够更加准确地确定交通监控图像包含的目标对象；优选方案中，交通监控系统还包括：报警模块，由于采用本申请的交通监控系统能够更加准确地确定交通监控图像包含的目标对象，因此识别出的报警信息更加准确，有效缓解误报警的发生。

附图说明

图1是本申请第一实施例提供的一种交通监控系统的示意图。

图2是本申请第二实施例提供的一种无人驾驶辅助系统的示意图。

图3是本申请实施例提供的一种用以实现本申请实施例得到目标检测分类概率的网络结构图。

图4是本申请第三实施例提供的一种目标检测方法的流程图。

图5是本申请第三实施例提供的一种包含目标回归与分类检测和预视检测结果的示意图。

图6是本申请第四实施例提供的一种目标检测装置的示意图。

图7是本申请第五实施例提供的一种电子设备的示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施的限制。

本申请第一实施例提供一种交通监控系统，包括：监控终端101、目标检测模块102。

所述监控终端101，用于获取交通监控图像，并将所述交通监控图像发送给所述目标检测模块。

所述监控终端包括设置于道路上的摄像装置。

所述目标检测模块102，用于接收监控终端101发送的交通监控图像；生成所述交通监控图像的特征层；对所述交通监控图像的特征层进行目标回归与分类检测，得到先验框中目标的分类置信度；对所述特征层的更深层特征层进行预视检测，得到与所述先验框对应的预视区域中包含目标的置信度；根据所述分类置信度和所述预视区域中包含目标的置信度，得到目标检测分类概率；根据所述目标检测分类概率，确定所述交通监控图像包含的目标对象。

所述交通监控图像包含的目标对象包括：行人、机动车、非机动车等目标。

所述分类置信度为在与所述先验框对应的预视区域中包含目标的条件下的分类概率；所述预视区域中包含目标的置信度为所述先验框对应的预视区域中包含目标的概率。

所述先验框中目标的分类置信度，指在与所述先验框对应的预视区域(可以指预视框)中包含目标的条件下的分类概率，可以表示为P(cls|obj)，其中，cls，是classification的缩写，指分类判断；obj，是objectness的缩写，指目标性判断。例如，某个先验框中目标的分类置信度为条件概率80％。对交通监控图像的特征层进行目标回归与分类检测，得到先验框中目标的分类置信度为现有技术，此处不再详述。

所述预视区域中包含目标的置信度，指所述先验框对应的预视区域中包含目标的概率。可以表示为P(obj)。例如，P(obj)＝1％。在具体实施时，P(obj)可以通过下述方式获得：通过深度神经网络的3x3卷积操作得到用于产生预视区域中包含目标的置信度的特征层F，然后F经过sigmoid(逻辑斯谛函数)操作，获得最终的P(obj)。

在具体实施时，先验框中目标的分类置信度和与先验框对应的预视区域中包含目标的置信度可以采用图3的网络结构获得。如图3所示，D为检测器头部，用于目标回归与分类检测，在经过目标回归与分类检测后，可以得到先验框中目标的分类置信度；P为预视算法块，用于对D对应的特征层的更深层特征层进行预视检测，在经过预视检测后，可以得到与先验框对应的预视区域中包含目标的置信度。

所述目标检测模块102具体用于将所述分类概率与所述预视区域中包含目标的概率相乘，将得到的积确定为所述目标检测分类概率。

如果目标检测分类概率表示为P(cls)，则P(cls)＝P(cls|obj)*P(obj)。

例如，如果某个先验框中目标的分类置信度的P(cls|obj)＝80％，与该先验框对应的预视区域中包含目标的置信度为P(obj)＝1％，则目标检测分类概率P(cls)＝80％*1％＝0.8％。从例子可见，如果只预测先验框中目标的分类置信度的概率为80％，很可能被认为先验框中目标的分类概率是正确的，但是先验框对应的预视区域中包含目标的置信度为P(obj)＝1％，因此得到的目标检测分类概率0.8％，比80％低很多，可以认为先验框中的目标为背景，极大的抑制了误报警的问题。

所述目标检测模块102具体用于使用局部极大目标检测分类概率对应的先验框抑制与其位置相近的其他目标检测分类概率对应的先验框；

将所述局部极大目标检测分类概率对应的先验框所对应的图像作为所述交通监控图像包含的目标对象。

所述交通监控系统还包括：报警模块103，用于根据所述交通监控图像中包含的目标对象，识别出报警信息并进行报警。

例如，当根据交通监控图像中包含的目标对象确定机动车与非机动车之间的隔离带中出现了小汽车，进行报警。

采用本申请第一实施例提供的交通监控系统，能够准确地确定交通监控图像包含的目标对象，可以让相关人员根据报警信息及时处理道路上的异常情况；同时避免了由于错误的目标检测结果导致的误报警。

本申请第二实施例提供一种无人驾驶辅助系统，包括：监控终端201、目标检测模块202。

所述监控终端201，用于获取道路图像，并将所述道路图像发送给所述目标检测模块。

所述监控终端包括设置于交通工具上的摄像装置，例如监控终端为设置在无人驾驶汽车上的摄像头。

所述目标检测模块202，用于接收监控终端201发送的道路图像；生成所述道路图像的特征层；对所述道路图像的特征层进行目标回归与分类检测，得到先验框中目标的分类置信度；对所述特征层的更深层特征层进行预视检测，得到与所述先验框对应的预视区域中包含目标的置信度；根据所述分类置信度和所述预视区域中包含目标的置信度，得到目标检测分类概率；根据所述目标检测分类概率，确定所述道路图像包含的目标对象。

所述道路图像包含的目标对象包括：行人、机动车、非机动车等目标。

所述分类置信度为在与所述先验框对应的预视区域中包含目标的条件下的分类概率；所述预视区域中包含目标的置信度为所述先验框对应的预视区域中包含目标的概率。

所述先验框中目标的分类置信度，指在与所述先验框对应的预视区域(可以指预视框)中包含目标的条件下的分类概率，可以表示为P(cls|obj)，其中，cls，是classification的缩写，指分类判断；obj，是objectness的缩写，指目标性判断。例如，某个先验框中目标的分类置信度为条件概率80％。对交通监控图像的特征层进行目标回归与分类检测，得到先验框中目标的分类置信度为现有技术，此处不再详述。

所述预视区域中包含目标的置信度，指所述先验框对应的预视区域中包含目标的概率。可以表示为P(obj)。例如，P(obj)＝1％。在具体实施时，P(obj)可以通过下述方式获得：通过深度神经网络的3x3卷积操作得到用于产生预视区域中包含目标的置信度的特征层F，然后F经过sigmoid(逻辑斯谛函数)操作，获得最终的P(obj)。

在具体实施时，先验框中目标的分类置信度和与先验框对应的预视区域中包含目标的置信度可以采用图3的网络结构获得。如图3所示，D为检测器头部，用于目标回归与分类检测，在经过目标回归与分类检测后，可以得到先验框中目标的分类置信度；P为预视算法块，用于对D对应的特征层的更深层特征层进行预视检测，在经过预视检测后，可以得到与先验框对应的预视区域中包含目标的置信度。

所述目标检测模块202具体用于将所述分类概率与所述预视区域中包含目标的概率相乘，将得到的积确定为所述目标检测分类概率。

如果目标检测分类概率表示为P(cls)，则P(cls)＝P(cls|obj)*P(obj)。

例如，如果某个先验框中目标的分类置信度的P(cls|obj)＝80％，与该先验框对应的预视区域中包含目标的置信度为P(obj)＝1％，则目标检测分类概率P(cls)＝80％*1％＝0.8％。从例子可见，如果只预测先验框中目标的分类置信度的概率为80％，很可能被认为先验框中目标的分类概率是正确的，但是先验框对应的预视区域中包含目标的置信度为P(obj)＝1％，因此得到的目标检测分类概率0.8％，比80％低很多，可以认为先验框中的目标为背景，极大的抑制了误报警的问题。

所述目标检测模块202具体用于使用局部极大目标检测分类概率对应的先验框抑制与其位置相近的其他目标检测分类概率对应的先验框；

将所述局部极大目标检测分类概率对应的先验框所对应的图像作为所述道路图像包含的目标对象。

所述无人驾驶辅助系统还包括：报警模块203，用于根据所述道路图像中包含的目标对象，识别出报警信息并将报警信息发送给无人驾驶汽车的控制系统。

例如，当根据道路图像中包含的目标对象确定在汽车行驶道路上出现了障碍物，无人驾驶辅助系统的报警模块将报警信息发送给无人驾驶汽车的控制系统，无人驾驶汽车的控制系统在收到报警信息时进行相应地处理，保障了车乘人员的安全。

采用本申请第二实施例提供的无人驾驶辅助系统，能够准确地确定道路图像包含的目标对象，可以让无人驾驶的控制系统根据报警信息进行相应地处理；保障了车乘人员的安全。

本申请第三实施例提供一种目标检测方法，以下结合图3、图4和图5进行介绍。

如图4所示，在步骤S401中，获取待检测图像。

所述待检测图像，指待进行目标检测的图像。例如，图3中的小狗图像。

所述目标检测(Object Detection)，是一项与计算机视觉和图像处理紧密相关的计算机技术分支，其目标是检测出数字图像和视频中的特定语义目标实体，比如人、建筑、汽车等，并以紧密包裹目标实体矩形框为结果输出。目标检测在诸如图像检索和视频监控的许多计算机视觉领域都有应用。

如图4所示，在步骤S402中，生成待检测图像的特征层。

可以将待检测图像输入到深度学习神经网络，生成待检测图像的特征层。

深度学习(Deep Learning)：是机器学习的一个分支，它试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中表征学习方法。观测值(例如一幅图像)可以使用多种方式来表示，如每个像素强度值的矢量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务。

所述深度学习神经网络，包括：VGG-16模型；ResNet模型；GoogleNet模型等。将待检测图像输入到深度学习神经网络，生成待检测图像的特征层为现有技术，此处不再详述具体过程。

如图3所示，将待检测图像(小狗图像)输入到VGG-16模型，生成了六层尺寸不同的待检测图像的特征层，包括Conv4_3、Conv7、Conv8、Conv9、Conv10、Conv11共六层。其中，Conv4_3层的感受野最小，Conv7、Conv8、Conv9、Conv10、Conv11层的感受野依次增大。

感受野(Receptive Field)，指在深度学习的语境下，神经元能够“看到”的图像的范围。一个较低层中的神经元的感受野仅包含图像的一小部分区域，而后续(较高)层中神经元的感受野涉及来自几个(但不是全部)神经元的感受野的组合。即相比于浅层神经元，较高层中的神经元“能看到”图像的更大部分。

如图4所示，在步骤S403中，对所述特征层进行目标回归与分类检测，得到先验框中目标的分类置信度。

对所述特征层进行目标回归与分类检测，包括两个步骤：第一步骤是把图像中的目标(物体)框出来，即回归检测；第二步骤是确定先验框中目标的类别。

所述对所述特征层进行目标回归与分类检测，得到先验框中目标的分类置信度，包括：

将所述特征层输入用于进行目标回归与分类检测的检测器头部；

采用所述检测器头部对所述特征层进行目标回归与分类检测，得到先验框中目标的分类置信度。

将所述特征层输入用于进行目标回归与分类检测的检测器头部，指将所述特征层作为检测器头部的输入，将特征层的信息输入到检测器头部，之后检测器头部可以对特征层进行目标回归与分类检测(通过卷积操作)，得到检测结果。

先验框的图例可以参见图5，图5-1的12个格子表示12个先验框，12个先验框是通过对特征层进行目标回归检测后得到的。

如图3所示，D为检测器头部，用于目标回归与分类检测，在经过目标回归与分类检测后，可以得到先验框中目标的分类置信度。D中prior box(先验框)尺寸需要与所在特征层的感受野保持一致，即感受野大小>＝prior box大小，例如在Conv4_3层中感受野大小为60，prior box的尺寸可以设置为45，略小于60。D中prior box负责预测与待检测物体的交叠面积比是否够高。例如，图3中左边第一个D用于小狗图像对应的Conv4_3特征层的目标回归与分类检测。

所述先验框中目标的分类置信度，指在与所述先验框对应的预视区域(可以指预视框)中包含目标的条件下的分类概率，可以表示为P(cls|obj)，其中，cls，是classification的缩写，指分类判断；obj，是objectness的缩写，指目标性判断。例如，某个先验框中目标的分类置信度为条件概率80％。

本步骤中对所述特征层进行目标回归与分类检测，得到先验框中目标的分类置信度为现有技术，此处不再详述。

如图4所示，在步骤S404中，对所述特征层的更深层特征层进行预视检测，得到与所述先验框对应的预视区域中包含目标的置信度。

对所述特征层的更深层特征层进行预视检测，得到与所述先验框对应的预视区域中包含目标的置信度，包括：

对比所述特征层至少更深一层的特征层进行预视检测，得到与所述先验框对应的预视区域中包含目标的置信度。

例如，如果特征层为Conv4_3特征层，则可以对比它更深的Conv7、Conv8、Conv9、Conv10、Conv11中的任一特征层进行预视检测，得到与先验框对应的预视区域中包含目标的置信度。如果特征层为Conv10特征层，则可以对比它更深的Conv11特征层进行预视检测，得到与先验框对应的预视区域中包含目标的置信度。

所述对所述特征层的更深层特征层进行预视检测，得到与所述先验框对应的预视区域中包含目标的置信度，包括：

将所述特征层的更深层特征层输入用于进行预视检测的预视算法块；

采用所述预视算法块对所述特征层的更深层特征层进行预视检测，得到与所述先验框对应的预视区域中包含目标的置信度。

如图3所示，P为预视算法块，用于对所述特征层的更深层特征层进行预视检测，在经过预视检测后，可以得到与先验框对应的预视区域中包含目标的置信度。P中previewregion(预览区域)尺寸与所在特征层的感受野保持一致。例如，图3中左边第一个P用于小狗图像对应得Conv7特征层的预视检测。图3中右边第一个P用于小狗图像对应得Conv11特征层的预视检测。

需要说明的是，图3中，从Conv7、Conv8、Conv9、Conv10、Conv11特征层中分别引出了预视算法块，在具体实施时，可以引出的最大数量的预视算法块为5个，最小数量的预视算法块为1个，例如，可以只从浅层特征层(例如，Conv4-3)的下一特征层(例如，Conv7)引出预视算法块，对浅层特征层的下一特征层进行预视检测，将结果用于得到浅层特征层先验框中的目标检测分类概率。由于浅层特征层预测出的先验框尺寸较小，因此只对浅层特征层的下一特征层进行预视检测，也可以有效预防误报警的发生。

所述预视区域中包含目标的置信度，指所述先验框对应的预视区域中包含目标的概率。可以表示为P(obj)。例如，P(obj)＝1％。在具体实施时，P(obj)可以通过下述方式获得：通过深度神经网络的3x3卷积操作得到用于产生预视区域中包含目标的置信度的特征层F，然后F经过sigmoid操作，获得最终的P(obj)。

下面结合图5介绍采用预视检测的效果。如图5所示，由浅层特征层5-2通过卷积操作得到用于检测的检测结果5-1，图中显示的是3*4共12个格子，代表了12个不同的先验框，其中先验框5-1-1的结果对应到原图所在的位置及大小已经可视化在了小狗图片中(虚线框5-1-2)；由深层特征层5-3经过多次卷积操作计算(图中预视算法块，包括：U:BilinearUP-sampling(双线性插值上采样操作)、S:Skip Connection(跳跃链接操作：卷积核尺寸为1*1的卷积操作)、C1:Conv 1*1+BN+ReLU(卷积核尺寸为1*1的卷积操作+ReLU函数操作+BatchNorm操作组合)、C3:Conv 3*3+BN+ReLU(卷积核尺寸为3*3的卷积操作+ReLU函数操作+BatchNorm操作组合)、M:Merge：Elem-wise Addition(合并操作，具体为逐像素加和操作))，最终得到了用于预视的预视结果5-4，5-4包含3*4共12个格子，代表了12个不同的预视框，其中与先验框5-1-1对应的预视框5-4-1的结果对应到原图所在的位置及大小已经可视化在了小狗图片中(虚线框5-4-2)，从图中可见，预视框对应的原图的感受野大于先验框对应的原图的感受野。

可见，采用预视算法块P对浅层特征层的更深层特征层进行预视检测，其感受野大于浅层特征层，可以看到更大的范围，此外，P用于判断一个二分类任务，网络训练的学习任务简单，难度较低，因此通过预视检测操作得到的预视区域中包含目标的置信度更加准确。

需要说明的是，采用检测器头部对特征层进行目标回归与分类检测和采用预视算法块对特征层的更深层特征层进行预视检测，可以使用参数共享的相同深度学习神经网络进行；也可以使用参数不共享的两个深度学习神经网络进行。

如图4所示，在步骤S405中，根据所述分类置信度和所述预视区域中包含目标的置信度，得到目标检测分类概率。

所述根据所述分类置信度和所述预视区域中包含目标的置信度，得到目标检测分类概率，包括：

将所述分类概率与所述预视区域中包含目标的概率相乘，将得到的积确定为所述目标检测分类概率。

如果目标检测分类概率表示为P(cls)，则P(cls)＝P(cls|obj)*P(obj)。

例如，如果经过步骤S103得到某个先验框中目标的分类置信度的P(cls|obj)＝80％，经过步骤S104得到与该先验框对应的预视区域中包含目标的置信度为P(obj)＝1％，则目标检测分类概率P(cls)＝80％*1％＝0.8％。从例子可见，如果只通过步骤S103预测先验框中目标的分类置信度的概率为80％，很可能被认为先验框中目标的分类概率是正确的，但是先验框对应的预视区域中包含目标的置信度为P(obj)＝1％，因此得到的目标检测分类概率0.8％，比80％低很多，可以认为先验框中的目标为背景，极大的抑制了误报警的问题。

如图4所示，在步骤S406中，根据所述特征层对应的先验框的目标检测分类概率，得到最终目标检测结果。

所述根据所述特征层对应得先验框的目标检测分类概率，得到最终目标检测结果，包括：

使用局部极大目标检测分类概率对应的先验框抑制与其位置相近的其他目标检测分类概率对应的先验框；

将所述局部极大目标检测分类概率对应的先验框作为目标检测结果。

如图3所示，六层特征层经过检测器头部D和预视算法块P的计算，对一幅图像的不同大小和位置的区域(也即上面提到的先验框)都有了对应的目标分类概率预测P(cls)，每一层特征层输出的先验框的大小和位置都不相同，但是都是针对同一幅图像(也即输入深度学习神经网络的待检测图像)，所以需要将每一层的先验框汇总，生成先验框的集合。集合中有很多先验框其实都是指向同一个物体(比如，图5中会有多个先验框最终都预测了小狗的区域)，一个小狗只用一个先验框准确的预测到就可以，多个先验框预测同一个目标不符合任务的设计预期。

因而可以使用非极大抑制(Non-Maximum Suppression，NMS)算法抑制冗余检测结果。其算法过程是使用极大概率的备选框(先验框)抑制其他与其位置相近的备选框(先验框)。NMS是目标检测任务通用的处理算法，并非本方法第一次提出，因而此处不再详述。

例如，假设图5中的12个先验框都回归到了小狗身上，则取12个先验框里预测小狗的目标检测分类概率最大的先验框，如果框5-1-1的目标检测分类概率最大，则将先验框作为最终的小狗对应的先验框。

至此，对本申请第一实施例提供的一种目标检测方法进行了详细说明。本申请第一实施例通过对特征层的更深层特征层进行预视检测，得到与先验框对应的预视区域中包含目标的置信度，并在得到目标检测分类概率时，将先验框对应的预视区域中包含目标的置信度作为一个因素加以考虑，由于预视检测是施加在深层特征层，拥有更大的感受野，能够感知到更大范围的画面，可以感知大区域里是否包含物体，因此能够有效缓解误报警。

与上述提供的一种目标检测方法相对应的，本申请第四实施例还提供了一种目标检测装置。

如图6所示，所述目标检测装置包括：

分类置信度得到单元601，用于对待检测图像的特征层进行目标回归与分类检测，得到先验框中目标的分类置信度；

包含目标的置信度得到单元602，用于对所述特征层的更深层特征层进行预视检测，得到与所述先验框对应的预视区域中包含目标的置信度；

目标检测分类概率得到单元603，用于根据所述分类置信度和所述预视区域中包含目标的置信度，得到目标检测分类概率；

最终目标检测结果得到单元604，用于根据所述目标检测分类概率，得到最终目标检测结果。

可选的，所述装置还包括：

待检测图像获取单元，用于获取待检测图像。

特征层生成单元，用于生成所述待检测图像的特征层。

可选的，所述分类置信度为在与所述先验框对应的预视区域中包含目标的条件下的分类概率；所述预视区域中包含目标的置信度为所述先验框对应的预视区域中包含目标的概率；

所述目标检测分类概率得到单元，具体用于：

将所述分类概率与所述预视区域中包含目标的概率相乘，将得到的积确定为所述目标检测分类概率。

可选的，所述分类置信度得到单元，具体用于：

将所述特征层输入用于进行目标回归与分类检测的检测器头部；

采用所述检测器头部对所述特征层进行目标回归与分类检测，得到先验框中目标的分类置信度。

可选的，所述包含目标的置信度得到单元，具体用于：

将所述特征层的更深层特征层输入用于进行预视检测的预视算法块；

采用所述预视算法块对所述特征层的更深层特征层进行预视检测，得到与所述先验框对应的预视区域中包含目标的置信度。

可选的，所述包含目标的置信度得到单元，具体用于：

对比所述特征层至少更深一层的特征层进行预视检测，得到与所述先验框对应的预视区域中包含目标的置信度。

可选的，所述特征层为浅层特征层。

可选的，所述最终目标检测结果得到单元，具体用于：

使用局部极大目标检测分类概率对应的先验框抑制与其位置相近的其他目标检测分类概率对应的先验框；

将所述局部极大目标检测分类概率对应的先验框作为目标检测结果。

需要说明的是，对于本申请第四实施例提供的目标检测装置的详细描述可以参考对本申请第三实施例的相关描述，这里不再赘述。

与上述提供的一种目标检测方法相对应的，本申请第五实施例还提供了一种电子设备。

如图7所示，电子设备包括：

处理器701；以及

存储器702，用于存储得到目标检测方法的程序，该设备通电并通过所述处理器运行该得到目标检测方法的程序后，执行下述步骤：

对待检测图像的特征层进行目标回归与分类检测，得到先验框中目标的分类置信度；

对所述特征层的更深层特征层进行预视检测，得到与所述先验框对应的预视区域中包含目标的置信度；

根据所述分类置信度和所述预视区域中包含目标的置信度，得到目标检测分类概率；

根据所述目标检测分类概率，得到最终目标检测结果。

可选的，所述电子设备还执行下述步骤：

获取待检测图像；

生成所述待检测图像的特征层。

可选的，所述分类置信度为在与所述先验框对应的预视区域中包含目标的条件下的分类概率；所述预视区域中包含目标的置信度为所述先验框对应的预视区域中包含目标的概率；

所述根据所述分类置信度和所述预视区域中包含目标的置信度，得到目标检测分类概率，包括：

将所述分类概率与所述预视区域中包含目标的概率相乘，将得到的积确定为所述目标检测分类概率。

可选的，所述对所述特征层进行目标回归与分类检测，得到先验框中目标的分类置信度，包括：

将所述特征层输入用于进行目标回归与分类检测的检测器头部；

采用所述检测器头部对所述特征层进行目标回归与分类检测，得到先验框中目标的分类置信度。

可选的，所述对所述特征层的更深层特征层进行预视检测，得到与所述先验框对应的预视区域中包含目标的置信度，包括：

将所述特征层的更深层特征层输入用于进行预视检测的预视算法块；

采用所述预视算法块对所述特征层的更深层特征层进行预视检测，得到与所述先验框对应的预视区域中包含目标的置信度。

可选的，对所述特征层的更深层特征层进行预视检测，得到与所述先验框对应的预视区域中包含目标的置信度，包括：

对比所述特征层至少更深一层的特征层进行预视检测，得到与所述先验框对应的预视区域中包含目标的置信度。

可选的，所述特征层为浅层特征层。

可选的，所述根据目标检测分类概率，得到最终目标检测结果，包括：

使用局部极大目标检测分类概率对应的先验框抑制与其位置相近的其他目标检测分类概率对应的先验框；

将所述局部极大目标检测分类概率对应的先验框作为目标检测结果。

需要说明的是，对于本申请第三实施例提供的电子设备的详细描述可以参考对本申请第一实施例的相关描述，这里不再赘述。

与上述提供的一种目标检测方法相对应的，本申请第六实施例还提供了一种存储设备，

存储有目标检测方法的程序，该程序被处理器运行，执行下述步骤：

存储有得到目标检测方法的程序，该程序被处理器运行，执行下述步骤：

对待检测图像的特征层进行目标回归与分类检测，得到先验框中目标的分类置信度；

对所述特征层的更深层特征层进行预视检测，得到与所述先验框对应的预视区域中包含目标的置信度；

根据所述分类置信度和所述预视区域中包含目标的置信度，得到目标检测分类概率；

根据所述目标检测分类概率，得到最终目标检测结果。

需要说明的是，对于本申请第四实施例提供的存储设备的详细描述可以参考对本申请第一实施例的相关描述，这里不再赘述。

本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (21)

1.一种交通监控系统，其特征在于，包括：监控终端、目标检测模块；

所述监控终端，用于获取交通监控图像，并将所述交通监控图像发送给所述目标检测模块；

所述目标检测模块，用于接收所述监控终端发送的交通监控图像；生成所述交通监控图像的特征层；对所述交通监控图像的特征层进行目标回归与分类检测，得到先验框中目标的分类置信度；对所述特征层的更深层特征层进行预视检测，该深层特征层，拥有更大的感受野，得到与所述先验框对应的预视区域中包含目标的置信度；根据所述分类置信度和所述预视区域中包含目标的置信度，得到目标检测分类概率，包括将所述分类置信度与所述预视区域中包含目标的置信度相乘，将得到的积确定为所述目标检测分类概率；根据所述目标检测分类概率，确定所述交通监控图像包含的目标对象。

2.根据权利要求1所述的系统，其特征在于，所述系统还包括：

报警模块，用于根据所述交通监控图像中包含的目标对象，识别出报警信息并进行报警。

3.根据权利要求1所述的系统，其特征在于，所述分类置信度为在与所述先验框对应的预视区域中包含目标的条件下的分类概率；所述预视区域中包含目标的置信度为所述先验框对应的预视区域中包含目标的概率。

4.根据权利要求3所述的系统，其特征在于，所述目标检测模块具体用于将所述分类概率与所述预视区域中包含目标的概率相乘，将得到的积确定为所述目标检测分类概率。

5.根据权利要求1所述的系统，所述目标检测模块具体用于使用局部极大目标检测分类概率对应的先验框抑制与其位置相近的其他目标检测分类概率对应的先验框；

将所述局部极大目标检测分类概率对应的先验框所对应的图像作为所述交通监控图像包含的目标对象。

6.一种无人驾驶辅助系统，其特征在于，包括：监控终端、目标检测模块；

所述监控终端，用于获取道路图像，并将所述道路图像发送给所述目标检测模块；

所述目标检测模块，用于接收所述监控终端发送的道路图像；生成所述道路图像的特征层；对所述道路图像的特征层进行目标回归与分类检测，得到先验框中目标的分类置信度；对所述特征层的更深层特征层进行预视检测，该深层特征层，拥有更大的感受野，得到与所述先验框对应的预视区域中包含目标的置信度；根据所述分类置信度和所述预视区域中包含目标的置信度，得到目标检测分类概率，包括将所述分类置信度与所述预视区域中包含目标的置信度相乘，将得到的积确定为所述目标检测分类概率；根据所述目标检测分类概率，确定所述道路图像包含的目标对象。

7.根据权利要求6所述的系统，其特征在于，所述系统还包括：

报警模块，用于根据所述道路图像中包含的目标对象，识别出报警信息识别出报警信息并将所述报警信息发送给无人驾驶车辆的控制系统。

8.根据权利要求7所述的系统，其特征在于，所述分类置信度为在与所述先验框对应的预视区域中包含目标的条件下的分类概率；所述预视区域中包含目标的置信度为所述先验框对应的预视区域中包含目标的概率。

9.根据权利要求8所述的系统，其特征在于，所述目标检测模块具体用于将所述分类概率与所述预视区域中包含目标的概率相乘，将得到的积确定为所述目标检测分类概率。

10.根据权利要求6所述的系统，所述目标检测模块具体用于使用局部极大目标检测分类概率对应的先验框抑制与其位置相近的其他目标检测分类概率对应的先验框；

将所述局部极大目标检测分类概率对应的先验框所对应的图像作为所述道路图像包含的目标对象。

11.一种目标检测方法，其特征在于，包括：

对待检测图像的特征层进行目标回归与分类检测，得到先验框中目标的分类置信度；

对所述特征层的更深层特征层进行预视检测，该深层特征层，拥有更大的感受野，得到与所述先验框对应的预视区域中包含目标的置信度；

根据所述分类置信度和所述预视区域中包含目标的置信度，得到目标检测分类概率，包括将所述分类置信度与所述预视区域中包含目标的置信度相乘，将得到的积确定为所述目标检测分类概率；

根据所述目标检测分类概率，得到最终目标检测结果。

12.根据权利要求11所述的方法，其特征在于，在对待检测图像的特征层进行目标回归与分类检测，得到先验框中目标的分类置信度步骤之前，还包括：

获取待检测图像；

生成所述待检测图像的特征层。

13.根据权利要求11所述的方法，其特征在于，所述分类置信度为在与所述先验框对应的预视区域中包含目标的条件下的分类概率；所述预视区域中包含目标的置信度为所述先验框对应的预视区域中包含目标的概率；

所述根据所述分类置信度和所述预视区域中包含目标的置信度，得到目标检测分类概率，包括：

将所述分类概率与所述预视区域中包含目标的概率相乘，将得到的积确定为所述目标检测分类概率。

14.根据权利要求11所述的方法，其特征在于，所述对所述特征层进行目标回归与分类检测，得到先验框中目标的分类置信度，包括：

将所述特征层输入用于进行目标回归与分类检测的检测器头部；

采用所述检测器头部对所述特征层进行目标回归与分类检测，得到先验框中目标的分类置信度。

15.根据权利要求14所述的方法，其特征在于，所述对所述特征层的更深层特征层进行预视检测，得到与所述先验框对应的预视区域中包含目标的置信度，包括：

将所述特征层的更深层特征层输入用于进行预视检测的预视算法块；

采用所述预视算法块对所述特征层的更深层特征层进行预视检测，得到与所述先验框对应的预视区域中包含目标的置信度。

16.根据权利要求11所述的方法，其特征在于，对所述特征层的更深层特征层进行预视检测，得到与所述先验框对应的预视区域中包含目标的置信度，包括：

对比所述特征层至少更深一层的特征层进行预视检测，得到与所述先验框对应的预视区域中包含目标的置信度。

17.根据权利要求11所述的方法，其特征在于，所述特征层为浅层特征层。

18.根据权利要求11所述的方法，其特征在于，所述根据目标检测分类概率，得到最终目标检测结果，包括：

使用局部极大目标检测分类概率对应的先验框抑制与其位置相近的其他目标检测分类概率对应的先验框；

将所述局部极大目标检测分类概率对应的先验框作为目标检测结果。

19.一种目标检测装置，其特征在于，包括：

分类置信度得到单元，用于对待检测图像的特征层进行目标回归与分类检测，得到先验框中目标的分类置信度；

包含目标的置信度得到单元，用于对所述特征层的更深层特征层进行预视检测，该深层特征层，拥有更大的感受野，得到与所述先验框对应的预视区域中包含目标的置信度；

目标检测分类概率得到单元，用于根据所述分类置信度和所述预视区域中包含目标的置信度，得到目标检测分类概率，包括将所述分类置信度与所述预视区域中包含目标的置信度相乘，将得到的积确定为所述目标检测分类概率；

最终目标检测结果得到单元，用于根据所述目标检测分类概率，得到最终目标检测结果。

20.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储得到目标检测方法的程序，该设备通电并通过所述处理器运行该得到目标检测方法的程序后，执行下述步骤：

对待检测图像的特征层进行目标回归与分类检测，得到先验框中目标的分类置信度；

对所述特征层的更深层特征层进行预视检测，该深层特征层，拥有更大的感受野，得到与所述先验框对应的预视区域中包含目标的置信度；

根据所述分类置信度和所述预视区域中包含目标的置信度，得到目标检测分类概率，包括将所述分类置信度与所述预视区域中包含目标的置信度相乘，将得到的积确定为所述目标检测分类概率；

根据所述目标检测分类概率，得到最终目标检测结果。

21.一种存储设备，其特征在于，

存储有得到目标检测方法的程序，该程序被处理器运行，执行下述步骤：

对待检测图像的特征层进行目标回归与分类检测，得到先验框中目标的分类置信度；

对所述特征层的更深层特征层进行预视检测，该深层特征层，拥有更大的感受野，得到与所述先验框对应的预视区域中包含目标的置信度；

根据所述分类置信度和所述预视区域中包含目标的置信度，得到目标检测分类概率，包括将所述分类置信度与所述预视区域中包含目标的置信度相乘，将得到的积确定为所述目标检测分类概率；

根据所述目标检测分类概率，得到最终目标检测结果。

Images