CN113642447A - 卷积神经网络级联的监控图像车辆检测方法及其系统 - Google Patents

Abstract

本申请涉及车辆检测的领域，其具体地公开了一种卷积神经网络级联的监控图像车辆检测方法及其系统。其采用级联卷积神经网络的架构，也就是，首先训练第一级的卷积神经网络作为噪声消除器，再训练第二级的卷积神经网络作为检测器，从而对粮库中所获得的监控图像进行处理，以便对于粮库中正在工作的车辆的异常行为进行检测。通过这样的方式，可以避免传统检测出现的误差累计，以使得对于粮库中正在工作的车辆的异常行为检测的准确度更高。

Description

卷积神经网络级联的监控图像车辆检测方法及其系统

技术领域

本申请涉及车辆检测的领域，且更为具体地，涉及一种卷积神经网络级联的监控图像车辆检测方法及其系统。

背景技术

我国政府和人民一直非常重视粮食的安全，近几年来为了全面保障我国的粮食安全，在国家粮食局牵头下，各个省市都在积极推进智慧粮库建设，旨在从粮库安防系统、粮库信息化系统、粮库智能通风系统等几个方面来保障粮库安全。

目前粮库中建设的安防系统可以二十四小时全方位地监控粮库，确保粮库安全，但是现有的安防系统没有识别功能，没有考虑到对采集的粮库车辆的图像信息进行有效分析和处理，无法对运粮车在粮库内作业时存在的“换车回皮”“检甲卖乙”“转圈儿”等作弊行为有效监控。因此，继续在现有的安防系统中加入粮库车辆识别功能。

但是，粮库运粮车辆的识别相比普通车辆的识别具有较大困难，主要原因是粮库内部环境非常复杂，运粮车辆在粮库内作业时会产生较大扬尘，导致采集到的图像清晰度不高，具有很多噪声。而传统的车牌识别方法，需要对粮库运粮车辆进行车牌定位、矫正、分割、识别等一系列复杂的处理，各个步骤之间具有较强的依赖性，会存在误差累计情况，很有可能导致最终的识别结果出现较大误差。

因此，需要一种优化的用于粮库的车辆检测方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种卷积神经网络级联的监控图像车辆检测方法和卷积神经网络级联的监控图像车辆检测系统，其采用级联卷积神经网络的架构，也就是，首先训练第一级的卷积神经网络作为噪声消除器，再训练第二级的卷积神经网络作为检测器，从而对粮库中所获得的监控图像进行处理，以便对于粮库中正在工作的车辆的异常行为进行检测。通过这样的方式，可以避免传统检测出现的误差累计，以使得对于粮库中正在工作的车辆的异常行为检测的准确度更高。

根据本申请的一个方面，提供了一种卷积神经网络级联的监控图像车辆检测方法，其包括：

训练阶段，包括：

获取训练图像集，所述训练图像集包括含噪声的粮库监控图像作为第一图像和不含噪声的粮库监控图像作为第二图像；

将所述训练图像集中的所述第一图像和所述第二图像分别输入第一卷积神经网络和第二卷积神经网络以获得对应于所述第一图像的第一特征图和对应于所述第二图像的第二特征图；

将所述第一特征图和所述第二特征图输入鉴别器以获得鉴别器损失函数值；

基于所述鉴别器损失函数值，对所述第一卷积神经网络进行训练；

将所述训练图像集中的所述第一图像输入第一次更新完成的所述第一卷积神经网络以获得去噪后的第三特征图；

将所述第三特征图输入第三卷积神经网络以获得第四特征图，所述第三卷积神经网络与所述第一卷积神经网络级联；

计算所述第三特征图和所述第四特征图之间的KL散度值；

基于所述KL散度值，对第一次更新完成的所述第一卷积神经网络和所述第三卷积神经网络进行训练；

将所述训练图像集中的所述第一图像输入第二次更新完成的所述第一卷积神经网络以获得去噪后的第五特征图；

将所述第五特征图输入第一次更新完成的所述第三卷积神经网络以获得第六特征图；

将所述第六特征图输入分类器以获得分类损失函数值；以及

基于所述分类损失函数值，对第一次更新完成的所述第三卷积神经网络进行训练；以及

预测阶段，包括：

获取待预测图像；

将所述待预测图像输入第二次更新完成的所述第一卷积神经网络以获得降噪特征图；

将所述降噪特征图输入第二次更新完成的所述第三卷积神经网络以获得检测特征图；以及

将所述检测特征图通过分类器以获得分类结果，所述分类结果用于表示所述待预测图像中的粮库车辆是否异常。

根据本申请的另一方面，提供了一种卷积神经网络级联的监控图像车辆检测系统，其包括：

训练模块，包括：

训练图像集获取单元，用于获取训练图像集，所述训练图像集包括含噪声的粮库监控图像作为第一图像和不含噪声的粮库监控图像作为第二图像；

特征图生成单元，用于将所述训练图像集获取单元获得的所述训练图像集中的所述第一图像和所述第二图像分别输入第一卷积神经网络和第二卷积神经网络以获得对应于所述第一图像的第一特征图和对应于所述第二图像的第二特征图；

鉴别器处理单元，用于将所述特征图生成单元获得的所述第一特征图和所述特征图生成单元获得的所述第二特征图输入鉴别器以获得鉴别器损失函数值；

第一卷积神经网络训练单元，用于基于所述鉴别器处理单元获得的所述鉴别器损失函数值，对所述第一卷积神经网络进行训练；

第三特征图生成单元，用于将所述训练图像集获取单元获得的所述训练图像集中的所述第一图像输入第一次更新完成的所述第一卷积神经网络训练单元获得的所述第一卷积神经网络以获得去噪后的第三特征图；

第四特征图生成单元，用于将所述第三特征图生成单元获得的所述第三特征图输入第三卷积神经网络以获得第四特征图，所述第三卷积神经网络与所述第一卷积神经网络级联；

KL散度值计算单元，用于计算所述第三特征图生成单元获得的所述第三特征图和所述第四特征图生成单元获得的所述第四特征图之间的KL散度值；

神经网络训练单元，用于基于所述KL散度值计算单元获得的所述KL散度值，对第一次更新完成的所述第一卷积神经网络训练单元获得的所述第一卷积神经网络和所述第三卷积神经网络进行训练；

第五特征图生成单元，用于将所述训练图像集获取单元获得的所述训练图像集中的所述第一图像输入第二次更新完成的所述神经网络训练单元获得的所述第一卷积神经网络以获得去噪后的第五特征图；

第六特征图生成单元，用于将所述第五特征图生成单元获得的所述第五特征图输入第一次更新完成的所述神经网络训练单元获得的所述第三卷积神经网络以获得第六特征图；

分类损失函数值生成单元，用于将所述第六特征图生成单获得的所述第六特征图输入分类器以获得分类损失函数值；以及

第三卷积神经网络训练单元，用于基于所述分类损失函数值生成单元获得的所述分类损失函数值，对第一次更新完成的所述第三卷积神经网络进行训练；以及

预测模块，包括：

待预测图像获取单元，用于获取待预测图像；

降噪特征图生成单元，用于将所述待预测图像获取单元获得的所述待预测图像输入第二次更新完成的所述第一卷积神经网络以获得降噪特征图；

检测特征图生成单元，用于将所述降噪特征图生成单元获得的所述降噪特征图输入第二次更新完成的所述第三卷积神经网络以获得检测特征图；以及

分类结果生成单元，用于将所述检测特征图生成单元获得的所述检测特征图通过分类器以获得分类结果，所述分类结果用于表示所述待预测图像中的粮库车辆是否异常。

根据本申请提供的卷积神经网络级联的监控图像车辆检测方法和卷积神经网络级联的监控图像车辆检测系统，其采用级联卷积神经网络的架构，也就是，首先训练第一级的卷积神经网络作为噪声消除器，再训练第二级的卷积神经网络作为检测器，从而对粮库中所获得的监控图像进行处理，以便对于粮库中正在工作的车辆的异常行为进行检测。通过这样的方式，可以避免传统检测出现的误差累计，以使得对于粮库中正在工作的车辆的异常行为检测的准确度更高。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本申请实施例的卷积神经网络级联的监控图像车辆检测方法的场景示意图。

图2为根据本申请实施例的卷积神经网络级联的监控图像车辆检测方法中训练阶段的流程图。

图3为根据本申请实施例的卷积神经网络级联的监控图像车辆检测方法中预测阶段的流程图。

图4为根据本申请实施例的卷积神经网络级联的监控图像车辆检测方法中训练阶段的架构示意图。

图5为根据本申请实施例的卷积神经网络级联的监控图像车辆检测方法中预测阶段的架构示意图。

图6为根据本申请实施例的卷积神经网络级联的监控图像车辆检测系统的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

场景概述

如前所述，目前粮库中建设的安防系统可以二十四小时全方位地监控粮库，确保粮库安全，但是现有的安防系统没有识别功能，没有考虑到对采集的粮库车辆的图像信息进行有效分析和处理，无法对运粮车在粮库内作业时存在的“换车回皮”“检甲卖乙”“转圈儿”等作弊行为有效监控。因此，继续在现有的安防系统中加入粮库车辆识别功能。

但是，粮库运粮车辆的识别相比普通车辆的识别具有较大困难，主要原因是粮库内部环境非常复杂，运粮车辆在粮库内作业时会产生较大扬尘，导致采集到的图像清晰度不高，具有很多噪声。而传统的车牌识别方法，需要对粮库运粮车辆进行车牌定位、矫正、分割、识别等一系列复杂的处理，各个步骤之间具有较强的依赖性，会存在误差累计情况，很有可能导致最终的识别结果出现较大误差。因此，需要一种优化的用于粮库的车辆检测方案。

基于此，在本申请的技术方案中，需要对粮库中所获得的监控图像进行处理，以便对于粮库中正在工作的车辆的异常行为进行检测。考虑到上述图像噪声问题，在本申请中采用级联卷积神经网络的架构，也就是，首先训练第一级的卷积神经网络作为噪声消除器，再训练第二级的卷积神经网络作为检测器。

作为噪声消除器的第一卷积神经网络本质上是一个图像生成器，可以采用目前较为成熟的对抗生成模型。具体地，首先获得训练图像集，该图像集包括包含噪声的粮库监控图像和不包含噪声的粮库监控图像两者，然后分别将含噪声的第一图像和不含噪声的第二图像输入第一卷积神经网络和第二卷积神经网络以获得第一特征图和第二特征图，然后再将第一特征图和第二特征图输入鉴别器以获得鉴别器损失函数值，进而更新第一卷积神经网络的参数。

然后，将所述训练图像集中的第一图像输入训练好的第一卷积神经网络得到去噪后的第三特征图，再将第三特征图输入第三卷积神经网络以获得第四特征图，并将第四特征图输入分类器获得分类损失函数值，进而更新第三卷积神经网络的参数。

但是，本申请的申请人进一步考虑到，级联的第一卷积神经网络和第三卷积神经网络之间缺乏必要的联系，这使得在训练过程当中，两者的收敛方向可能会不一致，导致训练速度变慢，且最终的分类准确度降低。因此，在本申请的技术方案中，进一步计算第三特征图和第四特征图之间的KL散度值，并该KL散度值作为损失函数值训练第一卷积神经网络和第三卷积神经网络，以使得两者提取出的特征的高维分布趋于一致。

具体地，在一个完整的迭代周期中，首先基于鉴别器损失函数值更新第一卷积神经网络，再基于第一次更新的第一卷积神经网络和未更新的第三卷积神经网络获得第三特征图和第四特征图，并计算KL散度值，并同时更新第一卷积神经网络和第三卷积神经网络，再基于第二次更新的第一卷积神经网络和第一次更新的第三卷积神经网络获得第四特征图，并计算分类损失函数值，并以此来第二次更新第三卷积神经网络。也就是，在每个迭代周期中，级联的第一卷积神经网络和第三卷积神经网络都会更新两次。

这样，在完成级联的第一卷积神经网络和第三卷积神经网络的训练之后，就可以使用其从监控图像检测车辆异常。

基于此，本申请提出了一种卷积神经网络级联的监控图像车辆检测方法，其包括：训练阶段和预测阶段。其中，训练阶段包括步骤：获取训练图像集，所述训练图像集包括含噪声的粮库监控图像作为第一图像和不含噪声的粮库监控图像作为第二图像；将所述训练图像集中的所述第一图像和所述第二图像分别输入第一卷积神经网络和第二卷积神经网络以获得对应于所述第一图像的第一特征图和对应于所述第二图像的第二特征图；将所述第一特征图和所述第二特征图输入鉴别器以获得鉴别器损失函数值；基于所述鉴别器损失函数值，对所述第一卷积神经网络进行训练；将所述训练图像集中的所述第一图像输入第一次更新完成的所述第一卷积神经网络以获得去噪后的第三特征图；将所述第三特征图输入第三卷积神经网络以获得第四特征图，所述第三卷积神经网络与所述第一卷积神经网络级联；计算所述第三特征图和所述第四特征图之间的KL散度值；基于所述KL散度值，对第一次更新完成的所述第一卷积神经网络和所述第三卷积神经网络进行训练；将所述训练图像集中的所述第一图像输入第二次更新完成的所述第一卷积神经网络以获得去噪后的第五特征图；将所述第五特征图输入第一次更新完成的所述第三卷积神经网络以获得第六特征图；将所述第六特征图输入分类器以获得分类损失函数值；以及，基于所述分类损失函数值，对第一次更新完成的所述第三卷积神经网络进行训练。其中，预测阶段包括步骤：获取待预测图像；将所述待预测图像输入第二次更新完成的所述第一卷积神经网络以获得降噪特征图；将所述降噪特征图输入第二次更新完成的所述第三卷积神经网络以获得检测特征图；以及，将所述检测特征图通过分类器以获得分类结果，所述分类结果用于表示所述待预测图像中的粮库车辆是否异常。

图1图示了根据本申请实施例的卷积神经网络级联的监控图像车辆检测方法的场景示意图。如图1所示，在该应用场景的训练阶段中，首先，通过摄像头(例如，如图1中所示意的C)获取训练图像集，其中，所述训练图像集包括含噪声的粮库监控图像和不含噪声的粮库监控图像，具体地，所述含噪声的粮库监控图像为通过所述摄像头采集的在具有扬尘的粮库内的车辆(例如，如图1中所示意的V)的图像，所述不含噪声的粮库监控图像为通过所述摄像头采集的在不具有扬尘的粮库内的车辆图像；然后，将所述获取的训练图像集输入至部署有卷积神经网络级联的监控图像车辆检测算法的服务器(例如，如图1中所示意的S)中，其中，所述服务器能够基于卷积神经网络级联的监控图像车辆检测算法以所述训练图像集对卷积神经网络级联的监控图像车辆检测的卷积神经网络进行训练。

在训练完成后，在预测阶段中，首先，从摄像头(例如，如图1中所示意的C)中获取待预测图像，所述待预测图像为通过所述摄像头采集的在具有扬尘的粮库内的车辆(例如，如图1中所示意的V)的图像；然后，将所述待预测图像输入至部署有卷积神经网络级联的监控图像车辆检测算法的服务器(例如，如图1中所示意的S)中，其中，所述服务器能够以卷积神经网络级联的监控图像车辆检测算法对所述待预测图像进行处理，以生成用于表示所述待预测图像中的粮库车辆是否异常的分类结果。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性方法

图2图示了根据本申请实施例的卷积神经网络级联的监控图像车辆检测方法中训练阶段的流程图。如图2所示，根据本申请实施例的卷积神经网络级联的监控图像车辆检测方法，包括：训练阶段，包括步骤：S110，获取训练图像集，所述训练图像集包括含噪声的粮库监控图像作为第一图像和不含噪声的粮库监控图像作为第二图像；S120，将所述训练图像集中的所述第一图像和所述第二图像分别输入第一卷积神经网络和第二卷积神经网络以获得对应于所述第一图像的第一特征图和对应于所述第二图像的第二特征图；S130，将所述第一特征图和所述第二特征图输入鉴别器以获得鉴别器损失函数值；S140，基于所述鉴别器损失函数值，对所述第一卷积神经网络进行训练；S150，将所述训练图像集中的所述第一图像输入第一次更新完成的所述第一卷积神经网络以获得去噪后的第三特征图；S160，将所述第三特征图输入第三卷积神经网络以获得第四特征图，所述第三卷积神经网络与所述第一卷积神经网络级联；S170，计算所述第三特征图和所述第四特征图之间的KL散度值；S180，基于所述KL散度值，对第一次更新完成的所述第一卷积神经网络和所述第三卷积神经网络进行训练；S190，将所述训练图像集中的所述第一图像输入第二次更新完成的所述第一卷积神经网络以获得去噪后的第五特征图；S200，将所述第五特征图输入第一次更新完成的所述第三卷积神经网络以获得第六特征图；S210，将所述第六特征图输入分类器以获得分类损失函数值；以及，S220，基于所述分类损失函数值，对第一次更新完成的所述第三卷积神经网络进行训练。

图3图示了根据本申请实施例的卷积神经网络级联的监控图像车辆检测方法中预测阶段的流程图。如图3所示，根据本申请实施例的卷积神经网络级联的监控图像车辆检测方法，还包括：预测阶段，包括步骤：S310，获取待预测图像；S320，将所述待预测图像输入第二次更新完成的所述第一卷积神经网络以获得降噪特征图；S330，将所述降噪特征图输入第二次更新完成的所述第三卷积神经网络以获得检测特征图；以及，S340，将所述检测特征图通过分类器以获得分类结果，所述分类结果用于表示所述待预测图像中的粮库车辆是否异常。

图4图示了根据本申请实施例的卷积神经网络级联的监控图像车辆检测方法中训练阶段的架构示意图。如图4所示，在训练阶段中，在该网络架构中，首先，使用第一卷积神经网络(例如，如图4中所示意的CNN1)对所述训练图像集中的所述第一图像(例如，如图4中所示意的IN1)进行处理，以获得对应于所述第一图像的第一特征图(例如，如图4中所示意的F1)；接着，使用第二卷积神经网络(例如，如图4中所示意的CNN2)对所述训练图像集中的所述第二图像(例如，如图4中所示意的IN2)进行处理，以获得对应于所述第二图像的第二特征图(例如，如图4中所示意的F2)；然后，将所述第一特征图和所述第二特征图输入鉴别器以获得鉴别器损失函数值(例如，如图4中所示意的VD)；接着，基于所述鉴别器损失函数值，对所述第一卷积神经网络进行训练；然后，将所述训练图像集中的所述第一图像输入第一次更新完成的所述第一卷积神经网络(例如，如图4中所示意的CNN3)以获得去噪后的第三特征图(例如，如图4中所示意的F3)；接着，将所述第三特征图输入第三卷积神经网络(例如，如图4中所示意的CNN4)以获得第四特征图(例如，如图4中所示意的F4)，所述第三卷积神经网络与所述第一卷积神经网络级联；然后，计算所述第三特征图和所述第四特征图之间的KL散度值(例如，如图4中所示意的K)；接着，基于所述KL散度值，对第一次更新完成的所述第一卷积神经网络和所述第三卷积神经网络进行训练；然后，将所述训练图像集中的所述第一图像输入第二次更新完成的所述第一卷积神经网络(例如，如图4中所示意的CNN5)以获得去噪后的第五特征图(例如，如图4中所示意的F5)；接着，将所述第五特征图输入第一次更新完成的所述第三卷积神经网络(例如，如图4中所示意的CNN6)以获得第六特征图(例如，如图4中所示意的F6)；然后，将所述第六特征图输入分类器(例如，如图4中所示意的分类器)以获得分类损失函数值；以及，最后，基于所述分类损失函数值，对第一次更新完成的所述第三卷积神经网络进行训练。

图5图示了根据本申请实施例的卷积神经网络级联的监控图像车辆检测方法中预测阶段的架构示意图。如图5所示，在预测阶段中，在该网络结构中，首先，将所述待预测图像(例如，如图5中所示意的IN)输入第二次更新完成的所述第一卷积神经网络(例如，如图5中所示意的CNN7)以获得降噪特征图(例如，如图5中所示意的FN)；将所述降噪特征图输入第二次更新完成的所述第三卷积神经网络(例如，如图5中所示意的CNN8)以获得检测特征图(例如，如图5中所示意的FT)；以及，将所述检测特征图通过分类器(例如，如图5中所示意的分类器)以获得分类结果，所述分类结果用于表示所述待预测图像中的粮库车辆是否异常。

更具体地，在训练阶段中，在步骤S110和步骤S120中，获取训练图像集，所述训练图像集包括含噪声的粮库监控图像作为第一图像和不含噪声的粮库监控图像作为第二图像，并将所述训练图像集中的所述第一图像和所述第二图像分别输入第一卷积神经网络和第二卷积神经网络以获得对应于所述第一图像的第一特征图和对应于所述第二图像的第二特征图。如前所述，由于粮库内部环境非常复杂，运粮车辆在粮库内作业时会产生较大扬尘，导致采集到的图像清晰度不高，具有很多噪声，这样，粮库运粮车辆的图像检测相比普通车辆的识别具有较大困难。因此，在本申请的技术方案中，需要对粮库中所获得的监控图像进行处理，以便对于粮库中正在工作的车辆的异常行为进行检测。

也就是，在此之前，首先需要获取训练的图像集，特别地，所述训练图像集包括含噪声的粮库监控图像作为第一图像和不含噪声的粮库监控图像作为第二图像。具体地，所述含噪声的粮库监控图像(即，所述第一图像)为通过所述摄像头采集的在具有扬尘的粮库内的车辆(例如，如图1中所示意的V)的图像，所述不含噪声的粮库监控图像(即，所述第二图像)为通过所述摄像头采集的在不具有扬尘的粮库内的车辆图像。

在一个具体示例中，所述摄像头可以固定某一个特定的角度，以拍摄含噪声的粮库监控图像的第一图像和不含噪声的粮库监控图像的第二图像。然后，再将所述训练图像集中的所述第一图像输入第一卷积神经网络中，通过第一卷积神经网络对所述第一图像进行处理，以提取出所述第一图像的局部特征在高维空间中的特征分布表示，以生成第一特征图；同理，将所述训练图像集中的所述第二图像输入第二卷积神经网络中，以生成第二特征图。应可以理解，作为噪声消除器的第一卷积神经网络本质上是一个图像生成器，可以采用目前较为成熟的对抗生成模型。值得一提的是，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构。

更具体地，在训练阶段中，在步骤S130和步骤S140中，将所述第一特征图和所述第二特征图输入鉴别器以获得鉴别器损失函数值，并基于所述鉴别器损失函数值，对所述第一卷积神经网络进行训练。应可以理解，考虑到图像噪声的影响，在本申请的技术方案中，采用级联卷积神经网络的架构，也就是，首先需要训练第一级的卷积神经网络作为噪声消除器，而作为噪声消除器的第一卷积神经网络本质上是一个图像生成器，可以采用目前较为成熟的对抗生成模型。

具体地，在本申请实施例中，将所述第一特征图和所述第二特征图输入鉴别器以获得鉴别器损失函数值的过程，包括：首先，基于所述第一特征图的样本数目n对所述第一特征图进行样本数目维度的加权平均以获得第一平均特征图：

其中，

是第一平均特征图，

是第一特征图，w，h，c和i分别表示所述第一特征图的宽度、高度、通道编号和样本编号；

然后，基于所述第二特征图的样本数目m对所述第二特征图进行样本数目维度的加权平均以获得第二平均特征图；

其中，

是第二平均特征图，

是第二特征图，w，h，c和i分别表示所述第二特征图的宽度值、高度值、通道编号和样本编号；以及

最后，计算所述第一平均特征图和所述第二平均特征图输入所述鉴别器以获得鉴别器损失函数值。

特别地，在一个具体示例中，将所述第一特征图和所述第二特征图输入鉴别器以获得鉴别器损失函数值的过程，还包括：首先，将所述第一平均特征图输入所述鉴别器神经网络以获得第七特征图；接着，将所述第二平均特征图输入所述鉴别器神经网络以获得第八特征图；然后，确定所述第七特征图与所述第八特征图中的预定位置的值是否相同；接着，响应于所述第七特征图与所述第八特征图中的预定位置的值相同，计算所述预定位置的值的以二为底的对数值的负数值作为第一值；然后，响应于所述第七特征图与所述第八特征图中的预定位置的值不同，计算所述预定位置的值的以二为底的对数值作为第二值；以及，最后，计算所述第一值按照值相同的位置的平均值和所述第二值按照值不同的位置的平均值之和作为所述鉴别器损失函数值。也就是，如下所述公式：

应可以理解，通过鉴别器损失函数值更新第一卷积神经网络，意义是通过“欺骗”鉴别器来使得第一卷积神经网络提取出的特征类似于由第二卷积神经网络提取出的特征。

更具体地，在训练阶段中，在步骤S150和步骤S160中，将所述训练图像集中的所述第一图像输入第一次更新完成的所述第一卷积神经网络以获得去噪后的第三特征图，并将所述第三特征图输入第三卷积神经网络以获得第四特征图，所述第三卷积神经网络与所述第一卷积神经网络级联。也就是，首先，用第一次更新完成的所述第一卷积神经网络对所述训练图像集中的所述第一图像进行处理，以提取出所述第一图像去噪后的高维关联特征，以生成去噪后的第三特征图；然后，再将所述第三特征图输入第三卷积神经网络进行处理，以提取出所述第三特征图中的局部特征在高维空间中的特征分布表示，从而获得第四特征图。值得一提的是，这里，所述第三卷积神经网络与所述第一卷积神经网络级联。

更具体地，在训练阶段中，在步骤S170和步骤S180中，计算所述第三特征图和所述第四特征图之间的KL散度值，并基于所述KL散度值，对第一次更新完成的所述第一卷积神经网络和所述第三卷积神经网络进行训练。应可以理解，本申请考虑到级联的所述第一卷积神经网络和所述第三卷积神经网络之间缺乏必要的联系，这使得在训练过程当中，两者的收敛方向可能会不一致，导致训练速度变慢，且最终的分类准确度降低。因此，在本申请的技术方案中，进一步计算第三特征图和第四特征图之间的KL散度值，并将该KL散度值作为损失函数值训练第一卷积神经网络和第三卷积神经网络，以使得两者提取出的特征的高维分布趋于一致。

具体地，在本申请实施例中，计算所述第三特征图和所述第四特征图之间的KL散度值的过程，包括：以如下公式计算所述第三特征图和所述第四特征图之间的KL散度值；所述公式为：

其中，F_3ij表示所述第三特征图中各个位置的特征值，F_4ij表示所述第四特征图中各个位置的特征值。

更具体地，在训练阶段中，在步骤S190和步骤S200中，将所述训练图像集中的所述第一图像输入第二次更新完成的所述第一卷积神经网络以获得去噪后的第五特征图，并将所述第五特征图输入第一次更新完成的所述第三卷积神经网络以获得第六特征图。也就是，首先，用第二次更新完成的所述第一卷积神经网络对所述训练图像集中的所述第一图像进行处理，以提取出所述第一图像去噪后且高维分布趋于一致的隐含关联特征，以生成第五特征图；然后，再将所述第五特征图输入第一次更新完成的第三卷积神经网络进行处理，以提取出所述第五特征图中的局部特征在高维空间中的特征分布表示，从而获得第六特征图。

更具体地，在训练阶段中，在步骤S210和步骤S220中，将所述第六特征图输入分类器以获得分类损失函数值，并基于所述分类损失函数值，对第一次更新完成的所述第三卷积神经网络进行训练。也就是，在一个完整的迭代周期中，首先基于鉴别器损失函数值更新第一卷积神经网络，再基于第一次更新的第一卷积神经网络和未更新的第三卷积神经网络获得第三特征图和第四特征图，并计算KL散度值，并同时更新第一卷积神经网络和第三卷积神经网络，再基于第二次更新的第一卷积神经网络和第一次更新的第三卷积神经网络获得第四特征图，并计算分类损失函数值，并以此来第二次更新第三卷积神经网络。也就是，在每个迭代周期中，级联的第一卷积神经网络和第三卷积神经网络都会更新两次。

具体地，在本申请实施例中，将所述第六特征图输入分类器以获得分类损失函数值的过程，包括：首先，使用所述分类器的至少一个全连接层对所述第六特征图进行编码以获得分类特征向量，也就是，使用所述分类器的一个或多个全连接层对所述第六特征图进行编码，以充分利用所述第六特征图中各个位置的信息，从而得到分类特征向量。然后，将所述分类特征向量输入Softmax分类函数以获得分类结果，也就是，先将所述分类特征向量输入Softmax分类函数以获得所述分类特征向量属于所述粮库车辆正常的第一概率和所述分类特征向量属于所述粮库车辆异常的第二概率；再基于所述第一概率和所述第二概率，生成分类结果，具体地，当所述第一概率大于所述第二概率时，所述分类结果为粮库车辆正常，当所述第一概率小于所述第二概率时，所述分类结果为粮库车辆异常。最后，计算所述分类结果与真实值之间的交叉熵损失函数值作为所述分类损失函数值。

在训练完成后，进入预测阶段。也就是，在使用卷积神经网络级联的监控图像车辆检测算法来训练卷积神经网络后，将训练完成的卷积神经网络用于实际的监控图像车辆异常检测中。

更具体地，在预测阶段中，在步骤S210和步骤S220中，获取待预测图像，并将所述待预测图像输入第二次更新完成的所述第一卷积神经网络以获得降噪特征图。也就是，首先通过部署在固定位置的摄像头来获取待预测图像，这里所述待预测图像为通过所述摄像头采集的在具有扬尘的粮库内的车辆的图像；然后利用经训练阶段训练后的第二次更新完成的所述第一卷积神经网络对所述待预测图像进行处理，以提取出待预测图像中的高维分布特征，以获得降噪特征图。

更具体地，在预测阶段中，在步骤S230中，将所述降噪特征图输入第二次更新完成的所述第三卷积神经网络以获得检测特征图。也就是，将所述降噪特征图输入第二次更新完成的所述第三卷积神经网络，用通过所述第二次更新完成的所述第三卷积神经网络对所述降噪特征图进行处理，以提取出所述降噪特征图中的局部特征在高维空间中的特征分布表示，以生成检测特征图。

更具体地，在预测阶段中，在步骤S240中，将所述检测特征图通过分类器以获得分类结果，所述分类结果用于表示所述待预测图像中的粮库车辆是否异常。

综上，基于本申请实施例的卷积神经网络级联的监控图像车辆检测方法被阐明，其采用级联卷积神经网络的架构，也就是，首先训练第一级的卷积神经网络作为噪声消除器，再训练第二级的卷积神经网络作为检测器，从而对粮库中所获得的监控图像进行处理，以便对于粮库中正在工作的车辆的异常行为进行检测。通过这样的方式，可以避免传统检测出现的误差累计，以使得对于粮库中正在工作的车辆的异常行为检测的准确度更高。

示例性装置

图6图示了根据本申请实施例的卷积神经网络级联的监控图像车辆检测系统的框图。如图6所示，根据本申请实施例的卷积神经网络级联的监控图像车辆检测系统600，包括：训练模块610和预测模块620。

如图6所示，所述训练模块610，包括：训练图像集获取单元6101，用于获取训练图像集，所述训练图像集包括含噪声的粮库监控图像作为第一图像和不含噪声的粮库监控图像作为第二图像；特征图生成单元6102，用于将所述训练图像集获取单元6101获得的所述训练图像集中的所述第一图像和所述第二图像分别输入第一卷积神经网络和第二卷积神经网络以获得对应于所述第一图像的第一特征图和对应于所述第二图像的第二特征图；鉴别器处理单元6103，用于将所述特征图生成单元6102获得的所述第一特征图和所述特征图生成单元6102获得的所述第二特征图输入鉴别器以获得鉴别器损失函数值；第一卷积神经网络训练单元6104，用于基于所述鉴别器处理单元6103获得的所述鉴别器损失函数值，对所述第一卷积神经网络进行训练；第三特征图生成单元6105，用于将所述训练图像集获取单元6101获得的所述训练图像集中的所述第一图像输入第一次更新完成的所述第一卷积神经网络训练单元6104获得的所述第一卷积神经网络以获得去噪后的第三特征图；第四特征图生成单元6106，用于将所述第三特征图生成单元6105获得的所述第三特征图输入第三卷积神经网络以获得第四特征图，所述第三卷积神经网络与所述第一卷积神经网络级联；KL散度值计算单元6107，用于计算所述第三特征图生成单元6105获得的所述第三特征图和所述第四特征图生成单元6106获得的所述第四特征图之间的KL散度值；神经网络训练单元6108，用于基于所述KL散度值计算单元6107获得的所述KL散度值，对第一次更新完成的所述第一卷积神经网络训练单元6104获得的所述第一卷积神经网络和所述第三卷积神经网络进行训练；第五特征图生成单元6109，用于将所述训练图像集获取单元6101获得的所述训练图像集中的所述第一图像输入第二次更新完成的所述神经网络训练单元6108获得的所述第一卷积神经网络以获得去噪后的第五特征图；第六特征图生成单元6110，用于将所述第五特征图生成单元6109获得的所述第五特征图输入第一次更新完成的所述神经网络训练单元6108获得的所述第三卷积神经网络以获得第六特征图；分类损失函数值生成单元6111，用于将所述第六特征图生成单元6110获得的所述第六特征图输入分类器以获得分类损失函数值；以及，第三卷积神经网络训练单元6112，用于基于所述分类损失函数值生成单元6111获得的所述分类损失函数值，对第一次更新完成的所述第三卷积神经网络进行训练。

如图6所示，所述预测模块620，包括：待预测图像获取单元6201，用于获取待预测图像；降噪特征图生成单元6202，用于将所述待预测图像获取单元6201获得的所述待预测图像输入第二次更新完成的所述第一卷积神经网络以获得降噪特征图；检测特征图生成单元6203，用于将所述降噪特征图生成单元6202获得的所述降噪特征图输入第二次更新完成的所述第三卷积神经网络以获得检测特征图；以及，分类结果生成单元6204，用于将所述检测特征图生成单元6203获得的所述检测特征图通过分类器以获得分类结果，所述分类结果用于表示所述待预测图像中的粮库车辆是否异常。

这里，本领域技术人员可以理解，上述卷积神经网络级联的监控图像车辆检测系统600中的各个单元和模块的具体功能和操作已经在上面参考图1到图5的卷积神经网络级联的监控图像车辆检测方法的描述中得到了详细介绍，并因此，将省略其重复描述。

如上所述，根据本申请实施例的卷积神经网络级联的监控图像车辆检测系统600可以实现在各种终端设备中，例如卷积神经网络级联的监控图像车辆检测算法的服务器等。在一个示例中，根据本申请实施例的卷积神经网络级联的监控图像车辆检测系统600可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该卷积神经网络级联的监控图像车辆检测系统600可以是该终端设备的操作装置中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该卷积神经网络级联的监控图像车辆检测系统600同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该卷积神经网络级联的监控图像车辆检测系统600与该终端设备也可以是分立的设备，并且该卷积神经网络级联的监控图像车辆检测系统600可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

Claims (10)

1.一种卷积神经网络级联的监控图像车辆检测方法，其特征在于，包括：

训练阶段，包括：

获取训练图像集，所述训练图像集包括含噪声的粮库监控图像作为第一图像和不含噪声的粮库监控图像作为第二图像；

将所述训练图像集中的所述第一图像和所述第二图像分别输入第一卷积神经网络和第二卷积神经网络以获得对应于所述第一图像的第一特征图和对应于所述第二图像的第二特征图；

将所述第一特征图和所述第二特征图输入鉴别器以获得鉴别器损失函数值；

基于所述鉴别器损失函数值，对所述第一卷积神经网络进行训练；

将所述训练图像集中的所述第一图像输入第一次更新完成的所述第一卷积神经网络以获得去噪后的第三特征图；

将所述第三特征图输入第三卷积神经网络以获得第四特征图，所述第三卷积神经网络与所述第一卷积神经网络级联；

计算所述第三特征图和所述第四特征图之间的KL散度值；

基于所述KL散度值，对第一次更新完成的所述第一卷积神经网络和所述第三卷积神经网络进行训练；

将所述训练图像集中的所述第一图像输入第二次更新完成的所述第一卷积神经网络以获得去噪后的第五特征图；

将所述第五特征图输入第一次更新完成的所述第三卷积神经网络以获得第六特征图；

将所述第六特征图输入分类器以获得分类损失函数值；以及

基于所述分类损失函数值，对第一次更新完成的所述第三卷积神经网络进行训练；以及

预测阶段，包括：

获取待预测图像；

将所述待预测图像输入第二次更新完成的所述第一卷积神经网络以获得降噪特征图；

将所述降噪特征图输入第二次更新完成的所述第三卷积神经网络以获得检测特征图；以及

将所述检测特征图通过分类器以获得分类结果，所述分类结果用于表示所述待预测图像中的粮库车辆是否异常。

2.根据权利要求1所述的卷积神经网络级联的监控图像车辆检测方法，其中，将所述第一特征图和所述第二特征图输入鉴别器以获得鉴别器损失函数值，包括：

基于所述第一特征图的样本数目n对所述第一特征图进行样本数目维度的加权平均以获得第一平均特征图：

其中，

是第一平均特征图，

是第一特征图，w，h，c和i分别表示所述第一特征图的宽度、高度、通道编号和样本编号；

基于所述第二特征图的样本数目m对所述第二特征图进行样本数目维度的加权平均以获得第二平均特征图；

其中，

是第二平均特征图，

是第二特征图，w，h，c和i分别表示所述第二特征图的宽度值、高度值、通道编号和样本编号；以及

计算所述第一平均特征图和所述第二平均特征图输入所述鉴别器以获得鉴别器损失函数值。

3.根据权利要求2所述的卷积神经网络级联的监控图像车辆检测方法，其中，将所述第一平均特征图和所述第二平均特征图输入鉴别器以获得鉴别器损失函数值，包括：

将所述第一平均特征图输入所述鉴别器神经网络以获得第七特征图；

将所述第二平均特征图输入所述鉴别器神经网络以获得第八特征图；

确定所述第七特征图与所述第八特征图中的预定位置的值是否相同；

响应于所述第七特征图与所述第八特征图中的预定位置的值相同，计算所述预定位置的值的以二为底的对数值的负数值作为第一值；

响应于所述第七特征图与所述第八特征图中的预定位置的值不同，计算所述预定位置的值的以二为底的对数值作为第二值；以及

计算所述第一值按照值相同的位置的平均值和所述第二值按照值不同的位置的平均值之和作为所述鉴别器损失函数值。

4.根据权利要求1所述的卷积神经网络级联的监控图像车辆检测方法，其中，计算所述第三特征图和所述第四特征图之间的KL散度值，包括：

以如下公式计算所述第三特征图和所述第四特征图之间的KL散度值；

所述公式为：

其中，

表示所述第三特征图中各个位置的特征值，

表示所述第四特征图中各个位置的特征值。

5.根据权利要求1所述的卷积神经网络级联的监控图像车辆检测方法，其中，将所述第六特征图输入分类器以获得分类损失函数值，包括：

使用所述分类器的至少一个全连接层对所述第六特征图进行编码以获得分类特征向量；

将所述分类特征向量输入Softmax分类函数以获得分类结果；

计算所述分类结果与真实值之间的交叉熵损失函数值作为所述分类损失函数值。

6.根据权利要求1所述的卷积神经网络级联的监控图像车辆检测方法，其中，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构。

7.一种卷积神经网络级联的监控图像车辆检测系统，其特征在于，包括：

训练模块，包括：

训练图像集获取单元，用于获取训练图像集，所述训练图像集包括含噪声的粮库监控图像作为第一图像和不含噪声的粮库监控图像作为第二图像；

特征图生成单元，用于将所述训练图像集获取单元获得的所述训练图像集中的所述第一图像和所述第二图像分别输入第一卷积神经网络和第二卷积神经网络以获得对应于所述第一图像的第一特征图和对应于所述第二图像的第二特征图；

鉴别器处理单元，用于将所述特征图生成单元获得的所述第一特征图和所述特征图生成单元获得的所述第二特征图输入鉴别器以获得鉴别器损失函数值；

第一卷积神经网络训练单元，用于基于所述鉴别器处理单元获得的所述鉴别器损失函数值，对所述第一卷积神经网络进行训练；

第三特征图生成单元，用于将所述训练图像集获取单元获得的所述训练图像集中的所述第一图像输入第一次更新完成的所述第一卷积神经网络训练单元获得的所述第一卷积神经网络以获得去噪后的第三特征图；

第四特征图生成单元，用于将所述第三特征图生成单元获得的所述第三特征图输入第三卷积神经网络以获得第四特征图，所述第三卷积神经网络与所述第一卷积神经网络级联；

KL散度值计算单元，用于计算所述第三特征图生成单元获得的所述第三特征图和所述第四特征图生成单元获得的所述第四特征图之间的KL散度值；

神经网络训练单元，用于基于所述KL散度值计算单元获得的所述KL散度值，对第一次更新完成的所述第一卷积神经网络训练单元获得的所述第一卷积神经网络和所述第三卷积神经网络进行训练；

第五特征图生成单元，用于将所述训练图像集获取单元获得的所述训练图像集中的所述第一图像输入第二次更新完成的所述神经网络训练单元获得的所述第一卷积神经网络以获得去噪后的第五特征图；

第六特征图生成单元，用于将所述第五特征图生成单元获得的所述第五特征图输入第一次更新完成的所述神经网络训练单元获得的所述第三卷积神经网络以获得第六特征图；

分类损失函数值生成单元，用于将所述第六特征图生成单获得的所述第六特征图输入分类器以获得分类损失函数值；以及

第三卷积神经网络训练单元，用于基于所述分类损失函数值生成单元获得的所述分类损失函数值，对第一次更新完成的所述第三卷积神经网络进行训练；以及

预测模块，包括：

待预测图像获取单元，用于获取待预测图像；

降噪特征图生成单元，用于将所述待预测图像获取单元获得的所述待预测图像输入第二次更新完成的所述第一卷积神经网络以获得降噪特征图；

检测特征图生成单元，用于将所述降噪特征图生成单元获得的所述降噪特征图输入第二次更新完成的所述第三卷积神经网络以获得检测特征图；以及

分类结果生成单元，用于将所述检测特征图生成单元获得的所述检测特征图通过分类器以获得分类结果，所述分类结果用于表示所述待预测图像中的粮库车辆是否异常。

8.根据权利要求7所述的卷积神经网络级联的监控图像车辆检测系统，其中，所述鉴别器处理单元，包括：

第一平均特征图生成子单元，用于基于所述第一特征图的样本数目n对所述第一特征图进行样本数目维度的加权平均以获得第一平均特征图：

其中，

是第一平均特征图，

是第一特征图，w，h，c和i分别表示所述第一特征图的宽度、高度、通道编号和样本编号；

第二平均特征图生成子单元，用于基于所述第二特征图的样本数目m对所述第二特征图进行样本数目维度的加权平均以获得第二平均特征图；

其中，

是第二平均特征图，

是第二特征图，w，h，c和i分别表示所述第二特征图的宽度值、高度值、通道编号和样本编号；以及

鉴别器损失函数值生成子单元，用于计算所述第一平均特征图生成子单元获得的所述第一平均特征图和所述第二平均特征图生成子单元获得的所述第二平均特征图输入所述鉴别器以获得鉴别器损失函数值。

9.根据权利要求7所述的卷积神经网络级联的监控图像车辆检测系统，其中，所述KL散度值计算单元，进一步用于：

以如下公式计算所述第三特征图和所述第四特征图之间的KL散度值；

所述公式为：

其中，

表示所述第三特征图中各个位置的特征值，

表示所述第四特征图中各个位置的特征值。

10.根据权利要求7所述的卷积神经网络级联的监控图像车辆检测系统，其中，所述分类损失函数值生成单元，包括：

第六特征图编码子单元，用于使用所述分类器的至少一个全连接层对所述第六特征图进行编码以获得分类特征向量；

分类函数处理子单元，用于将所述第六特征图编码子单元获得的所述分类特征向量输入Softmax分类函数以获得分类结果；

交叉熵损失函数值计算子单元，用于计算所述分类函数处理子单元获得的所述分类结果与真实值之间的交叉熵损失函数值作为所述分类损失函数值。

Images