CN108229673B - 卷积神经网络的处理方法、装置和电子设备 - Google Patents

Abstract

本发明实施例提供了一种卷积神经网络的处理方法、装置和电子设备。该卷积神经网络的处理方法包括：简化已训练完成的第一卷积神经网络，获得第二卷积神经网络；分别通过第一卷积神经网络和第二卷积神经网络检测第一训练样本数据，获得所述第一卷积神经网络输出的第一检测数据和所述第二卷积神经网络输出的第二检测数据；确定所述第一检测数据和所述第二检测数据之间的第一差异；至少根据所述第一差异调整所述第二卷积神经网络的网络参数。可得到保持精确度相对不受损的小型卷积神经网络，利于在运算能力低、资源受限的设备上运用训练好的小型卷积神经网络实现相同功能，提高该卷积神经网络的运用灵活性。

Description

卷积神经网络的处理方法、装置和电子设备

技术领域

本发明实施例涉及人工智能技术，尤其涉及一种卷积神经网络的处理方法、装置和电子设备。

背景技术

近年来，随着人工智能技术的普及与发展，卷积神经网络逐渐成为用于计算机视觉和模式识别的一个重要的研究领域，它通过计算机仿照生物大脑思维启发进行类似人类对特定对象的信息处理。通过卷积神经网络，能够有效地进行对象检测和识别。随着互联网技术的发展，信息量的急剧增加，卷积神经网络被越来越广泛地应用于对象检测及识别领域，以从大量的信息中寻找出实际所需的信息。以图像识别领域为例，基于卷积神经网络的图像识别技术能够自动学习图像的有效特征。

在实际应用中，由于需要检测或识别的目标对象的个体差异和环境变化等原因，所需要的卷积神经网络参数不得不增加到非常多，以达到较为准确的预测效果。但是，这会大量增加计算量，进而导致速度缓慢、效率低，很难被应用到实际场景中。

发明内容

本发明实施例提供一种卷积神经网络处理方案及物体检测技术方案。

根据本发明实施例的一方面，提供了一种卷积神经网络的处理方法，包括：简化已训练完成的第一卷积神经网络，获得第二卷积神经网络；分别通过第一卷积神经网络和第二卷积神经网络检测第一训练样本数据，获得所述第一卷积神经网络输出的第一检测数据和所述第二卷积神经网络输出的第二检测数据；确定所述第一检测数据和所述第二检测数据之间的第一差异；至少根据所述第一差异调整所述第二卷积神经网络的网络参数。

可选地，在简化已训练完成的第一卷积神经网络之前，还包括：使用带标注的第二训练样本数据，调整所述第一卷积神经网络的网络参数，以完成所述第一卷积神经网络的训练。

可选地，所述简化已训练完成的第一卷积神经网络，获得第二卷积神经网络，包括：减小所述第一卷积神经网络中至少一卷积层的卷积核的个数，获得所述第二卷积神经网络。

可选地，减小所述第一卷积神经网络中至少一卷积层的卷积核的个数，获得所述第二卷积神经网络，包括：减小所述第一卷积神经网络中各卷积层的卷积核的个数，获得所述第二卷积神经网络。

可选地，在至少根据所述第一差异调整所述第二卷积神经网络的网络参数之前，还包括：确定所述第二检测数据和所述第一训练样本数据的标注数据之间的第二差异。所述至少根据所述第一差异调整所述第二卷积神经网络的网络参数包括：根据所述第一差异和所述第二差异调整所述第二卷积神经网络的网络参数。

可选地，所述根据所述第一差异和所述第二差异调整所述第二卷积神经网络的网络参数包括：分别对所述第一差异和所述第二差异进行加权处理；根据加权处理后的第一差异和第二差异调整所述第二卷积神经网络的网络参数。

根据本发明实施例的另一方面，提供了一种物体检测方法，包括：获取待检测图像；采用如前所述任一卷积神经网络的处理方法训练得到的第二卷积神经网络检测所述待检测图像中的目标对象。

可选地，所述待检测图像为待检测的视频帧或静态图像。

可选地，所述目标对象是人脸、行人或车辆。

根据本发明实施例的另一方面，提供了一种卷积神经网络的处理装置，包括：网络简化模块，用于简化已训练完成的第一卷积神经网络，获得第二卷积神经网络；检测数据获取模块，用于分别通过第一卷积神经网络和第二卷积神经网络检测第一训练样本数据，获得所述第一卷积神经网络输出的第一检测数据和所述第二卷积神经网络输出的第二检测数据；第一差异获取模块，用于确定所述第一检测数据和所述第二检测数据之间的第一差异；参数调整模块，用于至少根据所述第一差异调整所述第二卷积神经网络的网络参数。

可选地，所述装置还包括：大网络训练模块，用于使用带标注的第二训练样本数据，调整所述第一卷积神经网络的网络参数，以完成所述第一卷积神经网络的训练。

可选地，所述网络简化模块用于减小所述第一卷积神经网络中至少一卷积层的卷积核的个数，获得所述第二卷积神经网络。

可选地，所述网络简化模块用于减小所述第一卷积神经网络中各卷积层的卷积核的个数，获得所述第二卷积神经网络。

可选地，所述装置还包括：第二差异获取模块，用于确定所述第二检测数据和所述第一训练样本数据的标注数据之间的第二差异；所述参数调整模块用于根据所述第一差异和所述第二差异调整所述第二卷积神经网络的网络参数。

可选地，所述参数调整模块用于分别对所述第一差异和所述第二差异进行加权处理，并且根据加权处理后的第一差异和第二差异调整所述第二卷积神经网络的网络参数。

根据本发明的另一方面，还提供一种物体检测装置，包括：图像获取单元，用于获取待检测图像；检测单元，用于采用如前所述任一卷积神经网络的处理方法训练得到的第二卷积神经网络检测所述待检测图像中的目标对象。

可选地，所述待检测图像为待检测的视频帧或静态图像。

可选地，所述目标对象是人脸、行人或车辆。

根据本发明的另一方面，还提供一种电子设备，包括：第一处理器、第一存储器、第一通信元件和第一通信总线，所述第一处理器、所述第一存储器和所述第一通信元件通过所述第一通信总线完成相互间的通信；所述第一存储器用于存放至少一可执行指令，所述可执行指令使所述第一处理器执行如前所述任一卷积神经网络的处理方法对应的操作。

根据本发明的另一方面，还提供一种电子设备，包括：第二处理器、第二存储器、第二通信元件和第二通信总线，所述第二处理器、所述第二存储器和所述第二通信元件通过所述第二通信总线完成相互间的通信；所述第二存储器用于存放至少一可执行指令，所述可执行指令使所述第二处理器执行如前所述的物体检测方法对应的操作。

根据本发明实施例的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有：用于简化已训练完成的第一卷积神经网络，获得第二卷积神经网络的可执行指令；用于分别通过第一卷积神经网络和第二卷积神经网络检测第一训练样本数据，获得所述第一卷积神经网络输出的第一检测数据和所述第二卷积神经网络输出的第二检测数据的可执行指令；用于确定所述第一检测数据和所述第二检测数据之间的第一差异的可执行指令；用于至少根据所述第一差异调整所述第二卷积神经网络的网络参数的可执行指令。

根据本发明实施例的又一方面，还提供了另一种计算机可读存储介质，所述计算机可读存储介质存储有：用于获取待检测图像的可执行指令；用于采用如前所述任一卷积神经网络的处理方法训练得到的第二卷积神经网络检测所述待检测图像中的目标对象的可执行指令。

根据本发明实施例提供的卷积神经网络的处理方法、装置和电子设备，通过简化已训练完成的第一卷积神经网络，获得第二卷积神经网络，分别通过第一卷积神经网络和第二卷积神经网络检测第一训练样本数据，并且根据第一卷积神经网络和第二卷积神经网络之间的差异调整所述第二卷积神经网络的网络参数，使得第二卷积神经网络更好地拟合第一卷积神经网络的输出，从而得到保持精确度相对不受损的小型卷积神经网络(第二卷积神经网络)，利于在运算能力低、资源受限的设备上运用训练好的小型卷积神经网络实现相同功能，提高该卷积神经网络的运用灵活性。可在运算能力低、资源受限的电子设备上通过前述训练得到的第二卷积神经网络较准确地进行物体检测。

附图说明

图1是示出根据本发明实施例一的卷积神经网络的处理方法的流程图；

图2是示出根据本发明实施例二的卷积神经网络的处理方法的流程图；

图3是示出根据本发明实施例三的物体检测方法的流程图；

图4示出根据本发明实施例四的卷积神经网络的处理装置的逻辑框图；

图5示出根据本发明实施例五的物体检测装置的逻辑框图；

图6是示出根据本发明实施例六的第一电子设备的结构示意图；

图7是示出根据本发明实施例七的第二电子设备的结构示意图。

具体实施方式

下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本发明实施例的具体实施方式作进一步详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。

本领域技术人员可以理解，本发明实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

实施例一

图1示出了根据本发明实施例一的卷积神经网络的处理方法的步骤流程图。

参照图1，在步骤S110，简化已训练完成的第一卷积神经网络，获得第二卷积神经网络。

通常，检测精度高的卷积神经网络较大，其特征参数相对较多，其各卷积层的卷积核的个数也相对较多。相应地，在通过这样的卷积神经网络进行检测或数据提取时，涉及的运算量较大，运行速度较低。假设第一卷积神经网络是这样的卷积神经网络。

以行人检测为例，基于卷积神经网络的行人检测技术能够自动学习行人的有效特征，在图像中找到行人的位置和大小。但是，在实际环境中，由于行人姿态和外表各异，角度以及光照的各种变化，使得行人检测所需要的卷积神经网络参数不得不增加到非常多，由此带来的计算量也会增大，进而导致速度缓慢，效率较低，较难被应用到实际场景之中。尤其在内存有限、运算能力相对低的便携式终端中，使用这样的卷积神经网络进行运算可能导致反应延时，甚至卡机的情况。

为了训练得到小规模的适合运算能力较差的设备运行的卷积神经网络，可通过适用的方式简化第一卷积神经网络，获得第二卷积神经网络。

在步骤S120，分别通过第一卷积神经网络和第二卷积神经网络检测第一训练样本数据，获得所述第一卷积神经网络输出的第一检测数据和所述第二卷积神经网络输出的第二检测数据。

具体地，将第一训练样本数据分别前传给第一卷积神经网络和第二卷积神经网络，获得所述第一卷积神经网络输出的第一检测数据和所述第二卷积神经网络输出的第二检测数据。

由于两个卷积神经网络处理的是相同的训练样本，第一检测数据和第二检测数据具有相同的数据类型。然而，第二卷积神经网络是小型化的第一卷积神经网络，其输出数据(第二检测数据)会存在较大的偏差。

以行人检测为例，输入训练样本为含有(也可以不包含)行人的图像，检测结果即为该样本图像上行人的位置和大小，一般以矩形框的形式标注在样本图片上。检测数据的形式可以为代表行人位置和大小的矩形框的中心坐标和边长数据。优选地，输出数据中还可以增加行人的数量、行人的状态等。

在步骤S130，确定所述第一检测数据和所述第二检测数据之间的第一差异。这些差异表征了第二卷积神经网络的检测偏差，作为对第二卷积神经网络的检测结果的评估数据。

可通过损失函数或距离计算函数计算第一差异，例如，逻辑回归损失函数、平方损失函数、指数损失函数、Hinge损失函数、欧式距离等。本领域技术人员可以根据应用的实际情况自由选择合适的损失函数的类型。

在步骤S140，至少根据所述第一差异调整所述第二卷积神经网络的网络参数。

具体地，可根据确定的第一差异来对第二卷积神经网络的网络参数迭代地进行优化更新(如批量随机梯度下降方法等)，直至达到预定迭代终止条件为止，使得第二卷积神经网络尽可能拟合第一卷积神经网络的输出。

由于第二卷积神经网络的卷积核数不足，难以准确的表达图像的特征，因此，使用完全正确的代替带标注的训练样本(label)进行反馈调整，效果也不佳；而由于第二卷积神经网络与第一卷积神经网络相似，因此，在使用第二检测数据拟合第一检测数据的过程中，梯度的反向传导能逐步地修正两者输出结果的差异，从而使得第二卷积神经网络的检测准确度更容易近似于第一卷积神经网络的检测准确度。

在此，也可以结合其他监督数据调整所述第二卷积神经网络的网络参数。

通过前述步骤S110～步骤S140的处理，通过简化已训练完成的第一卷积神经网络，获得第二卷积神经网络，分别通过第一卷积神经网络和第二卷积神经网络检测第一训练样本数据，并且根据第一卷积神经网络和第二卷积神经网络之间的差异调整所述第二卷积神经网络的网络参数，使得第二卷积神经网络更好地拟合第一卷积神经网络的输出，从而得到保持精确度相对不受损的小型卷积神经网络(第二卷积神经网络)，利于在运算能力低、资源受限的设备上运用训练好的小型卷积神经网络实现相同功能，提高该卷积神经网络的运用灵活性。

实施例二

图2是示出根据本发明实施例二的卷积神经网络的处理方法的流程图。实施例二的处理方法是实施例一的一种具体实施方式。

参照图2，在步骤S210，减小所述第一卷积神经网络中至少一卷积层的卷积核的个数，获得第二卷积神经网络。

通过减少第一卷积神经网络各卷积层的卷积核的个数来生成的第二卷积神经网络与第一卷积神经网络具有相似的结构，但是卷积核的个数减少，且网络参数的个数相应地减少，从而降低其在使用时涉及的运算量。此外，由于没有改变第一卷积神经网络的深度，因此使得卷积层神经元的感受也不变，降低由于压缩卷积神经网络而造成的性能影响。

具体地，可减小所述第一卷积神经网络中各卷积层的卷积核的个数，获得所述第二卷积神经网络；也可以减小所述第一卷积神经网络中某个或某几个卷积层的卷积核的个数，获得所述第二卷积神经网络。

在一种优选的实施方式中，第二卷积神经网络各卷积层的卷积核的个数为第一卷积神经网络各卷积层的卷积核的个数的一半。本领域的技术人员也可以采取其他任意适当的方式减少第一卷积神经网络的卷积核个数以得到第二卷积神经网络，例如第二卷积神经网络各卷积层的卷积核的个数为第一卷积神经网络各卷积层的卷积核的个数的三分之一。本发明实施例不对此作出限制。

在步骤S220，分别通过第一卷积神经网络和第二卷积神经网络检测第一训练样本数据，获得所述第一卷积神经网络输出的第一检测数据和所述第二卷积神经网络输出的第二检测数据。该步骤的处理与前述步骤S120类似，在此不予赘述。

在步骤S230，确定所述第一检测数据和所述第二检测数据之间的第一差异，并且确定所述第二检测数据和所述第一训练样本数据的标注数据之间的第二差异。

在训练样本数据中通常带有表征预期检测结果的标注数据。在该步骤，除计算第一检测数据和所述第二检测数据之间的第一差异以外，还计算从第二卷积神经网络检测到的第二检测数据和该标注数据之间的第二差异，作为对第二卷积神经网络的检测结果的另一评估数据。

可通过前述步骤S130中提及的损失函数或距离计算函数计算第一差异第二差异，但不限于此。

在步骤S240，根据所述第一差异和所述第二差异调整所述第二卷积神经网络的网络参数。

可分别根据第一差异和所述第二差异调整所述第二卷积神经网络的网络参数，即分别将第一差异和所述第二差异反向传输给第二卷积神经网络来更新第二卷积神经网络的网络参数。例如，先根据第一差异调整所述第二卷积神经网络的网络参数，再根据第二差异调整第二卷积神经网络的网络参数，以提高第二卷积神经网络的检测准确度。

此外，在一种可选方案中，可以分别对第一差异和第二差异进行加权处理；根据加权处理后的第一差异和第二差异调整第二卷积神经网络的网络参数。由于第二卷积神经网络与第一卷积神经网络相似，可将第一差异赋予较高的权重。当然，在实际应用中，也可以不对第一差异和第二差异进行加权调整。

对卷积神经网络的训练是一个迭代过程，需要有一个训练终止条件，该条件可以如迭代训练次数，也可以如收敛条件。因此，可以判断对第二卷积神经网络的训练是否满足预定的训练终止条件；若不满足，则根据第一差异和第二差异调整第二卷积神经网络的网络参数，使用调整后的网络参数继续训练第二卷积神经网络，直至满足预定的训练终止条件；若满足，则完成对第二卷积神经网络的训练。

另一方面，在简化已训练完成的第一卷积神经网络之前，可通过以下方法训练第一卷积神经网络：使用带标注的第二训练样本数据，调整所述第一卷积神经网络的网络参数，以完成所述第一卷积神经网络的训练。在采用多种方式训练得到第一卷积神经网络，在此不做详细说明。

本发明实施例二的卷积神经网络的处理方法，通过减小所述第一卷积神经网络中至少一卷积层的卷积核的个数，获得小型的第二卷积神经网络，分别通过第一卷积神经网络和第二卷积神经网络检测第一训练样本数据，并且根据第一卷积神经网络和第二卷积神经网络之间的第一差异和第二检测数据和所述第一训练样本数据的标注数据之间的第二差异调整所述第二卷积神经网络的网络参数，使得卷积层神经元的感受也不受影响，并且第二卷积神经网络更好地拟合第一卷积神经网络的输出并更接近标注结果，从而确保训练得到的小型卷积神经网络(第二卷积神经网络)的精确度，利于在运算能力低、资源受限的设备上运用训练好的小型卷积神经网络实现相同功能，提高该卷积神经网络的运用灵活性。

实施例三

图3是示出根据本发明实施例三的物体检测方法的流程图。

可在例如移动终端设备的电子设备上执行实施例三的物体检测方法。

参照图3，在步骤S310，获取待检测图像。

该待检测图像可以是具有一定分辨率的任何视频帧或静态图像。

在步骤S320，采用如前所述的处理方法训练得到的第二卷积神经网络检测所述待检测图像中的目标对象。

这里，检测的目标对象可以是，但不限于，人脸、行人或车辆等。

由于通过前述卷积神经网络的处理方法可训练得到小型化且可保持检测精确度的卷积神经网络(第二卷积神经网络)，因此实施例三的物体检测方法，可在运算能力低、资源受限的电子设备上通过前述训练得到的第二卷积神经网络较准确地进行物体检测。

实施例四

图4示出根据本发明实施例四的卷积神经网络的处理装置的逻辑框图。

参照图4，本发明实施例四的卷积神经网络的处理装置包括网络简化模块410、检测数据获取模块420、第一差异获取模块430和参数调整模块440。

网络简化模块410用于简化已训练完成的第一卷积神经网络，获得第二卷积神经网络。

可选地，网络简化模块410用于减小所述第一卷积神经网络中至少一卷积层的卷积核的个数，获得所述第二卷积神经网络。

例如，网络简化模块410可用于减小所述第一卷积神经网络中各卷积层的卷积核的个数，获得所述第二卷积神经网络。

检测数据获取模块420用于分别通过第一卷积神经网络和第二卷积神经网络检测第一训练样本数据，获得所述第一卷积神经网络输出的第一检测数据和所述第二卷积神经网络输出的第二检测数据；

第一差异获取模块430用于确定所述第一检测数据和所述第二检测数据之间的第一差异。

参数调整模块440用于至少根据所述第一差异调整所述第二卷积神经网络的网络参数。

可选地，该卷积神经网络的处理装置还包括：大网络训练模块，用于使用带标注的第二训练样本数据，调整所述第一卷积神经网络的网络参数，以完成所述第一卷积神经网络的训练。

可选地，该卷积神经网络的处理装置还包括：第二差异获取模块450，用于确定所述第二检测数据和所述第一训练样本数据的标注数据之间的第二差异。

相应地，参数调整模块440用于根据所述第一差异和所述第二差异调整所述第二卷积神经网络的网络参数。

可选地，参数调整模块440用于分别对所述第一差异和所述第二差异进行加权处理，并且根据加权处理后的第一差异和第二差异调整所述第二卷积神经网络的网络参数。

本实施例的卷积神经网络的处理装置用于实现前述方法实施例中相应的卷积神经网络的处理方法，且具有相应方法实施例的有益效果，在此不再赘述。

实施例五

图5示出根据本发明实施例五的物体检测装置的逻辑框图。

参照图5，实施例五的物体检测装置包括：图像获取单元510，用于获取待检测图像；检测单元520，用于采用如前所述任一卷积神经网络的处理方法训练得到的第二卷积神经网络检测所述待检测图像中的目标对象。

可选地，所述待检测图像为待检测的视频帧或静态图像。

可选地，所述目标对象是人脸、行人或车辆。

本实施例的物体检测装置用于实现前述方法实施例中相应的物体检测方法，且具有相应方法实施例的有益效果，在此不再赘述。

实施例六

图6是示出根据本发明实施例六的第一电子设备的结构示意图。

本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图6，其示出了适于用来实现本发明实施例的终端设备或服务器的第一电子设备600的结构示意图。

如图6所示，第一电子设备600包括一个或多个第一处理器、第一通信元件等，所述一个或多个第一处理器例如：一个或多个第一中央处理单元(CPU)601，和/或一个或多个第一图像处理器(GPU)613等，第一处理器可以根据存储在第一只读存储器(ROM)602中的可执行指令或者从第一存储部分608加载到第一随机访问存储器(RAM)603中的可执行指令而执行各种适当的动作和处理。第一通信元件包括第一通信组件612和第一通信接口609。其中，第一通信组件612可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，第一通信接口609包括诸如LAN卡、调制解调器等的网络接口卡的通信接口，第一通信接口609经由诸如因特网的网络执行通信处理。

第一处理器可与第一只读存储器602和/或第一随机访问存储器630中通信以执行可执行指令，通过第一总线604与第一通信组件612相连、并经第一通信组件612与其他目标设备通信，从而完成本发明实施例提供的任一项方法对应的操作，例如，简化已训练完成的第一卷积神经网络，获得第二卷积神经网络；分别通过第一卷积神经网络和第二卷积神经网络检测第一训练样本数据，获得所述第一卷积神经网络输出的第一检测数据和所述第二卷积神经网络输出的第二检测数据；确定所述第一检测数据和所述第二检测数据之间的第一差异；至少根据所述第一差异调整所述第二卷积神经网络的网络参数。

此外，在第一RAM 603中，还可存储有装置操作所需的各种程序和数据。第一CPU601、第一ROM602以及第一RAM603通过第一总线604彼此相连。在有第一RAM603的情况下，第一ROM602为可选模块。第一RAM603存储可执行指令，或在运行时向第一ROM602中写入可执行指令，可执行指令使第一处理器601执行上述通信方法对应的操作。第一输入/输出(I/O)接口605也连接至第一总线604。第一通信组件612可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。

以下部件连接至第一I/O接口605：包括键盘、鼠标等的第一输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的第一输出部分607；包括硬盘等的第一存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的第一通信接口609。第一驱动器610也根据需要连接至第一I/O接口605。第一可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在第一驱动器610上，以便于从其上读出的计算机程序根据需要被安装入第一存储部分608。

需要说明的是，如图6所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图6的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，第一通信组件612可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明的保护范围。

特别地，根据本发明实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本发明实施例提供的方法步骤对应的指令，例如，简化已训练完成的第一卷积神经网络，获得第二卷积神经网络；分别通过第一卷积神经网络和第二卷积神经网络检测第一训练样本数据，获得所述第一卷积神经网络输出的第一检测数据和所述第二卷积神经网络输出的第二检测数据；确定所述第一检测数据和所述第二检测数据之间的第一差异；至少根据所述第一差异调整所述第二卷积神经网络的网络参数。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从第一可拆卸介质611被安装。在该计算机程序被第一中央处理单元(CPU)601执行时，执行本发明实施例的方法中限定的上述功能。

本发明实施例六提供的电子设备，通过简化已训练完成的第一卷积神经网络，获得第二卷积神经网络，分别通过第一卷积神经网络和第二卷积神经网络检测第一训练样本数据，并且根据第一卷积神经网络和第二卷积神经网络之间的差异调整所述第二卷积神经网络的网络参数，使得第二卷积神经网络更好地拟合第一卷积神经网络的输出，从而得到保持精确度相对不受损的小型卷积神经网络(第二卷积神经网络)，利于在运算能力低、资源受限的设备上运用训练好的小型卷积神经网络实现相同功能，提高该卷积神经网络的运用灵活性。

实施例七

图7是示出根据本发明实施例七的第二电子设备的结构示意图。

本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图7，其示出了适于用来实现本发明实施例的终端设备或服务器的第二电子设备700的结构示意图。

如图7所示，第二电子设备700包括一个或多个第二处理器、第二通信元件等，所述一个或多个第二处理器例如：一个或多个第二中央处理单元(CPU)701，和/或一个或多个第二图像处理器(GPU)713等，第二处理器可以根据存储在第二只读存储器(ROM)702中的可执行指令或者从第二存储部分708加载到第二随机访问存储器(RAM)703中的可执行指令而执行各种适当的动作和处理。第二通信元件包括第二通信组件712和第二通信接口709。其中，第二通信组件712可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，第二通信接口709包括诸如LAN卡、调制解调器等的网络接口卡的通信接口，第二通信接口709经由诸如因特网的网络执行通信处理。

第二处理器可与第二只读存储器702和/或第二随机访问存储器730中通信以执行可执行指令，通过第二总线704与第二通信组件712相连、并经第二通信组件712与其他目标设备通信，从而完成本发明实施例提供的任一项方法对应的操作，例如，获取待检测图像；采用如前所述任一卷积神经网络的处理方法训练得到的第二卷积神经网络检测所述待检测图像中的目标对象。

此外，在第二RAM 703中，还可存储有装置操作所需的各种程序和数据。第二CPU701、第二ROM702以及第二RAM703通过第二总线704彼此相连。在有第二RAM703的情况下，第二ROM702为可选模块。第二RAM703存储可执行指令，或在运行时向第二ROM702中写入可执行指令，可执行指令使第二处理器701执行上述通信方法对应的操作。第二输入/输出(I/O)接口705也连接至第二总线704。第二通信组件712可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。

以下部件连接至第二I/O接口705：包括键盘、鼠标等的第二输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的第二输出部分707；包括硬盘等的第二存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的第二通信接口709。第二驱动器710也根据需要连接至第二I/O接口705。第二可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在第二驱动器710上，以便于从其上读出的计算机程序根据需要被安装入第二存储部分708。

需要说明的是，如图7所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图7的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，第二通信组件712可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明的保护范围。

特别地，根据本发明实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本发明实施例提供的方法步骤对应的指令，例如，获取待检测图像；采用如前所述任一卷积神经网络的处理方法训练得到的第二卷积神经网络检测所述待检测图像中的目标对象。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从第二可拆卸介质711被安装。在该计算机程序被第二中央处理单元(CPU)701执行时，执行本发明实施例的方法中限定的上述功能。

由于通过前述卷积神经网络的处理方法可训练得到小型化且可保持检测精确度的卷积神经网络(第二卷积神经网络)，因此实施例七的电子设备可在运算能力低、资源受限的条件下通过前述训练得到的第二卷积神经网络较准确地进行物体检测。

可能以许多方式来实现本发明的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明实施例的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本发明实施例的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明实施例的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

本发明实施例的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (18)

1.一种卷积神经网络的处理方法，其特征在于，包括：

简化已训练完成的第一卷积神经网络，获得第二卷积神经网络，所述第一卷积神经网络和第二卷积神经网络均用于图像处理；

分别通过第一卷积神经网络和第二卷积神经网络检测第一训练样本数据，获得所述第一卷积神经网络输出的第一检测数据和所述第二卷积神经网络输出的第二检测数据，所述第一训练样本数据包括第一图像数据；

确定所述第一检测数据和所述第二检测数据之间的第一差异，并且确定所述第二检测数据和所述第一训练样本数据的标注数据之间的第二差异；

根据所述第一差异和所述第二差异调整所述第二卷积神经网络的网络参数。

2.根据权利要求1所述的方法，其中，在简化已训练完成的第一卷积神经网络之前，还包括：

使用带标注的第二训练样本数据，调整所述第一卷积神经网络的网络参数，以完成所述第一卷积神经网络的训练，所述第二训练样本数据包括第二图像数据。

3.根据权利要求1或2所述的方法，其中，所述简化已训练完成的第一卷积神经网络，获得第二卷积神经网络，包括：

减小所述第一卷积神经网络中至少一卷积层的卷积核的个数，获得所述第二卷积神经网络。

4.根据权利要求3所述的方法，其中，所述减小所述第一卷积神经网络中至少一卷积层的卷积核的个数，获得所述第二卷积神经网络，包括：

减小所述第一卷积神经网络中各卷积层的卷积核的个数，获得所述第二卷积神经网络。

5.根据权利要求1~2中任一项所述的方法，其中，所述根据所述第一差异和所述第二差异调整所述第二卷积神经网络的网络参数包括：

分别对所述第一差异和所述第二差异进行加权处理；

根据加权处理后的第一差异和第二差异调整所述第二卷积神经网络的网络参数。

6.一种物体检测方法，包括：

获取待检测图像；

采用如权利要求1~5中任一项所述的处理方法训练得到的第二卷积神经网络检测所述待检测图像中的目标对象。

7.根据权利要求6所述的方法，其中，所述待检测图像为待检测的视频帧或静态图像。

8.根据权利要求6所述的方法，其中，所述目标对象是人脸、行人或车辆。

9.一种卷积神经网络的处理装置，其特征在于，包括：

网络简化模块，用于简化已训练完成的第一卷积神经网络，获得第二卷积神经网络，所述第一卷积神经网络和第二卷积神经网络均用于图像处理；

检测数据获取模块，用于分别通过第一卷积神经网络和第二卷积神经网络检测第一训练样本数据，获得所述第一卷积神经网络输出的第一检测数据和所述第二卷积神经网络输出的第二检测数据，所述第一训练样本数据包括第一图像数据；

第一差异获取模块，用于确定所述第一检测数据和所述第二检测数据之间的第一差异；

第二差异获取模块，用于确定所述第二检测数据和所述第一训练样本数据的标注数据之间的第二差异；

参数调整模块，用于根据所述第一差异和所述第二差异调整所述第二卷积神经网络的网络参数。

10.根据权利要求9所述的装置，其中，所述装置还包括：

第一网络训练模块，用于使用带标注的第二训练样本数据，调整所述第一卷积神经网络的网络参数，以完成所述第一卷积神经网络的训练，所述第二训练样本数据包括第二图像数据。

11.根据权利要求9或10所述的装置，其中，所述网络简化模块用于减小所述第一卷积神经网络中至少一卷积层的卷积核的个数，获得所述第二卷积神经网络。

12.根据权利要求11所述的装置，其中，所述网络简化模块用于减小所述第一卷积神经网络中各卷积层的卷积核的个数，获得所述第二卷积神经网络。

13.根据权利要求9~10中任一项所述的装置，其中，所述参数调整模块用于分别对所述第一差异和所述第二差异进行加权处理，并且根据加权处理后的第一差异和第二差异调整所述第二卷积神经网络的网络参数。

14.一种物体检测装置，包括：

图像获取单元，用于获取待检测图像；

检测单元，用于采用如权利要求1~5中任一项所述的处理方法训练得到的第二卷积神经网络检测所述待检测图像中的目标对象。

15.根据权利要求14所述的物体检测装置，其中，所述待检测图像为待检测的视频帧或静态图像。

16.根据权利要求14所述的物体检测装置，其中，所述目标对象是人脸、行人或车辆。

17.一种电子设备，包括：第一处理器、第一存储器、第一通信元件和第一通信总线，所述第一处理器、所述第一存储器和所述第一通信元件通过所述第一通信总线完成相互间的通信；

所述第一存储器用于存放至少一可执行指令，所述可执行指令使所述第一处理器执行如权利要求1~5中任一项所述的卷积神经网络的处理方法对应的操作。

18.一种电子设备，包括：第二处理器、第二存储器、第二通信元件和第二通信总线，所述第二处理器、所述第二存储器和所述第二通信元件通过所述第二通信总线完成相互间的通信；

所述第二存储器用于存放至少一可执行指令，所述可执行指令使所述第二处理器执行如权利要求6~8任一项所述的物体检测方法对应的操作。

Images