CN109359650A - 目标检测方法及装置、嵌入式设备 - Google Patents

Abstract

本申请公开了一种目标检测方法及装置、嵌入式设备。该方法包括在目标检测网络的骨干网络中将卷积层替换为：一深度卷积层和一点卷积层；根据多个不同尺度的特征图输出预测结果；其中，所述骨干网络中包括：卷积层、批归一化层、激活函数层。本申请解决了目标检测运算量大、预测速度慢的技术问题。通过本申请在较少损失网络表达能力的前提下，极大的压缩了模型的存储体积和计算量。此外，本申请可适用于手机等嵌入式设备。

Description

目标检测方法及装置、嵌入式设备

技术领域

本申请涉及计算机视觉领域，具体而言，涉及一种目标检测方法及装置、嵌入式设备。

背景技术

随着计算机视觉的快速发展，人脸识别，物体检测等领域已经有了很大的进展，尤其在准确率上有了很大的提升，很多深层次网络的出现更是加快了人脸识别，物体检测等领域的进展，在很多计算机视觉的公开数据集上，都有了很大的飞跃，比如，人脸识别LFW数据集，准确率已经达到99.83％，远超人眼准确度。又比如，Pascal VOC数据集，物体检测也将近90％的准确率，再比如，COCO数据集，物体检测达到50％以上的准确率。

发明人发现，很多准确率高的方法都是基于很大的网络。然而它们也有着运行速度慢、同时训练时间长的弊端。

针对相关技术中目标检测运算量大、预测速度慢的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种目标检测方法及装置、嵌入式设备，以解决目标检测运算量大、预测速度慢的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种目标检测方法。

根据本申请的目标检测方法包括：在目标检测网络的骨干网络中将卷积层替换为：一深度卷积层和一点卷积层；根据多个不同尺度的特征图输出预测结果；其中，所述骨干网络中包括：卷积层、批归一化层、激活函数层。

进一步地，在目标检测网络的骨干网络中将卷积层替换为：3*3深度卷积层和1*1点卷积层。

进一步地，根据多个不同尺度的特征图输出预测结果包括：采用MobileNets网络块对所述骨干网络的最后一层的特征图做预设缩放。

进一步地，在目标检测网络的骨干网络中将卷积层替换为：一深度卷积层和一点卷积层包括：在SSD目标检测网络的骨干网络中以MobileNets作为骨干网络的SSD网络的检测模型。

进一步地，根据多个不同尺度的特征图输出预测结果包括：在服务器端采用MobileNets结构网络块构造多个不同尺度的特征图进行目标检测，得到用于多项基于深度学习的检测任务。

进一步地，根据多个不同尺度的特征图输出预测结果包括：在移动端采用MobileNets结构网络块构造多个不同尺度的特征图进行目标检测，得到用于多项基于深度学习的检测任务。

为了实现上述目的，根据本申请的另一方面，提供了一种目标检测装置。

根据本申请的目标检测装置包括：替换模块，用于在目标检测网络的骨干网络中将卷积层替换为：一深度卷积层和一点卷积层；多尺度输出模块，用于根据多个不同尺度的特征图输出预测结果；其中，所述骨干网络中包括：卷积层、批归一化层、激活函数层。

进一步地，所述替换模块还用于，在SSD目标检测网络的骨干网络中将卷积层替换为：3*3深度卷积层和1*1点卷积层。

进一步地，所述多尺度输出模块还用于，采用MobileNets网络块对所述骨干网络的最后一层的特征图做预设缩放。

为了实现上述目的，根据本申请的另一方面，提供了一种嵌入式设备，包括：所述的目标检测装置。

在本申请实施例中，采用在目标检测网络的骨干网络中将卷积层替换为：一深度卷积层和一点卷积层的方式，通过根据多个不同尺度的特征图输出预测结果，达到了目标检测算法可应用于嵌入式设备以及实时性的目的，从而实现了在较少损失网络表达能力的前提下，极大的压缩了模型的存储体积和计算量的技术效果，进而解决了目标检测运算量大、预测速度慢的技术问题。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的目标检测方法示意图；

图2是根据本申请实施例的目标检测装置示意图；

图3是根据本申请实施例的目标检测原理示意图；以及

图4是根据本申请实施例的MobileNets网络结构原理。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。

并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。

此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

如图1所示，该方法包括如下的步骤S102至步骤S104：

步骤S102，在目标检测网络的骨干网络中将卷积层替换为：一深度卷积层和一点卷积层；

所述骨干网络中包括：卷积层、批归一化层、激活函数层。

主干网络部分使用两个低维度卷积核代替一个传统卷积核。两个低维度卷积可以是一个深度卷积层和一个点卷积层。采用该种替换方式不但减少了参数个数和计算量，而且增加了网络深度，提高了网络的非线性性，有助于提高网络的表达能力

具体地，在目标检测网络的骨干网络中将卷积层替换为：3*3深度卷积层和1*1点卷积层。从网络结构角度提升模型的检测速度、压缩模型体积。

步骤S104，根据多个不同尺度的特征图输出预测结果；

为了增加算法对于多尺度目标的检测能力，本算法并没有像大多数检测算法一样使用最后一个特征图进行预测，而是使用了多个不同尺度的特征图。

优选地，根据多个不同尺度的特征图输出预测结果包括：采用MobileNets网络块对所述骨干网络的最后一层的特征图做预设缩放。

具体地，使用MobileNets结构网络块构造多个不同尺度的特征图进行目标检测，提升了模型对多个不同尺度目标的检测效果。

此外，根据多个不同尺度的特征图输出预测结果包括：

在服务器端采用MobileNets结构网络块构造多个不同尺度的特征图进行目标检测，得到用于多项基于深度学习的检测任务。在服务器端可实时人脸识别、物体检测等深度学习任务。

根据多个不同尺度的特征图输出预测结果还包括：

在移动端采用MobileNets结构网络块构造多个不同尺度的特征图进行目标检测，得到用于多项基于深度学习的检测任务。在移动端可实时人脸识别、物体检测等深度学习任务。

从以上的描述中，可以看出，本申请实现了如下技术效果：

在本申请实施例中，采用在目标检测网络的骨干网络中将卷积层替换为：一深度卷积层和一点卷积层的方式，通过根据多个不同尺度的特征图输出预测结果，达到了目标检测算法可应用于嵌入式设备以及实时性的目的，从而实现了在较少损失网络表达能力的前提下，极大的压缩了模型的存储体积和计算量的技术效果，进而解决了目标检测运算量大、预测速度慢的技术问题。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本申请实施例，还提供了一种用于实施上述目标检测方法的装置，如图2所示，该装置包括：替换模块10，用于在目标检测网络的骨干网络中将卷积层替换为：一深度卷积层和一点卷积层；多尺度输出模块20，用于根据多个不同尺度的特征图输出预测结果；其中，所述骨干网络中包括：卷积层、批归一化层、激活函数层。

在本申请实施例的替换模块10中所述骨干网络中包括：卷积层、批归一化层、激活函数层。

主干网络部分使用两个低维度卷积核代替一个传统卷积核。两个低维度卷积可以是一个深度卷积层和一个点卷积层。采用该种替换方式不但减少了参数个数和计算量，而且增加了网络深度，提高了网络的非线性性，有助于提高网络的表达能力

具体地，在目标检测网络的骨干网络中将卷积层替换为：3*3深度卷积层和1*1点卷积层。从网络结构角度提升模型的检测速度、压缩模型体积。

在本申请实施例的多尺度输出模块20中为了增加算法对于多尺度目标的检测能力，本算法并没有像大多数检测算法一样使用最后一个特征图进行预测，而是使用了多个不同尺度的特征图。

优选地，根据多个不同尺度的特征图输出预测结果包括：采用MobileNets网络块对所述骨干网络的最后一层的特征图做预设缩放。

具体地，使用MobileNets结构网络块构造多个不同尺度的特征图进行目标检测，提升了模型对多个不同尺度目标的检测效果。

此外，根据多个不同尺度的特征图输出预测结果包括：

在服务器端采用MobileNets结构网络块构造多个不同尺度的特征图进行目标检测，得到用于多项基于深度学习的检测任务。在服务器端可实时人脸识别、物体检测等深度学习任务。

根据多个不同尺度的特征图输出预测结果还包括：

在移动端采用MobileNets结构网络块构造多个不同尺度的特征图进行目标检测，得到用于多项基于深度学习的检测任务。在移动端可实时人脸识别、物体检测等深度学习任务。

作为本实施例中的优选，所述替换模块10还用于，在SSD目标检测网络的骨干网络中将卷积层替换为：3*3深度卷积层和1*1点卷积层。从网络结构角度提升模型的检测速度、压缩模型体积。

作为本实施例中的优选，所述多尺度输出模块20还用于，采用MobileNets网络块对所述骨干网络的最后一层的特征图做预设缩放。具体地，使用MobileNets结构网络块构造多个不同尺度的特征图进行目标检测，提升了模型对多个不同尺度目标的检测效果。

此外，在本申请的另一实施例中还提供了嵌入式设备，包括：所述的目标检测装置。目标检测装置的实现原理和有益效果如上所述，在本此处中不在赘述。

本申请的实现原理如下：

本发明分为主干网络结构设计和检测网络结构设计两部分。

主干网络部分使用两个低维度卷积核代替一个传统卷积核，传统卷积层与激活函数层和批归一化层以及替换后的卷积层的关系如图4所示，可以看出这种替换方式不但减少了参数个数和计算量，而且增加了网络深度，提高了网络的非线性性，有助于提高网络的表达能力。

同时，为了增加算法对于多尺度目标的检测能力，本申请中并没有像大多数检测算法一样使用最后一个特征图进行预测，而是使用了多个不同尺度的特征图，如图3所示。其中虚线框表示的骨干网络(Backbone Network)即为前面介绍的MobileNets网络结构，后面的拓展特征层(Extra Feature Layers)同样使用如图4所示一样的MobileNets网络块对骨干网络最后一层的特征图做多次缩放，得到多个不同尺寸的特征图分别进行预测，并汇总预测结果集中处理。这种网络结构大大提高了模型的检测效果。

在本申请中以MobileNets作为骨干(backbone)网络的SSD检测模型，与现有的技术方案相比，本发明的优点包括：本申请中的全新网络结构，可以直接替换现有深度学习目标检测方法，做到端到端的训练，且模型尺寸小，计算量小，运行速度快，资源利用率高。此外，本申请实施例中提出的目标检测算法可以将模型体积减少为原本的1/5，速度提升了至少10倍，准确率降低15～20％。

以SSD目标检测算法为例，在本申请中为了解决物体检测算法模型运算量大、预测速度慢的问题，本申请基于上述的MobileNets网络结构构建SSD目标检测算法，该方法可以用于手机等嵌入式智能硬件上的实时人脸识别、物体检测等深度学习任务。本发明一方面提出MobileNets-SSD单步目标检测方法，从网络结构和检测算法结构两个角度提升模型的检测速度、压缩模型体积，另一方面使用如图4所示的MobileNets结构网络块构造多个不同尺度的特征图进行目标检测，提升了模型对多个不同尺度目标的检测效果。

优选地，本申请的目标检测网络可以用于多项基于深度学习的检测任务，并可以用于移动端和服务器端。由于本网络具备速度快，模型体积小等特点，使得它尤其适合用在手机等计算能力弱、内存有限的嵌入式设备中。经测试，在相同硬件条件下，本算法相比ResNet101-Faster-RCNN等主流检测算法有10倍以上的速度提升，同时精度能达到前者的80％以上，且模型体积不到前者的五分之一。

总的来说，本申请中为了解决深度学习目标检测算法速度慢、内存消耗大的问题，提出了一个全新的检测算法，叫做MobileNets-SSD，很好的解决了传统深度学习目标检测算法无法应用于嵌入式设备和实时性差的问题。

比如，一个基于ResNet101的Faster-RCNN目标检测任务，其完整模型的存储体积可达数百兆，对于内存在1Gb左右的智能手机、智能家电、无人机等嵌入式智能硬件来说是无法接受的。而且这样的模型在目前主流的PC用GPU上的预测速度也只有3～4帧，同时，对于无人车，安防监控等对实时性要求高的系统来说，这无法达到要求；尤其在CPU上，大网络如VGG16的运行时间可达数秒，无法达到实时检测的需要。所以加速现有深度学习任务的预测速度并降低模型的运算量和存储体积。众所周知，深度神经网络提取特征的能力很大程度受其深度影响，而对于传统卷积网络结构(如VGG等)增大深度不仅会大大增加计算量，还会增大训练难度。而ResNet和DenseNet等网络结构虽然通过引入残差结构使得超深网络的训练成为可能，但依然没有解决层数的增加带来的计算量过大的问题。Inception系列网络结构在这方面做出了很多很有价值的尝试：它的使用了多种特殊的卷积结构在不损失网络特征提取能力的情况下有效降低了网络的计算量。相比之下，本申请目标检测方法，包括：在目标检测网络的骨干网络中将卷积层替换为：一深度卷积层和一点卷积层；根据多个不同尺度的特征图输出预测结果；其中，所述骨干网络中包括：卷积层、批归一化层、激活函数层。其中使用的MobileNets卷积网络结构更近一步，通过两种不同功能的卷积核结合代替一个传统卷积核的方式，在较少损失网络表达能力的前提下，极大的压缩了模型的存储体积和计算量。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种目标检测方法，其特征在于，包括：

在目标检测网络的骨干网络中将卷积层替换为：一深度卷积层和一点卷积层；

根据多个不同尺度的特征图输出预测结果；

其中，所述骨干网络中包括：卷积层、批归一化层、激活函数层。

2.根据权利要求1所述的目标检测方法，其特征在于，在目标检测网络的骨干网络中将卷积层替换为：3*3深度卷积层和1*1点卷积层。

3.根据权利要求1所述的目标检测方法，其特征在于，根据多个不同尺度的特征图输出预测结果包括：

采用MobileNets网络块对所述骨干网络的最后一层的特征图做预设缩放。

4.根据权利要求1所述的目标检测方法，其特征在于，在目标检测网络的骨干网络中将卷积层替换为：一深度卷积层和一点卷积层包括：

在SSD目标检测网络的骨干网络中以MobileNets作为骨干网络的SSD网络的检测模型。

5.根据权利要求1所述的目标检测方法，其特征在于，根据多个不同尺度的特征图输出预测结果包括：

在服务器端采用MobileNets结构网络块构造多个不同尺度的特征图进行目标检测，得到用于多项基于深度学习的检测任务。

6.根据权利要求1所述的目标检测方法，其特征在于，根据多个不同尺度的特征图输出预测结果包括：

在移动端采用MobileNets结构网络块构造多个不同尺度的特征图进行目标检测，得到用于多项基于深度学习的检测任务。

7.一种目标检测装置，其特征在于，包括：

替换模块，用于在目标检测网络的骨干网络中将卷积层替换为：一深度卷积层和一点卷积层；

多尺度输出模块，用于根据多个不同尺度的特征图输出预测结果；

其中，所述骨干网络中包括：卷积层、批归一化层、激活函数层。

8.根据权利要求7所述的目标检测装置，其特征在于，所述替换模块还用于，在SSD目标检测网络的骨干网络中将卷积层替换为：3*3深度卷积层和1*1点卷积层。

9.根据权利要求7所述的目标检测装置，其特征在于，所述多尺度输出模块还用于，

采用MobileNets网络块对所述骨干网络的最后一层的特征图做预设缩放。

10.一种嵌入式设备，其特征在于，包括：如权利要求7至9任一项所述的目标检测装置。