CN108764287B - 基于深度学习和分组卷积的目标检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度学习和分组卷积的目标检测方法，涉及到基于深度学习的目标检测领域；其方法设计了一种新的网络结构：双路结构，双路结构主要包括主路结构和支路结构。该目标检测方法包括以下步骤：1)、对输入图像进行预处理；2)、基于区域推荐网络在输入图像上生成大量候选区域；3)、利用基于双路结构的卷积神经网络提取各候选区域的特征；4)、将所提取的特征输入分类器，进行分类。本发明还提出一种目标检测系统，包括图像采集单元，图像分析单元，分类单元。本发明解决了数据量、计算量大所导致的检测效率低的问题，达到了降低人力成本、提高安保等工作效率的效果。

Description

基于深度学习和分组卷积的目标检测方法及系统

技术领域

本发明涉及一种目标检测方法及系统，属于图像处理、计算机视觉、深度学习技术领域。

背景技术

随着社交网络等的快速发展，图像、视频等视觉数据呈现指数级增长。如何有效地利用这些视觉数据成了亟需解决的难题。

传统机器学习算法在处理受到不同姿态、光照变化、遮挡等干扰影响的图像时，识别率不高。深度学习算法的出现为解决这一问题提供了有效的方法。深度学习算法可以比传统机器学习算法更有效地提取视觉数据中的信息。目标识别与检测是深度学习算法的两个重要应用领域。经典的卷积神经网络结构包括VGG网络、Network in Network网络、GoogleNet网络等。但是这些网络在层数继续增加的时候会出现性能退化的情况。为了克服这一问题，学者们又相继提出ResNet网络、DenseNet网络等。但是ResNet网络相对而言容易发生过拟合，DenseNet网络产生的特征数量非常大。克服其各自的缺点并综合其优点，是亟需解决的难题。

发明内容

本发明所要解决的技术问题是：为了克服现有技术的缺点和不足，本发明提供一种可有效提高识别性能、参数效率、计算效率的新型网络结构——双路结构，并将其用于目标识别与检测领域。

为解决以上技术问题，本发明采用的技术方案为：

本发明首先提出一种基于深度学习和分组卷积的目标检测方法，包括如下步骤：

1)、采集图像信息；

2)、依次进行图像预处理、基于区域推荐网络的候选区域生成、基于深层卷积网络的特征提取，包括如下步骤：

2.1)、进行逐样本均值削减，即从图像中移除平均亮度值，并进行归一化处理；

2.2)、基于深度学习算法选出图像中大量可能包括目标的区域；

2.3)、基于双路结构的卷积神经网络提取出有效特征，用于表征目标；

3)、将步骤2.3提取出的有效特征输入分类器，进行分类并完成可视化显示效果。

进一步的，本发明所提出的目标检测方法，所述步骤2.3中的双路结构包括主路结构和支路结构，基于双路结构的卷积神经网络提取出有效特征的方法如下：

2.3.1)、主路结构采用基于拼接方式的跨层连接结构，产生不同组的卷积特征；

2.3.2)、支路结构的输入为主路结构所产生的不同组的卷积特征，一条支路对应于一组卷积特征，每条支路所进行的操作如下：

2.3.2.1)、对支路的输入进行批规范化处理；

2.3.2.2)、利用ReLU函数对步骤2.1的输出进行非线性处理；

2.3.2.3)、对步骤2.2的输出进行3×3卷积操作；

2.3.3)、将主路结构和支路结构在双路结构的最后部分进行相加融合，提取出有效特征。

进一步的，本发明所提出的目标检测方法，所述主路结构由n个包含BN->ReLU->3×3卷积的基本结构堆叠而成，n表示基本结构的个数，其中，基本结构的输入为x，BN->ReLU->3×3卷积结构学习了一个非线性函数g(·),则BN->ReLU->3×3卷积结构的输出为g(x),从而基本结构的输出为：

[x,g(x)]；

记第k个基本结构所学习的非线性函数为gk(·),其输出为x_k，则第i个基本结构的输入为：

[x₁,x₂,…,x_i-1]；

得到第i个基本结构的输出与第1,2,…,i-1个基本结构的输出之间存在以下关系：

x_i＝g_i([x₁,x₂,…,x_i-1])；

则主路结构的输出为：

[x₁,x₂,…,x_n]；

支路结构由n个支路构成，设第i个支路所学习到的非线性函数为f_i(·),那么支路结构的输出为：

f(x)＝f₁(x₁)+f₂(x₂)+…+f_n(x_n)；

其中：

x＝[x₁,x₂,…,x_n]；

通过相加融合的方式来整合主路结构的输出和支路结构的输出，则双路结构的输出为：

x+f(x)。

本发明还提出一种基于深度学习和分组卷积方法的目标检测系统，包括：

图像采集单元，用于采集图像信息，并将采集到的图像信息发送给图像分析单元；

图像分析单元，包括预处理模块、区域推荐网络模块、特征提取模块，其中：

预处理模块，用于进行逐样本均值削减，即从图像中移除平均亮度值，并进行归一化处理；

区域推荐网络模块，基于深度学习算法选出图像中大量可能包括目标的区域；

特征提取模块，基于双路结构的卷积神经网络提取出有效特征，用于表征目标；

分类单元，用于将提取出的有效特征输入分类器，进行分类并完成可视化显示效果。

进一步的，本发明所提出的目标检测系统，所述特征提取模块包括主路单元、支路单元、融合单元，其中

主路单元，采用基于拼接方式的跨层连接结构，产生不同组的卷积特征；

支路单元，其输入为主路单元所产生的不同组的卷积特征，每个支路单元对应于一组卷积特征，所述支路单元被配置进行如下操作：对支路的输入进行批规范化处理；利用ReLU函数对预处理模块的输出进行非线性处理；对区域推荐网络模块的输出进行3×3卷积操作；

融合单元，用于对主路单元和支路单元的最终结果进行相加融合，提取出有效特征。

本发明相比现有技术，具有以下有益效果：

本发明提供的双路结构通过在主路结构中采用基于拼接方式的跨层连接结构实现了良好的正则化功能，通过支路结构实现了基于相加方式的大范围跨层连接结构，优化了信息、梯度的传输，降低了训练难度。双路结构可以有效地提高识别精度以及参数效率、计算效率。

附图说明

图1是本发明所提出的双路结构的示意图，其中实线框内的是主路结构，虚线框内的是支路结构。

图2是本发明所提出的主路结构的基本结构，其中输入特征图和BN->ReLU->3×3卷积结构的输出特征图拼接在一起，得到基本结构的输出。

图3是本发明所提出的主路结构，该结构由如图2所示的基本结构堆叠而成。

图4是本发明所提出的支路结构，其中x₁、x₂、…、x_n是主路结构中BN->ReLU->3×3卷积结构的输出；f₁(x)、f₂(x)、…、f_n(x)是图1虚线框内结构所学习到的非线性函数。

图5是基于双路结构的深度卷积网络结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明做更进一步的说明：

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

本发明提出一种基于深度学习和分组卷积的目标检测方法，如图1-5所示，通过双路结构中主路结构和支路结构的相互协作实现了提取更有效的特征的目的，具体包括如下步骤：

1)、采集图像信息，并将采集到的图像信息发送给图像分析单元；

2)、依次进行图像预处理、基于区域推荐网络的候选区域生成、基于深层卷积网络的特征提取；

3)、将步骤2提取出的有效特征输入分类器，进行分类并完成可视化显示效果。本发明采用图像可视化单元，用于可视化显示各目标的位置、种类以及置信度。

所述步骤2)中的图像分析单元依次进行图像预处理、基于区域推荐网络的候选区域生成、基于深层卷积网络的特征提取的方法包括如下步骤：

2.1)、进行逐样本均值削减,即从图像中移除平均亮度值，并进行归一化处理；

2.2)、区域推荐网络，基于深度学习算法选出图像中大量可能包含目标的区域；

2.3)、基于双路结构的卷积神经网络提取出有效特征，用于表征目标。

本发明所提深度学习网络结构主要是双路结构，双路结构如图1所示，双路结构由主路结构和支路结构组成。

主路结构的基本结构如图2、图3所示，主路结构由这些基本结构堆叠而成，设基本结构的输入为x,BN->ReLU->3×3卷积结构实际上学习了一个非线性函数g(·),则

BN->ReLU->3×3卷积结构的输出为g(x),从而基本结构的输出为

[x,g(x)] (1)

设主路结构由n个如图1所示的基本结构堆叠而成，并且记第k个基本结构所学习的非线性函数为gk(·),其输出为x_k,那么第i个基本结构的输入为

[x₁,x₂,…,x_i-1] (2)

从而可得到第i个基本结构的输出与第1,2,…,i-1个基本结构的输出之间存在以下关系：

x_i＝g_i([x₁,x₂,…,x_i-1]) (3)

从而主路结构的输出为

[x₁,x₂,…,x_n] (4)

支路结构如图4所示，支路结构中支路数量和主路结构中如图2所示的基本结构的数量相同，设第i个支路所学习到的非线性函数为f_i(·),那么支路结构的输出为

f(x)＝f₁(x₁)+f₂(x₂)+…+f_n(x_n) (5)

其中

x＝[x₁,x₂,…,x_n] (6)

本发明通过相加融合的方式来整合主路结构的输出和支路结构的输出。从而双路结构的输出为

x+f(x) (7)

所述步骤2.3中基于双路结构的卷积神经网络提取出有效特征的方法如下：

2.3.1)、主路结构采用如图2所示的基于拼接方式的跨层连接结构，产生不同组的卷积特征；

2.3.2)、支路结构的输入为主路结构所产生的不同组的卷积特征，一条支路对应于一组卷积特征，每条支路所进行的操作如下：

2.3.2.1)、对支路的输入进行批规范化处理；

2.3.2.2)、利用ReLU函数对步骤2.1的输出进行非线性处理；

2.3.2.3)、对步骤2.2的输出进行3×3卷积操作；

2.3.3)、主路结构和支路结构在双路结构的最后部分按(7)进行相加融合，提取出有效特征。

如图5所示，为一只猫的图像预测实施例。负责连接双路结构的是2×2均值池化层，可用于减少冗余信息。该结构的最后部分为全连接层以及Softmax分类器，用于对目标进行分类。采用本发明的方法，设定在基于双路结构的目标检测网络中，双路结构的个数为L＝3。每一个主路结构中3×3卷积操作个数为N＝12,每一个3×3卷积操作的输出通道数为K＝12,步长为1。支路结构的输出需要和主路结构的输出进行融合，故每条支路的输出通道数为C＝156。传输层中1×1卷积的输出通道数为12，步长为1，其预测结果为猫。

本发明解决了数据量、计算量大所导致的检测效率低的问题，达到了降低人力成本、提高安保等工作效率的效果。

本技术领域技术人员可以理解的是，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来生成机器，从而通过计算机或其他可编程数据处理方法的处理器来执行的指令创建了用于实现结构图和/或框图和/或流图的框或多个框中指定的方法。

基于上述目标检测方法，本发明还提出一种基于深度学习和分组卷积方法的目标检测系统，包括：

图像采集单元，用于采集图像信息，并将采集到的图像信息发送给图像分析单元；

图像分析单元，包括预处理模块、区域推荐网络模块、特征提取模块，其中：

预处理模块，用于进行逐样本均值削减，即从图像中移除平均亮度值，并进行归一化处理；

区域推荐网络模块，基于深度学习算法选出图像中大量可能包括目标的区域；

特征提取模块，基于双路结构的卷积神经网络提取出有效特征，用于表征目标；

分类单元，用于将提取出的有效特征输入分类器，进行分类并完成可视化显示效果。

进一步的，本发明所提出的目标检测系统，所述特征提取模块包括主路单元、支路单元、融合单元，其中

主路单元，采用基于拼接方式的跨层连接结构，产生不同组的卷积特征；

支路单元，其输入为主路单元所产生的不同组的卷积特征，每个支路单元对应于一组卷积特征，所述支路单元被配置进行如下操作：对支路的输入进行批规范化处理；利用ReLU函数对预处理模块的输出进行非线性处理；对区域推荐网络模块的输出进行3×3卷积操作；

融合单元，用于对主路单元和支路单元的最终结果进行相加融合，提取出有效特征。

本技术领域技术人员可以理解的是，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

上面结合附图对本发明的实施方式作了详细地说明，但是本发明并不局限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (8)

1.一种基于深度学习和分组卷积的目标检测方法，其特征在于，包括如下步骤：

1)、采集图像信息；

2)、依次进行图像预处理、基于区域推荐网络的候选区域生成、基于深层卷积网络的特征提取，包括如下步骤：

2.1)、进行逐样本均值削减，即从图像中移除平均亮度值，并进行归一化处理；

2.2)、基于深度学习算法选出图像中大量可能包括目标的区域；

2.3)、基于双路结构的卷积神经网络提取出有效特征，用于表征目标；

3)、将步骤2.3提取出的有效特征输入分类器，进行分类并完成可视化显示效果；

所述步骤2.3中的双路结构包括主路结构和支路结构，基于双路结构的卷积神经网络提取出有效特征的方法如下：

2.3.1)、主路结构采用基于拼接方式的跨层连接结构，产生不同组的卷积特征；

2.3.2)、支路结构的输入为主路结构所产生的不同组的卷积特征，一条支路对应于一组卷积特征，每条支路所进行的操作如下：

2.3.2.1)、对支路的输入进行批规范化处理；

2.3.2.2)、利用ReLU函数对步骤2.1的输出进行非线性处理；

2.3.2.3)、对步骤2.2的输出进行3×3卷积操作；

2.3.3)、将主路结构和支路结构在双路结构的最后部分进行相加融合，提取出有效特征。

2.根据权利要求1所述的目标检测方法，其特征在于：所述主路结构由n个包含BN->ReLU->3×3卷积的基本结构堆叠而成，n表示基本结构的个数，其中，基本结构的输入为x，BN->ReLU->3×3卷积结构学习了一个非线性函数g(·),则BN->ReLU->3×3卷积结构的输出为g(x),从而基本结构的输出为：

[x,g(x)]

记第k个基本结构所学习的非线性函数为g_k(·),其输出为x_k，则第i个基本结构的输入为：

[x₁,x₂,…,x_i-1]

得到第i个基本结构的输出与第1,2,…,i-1个基本结构的输出之间存在以下关系：

x_i＝g_i([x₁,x₂,…,x_i-1])

则主路结构的输出为：

[x₁,x₂,…,x_n]

支路结构由n个支路构成，设第i个支路所学习到的非线性函数为f_i(·),那么支路结构的输出为：

f(x)＝f₁(x₁)+f₂(x₂)+…+f_n(x_n)

其中：

x＝[x₁,x₂,…,x_n]

通过相加融合的方式来整合主路结构的输出和支路结构的输出，则双路结构的输出为：

x+f(x)。

3.根据权利要求1所述的目标检测方法，其特征在于：所述双路结构的个数为L＝3。

4.根据权利要求1所述的目标检测方法，其特征在于：每一个主路结构中3×3卷积操作个数为N＝12。

5.根据权利要求1所述的目标检测方法，其特征在于：每一个3×3卷积操作的输出通道数为K＝12，步长为1。

6.根据权利要求1所述的目标检测方法，其特征在于：每条支路的输出通道数为C＝156。

7.根据权利要求1所述的目标检测方法，其特征在于：传输层中1×1卷积的输出通道数为12，步长为1。

8.一种基于深度学习和分组卷积方法的目标检测系统，其特征在于，包括：

图像采集单元，用于采集图像信息，并将采集到的图像信息发送给图像分析单元；

图像分析单元，包括预处理模块、区域推荐网络模块、特征提取模块，其中：

预处理模块，用于进行逐样本均值削减，即从图像中移除平均亮度值，并进行归一化处理；

区域推荐网络模块，基于深度学习算法选出图像中大量可能包括目标的区域；

特征提取模块，基于双路结构的卷积神经网络提取出有效特征，用于表征目标；

分类单元，用于将提取出的有效特征输入分类器，进行分类并完成可视化显示效果；

所述特征提取模块包括主路单元、支路单元、融合单元，其中

主路单元，采用基于拼接方式的跨层连接结构，产生不同组的卷积特征；

支路单元，其输入为主路单元所产生的不同组的卷积特征，每个支路单元对应于一组卷积特征，所述支路单元被配置进行如下操作：对支路的输入进行批规范化处理；利用ReLU函数对预处理模块的输出进行非线性处理；对区域推荐网络模块的输出进行3×3卷积操作；

融合单元，用于对主路单元和支路单元的最终结果进行相加融合，提取出有效特征。

Images