CN113902904B - 一种轻量化网络架构系统 - Google Patents
一种轻量化网络架构系统 Download PDFInfo
- Publication number
- CN113902904B CN113902904B CN202111166836.5A CN202111166836A CN113902904B CN 113902904 B CN113902904 B CN 113902904B CN 202111166836 A CN202111166836 A CN 202111166836A CN 113902904 B CN113902904 B CN 113902904B
- Authority
- CN
- China
- Prior art keywords
- lightweight
- downsampling
- convolution
- layer
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000007704 transition Effects 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 31
- 230000008859 change Effects 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 65
- 238000000926 separation method Methods 0.000 abstract description 10
- 238000004364 calculation method Methods 0.000 abstract description 8
- 238000004422 calculation algorithm Methods 0.000 description 27
- 235000013399 edible fruits Nutrition 0.000 description 12
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 11
- 240000003768 Solanum lycopersicum Species 0.000 description 11
- 238000002474 experimental method Methods 0.000 description 11
- 238000012360 testing method Methods 0.000 description 11
- 241000207199 Citrus Species 0.000 description 10
- 235000011430 Malus pumila Nutrition 0.000 description 10
- 235000015103 Malus silvestris Nutrition 0.000 description 10
- 235000020971 citrus fruits Nutrition 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 10
- 238000002679 ablation Methods 0.000 description 8
- 238000011897 real-time detection Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 241000220225 Malus Species 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000002420 orchard Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
Abstract
本发明公开了一种轻量化网络架构系统，包括：多个轻量化的网络卷积块，将CSPNet的部分块中堆叠的多个Res block或Dense block替换为微型跨阶段网络结构轻量化部分块，并且减少了一个部分过渡层，同时将双融合操作替换为单融合操作；以及基于特征图大小变化的下采样模块。轻量化的网络卷积块作为主干网络，将传统CSPNet中不同尺度下使用的block的内部结构进行了轻量化处理，替换为用轻量化的网络卷积块提取特征，避免了检测耗时长的问题；计算效率高的轻量级CSP目标检测网络，用于轻量化检测和物体分离，是一种计算效率高的轻量级CSP目标检测网络，提升了检测和分离的准确性和速度。
Description
技术领域
本发明涉及计算机视觉和图像处理领域，尤其涉及目标识别视觉领域中实现有效目标检测的网络架构，具体涉及一种轻量化网络架构系统。
背景技术
物体检测是一种利用计算机技术检测并识别出图像或视频中感兴趣目标(如农作物、包裹等)的类别与位置信息的方法，是计算机视觉领域中重要研究课题之一。近年来随着计算机视觉领域的飞速发展以及智慧农业建设、智慧物流等概念的相继提出，基于计算机视觉的物体分离检测技术作为智慧农业建设和智慧物流建设的一项尤为重要的技术，在水果品质检测、成熟度识别、产量预测和自动采摘、包裹的识别和分离，分拣等方面有着广泛的应用。
此外，随着深度学习技术的不断完善与发展，基于深度学习的物体检测技术已经广泛地应用在无人驾驶、辅助驾驶、人脸识别、无人安防、人机交互、行为识别等诸多现实领域中。卷积神经网络(Convolutional Neural Networks，简称CNN，有时也称ConvNet)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deep learning)的代表算法之一。
作为深度学习技术中的重要研究方向之一，深度卷积神经网络在物体检测应用上已经取得了显著成果，以及能够在图像数据中实现对感兴趣目标的实时检测与识别。现有的技术就是改变卷积神经网络的参数，目前通用的几种方法是放大卷积神经网络的深度、宽度以及分辨率，现有的放大卷积网络方法，常用手段就是单独放大这三个维度中的一个，尽管任意放大两个或者三个维度也是可能的，但是任意缩放需要繁琐的人工调参，同时可能产生的是一个次优的精度和效率，使得最后输出图像的精度和识别效率并没有达到理想的值，例如导致目标识别率降低；与此同时，由于识别网络框架的限制，反而会造成目标检测的识别效率降低。
例如，现有技术采取了模型缩放的方法提高目标检测的精度：如缩放CNN神经网络以适应不同的资源约束；再或者ResNet通过调整网络深度(层)来缩小(例如ResNet-18)或增大(例如ResNet-200)；再或者WideResNet、MobileNets通过网络宽度(频道)来缩放CNN来提高识别图像的识别率。放大网络宽度、深度或分辨率的任何维度都可以提高精度，但对于更大的网络架构模型，其输出的图像目标物识别率反而会有所降低。
现在主流的CNN架构例如ResNet、Densenet每一层的输出都是由该层的卷积运算以及先前所有层的输出共同组成。然而，这样做会导致在模型的第k层中(k＝1，k＝2，......)，梯度流每次都要从第一层开始重新走到k层以此来更新和使用权重，导致重复学习冗余的信息。
近年来也有研究学者在提高模型的学习能力和参数信息利用率方面进行了研究，其中CSPNet在MS COCO目标检测数据集上达到了最先进的测试结果。该算法通过跨阶段部分连接的方式将第k-1层卷积运算的输出xk-1在下一层中映射为两个通道，并且通过一个跨阶段的层次结构后进行合并，使得其中一个通道进行梯度的更新而另一个通道保持原本的梯度信息不变，以此来保证传播的梯度信息保持着较大的相关性差异，减少梯度复用的问题。CSPNet优化后的网络结构可以表示为：
xk＝M{[x′k-1，T(F(x″k-1))]} (1)
xk是第k层的输入，第k-1层的输入xk-1在通过一个卷积层之后被分成两个通道，可以表示为xk-1＝[xk-1，xk-1]，T为过渡函数用于截断xk(k＝1，k＝2，......)中的梯度流，M表示1×1的卷积运算，用于将被分开的两个通道整合在一起，同时控制通道的数量。
但是以上传统CSPNet所取得的技术效果还决定于其庞大的网络模型，其网络模型中依旧存在参数量庞大、计算量庞大导致检测耗时长的问题，无法在低算力计算设备中进行实时检测。
发明内容
为了解决现有技术中存在的问题，本发明在CSPNet的基础上进行轻量化处理，提供了一种轻量化网络架构系统，为了保证目标检测算法在移动端或固定端计算设备，特别是低算力计算设备中进行实时检测的同时精度尽可能高，将该系统部署在便携性强、性能强大的低算力计算设备中，该轻量化网络架构系统能够大幅度提高检测精度，并且在边缘设备中达到实时检测的效果。
本发明的目的在于提供一种轻量化网络架构系统，包括：
多个轻量化的网络卷积块，将CSPNet的部分块中堆叠的多个Res block或Denseblock替换为微型跨阶段网络结构轻量化部分块，且每个所述轻量化的网络卷积块减少了一个部分过渡层，同时将双融合操作替换为单融合操作；
以及基于特征图大小变化的下采样模块，用于实施基于特征图大小变化的下采样方法，所述基于特征图大小变化的下采样方法根据下采样倍数的不同自动切换下采样方式。
优选的，所述微型跨阶段网络结构轻量化部分块由三个卷积层组成。
优选的，所述基于特征图大小变化的下采样模块由多个基于跨尺度融合功能的下采样模块和多个最大池化模块组成。
优选的，所述轻量化的网络卷积块为三个。
优选的，所述轻量化网络架构系统为多层结构，每一层后均包括激活函数，以提高所述轻量化网络架构系统的训练质量。
优选的，所述激活函数为Leaky ReLU函数、Sigmoid函数、tanh函数和/或Relu函数。
优选的，所述微型跨阶段网络结构轻量化部分块表示为：
xk＝M{[x′k-1，T[F(y′k-1，T′(F(y″k-1))]]} (2)
其中所述xk为第k层的输入，第k-1层的输入xk-1在通过一个卷积层之后被分成两个通道，可以表示为xk-1＝[xk-1，xk-1]，T为过渡函数，用于截断xk(k＝1，2，......)中的梯度流，M表示1×1的卷积运算，用于将被分开的所述两个通道整合在一起，同时控制通道的总数；其中y′k-1和y″k-1分别是x″k-1在进入下一个卷积层之前被分成的两个通道，可以表示为x″k-1＝[y′k-1，y″k-1]，T′为新的过渡函数，用于截断上一个卷积层中的梯度流。
优选的：所述轻量化网络架构系统包括多尺度块结构，每一个尺度下的块结构的内部运行流程包括：
(1)将上一层的输出xk-1作为该层的输入，通过一个3×3×C1的卷积层X之后将其映射为N个通道分别进行运算处理；
(2)其中x′k-1保持不变，将x″k-1通过另一个3×3×C2的卷积层Y后再次将其映射为M个通道；
(3)将其中y″k-1经过一个3×3×C2的卷积层Z后，再与y′k-1进行特征融合变成维度为M×C2的
(4)将与之前的x′k-1进行特征融合以及1×1卷积运算将维度扩大一倍后变成/>其维度为N×C1+M×C2，最后将得到的结果作为xk输入到下一层。
优选的，所述基于特征图大小变化的下采样方法包括：
在下采样倍数低于第一倍数阈值，图像尺寸大于第一尺寸阈值、感受野小于第一感受野阈值、所提取到的特征皆为低级纹理颜色特征的情况下，采用基于跨尺度融合功能的下采样模块在浅层网络中提取特征；
在下采样倍数高于第一倍数阈值，图像尺寸小于第一尺寸阈值、感受野大于第一感受野阈值、所提取到的特征皆为高级语义特征的情况下，使用最大池化的方法提取特征。
优选的，所述在浅层网络中提取特征包括：
将尺度为X的原始图像a0输入后映射为两个通道，可以表示为a0＝[a′0，a″0]；
通道a′0通过在卷积核为3×3的卷积层中采用步长为2n的卷积运算进行下采样，此时该通道输出的特征图尺度变为原图像的即/>
对通道a″0通过卷积核为1×1的卷积层采用步长为2n的卷积运算进行下采样，此时该通道输出的特征图尺度变为原来的即/>
对a′0和a″0两个通道进行跨尺度的特征融合以完成一次图像尺寸从X缩小到的下采样操作；
在输入图像的浅层网络中进行多次跨尺度融合的下采样操作，直至下采样倍数高于或等于第一倍数阈值。
本发明提供的系统，具有如下有益效果：
针对现有的深度学习中的物体检测算法的网络模型过于复杂、参数数量和计算量过大，导致运行效率低，而且边缘设备的性能普遍较差，现有算法无法实现边缘设备的实时检测，原CSPNet网络结构复杂，无法在边缘设备中实时检测物体的问题，提出了一种以轻量级CSP目标检测网络Light-CSPNet作为主干网络，将传统CSPNet中不同尺度下使用的block的内部结构进行了轻量化处理，替换为用Light-CPS block提取特征，避免了检测耗时长的问题；计算效率高的轻量级CSP目标检测网络Light-CSPNet，用于轻量化检测和物体分离，是一种计算效率高的轻量级CSP目标检测网络，可以大大提升检测和分离的准确性和速度。
附图说明
图1(a)为现有技术的CSPNet中的Block原理架构图；
图1(b)为根据本发明优选实施例的Light-CSP block原理架构图；
图2为根据本发明优选实施例的CSPNet和Light-CSPNet主干网络的对比图；
图3为根据本发明优选实施例的主干网络中每一个Light-CSP block的内部流程图；
图4为根据本发明优选实施例的基于跨尺度融合功能的下采样模块网络结构图。
具体实施方式
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。
本发明提供的方法可以在如下的终端环境中实施，该终端可以包括一个或多个如下部件：处理器、存储器和显示屏。其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现下述实施例所述的方法。
处理器可以包括一个或者多个处理核心。处理器利用各种接口和线路连接整个终端内的各个部分，通过运行或执行存储在存储器内的指令、程序、代码集或指令集，以及调用存储在存储器内的数据，执行终端的各种功能和处理数据。
存储器可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。存储器可用于存储指令、程序、代码、代码集或指令。
显示屏用于显示各个应用程序的用户界面。
除此之外，本领域技术人员可以理解，上述终端的结构并不构成对终端的限定，终端可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，终端中还包括射频电路、输入单元、传感器、音频电路、电源等部件，在此不再赘述。
本实施例的一种轻量化网络架构系统，包括：
多个轻量化的网络卷积块(Light-CSP block)，用于提取特征，提高检测精度的同时大大减少了检测耗时，将CSPNet的部分过渡块(Partial Block)中堆叠的大量Res block或Dense block替换为一个仅由三个卷积层组成的微型跨阶段网络结构Light PartialBlock，且每个所述轻量化的网络卷积块减少了一个部分过渡层(Partial TransitionLayer)以减少计算量，同时将双融合操作(Double fusion operation)替换为单融合操作(One fusion operation)，进一步提高网络运行速度。
还包括基于特征图大小变化的下采样模块，用于实施基于特征图大小变化的下采样机制来应对下采样倍数不同时传统单一下采样方法无法有效保留各种尺度特征图的问题，能够更好的提高检测精度。
作为优选的实施方式，所述基于特征图大小变化的下采样模块由两个基于跨尺度融合功能的下采样模块和三个最大池化模块组成。
作为优选的实施方式，所述轻量化的网络卷积块Light-CSP Block为三个。
作为优选的实施方式，所述轻量化网络架构系统为多层结构，每一层后都会使用一个batch normalization和Leaky ReLU激活函数帮助所述轻量化网络架构系统更好的进行训练。
如图1(b)所示为基于CSPNet的轻量级网络架构系统Light-CSPNet，在保证了检测精度的同时解决了检测耗时过长的问题。传统CSPNet和Light-CSPNet的具体结构分别如图1(a)和图1(b)所示。
将CSPNet的部分块(CSPNet Partial Block)部分堆叠的n个卷积模块替换为一个仅由数个卷积层组成的嵌套式微型跨阶段网络结构，可以表示为：
xk＝M{[x′k-1，T[F(y′k-1，T′(F(y″k-1)))]]} (2)
其中所述xk为第k层的输入，第k-1层的输入xk-1在通过一个卷积层之后被分成两个通道，可以表示为xk-1＝[xk-1，xk-1]，T为过渡函数，用于截断xk(k＝1，2，......)中的梯度流，M表示1×1的卷积运算，用于将被分开的所述两个通道整合在一起，同时控制通道的总数；其中y′k-1和y″k-1分别是x″k-1在进入下一个卷积层之前被分成的两个通道，可以表示为x″k-1＝[y′k-1，y″k-1]，T′为新的过渡函数，用于截断上一个卷积层中的梯度流。
通过这种方法将通道流进行切换并重新整合，不仅可以减少大量重复的梯度信息，使得梯度在传播过程中保持适当的相关性差异，而且进一步减少了网络中每一个block的计算量和参数量。通过这种方法缓解CSPNet这种大型网络对于高计算成本的依赖问题，提高了真实场景中物体检测的速度和精度，用于对真实的各种场景下的小密集物体进行实时检测。
传统CSPNet和本发明提出的Light-CSPNet的主干网络结构的对比图如图2所示。其中较大虚线框和多个较小虚线框部分分别为本发明在下采样模块和卷积块的内部结构部分所做出的更改内容。
图3展示了Light-CSPNet中每一个尺度下的block的内部具体流程图，整体可分为以下4步：
(1)将上一层的输出xk-1作为该层的输入，通过一个3×3×C1的卷积层X之后将其映射为x′k-1，x″k-1两个通道分别进行运算处理。
(2)其中x′k-1保持不变，将x″k-1通过另一个3×3×C2的卷积层Y后再次将其映射为y′k-1，y″k-1两个通道。
(1)将其中y″k-1经过一个3×3×C2的卷积层Z后，再与y′k-1进行特征融合变成维度为2×C2的
(2)将与之前的x′k-1进行特征融合以及1×1卷积运算将维度扩大一倍后变成其维度为C1+2×C2，最后将得到的结果作为xk输入到下一层。
在该框架中本系统使用一个嵌套式的双跨阶段网络结构来传播梯度信息，相比于堆叠n个Res block、Dense block来说，这种网络的计算量和参数量都大大减小，进一步提高了运行效率。使其可以达到在机器人边缘设备中进行实时的果实检测的目的。
作为优选的实施方式，所述基于特征图大小变化的下采样模块的提出基于如下背景。例如在果实检测领域，真实果园中的果实图像的尺寸一般都比较小，在经过几次重复下采样后，果实目标的尺寸仅能占一幅图像中的几个像素。在此类特殊场景下如果选用传统的步长为2的卷积+ReLU激活函数运算进行下采样，会使得相邻像素点之间的关系信息严重丢失，导致检测性能下降，在小目标检测中效果并不理想。而选用最大池化运算在下采样倍数较低时可能会将一些复杂图像中的有用信息也过滤掉。
现有技术中根据不同尺度下特征图与感受野大小的关系，提出了不同尺度下的特征图分别包含不同的特征信息。如果使用单一下采样方法的话则会忽略掉大量有用信息，降低检测精度。
针对上述问题，轻量化网络架构系统在主干网络中采取一种根据下采样倍数的不同自动切换下采样方式的基于特征图大小变化的下采样方法：
(1)在下采样倍数低时，图像尺寸较大、感受野较小、所提取到的特征皆为低级纹理颜色特征，此时采用基于跨尺度融合功能的下采样模块，可以弥补目前常用下采样方法中无法同时保留复杂图像有效信息和相邻像素间的信息的问题；
(2)在下采样倍数高时，图像尺寸较小、感受野较大、所提取到的特征皆为高级语义特征，使用最大池化的方法可以保留相邻像素间的关系，同时还能保持图像的平移不变性。通过这种算法可以在不增加计算量的情况下提高小目标果实的检测精度。
其中下采样倍数低时所用到的跨尺度融合的下采样模块的具体结构如图4所示。因为该下采样模块用在浅层网络中提取特征，而浅层特征容易造成梯度消失，所以算法总体思想借鉴ResNet中残差块的设计理念，(1)首先将尺度为X的原始图像a0输入后映射为两个通道，可以表示为a0＝[a′0，a″0]；(2)通道a′0通过在卷积核为3×3的卷积层中采用步长为2的卷积操作进行下采样，保证不会过于提高计算量的同时利用卷积进行特征提取，此时该通道输出的特征图尺度变为原图像的一半即0.5X；(3)通道a″0则通过卷积核为1×1步长为2的卷积运算，此时该通道输出的特征图尺度同样变为原来的一半即0.5X；(4)在这之后a′0和a″0两个通道进行跨尺度的特征融合以完成一次图像尺寸从X缩小到0.5X的下采样操作。在输入图像的浅层网络中进行两次这样的跨尺度融合的下采样操作，保证训练过程中减少相邻像素点之间信息丢失的同时达到又能有效提取到浅层特征图。
通过使用该基于特征图大小变化的下采样策略，可以根据下采样倍数的高低对下采样机制进行灵活的变动，在下采样倍数低时采用基于跨尺度融合的下采样方式可以保留复杂图像中的有用信息，提高浅层网络中梯度的利用效率，并在最后进行特征融合也能够大大提高网络的学习能力；在下采样倍数高时采用最大池化运算进行下采样可以减少相邻像素点间信息的丢失问题，充分提取特征中的深层语义信息。
作为优选的实施方式，所述轻量化网络架构系统Light-CSPNet的内部参数如表1所示，其中包含两个基于跨尺度融合功能的下采样模块和三个最大池化模块组成的基于特征图大小变化的下采样机制，以及三个轻量化的网络卷积块Light-CSP Block，每一层后面都会使用一个batch normalization和Leaky ReLU激活函数帮助网络更好的进行训练。
表1 Light-CSPNet的网络架构内部参数
具体实施例一：
在物流领域，将包裹分类流水线的包裹按照其在传送带上的位置和自身的尺寸信息进行归类运输，包括：以一定的高度差并且以对单件物体能够在整个视野尺寸覆盖的规则架设多台2D相机；获取多台2D相机分别采集的多幅图像，对采集后的多幅图像输入到轻量化主干网络中进行处理，利用包裹的特征信息将有高度差的两相机间的物流包裹关联匹配；对不同高度相机中对同一包裹成像大小利用相机成像原理计算物体的实际空间尺寸，并输出准确的物体位置信息。还公开了相应的物体单件分离系统，实现全自动化多并排物体的单件分离，提升物体分拣或识别效率，降低在单件分离系统中视觉装置的架设成本，解决目前单件分离系统的视觉系统硬件成本昂贵，对包裹定位不准确和实用性不高的问题。
具体实施例二：
实现果实检测网络模型，并进行定性和定量评估。为满足实际应用中的多品种异地采集的要求，本实施例选择在不同的果实检测数据集上进行测试，并且横向对比各种现在主流的网络模型，以评估不同网络架构在不同果实数据集中进行检测的性能。硬件设备使用GEFORCE GTX 1080Ti型号GPU，Intel i7 8th型号CPU的计算机完成整体算法的训练部分训练出一个成熟的模型，并且该模型部署在便携性强、性能表现良好的边缘设备中进行检测精度和检测速度的测试。模型在英伟达系列的三个价格性能各不相同的边缘设备上进行了测试，分别为NVIDIA Jetson Xavier NX，NVIDIA Jetson TX2和NVIDIA Jetson NANO。
(一)训练和测试所用的数据集
1、柑橘数据集
柑橘数据集是在中国某省某柑橘园区进行采集的。
2、番茄数据集
番茄数据集采用的是公开数据集Laboro Tomato。
3、苹果数据集
苹果数据集采用的是2020年提出的公开数据集Minneapple。
(二)训练策略
将不同的数据集分别进行训练，最终得到几个不同的训练模型，并将数据集中的图像按照7：3的比例随机分配到训练集和测试集中。其中几个重点的训练参数包括：使用SGD优化器优化梯度，动量设置为0.9，权重衰减设置为0.0005，初始学习率为0.01，batchsize设置为8，epoch为30000。
(三)评价矩阵Evaluation Metrics
本实施例使用精确率(P)、召回率(R)、平均精度AP、每秒处理的图像数量FPS、模型参数量(Params)、模型计算量FLOPs以及权重大小Weights作为评价指标评估目标检测性能的好坏。网络模型的参数量Params可以用于衡量网络模型的复杂程度，卷积核的尺寸和数量越多参数量也就越大；而网络模型的计算量FLOPs即浮点型运算量，表示网络模型的运算速度；权重文件的大小Weights用于衡量网络模型的大小，将使用这三个指标综合评价网络模型是否足够轻量化。
(四)实验结果对比分析
1、对比试验
本实验的目的是为了探究提出的轻量化网络模型在果实检测任务中所表现出性能的好坏，并且验证算法是否能在边缘设备上进行实时检测，以便部署在无人农场的机器人上，所以该实验的所有测试结果与评价指标均在边缘设备上进行测试。该实验共使用三种不同的边缘设备，分别为NVIDIA Jetson Xavier NX、NVIDIA Jetson TX2、NVIDIAJetson NANO。
在柑橘数据集、番茄数据集和苹果数据集上分别测试并对比了所提出的算法以及同时具备速度快精度高特点的单阶段主流YOLO系列算法，并且给出了在三个数据集上测试了平衡点的精确率Precision和召回率Recall、平均精度AP、参数量Params、计算量FLOPs、权重大小Weights以及在NX、TX2和NANO上面运行的平均每秒处理图像数FPS七个指标，结果分别如表1、表2和表3所示。
表1在柑橘数据集中的测试结果
表2在番茄数据集中的测试结果
表3在苹果数据集中的测试结果
从表中可以看出，在柑橘、番茄和苹果数据集中使用该算法的精度分别可以达到0.93、0.847和0.85，均达到了最先进(SOTA)的性能。从参数量、计算量和权重大小三个指标中可以看出本实施例算法足够轻量化，其中参数量和权重大小均是对比的网络模型中最小的，而计算量FLOPs要比YOLOv3-tiny和YOLOv4-tiny网络模型大，这是因为轻量化检测网络为了更好的传播梯度并保留提高特征表达能力，设计了一些相对复杂的网络结构。经过测试可以看出当算法部署在Jetson Xavier NX中时，检测速度FPS在三个数据集上分别可以达到21.3，24.8，21.7,均高于20，可以达到实时检测的目的。在Jetson TX2上检测速度FPS分别可以达到13.9，14.1，14.5。在Jetson NANO上检测速度FPS分别可以达到6.3，5.0，8.5。
2、消融实验
为了验证本实施例提出的各个模块对于检测性能的影响，本实施例进行组件消融实验对性能进行比较，其中初始情况设定为使用Light-CSPNet作为主干网络、传统最大池化层用于下采样、FPN进行特征融合，在此基础上分别测试了添加双注意力特征融合模块，将传统最大池化层替换为基于特征图大小变化的下采样模块，以及将FPN特征融合模块替换为深浅层特征融合模块这三个组件对于网络性能的提升情况，分别比较了各自的平均精度AP以及每秒处理图像数量FPS，每个数据集上的结果分别如表4、表5和表6所示。
表4为在柑橘数据集上进行组件消融实验结果。分别对比了基于特征图大小变化的下采样模块、深浅层融合模块以及双注意力模块三种算法对于算法性能的提升情况。
表4在柑橘数据集上进行组件消融实验结果
表5为在番茄数据集上组件消融实验结果。在番茄数据集上分别对比了基于特征图大小变化的下采样模块、深浅层融合模块以及双注意力模块三种算法对于对于算法性能的提升情况。
表5在番茄数据集上进行组件消融实验结果
表6为在苹果数据集上组件消融实验结果。在苹果数据集上分别对比了基于特征图大小变化的下采样模块、深浅层融合模块以及双注意力模块三种算法对于算法性能的提升情况。
表6在苹果数据集上进行组件消融实验结果
从表中可以得出结论，通过引入双注意力多尺度融合模块、基于特征图大小变化的下采样模块以及深浅层融合模块可以为果实检测精度带来进一步的提升，其中双注意力多尺度融合模块在柑橘、番茄和苹果数据集上对于检测精度分别提升了2.3％、1.3％和0.5％，基于特征图大小变化的下采样模块分别提升了1.1％、1.4％和0.4％，深浅层融合模块分别提升了0.2％、1.8％和2.1％，每个组件在不同数据集中对于精度带来了不同程度的提升，结论如下：
①仅使用本实施例提出的主干网络而不添加其于组件可以达到和YOLOv3网络模型接近的平均检测精度，而检测速度远超过YOLOv3和YOLOv4。
②YOLOv3-tiny和YOLOv4-tiny的检测速度是本实施例提出的算法的2倍左右，但本实施例的算法依旧可以达到20FPS以上，满足实时检测的需求。
③随着不同组件的添加，算法的检测精度也随之上升，但是检测速度方面呈下降的趋势，在实际应用中可可以根据实际场景的需要选择添加不同的组件进行不同场景下的果实检测。
本实施例的方法可以延伸到所有需要进行快速检测高效轻量的物体检测网络模型应用的智能领域。主干网络采用速度快精度高的Light-CSPNet，并提出了一种基于特征图大小变化的下采样机制弥补传统单一下采样方法无法考虑不同尺度特征图特点的问题。将主流的单阶段目标检测算法YOLO系列和本发明算法的平均精度AP和每秒处理的图像数FPS分别在边缘设备NVIDIA Jetson Xavier NX、NVIDIA Jetson TX2和NVIDIA JetsonNANO中进行测试。其中，检测精度可以超过大型网络模型YOLOv3和YOLOv4。而柑橘、番茄和苹果数据集的平均检测精度AP分别为0.93、0.847和0.850，达到最SOTA的性能。在检测速度方面，当该算法部署在NX上时，三个数据集的FPS分别可以达到21.3、24.8和21.7。当该算法部署在TX2上时，三个数据集的FPS分别可以达到13.9、14.1和14.5。当该算法部署在NANO上时，三个数据集的FPS分别可以达到6.3、5.0和8.5。此外，本发明中提出的各种组件可以灵活地增加或删除，进一步提高检测精度或检测速度。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (7)
1.一种轻量化网络架构系统，其特征在于，包括：
多个轻量化的网络卷积块，将CSPNet的部分块中堆叠的多个Res block或Dense block替换为微型跨阶段网络结构轻量化部分块，且每个所述轻量化的网络卷积块减少了一个部分过渡层，同时将双融合操作替换为单融合操作；以及
基于特征图大小变化的下采样模块，用于实施基于特征图大小变化的下采样方法，所述基于特征图大小变化的下采样方法根据下采样倍数的不同自动切换下采样方式；
所述微型跨阶段网络结构轻量化部分块表示为：
xk＝M{[x′k-1,T[F(y′k-1,T'(F(y″k-1))]]} (2)
其中所述xk为第k层的输入，第k-1层的输入xk-1在通过一个卷积层之后被分成两个通道，可以表示为xk-1＝[x'k-1,x″k-1]，T为过渡函数，用于截断xk(k＝1,2,……)中的梯度流，M表示1×1的卷积运算，用于将被分开的所述两个通道整合在一起，同时控制通道的总数；其中y'k-1和y″k-1分别是x″k-1在进入下一个卷积层之前被分成的两个通道，可以表示为x″k-1＝[y'k-1,y″k-1]，T'为新的过渡函数，用于截断上一个卷积层中的梯度流；
所述基于特征图大小变化的下采样方法包括：
在下采样倍数低于第一倍数阈值，图像尺寸大于第一尺寸阈值、感受野小于第一感受野阈值、所提取到的特征皆为低级纹理颜色特征的情况下，采用基于跨尺度融合功能的下采样模块在浅层网络中提取特征；
在下采样倍数高于第一倍数阈值，图像尺寸小于第一尺寸阈值、感受野大于第一感受野阈值、所提取到的特征皆为高级语义特征的情况下，使用最大池化的方法提取特征；
所述在浅层网络中提取特征包括：
将尺度为X的原始图像a0输入后映射为两个通道，可以表示为a0＝[a′0,a″0]；
通道a'0通过在卷积核为3×3的卷积层中采用步长为2n的卷积运算进行下采样，此时该通道输出的特征图尺度变为原图像的即/>对通道a″0通过卷积核为1×1的卷积层采用步长为2n的卷积运算进行下采样，此时该通道输出的特征图尺度变为原来的/>即/>
对a'0和a″0两个通道进行跨尺度的特征融合以完成一次图像尺寸从X缩小到的下采样操作；
在输入图像的浅层网络中进行多次跨尺度融合的下采样操作，直至下采样倍数高于或等于第一倍数阈值。
2.根据权利要求1所述的一种轻量化网络架构系统，其特征在于，所述微型跨阶段网络结构轻量化部分块由三个卷积层组成。
3.根据权利要求1所述的一种轻量化网络架构系统，其特征在于，所述基于特征图大小变化的下采样模块由多个基于跨尺度融合功能的下采样模块和多个最大池化模块组成。
4.根据权利要求1所述的一种轻量化网络架构系统，其特征在于，所述轻量化的网络卷积块为三个。
5.根据权利要求1所述的一种轻量化网络架构系统，其特征在于，所述轻量化网络架构系统为多层结构，每一层后均包括激活函数，以提高所述轻量化网络架构系统的训练质量。
6.根据权利要求5所述的一种轻量化网络架构系统，其特征在于，所述激活函数为LeakyReLU函数、Sigmoid函数、tanh函数和/或Relu函数。
7.根据权利要求1所述的一种轻量化网络架构系统，其特征在于：所述轻量化网络架构系统包括多尺度块结构，每一个尺度下的块结构的内部运行流程包括：
(1)将上一层的输出xk-1作为该层的输入，通过一个3×3×C1的卷积层X之后将其映射为N个通道分别进行运算处理；
(2)其中x'k-1保持不变，将x″k-1通过另一个3×3×C2的卷积层Y后再次将其映射为M个通道；
(3)将其中y″k-1经过一个3×3×C2的卷积层Z后，再与y'k-1进行特征融合变成维度为M×C2的
(4)将与之前的x'k-1进行特征融合以及1×1卷积运算将维度扩大一倍后变成/>其维度为N×C1+M×C2，最后将得到的结果作为xk输入到下一层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111166836.5A CN113902904B (zh) | 2021-09-30 | 2021-09-30 | 一种轻量化网络架构系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111166836.5A CN113902904B (zh) | 2021-09-30 | 2021-09-30 | 一种轻量化网络架构系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113902904A CN113902904A (zh) | 2022-01-07 |
| CN113902904B true CN113902904B (zh) | 2024-04-19 |
Family
ID=79190149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111166836.5A Active CN113902904B (zh) | 2021-09-30 | 2021-09-30 | 一种轻量化网络架构系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113902904B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115239557B (zh) * | 2022-07-11 | 2023-10-24 | 河北大学 | 轻量化的x光图像超分辨率重建方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019223254A1 (zh) * | 2018-05-21 | 2019-11-28 | 北京亮亮视野科技有限公司 | 多尺度轻量级人脸检测模型的构建方法及基于该模型的人脸检测方法 |
| CN113408423A (zh) * | 2021-06-21 | 2021-09-17 | 西安工业大学 | 适用于tx2嵌入式平台的水产品目标实时检测方法 |
-
2021
- 2021-09-30 CN CN202111166836.5A patent/CN113902904B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019223254A1 (zh) * | 2018-05-21 | 2019-11-28 | 北京亮亮视野科技有限公司 | 多尺度轻量级人脸检测模型的构建方法及基于该模型的人脸检测方法 |
| CN113408423A (zh) * | 2021-06-21 | 2021-09-17 | 西安工业大学 | 适用于tx2嵌入式平台的水产品目标实时检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113902904A (zh) | 2022-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110298266B (zh) | 基于多尺度感受野特征融合的深度神经网络目标检测方法 | |
| CN110533084A (zh) | 一种基于自注意力机制的多尺度目标检测方法 | |
| WO2021022521A1 (zh) | 数据处理的方法、训练神经网络模型的方法及设备 | |
| CN111046821B (zh) | 一种视频行为识别方法、系统及电子设备 | |
| CN109711422A (zh) | 图像数据处理、模型的建立方法、装置、计算机设备和存储介质 | |
| CN110533041B (zh) | 基于回归的多尺度场景文本检测方法 | |
| CN112561027A (zh) | 神经网络架构搜索方法、图像处理方法、装置和存储介质 | |
| Termritthikun et al. | NU-InNet: Thai food image recognition using convolutional neural networks on smartphone | |
| CN111178177A (zh) | 一种基于卷积神经网络的黄瓜病害识别方法 | |
| Cepni et al. | Vehicle detection using different deep learning algorithms from image sequence | |
| CN113902901B (zh) | 一种基于轻量化检测的物体分离方法与系统 | |
| Zhang et al. | Lightweight fruit-detection algorithm for edge computing applications | |
| Zhang et al. | FPGA implementation of quantized convolutional neural networks | |
| Jinpeng et al. | Method for detecting dragon fruit based on improved lightweight convolutional neural network. | |
| CN110610210A (zh) | 一种多目标检测方法 | |
| CN113743505A (zh) | 基于自注意力和特征融合的改进ssd目标检测方法 | |
| CN113887410A (zh) | 一种基于深度学习的多类别食材识别系统及方法 | |
| CN108363962B (zh) | 一种基于多层次特征深度学习的人脸检测方法及系统 | |
| CN114898359B (zh) | 一种基于改进EfficientDet的荔枝病虫害检测方法 | |
| CN112507904A (zh) | 一种基于多尺度特征的教室人体姿态实时检测方法 | |
| CN113902904B (zh) | 一种轻量化网络架构系统 | |
| CN116664859A (zh) | 移动端实时目标检测方法、终端设备及存储介质 | |
| CN113298817A (zh) | 一种准确率高的遥感图像语义分割方法 | |
| CN115035381A (zh) | 一种SN-YOLOv5的轻量化目标检测网络及农作物采摘检测方法 | |
| Sun et al. | YOLO-P: An efficient method for pear fast detection in complex orchard picking environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |