CN117218643A - 一种基于轻量化神经网络的水果识别方法 - Google Patents
一种基于轻量化神经网络的水果识别方法 Download PDFInfo
- Publication number
- CN117218643A CN117218643A CN202311136281.9A CN202311136281A CN117218643A CN 117218643 A CN117218643 A CN 117218643A CN 202311136281 A CN202311136281 A CN 202311136281A CN 117218643 A CN117218643 A CN 117218643A
- Authority
- CN
- China
- Prior art keywords
- network
- fruit
- layer
- module
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 41
- 230000004927 fusion Effects 0.000 claims abstract description 26
- 238000003062 neural network model Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000000926 separation method Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 6
- 239000012014 frustrated Lewis pair Substances 0.000 claims description 3
- 239000002420 orchard Substances 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 description 7
- 241000220225 Malus Species 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 102220122500 rs766642997 Human genes 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 102100031675 DnaJ homolog subfamily C member 5 Human genes 0.000 description 2
- 102220367607 c.37C>T Human genes 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 102220082546 rs112552261 Human genes 0.000 description 2
- 102220280178 rs1298878168 Human genes 0.000 description 2
- 102220265514 rs1309896929 Human genes 0.000 description 2
- 102220170293 rs146932796 Human genes 0.000 description 2
- 102220287733 rs1555526988 Human genes 0.000 description 2
- 102220101621 rs3852522 Human genes 0.000 description 2
- 102220323249 rs560625389 Human genes 0.000 description 2
- 102220058101 rs730881654 Human genes 0.000 description 2
- 102220062244 rs748527030 Human genes 0.000 description 2
- 102220059933 rs754752449 Human genes 0.000 description 2
- 102220062247 rs773918872 Human genes 0.000 description 2
- 102220222088 rs781696878 Human genes 0.000 description 2
- 102220095238 rs876660157 Human genes 0.000 description 2
- 102220182605 rs886053542 Human genes 0.000 description 2
- 102220283007 rs934176141 Human genes 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013209 evaluation strategy Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于轻量化神经网络的微小目标水果识别方法，包括如下步骤：步骤一、建立微小目标水果数据集；步骤二、改进YOLOv5模型，添加输入增强端，使用改进的ShuffleNetV2网络作为主干网络，添加浅层高分辨率特征图融合网络结构；步骤三、通过步骤一制作的小目标水果数据集及其对应的label文件进行训练，得到训练好的微小目标水果检测模型；步骤四、将待检测的微小目标水果图片输入训练好的轻量化神经网络模型得到检测结果。本发明采用的改进深度和精度的ShuffleNetV2网络以及浅层高分辨率特征图融合网络结构，有效降低模型参数量，提高果园微小目标水果的检测效率和精度。
Description
技术领域
本发明涉及计算机视觉技术领域，具体设计一种基于轻量化神经网络以YOLOv5模型为基础并改进深度和精度的ShuffleNetV2的水果识别方法。
背景技术
目前，目标检测方法主要分为两种，一种是传统方法，一种是深度学习方法。前者受光照和背景的影响较大，在此方面已经有了一些针对不同场景的改进方法，比如，一种基于机器视觉的自动识别系统，用于指导苹果采摘机器人的工作。该系统采用了区域生长法和颜色特征来开发图像分割算法，并开发了一种基于支持向量机的分类算法来识别苹果。一种基于色差信息的成熟苹果识别方法。传统的成熟度检测方法存在着误差大、效率低等问题，而基于色差信息的成熟度检测方法可以有效地提高检测的准确性和效率1。近年来，深度学习方法开始运用于苹果检测中，比如一种基于改进的SSD模型的多类水果采摘目标识别方法。该模型采用了改进的卷积神经网络和单发多框检测算法，以及数据增强技术来提高模型的准确性。该模型在自然环境下的多类水果采摘目标识别中表现出了较好的性能。
为了提高便携式设备在处理图像和视频数据的效率和能力，并且满足存储空间的功耗的限制，我们需要轻质化神经网络架构来解决这些问题。目前有三种不同的方向
首先，是人工设计轻质神经网络。人工设计轻量化神经网络的主要目的在于设计出更高效的网络计算方式，主要针对卷积这种模型的计算方法。现有的深度卷积神经网络，为了得到更好的性能，通常会设置大规模的特征通道数量和卷积核大小的数量，这会导致存在大量的冗余。设计轻量的神经网络可以合理的减少这些冗余，从而构造出一个更加有效的神经网络模型。可以实现在移动设备这种资源受限的情况下使用。
第二，是通过进一步压缩神经网络模型的规模，从而满足需求。根据神经网络中每一层的冗余程度，通过对网络中间特征值的量化，网络权重的裁剪以及权重共享、知识蒸馏、剪枝等方法，实现神经网络模型的压缩，从而能在便携式设备的芯片上运行。
最后，是基于神经网络架构探索的自动化设计。前两者都需要花费很多时间和精力，而这种是根据某种搜索策略，在特定的搜索空间中，自动设局出对应的能解决相关任务问题的高性能神经网络架构。到目前为止，其在语义分割、图像分类等任务上的性能已经超过了前面第一种所说的人工设计的神经网络构架。NAS由三部分构成，搜索空间、搜索策略、性能评估策略。
发明内容
针对目标检测技术在微小水果上面技术的不足，本发明公开了一种基于轻量化神经网络的水果识别方法，采用多尺度图像缩放、9-Mosaic图像增强以及改进神经网络结构，在网络结构中创建采用非对称卷积结构的SBLL模块，通过自适应特征提取和多通道的网络结构体系，进而提高目标的水果检测速度和精度。
为实现上述目的，本发明技术方案如下：
一种基于轻量化神经网络的水果识别方法，包含以下步骤：
步骤1.建立微小目标水果数据集并进行数据预处理。
步骤2.搭建轻量化神经网络模型并进行训练，用于对水果园的微小目标水果的检测：以YOLOv5模型为基础，针对现有目标检测模型对微小目标数据检测精度较低以及微小目标检测模型计算量大的问题进行改进，得到基于YOLOv5框架的微小水果目标检测模型。
步骤3.对微小目标水果检测模型通过步骤一制作的小目标水果数据集及其对应的label文件进行训练，得到训练好的微小目标水果检测模型。
步骤4.将待检测的微小目标水果图片输入训练好的轻量化神经网络模型得到检测结果。
步骤1.中所述建立微小目标水果数据集和数据预处理包括：
步骤a.微小目标水果数据集为基于VOC2007自主采集和网络爬虫采集到的水果图片。随后将其导入Labelme文件标注后得到xml文件，与图片整合为数据集。
步骤b.对微小目标水果数据集进行数据增强，将图像进行随即裁剪、拼接、仿射变换得到增强小目标水果数据集。所述微小水果图像中，图像长宽为1920×1080，目标水果边界框与图像宽高比小于0.1，边界框与图像面积比值小于0.03。从而更好的突出目标，使检测算法更为准确。
步骤2.中所述搭建轻量化网络模型并进行训练，包括。
步骤a.基于YOLOv5框架的微小水果目标检测模型，包括输入增强端、特征提取网络、特征融合网络和输出端四部分。首先搭建模型输入增强端包括：
(1)9-Mosaic数据增强方法。
(2)多尺度图片缩放，包括输入尺寸为1920×1080的图片，将其长边缩放X，短边填充灰边补到X，X为模型输入数据的边长，在640的0.5-1.5倍中随机选取，并保证为32的倍数，模型输入尺寸为X×X。
步骤b.搭建模型的主干层(backbone)：以改进深度和精度的ShuffleNetV2网络结构，包括ShuffleBlock_Lite模块和SBLL模块；经过输入增强端后引入CBAM机制后，串行三个ShuffleBlock_Lite模块和SBLL模块，分别引出四个输出端口，自上至下检测对象为自大物体至小物体。
进一步的所述步骤2-2)中改进深度和精度的ShuffleNetV2网络结构，共7层，Li表示第i层数据，网络结构如下(1)(2)所示：
X＝input(image)/L0＝CBRM(X)/L1＝ShuffleBlock-Lite(L0)/L2＝SBLL(L1)/(1)
L3＝ShuffleBlock-Lite(L2)/L4＝SBLL(L3)/L5＝ShuffleBlock-Lite(L4)/L6＝SBLL(L5) (2)
进一步所述步骤2-2)中的ShuffleBlock_Lite模块为ShuffleBlock模块裁剪右支可分离卷积DepthwiseConv层连接的上一层1×1通道卷积而成，相比于ShuffleBlock降低了约15％的FLOPs，并且在微小目标水果检测中无明显精度损失。
所述SBLL模块，是由ShuffleBlock_Lite模块中的3×3DepthwiseConv用一组非对称深度分离卷积1×3DepthwiseConv+3*1DepthwiseConv替换而成；该结构可以加深模型深度，提高对小目标水果数据的拟合能力，并且降低在stride＝1的情况下的运算量；
所述非对称深度分离卷积的结构为：
输入为n通道，N×N尺寸的特征图h；第1层平行深度分离卷积核尺寸为1×K，步长stride＝(1，1)，padding＝(0，1)，卷积计算式为：
其中H(1，z)表示第1层水平深度分离卷积核输出的特征图的第z个通道，其尺寸为N×N，表示1×K卷积在第i个位置的卷积核参数，h(j+i，k，z)表示特征图第z通道在(j+i，k，z)位置的值；
第2层垂直深度分离卷积核尺寸为K×1，步长stride＝(1，1)，padding＝(0，1)，卷积计算式为：
其中H(1，k，i+j，z)为水平深度分离卷积核输出的特征图中(k，i+j，z)位置的值；H(2，z)为非对称深度分离卷积模块的输出数据。
步骤c.搭建改进的神经网络模型的颈部层：包括浅层高分辨率特征图融合网络，采用与GSConv模块和VoVGSCSP模块，对主干层输出的特征进行融合。
进一步所述步骤2-3.)中的浅层特征融合网络包括：
所述浅层高分辨率特征图融合网络结构，共21层。其特征在于，共有4个尺寸为20×20、40×40、80×80、160×160的多尺度特征融合模块，每个模块由GSConv、UpSample、Concat和VoVGSCSP单元组成。并将第0层CBRM模块的浅层高分辨率特征图、第2层ShuffleBlock_Lite模块的中层中分辨率特征图和第4层ShuffleBlock_Lite的深层低分辨率特征图分别与第16、13、9层的UpSample模块进行特征融合，然后分别入第20、22、25层的VoVGSCSP模块；Concat(x，y)表示将第x层和y层数据连接，UpSample表示对数据上采样；该特征融合网络通过重构特征分类层的结构、合理安排VoVGSCSP和GSConv模块和多分辨率特征图融合，提高了对微小目标的识别效果；所述浅层高分辨率特征图融合网络结构如下所示：
L7＝GSConv(L6)/L8＝UpSample(L7)/L9＝Concat(L4，L8)/L10＝VoVGSCSP(L9)/
L11＝GSConv(L10)/L12＝UpSample(L11)/L13＝Concat(L2，L12)/L14＝VoVGSCSP(L13)/
L15＝GSConv(L14)/L16＝UpSample(L15)/L17＝Concat(L0，L16)/L18＝VoVGSCSP(L17)/
L19＝GSConv(L18)/L20＝Concat(L15，L19)/L21＝VoVGSCSP(L20)/
L21＝GSConv(L20)/L22＝Concat(L11，L21)/L23＝VoVGSCSP(L22)/
L24＝GSConv(L23)/L25＝Concat(L7，L24)/L26＝VoVGSCSP(L25)
步骤3中对数据集进行预训练包括：
将获得的图片数据导入Labelme软件进行标注得到xml标签文件，与图片整合成数据集。最后通过随机裁剪、拼接、仿射变换得到增强小目标水果数据集。
步骤4中将待检测微小目标水果图片输入训练好的轻量化神经网络模型得到检测结果包括：
步骤a.结果预测，在所述输出端，分别从第18、21、23、26层输出大小为20×20×255、40×40×255、80×80×255和160×160×255的特征层进行结果预测。
步骤b.数据加权，针对效果较次的训练数据增加权重，提高模型对数据集的拟合度，最后通过半精度优化降低模型体积；进而降低计算量。
本发明的优点：
本发明采用多尺度图像缩放和9-Mosaic图像增强方法去增强原始数据集，通过改变水果边框和图像的宽高、面积之比，从而达到目标小图像的实现。在网络结构方面创建了采用非对称卷积结构的SBLL模块作为颈部层，改变原先连接方式，通过自适应特征提取和多通道的网络结构，进而达到水果检测速度和精度的提升。
附图说明
图1为轻量化神经网络结构图；
图2为ShuffleBlock_Lite模块和SBLL模块图；
图3为CSConv模块和VoVGSCSP模块图；
图4为SBLL模块的非对称卷积结构；
图5为正常检测输入图像；
图6为经过9-Mosaic数据处理的图像；
图7为微小水果目标检测结果图；
图8为微小目标检测性能PR曲线。
具体实施方式
以下结合附图及实施例对本发明进行进一步说明。
本发明提供了一种基于轻量化神经网络的果园水果识别方法。该方法的核心是：采用多尺度图像缩放、9-Mosaic数据增强以及改进神经网络结构，在网络结构中创建采用非对称卷积结构的SBLL模块，通过自适应特征提取和多通道的网络结构体系，以提高目标的水果检测速度和精度。
本发明的步骤为：
(1)建立微小目标水果数据集并进行数据预处理
本实施例数据集为基于VOC2007自主采集和网络爬虫采集到的水果图片。首先使用LabelMe对采集到的图片进行标注并获取相对应的xml标注文件，对其重新命名后，将其进行随机裁剪、拼接、仿射变换后得到增强小目标水果数据集。所述微小水果图像中，图像长宽为1920×1080，目标水果边界框与图像宽高比小于0.1，边界框与图像面积比值小于0.03。以更好的突出目标，强化了检测算法的准确性。
该方法基于YOLOv5框架的微小水果目标检测模型，包括输入增强端、特征提取网络、特征融合网络和输出端四部分。
(2)搭建输入增强端
(a)多尺度图像缩放
输入尺寸为1920×1080的图片，将其长边缩放为X，短边填充灰边补到X，X为模型输入数据的边长，在640的0.5-1.5倍中随机选取，并保证为32的倍数，模型输入数据尺寸为X×X，通过改变水果边框和图像的宽高、面积之比，从而达到目标小图像的实现。它可以帮助模型学习不同大小和形状的物体，提高模型对不同尺度物体的检测和识别能力。
(b)9-Mosaic数据增强方法
通过将9张输入图片随机裁剪、缩放、旋转后，再随机排列拼接形成一张图片。具体效果如图6所示。这种方法可以增加训练数据的多样性，增强原始数据集的同时有助于提高模型的鲁棒性和泛化能力。此外，它还可以帮助模型学习更复杂的场景，从而提高模型的性能。
(3)特征提取网络
该基于轻量化神经网络的微小目标水果识别方法，采用了将YOLOv5主干网络更换为改进深度和精度的ShuffleNetV2网络结构，包括ShuffleBloc_Lite模块和SBLL模块。经过输入增强端后引入CBAM机制后，串行三个ShuffleBlock_Lite模块和SBLL模块，分别引出四个输出端口，自上至下检测对象为自大物体至小物体。ShuffleNetV2网络结构结构清晰、简洁，并且在设计之初就考虑了访存代价，使得在移动端部署的时候具有很低的延时。在多个数据集上的测试也验证了其较好的泛化性能。
该ShuffleNetV2网络结构采用了ShuffleBlock_Lite模块，通过观察ShuffleBlock的block，可以分为两种结构，一种是每个stage的第一个block，该block由于需要降采样，升维度，所以对输入直接复制成两份，经过branch1，和branch2之后再concat到一起，通道翻倍，如下图中的降采样block所示。而另一种普通的block将输入分割成两部分，一部分经过branch2的卷积提取特征后直接与branch1的部分进行concat。
ShuffleBlock_Lite模块将ShuffleBlock模块的DepthwiseConv层连接的上一层1×1通道卷积进行裁剪，相比于ShuffleBlock降低了约15％的FLOPs，并且在微小目标水果检测中无明显精度损失。
以上所述改进深度和精度的ShuffleNetV2网络结构，共7层，Li表示网络第i层数据，如图2所示，网络结构如下所示：
X＝input(image)/L0＝CBRM(X)/L1＝ShuffleBlock-Lite(L0)/L2＝SBLL(L1)/
L3＝ShuffleBlock-Lite(L2)/L4＝SBLL(L3)/L5＝ShuffleBlock-Lite(L4)/L6＝SBLL(L5)
以上所述SBLL模块，是由ShuffleBlock_Lite模块中的3×3DepthwiseConv用一组非对称深度分离卷积1×3DepthwiseConv+3*1DepthwiseConv替换而成。原始的3×3DepthwiseConv操作需要执行9次卷积运算。但是，通过使用非对称深度分离卷积1×3DepthwiseConv和3×1DepthwiseConv，可以将运算量降低到4次。这是因为，3×3DepthwiseConv涉及到每个卷积核中的9个参数，而非对称深度分离卷积涉及到的参数更少。在1×3DepthwiseConv中，每个卷积核只有3个参数，而在3×1DepthwiseConv中，每个卷积核也只有3个参数。因此，总共只需要4次卷积运算来完成整个操作。通过减少参数数量，可以降低计算成本，从而提高模型的性能。在Stride＝1的情况下，这种替换操作可以降低计算量，并且不会影响模型的准确性。
如图4所示，所述非对称深度分离卷积的结构为：
输入为n通道，N×N尺寸的特征图h；第1层平行深度分离卷积核尺寸为1×K，步长stride＝(1，1)，padding＝(0，1)，卷积计算式为：
其中H(1，z)表示第1层水平深度分离卷积核输出的特征图的第z个通道，其尺寸为N×N，表示1×K卷积在第i个位置的卷积核参数，h(j+i，k，z)表示特征图第z通道在(j+i，k，z)位置的值；
第2层垂直深度分离卷积核尺寸为K×1，步长stride＝(1，1)，padding＝(0，1)，卷积计算式为：
其中H(1，k，i+j，z)为水平深度分离卷积核输出的特征图中(k，i+j，z)位置的值；H(2，z)为非对称深度分离卷积模块的输出数据。
(4)特征融合网络
基于轻量化神经网络的微小目标水果识别方法，其特征在于，所述特征融合网络，包括浅层高分辨率特征图融合网络、GSConv模块和VoVGSCSP模块，对主干层输出的特征进行融合。
DSC的特征提取和融合能力比SC低得多，若从深度神经网络的开始到结束只使用DSC，会导致DSC的缺陷直接在主干中放大，为了使DSC的输出尽可能接近SC，引入了一种新方法——GSConv，用Shuffle密集卷积操作渗透到DSC生成的信息的每个部分。这种方法允许来自SC的信息完全混合到DSC的输出中，该方法使卷积计算的输出尽可能接近SC，同时降低计算成本。使用一次性聚合方法来设计跨级部分网络模块VoVGSCSP。VoVGSCSP模块降低了计算和网络结构的复杂性，但保持了足够的精度。如果使用VoVGSCSP代替Neck的CSP，其中CSP层由标准卷积组成，FLOPs将平均比后者减少15.72％。
如图3所示，所述浅层高分辨率特征图融合网络结构，共21层。其特征在于，共有4个尺寸为20×20、40×40、80×80、160×160的多尺度特征融合模块，每个模块由GSConv、UpSample、Concat和VoVGSCSP单元组成，并将第0层CBRM模块的浅层高分辨率特征图、第2层ShuffleBlock_Lite模块的中层中分辨率特征图和第4层ShuffleBlock_Lite的深层低分辨率特征图分别与第16、13、9层的UpSample模块进行特征融合，然后分别入第20、22、25层的VoVGSCSP模块；Concat(x，y)表示将第x层和y层数据连接，UpSample表示对数据上采样；该特征融合网络通过重构特征分类层的结构、合理安排VoVGSCSP和GSConv模块和多分辨率特征图融合，提高了对微小目标的识别效果；所述浅层高分辨率特征图融合网络结构如下所示：
L7＝GSConv(L6)/L8＝UpSample(L7)/L9＝Concat(L4，L8)/L10＝VoVGSCSP(L9)/
L11＝GSConv(L10)/L12＝UpSample(L11)/L13＝Concat(L2，L12)/L14＝VoVGSCSP(L13)/
L15＝GSConv(L14)/L16＝UpSample(L15)/L17＝Concat(L0，L16)/L18＝VoVGSCSP(L17)/
L19＝GSConv(L18)/L20＝Concat(L15，L19)/L21＝VoVGSCSP(L20)/
L21＝GSConv(L20)/L22＝Concat(L11，L21)/L23＝VoVGSCSP(L22)/
L24＝GSConv(L23)/L25＝Concat(L7，L24)/L26＝VoVGSCSP(L25)
轻量化神经网络结构如图1所示。
(5)输出端
从第18、21、23、26层输出20×20×255、40×40×255、80×80×255和160×160×255的特征层进行结果预测。
(6)模型训练
微小目标水果检测模型通过小目标水果数据集及其对应的label文件进行训练，得到训练好的微小目标水果检测模型。
采用了数据加权的方法，针对效果较次的训练数据增加权重，提高模型对数据集的拟合度，最后通过半精度优化降低模型体积。
(7)将待检测的微小目标水果图片(如图5所示)输入训练好的轻量化神经网络模型得到检测结果。
检测结果如图7、图8所示
结果表明，本实施例在识别准确度和速度上均表现出了优秀的检测性能，具有运行效率高和微小目标识别精度高的优点。
尽管本发明的实施方案已公开如上，但并不仅仅限于说明书和实施方案中所列运用，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (4)
1.一种基于轻量化神经网络的水果识别方法，其特征在于，包括如下步骤：
步骤一、建立微小的水果目标的数据集；
步骤二、改进YOLOv5模型，添加输入增强端，使用改进的ShufffleNetV2网络作为主干网络，添加浅层高分辨率特征图融合网络结构；
步骤三、通过步骤一制作的小目标水果数据集及其对应的label文件进行训练，得到训练好的微小目标水果检测模型；
步骤四、将待检测的微小目标水果图片输入训练好的轻量化神经网络模型得到检测结果；
所述微小目标水果图像中，图像长宽为1920×1080，目标水果边界框与图像的宽高比小于0.1，目标水果边界框面积与图像面积的比值小于0.03；
所述步骤二中输入增强端，包括多尺度图片缩放和9-Mosaic数据增强方法；
所述多尺度图片缩放，包括输入尺寸为1920×1080的图片，将其长边缩放为X，短边填充灰边补到X，X为模型输入数据的边长，在640的0.5至1.5倍中随机选取，并保证为32的倍数，模型输入数据尺寸为X×X；
所述9-Mosaic数据增强方法，将9张输入图片随机裁剪、缩放、旋转后，再随机排列拼接形成一张图片；
所述步骤二中将改进深度和精度的ShufffleNetV2网络结构作为主干网络，其包括7层网络结构，Li表示网络第i层数据，网络结构为：
X＝input()/L0＝CBRM(X)/L1＝ShuffleBlock)Lite(L0)/L2＝SBLL(L1)/L3
＝ShuffleBlock_Lite(L2)/L4＝SBLL(L3)/L5＝ShuffleBlock_Lite(L4)/L6＝SBLL(L5)
所述基于轻量化神经网络的水果识别方法具有模型参数量小，运行效率高和微小目标识别精度高的优点。
2.如权利要求1所述的一种基于轻量化神经网络的水果识别方法，其特征在于，所述ShuffleBlock_Lite模块为ShuffleBlock模块裁剪右支DepthwiseConv层连接的上一层1×1通道卷积而成，相比于ShuffleBlock降低了15％的FLOPs，并且在微小目标水果检测中无明显精度损失。
3.如权利要求1所述的一种基于轻量化神经网络的水果识别方法，其特征在于，所述SBLL模块，是由ShuffleBlock_Lite模块中的3×3DepthwiseConv用一组非对称深度分离卷积1×3DepthwiseConv+3×1DepthwiseConv替换而成；该结构可以加深模型深度，提高对小目标水果数据的拟合能力，并且降低在stride＝1的情况下的运算量；例如，在对一个5×5×3的特征图进行3×3的深度卷积运算时，当padding＝1的情况下，可以降低33％的计算量；当padding＝0的情况下，可以降低12％的计算量；
所述非对称深度分离卷积的结构为：
输入为n通道，N×N尺寸的特征图h；第1层平行深度分离卷积核尺寸为1×K，步长stride＝(1，1)，padding＝(0，1)，卷积计算式为：
其中H(1，z)表示第1层水平深度分离卷积核输出的特征图的第z个通道，其尺寸为N×N，表示1×K卷积在第i个位置的卷积核参数，h(j+i，k，z)表示特征图第z通道在(j+i，k，z)位置的值；
第2层垂直深度分离卷积核尺寸为K×1，步长stride＝(1，1)，padding＝(0，1)，卷积计算式为：
其中H(1，k，i+j，z)为水平深度分离卷积核输出的特征图中(k，i+j，z)位置的值；H(2，z)为非对称深度分离卷积模块的输出数据。
4.如权利要求1所述的一种基于轻量化神经网络的水果识别方法，其特征在于，所述步骤二中浅层高分辨率特征图融合网络结构，共21层，有4个尺寸为20×20、40×40、80×80、160×160的多尺度特征融合模块，每个模块由GSConv、UpSample、Concat和VoVGSCSP单元组成，并将第0层CBRM模块的浅层高分辨率特征图、第2层ShuffleBlock_Lite模块的中层中分辨率特征图和第4层ShuffleBlock_Lite的深层低分辨率特征图分别与第16、13、9层的UpSample模块进行特征融合，然后分别入第20、22、25层的VoVGSCSP模块；Concat(x，y)表示将第x层和y层数据连接，UpSample表示对数据上采样；该特征融合网络通过重构特征分类层的结构、合理安排VoVGSCSP和GSConv模块和多分辨率特征图融合，提高了对微小目标的识别效果；所述浅层高分辨率特征图融合网络结构如下所示：
L7＝GSConv(L6)/L8＝UpSample(L7)/L9＝Concat(L4，L8)/L10＝VoVGSCSP(L9)/L11＝GSConv(L10)/L12＝UpSample(L11)/L13＝Concat(L2，L12)/L14＝VoVGSCSP(L13)/L15＝GSConv(L14)/L16＝UpSample(L15)/L17＝Concat(L0，L16)/L18＝VoVGSCSP(L17)/L19＝GSConv(L18)/L20＝Concat(L15，L19)/L21＝VoVGSCSP(L20)/L21＝GSConv(L20)/L22＝Concat(L11，L21)/L23＝VoVGSCSP(L22)/L24＝GSConv(L23)/L25＝Concat(L7，L24)/L26＝VoVGSCSP(L25)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311136281.9A CN117218643A (zh) | 2023-09-05 | 2023-09-05 | 一种基于轻量化神经网络的水果识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311136281.9A CN117218643A (zh) | 2023-09-05 | 2023-09-05 | 一种基于轻量化神经网络的水果识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117218643A true CN117218643A (zh) | 2023-12-12 |
Family
ID=89048852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311136281.9A Pending CN117218643A (zh) | 2023-09-05 | 2023-09-05 | 一种基于轻量化神经网络的水果识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117218643A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118196614A (zh) * | 2023-12-14 | 2024-06-14 | 中国气象局乌鲁木齐沙漠气象研究所 | 一种基于遥感影像和神经网络的流动性沙丘识别方法及装置 |
-
2023
- 2023-09-05 CN CN202311136281.9A patent/CN117218643A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118196614A (zh) * | 2023-12-14 | 2024-06-14 | 中国气象局乌鲁木齐沙漠气象研究所 | 一种基于遥感影像和神经网络的流动性沙丘识别方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115331087B (zh) | 融合区域语义与像素特征的遥感影像变化检测方法及系统 | |
| CN113160062B (zh) | 一种红外图像目标检测方法、装置、设备及存储介质 | |
| CN113052210A (zh) | 一种基于卷积神经网络的快速低光照目标检测方法 | |
| CN108664981A (zh) | 显著图像提取方法及装置 | |
| CN109214319A (zh) | 一种水下图像目标检测方法及系统 | |
| CN113034506B (zh) | 遥感图像语义分割方法、装置、计算机设备和存储介质 | |
| CN110009622B (zh) | 一种显示面板外观缺陷检测网络及其缺陷检测方法 | |
| CN113902901B (zh) | 一种基于轻量化检测的物体分离方法与系统 | |
| CN111738994A (zh) | 一种轻量级的pcb缺陷检测方法 | |
| CN115908772A (zh) | 一种基于Transformer和融合注意力机制的目标检测方法及系统 | |
| CN117218643A (zh) | 一种基于轻量化神经网络的水果识别方法 | |
| CN116740516A (zh) | 基于多尺度融合特征提取的目标检测方法及系统 | |
| CN114898359B (zh) | 一种基于改进EfficientDet的荔枝病虫害检测方法 | |
| CN114693966A (zh) | 一种基于深度学习的目标检测方法 | |
| CN116434012A (zh) | 一种基于边缘感知的轻量型棉铃检测方法及系统 | |
| CN113537119B (zh) | 基于改进Yolov4-tiny的输电线路连接部件检测方法 | |
| Li et al. | Object detection for uav images based on improved yolov6 | |
| CN118397465A (zh) | 一种基于多维特征聚合增强与分发机制的遥感小目标检测方法 | |
| CN115578364A (zh) | 基于混合注意力与调和因子的微弱目标检测方法及系统 | |
| CN112488015B (zh) | 面向智慧工地的目标检测方法及系统 | |
| CN114494827A (zh) | 一种用于检测航拍图片的小目标检测方法 | |
| Yu et al. | ASE-UNet: An Orange Fruit Segmentation Model in an Agricultural Environment Based on Deep Learning | |
| CN111753849A (zh) | 基于紧密聚合特征和循环残差学习的检测方法及系统 | |
| Haque et al. | Multi scale object detection based on single shot multibox detector with feature fusion and inception network | |
| CN118470413B (zh) | 一种基于UpCPFNet模型的芒果分级识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |