CN111652326B - 基于MobileNet v2网络改进的果实成熟度识别方法和识别系统 - Google Patents

基于MobileNet v2网络改进的果实成熟度识别方法和识别系统 Download PDF

Info

Publication number
CN111652326B
CN111652326B CN202010622915.1A CN202010622915A CN111652326B CN 111652326 B CN111652326 B CN 111652326B CN 202010622915 A CN202010622915 A CN 202010622915A CN 111652326 B CN111652326 B CN 111652326B
Authority
CN
China
Prior art keywords
network
mobilenet
fruit
training
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010622915.1A
Other languages
English (en)
Other versions
CN111652326A (zh
Inventor
王卫星
黄波
杨伟志
杨明欣
占旭锐
林佳翰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202010622915.1A priority Critical patent/CN111652326B/zh
Publication of CN111652326A publication Critical patent/CN111652326A/zh
Application granted granted Critical
Publication of CN111652326B publication Critical patent/CN111652326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

本发明公开了一种基于MobileNet v2网络改进的果实成熟度识别方法,包括:采集果实在自然场景下的不同生长期的图像,作为原始数据集;构建MobileNet v2网络,设定超参数α和ρ,分别控制MobileNet v2网络的宽度和分辨率,并根据训练需求对MobileNet v2网络进行精简;将MobileNet v2网络的损失函数softmax更改为A‑softmax loss函数;将精简和更改后的MobileNet v2网络作为果实识别网络,并构建基于精简和更改后的MobileNet v2网络的初始识别模型;利用所述原始数据集在caffe框架下对所述初始识别模型进行训练和测试,获取最优识别模型。本发明能够提高检测速度,且最终所得到的模型易于迁移到移动端进行果实成熟度的实时识别。

Description

基于MobileNet v2网络改进的果实成熟度识别方法和识别系统
技术领域
本发明涉及目标识别技术领域,更具体的说是涉及一种基于MobileNet v2网络改进的果实成熟度识别方法和识别系统。
背景技术
随着生活品质的不断提高,人们对水果品质的要求也越来越高。而保证水果品质最重要的一环就是要在水果处于合适的成熟度时进行采摘、运输和售卖。对水果成熟度的准确判断一方面利于果农在合适的时机对水果进行采摘和运输,避免未成熟或过成熟水果造成的经济损失;另一方面成熟度合适的水果在色泽、口感等方面更佳,有利于提高消费者的满意度。
水果在不同生长期会呈现出不同的成熟度状态,其成熟度是水果品质的重要因素,也是水果采摘、保鲜、存储的重要指标。利用信息化手段进行果蔬的自动化收获作业时,要实时准确地判断果蔬当前的存在状态,从而进行正确有效的采摘作业。
目前,对水果进行成熟度识别是当前国内外研究的热点问题之一,。Han Li等人将草莓成熟度分为四类:未成熟,成熟,快成熟,青涩,利用KNN、贝叶斯分类器和有监督K聚类分类器对图像颜色特征进行成熟度分级识别,其识别率在85%-98%之间(Li et al.,2014)。Rivera等人采用多变量分析法建立仅以颜色评价“马尼拉”芒果成熟度的系统(Vélez-Rivera et al.,2014)。公开号CN102735621A的专利公开一种基于颜色传感器的水果成熟度检测方法。该方法在果树上安装颜色传感器和温度传感器,对水果颜色及温度进行采集,并对输出信号进行融合分析,对水果成熟度做出判断。公开号CN102818777B的专利公开了一种基于光谱和颜色测量的水果成熟度评价方法。该方法首先采集水果的颜色参数、可见近红外光谱、内部品质等指标,然后送入通过机器学习算法建立的水果成熟度评价模型进行判断。
计算机视觉技术在水果成熟度识别方面取得了一定的研究进展,但这些方法存在以下3个问题:(1)复杂自然场景下,受背景、光照和遮挡干扰的果实识别精度低,速度慢,无法实现水果成熟度实时判别。(2)国内外主要集中在特定条件下的釆摘后的果实无损检测,对于田间自然光环境条件下的以采摘为目的果实成熟度识别研究相对较少。(3)计算机视觉中用于分类的卷积神经网络模型都较大,检测速度不快,难以迁移部署到嵌入式移动设备用于自然条件下水果成熟度的实时判别。
因此,如何提供一种能够部署到嵌入式移动设备中,且能够在自然光环境下进行检测,具备检测速度快和准确率高的果实成熟度识别方法和识别系统是本领域技术人员亟需解决的问题。
发明内容
有鉴于此,本发明提供了一种基于MobileNet v2网络改进的果实成熟度识别方法和识别系统,通过压缩网络减少模型参数和提高检测速度,使得训练所得模型易于迁移到移动端进行果实成熟度的实时识别。
为了实现上述目的,本发明采用如下技术方案:
一种基于MobileNet v2网络改进的果实成熟度识别方法,包括以下步骤:
S1、采集果实在自然场景下的不同生长期的图像,作为原始数据集;
S2、引入MobileNet v2网络,设定超参数α和ρ,分别控制MobileNet v2网络的宽度和分辨率,并根据训练需求对MobileNet v2网络进行精简;
S3、将MobileNet v2网络的损失函数softmax更改为A-softmax loss函数;
S4、将精简和更改后的MobileNet v2网络作为果实识别网络,并构建基于精简和更改后的MobileNet v2网络的初始识别模型;
S5、利用所述原始数据集在caffe框架下对所述初始识别模型进行训练和测试,获取最优识别模型。
经由上述技术方案可知,与现有技术相比,现有技术中,经卷积神经网络训练得到的模型大于100M,很难部署到嵌入式设备或移动端。而通过改进的MobileNet v2网络可以在保证精度的情况下尽可能去压缩模型,并且提高检测速度。另外,A-softmax loss损失函数的引入能有效提升不同成熟度的果实识别性能,从而提高最后的识别精度,最终得到内存占用小、精度高和实时性强的果实成熟度识别模型。
优选的,在上述一种基于MobileNet v2网络改进的果实成熟度识别方法中,所述步骤S1包括:
S11、利用高清数码相机设备采集不同生长期、不同光照和不同角度下的果实彩色图片;
S12、根据成熟度分类指标将步骤S11中的所述图片分为未成熟、中等成熟和成熟三类,并剔除拍摄不全或干扰严重的图片,构建所述原始数据集;
S13、将所述原始数据集中的图片进行图像翻转、对比度增强和锐度增强处理,扩充所述原始数据集;
S14、将扩充后的所述原始数据集分为训练集、验证集和测试集。
优选的,在上述一种基于MobileNet v2网络改进的果实成熟度识别方法中,所述步骤S2包括:
S21、构建基于MobileNet v2网络的基础网络,通过深度可分离卷积将普通卷积分解为一个深度卷积和一个点券积;
S22、将MobileNet v2网络精简为12层卷积层和1层pooling层;
S23、更改MobileNet v2网络中的全连接层名称,将类别数更改为4;
S24、将MobileNet v2网络的宽度超参数α设定为0.75,将分辨率超参数ρ设定为0.714。
优选的,在上述一种基于MobileNet v2网络改进的果实成熟度识别方法中,所述步骤S22中精简的卷积层为用于提取特征的卷积网络。本发明精简了一部分用于提取特征的卷积网络,将网络层缩减为12层,因为分类任务不需要太复杂的骨干网络,所以精简网络不仅不会降低精度,还可以加快收敛速度,进一步降低模型参数。
优选的,在上述一种基于MobileNet v2网络改进的果实成熟度识别方法中,所述步骤S24中的宽度超参数α通过改变输出通道数和减少特征图数量让网络变瘦;所述分辨率超参数ρ通过改变输入数据层的分辨率减少参数。
优选的,在上述一种基于MobileNet v2网络改进的果实成熟度识别方法中,所述步骤S3包括:
S31、在caffe框架中定义A-softmax loss函数;MobileNet v2网络的损失函数softmax的公式如下:
Figure BDA0002563672800000041
其中,N为样本总数,i为节点号,xi为第i个节点的输入,yi为第i个节点的输出类别,j表示所有类别,θj和θyi表示角度参数;
Figure BDA0002563672800000042
k∈[0,m-1];m为整数,用于控制角边界大小,且m≥1;当m=1时,即为A-softmaxloss函数;
S32、将MobileNet v2网络的损失函数softmax更改为A-softmax loss。
优选的,在上述一种基于MobileNet v2网络改进的果实成熟度识别方法中,所述步骤S5包括:
S51、在所述训练集上训练所述初始识别模型,利用在ImageNet网络上训练好的MobileNet v2网络模型作为预训练模型;通过迁移学习加快所述果实识别网络的收敛速度,并防止过拟合;
S52、首次前向传播时,如果所述预训练模型和所述果实识别网络结构中某层的名称相同,则直接调用所述预训练模型的参数,反之采用随机高斯分布初始化该层参数;
S53、数据传播到最后一层时,根据A-softmax loss计算损失,并采用随机梯度下降法,利用所述验证集不断优化所述果实识别网络参数,对果实图片进行监督学习;
S54、在训练过程中,最大迭代次数设置为20000次,迭代10000次后每隔1000次保留一个识别模型;
S55、利用所述测试集对每个识别模型进行测试,并统计各个识别模型的准确率和召回率,最终选取指标最高的识别模型作为最优识别模型。
优选的,在上述一种基于MobileNet v2网络改进的果实成熟度识别方法中,所述训练集作为训练数据,用于训练所述初始识别模型;所述验证集用于在训练过程中,优化所述果实识别网络的结构参数,选取最优网络模型;所述测试集作为性能测试数据,用于测试所述识别模型的性能,并进行性能评价。
优选的,在上述一种基于MobileNet v2网络改进的果实成熟度识别方法中,所述果实为柑橘、苹果或百香果。
经由上述的技术方案可知,与现有技术相比,本发明具有以下有益效果:
1、本发明建立不同自然场景下的果实图像数据集,该数据集为以后的果实成熟度的识别研究和机器人采摘等提供数据支持。
2、本发明基于MobileNet v2,利用深度可分离卷积将普通卷积分解为一个深度卷积和一个点卷积,并且在原版MobileNet v2网络结构的基础上进一步精简,将卷积层由19层缩减为12层,大大减少了计算量,降低模型大小,提高训练效率,解决了训练模型过大难以移植到移动端的问题。
3、本发明在MobileNet v2基础网络上,在最后一层引入A-softmax loss。采用这种归一化和增强决策边界的方法,将决策面转化为决策区域,加大了原来softmax loss的学习难度,更有效地起到最大化类间差异和最小化类内差异的作用,从而提高了不同成熟度类别的果实的识别精度。
4、本发明适用于移动端果实成熟度的实时检测,具备可移植性高、检测精度高、鲁棒性强等优点,可进一步用于果实成熟度识别和机器人采摘作业,可适用于识别生长环境和成熟度评判指标类似的柑橘、苹果和百香果等水果。
本发明还公开一种基于MobileNet v2网络改进的果实成熟度识别系统,包括:
图像采集模块,所述图像采集模块用于采集果实在自然场景下的不同生长期的图像作为原始数据集;
网络精简模块,所述网络精简模块用于引入MobileNet v2网络,设定超参数α和ρ,分别控制MobileNet v2网络的宽度和分辨率,并根据训练需求对MobileNet v2网络进行精简;
网络更改模块,所述网络更改模块用于将所述MobileNet v2网络中的损失函数softmax更改为A-softmax loss函数;
模型构建模块,所述模型构建模块用于将精简和更改后的MobileNet v2网络作为果实识别网络,并构建基于精简和更改后的MobileNet v2网络的初始识别模型;
优化模块,所述优化模块用于利用所述原始数据集在caffe框架下对所述初始识别模型进行训练和测试,获取最优识别模型。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1附图为本发明提供的基于MobileNet v2网络改进的果实成熟度识别方法的流程图;
图2附图为本发明提供的柑橘成熟度分类网络流程图;
图3附图为本发明提供的改进的MobileNet v2网络分类框架图;
图4附图为本发明提供的改进的MobileNet v2网络结构图;
图5附图为本发明提供的深度可分离卷积的结构示意图;
图6附图为本发明提供的基于MobileNet v2网络改进的果实成熟度识别系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1-5所示,本发明提供了一种基于MobileNet v2网络改进的果实成熟度识别方法,该方法实现了自然场景下果实的成熟度识别,为进一步识别柑橘成熟度和自动采摘提供技术支持。
本发明实施例主要包括两部分,第1部分为数据库建立,包括数据采集、数据分类和数据扩充,为后续实验提供数据支持。第2部分是设计基于MobileNet v2的柑橘成熟度识别模型,更改网络结构和设置超参数,并引入A-softmax loss。首先在训练集上训练最优识别模型,然后利用该模型对测试集中果实图像进行识别。该方法在Ubuntu16.04操作系统下,基于Nvidia TITAN X的GPU硬件平台上搭建Caffe深度学习框架,进行果实成熟度识别模型训练和测试。
具体实现如下:
如图1所示,包括以下步骤:
S1、采集果实在自然场景下的不同生长期的图像,作为原始数据集;
S2、构建MobileNet v2网络,设定超参数α和ρ,分别控制MobileNet v2网络的宽度和分辨率,并根据训练需求对MobileNet v2网络进行精简;
S3、将MobileNet v2网络的损失函数softmax更改为A-softmax loss函数;
S4、将精简和更改后的MobileNet v2网络作为果实识别网络,并构建基于精简和更改后的MobileNet v2网络的初始识别模型;
S5、利用原始数据集在caffe框架下对初始识别模型进行训练和测试,获取最优识别模型。
本发明实施例以柑橘成熟度识别为例,步骤S1的原始数据集的建立方法具体包括:
1)试验柑橘果园位于江西省抚州市临川县青泥镇柑橘园,品种是柑橘。采集时间:2019年11月9日到11日,共取样25次,选5排4-6年的柑橘树,分东南西北四个不同方向,视觉系统的硬件采用佳能相机和笔记本等。图像采集时间是8:00-10:00和15:00-17:00,同时记录拍照的天气情况和光照强度。
2)根据水果方面专家意见,确定柑橘成熟度分类指标,并根据分类指标将柑橘成熟度划分为四个阶段:果实表面青色占总面积在80%以上,将其标记为未成熟;青色占总面积的20%到80%,标记为中等成熟;黄色占总面积的80%到100%,标记为成熟;红色占到总面积的100%,并且果实表面有皱褶,果实裂开,标记为过成熟。
由于在所拍摄的柑橘果园,当地果农一般都会在柑橘果实出现过成熟之前将其采摘掉,拍摄过程中见到的这种过成熟柑橘数量太少,无法构成试验训练数据集,所以本次试验将不再考虑过成熟类的柑橘,只针对未成熟、中等成熟和成熟这三种类别的柑橘进行分类。将所有数据进行人工分类,得到未成熟图片373张,中等成熟图片402张,成熟图片405张,所有图片共计1180张,用作本次试验的原始数据集,并将其分为训练集、验证集和测试集。
3)对原始数据集进行翻转、对比度增强、锐度增强等操作来扩充数据。
步骤S2中包括:
S21、构建基于MobileNet v2网络的基础网络,通过深度可分离卷积将普通卷积分解为一个深度卷积和一个点券积;
S22、将MobileNet v2网络精简为12层卷积层和1层pooling层;
S23、更改MobileNet v2网络中的全连接层名称,将类别数更改为4;
S24、将MobileNet v2网络的宽度超参数α设定为0.75,将分辨率超参数ρ设定为0.714。
步骤S3中网络损失函数计算方法具体包括:
S31、在caffe框架中定义A-softmax loss函数;MobileNet v2网络的损失函数softmax的公式如下:
Figure BDA0002563672800000081
其中,N为样本总数,i为节点号,xi为第i个节点的输入,yi为第i个节点的输出类别,j表示所有类别,θj和θyi表示角度参数;
Figure BDA0002563672800000082
k∈[0,m-1];m为整数,用于控制角边界大小,且m≥1;当m=1时,即为A-softmaxloss函数;
S32、将MobileNet v2网络的损失函数softmax更改为A-softmax loss。
步骤S5具体包括:
S51、在训练集上训练初始识别模型,利用在ImageNet网络上训练好的MobileNetv2网络模型作为预训练模型;通过迁移学习加快果实识别网络的收敛速度,并防止过拟合;
S52、首次前向传播时,如果预训练模型和果实识别网络结构中某层的名称相同,则直接调用预训练模型的参数,反之采用随机高斯分布初始化该层参数;
S53、数据传播到最后一层时,根据A-softmax loss计算损失,并采用随机梯度下降法,利用验证集不断优化果实识别网络参数,对果实图片进行监督学习;
S54、在训练过程中,最大迭代次数设置为20000次,迭代10000次后每隔1000次保留一个识别模型;
S55、利用测试集对每个识别模型进行测试,并统计各个识别模型的准确率和召回率,最终选取指标最高的识别模型作为最优识别模型。
下面详细说明本发明实施例采用改进的MobileNet v2网络对柑橘成熟度进行实验,分别采用AP值(Average Precision)和F1值(F1 Score)来评估本发明实施例识别模型的性能。AP值和F1值的函数表达式定义分别如下所示,
Figure BDA0002563672800000091
Figure BDA0002563672800000092
实验结果分别如表1a和表1b所示。
表1a试验模型测试结果统计
类别 实际数量 正检数量 漏检数量 误检数量
成熟 322 313 9 0
中等成熟 314 295 16 3
未成熟 255 251 4 0
总数 891 859 29 3
表1b试验模型测试比率统计
Figure BDA0002563672800000101
在表1a中,对成熟柑橘正检数量为313,漏检数量为9,误检数量为0;对中等成熟柑橘正检数量为295,漏检数量为16,误检数量为3;对未成熟柑橘正检数量为251,漏检数量为4,误检数量为0。在表1b中,试验表明,改进的MobileNet-V2网络对柑橘成熟、中等成熟、未成熟三类检测准确率分别为97.20%、93.95%和98.43%,召回率则分别达到97.58%、94.16%和95.72%,F1值分别为97.39%、94.05%和97.06%。平均准确率AP值达到96.53%,平均召回率达到95.82%,平均F1值达到96.17%。平均检测速度达到每帧0.08秒左右。
为了验证本发明实施例,还对未改进的原版MobileNet v2网络模型在相同环境下训练,并在测试集上进行测试,测试比率统计结果如表2所示。
表2原版MobileNet-V2网络模型测试比率统计
Figure BDA0002563672800000102
结果表明,原版MobileNet-V2对柑橘成熟、中等成熟、未成熟三类检测准确率分别为95.26%、92.07和96.46%,召回率则分别为95.63%、92.28%和93.81%,F1值分别为95.44%、92.17%和95.12%。平均准确率AP值为94.60%,平均召回率为93.91%,平均F1值为94.24%。平均检测速度达到每帧0.09秒左右。最终改进的MobileNet-V2网络模型大小在8M左右,比传统的CaffeNet训练得到的模型压缩了10倍多,比原版MobileNet v2训练得到的模型小2M左右,平均准确率AP值比未采用A-softmax loss的CaffeNet提升2%左右,速度比原版MobileNet v2提升0.01秒左右。
本发明实施例还提供一种基于MobileNet v2网络改进的果实成熟度识别系统,包括:
图像采集模块1,图像采集模块1用于采集果实在自然场景下的不同生长期的图像作为原始数据集;
网络精简模块2,网络精简模块2用于引入MobileNet v2网络,设定超参数α和ρ,分别控制MobileNet v2网络的宽度和分辨率,并根据训练需求对MobileNet v2网络进行精简;
网络更改模块3,网络更改模块3用于将MobileNet v2网络中的损失函数softmax更改为A-softmax loss函数;
模型构建模块4,模型构建模块4用于将精简和更改后的MobileNet v2网络作为果实识别网络,并构建基于精简和更改后的MobileNet v2网络的初始识别模型;
优化模块5,优化模块5用于利用原始数据集在caffe框架下对初始识别模型进行训练和测试,获取最优识别模型。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种基于MobileNet v2网络改进的果实成熟度识别方法,其特征在于,包括以下步骤:
S1、采集果实在自然场景下的不同生长期的图像,作为原始数据集;
S2、构建MobileNet v2网络,设定超参数α和ρ,分别控制MobileNet v2网络的宽度和分辨率,并根据训练需求对MobileNet v2网络进行精简;S2包括:
S21、构建基于MobileNet v2网络的基础网络,通过深度可分离卷积将普通卷积分解为一个深度卷积和一个点卷积;
S22、将MobileNet v2网络精简为12层卷积层和1层pooling层;
S23、更改MobileNet v2网络中的全连接层名称,将类别数更改为4;
S24、将MobileNet v2网络的宽度超参数α设定为0.75,将分辨率超参数ρ设定为0.714;
S3、将MobileNet v2网络的损失函数softmax更改为A-softmax loss函数;S3包括:
S31、在caffe框架中定义A-softmax loss函数;MobileNet v2网络的损失函数softmax的公式如下:
Figure FDA0004104660390000011
其中,N为样本总数,i为节点号,xi为第i个节点的输入,yi为第i个节点的输出类别,j表示所有类别,θj和θyi表示角度参数;
Figure FDA0004104660390000012
k∈[0,m-1];m为整数,用于控制角边界大小,且m≥1;当m=1时,即为A-softmax loss函数;
S32、将MobileNet v2网络的损失函数softmax更改为A-softmax loss;
S4、将精简和更改后的MobileNet v2网络作为果实识别网络,并构建基于精简和更改后的MobileNet v2网络的初始识别模型;
S5、利用所述原始数据集在caffe框架下对所述初始识别模型进行训练和测试,获取最优识别模型。
2.根据权利要求1所述的一种基于MobileNetv2网络改进的果实成熟度识别方法,其特征在于,所述步骤S1包括:
S11、利用高清数码相机设备采集不同生长期、不同光照和不同角度下的果实彩色图片;
S12、根据成熟度分类指标将步骤S11中的所述图片分为未成熟、中等成熟和成熟三类,并剔除拍摄不全或干扰严重的图片,构建所述原始数据集;
S13、将所述原始数据集中的图片进行图像翻转、对比度增强和锐度增强处理,扩充所述原始数据集;
S14、将扩充后的所述原始数据集分为训练集、验证集和测试集。
3.根据权利要求1所述的一种基于MobileNetv2网络改进的果实成熟度识别方法,其特征在于,所述步骤S22中精简的卷积层为用于提取特征的卷积网络。
4.根据权利要求1所述的一种基于MobileNetv2网络改进的果实成熟度识别方法,其特征在于,所述步骤S24中的宽度超参数α通过改变输出通道数和减少特征图数量让网络变瘦;所述分辨率超参数ρ通过改变输入数据层的分辨率减少参数。
5.根据权利要求2所述的一种基于MobileNetv2网络改进的果实成熟度识别方法,其特征在于,所述步骤S5包括:
S51、在所述训练集上训练所述初始识别模型,利用在ImageNet网络上训练好的MobileNetv2网络模型作为预训练模型;通过迁移学习加快所述果实识别网络的收敛速度,并防止过拟合;
S52、首次前向传播时,如果所述预训练模型和所述果实识别网络结构中某层的名称相同,则直接调用所述预训练模型的参数,反之采用随机高斯分布初始化该层参数;
S53、数据传播到最后一层时,根据A-softmax loss计算损失,并采用随机梯度下降法,利用所述验证集不断优化所述果实识别网络参数,对果实图片进行监督学习;
S54、在训练过程中,最大迭代次数设置为20000次,迭代10000次后每隔1000次保留一个识别模型;
S55、利用所述测试集对每个识别模型进行测试,并统计各个识别模型的准确率和召回率,最终选取指标最高的识别模型作为最优识别模型。
6.根据权利要求5所述的一种基于MobileNetv2网络改进的果实成熟度识别方法,其特征在于,所述训练集作为训练数据,用于训练所述初始识别模型;所述验证集用于在训练过程中,优化所述果实识别网络的结构参数,选取最优网络模型;所述测试集作为性能测试数据,用于测试所述识别模型的性能,并进行性能评价。
7.根据权利要求1所述的一种基于MobileNetv2网络改进的果实成熟度识别方法,其特征在于,所述果实为柑橘、苹果或百香果。
8.一种基于MobileNetv2网络改进的果实成熟度识别系统,适用于如权利要求1-7任一项所述的基于MobileNetv2网络改进的果实成熟度识别方法,其特征在于,包括:
图像采集模块,所述图像采集模块用于采集果实在自然场景下的不同生长期的图像作为原始数据集;
网络精简模块,所述网络精简模块用于引入MobileNet v2网络,设定超参数α和ρ,分别控制MobileNetv2网络的宽度和分辨率,并根据训练需求对MobileNetv2网络进行精简;
网络更改模块,所述网络更改模块用于将所述MobileNet v2网络中的损失函数softmax更改为A-softmax loss函数;
模型构建模块,所述模型构建模块用于将精简和更改后的MobileNet v2网络作为果实识别网络,并构建基于精简和更改后的MobileNetv2网络的初始识别模型;
优化模块,所述优化模块用于利用所述原始数据集在caffe框架下对所述初始识别模型进行训练和测试,获取最优识别模型。
CN202010622915.1A 2020-06-30 2020-06-30 基于MobileNet v2网络改进的果实成熟度识别方法和识别系统 Active CN111652326B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010622915.1A CN111652326B (zh) 2020-06-30 2020-06-30 基于MobileNet v2网络改进的果实成熟度识别方法和识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010622915.1A CN111652326B (zh) 2020-06-30 2020-06-30 基于MobileNet v2网络改进的果实成熟度识别方法和识别系统

Publications (2)

Publication Number Publication Date
CN111652326A CN111652326A (zh) 2020-09-11
CN111652326B true CN111652326B (zh) 2023-04-28

Family

ID=72342576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010622915.1A Active CN111652326B (zh) 2020-06-30 2020-06-30 基于MobileNet v2网络改进的果实成熟度识别方法和识别系统

Country Status (1)

Country Link
CN (1) CN111652326B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112711985B (zh) * 2020-12-09 2023-04-18 山东师范大学 基于改进solo网络的果实识别方法、装置及机器人
CN112801039A (zh) * 2021-03-03 2021-05-14 广西广播电视技术中心 一种基于改进MobilenetV2网络的劣质数字电视画面识别方法
CN113076819A (zh) * 2021-03-17 2021-07-06 山东师范大学 同色系背景下的果实识别方法、装置及果实采摘机器人
CN113780357B (zh) * 2021-08-13 2024-02-02 华中农业大学 一种基于迁移学习+MobileNet的玉米叶片病虫害移动端识别方法
CN114740091B (zh) * 2022-06-14 2022-09-06 湖南大学 基于声学分析和机器学习的西瓜成熟度检测方法及系统
CN115690521A (zh) * 2022-11-30 2023-02-03 仲恺农业工程学院 一种芥蓝成熟度识别方法
CN117111536A (zh) * 2023-10-23 2023-11-24 上海永大菌业有限公司 一种菇棚环境远程控制系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009525A (zh) * 2017-12-25 2018-05-08 北京航空航天大学 一种基于卷积神经网络的无人机对地特定目标识别方法
CN109086799A (zh) * 2018-07-04 2018-12-25 江苏大学 一种基于改进卷积神经网络模型AlexNet的作物叶片病害识别方法
CN109508650A (zh) * 2018-10-23 2019-03-22 浙江农林大学 一种基于迁移学习的树种识别方法
CN110473166A (zh) * 2019-07-09 2019-11-19 哈尔滨工程大学 一种基于改进Alexnet模型的尿液有形成分识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009525A (zh) * 2017-12-25 2018-05-08 北京航空航天大学 一种基于卷积神经网络的无人机对地特定目标识别方法
CN109086799A (zh) * 2018-07-04 2018-12-25 江苏大学 一种基于改进卷积神经网络模型AlexNet的作物叶片病害识别方法
CN109508650A (zh) * 2018-10-23 2019-03-22 浙江农林大学 一种基于迁移学习的树种识别方法
CN110473166A (zh) * 2019-07-09 2019-11-19 哈尔滨工程大学 一种基于改进Alexnet模型的尿液有形成分识别方法

Also Published As

Publication number Publication date
CN111652326A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
CN111652326B (zh) 基于MobileNet v2网络改进的果实成熟度识别方法和识别系统
CN109344883A (zh) 一种基于空洞卷积的复杂背景下果树病虫害识别方法
CN107016405B (zh) 一种基于分级预测卷积神经网络的害虫图像分类方法
CN109272500B (zh) 基于自适应卷积神经网络的织物分类方法
CN106997475B (zh) 一种基于并行卷积神经网络的害虫图像识别方法
CN113222959B (zh) 一种基于高光谱图像卷积神经网络的鲜枣虫眼检测方法
Wang Identification of crop diseases and insect pests based on deep learning
CN111476713A (zh) 基于多深度卷积神经网络融合的天气图像智能识别方法及系统
CN110610475A (zh) 一种深度卷积神经网络的视觉缺陷检测方法
CN111161362B (zh) 一种茶树生长状态光谱影像鉴别方法
CN111860330A (zh) 基于多特征融合和卷积神经网络的苹果叶部病害识别方法
CN111783693A (zh) 果蔬采摘机器人的智能识别方法
CN110827273A (zh) 一种基于区域卷积神经网络的茶叶病害检测方法
CN110348503A (zh) 一种基于卷积神经网络的苹果品质检测方法
CN111563542A (zh) 一种基于卷积神经网络的植物自动分类方法
CN115862004A (zh) 一种玉米果穗表面缺陷检测方法及装置
CN116363505A (zh) 一种基于采摘机器人视觉系统的目标采摘方法
CN112580646A (zh) 番茄果实成熟度分割方法及采摘机器人
CN111539293A (zh) 一种果树病害诊断方法及系统
CN115272862A (zh) 一种基于音视协同的飞虫追踪识别方法与装置
CN113269251A (zh) 基于机器视觉和深度学习融合的水果瑕疵分类方法、装置、存储介质及计算机设备
CN112215184B (zh) 一种基于三维激光扫描仪的油茶果树产量检测方法
CN115187878A (zh) 基于无人机图像分析的风力发电装置叶片缺陷检测方法
CN114612415A (zh) 基于深度残差网络与多通道图像融合的表面缺陷分类方法
CN113837039A (zh) 一种基于卷积神经网络的果实生长形态视觉辨识方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant