CN112749663B - 基于物联网和ccnn模型的农业果实成熟度检测系统 - Google Patents

Abstract

基于物联网和CCNN模型的农业果实成熟度检测系统。步骤1，利用高光谱成像技术采集农业果实不同成熟阶段下的图片，并给不同时期下的图片贴上对应的训练标签；步骤2，利用通信模块将采集到的图片上传至云计算中心并进行保存；步骤3，通过WIFI将云数据中心的图片发送给服务器进行CCNN模型的训练，直至模型的损失函数或迭代次数满足条件；步骤4，将训练好的CCNN模型应用于实际，对高光谱摄像机采集的果实图片进行分类判断，并将分类结果通过WIFI上传至移动终端；步骤5，操作人员通过终端实时掌握果实的成熟度，并根据成熟度进一步确定接下来的工作。本发明通过所提出的CCNN网络模型实现了对农业果实成熟度的检测，节约了大量的人力物力，提高了生产效率。

Description

基于物联网和CCNN模型的农业果实成熟度检测系统

技术领域

本发明涉及智慧农业物联网领域，特别是涉及基于物联网和CCNN模型的农业果实成熟度检测系统。

背景技术

我国作为一个农业大国，农业在我国的国民经济中有着很大的占比，同时农业的发展也是一个国家稳步发展的物质保障，是一切社会生产的首要条件。在传统的农业中，主要的生产模式大多为人力，在科技飞速发展的现代社会，缺点是显而易见的。在国家刊发的《改造传统农业》一文中提出，传统的农业不具备稳定增长的能力，现有的前沿科技可以很好的解决这一方面的问题，从而使得我国完全的进入现代化农业大国。对现有的前沿科技来说，近些年来获得高速发展的深度学习是一个典型的代表，其与农业的有机结合被认为是解决农业问题的有效途径。

农业物联网可以实时获取农业作物的状态，实现设备与人、设备间的泛在互联，做到对网络上各个终端、结点的智能化感知、识别和精准管理。在全球农业大数据共享的趋势下，农业物联网将成为最重要的一环。对农作物不同时期成熟度的识别，以往很大程度上依赖于人工，而近年来发展的卷积神经网络(CNN)在图像识别中有着很好的性能，同时借助于物联网、云计算的技术，可以很好的代替人工识别，使得农业生产更加的智能化。虽然CNN网络在图片识别方面性能优异，但是考虑到农业产品恶劣的生长环境，如多雾，多雨水等，这样使得所采集的图片质量较差，所以在这种条件下就对模型的诊断精度以及鲁棒性提出了很高的要求，是急需解决的一个难题。

国内涉及农业果实识别的专利有“一种基于深度学习的稻穗识别方法、系统、装置和介质”(201910931983.3)，通过YOLOv3深度学习方法，对目标水稻数据集进行训练，从而得到相应的识别模型，然后将此模型应用于实际，但该专利中并没有考虑到摄像机采集的图片存在不清晰的情况，也即是模型的鲁棒性没有考虑。国家发明专利“一种基于深度学习的咖啡果实成熟度的识别方法”(201910380011.X)，该方法采用了连续卷积层+稀疏激活函数Maxout函数层构成的卷积神经网络模型来提取咖啡果实的图像特征，然后利用分类器实现咖啡果实成熟度的分类，同样的，该专利也未考虑模型的在多雾多雨水天气下的鲁棒性问题，在实际应用中可能存在一定的局限性。由此可见，设计一个高识别精度和高鲁棒性的智能检测系统亟待解决。

发明内容

为解决上述问题，本发明在CNN、SAE、云服务的基础上，提出了基于物联网和CCNN模型的农业果实成熟度检测系统。为解决不同成熟时期果实的分类问题，提出了一种新的网络模型，聚合卷积神经网络(Convergent convolutional neural network，CCNN)，该模型在CNN和SAE模型的基础上进行优化升级，在提高网络模型识别精确度的同时增强了模型的鲁棒性。另外，在该系统中，采用了先进的云计算的数据存储技术，更加快捷高效的对采集的样本数据进行存储和利用。最后，开发相应的移动终端，让服务器处理的结果得以显示，实现方便快捷的农业果实成熟度的检测。为达此目的，本发明提供基于物联网和CCNN模型的农业果实成熟度检测系统，具体步骤如下，其特征在于：

步骤1，利用高光谱成像技术采集农业果实不同成熟阶段下的图片，并给不同时期下的样本图片贴上对应的标签；

步骤2，利用通信模块，所述通信模块谓STM32或TCP/IP协议，将采集到的图片上传至云计算中心并进行保存；

步骤3，通过WIFI将云计算数据中心的样本图片发送给服务器进行CCNN模型的训练，直至模型的损失函数或迭代次数满足条件；

步骤4，将训练好的CCNN模型应用于实际，实时的对高光谱摄像机采集的果实图片进行分类判断，并将分类结果通过WIFI上传至移动终端；

步骤5，操作人员通过终端实时掌握果实的成熟度，并依据成熟度确定接下来的工作。

进一步，步骤3中CCNN模型训练的具体步骤为：

步骤3.1,利用卷积层1对采集到的图片进行卷积滤波；

步骤3.2，利用Max pooling对步骤3.1得到的图像进行池化处理，完成图像降维工作；

步骤3.3，利用卷积层2对步骤3.2得到的图片进行卷积滤波；

步骤3.4，利用Max pooling对步骤3.3得到的图像进行池化处理，完成图像降维工作；

步骤3.5，将步骤3.4得到的图片以Flatten的方式展开为全连接层，而后在全连接层后面连接接Softmax分类层；

步骤3.6，将步骤3.1和3.5得到的数据进行CNN模型的损失函数的求解，其中的损失函数采用的是交叉熵，表达式为：

式中，N为样本数，z⁽ⁱ⁾为实际样本标签，

为Softmax层判别的标签。

步骤3.7，利用梯度下降法反向修正CNN的各连接层之间的权重系数和偏置系数，直至模型的损失函数或迭代次数满足条件；

步骤3.8，将步骤3.1到步骤3.7获得的CNN模型中的池化层1作为输入，训练第一个SAE模型，其中的损失函数的表达式如下：

式中，S_input和S_output代表SAE的输入输出，N代表训练样本数，权重衰减系数表示为λ，s_l、s_l+1分别为第l层和第l+1层网络神经元节点数量，n_l为SAE的层数，

代表第l层的第j个神经元与l+1层的第i个神经元之间的权重系数。

步骤3.9，将步骤3.1-步骤3.7获得的CNN模型中的池化层2作为输入，训练第二个SAE模型，损失函数同步骤3.8；

步骤3.10，利用步骤3.8得到的SAE模型架构将CNN模型的池化层1与卷积层2连接起来；

步骤3.11，利用步骤3.9得到的SAE模型架构将CNN模型的池化层2与全连接层连接起来；

步骤3.12，对步骤3.1到步骤3.11初步得到的CCNN模型继续训练，利用随机梯度下降法对网络系数反向修正，最终使得损失函数L_CCNN达到收敛阈值1e-4以完成CCNN的训练，其中的损失函数设计为：

本发明基于物联网和CCNN模型的农业果实成熟度检测系统，有益效果：本发明的技术效果在于：

1.本发明在高光谱成像技术的基础上，通过搭建云计算数据库，实现了大数据的存储和高效利用；

2.本发明提出了一种新的网络模型CCNN，该模型在CNN和SAE模型的基础上进行优化升级，在提高网络模型识别精确度的同时增强了模型的鲁棒性；

3.本发明开发相应的移动终端，实时的将检测结果显示在APP上，简单快捷，节约了大量的人力物力，提高了生产效率。

附图说明

图1为本发明的流程图；

图2为本发明采用的CCNN模型网络结构图；

图3为本发明不同模块间的信息传播示意图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

本发明提出了基于物联网和CCNN模型的农业果实成熟度检测系统，旨在实现不同成熟期的果实分类识别，节约人力物力，同时提高生产效率。

图1为本发明的流程图。下面结合流程图对本发明的步骤作详细介绍。

步骤1，利用高光谱成像技术采集农业果实不同成熟阶段下的图片，并给不同时期下的样本图片贴上对应的标签；

步骤2，利用通信模块(STM32、TCP/IP协议)，将采集到的图片上传至云计算中心并进行保存；

步骤3，通过WIFI将云计算数据中心的样本图片发送给服务器进行CCNN模型的训练，直至模型的损失函数或迭代次数满足条件；

步骤3中CCNN模型训练的具体步骤为：

步骤3.1,利用卷积层1对采集到的图片进行卷积滤波；

步骤3.2，利用Max pooling对步骤3.1得到的图像进行池化处理，完成图像降维工作；

步骤3.3，利用卷积层2对步骤3.2得到的图片进行卷积滤波；

步骤3.4，利用Max pooling对步骤3.3得到的图像进行池化处理，完成图像降维工作；

步骤3.5，将步骤3.4得到的图片以Flatten的方式展开为全连接层，而后在全连接层后面连接接Softmax分类层；

步骤3.6，将步骤3.1和3.5得到的数据进行CNN模型的损失函数的求解，其中的损失函数采用的是交叉熵，表达式为：

式中，N为样本数，z⁽ⁱ⁾为实际样本标签，

为Softmax层判别的标签。

步骤3.7，利用梯度下降法反向修正CNN的各连接层之间的权重系数和偏置系数，直至模型的损失函数或迭代次数满足条件；

步骤3.8，将步骤3.1到步骤3.7获得的CNN模型中的池化层1作为输入，训练第一个SAE模型，其中的损失函数的表达式如下：

式中，S_input和S_output代表SAE的输入输出，N代表训练样本数，权重衰减系数表示为λ，s_l、s_l+1分别为第l层和第l+1层网络神经元节点数量，n_l为SAE的层数，

代表第l层的第j个神经元与l+1层的第i个神经元之间的权重系数。

步骤3.9，将步骤3.1-步骤3.7获得的CNN模型中的池化层2作为输入，训练第二个SAE模型，损失函数同步骤3.8；

步骤3.10，利用步骤3.8得到的SAE模型架构将CNN模型的池化层1与卷积层2连接起来；

步骤3.11，利用步骤3.9得到的SAE模型架构将CNN模型的池化层2与全连接层连接起来；

步骤3.12，对步骤3.1到步骤3.11初步得到的CCNN模型继续训练，利用随机梯度下降法对网络系数反向修正，最终使得损失函数L_CCNN达到收敛阈值1e-4以完成CCNN的训练，其中的损失函数设计为：

步骤4，将训练好的CCNN模型应用于实际，实时的对高光谱摄像机采集的果实图片进行分类判断，并将分类结果通过WIFI上传至移动终端；

步骤5，操作人员通过终端实时掌握果实的成熟度，并依据成熟度确定接下来的工作。

图2为本发明采用的CCNN模型架构图，从图2中可以清晰的看出CCNN的网络结构，整个CCNN的结构为：输入层—卷积层1—池化层1—SAE中间层1—卷积层2—池化层2—SAE中间层2—全连接层—Softmax层，其中的卷积层通过卷积滤波实现对图片的滤波，池化层采用的是max pooling池化，实现对图片的降维，再引入SAE，这相当于引入了扰动层以提高模型的鲁棒性。总的来说，新提出的CCNN模型可以更好的对不同时期的果实成熟度进行检测，同时有着很好的鲁棒性。

图3为整个系统的不同模块间的信息传播示意图。可以看出，利用高光谱成像摄像机采集农业果实图片，然后通过串口通信传输至STM32单片机，然后通过TCP/IP协议将数据传送到相应的路由器，然后路由器转发至云计算数据中心，再通过WIFI将图片送至服务器中，服务器调用训练完成的CCNN模型实现对图片的分类识别，然后将识别结果通过WIFI发送给移动终端，最终实现农业果实成熟度的在线检测，大大节约人力物力，提高了生产效率。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (1)

1.基于物联网和CCNN模型的农业果实成熟度检测系统，具体步骤如下，其特征在于：

步骤1，利用高光谱成像技术采集农业果实不同成熟阶段下的图片，并给不同时期下的样本图片贴上对应的标签；

步骤2，利用通信模块，所述通信模块为STM32或TCP/IP协议，将采集到的图片上传至云计算中心并进行保存；

步骤3，通过WIFI将云计算数据中心的样本图片发送给服务器进行CCNN模型的训练，直至模型的损失函数或迭代次数满足条件；

步骤3中CCNN模型训练的具体步骤为：

步骤3.1,利用卷积层1对采集到的图片进行卷积滤波；

步骤3.2，利用Max pooling对步骤3.1得到的图像进行池化处理，得到池化层1，完成图像降维工作；

步骤3.3，利用卷积层2对步骤3.2得到的图片进行卷积滤波；

步骤3.4，利用Max pooling对步骤3.3得到的图像进行池化处理，得到池化层2，完成图像降维工作；

步骤3.5，将步骤3.4得到的图片以Flatten的方式展开为全连接层，而后在全连接层后面连接接Softmax分类层；

步骤3.6，将步骤3.1和3.5得到的数据进行CNN模型的损失函数的求解，其中的损失函数采用的是交叉熵，表达式为：

式中，N为样本数，z⁽ⁱ⁾为实际样本标签，

为Softmax层判别的标签；

步骤3.7，利用梯度下降法反向修正CNN的各连接层之间的权重系数和偏置系数，直至模型的损失函数或迭代次数满足条件；

步骤3.8，将步骤3.1到步骤3.7获得的CNN模型中的池化层1作为输入，训练第一个SAE模型，其中的损失函数的表达式如下：

式中，S_input和S_output代表SAE的输入输出，N代表训练样本数，权重衰减系数表示为λ，s_l、s_l+1分别为第l层和第l+1层网络神经元节点数量，n_l为SAE的层数，

代表第l层的第j个神经元与l+1层的第i个神经元之间的权重系数；

步骤3.9，将步骤3.1-步骤3.7获得的CNN模型中的池化层2作为输入，训练第二个SAE模型，损失函数同步骤3.8；

步骤3.10，利用步骤3.8得到的SAE模型架构将CNN模型的池化层1与卷积层2连接起来；

步骤3.11，利用步骤3.9得到的SAE模型架构将CNN模型的池化层2与全连接层连接起来；

步骤3.12，对步骤3.1到步骤3.11初步得到的CCNN模型继续训练，利用随机梯度下降法对网络系数反向修正，最终使得损失函数L_CCNN达到收敛阈值1e-4以完成CCNN的训练，其中的损失函数设计为：

步骤4，将训练好的CCNN模型应用于实际，实时的对高光谱摄像机采集的果实图片进行分类判断，并将分类结果通过WIFI上传至移动终端；

步骤5，操作人员通过终端实时掌握果实的成熟度，并依据成熟度确定接下来的工作。

Images