CN109636791A - 一种基于深度学习的柑橘黄龙病检测方法、装置及系统 - Google Patents
一种基于深度学习的柑橘黄龙病检测方法、装置及系统 Download PDFInfo
- Publication number
- CN109636791A CN109636791A CN201811528272.3A CN201811528272A CN109636791A CN 109636791 A CN109636791 A CN 109636791A CN 201811528272 A CN201811528272 A CN 201811528272A CN 109636791 A CN109636791 A CN 109636791A
- Authority
- CN
- China
- Prior art keywords
- citrus
- model
- training
- leaf
- huanglongbing pathogen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000020971 citrus fruits Nutrition 0.000 title claims abstract description 144
- 241000207199 Citrus Species 0.000 title claims abstract description 139
- 238000001514 detection method Methods 0.000 title claims abstract description 95
- 241001478315 Candidatus Liberibacter asiaticus Species 0.000 title claims abstract description 74
- 238000013135 deep learning Methods 0.000 title claims abstract description 32
- 238000012360 testing method Methods 0.000 claims abstract description 73
- 238000003062 neural network model Methods 0.000 claims abstract description 50
- 238000003745 diagnosis Methods 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 27
- 229920003266 Leaf® Polymers 0.000 claims description 100
- 238000012549 training Methods 0.000 claims description 72
- 208000015181 infectious disease Diseases 0.000 claims description 23
- 230000036541 health Effects 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 3
- 239000007943 implant Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 210000005036 nerve Anatomy 0.000 claims description 2
- 235000013399 edible fruits Nutrition 0.000 abstract description 15
- 239000002420 orchard Substances 0.000 abstract description 13
- 238000004519 manufacturing process Methods 0.000 abstract description 10
- 201000010099 disease Diseases 0.000 abstract description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 7
- 230000008092 positive effect Effects 0.000 abstract description 4
- 238000002405 diagnostic procedure Methods 0.000 abstract description 3
- 239000003337 fertilizer Substances 0.000 abstract description 3
- 239000000523 sample Substances 0.000 description 25
- 238000013528 artificial neural network Methods 0.000 description 9
- 241001672694 Citrus reticulata Species 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 241000196324 Embryophyta Species 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 235000009103 Canarium album Nutrition 0.000 description 1
- 244000012254 Canarium album Species 0.000 description 1
- 108020003215 DNA Probes Proteins 0.000 description 1
- 239000003298 DNA probe Substances 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 244000131316 Panax pseudoginseng Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000009396 hybridization Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004383 yellowing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度学习的柑橘黄龙病检测方法、装置及系统，该方法包括：获取待识别柑橘叶片的图像数据；将所述图像数据，输入到移动端的柑橘黄龙病检测的神经网络模型；确定所述图像数据对应的检测结果。该检测方法操作简便、无损、费用低廉、受广大柑橘生产者欢迎；且简化了诊断流程、降低了诊断成本，可以帮忙果农做到了尽早的检测和发现病害，实现对果园中柑橘果树进行快速、实时、准确、无损的诊断，可为果农施肥、生产提供参考，对果树产量有极大帮助，对推动精准农业和农业信息化有积极作用。
Description
技术领域
本发明涉及柑橘黄龙病智能识别技术领域，特别涉及一种基于深度学习的柑橘黄龙病检测方法、装置及系统。
背景技术
柑橘是世界上生产量最大的水果之一，也是我国南方地区种植规模最大的水果种类之一，在农业经济中占非常重要的地位。而柑橘黄龙病(HLB)对柑橘的生产是有毁灭性的，该病害使柑橘树表现症状为叶片斑驳、叶片黄化、树势衰弱、红鼻子果或者是青果不转色等，还具有蔓延速度快、危害大的特点。一旦柑橘树感染该病，轻者会严重影响其果实产量与质量，重者则造成柑橘植株的枯死，造成我国大部分地区的柑橘产量下降，柑橘寿命短，生产成本增加，严重制约着我国乃至全世界柑橘产业的发展。迄今为止，尚未找到合适有效的药物治疗方法。
为了阻止HLB的扩散，目前在柑橘生产中采用的首要方法是连根挖除，许多柑橘果园因HLB而被摧毁，HLB也被认为是柑橘的癌症，给果农及相关产业造成巨大的经济损失。而及早的发现病株并进行及时的挖除，可以大大的减少生产的损失，对提高柑橘产量和质量有重要意义。目前针对HLB的最可靠的检测方法为PCR检测技术，但该法检测过程繁琐、周期较长、检测费用高以及对检测环境和操作要求高等特点限制着该法在实际生产的应用。另外诸如嫁接诊断、血清学诊断、田间诊断、DNA探针杂交等方法，也因为诊断准确率低、耗时长、成本高、过程繁琐等原因在实际生产中难以推广。
因此，如何提供一种简单方便的检测方法，是同行业人员亟待解决的问题。
发明内容
鉴于上述问题，本发明提出了一种基于深度学习的柑橘黄龙病检测方法、装置及系统，该检测方法快速、高效、可靠；且具有操作简便、无损、费用低廉、容易受广大柑橘生产者应用的优点。
第一方面，本发明实施例提供一种基于深度学习的柑橘黄龙病检测方法，包括：
获取待识别柑橘叶片的图像数据；
将所述图像数据，输入到移动端的柑橘黄龙病检测的神经网络模型；
确定所述图像数据对应的检测结果。
在一个实施例中，所述柑橘黄龙病检测的神经网络模型的建立过程包括：
采集大量柑橘叶片的图像信息，在服务器端建立样本数据库；所述样本数据库包括训练数据和测试数据；
根据所述样本数据库，建立柑橘黄龙病检测的神经网络模型，并训练所述柑橘黄龙病检测的神经网络模型；
将训练后的所述柑橘黄龙病检测的神经网络模型植入到移动端。
在一个实施例中，采集大量柑橘叶片的图像信息，在服务器端建立样本数据库，包括：
对采集的大量柑橘叶片的图像信息，进行旋转，平移和/或尺度变换处理，将采集的图像信息和处理后的图像信息，在服务器端建立样本数据库。
在一个实施例中，所述柑橘黄龙病检测的神经网络模型包括：叶片检测SSD模型和黄龙病诊断模型；
训练所述柑橘黄龙病检测的神经网络模型，包括：
根据所述样本数据库的训练数据，针对每一柑橘叶片，标注相应的健康等级；所述健康等级包括：健康、非HLB黄化、患HLB黄化、花叶和斑驳；
将标注后柑橘叶片的图像信息，训练叶片检测SSD模型；
将训练后的所述叶片检测SSD模型，对所述测试数据进行测试，选择检测准确率超过第一预设阈值的第一叶片检测SSD模型；
将所述第一叶片检测SSD模型的输出数据，输入到黄龙病诊断模型；所述黄龙病诊断模型以MobileNet模型为基准模型；
训练所述黄龙病诊断模型，将训练后的所述黄龙病诊断模型，对所述测试数据进行测试，选择测试准确率超过第二预设阈值的黄龙病诊断模型。
在一个实施例中，所述方法还包括：当所述检测结果诊断为感染黄龙病且感染概率低于第三预设阈值时，根据操作指令，将所述检测结果对应的柑橘叶片的图像数据上传到服务器端；
接收所述服务器端发送的专家诊断结果并反馈。
第二方面，本发明还提供一种基于深度学习的柑橘黄龙病检测装置，包括：
获取模块，用于获取待识别柑橘叶片的图像数据；
输入模块，用于将所述图像数据，输入到移动端的柑橘黄龙病检测的神经网络模型；
确定模块，用于确定所述图像数据对应的检测结果。
在一个实施例中，还包括：
上传模块，用于当所述检测结果诊断为感染黄龙病且感染概率低于第三预设阈值时，根据操作指令，将所述检测结果对应的柑橘叶片的图像数据上传到服务器端；
反馈模块，用于接收所述服务器端发送的专家诊断结果并反馈；
第三方面，本发明还提供一种基于深度学习的柑橘黄龙病检测系统，包括：移动端和服务器端；
所述移动端包括：
获取模块，用于获取待识别柑橘叶片的图像数据；
输入模块，用于将所述图像数据，输入到移动端的柑橘黄龙病检测的神经网络模型；
确定模块，用于确定所述图像数据对应的检测结果；
所述服务器端包括：
采集建立模块，用于采集大量柑橘叶片的图像信息，在服务器端建立样本数据库；所述样本数据库包括训练数据和测试数据；
建立训练模块，用于根据所述样本数据库，建立柑橘黄龙病检测的神经网络模型，并训练所述柑橘黄龙病检测的神经网络模型；
植入模块，用于将训练后的所述柑橘黄龙病检测的神经网络模型植入到移动端。
在一个实施例中，所述建立训练模块中柑橘黄龙病检测的神经网络模型，包括：叶片检测SSD模型和黄龙病诊断模型；
所述建立训练模块，包括：
标注子模块，用于根据所述样本数据库的训练数据，针对每一柑橘叶片，标注相应的健康等级；所述健康等级包括：健康、非HLB黄化、患HLB黄化、花叶和斑驳；
第一训练子模块，用于将标注后柑橘叶片的图像信息，训练叶片检测SSD模型；
第一选择子模块，用于将训练后的所述叶片检测SSD模型，对所述测试数据进行测试，选择检测准确率超过第一预设阈值的第一叶片检测SSD模型；
输入子模块，用于将所述第一叶片检测SSD模型的输出数据，输入到黄龙病诊断模型；所述黄龙病诊断模型以MobileNet模型为基准模型；
第二训练子模块，用于训练所述黄龙病诊断模型；
第二选择子模块，用于将训练后的所述黄龙病诊断模型，对所述测试数据进行测试，选择测试准确率超过第二预设阈值的黄龙病诊断模型。
在一个实施例中，所述移动端还包括：
上传模块，用于当所述检测结果诊断为感染黄龙病且感染概率低于第三预设阈值时，根据操作指令，将所述检测结果对应的柑橘叶片的图像数据上传到服务器端；
反馈模块，用于接收所述服务器端发送的专家诊断结果并反馈；
所述服务器端还包括：
接收模块，用于接收所述移动端上传的柑橘叶片的图像数据；
发送模块，用于将专家的诊断结果发送给所述移动端。
本发明的优点在于，本发明提出了一种基于深度学习的柑橘黄龙病检测方法，该检测方法操作简便、无损、费用低廉、受广大柑橘生产者欢迎；且简化了诊断流程、降低了诊断成本，可以帮忙果农做到了尽早的检测和发现病害，实现对果园中柑橘果树进行快速、实时、准确、无损的诊断，可为果农施肥、生产提供参考，对果树产量有极大帮助，对推动精准农业和农业信息化有积极作用。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明提供的基于深度学习的柑橘黄龙病检测方法的流程图。
图2为本发明提供的实施例流程示意图。
图3为本发明提供的柑橘黄龙病检测的神经网络模型的建立过程流程图。
图4为本发明提供的MobileNet网络结构的示意图。
图5为本发明提供的基于深度学习的柑橘黄龙病检测装置的框图。
图6为本发明提供的基于深度学习的柑橘黄龙病检测系统的结构图。
图7为本发明提供的服务器端的框图。
图8为本发明提供的建立训练模块61的框图。
图9为本发明实施例提供的基于深度学习的柑橘黄龙病检测系统的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供一种基于深度学习的柑橘黄龙病检测方法，参照图1所示，包括：
S11、获取待识别柑橘叶片的图像数据；
S12、将所述图像数据，输入到移动端的柑橘黄龙病检测的神经网络模型；
S13、确定所述图像数据对应的检测结果。
本实施例中，是基于移动端的检测方法，该移动端可以是各种终端，例如手机、平板电脑、笔记本电脑、甚至是各种可穿戴设备例如手环、指环、头盔等等。步骤S11中获取到待识别的柑橘叶片的图像数据，该图像数据可以是图片、也可以是视频。可以是该移动端通过调用自身的照相机功能，也可以是通过其他方式获得的图片，比如从其他移动终端通过聊天工具发送的图片、或从相册中获取的图片等等。将该图像数据输入到移动端内置的柑橘黄龙病检测的神经网络模型，该模型经过检测、计算可得出检测结果。检测结果比如包括：健康、黄龙病、疑似黄龙病等等。
该检测方法操作简便、无损、费用低廉、受广大柑橘生产者欢迎；且简化了诊断流程、降低了诊断成本，可以帮忙果农做到了尽早的检测和发现病害，实现对果园中柑橘果树进行快速、实时、准确、无损的诊断，可为果农施肥、生产提供参考，对果树产量有极大帮助，对推动精准农业和农业信息化有积极作用。
进一步，参照图1所示，上述方法还包括：步骤S14～S15；
S14、当所述检测结果诊断为感染黄龙病且感染概率低于第三预设阈值时，根据操作指令，将所述检测结果对应的柑橘叶片的图像数据上传到服务器端；
S15、接收所述服务器端发送的专家诊断结果并反馈。
若柑橘黄龙病检测的神经网络模型对用户上传的图像诊断为感染黄龙病并且感染概率低于80％，还可以将图像上传到服务端，服务端自动把图像发送到黄龙病专家的终端，比如智能手机，专家收到后人工诊断并在线得出结论，结果再经由服务器端发送到用户移动端。
以移动端为手机举例：
比如将本发明提供的基于深度学习的柑橘黄龙病检测方法，置于手机APP应用中，当用户点击apk安装文件自行安装后方可使用，比如该APP软件在AndroidStidio编译软件下进行开发，兼容android5.0系统以上安卓手机。该APP软件植入了上述柑橘黄龙病检测的神经网络模型，通过输入柑橘叶片图像对柑橘黄龙病病情进行实时诊断。该检测方法操作简单，使用方便，没有时间地点的限制，对用户的文化水平没有任何要求。打开APP软件后可立即使用，参照图2所示，具体操作流程如下：
1、点击拍照按钮，即可调用chooseCamera()函数打开照相机，拍摄柑橘叶片，并保存在本地，或点击选择照片按钮，即可调用chooseImage()函数在本机相册里选择柑橘叶片图片，然后通过onActivityResult()函数把选中的照片显示在屏幕上方。若用户不满意此照片，可重新选择。
2、选择好照片后，点击提交检测按钮，通过commit()函数调用已内置的训练好的柑橘黄龙病检测的神经网络模型进行柑橘黄龙病的快速诊断，可输出检测结果，比如为患病概率及健康概率。
3、若用户认为快速诊断结果不够准确，比如可点击发送至专家按钮，即可把图片发送给黄龙病专家处，由专家进行人工鉴别。
在一个实施例中，柑橘黄龙病检测的神经网络模型的建立过程，参照图3所示，包括：
S31、采集大量柑橘叶片的图像信息，在服务器端建立样本数据库；所述样本数据库包括训练数据和测试数据；
S32、根据所述样本数据库，建立柑橘黄龙病检测的神经网络模型，并训练所述柑橘黄龙病检测的神经网络模型；
S33、将训练后的所述柑橘黄龙病检测的神经网络模型植入到移动端。
本实施例中，柑橘黄龙病检测的神经网络模型的建立是在服务器端完成的，在服务器端以柑橘叶片作为研究对象，分析染病的柑橘叶片的图像，确定、并提取染病的柑橘叶片的图像特征，在服务器中通过深度学习建立准确的柑橘黄龙病检测的神经网络模型；再将该柑橘黄龙病检测的神经网络模型移植到移动端，比如以移动端手机为例，农户通过手机摄像头拍摄果园中柑橘叶片的图像，运行手机APP就能得到是否患黄龙病的诊断结果。
在移动端进行HLB的检测，比传统方法更加节省时间，可更加便捷地发现病株，与PCR技术相比，极大地缩短了检测周期。在实际应用中，因为尽早鉴别并且挖除患病植株是目前解决HLB最好的办法，而基于深度学习的检测方法正是解决了这种需求。
传统的深度学习技术的在移动端应用，通常都是采用网络通信的方法，依赖云服务器来完成深度学习网络所有的计算操作。而本发明提供的在移动端运行的基于深度学习的柑橘黄龙病检测方法，可以在没有网络连接的情况下正常运行，对移动端来说运行非常高效而且非常省电，而且给人们带来更多的便利。
在一个实施例中，上述柑橘黄龙病检测的神经网络模型包括：叶片检测SSD模型和黄龙病诊断模型；
其中：训练柑橘黄龙病检测的神经网络模型，包括：
根据所述样本数据库的训练数据，针对每一柑橘叶片，标注相应的健康等级；所述健康等级包括：健康、非HLB黄化、患HLB黄化、花叶和斑驳；
将标注后柑橘叶片的图像信息，训练叶片检测SSD模型；
将训练后的所述叶片检测SSD模型，对所述测试数据进行测试，选择检测准确率超过第一预设阈值的第一叶片检测SSD模型；
将所述第一叶片检测SSD模型的输出数据，输入到黄龙病诊断模型；所述黄龙病诊断模型以MobileNet模型为基准模型；
训练所述黄龙病诊断模型，将训练后的所述黄龙病诊断模型，对所述测试数据进行测试，选择测试准确率超过第二预设阈值的黄龙病诊断模型。
本实施例中，服务器端通过检测大量柑橘叶片，建立样本数据库，训练柑橘黄龙病检测的神经网络模型，对神经网络模型进行压缩并移植到移动端，比如在安卓手机上运行。
上述叶片检测使用SSD模型，将接收到的图像输入到叶片检测模块，叶片检测输出叶片的实例图像。SSD模型使用公开已训练基础网络模型参数做初始化，使用具有实例标注的数据进行训练，对模型进行微调。
使用具有实例标注的数据进行训练，若不能达到较高的准确率，可通过设置较小的学习率，调整神经网络层数对网络模型进行调整；将训练好的模型应用到测试数据库中进行测试，使得测试准确率达到第一预设阈值，比如90％以上，从而找到最优的模型。
以MobileNet为基准模型，学习对健康和患病图像有判别性的特征。根据训练和测试结果，对诊断模型进行结构上的调整，通过对神经网络层数、激励函数和学习率等超参数的修改，提高分类的准确率；将训练好的模型应用到测试数据库中进行测试，使测试准确率达到第二预设阈值，比如90％以上，从而找到最优模型参数。
由于传统的网络结构非常复杂，而且参数个数巨大，这样会导致训练出来的神经网络模型规格非常大，不适合在移动端上运行，所以本发明采用了MobileNet的网络模型，MobileNet是由Google的研究者们设计的一类卷积神经网络。其可在移动端，比如手机上运行，计算消耗小、运行速度快。
MobileNet和传统的CNN在结构上的差别主要是，传统CNN中在批规范化和ReLU(线性整流函数)前边，是一个3×3卷积层，而MobileNet将卷积过程分为一个3×3深度方向的卷积和一个1×1点对点的卷积。利用MobileNet主要的思想，将一个标准卷积分解成一个深度卷积和一个1*1的点积。深度卷积将卷积核应用到每一个通道，1*1卷积用来组合通道卷积的输出，这样极大地减少了计算量，降低模型大小。神经网络模型结构如图4所示。MobileNet中的深度分离卷积的方式，可以达到与原来标准卷积相同的效果。在经过这样的压缩处理之后，使最后训练出来的神经网络模型更加精简，有助于神经网络模型在移动端的使用，增加了神经网络模型的可用性。
具体地，MobileNet使用了deep-wise的卷积方式来替代原有的传统3D卷积，减少了卷积核的冗余表达。在计算量和参数数量明显下降之后，卷积网络可以应用在更多的移动端平台。
这样的MobileNet模型，比如可嵌入app中，提交检测后立即得出结果，无需经过网络发送再接收结果，免去了三次握手的过程，使检测时间缩短至毫秒级。
上述步骤S14和S15中，当用户把图像发送过去后，专家立即能接收到图片并即刻诊断，把结果发送给用户。这样用户最快只需几秒钟即可得到非常可靠的人工诊断结果。
本实施例中，在服务器端建立的样本数据库用于训练叶片检测SSD模型和黄龙病诊断模型，并进行深度学习。首先需要进行数据采集，因此前期工作需要到田间采集大量健康柑橘树与患有HLB柑橘树的柑橘叶片的图像，可采用手机等工具采集。在采集了足够多的图像数据量后，为每一张图像添加标注。图像标注包括叶片的实例标注以及叶片的诊断标注。实例标注是在输入的图像中，用边框标注出每个实例(图像中的单片叶片)，获取实例的边框坐标，标注的数据用来训练叶片检测模块。而诊断标注是根据农学专家的诊断结果，对每个获取的实例进行标注，例如健康实例、患病实例(进一步细分为轻微感染实例、严重感染实例等情况)，诊断标注的数据用来训练黄龙病诊断模块。根据不同的病理特征、不同的识别方法做好分类，从而建立起深度学习的样本数据库。
此外，通过图像的几何变换，使用以下一种或多种几何变换的组合来增加输入数据的量，如旋转，平移，尺度变换等，这样设计能够避免农户在使用过程中，拍摄照片方式不恰当导致无法识别的问题。样本数据库采集完后，将样本数据库分为训练数据库和测试数据库两部分，训练数据库主要用来预训练，测试数据库则用来验证深度学习的神经网络模型的学习效果，并且通过反复训练来修正神经网络模型。
本实施例中，通过采集大量患HLB的柑橘叶片图像建立样本数据库，并对HLB诊断的深度学习建模：标记患病与健康的柑橘叶片，使用ssd_mobilenet模型对图片进行训练，并调整其中的参数，使测试的准确率达到比如90％以上，从而得到能够反映柑橘果树患HLB的最优深度学习模型。MobileNet在手机上运行，计算消耗小、运行速度快，很适合在移动端的使用。
比如：在Androidstudio上将训练好的模型进行编译，生成一个安卓手机APP，可实现在手机端实时诊断黄龙病病情，因此简化了诊断流程、降低了诊断成本，做到了尽早的检测和发现病害，实现对果园中柑橘果树进行快速、实时、准确、无损的诊断，可为果农施肥、生产提供参考，对果树产量有极大帮助，对推动精准农业和农业信息化有积极作用；
本发明中，样本数据库包括训练数据库和测试数据库，因此能对学习模型进行预训练，以及验证深度学习的神经网络模型学习效果，进而得到最优模型；叶片检测使用SSD模型，并将SSD模型使用具有实例标注的数据进行训练，直至得到最优模型，因此能得到最优的叶片检测SSD模型，提高诊断效率和准确率；黄龙病诊断模型以MobileNet模型为基准模型。
基于同一发明构思，本发明实施例还提供了一种基于深度学习的柑橘黄龙病检测装置，由于该装置所解决问题的原理与一种基于深度学习的柑橘黄龙病检测方法相似，因此该装置的实施可以参见前述方法的实施，重复之处不再赘述。
本发明还提供一种基于深度学习的柑橘黄龙病检测装置，可以用于执行上述方法的实施例，参照图5所示，该检测装置可以通过软件、硬件或者两者结合实现成为电子设备的部分或全部，包括：
获取模块51，用于获取待识别柑橘叶片的图像数据；
输入模块52，用于将所述图像数据，输入到移动端的柑橘黄龙病检测的神经网络模型；
确定模块53，用于确定所述图像数据对应的检测结果。
在一个实施例中，参照图5所示，还包括：
上传模块54，用于当所述检测结果诊断为感染黄龙病且感染概率低于第三预设阈值时，根据操作指令，将所述检测结果对应的柑橘叶片的图像数据上传到服务器端；
反馈模块55，用于接收所述服务器端发送的专家诊断结果并反馈；
参照图6所示，本发明还提供了一种基于移动端深度学习的柑橘黄龙病检测系统，移动端5和服务器端6；
参照图5所示，所述移动端5包括：
获取模块51，用于获取待识别柑橘叶片的图像数据；
输入模块52，用于将所述图像数据，输入到移动端的柑橘黄龙病检测的神经网络模型；
确定模块53，用于确定所述图像数据对应的检测结果；
参照图7所示，所述服务器端6包括：
采集建立模块61，用于采集大量柑橘叶片的图像信息，在服务器端建立样本数据库；所述样本数据库包括训练数据和测试数据；
建立训练模块62，用于根据所述样本数据库，建立柑橘黄龙病检测的神经网络模型，并训练所述柑橘黄龙病检测的神经网络模型；
植入模块63，用于将训练后的所述柑橘黄龙病检测的神经网络模型植入到移动端。
在一个实施例中，上述建立训练模块中柑橘黄龙病检测的神经网络模型，包括：叶片检测SSD模型和黄龙病诊断模型；
参照图8所示，所述建立训练模块61，包括：
标注子模块611，用于根据所述样本数据库的训练数据，针对每一柑橘叶片，标注相应的健康等级；所述健康等级包括：健康、非HLB黄化、患HLB黄化、花叶和斑驳；
第一训练子模块612，用于将标注后柑橘叶片的图像信息，训练叶片检测SSD模型；
第一选择子模块613，用于将训练后的所述叶片检测SSD模型，对所述测试数据进行测试，选择检测准确率超过第一预设阈值的第一叶片检测SSD模型；
输入子模块614，用于将所述第一叶片检测SSD模型的输出数据，输入到黄龙病诊断模型；所述黄龙病诊断模型以MobileNet模型为基准模型；
第二训练子模块615，用于训练所述黄龙病诊断模型；
第二选择子模块616，用于将训练后的所述黄龙病诊断模型，对所述测试数据进行测试，选择测试准确率超过第二预设阈值的黄龙病诊断模型。
在一个实施例中，参照图5所示，所述移动端5还包括：
上传模块54，用于当所述检测结果诊断为感染黄龙病且感染概率低于第三预设阈值时，根据操作指令，将所述检测结果对应的柑橘叶片的图像数据上传到服务器端；
反馈模块55，用于接收所述服务器端发送的专家诊断结果并反馈；
参照图7所示，所述服务器端6还包括：
接收模块64，用于接收所述移动端上传的柑橘叶片的图像数据；
发送模块65，用于将专家的诊断结果发送给所述移动端。
本发明提供的一种基于深度学习的柑橘黄龙病检测系统，参照图9所示：
1、用户通过手机摄像头获取柑橘叶片的图像；
2、手机用训练好的柑橘黄龙病检测的神经网络模型对用户输入的图像进行诊断，若该果树被鉴别为患HLB的果树，则进一步反馈该果树患HLB的症状，若该果树未被鉴别为患HLB的果树，则直接确定为未感染的诊断结果；
更进一步，若该果树被诊断为感染黄龙病并且诊断感染概率不低于80％，则直接确定为已经感染的诊断结果，若该果树被诊断为感染黄龙病并且诊断感染概率低于80％，则将诊断结果视为可疑结果，手机移动端把该图像上传到服务器端，服务器端可转发至HLB专家手机终端，进行人工在线检测。
3、用户通过手机端查看诊断结果，通过诊断结果采取后续措施和行动。若用户需要更加可靠的检测结果，也可以在线咨询HLB专家。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种基于深度学习的柑橘黄龙病检测方法，其特征在于，包括：
获取待识别柑橘叶片的图像数据；
将所述图像数据，输入到移动端的柑橘黄龙病检测的神经网络模型；
确定所述图像数据对应的检测结果。
2.如权利要求1所述的方法，其特征在于，所述柑橘黄龙病检测的神经网络模型的建立过程包括：
采集大量柑橘叶片的图像信息，在服务器端建立样本数据库；所述样本数据库包括训练数据和测试数据；
根据所述样本数据库，建立柑橘黄龙病检测的神经网络模型，并训练所述柑橘黄龙病检测的神经网络模型；
将训练后的所述柑橘黄龙病检测的神经网络模型植入到移动端。
3.如权利要求2所述的方法，其特征在于，采集大量柑橘叶片的图像信息，在服务器端建立样本数据库，包括：
对采集的大量柑橘叶片的图像信息，进行旋转，平移和/或尺度变换处理，将采集的图像信息和处理后的图像信息，在服务器端建立样本数据库。
4.如权利要求2或3所述的方法，其特征在于，所述柑橘黄龙病检测的神经网络模型包括：叶片检测SSD模型和黄龙病诊断模型；
训练所述柑橘黄龙病检测的神经网络模型，包括：
根据所述样本数据库的训练数据，针对每一柑橘叶片，标注相应的健康等级；所述健康等级包括：健康、非HLB黄化、患HLB黄化、花叶和斑驳；
将标注后柑橘叶片的图像信息，训练叶片检测SSD模型；
将训练后的所述叶片检测SSD模型，对所述测试数据进行测试，选择检测准确率超过第一预设阈值的第一叶片检测SSD模型；
将所述第一叶片检测SSD模型的输出数据，输入到黄龙病诊断模型；所述黄龙病诊断模型以MobileNet模型为基准模型；
训练所述黄龙病诊断模型，将训练后的所述黄龙病诊断模型，对所述测试数据进行测试，选择测试准确率超过第二预设阈值的黄龙病诊断模型。
5.如权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：当所述检测结果诊断为感染黄龙病且感染概率低于第三预设阈值时，根据操作指令，将所述检测结果对应的柑橘叶片的图像数据上传到服务器端；
接收所述服务器端发送的专家诊断结果并反馈。
6.一种基于深度学习的柑橘黄龙病检测装置，其特征在于，包括：
获取模块，用于获取待识别柑橘叶片的图像数据；
输入模块，用于将所述图像数据，输入到移动端的柑橘黄龙病检测的神经网络模型；
确定模块，用于确定所述图像数据对应的检测结果。
7.如权利要求6所述的装置，其特征在于，还包括：
上传模块，用于当所述检测结果诊断为感染黄龙病且感染概率低于第三预设阈值时，根据操作指令，将所述检测结果对应的柑橘叶片的图像数据上传到服务器端；
反馈模块，用于接收所述服务器端发送的专家诊断结果并反馈。
8.一种基于移动端深度学习的柑橘黄龙病检测系统，其特征在于，包括：移动端和服务器端；
所述移动端包括：
获取模块，用于获取待识别柑橘叶片的图像数据；
输入模块，用于将所述图像数据，输入到移动端的柑橘黄龙病检测的神经网络模型；
确定模块，用于确定所述图像数据对应的检测结果；
所述服务器端包括：
采集建立模块，用于采集大量柑橘叶片的图像信息，在服务器端建立样本数据库；所述样本数据库包括训练数据和测试数据；
建立训练模块，用于根据所述样本数据库，建立柑橘黄龙病检测的神经网络模型，并训练所述柑橘黄龙病检测的神经网络模型；
植入模块，用于将训练后的所述柑橘黄龙病检测的神经网络模型植入到移动端。
9.如权利要求8所述的系统，其特征在于，所述建立训练模块中柑橘黄龙病检测的神经网络模型，包括：叶片检测SSD模型和黄龙病诊断模型；
所述建立训练模块，包括：
标注子模块，用于根据所述样本数据库的训练数据，针对每一柑橘叶片，标注相应的健康等级；所述健康等级包括：健康、非HLB黄化、患HLB黄化、花叶和斑驳；
第一训练子模块，用于将标注后柑橘叶片的图像信息，训练叶片检测SSD模型；
第一选择子模块，用于将训练后的所述叶片检测SSD模型，对所述测试数据进行测试，选择检测准确率超过第一预设阈值的第一叶片检测SSD模型；
输入子模块，用于将所述第一叶片检测SSD模型的输出数据，输入到黄龙病诊断模型；所述黄龙病诊断模型以MobileNet模型为基准模型；
第二训练子模块，用于训练所述黄龙病诊断模型；
第二选择子模块，用于将训练后的所述黄龙病诊断模型，对所述测试数据进行测试，选择测试准确率超过第二预设阈值的黄龙病诊断模型。
10.如权利要求8所述的系统，其特征在于，所述移动端还包括：
上传模块，用于当所述检测结果诊断为感染黄龙病且感染概率低于第三预设阈值时，根据操作指令，将所述检测结果对应的柑橘叶片的图像数据上传到服务器端；
反馈模块，用于接收所述服务器端发送的专家诊断结果并反馈；
所述服务器端还包括：
接收模块，用于接收所述移动端上传的柑橘叶片的图像数据；
发送模块，用于将专家的诊断结果发送给所述移动端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811528272.3A CN109636791A (zh) | 2018-12-13 | 2018-12-13 | 一种基于深度学习的柑橘黄龙病检测方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811528272.3A CN109636791A (zh) | 2018-12-13 | 2018-12-13 | 一种基于深度学习的柑橘黄龙病检测方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109636791A true CN109636791A (zh) | 2019-04-16 |
Family
ID=66073812
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811528272.3A Pending CN109636791A (zh) | 2018-12-13 | 2018-12-13 | 一种基于深度学习的柑橘黄龙病检测方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109636791A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110135371A (zh) * | 2019-05-20 | 2019-08-16 | 华南农业大学 | 一种基于Mixup算法的柑橘黄龙病识别方法及装置 |
| CN110599457A (zh) * | 2019-08-14 | 2019-12-20 | 广东工业大学 | 一种基于bd胶囊网络的柑橘黄龙病分类方法 |
| CN111160079A (zh) * | 2019-06-28 | 2020-05-15 | 广西慧云信息技术有限公司 | 一种快速识别柑橘花期的方法 |
| CN111179216A (zh) * | 2019-12-03 | 2020-05-19 | 中国地质大学（武汉） | 一种基于图像处理与卷积神经网络的作物病害识别方法 |
| CN111767849A (zh) * | 2020-06-29 | 2020-10-13 | 京东数字科技控股有限公司 | 农作物病虫害识别方法、设备及存储介质 |
| CN112001370A (zh) * | 2020-09-29 | 2020-11-27 | 中国农业科学院农业信息研究所 | 一种农作物病虫害识别方法及系统 |
| CN112836616A (zh) * | 2021-01-28 | 2021-05-25 | 广东技术师范大学 | 基于环境参数序列的黄龙病预警方法、装置和计算机设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921814A (zh) * | 2018-05-16 | 2018-11-30 | 华南农业大学 | 一种基于深度学习的柑橘黄龙病在线快速检测系统及方法 |
-
2018
- 2018-12-13 CN CN201811528272.3A patent/CN109636791A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921814A (zh) * | 2018-05-16 | 2018-11-30 | 华南农业大学 | 一种基于深度学习的柑橘黄龙病在线快速检测系统及方法 |
Non-Patent Citations (4)
| Title |
|---|
| ANTON LOUISE P.DE OCAMPO AND ELMER P. DADIOS: "Mobile Platform Implementation of Lightweight Neural Network Model for Plant Disease Detection and Recognition", 《2018 IEEE 10TH INTERNATIONAL CONFERENCE ON HUMANOID, NANOTECHNOLOGY, INFORMATION TECHNOLOGY, COMMUNICATION AND CONTROL, ENVIRONMENT AND MANAGEMENT (HNICEM)》 * |
| 梅慧兰 等: "柑橘黄龙病高光谱早期鉴别及病情分级", 《农业工程学报》 * |
| 邓小玲 等: "基于主成分分析和BP神经网络的柑橘黄龙病诊断技术", 《光子学报》 * |
| 邓小玲 等: "基于调制荧光检测技术的柑橘黄龙病诊断", 《华南农业大学学报》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110135371A (zh) * | 2019-05-20 | 2019-08-16 | 华南农业大学 | 一种基于Mixup算法的柑橘黄龙病识别方法及装置 |
| CN111160079A (zh) * | 2019-06-28 | 2020-05-15 | 广西慧云信息技术有限公司 | 一种快速识别柑橘花期的方法 |
| CN110599457A (zh) * | 2019-08-14 | 2019-12-20 | 广东工业大学 | 一种基于bd胶囊网络的柑橘黄龙病分类方法 |
| CN110599457B (zh) * | 2019-08-14 | 2022-12-16 | 广东工业大学 | 一种基于bd胶囊网络的柑橘黄龙病分类方法 |
| CN111179216A (zh) * | 2019-12-03 | 2020-05-19 | 中国地质大学（武汉） | 一种基于图像处理与卷积神经网络的作物病害识别方法 |
| CN111179216B (zh) * | 2019-12-03 | 2023-03-28 | 中国地质大学（武汉） | 一种基于图像处理与卷积神经网络的作物病害识别方法 |
| CN111767849A (zh) * | 2020-06-29 | 2020-10-13 | 京东数字科技控股有限公司 | 农作物病虫害识别方法、设备及存储介质 |
| CN112001370A (zh) * | 2020-09-29 | 2020-11-27 | 中国农业科学院农业信息研究所 | 一种农作物病虫害识别方法及系统 |
| CN112836616A (zh) * | 2021-01-28 | 2021-05-25 | 广东技术师范大学 | 基于环境参数序列的黄龙病预警方法、装置和计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109636791A (zh) | 一种基于深度学习的柑橘黄龙病检测方法、装置及系统 | |
| CN108921814A (zh) | 一种基于深度学习的柑橘黄龙病在线快速检测系统及方法 | |
| CN109300121B (zh) | 一种心血管疾病诊断模型的构建方法、系统及该诊断装置 | |
| CN110647874B (zh) | 一种端到端的血细胞识别模型构造方法及应用 | |
| CN103528617B (zh) | 一种座舱仪表自动识别和检测方法及装置 | |
| CN106709254A (zh) | 一种医疗诊断机器人系统 | |
| CN109239102A (zh) | 一种基于cnn的柔性电路板外观缺陷检测方法 | |
| CN107368670A (zh) | 基于大数据深度学习的胃癌病理诊断支持系统和方法 | |
| CN111524580B (zh) | 一种基于神经网络的病毒筛查与防疫系统及方法 | |
| CN104008551B (zh) | 一种基于可见光图像的柑橘黄龙病检测方法 | |
| CN109613022A (zh) | 一种低空高光谱遥感检测柑橘黄龙病的方法、装置及系统 | |
| CN110555836A (zh) | 一种超声图像中胎儿标准切面的自动识别方法和系统 | |
| US20240112329A1 (en) | Distinguishing a Disease State from a Non-Disease State in an Image | |
| CN115690072A (zh) | 基于多模态深度学习的胸片特征提取和疾病分类方法 | |
| CN111627555B (zh) | 一种基于深度学习的智能检查诊断系统 | |
| CN109934297A (zh) | 一种基于深度学习卷积神经网络的水稻考种方法 | |
| CN108704312A (zh) | 美术资源的测试方法及装置 | |
| CN107506604A (zh) | 基于人工智能的影像识别系统及方法 | |
| CN117094980A (zh) | 基于深度学习的超声乳腺结节图像可解释性方法 | |
| CN106604193A (zh) | 应用于受话器的缺陷检测方法及系统 | |
| CN110619297B (zh) | 一种豆类植物子实图像批量采集识别方法及装置 | |
| Kiruthika | Monitoring soil quality and fertigation system using Iot | |
| CN109003659A (zh) | 胃幽门螺旋杆菌感染病理诊断支持系统和方法 | |
| CN111899214B (zh) | 一种病理切片扫描分析装置及病理切片扫描方法 | |
| CN113360611A (zh) | 基于检查结果的ai诊断方法、装置、存储介质和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190416 |