CN113984772A - 基于多源数据融合的作物病害信息检测方法、系统及装置 - Google Patents

基于多源数据融合的作物病害信息检测方法、系统及装置 Download PDF

Info

Publication number
CN113984772A
CN113984772A CN202111242934.2A CN202111242934A CN113984772A CN 113984772 A CN113984772 A CN 113984772A CN 202111242934 A CN202111242934 A CN 202111242934A CN 113984772 A CN113984772 A CN 113984772A
Authority
CN
China
Prior art keywords
image
crop
camera
source data
crop disease
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111242934.2A
Other languages
English (en)
Inventor
刘飞
杨睿
陆祥宇
周军
焦杰
刘羽飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202111242934.2A priority Critical patent/CN113984772A/zh
Publication of CN113984772A publication Critical patent/CN113984772A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多源数据融合的作物病害信息检测方法、系统及装置，涉及农业作物病害检测技术领域，该方法主要包括根据获取自然状态下的目标作物的多源数据和作物病害检测模型，确定目标作物的状态信息；多源数据至少包括两种类型的图像数据；图像数据为多光谱图像、热红外图像或彩色图像；作物病害检测模型包括多个卷积神经网络以及与每个卷积神经网络的输出端连接的分类器；卷积神经网络的个数与图像数据的类型数相同；卷积神经网络的输入端用于输入图像数据；分类器的输出端用于输出目标作物的状态信息；本发明能够达到提高作物病害信息检测准确度的目的。

Description

基于多源数据融合的作物病害信息检测方法、系统及装置
技术领域
本发明涉及农业作物病害检测技术领域，特别是涉及一种基于多源数据融合的作物病害信息检测方法、系统及装置。
背景技术
病害的发生会严重影响作物的品质与产量，在作物生长过程中及时监测作物健康状况具有重大意义。在传统农业背景下，作物的病害检测完全依靠人工巡查。随着科技的发展，机器视觉与深度学习成为时下作物病害检测的热点。近几年作物病害检测模型的数据格式通常为室内采集的单张平铺叶片彩色图像，然后通过越来越复杂的深度卷积神经网络提取特征并进行分类，得出检测结果，但是该类模型往往实际应用价值不高。
发明内容
本发明的目的是提供一种基于多源数据融合的作物病害信息检测方法、系统及装置，以达到提高检测准确度的目的。
为实现上述目的，本发明提供了如下方案：
一种基于多源数据融合的作物病害信息检测方法，包括：
获取自然状态下的目标作物的多源数据；所述多源数据至少包括两种类型的图像数据；所述图像数据为多光谱图像、热红外图像或彩色图像；
根据所述多源数据和作物病害检测模型，确定所述目标作物的状态信息；所述状态信息为健康或者病害；
其中，所述作物病害检测模型包括多个卷积神经网络以及与每个所述卷积神经网络的输出端连接的分类器；所述卷积神经网络的个数与所述图像数据的类型数相同；所述卷积神经网络的输入端用于输入所述图像数据；所述分类器的输出端用于输出所述目标作物的状态信息。
可选的，所述根据所述多源数据和作物病害检测模型，确定所述目标作物的状态信息，具体包括：
对所述多源数据进行预处理；所述预处理包括裁剪处理、图像格式转化以及张量格式转换；
根据预处理后的多源数据和作物病害检测模型，确定所述目标作物的状态信息。
一种基于多源数据融合的作物病害信息检测系统，包括：
数据获取模块，用于获取自然状态下的目标作物的多源数据；所述多源数据至少包括两种类型的图像数据；所述图像数据为多光谱图像、热红外图像或彩色图像；
状态信息确定模块，用于根据所述多源数据和作物病害检测模型，确定所述目标作物的状态信息；所述状态信息为健康或者病害；
其中，所述作物病害检测模型包括多个卷积神经网络以及与每个所述卷积神经网络的输出端连接的分类器；所述卷积神经网络的个数与所述图像数据的类型数相同；所述卷积神经网络的输入端用于输入所述图像数据；所述分类器的输出端用于输出所述目标作物的状态信息。
一种基于多源数据融合的作物病害信息检测装置，包括：计算机模块和信息采集模块；所述计算机模块内置有作物病害信息采集检测软件；所述信息采集模块包括壳体以及设置在所述壳体内部的多光谱相机、热红外相机和彩色相机；其中，所述多光谱相机、所述热红外相机、所述彩色相机均通过设备连接线与所述计算机模块连接；
所述信息采集模块，用于：采集自然状态下的目标作物的多源数据；所述多源数据包括多种类型的图像数据，分别为多光谱图像、热红外图像和彩色图像；
所述计算机模块，用于：
通过所述作物病害信息采集检测软件，获取所述自然状态下的目标作物的多源数据；
将所述多源数据输入到所述作物病害信息采集检测软件中的作物病害检测模型中，以确定所述目标作物的状态信息；所述状态信息为健康或者病害；
其中，所述作物病害检测模型包括3个卷积神经网络以及与每个所述卷积神经网络的输出端连接的分类器；所述卷积神经网络的输入端用于输入所述图像数据，且不同的所述卷积神经网络输入不同的所述图像数据；所述分类器的输出端用于输出所述目标作物的状态信息。
可选的，所述壳体的第一侧面设置有三个圆形相机孔；其中，第一圆形相机孔略大于所述多光谱相机的镜头，第二圆形相机孔略大所述于热红外相机的镜头，第三圆形相机孔略大于所述彩色相机的镜头；
所述壳体的第二侧面和第三侧面分别设置多个散热孔；其中，所述第二侧面和所述第三侧面分别位于所述第一侧面的两侧；
所述壳体的第四侧面开有一个接线口；其中，所述第四侧面位于所述第一侧面的对侧；
所述壳体的顶部设置有滑盖槽，所述滑盖槽用于连接滑盖。
可选的，还包括设置在所述壳体内部的固定支架；
所述固定支架上开有三个螺孔，且三个所述螺孔在同一直线上；所述多光谱相机、所述热红外相机、所述彩色相机分别通过固定螺丝与所述螺孔相互配合固定在所述固定支架上使所述多光谱相机、所述热红外相机、所述彩色相机的镜头均位于同一平面上，且所述平面与固定支架平面成90±3°。
可选的，以三个所述螺孔为轴线，所述多光谱相机、所述热红外相机、所述彩色相机的微调角度范围均为0～10°。
可选的，还包括设置在壳体内部的散热器；
所述壳体上至少设置有一个散热风扇孔，所述散热风扇位于所述散热风扇孔上，且所述散热风扇通过固定螺丝固定在所述壳体内。
可选的，所述作物病害信息采集检测软件设置有设置曝光时间按钮、采集按钮和检测按钮；
所述设置曝光时间按钮，用于获取目标作物所处环境的光照度，并根据所述光照度调整所述多光谱相机的曝光时间；
所述采集按钮，用于向多光谱相机、热红外相机、彩色相机发送触发信号，以获取目标作物对应的多光谱图像、热红外图像、彩色图像；
所述检测按钮，用于将所采集到的多光谱图像、热红外图像、彩色图像输入到作物病害检测模型中，以得到所述目标作物的状态信息。
一种基于多源数据融合的作物病害信息检测方法，包括：
在目标作物病害信息采集前，首先将多光谱相机、热红外相机、彩色相机通过设备连接线连接到计算机模块；其次在作物病害信息采集检测软件中输入目标作物所处环境的光照度，调整所述多光谱相机的曝光时间，同时根据图像质量分别调节所述多光谱相机、所述热红外相机、所述彩色相机的焦距，并设置图像保存路径；接着将镜头平面与目标作物表面之间的距离范围设置为：15～40cm；
在目标作物病害信息采集时，首先通过所述作物病害信息采集检测软件的显示窗口，调整信息采集模块的位置，使所述目标作物完全位于所述显示窗口内；其次点击所述作物病害信息采集检测软件上的采集按钮，对所述目标作物病害进行拍照以获取所述目标作物对应的多光谱图像、热红外图像、彩色图像；接着点击所述作物病害信息采集检测软件上的点击检测按钮，将所采集到的多光谱图像、热红外图像、彩色图像输入到作物病害检测模型中，以得到所述目标作物的状态信息；所述状态信息为健康或者病害。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
(1)现有技术常常是基于彩色图像进行建模分类，只包含作物样本三个波长的信息，对于作物病害信息的检测具有很大的局限性。由于近红外波段与红边波段是作物病害发生时更为敏感的波段，同时作物表面温度可能会发生一定的变化。故本发明将彩色图像、包含25个波段的多光谱图像和包含作物温度信息的热红外图像进行多源融合并建模，得到的模型对于室外复杂条件下的检测准确率可以达到98％以上。
(2)现有模型往往是将作物叶片采摘下来进行平铺拍摄，本发明使用室外场景下原位采集的图像进行建模，得到的模型具有更强的实际应用价值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明壳体结构示意图；
图2为本发明多光谱相机、热红外相机、彩色相机的位置示意图；
图3为本发明深层卷积神经网络模型的结构示意图；
图4为本发明作物病害信息采集检测软件的界面图；
图5为本发明基于多源数据融合的作物病害信息检测方法的流程示意图；
图6为本发明基于多源数据融合的作物病害信息检测系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
本实施例提供了一种基于多源数据融合的作物病害检测装置，该装置包括计算机模块和信息采集模块。
所述信息采集模块包括壳体(或者称为装置外壳)以及设置在壳体内部的多光谱相机、热红外相机、彩色相机、热红外相机电池、散热风扇以及固定支架。其中，多光谱相机、热红外相机、彩色相机均通过设备连接线与所述计算机模块连接。
所述计算机模块内置有作物病害信息采集检测软件。
所述信息采集模块，用于：采集自然状态下的目标作物的多源数据；所述多源数据包括多光谱图像、热红外图像和彩色图像。
所述计算机模块，用于：
通过所述作物病害信息采集检测软件，获取所述自然状态下的目标作物的多源数据。
将所述多源数据输入到所述作物病害信息采集检测软件中的作物病害检测模型中，以确定所述目标作物的状态信息；所述状态信息为健康或者病害。
其中，所述作物病害检测模型包括3个卷积神经网络以及与每个所述卷积神经网络的输出端连接的分类器。
如图1所示，本实施例所述的壳体的形状包括但不限于长方体。所述壳体的第一侧面设置有三个圆形相机孔，其中，第一圆形相机孔略大于多光谱相机的镜头，第二圆形相机孔略大于热红外相机的镜头，第三圆形相机孔略大于彩色相机的镜头。所述壳体的第二侧面和第三侧面分别设置多个散热孔，其中，第二侧面和第三侧面分别位于第一侧面的两侧。所述壳体的第四侧面开有一个接线口，其中，第四侧面位于第一侧面的对侧。所述壳体至少设置有一个散热风扇孔，该散热风扇位于散热风扇孔位置上，且散热风扇与壳体通过固定螺丝固定。所述壳体的顶部设置有滑盖槽，所述滑盖槽用于连接滑盖。在本实施例中，可以通过所述滑盖，可以打开该壳体。
本实施例所述的固定支架位于壳体内部，该固定支架至少通过三个固定螺丝固定在壳体内。固定支架为一包括但不限于长方形形状且具有一定厚度的金属片。该金属片表面开有三个螺孔，且三个螺孔在同一直线上。多光谱相机、热红外相机、彩色相机分别通过固定螺丝固定在固定支架上，即通过固定螺丝和螺孔相互配合使多光谱相机、热红外相机、彩色相机的镜头均位于同一平面上，且该平面与固定支架平面成90±3°。
本实施例所述的多光谱相机、热红外相机、彩色相机的镜头平面均与采集对象表面之间的距离范围为：15～40cm。随着两者之间的距离变化，视场尺寸也随之变化，其中，视场尺寸范围为：高19～51cm，宽16～42.5cm；适用的采集对象的高应不大于51cm，宽应不大于42.5cm。在保证采集对象位于相机(包括多光谱相机、热红外相机与彩色相机)视场内的情况下，可以根据采集对象的调整，以三个螺孔为轴线，分别微调多光谱相机、热红外相机、彩色相机的角度，微调角度范围为0～10°，具体参见图2。
本实施例所述的多光谱相机、热红外相机、彩色相机分别通过设备连接线，该设备连接线穿过接线口，与计算机模块相连。
本实施例所述的作物病害信息采集检测软件分别给多光谱相机、热红外相机、彩色相机发送触发信号，进行多光谱图像、热红外图像、彩色图像的采集与保存；作物病害信息采集检测软件还根据所采集到的多光谱图像、热红外图像、彩色图像确定作物的健康状况。
本实施例所述的基于多源数据融合的作物病害检测装置的操作过程为：
在作物病害信息采集前，首先将多光谱相机、热红外相机、彩色相机通过设备连接线连接到计算机模块，其次在作物病害信息采集检测软件中输入实际采集环境的光照度，调整多光谱相机的曝光时间，同时根据图像质量分别调节多光谱相机、热红外相机、彩色相机的焦距，并设置图像保存路径。接着将镜头平面与作物表面之间的距离范围设置为：15～40cm。
在作物病害信息采集检测软件中集成了一种基于多源数据融合的作物病害信息检测方法，是一种图像处理方法。该图像处理方法将所采集到的多光谱图像、热红外图像、彩色图像经过裁剪处理后，分别输入经过预先训练好的深层卷积神经网络模型ConnectedNet中，对多光谱图像、热红外图像、彩色图像分别提取特征信息并融合，输入分类器，得到对应的预测结果，即最终采集对象的健康信息或者病害信息。
故在作物病害信息采集时，通过计算机模块上的作物病害信息采集检测软件显示窗口，调整信息采集模块的位置，使采集对象完全位于上述软件显示窗口内，通过点击上述软件“采集”按钮，即给多光谱相机、热红外相机、彩色相机发送触发信号，实现作物病害多光谱图像、热红外图像、彩色图像的采集与保存。同时上述软件读入所采集到的多光谱图像、热红外图像、彩色图像，并通过点击“检测”按钮，即得到上述采集对象的健康状况或者病害信息。
其中，如图3所示的深层卷积神经网络模型的训练过程为：
步骤1：使用本实施例提供的信息采集模块采集不少于400张不同样本健康类与病害类的多光谱图像、热红外图像和彩色图像。
步骤2：将同一个样本的多光谱图像、热红外图像和彩色图像裁剪后，标记真实标签，数据格式转为张量格式，分别输入深度卷积神经网络中提取特征，将多光谱图像、热红外图像和彩色图像所提取的特征拼接起来，输入分类器得到分类结果。通过损失函数计算所属分类结果与所述样本的真实标签的损失值，反馈给深度卷积神经网络，调整模型参数，完成一个样本数据的一次训练过程。
步骤3：将样本数据按照一定比例，如8：2，分为训练集与测试集，将训练集样本数据分成不少于16批次，然后输入到步骤2所述的训练过程，其训练不少于50次，直至模型收敛，测试集样本数据准确率可以达到98％以上，模型训练完毕。
步骤4：保存所述模型的参数，将模型结构与参数封装在前述作物病害信息采集检测软件的“检测”按钮中。
步骤5：点击“检测”按钮，需要进行检测的样本即被读入模型，得到“健康”或对应病害名称信息(或“不健康”)。
实施例二
本实施例提供一种基于多源数据融合的葡萄叶片病害信息检测方法及装置，其装置结构参见实施例一，在此不过多赘述，其中，该方法包括以下步骤：
第一步：将多光谱相机、热红外相机、彩色相机均通过固定螺丝固定在固定支架上，多光谱相机轴线与热红外相机轴线的夹角呈5°左右，彩色相机轴线与热红外相机轴线的夹角呈5°左右，通过设备连接线将多光谱相机、热红外相机、彩色相机分别与计算机模块连接。
第二步：打开多光谱相机、热红外相机、彩色相机的镜头盖，用照度计测试当前采集环境光照度24015(lux)，并输入到作物病害信息采集检测软件的“设置曝光时间”对应的文字对话框中，点击“设置曝光时间”按钮，自动调整多光谱相机的曝光时间，使多光谱图片明亮可见。调节相机镜头使相机镜头平面与葡萄叶片表面平行，且信息采集模块的壳体外表面与葡萄叶片表面的直线距离为20±3cm，旋转调焦环以调节多光谱相机、热红外相机、彩色相机的焦距，使作物病害信息采集检测软件显示窗口的多光谱图像、热红外图像、彩色图像均清晰可见。
第三步：在作物病害信息采集检测软件中，将多光谱图像、热红外图像、彩色图像的保存路径分别设置为：“E:\data\MSI”,“E:\data\RHW”,“E:\data\RGB”，设置的文件名分别为：“0001.raw”，“0001.bmp”，“0001.jpg”；点击“采集”按钮以采集葡萄叶片对应的多光谱图像、热红外图像和彩色图像，并保存到对应路径上。在第二张葡萄叶片采集时，在相同保存路径下，修改文件名为“0002.raw”、“0002.bmp”、“0002.jpg”，点击“采集”按钮以采集葡萄叶片对应的多光谱图像、热红外图像和彩色图像，依此完成第二张葡萄叶片采集。重复上述步骤，共分别采集500张葡萄叶片，每张采集有对应的三类图像：多光谱图像、热红外图像和彩色图像。
第四步：多光谱图像、热红外图像和彩色图像的预处理，具体为：读取第三步所采集的多光谱图像、热红外图像和彩色图像，通过torchvision库中的函数将上述图像裁剪并统一尺寸为192*192；然后将图像格式转化为按通道数、高、宽三个维度顺序排列的三维数组；接着将多光谱图像、热红外图像和彩色图像的三维数组按通道进行合并，合并后的数组通道数、高、宽分别为31、192、192；最后转为张量格式，并通过TensorDataset函数将每一个数组与标签值对应，形成ConnectedNet模型的训练数据与测试数据。
第五步：采用PyTorch框架进行ConnectedNet模型的搭建；具体为：本实施例选用已公开的ShuffleNetV2模型为ConnectedNet模型的一个单元，单元模型的选定包括不限于ShuffleNetV2模型。将输入数据的通道分为3组，第一组包含1～25通道，第二组包含26～28通道，第三组包含29～31通道，各通道的数据分别输入到一个ShuffleNetV2单元中。所述ShuffleNetV2单元经过修改以满足不同通道输入的数据。所分成的三组数据分别经过一个ShuffleNet V2单元进行特征提取并压缩至1024维，接着合并所分成的三组数据的特征维度，共3072维；在全连接层nn.Linear()设置的输出维度为本次分类任务类别，个数为2，即健康、病害两类。
第六步：将数据集按8：2分为训练集和测试集。选用nn.CrossEntropyLoss()交叉熵损失函数进行ConnectedNet模型训练和测试过程中的损失计算。torch.optim.Adam()函数作为优化器，设置epoch运行次数为100，batch size批处理参数为64，learning rate学习率为0.01。在此基础上开始训练ConnectedNet模型，直到模型收敛，ConnectedNet模型在测试集上的准确率为98.72％。保存ConnectedNet模型参数，并设置为作物病害信息采集检测软件的作物病害检测模型。
第七步：在室外进行现场葡萄叶片病害检测时，按照步骤一、二、三调整信息采集模块、设置作物病害信息采集检测软件的相关参数，获取目标葡萄叶片的多光谱图像、热红外图像和彩色图像，在作物病害信息采集检测软件点击“检测”按钮，得到对应葡萄叶片检测结果：“unhealthy”(不健康或病害)。其中，软件界面如图4所示。
本发明提出的检测方法所包含的作物病害检测模型是基于多源数据的室外复杂环境下采集的样本数据训练出来的，不仅能够包含对作物检测敏感的近红外波段、红边波段和温度信息，模型准确率更高，同时具有更大的实际应用价值。在此基础上设计了一种多源数据采集装置与基于多源数据融合的作物病害检测软件，实现作物病害多源图像采集与检测分析，准确率大于98％，实现室外原位作物病害检测。
需要说明一点，可以采集彩色图像或多光谱图像或热红外图像或两两组合建模并进行检测，但是准确率低于三种图像融合训练所得模型。
实施例三
本实施例提供了一种基于多源数据融合的作物病害信息检测方法，如图5所示，包括：
步骤100：获取自然状态下的目标作物的多源数据；所述多源数据至少包括两种类型的图像数据；所述图像数据为多光谱图像、热红外图像或彩色图像。
步骤200：根据所述多源数据和作物病害检测模型，确定所述目标作物的状态信息；所述状态信息为健康或者病害。
其中，所述作物病害检测模型包括多个卷积神经网络以及与每个所述卷积神经网络的输出端连接的分类器；所述卷积神经网络的个数与所述图像数据的类型数相同；所述卷积神经网络的输入端用于输入所述图像数据；所述分类器的输出端用于输出所述目标作物的状态信息。
其中，步骤200：所述根据所述多源数据和作物病害检测模型，确定所述目标作物的状态信息，具体包括：
对所述多源数据进行预处理；所述预处理包括裁剪处理、图像格式转化以及张量格式转换；根据预处理后的多源数据和作物病害检测模型，确定所述目标作物的状态信息。
为实现上述目的，本实施例还提供了一种基于多源数据融合的作物病害信息检测系统，如图6所示，包括：
数据获取模块300，用于获取自然状态下的目标作物的多源数据；所述多源数据至少包括两种类型的图像数据；所述图像数据为多光谱图像、热红外图像或彩色图像。
状态信息确定模块400，用于根据所述多源数据和作物病害检测模型，确定所述目标作物的状态信息；所述状态信息为健康或者病害。
其中，所述作物病害检测模型包括多个卷积神经网络以及与每个所述卷积神经网络的输出端连接的分类器；所述卷积神经网络的个数与所述图像数据的类型数相同；所述卷积神经网络的输入端用于输入所述图像数据；所述分类器的输出端用于输出所述目标作物的状态信息。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于多源数据融合的作物病害信息检测方法，其特征在于，包括：
获取自然状态下的目标作物的多源数据；所述多源数据至少包括两种类型的图像数据；所述图像数据为多光谱图像、热红外图像或彩色图像；
根据所述多源数据和作物病害检测模型，确定所述目标作物的状态信息；所述状态信息为健康或者病害；
其中，所述作物病害检测模型包括多个卷积神经网络以及与每个所述卷积神经网络的输出端连接的分类器；所述卷积神经网络的个数与所述图像数据的类型数相同；所述卷积神经网络的输入端用于输入所述图像数据；所述分类器的输出端用于输出所述目标作物的状态信息。
2.根据权利要求1所述的一种基于多源数据融合的作物病害信息检测方法，其特征在于，所述根据所述多源数据和作物病害检测模型，确定所述目标作物的状态信息，具体包括：
对所述多源数据进行预处理；所述预处理包括裁剪处理、图像格式转化以及张量格式转换；
根据预处理后的多源数据和作物病害检测模型，确定所述目标作物的状态信息。
3.一种基于多源数据融合的作物病害信息检测系统，其特征在于，包括：
数据获取模块，用于获取自然状态下的目标作物的多源数据；所述多源数据至少包括两种类型的图像数据；所述图像数据为多光谱图像、热红外图像或彩色图像；
状态信息确定模块，用于根据所述多源数据和作物病害检测模型，确定所述目标作物的状态信息；所述状态信息为健康或者病害；
其中，所述作物病害检测模型包括多个卷积神经网络以及与每个所述卷积神经网络的输出端连接的分类器；所述卷积神经网络的个数与所述图像数据的类型数相同；所述卷积神经网络的输入端用于输入所述图像数据；所述分类器的输出端用于输出所述目标作物的状态信息。
4.一种基于多源数据融合的作物病害信息检测装置，其特征在于，包括：计算机模块和信息采集模块；所述计算机模块内置有作物病害信息采集检测软件；所述信息采集模块包括壳体以及设置在所述壳体内部的多光谱相机、热红外相机和彩色相机；其中，所述多光谱相机、所述热红外相机、所述彩色相机均通过设备连接线与所述计算机模块连接；
所述信息采集模块，用于：采集自然状态下的目标作物的多源数据；所述多源数据包括多种类型的图像数据，分别为多光谱图像、热红外图像和彩色图像；
所述计算机模块，用于：
通过所述作物病害信息采集检测软件，获取所述自然状态下的目标作物的多源数据；
将所述多源数据输入到所述作物病害信息采集检测软件中的作物病害检测模型中，以确定所述目标作物的状态信息；所述状态信息为健康或者病害；
其中，所述作物病害检测模型包括3个卷积神经网络以及与每个所述卷积神经网络的输出端连接的分类器；所述卷积神经网络的输入端用于输入所述图像数据，且不同的所述卷积神经网络输入不同的所述图像数据；所述分类器的输出端用于输出所述目标作物的状态信息。
5.根据权利要求4所述的一种基于多源数据融合的作物病害信息检测装置，其特征在于，
所述壳体的第一侧面设置有三个圆形相机孔；其中，第一圆形相机孔略大于所述多光谱相机的镜头，第二圆形相机孔略大所述于热红外相机的镜头，第三圆形相机孔略大于所述彩色相机的镜头；
所述壳体的第二侧面和第三侧面分别设置多个散热孔；其中，所述第二侧面和所述第三侧面分别位于所述第一侧面的两侧；
所述壳体的第四侧面开有一个接线口；其中，所述第四侧面位于所述第一侧面的对侧；
所述壳体的顶部设置有滑盖槽，所述滑盖槽用于连接滑盖。
6.根据权利要求4所述的一种基于多源数据融合的作物病害信息检测装置，其特征在于，还包括设置在所述壳体内部的固定支架；
所述固定支架上开有三个螺孔，且三个所述螺孔在同一直线上；所述多光谱相机、所述热红外相机、所述彩色相机分别通过固定螺丝与所述螺孔相互配合固定在所述固定支架上使所述多光谱相机、所述热红外相机、所述彩色相机的镜头均位于同一平面上，且所述平面与固定支架平面成90±3°。
7.根据权利要求6所述的一种基于多源数据融合的作物病害信息检测装置，其特征在于，以三个所述螺孔为轴线，所述多光谱相机、所述热红外相机、所述彩色相机的微调角度范围均为0～10°。
8.根据权利要求4所述的一种基于多源数据融合的作物病害信息检测装置，其特征在于，还包括设置在壳体内部的散热器；
所述壳体上至少设置有一个散热风扇孔，所述散热风扇位于所述散热风扇孔上，且所述散热风扇通过固定螺丝固定在所述壳体内。
9.根据权利要求4所述的一种基于多源数据融合的作物病害信息检测装置，其特征在于，所述作物病害信息采集检测软件设置有设置曝光时间按钮、采集按钮和检测按钮；
所述设置曝光时间按钮，用于获取目标作物所处环境的光照度，并根据所述光照度调整所述多光谱相机的曝光时间；
所述采集按钮，用于向多光谱相机、热红外相机、彩色相机发送触发信号，以获取目标作物对应的多光谱图像、热红外图像、彩色图像；
所述检测按钮，用于将所采集到的多光谱图像、热红外图像、彩色图像输入到作物病害检测模型中，以得到所述目标作物的状态信息。
10.一种应用于权利要求4-9任意一项所述的基于多源数据融合的作物病害信息检测装置的检测方法，其特征在于，包括：
在目标作物病害信息采集前，首先将多光谱相机、热红外相机、彩色相机通过设备连接线连接到计算机模块；其次在作物病害信息采集检测软件中输入目标作物所处环境的光照度，调整所述多光谱相机的曝光时间，同时根据图像质量分别调节所述多光谱相机、所述热红外相机、所述彩色相机的焦距，并设置图像保存路径；接着将镜头平面与目标作物表面之间的距离范围设置为：15～40cm；
在目标作物病害信息采集时，首先通过所述作物病害信息采集检测软件的显示窗口，调整信息采集模块的位置，使所述目标作物完全位于所述显示窗口内；其次点击所述作物病害信息采集检测软件上的采集按钮，对所述目标作物病害进行拍照以获取所述目标作物对应的多光谱图像、热红外图像、彩色图像；接着点击所述作物病害信息采集检测软件上的点击检测按钮，将所采集到的多光谱图像、热红外图像、彩色图像输入到作物病害检测模型中，以得到所述目标作物的状态信息；所述状态信息为健康或者病害。
CN202111242934.2A 2021-10-25 2021-10-25 基于多源数据融合的作物病害信息检测方法、系统及装置 Pending CN113984772A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111242934.2A CN113984772A (zh) 2021-10-25 2021-10-25 基于多源数据融合的作物病害信息检测方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111242934.2A CN113984772A (zh) 2021-10-25 2021-10-25 基于多源数据融合的作物病害信息检测方法、系统及装置

Publications (1)

Publication Number Publication Date
CN113984772A true CN113984772A (zh) 2022-01-28

Family

ID=79741180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111242934.2A Pending CN113984772A (zh) 2021-10-25 2021-10-25 基于多源数据融合的作物病害信息检测方法、系统及装置

Country Status (1)

Country Link
CN (1) CN113984772A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797788A (zh) * 2023-02-17 2023-03-14 武汉大学 基于深度学习的多模态铁路设计要素遥感特征提取方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102084794A (zh) * 2010-10-22 2011-06-08 华南农业大学 多传感器信息融合的作物病虫害早期检测方法及装置
CN107463948A (zh) * 2017-07-13 2017-12-12 西安电子科技大学 基于双通道多特征融合网络的多光谱图像分类方法
CN107783522A (zh) * 2017-10-18 2018-03-09 来安县威光绿园生态农业专业合作社 一种基于物联网的农作物病虫害智能防治系统
CN110532935A (zh) * 2019-08-26 2019-12-03 李清华 一种大田作物表型信息高通量对等监测系统及监测方法
CN111630356A (zh) * 2017-12-01 2020-09-04 兰斯大学 用于使用神经网络来表征样本的方法
CN111738314A (zh) * 2020-06-09 2020-10-02 南通大学 基于浅层融合的多模态图像能见度检测模型的深度学习方法
CN112147078A (zh) * 2020-09-22 2020-12-29 华中农业大学 一种农作物表型信息多源遥感监测方法
US20210158041A1 (en) * 2017-08-25 2021-05-27 The Board Of Trustees Of The University Of Illinois Apparatus and method for agricultural data collection and agricultural operations
CN113167779A (zh) * 2018-12-10 2021-07-23 克莱米特公司 使用数字图像和机器学习模型对田地异常绘制地图
CN214409549U (zh) * 2021-04-28 2021-10-15 北京数字绿土科技有限公司 具有冷却功能的采集系统
US20210329892A1 (en) * 2020-04-27 2021-10-28 Ecto, Inc. Dynamic farm sensor system reconfiguration

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102084794A (zh) * 2010-10-22 2011-06-08 华南农业大学 多传感器信息融合的作物病虫害早期检测方法及装置
CN107463948A (zh) * 2017-07-13 2017-12-12 西安电子科技大学 基于双通道多特征融合网络的多光谱图像分类方法
US20210158041A1 (en) * 2017-08-25 2021-05-27 The Board Of Trustees Of The University Of Illinois Apparatus and method for agricultural data collection and agricultural operations
CN107783522A (zh) * 2017-10-18 2018-03-09 来安县威光绿园生态农业专业合作社 一种基于物联网的农作物病虫害智能防治系统
CN111630356A (zh) * 2017-12-01 2020-09-04 兰斯大学 用于使用神经网络来表征样本的方法
CN113167779A (zh) * 2018-12-10 2021-07-23 克莱米特公司 使用数字图像和机器学习模型对田地异常绘制地图
CN110532935A (zh) * 2019-08-26 2019-12-03 李清华 一种大田作物表型信息高通量对等监测系统及监测方法
US20210329892A1 (en) * 2020-04-27 2021-10-28 Ecto, Inc. Dynamic farm sensor system reconfiguration
CN111738314A (zh) * 2020-06-09 2020-10-02 南通大学 基于浅层融合的多模态图像能见度检测模型的深度学习方法
CN112147078A (zh) * 2020-09-22 2020-12-29 华中农业大学 一种农作物表型信息多源遥感监测方法
CN214409549U (zh) * 2021-04-28 2021-10-15 北京数字绿土科技有限公司 具有冷却功能的采集系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797788A (zh) * 2023-02-17 2023-03-14 武汉大学 基于深度学习的多模态铁路设计要素遥感特征提取方法
CN115797788B (zh) * 2023-02-17 2023-04-14 武汉大学 基于深度学习的多模态铁路设计要素遥感特征提取方法

Similar Documents

Publication Publication Date Title
Nie et al. Deeply learned filter response functions for hyperspectral reconstruction
CN103475893B (zh) 三维显示中对象的拾取装置及三维显示中对象的拾取方法
CN103808263B (zh) 谷粒粒形参数的高通量检测方法
CN106525732B (zh) 基于高光谱成像技术的苹果内外品质快速无损检测方法
CN106290238A (zh) 一种基于高光谱成像的苹果品种快速鉴别方法
TWI696924B (zh) 情報探索資料搜尋系統及程式
CN106383095B (zh) 一种冷却羊肉表面细菌总数检测装置及方法
CN105021617A (zh) 基于高光谱成像的整株水稻叶绿素含量测量装置及方法
CN110378295A (zh) 一种多光谱图像信息和光谱信息异构融合的煤矸识别方法
CN113984772A (zh) 基于多源数据融合的作物病害信息检测方法、系统及装置
CN110188684B (zh) 一种人脸识别装置及方法
CN105973469A (zh) 带同步辐射矫正的无人机载高光谱图像探测仪及方法
CN108932474A (zh) 一种基于全卷积神经网络复合特征的遥感影像云判方法
CA3026633C (en) Information search system, information search method, and information search program
CN114419311A (zh) 一种基于多源信息的百香果成熟度无损检测方法及装置
CN112816441B (zh) 一种设施园艺作物生长状况检测方法及装置
CN103679726A (zh) 一种提高岩屑图像成像质量的方法
CN117197595A (zh) 基于边缘计算的果树生育期识别方法、装置及管理平台
CN112504977A (zh) 茶叶含水率检测方法及其模型构建方法、介质和设备
Tao et al. Utilization of both machine vision and robotics technologies in assisting quality inspection and testing
CN112417193B (zh) 野外虫草搜寻辨识方法及系统
CN113408545A (zh) 一种基于微光学器件的端到端光电检测系统及方法
CN111489325A (zh) 一种甲亢疾病即时鉴定装置及其控制方法
Xu et al. TIPS: A three-dimensional phenotypic measurement system for individual maize tassel based on TreeQSM
De Silva et al. Early Plant Disease Detection using Infrared and Mobile Photographs in Natural Environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination