CN112102211B - 一种基于温度和图像的作物胁迫预警系统及预警方法 - Google Patents

一种基于温度和图像的作物胁迫预警系统及预警方法 Download PDF

Info

Publication number
CN112102211B
CN112102211B CN202011291557.7A CN202011291557A CN112102211B CN 112102211 B CN112102211 B CN 112102211B CN 202011291557 A CN202011291557 A CN 202011291557A CN 112102211 B CN112102211 B CN 112102211B
Authority
CN
China
Prior art keywords
crop
image
early warning
point
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011291557.7A
Other languages
English (en)
Other versions
CN112102211A (zh
Inventor
汪小旵
钟陆杰
杨昊霖
蒋烨
王延鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Agricultural University
Original Assignee
Nanjing Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Agricultural University filed Critical Nanjing Agricultural University
Priority to CN202011291557.7A priority Critical patent/CN112102211B/zh
Publication of CN112102211A publication Critical patent/CN112102211A/zh
Application granted granted Critical
Publication of CN112102211B publication Critical patent/CN112102211B/zh
Priority to US17/495,856 priority patent/US11490055B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Toxicology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Emergency Management (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于温度和图像的作物胁迫预警系统及预警方法，属于作物表型信息采集和胁迫预警技术领域；利用数据采集装置中的红外热像仪和OpenMV机器视觉模块分别采集作物表面温度数据和图像数据，再由嵌入式树莓派模块通过无限传输模块传递至用户端电脑进行处理，用户端电脑读取图像数据后获取作物颜色分量和长势参数，将颜色分量与温度数据融合，辅助建立预警模型；能够对作物长势信息进行实时、连续、无损监测，为温室环境参数的调整和控制提供参考；有助于预防病虫害及作物水分胁迫，提高作物整体生产质量，降低人的疲劳强度，实现作物种植的智能化和现代化；通过作物胁迫状态自动诊断预警，提高种植者灌溉施肥决策的精度。

Description

一种基于温度和图像的作物胁迫预警系统及预警方法
技术领域
本发明属于作物表型信息采集和胁迫预警技术领域，尤其涉及一种基于温度和图像的作物胁迫预警系统及预警方法。
背景技术
对作物生长不利的各种环境因素称为逆境或胁迫，根据对作物产生胁迫的原因，通常将胁迫分为生物因素胁迫和非生物因素胁迫（又称理化因素胁迫）两种类型。其中，生物因素胁迫主要是指病虫害和杂草胁迫，非生物因素胁迫主要包括水分、温度、化学因素、辐射、风雪、冰雹等因素造成的胁迫。作物在生长过程中经常会遭受多种生物和非生物因素的胁迫，这些胁迫严重影响作物生长，致使作物产量减少，因此，如何提前识别出造成作物胁迫的因素，并采取适当的防治手段，是保障农业发展的关键。
现有的作物胁迫检测方法中，针对大面积作物，通常采用卫星遥感监测，针对小面积作物，大多采用人工实地考察的手段，此外也有利用理化手段进行检测的情况。遥感监测是利用光谱理论，通过对卫星图像进行数据分析提取，判断作物生长胁迫状态，采用该种方法，设备费用昂贵，实时性差，精度不高且需要地面实测值作为验证，很不方便。人工实地考察的方法虽然简单易行，能够实现全面观察，但是劳动密集，耗时耗力且效率低下，需要观察者有丰富的经验和农作物生产知识，观察结果主观性较强，且无法实现实时监测。利用理化手段对作物胁迫进行监测时，虽然精确度较高，但是存在着步骤繁琐、设备昂贵，难以大面积对农田进行监测等问题，并且会对作物本身造成伤害。
发明内容
针对现有技术中存在的不足，本发明提供了一种基于温度和图像的作物胁迫预警系统及预警方法，利用红外热像仪、OpenMV机器视觉模块分别采集作物的温度数据和图像数据，传递至用户端电脑进行分析，计算得到作物长势参数，同时将温度与图像颜色参数融合，辅助构建预警模型，能够更加方便快捷地判断出作物受胁迫状况，为后续的决策提供建议和参考，还能实现对作物生长情况的实时监测。
本发明是通过以下技术手段实现上述技术目的的。
一种基于温度和图像的作物胁迫预警系统，包括数据采集装置，数据采集装置包括安装在底板上表面的电气箱，电气箱内设有导线连接的蓄电池和嵌入式树莓派模块，底板下表面安装有多个万向轮，万向轮分别与对应驱动电机连接，驱动电机与嵌入式树莓派模块导线连接；底板上表面通过五孔板安装有竖杆，竖杆表面安装有与竖杆垂直且高度可调的第一伸缩杆和第二伸缩杆；第一伸缩杆另一端安装有红外热像仪，第二伸缩杆另一端安装有OpenMV机器视觉模块；嵌入式树莓派模块分别与红外热像仪、OpenMV机器视觉模块导线连接；电气箱上方安装有无线传输模块，嵌入式树莓派模块依次通过无线传输模块、路由器与用户端电脑连接。
进一步地，所述第一伸缩杆另一端、第二伸缩杆另一端均通过滚珠转轴分别安装有红外热像仪、OpenMV机器视觉模块。
进一步地，所述第一伸缩杆和第二伸缩杆均通过固定旋钮调节高度。
一种利用上述作物胁迫预警系统的预警方法，包括如下步骤：蓄电池供电，嵌入式树莓派模块发送指令给驱动电机带动万向轮转动，数据采集装置根据预先设置好的路线行走并停靠在指定采集点；调节第一伸缩杆和第二伸缩杆的高度并固定住，将红外热像仪、OpenMV机器视觉模块调整至对准作物的角度并进行数据采集；采集到的图像数据和温度数据由嵌入式树莓派模块通过无线传输模块传递至用户端电脑，用户端电脑获取作物颜色分量和长势参数，将颜色分量与读取的温度数据拟合，辅助建立预警模型。
进一步地，所述用户端电脑在获取作物颜色分量和长势参数之前对图像进行预处理，预处理过程为：
将读取到的RGB图像转换成二进制图像并获得相应的阈值，将此阈值作为过滤和剔除冗余信息的标准代入算术均值滤波算法中进行滤波处理，去除图像中的噪声点和杂质；将滤波后的图像映射到Lab颜色空间以获得颜色分量Lab值；
利用Otsu法将滤波后的作物图像从背景图像中分割出来并进行二值化处理；采用阈值面积消除法去除二值化后的图像中的残留噪点。
进一步地，所述用户端电脑将颜色分量与读取的温度数据拟合的具体过程为：
采用Curve Expert或Origin将作物叶面温度、Lab值以及CWSI值进行分析拟合，获得的关系曲线模型即为预警模型，通过预警模型获得的CWSI值则为模型模拟CWSI值；试验实测CWSI值的获取公式为：
Figure DEST_PATH_IMAGE001
其中，
Figure DEST_PATH_IMAGE002
表示标准环境下的作物冠层区域温度；
Figure DEST_PATH_IMAGE003
表示湿人工参考表面的平 均温度；
Figure DEST_PATH_IMAGE004
表示干人工参考表面的平均温度。
进一步地，对所述预警模型进行检验的过程为：使用均方根误差（RMSE）法检验预警模型，检验公式为：
Figure DEST_PATH_IMAGE006
其中，
Figure DEST_PATH_IMAGE007
表示试验实测CWSI值；
Figure DEST_PATH_IMAGE008
表示模型模拟CWSI值；
Figure DEST_PATH_IMAGE009
表示样本号；
Figure DEST_PATH_IMAGE010
表示样 本容量；RMSE值越小，则模型模拟CWSI值与试验实测CWSI值间的偏差越小，预警模型的预测 精度越高。
进一步地，所述用户端电脑获取作物长势参数的具体过程为：
所述长势参数包括作物株高、茎粗、冠幅面积，利用2cm×2cm的白色正方形亚克力板作为标定物来辅助获取长势参数；
作物冠幅面积公式为：
Figure DEST_PATH_IMAGE011
其中，
Figure DEST_PATH_IMAGE012
表示标定物面积；
Figure DEST_PATH_IMAGE013
表示标定物区域像素点个数；
Figure DEST_PATH_IMAGE014
表示作物区域像素 点个数；
Figure DEST_PATH_IMAGE015
表示图像区域中作物冠幅面积；
在经过二值化处理后的作物图像中，白色部分阈值为1，黑色部分阈值为0，对二值 化后的作物图像从上到下逐行扫描，扫描到第一个阈值为1的点记录下坐标为
Figure DEST_PATH_IMAGE016
，扫 描到最后一个阈值为1的点记录下其坐标为
Figure DEST_PATH_IMAGE017
，株高的像素点数目为
Figure DEST_PATH_IMAGE018
，则株高 为：
Figure DEST_PATH_IMAGE019
其中，
Figure DEST_PATH_IMAGE020
表示实际株高；
Figure DEST_PATH_IMAGE021
表示最后一个阈值为1的点的横坐标；
Figure DEST_PATH_IMAGE022
表示最后一个 阈值为1的点的纵坐标；
Figure DEST_PATH_IMAGE023
表示第一个阈值为1的点的横坐标；
Figure DEST_PATH_IMAGE024
表示第一个阈值为1的点 的纵坐标；
对二值化后的作物图像逐行扫描，每一行中，扫描到阈值由0变到1的点时记录下 该点坐标为
Figure DEST_PATH_IMAGE025
，扫描到阈值由1变到0的点时记录下该点坐标为
Figure DEST_PATH_IMAGE026
，并依次记录 每一行的茎粗值
Figure DEST_PATH_IMAGE027
，
Figure DEST_PATH_IMAGE028
，则作物的实际茎粗为：
Figure DEST_PATH_IMAGE029
其中，
Figure DEST_PATH_IMAGE030
表示实际茎粗；
Figure DEST_PATH_IMAGE031
表示扫描的所有行中茎粗最大值；
Figure DEST_PATH_IMAGE032
表示每一行中 阈值由0变到1的点的横坐标；
Figure DEST_PATH_IMAGE033
表示每一行中阈值由0变到1的点的纵坐标；
Figure DEST_PATH_IMAGE034
表示每一 行中阈值由1变到0的点的横坐标；
Figure DEST_PATH_IMAGE035
表示每一行中阈值由1变到0的点的纵坐标。
进一步地，所述红外热像仪、OpenMV机器视觉模块在数据采集之前进行参数调整，包括温度读取范围、焦距、像素、图像长宽、图像采集模式等参数的调整。
进一步地，所述用户端电脑首先启动预览功能，等待RGB图像的缓冲输入，然后利用SPI进行读写操作，循环读取图像之后，选取图像进行处理。
与现有技术相比，本发明具有如下有益效果：
（1）本发明采用嵌入式机器视觉技术，能够对作物长势信息进行实时、连续、无损监测，自动获取作物色彩、形态和温度指标，有助于为温室环境参数的调整和控制提供参考；还能够在很大程度上消除不必要的误差，有助于提高农业自动化水平；机器视觉技术采集数据的速度很快，在不介入人力的情况下拥有处理大量数据的能力，并且能够很容易结合电脑端软件来进行控制和分析等方面的操作，有助于提高操作效率，且数据分析的准确度较高。
（2）整个胁迫预警系统软硬件结合，智能化程度高，操作简单，可以解决数据自动化采集问题，有助于进行可重复的理化胁迫试验，通过对实时监测的数据进行分析，提供定性和定量的信息，不仅可以帮助种植者更好地监控作物生长的各方面情况，管理资源，预防病虫害及作物温度和水分胁迫，还可以提高作物整体生产的质量，降低人的疲劳强度，实现作物种植的智能化和现代化；还能通过作物胁迫状态自动诊断预警方法，提高种植者灌溉施肥决策的精度。
（3）本发明所采用的嵌入式系统及设备可通用化改进，具有较好的扩展性，结合机器视觉、软件控制、图像处理等技术，为以作物表型信息采集技术为基础的作物胁迫自动诊断预警提供了一个全新的技术平台。
附图说明
图1为本发明所述作物胁迫预警系统工作示意图；
图2为本发明所述信息采集装置结构示意图；
图3为本发明所述信息采集流程图。
图中：1-温室；2-苗床；3-作物；4-路由器；5-用户端电脑；6-电气箱；7-底板；8-万向轮；9-嵌入式树莓派模块；10-蓄电池；11-五孔板；12-竖杆；13-第一伸缩杆；14-第二伸缩杆；15-固定旋钮；16-滚珠转轴；17-红外热像仪；18-OpenMV机器视觉模块；19-无线传输模块。
具体实施方式
下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。
在本发明的描述中，需要理解的是，术语“安装”等应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体的连接，可以是直接相连，也可以是通过中间媒介间接相连，还可以是两个元件内部的连通；对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
本发明以温室1作物3为例进行说明，如图1所示，本发明所述作物胁迫预警系统利用数据采集装置采集温室1内各苗床2上作物3的图像数据、温度数据，将采集到的数据传递至温室1外的用户端电脑5进行处理，建立预警模型，同时实时监测作物3长势。
如图1、2所示，数据采集装置包括安装在底板7上表面的电气箱6，底板7优选为由铝制板材制成，电气箱6内设有导线连接的蓄电池10和嵌入式树莓派模块9。底板7下表面安装有多个万向轮8，每个万向轮8均与对应驱动电机连接，驱动电机与嵌入式树莓派模块9导线连接。嵌入式树莓派模块9内部存储有基于温室路径事先编写好的控制指令，能够控制驱动电机工作，使得驱动电机带动万向轮8转动，进而带动整个数据采集装置在温室1内移动，进行作物3信息的采集。底板7上表面还安装有五孔板11，五孔板11上表面竖直焊接有竖杆12，竖杆12表面安装有与竖杆12垂直的第一伸缩杆13和第二伸缩杆14，第一伸缩杆13和第二伸缩杆14均能够通过固定旋钮15调节高度；第一伸缩杆13另一端通过滚珠转轴16安装有红外热像仪17，用于采集作物3温度数据，本实施例中优选使用AMG8833红外热像仪17，能够一次性读取镜头内8×8的正方形区域实时温度，即64个点的实时温度；第二伸缩杆14另一端通过滚珠转轴16安装有OpenMV机器视觉模块18，用于采集作物3图像数据，能够捕获640×480像素的RGB彩色数字图像；滚珠转轴16的设置使得红外热像仪17、OpenMV机器视觉模块18的角度可调，有效保证数据采集的准确性。嵌入式树莓派模块9分别与红外热像仪17、OpenMV机器视觉模块18导线连接，用于控制数据的采集以及接收作物3的温度数据和图像数据。电气箱6上方安装有无线传输模块19，嵌入式树莓派模块9能够通过无线传输模块19将接收到的数据信息传递给温室1外部的路由器4，再经路由器4传递给用户端电脑5进行分析处理以构建预警模型；同时，用户端电脑5还能够通过无线传输模块19对嵌入式树莓派模块9进行远程指令控制。
在进行数据采集之前，首先对整个温室1的地形进行记录，根据温室1作物3位置以及作物行间距规划数据采集装置的行走路线，根据作物3株距规划数据采集装置的采集停靠点，然后基于规划后的数据在嵌入式树莓派模块9中编写控制指令以控制万向轮8的运动，进而控制数据采集装置在温室1内根据预设指令生成的路线行走、停靠。进行信息采集时，如图3所示，首先打开蓄电池10供电，嵌入式树莓派模块9发送指令给驱动电机带动万向轮8转动，保证数据采集装置根据预先设置好的路线行走并停靠在指定采集点；通过调节固定旋钮15将第一伸缩杆13和第二伸缩杆14调整至合适的高度并固定住，然后拉长伸缩杆，通过调节滚珠转轴16将红外热像仪17、OpenMV机器视觉模块18调整至合适的角度以对准作物3，保证精确采集；接着进行红外热像仪17、OpenMV机器视觉模块18的参数调整，包括温度读取范围、焦距、像素、图像长宽、图像采集模式等参数的调整，调整完成后即可进行数据的采集。采集到的作物3图像数据和温度数据传递至嵌入式树莓派模块9，由嵌入式树莓派模块9通过无线传输模块19将其传递至用户端电脑5进行处理；用户端电脑5启动预览功能，等待RGB图像的缓冲输入，然后利用SPI（串行外设接口）进行读写操作，循环读取图像之后，选取合适的图像进行处理，计算出作物3的长势参数；同时，用户端电脑5也读取作物3表面的温度数据，将温度数据与从图像数据中处理获得的作物3颜色参数进行融合，建立预警模型；用户端电脑5每接收一次数据后，会自动对信息数据进行存储；数据采集结束后，用户端电脑5通过无限传输模块19向树莓派模块9发送指令，停止进行采集数据，关闭数据采集装置。
利用本发明所述预警系统，对作物3图像数据进行处理，以获取作物3长势参数、建立预警模型，实现对作物3生长情况进行监测预警的方法，主要包括两部分内容，具体步骤如下：
第一部分，预警模型的建立过程：
步骤1：滤波处理：传统的滤波方法包括中值滤波、高斯滤波、算术均值滤波等，本实施例中优选为采用算术均值滤波的方法对图像进行处理；将读取到的RGB图像转换成二进制图像并获得相应的阈值，将此阈值作为过滤和剔除冗余信息的标准代入算术均值滤波算法中进行滤波处理，以去除图像中的噪声点和杂质，避免其对后续图像处理过程产生干扰，提高图像质量。
步骤2：颜色空间转换：颜色空间包括RGB颜色空间、HSV颜色空间、Lab颜色空间等，本实施例中优选地将经过步骤1处理的图像映射到Lab颜色空间；Lab颜色空间由三个要素组成，L表示亮度，a表示从洋红色至绿色，b表示从黄色至蓝色，L的值域由0到100，所有的颜色都可以由这三个值相互变化组成，将图像映射至Lab颜色空间后，能够获取颜色分量，即Lab值。
用户端电脑5实时读取、存储作物3温度数据，存储实时处理得到的颜色分量数据，并据此建立预警模型，用于判断作物3的长势，病虫害以及受胁迫状态，从而实现作物3的实时监测和胁迫预警，为后续对作物3产量提高的决策提供建议和参考；在此过程中，用户端电脑5利用统计分析软件SPSS对采集到的各项数据进行方差分析（ANOVA）和多重比较（LSD），发现并去除异常数据。采在众多的胁迫因素中，由于只有水分胁迫能够较为直观定量地表示，因此，本实施例以作物3水分胁迫为例进行说明；作物3水分胁迫指数（CWSI）是一个根据作物3冠层温度数据判断水分亏缺情况的重要标准，本实施例将其作为参考标准，即试验实测CWSI值，通过求取作物3冠层温度、湿参考面温度的差值与干、湿参考面温度差值之间的比值求得不同作物3的CWSI值 ，具体计算公式如下：
Figure 965756DEST_PATH_IMAGE001
（1）
其中，
Figure 679634DEST_PATH_IMAGE002
表示标准环境下的作物3冠层区域温度（单位为°C）；
Figure 990529DEST_PATH_IMAGE003
表示湿人工参 考表面的平均温度（单位为°C）；
Figure 664700DEST_PATH_IMAGE004
表示干人工参考表面的平均温度（单位为°C）。
采用曲线拟合软件Curve Expert或Origin将作物3叶面温度、颜色空间Lab值以及CWSI值进行分析拟合处理，获得关系曲线模型，即预警模型，通过该模型获得的CWSI值则为模型模拟CWSI值。
对模型进行检验时，通常采用均方根误差（RMSE）法或相对误差（RE）法或一致性系数（COC）法等方法，对模型模拟值和试验实测值进行比较，分析拟合度高低，本实施例中优选使用均方根误差（RMSE）法，其检验公式如下：
Figure DEST_PATH_IMAGE005
（2）
其中，
Figure 806968DEST_PATH_IMAGE007
表示试验实测CWSI值；
Figure 160589DEST_PATH_IMAGE008
表示模型模拟CWSI值；
Figure 709513DEST_PATH_IMAGE009
表示样本号；
Figure 705151DEST_PATH_IMAGE010
表示样 本容量。
在模型检验过程中，当RMSE值越小，表明模型模拟CWSI值与试验实测CWSI值间的偏差越小，模型的预测精度则越高。除此以外，也可通过1:1直线及其回归方程决定系数（R2）直观展示模拟值与实测值的精确度。
第二部分，作物3长势状况获取过程：
步骤3：图像分割：传统的图像分割方法包括迭代阈值分割法、全局阈值分割法、最大类间方差法（Otsu）等，Otsu法是在灰度直方图的基础上根据最小二乘的原理得到的，有最佳的统计学上的意义，便于像素点的计算，因此，本实施例中优选使用Otsu法对经步骤1处理后的图像进行处理，将作物图像从背景图像中分割出来，并进行二值化处理，使得整个图像呈现出明显的黑白效果。
步骤4：形态学处理：采用阈值面积消除法(Area Threshold Removal)去除二值化后的图像中的残留噪点，首先对二值化后图像中像素值为1的点采用8邻域连通域标记法进行标记，对得到的各个连通区域进行标记，然后对每个连通域进行面积统计，通过比较给出一个能够满足噪点消去要求的阈值，若连通域面积小于该阈值，则将该区域像素点的像素值由1变为0，此时相应的噪点被去除；采用该方法也可以对图像上的特定区域进行面积消去处理。
作物3长势参数分为个体特征、群体特征和综合特征三个方面，个体特征参数包括株高、茎粗、叶片数量、叶片形状、叶片颜色、冠幅面积等，群体特征参数包括种植密度、株距、行距等，综合特征参数主要是指叶面积指数。本实施例优选了个体特征参数中最具代表性的株高、茎粗、冠幅面积这三个参数来表征作物3长势情况，具体计算过程如下：
在对作物3株高、茎粗、冠幅面积进行测量计算时，需要使用事先准备的2cm×2cm的白色正方形亚克力板作为标定物，由已知的标定物面积作为参照，根据标定物区域和作物区域像素点个数，求出作物3株高、茎粗以及冠幅面积。
设标定物面积为
Figure 905188DEST_PATH_IMAGE012
，标定物区域像素点个数为
Figure 180443DEST_PATH_IMAGE013
，作物3区域像素点个数为
Figure 465931DEST_PATH_IMAGE014
， 则图像区域中作物3冠幅面积为：
Figure 999680DEST_PATH_IMAGE011
（3）
其中，
Figure 54224DEST_PATH_IMAGE012
表示标定物面积；
Figure 765959DEST_PATH_IMAGE013
表示标定物区域像素点个数；
Figure 804322DEST_PATH_IMAGE014
表示作物3区域像 素点个数；
Figure 610604DEST_PATH_IMAGE015
表示图像区域中作物3冠幅面积。
在经过了步骤3二值化处理后的作物3图像中，白色部分阈值为1，黑色部分阈值为 0，作物冠幅部分经过二值化处理后全部为白色部分，背景部分全为黑色部分，逐行扫描二 值化后的图像，累计扫描出的阈值为1的点的数目，可以有效保证计算的准确率。在计算株 高时，以行为单位，对二值化后的作物3主视图像从上到下逐行扫描，由于作物3图像部分为 白色，所以扫描到第一个阈值为1的点记录下坐标为
Figure 533036DEST_PATH_IMAGE016
，扫描到最后一个阈值为1的点 时记录下其坐标为
Figure 399361DEST_PATH_IMAGE017
，株高的像素点数目为
Figure 659441DEST_PATH_IMAGE018
，则作物实际株高
Figure 534993DEST_PATH_IMAGE020
为：
Figure 314862DEST_PATH_IMAGE019
（4）
其中，
Figure 617667DEST_PATH_IMAGE020
表示实际株高；
Figure 99464DEST_PATH_IMAGE021
表示最后一个阈值为1的点的横坐标；
Figure 529439DEST_PATH_IMAGE022
表示最后一个 阈值为1的点的纵坐标；
Figure 413082DEST_PATH_IMAGE023
表示第一个阈值为1的点的横坐标；
Figure 886788DEST_PATH_IMAGE024
表示第一个阈值为1的点 的纵坐标。
在计算茎粗时，对二值化后的作物3主视图像进行逐行扫描，每一行中，扫描到阈 值由0变到1的点时记录下该点坐标为
Figure 121461DEST_PATH_IMAGE025
，扫描到阈值由1变到0的点时记录下该点坐 标为
Figure 823969DEST_PATH_IMAGE026
，并依次记录每一行的茎粗值
Figure 827697DEST_PATH_IMAGE027
，
Figure 472305DEST_PATH_IMAGE028
，则作物3的实 际茎粗
Figure 942076DEST_PATH_IMAGE030
为：
Figure 697542DEST_PATH_IMAGE029
（5）
其中，
Figure 290198DEST_PATH_IMAGE030
表示实际茎粗；
Figure 371286DEST_PATH_IMAGE031
表示扫描的所有行中茎粗最大值；
Figure 65704DEST_PATH_IMAGE032
表示每一行中 阈值由0变到1的点的横坐标；
Figure 624861DEST_PATH_IMAGE033
表示每一行中阈值由0变到1的点的纵坐标；
Figure 337602DEST_PATH_IMAGE034
表示每一 行中阈值由1变到0的点的横坐标；
Figure 74745DEST_PATH_IMAGE035
表示每一行中阈值由1变到0的点的纵坐标。
本发明所述的作物胁迫预警系统中的万向轮和底板可以替换为移动机器人等结构，滚珠转轴可以替换为移动云台等结构，对于伸缩杆和滚珠转轴的控制也可以采用电动控制，因此，所述实施例均为本发明优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。

Claims (5)

1.一种基于温度和图像的作物胁迫预警系统的预警方法，其特征在于，所述预警系统包括数据采集装置，数据采集装置包括安装在底板(7)上表面的电气箱(6)，电气箱(6)内设有导线连接的蓄电池(10)和嵌入式树莓派模块(9)，底板(7)下表面安装有多个万向轮(8)，万向轮(8)分别与对应驱动电机连接，驱动电机与嵌入式树莓派模块(9)导线连接；底板(7)上表面通过五孔板(11)安装有竖杆(12)，竖杆(12)表面安装有与竖杆(12)垂直且高度可调的第一伸缩杆(13)和第二伸缩杆(14)；第一伸缩杆(13)另一端安装有红外热像仪(17)，第二伸缩杆(14)另一端安装有OpenMV机器视觉模块(18)；嵌入式树莓派模块(9)分别与红外热像仪(17)、OpenMV机器视觉模块(18)导线连接；电气箱(6)上方安装有无线传输模块(19)，嵌入式树莓派模块(9)依次通过无线传输模块(19)、路由器(4)与用户端电脑(5)连接；
所述第一伸缩杆(13)另一端、第二伸缩杆(14)另一端均通过滚珠转轴(16)分别安装有红外热像仪(17)、OpenMV机器视觉模块(18)；所述第一伸缩杆(13)和第二伸缩杆(14)均通过固定旋钮(15)调节高度；
所述预警方法，包括如下步骤：打开蓄电池(10)供电，嵌入式树莓派模块(9)发送指令给驱动电机带动万向轮(8)转动，数据采集装置根据预先设置好的路线行走并停靠在指定采集点；调节第一伸缩杆(13)和第二伸缩杆(14)的高度并固定住，将红外热像仪(17)、OpenMV机器视觉模块(18)调整至对准作物(3)的角度并进行数据采集；采集到的图像数据和温度数据由嵌入式树莓派模块(9)通过无线传输模块(19)传递至用户端电脑(5)，用户端电脑(5)获取作物(3)颜色分量和长势参数，将颜色分量与读取的温度数据拟合，辅助建立预警模型；
所述用户端电脑(5)在获取作物(3)颜色分量和长势参数之前对图像进行预处理，预处理过程为：
将读取到的RGB图像转换成二进制图像并获得相应的阈值，将此阈值作为过滤和剔除冗余信息的标准代入算术均值滤波算法中进行滤波处理，去除图像中的噪声点和杂质；将滤波后的图像映射到Lab颜色空间以获得颜色分量Lab值；
利用Otsu法将滤波后的作物图像从背景图像中分割出来并进行二值化处理；采用阈值面积消除法去除二值化后的图像中的残留噪点；
所述用户端电脑(5)获取作物(3)长势参数的具体过程为：
所述长势参数包括作物(3)株高、茎粗、冠幅面积，利用2cm×2cm的白色正方形亚克力板作为标定物来辅助获取长势参数；
作物(3)冠幅面积公式为：
Figure FDA0002865959500000021
其中，S0表示标定物面积；N0表示标定物区域像素点个数；N表示作物区域像素点个数；S表示图像区域中作物冠幅面积；
在经过二值化处理后的作物(3)图像中，白色部分阈值为1，黑色部分阈值为0，对二值化后的作物(3)图像从上到下逐行扫描，扫描到第一个阈值为1的点记录下坐标为(x1，y1)，扫描到最后一个阈值为1的点记录下其坐标为(xj，yj)，株高的像素点数目为yj-y1，则株高为：
Figure FDA0002865959500000022
其中，H表示实际株高；xj表示最后一个阈值为1的点的横坐标；yj表示最后一个阈值为1的点的纵坐标；x1表示第一个阈值为1的点的横坐标；y1表示第一个阈值为1的点的纵坐标；
对二值化后的作物(3)图像逐行扫描，每一行中，扫描到阈值由0变到1的点时记录下该点坐标为(xk，yk)，扫描到阈值由1变到0的点时记录下该点坐标为(xm，ym)，并依次记录每一行的茎粗值d，
Figure FDA0002865959500000023
则作物(3)的实际茎粗为：
Figure FDA0002865959500000024
其中，L表示实际茎粗；dmax表示扫描的所有行中茎粗最大值；xk表示每一行中阈值由0变到1的点的横坐标；yk表示每一行中阈值由0变到1的点的纵坐标；xm表示每一行中阈值由1变到0的点的横坐标；ym表示每一行中阈值由1变到0的点的纵坐标。
2.根据权利要求1所述的预警方法，其特征在于，所述用户端电脑(5)将颜色分量与读取的温度数据拟合的具体过程为：
采用Curve Expert或Origin将作物(3)叶面温度、Lab值以及CWSI值进行分析拟合，获得的关系曲线模型即为预警模型，通过预警模型获得的CWSI值则为模型模拟CWSI值；试验实测CWSI值的获取公式为：
Figure FDA0002865959500000031
其中，Tplant表示标准环境下的作物冠层区域温度；Twet表示湿人工参考表面的平均温度；Tdry表示干人工参考表面的平均温度。
3.根据权利要求2所述的预警方法，其特征在于，对所述预警模型进行检验的过程为：使用均方根误差法检验预警模型，检验公式为：
Figure FDA0002865959500000032
其中，Oi表示试验实测CWSI值；Si表示模型模拟CWSI值；i表示样本号；n表示样本容量；RMSE值越小，则模型模拟CWSI值与试验实测CWSI值间的偏差越小，预警模型的预测精度越高。
4.根据权利要求1所述的预警方法，其特征在于，所述红外热像仪(17)、OpenMV机器视觉模块(18)在数据采集之前进行参数调整，包括温度读取范围、焦距、像素、图像长宽、图像采集模式的调整。
5.根据权利要求1所述的预警方法，其特征在于，所述用户端电脑(5)首先启动预览功能，等待RGB图像的缓冲输入，然后利用SPI进行读写操作，循环读取图像之后，选取图像进行处理。
CN202011291557.7A 2020-11-18 2020-11-18 一种基于温度和图像的作物胁迫预警系统及预警方法 Active CN112102211B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011291557.7A CN112102211B (zh) 2020-11-18 2020-11-18 一种基于温度和图像的作物胁迫预警系统及预警方法
US17/495,856 US11490055B2 (en) 2020-11-18 2021-10-07 System and method for crop stress early warning based on temperature and image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011291557.7A CN112102211B (zh) 2020-11-18 2020-11-18 一种基于温度和图像的作物胁迫预警系统及预警方法

Publications (2)

Publication Number Publication Date
CN112102211A CN112102211A (zh) 2020-12-18
CN112102211B true CN112102211B (zh) 2021-02-02

Family

ID=73785237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011291557.7A Active CN112102211B (zh) 2020-11-18 2020-11-18 一种基于温度和图像的作物胁迫预警系统及预警方法

Country Status (2)

Country Link
US (1) US11490055B2 (zh)
CN (1) CN112102211B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115841470B (zh) * 2022-12-05 2023-08-11 中国科学院合肥物质科学研究院 一种基于根际的雾培番茄水分胁迫估算方法
CN116774747B (zh) * 2023-06-02 2024-01-30 上海华维可控农业科技集团股份有限公司 基于云边端协同的可控农业温室环境智能控制系统及方法
CN117392466B (zh) * 2023-12-08 2024-03-08 汉中益丰华茂农业科技发展有限公司 基于图像识别的食用菌病害早期预警方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015006675A2 (en) * 2013-07-11 2015-01-15 Blue River Technology, Inc. Method for automatic phenotype measurement and selection
CN204515975U (zh) * 2015-03-27 2015-07-29 中国农业科学院农业信息研究所 一种农作物监测预警系统
AU2017264371A1 (en) * 2016-05-13 2018-11-01 Basf Se System and method for detecting plant diseases
CN111855653B (zh) * 2019-04-25 2023-11-28 河南中原光电测控技术有限公司 一种植物干旱监测方法、监测模块和监测装置
CN111579271B (zh) * 2020-07-06 2024-05-17 中国农业大学 一种果实模拟采摘、转运智能小车组

Also Published As

Publication number Publication date
CN112102211A (zh) 2020-12-18
US11490055B2 (en) 2022-11-01
US20220159218A1 (en) 2022-05-19

Similar Documents

Publication Publication Date Title
CN112102211B (zh) 一种基于温度和图像的作物胁迫预警系统及预警方法
Guo et al. Crop 3D—a LiDAR based platform for 3D high-throughput crop phenotyping
JP5020444B2 (ja) 作物生育量測定装置、作物生育量測定方法、作物生育量測定プログラム及びその作物生育量測定プログラムを記録したコンピュータ読取可能な記録媒体
CN101936882B (zh) 一种作物氮素和水分无损检测方法及装置
Mortensen et al. Segmentation of lettuce in coloured 3D point clouds for fresh weight estimation
US20180364157A1 (en) Self-propelled apparatus for optimally analysing and managing fields intended for agricultural cultivation
CN112903600B (zh) 一种基于固定翼无人机多光谱影像的水稻氮肥推荐方法
US20170223947A1 (en) Apparatus and methods for in-field data collection and sampling
CN104697943B (zh) 一种油菜水分胁迫的无损检测方法
de Oca et al. The AgriQ: A low-cost unmanned aerial system for precision agriculture
EP2056094A1 (en) Fluorescence imaging system
Xu et al. Classification method of cultivated land based on UAV visible light remote sensing
CN112557393A (zh) 基于高光谱影像融合图谱特征的小麦叶层氮含量估测方法
CN112613338A (zh) 基于rgb图像融合特征的小麦叶层氮含量估测方法
CN117589767A (zh) 一种烟叶采收时间确定方法、电子设备和存储介质
CN112861712B (zh) 基于人工智能与多时相遥感的农业病虫害监测方法
Kazemi et al. Evaluation of RGB vegetation indices derived from UAV images for rice crop growth monitoring
CN113647212A (zh) 一种基于作物茎秆定位的锄草机器人及锄草方法
CN114694020B (zh) 一种棉花蚜虫遥感预报模型的构建方法
Kırcı et al. Vegetation measurement using image processing methods
CN114612794A (zh) 一种细碎化农业区土地覆被与种植结构的遥感识别方法
CN114782843A (zh) 基于无人机多光谱图像融合的作物产量预测方法及系统
CN114778476A (zh) 一种基于无人机遥感的苜蓿棉田土壤含水量监测模型
CN112577956A (zh) 一种基于智能设备拍照功能的玉米考种系统及方法
Hall et al. A method for extracting detailed information from high resolution multispectral images of vineyards

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant