CN110427798A - 一种青菜智能识别及叶色环境变化预测的方法 - Google Patents

Abstract

本发明公开了一种青菜智能识别及叶色环境变化预测的方法，属于农业种植领域，包括图样采集、智能识别、叶色信息提取，气象数据采集，建立日、时回归模型，模型拟合优度判定及预测准确率分析，确定模型等步骤。本发明实现了设施农业野外监控设备设备，在开放、自然环境下实时对青菜植株图像自动识别切割、提取相关叶色参数，并建立了图像信息与环境气象因子的变化预测模式。该技术具有智能识别、定时自动追焦跟踪、快速精准切割、高速参数提取分析、预测模型准确率高，适合日、时预测分析使用。该方法将为设施农业动态监测、预警服务提供技术基础。

Description

一种青菜智能识别及叶色环境变化预测的方法

技术领域

本发明属于农业种植技术领域，具体涉及一种青菜智能识别及叶色环境变化预测的方法。

背景技术

近年来，我国设施农业规模不断扩大，设施种植面积逐步增加，产业化水平不断提高，已成为现代农业的一种主要产业形式。2018 年农业部一号文件中明确提出要“提高设施农业发展水平”。设施农业主要是以园艺作物的高效生产和反季节栽培为产业定向，单位面积产值一般可达大田的7～10倍，甚至更高，已成为农业种植业中效益最高的产业。同时，设施农业也是最易受到气象条件影响的脆弱产业，是最需要提供专业气象保障服务的行业。据初步估算，若气象服务及时准确、防御措施得当，可使设施农业增加收入5～10％，每年可直接增加产值150亿元以上，从而有效避免或减轻灾害损失。目前针对设施农业气象服务需求，全国已组建了日光温室、塑料大棚小气候观测站网，包括设施小气候观测及实景观测，实现了对我国设施农业主要生产区域内设施小气候条件的组网观测，为开展设施农业气象服务提供了基础支撑。但观测资料尤其是实景观测资料解析应用受技术手段的限制，目前仍处在摸索阶段。

发明内容

本发明的目的在于提供一种青菜智能识别及叶色环境变化预测的方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种青菜智能识别及叶色环境变化预测的方法，该方法包括如下步骤：

通过监控装置采集图样，得到原始图样；

通过气象采集得到温度、湿度数据；

通过自然环境植株图像智能识别后得到得到透明背景的目标植株彩色图像；

采用MATLAB 2016R软件对彩色图像进行叶色信息提取和分析；

构建日、时回归模型并将提取的叶色参数，温度、湿度数据带入回归模型中构建预测叶色，并与下时间点监控拍摄叶色数据比对；

分析模型叶色预测准确率；

确定模型；

对叶色进行持续预测。

优选的，所述自然环境植株图像智能识别步骤如下：

将目标叶片采用监控摄像头进行拍摄，得到的原始图像；

原始图像数据实时传输到中心服务器上；

采用MATLAB 2016R软件对叶片进行自动识别、切割，包括如下步骤：

HSV颜色切割：将叶片原始图像通过rgb2hsv函数转化为HSV色彩空间模式，而后采用双循环算法，将图像中H通道的植株色彩范围值外的V通道值设为0；将处理后的图像通过hsv2rgb转化为RGB色彩空间模式；

边缘识别切割：将HSV颜色切割得到的RGB图像通过rgb2gray 函数转化为灰度图像，通过edge函数canny算子对烤烟叶片边缘进行切割；通过strel和imdilate函数对图像进行膨胀操作，填补边缘缝隙；通过imfill函数对空隙填充后通过imerode函数利用菱形结构元素对图像进行平滑；而后通过medfilt2进行中值滤波；

面积筛选切割：将边缘识别切割得到的图像通过bwlabel函数寻找联通成份且用唯一数字标识；通过regionprops函数获取连通域的面积；通过find函数找到指定面积连通域的索引值，并通过ismember 函数将这些连通域索引值所对应的区域保存为二值图；

叶形识别及切割：将面积筛选切割得到的二值图通过 bwboundarie寻找边缘，通过regionprops及rectangle函数获取并画出连通域最小外接矩阵；通过cell2mat函数提取最小外接矩阵X、 Y维度长度，算出最小外接矩阵长宽比、最小外接矩阵面积及连通域面积有效占比；将连通域长宽比及连通域面积有效占比与指定参数进行对比判断，识别出目标图像，将其他连通域面积清零；

目标图像识别：将识别出的目标图像与原始图像进行加法运算，并通过rectangle及循环plot函数画出连通域最小外接矩阵及边缘轮廓；

RGB色彩阈值切割及背景透明化处理：将叶形识别及切割所得图像二值图中黑色部分填充白色后形成背景蒙版；而后将原图作为底图，与背景蒙版进行图像加法运算，形成具有白色背景及目标图像彩色图像的JPG图片；而后通过RGB色彩阈值再次进行切割，去除阴影，并将白色背景透明度调整为0，得到透明背景的目标植株彩色图像PNG图片。

优选的，采用MATLAB 2016R软件对彩色图像进行叶色信息提取和分析，包括如下步骤：

不同色彩通道色阶信息矩阵提取：通过imread函数读取切割后的彩色图像，分别通过image(:,:,1)、image(:,:,2)、image(:,:,3)、 rgb2gray函数提取叶片彩色图像红色、绿色、蓝色和灰色四个色彩通道的像素色阶，并组成色阶矩阵，再通过double函数将色阶数组转化为双精度数组；运用全循环算法检索记录图像中非黑部分像素索引码，将其组合为新的色阶矩阵，该数组即为无软件特性干扰的叶片色阶信息矩阵；

不同色彩通道色阶均值提取：运用Mean函数分别获取红色、绿色、蓝色和灰色通道的色阶均值；

与现有技术相比，本发明的有益效果是：本发明实现了设施农业野外监控设备设备，在开放、自然环境下实时对青菜植株图像自动识别切割、提取相关叶色参数，并建立了图像信息与环境气象因子的变化预测模式。该技术具有智能识别、定时自动追焦跟踪、快速精准切割、高速参数提取分析、预测模型准确率高，适合日、时预测分析使用。该方法将为设施农业动态监测、预警服务提供技术基础。

附图说明

图1为本发明的步骤流程图；

图2为本发明中上午8时图片的Red通道的像素色阶均值与对应的日平均相对湿度逐日变化趋势图；

图3为本发明中植株叶色信息与气温系数的变化趋势图；

图4为本发明中植株叶色信息与湿度系数的变化趋势意图；

图5为本发明中植株叶色信息与水汽压系数的变化趋势图；

图6为本发明中植株叶色信息与露点温度系数的变化趋势图；

图7为本发明中三种预测模型气象-叶色预测精准度四分位图。

具体实施方式

下面结合实施例对本发明做进一步的描述。

以下实施例用于说明本发明，但不能用来限制本发明的保护范围。实施例中的条件可以根据具体条件做进一步的调整，在本发明的构思前提下对本发明的方法简单改进都属于本发明要求保护的范围。

请参阅图1，本发明提供一种青菜智能识别及叶色环境变化预测的方法，该方法包括如下步骤：

通过监控摄像头(DH-SD-65F630U-HN-Q)采集图样，得到原始图样；

通过气象采集得到温度、湿度数据；

通过自然环境植株图像智能识别后得到得到透明背景的目标植株彩色图像；

采用MATLAB 2016R软件对彩色图像进行叶色信息提取和分析；

构建日、时回归模型并将提取的叶色参数，温度、湿度数据带入回归模型中构建预测叶色，并与下时间点监控拍摄叶色数据比对；

分析模型叶色预测准确率；

确定模型；

对叶色进行持续预测。

具体的，自然环境植株图像智能识别步骤如下：

将目标叶片根据本研究所提供的图像采集方法进行拍摄，得到的原始图像；

HSV颜色切割：将叶片原始图像通过rgb2hsv函数转化为HSV色彩空间模式，而后采用双循环算法，将图像中H通道的植株色彩范围值外的V通道值设为0；将处理后的图像通过hsv2rgb转化为RGB色彩空间模式；

边缘识别切割：将HSV颜色切割得到的RGB图像通过rgb2gray 函数转化为灰度图像，通过edge函数canny算子对烤烟叶片边缘进行切割；通过strel和imdilate函数对图像进行膨胀操作，填补边缘缝隙；通过imfill函数对空隙填充后通过imerode函数利用菱形结构元素对图像进行平滑；而后通过medfilt2进行中值滤波；

面积筛选切割：将边缘识别切割得到的图像通过bwlabel函数寻找联通成份且用唯一数字标识；通过regionprops函数获取连通域的面积；通过find函数找到指定面积连通域的索引值，并通过ismember 函数将这些连通域索引值所对应的区域保存为二值图；

叶形识别及切割：将面积筛选切割得到的二值图通过 bwboundarie寻找边缘，通过regionprops及rectangle函数获取并画出连通域最小外接矩阵；通过cell2mat函数提取最小外接矩阵X、 Y维度长度，算出最小外接矩阵长宽比、最小外接矩阵面积及连通域面积有效占比；将连通域长宽比及连通域面积有效占比与指定参数进行对比判断，识别出目标图像，将其他连通域面积清零；

目标图像识别：将识别出的目标图像与原始图像进行加法运算，并通过rectangle及循环plot函数画出连通域最小外接矩阵及边缘轮廓；

RGB色彩阈值切割及背景透明化处理：将叶形识别及切割所得图像二值图中黑色部分填充白色后形成背景蒙版；而后将原图作为底图，与背景蒙版进行图像加法运算，形成具有白色背景及目标图像彩色图像的JPG图片；而后通过RGB色彩阈值再次进行切割，去除阴影，并将白色背景透明度调整为0，得到透明背景的目标植株彩色图像PNG 图片。

具体的，采用MATLAB 2016R软件对彩色图像进行叶色信息提取和分析，包括如下步骤：

不同色彩通道色阶信息矩阵提取：通过imread函数读取切割后的彩色图像，分别通过image(:,:,1)、image(:,:,2)、image(:,:,3)、 rgb2gray函数提取叶片彩色图像红色、绿色、蓝色和灰色四个色彩通道的像素色阶，并组成色阶矩阵，再通过double函数将色阶数组转化为双精度数组；运用全循环算法检索记录图像中非黑部分像素索引码，将其组合为新的色阶矩阵，该数组即为无软件特性干扰的叶片色阶信息矩阵；

不同色彩通道色阶均值提取：运用Mean函数分别获取红色、绿色、蓝色和灰色通道的色阶均值。

具体分析案例如下：

植株叶色信息提取效果分析，请参阅表1，分别选取9am、10am 及4pm的图片，采用本发明方法进行处理，结果可看出，图像识别用时短，普遍在1S左右，且正确率平均可达98.75％，其中10am和4pm 的正确率高达100％。

表1植株叶色信息提取效果分析

植株叶色信息时间差异性分析，请参阅表2，对9am、10am及4pm 三个时次图片的Red、Green、Blue、Gray四个色彩通道的像素色阶均值与8am对应的各色阶均值进行配对T检验，结果可看出，9am、 10am及4pm三个时次图片的Red、Green、Blue、Gray四个色彩通道的像素色阶均值与上午8时对应的各色阶均值显著相关，普遍达0.01 置信度水平；9am、10am及4pm三个时次图片的Red、Green、Blue、 Gray四个色彩通道的像素色阶均值与上午8时对应的各色阶均值的差异性随着时间推移不断减弱，其中9am图片四个色彩通道的像素色阶值与8am对应的各色阶均值均有显著差异，普遍达0.01置信度水平,。

表2不同时次植株叶色信息与上午8时植株叶色信息的配对T检验(双尾)

植株叶色信息与日气象因子的相关分析，请参阅图2和表3，以 8am图片的Red通道的像素色阶均值为例，统计了12月1日以来8am 图片的Red通道的像素色阶均值与日平均相对湿度的变化，可看到二者具有同向波动性，且各Red通道的像素色阶均值的谷值也与时段内的低温有着很好的对应关系。

分析8am图片的Red、Green、Blue、Gray四个色彩通道的像素色阶均值与当日和前日的各气象因子的关系发现，各通道的像素色阶均值与当日平均相对湿度均极显著相关，另外，Red通道的像素色阶均值还与当日日均露点温度极显著相关，与当日平均水汽压显著相关； Green通道的像素色阶均值与当日日均露点温度、平均水汽压极显著相关，与前日平均相对湿度显著相关；Blue通道的像素色阶均值与当日气温日较差显著相关，与前日最高气温极显著相关；Gray通道的像素色阶均值与当日平均露点温度、平均水汽压极显著相关，与前日平均相对湿度显著相关。总的来说，上午8时图片的Red、Green、 Blue、Gray四个色彩通道的像素色阶均值与当日各气象因子的相关程度更大。

表3植株叶色信息与当日和前日日气象因子Pearson相关系数

植株叶色信息与时气象因子的相关分析，请参阅图3-6进一步分析8am图片的Red、Green、Blue、Gray四个色彩通道的像素色阶均值与当日上午0～8时各时次气象因子的关系发现，除了气温以外，各时次相对湿度、水汽压及露点温度均与8am图片各通道色阶均值显著相关，其中Green通道的像素色阶均值的相关程度最高，Gray通道其次，Blue通道最低。且随着时间推移，各色阶均值与气象因子的相关系数逐步增大，在凌晨4时达到峰值。

植株叶色信息与时气象因子的关联模型及预测分析，请参阅表4，从以上分析可看出，叶色信息与当日与前日的气候小环境因子有着密切的关联，因此我们采用与日、时相关系数最高Green通道色阶均值为因变量Y，采用8am图像与气象因子构建模型。Tab.4中，Y1、Y2、Y3均为Green均值，XD为日相对湿度，XN-4为预测时间前四小时相对湿度，TR为日气温日较差，XN-2为预测时间前二小时相对湿度。

表4植株叶色预测模型及其拟合优度

在实例应用中，请参与图7和表5，采用三种模型分别对2018 年12月1日-2019年2月21日每日9:03、10:03、16:03叶色信息进行预测，并与观测值进行比对，结果如Tab.5和Fig.4所示，从中可以看出，三种模型平均预测精度都在95％以上，其中，日模型Y1 预测精度总体较为平均，适合进行长期预测使用；时模型和日时模型在靠近建模时间点精度较高，随着时间的延长，预测精度逐渐下降，适合进行短期预测使用。综上所述，Y1和Y3结合，可以实现青菜短期、中期对气象因子变化-叶色响应的预测，从而精准的预测判断出植物在未来几小时中可能表现出来的叶色状态，通过与灾害叶色的比对，进而确定其生长态势，为小气象预报和植物灾害预警提供技术支持。

表5植株叶色Green色阶均值预测精准度

预测精准度＝((1-|预测值-实测值|)/实测值)*100％

本发明方法具有智能识别、定时自动追焦跟踪、快速精准切割、高速参数提取分析的特点，实现了实时图像的快速自动识别切割、解析，未来可应用于设施作物生长发育、气象灾害及病虫害等的监测识别；建立的图像信息与环境气象因子变化的日、时关联预测模型，则将为设施农业正常生长动态监测及农业灾害的等级预报预警服务提供技术基础，将有助于设施生产者合理安排农事活动，有效调控设施内小气候环境，减少或避免了气象灾害造成的损失，最终促进设施种植业提质增效。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (3)

1.一种青菜智能识别及叶色环境变化预测的方法，其特征在于，该方法包括如下步骤：

通过监控装置采集图样，得到原始图样；

通过气象采集得到温度、湿度数据；

采用MATLAB 2016R软件对自然环境植株图像智能识别后得到得到透明背景的目标植株彩色图像；

采用MATLAB 2016R软件对彩色图像进行叶色信息提取和分析；

构建日、时回归模型并将提取的叶色参数，温度、湿度数据带入回归模型中构建预测叶色，并与下时间点监控拍摄叶色数据比对；

分析模型叶色预测准确率；

确定模型；

对叶色进行持续预测。

2.根据权利要求1所述的一种青菜智能识别及叶色环境变化预测的方法，其特征在于，所述自然环境植株图像智能识别步骤如下：

将目标叶片采用监控摄像头进行拍摄，得到的原始图像；

原始图像数据实时传输到中心服务器上；

采用MATLAB 2016R软件对叶片进行自动识别、切割，包括如下步骤：

HSV颜色切割：将叶片原始图像通过rgb2hsv函数转化为HSV色彩空间模式，而后采用双循环算法，将图像中H通道的植株色彩范围值外的V通道值设为0；将处理后的图像通过hsv2rgb转化为RGB色彩空间模式；

边缘识别切割：将HSV颜色切割得到的RGB图像通过rgb2gray函数转化为灰度图像，通过edge函数canny算子对烤烟叶片边缘进行切割；通过strel和imdilate函数对图像进行膨胀操作，填补边缘缝隙；通过imfill函数对空隙填充后通过imerode函数利用菱形结构元素对图像进行平滑；而后通过medfilt2进行中值滤波；

面积筛选切割：将边缘识别切割得到的图像通过bwlabel函数寻找联通成份且用唯一数字标识；通过regionprops函数获取连通域的面积；通过find函数找到指定面积连通域的索引值，并通过ismember函数将这些连通域索引值所对应的区域保存为二值图；

叶形识别及切割：将面积筛选切割得到的二值图通过bwboundarie寻找边缘，通过regionprops及rectangle函数获取并画出连通域最小外接矩阵；通过cell2mat函数提取最小外接矩阵X、Y维度长度，算出最小外接矩阵长宽比、最小外接矩阵面积及连通域面积有效占比；将连通域长宽比及连通域面积有效占比与指定参数进行对比判断，识别出目标图像，将其他连通域面积清零；

目标图像识别：将识别出的目标图像与原始图像进行加法运算，并通过rectangle及循环plot函数画出连通域最小外接矩阵及边缘轮廓；

RGB色彩阈值切割及背景透明化处理：将叶形识别及切割所得图像二值图中黑色部分填充白色后形成背景蒙版；而后将原图作为底图，与背景蒙版进行图像加法运算，形成具有白色背景及目标图像彩色图像的JPG图片；而后通过RGB色彩阈值再次进行切割，去除阴影，并将白色背景透明度调整为0，得到透明背景的目标植株彩色图像PNG图片。

3.根据权利要求2所述的一种青菜智能识别及叶色环境变化预测的方法，其特征在于，采用MATLAB 2016R软件对彩色图像进行叶色信息提取和分析，包括如下步骤：

不同色彩通道色阶信息矩阵提取：通过imread函数读取切割后的彩色图像，分别通过image(:,:,1)、image(:,:,2)、image(:,:,3)、rgb2gray函数提取叶片彩色图像红色、绿色、蓝色和灰色四个色彩通道的像素色阶，并组成色阶矩阵，再通过double函数将色阶数组转化为双精度数组；运用全循环算法检索记录图像中非黑部分像素索引码，将其组合为新的色阶矩阵，该数组即为无软件特性干扰的叶片色阶信息矩阵；

不同色彩通道色阶均值提取：运用Mean函数分别获取红色、绿色、蓝色和灰色通道的色阶均值。