CN107133634B - 一种植株水分亏缺程度获取方法及装置 - Google Patents

一种植株水分亏缺程度获取方法及装置 Download PDF

Info

Publication number
CN107133634B
CN107133634B CN201710192659.5A CN201710192659A CN107133634B CN 107133634 B CN107133634 B CN 107133634B CN 201710192659 A CN201710192659 A CN 201710192659A CN 107133634 B CN107133634 B CN 107133634B
Authority
CN
China
Prior art keywords
image
gray
plant
leaf
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710192659.5A
Other languages
English (en)
Other versions
CN107133634A (zh
Inventor
王志彬
王开义
王书锋
刘忠强
潘守慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Research Center for Information Technology in Agriculture
Original Assignee
Beijing Research Center for Information Technology in Agriculture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Research Center for Information Technology in Agriculture filed Critical Beijing Research Center for Information Technology in Agriculture
Priority to CN201710192659.5A priority Critical patent/CN107133634B/zh
Publication of CN107133634A publication Critical patent/CN107133634A/zh
Application granted granted Critical
Publication of CN107133634B publication Critical patent/CN107133634B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种植株水分亏缺程度获取方法和装置，该方法包括：步骤1，获取叶片灰度图像；步骤2，基于所述灰度图像的矩形图像块，利用混合深度学习网络，获取植株水分亏缺程度。本发明实现了在不损坏植株叶片的前提下，快速、准确地获取植株水分亏缺程度，进而能够根据植株水分亏缺程度及时采取合适的精准灌溉措施，保证了植株的健康生长。对于作物而言，还能够进一步保证作物的产量和产物的品质。此外，通过将本发明应用于智能手机等移动终端，可对小面积植株现场进行水分亏缺程度的实时检测；通过将本发明应用于计算机，还可对视频监控内的大面积植株进行水分亏缺程度的实时检测。

Description

一种植株水分亏缺程度获取方法及装置
技术领域
本发明涉及数字图像处理技术领域，更具体地，涉及一种植株水分亏缺程度获取方法及装置。
背景技术
对于植株来说，水分亏缺是指水分散失超过水分吸收。植株存在水分亏缺问题时，会出现细胞组织含水量下降、膨压降低、正常代谢失调的现象。而这些现象会直接影响植株的生理生化过程和形态结构，进而影响植株的生长。对于作物而言，还会影响作物的产量和果实的品质，造成经济损失。
现有技术中，水分亏缺程度主要通过测量土壤水分、叶水势或叶片相对含水量等方法获取。其中，土壤水分的获取主要通过采用土壤水分测量仪插入土壤进行测量；叶水势和叶片相对含水量的获取通过选取叶片并进行实验获取数据，进而根据数据计算而得。
但是，土壤水分仅仅反映了植株的水分供应情况，并不能直接反映出植株水分亏缺程度；叶水势和叶片相对含水量等生理指标，虽能体现出植株水分亏缺程度，但在测量过程中对植株叶片具有破环性，且在实际应用中难以实时获得水分亏缺程度，不利于及时制定浇灌策略。
发明内容
本发明提供一种植株水分亏缺程度获取方法及装置以克服现有技术在植株水分亏缺程度的获取过程中，对植株叶片造成破环以及获取的水分亏缺程度准确性差、实时性差的问题。
根据本发明的一个方面，提供一种植株水分亏缺程度获取方法，包括：
步骤1，获取叶片灰度图像；
步骤2，基于所述叶片灰度图像的矩形图像块，利用混合深度学习网络，获取植株的水分亏缺程度。
根据本发明的另一个方面，提供一种植株水分亏缺程度获取装置，包括：叶片灰度图像获取模块和植株水分亏缺程度获取模块；
所述叶片灰度图像获取模块，用于获取叶片灰度图像；
所述植株水分亏缺程度获取模块，用于基于所述灰度图像的矩形图像块，利用混合深度学习网络，获取植株水分亏缺程度。
本发明提出的植株水分亏缺程度获取方法及装置，通过获取叶片灰度图像，基于所述叶片灰度图像的矩形图像块，利用混合深度学习网络，获取所述植株水分亏缺程度。由于采用了图像处理和模式识别技术对植株叶片的图像直接进行自动分析，本发明可以在不损坏植株叶片的前提下，快速、准确地获取植株水分亏缺程度。
进一步地，根据植株水分亏缺程度及时采取合适的精准灌溉措施，可以保证植株的健康生长。对于作物而言，还能够进一步保证作物的产量和产物的品质。此外，通过将本发明应用于智能手机等移动终端，可对小面积植株现场进行水分亏缺程度的实时检测；通过将本发明应用于计算机，还可对视频监控内的大面积植株进行水分亏缺程度的实时检测。
附图说明
图1为根据本发明实施例的一种植株水分亏缺程度获取方法流程图；
图2为根据本发明实施例的一种植株水分亏缺程度获取方法流程图；
图3为根据本发明实施例的一种植株水分亏缺程度获取装置示意图；
图4为根据本发明实施例的六层混合深度学习网络结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
目前，植株水分亏缺程度主要通过测量土壤水分、叶水势或叶片相对含水量等方法获取。但土壤水分仅仅反映了植株的水分供应情况，并不能直接反映出植株水分亏缺程度；叶水势和叶片相对含水量等生理指标，虽能体现出植株水分亏缺程度，但在测量过程中对植株叶片具有破环性，且在实际应用中难以实时获得水分亏缺程度，不利于及时制定浇灌策略。
针对上述问题，根据本发明的一个方面，本发明实施例提供一种植株水分亏缺程度获取方法。参见图1，该方法包括：步骤1，获取叶片灰度图像；步骤2，基于所述叶片灰度图像的矩形图像块，利用混合深度学习网络，获取植株水分亏缺程度。
本发明实施例提出的方法，通过获取叶片灰度图像，基于所述叶片灰度图像的矩形图像块，利用混合深度学习网络，获取所述植株水分亏缺程度。由于采用了图像处理和模式识别技术对植株叶片的图像直接进行自动分析，本发明可以在不损坏植株叶片的前提下，快速、准确地获取植株水分亏缺程度。
作为一种可选实施例，所述获取叶片灰度图像进一步包括：基于包含植株叶片的彩色图像，获取灰度图像；对所述灰度图像进行轮廓检测，获取叶片灰度图像。
作为一种可选实施例，所述基于包含植株叶片的彩色图像，获取灰度图像进一步包括：利用插值方法对所述包含植株叶片的彩色图像进行归一化处理；基于所述归一化后的彩色图像在红、绿、蓝三个颜色通道上子图像，获取灰度图像。
作为一种可选实施例，所述对所述灰度图像进行轮廓检测，获取叶片灰度图像进一步包括：基于所述灰度图像，获取边缘图像；基于所述灰度图像和所述边缘图像，获取叶片前景灰度图像；基于所述叶片前景灰度图像，获取所述叶片灰度图像。
作为一种可选实施例，所述基于所述灰度图像，获取边缘图像进一步包括：利用八方向Sobel模板和四方向Sobel模板，分别对所述灰度图像进行边缘提取；基于所述边缘提取得到的图像，获取边缘图像。
作为一种可选实施例，所述基于所述叶片前景灰度图像，获取所述叶片灰度图像进一步包括：对所述叶片前景灰度图像进行阈值化处理；基于阈值化后的所述叶片前景灰度图像，采用水平集算法，获取叶片边缘包含的像素点在所述叶片前景灰度图像中的位置；基于所述叶片边缘包含的像素点在所述叶片前景灰度图像中的位置，从所述灰度图像中提取所述叶片灰度图像。
作为一种可选实施例，在所述基于所述灰度图像的矩形图像块，利用混合深度学习网络，获取植株的水分亏缺程度之前还包括：由深度信念网络(DBN)与深度玻尔兹曼机(DBM)结合构建所述混合深度学习网络；基于训练样本图像块，依次采用无监督的预训练和有监督的微调，所述混合深度学习网络进行训练。
作为一种可选实施例，所述基于训练样本图像块，依次采用无监督的预训练和有监督的微调，所述混合深度学习网络进行训练进一步包括：建立预设数目的训练样本图像块；其中，所述训练样本图像块标注有水分亏缺程度；将所述训练样本图像块的灰度特征值直接输入DBM中，对灰度特征值进行训练、降维；将训练、降维后的灰度特征值输入到DBN中进行更深度特征的提取与训练，得到性能更好的权值；将得到的性能更好的权值作为初始权值，根据所述初始权值从六层到第一层，利用反向传播网络，依次对所述混合深度学习网络进行微调。
作为一种可选实施例，所述基于所述灰度图像的矩形图像块，利用混合深度学习网络，获取植株的水分亏缺程度进一步包括：基于所述灰度图像的矩形图像块，采用已训练好的、由深度信念网络(DBN)与深度玻尔兹曼机(DBM)结合构建所得的混合深度学习网络，获取所述叶片的水分亏缺程度；基于所述植株不同叶片的水分亏缺程度，获取所述植株水分亏缺程度。
上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。
基于上述图1对应实施例提供的方法，本发明实施例提供了一种植株水分亏缺程度获取方法。参见图2，该方法包括：101，获取包含植物叶片的彩色图像；102，基于所述包含植株叶片的彩色图像，获取灰度图像；103，对所述灰度图像进行轮廓检测，获取叶片灰度图像；104，基于所述叶片灰度图像的矩形图像块，利用混合深度学习网络，获取所述植株的水分亏缺程度。
其中，101，获取包含植物叶片的彩色图像。
在本步骤中，对于待获取水分亏缺程度的植株，为了保证其水分亏缺程度的准确性，可以获取其不同高度和不同方向上的不同叶片各自对应的一幅彩色图像。其中，一幅彩色图像中包括一片叶片。对于这些彩色图像中任意一张彩色图像包含的叶片，本实施例对该叶片在植株上的位置不做具体限制，包含但不限于：植株叶片覆盖范围内，顶部、中部和底部三个高度和前、后、左、右四个方向构成的十二处位置处的叶片。对于彩色图像的获取方式，本实施例在此也不做限定，包括但不限于：通过手机、平板电脑、相机等图像拍摄功能获取，或者通过监控系统、DV、手机、平板电脑的视频拍摄功能拍摄的视频获取。获取的彩色图像数目可以根据实际情况决定，在此不做限定。假设获取的彩色图像数目为N。
其中，102，基于所述包含植株叶片的彩色图像，获取灰度图像。
当步骤1中获取的包含植株叶片的彩色图像数目N较大时，对应的数据量也较大，不利于后续快速处理。因此，需将包含植株叶片的彩色图像转换成灰度图像以加快后续处理速度。此外，由于获取的包含植株叶片的彩色图像可能来源于不同的拍摄设备，其尺寸大小各异，为了保证后续处理图像的方法的通用性，需对包含植物叶片的彩色图像进行归一化处理已调整图像的尺寸。本实施例对彩色图像进行归一化和灰度化的顺序与方式在此不做限定，包含但不限于：利用插值方法对所述包含植株叶片的彩色图像进行归一化处理；基于所述归一化后的彩色图像在红、绿、蓝三个颜色通道上子图像，获取灰度图像。
对步骤1中获取的N幅包含植株叶片的彩色图像中的每一幅彩色图像，利用插值方法进行归一化处理时，可处理为L*H大小的彩色图像。其中，L、H分别为放缩后图像的宽度和高度，单位为像素。L和H的值在此不做限定，可根据实际应用情况设定，例如：包含植株叶片的彩色图像大小为4160×3120，利用插值方法进行归一化处理时，可处理为4000×3000大小的彩色图像，其中，L＝4000，H＝3000。本实施例对插值方法在此也不做限定，包含但不限于：双线性插值、最接近原则插值、双三次插值或者不规则碎片形插值。
将N幅归一化处理后的彩色图像中的每一幅彩色图像转换成灰度图像时，本实施例对基于所述归一化后的彩色图像在红、绿、蓝三个颜色通道上子图像，获取灰度图像的方式在此也不做限定，包含但不限于：
Figure BDA0001256577170000071
其中，Ig(x,y)为绿色通道上子图像中(x,y)处像素点的像素值，Ir(x,y)为红色通道上子图像中(x,y)处像素点的像素值，Ib(x,y)为蓝色通道上子图像中(x,y)处像素点的像素值，θ1为绿色通道上子图像像素值与红色通道上子图像像素值间的阈值，θ2为绿色通道上子图像像素值与蓝色通道上子图像像素值间的阈值，I1(x,y)为灰度图像中(x,y)处像素点的像素值。
此外，θ1和θ2取值可根据经验在区间(0,20]内进行设定，其中，在中具体设定阈值θ1＝10，θ2＝15。θ1和θ2取值还可以根据叶片中绿色的像素值范围进行设定。具体设定方法包括：
(a)采集n(n＞50)幅包含植株叶片的彩色图像建立叶片样本库；
(b)选择叶片样本库中任意一幅不重复的彩色图像，获取该彩色图像的红色、绿色、蓝色三个颜色通道上的子图像；
(c)选择该彩色图像中任意不重复的10处叶片区域，计算该叶片区域绿色与红色通道上的像素值绝对值的平均值
Figure BDA0001256577170000072
绿色与蓝色通道上的像素的绝对值的平均值
Figure BDA0001256577170000073
(d)重复步骤(b)～(c),将n幅图像的
Figure BDA0001256577170000074
的平均均值记为θ1，n幅图像的
Figure BDA0001256577170000075
的平均均值记为θ2；
由此，便得到了N幅灰度图像。
其中，103，对所述灰度图像进行轮廓检测，获取叶片灰度图像。
由于步骤102中获取的灰度图像中还包含除了叶片以外的对象，如:植株的枝干、花朵以及背景。这些对象会对植株水分亏缺程度的准确度造成影响。因此，为了保证后续获取的植株水分亏缺程度的准确度，需对N幅灰度图像中的每一幅灰度图像进行轮廓检测以获取仅包含叶片的叶片灰度图像。本实施例对轮廓检测的方式在此不做限定，包含但不限于：基于所述灰度图像，获取边缘图像；基于所述灰度图像和所述边缘图像，获取叶片前景灰度图像；基于所述叶片前景灰度图像，获取所述叶片灰度图像。
进一步地，本实施例对基于所述灰度图像，获取边缘图像的方式在此不做限定，包含但不限于：利用八方向Sobel模板和四方向Sobel模板，分别对所述灰度图像进行边缘提取；基于所述边缘提取得到的图像，获取边缘图像。本实施例对进行边缘提取所采用的八方向Sobel模板和四方向Sobel模板不做限定，包含但不限于：所述八方向分别为0°，22.5°，45°，67.5°，90°，112.5°，135°，157.5°，模板向量依次为：[0,-1,-2,-1,0；-1,-2,-4,-2,-1；0,0,0,0,0；1,2,4,2,1；0,1,2,1,0]；[0,-2,-1,0,0；-1,-2,-1,-2,0；-1,-2,0,2,1；0,1,2,4,1；0,0,1,2,0]；[-1,-2,-2,1,1；-1,-2,-2,0,0；1,4,0,2,1；0,0,2,4,1；0,0,1,1,2]；[0,-1,-1,0,0；-2,-4,-2,1,0；-1,-2,0,2,1；0,-1,2,4,2；0,0,1,1,0]；[0,-1,0,1,0；-1,-2,0,2,1；-1,-4,0,2,2；-1,-2,0,2,1；0,-1,1,1,0]；[1,1,2,1,0；0,-1,2,1,4；-1,-2,1,2,1；-2,-4,-2,1,0；0,-1,2,0,0]；[0,0,1,1,2；0,0,2,4,1；-1,-2,0,2,1；-1,-4,-2,0,0；-2,1,-1,0,0]；[2,2,1,1,0；0,1,2,4,1；-2,-1,0,2,1；-4,-1,-2,-2,0；0,-2,-2,-1,0]；所述的4方向分别为0°，45°，90°，135°,模板向量依次为：[0,-1,-2,-1,0；-1,-2,-4,-2,-1；0,0,0,0,0；1,2,4,2,1；0,1,2,1,0]；[-1,-2,-2,1,1；-1,-2,-2,0,0；1,4,0,2,1；0,0,2,4,1；0,0,1,1,2]；[0,-1,0,1,0；-1,-2,0,2,1；-1,-4,0,2,2；-1,-2,0,2,1；0,-1,1,1,0]；[0,0,1,1,2；0,0,2,4,1；-1,-2,0,2,1；-1,-4,-2,0,0；-2,1,-1,0,0]。
对于步骤102中获取的N幅灰度图像中每一幅灰度图像，在获取灰度图像的边缘图像时，本实施例采用八方向Sobel模板对灰度图像进行提取，得到八方向边缘图像；采用四方向Sobel模板对灰度图像进行提取，得到四方向边缘图像；将八方向边缘图像与四方向边缘图像对应位置处像素点的像素值相减，并将相减都的结果取绝对值，得到边缘图像。获取边缘图像之后，在灰度图像中，将边缘图像内的前景图像设置为背景图像，具体方式包含但不限于：将与边缘图像内像素值为1的像素点对应的像素点的像素值置换为0，完成置换后的灰度图像即为叶片前景灰度图像。由此，便得到了N幅叶片前景灰度图像。
为了保证用于获取植株水分亏缺程度尽可能准确，需根据获取的叶片前景灰度图像，获取图像内容仅为叶片的叶片灰度图像。本实施例对基于叶片前景灰度图像，获取所述叶片灰度图像的方式在此不做限定，包含但不限于：对所述叶片前景灰度图像进行阈值化处理；基于阈值化后的所述叶片前景灰度图像，采用水平集算法，获取叶片边缘包含的像素点在所述叶片前景灰度图像中的位置；基于所述叶片边缘包含的像素点在所述叶片前景灰度图像中的位置，从所述灰度图像中提取所述叶片灰度图像。进一步，本实施例对具体采用的阈值化方法在此不做限定，包含但不限于：自适应阈值化。本实施例对于具体采用的水平集算法在此也不做限定，包含但不限于：距离规则水平集演化(Distance RegularizedLevel Set Evolution,DRLSE)算法。
在对叶片前景灰度图像进行阈值化并采用水平集算法后，便可获取叶片边缘包含的像素点在所述叶片前景灰度图像中的位置。将所述灰度图像中与这些位置对应位置围成区域内的像素点按原有位置关系提取出来，便可得到叶片灰度图像。由此，便根据N幅叶片前景灰度图像，得到了N幅叶片灰度图像。
其中，104，基于所述叶片灰度图像的矩形图像块，利用混合深度学习网络，获取所述植株的水分亏缺程度。
在基于所述灰度图像的矩形图像块，利用混合深度学习网络，获取植株的水分亏缺程度之前还包括：由深度信念网络(DBN)与深度玻尔兹曼机(DBM)结合构建所述混合深度学习网络；基于训练样本图像块，依次采用无监督的预训练和有监督的微调，对所述混合深度学习网络进行训练。
本实施例对由DBN与DBM结合构建所得的混合深度学习网络的具体结构在此不做限定，包含但不限于：由输入层、两层DBM、两层DBN以及输出层构成的六层混合深度学习网络。如图4所示，图4为根据本发明实施例的六层混合深度学习网络的结构示意图。其中，输入层的输入为定维度向量；第二层h1为由DBM组成的无向图全连接；第三层h2为由DBM组成的无向图全连接；第四层h3为由DBN组成的有向图连接；第五层h4为由DBN组成的有向图连接；第六层为预测层，通过逻辑斯特回归输出预测结果；上述各层间通过权值向量w1、w2、w3、w4、wclass进行连接。为了更准确地获取植株水分亏缺程度，可以构建更多层的DBM和DBN，即DBM的层数和DBN的层数可以根据实际需要选取。
对于构建好的混合深度学习网络，为了提高获取的植株水分亏缺程度，需对混合深度学习网络进行训练。本实施例对基于训练样本图像块，依次采用无监督的预训练和有监督的微调，对所述混合深度学习网络进行训练的具体过程为：建立预设数目的训练样本图像块；其中，所述训练样本图像块标注有水分亏缺程度；将所述训练样本图像块的灰度特征值直接输入DBM中，对灰度特征值进行训练、降维；将训练、降维后的灰度特征值输入到DBN中进行更深度特征的提取与训练，得到性能更好的权值；将得到的性能更好的权值作为初始权值，根据所述初始权值从六层到第一层，利用反向传播网络，依次对所述混合深度学习网络进行微调。本实施例对反向传播网络在此不做限定，包括但不限于：contrastivewake-sleep。
其中，预设数目以及训练样本图像块大小可以根据具体需要设置。例如，建立总数为num的大小为M*N的训练样本图像块。其中，num＞10000，num的值越大，混合深度学习网络学习效果越好。训练样本图像块大小一致。大小为M*N的训练样本图像块，通过截取其对应的叶片灰度图像而得。其叶片灰度图像的获取过程与步骤101至步骤103所述的叶片灰度图像获取过程相同。由于获取的叶片灰度图像为叶片形状的图像，为了便于后续对图像块对应矩阵进行分析，此处截取叶片灰度图像以得到矩形图像块。本实施例对矩形图像块的截取方式在此不做限定，包含但不限于：以叶片灰度图像的中心为矩形的中心点，提取该叶片灰度图像中大小为M*N的矩形图像块。其中，M、N的大小可根据叶片的大小进行设定，如M＝200，N＝200。每个训练样本图像块均已标注水分亏缺程度。对于水分亏缺程度，该程度可以根据具体需要设置。本实施例对该程度的设置方式在此不做限定，包括但不限于：正常、轻度缺水、中度缺水和重度缺水。
在获取已训练好的、由DBN与DBM结合构建所得的混合深度学习网络之后，基于与截取叶片灰度图像获取训练样本图像块同样的截取方式，对于步骤103中获取的N幅叶片灰度图像中的任意一幅叶片灰度图像进行截取，获取矩形图像块。之后，采用已训练好的、由DBN与DBM结合构建所得的混合深度学习网络，对矩形图像块进行分析，获取矩形图像块对应叶片的水分亏缺程度。步骤103中获取的N幅叶片灰度图像对应N个矩形图像块，N个矩形图像块可分别获取对应的N片叶片的水分亏缺程度。基于N片叶片的水分亏缺程度，获取所述植株的水分亏缺程度。本实施例对基于N片叶片的水分亏缺程度，获取所述植株的水分亏缺程度的方式在此不做限定。例如：可以为投票法，即将获取的叶片水分亏缺程度中出现次数最多的程度作为该植株的水分亏缺程度；还可以根据应用的需要，将获取的叶片水分亏缺程度中最高程度作为该植株水分亏缺程度。
根据本发明的另一个方面，提供一种植株水分亏缺程度获取装置。参见图3，该装置包括：叶片灰度图像获取模块和植株水分亏缺程度获取模块；所述叶片灰度图像获取模块，用于获取叶片灰度图像；所述植株水分亏缺程度获取模块，用于基于所述灰度图像的矩形图像块，利用混合深度学习网络，获取所述植株叶片的水分亏缺程度。
本发明提出的植株水分亏缺程度获取装置，通过叶片灰度图像获取模块，获取叶片灰度图像，通过植株水分亏缺程度获取模块，基于所述叶片灰度图像的矩形图像块，利用混合深度学习网络，获取所述植株水分亏缺程度。由于采用了图像处理和模式识别技术对植株叶片的图像直接进行自动分析，本发明可以在不损坏植株叶片的前提下，快速、准确地获取植株水分亏缺程度。
进一步地，根据植株水分亏缺程度及时采取合适的精准灌溉措施，可以保证植株的健康生长。对于作物而言，还能够进一步保证作物的产量和产物的品质。此外，通过将本发明应用于智能手机等移动终端，可对小面积植株现场进行水分亏缺程度的实时检测；通过将本发明应用于计算机，还可对视频监控内的大面积植株进行水分亏缺程度的实时检测。
作为一种可选实施例，所述叶片灰度图像获取模块包括：灰度图像获取单元和轮廓检测单元；所述灰度图像获取单元，用于基于包含植株叶片的彩色图像，获取灰度图像；所述轮廓检测单元，用于对所述灰度图像进行轮廓检测，获取叶片灰度图像。
作为一种可选实施例，所述灰度图像获取单元具体用于利用插值方法对所述包含植株叶片的彩色图像进行归一化处理；所述灰度图像获取单元具体还用于基于所述归一化后的彩色图像在红、绿、蓝三个颜色通道上子图像，获取灰度图像。
作为一种可选实施例，所述轮廓检测单元具体用于基于所述灰度图像，获取边缘图像；所述轮廓检测单元具体还用于基于所述灰度图像和所述边缘图像，获取叶片前景灰度图像；所述轮廓检测单元具体还用于基于所述叶片前景灰度图像，获取所述叶片灰度图像。
作为一种可选实施例，所述轮廓检测单元进一步具体用于利用八方向Sobel模板和四方向Sobel模板，分别对所述灰度图像进行边缘提取；所述轮廓检测单元进一步具体还用于基于所述边缘提取得到的图像，获取边缘图像。
作为一种可选实施例，所述轮廓检测单元具体用于对所述叶片前景灰度图像进行阈值化处理；所述轮廓检测单元具体还用于基于阈值化后的所述叶片前景灰度图像，采用水平集算法，获取叶片边缘包含的像素点在所述叶片前景灰度图像中的位置；所述轮廓检测单元具体还用于基于所述叶片边缘包含的像素点在所述叶片前景灰度图像中的位置，从所述灰度图像中提取所述叶片灰度图像。
作为一种可选实施例，所述轮廓检测单元进一步具体用于基于所述灰度图像的矩形图像块，采用由深度信念网络(DBN)与深度玻尔兹曼机(DBM)结合构建所得的混合深度学习网络，获取所述叶片的水分亏缺程度；所述轮廓检测单元进一步具体还用于基于所述植株不同叶片的水分亏缺程度，获取所述植株水分亏缺程度。
作为一种可选实施例，所述装置还包括：训练模块，用于建立预设数目的所述第二预设大小的训练样本图像块；其中，所述训练样本图像块标注有水分亏缺等级；所述训练模块，还用于将所述训练样本图像块的灰度特征值输入所述输入层，进行无监督的网络预训练；所述训练模块，还用于利用反向传播网络从六层到第一层依次进行有监督的微调。
最后，本发明的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种植株水分亏缺程度获取方法，其特征在于，包括：
步骤S1、利用图像采集设备获取包含植株叶片的彩色图像，利用插值方法对所述包含植株叶片的彩色图像进行归一化处理，将所述包含植株叶片的彩色图像处理为L*H大小的彩色图像；其中，L、H分别为放缩后图像的宽度和高度，单位为像素；
所述插值方法包括：双线性插值、最接近原则插值、双三次插值或者不规则碎片形插值；
步骤S2、基于所述L*H大小的彩色图像在红、绿、蓝三个颜色通道上子图像，获取灰度图像，包括：
提取所述L*H大小的彩色图像中的红色、绿色、蓝色三个颜色通道上的子图像Ir,Ig,Ib，并根据θ1和θ2，对所述绿色子图像Ig进行阈值化，获取所述灰度图像，具体为：
Figure FDA0002258870940000011
其中，Ig(x,y)为绿色通道上子图像中(x,y)处像素点的像素值，Ir(x,y)为红色通道上子图像中(x,y)处像素点的像素值，Ib(x,y)为蓝色通道上子图像中(x,y)处像素点的像素值，θ1为绿色通道上子图像像素值与红色通道上子图像像素值间的阈值，θ2为绿色通道上子图像像素值与蓝色通道上子图像像素值间的阈值，I1(x,y)为灰度图像中(x,y)处像素点的像素值；
其中，所述θ1和θ2的取值可在区间(0,20]内进行设定，或根据叶片中绿色的像素值范围进行设定，设定方法包括：
S2-1：采集n幅包含植株叶片的彩色图像建立叶片样本库,n＞50，
S2-2：选择叶片库中任一不重复的彩色图像，并获取所述彩色图像的红色、绿色、蓝色三个颜色通道上的子图像，
S2-3：选择所述彩色图像上10处不重复的叶片区域，并计算每个所述叶片区域绿色与红色通道上的像素值绝对值的平均值
Figure FDA0002258870940000021
以及绿色与蓝色通道上的像素的绝对值的平均值
Figure FDA0002258870940000022
S2-4：重复S2-1至S2-3，计算n幅图像的
Figure FDA0002258870940000023
的平均值即为θ1；n幅图像的
Figure FDA0002258870940000024
的平均值即为θ2；
步骤S3：基于所述灰度图像，获取边缘图像，包括：
S3-1：利用八方向Sobel模板对每个所述灰度图像进行边缘提取，获取八方向边缘图像，
S3-2：利用四方向Sobel模板，对所述灰度图像进行边缘提取，获取四方向边缘图像，
S3-3：将所述八方向边缘图像与所述四方向边缘图像对应位置处的像素点的像素值进行相减后取绝对值，获取所述边缘图像，
其中，所述八方向分别为0°，22.5°，45°，67.5°，90°，112.5°，135°，157.5°，模板向量依次为：[0,-1,-2,-1,0；-1,-2,-4,-2,-1；0,0,0,0,0；1,2,4,2,1；0,1,2,1,0]；[0,-2,-1,0,0；-1,-2,-1,-2,0；-1,-2,0,2,1；0,1,2,4,1；0,0,1,2,0]；[-1,-2,-2,1,1；-1,-2,-2,0,0；1,4,0,2,1；0,0,2,4,1；0,0,1,1,2]；[0,-1,-1,0,0；-2,-4,-2,1,0；-1,-2,0,2,1；0,-1,2,4,2；0,0,1,1,0]；[0,-1,0,1,0；-1,-2,0,2,1；-1,-4,0,2,2；-1,-2,0,2,1；0,-1,1,1,0]；[1,1,2,1,0；0,-1,2,1,4；-1,-2,1,2,1；-2,-4,-2,1,0；0,-1,2,0,0]；[0,0,1,1,2；0,0,2,4,1；-1,-2,0,2,1；-1,-4,-2,0,0；-2,1,-1,0,0]；[2,2,1,1,0；0,1,2,4,1；-2,-1,0,2,1；-4,-1,-2,-2,0；0,-2,-2,-1,0]；
其中，所述的四方向分别为0°，45°，90°，135°,模板向量依次为：[0,-1,-2,-1,0；-1,-2,-4,-2,-1；0,0,0,0,0；1,2,4,2,1；0,1,2,1,0]；[-1,-2,-2,1,1；-1,-2,-2,0,0；1,4,0,2,1；0,0,2,4,1；0,0,1,1,2]；[0,-1,0,1,0；-1,-2,0,2,1；-1,-4,0,2,2；-1,-2,0,2,1；0,-1,1,1,0]；[0,0,1,1,2；0,0,2,4,1；-1,-2,0,2,1；-1,-4,-2,0,0；-2,1,-1,0,0]；
步骤S4：基于所述灰度图像，获取叶片前景灰度图像，包括：在所述灰度图像中，将所述边缘图像内的前景图像设置为背景图像，包括：将与所述边缘图像内像素值为1的像素点对应的像素点的像素值置换为0，获取所述叶片前景灰度图像；
步骤S5：基于所述叶片前景灰度图像，获取叶片灰度图像，包括：
S5-1：对所述叶片前景灰度图像进行阈值化处理，
S5-2：基于阈值化后的所述叶片前景灰度图像，采用水平集算法，获取叶片边缘包含的像素点在所述叶片前景灰度图像中的位置；
其中，所述的阈值化方法为自适应阈值化方法，水平集方法为距离规则水平集演化算法；
S5-3：基于所述叶片边缘包含的像素点在所述叶片前景灰度图像中的位置，从所述灰度图像中提取所述叶片灰度图像；
步骤S6：基于所述叶片灰度图像提取所述叶片灰度图像的矩形图像块，包括：
以所述叶片灰度图像的中心为矩形的中心点，提取所述叶片灰度图像中大小为M*N的矩形图像块，其中M、N的取值根据所述叶片灰度图像的大小确定；
步骤S7：基于所述叶片灰度图像的矩形图像块，利用已训练好的混合深度学习网络，获取植株水分亏缺程度，
其中，所述混合深度学习网络由深度信念网络DBN与深度玻尔兹曼机DBM结合，包括：输入层、两层深度玻尔兹曼机DBM、两层深度信念网络DBN以及输出层构成的六层混合深度学习网络，
其中，输入层的输入为定维度向量，第二层h1为由深度玻尔兹曼机DBM组成的无向图全连接，第三层h2为由深度玻尔兹曼机DBM组成的无向图全连接，第四层h3为由深度信念网络DBN组成的有向图连接，第五层h4为由深度信念网络DBN组成的有向图连接，第六层为预测层，通过逻辑斯特回归输出预测结果，上述各层间通过权值向量w1、w2、w3、w4、wclass进行连接；
其中，所述植株水分亏缺程度设定为4种状态：正常、轻度缺水、中度缺水和重度缺水，所述混合深度学习网络获取的植株水分亏缺程度为其中的一种；
其中，基于所述植株多个不同叶片的水分亏缺程度，获取所述植株的水分亏缺程度，包括采用投票法；所述投票法具体为：将获取的所述叶片水分亏缺程度中出现次数最多的程度作为所述植株的水分亏缺程度，或将获取的所述叶片水分亏缺程度中最高程度作为所述植株的水分亏缺程度。
2.根据权利要求1所述的植株水分亏缺程度获取方法，其特征在于，所述的混合深度学习网络训练方法，包括：基于训练样本图像块，依次采用无监督的预训练和有监督的微调，对所述混合深度学习网络进行训练，具体为：
步骤T1：建立预设数目的训练样本图像块，其中，所述训练样本图像块标注有水分亏缺程度，所述训练样本的数目大于10000个；
步骤T2：将所述训练样本图像块的灰度特征值直接输入至深度玻尔兹曼机DBM中，对所述灰度特征值进行训练、降维；
将训练、降维后的灰度特征值输入到深度信念网络DBN中进行更深度特征的提取与训练，得到性能更好的权值；
步骤T3：将获取的所述性能更好的权值作为初始权值，根据所述初始权值从六层到第一层，利用反向传播网络，依次对所述混合深度学习网络进行微调；
其中，所述反向传播网络为contrastive wake-sleep。
3.一种植株水分亏缺程度获取装置，其特征在于，包括：叶片灰度图像获取模块和植株水分亏缺程度获取模块；
所述叶片灰度图像获取模块，用于获取目标叶片灰度图像；
所述植株水分亏缺程度获取模块，用于基于所述灰度图像的矩形图像块，利用权利要求1-2任一所述的植株水分亏缺程度获取方法中的记载的混合深度学习网络，获取植株水分亏缺程度。
CN201710192659.5A 2017-03-28 2017-03-28 一种植株水分亏缺程度获取方法及装置 Active CN107133634B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710192659.5A CN107133634B (zh) 2017-03-28 2017-03-28 一种植株水分亏缺程度获取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710192659.5A CN107133634B (zh) 2017-03-28 2017-03-28 一种植株水分亏缺程度获取方法及装置

Publications (2)

Publication Number Publication Date
CN107133634A CN107133634A (zh) 2017-09-05
CN107133634B true CN107133634B (zh) 2020-04-10

Family

ID=59721461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710192659.5A Active CN107133634B (zh) 2017-03-28 2017-03-28 一种植株水分亏缺程度获取方法及装置

Country Status (1)

Country Link
CN (1) CN107133634B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109596811B (zh) * 2018-12-26 2020-04-24 武汉大学 一种基于土壤水分亏缺的农业干旱监测方法
CN110887761A (zh) * 2019-12-07 2020-03-17 宁夏大学 一种表层土壤含水量测定方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102495005A (zh) * 2011-11-17 2012-06-13 江苏大学 高光谱图像技术诊断作物水分亏缺的方法
CN102524024A (zh) * 2012-02-16 2012-07-04 四川农业大学 基于计算机视觉的作物灌溉系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102495005A (zh) * 2011-11-17 2012-06-13 江苏大学 高光谱图像技术诊断作物水分亏缺的方法
CN102524024A (zh) * 2012-02-16 2012-07-04 四川农业大学 基于计算机视觉的作物灌溉系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
基于图像处理的黄瓜叶片含水量无损检测研究;孙瑞东 等;《农机化研究》;20080731(第7期);第87-89页 *
基于机器视觉技术的鲜烟叶含水量模型研究;甘露萍;《中国优秀硕士学位论文全文数据库信息科技辑》;20091015(第10期);摘要,第9-14,18-56,61-62页 *
基于计算机视觉的植物水分胁迫状况监测方法;彭文 等;《科学技术与工程》;20130331;第13卷(第9期);第2313-2317,2330页 *
水稻及玉米植株含水率的可见光图像检测;戴之祥;《中国优秀硕士学位论文全文数据库农业科技辑》;20071015(第04期);第12-26页 *
油井地热开发的数值模拟与回归预测研究;董华松;《中国博士学位论文全文数据库工程科技Ⅰ辑》;20140815(第08期);B019-2 *
甘露萍.基于机器视觉技术的鲜烟叶含水量模型研究.《中国优秀硕士学位论文全文数据库信息科技辑》.2009,(第10期), *

Also Published As

Publication number Publication date
CN107133634A (zh) 2017-09-05

Similar Documents

Publication Publication Date Title
CN104050471B (zh) 一种自然场景文字检测方法及系统
CN111640101B (zh) 基于Ghost卷积特征融合神经网络实时车流量检测系统及方法
CN103745468B (zh) 一种基于图结构和边界先验的显著性物体检测方法
CN108416266A (zh) 一种利用光流提取运动目标的视频行为快速识别方法
CN110175506B (zh) 基于并行降维卷积神经网络的行人重识别方法及装置
Xu et al. Overcoming small minirhizotron datasets using transfer learning
CN114359727B (zh) 基于轻量级优化Yolo v4的茶叶病害识别方法及系统
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
CN114943876A (zh) 一种多级语义融合的云和云影检测方法、设备及存储介质
CN111241924B (zh) 基于尺度估计的人脸检测及对齐方法、装置、存储介质
CN111178177A (zh) 一种基于卷积神经网络的黄瓜病害识别方法
CN104021567B (zh) 基于首数字定律的图像高斯模糊篡改检测方法
Ma et al. Towards improved accuracy of UAV-based wheat ears counting: A transfer learning method of the ground-based fully convolutional network
CN106682639A (zh) 一种基于视频监测的作物叶部异常图像提取方法
CN111709914A (zh) 一种基于hvs特性的无参考图像质量评价方法
CN112883915A (zh) 一种基于迁移学习的麦穗自动识别方法和系统
CN107133634B (zh) 一种植株水分亏缺程度获取方法及装置
Yu et al. Segmentation and density statistics of mariculture cages from remote sensing images using mask R-CNN
CN115035567A (zh) 模型训练、残缺人脸图像识别和重建方法、设备及介质
CN114898359B (zh) 一种基于改进EfficientDet的荔枝病虫害检测方法
CN112861666A (zh) 一种基于深度学习的鸡群计数方法及应用
CN111680577A (zh) 人脸检测方法和装置
CN115393928A (zh) 基于深度可分离卷积与加性角度间隔损失的人脸识别方法及装置
CN118053154A (zh) 平菇生长监测方法、装置、电子设备及存储介质
CN111127407A (zh) 一种基于傅里叶变换的风格迁移伪造图像检测装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant