CN117152620A - 一种跟随植物状态变化的植物生长控制方法及系统 - Google Patents

一种跟随植物状态变化的植物生长控制方法及系统 Download PDF

Info

Publication number
CN117152620A
CN117152620A CN202311412626.9A CN202311412626A CN117152620A CN 117152620 A CN117152620 A CN 117152620A CN 202311412626 A CN202311412626 A CN 202311412626A CN 117152620 A CN117152620 A CN 117152620A
Authority
CN
China
Prior art keywords
feature map
feature
plant
plant growth
gray level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311412626.9A
Other languages
English (en)
Other versions
CN117152620B (zh
Inventor
袁立平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Ledun Photoelectric Technology Co ltd
Original Assignee
Jiangxi Ledun Photoelectric Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Ledun Photoelectric Technology Co ltd filed Critical Jiangxi Ledun Photoelectric Technology Co ltd
Priority to CN202311412626.9A priority Critical patent/CN117152620B/zh
Publication of CN117152620A publication Critical patent/CN117152620A/zh
Application granted granted Critical
Publication of CN117152620B publication Critical patent/CN117152620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00—Botany in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/11—Technique with transformation invariance effect

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Botany (AREA)
  • Ecology (AREA)
  • Forests & Forestry (AREA)
  • Environmental Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及机器视觉领域，更具体的说，它涉及一种跟随植物状态变化的植物生长控制方法及系统。一种跟随植物状态变化的植物生长控制系统，包括：植物图像获取模块、植物生长阶段检测模型管理模块、植物生长阶段检测模块、控制策略库、控制策略获取模块和环境调整模块。本发明通过对植物图像进行识别，自动选择植物生长阶段对应的控制策略，从而自动对植物生长环境进行调整，无需人们进行操作，方便快捷；并且能够识别植物是否发生病变，从而能够对植物进行处理。

Description

一种跟随植物状态变化的植物生长控制方法及系统
技术领域
本发明涉及机器视觉领域，更具体的说，它涉及一种跟随植物状态变化的植物生长控制方法及系统。
背景技术
在采用市场上提供的室内植物种植箱进行居家种植时，依然需要耗费大量时间和精力来保持植物的生长状态，包括定期浇水、施肥以及提供足够的光照等任务，这些任务将花费大量时间，因此，亟待提供一种跟随植物状态变化的植物生长控制方法及系统来解决这个问题。
发明内容
本发明提供一种跟随植物状态变化的植物生长控制方法及系统，通过对植物图像进行识别，自动选择植物生长阶段对应的控制策略，从而自动对植物生长环境进行调整，无需人们进行操作，方便快捷；并且能够识别植物是否发生病变，从而能够对植物进行处理。
一种跟随植物状态变化的植物生长控制方法，包括：
获取植物图像；
将植物图像送入至训练好的植物生长阶段检测模型进行检测，输出植物生长阶段标识；
植物生长阶段检测模型基于YOLOv5模型建立，包括预处理部、特征提取部、特征融合部和分类部；其中预处理部用于对植物图像进行尺寸统一和构建灰度共生矩阵图；特征提取部用于对植物图像的特征进行提取；特征融合部用于对提取的特征进行融合；分类部用于对植物图像对应的植物生长阶段进行分类，输出植物生长阶段标识；
根据植物生长阶段标识从控制策略库中获取对应的控制策略，控制策略库中存储植物生长阶段标识与对应的控制策略，且控制策略库根据专家经验进行构建；
根据控制策略调整植物周围环境。
作为本发明的一个优选，植物生长阶段检测模型的预处理部包括尺寸统一层和灰度共生矩阵图构建层；通过灰度共生矩阵构建层对植物图像进行灰度共生矩阵图构建具体包括如下步骤：将植物图像中所有通道对应的植物图像切片进行平均池化操作，得到灰度共生矩阵基准图，遍历灰度共生矩阵基准图中每个像素点坐标对应的像素值，选择最大的像素值记为Gmax，选择最小的像素值记为Gmin，将Gmin至Gmax之间的范围划分为L个像素阶段；建立空的灰度共生矩阵，且此灰度共生矩阵的大小为L×L，选择朝向角度θ，依次选择坐标点（i，j），i和j都是指像素阶段，针对选择的坐标点（i，j），从灰度共生矩阵基准图中统计满足判断条件的像素点个数，判断条件为“f（x，y）位于像素阶段i范围内，且f（x+dx，y+dy）位于像素阶段j范围内”，其中f（x，y）指的是灰度共生矩阵基准图中像素点坐标（x，y）对应的像素值，（dx，dy）为距离对，由朝向角度θ决定，将像素点个数填入灰度共生矩阵中坐标点（i，j）对应位置中；当空的灰度共生矩阵全部填写完毕后，形成灰度共生矩阵，且一个朝向角度θ对应一个灰度共生矩阵；将所有灰度共生矩阵进行拼接生成灰度共生矩阵图。
作为本发明的一个优选，植物生长阶段检测模型的特征提取部包括focus层、第一特征提取层、第二特征提取层、第三特征提取层、第四特征提取层和四个灰度共生矩阵图构建层；focus层用于执行切片操作；第一特征提取层包括CBL块和CSP1.1块；第二特征提取层和第三特征提取层均包括CBL块和CSP1.3块；第四特征提取层包括CBL块和多特征融合块；其中CBL块依次包括卷积操作、批量标准化和非线性激活，且非线性激活函数采用Leaky-relu；特征提取部中的灰度共生矩阵图构建层与预处理部中的灰度共生矩阵图构建层设置一致，且四个灰度共生矩阵图构建层分别位于第一特征提取层、第二特征提取层、第三特征提取层和第四特征提取层之后；
通过特征提取部对植物图像的特征进行提取具体包括如下步骤：将植物图像送入至特征提取部，依次经过focus层、第一特征提取层、第二特征提取层、第三特征提取层和第四特征提取层进行处理，并将第二特征提取层、第三特征提取层和第四特征提取层输出的特征图分别记为第一特征图、第二特征图和第三特征图；同时通过四个灰度共生矩阵图构建层输出对应的四个灰度共生矩阵图。
作为本发明的一个优选，植物生长阶段检测模型的特征融合部包括3个尺度不变特征提取块、4个CBL块和4个CSP2.1块，通过特征融合部对提取的特征进行融合具体包括如下步骤：将第一特征图、第二特征图和第三特征图分别经过尺度不变特征提取块处理得到第四特征图、第五特征图和第六特征图，将第六特征图依次通过CBL块和CSP2.1块处理后，再上采样得到第七特征图；将第七特征图与第五特征图进行拼接融合得到第八特征图；将第八特征图依次通过CBL块和CSP2.1块处理后，再上采样得到第九特征图；将第九特征图与第四特征图进行拼接融合得到第十特征图；将第十特征图经过CSP2.1块处理得到第十一特征图；将第十一特征图通过CBL块处理后与第八特征图拼接融合得到第十二特征图；将第十二特征图经过CSP2.1块处理得到第十三特征图；将第十三特征图通过CBL块处理后与第七特征图拼接融合得到第十四特征图；将第十四特征图经过CSP2.1块处理得到第十五特征图。
作为本发明的一个优选，尺度不变特征提取块包括小波散射网络块和多特征融合块（SPP），小波散射网络块包括三个小波散射网络层，且三个小波散射网络层内置不同的小波散射网络参数{J，R，M}，其中J为小波散射网络层对应的最大小波变换散射尺度，其中R为小波散射网络层对应的旋转方向组合，R={R1，R2，R3···Rn···RN}，n∈{1，2，3······N}，Rn为旋转方向组合中的旋转方向，M为小波散射网络层对应的最大散射阶数，小波散射网络层用于提取尺度不变特征。
作为本发明的一个优选，将第一特征图、第二特征图和第三特征图分别经过尺度不变特征提取块处理得到第四特征图、第五特征图和第六特征图具体包括如下步骤：
将第一特征图记为输入特征图，执行步骤S1，将得到的特征图F10记为第一特征图对应的第四特征图；将第二特征图记为输入特征图，执行步骤S1，将得到的特征图F10记为第二特征图对应的第五特征图；同理，将第三特征图记为输入特征图，执行步骤S1，将得到的特征图F10记为第三特征图对应的第六特征图；
S1：将输入特征图送入小波散射网络部，分别经过三个小波散射网络层后得到三个尺度不变特征图，分别记为特征图F2、特征图F3和特征图F4，且特征图F2、特征图F3和特征图F4对应的尺寸逐个增大；将特征图F2、特征图F3和特征图F4分别通过多特征融合块进行处理得到特征图F5、特征图F6和特征图F7；将特征图F5经过一次卷积操作和上采样处理后，再与特征图F6拼接融合得到特征图F8；将特征图F8经过一次卷积操作和上采样处理后，再与特征图F7拼接融合得到特征图F9；将特征图F9经过一次卷积操作和上采样处理后，再与输入特征图拼接融合得到特征图F10。
作为本发明的一个优选，通过训练好的植物生长阶段检测模型进行检测，具体包括如下步骤：将特征融合部输出的第十五特征图送入分类部，分类部包括全连接层和分类层，分类层内置softmax函数，全连接层输出特征向量；将所有灰度共生矩阵图进行拼接后进行一次卷积得到灰度共生矩阵向量，将特征向量与灰度共生矩阵向量进行拼接再通过分类层进行分类，输出植物生长阶段标识。
作为本发明的一个优选，对植物生长阶段检测模型进行训练具体包括如下步骤：获取标注好植物生长阶段标识的植物图像，并将所有标注好植物生长阶段标识的植物图像组成植物图像训练集，通过植物图像训练集对初始化的植物生长阶段检测模型进行训练，训练期间采用交替优化方法，若是对应的交叉熵损失值在第一预设范围内，输出训练好的植物生长阶段检测模型；否则，继续迭代训练。
作为本发明的一个优选，还包括在植物生长阶段检测模型中内嵌病变检测部；通过训练好的病变检测部对植物病变情况进行检测具体包括如下步骤：获取将特征融合部输出的第十一特征图、第十三特征图和第十五特征图分别送入病变检测部，输出病变位置和对应病变类型的置信度；
对病变检测部的训练具体包括如下步骤：获取标注好病变类型和病变位置的植物图像，将所有标注好病变类型和病变位置的植物图像组成病变植物图像训练集；固定植物生长阶段检测模型内的参数，通过病变植物图像训练集对病变检测部的参数进行训练，训练期间采用交替优化方法，若是对应的交叉熵损失值在第二预设范围内，输出训练好的病变检测模型；否则，继续迭代训练。
一种跟随植物状态变化的植物生长控制系统，包括：
植物图像获取模块，用于获取植物图像；
植物生长阶段检测模型管理模块，用于训练和存储植物生长阶段检测模型；
植物生长阶段检测模块，用于根据植物图像和植物生长阶段检测模型对植物图像进行检测，输出植物生长阶段标识；
控制策略库，用于存储植物生长阶段标识与对应的控制策略；
控制策略获取模块，用于根据输出的植物生长阶段标识从控制策略库中获取对应的控制策略；
环境调整模块，用于根据控制策略调整植物周围环境。
本发明具有以下优点：
1、本发明通过对植物图像进行识别，自动选择植物生长阶段对应的控制策略，从而自动对植物生长环境进行调整，无需人们进行操作，方便快捷；并且能够识别植物是否发生病变，从而能够对植物进行处理。
2、本发明通过尺度不变特征提取块提取植物图像中例如叶片形状等尺度不变特征，提升植物生长阶段检测模型的准确度。
3、本发明考虑到在执行精准光学处理之后的植物叶片像素值构成的特征参考性降低，因此在对植物图像进行特征提取时，结合灰度共生矩阵信息，强化植物图像中例如轮廓和纹理等特征的比重，从而提升植物生长阶段检测模型检测的准确度。
附图说明
图1为本发明实施例采用的跟随植物状态变化的植物生长控制系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
实施例1
一种跟随植物状态变化的植物生长控制方法，包括：获取植物图像，植物图像由安装于植物培养盆上方的高清摄像头进行获取，高清摄像头间隔预设周期（例如2h）对植物进行拍照，生成植物图像并上传；
将植物图像送入至训练好的植物生长阶段检测模型进行检测，输出植物生长阶段标识；需要说明的是，此植物生长阶段检测模型基于YOLOv5模型进行建立，并且基于实际的植物图像识别进行改进；
根据植物生长阶段标识从控制策略库中获取对应的控制策略，控制策略可以为调节植物灯光或者改变植物周围环境；
根据控制策略调整植物周围环境。
控制策略库中存储植物生长阶段标识与对应的控制策略，且控制策略库根据专家经验进行构建。
需要特别说明的是，调节植物灯光是基于如下考虑而进行的，由于植物在不同生长阶段需要不同的波长，例如在生菜的不同生长阶段可以采用不同的红蓝光进行补充，可以加快生菜的生长速度和提升生菜的品质，因此，针对植物的不同生长阶段，可以采用不同的光谱方式进行光照，即对植物进行精准光学处理，从而实现在室内种植植物，此植物包括但不限于蔬菜类植物；
植物生长阶段检测模型基于YOLOv5模型建立，包括预处理部、特征提取部、特征融合部和分类部；其中预处理部用于对植物图像进行尺寸统一和构建灰度共生矩阵图，由于高清摄像头的规格不统一，会导致获取的植物图像尺寸不统一，影响后续的特征提取，因此预处理部对植物图像进行尺寸统一，对于构建灰度共生矩阵图，这是考虑到当通过精准光学对植物光谱进行调整后，植物本身的颜色会发生变化，例如单独通过红光对植物进行光照时，由于植物叶片会吸收红光，导致叶片呈现黑色，即通过植物图像中灰度值组成的特征会降低参考性，因此通过构建灰度共生矩阵图来强化植物图像中的轮廓和纹理等特征，能够提升植物生长阶段检测模型的检测准确度；特征提取部用于对植物图像的特征进行提取；特征融合部用于对提取的特征进行融合；分类部用于对植物图像对应的植物生长阶段进行分类，输出植物生长阶段标识。
植物生长阶段检测模型的预处理部包括尺寸统一层和灰度共生矩阵图构建层；通过灰度共生矩阵构建层对植物图像进行灰度共生矩阵图构建具体包括如下步骤：将植物图像中所有通道对应的植物图像切片进行平均池化操作，即将统一像素点坐标对应的所有通道对应的像素值进行平均值计算，得到灰度共生矩阵基准图，遍历灰度共生矩阵基准图中每个像素点坐标对应的像素值，选择最大的像素值记为Gmax，选择最小的像素值记为Gmin，将Gmin至Gmax之间的范围划分为L个像素阶段，一般L取16；建立空的灰度共生矩阵，且此灰度共生矩阵的大小为L×L，选择朝向角度θ，θ一般选择0°，45°，90°和135°，依次选择坐标点（i，j），i和j都是指像素阶段，针对选择的坐标点（i，j），从灰度共生矩阵基准图中统计满足判断条件的像素点个数，判断条件为“f（x，y）位于像素阶段i范围内，且f（x+dx，y+dy）位于像素阶段j范围内”，其中f（x，y）指的是灰度共生矩阵基准图中像素点坐标（x，y）对应的像素值，（dx，dy）为距离对，由朝向角度θ决定，例如当朝向角度θ为0°时，dx=1，dy=0，将像素点个数填入灰度共生矩阵中坐标点（i，j）对应位置中；当空的灰度共生矩阵全部填写完毕后，形成灰度共生矩阵，且一个朝向角度θ对应一个灰度共生矩阵；将所有灰度共生矩阵进行拼接生成灰度共生矩阵图。
植物生长阶段检测模型的特征提取部包括focus层、第一特征提取层、第二特征提取层、第三特征提取层、第四特征提取层和四个灰度共生矩阵图构建层；focus层用于执行切片操作，具体操作步骤参考YOLOv5模型；第一特征提取层包括CBL块和CSP1.1块；第二特征提取层和第三特征提取层均包括CBL块和CSP1.3块；第四特征提取层包括CBL块和多特征融合块（SPP）；其中CBL块依次包括卷积操作（Conv）、批量标准化（BN）和非线性激活，且非线性激活函数采用Leaky-relu；CBL块、CSP1.1块、CSP1.3块和多特征融合块（SPP）的具体设置参考YOLOv5模型，特征提取部中的灰度共生矩阵图构建层与预处理部中的灰度共生矩阵图构建层设置一致，且四个灰度共生矩阵图构建层分别位于第一特征提取层、第二特征提取层、第三特征提取层和第四特征提取层之后。
通过特征提取部对植物图像的特征进行提取具体包括如下步骤：将植物图像送入至特征提取部，依次经过focus层、第一特征提取层、第二特征提取层、第三特征提取层和第四特征提取层进行处理，并将第二特征提取层、第三特征提取层和第四特征提取层输出的特征图分别记为第一特征图、第二特征图和第三特征图；同时通过四个灰度共生矩阵图构建层输出对应的四个灰度共生矩阵图。
植物生长阶段检测模型的特征融合部包括3个尺度不变特征提取块、4个CBL块和4个CSP2.1块，CSP2.1块的具体设置参考YOLOv5模型，通过特征融合部对提取的特征进行融合具体包括如下步骤：将第一特征图、第二特征图和第三特征图分别经过尺度不变特征提取块处理得到第四特征图、第五特征图和第六特征图，将第六特征图依次通过CBL块和CSP2.1块处理后，再上采样得到第七特征图；将第七特征图与第五特征图进行拼接融合得到第八特征图；将第八特征图依次通过CBL块和CSP2.1块处理后，再上采样得到第九特征图；将第九特征图与第四特征图进行拼接融合得到第十特征图；将第十特征图经过CSP2.1块处理得到第十一特征图；将第十一特征图通过CBL块处理后与第八特征图拼接融合得到第十二特征图；将第十二特征图经过CSP2.1块处理得到第十三特征图；将第十三特征图通过CBL块处理后与第七特征图拼接融合得到第十四特征图；将第十四特征图经过CSP2.1块处理得到第十五特征图。
尺度不变特征提取块包括小波散射网络块和多特征融合块（SPP），小波散射网络块包括三个小波散射网络层，且三个小波散射网络层内置不同的小波散射网络参数{J，R，M}，其中J为小波散射网络层对应的最大小波变换散射尺度，其中R为小波散射网络层对应的旋转方向组合，R={R1，R2，R3···Rn···RN}，n∈{1，2，3······N}，Rn为旋转方向组合中的旋转方向，M为小波散射网络层对应的最大散射阶数，小波散射网络层用于提取尺度不变特征；多特征融合块设置参考YOLOv5模型。
将第一特征图、第二特征图和第三特征图分别经过尺度不变特征提取块处理得到第四特征图、第五特征图和第六特征图具体包括如下步骤：
将第一特征图记为输入特征图，执行步骤S1，将得到的特征图F10记为第一特征图对应的第四特征图；将第二特征图记为输入特征图，执行步骤S1，将得到的特征图F10记为第二特征图对应的第五特征图；同理，将第三特征图记为输入特征图，执行步骤S1，将得到的特征图F10记为第三特征图对应的第六特征图；
S1：将输入特征图送入小波散射网络部，分别经过三个小波散射网络层后得到三个尺度不变特征图，分别记为特征图F2、特征图F3和特征图F4，且特征图F2、特征图F3和特征图F4对应的尺寸逐个增大；将特征图F2、特征图F3和特征图F4分别通过多特征融合块进行处理得到特征图F5、特征图F6和特征图F7；将特征图F5经过一次卷积操作和上采样处理后，再与特征图F6拼接融合得到特征图F8；将特征图F8经过一次卷积操作和上采样处理后，再与特征图F7拼接融合得到特征图F9；将特征图F9经过一次卷积操作和上采样处理后，再与输入特征图拼接融合得到特征图F10。
本申请通过尺度不变特征提取块提取植物图像中例如叶片形状等尺度不变特征，提升植物生长阶段检测模型的准确度。
通过训练好的植物生长阶段检测模型进行检测，具体包括如下步骤：将特征融合部输出的第十五特征图送入分类部，分类部包括全连接层和分类层，分类层内置softmax函数，全连接层输出特征向量；将所有灰度共生矩阵图进行拼接后进行一次卷积得到灰度共生矩阵向量，将特征向量与灰度共生矩阵向量进行拼接再通过分类层进行分类，输出植物生长阶段标识。
本发明考虑到在执行精准光学处理之后的植物叶片像素值构成的特征参考性降低，因此在对植物图像进行特征提取时，结合灰度共生矩阵信息，强化植物图像中例如轮廓和纹理等特征的比重，从而提升植物生长阶段检测模型检测的准确度。
对植物生长阶段检测模型进行训练具体包括如下步骤：获取标注好植物生长阶段标识的植物图像，并将所有标注好植物生长阶段标识的植物图像组成植物图像训练集，通过植物图像训练集对初始化的植物生长阶段检测模型进行训练，训练期间采用交替优化方法，若是对应的交叉熵损失值在第一预设范围内，第一预设范围由人为设定，输出训练好的植物生长阶段检测模型；否则，继续迭代训练。
在实际运用中，由于营养不良等因素，植物在生长过程会出现生长不良的情况，表征为叶片出现病变等情况，因此本申请还在植物生长阶段检测模型中内嵌病变检测部；病变检测部参考YOLOv5模型中的预测部（Prediction）建立；通过训练好的病变检测部对植物病变情况进行检测具体包括如下步骤：获取将特征融合部输出的第十一特征图、第十三特征图和第十五特征图分别送入病变检测部，输出病变位置和对应病变类型的置信度。
对病变检测部的训练具体包括如下步骤：获取标注好病变类型和病变位置的植物图像，将所有标注好病变类型和病变位置的植物图像组成病变植物图像训练集；固定植物生长阶段检测模型内的参数，通过病变植物图像训练集对病变检测部的参数进行训练，训练期间采用交替优化方法，若是对应的交叉熵损失值在第二预设范围内，第二预设范围由人为设定，输出训练好的病变检测模型；否则，继续迭代训练。
本发明通过对植物图像进行识别，自动选择植物生长阶段对应的控制策略，从而自动对植物生长环境进行调整，无需人们进行操作，方便快捷；并且能够识别植物是否发生病变，从而能够对植物进行处理。
实施例2
一种跟随植物状态变化的植物生长控制系统，参见图1，包括：
植物图像获取模块，用于获取植物图像；
植物生长阶段检测模型管理模块，用于训练和存储植物生长阶段检测模型；
植物生长阶段检测模块，用于根据植物图像和植物生长阶段检测模型对植物图像进行检测，输出植物生长阶段标识；
控制策略库，用于存储植物生长阶段标识与对应的控制策略；
控制策略获取模块，用于根据输出的植物生长阶段标识从控制策略库中获取对应的控制策略；
环境调整模块，用于根据控制策略调整植物周围环境。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。本说明书中未作详细描述的部分属于本领域专业技术人员公知的现有技术。

Claims (10)

1.一种跟随植物状态变化的植物生长控制方法，其特征在于，包括：
获取植物图像；
将植物图像送入至训练好的植物生长阶段检测模型进行检测，输出植物生长阶段标识；
植物生长阶段检测模型基于YOLOv5模型建立，包括预处理部、特征提取部、特征融合部和分类部；其中预处理部用于对植物图像进行尺寸统一和构建灰度共生矩阵图；特征提取部用于对植物图像的特征进行提取；特征融合部用于对提取的特征进行融合；分类部用于对植物图像对应的植物生长阶段进行分类，输出植物生长阶段标识；
根据植物生长阶段标识从控制策略库中获取对应的控制策略，控制策略库中存储植物生长阶段标识与对应的控制策略，且控制策略库根据专家经验进行构建；
根据控制策略调整植物周围环境。
2.根据权利要求1所述的一种跟随植物状态变化的植物生长控制方法，其特征在于，植物生长阶段检测模型的预处理部包括尺寸统一层和灰度共生矩阵图构建层；通过灰度共生矩阵构建层对植物图像进行灰度共生矩阵图构建具体包括如下步骤：将植物图像中所有通道对应的植物图像切片进行平均池化操作，得到灰度共生矩阵基准图，遍历灰度共生矩阵基准图中每个像素点坐标对应的像素值，选择最大的像素值记为Gmax，选择最小的像素值记为Gmin，将Gmin至Gmax之间的范围划分为L个像素阶段；建立空的灰度共生矩阵，且此灰度共生矩阵的大小为L×L，选择朝向角度θ，依次选择坐标点（i，j），i和j都是指像素阶段，针对选择的坐标点（i，j），从灰度共生矩阵基准图中统计满足判断条件的像素点个数，判断条件为“f（x，y）位于像素阶段i范围内，且f（x+dx，y+dy）位于像素阶段j范围内”，其中f（x，y）指的是灰度共生矩阵基准图中像素点坐标（x，y）对应的像素值，（dx，dy）为距离对，由朝向角度θ决定，将像素点个数填入灰度共生矩阵中坐标点（i，j）对应位置中；当空的灰度共生矩阵全部填写完毕后，形成灰度共生矩阵，且一个朝向角度θ对应一个灰度共生矩阵；将所有灰度共生矩阵进行拼接生成灰度共生矩阵图。
3.根据权利要求2所述的一种跟随植物状态变化的植物生长控制方法，其特征在于，植物生长阶段检测模型的特征提取部包括focus层、第一特征提取层、第二特征提取层、第三特征提取层、第四特征提取层和四个灰度共生矩阵图构建层；focus层用于执行切片操作；第一特征提取层包括CBL块和CSP1.1块；第二特征提取层和第三特征提取层均包括CBL块和CSP1.3块；第四特征提取层包括CBL块和多特征融合块；其中CBL块依次包括卷积操作、批量标准化和非线性激活，且非线性激活函数采用Leaky-relu；特征提取部中的灰度共生矩阵图构建层与预处理部中的灰度共生矩阵图构建层设置一致，且四个灰度共生矩阵图构建层分别位于第一特征提取层、第二特征提取层、第三特征提取层和第四特征提取层之后；
通过特征提取部对植物图像的特征进行提取具体包括如下步骤：将植物图像送入至特征提取部，依次经过focus层、第一特征提取层、第二特征提取层、第三特征提取层和第四特征提取层进行处理，并将第二特征提取层、第三特征提取层和第四特征提取层输出的特征图分别记为第一特征图、第二特征图和第三特征图；同时通过四个灰度共生矩阵图构建层输出对应的四个灰度共生矩阵图。
4.根据权利要求3所述的一种跟随植物状态变化的植物生长控制方法，其特征在于，植物生长阶段检测模型的特征融合部包括3个尺度不变特征提取块、4个CBL块和4个CSP2.1块，通过特征融合部对提取的特征进行融合具体包括如下步骤：将第一特征图、第二特征图和第三特征图分别经过尺度不变特征提取块处理得到第四特征图、第五特征图和第六特征图，将第六特征图依次通过CBL块和CSP2.1块处理后，再上采样得到第七特征图；将第七特征图与第五特征图进行拼接融合得到第八特征图；将第八特征图依次通过CBL块和CSP2.1块处理后，再上采样得到第九特征图；将第九特征图与第四特征图进行拼接融合得到第十特征图；将第十特征图经过CSP2.1块处理得到第十一特征图；将第十一特征图通过CBL块处理后与第八特征图拼接融合得到第十二特征图；将第十二特征图经过CSP2.1块处理得到第十三特征图；将第十三特征图通过CBL块处理后与第七特征图拼接融合得到第十四特征图；将第十四特征图经过CSP2.1块处理得到第十五特征图。
5.根据权利要求4所述的一种跟随植物状态变化的植物生长控制方法，其特征在于，尺度不变特征提取块包括小波散射网络块和多特征融合块（SPP），小波散射网络块包括三个小波散射网络层，且三个小波散射网络层内置不同的小波散射网络参数{J，R，M}，其中J为小波散射网络层对应的最大小波变换散射尺度，其中R为小波散射网络层对应的旋转方向组合，R={R1，R2，R3···Rn···RN}，n∈{1，2，3······N}，Rn为旋转方向组合中的旋转方向，M为小波散射网络层对应的最大散射阶数，小波散射网络层用于提取尺度不变特征。
6.根据权利要求5所述的一种跟随植物状态变化的植物生长控制方法，其特征在于，将第一特征图、第二特征图和第三特征图分别经过尺度不变特征提取块处理得到第四特征图、第五特征图和第六特征图具体包括如下步骤：
将第一特征图记为输入特征图，执行步骤S1，将得到的特征图F10记为第一特征图对应的第四特征图；将第二特征图记为输入特征图，执行步骤S1，将得到的特征图F10记为第二特征图对应的第五特征图；同理，将第三特征图记为输入特征图，执行步骤S1，将得到的特征图F10记为第三特征图对应的第六特征图；
S1：将输入特征图送入小波散射网络部，分别经过三个小波散射网络层后得到三个尺度不变特征图，分别记为特征图F2、特征图F3和特征图F4，且特征图F2、特征图F3和特征图F4对应的尺寸逐个增大；将特征图F2、特征图F3和特征图F4分别通过多特征融合块进行处理得到特征图F5、特征图F6和特征图F7；将特征图F5经过一次卷积操作和上采样处理后，再与特征图F6拼接融合得到特征图F8；将特征图F8经过一次卷积操作和上采样处理后，再与特征图F7拼接融合得到特征图F9；将特征图F9经过一次卷积操作和上采样处理后，再与输入特征图拼接融合得到特征图F10。
7.根据权利要求6所述的一种跟随植物状态变化的植物生长控制方法，其特征在于，通过训练好的植物生长阶段检测模型进行检测，具体包括如下步骤：将特征融合部输出的第十五特征图送入分类部，分类部包括全连接层和分类层，分类层内置softmax函数，全连接层输出特征向量；将所有灰度共生矩阵图进行拼接后进行一次卷积得到灰度共生矩阵向量，将特征向量与灰度共生矩阵向量进行拼接再通过分类层进行分类，输出植物生长阶段标识。
8.根据权利要求7所述的一种跟随植物状态变化的植物生长控制方法，其特征在于，对植物生长阶段检测模型进行训练具体包括如下步骤：获取标注好植物生长阶段标识的植物图像，并将所有标注好植物生长阶段标识的植物图像组成植物图像训练集，通过植物图像训练集对初始化的植物生长阶段检测模型进行训练，训练期间采用交替优化方法，若是对应的交叉熵损失值在第一预设范围内，输出训练好的植物生长阶段检测模型；否则，继续迭代训练。
9.根据权利要求8所述的一种跟随植物状态变化的植物生长控制方法，其特征在于，还包括在植物生长阶段检测模型中内嵌病变检测部；通过训练好的病变检测部对植物病变情况进行检测具体包括如下步骤：获取将特征融合部输出的第十一特征图、第十三特征图和第十五特征图分别送入病变检测部，输出病变位置和对应病变类型的置信度；
对病变检测部的训练具体包括如下步骤：获取标注好病变类型和病变位置的植物图像，将所有标注好病变类型和病变位置的植物图像组成病变植物图像训练集；固定植物生长阶段检测模型内的参数，通过病变植物图像训练集对病变检测部的参数进行训练，训练期间采用交替优化方法，若是对应的交叉熵损失值在第二预设范围内，输出训练好的病变检测模型；否则，继续迭代训练。
10.一种跟随植物状态变化的植物生长控制系统，其特征在于，包括：
植物图像获取模块，用于获取植物图像；
植物生长阶段检测模型管理模块，用于训练和存储植物生长阶段检测模型；
植物生长阶段检测模块，用于根据植物图像和植物生长阶段检测模型对植物图像进行检测，输出植物生长阶段标识；
控制策略库，用于存储植物生长阶段标识与对应的控制策略；
控制策略获取模块，用于根据输出的植物生长阶段标识从控制策略库中获取对应的控制策略；
环境调整模块，用于根据控制策略调整植物周围环境。
CN202311412626.9A 2023-10-30 2023-10-30 一种跟随植物状态变化的植物生长控制方法及系统 Active CN117152620B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311412626.9A CN117152620B (zh) 2023-10-30 2023-10-30 一种跟随植物状态变化的植物生长控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311412626.9A CN117152620B (zh) 2023-10-30 2023-10-30 一种跟随植物状态变化的植物生长控制方法及系统

Publications (2)

Publication Number Publication Date
CN117152620A true CN117152620A (zh) 2023-12-01
CN117152620B CN117152620B (zh) 2024-02-13

Family

ID=88908442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311412626.9A Active CN117152620B (zh) 2023-10-30 2023-10-30 一种跟随植物状态变化的植物生长控制方法及系统

Country Status (1)

Country Link
CN (1) CN117152620B (zh)

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110187688A (zh) * 2019-06-14 2019-08-30 青岛农业大学 设施农业智能水肥一体化控制系统及控制方法
US20200141877A1 (en) * 2018-11-06 2020-05-07 Nanjing Agricultural University Method for estimating aboveground biomass of rice based on multi-spectral images of unmanned aerial vehicle
CN112197819A (zh) * 2020-12-07 2021-01-08 宏景科技股份有限公司 一种基于生产基地的植物生长精准控制方法
CN113392775A (zh) * 2021-06-17 2021-09-14 广西大学 一种基于深度神经网络的甘蔗幼苗自动识别与计数方法
CN113627281A (zh) * 2021-07-23 2021-11-09 中南民族大学 一种基于SK-EfficientNet的轻量级农作物病害识别方法
CN114027052A (zh) * 2021-10-20 2022-02-11 华南农业大学 一种植物生殖发育的光照调控系统
KR102380989B1 (ko) * 2021-01-19 2022-04-01 송원호 스마트팜에서 재배되는 작물에 대한 생육 레시피 정보를 제공하는 스마트팜 제어장치 및 이의 동작방법
CN114332849A (zh) * 2022-03-16 2022-04-12 科大天工智能装备技术（天津）有限公司 一种农作物生长状态联合监测方法、装置及存储介质
CN114372968A (zh) * 2021-12-31 2022-04-19 江南大学 结合注意力机制与自适应记忆性融合网络的瑕疵检测方法
US20220121847A1 (en) * 2020-10-16 2022-04-21 Verdant Robotics, Inc. Precision agricultural treatment based on growth stage in real time
CN114612898A (zh) * 2022-03-16 2022-06-10 华南农业大学 一种基于YOLOv5网络的荔枝蒂蛀虫羽化率检测方法
CN114943697A (zh) * 2022-05-16 2022-08-26 福建农林大学 一种基于轻量化改进yolo的番茄成熟度检测方法
CN114972949A (zh) * 2022-05-13 2022-08-30 仲恺农业工程学院 一种乳鸽鸽龄检测方法
WO2023126914A2 (en) * 2021-12-27 2023-07-06 Yeda Research And Development Co. Ltd. METHOD AND SYSTEM FOR SEMANTIC APPEARANCE TRANSFER USING SPLICING ViT FEATURES
CN116403114A (zh) * 2023-04-18 2023-07-07 中科开采夫(海南)空天信息研究院有限公司 一种基于深度学习的遥感影像目标识别方法及系统
CN116416523A (zh) * 2023-03-07 2023-07-11 华中农业大学 一种基于机器学习的水稻生长阶段的识别系统和方法
CN116630803A (zh) * 2023-05-26 2023-08-22 南京林业大学 基于深度学习的番茄病虫害检测与识别方法
CN116682026A (zh) * 2023-06-16 2023-09-01 北京师范大学 一种智能深度学习环境遥感系统
CN116778473A (zh) * 2023-04-18 2023-09-19 山东师范大学 基于改进的yolov5的蘑菇离线实时识别方法及系统

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200141877A1 (en) * 2018-11-06 2020-05-07 Nanjing Agricultural University Method for estimating aboveground biomass of rice based on multi-spectral images of unmanned aerial vehicle
CN110187688A (zh) * 2019-06-14 2019-08-30 青岛农业大学 设施农业智能水肥一体化控制系统及控制方法
US20220121847A1 (en) * 2020-10-16 2022-04-21 Verdant Robotics, Inc. Precision agricultural treatment based on growth stage in real time
CN112197819A (zh) * 2020-12-07 2021-01-08 宏景科技股份有限公司 一种基于生产基地的植物生长精准控制方法
KR102380989B1 (ko) * 2021-01-19 2022-04-01 송원호 스마트팜에서 재배되는 작물에 대한 생육 레시피 정보를 제공하는 스마트팜 제어장치 및 이의 동작방법
CN113392775A (zh) * 2021-06-17 2021-09-14 广西大学 一种基于深度神经网络的甘蔗幼苗自动识别与计数方法
CN113627281A (zh) * 2021-07-23 2021-11-09 中南民族大学 一种基于SK-EfficientNet的轻量级农作物病害识别方法
CN114027052A (zh) * 2021-10-20 2022-02-11 华南农业大学 一种植物生殖发育的光照调控系统
WO2023126914A2 (en) * 2021-12-27 2023-07-06 Yeda Research And Development Co. Ltd. METHOD AND SYSTEM FOR SEMANTIC APPEARANCE TRANSFER USING SPLICING ViT FEATURES
CN114372968A (zh) * 2021-12-31 2022-04-19 江南大学 结合注意力机制与自适应记忆性融合网络的瑕疵检测方法
CN114612898A (zh) * 2022-03-16 2022-06-10 华南农业大学 一种基于YOLOv5网络的荔枝蒂蛀虫羽化率检测方法
CN114332849A (zh) * 2022-03-16 2022-04-12 科大天工智能装备技术（天津）有限公司 一种农作物生长状态联合监测方法、装置及存储介质
CN114972949A (zh) * 2022-05-13 2022-08-30 仲恺农业工程学院 一种乳鸽鸽龄检测方法
CN114943697A (zh) * 2022-05-16 2022-08-26 福建农林大学 一种基于轻量化改进yolo的番茄成熟度检测方法
CN116416523A (zh) * 2023-03-07 2023-07-11 华中农业大学 一种基于机器学习的水稻生长阶段的识别系统和方法
CN116403114A (zh) * 2023-04-18 2023-07-07 中科开采夫(海南)空天信息研究院有限公司 一种基于深度学习的遥感影像目标识别方法及系统
CN116778473A (zh) * 2023-04-18 2023-09-19 山东师范大学 基于改进的yolov5的蘑菇离线实时识别方法及系统
CN116630803A (zh) * 2023-05-26 2023-08-22 南京林业大学 基于深度学习的番茄病虫害检测与识别方法
CN116682026A (zh) * 2023-06-16 2023-09-01 北京师范大学 一种智能深度学习环境遥感系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
PAPPU KUMAR YADAVJ. ALEX THOMASSONTIANYI WANG: ""Assessing the performance of YOLOv5 algorithm for detecting volunteer cotton plants in corn fields at three different growth stages"", 《ARTIFICIAL INTELLIGENCE IN AGRICULTURE》, vol. 6 *
付波;刘合琛;赵熙临;马霁?;: "一种基于多源信息融合的植物识别方法", 信息与电脑(理论版), no. 09 *
傅隆生;宋珍珍;ZHANG XIN;李瑞;王东;崔永杰;: "深度学习方法在农业信息中的研究进展与应用现状", 中国农业大学学报, no. 02 *
武星;齐泽宇;王龙军;杨俊杰;夏雪;: "基于轻量化YOLOv3卷积神经网络的苹果检测方法", 《农业机械学报》, no. 08 *

Also Published As

Publication number Publication date
CN117152620B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
TWI684164B (zh) 偵測航拍影像內物體之非暫態電腦可讀取媒體及系統，以及航拍影像中物體偵測之方法
Wang et al. Semantic segmentation of crop and weed using an encoder-decoder network and image enhancement method under uncontrolled outdoor illumination
TWI760782B (zh) 用於地理區域上果園辨識之系統及方法
CA3024402A1 (en) Recognition of weed in a natural environment
DE112008003959T5 (de) Wahrnehmungssegmentierung von Bildern
CN111080537B (zh) 水下机器人智能控制方法、介质、设备及系统
CN109297978B (zh) 基于双目成像的电力线路无人机巡检及缺陷智能诊断系统
Toylan et al. A Real‐Time Apple Grading System Using Multicolor Space
CA3193037A1 (en) Camera image or video processing pipelines with neural embedding
Wang et al. Research on image capture technology of intelligent terminal and multi exposure fusion to improve the resilience of agriculture production systems
Xiang et al. Measuring stem diameter of sorghum plants in the field using a high-throughput stereo vision system
WO2021026855A1 (zh) 基于机器视觉的图像处理方法和设备
CN117152620B (zh) 一种跟随植物状态变化的植物生长控制方法及系统
Xiang et al. PhenoStereo: a high-throughput stereo vision system for field-based plant phenotyping-with an application in sorghum stem diameter estimation
Xu et al. Detecting white cotton bolls using high-resolution aerial imagery acquired through unmanned aerial system
CN108090910A (zh) 一种基于信息熵梯度简化pcnn模型的夜间室外番茄植株图像分割算法
CN115311520A (zh) 一种基于视觉识别的百香果成熟度检测及定位方法
CN106504258B (zh) 一种植物叶片图像提取方法及装置
TWI785436B (zh) 自航拍影像偵測物體之系統、偵測航拍影像內物體之方法及其非暫態電腦可讀取媒體
KR20220168875A (ko) 인공지능을 이용하여 벼 도복 피해면적을 산정하는 장치 및 방법
CN107316040A (zh) 一种光照不变的图像颜色空间变换方法
JP2022066907A (ja) 情報処理装置、情報処理方法、制御プログラム及び記録媒体
Torres-Méndez et al. A statistical learning-based method for color correction of underwater images
Drofova et al. Use of scanning devices for object 3D reconstruction by photogrammetry and visualization in virtual reality
Baesso et al. Deep learning-based model for classification of bean nitrogen status using digital canopy imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant