CN110378241B - 作物生长状态监控方法、装置、计算机设备及存储介质 - Google Patents

作物生长状态监控方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110378241B
CN110378241B CN201910556213.5A CN201910556213A CN110378241B CN 110378241 B CN110378241 B CN 110378241B CN 201910556213 A CN201910556213 A CN 201910556213A CN 110378241 B CN110378241 B CN 110378241B
Authority
CN
China
Prior art keywords
crop
weight
crops
predicted
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910556213.5A
Other languages
English (en)
Other versions
CN110378241A (zh
Inventor
吕海军
李曙鹏
孙权
李蛟
谢永康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910556213.5A priority Critical patent/CN110378241B/zh
Publication of CN110378241A publication Critical patent/CN110378241A/zh
Application granted granted Critical
Publication of CN110378241B publication Critical patent/CN110378241B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Marketing (AREA)
  • Evolutionary Biology (AREA)
  • General Business, Economics & Management (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Tourism & Hospitality (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Agronomy & Crop Science (AREA)
  • Animal Husbandry (AREA)
  • Operations Research (AREA)
  • Mining & Mineral Resources (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了作物生长状态监控方法、装置、计算机设备及存储介质，其中方法包括：获取所拍摄的包含待监控的作物的原始图像；针对每个作物，分别将该作物对应的作物子图从原始图像中裁剪出来；将作物子图输入至少一个预测模型，得到预测出的该作物的至少一个生长状态信息。应用本发明所述方案，可节省人力及设备成本，并提升处理效率等。

Description

作物生长状态监控方法、装置、计算机设备及存储介质
【技术领域】
本发明涉及计算机应用技术，特别涉及作物生长状态监控方法、装置、计算机设备及存储介质。
【背景技术】
植物工厂是一种通过室内高精度环境控制实现作物周年连续生产的高效农业系统，是农业产业化进程中吸收应用高新技术成果最具活力和潜力的领域之一，代表着未来农业的发展方向。
植物工厂高效培育作物的关键一环在于对作物的生长状态进行有效管理，实现科学种植提升产量等。
作物的生长状态管理主要包括健康状态管理和重量状态管理。其中，健康状态管理主要通过专家的频繁巡检实现，重量管理可通过使用电子传感器设备对作物重量进行数据采集实现。
但是，上述方式需要耗费较大的人力及设备成本，并且效率低下。
【发明内容】
有鉴于此，本发明提供了作物生长状态监控方法、装置、计算机设备及存储介质。
具体技术方案如下：
一种作物生长状态监控方法，包括：
获取所拍摄的包含待监控的作物的原始图像；
针对每个作物，分别将所述作物对应的作物子图从所述原始图像中裁剪出来；
将所述作物子图输入至少一个预测模型，得到预测出的所述作物的至少一个生长状态信息。
根据本发明一优选实施例，该方法进一步包括：利用图像分割模型对所述原始图像进行图像分割处理，得到每个作物的像素级轮廓信息；
所述将所述作物对应的作物子图从所述原始图像中裁剪出来包括：根据所述作物的像素级轮廓信息，将所述作物从所述原始图像中裁剪出来，得到所述作物对应的作物子图。
根据本发明一优选实施例，所述生长状态包括：健康状态；
所述将所述作物子图输入至少一个预测模型，得到预测出的所述作物的至少一个生长状态信息包括：
将所述作物子图输入健康状态分类模型，得到预测出所述作物的健康状态。
根据本发明一优选实施例，所述生长状态包括：重量状态；
所述将所述作物子图输入至少一个预测模型，得到预测出的所述作物的至少一个生长状态信息包括：
将所述作物子图输入重量分类模型，得到预测出所述作物所属的重量区间。
根据本发明一优选实施例，该方法进一步包括：
获取所述重量分类模型输出的表征所述作物重量特性的深度特征；
根据所述作物的像素级轮廓信息获取所述作物的体尺特征；
将所述深度特征和所述体尺特征输入重量回归预测模型，得到预测出的所述作物的重量值。
根据本发明一优选实施例，该方法进一步包括：将所述作物所属的重量区间和所述作物的重量值进行融合，得到所述作物的重量预测值。
根据本发明一优选实施例，所述根据所述作物的像素级轮廓信息获取所述作物的体尺特征包括：
通过立体视觉技术，将所述作物的像素级轮廓信息转换为真实级轮廓信息；
基于所述真实级轮廓信息，根据预设的体尺特征提取规则，提取出所述作物的体尺特征。
根据本发明一优选实施例，该方法进一步包括：获取所述图像分割模型输出的每个作物的类型信息；
所述根据预设的体尺特征提取规则，提取出所述作物的体尺特征包括：根据所述作物的类型对应的体尺特征提取规则，提取出所述作物的体尺特征。
一种作物生长状态监控装置，包括：获取单元、裁剪单元以及预测单元；
所述获取单元，用于获取所拍摄的包含待监控的作物的原始图像；
所述裁剪单元，用于针对每个作物，分别将所述作物对应的作物子图从所述原始图像中裁剪出来；
所述预测单元，用于将所述作物子图输入至少一个预测模型，得到预测出的所述作物的至少一个生长状态信息。
根据本发明一优选实施例，所述装置中进一步包括：分割单元，用于利用图像分割模型对所述原始图像进行图像分割处理，得到每个作物的像素级轮廓信息；
所述裁剪单元根据所述作物的像素级轮廓信息，将所述作物从所述原始图像中裁剪出来，得到所述作物对应的作物子图。
根据本发明一优选实施例，所述生长状态包括：健康状态；
所述预测单元将所述作物子图输入健康状态分类模型，得到预测出所述作物的健康状态。
根据本发明一优选实施例，所述生长状态包括：重量状态；
所述预测单元将所述作物子图输入重量分类模型，得到预测出所述作物所属的重量区间。
根据本发明一优选实施例，所述预测单元进一步用于，获取所述重量分类模型输出的表征所述作物重量特性的深度特征，并根据所述作物的像素级轮廓信息获取所述作物的体尺特征，将所述深度特征和所述体尺特征输入重量回归预测模型，得到预测出的所述作物的重量值。
根据本发明一优选实施例，所述预测单元进一步用于，将所述作物所属的重量区间和所述作物的重量值进行融合，得到所述作物的重量预测值。
根据本发明一优选实施例，所述预测单元通过立体视觉技术，将所述作物的像素级轮廓信息转换为真实级轮廓信息，基于所述真实级轮廓信息，根据预设的体尺特征提取规则，提取出所述作物的体尺特征。
根据本发明一优选实施例，所述预测单元进一步用于，获取所述图像分割模型输出的每个作物的类型信息；根据所述作物的类型对应的体尺特征提取规则，提取出所述作物的体尺特征。
一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如以上所述的方法。
基于上述介绍可以看出，采用本发明所述方案，可通过对所拍摄的包含待监控的作物的原始图像进行一系列处理，预测出作物的生长状态，从而实现了对于作物的生长状态的自动监控，进而节省了人力及设备成本，并提升了处理效率等。
【附图说明】
图1为本发明所述作物生长状态监控方法第一实施例的流程图。
图2为本发明所述作物生长状态监控方法第二实施例的流程图。
图3为本发明所述作物生长状态监控方法整体实现过程的示意图。
图4为本发明所述作物生长状态监控装置实施例的组成结构示意图。
图5示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图。
【具体实施方式】
为了使本发明的技术方案更加清楚、明白，以下参照附图并举实施例，对本发明所述方案进行进一步说明。
显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
另外，应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
图1为本发明所述作物生长状态监控方法第一实施例的流程图。如图1所示，包括以下具体实现方式。
在101中，获取所拍摄的包含待监控的作物的原始图像。
在102中，针对每个作物，分别将该作物对应的作物子图从原始图像中裁剪出来。
在103中，将作物子图输入至少一个预测模型，得到预测出的该作物的至少一个生长状态信息。
优选地，本实施例中所述的生长状态可包括健康状态和重量状态，并可实现实时自动化监控。
比如，可利用布设在预定位置的摄像机/摄像头进行周期性图像拍摄，从而得到包含待监控的作物的原始图像。针对每次拍摄到的原始图像，可分别按照图1所示方式进行处理，以实现对于作物的生长状态的监控。所述摄像机可为双目或其它深度摄像机。
针对每次拍摄到的原始图像，可首先利用图像分割模型对其进行图像分割处理，从而得到每个作物(在图像中为前景)的像素级轮廓信息。
拍摄到的原始图像中可能仅包含一个作物，也可能包含多个作物，而且，这多个作物可能为相同类型的作物，如均为白菜，也可能为至少两种不同类型的作物。通常来说，原始图像中会包含多个相同类型的作物。
无论哪种情况，均可通过图像分割处理得到每个作物的像素级轮廓信息。比如，原始图像中包含多颗白菜，通过图像分割处理，可分别得到每颗白菜的像素级轮廓信息。
可利用预先训练得到的图像分割模型来对原始图像进行图像分割处理，图像分割模型可利用标注好的作为训练样本的图像训练得到。作为训练样本的图像可为实景图像，也可为利用标注好的单品作物图像合成的图像。比如，单品作品图像可为仅包含一颗白菜的实景图像，可利用这种图像来快速合成大量包含多颗白菜(即一片白菜)的图像用于训练。
图像分割模型除了具备给出作物的像素级轮廓信息的功能外，还可具备针对每个作物分别给出其类型信息的功能。这样，基于图像分割模型，可分别得到原始图像中的每个作物的像素级轮廓信息以及类型信息。类型信息如可为白菜、卷心菜等。
针对每个作物，可分别根据该作物的像素级轮廓信息，将该作物从原始图像中裁剪出来，从而得到该作物对应的作物子图，并可将得到的作物子图输入预先训练得到的健康状态分类模型，从而得到预测出该作物的健康状态。
作物的健康状态可包括优秀、良好、枯萎等。可利用大量标注好的作为训练样本的图像训练得到健康状态分类模型。
针对每个作物，还可将得到的该作物的作物子图输入预先训练得到的重量分类模型，从而得到预测出该作物所属的重量区间，如480～500g。同样，可利用大量标注好的作为训练样本的图像训练得到重量分类模型。
重量分类模型除了可预测出作物所属的重量区间外，还可输出表征作物重量特性的深度特征。通常来说，所述深度特征为重量分类模型中的最后一层特征，可基于该特征来确定作物所属的重量区间，可将该特征额外提取出来，用于后续预测作物的重量值。
针对每个作物，为预测得到该作物的重量值，除了需要获取该作物的深度特征外，还需要根据该作物的像素级轮廓信息获取该作物的体尺特征。具体地，可首先通过立体视觉技术，将该作物的像素级轮廓信息转换为真实级轮廓信息，之后可基于真实级轮廓信息，根据预设的体尺特征提取规则，提取出该作物的体尺特征。
立体视觉技术为现有技术，可通过单目或双目系统将每个作物的像素级轮廓信息转换为真实级轮廓信息，即可通过坐标变换等，将像素级的尺寸信息转换为真实世界中的尺寸信息等。
如前所述，通过图像分割模型可分别得到每个作物的类型信息，针对不同类型的作物，可分别预设对应的体尺特征提取规则，如对于白菜这种作物，可规定需要提取哪些体尺特征，对于胡萝卜这种作物，可规定需要提取哪些体尺特征等。
这样，当需要提取某一作物的体尺特征时，可根据该作物的类型对应的体尺特征提取规则，提取出该作物的体尺特征。比如，若该作物的类型为白菜，那么提取的体尺特征可包括高度、宽度等，其中高度可以是指从属于该作物的最上面的点到最下面的点的距离，宽度可以是指从属于该作物的最左面的点到最右面的点的距离等。具体提取哪些体尺特征可根据实际需要而定，如对于其它作物，提取的体尺特征还可能包括直径、面积等。
针对每个作物，可将得到的该作物的深度特征和体尺特征输入预先训练得到的重量回归预测模型，从而得到预测出的该作物的重量值，如490g。根据重量回归预测模型的输入和输出，可相应的构建训练样本并训练得到重量回归预测模型。
不同于重量分类模型预测出的重量区间是一个重量范围，重量回归预测模型预测出的是一个重量值。进一步地，针对每个作物，可分别将预测出的该作物所属的重量区间和该作物的重量值进行融合，从而最终得到该作物的重量预测值。通过融合，可降低重量预测的误差，提高预测结果的准确性等。
具体融合方式不限。比如，针对一颗白菜，预测出的该白菜所属的重量区间为480～500g，预测出的该白菜的重量值为490g，490g位于重量区间480～500g内，那么可认为预测出的重量准确，进而可将490g作为最终确定出的这颗白菜的重量预测值。再比如，针对一颗白菜，预测出的该白菜所属的重量区间为480～500g，预测出的该白菜的重量值为470g，470g虽然没有位于重量区间480～500g内，但差异较小，因此也可认为预测出的重量准确，进而可将(470+500)/2＝485g作为这颗白菜的重量预测值。再比如，针对一颗白菜，预测出的该白菜所属的重量区间为480～500g，预测出的该白菜的重量值为420g，420g没有位于重量区间480～500g内，且差异较大，这种情况下，可按照预设规则，选择以其中的一个预测结果为准，如将420g作为这颗白菜的重量预测值，或者，将(480+500)/2＝490g作为这颗白菜的重量预测值，也可不以任何一个预测结果为准，而是进行告警，以便相关用户进行查看处理等。
按照上述方式，可分别得到每个作物的健康状态和重量状态。
假设原始图像中包含多个同一类型的作物，如包含多个白菜，属于同一块试验田，那么在分别得到其中的每颗白菜的健康状态和重量状态后，可综合各个白菜的健康状态和重量状态，确定出这块试验田中的白菜的整体健康状态和重量状态，如可计算各白菜的重量预测值的均值，将计算出的均值作为这块试验田中的白菜的整体重量状态，可统计这块试验田中处于优秀这一健康状态的白菜占比，若大于预定阈值，则可认为这块试验田中的白菜整体处于优秀的健康状态等。
基于上述介绍，图2为本发明所述作物生长状态监控方法第二实施例的流程图。如图2所示，包括以下具体实现方式。
在201中，获取所拍摄的包含待监控的作物的原始图像。
可利用布设在预定位置的摄像机进行周期性图像拍摄，从而得到包含待监控的作物的原始图像。所述摄像机可为双目或其它深度摄像机。
在202中，利用图像分割模型对原始图像进行图像分割处理，得到每个作物的像素级轮廓信息。
图像分割模型除了具备给出作物的像素级轮廓信息的功能外，还可具备针对每个作物分别给出其类型信息的功能。
在203中，针对每个作物，分别按照204～210所示方式进行处理。
在204中，通过立体视觉技术，将该作物的像素级轮廓信息转换为真实级轮廓信息。
即可通过坐标变换等，将像素级的尺寸信息转换为真实世界中的尺寸信息等。
在205中，基于真实级轮廓信息，根据预设的体尺特征提取规则，提取出该作物的体尺特征。
如可根据该作物的类型对应的体尺特征提取规则，基于真实级轮廓信息，提取出该作物的体尺特征。
在206中，根据该作物的像素级轮廓信息，将该作物从原始图像中裁剪出来，得到该作物对应的作物子图。
在207中，将作物子图输入重量分类模型，得到预测出该作物所属的重量区间，并得到表征该作物重量特性的深度特征。
基于重量分类模型，可同时得到预测出的该作物所属的重量区间以及表征该作物重量特性的深度特征。
在208中，将该作物的深度特征和体尺特征输入重量回归预测模型，得到预测出的该作物的重量值。
即可将207中得到的深度特征以及205中得到的体尺特征输入重量回归预测模型，从而预测该作物的重量值。
在209中，将该作物所属的重量区间和该作物的重量值进行融合，得到该作物的重量预测值。
通过融合，可降低重量预测的误差，提高预测结果的准确性。具体融合方式不限。
在210中，将作物子图输入健康状态分类模型，得到预测出该作物的健康状态。
作物的健康状态可包括优秀、良好、枯萎等。
综合上述介绍，图3为本发明所述作物生长状态监控方法整体实现过程的示意图，具体实现请参照前述相关说明，不再赘述。
需要说明的是，对于前述的各方法实施例，为了简单描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
总之，采用本发明方法实施例所述方案，仅通过摄像机的数据采集即可完成对作物的健康状态和重量状态的实时自动化监控，实现了作物生长数字化，异常生长状态识别等功能，将专家频繁巡检确认作物生长状态的操作变为机器自动监控，从而节省了人力及设备成本，并极大地提升了处理效率等。
以上是关于方法实施例的介绍，以下通过装置实施例，对本发明所述方案进行进一步说明。
图4为本发明所述作物生长状态监控装置实施例的组成结构示意图。如图4所示，包括：获取单元401、裁剪单元403以及预测单元404。
获取单元401，用于获取所拍摄的包含待监控的作物的原始图像.
裁剪单元403，用于针对每个作物，分别将该作物对应的作物子图从原始图像中裁剪出来。
预测单元404，用于将作物子图输入至少一个预测模型，得到预测出的该作物的至少一个生长状态信息。
可利用布设在预定位置的摄像机进行周期性图像拍摄，从而得到包含待监控的作物的原始图像。所述摄像机可为双目或其它深度摄像机。
如图4所示，所述装置中还可进一步包括：分割单元402。
获取单元401可将获取到的原始图像发送给分割单元402，分割单元402可利用预先训练得到的图像分割模型对原始图像进行图像分割处理，从而得到每个作物的像素级轮廓信息。图像分割模型除了具备给出作物的像素级轮廓信息的功能外，还可具备针对每个作物分别给出其类型信息的功能。
针对每个作物，裁剪单元403可根据该作物的像素级轮廓信息，将该作物从原始图像中裁剪出来，从而得到该作物对应的作物子图。
优选地，本实施例中所述的生长状态可包括健康状态和重量状态。
针对每个作物，预测单元404可将该作物对应的作物子图输入预先训练得到的健康状态分类模型，从而得到预测出该作物的健康状态。作物的健康状态可包括优秀、良好、枯萎等。
针对每个作物，预测单元404还可将该作物对应的作物子图输入预先训练得到的重量分类模型，从而得到预测出该作物所属的重量区间。
重量分类模型除了可预测出作物所属的重量区间外，还可输出表征作物重量特性的深度特征。即针对每个作物，预测单元404还可获取重量分类模型输出的表征该作物重量特性的深度特征，另外，预测单元404还可根据该作物的像素级轮廓信息获取该作物的体尺特征。
具体地，预测单元404可通过立体视觉技术，将该作物的像素级轮廓信息转换为真实级轮廓信息，基于真实级轮廓信息，根据预设的体尺特征提取规则，提取出该作物的体尺特征。
如前所述，通过图像分割模型可分别得到每个作物的类型信息，针对不同类型的作物，可分别预设对应的体尺特征提取规则，这样，当需要提取某一作物的体尺特征时，预测单元404可根据该作物的类型对应的体尺特征提取规则，提取出该作物的体尺特征。
针对每个作物，预测单元404可将该作物的深度特征和体尺特征输入预先训练得到的重量回归预测模型，从而得到预测出的该作物的重量值。
进一步地，预测单元404可将该作物所属的重量区间和该作物的重量值进行融合，从而得到最终所需的该作物的重量预测值。
图4所示装置实施例的具体工作流程请参照前述方法实施例中的相关说明，不再赘述。
总之，采用本发明装置实施例所述方案，仅通过摄像机的数据采集即可完成对作物的健康状态和重量状态的实时自动化监控，实现了作物生长数字化，异常生长状态识别等功能，将专家频繁巡检确认作物生长状态的操作变为机器自动监控，从而节省了人力及设备成本，并极大地提升了处理效率等。
图5示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图。图5显示的计算机系统/服务器12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，计算机系统/服务器12以通用计算设备的形式表现。计算机系统/服务器12的组件可以包括但不限于：一个或者多个处理器(处理单元)16，存储器28，连接不同系统组件(包括存储器28和处理器16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机系统/服务器12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机系统/服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机系统/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机系统/服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图5所示，网络适配器20通过总线18与计算机系统/服务器12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机系统/服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器16通过运行存储在存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现图1或图2所示实施例中的方法。
本发明同时公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时将实现如图1或图2所示实施例中的方法。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法等，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (14)

1.一种作物生长状态监控方法，其特征在于，包括：
获取所拍摄的包含待监控的作物的原始图像；
针对每个作物，分别将所述作物对应的作物子图从所述原始图像中裁剪出来；
将所述作物子图输入至少一个预测模型，得到预测出的所述作物的至少一个生长状态信息，包括：将所述作物子图输入重量分类模型，得到预测出的所述作物所属的重量区间；
该方法进一步包括：
获取所述重量分类模型输出的表征所述作物重量特性的深度特征，所述深度特征为所述重量分类模型中的最后一层特征，获取所述作物的体尺特征，将所述深度特征和所述体尺特征输入重量回归预测模型，得到预测出的所述作物的重量值，将所述作物所属的重量区间和所述作物的重量值进行融合，得到所述作物的重量预测值。
2.根据权利要求1所述的方法，其特征在于，
该方法进一步包括：利用图像分割模型对所述原始图像进行图像分割处理，得到每个作物的像素级轮廓信息；
所述将所述作物对应的作物子图从所述原始图像中裁剪出来包括：根据所述作物的像素级轮廓信息，将所述作物从所述原始图像中裁剪出来，得到所述作物对应的作物子图。
3.根据权利要求2所述的方法，其特征在于，
所述将所述作物子图输入至少一个预测模型，得到预测出的所述作物的至少一个生长状态信息还包括：
将所述作物子图输入健康状态分类模型，得到预测出所述作物的健康状态。
4.根据权利要求2所述的方法，其特征在于，所述获取所述作物的体尺特征包括：
根据所述作物的像素级轮廓信息获取所述作物的体尺特征。
5.根据权利要求4所述的方法，其特征在于，
所述根据所述作物的像素级轮廓信息获取所述作物的体尺特征包括：
通过立体视觉技术，将所述作物的像素级轮廓信息转换为真实级轮廓信息；
基于所述真实级轮廓信息，根据预设的体尺特征提取规则，提取出所述作物的体尺特征。
6.根据权利要求5所述的方法，其特征在于，
该方法进一步包括：获取所述图像分割模型输出的每个作物的类型信息；
所述根据预设的体尺特征提取规则，提取出所述作物的体尺特征包括：根据所述作物的类型对应的体尺特征提取规则，提取出所述作物的体尺特征。
7.一种作物生长状态监控装置，其特征在于，包括：获取单元、裁剪单元以及预测单元；
所述获取单元，用于获取所拍摄的包含待监控的作物的原始图像；
所述裁剪单元，用于针对每个作物，分别将所述作物对应的作物子图从所述原始图像中裁剪出来；
所述预测单元，用于将所述作物子图输入至少一个预测模型，得到预测出的所述作物的至少一个生长状态信息，包括：将所述作物子图输入重量分类模型，得到预测出的所述作物所属的重量区间；
所述预测单元进一步用于，获取所述重量分类模型输出的表征所述作物重量特性的深度特征，所述深度特征为所述重量分类模型中的最后一层特征，获取所述作物的体尺特征，将所述深度特征和所述体尺特征输入重量回归预测模型，得到预测出的所述作物的重量值，将所述作物所属的重量区间和所述作物的重量值进行融合，得到所述作物的重量预测值。
8.根据权利要求7所述的装置，其特征在于，
所述装置中进一步包括：分割单元，用于利用图像分割模型对所述原始图像进行图像分割处理，得到每个作物的像素级轮廓信息；
所述裁剪单元根据所述作物的像素级轮廓信息，将所述作物从所述原始图像中裁剪出来，得到所述作物对应的作物子图。
9.根据权利要求8所述的装置，其特征在于，
所述预测单元进一步用于，将所述作物子图输入健康状态分类模型，得到预测出所述作物的健康状态。
10.根据权利要求8所述的装置，其特征在于，
所述预测单元根据所述作物的像素级轮廓信息获取所述作物的体尺特征。
11.根据权利要求10所述的装置，其特征在于，
所述预测单元通过立体视觉技术，将所述作物的像素级轮廓信息转换为真实级轮廓信息，基于所述真实级轮廓信息，根据预设的体尺特征提取规则，提取出所述作物的体尺特征。
12.根据权利要求11所述的装置，其特征在于，
所述预测单元进一步用于，获取所述图像分割模型输出的每个作物的类型信息；根据所述作物的类型对应的体尺特征提取规则，提取出所述作物的体尺特征。
13.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～6中任一项所述的方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～6中任一项所述的方法。
CN201910556213.5A 2019-06-25 2019-06-25 作物生长状态监控方法、装置、计算机设备及存储介质 Active CN110378241B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910556213.5A CN110378241B (zh) 2019-06-25 2019-06-25 作物生长状态监控方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910556213.5A CN110378241B (zh) 2019-06-25 2019-06-25 作物生长状态监控方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN110378241A CN110378241A (zh) 2019-10-25
CN110378241B true CN110378241B (zh) 2022-04-29

Family

ID=68249537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910556213.5A Active CN110378241B (zh) 2019-06-25 2019-06-25 作物生长状态监控方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN110378241B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814952A (zh) * 2020-06-01 2020-10-23 珠海格力电器股份有限公司 植被生长监测方法、装置、设备及存储介质
CN117237800A (zh) * 2023-08-01 2023-12-15 广州智在信息科技有限公司 基于人工智能的作物生长监控方法及计算机设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103983334A (zh) * 2014-05-20 2014-08-13 联想(北京)有限公司 一种信息处理的方法及电子设备
CN104700404A (zh) * 2015-03-02 2015-06-10 中国农业大学 一种果实定位识别方法
CN108719424A (zh) * 2018-06-04 2018-11-02 浙江海洋大学 一种基于机器视觉的水产品分类方法及系统
CN109636826A (zh) * 2018-11-13 2019-04-16 平安科技（深圳）有限公司 生猪重量量测方法、服务器及计算机可读存储介质
CN109740432A (zh) * 2018-11-28 2019-05-10 平安科技（深圳）有限公司 植物监控方法、装置、计算机设备及存储介质
CN109784378A (zh) * 2018-12-27 2019-05-21 南京芊玥机器人科技有限公司 一种基于机器视觉的水下捕鱼方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103983334A (zh) * 2014-05-20 2014-08-13 联想(北京)有限公司 一种信息处理的方法及电子设备
CN104700404A (zh) * 2015-03-02 2015-06-10 中国农业大学 一种果实定位识别方法
CN108719424A (zh) * 2018-06-04 2018-11-02 浙江海洋大学 一种基于机器视觉的水产品分类方法及系统
CN109636826A (zh) * 2018-11-13 2019-04-16 平安科技（深圳）有限公司 生猪重量量测方法、服务器及计算机可读存储介质
CN109740432A (zh) * 2018-11-28 2019-05-10 平安科技（深圳）有限公司 植物监控方法、装置、计算机设备及存储介质
CN109784378A (zh) * 2018-12-27 2019-05-21 南京芊玥机器人科技有限公司 一种基于机器视觉的水下捕鱼方法

Also Published As

Publication number Publication date
CN110378241A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
CN107895367B (zh) 一种骨龄识别方法、系统及电子设备
CN112633384B (zh) 基于图像识别模型的对象识别方法、装置和电子设备
KR101628276B1 (ko) 클라우드 기반 병리 분석 시스템 및 방법
CN111967302A (zh) 视频标签的生成方法、装置及电子设备
CN111460967A (zh) 一种违法建筑识别方法、装置、设备及存储介质
CN112419202B (zh) 基于大数据及深度学习的野生动物图像自动识别系统
EP3907671A2 (en) Method and apparatus for incrementally training model
CN113177968A (zh) 目标跟踪方法、装置、电子设备及存储介质
CN111046956A (zh) 遮挡图像检测方法、装置、电子设备及存储介质
CN110378241B (zh) 作物生长状态监控方法、装置、计算机设备及存储介质
CN108875931A (zh) 神经网络训练及图像处理方法、装置、系统
CN112668586A (zh) 模型训练、图片处理方法及设备、存储介质、程序产品
CN112288699B (zh) 图像相对清晰度的评估方法、装置、设备和介质
CN110689518A (zh) 宫颈细胞图像筛查方法、装置、计算机设备及存储介质
CN111178323A (zh) 基于视频的群体行为识别方法、装置、设备及存储介质
CN114511661A (zh) 图像渲染方法、装置、电子设备及存储介质
CN111369524B (zh) 结节识别模型训练方法、结节识别方法及装置
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
CN112507833A (zh) 人脸识别及模型训练的方法、装置、设备和存储介质
CN103970901A (zh) 一种地理信息图形数据整合方法
CN112966687B (zh) 图像分割模型训练方法、装置及通信设备
CN113592932A (zh) 深度补全网络的训练方法、装置、电子设备及存储介质
CN112613425A (zh) 一种面向小样本水下图像的目标识别方法及系统
CN112687079A (zh) 灾害预警方法、装置、设备及存储介质
CN116052097A (zh) 一种地图要素检测方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant