CN112580540A - 一种人工智能农作物处理系统和方法 - Google Patents

一种人工智能农作物处理系统和方法 Download PDF

Info

Publication number
CN112580540A
CN112580540A CN202011547923.0A CN202011547923A CN112580540A CN 112580540 A CN112580540 A CN 112580540A CN 202011547923 A CN202011547923 A CN 202011547923A CN 112580540 A CN112580540 A CN 112580540A
Authority
CN
China
Prior art keywords
crop
crops
image
subsystem
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011547923.0A
Other languages
English (en)
Inventor
武勇
周金旺
朱逞春
丁益文
范磊
范冬冬
董军军
仇国庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Gaozhe Information Technology Co ltd
Original Assignee
Anhui Gaozhe Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Gaozhe Information Technology Co ltd filed Critical Anhui Gaozhe Information Technology Co ltd
Priority to CN202011547923.0A priority Critical patent/CN112580540A/zh
Publication of CN112580540A publication Critical patent/CN112580540A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Abstract

本发明提出了一种人工智能农作物处理系统，包括形状分析子系统，用于分析农作物的形状；质量分析子系统，用于分析农作物质量；三维影像重建子系统，用于对采集的农作物正反面图像进行三维立体建模，将二维平面影像信息转化为三维立体影像用于电子存档；表面缺陷检测定位子系统，用于农作物不完善粒缺陷的具体位置检测；农作物图像自动分类子系统，用于农作物的不完善粒和完善粒的分类；农作物等级在线评审子系统，用于实现谷物品质等级的在线评审功能；样本标注子系统，用于对农作物的图片进行标注，检测算法的数据集。本系统结合多种子系统，获得农作物的形状、质量、三维影像，并结合各子系统完成对农作物的综合检测。

Description

一种人工智能农作物处理系统和方法
技术领域
本发明涉及农作物的分析检测的技术领域，尤其涉及一种人工智能农作物处理系统和方法。
背景技术
粮食是人类生存的基石。农作物的质量好坏直接决定其当季价值，无论是粮站还是工厂在收粮过程中，都需要依据农作物的质量好坏，对农作物定等定价。此外，农作物的质量也直接影响到下一季的育种过程。种子的质量是保证粮食收成的先决条件之一，其中育种是确保种子质量的重要环节。在育种过程中，选出质量上乘的农作物作为种子是基础要求之一，这具体到对种子的大小、形状等特性有严格的要求。
但是，在现有技术条件，无论是农作物的定等定价还是育种过程，农作物的各参数的判断通常是人工完成，工作效率低且人与人之间的差异较大。
发明内容
基于背景技术中存在的技术问题，本发明提出了一种人工智能农作物处理系统，包括
形状分析子系统，用于分析农作物的形状；
质量分析子系统，用于分析农作物质量；
三维影像重建子系统，用于对采集的农作物正反面图像进行三维立体建模；将二维平面影像信息转化为三维立体影像用于电子存档；
表面缺陷检测定位子系统，用于农作物不完善粒缺陷的具体位置检测；
农作物图像自动分类子系统，用于农作物的不完善粒和完善粒的分类；
农作物等级在线评审子系统，用于实现谷物品质等级的在线评审功能；
样本标注子系统，用于对农作物的图片进行标注，制作算法需要的数据集。
具体地说，所述形状分析子系统包括
计算机视觉处理模块，用于获取多角度的农作物外表扫描图像，对农作物外表扫描的图像做图像预处理，获得单个农作物的图像；
人工智能处理模块，用于对所述农作物的图像进行处理获得图像的高维特征值并进行统计组合获得多个维度特征值，进而计算出农作物在图像中的模板信息，最后依据模板信息拟合并显示出农作物的轮廓信息。
具体地说，所述计算机视觉处理模块包括依次设置的
图像扫描设备，用于对设定量的农作物样本进行图像扫描，获得多角度的农作物外表扫描图像；
图像处理单元，用于对农作物外表扫描图像做图像预处理，最终将多颗农作物的图像分割成多张单个农作物的图像；所述图像处理单元包括滤波算法子单元和边缘信号增强子单元，所述滤波算法子单元用于滤除图像中的干扰信号，所述边缘信号增强子单元用于多角度的农作物外表扫描图像的配准。
具体地说，所述质量分析子系统包括：
农作物图像处理模块，用于处理包含多粒农作物信息的扫描图像，分析出图像中多个农作物的形状、类别信息；
农作物质量判定模块，通过多粒农作物的形状和所属类别信息结合标注信息，基于强监督学习技术，训练农作物质量判定模块，已训练的农作物质量判定模块直接接收农作物图像处理模块输出的形状和所属类别信息，且输出农作物的质量信息。
具体地说，所述农作物图像处理模块包括
图像扫描设备，用于对设定量的农作物样本进行多角度的图像扫描，获得多角度的农作物外表扫描图像；
图像处理单元，用于对农作物外表扫描图像做图像预处理，包括图像清洗、图像匹准，计算出图像中多粒农作物的形状和所属类别信息，并将所得的农作物信息做去冗和编码操作。
具体地说，所述三维影像重建子系统包括：
RPN网络单元，输入带有标注信息的二维图像到神经网络单元训练获得；带有标注信息的二维图像为标注后的农作物的正反面彩色图像，所述RPN网络单元输出特定位置的具体坐标信息；
农作物的形态和姿势预测子单元，根据输入的特定区域，预测出谷物在三维空间中的形状参数和姿态参数；
形状采样子网络，根据谷物的形状参数，解码出对应谷物的形状在空间中的点云模型；
刚性变换单元，依据预测出谷物在三维空间中的形状参数和姿态参数，对生成的点云模型进行姿态参数的刚性变换；
转换存储单元，将刚性变换的结果进行结构、姿态的三维重建，获得农作物的体积信息。
具体地说，农作物等级在线评审子系统包括：
数据采集模块，对谷物进行图像数据的采集，集成于谷物数据采集的硬件平台中；
网络模块，用于支撑硬件采集设备与服务器之间的通信；
算法模块，对服务器接收到的谷物图像数据进行分析，并给出相应的分析评审结果；所述算法模块部署于服务器上；
数据模块，对服务器接收到的谷物数据，服务器分析的结果数据等进行统一存储和管理；支持获取已管理的数据；
结果查询展示模块，从数据模块获取指定谷物分析评审结果用于展示。
具体地说，所述样本标注子系统包括
注册登录单元，包括用户注册、用户注销、用户权限；
文件单元，包括上传文件子单元和下载文件子单元，所述上传文件子单元用于上传待标注的设定大小和格式的图片样本，所述下载子单元用于下载修改后指定格式的标注信息数据文件，用于检测算法训练；
样本标注单元，用于对上传子单元上传的图片样本的样本位置数据进行智能识别，选择标注的类型，并且设定标注的农作物颗粒的线条色彩。
本发明的技术效果是：
本发明结合多种子系统，获得农作物的形状、质量、三维影像，结合表面缺陷检测定位子系统对农作物不完善粒缺陷进行位置经检测，然后利用农作物图像自动分类子系统将不完善和完善粒进行分类，分类后结合所有农作物的形状、质量、三维影像来进行综合评价，通过设定不同的系数，实现所有农作物的在线评审。在上述工作过程中，比如农作物的形状、质量、三维影像重建均需要样本标注子系统协助完成。
附图说明
图1为人工智能农作物形状分析子系统图。
图2为人工智能农作物质量分析子系统图。
图3为人工智能农作物三维影像子系统的重建方法流程图。
图4为人工智能农作物表面缺陷检测定位子系统的检测定位方法流程图。
图5为农作物图像自动分类子系统结构图。
图6为农作物图像自动分类子系统中深度神经网络模型示意图。
图7为农作物等级在线评审子系统框架图。
图8A为分割算法示意图。
图8B为品质检测算法示意图。
图9为样本标注系统图。
图10为图片样本分割流程图。
图11为深度学习模型寻优流程图。
具体实施方式
一种人工智能农作物处理系统，包括
形状分析子系统，用于分析农作物的形状；
质量分析子系统，用于分析农作物质量；
三维影像重建子系统，用于对采集的农作物正反面图像进行三维立体建模；将二维平面影像信息转化为三维立体影像用于电子存档；
表面缺陷检测定位子系统，用于农作物不完善粒缺陷的具体位置检测；
农作物图像自动分类子系统，用于农作物的不完善粒和完善粒的分类；
农作物等级在线评审子系统，用于实现谷物品质等级的在线评审功能；
样本标注子系统，用于对农作物的图片进行标注，制作算法需要的数据集。
以下分别对各子系统和系统所对应的方法进行详细的描述：
1A、形状分析子系统
如图1所示，形状分析子系统用于获取多个农作物的二维坐标信息，包括
计算机视觉处理模块，用于获取多角度的农作物外表扫描图像，对农作物外表扫描的图像做图像预处理，获得单个农作物的图像；
详细地说，所述计算机视觉处理模块包括依次设置的
图像扫描设备，用于对设定量的农作物样本进行图像扫描，在该方案中使用50g的样本量，获得多角度的农作物外表扫描图像；
图像处理单元，用于对农作物外表扫描图像做图像预处理，最终将多颗农作物的图像分割成多张单个农作物的图像；所述图像处理单元包括滤波算法子单元和边缘信号增强子单元，所述滤波算法子单元用于滤除图像中的干扰信号，并获取图像中农作物的粗糙定位，所述边缘信号增强子单元用于多角度的农作物外表扫描图像的配准。获取图像中农作物的粗糙定位的方法是通过边缘滤波算子，计算出图像中各个像素值之间的梯度信息，进而拟合出农作物的粗糙位置。
人工智能处理模块，用于对所述农作物的图像进行处理获得图像的高维特征值并进行统计组合获得多个维度特征值，进而计算出农作物在图像中的精准模板信息，最后依据模板信息拟合并显示出农作物的轮廓信息。
详细地说，所述人工智能处理模块提取图片的特征信息，协同农作物的粗糙定位信息，拟合出农作物的精准形状，具体包括依次设置的
深度卷积网络模型，用于将获取的单个农作物的图像转换成图像对应的高维特征值；所述深度卷积网络模型还包括通道剪枝子单元，用于压缩图像的冗余特征通道，大幅加速农作物形状分析系统在计算机上的减速系统的运行速度。将用于图10中的分割方法的参数量和计算量大幅压缩，进而实现实时高效地分析多粒农作物的形状。
神经网络单元，用于统计所述高维特征值，并组合形成多个维度特征值；
计算显示单元，用于根据多个维度特征值计算出农作物在所述图像中的模板信息，并依据模板信息拟合并显示出农作物的轮廓信息。
1B、农作物形状分析方法
一种农作物形状分析方法，包括以下步骤：
S1、获取多个角度的农作物外表扫描图像后，对外表扫描的图像做图像预处理，然后获得单个农作物的图像；
S11、所述计算机视觉处理模块中的图像扫描设备对设定量的农作物样本进行图像扫描，获得多角度的农作物外表扫描图像；
S12、所述计算机视觉处理模块中的图像处理单元对农作物外表扫描图像做图像预处理，最终将多颗农作物的图像分割成多张单个农作物的图像；所述图像处理单元包括滤波算法和边缘信号增强算法，滤波算法滤除图像中干扰信号，然后经过边缘信号增强算法来进行多角度的农作物外表扫描图像的配准。
如图10所示，所述步骤S12中的分割方法具体为：
S121、对农作物外表扫描图像进行标注；可以用既有的标注工具CVAT对农作物外表扫描图像进行边缘轮廓的标注，标注就是手工对图像中的小麦颗粒进行画框，完全包围住农作物外表扫描图像；也可以用本申请中的样本标注子系统进行标注。
S122、对深度卷积网络模型目标检测训练；获得标注数据后，用基于pycaffe的训练框架对深度卷积网络模型进行训练，获得多组模型权重；
S123、深度卷积网络模型进行寻优处理，获得最优模型；具体地说，设定好验证样本集(该样本集需具备代表性)后，分别测试多组模型权重在验证样本集上的性能表现，选择一个最优的模型；
S124、在实际过程中，使用最优模型处理采样图像，得到图像中多个单颗农作物图像；
S125、对单个农作物的图像样本进行形状分析。
如图11所示，所述步骤S123中，寻优处理的具体步骤为：
S1231、选定寻优数据集；在该系统中是非常重要的一项工作，直接影响到后续最优模型的好坏；所述寻优数据集应具有广泛的通用性和适用性，与训练集或测试集独立，并需要对该数据集标注，用于评价不同模型的性能。
S1232、设定评价标准；评价标准直接决定模型的寻优过程，评价标准的选择应贴系统具体的应用领域；在本系统中，召回率是模型评价的主要标准。
S1233、深度学习模型的权重集合依次在寻优数据集上推理，得到性能指标最高的模型。
S2、对所述农作物的图像进行处理获得图像的高维特征值并进行统计组合获得多个维度特征值，进而计算出农作物在图像中的精准模板信息，最后依据模板信息拟合并显示出农作物的轮廓信息。
S21、深度卷积网络模型将获取的单个农作物的图像转换成图像对应的高维特征值；针对深度卷积网络模型做进一步的优化，所述深度卷积网络模型使用通道剪枝方法压缩图像的冗余特征通道，以达到大幅降低模型的参数量和计算量的效果，经过大幅精简后，能够实时地运行在多个操作系统上。
S22、神经网络单元统计所述高维特征值，并组合形成多个维度特征值；
S23、计算显示单元根据多个维度特征值计算出农作物在所述图像中的模板信息，并依据模板信息拟合并显示出农作物的轮廓信息。
该子系统及方法结合人工智能处理模块和计算机视觉处理模块，用于农作物图片的形状信息分割。具体来说，通过计算机视觉处理模块处理农作物图片，滤除图片中的噪声信号并获取图片中农作物的粗糙定位；再利用人工智能处理模块提取图片的特征信息，协同农作物的粗糙定位信息，分割出农作物的精准形状。此外，该方法基于模型剪枝技术，将用于形状分析的模型的参数量和计算量大幅压缩，进而实现实时高效地分析多个农作物形状。
相比于人工或其他识别技术，本系统和方法中使用的计算机视觉技术为预测精度奠定了坚实的基础，能够保障识别精度误差小于5个像素。而人工智能技术能够分析多种复杂的农作物形状、多个农作物的空间组合等特殊场景。
2A、质量分析子系统
如图2所示，质量分析子系统包括
农作物图像处理模块，用于处理包含多粒农作物信息的扫描图像，分析出图像中多个农作物的形状、类别信息；
具体地说，包括
图像扫描设备，用于对设定量的农作物样本进行多角度的图像扫描，在该方案中使用少于50g的样本量，获得多角度的农作物外表扫描图像；
图像处理单元，用于对农作物外表扫描图像做图像处理，包括图像归一化、多图像匹准，计算出图像中多粒农作物的形状和所属类别信息。
农作物质量判定模块，用于预测多粒农作物的实际质量。基于强监督学习技术，依据多粒农作物的形状和所属类别信息结合所述的样本标注子系统提供的标注信息，推算出农作物的实际质量。
2B、质量分析方法
农作物质量分析方法，包括以下步骤：
S1、农作物图像处理模块处理多角度包含多粒农作物的扫描图像，分析出图像中多个农作物的形状、类别信息；具体步骤如下：
S11、图像扫描设备对设定量的农作物样本进行多角度的图像扫描，在该方案中使用少于50g的样本量，获得多角度的农作物外表扫描图像；
S12、图像处理单元，用于对农作物外表扫描图像做图像处理，包括图像归一化、多图像匹准，计算出图像中多粒农作物的形状和所属类别信息。
S2、农作物质量判定模块通过多粒农作物的形状和所属类别信息结合所述的样本标注子系统中的标注信息，基于强监督学习技术，训练农作物质量判定模块；
S3、农作物质量判定模块训练完成后，接收农作物图像处理模块输出的多粒农作物的形状和所属类别信息，输出农作物的质量信息。
该子系统包括农作物图像处理模块和农作物质量判定模块，农作物图像处理模块基于人工智能技术，用于处理多角度包含多个农作物信息的扫描图像，农作物质量判定模块基于强监督学习技术，训练并得到高精度的质量分析模型，在实际推算过程中，可直接接收农作物图像处理程序输出的农作物的形状和类别信息，快速并准确地计算出农作物的质量信息。
3A、三维影像重建子系统
如图3所示，三维影像重建子系统包括
RPN网络单元，输入带有标注信息的二维图像到神经网络单元训练获得；带有标注信息的二维图像为标注后的农作物的正反面彩色图像，所述RPN网络单元输出特定位置的具体坐标信息；在该实施例中，输入300万张带有标注信息的需重建谷物二维图像。
农作物的形态和姿势预测子单元，根据输入的特定区域，预测出谷物在三维空间中的形状参数和姿态参数；
形状采样子网络，根据谷物的形状参数，解码出对应谷物的形状在空间中的点云模型；
刚性变换单元，依据预测出谷物在三维空间中的形状参数和姿态参数，对生成的点云模型进行姿态参数的刚性变换；
转换存储单元，将刚性变换的结果进行结构、姿态的三维重建，获得农作物的体积信息。
3B、三维影像重建方法
三维影像重建方法，包括以下步骤：
S1、输入带有标注信息的农作物正反面彩色图像，使用基于神经网络单元训练的RPN网络，输出特定位置的二维坐标信息；
S2、将二维坐标信息输入到农作物的形态和姿势预测子单元中，农作物的形态和姿势预测子单元根据输入的特定位置，预测出谷物在三维空间中的形状参数和姿态参数；
S3、形状采样子网络根据农作物的形状参数，解码出对应农作物的形状在空间中的点云模型；
S4、根据步骤S2中的姿态参数，对步骤S3生成的点云模型进行姿态参数的刚性变换；
S5、将刚性变换的结果进行结构、姿态的三维重建，获得农作物的体积信息。
三维影像重建子系统基于计算机视觉技术和深度学习技术，主要功能是对采集的农作物(大豆、玉米、小麦、水稻等)正反面图像进行三维立体建模，将二维平面影像信息转化为三维立体影像用于电子存档。该方法可以将谷物的表皮信息和体积信息进行电子存档，不会因为实物随着保存年限的增加导致表皮和体积发生变化，并且可以根据三维体积换算出谷物质量。
4A、表面缺陷检测定位子系统
如图4所示，表面缺陷检测定位子系统包括依次设置的
深度卷积网络模型，将归一化后的图像信息进行高维特征提取，使每个ROI生成固定尺寸大小的特征图；
RPN区域候选框网络，用于生成建议区域，生成区域坐标信息，所述映射到深度卷积网络模型提取的最后一层卷积特征图之上；在该实施例中，每张图片生成500个建议区域；
评价分类概率与评价边框回归模型，对分类概率和边框回归联合训练。
4B、表面缺陷检测定位方法
表面缺陷检测定位的方法，具体步骤包括：
S1：输入带有缺陷的训练图像；
S2：将图像进行归一化操作送入深度卷积网络模型进行图像高维特征提取；
S3：使用RPN区域候选框网络生成建议区域，每张图片生成500个建议区域；
S4：把生成的建议区域映射到深度卷积网络模型提取的最后一层卷积特征图之上；
S5：采用深度卷积网络模型中的池化层使每个感兴趣区域ROI生成固定尺寸大小的特征图；
S6：采用评价分类概率与评价边框回归对分类概率和边框回归联合训练；
S7：将训练好的检测网络部署在云端或者客户端。
人工智能农作物表面缺陷(虫蚀、发芽、病斑、生霉、破碎)定位，主要是用于谷物不完善粒缺陷的具体位置检测，该子系统及方法主要基于深度学习的目标检测技术，农作物不完善粒缺陷定位不同于传统的不完善粒分类，只是初步的将农作物进行不完善粒类别的区分，并不能精确的给出具体的缺陷位置，该方法可以精确给出每一个缺陷在谷物表面位置，该方案可以为谷物科研人员提供更加细粒度的谷物缺陷检测信息，方便其对各类缺陷产生的原因做更加深入的研究。
5A、农作物图像自动分类子系统
如图5所示，所述农作物图像自动分类子系统包括
输入模块，接受一粒待检测目标农作物的图像；图像格式不做限定，但建议使用类似PNG的无损压缩格式的图像，如果输入的图像格式该模块不支持，通过安装该图像格式的编解码插件；该模块会对图像上的颗粒进行边缘轮廓寻找，以便滤除颗粒外的无用图像数据。
分类模块，基于深度神经网络模型对输入模块的数据进行分析，并给出相应的分析结果；分类模块支持插件安装，方便系统扩展，对不同的谷物可制作并安装相应的插件。
输出模块，显示输入的图像，标出图像中颗粒的边缘轮廓，并给出对所述农作物基于图像上的分类判别结果。输出模块支持输出图像的保存，保存的图像会标出颗粒轮廓，并标识出图像颗粒的分类判别结果；此外，该模块支持结果数据的输出，使得该系统可作为其他系统的一个扩展模块，同时也可基于系统输出的数据来自定义输出等。
5B、农作物图像自动分类方法
农作物图像自动分类方法包括以下步骤：
S1、接受待检测一粒目标农作物的图像，对图像上的颗粒进行边缘轮廓寻找，滤除颗粒外的无用图像数据，将图像数据发送到分类模块中；
S2、基于深度神经网络模型对输入模块的数据进行分析，并给出相应的分析结果；
S3、显示输入的图像，标出图像中颗粒的边缘轮廓，并给出对该颗粒基于图像上的分类判别结果。
该子系统及方法是基于人工智能对图像的强大分析能力来协助农作物分类(例如，小麦、稻谷的不完善粒检测)相关工作人员，在基于农作物图像上做一次类别判断。
6A、农作物等级在线评审子系统
如图7所示，农作物等级在线评审子系统包括：
数据采集模块，对谷物进行图像数据的采集，集成于谷物数据采集的硬件平台中；具体地说，该模块需要工作人员配合，将目标谷物放入谷物数据采集硬件平台的载物台中，并按下启动开关按钮，硬件设备会自动对目标谷物采集图像数据，并完成目标谷物的回收。
网络模块，用于支撑硬件采集设备与服务器之间的通信；具体的通信内容包括将谷物图像数据传输到服务器，接收服务器分析的结果等。该模块的实现是基于开源软件库Boost ASIO来实现的，网络传输支持对过大的数据进行分片，以确保服务器能正确完整的收到数据。支持网络请求缓存，以确保在软件异常退出时，能够缓存当前执行的任务，为后期恢复准备。
算法模块，对服务器接收到的谷物图像数据进行分析，并给出相应的分析评审结果；所述算法模块是部署于服务器上。从谷物图像上使用基于深度神经网络的分割算法分割出每颗谷物颗粒；然后对每个分割好的颗粒使用基于深度神经网络的品质检测算法进行品质检测；最后，对所有检测结果进行统计分析，并对数据做记录。
数据模块，对服务器接收到的谷物数据，服务器分析的结果数据等进行统一存储和管理；支持获取已管理的数据，该模块可作为后期谷物评审大数据分析的基础模块。
结果查询展示模块，从数据模块获取指定谷物分析评审结果用于展示；该模块支持所有历史谷物分析评审结果的查询，并支持选定分析评审结果的统计分析，给出基础的大数据分析结论。
6B、农作物等级在线评审方法
S1、数据采集模块对谷物进行图像数据的采集，然后经过网络模块发送到算法模块中；
S2、算法模块首先从谷物图像上使用基于深度神经网络的分割算法分割出每颗谷物颗粒；然后对每个分割好的颗粒使用基于深度神经网络模型的品质检测算法进行品质检测；最后，对所有检测结果进行统计分析，并对数据做记录；
如图8A所示，所述分割算法具体为：将一个谷物颗粒图像从一张有众多谷物颗粒的图像中分离并单独提取出来。
如图8B所示，所述品质检测算法具体为：对单独提取出来的一个谷物颗粒图像数据送入深度学习神经网络进行计算得到其品质参数。
S3、算法模块通过网络模块向数据模块输出谷物数据，数据模块将服务器分析的结果数据进行统一存储和管理；
S4、结果查询展示模块经过网络模块获得数据模块中指定谷物分析评审结果用于展示；该模块支持所有历史谷物分析评审结果的查询，并支持选定分析评审结果的统计分析，给出基础的大数据分析结论。
该子系统主要是基于人工智能，计算机视觉等技术实现农作物品质等级的在线评审功能。农作物通过硬件设备采集其图像，然后通过网络传输到服务器，服务器上配置的人工智能分析算法，对采集到的谷物图像进行分析，得到相应的分析评审结果，再通过网络将分析评审结果展示出来。
7A、样本标注子系统
如图9所示，样本标注子系统包括
注册登录单元，包括用户注册、用户注销、用户权限；
文件单元，包括上传文件子单元和下载文件子单元，所述上传文件子单元用于上传待标注的设定大小和格式的图片样本，所述下载子单元用于下载修改后指定格式的标注信息数据文件，用于检测算法训练；
样本标注单元，用于对上传子单元上传的图片样本和通过python脚本处理相应图片样本得到的xml文件进行智能识别，得到的样本标注信息仅需人工微调后即可用于算法模型训练。选择标注的类型，如：框、点、多边形等，并且可以设定标注的农作物颗粒的线条色彩，如果未设定则线条色彩为随机显示。标注的样本图片也是可以进行放大缩小处理的，大大加强了标注数据的准确性，该单元还可以实时复查漏标样本，可对标注过的农作物颗粒进行掩盖，未标注的农作物颗粒就会显而易见，大大降低了人工标注的复杂度。
7B、样本标注方法
样品标注方法的具体步骤如下：
S1、在注册登录单元中注册用户信息并赋予用户相关的权限；
S2、在文件单元的上传文件子单元中上传待标注的图片样本；
S3、对上传子单元上传的图片样本的样本位置数据进行智能识别，选择标注的类型，并且设定标注的农作物颗粒的线条色彩，通过人工复检后获得最终样本标注文件；
S4、通过文件单元中的下载文件子单元下载所述的样本标注文件并输出。首先可以对上传入软件的样本位置数据进行智能识别，其次可以选择标注的类型如：框、点、多边形等，并且标注的小麦颗粒的线条色彩是随机选取的。
该方法主要是基于人工智能对谷物图片样本标注，它整合了基于tensorflow的半自动标注模型，可以预处理一部分数据，为便于人工标注，软件智能的随机显示标注框的色彩，防止漏标。主要功能是针对农作物(小麦、稻谷等)图片的标注，用于检测算法的数据集。样本标注的越准确，算法模型的最终效果也就越好。
农作物图片样本标注子系统中的成员管理系统，如创建和删除用户，它涵盖了对图像的基本标注方式如：框、点、多边形，同时对标注的样本可设定不同的颜色加以区分，本子系统还可以对已标注的样本进行颜色覆盖，便于查缺补漏。农作物图片样本标注软件整合了基于tensorflow的半自动标注模型，可以预处理一部分数据，如对python-opencv处理图片得到的xml坐标数据文件可以导入到谷物图片样本标注软件，大大节省了样本标注的时间。
以上各个子系统可以单独工作，也可以组合工作，其中有部分交集的可以使用本申请中公开的子系统和方法，也可以使用现有技术中其他的系统和方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种人工智能农作物处理系统，其特征在于，包括
形状分析子系统，用于分析农作物的形状；
质量分析子系统，用于分析农作物质量；
三维影像重建子系统，用于对采集的农作物正反面图像进行三维立体建模，将二维平面影像信息转化为三维立体影像用于电子存档；
表面缺陷检测定位子系统，用于农作物不完善粒缺陷的具体位置检测；
农作物图像自动分类子系统，用于农作物的不完善粒和完善粒的分类；
农作物等级在线评审子系统，用于实现谷物品质等级的在线评审功能；
样本标注子系统，用于对农作物的图片进行标注，制作算法需要的数据集。
2.根据权利要求1所述的一种人工智能农作物处理系统，其特征在于，所述形状分析子系统包括
计算机视觉处理模块，用于获取多角度的农作物外表扫描图像，对农作物外表扫描的图像做图像预处理，获得单个农作物的图像；
人工智能处理模块，用于对所述农作物的图像进行处理获得图像的高维特征值并进行统计组合获得多个维度特征值，进而计算出农作物在图像中的模板信息，最后依据模板信息拟合并显示出农作物的轮廓信息。
3.根据权利要求2所述的一种人工智能农作物处理系统，其特征在于，所述计算机视觉处理模块包括依次设置的
图像扫描设备，用于对设定量的农作物样本进行图像扫描，获得多角度的农作物外表扫描图像；
图像处理单元，用于对农作物外表扫描图像做图像预处理，最终将多颗农作物的图像分割成多张单个农作物的图像；所述图像处理单元包括滤波算法子单元和边缘信号增强子单元，所述滤波算法子单元用于滤除图像中的干扰信号，所述边缘信号增强子单元用于多角度的农作物外表扫描图像的配准。
4.根据权利要求1所述的一种人工智能农作物处理系统，其特征在于，所述质量分析子系统包括：
农作物图像处理模块，用于处理包含多粒农作物信息的扫描图像，分析出图像中多个农作物的形状、类别信息；
农作物质量判定模块，用于预测多粒农作物的实际质量，基于强监督学习技术，依据多粒农作物的形状和所属类别信息结合所述的样本标注子系统提供的标注信息，推算出农作物的实际质量。
5.根据权利要求4所述的一种人工智能农作物处理系统，其特征在于，所述农作物图像处理模块包括
图像扫描设备，用于对设定量的农作物样本进行多角度的图像扫描，获得多角度的农作物外表扫描图像；
图像处理单元，用于对农作物外表扫描图像做图像处理，包括图像归一化、多图像匹准，计算出图像中多粒农作物的形状和所属类别信息。
6.根据权利要求1所述的一种人工智能农作物处理系统，其特征在于，所述三维影像重建子系统包括：
RPN网络单元，输入带有标注信息的二维图像到神经网络单元训练获得；带有标注信息的二维图像为标注后的农作物的正反面彩色图像，所述RPN网络单元输出特定位置的具体坐标信息；
农作物的形态和姿势预测子单元，根据输入的特定区域，预测出谷物在三维空间中的形状参数和姿态参数；
形状采样子网络，根据谷物的形状参数，解码出对应谷物的形状在空间中的点云模型；
刚性变换单元，依据预测出谷物在三维空间中的形状参数和姿态参数，对生成的点云模型进行姿态参数的刚性变换；
转换存储单元，将刚性变换的结果进行结构、姿态的三维重建，获得农作物的体积信息。
7.根据权利要求1所述的一种人工智能农作物处理系统，其特征在于，农作物等级在线评审子系统包括：
数据采集模块，对谷物进行图像数据的采集，集成于谷物数据采集的硬件平台中；
网络模块，用于支撑硬件采集设备与服务器之间的通信；
算法模块，对服务器接收到的谷物图像数据进行分析，并给出相应的分析评审结果；所述算法模块部署于服务器上；
数据模块，对服务器接收到的谷物数据，服务器分析的结果数据等进行统一存储和管理；支持获取已管理的数据；
结果查询展示模块，从数据模块获取指定谷物分析评审结果用于展示。
8.根据权利要求1所述的一种人工智能农作物处理系统，其特征在于，所述样本标注子系统包括
注册登录单元，包括用户注册、用户注销、用户权限；
文件单元，包括上传文件子单元和下载文件子单元，所述上传文件子单元用于上传待标注的设定大小和格式的图片样本，所述下载子单元用于下载修改后指定格式的标注信息数据文件，用于检测算法训练；
样本标注单元，用于对上传子单元上传的图片样本的样本位置数据进行智能识别，选择标注的类型，并且设定标注的农作物颗粒的线条色彩。
CN202011547923.0A 2020-12-23 2020-12-23 一种人工智能农作物处理系统和方法 Pending CN112580540A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011547923.0A CN112580540A (zh) 2020-12-23 2020-12-23 一种人工智能农作物处理系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011547923.0A CN112580540A (zh) 2020-12-23 2020-12-23 一种人工智能农作物处理系统和方法

Publications (1)

Publication Number Publication Date
CN112580540A true CN112580540A (zh) 2021-03-30

Family

ID=75139543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011547923.0A Pending CN112580540A (zh) 2020-12-23 2020-12-23 一种人工智能农作物处理系统和方法

Country Status (1)

Country Link
CN (1) CN112580540A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114037835A (zh) * 2022-01-11 2022-02-11 安徽高哲信息技术有限公司 粮食籽粒质量估算方法、装置、设备及存储介质
CN114049481A (zh) * 2022-01-12 2022-02-15 安徽高哲信息技术有限公司 粮食籽粒检测对齐方法、装置、设备及存储介质
CN114066848A (zh) * 2021-11-16 2022-02-18 苏州俪濠智能科技有限公司 一种fpca外观缺陷视觉检测系统
CN116343201A (zh) * 2023-05-29 2023-06-27 安徽高哲信息技术有限公司 谷粒类别识别方法、装置及计算机设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451602A (zh) * 2017-07-06 2017-12-08 浙江工业大学 一种基于深度学习的果蔬检测方法
CN108195985A (zh) * 2018-01-08 2018-06-22 新疆大学 一种基于挥发性成分结合pca和csa模型判别啤酒花掺伪的方法
CN108335300A (zh) * 2018-06-22 2018-07-27 北京工商大学 一种基于cnn的食品高光谱信息分析系统与方法
US20180293721A1 (en) * 2017-04-07 2018-10-11 Kla-Tencor Corporation Contour based defect detection
CN109470648A (zh) * 2018-11-21 2019-03-15 中国科学院合肥物质科学研究院 一种单籽粒作物不完善粒快速无损判定方法
CN109711319A (zh) * 2018-12-24 2019-05-03 安徽高哲信息技术有限公司 一种粮食不完善粒图像识别样本库建立的方法及系统
CN109977924A (zh) * 2019-04-15 2019-07-05 北京麦飞科技有限公司 针对农作物的无人机机上实时图像处理方法及系统
CN110070595A (zh) * 2019-04-04 2019-07-30 东南大学 一种基于深度学习的单张图像3d对象重建方法
CN110909589A (zh) * 2018-09-18 2020-03-24 迪尔公司 谷粒质量控制系统和方法
CN111291686A (zh) * 2020-02-10 2020-06-16 中国农业大学 农作物根果表型参数的提取与根果表型判别方法及系统
CN111842097A (zh) * 2020-07-16 2020-10-30 上海交通大学 颗粒状农作物筛选排列装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180293721A1 (en) * 2017-04-07 2018-10-11 Kla-Tencor Corporation Contour based defect detection
CN107451602A (zh) * 2017-07-06 2017-12-08 浙江工业大学 一种基于深度学习的果蔬检测方法
CN108195985A (zh) * 2018-01-08 2018-06-22 新疆大学 一种基于挥发性成分结合pca和csa模型判别啤酒花掺伪的方法
CN108335300A (zh) * 2018-06-22 2018-07-27 北京工商大学 一种基于cnn的食品高光谱信息分析系统与方法
CN110909589A (zh) * 2018-09-18 2020-03-24 迪尔公司 谷粒质量控制系统和方法
CN109470648A (zh) * 2018-11-21 2019-03-15 中国科学院合肥物质科学研究院 一种单籽粒作物不完善粒快速无损判定方法
CN109711319A (zh) * 2018-12-24 2019-05-03 安徽高哲信息技术有限公司 一种粮食不完善粒图像识别样本库建立的方法及系统
CN110070595A (zh) * 2019-04-04 2019-07-30 东南大学 一种基于深度学习的单张图像3d对象重建方法
CN109977924A (zh) * 2019-04-15 2019-07-05 北京麦飞科技有限公司 针对农作物的无人机机上实时图像处理方法及系统
CN111291686A (zh) * 2020-02-10 2020-06-16 中国农业大学 农作物根果表型参数的提取与根果表型判别方法及系统
CN111842097A (zh) * 2020-07-16 2020-10-30 上海交通大学 颗粒状农作物筛选排列装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王慧慧: "鲜玉米果穗自动分级方法研究", 《中国博士学位论文全文数据库工程科技Ⅰ辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114066848A (zh) * 2021-11-16 2022-02-18 苏州俪濠智能科技有限公司 一种fpca外观缺陷视觉检测系统
CN114066848B (zh) * 2021-11-16 2024-03-22 苏州极速光学科技有限公司 一种fpca外观缺陷视觉检测系统
CN114037835A (zh) * 2022-01-11 2022-02-11 安徽高哲信息技术有限公司 粮食籽粒质量估算方法、装置、设备及存储介质
CN114049481A (zh) * 2022-01-12 2022-02-15 安徽高哲信息技术有限公司 粮食籽粒检测对齐方法、装置、设备及存储介质
CN114049481B (zh) * 2022-01-12 2022-04-22 安徽高哲信息技术有限公司 粮食籽粒检测对齐方法、装置、设备及存储介质
CN116343201A (zh) * 2023-05-29 2023-06-27 安徽高哲信息技术有限公司 谷粒类别识别方法、装置及计算机设备
CN116343201B (zh) * 2023-05-29 2023-09-19 安徽高哲信息技术有限公司 谷粒类别识别方法、装置及计算机设备

Similar Documents

Publication Publication Date Title
CN112580540A (zh) 一种人工智能农作物处理系统和方法
CN112560748A (zh) 一种农作物形状分析子系统和方法
KR101977174B1 (ko) 영상 분석 방법, 장치 및 컴퓨터 프로그램
CN110926430A (zh) 一种空地一体化红树林监测系统及控制方法
CN112560749A (zh) 一种农作物分析系统和分析方法
CN112581459A (zh) 一种农作物分类系统和方法
Ninomiya High-throughput field crop phenotyping: current status and challenges
CN112016392A (zh) 一种基于高光谱图像的大豆虫害程度的小样本检测方法
CN106846462B (zh) 基于三维模拟的昆虫识别装置及方法
CN111199192A (zh) 一种采用平行线取样的田间红提葡萄整体成熟度检测方法
CN110555395A (zh) 一种油菜冠层氮素含量等级分类评估方法
Boatswain Jacques et al. Towards a machine vision-based yield monitor for the counting and quality mapping of shallots
Zhao et al. Automatic sweet pepper detection based on point cloud images using subtractive clustering
CN117218534A (zh) 一种农作物叶部病害识别方法
CN116189076A (zh) 一种鸟类观测站的观测识别系统及其方法
CN115015258A (zh) 一种农作物长势与土壤水分关联确定方法及相关装置
KR102576427B1 (ko) 구름 이미지를 이용한 실시간 강수량 예측 장치, 이를 이용한 강수량 예측 방법 및 이를 제공하기 위한 컴퓨터 프로그램이 기록된 컴퓨터-판독가능매체
CN117548370A (zh) 农业废弃物快速处理方法
CN113723833A (zh) 造林实绩质量评价方法、系统、终端设备及存储介质
KR20220022961A (ko) 개선된 작물생육 분석시스템
Rocha IV et al. Philippine carabao mango pest identification using convolutional neural network
CN112750123A (zh) 一种水稻病虫害监测方法及系统
CN116958128B (zh) 基于深度学习的医学图像自动定位方法
CN111339904B (zh) 动物精子图像识别方法和装置
US20210241065A1 (en) Classifying Discipline-Specific Content Using a General-Content Brain-Response Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination