CN111199192A - 一种采用平行线取样的田间红提葡萄整体成熟度检测方法 - Google Patents

一种采用平行线取样的田间红提葡萄整体成熟度检测方法 Download PDF

Info

Publication number
CN111199192A
CN111199192A CN201911336918.2A CN201911336918A CN111199192A CN 111199192 A CN111199192 A CN 111199192A CN 201911336918 A CN201911336918 A CN 201911336918A CN 111199192 A CN111199192 A CN 111199192A
Authority
CN
China
Prior art keywords
maturity
grapes
grape
image
red globe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911336918.2A
Other languages
English (en)
Inventor
李振波
郭若皓
陈雅茹
李萌
岳峻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN201911336918.2A priority Critical patent/CN111199192A/zh
Publication of CN111199192A publication Critical patent/CN111199192A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于水果质量检测技术领域的一种采用平行线取样的田间红提葡萄整体成熟度检测方法。该方法通过对采集的红提葡萄原始图像进行预处理和图像增强，搭建了适用于红提葡萄成熟度分类检测的神经网络模型，通过对样本图片进行人工标注，建立对应的数据集，并利用该数据集进行神经网络模型的训练，获取红提葡萄成熟度分类检测模型，利用模型对平行线取样得到的葡萄图像进行成熟度分类检测，得到成熟度检测结果，判断整片园区内的全部葡萄的整体成熟度。该发明提高了红提葡萄成熟度判定的准确率，避免了背景复杂下，葡萄识别不够准确的问题，减轻了工作强度，提升了葡萄产业的智能化水平，对红提葡萄成熟度检测和葡萄产业规范化升级具有重要意义。

Description

一种采用平行线取样的田间红提葡萄整体成熟度检测方法
技术领域
本发明属于水果质量检测技术领域，特别涉及一种采用平行线取样的田间红提葡萄整体成熟度检测方法。
背景技术
近几年，随着生活水平的提高，人们对葡萄及其副产品(如葡萄酒、葡萄干等)的需求量日益增大，消费者对葡萄的质量和品相提出了更高的要求。研究表明，葡萄的成熟度是决定葡萄品相质量的重要因素，目前判断葡萄成熟度的方法主要有人工判别法与化学检测法。人工判别法只能通过对少量葡萄的观察来估计全部葡萄的成熟度，难以记录大量葡萄的成色效果，分析结果的可靠性差；化学检测法虽然检测精准，可靠性强，但是需要采样处理和各种化学分析，处理过程十分繁琐。现在还没有一种非常成熟的能够检测整个农场或果园葡萄整体成熟度的方法，因此本发明方法具有迫切的实际意义。
随着计算机视觉技术的发展，越来越多的领域开始使用图像处理技术来帮助改善工作。利用深度学习模型对葡萄进行目标检测，可以达到对单颗葡萄成熟度分类的目的，而平行线取样法为合理预测整个农场或果园葡萄整体成熟度提供了非常大的便利。
对于葡萄的成熟度检测以下方法技术应用较广：
(1)参考中国专利CN103063595A.公开了一种葡萄成熟度的检测装置及其应用，北京农业智能装备技术研究中心研发了一种葡萄成熟度的检测装置。该装置包括葡萄果穗周围气体的隔离装置、吸气装置、气室和信号采集分析系统，通过将系统隔离装置安装在葡萄果穗外，然后用吸气装置将葡萄产生的气体导入气室，由信号采集分析系统分析气体中含有的乙烯含量来判断葡萄的成熟程度。这种化学检测的方式不仅需要大量的人工参与和专业人员分析，而且对实际环境的适应性也比较差。
(2)中国农业大学某团队参考中国专利CN108037081A，一种酿酒葡萄成熟度监测方法和系统；研究了一种针对酿酒葡萄的成熟度检测方法。该方法通过分析葡萄的光谱图像和理化指标值之间的对应关系、理化指标值与成熟度参数之间的对应关系，建立葡萄成熟度的计算模型，并通过采集数据量的增大进行数据更新与模型更新来达到对葡萄成熟度进行实时监测的目的。针对这种无人机采集红外光谱图像与化学测量结合的方式，其操作过程比较繁琐，且应用对象为酿酒葡萄，与本发明针对的红提葡萄应用领域不同。
(3)中国计量大学相关单位参考鲁伟奇在中国计量学院[D]上发表的“葡萄成熟度无损检测研究”；用葡萄表皮的颜色值作为判断葡萄成熟度的依据，采用C均值聚类算法对129株葡萄进行聚类训练，结合葡萄在生长每个阶段表皮颜色不同建立了7组分类标准，对待检测葡萄的彩色图片进行葡萄表皮颜色特征值提取，计算待检测的葡萄颜色特征与7组分类标准的欧式距离，以距离最小的一类作为待检测葡萄的分类级别；再采用支持向量机算法对人为选定的颜色设计颜色分类器，并重点研究紫色分类器输出值，以输出值最大者作为成熟标志，进而达到葡萄的成熟度检测。这种方式采用传统的基于边缘、轮廓、纹理、颜色等方式手工提取特征，设计过程较为繁琐，参数设置较为复杂，适用性不强，且应用对象为巨峰葡萄，与本发明针对的红提葡萄应用领域不同。
发明内容
本发明的目的是提供一种采用平行线取样的田间红提葡萄整体成熟度的检测方法，其特征在于，包括如下步骤：
(1)采集红提葡萄不同成熟度下的原始图像；
(2)对采集到的原始图像进行预处理；
(3)对预处理后的样本图片进行图像增强操作，以扩充训练样本；对图像进行水平翻转和上下翻转；对图像进行仿射变换，包括平移、缩放和旋转；对图像进行光照调节，使得图像变得更暗；
(4)利用先验知识对扩充后的训练样本进行人工标注。
(5)使用标注后的样本文件建立PASCAL-VOC2007格式的数据集；
(6)利用建立好的数据集训练Faster-RCNN检测网络，获取葡萄成熟度的分类检测模型；
(7)输出并保存葡萄成熟度的分类检测模型；
(8)利用训练后的模型进行检测，以矩形框的形式自动标记葡萄位置；
(9)统计三种类别葡萄的个数，利用下列公式计算葡萄的成熟度：Maturity＝(α1*n1+α2*n2+α3*n3)/N,其中Maturity为因变量，代表葡萄的成熟度；α1、α2和α3为常系数，分别代表绿色葡萄的成熟度权重、红色葡萄的成熟度权重和萎蔫葡萄的成熟度权重，分别取值为0、0.5和1；n1、n2和n3为自变量，分别代表绿色葡萄的个数、红色葡萄的个数和萎蔫葡萄的个数；另外N＝n1+n2+n3，N表示检测到的葡萄总数；
(10)根据葡萄成熟度的计算结果，设置成熟度区间阈值，判断结果所在区间，对区间进行划分；对落在不同成熟度区间内的葡萄园区提出合理化建议；对不同区间分配不同处理任务，辅助葡萄园区人员做出合理化决策；
(11)采用平行线取样法对果园中的葡萄进行图像采集。
所述步骤(2)原始图像进行预处理是将原始图像的格式转换为JPG，并统一图像的位深度为24，宽度为500像素，高度为375像素；对转换后的图像使用高斯滤波器进行滤波处理，去除葡萄表面可能存在的斑点噪声；对图像进行人工规则分幅裁剪，使用矩形框截取只包含红提葡萄果实的部分，获取ROI(region of interest，感兴趣区域)；利用ACE(自适应对比度增强)方法对ROI进行对比度增强，提高视觉效果，提升图像检测效果。
所述步骤(4)的具体操作是对增强后的图像进行先验知识的人工标注，利用矩形框框选出所有单颗葡萄，单颗葡萄类型共有三种，即：grape1、grape2和grape3，分别代表单颗绿色的未成熟葡萄、单颗红色的成熟葡萄和单颗萎蔫葡萄即熟透烂掉葡萄；标注完由经验丰富的果园管理人员进行逐一复核；最终每张图片均生成对应的XML文件。
所述步骤(5)使用标注后的样本文件建立PASCAL-VOC2007格式的数据集。
PASCAL-VOC2007格式的数据集的一级目录包括三个文件夹：Annotations、ImageSets和JPEGImages，Annotations文件夹用于存放标注后的XML文件，ImageSets文件夹包括训练和测试用到的TXT文件，JPEGImages文件夹用于存放图像增强后的JPG图片；利用该数据集生成YOLOv3所需的train.txt文件、val.txt文件和test.txt文件。
所述步骤(6)利用建立好的数据集训练Faster-RCNN检测网络，获取葡萄成熟度的分类检测模型。
采用Keras框架搭建Faster-RCNN神经网络；使用ResNet101网络模型对Faster-RCNN做迁移学习；将建立后的数据集导入到网络中，训练得到葡萄成熟度的分类检测模型。
所述步骤(8)利用训练后的模型进行检测，以矩形框的形式自动标记葡萄位置。
根据模型输出结果，返回单颗葡萄的位置信息，即左上角角点坐标、右下角角点坐标、矩形框的宽度和矩形框的高度；根据位置信息，画出矩形框，实现被测目标的可视化；针对单颗绿色葡萄、单颗红色葡萄和单颗萎蔫葡萄分别使用绿色框、红色框和黑色框标记。
所述(10)设置成熟度区间阈值，所述步骤(10)设置成熟度区间阈值，成熟度的区间分别为[0,0.2)、[0.2,0.5)、[0.5,0.8)、[0.8,1)，根据葡萄成熟度的计算结果，判断结果所在区间；对区间进行划分，对不同区间分配不同处理任务，协助葡萄园管理人员做出合理化决策。
(11)采用平行线取样法对果园中的葡萄进行图像采集，在每隔10列葡萄树的间隙处架设相机滑动导轨；设置滑块滑动时间和相机拍摄延迟时间，配合相机抓拍功能，对葡萄树进行图像采集；
(12)对平行线取样法采集到的图片进行预处理；步骤和处理内容与上述步骤(2)完全一致；是针对遮挡部分的葡萄串，不予考虑；针对只拍摄到背景的图片，不予处理；
(13)利用步骤(7)保存的检测模型对图片进行成熟度的检测；利用步骤(9)的成熟度计算公式判定园区内全部葡萄的综合成熟度；利用步骤(10)对落在不同成熟度区间内的葡萄园区提出合理化建议
本发明有益效果是使用训练后的检测模型对平行线取样得到的葡萄图像进行成熟度分类检测，得到成熟度检测结果，最后以局部随机样本近似代替全部样本，判断整片园区内的全部葡萄的综合成熟度，协助管理人员作出智能推荐和决策支持。。
附图说明
图1为成熟度的检测方法的流程示意图；
图2为图像预处理流程图；
图3为在葡萄成熟度分级检测应用上的效果示意图；其中a、b为成熟度分级检测效果图。
图4为采用的平行线取样图。
具体实施方式
本发明提出一种采用平行线取样的田间红提葡萄整体成熟度检测方法，下面结合附图对本发明予以进一步说明。
如图1所示，该方法具体如下：
(1)采集红提葡萄不同成熟度下的原始图像，对采集到的原始图像进行预处理；具体操作如下：
1)将原始图像的格式转换为JPG，并统一图像的位深度为24，宽度为500像素，高度为375像素；对转换后的图像使用高斯滤波器进行滤波处理，去除葡萄表面可能存在的斑点噪声；对图像进行人工规则分幅裁剪，使用矩形框截取只包含红提葡萄果实的部分，获取ROI(region of interest，感兴趣区域)；利用ACE(自适应对比度增强)方法对ROI进行对比度增强，提高视觉效果，提升图像检测效果。
2)对采集到的原始图像进行预处理，首先，对原始图像进行格式和尺度的归一化(如图2所示)，统一原始图像的格式为JPG，图像的位深度为24，像素大小为500*375，归一化可减少后续程序的处理量，提高检测速度。
3)对图像进行去燥处理，由于个别葡萄的表面存在锈斑和白斑，这对模型的建立提出了严峻的考验，噪声的干扰势必会影响模型的准确率和检测效果，因此需要去除这些斑点，本发明采用3*3的高斯滤波器对图像进行滤波操作，去除此类噪声干扰。
4)对图像进行人工规则分幅裁剪，使用矩形框截取只包含红提葡萄果实的部分，获取ROI，这样做可以有效地去除无关背景，既可以提高红提葡萄的检测精度，也可以压缩图片大小，大幅减少模型训练时间，同时为后面的特征提取和人工标注步骤做好准备。
5)对截取的ROI进行对比度增强，本发明选用自适应对比度增强法，需要将图像转到YCrCb颜色空间，Y通道表示亮度，因此只需要对Y通道进行增强，增强之后再合并通道，转换回RGB空间便完成对彩色图像的增强，该方法避免了低频背景的干扰，采用局部增强方法实现对比度的增强，可以将曝光过大区域的葡萄轮廓细节突出出来，提高了葡萄的检出率和正确率。
(2)对预处理后的样本图片进行图像增强操作，以扩充训练样本。为保证模型具有很强的鲁棒性和泛化能力，考虑到果园实际生产环境，对训练图像进行数据增强。对图像进行水平翻转和上下翻转；对图像进行仿射变换，包括平移、缩放和旋转；对图像进行光照调节，使得图像变得更暗。针对不同样本图片，随机选取部分图像增强方式扩充训练集，并且上述数据增强操作可以相互结合使用，有利于得到更丰富的图像数据。
(3)利用先验知识对扩充后的训练样本进行人工标注。使用labelImg标注工具对原始图像和增强后的图像，共计10000张图片进行人工标注，利用矩形框框选出所有的单颗葡萄，针对不同葡萄成熟度，给矩形框不同的标签，标签共有三种，即：grape1、grape2和grape3，分别代表单颗绿色葡萄(未成熟的葡萄)、单颗红色葡萄(成熟葡萄)和单颗萎蔫葡萄(熟透烂掉葡萄)。一个标签框的数据格式为左上角和右下角角点的坐标，分别为(x1，y1)，(x2，y2)，矩形框的长和宽，标注完由经验丰富的果园管理人员进行逐一复核，最终每张图片均生成对应的XML文件。
(4)使用标注后的样本文件建立PASCAL-VOC2007格式的数据集。PASCAL-VOC2007格式的数据集的一级目录包括三个文件夹：Annotations、ImageSets和JPEGImages，Annotations文件夹用于存放标注后的XML文件，ImageSets文件夹包括训练和测试用到的TXT文件，JPEGImages文件夹用于存放图像增强后的JPG图片，利用该数据集生成YOLOv3所需的train.txt文件、val.txt文件和test.txt文件。
(5)利用建立好的数据集训练Faster-RCNN检测网络，获取葡萄成熟度的分类检测模型。首先，使用Keras框架搭建Faster-RCNN神经网络，Faster-RCNN的第一部分利用VGG网络结构进行基础特征提取，第二部分是RPN网络，负责计算可能存在目标的区域坐标，判断是前景还是背景，以及利用RPN网络得到的目标区域，再经过ROI池化层得到相同长度的特征向量，第三部分经过两个全连接层接入Softmax层实现具体分类和更精确的回归坐标。
其次，下载获取ResNet101网络模型，使用Keras加载预训练的ResNet101网络模型，对Faster-RCNN网络做初始化处理，用于迁移学习。
最后，将建立好的数据集划分为训练集和测试集，其中训练集占数据集的80％，测试集占数据集的20％，训练集和测试集导入到网络中，并调整训练参数，设置总共迭代次数为100000次，初始学习速率为0.003，动量系数为0.9，批次大小为200，非极大值抑制的IoU阈值为0.9，使用GPU提高运算速率，最终得到葡萄成熟度的分类检测模型。
(6)利用训练后的模型进行检测，以矩形框的形式自动标记单颗葡萄的位置及置信度。根据模型输出结果，返回单颗葡萄的位置信息，即左上角角点坐标(x1，y1)、右下角角点坐标(x2，y2)、矩形框的宽度和矩形框的高度。通过位置信息，画出矩形框，实现被测目标的可视化，针对单颗绿色葡萄、单颗红色葡萄和单颗萎蔫葡萄分别使用绿色框、红色框和黑色框标记。设置矩形框的显示阈值为0.9，即当置信度在0.9以上时，认为该区域为葡萄，当置信度在0.9以下时，认定该区域为非葡萄，不予处理；如图3为在葡萄成熟度分级检测应用上的效果示意图；其中a、b为成熟度分级检测效果图所示，在红提葡萄成熟度检测应用上的效果示意图，该图包括该模型在两个不同葡萄图片上的检测结果。
(7)统计三种类别葡萄的个数，利用下列公式计算葡萄的成熟度。公式：Maturity＝(α1*n1+α2*n2+α3*n3)/N，其中Maturity为因变量，代表葡萄的成熟度；α1、α2和α3为常系数，分别代表绿色葡萄的成熟度权重、红色葡萄的成熟度权重和萎蔫葡萄的成熟度权重，分别取值为0、0.5和1；n1、n2和n3为自变量，分别代表绿色葡萄的个数、红色葡萄的个数和萎蔫葡萄的个数；另外N＝n1+n2+n3，N表示检测到的葡萄总数。虽然计算葡萄个数的工作可以人工完成，但是人工计数的效率低，可靠性差。假设利用平行线采样法收集到500棵葡萄树，每棵葡萄树上共有5株葡萄串，每株葡萄串共有30颗葡萄，共计75000颗葡萄，去掉可能存在的被遮挡葡萄，大约30000颗。如果采用人工计数，种植人员需要对3万颗葡萄进行分类统计，难度可想而知，如果将这一步骤交给计算机，使用本发明处理，葡萄的检测速度和检测效果都能得到很大的提升。
(8)设置成熟度区间阈值，对落在不同成熟度区间内的葡萄园区提出合理化建议。
当成熟度为0时，说明葡萄全部处于转色期前，该发明提醒果农在这段时间需要继续培育葡萄，做好葡萄进入转色期前的准备；
当成熟度落在(0,0.2)区间时，说明葡萄正处于转色期，为了防止葡萄转色慢和葡萄转色病，该发明提醒果农合理使用肥料和浇灌果园，使葡萄平稳渡过转色期；
当成熟度落在[0.2,0.4)区间时，说明葡萄有一半多已经成功转色，其余葡萄也已准备转色，该发明提醒果农，如果需要长途运输葡萄，销售到全国各地，或者仓库贮藏，此时可对果园的葡萄进行采摘；
当成熟度落在[0.4,0.6)区间内，说明葡萄基本转色完成，该发明提醒果农，葡萄基本成熟，采摘下来即可食用；
当成熟度落在[0.6,0.8)区间内，说明葡萄已经熟透，该发明提醒果农，尽快采摘，以免萎蔫；
当成熟度落在[0.8,1]区间内，说明葡萄基本萎蔫，该发明提醒果农，尽快处理，以免有虫害发生。
(9)如图4所示，这是本发明的平行线取样图，符号“+”代表葡萄树，竖线代表相机滑动导轨，本案例共有30列葡萄树，4个相机滑动导轨。本发明在每隔10列葡萄树的间隙处架设相机滑动导轨；给滑动导轨上的滑块设置0.1m/s的速度，相机的抓拍延时时间设置为1s，即每隔1s，相机进行一次拍照；针对遮挡部分的葡萄串，不予考虑，因为图片的个数足够多，数据集足够丰富；针对只拍摄到背景的照片，不予处理，红提葡萄成熟度检测模型不会在背景图片中检测出葡萄数目，对检测结果没有影响。
本发明具有的效果和特点是：
(1)本发明对采集的红提葡萄图像进行了格式和尺度的归一化，简化了后续处理步骤，提高了检测速度；
(2)本发明对图像进行了高斯滤波操作，去除了图像上的噪声点，有效地排除了葡萄表面锈斑和白斑的噪声干扰，大大提高了检测精度；
(3)本发明对图像进行人工规则分幅裁剪，得到ROI，减少了背景对红提葡萄识别的干扰，既可以提高红提葡萄的检测精度，也可以压缩图片大小，大幅减少模型训练时间，最终提高检出率，降低错误率；
(4)本发明利用包括翻转、仿射变换、光照调节、明暗对比度变换等操作的数据增强技术对训练样本进行数据增强，丰富了图像数据，扩充了数据集的规模，解决了样本匮乏问题，同时也增强了模型的鲁棒性和泛化能力；
(5)本发明采用Faster-RCNN神经网络框架，打破了传统的基于边缘、轮廓、纹理等手工提取特征的检测方法参数设置的困扰；
(6)本发明利用计算机视觉技术实现了对红提葡萄成熟度的自动检测，相比于人工检测，节省了人力成本，提高了生产效率，真正意义上实现了农业无人化管理；
(7)本发明定义了一种新的成熟度计算公式，可以有效计算整片园区内红提葡萄的综合成熟度；
(8)本发明对成熟度进行分区间管理，针对不同成熟度做出不同的决策，实现农业决策智能推荐管理；
(9)本发明设计了相机滑动导轨的分布形式，采用平行线取样法以不同角度随机拍摄葡萄树图像，实现样本的合理采集，对预测园区葡萄成熟度具有重要意义。

Claims (7)

1.一种采用平行线取样的田间红提葡萄整体成熟度的检测方法，其特征在于，包括如下步骤：
(1)采集红提葡萄不同成熟度下的原始图像；
(2)对采集到的原始图像进行预处理；
(3)对预处理后的样本图片进行图像增强操作，以扩充训练样本；对图像进行水平翻转和上下翻转；对图像进行仿射变换，包括平移、缩放和旋转；对图像进行光照调节，使得图像变得更暗；
(4)利用先验知识对扩充后的训练样本进行人工标注；
(5)使用标注后的样本文件建立PASCAL-VOC2007格式的数据集；
(6)利用建立好的数据集训练Faster-RCNN检测网络，获取葡萄成熟度的分类检测模型；
(7)输出并保存葡萄成熟度的分类检测模型；
(8)利用训练后的模型进行检测，以矩形框的形式自动标记葡萄位置；
(9)统计三种类别葡萄的个数，利用下列公式计算葡萄的成熟度：Maturity＝(α1*n1+α2*n2+α3*n3)/N,其中Maturity为因变量，代表葡萄的成熟度；α1、α2和α3为常系数，分别代表绿色葡萄的成熟度权重、红色葡萄的成熟度权重和萎蔫葡萄的成熟度权重，分别取值为0、0.5和1；n1、n2和n3为自变量，分别代表绿色葡萄的个数、红色葡萄的个数和萎蔫葡萄的个数；另外N＝n1+n2+n3，N表示检测到的葡萄总数；
(10)根据葡萄成熟度的计算结果，设置成熟度区间阈值，判断结果所在区间，对区间进行划分；对落在不同成熟度区间内的葡萄园区提出合理化建议；对不同区间分配不同处理任务，辅助葡萄园区人员做出合理化决策；
(11)采用平行线取样法对果园中的葡萄进行图像采集，在每隔10列葡萄树的间隙处架设相机滑动导轨；设置滑块滑动时间和相机拍摄延迟时间，配合相机抓拍功能，对葡萄树进行图像采集；
(12)对平行线取样法采集到的图片进行预处理；步骤和处理内容与上述步骤(2)完全一致；是针对遮挡部分的葡萄串，不予考虑；针对只拍摄到背景的图片，不予处理；
(13)利用步骤(7)保存的检测模型对图片进行成熟度的检测；利用步骤(9)的成熟度计算公式判定园区内全部葡萄的综合成熟度；利用步骤(10)对落在不同成熟度区间内的葡萄园区提出合理化建议。
2.根据权利要求1所述采用平行线取样的田间红提葡萄整体成熟度的检测方法，其特征在于，所述步骤(2)原始图像进行预处理是将原始图像的格式转换为JPG，并统一图像的位深度为24，宽度为500像素，高度为375像素；对转换后的图像使用高斯滤波器进行滤波处理，去除葡萄表面可能存在的斑点噪声；对图像进行人工规则分幅裁剪，使用矩形框截取只包含红提葡萄果实的部分，获取ROI(region of interest，感兴趣区域)；利用ACE(自适应对比度增强)方法对ROI进行对比度增强，提高视觉效果，提升图像检测效果。
3.根据权利要求1所述采用平行线取样的田间红提葡萄整体成熟度的检测方法，其特征在于，所述步骤(4)的具体操作是对增强后的图像进行先验知识的人工标注，利用矩形框框选出所有单颗葡萄，单颗葡萄类型共有三种，即：grape1、grape2和grape3，分别代表单颗绿色的未成熟葡萄、单颗红色的成熟葡萄和单颗萎蔫葡萄即熟透烂掉葡萄；标注完由经验丰富的果园管理人员进行逐一复核；最终每张图片均生成对应的XML文件。
4.根据权利要求1所述采用平行线取样的田间红提葡萄整体成熟度的检测方法，其特征在于，所述步骤(5)使用标注后的样本文件建立PASCAL-VOC2007格式的数据集；PASCAL-VOC2007格式的数据集的一级目录包括三个文件夹：Annotations、ImageSets和JPEGImages，Annotations文件夹用于存放标注后的XML文件，ImageSets文件夹包括训练和测试用到的TXT文件，JPEGImages文件夹用于存放图像增强后的JPG图片；利用该数据集生成YOLOv3所需的train.txt文件、val.txt文件和test.txt文件。
5.根据权利要求1所述采用平行线取样的田间红提葡萄整体成熟度的检测方法，其特征在于，所述步骤(6)利用建立好的数据集训练Faster-RCNN检测网络，获取葡萄成熟度的分类检测模型；采用Keras框架搭建Faster-RCNN神经网络；使用ResNet101网络模型对Faster-RCNN做迁移学习；将建立后的数据集导入到网络中，训练得到葡萄成熟度的分类检测模型。
6.根据权利要求1所述采用平行线取样的田间红提葡萄整体成熟度的检测方法，其特征在于，所述步骤(8)利用训练后的模型进行检测，以矩形框的形式自动标记葡萄位置；根据模型输出结果，返回单颗葡萄的位置信息，即左上角角点坐标、右下角角点坐标、矩形框的宽度和矩形框的高度；根据位置信息，画出矩形框，实现被测目标的可视化；针对单颗绿色葡萄、单颗红色葡萄和单颗萎蔫葡萄分别使用绿色框、红色框和黑色框标记。
7.根据权利要求1所述采用平行线取样的田间红提葡萄整体成熟度的检测方法，其特征在于，所述(10)设置成熟度区间阈值，所述步骤(10)设置成熟度区间阈值，成熟度的区间分别为[0,0.2)、[0.2,0.5)、[0.5,0.8)、[0.8,1)，根据葡萄成熟度的计算结果，判断结果所在区间；对区间进行划分，对不同区间分配不同处理任务，协助葡萄园管理人员做出合理化决策。
CN201911336918.2A 2019-12-23 2019-12-23 一种采用平行线取样的田间红提葡萄整体成熟度检测方法 Pending CN111199192A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911336918.2A CN111199192A (zh) 2019-12-23 2019-12-23 一种采用平行线取样的田间红提葡萄整体成熟度检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911336918.2A CN111199192A (zh) 2019-12-23 2019-12-23 一种采用平行线取样的田间红提葡萄整体成熟度检测方法

Publications (1)

Publication Number Publication Date
CN111199192A true CN111199192A (zh) 2020-05-26

Family

ID=70746767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911336918.2A Pending CN111199192A (zh) 2019-12-23 2019-12-23 一种采用平行线取样的田间红提葡萄整体成熟度检测方法

Country Status (1)

Country Link
CN (1) CN111199192A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768401A (zh) * 2020-07-08 2020-10-13 中国农业大学 一种基于深度学习的冰鲜鲳鱼新鲜度快速分级方法
CN111968080A (zh) * 2020-07-21 2020-11-20 山东农业大学 一种基于高光谱和深度学习的肥城桃内外品质检测方法
CN112529152A (zh) * 2020-12-03 2021-03-19 开放智能机器（上海）有限公司 一种基于人工智能的西瓜成熟度检测的系统和方法
CN114187257A (zh) * 2021-12-09 2022-03-15 江苏业派生物科技有限公司 基于数据可视化的农产品展示系统及方法
CN116310806A (zh) * 2023-02-28 2023-06-23 北京理工大学珠海学院 一种基于图像识别的智慧农业一体化管理系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100215221A1 (en) * 2005-06-30 2010-08-26 Sferis Method and device for analyzing berries
CN108037081A (zh) * 2017-10-20 2018-05-15 中国农业大学 一种酿酒葡萄成熟度监测方法和系统
CN109784204A (zh) * 2018-12-25 2019-05-21 江苏大学 一种用于并联机器人的堆叠串类水果主果梗识别和提取方法
CN110472575A (zh) * 2019-08-15 2019-11-19 中国农业大学 一种基于深度学习和计算机视觉的串番茄成熟度检测方法
CN110580465A (zh) * 2019-09-04 2019-12-17 秒针信息技术有限公司 品相确定方法及装置、存储介质、电子装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100215221A1 (en) * 2005-06-30 2010-08-26 Sferis Method and device for analyzing berries
CN108037081A (zh) * 2017-10-20 2018-05-15 中国农业大学 一种酿酒葡萄成熟度监测方法和系统
CN109784204A (zh) * 2018-12-25 2019-05-21 江苏大学 一种用于并联机器人的堆叠串类水果主果梗识别和提取方法
CN110472575A (zh) * 2019-08-15 2019-11-19 中国农业大学 一种基于深度学习和计算机视觉的串番茄成熟度检测方法
CN110580465A (zh) * 2019-09-04 2019-12-17 秒针信息技术有限公司 品相确定方法及装置、存储介质、电子装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MICHAEL HALSTEAD ET AL.: "Fruit Quantity and Ripeness Estimation Using a Robotic Vision System", 《IEEE ROBOTICS AND AUTOMATION LETTERS》 *
周云成: "基于双卷积链Fast_R-CNN的番茄关键器官识别方法", 《沈阳农业大学学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768401A (zh) * 2020-07-08 2020-10-13 中国农业大学 一种基于深度学习的冰鲜鲳鱼新鲜度快速分级方法
CN111768401B (zh) * 2020-07-08 2024-01-26 中国农业大学 一种基于深度学习的冰鲜鲳鱼新鲜度快速分级方法
CN111968080A (zh) * 2020-07-21 2020-11-20 山东农业大学 一种基于高光谱和深度学习的肥城桃内外品质检测方法
CN111968080B (zh) * 2020-07-21 2023-06-23 山东农业大学 一种基于高光谱和深度学习的肥城桃内外品质检测方法
CN112529152A (zh) * 2020-12-03 2021-03-19 开放智能机器（上海）有限公司 一种基于人工智能的西瓜成熟度检测的系统和方法
CN114187257A (zh) * 2021-12-09 2022-03-15 江苏业派生物科技有限公司 基于数据可视化的农产品展示系统及方法
CN116310806A (zh) * 2023-02-28 2023-06-23 北京理工大学珠海学院 一种基于图像识别的智慧农业一体化管理系统及方法
CN116310806B (zh) * 2023-02-28 2023-08-29 北京理工大学珠海学院 一种基于图像识别的智慧农业一体化管理系统及方法

Similar Documents

Publication Publication Date Title
CN111199192A (zh) 一种采用平行线取样的田间红提葡萄整体成熟度检测方法
CN106971167B (zh) 基于无人机平台的作物生长分析方法及其分析系统
CN107748886B (zh) 一种基于深度相机的轨道式现代标准化果园信息感知系统
CN113657469B (zh) 基于图像识别的木本植物物候期的自动观测方法和系统
CN110781889B (zh) 一种基于深度学习的蓝莓果实中总糖含量的无损检测方法
CN103065149A (zh) 网纹甜瓜果实表型提取与量化方法
KR102095539B1 (ko) 인삼의 영상 이미지 분석을 통한 생육량 측정 방법
CN107229999A (zh) 作物产量的预测方法、系统、计算机设备及可读存储介质
CN110736709A (zh) 一种基于深度卷积神经网络的蓝莓成熟度的无损检测方法
CN103090946B (zh) 果树单树产量测量的方法和系统
CN105067532A (zh) 一种鉴别油菜菌核病和灰霉病早期病斑的方法
CN114627411A (zh) 基于计算机视觉下并行检测的农作物生育期识别方法
CN114612794A (zh) 一种细碎化农业区土地覆被与种植结构的遥感识别方法
Shen et al. Identifying veraison process of colored wine grapes in field conditions combining deep learning and image analysis
CN117392104A (zh) 一种基于深度学习的计算机视觉水稻质量测定方法
CN111582035A (zh) 一种果树树龄识别方法、装置、设备及存储介质
CN115372281A (zh) 一种土壤物理结构和化学构成的监测系统及方法
CN113723833B (zh) 造林实绩质量评价方法、系统、终端设备及存储介质
Rai et al. Implementation of virtual instrumentation system for estimation of eaten leaf area using digital image processing
Schmidtke Developing a phone-based imaging tool to inform on fruit volume and potential optimal harvest time
CN112179853A (zh) 基于影像阴影去除的果树冠层氮素含量遥感反演方法及系统
Bonaria Grapevine yield estimation using image analysis for the variety Arinto
Hacking 2-D and 3-D proximal remote sensing for yield estimation in a Shiraz vineyard
CN116052141B (zh) 作物生育期的识别方法、装置、设备及介质
Wang et al. Scaling effects of chlorophyll content in walnut leaves estimations with coupling Boruta algorithm and machine learning model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200526

RJ01 Rejection of invention patent application after publication