CN108846862A - 一种颜色先验知识导向的草莓机器手目标定位方法 - Google Patents

一种颜色先验知识导向的草莓机器手目标定位方法 Download PDF

Info

Publication number
CN108846862A
CN108846862A CN201810386400.9A CN201810386400A CN108846862A CN 108846862 A CN108846862 A CN 108846862A CN 201810386400 A CN201810386400 A CN 201810386400A CN 108846862 A CN108846862 A CN 108846862A
Authority
CN
China
Prior art keywords
strawberry
mechanical hand
color
priori knowledge
localization method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810386400.9A
Other languages
English (en)
Inventor
崔扬
付晓峰
汤丽萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201810386400.9A priority Critical patent/CN108846862A/zh
Publication of CN108846862A publication Critical patent/CN108846862A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种颜色先验知识导向的草莓机器手目标定位方法。传统的基于机器视觉的草莓机器手通过图像分割算法对草莓目标进行定位和识别，但由于草莓种植大棚中有大量易混淆的其它目标，因此容易造成误摘，本发明先将机器手采集的图片转换至HSV空间，并基于草莓的颜色先验知识对草莓候选目标进行阈值分割，而后将草莓候选区域输入训练好的深度卷积网络进行识别，并对每个草莓候选目标进行打分，将分数最高的目标区域做为最终的定位结果。由于在训练深度卷积网络时采用了符合采摘标准的草莓图片作为正样本，因此本发明可以自动定位最符合主观采摘标准的草莓。经过实验证实，本发明所公开的草莓目标定位方法可以达到99％以上的准确率。

Description

一种颜色先验知识导向的草莓机器手目标定位方法
技术领域
本发明涉及机器人机器视觉技术领域，具体涉及一种颜色先验知识导向的草莓机器手目标定位方法。
背景技术
草莓的采摘过去主要依赖人工方式，但在大规模草莓种植时，人工采摘具有工作效率低下、主观性强等缺点，因此目前逐渐采用机器人进行智能采摘，其主要是基于机器视觉算法对机器人采集的图像进行目标定位而后将定位结果用于引导机器手进行采摘，其核心技术是对待采摘目标的智能定位方法。目前常用的定位方法主要是通过对采集图像进行分割以得到目标区域，而后对目标区域进行特征提取，并将特征输入训练好的分类器进行分类，如支持向量机，但这些定位方法所提取的区域特征都是人工预先设计好的，难以完全适用于草莓目标，因此会出现大量的误摘，另外传统的分类器无法给出客观的目标识别分数，对于采摘机器人所“看到”的多个草莓目标无法择优采摘。
发明内容
本发针对现有技术的不足，提出了一种颜色先验知识导向的草莓机器手目标定位方法，能够解决现有人工特征提取不适用于草莓目标识别的问题。
本发明提出一种颜色先验知识导向的草莓机器手目标定位方法，该方法具体包括以下步骤：
步骤一：首先将草莓机器手获取的图片转换至HSV颜色空间，对H通道图基于草莓颜色先验知识进行阈值分割并得到初始预分割二值图像，由于在该二值图像中有较多的相邻目标区域粘连，会影响后面的区域预定位，因此对该二值图像采用形态滤波，将粘连区域分离开，并取每个独立区域的外接矩形作为候选目标区域。
步骤二：为了将候选目标区域中的草莓识别出来，需要通过深度卷积网络对候选目标进行分类。由于能搜集到的草莓样本较少，可能会导致训练得到的网络模型在实际部署时过拟合，因此先基于cifar10数据集对深度卷积网络进行预训练，而后再用草莓样本对网络模型进行微调训练，使模型适用于草莓目标的识别分类。
步骤三：每个候选区域经过深度卷积网络后会输出一个客观的概率分数，因此草莓机器手所采集图像中的所有候选区域都会有相应的概率值，对所有候选区域的概率值进行排序，设定阈值，取概率大于阈值的的候选区域做为最终的草莓定位结果。
作为优选：将草莓机器手获取的图片从RGB颜色空间转换至HSV颜色空间，具体如下：
其中h为转换后的HSV颜色空间中的色度通道，r、g、b分别为RGB颜色空间中的三个通道，max为RGB三通道最大值，min为RGB三通道最小值。
作为优选：对H通道图基于草莓颜色先验知识进行阈值分割并得到初始预分割二值图像，具体如下：
作为优选：所述的微调训练中所采用的正样本都是符合采摘标准的草莓图片，而负样本是不符合采摘标准的草莓图片及其它非草莓图片。
有益效果：本发明不需要人工干预，可以自动识别符合客户预设标准的草莓目标；由于在识别之前根据颜色先验知识对草莓目标进行了候选，因此后续识别所需时间大大减少，基本可以达到实时要求，从而满足草莓机器手的实际采摘需要。
附图说明
图1为本发明实施例的机器手采集初始图像；
图2为本发明实施例经过颜色空间转换后的H通道图像；
图3为本发明实施例对H通道图像基于草莓颜色先验知识进行阈值分割后的二值图像；
图4为本发明实施例对图3进行形态滤波后的图像；
图5为本发明实施例对卷积神经网络进行微调训练时采用的部分草莓正样本；
图6为本发明实施例对卷积神经网络进行微调训练时采用的部分负样本；
图7为本发明实施例对卷积神经网络基于cifar10数据集进行训练后得到的损失曲线；
图8为本发明实施例对卷积神经网络基于草莓样本进行微调训练后得到的损失曲线；
图9为本发明实施例经过阈值分割和滤波后得到的候选目标区域；
图10为本发明实施例经过深度卷积网络识别并打分后的草莓目标区域；
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
将草莓机器手采集的图1从RGB颜色空间转换至HSV空间，根据草莓颜色的先验知识，对H通道图像进行阈值分割，得到预分割结果图3，在图3中的候选目标区域有较多空洞，另外部分相邻候选区域有粘连，因此对图3进行形态滤波，其中首先进行2次腐蚀运算，将粘连的区域分离开，而后再做3次膨胀运算以填充目标区域内部的空洞，得到候选目标区域图4，取图4中候选目标的外接矩形得到用于输入卷积神经网络进行识别的目标建议区域(图9)。
图4中包含了不符合采摘标准的草莓区域或非草莓目标区域，因此需要通过深度卷积网络对图4中的候选目标区域进行识别分类。但由于草莓样本较少，直接对神经网络进行训练可能会导致模型过拟合，因此先采用cifar10数据集对模型进行训练，得到损失曲线图7，而后再基于符合采摘标准的草莓正样本(图5)和不符合采摘标准的负样本(图6)对模型进行微调训练，得到微调后的损失函数曲线图8。由于在对模型进行微调训练时采用的草莓正样本(图5)是符合主观采摘标准的，因此在使用模型进行识别时，对符合采摘标准的候选目标输出高概率分值，而对不符合采摘标准的候选目标，如未成熟草莓、非草莓等区域，输出低概率分值，从而达到自动识别符合采摘标准草莓的目的。
图10输出对机器手采集图像进行阈值分割并基于卷积神经网络进行识别分类的结果，其中每个候选目标都给出了相应的概率分值，对候选目标的概率分值进行降序排序，取具有最高概率值的目标区域作为最终的定位对象，从而达到智能化采摘的目的。

Claims (5)

1.一种颜色先验知识导向的草莓机器手目标定位方法，其特征在于：该方法具体包括以下步骤：
步骤一：首先将草莓机器手获取的图片转换至HSV颜色空间，对H通道图基于草莓颜色先验知识进行阈值分割并得到初始预分割二值图像，对该二值图像采用形态滤波，将粘连区域分离开，并取每个独立区域的外接矩形作为候选目标区域；
步骤二：通过深度卷积网络对候选目标进行分类；
步骤三：每个候选区域经过深度卷积网络后会输出一个客观的概率分数，因此草莓机器手所采集图像中的所有候选区域都会有相应的概率值，对所有候选区域的概率值进行排序，设定阈值，取概率大于阈值的的候选区域做为最终的草莓定位结果。
2.根据权利要求1所述的一种颜色先验知识导向的草莓机器手目标定位方法，其特征在于：将草莓机器手获取的图片从RGB颜色空间转换至HSV颜色空间，具体如下：
其中h为转换后的HSV颜色空间中的色度通道，r、g、b分别为RGB颜色空间中的三个通道，max为RGB三通道最大值，min为RGB三通道最小值。
3.根据权利要求1所述的一种颜色先验知识导向的草莓机器手目标定位方法，其特征在于：对H通道图基于草莓颜色先验知识进行阈值分割并得到初始预分割二值图像，具体如下：
4.根据权利要求1所述的一种颜色先验知识导向的草莓机器手目标定位方法，其特征在于：步骤二中通过深度卷积网络对候选目标进行分类；具体为：先基于cifar10数据集对深度卷积网络进行预训练，而后再用草莓样本对网络模型进行微调训练。
5.根据权利要求4所述的一种颜色先验知识导向的草莓机器手目标定位方法，其特征在于：所述的微调训练中所采用的正样本都是符合采摘标准的草莓图片，而负样本是不符合采摘标准的草莓图片及其它非草莓图片。
CN201810386400.9A 2018-04-26 2018-04-26 一种颜色先验知识导向的草莓机器手目标定位方法 Pending CN108846862A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810386400.9A CN108846862A (zh) 2018-04-26 2018-04-26 一种颜色先验知识导向的草莓机器手目标定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810386400.9A CN108846862A (zh) 2018-04-26 2018-04-26 一种颜色先验知识导向的草莓机器手目标定位方法

Publications (1)

Publication Number Publication Date
CN108846862A true CN108846862A (zh) 2018-11-20

Family

ID=64212289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810386400.9A Pending CN108846862A (zh) 2018-04-26 2018-04-26 一种颜色先验知识导向的草莓机器手目标定位方法

Country Status (1)

Country Link
CN (1) CN108846862A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110999636A (zh) * 2019-11-12 2020-04-14 青岛大学 一种草莓夹剪
CN111079530A (zh) * 2019-11-12 2020-04-28 青岛大学 一种成熟草莓识别的方法
CN111684924A (zh) * 2020-06-23 2020-09-22 王孟超 一种基于树莓派的草莓采摘机器人
CN113239746A (zh) * 2021-04-26 2021-08-10 深圳市安思疆科技有限公司 电动车检测方法、装置、终端设备及计算机可读存储介质
CN113421297A (zh) * 2021-07-02 2021-09-21 浙江德菲洛智能机械制造有限公司 一种草莓的形状对称性分析方法
US11445663B2 (en) 2018-02-13 2022-09-20 Saga Robotics As Device for picking fruit comprising overlapping locating members
CN113239746B (zh) * 2021-04-26 2024-05-17 深圳市安思疆科技有限公司 电动车检测方法、装置、终端设备及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101726251A (zh) * 2009-11-13 2010-06-09 江苏大学 基于支持向量机的苹果采摘机器人果实自动识别方法
CN107578402A (zh) * 2017-08-04 2018-01-12 上海斐讯数据通信技术有限公司 一种基于深度学习的肺部结节的检测系统及其使用方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101726251A (zh) * 2009-11-13 2010-06-09 江苏大学 基于支持向量机的苹果采摘机器人果实自动识别方法
CN107578402A (zh) * 2017-08-04 2018-01-12 上海斐讯数据通信技术有限公司 一种基于深度学习的肺部结节的检测系统及其使用方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
QI WANG ET AL.: "Automated Crop Yield Estimation for Apple Orchards", 《EXPERIMENTAL ROBOTICS》 *
王柯力等: "基于迁移学习的水产动物图像识别方法", 《计算机应用》 *
王瑞: "自然场景下猕猴桃识别方法研究", 《中国优秀硕士学位论文全文数据库 农业科技辑》 *
秦绪文等: "《矿山遥感监测技术方法研究》", 31 October 2011, 测绘出版社 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11445663B2 (en) 2018-02-13 2022-09-20 Saga Robotics As Device for picking fruit comprising overlapping locating members
CN110999636A (zh) * 2019-11-12 2020-04-14 青岛大学 一种草莓夹剪
CN111079530A (zh) * 2019-11-12 2020-04-28 青岛大学 一种成熟草莓识别的方法
CN111684924A (zh) * 2020-06-23 2020-09-22 王孟超 一种基于树莓派的草莓采摘机器人
CN113239746A (zh) * 2021-04-26 2021-08-10 深圳市安思疆科技有限公司 电动车检测方法、装置、终端设备及计算机可读存储介质
CN113239746B (zh) * 2021-04-26 2024-05-17 深圳市安思疆科技有限公司 电动车检测方法、装置、终端设备及计算机可读存储介质
CN113421297A (zh) * 2021-07-02 2021-09-21 浙江德菲洛智能机械制造有限公司 一种草莓的形状对称性分析方法
CN113421297B (zh) * 2021-07-02 2023-06-27 浙江德菲洛智能机械制造有限公司 一种草莓的形状对称性分析方法

Similar Documents

Publication Publication Date Title
CN108846862A (zh) 一种颜色先验知识导向的草莓机器手目标定位方法
Jidong et al. Recognition of apple fruit in natural environment
CN106778786A (zh) 基于对数频域分层梯度方向直方图的苹果病害识别方法
CN109657632A (zh) 一种车道线检测识别方法
CN108710840A (zh) 一种农田喷药机器人视觉导航路径识别方法
CN107527343B (zh) 一种基于图像处理的双孢蘑菇分级方法
Liu et al. Detection of citrus fruit and tree trunks in natural environments using a multi-elliptical boundary model
CN103473550B (zh) 基于Lab空间和局域动态阈值的植物叶片图像分割方法
CN110148122A (zh) 基于深度学习的苹果外观质量分级方法
CN103236060B (zh) 基于多特征融合的白粉虱图像分割方法
CN103870808A (zh) 一种手指静脉识别方法
CN106097354B (zh) 一种结合自适应高斯肤色检测和区域生长的手部图像分割方法
CN105654099A (zh) 基于改进视觉的甘蔗分割与识别方法
CN111681253A (zh) 基于颜色与形态特征的叶片图像分割方法及系统
CN113255434B (zh) 一种融合果实特征与深度卷积神经网络的苹果识别方法
CN103119625A (zh) 一种视频人物分割的方法及装置
CN112990103A (zh) 一种基于机器视觉的串采二次定位方法
CN105631456B (zh) 一种基于粒子群优化itti模型的白细胞区域提取方法
Liu et al. Development of a machine vision algorithm for recognition of peach fruit in a natural scene
CN110866547B (zh) 基于多特征和随机森林的中药饮片自动分类系统及方法
CN106683098A (zh) 一种重叠叶片图像的分割方法
CN108154176A (zh) 一种针对单一深度图像的3d人体姿态估计算法
CN107886493A (zh) 一种输电线路的导线分股缺陷检测方法
CN105427321B (zh) 一种检测托盘上是否有软袋的方法
CN110175582A (zh) 基于像素分布的茶树嫩芽智能识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181120