CN112329506A - 枸杞采摘机器人的果实识别方法及系统、定位方法及系统 - Google Patents

枸杞采摘机器人的果实识别方法及系统、定位方法及系统 Download PDF

Info

Publication number
CN112329506A
CN112329506A CN202010682593.XA CN202010682593A CN112329506A CN 112329506 A CN112329506 A CN 112329506A CN 202010682593 A CN202010682593 A CN 202010682593A CN 112329506 A CN112329506 A CN 112329506A
Authority
CN
China
Prior art keywords
medlar
fruit
image
wolfberry
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010682593.XA
Other languages
English (en)
Inventor
李金彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningxia Vocational Technical College Of Industry And Commerce Ningxia Chemical Technical School School Of Mechanical And Electrical Engineering Ningxia Agricultural Mechanization School
Original Assignee
Ningxia Vocational Technical College Of Industry And Commerce Ningxia Chemical Technical School School Of Mechanical And Electrical Engineering Ningxia Agricultural Mechanization School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningxia Vocational Technical College Of Industry And Commerce Ningxia Chemical Technical School School Of Mechanical And Electrical Engineering Ningxia Agricultural Mechanization School filed Critical Ningxia Vocational Technical College Of Industry And Commerce Ningxia Chemical Technical School School Of Mechanical And Electrical Engineering Ningxia Agricultural Mechanization School
Priority to CN202010682593.XA priority Critical patent/CN112329506A/zh
Publication of CN112329506A publication Critical patent/CN112329506A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种枸杞采摘机器人的果实识别方法及系统、定位方法及系统，该方法包括：获取实时枸杞植株图像；通过预设分割算法对实时枸杞植株图像中的枸杞果实进行图像分割，得到枸杞区域；在所述枸杞区域中提取单个果实区域，以识别到单个果实并进行采摘。采用本发明所述枸杞采摘机器人的果实识别方法，能够精确识别和定位枸杞果实，提高了枸杞采摘机器人的识别精度和采摘效率，同时提高了枸杞采摘机器人的果实识别的鲁棒性。

Description

枸杞采摘机器人的果实识别方法及系统、定位方法及系统
技术领域
本发明实施例涉及图像处理技术领域，具体涉及一种枸杞采摘机器人的果实识别方法及系统、定位方法及系统。
背景技术
枸杞是我国大规模种植的农作物之一，是农业经济发展的重要组成部分。枸杞不仅具有食用价值还具有药用价值。当前枸杞的采收工作主要依靠人力完成，存在采摘周期长、作业环境差、劳动强度大、采摘成本高、采摘效率低等问题。
因此，智能化采摘机器人的研发具有非常重要的意义。枸杞采摘机器人工作过程是在导航系统的控制下自主行走至果树附近，然后利用智能视觉系统对枸杞树上果实和障碍物进行精准识别和定位。由此可见，果实识别是机器人智能化采摘技术的核心。枸杞为茄科非刚性果实，采摘环境的复杂性和枸杞果树的不规则性，导致对枸杞果实成熟图像的识别存在一定难度，目前还没有相关文献对此进行研究。采摘机器人采用视觉识别系统和双臂结构，模拟人工采摘枸杞的工作过程，保证枸杞的顺利采摘。随着枸杞种植业的发展，传统的粗狂型采摘方法已经不能适应采摘作业的要求。因此，设计智能化的枸杞采摘机器人非常必要，其一方面能能节省生产成本，提高农业生产力。另一方面，可以促进农业的机械化和信息化，带动现代农业的发展。。
因此，如何提供一种枸杞采摘机器人的果实识别、定位方案，能够精确识别枸杞，对于提高枸杞采摘机器人的识别精度，提高枸杞种植业的生产水平是本领域技术人员亟待解决的技术问题。
发明内容
为此，本发明实施例提供一种枸杞采摘机器人的果实识别方法及系统、定位方法及系统，能够精确识别枸杞，对于提高枸杞采摘机器人的识别精度，提高枸杞种植业的生产水平。
为了实现上述目的，本发明实施例提供如下技术方案：
第一方面，本发明实施例提供一种枸杞采摘机器人的果实识别方法，包括：
获取实时枸杞植株图像；
通过预设分割算法对实时枸杞植株图像中的枸杞进行图像分割，得到枸杞区域；
在所述枸杞区域中提取单个果实区域，以识别到单个果实并进行采摘。
优选地，所述通过预设分割算法对实时枸杞植株图像中的枸杞进行图像分割，得到枸杞区域，包括：
在不同光照条件下采集自然环境中成熟枸杞的一张以上的彩色图像；
对所述彩色图像进行颜色分析和样本统计，得到枸杞果实的颜色空间值；
利用所述颜色空间值，对实时枸杞植株通过预设分割算法进行图像分割，得到枸杞区域。
优选地，在所述获取实时枸杞植株图像之后；在所述通过预设分割算法对实时枸杞植株图像中的枸杞进行图像分割，得到枸杞区域之前；还包括：
对实时枸杞植株图像进行图像预处理，以得到标准图像；
具体地，对实时枸杞植株图像进行灰度增强，以增强区分度；
将实时枸杞植株图像利用预设公式进行归一化，得到归一化图像；
对所述归一化图像进行降噪处理，得到标准图像。
第二方面，本发明实施例提供一种枸杞采摘机器人的果实识别系统，包括：
图像获取模块，用于获取实时枸杞植株图像；
枸杞区域分割模块，用于通过预设分割算法对实时枸杞植株图像中的枸杞进行图像分割，得到枸杞区域；
单果实提取模块，用于在所述枸杞区域中提取单个果实区域，以识别到单个果实并进行采摘。
第三方面，本发明实施例提供一种枸杞采摘机器人的果实识别设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述第一方面任一种所述枸杞采摘机器人的果实识别方法的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面任一种所述枸杞采摘机器人的果实识别方法的步骤。
第五方面，本发明实施例提供一种枸杞采摘机器人的果实定位方法，包括：
通过双目摄像机获取第一实时枸杞植株图像、第二实时枸杞植株图像；
通过预设分割算法对第一实时枸杞植株图像中的枸杞进行图像分割，得到第一枸杞区域；通过预设分割算法对第二实时枸杞植株图像中的枸杞进行图像分割，得到第二枸杞区域；
在所述第一枸杞区域中提取第一单个果实区域，以识别到第一单个果实；在所述第二枸杞区域中提取第二单个果实区域，以识别到第二单个果实；
对所述第一单个果实区域与所述第二单个果实区域进行匹配，如果匹配成功，则根据所述第一单个果实区域、所述第二单个果实区域确定目标果实的三维空间坐标，以完成定位。
第六方面，本发明实施例提供一种枸杞采摘机器人的果实定位系统，包括：
双目图像获取模块，用于通过双目摄像机获取第一实时枸杞植株图像、第二实时枸杞植株图像；
双目枸杞区域分割模块，用于通过预设分割算法对第一实时枸杞植株图像中的枸杞进行图像分割，得到第一枸杞区域；通过预设分割算法对第二实时枸杞植株图像中的枸杞进行图像分割，得到第二枸杞区域；
双目单果实提取模块，用于在所述第一枸杞区域中提取第一单个果实区域，以识别到第一单个果实；在所述第二枸杞区域中提取第二单个果实区域，以识别到第二单个果实；
果实坐标确定模块，用于对所述第一单个果实区域与所述第二单个果实区域进行匹配，如果匹配成功，则根据所述第一单个果实区域、所述第二单个果实区域确定目标果实的三维空间坐标，以完成定位。
第七方面，本发明实施例提供一种枸杞采摘机器人的果实定位设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如第五方面所述枸杞采摘机器人的果实定位方法的步骤。
第八方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第五方面所述枸杞采摘机器人的果实定位方法的步骤。
本发明实施例提供一种枸杞采摘机器人的果实识别方法，包括：获取实时枸杞植株图像；通过预设分割算法对实时枸杞植株图像中的枸杞进行图像分割，得到枸杞区域；在所述枸杞区域中提取单个果实区域，以识别到单个果实并进行采摘。智能识别能够精确识别枸杞，对于提高枸杞采摘机器人的识别精度，提高枸杞种植业的生产水平。
本发明实施例提供一种枸杞采摘机器人的果实识别方法及系统、定位方法及系统具有相同的上述有益效果，在此不再一一赘述。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明实施例提供的一种枸杞采摘机器人的果实识别方法的流程图；
图2为本发明实施例提供的一种枸杞采摘机器人的果实识别方法的枸杞区域分割流程图；
图3为本发明实施例提供的一种枸杞采摘机器人的果实识别方法的图像预处理流程图；
图4为本发明实施例提供的一种枸杞采摘机器人的果实识别方法使用的原始枸杞图像；
图5为本发明实施例提供的一种枸杞采摘机器人的果实识别方法使用的灰度增强枸杞图像；
图6为本发明实施例提供的一种枸杞采摘机器人的果实识别方法使用的图像分割枸杞图像；
图7为本发明实施例提供的一种枸杞采摘机器人的果实识别方法使用的轮廓曲线拟合补全枸杞图像；
图8为本发明实施例提供的一种枸杞采摘机器人的果实识别系统的组成示意图；
图9为本发明一种具体实施方式提供的枸杞采摘机器人的果实识别设备的结构示意图；
图10为本发明实施例提供的一种枸杞采摘机器人的果实定位方法的流程图；
图11为本发明实施例提供的一种枸杞采摘机器人的果实定位系统的组成示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1、图2、图3、图4、图5、图6、图7，图1为本发明实施例提供的一种枸杞采摘机器人的果实识别方法的流程图；图2为本发明实施例提供的一种枸杞采摘机器人的果实识别方法的枸杞区域分割流程图；图3为本发明实施例提供的一种枸杞采摘机器人的果实识别方法的图像预处理流程图；图4为本发明实施例提供的一种枸杞采摘机器人的果实识别方法使用的原始枸杞图像；图5为本发明实施例提供的一种枸杞采摘机器人的果实识别方法使用的灰度增强枸杞图像；图6为本发明实施例提供的一种枸杞采摘机器人的果实识别方法使用的图像分割枸杞图像；图7为本发明实施例提供的一种枸杞采摘机器人的果实识别方法使用的轮廓曲线拟合补全枸杞图像。
在本发明一种具体实施方式中，本发明实施例提供一种枸杞采摘机器人的果实识别方法，包括：
步骤S11：获取实时枸杞植株图像；
在本发明实施例中，由于实际获得的枸杞植株图像通常存在噪声干扰，因此首先需要对获取的枸杞植株图像进行预处理。在具体实施过程中，可采用最小均方滤波、平均值滤波等线性滤波算法或者中值滤波法对枸杞植株图像进行滤波处理。
其中，中值滤波法是一种非线性的彩色图像矢量中值滤波法，其能够有效克服滤波脉冲干扰及图像扫描噪声。本申请优选的采用上述中值滤波的方式，使用相应的非线性中值滤波器，对枸杞植株图像进行预处理，其不仅能有效地去除噪声、突出枸杞果实，还能够克服传统滤波方法不能保持图像边缘的缺陷，有效保持了枸杞果实的边缘细节部分。
步骤S12：通过预设分割算法对实时枸杞植株图像中的枸杞进行图像分割，得到枸杞区域；
在本发明实施例中，需要以不同光照条件的图像处理，寻找合适的色彩空间，选择合适的分割策略。具体的，首先可利用数码照像机在枸杞果园中不同时间段拍摄自然环境下成熟枸杞的单目彩色图像，以单目图像为研究对象进行颜色分析和样本统计，采用预设的分割算法对单果、多果不重叠、多果重叠、果实被树枝和树叶遮挡的情况进行图像分割处理。在实际实施过程中，对于在果园中自然光照下拍摄获取的枸杞植株图像，背景通常包含大量枝叶噪声影响，比较复杂，本申请针对复杂背景条件下的枸杞植株图像，优先采用预设的区域生长算法和颜色特征相结合的方法来进行图像分割，从而获得其中有效的枸杞果实图像，对于不能提取完整边界的果实，可采取曲线拟合补全果实边界，在此不再详细赘述。基于上述方法，可将枸杞植株图像分割成枸杞部分和背景部分两个区域，这个枸杞部分的图像可用来进行特征提取。在分割过程中，枸杞部分的图像中常有孤立的小点、毛刺等，为了减少这些噪声对后续识别操作的影响，可采用数学形态学中的开、闭运算来消除噪声。具体的，可采用开闭滤波器序列迭代执行，利用开运算去除孤立的毛刺等，然后，再利用闭运算来填补小空洞等，从而获得符合条件的枸杞果实的区域图像。
步骤S13：在所述枸杞区域中提取单个果实区域，以识别到单个果实并进行采摘。
在上述通过图像分割的方式获得枸杞区域部分之后，在本步骤中可进一步的在所述枸杞区域中提取完整的单个果实区域，以识别到单个果实并进行采摘。在具体实施过程中，采集枸杞时，拍摄获取的枸杞图像通常是自然光照条件下悬挂在树上的枸杞果实图像，随着太阳的活动，光照情况随时间发生变化，所采集枸杞图像颜色也是不同的，因此需要预先提取枸杞区域图像颜色特征变化情况，确定有效的特征变化情况，然后再进行识别。另外，由于枸杞果实、树枝、树叶都有其特定的形状，且不同区域采集的图像差异较大，因此可以对枸杞果实的轮廓提取相应的特征，进一步采用基于统计学习理论的模式识别方法的支持向量机进行分类，在此不再详细赘述。
在识别单个果实过程中，可基于颜色特征和形状特征对枸杞果实进行识别。具体的，对每个预处理后的枸杞植株图像提取其颜色特征值和形状特征，首先采用预设的BP人工神经网络对样本集和测试集进行识别训练，并对其识别性能进行了比较和调参。基于形状特征的苹果果实图像识别在进行仅基于形状特征的识别实验中，对预处理和分割后的图像，提取其形状特征后结合支持向量机进行分类。基于支持向量机能够对枸杞果实图像特征数据，使用不同的核函数对SVM进行分类测试。进一步的，识别单个枸杞果实后，将枸杞果实进行定位，以便于后期采摘。
本发明实施例所做的整个工作包括硬件系统搭建、摄像机标定、图像采集、图像预处理、图像分割、果实识别与提取、果实区域匹配、果实三维空间坐标计算等。
具体地，为了通过预设分割算法对实时枸杞植株图像中的枸杞进行图像分割，得到枸杞区域，可以进行以下步骤实现：
步骤S21：在不同光照条件下采集自然环境中成熟枸杞的一张以上的彩色图像；
步骤S22：对所述彩色图像进行颜色分析和样本统计，得到枸杞果实的颜色空间值；
步骤S23：利用所述颜色空间值，对实时枸杞植株通过预设分割算法进行图像分割，得到枸杞区域。
当然，在所述获取实时枸杞植株图像之后，在所述通过预设分割算法对实时枸杞植株图像中的枸杞进行图像分割得到枸杞区域之前，还可对实时枸杞植株图像采用下述步骤S31-S33进行图像预处理，以得到标准图像。其具体实现过程可参照上述内容中关于图像预处理的描述内容，下面描述的图像预处理过程仅是示意性的，上述已经描述到的内容在此不再重复赘述。
步骤S31：对实时枸杞植株图像进行灰度增强，以增强区分度；
步骤S32：将实时枸杞植株图像利用预设公式进行归一化，得到归一化图像；
步骤S33：对所述归一化图像进行降噪处理，得到标准图像。
其中，灰度变换是基于点操作的增强方法，它将每一个像素的灰度值转换为一个新的灰度值，如增强处理中的对比度增强。对比度增强可以采用线性拉伸和非线性拉伸。进行灰度增强可以改善图像的质量，使图像能够显示更多的细节，提高图像的对比度(对比度拉伸)；有选择的突出图像感兴趣的特征或者抑制图像中不需要的特征；可以有效的改变图像的直方图分布，使像素的分布更为均匀。
这些图像集在经过相同参数的图像归一化处理后能够得到相同形式的标准图像，将待处理的原始图像集转换成相应的唯一标准形式，归一化公式如式(1)所示：
Figure BDA0002586380520000091
其中xi表示图像像素值,min(x)、max(x)分别表示图像像素的最小值与最大值；
图像集归一化后再进行样图像集的降噪预处理，筛选出场景不符合训练条件的图像，使用高斯滤波算法进行降噪处理，对于不规范的图像，可以将其删除，从而保持图像集的健壮性。
采用本发明所述枸杞采摘机器人的果实识别方法，能够精确识别和定位枸杞果实，提高了枸杞采摘机器人的识别精度和采摘效率，同时提高了枸杞采摘机器人的果实识别的鲁棒性。
与上述提供的一种枸杞采摘机器人的果实识别方法相对应，本发明还提供一种枸杞采摘机器人的果实识别系统。由于该系统的实施例相似于上述方法实施例，所以描述的比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的枸杞采摘机器人的果实识别系统的实施例仅是示意性的。请参考图8所示，其为本发明实施例提供的一种枸杞采摘机器人的果实识别系统的组成示意图。在本发明又一具体实施方式中提供的一种枸杞采摘机器人的果实识别系统800，具体包括如下部分：
图像获取模块810，用于获取实时枸杞植株图像；
枸杞区域分割模块820，用于通过预设分割算法对实时枸杞植株图像中的枸杞进行图像分割，得到枸杞区域；
单果实提取模块830，用于在所述枸杞区域中提取单个果实区域，以识别到单个果实并进行采摘。
采用本发明所述枸杞采摘机器人的果实识别系统，能够精确识别和定位枸杞果实，提高了枸杞采摘机器人的识别精度和采摘效率。
与上述提供的一种枸杞采摘机器人的果实识别方法相对应，本发明还提供一种枸杞采摘机器人的果实识别设备。由于该设备的实施例相似于上述方法实施例，所以描述的比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的枸杞采摘机器人的果实识别设备的实施例仅是示意性的。请参考图9所示，其为本发明一种具体实施方式提供的枸杞采摘机器人的果实识别设备的结构示意图。本发明实施例提供一种枸杞采摘机器人的果实识别设备900，具体包括如下部分：
存储器910，用于存储计算机程序；
处理器920，用于执行所述计算机程序时实现如上述任一种实施例所述的枸杞采摘机器人的果实识别方法的步骤。
采用本发明所述枸杞采摘机器人的果实识别设备，能够精确识别和定位枸杞果实，提高了枸杞采摘机器人的识别精度和采摘效率。
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种实施例所述的枸杞采摘机器人的果实识别方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
请参考图图10、图11，图10为本发明实施例提供的一种枸杞采摘机器人的果实定位方法的流程图；图11为本发明实施例提供的一种枸杞采摘机器人的果实定位系统的组成示意图。
本发明实施例提供一种枸杞采摘机器人的果实定位方法，包括：
步骤S41：通过双目摄像机获取获取第一实时枸杞植株图像、第二实时枸杞植株图像；
步骤S41：通过预设分割算法对第一实时枸杞植株图像中的枸杞进行图像分割，得到第一枸杞区域；通过预设分割算法对第二实时枸杞植株图像中的枸杞进行图像分割，得到第二枸杞区域；
步骤S41：在所述第一枸杞区域中提取第一单个果实区域，以识别到第一单个果实；在所述第二枸杞区域中提取第二单个果实区域，以识别到第二单个果实；
步骤S41：对所述第一单个果实区域与所述第二单个果实区域进行匹配，如果匹配成功，则根据所述第一单个果实区域、所述第二单个果实区域确定目标果实的三维空间坐标，以完成定位。
本发明又一实施例提供一种枸杞采摘机器人的果实定位系统110，包括：
双目图像获取模块111，用于通过双目摄像机获取获取第一实时枸杞植株图像、第二实时枸杞植株图像；
双目枸杞区域分割模块112，用于通过预设分割算法对第一实时枸杞植株图像中的枸杞进行图像分割，得到第一枸杞区域；通过预设分割算法对第二实时枸杞植株图像中的枸杞进行图像分割，得到第二枸杞区域；
双目单果实提取模块113，用于在所述第一枸杞区域中提取第一单个果实区域，以识别到第一单个果实；在所述第二枸杞区域中提取第二单个果实区域，以识别到第二单个果实；
果实坐标确定模块114，用于对所述第一单个果实区域与所述第二单个果实区域进行匹配，如果匹配成功，则根据所述第一单个果实区域、所述第二单个果实区域确定目标果实的三维空间坐标，以完成定位。
本发明实施例提供一种枸杞采摘机器人的果实定位设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述任一实施例中所述枸杞采摘机器人的果实定位方法的步骤。
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一实施例中所述枸杞采摘机器人的果实定位方法的步骤。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种枸杞采摘机器人的果实识别方法，其特征在于，包括：
获取实时枸杞植株图像；
通过预设分割算法对实时枸杞植株图像中的枸杞进行图像分割，得到枸杞区域；
在所述枸杞区域中提取单个果实区域，对识别到单个果实并进行采摘。
2.根据权利要求1所述的枸杞采摘机器人的果实识别方法，其特征在于，所述通过预设分割算法对实时枸杞植株图像中的枸杞进行图像分割，得到枸杞区域，包括：
在不同光照条件下采集自然环境中成熟枸杞的一张以上的彩色图像；
对所述彩色图像进行颜色分析和样本统计，得到枸杞果实的颜色空间值；
利用所述颜色空间值，对实时枸杞植株通过预设分割算法进行图像分割，得到枸杞区域。
3.根据权利要求1所述的枸杞采摘机器人的果实识别方法，其特征在于，在所述获取实时枸杞植株图像之后；在所述通过预设分割算法对实时枸杞植株图像中的枸杞进行图像分割，得到枸杞区域之前；还包括：
对实时枸杞植株图像进行图像预处理，以得到标准图像；
具体地，对实时枸杞植株图像进行灰度增强，以增强区分度；
将实时枸杞植株图像利用预设公式进行归一化处理，得到归一化图像；
对所述归一化图像进行降噪处理，得到标准图像。
4.一种枸杞采摘机器人的果实识别系统，其特征在于，包括：
图像获取模块，用于获取实时枸杞植株图像；
枸杞区域分割模块，用于通过预设分割算法对实时枸杞植株图像中的枸杞进行图像分割，得到枸杞区域；
单果实提取模块，用于在所述枸杞区域中提取单个果实区域，以识别到单个果实并进行采摘。
5.一种枸杞采摘机器人的果实识别设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至3任一项所述枸杞采摘机器人的果实识别方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述枸杞采摘机器人的果实识别方法的步骤。
7.一种枸杞采摘机器人的果实定位方法，其特征在于，包括：
通过双目摄像机获取第一实时枸杞植株图像、第二实时枸杞植株图像；
通过预设分割算法对第一实时枸杞植株图像中的枸杞进行图像分割，得到第一枸杞区域；通过预设分割算法对第二实时枸杞植株图像中的枸杞进行图像分割，得到第二枸杞区域；
在所述第一枸杞区域中提取第一单个果实区域，以识别到第一单个果实；在所述第二枸杞区域中提取第二单个果实区域，以识别到第二单个果实；
对所述第一单个果实区域与所述第二单个果实区域进行匹配，如果匹配成功，则根据所述第一单个果实区域、所述第二单个果实区域确定目标果实的三维空间坐标，以完成定位。
8.一种枸杞采摘机器人的果实定位系统，其特征在于，包括：
双目图像获取模块，用于通过双目摄像机获取获取第一实时枸杞植株图像、第二实时枸杞植株图像；
双目枸杞区域分割模块，用于通过预设分割算法对第一实时枸杞植株图像中的枸杞进行图像分割，得到第一枸杞区域；通过预设分割算法对第二实时枸杞植株图像中的枸杞进行图像分割，得到第二枸杞区域；
双目单果实提取模块，用于在所述第一枸杞区域中提取第一单个果实区域，以识别到第一单个果实；在所述第二枸杞区域中提取第二单个果实区域，以识别到第二单个果实；
果实坐标确定模块，用于对所述第一单个果实区域与所述第二单个果实区域进行匹配，如果匹配成功，则根据所述第一单个果实区域、所述第二单个果实区域确定目标果实的三维空间坐标，以完成定位。
9.一种枸杞采摘机器人的果实定位设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求7所述枸杞采摘机器人的果实定位方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求7所述枸杞采摘机器人的果实定位方法的步骤。
CN202010682593.XA 2020-07-15 2020-07-15 枸杞采摘机器人的果实识别方法及系统、定位方法及系统 Pending CN112329506A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010682593.XA CN112329506A (zh) 2020-07-15 2020-07-15 枸杞采摘机器人的果实识别方法及系统、定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010682593.XA CN112329506A (zh) 2020-07-15 2020-07-15 枸杞采摘机器人的果实识别方法及系统、定位方法及系统

Publications (1)

Publication Number Publication Date
CN112329506A true CN112329506A (zh) 2021-02-05

Family

ID=74303335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010682593.XA Pending CN112329506A (zh) 2020-07-15 2020-07-15 枸杞采摘机器人的果实识别方法及系统、定位方法及系统

Country Status (1)

Country Link
CN (1) CN112329506A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113099847A (zh) * 2021-05-25 2021-07-13 广东技术师范大学 一种基于果实三维参数预测模型的果实采摘方法
CN116267226A (zh) * 2023-05-16 2023-06-23 四川省农业机械研究设计院 一种基于机器视觉智能识别成熟度的桑葚采摘方法与装置
CN116616045A (zh) * 2023-06-07 2023-08-22 山东农业工程学院 一种基于植物生长的采摘方法及采摘系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008206438A (ja) * 2007-02-26 2008-09-11 Iseki & Co Ltd 果実収穫ロボット
CN101726251A (zh) * 2009-11-13 2010-06-09 江苏大学 基于支持向量机的苹果采摘机器人果实自动识别方法
CN106327467A (zh) * 2015-06-25 2017-01-11 吴海峰 一种苹果采摘机器人目标果实快速跟踪识别方法
CN109376728A (zh) * 2018-12-28 2019-02-22 华南农业大学 一种基于多特征融合和bp神经网络的稻田杂草识别方法及其应用
US20190261565A1 (en) * 2016-11-08 2019-08-29 Dogtooth Technologies Limited Robotic fruit picking system
CN110852186A (zh) * 2019-10-22 2020-02-28 华南农业大学 一种树上柑橘的视觉识别与采摘顺序规划方法及其仿真系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008206438A (ja) * 2007-02-26 2008-09-11 Iseki & Co Ltd 果実収穫ロボット
CN101726251A (zh) * 2009-11-13 2010-06-09 江苏大学 基于支持向量机的苹果采摘机器人果实自动识别方法
CN106327467A (zh) * 2015-06-25 2017-01-11 吴海峰 一种苹果采摘机器人目标果实快速跟踪识别方法
US20190261565A1 (en) * 2016-11-08 2019-08-29 Dogtooth Technologies Limited Robotic fruit picking system
CN109376728A (zh) * 2018-12-28 2019-02-22 华南农业大学 一种基于多特征融合和bp神经网络的稻田杂草识别方法及其应用
CN110852186A (zh) * 2019-10-22 2020-02-28 华南农业大学 一种树上柑橘的视觉识别与采摘顺序规划方法及其仿真系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
YUNCHAO TANG 等: "Recognition and Localization Methods for Vision-Based Fruit Picking Robots：A Review", 《FRONT.PLANT SCI》, vol. 11, pages 1 - 17 *
李金彦;: "枸杞采摘机器人的果实识别与定位方法研究", 《湖北农机化》, no. 04, pages 157 - 159 *
王晋: "自然环境下苹果采摘机器人视觉系统的关键技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, pages 140 - 425 *
王津京;赵德安;姬伟;张超;: "采摘机器人基于支持向量机苹果识别方法", 《农业机械学报》, vol. 40, no. 01, pages 148 - 151 *
田志超;刘玉萍;李娟;朱学岩;: "基于机器视觉的枸杞枝条识别方法研究", 《计算机测量与控制》, vol. 26, no. 09, pages 259 - 263 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113099847A (zh) * 2021-05-25 2021-07-13 广东技术师范大学 一种基于果实三维参数预测模型的果实采摘方法
CN113099847B (zh) * 2021-05-25 2022-03-08 广东技术师范大学 一种基于果实三维参数预测模型的果实采摘方法
CN116267226A (zh) * 2023-05-16 2023-06-23 四川省农业机械研究设计院 一种基于机器视觉智能识别成熟度的桑葚采摘方法与装置
CN116616045A (zh) * 2023-06-07 2023-08-22 山东农业工程学院 一种基于植物生长的采摘方法及采摘系统
CN116616045B (zh) * 2023-06-07 2023-11-24 山东农业工程学院 一种基于植物生长的采摘方法及采摘系统

Similar Documents

Publication Publication Date Title
CN111709489B (zh) 一种基于改进YOLOv4的柑橘识别方法
CN112329506A (zh) 枸杞采摘机器人的果实识别方法及系统、定位方法及系统
CN111666883B (zh) 一种葡萄采摘机器人目标识别及果梗夹切点定位方法
Silwal et al. Apple identification in field environment with over the row machine vision system
Liu et al. Detection of citrus fruit and tree trunks in natural environments using a multi-elliptical boundary model
Oppenheim et al. Detecting tomato flowers in greenhouses using computer vision
CN112084977B (zh) 一种融合图像和时间特征的苹果物候期自动识别方法
CN111798470B (zh) 一种应用于智能农业的农作物图像实体分割方法及系统
CN112990103A (zh) 一种基于机器视觉的串采二次定位方法
CN113252584B (zh) 基于5g传输的作物生长检测方法及系统
CN111784764A (zh) 一种茶叶嫩芽识别与定位算法
CN106157266A (zh) 一种果园果实图像获取方法
CN106846334A (zh) 基于支持向量数据描述的田间玉米植株识别方法
CN111832448A (zh) 一种用于葡萄果园的病害识别方法及系统
CN110599507A (zh) 一种番茄识别定位方法及系统
Magsi et al. Date palm disease identification using features extraction and deep learning approach
CN108090910B (zh) 一种基于信息熵梯度简化pcnn模型的夜间室外番茄植株图像分割算法
Tran et al. Automatic dragon fruit counting using adaptive thresholds for image segmentation and shape analysis
CN105631451A (zh) 一种基于安卓系统的植物叶片识别方法
Yang et al. Segmentation algorithm for Hangzhou white chrysanthemums based on least squares support vector machine
CN117456523A (zh) 作物种类识别方法、装置、电子设备及介质
Kanwal et al. Overlapped apple fruit yield estimation using pixel classification and hough transform
Jogi et al. CNN based Synchronal recognition of Weeds in Farm Crops
CN115862003A (zh) 一种基于轻量化YOLOv5的在体苹果目标检测和分级方法
Yihang et al. Automatic recognition of rape seeding emergence stage based on computer vision technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210205

RJ01 Rejection of invention patent application after publication