CN116652951B - 一种非结构化大作业空间的机器人视觉定位方法及装置 - Google Patents

一种非结构化大作业空间的机器人视觉定位方法及装置 Download PDF

Info

Publication number
CN116652951B
CN116652951B CN202310680870.7A CN202310680870A CN116652951B CN 116652951 B CN116652951 B CN 116652951B CN 202310680870 A CN202310680870 A CN 202310680870A CN 116652951 B CN116652951 B CN 116652951B
Authority
CN
China
Prior art keywords
global
robot
target
vision
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310680870.7A
Other languages
English (en)
Other versions
CN116652951A (zh
Inventor
刁世普
杨勇
张文丹
崔冠群
席少辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xinshuai Mechanical And Electrical Equipment Co ltd
Original Assignee
Guangzhou Xinshuai Mechanical And Electrical Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xinshuai Mechanical And Electrical Equipment Co ltd filed Critical Guangzhou Xinshuai Mechanical And Electrical Equipment Co ltd
Priority to CN202310680870.7A priority Critical patent/CN116652951B/zh
Publication of CN116652951A publication Critical patent/CN116652951A/zh
Application granted granted Critical
Publication of CN116652951B publication Critical patent/CN116652951B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种非结构化大作业空间的机器人视觉定位方法，包括安装有第一视觉系统和第二视觉系统的机器人，包括以下步骤：通过第一视觉系统获取作业场景的全局视觉信息，所述全局视觉信息包括全局二维RGB图像以及全局三维点云；对所述全局视觉信息进行近似结构化处理，根据目标水果的分布情况和机器人作业范围，划分出至少一个作业视场；通过第一视觉系统获取作业场景的局部视觉信息，分析所述局部视觉信息，以得到目标水果的位置信息，所述局部视觉信息包括局部二维RGB图像以及局部三维点云；所述机器人进入所述作业视场，通过第二视觉系统精确定位所述目标水果并进行采摘作业。本发明能够准确引导机器人在非结构化空间中进行采摘作业的定位工作。

Description

一种非结构化大作业空间的机器人视觉定位方法及装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种非结构化大作业空间的机器人视觉定位方法及装置。
背景技术
果园中脐橙等水果，生长在非结构化大作业空间的自然环境中，由于脐橙果树在果园自然环境下为自由生长，其果柄空间方位也为随机，周围必然存在树枝、树叶以及脐橙。要实现对脐橙的无损自主采摘，这对机器人采摘过程的目标全局定位有着较高的要求。
现有技术通常是通过图像或者点云分析方法进行，在非结构大场景作业场景出现目标物体识别准确率较低，鲁棒性较差等问题，不能满足当前水果自主采摘机器人精准作业的需要；纯粹基于3D点云和深度学习的3D作业目标准确度太差，且计算过程实时性不足，不符合当前高速采摘水果的需要，适用性较差。
发明内容
为了解决上述技术问题，本发明第一方面公开了一种非结构化大作业空间的机器人视觉定位方法，所述方法包括：
一种非结构化大作业空间的机器人视觉定位方法，包括安装有第一视觉系统和第二视觉系统的机器人，所述方法包括以下步骤：
步骤S1，通过第一视觉系统获取作业场景的全局视觉信息，所述全局视觉信息包括全局二维RGB图像以及全局三维点云；
步骤S2，对所述全局视觉信息进行近似结构化处理，根据目标水果的分布情况和机器人作业范围，划分出至少一个作业视场；
步骤S3，通过第一视觉系统获取作业场景的局部视觉信息，分析所述局部视觉信息，以识别到目标水果的位置信息，所述局部视觉信息包括局部二维RGB图像以及局部三维点云；具体包括以下步骤：
步骤S31所述第一视觉系统采集局部视觉信息时，所述机器人靠近任意一作业视场，完成局部视觉信息的采集；
步骤S32在完成当前作业视场的采摘作业以后，所述机器人靠近另一作业视场，并重复步骤S32，直到完成全部作业视场的采摘作业；
步骤S4，所述机器人进入所述作业视场，通过第二视觉系统精确定位所述目标水果并进行采摘作业。
进一步的实施例，所述第一视觉系统采集的全局视觉信息包括单棵果树的完整二维图像和全局三维点云。
进一步的实施例，步骤S1中，通过以下步骤完成所述作业场景的近似结构化处理：
第一视觉系统获取作业场景的全局三维点云；
采用VoxelGrid滤波器对全局三维点云进行下采样。
进一步的实施例，所述全局三维点云的下采样包括以下步骤：
将所述全局三维点云创建为多个三维体素栅格；
使用所述三维体素栅格中所有点的质心表示所述三维体素栅格。
进一步的实施例，步骤S2中，所述作业视场的大小为所述机器人一次作业空间范围；在划分作业视场时在所述全局二维RGB图像上进行划分。
进一步的实施例，在识别目标水果的位置信息时，采用目标检测算法，通过以下步骤进行所述目标检测算法的训练：
采集不同作业目标的图像信息构建训练样本集，对所述训练样本集进行拉普拉斯增强以凸显纹理特征；
对所述训练样本集进行打标记操作，并输入特征卷积神经网络进行训练，以获得检测训练模型；
通过实例迁移 和/或 多任务混合迁移学习的方法改进所述检测训练模型；
获得所述目标检测算法。
进一步的实施例，所述第二视觉系统固定在所述机器人的末端，在精确定位所述目标水果时，包括以下步骤：
标定所述第二视觉系统；
通过所述目标检测算法获取所述目标水果特征区域像素点对应的目标三维点云；
分析所述目标三维点云，获得所述目标水果的坐标信息；
将所述坐标信息通过坐标变换，转移到机器人基坐标系，以指导所述机器人进行采摘。
本发明第二方面公开了一种非结构化大作业空间的机器人视觉定位装置，所述装置包括：
第一视觉模块，其用于获取果树的全局视觉信息以及局部视觉信息；所述全局视觉信息包括全局二维RGB图像和全局三维点云，所述局部视觉信息包括局部二维RGB图像和局部三维点云；
第二视觉模块，其用于获取目标水果的定位图像；
处理模块，其用于对所述全局视觉信息进行近似结构化处理，所述近似结构化处理配置为对所述全局视觉信息进行点云下采样处理；
划分模块，根据目标水果的分布情况和机器人作业范围，划分出至少一个作业视场；
第一定位模块，其用于分析所述局部视觉信息，以识别到目标水果的位置信息；
第二定位模块，其用于根据所述定位图像分析得到目标水果的准确定位信息；
采摘模块，其用于根据所述准确定位信息采摘目标水果。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例中，首先通过第一视觉系统获取作业场景的全局视觉信息，所述全局视觉信息包括全局二维RGB图像以及全局三维点云；分析所述全局视觉信息，根据目标水果的分布情况和机器人作业范围，划分出至少一个作业视场；通过作业视场划分对非结构化的果树采摘作业场景进行了近似结构化场景处理，便于引导机器人到达各个作业视场中进行采摘作业，通过第一视觉系统获取作业场景的局部视觉信息，分析所述局部视觉信息，以识别到目标水果的位置信息，所述局部视觉信息包括局部二维RGB图像以及局部三维点云；由于全局视觉信息距离目标水果较远，目标水果识别精度不高，因此在趋近作业视场后，再次进行局部视觉信息的采集，以获得作业视场内更加精确的所有目标水果的位置，为机器人采摘移动提供保障；所述机器人进入所述作业视场，通过第二视觉系统精确定位所述目标水果并进行采摘作业。从原始图像中待采摘水果区域从上面获得的2D图像中自动加以区分，并准确定位框选作业水果目标的矩形框的位置。在近距离对目标水果进行定位，以使机器人完成目标水果的采摘。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种非结构化大作业空间的机器人视觉定位方法的流程示意图；
图2是本发明实施例公开的获取全局视觉信息和局部视觉信息的流程示意图；
图3是本发明实施例公开的训练目标检测算法的流程示意图；
图4是本发明实施例公开的定位目标水果的流程示意图；
图5是本发明实施例公开的作业场景的示意图；
图6是本发明实施例公开的一种非结构化大作业空间的机器人视觉定位装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或端没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或端固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明公开了一种非结构化大作业空间的机器人视觉定位方法，用于如图5公开的作业场景，首先通过通过第一视觉系统获取作业场景的全局视觉信息，所述全局视觉信息包括全局二维RGB图像以及全局三维点云；分析所述全局视觉信息，根据目标水果的分布情况和机器人作业范围，划分出至少一个作业视场；通过作业视场划分对非结构化的果树采摘作业场景进行了近似结构化场景处理，便于引导机器人到达各个作业视场中进行采摘作业，通过第一视觉系统获取作业场景的局部视觉信息，分析所述局部视觉信息，以识别到目标水果的位置信息，所述局部视觉信息包括局部二维RGB图像以及局部三维点云；由于全局视觉信息距离目标水果较远，目标水果识别精度不高，因此在趋近作业视场后，再次进行局部视觉信息的采集，以获得作业视场内更加精确的所有目标水果的位置，为机器人采摘移动提供保障；所述机器人进入所述作业视场，通过第二视觉系统精确定位所述目标水果并进行采摘作业。从原始图像中待采摘水果区域从上面获得的2D图像中自动加以区分，并准确定位框选作业水果目标的矩形框的位置。在近距离对目标水果进行定位，以使机器人完成目标水果的采摘。以下分别进行详细说明。
实施例
请参阅图1及图5，图1是本发明实施例公开的一种非结构化大作业空间的机器人视觉定位方法的流程示意图。如图1所示，该非结构化大作业空间的机器人视觉定位方法可以包括以下操作：
一种非结构化大作业空间的机器人视觉定位方法，包括安装有第一视觉系统和第二视觉系统的机器人，其特征在于，方法包括以下步骤：
步骤S1，通过第一视觉系统获取作业场景的全局视觉信息，全局视觉信息包括全局二维RGB图像以及全局三维点云；第一视觉系统采集的全局视觉信息包括单棵果树的完整二维图像和全局三维点云。
步骤S2，对全局视觉信息进行近似结构化处理，根据目标水果的分布情况和机器人作业范围，划分出至少一个作业视场；作业视场的大小为机器人一次作业空间范围；在划分作业视场时在全局二维RGB图像上进行划分。机器人逐个完成一个全局二维RGB图像下的多个作业视场的水果采摘工作，则完成当前全局二维RGB图像的采摘任务。通过以下步骤完成作业场景的近似结构化处理：第一视觉系统获取作业场景的全局三维点云；采用VoxelGrid滤波器对全局三维点云进行下采样。具体地，将全局三维点云创建为多个三维体素栅格；使用三维体素栅格中所有点的质心表示三维体素栅格。在创建三维体素栅格的过程中，体素的数量m与体素体积v的设定值成反比。在计算每个三维体素的质心点时，采用如下方程：
；
其中g为当前体素中点的个数，为当前体素内点的三维坐标值，
步骤S3，通过第一视觉系统获取作业场景的局部视觉信息，分析局部视觉信息，以识别到目标水果的位置信息，局部视觉信息包括局部二维RGB图像以及局部三维点云；可以理解的是，如图2所示，在采集全局视觉信息和局部视觉信息时，还包括以下步骤：
步骤S31第一视觉系统采集局部视觉信息时，机器人靠近任意一作业视场，完成局部视觉信息的采集；
步骤S32在完成当前作业视场的采摘作业以后，机器人靠近另一作业视场，并重复步骤S32，直到完成全部作业视场的采摘作业。
本实施例中的全局视觉信息指的是在较远处一次采集完整果树的二维图像和点云数据，局部视觉信息指的是在机器人在趋近某个作业视场后，在采摘作业前采集得到的二维图像和点云数据。
如图3所示，在识别目标水果的位置信息时，采用目标检测算法，该目标检测算法的作用在于机器人到达某一作业视场后，从原始的局部二维RGB图像对其中待采摘水果区域自动加以区分，并准确定位框选目标水果的矩形框的位置。通过以下步骤进行目标检测算法的训练：
采集不同作业目标的图像信息构建训练样本集，对训练样本集进行拉普拉斯增强以凸显纹理特征；
对训练样本集进行打标记操作，并输入特征卷积神经网络进行训练，以获得检测训练模型；
通过实例迁移 和/或 多任务混合迁移学习的方法改进检测训练模型；即迁移多个源领域的实例来扩增目标领域的数据集规模 和/或 目标区域内多个任务间知识共享和迁移，不断提高目标水果检测的准确率；
获得目标检测算法以进行目标水果的识别检测。
该目标检测算法的优点在于针对基于深度学习的作业目标识别中，作业目标的训练数据不足的情况下基于深度学习的作业目标检测方法易于出现的过拟合问题，提出基于混合实例迁移和多任务学习的深度迁移学习方法，探究实例迁移和多任务学习的混合对目标检测的准确率的影响规律，通过迁移多个源领域的实例来扩增目标领域的数据集规模，或者通过目标区域内多个任务间知识共享和迁移，降低训练数据不足情况下基于深度学习的作业目标检测方法出现的退化现象的程度，提高目标物体检测的准确率，降低深度学习对大数据的依赖。
步骤S4如图4所示，机器人进入作业视场，通过第二视觉系统精确定位目标水果并进行采摘作业。由于步骤S3中仅仅是从非结构化空间中的工作视场识别到需要采摘的目标水果，位置信息的精确度无法满足机器人采摘需求，因此还需要通过固定在机器人末端的第二视觉系统，再次对目标水果进行精确定位以及动态跟踪，具体包括以下步骤：
标定所述第二视觉系统；
通过所述目标检测算法获取所述目标水果特征区域像素点对应的目标三维点云；
分析所述目标三维点云，获得所述目标水果的坐标信息；
将所述坐标信息通过坐标变换，转移到机器人基坐标系，以指导所述机器人进行采摘。
本发明的有益效果在于：
1、本发明确保非结构化大环境下机器人操作目标的定位准确率更高、定位速度更快，适用性广，机器人动态操作的鲁棒性更好。适用于非结构化大场景下的机器人野外作业环境的作业目标定位场合。
2、在识别目标水果位置时，从全局检测引导至局部检测，使得机器人作业逻辑非机构化大场景。
3、所提出的方法，作业空间近似化处理，使得数据处理速度大大提高。
4、通过对非结构的大作业空间的全局二维RGB图像进行作业视场分块，使得机器人作业过程有序且高效。
5、采用了全局视觉引导与局部视觉定位相结合的方法，使得机器人作业效率大大提高。
6、局部视觉和全局视觉都采用二维和三维视觉信息融合，使得机器人定位目标的效率大大提高。
7、在作业目标的训练数据不足的情况下，基于深度学习的作业目标检测方法，易于出现的过拟合问题，所提出的目标检测算法基于混合实例迁移和多任务学习的深度迁移学习方法，降低深度学习对大数据的依赖。
实施例
请参阅图6，图6是本发明实施例公开的一种非结构化大作业空间的机器人视觉定位装置的结构示意图。如图6所示，该非结构化大作业空间的机器人视觉定位装置可以包括：
第一视觉模块201，其用于获取果树的全局视觉信息以及局部视觉信息；全局视觉信息包括全局二维RGB图像和全局三维点云，局部视觉信息包括局部二维RGB图像和局部三维点云；
第二视觉模块202，其用于获取目标水果的定位图像；
处理模块203，其用于对全局视觉信息进行近似结构化处理，近似结构化处理配置为对全局视觉信息进行点云下采样处理；
划分模块204，根据目标水果的分布情况和机器人作业范围，划分出至少一个作业视场；
第一定位模块205，其用于分析局部视觉信息，以识别到目标水果的位置信息；
第二定位模块206，其用于根据定位图像分析得到目标水果的准确定位信息；
采摘模块207，其用于根据准确定位信息采摘目标水果；
移动模块208，其用于提供移动能力。
对于上述非结构化大作业空间的机器人视觉定位装置的具体描述可以参照上述非结构化大作业空间的机器人视觉定位方法的具体描述，在此不再一一赘述。
以上所描述的装置实施例仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器（Read-OnlyMemory，ROM）、随机存储器（RandomAccessMemory，RAM）、可编程只读存储器（ProgrammableRead-onlyMemory，PROM）、可擦除可编程只读存储器（ErasableProgrammableReadOnlyMemory，EPROM）、一次可编程只读存储器（One-timeProgrammableRead-OnlyMemory，OTPROM）、电子抹除式可复写只读存储器（Electrically-ErasableProgrammableRead-OnlyMemory，EEPROM）、只读光盘（CompactDiscRead-OnlyMemory，CD-ROM）或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是：本发明实施例公开的一种非结构化大作业空间的机器人视觉定位方法及装所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

Claims (8)

1.一种非结构化大作业空间的机器人视觉定位方法，包括安装有第一视觉系统和第二视觉系统的机器人，其特征在于，所述方法包括以下步骤：
步骤S1，通过第一视觉系统获取作业场景的全局视觉信息，所述全局视觉信息包括全局二维RGB图像以及全局三维点云；
步骤S2，对所述全局视觉信息进行近似结构化处理，根据目标水果的分布情况和机器人作业范围，划分出至少一个作业视场；
步骤S3，通过第一视觉系统获取作业场景的局部视觉信息，分析所述局部视觉信息，以识别到目标水果的位置信息，所述局部视觉信息包括局部二维RGB图像以及局部三维点云；具体包括以下步骤：
步骤S31所述第一视觉系统采集局部视觉信息时，所述机器人靠近任意一作业视场，完成局部视觉信息的采集；
步骤S32在完成当前作业视场的采摘作业以后，所述机器人靠近另一作业视场，并重复步骤S32，直到完成全部作业视场的采摘作业；
步骤S4，所述机器人进入所述作业视场，通过第二视觉系统精确定位所述目标水果并进行采摘作业。
2.根据权利要求1所述的非结构化大作业空间的机器人视觉定位方法，其特征在于，所述第一视觉系统采集的全局视觉信息包括单棵果树的完整二维图像和全局三维点云。
3.根据权利要求2所述的非结构化大作业空间的机器人视觉定位方法，其特征在于，步骤S1中，通过以下步骤完成所述作业场景的近似结构化处理：
第一视觉系统获取作业场景的全局三维点云；
采用VoxelGrid滤波器对全局三维点云进行下采样。
4.根据权利要求3所述的非结构化大作业空间的机器人视觉定位方法，其特征在于，所述全局三维点云的下采样包括以下步骤：
将所述全局三维点云创建为多个三维体素栅格；
使用所述三维体素栅格中所有点的质心表示所述三维体素栅格。
5.根据权利要求1所述的非结构化大作业空间的机器人视觉定位方法，其特征在于，步骤S2中，所述作业视场的大小为所述机器人一次作业空间范围；在划分作业视场时在所述全局二维RGB图像上进行划分。
6.根据权利要求1所述的非结构化大作业空间的机器人视觉定位方法，其特征在于，在识别目标水果的位置信息时，采用目标检测算法，通过以下步骤进行所述目标检测算法的训练：
采集不同作业目标的图像信息构建训练样本集，对所述训练样本集进行拉普拉斯增强以凸显纹理特征；
对所述训练样本集进行打标记操作，并输入特征卷积神经网络进行训练，以获得检测训练模型；
通过实例迁移 和/或 多任务混合迁移学习的方法改进所述检测训练模型；
获得所述目标检测算法。
7.根据权利要求6所述的非结构化大作业空间的机器人视觉定位方法，其特征在于，所述第二视觉系统固定在所述机器人的末端，在精确定位所述目标水果时，包括以下步骤：
标定所述第二视觉系统；
通过所述目标检测算法获取所述目标水果特征区域像素点对应的目标三维点云；
分析所述目标三维点云，获得所述目标水果的坐标信息；
将所述坐标信息通过坐标变换，转移到机器人基坐标系，以指导所述机器人进行采摘。
8.一种非结构化大作业空间的机器人视觉定位装置，其特征在于，所述装置包括：
第一视觉模块，其用于获取果树的全局视觉信息以及局部视觉信息；所述全局视觉信息包括全局二维RGB图像和全局三维点云，所述局部视觉信息包括局部二维RGB图像和局部三维点云；
第二视觉模块，其用于获取目标水果的定位图像；
处理模块，其用于对所述全局视觉信息进行近似结构化处理，所述近似结构化处理配置为对所述全局视觉信息进行点云下采样处理；
划分模块，根据目标水果的分布情况和机器人作业范围，划分出至少一个作业视场；
第一定位模块，其用于分析所述局部视觉信息，以识别到目标水果的位置信息；
第二定位模块，其用于根据所述定位图像分析得到目标水果的准确定位信息；
采摘模块，其用于根据所述准确定位信息采摘目标水果。
CN202310680870.7A 2023-06-08 2023-06-08 一种非结构化大作业空间的机器人视觉定位方法及装置 Active CN116652951B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310680870.7A CN116652951B (zh) 2023-06-08 2023-06-08 一种非结构化大作业空间的机器人视觉定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310680870.7A CN116652951B (zh) 2023-06-08 2023-06-08 一种非结构化大作业空间的机器人视觉定位方法及装置

Publications (2)

Publication Number Publication Date
CN116652951A CN116652951A (zh) 2023-08-29
CN116652951B true CN116652951B (zh) 2024-04-05

Family

ID=87720429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310680870.7A Active CN116652951B (zh) 2023-06-08 2023-06-08 一种非结构化大作业空间的机器人视觉定位方法及装置

Country Status (1)

Country Link
CN (1) CN116652951B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106041927A (zh) * 2016-06-22 2016-10-26 西安交通大学 结合eye‑to‑hand和eye‑in‑hand结构的混合视觉伺服系统及方法
CN109978949A (zh) * 2019-03-26 2019-07-05 南开大学 基于计算机视觉的农作物识别与特征点三维坐标提取的一种方法
CN110692352A (zh) * 2019-09-19 2020-01-17 北京农业智能装备技术研究中心 一种智能农业机器人及其控制方法
CN110992410A (zh) * 2019-11-29 2020-04-10 广东技术师范大学 基于rgb-d数据融合的机器人视觉引导方法和装置
CN111216124A (zh) * 2019-12-02 2020-06-02 广东技术师范大学 基于融入全局视觉和局部视觉的机器人视觉引导方法和装置
CN111602517A (zh) * 2020-05-28 2020-09-01 华南农业大学 一种串型水果分布式视觉主动感知方法及其应用
CN111673755A (zh) * 2020-06-24 2020-09-18 西北农林科技大学 一种基于视觉伺服的采摘机器人控制系统及控制方法
CN111758396A (zh) * 2020-07-21 2020-10-13 四川省机械研究设计院 一种基于视觉协作系统的自行走花椒采摘机器人
CN112136505A (zh) * 2020-09-07 2020-12-29 华南农业大学 一种基于视觉选择注意机制的水果采摘顺序规划方法
CN114973006A (zh) * 2022-08-02 2022-08-30 四川省机械研究设计院(集团)有限公司 花椒采摘方法、装置、系统及存储介质
CN115157286A (zh) * 2022-08-16 2022-10-11 武汉科技大学 基于光视觉的自动挂摘接地线机器人及其远程控制方法
CN116071424A (zh) * 2022-11-30 2023-05-05 西南林业大学 基于单目视觉的果实空间坐标定位方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106041927A (zh) * 2016-06-22 2016-10-26 西安交通大学 结合eye‑to‑hand和eye‑in‑hand结构的混合视觉伺服系统及方法
CN109978949A (zh) * 2019-03-26 2019-07-05 南开大学 基于计算机视觉的农作物识别与特征点三维坐标提取的一种方法
CN110692352A (zh) * 2019-09-19 2020-01-17 北京农业智能装备技术研究中心 一种智能农业机器人及其控制方法
CN110992410A (zh) * 2019-11-29 2020-04-10 广东技术师范大学 基于rgb-d数据融合的机器人视觉引导方法和装置
CN111216124A (zh) * 2019-12-02 2020-06-02 广东技术师范大学 基于融入全局视觉和局部视觉的机器人视觉引导方法和装置
CN111602517A (zh) * 2020-05-28 2020-09-01 华南农业大学 一种串型水果分布式视觉主动感知方法及其应用
CN111673755A (zh) * 2020-06-24 2020-09-18 西北农林科技大学 一种基于视觉伺服的采摘机器人控制系统及控制方法
CN111758396A (zh) * 2020-07-21 2020-10-13 四川省机械研究设计院 一种基于视觉协作系统的自行走花椒采摘机器人
CN112136505A (zh) * 2020-09-07 2020-12-29 华南农业大学 一种基于视觉选择注意机制的水果采摘顺序规划方法
CN114973006A (zh) * 2022-08-02 2022-08-30 四川省机械研究设计院(集团)有限公司 花椒采摘方法、装置、系统及存储介质
CN115157286A (zh) * 2022-08-16 2022-10-11 武汉科技大学 基于光视觉的自动挂摘接地线机器人及其远程控制方法
CN116071424A (zh) * 2022-11-30 2023-05-05 西南林业大学 基于单目视觉的果实空间坐标定位方法

Also Published As

Publication number Publication date
CN116652951A (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN110340891B (zh) 基于点云模板匹配技术的机械臂定位抓取系统及方法
Zhang et al. Deep-learning-based in-field citrus fruit detection and tracking
Medeiros et al. Modeling dormant fruit trees for agricultural automation
Karkee et al. Identification of pruning branches in tall spindle apple trees for automated pruning
Yin et al. Fruit detection and pose estimation for grape cluster–harvesting robot using binocular imagery based on deep neural networks
Elfiky et al. Automation of dormant pruning in specialty crop production: An adaptive framework for automatic reconstruction and modeling of apple trees
Karkee et al. A method for three-dimensional reconstruction of apple trees for automated pruning
Ji et al. Target recognition method of green pepper harvesting robot based on manifold ranking
Zeng et al. Semantic segmentation of sparse 3D point cloud based on geometrical features for trellis-structured apple orchard
Lin et al. Automatic detection of plant rows for a transplanter in paddy field using faster r-cnn
Wan et al. A real-time branch detection and reconstruction mechanism for harvesting robot via convolutional neural network and image segmentation
Grondin et al. Tree detection and diameter estimation based on deep learning
Masuda Leaf area estimation by semantic segmentation of point cloud of tomato plants
Zhang et al. A quadratic traversal algorithm of shortest weeding path planning for agricultural mobile robots in cornfield
Westling et al. Graph-based methods for analyzing orchard tree structure using noisy point cloud data
Yoshida et al. A tomato recognition method for harvesting with robots using point clouds
Xiang et al. Field‐based robotic leaf angle detection and characterization of maize plants using stereo vision and deep convolutional neural networks
Tabb et al. Automatic segmentation of trees in dynamic outdoor environments
Badeka et al. Harvest crate detection for grapes harvesting robot based on YOLOv3 model
Meyer et al. CherryPicker: Semantic skeletonization and topological reconstruction of cherry trees
Zhang et al. TPMv2: An end-to-end tomato pose method based on 3D key points detection
Zhao et al. Automatic sweet pepper detection based on point cloud images using subtractive clustering
Paturkar et al. Overview of image-based 3D vision systems for agricultural applications
CN116652951B (zh) 一种非结构化大作业空间的机器人视觉定位方法及装置
CN117392382A (zh) 一种基于多尺度密集实例检测的单木果树分割方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240305

Address after: No. 8, Poly Crystal 8th Street, Xiuquan Street, Huadu District, Guangzhou, Guangdong 510000

Applicant after: GUANGZHOU XINSHUAI MECHANICAL AND ELECTRICAL EQUIPMENT Co.,Ltd.

Country or region after: Zhong Guo

Address before: No. 293, Zhongshan Avenue West, Tianhe District, Guangzhou, Guangdong 510000

Applicant before: GUANGDONG POLYTECHNIC NORMAL University

Country or region before: Zhong Guo

GR01 Patent grant
GR01 Patent grant