CN114067309B - 一种基于多视角三维重建的甜椒识别与采摘顺序确定方法 - Google Patents
一种基于多视角三维重建的甜椒识别与采摘顺序确定方法 Download PDFInfo
- Publication number
- CN114067309B CN114067309B CN202111242175.XA CN202111242175A CN114067309B CN 114067309 B CN114067309 B CN 114067309B CN 202111242175 A CN202111242175 A CN 202111242175A CN 114067309 B CN114067309 B CN 114067309B
- Authority
- CN
- China
- Prior art keywords
- fruit
- point
- point cloud
- picking
- mechanical arm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 240000004160 Capsicum annuum Species 0.000 title claims abstract description 42
- 235000008534 Capsicum annuum var annuum Nutrition 0.000 title claims abstract description 42
- 235000013399 edible fruits Nutrition 0.000 claims abstract description 151
- 238000005457 optimization Methods 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 20
- 239000012636 effector Substances 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 230000036544 posture Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 239000013256 coordination polymer Substances 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 claims description 2
- 238000010845 search algorithm Methods 0.000 claims description 2
- 241000132456 Haplocarpha Species 0.000 claims 1
- 230000002068 genetic effect Effects 0.000 claims 1
- 238000005265 energy consumption Methods 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 241000196324 Embryophyta Species 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于多视角三维重建的甜椒识别与采摘顺序确定方法。首先通过多视角三维重建结合多个视图获取目标果实的点云数据，可以有效减少点云噪声并减少叶子遮挡的影响；然后通过HSV识别算法对获取的RGBD点云信息进行识别滤除非红色甜椒果实点云；再通过欧几里德聚类求出甜椒果实点云团的数目以及每个甜椒果实点云团中点云的数目；最后对识别出的果实点云团即甜椒果实点云进行处理，求取每个果实点云团的大小、抓取的难易程度、每个果实点云团中最优抓取点到机械臂末端的距离，运用多目标优化算法求出果实的最优抓取顺序。本发明通过结合多方面的信息确定采摘机器人如何对识别到的果实进行抓取，确定果实的采摘顺序，能够在提高采摘机器人抓取成功率的同时降低机械臂的能量消耗，提高了采摘成功率，降低了果实损坏率。
Description
技术领域
本发明属于移动机械臂采摘领域，涉及一种基于多视角三维重建的甜椒识别与采摘顺序确定方法。
背景技术
在移动采摘领域中移动机械臂搭载的视觉模块就好比是人类的眼睛，只有看的清，识别的准才能有效提高采摘的效率。移动机械臂在温室大棚作业过程中环境非常的复杂，环境中存在叶子、茎、固定植物的装置，这些常常会对果实造成遮挡，视觉模块通常无法通过单个视角观测到果实的全貌，这会给后续视觉模块对果实的精准识别带来很大的困难，严重的话可能会导致采摘失败。
在移动机械臂采摘过程中，通常采用单个视角对果实进行识别，由于采摘环境中存在遮挡，单个视角可能无法完整获得甜椒的全貌，给后续机械臂的最优抓取姿态获取以及机械臂的规划带来困难。本发明采用ElasticFusion三维重建算法，进行多视角三维重建，ElasticFusion三维重建算法与KineticFusion三维重建算法相比加入了回环检测，重建精度更高，适合小范围三维重建，能准确获取采摘环境的三维点云数据。
单视角和多视角相比主要存在以下三个缺点(1)单个视角通常通过RGB(颜色图像)和点云对采摘环境进行获取，单个视角采集的图像RGB更容易受到光照的影响，采集的单个点云信息不能完整描述果实的三维立体信息并伴随大量的噪声，对后续果实准确的识别带来困难。(2)在果实识别上，传统的颜色识别算法对光照的敏感度很高，识别效果很大程度上取决于光照强度，抓取方面单个视角获取的RGB图像和点云数据不能够准确获取好的抓取点。(3)单个视角获取的信息量少，多视角能够获得果实的更多信息，比如果实的大小和抓取的难易程度等。在果实采摘抓取过程中通常要考虑果实的大小、抓取的难易程度、以及机械臂的能量消耗。
发明内容
本发明提供了一种基于多视角三维重建的甜椒识别与采摘顺序确定方法。
为了实现上述发明目的，本发明采取的技术方案是：
首先通过多视角三维重建结合多个视图获取目标果实的点云数据，可以有效减少点云噪声并减少叶子遮挡的影响；然后通过HSV识别算法对获取的 RGBD点云信息进行识别滤除非红色甜椒果实点云；再通过欧几里德聚类求出甜椒果实点云团的数目以及每个甜椒果实点云团中点云的数目；最后对识别出的果实点云团即甜椒果实点云进行处理。
对识别到的每一个果实点云团进行下列三步处理：
第一步求出果实的大小，由于在重建过程中甜椒果实存在不同程度的遮挡，识别出的每个果实点云团的大小不一样。求出果实点云团中点云的数目占预设置的完整果实点云的比例作为果实的大小。
第二步求出果实点云团抓取的难易程度，果实点云团抓取的难易程度通过果实点云团中曲率最小点对应的曲率值的大小来表示，曲率最小点对应的为最优抓取点。
第三步求出最优抓取点到机械臂末端的三维欧几里德距离。每个果实点云团都会有三个指标，果实的大小、抓取的难易程度、最优抓取点到机械臂末端的三维欧几里德距离。通过对三个指标进行归一化处理，对每一项指标进行权重设置，然后运用多目标优化算法求出果实的最优抓取顺序，完成果实的抓取。
本发明通过结合多方面的信息确定采摘机器人如何对识别到的果实进行抓取，确定果实的采摘顺序，能够在提高采摘机器人抓取成功率的同时降低机械臂的能量消耗，提高了采摘成功率，降低了果实损坏率。
附图说明
图1基于多视角三维重建的甜椒识别与采摘顺序确定方法流程图。
图2采摘环境下多视角三维重建示意图。
图3机械臂进行多视角三维重建框图。
具体实施方式
一种基于多视角三维重建的甜椒识别与采摘顺序确定方法，包括以下步骤：
步骤1、设备搭建和坐标系建立
将双目视觉相机安装在六自由度优傲Universal Robot机械臂末端执行器上。启动双目视觉相机和六自由度优傲机械臂，并加载机械臂和相机的URDF模型，该模型描述了机械臂的各个关节的位置姿态以及和相机坐标位置的转换关系。定义机械臂的基坐标系为base_link，相机的坐标系为camera_frame，末端执行器坐标系为tool0，利用平移和旋转确定相机坐标系和机械臂基坐标的位置关系。
公式(1)表示将所获得的甜椒三维坐标从相机坐标系转换到机械臂末端执行器坐标系tool0，T为末端执行器坐标系tool0简称，C为相机坐标系 camera_frame简称，R1为从相机坐标系到末端执行器坐标系的旋转矩阵，T1为相机坐标系原点到末端执行器坐标系原点的平移坐标。
TP＝R1 CP+T1 (1)
公式(2)表示将所获得的甜椒三维坐标从末端坐标系tool0转换到机械臂基坐标系base_link，T为末端执行器坐标系tool0简称，B为机械臂基坐标系 base_link的简称，R2为从末端坐标系到机械臂基坐标系的旋转矩阵，T2为末端坐标系原点到机械臂基坐标系原点的平移坐标。
BP＝R2 TP+T2 (2)
步骤2、目标果实的三维重建，获取采摘环境的RGBD点云数据。
控制机械臂进行多视角小范围三维重建。采摘环境下多视角三维重建示意图如图2所示，多视角三维重建流程框图如图3所示，包括以下步骤。
a、启动双目视觉相机，在ROS(机器人操作系统)中订阅相机的深度图像和RGB图像，并把深度图像和RGB图像对齐。
b、运行ElasticFusion三维重建算法，对采摘环境进行三维重建。采摘环境下三维重建ElasticFusion算法的实现主要通过下面2个子步骤完成：
(1)通过订阅到的采摘环境下相机的深度图像和RGB图像的综合信息跟踪相机的轨迹，并采用surfel(面元)模型表示采摘场景，模型中存储了中心点坐标(x，y，z)面元的半径、法向量、颜色(RGB)、面元加入到重建区域时的时间。
(2)重建过程中分为已重建的采摘区域和未重建的采摘区域，重建过程中通过当前获取的点云与已经重建部分进行配准计算位姿，采用随机蕨方法进行全局闭环检测。
c、采摘环境重建过程中机械臂依次通过预定义的矩形框，完成多视角下的三维重建，获取当前采摘环境的RGBD点云文件。步骤如下：
在笛卡尔空间下通过控制机械臂的末端依次通过预定义的矩形框中的四个点a1，b1，c1，d1，然再后回到原来的a1点，机械臂停止运动，预定义矩形框的长度为45cm-70cm，宽度为35cm-45cm，此过程在ROS机器人操作系统中进行。为了更好的获取采摘环境的RGBD点云数据，机械臂运动过程中采取走直线的方式，依次通过图3中的线段L1、L2、L3、L4。机械臂三维重建过程中相机离采摘环境的距离为25cm-60cm。
步骤3、对获取的采摘环境中的RGBD点云数据进行处理，通过颜色识别方法滤除点云数据中的非红色甜椒点，得到红色甜椒果实点云。首先把获取的 PCD文件中描述颜色的RGB值转换到颜色空间HSV中，通过公式(3)-(5) 进行转化，HSV颜色空间的色调H值的阈值设置为0<H<50和H>320，饱和度 S的阈值设置为0<H<50，明度V的阈值设置为48<V<255，通过颜色空间HSV 滤除采摘环境中红色甜椒的枝叶和梗。
步骤4、利用欧几里德聚类对步骤3识别后的点云文件进行处理，得到采摘环境中甜椒果实点云团的数目和每个果实点云团对应的点云数目。对于通过步骤3处理的点云文件中的任意一点P，通过KD-Tree近邻搜索算法找到k个离P点最近的点，通过公式(6)计算点云中的点(x,y,z)到点P(xp,yp,zp)的距离D，这些点中距离小于设定阈值0.002m时便聚类到集合Q中。如果Q中元素的数目不再增加，整个聚类过程便结束。聚类过程中聚类最小点的数目为200个，最大点数目为25000个。通过这个步骤可以获取多个果实点云团，果实点云团的数目表示果实的数目记为n，每个果实点云团中点云的数目记为 count[a](a＝1,2,...n)。
步骤5、由于采摘环境中甜椒存在不同程度的遮挡，识别出的每个果实点云团中点云的数目大小不同，把步骤4获取的每个果实点云团中点云的数目除以同一数值toal_count得到的值εa作为衡量果实点云团的大小。toal_count值的大小通过多视角三维重建对一个完整甜椒果实进行扫描获得，扫描得到的完整果实的点云数目即为toal_count。计算出步骤4中得到的每个果实点云团中点云的数目count[a]占完整果实点云数目toal_count的比例εa。通过公式(7)计算求取：
步骤6、通过果实点云团求取每个果实的抓取难易程度即每个果实点云团中曲率最小点对应的曲率值的大小，并把曲率最小点对应的法向量作为机械臂的抓取姿态。对步骤4获取的果实点云团进行如下处理，求取果实点云团中点的表面法线，求取某一点的法线类似于求取该点的切面法向量，通过最小二乘对该点附近的k个点或者半径为r的圆内点进行最小二乘平面拟合估计，通过公式 (8)计算每一个点Pi的协方差矩阵C,公式中K表示与Pi相邻点的数目或半径为 r的圆内所有的点。代表最临近元素的三维质心；λj表示协方差矩阵的第j个特征值，Vj是第j个特征向量。通过协方差矩阵求解出对应的特征向量，选择最小特征值对应的特征向量，并进行单位化得到点Pi的表面法向量，通过公式(9) 计算出每一点对应的曲率的大小，通过上述步骤可以计算出每一个果实点云团中每个点的法向量γa[i]和曲率βa[i]，i表示果实点云团中的点，a表示果实点云团。
采摘机器人在采摘过程中通过气动吸盘完成对果实的抓取，果实点云团的曲率大小表示末端执行器抓取果实的难易程度，曲率值的大小用βa[i]表示。采摘点对应的曲率越小，气动吸盘更容易吸取果实，吸取的末端姿态由该曲率下对应的法向量决定。一个果实点云团中存在多个曲率，求取曲率和法向量后，对果实点云团中的曲率进行排序，曲率最小的点作为采摘机器人的最优抓取点，该点的曲率值为βa[best]，该曲率下对应的法向量为抓取点的姿态γa[best]。一共n个果实，会得到n个曲率最小的值和对应的抓取姿态。
步骤7、计算每个果实点云团中最优抓取点即果实曲率最小的点到机械臂末端的距离Da，通过三维欧几里德距离公式求出。
公式(10)中(xk,yk,zk)表示机械臂的当前位置，βax[best]，βay[best]，βaz[best]表示最优抓取点在x轴，y轴，z轴上的坐标的值。
步骤8、运用多目标优化算法求解最优采摘顺序。每个果实点云团最终通过三个指标进行衡量，该果实点云团中点云的数目占完整果实点云的比例即果实的大小εa，该果实点云团的抓取难易程度βa[best]曲率值的大小，果实点云团中最优抓取点到机械臂末端的距离Da的大小，通过这三个指标确定甜椒的采摘顺序。对三个指标进行归一化处理，运用多目标优化算法进行求解。多目标优化算法的实现方式如下，定义打分函数f(a)，通过打分函数对分离出的果实点云团进行打分，通过分数的高低，计算果实的采摘顺序，然后控制机械臂按照排列的顺序进行果实的抓取。打分函数的定义如公式(11)所示：
f(a)＝μ·εa+φ·βa[best]+γ·Da (11)
公式(11)中μ，φ，γ分别表示果实点云团的大小，抓取的难易程度，以及机械臂到果实点云团最优抓取点的距离所占的权重，权重的系数和为1，如公式(12) 所示。
μ+φ+γ＝1 (12)
通过评价函数f(a)依次求取每个果实点云团的分数，并把分数按照从大到小的顺序进行排列，控制机械臂完成果实的采摘。
Claims (5)
1.一种基于多视角三维重建的甜椒识别与采摘顺序确定方法，其特征在于，所述方法包括：
利用多视角三维重建结合多个视图获取目标果实的点云数据，所述三维重建算法为ElasticFusion；利用HSV识别算法对获取的RGBD点云信息进行识别滤除非红色甜椒果实点云；再通过欧几里德聚类求出甜椒果实点云团的数目以及每个甜椒果实点云团中点云的数目；最后对识别出的果实点云团即甜椒果实点云进行处理；对识别到的每一个果实点云团进行下列三步处理：
第一步求出果实的大小，把果实点云团中点云的数目占预设置的完整果实点云的比例作为果实的大小；
第二步求出果实点云团抓取的难易程度，果实点云团抓取的难易程度通过果实点云团中曲率最小点对应的曲率值的大小来表示，曲率最小点对应的为最优抓取点；
第三步求出最优抓取点到机械臂末端的三维欧几里德距离；每个果实点云团都会有三个指标，果实的大小、抓取的难易程度、最优抓取点到机械臂末端的三维欧几里德距离；通过对三个指标进行归一化处理，对每一项指标进行权重设置，然后运用多目标优化算法求出果实的最优抓取顺序，完成果实的抓取；
其中，多目标优化算法的实现方式如下，定义打分函数f(a)，通过打分函数对分离出的果实点云团进行打分，通过分数的高低，计算果实的采摘顺序，然后控制机械臂按照排列的顺序进行果实的抓取；打分函数的定义如公式(11)所示：
f(a)＝μ·εa+φ·βa[best]+γ·Da (11)
公式(11)中μ，φ，γ分别表示果实点云团的大小，抓取的难易程度，以及机械臂到果实点云团最优抓取点的距离所占的权重，权重的系数和为1，如公式(12)所示；
μ+φ+γ＝1 (12)
通过评价函数f(a)依次求取每个果实点云团的分数，并把分数按照从大到小的顺序进行排列，控制机械臂完成果实的采摘。
2.如权利要求1所述的一种基于多视角三维重建的甜椒识别与采摘顺序确定方法，具体包括以下步骤：
步骤1、设备搭建和坐标系建立；
将双目视觉相机安装在六自由度优傲Universal Robot机械臂末端执行器上；启动双目视觉相机和六自由度优傲机械臂，并加载机械臂和相机的URDF模型，该模型描述了机械臂的各个关节的位置姿态以及和相机坐标位置的转换关系；定义机械臂的基坐标系为base_link，相机的坐标系为camera_frame，末端执行器坐标系为tool0，利用平移和旋转确定相机坐标系和机械臂基坐标的位置关系；
公式(1)表示将所获得的甜椒三维坐标从相机坐标系转换到机械臂末端执行器坐标系tool0，T为末端执行器坐标系tool0简称，C为相机坐标系camera_frame简称，R1为从相机坐标系到末端执行器坐标系的旋转矩阵，T1为相机坐标系原点到末端执行器坐标系原点的平移坐标；
TP＝R1 CP+T1 (1)
公式(2)表示将所获得的甜椒三维坐标从末端坐标系tool0转换到机械臂基坐标系base_link，T为末端执行器坐标系tool0简称，B为机械臂基坐标系base_link的简称，R2为从末端坐标系到机械臂基坐标系的旋转矩阵，T2为末端坐标系原点到机械臂基坐标系原点的平移坐标；
BP＝R2 TP+T2 (2)
步骤2、目标果实的三维重建，获取采摘环境的RGBD点云数据；
控制机械臂进行多视角小范围三维重建；包括以下步骤；
a、启动双目视觉相机，在机器人操作系统中订阅相机的深度图像和RGB图像，并把深度图像和RGB图像对齐；
b、运行ElasticFusion三维重建算法，对采摘环境进行三维重建；采摘环境下三维重建ElasticFusion算法的实现主要通过下面2个子步骤完成：
(1)通过订阅到的采摘环境下相机的深度图像和RGB图像的综合信息跟踪相机的轨迹，并采用surfel面元模型表示采摘场景，模型中存储了中心点坐标(x，y，z)面元的半径、法向量、颜色(RGB)、面元加入到重建区域时的时间；
(2)重建过程中分为已重建的采摘区域和未重建的采摘区域，重建过程中通过当前获取的点云与已经重建部分进行配准计算位姿，采用随机蕨方法进行全局闭环检测；
c、采摘环境重建过程中机械臂依次通过预定义的矩形框，完成多视角下的三维重建，获取当前采摘环境的RGBD点云文件；步骤如下：
在笛卡尔空间下通过控制机械臂的末端依次通过预定义的矩形框中的四个点a1，b1，c1，d1，然再后回到原来的a1点，机械臂停止运动，预定义矩形框的长度为45cm-70cm，宽度为35cm-45cm，此过程在ROS机器人操作系统中进行；
步骤3、对获取的采摘环境中的RGBD点云数据进行处理，通过颜色识别方法滤除点云数据中的非红色甜椒点，得到红色甜椒果实点云；
首先把获取的PCD文件中描述颜色的RGB值转换到颜色空间HSV中，通过公式(3)-(5)进行转化，HSV颜色空间的色调H值的阈值设置为0<H<50和H>320，饱和度S的阈值设置为0<H<50，明度V的阈值设置为48<V<255，通过颜色空间HSV滤除采摘环境中红色甜椒的枝叶和梗；
步骤4、利用欧几里德聚类对步骤3识别后的点云文件进行处理，得到采摘环境中甜椒果实点云团的数目和每个果实点云团对应的点云数目；
对于通过步骤3处理的点云文件中的任意一点P，通过KD-Tree近邻搜索算法找到k个离P点最近的点，通过公式(6)计算点云中的点(x,y,z)到点P(xp,yp,zp)的距离D，这些点中距离小于设定阈值0.002m时便聚类到集合Q中；如果Q中元素的数目不再增加，整个聚类过程便结束；聚类过程中聚类最小点的数目为200个，最大点数目为25000个；通过这个步骤获取多个果实点云团，果实点云团的数目表示果实的数目记为n，每个果实点云团中点云的数目记为count[a](a＝1,2,...n)；
步骤5、求取果实点云团的大小；
由于采摘环境中甜椒存在不同程度的遮挡，识别出的每个果实点云团中点云的数目大小不同，把步骤4获取的每个果实点云团中点云的数目除以同一数值toal_count得到的值εa作为衡量果实点云团的大小；toal_count值的大小通过多视角三维重建对一个完整甜椒果实进行扫描获得，扫描得到的完整果实的点云数目即为toal_count；计算出步骤4中得到的每个果实点云团中点云的数目count[a]占完整果实点云数目toal_count的比例εa；通过公式(7)计算求取：
步骤6、通过果实点云团求取每个果实的抓取难易程度即每个果实点云团中曲率最小点对应的曲率值的大小，并把曲率最小点对应的法向量作为机械臂的抓取姿态；
对步骤4获取的果实点云团进行如下处理，求取果实点云团中点的表面法线，求取某一点的法线类似于求取该点的切面法向量，通过最小二乘对该点附近的k个点或者半径为r的圆内点进行最小二乘平面拟合估计，通过公式(8)计算每一个点Pi的协方差矩阵C,公式中K表示与Pi相邻点的数目或半径为r的圆内所有的点；代表最临近元素的三维质心；λj表示协方差矩阵的第j个特征值，Vj是第j个特征向量；通过协方差矩阵求解出对应的特征向量，选择最小特征值对应的特征向量，并进行单位化得到点Pi的表面法向量，通过公式(9)计算出每一点对应的曲率的大小，通过上述步骤计算出每一个果实点云团中每个点的法向量γa[i]和曲率βa[i]，i表示果实点云团中的点，a表示果实点云团；
采摘机器人在采摘过程中通过气动吸盘完成对果实的抓取，果实点云团的曲率大小表示末端执行器抓取果实的难易程度，曲率值的大小用βa[i]表示；采摘点对应的曲率越小，气动吸盘更容易吸取果实，吸取的末端姿态由该曲率下对应的法向量决定；一个果实点云团中存在多个曲率，求取曲率和法向量后，对果实点云团中的曲率进行排序，曲率最小的点作为采摘机器人的最优抓取点，该点的曲率值为βa[best]，该曲率下对应的法向量为抓取点的姿态γa[best]；一共n个果实，会得到n个曲率最小的值和对应的抓取姿态；
步骤7、计算每个果实点云团中最优抓取点即果实曲率最小的点到机械臂末端的距离Da，通过三维欧几里德距离公式求出；
公式(10)中(xk,yk,zk)表示机械臂的当前位置，βax[best]，βay[best]，βaz[best]表示最优抓取点在x轴，y轴，z轴上的坐标的值；
步骤8、运用多目标优化算法求解最优采摘顺序；
每个果实点云团最终通过三个指标进行衡量，该果实点云团中点云的数目占完整果实点云的比例即果实的大小εa，该果实点云团的抓取难易程度βa[best]曲率值的大小，果实点云团中最优抓取点到机械臂末端的距离Da的大小，通过这三个指标确定甜椒的采摘顺序；对三个指标进行归一化处理，运用多目标优化算法进行求解。
3.如权利要求1或2所述的一种基于多视角三维重建的甜椒识别与采摘顺序确定方法，其特征在于，所述多视角三维重建算法在实行过程中，为了更好的获取采摘环境的RGBD点云数据，机械臂运动过程中采取走直线的方式，依次通过线段L1、L2、L3、L4；机械臂三维重建过程中相机离采摘环境的距离为25cm-60cm。
4.如权利要求1或2所述的一种基于多视角三维重建的甜椒识别与采摘顺序确定方法，其特征在于，多目标优化算法的实现形式是对每一部分设置权重，算法运行过程中可以自行调整权重的大小；这部分可以换成多目标优化算法NSGA-II(快速精英非支配排序遗传算法)进行求解。
5.如权利要求1或2所述的一种基于多视角三维重建的甜椒识别与采摘顺序确定方法，其特征在于，甜椒采摘机器人底部为全向移动机器人，采摘机器人末端安装有吸盘，采摘过程中通过吸盘进行抓取；多视角三维重建过程中双目视觉相机安装在机械臂的末端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111242175.XA CN114067309B (zh) | 2021-10-25 | 2021-10-25 | 一种基于多视角三维重建的甜椒识别与采摘顺序确定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111242175.XA CN114067309B (zh) | 2021-10-25 | 2021-10-25 | 一种基于多视角三维重建的甜椒识别与采摘顺序确定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114067309A CN114067309A (zh) | 2022-02-18 |
| CN114067309B true CN114067309B (zh) | 2024-04-26 |
Family
ID=80235425
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111242175.XA Active CN114067309B (zh) | 2021-10-25 | 2021-10-25 | 一种基于多视角三维重建的甜椒识别与采摘顺序确定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114067309B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114973006B (zh) * | 2022-08-02 | 2022-10-18 | 四川省机械研究设计院(集团)有限公司 | 花椒采摘方法、装置、系统及存储介质 |
| CN115316129B (zh) * | 2022-08-12 | 2024-03-12 | 华南农业大学 | 基于双目视觉识别的自适应仿生采摘装置及串果采摘方法 |
| CN115187803B (zh) * | 2022-08-12 | 2023-04-21 | 仲恺农业工程学院 | 一种用于名优茶嫩芽采摘过程的定位方法 |
| CN115997560B (zh) * | 2022-12-30 | 2023-12-01 | 北京中科原动力科技有限公司 | 一种基于机械臂的果实采摘方法、系统及装置 |
| CN116673968B (zh) * | 2023-08-03 | 2023-10-10 | 南京云创大数据科技股份有限公司 | 基于强化学习的机械臂轨迹规划要素选择方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102662399A (zh) * | 2012-05-09 | 2012-09-12 | 江苏科技大学 | 一种面向多目标的水果采摘机器人的路径优化方法 |
| CN110110687A (zh) * | 2019-05-15 | 2019-08-09 | 江南大学 | 基于颜色信息和三维轮廓信息的树上水果自动识别方法 |
| CN110400322A (zh) * | 2019-07-30 | 2019-11-01 | 江南大学 | 基于颜色和三维几何信息的水果点云分割方法 |
| WO2021023315A1 (zh) * | 2019-08-06 | 2021-02-11 | 华中科技大学 | 一种基于人眼凝视点的手眼协调抓取方法 |
| CN113313815A (zh) * | 2021-05-24 | 2021-08-27 | 北京航空航天大学 | 一种机械臂抓取物体实时三维重建方法 |
-
2021
- 2021-10-25 CN CN202111242175.XA patent/CN114067309B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102662399A (zh) * | 2012-05-09 | 2012-09-12 | 江苏科技大学 | 一种面向多目标的水果采摘机器人的路径优化方法 |
| CN110110687A (zh) * | 2019-05-15 | 2019-08-09 | 江南大学 | 基于颜色信息和三维轮廓信息的树上水果自动识别方法 |
| CN110400322A (zh) * | 2019-07-30 | 2019-11-01 | 江南大学 | 基于颜色和三维几何信息的水果点云分割方法 |
| WO2021023315A1 (zh) * | 2019-08-06 | 2021-02-11 | 华中科技大学 | 一种基于人眼凝视点的手眼协调抓取方法 |
| CN113313815A (zh) * | 2021-05-24 | 2021-08-27 | 北京航空航天大学 | 一种机械臂抓取物体实时三维重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于RGB-D相机的多视角机械零件三维重建;信寄遥;陈成军;李东年;;计算技术与自动化;20200928(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114067309A (zh) | 2022-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114067309B (zh) | 一种基于多视角三维重建的甜椒识别与采摘顺序确定方法 | |
| CN111602517B (zh) | 一种串型水果分布式视觉主动感知方法及其应用 | |
| Ling et al. | Dual-arm cooperation and implementing for robotic harvesting tomato using binocular vision | |
| CN108171748B (zh) | 一种面向机器人智能抓取应用的视觉识别与定位方法 | |
| Sarig | Robotics of fruit harvesting: A state-of-the-art review | |
| CN107186708B (zh) | 基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法 | |
| CN110969660B (zh) | 一种基于三维立体视觉和点云深度学习的机器人上料系统 | |
| CN111460903B (zh) | 基于深度学习的田间西兰花长势监测系统及方法 | |
| Ning et al. | Recognition of sweet peppers and planning the robotic picking sequence in high-density orchards | |
| CN112715162A (zh) | 一种智能化采摘串型水果的系统 | |
| Zhaoxin et al. | Design a robot system for tomato picking based on yolo v5 | |
| CN107067018A (zh) | 一种基于随机Hough变换和SVM的带电作业机器人螺栓识别方法 | |
| Changyi et al. | Apple detection from apple tree image based on BP neural network and Hough transform | |
| CN113569922A (zh) | 一种苹果智能无损分拣的方法 | |
| CN114902872A (zh) | 一种机器人采摘果实的视觉引导方法 | |
| CN115553132A (zh) | 一种基于视觉算法的荔枝识别方法和仿生荔枝采摘机器人 | |
| CN111587665A (zh) | 一种四自由度的多目视觉旋飞式采摘机器人及其采摘方法 | |
| CN105844264B (zh) | 一种基于受力的油用牡丹果实图像的识别方法 | |
| Fernando et al. | Ai based greenhouse farming support system with robotic monitoring | |
| CN116439018B (zh) | 一种七自由度水果采摘机器人及其采摘方法 | |
| CN116686545B (zh) | 基于机器视觉控制的荔枝采摘机器人除遮方法 | |
| CN108170160A (zh) | 一种利用单目视觉和机载传感器旋翼无人机自主抓取方法 | |
| Park et al. | 3D log recognition and pose estimation for robotic forestry machine | |
| Benet et al. | Development of autonomous robotic platforms for sugar beet crop phenotyping using artificial vision | |
| CN115810188A (zh) | 基于单张二维图像的树上果实三维位姿识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |