CN110226413A - 一种机器人采摘多串堆叠葡萄的方法 - Google Patents
一种机器人采摘多串堆叠葡萄的方法 Download PDFInfo
- Publication number
- CN110226413A CN110226413A CN201910559739.9A CN201910559739A CN110226413A CN 110226413 A CN110226413 A CN 110226413A CN 201910559739 A CN201910559739 A CN 201910559739A CN 110226413 A CN110226413 A CN 110226413A
- Authority
- CN
- China
- Prior art keywords
- picking
- point
- picking point
- grape
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000009754 Vitis X bourquina Nutrition 0.000 title claims abstract description 38
- 235000012333 Vitis X labruscana Nutrition 0.000 title claims abstract description 38
- 235000014787 Vitis vinifera Nutrition 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 33
- 240000006365 Vitis vinifera Species 0.000 title abstract 2
- 239000012636 effector Substances 0.000 claims abstract description 39
- 241000219095 Vitis Species 0.000 claims description 36
- 230000002459 sustained effect Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 239000002420 orchard Substances 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000036544 posture Effects 0.000 description 7
- 240000000560 Citrus x paradisi Species 0.000 description 6
- 238000010008 shearing Methods 0.000 description 5
- 241000219094 Vitaceae Species 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 235000021021 grapes Nutrition 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 3
- 235000013372 meat Nutrition 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000001771 impaired effect Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
- A01D46/30—Robotic devices for individually picking crops
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D91/00—Methods for harvesting agricultural products
- A01D91/04—Products growing above the soil
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Robotics (AREA)
- Manipulator (AREA)
Abstract
本发明提供了一种机器人采摘多串堆叠葡萄的方法，其特征在于：分别对各个采摘点设定采摘预备点和抓取位姿；末端执行器先到达采摘预备点，并在采摘预备点调整末端执行器的抓取位姿，再进给到采摘点执行采摘任务。该方法可降低采摘碰损风险，提高采摘效率与采摘成功率。
Description
技术领域
本发明涉及葡萄采摘技术领域，更具体地说，涉及一种机器人采摘多串堆叠葡萄的方法。
背景技术
近年来，葡萄采摘需求量日益增多，全自动采摘机器人的研发重要性显而易见。但是许多研究只是局限于葡萄的图像分割等领域，基于葡萄的空间分布、采摘顺序等的研究相对较少。因为葡萄皮薄肉嫩，在采摘机器人的采摘作业中，机械手与葡萄果体接触时容易发生碰损，特别是多串葡萄堆叠的情况下，发生碰损的风险大大提高。
在现有的机器人采摘作业中，均并未考虑采摘顺序问题，采取的是直接通过视觉定位，配合末端执行器进行葡萄采摘，此种方法导致在采摘作业时，机器人机械手与葡萄直接刚性接触，容易造成葡萄损坏。而且面对多串葡萄堆叠的情况，传统的视觉定位结合机械手直接夹取的方法也较难实现采摘作业；具体原因是：葡萄生长受环境影响，容易出现多串葡萄堆叠生长，葡萄的间距一般较小，不能满足传统采摘方法机器人末端执行器的工作范围，在进行一串葡萄的采摘时，闭合的机械手会与相近的葡萄发生碰撞、挤压，导致执行器无法进行正常夹取操作，大大加大了发生碰损的风险。
发明内容
为克服现有技术中的缺点与不足，本发明的目的在于提供一种机器人采摘多串堆叠葡萄的方法，该方法可降低采摘碰损风险，提高采摘效率与采摘成功率。
为了达到上述目的，本发明通过下述技术方案予以实现：一种机器人采摘多串堆叠葡萄的方法，其特征在于：包括如下步骤：
S1步，采集果园的RGB图像I1以及对应的深度图I2；
S2步，对RGB图像I1进行果梗识别得到各个果梗的矩形感兴趣区域；获取各个矩形感兴趣区域的中心(xi，yi)作为采摘点Pi的XOY平面坐标；
S3步，根据深度图I2的深度信息z，在各个果梗的矩形感兴趣区域内，获取各个采摘点Pi的中心深度距离zi；各个采摘点Pi的像素坐标为(xi，yi，zi)；
S4步，根据摄像机标定原理，求解出像素坐标系到世界坐标系的变换矩阵M0，通过变换矩阵M0将各个采摘点Pi的像素坐标(xi，yi，zi)转换为世界坐标(x′i，y′i，z′i)；
S5步，拟合出葡萄串的防碰撞圆柱包围体V以及防碰撞圆柱包围体直径D；
S6步，计算XOZ平面内当前采摘点Pi与剩余采摘点中最相近采摘点之间的距离Lmini；并设定安全裕度为kLmini；其中，k为裕度系数；
S7步，判断当前采摘点Pi的安全裕度与L1的大小关系，L1为末端执行器机械爪的最大水平张开宽度：若L1≤kLmini，则设定当前采摘点Pi为第一类采摘点，并跳至S8步；若将L1＞kLmini，则设定当前采摘点Pi为第二类采摘点，并跳至S9步；
S8步，对第一类采摘点进行采摘，包括如下分步骤：
S81步，把世界坐标系与末端执行器的基座坐标系重合；在世界坐标系的OY轴上选取与采摘点Pi(x′i，y′i，z′i)处于同一水平面的坐标Pai(0,y′i,0)；根据的矢量方向作为末端执行器从第一类采摘预备点移动到采摘点Pi的进给方向，求解抓取位姿Mi；
S82步，在方向上，选取与采摘点Pi(x′i，y′i，z′i)同一高度且水平距离L2＝防碰撞圆柱包围体直径D的一点Pbi(xb′i，y′i，zb′i)作为第一类采摘预备点；
S83步，末端执行器运动到第一类采摘预备点Pbi，并调整为抓取位姿Mi，然后根据方向进给到采摘点Pi后执行采摘任务；之后跳至S10步；
S9步，对第二类采摘点进行采摘，包括如下分步骤：
S91步，根据采摘点Pi的XOZ平面坐标(x′i，z′i)与水平距离最小的采摘点Pji的平面坐标(xj′i，zj′i)的方向作为末端执行器由第一类采摘预备点到采摘点Pi的进给方向，求解抓取位姿Mi；
S92步，在方向上，选取与采摘点Pi(x′i，y′i，z′i)同一高度且水平距离L2＝防碰撞圆柱包围体直径D的一点Pbi(xb′i，y′i，zb′i)作为第二类采摘预备点；
S93步，末端执行器运动到第二类采摘预备点Pbi，并调整为抓取位姿Mi，然后根据方向进给到采摘点Pi后执行采摘任务；之后跳至S10步；。
S10步，判断当前采摘点是否为最后一个采摘点：若是，则结束采摘；否则跳至S6步执行下一个采摘点采摘任务。
本发明提出了采摘预备点的概念，在末端执行器运动到采摘点前，先到达采摘预备点作为过渡；在采摘之前，末端执行器在采摘预备点把姿态调整至最佳状态，再进给到采摘点执行采摘任务。
本发明具有以下优越性：一、避免末端执行器在机器人电机驱动各关节运动后，直接与皮薄肉嫩的葡萄果体发生刚性接触，降低了果体受损的风险；二、由于自然生长下的葡萄，受环境影响会呈现不同的生长姿态，这导致不同的葡萄果簇具有多样的果梗姿态；本发明提出了采摘预备点，在末端执行器到达采摘点前，对末端执行器的姿态进行调整，使末端执行器剪切机构与果梗达到最佳剪切相对姿态，可提高剪切效率以及剪切成功概率。
优选地，所述S1步中，采用kinect摄像机采集果园的RGB图像I1以及对应的深度图I2。
优选地，S2步，获取各个矩形感兴趣区域的中心(xi，yi)作为采摘点Pi的XOY平面坐标，是指：获取各个矩形感兴趣区域的左上角坐标(xli，yli)，i＝0,1…,n，以及边长；根据各个矩形感兴趣区域的左上角坐标(xli，yli)以及边长,求得各个矩形感兴趣区域的中心(xi，yi)作为采摘点Pi的XOY平面坐标。
优选地，所述S3步中，获取各个采摘点i的中心深度距离zi的方案是：
其中，xj和yj分别为深度图I2中采摘点i所在矩形感兴趣区域第j个像素点的X坐标和Y坐标，f(xj,yj)为深度图I2中采摘点i所在矩形感兴趣区域第j个像素点的像素值,j＝1,2,…,N。
优选地，所述S5步中，用点云库中随机样本一致性算法拟合出葡萄串的防碰撞圆柱包围体V以及防碰撞圆柱包围体直径D。
优选地，所述S6步中，计算XOZ平面内当前采摘点Pi与剩余采摘点中最相近采摘点之间的距离Lmini：
其中，Δzi为当前采摘点Pi与剩余采摘点中最相近采摘点在像素坐标中z坐标的差值，Δxi为当前采摘点Pi与剩余采摘点中最相近采摘点在像素坐标中x坐标的差值。
优选地，所述S82步中，采摘点Pi(x′i，y′i，z′i)对应的第一类采摘预备点Pbi(xb′i，y′i，zb′i)的求解过程如下：
其中，水平距离L2＝防碰撞圆柱包围体直径D。
优选地，所述S92步中，采摘点Pi(x′i，y′i，z′i)对应的第二类采摘预备点Pbi(xb′i，y′i，zb′i)的求解过程如下：
其中，水平距离L2＝防碰撞圆柱包围体直径D。
与现有技术相比，本发明具有如下优点与有益效果：
1、本发明提出了采摘预备点概念与定位，在到达采摘点前末端执行器在采摘预备点进行姿态调整，使末端执行器处于最佳剪切姿态，在显著降低采摘碰损风险的同时，提高采摘效率与采摘成功率；
2、本发明，有利于简化程序结构，算法运算量小，处理速度快，可提高采摘效率。
附图说明
图1是本发明方法的流程图；
图2是本发明方法中对第一类采摘点的采摘立体示意图；
图3是本发明方法中对第一类采摘点在XOZ平面的采摘示意图；
图4是本发明方法中对第二类采摘点的采摘立体示意图；
图5是本发明方法中对第二类采摘点在XOZ平面的采摘示意图；
其中，1为末端执行器、2为剪切机构、3为托盘、4为防碰撞圆柱包围体。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细的描述。
实施例
本实施例一种机器人采摘多串堆叠葡萄的方法，适用于机器人采用末端执行器采摘果园葡萄；其流程如图1所示：包括如下步骤：
S1步，采用kinect摄像机采集果园的RGB图像I1以及对应的深度图I2；
S2步，利用深度学习中Faster R-CNN算法对RGB图像I1进行果梗识别得到各个果梗的矩形感兴趣区域；获取各个矩形感兴趣区域的左上角坐标(xli，yli)，i＝0,1…,n，以及边长；由于果梗的矩形感兴趣区域内背景面积远远小于果梗的面积，因此可根据各个矩形感兴趣区域的左上角坐标(xli，yli)以及边长,求得各个矩形感兴趣区域的中心(xi，yi)作为采摘点Pi的XOY平面坐标；
S3步，根据深度图I2的深度信息z，在各个果梗的矩形感兴趣区域内，获取各个采摘点Pi的中心深度距离zi：
其中，xj和yj分别为深度图I2中采摘点i所在矩形感兴趣区域第j个像素点的X坐标和Y坐标，f(xj,yj)为深度图I2中采摘点i所在矩形感兴趣区域第j个像素点的像素值,j＝1,2,…,N；
各个采摘点Pi的像素坐标为(xi，yi，zi)；
S4步，根据摄像机标定原理，求解出像素坐标系到世界坐标系的变换矩阵M0，通过变换矩阵M0将各个采摘点Pi的像素坐标(xi，yi，zi)转换为世界坐标(x′i，y′i，z′i)；
S5步，用点云库中随机样本一致性算法拟合出葡萄串的防碰撞圆柱包围体V以及防碰撞圆柱包围体直径D；设置防碰撞圆柱包围体V，后续末端执行器在移动到采摘预备点前尽可能躲避防碰撞包围体，可减少葡萄果实损伤；
S6步，考虑到多数情况下，末端执行器作业时，末端执行器机械爪最大水平张开宽度L1可能会对邻串的葡萄产生较大干扰，因此必须要设置安全裕度；
计算XOZ平面内当前采摘点Pi与剩余采摘点中最相近采摘点之间的距离Lmini：
其中，Δzi为当前采摘点Pi与剩余采摘点中最相近采摘点在像素坐标中z坐标的差值，Δxi为当前采摘点Pi与剩余采摘点中最相近采摘点在像素坐标中x坐标的差值；
设定安全裕度为kLmini；其中，k为裕度系数；本实施例中k取值2，实际应用中，k可以取大于1的数值；
S7步，判断当前采摘点Pi的安全裕度与L1的大小关系，L1为末端执行器机械爪的最大水平张开宽度：若L1≤kLmini，则设定当前采摘点Pi为第一类采摘点，并跳至S8步；若将L1＞kLmini，则设定当前采摘点Pi为第二类采摘点，并跳至S9步；
S8步，对第一类采摘点进行采摘，包括如下分步骤：
S81步，为了提高采摘效率，把世界坐标系与末端执行器的基座坐标系重合，，以便调整抓取位姿；在世界坐标系的OY轴上选取与采摘点Pi(x′i，y′i，z′i)处于同一水平面的坐标Pai(0,y′i,0)；根据的矢量方向作为末端执行器从第一类采摘预备点移动到采摘点Pi的进给方向，求解抓取位姿Mi；
S82步，当L1≤kLmini时，末端执行器在抓取采摘点时不会干扰相邻的葡萄串。由此，第一类采摘预备点Pbi可设置在与采摘点Pi(x′i，y′i，z′i)同一高度的任意方向。为了防止在采摘预备点调整抓取位姿时对相邻的葡萄串产生碰撞，影响采摘点的具体定位；在方向上，选取与采摘点Pi(x′i，y′i，z′i)同一高度且水平距离L2＝防碰撞圆柱包围体直径D的一点Pbi(xb′i，y′i，zb′i)作为第一类采摘预备点；
具体地说，采摘点Pi(x′i，y′i，z′i)对应的第一类采摘预备点Pbi(xb′i，y′i，zb′i)的求解过程如下：
其中，水平距离L2＝防碰撞圆柱包围体直径D；
S83步，末端执行器运动到第一类采摘预备点Pbi，并调整为抓取位姿Mi，然后根据方向进给到采摘点Pi后执行采摘任务，如图2和图3所示；之后跳至S10步；
S9步，对第二类采摘点进行采摘，包括如下分步骤：
S91步，当L1＞kLmini时，末端执行器在抓取果梗采摘点时会干扰相邻的葡萄；根据采摘点Pi的XOZ平面坐标(x′i，z′i)与水平距离最小的采摘点Pji的平面坐标(xj′i，zj′i)的方向作为末端执行器由第一类采摘预备点到采摘点Pi的进给方向，求解抓取位姿Mi；
例如，如图4所示，当前采摘点Pi为P1，水平距离最小的采摘点Pji为P2；将P2的坐标代入到Pji的坐标中；获取水平距离最小的采摘点Pji可通过分别计算当前采摘点Pi与剩余采摘点的水平距离，之后比较各个水平距离的大小获取。
S92步，在方向上，选取与采摘点Pi(x′i，y′i，z′i)同一高度且水平距离L2＝防碰撞圆柱包围体直径D的一点Pbi(xb′i，y′i，zb′i)作为第二类采摘预备点；
具体地说，采摘点Pi(x′i，y′i，z′i)对应的第二类采摘预备点Pbi(xb′i，y′i，zb′i)的求解过程如下：
其中，水平距离L2＝防碰撞圆柱包围体直径D；
S93步，末端执行器运动到第二类采摘预备点Pbi，并调整为抓取位姿Mi，然后根据方向进给到采摘点Pi后执行采摘任务，如图5所示；之后跳至S10步；。
S10步，判断当前采摘点是否为最后一个采摘点：若是，则结束采摘；否则跳至S6步执行下一个采摘点采摘任务。
本发明提出了采摘预备点的概念，当末端执行器运动到采摘点前，先到达采摘预备点作为过渡；在采摘之前，末端执行器在采摘预备点把姿态调整至最佳状态，再进给到采摘点执行采摘任务。
本发明具有以下优越性：一、避免末端执行器在机器人电机驱动各关节运动后，直接与皮薄肉嫩的葡萄果体发生刚性接触，降低了果体受损的风险；二、由于自然生长下的葡萄，受环境影响会呈现不同的生长姿态，这导致不同的葡萄果簇具有多样的果梗姿态；本发明提出了采摘预备点，在末端执行器到达采摘点前，对末端执行器的姿态进行调整，使末端执行器剪切机构与果梗达到最佳剪切相对姿态，可提高剪切效率以及剪切成功概率。本发明还有利于简化程序结构，算法运算量小，处理速度快，可提高采摘效率。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (8)
1.一种机器人采摘多串堆叠葡萄的方法，其特征在于：包括如下步骤：
S1步，采集果园的RGB图像I1以及对应的深度图I2；
S2步，对RGB图像I1进行果梗识别得到各个果梗的矩形感兴趣区域；获取各个矩形感兴趣区域的中心(xi，yi)作为采摘点Pi的XOY平面坐标；
S3步，根据深度图I2的深度信息z，在各个果梗的矩形感兴趣区域内，获取各个采摘点Pi的中心深度距离zi；各个采摘点Pi的像素坐标为(xi，yi，zi)；
S4步，根据摄像机标定原理，求解出像素坐标系到世界坐标系的变换矩阵M0，通过变换矩阵M0将各个采摘点Pi的像素坐标(xi，yi，zi)转换为世界坐标(x′i，y′i，z′i)；
S5步，拟合出葡萄串的防碰撞圆柱包围体V以及防碰撞圆柱包围体直径D；
S6步，计算XOZ平面内当前采摘点Pi与剩余采摘点中最相近采摘点之间的距离Lmini；并设定安全裕度为kLmini；其中，k为裕度系数；
S7步，判断当前采摘点Pi的安全裕度与L1的大小关系，L1为末端执行器机械爪的最大水平张开宽度：若L1≤kLmini，则设定当前采摘点Pi为第一类采摘点，并跳至S8步；若将L1＞kLmini，则设定当前采摘点Pi为第二类采摘点，并跳至S9步；
S8步，对第一类采摘点进行采摘，包括如下分步骤：
S81步，把世界坐标系与末端执行器的基座坐标系重合；在世界坐标系的OY轴上选取与采摘点Pi(x′i，y′i，z′i)处于同一水平面的坐标Pai(0，y′i，0)；根据的矢量方向作为末端执行器从第一类采摘预备点移动到采摘点Pi的进给方向，求解抓取位姿Mi；
S82步，在方向上，选取与采摘点Pi(x′i，y′i，z′i)同一高度且水平距离L2＝防碰撞圆柱包围体直径D的一点Pbi(xb′i，y′i，zb′i)作为第一类采摘预备点；
S83步，末端执行器运动到第一类采摘预备点Pbi，并调整为抓取位姿Mi，然后根据方向进给到采摘点Pi后执行采摘任务；之后跳至S10步；
S9步，对第二类采摘点进行采摘，包括如下分步骤：
S91步，根据采摘点Pi的XOZ平面坐标(x′i，z′i)与水平距离最小的采摘点Pji的平面坐标(xj′i，zj′i)的方向作为末端执行器由第一类采摘预备点到采摘点Pi的进给方向，求解抓取位姿Mi；
S92步，在方向上，选取与采摘点Pi(x′i，y′i，z′i)同一高度且水平距离L2＝防碰撞圆柱包围体直径D的一点Pbi(xb′i，y′i，zb′i)作为第二类采摘预备点；
S93步，末端执行器运动到第二类采摘预备点Pbi，并调整为抓取位姿Mi，然后根据方向进给到采摘点Pi后执行采摘任务；之后跳至S10步；。
S10步，判断当前采摘点是否为最后一个采摘点：若是，则结束采摘；否则跳至S6步执行下一个采摘点采摘任务。
2.根据权利要求1所述的机器人采摘多串堆叠葡萄的方法，其特征在于：所述S1步中，采用kinect摄像机采集果园的RGB图像I1以及对应的深度图I2。
3.根据权利要求1所述的机器人采摘多串堆叠葡萄的方法，其特征在于：S2步，获取各个矩形感兴趣区域的中心(xi，yi)作为采摘点Pi的XOY平面坐标，是指：获取各个矩形感兴趣区域的左上角坐标(xli，yli)，i＝0，1…，n，以及边长；根据各个矩形感兴趣区域的左上角坐标(xli，yli)以及边长，求得各个矩形感兴趣区域的中心(xi，yi)作为采摘点Pi的XOY平面坐标。
4.根据权利要求1所述的机器人采摘多串堆叠葡萄的方法，其特征在于：所述S3步中，获取各个采摘点i的中心深度距离zi的方案是：
其中，xj和yj分别为深度图I2中采摘点i所在矩形感兴趣区域第j个像素点的X坐标和Y坐标，f(xj，yj)为深度图I2中采摘点i所在矩形感兴趣区域第j个像素点的像素值，j＝1，2，…，N。
5.根据权利要求1所述的机器人采摘多串堆叠葡萄的方法，其特征在于：所述S5步中，用点云库中随机样本一致性算法拟合出葡萄串的防碰撞圆柱包围体V以及防碰撞圆柱包围体直径D。
6.根据权利要求1所述的机器人采摘多串堆叠葡萄的方法，其特征在于：所述S6步中，计算XOZ平面内当前采摘点Pi与剩余采摘点中最相近采摘点之间的距离Lmini：
其中，Δzi为当前采摘点Pi与剩余采摘点中最相近采摘点在像素坐标中z坐标的差值，Δxi为当前采摘点Pi与剩余采摘点中最相近采摘点在像素坐标中x坐标的差值。
7.根据权利要求1所述的机器人采摘多串堆叠葡萄的方法，其特征在于：所述S82步中，采摘点Pi(x′i，y′i，z′i)对应的第一类采摘预备点Pbi(xb′i，y′i，zb′i)的求解过程如下：
其中，水平距离L2＝防碰撞圆柱包围体直径D。
8.根据权利要求1所述的机器人采摘多串堆叠葡萄的方法，其特征在于：所述S92步中，采摘点Pi(x′i，y′i，z′i)对应的第二类采摘预备点Pbi(xb′i，y′i，zb′i)的求解过程如下：
其中，水平距离L2＝防碰撞圆柱包围体直径D。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910559739.9A CN110226413B (zh) | 2019-06-26 | 2019-06-26 | 一种机器人采摘多串堆叠葡萄的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910559739.9A CN110226413B (zh) | 2019-06-26 | 2019-06-26 | 一种机器人采摘多串堆叠葡萄的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110226413A true CN110226413A (zh) | 2019-09-13 |
| CN110226413B CN110226413B (zh) | 2021-05-28 |
Family
ID=67857454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910559739.9A Active CN110226413B (zh) | 2019-06-26 | 2019-06-26 | 一种机器人采摘多串堆叠葡萄的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110226413B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111062988A (zh) * | 2019-11-29 | 2020-04-24 | 佛山科学技术学院 | 一种基于局部点云的葡萄位姿估计方法 |
| CN111602517A (zh) * | 2020-05-28 | 2020-09-01 | 华南农业大学 | 一种串型水果分布式视觉主动感知方法及其应用 |
| CN114494441A (zh) * | 2022-04-01 | 2022-05-13 | 广东机电职业技术学院 | 基于深度学习的葡萄及其采摘点同步识别定位方法、装置 |
| CN114973006A (zh) * | 2022-08-02 | 2022-08-30 | 四川省机械研究设计院(集团)有限公司 | 花椒采摘方法、装置、系统及存储介质 |
| CN116703018A (zh) * | 2023-06-25 | 2023-09-05 | 昆明理工大学 | 一种精准挖掘三七主根的路径控制方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110001842A (ko) * | 2009-06-29 | 2011-01-06 | 중앙대학교 산학협력단 | Ｓｉｆｔ 알고리즘을 이용한 ｐｔｚ 카메라의 자동영역확대 제어 장치 및 방법 |
| CN101977494A (zh) * | 2008-02-13 | 2011-02-16 | 匹克技术公司 | 改进苹果、柑橘、核果等类似物体的采摘和初级加工的移动系统 |
| CN104992448A (zh) * | 2015-07-30 | 2015-10-21 | 天津职业技术师范大学 | 机器人防损伤采摘葡萄的自动定位方法 |
| CN105844264A (zh) * | 2015-05-19 | 2016-08-10 | 北京林业大学 | 一种基于受力的油用牡丹果实图像的识别方法 |
| CN108124590A (zh) * | 2018-01-23 | 2018-06-08 | 宁波市农业科学研究院 | 一种蟹爪兰种片的采收处理方法 |
| CN108142102A (zh) * | 2017-12-21 | 2018-06-12 | 西北农林科技大学 | 一种猕猴桃四臂采摘机器人及四区域协同逆时针作业方法 |
| CN109729829A (zh) * | 2019-03-20 | 2019-05-10 | 河北工业大学 | 一种基于双目识别的智能山楂采摘机器人 |
| CN110432000A (zh) * | 2019-08-23 | 2019-11-12 | 佛山科学技术学院 | 基于柔性抓持与夹剪一体的果蔬采摘执行器及其采摘方法 |
-
2019
- 2019-06-26 CN CN201910559739.9A patent/CN110226413B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101977494A (zh) * | 2008-02-13 | 2011-02-16 | 匹克技术公司 | 改进苹果、柑橘、核果等类似物体的采摘和初级加工的移动系统 |
| KR20110001842A (ko) * | 2009-06-29 | 2011-01-06 | 중앙대학교 산학협력단 | Ｓｉｆｔ 알고리즘을 이용한 ｐｔｚ 카메라의 자동영역확대 제어 장치 및 방법 |
| CN105844264A (zh) * | 2015-05-19 | 2016-08-10 | 北京林业大学 | 一种基于受力的油用牡丹果实图像的识别方法 |
| CN104992448A (zh) * | 2015-07-30 | 2015-10-21 | 天津职业技术师范大学 | 机器人防损伤采摘葡萄的自动定位方法 |
| CN108142102A (zh) * | 2017-12-21 | 2018-06-12 | 西北农林科技大学 | 一种猕猴桃四臂采摘机器人及四区域协同逆时针作业方法 |
| CN108124590A (zh) * | 2018-01-23 | 2018-06-08 | 宁波市农业科学研究院 | 一种蟹爪兰种片的采收处理方法 |
| CN109729829A (zh) * | 2019-03-20 | 2019-05-10 | 河北工业大学 | 一种基于双目识别的智能山楂采摘机器人 |
| CN110432000A (zh) * | 2019-08-23 | 2019-11-12 | 佛山科学技术学院 | 基于柔性抓持与夹剪一体的果蔬采摘执行器及其采摘方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111062988A (zh) * | 2019-11-29 | 2020-04-24 | 佛山科学技术学院 | 一种基于局部点云的葡萄位姿估计方法 |
| CN111062988B (zh) * | 2019-11-29 | 2024-02-13 | 佛山科学技术学院 | 一种基于局部点云的葡萄位姿估计方法 |
| CN111602517A (zh) * | 2020-05-28 | 2020-09-01 | 华南农业大学 | 一种串型水果分布式视觉主动感知方法及其应用 |
| CN114494441A (zh) * | 2022-04-01 | 2022-05-13 | 广东机电职业技术学院 | 基于深度学习的葡萄及其采摘点同步识别定位方法、装置 |
| CN114494441B (zh) * | 2022-04-01 | 2022-06-17 | 广东机电职业技术学院 | 基于深度学习的葡萄及其采摘点同步识别定位方法、装置 |
| CN114973006A (zh) * | 2022-08-02 | 2022-08-30 | 四川省机械研究设计院(集团)有限公司 | 花椒采摘方法、装置、系统及存储介质 |
| CN116703018A (zh) * | 2023-06-25 | 2023-09-05 | 昆明理工大学 | 一种精准挖掘三七主根的路径控制方法 |
| CN116703018B (zh) * | 2023-06-25 | 2024-04-19 | 昆明理工大学 | 一种精准挖掘三七主根的路径控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110226413B (zh) | 2021-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110226413A (zh) | 一种机器人采摘多串堆叠葡萄的方法 | |
| CN111602517B (zh) | 一种串型水果分布式视觉主动感知方法及其应用 | |
| CN110785268B (zh) | 用于语义机器人抓取的机器学习方法和装置 | |
| CN108942923A (zh) | 一种机械臂抓取控制方法 | |
| CN109483554A (zh) | 基于全局和局部视觉语义的机器人动态抓取方法及系统 | |
| CN111347411B (zh) | 基于深度学习的双臂协作机器人三维视觉识别抓取方法 | |
| CN111462154A (zh) | 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人 | |
| US12017355B2 (en) | Grasp learning using modularized neural networks | |
| CN111243017A (zh) | 基于3d视觉的智能机器人抓取方法 | |
| US20230017444A1 (en) | Method for the computer-assisted learning of an artificial neural network for detecting structural features of objects | |
| US20210334599A1 (en) | Training a deep neural network model to generate rich object-centric embeddings of robotic vision data | |
| CN114912287A (zh) | 基于目标6d位姿估计的机器人自主抓取仿真系统及方法 | |
| CN112428274B (zh) | 一种多自由度机器人的空间运动规划方法 | |
| CN115861780B (zh) | 一种基于yolo-ggcnn的机械臂检测抓取方法 | |
| CN114902872A (zh) | 一种机器人采摘果实的视觉引导方法 | |
| CN114260895A (zh) | 一种采摘机器人机械臂抓取避障方向确定的方法及其系统 | |
| CN114700949B (zh) | 基于体素抓取网络的机械臂灵巧抓取规划方法 | |
| CN114714365A (zh) | 一种基于云平台的无序工件抓取方法及其系统 | |
| Ranjan et al. | Identification and control of NAO humanoid robot to grasp an object using monocular vision | |
| Ivanov et al. | Bin Picking Pneumatic-Mechanical Gripper for Industrial Manipulators | |
| CN115194774A (zh) | 一种基于多目视觉的双机械臂抓握系统控制方法 | |
| Tang et al. | Picking trajectory planning of citrus based on improved immune algorithm and binocular vision | |
| CN114888768A (zh) | 一种基于多传感器融合的移动双工业机器人协同抓取系统及方法 | |
| CN112372633B (zh) | 机器人的果园树形架型自主推理与场景理解方法 | |
| CN111360826B (zh) | 一种可实时显示抓取位姿的系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: No.33, Guangyun Road, Nanhai District, Foshan City, Guangdong Province, 528200 Patentee after: Foshan University Country or region after: China Address before: No.33, Guangyun Road, Nanhai District, Foshan City, Guangdong Province, 528200 Patentee before: FOSHAN University Country or region before: China |