CN115302514A - 一种协作机器人抓取果蔬的控制方法和装置 - Google Patents

一种协作机器人抓取果蔬的控制方法和装置 Download PDF

Info

Publication number
CN115302514A
CN115302514A CN202211027561.1A CN202211027561A CN115302514A CN 115302514 A CN115302514 A CN 115302514A CN 202211027561 A CN202211027561 A CN 202211027561A CN 115302514 A CN115302514 A CN 115302514A
Authority
CN
China
Prior art keywords
vegetables
grabbing
robot
fruits
fruit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211027561.1A
Other languages
English (en)
Inventor
何强
夏康利
解睿豪
潘辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jianghan University
Original Assignee
Jianghan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jianghan University filed Critical Jianghan University
Priority to CN202211027561.1A priority Critical patent/CN115302514A/zh
Publication of CN115302514A publication Critical patent/CN115302514A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本申请公开了一种协作机器人抓取果蔬的控制方法和装置，所述方法包括：获取分割后的待识别图像；利用预设的果蔬识别模型对所述待识别图像进行果蔬识别，确定待抓取果蔬；利用预设的匹配算法对所述待抓取果蔬进行几何匹配，得到几何匹配图形；根据所述几何匹配图形和预先获取的二维图像空间与现实空间的坐标转换关系，确定机器人夹爪的抓取点；根据所述抓取点调整所述机器人夹爪的抓取角度，控制机器人对所述待抓取果蔬进行抓取。本发明充分利用了待抓取果蔬的几何信息，使果蔬的位姿估计更加准确，根据几何匹配图形确定最合适的抓取点，并根据抓取点对果蔬进行抓取，实现了机器人对果蔬既省力又稳固的抓取。

Description

一种协作机器人抓取果蔬的控制方法和装置
技术领域
本发明涉及农业机器人技术领域，具体涉及一种协作机器人抓取果蔬的控制方法和装置。
背景技术
随着科学技术的飞速发展，协作机器人被广泛应用于农业生产中。通过协作机器人从事精度高与重复性高的作业，解决了农业生产中大面积的规模化蔬果种植与劳动力不足的供需不平衡问题。协作机器人的加入能够提高果蔬采摘和分拣的良品率，同时也提升了农业生产的自动化程度和智能化水平。
在果蔬分拣和果蔬采摘的应用场景中，协作机器人的一个重要任务就是果蔬的抓取。但现有技术中，协作机器人的抓取方式一般是寻找和识别到需要抓取的果蔬后就移动夹爪去抓取，并未对物体的位姿进行估计，比如抓取一根黄瓜时，夹爪沿着黄瓜中心垂直于黄瓜长轴方向抓取是最佳方案，这样的夹取方式最稳最省力。但现有的协作机器人往往只要识别出黄瓜，就在黄瓜任意位置抓取，这样抓取不仅费力，而且抓取不稳固，往往不一定能抓取成功。
因此，需要提供一种协作机器人抓取果蔬的控制方法，来解决现有协作机器人在果蔬分拣和果蔬采摘中没有对果蔬的位姿进行准确估计、对夹爪进行有效调整，导致无法对果蔬进行稳固抓取的问题。
发明内容
有鉴于此，有必要提供一种协作机器人抓取果蔬的控制方法和装置，用以解决现有的协作机器人没有对物体的位姿进行准确估计、对夹爪进行有效调整，从而导致无法对果蔬进行稳固抓取的问题。
为了解决上述问题，本发明提供一种协作机器人抓取果蔬的控制方法，包括：
获取分割后的待识别图像；
利用预设的果蔬识别模型对所述待识别图像进行果蔬识别，确定待抓取果蔬；
利用预设的匹配算法对所述待抓取果蔬进行几何匹配，得到几何匹配图形；
根据所述几何匹配图形和预先获取的二维图像空间与现实空间的坐标转换关系，确定机器人夹爪的抓取点；
根据所述抓取点调整所述机器人夹爪的抓取角度，控制机器人对所述待抓取果蔬进行抓取。
进一步的，利用预设的匹配算法对所述待抓取果蔬进行几何匹配，得到几何匹配图形，包括：
利用最小框定对称几何图形算法，分别通过不同的几何图形对所述待抓取果蔬进行形状匹配，得到不同的几何匹配形状；
选择所述不同的几何匹配形状中，所述待抓取果蔬所占面积比例最大的作为几何匹配图形。
进一步的，用最小框定对称几何图形算法，分别通过不同的几何图形对所述待抓取果蔬进行形状匹配，得到不同的几何匹配形状，包括：
利用旋转卡尺算法来框定待抓取果蔬的最小匹配长方形；
利用哈奇扬算法来框定待抓取果蔬的最小匹配椭圆；
利用最小圆覆盖算法来框定待抓取果蔬的最小匹配圆。
进一步的，根据所述几何匹配图形和预先获取的二维图像空间与现实空间的坐标转换关系，确定机器人夹爪的抓取点，包括：
当所述几何匹配图形为长方形或椭圆形时，将所述几何匹配图形短轴的两个端点在所述待抓取果蔬边界相应的实际位置作为抓取点；
当所述几何匹配图形为圆形时，将所述几何匹配图像的直径的两个端点在所述待抓取果蔬边界相应的实际位置作为抓取点。
进一步的，所述机器人的夹爪为二指夹爪；
根据所述抓取点调整所述机器人夹爪的抓取角度，包括：
移动所述机器人的夹爪，使所述机器人夹爪穿过所述几何匹配图形中心点的轴线与所述几何匹配图形所在的平面垂直；
确定所述抓取点的连线与所述机器人夹爪两个夹指中点的连线所形成的偏移角度；
根据所述偏移角度对所述夹爪进行角度调整。
进一步的，根据所述偏移角度对所述夹爪进行角度调整，包括：
当所述偏移角度为锐角时，将所述夹爪逆时针旋转所述偏移角度；
当所述偏移角度为钝角时，将所述夹爪顺时针旋转所述偏移角度的补角。
进一步的，控制机器人对所述待抓取果蔬进行抓取，还包括：
根据所述抓取点连线的宽度，确定所述夹爪的伸展宽度。
进一步的，所述机器人夹爪上设置有力矩传感器；
控制机器人对所述待抓取果蔬进行抓取，还包括：
利用所述力矩传感器获取所述机器人夹爪与所述果蔬之间的摩擦力大小，根据所述摩擦力确定所述夹爪的夹取力度。
进一步的，所述预设的果蔬识别模型基于卷积神经网络构建。
本发明还提供一种协作机器人抓取果蔬的装置，包括：
图像获取模块，用于获取分割后的待识别图像；
果蔬识别模块，用于利用预设的匹配算法对所述待抓取果蔬进行几何匹配，得到几何匹配图形；
抓取点确定模块，用于根据所述几何匹配图形和预先获取的二维图像空间与现实空间的坐标转换关系，确定机器人夹爪的抓取点；
抓取控制模块，用于根据所述抓取点调整所述机器人夹爪的抓取角度，控制机器人对所述待抓取果蔬进行抓取。
与现有技术相比，本发明的有益效果包括：首先，获取待识别图片，并通过果蔬识别模型对图像中的待抓取果蔬进行识别；其次，对待抓取果蔬进行几何匹配，确定抓取点；最后，根据抓取点调整机器人的抓取角度，对果蔬进行抓取。本发明通过果蔬识别模型识别出图像中待抓取的果蔬，并对果蔬进行几何形状匹配，充分利用了待抓取果蔬的几何信息，使果蔬的位姿估计更加准确；根据几何匹配图形确定最合适的抓取点，并根据抓取点对果蔬进行抓取，实现了机器人对果蔬既省力又稳固的抓取。
附图说明
图1为本发明提供的一种协作机器人抓取果蔬的控制方法一实施例的流程示意图；
图2(a)为本发明提供的机器人腕部相机获取的检测图像一实施例的示意图；
图2(b)为本发明提供的分割图像一实施例的示意图；
图2(c)为本发明提供的利用圆形对果蔬进行形状匹配一实施例的示意图；
图2(d)为本发明提供的利用长方形对果蔬进行形状匹配一实施例的示意图；
图2(e)为本发明提供的利用椭圆形对果蔬进行形状匹配一实施例的示意图；
图3为本发明提供的根据几何匹配图形确定机器人夹爪的抓取点一实施例的示意图；
图4为本发明提供的一种协作机器人抓取果蔬的装置一实施例的结构示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
在实施例描述之前，首先对本申请的发明构思进行说明：
在果蔬分拣和果蔬采摘的应用场景中，现有的协作机器人对果蔬的抓取方式一般是寻找和识别到需要抓取的果蔬后就移动夹爪去抓取，但并未对物体的位姿进行分析，没有对最合适的抓取点进行选择，因此抓取的成功率不高。
由于果蔬往往具有对称的几何外形，因此本申请利用对称几何图形来匹配被抓取的果蔬，通过沿果蔬的几何匹配图形的短轴方向对果蔬进行抓取，达到最稳定也最省力的抓取效果。本发明基于果蔬的几何形状信息，对果蔬进行位姿准确估计，来提高机器人对果蔬的抓取稳定性，实现机器人对果蔬的稳固抓取。
本发明实施例提供了一种协作机器人抓取果蔬的控制方法，图1为本发明提供的协作机器人抓取果蔬的控制方法一实施例的流程示意图，包括：
步骤S101：获取分割后的待识别图像；
步骤S102：利用预设的果蔬识别模型对所述待识别图像进行果蔬识别，确定待抓取果蔬；
步骤S103：利用预设的匹配算法对所述待抓取果蔬进行几何匹配，得到几何匹配图形；
步骤S104：根据所述几何匹配图形和预先获取的二维图像空间与现实空间的坐标转换关系，确定机器人夹爪的抓取点；
步骤S105：根据所述抓取点调整所述机器人夹爪的抓取角度，控制机器人对所述待抓取果蔬进行抓取。
本实施例提供的协作机器人抓取果蔬的控制方法，首先，获取待识别图片，并通过果蔬识别模型对图像中的待抓取果蔬进行识别；其次，对待抓取果蔬进行几何匹配，确定抓取点；最后，根据抓取点调整机器人的抓取角度，对果蔬进行抓取。本实施例通过果蔬识别模型，识别出待抓取的果蔬，并对果蔬进行几何形状匹配，充分利用了待抓取果蔬的几何信息，使果蔬的位姿估计更加准确；根据几何匹配图形确定最合适的抓取点，并根据抓取点对果蔬进行抓取，实现了机器人对果蔬既省力又稳固的抓取。
作为一个具体的实施例，在步骤S101中，所述分割后的待识别图像通过机器人的腕部相机进行获取，具体为：通过控制协作机器人的机械臂在操作台上方平行于操作台进行移动，利用机械臂上设置的腕部相机实时获取操作台的检测图像，并对检测图像进行分割，得到分割后的待识别图像。
作为一个具体的实施例，所述预设的图像分割方法为Mean-Shift算法，通过Mean-Shift算法对检测图像进行物体分割，得到分割图像。
为了完整地检测出操作台上的物体，作为一个具体的实施例，当分割的物体位于图像中央时，使机器人的机械臂停止移动，并将当前分割图像进行存储，用以进行后续的物体识别。
作为优选的实施例，在步骤S102中，所述预设的果蔬识别模型基于卷积神经网络构建，由训练好的卷积神经网络得到果蔬识别模型，通过果蔬识别模型对分割图像中的果蔬进行识别。
作为优选的实施例，在步骤S103中，利用预设的匹配算法对所述待抓取果蔬进行几何匹配，得到几何匹配图形，包括：
利用最小框定对称几何图形算法，分别通过不同的几何图形对所述待抓取果蔬进行形状匹配，得到不同的几何匹配形状；
选择所述不同的几何匹配形状中，所述待抓取果蔬所占面积比例最大的作为几何匹配图形。
作为优选的实施例，利用最小框定对称几何图形算法，分别通过不同的几何图形对所述待抓取果蔬进行形状匹配，得到不同的几何匹配形状，包括：
利用旋转卡尺算法来框定待抓取果蔬的最小匹配长方形；
利用哈奇扬算法来框定待抓取果蔬的最小匹配椭圆；
利用最小圆覆盖算法来框定待抓取果蔬的最小匹配圆。
下面通过图2(a)～图2(e)对上述物体分割和形状匹配的过程进行说明。
如图2(a)所示，机器人腕部相机获取到的检测图像如图2(a)；通过Mean-Shift算法对图像中的物体进行分割，得到图2(b)。
通过不同的几何图形对所述物体进行形状匹配，图2(c)、图2(d)和图2(e)分别展示了利用圆形、长方形和椭圆形对果蔬进行最小框定的几何匹配过程。将果蔬的面积占所述匹配形状面积最大的几何形状作为几何匹配图形。本实施例中，经过面积占比分析，选定椭圆形作为所述果蔬的几何匹配图形。
作为优选的实施例，在步骤S104中，根据所述几何匹配图形和预先获取的二维图像空间与现实空间的坐标转换关系，确定机器人夹爪的抓取点，包括：
当所述几何匹配图形为长方形或椭圆形时，将所述几何匹配图形短轴的两个端点在所述待抓取果蔬边界相应的实际位置作为抓取点；
当所述几何匹配图形为圆形时，将所述几何匹配图像的直径的两个端点在所述待抓取果蔬边界相应的实际位置作为抓取点。
作为一个具体的实施例，所述先获取的二维图像空间与现实空间的坐标转换关系，通过对机器人的腕部相机进行标定来获取。由于相机未经过标定前，仅能获取二维图像，为了确定相机所拍摄到的物体在现实场景中的三维位置关系，使用本领域技术人员常用的相机标定方法，如：棋盘标定板标定法，对机器人的腕部相机进行标定，从而获得二维图像空间与现实空间的坐标转换关系。
作为一个具体的实施例，当所述几何匹配图形为长方形或椭圆形时，确定所述几何匹配图形的长轴和短轴在所述果蔬边界上的实际位置，将所述几何匹配图形短轴在果蔬边界对应的实际物理位置作为抓取点。当所述几何匹配图形为圆形时，确定所述圆形任一条直径两个端点在果蔬边界对应的实际物理位置，将直径端点对应的实际位置作为抓取点。
作为优选的实施例，所述机器人的夹爪为二指夹爪；
在步骤S105中，根据所述抓取点调整所述机器人夹爪的抓取角度，包括：
移动所述机器人的夹爪，使所述机器人夹爪穿过所述几何匹配图形中心点的轴线与所述几何匹配图形所在的平面垂直；
确定所述抓取点的连线与所述机器人夹爪两个夹指中点的连线所形成的偏移角度；
根据所述偏移角度对所述夹爪进行角度调整。
作为优选的实施例，根据所述偏移角度对所述夹爪进行角度调整，包括：
当所述偏移角度为锐角时，将所述夹爪逆时针旋转所述偏移角度；
当所述偏移角度为钝角时，将所述夹爪顺时针旋转所述偏移角度的补角。
作为优选的实施例，控制机器人对所述待抓取果蔬进行抓取，还包括：
根据所述抓取点连线的宽度，确定所述夹爪的伸展宽度。
作为一个具体的实施例，夹爪的伸展宽度大于所述果蔬对应的几何匹配图形的短轴，即可向下移动夹爪，并将夹爪收紧至抓取点。
下面结合图3通过机器人对黄瓜的抓取过程对上述技术方案进行说明。
作为一个具体的实施例，如图3所示，利用长方形对黄瓜作为几何匹配图形，机械臂沿长方形沿长轴移动，当机器人检测到黄瓜位于图像中央时，机械臂停止移动，使所述腕部相机的中心与所述几何匹配图形的中心的连线垂直于所述操作台，准备对待果蔬进行夹取。确定所述抓取点的连线与所述机器人夹爪两个夹指中点的连线所形成的偏移角度，根据偏移角度调整夹爪的抓取角度。将夹爪伸展宽度调整到大于长方形短轴，并向下移动至抓取点，对黄瓜进行抓取。
作为优选的实施例，所述机器人夹爪上设置有力矩传感器；
控制机器人对所述待抓取果蔬进行抓取，还包括：
利用所述力矩传感器获取所述机器人夹爪与所述果蔬之间的摩擦力大小，根据所述摩擦力确定所述夹爪的夹取力度。
为了对操作台上的所有果蔬进行有效夹取，作为一个具体的实施例，预先设置所述协作机器人机械臂的移动路径，所述机器人沿所述预设的移动路径对待夹取果蔬进行识别和夹取。
本实施例还提供了一种协作机器人抓取果蔬的装置，其结构框图如图4所示，所述一种协作机器人抓取果蔬的装置400，包括：
图像获取模块401，用于获取分割后的待识别图像；
果蔬识别模块402，用于利用预设的果蔬识别模型对所述待识别图像进行果蔬识别，确定待抓取果蔬；
几何匹配模块403，用于利用预设的匹配算法对所述待抓取果蔬进行几何匹配，得到几何匹配图形；
抓取点确定模块404，用于根据所述几何匹配图形和预先获取的二维图像空间与现实空间的坐标转换关系，确定机器人夹爪的抓取点；
抓取控制模块405，用于根据所述抓取点调整所述机器人夹爪的抓取角度，控制机器人对所述待抓取果蔬进行抓取。
本发明公开的一种协作机器人抓取果蔬的控制方法和装置，首先，利用已标定的机器人的腕部相机去获取检测图像；其次，对图像中的物体进行分割，并通过果蔬识别模型对图像中的待抓取果蔬进行识别；再次，对待抓取果蔬进行几何匹配，确定抓取点；最后，根据抓取点调整机器人的抓取角度，对果蔬进行抓取。
本发明通过已标定的腕部相机获取更细致的物体图像，通过图像分割和果蔬识别模型，识别出待抓取的果蔬，并对果蔬进行几何形状匹配，充分利用了待抓取果蔬的几何信息，使果蔬的位姿估计更加准确；根据几何匹配图形确定最合适的抓取点，并根据抓取点对果蔬进行抓取，实现了机器人对果蔬既省力又稳固的抓取。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种协作机器人抓取果蔬的控制方法，其特征在于，包括：
获取分割后的待识别图像；利用预设的果蔬识别模型对所述待识别图像进行果蔬识别，确定待抓取果蔬；
利用预设的匹配算法对所述待抓取果蔬进行几何匹配，得到几何匹配图形；
根据所述几何匹配图形和预先获取的二维图像空间与现实空间的坐标转换关系，确定机器人夹爪的抓取点；
根据所述抓取点调整所述机器人夹爪的抓取角度，控制机器人对所述待抓取果蔬进行抓取。
2.根据权利要求1所述的协作机器人抓取果蔬的控制方法，其特征在于，利用预设的匹配算法对所述待抓取果蔬进行几何匹配，得到几何匹配图形，包括：
利用最小框定对称几何图形算法，分别通过不同的几何图形对所述待抓取果蔬进行形状匹配，得到不同的几何匹配形状；
选择所述不同的几何匹配形状中，所述待抓取果蔬所占面积比例最大的作为几何匹配图形。
3.根据权利要求2所述的协作机器人抓取果蔬的控制方法，其特征在于，利用最小框定对称几何图形算法，分别通过不同的几何图形对所述待抓取果蔬进行形状匹配，得到不同的几何匹配形状，包括：
利用旋转卡尺算法来框定待抓取果蔬的最小匹配长方形；
利用哈奇扬算法来框定待抓取果蔬的最小匹配椭圆；
利用最小圆覆盖算法来框定待抓取果蔬的最小匹配圆。
4.根据权利要求3所述的协作机器人抓取果蔬的控制方法，其特征在于，根据所述几何匹配图形和预先获取的二维图像空间与现实空间的坐标转换关系，确定机器人夹爪的抓取点，包括：
当所述几何匹配图形为长方形或椭圆形时，将所述几何匹配图形短轴的两个端点在所述待抓取果蔬边界相应的实际位置作为抓取点；
当所述几何匹配图形为圆形时，将所述几何匹配图像的直径的两个端点在所述待抓取果蔬边界相应的实际位置作为抓取点。
5.根据权利要求3所述的协作机器人抓取果蔬的控制方法，其特征在于，所述机器人的夹爪为二指夹爪；
根据所述抓取点调整所述机器人夹爪的抓取角度，包括：
移动所述机器人的夹爪，使所述机器人夹爪穿过所述几何匹配图形中心点的轴线与所述几何匹配图形所在的平面垂直；
确定所述抓取点的连线与所述机器人夹爪两个夹指中点的连线所形成的偏移角度；
根据所述偏移角度对所述夹爪进行角度调整。
6.根据权利要求5所述的协作机器人抓取果蔬的控制方法，其特征在于，根据所述偏移角度对所述夹爪进行角度调整，包括：
当所述偏移角度为锐角时，将所述夹爪逆时针旋转所述偏移角度；
当所述偏移角度为钝角时，将所述夹爪顺时针旋转所述偏移角度的补角。
7.根据权利要求5所述的协作机器人抓取果蔬的控制方法，其特征在于，控制机器人对所述待抓取果蔬进行抓取，还包括：
根据所述抓取点连线的宽度，确定所述夹爪的伸展宽度。
8.根据权利要求1所述的协作机器人抓取果蔬的控制方法，其特征在于，所述机器人夹爪上设置有力矩传感器；
控制机器人对所述待抓取果蔬进行抓取，还包括：
利用所述力矩传感器获取所述机器人夹爪与所述果蔬之间的摩擦力大小，根据所述摩擦力确定所述夹爪的夹取力度。
9.根据权利要求1所述的协作机器人抓取果蔬的控制方法，其特征在于，所述预设的果蔬识别模型基于卷积神经网络构建。
10.一种协作机器人抓取果蔬的控制装置，其特征在于，
图像获取模块，用于获取分割后的待识别图像；
果蔬识别模块，用于利用预设的果蔬识别模型对所述待识别图像进行果蔬识别，确定待抓取果蔬；
几何匹配模块，用于利用预设的匹配算法对所述待抓取果蔬进行几何匹配，得到几何匹配图形；
抓取点确定模块，用于根据所述几何匹配图形和预先获取的二维图像空间与现实空间的坐标转换关系，确定机器人夹爪的抓取点；
抓取控制模块，用于根据所述抓取点调整所述机器人夹爪的抓取角度，控制机器人对所述待抓取果蔬进行抓取。
CN202211027561.1A 2022-08-25 2022-08-25 一种协作机器人抓取果蔬的控制方法和装置 Pending CN115302514A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211027561.1A CN115302514A (zh) 2022-08-25 2022-08-25 一种协作机器人抓取果蔬的控制方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211027561.1A CN115302514A (zh) 2022-08-25 2022-08-25 一种协作机器人抓取果蔬的控制方法和装置

Publications (1)

Publication Number Publication Date
CN115302514A true CN115302514A (zh) 2022-11-08

Family

ID=83864063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211027561.1A Pending CN115302514A (zh) 2022-08-25 2022-08-25 一种协作机器人抓取果蔬的控制方法和装置

Country Status (1)

Country Link
CN (1) CN115302514A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105710878A (zh) * 2016-04-29 2016-06-29 深圳博美德机器人股份有限公司 机械抓手
JP2017124450A (ja) * 2016-01-12 2017-07-20 株式会社ソフトサービス ピックアップ装置
CN110420867A (zh) * 2019-07-26 2019-11-08 华南理工大学 一种使用平面检测的自动分拣的方法
CN113878576A (zh) * 2021-09-28 2022-01-04 浙江大学 一种机器人视觉分拣工艺程序编制方法
CN114347044A (zh) * 2022-03-17 2022-04-15 季华实验室 辣椒采摘方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017124450A (ja) * 2016-01-12 2017-07-20 株式会社ソフトサービス ピックアップ装置
CN105710878A (zh) * 2016-04-29 2016-06-29 深圳博美德机器人股份有限公司 机械抓手
CN110420867A (zh) * 2019-07-26 2019-11-08 华南理工大学 一种使用平面检测的自动分拣的方法
CN113878576A (zh) * 2021-09-28 2022-01-04 浙江大学 一种机器人视觉分拣工艺程序编制方法
CN114347044A (zh) * 2022-03-17 2022-04-15 季华实验室 辣椒采摘方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
原彬理: "基于双目立体视觉的普通工件图像匹配与定位", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 03, 15 April 2019 (2019-04-15), pages 138 - 805 *

Similar Documents

Publication Publication Date Title
CN109483554B (zh) 基于全局和局部视觉语义的机器人动态抓取方法及系统
CN111791239B (zh) 一种结合三维视觉识别可实现精确抓取的方法
CN105729468B (zh) 一种基于多深度摄像机增强的机器人工作台
CN111923053A (zh) 基于深度视觉的工业机器人物件抓取示教系统及方法
WO2017015898A1 (zh) 用于机器人拆垛设备的控制系统和用于控制机器人拆垛的方法
CN113146172B (zh) 一种基于多视觉的检测与装配系统及方法
CN110125036B (zh) 一种基于模板匹配的自识别分拣方法
CN111347411A (zh) 基于深度学习的双臂协作机器人三维视觉识别抓取方法
CN110480630B (zh) 一种工业机器人的自适应目标定位系统及方法
CN112295949A (zh) 一种基于深度神经网络的视觉智能分拣方法及系统
CN113538459B (zh) 一种基于落点区域检测的多模式抓取避障检测优化方法
CN111598172A (zh) 基于异构深度网络融合的动态目标抓取姿态快速检测方法
CN110404803A (zh) 一种基于视觉的并联机器人分拣系统及分拣方法
CN111069073A (zh) 胶圈分拣设备
CN115890639A (zh) 一种机器人视觉引导定位抓取控制系统
CN116749198A (zh) 一种基于双目立体视觉引导机械臂抓取方法
Pan et al. Manipulator package sorting and placing system based on computer vision
CN114770461B (zh) 一种基于单目视觉的移动机器人及其自动抓取方法
CN114074331A (zh) 一种基于视觉的无序抓取方法及机器人
CN109604468B (zh) 一种基于机器视觉的工件冲压系统及其控制方法
CN111267094A (zh) 一种基于双目视觉的工件定位与抓取方法
CN115302514A (zh) 一种协作机器人抓取果蔬的控制方法和装置
CN117554739A (zh) 一种用于待测试电器通电测试的自动化测试方法及系统
CN111546335B (zh) 一种异形导管机器人自动抓取的视觉定位方法
JP6644846B1 (ja) ワークの位置姿勢認識装置およびピッキングシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination