CN107009358A - 一种基于单相机的机器人无序抓取装置及方法 - Google Patents

一种基于单相机的机器人无序抓取装置及方法 Download PDF

Info

Publication number
CN107009358A
CN107009358A CN201710240641.8A CN201710240641A CN107009358A CN 107009358 A CN107009358 A CN 107009358A CN 201710240641 A CN201710240641 A CN 201710240641A CN 107009358 A CN107009358 A CN 107009358A
Authority
CN
China
Prior art keywords
camera
robot
target object
point
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710240641.8A
Other languages
English (en)
Other versions
CN107009358B (zh
Inventor
李淼
闫琳
张少华
孙斌
朱祥将
潘绪洋
明棚
占俊
付中涛
房小立
周新钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kubote Technology Co.,Ltd.
Original Assignee
Wuhan Cooper Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Cooper Technology Co Ltd filed Critical Wuhan Cooper Technology Co Ltd
Priority to CN201710240641.8A priority Critical patent/CN107009358B/zh
Publication of CN107009358A publication Critical patent/CN107009358A/zh
Application granted granted Critical
Publication of CN107009358B publication Critical patent/CN107009358B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40002—Camera, robot follows direction movement of operator head, helmet, headstick

Abstract

本发明涉及一种基于单相机的机器人无序抓取装置及方法，其装置包括工作台、取料框、吸盘、机器人、单相机和放料框；所述取料框和放料框间隔设置在所述工作台上，所述机器人设置在所述工作台上，并位于所述取料框和放料框之间，所述吸盘设置在所述机器人的末端执行器上；所述工作台上设有支架，所述单相机设置在所述支架上，且所述吸盘、机器人和单相机分别与外部控制柜内的中央处理器电连接。本发明能够获知无序堆叠的目标物体在三维空间的位姿信息来实现机器人的无序抓取过程，具有测量成本低，抓取成功率高、放置精度高及便于操作等优点，实现抓取过程的自动化和智能化。

Description

一种基于单相机的机器人无序抓取装置及方法
技术领域
本发明涉及机器人技术领域，尤其涉及一种基于单相机的机器人无序抓取装置及方法。
背景技术
随着《中国制造2025》的逐步推进，机器人自动化系统广泛应用于3C和物流行业的抓取、分拣、装配等作业中。机器视觉作为实现机器人自动化作业的关键技术，其可以代替人眼对被待操作目标物体进行测量和判断，获取目标物体的颜色与位姿等信息，提高机器人生产的柔性和自动化程度。目前工业环境经常存在物体堆积、杂乱无序放置的情况，而采用传统的机器人抓取或分拣方法，往往存在识别物体信息不准确，抓取或分拣成功率低的问题，严重影响机器人作业过程的效率和增大了企业成本。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于单相机的机器人无序抓取装置及方法。
本发明解决上述技术问题的技术方案如下：
依据本发明的一个方面，提供了一种基于单相机的机器人无序抓取装置，包括：工作台、取料框、吸盘、机器人、单相机和放料框；所述取料框和放料框间隔设置在所述工作台上，所述机器人设置在所述工作台上，并位于所述取料框和放料框之间，所述吸盘设置在所述机器人的末端执行器上；所述工作台上设有支架，所述单相机设置在所述支架上，且所述吸盘、机器人和单相机分别与外部控制柜内的中央处理器电连接。
所述单相机用于获取无序堆叠在所述取料框中的任一目标物体的第一图像信息，还用于获取所述机器人已抓取的所述目标物体的第二图像信息；所述中央处理器用于根据所述第一图像信息识别该目标物体的抓取点在机器人坐标系内的三维位姿信息，还用于根据所述第二图像信息识别所述目标物体的中心点在机器人坐标系内的三维位姿信息，还用于根据所述中心点和抓取点在机器人坐标系内的三维位姿信息控制机器人运动，同时控制所述吸盘无序抓取所述取料框内的目标物体，并放置到所述放料框中。
本发明的基于单相机的机器人无序抓取装置，能够获知无序堆叠的目标物体在三维空间的位姿信息来实现机器人的无序抓取过程，具有测量成本低，抓取成功率高、放置精度高及便于操作等优点，实现抓取过程的自动化和智能化。
依据本发明的另一个方面，提供了一种基于单相机的机器人无序抓取方法，包括：
S1，通过单相机获取无序堆叠的任一目标物体的第一图像信息，并根据所述第一图像信息识别该目标物体的抓取点在机器人坐标系内的三维位姿信息；
S2，根据所述抓取点的三维位姿信息控制位于机器人末端的吸盘抓取对应的所述目标物体，通过所述单相机获取已抓取的所述目标物体的第二图像信息，并识别所述目标物体的中心点在所述机器人坐标系内的三维位姿信息；
S3，根据所述中心点和抓取点在所述机器人坐标系内的三维位姿信息控制机器人运动，同时控制吸盘将目标物体放置到放料框中。
本发明的基于单相机的机器人无序抓取方法，能够获知无序堆叠的目标物体在三维空间的位姿信息来实现机器人的无序抓取过程，具有测量成本低，抓取成功率高、放置精度高及便于操作等优点，实现抓取过程的自动化和智能化。
附图说明
图1为本发明的一种基于单相机的机器人无序抓取装置结构示意图；
图2为本发明一实施例的一种基于单相机的机器人无序抓取装置电路示意图；
图3为本发明另一实施例的一种基于单相机的机器人无序抓取装置电路示意图；
图4为本发明的一种基于单相机的机器人无序抓取装置方法流程示意图。
附图中，各标号所代表的部件列表如下：
1、工作台，2、取料框，3、目标物体，4、吸盘，5、机器人，6、单相机，7、光源，8、放料框。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1和图2所示，一种基于单相机的机器人无序抓取装置，包括工作台1、取料框2、吸盘4、机器人5、单相机6和放料框8。
所述取料框2和放料框8间隔设置在所述工作台1上，所述机器人5设置在所述工作台1上，并位于所述取料框2放料框8之间，所述吸盘4设置在所述机器人5的末端执行器上；所述工作台1上设有支架，所述单相机6设置在所述支架上，且，所述吸盘4、机器人5和单相机6分别与外部控制柜内的中央处理器电连接。
所述单相机6用于获取无序堆叠在所述取料框2中的任一目标物体3的第一图像信息，还用于获取所述机器人5已抓取的所述目标物体3的第二图像信息。
所述中央处理器用于根据所述第一图像信息识别该目标物体3的抓取点在机器人坐标系内的三维位姿信息，还用于根据所述第二图像信息识别所述目标物体3的中心点在机器人坐标系内的三维位姿信息，还用于根据所述中心点和抓取点在机器人坐标系内的三维位姿信息控制机器人5运动，同时控制所述吸盘4无序抓取所述取料框2内的目标物体3，并放置到所述放料框8中。
本发明的基于单相机的机器人无序抓取装置，能够获知无序堆叠的目标物体在三维空间的位姿信息来实现机器人的无序抓取过程，具有测量成本低，抓取成功率高、放置精度高及便于操作等优点，实现抓取过程的自动化和智能化。
本实施例中，所述中央处理器包括抓取点识别单元，具体用于：根据所述第一图像信息识别目标物体3的抓取点，确定所述抓取点在所述第一图像信息内的二维坐标pg(u,v)；根据所述第一图像信息识别目标物体3的抓取点，确定所述抓取点在所述第一图像信息内的二维坐标pg(u,v)；对所述单相机6进行标定，获取单相机参数；根据所述单相机参数确定所述抓取点的深度信息，并根据所述抓取点的深度信息、抓取点的二维坐标pg(u,v)和单相机参数确定所述抓取点在单相机坐标系内的三维坐标Pg(xc,yc,zc)；根据手眼标定算法获取所述单相机坐标系与机器人坐标系之间的变换关系，确定所述抓取点在所述机器人坐标系内的三维坐标Pg(x,y,z)。
通过所述抓取点识别单元可以准确的识别出目标物体3的抓取点在机器人坐标系内的三维坐标，方便所述中央处理器控制机器人5带动所述吸盘4运动至抓取点位置处，并控制所述吸盘5在抓取点位置处准确的抓取目标物体3，实现目标物体的无序准确抓取。
本实施例中，所述中央处理器还包括中心点识别单元，具体用于采用如所述抓取点识别单元的方法，分别获取已抓取的所述目标物体3的中心点在所述第二图像信息的二维坐标系、相机坐标系和机器人坐标系中的坐标pc(u,v)、Pc(xc,yc,zc)、Pc(x,y,z)。
这里，参照对抓取点的识别方法，先根据所述第二图像信息识别已抓取的目标物体3的中心点，并确定所述中心点在所述第二图像信息内的二维坐标pc(u,v)，再根据单相机参数确定所述中心点的深度信息，并很据所述中心点的深度信息、抓取点的二维坐标pc(u,v)和单相机参数确定中心点在单相机坐标系内的三维坐标Pc(xc,yc,zc)，最后再根据眼标定算法获取所述单相机坐标系与机器人坐标系之间的变换关系，确定所述中心点在所述机器人坐标系内的三维坐标Pc(x,y,z)。
通过所述中心点识别单元可以准确的识别出已抓取的目标物体3的中心点在机器人坐标系内的三维坐标，方便所述中央处理器将抓取点和中心点在单相机坐标系内的三维坐标转换到机器人坐标系内的三维坐标，并控制机器人5根据中心点和抓取点在机器人坐标系内的三维坐标将目标物体3放置到放料框8中，实现目标物体的有序自动放置。
优选地，本发明的基于单相机的机器人无序抓取装置，所述中央处理器还包括补偿控制单元，具体用于：根据所述第二图像信息识别所述目标物体的角度信息，并确定所述目标物体的抓取点Pg和中心点Pc在所述目标物体坐标系内的偏差信息；根据所述偏差信息对所述抓取点进行偏差补偿，并根据补偿后的抓取点和中心点在所述目标物体坐标系内的三维坐标控制机器人5运动，同时控制吸盘4将所述目标物体3放置到放料框8中。
通过所述补偿控制单元，可以识别出所述目标物体的抓取点Pg和中心点Pc在所述目标物体坐标系内的偏差信息，并通过所述偏差信息对所述抓取点进行偏差补偿，并根据补偿后的抓取点和中心点在所述目标物体坐标系内的三维坐标控制机器人5运动，同时控制吸盘4将所述目标物体3放置到放料框8中，实现了目标物体的精准有序自动放置。
具体地，所述补偿控制单元对所述抓取点进行偏差补偿具体包括：在所述目标物体坐标系内，分别沿着x方向和y方向分别进行偏差补偿，并保持z方向不变，机器人5根据补偿后的抓取点和中心点在所述目标物体坐标系内的三维坐标将所述目标物体3准确有序的放置到放料框8中，非常整齐，几乎没有任何偏差。
如图1和图3所示，优选地，本发明的基于单相机的机器人无序抓取装置还包括至少一个光源7，所述光源7固定在所述工作台1上的支架上，所述光源7与所述中央处理器电连接，并为所述单相机6提供辅助照明，并在夜间或者其他光线不足的情况下辅助所述单相机6清晰地获取目标物体3的图像信息，便于中央处理准确的识别目标物体的抓取点和中心点。
如图4所示，一种基于单相机的机器人无序抓取方法，采用所述的基于单相机的机器人无序抓取装置，包括：
S1，通过单相机6获取无序堆叠的任一目标物体3的第一图像信息，并根据所述第一图像信息识别该目标物体3的抓取点在机器人坐标系内的三维位姿信息；
S2，根据所述抓取点的三维位姿信息控制位于机器人5末端的吸盘4抓取对应的所述目标物体，通过所述单相机6获取已抓取的所述目标物体3的第二图像信息，并识别所述目标物体3的中心点在所述机器人坐标系内的三维位姿信息；
S3，根据所述中心点和抓取点在所述机器人坐标系内的三维位姿信息控制机器人5运动，同时控制吸盘4将目标物体3放置到放料框8中。
本发明的基于单相机的机器人无序抓取方法，能够获知无序堆叠的目标物体在三维空间的位姿信息来实现机器人的无序抓取过程，具有测量成本低，抓取成功率高、放置精度高及便于操作等优点，实现抓取过程的自动化和智能化。
本实施例中，所述步骤1具体包括：
S1.1，通过单相机6获取无序堆叠的目标物体3的第一图像信息，根据所述第一图像信息识别目标物体3的抓取点，确定所述抓取点在所述第一图像信息内的二维坐标pg(u,v)；
S1.2，对所述单相机6进行标定，获取单相机参数；
S1.3，根据所述单相机参数确定所述抓取点的深度信息，并根据所述抓取点的深度信息、抓取点的二维坐标pg(u,v)和单相机参数确定所述抓取点在单相机坐标系内的三维坐标Pg(xc,yc,zc)；
S1.4，根据手眼标定算法获取所述单相机坐标系与机器人坐标系之间的变换关系，确定所述抓取点在所述机器人坐标系内的三维坐标Pg(x,y,z)，具体为：
其中，(u0,v0,αx,αy)为相机的内部参数。
通过上述步骤可以准确的识别出目标物体3的抓取点在机器人坐标系内的三维坐标，方便所述中央处理器控制机器人5带动所述吸盘4运动至抓取点位置处，并控制所述吸盘5在抓取点位置处准确的抓取目标物体3，实现目标物体的无序准确抓取。
实际中，单相机6标定建立了空间中实际点(比如抓取点)的三维坐标到相机坐标的变换关系矩阵M，该变换关系包含一个系数s，这个系数s的物理意义就是该实际点到相机的光心的距离。知道系数s和变换矩阵M，就可唯一确定二维图像的抓取点和三维坐标的对应关系。因此根据单相机6标定获取的变换关系矩阵M、抓取点的二维坐标pg(u,v)和单相机获取的抓取点到相机光心的距离(即所述抓取点的深度信息)，就可以通过反投影算出抓取点的三维坐标，该三维坐标即所述抓取点在三维坐标系内的坐标Pg(xc,yc,zc)。
本实施例中，所述步骤2中，采用如所述步骤1的方法，分别确定已抓取的所述目标物体3的中心点在所述第二图像信息的二维坐标系、相机坐标系和机器人坐标系中的坐标pc(u,v)、Pc(xc,yc,zc)、Pc(x,y,z)，具体为：
其中，(u0,v0,αx,αy)为相机的内部参数。
这里，参照对抓取点的识别方法，先根据所述第二图像信息识别已抓取的目标物体3的中心点，并确定所述中心点在所述第二图像信息内的二维坐标pc(u,v)，再根据单相机参数确定所述中心点的深度信息，并很据所述中心点的深度信息、抓取点的二维坐标pc(u,v)和单相机参数确定中心点在单相机坐标系内的三维坐标Pc(xc,yc,zc)，最后再根据眼标定算法获取所述单相机坐标系与机器人坐标系之间的变换关系，确定所述中心点在所述机器人坐标系内的三维坐标Pc(x,y,z)。
通过上述步骤可以准确的识别出已抓取的目标物体3的中心点在机器人坐标系内的三维坐标，方便所述中央处理器将抓取点和中心点在单相机坐标系内的三维坐标转换到机器人坐标系内的三维坐标，并控制机器人5根据中心点和抓取点在机器人坐标系内的三维坐标将目标物体3放置到放料框8中，实现目标物体的有序自动放置。
本实施例中，所述步骤3具体包括：
S3.1，根据所述第二图像信息识别所述目标物体的角度信息，并确定所述目标物体的抓取点Pg和中心点Pc在所述目标物体坐标系内的偏差信息；
S3.2，根据所述偏差信息对所述抓取点进行偏差补偿，并根据补偿后的抓取点和中心点在所述目标物体坐标系内的三维坐标控制机器人5运动，同时控制吸盘4将所述目标物体3放置到放料框8中。
通过上述步骤可以识别出所述目标物体的抓取点Pg和中心点Pc在所述目标物体坐标系内的偏差信息，并通过所述偏差信息对所述抓取点进行偏差补偿，并根据补偿后的抓取点和中心点在所述目标物体坐标系内的三维坐标控制机器人5运动，同时控制吸盘4将所述目标物体3放置到放料框8中，实现了目标物体的精准有序自动放置。
所述S3.1中，首先通过二次定位获得目标物体坐标系相对机器人坐标系的旋转矩阵，再计算所述抓取点和中心点在机器人坐标系内的偏差，并根据所述旋转矩阵，通过矩阵乘法将偏差投影到目标物体坐标系的方向上，即可获得在目标物体坐标系内抓取点和中心点的偏差信息。
优选地，所述步骤S3.2中，对所述抓取点进行偏差补偿具体包括：在所述目标物体坐标系内，分别沿着x方向和y方向分别进行偏差补偿，并保持z方向不变，机器人5根据补偿后的抓取点和中心点在所述目标物体坐标系内的三维坐标将所述目标物体3准确有序的放置到放料框8中，非常整齐，几乎没有任何偏差。
本发明的一种基于单相机的机器人无序抓取方法具有如下优点：
1、具有测量成本低，抓取成功率高、放置精度高及便于操作等特点，可在机器人生产线上完成各种无序放置物体的抓取任务，也可在极限或者有害的环境下代替人工和人眼实现灵活、精确、快速、高重复度的抓取操作；
2、能够感知无序放置物体的位姿信息及实现抓取物体的精确有序放置；
3、采用单相机和图像处理算法，可以实现对不同形状、各种放置物体的无序抓取，且结构紧凑简单、价格低廉、抓取放置精度与稳定性高。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于单相机的机器人无序抓取装置，其特征在于：包括工作台(1)、取料框(2)、吸盘(4)、机器人(5)、单相机(6)和放料框(8)；
所述取料框(2)和放料框(7)间隔设置在所述工作台(1)上，所述机器人(5)设置在所述工作台(1)上，并位于所述取料框(2)和放料框(8)之间，所述吸盘(4)设置在所述机器人(5)的末端执行器上；所述工作台(1)上设有支架，所述单相机(6)设置在所述支架上，且所述吸盘(4)、机器人(5)和单相机(6)分别与外部控制柜内的中央处理器电连接；
所述单相机(6)用于获取无序堆叠在所述取料框(2)中的任一目标物体(3)的第一图像信息，还用于获取所述机器人(5)已抓取的所述目标物体(3)的第二图像信息；
所述中央处理器用于根据所述第一图像信息识别该目标物体(3)的抓取点在机器人坐标系内的三维位姿信息，还用于根据所述第二图像信息识别所述目标物体(3)的中心点在机器人坐标系内的三维位姿信息，还用于根据所述中心点和抓取点在机器人坐标系内的三维位姿信息控制机器人(5)运动，同时控制所述吸盘(4)无序抓取所述取料框(2)内的目标物体(3)，并放置到所述放料框(8)中。
2.根据权利要求1所述的基于单相机的机器人无序抓取装置，其特征在于，所述中央处理器包括抓取点识别单元，具体用于：
根据所述第一图像信息识别目标物体(3)的抓取点，确定所述抓取点在所述第一图像信息内的二维坐标pg(u,v)；
对所述单相机(6)进行标定，获取单相机参数；
根据所述单相机参数确定所述抓取点的深度信息，并根据所述抓取点的深度信息、抓取点的二维坐标pg(u,v)和单相机参数确定所述抓取点在单相机坐标系内的三维坐标Pg(xc,yc,zc)；
根据手眼标定算法获取所述单相机坐标系与机器人坐标系之间的变换关系，确定所述抓取点在所述机器人坐标系内的三维坐标Pg(x,y,z)。
3.根据权利要求2所述的基于单相机的机器人无序抓取装置，其特征在于，所述中央处理器还包括中心点识别单元，具体用于采用如所述抓取点识别单元的方法，分别获取已抓取的所述目标物体(3)的中心点在所述第二图像信息的二维坐标系、相机坐标系和机器人坐标系中的坐标pc(u,v)、Pc(xc,yc,zc)、Pc(x,y,z)。
4.根据权利要求1至3任一项所述的基于单相机的机器人无序抓取装置，其特征在于，所述中央处理器还包括补偿控制单元，具体用于：
根据所述第二图像信息识别所述目标物体的角度信息，并确定所述目标物体的抓取点Pg和中心点Pc在所述目标物体坐标系内的偏差信息；
根据所述偏差信息对所述抓取点进行偏差补偿，并根据补偿后的抓取点和中心点在所述目标物体坐标系内的三维坐标控制机器人(5)运动，同时控制吸盘(4)将所述目标物体(3)放置到放料框(8)中。
5.根据权利要求4所述的基于单相机的机器人无序抓取装置，其特征在于，所述补偿控制单元对所述抓取点进行偏差补偿具体包括：在所述目标物体坐标系内，分别沿着x方向和y方向分别进行偏差补偿，并保持z方向不变，机器人(5)根据补偿后的抓取点和中心点在所述目标物体坐标系内的三维坐标将所述目标物体(3)准确有序的放置到放料框(8)中。
6.一种基于单相机的机器人无序抓取方法，采用权利要求1至5任一项所述的基于单相机的机器人无序抓取装置，其特征在于，包括：
S1，通过单相机(6)获取无序堆叠的任一目标物体(3)的第一图像信息，并根据所述第一图像信息识别该目标物体(3)的抓取点在机器人坐标系内的三维位姿信息；
S2，根据所述抓取点的三维位姿信息控制位于机器人(5)末端的吸盘(4)抓取对应的所述目标物体，通过所述单相机(6)获取已抓取的所述目标物体(3)的第二图像信息，并识别所述目标物体(3)的中心点在所述机器人坐标系内的三维位姿信息；
S3，根据所述中心点和抓取点在所述机器人坐标系内的三维位姿信息控制机器人(5)运动，同时控制吸盘(4)将目标物体(3)放置到放料框(8)中。
7.根据权利要求6所述的基于单相机的机器人无序抓取方法，其特征在于，所述步骤1具体包括：
S1.1，通过单相机(6)获取无序堆叠的目标物体(3)的第一图像信息，根据所述第一图像信息识别目标物体(3)的抓取点，确定所述抓取点在所述第一图像信息内的二维坐标pg(u,v)；
S1.2，对所述单相机(6)进行标定，获取单相机参数；
S1.3，根据所述单相机参数确定所述抓取点的深度信息，并根据所述抓取点的深度信息、抓取点的二维坐标pg(u,v)和单相机参数确定所述抓取点在单相机坐标系内的三维坐标Pg(xc,yc,zc)；
S1.4，根据手眼标定算法获取所述单相机坐标系与机器人坐标系之间的变换关系，确定所述抓取点在所述机器人坐标系内的三维坐标Pg(x,y,z)，具体为：
其中，(u0,v0,αx,αy)为相机的内部参数。
8.根据权利要求7所述的基于单相机的机器人无序抓取方法，其特征在于，所述步骤2中，采用如所述步骤1的方法，分别确定已抓取的所述目标物体(3)的中心点在所述第二图像信息的二维坐标系、相机坐标系和机器人坐标系中的坐标pc(u,v)、Pc(xc,yc,zc)、Pc(x,y,z)，具体为：
其中，(u0,v0,αx,αy)为相机的内部参数。
9.根据权利要求6至8任一项所述的基于单相机的机器人无序抓取方法，其特征在于，所述步骤3具体包括：
S3.1，根据所述第二图像信息识别所述目标物体的角度信息，并确定所述目标物体的抓取点Pg和中心点Pc在所述目标物体坐标系内的偏差信息；
S3.2，根据所述偏差信息对所述抓取点进行偏差补偿，并根据补偿后的抓取点和中心点在所述目标物体坐标系内的三维坐标控制机器人(5)运动，同时控制吸盘(4)将所述目标物体(3)放置到放料框(8)中。
10.根据权利要求9所述的基于单相机的机器人无序抓取方法，其特征在于，所述步骤S3.2中，对所述抓取点进行偏差补偿具体包括：在所述目标物体坐标系内，分别沿着x方向和y方向分别进行偏差补偿，并保持z方向不变，机器人(5)根据补偿后的抓取点和中心点在所述目标物体坐标系内的三维坐标将所述目标物体(3)准确有序的放置到放料框(8)中。
CN201710240641.8A 2017-04-13 2017-04-13 一种基于单相机的机器人无序抓取装置及方法 Active CN107009358B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710240641.8A CN107009358B (zh) 2017-04-13 2017-04-13 一种基于单相机的机器人无序抓取装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710240641.8A CN107009358B (zh) 2017-04-13 2017-04-13 一种基于单相机的机器人无序抓取装置及方法

Publications (2)

Publication Number Publication Date
CN107009358A true CN107009358A (zh) 2017-08-04
CN107009358B CN107009358B (zh) 2020-06-02

Family

ID=59445674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710240641.8A Active CN107009358B (zh) 2017-04-13 2017-04-13 一种基于单相机的机器人无序抓取装置及方法

Country Status (1)

Country Link
CN (1) CN107009358B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107900990A (zh) * 2017-11-06 2018-04-13 上海理工大学 基于视觉的智能机械臂物体抓取移动工作台
CN109093611A (zh) * 2018-08-21 2018-12-28 河南省睿卡机器人制造有限公司 一种用于抓取废旧冰箱的机器人系统
CN109146939A (zh) * 2018-09-07 2019-01-04 中科新松有限公司 一种工件抓取模板的生成方法及系统
CN109176506A (zh) * 2018-08-13 2019-01-11 国网陕西省电力公司电力科学研究院 一种机器人对变压器的智能接线方法及装置
CN109634421A (zh) * 2018-12-14 2019-04-16 苏州梦想人软件科技有限公司 基于增强现实的空间虚拟点击交互方法
CN110077848A (zh) * 2019-06-05 2019-08-02 四川聚强创新科技有限公司 一种微型化电容的自动识别抓取装置及方法
CN110303497A (zh) * 2019-06-26 2019-10-08 上海一芯智能科技有限公司 基于二维相机的智能卡获取方法及系统、存储介质
CN110561437A (zh) * 2019-09-19 2019-12-13 工业云制造(四川)创新中心有限公司 一种毛坯件自动化加工取料方法、存储介质及终端
CN110802599A (zh) * 2019-11-28 2020-02-18 爱孚迪(上海)制造系统工程有限公司 一种机器人视觉引导从料框抓取零件的系统及控制方法
WO2020034872A1 (zh) * 2018-08-17 2020-02-20 深圳蓝胖子机器人有限公司 目标获取方法、设备和计算机可读存储介质
CN111791239A (zh) * 2020-08-19 2020-10-20 苏州国岭技研智能科技有限公司 一种结合三维视觉识别可实现精确抓取的方法
CN112150878A (zh) * 2020-09-24 2020-12-29 陈晓明 一种人工智能生产平台及综合能力训练实训系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1862270A2 (en) * 2006-05-29 2007-12-05 Fanuc Ltd Workpiece picking device and method
CN101618544A (zh) * 2008-07-04 2010-01-06 发那科株式会社 物品取出装置
CN101637908A (zh) * 2008-07-29 2010-02-03 上海发那科机器人有限公司 一种用于机器人搬运作业的视觉定位方法
US20130006423A1 (en) * 2011-06-28 2013-01-03 Canon Kabushiki Kaisha Target object gripping apparatus, method for controlling the same and storage medium
CN103568014A (zh) * 2012-07-26 2014-02-12 发那科株式会社 利用机械手取出散装的物品的装置以及方法
CN103706568A (zh) * 2013-11-26 2014-04-09 中国船舶重工集团公司第七一六研究所 基于机器视觉的机器人分拣系统及方法
CN105858188A (zh) * 2015-02-06 2016-08-17 发那科株式会社 具备三维传感器的搬运机器人系统
CN106078748A (zh) * 2016-06-13 2016-11-09 北京理工大学 一种基于手、眼、臂协调操作的机器人抓取物体的控制方法
CN106272424A (zh) * 2016-09-07 2017-01-04 华中科技大学 一种基于单目相机和三维力传感器的工业机器人抓取方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1862270A2 (en) * 2006-05-29 2007-12-05 Fanuc Ltd Workpiece picking device and method
CN101618544A (zh) * 2008-07-04 2010-01-06 发那科株式会社 物品取出装置
CN101637908A (zh) * 2008-07-29 2010-02-03 上海发那科机器人有限公司 一种用于机器人搬运作业的视觉定位方法
US20130006423A1 (en) * 2011-06-28 2013-01-03 Canon Kabushiki Kaisha Target object gripping apparatus, method for controlling the same and storage medium
CN103568014A (zh) * 2012-07-26 2014-02-12 发那科株式会社 利用机械手取出散装的物品的装置以及方法
CN103706568A (zh) * 2013-11-26 2014-04-09 中国船舶重工集团公司第七一六研究所 基于机器视觉的机器人分拣系统及方法
CN105858188A (zh) * 2015-02-06 2016-08-17 发那科株式会社 具备三维传感器的搬运机器人系统
CN106078748A (zh) * 2016-06-13 2016-11-09 北京理工大学 一种基于手、眼、臂协调操作的机器人抓取物体的控制方法
CN106272424A (zh) * 2016-09-07 2017-01-04 华中科技大学 一种基于单目相机和三维力传感器的工业机器人抓取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐德等: "《机器人视觉测量与控制》", 31 January 2016 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107900990A (zh) * 2017-11-06 2018-04-13 上海理工大学 基于视觉的智能机械臂物体抓取移动工作台
CN109176506A (zh) * 2018-08-13 2019-01-11 国网陕西省电力公司电力科学研究院 一种机器人对变压器的智能接线方法及装置
WO2020034872A1 (zh) * 2018-08-17 2020-02-20 深圳蓝胖子机器人有限公司 目标获取方法、设备和计算机可读存储介质
CN109093611A (zh) * 2018-08-21 2018-12-28 河南省睿卡机器人制造有限公司 一种用于抓取废旧冰箱的机器人系统
CN109093611B (zh) * 2018-08-21 2022-05-10 河南省睿卡机器人制造有限公司 一种用于抓取废旧冰箱的机器人系统
CN109146939A (zh) * 2018-09-07 2019-01-04 中科新松有限公司 一种工件抓取模板的生成方法及系统
CN109634421A (zh) * 2018-12-14 2019-04-16 苏州梦想人软件科技有限公司 基于增强现实的空间虚拟点击交互方法
CN110077848A (zh) * 2019-06-05 2019-08-02 四川聚强创新科技有限公司 一种微型化电容的自动识别抓取装置及方法
CN110303497A (zh) * 2019-06-26 2019-10-08 上海一芯智能科技有限公司 基于二维相机的智能卡获取方法及系统、存储介质
CN110303497B (zh) * 2019-06-26 2023-02-17 上海一芯智能科技有限公司 基于二维相机的智能卡获取方法及系统、存储介质
CN110561437A (zh) * 2019-09-19 2019-12-13 工业云制造(四川)创新中心有限公司 一种毛坯件自动化加工取料方法、存储介质及终端
CN110802599A (zh) * 2019-11-28 2020-02-18 爱孚迪(上海)制造系统工程有限公司 一种机器人视觉引导从料框抓取零件的系统及控制方法
CN110802599B (zh) * 2019-11-28 2021-04-06 爱孚迪(上海)制造系统工程有限公司 一种机器人视觉引导从料框抓取零件的控制方法
CN111791239A (zh) * 2020-08-19 2020-10-20 苏州国岭技研智能科技有限公司 一种结合三维视觉识别可实现精确抓取的方法
CN112150878A (zh) * 2020-09-24 2020-12-29 陈晓明 一种人工智能生产平台及综合能力训练实训系统

Also Published As

Publication number Publication date
CN107009358B (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
CN107009358A (zh) 一种基于单相机的机器人无序抓取装置及方法
CN106829469A (zh) 一种基于双相机的机器人无序抓取装置及方法
CN109483554B (zh) 基于全局和局部视觉语义的机器人动态抓取方法及系统
CN108399639B (zh) 基于深度学习的快速自动抓取与摆放方法
US9987746B2 (en) Object pickup strategies for a robotic device
JP5429614B2 (ja) 箱状ワーク認識装置および方法
US9878446B2 (en) Determination of object-related gripping regions using a robot
JP6322959B2 (ja) ロボット、ロボットシステム、及びロボット制御装置
JP2018118343A (ja) ハンドリングシステム及びコントローラ
CN108818586B (zh) 一种适用于机械手自动抓取的物体重心检测方法
JP2005169564A (ja) ロボットによる任意形状物体の把持方法
CN206645534U (zh) 一种基于双相机的机器人无序抓取装置
CN109311604B (zh) 一种机器人及调整机器人姿态的方法
Pan et al. Manipulator package sorting and placing system based on computer vision
CN1710566A (zh) 虚拟环境中装配工具库建立的方法
CN114055501A (zh) 一种机器人抓取系统及其控制方法
CN114074331A (zh) 一种基于视觉的无序抓取方法及机器人
CN113894774A (zh) 一种机器人抓取控制方法、装置、存储介质和机器人
CN113538459A (zh) 一种基于落点区域检测的多模式抓取避障检测优化方法
Xu et al. Industrial robot base assembly based on improved Hough transform of circle detection algorithm
CN210126916U (zh) 定位抓取装置
Bolopion et al. Stable haptic feedback based on a dynamic vision sensor for microrobotics
CN116175542B (zh) 确定夹具抓取顺序的方法、装置、电子设备和存储介质
KR101197125B1 (ko) 물체 파지 시스템 및 물체 파지 방법
KR102169074B1 (ko) 전자석을 이용하는 커넥팅 로드 이송용 로봇

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231120

Address after: Room 1601, 16th Floor, Building 2, No. 2 Ronghua South Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing, 100176

Patentee after: Beijing Kubote Technology Co.,Ltd.

Address before: 430074 Wuhan international student entrepreneurship Park, No. 73, Guanggu Chuangye street, Hongshan District, Wuhan City, Hubei Province c3116

Patentee before: WUHAN COBOT TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right