CN108214487A - 基于双目视觉和激光雷达的机器人目标定位和抓取方法 - Google Patents

基于双目视觉和激光雷达的机器人目标定位和抓取方法 Download PDF

Info

Publication number
CN108214487A
CN108214487A CN201711356570.4A CN201711356570A CN108214487A CN 108214487 A CN108214487 A CN 108214487A CN 201711356570 A CN201711356570 A CN 201711356570A CN 108214487 A CN108214487 A CN 108214487A
Authority
CN
China
Prior art keywords
robot
target object
mechanical arm
video camera
coordinate value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711356570.4A
Other languages
English (en)
Other versions
CN108214487B (zh
Inventor
黄锋
郭丽娟
蒋圣超
郭金明
唐捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of Guangxi Power Grid Co Ltd
Original Assignee
Electric Power Research Institute of Guangxi Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of Guangxi Power Grid Co Ltd filed Critical Electric Power Research Institute of Guangxi Power Grid Co Ltd
Priority to CN201711356570.4A priority Critical patent/CN108214487B/zh
Publication of CN108214487A publication Critical patent/CN108214487A/zh
Application granted granted Critical
Publication of CN108214487B publication Critical patent/CN108214487B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/022—Optical sensing devices using lasers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Abstract

本发明涉及一种基于双目视觉和激光雷达的机器人目标定位和抓取方法，方法适用于机器人，机器人包括机器人本体，与机器人本体活动连接的左机械臂、右机械臂、设置在左机械臂上的第一摄像机和右机械臂上的第二摄像机以及设置在机器人本体上的激光雷达传感器；包括以下步骤：a）识别目标物体；b）确定目标物体位置；c）确定机器人与目标物体的距离；d）控制机器人抓取目标物体。本发明综合利用激光测距的高精度特性和视觉信息的完整性，实现机器人对目标物体的精确定位和抓取，降低机器人机械臂抓取目标物体的失误率。

Description

基于双目视觉和激光雷达的机器人目标定位和抓取方法
技术领域
本发明涉及机器人技术领域，具体涉及一种基于双目视觉和激光雷达的机器人目标定位和抓取方法。
背景技术
机器人是一种自动化的机器，具备一些与人或其它生物相似的智能，如感知能力、规划能力、动作能力和协同能力，是一种具有高度灵活性的自动化机器。与固定式机器人相比，智能移动机器人更加强调了机器人具有的移动能力，从而面临更为复杂的不确定性环境。随着计算机技术以及控制技术的发展，机器人的智能化水平越来越高，能够在非结构化的环境中自主地完成一些工作，能够识别出目标物体，经过定位后能够到达目标物体所在的区域，抓取目标物体。
当前机器人的自主识别定位以及抓取一般利用视觉伺服定位技术来实现。然而，现有机器人的视觉传感系统大多数包括一个摄像头，所获取的物品位置信息为大范围的环境信息，不能检测到物品所处的精确位置，因此，机器人机械臂不能够准确的抓取物品，容易出现抓取失误的问题。
发明内容
针对现有技术存在的缺陷，本发明的目的是提供一种基于双目视觉和激光雷达的机器人目标定位和抓取方法，综合利用激光测距的高精度特性和视觉信息的完整性，实现机器人对目标物体的精确定位和抓取，降低机器人机械臂抓取目标物体的失误率。
为达到上述目的，本发明采用如下技术方案：
一种基于双目视觉和激光雷达的机器人目标定位和抓取方法，所述方法适用于机器人，所述机器人包括机器人本体，与所述机器人本体活动连接的左机械臂、右机械臂、设置在所述左机械臂上的第一摄像机和所述右机械臂上的第二摄像机以及设置在所述机器人本体上的激光雷达传感器；
包括以下步骤：
a）识别目标物体；
b）确定目标物体位置；
c）确定机器人与目标物体的距离；
d）控制机器人抓取目标物体。
作为本发明的一种优化或改进，步骤a）识别目标物体具体包括：
a1）构建目标物体的形态库，将目标物体的不同形态存储进形态库；
a2）通过所述第一摄像机和第二摄像机采集机器人周边信息，对采集到的初始信息进行去噪处理；
a3）将去噪后的信息与形态库中目标物体的形态进行匹配，根据匹配程度确定目标物体。
作为本发明的一种优化或改进，步骤b）确定目标物体位置具体包括：
b1）通过第一摄像机采集目标物体的第一图像，通过第二摄像机采集目标物体的第二图像；
b2）采用平面模板法对所述第一摄像机和第二摄像机进行标定，并提取所述第一摄像机和第二摄像机的内部参数；
b3）以所述第一摄像机为原点建立第一基准坐标系，将目标物体在第一图像中的坐标值转换到目标物体在第一基准坐标系的坐标值；以所述第一摄像机和第二摄像机的云台中点为坐标原点建立机器人坐标系，将目标物体在第一基准坐标系的坐标值转换到机器人坐标系的坐标值，得到目标物体在机器人坐标系中的第一坐标值；
b4）以所述第二摄像机为原点建立第二基准坐标系，将目标物体在第二图像中的坐标值转换到目标物体在第二基准坐标系的坐标值；以所述第一摄像机和第二摄像机的云台中点为坐标原点建立机器人坐标系，将目标物体在第二基准坐标系的坐标值转换到机器人坐标系的坐标值，得到目标物体在机器人坐标系中的第二坐标值；
b5）将所述第一坐标值与第二坐标值的中点坐标值确定为目标物体的实际位置。
作为本发明的一种优化或改进，步骤c）确定机器人与目标物体的距离是通过安装在所述激光雷达传感器来测量机器人与目标物体的实际距离来实现。
作为本发明的一种优化或改进，步骤d）控制机器人抓取目标物体中，若机器人与目标物体的实际距离L1等于或小于机器人的左机械臂的长度L2和/或右机械臂的长度L3时，直接控制机器人的左机械臂和/或右机械臂抓取目标物体；若机器人与目标物体的实际距离L1大于机器人的左机械臂的长度L2和/或右机械臂的长度L3时，控制机器人移向目标物体以使机器人与目标物体的实际距离L1等于或小于机器人的左机械臂的长度L2和/或右机械臂的长度L3，并控制机器人的左机械臂和/或右机械臂抓取目标物体。
与现有技术相比，本发明的有益效果是：本发明融合了激光雷达测距的精度高特性和双摄像头的信息完整性优点，能有效提升目标定位的精准度，降低机器人的误抓取。
附图说明
为了更清楚地说明本发明实施例的技术方案，以下将对实施例描述中所需要使用的附图作简单地介绍。
图1为本发明优选的实施例的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参照图1，本发明优选的实施例提供一种基于双目视觉和激光雷达的机器人目标定位和抓取方法，该方法适用于机器人，机器人包括机器人本体，与机器人本体活动连接的左机械臂、右机械臂、设置在左机械臂上的第一摄像机和所述右机械臂上的第二摄像机以及设置在机器人本体上的激光雷达传感器；
包括以下步骤：
a）识别目标物体；
b）确定目标物体位置；
c）确定机器人与目标物体的距离；
d）控制机器人抓取目标物体。
首先识别目标物体，具体步骤包括：
a1）构建目标物体的形态库，将目标物体的不同形态存储进形态库；
a2）通过第一摄像机和第二摄像机采集机器人周边信息，对采集到的初始信息进行去噪处理；
a3）将去噪后的信息与形态库中目标物体的形态进行匹配，根据匹配程度确定目标物体。
其次确定目标物体位置，具体步骤包括：
b1）通过第一摄像机采集目标物体的第一图像，通过第二摄像机采集目标物体的第二图像；
b2）采用平面模板法对所述第一摄像机和第二摄像机进行标定，并提取所述第一摄像机和第二摄像机的内部参数；
b3）以所述第一摄像机为原点建立第一基准坐标系，将目标物体在第一图像中的坐标值转换到目标物体在第一基准坐标系的坐标值；以所述第一摄像机和第二摄像机的云台中点为坐标原点建立机器人坐标系，将目标物体在第一基准坐标系的坐标值转换到机器人坐标系的坐标值，得到目标物体在机器人坐标系中的第一坐标值；
b4）以所述第二摄像机为原点建立第二基准坐标系，将目标物体在第二图像中的坐标值转换到目标物体在第二基准坐标系的坐标值；以所述第一摄像机和第二摄像机的云台中点为坐标原点建立机器人坐标系，将目标物体在第二基准坐标系的坐标值转换到机器人坐标系的坐标值，得到目标物体在机器人坐标系中的第二坐标值；
b5）将所述第一坐标值与第二坐标值的中点坐标值确定为目标物体的实际位置。
然后确定机器人与目标物体的距离，具体为通过安装在激光雷达传感器来测量机器人与目标物体的实际距离来实现。
最后控制机器人抓取目标物体，具体步骤包括：
若机器人与目标物体的实际距离L1等于或小于机器人的左机械臂的长度L2和/或右机械臂的长度L3时，直接控制机器人的左机械臂和/或右机械臂抓取目标物体；若机器人与目标物体的实际距离L1大于机器人的左机械臂的长度L2和/或右机械臂的长度L3时，控制机器人移向目标物体以使机器人与目标物体的实际距离L1等于或小于机器人的左机械臂的长度L2和/或右机械臂的长度L3，并控制机器人的左机械臂和/或右机械臂抓取目标物体。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (5)

1.一种基于双目视觉和激光雷达的机器人目标定位和抓取方法，其特征在于，所述方法适用于机器人，所述机器人包括机器人本体，与所述机器人本体活动连接的左机械臂、右机械臂、设置在所述左机械臂上的第一摄像机和所述右机械臂上的第二摄像机以及设置在所述机器人本体上的激光雷达传感器；
包括以下步骤：
a）识别目标物体；
b）确定目标物体位置；
c）确定机器人与目标物体的距离；
d）控制机器人抓取目标物体。
2.根据权利要求1所述的基于双目视觉和激光雷达的机器人目标定位和抓取方法，其特征在于，步骤a）识别目标物体具体包括：
a1）构建目标物体的形态库，将目标物体的不同形态存储进形态库；
a2）通过所述第一摄像机和第二摄像机采集机器人周边信息，对采集到的初始信息进行去噪处理；
a3）将去噪后的信息与形态库中目标物体的形态进行匹配，根据匹配程度确定目标物体。
3.根据权利要求1所述的基于双目视觉和激光雷达的机器人目标定位和抓取方法，其特征在于，步骤b）确定目标物体位置具体包括：
b1）通过第一摄像机采集目标物体的第一图像，通过第二摄像机采集目标物体的第二图像；
b2）采用平面模板法对所述第一摄像机和第二摄像机进行标定，并提取所述第一摄像机和第二摄像机的内部参数；
b3）以所述第一摄像机为原点建立第一基准坐标系，将目标物体在第一图像中的坐标值转换到目标物体在第一基准坐标系的坐标值；以所述第一摄像机和第二摄像机的云台中点为坐标原点建立机器人坐标系，将目标物体在第一基准坐标系的坐标值转换到机器人坐标系的坐标值，得到目标物体在机器人坐标系中的第一坐标值；
b4）以所述第二摄像机为原点建立第二基准坐标系，将目标物体在第二图像中的坐标值转换到目标物体在第二基准坐标系的坐标值；以所述第一摄像机和第二摄像机的云台中点为坐标原点建立机器人坐标系，将目标物体在第二基准坐标系的坐标值转换到机器人坐标系的坐标值，得到目标物体在机器人坐标系中的第二坐标值；
b5）将所述第一坐标值与第二坐标值的中点坐标值确定为目标物体的实际位置。
4.根据权利要求1所述的基于双目视觉和激光雷达的机器人目标定位和抓取方法，其特征在于，步骤c）确定机器人与目标物体的距离是通过安装在所述激光雷达传感器来测量机器人与目标物体的实际距离来实现。
5.根据权利要求1所述的基于双目视觉和激光雷达的机器人目标定位和抓取方法，其特征在于，步骤d）控制机器人抓取目标物体中，若机器人与目标物体的实际距离L1等于或小于机器人的左机械臂的长度L2和/或右机械臂的长度L3时，直接控制机器人的左机械臂和/或右机械臂抓取目标物体；若机器人与目标物体的实际距离L1大于机器人的左机械臂的长度L2和/或右机械臂的长度L3时，控制机器人移向目标物体以使机器人与目标物体的实际距离L1等于或小于机器人的左机械臂的长度L2和/或右机械臂的长度L3，并控制机器人的左机械臂和/或右机械臂抓取目标物体。
CN201711356570.4A 2017-12-16 2017-12-16 基于双目视觉和激光雷达的机器人目标定位和抓取方法 Active CN108214487B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711356570.4A CN108214487B (zh) 2017-12-16 2017-12-16 基于双目视觉和激光雷达的机器人目标定位和抓取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711356570.4A CN108214487B (zh) 2017-12-16 2017-12-16 基于双目视觉和激光雷达的机器人目标定位和抓取方法

Publications (2)

Publication Number Publication Date
CN108214487A true CN108214487A (zh) 2018-06-29
CN108214487B CN108214487B (zh) 2021-07-20

Family

ID=62652306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711356570.4A Active CN108214487B (zh) 2017-12-16 2017-12-16 基于双目视觉和激光雷达的机器人目标定位和抓取方法

Country Status (1)

Country Link
CN (1) CN108214487B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109129474A (zh) * 2018-08-10 2019-01-04 上海交通大学 基于多模态融合的机械手主动抓取装置及方法
CN109531570A (zh) * 2018-12-10 2019-03-29 浙江树人学院 基于视觉传感器的机械臂抓取方法
CN109765901A (zh) * 2019-02-18 2019-05-17 华南理工大学 基于线激光与双目视觉的动态代价地图导航方法
CN110202576A (zh) * 2019-06-14 2019-09-06 福耀集团(福建)机械制造有限公司 一种工件二维视觉引导抓取检测系统和方法
CN110295728A (zh) * 2019-07-03 2019-10-01 广东博智林机器人有限公司 搬运系统及其控制方法、地砖铺贴系统
CN110722569A (zh) * 2019-11-08 2020-01-24 温州职业技术学院 一种基于机器人动作实时图像采集处理系统
CN112010024A (zh) * 2020-08-21 2020-12-01 南京理工大学 一种基于激光和视觉融合检测的货箱自动抓取方法及系统
CN112428268A (zh) * 2020-11-11 2021-03-02 南京农业大学 基于机器视觉的车载机械臂式水果拾取装箱系统及方法
CN112991461A (zh) * 2021-03-11 2021-06-18 珠海格力智能装备有限公司 物料装配方法及装配装置、计算机可读存储介质、处理器
CN113312992A (zh) * 2021-05-18 2021-08-27 中山方显科技有限公司 一种基于多源传感器信息融合的动态物体感知及预测方法
CN114932554A (zh) * 2022-06-06 2022-08-23 北京钢铁侠科技有限公司 抓取机器人的自主移动方法、装置、存储介质及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106671104A (zh) * 2017-01-11 2017-05-17 河北省自动化研究所 用于大型精密机械设备零件的双反馈机械臂自动装卸装置
CN106920250A (zh) * 2017-02-14 2017-07-04 华中科技大学 基于rgb‑d视频的机器人目标识别与定位方法及系统
CN107127760A (zh) * 2017-07-12 2017-09-05 清华大学 一种足履复合式人形机器人
CN107234625A (zh) * 2017-07-07 2017-10-10 中国科学院自动化研究所 视觉伺服定位和抓取的方法
CN107444902A (zh) * 2017-07-27 2017-12-08 大连大学 一种具有自动抓取功能的无人搬运车

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106671104A (zh) * 2017-01-11 2017-05-17 河北省自动化研究所 用于大型精密机械设备零件的双反馈机械臂自动装卸装置
CN106920250A (zh) * 2017-02-14 2017-07-04 华中科技大学 基于rgb‑d视频的机器人目标识别与定位方法及系统
CN107234625A (zh) * 2017-07-07 2017-10-10 中国科学院自动化研究所 视觉伺服定位和抓取的方法
CN107127760A (zh) * 2017-07-12 2017-09-05 清华大学 一种足履复合式人形机器人
CN107444902A (zh) * 2017-07-27 2017-12-08 大连大学 一种具有自动抓取功能的无人搬运车

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109129474B (zh) * 2018-08-10 2020-07-14 上海交通大学 基于多模态融合的机械手主动抓取装置及方法
CN109129474A (zh) * 2018-08-10 2019-01-04 上海交通大学 基于多模态融合的机械手主动抓取装置及方法
CN109531570A (zh) * 2018-12-10 2019-03-29 浙江树人学院 基于视觉传感器的机械臂抓取方法
CN109765901A (zh) * 2019-02-18 2019-05-17 华南理工大学 基于线激光与双目视觉的动态代价地图导航方法
CN110202576A (zh) * 2019-06-14 2019-09-06 福耀集团(福建)机械制造有限公司 一种工件二维视觉引导抓取检测系统和方法
CN110295728A (zh) * 2019-07-03 2019-10-01 广东博智林机器人有限公司 搬运系统及其控制方法、地砖铺贴系统
CN110722569A (zh) * 2019-11-08 2020-01-24 温州职业技术学院 一种基于机器人动作实时图像采集处理系统
CN112010024A (zh) * 2020-08-21 2020-12-01 南京理工大学 一种基于激光和视觉融合检测的货箱自动抓取方法及系统
CN112428268A (zh) * 2020-11-11 2021-03-02 南京农业大学 基于机器视觉的车载机械臂式水果拾取装箱系统及方法
CN112991461A (zh) * 2021-03-11 2021-06-18 珠海格力智能装备有限公司 物料装配方法及装配装置、计算机可读存储介质、处理器
CN113312992A (zh) * 2021-05-18 2021-08-27 中山方显科技有限公司 一种基于多源传感器信息融合的动态物体感知及预测方法
CN114932554A (zh) * 2022-06-06 2022-08-23 北京钢铁侠科技有限公司 抓取机器人的自主移动方法、装置、存储介质及设备
CN114932554B (zh) * 2022-06-06 2023-12-01 北京钢铁侠科技有限公司 抓取机器人的自主移动方法、装置、存储介质及设备

Also Published As

Publication number Publication date
CN108214487B (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
CN108214487A (zh) 基于双目视觉和激光雷达的机器人目标定位和抓取方法
CN110599541B (zh) 一种对多传感器进行标定的方法、装置和存储介质
CN111627072B (zh) 一种对多传感器进行标定的方法、装置和存储介质
CN107263468B (zh) 一种利用数字图像处理技术的scara机器人装配方法
CN110211180A (zh) 一种基于深度学习的机械臂自主抓取方法
EP3740352A1 (en) Vision-based sensor system and control method for robot arms
CN103020952A (zh) 信息处理设备和信息处理方法
CN105333819A (zh) 基于面激光传感器的机器人工件装配及形位公差检测系统及其检测方法
CN105468033A (zh) 一种基于多摄像头机器视觉的医疗吊臂自动避障控制方法
CN104280740A (zh) 一种基于摄像机与激光测距传感器联合定位爆破孔的装置及定位方法
KR20140044054A (ko) 센서를 이용한 작업 방법 및 이를 수행하는 작업 시스템
US10902610B2 (en) Moving object controller, landmark, and moving object control method
CN103363898B (zh) 集装箱对箱检测装置
EP4207068A1 (en) Target object detection method and apparatus, and electronic device, storage medium and program
CN112518748A (zh) 面向运动物品的视觉机械臂自动抓取方法与系统
US10007837B2 (en) Determining the robot axis angle and selection of a robot with the aid of a camera
CN109983299A (zh) 工业机器人的测量系统和方法
CN111340884B (zh) 一种双目异构相机与rfid的双重目标定位与身份辨识方法
CN107818587A (zh) 一种基于ros的机器视觉高精度定位方法
CN204165516U (zh) 一种基于双目视觉的石壁爆破孔检测与定位装置
CN117067261A (zh) 机器人监控方法、装置、设备及存储介质
Xu et al. Industrial robot base assembly based on improved Hough transform of circle detection algorithm
Fan et al. An automatic robot unstacking system based on binocular stereo vision
CN112729289B (zh) 应用于自动导引车的定位方法、装置、设备和存储介质
CN111522299B (zh) 机械控制装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant