CN109202958B - 一种复合机器人视觉抓取平台 - Google Patents

一种复合机器人视觉抓取平台 Download PDF

Info

Publication number
CN109202958B
CN109202958B CN201710519513.7A CN201710519513A CN109202958B CN 109202958 B CN109202958 B CN 109202958B CN 201710519513 A CN201710519513 A CN 201710519513A CN 109202958 B CN109202958 B CN 109202958B
Authority
CN
China
Prior art keywords
robot
environment
vision
module
vehicle body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710519513.7A
Other languages
English (en)
Other versions
CN109202958A (zh
Inventor
曲道奎
邹风山
孙若怀
杨奇峰
赵彬
梁亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Siasun Robot and Automation Co Ltd
Original Assignee
Shenyang Siasun Robot and Automation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Siasun Robot and Automation Co Ltd filed Critical Shenyang Siasun Robot and Automation Co Ltd
Priority to CN201710519513.7A priority Critical patent/CN109202958B/zh
Publication of CN109202958A publication Critical patent/CN109202958A/zh
Application granted granted Critical
Publication of CN109202958B publication Critical patent/CN109202958B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/022—Optical sensing devices using lasers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/026—Acoustical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Optics & Photonics (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及智能制造技术领域，具体公开一种复合机器人视觉抓取平台，包括：传感模块；多传感器融合定位模块对所述复合机器人的车体进行全局定位，控制所述车体的运动状态。协同控制模块进行车体与机械臂的协同控制。视觉补偿模块捕捉工位环境，校正机械臂在所述工位处的抓取动作。全局感知云平台侦测机器人运行情况，实现对于复合机器人系统的自动看顾。本发明的复合机器人视觉抓取平台具有抓取精度高、工作流程无间断的有益效果。

Description

一种复合机器人视觉抓取平台
技术领域
本发明涉及智能制造、自动化控制和智能机器人技术领域，更具体地说，涉及一种复合机器人视觉抓取平台。
背景技术
目前，在智能数字工厂中，物料的定点抓取、摆放等工作，主要依赖于AGV导航定位技术，及串联机器人视觉补偿技术，可以使不同种类的机器人进行协作，完成作业流程。现有的系统主要存在的缺陷为：首先，在多机种协作作业流程中，每到达一个作业点均需要进行减速、停车从而由串联机器人对物料进行抓取、放置，经过多个目标位置时停车会急剧增加整体作业时间，降低作业效率，不能充分发挥各机器人的最高性能；其次，复合机器人在工作流程中效率较低。
传统的，通常采用扩大生产线规模的方式，使得同一时间并行处理的作业流程增加，但这样同时会增加资金投入，同时在作业低谷期机器人工作能力被严重浪费。
发明内容
本发明要解决的技术问题在于，针对现有技术中柔性多关节机器人的本体由于柔性而导致振动的缺陷，提供一种柔性多关节机器人振动抑制方法。
为实现上述目的，本发明采用以下技术方案：
一方面，本发明提供一种复合机器人视觉抓取平台，包括传感模块，包括多个传感器，用于获取所述复合机器人的环境信息；
多传感器融合定位模块，用于对所述复合机器人的车体进行全局定位，控制所述车体的运动状态；
协同控制模块，用于进行所述车体与机械臂的协同控制；
视觉补偿模块，用于捕捉工位环境，并根据所述车体的运动数据，获取物料每一时刻的摆放位置，校正所述机械臂在所述工位处的抓取动作；
全局感知云平台，用于动态侦测机器人的运行情况，同时通过网络控制系统实时地对各个机器人进行安全规范化监控，实现全局范围内对于复合机器人系统的自动看顾。
一些实施例中，所述复合机器人为工业机器人和AGV机器人，所述复合机器人系统包括至少一个所述复合机器人。
一些实施例中，所述多个传感器包括激光传感器、视觉传感器及声呐传感器。
一些实施例中，所述多传感器融合定位模块包括多个传感器、作业环境建模模块、传感数据融合定位模块；
作业环境建模模块根据多个传感器的数据对作业环境进行建模，所述传感数据融合定位模块融合传感数据，并根据所融合的传感数据进行车体的定位。
一些实施例中，所述视觉补偿模块包括摄像机，所述视觉补偿模块通过摄像机对工位环境进行动态捕捉，同时结合传感器感知环境的光照度对于环境中清洁度、温度、湿度特征，调节摄像机的参数。
一些实施例中，所述协同控制模块通过传感模块对于环境的监测信息，获取环境中障碍物及工位的分布，并动态捕捉工作环境中移动个体的数量及运动状态信息，对所述车体与环境进行建模与实时修正适配，通过对于当前车速、运动方向向量及期望轨迹的分析，解算出最优化的抓取位置及对应的机器人姿态，进行协同规划。
另一方面，本发明提供一种复合机器人，包括上述复合机器人视觉抓取平台。
本发明的有益效果在于：
本发明的复合机器人抓取平台通过多传感器融合定位技术与视觉补偿技术相结合，简化工序，同时依赖于数字工厂的云端定位技术，实现对于各个工序的衔接，减少机器人在各目标点处停留所占用的时间，在工作环境较为理想的情况下动态抓取、放置。。
附图说明
图1为本发明复合机器人视觉抓取平台一个实施例的系统框图；
图2为本发明复合机器人多传感器融合定位模块的一个结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。
本发明的目的是提出一种复合机器人的视觉抓取平台，描述了传统工业机器人与AGV机器人相互结合，通过多传感器融合定位技术与视觉补偿技术相结合，简化工序，同时依赖于数字工厂的云端定位技术，实现对于各个工序的衔接，减少机器人在各目标点处停留所占用的时间，在工作环境较为理想的情况下动态抓取、放置。
本发明的复合机器人视觉抓取平台，包括：传感模块、协同控制模块、视觉补偿模块、全局感知云平台。
具体地，传感模块包括多个传感器，用于获取所述复合机器人的环境信息。多传感器融合定位模块对所述复合机器人的车体进行全局定位，控制所述车体的运动状态。协同控制模块进行所述车体与机械臂的协同控制。视觉补偿模块捕捉工位环境，并根据所述车体的运动数据，获取物料每一时刻的摆放位置，校正所述机械臂在所述工位处的抓取动作。全局感知云平台，用于动态侦测机器人的运行情况，同时通过网络控制系统实时地对各个机器人进行安全规范化监控，实现全局范围内对于复合机器人系统的自动看顾。
一些实施中，多传感器融合定位模块包括多个传感器、作业环境建模模块、传感数据融合定位模块。作业环境建模模块根据多个传感器的数据对作业环境进行建模，所述传感数据融合定位模块，融合传感数据，并根据所融合的传感数据进行车体的定位。
一些实施中，视觉补偿模块包括摄像机，所述视觉补偿模块通过摄像机对工位环境进行动态捕捉，同时结合传感器感知环境的光照度对于环境中清洁度、温度、湿度特征，调节摄像机的参数。
一些实施中，协同控制模块通过传感模块对于环境的监测信息，获取环境中障碍物及工位的分布，并动态捕捉工作环境中移动个体的数量及运动状态信息，对所述车体与环境进行建模与实时修正适配，通过对于当前车速、运动方向向量及期望轨迹的分析，解算出最优化的抓取位置及对应的机器人姿态，进行协同规划。
请参阅图1，在本实施例中，传感模块包括多个传感器包括激光传感器、视觉传感器及声呐传感器；复合机器人为工业机器人和AGV机器人，复合机器人系统包括至少一个所述复合机器人。
多传感器融合定位模块通过激光雷达、摄像机、声呐等多种传感器，在机器人的总控系统中进行作业环境的建模，由激光雷达获取环境的三维空间信息并辅以声呐探知近距离环境，去除环境模型中的盲点，同时通过摄像机对于环境信息进行模式识别，多种数据信息通过机器人总控系统的整合同步到全局感知平台中，可实现复合机器人在工厂内的全局定位、障碍物侦测、工作状态监控等；同时，也是复合机器人动态榨取技术的基础，通过内部总线，将复合机器人车体运行状态实时传输给上部机械臂，以实现协同运动。
请参阅图2，多传感器融合定位的具体过程为：定位模块采集激光雷达、声呐、视觉三种传感器数据，辅以车体轮系所反馈的里程信息进行定位。定位模块通过EtherCAT高速总线采集轮系编码器和声呐的数据，分别转换为里程数据和近距离障碍信息，其中障碍物信息即为环境信息；通过USB3.0高速接口采集激光雷达数据得到环境轮廓地图，并结合里程数据获得全局地图；通过以太网接口采集视觉传感器拍摄局部位置，通过匹配特征来进行局部定位。将得到的局部特征信息、全局地图和环境信息通过卡尔曼滤波进行处理，更新量测值和时间，可获得当前时间的估计位置，与目标位置进行负反馈输出校正可获得车体的期望轮速。
视觉补偿技术模块通过高分辨率摄像机对于工位环境进行动态捕捉，融合复合机器人车体运动数据，可以捕捉到每一时刻物料的摆放位置，消除有导航误差所带来的抓取失准问题。在摄像机拍摄过程中，可以通过感知环境的光照度并融合感知单元对于环境中清洁度、温度、湿度等特征，动态调节相机的曝光时间、快门等重要参数，确保视觉识别的精准与稳定。
协同控制模块通过感知单元对于环境进行信息监测，获取环境中障碍物及工位的分布，并动态捕捉工作环境中移动个体的数量及运动状态等信息，对于车体与环境进行建模与实时修正适配，通过对于当前车速、运动方向向量及期望轨迹的分析，解算出最优化的抓取位置及对应的机器人姿态，并进行协同规划，保证复合机器人在工作流程衔接上的连贯性、顺畅性；同时，在环境劣化时，采用安全机制，放置系统运动过程中，对于行走的现场人员及移动的设备造成伤害。
全局感知云平台在工作现场部署用于侦测工厂全局信息的服务器，构成本地云平台，对于所有运行于现场的复合机器人进行最优化调度，动态侦测机器人的运行情况，做到对于能耗的最优化控制，同时通过网络控制系统(NCS)实时地对各个机器人进行安全规范化监控，实现全局范围内对于机器人系统的无人值守式看顾。
本发明将多机种进行结构整合，兼收两种机器人的工作特点及优势，以期望通过最小的投入实现对于作业的最佳效果。在复合机器人作业过程中主要通过多传感器融合导航技术来实现对于车体的控制，并结合机器人的动态抓取技术，使得复合机器人在工作流程中可尽量保证不停车运行，从而大大降低机器人的工作能力浪费问题，减小资金投入。同时依赖于全局感知技术，可实现对于数字化工厂内机器人状态的全局监控，为机器人作业流程衔接的顺畅性提供保障。
本发明的一种复合机器人视觉抓取平台能够实现的有益效果：
(1)、通过多传感器融合定位，提高定位精度，确保视觉抓取的精准度；
(2)、通过协同控制技术，实现车体与机械臂的协同运动，达到抓取与放置工作流程中，在各目标点间的无间断运行，可最大化机器人的工作产能，产生更高的经济效益；
(3)、通过全局感知云平台可在无人值守状态下完成对于复合机器人的调度、安全保护，降低人力成本，提高该复合机器人视觉抓取平台使用的便利性、灵活性。
另一方面，本发明还提供一种复合机器人，包括上述复合机器人视觉抓取平台。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所作出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (5)

1.一种复合机器人视觉抓取平台，其特征在于，包括：
传感模块，包括多个传感器，用于获取所述复合机器人的环境信息；
多传感器融合定位模块，用于对所述复合机器人的车体进行全局定位，控制所述车体的运动状态；协同控制模块，用于进行所述车体与机械臂的协同控制，所述协同控制模块通过传感模块对于环境的监测信息，获取环境中障碍物及工位的分布，并动态捕捉工作环境中移动个体的数量及运动状态信息，对所述车体与环境进行建模与实时修正适配，通过对于当前车速、运动方向向量及期望轨迹的分析，解算出最优化的抓取位置及对应的机器人姿态，进行协同规划；
视觉补偿模块，用于捕捉工位环境，并根据所述车体的运动数据，获取物料每一时刻的摆放位置，校正所述机械臂在所述工位处的抓取动作；
全局感知云平台，用于动态侦测机器人的运行情况，同时通过网络控制系统实时地对各个机器人进行安全规范化监控，实现全局范围内对于复合机器人系统的自动看顾；
所述多传感器融合定位模块通过激光传感器、视觉传感器、声呐在所述复合机器人的总控系统中进行作业环境的建模，由激光传感器获取环境的三维空间信息并辅以声呐探知近距离环境，去除环境模型中的盲点，通过视觉传感器对于环境信息进行模式识别，多种数据信息通过所述复合机器人的总控系统的整合同步到所述全局感知云平台中，实现所述复合机器人在工厂内的全局定位、障碍物侦测和工作状态监控。
2.根据权利要求1所述的复合机器人视觉抓取平台，其特征在于，所述复合机器人为工业机器人和AGV机器人，所述复合机器人系统包括至少一个所述复合机器人。
3.根据权利要求1所述的复合机器人视觉抓取平台，其特征在于，所述多个传感器包括激光传感器、视觉传感器及声呐。
4.根据权利要求1所述的复合机器人视觉抓取平台，其特征在于，所述多传感器融合定位模块包括多个传感器、作业环境建模模块、传感数据融合定位模块；
作业环境建模模块根据多个传感器的数据对作业环境进行建模，所述传感数据融合定位模块融合传感数据，并根据所融合的传感数据进行车体的定位。
5.根据权利要求1所述的复合机器人视觉抓取平台，其特征在于，所述视觉补偿模块包括视觉传感器，所述视觉补偿模块通过视觉传感器对工位环境进行动态捕捉，同时结合传感器感知环境的光照度对于环境中清洁度、温度、湿度特征，调节视觉传感器的参数。
CN201710519513.7A 2017-06-30 2017-06-30 一种复合机器人视觉抓取平台 Active CN109202958B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710519513.7A CN109202958B (zh) 2017-06-30 2017-06-30 一种复合机器人视觉抓取平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710519513.7A CN109202958B (zh) 2017-06-30 2017-06-30 一种复合机器人视觉抓取平台

Publications (2)

Publication Number Publication Date
CN109202958A CN109202958A (zh) 2019-01-15
CN109202958B true CN109202958B (zh) 2022-03-08

Family

ID=64976986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710519513.7A Active CN109202958B (zh) 2017-06-30 2017-06-30 一种复合机器人视觉抓取平台

Country Status (1)

Country Link
CN (1) CN109202958B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109927012B (zh) * 2019-04-08 2021-07-30 清华大学 移动抓取机器人和自动取货方法
CN112571412B (zh) * 2019-09-30 2024-03-26 中电九天智能科技有限公司 一种智能制造设备的控制系统
CN110900613A (zh) * 2019-12-18 2020-03-24 合肥科大智能机器人技术有限公司 一种面向移动机器人的不停车控制方法及系统
CN110948492B (zh) * 2019-12-23 2021-10-22 浙江大学 一种基于深度学习的三维抓取平台和抓取方法
CN112327860B (zh) * 2020-11-16 2023-12-12 西安应用光学研究所 一种水陆两栖仿生机器人自适应运动控制系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11320465A (ja) * 1998-05-01 1999-11-24 Murata Mach Ltd ロボットアームの制御方法
CN103064417A (zh) * 2012-12-21 2013-04-24 上海交通大学 一种基于多传感器的全局定位导引系统及方法
CN103503639A (zh) * 2013-09-30 2014-01-15 常州大学 一种双臂果蔬采收机器人系统及其果蔬采收方法
CN103895042A (zh) * 2014-02-28 2014-07-02 华南理工大学 一种基于视觉引导的工业机器人工件定位抓取方法及系统
CN106452903A (zh) * 2016-10-31 2017-02-22 华南理工大学 一种基于云辅助的智能仓管机器人系统与方法
CN106527239A (zh) * 2016-12-30 2017-03-22 华南智能机器人创新研究院 一种多机器人协同操作模式的方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106155051A (zh) * 2015-04-25 2016-11-23 张韬 用于机器人或无人机的避障通讯系统
CN105058393A (zh) * 2015-08-17 2015-11-18 李泉生 一种迎宾机器人

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11320465A (ja) * 1998-05-01 1999-11-24 Murata Mach Ltd ロボットアームの制御方法
CN103064417A (zh) * 2012-12-21 2013-04-24 上海交通大学 一种基于多传感器的全局定位导引系统及方法
CN103503639A (zh) * 2013-09-30 2014-01-15 常州大学 一种双臂果蔬采收机器人系统及其果蔬采收方法
CN103895042A (zh) * 2014-02-28 2014-07-02 华南理工大学 一种基于视觉引导的工业机器人工件定位抓取方法及系统
CN106452903A (zh) * 2016-10-31 2017-02-22 华南理工大学 一种基于云辅助的智能仓管机器人系统与方法
CN106527239A (zh) * 2016-12-30 2017-03-22 华南智能机器人创新研究院 一种多机器人协同操作模式的方法及系统

Also Published As

Publication number Publication date
CN109202958A (zh) 2019-01-15

Similar Documents

Publication Publication Date Title
CN109202958B (zh) 一种复合机器人视觉抓取平台
WO2022021739A1 (zh) 一种语义智能变电站机器人仿人巡视作业方法及系统
CN111958594B (zh) 一种语义智能变电站巡视作业机器人系统及方法
CN102922521B (zh) 一种基于立体视觉伺服的机械臂系统及其实时校准方法
CN108638066B (zh) 一种用于机器人的传送带同步跟踪的装置、方法及系统
CN104570938B (zh) 一种插装生产中的双臂机器人系统的控制方法
CN103895042A (zh) 一种基于视觉引导的工业机器人工件定位抓取方法及系统
CN111813130A (zh) 一种输变电站智能巡检机器人自主导航避障系统
CN101261118A (zh) 基于机器人的快速自动化三维形貌在线测量方法和系统
CN109572842B (zh) 一种爬杆机构、爬杆智能巡检机器人及其变电站爬杆方法
CN109062201A (zh) 基于ros的智能导航微系统及其控制方法
CN212515475U (zh) 一种输变电站智能巡检机器人自主导航避障系统
CN107671838B (zh) 机器人示教记录系统、示教的工艺步骤及其算法流程
CN107433593A (zh) 并联机器人食品分拣加工系统
CN106527239A (zh) 一种多机器人协同操作模式的方法及系统
CN104931057A (zh) 一种机器人的任意位置定位方法、装置及系统
CN105538015A (zh) 一种叶片类复杂薄壁型面零件自适应定位方法
CN104808490A (zh) 一种面向模具保护的基于回声状态网络估计图像雅克比矩阵的无标定视觉伺服控制方法
CN110640744A (zh) 一种电机模糊控制的工业机器人
CN114800524B (zh) 一种人机交互协作机器人主动避碰的系统及方法
CN103737603A (zh) 一种流水线上机械臂精确控制系统及控制方法
CN111906767A (zh) 基于双目结构光的视觉纠偏机械臂及纠偏方法
CN108107882B (zh) 基于光学运动跟踪的服务机器人自动标定与检测系统
CN107443369A (zh) 一种基于视觉测量模型逆辨识的机器臂无标定伺服控制方法
Zhou et al. A cooperative shared control scheme based on intention recognition for flexible assembly manufacturing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant