CN111923043A - 一种基于多传感器融合的多机械手定位方法 - Google Patents

一种基于多传感器融合的多机械手定位方法 Download PDF

Info

Publication number
CN111923043A
CN111923043A CN202010749246.4A CN202010749246A CN111923043A CN 111923043 A CN111923043 A CN 111923043A CN 202010749246 A CN202010749246 A CN 202010749246A CN 111923043 A CN111923043 A CN 111923043A
Authority
CN
China
Prior art keywords
manipulator
information
sensor
coordinate system
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010749246.4A
Other languages
English (en)
Inventor
吕越峰
张剑
黄西士
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SUZHOU RS OPTO TECH Ltd
Original Assignee
SUZHOU RS OPTO TECH Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SUZHOU RS OPTO TECH Ltd filed Critical SUZHOU RS OPTO TECH Ltd
Priority to CN202010749246.4A priority Critical patent/CN111923043A/zh
Publication of CN111923043A publication Critical patent/CN111923043A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于多传感器融合的多机械手定位方法,包括以下步骤:1.成像传感器位置确认;2.多机械手初始位置确认;3.多机械手实时运动的角度、位移确认;4.多机械手实时位置确认;5.坐标系转换及递归滤波;6.机械手位姿信息更新、相对位姿信息确认。根据本发明,其提供一种基于多传感器融合的多机械手定位方法,每个机械手除了设置位移传感器、倾角传感器及机械手定位标签,外部传感单元包括成像传感器及环境定位标签,通过收集传感器信息,包括角度,位移及空间信息,实现三者之间的坐标转换,实现多机械手在同一空间坐标系下的相互感知及实时运动信息的更新。

Description

一种基于多传感器融合的多机械手定位方法
技术领域
本发明涉及机械控制领域,特别涉及一种基于多传感器融合的多机械手定位方法。
背景技术
自上实际50年代以来,工业机器人在工业领域得到了广泛的应用,在装配焊接检测领域取代人力,从事很多繁重重复性的活动,而且工业机器人不断的发展,在操作性智能化方面得到了长足的发展,预计未来随着人口老龄化及产业升级的需求,工业机器人将在更多领域取代人力,得到更多的应用。感知系统是工业机器人的核心组成部分之一,分为内部感知器及外部感知器,将内部状态自身工作状态相关位移、速度和力等,外部信息如环境及对应控制信息作为控制机器人的相关参数。其中视觉感知技术是目前最重要的技术,基于视觉的伺服系统将视觉信息作为反馈信号,用于控制调整机器人的位置和角度。
随着技术的发展及更多业务的需求,多机械手协助成为业界的一个广泛需求,如在装配行业,多工位同时装配需要多个机械手协同工作,而要实现多机械手协同工作需要获得其准确的位姿定位信息以方便对其位姿进行调整,然而对于多机械手的定位目前还没有成熟可靠的通用解决方案。其主要挑战有两个,一个是机械手自身坐标系跟全局坐标系有差别,不同机械手的坐标系更加增加了问题的复杂度;二是机器人位移信息的积累误差,由于噪声的影响,短期的误差积累起来会造成非常大的累计误差。
有鉴于此,实有必要开发一种基于多传感器融合的多机械手定位方法,用以解决上述问题。
发明内容
针对现有技术中存在的不足之处,本发明的主要目的是,提供一种基于多传感器融合的多机械手定位方法,对于每个机械手除了内部位移传感器外还设置倾角传感器及定位标签,外部传感单元包括视觉传感系统及定位标签,通过收集传感器信息,包括角度,位移及空间信息,实现三者之间的坐标转换,实现多机械手在同一空间坐标系下的相互感知及实时运动信息的更新。
本发明的另一个目的是,提供一种基于多传感器融合的多机械手定位方法,通过递归滤波器,结合机械手位移信息、角度信息及定位标签位置信息,校正了机器人位移信息的积累误差,能得到长期稳定的机械手在全局坐标系下的位置及角度信息。
为了实现根据本发明的上述目的和其他优点,提供了一种基于多传感器融合的多机械手定位方法,包括以下步骤:
步骤1,成像传感器位置确认:
若干成像传感器获取环境定位标签,给出每个成像传感器在全局坐标系的位置;
步骤2,多机械手初始位置确认:
若干成像传感器获取机械手定位标签,给出多机械手的初始位置信息;
步骤3,多机械手实时运动的角度、位移确认:
每个机械手,倾角传感器给出多机械手实时运动的角度信息,位移传感器给出实时位移信息在机械手实时运动的位移信息;
步骤4,多机械手实时位置确认:
若干成像传感器获取机械手定位标签,给出多机械手的实时位置信息;
步骤5,坐标系转换及递归滤波:
计算单元将多机械手的初始位置信息、实时运动信息及实时位置信息统一到同一空间坐标系,利用递归滤波器给出每个机械手在全局坐标系的位置及角度;
步骤6,机械手位姿信息更新、相对位姿信息确认:
计算单元依据步骤5给出的机械手在全局坐标系的位置及角度对每个机械手的位姿信息进行更新,并取得多机械手间的相对位置信息及相对角度信息。
进一步的,随时间推移重复步骤3到步骤6,多机械手的初始位置信息为前一时刻得出的机械手在全局坐标系的位置信息。
进一步的,所述机械手为固定位机械手。
进一步的,所述机械手定位标签和倾角传感器分布于机械手的机械臂上。
进一步的,所述倾角传感器为六轴运动变量惯性测量单元。
进一步的,所述步骤5中的递归滤波器为卡尔曼滤波器。
进一步的,所述环境定位标签在全局坐标系下位置确定,其在二维及三维下有规律分布。
上述技术方案中的一个技术方案具有如下优点或有益效果:本发明通过机器手的定位标签和全局定位标签,以成像传感器为中介,有效的解决了机器人自身坐标系跟全局坐标系的转换;通过递归滤波器,结合机械手位移信息、角度信息及定位标签位置信息,校正了机械手位移信息的积累误差,能长期稳定地得到机械手在全局坐标系下的位置及角度信息。
附图说明
图1为根据本发明一个实施方式提出的基于多传感器融合的多机械手定位方法的步骤图;
具体实施方式
下面将结合本发明实施方式中的附图,对本发明实施方式中的技术方案进行清楚、完整的描述,显然,所描述的实施方式仅仅是本发明一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
根据本发明的一实施方式,多机械手协同定位的方法其组成部分包含三个主要部分:
机械手部分、外部传感器和环境定位标签。
机械手部分,包括位移传感器、倾角传感器及机械手定位标签;所述机械手为固定位机械手;机械手自带所述位移传感器,所述位移传感器输出的是机械手坐标系下的位移信息;所述倾角传感器,包括六轴运动变量惯性测量单元(IMU),能实时测量机械手的运动角度信息;所述机械手定位标签,包括但不限于平面或立体棋盘格或二进制定位表记;所述机械手定位标签和倾角传感器分布于任意机械手任意机械臂上。
外部单元,包括成像单元和计算单元;所述成像单元具有成像传感器,所述成像传感器在其视野范围内获取所有的定位标签;所述计算单元根据所有的定位标签的图像,计算对应的3D空间范围内的位置信息,并收集每个机械手的内部传感器信息(位移及角度等信息),以将所有的信息融合生成整体定位信息并实现机械手及全局坐标系的坐标转换。
环境定位标签;所述环境定位标签具有一个或多个,其作为独立单元,部署在多机械手工作环境,以作为成像传感器标定及全局坐标系的定位依据;所述环境定位标签包含但不限于在二维及三维环境下有规律分布。
成像传感器能通过机械手定位标签获得机械手在全局坐标系下的位姿信息,然而此位姿信息受限于定位标签,其角度信息不够完备,通过环境定位标签,确定成像传感器的位置信息及角度信息,能实现成像传感器坐标系、机械手坐标系及全局坐标系的转换。本发明通过成像传感器为中介,有效的解决了机械手自身坐标系和全局坐标系的转换。
通过多传感器的融合,结合递归滤波器,典型的滤波器如卡尔曼滤波器等,实现传感器的输入,来消除误差及噪声的影响;根据各传感器在不同时间下的输入值,考虑各时间下的联合分布,再对位置信息及角度信息精准确认,减少了机器人位移信息的积累误差,能长期稳定地得到机械手在全局坐标系下的位置及角度信息,比只以单一传感器为基础的估计方式要准确可靠。
所述基于多传感器融合的多机械手定位方法结合图1,步骤如下:
1.多成像传感器获取环境定位标签,取得每个成像传感器在全局坐标系的位置(Xc、Yc、Zc);
2.多成像传感器获取机械手定位标签,根据(Xc、Yc、Zc)给出机械手在全局坐标系的初始位置信息(Xr0、Yr0、Zr0);
3.对每个机械手,倾角传感器给出机械手实时运动的角度信息(α、β、λ)及位移传感器给出实时位移信息(Δx、Δy、Δz)在机械手坐标系;
4.多成像传感器获取机械手定位标签,根据(Xc、Yc、Zc)给出机械手在全局坐标系的实时位置信息(Xrt、Yrt、Zrt);
5.结合(Xr0、Yr0、Zr0)、(α、β、λ)、(Δx、Δy、Δz)及(Xrt、 Yrt、Zrt),通过递归滤波器给出机械手在全局坐标系的位置(Xrt’、Yrt’、 Zrt’)及角度(α’、β’、λ’);
6.对每个机械手的位姿信息进行更新,并取得多机械手间的相对位置信息及相对角度信息;
7.随着时间推移重复步骤3到6以取得每一个时刻的角度信息及位置信息;其中初始位置为前一时刻的机械手在全部坐标系的位置。
进一步的,还包括高精度定位方法:
计算单元输出控制信号用以直接或间接驱动任一机械手到达指定位置,在该位置上完成定位;所述指定位置为机械手臂的初始位置或专用定位位置,该位置拥有最小的累计误差;所述指定位置,该位置方便用户利用其他方法做更精准的定位,其他方法包括探针等;所述指定位置为成像单元成像最小误差位置,或其他特定位置,以获得最小的误差;所述指定位置为成像单元成像特定位置,包括用一个机械手臂移动到可以遮挡部分标签或视觉接触部分标签。
进一步的,所述机械手在不同状态下由成像传感器给出的实时位置信息拥有不同的准确度,所述实时位置信息在计算单元计算机械手在全局坐标系的位置及角度中的权重不同。
进一步的,机械手的基座位置固定,手臂灵活移动,当多机械手协同工作时,相互的位置信息及角度信息可相互通讯。
进一步的,机械手控制系统可根据系统命令进行协同操作,如针对同一目标,虽然每个机械手只能实现单一功能,但多机械手的协作可实现符合功能,如打磨上漆抛光可在一个时序完成。
进一步的,计算单元可根据需要实现的效果,根据机械手的位置信息部署功能,并通过时序控制来实现系统的复合功能。
这里说明的设备数量和处理规模是用来简化本发明的说明的。对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。
尽管本发明的实施方案已公开如上,但其并不仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的图例。

Claims (7)

1.一种基于多传感器融合的多机械手定位方法,其特征在于,包括以下步骤:
步骤1,成像传感器位置确认:
若干成像传感器获取环境定位标签,给出每个成像传感器在全局坐标系的位置;
步骤2,多机械手初始位置确认:
若干成像传感器获取机械手定位标签,给出多机械手的初始位置信息;
步骤3,多机械手实时运动的角度、位移确认:
每个机械手,倾角传感器给出多机械手实时运动的角度信息,位移传感器给出实时位移信息在机械手实时运动的位移信息;
步骤4,多机械手实时位置确认:
若干成像传感器获取机械手定位标签,给出多机械手的实时位置信息;
步骤5,坐标系转换及递归滤波:
计算单元将多机械手的初始位置信息、实时运动信息及实时位置信息统一到同一空间坐标系,利用递归滤波器给出每个机械手在全局坐标系的位置及角度;
步骤6,机械手位姿信息更新、相对位姿信息确认:
计算单元依据步骤5给出的机械手在全局坐标系的位置及角度对每个机械手的位姿信息进行更新,并取得多机械手间的相对位置信息及相对角度信息。
2.如权利要求1所述的基于多传感器融合的多机械手定位方法,其特征在于:随时间推移重复步骤3到步骤6,多机械手的初始位置信息为前一时刻得出的机械手在全局坐标系的位置信息。
3.如权利要求1所述的基于多传感器融合的多机械手定位方法,其特征在于:所述机械手为固定位机械手。
4.如权利要求1所述的基于多传感器融合的多机械手定位方法,其特征在于:所述机械手定位标签和倾角传感器分布于机械手的机械臂上。
5.如权利要求1所述的基于多传感器融合的多机械手定位方法,其特征在于:所述倾角传感器为六轴运动变量惯性测量单元。
6.如权利要求1所述的基于多传感器融合的多机械手定位方法,其特征在于:所述步骤5中的递归滤波器为卡尔曼滤波器。
7.如权利要求1所述的基于多传感器融合的多机械手定位方法,其特征在于:所述环境定位标签在全局坐标系下位置确定,其在二维及三维下有规律分布。
CN202010749246.4A 2020-07-30 2020-07-30 一种基于多传感器融合的多机械手定位方法 Pending CN111923043A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010749246.4A CN111923043A (zh) 2020-07-30 2020-07-30 一种基于多传感器融合的多机械手定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010749246.4A CN111923043A (zh) 2020-07-30 2020-07-30 一种基于多传感器融合的多机械手定位方法

Publications (1)

Publication Number Publication Date
CN111923043A true CN111923043A (zh) 2020-11-13

Family

ID=73316085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010749246.4A Pending CN111923043A (zh) 2020-07-30 2020-07-30 一种基于多传感器融合的多机械手定位方法

Country Status (1)

Country Link
CN (1) CN111923043A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112554255A (zh) * 2020-12-28 2021-03-26 智动时代(北京)科技有限公司 一种多传感器融合定位空间坐标的算法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1563889A (zh) * 2004-03-26 2005-01-12 清华大学 激光跟踪惯性组合测量系统及其测量方法
DE102010031248A1 (de) * 2010-07-12 2012-01-12 Kuka Roboter Gmbh Verfahren zum Vermessen eines Roboterarms eines Industrieroboters
CN103112007A (zh) * 2013-02-06 2013-05-22 华南理工大学 基于混合传感器的人机交互方法
CN104758066A (zh) * 2015-05-06 2015-07-08 中国科学院深圳先进技术研究院 用于手术导航的设备及手术机器人
CN108981720A (zh) * 2018-10-25 2018-12-11 哈尔滨工业大学 Uwb与惯导融合的室内导航系统
CN110375738A (zh) * 2019-06-21 2019-10-25 西安电子科技大学 一种融合惯性测量单元的单目同步定位与建图位姿解算方法
CN110977985A (zh) * 2019-12-23 2020-04-10 中国银联股份有限公司 一种定位的方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1563889A (zh) * 2004-03-26 2005-01-12 清华大学 激光跟踪惯性组合测量系统及其测量方法
DE102010031248A1 (de) * 2010-07-12 2012-01-12 Kuka Roboter Gmbh Verfahren zum Vermessen eines Roboterarms eines Industrieroboters
CN103112007A (zh) * 2013-02-06 2013-05-22 华南理工大学 基于混合传感器的人机交互方法
CN104758066A (zh) * 2015-05-06 2015-07-08 中国科学院深圳先进技术研究院 用于手术导航的设备及手术机器人
CN108981720A (zh) * 2018-10-25 2018-12-11 哈尔滨工业大学 Uwb与惯导融合的室内导航系统
CN110375738A (zh) * 2019-06-21 2019-10-25 西安电子科技大学 一种融合惯性测量单元的单目同步定位与建图位姿解算方法
CN110977985A (zh) * 2019-12-23 2020-04-10 中国银联股份有限公司 一种定位的方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
伍明: "《未知环境下移动机器人目标跟踪理论与方法》", 31 January 2018, 西北工业大学出版社 *
吴昌林: "《工业机器人》", 31 July 2019, 华中科技大学出版社 *
梁晋: "《3D反求技术》", 31 January 2019, 华中科技大学出版社 *
谭建豪: "《数字图像处理与移动机器人路径规划》", 30 April 2013, 华中科技大学出版社 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112554255A (zh) * 2020-12-28 2021-03-26 智动时代(北京)科技有限公司 一种多传感器融合定位空间坐标的算法

Similar Documents

Publication Publication Date Title
CN109153125B (zh) 用于定向工业机器人的方法和工业机器人
CN108748159B (zh) 一种机械臂工具坐标系自标定方法
Wilson et al. Relative end-effector control using cartesian position based visual servoing
EP3740352B1 (en) Vision-based sensor system and control method for robot arms
Lee et al. Industrial robot calibration method using denavit—Hatenberg parameters
US7756608B2 (en) System for calibration of an industrial robot and a method thereof
Bone et al. Vision-guided fixtureless assembly of automotive components
Wang et al. Nonparametric statistical learning control of robot manipulators for trajectory or contour tracking
Coronado et al. Vision-based control of a delta parallel robot via linear camera-space manipulation
US11554494B2 (en) Device for acquiring a position and orientation of an end effector of a robot
Jiang et al. The state of the art of search strategies in robotic assembly
Schmitt et al. Indoor-GPS based robots as a key technology for versatile production
Santolaria et al. Self-alignment of on-board measurement sensors for robot kinematic calibration
CN113910218A (zh) 基于运动学与深度神经网络融合的机器人标定方法和装置
Renaud et al. Vision-based kinematic calibration of a H4 parallel mechanism
CN115351389A (zh) 自动焊接方法和装置、电子设备及存储介质
CN111923043A (zh) 一种基于多传感器融合的多机械手定位方法
Lange et al. Learning accurate path control of industrial robots with joint elasticity
Shah et al. Real-time path correction of an industrial robot for adhesive application on composite structures
CN114454180B (zh) 移动机器人的运动控制方法、装置和移动机器人
CN116728397A (zh) 机器人系统、机器人控制方法和计算机可读存储介质
Wei et al. Multisensory visual servoing by a neural network
Hamner et al. Mobile robotic dynamic tracking for assembly tasks
Park et al. Assembly phase estimation in the square peg assembly process
CN112815851A (zh) 手眼标定方法及装置、系统、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201113

RJ01 Rejection of invention patent application after publication