CN107650149A - 一种基于串联机械臂的接触与非接触融合测量系统及方法 - Google Patents

一种基于串联机械臂的接触与非接触融合测量系统及方法 Download PDF

Info

Publication number
CN107650149A
CN107650149A CN201710719310.2A CN201710719310A CN107650149A CN 107650149 A CN107650149 A CN 107650149A CN 201710719310 A CN201710719310 A CN 201710719310A CN 107650149 A CN107650149 A CN 107650149A
Authority
CN
China
Prior art keywords
mechanical arm
testee
camera
coordinate system
world coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710719310.2A
Other languages
English (en)
Other versions
CN107650149B (zh
Inventor
刘嘉宇
邓涛
杨泽林
张科
孙力
乔玉京
杜宝森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Research Institute of Precise Mechatronic Controls
Original Assignee
Beijing Research Institute of Precise Mechatronic Controls
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Research Institute of Precise Mechatronic Controls filed Critical Beijing Research Institute of Precise Mechatronic Controls
Priority to CN201710719310.2A priority Critical patent/CN107650149B/zh
Publication of CN107650149A publication Critical patent/CN107650149A/zh
Application granted granted Critical
Publication of CN107650149B publication Critical patent/CN107650149B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices

Abstract

本发明公开了一种基于串联机械臂的接触与非接触融合测量系统及方法。该系统包括计算机控制系统、旋转平台、深度视觉相机、机械臂以及力传感器。该方法首先通过深度视觉相机获取物体在世界坐标系中的位置P相机，然后计算机控制系统根据该位置控制机械臂运动至被测物体处，根据力传感器的压力值获取被测物体在世界坐标系中的位置P机械臂。对P相机与P机械臂进行融合，得到真实位置P。本发明能够对被测物体的位置进行精确测量，且不对物体造成结构性的损伤，保证后续能够直接使用该位置信息。

Description

一种基于串联机械臂的接触与非接触融合测量系统及方法
技术领域
本发明涉及一种基于串联机械臂的接触与非接触融合测量系统及方法，属于机器人智能测量领域。
背景技术
在机器人视觉测量领域，利用深度相机测得的图像深度信息实现对物体位置的测量是非常常用的一种方法。但是这种测量方式对于被测物体位置的测量不精确，无法达到直接使用的状态，只能作为一个辅助测量装置。
发明内容
本发明的技术解决问题是：克服现有技术的不足，提供一种基于串联机械臂的接触与非接触融合测量系统及方法，能够对被测物体的位置进行精确测量。
本发明的技术解决方案是：一种基于串联机械臂的接触与非接触融合测量系统，包括计算机控制系统、旋转平台、深度视觉相机、机械臂以及力传感器；深度视觉相机通过支架安装在旋转平台上，能够随旋转平台一起转动，力传感器安装在机械臂末端关节上；
计算机控制系统：用于控制旋转平台转动以及控制机械臂运动，并能采集深度视觉相机获取的被测物体图像信息和力传感器获取的被测物体压力值；根据深度视觉相机获取的物体图像信息计算被测物体在世界坐标系下的位置P相机，根据力传感器获取的被测物理压力值计算被测物体在世界坐标系中的位置P机械臂；对P相机和P机械臂处理，得到被测物体在世界坐标系中的真实位置P。
计算机控制系统根据深度视觉相机获取的物体图像信息计算被测物体在世界坐标系下的位置P相机的方法如下：
(a)计算机控制系统根据深度视觉相机获取的物体图像信息，计算出被测物体在相机坐标系下的位置P1；
(b)根据相机在世界坐标系中的位置，利用如下公式计算被测物体在世界坐标系下的位置P相机：
P相机＝0T1P1
其中，0T1为相机坐标系与世界坐标系的转换矩阵。
计算机控制系统根据力传感器获取的被测物理压力值计算被测物体在世界坐标系中的位置P机械臂的公式如下：
P机械臂＝0T2P2
其中，0T2为机械臂基坐标系与世界坐标系的转换矩阵，P2为根据机械臂的运动学计算得到的被测物体在机械臂基坐标系下的位置。
计算机控制系统利用如下公式对P相机与P机械臂进行融合，得到真实位置P：
P＝μ1*P相机+μ2*P机械臂
其中，μ1和μ2为融合系数，且μ1+μ2＝1，μ1与被测物体体积成正比。
所述融合测量系统的测量方法，包括如下步骤：
(1)计算机控制系统控制旋转平台旋转，当被测物体在深度视觉相机的视场范围内时，控制旋转平台停止转动，深度视觉相机采集物体图像信息，并输出给计算机控制系统；
(2)计算机控制系统根据深度视觉相机获取的物体图像信息，计算被测物体在世界坐标系下的位置P相机；
(3)计算机控制系统根据步骤(2)得到的被测物体在世界坐标系中的位置，控制机械臂运动至被测物体处，并实时采集力传感器的压力值；
(4)当力传感器的压力值不为0时，说明机械臂与被测物体接触，计算机控制系统利用力传感器的压力值，计算被测物体在世界坐标系中的位置P机械臂；
(5)计算机控制系统将步骤(2)得到的被测物体在世界坐标系下的位置P相机与步骤(4)得到的被测物体在世界坐标系中的位置P机械臂进行融合，得到被测物体在世界坐标系中的真实位置P。
为了提高测量精度，重复步骤(3)‐(4)多次，得到多个被测物体在世界坐标系中的位置数据，取平均值后得到P机械臂的值。
所述步骤(2)中，计算被测物体在世界坐标系下的位置P相机的方法如下：
P相机＝0T1P1
其中，0T1为相机坐标系与世界坐标系的转换矩阵，P1为根据深度视觉相机获取的物体图像信息得到的被测物体在相机坐标系下的位置。
所述步骤(4)中，计算被测物体在世界坐标系中的位置P机械臂的方法如下：
P机械臂＝0T2P2
其中，0T2为机械臂基坐标系与世界坐标系的转换矩阵，P2为根据机械臂的运动学计算得到的被测物体在机械臂基坐标系下的位置。
所述步骤(5)中，利用如下公式对P相机与P机械臂进行融合，得到真实位置P：
P＝μ1*P相机+μ2*P机械臂
其中，μ1和μ2为融合系数，且μ1+μ2＝1，μ1与被测物体体积成正比。
与现有技术相比，本发明具有如下有益效果：
(1)本发明首先通过深度视觉相机对物体位置进行非接触测量，然后利用该信息控制机械臂运动，对物体进行接触测量，最后将非接触测量和接触测量结果进行融合，从而得到物体的精确位置，保证后续能够直接使用该位置信息。
(2)本发明在机械臂末端安装力传感器，实现对被测物体的接触测量，避免了直接使用机械臂对物体造成结构性的损伤。
附图说明
图1为本发明测量系统示意图；
图2为坐标系转换示意图。
具体实施方式
本发明主要针对空间物体位置测量不精确的问题，提出了一种利用机械臂触摸接触测量和利用深度视觉相机非接触测量融合的测量系统和方法，充分平衡了非接触测量的视场约束和精度约束的特点和接触测量直接力约束的关系，并充分发挥二者的优势，得到了物体的精确位置。
如图1所示，本发明的测量系统包括计算机控制系统、旋转平台、深度视觉相机、机械臂以及力传感器；深度视觉相机通过支架安装在旋转平台上，能够随旋转平台一起转动，力传感器安装在机械臂末端关节上，计算机控制系统通过电缆与旋转平台、深度视觉相机、机械臂以及力传感器连接，计算机控制系统用于控制旋转平台转动以及控制机械臂运动，并能采集深度视觉相机和力传感器的信息，根据采集的信息获取被测物体的真实位置。
机械臂为多自由度机械臂。图1所示为6自由度机械臂。
测量方法的具体步骤如下：
(1)计算机控制系统控制旋转平台旋转，当被测物体在深度视觉相机的视场范围内时，控制旋转平台停止转动，深度视觉相机采集物体图像信息，并输出给计算机控制系统；
(2)计算机控制系统根据深度视觉相机获取的物体图像信息，计算出被测物体在相机坐标系下的位置与姿态，并根据相机在世界坐标系中的位置，通过矩阵旋转变换，计算被测物体在世界坐标系下的位置P相机；
(3)计算机控制系统根据步骤(2)得到的被测物体在世界坐标系中的位置，控制机械臂运动至被测物体处，并实时采集力传感器的压力值；
(4)当力传感器的压力值不为0时，说明机械臂与被测物体接触，利用力传感器的压力值，以及机械臂的机械机构参数、关节旋转角度，根据机械臂的运动学以及矩阵转换关系计算被测物体在世界坐标系中的位置P机械臂；
(5)将步骤(2)得到的被测物体在世界坐标系下的位置P相机与步骤(4)得到的被测物体在世界坐标系中的位置P机械臂进行融合，得到被测物体在世界坐标系中的真实位置P。
相机坐标系、世界坐标系和机械臂基坐标系之间的转换关系如图2所示。
计算被测物体在世界坐标系下的位置P相机的方法如下：
P相机＝0T1P1
其中，0T1为相机坐标系与世界坐标系的转换矩阵，P1为被测物体在相机坐标系下的位置。
计算被测物体在世界坐标系中的位置P机械臂的方法如下：
P机械臂＝0T2P2
其中，0T2为机械臂基坐标系与世界坐标系的转换矩阵，P2为根据机械臂的运动学计算得到的被测物体在机械臂基坐标系下的位置。
利用如下公式对P相机与P机械臂进行融合，得到真实位置P：
P＝μ1*P相机+μ2*P机械臂＝μ1*0T1P1+μ2*0T2P2
其中，μ1和μ2为融合系数，且μ1+μ2＝1，μ1与被测物体体积成正比，μ2与被测物体体积成反比。
具体来说，当被测物体在深度视觉相机采集的每一帧图像中，占比超过50％时，说明被测物体体积大，μ1>0.5。
为了进一步提高测量精度，避免测量误差太大，可以重复步骤(3)‐(4)多次，得到N个被测物体在世界坐标系中的位置数据，取平均值后得到P机械臂的值。
本发明说明书中未作详细描述的内容属本领域专业技术人员的公知技术。

Claims (9)

1.一种基于串联机械臂的接触与非接触融合测量系统，其特征在于：包括计算机控制系统、旋转平台、深度视觉相机、机械臂以及力传感器；深度视觉相机通过支架安装在旋转平台上，能够随旋转平台一起转动，力传感器安装在机械臂末端关节上；
计算机控制系统：用于控制旋转平台转动以及控制机械臂运动，并能采集深度视觉相机获取的被测物体图像信息和力传感器获取的被测物体压力值；根据深度视觉相机获取的物体图像信息计算被测物体在世界坐标系下的位置P相机，根据力传感器获取的被测物理压力值计算被测物体在世界坐标系中的位置P机械臂；对P相机和P机械臂处理，得到被测物体在世界坐标系中的真实位置P。
2.根据权利要求1所述的一种基于串联机械臂的接触与非接触融合测量系统，其特征在于：计算机控制系统根据深度视觉相机获取的物体图像信息计算被测物体在世界坐标系下的位置P相机的方法如下：
(a)计算机控制系统根据深度视觉相机获取的物体图像信息，计算出被测物体在相机坐标系下的位置P1；
(b)根据相机在世界坐标系中的位置，利用如下公式计算被测物体在世界坐标系下的位置P相机：
P相机＝0T1P1
其中，0T1为相机坐标系与世界坐标系的转换矩阵。
3.根据权利要求1所述的一种基于串联机械臂的接触与非接触融合测量系统，其特征在于：计算机控制系统根据力传感器获取的被测物理压力值计算被测物体在世界坐标系中的位置P机械臂的公式如下：
P机械臂＝0T2P2
其中，0T2为机械臂基坐标系与世界坐标系的转换矩阵，P2为根据机械臂的运动学计算得到的被测物体在机械臂基坐标系下的位置。
4.根据权利要求1所述的一种基于串联机械臂的接触与非接触融合测量系统，其特征在于：计算机控制系统利用如下公式对P相机与P机械臂进行融合，得到真实位置P：
P＝μ1*P相机+μ2*P机械臂
其中，μ1和μ2为融合系数，且μ1+μ2＝1，μ1与被测物体体积成正比。
5.权利要求1所述融合测量系统的测量方法，其特征在于包括如下步骤：
(1)计算机控制系统控制旋转平台旋转，当被测物体在深度视觉相机的视场范围内时，控制旋转平台停止转动，深度视觉相机采集物体图像信息，并输出给计算机控制系统；
(2)计算机控制系统根据深度视觉相机获取的物体图像信息，计算被测物体在世界坐标系下的位置P相机；
(3)计算机控制系统根据步骤(2)得到的被测物体在世界坐标系中的位置，控制机械臂运动至被测物体处，并实时采集力传感器的压力值；
(4)当力传感器的压力值不为0时，说明机械臂与被测物体接触，计算机控制系统利用力传感器的压力值，计算被测物体在世界坐标系中的位置P机械臂；
(5)计算机控制系统将步骤(2)得到的被测物体在世界坐标系下的位置P相机与步骤(4)得到的被测物体在世界坐标系中的位置P机械臂进行融合，得到被测物体在世界坐标系中的真实位置P。
6.根据权利要求5所述的测量方法，其特征在于：为了提高测量精度，重复步骤(3)‐(4)多次，得到多个被测物体在世界坐标系中的位置数据，取平均值后得到P机械臂的值。
7.根据权利要求5所述的测量方法，其特征在于：所述步骤(2)中，计算被测物体在世界坐标系下的位置P相机的方法如下：
P相机＝0T1P1
其中，0T1为相机坐标系与世界坐标系的转换矩阵，P1为根据深度视觉相机获取的物体图像信息得到的被测物体在相机坐标系下的位置。
8.根据权利要求5所述的测量方法，其特征在于：所述步骤(4)中，计算被测物体在世界坐标系中的位置P机械臂的方法如下：
P机械臂＝0T2P2
其中，0T2为机械臂基坐标系与世界坐标系的转换矩阵，P2为根据机械臂的运动学计算得到的被测物体在机械臂基坐标系下的位置。
9.根据权利要求5所述的测量方法，其特征在于：所述步骤(5)中，利用如下公式对P相机与P机械臂进行融合，得到真实位置P：
P＝μ1*P相机+μ2*P机械臂
其中，μ1和μ2为融合系数，且μ1+μ2＝1，μ1与被测物体体积成正比。
CN201710719310.2A 2017-08-21 2017-08-21 一种基于串联机械臂的接触与非接触融合测量系统及方法 Active CN107650149B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710719310.2A CN107650149B (zh) 2017-08-21 2017-08-21 一种基于串联机械臂的接触与非接触融合测量系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710719310.2A CN107650149B (zh) 2017-08-21 2017-08-21 一种基于串联机械臂的接触与非接触融合测量系统及方法

Publications (2)

Publication Number Publication Date
CN107650149A true CN107650149A (zh) 2018-02-02
CN107650149B CN107650149B (zh) 2020-09-18

Family

ID=61128454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710719310.2A Active CN107650149B (zh) 2017-08-21 2017-08-21 一种基于串联机械臂的接触与非接触融合测量系统及方法

Country Status (1)

Country Link
CN (1) CN107650149B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113119103A (zh) * 2019-12-31 2021-07-16 深圳富泰宏精密工业有限公司 确定标记物的深度标准值的方法、计算机装置

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11188680A (ja) * 1997-12-22 1999-07-13 Matsushita Electric Works Ltd 部品組付装置
CN2591559Y (zh) * 2002-12-30 2003-12-10 北京航空航天大学 接触式物体位姿测量装置
CN1561923A (zh) * 2004-03-17 2005-01-12 哈尔滨工业大学 机器人辅助带锁髓内钉正骨手术医疗系统
CN101395989A (zh) * 2008-10-10 2009-04-01 江苏大学 一种苹果采摘机器人的末端执行器
US20110087360A1 (en) * 2008-03-31 2011-04-14 Abb Research Ltd. Robot parts assembly on a workpiece moving on an assembly line
WO2011068227A1 (en) * 2009-12-02 2011-06-09 Canon Kabushiki Kaisha Dual arm robot
CN102310409A (zh) * 2010-07-05 2012-01-11 株式会社安川电机 机器人装置及基于机器人装置的把持方法
CN104057290A (zh) * 2014-06-24 2014-09-24 中国科学院自动化研究所 一种基于视觉和力反馈控制的机器人装配方法与系统
CN104339352A (zh) * 2013-08-09 2015-02-11 株式会社安川电机 机器人系统、机器人控制装置以及机器人控制方法
CN105479461A (zh) * 2016-01-26 2016-04-13 先驱智能机械（深圳）有限公司 控制方法、控制装置及机械手系统
CN106272424A (zh) * 2016-09-07 2017-01-04 华中科技大学 一种基于单目相机和三维力传感器的工业机器人抓取方法
CN106272416A (zh) * 2016-08-29 2017-01-04 上海交通大学 基于力觉和视觉的机器人细长轴精密装配系统及方法
CN106272427A (zh) * 2016-09-12 2017-01-04 安徽理工大学 一种工业机器人智能拾取系统
CN106346315A (zh) * 2015-07-14 2017-01-25 发那科株式会社 能够取得工件原点的机床控制系统以及工件原点设定方法
CN106945040A (zh) * 2017-03-24 2017-07-14 北京理工大学 一种用于单自由度柔性末端的机械臂控制算法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11188680A (ja) * 1997-12-22 1999-07-13 Matsushita Electric Works Ltd 部品組付装置
CN2591559Y (zh) * 2002-12-30 2003-12-10 北京航空航天大学 接触式物体位姿测量装置
CN1561923A (zh) * 2004-03-17 2005-01-12 哈尔滨工业大学 机器人辅助带锁髓内钉正骨手术医疗系统
US20110087360A1 (en) * 2008-03-31 2011-04-14 Abb Research Ltd. Robot parts assembly on a workpiece moving on an assembly line
CN101395989A (zh) * 2008-10-10 2009-04-01 江苏大学 一种苹果采摘机器人的末端执行器
WO2011068227A1 (en) * 2009-12-02 2011-06-09 Canon Kabushiki Kaisha Dual arm robot
CN102310409A (zh) * 2010-07-05 2012-01-11 株式会社安川电机 机器人装置及基于机器人装置的把持方法
CN104339352A (zh) * 2013-08-09 2015-02-11 株式会社安川电机 机器人系统、机器人控制装置以及机器人控制方法
CN104057290A (zh) * 2014-06-24 2014-09-24 中国科学院自动化研究所 一种基于视觉和力反馈控制的机器人装配方法与系统
CN106346315A (zh) * 2015-07-14 2017-01-25 发那科株式会社 能够取得工件原点的机床控制系统以及工件原点设定方法
CN105479461A (zh) * 2016-01-26 2016-04-13 先驱智能机械（深圳）有限公司 控制方法、控制装置及机械手系统
CN106272416A (zh) * 2016-08-29 2017-01-04 上海交通大学 基于力觉和视觉的机器人细长轴精密装配系统及方法
CN106272424A (zh) * 2016-09-07 2017-01-04 华中科技大学 一种基于单目相机和三维力传感器的工业机器人抓取方法
CN106272427A (zh) * 2016-09-12 2017-01-04 安徽理工大学 一种工业机器人智能拾取系统
CN106945040A (zh) * 2017-03-24 2017-07-14 北京理工大学 一种用于单自由度柔性末端的机械臂控制算法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113119103A (zh) * 2019-12-31 2021-07-16 深圳富泰宏精密工业有限公司 确定标记物的深度标准值的方法、计算机装置
CN113119103B (zh) * 2019-12-31 2022-10-14 深圳富泰宏精密工业有限公司 确定标记物的深度标准值的方法、计算机装置
US11951638B2 (en) 2019-12-31 2024-04-09 Chiun Mai Communication Systems, Inc. Computer device and method for determining standard depth value of marker

Also Published As

Publication number Publication date
CN107650149B (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
CN110842901B (zh) 基于一种新型三维标定块的机器人手眼标定方法与装置
CN104457645B (zh) 一种利用二维测量功能平板的机器人工具中心点标定方法
CN105509671B (zh) 一种利用平面标定板的机器人工具中心点标定方法
CN103340632B (zh) 一种基于特征点空间位置的人体关节角度测量方法
US9974618B2 (en) Method for determining an imaging specification and image-assisted navigation as well as device for image-assisted navigation
CN105608737B (zh) 一种基于机器学习的人体足部三维重建方法
CN107320108B (zh) 一种关节活动度测量方法
US10739870B2 (en) Stylus for coordinate measuring
CN109124769B (zh) 手术机器人的坐标系标定、控制的方法及系统
CN108317999B (zh) 一种基于惯性传感器的通信铁塔倾角测量方法
CN209104025U (zh) 一种铁路牵引变电所控制柜按钮视觉定位装置
CN105212436B (zh) 非接触式三维激光脚型的测量系统及测量方法
CN103644894B (zh) 一种复杂曲面目标识别及三维位姿测量的方法
TWI591514B (zh) 手勢創建系統及方法
CN102479386A (zh) 基于单目视频的人体上半身三维运动跟踪方法
CN103487692B (zh) 一种触摸屏的质量检测方法
CN107650149A (zh) 一种基于串联机械臂的接触与非接触融合测量系统及方法
CN111477318B (zh) 一种用于远程操纵的虚拟超声探头跟踪方法
WO2023165355A1 (zh) 手术平台定位系统、位姿信息确定方法以及装置
JP5481397B2 (ja) ３次元座標計測装置
Bonnechère et al. Can the kinectTM sensors be used for motion analysis?
CN113733078B (zh) 机械臂精调控制量判读方法、计算机可读存储介质
CN113505791A (zh) 一种甲片的贴合方法、装置、计算机设备和存储介质
JPS60151712A (ja) 固定３次元視覚併用ロボットハンドリング装置
CN112132883A (zh) 一种基于深度相机的人体颈部灵活度测量系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant