CN115294315A - 一种管道内机械臂异物检测拾取装置、方法和系统 - Google Patents

Abstract

本发明涉及一种管道内机械臂异物检测拾取装置、方法和系统，所述装置包括检测车、六轴协作机械臂、拾取装置和工业相机以及计算机。其中六轴协作机械臂安装在检测车上，工业相机及拾取装置与六轴协作机械臂末端连接。计算机是整个系统的主控，控制检测车携带机械臂在管道内前后运行，机械臂循环运行预先计算好的不同位姿点，工业相机进行图像采集，计算机对采集的图像进行图像处理完成异物识别。当识别定位异物后，控制机械臂的运行及拾取装置的旋转，在机械臂没有碰撞管道内壁的情况下，自动将异物取出。其优点表现在：通过该方法能够避免机械臂及拾取装置与管道发生碰撞，减少管道内壁造成的损伤，能快速清除异物。

Description

一种管道内机械臂异物检测拾取装置、方法和系统

技术领域

本发明涉及智能管道探测技术领域，具体地说，是一种管道内机械臂异物检测拾取装置、方法和系统。

背景技术

管道异物是指遗留在管道内，影响管道的某种外来物质、碎屑或物体，如散落的螺钉、螺帽、垫片、保险丝等，以金属材质居多。

管道异物检测可以利用图像处理算法对异物进行识别定位，再自动将异物取出。自动进行异物拾取是一项非常困难的工作，特别是管道口径较小时，执行机构(主要是机械臂及末端装置)有非常大概率和管道发生碰撞，而采用路径规划方法需要递归查找可能的路径，并且还需要对机械臂关节角进行逆解，计算量太大，时间太长，只具备理论可行性。

中国专利申请：202110641857.1公开了一种检测管道多余物的系统以及系统的使用方法、检测方法，解决了人工拾取管道多余物工作强度大且容易产生遗漏的问题。系统包括：移动载体模块，用于承载连接于其末端的六轴机械臂模块移动；3D视觉传感器模块，与六轴机械臂模块连接，用于探测多余物；拾取模块，与六轴机械臂模块连接，用于拾取多余物；控制器，用于控制移动载体模块和六轴机械臂模块进行操作，还包括数据处理模块和数据分析模块，数据处理模块用于接收和存储移动载体模块、六轴机械臂模块的运动数据，数据分析模块用于计算和分析运动数据。该专利主要描述了一个检测管道多余物系统的初步组成和结构搭建情况，以及说明一次检测过程的完整步骤，其核心在于如何判断管道内是否存在异物。而本发明是在原有研究的基础上进一步细化，本发明的核心是如何精确控制机械臂来拾取异物，并且避免拾取装置与管道发生碰撞，减少管道内壁造成的损伤，同时快速清除异物。

中国专利申请：201510498141.5公开了一种用于遥操作人机交互的虚拟管道动态避障控制方法，利用视觉对环境中的障碍物进行识别，通过计算与障碍物间的实时距离来设计控制力，以保证遥操作的安全性和操作性能。应用场景是机械臂末端在空间遥操作中动态躲避障碍物并到达指定位置。由于空间环境不确定或是一些非结构化环境因素导致操作不稳定，操作者难以按照期望时间控制操作末端到达指定位置，故要求操作过程中，末端点动态避开障碍物的同时实时更新最优路径，在提高操作效率的同时确保操作稳定性。但是该专利中所涉及到的算法计算量太大，时间太长，实用性差。

所以为了克服现有技术的缺陷，本发明创新性的提出一种安装在机械臂末端的可旋转拾取装置及处理方法，可以实现快速地清除异物。关于本发明一种管道内机械臂异物检测拾取装置、方法和系统目前还未见报道。

发明内容

本发明的目的是针对现有技术的不足，提供一种管道内机械臂异物检测拾取装置、方法和系统。

为实现上述目的，本发明采取的技术方案是：

第一方面，本发明提供了一种管道内机械臂异物检测拾取方法，所述方法应用于一种管道内机械臂异物检测拾取装置，所述装置包括检测车2、六轴协作机械臂3、拾取装置4和计算机6，所述方法包括步骤：

步骤1：对检测车供电；

步骤2：运行六轴协作机械臂；

步骤3：工业相机采集图像；

步骤4：使用计算机确定异物在图像中的位置；

步骤5：使用计算机获取基准坐标系，并按照手眼标定法确定像素坐标系和六轴协作机械臂坐标系的坐标转换关系；

步骤6：使用计算机将异物在图像中的位置转换为在六轴协作机械臂基准坐标系下的位姿；

步骤7：使用计算机旋转拾取装置，计算出六轴协作机械臂运行位姿；并控制六轴协作机械臂及拾取装置运行到计算出的位姿，将异物吸取至收纳袋中。

优选地，如上所述步骤5中所述手眼标定法具体为：

步骤501：将基准坐标系用base表示，六轴协作机械臂末端坐标系用end表示，工业相机坐标系用cam表示，标定物坐标系用cal表示，吸嘴坐标系用tool表示；

步骤502：将六轴协作机械臂末端坐标系到基准坐标系的转换关系用^baseH_end表示；

步骤503：工业相机坐标系到六轴协作机械臂坐标末端系的转换关系用^endH_cam表示；

步骤504：标定物坐标系到工业相机坐标系的转换关系作为工业相机外参，可以由相机标定求出用^camH_cal表示；

步骤505：标定物坐标系到基准坐标系的变换用^baseH_cal表示；

步骤506：坐标系之间的转换关系矩阵满足：

^baseH_cal＝^baseH_end ^endH_cam ^camH_cal；

步骤507：求解出^toolH_cam和^baseH_cal。

优选地，如上所述步骤6具体为：

步骤601：图像采集时六轴协作机械臂坐标系到基准坐标系的转换关系用^baseH_end(photo)表示；

步骤602：六轴协作机械臂坐标系到基准坐标系的转换关系用^baseH_end(take)表示；

步骤603：工业相机坐标系到六轴协作机械臂坐标系的转换关系用^endH_cam表示；

步骤604：异物坐标系到工业相机坐标系的转换关系用^camH_obj表示，由工业相机图像及外参求出；

步骤605：拾取装置坐标系到六轴协作机械臂末端坐标系的变换用^endH_tool表示；

步骤606：按照：^baseH_obj＝^baseH_end(photo)·^endH_cam·^camH_obj求得异物坐标系到基准坐标系的转换关系^baseH_obj，^toolH_end是^endH_tool的逆，按照^baseH_end(take)＝^baseH_obj·^toolH_end计算得到^baseH_end(take)。

优选地，如上所述步骤7具体为：

步骤701：设定^endH_tool(R)＝^endH_tool·^toolH_toolR；

步骤702：请参照图5，设定拾取装置的拾取点原始坐标位置为P(X,Y,Z)，拾取装置绕y轴旋转角度θ，旋转后坐标为P′(X′,Y′,Z′)，旋转后的坐标P′(X′,Y′,Z′)与原始坐标P(X,Y,Z)之间关系为：

X′＝Z sinθ

Y′＝Y

Z′＝Z cosθ，

所以^toolH_toolR为：

求解得：可旋转拾取装置异物拾取坐标转换关系为：

^baseH_end(take)＝^baseH_end(photo)·^endH_cam·^camH_obj·[^endH_tool·^toolH_toolR]^-1。

优选地，所述拾取装置4包括工业相机401、舵机402、舵机支架404、安装支架405、吸嘴406。

优选地，所述舵机402通过安装支架405分别与工业相机401和吸嘴406连接，所述舵机402与舵机固定架404连接。

优选地，所述计算机6包括传感器模块、图像处理算法模块、第一坐标系转换模块、第二坐标系转换模块和控制模块。

第二方面，本发明提供了一种管道内机械臂异物检测拾取系统，包括：

图像处理算法模块：确定异物在图像中的位置；

传感器模块：确定基准坐标系；

第一坐标系转换模块：用于确定像素坐标系和六轴协作机械臂坐标系的坐标转换关系，具体方法为：将基准坐标系用base表示，六轴协作机械臂末端坐标系用end表示，工业相机坐标系用cam表示，标定物坐标系用cal表示，吸嘴坐标系用tool表示；将六轴协作机械臂末端坐标系到基准坐标系的转换关系用^baseH_end表示；工业相机坐标系到六轴协作机械臂坐标末端系的转换关系用^endH_cam表示；标定物坐标系到工业相机坐标系的转换关系作为工业相机外参，可以由相机标定求出用^camH_cal表示；标定物坐标系到基准坐标系的变换用^baseH_cal表示；坐标系之间的转换关系矩阵满足：^baseH_cal＝^baseH_end ^endH_cam ^camH_cal；求解出^toolH_cam和^baseH_cal；

第二坐标系转换模块：用于将异物在图像中的位置转换为在六轴协作机械臂基准坐标系下的位姿：具体方法为：图像采集时六轴协作机械臂坐标系到基准坐标系的转换关系用^baseH_end(photo)表示；六轴协作机械臂坐标系到基准坐标系的转换关系用^baseH_end(take)表示；工业相机坐标系到六轴协作机械臂坐标系的转换关系用^endH_cam表示；异物坐标系到工业相机坐标系的转换关系用^camH_obj表示，由工业相机图像及外参求出；拾取装置坐标系到六轴协作机械臂末端坐标系的变换用^endH_tool表示；按照：^baseH_obj＝^baseH_end(photo)·^endH_cam·^camH_obj求得异物坐标系到基准坐标系的转换关系^baseH_obj，^toolH_end是e^ndH_tool的逆，^baseH_end(take)＝^baseH_obj·^toolH_end计算得到^baseH_end(take)；

控制模块：用于控制六轴协作机械臂及拾取装置运行到计算出的位姿：具体方法为：设定^endH_tool(R)＝^endH_tool·^toolH_toolR；设定拾取装置的拾取点原始坐标位置为P(X,Y,Z)，拾取装置绕y轴旋转角度θ，旋转后坐标为P′(X′,Y′,Z′)，旋转后的坐标P′(X′,Y′,Z′)与原始坐标P(X,Y,Z)之间关系为：

X′＝Z sinθ

Y′＝Y

Z′＝Z cosθ，

所以^toolH_toolR为：

求解得：可旋转拾取装置异物拾取坐标转换关系为：

^baseH_end(take)＝^baseH_end(photo)·^endH_cam·^camH_obj·[^endH_tool·^toolH_toolR]^-1。

第三方面，本发明提供了一种管道内机械臂异物检测拾取装置，包括检测车2、六轴协作机械臂3、拾取装置4和计算机6，所述拾取装置4包括工业相机401、舵机402、舵机固定架404、安装支架405、吸嘴406，所述检测车2上表面与六轴协作机械臂3一端连接，拾取装置4通过舵机固定架404与六轴协作机械臂3另一端连接，所述计算机6位于检测车2侧面，所述舵机402通过安装支架405分别与工业相机401和吸嘴406连接，所述舵机402与舵机固定架404连接。

优选地，所述计算机6包括图像处理算法模块、传感器模块、第一坐标系转换模块、第二坐标系转换模块、控制模块。

优选地，所述装置还包括干涉风险处5，所述干涉风险处5位于拾取装置4上方。

第四方面，本发明提供了一种计算机可读存储介质，存储有能够被处理器加载并执行如上所述方法的计算机程序。

本发明优点在于：

1、本发明针对管道异物的自动检测和拾取，设计的拾取装置及方法，其中计算机是整个系统的主控，控制检测车携带机械臂在管道内前后运行，机械臂循环运行预先计算好的不同位姿点，工业相机进行图像采集，计算机对采集的图像进行图像处理完成异物识别，当识别定位异物后，控制机械臂的运行及拾取装置的旋转，在六轴协作机械臂没有碰撞管道内壁的情况下，自动将异物取出。既可以避免六轴协作机械臂和拾取装置与管道发生碰撞，减少对管道内壁造成的损伤，又替代了路径规划方法这样需要递归查找可能路径、对六轴协作机械臂关节角进行逆解的复杂计算量方法，大大减少了计算量，快速地清除异物，在提高了操作效率的同时确保操作稳定性。

2、现有技术中对于圆形或者矩形等内径较小的管道、且异物处于管道内底部左右边缘时，机械臂的某些关节都会碰撞到管道内壁，从而对管道内壁以及机械臂造成或多或少的损坏，而本发明首次提出了新的异物拾取方法和装置，使用本发明的可旋转拾取装置既能避免机械臂触碰到管道内壁，而且本发明的计算机包括的模块能够在保持异物拾取装置稳定性的同时大大减少计算量，有很强的实用性。

3、本发明在先前研究的基础上做进一步的改进，包括：主要是在口径较小管道进行异物拾取时，执行机构(主要是机械臂及末端装置)有非常大概率和管道发生碰撞，而采用路径规划方法需要递归查找可能的路径，并且还需要对机械臂关节角进行逆解，计算量太大，时间太长，只具备理论可行性，本发明提出一种安装在机械臂末端的可旋转拾取装置及处理方法，可以在保证不和管道碰撞的情况下清除异物。

附图说明

附图1是本发明检测车的工作示意图。

附图2是拾取装置的结构示意图。

附图3是本发明的异物检测流程图。

附图4是手眼标定示意图(眼在手上(eye-in-hand)标定)。

附图5是拾取装置旋转坐标变化示意图。

1、管道；

2、检测车；

3、六轴协作机械臂；

4、拾取装置；

401、工业相机；

402、舵机；

403、异物；

404、舵机固定架；

405、安装支架；

406、吸嘴；

5、干涉风险处；

6、计算机。

具体实施方式

下面结合具体实施方式，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明记载的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

实施例1

请参照附图1-3，附图1是本发明检测车的工作示意图。附图2是拾取装置的结构示意图。附图3是本发明的异物检测流程图。

本实施例提供了一种管道内机械臂异物检测拾取装置，包括检测车2、六轴协作机械臂3、拾取装置4和计算机6，所述拾取装置4包括工业相机401、舵机402、舵机固定架404、安装支架405、吸嘴406，所述检测车2上表面与六轴协作机械臂3一端连接，拾取装置4通过舵机固定架404与六轴协作机械臂3另一端连接，所述计算机6位于检测车2侧面，所述舵机402通过安装支架405分别与工业相机401和吸嘴406连接，所述舵机402与舵机固定架404连接。优选地，所述装置还包括干涉风险处5，所述干涉风险处5位于拾取装置4上方。优选地，所述计算机6包括图像处理算法模块、控制模块、传感器模块、第一坐标系转换模块和第二坐标系转换模块。

本实施例的异物检测流程是：首先将检测车接通供电，使检测车和机械臂运行，然后使用工业相机401采集图像，并利用计算机中的图像处理算法模块确定异物在图像中的位置，利用传感器模块获取基准坐标系，并分别利用第一按照手眼标定法确定像素坐标系和六轴协作机械臂坐标系的坐标转换关系，接着将异物在图像中的位置转换为在六轴协作机械臂基准坐标系下的位姿；再利用控制模块旋转拾取装置(当异物处于管道内底部左边缘时，拾取装置顺时针旋转一个角度，当异物处于管道内底部右边缘时，拾取装置逆时针旋转一个角度)，计算出六轴协作机械臂运行位姿；并控制六轴协作机械臂及拾取装置运行到计算出的位姿，将异物自动拾取至收纳袋中。

其中，异物自动拾取，和人类用手移动物体非常类似。人类用手移动物体主要可分为以下三个步骤：

第一步：眼睛观察到三维世界，并将其转换到视网膜平面(三维空间转换到二维平面)传送信息给大脑；

第二步：大脑想要移动某个物体，假设想要将物体从A点移动B点(二维坐标)，但是物体是三维空间中的物体，是三维坐标，需要将二维坐标换算成三维坐标；

第三步：大脑已经获得A点和B点的三维坐标，大脑给手(执行机构)发出指令去完成这个任务。

其中第二步就是手眼标定，得到二维坐标(像素坐标)到三维坐标的转换矩阵在实际控制中，工业相机检测到目标在图像中的像素位置后，通过标定好的坐标转换矩阵将相机的像素坐标变换到六轴协作机械臂的空间坐标系中，然后根据六轴协作机械臂坐标系计算出各个电机该如何运动，从而控制六轴协作机械臂到达指定位置。这个过程中涉及到了图像标定，图像处理，运动学正逆解，手眼标定等。

同理异物自动拾取，需要以下四个步骤：

第一步：六轴协作机械臂运行至某个位姿，工业相机采集图像；

第二步：利用图像处理算法模块确定异物在图像中的位置；

第三步：利用传感器模块获取基准坐标系；

第四步：利用第一坐标系转换模块确定像素坐标系和六轴协作机械臂坐标系的坐标转换关系

第五步；利用第二坐标系转换模块将异物在图像中的位置转换为在六轴协作机械臂基准坐标系下的位姿。(这里有个前提，需要首先确定像素坐标系和机械臂坐标系的坐标转换关系，即通常所说的手眼标定，手眼标定详细原理见实施例2)；

第六步：利用计算机中控制模块控制六轴协作机械臂及其安装的拾取工具(吸嘴)运行到上述计算出的位姿，将异物吸取暂存至收纳袋。

需要说明的是，六轴协作机械臂主要功能：带动工业相机运行到目标位置，进行图像采集；带动末端拾取装置运行，拾取异物。所以六轴协作机械臂既要求臂展能够覆盖工作范围，又要求臂展尽可能短，因为臂展越长，越容易碰到管道内壁，且体积、重量尽可能小。

适用的机械臂比如：某型六轴协作机械臂的运行臂展为615mm，自重15kg，负载3Kg，并且带有10级力保护功能。

拾取装置：拾取装置主要功能：异物识别定位后，在六轴协作机械臂的带动下，拾取装置进行旋转，在六轴协作机械臂没有碰撞管道内壁的情况下，自动将异物取出。

计算机：计算机主要用于检测车的运行控制、六轴协作机械臂的控制、图像的采集及深度学习图像处理，所以尽可能选用性能高一些的计算机，特别是显卡需要具有深度学习的相应算力。比如配置：CPU采用i7 6核处理器，内存24G，硬盘2TB，显卡NVIDIA RTX2080。

实施例2

本实施例旨在介绍手眼标定原理：

手眼标定实际上就是确定像素坐标系和六轴协作机械臂坐标系的坐标转换矩阵。按照工业相机安装在六轴协作机械臂末端还是其他的固定位置，分为眼在手上(eye-in-hand)和眼在手外(eye-to-hand)两种标定方式，不管哪种方式，其原理是一致的。下面以眼在手上为例进行说明，请参照附图4，附图4是手眼标定示意图(眼在手上(eye-in-hand)标定)。

眼在手上标定所使用的坐标系说明：

a)基准坐标系(用base表示)；

b)六轴协作机械臂末端坐标系(用end表示)；

c)相机坐标系(用cam表示)；

d)标定物坐标系(用cal表示)。

坐标系之间的转换关系说明：

^baseH_end：表示六轴协作机械臂末端坐标系到基准坐标系的转换关系，六轴协作机器臂系统软件给出；(已知)

^endH_cam：表示相机坐标系到机械臂坐标末端系的转换关系；这个转换关系在机械臂移动过程中是不变的；(未知，待求)

^camH_cal：表示标定物坐标系到相机坐标系的转换关系(相机外参)，可以由相机标定求出；(相当于已知)

^baseH_cal：表示标定物坐标系到基准坐标系的变换；只要和标定物的相对位置不变，这个变换矩阵不发生变化。

坐标系之间的转换关系矩阵满足下式：

^baseH_cal＝^baseH_end ^endH_cam ^camH_cal

眼在手上标定，其实就是求取^endH_cam和^baseH_cal，只要控制机械臂移动到多个位姿(一般14个以上，24个以下)，进行图像采集，记录每个位姿^baseH_tool，即可求解出^toolH_cam，然后也可以求解出^baseH_cal。

实施例3

本实施例旨在介绍拾取装置异物拾取原理：

(1)异物识别定位后，控制六轴协作械臂的运行自动将异物取出。我们这里首先假设拾取装置是一个固定装置(不可旋转)，坐标系之间的转换关系说明：

^baseH_end(photo)：表示六轴协作机械臂坐标系到基准坐标系的转换关系，这个是图像采集时的转换关系，机器臂系统软件给出；(已知)

^baseH_end(take)：表示六轴协作机械臂坐标系到基准坐标系的转换关系；(需要求解)；

^endH_cam：表示相机坐标系到机械臂坐标系的转换关系；这个转换关系在机械手移动过程中是不变的；(实施例2手眼标定时求出)；

^camH_obj：表示异物坐标系到相机坐标系的转换关系，可以由工业相机图像及外参求出；(相当于已知)；

^endH_tool：表示标拾取装置坐标系到机械臂末端坐标系的变换；目前假设拾取装置是一个固定装置(不可旋转)，这个变换矩阵不发生变化。

首先，求得异物坐标系到基准坐标系的转换关系^baseH_obj：

^baseH_obj＝^baseH_end(photo)·^endH_cam·^camH_obj

求出^baseH_obj后，因为已知^toolH_end(为^endH_tool的逆)，所以可以得出^baseH_end(take)：

^baseH_end(take)＝^baseH_obj·^toolH_end。

(2)当圆形或矩形管道内径较小，且异物处于管道内底部左右边缘时，按照上述自动拾取原理进行拾取时，由于控件的限制，机械臂的某些关节基本会碰撞到管道内壁。

本发明采用可旋转拾取装置，当异物处于管道内底部左边缘时，拾取装置顺时针旋转一个角度，当异物处于管道内底部右边缘时，拾取装置逆时针旋转一个角度，然后再拾取异物，就可以避免碰撞管壁，且方便地取出异物。其中可旋转执行机构(拾取装置)可以选择控制简单，且结构体积较小的舵机、步进电机等。

使用了可旋转拾取装置后，上面的拾取异物公式不再适用。需再增加一个变化矩阵^toolH_toolR

^endH_tool(R)＝^endH_tool·^toolH_toolR

请参照附图5，附图5是拾取装置旋转坐标变化示意图。

假设拾取装置及其坐标系如下图所示，拾取装置的拾取点原始位置坐标为P(X,Y,Z)，拾取装置绕y轴旋转角度θ，旋转后坐标为P′(X′,Y′,Z′)。

旋转后的坐标P′(X′,Y′,Z′)与原始坐标P(X,Y,Z)之间关系如下：

X′＝Z sinθ

Y′＝Y

Z′＝Z cosθ

拾取装置相对与机械臂末端坐标系来说，实际上相当于拾取点P点平移到了P′，而没有旋转，所以^toolH_toolR为：

综合上述，可旋转拾取装置异物拾取坐标转换关系如下：

^baseH_end(take)＝^baseH_end(photo)·^endH_cam·^camH_obj·[^endH_tool·^toolH_toolR]^-1

完成坐标系之间的转换，就可以通过计算机控制六轴协作机械臂末端运行，并旋转拾取装置来使得拾取装置和异物位置重合，最终实现异物拾取。

针对管道异物的自动检测和拾取，本发明可以避免执行机构(主要是六轴协作机械臂及末端拾取装置)与管道发生碰撞，减少对管道内壁造成的损伤，替代路径规划方法这样需要递归查找可能路径、对机械臂关节角进行逆解的复杂计算量方法，快速地清除异物。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。

Claims (10)

1.一种管道内机械臂异物检测拾取方法，其特征在于，所述方法应用于一种管道内机械臂异物检测拾取装置，所述装置包括检测车(2)、六轴协作机械臂(3)、拾取装置(4)和计算机(6)，所述方法包括步骤：

步骤1：对检测车供电；

步骤2：运行六轴协作机械臂；

步骤3：工业相机采集图像；

步骤4：使用计算机确定异物在图像中的位置；

步骤5：使用计算机获取基准坐标系，并按照手眼标定法确定像素坐标系和六轴协作机械臂坐标系的坐标转换关系；

步骤6：使用计算机将异物在图像中的位置转换为在六轴协作机械臂基准坐标系下的位姿；

步骤7：使用计算机旋转拾取装置，计算出六轴协作机械臂运行位姿；并控制六轴协作机械臂及拾取装置运行到计算出的位姿，将异物吸取至收纳袋中。

2.根据权利要求1所述的方法，其特征在于，步骤5中所述手眼标定法具体为：

步骤501：将基准坐标系用base表示，六轴协作机械臂末端坐标系用end表示，工业相机坐标系用cam表示，标定物坐标系用cal表示，吸嘴坐标系用tool表示；

步骤502：将六轴协作机械臂末端坐标系到基准坐标系的转换关系用^baseH_end表示；

步骤503：工业相机坐标系到六轴协作机械臂坐标末端系的转换关系用^endH_cam表示；

步骤504：标定物坐标系到工业相机坐标系的转换关系作为工业相机外参，由相机标定求出用^camH_cal表示；

步骤505：标定物坐标系到基准坐标系的变换用^baseH_cal表示；

步骤506：坐标系之间的转换关系矩阵满足：

^baseH_cal＝^baseH_end ^endH_cam ^camH_cal；

步骤507：求解出^toolH_cam和^baseH_cal。

3.根据权利要求1所述的方法，其特征在于，步骤6具体为：

步骤601：图像采集时六轴协作机械臂坐标系到基准坐标系的转换关系用^baseH_end(photo)表示；

步骤602：六轴协作机械臂坐标系到基准坐标系的转换关系用^baseH_end(take)表示；

步骤603：工业相机坐标系到六轴协作机械臂坐标系的转换关系用^endH_cam表示；

步骤604：异物坐标系到工业相机坐标系的转换关系用^camH_obj表示，由工业相机图像及外参求出；

步骤605：拾取装置坐标系到六轴协作机械臂末端坐标系的变换用^endH_tool表示；

步骤606：按照：^baseH_obj＝^baseH_end(photo)·^endH_cam·^camH_obj求得异物坐标系到基准坐标系的转换关系^baseH_obj，^toolH_end是^endH_tool的逆，按照^baseH_end(take)＝^baseH_obj·^toolH_end计算得到^baseH_end(take)。

4.根据权利要求1所述的方法，其特征在于，步骤7具体为：

步骤701：设定^endH_tool(R)＝^endH_tool·^toolH_toolR；

步骤702：设定拾取装置的拾取点原始坐标位置为P(X,Y,Z)，拾取装置绕y轴旋转角度θ，旋转后坐标为P′(X′,Y′,Z′)，旋转后的坐标P′(X′,Y′,Z′)与原始坐标P(X,Y,Z)之间关系为：

X′＝Zsinθ

Y′＝Y

Z′＝Zcosθ，

所以^toolH_toolR为：

求解得：可旋转拾取装置异物拾取坐标转换关系为：

^baseH_end(take)＝^baseH_end(photo)·^endH_cam·^camH_obj·[^endH_tool·^toolH_toolR]^-1。

5.根据权利要求1所述的方法，其特征在于，所述拾取装置(4)包括工业相机(401)、舵机(402)、舵机支架(404)、安装支架(405)、吸嘴(406)，所述舵机(402)通过安装支架(405)分别与工业相机(401)和吸嘴(406)连接，所述舵机(402)与舵机固定架(404)连接。

6.根据权利要求1所述的方法，其特征在于，所述计算机(6)包括图像处理算法模块、第一坐标系转换模块、第二坐标系转换模块、传感器模块和控制模块。

7.一种管道内机械臂异物检测拾取系统，其特征在于，包括：

图像处理算法模块：确定异物在图像中的位置；

传感器模块：确定基准坐标系；

第一坐标系转换模块：确定像素坐标系和六轴协作机械臂坐标系的坐标转换关系：将基准坐标系用base表示，六轴协作机械臂末端坐标系用end表示，工业相机坐标系用cam表示，标定物坐标系用cal表示，吸嘴坐标系用tool表示；将六轴协作机械臂末端坐标系到基准坐标系的转换关系用^baseH_end表示；工业相机坐标系到六轴协作机械臂坐标末端系的转换关系用^endH_cam表示；标定物坐标系到工业相机坐标系的转换关系作为工业相机外参，可以由相机标定求出用^camH_cal表示；标定物坐标系到基准坐标系的变换用^baseH_cal表示；坐标系之间的转换关系矩阵满足：^baseH_cal＝^baseH_end ^endH_cam ^camH_cal；求解出^toolH_cam和^baseH_cal；

第二坐标系转换模块：将异物在图像中的位置转换为在六轴协作机械臂基准坐标系下的位姿：图像采集时六轴协作机械臂坐标系到基准坐标系的转换关系用^baseH_end(photo)表示；六轴协作机械臂坐标系到基准坐标系的转换关系用^baseH_end(take)表示；工业相机坐标系到六轴协作机械臂坐标系的转换关系用^endH_cam表示；异物坐标系到工业相机坐标系的转换关系用^camH_obj表示，由工业相机图像及外参求出；拾取装置坐标系到六轴协作机械臂末端坐标系的变换用^endH_tool表示；按照：^baseH_obj＝^baseH_end(photo)·^endH_cam·^camH_obj求得异物坐标系到基准坐标系的转换关系^baseH_obj，^toolH_end是^endH_tool的逆，^baseH_end(take)＝^baseH_obj·^toolH_end计算得到^baseH_end(take)；

控制模块：控制六轴协作机械臂及拾取装置运行到计算出的位姿：设定^endH_tool(R)＝^endH_tool·^toolH_toolR；设定拾取装置的拾取点原始坐标位置为P(X,Y,Z)，拾取装置绕y轴旋转角度θ，旋转后坐标为P′(X′,Y′,Z′)，旋转后的坐标P′(X′,Y′,Z′)与原始坐标P(X,Y,Z)之间关系为：

X′＝Zsinθ

Y′＝Y

Z′＝Zcosθ，

所以^toolH_toolR为：

求解得：可旋转拾取装置异物拾取坐标转换关系为：

^baseH_end(take)＝^baseH_end(photo)·^endH_cam·^camH_obj·[^endH_tool·^toolH_toolR]^-1。

8.一种管道内机械臂异物检测拾取装置，其特征在于，包括检测车(2)、六轴协作机械臂(3)、拾取装置(4)和计算机(6)，所述拾取装置(4)包括工业相机(401)、舵机(402)、舵机固定架(404)、安装支架(405)、吸嘴(406)，所述检测车(2)上表面与六轴协作机械臂(3)一端连接，拾取装置(4)通过舵机固定架(404)与六轴协作机械臂(3)另一端连接，所述计算机(6)位于检测车(2)侧面，所述舵机(402)通过安装支架(405)分别与工业相机(401)和吸嘴(406)连接，所述舵机(402)与舵机固定架(404)连接。

9.根据权利要求8所述的装置，其特征在于，所述计算机(6)包括图像处理算法模块、传感器模块、第一坐标系转换模块、第二坐标系转换模块、控制模块。

10.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1-6任一所述方法的计算机程序。

Images