CN114434123A - 一种空中线夹的机械臂定位拆卸方法、装置及存储介质 - Google Patents

一种空中线夹的机械臂定位拆卸方法、装置及存储介质 Download PDF

Info

Publication number
CN114434123A
CN114434123A CN202210172670.6A CN202210172670A CN114434123A CN 114434123 A CN114434123 A CN 114434123A CN 202210172670 A CN202210172670 A CN 202210172670A CN 114434123 A CN114434123 A CN 114434123A
Authority
CN
China
Prior art keywords
target
wire clamp
image
calculating
mechanical arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210172670.6A
Other languages
English (en)
Other versions
CN114434123B (zh
Inventor
王松
陈张
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yijiahe Technology Co Ltd
Original Assignee
Yijiahe Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yijiahe Technology Co Ltd filed Critical Yijiahe Technology Co Ltd
Priority to CN202210172670.6A priority Critical patent/CN114434123B/zh
Publication of CN114434123A publication Critical patent/CN114434123A/zh
Application granted granted Critical
Publication of CN114434123B publication Critical patent/CN114434123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种空中线夹的机械臂定位拆卸方法、装置及存储介质，其通过3D建模粗定位线夹所在位置，然后采集靶标盘的灰度图像和点云数据，然后计算获得靶标中心和靶标边缘像素对应的三维坐标，并计算靶标绕靶标盘的法向量的旋转角度，获得靶标的位置和姿态，进一步计算出线夹插孔的位置和姿态，并将其坐标从相机坐标系转换到机器人坐标系，控制机器人手臂末端携带工具插入线夹插孔，进入线夹的拆线流程。本发明能够有效指导手臂操作工具插入线夹插孔进行操作，识别精度高，能够满足工具插入线夹的冗余量，成功指导机器人拆卸线夹，缩短空中线夹拆卸作业的用时。

Description

一种空中线夹的机械臂定位拆卸方法、装置及存储介质
技术领域
本发明涉及机械设备技术领域，尤其涉及一种空中线夹的机械臂定位拆卸方法、装置及存储介质。
背景技术
目前在基于感知定位信息进行控制操作的方法，主要应用在机械狗和自动驾驶的领域。自动驾驶的感知范围从几米到几百米，距离远跨度大，但是感知精度无法达到厘米级，不能够满足国网作业对线缆进行操作时的要求精度。机械狗的感知精度较高，但是机械狗的感知主要是建立在基于地面的环境结构上，而带电作业主要是在高空中进行，空中的线缆没有地面作为参考系，所以难以满足带电拆卸任务的需求。
为了能够满足在空中实现厘米级精度的感知定位，并进行控制操作，需要研发一种能够实现旁路拆卸任务的方法，来实现机器人完成带电旁路拆卸任务。
发明内容
技术目的：针对上述技术问题，本发明公开了一种基于立体视觉定位的机械臂拆卸工具方法，其通过立体视觉传感器定位到旁路线夹上靶标的坐标和姿态，利用靶标和线夹机构的固定关系，使机器人获得线夹上插孔的精确位置和方向，再通过运动规划算法控制机械臂将手臂末端工具插入线夹上的插孔进行解锁，完成线夹的拆卸任务。
技术方案：为实现上述技术目的，本发明采用了如下技术方案：
一种空中线夹的机械臂定位拆卸方法，其特征在于，包括如下步骤：
在线夹的上方设置靶标盘，建立线夹和靶标盘之间位置关系的3D模型；
采集靶标盘的灰度图像和点云数据；
在相机坐标系下，基于所述灰度图像和点云数据，采用多尺度模板匹配算法，计算靶标中心点的三维坐标，采用平面拟合算法，计算靶标盘的法向量；
基于所述灰度图像和点云数据，采用边缘检测算法，计算靶标盘边缘的三维坐标集合；采用直线拟合算法，计算靶标盘边缘的方向向量，进一步计算靶标绕靶标盘的法向量的旋转角度；
通过所述靶标盘的法向量和所述旋转角度，获得靶标盘的位置和姿态，结合所述3D模型，计算线夹的插孔位置和姿态；
将线夹的插孔位置和姿态信息从坐标从相机坐标系转换到机器人坐标；
机械臂末端携带拆卸工具插入线夹的插孔，执行线夹的拆卸操作。
优选地，所述机械臂上安装相机，相机朝向线夹的方向进行拍照，采集灰度图像和点云数据。
优选地，所述靶标盘设置为圆形靶标。
优选地，计算靶标中心点的三维坐标和靶标盘的法向量，具体包括步骤：
在配置文件中存储靶标盘的模板图像；
将采集到的靶标盘的灰度图像作为目标图像；
采用边缘检测分别提取模板图像和目标图像对应的轮廓图像，且将两个轮廓图像做卷积，得到一个卷积矩阵；
提取卷积矩阵中的最大值，最大值所在像素即为目标图像上的靶标中心像素；
以靶标中心像素作为目标点，靶标盘作为目标板，获取目标点附近点云，进行平面拟合，获取目标板的法向量，即为靶标盘的法向量。
优选地，所述模板图像和目标图像的轮廓分别记为T(m,n)和S(i,j)，所述卷积矩阵记为D(i+m,j+n)，计算公式为：
Figure BDA0003519021650000021
其中，函数f()采用方差公式或相关系数公式中的任一种，i表示目标图像第i行像素，j表示目标图像第j列像素，m表示模板图像第m行像素，n表示模板图像第n列像素，M表示模板图像行数，N表示模板图像列数。
优选地，判断卷积矩阵中的最大值是否收敛：
如果收敛，则获取最大值所在像素即为目标图像上的靶标中心像素；
如果不收敛，则对模板图像进行缩放，获得k个D(i+m,j+n)矩阵，选择矩阵Dk(i+m,j+n)中最大的值，即为拍摄的目标图像上的靶标中心像素。
优选地，在目标图像对应的轮廓图像中，行检索灰度值大于100的列坐标最小的像素，并通过点云找到对应像素的三维坐标，获得三维坐标集合pts；
使用RANSAC方法，拟合三维坐标集合pts，排列成空间直线ledg；
计算ledg和y轴分别投影在靶标平面上的两条直线的夹角，即为靶标绕靶标法向量的旋转角度。
优选地，获取了靶标的坐标和姿态，将其写成4x4的矩阵TargetMatrix4x4,再基于线夹的固定结构，将TargetMatrix进行旋转平移，获得线夹插口的坐标和姿态InterMatrix4x4，再将此矩阵从相机坐标系转换到机器人坐标系下，即左乘转换矩阵CameraToArmMatrix4x4，获得机器人坐标系下线夹插孔位置和姿态，引导机械臂操作工具插入线夹插孔。
一种空中线夹的机械臂定位拆卸装置，其特征在于，包括：
3D建模模块，用于建立旁路线夹和靶标盘之间位置关系的3D模型，所述靶标盘设置在线夹的外侧；
图像和点云数据采集模块，用于采集靶标盘的灰度图像和点云数据；
第一计算模块，用于在相机坐标系下，基于所述灰度图像和点云数据，采用多尺度模板匹配算法，计算靶标中心点的三维坐标，采用平面拟合算法，计算靶标盘的法向量；
第二计算模块，用于基于所述灰度图像和点云数据，采用边缘检测算法，计算靶标盘边缘的三维坐标集合；采用直线拟合算法，计算靶标盘边缘的方向向量，进一步计算靶标绕靶标盘法的向量的旋转角度；
第三计算模块，用于通过所述靶标盘的法向量和所述旋转角度，获得靶标平面的位置和姿态，结合所述3D模型，计算线夹的插孔位置和姿态；
坐标转换模块，用于将线夹的插孔位置和姿态信息从坐标从相机坐标系转换到机器人坐标；
机械臂控制模块，用于控制机械臂末端携带拆卸工具插入线夹的插孔，执行线夹的拆卸操作。
一种存储介质，其特征在于：所述存储介质存储有至少一个可被处理器执行的指令，其中至少一个指令被处理器执行时，用于执行所述方法。
有益效果：与现有技术相比，本发明具有如下技术效果：
本发明将目标在三维空间中的位置和姿态问题，拆分成了二维旋转问题和三维定位问题两个部分进行处理，能够有效指导手臂操作工具插入线夹插孔进行操作，识别精度达到1cm，能够满足工具插入线夹的冗余量，并成功指导机器人拆卸线夹，缩短了单次拆卸任务的用时，算法具有旋转不变性和较好的缩放鲁棒性等。
附图说明
图1为空中线夹的机械臂定位拆卸方法的流程图；
图2为本发明图为计算靶标中心点和法向量的算法流程图；
图3为计算靶标绕法线旋转角度的算法流程图；
图4为靶标盘边缘的直线和正y方向在靶标平面上投影直线的夹角的示意图。
具体实施方式
实施例1
本实施例提供一种空中线夹的机械臂定位拆卸方法，包括如下步骤：
在线夹的上方设置靶标盘，建立旁路线夹和靶标盘之间位置关系的3D模型；
采集靶标盘的灰度图像和点云数据；
在相机坐标系下，基于所述灰度图像和点云数据，采用多尺度模板匹配算法，计算靶标中心点的三维坐标，采用平面拟合算法，计算靶标盘的法向量；
基于所述灰度图像和点云数据，采用边缘检测算法，计算靶标盘边缘的三维坐标集合；采用直线拟合算法，计算靶标盘边缘的方向向量，进一步计算靶标绕靶标盘的法向量的旋转角度；
通过所述靶标盘的法向量和所述旋转角度，获得靶标盘的位置和姿态，结合所述3D模型，计算线夹的插孔位置和姿态；
将线夹的插孔位置和姿态信息从坐标从相机坐标系转换到机器人坐标；
机械臂末端携带拆卸工具插入线夹的插孔，执行线夹的拆卸操作。
具体地，可以机械臂上安装相机，相机朝向线夹的方向进行拍照，用于采集灰度图像和点云数据。
具体地，计算靶标中心点的三维坐标和靶标盘的法向量，包括步骤：
在配置文件中存储靶标盘的模板图像；
将采集到的靶标盘的灰度图像作为目标图像；
采用边缘检测分别提取模板图像和目标图像对应的轮廓图像，且将两个轮廓图像做卷积，得到一个卷积矩阵；模板图像和目标图像的轮廓分别记为T(m,n)和S(i,j)，所述卷积矩阵记为D(i+m,j+n)，计算公式为：
Figure BDA0003519021650000041
其中，函数f()采用方差公式或相关系数公式中的任一种；i表示目标图像第i行像素，j表示目标图像第j列像素，m表示模板图像第m行像素，n表示模板图像第n列像素，M表示模板图像行数，N表示模板图像列数；
提取卷积矩阵中的最大值，判断卷积矩阵中的最大值是否收敛：
如果收敛，则获取最大值所在像素即为目标图像上的靶标中心像素；
如果不收敛，则对模板图像进行缩放，获得k个D(i+m,j+n)矩阵，选择矩阵Dk(i+m,j+n)中最大的值，即为拍摄的目标图像上的靶标中心像素；
以靶标中心像素作为目标点，靶标盘作为目标板，获取目标点附近点云，进行平面拟合，获取目标板的法向量，即为靶标盘的法向量。
具体地，目标图像对应的轮廓图像中，行检索灰度值大于100的列坐标最小的像素，并通过点云找到对应像素的三维坐标，获得三维坐标集合pts；
使用RANSAC方法，拟合三维坐标集合pts，排列成空间直线ledg；
计算ledg和y轴分别投影在靶标平面上的两条直线的夹角，即为靶标绕靶标法向量的旋转角度。
获取了靶标盘的坐标和姿态之后，将其写成4x4的目标矩阵TargetMatrix4x4，再基于线夹的固定结构，将TargetMatrix进行旋转平移，获得线夹插口的坐标和姿态的中间矩阵InterMatrix4x4，再将中间矩阵从相机坐标系转换到机器人坐标系下，即左乘转换矩阵CameraToArmMatrix4x4，获得机器人坐标系下线夹插孔位置和姿态，引导机械臂操作工具插入线夹插孔。
实施例2
如图1至图3所示，本实施例提供一种基于立体视觉定位的机械臂拆卸工具方法，包括如下步骤：
步骤一：通过3D建模粗定位线夹所在位置，然后控制机器人手臂运动，将机器人手臂上的立体视觉相机朝向线夹的方向进行拍照，采集灰度图像和点云数据。3D建模是机器人上使用激光雷达设备，对外部环境进行的整体建模步骤，通过多帧激光雷达返回的点云的拼接，重建出外部环境的整体点云模型。3D建模的目的是通过点云分析，获得具体的电缆作业位置，从而调整机器人的位置进行操作任务。
步骤二：通过多尺度模板匹配算法，获得灰度图像中靶标中心的像素坐标，根据立体视觉的点云数据，找到靶标对应的三维坐标，即靶标的中心位置。再根据靶标中心附近5cm范围内的点云做平面拟合，获得靶标盘的法向量。
步骤三：通过边缘检测获得灰度图像中靶标盘边缘的像素，同样通过点云数据获得靶标盘边缘对应像素的三维坐标，再使用RANSAC方法计算靶标盘边缘的三维直线方向向量，计算靶标盘边缘的直线和正y方向在靶标平面上两个投影直线的夹角，如图4所示，通过该夹角和靶标法向量，既可以获得靶标平面的姿态。
RANSAC方法是采用迭代的方式从一组包含离群的被观测数据中估算出数学模型的参数，随机选取样本的子集计算模型参数，通过不断迭代，找到与样本误差总和最小的模型参数。
步骤四：通过靶标的位置和姿态计算出线夹插孔的位置和姿态，并将其坐标从相机坐标系转换到机器人坐标系，送到机器人手臂控制单元。
步骤五：机器人手臂末端携带工具插入线夹插孔即线夹的喇叭口，进入线夹的拆线流程。
具体地，在处理模板匹配算法中的旋转不变性问题，设计圆环形靶标，使得相机拍摄时即使有一定角度的旋转，也不会影响模板匹配的效果。
具体地，在解决靶标定位的问题上，采用多尺度模板匹配的方法。首先在配置文件中保存一张靶标的模板图像，在进行任务时拍摄一张目标图像，通过边缘检测提取模板图像和目标图像的轮廓，分别为T(m,n)和S(i,j)，将T(m,n)和S(i,j)以函数f()的形式做卷积，获得矩阵D(i+m,j+n)，计算公式为：
Figure BDA0003519021650000061
其中函数f()可以选择为方差公式、相关系数公式等等。i表示目标图像第i行像素，j表示目标图像第j列先估算，m表示模板图像第m行像素，n表示模板图像第n列像素，M表示模板图像行数，N表示模板图像列数。
再对模板图像进行一定比例的缩放，获得k个D(i+m,j+n)矩阵，选择矩阵Dk(i+m,j+n)中最大的值，即为拍摄的目标图像上的靶标中心像素。通过立体视觉传感器找到对应的三维空间坐标，即为靶标中心的三维坐标。通过像素找到对应的点云，其对应的坐标即为靶标中心的三维坐标。以此坐标为中心，获取周围范围内的点云做平面拟合，获得靶标法向量。
在解决靶标绕法向量旋转角度确定的问题上，采用边缘检测及直线拟合的方法。在靶标定位的步骤中已经获取了目标图像的轮廓以及靶标中心，以靶标中心为起点，预设的一定范围内，在轮廓图像中行检索灰度值大于100的列坐标最小的像素，并通过点云找到对应像素的三维坐标，获得三维坐标集合pts。使用RANSAC方法，拟合pts排列成的空间直线ledg，再计算ledg和y轴分别投影在靶标平面上的两条直线的夹角，即为靶标绕靶标法向量的旋转角度。
获取了靶标盘的坐标和姿态，将其写成4x4的矩阵TargetMatrix4x4,再基于线夹的固定结构，将TargetMatrix进行旋转平移，获得线夹插口的坐标和姿态InterMatrix4x4，再将此矩阵从相机坐标系转换到机器人坐标系下，即左乘转换矩阵CameraToArmMatrix4x4，获得机器人坐标系下线夹插孔位置和姿态，引导机械臂操作工具插入线夹插孔。
实施例3
本实施例公开一种空中线夹的机械臂定位拆卸装置，包括：
3D建模模块，用于建立旁路线夹和靶标盘之间位置关系的3D模型，所述靶标盘设置在线夹的外侧；
图像和点云数据采集模块，用于采集靶标盘的灰度图像和点云数据；
第一计算模块，用于在相机坐标系下，基于所述灰度图像和点云数据，采用多尺度模板匹配算法，计算靶标中心点的三维坐标，采用平面拟合算法，计算靶标盘的法向量；
第二计算模块，用于基于所述灰度图像和点云数据，采用边缘检测算法，计算靶标盘边缘的三维坐标集合；采用直线拟合算法，计算靶标盘边缘的方向向量，进一步计算靶标绕靶标盘法的向量的旋转角度；
第三计算模块，用于通过所述靶标盘的法向量和所述旋转角度，获得靶标平面的位置和姿态，结合所述3D模型，计算线夹的插孔位置和姿态；
坐标转换模块，用于将线夹的插孔位置和姿态信息从坐标从相机坐标系转换到机器人坐标；
机械臂控制模块，用于控制机械臂末端携带拆卸工具插入线夹的插孔，执行线夹的拆卸操作。
在本发明的又一实施例中，公开一种计算机可读存储介质，所述计算机可读存储介质存储有至少一个可被处理器执行的指令，其中至少一个指令被处理器执行时，用于执行上述任一种方法。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种空中线夹的机械臂定位拆卸方法，其特征在于，包括如下步骤：
在线夹的上方设置靶标盘，建立线夹和靶标盘之间位置关系的3D模型；
采集靶标盘的灰度图像和点云数据；
在相机坐标系下，基于所述灰度图像和点云数据，采用多尺度模板匹配算法，计算靶标中心点的三维坐标，采用平面拟合算法，计算靶标盘的法向量；
基于所述灰度图像和点云数据，采用边缘检测算法，计算靶标盘边缘的三维坐标集合；采用直线拟合算法，计算靶标盘边缘的方向向量，进一步计算靶标绕靶标盘的法向量的旋转角度；
通过所述靶标盘的法向量和所述旋转角度，获得靶标盘的位置和姿态，结合所述3D模型，计算线夹的插孔位置和姿态；
将线夹的插孔位置和姿态信息从坐标从相机坐标系转换到机器人坐标；
机械臂末端携带拆卸工具插入线夹的插孔，执行线夹的拆卸操作。
2.根据权利要求1所述的一种空中线夹的机械臂定位拆卸方法，其特征在于：所述机械臂上安装相机，相机朝向线夹的方向进行拍照，采集灰度图像和点云数据。
3.根据权利要求1所述的一种空中线夹的机械臂定位拆卸方法，其特征在于：所述靶标盘设置为圆形靶标。
4.根据权利要求1所述的一种空中线夹的机械臂定位拆卸方法，其特征在于：计算靶标中心点的三维坐标和靶标盘的法向量，具体包括步骤：
在配置文件中存储靶标盘的模板图像；
将采集到的靶标盘的灰度图像作为目标图像；
采用边缘检测分别提取模板图像和目标图像对应的轮廓图像，且将两个轮廓图像做卷积，得到一个卷积矩阵；
提取卷积矩阵中的最大值，最大值所在像素即为目标图像上的靶标中心像素；
以靶标中心像素作为目标点，靶标盘作为目标板，获取目标点附近点云，进行平面拟合，获取目标板的法向量，即为靶标盘的法向量。
5.根据权利要求4所述的一种空中线夹的机械臂定位拆卸方法，其特征在于：所述模板图像和目标图像的轮廓分别记为T(m,n)和S(i,j)，所述卷积矩阵记为D(i+m,j+n)，计算公式为：
Figure FDA0003519021640000021
其中，函数f()采用方差公式或相关系数公式中的任一种；i表示目标图像第i行像素，j表示目标图像第j列像素，m表示模板图像第m行像素，n表示模板图像第n列像素，M表示模板图像行数，N表示模板图像列数。
6.根据权利要求5所述的一种空中线夹的机械臂定位拆卸方法，其特征在于：判断卷积矩阵中的最大值是否收敛：
如果收敛，则获取最大值所在像素即为目标图像上的靶标中心像素；
如果不收敛，则对模板图像进行缩放，获得k个D(i+m,j+n)矩阵，选择矩阵Dk(i+m,j+n)中最大的值，即为拍摄的目标图像上的靶标中心像素。
7.根据权利要求4所述的一种空中线夹的机械臂定位拆卸方法，其特征在于：在目标图像对应的轮廓图像中，行检索灰度值大于100的列坐标最小的像素，并通过点云找到对应像素的三维坐标，获得三维坐标集合pts；
使用RANSAC方法，拟合三维坐标集合pts，排列成空间直线ledg；
计算ledg和y轴分别投影在靶标平面上的两条直线的夹角，即为靶标绕靶标法向量的旋转角度。
8.根据权利要求7所述的一种空中线夹的机械臂定位拆卸方法，其特征在于：获取了靶标盘的坐标和姿态，将其写成4x4的目标矩阵TargetMatrix4x4，再基于线夹的固定结构，将TargetMatrix进行旋转平移，获得线夹插口的坐标和姿态的中间矩阵InterMatrix4x4，再将中间矩阵从相机坐标系转换到机器人坐标系下，即左乘转换矩阵CameraToArmMatrix4x4，获得机器人坐标系下线夹插孔位置和姿态，引导机械臂操作工具插入线夹插孔。
9.一种空中线夹的机械臂定位拆卸装置，其特征在于，包括：
3D建模模块，用于建立旁路线夹和靶标盘之间位置关系的3D模型，所述靶标盘设置在线夹的外侧；
图像和点云数据采集模块，用于采集靶标盘的灰度图像和点云数据；
第一计算模块，用于在相机坐标系下，基于所述灰度图像和点云数据，采用多尺度模板匹配算法，计算靶标中心点的三维坐标，采用平面拟合算法，计算靶标盘的法向量；
第二计算模块，用于基于所述灰度图像和点云数据，采用边缘检测算法，计算靶标盘边缘的三维坐标集合；采用直线拟合算法，计算靶标盘边缘的方向向量，进一步计算靶标绕靶标盘法的向量的旋转角度；
第三计算模块，用于通过所述靶标盘的法向量和所述旋转角度，获得靶标平面的位置和姿态，结合所述3D模型，计算线夹的插孔位置和姿态；
坐标转换模块，用于将线夹的插孔位置和姿态信息从坐标从相机坐标系转换到机器人坐标；
机械臂控制模块，用于控制机械臂末端携带拆卸工具插入线夹的插孔，执行线夹的拆卸操作。
10.一种存储介质，其特征在于：所述存储介质存储有至少一个可被处理器执行的指令，其中至少一个指令被处理器执行时，用于执行如权利要求1至8中任一所述方法。
CN202210172670.6A 2022-02-24 2022-02-24 一种空中线夹的机械臂定位拆卸方法、装置及存储介质 Active CN114434123B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210172670.6A CN114434123B (zh) 2022-02-24 2022-02-24 一种空中线夹的机械臂定位拆卸方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210172670.6A CN114434123B (zh) 2022-02-24 2022-02-24 一种空中线夹的机械臂定位拆卸方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN114434123A true CN114434123A (zh) 2022-05-06
CN114434123B CN114434123B (zh) 2022-11-01

Family

ID=81374013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210172670.6A Active CN114434123B (zh) 2022-02-24 2022-02-24 一种空中线夹的机械臂定位拆卸方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114434123B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114986515A (zh) * 2022-07-04 2022-09-02 中国科学院沈阳自动化研究所 一种位姿解耦的绝缘子更换机器人动态装配方法
CN115922404A (zh) * 2023-01-28 2023-04-07 中冶赛迪技术研究中心有限公司 一种拆卸方法、系统、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05218696A (ja) * 1992-01-31 1993-08-27 Matsushita Electric Ind Co Ltd 部品実装機における装着位置制御方法
JPH1142579A (ja) * 1997-07-30 1999-02-16 Nippon Telegr & Teleph Corp <Ntt> 位置決め位置オフセット補正方法及び装置
JP2011253300A (ja) * 2010-06-01 2011-12-15 Daihen Corp ロボット制御システム
CN102649225A (zh) * 2012-03-31 2012-08-29 山东电力研究院 高压带电作业机器人专用声控螺帽破除工具
CN105666478A (zh) * 2016-04-15 2016-06-15 东莞理工学院 一种核辐射环境下的关节式机械臂快速拆装系统
CN108346165A (zh) * 2018-01-30 2018-07-31 深圳市易尚展示股份有限公司 机器人与三维传感组件联合标定方法与装置
CN108858187A (zh) * 2018-06-01 2018-11-23 南京理工大学 一种带电接搭引流线作业现场的快速重构方法
CN108942918A (zh) * 2018-05-21 2018-12-07 沈阳建筑大学 一种基于线结构光的立体定位方法
CN111452029A (zh) * 2020-04-14 2020-07-28 山东乐普韦尔自动化技术有限公司 一种带电作业机器人控制系统及带电作业机器人

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5218696B2 (ja) * 2010-03-08 2013-06-26 トヨタ自動車株式会社 内燃機関の燃料噴射装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05218696A (ja) * 1992-01-31 1993-08-27 Matsushita Electric Ind Co Ltd 部品実装機における装着位置制御方法
JPH1142579A (ja) * 1997-07-30 1999-02-16 Nippon Telegr & Teleph Corp <Ntt> 位置決め位置オフセット補正方法及び装置
JP2011253300A (ja) * 2010-06-01 2011-12-15 Daihen Corp ロボット制御システム
CN102649225A (zh) * 2012-03-31 2012-08-29 山东电力研究院 高压带电作业机器人专用声控螺帽破除工具
CN105666478A (zh) * 2016-04-15 2016-06-15 东莞理工学院 一种核辐射环境下的关节式机械臂快速拆装系统
CN108346165A (zh) * 2018-01-30 2018-07-31 深圳市易尚展示股份有限公司 机器人与三维传感组件联合标定方法与装置
CN108942918A (zh) * 2018-05-21 2018-12-07 沈阳建筑大学 一种基于线结构光的立体定位方法
CN108858187A (zh) * 2018-06-01 2018-11-23 南京理工大学 一种带电接搭引流线作业现场的快速重构方法
CN111452029A (zh) * 2020-04-14 2020-07-28 山东乐普韦尔自动化技术有限公司 一种带电作业机器人控制系统及带电作业机器人

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
汤鹏: "变电站巡检机器人视觉导航技术的研究", 《工程科技Ⅱ辑》 *
程立: "架空高压输电线路巡线机器人视觉检障定位的研究", 《工程科技Ⅱ辑》 *
谭利华: "激光跟踪与机器人测试技术分析", 《电子技术》 *
陈宗海: "《系统仿真技术及其应用 第9卷》", 31 August 2007 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114986515A (zh) * 2022-07-04 2022-09-02 中国科学院沈阳自动化研究所 一种位姿解耦的绝缘子更换机器人动态装配方法
CN115922404A (zh) * 2023-01-28 2023-04-07 中冶赛迪技术研究中心有限公司 一种拆卸方法、系统、电子设备及存储介质
CN115922404B (zh) * 2023-01-28 2024-04-12 中冶赛迪技术研究中心有限公司 一种拆卸方法、系统、电子设备及存储介质

Also Published As

Publication number Publication date
CN114434123B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN112476434B (zh) 一种基于协作机器人的视觉3d取放方法及系统
CN110312912B (zh) 车辆自动停车系统和方法
CN114434123B (zh) 一种空中线夹的机械臂定位拆卸方法、装置及存储介质
US20210027490A1 (en) Apparatus for Determining an Angle of a Trailer Attached to A Vehicle
US8265425B2 (en) Rectangular table detection using hybrid RGB and depth camera sensors
US7283661B2 (en) Image processing apparatus
Prankl et al. RGB-D object modelling for object recognition and tracking
US20100172571A1 (en) Robot and control method thereof
US11874133B2 (en) Mapping an environment using a state of a robotic device
Fiala et al. Visual odometry using 3-dimensional video input
WO2024087962A1 (zh) 车厢姿态识别系统、方法、电子设备及存储介质
WO2022228391A1 (zh) 一种终端设备定位方法及其相关设备
CN114952856A (zh) 机械臂手眼标定方法、系统、计算机及可读存储介质
CN114536292A (zh) 基于复合标识的误差检测方法及机器人系统
CN115629066A (zh) 一种基于视觉引导的面向自动配线的方法及装置
JP2004030445A (ja) 移動ロボットの自己位置推定方法及びシステム、並びにプログラム
JP6922348B2 (ja) 情報処理装置、方法、及びプログラム
CN116766194A (zh) 基于双目视觉的盘类工件定位与抓取系统和方法
CN114523471A (zh) 基于关联标识的误差检测方法及机器人系统
CN109062220B (zh) 控制终端运动的方法和装置
JP2022551885A (ja) 物体の把持点の三次元位置、ローカル参照フレーム及び把持パターンを求める方法及びシステム
Nowak et al. Vision-based positioning of electric buses for assisted docking to charging stations
Gu et al. Automated assembly skill acquisition through human demonstration
CN113776540B (zh) 基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法
CN115700507B (zh) 地图更新方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant