CN110900581A - 基于RealSense相机的四自由度机械臂视觉伺服控制方法及装置 - Google Patents

基于RealSense相机的四自由度机械臂视觉伺服控制方法及装置 Download PDF

Info

Publication number
CN110900581A
CN110900581A CN201911372308.8A CN201911372308A CN110900581A CN 110900581 A CN110900581 A CN 110900581A CN 201911372308 A CN201911372308 A CN 201911372308A CN 110900581 A CN110900581 A CN 110900581A
Authority
CN
China
Prior art keywords
mechanical arm
camera
target object
coordinate system
realsense
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911372308.8A
Other languages
English (en)
Other versions
CN110900581B (zh
Inventor
陈彦杰
赖宁斌
梁嘉诚
何炳蔚
林立雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201911372308.8A priority Critical patent/CN110900581B/zh
Publication of CN110900581A publication Critical patent/CN110900581A/zh
Application granted granted Critical
Publication of CN110900581B publication Critical patent/CN110900581B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0081—Programme-controlled manipulators with master teach-in means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/0019—End effectors other than grippers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/02—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • B25J9/023—Cartesian coordinate type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种基于RealSense相机的四自由度机械臂视觉伺服控制方法，包括以下步骤：步骤S1:根据RealSense相机获取目标物的图像与深度信息；步骤S2:识别在相机坐标系下的目标物的位置信息和姿态信息，并将位置信息和姿态信息根据相机外参数转换为机械臂基坐标系下的位姿信息；步骤S3:求出机械臂末端姿态欧拉角以及根据机器人逆运动学求出机械臂每个关节旋转角度;步骤S4:根据机械臂初始关节角度，计算出机械臂到达特征期望点每个关节需要的转角偏差,并对转角偏差进行线性拟合，并将其转化为控制信号传递给机械臂控制器，驱动机械臂完成抓取目标物任务。本发明可以快速、稳定的抓取特定的物体，装备机构简单，生产成本低，抓取自动化程度高。

Description

基于RealSense相机的四自由度机械臂视觉伺服控制方法及 装置
技术领域
本发明涉及机械臂抓取控制技术领域，具体涉及一种基于RealSense相机的四自由度机械臂视觉伺服控制方法及装置。
背景技术
随着机器人研究和技术开发在不断进步发展，机器视觉在机器人领域中已广泛的运用。机械臂是机器人领域的重要组成部分，在工业领域，最初机械臂只能根据预先设置的示教路线去抓取位置和方向己知的物体，后来随着机器视觉的发展，机械臂拥有了和人类一样感知外界环境的能力，这样的机械臂已经不止能实现简单的抓取任务，还可以根据用户需求智能的执行抓取任务。充分利用了机械臂优势和视觉传感器特长结合，能够准确区分和识别目标物，精准完成对目标物的抓取，具有重要的现实意义和研究价值。因此，随着机器人技术、计算机技术和摄像设备的飞速发展，机器人视觉伺服引起了各个领域学者与工程师的广泛关注，在工业分拣、医疗辅助、自动装配等领域具有重要的应用价值。
发明内容
有鉴于此，本发明的目的在于提供一种使用方便、快速、稳定的基于RealSense相机的四自由度机械臂视觉伺服控制方法及装置
为实现上述目的，本发明采用如下技术方案：
一种基于RealSense相机的四自由度机械臂视觉伺服控制方法，包括以下步骤：
步骤S1:根据RealSense相机获取目标物的图像与深度信息；
步骤S2:根据得到的图像与深度信息，识别在相机坐标系下的目标物的位置信息和姿态信息，并将位置信息和姿态信息根据相机外参数转换为机械臂基坐标系下的位姿信息；
步骤S3:根据机械臂基坐标系下的位置和姿态信息，求出机械臂末端姿态欧拉角以及根据机器人逆运动学求出机械臂每个关节旋转角度；
步骤S4:根据机械臂初始关节角度，计算出机械臂到达特征期望点每个关节需要的转角偏差,并对转角偏差进行线性拟合，并将其转化为控制信号传递给机械臂控制器，驱动机械臂完成抓取目标物任务。
进一步的，所述步骤S2具体为：
步骤S21:将深度信息对齐到图像信息，使得图像信息遍历深度信息，通过获取图像像素坐标便得到特征点在相机坐标系下的三维坐标:(XC,YC,ZC)T；
步骤S22:采用基于特定颜色的算法进行形状为矩形的目标物识别，获取目标物的位置信息；
步骤S23:采用基于OpenCV中solvePnP函数中EPnP算法来获取目标物姿态信息；
步骤S24:将位置信息和姿态信息根据相机外参数转换为机械臂基坐标系下的位置和姿态信息。
进一步的，所述步骤S22具体为：
步骤S221:在OpenCV中，利用cvtColor函数将RGB转换为HSV颜色空间；
步骤S222:利用inRange函数对目标物颜色进行阈值分割，Canny函数进行边缘检测；
步骤S223:利用findContours函数寻找所需轮廓；
步骤S224:根据目标物具有的特定颜色，在提取轮廓特征时，图像中面积最大的轮廓即为目标轮廓；
步骤S225:利用minAreaRect函数进行轮廓拟合，提取矩形中心点作为目标物中心，中心点三维坐标作为目标物的位置信息。
1.根据权利要求3所述的基于RealSense相机的四自由度机械臂视觉伺服控制方法，其特征在于，所述机械臂基坐标系下的位置信息具体为：根据相机在机械臂基座标系下的位姿关系矩阵为w cH，便得到中心点在机械臂坐标系下的三维坐标为：
Figure BDA0002340007310000031
进一步的，所述步骤S23具体为：
步骤S231:设定摄像头的内参矩阵K、n(n≥4)个世界坐标系中的3D参考点坐标、与这n个3D点对应的投影在图像上的2D参考点坐标；
其中摄像头的内参矩阵K，通过直接读取RealSense相机内部参数获取；
步骤S232:对所述的n(n≥4)个世界坐标系中的3D参考点坐标，EPnP算法将世界坐标系中的3D坐标表示为一组虚拟的控制点的加权和，虚拟坐标系建立在目标物的坐标系中，得到特征点的虚拟三维坐标；
步骤S233:对所述的与n个3D点对应的投影在图像上的2D参考点坐标，通过RealSense相机图像视觉技术提取特征点对应的像素坐标；
步骤S234:根据运用EPnP算法得到相机坐标系在虚拟世界世界坐标系下的姿态旋转矢量，利用Rodrigues函数将旋转矢量变为旋转矩阵，对该矩阵求逆，得出目标物体在相机坐标系下的姿态矩阵为
Figure BDA0002340007310000041
根据相机在机械臂基座标系下的位姿关系矩阵为
Figure BDA0002340007310000042
得到目标物在机械臂基座标系下的姿态为
Figure BDA0002340007310000043
Figure BDA0002340007310000044
进一步的，所述步骤S4具体为：
步骤S41:设所述的位姿信息为T:
Figure BDA0002340007310000045
其中，
Figure BDA0002340007310000046
为目标物在机械臂基座标系下的姿态，XW,YW,ZW为目标物在机械臂基座标系下的坐标；
步骤S42:通过位姿信息计算机械臂末端姿态欧拉角:
Figure BDA0002340007310000051
步骤S43:将位姿信息T通过机器人逆运动学：
Figure BDA0002340007310000052
Figure BDA0002340007310000053
其中n、o、a表示旋转参数，p表示平移参数；
步骤S44:转为四自由度机械臂每个关节旋转角度:
Figure BDA0002340007310000054
机械臂到达特征期望点每个关节需要的转角偏差为Δθ：
Figure BDA0002340007310000055
对转角偏差线性拟合，拟合函数为：
Δθ＝20t
其中：t为时间，单位为秒(s)；Δθ单位为度(°)；
步骤S45:将其转化为控制信号传递给机械臂控制器实现抓取任务。
一种基于RealSense相机的四自由度机械臂视觉伺服控制方法的装置，包括四自由度机械臂、机械臂支架、RealSense D435i相机、相机支架；所述四自由度机械臂通过螺栓固定于机械臂支架，RealSense D435i相机与相机支架通过螺钉连接，相机支架通过螺栓固定于机械臂支架，相机支架安装孔与四自由度机械臂安装孔统一安装于机械臂支架安装孔位置。
进一步的，所述RealSense D435i相机安装方式为第一视角的Eye To Hand方式。
本发明与现有技术相比具有以下有益效果：
本发明充分利用了机械臂优势和视觉传感器特长结合，能够准确区分和识别目标物，可以快速、稳定的抓取特定的物体，装备机构简单，生产成本低，自动化程度高，可以广泛运用于工业凌乱零件整理与分拣、无人机机械臂作业等场景，具有广泛的市场前景。
附图说明
图1是本发明的控制流程图；
图2是本发明一实施例中机械臂视觉伺服操作上位机人机界面图；
图3是本发明一实施例中目标物虚拟坐标系与特征点选取示意图；
图4是本发明一实施例中RealSense相机与四自由度机械臂结构图；
图5是本发明一实施例中四自由度机械臂关节角度变化图；
图6是本发明一实施例中四自由度机械臂末端位置变化图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种基于RealSense相机的四自由度机械臂视觉伺服控制方法，包括以下步骤：
步骤S1:根据RealSense相机获取目标物的图像与深度信息；
步骤S2:根据得到的图像与深度信息，识别在相机坐标系下的目标物的位置信息和姿态信息，并将位置信息和姿态信息根据相机外参数转换为机械臂基坐标系下的位姿信息；
步骤S3:根据机械臂基坐标系下的位置和姿态信息，求出机械臂末端姿态欧拉角以及根据机器人逆运动学求出机械臂每个关节旋转角度；
步骤S4:根据机械臂初始关节角度，计算出机械臂到达特征期望点每个关节需要的转角偏差,并对转角偏差进行线性拟合，并将其转化为控制信号传递给机械臂控制器，驱动机械臂完成抓取目标物任务。
参考图2，本实施例中设置有上位机，机械臂视觉伺服操作上位机人机界面图。如图2所示，在界面中包括了：打开相机按钮、关闭相机按钮、三维位姿估计按钮、RGB图像显示窗口、目标物特征识别提取显示窗口。用户操作界面前，首先需要把相机RealSense D435i插入个人电脑USB3.0口；操作时只需点击打开相机按钮，窗口便显示相机RGB图像，观察目标物是否在相机视场内部；接着，只需点击三维位姿估计按钮，程序后台便会进行识别目标物、提取提取、轮廓拟合、提取位置信息、提取姿态信息、位姿关系坐标系转化、姿态关系机器人逆运动学、驱动机械臂抓取目标等这一系列动作。
在本实施例中，特定颜色特征的物体为图2中RGB图像显示窗口的绿色圆柱瓶身。在OpenCV算法识别该目标物中，利用inRange函数对目标物颜色进行阈值分割，Canny函数进行边缘检测，然后在利用findContours函数寻找所需轮廓，根据目标物具有的特定颜色，在提取轮廓特征时，图像中面积最大的轮廓即为目标轮廓，提取目标物特征轮廓，在目标物特征识别提取显示窗口中蓝色轮廓所示。在提取轮廓特征时，存在轮廓信息丢失，利用OpenCV函数minAreaRect进行轮廓拟合，在目标物特征识别提取显示窗口中红色矩形所示，提取矩形中心点作为目标物中心，中心点三维坐标作为目标物的位置信息，在目标物特征识别提取显示窗口中红色圆所示。
参考图3，本实施例中，采用基于OpenCV中solvePnP函数中EPnP算法来估计目标物姿态，运用EPnP算法的前提条件是：摄像头的内参矩阵K、n(n≥4)个世界坐标系中的3D参考点坐标、与这n个3D点对应的投影在图像上的2D参考点坐标；
对所述的摄像头的内参矩阵K，通过直接读取RealSense相机内部参数获取；
对所述的n(n≥4)个世界坐标系中的3D参考点坐标，EPnP算法将世界坐标系中的3D坐标表示为一组虚拟的控制点的加权和，这个虚拟坐标系可以建立在目标物的坐标系中，便得到特征点的虚拟三维坐标。如图4所示，目标物为瓶子，在瓶子圆柱部分建立的目标物虚拟坐标系为o-XYZ，选取瓶身矩形四个顶点1、2、3、4与圆柱瓶身中心点5作为特征点，根据瓶身的几何尺寸，在虚拟坐标系中，便得到特征点的虚拟三维坐标；
对所述的与n个3D点对应的投影在图像上的2D参考点坐标，通过RealSense相机图像视觉技术提取特征点对应的像素坐标。如图3所示，OpenCV中利用minAreaRect函数进行轮廓拟合后返回得到五个特征点的像素坐标后，在EPnP算法中特征点的三维坐标与二维坐标需要一一对应，minAreaRect函数返回的特征点坐标的顺序为离像素坐标系x轴最远距离的那个点为第一特征点，然后按照顺时针的顺序依次为第二特征点到第四特征点，第五特征点为矩形中心；
根据上述，运用EPnP算法得到相机坐标系在虚拟世界世界坐标系下的姿态旋转矢量，利用Rodrigues函数将旋转矢量变为旋转矩阵，对该矩阵求逆，则得出目标物体在相机坐标系下的姿态矩阵。这样便得到目标物在相机坐标系下的位姿，根据相机在机械臂基座标系下的位姿关系矩阵，便得到目标物在机械臂基座标系下的姿态。
如图4所示，本实施例中提供一种基于RealSense相机的四自由度机械臂视觉伺服控制方法的装置，包括：螺栓1、机械臂基座2、相机连接件3、RealSense D435i相机4、四自由度机械臂5、目标物6；RealSense D435i相机4与相机连接件3通过螺钉(图中未示出)连接，与相机连接件3与四自由度机械臂5共同通过螺栓1连接固定于机械臂基座2；当RealSenseD435i相机4识别目标物6特征，计算出目标物6在四自由度机械臂5基座标系下的位姿信息，接着求出机械臂5末端姿态欧拉角以及根据机器人逆运动学求出机械臂5每个关节旋转角度，进一步根据机械臂5初始关节角度，计算出机械臂5到达特征期望点每个关节需要的转角偏差，对该偏差进行线性拟合，并将其转化为控制信号传递给机械臂5控制器，驱动机械臂5完成特定目标抓取任务。
在本实施例中，如图5所示机械臂的关节角度θ1、θ2、θ3在线性拟合：Δθ＝20t的情况进行旋转运动，最终驱动机械臂末端到达目标物期望点位置，如图6所示，机械臂末端从空间点P1(X1,Y1,Z1)运动至期望点P2(X2,Y2,Z2)进一步在进行抓取，完成视觉伺服任务。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (8)

1.一种基于RealSense相机的四自由度机械臂视觉伺服控制方法，其特征在于，包括以下步骤：
步骤S1:根据RealSense相机获取目标物的图像与深度信息；
步骤S2:根据得到的图像与深度信息，识别在相机坐标系下的目标物的位置信息和姿态信息，并将位置信息和姿态信息根据相机外参数转换为机械臂基坐标系下的位姿信息；
步骤S3:根据机械臂基坐标系下的位置和姿态信息，求出机械臂末端姿态欧拉角以及根据机器人逆运动学求出机械臂每个关节旋转角度；
步骤S4:根据机械臂初始关节角度，计算出机械臂到达特征期望点每个关节需要的转角偏差,并对转角偏差进行线性拟合，并将其转化为控制信号传递给机械臂控制器，驱动机械臂完成抓取目标物任务。
2.根据权利要求1所述的基于RealSense相机的四自由度机械臂视觉伺服控制方法，其特征在于，所述步骤S2具体为：
步骤S21:将深度信息对齐到图像信息，使得图像信息遍历深度信息，通过获取图像像素坐标便得到特征点在相机坐标系下的三维坐标:(XC,YC,ZC)T；
步骤S22:采用基于特定颜色的算法进行形状为矩形的目标物识别，获取目标物的位置信息；
步骤S23:采用基于OpenCV中solvePnP函数中EPnP算法来获取目标物姿态信息；
步骤S24:将位置信息和姿态信息根据相机外参数转换为机械臂基坐标系下的位置和姿态信息。
3.根据权利要求2所述的基于RealSense相机的四自由度机械臂视觉伺服控制方法，其特征在于，所述步骤S22具体为：
步骤S221:在OpenCV中，利用cvtColor函数将RGB转换为HSV颜色空间；
步骤S222:利用inRange函数对目标物颜色进行阈值分割，Canny函数进行边缘检测；
步骤S223:利用findContours函数寻找所需轮廓；
步骤S224:根据目标物具有的特定颜色，在提取轮廓特征时，图像中面积最大的轮廓即为目标轮廓；
步骤S225:利用minAreaRect函数进行轮廓拟合，提取矩形中心点作为目标物中心，中心点三维坐标作为目标物的位置信息。
4.根据权利要求3所述的基于RealSense相机的四自由度机械臂视觉伺服控制方法，其特征在于，所述机械臂基坐标系下的位置信息具体为：根据相机在机械臂基座标系下的位姿关系矩阵为
Figure FDA0002340007300000021
便得到中心点在机械臂坐标系下的三维坐标为：
Figure FDA0002340007300000022
5.根据权利要求2所述的基于RealSense相机的四自由度机械臂视觉伺服控制方法，其特征在于，所述步骤S23具体为：
步骤S231:设定摄像头的内参矩阵K、n(n≥4)个世界坐标系中的3D参考点坐标、与这n个3D点对应的投影在图像上的2D参考点坐标；
其中摄像头的内参矩阵K，通过直接读取RealSense相机内部参数获取；
步骤S232:对所述的n(n≥4)个世界坐标系中的3D参考点坐标，EPnP算法将世界坐标系中的3D坐标表示为一组虚拟的控制点的加权和，虚拟坐标系建立在目标物的坐标系中，得到特征点的虚拟三维坐标；
步骤S233:对所述的与n个3D点对应的投影在图像上的2D参考点坐标，通过RealSense相机图像视觉技术提取特征点对应的像素坐标；
步骤S234:根据运用EPnP算法得到相机坐标系在虚拟世界世界坐标系下的姿态旋转矢量，利用Rodrigues函数将旋转矢量变为旋转矩阵，对该矩阵求逆，得出目标物体在相机坐标系下的姿态矩阵为
Figure FDA0002340007300000031
根据相机在机械臂基座标系下的位姿关系矩阵为
Figure FDA0002340007300000032
得到目标物在机械臂基座标系下的姿态为
Figure FDA0002340007300000033
Figure FDA0002340007300000034
6.根据权利要求1所述的基于RealSense相机的四自由度机械臂视觉伺服控制方法，其特征在于，所述步骤S4具体为：
步骤S41:设所述的位姿信息为T:
Figure FDA0002340007300000041
其中，
Figure FDA0002340007300000042
为目标物在机械臂基座标系下的姿态，XW,YW,ZW为目标物在机械臂基座标系下的坐标；
步骤S42:通过位姿信息计算机械臂末端姿态欧拉角:
Figure FDA0002340007300000043
步骤S43:将位姿信息T通过机器人逆运动学：
Figure FDA0002340007300000044
Figure FDA0002340007300000045
其中n、o、a表示旋转参数，p表示平移参数；
步骤S44:转为四自由度机械臂每个关节旋转角度:
Figure FDA0002340007300000046
机械臂到达特征期望点每个关节需要的转角偏差为Δθ：
Figure FDA0002340007300000051
对转角偏差线性拟合，拟合函数为：
Δθ＝20t
其中：t为时间，单位为秒(s)；Δθ单位为度(°)；
步骤S45:将其转化为控制信号传递给机械臂控制器实现抓取任务。
7.一种用于实现1-6任一所述的基于RealSense相机的四自由度机械臂视觉伺服控制方法的装置，其特征在于，包括四自由度机械臂、机械臂支架、RealSense D435i相机、相机支架；所述四自由度机械臂通过螺栓固定于机械臂支架，RealSense D435i相机与相机支架通过螺钉连接，相机支架通过螺栓固定于机械臂支架，相机支架安装孔与四自由度机械臂安装孔统一安装于机械臂支架安装孔位置。
8.根据权利要求7所述的基于RealSense相机的四自由度机械臂视觉伺服控制方法的装置：所述RealSense D435i相机安装方式为第一视角的Eye To Hand方式。
CN201911372308.8A 2019-12-27 2019-12-27 基于RealSense相机的四自由度机械臂视觉伺服控制方法及装置 Active CN110900581B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911372308.8A CN110900581B (zh) 2019-12-27 2019-12-27 基于RealSense相机的四自由度机械臂视觉伺服控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911372308.8A CN110900581B (zh) 2019-12-27 2019-12-27 基于RealSense相机的四自由度机械臂视觉伺服控制方法及装置

Publications (2)

Publication Number Publication Date
CN110900581A true CN110900581A (zh) 2020-03-24
CN110900581B CN110900581B (zh) 2023-12-22

Family

ID=69828007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911372308.8A Active CN110900581B (zh) 2019-12-27 2019-12-27 基于RealSense相机的四自由度机械臂视觉伺服控制方法及装置

Country Status (1)

Country Link
CN (1) CN110900581B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111923049A (zh) * 2020-08-21 2020-11-13 福州大学 基于球面模型的飞行机械臂视觉伺服与多任务控制方法
CN112171661A (zh) * 2020-08-25 2021-01-05 广西大学 一种基于视觉信息融合的机械臂抓取目标物体方法
CN112597437A (zh) * 2020-12-29 2021-04-02 深圳市优必选科技股份有限公司 机械臂的逆运动学解析方法、装置及设备
CN112658643A (zh) * 2020-12-30 2021-04-16 中国科学院自动化研究所 接插件装配方法
CN112673858A (zh) * 2020-12-23 2021-04-20 河南科技大学 一种基于机器视觉的穴盘种苗低损移植方法
CN112894800A (zh) * 2020-12-24 2021-06-04 苏州迈维视电子技术有限公司 一种工件抓取下料引导用方法
CN113997293A (zh) * 2021-12-07 2022-02-01 广东电网有限责任公司 一种动态视觉的感知观测跟踪控制方法、装置及设备
CN114078158A (zh) * 2020-08-14 2022-02-22 边辕视觉科技(上海)有限公司 一种自动化获取目标物体特征点参数的方法
CN114332985A (zh) * 2021-12-06 2022-04-12 上海大学 一种基于双机械臂协同的肖像轮廓智能绘制方法
CN114378822A (zh) * 2022-01-19 2022-04-22 合肥工业大学 一种基于视觉的机器人机械臂末端位姿的调整方法
CN114441807A (zh) * 2021-07-22 2022-05-06 荣耀终端有限公司 一种接线方法及系统
CN114851160A (zh) * 2022-05-24 2022-08-05 国网上海市电力公司 一种用于移动机器人的机械臂控制方法
CN115008452A (zh) * 2022-05-12 2022-09-06 兰州大学 一种机械臂控制方法及其系统、电子设备、存储介质
CN115648224A (zh) * 2022-12-22 2023-01-31 北京钢铁侠科技有限公司 一种基于双深度相机识别定位的机械臂抓取方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101602205A (zh) * 2008-06-10 2009-12-16 村田机械株式会社 并联机构
CN103144111A (zh) * 2013-02-26 2013-06-12 中山大学 一种qp统一协调的移动机械臂运动描述与规划方法
CN103240752A (zh) * 2012-02-14 2013-08-14 库卡罗伯特有限公司 用于确定转矩的方法和工业机器人
CN103538067A (zh) * 2013-10-08 2014-01-29 南京航空航天大学 一种基于四元数的快速求解Stewart并联机构的运动学正解方法
CN103878770A (zh) * 2014-04-08 2014-06-25 哈尔滨工业大学 基于速度估计的空间机器人视觉时延误差补偿方法
CN105729468A (zh) * 2016-01-27 2016-07-06 浙江大学 一种基于多深度摄像机增强的机器人工作台
WO2016193781A1 (en) * 2015-05-29 2016-12-08 Benemérita Universidad Autónoma De Puebla Motion control system for a direct drive robot through visual servoing
CN106737692A (zh) * 2017-02-10 2017-05-31 杭州迦智科技有限公司 一种基于深度投影的机械手爪抓取规划方法及控制装置
CN211890823U (zh) * 2019-12-27 2020-11-10 福州大学 基于RealSense相机的四自由度机械臂视觉伺服控制系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101602205A (zh) * 2008-06-10 2009-12-16 村田机械株式会社 并联机构
CN103240752A (zh) * 2012-02-14 2013-08-14 库卡罗伯特有限公司 用于确定转矩的方法和工业机器人
CN103144111A (zh) * 2013-02-26 2013-06-12 中山大学 一种qp统一协调的移动机械臂运动描述与规划方法
CN103538067A (zh) * 2013-10-08 2014-01-29 南京航空航天大学 一种基于四元数的快速求解Stewart并联机构的运动学正解方法
CN103878770A (zh) * 2014-04-08 2014-06-25 哈尔滨工业大学 基于速度估计的空间机器人视觉时延误差补偿方法
WO2016193781A1 (en) * 2015-05-29 2016-12-08 Benemérita Universidad Autónoma De Puebla Motion control system for a direct drive robot through visual servoing
CN105729468A (zh) * 2016-01-27 2016-07-06 浙江大学 一种基于多深度摄像机增强的机器人工作台
CN106737692A (zh) * 2017-02-10 2017-05-31 杭州迦智科技有限公司 一种基于深度投影的机械手爪抓取规划方法及控制装置
CN211890823U (zh) * 2019-12-27 2020-11-10 福州大学 基于RealSense相机的四自由度机械臂视觉伺服控制系统

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114078158A (zh) * 2020-08-14 2022-02-22 边辕视觉科技(上海)有限公司 一种自动化获取目标物体特征点参数的方法
CN111923049B (zh) * 2020-08-21 2023-11-03 福州大学 基于球面模型的飞行机械臂视觉伺服与多任务控制方法
CN111923049A (zh) * 2020-08-21 2020-11-13 福州大学 基于球面模型的飞行机械臂视觉伺服与多任务控制方法
CN112171661A (zh) * 2020-08-25 2021-01-05 广西大学 一种基于视觉信息融合的机械臂抓取目标物体方法
CN112673858A (zh) * 2020-12-23 2021-04-20 河南科技大学 一种基于机器视觉的穴盘种苗低损移植方法
CN112894800A (zh) * 2020-12-24 2021-06-04 苏州迈维视电子技术有限公司 一种工件抓取下料引导用方法
CN112597437A (zh) * 2020-12-29 2021-04-02 深圳市优必选科技股份有限公司 机械臂的逆运动学解析方法、装置及设备
CN112658643A (zh) * 2020-12-30 2021-04-16 中国科学院自动化研究所 接插件装配方法
CN112658643B (zh) * 2020-12-30 2022-07-01 中国科学院自动化研究所 接插件装配方法
CN114441807A (zh) * 2021-07-22 2022-05-06 荣耀终端有限公司 一种接线方法及系统
CN114332985A (zh) * 2021-12-06 2022-04-12 上海大学 一种基于双机械臂协同的肖像轮廓智能绘制方法
CN113997293A (zh) * 2021-12-07 2022-02-01 广东电网有限责任公司 一种动态视觉的感知观测跟踪控制方法、装置及设备
CN114378822A (zh) * 2022-01-19 2022-04-22 合肥工业大学 一种基于视觉的机器人机械臂末端位姿的调整方法
CN114378822B (zh) * 2022-01-19 2023-09-01 合肥工业大学 一种基于视觉的机器人机械臂末端位姿的调整方法
CN115008452A (zh) * 2022-05-12 2022-09-06 兰州大学 一种机械臂控制方法及其系统、电子设备、存储介质
CN115008452B (zh) * 2022-05-12 2023-01-31 兰州大学 一种机械臂控制方法及其系统、电子设备、存储介质
CN114851160A (zh) * 2022-05-24 2022-08-05 国网上海市电力公司 一种用于移动机器人的机械臂控制方法
CN115648224A (zh) * 2022-12-22 2023-01-31 北京钢铁侠科技有限公司 一种基于双深度相机识别定位的机械臂抓取方法

Also Published As

Publication number Publication date
CN110900581B (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
CN110900581B (zh) 基于RealSense相机的四自由度机械臂视觉伺服控制方法及装置
CN109255813B (zh) 一种面向人机协作的手持物体位姿实时检测方法
Morales et al. Integrated grasp planning and visual object localization for a humanoid robot with five-fingered hands
Wan et al. Teaching robots to do object assembly using multi-modal 3d vision
CN114080583B (zh) 视觉教导和重复移动操纵系统
CN111695562A (zh) 一种基于卷积神经网络的机器人自主抓取方法
WO2020190166A1 (ru) Способ и система захвата объекта с помощью роботизированного устройства
Gratal et al. Visual servoing on unknown objects
CN115070781B (zh) 一种物体抓取方法及双机械臂协作系统
CN113103235A (zh) 一种基于rgb-d图像对柜体表面设备进行垂直操作的方法
Gratal et al. Virtual visual servoing for real-time robot pose estimation
Zhang et al. Robot programming by demonstration: A novel system for robot trajectory programming based on robot operating system
CN117103277A (zh) 一种基于多模态数据融合的机械手臂感知方法
JPH0780790A (ja) 三次元物体把持システム
CN114770461A (zh) 一种基于单目视觉的移动机器人及其自动抓取方法
CN113504063B (zh) 一种基于多轴机械臂的立体空间触屏设备可视化测试方法
CN112732075B (zh) 一种面向教学实验的虚实融合机器教师教学方法及系统
CN211890823U (zh) 基于RealSense相机的四自由度机械臂视觉伺服控制系统
CN117340929A (zh) 一种基于三维点云数据的柔性夹爪抓取处置装置及方法
CN116749233A (zh) 基于视觉伺服的机械臂抓取系统及方法
CN115861780B (zh) 一种基于yolo-ggcnn的机械臂检测抓取方法
CN114347028B (zh) 一种基于rgb-d图像的机器人末端智能抓取方法
Ren et al. Vision based object grasping of robotic manipulator
KR20220067719A (ko) 딥러닝과 마커를 이용한 비전인식을 통한 로봇 제어장치 및 그 방법
CN113492404B (zh) 一种基于机器视觉的仿人机器人动作映射控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant