CN110977982A - 基于深度视觉的双机械臂控制方法 - Google Patents

基于深度视觉的双机械臂控制方法 Download PDF

Info

Publication number
CN110977982A
CN110977982A CN201911320669.8A CN201911320669A CN110977982A CN 110977982 A CN110977982 A CN 110977982A CN 201911320669 A CN201911320669 A CN 201911320669A CN 110977982 A CN110977982 A CN 110977982A
Authority
CN
China
Prior art keywords
target object
mechanical
mechanical arm
model
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911320669.8A
Other languages
English (en)
Inventor
吴益飞
靳懿
郭健
周唯
张通
季周历
张翠艳
范杰
时锋
周丽
刘洋
吴鑫煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201911320669.8A priority Critical patent/CN110977982A/zh
Publication of CN110977982A publication Critical patent/CN110977982A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于深度视觉的双机械臂控制方法，包括以下步骤：利用RGBD深度摄像头采集某一目标区域的点云数据，根据点云数据构建该区域中目标物体空间模型，同时识别目标物体的种类，并根据种类判断该物体是否属于待操作对象，若是则执行下一步，否则对下一目标区域执行该步骤；建立双机械臂空间XACRO模型，并在该模型所在空间拟合添加目标物体空间模型；根据双机械臂空间XACRO模型和目标物体空间模型，计算双机械臂的运动轨迹；利用线性插值将各机械臂的运动轨迹发送到各机械臂，实现对双机械臂的控制。本发明通过深度传感器结合深度神经网络能提高目标物体识别率，且提高了方法的鲁棒性，同时保证双机械臂协同运作不会发生碰撞。

Description

基于深度视觉的双机械臂控制方法
技术领域
本发明属于机器人视觉领域，特别涉及一种基于深度视觉的双机械臂控制方法。
背景技术
随着现代人工智能技术、自动化技术、计算机视觉技术和计算机计算能力的快速发展，机械臂技术作为日常生活及科技发展中多种技术的综合体相应地同步快速发展，并且在工业生产、生活服务、科学实验、抢险救灾和太空探索等领域广泛应用且发挥着非常重要的作用。由于单机械臂控制系统受环境和自身条件的制约，很多工作任务都难以独立完成，从而使用复数单机械臂，但同时导致单机械臂之间结合性下降。与此同时，传统机械臂缺乏合适传感器导致无法做到更加的拟人化、多能化，且并不能够一起协同安全高效地完成工作任务。
发明内容
本发明的目的在于提供一种基于深度视觉的双机械臂控制方法。
实现本发明目的的技术解决方案为：一种基于深度视觉的双机械臂控制方法，包括以下步骤：
步骤1，利用RGBD深度摄像头采集某一目标区域的点云数据，根据点云数据构建该区域中目标物体空间模型，同时识别目标物体的种类，并根据种类判断该物体是否属于待操作对象，若是则执行步骤2，否则对下一目标区域执行该步骤；
步骤2，建立双机械臂空间XACRO模型，并在该模型所在空间拟合添加所述目标物体空间模型；
步骤3，根据所述双机械臂空间XACRO模型和目标物体空间模型，计算双机械臂的运动轨迹；
步骤4，利用线性插值将各机械臂的运动轨迹发送到各机械臂，实现对双机械臂的控制。
进一步地，步骤1所述根据点云数据构建目标物体空间模型，具体包括：
步骤1-1，对点云数据进行多维高斯滤波预处理，所用公式为：
Figure BDA0002327062860000011
式中，
Figure BDA0002327062860000021
表示点云数据中每一个点对应的维度为4的向量(g，y，z，D)，g表示该点对应的RGB值，(y，z，D)表示点在空间中的坐标，
Figure BDA0002327062860000022
为所有向量的平均值，∑为所有向量
Figure BDA0002327062860000023
的协方差矩阵；
步骤1-2，利用置信区间计算公式对点云数据进行参数估计，获得目标物体的坐标信息，包括目标物体中心点及分布范围，置信区间计算公式为：
Figure BDA0002327062860000024
式中，
Figure BDA0002327062860000025
为多维高斯滤波后的点云数据中每一个点对应的向量，α＝1-置信度，n是样本个数，n-1为“自由度”，S为多维高斯滤波后的点云数据的标准差，
Figure BDA0002327062860000026
为t值，根据其分布表可得
Figure BDA0002327062860000027
为置信半径；
步骤1-3，基于步骤1-1滤波后的点云数据以及步骤1-2点云数据参数估计结果，构建目标物体空间模型；
步骤1-4，利用深度神经网络对所述目标物体空间模型进行池化、连接以及回归处理，识别出目标物体的类别。
进一步地，步骤1-4中所述深度神经网络具体采用Darknet-53的网络结构。
进一步地，步骤3中根据所述双机械臂空间XACRO模型和目标物体空间模型，计算双机械臂的运动轨迹，具体包括：
步骤3-1，根据实际机械臂的参数指标，利用D-H方法构建机械臂参数表；
步骤3-2，根据所述机械臂参数表中的参数建立每一个机械臂关节的坐标系，并获取相邻坐标系之间的变换矩阵；
步骤3-3，将所有变换矩阵相乘获得末端坐标系在基坐标系的变换矩阵T即为机械臂正解；
步骤3-4，通过迭代法处理机械臂逆运动学方程得到迭代方程：
Figure BDA0002327062860000028
其中，机械臂逆运动学方程为：
F(θ)＝(f1,f2,f3,...,f12)T
θ＝(θ1,θ2,θ3,θ4,θ5,θ6)T
式中，f为机械臂运动到目标物体过程中机械臂各个关节对应的运动矩阵，J为机器人的雅克比矩阵，θ为机械臂各个关节旋转角度；i表示迭代次数；
步骤3-5，利用梯度下降法求取迭代方程获取机械臂各个关节的旋转角度θ；
步骤3-6，对所有关节的旋转角度θ进行路径微分，获得双机械臂的运动轨迹。
进一步地，步骤4中线性插值具体采用二维双线性插值。
本发明与现有技术相比，其显著优点为：1)通过深度传感器结合深度神经网络能提高目标物体识别率；2)选取二维双线性插值的方法控制双机械臂协同控制，相比传统分离控制方法提高了方法的鲁棒性，同时保证双机械臂协同运作不会发生碰撞。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为本发明基于深度视觉的双机械臂控制方法的流程图。
具体实施方式
结合图1，本发明提出了一种基于深度视觉的双机械臂控制方法，包括以下步骤：
步骤1，利用RGBD深度摄像头采集某一目标区域的点云数据，根据点云数据构建该区域中目标物体空间模型，同时识别目标物体的种类，并根据种类判断该物体是否属于待操作对象，若是则执行步骤2，否则对下一目标区域执行该步骤。其中，根据点云数据构建目标物体空间模型，具体包括：
步骤1-1，对点云数据进行多维高斯滤波预处理，所用公式为：
Figure BDA0002327062860000031
式中，
Figure BDA0002327062860000032
表示点云数据中每一个点对应的维度为4的向量(g，y，z，D)，g表示该点对应的RGB值，(y，z，D)表示点在空间中的坐标，
Figure BDA0002327062860000033
为所有向量的平均值，∑为所有向量
Figure BDA0002327062860000034
的协方差矩阵；
步骤1-2，利用置信区间计算公式对点云数据进行参数估计，获得目标物体的坐标信息，包括目标物体中心点及分布范围，置信区间计算公式为：
Figure BDA0002327062860000041
式中，
Figure BDA0002327062860000042
为多维高斯滤波后的点云数据中每一个点对应的向量，α＝1-置信度，n是样本个数，n-1为“自由度”，S为多维高斯滤波后的点云数据的标准差，
Figure BDA0002327062860000043
为t值，根据其分布表可得
Figure BDA0002327062860000044
为置信半径；
步骤1-3，基于步骤1-1滤波后的点云数据以及步骤1-2点云数据参数估计结果，构建目标物体空间模型；
步骤1-4，利用深度神经网络对目标物体空间模型进行池化、连接以及回归处理，识别出目标物体的类别。
作为一种具体示例，步骤1-4中深度神经网络具体采用Darknet-53的网络结构。
步骤2，建立双机械臂空间XACRO模型，并在该模型所在空间拟合添加目标物体空间模型。
步骤3，根据双机械臂空间XACRO模型和目标物体空间模型，计算双机械臂的运动轨迹，具体过程包括：
步骤3-1，根据实际机械臂的参数指标，利用D-H方法构建机械臂参数表；
步骤3-2，根据机械臂参数表中的参数建立每一个机械臂关节的坐标系，并获取相邻坐标系之间的变换矩阵；
步骤3-3，将所有变换矩阵相乘获得末端坐标系在基坐标系的变换矩阵T即为机械臂正解；
步骤3-4，通过迭代法处理机械臂逆运动学方程得到迭代方程：
Figure BDA0002327062860000045
其中，机械臂逆运动学方程为：
F(θ)＝(f1,f2,f3,...,f12)T
θ＝(θ1,θ2,θ3,θ4,θ5,θ6)T
式中，f为机械臂运动到目标物体过程中机械臂各个关节对应的运动矩阵，J为机器人的雅克比矩阵，θ为机械臂各个关节旋转角度；i表示迭代次数；
步骤3-5，利用梯度下降法求取迭代方程获取机械臂各个关节的旋转角度θ；
步骤3-6，对所有关节的旋转角度θ进行路径微分，获得双机械臂的运动轨迹。
步骤4，利用线性插值将各机械臂的运动轨迹发送到各机械臂，实现对双机械臂的控制。
作为一种具体示例，步骤4中线性插值具体采用二维双线性插值。
综上，本发明通过深度传感器结合深度神经网络能提高目标物体识别率，且提高了方法的鲁棒性，同时保证双机械臂协同运作不会发生碰撞。

Claims (5)

1.一种基于深度视觉的双机械臂控制方法，其特征在于，包括以下步骤：
步骤1，利用RGBD深度摄像头采集某一目标区域的点云数据，根据点云数据构建该区域中目标物体空间模型，同时识别目标物体的种类，并根据种类判断该物体是否属于待操作对象，若是则执行步骤2，否则对下一目标区域执行该步骤；
步骤2，建立双机械臂空间XACRO模型，并在该模型所在空间拟合添加所述目标物体空间模型；
步骤3，根据所述双机械臂空间XACRO模型和目标物体空间模型，计算双机械臂的运动轨迹；
步骤4，利用线性插值将各机械臂的运动轨迹发送到各机械臂，实现对双机械臂的控制。
2.根据权利要求1所述的基于深度视觉的双机械臂控制方法，其特征在于，步骤1所述根据点云数据构建目标物体空间模型，具体包括：
步骤1-1，对点云数据进行多维高斯滤波预处理，所用公式为：
Figure FDA0002327062850000011
式中，
Figure FDA0002327062850000012
表示点云数据中每一个点对应的维度为4的向量(g，y，z，D)，g表示该点对应的RGB值，(y，z，D)表示点在空间中的坐标，
Figure FDA0002327062850000013
为所有向量的平均值，∑为所有向量
Figure FDA0002327062850000014
的协方差矩阵；
步骤1-2，利用置信区间计算公式对点云数据进行参数估计，获得目标物体的坐标信息，包括目标物体中心点及分布范围，置信区间计算公式为：
Figure FDA0002327062850000015
式中，
Figure FDA0002327062850000016
为多维高斯滤波后的点云数据中每一个点对应的向量，α＝1-置信度，n是样本个数，n-1为“自由度”，S为多维高斯滤波后的点云数据的标准差，
Figure FDA0002327062850000017
为t值，根据其分布表可得
Figure FDA0002327062850000018
Figure FDA0002327062850000019
为置信半径；
步骤1-3，基于步骤1-1滤波后的点云数据以及步骤1-2点云数据参数估计结果，构建目标物体空间模型；
步骤1-4，利用深度神经网络对所述目标物体空间模型进行池化、连接以及回归处理，识别出目标物体的类别。
3.根据权利要求2所述的基于深度视觉的双机械臂控制方法，其特征在于，步骤1-4中所述深度神经网络具体采用Darknet-53的网络结构。
4.根据权利要求2所述的基于深度视觉的双机械臂控制方法，其特征在于，步骤3中根据所述双机械臂空间XACRO模型和目标物体空间模型，计算双机械臂的运动轨迹，具体包括：
步骤3-1，根据实际机械臂的参数指标，利用D-H方法构建机械臂参数表；
步骤3-2，根据所述机械臂参数表中的参数建立每一个机械臂关节的坐标系，并获取相邻坐标系之间的变换矩阵；
步骤3-3，将所有变换矩阵相乘获得末端坐标系在基坐标系的变换矩阵T即为机械臂正解；
步骤3-4，通过迭代法处理机械臂逆运动学方程得到迭代方程：
θi+1＝θi-Ji -1F(θi)
其中，机械臂逆运动学方程为：
F(θ)＝(f1,f2,f3,...,f12)T
θ＝(θ1,θ2,θ3,θ4,θ5,θ6)T
式中，f为机械臂运动到目标物体过程中机械臂各个关节对应的运动矩阵，J为机器人的雅克比矩阵，θ为机械臂各个关节旋转角度；i表示迭代次数；
步骤3-5，利用梯度下降法求取迭代方程获取机械臂各个关节的旋转角度θ；
步骤3-6，对所有关节的旋转角度θ进行路径微分，获得双机械臂的运动轨迹。
5.根据权利要求4所述的基于深度视觉的双机械臂控制方法，其特征在于，步骤4中线性插值具体采用二维双线性插值。
CN201911320669.8A 2019-12-19 2019-12-19 基于深度视觉的双机械臂控制方法 Pending CN110977982A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911320669.8A CN110977982A (zh) 2019-12-19 2019-12-19 基于深度视觉的双机械臂控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911320669.8A CN110977982A (zh) 2019-12-19 2019-12-19 基于深度视觉的双机械臂控制方法

Publications (1)

Publication Number Publication Date
CN110977982A true CN110977982A (zh) 2020-04-10

Family

ID=70065699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911320669.8A Pending CN110977982A (zh) 2019-12-19 2019-12-19 基于深度视觉的双机械臂控制方法

Country Status (1)

Country Link
CN (1) CN110977982A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112264989A (zh) * 2020-06-17 2021-01-26 华中科技大学 一种基于邻域遍历的双机械臂协同避障方法
CN112862878A (zh) * 2021-02-07 2021-05-28 浙江工业大学 一种基于3d视觉的机械臂修坯方法
CN114494315A (zh) * 2021-12-31 2022-05-13 中铁建华南建设有限公司 隧道横断面特征提取方法、装置、设备和存储介质
WO2023005790A1 (en) * 2021-07-28 2023-02-02 Zhejiang Huaray Technology Co., Ltd. Methods, systems, and devices for motion control of at least one working head

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180247117A1 (en) * 2016-09-30 2018-08-30 Intel Corporation Human search and identification in complex scenarios
CN108908334A (zh) * 2018-07-20 2018-11-30 汕头大学 一种基于深度学习的智能抓取系统及方法
CN109949375A (zh) * 2019-02-02 2019-06-28 浙江工业大学 一种基于深度图感兴趣区域的移动机器人目标跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180247117A1 (en) * 2016-09-30 2018-08-30 Intel Corporation Human search and identification in complex scenarios
CN108908334A (zh) * 2018-07-20 2018-11-30 汕头大学 一种基于深度学习的智能抓取系统及方法
CN109949375A (zh) * 2019-02-02 2019-06-28 浙江工业大学 一种基于深度图感兴趣区域的移动机器人目标跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
北京邮电大学世纪学院基础教学部等: "《概率论、随机过程与数理统计》", 30 September 2010, 北京邮电大学出版社 *
徐昊: "基于机器视觉的双臂协作技术研究", 《中国优秀博硕士学位论文全文数据库（硕士） 信息科技辑》 *
曾向阳: "《智能水中目标识别》", 31 March 2016, 国防工业出版社 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112264989A (zh) * 2020-06-17 2021-01-26 华中科技大学 一种基于邻域遍历的双机械臂协同避障方法
CN112862878A (zh) * 2021-02-07 2021-05-28 浙江工业大学 一种基于3d视觉的机械臂修坯方法
CN112862878B (zh) * 2021-02-07 2024-02-13 浙江工业大学 一种基于3d视觉的机械臂修坯方法
WO2023005790A1 (en) * 2021-07-28 2023-02-02 Zhejiang Huaray Technology Co., Ltd. Methods, systems, and devices for motion control of at least one working head
CN114494315A (zh) * 2021-12-31 2022-05-13 中铁建华南建设有限公司 隧道横断面特征提取方法、装置、设备和存储介质
CN114494315B (zh) * 2021-12-31 2022-11-08 中铁建华南建设有限公司 隧道横断面特征提取方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
CN110977982A (zh) 基于深度视觉的双机械臂控制方法
CN108829113B (zh) 一种多机器人编队自适应零空间行为融合方法
CN111243017B (zh) 基于3d视觉的智能机器人抓取方法
CN108614560B (zh) 一种移动机器人视觉伺服保性能跟踪控制方法
Sayour et al. Autonomous robotic manipulation: Real-time, deep-learning approach for grasping of unknown objects
CN111360821A (zh) 一种采摘控制方法、装置、设备及计算机刻度存储介质
CN114902872B (zh) 一种机器人采摘果实的视觉引导方法
CN110909644A (zh) 基于强化学习的机械臂末端执行器抓取姿态调整方法及系统
CN111283686A (zh) 一种用于带电作业机器人抓取支线场景下的抓取姿态计算方法
CN111152227A (zh) 一种基于引导式dqn控制的机械臂控制方法
CN114022551A (zh) 一种燃油车加油盖精确识别与位姿估计的方法
CN113172632A (zh) 一种基于图像的简化机器人视觉伺服控制方法
CN116079734A (zh) 一种基于双视觉检测的协作机器人的装配控制系统及方法
CN108908340B (zh) 采用有限区间神经网络的冗余机器人重复运动规划方法
Li et al. Learning complex assembly skills from kinect based human robot interaction
CN110470298B (zh) 一种基于滚动时域的机器人视觉伺服位姿估计方法
Tanaka et al. Trajectory tracking of redundant manipulators based on avoidance manipulability shape index
CN114519813A (zh) 一种机械臂目标抓取方法及系统
Xin et al. Real-time dynamic system to path tracking and collision avoidance for redundant robotic arms
CN110919650A (zh) 一种基于svm的低延时抓取遥操作系统
Raufelder Modeling Analysis of Attitude Perception of Engineering Manipulator Supporting Wireless Communication and Internet of Things
Zhang et al. A Real-Time 3-D Visual Detection-Based Soft Wire Avoidance Scheme for Industrial Robot Manipulators
Yeh et al. 3D Cameras and Algorithms for Multi-Angle Gripping and Control of Robotic Arm
CN116872216B (zh) 一种基于有限时间控制的机器人视觉伺服作业方法
Ban et al. Real-time Holistic Robot Pose Estimation with Unknown States

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200410