CN114912287B - 基于目标6d位姿估计的机器人自主抓取仿真系统及方法 - Google Patents

基于目标6d位姿估计的机器人自主抓取仿真系统及方法 Download PDF

Info

Publication number
CN114912287B
CN114912287B CN202210585893.5A CN202210585893A CN114912287B CN 114912287 B CN114912287 B CN 114912287B CN 202210585893 A CN202210585893 A CN 202210585893A CN 114912287 B CN114912287 B CN 114912287B
Authority
CN
China
Prior art keywords
robot
camera
target
color
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210585893.5A
Other languages
English (en)
Other versions
CN114912287A (zh
Inventor
周青华
闵强强
李安琪
蒲伟
周广武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202210585893.5A priority Critical patent/CN114912287B/zh
Publication of CN114912287A publication Critical patent/CN114912287A/zh
Application granted granted Critical
Publication of CN114912287B publication Critical patent/CN114912287B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/17—Mechanical parametric or variational design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本发明公开了一种基于目标6D位姿估计的机器人自主抓取仿真系统及方法，该系统包括虚拟仿真交互平台和基于目标6D位姿估计的机器人自主抓取子系统。其中基于目标6D位姿估计的机器人自主抓取子系统包括视觉传感器参数模块、环境信息获取图像模块、目标物6D位姿估计模块和机器人规划及抓取模块。本发明利用ROS‑Gazebo实现机器人视觉辅助抓取仿真系统的搭建，可直接在仿真环境进行全仿真模拟实验，相机与机器人的信息交互更加便捷化；并且对目标位姿估计采用深度学习思想实现对RGB‑D数据的特征提取及逐像素特征融合，再进行迭代细化得出精确位姿信息；结合深度学习与RGB‑D数据传输，有效提高对目标位姿估计的速度和精度。

Description

基于目标6D位姿估计的机器人自主抓取仿真系统及方法
技术领域
本发明涉及机器人仿真技术领域，具体涉及一种基于目标6D位姿估计的机器人自主抓取仿真系统及方法。
背景技术
机器人仿真技术是作业前对机器人的测试和验证的重要手段，如何基于含物理引擎的三维仿真软件设计模拟现实复杂作业任务和尽可能还原出现实场景的仿真测试平台是机器人仿真技术的研究要点。由于直接在实物机器人上进行算法的训练时间成本大，训练过程复杂，硬件损耗大。目前的研究是利用各优秀的物理仿真平台，建立模拟现实的仿真环境和机器人系统模型，在仿真环境进行训练，测试通过后在迁移到实物机器人上。通过机器人仿真系统，可以无消耗、安全的测试视觉算法和机器人的运动控制。但目前的机器人仿真系统主要是针对机器人的仿真，对于机械手抓和深度传感器的仿真应用较少，且对于支持的视觉测试算法没有什么扩展性和通用性，其他的仿真系统甚至无法与真机进行算法测试的对接，这样就失去了仿真的最终意义。
基于二维视觉图像的机器人工作平面的单目标抓取取得了丰富的研究成果。但对于现实复杂环境中的三维目标物体，仅使用二维图像信息来表征目标信息存在信息损失问题，难以实现在非结构化环境中准确估计出6D位姿信息，对于机器人高精度抓取任务存在限制。6D视觉比二维平面视觉多一个维度，从而提供的有效环境信息更加丰富，6D位姿估计可得到目标物的位姿信息，对于机器人的精细化任务至关重要，提高机器人的视觉感知能力对于机器人在复杂非结构化环境中进行高精度抓取任务是一项重要工作。
机器人视觉辅助抓取任务是指利用相机采集待抓取目标图像数据，经过目标检测、位姿估计等图像处理后得到抓取位姿信息，生成抓取策略并控制机器人进行抓取。目前，传统的目标检测与位姿估计方法都是基于一些特定的算法，包括边缘检测、角点检测、点云分割等，但是基于传统算法的目标检测与位姿估计算法存在的主要技术问题是检测繁琐，处理过程时间长，消耗资源多等问题，存在局限性。近年来，随着计算机技术的发展，深度学习方法优势逐渐显露，基于深度学习的机器人自主抓取是该领域的一个研究热点，能够实现在复杂环境下的自主抓取任务。
发明内容
针对现有技术中的上述不足，本发明提供了一种基于目标6D位姿估计的机器人自主抓取仿真系统及方法，以解决现有技术中机器人仿真方式的对象单一、扩展性和通用性较差，目标位姿估计检测繁琐，处理过程时间长，消耗资源多等问题。
为了达到上述发明目的，本发明采用的技术方案为：
第一方面，本发明提出了一种基于目标6D位姿估计的机器人自主抓取仿真系统，包括：
虚拟仿真交互平台，用于根据机器人自主抓取任务需求加载机器人、机械手抓、RGB-D深度传感器的三维模型，并根据接收的机器人抓取的过程轨迹规划路径控制机器人执行抓取任务；
基于目标6D位姿估计的机器人自主抓取子系统，用于根据RGB-D深度传感器采集的图像信息获取相机的内部参数和畸变系数、及图像配准矩阵，根据相机的畸变系数和图像配准矩阵对实时采集的图像信息进行配准；根据相机的内部参数对配准后的图像信息进行目标检测和6D位姿信息估计，得到目标位姿信息；根据目标位姿信息生成机器人抓取的过程轨迹规划路径，并传输至虚拟仿真交互平台。
可选地，所述基于目标6D位姿估计的机器人自主抓取子系统包括：
视觉传感器参数模块，用于对RGB-D深度传感器的彩色相机和深度相机进行离线标定，获取彩色相机和深度相机的内部参数和畸变系数、及图像配准矩阵，将彩色相机和深度相机的畸变系数及图像配准矩阵传输至环境信息获取图像模块，将彩色相机和深度相机的内部参数传输至目标物6D位姿估计模块。
可选地，所述基于目标6D位姿估计的机器人自主抓取子系统包括：
环境信息获取图像模块，用于利用建立的驱动程序采用ROS话题通信方式将数据发布到ROS系统以获取图像数据流进行实时的数据传输，并通过订阅话题实时获取彩色图像信息和深度图像信息；根据接收的彩色相机和深度相机的畸变系数及图像配准矩阵将实时获取的彩色图像信息和深度图像信息进行配准，并将配准后的彩色图像信息和深度图像信息传输至目标物6D位姿估计模块。
可选地，所述基于目标6D位姿估计的机器人自主抓取子系统包括：
目标物6D位姿估计模块，用于对接收的配准后的彩色图像信息进行图像分割以获取表示场景中对象的掩码，从图像分割后的彩色图像信息及配准后的深度图像信息中分别提取颜色特征和几何特征，将颜色特征和几何特征进行对应像素位置的逐像素特征融合，估计场景中每个对象的位姿信息，并对估计的位姿信息进行修正，将修正后的位姿信息传输至机器人规划及抓取模块；
可选地，所述基于目标6D位姿估计的机器人自主抓取子系统包括：
机器人规划及抓取模块，用于根据采用手眼标定方法获取的相机坐标系和机器人基坐标系的相对位置关系，将接收的位姿信息转换到机器人基坐标系，并根据机器人运动学模型生成机器人抓取的过程轨迹规划路径。
可选地，所述目标物6D位姿估计模块从图像分割后的彩色图像信息及配准后的深度图像信息中分别提取颜色特征和几何特征的方法为：
采用全卷积神经网络对图像分割后的彩色图像信息进行特征提取，得到颜色特征；
将配准后的深度图像信息点云化表示，并进行点云的关键点提取，将点云的形状、角度、面积特征采用形状函数集合全局描述符表示，得到几何特征。
可选地，所述目标物6D位姿估计模块对估计的位姿信息进行修正的方法为：
利用姿态估计细化网络对前一次迭代估计的姿态信息进行姿态的残差估计，并更新姿态信息；
利用特征修正网络对更新后的姿态信息进行特征修正，将几何特征通过点云方法进行姿态转换，得到几何特征嵌入；将颜色特征首先通过点云投影到二维平面并判断是否正确投影；如果正确投影，则进行颜色特征到投影区域的图像修正，修正过程包括形态闭合和模糊周围区域，最后得到颜色特征嵌入；如果没有正确投影，则重用前一次迭代的颜色特征嵌入；
将几何特征嵌入和颜色特征嵌入进行逐像素的融合，并采用深度学习网络预测位姿信息，进行下一次迭代。
可选地，所述深度学习网络的训练方法为：
采用基于球面的随机快速采点方法进行训练数据集自动采集；
对采集的训练数据进行自动快速标注；
按照设定的数据集训练格式生成可训练的仿真数据集；
利用生成的仿真数据集离线训练深度学习网络的权重参数。
可选地，所述基于球面的随机快速采点方法具体为：
首先设置相机高度区间和目标与相机的距离区间，并将目标与相机的距离作为球面半径，随机选取一个相机高度和球面半径，构建平面方程为：
其中，XYR表示相机坐标系的X轴、Y轴与球面半径的平面方程，rand表示取随机数，r表示球面半径，z表示相机高度，z_offset表示目标模型中坐标原点与其底面中点之间的偏置；
然后对相机的姿态进行约束，使得相机在每个X轴、Y轴、Z轴位置时，目标都在相机的视野内，表示为：
rz＝arctan(dy,dx)
其中，ry,rz分别表示相机绕Y轴和Z轴的旋转角度，x,y,z分别表示相机在X轴、Y轴、Z轴的坐标值；
最终生成相机位姿(x,yz,rx,ry,rz)，其中rx表示相机绕X轴的旋转角度。
第二方面，本发明提出了一种基于目标6D位姿估计的机器人自主抓取仿真方法，包括以下步骤：
S1、利用虚拟仿真交互平台根据机器人自主抓取任务需求加载机器人、机械手抓、RGB-D深度传感器的三维模型；
S2、利用视觉传感器参数模块对RGB-D深度传感器的彩色相机和深度相机进行离线标定，获取彩色相机和深度相机的内部参数和畸变系数、及图像配准矩阵，将彩色相机和深度相机的畸变系数及图像配准矩阵传输至环境信息获取图像模块，将彩色相机和深度相机的内部参数传输至目标物6D位姿估计模块；
S3、利用环境信息获取图像模块根据建立的驱动程序采用ROS话题通信方式将数据发布到ROS系统以获取图像数据流进行实时的数据传输，并通过订阅话题实时获取彩色图像信息和深度图像信息；根据接收的彩色相机和深度相机的畸变系数及图像配准矩阵将实时获取的彩色图像信息和深度图像信息进行配准，并将配准后的彩色图像信息和深度图像信息传输至目标物6D位姿估计模块；
S4、利用目标物6D位姿估计模块对接收的配准后的彩色图像信息进行图像分割以获取表示场景中对象的掩码，从图像分割后的彩色图像信息及配准后的深度图像信息中分别提取颜色特征和几何特征，将颜色特征和几何特征进行对应像素位置的逐像素特征融合，估计场景中每个对象的位姿信息，并对估计的位姿信息进行修正，将修正后的位姿信息传输至机器人规划及抓取模块；
S5、利用机器人规划及抓取模块根据采用手眼标定方法获取的相机坐标系和机器人基坐标系的相对位置关系，将接收的位姿信息转换到机器人基坐标系，并根据机器人运动学模型生成机器人抓取的过程轨迹规划路径；
S6、利用虚拟仿真交互平台根据接收的机器人抓取的过程轨迹规划路径控制机器人执行抓取任务。
本发明具有以下有益效果：
1)本发明的仿真系统设计，利用ROS-Gazebo实现机器人视觉辅助抓取仿真系统的搭建，可直接在仿真环境进行全仿真模拟实验，相机与机器人的信息交互更加便捷化。
2)本发明对目标位姿估计采用深度学习思想实现对RGB-D数据的特征提取及逐像素特征融合，再进行迭代细化得出精确位姿信息。结合深度学习与RGB-D数据传输，有效提高对目标位姿估计的速度和精度。
3)对神经网络的训练数据集制作，采用仿真相机在仿真环境利用基于球面的随机快速采点方法进行大量训练数据集自动采集，其次对采集的RGB-D数据进行自动快速标注，最后是数据集训练格式生成，得到可训练的仿真数据集。使深度学习网络估计结果更加快速有效和准确。
4)采用ROS-MoveIt进行机器人的轨迹规划生成和驱动控制，抓取策略生成实现机器人自主抓取的快速、低功耗化。
5)应用了6D位姿估计的机器人视觉抓取能适应更杂乱无章的环境，使得机器人抓取的应用场景更加丰富。可广泛应用于货物分拣、机械加工和装配、电气电子工业等行业的实际生产，具有广阔的应用前景。
附图说明
图1为本发明实施例中一种基于目标6D位姿估计的机器人自主抓取仿真系统的结构示意图；
图2为本发明实施例中虚拟仿真交互平台的结构示意图；
图3为本发明实施例中MoveIt Setup Assistant配置示意图；
图4为本发明实施例中基于目标6D位姿估计的机器人自主抓取子系统的结构示意图；
图5为本发明实施例中改进的DenseFusion网络架构示意图；
图6为本发明实施例中目标物6D位姿估计模块的工作流程示意图；
图7为本发明实施例中姿态迭代细化流程示意图；
图8为本发明实施例中机器人目标抓取流程示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，本发明实施例提供了一种基于目标6D位姿估计的机器人自主抓取仿真系统，包括：
虚拟仿真交互平台，用于根据机器人自主抓取任务需求加载机器人、机械手抓、RGB-D深度传感器的三维模型，并根据接收的机器人抓取的过程轨迹规划路径控制机器人执行抓取任务；
基于目标6D位姿估计的机器人自主抓取子系统，用于根据RGB-D深度传感器采集的图像信息获取相机的内部参数和畸变系数、及图像配准矩阵，根据相机的畸变系数和图像配准矩阵对实时采集的图像信息进行配准；根据相机的内部参数对配准后的图像信息进行目标检测和6D位姿信息估计，得到目标位姿信息；根据目标位姿信息生成机器人抓取的过程轨迹规划路径，并传输至虚拟仿真交互平台。
在本发明的一个可选实施例中，本发明首先构建虚拟仿真交互平台，来实现仿真环境中实验场景搭建。具体而言，根据机器人自主抓取任务需求，加载机器人，二指机械手抓，RGB-D深度传感和实验桌等三维模型，搭建机器人视觉辅助抓取仿真系统，建立可直接与仿真机器人抓取系统交互和实时可视化的平台。
如图2所示，本发明通过URDF(Unified Robot Description Format)或xacro文件赋予三维模型配置信息，如质量、颜色、关节属性、摩擦系数、转动惯量等，这些是三维物理仿真平台所需要的。机器人固定在仿真环境中，以机器人基坐标系作为世界坐标系，二指机械手和RGB-D深度传感器固定在机器人末端，实验桌放置在机器人旁。
为建立一个整体抓取系统，需联立机器人、二指机械手抓、RGB-D深度传感器的模型文件，利用MoveIt进行驱动控制需进行MoveIt功能包的生成。机器人的D-H参数也通过xacro文件写入，通过TF坐标工具实现机器人的运动学正逆解，可以实时读取机器人每个关节相对于机器人基坐标的位姿信息。MoveIt功能包的生成利用MoveIt Setup Assistant进行配置，如图3所示，包括：加载模型文件、生成碰撞检测矩阵、定义虚拟关节、配置规划组、添加位姿、配置控制器、生成配置文件和保存调试。为使ROS驱动仿真机器人，需添加底层控制框架ros_control。建立机器人、机械手抓、深度传感器等仿真驱动，使能通过ROS实现对机器人和机械手抓的驱动控制，使深度传感器能产生RGB、Depth数据帧。
如图2所示，虚拟仿真交互平台主要有Gazebo、Rviz和用户编程三大部分组成，其中用户编程端通过相关数据传输与Gazebo端进行实时交互，Rviz端则是实时监听Gazebo端的目标物状态、传感器数据和机器人状态等数据并进行可视化展示，便于用户编程端的交互调试。Gazebo端则是利用仿真物理引擎对目标物体、传感器和机器人进行仿真并实时更新数据信息。
在本发明的一个可选实施例中，本发明在虚拟仿真交互平台设计完成后，在此基础上进行基于目标6D位姿估计的机器人自主抓取子系统设计，如图4所示，包括环境信息获取图像模块、视觉传感器参数模块、目标物6D位姿估计模块和机器人规划及抓取模块四个模块。
RGB-D相机含彩色相机和深度相机，可同时采集彩色图像和深度图像，环境信息获取图像模块中通过RGB-D传感器获取环境的彩色图与深度图信息。彩色图像含场景彩色信息，深度图像含场景到深度相机坐标系原点的距离信息。采集一定的标定板的彩色图与深度图数据后，通过视觉传感器参数模块进行相机标定、图像配准等，获取彩色相机和深度相机参数，并将内参矩阵、畸变系数、图像配准结果等传输到环境信息获取图像模块进行数据采集和初步图像处理。目标物6D位姿估计模块中6D位姿估计网络也需加载相关参数。对获取图像模块的获取的图像数据进行初步处理后进行节点发布，将图像数据发布出去，目标物6D位姿估计模块订阅获取图像数据，利用训练好的6D位姿估计网络进行目标位姿预测，得到目标基于相机坐标系的6D位姿信息，并将其发布传输到机器人规划及抓取模块。RGB-D相机通过eye-in-hand方式固定在机器人末端，通过手眼标定可求出末端和相机的位姿关系。通过手眼标定结果将信息转换到机器人基坐标系下，并对转换的结果生成对应的抓取规划轨迹和姿态进行抓取。通过MoveIt实现对机器人的控制抓取。
各模块主要通过ROS进行连接，将各模块结合在一起，从而实现从数据获取到位姿估计再到机器人抓取的过程，期间利用Rviz工具对各过程进行调试与监控。
下面对本发明的基于目标6D位姿估计的机器人自主抓取子系统中各个模块分别进行详细说明。
视觉传感器参数模块，用于对RGB-D深度传感器的彩色相机和深度相机进行离线标定，获取彩色相机和深度相机的内部参数和畸变系数、及图像配准矩阵，将彩色相机和深度相机的畸变系数及图像配准矩阵传输至环境信息获取图像模块，将彩色相机和深度相机的内部参数传输至目标物6D位姿估计模块。
具体而言，本发明的视觉传感器参数模块，用于对仿真深度传感器的彩色相机与深度相机进行相机参数标定及畸变校正，获取两个相机的内参和畸变系数，并进行彩色图和深度图配准。
相机标定是求解相机参数从而联立相机图像像素位置和真实世界坐标点位置的过程，由相机成像模型和相关坐标系的转换可知，为了求解世界坐标系某个位置在像素坐标系中的位置，首先要知道相机内参矩阵和外参矩阵。
视觉传感器参数模块主要是对RGB相机和深度相机进行相机标定，获取两个相机的内部参数和畸变系数，同时对采集的彩色图与深度图进行图像配准，获取配准结果矩阵，对于目标物6D位姿估计模块所需的图像缓存区大小进行设置并传输给此模块。相机标定采用张正友棋盘格标定法，参数优化采用Levenberg-Marquardt优化算法进行多参数的非线性优化求解。
因为用到的RGB-D传感器中彩色相机和深度相机会有一定距离，即在相机坐标系下，彩色相机光心和深度相机光心不在同一点，所以同时拍摄空间中的物体时，会使成像后的彩色图和深度图中的图像坐标不一致，会有偏移，为了让其重合，将深度图像坐标系转变到彩色图像坐标系。需要知道两个相机坐标系的转换关系，即需进行彩色图与深度图的配准。
彩色图的像素坐标以(uR,vR,zR)表示，其中uR,vR,zR分别为彩色图中像素的横纵坐标和深度值，深度图的像素坐标以(uD,vD,zD)表示，其中uD,vD,zD分别为深度图中像素的横纵坐标和深度值。则从深度图转换到彩色图的变换公式为：
其中，W`表示配准结果矩阵。
环境信息获取图像模块，用于利用建立的驱动程序采用ROS话题通信方式将数据发布到ROS系统以获取图像数据流进行实时的数据传输，并通过订阅话题实时获取彩色图像信息和深度图像信息；根据接收的彩色相机和深度相机的畸变系数及图像配准矩阵将实时获取的彩色图像信息和深度图像信息进行配准，并将配准后的彩色图像信息和深度图像信息传输至目标物6D位姿估计模块。
具体而言，本发明的环境信息获取图像模块，用于对任务场景环境进行包含抓取目标的图像数据采集及传输过程。环境信息获取图像模块利用建立好的驱动，通过驱动程序利用ROS的话题通信将数据发布到ROS系统，稳定获取图像数据流进行实时的数据传输，环境信息获取图像模块订阅话题获取实时图像信息。为实现图像数据的标准化和数据准确化，还需获得离线标定过程得到的内参、畸变系数及图像配准结果等，将图像转变成可用数据进行模块间的传输。在仿真环境中对仿真相机进行数据采集，需添加libgazebo动态库插件，使仿真相机能同时产生RGB、Depth数据帧。
目标物6D位姿估计模块，用于对接收的配准后的彩色图像信息进行图像分割以获取表示场景中对象的掩码，从图像分割后的彩色图像信息及配准后的深度图像信息中分别提取颜色特征和几何特征，将颜色特征和几何特征进行对应像素位置的逐像素特征融合，估计场景中每个对象的位姿信息，并对估计的位姿信息进行修正，将修正后的位姿信息传输至机器人规划及抓取模块；
其中目标物6D位姿估计模块从图像分割后的彩色图像信息及配准后的深度图像信息中分别提取颜色特征和几何特征的方法为：
采用全卷积神经网络对图像分割后的彩色图像信息进行特征提取，得到颜色特征；
将配准后的深度图像信息点云化表示，并进行点云的关键点提取，将点云的形状、角度、面积特征采用形状函数集合全局描述符表示，得到几何特征。
其中目标物6D位姿估计模块对估计的位姿信息进行修正的方法为：
利用姿态估计细化网络对前一次迭代估计的姿态信息进行姿态的残差估计，并更新姿态信息；
利用特征修正网络对更新后的姿态信息进行特征修正，将几何特征通过点云方法进行姿态转换，得到几何特征嵌入；将颜色特征首先通过点云投影到二维平面并判断是否正确投影；如果正确投影，则进行颜色特征到投影区域的图像修正，修正过程包括形态闭合和模糊周围区域，最后得到颜色特征嵌入；如果没有正确投影，则重用前一次迭代的颜色特征嵌入；
将几何特征嵌入和颜色特征嵌入进行逐像素的融合，并采用深度学习网络预测位姿信息，进行下一次迭代。
本发明采用的深度学习网络的训练方法为：
采用基于球面的随机快速采点方法进行训练数据集自动采集；
对采集的训练数据进行自动快速标注；
按照设定的数据集训练格式生成可训练的仿真数据集；
利用生成的仿真数据集离线训练深度学习网络的权重参数。
其中基于球面的随机快速采点方法具体为：
首先设置相机高度区间和目标与相机的距离区间，并将目标与相机的距离作为球面半径，随机选取一个相机高度和球面半径，构建平面方程为：
其中，XYR表示相机坐标系的X轴、Y轴与球面半径的平面方程，r表示球面半径，z表示相机高度，z_offset表示目标模型中坐标原点与其底面中点之间的偏置；
然后对相机的姿态进行约束，使得相机在每个X轴、Y轴、Z轴位置时，目标都在相机的视野内，表示为：
rz＝arctan(dy,dx)
其中，ry,rz分别表示相机绕Y轴和Z轴的旋转角度，x,y,z分别表示相机在X轴、Y轴、Z轴的坐标值；
最终生成相机位姿(x,yz,rx,ry,rz)，其中rx表示相机绕X轴的旋转角度。
具体而言，目标物6D位姿估计模块是对于要抓取的目标物的位姿估计实现部分，预先加载6D位姿估计算法的权值和从视觉传感器参数模块获取的相机内参等参数，对从环境信息获取模块获取的RGB-D数据进行处理，得到基于相机坐标系的目标位姿信息。
6D位姿估计算法采用改进的DenseFusion网络架构，如图5所示，由彩色图像和深度图像特征提取阶段、彩色特征和几何特征逐像素融合阶段、粗预测和迭代细化阶段组成，如图6所示。
第一阶段：接收原始RGB数据并应用对象分割以获取表示场景中对象的掩码。
第二阶段：特征提取，从RGB和深度图像中分别进行特征提取。
第三阶段：RGB图像的特征和深度图像的特征以像素方式进行像素级特征融合，位姿预测器估计场景中每个对象的位姿，输出旋转矩阵和平移向量。
第四阶段：位姿细化对物体的位姿进行小幅调整修正，并返回最终结果。
目标物6D位姿估计模块同时处理RGB数据和深度图数据，并分别进行像素的特征提取，从中进行位姿估计，为使结果更准确，获得初始位姿数据后进行迭代细化过程，进一步修正姿态估计结果。
对其彩色图像特征提取采用全卷积网络进行，对彩色图像的特征提取阶段，先进行图像裁剪减少运算量和干扰信息，对裁剪后的图像利用全卷积神经网络进行颜色信息的特征提取，得到颜色特征，对深度图像特征提取进行改进，采用形状函数集合全局描述符进行，考虑形状、角度、面积等信息，增大特征提取效率，得到几何特征，为使形状函数集合全局描述符与其他架构进行结合，需要更改神经网络的第一层，在该层进行逐像素融合，使其可以接收来自形状函数集合全局描述符的输出。特征像素融合阶段是对特征提取阶段得到的颜色和几何特征进行对应像素位置的逐像素特征融合，将颜色和几何特征进行联立。迭代细化过程，为解决DenseFusion中未充分利用RGB-D信息的问题，采用一种新的迭代细化过程对估计的姿态进行修正，通过迭代更新姿态细化网络的几何形状和颜色输入数据，获得更好的估计结果，如图7所示。同时考虑对几何和颜色特征的迭代细化，使预测结果更精确。
姿态迭代细化过程学习姿态如何逐渐变化以缩小预测和真实值之间的差距。预测姿态的残差通过迭代设置当前变换的点云作为细化网络的新输入数据进行学习。在迭代过程中，几何嵌入会根据预测的姿态进行更改，在原DenseFusion的结构基础上扩展了预测姿态的使用，以改善颜色嵌入。如图7所示，其中前一阶段的估计姿态输入到姿态残差估计网络中。随后更新预测的姿态，用于转换当前点云的姿态，以修改几何嵌入和颜色嵌入。几何嵌入的重建相对简单，因为细化网络必须知道基于预测姿态的点云几何结构的变化。但是，颜色嵌入的修正需要判断细化过程中启动修正的时间。一旦该过程启动，通过使用预测的姿态和相机内部参数将所选点云投影到捕获的图像上，然后计算位于从上一个数据采集阶段估计的边界框区域中的投影点的数量。可将以下分数f计算为f＝ni/n，n是从所选点云投影的像素位置的总数，ni是位于边界框区域内的投影点的数量。如果f大于0.8则表示投影正确，进行图像修正过程，并在优化过程的最后一步将修正后的图像嵌入到颜色嵌入中。
深度学习网络训练及图像处理过程为：利用仿真数据集训练网络得到权重文件，网络加载权重文件进行输入数据的伺服获取，订阅到的图像数据后输入到网络进行网络预测，得到的输出是目标基于相机坐标系的位姿信息。
为使位姿估计网络预测结果更精确，需要合适的数据集进行训练，为此设计一套仿真数据集。对于仿真数据集制作，首先采用基于球面的随机快速采点方法进行大量训练数据集自动采集。
基于球面的随机快速采点方法，首先是相机的位置不能离目标物太近或太远，也不能到目标物的背面，要符合后期机器人抓取时的相机伺服状态下的范畴，因此对相机的X、Y、Z轴坐标进行限制，首先令相机的高度在1.5～1.9m之间，再令目标和相机的距离在0.6～1m之间并令其为球面半径，对于某一高度z和某一半径r，导出XY平面，平面方程为
此时x,y的值可根据下式求出
x＝XYR×cos(randθ),y＝XYR×sin(randθ)
限制X、Y、Z在后期实验的合理范围后，需要对相机的姿态进行约束，使得相机在每个X、Y、Z位置时，目标物都在相机的视野里，令r＝rand_roll, rz＝arctan(dy,dx)。最终生成相机位姿(x,yz,rx,ry,rz)。
机器人规划及抓取模块，用于根据采用手眼标定方法获取的相机坐标系和机器人基坐标系的相对位置关系，将接收的位姿信息转换到机器人基坐标系，并根据机器人运动学模型生成机器人抓取的过程轨迹规划路径。
具体而言，机器人规划及抓取模块获取从目标物6D位姿估计模块得到的目标位姿信息，并利用手眼标定结果将位姿转换到机器人基坐标系下，并根据机器人运动学模型调用轨迹规划算法得出进行抓取的轨迹，最后控制机器人完成抓取任务。即根据目标基于相机坐标系的位姿信息和手眼标定矩阵可以得到目标基于机器人基坐标系的位姿信息，表示为
H机器人＝H手眼标定结果×H相机
其中，H机器人表示目标基于相机坐标系的位姿信息矩阵，H手眼标定结果表示手眼标定矩阵，H相机表示目标基于机器人基坐标系的位姿信息矩阵。
相机标定可以得到相机内外参数，外参即为标定板和相机的相对位置关系，在机器人视觉智能抓取的过程中，还需考虑相机和机器人的相对位置关系，才能将相机获得的目标位姿信息转换成以机器人为参考坐标的位姿信息。而获取相机坐标系和机器人坐标系相对关系的方法即手眼标定。
手眼标定为：视觉模块获取的坐标信息是基于相机坐标系的，而抓取控制是基于机器人基坐标系的，因此机器人视觉辅助抓取过程需要将获取的基于相机坐标系的信息转换到机器人坐标系下，即求出相机和机器人的相对固定关系，此过程为手眼标定。根据相机固定方式可分为eye-to-hand和eye-in-hand两种。eye-to-hand方式中，相机是固定在外部环境中，不与机器人直接接触的，此时相机坐标系和世界坐标系关系是固定不动的，这种方式中手眼标定要求解的是相机坐标系和机器人基坐标的位姿关系。eye-in-hand方式则是将相机固定在机器人末端，随着机器人运动而运动，此时手眼标定要求解的是相机和机器人末端的位姿关系。手眼标定利用Tsai-Lenz手眼标定两步法，求解出相机和机器人的相对固定关系。
如图8所示，机器人目标抓取流程主要分为抓取准备阶段、目标位姿估计阶段、生成抓取位姿阶段、预抓取阶段、实际抓取阶段和放置物体阶段。抓取准备阶段控制机器人运动到初始位置；目标位姿估计阶段采用深度相机实时采集RGB-D图像，并进行目标6D位姿估计，判断位姿估计是否成功，当位姿估计成功时进行下一阶段，当位姿估计不成功时重新采集RGB-D图像；生成抓取位姿阶段根据目标6D位姿估计目标抓取位姿和机器人期望抓取位姿；预抓取阶段控制机器人运动到预抓取位姿，判断机器人是否到达预抓取位姿，当没有到达预抓取位姿时继续控制机器人运动到预抓取位姿，当到达预抓取位姿时机器人已到达预抓取位姿，进行下一阶段；实际抓取阶段将机器人运动到期望抓取位姿，判断机器人是否到达期望抓取位姿，当没有到达期望抓取位姿时继续控制机器人运动到期望抓取位姿，当到达期望抓取位姿时控制机械手抓取目标物体，进而判断机械手是否完成抓取，当没有完成抓取时继续控制机械手抓取目标物体，当完成抓取时进行下一阶段；放置物体阶段控制机器人运动到放置位置，判断是否到达放置位置，当没有到达放置位置时继续控制机器人运动到放置位置，当到达放置位置时控制机械手释放目标物体，然后控制机器人运动到初始位姿，完成抓取流程。
第二方面，本发明提出了一种基于目标6D位姿估计的机器人自主抓取仿真方法，包括以下步骤：
S1、利用虚拟仿真交互平台根据机器人自主抓取任务需求加载机器人、机械手抓、RGB-D深度传感器的三维模型；
S2、利用视觉传感器参数模块对RGB-D深度传感器的彩色相机和深度相机进行离线标定，获取彩色相机和深度相机的内部参数和畸变系数、及图像配准矩阵，将彩色相机和深度相机的畸变系数及图像配准矩阵传输至环境信息获取图像模块，将彩色相机和深度相机的内部参数传输至目标物6D位姿估计模块；
S3、利用环境信息获取图像模块根据建立的驱动程序采用ROS话题通信方式将数据发布到ROS系统以获取图像数据流进行实时的数据传输，并通过订阅话题实时获取彩色图像信息和深度图像信息；根据接收的彩色相机和深度相机的畸变系数及图像配准矩阵将实时获取的彩色图像信息和深度图像信息进行配准，并将配准后的彩色图像信息和深度图像信息传输至目标物6D位姿估计模块；
S4、利用目标物6D位姿估计模块对接收的配准后的彩色图像信息进行图像分割以获取表示场景中对象的掩码，从图像分割后的彩色图像信息及配准后的深度图像信息中分别提取颜色特征和几何特征，将颜色特征和几何特征进行对应像素位置的逐像素特征融合，估计场景中每个对象的位姿信息，并对估计的位姿信息进行修正，将修正后的位姿信息传输至机器人规划及抓取模块；
S5、利用机器人规划及抓取模块根据采用手眼标定方法获取的相机坐标系和机器人基坐标系的相对位置关系，将接收的位姿信息转换到机器人基坐标系，并根据机器人运动学模型生成机器人抓取的过程轨迹规划路径；
S6、利用虚拟仿真交互平台根据接收的机器人抓取的过程轨迹规划路径控制机器人执行抓取任务。
具体而言，本发明执行抓取操作的流程为：
根据抓取任务需求，建立机器人、机械手抓、RGB-D深度传感器的三维模型和实验平台三维模型，并将其导入虚拟仿真平台Gazebo中，设置合适坐标关系并显示其场景。
建立机器人、机械手抓、深度传感器等仿真驱动，使能通过ROS实现对机器人和机械手抓的驱动控制，使深度传感器能产生RGB、Depth数据帧，并进行相机标定、手眼标定等系统标定。
仿真深度传感器实现对场景信息的数据流采集，可同时得到仿真场景的彩色图像和深度图像，彩色图像包含拍摄场景的颜色信息，深度图像包含场景点到相机坐标系原点的距离信息。利用标定和配准结果进行图像校正，并将其结果进行节点发布。
深度学习网络对发布出来的图像数据信息进行订阅，对得到的RGB-D数据进行处理，得到待抓取目标基于相机坐标系的6D位姿信息，并将其通过手眼标定转换矩阵转换到机器人坐标系下。
机器人控制器得到待抓取目标的6D位姿信息后，通过正逆运动学得到对目标抓取过程轨迹并通过MoveIt执行抓取任务。
抓取到任务后，执行放置目标轨迹到放置点，放置好目标后，回到初始点，伺服等待下一次抓取任务。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (6)

1.一种基于目标6D位姿估计的机器人自主抓取仿真系统，其特征在于，包括：
虚拟仿真交互平台，用于根据机器人自主抓取任务需求加载机器人、机械手抓、RGB-D深度传感器的三维模型，并根据接收的机器人抓取的过程轨迹规划路径控制机器人执行抓取任务；
基于目标6D位姿估计的机器人自主抓取子系统，用于根据RGB-D深度传感器采集的图像信息获取相机的内部参数和畸变系数、及图像配准矩阵，根据相机的畸变系数和图像配准矩阵对实时采集的图像信息进行配准；根据相机的内部参数对配准后的图像信息进行目标检测和6D位姿信息估计，得到目标位姿信息；根据目标位姿信息生成机器人抓取的过程轨迹规划路径，并传输至虚拟仿真交互平台；
所述基于目标6D位姿估计的机器人自主抓取子系统包括：
目标物6D位姿估计模块，用于对接收的配准后的彩色图像信息进行图像分割以获取表示场景中对象的掩码，从图像分割后的彩色图像信息及配准后的深度图像信息中分别提取颜色特征和几何特征，将颜色特征和几何特征进行对应像素位置的逐像素特征融合，估计场景中每个对象的位姿信息，并对估计的位姿信息进行修正，将修正后的位姿信息传输至机器人规划及抓取模块；
其中从图像分割后的彩色图像信息及配准后的深度图像信息中分别提取颜色特征和几何特征的方法为：
采用全卷积神经网络对图像分割后的彩色图像信息进行特征提取，得到颜色特征；
将配准后的深度图像信息点云化表示，并进行点云的关键点提取，将点云的形状、角度、面积特征采用形状函数集合全局描述符表示，得到几何特征；
所述基于目标6D位姿估计的机器人自主抓取子系统包括：
机器人规划及抓取模块，用于根据采用手眼标定方法获取的相机坐标系和机器人基坐标系的相对位置关系，将接收的位姿信息转换到机器人基坐标系，并根据机器人运动学模型生成机器人抓取的过程轨迹规划路径；
所述目标物6D位姿估计模块对估计的位姿信息进行修正的方法为：
利用姿态估计细化网络对前一次迭代估计的姿态信息进行姿态的残差估计，并更新姿态信息；
利用特征修正网络对更新后的姿态信息进行特征修正，将几何特征通过点云方法进行姿态转换，得到几何特征嵌入；将颜色特征首先通过点云投影到二维平面并判断是否正确投影；如果正确投影，则进行颜色特征到投影区域的图像修正，修正过程包括形态闭合和模糊周围区域，最后得到颜色特征嵌入；如果没有正确投影，则重用前一次迭代的颜色特征嵌入；
将几何特征嵌入和颜色特征嵌入进行逐像素的融合，并采用深度学习网络预测位姿信息，进行下一次迭代。
2.根据权利要求1所述的基于目标6D位姿估计的机器人自主抓取仿真系统，其特征在于，所述基于目标6D位姿估计的机器人自主抓取子系统包括：
视觉传感器参数模块，用于对RGB-D深度传感器的彩色相机和深度相机进行离线标定，获取彩色相机和深度相机的内部参数和畸变系数、及图像配准矩阵，将彩色相机和深度相机的畸变系数及图像配准矩阵传输至环境信息获取图像模块，将彩色相机和深度相机的内部参数传输至目标物6D位姿估计模块。
3.根据权利要求2所述的基于目标6D位姿估计的机器人自主抓取仿真系统，其特征在于，所述基于目标6D位姿估计的机器人自主抓取子系统包括：
环境信息获取图像模块，用于利用建立的驱动程序采用ROS话题通信方式将数据发布到ROS系统以获取图像数据流进行实时的数据传输，并通过订阅话题实时获取彩色图像信息和深度图像信息；根据接收的彩色相机和深度相机的畸变系数及图像配准矩阵将实时获取的彩色图像信息和深度图像信息进行配准，并将配准后的彩色图像信息和深度图像信息传输至目标物6D位姿估计模块。
4.根据权利要求3所述的基于目标6D位姿估计的机器人自主抓取仿真系统，其特征在于，所述深度学习网络的训练方法为：
采用基于球面的随机快速采点方法进行训练数据集自动采集；
对采集的训练数据进行自动快速标注；
按照设定的数据集训练格式生成可训练的仿真数据集；
利用生成的仿真数据集离线训练深度学习网络的权重参数。
5.根据权利要求4所述的基于目标6D位姿估计的机器人自主抓取仿真系统，其特征在于，所述基于球面的随机快速采点方法具体为：
首先设置相机高度区间和目标与相机的距离区间，并将目标与相机的距离作为球面半径，随机选取一个相机高度和球面半径，构建平面方程为：
其中，XYR表示相机坐标系的X轴、Y轴与球面半径的平面方程，rand表示取随机数，r表示球面半径，z表示相机高度，z_offset表示目标模型中坐标原点与其底面中点之间的偏置；
然后对相机的姿态进行约束，使得相机在每个X轴、Y轴、Z轴位置时，目标都在相机的视野内，表示为：
rz＝arctan(dy,dx)
其中，ry,rz分别表示相机绕Y轴和Z轴的旋转角度，x,y,z分别表示相机在X轴、Y轴、Z轴的坐标值；
最终生成相机位姿(x,yz,rx,ry,rz)，其中rx表示相机绕X轴的旋转角度。
6.一种应用于权利要求1所述系统的基于目标6D位姿估计的机器人自主抓取仿真方法，其特征在于，包括以下步骤：
S1、利用虚拟仿真交互平台根据机器人自主抓取任务需求加载机器人、机械手抓、RGB-D深度传感器的三维模型；
S2、利用视觉传感器参数模块对RGB-D深度传感器的彩色相机和深度相机进行离线标定，获取彩色相机和深度相机的内部参数和畸变系数、及图像配准矩阵，将彩色相机和深度相机的畸变系数及图像配准矩阵传输至环境信息获取图像模块，将彩色相机和深度相机的内部参数传输至目标物6D位姿估计模块；
S3、利用环境信息获取图像模块根据建立的驱动程序采用ROS话题通信方式将数据发布到ROS系统以获取图像数据流进行实时的数据传输，并通过订阅话题实时获取彩色图像信息和深度图像信息；根据接收的彩色相机和深度相机的畸变系数及图像配准矩阵将实时获取的彩色图像信息和深度图像信息进行配准，并将配准后的彩色图像信息和深度图像信息传输至目标物6D位姿估计模块；
S4、利用目标物6D位姿估计模块对接收的配准后的彩色图像信息进行图像分割以获取表示场景中对象的掩码，从图像分割后的彩色图像信息及配准后的深度图像信息中分别提取颜色特征和几何特征，将颜色特征和几何特征进行对应像素位置的逐像素特征融合，估计场景中每个对象的位姿信息，并对估计的位姿信息进行修正，将修正后的位姿信息传输至机器人规划及抓取模块；
S5、利用机器人规划及抓取模块根据采用手眼标定方法获取的相机坐标系和机器人基坐标系的相对位置关系，将接收的位姿信息转换到机器人基坐标系，并根据机器人运动学模型生成机器人抓取的过程轨迹规划路径；
S6、利用虚拟仿真交互平台根据接收的机器人抓取的过程轨迹规划路径控制机器人执行抓取任务。
CN202210585893.5A 2022-05-26 2022-05-26 基于目标6d位姿估计的机器人自主抓取仿真系统及方法 Active CN114912287B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210585893.5A CN114912287B (zh) 2022-05-26 2022-05-26 基于目标6d位姿估计的机器人自主抓取仿真系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210585893.5A CN114912287B (zh) 2022-05-26 2022-05-26 基于目标6d位姿估计的机器人自主抓取仿真系统及方法

Publications (2)

Publication Number Publication Date
CN114912287A CN114912287A (zh) 2022-08-16
CN114912287B true CN114912287B (zh) 2023-07-25

Family

ID=82767801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210585893.5A Active CN114912287B (zh) 2022-05-26 2022-05-26 基于目标6d位姿估计的机器人自主抓取仿真系统及方法

Country Status (1)

Country Link
CN (1) CN114912287B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115131407B (zh) * 2022-09-01 2022-11-22 湖南超能机器人技术有限公司 面向数字仿真环境的机器人目标跟踪方法、装置和设备
CN115519546B (zh) * 2022-10-25 2023-06-27 中国科学院国家空间科学中心 一种基于智能视觉的天地协同空间科学实验机器人
CN116416307B (zh) * 2023-02-07 2024-04-02 浙江大学 基于深度学习的预制构件吊装拼接3d视觉引导方法
CN116596996B (zh) * 2023-05-26 2024-01-30 河北农业大学 一种用于苹果果实空间位姿信息的获取方法及系统
CN116664843B (zh) * 2023-06-05 2024-02-20 北京信息科技大学 一种基于rgbd图像和语义分割的残差拟合抓取检测网络
CN117290980B (zh) * 2023-11-27 2024-02-02 江西格如灵科技股份有限公司 一种基于Unity平台的机械臂仿真方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738261A (zh) * 2020-06-30 2020-10-02 张辉 基于位姿估计和校正的单图像机器人无序目标抓取方法
CN112720459A (zh) * 2020-12-02 2021-04-30 达闼机器人有限公司 目标物体抓取方法、装置、存储介质及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109102547A (zh) * 2018-07-20 2018-12-28 上海节卡机器人科技有限公司 基于物体识别深度学习模型的机器人抓取位姿估计方法
US11701771B2 (en) * 2019-05-15 2023-07-18 Nvidia Corporation Grasp generation using a variational autoencoder
US11724401B2 (en) * 2019-11-13 2023-08-15 Nvidia Corporation Grasp determination for an object in clutter
CN111055281B (zh) * 2019-12-19 2021-05-07 杭州电子科技大学 一种基于ros的自主移动抓取系统与方法
CN113409384B (zh) * 2021-08-17 2021-11-30 深圳市华汉伟业科技有限公司 一种目标物体的位姿估计方法和系统、机器人

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738261A (zh) * 2020-06-30 2020-10-02 张辉 基于位姿估计和校正的单图像机器人无序目标抓取方法
CN112720459A (zh) * 2020-12-02 2021-04-30 达闼机器人有限公司 目标物体抓取方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN114912287A (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN114912287B (zh) 基于目标6d位姿估计的机器人自主抓取仿真系统及方法
US10401844B2 (en) Simulator, simulation method, and simulation program
JP7326911B2 (ja) 制御システムおよび制御方法
CN113379849B (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
CN111046948A (zh) 点云仿真和深度学习的工件位姿识别及机器人上料方法
CN111459274B (zh) 一种基于5g+ ar的针对非结构化环境的遥操作方法
CN110722533B (zh) 轮式移动机器人外参数无标定视觉伺服跟踪
CN114714365B (zh) 一种基于云平台的无序工件抓取方法及其系统
Yang et al. Visual servoing of humanoid dual-arm robot with neural learning enhanced skill transferring control
CN111152227A (zh) 一种基于引导式dqn控制的机械臂控制方法
CN114851201B (zh) 一种基于tsdf三维重建的机械臂六自由度视觉闭环抓取方法
Liu et al. Visual servoing with deep learning and data augmentation for robotic manipulation
CN109079777A (zh) 一种机械臂手眼协调作业系统
CN117103277A (zh) 一种基于多模态数据融合的机械手臂感知方法
CN115631401A (zh) 一种视觉感知的机器人自主抓取技能学习系统及方法
CN114131603B (zh) 基于感知增强和场景迁移的深度强化学习机器人抓取方法
CN107443369A (zh) 一种基于视觉测量模型逆辨识的机器臂无标定伺服控制方法
CN112700536A (zh) 轮胎点云补全方法、装配方法、控制装置及存储介质
Li et al. Hard Disk Posture Recognition and Grasping Based on Depth Vision
Zhang et al. Research on AUV Recovery by Use of Manipulator Based on Vision Servo
CN215701709U (zh) 一种可配置的手眼标定装置
Liu et al. Real time pose estimation based on extended Kalman filter for binocular camera
CN115219492B (zh) 一种三维物体的外观图像采集方法及装置
An et al. An Autonomous Grasping Control System Based on Visual Object Recognition and Tactile Perception
Gan et al. Dual Arm Cooperation Based on Visual Servo Control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant