CN115018876A - 一种基于ros的非合作目标抓取控制系统 - Google Patents

一种基于ros的非合作目标抓取控制系统 Download PDF

Info

Publication number
CN115018876A
CN115018876A CN202210643004.6A CN202210643004A CN115018876A CN 115018876 A CN115018876 A CN 115018876A CN 202210643004 A CN202210643004 A CN 202210643004A CN 115018876 A CN115018876 A CN 115018876A
Authority
CN
China
Prior art keywords
cooperative target
data
cooperative
image data
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210643004.6A
Other languages
English (en)
Other versions
CN115018876B (zh
Inventor
黄成�
刘亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202210643004.6A priority Critical patent/CN115018876B/zh
Publication of CN115018876A publication Critical patent/CN115018876A/zh
Application granted granted Critical
Publication of CN115018876B publication Critical patent/CN115018876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J18/00—Arms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于ROS的非合作目标抓取控制系统，包括以下步骤：使用位姿数据集制作软件采集、制作非合作的位姿数据集，对位姿数据集进行预训练，得到权重数据；采集非合作目标所在区域对齐的RGBD图像数据构建运动场景和进行位姿估计，结合训练过的数据集和权重数据处理RGBD图像数据；把所要捕获的非合作目标的位姿数据送入空间机械臂轨迹规划功能进行轨迹规划，通过插值方式拟合出一条平滑的轨迹曲线；控制机械臂依次通过这些路径点，当机械臂通过最后一个路径点后，闭合夹爪，实现对空间非合作目标的捕获。本发明解决了现有捕获方式对进行维修或补充燃料的航天器极易造成损坏的问题，适应性强、应用面广、易于控制、成本低且能够重复利用的优点。

Description

一种基于ROS的非合作目标抓取控制系统
技术领域
本发明涉及空间在轨服务技术领域，尤其是涉及一种基于ROS的非合作目标抓取控制系统。
背景技术
随着航天事业的发展，空间在轨服务技术应运而生，非合作目标的捕获技术已经成为了空间在轨服务的研究热点之一。目前较成功的非合作目标捕获技术是采用弹射飞网捕获，其基本原理是采用火工品抛射质量块引导飞网展开，在对非合作目标形成包络后，质量块在自身惯性的作用下继续运动使飞网包紧目标，之后再对飞网及非合作目标进行整体回收。此种捕获方式存在诸多缺点，首先是无法掌控飞网包裹非合作目标的力度，此方法只适用于捕获废弃或不易损坏的非合作目标，对于只是进行维修或者补充燃料的航天器极易造成损坏，严重的甚至是报废。其次所使用的飞网为一次性使用的捕获装置，无法重复使用，在非合作目标数量逐年增长的情况下，该方法应用成本较高。
发明内容
本发明的目的是提供一种基于ROS的非合作目标抓取控制系统，解决了现有捕获方式对进行维修或补充燃料的航天器极易造成损坏的问题，具有适应性强、应用面广、易于控制、成本低且能够重复利用的优点。
为实现上述目的，本发明提供了一种基于ROS的非合作目标抓取控制系统，包括以下步骤：
S1、利用深度相机和位姿数据集制作软件采集、制作非合作的位姿数据集，并且利用深度学习网络对位姿数据集进行预训练，得到权重数据；
S2、利用深度相机采集非合作目标所在区域对齐的RGBD图像数据构建运动场景，包括构建障碍物地图(Octomap)和规划场景(Planning Scene)，并根据RGBD图像数据实时更新运动场景，为轨迹规划提供碰撞检测和约束检测；
S3、利用深度相机采集非合作目标所在区域对齐的RGBD图像数据进行位姿估计，将RGBD图像数据送入深度学习网络，结合步骤S1中训练过的数据集和权重数据处理深度相机采集的RGBD图像数据，以得到所要捕获的非合作目标的位姿数据(位置数据和姿态数据)；
S4、把步骤S3中得到的所要捕获的非合作目标的位置数据和姿态数据送入运动场景，剔除障碍物地图中非合作目标的障碍物标记，更新规划场景，进行轨迹规划，以得到机械臂所要经过的初始路径点，把初始路径点送入轨迹优化功能进行轨迹优化，通过插值的方式拟合出一条平滑的轨迹曲线；
S5、根据步骤S4中得到的优化后的轨迹，控制机械臂末端执行器依次通过这些路径点，当机械臂末端执行器通过最后一个路径点后，闭合夹爪，实现对空间非合作目标的捕获。
优选的，所述步骤S1中非合作目标的位姿数据集的制作和预训练过程具体为使用深度相机采集非合作目标对齐后的RGBD图像数据，送入ObjectDatasetTools软件裁剪出非合作目标的点云数据并作为标准点云数据，围绕非合作目标放置好标记二维码后，稳定且缓慢地移动深度相机录制位姿数据集，并将制作完成的位姿数据集送入深度学习网络进行预训练，得到权重数据。
优选的，所述步骤S2中构建运动场景，以获取环境中障碍物信息具体为利用深度相机采集空间非合作目标所在区域对齐的RGBD图像数据，将Depth图像数据送入八叉树地图(Octomap)以八叉树的数据形式构建出相机视场内的障碍物分布地图，形成立体的障碍物地图(非合作目标被标记为障碍物)，使用碰撞检测算法(FCL)为轨迹规划提供碰撞检测和约束检测，包括自我碰撞检测、环境碰撞检测，同步构建规划场景(Planning Scene)，为轨迹规划提供运动学约束检测。
优选的，所述步骤S3中对非合作目标进行位姿估计，以获取非合作目标的位姿信息具体为利用深度相机采集空间非合作目标所在区域对齐的RGBD图像数据，将RGBD图像数据送入加载了预训练数据集和权重数据的深度学习网络，将RGB图像数据送入卷积神经网络(CNN)用于提取图像中每个像素的表面特征，将Depth图像数据送入点云神经网络(PointNet++)用于提取每个像素的几何特征，将提取到的每个像素的表面特征与几何特征送入像素级的异构融合网络(Densefusion)融合两种特征，融合特征后的数据分别送入3D关键点检测模块、实例语义分割模块，然后使用聚类算法和霍夫投票算法实现非合作目标上的点为非合作目标上的关键点投票，最后使用最小二乘法拟合关键点，估计出非合作目标的姿态数据，最后利用ROS系统消息发布机制广播出去非合作目标的位姿信息。
优选的，所述3D关键点检测模块使用聚类算法选出投票点并将聚类后集群点的中心作为投票的关键点，使用最远采样点算法和霍夫投票算法选出3D关键点；
所述实例语义分割模块包括语义分割模块和中心投票模块两部分，语义分割模块是把融合特征后的像素数据标记语义标签，实现语义分割不同的物体并根据加载的预训练数据集和权重数据找到非合作目标，中心投票模块是对融合特征后的像素进行投票，预测出不同物体的中心点，其中包括非合作目标的中心点即为位置数据。
优选的，所述步骤S4中对机械臂抓取非合作目标进行轨迹规划，以规划一条平滑的轨迹曲线具体为轨迹规划功能根据ROS系统消息发布机制订阅并接收到非合作目标的位姿信息，将步骤S3中得到的所要捕获非合作目标的位置数据和姿态数据运动场景和机械臂轨迹规划功能进行轨迹规划，然后对蚁群算法规划出的一条从起始点到目标点且实现避障的轨迹进行优化，利用三次B-样条插值曲线方法对以蚁群算法规划的轨迹进行轨迹优化，得到平滑的机械臂空间避障轨迹。
优选的，所述步骤S5中实现对非合作目标的捕获具体为将步骤S4中得到的优化后的轨迹依次输入执行器，控制机械臂末端执行器依次通过这些路径点，当执行机构通过最后一个路径点时即可执行捕获操作，当夹取机构的力学传感器返回的数据达到阈值时，即为捕获完成。
因此，本发明采用上述一种基于ROS的非合作目标抓取控制系统，解决了现有捕获方式对进行维修或补充燃料的航天器极易造成损坏的问题，具有适应性强、应用面广、易于控制、成本低且能够重复利用的优点。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明一种基于ROS的非合作目标抓取控制系统实施例的流程图；
图2为本发明一种基于ROS的非合作目标抓取控制系统实施例的平滑的轨迹曲线制作流程图。
具体实施方式
以下通过附图和实施例对本发明的技术方案作进一步说明。
实施例
本发明提供了一种基于ROS的非合作目标抓取控制系统，包括以下步骤：
S1、利用深度相机和位姿数据集制作软件采集、制作非合作的位姿数据集，并且利用深度学习网络对位姿数据集进行预训练，得到权重数据；非合作目标的位姿数据集的制作和预训练过程具体为使用深度相机采集非合作目标对齐后的RGBD图像数据，送入ObjectDatasetTools软件裁剪出非合作目标的点云数据并作为标准点云数据，围绕非合作目标放置好标记二维码后，稳定且缓慢地移动深度相机录制位姿数据集，并将制作完成的位姿数据集送入深度学习网络进行预训练，得到权重数据。
S2、利用深度相机采集非合作目标所在区域对齐的RGBD图像数据进行位姿估计，将Depth图像数据送入八叉树地图(Octomap)以八叉树的数据形式构建出相机视场内的障碍物分布地图，形成立体的障碍物地图(非合作目标被标记为障碍物)，使用碰撞检测算法(FCL)为轨迹规划提供碰撞检测和约束检测，包括自我碰撞检测、环境碰撞检测；同步构建规划场景(Planning Scene)，为轨迹规划提供运动学约束检测结合步骤。
S3、利用深度相机采集非合作目标所在区域对齐的RGBD图像数据进行位姿估计，将RGBD图像数据送入深度学习网络，结合步骤S1中训练过的数据集和权重数据处理深度相机采集的RGBD图像数据，以得到所要捕获的非合作目标的位姿数据(位置数据和姿态数据)；对非合作目标进行位姿估计，以获取非合作目标的位姿信息。利用深度相机采集空间非合作目标所在区域对齐的RGBD图像数据，将RGBD图像数据送入加载了预训练数据集和权重数据的深度学习网络。将RGB图像数据送入卷积神经网络(CNN)用于提取图像中每个像素的表面特征；将Depth图像数据送入点云神经网络(PointNet++)用于提取每个像素的几何特征。将提取到的每个像素的表面特征与几何特征送入像素级异构融合网络(Densefusion)融合两种特征。融合特征后的数据分别送入3D关键点检测模块、实例语义分割模块。3D关键点检测模块使用聚类算法选出投票点并将聚类后集群点的中心作为投票的关键点，使用最远采样点算法和霍夫投票算法选出3D关键点。实例语义分割模块包括两部分：语义分割模块和中心投票模块。语义分割模块是把融合特征后的像素数据标记语义标签，实现语义分割不同的物体并根据加载的预训练数据集和权重数据找到非合作目标。中心投票模块是对融合特征后的像素进行投票，预测出不同物体的中心点，其中包括非合作目标的中心点即为位置数据。然后使用聚类算法和霍夫投票算法实现非合作目标上的点为非合作目标上的关键点投票，最后使用最小二乘法拟合关键点，估计出非合作目标的姿态数据。然后，利用ROS系统消息发布机制广播出去非合作目标的位姿信息。
S4、把步骤S3中得到的所要捕获的非合作目标的位置数据和姿态数据送入运动场景和机械臂轨迹规划功能进行轨迹规划，以得到机械臂所要经过的初始路径点，把初始路径点送入轨迹优化功能进行轨迹优化，通过插值的方式拟合出一条平滑的轨迹曲线；对机械臂抓取非合作目标进行轨迹规划，以规划一条无碰撞、连续的末端执行器的轨迹，同时满足轨迹平滑无跳点。机械臂轨迹规划功能使用目前应用较为广泛、成熟的仿生学三维路径规划方法蚁群算法进行轨迹规划。轨迹规划功能根据ROS系统消息发布机制订阅并接收到空间非合作目标的位姿信息。将上述步骤S2中得到的所要捕获空间非合作目标的位置数据和姿态数据运动场景和机械臂轨迹规划功能进行轨迹规划，此时蚁群算法规划出一条从起始点到目标点且实现避障的轨迹，但是该轨迹不平滑，存在跳点，机械臂执行该轨迹会对关节产生冲击影响机械臂工作效率，需要对轨迹进行优化。利用三次B-样条插值曲线方法对以蚁群算法规划的轨迹进行轨迹优化，得到平滑的机械臂空间避障轨迹。
S5、根据步骤S4中得到的优化后的轨迹，控制机械臂末端执行器依次通过这些路径点，当机械臂末端执行器通过最后一个路径点后，闭合夹爪，实现对空间非合作目标的捕获。
上述实现对非合作目标的捕获具体为将步骤S4中得到的优化后的轨迹依次输入执行器，控制机械臂末端执行器依次通过这些路径点，当执行机构通过最后一个路径点时即可执行捕获操作，当夹取机构的力学传感器返回的数据达到阈值时，即为捕获完成。
因此，本发明采用上述一种基于ROS的非合作目标抓取控制系统，解决了现有捕获方式对进行维修或补充燃料的航天器极易造成损坏的问题，具有适应性强、应用面广、易于控制、成本低且能够重复利用的优点。
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

Claims (7)

1.一种基于ROS的非合作目标抓取控制系统，其特征在于，包括以下步骤：
S1、利用深度相机和位姿数据集制作软件采集、制作非合作的位姿数据集，并且利用深度学习网络对位姿数据集进行预训练，得到权重数据；
S2、利用深度相机采集非合作目标所在区域对齐的RGBD图像数据构建运动场景，包括构建障碍物地图(Octomap)和规划场景(Planning Scene)，并根据RGBD图像数据实时更新运动场景，为轨迹规划提供碰撞检测和约束检测；
S3、利用深度相机采集非合作目标所在区域对齐的RGBD图像数据进行位姿估计，将RGBD图像数据送入深度学习网络，结合步骤S1中训练过的数据集和权重数据处理深度相机采集的RGBD图像数据，以得到所要捕获的非合作目标的位姿数据(位置数据和姿态数据)；
S4、把步骤S3中得到的所要捕获的非合作目标的位置数据和姿态数据送入运动场景，剔除障碍物地图中非合作目标的障碍物标记，更新规划场景，进行轨迹规划，以得到机械臂所要经过的初始路径点，把初始路径点送入轨迹优化功能进行轨迹优化，通过插值的方式拟合出一条平滑的轨迹曲线；
S5、根据步骤S4中得到的优化后的轨迹，控制机械臂末端执行器依次通过这些路径点，当机械臂末端执行器通过最后一个路径点后，闭合夹爪，实现对空间非合作目标的捕获。
2.根据权利要求1所述的一种基于ROS的非合作目标抓取控制系统，其特征在于：所述步骤S1中非合作目标的位姿数据集的制作和预训练过程具体为使用深度相机采集非合作目标对齐后的RGBD图像数据，送入ObjectDatasetTools软件裁剪出非合作目标的点云数据并作为标准点云数据，围绕非合作目标放置好标记二维码后，稳定且缓慢地移动深度相机录制位姿数据集，并将制作完成的位姿数据集送入深度学习网络进行预训练，得到权重数据。
3.根据权利要求1所述的一种基于ROS的非合作目标抓取控制系统，其特征在于：所述步骤S2中构建运动场景，以获取环境中障碍物信息具体为利用深度相机采集空间非合作目标所在区域对齐的RGBD图像数据，将Depth图像数据送入八叉树地图(Octomap)以八叉树的数据形式构建出相机视场内的障碍物分布地图，形成立体的障碍物地图(非合作目标被标记为障碍物)，使用碰撞检测算法(FCL)为轨迹规划提供碰撞检测和约束检测，包括自我碰撞检测、环境碰撞检测，同步构建规划场景(Planning Scene)，为轨迹规划提供运动学约束检测。
4.根据权利要求1所述的一种基于ROS的非合作目标抓取控制系统，其特征在于：所述步骤S3中对非合作目标进行位姿估计，以获取非合作目标的位姿信息具体为利用深度相机采集空间非合作目标所在区域对齐的RGBD图像数据，将RGBD图像数据送入加载了预训练数据集和权重数据的深度学习网络，将RGB图像数据送入卷积神经网络(CNN)用于提取图像中每个像素的表面特征，将Depth图像数据送入点云神经网络(PointNet++)用于提取每个像素的几何特征，将提取到的每个像素的表面特征与几何特征送入像素级的异构融合网络(Densefusion)融合两种特征，融合特征后的数据分别送入3D关键点检测模块、实例语义分割模块，然后使用聚类算法和霍夫投票算法实现非合作目标上的点为非合作目标上的关键点投票，最后使用最小二乘法拟合关键点，估计出非合作目标的姿态数据，最后利用ROS系统消息发布机制广播出去非合作目标的位姿信息。
5.根据权利要求4所述的一种基于ROS的非合作目标抓取控制系统，其特征在于：
所述3D关键点检测模块使用聚类算法选出投票点并将聚类后集群点的中心作为投票的关键点，使用最远采样点算法和霍夫投票算法选出3D关键点；
所述实例语义分割模块包括语义分割模块和中心投票模块两部分，语义分割模块是把融合特征后的像素数据标记语义标签，实现语义分割不同的物体并根据加载的预训练数据集和权重数据找到非合作目标，中心投票模块是对融合特征后的像素进行投票，预测出不同物体的中心点，其中包括非合作目标的中心点即为位置数据。
6.根据权利要求1所述的一种基于ROS的非合作目标抓取控制系统，其特征在于：所述步骤S4中对机械臂抓取非合作目标进行轨迹规划，以规划一条平滑的轨迹曲线具体为轨迹规划功能根据ROS系统消息发布机制订阅并接收到非合作目标的位姿信息，将步骤S3中得到的所要捕获非合作目标的位置数据和姿态数据运动场景和机械臂轨迹规划功能进行轨迹规划，然后对蚁群算法规划出的一条从起始点到目标点且实现避障的轨迹进行优化，利用三次B-样条插值曲线方法对以蚁群算法规划的轨迹进行轨迹优化，得到平滑的机械臂空间避障轨迹。
7.根据权利要求1所述的一种基于ROS的非合作目标抓取控制系统，其特征在于：所述步骤S5中实现对非合作目标的捕获具体为将步骤S4中得到的优化后的轨迹依次输入执行器，控制机械臂末端执行器依次通过这些路径点，当执行机构通过最后一个路径点时即可执行捕获操作，当夹取机构的力学传感器返回的数据达到阈值时，即为捕获完成。
CN202210643004.6A 2022-06-08 2022-06-08 一种基于ros的非合作目标抓取控制方法 Active CN115018876B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210643004.6A CN115018876B (zh) 2022-06-08 2022-06-08 一种基于ros的非合作目标抓取控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210643004.6A CN115018876B (zh) 2022-06-08 2022-06-08 一种基于ros的非合作目标抓取控制方法

Publications (2)

Publication Number Publication Date
CN115018876A true CN115018876A (zh) 2022-09-06
CN115018876B CN115018876B (zh) 2023-09-26

Family

ID=83073260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210643004.6A Active CN115018876B (zh) 2022-06-08 2022-06-08 一种基于ros的非合作目标抓取控制方法

Country Status (1)

Country Link
CN (1) CN115018876B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115586748A (zh) * 2022-11-24 2023-01-10 苏州德机自动化科技有限公司 一种移动式智能柔性运动控制系统及其方法
CN116363217A (zh) * 2023-06-01 2023-06-30 中国人民解放军国防科技大学 空间非合作目标位姿测量方法、装置、计算机设备及介质
CN116592890A (zh) * 2023-05-17 2023-08-15 广东海洋大学 一种采摘机器人路径规划方法、系统、电子设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109300155A (zh) * 2018-12-27 2019-02-01 常州节卡智能装备有限公司 一种避障路径规划方法、装置、设备和介质
CN110405730A (zh) * 2019-06-06 2019-11-05 大连理工大学 一种基于rgb-d图像的人机物交互机械臂示教系统
CN111055281A (zh) * 2019-12-19 2020-04-24 杭州电子科技大学 一种基于ros的自主移动抓取系统与方法
US20210077195A1 (en) * 2018-05-16 2021-03-18 University Of Maryland, College Park Confidence-based robotically-assisted surgery system
CN112987763A (zh) * 2021-05-11 2021-06-18 南京理工大学紫金学院 一种基于ros的自主导航机器人控制系统的智能小车
CN114384920A (zh) * 2022-03-23 2022-04-22 安徽大学 一种基于局部栅格地图实时构建的动态避障方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210077195A1 (en) * 2018-05-16 2021-03-18 University Of Maryland, College Park Confidence-based robotically-assisted surgery system
CN109300155A (zh) * 2018-12-27 2019-02-01 常州节卡智能装备有限公司 一种避障路径规划方法、装置、设备和介质
CN110405730A (zh) * 2019-06-06 2019-11-05 大连理工大学 一种基于rgb-d图像的人机物交互机械臂示教系统
CN111055281A (zh) * 2019-12-19 2020-04-24 杭州电子科技大学 一种基于ros的自主移动抓取系统与方法
CN112987763A (zh) * 2021-05-11 2021-06-18 南京理工大学紫金学院 一种基于ros的自主导航机器人控制系统的智能小车
CN114384920A (zh) * 2022-03-23 2022-04-22 安徽大学 一种基于局部栅格地图实时构建的动态避障方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115586748A (zh) * 2022-11-24 2023-01-10 苏州德机自动化科技有限公司 一种移动式智能柔性运动控制系统及其方法
CN115586748B (zh) * 2022-11-24 2023-03-10 苏州德机自动化科技有限公司 一种移动式智能柔性运动控制系统及其方法
CN116592890A (zh) * 2023-05-17 2023-08-15 广东海洋大学 一种采摘机器人路径规划方法、系统、电子设备及介质
CN116592890B (zh) * 2023-05-17 2024-03-26 广东海洋大学 一种采摘机器人路径规划方法、系统、电子设备及介质
CN116363217A (zh) * 2023-06-01 2023-06-30 中国人民解放军国防科技大学 空间非合作目标位姿测量方法、装置、计算机设备及介质
CN116363217B (zh) * 2023-06-01 2023-08-11 中国人民解放军国防科技大学 空间非合作目标位姿测量方法、装置、计算机设备及介质

Also Published As

Publication number Publication date
CN115018876B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
CN115018876A (zh) 一种基于ros的非合作目标抓取控制系统
CN111496770B (zh) 基于3d视觉与深度学习的智能搬运机械臂系统及使用方法
CN110450153B (zh) 一种基于深度强化学习的机械臂物品主动拾取方法
CN110948492B (zh) 一种基于深度学习的三维抓取平台和抓取方法
CN108818530B (zh) 基于改进rrt算法的机械臂抓取散乱堆放活塞运动规划方法
CN110216649B (zh) 机器人作业系统、以及机器人作业系统的控制方法
Zhu et al. Online camera-lidar calibration with sensor semantic information
CN111085997A (zh) 基于点云获取和处理的抓取训练方法及系统
Zhang et al. Sim2real learning of obstacle avoidance for robotic manipulators in uncertain environments
Akinola et al. Learning precise 3d manipulation from multiple uncalibrated cameras
CN116673963A (zh) 面向无序断路器零件的双机械臂协作柔性装配系统及方法
Mišeikis et al. Transfer learning for unseen robot detection and joint estimation on a multi-objective convolutional neural network
CN114299039B (zh) 一种机器人及其碰撞检测装置和方法
CN111814823A (zh) 一种基于场景模板生成的迁移学习方法
CN113232025B (zh) 一种基于接近觉感知的机械臂避障方法
Tavares et al. Flexible pick and place architecture using ROS framework
CN117001675B (zh) 一种双臂协作操控非合作目标避障轨迹规划方法
Ren et al. Fast-learning grasping and pre-grasping via clutter quantization and Q-map masking
CN115631401A (zh) 一种视觉感知的机器人自主抓取技能学习系统及方法
CN116852347A (zh) 一种面向非合作目标自主抓取的状态估计与决策控制方法
CN114800524A (zh) 一种人机交互协作机器人主动避碰的系统及方法
Jang et al. Vision-based Reinforcement learning: Moving object grasping with a Single Active-view Camera
Tao et al. An improved RRT algorithm for the motion planning of robot manipulator picking up scattered piston
Yu et al. A hyper-network based end-to-end visual servoing with arbitrary desired poses
He et al. Design of Vision Control System of Tomato Picking Robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant