CN113511503B - 一种自主智能的地外探测不确定物体采集与归集装箱方法 - Google Patents

一种自主智能的地外探测不确定物体采集与归集装箱方法 Download PDF

Info

Publication number
CN113511503B
CN113511503B CN202110674015.6A CN202110674015A CN113511503B CN 113511503 B CN113511503 B CN 113511503B CN 202110674015 A CN202110674015 A CN 202110674015A CN 113511503 B CN113511503 B CN 113511503B
Authority
CN
China
Prior art keywords
image
mechanical arm
collecting
rgb
optimal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110674015.6A
Other languages
English (en)
Other versions
CN113511503A (zh
Inventor
汤亮
杨孟飞
黄煌
谢心如
刘昊
刘乃龙
高锡珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Control Engineering
Original Assignee
Beijing Institute of Control Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Control Engineering filed Critical Beijing Institute of Control Engineering
Priority to CN202110674015.6A priority Critical patent/CN113511503B/zh
Publication of CN113511503A publication Critical patent/CN113511503A/zh
Application granted granted Critical
Publication of CN113511503B publication Critical patent/CN113511503B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/902—Devices for picking-up and depositing articles or materials provided with drive systems incorporating rotary and rectilinear movements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/08—Control devices operated by article or material being fed, conveyed or discharged
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/22—Devices influencing the relative position or the attitude of articles during transit by conveyors
    • B65G47/24—Devices influencing the relative position or the attitude of articles during transit by conveyors orientating the articles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/82—Rotary or reciprocating members for direct action on articles or materials, e.g. pushers, rakes, shovels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/905—Control arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04—Detection means
    • B65G2203/041—Camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种自主智能的地外探测不确定物体采集与归集装箱方法，包括以下步骤：(1)利用深度相机获取包含待采集物体的RGB‑D图像，生成最佳抓取位姿，控制机械臂实施抓取操作；(2)判断是否抓取成功；(3)获取对机械手爪和被抓取物体的三维点云；(4)剔除三维点云中的机械手爪，对被抓取物体使用长方体进行拟合；(5)利用RGB图像信息检测归集箱内物体摆放状态；(6)根据当前箱内状态和待归置物体拟合结果进行摆放优化，将物体放置于箱内的最优放置位置；(7)利用RGB‑D图像信息，对箱内物体进行拨推操作，实现物体归置。

Description

一种自主智能的地外探测不确定物体采集与归集装箱方法
技术领域
本发明涉及地外探测无人系统技术领域，尤其涉及一种自主智能的地外探测不确定物体采集与归集装箱方法，适用于地外探测中对不确定物体进行采集与归集装箱操作。
背景技术
在火星探测、月球探测、小行星探测等国家重大战略任务中，地外探测物体采集和归集装箱是采样返回的核心关键环节，具有重要的科学价值和工程意义。由于地外探测环境具有非结构化、先验知识欠缺、资源受限严重、通信条件恶劣的特点，为了在地外探测环境中高效地完成物体采集和归集装箱任务，需要使无人系统具备高度的自主性和智能水平，通过与环境交互的反馈式自主学习，不断提升对地外探测环境的适应性。另外，物体归集装箱的容器体积十分有限，在有限的容器内尽可能多的归置形状、硬度、质量分布等不确定的高价值物体，是高效益实现地外探测的重要环节。
对于不确定物体采集与归集装箱任务，传统的精确量化方法具有以下缺点：(1)步骤繁多，每个环节都需要精确建模或精准量化；(2)各环节产生误差的因素多，导致累积误差大，传统方法难以对累积误差进行精确的补偿，从而无法实现紧凑码放，装箱的物体少、缝隙大，浪费极其有限的箱内空间；(3)计算量大、耗时长，不适于资源受限严重的地外环境；(4)物体采集与归集过程中环境状态极易发生变化，设计十分繁琐，难以进行精确的设计。因此，传统的精确量化方法的这些缺点导致其无法满足在地外探测环境中采集与归置不确定物体的需求。
因此，为了提升地外探测无人系统的自主性和智能水平，有效应对非结构化、复杂且未知的地外探测环境，有必要设计一种自主智能的地外探测不确定物体采集与归集装箱方法，通过环境信息反馈，使机器人自主进行不确定物体的采集和归集装箱，实现形状未知的不规则物体的采集和高效空间利用的物体归置。
发明内容
本发明所解决的技术问题是：克服现有技术不足，提供了一种自主智能的地外探测不确定物体采集与归集装箱方法，实现有限的容器内游刃有余地归置各种不确定物品。
本发明的技术解决方案是：
一种自主智能的地外探测不确定物体采集与归集装箱方法，所述方法包括如下步骤：
(1)、采用深度相机B获取包含不确定物体的原始RGB-D图像，根据原始RGB-D图像信息，采用基于强化学习的最佳抓取位姿生成方法生成最佳抓取点和抓取角度，控制机械臂到达最佳抓取位姿，闭合机械手爪，对不确定物体实施抓取；
(2)、根据执行抓取操作后机械手爪是否完全闭合判断是否抓取成功，如果机械手爪完全闭合，则没有抓取成功，返回步骤(1)，如果机械手爪没有完全闭合，则抓取成功，继续执行下述步骤；
(3)、控制机械臂将物体移动至深度相机B视野内的固定位置，控制机械臂末端沿末端关节中心轴旋转180°，利用深度相机B实时采集物体和机械手爪的RGB-D图像，获得物体和机械手爪的三维点云；
(4)、根据步骤(3)获得的物体和机械手爪的三维点云建立物体和机械手爪的三维模型，根据机械手爪和物体的颜色信息剔除三维模型中机械手爪部分，得到物体的三维模型，将物体拟合为长方体，获取拟合长方体的尺寸、中心坐标和姿态；
(5)、控制机械臂将物体移动至归集箱箱体上方，利用机械臂末端安装的深度相机A对归集箱进行拍摄，获取RGB-D图像，根据RGB-D图像检测当前箱内物体的状态，生成用于表达当前箱内物体的状态二值图，所述状态二值图中存在物体的像素值为0，不存在物体的像素值为1；
(6)、根据归集箱内物体的当前状态和拟合长方体的尺寸、中心坐标和姿态信息，计算当前抓取的物体的最优放置位置，控制机械臂到达归集箱内的最优放置位置后松开机械手爪；
(7)、机械臂返回归集箱箱体上方，采用机械臂末端安装的深度相机A获取归集箱RGB-D图像，判断归集箱RGB-D图像中物体是否连通，若是，则进入步骤(9)；否则物体需要拨推，进入步骤(8)；
(8)基于强化学习方法生成机械臂的拨推动作，控制机械臂到达拨推位置，利用机械手爪对物体沿拨推方向进行拨推，实现物体的紧凑归置；
(9)控制机械臂回到初始状态，返回步骤(1)，重新进行其余物体采集。
所述步骤(1)中，采用基于强化学习的最佳抓取位姿生成算法生成最佳抓取点和抓取角度的具体实现方法为：
(1.1)、将原始RGB-D图像进行裁剪，得到仅包含机械臂工作空间范围内信息的RGB-D图像，对裁剪后的RGB-D图像进行俯视变换处理，得到仅包含机械臂工作空间范围内信息的俯视图；
(1.2)、将处理后的RGB-D图像输入强化学习网络，强化学习网络输出当前图像中抓取成功率最高的抓取点和抓取角度。
所述步骤(1.1)的实现方法如下：
(1.1.1)根据原始RGB-D图像生成点云数据，点云数据中记录了每个像素点在相机坐标系中的三维位置和RGB颜色信息，设像素(xi,yi)在相机坐标系中的三维位置为(Cxi,Cyi,Czi)，根据相机坐标系和机械臂基坐标系之间的标定关系，将相机坐标系中的三维位置转化到机械臂基坐标系中，设像素(xi,yi)在机械臂基坐标系中的三维位置为(Bxi,Byi,Bzi)；
(1.1.2)假设机械臂的工作空间为((xmin,xmax),(ymin,ymax),(zmin,zmax))，保留机械臂工作空间内的点云，即如果xmin<Bxi<xmax，并且ymin<Byi<ymax，并且zmin<Bzi<zmax，则保留该点，否则删掉；
(1.1.3)设图像的分辨率为r，对机械臂基坐标系XY平面的工作空间进行离散化生成一张空图像，图像的尺寸为((xmax-xmin)/r,(ymax-ymin)/r)，将步骤(1.1.2)保留的三维点云数据映射到所述空图像上，得到图像上每个像素点对应的RGB颜色信息和深度值，从而得到仅包含机械臂工作空间范围内信息的俯视图。
所述步骤(1.2)的实现方法如下：
将俯视图以其中心为轴进行水平旋转，每次旋转22.5°，共旋转16个方向，得到16张俯视图；
将每张俯视图作为强化学习网络的输入，强化学习网络输出一张与输入俯视图具有同等大小和分辨率的Q值图，Q值图上每个Q值预测了对应像素点p上执行动作的未来预期回报；16张俯视图输入到强化学习网络，得到16张Q值图；
对16张Q值图上的Q值进行比较，找到最大Q值，该最大Q值所在的Q值图对应的俯视图的旋转角度即为最佳抓取角度，最大Q值对应的俯视图上的像素点即为当前环境下的最佳抓取点。
所述深度相机B与机械臂基座的相对位姿保持不变。
所述步骤(5)中，根据RGB图像检测当前箱内物体状态的方法如下：
(5.1)根据RGB图像确定归集箱上方四个角的位置；
(5.2)基于RGB图像检测归集箱内物体的轮廓信息，使用Canny边缘检测对归集箱内物体的边缘进行提取；
(5.3)对物体边缘进行矩形拟合，将矩形区域内的点作为存在物体的位置，矩形区域外的点作为不存在物体的位置。
所述步骤(5.1)的实现方式如下：
在归集箱外侧上方的四个角点分别粘贴圆形标记，设粘贴的圆形标记的半径为r，半径阈值为(rmin,rmax)，检测RGB图像中的圆，删除半径在阈值之外的圆，判断是否检测到四个圆，如果检测到的圆不足四个，则判断没有检测到归集箱，控制机械臂移动相机位置重新拍摄图像并检测；如果检测到四个圆，提取每个圆的中心，将四个圆的中心作为归集箱上方四个角的位置；
所述步骤(6)中，计算当前抓取的物体的最优放置位置的方法如下：
假设归集箱的长和宽分别为l和w，待放置物体拟合为长方体的长和宽分别为li和wi，将步骤(5)得到的状态二值图转化为l×w维的环境矩阵，环境矩阵中0对应归集箱内没有物体的位置，1对应归集箱内存在物体的位置；
生成li×wi的元素全为1的矩阵作为第一卷积核，利用第一卷积核与环境矩阵进行卷积运算；然后将卷积运算结果与第二卷积核进行卷积运算，得到的矩阵中最小的元素位置即为最优放置位置；所述第二卷积核为3×3的元素全为1的矩阵。
所述步骤(8)中，基于强化学习方法生成机械臂拨推动作的具体实现方法为：
(8.1)、对步骤(7)得到的归集箱RGB-D图像进行裁剪和俯视变换处理，获得仅包含归集箱和归集箱内部区域信息的俯视图。
(8.2)、将处理后的俯视图输入强化学习网络，强化学习网络输出当前图像的最佳拨推位置和拨推方向；
(8.3)、根据标定好的深度相机A的内参数将最佳拨推位置和拨推方向转化到深度相机A的相机坐标系下，根据深度相机A的相机坐标系、机械臂末端坐标系以及机械臂基坐标系之间的转换关系，将深度相机A的相机坐标系下的最佳拨推位置和拨推方向转化为机械臂基坐标系的最佳拨推位置和拨推方向。
所述步骤(8.2)的实现方式如下：
将步骤(8.1)得到的俯视图以其中心为轴进行旋转，每次旋转22.5°，共旋转16个方向，得到16张俯视图；
将每张俯视图作为强化学习网络的输入，强化学习网络输出一张与输入俯视图具有同等大小和分辨率的Q值图，Q值图上每个Q值预测了对应像素点p上执行动作的未来预期回报；16张俯视图输入到强化学习网络，得到16张Q值图；
对16张Q值图上的Q值进行比较，找到最大Q值，该最大Q值所在的Q值图对应的俯视图的旋转角度即为最佳拨推方向，最大Q值对应的俯视图上的像素点即为当前环境下的拨推起始点。
本发明与现有技术相比的优点在于：
(1)本发明避免繁琐困难的精确量化设计，物体采集和拨推采用端到端的设计过程，减少了整体流程的步骤；
(2)本发明通过设计类人的物体拨推策略，降低了前面各环节带来的累积误差，解决了放置时物体的碰撞弹跳挪位问题，实现物体紧凑摆放，箱内归集的物体明显增多，是自主智能地进行紧凑装箱的关键一环；
(3)物体采集和拨推采用端到端的设计过程，与传统算法相比计算量小、耗时短，适于资源受限严重的地外环境。
(4)通过类人的物体采集和拨推策略设计，提升了算法对地外探测不确定物体和未知场景的适应性，能够快速适应复杂未知的地外环境，自主完成地外探测不确定物体采集与归集装箱任务。
附图说明
图1为本发明的一种自主智能的地外探测不确定物体采集与归集装箱方法流程图；
图2为本发明的一种自主智能的地外探测不确定物体采集与归集装箱方法结果图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明：
实施例：
以下以地外探测不确定物体采集与归集装箱系统为例进行说明，该系统采用机械臂、机械手爪、深度相机A、深度相机B、地外探测不确定物体及物体归集箱来完成不确定物体的采集与归集装箱试验。本实施例主要基于以下装置：
(1)机械臂：机械臂选取UR-5e六自由度机械臂，并对机械臂的运动学参数进行了标定；
(2)机械手爪：机械手爪选取ROBOTIQ 2F-140二指机械夹爪，机械手爪安装在机械臂末端；
(3)深度相机A：该相机安装在机械臂末端，与机械臂末端的相对位姿保持不变，并对相机坐标系与机械臂末端坐标系的关系进行了标定，相机选取Realsense D435i深度相机，对相机进行了标定，该相机的RGB相机分辨率为1920×1080，最大帧率为30fps，深度相机分辨率为1280×720，最大帧率为90fps；
(4)深度相机B：该相机与机械臂基座的相对位姿保持不变，并对相机坐标系与机械臂基坐标系的关系进行了标定，相机选取Realsense D435i深度相机，对相机进行了标定；
(5)被采集物体：使用不同形状和颜色的规则积木块和不规则积木块模拟地外探测不确定物体，物体尺寸在3cm-10cm之间；
(6)物体归集箱：物体归集箱为长方体，箱子的外侧尺寸为265cm*165cm*50cm，内侧尺寸为160cm*260cm*45cm。
如图1所示，本实施例的具体步骤如下：
(1)、采用深度相机B获取包含不确定物体的RGB-D图像，根据原始的RGB-D图像信息，采用基于强化学习的最佳抓取位姿生成算法确定最佳抓取点和抓取角度，控制机械臂到达最佳抓取位姿，闭合机械手爪，对不确定物体实施抓取。
采用基于强化学习的最佳抓取位姿生成算法生成最佳抓取点和抓取角度的具体实现为：
(1.1)、将原始RGB-D图像进行裁剪和俯视变换处理，使变换后的RGB-D图像仅包含机械臂的工作空间范围内的信息，且为工作空间的俯视图；
对原始RGB-D图像进行裁剪，具体方法为：
根据原始RGB-D图像生成点云数据，点云数据中记录了每个像素点在相机坐标系中的三维位置和RGB颜色信息，像素(xi,yi)在相机坐标系中的三维位置为(Cxi,Cyi,Czi)，根据标定好的相机坐标系和机械臂基坐标系之间的关系，将相机坐标系中的三维位置转化到机械臂基坐标系中，像素(xi,yi)在机械臂基坐标系中的三维位置为(Bxi,Byi,Bzi)。
假设机械臂的工作空间为((xmin,xmax),(ymin,ymax),(zmin,zmax))，保留机械臂工作空间内的点云，即如果xmin<Bxi<xmax，并且ymin<Byi<ymax，并且zmin<Bzi<zmax，则保留该点，否则删掉。
将工作空间内的三维点云转化为俯视的RGB-D图像，具体方法为：
设置图像的分辨率为r，对机械臂基坐标系XY平面的工作空间进行离散化生成一张空图像，图像的尺寸为((xmax-xmin)/r,(ymax-ymin)/r)。将保留的三维点云数据映射到所述空图像上，根据三维点云数据，得到图像上每个像素点对应的RGB颜色信息和深度值，从而得到俯视的RGB-D图像。
本实施例中，机械臂的工作空间为((-0.25m,0.15m),(-0.75m,-0.35m),(0m,0.1m))，图像的分辨率为0.002m，俯视图像的尺寸为(200,200)。
(1.2)、将处理后的RGB-D图像输入DQN强化学习网络模型，输出当前图像中抓取成功率最高的抓取点和抓取角度。
将俯视图像旋转16个方向，每次旋转22.5°，将16张俯视图的RGB-D图像作为输入状态，网络输出16张与俯视图具有同等大小和分辨率的Q值图，每个Q值预测了在像素p上执行动作的未来预期回报，将Q值最大的像素点作为当前环境下的最佳抓取点，对应的俯视图的旋转角度作为最佳抓取角度。
(2)、根据执行抓取操作后机械手爪是否完全闭合判断是否抓取成功，如果机械手爪完全闭合，则没有抓取成功，返回步骤(1)，如果机械手爪没有完全闭合，则抓取成功，继续执行下述步骤。
(3)、控制机械臂将物体移动至深度B视野内的固定位置，控制机械臂末端沿末端关节的中心轴旋转180°，利用深度相机B实时采集RGB-D图像，获得物体和机械手的三维点云，所述三维点云包含颜色信息。
(4)、根据步骤(3)获得的物体和机械手爪的三维点云建立物体和机械手爪的三维模型，根据机械手爪和物体的颜色信息剔除三维模型中的机械手爪部分，得到物体的三维模型，将物体拟合为长方体，得到拟合长方体的尺寸、中心坐标和姿态。
本实施例中机械手爪为纯黑色，待抓取物体为黑色外的其他颜色，利用三维点云的颜色信息对机械手爪进行剔除，读取三维模型中每个点的RGB-D值，设置机械手爪颜色阈值(0，0，0)～(10,10,10)，将三维模型中RGB-D的值在颜色阈值内的像素点剔除，得到抓取物体的三维点云模型，对抓取物体的三维点云模型进行规则体拟合，得到物体的长方体拟合最小包络，得到长方体的尺寸、中心坐标和姿态。
(5)、控制机械臂将物体移动至箱体上方，利用机械臂末端安装的深度相机A对箱体和箱内进行拍摄，获取RGB-D图像，采用基于RGB-D图像的箱内物体检测方法检测箱内物体状态，根据RGB-D图像生成用于表达当前箱内物体的状态二值图，存在物体的像素值为0，不存在物体的像素值为1。
采用基于RGB-D图像的检测方法检测当前箱内物体的状态的具体实现为：
(5.1)在归集箱外侧上方的四个角点粘贴圆形标记，检测RGB-D图像中的圆形标记，将圆的中心作为箱子每个角的位置，获得箱子在图像中的位置。
已知粘贴的圆形标记的半径r，设置圆的半径阈值(rmin,rmax)，使用Hough变换检测RGB-D图像中的圆，删除半径在阈值之外的圆，根据是否检测到四个圆形标记判断是否检测到盒子，如果检测的圆形标记不足四个，则判断没有检测到盒子，控制机械臂移动相机位置重新检测，如果检测到四个圆形标记，则将圆的中心作为箱子四个角的位置。
(5.2)基于RGB-D图像检测箱内物体的轮廓信息，使用Canny边缘检测对箱内物体的边缘进行提取。
(5.3)对物体边缘进行矩形拟合，将矩形区域内的点作为存在物体的位置，矩形区域外的点作为不存在物体的位置。
(6)、根据当前箱内物体的状态二值图和拟合长方体的尺寸、中心坐标和姿态，使用优化算法计算当前抓取的物体的最优放置位置，控制机械臂到达箱内的最优放置位姿后松开手爪。
采用基于两次卷积运算的优化方法计算当前抓取物体的最优放置位置，具体方法为：
假设归集箱的长和宽分别为l和w，待放置物体拟合为长方体的长和宽分别为li和wi，将步骤(5)得到的二值图转化为l×w维的环境矩阵，环境矩阵中0对应箱内没有物体的位置，1对应箱内存在物体的位置，生成li×wi的元素全为1的矩阵作为卷积核，与环境矩阵进行卷积运算；然后将卷积运算结果与3×3的元素全为1的卷积核进行第二次卷积运算，将得到的矩阵中最小的元素位置作为最优放置位置。
(7)、机械臂返回箱子上方，相机检测当前环境状态，根据图像中物体是否连通判断是否需要拨推，如果需要拨推，采用机械臂末端安装的深度相机A获取归集箱RGB-D图像，根据归集箱RGB-D图像生成机械臂的拨推动作，控制机械臂到达期望位置，利用机械手爪对物体进行拨推，实现物体的紧凑归置。
根据归集箱RGB-D图像生成机械臂的拨推动作的具体实现为：
(7.1)、将归集箱RGB-D图像进行裁剪和俯视变换处理，使变换后的归集箱RGB-D图像仅包含箱子和箱子内部区域的信息，且为俯视图。
(7.2)、将处理后的归集箱RGB-D图像输入强化学习网络，网络输出当前图像中的最佳拨推位置和拨推方向。
将(7.1)的俯视图像旋转16个方向，每次旋转22.5°，将16张处理后的俯视图的RGB-D图像作为网络输入，输出16张与俯视图具有同等大小和分辨率的Q值图，每个Q值预测了在像素p上执行动作的未来预期回报，将Q值最大的像素点作为当前环境下最佳的拨推起始点，对应的俯视图的旋转角度作为最佳拨推方向。
(7.3)、根据标定好的深度相机A的内参数以及深度相机A的相机坐标系和机械臂末端坐标系、机械臂基坐标系之间的关系，将图像中的最佳拨推位置和最佳拨推方向转化为机械臂基坐标系的拨推位置和拨推方向。
拨推时，闭合机械手爪，控制机械臂到达拨推位置，沿着拨推方向执行拨推动作，实时检测机械臂末端与环境的接触力，当接触力超过设置的阈值时，停止拨推。
控制机械臂到达归集箱上方，重新检测当前环境状态，根据图像中物体是否连通判断是否需要拨推，如果需要拨推，则将当前环境状态输入强化学习网络，继续执行拨推操作；否则，控制机械臂返回初始状态，重新进行物体采集。如图2所示为一种自主智能的地外探测不确定物体采集与归集装箱方法结果图。
本说明书中未进行详细描述的内容属于本领域技术人员的公知常识。

Claims (10)

1.一种自主智能的地外探测不确定物体采集与归集装箱方法，其特征在于，所述方法包括如下步骤：
步骤(1)、采用深度相机B获取包含不确定物体的原始RGB-D图像，根据原始RGB-D图像信息，采用基于强化学习的最佳抓取位姿生成方法生成最佳抓取点和抓取角度，控制机械臂到达最佳抓取位姿，闭合机械手爪，对不确定物体实施抓取；
步骤(2)、根据执行抓取操作后机械手爪是否完全闭合判断是否抓取成功，如果机械手爪完全闭合，则没有抓取成功，返回步骤(1)，如果机械手爪没有完全闭合，则抓取成功，继续执行下述步骤；
步骤(3)、控制机械臂将物体移动至深度相机B视野内的固定位置，控制机械臂末端沿末端关节中心轴旋转180°，利用深度相机B实时采集物体和机械手爪的RGB-D图像，获得物体和机械手爪的三维点云；
步骤(4)、根据步骤(3)获得的物体和机械手爪的三维点云建立物体和机械手爪的三维模型，根据机械手爪和物体的颜色信息剔除三维模型中机械手爪部分，得到物体的三维模型，将物体拟合为长方体，获取拟合长方体的尺寸、中心坐标和姿态；
步骤(5)、控制机械臂将物体移动至归集箱箱体上方，利用机械臂末端安装的深度相机A对归集箱进行拍摄，获取RGB-D图像，根据RGB-D图像检测当前箱内物体的状态，生成用于表达当前箱内物体的状态二值图，所述状态二值图中存在物体的像素值为0，不存在物体的像素值为1；
步骤(6)、根据归集箱内物体的当前状态和拟合长方体的尺寸、中心坐标和姿态信息，计算当前抓取的物体的最优放置位置，控制机械臂到达归集箱内的最优放置位置后松开机械手爪；
步骤(7)、机械臂返回归集箱箱体上方，采用机械臂末端安装的深度相机A获取归集箱RGB-D图像，判断归集箱RGB-D图像中物体是否连通，若是，则进入步骤(9)；否则物体需要拨推，进入步骤(8)；
步骤(8)、基于强化学习方法生成机械臂的拨推动作，控制机械臂到达拨推位置，利用机械手爪对物体沿拨推方向进行拨推，实现物体的紧凑归置；
步骤(9)、控制机械臂回到初始状态，返回步骤(1)，重新进行其余物体采集。
2.根据权利要求1所述的一种自主智能的地外探测不确定物体采集与归集装箱方法，其特征在于，所述步骤(1)中，采用基于强化学习的最佳抓取位姿生成方法生成最佳抓取点和抓取角度的具体实现方法为：
步骤(1.1)、将原始RGB-D图像进行裁剪，得到仅包含机械臂工作空间范围内信息的RGB-D图像，对裁剪后的RGB-D图像进行俯视变换处理，得到仅包含机械臂工作空间范围内信息的俯视图；
步骤(1.2)、将处理后的RGB-D图像输入强化学习网络，强化学习网络输出当前图像中抓取成功率最高的抓取点和抓取角度。
3.根据权利要求2所述的一种自主智能的地外探测不确定物体采集与归集装箱方法，其特征在于，所述步骤(1.1)的实现方法如下：
步骤(1.1.1)、根据原始RGB-D图像生成点云数据，点云数据中记录了每个像素点在相机坐标系中的三维位置和RGB颜色信息，设像素(xi,yi)在相机坐标系中的三维位置为(Cxi,Cyi,Czi)，根据相机坐标系和机械臂基坐标系之间的标定关系，将相机坐标系中的三维位置转化到机械臂基坐标系中，设像素(xi,yi)在机械臂基坐标系中的三维位置为(Bxi,Byi,Bzi)；
步骤(1.1.2)、假设机械臂的工作空间为((xmin,xmax),(ymin,ymax),(zmin,zmax))，保留机械臂工作空间内的点云，即如果xmin＜Bxi＜xmax，并且ymin＜Byi＜ymax，并且zmin＜Bzi＜zmax，则保留该点，否则删掉；
步骤(1.1.3)、设图像的分辨率为r，对机械臂基坐标系XY平面的工作空间进行离散化生成一张空图像，空图像的尺寸为((xmax-xmin)/r,(ymax-ymin)/r)，将步骤(1.1.2)保留的三维点云数据映射到所述空图像上，得到空图像上每个像素点对应的RGB颜色信息和深度值，从而得到仅包含机械臂工作空间范围内信息的俯视图。
4.根据权利要求3所述的一种自主智能的地外探测不确定物体采集与归集装箱方法，其特征在于，所述步骤(1.2)的实现方法如下：
将俯视图以其中心为轴进行水平旋转，每次旋转22.5°，共旋转16个方向，得到16张俯视图；
将每张俯视图作为强化学习网络的输入，强化学习网络输出一张与输入俯视图具有同等大小和分辨率的Q值图，Q值图上每个Q值预测了对应像素点p上执行动作的未来预期回报；16张俯视图输入到强化学习网络，得到16张Q值图；
对16张Q值图上的Q值进行比较，找到最大Q值，该最大Q值所在的Q值图对应的俯视图的旋转角度即为最佳抓取角度，最大Q值对应的俯视图上的像素点即为当前环境下的最佳抓取点。
5.根据权利要求1所述的一种自主智能的地外探测不确定物体采集与归集装箱方法，其特征在于，所述深度相机B与机械臂基座的相对位姿保持不变。
6.根据权利要求1所述的一种自主智能的地外探测不确定物体采集与归集装箱方法，其特征在于，所述步骤(5)中，根据RGB-D图像检测当前箱内物体状态的方法如下：
步骤(5.1)、根据RGB-D图像确定归集箱上方四个角的位置；
步骤(5.2)、基于RGB-D图像检测归集箱内物体的轮廓信息，使用Canny边缘检测对归集箱内物体的边缘进行提取；
步骤(5.3)、对物体边缘进行矩形拟合，将矩形区域内的点作为存在物体的位置，矩形区域外的点作为不存在物体的位置。
7.根据权利要求6所述的一种自主智能的地外探测不确定物体采集与归集装箱方法，其特征在于，所述步骤(5.1)的实现方式如下：
在归集箱外侧上方的四个角点分别粘贴圆形标记，设粘贴的圆形标记的半径为r，半径阈值为(rmin,rmax)，检测RGB-D图像中的圆，删除半径在阈值之外的圆，判断是否检测到四个圆，如果检测到的圆不足四个，则判断没有检测到归集箱，控制机械臂移动相机位置重新拍摄图像并检测；如果检测到四个圆，提取每个圆的中心，将四个圆的中心作为归集箱上方四个角的位置。
8.根据权利要求1所述的一种自主智能的地外探测不确定物体采集与归集装箱方法，其特征在于，所述步骤(6)中，计算当前抓取的物体的最优放置位置的方法如下：
假设归集箱的长和宽分别为l和w，待放置物体拟合为长方体的长和宽分别为li和wi，将步骤(5)得到的状态二值图转化为l×w维的环境矩阵，环境矩阵中0对应归集箱内没有物体的位置，1对应归集箱内存在物体的位置；
生成li×wi的元素全为1的矩阵作为第一卷积核，利用第一卷积核与环境矩阵进行卷积运算；然后将卷积运算结果与第二卷积核进行卷积运算，得到的矩阵中最小的元素位置即为最优放置位置；所述第二卷积核为3×3的元素全为1的矩阵。
9.根据权利要求1所述的一种自主智能的地外探测不确定物体采集与归集装箱方法，其特征在于，所述步骤(8)中，基于强化学习方法生成机械臂拨推动作的具体实现方法为：
步骤(8.1)、对步骤(7)得到的归集箱RGB-D图像进行裁剪和俯视变换处理，获得仅包含归集箱和归集箱内部区域信息的俯视图；
步骤(8.2)、将处理后的俯视图输入强化学习网络，强化学习网络输出当前图像的最佳拨推位置和拨推方向；
步骤(8.3)、根据标定好的深度相机A的内参数将最佳拨推位置和拨推方向转化到深度相机A的相机坐标系下，根据深度相机A的相机坐标系、机械臂末端坐标系以及机械臂基坐标系之间的转换关系，将深度相机A的相机坐标系下的最佳拨推位置和拨推方向转化为机械臂基坐标系的最佳拨推位置和拨推方向。
10.根据权利要求9所述的一种自主智能的地外探测不确定物体采集与归集装箱方法，其特征在于，所述步骤(8.2)的实现方式如下：
将步骤(8.1)得到的俯视图以其中心为轴进行旋转，每次旋转22.5°，共旋转16个方向，得到16张俯视图；
将每张俯视图作为强化学习网络的输入，强化学习网络输出一张与输入俯视图具有同等大小和分辨率的Q值图，Q值图上每个Q值预测了对应像素点p上执行动作的未来预期回报；16张俯视图输入到强化学习网络，得到16张Q值图；
对16张Q值图上的Q值进行比较，找到最大Q值，该最大Q值所在的Q值图对应的俯视图的旋转角度即为最佳拨推方向，最大Q值对应的俯视图上的像素点即为当前环境下的最佳拨推位置。
CN202110674015.6A 2021-06-17 2021-06-17 一种自主智能的地外探测不确定物体采集与归集装箱方法 Active CN113511503B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110674015.6A CN113511503B (zh) 2021-06-17 2021-06-17 一种自主智能的地外探测不确定物体采集与归集装箱方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110674015.6A CN113511503B (zh) 2021-06-17 2021-06-17 一种自主智能的地外探测不确定物体采集与归集装箱方法

Publications (2)

Publication Number Publication Date
CN113511503A CN113511503A (zh) 2021-10-19
CN113511503B true CN113511503B (zh) 2022-09-23

Family

ID=78065505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110674015.6A Active CN113511503B (zh) 2021-06-17 2021-06-17 一种自主智能的地外探测不确定物体采集与归集装箱方法

Country Status (1)

Country Link
CN (1) CN113511503B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114043497B (zh) * 2021-11-19 2023-06-30 济南大学 一种与老年人益智游戏智能交互的方法、系统和机器人
WO2023107318A1 (en) * 2021-12-10 2023-06-15 Boston Dynamics, Inc. Systems and methods for object detection and pick order determination
CN114275211B (zh) * 2022-01-10 2023-03-03 季华实验室 一种防止物体挤压的自动化堆放方法及装置
CN115201778B (zh) * 2022-09-09 2023-02-03 广州小鹏自动驾驶科技有限公司 不规则障碍物检测方法、车辆及计算机可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012230594A (ja) * 2011-04-27 2012-11-22 Topcon Corp 三次元点群位置データ処理装置、三次元点群位置データ処理方法、三次元点群位置データ処理システムおよびプログラム
CN106743710A (zh) * 2015-11-20 2017-05-31 发那科株式会社 设定堆积物品的位置的堆装模式计算装置
CN108126914A (zh) * 2017-11-24 2018-06-08 上海发那科机器人有限公司 一种基于深度学习的料框内散乱多物体机器人分拣方法
CN109230580A (zh) * 2018-10-11 2019-01-18 西安中科光电精密工程有限公司 一种基于混放物料信息采集的拆垛机器人系统及方法
CN110640730A (zh) * 2018-06-27 2020-01-03 Abb瑞士股份有限公司 生成用于机器人场景的三维模型的方法和系统
CN111540045A (zh) * 2020-07-07 2020-08-14 深圳市优必选科技股份有限公司 机械臂及其三维重建方法和装置
CN112297013A (zh) * 2020-11-11 2021-02-02 浙江大学 一种基于数字孪生和深度神经网络的机器人智能抓取方法
CN112384951A (zh) * 2018-05-09 2021-02-19 特里纳米克斯股份有限公司 用于确定至少一个存储单元中的填充水平的方法和装置
CN112837371A (zh) * 2021-02-26 2021-05-25 梅卡曼德（北京）机器人科技有限公司 基于3d匹配的物体抓取方法、装置及计算设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10124489B2 (en) * 2016-02-26 2018-11-13 Kinema Systems Inc. Locating, separating, and picking boxes with a sensor-guided robot
US11365068B2 (en) * 2017-09-05 2022-06-21 Abb Schweiz Ag Robotic systems and methods for operating a robot
US11148295B2 (en) * 2018-06-17 2021-10-19 Robotics Materials, Inc. Systems, devices, components, and methods for a compact robotic gripper with palm-mounted sensing, grasping, and computing devices and components

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012230594A (ja) * 2011-04-27 2012-11-22 Topcon Corp 三次元点群位置データ処理装置、三次元点群位置データ処理方法、三次元点群位置データ処理システムおよびプログラム
CN106743710A (zh) * 2015-11-20 2017-05-31 发那科株式会社 设定堆积物品的位置的堆装模式计算装置
CN108126914A (zh) * 2017-11-24 2018-06-08 上海发那科机器人有限公司 一种基于深度学习的料框内散乱多物体机器人分拣方法
CN112384951A (zh) * 2018-05-09 2021-02-19 特里纳米克斯股份有限公司 用于确定至少一个存储单元中的填充水平的方法和装置
CN110640730A (zh) * 2018-06-27 2020-01-03 Abb瑞士股份有限公司 生成用于机器人场景的三维模型的方法和系统
CN109230580A (zh) * 2018-10-11 2019-01-18 西安中科光电精密工程有限公司 一种基于混放物料信息采集的拆垛机器人系统及方法
CN111540045A (zh) * 2020-07-07 2020-08-14 深圳市优必选科技股份有限公司 机械臂及其三维重建方法和装置
CN112297013A (zh) * 2020-11-11 2021-02-02 浙江大学 一种基于数字孪生和深度神经网络的机器人智能抓取方法
CN112837371A (zh) * 2021-02-26 2021-05-25 梅卡曼德（北京）机器人科技有限公司 基于3d匹配的物体抓取方法、装置及计算设备

Also Published As

Publication number Publication date
CN113511503A (zh) 2021-10-19

Similar Documents

Publication Publication Date Title
CN113511503B (zh) 一种自主智能的地外探测不确定物体采集与归集装箱方法
CN110450153B (zh) 一种基于深度强化学习的机械臂物品主动拾取方法
JP6873941B2 (ja) ロボット作業システム、及びロボット作業システムの制御方法
CN110640730B (zh) 生成用于机器人场景的三维模型的方法和系统
CN111259934B (zh) 一种基于深度学习的堆叠物体6d位姿估计方法和装置
CN109584298B (zh) 面向机器人自主物体拾取任务的在线自学习方法
US10853646B1 (en) Generating and utilizing spatial affordances for an object in robotics applications
US11945106B2 (en) Shared dense network with robot task-specific heads
CN106886165A (zh) 一种基于模拟器的机械手抓取和操纵方法
Yang et al. Automation of SME production with a Cobot system powered by learning-based vision
Arents et al. Construction of a smart vision-guided robot system for manipulation in a dynamic environment
CN112975957A (zh) 目标提取方法、系统、机器人及存储介质
CN115848715A (zh) 一种无序拣选机器人、系统及方法
CN114700949B (zh) 基于体素抓取网络的机械臂灵巧抓取规划方法
CN111225554B (zh) 散装目标抓取、装配方法、装置、控制器和系统
KR20230119159A (ko) 파지 생성을 위한 픽셀단위 예측
US11845191B1 (en) Robotic picking of cuboidal items from a pallet
Suzui et al. Toward 6 dof object pose estimation with minimum dataset
CN113478478B (zh) 一种面向不确定对象的感知执行交互自然柔顺类人操控方法
CN114851187B (zh) 一种避障机械臂抓取方法、系统、装置及存储介质
CN210990015U (zh) 扫地机器人
CN116228854B (zh) 一种基于深度学习的包裹自动分拣方法
WO2022250657A1 (en) Automatic pick and place system
Wang et al. ABatRe-Sim: A Comprehensive Framework for Automated Battery Recycling Simulation
EP4292772A1 (en) Heuristic-based robotic grasps

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant