CN113222940A - 一种基于rgb-d图像和cad模型的机器人自动抓取工件方法 - Google Patents

一种基于rgb-d图像和cad模型的机器人自动抓取工件方法 Download PDF

Info

Publication number
CN113222940A
CN113222940A CN202110534173.1A CN202110534173A CN113222940A CN 113222940 A CN113222940 A CN 113222940A CN 202110534173 A CN202110534173 A CN 202110534173A CN 113222940 A CN113222940 A CN 113222940A
Authority
CN
China
Prior art keywords
workpiece
image
point cloud
camera
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110534173.1A
Other languages
English (en)
Other versions
CN113222940B (zh
Inventor
陈晓峰
王崇
张旭堂
孔民秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202110534173.1A priority Critical patent/CN113222940B/zh
Publication of CN113222940A publication Critical patent/CN113222940A/zh
Application granted granted Critical
Publication of CN113222940B publication Critical patent/CN113222940B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及机器人自动抓取，更具体的说是一种基于RGB‑D图像和CAD模型的机器人自动抓取工件方法。本发明基于VTK建立一个虚拟相机与工件CAD模型的虚拟环境；利用神经网络对图像进行分割处理，得到目标工件的3D点云，然后与虚拟CAD模型点云进行匹配，该方法是匹配效果较好，速率高，解决了机器人工件抓取不精确，效果不好等问题。

Description

一种基于RGB-D图像和CAD模型的机器人自动抓取工件方法
技术领域
本发明涉及机器人自动抓取，更具体的说是一种基于RGB-D图像和CAD模型的机器人自动抓取工件方法。
背景技术
神经网络是实现人工智能的关键技术，其建立具有阶层结构的人工神经网络能够在计算系统中实现人工智能。神经网络是模仿人类大脑构造设计的算法，用于对事物的识别。神经网络通过机器感知系统解释传感数据，能够对原始输入进行标记或聚类等操作。神经网络所能识别的模式是数值形式，因此必须将图像、声音、文本、时间序列等一切现实世界的数据转换为数值形式。
传统工件抓取前位姿的估计方法主要包括点匹配以及模板匹配。点云匹配通过扫描工件点云与工件CAD模型点云进行匹配。ICP算法是比较经典的点云匹配方法，其要求目标点云与待匹配的点云为工件同一部分点云。基于工件与相机相对位姿以及相机与机器人相对位姿进行矩阵变换得到工件相对机器人的位姿，因此实现工件自动抓取，但抓取精度不高。
发明内容
本发明提供一种基于RGB-D图像和CAD模型的机器人自动抓取工件方法，目的是可以提高机器人对工件抓取精度。
上述目的通过以下技术方案来实现：
一种基于RGB-D图像和CAD模型的机器人自动抓取工件方法，包括以下步骤：
步骤一、通过相机得到所述工件的RGB图像Ⅰ和深度图像Ⅰ；RGB图像Ⅰ和深度图像Ⅰ通过单应性矩阵转换，计算得到RGB图像Ⅰ和深度图像Ⅰ对齐的数据；将所述对齐数据进行采集并调整至大小相同获得RGB图像Ⅱ和深度图像Ⅱ；将RGB图像Ⅱ送入网络模型进行训练，用以使网络输出结果准确、稳定；将所述工件的实际RGB图像输入到神经网络进行实例分割，用以得到所述工件的掩膜图像以及3D特征点；
步骤二：用所述掩膜图像将深度图像Ⅰ分割获得图像Ⅰ，根据图像Ⅰ的像素值与相机内在参数得到工件的分割后目标点云；通过所述分割后目标点云和所述3D特征点利用算法Ⅰ计算出工件的粗略位姿；建立虚拟环境，变换相机与工件CAD模型之间的相对位姿得到虚拟点云，所述虚拟点云作为需要匹配的点云，将扫描点云作为目标点云，通过所述需要匹配的点云和所述目标点云利用算法Ⅱ进行迭代匹配，得到工件的精确位姿；
步骤三：根据工件与相机相对位姿以及相机与机器人相对位姿，通过矩阵变换得到工件相对机器人的位姿，实现机器人自动抓取工件。
本发明一种基于RGB-D图像和CAD模型的机器人自动抓取工件方法的有益效果为：
本发明基于VTK建立一个虚拟相机与工件CAD模型的虚拟环境；利用神经网络对图像进行分割处理，得到目标工件的3D点云，然后与虚拟CAD模型点云进行匹配，该方法是匹配效果较好，速率高，解决了机器人工件抓取不精确，效果不好等问题；利用神经网络对工件的实际RGB图像进行实例分割，对以后抓取其他类型工件具有指导意义；本发明通过相机拍摄得到工作台的RGB-D图片，基于深度神经网络对工件目标进行识别，将目标工件在图像上分割出来；同时对工件CAD模型进行点云扫描；再利用PNP算法计算得到目标工件粗略位姿；从而计算机通过已知工件位姿与自身位姿计算实现自动抓取操作；本发明实现深度学习与传统方法相结合，准确性较高，同时神经网络并行化程度高，使得GPU合理运用，方法运算速度快。
附图说明
图1为本发明的流程图；
图2为工件抓取方法整体示意图。
具体实施方式
本发明方法分为工件图像实例分割，点云匹配以及机器人抓取三个阶段，具体步骤如下。
1.数据采集：
1-1通过彩色相机和深度相机对工件进行数据采集(获得多张图像，建立数据集)，得到工件的RGB图像Ⅰ(多张图像、数据集)以及深度图像Ⅰ(多张图像、数据集)；
1-2.根据两个相机的相对位置，计算得到两个相机视角转换单应性矩阵，RGB图像Ⅰ以及深度图像Ⅰ通过单应性矩阵转换，计算得到RGB图像Ⅰ以及深度图像Ⅰ对齐的RGB图像Ⅰ以及深度图像Ⅰ。
1-3.将对齐的RGB图像Ⅰ以及深度图像Ⅰ调整至大小相同获得RGB图像Ⅱ以及深度图像Ⅱ。
2.将得到的RGB图像Ⅱ送入MaskRCNN网络(网络模型)进行训练，使网络输出结果准确、稳定。
3.将工件的实际RGB图像(工件在工作台上的实际图像)输入到神经网络(通过上述MaskRCNN网络进行训练得到)进行实例分割，用以得到所述工件的掩膜图像以及3D特征点(工件类别)；
4.将目标点云与虚拟CAD模型点云进行匹配：
4-1)用所述掩膜图像将深度图像Ⅰ分割获得图像Ⅰ，根据图像Ⅰ的像素值与相机内在参数得到工件的分割后目标点云；通过所述分割后目标点云和所述3D特征点利用算法Ⅰ计算出工件的粗略位姿。
4-2)基于VTK建立一个虚拟相机与工件CAD模型的虚拟环境，变换虚拟相机与工件CAD模型的相对位姿获得虚拟点云；将扫描点云作为目标点云，虚拟点云(工件CAD模型点云)作为需要匹配的点云，将该目标点云与所述匹配的点云使用ICP算法经过多次迭代，得到目标工件的精确位姿。
5.基于工件与相机相对位姿以及相机与机器人相对位姿进行矩阵变换得到工件相对机器人的位姿，实现机器人自动抓取工件。
其中所述RGB-D(RGB Depth Map)RGB色彩模式是工业界的一种颜色标准，是通过对红、绿、蓝三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。
其中所述D为Depth Map：在3D计算机图形中，Depth Map即深度图是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。其中，Depth Map类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离。通常RGB图像和Depth图像是配准的，因而像素点之间具有一对一的对应关系。
本发明所采用的的网络结构主体为Mask-RCNN以及添加新的分支。网络结构由Faster-RCNN、FCN、ROI对齐以及3D特征点提取检测分支构成。

Claims (7)

1.一种基于RGB-D图像和CAD模型的机器人自动抓取工件方法，包括以下步骤：
步骤一、通过相机得到所述工件的RGB图像Ⅰ和深度图像Ⅰ；RGB图像Ⅰ和深度图像Ⅰ通过单应性矩阵转换，计算得到RGB图像Ⅰ和深度图像Ⅰ对齐的数据；将所述对齐数据进行采集并调整至大小相同获得RGB图像Ⅱ和深度图像Ⅱ；将RGB图像Ⅱ送入网络模型进行训练，用以使网络输出结果准确、稳定；将所述工件的实际RGB图像输入到神经网络进行实例分割，用以得到所述工件的掩膜图像以及3D特征点；
步骤二：用所述掩膜图像将深度图像Ⅰ分割获得图像Ⅰ，根据图像Ⅰ的像素值与相机内在参数得到工件的分割后目标点云；通过所述分割后目标点云和所述3D特征点利用算法Ⅰ计算出工件的粗略位姿；建立虚拟环境，变换相机与工件CAD模型之间的相对位姿得到虚拟点云，所述虚拟点云作为需要匹配的点云，将扫描点云作为目标点云，通过所述需要匹配的点云和所述目标点云利用算法Ⅱ进行迭代匹配，得到工件的精确位姿；
步骤三：根据工件与相机相对位姿以及相机与机器人相对位姿，通过矩阵变换得到工件相对机器人的位姿，实现机器人自动抓取工件。
2.根据权利要求1所述的方法，其中所述相机采用彩色相机和深度相机。
3.根据权利要求2所述的方法，其中所述单应性矩阵是通过彩色相机和深度相机的相对位置进行计算得到。
4.根据权利要求1所述的方法，其中所述网络模型为MaskRCNN网络。
5.根据权利要求1所述的方法，其中所述算法Ⅰ为PNP算法。
6.根据权利要求1所述的方法，其中所述算法Ⅱ为ICP算法。
7.根据权利要求1所述的方法，其中所述虚拟环境是基于VTK建立一个虚拟相机与工件CAD模型的虚拟环境。
CN202110534173.1A 2021-05-17 2021-05-17 一种基于rgb-d图像和cad模型的机器人自动抓取工件方法 Expired - Fee Related CN113222940B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110534173.1A CN113222940B (zh) 2021-05-17 2021-05-17 一种基于rgb-d图像和cad模型的机器人自动抓取工件方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110534173.1A CN113222940B (zh) 2021-05-17 2021-05-17 一种基于rgb-d图像和cad模型的机器人自动抓取工件方法

Publications (2)

Publication Number Publication Date
CN113222940A true CN113222940A (zh) 2021-08-06
CN113222940B CN113222940B (zh) 2022-07-12

Family

ID=77092380

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110534173.1A Expired - Fee Related CN113222940B (zh) 2021-05-17 2021-05-17 一种基于rgb-d图像和cad模型的机器人自动抓取工件方法

Country Status (1)

Country Link
CN (1) CN113222940B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808197A (zh) * 2021-09-17 2021-12-17 山西大学 一种基于机器学习的工件自动抓取系统及方法
CN114332073A (zh) * 2022-01-14 2022-04-12 湖南视比特机器人有限公司 目标工件的检测方法及装置、智能分拣系统和存储介质
CN115284297A (zh) * 2022-08-31 2022-11-04 深圳前海瑞集科技有限公司 工件定位方法、机器人及机器人作业方法
CN116416217A (zh) * 2023-03-06 2023-07-11 赛那德科技有限公司 无序堆叠包裹图像的生成方法、系统及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180092304A1 (en) * 2016-09-15 2018-04-05 Francis Wilson Moore Methods for Pruning Fruit Plants and Methods for Harvesting Fruit
CN109801337A (zh) * 2019-01-21 2019-05-24 同济大学 一种基于实例分割网络和迭代优化的6d位姿估计方法
CN110014426A (zh) * 2019-03-21 2019-07-16 同济大学 一种利用低精度深度相机高精度抓取形状对称工件的方法
CN110363815A (zh) * 2019-05-05 2019-10-22 东南大学 一种单视角点云下基于实例分割的机器人抓取检测方法
CN112258618A (zh) * 2020-11-04 2021-01-22 中国科学院空天信息创新研究院 基于先验激光点云与深度图融合的语义建图与定位方法
CN112785705A (zh) * 2021-01-21 2021-05-11 中国科学技术大学 一种位姿获取方法、装置及移动设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180092304A1 (en) * 2016-09-15 2018-04-05 Francis Wilson Moore Methods for Pruning Fruit Plants and Methods for Harvesting Fruit
CN109801337A (zh) * 2019-01-21 2019-05-24 同济大学 一种基于实例分割网络和迭代优化的6d位姿估计方法
CN110014426A (zh) * 2019-03-21 2019-07-16 同济大学 一种利用低精度深度相机高精度抓取形状对称工件的方法
CN110363815A (zh) * 2019-05-05 2019-10-22 东南大学 一种单视角点云下基于实例分割的机器人抓取检测方法
CN112258618A (zh) * 2020-11-04 2021-01-22 中国科学院空天信息创新研究院 基于先验激光点云与深度图融合的语义建图与定位方法
CN112785705A (zh) * 2021-01-21 2021-05-11 中国科学技术大学 一种位姿获取方法、装置及移动设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HE WANG 等: "Normalized Object Coordinate Space for Category-Level 6D Object Pose and Size Estimation", 《CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, 20 June 2019 (2019-06-20) *
刘钲: "机器人目标位置姿态估计及抓取研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》, no. 9, 15 September 2019 (2019-09-15), pages 140 - 390 *
刘鹏翔 等: "基于生成对抗网络的单目相机6D位姿估计", 《机械设计与研究》, vol. 36, no. 6, 31 December 2020 (2020-12-31) *
基于深度学习的三维工件识别: "基于深度学习的三维工件识别", 《万方》, 22 April 2021 (2021-04-22), pages 2 - 4 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808197A (zh) * 2021-09-17 2021-12-17 山西大学 一种基于机器学习的工件自动抓取系统及方法
CN114332073A (zh) * 2022-01-14 2022-04-12 湖南视比特机器人有限公司 目标工件的检测方法及装置、智能分拣系统和存储介质
CN115284297A (zh) * 2022-08-31 2022-11-04 深圳前海瑞集科技有限公司 工件定位方法、机器人及机器人作业方法
CN115284297B (zh) * 2022-08-31 2023-12-12 深圳前海瑞集科技有限公司 工件定位方法、机器人及机器人作业方法
CN116416217A (zh) * 2023-03-06 2023-07-11 赛那德科技有限公司 无序堆叠包裹图像的生成方法、系统及设备
CN116416217B (zh) * 2023-03-06 2023-11-28 赛那德科技有限公司 无序堆叠包裹图像的生成方法、系统及设备

Also Published As

Publication number Publication date
CN113222940B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN113222940B (zh) 一种基于rgb-d图像和cad模型的机器人自动抓取工件方法
CN109816725B (zh) 一种基于深度学习的单目相机物体位姿估计方法及装置
CN111340797A (zh) 一种激光雷达与双目相机数据融合检测方法及系统
CN106251353A (zh) 弱纹理工件及其三维位姿的识别检测方法及系统
CN108701234A (zh) 车牌识别方法及云系统
CN108154082A (zh) 航拍影像自动物体侦测的方法及系统
CN113065546B (zh) 一种基于注意力机制和霍夫投票的目标位姿估计方法及系统
CN110400322B (zh) 基于颜色和三维几何信息的水果点云分割方法
CN110910451B (zh) 一种基于变形卷积网络的物体位姿估计方法及系统
CN107067015B (zh) 一种基于多特征深度学习的车辆检测方法及装置
CN110281231B (zh) 无人化fdm增材制造的移动机器人三维视觉抓取方法
JP6912215B2 (ja) 対象物の姿勢等を検出する検出方法、検出プログラム
CN111721259A (zh) 基于双目视觉的水下机器人回收定位方法
CN110533716B (zh) 一种基于3d约束的语义slam系统及方法
CN111784655B (zh) 一种水下机器人回收定位方法
CN113343976B (zh) 基于颜色-边缘融合特征生长的抗高光干扰工程测量标志提取方法
CN111709980A (zh) 基于深度学习的多尺度图像配准方法和装置
CN110509273A (zh) 基于视觉深度学习特征的机器人机械手检测及抓取方法
CN114882109A (zh) 一种面向遮挡、杂乱场景下的机器人抓取检测方法及系统
CN107146258B (zh) 一种图像显著区域检测方法
CN111435429B (zh) 一种基于双目立体数据动态认知的手势识别方法及系统
WO2022194883A3 (en) Visual servoing of a robot
Han et al. Target positioning method in binocular vision manipulator control based on improved canny operator
CN111985436A (zh) 一种基于lsd的车间地标线识别拟合方法
CN111784768A (zh) 基于三色四灯标记识别的无人机姿态估计方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220712