CN113222940B - 一种基于rgb-d图像和cad模型的机器人自动抓取工件方法 - Google Patents
一种基于rgb-d图像和cad模型的机器人自动抓取工件方法 Download PDFInfo
- Publication number
- CN113222940B CN113222940B CN202110534173.1A CN202110534173A CN113222940B CN 113222940 B CN113222940 B CN 113222940B CN 202110534173 A CN202110534173 A CN 202110534173A CN 113222940 B CN113222940 B CN 113222940B
- Authority
- CN
- China
- Prior art keywords
- workpiece
- image
- point cloud
- camera
- rgb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000009616 inductively coupled plasma Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及机器人自动抓取,更具体的说是一种基于RGB‑D图像和CAD模型的机器人自动抓取工件方法。本发明基于VTK建立一个虚拟相机与工件CAD模型的虚拟环境;利用神经网络对图像进行分割处理,得到目标工件的3D点云,然后与虚拟CAD模型点云进行匹配,该方法是匹配效果较好,速率高,解决了机器人工件抓取不精确,效果不好等问题。
Description
技术领域
本发明涉及机器人自动抓取,更具体的说是一种基于RGB-D图像和CAD模型的机器人自动抓取工件方法。
背景技术
神经网络是实现人工智能的关键技术,其建立具有阶层结构的人工神经网络能够在计算系统中实现人工智能。神经网络是模仿人类大脑构造设计的算法,用于对事物的识别。神经网络通过机器感知系统解释传感数据,能够对原始输入进行标记或聚类等操作。神经网络所能识别的模式是数值形式,因此必须将图像、声音、文本、时间序列等一切现实世界的数据转换为数值形式。
传统工件抓取前位姿的估计方法主要包括点匹配以及模板匹配。点云匹配通过扫描工件点云与工件CAD模型点云进行匹配。ICP算法是比较经典的点云匹配方法,其要求目标点云与待匹配的点云为工件同一部分点云。基于工件与相机相对位姿以及相机与机器人相对位姿进行矩阵变换得到工件相对机器人的位姿,因此实现工件自动抓取,但抓取精度不高。
发明内容
本发明提供一种基于RGB-D图像和CAD模型的机器人自动抓取工件方法,目的是可以提高机器人对工件抓取精度。
上述目的通过以下技术方案来实现:
一种基于RGB-D图像和CAD模型的机器人自动抓取工件方法,包括以下步骤:
步骤一、通过相机得到所述工件的RGB图像Ⅰ和深度图像Ⅰ;RGB图像Ⅰ和深度图像Ⅰ通过单应性矩阵转换,计算得到RGB图像Ⅰ和深度图像Ⅰ对齐的数据;将所述对齐数据进行采集并调整至大小相同获得RGB图像Ⅱ和深度图像Ⅱ;将RGB图像Ⅱ送入网络模型进行训练,用以使网络输出结果准确、稳定;将所述工件的实际RGB图像输入到神经网络进行实例分割,用以得到所述工件的掩膜图像以及3D特征点;
步骤二:用所述掩膜图像将深度图像Ⅰ分割获得图像Ⅰ,根据图像Ⅰ的像素值与相机内在参数得到工件的分割后目标点云;通过所述分割后目标点云和所述3D特征点利用算法Ⅰ计算出工件的粗略位姿;建立虚拟环境,变换相机与工件CAD模型之间的相对位姿得到虚拟点云,所述虚拟点云作为需要匹配的点云,将扫描点云作为目标点云,通过所述需要匹配的点云和所述目标点云利用算法Ⅱ进行迭代匹配,得到工件的精确位姿;
步骤三:根据工件与相机相对位姿以及相机与机器人相对位姿,通过矩阵变换得到工件相对机器人的位姿,实现机器人自动抓取工件。
本发明一种基于RGB-D图像和CAD模型的机器人自动抓取工件方法的有益效果为:
本发明基于VTK建立一个虚拟相机与工件CAD模型的虚拟环境;利用神经网络对图像进行分割处理,得到目标工件的3D点云,然后与虚拟CAD模型点云进行匹配,该方法是匹配效果较好,速率高,解决了机器人工件抓取不精确,效果不好等问题;利用神经网络对工件的实际RGB图像进行实例分割,对以后抓取其他类型工件具有指导意义;本发明通过相机拍摄得到工作台的RGB-D图片,基于深度神经网络对工件目标进行识别,将目标工件在图像上分割出来;同时对工件CAD模型进行点云扫描;再利用PNP算法计算得到目标工件粗略位姿;从而计算机通过已知工件位姿与自身位姿计算实现自动抓取操作;本发明实现深度学习与传统方法相结合,准确性较高,同时神经网络并行化程度高,使得GPU合理运用,方法运算速度快。
附图说明
图1为本发明的流程图;
图2为工件抓取方法整体示意图。
具体实施方式
本发明方法分为工件图像实例分割,点云匹配以及机器人抓取三个阶段,具体步骤如下。
1.数据采集:
1-1通过彩色相机和深度相机对工件进行数据采集(获得多张图像,建立数据集),得到工件的RGB图像Ⅰ(多张图像、数据集)以及深度图像Ⅰ(多张图像、数据集);
1-2.根据两个相机的相对位置,计算得到两个相机视角转换单应性矩阵,RGB图像Ⅰ以及深度图像Ⅰ通过单应性矩阵转换,计算得到RGB图像Ⅰ以及深度图像Ⅰ对齐的RGB图像Ⅰ以及深度图像Ⅰ。
1-3.将对齐的RGB图像Ⅰ以及深度图像Ⅰ调整至大小相同获得RGB图像Ⅱ以及深度图像Ⅱ。
2.将得到的RGB图像Ⅱ送入MaskRCNN网络(网络模型)进行训练,使网络输出结果准确、稳定。
3.将工件的实际RGB图像(工件在工作台上的实际图像)输入到神经网络(通过上述MaskRCNN网络进行训练得到)进行实例分割,用以得到所述工件的掩膜图像以及3D特征点(工件类别);
4.将目标点云与虚拟CAD模型点云进行匹配:
4-1)用所述掩膜图像将深度图像Ⅰ分割获得图像Ⅰ,根据图像Ⅰ的像素值与相机内在参数得到工件的分割后目标点云;通过所述分割后目标点云和所述3D特征点利用算法Ⅰ计算出工件的粗略位姿。
4-2)基于VTK建立一个虚拟相机与工件CAD模型的虚拟环境,变换虚拟相机与工件CAD模型的相对位姿获得虚拟点云;将扫描点云作为目标点云,虚拟点云(工件CAD模型点云)作为需要匹配的点云,将该目标点云与所述匹配的点云使用ICP算法经过多次迭代,得到目标工件的精确位姿。
5.基于工件与相机相对位姿以及相机与机器人相对位姿进行矩阵变换得到工件相对机器人的位姿,实现机器人自动抓取工件。
其中所述RGB-D(RGB Depth Map)RGB色彩模式是工业界的一种颜色标准,是通过对红、绿、蓝三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的,RGB即是代表红、绿、蓝三个通道的颜色,这个标准几乎包括了人类视力所能感知的所有颜色,是目前运用最广的颜色系统之一。
其中所述D为Depth Map:在3D计算机图形中,Depth Map即深度图是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。其中,Depth Map类似于灰度图像,只是它的每个像素值是传感器距离物体的实际距离。通常RGB图像和Depth图像是配准的,因而像素点之间具有一对一的对应关系。
本发明所采用的的网络结构主体为Mask-RCNN以及添加新的分支。网络结构由Faster-RCNN、FCN、ROI对齐以及3D特征点提取检测分支构成。
Claims (4)
1.一种基于RGB-D图像和CAD模型的机器人自动抓取工件方法,包括以下步骤:
步骤一、通过相机得到所述工件的RGB图像Ⅰ和深度图像Ⅰ;RGB图像Ⅰ和深度图像Ⅰ通过单应性矩阵转换,计算得到RGB图像Ⅰ和深度图像Ⅰ对齐的数据;将所述对齐数据进行采集并调整至大小相同获得RGB图像Ⅱ和深度图像Ⅱ;将RGB图像Ⅱ送入网络模型进行训练,用以使网络输出结果准确、稳定;将所述工件的实际RGB图像输入到神经网络进行实例分割,用以得到所述工件的掩膜图像以及3D特征点;
步骤二:用所述掩膜图像将深度图像Ⅰ分割获得图像Ⅰ,根据图像Ⅰ的像素值与相机内在参数得到工件的分割后目标点云;通过所述分割后目标点云和所述3D特征点利用算法Ⅰ计算出工件的粗略位姿;建立虚拟环境,变换相机与工件CAD模型之间的相对位姿得到虚拟点云,所述虚拟点云作为需要匹配的点云,将扫描点云作为目标点云,通过所述需要匹配的点云和所述目标点云利用算法Ⅱ进行迭代匹配,得到工件的精确位姿;
步骤三:根据工件与相机相对位姿以及相机与机器人相对位姿,通过矩阵变换得到工件相对机器人的位姿,实现机器人自动抓取工件;
其中所述算法Ⅰ为PNP算法;
其中所述算法Ⅱ为ICP算法;
其中所述虚拟环境是基于VTK建立一个虚拟相机与工件CAD模型的虚拟环境。
2.根据权利要求1所述的方法,其中所述相机采用彩色相机和深度相机。
3.根据权利要求2所述的方法,其中所述单应性矩阵是通过彩色相机和深度相机的相对位置进行计算得到。
4.根据权利要求1所述的方法,其中所述网络模型为MaskRCNN网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110534173.1A CN113222940B (zh) | 2021-05-17 | 2021-05-17 | 一种基于rgb-d图像和cad模型的机器人自动抓取工件方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110534173.1A CN113222940B (zh) | 2021-05-17 | 2021-05-17 | 一种基于rgb-d图像和cad模型的机器人自动抓取工件方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113222940A CN113222940A (zh) | 2021-08-06 |
CN113222940B true CN113222940B (zh) | 2022-07-12 |
Family
ID=77092380
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110534173.1A Expired - Fee Related CN113222940B (zh) | 2021-05-17 | 2021-05-17 | 一种基于rgb-d图像和cad模型的机器人自动抓取工件方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113222940B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116128960A (zh) * | 2021-09-17 | 2023-05-16 | 山西大学 | 一种基于机器学习的工件自动抓取方法、系统及装置 |
CN114332073A (zh) * | 2022-01-14 | 2022-04-12 | 湖南视比特机器人有限公司 | 目标工件的检测方法及装置、智能分拣系统和存储介质 |
CN115284297B (zh) * | 2022-08-31 | 2023-12-12 | 深圳前海瑞集科技有限公司 | 工件定位方法、机器人及机器人作业方法 |
CN116416217B (zh) * | 2023-03-06 | 2023-11-28 | 赛那德科技有限公司 | 无序堆叠包裹图像的生成方法、系统及设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110014426A (zh) * | 2019-03-21 | 2019-07-16 | 同济大学 | 一种利用低精度深度相机高精度抓取形状对称工件的方法 |
CN110363815A (zh) * | 2019-05-05 | 2019-10-22 | 东南大学 | 一种单视角点云下基于实例分割的机器人抓取检测方法 |
CN112258618A (zh) * | 2020-11-04 | 2021-01-22 | 中国科学院空天信息创新研究院 | 基于先验激光点云与深度图融合的语义建图与定位方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10462972B2 (en) * | 2016-09-15 | 2019-11-05 | Harvestmoore, L.L.C. | Methods for automated pruning and harvesting of fruit plants utilizing a graphic processor unit |
CN109801337B (zh) * | 2019-01-21 | 2020-10-02 | 同济大学 | 一种基于实例分割网络和迭代优化的6d位姿估计方法 |
CN112785705B (zh) * | 2021-01-21 | 2024-02-09 | 中国科学技术大学 | 一种位姿获取方法、装置及移动设备 |
-
2021
- 2021-05-17 CN CN202110534173.1A patent/CN113222940B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110014426A (zh) * | 2019-03-21 | 2019-07-16 | 同济大学 | 一种利用低精度深度相机高精度抓取形状对称工件的方法 |
CN110363815A (zh) * | 2019-05-05 | 2019-10-22 | 东南大学 | 一种单视角点云下基于实例分割的机器人抓取检测方法 |
CN112258618A (zh) * | 2020-11-04 | 2021-01-22 | 中国科学院空天信息创新研究院 | 基于先验激光点云与深度图融合的语义建图与定位方法 |
Non-Patent Citations (4)
Title |
---|
He Wang 等.Normalized Object Coordinate Space for Category-Level 6D Object Pose and Size Estimation.《Conference on Computer Vision and Pattern Recognition》.2019, * |
刘钲.机器人目标位置姿态估计及抓取研究.《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》.2019,(第9期), * |
刘鹏翔 等.基于生成对抗网络的单目相机6D位姿估计.《机械设计与研究》.2020,第36卷(第6期), * |
基于深度学习的三维工件识别.基于深度学习的三维工件识别.《万方》.2021, * |
Also Published As
Publication number | Publication date |
---|---|
CN113222940A (zh) | 2021-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113222940B (zh) | 一种基于rgb-d图像和cad模型的机器人自动抓取工件方法 | |
CN109816725B (zh) | 一种基于深度学习的单目相机物体位姿估计方法及装置 | |
CN107103613B (zh) | 一种三维手势姿态估计方法 | |
CN113065546B (zh) | 一种基于注意力机制和霍夫投票的目标位姿估计方法及系统 | |
CN111340797A (zh) | 一种激光雷达与双目相机数据融合检测方法及系统 | |
CN106251353A (zh) | 弱纹理工件及其三维位姿的识别检测方法及系统 | |
CN111721259B (zh) | 基于双目视觉的水下机器人回收定位方法 | |
CN110400322B (zh) | 基于颜色和三维几何信息的水果点云分割方法 | |
CN110910451B (zh) | 一种基于变形卷积网络的物体位姿估计方法及系统 | |
CN110281231B (zh) | 无人化fdm增材制造的移动机器人三维视觉抓取方法 | |
CN107067015B (zh) | 一种基于多特征深度学习的车辆检测方法及装置 | |
CN111709980A (zh) | 基于深度学习的多尺度图像配准方法和装置 | |
JP6912215B2 (ja) | 対象物の姿勢等を検出する検出方法、検出プログラム | |
CN110509273A (zh) | 基于视觉深度学习特征的机器人机械手检测及抓取方法 | |
CN110533716B (zh) | 一种基于3d约束的语义slam系统及方法 | |
CN113343976B (zh) | 基于颜色-边缘融合特征生长的抗高光干扰工程测量标志提取方法 | |
CN110135277B (zh) | 一种基于卷积神经网络的人体行为识别方法 | |
CN115147488B (zh) | 一种基于密集预测的工件位姿估计方法与抓取系统 | |
CN111784655A (zh) | 一种水下机器人回收定位方法 | |
CN114882109A (zh) | 一种面向遮挡、杂乱场景下的机器人抓取检测方法及系统 | |
CN113284184A (zh) | 面向机器人rgbd视觉感知的6d位姿估计方法及系统 | |
CN108921929A (zh) | 一种识别系统及训练方法及单张单目图像的识别方法 | |
CN115578460A (zh) | 基于多模态特征提取与稠密预测的机器人抓取方法与系统 | |
CN117745708A (zh) | 基于深度学习算法的木地板表面瑕疵检测方法 | |
CN114494773A (zh) | 一种基于深度学习的零件分拣识别系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220712 |
|
CF01 | Termination of patent right due to non-payment of annual fee |