CN113538486B - 一种提高汽车钣金工件的识别与定位精度的方法 - Google Patents
一种提高汽车钣金工件的识别与定位精度的方法 Download PDFInfo
- Publication number
- CN113538486B CN113538486B CN202110788191.2A CN202110788191A CN113538486B CN 113538486 B CN113538486 B CN 113538486B CN 202110788191 A CN202110788191 A CN 202110788191A CN 113538486 B CN113538486 B CN 113538486B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- edge
- workpiece
- cloud data
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 229910052751 metal Inorganic materials 0.000 title claims abstract description 27
- 239000002184 metal Substances 0.000 title claims abstract description 27
- 238000009616 inductively coupled plasma Methods 0.000 claims abstract description 22
- 230000011218 segmentation Effects 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 239000013598 vector Substances 0.000 claims description 26
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 238000003708 edge detection Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 14
- 238000004519 manufacturing process Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003754 machining Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013329 compounding Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 229910052731 fluorine Inorganic materials 0.000 description 1
- 125000001153 fluoro group Chemical group F* 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000005482 strain hardening Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明属于无序分拣机器视觉领域,具体的说是一种提高汽车钣金工件的识别与定位精度的方法。该方法包括:一、获取完整待抓取工件场景图像并进行预处理,对图像中工件完成实例分割,根据实例分割结果提取二维图像的边缘;二、对采集得到的待抓取工件场景的点云数据进行预处理操作,根据提取得到的二维图像的边缘作为索引,进一步提取点云数据边缘;并计算点云边缘中的点对特征,建立全局模型描述;三、进行在线的模型匹配,采用基于霍夫投票原理的投票方法获取候选位姿,并采用连接性密度聚类算法对候选位姿进行聚类,并采用ICP配准算法对位姿进行优化。本发明在保证工件识别速度的同时,可以大大的提高对于汽车钣金件的识别与定位精度。
Description
技术领域
本发明属于无序分拣机器视觉领域,具体的说是一种提高汽车钣金工件的识别与定位精度的方法。
背景技术
机器视觉引导的无序分拣系统具有精度高,适应性强等优点,可以很好的完成对非结构环境下的工件的分拣任务。视觉引导的分拣系统可以使得生产线更加的柔性化,更好的适应当今小批量个性化定制生产需求,避免由于机器人示教编程所带来的对于生产线转产周期的限制。
在实际的汽车工业生产加工过程中,各个生产车间需要由后勤物流部门统一调配生产部件。后勤物流部门每天需要处理大量的零部件拆包转运问题,可以采用基于视觉引导的机械臂来代替人工完成对各种零部件的分拣任务,但当分拣的过程中遇到由金属薄板经过钣金工艺加工形成的薄片状钣金件时,由于汽车钣金件特征较少且多集中于边缘、不区分正反面等因素干扰,基于传统的模板匹配的识别与定位算法的效果并不理想。
这种基于模板匹配的工件识别与定位算法的主要流程为:
1)通过对待检测工件的CAD模型进行采样,或相机实时采集的方式生成点云模板文件,用于后续模板匹配过程;
2)采用刚体ICP配准算法或其他配准策略将待测物点云模板向待测物的实际测量点云配准;
3)获取模板到工件场景点云数据的刚体变换关系,并解算出相对于机器人基坐标系的位姿。
上述流程至少存在如下的问题:
1)操作复杂:需要生成待识别工件的表面模板;
2)耗时长:在训练生成点云表面模板的过程中需要花费大量时间,并在进行配准之前需要计算提取点云关键点形成点云特征描述子,算法的耗时较长;
3)使用局限:仅有ICP配准算法完成对工件的识别与定位,由于ICP算法的初始参数的设置问题,可能造成误匹配的情况发生,造成对工件的误识别问题。
发明内容
本发明提供了一种提高汽车钣金工件的识别与定位精度的方法,本发明在保证工件识别速度的同时,可以大大的提高对于汽车钣金件的识别与定位精度,解决了现有对汽车钣金件识别与定位方式操作复杂、耗时长、且容易发生误识别的问题。
本发明技术方案结合附图说明如下:
一种提高汽车钣金工件的识别与定位精度的方法,包括以下步骤:
步骤一、获取完整待抓取工件场景图像并进行预处理,对图像中工件完成实例分割,根据实例分割结果提取二维图像的边缘;
步骤二、对采集得到的待抓取工件场景的点云数据进行预处理操作,根据提取得到的二维图像的边缘作为索引,进一步提取点云数据边缘;并计算点云边缘中的点对特征,建立全局模型描述;
步骤三、进行在线的模型匹配,采用基于霍夫投票原理的投票方法获取候选位姿,并采用连接性密度聚类算法对候选位姿进行聚类,并采用ICP配准算法对位姿进行优化。
所述步骤一的具体方法如下:
11)获取场景二维图像并进行二值、去噪、平滑的预处理操作;
12)搭建Mask R-CNN卷积神经网模型完成对二维图像的实例分割;
13)在Mask R-CNN卷积神经网络模型上添加边缘检测分支,对实例分割的结果进行边缘提取。
所述步骤二的具体方法如下:
21)对采集得到的待抓取工件场景的点云数据进行直通滤波、体素格栅滤波、统计学滤波、法向量估计的预处理操作;
22)根据实例分割的二维图像边缘向三维场景点云数据进行映射,最终提取得边缘点云数据;
23)确定边缘点云数据的PPF特征,并将得到的点对特征存储在Hash表数据结构中形成边缘模型的全局模型描述。
所述步骤22)的具体方法如下:
结合标定得到的相机的内部参数将二维图像尺寸与三维点云数据尺寸进行对齐,并以获取的二维边缘为索引在三维点云数据中搜寻点云边缘。
所述步骤23)的具体方法如下:
一个点云数据中会形成大量点对特征,若含有n个点则会形成n×(n-1)组的点对特征;所述点对特征,一组点对特征由点云数据中的两点与两点所对应的法向量关系共同确定,对于点云中两点m1和m2,分别求其对应的法向量n1和n2,将两点之间的距离记为d,d=m1-m2,点对特征F定义为:F(m1,m2)=(||d||2,∠(n1,d),∠(n2,d),∠(n1,n2));
所述步骤三的具体方法如下:
在场景边缘中选取采样点确定其对应的PPF特征并找到与之对应的全局模型的点对特征,进行旋转使得两组点对特征的对应点和对应向量重合,并在此基础上对模型点对特征旋转角度构建局部坐标系;在局部坐标系张成的二维空间中进行霍夫投票获取候选位姿,并采用连接性密度聚类算法对位姿进行聚类获得最终位姿,并采用ICP配准算法对位姿进行优化,使得到的位姿更加的精确,从而更好的对汽车钣金工件的识别与定位。
本发明的有益效果为:
本发明即提高汽车钣金工件的识别与定位精度的方法,基于Mask R-CNN卷积神经网络对获取得到的二维场景图像进行实例分割,在实例分割的基础上通过边缘检测分支结构提取分割对象的边缘,并对采集得到的场景点云数据进行预处理操作,将二维边缘向三维点云数据进行映射得到点云边缘轮廓;并在得到的点云边缘上计算PPF特征,最后通过广义霍夫投票方法获取待识别对象的候选位姿,采用连接性密度聚类算法对所有候选位姿进行聚类获取粗略位姿,并采用ICP配准算法对位姿进行优化;整个过程在保证工件识别速度的同时,可以大大的提高对于汽车钣金件的识别与定位精度。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明的整体流程图;
图2为构建神经网络总体流程图;
图3为边缘检测分支示意图;
图4为语义分割分支示意图;
图5为总体神经网络结构示意图;
图6为点对特征示意图;
图7为汽车钣金件识别与定位总体方案示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明所提供的方法,可以适用于多种场景,例如物流工件拆包转运过程,机械加工上料过程,机械装配组装过程;对汽车钣金工件的识别与定位有如下作用:
1)在工件拆包转运过程,对目标工件识别与定位的精度将直接影响后续生产部门的生产效率;
2)在机械加工上料过程,对工件的识别与定位的精度将直接影响生产线的生产节拍;
3)在机械装配组装过程中,识别与定位的精度将直接影响产品的质量。
对本发明所涉及的名词,做解释如下:
钣金:钣金是针对金属薄板(通常在6mm以下)一种综合冷加工工艺,包括剪、冲/切/复合、折、铆接、拼接、成型(如汽车车身)等。
钣金件:经过钣金工艺加工而成的钢、铝、铜等材质的薄板五金件,在电子电器、通信、汽车工业、医疗器械等领域得到了广泛应用
实例分割:计算机自动从图像中用目标检测方法框出不同实例,再用语义分割方法在不同实例区域内进行逐像素标记。
边缘检测分支:整体嵌套边缘检测是一种基于深度学习的边缘检测算法,为一种端到端的边缘检测模型。
点云:点云是分布在N维空间的离散点集,主要以三维为主,是对物体表面信息的离散采样。
PPF特征:点对特征描述子(PPF),考虑带有法向量信息的一组点对之间的距离与向量之间的角度关系构成一组对应的特征向量。
ICP配准算法:分别在待匹配的目标点云P和源点云Q中,按照一定的约束条件,找到最邻近点(pi,qi)计算其最优匹配参数R和T,使得误差函数最小,其中n为最近邻点的个数;pi为目标点云P中的一点;qi为源点云Q中与pi最近的点;R为旋转矩阵;t和T为平移矩阵;
参阅图1和图7,一种提高汽车钣金工件的识别与定位精度的方法,包括以下步骤:
步骤一、获取完整待抓取工件场景图像并进行预处理,对图像中工件完成实例分割,根据实例分割结果提取二维图像的边缘;
11)获取场景二维图像并进行二值、去噪、平滑的预处理操作;
参阅图2和图5,12)搭建Mask R-CNN卷积神经网模型完成对二维图像的实例分割;
其中,Mask R-CNN卷积神经网络对于每一个感兴趣区域即ROI定义对应的损失函数LMaskR-CNN=Lcls+Lbox+Lmask;
其中,Lcls为分类损失函数;Lcls=-logPu;Pu为正确类别u的预测概率;Lbox为边框损失函数;Lmask为分割损失; 为真实分类的预测回归参数;vi为真实的平移缩放参数;表示目标区域内像素对应正确类的预测回归参数,y表示目标区域内像素的真实掩码标签;
其中,n为最近邻点的个数;yi为表示目标区域内每个像素的真实掩码标签;xi为目标区域内每个像素的预测掩码标签;
参阅图3,13)在Mask R-CNN卷积神经网络模型上添加边缘检测分支,对实例分割的结果进行边缘提取。
对于边缘检测分支,其对应的损失函数为:
类别平衡交叉熵的求解公式如下:
参阅图4、图5和图6,步骤二、对采集得到的待抓取工件场景的点云数据进行预处理操作,根据提取得到的二维图像的边缘作为索引,进一步提取点云数据边缘;并计算点云边缘中的点对特征,建立全局模型描述;
21)对采集得到的待抓取工件场景的点云数据进行直通滤波、体素格栅滤波、统计学滤波、法向量估计的预处理操作;
22)根据实例分割的二维图像边缘向三维场景点云数据进行映射,最终提取得边缘点云数据;具体为:
结合标定得到的相机的内部参数将二维图像尺寸与三维点云数据尺寸进行对齐,并以获取的二维边缘为索引在三维点云数据中搜寻点云边缘。
23)确定边缘点云数据的PPF特征,并将得到的点对特征存储在Hash表数据结构中形成边缘模型的全局模型描述。
所述的点对特征,一组点对特征由点云数据中的两点与两点所对应的法向量关系共同确定,对于点云中两点m1和m2,分别求其对应的法向量n1和n2,将两点之间的距离记为d,d=m1-m2,点对特征F定义为:F(m1,m2)=(||d||2,∠(n1,d),∠(n2,d),∠(n1,n2))。
对于所述全局模型描述的基本思想是,一个点云数据中会形成大量点对特征,若含有n个点则会形成n×(n-1)组的点对特征,需要采用合适的数据结构对特征进行管理。具体可以采用MurmurHash哈希函数建立哈希表对点对特征进行管理,建立模型的全局特征描述。
步骤三、进行在线的模型匹配,采用基于霍夫投票原理的投票方法获取候选位姿,并采用连接性密度聚类算法对候选位姿进行聚类,并采用ICP配准算法对位姿进行优化。
在场景边缘中选取采样点计算其对应的PPF特征并找到与之对应模型点对特征,进行旋转使得两组点对特征的对应点和对应向量重合,并在此基础上对模型点对特征旋转一个角度构建局部坐标系。在局部坐标系张成的二维空间中进行霍夫投票获取候选位姿,并采用连接性密度聚类算法对位姿进行聚类获得最终位姿,并采用ICP配准算法对位姿进行优化。
所述构建局部坐标系通过局部坐标系的构建降低了描述刚体变换所需要的维度,刚体变换由3自由度降低为6自由度。
对于所述的局部坐标系构建过程具体为:即在工件分拣场景点云数据S中,选取一个参考点sr,设该参考点位于场景点云的目标对象上,如果该假设正确,则在模型点云数据上必然存在一个参考点mr与点sr相对应;计算场景点对特征描述子Fs(sr,si),并在Hash表中搜寻具有相似距离和法向量方向的点对(mr,mi)。将模型点对与场景点对进行配准,需要同时将点的位置和法向量对齐,并将模型数据绕着sr的法向轴旋转一个角度来实现与场景数据的配准,此时定义配对关系(mr,α)为模型相对于场景数据中点的局部坐标系。
所述基于广义霍夫投票原理,获取候选位姿,是建立一个二维累加器对得到的所有满足条件的可能结果进行计数。
在局部参考坐标系(mr,α)所张成的二维空间中进行计数,累加器的行数为模型数据中采样点的个数M,累加器的列数为转动角度α∈[0,2π]的采样步长nangle。
对位姿做进一步的聚类的目的在于缩减最终的位姿数量,排除错误位姿干扰,提高位姿精度
采用一种基于连接性密度聚类算法完成对候选位姿的聚类操作,首先定义界定连接性的邻域半径ε和邻域ε内包含样本点数阈值MinPts。若在空间中给定一点x,则点x的ε邻域点集是以点x为中心,ε为半径的超球区域内样本点的集合Nε(x),记为:Nε(x)={y∈X:dist(x,y)≤ε}。
连接性密度聚类算法中还要涉及到如下的几个基本概念:
1)核心点、边界点与噪声点:对于对象x∈X,若|Nε(x)|≥MinPts,则x称为核心点;若某点为非核心点但在某个核心点的ε邻域内则被定义为边界点;否则被定义为噪声点
2)直接密度可达:在对象集X中,若对象x′为另一个对象x的ε邻域范围内的点,且x为核心点,则从x′到x直接密度可达。
3)密度可达:若在对象集X中,若存在一系列的点集x1、x2、...、xn,对于xi∈D(1≤i≤n),若从对象xi+1到对象xi是直接密度可达的,则从xn到x1密度可达。
4)密度相连:若存在一个对象o,若对象x′与对象x都从o处密度可达,则对象x′与x之间密度相连。
采用连接性密度聚类算法对位姿进行聚类的具体步骤为:
Step1:从候选位姿集合P中随机抽取一个未被访问的位姿对象p,在它的ε邻域内满足阈值要求则被定义为核心点,否则被暂时定义为噪声点;
Step2:找到所有从对象p的密度可达对象,形成一个新的位姿簇;
Step3:通过密度相连生成最终的位姿簇;
Step4:不断迭代上述步骤2和步骤3,当所有对象被标记为“已访问”时停止迭代,不包含在任何聚类中的对象就是噪声数据Noise。
对于聚类得到的粗略位姿进一步采用ICP配准算法进行优化,此时所得的位姿估计的精度高,对于薄片状工件的识别抓取的成功率也有所提高。
对位姿进行优化后,将抓取点的坐标和姿态转换到机器人基坐标系下,并通过串口通信发送给机器人控制模块驱动机械臂进行抓取。
以上结合附图详细描述了本发明的优选实施方式,但是,本发明的保护范围并不局限于上述实施方式中的具体细节,在本发明的技术构思范围内,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,这些简单变型均属于本发明的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合,为了避免不必要的重复,本发明对各种可能的组合方式不再另行说明。
此外,本发明的各种不同的实施方式之间也可以进行任意组合,只要其不违背本发明的思想,其同样应当视为本发明所公开的内容。
Claims (1)
1.一种提高汽车钣金工件的识别与定位精度的方法,其特征在于,包括以下步骤:
步骤一、获取完整待抓取工件场景图像并进行预处理,对图像中工件完成实例分割,根据实例分割结果提取二维图像的边缘;
步骤二、对采集得到的待抓取工件场景的点云数据进行预处理操作,根据提取得到的二维图像的边缘作为索引,进一步提取点云数据边缘;并计算点云边缘中的点对特征,建立全局模型描述;
步骤三、进行在线的模型匹配,采用基于霍夫投票原理的投票方法获取候选位姿,并采用连接性密度聚类算法对候选位姿进行聚类,并采用ICP配准算法对位姿进行优化;
所述步骤一的具体方法如下:
11)获取场景二维图像并进行二值、去噪、平滑的预处理操作;
12)搭建Mask R-CNN卷积神经网模型完成对二维图像的实例分割;
13)在Mask R-CNN卷积神经网络模型上添加边缘检测分支,对实例分割的结果进行边缘提取;
所述步骤二的具体方法如下:
21)对采集得到的待抓取工件场景的点云数据进行直通滤波、体素格栅滤波、统计学滤波、法向量估计的预处理操作;
22)根据实例分割的二维图像边缘向三维场景点云数据进行映射,最终提取得边缘点云数据;
23)确定边缘点云数据的PPF特征,并将得到的点对特征存储在Hash表数据结构中形成边缘模型的全局模型描述;
所述步骤22)的具体方法如下:
结合标定得到的相机的内部参数将二维图像尺寸与三维点云数据尺寸进行对齐,并以获取的二维边缘为索引在三维点云数据中搜寻点云边缘;
所述步骤23)的具体方法如下:
一个点云数据中会形成大量点对特征,若含有n个点则会形成n×(n-1)组的点对特征;所述点对特征,一组点对特征由点云数据中的两点与两点所对应的法向量关系共同确定,对于点云中两点m1和m2,分别求其对应的法向量n1和n2,将两点之间的距离记为d,d=m1-m2,点对特征F定义为:F(m1,m2)=(||d||2,∠(n1,d),∠(n2,d),∠(n1,n2));
所述步骤三的具体方法如下:
在场景边缘中选取采样点确定其对应的PPF特征并找到与之对应的全局模型的点对特征,进行旋转使得两组点对特征的对应点和对应向量重合,并在此基础上对模型点对特征旋转角度构建局部坐标系;在局部坐标系张成的二维空间中进行霍夫投票获取候选位姿,并采用连接性密度聚类算法对位姿进行聚类获得最终位姿,并采用ICP配准算法对位姿进行优化,使得到的位姿更加的精确,从而更好的对汽车钣金工件的识别与定位。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110788191.2A CN113538486B (zh) | 2021-07-13 | 2021-07-13 | 一种提高汽车钣金工件的识别与定位精度的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110788191.2A CN113538486B (zh) | 2021-07-13 | 2021-07-13 | 一种提高汽车钣金工件的识别与定位精度的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113538486A CN113538486A (zh) | 2021-10-22 |
CN113538486B true CN113538486B (zh) | 2023-02-10 |
Family
ID=78127649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110788191.2A Active CN113538486B (zh) | 2021-07-13 | 2021-07-13 | 一种提高汽车钣金工件的识别与定位精度的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113538486B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114454168B (zh) * | 2022-02-14 | 2024-03-22 | 赛那德数字技术(上海)有限公司 | 一种动态视觉机械臂抓取方法、系统及电子设备 |
CN114648694B (zh) * | 2022-03-01 | 2023-05-26 | 无锡雪浪数制科技有限公司 | 一种基于深度相机与机器视觉的海缆排缆间隙识别方法 |
CN114952809B (zh) * | 2022-06-24 | 2023-08-01 | 中国科学院宁波材料技术与工程研究所 | 工件识别和位姿检测方法、系统及机械臂的抓取控制方法 |
CN115445963A (zh) * | 2022-09-30 | 2022-12-09 | 北京思灵机器人科技有限责任公司 | 无序线材分拣方法、装置及系统 |
CN115908519B (zh) * | 2023-02-24 | 2023-05-09 | 南京航空航天大学 | 一种大型复合材料构件三维测量配准误差控制方法 |
CN116975581B (zh) * | 2023-07-20 | 2024-04-26 | 快速直接(深圳)精密制造有限公司 | 一种基于step格式的钣金件快速识别方法 |
CN117314919B (zh) * | 2023-11-29 | 2024-03-19 | 嘉利胶袋制品(深圳)有限公司 | 基于机器视觉的包装袋生产分析方法、系统及存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108830902A (zh) * | 2018-04-19 | 2018-11-16 | 江南大学 | 一种基于点云处理的散乱工件识别与定位方法 |
US10282834B1 (en) * | 2018-06-22 | 2019-05-07 | Caterpillar Inc. | Measurement platform that automatically determines wear of machine components based on images |
CN110706234B (zh) * | 2019-10-08 | 2022-05-13 | 浙江工业大学 | 一种图像的自动精细分割方法 |
CN111784770B (zh) * | 2020-06-28 | 2022-04-01 | 河北工业大学 | 基于shot和icp算法的无序抓取中的三维姿态估计方法 |
CN111791239B (zh) * | 2020-08-19 | 2022-08-19 | 苏州国岭技研智能科技有限公司 | 一种结合三维视觉识别可实现精确抓取的方法 |
CN112509063A (zh) * | 2020-12-21 | 2021-03-16 | 中国矿业大学 | 一种基于边缘特征匹配的机械臂抓取系统及方法 |
CN113034593B (zh) * | 2021-03-09 | 2023-12-12 | 深圳市广宁股份有限公司 | 6d位姿标注方法、系统及存储介质 |
-
2021
- 2021-07-13 CN CN202110788191.2A patent/CN113538486B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113538486A (zh) | 2021-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113538486B (zh) | 一种提高汽车钣金工件的识别与定位精度的方法 | |
CN111563442B (zh) | 基于激光雷达的点云和相机图像数据融合的slam方法及系统 | |
CN110227876B (zh) | 基于3d点云数据的机器人焊接路径自主规划方法 | |
CN110223345B (zh) | 基于点云的配电线路作业对象位姿估计方法 | |
CN111062915A (zh) | 一种基于改进YOLOv3模型的实时钢管缺陷检测方法 | |
CN106203342A (zh) | 基于多角度局部特征匹配的目标识别方法 | |
CN109740537B (zh) | 人群视频图像中行人图像属性的精确标注方法及系统 | |
CN107316328B (zh) | 一种基于二维激光扫描仪角点特征的闭环检测方法 | |
CN113393426B (zh) | 一种轧钢板表面缺陷检测方法 | |
CN114743259A (zh) | 位姿估计方法、位姿估计系统、终端、存储介质及应用 | |
CN113313701B (zh) | 基于形状先验的电动汽车充电口两阶段视觉检测定位方法 | |
CN116309847A (zh) | 一种基于二维图像和三维点云结合的堆叠工件位姿估计方法 | |
CN109993213A (zh) | 一种用于服装部件图的自动识别方法 | |
CN115830359A (zh) | 复杂场景下基于目标检测和模板匹配的工件识别计数方法 | |
CN114463396B (zh) | 一种利用平面形状和拓扑图投票的点云配准方法 | |
CN111612802A (zh) | 一种基于现有图像语义分割模型的再优化训练方法及应用 | |
CN102201060B (zh) | 一种基于形状语义的非参数轮廓跟踪评价方法 | |
CN114511575A (zh) | 基于图像分割定位辅助点云配准的高反光物体的抓取方法 | |
CN114913289B (zh) | 一种生产车间三维动态不确定性语义slam方法 | |
CN116452826A (zh) | 基于机器视觉的遮挡情况下煤矸石轮廓估计方法 | |
CN113781432B (zh) | 基于深度学习的激光扫描自动铺放在线检测方法及装置 | |
CN111488882B (zh) | 一种用于工业零件测量的高精度图像语义分割方法 | |
Xiong et al. | Local deformable template matching in robotic deburring | |
CN114170218A (zh) | 一种染色体图像实例标签生成方法及系统 | |
Efraty et al. | Pose invariant facial component-landmark detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |