CN115847398A - 一种基于区域的机器人智能加工方法及系统 - Google Patents
一种基于区域的机器人智能加工方法及系统 Download PDFInfo
- Publication number
- CN115847398A CN115847398A CN202211397107.5A CN202211397107A CN115847398A CN 115847398 A CN115847398 A CN 115847398A CN 202211397107 A CN202211397107 A CN 202211397107A CN 115847398 A CN115847398 A CN 115847398A
- Authority
- CN
- China
- Prior art keywords
- defect
- point
- robot
- area
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 230000007547 defect Effects 0.000 claims abstract description 179
- 238000001514 detection method Methods 0.000 claims abstract description 60
- 238000012545 processing Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000003754 machining Methods 0.000 claims description 59
- 238000010586 diagram Methods 0.000 claims description 14
- 230000007704 transition Effects 0.000 claims description 14
- 230000008439 repair process Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 6
- 230000002950 deficient Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 5
- 230000006872 improvement Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 239000002893 slag Substances 0.000 description 29
- 238000003466 welding Methods 0.000 description 28
- 230000006870 function Effects 0.000 description 16
- 238000007781 pre-processing Methods 0.000 description 8
- 238000005498 polishing Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000002966 varnish Substances 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于区域的机器人智能加工方法及系统，加工方法包括表面缺陷在线检测、缺陷区域划分及定位和加工路径自主决策三个部分，首先采用改进YOLO v3算法实现零件表面缺陷在线检测，得到缺陷坐标集合；然后采用K‑Means算法将表面缺陷按照区域进行划分，并通过图像区域边界点匹配方法完成表面缺陷区域定位。最后根据缺陷区域定位与预先设定好的加工路径之间的位置关系提取所需加工路径段，采用Dijkstra算法实现零件表面缺陷去除加工路径自主决策，引导机器人自动对表面缺陷进行局部加工修复。本发明通过对缺陷进行在线检测、区域划分、然后根据区域划分自主规划加工路径，能够有效提高机器人局部加工的精度和效率。
Description
技术领域
本发明属于机器人加工领域，涉及一种深度学习检测-定位-加工一体化技术，具体涉及一种基于区域的机器人智能加工方法及系统，用于一种复杂零件局部缺陷修复，例如，焊渣缺陷去除、漆面缺陷去除、清漆涂层抛光等。
背景技术
在汽车制造过程中，焊接和涂装工艺的缺陷检测和修复仍然是一个繁琐的手工过程。操作人员往往需要近距离工作，通过目测检查车身表面，然后针对车身表面缺陷进行磨抛去除，不仅耗费大量劳动力，而且磨抛质量不一。同时，缺陷的大小、形状、数量和位置，以及修复的不稳定性，都会给汽车厂商的成本和质量控制带来诸多挑战。目前针对复杂、多面、多曲度等不规则车身表面的缺陷修复，国内大多数汽车生产企业仍以手工磨抛为主。近年来，寻求机器人技术实现加工的自动化、智能化、智慧化正逐渐成为复杂零件高效高品质制造的新趋势。然而，针对车身表面缺陷的局部修复不同于机器人对整个零部件或装配体大范围的全局加工，对缺陷的精准检测、定位以及高效加工提出了严格的要求。
通过上述分析，现有技术存在的问题及缺陷为：
(1)目前已有的缺陷识别检测算法，针对随机分布且尺寸微小的车身缺陷检测，检测精度和召回率较低。
(2)由于缺陷本身的微小特征以及摄像机的视场因素，采用已有的双目图像匹配定位方法，存在着匹配难度高、匹配效率低等问题。
(3)现有加工路径决策方法，多集中面向于特定区域加工，面对随机分布缺陷修复时，无法实现机器人加工的高效率、高稳定性。
发明内容
有鉴于此，本发明提出一种基于区域的机器人智能加工方法及系统。所述机器人智能加工方法包括：
部分一：表面缺陷在线检测，通过双目相机拍摄待修复零件表面图像，采用改进YOLO v3算法实现零件表面缺陷在线检测。部分二：缺陷区域划分及定位，采样K-Means算法将表面缺陷按照区域进行划分，并通过双目图像区域边界点匹配方法完成表面缺陷区域定位。部分三：加工路径自主决策，根据缺陷区域定位与预先设定好的加工路径之间的位置关系提取所需加工路径段，采用Dijkstra算法实现零件表面缺陷去除加工路径自主决策，引导机器人自动对表面缺陷进行局部加工修复。
为了实现上述目的，本发明采用的技术方案是：
一种基于区域的机器人智能加工方法，包括以下步骤：
步骤1、表面缺陷在线检测：
步骤1.1、采用双目相机获取待修复零件表面缺陷图像，分别得到左图像和右图像；
步骤1.2、利用视觉识别技术提取左、右图像上缺陷位置坐标，分别得到左、右图像的缺陷坐标数据集；
步骤2、缺陷区域划分及定位：
步骤2.1、对得到含有缺陷的零件表面图像坐标采用K-Means算法进行缺陷聚类，并利用手肘法确定聚类的k值，将缺陷划分为k个区域，得到左、右图像上缺陷的区域分布，所述区域分布包括区域数量k、每个区域的缺陷坐标点集以及每个区域的缺陷边界点集；
步骤2.2、采用双目图像目标区域边界点匹配方法，对得到的左、右图像上缺陷边界点确定所在区域，完成左、右图像上目标区域边界点匹配，分别得到缺陷区域边界点在左、右图像的坐标；
步骤2.3、坐标转换，通过坐标转换将零件表面图像上缺陷区域边界点的坐标转换为机器人基坐标系下的坐标或者世界坐标；
步骤3、加工路径自主决策：
步骤3.1、利用机器人离线编程软件规划出机器人在待修复零件表面的加工路径、进/退刀点、过渡点；
步骤3.2、根据缺陷区域边界点与加工路径之间的位置关系，提取修复缺陷区域所需的路径段；
步骤3.3、根据提取的路径段、规划的进/退刀点与过渡点，利用Dijkstra算法决策出修复缺陷区域最短路径，实现加工路径自主决策；
步骤3.4、将自主决策的加工路径通过通讯输入到机器人的控制器，引导机器人进行零件表面缺陷修复，实现机器人智能加工。
进一步地，步骤1.2中，利用视觉识别技术提取左、右图像上缺陷，将缺陷框的中心点坐标作为缺陷的位置坐标。
更进一步地，步骤1.2中，采用改进YOLO v3检测算法模型提取左、右图像上缺陷，具体步骤如下：
步骤1.2.1、采集多幅带有已知缺陷的零件表面图像，并对图像进行预处理；
步骤1.2.2、采用数据集标注软件，对图像中的缺陷进行标注，构建样本数据集；
步骤1.2.3、对YOLO v3检测算法模型改进，嵌入空洞卷积、引入CIoU和提高模型特征图的尺寸，得到改进YOLO v3检测算法模型；
步骤1.2.4、利用步骤1.2.2中获得的样本数据集对改进YOLO v3检测算法模型进行训练；
步骤1.2.5、利用步骤1.1中采集的零件表面图像，并按照步骤1.2.1的预处理方式进行预处理，将零件表面图像输入改进YOLO v3检测算法模型中进行缺陷检测。
进一步地，所述步骤1.2.1中，在采集零件表面图像时调节相机曝光以过滤掉灰尘及划痕等外在因素。
进一步地，所述步骤1.2.1中，图像预处理方法包括剪裁、降噪、对比度增强等。
进一步地，所诉步骤1.2.4中，YOLO v3检测算法模型改进具体方式如下：
(1)将YOLO v3检测算法模型Darknet-53网络结构的最后四个残差模块删除；
(2)将YOLO v3检测算法模型的输出特征图尺寸由13×13、26×26、52×52改为26×26、52×52、104×104；
(3)在YOLO v3检测算法模型Darknet-53网络结构的第三个残差模块的输出处嵌入空洞卷积模块；
(4)引入CIoU目标检测回归损失函数。
进一步地，所述步骤1.2.3中，嵌入的空洞卷积模块可定义为：
式中*l为空洞卷积，p为空洞卷积定义域，F为输入图像，s为输入图像定义域，k为核函数，t为核函数定义域。
进一步地，所述步骤1.2.3中，引入的CIoU目标检测回归损失函数可定义为：
其中/>
式中，ρ(btrue,bpre)为真实框btrue与预测框bpre中心点间的欧式距离，c2为C检测框对角线的长度，α为平衡系数，ν为宽高比一致性参数。
进一步地，步骤2.1中，采用K-Means算法进行缺陷聚类具体步骤如下：
步骤2.1.1、将缺陷坐标数据集X划分为k个簇，k从1开始取值；
步骤2.1.2、在缺陷坐标数据集X内，随机选取k个点作为初始化质心；
步骤2.1.3、将每个缺陷坐标点逐一分配给与其最近的质心，完成缺陷坐标数据集X内k个簇的划分；
步骤2.1.4、重新计算每个质心的位置；
步骤2.1.5、重复步骤2.1.2至步骤2.1.4进行迭代，当每个簇质心不再改变时停止K-Means，；
步骤2.1.6、计算k当前取值情况下，聚类均方误差值J；将k取值增加1，重复步骤2.1.1-步骤2.1.5迭代，以k作为横坐标，聚类均方误差值J作为纵坐标绘制折线图，取离聚类均方误差值J下降平稳的拐点横坐标为所需k值，完成迭代；此时k个族即为将零件表面图像上的缺陷划分为k个区域。
进一步地，步骤2.1.6中，聚类均方误差值J计算公式如下：
上式中，Ci表示划分为k个簇中的第i个族，x表示缺陷坐标数据集X内的某个坐标，μi为第i个簇的均值向量，即质心；
表示计算坐标点x和质心μi之间的欧式距离的平方。
进一步地，步骤2.2中，目标区域边界点匹配方法步骤如下：
步骤2.2.1、确定零件表面图像中缺陷边界对应点所在区域；
对左图像中缺陷区域进行编号，编号从1开始至k；对右图像中的缺陷区域进行编号，编号从k+1至2k，对于对于左图像内的点x，在右图像必存在对应点，所以确定对应点所在的区域应如式所示：
标签值
为左图像的中缺陷经Kmeans聚类后，编号为i的区域的标签，/>
为右图像中的缺陷经Kmeans聚类后，编号为j的区域的标签；l为区域标签计算结果；如果计算结果l满足l＝k，则左图的区域i与右图的区域j属于对应区域；
目标区域分类函数可定义如下：
p为目标区域分类函数值；
步骤2.2.2、根据特征点匹配方法完成各区域边界点匹配。
进一步地，步骤2.2.2中，具体步骤如下：
利用各边界点相对于质心的位置关系作为匹配特征值，设左图像i区域中第s个待匹配点坐标为
设该区域质心坐标为/>
则该边界点相对于质心的匹配特征/>
为：
目标区域边界点的匹配置信度函数为：
上式中，式中
为待匹配区域边界点的特征值，/>
为待匹配区域边界点对应的区域边界点的特征值，p为目标区域分类函数值，α为常量。
进一步地，步骤3.1中，所述加工路径规划是根据零件表面几何尺寸与加工刀具作业宽度决定，保证加工工具可以加工零件表面任意区域。
进一步地，步骤3.2中，所述进/退刀点规划是根据零件表面几何尺寸决定，保证加工刀具到达任意工作位置具有良好的机器人轴配置。
进一步地，步骤3.3中，所述过渡点规划是根据加工路径决定，保证加工工具从一个加工路径到达另一个加工路径具有良好的机器人轴配置。
进一步地，步骤3.2中，
提取修复缺陷区域所需的路径段的步骤如下：
步骤3.2.1、根据缺陷区域最值点与步骤3.1中规划的加工路径对应的加工面的位置关系，确定机器人需要执行的加工路径；
步骤3.2.2、根据缺陷区域边界最值点与步骤3.1中规划的加工路径的位置关系，分别提取修复缺陷区域需执行各加工路径上的路径段。
进一步地，步骤3.2.1中，所述加工路径的确定是根据缺陷区域在加工路径法线方向上的最值点决定的。
进一步地，所诉步骤3.2.2中，所述加工路径段的确定是根据缺陷区域在加工路径切线方向上的最值点决定的。
进一步地，采用Dijkstra算法决策修复缺陷区域最短路径方法具体步骤如下：
步骤3.3.1、根据步骤3.1中规划的进/退刀点、过渡点与步骤3.2中提取的路径段，设定源点；
步骤3.3.2、确定各节点方向，按照节点方向计算各节点之间的距离；
步骤3.3.3、以最短的距离节点作为最优点，并设置为下次路径搜索的起点；
步骤3.3.4、不断重复步骤3.3.3，即可实现修复缺陷区域最短加工路径决策。
本发明还提供一种基于区域的机器人智能加工系统，其特征在于，包括：
1、硬件系统：
双目相机，用于拍摄待修复零件表面，输出零件表面图像到表面缺陷在线检测模块；
工业机器人，末端携带加工刀具，用于修复零件表面缺陷；
2、软件系统：
表面缺陷在线检测模块，执行上述任意一项所述机器人智能加工方法中的步骤1，用于检测表面缺陷，输出缺陷图像坐标到缺陷区域划分及定位模块；
缺陷区域划分及定位模块，执行上述任意一项所述机器人智能加工方法中的步骤2，用于表面缺陷区域划分，表面缺陷区域边界点双目图像匹配，输出缺陷边界点在机器人基坐标系下坐标；
加工路径自主决策模块，执行上述任意一项所述机器人智能加工方法中的步骤3，用于规划加工路径、进/退刀点、过渡点，提取修复缺陷区域需执行的路径段，决策修复缺陷区域所需执行最短加工路径，输出加工路径到工业机器人控制器。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的基于区域的机器人智能加工方法及系统，可以通过拍摄待零件表面图像，快速准确检测表面缺陷，进而将表面缺陷进行区域划分，依据缺陷区域位置提取加工路径，实现机器人加工路径自主决策，引导机器人对复杂表面表面缺陷进行局部修复，有效提高了加工效率，降低了加工成本，具有很强的实用性。
附图说明
图1为本发明方法实施例中所述的基于区域的机器人智能加工的流程示意图。
图2为本发明方法实施例中所述的改进前后YOLO v3算法的网络模型图。
图2(a)为原始YOLO v3算法的网络模型图。
图2(b)为本发明方法实施例中所述的改进YOLO v3算法的网络模型图。
图3为本发明方法实施例中所述的缺陷区域与加工路径的关系示意图。
图4本发明方法实施例中所述的基于区域的机器人智能加工系统的结构框图。
图5为本发明实施例中K-Means算法进行焊渣聚类流程示意图。
图6为本发明实施例中根据区域坐标点点集获取边界点集原理示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
下面以磨抛车身焊渣为例，采用改进YOLO v3检测算法提取缺陷，对本发明进行举例说明。
图1给出了本发明实施例提供的一种基于区域的机器人智能加工方法的流程示意图，以下结合图1对本发明方法详细说明。
步骤1，表面缺陷在线检测：
步骤1.1、双目相机获取待修复零件表面图像；
步骤1.2、采用改进YOLO v3检测算法得到表面缺陷检测结果，通过将缺陷检测结果框的中心点坐标作为缺陷的位置坐标，分别得到缺陷的左右图像坐标。
采用改进YOLO v3检测算法得到焊渣检测结果的步骤如下：
步骤1.2.1、采集多幅带有焊渣的零件表面图像，并对图像进行预处理；
步骤1.2.2、采用数据集标注软件，对图像中的焊渣进行标注，构建样本数据集；
步骤1.2.3、对YOLO v3检测算法模型改进，嵌入空洞卷积、引入CIoU和提高模型特征图的尺寸，得到改进YOLO v3检测算法模型；
步骤1.2.4、利用步骤2.2中获得的样本数据集对改进YOLO v3检测算法模型进行训练；
步骤1.2.5、利用步骤1.1采集的零件表面图像，并按照步骤1.2.1的预处理方式进行预处理，将零件表面图像输入改进YOLO v3检测算法模型中进行焊渣检测。
特别地，本实施例中，在采集零件表面图像时调节相机曝光以过滤掉灰尘及划痕等外在因素。
特别地，本实施例中，图像预处理方法包括剪裁、降噪、对比度增强等。
特别地，本实施例中，原始的YOLO v3检测算法模型如图2(a)所示，改进后YOLO v3检测算法模型如图2(b)所示，具体改进方式如下：
(1)将YOLO v3检测算法模型Darknet-53网络结构的最后四个残差模块删除；
(2)将YOLO v3检测算法模型的输出特征图尺寸由13×13、26×26、52×52改为26×26、52×52、104×104；
(3)在YOLO v3检测算法模型Darknet-53网络结构的第三个残差模块的输出处嵌入空洞卷积模块；
(4)引入CIoU目标检测回归损失函数。
特别地，本实施例中，嵌入的空洞卷积模块为：
式中*l为空洞卷积，p为空洞卷积定义域，F为输入图像，s为输入图像定义域，k为核函数，t为核函数定义域。
特别地，本实施例中，引入的CIoU目标检测回归损失函数为：
上式中，IoU是预测边界框(以下简称预测框)与真实边界框(以下简称真实框)的交并比，ρ(btrue,bpre)为真实框btrue与预测框bpre中心点间的欧式距离，c为引入C检测框的对角线的长度，α为平衡系数，ν为宽高比一致性参数；
IoU计算公式如下：
其中，
上式中，(xtrue,ytrue)为真实框bture的位置，wtrue为真实框的宽，htrue为真实框的高；(xpre,ypre)为预测框bpre的位置，wpre为预测框的宽，hpre为预测框的高。
步骤2，缺陷区域划分及定位：
步骤2.1、对得到的缺陷图像坐标采用K-Means算法进行焊渣聚类，并利用手肘法确定聚类的k值，将焊渣划分为k个区域，分别得到左右图像上焊渣的区域分布，区域分布包括缺陷区域编号、每个区域的坐标点集以及基于每个区域坐标点集得到的边界点集；
如图5所示，采用K-Means算法进行焊渣聚类具体步骤如下：
步骤2.1.1、将缺陷坐标数据集X划分为k个簇，k从1开始取值，最大值不超过缺陷坐标数据集X内缺陷坐标总数N；
步骤2.1.2、在缺陷坐标数据集X内，随机选取k个点作为初始化质心；
步骤2.1.3、将每个缺陷坐标点逐一分配给与其最近的质心，完成缺陷坐标数据集X内k个簇的划分；
步骤2.1.4、重新计算每个质心的位置；
步骤2.1.5、重复步骤2.1.2至步骤2.1.4进行迭代，当每个簇质心不再改变时停止K-Means；对于每个簇，判断方式为可以计算前后两次质心之间距离，当距离小于设定阈值d0，即可认为该簇的新质心不再改变，当所有簇质心的位置不再改变时，迭代结束。
步骤2.1.6、计算k当前取值情况下，聚类均方误差值J；将k取值增加1，重复步骤2.1.1-步骤2.1.5迭代，以k作为横坐标，聚类均方误差值J作为纵坐标绘制折线图，取聚类均方误差值J下降平稳的拐点横坐标值为所需k值，完成迭代；此时k个族即为将零件表面图像上的缺陷划分为k个区域。
特别地，本实施例中，
步骤2.1.6中，聚类均方误差值J计算公式如下：
上式中，Ci表示划分为k个簇中的第i个族，x表示缺陷坐标数据集X内的某个坐标，μi为第i个簇的均值向量，即质心；
表示计算坐标点x和质心μi之间的欧式距离的平方。
需要说明的是，通过每个区域的坐标点集得到的边界点集可以采用现有技术获得，并非本发明的核心发明点，获得方式有很多种，下面提供其中的一种。
如图6所示，首先确定区域i中距离质心O最远的点A(若有多个点距离最远则取x,y最小值点为A)，然后逆时针顺序寻找下一个与A构成的向量在逆时针方向上旋转角度最小的点，若寻找到下一点B，则继续用B当做基础点，寻找下一个点C，继续以C当做基础点，寻找下一个点，知道寻找到的点为A，寻找完毕。该区域的边界点为A、B、C、…。
若有两个点(B1、B2)与A构成的向量在逆时针上旋转角度同时最小，即A、B1、B2共线，需舍弃近距离点，把远距离点当做下一基础点。
步骤2.2、采用双目图像目标区域边界点匹配方法，对得到的左右图像上焊渣边界点确定所在区域，完成双目图像的目标区域边界点匹配，分别得到焊渣区域边界点的左右图像坐标；
双目图像目标区域边界点匹配方法步骤如下：
步骤2.2.1、确定左右图像中焊渣边界对应点所在区域；
步骤2.2.2、根据特征点匹配方法完成各区域边界点匹配。
特别地，本实施例中，对左图像中缺陷区域进行编号，编号从1开始至k；对右图像中的缺陷区域进行编号，编号从k+1至2k，对于对于左图像内的点x，在右图像必存在对应点，所以确定对应点所在的区域应如式所示：
标签值
为左图像的中缺陷经Kmeans聚类后，编号为i的区域的标签，/>
为右图像中的缺陷经Kmeans聚类后，编号为j的区域的标签；l为区域标签计算结果；如果计算结果l满足l＝k，则左图的区域i与右图的区域j属于对应区域；
目标区域分类函数定义为
本实施例中，特征点匹配方法利用各边界点相对于质心的位置关系作为匹配特征值；设左图像i区域中第s个待匹配点坐标为
设该区域质心坐标为/>
则该边界点相对于质心的匹配特征/>
为：
目标区域边界点的匹配置信度函数为：
上式中，式中
为待匹配区域边界点的特征值，/>
为待匹配区域边界点对应的区域边界点的特征值，p为目标区域分类函数值，α为常量。
步骤2.3、坐标转换，通过坐标转换将零件表面图像上缺陷区域边界点的坐标转换为机器人基坐标系下的坐标或者世界坐标；本实施例中具体方法如下：
对双目相机进行标定，利用双目相机标定的内外参数，获得焊渣区域边界点在相机坐标系下的坐标，对机器人进行手眼标定，利用手眼矩阵获得焊渣区域边界点在机器人基坐标系下的坐标。
步骤3、加工路径自主决策：
步骤3.1、利用机器人离线编程软件规划出机器人在待修复零件表面的加工路径、进/退刀点、过渡点。
需要说明的是，路径规划方法采用现有技术即可，无需特别改进，本发明不再赘述，一般可以采用机械臂自带软件系统规划，比如，本实施例中，采用RobotStudio 6.08软件(ABB的六轴机器人)规划加工路径、进/退刀点、过渡点。
步骤3.2、根据焊渣区域边界点与加工路径之间的位置关系，提取修复焊渣区域所需的路径段。
焊渣区域边界点与加工路径对应的加工区域之间的位置关系图如图3所示，提取去除焊渣区域所需的路径段的步骤如下：
步骤3.2.1、根据焊渣区域301在步骤3.1中规划的加工路径法线方向上的上最值点308、下最值点309，判断焊渣区域位于步骤3.1规划的第i-1段加工路径302对应的加工区域305、第i段加工路径303对应的加工区域306、第i+1段加工路径304对应的加工区域307上，确定机器人去除焊渣区域301需执行第i-1段加工路径302、第i段加工路径303、第i+1段加工路径304。
步骤3.2.2、根据焊渣区域301在步骤3.1中规划的加工路径切线方向上的左最值点310、右最值点311，确定机器人去除焊渣区域301需提取第i-1段加工路径上的路径段312、第i段加工路径313、第i+1段加工路径314。
步骤3.3、根据提取的路径段、规划的进/退刀点与过渡点，利用Dijkstra算法决策出修复焊渣区域最短路径，实现加工路径自主决策。
采用Dijkstra算法决策修复焊渣区域最短路径方法具体步骤如下：
步骤3.3.1、根据步骤3.1中规划的进/退刀点、过渡点与步骤3.2中提取的路径段，设定源点；
步骤3.3.2、确定各节点方向，按照节点方向计算各节点之间的距离；
步骤3.3.3、以最短的距离节点作为最优点，并设置为下次路径搜索的起点；
步骤3.3.4、不断重复步骤3.3.3，即可实现修复焊渣区域最短加工路径决策。
步骤9、将自主决策的加工路径通过通讯输入到机器人控制器，即可引导机器人进行表面焊渣去除。
如图4所示，本发明实施例提供的基于区域的机器人智能加工系统包括：
1、硬件系统：
双目相机，用于拍摄待修复零件表面，输出零件表面图像到表面缺陷在线检测模块；
工业机器人、加工刀具，用于修复零件表面缺陷；
2、软件系统：
表面缺陷在线检测模块，用于检测表面缺陷，输出缺陷图像坐标到缺陷区域划分及定位模块；
缺陷区域划分及定位模块，用于表面缺陷区域划分，表面缺陷区域边界点双目图像匹配，输出缺陷边界点在机器人基坐标系下坐标；
加工路径自主决策模块，用于规划加工路径、进/退刀点、过渡点，提取修复缺陷区域需执行的路径段，决策修复缺陷区域所需执行最短加工路径，输出加工路径到工业机器人控制器。
本发明方法主要创新点是：1)在机器人智能化加工领域内公开了基于区域的机器人智能加工方法；2)实现了从缺陷检测、缺陷定位、加工路径决策到局部加工智能一体化的功能，能够在满足加工要求的前提下，达到高效率、高精度的目标。
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。
Claims (10)
1.一种基于区域的机器人智能加工方法，其特征在于，包括以下步骤：
步骤1、表面缺陷在线检测：
步骤1.1、采用双目相机获取待修复零件表面图像，分别得到左图像和右图像；
步骤1.2、利用视觉识别技术提取左、右图像上缺陷位置坐标，分别得到左、右图像的缺陷坐标数据集；
步骤2、缺陷区域划分及定位：
步骤2.1、对得到含有缺陷的零件表面图像坐标采用K-Means算法进行缺陷聚类，并利用手肘法确定聚类的k值，将缺陷划分为k个区域，得到左、右图像上缺陷的区域分布，所述区域分布包括区域数量k、每个区域的缺陷坐标点集以及每个区域的缺陷边界点集；
步骤2.2、采用双目图像目标区域边界点匹配方法，对得到的左、右图像上缺陷边界点确定所在区域，完成左、右图像上目标区域边界点匹配，分别得到缺陷区域边界点在左、右图像的坐标；
步骤2.3、坐标转换，通过坐标转换将零件表面图像上缺陷区域边界点的坐标转换为机器人基坐标系下的坐标或者世界坐标；
步骤3、加工路径自主决策：
步骤3.1、利用机器人离线编程软件规划出机器人在待修复零件表面的加工路径、进/退刀点、过渡点；
步骤3.2、根据缺陷区域边界点与加工路径之间的位置关系，提取修复缺陷区域所需的路径段；
步骤3.3、根据提取的路径段、规划的进/退刀点与过渡点，利用Dijkstra算法决策出修复缺陷区域最短路径，实现加工路径自主决策；
步骤3.4、将自主决策的加工路径通过通讯输入到机器人的控制器，引导机器人进行零件表面缺陷修复，实现机器人智能加工。
2.根据权利要求1所述基于区域的机器人智能加工方法，其特征在于：步骤1.2中，采用改进YOLO v3检测算法模型提取零件表面图像上缺陷，将缺陷检测结果框的中心点坐标作为缺陷的位置坐标；所述改进YOLO v3检测算法模型为在YOLO v3检测算法模型的基础上，嵌入空洞卷积、引入CIoU和提高模型特征图的尺寸，得到改进YOLO v3检测算法模型。
3.根据权利要求2所述基于区域的机器人智能加工方法，其特征在于：步骤1.2中，YOLOv3检测算法模型改进具体方式如下：
(1)将YOLO v3检测算法模型Darknet-53网络结构的最后四个残差模块删除；
(2)将YOLO v3检测算法模型的输出特征图尺寸由13×13、26×26、52×52改为26×26、52×52、104×104；
(3)在YOLO v3检测算法模型Darknet-53网络结构的第三个残差模块的输出处嵌入空洞卷积模块；
(4)引入CIoU目标检测回归损失函数。
4.根据权利要求2所述基于区域的机器人智能加工方法，其特征在于：步骤2.1中，采用K-Means算法进行缺陷聚类具体步骤如下：
步骤2.1.1、将缺陷坐标数据集X划分为k个簇，k从1开始取值；
步骤2.1.2、在缺陷坐标数据集X内，随机选取k个点作为初始化质心；
步骤2.1.3、将每个缺陷坐标点逐一分配给与其最近的质心，完成缺陷坐标数据集X内k个簇的划分；
步骤2.1.4、重新计算每个质心的位置；
步骤2.1.5、重复步骤2.1.2至步骤2.1.4进行迭代，当每个簇质心不再改变时停止K-Means；
步骤2.1.6、计算k当前取值情况下，聚类均方误差值J；将k取值增加1，重复步骤2.1.1-步骤2.1.5迭代，以k作为横坐标，聚类均方误差值J作为纵坐标绘制折线图，取聚类均方误差值J下降平稳的拐点横坐标为所需k值，完成迭代；此时k个族即为将零件表面图像上的缺陷划分为k个区域。
5.根据权利要求4所述基于区域的机器人智能加工方法，其特征在于：步骤2.1.6中，聚类均方误差值J计算公式如下：
上式中，Ci表示划分为k个簇中的第i个族，x表示缺陷坐标数据集X内的某个坐标，μi为第i个簇的均值向量，即质心；
表示计算坐标点x和质心μi之间的欧式距离的平方。
6.根据权利要求4所述基于区域的机器人智能加工方法，其特征在于：步骤2.2中，目标区域边界点匹配方法步骤如下：
步骤2.2.1、确定零件表面图像中缺陷边界对应点所在区域；
对左图像中缺陷区域进行编号，编号从1开始至k；对右图像中的缺陷区域进行编号，编号从k+1至2k，对于对于左图像内的点x，在右图像必存在对应点，所以确定对应点所在的区域应如式所示：
标签值
为左图像的中缺陷经Kmeans聚类后，编号为i的区域的标签，/>
为右图像中的缺陷经Kmeans聚类后，编号为j的区域的标签；l为区域标签计算结果；如果计算结果l满足l＝k，则左图的区域i与右图的区域j属于对应区域；目标区域分类函数如下：
p为目标区域分类函数值；
步骤2.2.2、根据特征点匹配方法完成各区域边界点匹配。
7.根据权利要求6所述基于区域的机器人智能加工方法，其特征在于：步骤2.2.2中，具体步骤如下：
利用各边界点相对于质心的位置关系作为匹配特征值，设左图像i区域中第s个待匹配点坐标为
设该区域质心坐标为/>
则该边界点相对于质心的匹配特征
为：
目标区域边界点的匹配置信度函数为：
上式中，式中
为待匹配区域边界点的特征值，/>
为待匹配区域边界点对应的区域边界点的特征值，p为目标区域分类函数值，α为常量。
8.根据权利要求7所述基于区域的机器人智能加工方法，其特征在于：步骤3.2中，
提取修复缺陷区域所需的路径段的步骤如下：
步骤3.2.1、根据缺陷区域最值点与步骤3.1中规划的加工路径对应的加工面的位置关系，确定机器人需要执行的加工路径；
步骤3.2.2、根据缺陷区域边界最值点与步骤3.1中规划的加工路径的位置关系，分别提取修复缺陷区域需执行各加工路径上的路径段。
9.根据权利要求7所述基于区域的机器人智能加工方法，其特征在于：步骤3.3中，采用Dijkstra算法决策修复缺陷区域最短路径方法具体步骤如下：
步骤3.3.1、根据步骤3.1中规划的进/退刀点、过渡点与步骤3.2中提取的路径段，设定源点；
步骤3.3.2、确定各节点方向，按照节点方向计算各节点之间的距离；
步骤3.3.3、以最短的距离节点作为最优点，并设置为下次路径搜索的起点；
步骤3.3.4、不断重复步骤3.3.3，即可实现修复缺陷区域最短加工路径决策。
10.一种基于区域的机器人智能加工系统，其特征在于，包括：
双目相机，用于拍摄待修复零件表面，输出零件表面图像到表面缺陷在线检测模块；
工业机器人，末端携带加工刀具，用于修复零件表面缺陷；
表面缺陷在线检测模块，执行权利要求1-9中任意一项所述机器人智能加工方法中的步骤1，用于检测表面缺陷，输出缺陷图像坐标到缺陷区域划分及定位模块；
缺陷区域划分及定位模块，执行权利要求1-9中任意一项所述机器人智能加工方法中的步骤2，用于表面缺陷区域划分，表面缺陷区域边界点双目图像匹配，输出缺陷边界点在机器人基坐标系下坐标；
加工路径自主决策模块，执行权利要求1-9中任意一项所述机器人智能加工方法中的步骤3，用于规划加工路径、进/退刀点、过渡点，提取修复缺陷区域需执行的路径段，决策修复缺陷区域所需执行最短加工路径，输出加工路径到工业机器人控制器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211397107.5A CN115847398A (zh) | 2022-11-09 | 2022-11-09 | 一种基于区域的机器人智能加工方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211397107.5A CN115847398A (zh) | 2022-11-09 | 2022-11-09 | 一种基于区域的机器人智能加工方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115847398A true CN115847398A (zh) | 2023-03-28 |
Family
ID=85662830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211397107.5A Pending CN115847398A (zh) | 2022-11-09 | 2022-11-09 | 一种基于区域的机器人智能加工方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115847398A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007199865A (ja) * | 2006-01-24 | 2007-08-09 | Sharp Corp | 画像処理アルゴリズム評価装置、画像処理アルゴリズムの生成装置および画像検査装置ならびに画像処理アルゴリズム評価方法、画像処理アルゴリズムの生成方法および画像検査方法 |
| CN110636715A (zh) * | 2019-08-27 | 2019-12-31 | 杭州电子科技大学 | 一种基于自学习的自动焊接及缺陷检测方法 |
| US20200254610A1 (en) * | 2019-02-11 | 2020-08-13 | Beckhoff Automation Gmbh | Industrial robot system and method for controlling an industrial robot |
| CN111815757A (zh) * | 2019-06-29 | 2020-10-23 | 浙江大学山东工业技术研究院 | 基于图像序列的大型构件三维重建方法 |
| CN111823221A (zh) * | 2019-03-27 | 2020-10-27 | 天津工业大学 | 一种基于多传感器的机器人打磨方法 |
| CN112288674A (zh) * | 2019-07-11 | 2021-01-29 | 成都唐源电气股份有限公司 | 车载式接触网部件缺陷在线识别方法 |
| CN112507929A (zh) * | 2020-12-16 | 2021-03-16 | 武汉理工大学 | 一种基于改进YOLOv3网络的车身点焊焊渣精准检测方法 |
| CN113012236A (zh) * | 2021-03-31 | 2021-06-22 | 武汉理工大学 | 一种基于交叉式双目视觉引导的机器人智能打磨方法 |
| CN114720475A (zh) * | 2022-03-24 | 2022-07-08 | 湖南视比特机器人有限公司 | 一种汽车车身漆面缺陷智能检测与打磨系统及方法 |
-
2022
- 2022-11-09 CN CN202211397107.5A patent/CN115847398A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007199865A (ja) * | 2006-01-24 | 2007-08-09 | Sharp Corp | 画像処理アルゴリズム評価装置、画像処理アルゴリズムの生成装置および画像検査装置ならびに画像処理アルゴリズム評価方法、画像処理アルゴリズムの生成方法および画像検査方法 |
| US20200254610A1 (en) * | 2019-02-11 | 2020-08-13 | Beckhoff Automation Gmbh | Industrial robot system and method for controlling an industrial robot |
| CN111823221A (zh) * | 2019-03-27 | 2020-10-27 | 天津工业大学 | 一种基于多传感器的机器人打磨方法 |
| CN111815757A (zh) * | 2019-06-29 | 2020-10-23 | 浙江大学山东工业技术研究院 | 基于图像序列的大型构件三维重建方法 |
| CN112288674A (zh) * | 2019-07-11 | 2021-01-29 | 成都唐源电气股份有限公司 | 车载式接触网部件缺陷在线识别方法 |
| CN110636715A (zh) * | 2019-08-27 | 2019-12-31 | 杭州电子科技大学 | 一种基于自学习的自动焊接及缺陷检测方法 |
| CN112507929A (zh) * | 2020-12-16 | 2021-03-16 | 武汉理工大学 | 一种基于改进YOLOv3网络的车身点焊焊渣精准检测方法 |
| CN113012236A (zh) * | 2021-03-31 | 2021-06-22 | 武汉理工大学 | 一种基于交叉式双目视觉引导的机器人智能打磨方法 |
| CN114720475A (zh) * | 2022-03-24 | 2022-07-08 | 湖南视比特机器人有限公司 | 一种汽车车身漆面缺陷智能检测与打磨系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李庆武;周亚琴;马云鹏;邢俊;许金鑫;: "基于双目视觉的显著性目标检测方法", 光学学报, no. 03, 13 November 2017 (2017-11-13) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110434671B (zh) | 一种基于特征测量的铸造件表面机加工轨迹校准方法 | |
| CN110227876A (zh) | 基于3d点云数据的机器人焊接路径自主规划方法 | |
| CN113538486B (zh) | 一种提高汽车钣金工件的识别与定位精度的方法 | |
| CN115035120B (zh) | 基于物联网的机床控制方法及系统 | |
| CN114571326B (zh) | 基于计算机视觉的变形曲面磨削方法、装置及系统 | |
| CN116402866A (zh) | 基于点云的零件数字孪生几何建模与误差评定方法及系统 | |
| CN114355953B (zh) | 一种基于机器视觉的多轴伺服系统的高精度控制方法及系统 | |
| CN103529751A (zh) | 五轴联动机床数控系统及其加工方法 | |
| CN111311618A (zh) | 一种基于高精度几何基元提取的圆弧工件匹配与定位方法 | |
| CN115937468A (zh) | 一种无数模工件机器人加工程序自动生成方法 | |
| CN109597354A (zh) | 一种三角网格模型的多约束数控加工轨迹生成方法 | |
| CN112729112A (zh) | 基于机器人视觉的发动机缸体孔径与孔位检测方法 | |
| CN115685988A (zh) | 一种自由曲面喷涂路径自动生成方法与装置 | |
| CN115810133A (zh) | 基于图像处理和点云处理的焊接控制方法及相关设备 | |
| CN112530267B (zh) | 一种基于计算机视觉的机械臂智能示教方法及应用 | |
| CN116909208B (zh) | 基于人工智能的壳体加工路径优化方法及系统 | |
| Wang et al. | Towards region-based robotic machining system from perspective of intelligent manufacturing: A technology framework with case study | |
| CN115847398A (zh) | 一种基于区域的机器人智能加工方法及系统 | |
| CN117103266A (zh) | 一种基于语义分割的飞机蒙皮特征识别与铣边路径规划方法 | |
| CN116542914A (zh) | 基于3d点云的焊缝提取与拟合方法 | |
| CN113433129A (zh) | 一种六轴机器人去毛刺刀具检测机构及其方法 | |
| CN116912241B (zh) | 基于机器学习的cnc调机优化方法及系统 | |
| Cserteg et al. | Multi-operation blank localization with hybrid point cloud and feature-based representation | |
| CN111192254B (zh) | 基于全局阈值与模板匹配的焊缝特征点滤波方法 | |
| CN112906147B (zh) | 基于钣金多次折弯的地面干涉识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |