CN113744181B - 基于2d3d视觉融合的五金件机器人智能化打磨方法与装置 - Google Patents

基于2d3d视觉融合的五金件机器人智能化打磨方法与装置 Download PDF

Info

Publication number
CN113744181B
CN113744181B CN202110793718.0A CN202110793718A CN113744181B CN 113744181 B CN113744181 B CN 113744181B CN 202110793718 A CN202110793718 A CN 202110793718A CN 113744181 B CN113744181 B CN 113744181B
Authority
CN
China
Prior art keywords
point cloud
oxide layer
hardware
point
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110793718.0A
Other languages
English (en)
Other versions
CN113744181A (zh
Inventor
刘跃生
陈新度
吴磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202110793718.0A priority Critical patent/CN113744181B/zh
Publication of CN113744181A publication Critical patent/CN113744181A/zh
Application granted granted Critical
Publication of CN113744181B publication Critical patent/CN113744181B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30116—Casting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于2D/3D视觉融合的五金件机器人智能化打磨方法与装置，包括以下步骤：S100：获取输入五金件的多个视角的RGB图像；S200：对上述所有的RGB图像进行检测，判断输入五金件是否具有氧化层；S300：获取输入五金件的多个视角的三维点云，将相邻视角的所述三维点云进行两两配准，将配准结果转换到机器人世界坐标系下；S400：根据预先训练的三维点云语义分割网络，对完整的输入五金件的所述点云模型进行分割得到氧化层点云；S500：通过聚类算法对所述氧化层点云进行聚类处理，得到聚类处理后的氧化层点云集合；S600：规划所述氧化层点云集合的打磨顺序，并确定打磨路径；S700：根据确定好的打磨顺序以及打磨路径，控制机械臂对所述输入五金件进行打磨。

Description

基于2D3D视觉融合的五金件机器人智能化打磨方法与装置
技术领域
本发明涉及智能制造技术领域，尤其涉及基于2D3D视觉融合的五金件机器人智能化打磨方法与装置。
背景技术
五金件是指数种有色金属铸造而成的零部件，广泛应用于固定、装饰和加工产品。然而，由于五金件具有大批量、定制化等特点，其在存储过程中可能会受空气湿度、破损等因素影响而出现氧化层缺陷，导致其无法高质量配置、应用于其他个体装备中。因此，有必要对五金件进行检测，并对其氧化层进行去除处理。现有的五金件检测、加工方法主要通过工人进行机械性、重复的工作完成，容易出现人工疲劳而导致的漏检问题且效率较低等技术问题。
发明内容
本发明旨在至少解决现有技术的不足之一，提供基于2D3D视觉融合的五金件机器人智能化打磨方法与装置。
为了实现上述目的，本发明采用以下的技术方案：
提出基于2D3D视觉融合的五金件机器人智能化打磨方法，包括以下步骤：
S100：获取输入五金件的多个视角的RGB图像；
S200：对上述所有的RGB图像进行检测，判断输入五金件是否具有氧化层，如果是转至步骤S300，如果否结束本轮检测；
S300：获取输入五金件的多个视角的三维点云，将相邻视角的所述三维点云进行两两配准，将配准结果转换到机器人世界坐标系下，并融合得到完整的输入五金件的点云模型；
S400：根据预先训练的三维点云语义分割网络，对完整的输入五金件的所述点云模型进行分割得到氧化层点云；
S500：通过聚类算法对所述氧化层点云进行聚类处理，得到聚类处理后的氧化层点云集合；
S600：规划所述氧化层点云集合的打磨顺序，并确定打磨路径；
S700：根据确定好的打磨顺序以及打磨路径，控制机械臂对所述输入五金件进行打磨。
进一步，上述步骤S200中判断输入五金件是否具有氧化层的操作具体包括以下步骤，
S210：将所有的所述RGB图像重规整到224*224的固定分辨率，之后，将所述RGB图像进行归一化处理得到归一化后RGB图像，通过如下公式实现，其中
Figure GDA0004195450720000021
代表像素均值，σ代表像素方差，xi表示原始图像，x′i表示归一化后的图像：
Figure GDA0004195450720000022
S220：将归一化后的RGB图像输入卷积核为7*7、输出通道为64、步长为2的卷积层中，得到112*112*64的第一特征图，之后经过卷积层的池化操作，得到56*56*64的第二特征图；
S230：将第二特征图输入Res-deconv卷积层中，输入分别经过Res-block和De-conv层得到不同的两个特征图，将得到的不同的两个特征图进行相加，对两个特征图的特征进行融合，后续再经过4个Res-deconv卷积层处理，得到7*7*128的第三特征图；
S240：将7*7*128的第三特征图进行维度缩减，展开形成6272的特征向量，再经过全连接层处理，得到长度为2的特征向量，再经过softmax函数处理，即可得到预测分数[score1，score2]，若score2小于设定的第一阈值，则代表不包含氧化层，反之则代表包含氧化层。
进一步，上述步骤S300具体包括以下步骤，
S310：通过激光扫描仪获取精确的输入五金件的多个视角的三维点云，记为A＝{ai,i＝1,2,…,M}；
S320：给定收敛阈值∈＝0.0001，根据相关仪器以及机器人的标定信息，将多个视角的三维点云A统一到机器人世界坐标系下；
S330：确定相邻视角的源点云aj＝{xd,d＝1,2,…,g}和移动点云aj+1＝{yl,l＝1,2,…,h},构建多视角点云配准模型：
Figure GDA0004195450720000023
Figure GDA0004195450720000024
其中R代表空间旋转矩阵，t代表空间平移向量，xl代表移动点云中的点，
Figure GDA0004195450720000025
代表源点云aj中最近邻匹配的点，p∈[0,1]；
S340：利用交替乘子法ADMM求解多视角点云配准模型中的匹配点对的对偶解，以识别离群值；
S350：通过所述对偶解估计匹配点对并利用传统ICP算法求解空间变换矩阵，对点云aj进行配准得到
Figure GDA0004195450720000031
求点云aj以及/>
Figure GDA0004195450720000032
的均方根误差∈k,如果∈k<∈,则输出点云/>
Figure GDA0004195450720000033
否则令
Figure GDA0004195450720000034
返回步骤S330；
S360：判断全部点云是否配准完毕，如果是，融合全部配准结果并输出得到五金件实体点云D，否则，令aj＝aj+1，返回步骤S330。
进一步，述三维点云语义分割网络具体包括，
AS-SRN模块，用于利用最远点采样算法FPS选取部分点云，之后通过Point-ASNL中的AS模块对选取的部分点云进行修正，最后通过MLP提取所述部分点云的特征；
SRN-Net模块，用于利用SRN模块对所述部分点云的特征进行特征变换，最终得到分割结果；
具体的，所述三维点云语义分割网络运行包括以下步骤，
S410：将输入的点云降采样为1024个点，对降采样后的每个点进行邻域查询距离最近的k个点，将k个点的坐标及对应的特征输入到AS模块中，获得根据局部信息修正后的点和信息，再通过多层感知机MLP，获取更丰富的特征，再经过SRN层，得到1024*64的输出，其中，1024即为采样点的个数，64为特征通道数；
S420：利用步骤S410中的流程，对点云进行降采样-特征提取，随着采样点个数的降低，邻域视角逐渐增大，所提取的特征逐渐富度，得到16*512的输出；
S430：将点云进行上采样，利用PointNet++中的反距离插值方式，将16*512转为64*512的输出，将其与上一层的64*256输出进行拼接，再经过多层感知机MLP，得到64*256的输出；
S440：利用步骤S430所述的流程，对点云进行上采样，直到恢复至原先的N个点，每个点的特征向量为[score11，score22]，若score22小于设定的第二阈值，则代表不包含氧化层，反之则代表包含氧化层，将包含氧化层的点云输出即为氧化层点云，定义为氧化层点云B。
进一步，上述步骤S500中具体使用的聚类算法为K-mean聚类算法，具体包括以下步骤，
S510：选取氧化层点云B的K个点x＝{x1,x2,…,xk}作为聚类中心；
S520：计算氧化层点云B其余点xq与每个聚类中心的欧式距离，根据最小距离min|vi-x|，将样本对象分配到距离最近的聚类中心xk；
S530：根据聚类结果分别计算新的聚类中心
Figure GDA0004195450720000041
其中，nj为第j,j＝1,2,…,k个聚类对应的样本数据个数，并以此均值作为新的聚类中心。
S540：判断新、旧聚类中心是否变化，如果是，返回步骤S2；否则，输出K个氧化层聚类结果氧化层点云B＝{bj,j＝1,2,…,N}，bj为氧化层点云B中的单个点云。
进一步，上述步骤S600中具体通过模拟退火算法规划bj的打磨顺序，并利用B样条插值方法拟合打磨路径，具体的包括以下步骤，
S610：分别计算bj的质心，并利用模拟退火算法规划其打磨顺序，以保证加工路径最小。
S620：按顺序输入五金件氧化层点云，输入打磨点云并对其进行主成分分析，根据最小奇异值对应的特征向量确定点云的曲面法向量。
S630：根据步骤S620的曲面法向量构建点云的最小包围盒，并以法向量方向为基准进行切分，分别求解已切分的子包围盒点集的质心。
S640：以步骤S630中所述的质心和三次B样条插值原理，构建控制点并拟合出打磨轨迹。
S650：判断加工区域的轨迹是否规划完毕，如果是，输出所有加工次序及加工轨迹；否则，返回步骤S620。
本发明还提出基于2D3D视觉融合的五金件机器人智能化打磨装置，应用了上述基于2D3D视觉融合的五金件机器人智能化打磨方法，包括，
第一相机，用于获取输入五金件的多个视角的RGB图像；
第二相机，为激光线扫相机，用于获取输入五金件的多个视角的三维点云；
机械臂，用于对氧化层进行打磨、抛光；
机器视觉处理系统，集成有上述基于2D3D视觉融合的五金件机器人智能化打磨方法的步骤的设备，用于根据所述第一相机以及第二相机采集到的数据信息计算得到氧化层的信息，并控制机械臂对所述氧化层进行对应处理。
进一步，所述第一相机为二维相机或是三维相机中的任意一种。
进一步，所述第二相机具体为先临三维扫描仪，所述机械臂为型号为HP20D的安川六自由度机器人
本发明还提出一种计算机可读存储的介质，所述计算机可读存储的介质存储有计算机程序，所述计算机程序被处理器执行时实现如任一项所述方法的步骤。
本发明的有益效果为：
本发明通过利用二维相机获取RGB图像，利用改进的res-net图片分类网络框架快速进行二维氧化层缺陷的检测，同时结合线扫相机获取目标的三维点云，利用融合自适应采样模块与结构相关性特征提取的点云分割网络实现氧化层缺陷的分割，实现其三维定位。最后，利用机器人操作臂对氧化层进行适应性、智能化和高效加工。该发明有利于快速、准确去除五金件氧化层，对五金件铸造行业实现绿色、可持续性发展具有重要意义。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1所示为基于2D3D视觉融合的五金件机器人智能化打磨方法流程图；
图2所示为基于2D3D视觉融合的五金件机器人智能化打磨方法的原理图；
图3所示为基于2D3D视觉融合的五金件机器人智能化打磨方法的图像分类网络的原理图；
图4所示为基于2D3D视觉融合的五金件机器人智能化打磨方法的点云语意分割网络的原理图；
图5所示为基于2D3D视觉融合的五金件机器人智能化打磨方法的氧化层图像数据集构建的流程图；
图6所示为基于2D3D视觉融合的五金件机器人智能化打磨方法的氧化层点集合数据集构件的流程图；
图7所示为基于2D3D视觉融合的五金件机器人智能化打磨方法的点云语意分割网络的网络模型参数训练过程的流程图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。附图中各处使用的相同的附图标记指示相同或相似的部分。
结合图2，通过相机获取RGB图像对五金件氧化层进行快速判断，进而结合三维激光扫描仪获取对应相机视角五金件的精确三维点云，利用点云分割网络实现氧化层点云的分割，将其作为空间定位信息，通过对五金件氧化层的点云进行聚类，可得到氧化层加工区域。针对氧化层区域最短路径规划问题，可结合智能算法，如模拟退火、遗传算法等，规划出最优区域加工次序。针对单块氧化层加工问题，可结合B样条曲线插值原理，获得更精确的机器人加工路径。最后，在机器人操作臂的法兰上搭载所需刀具，对氧化层进行打磨、抛光，主要实现过程：
步骤1：输入五金件；
步骤2：利用二维相机获取多视角五金件的RGB图像，利用如图3所示的改进res-net算法检测五金件氧化层，判断是否存在氧化层？如果不存在，结束程序；否则，继续下一步骤；
步骤3：利用激光扫描仪获取M个视角的五金件三维点云,记为A＝{ai,i＝1,2,…,M}，对A中的相邻视角点云进行两两配准，并将全部配准结果转换到机器人世界坐标系下，并融合得到完整三维五金件点云模型D；
步骤4：结合预先训练的三维点云语义分割网络，如图4所示，分割出步骤3完整点云模型D中的氧化层点云，记为B；
步骤5：利用K-mean聚类算法对步骤4中的氧化层点云B进行聚类，得到氧化层点云集合B＝{bj,j＝1,2,…,N}；
步骤6：利用模拟退火算法规划步骤5所聚类点云bj的打磨顺序，并利用三次B样条插值方法拟合打磨路径Tr＝{trj,j＝1,2,…,N}；
步骤7：根据步骤6的打磨顺序及路径，利用机器人对五金件进行打磨。
本发明利用融合2D3D视觉，可提高五金件氧化层的缺陷检测、定位效率，减少漏检、错检率，且利用3D视觉技术中的激光扫描仪可实现氧化层点云获取，获取氧化层空间信息。在此基础上，利用机器人操作臂进行打磨、抛光可充分解放生产力，提高五金件氧化层去除的精度，且机器人加工更具柔性、自动化程度更高。
参照图1，本发明提出基于2D3D视觉融合的五金件机器人智能化打磨方法，包括以下步骤：
S100：获取输入五金件的多个视角的RGB图像；
S200：对上述所有的RGB图像进行检测，判断输入五金件是否具有氧化层，如果是转至步骤S300，如果否结束本轮检测；
S300：获取输入五金件的多个视角的三维点云，将相邻视角的所述三维点云进行两两配准，将配准结果转换到机器人世界坐标系下，并融合得到完整的输入五金件的点云模型；
S400：根据预先训练的三维点云语义分割网络，对完整的输入五金件的所述点云模型进行分割得到氧化层点云；
S500：通过聚类算法对所述氧化层点云进行聚类处理，得到聚类处理后的氧化层点云集合；
S600：规划所述氧化层点云集合的打磨顺序，并确定打磨路径；
S700：根据确定好的打磨顺序以及打磨路径，控制机械臂对所述输入五金件进行打磨。
作为本发明的优选实施方式，上述步骤S200中判断输入五金件是否具有氧化层的操作具体包括以下步骤，
S210：将所有的所述RGB图像重规整到224*224的固定分辨率，之后，将所述RGB图像进行归一化处理得到归一化后RGB图像，通过如下公式实现，其中
Figure GDA0004195450720000071
代表像素均值，σ代表像素方差，xi表示原始图像，xi'表示归一化后的图像：
Figure GDA0004195450720000072
通过以上步骤能够降低神经网络的计算量，便于神经网络的计算。
S220：将归一化后的RGB图像输入卷积核为7*7、输出通道为64、步长为2的卷积层中，得到112*112*64的第一特征图，之后经过卷积层的池化操作，得到56*56*64的第二特征图；
S230：将第二特征图输入Res-deconv卷积层中，输入分别经过Res-block和De-conv层得到不同的两个特征图，将得到的不同的两个特征图进行相加，对两个特征图的特征进行融合，后续再经过4个Res-deconv卷积层处理，得到7*7*128的第三特征图；
S240：将7*7*128的第三特征图进行维度缩减，展开形成6272的特征向量，再经过全连接层处理，得到长度为2的特征向量，再经过softmax函数处理，即可得到预测分数[score1，score2]，若score2小于设定的第一阈值，则代表不包含氧化层，反之则代表包含氧化层。
作为本发明的优选实施方式，上述步骤S300具体包括以下步骤，
S310：通过激光扫描仪获取精确的输入五金件的多个视角的三维点云，记为A＝{ai,i＝1,2,…,M}；
S320：给定收敛阈值∈＝0.0001，根据相关仪器以及机器人的标定信息，将多个视角的三维点云A统一到机器人世界坐标系下；
S330：确定相邻视角的源点云aj＝{xd,d＝1,2,…,g}和移动点云aj+1＝{yl,l＝1,2,…,h},构建多视角点云配准模型：
Figure GDA0004195450720000081
Figure GDA0004195450720000082
其中R代表空间旋转矩阵，t代表空间平移向量，xl代表移动点云中的点，
Figure GDA0004195450720000083
代表源点云aj中最近邻匹配的点，p∈[0,1]；
S340：利用交替乘子法ADMM求解多视角点云配准模型中的匹配点对的对偶解，以识别离群值；
S350：通过所述对偶解估计匹配点对并利用传统ICP算法求解空间变换矩阵，对点云aj进行配准得到
Figure GDA0004195450720000084
求点云aj以及/>
Figure GDA0004195450720000085
的均方根误差∈k,如果∈k<∈,则输出点云/>
Figure GDA0004195450720000086
否则令
Figure GDA0004195450720000087
返回步骤S330；
S360：判断全部点云是否配准完毕，如果是，融合全部配准结果并输出得到五金件实体点云D，否则，令aj＝aj+1，返回步骤S330。
作为本发明的优选实施方式，述三维点云语义分割网络具体包括，
AS-SRN模块，用于利用最远点采样算法FPS选取部分点云，之后通过Point-ASNL中的AS模块对选取的部分点云进行修正，最后通过MLP提取所述部分点云的特征；
SRN-Net模块，用于利用SRN模块对所述部分点云的特征进行特征变换，最终得到分割结果；
参照图7，具体的，所述三维点云语义分割网络运行包括以下步骤，
S410：将输入的点云降采样为1024个点，对降采样后的每个点进行邻域查询距离最近的k个点，将k个点的坐标及对应的特征输入到AS模块中，获得根据局部信息修正后的点和信息，再通过多层感知机MLP，获取更丰富的特征，再经过SRN层，得到1024*64的输出，其中，1024即为采样点的个数，64为特征通道数；
S420：利用步骤S410中的流程，对点云进行降采样-特征提取，随着采样点个数的降低，邻域视角逐渐增大，所提取的特征逐渐富度，得到16*512的输出；
S430：将点云进行上采样，利用PointNet++中的反距离插值方式，将16*512转为64*512的输出，将其与上一层的64*256输出进行拼接，再经过多层感知机MLP，得到64*256的输出；
S440：利用步骤S430所述的流程，对点云进行上采样，直到恢复至原先的N个点，每个点的特征向量为[score11，score22]，若score22小于设定的第二阈值，则代表不包含氧化层，反之则代表包含氧化层，将包含氧化层的点云输出即为氧化层点云，定义为氧化层点云B。
作为本发明的优选实施方式，上述步骤S500中具体使用的聚类算法为K-mean聚类算法，具体包括以下步骤，
S510：选取氧化层点云B的K个点x＝{x1,x2,…,xk}作为聚类中心；
S520：计算氧化层点云B其余点xq与每个聚类中心的欧式距离，根据最小距离min|vi-x|，将样本对象分配到距离最近的聚类中心xk；
S530：根据聚类结果分别计算新的聚类中心
Figure GDA0004195450720000091
其中，nj为第j,j＝1,2,…,k个聚类对应的样本数据个数，并以此均值作为新的聚类中心。
S540：判断新、旧聚类中心是否变化，如果是，返回步骤S2；否则，输出K个氧化层聚类结果氧化层点云B＝{bj,j＝1,2,…,N}，bj为氧化层点云B中的单个点云。
作为本发明的优选实施方式，上述步骤S600中具体通过模拟退火算法规划bj的打磨顺序，并利用B样条插值方法拟合打磨路径，具体的包括以下步骤，
S610：分别计算bj的质心，并利用模拟退火算法规划其打磨顺序，以保证加工路径最小。
S620：按顺序输入五金件氧化层点云，输入打磨点云并对其进行主成分分析，根据最小奇异值对应的特征向量确定点云的曲面法向量。
S630：根据步骤S620的曲面法向量构建点云的最小包围盒，并以法向量方向为基准进行切分，分别求解已切分的子包围盒点集的质心。
S640：以步骤S630中所述的质心和三次B样条插值原理，构建控制点并拟合出打磨轨迹。
S650：判断加工区域的轨迹是否规划完毕，如果是，输出所有加工次序及加工轨迹；否则，返回步骤S620。
另外参照图5以及图6，分别为为氧化层图像数据集构建的流程图、氧化层点集合数据集构建的流程图，本实施方式通过该方式对氧化层的相关数据集进行处理。
本发明还提出基于2D3D视觉融合的五金件机器人智能化打磨装置，应用了上述基于2D3D视觉融合的五金件机器人智能化打磨方法，包括，
第一相机，用于获取输入五金件的多个视角的RGB图像；
第二相机，为激光线扫相机，用于获取输入五金件的多个视角的三维点云；
机械臂，用于对氧化层进行打磨、抛光；
机器视觉处理系统，集成有上述基于2D3D视觉融合的五金件机器人智能化打磨方法的步骤的设备，用于根据所述第一相机以及第二相机采集到的数据信息计算得到氧化层的信息，并控制机械臂对所述氧化层进行对应处理。
作为本发明的优选实施方式，所述第一相机为二维相机或是三维相机中的任意一种。
作为本发明的优选实施方式，所述第二相机具体为先临三维扫描仪，所述机械臂为型号为HP20D的安川六自由度机器人
本发明还提出一种计算机可读存储的介质，所述计算机可读存储的介质存储有计算机程序，所述计算机程序被处理器执行时实现如任一项所述方法的步骤。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储的介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (9)

1.基于2D/3D视觉融合的五金件机器人智能化打磨方法，其特征在于，包括以下步骤：
S100：获取输入五金件的多个视角的RGB图像；
S200：对所有的RGB图像进行检测，判断输入五金件是否具有氧化层，如果是转至步骤S300，如果否结束本轮检测；
S300：获取输入五金件的多个视角的三维点云，将相邻视角的所述三维点云进行两两配准，将配准结果转换到机器人世界坐标系下，并融合得到完整的输入五金件的点云模型；
S400：根据预先训练的三维点云语义分割网络，对完整的输入五金件的所述点云模型进行分割得到氧化层点云；
S500：通过聚类算法对所述氧化层点云进行聚类处理，得到聚类处理后的氧化层点云集合；
S600：规划所述氧化层点云集合的打磨顺序，并确定打磨路径；
S700：根据确定好的打磨顺序以及打磨路径，控制机械臂对所述输入五金件进行打磨；
其中，上述步骤S300具体包括以下步骤，
S310：通过激光扫描仪获取精确的输入五金件的多个视角的三维点云，记为A={ai,i=1,2,…,M}；
S320：给定收敛阈值
Figure QLYQS_1
，根据相关仪器以及机器人的标定信息，将多个视角的三维点云A统一到机器人世界坐标系下；
S330：确定相邻视角的源点云
Figure QLYQS_2
和移动点云
Figure QLYQS_3
,构建多视角点云配准模型：
Figure QLYQS_4
；
其中
Figure QLYQS_6
代表空间旋转矩阵，/>
Figure QLYQS_8
代表空间平移向量，/>
Figure QLYQS_10
代表移动点云中的点，/>
Figure QLYQS_7
表示求取点/>
Figure QLYQS_9
的匹配点对/>
Figure QLYQS_11
，可通过最近邻搜索得到，/>
Figure QLYQS_12
代表配准残差，/>
Figure QLYQS_5
；
S340：利用交替乘子法ADMM求解多视角点云配准模型中的匹配点对的对偶解，以识别离群值；
S350：通过所述对偶解估计匹配点对并利用传统ICP算法求解空间变换矩阵，对点云
Figure QLYQS_14
进行配准得到/>
Figure QLYQS_17
,求点云/>
Figure QLYQS_19
以及/>
Figure QLYQS_15
的均方根误差/>
Figure QLYQS_16
,如果/>
Figure QLYQS_18
,则输出点云/>
Figure QLYQS_20
，否则令
Figure QLYQS_13
，返回步骤S330；
S360：判断全部点云是否配准完毕，如果是，融合全部配准结果并输出得到五金件实体点云D，否则，令
Figure QLYQS_21
，返回步骤S330。
2.根据权利要求1所述的基于2D/3D视觉融合的五金件机器人智能化打磨方法，其特征在于：上述步骤S200中判断输入五金件是否具有氧化层的操作具体包括以下步骤，
S210：将所有的所述RGB图像重规整到224*224的固定分辨率，之后，将所述RGB图像进行归一化处理得到归一化后RGB图像，通过如下公式实现，其中
Figure QLYQS_22
代表像素均值，σ代表像素方差，/>
Figure QLYQS_23
表示原始图像，/>
Figure QLYQS_24
表示归一化后的图像：
Figure QLYQS_25
；
S220：将归一化后的RGB图像输入卷积核为7*7、输出通道为64、步长为2的卷积层中，得到112*112*64的第一特征图，之后经过卷积层的池化操作，得到56*56*64的第二特征图；
S230：将第二特征图输入Res-deconv卷积层中，输入分别经过Res-block和De-conv层得到不同的两个特征图，将得到的不同的两个特征图进行相加，对两个特征图的特征进行融合，后续再经过4个Res-deconv卷积层处理，得到7*7*128的第三特征图；
S240：将7*7*128的第三特征图进行维度缩减，展开形成6272的特征向量，再经过全连接层处理，得到长度为2的特征向量，再经过softmax函数处理，即可得到预测分数[score1，score2]，若score2小于设定的第一阈值，则代表不包含氧化层，反之则代表包含氧化层。
3.根据权利要求1所述的基于2D/3D视觉融合的五金件机器人智能化打磨方法，其特征在于，所述三维点云语义分割网络具体包括，
AS-SRN模块，用于利用最远点采样算法FPS选取部分点云，之后通过Point-ASNL中的AS模块对选取的部分点云进行修正，最后通过MLP提取所述部分点云的特征；
SRN-Net模块，用于利用SRN模块对所述部分点云的特征进行特征变换，最终得到分割结果；
具体的，所述三维点云语义分割网络运行包括以下步骤，
S410：将输入的点云降采样为1024个点，对降采样后的每个点进行邻域查询距离最近的k个点，将k个点的坐标及对应的特征输入到AS模块中，获得根据局部信息修正后的点和信息，再通过多层感知机MLP，获取更丰富的特征，再经过SRN层，得到1024*64的输出，其中，1024即为采样点的个数，64为特征通道数；
S420：利用步骤S410中的流程，对点云进行降采样-特征提取，随着采样点个数的降低，邻域视角逐渐增大，所提取的特征逐渐富度，得到16*512的输出；
S430：将点云进行上采样，利用PointNet++中的反距离插值方式，将16*512转为64*512的输出，将其与上一层的64*256输出进行拼接，再经过多层感知机MLP，得到64*256的输出；
S440：利用步骤S430所述的流程，对点云进行上采样，直到恢复至原先的N个点，每个点的特征向量为[score11，score22]，若score22小于设定的第二阈值，则代表不包含氧化层，反之则代表包含氧化层，将包含氧化层的点云输出即为氧化层点云，定义为氧化层点云B。
4.根据权利要求3所述的基于2D/3D视觉融合的五金件机器人智能化打磨方法，其特征在于，上述步骤S500中具体使用的聚类算法为K-mean聚类算法，具体包括以下步骤，
S510：选取氧化层点云B的K个点
Figure QLYQS_26
作为聚类中心；
S520：计算氧化层点云B其余点
Figure QLYQS_27
与每个聚类中心的欧式距离，根据最小距离
Figure QLYQS_28
，将样本对象分配到距离最近的聚类中心/>
Figure QLYQS_29
；
S530：根据聚类结果分别计算新的聚类中心
Figure QLYQS_30
，其中，/>
Figure QLYQS_31
为第j,j=1,2,…,k个聚类对应的样本数据个数，并以此均值作为新的聚类中心；
S540：判断新、旧聚类中心是否变化，如果是，返回步骤S2；否则，输出K个氧化层聚类结果氧化层点云B={
Figure QLYQS_32
}，/>
Figure QLYQS_33
为氧化层点云B中的单个点云。
5.根据权利要求4所述的基于2D/3D视觉融合的五金件机器人智能化打磨方法，其特征在于，上述步骤S600中具体通过模拟退火算法规划
Figure QLYQS_34
的打磨顺序，并利用B样条插值方法拟合打磨路径，具体的包括以下步骤，
S610：分别计算
Figure QLYQS_35
的质心，并利用模拟退火算法规划其打磨顺序，以保证加工路径最小；
S620：按顺序输入五金件氧化层点云，输入打磨点云并对其进行主成分分析，根据最小奇异值对应的特征向量确定点云的曲面法向量；
S630：根据步骤S620的曲面法向量构建点云的最小包围盒，并以法向量方向为基准进行切分，分别求解已切分的子包围盒点集的质心；
S640：以步骤S630中所述的质心和三次B样条插值原理，构建控制点并拟合出打磨轨迹；
S650：判断加工区域的轨迹是否规划完毕，如果是，输出所有加工次序及加工轨迹；否则，返回步骤S620。
6.基于2D/3D视觉融合的五金件机器人智能化打磨装置，其特征在于，应用了上述权利要求1-5中任一项基于2D/3D视觉融合的五金件机器人智能化打磨方法，包括，
第一相机，用于获取输入五金件的多个视角的RGB图像；
第二相机，为激光线扫相机，用于获取输入五金件的多个视角的三维点云；
机械臂，用于对氧化层进行打磨、抛光；
机器视觉处理系统，集成有上述权利要求1-5中任一项基于2D/3D视觉融合的五金件机器人智能化打磨方法的步骤的设备，用于根据所述第一相机以及第二相机采集到的数据信息计算得到氧化层的信息，并控制机械臂对所述氧化层进行对应处理。
7.根据权利要求6所述的基于2D/3D视觉融合的五金件机器人智能化打磨装置，其特征在于，所述第一相机为二维相机或是三维相机中的任意一种。
8.根据权利要求6所述的基于2D/3D视觉融合的五金件机器人智能化打磨装置，其特征在于，所述第二相机具体为先临三维扫描仪，所述机械臂为型号为HP20D的安川六自由度机器人。
9.一种计算机可读存储的介质，所述计算机可读存储的介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5任一项所述方法的步骤。
CN202110793718.0A 2021-07-12 2021-07-12 基于2d3d视觉融合的五金件机器人智能化打磨方法与装置 Active CN113744181B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110793718.0A CN113744181B (zh) 2021-07-12 2021-07-12 基于2d3d视觉融合的五金件机器人智能化打磨方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110793718.0A CN113744181B (zh) 2021-07-12 2021-07-12 基于2d3d视觉融合的五金件机器人智能化打磨方法与装置

Publications (2)

Publication Number Publication Date
CN113744181A CN113744181A (zh) 2021-12-03
CN113744181B true CN113744181B (zh) 2023-06-23

Family

ID=78728610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110793718.0A Active CN113744181B (zh) 2021-07-12 2021-07-12 基于2d3d视觉融合的五金件机器人智能化打磨方法与装置

Country Status (1)

Country Link
CN (1) CN113744181B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9466143B1 (en) * 2013-05-03 2016-10-11 Exelis, Inc. Geoaccurate three-dimensional reconstruction via image-based geometry
CN112541908A (zh) * 2020-12-18 2021-03-23 广东工业大学 基于机器视觉的铸件飞边识别方法及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10867436B2 (en) * 2019-04-18 2020-12-15 Zebra Medical Vision Ltd. Systems and methods for reconstruction of 3D anatomical images from 2D anatomical images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9466143B1 (en) * 2013-05-03 2016-10-11 Exelis, Inc. Geoaccurate three-dimensional reconstruction via image-based geometry
CN112541908A (zh) * 2020-12-18 2021-03-23 广东工业大学 基于机器视觉的铸件飞边识别方法及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于双重配准的机器人双目视觉三维拼接方法研究;艾青林;刘赛;沈智慧;;机电工程(10);第102-107页 *

Also Published As

Publication number Publication date
CN113744181A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN109655019B (zh) 一种基于深度学习和三维重建的货物体积测量方法
WO2022165739A1 (zh) 基于2d/3d视觉融合的五金件机器人智能化打磨方法与装置
CN109034017B (zh) 头部姿态估计方法及机器可读存储介质
CN113065546B (zh) 一种基于注意力机制和霍夫投票的目标位姿估计方法及系统
CN108597009B (zh) 一种基于方向角信息进行三维目标检测的方法
CN111553949B (zh) 基于单帧rgb-d图像深度学习对不规则工件的定位抓取方法
CN112233181A (zh) 6d位姿识别的方法、装置及计算机存储介质
CN113313047B (zh) 一种基于车道结构先验的车道线检测方法及系统
CN111784655B (zh) 一种水下机器人回收定位方法
JP2018128897A (ja) 対象物の姿勢等を検出する検出方法、検出プログラム
CN111798453A (zh) 用于无人驾驶辅助定位的点云配准方法及其系统
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN116539619B (zh) 产品缺陷检测方法、系统、装置及存储介质
CN111709269B (zh) 一种深度图像中基于二维关节信息的人手分割方法和装置
CN110717910B (zh) 基于卷积神经网络的ct图像目标检测方法及ct扫描仪
CN113744181B (zh) 基于2d3d视觉融合的五金件机器人智能化打磨方法与装置
CN116596987A (zh) 一种基于双目视觉的工件三维尺寸高精度测量方法
CN115760695A (zh) 基于深度视觉模型的图像异常识别方法
CN115034577A (zh) 一种基于虚实边缘匹配的机电产品漏装检测方法
CN113932712A (zh) 一种基于深度相机和关键点的瓜果类蔬菜尺寸测量方法
CN115035193A (zh) 一种基于双目视觉与图像分割技术的散装粮随机扦样方法
CN112258453B (zh) 一种工业故障巡检机器人定位地标检测方法
CN110956640B (zh) 一种异源图像边缘点检测与配准方法
CN114155406A (zh) 一种基于区域级特征融合的位姿估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant