CN108624880B - 一种激光熔覆质量智能控制系统及其智能控制方法 - Google Patents

Abstract

本发明公开了一种激光熔覆质量智能控制系统及其智能控制方法，包括机器人激光熔覆带自动跟踪模块、图像预处理模块、缺陷检测模块、数据处理模块和反馈控制模块。本发明实现精确、快速定位、智能化程度高，构造激光熔覆过程闭环控制，减少生产过程人为因素影响，实现智能化控制，根据熔覆层表面缺陷检测结果实时调整激光参数，提高生产效益，利用深度学习技术，自动识别激光熔覆层表面缺陷，构建一个实时性好、可靠性高、普适性强和智能化程度高的激光熔覆层质量智能控制系统。

Description

一种激光熔覆质量智能控制系统及其智能控制方法

技术领域

本发明涉及一种激光熔覆质量智能控制系统及其智能控制方法。

背景技术

激光熔覆技术是一种基于大功率激光器而兴起的一种新的材料表面改性技术，其具体实现方式如下：在激光束作用下将合金粉末或陶瓷粉末与基体表面迅速加热并熔化，光束移开后自激冷却在基体表面冶金结合形成一个稀释率极低的表面涂层。激光熔覆技术能够显著改善基体表面的耐磨性、耐蚀性、耐热性、抗氧化性等。但激光熔覆质量受到激光功率、光斑形状尺寸、扫描速度、搭接率、基体材料和熔覆层材料等多重因素的影响，熔覆带质量的稳定性难以得到保障。

利用计算机视觉技术并结合转化深度学习中物体检测技术，将激光熔覆带出现的缺陷类型作为特殊的物体目标对缺陷类型和数量进行检测，实现机器人对工件的自主激光熔覆加工并实时检测控制熔覆带质量实现加工智能化，具有巨大的应用潜能和广阔的市场前景。随着计算机视觉技术、深度学习物体检测技术的发展和应用，实现激光熔覆层质量的在线检测控制不仅能提高生产效率，而且能够确保熔覆层质量的稳定。机器视觉技术因其具有灵活性、非直接接触性可在激光熔覆过程中加以应用，实时采集图像并预处理，处理后图片输入至物体检测网络提取图像特征，得到检测结果后反馈至控制系统实现智能控制。从而改变激光熔覆过程中采用人工识别且识别效率低、准确度不高的状况。

发明内容

为了解决上述不足，本发明一种激光熔覆质量智能控制系统, 将计算机视觉和深度学习物体检测技术应用在激光熔覆熔覆层质量控制系统中，实现一种精度高、速度快、稳定性好、智能化程度高的激光熔覆加工质量在线检测闭环控制工作系统。

本发明的目的通过以下技术方案来实现：一种激光熔覆质量智能控制系统，包括机器人激光熔覆带自动跟踪模块、图像预处理模块、缺陷检测模块、数据处理模块和反馈控制模块；

机器人激光熔覆带自动跟踪模块是利用计算机视觉函数库中的摄像机模型，根据摄像机的参数和焊枪尖端坐标和焊枪方向角组成的特征向量建立模型，控制焊枪逐步移动到熔覆位置；

图像预处理模块包括图像获取模块、图像处理模块；图像获取模块由摄像机、光学镜头、光源和夹持装置等组成，完成图像的采集功能；图像处理模块是在计算机端利用计算机视觉函数库，将采集的图像经过图像去噪、图像增强与复原、目标分割的处理，以便进行下一步分析；

缺陷检测模块为利用深度学习物体检测模型微调后用于激光熔覆带缺陷检测，包括对预先采集的图片数据集的处理和缺陷检测模型的建立，将预先采集得到的激光熔覆带缺陷类型图片，每张图片人工标注缺陷类型和缺陷位置坐标；

数据处理模块根据缺陷检测模块的缺陷检测模型输出的缺陷类型和对应缺陷类型面积值输入到激光参数控制器中，根据已有实验得到的激光参数与缺陷类型、缺陷类型面积值的对应关系调整激光熔覆系统的送粉速度、激光功率、离焦量、搭接率；

反馈控制模块包括伺服电机、控制电路装置，用于调整激光参数和伺服电机转速。

本发明的进一步改进在于：图像去燥是去除消除图像采集过程中产生的噪声，降低对图像质量的不良影响；图像增强与复原是有目的地强调图像的局部特征，将原来不清晰的部分变清晰或者强调感兴趣的部分，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，进而改善图像质量、丰富图像信息量，加强图像判读和识别效果；目标分割是将经过图像去噪、图像增强和复原后将图片切割成固定尺寸。

本发明的进一步改进在于：缺陷检测模型的建立分为两个阶段，包括缺陷检测模型的训练、验证、测试阶段和缺陷检测模型的应用阶段。

本发明的进一步改进在于：缺陷检测模型的训练、验证和测试阶段为保证缺陷检测模型的泛化能力，首先将图片数据集按照比例拆分为训练集、验证集和测试集，训练集用于模型的训练，验证集用于训练过程中参数调整后的模型的验证，测试集用于训练完成后模型的泛化能力的测试；缺陷检测模型训练过程中先将采集得到的激光熔覆带缺陷类型图片经过翻转、剪切等图片增强方法，扩充数据集，使模型能够得到充分训练，学习到更多特征。缺陷检测模型采用迁移学习技术，选择当前已有的深度学习图像物体分类模型中较好的图像物体分类模型，对该模型进行微调，重置最后一个全连接层或修改为1X1的卷积层，后接softmax层输出缺陷类型的分类，并另添加一个并行的全连接层或1X1的卷积层，其后接位置回归层输出不同类型缺陷的面积值。缺陷检测模型在训练过程中为了保证模型能够收敛，需要设计缺陷检测模型的损失函数，该缺陷检测模型损失函数为：L(p, u，s) = L_cls(p, u) +r * L_s(s)，其中L_cls (p, u) =-log p_u代表分类预测与真实标注的缺陷类型之间的损失值，L_s (s)为检测到的不同缺陷类型对应的面积损失值，r为调和参数。缺陷检测模型建立好之后，将准备好的数据集输入到此模型中进行模型训练，每输入一张图片使模型的参数得到一次调整，每次参数调整后的缺陷检测模型需要进行模型的验证，将验证集图片输入到参数调整后的缺陷检测模型中，得到模型的验证集精确度，以上过程不断循环，直到损失函数值不再减小或者精度达到预定的值时可停止缺陷检测模型的训练。将测试集输入到训练完成的缺陷检测模型中，得到缺陷检测模型在测试集上的精度，达到要求后的缺陷检测模型即可用于激光熔覆层质量智能控制系统中。

本发明的进一步改进在于：缺陷检测模型的应用阶段是指在将缺陷检测模型应用到系统中，将图像预处理模块处理好的图片输入到缺陷检测模型中进行激光熔覆带缺陷类型检测分类识别，输出检测出的激光熔覆带上的缺陷类型和对应的缺陷类型面积值。

一种激光熔覆质量智能控制方法，首先激光熔覆机器人根据摄像机的参数和焊枪尖端坐标和焊枪方向角组成的特征向量建立模型，控制焊枪逐步移动到熔覆位置。实施激光熔覆过程中，摄像机将实时采集的熔覆带图像传输到电脑端，利用计算机视觉函数库（OpenCV）对图像进行图像预处理后再输入到利用深度学习中物体检测技术建立的缺陷检测模型，对处理后的图像中熔覆层表面缺陷类型和对应的缺陷类型面积值进行智能识别检测。识别检测完成后输出当前熔覆带表面的缺陷类型和对应的缺陷类型面积值，计算机根据已有实验建立的缺陷类型、对应缺陷类型面积值与激光熔覆系统的送粉速度、激光功率、离焦量、搭接率参数之间关系，发出调整参数指令到控制电路，由控制电路控制伺服电机、激光设备等。根据调整后的参数，激光熔覆系统生产新的激光熔覆带再由摄像机拍摄熔覆层表面图片，重复以上过程，控制熔覆带表面的缺陷面积达到预期效果，从而实现激光熔覆过程的智能控制。

本发明与现有技术相比具有以下优点：

（1）、实现精确、快速定位、智能化程度高，构造激光熔覆过程闭环控制，减少生产过程人为因素影响，实现智能化控制，根据熔覆层表面缺陷检测结果实时调整激光参数，提高生产效益；

（2）、利用深度学习技术，自动识别激光熔覆层表面缺陷，构建一个实时性好、可靠性高、普适性强和智能化程度高的激光熔覆层质量智能控制系统。

附图说明：

图1是激光熔覆智能控制方法流程图；

图2是缺陷检测模型训练过程图。

具体实施方式：

为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。在本发明的一种实施方式中描述的元素和特征可以与一个或更多个其它实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明主要包括机器人激光熔覆带自动跟踪模块、图像预处理模块、缺陷检测模块、数据处理模块和反馈控制模块。

机器人激光熔覆带自动跟踪是利用计算机视觉函数库（OpenCV）中的摄像机模型，根据摄像机的参数和焊枪尖端坐标和焊枪方向角组成的特征向量建立模型，控制焊枪逐步移动到熔覆位置。

图像预处理模块包括图像获取模块、图像处理模块。图像获取模块由摄像机、光学镜头、光源和夹持装置等组成，完成图像的采集功能。图像处理模块是在计算机端利用计算机视觉函数库（OpenCV），将采集的图像经过图像去噪、图像增强与复原、目标分割的处理，以便进行下一步分析。图像去燥是去除消除图像采集过程中产生的噪声，降低对图像质量的不良影响。图像增强与复原是有目的地强调图像的局部特征，将原来不清晰的部分变清晰或者强调感兴趣的部分，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，进而改善图像质量、丰富图像信息量，加强图像判读和识别效果。目标分割是将经过图像去噪、图像增强和复原后将图片切割成固定尺寸。

缺陷检测模块为利用深度学习物体检测模型微调后用于激光熔覆带缺陷检测，包括对预先采集的图片数据集的处理和缺陷检测模型的建立。将预先采集得到的激光熔覆带缺陷类型图片，每张图片人工标注缺陷类型和对应缺陷位置坐标。缺陷检测模型的建立分为两个阶段，包括缺陷检测模型的训练、验证、测试阶段和缺陷检测模型的应用阶段。缺陷检测模型的训练、验证和测试阶段为保证缺陷检测模型的泛化能力，首先将图片数据集按照比例拆分为训练集、验证集和测试集（本模型中按训练集、验证集和测试集按照6:2:2拆分），训练集用于模型的训练，验证集用于训练过程中参数调整后的模型的验证，测试集用于训练完成后模型的泛化能力的测试。如图1所示，缺陷检测模型训练过程中先将采集得到的激光熔覆带缺陷类型图片经过翻转、剪切等图片增强方法，扩充数据集，使模型能够得到充分训练，学习到更多特征。缺陷检测模型采用迁移学习技术，选择当前已有的深度学习图像物体分类模型中较好的图像物体分类模型（例如：Resnet18），对Resnet18模型进行微调，重置最后一个全连接层或修改为1X1的卷积层，后接softmax层输出缺陷类型的分类，并另添加一个并行的全连接层或1X1的卷积层，其后接位置回归层输出不同类型缺陷的面积值。缺陷检测模型在训练过程中为了保证模型能够收敛，需要设计缺陷检测模型的损失函数，该缺陷检测模型损失函数为：L(p, u，s) = L_cls (p, u) +r * L_s(s)，其中L_cls (p, u) =-log p_u代表分类预测与真实标注的缺陷类型之间的损失值，L_s(s)为检测到的不同缺陷类型对应的面积损失值，r为调和参数。缺陷检测模型建立好之后，将准备好的数据集输入到此模型中进行模型训练，每输入一张图片使模型的参数得到一次调整，每次参数调整后的缺陷检测模型需要进行模型的验证，将验证集图片输入到参数调整后的缺陷检测模型中，得到模型的验证集精确度，以上过程不断循环，直到损失函数值不再减小或者精度达到预定的值时可停止缺陷检测模型的训练。将测试集输入到训练完成的缺陷检测模型中，得到缺陷检测模型在测试集上的精度，达到要求后的缺陷检测模型即可用于激光熔覆层质量智能控制系统中。缺陷检测模型的应用阶段是指在将缺陷检测模型应用到系统中，将图像预处理模块处理好的图片输入到缺陷检测模型中进行激光熔覆带缺陷类型检测分类识别，输出检测出的激光熔覆带上的缺陷类型和对应的缺陷类型面积值。

数据处理模块根据缺陷检测模块的缺陷检测模型输出的缺陷类型和对应缺陷类型面积值输入到激光参数控制器中，根据已有实验得到的激光参数与缺陷类型、对应缺陷类型面积值的关系调整激光熔覆系统的送粉速度、激光功率、离焦量、搭接率等参数。

反馈控制模块包括伺服电机、控制电路装置等，用于调整激光参数和伺服电机转速等。

由以上模块组成的激光熔覆系统通过以下控制方法来控制系统工作。首先激光熔覆机器人根据摄像机的参数和焊枪尖端坐标和焊枪方向角组成的特征向量建立模型，控制焊枪逐步移动到熔覆位置。实施激光熔覆过程中，摄像机将实时采集的熔覆带图像传输到电脑端，利用计算机视觉函数库（OpenCV）对图像进行图像预处理后再输入到利用深度学习中物体检测技术建立的缺陷检测模型，对处理后的图像中熔覆层表面缺陷类型和对应的缺陷类型面积大小进行智能识别检测。识别检测完成后输出当前熔覆带表面的缺陷类型和对应的缺陷类型面积大小，计算机根据已有实验建立的缺陷类型、对应缺陷类型面积值与激光熔覆系统的送粉速度、激光功率、离焦量、搭接率参数之间关系，发出调整参数指令到控制电路，由控制电路控制伺服电机、激光设备等。根据调整后的参数，激光熔覆系统生产新的激光熔覆带再由摄像机拍摄熔覆层表面图片，重复以上过程，控制熔覆带表面的缺陷面积达到预期效果，从而实现激光熔覆过程的智能控制。

最后应说明的是：虽然以上已经详细说明了本发明及其优点，但是应当理解在不超出由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且，本发明的范围不仅限于说明书所描述的过程、设备、手段、方法和步骤的具体实施例。本领域内的普通技术人员从本发明的公开内容将容易理解，根据本发明可以使用执行与在此所述的相应实施例基本相同的功能或者获得与其基本相同的结果的、现有和将来要被开发的过程、设备、手段、方法或者步骤。因此，所附的权利要求旨在在它们的范围内包括这样的过程、设备、手段、方法或者步骤。

Claims (3)

1.一种激光熔覆质量智能控制系统，其特征在于：包括机器人激光熔覆带自动跟踪模块、图像预处理模块、缺陷检测模块、数据处理模块和反馈控制模块；

机器人激光熔覆带自动跟踪模块是利用计算机视觉函数库中的摄像机模型，根据摄像机的参数和焊枪尖端坐标和焊枪方向角组成的特征向量建立模型，控制焊枪逐步移动到熔覆位置；

图像预处理模块包括图像获取模块、图像处理模块；图像获取模块由摄像机、光学镜头、光源和夹持装置组成，完成图像的采集功能；图像处理模块是在计算机端利用计算机视觉函数库，将采集的图像经过图像去噪、图像增强与复原、目标分割的处理，以便进行下一步分析；

缺陷检测模块为利用深度学习物体检测模型微调后用于激光熔覆带缺陷检测，包括对预先采集的图片数据集的处理和缺陷检测模型的建立，将预先采集得到的激光熔覆带缺陷类型图片，每张图片人工标注缺陷类型和缺陷位置坐标；

数据处理模块根据缺陷检测模块的缺陷检测模型输出的缺陷类型和对应缺陷类型面积值输入到激光参数控制器中，根据已有实验得到的激光参数与缺陷类型、对应缺陷面积值的对应关系调整激光熔覆系统的送粉速度、激光功率、离焦量、搭接率；

反馈控制模块包括伺服电机、控制电路装置，用于调整激光参数和伺服电机转速；

缺陷检测模型的建立分为两个阶段，包括缺陷检测模型的训练、验证、测试阶段和缺陷检测模型的应用阶段；

缺陷检测模型的训练、验证和测试阶段为保证缺陷检测模型的泛化能力，首先将图片数据集按照比例拆分为训练集、验证集和测试集，训练集用于模型的训练，验证集用于训练过程中参数调整后的模型的验证，测试集用于训练完成后模型的泛化能力的测试；缺陷检测模型训练过程中先将采集得到的激光熔覆带缺陷类型图片经过翻转、剪切图片增强方法，扩充数据集，使模型能够得到充分训练，学习到更多特征；缺陷检测模型采用迁移学习技术，选择当前已有的深度学习图像物体分类模型中较好的图像物体分类模型，对该模型进行微调，重置最后一个全连接层或修改为1×1的卷积层，后接Softmax层输出缺陷类型的分类，并另添加一个并行的全连接层或1×1的卷积层，后接位置回归层输出对应缺陷类型的面积值；缺陷检测模型在训练过程中为了保证模型能够收敛，需要设计缺陷检测模型的损失函数，该缺陷检测模型损失函数为：L(p, u，s) = L_cls(p, u) +r × L_s(s)，其中L_cls(p, u) =-log p_u代表分类预测与真实标注的缺陷类型之间的损失值，L_s(s)为检测到的不同缺陷类型对应的面积损失值，r为调和参数；缺陷检测模型建立好之后，将准备好的训练数据集输入到此模型中进行模型训练，每输入一张图片使模型的参数得到一次调整，每次参数调整后的缺陷检测模型需要进行模型的验证，将验证集图片输入到参数调整后的缺陷检测模型中，得到模型的验证集精确度，以上过程不断循环，直到损失函数值不再减小或者精度达到预定的值时可停止缺陷检测模型的训练；将测试集输入到训练完成的缺陷检测模型中，得到缺陷检测模型在测试集上的精度，达到要求后的缺陷检测模型即可用于激光熔覆层质量智能控制系统中；

缺陷检测模型的应用阶段是指在将缺陷检测模型应用到系统中，将图像预处理模块处理好的图片输入到缺陷检测模型中进行激光熔覆带缺陷类型检测分类识别，输出检测出的激光熔覆带上的缺陷类型和对应的缺陷类型面积值。

2.根据权利要求1所述的一种激光熔覆质量智能控制系统，其特征在于：图像去噪是去除消除图像采集过程中产生的噪声，降低对图像质量的不良影响；图像增强与复原是有目的地强调图像的局部特征，将原来不清晰的部分变清晰或者强调感兴趣的部分，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，进而改善图像质量、丰富图像信息量，加强图像判读和识别效果；目标分割是将经过图像去噪、图像增强和复原后将图片切割成固定尺寸。

3.根据权利要求1所述的一种激光熔覆质量智能控制系统的控制方法，其特征在于：首先激光熔覆机器人根据摄像机的参数和焊枪尖端坐标和焊枪方向角组成的特征向量建立模型，控制焊枪逐步移动到熔覆位置；实施激光熔覆过程中，摄像机将实时采集的熔覆带图像传输到电脑端，利用计算机视觉函数库对图像进行图像预处理后再输入到利用深度学习中物体检测技术建立的缺陷检测模型，对处理后的图像熔覆层表面缺陷类型和对应的缺陷类型面积值进行智能识别检测；识别检测完成后输出当前熔覆带表面的缺陷类型和对应的缺陷类型面积值；计算机根据已有实验得到的缺陷类型、对应的缺陷类型面积值与激光熔覆系统的送粉速度、激光功率、离焦量、搭接率参数之间的关系，发出调整参数指令到控制电路，由控制电路控制伺服电机、激光设备；根据调整后的参数，激光熔覆系统生产新的激光熔覆带再由摄像机拍摄熔覆层表面图片，重复以上过程，控制熔覆带表面的缺陷面积达到预期效果，从而实现激光熔覆过程的智能控制。