发明内容
有鉴于此,本公开提出了一种水轮机座环焊接机器人的控制方法及其系统,其可以利用智能图像处理技术,从焊接区域拍摄图像中提取焊接的隐含特征信息,从而实现对水轮机座环焊接质量的自动检测。
根据本公开的一方面,提供了一种水轮机座环焊接机器人的控制方法,其包括:
通过水轮机座环焊接机器人的传感器系统定位水轮机座环的位置和姿态;
基于所述水轮机座环的位置和姿态,将所述水轮机座环焊接机器人移动到焊接位置;
根据预设的焊接程序和参数启动所述水轮机座环焊接机器人执行焊接操作;
使用所述传感器系统检测焊接质量,若检测到异常,所述机器人产生焊接异常预警提示;以及
记录焊接结果,并进行清理和维护工作。
根据本公开的另一方面,提供了一种水轮机座环焊接机器人的控制系统,其包括:
位置姿态定位模块,用于通过水轮机座环焊接机器人的传感器系统定位水轮机座环的位置和姿态;
移动模块,用于基于所述水轮机座环的位置和姿态,将所述水轮机座环焊接机器人移动到焊接位置;
焊接操作模块,用于根据预设的焊接程序和参数启动所述水轮机座环焊接机器人执行焊接操作;
异常预警模块,用于使用所述传感器系统检测焊接质量,若检测到异常,所述机器人产生焊接异常预警提示;以及
焊接结果记录模块,用于记录焊接结果,并进行清理和维护工作。
根据本公开的实施例,其首先通过水轮机座环焊接机器人的传感器系统定位水轮机座环的位置和姿态,接着,基于所述水轮机座环的位置和姿态,将所述水轮机座环焊接机器人移动到焊接位置,然后,根据预设的焊接程序和参数启动所述水轮机座环焊接机器人执行焊接操作,接着,使用所述传感器系统检测焊接质量,若检测到异常,所述机器人产生焊接异常预警提示,最后,记录焊接结果,并进行清理和维护工作。这样,可以利用智能图像处理技术,从焊接区域拍摄图像中提取焊接的隐含特征信息,从而实现对水轮机座环焊接质量的自动检测。
根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
具体实施方式
下面将结合附图对本公开实施例中的技术方案进行清楚、完整地描述,显而易见地,所描述的实施例仅仅是本公开的部分实施例,而不是全部的实施例。基于本公开实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,也属于本公开保护的范围。
如本公开和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
另外,为了更好的说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
水轮机座环是水轮机的一个关键部件,也称为水轮机座圈或水轮机座环体,它是水轮机的定子部分,用于支撑和固定水轮机转子。水轮机座环一般由高强度的金属材料制成,如铸铁、钢等。它通常具有圆环形状,内部有与水轮机转子相匹配的凹槽或凸台结构,以确保转子的正确位置和稳定运行。水轮机座环在水轮机的运行中承受水流的冲击力和转子的离心力,因此需要具备足够的强度和刚度。同时,水轮机座环还需要具备良好的耐磨、耐蚀和耐久性能,以适应水轮机长时间运行的工作环境。
本公开提供了一种水轮机座环焊接机器人的控制方案,图1示出根据本公开的实施例的水轮机座环焊接机器人的控制方法的流程图。如图1所示,根据本公开实施例的水轮机座环焊接机器人的控制方法,包括步骤:S110,通过水轮机座环焊接机器人的传感器系统定位水轮机座环的位置和姿态;S120,基于所述水轮机座环的位置和姿态,将所述水轮机座环焊接机器人移动到焊接位置;S130,根据预设的焊接程序和参数启动所述水轮机座环焊接机器人执行焊接操作;S140,使用所述传感器系统检测焊接质量,若检测到异常,所述机器人产生焊接异常预警提示;以及,S150,记录焊接结果,并进行清理和维护工作。
特别地,焊接质量直接影响水轮机的性能和寿命,为确保焊接接头的质量符合要求,在S140步骤中,对焊接质量进行检测,以及时发现焊接异常,以便采取相应的修复措施,以提高焊接的可靠性和耐久性。传统的质量检测通常采用目视检测,即操作人员使用肉眼观察焊缝,检查焊接接头的外观质量。这种方法虽然直观简单,但存在主观性和视觉疲劳等问题,无法精确检测微小的焊接缺陷,还会存在误判的情况。
对此,在本公开的技术构思为利用智能图像处理技术,从焊接区域拍摄图像中提取焊接的隐含特征信息,从而实现对水轮机座环焊接质量的自动检测。
图2示出根据本公开的实施例的水轮机座环焊接机器人的控制方法的子步骤S140的流程图。图3示出根据本公开的实施例的水轮机座环焊接机器人的控制方法的子步骤S140的架构示意图。如图2和图3所示,根据本公开实施例的水轮机座环焊接机器人的控制方法,使用所述传感器系统检测焊接质量,若检测到异常,所述机器人产生焊接异常预警提示,包括步骤:S141,获取由水轮机座环焊接机器人的摄像头采集的焊接区域拍摄图像;S142,对所述焊接区域拍摄图像进行焊接特征提取以得到多阶次焊接区域融合特征向量;以及,S143,基于所述多阶次焊接区域融合特征向量,确定是否产生所述焊接异常预警提示。
具体地,在本公开的技术方案中,首先获取由水轮机座环焊接机器人的摄像头采集的焊接区域拍摄图像。接着,从所述焊接区域拍摄图像中提取浅层特征信息和深层特征信息以得到焊接区域浅层特征图和焊接区域深层特征图。也就是,从所述焊接区域拍摄图像中分别提取浅层特征信息和深层特征信息,以同时利用浅层特征信息所表达的焊缝的长度、宽度、形状等直观的信息和深度特征信息所表达的更为抽象的本质信息,如纹理、颜色分布、局部结构等。应可以理解,选择摄像头类型时需要考虑焊接环境的特点以及对图像质量和分辨率的要求,例如可以选择工业相机、红外摄像头等摄像头作为采集焊接区域拍摄图像的摄像头。
在本公开的一个具体示例中,从所述焊接区域拍摄图像中提取浅层特征信息和深层特征信息以得到焊接区域浅层特征图和焊接区域深层特征图的编码过程,包括:先对所述焊接区域拍摄图像进行图像灰度化处理以得到灰度化焊接区域拍摄图像;随后,将所述灰度化焊接区域拍摄图像通过基于第一卷积神经网络模型的浅层特征提取器以得到焊接区域浅层特征图;再将所述焊接区域浅层特征图通过基于第二卷积神经网络模型的深层特征提取器以得到焊接区域深层特征图。
然后,对所述焊接区域浅层特征图和所述焊接区域深层特征图进行降维处理和融合处理以得到所述多阶次焊接区域融合特征向量。也就是,可以综合考虑不同层次的特征,使得对焊接质量的评估更加全面和准确。
在本公开的一个具体示例中,对所述焊接区域浅层特征图和所述焊接区域深层特征图进行降维处理和融合处理以得到所述多阶次焊接区域融合特征向量的编码过程,包括:先将所述焊接区域浅层特征图和所述焊接区域深层特征图分别展开为特征向量以得到焊接区域浅层特征向量和焊接区域深层特征向量;再使用级联函数来融合所述焊接区域浅层特征向量和所述焊接区域深层特征向量以得到多阶次焊接区域融合特征向量。
其中,级联函数的应用可以使网络具有一定逻辑推理能力,更好地挖掘不同特征向量之间的关联信息,并进行逻辑推理式融合,使得融合后的所述多阶次焊接区域融合特征向量具有更为出色的特征表达能力。
相应地,在一个具体示例中,如图4所示,对所述焊接区域拍摄图像进行焊接特征提取以得到多阶次焊接区域融合特征向量,包括:S1421,从所述焊接区域拍摄图像中提取浅层特征信息和深层特征信息以得到焊接区域浅层特征图和焊接区域深层特征图;以及,S1422,对所述焊接区域浅层特征图和所述焊接区域深层特征图进行降维处理和融合处理以得到所述多阶次焊接区域融合特征向量。
其中,在步骤S1421中,如图5所示,从所述焊接区域拍摄图像中提取浅层特征信息和深层特征信息以得到焊接区域浅层特征图和焊接区域深层特征图,包括:S14211,对所述焊接区域拍摄图像进行图像灰度化处理以得到灰度化焊接区域拍摄图像;S14212,将所述灰度化焊接区域拍摄图像通过基于第一卷积神经网络模型的浅层特征提取器以得到所述焊接区域浅层特征图;以及,S14213,将所述焊接区域浅层特征图通过基于第二卷积神经网络模型的深层特征提取器以得到所述焊接区域深层特征图。应可以理解,图像灰度化处理是将彩色图像转换为灰度图像的过程,在灰度图像中,每个像素的数值表示了该像素的亮度级别,而不再包含颜色信息。图像灰度化处理的主要用途包括:简化图像,灰度图像只包含亮度信息,去除了颜色的干扰,使图像更加简洁和易于处理;特征提取:在某些图像处理任务中,只需要关注图像的亮度信息,而不需要考虑颜色,通过灰度化处理,可以更容易地提取图像中的纹理、边缘、形状等特征;减少计算复杂度:彩色图像通常包含三个颜色通道(红、绿、蓝),而灰度图像只包含一个通道,因此,在某些情况下,将图像转换为灰度图像可以减少计算复杂度,提高处理速度;增强对比度:通过灰度化处理,可以增强图像的对比度,使得图像中的细节更加清晰可见。图像灰度化处理可以简化图像、提取特征、减少计算复杂度,并增强图像的对比度,使得图像处理更加方便和有效。
进一步地,应可以理解,步骤S1421中涉及到两个卷积神经网络模型:第一卷积神经网络模型和第二卷积神经网络模型,这两个模型分别用于提取焊接区域图像的浅层特征和深层特征。第一卷积神经网络模型是一个基于卷积神经网络的浅层特征提取器,它接收灰度化的焊接区域图像作为输入,并通过一系列卷积层、池化层和激活函数等操作,提取出图像的浅层特征,这些浅层特征可以包括边缘、纹理和颜色等低级特征。第二卷积神经网络模型是一个基于卷积神经网络的深层特征提取器,它接收第一卷积神经网络模型提取的浅层特征图作为输入,并通过进一步的卷积层、池化层和激活函数等操作,提取出图像的深层特征,这些深层特征可以包括更高级的语义信息和抽象特征。通过使用这两个卷积神经网络模型,可以获得焊接区域的浅层特征图和深层特征图,这些特征图可以用于后续的焊接质量检测和异常预警判断。
其中,在步骤S1422中,如图6所示,对所述焊接区域浅层特征图和所述焊接区域深层特征图进行降维处理和融合处理以得到所述多阶次焊接区域融合特征向量,包括:S14221,将所述焊接区域浅层特征图和所述焊接区域深层特征图分别展开为特征向量以得到焊接区域浅层特征向量和焊接区域深层特征向量;以及,S14222,融合所述焊接区域浅层特征向量和所述焊接区域深层特征向量以得到所述多阶次焊接区域融合特征向量。
其中,在步骤S14222中,融合所述焊接区域浅层特征向量和所述焊接区域深层特征向量以得到所述多阶次焊接区域融合特征向量,包括:使用级联函数来融合所述焊接区域浅层特征向量和所述焊接区域深层特征向量以得到所述多阶次焊接区域融合特征向量。
进一步地,将所述多阶次焊接区域融合特征向量通过分类器以得到分类结果,所述分类结果用于表示是否产生焊接异常预警提示。应可以理解,焊接异常预警提示可以采取多种形式产生,具体取决于应用场景和需求。以下是几种常见的形式:声音提示,通过声音设备或者扬声器发出特定的声音信号,用于提醒操作人员焊接异常的发生,例如可以是警报声、提示音或者语音提示等;视觉提示,通过显示器、指示灯或者其他视觉装置展示特定的图像、图标或者文字信息,用于向操作人员显示焊接异常的发生,可以是闪烁的红色灯光、警示图标或者异常提示文字等;振动提示,通过振动设备或者震动装置产生震动信号,用于通过触觉方式提醒操作人员焊接异常的发生,可以是震动手环、震动警示器或者座椅震动等。进一步地,可以将焊接异常的相关信息记录下来,并生成异常报表或者数据统计图表,用于后续分析和处理,可以记录异常时间、位置、类型等信息,并生成报表或者图表展示。应可以理解,需要根据具体的应用场景和需求选择适合的形式来产生焊接异常预警提示,以确保操作人员能够及时发现和处理异常情况。
相应地,在一个具体示例中,如图7所示,基于所述多阶次焊接区域融合特征向量,确定是否产生所述焊接异常预警提示,包括:S1431,对所述多阶次焊接区域融合特征向量进行信息增益以得到优化多阶次焊接区域融合特征向量;以及,S1432,将所述优化多阶次焊接区域融合特征向量通过分类器以得到分类结果,所述分类结果用于表示是否产生焊接异常预警提示。
其中,在步骤S1431中,如图8所示,对所述多阶次焊接区域融合特征向量进行信息增益以得到优化多阶次焊接区域融合特征向量,包括:S14311,对所述焊接区域浅层特征向量和所述焊接区域深层特征向量进行前向传播信息保留融合以得到信息补偿特征向量;S14312,对所述信息补偿特征向量进行线性差值以转换为长度调整后信息补偿特征向量,其中,所述长度调整后信息补偿特征向量与所述多阶次焊接区域融合特征向量具有相同长度;以及,S14313,基于所述长度调整后信息补偿特征向量,对所述多阶次焊接区域融合特征向量进行点乘加权以得到所述优化多阶次焊接区域融合特征向量。
在本公开的技术方案中,所述焊接区域浅层特征向量和所述焊接区域深层特征向量分别表达所述灰度化焊接区域拍摄图像的浅层图像语义特征和深层图像语义特征,这里,考虑到所述深层图像语义特征是在所述浅层图像语义特征进一步通过所述第二卷积神经网络模型的卷积核进行局部图像语义特征关联提取得到的,因此所述焊接区域浅层特征图和所述焊接区域深层特征图在图像语义特征的关联尺度和表达深度上均存在差异,这样,在所述焊接区域浅层特征图和所述焊接区域深层特征图分别展开为所述焊接区域浅层特征向量和所述焊接区域深层特征向量后,特征向量之间也存在特征分布不对齐。
由此,在使用级联函数融合所述焊接区域浅层特征向量和所述焊接区域深层特征向量得到所述多阶次焊接区域融合特征向量时,所述焊接区域浅层特征向量和所述焊接区域深层特征向量的各自不对齐的特征分布在通过级联函数的点卷积操作和激活操作时,会在模型的前向传播时会产生信息损失,影响所述多阶次焊接区域融合特征向量的表达效果,从而影响所述多阶次焊接区域融合特征向量通过分类器得到的分类结果的准确性。基于此,本公开的申请人对所述焊接区域浅层特征向量V1和所述焊接区域深层特征向量V2进行前向传播信息保留融合,以得到信息补偿特征向量V′。
相应地,在一个具体示例中,对所述焊接区域浅层特征向量和所述焊接区域深层特征向量进行前向传播信息保留融合以得到信息补偿特征向量,包括:以如下融合优化公式对所述焊接区域浅层特征向量和所述焊接区域深层特征向量进行前向传播信息保留融合以得到所述信息补偿特征向量;其中,所述融合优化公式为:
其中,V1是所述焊接区域浅层特征向量,V2是所述焊接区域深层特征向量,《s和》s分别表示将特征向量左移s位和右移s位,round(·)为取整函数,是所述焊接区域浅层特征向量V1和所述焊接区域深层特征向量V2的所有特征值的均值,‖·‖1表示特征向量的一范数,d(V1,V2)是所述焊接区域浅层特征向量V1和所述焊接区域深层特征向量V2之间的距离,且log为以2为底的对数函数,/>和/>分别表示按位置减法和加法,α和β为加权超参数,V′是所述校正特征向量。
这里,针对所述焊接区域浅层特征向量V1和所述焊接区域深层特征向量V2在网络模型中的前向传播过程中,由于点卷积和激活操作产生的在向量尺度上的浮点分布误差和信息损失,通过从均一化信息角度来引入向量的逐位位移操作,来平衡和标准化前向传播过程中的量化误差和信息损失,并通过在融合之前重塑特征参数的分布来引入分布多样性,由此以扩大信息熵的方式进行信息保留(retention)。这样,通过对所述信息补偿特征向量V′进行线性差值以转换为与所述多阶次焊接区域融合特征向量相同长度后对所述多阶次焊接区域融合特征向量进行点乘加权,就可以减少所述多阶次焊接区域融合特征向量的信息损失,从而提升其通过分类器得到的分类结果的准确性。
更具体地,在步骤S1432中,将所述优化多阶次焊接区域融合特征向量通过分类器以得到分类结果,所述分类结果用于表示是否产生焊接异常预警提示,包括:使用所述分类器的全连接层对所述优化多阶次焊接区域融合特征向量进行全连接编码以得到编码分类特征向量;以及,将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
也就是,在本公开的技术方案中,所述分类器的标签包括产生焊接异常预警提示(第一标签),以及,不产生焊接异常预警提示(第二标签),其中,所述分类器通过软最大值函数来确定所述优化多阶次焊接区域融合特征向量属于哪个分类标签。值得注意的是,这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念,实际上在训练过程当中,计算机模型并没有“是否产生焊接异常预警提示”这种概念,其只是有两种分类标签且输出特征在这两个分类标签下的概率,即p1和p2之和为一。因此,是否产生焊接异常预警提示的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布,实质上用到的是标签的自然概率分布的物理意义,而不是“是否产生焊接异常预警提示”的语言文本意义。
应可以理解,分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器,然后对未知数据进行分类(或预测)。逻辑回归(logistics)、SVM等常用于解决二分类问题,对于多分类问题(multi-class classification),同样也可以用逻辑回归或SVM,只是需要多个二分类来组成多分类,但这样容易出错且效率不高,常用的多分类方法有Softmax分类函数。
值得一提的是,全连接层(Fully Connected Layer)是深度学习中常用的一种神经网络层,也称为全连接层或者密集连接层,它的作用是将前一层的所有神经元与当前层的所有神经元进行连接,每个连接都有一个权重,可以进行学习和调整,全连接层的输出是通过对输入进行线性变换和非线性激活函数处理得到的。全连接编码是指使用全连接层对输入数据进行编码,将输入数据映射到一个低维的特征空间。在步骤S1432中,优化多阶次焊接区域融合特征向量通过全连接层进行全连接编码,得到编码分类特征向量,这个编码分类特征向量可以看作是对原始特征向量的一种抽象和压缩,提取了更有代表性的特征信息。全连接编码的作用是将高维的输入特征转换为低维的编码特征,减少特征的维度,同时保留了重要的特征信息,通过全连接编码,可以降低数据的维度,提高特征的表达能力,并且减少了计算量,有助于提高分类器的效率和准确性。将编码分类特征向量输入分类器的Softmax分类函数,可以得到最终的分类结果。Softmax分类函数将输入的特征向量映射为一个概率分布,表示每个类别的概率。通过比较各个类别的概率,可以确定输入数据属于哪个类别,从而判断是否产生焊接异常预警提示。换言之,全连接层和全连接编码在步骤S1432中的作用是将优化多阶次焊接区域融合特征向量转换为编码分类特征向量,并通过Softmax分类函数得到分类结果,用于表示是否产生焊接异常预警提示。
综上,基于本公开实施例的水轮机座环焊接机器人的控制方法,其可以利用智能图像处理技术,从焊接区域拍摄图像中提取焊接的隐含特征信息,从而实现对水轮机座环焊接质量的自动检测。
图9示出根据本公开的实施例的水轮机座环焊接机器人的控制系统100的框图。如图9所示,根据本公开实施例的水轮机座环焊接机器人的控制系统100,包括:位置姿态定位模块110,用于通过水轮机座环焊接机器人的传感器系统定位水轮机座环的位置和姿态;移动模块120,用于基于所述水轮机座环的位置和姿态,将所述水轮机座环焊接机器人移动到焊接位置;焊接操作模块130,用于根据预设的焊接程序和参数启动所述水轮机座环焊接机器人执行焊接操作;异常预警模块140,用于使用所述传感器系统检测焊接质量,若检测到异常,所述机器人产生焊接异常预警提示;以及,焊接结果记录模块150,用于记录焊接结果,并进行清理和维护工作。
这里,本领域技术人员可以理解,上述水轮机座环焊接机器人的控制系统100中的各个单元和模块的具体功能和操作已经在上面参考图1到图8的水轮机座环焊接机器人的控制方法的描述中得到了详细介绍,并因此,将省略其重复描述。
如上所述,根据本公开实施例的水轮机座环焊接机器人的控制系统100可以实现在各种无线终端中,例如具有水轮机座环焊接机器人的控制算法的服务器等。在一种可能的实现方式中,根据本公开实施例的水轮机座环焊接机器人的控制系统100可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如,该水轮机座环焊接机器人的控制系统100可以是该无线终端的操作系统中的一个软件模块,或者可以是针对于该无线终端所开发的一个应用程序;当然,该水轮机座环焊接机器人的控制系统100同样可以是该无线终端的众多硬件模块之一。
替换地,在另一示例中,该水轮机座环焊接机器人的控制系统100与该无线终端也可以是分立的设备,并且该水轮机座环焊接机器人的控制系统100可以通过有线和/或无线网络连接到该无线终端,并且按照约定的数据格式来传输交互信息。
图10示出根据本公开的实施例的水轮机座环焊接机器人的控制方法的应用场景图。如图10所示,在该应用场景中,首先,获取由水轮机座环焊接机器人的摄像头采集的焊接区域拍摄图像(例如,图10中所示意的D),然后,将所述焊接区域拍摄图像输入至部署有水轮机座环焊接机器人的控制算法的服务器中(例如,图10中所示意的S),其中,所述服务器能够使用所述水轮机座环焊接机器人的控制算法对所述焊接区域拍摄图像进行处理以得到用于表示是否产生焊接异常预警提示的分类结果。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。