CN114519792A - 基于机器与深度视觉融合的焊缝超声波图像缺陷识别方法 - Google Patents

Abstract

本发明公开了基于机器与深度视觉融合的焊缝超声波图像缺陷识别方法，包括以下步骤：利用超声波探测设备对待检测物体进行超声波成像；利用缺陷标注模型对超声波检测图像进行焊缝区域自动定位；利用图像识别技术获取缺陷标注图像中焊缝图像的纹理特征数据，通过协同算法对纹理特征数据进行类别识别；将识别结果输出至前端界面，利用制图软件自动描绘焊缝形状，实现对待检测物体的焊缝缺陷识别。本发明不仅能够自动定位缺陷区域，识别各类焊缝缺陷，有效地提高焊缝缺陷识别质量，而且还可以提高识别速度，有效减少人工经验依赖，降低人工成本，既能把识别流程分步骤可视化，提高识别质量，又能显著加速识别过程，满足机器人焊接工艺速度。

Description

基于机器与深度视觉融合的焊缝超声波图像缺陷识别方法

技术领域

本发明涉及缺陷识别技术领域，具体来说，涉及基于机器与深度视觉融合的焊缝超声波图像缺陷识别方法。

背景技术

焊接工艺长久以来一直是工业生产应用中的重要组成部分，今天，焊接机器人在工业生产中得到了广泛的应用，与此同时带来的是对焊接质量高水准的把控及可靠的质量回溯等问题。由于焊接施工中会产生各种各样的缺陷，受焊接过程中各种参数稳定性的影响，焊缝难免会出现夹渣、裂纹、气孔等各类缺陷，为了确保焊接构件的品质，所以有必要对焊缝缺陷进行详细的检测和合理的评价。焊接图像识别主要有两个层级问题，第一层为判断当前焊接点有无缺陷，识别错误将会导致严重的产品质量问题，第二层在有缺陷的基础上需要识别缺陷属于哪一类，识别类型错误会让质量回溯以及工艺改进遭遇巨大困难。

目前大部分企业都采用超声波探测方式进行焊接局部成像，而图像仍需依靠人工经验进行繁琐的规则处理，然后进行缺陷识别，这类方式无论是识别质量以及识别速度都无法满足企业需求。由于企业基本都采用人工识别的方式，一方面人工识别步骤繁琐且容易造成误检，另一方面，超声波探测仪获取图像的速度远超人工识别速度，因此误识别造成的质量问题及人工速度慢的问题逐渐成为企业痛点。而基于多种视觉算法融合的方式可有效减少人工经验依赖，既能把识别流程分步骤可视化，提高识别质量，又能显著加速识别过程，满足机器人焊接工艺速度。因此，本发明提出了一种基于机器与深度视觉融合的焊缝超声波图像缺陷识别方法。

电梯作为日常使用频繁且安全性要求高的升降设备，电梯系统中的各个部件需要定期的检修和维护，而电梯导轨一般在电梯安装施工时采用拼装的方式安装固定在电梯井道中，通常电梯导向系统中的导轨段、夹片、导向结构等部件具有多处的焊接位置，因此在检修时需要对电梯的导向组件进行定期的检修和保养。

发明内容

针对相关技术中的问题，本发明提出基于机器与深度视觉融合的焊缝超声波图像缺陷识别方法和电梯导向组件检修方法，以克服现有相关技术所存在的上述技术问题。

为此，本发明采用的具体技术方案如下：

基于机器与深度视觉融合的焊缝超声波图像缺陷识别方法，该方法包括以下步骤：

S1、利用超声波探测设备对待检测物体进行超声波成像，得到超声波检测图像；

S2、利用预先构建的缺陷标注模型对超声波检测图像进行焊缝区域自动定位，得到缺陷标注图像；

S3、利用图像识别技术获取缺陷标注图像中焊缝图像的纹理特征数据，并通过协同算法对纹理特征数据进行类别识别；

S4、将识别结果输出至前端界面，并利用制图软件自动描绘焊缝形状，实现对待检测物体的焊缝缺陷识别。

进一步的，所利用超声波探测设备对待检测物体进行超声波成像，得到超声波检测图像还包括以下步骤：

根据待测工件的形状、尺寸和焊缝在工件上的位置，结合超声相控阵探头的几何尺寸，确定超声相控阵探头的位置、超声波的波型、检测的回波次数及目标检测区域的成像范围。

进一步的，所述利用预先构建的缺陷标注模型对超声波检测图像进行焊缝区域自动定位，得到缺陷标注图像包括以下步骤：

S21、采用SILC算法对超声波检测图像进行多尺度超像素划分，并对超像素中的缺陷区域进行标注；

S22、采用基于机器学习方法对标记后的超像素进行训练得到学习模型，并利用该学习模型获取超声波检测图像中缺陷区域的标注信息；

S23、基于端到端标注模型的训练集构建缺陷标注模型并进行训练与测试；

S24、利用训练测试后的缺陷标注模型对超声波检测图像进行焊缝区域自动标注，得到缺陷标注图像。

进一步的，所述学习模型用于对超声波检测图像中的超像素进行分类，并由工作人员对分类结果给予奖励和惩罚，将奖励和惩罚结果反馈给学习模型，所述学习模型通过奖惩机制重新做出调整，循环直至所述学习模型达到最优，获得超声波检测图像中缺陷区域的标注信息。

进一步的，所述采用基于机器学习方法对标记后的超像素进行训练得到学习模型包括以下步骤：

卷积过程：采用一个可训练的滤波器f_x去卷积一个输入图像，第一阶段得到是输入图像，后面阶段得到是卷积特征map，然后再加一个偏置b_x，得到卷积层C_x；

子采样过程：邻域四个像素求和得到一个总像素，然后通过标量W加权，再增加偏置b，然后再通过一个sigmoid激活函数，产生一个缩小四倍的特征映射图S_x+1；

其中，卷积层C_x计算公式为：C_x＝f_x(W,input)+b_x；

特征映射图S_x+1计算公式为：

S_x+1＝sigmoid[W·(x_i,j+x_i+1,j+x_i,j+1+x_i+1,j+1)+b]。

进一步的，所述缺陷标注模型的构建包括以下步骤：

确定mean-IOU作为目标函数；

求解所述目标函数，得到使目标函数值最小的标注模型；

其中，所述目标函数的计算公式为：

式中，IoU为产生的候选框与原标记框的交叠率，area(C)为候选框的面积，area(G)为原标记框的面积。

进一步的，所述利用图像识别技术获取缺陷标注图像中焊缝图像的纹理特征数据，并通过协同算法对纹理特征数据进行类别识别包括以下步骤：

S31、利用图像识别技术获取待检测缺陷标注图像中焊缝图像的纹理特征数据；

S32、基于预先构建的焊缝缺陷纹理特征数据库，利用协同算法对待检测缺陷标注图像中焊缝图像的纹理特征数据进行识别，得到焊缝缺陷类别。

进一步的，所述焊缝缺陷纹理特征数据库的构建包括以下步骤：

采集若干已检测的超声波焊缝缺陷图像，并利用图像识别技术获取焊缝缺陷图像的纹理特征数据；

采用人工标注的方式对纹理特征数据的类别进行划分，并构建基于纹理特征与缺陷类别的数据库，得到焊缝缺陷纹理特征数据库，同时定期对该数据库进行更新。

进一步的，所述利用协同算法对待检测缺陷标注图像中焊缝图像的纹理特征数据进行识别，得到焊缝缺陷类别包括以下步骤：

采集待检测缺陷标注图像中焊缝图像的纹理特征数据，并通过相似度计算寻找焊缝缺陷纹理特征数据库中具有相似纹理特征的图像；

根据相似度计算结果对生成的纹理特征数据相似的缺陷图像进行排序，并基于该排序结果得到待检测焊缝图像的焊缝缺陷类别。

进一步的，所述根据相似度计算结果对生成的纹理特征数据相似的缺陷图像进行排序，并基于该排序结果得到待检测焊缝图像的焊缝缺陷类别包括以下步骤：

根据相似度计算的相似值按照递减的方式生成预设组数与待检测纹理特征数据相似的缺陷图像；

选取相似值最大的缺陷图像作为待检测焊缝图像的相似图像，并判断该相似值是大于预设阈值，若是则取该缺陷图像的类别为待检测焊缝图像的缺陷类别，若否则采用人工判断的方式对该待检测焊缝图像的缺陷类别进行判断，并将该待检测焊缝图像的纹理特征数据及缺陷类别保存至焊缝缺陷纹理特征数据库，实现对数据库的更新。

一种电梯导向组件检修方法，根据上述的焊缝超声波图像缺陷识别方法，利用超声波探测设备对电梯井道中的导向组件进行超声波成像，获取超声波检测图像，包括以下步骤：

步骤a)，所述超声波检测图像包括导轨段图像、导轨夹片图像、轿厢导靴图像、安全卡钳图像；

步骤b)，将电梯系统切换至检修运行模式，操作电梯轿厢移动至电梯井道的最底层，利用所述超声波检测设备从电梯导轨的顶部开始，对依次经过的电梯导轨段、导轨焊接处、导轨夹片进行超声波成像，在到达电梯轿厢停靠位置后，对轿厢上的导靴、安全卡钳进行超声波成像；

步骤c)，通过检修运行控制所述电梯轿厢向上移动至楼层的第二层，利用所述超声波检测设备再次对当前位置的电梯轿厢上的导靴、安全卡钳进行超声波成像，并从电梯轿厢当前位置开始对位于所述电梯轿厢下方的电梯导轨段、导轨夹片以及导轨焊接处进行超声波成像；

步骤d)，利用预先构件的导轨段缺陷标注模型、导轨夹片缺陷标注模型、导轨焊接处缺陷标注模型、导靴缺陷标注模型和安全卡钳缺陷标注模型对所述超声波检测图像进行焊缝区域自动定位，获得缺陷标注图像。

步骤e)，利用图像识别技术获取缺陷标注图像中焊缝图像的纹理特征数据，并通过协同算法对纹理特征数据进行类别识别；

步骤f)，将识别结果输出至前端界面，并利用制图软件自动描绘焊缝形状，实现对电梯导轨段、导轨夹片、导靴、安全卡钳的焊缝缺陷识别。

进一步的，所述导轨夹片用于将电梯导轨夹持固定在电梯井道的侧壁，所述导轨夹片包括混凝土预埋部、基部夹片和导轨端夹片，所述混凝土预埋部、基部夹片和导轨端夹片依次固定连接，通过所述导轨端夹片与电梯导轨接触实现对电梯导轨的夹持固定；

所述基部夹片和所述导轨端夹片分别包括L形夹片、Z形夹片、工字形夹片，根据L形夹片、Z形夹片和工字形夹片的形状确定相应的所述超声相控阵探头的位置、超声波的波型、检测的回波次数及目标检测区域的成像范围。

进一步的，所述导靴包括滚动导靴和滑动导靴，所述滚动导靴包括三滚轮导靴、双滚轮导靴、单滚轮导靴；

所述步骤c)包括，在对电梯轿厢进行检修运行时，保持所述超声波探测设备对所述滚动导靴的持续检测；

所述从电梯轿厢当前位置开始对位于所述电梯轿厢下方的电梯导轨段、导轨夹片以及导轨焊接处进行超声波成像，具体为从所述电梯轿厢最下端的导靴/安全卡钳与电梯导轨接触的位置开始，对位于电梯轿厢下方的电梯导轨段、导轨夹片以及导轨焊接处进行超声波成像。

本发明的有益效果为：

1)通过提出一种基于机器视觉与深度视觉融合的焊缝缺陷识别算法，不仅能够自动定位缺陷区域，识别各类焊缝缺陷，有效地提高焊缝缺陷识别质量，而且还可以提高识别速度，有效减少人工经验依赖，降低人工成本，既能把识别流程分步骤可视化，提高识别质量，又能显著加速识别过程，满足机器人焊接工艺速度。

2)通过利用机器学习算法构建焊缝缺陷标注模型，能够快速、准确、自动标注超声波检测图像中的焊缝缺陷区域，从而可以有效地解决超声波检测图像标注繁琐费时的问题，极大的提高了标注结果的准确性及效率，此外，本发明还可以通过利用图像识别技术获取待检测缺陷标注图像中焊缝图像的纹理特征数据，并结合协同算法，从而可以实现对纹理特征数据进行类别识别，进而可以快速准确的实现对焊缝超声波图像的缺陷识别。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的基于机器与深度视觉融合的焊缝超声波图像缺陷识别方法的流程示意图。

具体实施方式

为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

根据本发明的实施例，提供了基于机器与深度视觉融合的焊缝超声波图像缺陷识别方法和电梯导向组件检修方法。

现结合附图和具体实施方式对本发明进一步说明，如图1所示，根据本发明实施例的基于机器与深度视觉融合的焊缝超声波图像缺陷识别方法，该方法包括以下步骤：

S1、利用超声波探测设备对待检测物体进行超声波成像，得到超声波检测图像；

其中，所利用超声波探测设备对待检测物体进行超声波成像，得到超声波检测图像还包括以下步骤：

根据待测工件的形状、尺寸和焊缝在工件上的位置，结合超声相控阵探头的几何尺寸，确定超声相控阵探头的位置、超声波的波型、检测的回波次数及目标检测区域的成像范围。

S2、利用预先构建的缺陷标注模型对超声波检测图像进行焊缝区域自动定位，得到缺陷标注图像；

其中，所述利用预先构建的缺陷标注模型对超声波检测图像进行焊缝区域自动定位，得到缺陷标注图像包括以下步骤：

S21、采用SILC算法对超声波检测图像进行多尺度超像素划分，并对超像素中的缺陷区域进行标注；

具体的，采用SILC算法对超声波检测图像进行多尺度超像素划分具体步骤如下：

初始化种子点：按照设定的超像素个数，在超声波检测图像内均匀的分配初始种子点；

在所述初始种子点的n*n邻域内重新选择二次种子点；

在每个二次种子点周围的邻域内为每个像素点分配类标签；

距离度量：对于每个搜索到的像素点，分别计算它和该二次种子点的距离；

迭代优化；

增强连通性；

其中，距离度量包括颜色距离和空间距离，距离计算方法如下：

dc代表颜色距离，ds代表空间距离，Ns是类内最大空间距离，定义为Ns＝S＝sqrt(N/K)，适用于每个聚类；

最大的颜色距离Nc既随图片不同而不同，也随聚类不同而不同，取一个固定常数m代替，最终的距离度量D'如下：

S22、采用基于机器学习方法对标记后的超像素进行训练得到学习模型，并利用该学习模型获取超声波检测图像中缺陷区域的标注信息；

具体的，所述学习模型用于对超声波检测图像中的超像素进行分类，并由工作人员对分类结果给予奖励和惩罚，将奖励和惩罚结果反馈给学习模型，所述学习模型通过奖惩机制重新做出调整，循环直至所述学习模型达到最优，获得超声波检测图像中缺陷区域的标注信息。

具体的，所述采用基于机器学习方法对标记后的超像素进行训练得到学习模型包括以下步骤：

卷积过程：采用一个可训练的滤波器f_x去卷积一个输入图像，第一阶段得到是输入图像，后面阶段得到是卷积特征map，然后再加一个偏置b_x，得到卷积层C_x；

子采样过程：邻域四个像素求和得到一个总像素，然后通过标量W加权，再增加偏置b，然后再通过一个sigmoid激活函数，产生一个缩小四倍的特征映射图S_x+1；

其中，卷积层C_x计算公式为：C_x＝f_x(W,input)+b_x；

特征映射图S_x+1计算公式为：

S_x+1＝sigmoid[W·(x_i,j+x_i+1,j+x_i,j+1+x_i+1,j+1)+b]。

S23、基于端到端标注模型的训练集构建缺陷标注模型并进行训练与测试；

其中，所述端到端标注模型的训练集的构建包括以下步骤：

获得已标注的缺陷区域的mask图像；

将所述mask图像通过旋转、翻转等技术进行数据增强，并将每张染色标准化后的图进行切割成原图的1/2大小，最终得到1662样本；

其中，90％的样本作为训练集，10％的组对样本验证集。

所述缺陷标注模型的构建包括以下步骤：

确定mean-IOU作为目标函数；

求解所述目标函数，得到使目标函数值最小的标注模型；

其中，所述目标函数的计算公式为：

式中，IoU为产生的候选框与原标记框的交叠率，area(C)为候选框的面积，area(G)为原标记框的面积。

S24、利用训练测试后的缺陷标注模型对超声波检测图像进行焊缝区域自动标注，得到缺陷标注图像。

S3、利用图像识别技术获取缺陷标注图像中焊缝图像的纹理特征数据，并通过协同算法对纹理特征数据进行类别识别；

其中，所述利用图像识别技术获取缺陷标注图像中焊缝图像的纹理特征数据，并通过协同算法对纹理特征数据进行类别识别包括以下步骤：

S31、利用图像识别技术获取待检测缺陷标注图像中焊缝图像的纹理特征数据；

S32、基于预先构建的焊缝缺陷纹理特征数据库，利用协同算法对待检测缺陷标注图像中焊缝图像的纹理特征数据进行识别，得到焊缝缺陷类别。

具体的，所述焊缝缺陷纹理特征数据库的构建包括以下步骤：

采集若干已检测的超声波焊缝缺陷图像，并利用图像识别技术获取焊缝缺陷图像的纹理特征数据；

采用人工标注的方式对纹理特征数据的类别进行划分，并构建基于纹理特征与缺陷类别的数据库，得到焊缝缺陷纹理特征数据库，同时定期对该数据库进行更新。

具体的，所述利用协同算法对待检测缺陷标注图像中焊缝图像的纹理特征数据进行识别，得到焊缝缺陷类别包括以下步骤：

采集待检测缺陷标注图像中焊缝图像的纹理特征数据，并通过相似度计算寻找焊缝缺陷纹理特征数据库中具有相似纹理特征的图像；

根据相似度计算结果对生成的纹理特征数据相似的缺陷图像进行排序，并基于该排序结果得到待检测焊缝图像的焊缝缺陷类别。

所述根据相似度计算结果对生成的纹理特征数据相似的缺陷图像进行排序，并基于该排序结果得到待检测焊缝图像的焊缝缺陷类别包括以下步骤：

根据相似度计算的相似值按照递减的方式生成预设组数与待检测纹理特征数据相似的缺陷图像；

选取相似值最大的缺陷图像作为待检测焊缝图像的相似图像，并判断该相似值是大于预设阈值，若是则取该缺陷图像的类别为待检测焊缝图像的缺陷类别，若否则采用人工判断的方式对该待检测焊缝图像的缺陷类别进行判断，并将该待检测焊缝图像的纹理特征数据及缺陷类别保存至焊缝缺陷纹理特征数据库，实现对数据库的更新。

S4、将识别结果输出至前端界面，并利用制图软件自动描绘焊缝形状，实现对待检测物体的焊缝缺陷识别，辅助工作人员进行质量回溯及后续处理。

一种电梯导向组件检修方法，根据上述的焊缝超声波图像缺陷识别方法，利用超声波探测设备对电梯井道中的导向组件进行超声波成像，获取超声波检测图像，包括以下步骤：

步骤a)，所述超声波检测图像包括导轨段图像、导轨夹片图像、轿厢导靴图像、安全卡钳图像；

步骤b)，将电梯系统切换至检修运行模式，操作电梯轿厢移动至电梯井道的最底层，利用所述超声波检测设备从电梯导轨的顶部开始，对依次经过的电梯导轨段、导轨焊接处、导轨夹片进行超声波成像，在到达电梯轿厢停靠位置后，对轿厢上的导靴、安全卡钳进行超声波成像；

步骤c)，通过检修运行控制所述电梯轿厢向上移动至楼层的第二层，利用所述超声波检测设备再次对当前位置的电梯轿厢上的导靴、安全卡钳进行超声波成像，并从电梯轿厢当前位置开始对位于所述电梯轿厢下方的电梯导轨段、导轨夹片以及导轨焊接处进行超声波成像；

步骤d)，利用预先构件的导轨段缺陷标注模型、导轨夹片缺陷标注模型、导轨焊接处缺陷标注模型、导靴缺陷标注模型和安全卡钳缺陷标注模型对所述超声波检测图像进行焊缝区域自动定位，获得缺陷标注图像。

步骤e)，利用图像识别技术获取缺陷标注图像中焊缝图像的纹理特征数据，并通过协同算法对纹理特征数据进行类别识别；

步骤f)，将识别结果输出至前端界面，并利用制图软件自动描绘焊缝形状，实现对电梯导轨段、导轨夹片、导靴、安全卡钳的焊缝缺陷识别。

进一步的，所述导轨夹片用于将电梯导轨夹持固定在电梯井道的侧壁，所述导轨夹片包括混凝土预埋部、基部夹片和导轨端夹片，所述混凝土预埋部、基部夹片和导轨端夹片依次固定连接，通过所述导轨端夹片与电梯导轨接触实现对电梯导轨的夹持固定；

所述基部夹片和所述导轨端夹片分别包括L形夹片、Z形夹片、工字形夹片，根据L形夹片、Z形夹片和工字形夹片的形状确定相应的所述超声相控阵探头的位置、超声波的波型、检测的回波次数及目标检测区域的成像范围。

进一步的，所述导靴包括滚动导靴和滑动导靴，所述滚动导靴包括三滚轮导靴、双滚轮导靴、单滚轮导靴；

所述步骤c)包括，在对电梯轿厢进行检修运行时，保持所述超声波探测设备对所述滚动导靴的持续检测；

所述从电梯轿厢当前位置开始对位于所述电梯轿厢下方的电梯导轨段、导轨夹片以及导轨焊接处进行超声波成像，具体为从所述电梯轿厢最下端的导靴/安全卡钳与电梯导轨接触的位置开始，对位于电梯轿厢下方的电梯导轨段、导轨夹片以及导轨焊接处进行超声波成像。

综上所述，借助于本发明的上述技术方案，通过提出一种基于机器视觉与深度视觉融合的焊缝缺陷识别算法，不仅能够自动定位缺陷区域，识别各类焊缝缺陷，有效地提高焊缝缺陷识别质量，而且还可以提高识别速度，有效减少人工经验依赖，降低人工成本，既能把识别流程分步骤可视化，提高识别质量，又能显著加速识别过程，满足机器人焊接工艺速度。

同时，通过利用机器学习算法构建焊缝缺陷标注模型，能够快速、准确、自动标注超声波检测图像中的焊缝缺陷区域，从而可以有效地解决超声波检测图像标注繁琐费时的问题，极大的提高了标注结果的准确性及效率，此外，本发明还可以通过利用图像识别技术获取待检测缺陷标注图像中焊缝图像的纹理特征数据，并结合协同算法，从而可以实现对纹理特征数据进行类别识别，进而可以快速准确的实现对焊缝超声波图像的缺陷识别。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.基于机器与深度视觉融合的焊缝超声波图像缺陷识别方法，其特征在于，该方法包括以下步骤：

S1、利用超声波探测设备对待检测物体进行超声波成像，得到超声波检测图像；根据待测工件的形状、尺寸和焊缝在工件上的位置，结合超声相控阵探头的几何尺寸，确定超声相控阵探头的位置、超声波的波型、检测的回波次数及目标检测区域的成像范围；

S2、利用预先构建的缺陷标注模型对超声波检测图像进行焊缝区域自动定位，得到缺陷标注图像；

S21、采用SILC算法对超声波检测图像进行多尺度超像素划分，并对超像素中的缺陷区域进行标注；

S22、采用基于机器学习方法对标记后的超像素进行训练得到学习模型，并利用该学习模型获取超声波检测图像中缺陷区域的标注信息；

S23、基于端到端标注模型的训练集构建缺陷标注模型并进行训练与测试；

S24、利用训练测试后的缺陷标注模型对超声波检测图像进行焊缝区域自动标注，得到缺陷标注图像；

S3、利用图像识别技术获取缺陷标注图像中焊缝图像的纹理特征数据，并通过协同算法对纹理特征数据进行类别识别；

S4、将识别结果输出至前端界面，并利用制图软件自动描绘焊缝形状，实现对待检测物体的焊缝缺陷识别。

2.根据权利要求1所述的基于机器与深度视觉融合的焊缝超声波图像缺陷识别方法，其特征在于，所述学习模型用于对超声波检测图像中的超像素进行分类，并由工作人员对分类结果给予奖励和惩罚，将奖励和惩罚结果反馈给学习模型，所述学习模型通过奖惩机制重新做出调整，循环直至所述学习模型达到最优，获得超声波检测图像中缺陷区域的标注信息；

所述采用基于机器学习方法对标记后的超像素进行训练得到学习模型包括以下步骤：

卷积过程：采用一个可训练的滤波器f_x去卷积一个输入图像，第一阶段得到是输入图像，后面阶段得到是卷积特征map，然后再加一个偏置b_x，得到卷积层C_x；

子采样过程：邻域四个像素求和得到一个总像素，然后通过标量W加权，再增加偏置b，然后再通过一个sigmoid激活函数，产生一个缩小四倍的特征映射图S_x+1；

其中，卷积层C_x计算公式为：C_x＝f_x(W,input)+b_x；

特征映射图S_x+1计算公式为：

S_x+1＝sigmoid[W·(x_i,j+x_i+1,j+x_i,j+1+x_i+1,j+1)+b]。

3.根据权利要求2所述的基于机器与深度视觉融合的焊缝超声波图像缺陷识别方法，其特征在于，所述缺陷标注模型的构建包括以下步骤：

确定mean-IOU作为目标函数；

求解所述目标函数，得到使目标函数值最小的标注模型；

其中，所述目标函数的计算公式为：

式中，IoU为产生的候选框与原标记框的交叠率，area(C)为候选框的面积，area(G)为原标记框的面积。

4.根据权利要求2所述的基于机器与深度视觉融合的焊缝超声波图像缺陷识别方法，其特征在于，所述利用图像识别技术获取缺陷标注图像中焊缝图像的纹理特征数据，并通过协同算法对纹理特征数据进行类别识别包括以下步骤：

S31、利用图像识别技术获取待检测缺陷标注图像中焊缝图像的纹理特征数据；

S32、基于预先构建的焊缝缺陷纹理特征数据库，利用协同算法对待检测缺陷标注图像中焊缝图像的纹理特征数据进行识别，得到焊缝缺陷类别；

所述焊缝缺陷纹理特征数据库的构建包括以下步骤：

采集若干已检测的超声波焊缝缺陷图像，并利用图像识别技术获取焊缝缺陷图像的纹理特征数据；

采用人工标注的方式对纹理特征数据的类别进行划分，并构建基于纹理特征与缺陷类别的数据库，得到焊缝缺陷纹理特征数据库，同时定期对该数据库进行更新。

5.根据权利要求4所述的基于机器与深度视觉融合的焊缝超声波图像缺陷识别方法，其特征在于，所述利用协同算法对待检测缺陷标注图像中焊缝图像的纹理特征数据进行识别，得到焊缝缺陷类别包括以下步骤：

采集待检测缺陷标注图像中焊缝图像的纹理特征数据，并通过相似度计算寻找焊缝缺陷纹理特征数据库中具有相似纹理特征的图像；

根据相似度计算结果对生成的纹理特征数据相似的缺陷图像进行排序，并基于该排序结果得到待检测焊缝图像的焊缝缺陷类别。

6.根据权利要求5所述的基于机器与深度视觉融合的焊缝超声波图像缺陷识别方法，其特征在于，所述根据相似度计算结果对生成的纹理特征数据相似的缺陷图像进行排序，并基于该排序结果得到待检测焊缝图像的焊缝缺陷类别包括以下步骤：

根据相似度计算的相似值按照递减的方式生成预设组数与待检测纹理特征数据相似的缺陷图像；

选取相似值最大的缺陷图像作为待检测焊缝图像的相似图像，并判断该相似值是大于预设阈值，若是则取该缺陷图像的类别为待检测焊缝图像的缺陷类别，若否则采用人工判断的方式对该待检测焊缝图像的缺陷类别进行判断，并将该待检测焊缝图像的纹理特征数据及缺陷类别保存至焊缝缺陷纹理特征数据库，实现对数据库的更新。

7.一种电梯导向组件检修方法，根据权利要求1-6任意一项所述的焊缝超声波图像缺陷识别方法，利用超声波探测设备对电梯井道中的导向组件进行超声波成像，获取超声波检测图像，其特征在于，包括以下步骤：

步骤a)，所述超声波检测图像包括导轨段图像、导轨夹片图像、轿厢导靴图像、安全卡钳图像；

步骤b)，将电梯系统切换至检修运行模式，操作电梯轿厢移动至电梯井道的最底层，利用所述超声波检测设备从电梯导轨的顶部开始，对依次经过的电梯导轨段、导轨焊接处、导轨夹片进行超声波成像，在到达电梯轿厢停靠位置后，对轿厢上的导靴、安全卡钳进行超声波成像；

步骤c)，通过检修运行控制所述电梯轿厢向上移动至楼层的第二层，利用所述超声波检测设备再次对当前位置的电梯轿厢上的导靴、安全卡钳进行超声波成像，并从电梯轿厢当前位置开始对位于所述电梯轿厢下方的电梯导轨段、导轨夹片以及导轨焊接处进行超声波成像；

步骤d)，利用预先构件的导轨段缺陷标注模型、导轨夹片缺陷标注模型、导轨焊接处缺陷标注模型、导靴缺陷标注模型和安全卡钳缺陷标注模型对所述超声波检测图像进行焊缝区域自动定位，获得缺陷标注图像。

步骤e)，利用图像识别技术获取缺陷标注图像中焊缝图像的纹理特征数据，并通过协同算法对纹理特征数据进行类别识别；

步骤f)，将识别结果输出至前端界面，并利用制图软件自动描绘焊缝形状，实现对电梯导轨段、导轨夹片、导靴、安全卡钳的焊缝缺陷识别。

8.根据权利要求7所述的电梯导向组件检修方法，其特征在于，

所述导轨夹片用于将电梯导轨夹持固定在电梯井道的侧壁，所述导轨夹片包括混凝土预埋部、基部夹片和导轨端夹片，所述混凝土预埋部、基部夹片和导轨端夹片依次固定连接，通过所述导轨端夹片与电梯导轨接触实现对电梯导轨的夹持固定；

所述基部夹片和所述导轨端夹片分别包括L形夹片、Z形夹片、工字形夹片，根据L形夹片、Z形夹片和工字形夹片的形状确定相应的所述超声相控阵探头的位置、超声波的波型、检测的回波次数及目标检测区域的成像范围。

9.根据权利要求8所述的电梯导向组件检修方法，其特征在于，所述导靴包括滚动导靴和滑动导靴，所述滚动导靴包括三滚轮导靴、双滚轮导靴、单滚轮导靴；

所述步骤c)包括，在对电梯轿厢进行检修运行时，保持所述超声波探测设备对所述滚动导靴的持续检测；

所述从电梯轿厢当前位置开始对位于所述电梯轿厢下方的电梯导轨段、导轨夹片以及导轨焊接处进行超声波成像，具体为从所述电梯轿厢最下端的导靴/安全卡钳与电梯导轨接触的位置开始，对位于电梯轿厢下方的电梯导轨段、导轨夹片以及导轨焊接处进行超声波成像。

Images