CN113705590B - 基于人工智能的钢结构智能打磨控制方法 - Google Patents

Abstract

本发明涉及基于人工智能的钢结构智能打磨控制方法，其通过对获取的钢结构图像进行语义分割，得到钢结构上需要研磨的待研磨图像，并将待研磨图像转化为灰度图，进而对灰度图做傅里叶变换得对应的频谱图；通过对频谱图分析，得到频谱图中不同方向上所对应的研磨数据，对得到的研磨数据采用PCA降维，结合方向和对应研磨数据在第一主成分上的投影，生成每个方向的单高斯模型，进而得到高斯混合模型，其中高斯混合模型的峰值对应的方向就是研磨机拥有最大研磨收益的研磨方向，并通过研磨程度进行研磨的评估。如此，本发明的方案能够快速确定焊缝的最佳研磨方向，能够更好地进行研磨，进而提高打磨速度。

Description

基于人工智能的钢结构智能打磨控制方法

技术领域

本发明涉及人工智能领域，具体涉及基于人工智能的钢结构智能打磨控制方法。

背景技术

在钢材焊接成钢结构之后，钢结构焊接处往往是凹凸不平的，并且产生应力集中，而为了保证钢结构的美观性和耐久性，在焊接后需要对焊接处产生的焊缝和焊缝附近区域进行研磨，直至表面光滑。

而在研磨过程中，研磨机通常是根据设定的研磨方向进行研磨。但是在焊接过程中，由于焊缝的形状是不固定的，导致焊缝内的应力方向不固定，所以研磨机需要控制不同的研磨方向，才能更快更好的完成焊接区域的研磨。

发明内容

为了解决上述技术问题，本发明的目的在于提供基于人工智能的钢结构智能打磨控制方法，所采用的技术方案具体如下：

本发明提供的基于人工智能的钢结构智能打磨控制方法的技术方案，包括以下步骤：

获取钢结构图像，提取所述钢结构图像中的待研磨图像；

将所述待研磨图像进行灰度化处理，得到灰度图，并对所述灰度图进行傅里叶变换，得到待研磨图像的频谱图；

根据所述频谱图，得到待研磨图像不同方向上的研磨数据，对所述研磨数据进行PCA降维，得到研磨数据在第一主成分上的投影距离，进而得到各方向的单高斯模型；

计算各方向的单高斯模型的混合系数，根据所述混合系数，将各方向的单高斯模型进行融合，得到高斯混合模型，并将所述高斯混合模型的峰值对应的方向作为研磨方向，对钢结构进行研磨，获取研磨后的研磨区域图像；

对所述研磨区域图像进行PCA降维得到各方向上的研磨投影距离，根据所述研磨投影距离和所述高斯混合模型的峰值，计算当前焊接处的研磨程度；当研磨程度小于设定阈值时，符合研磨要求，停止研磨，当研磨程度大于设定阈值时，则需要继续研磨。

进一步地，研磨数据的获取方式为：

1）获取频谱图的最大值点，获取最大值点在频谱图中的坐标位置，以最大值点对应的坐标位置为坐标原点，建立笛卡尔坐标系，将笛卡尔坐标系映射在频谱图中；

2）依次获取频谱图在设定间隔方向上的所有频谱值，得到各方向上像素点对应的频谱值；

3）计算待研磨图像的各方向上的图像边界点到坐标原点的距离；

4）沿某一方向建立直角坐标系，中心点为坐标原点，该方向频谱图中的像素点与中心点之间的距离为横坐标，该方向上频谱图中的像素点对应的频谱值为纵坐标，建立对应方向的变化曲线；对所述变化曲线进行平滑处理，得到平滑曲线；并获取平滑曲线上每相邻两像素点之间的斜率，比较斜率与设定阈值的大小，当斜率小于设定阈值，则平滑曲线与横坐标平行，获取斜率对应的相邻两像素点中的后一像素点到坐标原点的距离；

5）根据所述待研磨图像的边界点到坐标原点的距离和斜率对应的相邻两像素点中的后一像素点到坐标原点的距离，计算各方向的灰度范围；

6）将每一个像素点对应的频谱值与平滑曲线对应的值做差，得到对应方向上该像素点的差值，并对所有差值求和，得到该方向上的值波动程度；

7）将灰度范围与值波动程度作为对应方向的研磨数据。

进一步地，所述单高斯模型为：

其中，

为常数，取

，

为i方向的投影距离，X为方向的大小，为0~n，n≤360。

进一步地，所述混合系数为：

其中，

为

方向上的投影距离，

为0°方向的投影距离，

，

为当前

方向所对应单高斯模型的混合系数。

进一步地，当前焊接处的研磨程度

：

其中，

研磨区域图像的对应方向的研磨数据在PCA降维后的研磨投影距离，

为混合高斯模型的峰值。

本发明具有如下有益效果：

本发明通过对获取的钢结构图像进行语义分割，得到钢结构上需要研磨的待研磨图像，并将待研磨图像转化为灰度图，进而对灰度图做傅里叶变换得对应的频谱图；通过对频谱图分析，得到频谱图中不同方向上所对应的研磨数据，对得到的研磨数据采用PCA降维，结合方向和对应研磨数据在第一主成分上的投影，生成每个方向的单高斯模型，进而得到高斯混合模型，其中高斯混合模型的峰值对应的方向就是研磨机拥有最大研磨收益的研磨方向，如此，能够快速确定钢结构的最佳研磨方向，能够更好地进行研磨，进而提高打磨速度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明的基于人工智能的钢结构智能打磨控制方法的方法流程图；

图2为待研磨图像；

图3为待研磨图像的频谱图；

图4为本发明的研磨后的钢结构示意图；

图5为本发明的研磨后的研磨图像的频谱图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的方案，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的基于人工智能的钢结构智能打磨控制方法的具体方案。

本发明的基于人工智能钢结构智能打磨控制方法，针对的具体场景为：在钢结构焊接后，焊接处需要使用研磨机进行研磨处理,其中，在焊接处的每次研磨过程中，都需要沿着指定研磨方向进行研磨，单次方向研磨完成后，继续进行下一个方向的研磨。

基于上述场景，本发明的方案是通过在研磨机中架设相机，正对研磨机中的钢结构，拍摄得到钢结构图像，通过语义分割网络，将钢结构中的焊缝及受焊接影响区域分割出来，得到钢结构上需要研磨的待研磨图像，并将待研磨图像转化为灰度图，进而对灰度图做傅里叶变换得到对应的频谱图；通过对频谱图分析，得到频谱图中不同方向上所对应的研磨数据，对得到的研磨数据采用PCA降维，结合方向和对应研磨数据在第一主成分上的投影，生成每个方向的单个高斯模型，通过研磨过程中频谱图中数据的变化，PAC降维后映射到投影距离的变化，进而得到不同方向上的单个高斯混合模型的混合系数，得到高斯混合模型，其中高斯混合模型的峰值对应的方向就是研磨机拥有的最大研磨收益的研磨方向，如此，对钢结构进行研磨，实现快速研磨。

具体地，请参阅图1，其示出了本发明一个实施例提供的基于人工智能的钢结构智能打磨控制方法的步骤流程图，该方法包括以下步骤：

步骤1，获取钢结构图像，提取所述钢结构图像中的待研磨图像；

本实施例中通过相机对钢结构进行图像采集。

本实施例中采用语义分割网络进行待研磨图像的提取。具体地，该语义分割网络采用为Encoder-Decoder的结构的DNN网络，其训练过程为：

1)数据集为相机摄像头正向拍摄的包含焊缝以及焊缝区域的钢结构图像。

2）对钢结构图像进行标注，其中标注的标签为两类：待研磨区域和背景；该方式为像素级分类，即需要将图像中所有像素标注上对应标签；属于待研磨区域的像素，其值标注为1，属于背景的像素，其值标注为0。

3）网络所用loss函数为交叉熵损失函数。

需要说明的是，在研磨中不仅需要针对焊缝进行研磨，也需要对焊缝附近产生变换的区域进行研磨，通过语义分割网络获取得到所有焊接处的待研磨区域，作为待研磨图像。

进一步地，在进行语义分割之后，还需要对阈值分割的结果采用膨胀操作，得到规律的待研磨区域检测结果，进而得到待研磨区域的连通域，通过连通域分析，得到待研磨区域的面积；然后研磨机的滚轮继续滑动，使得钢结构继续向前，直至待研磨区域的连通域面积达到最大值（不再增加，或者滑动时待研磨区域减速），得到待研磨图像。

步骤2，将所述待研磨图像进行灰度化处理，得到灰度图，并对所述灰度图进行傅里叶变换，得到待研磨图像的频谱图；

本实施例中，是将待研磨图像进行灰度化，得到灰度图（见图2），并对灰度图进行傅里叶变换得到频谱图，如图3所示。

需要说明的是，由于研磨过程中，空域信息逐渐消失，为了得到完整的信息，本实施例中采用频域信息；其中的频谱图表示原图像中灰度变化的频率，中心化后的频谱图，中心为低频，边缘部分为高频，频谱图中值的大小，表示在原图中的该频率所对应的灰度值差异的大小。

同时，如图3所示，在获取频谱图之后，频谱图中有高亮区域。高亮区域代表了图像中的灰度差异信息。不同的高亮区域，代表了图像中不同周期性灰度值的灰度差异（不同周期性灰度值大概理解为图像的不同位置，但具有周期性的）。

步骤3，根据所述频谱图，得到当前待研磨区域不同方向上的研磨数据，对所述研磨数据进行PCA降维，得到研磨数据在第一主成分上的投影距离，进而得到各方向的单高斯模型；

本实施例中，研磨数据的获取方式为：

1）获取频谱图的最大值点，获取最大值点在频谱图中的坐标位置，以最大值点对应的坐标位置为坐标原点

，建立笛卡尔坐标系，将笛卡尔坐标系映射在频谱图中；

2）依次获取频谱图在设定间隔方向上的所有频谱值，得到各方向上像素点对应的频谱值；

本实施例中的设定间隔方向可以根据实际情况设定，如间隔90°，则选取的方向为0°、90°、180°、270°；又如间隔60°，则选取的方向为0°、60°、120°、180°、240°、300°等等。

3）计算待研磨图像的各方向上的图像边界点（最远点）到坐标原点的距离H；

4）沿某一方向建立直角坐标系，中心点为坐标原点，该方向频谱图中的像素点与中心点之间的距离为横坐标，该方向上频谱图中的像素点对应的频谱值为纵坐标，建立对应方向的变化曲线；对所述变化曲线进行平滑处理，得到平滑曲线；并获取平滑曲线上每相邻两像素点之间的斜率

，比较斜率

与设定阈值

的大小，当斜率

小于设定阈值

，则平滑曲线与横坐标平行，获取

时，获取斜率对应的相邻两像素点中的后一像素点到坐标原点的距离k；

本实施例中的

，其还可以由实施者可根据具体实施需求更改。

5）根据所述待研磨图像的边界点（最远点）到坐标原点的距离和斜率对应的相邻两像素点中的后一像素点到坐标原点的距离，计算各方向的灰度范围：

本实施中的灰度范围表示在频谱图该方向所对应的灰度图方向上低频的分量的范围。在正常研磨后低频分量会减少，因为研磨后表面光滑，不在凹凸不平，低频分量会下降。

6）将每一个像素点对应的频谱值与平滑曲线对应的值做差，得到对应方向上该像素点的差值，并对所有差值求和，得到该方向上的值波动程度B。

其中，值波动程度B表示在频谱图该方向所对应的灰度图方向上灰度变化的均匀性。在研磨后焊接处表面光滑均匀，使得频谱中对应方向上的频谱幅值变化也会变得均匀。

7）将灰度范围与值波动程度作为对应方向的研磨数据。

本实施例中的各方向的研磨数据为一个

矩阵，因为方向为

，则

的矩阵，就是该频谱图对应的研磨数据。

本实施例中，对获取的各方向上的研磨数据，进行PCA降维，分别得到各方向上的第一主成分坐标轴上的投影距离

，根据对应方向的投影距离，得到每个方向上的单高斯模型；

其中，单高斯模型为：

其中，

为常数，取

，

为i方向投影距离，X为方向的大小，为0~n，n≤360。

本实施例中，将单高斯模型的均值取1，是将所有方向对应的单个高斯模型的均值进行标准化；以对应方向的投影距离以及常数的乘积作为该方向的方差，通过高斯函数为该方向生成单个高斯模型。

需要说明的是，投影距离越大，证明研磨收益值越大，也就是说，其频谱图中该方向上所对应的幅值就越突出，对应到灰度图中，就是研磨表面越不光滑，那么，该投影距离对应的该方向进行研磨时，其研磨效果更好，则将拥有更高的研磨收益。

同时，由于相邻方向之间具有相关性，并且相互之间关系随着方向差距拉大相关性会减弱，其每个方向的研磨收益值由PCA在第一主成分上的投影距离决定，其研磨收益值越大，则其附近方向所受到的关联研磨收益值也就越大。

步骤4，计算各方向单高斯模型的混合系数，根据所述混合系数，将各方向上的单高斯模型进行融合，得到高斯混合模型，并将所述高斯混合模型的峰值对应的方向作为研磨方向，对钢结构进行研磨，获取研磨后的研磨区域图像；

其中，混合系数为：

其中，

为

方向上的投影距离，

为0°方向的投影距离，

，

为当前

方向所对应单高斯模型的混合系数。

上述混合系数的值越大，说明在最终的线性混合中其占混合高斯模型的权重越大，影响也就越大。

本实施例中，将所有混合系数以及对应的单高斯模型进行线性混合，得到最终的高斯混合模型。需要说明的是，具体的高斯混合模型的混合过程是现有技术，此处不再赘述。

本实施例中是将获取混合高斯模型的峰值对应的方向，作为研磨机的研磨方向，这是由于混合高斯模型的峰值对应的方向，表示在整个混合高斯模型中，影响最大的位置。

需要说明的是，在高斯混合模型中，由于焊接区域表面并不一致，研磨过后，会产生新的研磨数据，并且在研磨后，表面光滑，频谱图低频分量减少，使得各方向的数据在PCA降维后，投影距离整体下降，单个方向在第一主成分上的投影也缩减。

获取每个方向在研磨过程中，投影距离的权重变化，并将权重变化作为高斯混合模型的混合系数，得到新的高斯混合模型，高斯混合模型的均值即为当前研磨的具有最大研磨收益的研磨方向。

而相比常规高斯混合系数为1，本方案通过调整混合系数，扩大不同方向高斯模型对混合高斯模型的影响。

可见，本发明通过混合高斯模型获取最佳的研磨方向，相比与常规方法直接选用差异最大的研磨数据，能够更准确地确定研磨方向。

步骤5，对所述研磨区域图像进行PCA降维得到各方向上的研磨投影距离，根据所述研磨投影距离和所述高斯混合模型的峰值，计算当前焊接处的研磨程度；当研磨程度小于设定阈值时，符合研磨要求，停止研磨，当研磨程度大于设定阈值时，则需要继续研磨。

其中，当前焊接处的研磨程度

：

其中，

研磨区域图像的各方向的研磨数据在PCA降维后的研磨投影距离，

为混合高斯模型的峰值。

其中，随着研磨过程中，焊接处表面光滑，则在频谱图各方向研磨数据降低，并且研磨数据之间变得均匀，研磨数据之间差别变小，致使在降维后，投影距离变小，

越小，说明当前的研磨程度越好。

其中，

为混合高斯模型的峰值，其中，该峰值也为研磨过程中的最大研磨收益，当随着焊接处变得光滑均匀时，最大研磨收益会下降，所以

的值越小，说明当前的研磨程度越好；同时，该峰值也为各单个高斯模型相互之间的相互影响的综合影响最大的值，，当最大研磨收益变小时，说明焊接处表面变得光滑，如果再次研磨时，研磨收益会进一步降低。

需要说明的是，随着研磨机的研磨，其焊接处的表面光滑均匀，各方向突出部分减少，PCA降维投影后各方向的投影距离缩小，并且各方向之间的投影距离差值缩小，在各方向对应的单个高斯模型混合后，高斯混合模型的方差和均值，也都会下降。所以可通过高斯混合模型的峰值，和各方向研磨数据在PCA上的投影距离，表示当前焊接处的研磨程度。

本实施例中的符合研磨要求，说明当前焊接处研磨成功，其中设定阈值T取10。

本实施例中，若需要继续进行研磨，则需要获取研磨后的钢结构的研磨区域图像，按照步骤1-步骤4的方法对所述研磨区域图像进行处理，得到待研磨区域图像的研磨方向，并按照该研磨方向继续对研磨后的钢结构进行研磨，并计算研磨程度，对该次研磨进行评估；依次类推，直至满足研磨要求，最终得研磨好的钢结构，如图4和如图5所示，为依据本发明的方法进行研磨好的钢结构图像和对应的频谱图。

本实施例中，在每次研磨中采集该次研磨后的研磨图像，都将采集的图像做傅里叶变换得到频谱图，用于后续分析处理。其中，在每次研磨中，获取新的研磨数据，得到新的混合高斯模型，进而得到研磨机新的研磨方向。通过控制研磨机的机械臂，使得研磨机能够按最大研磨收益的方向进行研磨。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.基于人工智能的钢结构智能打磨控制方法，其特征在于，包括以下步骤：

获取钢结构图像，提取所述钢结构图像中的待研磨图像；

将所述待研磨图像进行灰度化处理，得到灰度图，并对所述灰度图进行傅里叶变换，得到待研磨图像的频谱图；

根据所述频谱图，得到待研磨图像不同方向上的研磨数据，对所述研磨数据进行PCA降维，得到研磨数据在第一主成分上的投影距离，进而得到各方向的单高斯模型；

计算各方向的单高斯模型的混合系数，根据所述混合系数，将各方向的单高斯模型进行融合，得到高斯混合模型，并将所述高斯混合模型的峰值对应的方向作为研磨方向，对钢结构进行研磨，获取研磨后的研磨区域图像；

对所述研磨区域图像进行PCA降维得到各方向上的研磨投影距离，根据所述研磨投影距离和所述高斯混合模型的峰值，计算当前焊接处的研磨程度；当研磨程度小于设定阈值时，符合研磨要求，停止研磨，当研磨程度大于设定阈值时，则需要继续研磨；

研磨数据的获取方式为：

1）获取频谱图的最大值点，获取最大值点在频谱图中的坐标位置，以最大值点对应的坐标位置为坐标原点，建立笛卡尔坐标系，将笛卡尔坐标系映射在频谱图中；

2）依次获取频谱图在设定间隔方向上的所有频谱值，得到各方向上像素点对应的频谱值；

3）计算待研磨图像的各方向上的图像边界点到坐标原点的距离；

4）沿某一方向建立直角坐标系，中心点为坐标原点，该方向频谱图中的像素点与中心点之间的距离为横坐标，该方向上频谱图中的像素点对应的频谱值为纵坐标，建立对应方向的变化曲线；对所述变化曲线进行平滑处理，得到平滑曲线；并获取平滑曲线上每相邻两像素点之间的斜率，比较斜率与设定阈值的大小，当斜率小于设定阈值，则平滑曲线与横坐标平行，获取斜率对应的相邻两像素点中的后一像素点到坐标原点的距离；

5）根据所述待研磨图像的边界点到坐标原点的距离和斜率对应的相邻两像素点中的后一像素点到坐标原点的距离，计算各方向的灰度范围；

6）将每一个像素点对应的频谱值与平滑曲线对应的值做差，得到对应方向上该像素点的差值，并对所有差值求和，得到该方向上的值波动程度；

7）将灰度范围与值波动程度作为对应方向的研磨数据。

2.根据权利要求1所述的基于人工智能的钢结构智能打磨控制方法，其特征在于，所述单高斯模型为：

其中，

为常数，取

，

为i方向的投影距离，X为方向的大小，为0~n，n≤360。

3.根据权利要求1所述的基于人工智能的钢结构智能打磨控制方法，其特征在于，当前焊接处的研磨程度

：

其中，

研磨区域图像的各方向的研磨数据在PCA降维后的研磨投影距离，

为混合高斯模型的峰值。

Images