CN115592324B - 基于人工智能的自动焊接机器人控制系统 - Google Patents

Abstract

一种基于人工智能的自动焊接机器人控制系统，属于焊接自动控制领域。本发明根据作业场景的特点，收集训练图片，对图像进行采集和处理，基于深度学习算法的图像检测算法对图像信息进行模型训练，通过训练好的模型，使得自动焊接机器人可以自动识别作业场景、作业目标、根据目标状态自动控制焊接过程，自动完成焊接作业。本发明可以对焊接目标，尤其是非平面的复杂形状作业目标进行精准自动焊接。

Description

基于人工智能的自动焊接机器人控制系统

技术领域

本发明涉及焊接自动控制领域，具体地说，涉及一种基于人工智能的自动焊接机器人控制系统。

背景技术

金属焊接是工业上普遍的需求，对于简单形状的目标来说，可以采用固定式焊接机器进行焊接。但对结构复杂的非平板形焊接目标，目前主要的方法还是靠人工在固定位置焊接，工人作业环境辛苦、效率低下、标准不一致、效果不理想。随着国家智能制造理念的不断深入，人工智能技术的飞速发展，实现复杂形状结构目标自动化和智能化焊接是亟待解决的问题。为了解决这一问题，并提高自动焊接机器人的工作效率，在进行自动焊接工作时，保证自动焊接机器人能够完成所有焊缝的同时还能够寻求最优路径降低能耗，进行基于SLAM技术的自动焊接机器人定位和导航路径规划技术研究，根据位置和障碍物分布的不同，解决自动焊接机器人路径规划的问题，有效提升自动焊接机器人控制系统在路径规划问题中的自学习能力和自适应性，使得自动焊接机器人在条件受限的路径规划领域中得到了拓展。同时作业场景的特点，收集训练图片，对图像进行采集和处理，运用基于深度学习算法的改进U-NET模型图像检测算法对图像信息进行模型训练，通过训练好的模型，使得自动焊接机器人可以自动识别作业场景、作业目标、根据目标状态自动控制焊接过程，自动完成焊接作业。形成一套可持续、有效的技术方案，设计、实施了本方法。

发明内容

本发明涉及一种基于人工智能的自动焊接机器人控制系统，主要用于复杂形状结构目标自动焊接。

为实现上述目的，提供了一种基于人工智能的自动焊接机器人控制系统，包括空间识别和移动模块、图像采集和交叉验证模块，机器臂动力焊接模块；控制系统用于控制带有自动行进装置和机械臂的自动焊接机器人，通过人工智能技术，对作业场景、作业目标和作业要求进行自动识别和控制，实现自动焊接机器人可以自动移动至作业目标，自动规划路线，依据目标焊接要求自动生成相应等级的焊接作业方案，实时根据作业效果进行反馈，动态调整自动焊接机器人完成作业；

S1.明确自动焊接机器人工作的空间环境，建立作业区定位导航模型，采用机器人定位和导航算法，通过雷达传感器进行空间识别，在此基础上，建图，定位，模型存入系统数据库；

S2.自动焊接机器人实现移动功能后，采集作业目标数据，利用图像降噪算法获取精准的待焊接场景信息，对待焊接的场景进行定义标签和分类；

S3.采集作业目标焊接标准数据，利用深度学习图像识别算法，识别各级别焊接特征模型，焊接特征模型导入系统训练作业目标识别模型，控制自动焊接机器人识别找到作业目标，并对目标需要焊接的区域部位进行扫描建图，焊接特征模型导入系统；

S4.根据附带焊接器具的机械臂的工作机理，设计机械臂移动控制算法，存入系统数据库，以适合于各种非平面不规则的作业目标；

S5.建立焊接强度、目标材质、目标效果和焊接要求对应关系，存入系统数据库，建立焊接异常情况的反馈方式；

S6.进入工作模式后，加载焊接特征模型，如有异常进行异常处理；自动焊接机器人识别作业场景，识别焊接目标，进行建图和定位，自动路径规划，行进至作业目标；

S7.自动焊接机器人对目标进行全面扫描建图，生成全覆盖焊接路径规划，开始焊接作业，焊接特征模型开始运行，判断机械臂处是否需要焊接，判断焊接后效果等级，对自动焊接机器人进行反馈控制；

S8.焊接直至结束，过程数据存入系统数据库，数据用来记录焊接过程和继续优化焊接特征模型。

进一步的，所述S1中定位导航模型的构建方法为：

本发明使用一种基于ArUco标记的全局视觉定位方法，按照先局部定位再全局定位的思路进行，借助ArUco标记进行局部定位，再结合环境结构化地图进行全局定位，首先通过自动焊接机器人末端的单目网络摄像头采集图像信息，经无线图像传输至控制系统；本发明针对相机成像时因为透镜形状等各种条件的影响产生的畸变现象，引入参数进行校正，其中，使用高次多项式函数并以距中心的距离为变量描述畸变：

式中，k、r为多项式函数参数，x为多项式函数自变量，y为多项式函数因变量，x_d为横向畸变，y_d为纵向畸变；

引入p₁，p₂两个参数来对畸变进行修正：

可得到完整的畸变公式：

因此完整的畸变参数为：

D＝{k₁，k₂，p₁，p₂，k₃}

控制系统的图像处理单元对视频画面中的ArUco标记进行识别，检测出ArUco标记的ID，并根据ID在环境结构化地图中检索出标记在世界坐标系下的矩阵表达。ArUco标记的识别与位姿估计如下：

(1)通过单目监控相机采集视觉图像，使用RTSP协议进行无线图像传输，并借助libvlc视频解码组件进行多线程视频解码，获得实时图像；(2)利用Open CV中的RGB2GRAY算子将RGB图像转化为灰度图；(3)搜索所有图像中的所有候选标记，利用自适应阈值分割标记；(4)查找二值化图像中的所有轮廓，使用Open CV中的逼近多边形算法检测轮廓，计算轮廓周长并设定阈值以剔除大小明显超出标记大小的轮廓，筛选出外轮廓集合；(5)对图像进行透视变换，得到正视图；(6)利用最大类间差法(Otsu)进行阈值化，分离出黑白比特位，并根据编号与选用的标记字典进行匹配，获得标记的编号信息；(7)识别出标记后，利用多标记优选算法获得用于位姿估计的唯一最优标记；(8)借助Open CV中的solve PaP()函数求解相机的外参。

然后在ArUco标记尺寸已知的前提下，通过点特征定位算法进行位姿估计，求解出自动焊接机器人局部位姿；最终综合环境结构化地图信息以及基于ArUco的位姿估计的信息，求解出自动焊接机器人当前绝对位姿矩阵，完成自动焊接机器人工作过程中的远程全局定位。

进一步的，所述S1中机器人定位和导航算法为：本发明使用SLAM技术，通过概率技术来解决预测估计问题，根据自动焊接机器人识别的环境特征实时的构建环境地图，并通过增量式构建环境地图的反馈调整自动焊接机器人位姿的连续过程；SLAM可概括为“预测估计”，“数据关联”，“观测更新”，“系统扩展”的求解相关概率过程；SLAM算法的实质就是系统初始状态根据状态输入信息ｕ_k和传感器观测信息Z_k的作用，对自动焊接机器人下一时刻位姿x_k和路标信息集合L_i的概率估计，可以表示为对运动路径和制图的后验估计：

P(x_k，L_i|Z_k，u_k，n_k)。

在己知k-1时刻自动焊接机器人的系统状态信息后，根据贝叶斯概率模型的到k时刻下对系统状态变量的后验概率估计，即：

P(x_k，L_i|Z_k，u_k，n_k)

＝γP(Z_k|x_k，Ｌ_i，n_k)∫P(x_k|x_k-1，u_k)P(x_k-1，L_i|Z_k-1，u_k-1，n_k-1)dx_k-1

其中γ为常数，P(Z_ｋ|x_k，L_i，n_k)为系统过程模型，P(x_ｋ|x_k-1，u_ｋ)为系统的观测模型，P(x_ｋ-1，L_i|Z_k-1，u_ｋ-1，n_ｋ-1)为当前时刻位姿x_k和路标信息集合L_i的概率估计，n_ｋ表示O到k时刻的路标相关性集合。

SLAM的实现过程主要可以概括为以下四个部分：

(1)根据自动焊接机器人的当前状态与控制变量的输入信息对下一时刻自动焊接机器人的位姿和环境特征的位置进行预测估计；

(2)将激光雷达观测的环境数据信息进行特征提取并与系统状态信息相互关联；

(3)对激光雷达识别到的新的环境特征进行添加处理并进行系统状态观测；

(4)根据观测的数据信息对自动焊接机器人进行定位以及构建新的环境地图。

本发明采用基于数学概率基础上的卡尔曼滤波对模型状态信息进行估计，卡尔曼滤波根据当前位姿下的系统状态和输入信息来进行下一时刻状态的先验估计值，再由传感器将观测信息输入到状态预测方程得到状态的后验估计；以先验估计值和后验估计值的差值作为修正标准逐步的逼近真实值；采用在卡尔曼滤波线性估计基础上延伸得到的扩展卡尔曼滤波(Extended Kalman Filter简称EKF)，通过在非线性系统估计下对其后验估计值的逐渐逼近，实现对自动焊接机器人位姿均值和状态协方差的概率估计；根据上述描述，基于EKF的自动焊接机器人导航系统中的运动学模型和观测模型可以表示为如下形式：

其中，X(k)表示系统k时刻的状态向量；u(k)表示系统k时刻控制输入变量；Z(k)表示系统k时刻的观测方程；f(*)、h(*)分别表示系统的状态转移函数和观测函数；w(k)、v(k)分别表示系统状态过程中和观测过程的噪声，w(k)～N(0，R(k))，v(k)～N(0，Q(k))。

自动焊接机器人进行路径规划时，整个系统状态x包含自动焊接机器人自身状态和路标的信息：

X(k)＝[RX_m]^T＝[RL₁...L_n]^T

其中，R代表自动焊接机器人的位姿状态，X(m)＝(L₁...L_n)表示该位姿状态时刻前观测到的n个路标信息。

控制变量输入为：

u(k)＝[v_c(k)ω(k)]^T

α(k)＝ω(k)Δt

其中，v_c(k)、ω(k)分别表示自动焊接机器人的初始线速度和转动角速度，α(k)、Δt分别表示单位时间内转动的角度和前后时刻单位周期差。

在扩展卡尔曼滤波中，系统服从高斯正态分布，进行扩展卡尔曼滤波的预测实际上也是求解系统状态均值

和状态协方差P的最优值的过程。

其中，P_RR表示自动焊接机器人自身位姿相互之间的协方差矩阵，P_RM(P_MR)表示自动焊接机器人位姿与环境特征信息之间的协方差矩阵，P_MM表示自动焊接机器人环境特征彼此之间的协方差矩阵。

自动焊接机器人自主导航EKF算法的具体步骤如下：

第一步：状态预测

根据系统的状态预测模型和观测模型对下一时刻自动焊接机器人的系统状态和状态协方差进行预测，同时对当前系统状态矩阵和状态协方差矩阵进行先验估计。

系统状态预测：

状态协方差预测：

其中，

表示k时刻下状态协方差矩阵先验状态估计，R(k)表示自动焊接机器人预测过程状态协方差矩阵；

为非线性系统中状态向量在转移函数中的雅可比矩阵，

为非线性系统中控制变量输入在转移函数中的雅可比矩阵。

其中，C₁＝a sinθ(k)+b cosθ(k)，C₂＝a cosθ(k)-b sinθ(k)，

第二步：观测预测

对自动焊接机器人在k时刻下的环境特征进行观测后得到观测向量Z(k)，比较k时刻与k-1时刻观测向量的差值为新息，记为τ(k)。求出k时刻新息的协方差矩阵。

系统观测方程：

观测路标与实际路标误差(新息)：

τ(k)＝Z(k)-Z(k|k-1)

新息协方差矩阵：

其中，Z(k|k-1)、Z(k)分别表示观测方程在k时刻下的先验估计和后验估计；Q(k)为观测过程的噪声协方差矩阵，

为k时刻观测方程雅可比矩阵。

第三步：状态更新

计算系统的卡尔曼增益，根据得到的实际观测值对该时刻的位姿状态进行修正，同时对系统的状态信息和协方差矩阵进行更新。

系统状态更新：

X(k)＝X(k|k-1)+K(k)τ(k)

系统协方差矩阵更新：

P(x)＝P(k|k-1)+K(k)S(k)K(k)^T

其中，S(k)表示k时刻下的新息协方差矩阵，K(k)表示k时刻下的卡尔曼增益，τ(k)为k时刻下的新息。

第四步：系统扩展

若在移动过程中扫描到新的特征点，将扫描到新的环境路标的特征点添加到系统状态中，设新的特征点

对构建的地图进行更新扩展。

特征点坐标转化：

X_a(k)＝F(X(k)，Z_i(k))

扩展后的系统状态：

扩展后的协方差矩阵为：

其中，

和

分别表示系统增量函数对自动焊接机器人位姿和观测方程的雅可比矩阵；

进一步的，所述S1中通过雷达传感器进行空间识别的方式为：将空间识别划分为预处理阶段、粗匹配阶段、精匹配阶段；在粗匹配阶段，针对自动焊接机器人自动焊接工作运动的特点，使用基于DSHV主体检测的粗匹配方案。在精匹配阶段，针对ICP配准对误差的问题，本发明使用基于形状特性改进的ICP算法，从而实现通过雷达传感器进行空间识别；

进一步的，所述S1中系统数据库是基于MySQL关系型数据库所建立的，可以通过Python，Java和C++主流编程语言调用后端服务器，计算机系统适用于Linux，Windows和IOS平台；

进一步的，所述S2中利用深度学习图像降噪算法使得工作的精准度更高，详细过程如下：

在实际焊接生产环境中，焊接过程总是伴随着不同背景的噪声，增加焊接数据误差，影响数据处理结果，滤除图像数据中的噪声对于获得真实的焊接过程数据十分重要。计算所有局部窗口最小值像素点，组成灰度图，计算图像每一通道灰度值获得原始图的暗通道，分析大量无雾图像暗通道灰度值统计结果，使得暗通道值趋于零：

其中，J表示任一给定的图像，x表示某个像素点，Ω(x)表示以x为中心的局部窗口，y表示局部区域，c表示图像3个通道中的某一通道，J^dark表示暗通道成像，确定烟雾成像的模型：

I(x)＝J(x)t(x)+A(1-t(x))

其中，I(x)为当前图像灰度，J(x)为无雾图像灰度，A是光值，t(x)是透射率。

自动估算光值，遍历暗通道图，筛选出灰度值最大的0.1％的像素点；其次，对暗通道图灰度值最大的像素点所在的原始图像中三通道的像素值求和，计算这些像素的均值作为光值A^c；对原始图像I局部最小运算并归一化求最小值：

I^c(y)表示原始图像，A^c表示给定的光值，τ(x)表示在局部区域Ω(x)的透射率。

其中，I^c(y)表示原始图像，A^c表示给定的光值。

进行导向滤波：

其中，q_i为导向滤波输出图像，I_i为引导图像，a_k和b_k为以像素k点为中心的邻域内邻域ω_k内的常数系数。

为了使滤波图像与输入图像偏差最小，定义E(a_k，b_k)作为代价函数。

其中，ε为正则化参数，p_i为输入图像，系数a_k和b_k由线性回归求出：

其中，|ω|是邻域ω_k内的像素总数，μ_k和σ_k ²分别为引导图像在邻域ω_k内的均值和方差，

为输入图像在邻域ω_k内的均值；在使用大小为ω_k的窗口遍历图像过程中，a_k和b_k的值是变化的，因此，求每次遍历操作a_k和b_k的均值：

综上，输出图像表达式为：

根据烟雾成像模型恢复图像亮度得到去雾图像，其中取t₀＝0.1：

其中，J(x)表示去雾图像，q(x)表示导向滤波输出图像，A表示光值，t表示透射率。

为了更全面客观地评价图像质量，结合灰度特征和纹理特征对图像进行量化，灰度均值是所有像素点灰度值的平均值，反映图像整体亮度分布情况：

其中，μ为灰度均值，M，N表示图像的宽和高，P(i,j)表示像素点(i,j)的灰度值。

标准差衡量图像整体灰度与灰度均值差异度：

其中，σ为图像标准差，M、N表示图像的宽和高，P(i,j)表示像素点(i,j)处的灰度值，μ为图像灰度均值。

信噪比反映了图像受噪声干扰导致的退化程度；图像信噪比是信号强度与噪声的标准差之比利用图像信噪比可以评价图像中有用信息的占比，从而评价图像的质量，图像信噪比值越大表明图像越干净：

其中，PSNR表示信噪比，P(i，j)表示像素点(i，j)处的灰度值，O(i，j)表示像素点(i，j)处的灰度值，MAX表示图像灰度最大值，MSE表示原图与去雾图的均方差。

进一步的，所述S3中利用深度学习图像识别算法，主要是基于改进的U-NET模型，使得图像的卷积计算更为精准和高效，改进的U-NET模型详细过程如下：(1)输入数据集图像，由编码器进行图像压缩；(2)图像的压缩路径主要由4个块组成；每个块使用了3×3卷积块与一个最大池化降采样，其中降采样作用在于特征图数量翻倍；(3)第四层网络输出连接残差块，增强特征图分割效果；(4)解码器通过反卷积使特征图尺寸增大2倍，个数减半，再与左侧对称的压缩路径特征图融合。其中在第二层解码器处加入注意力机制，增强对裂缝特征图像的提取；(5)在第一层解码器加入1×1卷积，使输出输入图像尺寸一致，本发明通过在解码器的第三层卷积模块后引入注意力机制，关注图像中的每个像素点信息，采用“寻址”模式，实现对特征信息的注意力等级，进而更好地实现图像识别效果。

进一步的，所述S4中附带焊接器具的机械臂，附带器具包括：机械臂上装有图像采集装置和焊接电热力装置，可以实时监控焊接过程，监控焊接效果，并对机械臂移动进行反馈控制。

进一步的，所述S4中机械臂移动控制算法以适合于各种非平面不规则的作业目标，采用机械臂的方式移动焊接头，实现复杂形状作业目标的精准焊接。用关节-图像映射来描述机械臂关节向量θ∈Rⁿ和图像特征向量s∈R^m之间的静态关系如下：

τ：Rⁿ→R^m；θ→s

由于该映射关系具有高度非线性，可对其在θ处进行雅可比线性化，以便更好地描述它们之间的速度关系：

其中，m表示关节向量的维度，n表示为图像特征向量的维度；J_s称为关节-图像雅可比矩阵；当采样周期T足够小时，微分关系描述的是增量间的线性关系，因此需将上述模型在物理空间中进行线性离散化；在某一离散时刻kT，关节向量和图像特征向量分别为θ(k)和s(k)；为了使控制系统能够稳定进行，需要利用卡尔曼滤波在线估计kT时刻的关节-图像雅可比矩阵J_s(k)。

根据卡尔曼滤波的原理，构造线性离散辅助动态系统，完成对J_s的在线观测；用列向量x_s(k)来表示J_s：

x_s(k)＝[J_s(k)₁，...J_s(k)_m]^T∈R^mn×1

其中，J_s(k)的第l行用J_s(k)_{l，l＝1，...，m}表示。

选择适当的采样周期T，能够得到J_s(k)≈J_s(k+1)，等价于x_s(k)≈x_s(k+1)，则线性连续模型的离散表达式为：

s(k+1)-s(k)≈J_s(k+1)θ(k+1)-θ(k)

记Δs(k+1)＝s(k+1)≈J_s(k+1)θ(k+1)-θ(k)，得到其辅助动态方程，用于在线估计关节图像雅可比矩阵J_s：

其中，w_s(k)和v_s(k)分别是kT时刻的过程噪声和测量噪声，且假设它们是彼此相互独立的高斯白噪声，其中w_s(k)～Normal(0，Q_s(k))，Q_s(k)为kT时刻过程噪声协方差矩阵v_s(k)～Normal(0，R_s(k))，R_s(k)为k T时刻测量噪声协方差矩阵。H_s(k+1)为观测矩阵，其定义如下：

H_s(k+1)＝diagnal{Δθ(k+1)^T，...，Δθ(k+1)^T}

其中，diagnal为分块对角阵。

我们设期望位置的图像特征向量为s*，当前位置的图像特征向量为s，于是得到系统误差e_s如下式：

e_s＝s^*-s

代入以上公式得

设置比例控制器：

其中，u_s为控制器的输出量，对应的物理量为机器臂的关节速度；λ为比例系数；

为雅可比矩阵J_s的Penrose广义逆，当J_s列满秩时，其伪逆可由下列公式求得：

使用李雅普诺夫稳定性理论对该控制系统进行稳定性分析，构造李雅普诺夫函数：

对上式求导

由控制率知：

如果J_s可逆，则

带入上式可得:

这样保证控制器具有指数稳定性，确保了系统渐近稳定，结合雷达探测位置，从而控制机器臂的精准作业。

本发明有益效果：

本发明提供了一种基于人工智能的自动焊接机器人控制系统，通过人工智能技术，对作业场景、作业目标和作业要求进行自动识别和控制，研究自动焊接机器人自动控制的相关技术，分析自动焊接机器人运动特征，建立自动焊接机器人运动学模型，并根据自动焊接机器人路径规划的研究现状进行分析，从而确定对自动焊接机器人路径规划算法进行优化等相关内容；进行基于SLAM技术的自动焊接机器人定位和导航路径规划技术研究，据位置和障碍物分布的不同，解决自动焊接机器人路径规划的问题，确保自动焊接机器人能够完成所有焊缝工作的同时还能够寻求最优路径降低能耗，根据作业场景的特点，收集训练图片，对图像进行采集和处理，运用基于深度学习算法的改进U-NET模型图像检测算法对图像信息进行模型训练，建立自动焊接机器人运动学模型，利用曲面离散模型建立局部环境信息，通过不断地与环境进行交互来获得环境信息，再通过反馈的强化信号对选择执行的行动进行评价，利用不断试错和选择，解决环境模型建模不准或未知障碍物下的路径规划问题，通过训练好的模型，使得自动焊接机器人可以对焊接目标，尤其是非平面的复杂形状作业目标进行精准自动焊接，有效提升自动焊接机器人系统在路径规划问题中的自学习能力和自适应性，使得自动焊接机器人在条件受限的路径规划领域中得到拓展，实现自动焊接机器人可以自动移动至作业目标，自动规划路线，对目标焊接要求进行作业方案作业等级自动生成焊接方案，实时根据作业效果进行反馈，动态调整自动焊接机器人完成作业，本发明可实现对焊接目标，尤其是非平面的复杂形状作业目标进行精准自动焊接。

附图说明

利用附图对发明创造作进一步说明，但附图中的实施例不构成对本发明创造的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是本发明结构示意图。

具体实施方式

结合以下实例对本发明作进一步描述。

参见图1，本发明旨在提供一种基于人工智能的自动焊接机器人控制系统，以解决上述背景技术中提出的问题。

为实现上述目的，提供了一种基于人工智能的自动焊接机器人控制系统，包括空间识别和移动模块、图像采集和交叉验证模块，机器臂动力焊接模块。控制系统用于控制带有自动行进装置和机械臂的自动焊接机器人，通过人工智能技术，对作业场景、作业目标和作业要求进行自动识别和控制，实现自动焊接机器人可以自动移动至作业目标，自动规划路线，对目标焊接要求进行作业方案作业等级自动生成焊接方案，实时根据作业效果进行反馈，动态调整自动焊接机器人完成作业。

S1.明确自动焊接机器人工作的空间环境，建立作业区定位导航模型，采用机器人定位和导航算法，使用一种基于ArUco标记的全局视觉定位方法，按照先局部定位再全局定位的思路进行，借助ArUco标记进行局部定位，再结合环境结构化地图进行全局定位。首先通过自动焊接机器人末端的单目网络摄像头采集图像信息，经无线图像传输至控制系统。本发明针对相机成像时因为透镜形状等各种条件的影响产生的畸变现象，引入参数进行校正，其中，使用高次多项式函数并以距中心的距离为变量描述畸变：

式中，k、r为多项式函数参数，x为多项式函数自变量，y为多项式函数因变量，x_d为横向畸变，y_d为纵向畸变。

引入p₁，p₂两个参数来对畸变进行修正：

可得到完整的畸变公式：

因此完整的畸变参数为：

D＝{k₁，k₂，p₁，p₂，k₃}

控制系统的图像处理单元对视频画面中的ArUco标记进行识别，检测出ArUco标记的ID，并根据ID在环境结构化地图中检索出标记在世界坐标系下的矩阵表达。ArUco标记的识别与位姿估计如下：

(1)通单目监控相机采集视觉图像，使用RTSP协议进行无线图像传输，并借助libvlc视频解码组件进行多线程视频解码，获得实时图像；(2)利用Open CV中的RGB2GRAY算子将RGB图像转化为灰度图；(3)搜索所有图像中的所有候选标记，利用自适应阈值分割标记；(4)查找二值化图像中的所有轮廓，使用Open CV中的逼近多边形算法检测轮廓，计算轮廓周长并设定阈值以剔除大小明显超出标记大小的轮廓，筛选出外轮廓集合；(5)对图像进行透视变换，得到正视图；(6)利用最大类间差法(Otsu)进行阈值化，分离出黑白比特位，并根据编号与选用的标记字典进行匹配，获得标记的编号信息；(7)识别出标记后，利用多标记优选算法获得用于位姿估计的唯一最优标记；(8)借助Open CV中的solve PaP()函数求解相机的外参。

然后在ArUco标记尺寸已知的前提下，通过点特征定位算法进行位姿估计，求解出自动焊接机器人局部位姿。最终综合环境结构化地图信息以及基于ArUco的位姿估计的信息，求解出自动焊接机器人当前绝对位姿矩阵，完成自动焊接自动焊接机器人工作过程中的远程全局定位。

使用SLAM技术，通过概率技术来解决预测估计问题，根据自动焊接机器人识别的环境特征实时的构建环境地图，并通过增量式构建环境地图的反馈调整自动焊接机器人位姿的连续过程。SLAM可概括为“预测估计”，“数据关联”，“观测更新”，“系统扩展”的求解相关概率过程。SLAM算法的实质就是系统初始状态根据状态输入信息u_k和传感器观测信息Z_k的作用，对自动焊接机器人下一时刻位姿x_k和路标信息集合L_i的概率估计，可以表示为对运动路径和制图的后验估计：P(x_k，L_i|Z_k，u_k，n_ｋ)。

在己知k-1时刻自动焊接机器人的系统状态信息后，根据贝叶斯概率模型的到k时刻下对系统状态变量的后验概率估计，即：

P(x_k，L_i|Z_k，u_k，n_k)

＝γP(Z_k|x_k，L_i，n_k)∫P(x_k|x_k-1，u_k)P(x_k-1，L_i|Z_k-1，u_k-1n_k-1)dx_k-1

其中γ为常数，P(Z_k|x_k，L_ｉ，n_ｋ)为系统过程模型，P(x_k|x_k-1，u_ｋ)为系统的观测模型，P(x_ｋ-1，L_i|Z_ｋ-1，u_ｋ-1，n_ｋ-1)为当前时刻位姿x_k和路标信息集合L_i的概率估计，n_k表示O到k时刻的路标相关性集合。

SLAM的实现过程主要可以概括为以下四个部分：

(1)根据自动焊接机器人的当前状态与控制变量的输入信息对下一时刻自动焊接机器人的位姿和环境特征的位置进行预测估计；

(2)将激光雷达观测的环境数据信息进行特征提取并与系统状态信息相互关联；

(3)对激光雷达识别到的新的环境特征进行添加处理并进行系统状态观测；

(4)根据观测的数据信息对自动焊接机器人进行定位以及构建新的环境地图。

本发明采用基于数学概率基础上的卡尔曼滤波对模型状态信息进行估计，卡尔曼滤波根据当前位姿下的系统状态和输入信息来进行下一时刻状态的先验估计值，再由传感器将观测信息输入到状态预测方程得到状态的后验估计。以先验估计值和后验估计值的差值作为修正标准逐步的逼近真实值。采用在卡尔曼滤波线性估计基础上延伸得到的扩展卡尔曼滤波(Extended Kalman Filter简称EKF)，通过在非线性系统估计下对其后验估计值的逐渐逼近，实现对自动焊接机器人位姿均值和状态协方差的概率估计。根据上述描述，基于EKF的自动焊接机器人导航系统中的运动学模型和观测模型可以表示为如下形式：

其中，X(k)表示系统k时刻的状态向量；u(k)表示系统k时刻控制输入变量；Z(k)表示系统k时刻的观测方程；f(*)、h(*)分别表示系统的状态转移函数和观测函数；w(k)、v(k)分别表示系统状态过程中和观测过程的噪声，k)～N（0，R（k）），v(k)～N(0，Q(k))。

自动焊接机器人进行路径规划时，整个系统状态x包含自动焊接机器人自身状态和路标的信息：

X(k)＝[RX_m]^T＝[RL₁...L_n]^T

其中，R代表自动焊接机器人的位姿状态，X(m)＝(L₁...L_n)表示该位姿状态时刻前观测到的n个路标信息。

控制变量输入为：

u(k)＝[v_c(k)ω(k)]^T

a(k)＝ω(k)Δt

其中，v_c(k)、ω(k)分别表示自动焊接机器人的初始线速度和转动角速度，α(k)、Δt分别表示单位时间内转动的角度和前后时刻单位周期差。

在扩展卡尔曼滤波中，系统服从高斯正态分布，进行扩展卡尔曼滤波的预测实际上也是求解系统状态均值

和状态协方差P的最优值的过程。

其中，P_RR表示自动焊接机器人自身位姿相互之间的协方差矩阵，P_RM(P_MR)表示自动焊接机器人位姿与环境特征信息之间的协方差矩阵，P_MM表示自动焊接机器人环境特征彼此之间的协方差矩阵。

自动焊接机器人自主导航EKF算法的具体步骤如下：

第一步：状态预测

根据系统的状态预测模型和观测模型对下一时刻自动焊接机器人的系统状态和状态协方差进行预测，同时对当前系统状态矩阵和状态协方差矩阵进行先验估计。

系统状态预测：

状态协方差预测：

其中，

表示k时刻下状态协方差矩阵先验状态估计，R(k)表示自动焊接机器人预测过程状态协方差矩阵。

为非线性系统中状态向量在转移函数中的雅可比矩阵，

为非线性系统中控制变量输入在转移函数中的雅可比矩阵。

其中，C₁＝a sinθ(k)+b cosθ(k)，C₂＝a cosθ(k)-b sinθ(k)，

第二步：观测预测

对自动焊接机器人在k时刻下的环境特征进行观测后得到观测向量Z(k)，比较k时刻与k-1时刻观测向量的差值为新息，记为τ(k)。求出k时刻新息的协方差矩阵。

系统观测方程：

观测路标与实际路标误差(新息)：

τ(k)＝Z(k)-Z(k|k-1)

新息协方差矩阵：

其中，Z(k|k-1)、Z(k)分别表示观测方程在k时刻下的先验估计和后验估计。Q(k)为观测过程的噪声协方差矩阵，

为k时刻观测方程雅可比矩阵。

第三步：状态更新

计算系统的卡尔曼增益，根据得到的实际观测值对该时刻的位姿状态进行修正，同时对系统的状态信息和协方差矩阵进行更新。

系统状态更新：

X(k)＝X(k|k-1)+K(k)τ(k)

系统协方差矩阵更新：

P(k)＝P(k|k-1)+K(k)S(k)K(k)^T

其中，s(k)表示k时刻下的新息协方差矩阵，K(k)表示k时刻下的卡尔曼增益，τ(k)为k时刻下的新息。

第四步：系统扩展

若在移动过程中扫描到新的特征点，将扫描到新的环境路标的特征点添加到系统状态中，设新的特征点

对构建的地图进行更新扩展。

特征点坐标转化：

X_a(k)＝F(X(k)，Z_i(k))

扩展后的系统状态：

扩展后的协方差矩阵为：

其中，

和

分别表示系统增量函数对自动焊接机器人位姿和观测方程的雅可比矩阵；

通过雷达传感器进行空间识别，将空间识别划分为预处理阶段、粗匹配阶段、精匹配阶段。在粗匹配阶段，针对自动焊接机器人自动焊接工作运动的特点，使用基于DSHV主体检测的粗匹配方案。在精匹配阶段，针对ICP配准对误差的问题，本发明使用基于形状特性改进的ICP算法，从而实现通过雷达传感器进行空间识别。在此基础上，建图，定位，模型存入系统数据库，系统数据库是基于MySQL关系型数据库所建立的，可以通过Python，Java和C++主流编程语言调用后端服务器，计算机系统适用于Linux，Windows和IOS平台。

S2.自动焊接机器人实现移动功能后，采集作业目标数据，利用图像降噪算法获取精准的待焊接场景信息，对待焊接的场景进行定义标签和分类；

在实际焊接生产环境中，焊接过程总是伴随着不同背景的噪声，增加焊接数据误差，影响数据处理结果，滤除图像数据中的噪声对于获得真实的焊接过程数据十分重要。计算所有局部窗口最小值像素点，组成灰度图，计算图像每一通道灰度值获得原始图的暗通道，分析大量无雾图像暗通道灰度值统计结果，使得暗通道值趋于零：

其中，J表示任一给定的图像，x表示某个像素点，Ω(x)表示以x为中心的局部窗口，y表示局部区域，c表示图像3个通道中的某一通道，J^dark表示暗通道成像，确定烟雾成像的模型：

I(x)＝J(x)t(x)+A(1-t(x))

其中，I(x)为当前图像灰度，J(x)为无雾图像灰度，A是光值，t(x)是透射率。

自动估算光值，遍历暗通道图，筛选出灰度值最大的0.1％的像素点；其次，对暗通道图灰度值最大的像素点所在的原始图像中三通道的像素值求和，计算这些像素的均值作为光值A^c。对原始图像I局部最小运算并归一化求最小值：

I^c(y)表示原始图像，A^c表示给定的光值，τ(x)表示在局部区域Ω(x)的透射率。

其中，I^c(y)表示原始图像，A^c表示给定的光值。

进行导向滤波：

其中，q_i为导向滤波输出图像，I_i为引导图像，a_k和b_k为以像素k点为中心的邻域内邻域ω_k内的常数系数。

为了使滤波图像与输入图像偏差最小，定义E(a_k，b_k)作为代价函数。

其中，ε为正则化参数，p_i为输入图像，系数a_k和b_k由线性回归求出：

其中，|ω|是邻域ω_k内的像素总数，μ_k和σ_k ²分别为引导图像在邻域ω_k内的均值和方差，

为输入图像在邻域ω_k内的均值。在使用大小为ω_k的窗口遍历图像过程中，a_k和b_k的值是变化的，因此，求每次遍历操作a_k和b_k的均值：

综上，输出图像表达式为：

根据烟雾成像模型恢复图像亮度得到去雾图像，其中取t₀＝0.1：

其中，J(x)表示去雾图像，q(x)表示导向滤波输出图像，A表示光值，t表示透射率。

为了更全面客观地评价图像质量，结合灰度特征和纹理特征对图像进行量化，灰度均值是所有像素点灰度值的平均值，反映图像整体亮度分布情况：

其中，μ为灰度均值，M，N表示图像的宽和高，P(i,j)表示像素点(i,j)的灰度值。

标准差衡量图像整体灰度与灰度均值差异度：

其中，σ为图像标准差，M、N表示图像的宽和高，P(i,j)表示像素点(i,j)处的灰度值，μ为图像灰度均值。

信噪比反映了图像受噪声干扰导致的退化程度。图像信噪比是信号强度与噪声的标准差之比利用图像信噪比可以评价图像中有用信息的占比，从而评价图像的质量，图像信噪比值越大表明图像越干净：

其中，PSNR表示信噪比，P(i，j)表示像素点(i，j)处的灰度值，O(i，j)表示像素点(i，j)处的灰度值，MAX表示图像灰度最大值，MSE表示原图与去雾图的均方差。

S3.采集作业目标焊接标准数据，利用深度学习图像识别算法，主要是基于改进的U-NET模型，使得图像的卷积计算更为精准和高效，改进的U-NET模型详细过程如下：(1)输入数据集图像，由编码器进行图像压缩。(2)图像的压缩路径主要由4个块组成。每个块使用了3×3卷积块与一个最大池化降采样，其中降采样作用在于特征图数量翻倍。(3)第四层网络输出连接残差块，增强特征图分割效果。(4)解码器通过反卷积使特征图尺寸增大2倍，个数减半，再与左侧对称的压缩路径特征图融合。其中在第二层解码器处加入注意力机制，增强对裂缝特征图像的提取。(5)在第一层解码器加入1×1卷积，使输出输入图像尺寸一致，本发明通过在解码器的第三层卷积模块后引入注意力机制，关注图像中的每个像素点信息，采用“寻址”模式，实现对特征信息的注意力等级，进而更好地实现图像识别效果。识别各级别焊接特征模型，焊接特征模型导入系统训练作业目标识别模型，控制自动焊接机器人识别找到作业目标，并对目标需要焊接的区域部位进行扫描建图，模型导入系统；

S4.根据附带焊接器具的机械臂的工作机理，设计机械臂移动控制算法，以适合于各种非平面不规则的作业目标，采用机械臂的方式移动焊接头，机械臂上装有图像采集装置和焊接电热力装置，可以实时监控焊接过程，监控焊接效果，并对机械臂移动进行反馈控制，实现复杂形状作业目标的精准焊接。用关节-图像映射来描述机械臂关节向量θ∈Rⁿ和图像特征向量s∈R^m之间的静态关系如下：

τ：Rⁿ→R^m；θ→s

由于该映射关系具有高度非线性，可对其在θ处进行雅可比线性化，以便更好地描述它们之间的速度关系：

式中，m表示关节向量的维度，n表示为图像特征向量的维度，J_s称为关节-图像雅可比矩阵。当采样周期T足够小时，微分关系描述的是增量间的线性关系，因此需将上述模型在物理空间中进行线性离散化。在某一离散时刻kT，关节向量和图像特征向量分别为θ(k)和s(k)。为了使控制系统能够稳定进行，需要利用卡尔曼滤波在线估计kT时刻的关节-图像雅可比矩阵J_s(k)。

根据卡尔曼滤波的原理，构造线性离散辅助动态系统，完成对J_s的在线观测。用列向量x_s(k)来表示J_s：

x_s(k)＝[J_s(k)₁，...J_s(k)_m]^T∈R^mn×1

其中，J_s(k)的第l行用I_s(k)_{l，l＝1，...，m}表示。

选择适当的采样周期T，能够得到J_s(k)≈J_s(k+1)，等价于x_s(k)≈x_s(k+1)则线性连续模型的离散表达式为：

s(k+1)-s(k)≈J_s(k+1)θ(k+1)-θ(k)

记Δs(k+1)＝s(k+1)≈J_s(k+1)θ(k+1)-θ(k)，得到其辅助动态方程，用于在线估计关节图像雅可比矩阵J_s：

其中，w_s(k)和v_s(k)分别是kT时刻的过程噪声和测量噪声，且假设它们是彼此相互独立的高斯白噪声，其中w_s(k)～Normal(0，Q_s(k))，Q_s(k)为kT时刻过程噪声协方差矩阵v_s(k)～Normal(0，R_s(k))，R_s(k)为k T时刻测量噪声协方差矩阵。H_s(k+1)为观测矩阵，其定义如下：

H_s(k+1)＝diagnal{Δθ(k+1)^T，...，Δθ(k+1)^T}

其中，diagnal为分块对角阵。

我们设期望位置的图像特征向量为s*，当前位置的图像特征向量为s，于是得到系统误差e_s如下式：

e_s＝s^*-s

代入以上公式得

设置比例控制器：

其中，u_s为控制器的输出量，其对应的物理量为机器臂的关节速度；λ为比例系数；

为雅可比矩阵J_s的Penrose广义逆，当J_s列满秩时，其伪逆可由下列公式求得：

使用李雅普诺夫稳定性理论对该控制系统进行稳定性分析，构造李雅普诺夫函数：

对上式求导：

由控制率知：

如果J_s可逆，则

带入上式可得：

这样保证控制器具有指数稳定性，确保了系统渐近稳定，结合雷达探测位置，从而控制机器臂的精准作业。存入系统数据库，以适合于各种非平面不规则的作业目标；

S5.建立焊接强度、目标材质、目标效果和焊接要求对应关系，存入系统数据库，建立焊接异常情况的反馈方式；

S6.进入工作模式后，加载焊接特征模型，如有异常进行异常处理；自动焊接机器人识别作业场景，识别焊接目标，进行建图和定位，自动路径规划，行进至作业目标；

S7.自动焊接机器人对目标进行全面扫描建图，生成全覆盖焊接路径规划，开始焊接作业，焊接特征模型开始运行，判断机械臂处是否需要焊接，判断焊接后效果等级，对自动焊接机器人进行反馈控制；

S8.焊接直至结束，过程数据存入系统数据库，数据用来记录焊接过程和继续优化焊接特征模型。

本发明有益效果：

本发明提供了一种基于人工智能的自动焊接机器人控制系统，通过人工智能技术，对作业场景、作业目标和作业要求进行自动识别和控制，研究自动焊接机器人自动控制的相关技术，分析自动焊接机器人运动特征，建立机器人运动学模型，并根据自动焊接机器人路径规划的研究现状进行分析，从而确定对自动焊接机器人路径规划算法进行优化等相关内容。进行基于SLAM技术的自动焊接机器人定位和导航路径规划技术研究，据位置和障碍物分布的不同，解决自动焊接机器人路径规划的问题，确保自动焊接机器人能够完成所有焊缝工作的同时还能够寻求最优路径降低能耗，根据作业场景的特点，收集训练图片，对图像进行采集和处理，运用基于深度学习算法的改进U-NET模型图像检测算法对图像信息进行模型训练，建立自动焊接机器人运动学模型，利用曲面离散模型建立局部环境信息，通过不断地与环境进行交互来获得环境信息，再通过反馈的强化信号对选择执行的行动进行评价，利用不断试错和选择，解决环境模型建模不准或未知障碍物下的路径规划问题，通过训练好的模型，使得自动焊接机器人可以对焊接目标，尤其是非平面的复杂形状作业目标进行精准自动焊接，有效提升自动焊接机器人系统在路径规划问题中的自学习能力和自适应性，使得自动焊接机器人在条件受限的路径规划领域中得到拓展，实现自动焊接机器人可以自动移动至作业目标，自动规划路线，对目标焊接要求进行作业方案作业等级自动生成焊接方案，实时根据作业效果进行反馈，动态调整自动焊接机器人完成作业，本发明可实现对焊接目标，尤其是非平面的复杂形状作业目标进行精准自动焊接。

本发明还提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令，该指令由处理器加载并执行，以实现上述方法。其中，该计算机可读存储介质可以是ROM、随机存取存储器、CD-ROM、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。

本发明实施方式是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (2)

1.一种基于人工智能的自动焊接机器人控制系统，其特征在于，包括空间识别和移动模块，图像采集和交叉验证模块，机器臂动力焊接模块；

所述控制系统用于控制带有自动行进装置和机械臂的自动焊接机器人，通过人工智能技术，对作业场景、作业目标和作业要求进行自动识别和控制，实现自动焊接机器人自动移动至作业目标，自动规划路线，依据目标焊接要求自动生成相应等级的焊接作业方案，实时根据作业效果进行反馈，动态调整自动焊接机器人完成作业；

所述控制系统的工作步骤如下：

S1.明确自动焊接机器人工作的空间环境，建立作业区定位导航模型，采用机器人定位和导航算法，通过雷达传感器进行空间识别，通过在非线性系统估计下对其后验估计值的逐渐逼近，实现对自动焊接机器人位姿均值和误差协方差的概率估计；自动焊接机器人进行路径规划时，整个系统状态X包含自动焊接机器人自身状态和路标的信息：

X(k)＝[RX_m]^T＝[RL₁...L_n]^T；

其中，R代表自动焊接机器人的位姿状态，X(m)＝(L₁...L_n)表示该位姿状态时刻前观测到的n个路标信息，控制变量输入为：

u(k)＝[v_c(k)ω(k)]^T；

α(k)＝ω(k)Δt；

其中，v_c(k)、ω(k)分别表示自动焊接机器人的初始线速度和转动角速度，α(k)、Δt分别表示单位时间内转动的角度和前后时刻单位周期差，系统服从高斯正态分布，求解系统状态均值

和误差协方差P的最优值的过程：

其中，P_RR表示自动焊接机器人自身位姿相互之间的协方差矩阵，P_RM(P_MR)表示自动焊接机器人位姿与环境特征信息之间的协方差矩阵，P_MM表示自动焊接机器人环境特征彼此之间的协方差矩阵；

在上述计算的基础上，建图，定位，模型存入系统数据库；

S2.自动焊接机器人实现移动功能后，采集作业目标数据，利用图像降噪算法获取精准的待焊接场景信息，对待焊接的场景进行定义标签和分类；

在实际焊接生产环境中，焊接过程总是伴随着不同背景的噪声，增加焊接数据误差，影响数据处理结果，滤除图像数据中的噪声对于获得真实的焊接过程数据十分重要，计算所有局部窗口最小值像素点，组成灰度图，计算图像每一通道灰度值获得原始图的暗通道，分析大量无雾图像暗通道灰度值统计结果，使得暗通道值趋于零：

其中，J表示任一给定的图像，x表示某个像素点，Ω(x)表示以x为中心的局部窗口，y表示局部区域，c表示图像3个通道中的某一通道，J^dark表示暗通道成像，确定烟雾成像的模型：

I(x)＝J(x)t(x)+A(1-t(x))；

其中，I(x)为当前图像灰度，J(x)为无雾图像灰度，A是光值，t(x)是透射率；

自动估算光值，遍历暗通道图，筛选出灰度值最大的0.1％的像素点；其次，对暗通道图灰度值最大的像素点所在的原始图像中三通道的像素值求和，计算这些像素的均值作为光值A^c；对原始图像I局部最小运算并归一化求最小值：

I^c(y)表示原始图像，A^c表示给定的光值，τ(x)表示在局部区域Ω(x)的透射率；

其中，I^c(y)表示原始图像，A^c表示给定的光值；

进行导向滤波：

其中，q_i为导向滤波输出图像，I_i为引导图像，a_k和b_k为以像素k点为中心的邻域内邻域ω_k内的常数系数；

为了使滤波图像与输入图像偏差最小，定义E(a_k，b_k)作为代价函数；

其中，ε为正则化参数，p_i为输入图像，系数a_k和b_k由线性回归求出：

其中，|ω|是邻域ω_k内的像素总数，μ_k和σ_k ²分别为引导图像在邻域ω_k内的均值和方差，

为输入图像在邻域ω_k内的均值；在使用大小为ω_k的窗口遍历图像过程中，a_k和b_k的值是变化的，因此，求每次遍历操作a_k和b_k的均值：

综上，输出图像表达式为：

根据烟雾成像模型恢复图像亮度得到去雾图像，其中取t₀＝0.1：

其中，J(x)表示去雾图像，q(x)表示导向滤波输出图像，A表示光值，t表示透射率；

为了更全面客观地评价图像质量，结合灰度特征和纹理特征对图像进行量化，灰度均值是所有像素点灰度值的平均值，反映图像整体亮度分布情况：

其中，μ为灰度均值，M，N表示图像的宽和高，P(i,j)表示像素点(i,j)的灰度值；

标准差衡量图像整体灰度与灰度均值差异度：

其中，σ为图像标准差，M、N表示图像的宽和高，P(i,j)表示像素点(i,j)处的灰度值，μ为图像灰度均值；

信噪比反映了图像受噪声干扰导致的退化程度，图像信噪比是信号强度与噪声的标准差之比利用图像信噪比可以评价图像中有用信息的占比，从而评价图像的质量，图像信噪比值越大表明图像越干净：

其中，PSNR表示信噪比，P(i，j)表示像素点(i，j)处的灰度值，O(i，j)表示像素点(i，j)处的灰度值，MAX表示图像灰度最大值，MSE表示原图与去雾图的均方差；

S3.采集作业目标焊接标准数据，利用深度学习图像识别算法，识别各级别焊接特征模型，焊接特征模型导入系统训练作业目标识别模型，控制自动焊接机器人识别找到作业目标，并对目标需要焊接的区域部位进行扫描建图，焊接特征模型导入系统；

S4.根据附带焊接器具的机械臂的工作机理，设计机械臂移动控制算法，存入系统数据库，以适合于各种非平面不规则的作业目标；

S5.建立焊接强度、目标材质、目标效果和焊接要求对应关系，存入系统数据库，建立焊接异常情况的反馈方式；

S6.进入工作模式后，加载焊接特征模型，如有异常进行异常处理；自动焊接机器人识别作业场景，识别焊接目标，进行建图和定位，自动路径规划，行进至作业目标；

S7.自动焊接机器人对目标进行全面扫描建图，生成全覆盖焊接路径规划，开始焊接作业，焊接特征模型开始运行，判断机械臂处是否需要焊接，判断焊接后效果等级，对自动焊接机器人进行反馈控制；

S8.焊接直至结束，过程数据存入系统数据库，数据用来记录焊接过程和继续优化焊接特征模型；

所述S1中定位导航模型的构建方法为：

其中，使用基于ArUco标记的全局视觉定位方法，按照先局部定位再全局定位的思路进行，借助ArUco标记进行局部定位，再结合环境结构化地图进行全局定位，首先通过自动焊接机器人末端的单目网络摄像头采集图像信息，经无线图像传输至控制系统；针对相机成像时因为透镜形状条件的影响产生的畸变现象，引入参数进行校正，其中，使用高次多项式函数并以距中心的距离为变量描述畸变：

式中，k，r为多项式函数参数，x为多项式函数自变量，y为多项式函数因变量，x_d为横向畸变，y_d为纵向畸变；

引入p₁，p₂两个参数来对畸变进行修正：

可得到完整的畸变公式：

因此完整的畸变参数为：

D＝{k₁，k₂，p₁，p₂，k₃}；

控制系统的图像处理单元对视频画面中的ArUco标记进行识别，检测出ArUco标记的ID，并根据ID在环境结构化地图中检索出标记在世界坐标系下的矩阵表达；

其中，所述S3中利用深度学习图像识别算法，基于改进的U-NET模型，使得图像的卷积计算更为精准和高效，改进的U-NET模型详细过程如下：(1)输入数据集图像，由编码器进行图像压缩；(2)图像的压缩路径主要由4个块组成；每个块使用了3×3卷积块与一个最大池化降采样，其中降采样作用在于特征图数量翻倍；(3)第四层网络输出连接残差块，增强特征图分割效果；(4)解码器通过反卷积使特征图尺寸增大2倍，再与左侧对称的压缩路径特征图融合，在第二层解码器处加入注意力机制，增强对裂缝特征图像的提取；(5)在第一层解码器加入1×1卷积，使输出输入图像尺寸一致；

其中，所述S4中根据附带焊接器具的机械臂的工作机理，设计机械臂移动控制算法，以适合于各种非平面不规则的作业目标，采用机械臂的方式移动焊接头，机械臂上装有图像采集装置和焊接电热力装置，可以实时监控焊接过程，监控焊接效果，并对机械臂移动进行反馈控制，实现复杂形状作业目标的精准焊接，用关节-图像映射来描述机械臂关节向量θ∈Rⁿ和图像特征向量s∈R^m之间的静态关系；

τ：Rⁿ→R^m；θ→s；

由于该映射关系具有高度非线性，可对其在θ处进行雅可比线性化，以便更好地描述它们之间的速度关系：

其中，m表示关节向量的维度，n表示为图像特征向量的维度；J_s称为关节-图像雅可比矩阵；当采样周期T足够小时，微分关系描述的是增量间的线性关系，因此需将上述模型在物理空间中进行线性离散化；在某一离散时刻kT，关节向量和图像特征向量分别为θ(k)和s(k)；为了使控制系统能够稳定进行，需要利用卡尔曼滤波在线估计kT时刻的关节-图像雅可比矩阵J_s(k)，用列向量x_s(k)来表示J_s：

x_s(k)＝[J_s(k)₁，...J_s(k)_m]^T∈R^mn×1；

其中，J_s(k)的第l行用J_s(k)_{l，l，＝1，...，m}表示；

选择适当的采样周期T，能够得到J_s(x)≈J_s(k+1)，等价于x_s(k)≈x_s(k+1)，则线性连续模型的离散表达式为：

s(k+1)-s(k)≈J_s(k+1)θ(k+1)-θ(k)；

记Δs(k+1)＝s(k+1)≈J_s(k+1)θ(k+1)-θ(k)，得到其辅助动态方程，用于在线估计关节图像雅可比矩阵J_s：

其中，w_s(k)和v_s(k)分别是kT时刻的过程噪声和测量噪声，且假设它们是彼此相互独立的高斯白噪声，其中w_s(k)～Normal(0，Q_s(k))，Q_s(k)为kT时刻过程噪声协方差矩阵v_s(k)～Normal(0，R_s(k))，R_s(k)为kT时刻测量噪声协方差矩阵；H_s(k+1)为观测矩阵，其定义如下：

H_s(k+1)＝diagnal{Δθ(k+1)^T，...，Δθ(k+1)^T}；

其中，diagnal为分块对角阵；

设期望位置的图像特征向量为s*，当前位置的图像特征向量为s，于是得到系统误差e_s如下式：

e_s＝s^*-s；

代入以上公式得

设置比例控制器：

其中，u_s为控制器的输出量，对应的物理量为机器臂的关节速度；λ为比例系数；

为雅可比矩阵J_s的Penrose广义逆，当J_s列满秩时，其伪逆可由下列公式求得：

使用李雅普诺夫稳定性理论对该控制系统进行稳定性分析，构造李雅普诺夫函数：

对上式求导

由控制率知：

如果J_s可逆，则

带入上式可得:

这样保证控制器具有指数稳定性，确保了系统渐近稳定，结合雷达探测位置，从而控制机器臂的精准作业。

2.如权利要求1所述的一种基于人工智能的自动焊接机器人控制系统，其特征在于，所述S1中自动焊接机器人自主导航的具体步骤如下：

第一步：状态预测

根据系统的状态预测模型和观测模型对下一时刻自动焊接机器人的系统状态和状态协方差进行预测，同时对当前系统状态矩阵和状态协方差矩阵进行先验估计；

系统状态预测：

状态协方差预测：

其中，

表示k时刻下状态协方差矩阵先验状态估计，R(k)表示自动焊接机器人预测过程状态协方差矩阵；

为非线性系统中状态向量在转移函数中的雅可比矩阵，

为非线性系统中控制变量输入在转移函数中的雅可比矩阵：

其中，C₁＝a sin θ(k)+b cos θ(k)，c₂＝a cosθ(k)-b sinθ(k)，

第二步：观测预测

对自动焊接机器人在k时刻下的环境特征进行观测后得到观测向量Z(k)，比较k时刻与k-1时刻观测向量的差值为新息，记为τ(k)，求出k时刻新息的协方差矩阵；

第三步：状态更新

计算系统的卡尔曼增益，根据得到的实际观测值对的位姿状态进行修正，同时对系统的状态信息和协方差矩阵进行更新；

第四步：系统扩展

若在移动过程中扫描到新的特征点，将扫描到新的环境路标的特征点添加到系统状态中，设新的特征点

对构建的地图进行更新扩展，扩展后的协方差矩阵为：

其中，

和

分别表示系统增量函数对自动焊接机器人位姿和观测方程的雅可比矩阵。

Images