CN115592324A - 基于人工智能的自动焊接机器人控制系统 - Google Patents

基于人工智能的自动焊接机器人控制系统 Download PDF

Info

Publication number
CN115592324A
CN115592324A CN202211616425.6A CN202211616425A CN115592324A CN 115592324 A CN115592324 A CN 115592324A CN 202211616425 A CN202211616425 A CN 202211616425A CN 115592324 A CN115592324 A CN 115592324A
Authority
CN
China
Prior art keywords
image
welding
automatic welding
welding robot
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211616425.6A
Other languages
English (en)
Other versions
CN115592324B (zh
Inventor
孙军
周伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Jun
Original Assignee
Tangshan Xiongwei Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tangshan Xiongwei Robot Co ltd filed Critical Tangshan Xiongwei Robot Co ltd
Publication of CN115592324A publication Critical patent/CN115592324A/zh
Application granted granted Critical
Publication of CN115592324B publication Critical patent/CN115592324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00—Auxiliary devices or processes, not specially adapted for a procedure covered by only one of the other main groups of this subclass
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00—Auxiliary devices or processes, not specially adapted for a procedure covered by only one of the other main groups of this subclass
    • B23K37/02—Carriages for supporting the welding or cutting element
    • B23K37/0252—Steering means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Manipulator (AREA)

Abstract

一种基于人工智能的自动焊接机器人控制系统，属于焊接自动控制领域。本发明根据作业场景的特点，收集训练图片，对图像进行采集和处理，基于深度学习算法的图像检测算法对图像信息进行模型训练，通过训练好的模型，使得自动焊接机器人可以自动识别作业场景、作业目标、根据目标状态自动控制焊接过程，自动完成焊接作业。本发明可以对焊接目标，尤其是非平面的复杂形状作业目标进行精准自动焊接。

Description

基于人工智能的自动焊接机器人控制系统
技术领域
本发明涉及焊接自动控制领域，具体地说，涉及一种基于人工智能的自动焊接机器人控制系统。
背景技术
金属焊接是工业上普遍的需求，对于简单形状的目标来说，可以采用固定式焊接机器进行焊接。但对结构复杂的非平板形焊接目标，目前主要的方法还是靠人工在固定位置焊接，工人作业环境辛苦、效率低下、标准不一致、效果不理想。随着国家智能制造理念的不断深入，人工智能技术的飞速发展，实现复杂形状结构目标自动化和智能化焊接是亟待解决的问题。为了解决这一问题，并提高自动焊接机器人的工作效率，在进行自动焊接工作时，保证自动焊接机器人能够完成所有焊缝的同时还能够寻求最优路径降低能耗，进行基于SLAM技术的自动焊接机器人定位和导航路径规划技术研究，根据位置和障碍物分布的不同，解决自动焊接机器人路径规划的问题，有效提升自动焊接机器人控制系统在路径规划问题中的自学习能力和自适应性，使得自动焊接机器人在条件受限的路径规划领域中得到了拓展。同时作业场景的特点，收集训练图片，对图像进行采集和处理，运用基于深度学习算法的改进U-NET模型图像检测算法对图像信息进行模型训练，通过训练好的模型，使得自动焊接机器人可以自动识别作业场景、作业目标、根据目标状态自动控制焊接过程，自动完成焊接作业。形成一套可持续、有效的技术方案，设计、实施了本方法。
发明内容
本发明涉及一种基于人工智能的自动焊接机器人控制系统，主要用于复杂形状结构目标自动焊接。
为实现上述目的，提供了一种基于人工智能的自动焊接机器人控制系统，包括空间识别和移动模块、图像采集和交叉验证模块，机器臂动力焊接模块；控制系统用于控制带有自动行进装置和机械臂的自动焊接机器人，通过人工智能技术，对作业场景、作业目标和作业要求进行自动识别和控制，实现自动焊接机器人可以自动移动至作业目标，自动规划路线，依据目标焊接要求自动生成相应等级的焊接作业方案，实时根据作业效果进行反馈，动态调整自动焊接机器人完成作业；
S1. 明确自动焊接机器人工作的空间环境，建立作业区定位导航模型，采用机器人定位和导航算法，通过雷达传感器进行空间识别，在此基础上，见图，定位，模型存入系统数据库；
S2. 自动焊接机器人实现移动功能后，采集作业目标数据，利用图像降噪算法获取精准的待焊接场景信息，对待焊接的场景进行定义标签和分类；
S3. 采集作业目标焊接标准数据，利用深度学习图像识别算法，识别各级别焊接特征模型，模型导入系统训练作业目标识别模型，控制自动焊接机器人识别找到作业目标，并对目标需要焊接的区域部位进行扫描见图，模型导入系统；
S4. 根据附带焊接器具的机械臂的工作机理，设计机械臂移动控制算法，存入系统数据库，以适合于各种非平面不规则的作业目标；
S5. 建立焊接强度、目标材质、目标效果和焊接要求对应关系，存入系统数据库，建立焊接异常情况的反馈方式；
S6. 进入工作模式后，加载模型，如有异常进行异常处理；自动焊接机器人识别作业场景，识别焊接目标，进行建图和定位，自动路径规划，行进至作业目标；
S7. 自动焊接机器人对目标进行全面扫描建图，生成全覆盖焊接路径规划，开始焊接作业，焊接标准模型开始运行，判断机械臂处是否需要焊接，判断焊接后效果等级，对自动焊接机器人进行反馈控制；
S8. 焊接直至结束，过程数据存入系统数据库，数据用来记录焊接过程和继续优化模型。
进一步的，所述S1中定位导航模型的构建方法为：
本发明使用一种基于ArUco标记的全局视觉定位方法，按照先局部定位再全局定位的思路进行，借助ArUco标记进行局部定位，再结合环境结构化地图进行全局定位，首先通过自动焊接机器人末端的单目网络摄像头采集图像信息，经无线图像传输至控制系统；本发明针对相机成像时因为透镜形状等各种条件的影响产生的畸变现象，引入参数进行校正，其中，使用高次多项式函数并以距中心的距离为变量描述畸变：
Figure 954113DEST_PATH_IMAGE001
式中，k、r为多项式函数参数，x为多项式函数自变量，y为多项式函数因变量，
Figure 871254DEST_PATH_IMAGE003
为横向畸变，
Figure 713308DEST_PATH_IMAGE005
为纵向畸变；
引入
Figure 108517DEST_PATH_IMAGE007
，
Figure 985206DEST_PATH_IMAGE009
两个参数来对畸变进行修正：
Figure 807669DEST_PATH_IMAGE010
可得到完整的畸变公式：
Figure 137019DEST_PATH_IMAGE001
+
Figure 335919DEST_PATH_IMAGE011
因此完整的畸变参数为：
Figure 67115DEST_PATH_IMAGE012
控制系统的图像处理单元对视频画面中的ArUco标记进行识别，检测出ArUco标记的 ID，并根据 ID 在环境结构化地图中检索出标记在世界坐标系下的矩阵表达。ArUco标记的识别与位姿估计如下：
（1）通过单目监控相机采集视觉图像，使用 RTSP 协议进行无线图像传输，并借助libvlc视频解码组件进行多线程视频解码，获得实时图像；（2）利用 Open CV 中的RGB2GRAY 算子将 RGB 图像转化为灰度图；（3）搜索所有图像中的所有候选标记，利用自适应阈值分割标记；（4）查找二值化图像中的所有轮廓，使用 Open CV 中的逼近多边形算法检测轮廓，计算轮廓周长并设定阈值以剔除大小明显超出标记大小的轮廓，筛选出外轮廓集合；（5）对图像进行透视变换，得到正视图；（6）利用最大类间差法（Otsu）进行阈值化，分离出黑白比特位，并根据编号与选用的标记字典进行匹配，获得标记的编号信息；（7）识别出标记后，利用多标记优选算法获得用于位姿估计的唯一最优标记；（8）借助 Open CV 中的 solve PaP()函数求解相机的外参。
然后在ArUco标记尺寸已知的前提下，通过点特征定位算法进行位姿估计，求解出自动焊接机器人局部位姿；最终综合环境结构化地图信息以及基于ArUco的位姿估计的信息，求解出自动焊接机器人当前绝对位姿矩阵，完成自动焊接机器人工作过程中的远程全局定位。
进一步的，所述S1中机器人定位和导航算法为：本发明使用SLAM技术，通过概率技术来解决预测估计问题，根据自动焊接机器人识别的环境特征实时的构建环境地图，并通过增量式构建环境地图的反馈调整自动焊接机器人位姿的连续过程；SLAM可概括为“预测估计”，“数据关联”，“观测更新”，“系统扩展”的求解相关概率过程；SLAM算法的实质就是系统初始状态根据状态输入信息
Figure 122795DEST_PATH_IMAGE013
和传感器观测信息
Figure 877125DEST_PATH_IMAGE014
的作用，对自动焊接机器人下一时刻位姿
Figure 676453DEST_PATH_IMAGE015
和路标信息集合
Figure 511423DEST_PATH_IMAGE016
的概率估计，可以表示为对运动路径和制图的后验估计：
Figure 941267DEST_PATH_IMAGE017
。
在己知k-1时刻自动焊接机器人的系统状态信息后，根据贝叶斯概率模型的到k时刻下对系统状态变量的后验概率估计，即：
Figure 245210DEST_PATH_IMAGE019
其中
Figure 520333DEST_PATH_IMAGE021
为常数，
Figure 226121DEST_PATH_IMAGE022
为系统过程模型，
Figure 295708DEST_PATH_IMAGE023
为系统的观测模型，
Figure 24630DEST_PATH_IMAGE024
为当前时刻位姿
Figure 517095DEST_PATH_IMAGE026
和路标信息集合
Figure 15072DEST_PATH_IMAGE028
的概率估计，
Figure 849036DEST_PATH_IMAGE030
表示O到k时刻的路标相关性集合。
SLAM的实现过程主要可以概括为以下四个部分：
（1）根据自动焊接机器人的当前状态与控制变量的输入信息对下一时刻自动焊接机器人的位姿和环境特征的位置进行预测估计；
（2）将激光雷达观测的环境数据信息进行特征提取并与系统状态信息相互关联；
（3）对激光雷达识别到的新的环境特征进行添加处理并进行系统状态观测；
（4）根据观测的数据信息对自动焊接机器人进行定位以及构建新的环境地图。
本发明采用基于数学概率基础上的卡尔曼滤波对模型状态信息进行估计，卡尔曼滤波根据当前位姿下的系统状态和输入信息来进行下一时刻状态的先验估计值，再由传感器将观测信息输入到状态预测方程得到状态的后验估计；以先验估计值和后验估计值的差值作为修正标准逐步的逼近真实值；采用在卡尔曼滤波线性估计基础上延伸得到的扩展卡尔曼滤波（Extended Kalman Filter简称EKF），通过在非线性系统估计下对其后验估计值的逐渐逼近，实现对自动焊接机器人位姿均值和误差协方差的概率估计；根据上述描述，基于EKF的自动焊接机器人导航系统中的运动学模型和观测模型可以表示为如下形式：
Figure 799675DEST_PATH_IMAGE031
其中，
Figure 744497DEST_PATH_IMAGE033
表示系统
Figure 96981DEST_PATH_IMAGE035
时刻的状态向量；
Figure 101846DEST_PATH_IMAGE037
表示系统
Figure 539780DEST_PATH_IMAGE035
时刻控制输入变量；
Figure 694818DEST_PATH_IMAGE039
表示系统
Figure 167388DEST_PATH_IMAGE035
时刻的观测方程；
Figure 671050DEST_PATH_IMAGE041
、
Figure 596281DEST_PATH_IMAGE043
分别表示系统的状态转移函数和观测函数；
Figure 882906DEST_PATH_IMAGE045
、
Figure 944403DEST_PATH_IMAGE047
分别表示系统状态过程中和观测过程的噪声，
Figure 963174DEST_PATH_IMAGE048
。
自动焊接机器人进行路径规划时，整个系统状态ｘ包含自动焊接机器人自身状态和路标的信息：
Figure 765914DEST_PATH_IMAGE049
其中，R代表自动焊接机器人的位姿状态，
Figure 793913DEST_PATH_IMAGE050
表示该时刻前观测到的n个路标信息。
控制变量输入为：
Figure 709917DEST_PATH_IMAGE051
Figure 899589DEST_PATH_IMAGE052
其中，
Figure 189625DEST_PATH_IMAGE053
分别表示自动焊接机器人的初始线速度和转动角速度，
Figure 755736DEST_PATH_IMAGE055
、
Figure 119721DEST_PATH_IMAGE057
分别表示单位时间内转动的角度和前后时刻单位周期差。
在扩展卡尔曼滤波中，系统服从高斯正态分布，进行扩展卡尔曼滤波的预测实际上也是求解系统状态均值
Figure 480295DEST_PATH_IMAGE059
和误差协方差Ｐ的最优值的过程。
Figure 601835DEST_PATH_IMAGE060
Figure 971637DEST_PATH_IMAGE061
=
Figure 252445DEST_PATH_IMAGE062
其中，
Figure 49500DEST_PATH_IMAGE064
表示自动焊接机器人自身位姿相互之间的协方差矩阵，
Figure 392757DEST_PATH_IMAGE065
表示自动焊接机器人位姿与环境特征信息之间的协方差矩阵，
Figure 566249DEST_PATH_IMAGE067
表示自动焊接机器人环境特征彼此之间的协方差矩阵。
自动焊接机器人自主导航EKF算法的具体步骤如下：
第一步：状态预测
根据系统的状态预测模型和观测模型对下一时刻自动焊接机器人的系统状态和状态协方差进行预测，同时对当前系统状态矩阵和状态协方差矩阵进行先验估计。
系统状态预测：
Figure 639247DEST_PATH_IMAGE068
误差协方差预测：
Figure 997416DEST_PATH_IMAGE069
其中，
Figure 93548DEST_PATH_IMAGE071
表示
Figure 539573DEST_PATH_IMAGE035
时刻下误差协方差矩阵先验状态估计，
Figure 404761DEST_PATH_IMAGE073
表示自动焊接机器人预测过程误差协方差矩阵；
Figure 543618DEST_PATH_IMAGE074
为非线性系统中状态向量在转移函数中的雅可比矩阵，
Figure 517259DEST_PATH_IMAGE075
为非线性系统中控制变量输入在转移函数中的雅可比矩阵。
Figure 501396DEST_PATH_IMAGE077
Figure 486669DEST_PATH_IMAGE078
其中，
Figure 796428DEST_PATH_IMAGE079
，
Figure 929469DEST_PATH_IMAGE080
，
Figure 982876DEST_PATH_IMAGE081
第二步：观测预测
对自动焊接机器人在＆时刻下的环境特征进行观测后得到观测向量Z(k)，比较k时刻与k-1时刻观测向量的差值为新息，记为
Figure 212869DEST_PATH_IMAGE083
。求出该时刻新息的协方差矩阵。
系统观测方程：
Figure 427949DEST_PATH_IMAGE084
观测路标与实际路标误差（新息）：
Figure 782707DEST_PATH_IMAGE085
新息协方差矩阵：
Figure 639805DEST_PATH_IMAGE086
其中，
Figure 396408DEST_PATH_IMAGE087
、
Figure 47969DEST_PATH_IMAGE039
分别表示观测方程在k时刻下的先验估计和后验估计；
Figure 155603DEST_PATH_IMAGE089
为观测过程的噪声协方差矩阵，
Figure 550812DEST_PATH_IMAGE090
为k时刻观测方程雅可比矩阵。
第三步：状态更新
计算系统的卡尔曼增益，根据得到的实际观测值对该时刻的位姿状态进行修正，同时对系统的状态信息和协方差矩阵进行更新。
系统状态更新：
Figure 489818DEST_PATH_IMAGE091
系统协方差矩阵更新：
Figure 577860DEST_PATH_IMAGE092
其中，
Figure 579314DEST_PATH_IMAGE094
表示k时刻下的新息协方差矩阵，
Figure 778214DEST_PATH_IMAGE096
表示k时刻下的卡尔曼增益，
Figure 243830DEST_PATH_IMAGE083
为k时刻下的新息。
第四步：系统扩展
若在移动过程中扫描到新的特征点，将扫描到新的环境路标的特征点添加到系统状态中，设新的特征点
Figure 565090DEST_PATH_IMAGE097
，对构建的地图进行更新扩展。
特征点坐标转化：
Figure 381737DEST_PATH_IMAGE098
扩展后的系统状态：
Figure 181065DEST_PATH_IMAGE099
扩展后的协方差矩阵为：
Figure 704451DEST_PATH_IMAGE100
其中，
Figure 196612DEST_PATH_IMAGE101
和
Figure 234975DEST_PATH_IMAGE102
分别表示系统增量函数对自动焊接机器人位姿和观测方程的雅可比矩阵；
进一步的，所述S1中通过雷达传感器进行空间识别的方式为：将空间识别划分为预处理阶段、粗匹配阶段、精匹配阶段；在粗匹配阶段，针对自动焊接机器人自动焊接工作运动的特点，使用基于 DSHV主体检测的粗匹配方案。在精匹配阶段，针对 ICP 配准对误差的问题，本发明使用基于形状特性改进的 ICP 算法，从而实现通过雷达传感器进行空间识别；
进一步的，所述S1中系统数据库是基于MySQL关系型数据库所建立的，可以通过Python，Java和C++主流编程语言调用后端服务器，计算机系统适用于Linux，Windows和IOS平台；
进一步的，所述S2中利用深度学习中的图像降噪算法使得工作的精准度更高，详细过程如下：
在实际焊接生产环境中，焊接过程总是伴随着不同背景的噪声，增加焊接数据误差，影响数据处理结果，滤除图像数据中的噪声对于获得真实的焊接过程数据十分重要。计算所有局部窗口最小值像素点，组成灰度图，计算图像每一通道灰度值获得原始图的暗通道，分析大量无雾图像暗通道灰度值统计结果，使得暗通道值趋于零：
Figure 775678DEST_PATH_IMAGE103
其中，J表示任一给定的图像，x表示某个像素点，Ω(x)表示以x为中心的局部窗口，y表示局部区域，c表示图像3个通道中的某一通道，
Figure 481466DEST_PATH_IMAGE105
表示暗通道成像，确定烟雾成像的模型：
Figure 816632DEST_PATH_IMAGE106
其中，I(x)为当前图像灰度，J(x)为无雾图像灰度，A是光值，t(x)是透射率。
自动估算光值，遍历暗通道图，筛选出灰度值最大的0.1%的像素点；其次，对暗通道图灰度值最大的像素点所在的原始图像中三通道的像素值求和，计算这些像素的均值作为光值
Figure 545554DEST_PATH_IMAGE108
；对原始图像I局部最小运算并归一化求最小值：
Figure 686685DEST_PATH_IMAGE109
Figure 184662DEST_PATH_IMAGE110
表示原始图像，
Figure 753047DEST_PATH_IMAGE108
表示给定的光值，
Figure 969265DEST_PATH_IMAGE112
表示在去不区域
Figure 914087DEST_PATH_IMAGE114
的透射率。
Figure 266571DEST_PATH_IMAGE115
其中，
Figure 209119DEST_PATH_IMAGE117
表示原始图像，
Figure 709370DEST_PATH_IMAGE108
表示给定的光值。
进行导向滤波：
Figure 129987DEST_PATH_IMAGE118
其中，
Figure 664874DEST_PATH_IMAGE120
为导向滤波输出图像，I i 为引导图像，ak和b k 为以像素k点为中心的邻域内邻域
Figure 512744DEST_PATH_IMAGE122
内的常数系数。
为了使滤波图像与输入图像偏差最小，定义
Figure 500292DEST_PATH_IMAGE123
作为代价函数。
Figure 724600DEST_PATH_IMAGE124
其中，
Figure 113993DEST_PATH_IMAGE126
为正则化参数，
Figure 398344DEST_PATH_IMAGE128
为输入图像，系数
Figure 873187DEST_PATH_IMAGE130
和
Figure 635607DEST_PATH_IMAGE132
由线性回归求出：
Figure 817190DEST_PATH_IMAGE133
其中，
Figure 334759DEST_PATH_IMAGE135
是邻域
Figure 234582DEST_PATH_IMAGE122
内的像素总数，
Figure 863009DEST_PATH_IMAGE137
和
Figure 899098DEST_PATH_IMAGE139
分别为引导图像在邻域
Figure 587568DEST_PATH_IMAGE122
内的均值和方差，
Figure 974687DEST_PATH_IMAGE141
为输入图像在邻域
Figure 141227DEST_PATH_IMAGE122
内的均值；在使用大小为
Figure 297401DEST_PATH_IMAGE122
的窗口遍历图像过程中，
Figure 156773DEST_PATH_IMAGE130
和
Figure 765609DEST_PATH_IMAGE132
的值是变化的，因此，求每次遍历操作
Figure 1418DEST_PATH_IMAGE142
和
Figure 12099DEST_PATH_IMAGE132
的均值:
Figure 42372DEST_PATH_IMAGE143
综上，输出图像表达式为：
Figure 138504DEST_PATH_IMAGE144
根据烟雾成像模型恢复图像亮度得到去雾图像，其中取t0=0.1：
Figure 646846DEST_PATH_IMAGE145
其中，J(x)表示去雾图像，q(x)表示导向滤波输出图像，A表示光值，t表示透射率。
为了更全面客观地评价图像质量，结合灰度特征和纹理特征对图像进行量化，灰度均值是所有像素点灰度值的平均值，反映图像整体亮度分布情况：
Figure 839930DEST_PATH_IMAGE146
其中，μ为灰度均值，M，N表示图像的宽和高，P(i,j)表示像素点(i,j)的灰度值。
标准差衡量图像整体灰度与灰度均值差异度：
Figure 978787DEST_PATH_IMAGE147
其中，σ为图像标准差，M、N表示图像的宽和高，P(i,j)表示像素点(i,j)处的灰度值，μ为图像灰度均值。
信噪比反映了图像受噪声干扰导致的退化程度；图像信噪比是信号强度与噪声的标准差之比利用该指标可以评价图像中有用信息的占比，从而评价图像的质量，该指标值越大表明图像越干净：
Figure 624532DEST_PATH_IMAGE148
其中，PSNR表示信噪比，
Figure 874248DEST_PATH_IMAGE149
表示像素点
Figure 859522DEST_PATH_IMAGE150
处的灰度值，
Figure 231597DEST_PATH_IMAGE151
表示像素点
Figure 302321DEST_PATH_IMAGE150
处的灰度值，MAX表示图像灰度最大值，MSE表示原图与去雾图的均方差。
进一步的，所述S3中利用深度学习中的图像识别算法，主要是基于改进的U-NET模型，使得图像的卷积计算更为精准和高效，改进的U-NET模型详细过程如下：（1）输入数据集图像，由编码器进行图像压缩；（2）图像的压缩路径主要由4个块组成；每个块使用了3×3卷积块与一个最大池化降采样，其中降采样作用在于特征图数量翻倍；（3）第四层网络输出连接残差块，增强特征图分割效果；（4）解码器通过反卷积使特征图尺寸增大2倍，个数减半，再与左侧对称的压缩路径特征图融合。其中在第二层解码器处加入注意力机制，增强对裂缝特征图像的提取；（5）在第一层解码器加入1×1卷积，使输出输入图像尺寸一致，本发明通过在解码器的第三层卷积模块后引入注意力机制，关注图像中的每个像素点信息，采用“寻址”模式，实现对特征信息的注意力等级，进而更好地实现图像识别效果。
进一步的，所述S4中附带焊接器具的机械臂，附带器具包括：机械臂上装有图像采集装置和焊接电热力装置，可以实时监控焊接过程，监控焊接效果，并对机械臂移动进行反馈控制。
进一步的，所述S4中机械臂移动控制算法以适合于各种非平面不规则的作业目标，采用机械臂的方式移动焊接头，实现复杂形状作业目标的精准焊接。用关节-图像映射来描述机械臂关节向量
Figure 418045DEST_PATH_IMAGE153
和图像特征向量
Figure 257825DEST_PATH_IMAGE155
之间的静态关系如下：
Figure 800802DEST_PATH_IMAGE156
由于该映射关系具有高度非线性，可对其在
Figure 93243DEST_PATH_IMAGE158
处进行雅可比线性化，以便更好地描述它们之间的速度关系：
Figure 12657DEST_PATH_IMAGE159
Figure 706944DEST_PATH_IMAGE160
其中，m表示关节向量的维度，n表示为图像特征向量的维度；
Figure 358505DEST_PATH_IMAGE162
称为关节-图像雅可比矩阵；当采样周期T足够小时，微分关系描述的是增量间的线性关系，因此需将上述模型在物理空间中进行线性离散化；在某一离散时刻kT，关节向量和图像特征向量分别为
Figure 466138DEST_PATH_IMAGE163
和s(k)；为了使控制系统能够稳定进行，需要利用卡尔曼滤波在线估计kT时刻的关节-图像雅可比矩阵
Figure 861347DEST_PATH_IMAGE165
。
根据卡尔曼滤波的原理，构造线性离散辅助动态系统，完成对
Figure 472457DEST_PATH_IMAGE162
的在线观测；用列向量
Figure DEST_PATH_IMAGE167
来表示
Figure 622816DEST_PATH_IMAGE168
：
Figure 889849DEST_PATH_IMAGE169
其中，
Figure 885487DEST_PATH_IMAGE165
的第l行用
Figure 554366DEST_PATH_IMAGE170
表示。
选择适当的采样周期T，能够得到
Figure 813309DEST_PATH_IMAGE171
，等价于
Figure 364376DEST_PATH_IMAGE172
，则线性连续模型的离散表达式为：
Figure 366967DEST_PATH_IMAGE173
记
Figure 952669DEST_PATH_IMAGE174
，得到其辅助动态方程，用于在线估计关节图像雅可比矩阵
Figure 116934DEST_PATH_IMAGE162
：
Figure 420877DEST_PATH_IMAGE175
其中，
Figure 961579DEST_PATH_IMAGE177
和
Figure DEST_PATH_IMAGE179
分别是kT时刻的过程噪声和测量噪声，且假设它们是彼此相互独立的高斯白噪声，其中
Figure 425225DEST_PATH_IMAGE180
为kT时刻过程噪声协方差矩阵
Figure 25971DEST_PATH_IMAGE181
为k T时刻测量噪声协方差矩阵。
Figure 551630DEST_PATH_IMAGE182
为观测矩阵，其定义如下：
Figure 896024DEST_PATH_IMAGE183
其中，diagnal为分块对角阵。
我们设期望位置的图像特征向量为s*，当前位置的图像特征向量为s，于是得到系统误差
Figure DEST_PATH_IMAGE185
如下式：
Figure 518635DEST_PATH_IMAGE186
代入以上公式得
Figure 24703DEST_PATH_IMAGE188
设置比例控制器：
Figure 303237DEST_PATH_IMAGE189
其中，
Figure 185743DEST_PATH_IMAGE191
为控制器的输出量，对应的物理量为机器臂的关节速度；
Figure DEST_PATH_IMAGE193
为比例系数；
Figure 600544DEST_PATH_IMAGE194
为雅可比矩阵
Figure 277513DEST_PATH_IMAGE168
的Penrose广义逆，当
Figure 777764DEST_PATH_IMAGE168
列满秩时，其伪逆可由下列公式求得：
Figure DEST_PATH_IMAGE195
使用李雅普诺夫稳定性理论对该控制系统进行稳定性分析，构造李雅普诺夫函数：
Figure 526277DEST_PATH_IMAGE196
对上式求导
Figure DEST_PATH_IMAGE197
由控制率知：
Figure 733268DEST_PATH_IMAGE198
如果
Figure 909034DEST_PATH_IMAGE162
可逆，则
Figure DEST_PATH_IMAGE199
，带入上式可得:
Figure 896582DEST_PATH_IMAGE200
这样保证控制器具有指数稳定性，确保了系统渐近稳定，结合雷达探测位置，从而控制机器臂的精准作业。
本发明有益效果：
本发明提供了一种基于人工智能的自动焊接机器人控制系统，通过人工智能技术，对作业场景、作业目标和作业要求进行自动识别和控制，研究自动焊接机器人自动控制的相关技术，分析自动焊接机器人运动特征，建立自动焊接机器人运动学模型，并根据自动焊接机器人路径规划的研究现状进行分析，从而确定对自动焊接机器人路径规划算法进行优化等相关内容；进行基于SLAM技术的自动焊接机器人定位和导航路径规划技术研究，据位置和障碍物分布的不同，解决自动焊接机器人路径规划的问题，确保自动焊接机器人能够完成所有焊缝工作的同时还能够寻求最优路径降低能耗，根据作业场景的特点，收集训练图片，对图像进行采集和处理，运用基于深度学习算法的改进U-NET模型图像检测算法对图像信息进行模型训练，建立自动焊接机器人运动学模型，利用曲面离散模型建立局部环境信息，通过不断地与环境进行交互来获得环境信息，再通过反馈的强化信号对选择执行的行动进行评价，利用不断试错和选择，解决环境模型建模不准或未知障碍物下的路径规划问题，通过训练好的模型，使得自动焊接机器人可以对焊接目标，尤其是非平面的复杂形状作业目标进行精准自动焊接，有效提升自动焊接机器人系统在路径规划问题中的自学习能力和自适应性，使得自动焊接机器人在条件受限的路径规划领域中得到拓展，实现自动焊接机器人可以自动移动至作业目标，自动规划路线，对目标焊接要求进行作业方案作业等级自动生成焊接方案，实时根据作业效果进行反馈，动态调整自动焊接机器人完成作业，本发明可实现对焊接目标，尤其是非平面的复杂形状作业目标进行精准自动焊接。
附图说明
利用附图对发明创造作进一步说明，但附图中的实施例不构成对本发明创造的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1是本发明结构示意图。
具体实施方式
结合以下实例对本发明作进一步描述。
参见图1，本发明旨在提供一种基于人工智能的自动焊接机器人控制系统，以解决上述背景技术中提出的问题。
为实现上述目的，提供了一种基于人工智能的自动焊接机器人控制系统，包括空间识别和移动模块、图像采集和交叉验证模块，机器臂动力焊接模块。控制系统用于控制带有自动行进装置和机械臂的自动焊接机器人，通过人工智能技术，对作业场景、作业目标和作业要求进行自动识别和控制，实现自动焊接机器人可以自动移动至作业目标，自动规划路线，对目标焊接要求进行作业方案作业等级自动生成焊接方案，实时根据作业效果进行反馈，动态调整自动焊接机器人完成作业。
S1. 明确自动焊接机器人工作的空间环境，建立作业区定位导航模型，采用机器人定位和导航算法，使用一种基于ArUco标记的全局视觉定位方法，按照先局部定位再全局定位的思路进行，借助ArUco标记进行局部定位，再结合环境结构化地图进行全局定位。首先通过自动焊接机器人末端的单目网络摄像头采集图像信息，经无线图像传输至控制系统。本发明针对相机成像时因为透镜形状等各种条件的影响产生的畸变现象，引入参数进行校正，其中，使用高次多项式函数并以距中心的距离为变量描述畸变：
Figure 120890DEST_PATH_IMAGE001
式中，k、r为多项式函数参数，x为多项式函数自变量，y为多项式函数因变量，
Figure 447966DEST_PATH_IMAGE003
为横向畸变，
Figure 794634DEST_PATH_IMAGE005
为纵向畸变。
引入
Figure 941581DEST_PATH_IMAGE007
，
Figure 969580DEST_PATH_IMAGE009
两个参数来对畸变进行修正：
Figure 213479DEST_PATH_IMAGE010
可得到完整的畸变公式：
Figure 668732DEST_PATH_IMAGE201
因此完整的畸变参数为：
Figure 630871DEST_PATH_IMAGE012
控制系统的图像处理单元对视频画面中的ArUco标记进行识别，检测出ArUco标记的 ID，并根据 ID 在环境结构化地图中检索出标记在世界坐标系下的矩阵表达。ArUco标记的识别与位姿估计如下：
（1）通单目监控相机采集视觉图像，使用 RTSP 协议进行无线图像传输，并借助libvlc视频解码组件进行多线程视频解码，获得实时图像；（2）利用 Open CV 中的RGB2GRAY 算子将 RGB 图像转化为灰度图；（3）搜索所有图像中的所有候选标记，利用自适应阈值分割标记；（4）查找二值化图像中的所有轮廓，使用 Open CV 中的逼近多边形算法检测轮廓，计算轮廓周长并设定阈值以剔除大小明显超出标记大小的轮廓，筛选出外轮廓集合；（5）对图像进行透视变换，得到正视图；（6）利用最大类间差法（Otsu）进行阈值化，分离出黑白比特位，并根据编号与选用的标记字典进行匹配，获得标记的编号信息；（7）识别出标记后，利用多标记优选算法获得用于位姿估计的唯一最优标记；（8）借助 Open CV 中的 solve PaP()函数求解相机的外参。
然后在ArUco标记尺寸已知的前提下，通过点特征定位算法进行位姿估计，求解出自动焊接机器人局部位姿。最终综合环境结构化地图信息以及基于ArUco的位姿估计的信息，求解出自动焊接机器人当前绝对位姿矩阵，完成自动焊接自动焊接机器人工作过程中的远程全局定位。
使用SLAM技术，通过概率技术来解决预测估计问题，根据自动焊接机器人识别的环境特征实时的构建环境地图，并通过增量式构建环境地图的反馈调整自动焊接机器人位姿的连续过程。SLAM可概括为“预测估计”，“数据关联”，“观测更新”，“系统扩展”的求解相关概率过程。SLAM算法的实质就是系统初始状态根据状态输入信息
Figure 196982DEST_PATH_IMAGE203
和传感器观测信息
Figure 233071DEST_PATH_IMAGE205
的作用，对自动焊接机器人下一时刻位姿
Figure 921541DEST_PATH_IMAGE026
和路标信息集合
Figure 43081DEST_PATH_IMAGE028
的概率估计，可以表示为对运动路径和制图的后验估计：
Figure 412883DEST_PATH_IMAGE206
。
在己知k-1时刻自动焊接机器人的系统状态信息后，根据贝叶斯概率模型的到k时刻下对系统状态变量的后验概率估计，即：
Figure 693691DEST_PATH_IMAGE018
其中
Figure 553063DEST_PATH_IMAGE021
为常数，
Figure 161899DEST_PATH_IMAGE022
为系统过程模型，
Figure 69812DEST_PATH_IMAGE023
为系统的观测模型，
Figure 142810DEST_PATH_IMAGE024
为当前时刻位姿
Figure 110766DEST_PATH_IMAGE026
和路标信息集合
Figure 269215DEST_PATH_IMAGE028
的概率估计，
Figure 980819DEST_PATH_IMAGE030
表示O到k时刻的路标相关性集合。
SLAM的实现过程主要可以概括为以下四个部分：
（1）根据自动焊接机器人的当前状态与控制变量的输入信息对下一时刻自动焊接机器人的位姿和环境特征的位置进行预测估计；
（2）将激光雷达观测的环境数据信息进行特征提取并与系统状态信息相互关联；
（3）对激光雷达识别到的新的环境特征进行添加处理并进行系统状态观测；
（4）根据观测的数据信息对自动焊接机器人进行定位以及构建新的环境地图。
本发明采用基于数学概率基础上的卡尔曼滤波对模型状态信息进行估计，卡尔曼滤波根据当前位姿下的系统状态和输入信息来进行下一时刻状态的先验估计值，再由传感器将观测信息输入到状态预测方程得到状态的后验估计。以先验估计值和后验估计值的差值作为修正标准逐步的逼近真实值。采用在卡尔曼滤波线性估计基础上延伸得到的扩展卡尔曼滤波（Extended Kalman Filter简称EKF），通过在非线性系统估计下对其后验估计值的逐渐逼近，实现对自动焊接机器人位姿均值和误差协方差的概率估计。根据上述描述，基于EKF的自动焊接机器人导航系统中的运动学模型和观测模型可以表示为如下形式：
Figure 111586DEST_PATH_IMAGE031
其中，
Figure 312760DEST_PATH_IMAGE033
表示系统
Figure 630609DEST_PATH_IMAGE035
时刻的状态向量；
Figure 145904DEST_PATH_IMAGE037
表示系统
Figure 193494DEST_PATH_IMAGE035
时刻控制输入变量；
Figure 503253DEST_PATH_IMAGE039
表示系统
Figure 370715DEST_PATH_IMAGE035
时刻的观测方程；
Figure 424122DEST_PATH_IMAGE041
、
Figure 326219DEST_PATH_IMAGE043
分别表示系统的状态转移函数和观测函数；
Figure 806878DEST_PATH_IMAGE045
、
Figure 427216DEST_PATH_IMAGE047
分别表示系统状态过程中和观测过程的噪声，
Figure 18734DEST_PATH_IMAGE048
。
自动焊接机器人进行路径规划时，整个系统状态ｘ包含自动焊接机器人自身状态和路标的信息：
Figure 978600DEST_PATH_IMAGE049
其中，R代表自动焊接机器人的位姿状态，
Figure 692478DEST_PATH_IMAGE050
表示该时刻前观测到的n个路标信息。
控制变量输入为：
Figure 472215DEST_PATH_IMAGE051
Figure 929741DEST_PATH_IMAGE052
其中，
Figure 744113DEST_PATH_IMAGE053
分别表示自动焊接机器人的初始线速度和转动角速度，
Figure 566576DEST_PATH_IMAGE055
、
Figure 895926DEST_PATH_IMAGE057
分别表示单位时间内转动的角度和前后时刻单位周期差。
在扩展卡尔曼滤波中，系统服从高斯正态分布，进行扩展卡尔曼滤波的预测实际上也是求解系统状态均值
Figure 94826DEST_PATH_IMAGE059
和误差协方差Ｐ的最优值的过程。
Figure 763705DEST_PATH_IMAGE060
Figure 819386DEST_PATH_IMAGE061
=
Figure 573715DEST_PATH_IMAGE062
其中，
Figure 638623DEST_PATH_IMAGE064
表示自动焊接机器人自身位姿相互之间的协方差矩阵，
Figure 162008DEST_PATH_IMAGE065
表示自动焊接机器人位姿与环境特征信息之间的协方差矩阵，
Figure 326273DEST_PATH_IMAGE067
表示自动焊接机器人环境特征彼此之间的协方差矩阵。
自动焊接机器人自主导航EKF算法的具体步骤如下：
第一步：状态预测
根据系统的状态预测模型和观测模型对下一时刻自动焊接机器人的系统状态和状态协方差进行预测，同时对当前系统状态矩阵和状态协方差矩阵进行先验估计。
系统状态预测：
Figure 630216DEST_PATH_IMAGE068
误差协方差预测：
Figure 170918DEST_PATH_IMAGE207
其中，
Figure 548810DEST_PATH_IMAGE208
表示
Figure 211873DEST_PATH_IMAGE035
时刻下误差协方差矩阵先验状态估计，
Figure 675215DEST_PATH_IMAGE073
表示自动焊接机器人预测过程误差协方差矩阵。
Figure 81926DEST_PATH_IMAGE074
为非线性系统中状态向量在转移函数中的雅可比矩阵，
Figure 314324DEST_PATH_IMAGE075
为非线性系统中控制变量输入在转移函数中的雅可比矩阵。
Figure 85971DEST_PATH_IMAGE209
Figure 98926DEST_PATH_IMAGE210
其中，
Figure 981431DEST_PATH_IMAGE079
，
Figure 396232DEST_PATH_IMAGE080
，
Figure 338781DEST_PATH_IMAGE081
第二步：观测预测
对自动焊接机器人在＆时刻下的环境特征进行观测后得到观测向量Z(k)，比较k时刻与k-1时刻观测向量的差值为新息，记为
Figure 776715DEST_PATH_IMAGE083
。求出该时刻新息的协方差矩阵。
系统观测方程：
Figure 525228DEST_PATH_IMAGE084
观测路标与实际路标误差（新息）：
Figure 732219DEST_PATH_IMAGE085
新息协方差矩阵：
Figure 907985DEST_PATH_IMAGE086
其中，
Figure 833216DEST_PATH_IMAGE212
、
Figure 119841DEST_PATH_IMAGE039
分别表示观测方程在k时刻下的先验估计和后验估计。
Figure 446917DEST_PATH_IMAGE089
为观测过程的噪声协方差矩阵，
Figure 465688DEST_PATH_IMAGE214
为k时刻观测方程雅可比矩阵。
第三步：状态更新
计算系统的卡尔曼增益，根据得到的实际观测值对该时刻的位姿状态进行修正，同时对系统的状态信息和协方差矩阵进行更新。
系统状态更新：
Figure 940532DEST_PATH_IMAGE091
系统协方差矩阵更新：
Figure 968531DEST_PATH_IMAGE092
其中，
Figure 212430DEST_PATH_IMAGE094
表示k时刻下的新息协方差矩阵，
Figure 667683DEST_PATH_IMAGE096
表示k时刻下的卡尔曼增益，
Figure 364243DEST_PATH_IMAGE083
为k时刻下的新息。
第四步：系统扩展
若在移动过程中扫描到新的特征点，将扫描到新的环境路标的特征点添加到系统状态中，设新的特征点
Figure 930354DEST_PATH_IMAGE097
,对构建的地图进行更新扩展。
特征点坐标转化：
Figure 294339DEST_PATH_IMAGE098
扩展后的系统状态：
Figure 920492DEST_PATH_IMAGE099
扩展后的协方差矩阵为：
Figure 104349DEST_PATH_IMAGE215
其中，
Figure 474150DEST_PATH_IMAGE101
和
Figure 630325DEST_PATH_IMAGE102
分别表示系统增量函数对自动焊接机器人位姿和观测方程的雅可比矩阵；
通过雷达传感器进行空间识别，将空间识别划分为预处理阶段、粗匹配阶段、精匹配阶段。在粗匹配阶段，针对自动焊接机器人自动焊接工作运动的特点，使用基于 DSHV主体检测的粗匹配方案。在精匹配阶段，针对 ICP 配准对误差的问题，本发明使用基于形状特性改进的 ICP 算法，从而实现通过雷达传感器进行空间识别。在此基础上，见图，定位，模型存入系统数据库，系统数据库是基于MySQL关系型数据库所建立的，可以通过Python，Java和C++主流编程语言调用后端服务器，计算机系统适用于Linux，Windows和IOS平台。
S2. 自动焊接机器人实现移动功能后，采集作业目标数据，利用图像降噪算法获取精准的待焊接场景信息，对待焊接的场景进行定义标签和分类；
在实际焊接生产环境中，焊接过程总是伴随着不同背景的噪声，增加焊接数据误差，影响数据处理结果，滤除图像数据中的噪声对于获得真实的焊接过程数据十分重要。计算所有局部窗口最小值像素点，组成灰度图，计算图像每一通道灰度值获得原始图的暗通道，分析大量无雾图像暗通道灰度值统计结果，使得暗通道值趋于零：
Figure 489697DEST_PATH_IMAGE103
其中，J表示任一给定的图像，x表示某个像素点，Ω(x)表示以x为中心的局部窗口，y表示局部区域，c表示图像3个通道中的某一通道，
Figure 98533DEST_PATH_IMAGE105
表示暗通道成像，确定烟雾成像的模型：
Figure 68763DEST_PATH_IMAGE106
其中，I(x)为当前图像灰度，J(x)为无雾图像灰度，A是光值，t(x)是透射率。
自动估算光值，遍历暗通道图，筛选出灰度值最大的0.1%的像素点；其次，对暗通道图灰度值最大的像素点所在的原始图像中三通道的像素值求和，计算这些像素的均值作为光值
Figure 79444DEST_PATH_IMAGE108
。对原始图像I局部最小运算并归一化求最小值：
Figure 109717DEST_PATH_IMAGE109
，
Figure 205849DEST_PATH_IMAGE110
表示原始图像，
Figure 979770DEST_PATH_IMAGE108
表示给定的光值，
Figure 844958DEST_PATH_IMAGE216
表示在去不区域
Figure 983815DEST_PATH_IMAGE114
的透射率。
Figure DEST_PATH_IMAGE217
其中，
Figure 629560DEST_PATH_IMAGE218
表示原始图像，
Figure DEST_PATH_IMAGE219
表示给定的光值。
进行导向滤波：
Figure 207172DEST_PATH_IMAGE118
其中，
Figure 926866DEST_PATH_IMAGE120
为导向滤波输出图像，I i 为引导图像，ak和b k 为以像素k点为中心的邻域内邻域
Figure 298942DEST_PATH_IMAGE122
内的常数系数。
为了使滤波图像与输入图像偏差最小，定义
Figure 369666DEST_PATH_IMAGE123
作为代价函数。
Figure 423073DEST_PATH_IMAGE124
其中，
Figure 325170DEST_PATH_IMAGE126
为正则化参数，
Figure 805829DEST_PATH_IMAGE128
为输入图像，系数
Figure 426167DEST_PATH_IMAGE130
和
Figure 17685DEST_PATH_IMAGE132
由线性回归求出：
Figure 711971DEST_PATH_IMAGE133
其中，
Figure 691429DEST_PATH_IMAGE135
是邻域
Figure 471166DEST_PATH_IMAGE122
内的像素总数，
Figure 928692DEST_PATH_IMAGE137
和
Figure 743064DEST_PATH_IMAGE139
分别为引导图像在邻域
Figure 565527DEST_PATH_IMAGE122
内的均值和方差，
Figure 894877DEST_PATH_IMAGE141
为输入图像在邻域
Figure 93777DEST_PATH_IMAGE122
内的均值。在使用大小为
Figure 824973DEST_PATH_IMAGE122
的窗口遍历图像过程中，
Figure 818337DEST_PATH_IMAGE130
和
Figure 634983DEST_PATH_IMAGE132
的值是变化的，因此，求每次遍历操作
Figure 371995DEST_PATH_IMAGE142
和
Figure 957697DEST_PATH_IMAGE132
的均值：
Figure 387541DEST_PATH_IMAGE143
综上，输出图像表达式为：
Figure 629167DEST_PATH_IMAGE144
根据烟雾成像模型恢复图像亮度得到去雾图像，其中取t0=0.1：
Figure 966607DEST_PATH_IMAGE145
其中，J(x)表示去雾图像，q(x)表示导向滤波输出图像，A表示光值，t表示透射率。
为了更全面客观地评价图像质量，结合灰度特征和纹理特征对图像进行量化，灰度均值是所有像素点灰度值的平均值，反映图像整体亮度分布情况：
Figure 610078DEST_PATH_IMAGE146
其中，μ为灰度均值，M，N表示图像的宽和高，P(i,j)表示像素点(i,j)的灰度值。
标准差衡量图像整体灰度与灰度均值差异度：
Figure 7561DEST_PATH_IMAGE147
其中，σ为图像标准差，M、N表示图像的宽和高，P(i,j)表示像素点(i,j)处的灰度值，μ为图像灰度均值。
信噪比反映了图像受噪声干扰导致的退化程度。图像信噪比是信号强度与噪声的标准差之比利用该指标可以评价图像中有用信息的占比，从而评价图像的质量，该指标值越大表明图像越干净：
Figure 736483DEST_PATH_IMAGE220
其中，PSNR表示信噪比，
Figure 877614DEST_PATH_IMAGE149
表示像素点
Figure 375592DEST_PATH_IMAGE150
处的灰度值，
Figure 147239DEST_PATH_IMAGE151
表示像素点
Figure 160194DEST_PATH_IMAGE150
处的灰度值，MAX表示图像灰度最大值，MSE表示原图与去雾图的均方差。
S3. 采集作业目标焊接标准数据，利用深度学习图像识别算法，主要是基于改进的U-NET模型，使得图像的卷积计算更为精准和高效，改进的U-NET模型详细过程如下：（1）输入数据集图像，由编码器进行图像压缩。（2）图像的压缩路径主要由4个块组成。每个块使用了3×3卷积块与一个最大池化降采样，其中降采样作用在于特征图数量翻倍。（3）第四层网络输出连接残差块，增强特征图分割效果。（4）解码器通过反卷积使特征图尺寸增大2倍，个数减半，再与左侧对称的压缩路径特征图融合。其中在第二层解码器处加入注意力机制，增强对裂缝特征图像的提取。（5）在第一层解码器加入1×1卷积，使输出输入图像尺寸一致，本发明通过在解码器的第三层卷积模块后引入注意力机制，关注图像中的每个像素点信息，采用“寻址”模式，实现对特征信息的注意力等级，进而更好地实现图像识别效果。识别各级别焊接特征模型，模型导入系统训练作业目标识别模型，控制自动焊接机器人识别找到作业目标，并对目标需要焊接的区域部位进行扫描见图，模型导入系统；
S4. 根据附带焊接器具的机械臂的工作机理，设计机械臂移动控制算法，以适合于各种非平面不规则的作业目标，采用机械臂的方式移动焊接头，机械臂上装有图像采集装置和焊接电热力装置，可以实时监控焊接过程，监控焊接效果，并对机械臂移动进行反馈控制，实现复杂形状作业目标的精准焊接。用关节-图像映射来描述机械臂关节向量
Figure 42699DEST_PATH_IMAGE153
和图像特征向量
Figure 457500DEST_PATH_IMAGE155
之间的静态关系如下：
Figure 400048DEST_PATH_IMAGE156
由于该映射关系具有高度非线性，可对其在
Figure 900300DEST_PATH_IMAGE158
处进行雅可比线性化，以便更好地描述它们之间的速度关系：
Figure 320917DEST_PATH_IMAGE159
Figure 793487DEST_PATH_IMAGE160
式中，m表示关节向量的维度，n表示为图像特征向量的维度，
Figure 969253DEST_PATH_IMAGE162
称为关节-图像雅可比矩阵。当采样周期T足够小时，微分关系描述的是增量间的线性关系，因此需将上述模型在物理空间中进行线性离散化。在某一离散时刻kT，关节向量和图像特征向量分别为
Figure 980238DEST_PATH_IMAGE158
(k)和s(k)。为了使控制系统能够稳定进行，需要利用卡尔曼滤波在线估计kT时刻的关节-图像雅可比矩阵
Figure 204546DEST_PATH_IMAGE221
。
根据卡尔曼滤波的原理，构造线性离散辅助动态系统，完成对
Figure 328360DEST_PATH_IMAGE162
的在线观测。用列向量
Figure 612711DEST_PATH_IMAGE167
来表示
Figure 25237DEST_PATH_IMAGE162
：
Figure 115553DEST_PATH_IMAGE169
其中，
Figure 297136DEST_PATH_IMAGE165
的第l行用
Figure 486809DEST_PATH_IMAGE170
表示。
选择适当的采样周期T，能够得到
Figure 448948DEST_PATH_IMAGE171
，等价于
Figure 15059DEST_PATH_IMAGE172
则线性连续模型的离散表达式为：
Figure 379044DEST_PATH_IMAGE173
记
Figure 739618DEST_PATH_IMAGE174
，得到其辅助动态方程，用于在线估计关节图像雅可比矩阵
Figure 126737DEST_PATH_IMAGE162
：
Figure 558856DEST_PATH_IMAGE175
其中，
Figure 449451DEST_PATH_IMAGE177
和
Figure 246506DEST_PATH_IMAGE179
分别是kT时刻的过程噪声和测量噪声，且假设它们是彼此相互独立的高斯白噪声，其中
Figure 917659DEST_PATH_IMAGE180
为kT时刻过程噪声协方差矩阵
Figure 91151DEST_PATH_IMAGE181
为k T时刻测量噪声协方差矩阵。
Figure 164149DEST_PATH_IMAGE182
为观测矩阵，其定义如下：
Figure 132105DEST_PATH_IMAGE183
其中，diagnal为分块对角阵。
我们设期望位置的图像特征向量为s*，当前位置的图像特征向量为s，于是得到系统误差
Figure 228237DEST_PATH_IMAGE185
如下式：
Figure 2158DEST_PATH_IMAGE186
代入以上公式得
Figure 867346DEST_PATH_IMAGE188
设置比例控制器：
Figure 68520DEST_PATH_IMAGE189
其中，
Figure 651949DEST_PATH_IMAGE191
为控制器的输出量，对应的物理量为机器臂的关节速度；
Figure 901664DEST_PATH_IMAGE193
为比例系数；
Figure 949255DEST_PATH_IMAGE194
为雅可比矩阵
Figure 259013DEST_PATH_IMAGE162
的Penrose广义逆，当
Figure 392054DEST_PATH_IMAGE168
列满秩时，其伪逆可由下列公式求得：
Figure 445461DEST_PATH_IMAGE195
使用李雅普诺夫稳定性理论对该控制系统进行稳定性分析，构造李雅普诺夫函数：
Figure 285241DEST_PATH_IMAGE196
对上式求导：
Figure 828218DEST_PATH_IMAGE197
由控制率知：
Figure 120659DEST_PATH_IMAGE222
如果
Figure 977757DEST_PATH_IMAGE162
可逆，则
Figure 734360DEST_PATH_IMAGE199
，带入上式可得：
Figure 385921DEST_PATH_IMAGE200
这样保证控制器具有指数稳定性，确保了系统渐近稳定，结合雷达探测位置，从而控制机器臂的精准作业。存入系统数据库，以适合于各种非平面不规则的作业目标；
S5. 建立焊接强度、目标材质、目标效果和焊接要求对应关系，存入系统数据库，建立焊接异常情况的反馈方式；
S6. 进入工作模式后，加载模型，如有异常进行异常处理；自动焊接机器人识别作业场景，识别焊接目标，进行建图和定位，自动路径规划，行进至作业目标；
S7. 自动焊接机器人对目标进行全面扫描建图，生成全覆盖焊接路径规划，开始焊接作业，焊接标准模型开始运行，判断机械臂处是否需要焊接，判断焊接后效果等级，对自动焊接机器人进行反馈控制；
S8. 焊接直至结束，过程数据存入系统数据库，数据用来记录焊接过程和继续优化模型。
本发明有益效果：
本发明提供了一种基于人工智能的自动焊接机器人控制系统，通过人工智能技术，对作业场景、作业目标和作业要求进行自动识别和控制，研究自动焊接机器人自动控制的相关技术，分析自动焊接机器人运动特征，建立机器人运动学模型，并根据自动焊接机器人路径规划的研究现状进行分析，从而确定对自动焊接机器人路径规划算法进行优化等相关内容。进行基于SLAM技术的自动焊接机器人定位和导航路径规划技术研究，据位置和障碍物分布的不同，解决自动焊接机器人路径规划的问题，确保自动焊接机器人能够完成所有焊缝工作的同时还能够寻求最优路径降低能耗，根据作业场景的特点，收集训练图片，对图像进行采集和处理，运用基于深度学习算法的改进U-NET模型图像检测算法对图像信息进行模型训练，建立自动焊接机器人运动学模型，利用曲面离散模型建立局部环境信息，通过不断地与环境进行交互来获得环境信息，再通过反馈的强化信号对选择执行的行动进行评价，利用不断试错和选择，解决环境模型建模不准或未知障碍物下的路径规划问题，通过训练好的模型，使得自动焊接机器人可以对焊接目标，尤其是非平面的复杂形状作业目标进行精准自动焊接，有效提升自动焊接机器人系统在路径规划问题中的自学习能力和自适应性，使得自动焊接机器人在条件受限的路径规划领域中得到拓展，实现自动焊接机器人可以自动移动至作业目标，自动规划路线，对目标焊接要求进行作业方案作业等级自动生成焊接方案，实时根据作业效果进行反馈，动态调整自动焊接机器人完成作业，本发明可实现对焊接目标，尤其是非平面的复杂形状作业目标进行精准自动焊接。
本发明还提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令，该指令由处理器加载并执行，以实现上述方法。其中，该计算机可读存储介质可以是ROM、随机存取存储器、CD-ROM、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。
本发明实施方式是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种基于人工智能的自动焊接机器人控制系统，其特征在于，包括空间识别和移动模块，图像采集和交叉验证模块，机器臂动力焊接模块；
所述控制系统用于控制带有自动行进装置和机械臂的自动焊接机器人，通过人工智能技术，对作业场景、作业目标和作业要求进行自动识别和控制，实现自动焊接机器人自动移动至作业目标，自动规划路线，依据目标焊接要求自动生成相应等级的焊接作业方案，实时根据作业效果进行反馈，动态调整自动焊接机器人完成作业；
所述控制系统的工作步骤如下：
S1.明确自动焊接机器人工作的空间环境，建立作业区定位导航模型，采用机器人定位和导航算法，通过雷达传感器进行空间识别，在此基础上，见图，定位，模型存入系统数据库；
S2. 自动焊接机器人实现移动功能后，采集作业目标数据，利用图像降噪算法获取精准的待焊接场景信息，对待焊接的场景进行定义标签和分类；
S3.采集作业目标焊接标准数据，利用深度学习图像识别算法，识别各级别焊接特征模型，模型导入系统训练作业目标识别模型，控制自动焊接机器人识别找到作业目标，并对目标需要焊接的区域部位进行扫描见图，模型导入系统；
S4.根据附带焊接器具的机械臂的工作机理，设计机械臂移动控制算法，存入系统数据库，以适合于各种非平面不规则的作业目标；
S5.建立焊接强度、目标材质、目标效果和焊接要求对应关系，存入系统数据库，建立焊接异常情况的反馈方式；
S6.进入工作模式后，加载模型，如有异常进行异常处理；自动焊接机器人识别作业场景，识别焊接目标，进行建图和定位，自动路径规划，行进至作业目标；
S7. 自动焊接机器人对目标进行全面扫描建图，生成全覆盖焊接路径规划，开始焊接作业，焊接标准模型开始运行，判断机械臂处是否需要焊接，判断焊接后效果等级，对自动焊接机器人进行反馈控制；
S8.焊接直至结束，过程数据存入系统数据库，数据用来记录焊接过程和继续优化模型。
2.根据权利要求1所述的基于人工智能的自动焊接机器人控制系统，其特征在于，所述S1中定位导航模型的构建方法为：
使用基于ArUco标记的全局视觉定位方法，按照先局部定位再全局定位的思路进行，借助ArUco标记进行局部定位，再结合环境结构化地图进行全局定位，首先通过自动焊接机器人末端的单目网络摄像头采集图像信息，经无线图像传输至控制系统；针对相机成像时因为透镜形状条件的影响产生的畸变现象，引入参数进行校正，其中，使用高次多项式函数并以距中心的距离为变量描述畸变：
Figure DEST_PATH_IMAGE002
式中，k，r为多项式函数参数，x为多项式函数自变量，y为多项式函数因变量，
Figure DEST_PATH_IMAGE004
为横向畸变，
Figure DEST_PATH_IMAGE006
为纵向畸变；
引入
Figure DEST_PATH_IMAGE008
，
Figure DEST_PATH_IMAGE010
两个参数来对畸变进行修正：
Figure DEST_PATH_IMAGE012
可得到完整的畸变公式：
Figure DEST_PATH_IMAGE014
因此完整的畸变参数为：
Figure DEST_PATH_IMAGE016
控制系统的图像处理单元对视频画面中的ArUco标记进行识别，检测出ArUco标记的ID，并根据 ID 在环境结构化地图中检索出标记在世界坐标系下的矩阵表达。
3.根据权利要求1所述的基于人工智能的自动焊接机器人控制系统，其特征在于，所述S1中通过雷达传感器进行空间识别的方式为将空间识别划分为预处理阶段、粗匹配阶段、精匹配阶段；在粗匹配阶段，针对自动焊接机器人自动焊接工作运动的特点，使用基于DSHV主体检测的粗匹配方案；在精匹配阶段，针对 ICP 配准对误差的问题，使用基于形状特性改进的 ICP 算法，从而实现通过雷达传感器进行空间识别。
4.根据权利要求1所述的基于人工智能的自动焊接机器人控制系统，其特征在于，所述S3中利用深度学习中的图像识别算法，是基于改进的U-NET模型，所述改进的U-NET模型详细过程如下：（1）输入数据集图像，由编码器进行图像压缩；（2）图像的压缩路径主要由4个块组成；每个块使用了3×3卷积块与一个最大池化降采样，其中降采样作用在于特征图数量翻倍；（3）第四层网络输出连接残差块，增强特征图分割效果；（4）解码器通过反卷积使特征图尺寸增大2倍，个数减半，再与左侧对称的压缩路径特征图融合，其中在第二层解码器处加入注意力机制，增强对裂缝特征图像的提取；（5）在第一层解码器加入1×1卷积，使输出输入图像尺寸一致，通过在解码器的第三层卷积模块后引入注意力机制，关注图像中的每个像素点信息，采用“寻址”模式，对特征信息的注意力进行等级确认。
5.根据权利要求1所述的基于人工智能的自动焊接机器人控制系统，其特征在于，所述S4中附带焊接器具的机械臂，附带器具包括：机械臂上装有图像采集装置和焊接电热力装置，可以实时监控焊接过程，监控焊接效果，并对机械臂移动进行反馈控制。
6.根据权利要求1所述的基于人工智能的自动焊接机器人控制系统，其特征在于，所述S4中机械臂移动控制算法以适合于各种非平面不规则的作业目标，采用机械臂的方式搭载和移动焊接头，对抗复杂形状作业目标的焊接难度。
CN202211616425.6A 2022-12-08 2022-12-16 基于人工智能的自动焊接机器人控制系统 Active CN115592324B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2022115718118 2022-12-08
CN202211571811 2022-12-08

Publications (2)

Publication Number Publication Date
CN115592324A true CN115592324A (zh) 2023-01-13
CN115592324B CN115592324B (zh) 2023-05-16

Family

ID=84854266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211616425.6A Active CN115592324B (zh) 2022-12-08 2022-12-16 基于人工智能的自动焊接机器人控制系统

Country Status (1)

Country Link
CN (1) CN115592324B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116140786A (zh) * 2023-03-06 2023-05-23 四川艾庞机械科技有限公司 搅拌摩擦焊接方法及其系统
CN116352323A (zh) * 2023-04-10 2023-06-30 深圳市贝思科尔软件技术有限公司 一种交互式的焊接环境建模系统及方法
CN116900582A (zh) * 2023-07-19 2023-10-20 西咸新区大熊星座智能科技有限公司 一种具有参数预测功能的焊接机器人
CN117260100A (zh) * 2023-11-23 2023-12-22 江苏恒康电力科技有限公司 一种变电站电力设备铁附件智能定位焊接系统
CN117369349A (zh) * 2023-12-08 2024-01-09 如特数字科技(苏州)有限公司 一种远程监测智能机器人的管理系统
CN118237825A (zh) * 2024-05-28 2024-06-25 凯沃智能装备(青岛)有限公司 一种基于人工智能的焊机方法及焊接机器人

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108620711A (zh) * 2017-03-21 2018-10-09 林肯环球股份有限公司 用于针对增材制造提供位置反馈的系统和方法
KR102034541B1 (ko) * 2018-07-10 2019-10-21 주식회사 성우하이텍 부품 조립용 로봇 시스템의 제어방법
CN113360964A (zh) * 2021-08-09 2021-09-07 武汉理工大学 一种高动态范围下汇聚式双目视觉引导的机器人定位方法
CN114049435A (zh) * 2021-11-08 2022-02-15 湖南大学 一种基于Transformer模型的三维人体重建方法及系统
CN114055021A (zh) * 2020-08-03 2022-02-18 江苏润邦新材料集团有限公司 一种应用于钛钢复合材料的智能焊接装置
CN115008093A (zh) * 2022-06-14 2022-09-06 广东天太机器人有限公司 一种基于模板识别的多焊接点焊接机器人控制系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108620711A (zh) * 2017-03-21 2018-10-09 林肯环球股份有限公司 用于针对增材制造提供位置反馈的系统和方法
KR102034541B1 (ko) * 2018-07-10 2019-10-21 주식회사 성우하이텍 부품 조립용 로봇 시스템의 제어방법
CN114055021A (zh) * 2020-08-03 2022-02-18 江苏润邦新材料集团有限公司 一种应用于钛钢复合材料的智能焊接装置
CN113360964A (zh) * 2021-08-09 2021-09-07 武汉理工大学 一种高动态范围下汇聚式双目视觉引导的机器人定位方法
CN114049435A (zh) * 2021-11-08 2022-02-15 湖南大学 一种基于Transformer模型的三维人体重建方法及系统
CN115008093A (zh) * 2022-06-14 2022-09-06 广东天太机器人有限公司 一种基于模板识别的多焊接点焊接机器人控制系统及方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116140786A (zh) * 2023-03-06 2023-05-23 四川艾庞机械科技有限公司 搅拌摩擦焊接方法及其系统
CN116140786B (zh) * 2023-03-06 2023-07-14 四川艾庞机械科技有限公司 搅拌摩擦焊接方法及其系统
CN116352323A (zh) * 2023-04-10 2023-06-30 深圳市贝思科尔软件技术有限公司 一种交互式的焊接环境建模系统及方法
CN116900582A (zh) * 2023-07-19 2023-10-20 西咸新区大熊星座智能科技有限公司 一种具有参数预测功能的焊接机器人
CN116900582B (zh) * 2023-07-19 2024-02-02 西咸新区大熊星座智能科技有限公司 一种具有参数预测功能的焊接机器人
CN117260100A (zh) * 2023-11-23 2023-12-22 江苏恒康电力科技有限公司 一种变电站电力设备铁附件智能定位焊接系统
CN117260100B (zh) * 2023-11-23 2024-03-08 江苏恒康电力科技有限公司 一种变电站电力设备铁附件智能定位焊接系统
CN117369349A (zh) * 2023-12-08 2024-01-09 如特数字科技(苏州)有限公司 一种远程监测智能机器人的管理系统
CN117369349B (zh) * 2023-12-08 2024-02-23 如特数字科技(苏州)有限公司 一种远程监测智能机器人的管理系统
CN118237825A (zh) * 2024-05-28 2024-06-25 凯沃智能装备(青岛)有限公司 一种基于人工智能的焊机方法及焊接机器人

Also Published As

Publication number Publication date
CN115592324B (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
CN115592324A (zh) 基于人工智能的自动焊接机器人控制系统
CN109035204B (zh) 一种焊缝目标实时检测方法
CN107741234B (zh) 一种基于视觉的离线地图构建及定位方法
CN109325979B (zh) 基于深度学习的机器人回环检测方法
CN110032965B (zh) 基于遥感图像的视觉定位方法
Xiao et al. A novel visual guidance framework for robotic welding based on binocular cooperation
CN106056643A (zh) 一种基于点云的室内动态场景slam方法及系统
CN112927303B (zh) 一种基于车道线的自动驾驶车载相机位姿估计方法及系统
US11703596B2 (en) Method and system for automatically processing point cloud based on reinforcement learning
CN114998276B (zh) 一种基于三维点云的机器人动态障碍物实时检测方法
Menon et al. NBV-SC: Next best view planning based on shape completion for fruit mapping and reconstruction
Maanpää et al. Multimodal end-to-end learning for autonomous steering in adverse road and weather conditions
Lin et al. Fast, robust and accurate posture detection algorithm based on Kalman filter and SSD for AGV
CN113538620A (zh) 一种面向二维栅格地图的slam建图结果评价方法
Abramov et al. A flexible modeling approach for robust multi-lane road estimation
Xiang et al. Vilivo: Virtual lidar-visual odometry for an autonomous vehicle with a multi-camera system
Lu Kalman tracking algorithm of ping-pong robot based on fuzzy real-time image
CN115830070A (zh) 一种牵引变电所巡检机器人红外激光融合定位方法
US20230245437A1 (en) Model generation apparatus, regression apparatus, model generation method, and computer-readable storage medium storing a model generation program
CN111198563B (zh) 一种用于足式机器人动态运动的地形识别方法及系统
CN110231035B (zh) 攀爬移动机器人路径引导方法
CN116681721B (zh) 一种基于视觉的直线轨迹检测与跟踪方法
CN107437071A (zh) 一种基于双黄线检测的机器人自主巡检方法
Shafique et al. Computer vision based autonomous navigation in controlled environment
CN115034987B (zh) 一种基于slam和调度系统的地图双向更新适配装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230425

Address after: No. 2, Erxiang, Yizhongbei Jiajia District, Yutian Town, Yutian County, Tangshan City, Hebei Province, 064100

Applicant after: Sun Jun

Address before: 063000 No.05, floor 1, building D4, Tangshan innovation town, no.602 Nanhu Avenue, Lunan District, Tangshan City, Hebei Province

Applicant before: Tangshan Xiongwei Robot Co.,Ltd.

GR01 Patent grant
GR01 Patent grant