CN115139307B - 一种磁吸附机器人裂缝定位及跟踪方法、系统及存储介质 - Google Patents

一种磁吸附机器人裂缝定位及跟踪方法、系统及存储介质 Download PDF

Info

Publication number
CN115139307B
CN115139307B CN202211063165.4A CN202211063165A CN115139307B CN 115139307 B CN115139307 B CN 115139307B CN 202211063165 A CN202211063165 A CN 202211063165A CN 115139307 B CN115139307 B CN 115139307B
Authority
CN
China
Prior art keywords
crack
path
image
tracking
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211063165.4A
Other languages
English (en)
Other versions
CN115139307A (zh
Inventor
陶永
高赫
温宇方
黄石书
段练
刘海涛
兰江波
韩栋明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202211063165.4A priority Critical patent/CN115139307B/zh
Publication of CN115139307A publication Critical patent/CN115139307A/zh
Application granted granted Critical
Publication of CN115139307B publication Critical patent/CN115139307B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Fuzzy Systems (AREA)
  • Investigating Or Analyzing Materials By The Use Of Magnetic Means (AREA)

Abstract

本发明提供一种磁吸附机器人裂缝定位及跟踪方法、系统及存储介质，包括机器人采集裂缝图像；将图像输入至经过训练的裂缝分析定位网络，获取分析定位的裂缝二值图像；基于裂缝二值图像采用准均匀B样条曲线的裂缝修复路径预提取方法进行路径预提取；根据预提取的路径，基于混合运动模型和模型预测控制的裂缝跟踪算法进行路径跟踪。本发明解决了机器人仅沿着规划路径机器人难以对准裂缝，严重影响修复工作的进行的问题。本发明提高了对表面裂缝区域进行分析定位准确度，在保留裂缝延伸趋势的同时消除了局部干扰特征，保证了机器人的平稳运行并提高对裂缝进行跟踪精度，克服驱动系统与结构表面存在打滑影响跟踪精度的问题，保证了裂缝修复工作的顺利进行。

Description

一种磁吸附机器人裂缝定位及跟踪方法、系统及存储介质
技术领域
本发明涉及特种机器人技术领域，尤其是一种磁吸附机器人裂缝定位及跟踪方法、系统及存储介质。
背景技术
钢结构因其强度高、自重轻、抗变形能力强等特点，在超大型工程项目中正得到广泛应用。但暴露的钢结构容易产生结构锈蚀、涂层开裂、成片脱落等问题，威胁工程结构耐久性。目前主体工程结构需要人工或磁吸附机器人定期执行表面巡检任务，采用人工危险性高，磁吸附机器人能够代替人进行户外危险作业，并具有成本低效率高的特点，已经被广泛应用于钢结构表面质量检修任务中。但现有的磁吸附机器人系统分析定位准确度和运行平稳度不高，跟踪误差较大。因此，针对这一现状，迫切需要开发一种磁吸附机器人裂缝定位及跟踪方法，实现裂缝精确分析定位，运行平稳和减小跟踪误差的目的。
发明内容
为解决现有技术存在的利用磁吸附机器人在分析定位裂缝时的准确率不高，容易打滑的问题，本发明提供一种能够在精细修复阶段对表面裂缝区域进行分析定位，并对裂缝进行跟踪，保证裂缝修复工作的质量的磁吸附机器人裂缝图像定位及跟踪方法，包括：
S1：磁吸附机器人采集裂缝图像；
S2：将所述S1的裂缝图像输入至经过训练的裂缝分析定位网络，获取分析定位的第一裂缝二值图像；
S3：基于所述S2中获取的第一裂缝二值图像，采用准均匀B样条曲线的方法进行路径预提取；
S4：根据所述S3中的预提取的路径，基于混合运动模型和模型预测控制的裂缝跟踪算法进行路径跟踪。
优选地，所述S2中所述裂缝分析定位网络具体包括：基于全卷积神经网络，引入基于LCFI 的浅层信息补充模块。
优选地，所述LCFI具体内容为：LCFI模块由四个LCFI卷积块组成，该模块具有相反卷积顺序的两个并行的空间可分离卷积，将经过LCFI处理后的输出图像与当前层次深度卷积模块输出进行堆叠操作，然后再进行反卷积，形成侧输出。
优选地，所述S2中所述经过训练的裂缝分析定位网络，其中训练方式包括：
S2.1：获取训练集图像；
S2.2：对所述S2.1中的所述训练集图像中各裂缝进行标定，得到标定后的训练集图像；
S2.3：将所述S2.1中的所述训练集图像输入构建的第一初始裂缝分析定位网络中，进行分析定位，并生成对应的分析定位结果；
S2.4：根据所述S2.3中的所述分析定位结果以及所述S2.2中所述标定后的训练集图像，基于预设的损失函数，计算所述第一初始裂缝分析定位网络的模型损失；
S2.5：基于所述S2.4中的所述模型损失，对所述第一初始裂缝分析定位网络进行模型参数的调整，得到调整后的第二初始裂缝分析定位网络；
S2.6：基于预设的训练参数，对模型参数调整后的所述第二初始裂缝分析定位网络进行迭代训练，得到训练后的裂缝分析定位网络。
优选地，所述S2.4中所述的损失函数采用侧输出损失和最终融合预测损失两大函数。
优选地，所述S3中所述准均匀B样条曲线的路径预提取方法具体内容：
S3.1：对所述S2中获取的所述第一裂缝二值图像进行滤波处理，获取第二裂缝二值图像；
S3.2：求取所述S3.1中所述第二裂缝二值图像中裂缝的中点坐标；
S3.3：根据所述S3.2中所述裂缝的中点坐标求取路径控制点；
S3.4：根据准均匀B样条曲线使用所述S3.3中所述路径控制点求解路径曲线。
优选地，所述S4中所述混合运动模型具体包括：首先将磁吸附机器人结构简化为差速运动学模型，其次在原始运动学模型中加入纵向滑动和侧向滑动的修正项，最后得到所述混合运动模型。
优选地，所述S4中所述模型预测控制的裂缝跟踪算法具体包括：
S4.1：建立误差动态模型，建立连续状态方程，再采用前向欧拉公式得到离散状态方程；
S4.2：基于所述S4.1中所述离散状态方程，构建新状态向量和输出方程，进而获得未来时刻输出方程；
S4.3：设计模型预测控制的优化目标函数,将所述优化目标函数转化为二次型规划问题。
优选地，包括：
裂缝图像采集模块，被配置为采集裂缝图像；
裂缝图像分析定位模块，被配置为将裂缝图像输入至经过训练的裂缝分析定位网络，获取分析定位的第一裂缝二值图像；
路径预提取模块，被配置为将第一裂缝二值图像，采用准均匀B样条曲线的方法进行路径预提取；
路径跟踪模块，被配置为根据预提取的路径，基于混合运动模型和模型预测控制的裂缝跟踪算法进行路径跟踪。
优选地，一种存储介质，所述存储介质用于存储计算机程序，当所述计算机程序在计算机上运行时，使得计算机执行如上任一项所述的方法。
本发明解决了当前现有磁吸附机器人涂层裂缝进行精细修复时，机器人需要沿预定的运动路径进行运动，但由于定位信号和轮子与结构表面存在不可避免的打滑，仅沿着规划路径机器人难以对准裂缝，严重影响修复工作进行的问题。本发明基于裂缝分析定位网络，提出了基于LCFI 的浅层信息补充模块，以提高模型对于涂层裂缝的分析定位能力；在路径预提取时采用准均匀B 样条曲线的方法，在保留裂缝延伸趋势的同时消除了局部干扰特征，实现对裂缝区域较为准确的路径预提取，为机器人的平稳运行提供基础；设计了基于机器人运动学模型的混合运动模型的模型预测控制跟踪方法，确保了机器人路径跟踪的精度和平稳度，减少了机器人路径跟踪时的打滑问题。
附图说明
为了更清楚地说明发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是磁吸附机器人裂缝定位及跟踪方法流程图；
图2是裂缝分析定位网络图；
图3是基于LCFI 的浅层信息补充模块图；
图4是差速移动机器人模型图；
图5是第一实施例测试集结果可视化图；
图6是第一实施例测试集结果对比图；
图7是第一实施例裂缝巡检路径提取结果图；
图8是第一实施例模型预测控制跟踪控制器纵向裂缝跟踪结果图；
图9是第一实施例模型预测控制跟踪控制器斜向裂缝跟踪结果图；
图10是第一实施例与对比网络的性能对比图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例一
一种磁吸附机器人裂缝图像定位及跟踪方法，如图1所示，包括：
S1：磁吸附机器人采集裂缝图像；此处不限定采集的工具和方式，可以利用磁吸附机器人自带的相机，获取当前视野内的RGB图像或视频；也可以是通过非自带拍摄工具进行拍摄；此处如果裂缝图像过大，进行裁切图片，将图像裁切为大小相同的图片，并记录其在原图的位置；可行的，本实施例中，以大小为255×255大小的图片作为输入，输入的图片尺寸大于该大小时，对其进行分割。
S2：将S1的图像输入至经过训练的裂缝分析定位网络，如图2所示，获取分析定位的裂缝二值图像；此处裂缝分析定位网络的具体内容为基于全卷积神经网络中，引入LCFI的浅层信息补充模块，如图3所示，浅层信息补充的反卷积模块进行反卷积，有利于提高网络对于涂层裂缝的分析定位能力，将低层输出经LCFI模块处理后与下一层输出融合进行反卷积，增加了下一层次卷积对局部信息的捕获能力，从而提高网络对于裂缝区域的预测效果；其中，浅层信息补充的反卷积模块，仅将相邻两个层次的卷积结果间进行，有利于提高分析定位的速度，在获取当前层次深度卷积模块输出时，将上一层次深度卷积模块结果输入到LCFI模组，LCFI模块由四个LCFI卷积块组成，该模块具有相反卷积顺序的两个并行的空间可分离卷积，能够高效提取图像的上下文特征信息，在LCFI模块内部，四个LCFI以并联的形式相互连接，当前LCFI的输入为上一LCFI的输出和原始输入的叠加，同时，输出亦将作为下一LCFI的输入的一部分，从而在多尺度上进行图像裂缝特征提取。本实施例中，LCFI块采用了两个相反方向的空间可分卷积，可表示为：
Figure 118298DEST_PATH_IMAGE001
Figure 301017DEST_PATH_IMAGE002
其中，Fin和Flcfi分别代表LCFI模块输入输出特征；conv1和 conv2均代表普通卷积计算。convh和 convv分别代表卷积核为1*k与k*1的卷积运算；
Figure 284017DEST_PATH_IMAGE003
代表批标准化和Relu计算。
将经过LCFI处理后的输出图像与当前层次深度卷积模块输出进行堆叠操作，然后再进行反卷积，形成侧输出。可表示为
Figure 679226DEST_PATH_IMAGE004
其中
Figure 759178DEST_PATH_IMAGE005
表示侧输出，T表示反卷积计算，X表示堆叠操作，M为侧输出层序号的集合，M={1,2,3,4,5}，m为侧输出层序号特别地，当m=1时，取消堆叠操作，仅进行反卷积操作。相比与使用大卷积核进行卷积操作，空间可分卷积为大范围特征提取具备显著的有效性、可靠性以及高效性，可以更全面的提取场景特征信息。
此处不限定训练的具体方式和学习效率 ，本实施例中的训练的初始学习率为0.0001，训练具体方式为：
S2.1：获取训练集图像；此处不限定获取的方式和具体内容，也不限定获取内容的大小；
S2.2：对S2.1中训练集图像中各裂缝进行标定，得到标定后的训练集图像；此处不限制标定的方式；
S2.3：将S2.1中训练集图像输入构建的第一初始裂缝分析定位网络中，进行分析定位，并生成对应的分析定位结果；
S2.4：根据S2.3中分析定位结果以及S2.2中标定后的训练集数据，基于预设的损失函数，计算所述初始裂缝分析定位网络的模型损失；例如，计算标定的裂缝与分析定位得到的结果之间的差距，进而进行损失值的计算，此处不限定采用多种不同的损失函数进行损失计算，在本实施例中，采用了包含侧输出损失和最终融合预测损失两大部分的损失函数。侧输出损失函数由多个侧输出组成，表达为：
Figure 909536DEST_PATH_IMAGE006
Figure 176570DEST_PATH_IMAGE007
其中，
Figure 641049DEST_PATH_IMAGE008
表示 侧输出损失函数，
Figure 513190DEST_PATH_IMAGE009
表示第m个侧输出，
Figure 506554DEST_PATH_IMAGE010
表示输出的原始RGB图像，
Figure 526462DEST_PATH_IMAGE011
表示预先标定的二值化掩膜图像，W表示网络的参数，
Figure 591370DEST_PATH_IMAGE012
表示侧输出的数量，
Figure 114756DEST_PATH_IMAGE013
表示预测的图像，
Figure 810179DEST_PATH_IMAGE014
表示预测图中像素为“0”或者为“1”的概率，
Figure 255067DEST_PATH_IMAGE015
表示侧输出掩膜图像中标记为“1”的点即非裂缝的数量，
Figure 530190DEST_PATH_IMAGE016
表示侧输出掩膜图像中标记为“0”的点即裂缝的数量，
Figure 439241DEST_PATH_IMAGE017
为侧输出损失的权重系数，c0和 c1分别表示总训练集中非裂缝像素（0）和裂缝像素（1）的总数。
融合预测损失表达为：
Figure 102303DEST_PATH_IMAGE018
其中
Figure 96804DEST_PATH_IMAGE019
表示融合预测损失函数，其余各参数的含义与侧输出损失公式中含义一致。
损失函数表达为：
Figure 175618DEST_PATH_IMAGE020
其中，L表示损失函数，
Figure 876858DEST_PATH_IMAGE021
和
Figure 914084DEST_PATH_IMAGE022
分别表示侧输出损失和融合预测损失的权重系数，用于调整二者的影响以获得较好的训练效果。通过采用简单快速的损失函数计算，在保证函数可微条件的同时加快深度学习的收敛速度，以及提高收敛精度，并有效防止模型的过拟合学习和梯度消失现象，与传统的损失函数相比较，本发明的损失函数计算量小且易于编程实现。
S2.5：基于S2.4中模型损失，对第一初始裂缝分析定位网络进行模型参数的调整，得到参数调整后的第二初始裂缝分析定位网络；
S2.6：基于预设的训练参数，对第二初始裂缝分析定位网络进行迭代训练，得到训练后的裂缝分析定位网络。训练后的裂缝分析定位网络在裂缝分析定位的精度上有速度上都有所提升。
通过对比，如图5所示，测试集的结果，进一步验证本实施例中所述裂缝分析定位网络的裂缝分析定位精度，如图6所示，为裂缝分析定位网络与对比网络对相同图像的分析定位结果，通过图像对比，裂缝分析定位网络及方法在局部细节上以及抗干扰的能力具有优势。如图10所示，对网络性能进行量化比较，使用的参数指标包括：G表示全局精度（Globle Accuracy），表示正确预测的像素点百分比；C表示平均精度（Class averageaccuracy），表示所有类别的预测准确性；I/U表示交并比（IoU，Intersection of Union），衡量预测边界准确度，交并比越大表示与标签边界重合度越高，边界越准确；P表示精确率（Precision），R表示召回率（Recall）以及F表示准确率和召回率的综合得分，由于准确率和召回率存在矛盾，所以综合考虑二者对预测能力进行评估，如图10所示，裂缝分析定位网络在各项得分上均有优势。
S3：基于S2中获取的裂缝二值图像，采用准均匀B样条曲线的裂缝修复路径预提取方法进行路径预提取；考虑到机器人需要从裂缝起点运动到裂缝终点，且中点位置修复效果最佳，所以采用准均匀B样条曲线的裂缝修复路径预提取方法。获取的裂缝二值图像，首先对裂缝进行滤波处理，采用均值滤波，以消除图像中的局部噪点，然后求取所述裂缝的中点，由于修复过程中，裂缝延伸方向与磁吸附机器人前向通常是重合的，即裂缝通常与轮子轴向具有较大角度的夹角（大于45°），故对图像按行进行中点；再根据所述裂缝中点坐标求取路径控制点，最后根据准均匀B样条曲线使用所述控制点求解路径曲线。本实施例中先对裂缝修复路径进行提取，均值滤波模板大小为9*9，控制点选取步长设置为10个像素点，控制点距中点距离设置为5像素点，分别在对6条裂缝进行修复路径提取，考虑实际工作环境，选取的裂缝图像均为纵向裂纹。提取效果如图7所示，提取结果显示所提修复路径提取方法具备较好效果，获得的路径仅保留了裂缝延伸的大致趋势，而基本忽略了局部细节，满足磁吸附机器人安全运行的要求。
S4：根据S3中的预提取的路径，基于混合运动模型和模型预测控制的裂缝跟踪算法进行路径跟踪。进一步，磁吸附机器人本体为四轮差速驱动，通过控制四个电机的输出对本体运动状态进行改变。在运动过程中，由于结构的约束，四个轮子通常左右侧两轮分别具有相同的前向速度，而前后两轮分别具有相同的侧向速度，为方便控制，可简化为如图4所示的差速运动学模型。进一步检测机器人在箱梁侧面移动时，由于吸附力不足，会造成轮子在壁面发生较为严重的纵向打滑现象，纯滚动条件不满足；同时，在重力作用下，机器人在运动过程中会产生侧向的滑动；为了建立更加符合实际机器人运动的模型，在原始运动学模型中加入纵向滑动和侧向滑动的修正项。
轮子与接触面之间的纵向滑移以打滑的形式存在，滑移率是衡量这一因素的重要指标，使用这一参数对速度进行修正，有：
Figure 864723DEST_PATH_IMAGE023
发生横向滑移时，磁吸附机器人会产生横向的速度，这一速度不影响机器人纵向的速度，但会使机器人实际行进速度与原始速度方向产生一个
Figure 86843DEST_PATH_IMAGE024
的夹角，即有：
Figure 704906DEST_PATH_IMAGE025
利用这一关系进行横向误差修正，从而有：
Figure 647454DEST_PATH_IMAGE026
进一步所述模型预测控制的裂缝跟踪算法具体包括：
S4.1：建立误差动态模型，建立连续状态方程，再采用前向欧拉公式得到离散状态方程；
S4.2：基于S4.1中所述离散状态方程，构建新状态向量和输出方程，进而获得未来时刻输出方程；
S4.3：设计模型预测控制的优化目标函数,将所述优化目标函数转化为二次型规划问题。
本实施例中将路径文件保存为表格文件，然后在pycharm平台上进行裂缝巡检路径跟踪仿真实验，设置模型预测控制跟踪控制器预测步长为20步，单步时长0.2s，重力加速度取10m/s^2，运行速度为2km/h，最大加速度设为13，误差使用随机函数取值，纵向误差为（0，0.2），横向误差为（-15°，15°），纵向实验结果如图8所示，斜向实验结果如图9所示，本发明的跟踪控制器的裂缝跟踪效果较好，对跟踪误差进行量化计算，可以看到对于纵向裂纹跟踪误差最大值约为0.012m，对于斜向裂纹跟踪误差最大值约为0.018m，整体误差未超过0.02m，具有较好的跟踪效果，在实际工况下，配合修复工装，能够满足钢结构表面涂层修复的需求。
本实施例解决了当前磁吸附机器人涂层裂缝进行精细修复时，机器人需要沿预定的运动路径进行运动，但由于定位信号和轮子与结构表面存在不可避免的打滑，仅沿着规划路径机器人难以对准裂缝，严重影响修复工作进行的问题。本发明基于全卷积神经网络的裂缝分析定位网络，提出了基于LCFI 的浅层信息补充模块，以提高模型对于涂层裂缝的分析定位能力，在对裂缝分析定位网络进行训练时提出了侧输出损失和最终融合预测损失两大函数对模型进行优化，提高模型的分析定位裂缝的精确性，采用的函数可简单快速的计算，在保证函数可微条件的同时加快深度学习的收敛速度，以及提高收敛精度，并有效防止模型的过拟合学习和梯度消失现象，与传统的损失函数相比较，此损失函数计算量小且易于编程实现；在路径预提取时导向滤波，同时采用准均匀B 样条曲线的方法，在保留裂缝延伸趋势的同时消除了局部干扰特征，实现对裂缝区域较为准确的路径预提取，为机器人的平稳运行提供基础；设计了基于机器人滑转修正模型的模型预测控制跟踪方法，将磁吸附机器人结构抽象为二轮差速模型，在机器人运动学模型中加入纵向滑动和侧向滑动的修正项，且将模型预测控制转化成标准二次型规划问题，确保了机器人路径跟踪的精度和平稳度，减少了机器人路径跟踪时的打滑问题。
实施例二
一种磁吸附机器人裂缝图像定位及跟踪系统，包括：
裂缝图像采集模块，被配置为采集裂缝图像；此处不限定采集的工具和方式，可以利用磁吸附机器人自带的相机，获取当前视野内的RGB图像或视频；也可以是通过非自带拍摄工具进行拍摄；此处如果裂缝图像过大，进行裁切图片，将图像裁切为大小相同的图片，并记录其在原图的位置；可行的，本实施例中，以大小为255×255大小的图片作为输入，输入的图片尺寸大于该大小时，对其进行分割。
裂缝图像分析定位模块，被配置为将裂缝图像输入至经过训练的裂缝分析定位网络，如图2所示，获取分析定位的第一裂缝二值图像；此处裂缝分析定位网络的具体内容为基于全卷积神经网络中，引入LCFI 的浅层信息补充模块，如图3所示，浅层信息补充的反卷积模块进行反卷积，有利于提高网络对于涂层裂缝的分析定位能力，将低层输出经LCFI模块处理后与下一层输出融合进行反卷积，增加了下一层次卷积对局部信息的捕获能力，从而提高网络对于裂缝区域的预测效果；其中，浅层信息补充的反卷积模块，仅将相邻两个层次的卷积结果间进行，有利于提高分析定位的速度，在获取当前层次深度卷积模块输出时，将上一层次深度卷积模块结果输入到LCFI模组，LCFI模块由四个LCFI卷积块组成，该模块具有相反卷积顺序的两个并行的空间可分离卷积，能够高效提取图像的上下文特征信息，在LCFI模块内部，四个LCFI以并联的形式相互连接，当前LCFI的输入为上一LCFI的输出和原始输入的叠加，同时，输出亦将作为下一LCFI的输入的一部分，从而在多尺度上进行图像裂缝特征提取。本实施例中，LCFI块采用了两个相反方向的空间可分卷积，可表示为：
Figure 288651DEST_PATH_IMAGE027
Figure 974848DEST_PATH_IMAGE028
其中，Fin和Flcfi分别代表LCFI模块输入输出特征；conv1和 conv2均代表普通卷积计算。convh和 convv分别代表卷积核为1*k与k*1的卷积运算；
Figure 447417DEST_PATH_IMAGE003
代表批标准化和Relu计算。
将经过LCFI处理后的输出图像与当前层次深度卷积模块输出进行堆叠操作，然后再进行反卷积，形成侧输出。可表示为
Figure 888763DEST_PATH_IMAGE004
其中
Figure 79573DEST_PATH_IMAGE029
表示侧输出，T表示反卷积计算，X表示堆叠操作，M为侧输出层序号的集合，M={1,2,3,4,5}，m为侧输出层序号特别地，当m=1时，取消堆叠操作，仅进行反卷积操作。相比与使用大卷积核进行卷积操作，空间可分卷积为大范围特征提取具备显著的有效性、可靠性以及高效性，可以更全面的提取场景特征信息。
此处不限定训练的具体方式和学习效率 ，本实施例中的训练的初始学习率为0.0001，训练具体方式为：
S2.1：获取训练集图像；此处不限定获取的方式和具体内容，也不限定获取内容的大小；
S2.2：对S2.1中训练集图像中各裂缝进行标定，得到标定后的训练集图像；此处不限制标定的方式；
S2.3：将S2.1中训练集图像输入构建的第一初始裂缝分析定位网络中，进行分析定位，并生成对应的分析定位结果；
S2.4：根据S2.3中分析定位结果以及S2.2中标定后的训练集数据，基于预设的损失函数，计算所述初始裂缝分析定位网络的模型损失；例如，计算标定的裂缝与分析定位得到的结果之间的差距，进而进行损失值的计算，此处不限定采用多种不同的损失函数进行损失计算，在本实施例中，采用了包含侧输出损失和最终融合预测损失两大部分的损失函数。侧输出损失函数由多个侧输出组成，表达为：
Figure 303881DEST_PATH_IMAGE006
Figure 568640DEST_PATH_IMAGE030
其中，
Figure 118570DEST_PATH_IMAGE031
表示 侧输出损失函数，
Figure 531097DEST_PATH_IMAGE032
表示第m个侧输出，
Figure 152571DEST_PATH_IMAGE010
表示输出的原始RGB图像，
Figure 334154DEST_PATH_IMAGE033
表示预先标定的二值化掩膜图像，W表示网络的参数，
Figure 727089DEST_PATH_IMAGE012
表示侧输出的数量，
Figure 892491DEST_PATH_IMAGE013
表示预测的图像，
Figure 458601DEST_PATH_IMAGE014
表示预测图中像素为“0”或者为“1”的概率，
Figure 88166DEST_PATH_IMAGE034
表示侧输出掩膜图像中标记为“1”的点即非裂缝的数量，
Figure 714319DEST_PATH_IMAGE016
表示侧输出掩膜图像中标记为“0”的点即裂缝的数量，
Figure 101438DEST_PATH_IMAGE017
为侧输出损失的权重系数，c0和 c1分别表示总训练集中非裂缝像素（0）和裂缝像素（1）的总数。
融合预测损失表达为：
Figure 674502DEST_PATH_IMAGE018
其中
Figure 830677DEST_PATH_IMAGE035
表示融合预测损失函数，其余各参数的含义与侧输出损失公式中含义一致。
损失函数表达为：
Figure 627732DEST_PATH_IMAGE036
其中，L表示损失函数，
Figure 564464DEST_PATH_IMAGE037
和
Figure 737956DEST_PATH_IMAGE038
分别表示侧输出损失和融合预测损失的权重系数，用于调整二者的影响以获得较好的训练效果。通过采用简单快速的损失函数计算，在保证函数可微条件的同时加快深度学习的收敛速度，以及提高收敛精度，并有效防止模型的过拟合学习和梯度消失现象，与传统的损失函数相比较，本发明的损失函数计算量小且易于编程实现。
S2.5：基于S2.4中模型损失，对第一初始裂缝分析定位网络进行模型参数的调整，得到参数调整后的第二初始裂缝分析定位网络；
S2.6：基于预设的训练参数，对第二初始裂缝分析定位网络进行迭代训练，得到训练后的裂缝分析定位网络。训练后的裂缝分析定位网络在裂缝分析定位的精度上有速度上都有所提升。
通过对比，如图5所示，测试集的结果，进一步验证本实施例中所述裂缝分析定位网络的裂缝分析定位精度，如图6所示，为裂缝分析定位网络与对比网络对相同图像的分析定位结果，通过图像对比，裂缝分析定位网络及方法在局部细节上以及抗干扰的能力具有优势。如图10所示，对网络性能进行量化比较，使用的参数指标包括：G表示全局精度（Globle Accuracy），表示正确预测的像素点百分比；C表示平均精度（Class averageaccuracy），表示所有类别的预测准确性；I/U表示交并比（IoU，Intersection of Union），衡量预测边界准确度，交并比越大表示与标签边界重合度越高，边界越准确；P表示精确率（Precision），R表示召回率（Recall）以及F表示准确率和召回率的综合得分，由于准确率和召回率存在矛盾，所以综合考虑二者对预测能力进行评估，如图10所示，裂缝分析定位网络在各项得分上均有优势。
路径预提取模块，被配置为将第一裂缝二值图像，采用准均匀B样条曲线的方法进行路径预提取；考虑到机器人需要从裂缝起点运动到裂缝终点，且中点位置修复效果最佳，所以采用准均匀B样条曲线的裂缝修复路径预提取方法。获取的裂缝二值图像，首先对裂缝进行滤波处理，采用均值滤波，以消除图像中的局部噪点，然后求取所述裂缝的中点，由于修复过程中，裂缝延伸方向与磁吸附机器人前向通常是重合的，即裂缝通常与轮子轴向具有较大角度的夹角（大于45°），故对图像按行进行中点；再根据所述裂缝中点坐标求取路径控制点，最后根据准均匀B样条曲线使用所述控制点求解路径曲线。本实施例中先对裂缝修复路径进行提取，均值滤波模板大小为9*9，控制点选取步长设置为10个像素点，控制点距中点距离设置为5像素点，分别在对6条裂缝进行修复路径提取，考虑实际工作环境，选取的裂缝图像均为纵向裂纹。提取效果如图7所示，提取结果显示所提修复路径提取方法具备较好效果，获得的路径仅保留了裂缝延伸的大致趋势，而基本忽略了局部细节，满足磁吸附机器人安全运行的要求。
路径跟踪模块，被配置为根据预提取的路径，基于混合运动模型和模型预测控制的裂缝跟踪算法进行路径跟踪，进一步，磁吸附机器人本体为四轮差速驱动，通过控制四个电机的输出对本体运动状态进行改变。在运动过程中，由于结构的约束，四个轮子通常左右侧两轮分别具有相同的前向速度，而前后两轮分别具有相同的侧向速度，为方便控制，可简化为如图4所示的差速运动学模型。进一步检测机器人在箱梁侧面移动时，由于吸附力不足，会造成轮子在壁面发生较为严重的纵向打滑现象，纯滚动条件不满足；同时，在重力作用下，机器人在运动过程中会产生侧向的滑动；为了建立更加符合实际机器人运动的模型，在原始运动学模型中加入纵向滑动和侧向滑动的修正项。
轮子与接触面之间的纵向滑移以打滑的形式存在，滑移率是衡量这一因素的重要指标，使用这一参数对速度进行修正，有：
Figure 14217DEST_PATH_IMAGE023
发生横向滑移时，磁吸附机器人会产生横向的速度，这一速度不影响机器人纵向的速度，但会使机器人实际行进速度与原始速度方向产生一个
Figure 185435DEST_PATH_IMAGE039
的夹角，即有：
Figure 281567DEST_PATH_IMAGE025
利用这一关系进行横向误差修正，从而有：
Figure 258750DEST_PATH_IMAGE040
进一步所述模型预测控制的裂缝跟踪算法具体包括：
S4.1：建立误差动态模型，建立连续状态方程，再采用前向欧拉公式得到离散状态方程；
S4.2：基于S4.1中所述离散状态方程，构建新状态向量和输出方程，进而获得未来时刻输出方程；
S4.3：设计模型预测控制的优化目标函数,将所述优化目标函数转化为二次型规划问题。
本实施例中将路径文件保存为表格文件，然后在pycharm平台上进行裂缝巡检路径跟踪仿真实验，设置模型预测控制跟踪控制器预测步长为20步，单步时长0.2s，重力加速度取10m/s^2，运行速度为2km/h，最大加速度设为13，误差使用随机函数取值，纵向误差为（0，0.2），横向误差为（-15°，15°），纵向实验结果如图8所示，斜向实验结果如图9所示，所述跟踪控制器的裂缝跟踪效果较好，对跟踪误差进行量化计算，可以看到对于纵向裂纹跟踪误差最大值约为0.012m，对于斜向裂纹跟踪误差最大值约为0.018m，整体误差未超过0.02m，具有较好的跟踪效果，在实际工况下，配合修复工装，能够满足钢结构表面涂层修复的需求。
实施例三
本实施例提供一种计算机可读存储介质，其存储有计算机程序；当所述计算机程序被计算设备中的处理器执行时，使得计算设备执行实施例一任一所述的方法。
为了说明的目的，前述描述使用具体命名以提供对所述实施方案的透彻理解。然而，对于本领域的技术人员而言将显而易见的是，不需要具体细节即可实践所述实施方案。因此，出于例示和描述的目的，呈现了对本文所述的具体实施方案的前述描述。这些描述并非旨在是穷举性的或将实施方案限制到所公开的精确形式。对于本领域的普通技术人员而言将显而易见的是，鉴于上面的教导内容，许多修改和变型是可行的。另外，当在本文中用于指部件的位置时，上文和下文的术语或它们的同义词不一定指相对于外部参照的绝对位置，而是指部件的参考附图的相对位置。
此外，前述附图和描述包括许多概念和特征，其可以多种方式组合以实现多种有益效果和优点。因此，可组合来自各种不同附图的特征，部件，元件和/或概念，以产生未必在本说明书中示出或描述的实施方案或实施方式。此外，在任何特定实施方案和/或实施方式中，不一定需要具体附图或说明中所示的所有特征，部件，元件和/或概念。应当理解，此类实施方案和/或实施方式落入本说明书的范围。

Claims (9)

1.一种磁吸附机器人裂缝定位及跟踪方法，其特征在于：包括以下步骤：
S1：磁吸附机器人采集裂缝图像；
S2：将所述S1的裂缝图像输入至经过训练的裂缝分析定位网络，获取分析定位的第一裂缝二值图像，所述裂缝分析定位网络具体包括：基于全卷积神经网络，引入基于LCFI 的浅层信息补充模块；
S3：基于所述S2中获取的第一裂缝二值图像，采用准均匀B样条曲线的方法进行路径预提取；
S4：根据所述S3中的预提取的路径，基于混合运动模型和模型预测控制的裂缝跟踪算法进行路径跟踪。
2.根据权利要求1所述的磁吸附机器人裂缝定位及跟踪方法，其特征在于：
所述LCFI具体内容为：LCFI模块由四个LCFI卷积块组成，该模块具有相反卷积顺序的两个并行的空间可分离卷积，将经过LCFI处理后的输出图像与当前层次深度卷积模块输出进行堆叠操作，然后再进行反卷积，形成侧输出。
3.根据权利要求1所述的磁吸附机器人裂缝定位及跟踪方法，其特征在于：
所述S2中所述经过训练的裂缝分析定位网络，其中训练方式包括：
S2.1：获取训练集图像；
S2.2：对所述S2.1中的所述训练集图像中各裂缝进行标定，得到标定后的训练集图像；
S2.3：将所述S2.1中的所述训练集图像输入构建的第一初始裂缝分析定位网络中，进行分析定位，并生成对应的分析定位结果；
S2.4：根据所述S2.3中的所述分析定位结果以及所述S2.2中所述标定后的训练集图像，基于预设的损失函数，计算所述第一初始裂缝分析定位网络的模型损失；
S2.5：基于所述S2.4中的所述模型损失，对所述第一初始裂缝分析定位网络进行模型参数的调整，得到调整后的第二初始裂缝分析定位网络；
S2.6：基于预设的训练参数，对模型参数调整后的所述第二初始裂缝分析定位网络进行迭代训练，得到训练后的裂缝分析定位网络。
4.根据权利要求3所述的磁吸附机器人裂缝定位及跟踪方法，其特征在于：
所述S2.4中所述的损失函数采用侧输出损失和最终融合预测损失两大函数。
5.根据权利要求1所述的磁吸附机器人裂缝定位及跟踪方法，其特征在于：
所述S3中所述准均匀B样条曲线的路径预提取方法具体内容：
S3.1：对所述S2中获取的所述第一裂缝二值图像进行滤波处理，获取第二裂缝二值图像；
S3.2：求取所述S3.1中所述第二裂缝二值图像中裂缝的中点坐标；
S3.3：根据所述S3.2中所述裂缝的中点坐标求取路径控制点；
S3.4：根据准均匀B样条曲线使用所述S3.3中所述路径控制点求解路径曲线。
6.根据权利要求1所述的磁吸附机器人裂缝定位及跟踪方法，其特征在于：
所述S4中所述混合运动模型具体包括：首先将磁吸附机器人结构简化为差速运动学模型，其次在原始运动学模型中加入纵向滑动和侧向滑动的修正项，最后得到所述混合运动模型。
7.根据权利要求1所述的磁吸附机器人裂缝定位及跟踪方法，其特征在于：
所述S4中所述模型预测控制的裂缝跟踪算法具体包括：
S4.1：建立误差动态模型，建立连续状态方程，再采用前向欧拉公式得到离散状态方程；
S4.2：基于所述S4.1中所述离散状态方程，构建新状态向量和输出方程，进而获得未来时刻输出方程；
S4.3：设计模型预测控制的优化目标函数,将所述优化目标函数转化为二次型规划问题。
8.一种磁吸附机器人裂缝定位及跟踪系统，其特征在于，包括：
裂缝图像采集模块，被配置为采集裂缝图像；
裂缝图像分析定位模块，被配置为将裂缝图像输入至经过训练的裂缝分析定位网络，获取分析定位的第一裂缝二值图像，所述裂缝分析定位网络具体包括：基于全卷积神经网络，引入基于LCFI 的浅层信息补充模块；
路径预提取模块，被配置为将第一裂缝二值图像，采用准均匀B样条曲线的方法进行路径预提取；
路径跟踪模块，被配置为根据预提取的路径，基于混合运动模型和模型预测控制的裂缝跟踪算法进行路径跟踪。
9.一种存储介质，其特征在于：所述存储介质用于存储计算机程序，当所述计算机程序在计算机上运行时，使得计算机执行如权利要求1-7任一项所述的方法。
CN202211063165.4A 2022-08-31 2022-08-31 一种磁吸附机器人裂缝定位及跟踪方法、系统及存储介质 Active CN115139307B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211063165.4A CN115139307B (zh) 2022-08-31 2022-08-31 一种磁吸附机器人裂缝定位及跟踪方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211063165.4A CN115139307B (zh) 2022-08-31 2022-08-31 一种磁吸附机器人裂缝定位及跟踪方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN115139307A CN115139307A (zh) 2022-10-04
CN115139307B true CN115139307B (zh) 2022-11-25

Family

ID=83415384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211063165.4A Active CN115139307B (zh) 2022-08-31 2022-08-31 一种磁吸附机器人裂缝定位及跟踪方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN115139307B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697717A (zh) * 2018-12-20 2019-04-30 上海同岩土木工程科技股份有限公司 一种基于图像自动搜索的衬砌裂缝识别方法
US10783406B1 (en) * 2019-04-26 2020-09-22 Zhejiang University Method for detecting structural surface cracks based on image features and bayesian data fusion

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016090547A (ja) * 2014-11-11 2016-05-23 株式会社東芝 ひび割れ情報収集装置及びひび割れ情報を収集するためのサーバ装置
JP2016090548A (ja) * 2014-11-11 2016-05-23 株式会社東芝 ひび割れ情報収集方法及びひび割れ情報収集プログラム
US10753881B2 (en) * 2016-05-27 2020-08-25 Purdue Research Foundation Methods and systems for crack detection
US11377945B2 (en) * 2020-04-29 2022-07-05 Saudi Arabian Oil Company Method for automated crack detection and analysis using ultrasound images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697717A (zh) * 2018-12-20 2019-04-30 上海同岩土木工程科技股份有限公司 一种基于图像自动搜索的衬砌裂缝识别方法
US10783406B1 (en) * 2019-04-26 2020-09-22 Zhejiang University Method for detecting structural surface cracks based on image features and bayesian data fusion

Also Published As

Publication number Publication date
CN115139307A (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
CN111898699B (zh) 一种船体目标自动检测识别方法
CN113936004B (zh) 一种锂电池焊接质量检测方法、装置及系统
CN113239072B (zh) 一种终端设备定位方法及其相关设备
CN111383272A (zh) 一种双目视觉水果分拣并联机器人视觉盲区末端位姿检测方法
CN109389156B (zh) 一种图像定位模型的训练方法、装置及图像定位方法
CN107336231A (zh) 六自由度并联平台结构参数优化方法
CN112347900B (zh) 基于距离估计的单目视觉水下目标自动抓取方法
CN112405541B (zh) 激光3d精密切割双机器人协同作业方法
CN110986956A (zh) 一种基于改进的蒙特卡洛算法的自主学习全局定位方法
CN113420590A (zh) 弱纹理环境下的机器人定位方法、装置、设备及介质
CN116300909A (zh) 一种基于信息预处理和强化学习的机器人避障导航方法
CN115139307B (zh) 一种磁吸附机器人裂缝定位及跟踪方法、系统及存储介质
CN116595758A (zh) 一种机器人研发应用的参数化设计系统及方法
CN113269838B (zh) 一种基于fira平台的障碍物视觉检测方法
CN111553954B (zh) 一种基于直接法单目slam的在线光度标定方法
CN115116026B (zh) 一种物流搬运机器人自动循迹方法及系统
Pereira et al. Detecting docking-based structures for persistent ASVs using a volumetric neural network
CN117086877A (zh) 一种基于深度强化学习的工业机器人轴孔装配方法、装置和设备
CN116360455A (zh) 自动驾驶车辆的动态偏离补偿方法、装置、电子设备及介质
CN116383041A (zh) 用于自动驾驶仿真测试的车道线拟合方法及装置
CN116091447A (zh) 一种基于单目rgb图像的螺栓姿态估计方法
CN113177969B (zh) 一种基于运动方向变化的候选种子的点云单目标跟踪方法
CN113362388A (zh) 一种用于目标定位和姿态估计的深度学习模型
De Schaetzen et al. Efficient Ground Vehicle Path Following in Game AI
CN111091565A (zh) 一种自适应运动特征匹配与识别的弓网接触点检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant