CN117055639A - 一种隧道巡检机器人自适应控速方法 - Google Patents
一种隧道巡检机器人自适应控速方法 Download PDFInfo
- Publication number
- CN117055639A CN117055639A CN202311130117.7A CN202311130117A CN117055639A CN 117055639 A CN117055639 A CN 117055639A CN 202311130117 A CN202311130117 A CN 202311130117A CN 117055639 A CN117055639 A CN 117055639A
- Authority
- CN
- China
- Prior art keywords
- tunnel
- speed
- inspection robot
- image
- gaussian
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 70
- 238000009499 grossing Methods 0.000 claims description 15
- 230000001133 acceleration Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 230000033001 locomotion Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 12
- 230000001276 controlling effect Effects 0.000 description 11
- 238000009776 industrial production Methods 0.000 description 11
- 230000011218 segmentation Effects 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D13/00—Control of linear speed; Control of angular speed; Control of acceleration or deceleration, e.g. of a prime mover
- G05D13/62—Control of linear speed; Control of angular speed; Control of acceleration or deceleration, e.g. of a prime mover characterised by the use of electric means, e.g. use of a tachometric dynamo, use of a transducer converting an electric value into a displacement
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种隧道巡检机器人自适应控速方法,包括:获取巡检机器人的初始参量,基于巡检机器人采集隧道图像;基于特征点检测模型对连续两帧的隧道图像进行特征点检测得到特征点匹配结果;基于特征点匹配结果控制巡检机器人的巡检速度,获得自适应控速巡检机器人;基于自适应控速巡检机器人获取隧道全景图;基于裂纹检测模型对隧道全景图进行裂纹检测得到隧道裂纹检测结果。本发明具有较强的灵活性,能够应对多样化的工作场景和任务需求。
Description
技术领域
本发明涉及计算机视觉技术领域,特别涉及一种隧道巡检机器人自适应控速方法。
背景技术
特征点检测和速度自控模型在工业生产中有着重要的技术背景。特征点检测在工业生产中的应用非常广泛,特别是在计算机视觉和机器视觉领域。工业生产中常常需要对产品进行质量检测、零件匹配、位置定位等任务,而特征点检测可以提供关键的视觉特征信息,以实现这些任务。
特征点检测在工业生产中的应用非常广泛,特别是在计算机视觉和机器视觉领域。工业生产中常常需要对产品进行质量检测、零件匹配、位置定位等任务,而特征点检测可以提供关键的视觉特征信息,以实现这些任务。随着工业生产的自动化和数字化程度的提高,生产过程中产生的图像和视频数据量急剧增加。特征点检测技术能够高效地处理大规模的图像数据,提取出关键的特征点,为后续的分析和决策提供基础。特征点检测是计算机视觉领域的核心任务之一,随着计算机视觉算法的不断发展和改进,特征点检测算法也在不断演进和改进。随着硬件技术的不断进步,如计算能力的提升、传感器的改进等,特征点检测算法在实时性和精度方面都有了很大的提升。这使得特征点检测在工业生产中的应用更加可行和可靠。
速度自控模型在工业生产中的应用主要涉及自适应控制和自动化系统。在工业生产中,需要对生产过程进行实时的控制和调整,以满足不同的工艺要求和产品质量标准。在工业生产中,许多任务需要实时性地进行控制和调整,如自动化装配线的速度调节、机器人的路径规划和调整等。速度自控模型能够根据实际需求,实时地调整系统的运行速度,满足实时性控制的需求。速度自控模型涉及到自适应控制算法的应用,而自适应控制算法的发展和改进为速度自控模型的实现提供了技术支持。例如,模糊控制、PID控制、自适应控制等算法的应用,使得速度自控模型在工业生产中更加灵活和可靠。速度自控模型需要依靠传感器对系统状态进行实时监测,以及执行器对系统进行实时调整。随着传感器和执行器技术的改进和进步,如高精度传感器的应用、电机控制系统的改进等,使得速度自控模型能够更准确地感知和调整系统的速度。根据产品需求和生产线的实际情况,实时调节生产线的运行速度,以提高生产效率和产品质量。而在机器人领域。根据机器人当前的任务和工作环境,实时调整机器人的路径规划和运行速度,以适应不同的工作场景和任务要求。根据自动化系统的实际需求和运行状态,实时调整系统的速度和运行模式,以实现精确的控制和调节。
发明内容
为实现上述目的,本发明提供了一种隧道巡检机器人自适应控速方法。
本发明提供的一种隧道巡检机器人自适应控速方法,包括:
获取巡检机器人的初始参量,基于所述巡检机器人采集隧道图像;
基于特征点检测模型对连续两帧的隧道图像进行特征点检测得到特征点匹配结果;
基于所述特征点匹配结果控制所述巡检机器人的巡检速度,获得自适应控速巡检机器人;
基于所述自适应控速巡检机器人获取隧道全景图;
基于裂纹检测模型对所述隧道全景图进行裂纹检测得到隧道裂纹检测结果。
可选地,所述特征点检测模型采用SIFT特征点检测方法对连续两帧的隧道图像进行特征点检测,并将检测的特征点标注于隧道图像;
其中,特征点的检测过程包括:
基于所述SIFT特征点检测方法对所述隧道图像进行尺度变换得到不同尺度空间下的表示序列;
基于不同尺度空间下的表示序列构建高斯金字塔。
可选地,所述高斯金字塔包括若干组结构,所述组结构包括若干层结构;其中,基于若干所述组结构构建高斯金字塔的过程包括:
S1、设置初始高斯平滑因子,基于所述初始高斯平滑因子和高斯卷积公式得到第N组结构的第M层结构的图像;
S2、基于更新公式对所述初始高斯平滑因子进行更新,得到更新高斯平滑因子,基于所述更新高斯平滑因子和所述高斯卷积公式得到第N组结构的第M+1层结构的图像;
S3、循环执行S2得到高斯金字塔第N组结构;
S4、对所述金字塔第N组结构的图像进行下采样得到第N+1组结构的第M层结构的图像;
S5、循环执行S2-S4得到第N+1组结构;
S6、基于若干所述组结构得到高斯金字塔。
可选地,所述高斯卷积公式为:
式中,σ表示初始高斯平滑因子,G(x,y)表示点(x,y)处的高斯权重,x表示当前帧待计算权重点的横坐标,y表示当前帧待计算权重点的纵坐标,x0表示上一帧该点对应的横坐标,y0表示上一帧中该点对应的纵坐标;
所述更新公式为:
σ′=k*σ
式中,σ′表示更新后的高斯平滑因子,k表示比例系数。
可选地,所述高斯金字塔还包括差分金字塔;
基于所述差分金字塔检测特征点位置的过程包括:
获取第N组结构的第M层结构的层图像;
计算第M层结构的层图像分别与第M-1层结构的层图像、第M+1层结构的层图像的差分,得到若干差分图像;
基于若干所述差分图像得到第N组结构差分金字塔;
基于像素比较获取第N组结构差分金字塔的极值点;
对所述极值点采用二维高斯函数进行极值点相邻像素拟合得到特征点位置和特征点数量。
可选地,所述初始参量包括初始速度、加速度、数量阈值和面积阈值。
可选地,对所述巡检机器人的巡检速度进行自动控速的过程包括:
基于所述特征点进行隧道图像拼接,得到拼接图像;
计算重复图像面积在所述拼接图像中的占比,得到面积占比值;
基于所述特征点数量和所述面积占比值控制巡检机器人的巡检速度。
可选地,基于所述特征点数量和所述面积占比值控制巡检速度的条件包括:
当所述特征点数量小于所述数量阈值,则所述巡检机器人加速运动;
当所述特征点数量大于所述数量阈值且所述面积占比值大于所述面积阈值,则所述巡检机器人匀速运动;
当所述特征点数量大于所述数量阈值且所述面积占比值小于所述面积阈值,则所述巡检机器人减速运动。
可选地,巡检速度的控制公式为:
式中,v表示初始速度,α表示加速度,v′表示变换后的速度,t表示时间,n表示特征点数量,N表示数量阈值,s表示面积占比值,ε表示面积阈值。
可选地,所述裂纹检测模型包括:FCN模型、U-Net模型、SegNet模型和PSPNet模型。
本发明具有如下技术效果:
本专利提出了一种隧道巡检机器人自适应控速方法。采用了SIFT特征点提取法等图像处理的方法来构建特征金字塔从而实现裂纹特征提取。SIFT能够在不同尺度和旋转条件下保持稳定性,并且对光照变化和视角变化也具有一定的鲁棒性。SIFT算法能够准确地检测出关键点,这些关键点在图像中具有独特性,能够代表图像中的重要特征。这使得特征点匹配模型能够在复杂的场景中有效地找到匹配的特征点,实现高精度的图像匹配。SIFT算法具有尺度不变性,即无论目标在图像中的尺寸大小如何变化,SIFT算法都能够检测出对应的关键点。这使得特征点匹配模型在处理多尺度图像时具有优势,能够处理不同尺寸的目标物体。SIFT算法对于图像中的旋转变化也具有不变性,能够检测出具有相同特征的关键点。这使得特征点匹配模型能够在旋转变换下实现准确的匹配,对于物体的旋转姿态估计具有较好的效果。SIFT算法在光照变化和视角变化等情况下也能够保持较好的鲁棒性。这使得特征点匹配模型能够在不同环境下适应性强,对于光照变化和视角变化较大的场景中的特征点匹配具有较好的效果。
速度自控是一种自适应控制方法,可以根据系统当前状态和外部环境实时调整系统的运行速度,以达到更好的性能和效果。速度自控模型能够根据系统当前状态实时地调整运行速度。这使得系统能够及时响应变化,减少响应延迟,并能够处理实时性要求较高的任务。速度自控模型能够根据系统负载情况和任务要求,动态地调整运行速度。通过合理地分配资源,可以最大限度地提高系统的效率和性能,实现资源的优化利用。速度自控模型能够根据外部环境变化实时地调整运行速度,使系统在不同的工作条件下保持稳定。这使得系统能够适应环境的变化,提高系统的稳定性和可靠性。速度自控模型能够根据系统需求动态地调整运行速度,以适应不同的任务要求。这使得系统具有较强的灵活性,能够应对多样化的工作场景和任务需求。
特征点匹配模型采用SIFT特征点检测算法具有高精度、尺度不变性、旋转不变性和鲁棒性等技术效果。而速度自控模型则能够实现实时性、资源优化、稳定性和灵活性等技术效果。这些技术效果使得这两个模型在计算机视觉和自适应控制等领域具有广泛的应用前景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中的高斯金字塔结构示意图;
图2为本发明实施例中的差分金字塔结构示意图;
图3为本发明实施例中的整体流程图;
图4为本发明实施例中小车采集到的实景图;
图5为本发明实施例中对采集到的图像进行特征点检测;
图6为本发明实施例中小车不同速度下采集到的图片样本;
图7为本发明实施例中例一采集到的相邻帧图片;
图8为本发明实施例中例二采集到的相邻帧图片及拼接结果;
图9为本发明实施例中例三采集到的相邻帧图片及拼接结果;
图10为本发明实施例中例四采集到的相邻帧图像。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
缺陷检测作为计算机视觉领域内一个重要的研究方向,对于提高生产效率、降低生产成本、解放生产力等方面具有重要意义。隧道裂纹作为隧道安全隐患表现因素之一,准确、实时、高效的裂纹监管具有十分重要的商业价值。本实施例公开了一种隧道巡检机器人自适应控速方法,主要分为以下三个部分:
1、特征点匹配模型
SIFT特征点检测是一种用于在图像中检测和描述局部特征的算法。SIFT可以对原图像进行尺度变换,从而获得在不同尺度空间下的表示序列。在获得输入图像之后,对图片采用高斯卷积进行变换,从而构建出高斯金字塔。高斯卷积公式为:
在SIFT算子中,通常将第一组第一层的取固定值1.6。而后通过人为设定一个比例系数,依据公式(2)更新参数获得新的,将带入公式(1),获得高斯金字塔第一组第二层的结果。重复迭代上述步骤,即可完成高斯金字塔第一组的构建。
σ′=k*σ (2)
完成第一组的构建后,将第一组最后三层图像作比例因子为2的下采样,从而获取图像第二组第一层的图像,重复第一组的操作即可完成高斯金字塔第二组的构建。重复迭代上述步骤,即可构建出一个完整的、保留了各个尺度空间特征的高斯金字塔。其结构图如图1所示。
在高斯金字塔中,同一组中的各层图像由于并未进行下采样,因此图片的尺寸大小是相同的。只是由于采用的高斯平滑因子不相同,因此可以获得不同维度的特征。而由于连续组之间采用的是比例因子为2的下采样,因此相邻组后组的图像大小为前组图像大小的一半。
为了能够检测出各个尺度空间下的特征,在每个尺度级别上,通过计算相邻两层图像的差分,得到差分图像。差分图像反映了图像中的局部强度变化情况。具体而言,对于高斯金字塔的每个层级,我们可以计算该层图像和其相邻上下层图像的差分,得到一个差分图像。这些差分图像构成了差分金字塔。其示意图如图2所示。
差分图像反映了图像中的局部强度变化情况。具体而言,对于高斯金字塔的每个层级,我们可以计算该层图像和其相邻上下层图像的差分,得到一个差分图像。这些差分图像构成了差分金字塔。
差分金字塔的主要目的是检测出具有较强梯度变化的局部极值点,即在尺度空间中具有极值特征的位置。为了找到这些极值点,需要在每个差分金字塔层级上比较每个像素与其相邻像素的强度值。对于每个像素,比较它与其8个相邻像素(在同一层级)以及其相邻上下层级的9个像素。如果该像素是这些像素中的最大值或最小值,则认为它是一个极值点。还要设置一个阈值,以过滤掉较低的强度差异,只保留较明显的极值点。
在找到极值点后,需要对其进行更精确的定位,以获得更准确的特征点位置和尺度信息。这可以通过拟合极值点周围像素的二维高斯函数来实现。拟合后,可以计算出特征点的精确位置、尺度以及其在尺度空间中的响应值。
2、速度自控模型
数量足够、细节还原较多的高质量图像很大程度上会直接影响图像拼接的效果。为了更好的控制无人驾驶车对于信息量包含较大的区域重复多次进行采样,本发明提出一种通过特征区域重复面积控制小车移动速度,进而提升收集到的照片的有效性。
给定小车初始速度v,并控制小车匀速运动。设定拍照间隔时间为t,从而进行相片采样任务。对于拍摄到的相邻相片,首先对它们进行特征检测,统计特征点个数n,根据特征点进行拼接,计算重复区域面积占图像总面积的占比s。将n,s与人工给定阈值N,ε进行对比。
若特征点个数n>N且s>ε,则判断该区域有较多的特征信息且当前速度可以收集到足够的信息特征,故控制小车匀速行驶;
若特征点个数n<N,则判断该区域含有的特征信息较少,且当前速度较慢,需加速前进,故控制小车加速运动;
若特征点个数n>N且s<ε,则判断该区域有较多的特征信息且当前速度过快导致不足以采集到足够多的细节特征,因此要控制小车减速运动;
若特征点个数n<N,则判断该区域含有的特征信息较少,需加速前进,故控制小车做加速运动。
控制过程如公式3所示。
式中α为人工设置的加速度,v′为变换后的速度。
3、裂纹检测模型
本实施例提出了一种隧道巡检机器人自适应控速方法,使用自动控速模型完成对无人驾驶汽车的移动速度进行控制,并使用不同的裂纹检测模型对拼接获得的图片进行检测,对比各模型的检测效果,并最终返回裂纹信息,其基本步骤如下:
Steps 1将摄像头安装于无人小车上,人工给定小车初始速度v,设置特征点数量阈值N和面积阈值ε。人工设定相机自动拍照时间间隔t;
Steps 2.1将相机采集到的连续两帧图像输入到特征点检测模型中,分别对两帧图像进行特征点检测,统计特征点的个数;
Steps 2.2若连续两帧图像检测出的特征点个数小于阈值N,则控制传感器控制小车加速运动,并转向Steps 3;
Steps 2.3若连续两帧图像检测出的特征点个数大于阈值N,且匹配后重复区域面积在整张图片中所占比例小于面积阈值S,则控制小车减速运动,并转向Steps 3;
Steps 2.4若连续两帧图像检测出的特征点个数大于N,且匹配后重复区域面积在整张图片中所占比例大于面积阈值S,则控制小车匀速运动,并转向Steps3。
Steps 3.判断小车是否走完整个隧道,若依然处在隧道中,则小车并未收集完隧道壁的全部信息,转向Steps 2.1;若小车已经离开隧道,采集完了隧道壁的全部图像信息,则转向Steps 4。
Steps 4.对小车采集到的图像完成拼接,获得隧道的全景图,并将图像输入到裂纹检测模型中去,对比各种不同模型的裂纹检测结果;
Steps 5.输出裂纹信息,返回检测结果。
其整体流程图如图3所示。
其中,FCN、U-Net、SegNet、PSPNet等模型均可被用于作为裂纹检测的模型。FCN是一种用于图像分割任务的深度学习架构,它专门设计用于对输入图像的每个像素进行分类,从而实现像素级的图像分割。与传统的卷积神经网络不同,FCN完全由卷积层组成,没有全连接层。这使得FCN能够接受任意尺寸的输入图像,同时也能输出与输入图像相同尺寸的分割结果。在裂纹检测任务中,FCN可以被用来将输入图像中的每个像素进行分类,因此其能够在裂纹检测等领域实现高质量的分割结果。
U-Net的主要特征是其U形的拓扑结构,其中包含一个下采样(编码器)路径和一个上采样(解码器)路径。这种结构允许网络同时捕获图像中的细节和全局上下文信息。U-Net使用跳跃连接将编码器和解码器的相应层连接起来。这些连接有助于将细节特征传递给解码器,以提高分割的精度。在裂纹检测任务中,U-Net可以对每个像素进行分类。由于其U形结构和跳跃连接机制,U-Net能够同时关注图像的细节和全局上下文,因此适用于需要考虑不同尺度裂纹的情况。
SegNet是一种针对语义分割任务设计的深度学习架构,它主要用于将图像中的每个像素分为不同的类别,适用于裂纹检测等分割任务。SegNet采用编码器-解码器的结构,其中编码器用于提取图像中的特征,解码器用于生成分割结果。编码器通过卷积和池化层逐步降低特征图的尺寸和维度,同时提取高级特征。解码器则通过上采样操作逐步恢复分割结果的分辨率。在裂纹检测任务中,SegNet可以被用来将输入图像中的每个像素进行分类。SegNet的编码器-解码器结构以及池化索引传递机制使其在处理图像分割任务时表现出色,特别适用于需要保留细节信息的任务。
PSPNet(Pyramid Scene Parsing Network)是一种用于图像语义分割的深度学习架构,它专门设计用于对图像中的不同场景和对象进行像素级别的分类,也适用于裂纹检测等分割任务。PSPNet引入了金字塔池化机制,用于捕捉不同尺度的上下文信息。通过在不同尺度下对特征图进行池化操作,PSPNet能够获取局部和全局上下文信息,从而提高图像语义分割的精度。PSPNet采用编码器-解码器的结构,其中编码器负责提取图像中的特征,解码器用于生成分割结果。与此同时,金字塔池化的特征也被引入到解码器中,以提供多尺度的上下文信息。因此PSPNet的多尺度上下文信息捕获和空洞卷积机制使其在处理图像分割任务时表现出色,特别适用于需要考虑不同尺度裂纹的情况。
实施例二
本专利提出了一种基于图像检测技术的隧道巡检机器人自适应控速方法。主要思路是首先对图像进行特征点检测,统计特征点数量并计算重复区域面积在总面积中的占比,对比数量阈值和面积阈值,从而控制小车的运行速度,并将采集的图像进行拼接,对比不同模型对于裂纹检测的效果,返回检测最准确的结果。
在项目中首先要给小车设定初始速度及加速度、数量阈值和面积阈值,图4分别展示了小车进入隧道前以及小车处在隧道中时相机拍摄到的画面。
如图5所示,对图像采用SIFT特征点检测方法进行特征点检测,并将获取到的特征点在原图中进行标注。根据采集到的特征点个数从而对小车目前状态及下一步要进行的操作进行判断及控制,从而实现自动控速完成检测任务。
如图6所示,通过统计特征点个数,并计算拼接后重复区域在图像总面积中的占比。对比数量阈值和面积阈值,控制小车的运动状态,从而实现当小车处在存在裂纹或裂纹较多区域时减速前进,采集更多裂纹细节,从而有助于更好还原全景图细节,而当小车处在裂纹较少的区域时少存储一些照片,节省存储空间降低成本的同时提升工作效率缩短检测时间。
当小车离开隧道区域时,则说明隧道信息采样完毕,即可通过之前检测到的特征点来对图像进行拼接,从而获得隧道的全景图。将隧道的全景图输入到裂纹检测模型中去,完成裂纹检测。
例一:给定小车的初始速度为v=5m/s,人工设定特征点阈值为T=1000,加速度α=1m/s2,面积比阈值ε=0.6。通过SIFT特征点检测获得的特征点个数为1226,计算出该图像与上一帧图像之间重复面积的占比为0.4,由于特征点的个数大于阈值且实际面积占比小于面积占比阈值,因此可以判断小车此时速度较快,无法获得足够的特征信息,会导致拼接失败,带入公式(3)求得小车的速度为:6m/s。采集到的图片如图7所示。
例二:给定小车的初始速度为v=3m/s,人工设定特征点阈值为T=1500,加速度α=0.25m/s2,面积比阈值ε=0.6。通过SIFT特征点检测获得的特征点个数为1226,计算出该图像与上一帧图像之间重复面积的占比为0.8,由于特征点个数小于阈值且重复面积占比大于面积比阈值,可以判断小车此时速度较慢且区域内特征信息相对较少,需要加速前进,带入公式(3)求得小车的速度为:3.25m/s。采集图片的拼接效果图如图8所示。
例三:给定小车的初始速度为v=8m/s,人工设定特征点阈值为T=1200,加速度α=0.8m/s2,面积比阈值ε=0.6。通过SIFT特征点检测获得的特征点个数为1312,计算出该图像与上一帧图像之间重复面积的占比为0.4,由于特征点个数大于阈值且重复面积占比小于面积比阈值,可以判断小车行驶的此区域内特征信息较多,但由于面积比占比较低,可以判断小车速度较为合理,足以采集足够细节用于拼接,因此小车可以维持当前速度。不需要加速或减速。采集图片的拼接效果图如图9所示。
例四:给定小车的初始速度为v=1.5m/s,人工设定特征点阈值为T=900,加速度α=0.2m/s2,面积比阈值ε=0.6。通过SIFT特征点检测获得的特征点个数为56,计算出该图像与上一帧图像之间重复面积的占比为0.64,由于特征点个数小于阈值且重复面积占比大于面积比阈值,可以判断小车此时速度较慢且区域内特征信息相对较少,需要加速前进。带入公式,小车的速度可能为:4.65m/s。采集到的图片如图10所示。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (10)
1.一种隧道巡检机器人自适应控速方法,其特征在于,包括:
获取巡检机器人的初始参量,基于所述巡检机器人采集隧道图像;
基于特征点检测模型对连续两帧的隧道图像进行特征点检测得到特征点匹配结果;
基于所述特征点匹配结果控制所述巡检机器人的巡检速度,获得自适应控速巡检机器人;
基于所述自适应控速巡检机器人获取隧道全景图;
基于裂纹检测模型对所述隧道全景图进行裂纹检测得到隧道裂纹检测结果。
2.根据权利要求1所述的隧道巡检机器人自适应控速方法,其特征在于,所述特征点检测模型采用SIFT特征点检测方法对连续两帧的隧道图像进行特征点检测,并将检测的特征点标注于隧道图像;
其中,特征点的检测过程包括:
基于所述SIFT特征点检测方法对所述隧道图像进行尺度变换得到不同尺度空间下的表示序列;
基于不同尺度空间下的表示序列构建高斯金字塔。
3.根据权利要求2所述的隧道巡检机器人自适应控速方法,其特征在于,所述高斯金字塔包括若干组结构,所述组结构包括若干层结构;其中,基于若干所述组结构构建高斯金字塔的过程包括:
S1、设置初始高斯平滑因子,基于所述初始高斯平滑因子和高斯卷积公式得到第N组结构的第M层结构的图像;
S2、基于更新公式对所述初始高斯平滑因子进行更新,得到更新高斯平滑因子,基于所述更新高斯平滑因子和所述高斯卷积公式得到第N组结构的第M+1层结构的图像;
S3、循环执行S2得到高斯金字塔第N组结构;
S4、对所述金字塔第N组结构的图像进行下采样得到第N+1组结构的第M层结构的图像;
S5、循环执行S2-S4得到第N+1组结构;
S6、基于若干所述组结构得到高斯金字塔。
4.根据权利要求3所述的隧道巡检机器人自适应控速方法,其特征在于,
所述高斯卷积公式为:
式中,σ表示初始高斯平滑因子,G(x,y)表示点(x,y)处的高斯权重,x表示当前帧待计算权重点的横坐标,y表示当前帧待计算权重点的纵坐标,x0表示上一帧该点对应的横坐标,y0表示上一帧中该点对应的纵坐标;
所述更新公式为:
σ′=k*σ
式中,σ′表示更新后的高斯平滑因子,k表示比例系数。
5.根据权利要求3所述的隧道巡检机器人自适应控速方法,其特征在于,所述高斯金字塔还包括差分金字塔;
基于所述差分金字塔检测特征点位置的过程包括:
获取第N组结构的第M层结构的层图像;
计算第M层结构的层图像分别与第M-1层结构的层图像、第M+1层结构的层图像的差分,得到若干差分图像;
基于若干所述差分图像得到第N组结构差分金字塔;
基于像素比较获取第N组结构差分金字塔的极值点;
对所述极值点采用二维高斯函数进行极值点相邻像素拟合得到特征点位置和特征点数量。
6.根据权利要求5所述的隧道巡检机器人自适应控速方法,其特征在于,所述初始参量包括初始速度、加速度、数量阈值和面积阈值。
7.根据权利要求6所述的隧道巡检机器人自适应控速方法,其特征在于,对所述巡检机器人的巡检速度进行自动控速的过程包括:
基于所述特征点进行隧道图像拼接,得到拼接图像;
计算重复图像面积在所述拼接图像中的占比,得到面积占比值;
基于所述特征点数量和所述面积占比值控制巡检机器人的巡检速度。
8.根据权利要求7所述的隧道巡检机器人自适应控速方法,其特征在于,基于所述特征点数量和所述面积占比值控制巡检速度的条件包括:
当所述特征点数量小于所述数量阈值,则所述巡检机器人加速运动;
当所述特征点数量大于所述数量阈值且所述面积占比值大于所述面积阈值,则所述巡检机器人匀速运动;
当所述特征点数量大于所述数量阈值且所述面积占比值小于所述面积阈值,则所述巡检机器人减速运动。
9.根据权利要求8所述的隧道巡检机器人自适应控速方法,其特征在于,巡检速度的控制公式为:
式中,v表示初始速度,α表示加速度,v′表示变换后的速度,t表示时间,n表示特征点数量,N表示数量阈值,s表示面积占比值,ε表示面积阈值。
10.根据权利要求1所述的隧道巡检机器人自适应控速方法,其特征在于,所述裂纹检测模型包括:FCN模型、U-Net模型、SegNet模型和PSPNet模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311130117.7A CN117055639B (zh) | 2023-09-04 | 2023-09-04 | 一种隧道巡检机器人自适应控速方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311130117.7A CN117055639B (zh) | 2023-09-04 | 2023-09-04 | 一种隧道巡检机器人自适应控速方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117055639A true CN117055639A (zh) | 2023-11-14 |
CN117055639B CN117055639B (zh) | 2024-03-29 |
Family
ID=88657140
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311130117.7A Active CN117055639B (zh) | 2023-09-04 | 2023-09-04 | 一种隧道巡检机器人自适应控速方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117055639B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105913095A (zh) * | 2016-05-17 | 2016-08-31 | 杭州申昊科技股份有限公司 | 一种适用于变电站巡检机器人的仪表识别方法 |
CN110246168A (zh) * | 2019-06-19 | 2019-09-17 | 中国矿业大学 | 一种移动巡检机器人双目图像拼接的特征匹配方法 |
CN110333652A (zh) * | 2019-04-24 | 2019-10-15 | 国网新疆电力有限公司阿克苏供电公司 | 车型巡检机器人的过弯控制方法 |
CN112665578A (zh) * | 2021-03-16 | 2021-04-16 | 湖南承希科技有限公司 | 一种基于隧道巡检机器人的巡检定位方法及系统 |
CN114415655A (zh) * | 2021-12-02 | 2022-04-29 | 盐城中科高通量计算研究院有限公司 | 一种基于改进slam的巡检机器人导航控制方法 |
CN114566050A (zh) * | 2022-03-09 | 2022-05-31 | 江苏广宇协同科技发展研究院有限公司 | 一种面向交通运行安全的隧道机器人巡检速度控制方法 |
CN114932562A (zh) * | 2021-08-10 | 2022-08-23 | 南京航空航天大学 | 一种基于激光雷达的地下电缆隧道巡检机器人及实现方法 |
CN116071251A (zh) * | 2022-11-23 | 2023-05-05 | 国网河北省电力有限公司信息通信分公司 | 电力设备巡检方法、装置及终端设备 |
CN116578096A (zh) * | 2023-06-09 | 2023-08-11 | 杭州电子科技大学 | 一种基于drl的巡检车自适应路径规划方法 |
-
2023
- 2023-09-04 CN CN202311130117.7A patent/CN117055639B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105913095A (zh) * | 2016-05-17 | 2016-08-31 | 杭州申昊科技股份有限公司 | 一种适用于变电站巡检机器人的仪表识别方法 |
CN110333652A (zh) * | 2019-04-24 | 2019-10-15 | 国网新疆电力有限公司阿克苏供电公司 | 车型巡检机器人的过弯控制方法 |
CN110246168A (zh) * | 2019-06-19 | 2019-09-17 | 中国矿业大学 | 一种移动巡检机器人双目图像拼接的特征匹配方法 |
CN112665578A (zh) * | 2021-03-16 | 2021-04-16 | 湖南承希科技有限公司 | 一种基于隧道巡检机器人的巡检定位方法及系统 |
CN114932562A (zh) * | 2021-08-10 | 2022-08-23 | 南京航空航天大学 | 一种基于激光雷达的地下电缆隧道巡检机器人及实现方法 |
CN114415655A (zh) * | 2021-12-02 | 2022-04-29 | 盐城中科高通量计算研究院有限公司 | 一种基于改进slam的巡检机器人导航控制方法 |
CN114566050A (zh) * | 2022-03-09 | 2022-05-31 | 江苏广宇协同科技发展研究院有限公司 | 一种面向交通运行安全的隧道机器人巡检速度控制方法 |
CN116071251A (zh) * | 2022-11-23 | 2023-05-05 | 国网河北省电力有限公司信息通信分公司 | 电力设备巡检方法、装置及终端设备 |
CN116578096A (zh) * | 2023-06-09 | 2023-08-11 | 杭州电子科技大学 | 一种基于drl的巡检车自适应路径规划方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117055639B (zh) | 2024-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107194559B (zh) | 一种基于三维卷积神经网络的工作流识别方法 | |
CN111476822A (zh) | 一种基于场景流的激光雷达目标检测与运动跟踪方法 | |
CN111626128A (zh) | 一种基于改进YOLOv3的果园环境下行人检测方法 | |
CN112509047B (zh) | 基于图像的位姿确定方法、装置、存储介质及电子设备 | |
CN111667535B (zh) | 一种针对遮挡场景下的六自由度位姿估计方法 | |
CN112785628B (zh) | 一种基于全景视角检测跟踪的轨迹预测方法及系统 | |
CN111079604A (zh) | 面向大尺度遥感图像的微小目标快速检测方法 | |
CN115115859A (zh) | 基于无人机航拍的长线性工程施工进度智能识别与分析方法 | |
CN112949452A (zh) | 一种基于多任务共享网络的机器人弱光环境抓取检测方法 | |
Tsoukalas et al. | Deep learning assisted visual tracking of evader-UAV | |
CN113408550B (zh) | 基于图像处理的智能称重管理系统 | |
CN116503760A (zh) | 基于自适应边缘特征语义分割的无人机巡航检测方法 | |
CN113553943B (zh) | 目标实时检测方法以及装置、存储介质、电子装置 | |
Dahirou et al. | Motion Detection and Object Detection: Yolo (You Only Look Once) | |
CN114067273A (zh) | 一种夜间机场航站楼热成像显著人体分割检测方法 | |
CN117055639B (zh) | 一种隧道巡检机器人自适应控速方法 | |
CN113298707A (zh) | 图像帧拼接方法、视频巡检方法、装置、设备及存储介质 | |
CN117252928A (zh) | 用于电子产品模块化智能组装的视觉图像定位系统 | |
CN115219492B (zh) | 一种三维物体的外观图像采集方法及装置 | |
CN108492308B (zh) | 一种基于相互结构引导滤波的变分光流的确定方法及系统 | |
CN113496501B (zh) | 基于视频预测的动态场景中的入侵物检测方法和系统 | |
CN115249269A (zh) | 目标检测方法、计算机程序产品、存储介质及电子设备 | |
CN113870307A (zh) | 一种基于帧间信息的目标检测方法及装置 | |
Yang et al. | Locator slope calculation via deep representations based on monocular vision | |
CN111291609A (zh) | 一种机场围界巡检机器人动态背景目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |