CN115294080B - 一种公路裂缝自动开槽机器人及工作方法与应用 - Google Patents

一种公路裂缝自动开槽机器人及工作方法与应用 Download PDF

Info

Publication number
CN115294080B
CN115294080B CN202210974154.5A CN202210974154A CN115294080B CN 115294080 B CN115294080 B CN 115294080B CN 202210974154 A CN202210974154 A CN 202210974154A CN 115294080 B CN115294080 B CN 115294080B
Authority
CN
China
Prior art keywords
image
crack
slotting
robot
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210974154.5A
Other languages
English (en)
Other versions
CN115294080A (zh
Inventor
孔奥星
李济正
高飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202210974154.5A priority Critical patent/CN115294080B/zh
Publication of CN115294080A publication Critical patent/CN115294080A/zh
Application granted granted Critical
Publication of CN115294080B publication Critical patent/CN115294080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种公路裂缝自动开槽机器人及工作方法与应用，属于公路养护设备技术领域，包括机器人小车，机器人小车前部设有导航相机、头部光源、激光雷达，导航相机采集的裂缝图像经中心提取后用于机器人的行走路线导航，机器人小车底盘下方设有开槽刀具、底部相机、底部光源，开槽刀具工作时高速旋转完成公路的开槽；开槽刀具由开槽刀具驱动机构驱动，底部相机用于在小车停车状态下拍摄车底部区域的裂缝图像，对裂缝图像提取中心线轨迹后指导开槽道具进行开槽。利用本发明可以实现公路裂缝的自动跟踪和开槽，自动化程度、智能化程度高，开槽精度高，对集成化公路修补设备具有很高的扩展性和兼容性。

Description

一种公路裂缝自动开槽机器人及工作方法与应用
技术领域
本发明涉及一种公路裂缝自动开槽机器人及工作方法与应用，属于公路养护设备技术领域。
背景技术
公路裂缝是常见的公路危害之一，裂缝会随着车辆的碾压而逐步边长、变宽，这不仅会影响车辆行驶过程中的舒适和安全，而且积水会通过裂缝渗入路基，大大降低了公路的使用寿命，甚至会引起公路沉降或坍塌。随着我国公路大量进入保养维护期，对公路裂缝的修补成为公路养护的一大难题。
公路裂缝有多种形式，其中与公路延伸方向平行及垂直的纵向裂缝和横向裂缝占比最高，影响最为严重，因此研究这些裂缝的自动修补技术已经刻不容缓。目前，对这类公路裂缝的修补方法分为传统方法和开槽修补法。传统方法是将修补填料直接灌入裂缝中，该方法优点是操作方便，效率较高；缺点是由于裂缝中有杂物或裂缝宽度过小时，填料无法充分灌入，使修复不彻底，效果差。开槽修补法是通过开槽刀具先沿着裂缝中心线加工一定宽度和深度的底槽，然后再将修补填料灌入槽中。与传统方法相比，可以使修补填料与裂缝(底槽)充分接触，使裂缝得到充分修复，修补效果好。在开槽和灌料两个步骤中，裂缝开槽是最重要的一步，开槽质量决定了裂缝修补的效果。
实现公路裂缝开槽的主要方式有手动开槽、手持设备开槽、简易开槽机开槽等，其中在大规模应用中，简易开槽机应用最为广泛。这类开槽机一般配备开槽刀具(开槽锯、铣槽刀等)，刀具在车上固定，由燃油机或电机带动高速旋转；开槽操作时，由人工推动或拉动(或辅助动力)开槽车通过视觉观察沿着裂缝中心轨迹行走，并不断调整前进方向，以便使旋转刀具经过裂缝中心，完成开槽。这种开槽设备尽管结构相对简单，但存在很多问题，主要有：1)工人劳动强度大、开槽效率低，开槽过程中存在较大的灰尘和噪声污染，严重影响了工人健康；2)开槽精度低，质量不稳定。开槽质量受工人操作熟练程度、精神状态等影响，经常出现开槽中心与裂缝中心偏差大等问题；另外，因为开槽质量完全取决于操作人员个体，造成质量不稳定、精度一致性差；3)设备的自动化、智能化不足，严重影响了公路养护的现代化进程。目前，针对公路裂缝的自动开槽或修补问题，很少有成熟的方案。
发明内容
针对现有技术的不足，本发明提供一种公路裂缝自动开槽机器人及工作方法与应用。
本发明的技术方案如下：
一种公路裂缝自动开槽机器人，包括阿克曼机器人小车，机器人小车底盘上包括两个差速驱动的后轮和两个控制转向的前轮；
机器人小车前部设有导航相机、头部光源、激光雷达，导航相机采集的裂缝图像经中心提取后用于机器人的导航，头部光源用于导航照明，激光雷达用于机器人小车的自动避障；
机器人小车底盘下方设有开槽刀具、底部相机、底部光源，开槽刀具为齿状锯或铣刀，工作时高速旋转完成公路的开槽；开槽刀具由开槽刀具驱动机构驱动，用于在驱动开槽刀具实现高速旋转的同时，还能驱动开槽刀具沿X/Y/Z三个方向进行直线运动；X/Y联动用于加工获得裂缝中心的连续轨迹，Z向用于控制开槽的深度，底部相机用于在小车停车状态下拍摄车底部区域的裂缝图像，底部光源为底部相机提供照明。
为实现开槽机器人小车的自动导航，分别设计两种工作方式，一种是连续开槽工作方式，如图3-1所示；另一种是断续开槽工作方式，如图3-2所示。
(1)连续工作方式是最直观、最常见的工作方式。该方式模拟人工开槽设备，开槽机器人小车一边巡线导航，一边开槽工作；巡线导航由头部相机实现；开槽刀具的行走轨迹就是裂缝的中心轨迹。开槽刀具除了旋转主运动之外，不需要刀具位置调整机构。
这种工作方式优点是机器人小车结构简单，开槽效率较高；缺点是很难满足开槽精度要求，原因如下：
影响开槽精度的主要因素是巡线误差，而其主要受两部分影响，一是导航相机的成像及中心提取算法误差Δ1，一般较小；二是机器人小车的行走误差Δ2，这部分受开槽小车重量、惯量、地面摩擦、振动等多因素影响，会远远大于Δ1，一般情况下，仅误差Δ2就会远远超过开槽精度要求。而实际的开槽精度误差是这两部分之和。所以，这种工作方式很难满足开槽精度要求。
(2)本申请设计的断续开槽工作方式如图3-2所示。机器人小车由头部导航相机导航，前行一个车身长度后，小车停止，底部相机拍照，得到小车底部覆盖的裂缝图像并提取轨迹中心，该中心轨迹为开槽刀具驱动机构提供X/Y/Z方向的进给指令，使开槽刀具沿裂缝中心完成开槽。
这种工作方式缺点是机器人小车结构相对复杂，开槽效率相对较低；其优点是开槽精度很高，原因如下：
因为这种工作方式下，开槽动作是巡线前行后，小车停车状态下进行的，所以前述的巡航相机误差Δ1和机器人行走误差Δ2都不影响开槽精度。影响开槽精度的有两部分，一是底部相机成像及裂缝中心检测误差Δ3，这一部分误差很小；二是开槽刀具的X/Y/Z三维运动误差Δ4，在现有的技术条件下，即使低成本的三维运动机构也能达到很高的运动精度，所以这部分误差Δ4也很小。因此，本发明设计的断续式工作方式开槽精度远远高于连续工作方式，能满足公路裂缝开槽需求，因此本发明采用断续工作方式。
针对上述开槽工作方式和机器人结构设计，一种公路裂缝自动开槽机器人的工作方法，包括步骤如下：
(1)将开槽机器人小车引导至裂纹起始位置，使裂缝位于两侧车轮之间，裂缝位于导航相机视场内；
(2)机器人小车开启开槽模式；
(3)小车前部的导航相机开始采集小车前方路面图像，提取裂缝中心线，获得裂缝的中心轨迹图像；
(4)机器人自动检测当前位姿与裂缝中心位置的偏差，自动跟踪裂缝中心，控制小车前行一个车身距离后停止；
(5)机器人小车开启底部相机，拍摄底部裂缝图像，提取裂缝中心线，获得车辆底部区域的裂缝中心轨迹图像；
(6)机器人控制开槽刀具驱动机构带动开槽刀具运动，沿上述步骤(5)得到的裂缝中心轨迹完成开槽，并使开槽刀具位置复位(X/Y/Z三维方向的初始位置)；本发明的驱动机构可避免机械臂刚度差、开槽振动大、控制复杂、成本高等缺点。
(7)判断导航相机视场中是否还有裂缝中心线，如有，返回上述步骤(3)，继续下一车位的开槽工作，通过裂缝中心线提取方法和裂缝中心自动跟踪方法实现自主导航；如果导航相机视场中无裂缝中心线，机器人停止工作，并发送任务完成报警信息。本发明利用前部一个相机专用于导航，底部一个相机专用于生成刀具轨迹。互不干扰，简单，精度高。
优选的，步骤(3)中，裂缝中心线提取方法包括步骤如下：
(3-1)读入导航相机采集的公路裂缝图像，将其转换为灰度图像，具体为：
f(u,v)＝0.2989*r(u,v)+0.587*g(u,v)+0.114*b(u,v) (1)
其中，f(u,v)为灰度图像矩阵；r(u,v)、g(u,v)、b(u,v)分别是RGB图像的R/G/B分量矩阵；
(3-2)对裂缝灰度图像进行高斯滤波：
F(u,v)＝G(u,v)*f(u,v) (2)
其中，为高斯滤波核函数，u为图像的行数，v为图像的列数，σ为核函数的标准差；滤波器尺寸为7x7，标准差为σ＝0.5～3.5，优选的，标准差为σ＝2；
(3-3)对滤波图像进行阈值分割，变为二值图像，具体方法为：
其中，T＝255*0.1＝25.5；
(3-4)对二值图像进行形态学处理，去除噪声点，得到裂缝中心图像，具体过程为：
1)对二值图像h(u,v)进行8连通域标记，具体为：
设(u,v)为中心像素，对其8邻域，包括(u+1,v)、(u-1,v)、(u,v+1)、(u,v-1)、(u+1,v+1)、(u+1,v-1)、(u-1,v+1)、(u-1,v-1)，进行连通域检索和标记，具体方法为：
a.逐行扫描图像，把每行中连续的白色像素组成一个序列，为每个序列赋一个标号ji，i＝1,2，3...；
b.从图像第二行开始，逐一判读该行的序列是否与前一行中的序列连通，即判断序列中每个白色像素点在上一行的8邻域中是否有白色点，如果没有则代表不连通，如果有则代表连通；如果不连通，则给它一个新的标号(如上一行中最大标号为ji，则新标号为ji+1)；如果仅与上一行中1个序列连通，则将这个序列与上一行的序列合并，形成一个新的序列，并将上一行序列的标号赋给这个新的序列(如上一行共有两个序列，标号分别为ji和ji+1，如果这行某个序列与上一行中标号为ji的序列连通，则将两行中连接的序列合并，并将标号ji赋给新的序列)；如果与上一行的2个及以上的序列均连通，则将这个序列与所有连通序列合并形成新的序列，并将上一行序列中最小的标号赋给新的序列(如上一行共有两个序列，标号分别为ji和ji+1，这行某个序列如果与上一行中这两个序列都连通，则将两行中所有连通的序列合并，并将最小的标号，即ji赋给新的序列)，并将上一行已经连通的序列的标号写入等价对＜ji,ji+1,...＞，表明这些标号标注的序列属于同一个序列；
c.对所有的等价对进行判断，如果两个等价对中有相同的标号，就将两个等价对合并为一个新的等价对，因为它们标注的序列属于同一个连通域。最后，为每一个新的等价对标注一个连通域标号，记为Li；同时，记录下每个连通域标号标记的连通域像素数量，记为Ni；其中，i＝1...m为图像中连通域的个数；则可以用N＝[N1N2...Nm]表示图像中每个连通域的像素点个数；用L＝[L1L2...Lm]表示每个连通域对应的标号；
2)根据每个连通域像素点的个数Ni对连通域进行降序排序，[N',L']＝Rank(N,'descend')
其中，N'中各个连通域像素个数Ni从大到小降序排列；L'中元素为每个Ni对应的连通域的标号；'descend'表示降序排列；
3)保留像素数量最大的前10个连通域N1～N10，即以N10为分割阈值，当连通域像素个数大于分割阈值时，则保留该连通域；若联通区域的像素点个数小于分割阈值时，则舍去该连通域；经过以上自适应阈值分割步骤后，得到裂缝的二值图像H(u,v)；
4)进行闭运算操作，使断裂的裂缝相连；具体操作步骤为：
用半径5像素的圆盘结构体S，对图像H(u,v)膨胀后，再腐蚀操作，
其中，Θ分别为图像膨胀和腐蚀符号；
5)对步骤4)获得的图像进行骨架提取，提取裂缝的中心像素点，具体步骤为：
设经过以上闭运算获得的图像矩阵为H(u,v)，则裂缝中心图像可由以下方法得到：
其中，是裂缝中心图像的子集，裂缝中心图像可以通过该子集并运算得到。其中，Θ、/>分别为图像腐蚀和开运算符号；(ΗΘkB)表示采用结构体B对图像H(u,v)进行连续k次腐蚀，结构体B为半径7像素的圆形结构体；然后，对腐蚀后的图像进行开运算，消除小的白色区域，并求取腐蚀图像与腐蚀图像开运算的差，得到裂缝中心子集图像；优选的，k的次数的确定方法为：是H(u,v)被腐蚀为空集前的最后一次迭代，即则，经过以上处理的图像S(H)表示图像H(u,v)的骨架图像，记为S(u,v)，表示裂缝中心的图像矩阵，
优选的，步骤(4)中，裂缝中心自动跟踪方法，包括步骤如下：
设定OW-XWYWZW为世界坐标系，OV-XVYVZV为小车坐标系，ZW和ZV轴分别与OW-XWYW和OV-XVYV平面垂直；o-uv为图像坐标系；图像S(u,v)关于XV轴对称，且图像最靠近小车的行与XV轴的交点记为X；
(4-1)利用步骤(3)裂缝中心线提取方法提取出中心线图像S(u,v)，图像上任一点定义为S(u,v)；
(4-2)在任意时刻，取裂缝中心与图像中心行的交点S1(u1,v1)为当前导航跟踪点，该点对应的航向角为φ，定义该点为跟踪起始点，图像中心行沿u轴平行、垂直于v轴；
(4-3)要实现裂缝中心跟踪，要求在控制小车以速度VX沿着XV轴前行的同时，通过控制航向角速度ωZ使该跟踪起始点落在图像S(u,v)的中心S’1(u1,v1)处，该点定义为导航跟踪目标点；
(4-4)在实际控制中，因为小车的前行速度VX为已知且可调整，绕ZV轴的航向角速度ωZ由如下的方法来确定：
假设跟踪起始点S1(u1,v1)存在一个映射点S0(u0,v0)，其中|XS0|＝|XS1|，即该映射点与跟踪起始点到为X点的距离相同；假设在Δt时间内完成跟踪过程，则意味着小车在时间Δt内沿着XV轴直线移动距离|S'1S0|的同时，沿着ZV轴转动了航向角为φ，则航向角速度可以通过下式计算：
其中，|XS'1|在世界坐标系中的实际长度可以通过对成像系统的标定得到；
(4-5)按照以下方法来控制机器人小车的启停：只要裂缝中心线图像中能检测到裂缝中心线轨迹，机器人小车就一直按照步骤(4-1)-(4-4)方法确定的VX和ωZ前进；小车导航相机拍摄的视野图像中没有裂缝中心线轨迹时，将VX和ωZ都设置为0，机器人小车停止。
一种公路裂缝自动开槽机器人在一体化公路修补系统上的应用，所述一体化公路修补系统包括公路裂缝自动开槽机器人、灌缝装置，公路裂缝自动开槽机器人用于对公路裂缝进行自动开槽，灌缝装置用于对开槽后的裂缝灌装。
本发明的有益效果在于：
(1)开槽精度高。在机器人小车、相机、开槽运动机构等中低成本配置的情况下，开槽中心定位精度可控制在±5mm以上。
(2)自动化程度、智能化程度高。可以实现公路裂缝的自动跟踪和开槽，是一种自动行走、自动开槽的方式，对横向、纵向、斜向裂缝均有很高的普适性，提高了开槽效率，降低了工人劳动强度，降低了公路维护成本。导航和开槽轨迹生成的硬件和软件算法分离，不牵扯到复杂的机器人建地图和坐标变换，控制结构和算法均简单。
(3)可扩展性强。以本发明设计的自动开槽机器人实现方案和视觉导航方法为基础，再配备上灌缝装置及其他辅助装置，很容易构建开槽、灌缝一体的集成化公路裂缝修补装备。
附图说明
图1为本发明公路裂缝自动开槽机器人结构立体示意图；
图2为本发明公路裂缝自动开槽机器人底部结构示意图；
图3-1为机器人连续开槽工作方式示意图；
图3-2为机器人断续开槽工作方式示意图；
图4为将公路裂缝图像灰度处理后的灰度图像示意图；
图5为对灰度图像进行高斯滤波后的图像示意图；
图6为对滤波图像处理后的二值图像示意图；
图7为自适应阈值分割步骤后的裂缝二值图像示意图；
图8为闭运算操作后的图像示意图；
图9为获得的裂缝中心图像示意图；
图10为裂缝中心跟踪过程的坐标系设定示意图；
其中：1、头部光源，2、激光雷达，3、导航相机，4、开槽道具，5、开槽刀具驱动机构，6、机器人小车底盘，7、底部相机，8、底部光源。
具体实施方式
下面通过实施例并结合附图对本发明做进一步说明，但不限于此。
实施例1：
一种公路裂缝自动开槽机器人，包括阿克曼机器人小车，机器人小车底盘上包括两个差速驱动的后轮和两个控制转向的前轮；
机器人小车前部设有导航相机、头部光源、激光雷达，导航相机采集的裂缝图像经中心提取后用于机器人的导航，头部光源用于导航照明，激光雷达用于机器人小车的自动避障；
机器人小车底盘下方设有开槽刀具、底部相机、底部光源，开槽刀具为齿状锯或铣刀，工作时高速旋转完成公路的开槽；开槽刀具由开槽刀具驱动机构驱动，用于在驱动开槽刀具实现高速旋转的同时，还能驱动开槽刀具沿X/Y/Z三个方向进行直线运动；X/Y联动用于加工获得裂缝中心的连续轨迹，Z向用于控制开槽的深度，底部相机用于在小车停车状态下拍摄车底部区域的裂缝图像，底部光源为底部相机提供照明。
实施例2：
一种公路裂缝自动开槽机器人的工作方法，为实现开槽机器人小车的自动导航，分别设计两种工作方式，一种是连续开槽工作方式，如图3-1所示；另一种是断续开槽工作方式，如图3-2所示。
(1)连续工作方式是最直观、最常见的工作方式。该方式模拟人工开槽设备，开槽机器人小车一边巡线导航，一边开槽工作；巡线导航由头部相机实现；开槽刀具的行走轨迹就是裂缝的中心轨迹。开槽刀具除了旋转主运动之外，不需要刀具位置调整机构。
这种工作方式优点是机器人小车结构简单，开槽效率较高；缺点是很难满足开槽精度要求，原因如下：
影响开槽精度的主要因素是巡线误差，而其主要受两部分影响，一是导航相机的成像及中心提取算法误差Δ1，一般较小；二是机器人小车的行走误差Δ2，这部分受开槽小车重量、惯量、地面摩擦、振动等多因素影响，会远远大于Δ1，一般情况下，仅误差Δ2就会远远超过开槽精度要求。而实际的开槽精度误差是这两部分之和。所以，这种工作方式很难满足开槽精度要求。
(2)本申请设计的断续开槽工作方式如图3-2所示。机器人小车由头部导航相机导航，前行一个车身长度后，小车停止，底部相机拍照，得到小车底部覆盖的裂缝图像并提取轨迹中心，该中心轨迹为开槽刀具驱动机构提供X/Y/Z方向的进给指令，使开槽刀具沿裂缝中心完成开槽。
这种工作方式缺点是机器人小车结构相对复杂，开槽效率相对较低；其优点是开槽精度很高，原因如下：
因为这种工作方式下，开槽动作是巡线前行后，小车停车状态下进行的，所以前述的巡航相机误差Δ1和机器人行走误差Δ2都不影响开槽精度。影响开槽精度的有两部分，一是底部相机成像及裂缝中心检测误差Δ3，这一部分误差很小；二是开槽刀具的X/Y/Z三维运动误差Δ4，在现有的技术条件下，即使低成本的三维运动机构也能达到很高的运动精度，所以这部分误差Δ4也很小。因此，本发明设计的断续式工作方式开槽精度远远高于连续工作方式，能满足公路裂缝开槽需求，因此本发明采用断续工作方式。
针对上述开槽工作方式和机器人结构设计，一种公路裂缝自动开槽机器人的工作方法，包括步骤如下：
(1)将开槽机器人小车引导至裂纹起始位置(如图3-2下面位置)，使裂缝位于两侧车轮之间，裂缝位于导航相机视场内；
(2)机器人小车开启开槽模式；
(3)小车前部的导航相机开始采集小车前方路面图像，提取裂缝中心线，获得裂缝的中心轨迹图像；
(4)机器人自动检测当前位姿与裂缝中心位置的偏差，自动跟踪裂缝中心，控制小车前行一个车身距离后停止；
(5)机器人小车开启底部相机，拍摄底部裂缝图像，提取裂缝中心线，获得车辆底部区域的裂缝中心轨迹图像；
(6)机器人控制开槽刀具驱动机构带动开槽刀具运动，沿上述步骤(5)得到的裂缝中心轨迹完成开槽，并使开槽刀具位置复位(X/Y/Z三维方向的初始位置)；
(7)判断导航相机视场中是否还有裂缝中心线，如有，返回上述步骤(3)，继续下一车位的开槽工作，通过裂缝中心线提取方法和裂缝中心自动跟踪方法实现自主导航。；如果导航相机视场中无裂缝中心线，机器人停止工作，并发送任务完成报警信息。
步骤(3)中，裂缝中心线提取方法包括步骤如下：
(3-1)读入导航相机采集的公路裂缝图像，将其转换为灰度图像，具体为：
f(u,v)＝0.2989*r(u,v)+0.587*g(u,v)+0.114*b(u,v) (1)
其中，f(u,v)为灰度图像矩阵；r(u,v)、g(u,v)、b(u,v)分别是RGB图像的R/G/B分量矩阵，结果如图4所示；
(3-2)对裂缝灰度图像进行高斯滤波：
F(u,v)＝G(u,v)*f(u,v) (2)
其中，为高斯滤波核函数，u为图像的行数，v为图像的列数，σ为核函数的标准差；滤波器尺寸为7x7，标准差为σ＝0.5～3.5，本实施例中，标准差为σ＝2；结果如图5所示；
(3-3)对滤波图像进行阈值分割，变为二值图像，具体方法为：
其中，T＝255*0.1＝25.5；结果如图6所示；
(3-4)对二值图像进行形态学处理，去除噪声点，得到裂缝中心图像，具体过程为：
1)对二值图像h(u,v)进行8连通域标记，具体为：
设(u,v)为中心像素，对其8邻域，包括(u+1,v)、(u-1,v)、(u,v+1)、(u,v-1)、(u+1,v+1)、(u+1,v-1)、(u-1,v+1)、(u-1,v-1)，进行连通域检索和标记，具体方法为：
a.逐行扫描图像，把每行中连续的白色像素组成一个序列，为每个序列赋一个标号ji，i＝1,2，3...；
b.从图像第二行开始，逐一判读该行的序列是否与前一行中的序列连通，即判断序列中每个白色像素点在上一行的8邻域中是否有白色点，如果没有则代表不连通，如果有则代表连通；如果不连通，则给它一个新的标号(如上一行中最大标号为ji，则新标号为ji+1)；如果仅与上一行中1个序列连通，则将这个序列与上一行的序列合并，形成一个新的序列，并将上一行序列的标号赋给这个新的序列(如上一行共有两个序列，标号分别为ji和ji+1，如果这行某个序列与上一行中标号为ji的序列连通，则将两行中连接的序列合并，并将标号ji赋给新的序列)；如果与上一行的2个及以上的序列均连通，则将这个序列与所有连通序列合并形成新的序列，并将上一行序列中最小的标号赋给新的序列(如上一行共有两个序列，标号分别为ji和ji+1，这行某个序列如果与上一行中这两个序列都连通，则将两行中所有连通的序列合并，并将最小的标号，即ji赋给新的序列)，并将上一行已经连通的序列的标号写入等价对＜ji,ji+1,...＞，表明这些标号标注的序列属于同一个序列；
c.对所有的等价对进行判断，如果两个等价对中有相同的标号，就将两个等价对合并为一个新的等价对，因为它们标注的序列属于同一个连通域。最后，为每一个新的等价对标注一个连通域标号，记为Li；同时，记录下每个连通域标号标记的连通域像素数量，记为Ni；其中，i＝1...m为图像中连通域的个数；则可以用N＝[N1N2...Nm]表示图像中每个连通域的像素点个数；用L＝[L1L2...Lm]表示每个连通域对应的标号；
2)根据每个连通域像素点的个数Ni对连通域进行降序排序，[N',L']＝Rank(N,'descend')
其中，N'中各个连通域像素个数Ni从大到小降序排列；L'中元素为每个Ni对应的连通域的标号；'descend'表示降序排列；
3)保留像素数量最大的前10个连通域N1～N10，即以N10为分割阈值，当连通域像素个数大于分割阈值时，则保留该连通域；若联通区域的像素点个数小于分割阈值时，则舍去该连通域；经过以上自适应阈值分割步骤后，得到裂缝的二值图像H(u,v)如图7所示；
4)进行闭运算操作，使断裂的裂缝相连；具体操作步骤为：
用半径5像素的圆盘结构体S，对图像H(u,v)膨胀后，再腐蚀操作，
其中，Θ分别为图像膨胀和腐蚀符号；结果如图8所示。
5)对步骤4)获得的图像进行骨架提取，提取裂缝的中心像素点，具体步骤为：
设经过以上闭运算获得的图像矩阵为H(u,v)，则裂缝中心图像可由以下方法得到：
其中，是裂缝中心图像的子集，裂缝中心图像可以通过该子集并运算得到。其中，Θ、/>分别为图像腐蚀和开运算符号；(ΗΘkB)表示采用结构体B对图像H(u,v)进行连续k次腐蚀，结构体B为半径7像素的圆形结构体；然后，对腐蚀后的图像进行开运算，消除小的白色区域，并求取腐蚀图像与腐蚀图像开运算的差，得到裂缝中心子集图像；优选的，k的次数的确定方法为：是H(u,v)被腐蚀为空集前的最后一次迭代，即则，经过以上处理的图像S(H)表示图像H(u,v)的骨架图像，记为S(u,v)，表示裂缝中心的图像矩阵，如图9所示。
步骤(4)中，裂缝中心自动跟踪方法，包括步骤如下：
如图10所示，设定OW-XWYWZW为世界坐标系，OV-XVYVZV为小车坐标系，ZW和ZV轴分别与OW-XWYW和OV-XVYV平面垂直，图10中未画出；o-uv为图像坐标系；图像S(u,v)关于XV轴对称，且图像最靠近小车的行与XV轴的交点记为X；
(4-1)图10虚线框中为利用本发明设计的步骤(3)裂缝中心线提取方法提取出中心线图像S(u,v)，图像上任一点定义为S(u,v)；
(4-2)在任意时刻，取裂缝中心与图像中心行的交点S1(u1,v1)为当前导航跟踪点，该点对应的航向角为φ，定义该点为跟踪起始点，图像中心行沿u轴平行、垂直于v轴，如图10中虚线；
(4-3)要实现裂缝中心跟踪，要求在控制小车以速度VX沿着XV轴前行的同时，通过控制航向角速度ωZ使该跟踪起始点落在图像S(u,v)的中心S’1(u1,v1)处，该点定义为导航跟踪目标点；
(4-4)在实际控制中，因为小车的前行速度VX为已知且可调整，绕ZV轴的航向角速度ωZ由如下的方法来确定：
假设跟踪起始点S1(u1,v1)存在一个映射点S0(u0,v0)，其中|XS0|＝|XS1|，即该映射点与跟踪起始点到为X点的距离相同；假设在Δt时间内完成跟踪过程，则意味着小车在时间Δt内沿着XV轴直线移动距离|S'1S0|的同时，沿着ZV轴转动了航向角为φ，则航向角速度可以通过下式计算：
其中，|XS'1|在世界坐标系中的实际长度可以通过对成像系统的标定得到；
(4-5)按照以下方法来控制机器人小车的启停：只要裂缝中心线图像中能检测到裂缝中心线轨迹，机器人小车就一直按照步骤(4-1)-(4-4)方法确定的VX和ωZ前进；小车导航相机拍摄的视野图像中没有裂缝中心线轨迹时，将VX和ωZ都设置为0，机器人小车停止。
实施例3：
一种公路裂缝自动开槽机器人在一体化公路修补系统上的应用，所述一体化公路修补系统包括公路裂缝自动开槽机器人、灌缝装置，公路裂缝自动开槽机器人用于对公路裂缝进行自动开槽，灌缝装置用于对开槽后的裂缝灌装。

Claims (4)

1.一种公路裂缝自动开槽机器人的工作方法，其特征在于，
公路裂缝自动开槽机器人包括机器人小车，机器人小车底盘上包括两个差速驱动的后轮和两个控制转向的前轮；
机器人小车前部设有导航相机、头部光源、激光雷达，导航相机采集的裂缝图像经中心提取后用于机器人的导航，头部光源用于导航照明，激光雷达用于机器人小车的自动避障；
机器人小车底盘下方设有开槽刀具、底部相机、底部光源，开槽刀具为齿状锯或铣刀；开槽刀具由开槽刀具驱动机构驱动，用于在驱动开槽刀具实现高速旋转的同时，还驱动开槽刀具沿X/Y/Z三个方向进行直线运动；X/Y联动用于加工获得裂缝中心的连续轨迹，Z向用于控制开槽的深度，底部相机用于在小车停车状态下拍摄车底部区域的裂缝图像，底部光源为底部相机提供照明；
工作方法包括步骤如下：
(1)将开槽机器人小车引导至裂纹起始位置，使裂缝位于两侧车轮之间，裂缝位于导航相机视场内；
(2)机器人小车开启开槽模式；
(3)小车前部的导航相机开始采集小车前方路面图像，提取裂缝中心线，获得裂缝的中心轨迹图像；
(4)机器人自动检测当前位姿与裂缝中心位置的偏差，自动跟踪裂缝中心，控制小车前行一个车身距离后停止；
裂缝中心自动跟踪方法包括步骤如下：
设定OW-XWYWZW为世界坐标系，OV-XVYVZV为小车坐标系，ZW轴与OW-XWYW平面垂直，ZV轴与OV-XVYV平面垂直；o-uv为图像坐标系；图像S(u,v)关于XV轴对称，且图像最靠近小车的行与XV轴的交点记为X；
(4-1)利用步骤(3)裂缝中心线提取方法提取出中心线图像S(u,v)，图像上任一点定义为S(u,v)；
(4-2)在任意时刻，取裂缝中心与图像中心行的交点S1(u1,v1)为当前导航跟踪点，该点对应的航向角为φ，定义该点为跟踪起始点，图像中心行沿u轴平行、垂直于v轴；
(4-3)要实现裂缝中心跟踪，要求在控制小车以速度VX沿着XV轴前行的同时，通过控制航向角速度ωZ使该跟踪起始点落在图像S(u,v)的中心S1’(u1,v1)处，该点定义为导航跟踪目标点；
(4-4)在实际控制中，小车的前行速度VX为已知且可调整，绕ZV轴的航向角速度ωZ由如下的方法来确定：
跟踪起始点S1(u1,v1)存在一个映射点S0(u0,v0)，其中|XS0|＝|XS1|，即该映射点与跟踪起始点到为X点的距离相同；在Δt时间内完成跟踪过程，则意味着小车在时间Δt内沿着XV轴直线移动距离|S1'S0|的同时，沿着ZV轴转动了航向角为φ，则航向角速度通过下式计算：
其中，|XS1'|在世界坐标系中的实际长度通过对成像系统的标定得到；
(4-5)按照以下方法来控制机器人小车的启停：只要裂缝中心线图像中能检测到裂缝中心线轨迹，机器人小车就一直按照步骤(4-1)-(4-4)方法确定的VX和ωZ前进；小车导航相机拍摄的视野图像中没有裂缝中心线轨迹时，将VX和ωZ都设置为0，机器人小车停止；
(5)机器人小车开启底部相机，拍摄底部裂缝图像，提取裂缝中心线，获得车辆底部区域的裂缝中心轨迹图像；
(6)机器人控制开槽刀具驱动机构带动开槽刀具运动，沿上述步骤(5)得到的裂缝中心轨迹完成开槽，并使开槽刀具位置复位；
(7)判断导航相机视场中是否还有裂缝中心线，如有，返回上述步骤(3)，继续下一车位的开槽工作，通过裂缝中心线提取方法和裂缝中心自动跟踪方法实现自主导航；如果导航相机视场中无裂缝中心线，机器人停止工作，并发送任务完成报警信息。
2.根据权利要求1所述的公路裂缝自动开槽机器人的工作方法，其特征在于，步骤(3)中，裂缝中心线提取方法包括步骤如下：
(3-1)读入导航相机采集的公路裂缝图像，将其转换为灰度图像，具体为：
f(u,v)＝0.2989*r(u,v)+0.587*g(u,v)+0.114*b(u,v) (1)
其中，f(u,v)为灰度图像矩阵；r(u,v)、g(u,v)、b(u,v)分别是RGB图像的R/G/B分量矩阵；
(3-2)对裂缝灰度图像进行高斯滤波：
F(u,v)＝G(u,v)*f(u,v) (2)
其中，为高斯滤波核函数，u为图像的行数，v为图像的列数，σ为核函数的标准差；滤波器尺寸为7x7，标准差为σ＝0.5～3.5；
(3-3)对滤波图像进行阈值分割，变为二值图像，具体方法为：
其中，T＝255*0.1＝25.5；
(3-4)对二值图像进行形态学处理，去除噪声点，得到裂缝中心图像，具体过程为：
1)对二值图像h(u,v)进行8连通域标记，具体为：
设(u,v)为中心像素，对其8邻域，包括(u+1,v)、(u-1,v)、(u,v+1)、(u,v-1)、(u+1,v+1)、(u+1,v-1)、(u-1,v+1)、(u-1,v-1)，进行连通域检索和标记，具体方法为：
a.逐行扫描图像，把每行中连续的白色像素组成一个序列，为每个序列赋一个标号ji，i＝1,2，3...；
b.从图像第二行开始，逐一判读该行的序列是否与前一行中的序列连通，即判断序列中每个白色像素点在上一行的8邻域中是否有白色点，如果没有则代表不连通，如果有则代表连通；如果不连通，则给它一个新的标号；如果仅与上一行中1个序列连通，则将这个序列与上一行的序列合并，形成一个新的序列，并将上一行序列的标号赋给这个新的序列；如果与上一行的2个及以上的序列均连通，则将这个序列与所有连通序列合并形成新的序列，并将上一行序列中最小的标号赋给新的序列，并将上一行已经连通的序列的标号写入等价对＜ji,ji+1,...＞，表明这些标号标注的序列属于同一个序列；
c.对所有的等价对进行判断，如果两个等价对中有相同的标号，就将两个等价对合并为一个新的等价对，最后，为每一个新的等价对标注一个连通域标号，记为Li；同时，记录下每个连通域标号标记的连通域像素数量，记为Ni；其中，i＝1...m为图像中连通域的个数；则用N＝[N1N2...Nm]表示图像中每个连通域的像素点个数；用L＝[L1L2...Lm]表示每个连通域对应的标号；
2)根据每个连通域像素点的个数Ni对连通域进行降序排序，[N',L']＝Rank(N,'descend')
其中，N'中各个连通域像素个数Ni从大到小降序排列；L'中元素为每个Ni对应的连通域的标号；'descend'表示降序排列；
3)保留像素数量最大的前10个连通域N1～N10，即以N10为分割阈值，当连通域像素个数大于分割阈值时，则保留该连通域；若联通区域的像素点个数小于分割阈值时，则舍去该连通域；经过自适应阈值分割步骤后，得到裂缝的二值图像H(u,v)；
4)进行闭运算操作，使断裂的裂缝相连；具体操作步骤为：
用半径5像素的圆盘结构体S，对图像H(u,v)膨胀后，再腐蚀操作，
其中，为图像膨胀符号，Θ为图像腐蚀符号；
5)对步骤4)获得的图像进行骨架提取，提取裂缝的中心像素点，具体步骤为：
设经过以上闭运算获得的图像矩阵为H(u,v)，则裂缝中心图像可由以下方法得到：
其中，是裂缝中心图像的子集，裂缝中心图像通过该子集并运算得到；其中，Θ为图像腐蚀符号，/>为开运算符号；(ΗΘkB)表示采用结构体B对图像H(u,v)进行连续k次腐蚀，结构体B为半径7像素的圆形结构体；然后，对腐蚀后的图像进行开运算，消除小的白色区域，并求取腐蚀图像与腐蚀图像开运算的差，得到裂缝中心子集图像；k的次数的确定方法为：是H(u,v)被腐蚀为空集前的最后一次迭代，即
则，经过以上处理的图像S(H)表示图像H(u,v)的骨架图像，记为S(u,v)，表示裂缝中心的图像矩阵。
3.根据权利要求2所述的公路裂缝自动开槽机器人的工作方法，其特征在于，步骤(3-2)中，标准差为σ＝2。
4.一种一体化公路修补系统，所述一体化公路修补系统包括公路裂缝自动开槽机器人、灌缝装置，所述公路裂缝自动开槽机器人利用权利要求1所述的工作方法对公路裂缝进行自动开槽，灌缝装置用于对开槽后的裂缝灌装。
CN202210974154.5A 2022-08-15 2022-08-15 一种公路裂缝自动开槽机器人及工作方法与应用 Active CN115294080B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210974154.5A CN115294080B (zh) 2022-08-15 2022-08-15 一种公路裂缝自动开槽机器人及工作方法与应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210974154.5A CN115294080B (zh) 2022-08-15 2022-08-15 一种公路裂缝自动开槽机器人及工作方法与应用

Publications (2)

Publication Number Publication Date
CN115294080A CN115294080A (zh) 2022-11-04
CN115294080B true CN115294080B (zh) 2023-09-08

Family

ID=83829663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210974154.5A Active CN115294080B (zh) 2022-08-15 2022-08-15 一种公路裂缝自动开槽机器人及工作方法与应用

Country Status (1)

Country Link
CN (1) CN115294080B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105975972A (zh) * 2016-04-27 2016-09-28 湖南桥康智能科技有限公司 基于影像的桥梁裂缝检测与特征提取方法
CN106514607A (zh) * 2016-12-30 2017-03-22 成都圭目机器人有限公司 一种四轮驱动道面修复机器人系统和道面修复方法
EP3454159A1 (en) * 2017-09-06 2019-03-13 Alerion Technologies, S.L. Method and device of autonomous navigation
CN110084302A (zh) * 2019-04-26 2019-08-02 西安因诺航空科技有限公司 一种基于遥感图像的裂缝检测方法
CN111223354A (zh) * 2019-12-31 2020-06-02 塔普翊海（上海）智能科技有限公司 无人小车、基于ar和ai技术的无人车实训平台及方法
CN111287064A (zh) * 2020-03-24 2020-06-16 长安大学 一种路面裂缝开槽机及开槽方法
CN111310558A (zh) * 2019-12-28 2020-06-19 北京工业大学 一种基于深度学习和图像处理法的路面病害智能提取方法
CN112419250A (zh) * 2020-11-13 2021-02-26 湖北工业大学 路面裂缝数字图像提取、裂缝修补及裂缝参数计算方法
CN113358659A (zh) * 2021-04-25 2021-09-07 上海工程技术大学 一种用于高铁箱梁裂缝自动化检测的相机阵列式成像方法
CN114072698A (zh) * 2019-06-28 2022-02-18 伟摩有限责任公司 用于抗遮挡的波束均匀化

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101389244B1 (ko) * 2013-04-18 2014-04-24 재단법인대구경북과학기술원 건축물 관리 로봇 및 그 제어 방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105975972A (zh) * 2016-04-27 2016-09-28 湖南桥康智能科技有限公司 基于影像的桥梁裂缝检测与特征提取方法
CN106514607A (zh) * 2016-12-30 2017-03-22 成都圭目机器人有限公司 一种四轮驱动道面修复机器人系统和道面修复方法
EP3454159A1 (en) * 2017-09-06 2019-03-13 Alerion Technologies, S.L. Method and device of autonomous navigation
CN110084302A (zh) * 2019-04-26 2019-08-02 西安因诺航空科技有限公司 一种基于遥感图像的裂缝检测方法
CN114072698A (zh) * 2019-06-28 2022-02-18 伟摩有限责任公司 用于抗遮挡的波束均匀化
CN111310558A (zh) * 2019-12-28 2020-06-19 北京工业大学 一种基于深度学习和图像处理法的路面病害智能提取方法
CN111223354A (zh) * 2019-12-31 2020-06-02 塔普翊海（上海）智能科技有限公司 无人小车、基于ar和ai技术的无人车实训平台及方法
CN111287064A (zh) * 2020-03-24 2020-06-16 长安大学 一种路面裂缝开槽机及开槽方法
CN112419250A (zh) * 2020-11-13 2021-02-26 湖北工业大学 路面裂缝数字图像提取、裂缝修补及裂缝参数计算方法
CN113358659A (zh) * 2021-04-25 2021-09-07 上海工程技术大学 一种用于高铁箱梁裂缝自动化检测的相机阵列式成像方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于神经网络深度学习的无人驾驶小车设计与制作;徐中林等;《电子制作》(第22期);37-40 *

Also Published As

Publication number Publication date
CN115294080A (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN111071249B (zh) 基于障碍物运动预测的无人车紧急转向避障方法
CN111736603A (zh) 一种无人驾驶清扫车及其长距离贴边清扫方法
CN112498367A (zh) 一种行驶轨迹规划方法、装置、汽车、控制器及计算机可读存储介质
CN110481551A (zh) 一种自动换道的控制方法、装置及车辆
CN211734978U (zh) 一种无人快速综合道路检测车系统
CN111967360A (zh) 基于车轮的目标车辆姿态检测方法
CN110842918B (zh) 一种基于点云伺服的机器人移动加工自主寻位方法
CN110262504A (zh) 一种结构可调的多激光雷达耦合系统及其控制方法
CN211729203U (zh) 一种跑道激光除胶机器人
CN108153306A (zh) 一种机器人系统自主道路无损检测方法
CN111123950A (zh) 行车控制方法、装置及车辆
CN112319429A (zh) 一种动车前挡风玻璃自动清洗的控制系统及控制方法
FR3112502B1 (fr) Contrôle automatique d’un système d’ébavurage de pièces
CN105014099A (zh) 一种数控汽车轮毂测量加工一体机及其使用方法
CN115294080B (zh) 一种公路裂缝自动开槽机器人及工作方法与应用
CN111230903A (zh) 一种跑道激光除胶机器人
CN112819766A (zh) 一种桥梁缺陷检修方法、设备、系统及存储介质
CN110716563A (zh) 一种基于电子地图给定轨迹的电动轮椅路径跟踪控制方法与装置
CN111287064A (zh) 一种路面裂缝开槽机及开槽方法
CN112744293A (zh) 方向盘零位偏差角度测量方法及车辆
CN109703553B (zh) 一种基于牵引点跟踪的自动泊车方法
CN113589685B (zh) 一种基于深度神经网络的挪车机器人控制系统及其方法
CN114563795A (zh) 基于激光里程计和标签融合算法的定位追踪方法及系统
CN112620253A (zh) 一种除锈设备
CN201735929U (zh) 一种用于钢板切割机上的钢板轮廓扫描机构

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant