CN109254011B - 一种基于单目面阵相机的桥梁缺陷检测装置及检测方法 - Google Patents

一种基于单目面阵相机的桥梁缺陷检测装置及检测方法 Download PDF

Info

Publication number
CN109254011B
CN109254011B CN201811151410.0A CN201811151410A CN109254011B CN 109254011 B CN109254011 B CN 109254011B CN 201811151410 A CN201811151410 A CN 201811151410A CN 109254011 B CN109254011 B CN 109254011B
Authority
CN
China
Prior art keywords
bridge
array camera
defect detection
monocular area
hinged
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811151410.0A
Other languages
English (en)
Other versions
CN109254011A (zh
Inventor
王建锋
朱志敏
杨永翌
吴学勤
翟荣龙
陆凌凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN201811151410.0A priority Critical patent/CN109254011B/zh
Publication of CN109254011A publication Critical patent/CN109254011A/zh
Application granted granted Critical
Publication of CN109254011B publication Critical patent/CN109254011B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/062LED's

Abstract

本发明公开了一种基于单目面阵相机的桥梁缺陷检测装置及检测方法,包括:桥梁检测车主体、横臂、第一液压油缸、第一连接支架、第二液压油缸、纵臂和采集机构总成;横臂的一端与桥梁检测车主体固定连接,另一端与第一连接支架的上端铰接;第一连接支架的下端与纵臂的上端铰接,纵臂的下端与采集机构总成连接;采集机构总成包括用于采集图像的单目面阵相机;第一液压油缸的缸体端铰接在横臂上,第一液压油缸的推杆端铰接在第一连接支架上;第二液压油缸的推杆端铰接在第一连接支架上,第二液压油缸的缸体端铰接在纵臂上。本发明的基于单目面阵相机的桥梁缺陷检测装置,能快速准确的采集到桥梁底面的缺陷图像。

Description

一种基于单目面阵相机的桥梁缺陷检测装置及检测方法
技术领域
本发明属于桥梁缺陷检测技术领域以及图像处理技术领域,特别涉及一种基于单目面阵相机的桥梁缺陷检测装置及检测方法。
背景技术
随着国家经济社会的发展和对交通建设的投入,我国交通运输行业持续发展,桥梁数量不断增加。一方面桥梁的增加使我国运输业不断发展,另一方面,受自然老化、运输超载等因素的影响,桥梁结构安全受到很大威胁,大量桥梁的使用衍生了一系列桥梁缺陷的检测与维护问题。而且随着时间的推移,缺陷桥梁的数量在不断增长。因此,我们必须对桥梁的结构安全的检测工作加以重视。
目前,传统的桥梁检测是由人工作业完成的,测得的数据准确性不高,且效率较低,无法快速作业,同时也存在一定的安全隐患,亟需一种新型的桥梁缺陷检测装置。
发明内容
本发明的目的在于提供一种基于单目面阵相机的桥梁缺陷检测装置及检测方法,以解决上述存在的技术问题。本发明的基于单目面阵相机的桥梁缺陷检测装置,能快速准确的采集到桥梁底面的缺陷图像。
为达到上述目的,本发明采用以下技术方案:
一种基于单目面阵相机的桥梁缺陷检测装置,包括:桥梁检测车主体、横臂、第一液压油缸、第一连接支架、第二液压油缸、纵臂和采集机构总成;桥梁检测车主体能够在待测桥梁的桥面上行走,同时用于作为整个桥梁缺陷检测装置的支撑部件;横臂的一端与桥梁检测车主体固定连接;另一端与第一连接支架的上端铰接,第一连接支架的下端与纵臂的上端铰接,纵臂的下端与采集机构总成连接;采集机构总成包括用于采集图像的单目面阵相机;第一液压油缸的缸体端铰接在横臂上,第一液压油缸的推杆端铰接在第一连接支架上;第二液压油缸的推杆端铰接在第一连接支架上,第二液压油缸的缸体端铰接在纵臂上。
进一步的,还包括:第三液压油缸和第二连接支架;第二连接支架铰接在纵臂的下端;第三液压油缸的推杆端铰接在第二连接支架上,第三液压油缸的缸体端铰接在纵臂上;采集机构总成设置于第二连接支架上。
进一步的,采集机构总成还包括:第一电机、横梁、行走装置和轨道;第一电机固定安装在第二连接架上;横梁固定设置在第一电机的输出轴上;横梁上设置有轨道;行走机构可移动的设置于轨道上;行走装置上设置有单目面阵相机。
进一步的,行走装置具体包括:行走机构和安装架;行走机构包括旋转轴、移动轮、光电编码器和第二电机;第二电机的输出轴与旋转轴相连接;旋转轴上设置有移动轮和光电编码器;安装架设置在行走机构上,安装架上安装有激光位移传感器和单目面阵相机。
进一步的,安装架上还设置有照明装置。
进一步的,横梁上还安装有加速度计和激光陀螺。
一种基于单目面阵相机的桥梁缺陷检测方法,基于本发明的一种基于单目面阵相机的桥梁缺陷检测装置,包括以下步骤:
桥梁缺陷检测图像的采集过程:
步骤1.1,通过桥梁检测车主体带动所述桥梁缺陷检测装置至预设采集点;
步骤1.2,通过第一液压油缸、第二液压油缸和第三液压缸的伸缩,通过第一电机带动横梁转动,调整采集机构总成中的单目面阵相机至预设图像采集位置;
步骤1.3,单目面阵相机在轨道上移动,完成桥梁一个横截面上的缺陷检测图像的采集;
步骤1.4,重复步骤1至步骤3,直至整个桥梁的图像采集完毕;
桥梁缺陷检测图像的拼接过程:
步骤2.1,对步骤1.4采集的图像中的相邻图像提取SURF特征点;
步骤2.2,运用NN匹配算法对步骤2.1获得的特征点进行粗匹配;
步骤2.3,运用改进的RANSAC算法对粗匹配的特征点进行提纯;
步骤2.4,根据步骤2.3提纯后的特征点,基于最小二乘法,获得相邻图像的像素映射关系;
步骤2.5,根据步骤2.4获得的相邻图像的像素映射关系,将相邻的图像依次映射到一幅图像上,最终获得桥梁检测的整体图像。
进一步的,步骤1.2中,单目面阵相机的摄像头距桥底面待测区域的距离在2m±0.28m范围内。
进一步的,步骤2.3中,改进的RANSAC算法的步骤为:从粗匹配点对中随机选取4对不共线的粗匹配点对,求解出变换矩阵H,并计算出匹配点间的欧式距离d;将NN粗匹配的比值r按从大到小的顺序均等分成四组,从数值最小组中任意选择四组粗匹配点对,作为一个最优模型的判定,如果选取的四对粗匹配点对中内点数小于2,则舍弃这个模型且不对其他点进行判定,若匹配点对中内点数大于等于2,则对剩余匹配点对进行内点的判定。
进一步的,步骤2.4中,最小二乘法中图像变换所用模型为:
Figure BDA0001818038940000031
式中,(tx,ty)表示平移量,参数ai表示图像旋转或缩放变化;
根据所述图像变换所用模型可知:
Figure BDA0001818038940000041
设:
Figure BDA0001818038940000042
式中,N为特征点对数;
当误差E最小时,参数[a1,a2,a3,a4,Tx,Ty]为平方误差下的优化结果;分别对参数[a1,a2,a3,a4,Tx,Ty]求偏导,最终解出参数a1,a2,a3,a4,Tx,Ty求得变换矩阵H,最终得到相邻图像的像素映射关系。
与现有技术相比,本发明具有以下有益效果:
本发明的基于单目面阵相机的桥梁缺陷检测装置,通过横臂和纵臂支撑、通过第一液压油缸和第二液压油缸伸缩以及通过第一连接支架扭转实现采集机构总成中的单目面阵相机采集图像时所需要位置的调节;能快速准确的采集到桥梁底面的缺陷图像。
进一步的,通过设置第三液压油缸和第二连接支架,将采集机构总成设置在第二连接支架上,可提高采集机构总成调节的灵活度。
进一步的,横梁可通过第一电机带动实现转动,从而可调节单目面阵相机的采集角度,用于采集桥底部凸起部分的图像。横梁的槽内安装有轨道,可用于行走机构在横梁上移动。
进一步的,行走机构的移动是通过第二电机的正反转来实现行走机构的前进与后退。在行走机构的顶部安装一个单目面阵相机,用于桥梁底面图像采集。照明系统采用的是安装在单目面阵相机旁侧的LED灯来实现照明,具有亮度高的效果,能保证桥梁底面图像采集的光照。激光位移传感器安装在单目面阵相机的旁侧,可用于测量单目面阵相机距桥底面的距离。
进一步的,在横梁的中部安装有一个加速度计和一个激光陀螺组成的捷联惯导装置,用于计算横梁的姿态。
本发明的一种基于单目面阵相机的桥梁缺陷检测方法,图像采集时,桥梁检测车先停在待检测的桥面上,利用激光位移传感器可得到采集机构总成与桥底面的距离,根据横、纵臂与采集机构总成的几何位置关系来调节采集机构总成与桥底面的距离,使其在2m±0.28m的范围,0.28m根据单目面阵相机的精度确定。开始采集时,桥面下方的行走机构在第二电机的驱动下,从采集机构总成横梁滑槽的一端前进,进行底部第一个横断面的图像采集。待采集结束后桥面上方的桥梁检测车前进一个图像的宽度0.3m后停止,第二电机反转使下方的行走机构往回退,完成第二个横断面的图像采集。以此类推,从而完成整个桥梁底面的图像采集。将采集的图像通过映射关系映射到一张图像上即可得到桥梁底面的整体图像。
附图说明
图1是本发明的一种基于单目面阵相机的桥梁缺陷检测装置的整体结构示意图;
图2是本发明的一种基于单目面阵相机的桥梁缺陷检测装置的采集机构总成的结构示意图;
图3是本发明的一种基于单目面阵相机的桥梁缺陷检测装置的行走机构的结构示意图;
图4是本发明的一种基于单目面阵相机的桥梁缺陷检测装置在采集桥底平面时的示意图;
图5是本发明的一种基于单目面阵相机的桥梁缺陷检测装置在采集桥底凸起的示意图;
图6是本发明的一种基于单目面阵相机的桥梁缺陷检测方法中图像采集流程示意框图;
图7是本发明的一种基于单目面阵相机的桥梁缺陷检测方法中图像处理流程示意框图;
图8是本发明的一种基于单目面阵相机的桥梁缺陷检测方法中图像拼接过程示意框图;
图9是本发明的一种模拟仿真结果示意图;
图10是本发明的一种模拟仿真结果示意图;
图11是本发明的一种模拟仿真结果示意图;
图1至图5中,1桥梁检测车;2横臂;3第一液压油缸;4第一连接支架;5第二液压油缸;6纵臂;7第三液压油缸;8第二连接支架;9第一电机;10横梁;11行走装置;12轨道;13加速度计;14激光陀螺;15激光位移传感器;16单目面阵相机;17LED灯;18光电编码器;19第二电机。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
本发明的一种基于单目面阵相机的桥梁缺陷检测装置,能快速准确的采集到桥梁底面的缺陷图像并处理,能够实现自动检测;包括:桥梁检测车1、横臂2、第一液压油缸3、第一连接支架4、第二液压油缸5、纵臂6、第三液压油缸7、第二连接支架8以及采集机构总成。其中采集机构总成包括:第一电机9、横梁10、行走装置11、轨道12、加速度计13以及激光陀螺14。行走装置11包括:激光位移传感器15、单目面阵相机16、LED灯17、光电编码器18以及第二电机19。本发明通过激光位移传感器15测单目面阵相机16到桥底面的距离,用于调节采集机构总成的位置。同时加装捷联惯导系统,减少因横梁抖动带来的图像采集的误差。
请参阅图1,桥面上方的桥梁检测车1从侧面伸出一个横臂2,第一连接支架4通过两根转轴连接横臂2和纵臂6,;第一液压油缸3的一端安装在横臂2吊耳处,另一端安装在第一连接支架4上。纵臂6上安装有两个液压油缸,其中第二液压油缸5的一端与第一连接支架4连接,第三液压油缸7的一端与第二连接支架8连接,两个液压油缸的另一端共用一个吊耳固定在纵臂6上。采集机构总成固定在第二连接支架8上。由于液压油缸的拉杆可伸缩故可用来调整横、纵臂的空间位置以此来调节待测桥面下方采集机构的检测方位。由图1中的几何位置关系可得出如下关系式:
d=lsinα-d1-d2 (1)
γ=β+α-180° (2)
式中,d为单目面阵相机距桥梁底部的距离,l为纵臂的臂长,d1为横臂轴线到桥梁底面的距离,d2为单目面阵相机到横梁轴线的距离,α为横臂与纵臂轴线的夹角,β为纵臂与横梁轴线的夹角,γ为水平偏移角。
激光位移传感器可测得单目面阵相机距桥梁底部的距离d,为了保证图像的清晰度,须保证d在2m±0.28m的范围,0.28m根据单目面阵相机的精度确定。根据式(1)知,通过调节横臂与纵臂轴线的夹角α可改变单目面阵相机距桥梁底部的距离d,使其在所需范围内。横梁与桥底面需保证平行,根据式(2)可得到实际横梁与水平面的偏移角γ,通过调整α和β使偏移角γ为0,从而保证横梁与桥梁底部平行。当需要增大角α时,单片机控制第一、二液压缸,使第一液压缸拉杆缩短,第二液压缸拉杆伸长。当需要增大角β时,单片机控制第三液压缸,使其拉杆缩短。
请参阅图2,图2为单目面阵相机采集机构总成示意图,采集机构总成包括:第一电机9、横梁10、行走装置11、轨道12、加速度计13和激光陀螺14。第一电机9安装于第二连接支架8上用螺栓固定,横梁10连接至第一电机9的输出轴上,第一电机9可带动横梁10正反转运动。横梁10内有两条轨道12可供行走机构移动,行走机构通过第二电机19驱动,进行前进和后退运动。在横梁10的中部安装有一个加速度计13和一个激光陀螺14组成的捷联惯导系统,用于计算横梁的姿态。具体的过程为:采集机构使用第一电机带动横梁转动,使单目面阵相机能灵活变化拍摄角度,易于采集桥梁底面凸起部分的图像。同时横梁上的行走机构可通过第二电机驱动沿横梁做往复运动,能采集整个桥梁底部任一位置的图像。
请参阅图3,图3为行走机构机构示意图,行走机构包括:激光位移传感器15、单目面阵相机16、LED灯17、光电编码器18以及第二电机19。行走机构的顶端安装有一个单目面阵相机16,用于桥梁底部的图像采集;单目面阵相机16的旁侧安装一个LED灯17,为图像采集提供充足光照。激光位移传感器15安装在单目面阵相机16的旁侧,可用于测量单目面阵相机距桥底面的距离。在行走机构驱动轮的输出轴上安装一个光电编码器18,可确定行走机构本体的具体方位。
请参阅图4,图4为采集桥底为平面时的示意图,为了保证采集到的图像具有较高的像素和分辨率需保证摄像头距桥底面待测区域不超过2m±0.28m的范围,0.28m根据单目面阵相机的精度确定。利用安装在行走机构上的激光位移传感器进行测距,用单片机控制三个液压油缸调整距离,保证单目面阵相机离待测区域的距离在2m±0.28m以内。
请参阅图5,图5为采集桥底面凸起处的示意图,当到达桥底部凸起区域时,第一电机带动横梁旋转,调整单目面阵相机的拍摄角度,使其能对准凸起区域采集图像。将图5中斜面区域的图像采集完毕后,第一电机反转并降低采集机构的高度,再以同样的方法对下一个底面的图像进行采集。
请参阅图6,经调整好后桥面上方的检测车先停在桥面上,下方的行走机构在第二电机的驱动下从横梁的一端前进进行底部第一个横断面的图像采集。待采集结束后桥面上方的桥梁检测车前进一个图像的宽度0.3m后停止,第二电机反转使下方的行走机构往回退,完成第二个横断面的图像采集。以此类推,从而完成整个桥梁底面的图像采集。
考虑到在初始放置采集机构总成时,需调整横梁位置。同时在图像采集时,由于横梁自身的抖动以及外界环境因素干扰会使横梁偏离原始位置。这二者均会给后期图像拼接过程引入误差。因此在横梁的中部加装捷联式惯导系统来获取梁的姿态,以便及时调整横梁位姿,减少误差。使用捷联惯导系统测横梁的姿态,利用所得姿态角设定阈值,有效减小采集误差。具体位姿算法包括:本发明采用四元数毕卡算法进行姿态计算。首先定义两个坐标系b系和n系。依照图2中采集机构总成位置,以横梁的质心为原点o,取沿横梁轴线向右为x轴正方向,取垂直x轴向里为y轴正方向,取垂直x轴向上为z轴正方向。将上述横梁确定的坐标系定义为b系。当运载体导航时,选取地理坐标系作为导航坐标系。以横梁的质心为原点o,取向东为x轴正方向,取向北为y轴正方向,取向天为z轴正方向。将导航坐标系定义为n系。当横梁姿态变化时,相应的坐标系也会随之变化。安装在横梁上的激光陀螺可感测横梁旋转产生的角动量,加速度计可感测横梁的线运动。将二者的感测数据实时反馈到计算机,利用四元数毕卡算法可解算出由b系到n系的姿态矩阵
Figure BDA0001818038940000091
进而得到关于横梁姿态的三个角度。即横梁绕x轴旋转的俯仰角θ,绕y轴旋转的横滚角γ和绕z轴旋转的方位角Ψ。取顺时针为正。
利用四元数毕卡算法确定姿态矩阵
Figure BDA0001818038940000092
Figure BDA0001818038940000093
将姿态矩阵记为:
Figure BDA0001818038940000094
从而得到横梁的俯仰角θ,横滚角γ和方位角Ψ,通过式(5)、(6)和(7)计算:
θ=arcsinT32 (5)
Figure BDA0001818038940000095
Figure BDA0001818038940000096
其中,γ和Ψ的真值可通过表1和表2确定;表1为横滚角γ的真值表,表2为方位角Ψ的真值表。
表1、横滚角γ的真值表
Figure BDA0001818038940000101
表2、方位角Ψ的真值表
Ψ<sub>主</sub> T<sub>22</sub> Ψ
+ + Ψ<sub>主</sub>
- - 180°+Ψ<sub>主</sub>
+ - 180°-Ψ<sub>主</sub>
- + 360°+Ψ<sub>主</sub>
在桥梁检测车运行的状态下,实时显示横梁的俯仰角θ,横滚角γ和方位角Ψ。当任一角度大于5度时,则认为此时横梁偏转严重,图像采集的引入的误差较大。此时,停止检测并重新调整横梁的姿态。
请参阅图7和图8,本发明的基于检测梁姿态信息的图像拼接过程:
利用检测梁的姿态信息,本发明所采用的图像拼接算法如下:
(1)对相邻图像提取SURF特征点;采用基于特征的SURF算法进行特征提取,计算量较小,复杂度低。
(2)运用NN匹配算法来对特征点粗匹配;
(3)基于改进的RANSAC算法对所提取特征点进行提纯;采用改进的RANSAC算法,精简了特征点数量,去除了特征点中的外点,减小了计算量,提高了特征点提取精度。
(4)基于最小二乘法对图像变换矩阵进行优化。采用最小二乘法对参数进行优化,得到变换矩阵。
本发明的拼接过程中将相邻两图像中的其中一幅与变换矩阵作运算,转换到另一幅图像上实现拼接。沿桥梁检测车前进方向的垂直方向进行拼接,得到带状图像,沿车前进方向将得到一系列带状图像,最后将带状图像进行拼接,得到桥梁底部整体图像。各步骤的具体过程如下:
(1)对相邻图像提取SURF特征点:
首先计算每个像素的Hessian矩阵。Hessian矩阵定义为:
Figure BDA0001818038940000111
式中,Lxx(x,y)代表对图像点x方向的二阶偏导,Lxy(x,y)代表对图像点先求x方向的偏导再求y方向的偏导,Lyx(x,y)代表对图像点先求y方向的偏导再求x方向的偏导,Lyy(x,y)代表对图像点y方向的二阶偏导。
利用加权的方框滤波近似代替二阶高斯滤波计算待选特征点及其周围点的Hessian值,利用积分图可以进行快速计算。判别式为:
det(Hessian(x,y))=Lxx(x,y)*Lyy(x,y)-(Lxy(x,y))^2 (9)
式中,det(Hessian(x,y))代表Hessian矩阵的行列式。若Hessian矩阵的值为正,且两个特征值不同时为正或为负,则认定为极值点。
(2)运用NN匹配算法来对特征点粗匹配
找出与特征点a欧式距离最近和次近的两个邻近特征点b和c,然后计算a与b以及a与c之间欧式距离的比值r。如果比值r小于规定阈值视为匹配成功,(a,b)则为图像序列中的一对匹配点,否则匹配失败。公式如下:
Figure BDA0001818038940000121
(3)改进的RANSAC算法对特征点提纯
改进RANSAC算法的基本思想:从粗匹配点对中随机选取4对不共线的匹配点对,求解出变换矩阵H,计算出匹配点间的欧式距离d。将上述NN粗匹配的比值r按从大到小的顺序大致均等分成四组,从数值最小组中任意选择四组匹配点对,作为一个最优模型的判定。如果选取的四对匹配点对全不是内点,则这组模型作为最优模型的概率很小,这时舍弃这个模型且不对其他点进行判定。重新选取匹配点进行上述步骤,直到匹配点对中内点数大于2,再对剩余匹配点对进行内点的判定。
(4)基于最小二乘法的优化
本发明图像变换所用模型为:
Figure BDA0001818038940000122
(tx,ty)表示平移量,参数ai表示图像旋转、缩放等变化。
计算出这六个参数,即可得到相邻图像的像素映射关系。根据上式知:
Figure BDA0001818038940000123
设:
Figure BDA0001818038940000124
N为特征点对数。当误差E最小时,参数[a1,a2,a3,a4,Tx,Ty]为平方误差下的优化结果。然后分别对参数[a1,a2,a3,a4,Tx,Ty]求偏导:
Figure BDA0001818038940000125
Figure BDA0001818038940000131
Figure BDA0001818038940000132
Figure BDA0001818038940000133
Figure BDA0001818038940000134
Figure BDA0001818038940000135
最终解出参数a1,a2,a3,a4,Tx,Ty,最终得到变换矩阵H。图9至图11为本发明的模拟仿真结果示意图。
请参阅图6至图11,本发明包括图像采集和图像处理两大部分。图像采集时,桥梁检测车先停在待检测的桥面上,利用激光位移传感器可得到采集机构总成与桥底面的距离,根据横、纵臂与采集机构总成的几何位置关系来调节采集机构总成与桥底面的距离,使其在2±0.28m的范围,0.28m根据单目面阵相机的精度确定。开始采集时,桥面下方的行走机构在第二电机的驱动下,从采集机构总成横梁滑槽的一端前进,进行底部第一个横断面的图像采集。待采集结束后桥面上方的桥梁检测车前进一个图像的宽度0.3m后停止,第二电机反转使下方的行走机构往回退,完成第二个横断面的图像采集。以此类推,从而完成整个桥梁底面的图像采集。图像处理过程是将采集到的图像用较传统的SIFT更快的SURF算法进行特征提取,使用NN法进行特征点粗匹配,基于改进的RANSAC算法进行特征点筛选,然后采用最小二乘法对参数优化,进而进行图像拼接并获得桥梁底部的整体图像。

Claims (9)

1.一种基于单目面阵相机的桥梁缺陷检测装置,其特征在于,包括:桥梁检测车主体、横臂、第一液压油缸、第一连接支架、第二液压油缸、纵臂和采集机构总成;
桥梁检测车主体能够在待测桥梁的桥面上行走,同时用于作为整个桥梁缺陷检测装置的支撑部件;
横臂的一端与桥梁检测车主体固定连接,另一端与第一连接支架的上端铰接;第一连接支架的下端与纵臂的上端铰接,纵臂的下端与采集机构总成连接;
采集机构总成包括用于采集图像的单目面阵相机;
第一液压油缸的缸体端铰接在横臂上,第一液压油缸的推杆端铰接在第一连接支架上;第二液压油缸的推杆端铰接在第一连接支架上,第二液压油缸的缸体端铰接在纵臂上;
还包括:第三液压油缸和第二连接支架;
第二连接支架铰接在纵臂的下端;第三液压油缸的推杆端铰接在第二连接支架上,第三液压油缸的缸体端铰接在纵臂上;
采集机构总成设置于第二连接支架上。
2.根据权利要求1所述的一种基于单目面阵相机的桥梁缺陷检测装置,其特征在于,采集机构总成还包括:第一电机、横梁、行走装置和轨道;
第一电机固定安装在第二连接架上;横梁固定设置在第一电机的输出轴上;横梁上设置有轨道;行走装置可移动的设置于轨道上;
行走装置上设置有单目面阵相机。
3.根据权利要求2所述的一种基于单目面阵相机的桥梁缺陷检测装置,其特征在于,行走装置具体包括:行走机构和安装架;
行走机构包括旋转轴、移动轮、光电编码器和第二电机;第二电机的输出轴与旋转轴相连接;旋转轴上设置有移动轮和光电编码器;
安装架设置在行走机构上,安装架上安装有激光位移传感器和单目面阵相机。
4.根据权利要求3所述的一种基于单目面阵相机的桥梁缺陷检测装置,其特征在于,安装架上还设置有照明装置。
5.根据权利要求2至4中任一项所述的一种基于单目面阵相机的桥梁缺陷检测装置,其特征在于,横梁上还安装有加速度计和激光陀螺。
6.一种基于单目面阵相机的桥梁缺陷检测方法,其特征在于,基于权利要求2至5中任一项所述的一种基于单目面阵相机的桥梁缺陷检测装置,包括以下步骤:
桥梁缺陷检测图像的采集过程:
步骤1.1,通过桥梁检测车主体带动所述桥梁缺陷检测装置至预设采集点;
步骤1.2,通过第一液压油缸、第二液压油缸和第三液压缸的伸缩,通过第一电机带动横梁转动,调整采集机构总成中的单目面阵相机至预设图像采集位置;
步骤1.3,单目面阵相机在轨道上移动,完成桥梁一个横截面上的缺陷检测图像的采集;
步骤1.4,重复步骤1.1至步骤1.3,直至整个桥梁的图像采集完毕;
桥梁缺陷检测图像的拼接过程:
步骤2.1,对步骤1.4采集的图像中的相邻图像提取SURF特征点;
步骤2.2,运用NN匹配算法对步骤2.1获得的特征点进行粗匹配;
步骤2.3,运用改进的RANSAC算法对粗匹配的特征点进行提纯;
步骤2.4,根据步骤2.3提纯后的特征点,基于最小二乘法,获得相邻图像的像素映射关系;
步骤2.5,根据步骤2.4获得的相邻图像的像素映射关系,将相邻的图像依次映射到一幅图像上,最终获得桥梁检测的整体图像。
7.根据权利要求6所述的一种基于单目面阵相机的桥梁缺陷检测方法,其特征在于,步骤1.2中,单目面阵相机的摄像头距桥底面待测区域的距离在2m±0.28m范围内。
8.根据权利要求6所述的一种基于单目面阵相机的桥梁缺陷检测方法,其特征在于,步骤2.3中,改进的RANSAC算法的步骤为:从粗匹配点对中随机选取4对不共线的粗匹配点对,求解出变换矩阵H,并计算出匹配点间的欧式距离d;将NN粗匹配的比值r按从大到小的顺序均等分成四组,从数值最小组中任意选择四组粗匹配点对,作为一个最优模型的判定,如果选取的四对粗匹配点对中内点数小于2,则舍弃这个模型且不对其他点进行判定,若匹配点对中内点数大于等于2,则对剩余匹配点对进行内点的判定。
9.根据权利要求6所述的一种基于单目面阵相机的桥梁缺陷检测方法,其特征在于,步骤2.4中,最小二乘法中图像变换所用模型为:
Figure FDA0002707103350000031
式中,(tx,ty)表示平移量,参数a1,a2,a3,a4表示图像旋转或缩放变化;
根据所述图像变换所用模型可知:
Figure FDA0002707103350000032
设:
Figure FDA0002707103350000033
式中,N为特征点对数;
当误差E最小时,参数[a1,a2,a3,a4,Tx,Ty]为平方误差下的优化结果;分别对参数[a1,a2,a3,a4,Tx,Ty]求偏导,最终解出参数a1,a2,a3,a4,Tx,Ty求得变换矩阵H,最终得到相邻图像的像素映射关系。
CN201811151410.0A 2018-09-29 2018-09-29 一种基于单目面阵相机的桥梁缺陷检测装置及检测方法 Active CN109254011B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811151410.0A CN109254011B (zh) 2018-09-29 2018-09-29 一种基于单目面阵相机的桥梁缺陷检测装置及检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811151410.0A CN109254011B (zh) 2018-09-29 2018-09-29 一种基于单目面阵相机的桥梁缺陷检测装置及检测方法

Publications (2)

Publication Number Publication Date
CN109254011A CN109254011A (zh) 2019-01-22
CN109254011B true CN109254011B (zh) 2021-02-26

Family

ID=65044811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811151410.0A Active CN109254011B (zh) 2018-09-29 2018-09-29 一种基于单目面阵相机的桥梁缺陷检测装置及检测方法

Country Status (1)

Country Link
CN (1) CN109254011B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111610192A (zh) * 2020-05-12 2020-09-01 广东中林建筑园林工程有限公司 一种桥梁检修用具有深度结构的桥梁缝隙检测设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100359386B1 (ko) * 2000-08-14 2002-11-07 양경택 비젼 시스템을 이용한 교량의 결함조사 방법 및 장치
JP2014062433A (ja) * 2012-09-24 2014-04-10 Hitachi Ltd 構造物の撮像方法
CN104921688B (zh) * 2015-06-17 2016-08-24 冯晶晶 全液动镜头支架
CN205327082U (zh) * 2015-12-01 2016-06-22 深圳大学 一种基于多传感器集成同步控制的城市轨道检测装置
CN106092056B (zh) * 2016-06-28 2018-07-13 中国人民解放军国防科学技术大学 一种高速铁路桥梁基础沉降变形的车载动态监测方法
CN107064169B (zh) * 2017-01-22 2021-11-09 太原科技大学 一种桥梁裂缝检测装置及检测方法
CN206632567U (zh) * 2017-04-11 2017-11-14 池州职业技术学院 一种基于机器视觉的智能焊接机器人装置

Also Published As

Publication number Publication date
CN109254011A (zh) 2019-01-22

Similar Documents

Publication Publication Date Title
CN105784710B (zh) 一种基于数字图像处理的混凝土桥梁裂缝检测装置
CN111076880B (zh) 一种考虑相机姿态变化的大跨桥梁多点挠度测量方法
CN109584238B (zh) 一种基于立体视觉的弓网运行状况在线检测系统及方法
CN105113403A (zh) 用于桥梁底部的智能检测设备及方法
CN103778681A (zh) 一种车载高速公路巡检系统及数据获取和处理方法
CN107292926B (zh) 基于多图像序列的巡检机器人运动轨迹直线度测量方法
CN206656694U (zh) 用于检测轨道板尺寸的检测装置
CN112068543B (zh) 基于视觉校准的煤矿钻锚机器人钻孔精确定位方法
CN111967360A (zh) 基于车轮的目标车辆姿态检测方法
CN113155047B (zh) 长距离孔距测量装置、方法、存储介质、设备及轨道车辆
CN109254011B (zh) 一种基于单目面阵相机的桥梁缺陷检测装置及检测方法
CN104239904A (zh) 轨道车辆外部轮廓非接触式检测方法
CN102175172A (zh) 一种基于图像识别的机动车辆外形尺寸检测系统
CN115355394A (zh) 一种基于螺旋扫描的管道检测机器人及其检测方法
CN110927172B (zh) 一种飞机整体油箱密封胶漏涂在线检测装置及方法
CN109447971A (zh) 一种摆线齿轮型线误差精确提取及关键形位精度快速分析方法
CN204944427U (zh) 一种接触网几何参数动态检测小车
CN111442817A (zh) 非接触结构光双目视觉污水水位测量装置及方法
CN108759662B (zh) 车辆外廓尺寸测量方法
CN110595384A (zh) 一种基于激光位移传感器的高铁钢轨波磨检测装置、系统及方法
CN114019950B (zh) 一种隧道结构表观病害智能巡检机器人
CN113222907B (zh) 一种基于弯道铁轨的检测机器人
CN112254701B (zh) 车载式桥头跳车检测分析系统及其方法
CN111583235B (zh) 蜂窝规整度检测的分支点识别顶点提取方法及其系统
CN113218311A (zh) 汽车天窗玻璃胶水检验平台设备及其检验方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant