CN109186902A

CN109186902A - 一种基于视觉传感的桥梁结构健康检测系统

Info

Publication number: CN109186902A
Application number: CN201811122495.XA
Authority: CN
Inventors: 王赟; 金尚忠; 陈智慧; 严永强; 吴羽峰
Original assignee: China Jiliang University
Current assignee: China Jiliang University
Priority date: 2018-09-26
Filing date: 2018-09-26
Publication date: 2019-01-11

Abstract

本发明公开了一种基于视觉传感的桥梁结构健康检测系统，包括双目视觉桥梁检测模块；由应变传感器、加速度计、温度传感器、风速传感器、车检器等组成的附加检测传感器组；数据无线通信模块；数据处理云平台。双目视觉桥梁检测模块通过双目相机使用模板匹配算法动态跟踪检测目标点，并结合三维重构算法计算桥梁目标点在三维坐标下的位移，以此来检测桥梁目标点挠度，同时还能利用实时采集的图像对桥外侧裂缝进行尺寸检测和分类。附加传感器组检测的多项数据可以对双目视觉传感检测参数进行修正和补充，以实现对桥梁结构健康进行整体动态分析，通过无线通信和云平台实现桥梁实时结构健康检测和预警。整个检测系统安装简单、测量快速且实时、精度高、稳定性好等优点，适用于各种不同桥梁，易于推广。

Description

一种基于视觉传感的桥梁结构健康检测系统

技术领域

本发明涉及桥梁结构健康检测技术领域，特别是涉及一种基于视觉传感的桥梁结构健康检测系统。

背景技术

随着桥梁工程建设的发展，桥梁已经成为交通基础设施的重要组成部分。随之而来的桥梁养护和管理问题也变得越来越重要。在实际的工程中，桥梁检测也逐渐从人工向半自动化发展，从最开始单纯的人工到桥检车，到各种检查设备以及更进一步的智能检测。为了满足方便快捷的检测需求，不断提出新的方法思路并在实际应用和实践中加以完善。而在桥梁结构健康检测中的桥梁挠度和桥梁裂缝检测尤为重要。

桥梁挠度可以直接反映桥梁结构的垂直整体刚度和其承载载荷的能力，因此，在新建桥梁的验收检查和在役桥梁的日常安全评估中，静态和动态桥梁挠度通常被认为是要测量的基本和必要参数。常用的检测方法是通过传统的接触式位移传感器测量，例如线性可变差动变压器(LVDT)，千分表以及加速器等。这些接触式测量方法，尤其是LVDT和千分表，能够检测任何方向的位移，并满足结构测试的分辨率要求。然而，将这些接触位移传感器安装到测量点需要附近的固定平台作为固定参考点。在桥梁偏转的现场测量中，这项任务通常非常困难，或者非常昂贵且耗时，甚至无法实现。因此各种非接触式位移测量系统，包括全球定位系统(GPS)、激光多普勒振动计(LDV)、雷达干涉测量等已经开发并应用于桥梁挠度测量，但这些技术往往测量过程复杂、缓慢或非自动化，仍存在很多不足。

裂缝是桥梁安全最普遍的威胁因素，相关历史数据表明，由裂缝引起的桥梁安全事故占桥梁总体灾害的90％以上。因此检测桥梁裂缝是桥梁耐久性评估的重要参考之一。但是，当前国内的裂缝检测技术基本仅限于人工操作，其效率和安全性均有不足，且检测结果往往会受到人为主观因素影响。后来发展出使用单目视觉来代替人工检测，此方法虽然较之前效率上有了极大改善，但测量可靠度不高，因为仅用一个相机，会将从三维空间里采集到的图片压缩到二维平面上，当相机平面与桥面不平行时，测量精度会受到很大影响。

综上所述，如何解决桥梁结构健康检测中设备安装复杂、测量过程缓慢、测量精度可靠性不高、测量系统缺乏实时性和一体化等问题，成为了本领域技术人员亟待解决的问题。

发明内容

本发明的目的是提供一种基于视觉传感的桥梁结构健康检测系统，以解决上述现有技术存在的问题，使用双目视觉的非接触式测量桥梁的挠度和裂纹，并结合多传感器组的数据对整个桥梁结构健康进行动态监测，整个检测系统具有设备安装简单、测量过程快速且实时性、测量精度高、稳定性好、数据处理一体化集成度高等优点，适用于各种不同桥梁，易于推广。

为实现上述目的，本发明提供了如下方案：本发明提供了一种基于视觉传感的桥梁结构健康检测系统，包括双目视觉桥梁检测模块、附加检测传感器组、数据无线通信模块、数据处理云平台；所述双目视觉桥梁检测模块、附加检测传感器组各自将检测到的桥梁数据信息传输给数据无线通信模块，数据无线通信模块实时将各数据流发送给数据处理云平台，数据处理云平台结合各数据流实时动态分析和检测桥梁结构健康状态。

优选地，所述双目视觉桥梁检测模块包括双目相机、镜头、支架、采集卡、工控机、自发光标记物、自校准装置；所述双目相机采用1800万以上像素的高分辨率工业相机，所述镜头采用长焦距、低畸变镜头，所述自发光标记物可采用LED灯或荧光标记物；两个摄像机安装在支架上，并依次与采集卡和工控机相连；视实际检测需求在桥梁不同位置安装n个自发光标记物，其中桥梁跨度中间位置为必要的主检测点；所述双目视觉桥梁挠度检测模块安装在地面平稳且视线无遮挡处，两个摄像机的左右画面都需采集到桥梁所有标记物，装置与桥梁距离为10-1000米。

优选地，所述双目视觉桥梁检测模块中的自校准装置通过支架与双目相机相连，包括激光测距仪、光学经纬仪和微调电机，激光测距仪用于确定从相机传感器到每个标记物的距离以及相机的俯仰角，光学经纬仪用于确定相机的水平、垂直方位，微调电机的旋转轴需与摄像机的原点相交，微调电机根据检测到的相机方位参数与预设参数进行比对，当大于误差阈值时对相机位置、角度进行微调校准，精度为±0.1mm和±0.05度，实现对相机姿态的闭环控制，确保相机本身位置变化影响可略。

优选地，所述双目视觉桥梁检测模块的挠度检测流程为：1)首先对左右双目相机进行标定，标定物可以为棋盘格或T型棒，使用标定算法以此获得相机的内、外参数以及左右相机的位姿关系，并重构基础桥梁结构坐标系；2)将桥梁上的n个自发光标记物设置为预定模板，选取各个标记物周围为ROI(感兴趣区域)，使用模板匹配算法对各个标记物在视频流中进行动态跟踪；3)根据设置的采样频率实时采集图像，计算跟踪的标记物在相邻间隔图像帧上的重构坐标系坐标变化，即可求出标记点实际位移d，标记物的重构坐标由同一时刻左、右两相机画面计算得到，若在i帧的标记物重构坐标为P_i(x_i，y_i，z_i)，在i+1帧的标记物重构坐标为P_i+1(x_i+1，y_i+1，z_i+1),则该时间间隔下的挠度d可由下式得到，

由此可以得到桥梁在各个标记位置的挠度曲线。

优选地，所述双目视觉桥梁检测模块可以对挠度检测中采集到的桥梁外侧图像进行裂缝尺寸检测，检测流程为：1)双目相机将采集到的图像通过采集卡传输给工控机；2)工控机对采集到的图像进行图像处理，使用滤波算法对图像进行降噪处理，使用直方图均衡化法对降噪后的图像进行增强处理，使用算法对增强后的图像进行边缘检测，对检测边缘进行二值化处理以得到对尺寸计算有用的像素点；3)对目标特征像素点P在左右相机平面上的二维坐标进行计算得到其的空间三维坐标，同理计算裂缝轮廓上的多个特征像素点的空间三维坐标，最后联合计算出裂缝的宽度和长度。

优选地，所述附加检测传感器组包括应变传感器、加速度计、温度传感器、风速传感器、车检器等，应变传感器监测桥梁的变形和结构应力，加速度计监测桥梁的振动特性，温度传感器、风速传感器监测桥梁环境温度、风力风向等参数、车检器监测桥梁的交通荷载，附加传感器连续监测，根据测得的附加参数大数据，实现对视觉传感桥梁结构参数的补充和修正，同时分析桥梁在不同工作环境及车载等各类外部荷载作用下的响应和受力特性。并预留多个传感器接口，进行传感器的更换和扩充。

优选地，所述数据无线通信模块采用网络通信或zigbee无线通信；所述数据处理云平台具有数据计算分析和存储功能，当桥梁某应力应变或结构数据指标超过安全阈值时会实时启动预警功能，并且可以对存储的桥梁结构历史数据进行统计和报表分析。

本发明相对于现有技术取得了以下技术效果：本发明的基于视觉传感的桥梁结构健康检测系统，通过使用双目视觉传感来检测桥梁的挠度和裂缝，利用非接触式测量大大减轻了设备安装的复杂度，同时实现快速，简单，自动的测量，且测量过程实时性和可视化。并且结合附加传感器组检测的多项数据对桥梁结构健康进行整体动态检测，同时借助无线通信和云平台实现桥梁数据的实时分析和预警。整个检测系统具有设备安装简单、测量过程快速且实时性、测量精度高、稳定性好、数据处理一体化集成度高等优点，适用于各种不同桥梁，易于推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明系统的整体框图。

图2为本发明中双目视觉桥梁检测模块的结构示意图

其中，1是双目视觉桥梁检测模块，2是附加检测传感器组，3是数据无线通信模块，4是数据处理云平台，1-1是双目相机，1-2是镜头，1-3是支架，1-4是采集卡、1-5是工控机、1-6是自发光标记物，1-7是自校准装置。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于视觉传感的桥梁结构健康检测系统，以解决现有技术存在的问题。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提供了一种基于视觉传感的桥梁结构健康检测系统，包括双目视觉桥梁检测模块1、附加检测传感器组2、数据无线通信模块3、数据处理云平台4；双目视觉桥梁挠度检测模块1、附加检测传感器组2与数据无线通信模块3保持无线连接。数据无线通信模块3可以实现数据汇总和发射功能，与数据处理云平台4保持通信。数据处理云平台4结合各数据流实时动态分析和检测桥梁结构健康状态。

如图2所示，双目视觉桥梁检测模块1包括双目相机1-1、镜头1-2、支架1-3、采集卡1-4、工控机1-5、自发光标记物1-6、自校准装置1-7；所述双目相机1-1采用1800万以上像素的高分辨率工业相机，所述镜头1-2采用长焦距、低畸变镜头，所述自发光标记物1-6采用LED灯或荧光标记物；双目相机1-1安装在支架1-3上，并依次与采集卡1-4和工控机1-5相连；视实际检测需求在桥梁不同位置安装n个自发光标记物1-6，其中桥梁跨度中间位置为必要的主检测点；所述双目视觉桥梁挠度检测模块1安装在地面平稳且视线无遮挡处，两个摄像机1-1的左右画面都需采集到桥梁所有标记物，装置与桥梁距离为10-1000米。

双目视觉桥梁检测模块1中的自校准装置1-7通过支架与两个摄像机1-1相连，包括激光测距仪、光学经纬仪和微调电机，激光测距仪用于确定从相机传感器到每个标记物的距离以及相机的俯仰角，光学经纬仪用于确定相机的水平、垂直方位，微调电机的旋转轴需与摄像机的原点相交，微调电机根据检测到的相机方位参数与预设参数进行比对，当大于误差阈值时对相机位置、角度进行微调校准，精度为±0.1mm和±0.05度，实现对相机姿态的闭环控制，确保相机本身位置变化影响可略。

双目视觉桥梁检测模块1的挠度检测流程为：1)首先对左右双目相机1-1进行标定，标定物可以为棋盘格或T型棒，使用标定算法以此获得相机的内、外参数以及左右相机的位姿关系R、T，其中利用相机的内外参数可以计算相机的投影矩阵ρ，R反映左右相机的旋转变换关系，可以表示为

T＝(t₁，t₂，t₃)^T，反映左右相机的平移变换关系，由此左右相机坐标系下的空间点与像面点之间的对应关系如下所示：

其中空间点坐标为(x_i，y_i，z_i)，其在左右像面的映射为(u₁，v₁)和(u₂，v₂)，f为相机焦距。

2)将桥梁上的n个自发光标记物1-6设置为预定模板，选取各个标记物周围为ROI感兴趣区域，使用模板匹配算法对各个标记物在视频流中进行动态跟踪。

3)根据设置的采样频率实时采集图像，计算跟踪的标记物在相邻间隔图像帧上的重构坐标系坐标变化，即可求出标记点实际位移d，标记物的重构三维坐标(xi，yi，zi)由同一时刻左、右两相机画面的二维坐标(u₁，v₁)和(u₂，v₂)由下式计算得到，

若在i帧的标记物重构坐标为Pi(xi，yi，zi)，在i+1帧的标记物重构坐标为Pi+1(xi+1，yi+1，zi+1),则该时间间隔下的挠度d可由下式得到，

通过计算连续图像帧序列下的挠度可以得到桥梁在各个标记位置的挠度曲线。

双目视觉桥梁检测模块1可以对挠度检测中采集到的桥梁外侧图像进行裂缝尺寸检测，检测流程为：1)双目相机1-1将采集到的图像通过采集卡1-4传输给工控机1-5。

2)工控机1-5对采集到的图像进行图像处理，使用滤波算法对图像进行降噪处理，使用直方图均衡化法对降噪后的图像进行增强处理，使用算法对增强后的图像进行边缘检测，对检测边缘进行二值化处理以得到对尺寸计算有用的像素点。

3)对目标特征像素点P在左右相机平面上的二维坐标进行计算得到其的空间三维坐标，设P和Q为裂缝图像边缘上的2个像素点，其经过计算得出的三维坐标为(X_P，Y_P，Z_P)和(X_Q，Y_Q，Z_Q)，那么，根据空间2点距离公式有P和Q两点间的距离为:

由此，可计算裂缝边缘上任意两点的距离。垂直于裂缝轴线并与裂缝轮廓相交的线段长度可认为是裂缝宽度，同时已知空间点坐标也可计算曲线长度，从而有效计算裂缝长度。

此外，双目视觉桥梁检测模块1使用CNN卷积神经网络对采集到的裂缝图像进行横向裂缝、纵向裂缝、块状裂缝和网状裂缝4类的识别及分类。网络结构采用LeNet-5结构，包括两个卷积层、两个抽样层以及全连接层。卷积层C1包含6张特征图,C3包含16张特征图，卷积核大小为5*5。输出结果为4类。

附加检测传感器组2包括应变传感器、加速度计、温度传感器、风速传感器、车检器等，应变传感器监测桥梁的变形和结构应力、加速度计监测桥梁的振动特性、温度传感器、风速传感器监测桥梁环境温度、风力风向等参数、车检器监测桥梁的交通荷载，附加传感器连续监测，根据测得的附加参数大数据，实现对视觉传感桥梁结构参数的补充和修正，同时分析桥梁在不同工作环境及车载等各类外部荷载作用下的响应和受力特性。车检器安装于桥头上桥前的适当位置，应变传感器、加速度计安装于桥梁重要部位(桥塔、主要承重构件、桥身关键部位等)，温度传感器、风速传感器安装于桥梁上较高位置。并预留多个传感器接口，可进行传感器的更换和扩充。例如对于有索桥梁(如拱桥、斜拉桥、悬索桥)，可以增设索力仪对索的受力变化进行监测，以分析索的老化、疲劳。

数据无线通信模块3采用网络通信或z igbee无线通信；所述数据处理云平台4具有数据计算分析和存储功能，当桥梁应力应变或结构数据超过安全阈值时会实时启动预警功能，并且可以对存储的桥梁结构历史数据进行统计和报表分析。

在使用本发明系统的一个具体实施过程中，双目视觉桥梁检测模块1、附加检测传感器组2各自将检测到的桥梁数据信息传输给数据无线通信模块3，数据无线通信模块3实时将各数据流发送给数据处理云平台4，数据处理云平台4结合各数据流实时动态分析和显示桥梁结构健康状态。其中双目视觉桥梁检测模块1安装在距离桥梁120m处，桥上安置了5个标记物，图像采样频率为10Hz，测量精度可以达到1mm。同时在一次检测过程中共采集到10帧裂缝图像，裂缝尺寸的测量精度可以达到0.1mm，并对裂缝种类进行进行识别分类，识别准确率达到97％。整个系统数据传输稳定可靠，利用后台数据处理云平台4可以实现对桥梁结构健康的整体分析和预警。

本发明中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本新型的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本新型的限制。

Claims

1.一种基于视觉传感的桥梁结构健康检测系统，其特征在于：包括双目视觉桥梁检测模块(1)、附加检测传感器组(2)、数据无线通信模块(3)、数据处理云平台(4)；所述双目视觉桥梁检测模块(1)、附加检测传感器组(2)各自将检测到的桥梁数据信息传输给数据无线通信模块(3)，数据无线通信模块(3)实时将各数据流发送给数据处理云平台(4)，数据处理云平台(4)结合各数据流实时动态分析和检测桥梁结构健康状态。

2.根据权利要求1所述的一种基于视觉传感的桥梁结构健康检测系统，其特征在于：所述双目视觉桥梁检测模块(1)包括双目相机(1-1)、镜头(1-2)、支架(1-3)、采集卡(1-4)、工控机(1-5)、自发光标记物(1-6)、自校准装置(1-7)；所述双目相机(1-1)采用1800万以上像素的高分辨率工业相机，所述镜头(1-2)采用长焦距、低畸变镜头，所述自发光标记物(1-6)可采用LED灯或荧光标记物；双目相机(1-1)安装在支架(1-3)上，并依次与采集卡(1-4)和工控机(1-5)相连；视实际检测需求在桥梁不同位置安装n个自发光标记物(1-6)，其中桥梁跨度中间位置为必要的主检测点；所述双目视觉桥梁检测模块(1)安装在地面平稳且视线无遮挡处，双目相机(1-1)的左右画面都需采集到桥梁所有标记物，装置与桥梁距离为10-1000米。

3.根据权利要求1所述的一种基于视觉传感的桥梁结构健康检测系统，其特征在于：所述双目视觉桥梁检测模块(1)中的自校准装置(1-7)通过支架与双目相机(1-1)相连，包括激光测距仪、光学经纬仪和微调电机，激光测距仪用于确定从相机传感器到每个标记物的距离以及相机的俯仰角，光学经纬仪用于确定相机的水平、垂直方位，微调电机的旋转轴需与摄像机的原点相交，微调电机根据检测到的相机方位参数与预设参数进行比对，当大于误差阈值时对相机位置、角度进行微调校准，精度为±0.1mm和±0.05度，实现对相机姿态的闭环控制，确保相机本身位置变化影响可略。

4.根据权利要求1所述的一种基于视觉传感的桥梁结构健康检测系统，其特征在于：所述双目视觉桥梁检测模块(1)的进行挠度检测的流程为：1)首先对双目相机(1-1)进行标定，标定物可以为棋盘格，使用标定算法，以此获得相机的内、外参数以及左右相机的位姿关系，并重构基础桥梁结构坐标系；2)将桥梁上的n个自发光标记物(1-6)设置为预定模板，选取各个标记物周围为ROI(感兴趣区域)，使用模板匹配算法对各个标记物在视频流中进行动态跟踪；3)根据设置的采样频率实时采集图像，计算跟踪的标记物在相邻间隔图像帧上的重构坐标系坐标变化，即可求出标记点实际位移d，标记物的重构坐标由同一时刻左、右两相机画面计算得到，若在i帧的标记物重构坐标为P_i(x_i，y_i，z_i)，在i+1帧的标记物重构坐标为P_i+1(x_i+1，y_i+1，z_i+1),则该时间间隔下的挠度d可由下式得到，

由此可以得到桥梁在各个标记位置的挠度曲线。

5.根据权利要求1所述的一种基于视觉传感的桥梁结构健康检测系统，其特征在于：所述双目视觉桥梁检测模块(1)可以对挠度检测中采集到的桥梁外侧图像进行裂缝尺寸检测，检测流程为：1)双目相机(1-1)将采集到的图像通过采集卡(1-4)传输给工控机(1-5)；2)工控机(1-5)对采集到的图像进行图像处理，使用滤波算法对图像进行降噪处理，使用直方图均衡化法对降噪后的图像进行增强处理，使用算法对增强后的图像进行边缘检测，对检测边缘进行二值化处理以得到对尺寸计算有用的像素点；3)对目标特征像素点P在左右相机平面上的二维坐标进行计算得到其的空间三维坐标，同理计算裂缝轮廓上的多个特征像素点的空间三维坐标，最后联合计算出裂缝的宽度和长度。

6.根据权利要求1所述的一种基于视觉传感的桥梁结构健康检测系统，其特征在于：所述附加检测传感器组(2)包括应变传感器、加速度计、温度传感器、风速传感器、车检器等，应变传感器监测桥梁的变形和结构应力，加速度计监测桥梁的振动特性，温度传感器、风速传感器监测桥梁环境温度、风力风向等参数、车检器监测桥梁的交通荷载，附加传感器连续监测，根据测得的附加参数大数据，实现对视觉传感桥梁结构参数的补充和修正，同时分析桥梁在不同工作环境及车载等各类外部荷载作用下的响应和受力特性。并预留多个传感器接口，进行传感器的更换和扩充。

7.根据权利要求1所述的一种基于视觉传感的桥梁结构健康检测系统，其特征在于：所述数据无线通信模块(3)采用网络通信或zigbee无线通信；所述数据处理云平台(4)具有数据计算分析和存储功能，当桥梁应力应变或结构数据指标超过安全阈值时会实时启动预警功能，并且可以对存储的桥梁结构历史数据进行统计和报表分析。