CN116523833B - 基于图像识别技术的裂缝监测设备及包括该设备的安全监测应用平台 - Google Patents

Abstract

本发明公开了一种基于图像识别技术的裂缝监测设备及包括该裂缝监测设备的安全监测应用平台，设备包括裂缝图像获取单元、微处理器、无线传输模块和电源模块；裂缝图像获取单元包括摄像头，用于获取包含裂缝的图像数据；微处理器和摄像头电性连接，用于对摄像机发出拍摄指令，调用摄像机对桥梁结构进行拍摄；微处理器包括图像处理模块，用于接收图像数据，对图像数据进行边缘计算，获得裂缝轮廓特征，再采用自适应动态滤波进行噪声抑制，最后利用智能视频编码技术锁定裂缝区域，将裂缝区域输入改进型U‑NET网络中进行计算得到裂缝的整体变化情况；无线传输模块用于将裂缝的整体变化情况上传至监测端，实现裂缝变化趋势监测和异常报警。

Description

基于图像识别技术的裂缝监测设备及包括该设备的安全监测 应用平台

技术领域

本发明涉及桥梁安全监测领域，尤其涉及一种基于图像识别技术的裂缝监测设备及包括该裂缝监测设备的安全监测应用平台。

背景技术

桥梁裂缝是桥梁常见病害之一，具有隐蔽性、生长趋势不确定性的问题，桥梁在建造和运营期间受自重、重载、环境腐蚀等因素作用下，往往会出现裂缝。随着裂缝的出现与发展，会对结构的承载性能、耐久性造成一定程度的衰减，严重时甚至会导致桥梁的垮塌。为评估桥梁的健康状况需要对桥梁结构表面裂缝进行长期跟踪监测，裂缝监测技术目前主要分为人工监测和自动化监测两种，工程应用中大规模使用的依旧是人工监测，不能满足现代对结构表面裂缝监测的需求。

裂缝人工监测方法是通过肉眼观测或借助望远镜、裂缝测量仪、桥检车等辅助设备对桥梁表面裂缝进行定期观察和判断，监测的准确性和可靠性主要依赖检测人员的专业性和经验，容易受主观因素的影响，存在着系统误差和随机误差、还易受天气因素地理环境因素的干扰，缺乏客观的定量数据评价。

相比于人工监测，自动化监测技术通过传感器设备对裂缝进行长期监测，不依赖监测人员主观经验，监测结果通过数据的形式进行直观展示，客观且准确。目前裂缝自动化裂缝检测技术以接触式裂缝监测技术为主，通过在结构表面跨裂缝安装位移传感器的方式实时观测裂缝开合，位移传感器类型大致分为振弦裂缝传感器和光纤光栅传感器两类，传感器配合自动化数据采集设备采集到裂缝初始宽度及当前裂缝宽度数据来监测裂缝的发展过程。振弦式裂缝传感器于感知范围有限，通常只有10～20厘米，只能对较小裂缝进行观察，应用场景较为有限；光线光栅传感器量程有限，量程范围为6000微应变当裂缝宽度超过0.2mm会发生断裂，无法进一步跟踪裂缝发展过程。除此之外接触式裂缝自动化监测手段还存在以下局限性：

1、接触式裂缝自动化监测技术，传感器往往只安装在裂缝上固定两个点间，只能对裂缝的部分宽度进行长期监测，监测结果只针对裂缝局部范围，无法对裂缝的全局变化进行有效监测。

2、无法实现监控桥梁重车经过瞬间时裂缝的开合情况；

3、普通裂缝传感器受热胀冷缩效应干扰明显，无法彻底消除温度因素对监测数据的影响。

随着计算机技术的飞速发展，很多图像处理领域技术被应用到裂缝检测监测中，通过获取被观测桥梁结构表面图像来识别裂缝宽度、长度，对裂缝长期发展进行跟踪，相较于接触式裂缝位移传感器不会对桥梁主体结构造成损坏，设备安装方便。

发明内容

发明目的：本发明提供一种基于图像识别技术的裂缝监测设备及包括该裂缝监测设备的安全监测应用平台，采用了图像识别技术对裂缝全局进行实时动态监测。

技术方案：一种基于图像识别技术的裂缝监测设备，包括：

裂缝图像获取单元，包括摄像头，所述摄像头对准目标裂缝安装，定时对桥梁结构进行拍照，获取包含裂缝的图像数据；

微处理器，和摄像头电性连接，用于对摄像机发出拍摄指令；所述微处理器包括图像处理模块，用于处理图像数据；所述图像处理模块接收图像数据，对图像数据进行边缘计算，获得裂缝轮廓特征，再采用自适应动态滤波进行噪声抑制，最后利用智能视频编码技术锁定裂缝区域，将裂缝区域输入改进型U-NET网络中进行计算得到裂缝的整体变化情况；

无线传输模块，用于将裂缝的整体变化情况上传至监测端，实现裂缝变化趋势监测；

电源模块，用于设备供电。

进一步的，所述改进型U-NET网络包括输入层、卷积层、池化层、反卷积层、输出层；所述输入层将用于训练的裂缝数据输入到网络结构中，将其转化为三维神经元；所述卷积层通过不同的卷积核对输入数据进行局部加权线性变换，同时添加非线性激活函数产生非线性映射得到特征图；所述池化层对卷积层产生的特征图进行降维操作，保留主要特征降低模型整体运算量；所述反卷积层将不断池化降维的特征图利用反卷积手段恢复到原有特征图大小，从而获取裂缝特征在原始图像中的位置和形状；所述输出层输出原始输入照片的目标分割图像；所述改进型U-NET网络对输入的裂缝区域进行如下处理：

首先对包含有裂缝区域的输入图像进行最大池化下采样逐步提取输入图像的深层特征；

接着对最低分辨率图像进行上采样，最终使其恢复原有尺寸，并将目标特征在原有尺寸中表现出来；

将下采样和上采样阶段连接，使得下采样的部分特征与上采样特征拼接；

在下采样和上采样对应特征拼接前加入注意力模块，将输入裂缝图像中的低级特征传输到上采样阶段，完成特征提取；

根据提取的特征计算裂缝的像素宽度；

根据裂缝的像素宽度和放大系数计算出裂缝的实际宽度。

优选的，所述改进型U-NET网络采用跳跃连接，跳过一或者多个网络层将输入结果输至目标层。

具体的，所述注意力模块用于调整下采样阶段输出特征，控制不同位置特征重要性，具体实现过程如下：

将1×1×1的卷积层分别与ReLU激活函数fx＝max(0,x)和Sigmoid激活函数 结合得到调整权重α，将权重与下采样的特征相乘实现输入特征校正，抑制不相关区域。

进一步的，所述微处理器调用摄像头对桥梁结构进行连续拍摄，所图像处理模块对摄像头拍摄的视频进行逐帧处理，实现裂缝开合瞬间监测。

进一步的，所述裂缝图像获取单元还包括照明设备，和摄像头对应设置。还包括数据存储单元和/或数据显示模块，和裂缝图像处理单元电性连接。

优选的，所述无线传输模块为窄带物联网无线通讯模块。

一种安全监测应用平台，用于裂缝变化趋势的实时观测和异常报警，其包括所述裂缝监测设备，还包括车船撞感知设备，应力/应变及温度传感器、梁体偏位感知设备、动挠度检测设备中的至少一种。

有益效果

与现有技术相比，本发明具有如下显著进步：

1、传统的裂缝监测技术只能对裂缝的部分区域进行观测，往往是裂缝间的最短距离，本发明利用图像算法可以实行裂缝的全局观测，并可以对裂缝的生长趋势进行观测；

2、针对重车经过时裂缝开合瞬间无法监测问题，采用图像处理技术，针对瞬时监测时采用视频动态观测手段，视频由一帧一帧图像组成，对视频进行逐帧图像处理，实现裂缝开合瞬间监测。

3、针对温度效应对裂缝监测结果的干扰和传统接触式裂缝监测技术对桥梁结构表面造成损坏的问题，本发明采用非接触式监测技术，在图像采集阶段与观测结构表面无接触，无需对原有结构进行局部加固，也不会对结构表面造成损坏，可以有效解决温度效应对裂缝监测的影响；

4、本发明客观性强，智能水平高，能有效地降低人力成本同时可以提高结构表面裂缝监测的精确度；

5、本发明采集到的裂缝信息同步上传云端服务器，有助于管养人员对不同结构表面的裂缝进行管理，使得后期的养护工作更为高效；

6、本发明采用NB-IoT通讯，具有广覆盖，更低功耗，更低的模块成本的优势，且具备支撑连接能力，支持低延时敏感度、超低的设备成本、低设备功耗和优化的网络架构；

7、本发明能够实现“哨兵”模式，平时处于休眠状态，每天定时拍摄照片，定时激活传递报警信息至平台保证系统能耗，大大延长系统电池使用寿命，避免电池更换；使用大容量内置锂电池和低功耗电源管理技术，设备使用时长可达十年，且便于更换，减少维护难度，满足桥梁健康监测裂缝的长期观测要求。

附图说明

图1为改进型U-NET网络结构图；

图2为安全监测应用平台的物联网传输拓扑图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为本发明的一部分。

一种基于图像识别技术的裂缝监测设备，包括前端的裂缝图像获取与处理单元，后端的数据存储与展示单元，以及用于数据传输的无线传输模块，用于设备供电的电源模块。前端单元至少包括摄像头和微处理器，优选的还包括照明设备；后端单元包括数据存储模块、数据显示模块。优选的，微处理器、无线传输模块、数据存储模块、电源模块等均集成于主控电路板中。

下面对基于图像识别技术的裂缝监测设备的主要软硬件内容和工作模式进行详细描述。

1、设备采用功能强大的可编程处理器(即微处理器)，内部软件控制设备唤醒、数据采集、启动通讯模块(即无线传输模块)、数据存储上传、休眠等一系列动作；可将设备基本信息(设备唯一识别码、设备类型、设备通讯信号质量、设备剩余电量、位移数据、数据采集时间)通过无线传输模块(优选为窄带物联网)发送至数据中心，实现传感器数据从采集到存储、展示的自动化远程交互。

2、通过照明设备补光、高清摄像机模组对准裂缝区域拍摄，两者联动，由前述微处理器进行控制，微处理器定时发出拍摄指令，照明设备与高清摄像机获取指令并进行操作。

3、内置图像处理模块，包括边缘算法去影、轮廓提取；自适应动态滤波噪声抑制；智能视频编码技术选取锁定裂缝区域，改进型U-NET(网络结构，语义分割模型)网络快速识别裂缝，帧差监控裂缝变化，识别精度与现有技术相比有较大提升。

4、设备供电采用220V交流电供电，同时内置不可充电锂电池，该类型电池无频繁充放电过程，因而自放电较小，电池自身寿命可达10年，因此，可满足不同场景下野外的长期供电。

5、设备机械接口少，可仅采用1个机械接口，具有良好的防水性能。

6、开关及LED(发光二极管)一体按键接口：实现设备开机上电操作，LED指示设备工作状态，例如2S慢闪：设备启动；1S慢闪：采集数据；0.5S快闪：寻找通讯连接；常亮：平台通讯。

本发明利用图像识别深度计算的原理，定时对裂缝表面图像进行拍照获取数据，接着对图像数据进行边缘计算处理分析获得裂缝轮廓特征，再采用自适应动态滤波进行噪声抑制，最后利用智能视频编码技术锁定裂缝区域，将裂缝区域输入改进型U-NET网络中进行计算得到裂缝的整体变化情况，之后将计算结果通过NB-IoT(窄带物联网)无线网络上传至安全监测应用平台，进行裂缝变化趋势的实时观测和异常报警。

U-NET网络根据网络功能的不同分为下采样和上采样，如图1所示，首先对输入图片进行最大池化下采样逐步提取输入图像的深层特征，接着对最低分辨率图像进行上采样，最终使其恢复原有尺寸，并将目标特征在原有尺寸中表现出来，网络将下采样和上采样阶段连接，使得下采样的部分特征与上采样特征拼接。相比于传统的U-NET算法，本发明在网络结构上进行了优化改进，增加了跳跃连接，对每一层的输出都进行了规范化处理，避免深层网络性能退化的问题，同时引入注意力机制，在下采样和上采样对应特征拼接前加入注意力模块，将输入裂缝图像中的低级特征传输到上采样阶段，以实现有效特征提取。以下对跳跃连接和注意力机制分别进行说明。

(1)跳跃连接：由于梯度反向传播问题，网络层数的增加会导致回传至首层网络的梯度过小甚至为0(过大甚至无穷大)，产生造成梯度消失或梯度爆炸情况，本发明采用跳跃连接，跳过一或者多个网络层将输入结果输至目标层，其原理源自残差网络残差块，具体实现过程如公式所示：f(x)＝H(x)-x，x为输入，H(x)为直接映射结果，f(x)为残差部分，为使预测结果更接近，原拟合函数由恒等映射变为使f(x)趋于0，拟合难度降低，规避梯度消失风险，网络模型中通过在原U-NET下采样和上采样卷积层后增加1×1跳跃层。

(2)注意力机制：裂缝图像数据包含着很多与裂缝无关的特征数据，为根据计算输入数据对输出数据的贡献大小调整特征，本网络结构在下采样和上采样阶段特征拼接前增加注意力模块，调整下采样阶段输出特征，控制不同位置特征重要性，注意力模块具体操作是将1×1×1的卷积层分别与ReLU激活函数fx＝max(0,x)和Sigmoid激活函数结合得到调整权重α，将权重与下采样的特征相乘实现输入特征校正，抑制不相关区域，增强目标区域，提高裂缝监测精度。

整体网络结构主要包括：输入层、卷积层、池化层、反卷积层、输出层。输入层：将用于训练的裂缝数据输入到网络结构中，将其转化为三维神经元；卷积层：通过不同的卷积核对输入数据进行局部加权线性变换，同时添加非线性激活函数产生非线性映射得到特征图；池化层：对卷积层产生的特征图进行降维操作，保留主要特征降低模型整体运算量；反卷积层：将不断池化降维的特征图利用反卷积手段恢复到原有特征图大小，从而获取裂缝特征在原始图像中的位置和形状；输出层：输出原始输入照片的目标分割图像。

U-NET算法在上采样阶段结束后完成特征提取，获取裂缝主要特征点在图像的位置坐标。

根据位置坐标计算获取图像上裂缝的像素宽度，再由设备安装时标定的放大系数计算出裂缝的实际宽度。当摄像机进行连续拍摄时，根据帧差处理获取裂缝宽度变化。

设备的工作流程：

S1：对裂缝监测设备进行安装，设备优选固定在被测结构物裂缝的上方位置，保证摄像头对准目标裂缝，并对设备进行标定；

S2：设备安装完成后，每天定时由前端控制电路对摄像头发出拍摄指令，调用摄像头对桥梁结构进行拍摄/连续拍摄；

S3：将摄像头拍摄获取的结构表面裂缝图像输入控制电路中的图像处理模块进行数据处理，识别裂缝宽度；

S4：将识别完成的裂缝宽度、裂缝图片通过无线传输模块发送至安全监测应用平台中。

优选的，在完成抓拍裂缝图像并传输后，系统自动进入休眠状态，待下一次设定的拍照时间到来时自动唤醒并进行重复工作。

进一步的，设备和用户端电性连接，例如PC端、手机app，能够在PC端或手机app上进行数据显示。

如图2所示，一种安全监测应用平台，该安全监测平台包括上述裂缝监测设备(即图2中的裂缝观测设备)，用于监控裂缝宽度变化，并针对异常数据进行报警。此外，平台还包括车船撞感知设备，应力/应变及温度传感器、梁体偏位感知设备、动挠度检测设备中的一种或多种设备，从多维角度采集桥梁安全数据，对桥梁安全评估提供实时可靠的数据支撑。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (8)

1.一种基于图像识别技术的裂缝监测设备，其特征在于，包括：

裂缝图像获取单元，包括摄像头，所述摄像头对准目标裂缝安装，定时对桥梁结构进行拍照，获取包含裂缝的图像数据；

微处理器，和摄像头电性连接，用于对摄像机发出拍摄指令；所述微处理器包括图像处理模块，用于处理图像数据；所述图像处理模块接收图像数据，对图像数据进行边缘计算，获得裂缝轮廓特征，再采用自适应动态滤波进行噪声抑制，最后利用智能视频编码技术锁定裂缝区域，将裂缝区域输入改进型U-NET网络中进行计算得到裂缝的整体变化情况；

无线传输模块，用于将裂缝的整体变化情况上传至监测端，实现裂缝变化趋势监测；

电源模块，用于设备供电；

所述改进型U-NET网络包括输入层、卷积层、池化层、反卷积层、输出层；所述输入层将用于训练的裂缝数据输入到网络结构中，将其转化为三维神经元；所述卷积层通过不同的卷积核对输入数据进行局部加权线性变换，同时添加非线性激活函数产生非线性映射得到特征图；所述池化层对卷积层产生的特征图进行降维操作，保留主要特征降低模型整体运算量；所述反卷积层将不断池化降维的特征图利用反卷积手段恢复到原有特征图大小，从而获取裂缝特征在原始图像中的位置和形状；所述输出层输出原始输入照片的目标分割图像；所述改进型U-NET网络对输入的裂缝区域进行如下处理：

首先对包含有裂缝区域的输入图像进行最大池化下采样逐步提取输入图像的深层特征；

接着对最低分辨率图像进行上采样，最终使其恢复原有尺寸，并将目标特征在原有尺寸中表现出来；

将下采样和上采样阶段连接，使得下采样的部分特征与上采样特征拼接；

在下采样和上采样对应特征拼接前加入注意力模块，将输入裂缝图像中的低级特征传输到上采样阶段，完成特征提取；

根据提取的特征计算裂缝的像素宽度；

根据裂缝的像素宽度和放大系数计算出裂缝的实际宽度；

所述注意力模块用于调整下采样阶段输出特征，控制不同位置特征重要性，具体实现过程如下：

将1×1×1的卷积层分别与ReLU激活函数和Sigmoid激活函数/>结合得到调整权重α，将权重与下采样的特征相乘实现输入特征校正，抑制不相关区域。

2.根据权利要求1所述的基于图像识别技术的裂缝监测设备，其特征在于，所述改进型U-NET网络采用跳跃连接，跳过一或者多个网络层将输入结果输至目标层。

3.根据权利要求1所述的基于图像识别技术的裂缝监测设备，其特征在于，所述微处理器调用摄像头对桥梁结构进行连续拍摄，所图像处理模块对摄像头拍摄的视频进行逐帧处理，实现裂缝开合瞬间监测。

4.根据权利要求1所述的基于图像识别技术的裂缝监测设备，其特征在于，所述裂缝图像获取单元还包括照明设备，和摄像头对应设置。

5.根据权利要求1所述的基于图像识别技术的裂缝监测设备，其特征在于，还包括数据存储单元和/或数据显示模块，和裂缝图像处理单元电性连接。

6.根据权利要求1所述的基于图像识别技术的裂缝监测设备，其特征在于，所述无线传输模块为窄带物联网无线通讯模块。

7.一种安全监测应用平台，其特征在于，包括如权利要求1-6任一所述的裂缝监测设备，安全监测平台用于裂缝变化趋势的实时观测和异常报警。

8.根据权利要求7所述的安全监测应用平台，其特征在于，还包括车船撞感知设备，应力/应变及温度传感器、梁体偏位感知设备、动挠度检测设备中的至少一种。