CN115790400A - 一种应用于桥隧结构安全的机器视觉标靶标定方法 - Google Patents

Abstract

本发明公开了一种应用于桥隧结构安全的机器视觉标靶标定方法，涉及桥隧安全技术领域，根据各个不同的桥隧结构确定该结构中具有支撑作用的关键部件以及宽度和长度阈值；实时获取每个关键部件的图像；并每隔一定的时间周期使用图像识别技术分析图像中是否包含裂缝，若包含裂缝，则截取裂缝局部图像，并使用图片处理技术获取裂缝的最大宽度以及最大长度；若最大宽度或最大长度超过预设的图像宽度阈值或图像长度阈值，通知工作人员及时对目标关键部件中的对应裂缝使用标靶标定算法计算出裂缝实际长度和实际宽度；若实际长度或实际宽度超出长度阈值或宽度阈值，及时对裂缝进行处理；解决了自动筛选桥隧裂缝，降低人力物理成本的问题。

Description

一种应用于桥隧结构安全的机器视觉标靶标定方法

技术领域

本发明属于桥隧结构领域，涉及机器视觉技术，具体是一种应用于桥隧结构安全的机器视觉标靶标定方法。

背景技术

桥隧作为交通运输的重要环节，无论是公路还是铁路都不可避免的需要经过桥隧；因此，桥隧的安全问题需要受到实时的关注；而桥隧的结构中对桥隧的支撑起到关键性作用的往往是部分关键部件；一旦关键部件受到损伤，支撑作用下滑，极有可能导致桥隧崩塌；而根据数据统计，桥隧结构中关键部件的损伤往往是由于部件表面出现裂缝导致；因此，为了保证桥隧结构的安全，需要时刻关注桥隧结构关键部件处出现的裂缝大小情况；

目前，对桥隧裂缝情况的关注大都采用人工观察的方式，需要消耗大量的人力物力，且可能会存在观察不及时的情况；因此，需要一个减少人力物力成本，且及时提醒工作人员进一步确认的自动监测方法；

为此，提出一种应用于桥隧结构安全的机器视觉标靶标定方法。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种应用于桥隧结构安全的机器视觉标靶标定方法，该一种应用于桥隧结构安全的机器视觉标靶标定方法根据各个不同的桥隧结构确定该结构中具有支撑作用的关键部件以及宽度和长度阈值；实时获取每个关键部件的图像；并每隔一定的时间周期使用图像识别技术分析图像中是否包含裂缝，若包含裂缝，则截取裂缝局部图像，并使用图片处理技术获取裂缝的最大宽度以及最大长度；若最大宽度或最大长度超过预设的图像宽度阈值或图像长度阈值，通知工作人员及时对目标关键部件中的对应裂缝使用标靶标定算法计算出裂缝实际长度和实际宽度；若实际长度或实际宽度超出长度阈值或宽度阈值，及时对裂缝进行处理；解决了自动筛选桥隧裂缝，降低人力物理成本的问题。

为实现上述目的，根据本发明的第一方面的实施例提出一种应用于桥隧结构安全的机器视觉标靶标定方法，包括以下步骤：

步骤一：收集桥隧结构设计图，根据桥隧的结构找出桥隧的所有关键支撑部件；

步骤二：为桥隧的每个关键支撑部件设置裂缝宽度阈值以及裂缝长度阈值；将每个关键部位标记为C；将关键部位C的裂缝宽度阈值标记为CWR；将关键部位C的裂缝长度阈值标记为CLR；

步骤三：通过图像捕获设备实时获取桥隧关键部件的实际图像；

步骤四：每隔时间周期T，通过图像识别技术识别桥隧关键部件图像中是否具有裂缝；若存在裂缝，截取裂缝局部图像，并转至步骤五；否则，不做处理；所述时间周期T根据实际经验设置；

步骤五：为每个关键部位C预设一个图像裂缝宽度阈值CWP和图像裂缝长度阈值CLP；通过图像分析技术获取裂缝局部图像的最大宽度以及最大长度；

步骤六：若裂缝局部图像最大宽度大于图像裂缝宽度阈值CWP或裂缝局部图像最大长度大于图像裂缝长度阈值CLP，转至步骤七；否则，不做处理；

步骤七：将关键部件在桥隧的位置以及裂缝在关键部件上的位置发送至工作人员；并通知工作人员前往对应关键部件处，使用裂缝标靶标定方法计算出对应裂缝的最大宽度以及最大长度；

步骤八：若裂缝的最大宽度大于裂缝宽度阈值CWR或裂缝最大长度大于裂缝长度阈值CWL，则通知工程人员对裂缝进行修补；

桥隧结构的所有关键支撑部件根据不同桥隧的实际结构以及支撑的物理原理进行人工选择；

每个关键支撑部件的裂缝宽度阈值以及裂缝长度阈值通过3D建模软件建立桥隧结构，并使用模拟物理引擎在关键部件上刻划裂缝，记录导致桥隧结构不稳定的最大裂缝宽度以及最大裂缝长度；将记录的最大裂缝宽度以及最大裂缝长度分别标记为CWJ以及CLJ；可以理解的是，由于现实环境的复杂性，建模软件模拟的桥隧结构并不能完全衡量桥隧的支撑力度；因此，根据实际经验预设一个比例系数a；裂缝宽度阈值CWR=a*CWJ；裂缝长度阈值CLR=a*CLJ；其中，0<a<1；

所述图像捕获设备可以是若干监控摄像头；每个关键部件附近固定安装一个监控摄像头，保证每个关键部件的图像均可被实时获取；

其中，所述通过图像识别技术识别桥隧关键部件图像中是否具有裂缝并截取裂缝局部图像包括以下步骤：

步骤S1：预先收集若干张桥隧部件图片；根据桥隧部件表面是否具有裂缝将桥隧部件图片进行分类；并将每张图片进行标记；标记方式为将部件表面有裂缝的图片标记为1；将部件表面无裂缝的图片标记为0；

步骤S2：将桥隧部件图片作为输入，输入至CNN神经网络模型中，该CNN神经网络模型以图片中是否存在裂缝为输出；以预测的裂缝存在与否的结果和图片中存在裂缝的真实情况计算预测的准确率；以预测准确率为CNN神经网络模型的训练目标；对CNN神经网络模型进行训练；CNN神经网络模型的参数根据实际经验设置以及调整；

步骤S3：当CNN神经网络模型的预测准确率达到98%时停止训练；将训练完成的CNN神经网络模型标记为M；

步骤S4：每隔时间周期T，截取图像捕获设备捕获的每隔关键部件C的视频中的一帧图像；并将图像输入至CNN神经网络模型M中，获得关键部件图像中是否存在裂缝的预测结果；

步骤S5：对于预测结果为存在裂缝的关键部件C的图像，使用目标识别算法识别图像中的裂缝，并将裂缝所在区域通过图片截取工具进行截取；

计算图片中每条裂缝的最大宽度与最大长度包括以下方式：

步骤P1：通过图像分析技术获取图片中每条裂缝边界线的像素点位置；

步骤P2：使用遍历法确定裂缝边界线上距离最大的两个像素点位置；该最大距离即为裂缝的最大长度；将该两个像素点分别标记为X1和X2；

步骤P3：将像素点X1和像素点X2进行连线，并做一条与之垂直的直线；则将像素点X1与像素点X2连线的方向作为X轴，与之垂直的直线作为Y轴；沿着X轴的方向，逐步以1个像素点的距离平移Y轴，并计算出Y轴与裂缝相交的两个像素点的距离；则其中相交的两个像素点距离的最大值即为最大宽度；

其中，所述使用裂缝标靶标定方法计算出对应裂缝的最大宽度以及最大长度包括以下步骤：

步骤Q1：使用无人机近距离拍摄对应关键部件对应裂缝以及标靶的原始图片；

步骤Q2：对裂缝的原始图片进行灰度处理；

步骤Q3：对灰度处理后的图像进行图像分块，得到裂缝图像和标定图像；

步骤Q4：对裂缝图像进行去噪处理；

步骤Q5：对去噪后的图像使用标靶标定算法计算出裂缝的最大宽度以及最大长度。

与现有技术相比，本发明的有益效果是：

1、本发明选择桥隧结构的关键部件进行裂缝监测，避免了对桥隧结构所有部件的监测，降低了监测成本；

2、本发明使用计算机视觉和图像处理技术自动识别关键部件上的裂缝，并估算出裂缝的大小；对于可能产生安全威胁的裂缝，通知工作人员进行标靶标定，确定精确的宽度与长度；预先对裂缝进行筛选，避免了对每个裂缝进行标靶标定，降低了标靶标定的人力和物力成本。

附图说明

图1为本发明的流程图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，一种应用于桥隧结构安全的机器视觉标靶标定方法，包括以下步骤：

步骤一：收集桥隧结构设计图，根据桥隧的结构找出桥隧的所有关键支撑部件；

步骤二：为桥隧的每个关键支撑部件设置裂缝宽度阈值以及裂缝长度阈值；将每个关键部位标记为C；将关键部位C的裂缝宽度阈值标记为CWR；将关键部位C的裂缝长度阈值标记为CLR；

步骤三：通过图像捕获设备实时获取桥隧关键部件的实际图像；

步骤四：每隔时间周期T，通过图像识别技术识别桥隧关键部件图像中是否具有裂缝；若存在裂缝，截取裂缝局部图像，并转至步骤五；否则，不做处理；所述时间周期T根据实际经验设置；

步骤五：为每个关键部位C预设一个图像裂缝宽度阈值CWP和图像裂缝长度阈值CLP；通过图像分析技术获取裂缝局部图像的最大宽度以及最大长度；

步骤六：若裂缝局部图像最大宽度大于图像裂缝宽度阈值CWP或裂缝局部图像最大长度大于图像裂缝长度阈值CLP，转至步骤七；否则，不做处理；

步骤七：将关键部件在桥隧的位置以及裂缝在关键部件上的位置发送至工作人员；并通知工作人员前往对应关键部件处，使用裂缝标靶标定方法计算出对应裂缝的最大宽度以及最大长度；

步骤八：若裂缝的最大宽度大于裂缝宽度阈值CWR或裂缝最大长度大于裂缝长度阈值CWL，则通知工程人员对裂缝进行修补；

可以理解的是，桥隧的结构中对桥隧的支撑起到关键性作用的往往是部分关键部件；一旦关键部件受到损伤，支撑作用下滑，极有可能导致桥隧崩塌；而根据数据统计，桥隧结构中关键部件的损伤往往是由于部件表面出现裂缝导致；因此，为了保证桥隧结构的安全，需要时刻关注桥隧结构关键部件处出现的裂缝大小情况；

在一个优选的实施例中，桥隧结构的所有关键支撑部件根据不同桥隧的实际结构以及支撑的物理原理进行人工选择；

在一个优选的实施例中，每个关键支撑部件的裂缝宽度阈值以及裂缝长度阈值通过3D建模软件建立桥隧结构，并使用模拟物理引擎在关键部件上刻划裂缝，记录导致桥隧结构不稳定的最大裂缝宽度以及最大裂缝长度；将记录的最大裂缝宽度以及最大裂缝长度分别标记为CWJ以及CLJ；可以理解的是，由于现实环境的复杂性，建模软件模拟的桥隧结构并不能完全衡量桥隧的支撑力度；因此，根据实际经验预设一个比例系数a；裂缝宽度阈值CWR=a*CWJ；裂缝长度阈值CLR=a*CLJ；其中，0<a<1；

在一个优选的实施例中，所述图像捕获设备可以是若干监控摄像头；每个关键部件附近固定安装一个监控摄像头，保证每个关键部件的图像均可被实时获取；

其中，所述通过图像识别技术识别桥隧关键部件图像中是否具有裂缝并截取裂缝局部图像包括以下步骤：

步骤S1：预先收集若干张桥隧部件图片；根据桥隧部件表面是否具有裂缝将桥隧部件图片进行分类；并将每张图片进行标记；标记方式为将部件表面有裂缝的图片标记为1；将部件表面无裂缝的图片标记为0；

步骤S2：将桥隧部件图片作为输入，输入至CNN神经网络模型中，该CNN神经网络模型以图片中是否存在裂缝为输出；以预测的裂缝存在与否的结果和图片中存在裂缝的真实情况计算预测的准确率；以预测准确率为CNN神经网络模型的训练目标；对CNN神经网络模型进行训练；CNN神经网络模型的参数根据实际经验设置以及调整；

步骤S3：当CNN神经网络模型的预测准确率达到98%时停止训练；将训练完成的CNN神经网络模型标记为M；

步骤S4：每隔时间周期T，截取图像捕获设备捕获的每隔关键部件C的视频中的一帧图像；并将图像输入至CNN神经网络模型M中，获得关键部件图像中是否存在裂缝的预测结果；

步骤S5：对于预测结果为存在裂缝的关键部件C的图像，使用目标识别算法识别图像中的裂缝，并将裂缝所在区域通过图片截取工具进行截取；

可以理解的是，桥隧部件表面产生的裂缝往往是非规则形状的，因此，每条裂缝并不具有均等的宽度和长度；因此，为了保证桥隧结构的安全，以关键部件图片中每条裂缝的最大宽度以及最大长度为监测对象；

在一个优选的实施例中，计算图片中每条裂缝的最大宽度与最大长度包括以下方式：

步骤P1：通过图像分析技术获取图片中每条裂缝边界线的像素点位置；

步骤P2：使用遍历法确定裂缝边界线上距离最大的两个像素点位置；该最大距离即为裂缝的最大长度；将该两个像素点分别标记为X1和X2；

步骤P3：将像素点X1和像素点X2进行连线，并做一条与之垂直的直线；则将像素点X1与像素点X2连线的方向作为X轴，与之垂直的直线作为Y轴；沿着X轴的方向，逐步以1个像素点的距离平移Y轴，并计算出Y轴与裂缝相交的两个像素点的距离；则其中相交的两个像素点距离的最大值即为最大宽度；

其中，所述使用裂缝标靶标定方法计算出对应裂缝的最大宽度以及最大长度包括以下步骤：

步骤Q1：使用无人机近距离拍摄对应关键部件对应裂缝以及标靶的原始图片；

步骤Q2：对裂缝的原始图片进行灰度处理；

步骤Q3：对灰度处理后的图像进行图像分块，得到裂缝图像和标定图像；

步骤Q4：对裂缝图像进行去噪处理；

步骤Q5：对去噪后的图像使用标靶标定算法计算出裂缝的最大宽度以及最大长度。

以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。

Claims (8)

1.一种应用于桥隧结构安全的机器视觉标靶标定方法，其特征在于，包括以下步骤：

步骤一：收集桥隧结构设计图，根据桥隧的结构找出桥隧的所有关键支撑部件；

步骤二：为桥隧的每个关键支撑部件设置裂缝宽度阈值以及裂缝长度阈值；将每个关键部位标记为C；将关键部位C的裂缝宽度阈值标记为CWR；将关键部位C的裂缝长度阈值标记为CLR；

步骤三：通过图像捕获设备实时获取桥隧关键部件的实际图像；

步骤四：每隔时间周期T，通过图像识别技术识别桥隧关键部件图像中是否具有裂缝；若存在裂缝，截取裂缝局部图像，并转至步骤五；否则，不做处理；所述时间周期T根据实际经验设置；

步骤五：为每个关键部位C预设一个图像裂缝宽度阈值CWP和图像裂缝长度阈值CLP；通过图像分析技术获取裂缝局部图像的最大宽度以及最大长度；

步骤六：若裂缝局部图像最大宽度或最大长度大于图像裂缝宽度阈值CWP或图像裂缝长度阈值CLP，转至步骤七；否则，不做处理；

步骤七：将关键部件在桥隧的位置以及裂缝在关键部件上的位置发送至工作人员；并通知工作人员前往对应关键部件处，使用裂缝标靶标定方法计算出对应裂缝的最大宽度以及最大长度；

步骤八：若裂缝的最大宽度大于裂缝宽度阈值CWR或裂缝最大长度大于裂缝长度阈值CWL，则通知工程人员对裂缝进行修补。

2.根据权利要求1所述的一种应用于桥隧结构安全的机器视觉标靶标定方法，其特征在于，所述图像捕获设备是若干监控摄像头；每个关键部件附近固定安装一个监控摄像头，保证每个关键部件的图像均被实时获取。

3.根据权利要求1所述的一种应用于桥隧结构安全的机器视觉标靶标定方法，其特征在于，桥隧结构的所有关键支撑部件根据不同桥隧的实际结构以及支撑的物理原理进行人工选择。

4.根据权利要求1所述的一种应用于桥隧结构安全的机器视觉标靶标定方法，其特征在于，每个关键支撑部件的裂缝宽度阈值以及裂缝长度阈值通过3D建模软件建立桥隧结构，并使用模拟物理引擎在关键部件上刻划裂缝，记录导致桥隧结构不稳定的最大裂缝宽度以及最大裂缝长度；将记录的最大裂缝宽度以及最大裂缝长度分别标记为CWJ以及CLJ；根据实际经验预设一个比例系数a；裂缝宽度阈值CWR=a*CWJ；裂缝长度阈值CLR=a*CLJ；其中，0<a<1。

5.根据权利要求1所述的一种应用于桥隧结构安全的机器视觉标靶标定方法，其特征在于，所述通过图像识别技术识别桥隧关键部件图像中是否具有裂缝并截取裂缝局部图像包括以下步骤：

步骤S1：预先收集若干张桥隧部件图片；根据桥隧部件表面是否具有裂缝将桥隧部件图片进行分类；并将每张图片进行标记；标记方式为将部件表面有裂缝的图片标记为1；将部件表面无裂缝的图片标记为0；

步骤S2：将桥隧部件图片作为输入，输入至CNN神经网络模型中，对CNN神经网络模型进行训练；CNN神经网络模型的参数根据实际经验设置以及调整；

步骤S3：当CNN神经网络模型的预测准确率达到98%时停止训练；将训练完成的CNN神经网络模型标记为M；

步骤S4：每隔时间周期T，截取图像捕获设备捕获的每隔关键部件C的视频中的一帧图像；并将图像输入至CNN神经网络模型M中，获得关键部件图像中是否存在裂缝的预测结果；

步骤S5：对于预测结果为存在裂缝的关键部件C的图像，使用目标识别算法识别图像中的裂缝，并将裂缝所在区域通过图片截取工具进行截取。

6.根据权利要求5所述的一种应用于桥隧结构安全的机器视觉标靶标定方法，其特征在于，所述CNN神经网络模型以图片中是否存在裂缝为输出；以预测的裂缝存在与否的结果和图片中存在裂缝的真实情况计算预测的准确率；以预测准确率为CNN神经网络模型的训练目标。

7.根据权利要求1所述的一种应用于桥隧结构安全的机器视觉标靶标定方法，其特征在于，计算图片中每条裂缝的最大宽度与最大长度包括以下方式：

步骤P1：通过图像分析技术获取图片中每条裂缝边界线的像素点位置；

步骤P2：使用遍历法确定裂缝边界线上距离最大的两个像素点位置；该最大距离即为裂缝的最大长度；将该两个像素点分别标记为X1和X2；

步骤P3：将像素点X1和像素点X2进行连线，并做一条与之垂直的直线；则将像素点X1与像素点X2连线的方向作为X轴，与之垂直的直线作为Y轴；沿着X轴的方向，逐步以1个像素点的距离平移Y轴，并计算出Y轴与裂缝相交的两个像素点的距离；则其中相交的两个像素点距离的最大值即为最大宽度。

8.根据权利要求1所述的一种应用于桥隧结构安全的机器视觉标靶标定方法，其特征在于，步骤Q1：使用无人机近距离拍摄对应关键部件对应裂缝以及标靶的原始图片；

步骤Q2：对裂缝的原始图片进行灰度处理；

步骤Q3：对灰度处理后的图像进行分块，得到裂缝图像和标定图像；

步骤Q4：对裂缝图像进行去噪处理；

步骤Q5：对去噪后的图像使用标靶标定算法计算出裂缝的最大宽度以及最大长度。

Images