CN106930770B - 基于卷积神经网络的盾构机护盾间隙估计方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的盾构机护盾间隙估计方法，其特征是通过对被测盾尾间隙处的局部区域进行激光标定，然后利用工业摄像机进行图像采集，将采集到的带有激光标定点的管片局部图像传入到计算机中，采用基于卷积神经网络的图像超分辨率重建方法，对采集到的图像进行超分辨率重建得到高分辨率图像，选用合适的图像处理算法对采集到的图像进行分析、处理和计算得到盾尾间隙的大小，从而实现非接触式自动测量。本发明实现了盾尾间隙的自动测量，降低了盾构环境下光照的要求，使得盾构护盾间隙自动化测量能够用于盾构的全周期中，有助于实现盾构施工的精确化和自动化。

Description

基于卷积神经网络的盾构机护盾间隙估计方法

技术领域

本发明属于施工机械状态测量领域，涉及一种基于卷积神经网络的盾构机护盾间隙估计方法。

背景技术

随着我国的隧道及地下铁路事业进入高速发展的时代，中国成为了世界上最大的隧道及地下工程施工市场，我国的城市轨道交通建设正面临着史无前例的高速发展，大城市每年仍然在以巨大的投资速度继续发展着地下隧道工程建设。在盾构施工中，由于盾构机掘进路线的曲率变化和推进油缸的伸长长度不能时刻保持一致，将会导致盾构机盾尾内壁与管片外径之间的空间发生变化，这个空间即为盾尾间隙。当盾尾间隙变化量超过设计允许的变化范围时，轻则会使盾尾与管片之间发生干扰，降低掘进速度，致使盾尾密封刷被过快磨损而导致盾尾密封系统受到破坏，重则盾尾将管片损坏，造成隧道渗漏水或地表沉降。因此，在施工中有必要对盾尾间隙进行连续性和周期性测量，以便及时调整盾构机姿态，来保证施工的顺利进行。在现阶段，大部分盾构施工都采用落后的人工测量，而人工测量将会产生无法控制的错误和误差，给盾构机姿态的调整带来滞后性。本发明利用摄像机对盾尾间隙进行连续拍照采集图像，然后利用图像处理算法进行距离测量。然而由于盾构施工过程中光线条件比较差，摄像头拍摄的图像质量较差，分辨率比较低，若直接用于盾构机护盾间隙的测量，其测量精度和应用范围受到限制。本发明提出一种基于卷积神经网络的盾构机护盾间隙估计方法，其原理是通过卷积神经网络建立低分辨率图像与高分辨率图像之间“端对端”的映射，实现盾构弱光照环境下盾构间隙图像的超分辨率重构，增加盾构盾尾间隙测量的精度。实现对盾尾间隙的自动测量，该技术能够降低盾构环境下光照的要求，使得盾构护盾间隙自动化测量能够用于盾构的全周期中，有助于实现盾构施工的精确化和自动化。

发明内容

本发明的目的是提供一种基于卷积神经网络的盾构机护盾间隙估计方法，本发明实现了盾尾间隙的自动测量，降低了盾构环境下光照的要求，使得盾构护盾间隙自动化测量能够用于盾构的全周期中，有助于实现盾构施工的精确化和自动化。

本发明的技术方案是：基于卷积神经网络的盾构机护盾间隙估计方法，其特征是包括以下步骤：

步骤一、激光器及工业摄像机安装；

步骤二、对被测盾尾间隙处的局部区域进行激光标定；

步骤三、利用工业摄像机对局部区域进行连续拍摄，得到局部区域低分辨率图像；

步骤四、利用卷积神经网络对低分辨率图像进行超分辨率重建；

步骤五、将低分变率图像输入SRCNN模型，输出高分辨率图像；

步骤六、对得到的高分辨率图像进行分析、处理和计算得到盾尾间隙的大小。

本发明优点：本发明采用一种基于深度神经网络的盾构机护盾间隙估计方法，釆用深度卷积神经网络对图像增强，提高了系统分辨率。深度卷积神经网络对图像增强改善了传统处理方法的不足。能够有效克服在盾构机工作时或光照环境改变下图像分辨率低的现状。实现了在施工中对盾尾间隙进行连续性和周期性测量，能够判断管片与盾尾之间的距离变化，并与其他推进技术参数相结合，达到及时综合调整盾构机姿态，来保证施工顺利进行的目的。改变了大部分盾构施工采用落后的人工测量带来无法控制的错误和误差，给盾构机姿态的调整带来滞后性。基于深度神经网络的盾构机护盾间隙估计方法的开发将实现对盾尾间隙的自动测量，该发明能够降低盾构环境下光照的要求，使得盾构护盾间隙自动化测量能够用于盾构的全周期中，有助于实现盾构施工的精确化和自动化。

附图说明

图1是本发明工作流程图。

图2是激光器及摄像机安装。

图3是采集装置安装图。

图4是管片及盾尾内壁位置距离标定图。

图5是本发明的网络结构图。

附图标号：工业摄像机-1；筋板-2；采集盒-3；盾尾内壁-4；盾尾间隙-5；激光器-6；管片-7。

具体实施方式

下面将结合附图对本发明内容进一步说明，但本发明的实际方法并不仅限于下述的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明公开了一种基于卷积神经网络的盾构机护盾间隙估计方法，通过对被测盾尾间隙处的局部区域进行激光标定，然后利用工业摄像机进行图像采集，将采集到的带有激光标定点的管片局部图像传入到计算机中，采用基于卷积神经网络的图像超分辨率重建方法，对采集到的图像进行超分辨率重建得到高分辨率图像，选用合适的图像处理算法对采集到的图像进行分析、处理和计算得到盾尾间隙的大小，从而实现非接触式自动测量。

以下结合附图对本发明内容进行详细说明。

一、激光器及工业摄像机安装。激光器6及工业摄像机1安装于盾尾推进油缸之间的筋板2处，其安装位置处于盾尾，所以盾构机内环境对摄像机干扰较小。安装如图2所示。

二、被测盾尾间隙处的局部区域进行激光标定。对采集区域进行标定的两个激光器6A和6B平行安置于工业摄像机1两端，两个激光器射出的激光射线为平行射线。调整两平行射线，使其与盾壳内壁平行。根据以上盾尾间隙5变化特点以及盾构机内安装环境特点，本系统将在盾尾内壁4圆周方向上设置三个间隙120°图像采集盒3A，3B和3C，由于盾构机盾尾底部与管片7想接触且经常存在水、泥浆、油污等杂物。因此盾尾底部将不设置图像采集设备。综合考虑以上因素，图像采集设备将置于图3所示的位置。其中O₁为盾构机盾壳中心，O₂为管片中心。

设定投射到管片上的两个激光点之间的距离为d，两点的连线要与管片下边缘线保持平行，并设定其距离为e，如图4所示。

设定管片厚度为f，由于在安装采集端时激光器所射出的平行射线与盾尾内壁已经调整平行，因此，平行射线到盾尾内壁的距离h已知。

三、利用工业摄像机对局部区域进行连续拍摄，得到局部区域图像，由于盾构过程中光照条件及盾构机运动影响，导致采集到的图像分辨率比较低。

四、本发明采用基于卷积神经网络的图像超分辨率重建方法对低分辨率图像进行超分辨率重建得到高分辨率图像。

1、建立训练所需要的外部图像库

照明灯具关闭、打开时各拍摄一张照片，在固定短时间间隔内，由于时间间隔较短，可以默认在同一时刻分别获得低分辨率和高分辨率盾尾间隙局部区域图像，基于这种方法得到在较长一段时间内的盾尾间隙局部区域低分辨率图像集{Yi}和对应高分辨率图像集{Xi}，以此作为外部图像库。

2、构建网络模型

构建SRCNN(Super‐Resolution Convolutional Neural Network)模型，该模型由三层卷积层构成，分别为特征提取，非线性映射，高分辨率图像重构。其算法框架如图1所示。

3、以外部图像库为训练对象，对网络参数Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}进行训练，在低、高分辨率图像之间形成“端到端”的非线性映射，即获得端到端的映射F的一组网络参数。该过程如下：

(1)特征提取

输入外部图像库，即输入多个二维数组，以单张低分辨率图像为例，利用卷积核对外部图像进行特征提取得到特征图F₁(Y)，该卷积层卷积核个数为n₁，单个卷积核尺寸为f₁，c为输入图像的通道数。卷积过程如公式(1)所示：

F₁(Y)＝max(0,W₁*Y+B₁) (1)

上式中，W₁包含n₁个卷积核，尺寸大小为c×f₁×f₁×n₁,Y为输入初始低分辨率图像，B₁为神经元偏置向量，维数为n₁。“*”为卷积符号。对卷积得到的特征经过ReLU进行了处理，公式表示为：

g(x)＝max(0，x) (2)

其x＝(W₁*Y+B₁)即为未经ReLU处理的卷积得到的特征图。

(2)非线性映射

非线性映射是将特征向量从低分辨率空间变换至高分辨率空间，输出特征为F₂(Y)。即把第一层中每块图像块的n₁维向量非线性地映射到另一个维数为n₂的向量中，用n₂个卷积核对由第一层卷积得到的n₁张特征图进行卷积处理，n₂为该卷积层卷积核个数，单个卷积核尺寸为f₂。第二层卷积过程如公式(3)所示：

F₂(Y)＝max(0,W₂*F₁(Y)+B₂) (3)

上式中，W₂包含n₂个卷积核，尺寸大小为n₂×f₂×f₂×n₁，B₂为神经元偏置向量，维数为n₂。

(3)高分辨率图像重构

高分辨率图像重构是利用之前得到的基于块的输出特征图F₂(Y)来生成最终的高分辨率图像F₃(Y)，过程公式如(4)所示：

F₃(Y)＝W₃*F₂(Y)+B₃ (4)

上式中,W₃包含c个卷积核，尺寸大小为n₂×f₃×f₃×c，B₃为神经元偏置向量，维数为c。

以上SRCNN网络的参数表示为Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}，整个网络的训练过程就是对这些参数的估计和优化。通过最小化F(Y)与X之间的误差得到参数最优解。通过上述特征提取，非线性映射，高分辨率图像重构得到低分辨率图像集合{Yi}，其相对应的高分辨率图像集合{Xi}，均方误差L(Θ)，如公式(5)所示：

当L(Θ)小于网络规定的误差阈值的时候，即得到最优参数Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}，完成SRCNN网络的训练。

五、将低分变率图像输入SRCNN模型，输出高分辨率图像。

由上述过程(3)可知SRCNN网络模型经过训练得到最优参数Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}，再次输入一张低分辨率图像，即可重构出需要的高分辨率图像。具体过程方法如下所示：

上述SRCNN网络模型经过训练形成非线性映射F，重建过程为提取图像块、非线性映射和重建。如图5所示：先输入一张给定的低分辨率图像Z，使其通过第一个卷积层以获得一组特征图，在第二层里，让这些特征图非线性映射到高分辨率的图块中，最后，通过聚合来重建出高分辨率的图像F(Y)。

(1)提取图像块。先输入一张给定的低分辨率图像Z，通过第一个卷积层以获得一组特征图。过程方法如公式(6)所示：

F₁(Z)＝max(0,W₁*Z+B₁) (6)

上式中，F₁(Z)为提取出来的特征图。W₁为第一层卷积核,B₁为神经元偏置量，且W₁，B₁经过SRCNN网络训练以后均为已知。“*”为卷积符号。采用ReLU为激活函数，公式表示为：

g(x)＝max(0，x)其中x＝(W₁*Z+B₁) (7)

(2)非线性映射

这一层是将第一层中每块特征图非线性地映射到高分辨率图像块中。也就是说用第二层卷积核对第一层的特征图进行卷积处理。过程方法如公式(8)所示：

F₂(Z)＝max(0,W₂*F₁(Z)+B₂) (8)

上式中，F₂(Z)为高分辨率图像块。W₂为第二层卷积核，B₂为神经元偏置量。且W₂，B₂经过SRCNN网络训练以后均为已知。

(3)重建

在这一层中，将高分辨率图像块聚合到一起，以形成相对应的的高分辨率图像。过程方法如公式(9)所示：

F₃(Z)＝W₃*F₂(Z)+B₃ (9)

上式中，F₃(Z)为聚合后重建出来的高分辨率图像。W₃为第三层卷积核，B₃为神经元偏置量。且W₃，B₃经过SRCNN网络训练以后均为已知。

由上述过程即完成了高分辨图像的重建，输入一张低分辨率盾尾间隙局部图像到训练好的SRCNN网络进行超分辨率重构即可输出一张高分辨率盾尾间隙局部图像。

六、图像处理中，将两个激光点距离之间的d值转化为像素的个数n,设定k为系数，另k＝d/n；

通过对h、d、e、n、k按照如下公式进行计算，即可得出盾尾间隙L的值。

L＝h+e-f (10)

上述具体实施方式用来解释本发明，而不是对本发明进行限制，在本发明精神和权权利要求的保护范围内，对本发明做出的任何修改和改变，都落入本发明的保护范围。

Claims (3)

1.基于卷积神经网络的盾构机护盾间隙估计方法，其特征在于，包括以下步骤：

步骤一、激光器(6)及工业摄像机(1)安装：

在盾尾内壁(4)圆周方向上设置三个间隙120°的采集盒(3)，三个采集盒(3)安装于盾尾推进油缸之间的筋板(2)处，在采集盒内设有两个激光器(6)和工业摄像机(1)，使采集区域激光射线与盾尾内壁(4)平行；

步骤二、对被测盾尾间隙(5)处的局部区域进行激光标定：

激光标定的参数为：投射到管片(7)上的两个激光点之间的距离d，两个激光点的连线与管片下边缘距离e，管片厚度f，平行激光射线到盾尾内壁(4)的距离h；

步骤三、利用工业摄像机(1)对局部区域进行连续拍摄，得到局部区域低分辨率图像；利用照明灯具关闭、打开时各拍摄一张照片，在同一时刻分别获得低分辨率和高分辨率盾尾间隙局部区域图像；

步骤四、利用卷积神经网络对低分辨率图像进行超分辨率重建：

其中超分辨率重建的方法是：

(1)建立训练所需要的外部图像库

在同一时刻分别获得低分辨率和高分辨率盾尾间隙局部区域图像，得到在较长一段时间内的盾尾间隙局部区域低分辨率图像集{Yi}和对应高分辨率图像集{Xi}，以此作为外部图像库；

(2)构建网络模型

构建SRCNN模型，该模型由三层卷积层构成，分别为特征提取、非线性映射和高分辨率图像重构；

(3)以外部图像库为训练对象，在低、高分辨率图像之间形成端到端的非线性映射，即获得端到端的映射F的一组网络参数Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}，然后对网络参数进行训练；

步骤五、将低分变率图像输入SRCNN模型，输出高分辨率图像：

先输入一张给定的低分辨率图像Z，使其通过第一个卷积层以获得一组特征图，在第二层里，让这些特征图非线性映射到高分辨率的图块中，最后，通过聚合来重建出高分辨率的图像F(Y)；

步骤六、对得到的高分辨率图像进行分析、处理和计算得到盾尾间隙(5)的大小；将两个激光点之间距离d值转化为像素的个数n，设定k为系数，另k＝d/n；

L＝h+e-f (10)

通过对h、d、e、n、k按照上述公式进行计算，即可得出盾尾间隙L的值。

2.如权利要求1所述的基于卷积神经网络的盾构机护盾间隙估计方法，其特征在于：步骤四对网络参数进行训练的方法是

(1)特征提取

输入外部图像库，即输入多个二维数组，利用卷积核对外部图像进行特征提取得到特征图F₁(Y)，该卷积层卷积核个数为n₁，单个卷积核尺寸为f₁，c为输入图像的通道数，卷积过程如公式(1)所示：

F₁(Y)＝max(0,W₁*Y+B₁) (1)

上式中，W₁包含n₁个卷积核，尺寸大小为c×f₁×f₁×n₁,Y为输入初始低分辨率图像，B₁为神经元偏置向量，维数为n₁，*为卷积符号，对卷积得到的特征经过ReLU进行了处理，其公式表示为：

g(x)＝max(0，x) (2)

其x＝(W₁*Y+B₁)即为未经ReLU处理的卷积得到的特征图；

(2)非线性映射

非线性映射是将特征向量从低分辨率空间变换至高分辨率空间，输出特征为F₂(Y)，即把第一层中每块图像块的n₁维向量非线性地映射到另一个维数为n₂的向量中，用n₂个卷积核对由第一层卷积得到的n₁张特征图进行卷积处理，n₂为该卷积层卷积核个数，单个卷积核尺寸为f₂；第二层卷积过程如公式(3)所示：

F₂(Y)＝max(0,W₂*F₁(Y)+B₂) (3)

上式中，W₂包含n₂个卷积核，尺寸大小为n₂×f₂×f₂×n₁，B₂为神经元偏置向量，维数为n₂；

(3)高分辨率图像重构

高分辨率图像重构是利用之前得到的基于块的输出特征图F₂(Y)来生成最终的高分辨率图像F₃(Y)，过程公式如(4)所示：

F₃(Y)＝W₃*F₂(Y)+B₃ (4)

上式中，W₃包含c个卷积核，尺寸大小为n₂×f₃×f₃×c，B₃为神经元偏置向量，维数为c；

整个网络的训练过程就是对这些参数的估计和优化，通过最小化F(Y)与X之间的误差得到参数最优解；通过上述特征提取，非线性映射，高分辨率图像重构得到低分辨率图像集合{Yi}，其相对应的高分辨率图像集合{Xi}，均方误差L(Θ)，如公式(5)所示：

当L(Θ)小于网络规定的误差阈值的时候，即得到最优参数Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}，完成SRCNN网络的训练。

3.如权利要求1所述的基于卷积神经网络的盾构机护盾间隙估计方法，其特征在于：步骤五包括以下步骤：

(1)提取图像块，先输入一张给定的低分辨率图像Z，通过第一个卷积层以获得一组特征图，过程方法如公式(6)所示：

F₁(Z)＝max(0,W₁*Z+B₁) (6)

上式中，F₁(Z)为提取出来的特征图，W₁为第一层卷积核，B₁为神经元偏置量，且W₁，B₁经过SRCNN网络训练以后均为已知，*为卷积符号，采用ReLU为激活函数，公式表示为：

g(x)＝max(0，x) (7)

其中x＝(W₁*Z+B₁)即为未经ReLU处理的卷积得到的特征图；

(2)非线性映射

这一层是将第一层中每块特征图非线性地映射到高分辨率图像块中，也就是说用第二层卷积核对第一层的特征图进行卷积处理，过程方法如公式(8)所示：

F₂(Z)＝max(0,W₂*F₁(Z)+B₂) (8)

上式中，F₂(Z)为高分辨率图像块，W₂为第二层卷积核，B₂为神经元偏置量，且W₂，B₂经过SRCNN网络训练以后均为已知；

(3)重建

在这一层中，将高分辨率图像块聚合到一起，以形成相对应的高分辨率图像，过程方法如公式(9)所示：

F₃(Z)＝W₃*F₂(Z)+B₃ (9)

上式中，F₃(Z)为聚合后重建出来的高分辨率图像，W₃为第三层卷积核，B₃为神经元偏置量，且W₃，B₃经过SRCNN网络训练以后均为已知；

由上述过程即完成了高分辨图像的重建，输入一张低分辨率盾尾间隙局部图像到训练好的SRCNN网络进行超分辨率重构即可输出一张高分辨率盾尾间隙局部图像。