CN106841216A - 基于全景图像cnn的隧道病害自动识别装置 - Google Patents

基于全景图像cnn的隧道病害自动识别装置 Download PDF

Info

Publication number
CN106841216A
CN106841216A CN201710110049.6A CN201710110049A CN106841216A CN 106841216 A CN106841216 A CN 106841216A CN 201710110049 A CN201710110049 A CN 201710110049A CN 106841216 A CN106841216 A CN 106841216A
Authority
CN
China
Prior art keywords
tunnel
layer
layers
image
panoramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710110049.6A
Other languages
English (en)
Inventor
汤平
汤一平
胡克钢
袁公萍
吴挺
鲁少辉
韩国栋
陈麒
何霞
陈朋
王丽冉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201710110049.6A priority Critical patent/CN106841216A/zh
Publication of CN106841216A publication Critical patent/CN106841216A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于全景图像CNN的隧道病害自动识别装置。首先通过一种全景视觉传感器快速获取隧道内壁的全景图像，然后对全景图像进行处理，主要包括全景图像展开、图像预处理、二值化处理等提取疑似病害区域；最后，采用卷积神经网络对病害进行自动检测分类识别。本发明提出的方案极大程度简化了检测装置在获取隧道内壁全景图像的结构，通过端对端的卷积神经网络实现了各种隧道病害特征自动提取、检测和识别，为隧道的维护、竣工验收提供了有效的技术支撑。

Description

基于全景图像CNN的隧道病害自动识别装置
技术领域
本发明涉及全方位视觉传感器、模式识别、人工智能、应用数学、数字图像处理以及计算机视觉技术在隧道病害的检测方面的应用，尤其涉及一种基于全景图像CNN的隧道病害自动识别装置。
背景技术
为解决人口流动与就业点相对集中给交通、环境等带来的压力，满足国家环境和局势变化需求，修建各种各样的隧道及地下工程(如城市地铁、公路隧道、铁路隧道、水下隧道、市政管道、地下能源洞库等)成为必然趋势。
截止2014年，全国公路隧道为12404座，1075.67万延米。其中，特长隧道626座，合计276.62万延米；长隧道2623座，合计447.54万延米。如何运营好、管理好数以万计的公路隧道，为国民经济和社会发展发挥更大的作用，是当前研究的热点问题之一。
隧道的渗水和裂缝是隧道工程中的两大主要病害。在隧道建设初期，由于部分隧道建设的资金少、周期短，导致了许多隧道在建成时没有及时进行支护，形成了“裸洞隧道”。这些隧道在建成多年后，由于没有衬砌的保护，随着时间的推移，在地质地形条件、气候条件和设计、施工、运营过程中的各种因素影响下，在长期的使用过程中，出现了各种各样的不同程度的裂缝及渗水情况，严重影响到我国铁路的行车安全和人民群众生命财产安全。
隧道的健康监测可分为两个阶段：施工阶段和运营阶段。在隧道的运营过程中，隧道的安全问题主要受到以下几个方面的影响：一是运营过程中长期振动荷载引起的道床整体沉降；二是由于大多数长大隧道处于复杂的地质条件中，车辆荷载引起的线路沿轴线方向的不均匀沉降；最后就是隧道周边建筑物和地质条件变化等影响。而这些影响会造成隧道轮廓的开裂，变形，漏水甚至脱落等一系列安全问题。
隧道运输运行管理过程中，由于我国处于高速建设期，重建轻管，缺少长期有效的在线监测和检测数据，导致隧道的运行状况不清楚。目前我国对隧道安全监测基本上还停留在人工排查的水平上。
中国发明专利申请号为201110281700.9本发明公开了一种基于机器视觉技术的隧道病害快速调查系统及调查方法，装置安置在调查承载车上，包括：机器视觉子系统，用CCD摄像机获取待调查对象图像数据；激光测距子系统，用激光测距法测量机器视觉子系统采集的图像的成像距离；光电测速子系统，用于提供采集图像在隧道中的对应坐标；控制子系统，控制激光测距及光电测速子系统，将该两子系统获得数据传至数据处理子系统，触发机器视觉子系统采集图像传至数据处理子系统；数据处理子系统，根据控制子系统传来的数据处理机器视觉子系统获取的图像；电源子系统，为各子系统提供电压。该案采用多个CCD摄像机采集隧道内壁图像，除了增加了设备成本以外，还带来了多摄像机的标定、图像数据的配准、协调控制等众多问题，同时在近距离拍摄隧道内壁时获取的图像有较大变形影响着测量精度，另外数据处理子系统要同时处理多幅隧道内壁图像需要在调查承载车上配置性能很高的计算机。
中国发明专利申请号为201410275604.7公开了一种隧道病害的识别方法以及多图像识别方法。利用线阵CCD以及图像融合技术，高速获取隧道表面的数字图像并存储。再利用数字图像处理算法对已知隧道病害进行特征分类建模，建立特征数据库，进行病害特征匹配与病害识别。该案采用多个CCD线阵摄像机采集隧道内壁图像，因此也存在着中国发明专利申请号为201110281700.9同样的问题。
申请号为201410791514.3的中国专利申请公开了一种公路隧道病害集成检测车，该检测车通过集成线阵相机、红外相机和雷达三种检测装备实现对衬砌裂缝、渗漏水和空洞三种病害的同时检测，其检测车具有检测效率高、非接触性和安全性高等。
申请号为201521140003.1的中国专利申请公开了一种隧道病害检测系统，包括机械臂和安装在机械臂上的病害探测装置，机械臂能够托举病害探测装置在隧道内移动，以检测隧道病害。此系统能有效解决一些检测设备需要人工托举其天线进行检测，特别是对于无线检测系统中一些天线(例如探地雷达)，由于其重量较大，导致施工人员手动托举负载过大的问题。但是仍然无法解决隧道病害检测的自动化水平低的问题。
申请号为201510418537.4的中国专利申请公开了一种隧道裂缝快速检测装置，它包括运载工具、设置在运载工具内的电脑和主控机以及探测模块、安装在运载工具的滚轮上的里程记数器，探测模块包括照相机、激光断面扫描器、红外成像仪、惯性导航器和灯光频闪器，主控机的各个通信端通过对应的电缆分别连接照相机、激光断面扫描器、红外成像仪、惯性导航器、灯光频闪器和里程记数器的通信端，主控机数据通信端连接电脑的数据通信端。但最终需要将获取得到隧道三维结构图、隧道三维成像图、隧道顶部红外温度图以及运载工具路线图进行肉眼识别来判断待测隧道的待测区域是否存在衬砌裂缝、衬砌渗水、漏水、剥落、脱空、衬砌形变进行检测等病害。这种方式智能化水平较低，容易受检测人员的主观经验影响，导致耗费较大人力资源。
综上所述，针对隧道病害检测的内容，目前尚存在着如下若干个棘手的问题：1)如何全方位高效高保真的获取隧道病害数据；2)如何对隧道病害图像进行自动检测识别。
发明内容
针对目前隧道衬砌病害检测过程中快速方便获取隧道内壁全景图像难和自动检测识别各种病害难等问题等不足，本发明提供一种基于全景图像CNN的隧道病害自动识别装置，在检测装置上能有效提高隧道病害的视觉识别的自动化和智能化水平、能保证在较好的检测识别精度基础上有实时检测识别能力、能较好解决隧道内壁识别的复杂性和推广性的矛盾、具有较佳的普适性。在隧道的维护、竣工验收方面提供了有效的技术支撑。
要实现上述发明内容，必须要解决几个核心问题：(1)设计一种快速获取隧道内壁全景图像的全景视觉传感器；(2)通过数字图像处理技术对隧道全景图像进行处理，提取出疑似病害区域；(3)实现一种含有对隧道病害图像进行分类功能的卷积神经网络；(4)实现一批可以用于卷积神经网络(CNN)训练用的隧道病害图像样本数据。
本发明解决其技术问题所采用的技术方案是：
一种基于全景视觉CNN的隧道病害自动识别装置，包括：隧道检测车和远程计算机；
所述的隧道检测车上配置有主动式全景视觉传感器、RFID读取器、测距轮、无线接发送单元、控制器和工控机，所述的主动式全景视觉传感器安装在所述的隧道检测车的前方中央，所述的RFID读取器读取配置在隧道内壁上安置的RFID信息，所述的隧道检测车的底部安装一个测距轮，所述的控制器读取测距轮中光电编码器的脉冲当量并估算所述的隧道检测车的行走距离Zi；所述的控制器读取主动式全景视觉传感器所获取的隧道全断面全景图像并以所述的隧道检测车的行走距离Zi和现在时刻为文件名保存在所述的控制器的存储单元中；当所述的隧道检测车达到下一个站点时，所述的控制器通过所述的无线接发送单元将所述的控制器的存储单元中的隧道全断面全景图像发送给所述的站级通信系统；
所述的主动式全景视觉传感器包括全方位视觉传感器和投射照明光源；所述的全方位视觉传感器与所述的投射照明光源进行同轴固定连接，安装在所述的隧道检测车的前方中央位置；
所述全方位视觉传感器包括双曲面镜面、上盖、透明半圆形外罩、下固定座、摄像单元固定座、摄像单元、连接单元和上罩；所述的双曲面镜面固定在所述的上盖上，所述的连接单元将所述的下固定座和透明半圆形外罩连接成一体，所述的透明半圆形外罩与所述的上盖以及所述的上罩固定在一起，所述的摄像单元固定在所述的摄像单元固定座上，所述的摄像单元固定座固定在所述的下固定座上，所述的全方位视觉传感器中的所述的摄像单元的输出通过千兆网数据接口与所述的控制器连接；
所述的照明光源设计上采用了直接照明法，包括光源上盖、圆锥形镜面、透明外罩、底座和24颗LED。24颗LED均匀分布固定在底座外圆侧对隧道内壁进行照明，圆锥形镜面的轴心线与光源上盖轴心线一致，透明外罩将嵌入24颗LED和固定圆锥形镜面的光源上盖集成为投射照明光源；
所述的远程计算机作为服务器采用Linux系统。所述的隧道检测车行进过程中，工控机每隔时间T采集隧道内壁全景图像，时间T是由隧道检测车的行进速度V以及全景视觉垂直成像范围F来决定的。全景图像采集间隔时间用公式(1)计算得到，
T＝0.8×F/V (1)
式中，T为ODVS的采样间隔，V为隧道检测车的行进速度，F为全景视觉垂直成像范围。
工控机通过无线接发送单元将携带着隧道空间位置信息的展开的隧道内壁全景图像发送给远程计算机，所述远程计算机包括用于隧道病害自动识别的CNN模块。
工控机中的图像处理主要包括：隧道断面全景图像数据读取单元和隧道横断面全景图像展开单元；远程计算机中的图像处理主要包括：隧道疑似病害图像预处理单元和隧道疑似病害图像提取单元。
隧道断面全景图像数据读取单元每隔时间T通过ODVS来获取隧道内壁的一帧全景图像。接着，隧道横断面全景图像展开单元全景图像进行展开处理，展开处理后的全景图像用隧道检测车的行走距离Zi为文件名保存。
全景柱状展开是以全景图像中心坐标为原点建立平面坐标系O(0,0)，X轴水平向右，Y轴竖直向上；选取合适的内径为r1、外径为r2，展开半径为R＝(r1+r2)/2，方位角为θ＝tan-1(y/x)；全景柱状展开图以坐标原点O*(0,0)、X*轴、Y*轴为平面坐标系，将全景图像坐标系下点(r,0)作为全景柱状展开图坐标原点O*(0,0)，以方位角θ顺时针方向展开建立全景柱状展开图；建立全景柱状展开图像中任意一点象素坐标P*(x*,y*)与全景图像中的象素坐标P(x,y)的对应关系，其计算公式为：
x＝y/(tan(360x*/π(r1+r2))) (2)
y＝(y*+r1)cosθ (3)
式中：x*,y*为全景柱状展开图的坐标，x，y为全景图像的坐标，R为全景图像展开区域的外径，r为全景图像展开区域的内径，θ为全景图像坐标的方位角。
模拟隧道内壁柱状展开图用隧道检测车的行走距离zi为文件名保存，请求服务器来读取该图像文件。
远程计算机得到从隧道检测车发送过来的读取请求后，读取暂时存储在工控机内的展开全景图像，递交给隧道疑似病害图像预处理单元进行图像预处理。其主要工作是对隧道柱状展开图像进行增强，包括灰度校正和图像平滑，这项工作的主要作用是提高图像质量，为后续隧道疑似病害检测识别进一步处理做好准备。
在图像预处理方面，本发明采用一种自适应的图像直方图均衡处理方法，自适应的直方图均衡考虑了图像的位置信息，该方法根据图像像素点的局部统计特征对像素灰度值进行函数变换，变换函数有像素点周围某个大小的子图像的直方图确定。
在图像平滑方面，本文采用图像的自适应wiener滤波方法，wiener滤波将均方误差的数学期望取极小估值作为其最优标准。
隧道疑似病害的提取包括：图像分割以及图像的形态学处理等，针对隧道疑似病害图像选择合适的方法；这里首先采用Otsu法对隧道疑似病害图像进行二值分割，然后对隧道疑似病害二值图像的数学形态学处理；在数学形态学处理中采用先进行开运算再进行闭运算。
开运算是利用同一结构元素对象对同一目标图像依次进行腐蚀运算和膨胀运算，计算方法如公式(4)所示：
式中，A是隧道疑似病害的原始图像，B是结构元素图像。
闭运算是指对同一目标图像先进行膨胀运算后进行腐蚀运算，计算方法如公式(5)所示：
式中，A是隧道疑似病害原始图像，B是结构元素图像。
提取出疑似病害之后就需要通过卷积神经网络(convolutional neuralnetwork,CNN)对疑似病害进行识别分类。
基于卷积神经网络的隧道病害自动识别方法，包括训练阶段和测试阶段；在训练阶段，将训练样本输入卷积神经网络，获得卷积神经网络的连接权值和偏置值；在测试阶段，读入隧道病害图像，对隧道病害图像采用数字图像处理技术进行预处理，提取出感兴趣区域，然后将感兴趣区域图像尺寸进行归一化处理后作为卷积神经网络的输入。
卷积神经网络的结构为6层，包括依次连接的输入层，C1层，S2层，C3层，S4层和输出层。其中C1层和C3层为卷积层，S2层和S4层为下采样层，输入层为大小为28*28像素的图像，输出层包括4个一维向量，分别表示4类隧道病害：(1)裂纹；(2)裂缝；(3)衬砌脱落；(4)渗漏水。
有关隧道识别CNN框架的详细描述如下：
(1)输入。输入图像为图像预处理得到的28*28的灰度疑似病害图像。
(2)C1层。C1层为卷积层，用于提取图像特征。卷积核的大小影响着神经元感受野的大小，当卷积核较小时，无法提取有效的局部特征，当卷积核较大时，又无法描述过于复杂的信息。对于28*28的输入图像，一般选用5*5的卷积核就能够达到较好的效果，得到24*24的特征图。每个卷积核用于提取某一类特征，这里采用6个卷积核对同一图像进行卷积，得到6张不同的特征图。卷积核中各参数通过随机初始化设置在-1到1之间，一般地，随机初始化的卷积核有较好的边缘提取效果。
(3)S1层。S1层为降采样层。它将C1层输出的特征图进行缩小。主要是将邻域内的像素求和成一个像素，然后通过W加权，再增加偏置b，最后通过sigmoid激活函数，这样就可以将C1层中得到的特征提取图映射为缩小后的特征映射图。一般缩放因子为2就能够达到较好的效果。
(4)C2层。C2层为卷积层，用于提取图像特征，与C1层相似。C1层是将1张原图通过6个卷积核获得6张特征提取图。而C2层则是将6张输入的特征映射图，通过随机组合得到12张特征图，然后通过不同的卷积核映射得到12张特征提取图。这是因为不完全的连接可以将原图像中某一区域的不同特征融合，破坏了网络的对称性。
(5)S2层。S2层为降采样层，与S1层基本相同。
(6)输出层。输出层是与S2层的全连接。S2层有12*4*4＝192个神经元，每一个神经元都与输出的一个神经元相连，输出层暂时设定为4类，即4个神经元，总共有192*4＝768个连接，这里可以将S2看作一个192维的线性向量，而S2到输出层的映射相当于使用该向量进行分类，这个分类器共有768个参数来对4种病害类别进行分类，因此具有很强的描述能力。
卷积神经网络的训练需要大量数据。本发明采用的隧道病害图像主要是通过检索网络上的隧道病害图像得到，数据量偏少。通过真实拍摄获取得到部分模拟隧道病害图像，作为初始的训练样本。为了增加数据量，通过对病害区域进行下述操作：
(1)平移：水平或垂直平移，步长为0.2倍的病害区域大小。
(2)缩放：对病害区域大小乘以比例因子[0.8,1.2]。
(3)旋转：对病害区域进行60度以下的旋转。
(4)翻转：对病害区域进行上下、左右翻转。
(5)亮度调整：对病害区域进行整体亮度调整。
(6)对比度调整：对病害区域进行灰度线性或非线性拉伸。
对于每个种子图像，随机选取K个变换，然后将这些变换应用到每个种子图像上，形成新的训练样本。
卷积神经网络的性能对于学习速率的选择非常敏感，学习速率过大，算法可能振荡而导致不稳定；学习速率过小，则收敛速率慢，训练时间长。因此采用自适应调整学习速率。
卷积神经网络的训练过程如图4所示，主要包括4步，这4步被分为两个阶段：
第一阶段，向前传播阶段：
(1)从样本集中取一个样本(X,Yp)，将X输入网络；
(2)计算相应的实际输出Op。
在此阶段，信息从输入层经过逐级的变换，传送到输出层。这个过程也是网络在完成训练后正常运行时执行的过程。在此过程中，网络执行的是计算(实际上就是输入与每层的权值矩阵相点乘，得到最后的输出结果)：
Op＝Fn(…(F2(F1(XpW(1))W(2))…)W(n))(2)
在计算过程中，都是用Sigmoid作为激活函数。
第二阶段，向后传播阶段：
(1)计算实际输出Op与相应的理想输出Yp的差；
(2)按极小化误差的方法反向传播调整权矩阵。
向后传播阶段也是卷积神经网络中最复杂的地方，基本思想是跟反向传播算法(BP算法)一样，都是通过最小化残差来调整权重和偏置，但是卷积神经网络的网络结构并不像反向传播算法那样单一，对不同的结构处理方式也不一样，而且因为权重共享，使得计算残差变得更加困难。所述的反向传播算法是一种计算偏导数的有效方法，它的基本原理是：利用前向传播最后输出的结果来计算误差的偏导数，再用这个偏导数和前面的各层进行加权求和，如此一层一层的向后传下去，直到输入层(不计算输入层)，最后利用每个节点求出的偏导数来更新权重。
其中，为了便于理解，后面我们用“残差”这个词来表示误差的偏导数。
其中，输出层到S4层的残差＝-(输出值-样本值)*激活函数的导数，隐藏层的残差＝(右层每个节点的残差加权求和)*激活函数。
其中，残差全部计算好后，就可以更新权重了：
(1)输入层：权重增加＝输入值*右层对应节点的残差*学习率
(2)隐藏层：权重增加＝当前节点的Sigmoid*右层对应节点的残差*学习率
(3)偏移值的权重增加＝右层对应节点的残差*学习率
其中，隐藏层表示除输入层、输出层以外的其他各层。学习率是一个预先设置好的参数，用于控制每次更新的幅度。此后，对全部数据都反复进行这样的计算，直到输出的误差达到一个很小的值为止。
在卷积神经网络中，输出层的残差是输出值与样本值的差值，而中间各层的残差来源于下一层的残差的加权和。输出层的残差计算如下：
其中，(第nl层表示输出层)为输出层的残差，yi表示输出值，表示前向传播中输出层的输入值，表示激活函数的导数。
下一层为采样层的卷积层的残差的计算可以对采样层的残差与一个2×2的全1矩阵进行克罗内克积进行扩充，因为从卷积神经网络的结构图看出，采样层的map大小是卷积层的但这两层的map个数是一样的，卷积层的某个map中的4个单元与采样层对应map的一个单元关联，扩充之后使得采样层的残差的维度与上一层的输出map的维度一致。
下一层为卷积层的采样层的残差的计算比较麻烦一点，因为采样层到卷积层直接的连接是有权重和偏置参数的，因此不像卷积层到采样层那样简单。当采样层L的下一层是卷积层(L+1)，并假设我们已经计算出L+1层的残差，再假设L层第j个map Mj与L+1层的M2j关联，按照反向传播算法的原理，L层的残差Dj是L+1层残差D2j的加权和，M2j与Mj的关联关系采用将卷积核矩阵进行180度旋转，使之一一对应。
残差计算出来后，就是更新权重和偏置参数。
在完成卷积神经网络的训练后，便进入了测试阶段，测试阶段用来测试所使用的卷积神经网络用于对隧道病害检测识别的精度和速度是否可靠。其过程为：读取检测图像，然后将这些图像输入训练好的卷积神经网络中进行测试，利用卷积神经网络进行分类，分类的结果为上述的4类隧道病害，进而可以获取误差率。
采用上述技术方案带来的有益效果：
(1)提供了一种高性价比的、能快速获取全景图像的全方位视觉传感器；实现了对隧道病害检测中“采集-识别-判定”全过程的自动运行，真正实现了隧道病害检测的自动化；
(2)本发明采用卷积神经网络作为隧道病害检测的分类器，由于卷积神经网络权值共享的网络结构，降低了网络结构的复杂度，减少了权值的数量，所以由它进行分类的速度快，另外，使用带有疑似缺陷样本进行训练，让卷积神经网络自动学习4类样本复杂的类条件密度，避免了人为假设类条件密度函数所带来的问题，提高了检测精度；
(3)本发明在测试过程中将测试样本进行分批处理，加快了测试的速度，减少了测试时间；
(4)提供了一种自动化、智能化的隧道病害检测的手段，极大的降低了隧道病害检测人员的工作负荷，提高了检测效率；
(5)本发明采用卷积神经网络和分批处理的测试方法，提高了隧道病害检测的精度和速度，非常适用于铁路隧道和地铁隧道运营部门的维护和检修，因此具有巨大前景。
附图说明
图1为隧道内壁进行全景检测示意图，1为隧道内壁，2为全景成像范围；
图2为ODVS的结构图；
图3为模拟隧道内壁全景图及柱状展开图，(a)为全景图，(b)为柱状展开图；
图4为隧道内壁中疑似病害的提取；
图5为卷积神经网络结构图；
图6为病害种子图像及变换后得到的图像，其中，(a)为病害种子图像，(b)为裂缝随机组合变换图像。
具体实施方式
以下将结合附图，对本发明的技术方案进行详细说明。
参照图1～图6，一种基于全景视觉CNN的隧道病害自动识别装置，包括隧道检测车和远程计算机。图1为ODVS对隧道内壁进行全景视觉检测的示意图。图中的灰色区域是ODVS获取隧道内壁360°全方位图像的部分。
所述的隧道检测车上配置有主动式全景视觉传感器、RFID读取器、测距轮、无线接发送单元、控制器和工控机，所述的主动式全景视觉传感器安装在所述的隧道检测车的前方中央，所述的RFID读取器读取配置在隧道内壁上安置的RFID信息，所述的隧道检测车的底部安装一个测距轮，所述的控制器读取测距轮中光电编码器的脉冲当量并估算所述的隧道检测车的行走距离Zi；所述的控制器读取主动式全景视觉传感器所获取的隧道全断面全景图像并以所述的隧道检测车的行走距离Zi和现在时刻为文件名保存在所述的控制器的存储单元中；当所述的隧道检测车达到下一个站点时，所述的控制器通过所述的无线接发送单元将所述的控制器的存储单元中的隧道全断面全景图像发送给所述的站级通信系统；
所述的主动式全景视觉传感器，其硬件主要包括：全方位视觉传感器、投射照明光源；所述的全方位视觉传感器与所述的投射照明光源进行同轴固定连接；
所述的全方位视觉传感器包括双曲面镜面、上盖、透明半圆形外罩、下固定座、摄像单元固定座、摄像单元、连接单元和上罩；所述的双曲面镜面固定在所述的上盖上，所述的连接单元将所述的下固定座和透明半圆形外罩连接成一体，所述的透明半圆形外罩与所述的上盖以及所述的上罩固定在一起，所述的摄像单元固定在所述的摄像单元固定座上，所述的摄像单元固定座固定在所述的下固定座上，所述的全方位视觉传感器中的所述的摄像单元的输出通过千兆网数据接口与所述的控制器连接；
所述的ODVS安装在隧道检测车的前方中央位置，如图1所示，隧道检测车在行进过程中不断地快速获取隧道内壁的全景图像。图2是ODVS的结构图
所述的照明光源设计上采用了直接照明法，包括光源上盖、圆锥形镜面、透明外罩、底座和24颗LED。24颗LED均匀分布固定在底座外圆侧对隧道内壁进行照明，圆锥形镜面的轴心线与光源上盖轴心线一致，透明外罩将嵌入24颗LED和固定圆锥形镜面的光源上盖集成为投射照明光源。
所述的远程计算机作为服务器采用Linux系统。所述的隧道检测车行进过程中，工控机每隔时间T采集隧道内壁全景图像，时间T是由隧道检测车的行进速度V以及全景视觉垂直成像范围F来决定的。全景图像采集间隔时间用公式(1)计算得到，
T＝0.8×F/V (1)
式中，T为ODVS的采样间隔，V为隧道检测车的行进速度，F为全景视觉垂直成像范围。
工控机通过无线接发送单元将携带着隧道空间位置信息的展开的隧道内壁全景图像发送给远程计算机。
工控机中的图像处理主要包括：隧道断面全景图像数据读取单元和隧道横断面全景图像展开单元；远程计算机中的图像处理主要包括：隧道疑似病害图像预处理单元和隧道疑似病害图像提取单元。
隧道断面全景图像数据读取单元每隔时间T通过ODVS来获取隧道内壁的一帧全景图像。接着，隧道横断面全景图像展开单元全景图像进行展开处理，展开处理后的全景图像用隧道检测车的行走距离zi为文件名保存。
全景柱状展开是以全景图像中心坐标为原点建立平面坐标系O(0,0)，X轴水平向右，Y轴竖直向上；选取合适的内径为r1、外径为r2，展开半径为R＝(r1+r2)/2，方位角为θ＝tan-1(y/x)；全景柱状展开图以坐标原点O*(0,0)、X*轴、Y*轴为平面坐标系，将全景图像坐标系下点(r,0)作为全景柱状展开图坐标原点O*(0,0)，以方位角θ顺时针方向展开建立全景柱状展开图；建立全景柱状展开图像中任意一点象素坐标P*(x*,y*)与全景图像中的象素坐标P(x,y)的对应关系，其计算公式为：
x＝y/(tan(360x*/π(r1+r2))) (2)
y＝(y*+r1)cosθ (3)
式中：x*,y*为全景柱状展开图的坐标，x，y为全景图像的坐标，R为全景图像展开区域的外径，r为全景图像展开区域的内径，θ为全景图像坐标的方位角。
图3(a)为ODVS拍摄的模拟隧道内壁全景图，图3(b)为模拟隧道内壁柱状展开图。模拟隧道内壁柱状展开图用隧道检测车的行走距离zi为文件名保存，请求服务器来读取该图像文件。
远程计算机得到从隧道检测车发送过来的读取请求后，读取暂时存储在工控机内的展开全景图像，递交给隧道疑似病害图像预处理单元进行图像预处理。其主要工作是对隧道柱状展开图像进行增强，包括灰度校正和图像平滑，这项工作的主要作用是提高图像质量，为后续隧道疑似病害检测识别进一步处理做好准备。
在图像预处理方面，本发明采用一种自适应的图像直方图均衡处理方法，自适应的直方图均衡考虑了图像的位置信息，该方法根据图像像素点的局部统计特征对像素灰度值进行函数变换，变换函数有像素点周围某个大小的子图像的直方图确定。
在图像平滑方面，本发明采用图像的自适应wiener滤波方法，wiener滤波将均方误差的数学期望取极小估值作为其最优标准。
隧道疑似病害的提取包括：图像分割以及图像的形态学处理等，针对隧道疑似病害图像选择合适的方法；这里首先采用Otsu法对隧道疑似病害图像进行二值分割，然后对隧道疑似病害二值图像的数学形态学处理；在数学形态学处理中采用先进行开运算再进行闭运算。
开运算是利用同一结构元素对象对同一目标图像依次进行腐蚀运算和膨胀运算，计算方法如公式(4)所示：
式中，A是隧道疑似病害的原始图像，B是结构元素图像。
闭运算是指对同一目标图像先进行膨胀运算后进行腐蚀运算，计算方法如公式(5)所示：
式中，A是隧道疑似病害原始图像，B是结构元素图像。
图4为隧道内壁中疑似病害的提取，提取出疑似病害之后就需要通过卷积神经网络对疑似病害进行识别分类。
基于卷积神经网络的隧道病害自动识别方法，包括训练阶段和测试阶段；在训练阶段，将训练样本输入卷积神经网络，获得卷积神经网络的连接权值和偏置值；在测试阶段，读入隧道病害图像，对隧道病害图像采用数字图像处理技术进行预处理，提取出感兴趣区域，然后将感兴趣区域图像尺寸进行归一化处理后作为卷积神经网络的输入。
在本实施例中，卷积神经网络的结构为6层，包括依次连接的输入层，C1层，S2层，C3层，S4层和输出层。其中C1层和C3层为卷积层，S2层和S4层为下采样层，输入层为大小为28*28像素的图像，输出层包括4个一维向量，分别表示4类隧道病害：(1)裂纹；(2)裂缝；(3)衬砌脱落；(4)渗漏水。图5为本发明采用的卷积神经网络结构图。
有关隧道识别CNN框架的详细描述如下：
(1)输入。输入图像为图像预处理得到的28*28的灰度疑似病害图像。
(2)C1层。C1层为卷积层，用于提取图像特征。卷积核的大小影响着神经元感受野的大小，当卷积核较小时，无法提取有效的局部特征，当卷积核较大时，又无法描述过于复杂的信息。对于28*28的输入图像，一般选用5*5的卷积核就能够达到较好的效果，得到24*24的特征图。每个卷积核用于提取某一类特征，这里采用6个卷积核对同一图像进行卷积，得到6张不同的特征图。卷积核中各参数通过随机初始化设置在-1到1之间，一般地，随机初始化的卷积核有较好的边缘提取效果。
(3)S1层。S1层为降采样层。它将C1层输出的特征图进行缩小。主要是将邻域内的像素求和成一个像素，然后通过W加权，再增加偏置b，最后通过sigmoid激活函数，这样就可以将C1层中得到的特征提取图映射为缩小后的特征映射图。一般缩放因子为2就能够达到较好的效果。
(4)C2层。C2层为卷积层，用于提取图像特征，与C1层相似。C1层是将1张原图通过6个卷积核获得6张特征提取图。而C2层则是将6张输入的特征映射图，通过随机组合得到12张特征图，然后通过不同的卷积核映射得到12张特征提取图。这是因为不完全的连接可以将原图像中某一区域的不同特征融合，破坏了网络的对称性。
(5)S2层。S2层为降采样层，与S1层基本相同。
(6)输出层。输出层是与S2层的全连接。S2层有12*4*4＝192个神经元，每一个神经元都与输出的一个神经元相连，输出层暂时设定为4类，即4个神经元，总共有192*4＝768个连接，这里可以将S2看作一个192维的线性向量，而S2到输出层的映射相当于使用该向量进行分类，这个分类器共有768个参数来对4种病害类别进行分类，因此具有很强的描述能力。
卷积神经网络的训练需要大量数据。本发明采用的隧道病害图像主要是通过检索网络上的隧道病害图像得到，数据量偏少。通过真实拍摄获取得到部分模拟隧道病害图像，作为初始的训练样本。为了增加数据量，通过对病害区域进行下述操作：
(1)平移：水平或垂直平移，步长为0.2倍的病害区域大小。
(2)缩放：对病害区域大小乘以比例因子[0.8,1.2]。
(3)旋转：对病害区域进行60度以下的旋转。
(4)翻转：对病害区域进行上下、左右翻转。
(5)亮度调整：对病害区域进行整体亮度调整。
(6)对比度调整：对病害区域进行灰度线性或非线性拉伸。
对于每个种子图像，随机选取K个变换，然后将这些变换应用到每个种子图像上，形成新的训练样本。然后将这些样本输入卷积神经网络中进行训练，获得卷积神经网络的连接权值和偏置值。
图6(a)为种子图像，分别对应裂纹、裂缝、衬砌脱落和渗漏水等4种类型隧道病害。图6(b)为对图6(a)中的裂缝进行随机组合变换得到的图像。
卷积神经网络的性能对于学习速率的选择非常敏感，学习速率过大，算法可能振荡而导致不稳定；学习速率过小，则收敛速率慢，训练时间长。因此采用自适应调整学习速率。
卷积神经网络的训练过程如图4所示，主要包括4步，这4步被分为两个阶段：
第一阶段，向前传播阶段：
(1)从样本集中取一个样本(X,Yp)，将X输入网络；
(2)计算相应的实际输出Op。
在此阶段，信息从输入层经过逐级的变换，传送到输出层。这个过程也是网络在完成训练后正常运行时执行的过程。在此过程中，网络执行的是计算(实际上就是输入与每层的权值矩阵相点乘，得到最后的输出结果)：
Op＝Fn(…(F2(F1(XpW(1))W(2))…)W(n)) (2)
在计算过程中，都是用Sigmoid作为激活函数。
第二阶段，向后传播阶段：
(1)计算实际输出Op与相应的理想输出Yp的差；
(2)按极小化误差的方法反向传播调整权矩阵。
向后传播阶段也是卷积神经网络中最复杂的地方，基本思想是跟反向传播算法(BP算法)一样，都是通过最小化残差来调整权重和偏置，但是卷积神经网络的网络结构并不像反向传播算法那样单一，对不同的结构处理方式也不一样，而且因为权重共享，使得计算残差变得更加困难。所述的反向传播算法是一种计算偏导数的有效方法，它的基本原理是：利用前向传播最后输出的结果来计算误差的偏导数，再用这个偏导数和前面的各层进行加权求和，如此一层一层的向后传下去，直到输入层(不计算输入层)，最后利用每个节点求出的偏导数来更新权重。
其中，为了便于理解，后面我们用“残差”这个词来表示误差的偏导数。
其中，输出层到S4层的残差＝-(输出值-样本值)*激活函数的导数，隐藏层的残差＝(右层每个节点的残差加权求和)*激活函数。
其中，残差全部计算好后，就可以更新权重了：
(1)输入层：权重增加＝输入值*右层对应节点的残差*学习率
(2)隐藏层：权重增加＝当前节点的Sigmoid*右层对应节点的残差*学习率
(3)偏移值的权重增加＝右层对应节点的残差*学习率
其中，隐藏层表示除输入层、输出层以外的其他各层。学习率是一个预先设置好的参数，用于控制每次更新的幅度。此后，对全部数据都反复进行这样的计算，直到输出的误差达到一个很小的值为止。
在卷积神经网络中，输出层的残差是输出值与样本值的差值，而中间各层的残差来源于下一层的残差的加权和。输出层的残差计算如下：
其中，(第nl层表示输出层)为输出层的残差，yi表示输出值，表示前向传播中输出层的输入值，表示激活函数的导数。
下一层为采样层的卷积层的残差的计算可以对采样层的残差与一个2×2的全1矩阵进行克罗内克积进行扩充，因为从卷积神经网络的结构图看出，采样层的map大小是卷积层的但这两层的map个数是一样的，卷积层的某个map中的4个单元与采样层对应map的一个单元关联，扩充之后使得采样层的残差的维度与上一层的输出map的维度一致。
下一层为卷积层的采样层的残差的计算比较麻烦一点，因为采样层到卷积层直接的连接是有权重和偏置参数的，因此不像卷积层到采样层那样简单。当采样层L的下一层是卷积层(L+1)，并假设我们已经计算出L+1层的残差，再假设L层第j个map Mj与L+1层的M2j关联，按照反向传播算法的原理，L层的残差Dj是L+1层残差D2j的加权和，M2j与Mj的关联关系采用将卷积核矩阵进行180度旋转，使之一一对应。
残差计算出来后，就是更新权重和偏置参数。
在完成卷积神经网络的训练后，便进入了测试阶段，测试阶段用来测试所使用的卷积神经网络用于对隧道病害检测识别的精度和速度是否可靠。其过程为：读取检测图像，然后将这些图像输入训练好的卷积神经网络中进行测试，利用卷积神经网络进行分类，分类的结果为上述的4类隧道病害，进而可以获取误差率。

Claims (8)

1.一种基于全景视觉CNN的隧道病害自动识别装置，其特征在于：所述的装置包括隧道检测车和远程计算机；
所述的隧道检测车上配置有主动式全景视觉传感器、RFID读取器、测距轮、无线接发送单元、控制器和工控机，所述的主动式全景视觉传感器安装在所述的隧道检测车的前方中央，所述的RFID读取器读取配置在隧道内壁上安置的RFID信息，所述的隧道检测车的底部安装一个测距轮，所述的控制器读取测距轮中光电编码器的脉冲当量并估算所述的隧道检测车的行走距离Zi；所述的控制器读取主动式全景视觉传感器所获取的隧道全断面全景图像并以所述的隧道检测车的行走距离Zi和现在时刻为文件名保存在所述的控制器的存储单元中；当所述的隧道检测车达到下一个站点时，所述的控制器通过所述的无线接发送单元将所述的控制器的存储单元中的隧道全断面全景图像发送给站级通信系统；
所述的主动式全景视觉传感器包括：全方位视觉传感器和投射照明光源；所述的全方位视觉传感器与所述的投射照明光源进行同轴固定连接，安装在所述的隧道检测车的前方中央位置；
所述的远程计算机作为服务器采用Linux系统，所述的隧道检测车行进过程中，工控机每隔时间T采集隧道内壁全景图像，时间T是由隧道检测车的行进速度V以及全景视觉垂直成像范围F来决定的，全景图像采集间隔时间用公式(1)计算得到，
T＝0.8×F/V (1)
式中，T为ODVS的采样间隔，V为隧道检测车的行进速度，F为全景视觉垂直成像范围；
工控机通过无线接发送单元将携带着隧道空间位置信息的展开的隧道内壁全景图像发送给远程计算机，所述远程计算机包括用于隧道病害自动识别的CNN模块。
2.如权利要求1所述的一种基于全景视觉CNN的隧道病害自动识别装置，其特征在于：所述全方位视觉传感器包括双曲面镜面、上盖、透明半圆形外罩、下固定座、摄像单元固定座、摄像单元、连接单元和上罩；所述的双曲面镜面固定在所述的上盖上，所述的连接单元将所述的下固定座和透明半圆形外罩连接成一体，所述的透明半圆形外罩与所述的上盖以及所述的上罩固定在一起，所述的摄像单元固定在所述的摄像单元固定座上，所述的摄像单元固定座固定在所述的下固定座上，所述的全方位视觉传感器中的所述的摄像单元的输出通过千兆网数据接口与所述的控制器连接。
3.如权利要求1或2所述的一种基于全景视觉CNN的隧道病害自动识别装置，其特征在于：所述的照明光源包括光源上盖、圆锥形镜面、透明外罩、底座和24颗LED，24颗LED均匀分布固定在底座外圆侧对隧道内壁进行照明，圆锥形镜面的轴心线与光源上盖轴心线一致，透明外罩将嵌入24颗LED和固定圆锥形镜面的光源上盖集成为投射照明光源。
4.如权利要求1或2所述的一种基于全景视觉CNN的隧道病害自动识别装置，其特征在于：所述的工控机中的图像处理部分包括隧道断面全景图像数据读取单元和隧道横断面全景图像展开单元；远程计算机中的图像处理部分主要包括：隧道疑似病害图像预处理单元和隧道疑似病害图像提取单元。
5.如权利要求4所述的一种基于全景视觉CNN的隧道病害自动识别装置，其特征在于：隧道断面全景图像数据读取单元每隔时间T通过ODVS来获取隧道内壁的一帧全景图像；接着，隧道横断面全景图像展开单元全景图像进行展开处理，展开处理后的全景图像用隧道检测车的行走距离zi为文件名保存；
全景柱状展开是以全景图像中心坐标为原点建立平面坐标系O(0,0)，X轴水平向右，Y轴竖直向上；选取合适的内径为r1、外径为r2，展开半径为R＝(r1+r2)/2，方位角为θ＝tan-1(y/x)；全景柱状展开图以坐标原点O*(0,0)、X*轴、Y*轴为平面坐标系，将全景图像坐标系下点(r,0)作为全景柱状展开图坐标原点O*(0,0)，以方位角θ顺时针方向展开建立全景柱状展开图；建立全景柱状展开图像中任意一点象素坐标P*(x*,y*)与全景图像中的象素坐标P(x,y)的对应关系，其计算公式为：
x＝y/(tan(360x*/π(r1+r2))) (2)
y＝(y*+r1)cosθ (3)
式中：x*,y*为全景柱状展开图的坐标，x，y为全景图像的坐标，R为全景图像展开区域的外径，r为全景图像展开区域的内径，θ为全景图像坐标的方位角；
模拟隧道内壁柱状展开图用隧道检测车的行走距离zi为文件名保存，请求服务器来读取该图像文件；
远程计算机得到从隧道检测车发送过来的读取请求后，读取暂时存储在工控机内的展开全景图像，递交给隧道疑似病害图像预处理单元进行图像预处理，对隧道柱状展开图像进行增强，包括灰度校正和图像平滑；
隧道疑似病害的提取包括：图像分割以及图像的形态学处理，首先采用Otsu法对隧道疑似病害图像进行二值分割，然后对隧道疑似病害二值图像的数学形态学处理；在数学形态学处理中采用先进行开运算再进行闭运算。
6.如权利要求1或2所述的一种基于全景视觉CNN的隧道病害自动识别方法，其特征在于：所述CNN模块中，卷积神经网络CNN的结构为6层，包括依次连接的输入层，C1层，S2层，C3层，S4层和输出层，其中C1层和C3层为卷积层，S2层和S4层为下采样层，输入层为大小为28*28像素的图像，输出层包括4个一维向量，分别表示4类隧道病害：(1)裂纹；(2)裂缝；(3)衬砌脱落；(4)渗漏水。
7.如权利要求6所述的一种基于全景视觉CNN的隧道病害自动识别方法，其特征在于：所述CNN模块中，识别过程如下：
(1)输入：输入图像为图像预处理得到的28*28的灰度疑似病害图像；
(2)C1层：C1层为卷积层，用于提取图像特征，卷积核的大小影响着神经元感受野的大小，当卷积核较小时，无法提取有效的局部特征，当卷积核较大时，又无法描述过于复杂的信息；对于28*28的输入图像，选用5*5的卷积核就能够达到较好的效果，得到24*24的特征图；每个卷积核用于提取某一类特征，这里采用6个卷积核对同一图像进行卷积，得到6张不同的特征图；卷积核中各参数通过随机初始化设置在-1到1之间，随机初始化的卷积核有较好的边缘提取效果；
(3)S1层：S1层为降采样层，它将C1层输出的特征图进行缩小，将邻域内的像素求和成一个像素，然后通过W加权，再增加偏置b，最后通过sigmoid激活函数，这样就将C1层中得到的特征提取图映射为缩小后的特征映射图；
(4)C2层：C2层为卷积层，用于提取图像特征，与C1层相似；C1层是将1张原图通过6个卷积核获得6张特征提取图；而C2层则是将6张输入的特征映射图，通过随机组合得到12张特征图，然后通过不同的卷积核映射得到12张特征提取图；(5)S2层：S2层为降采样层；
(6)输出层：输出层是与S2层的全连接，S2层有12*4*4＝192个神经元，每一个神经元都与输出的一个神经元相连，输出层暂时设定为4类，即4个神经元，总共有192*4＝768个连接，将S2看作一个192维的线性向量，而S2到输出层的映射相当于使用该向量进行分类，这个分类器共有768个参数来对4种病害类别进行分类。
8.如权利要求7所述的一种基于全景视觉CNN的隧道病害自动识别装置，其特征在于：所述卷积神经网络的训练过程包括4步，这4步被分为两个阶段：
第一阶段，向前传播阶段：
(1)从样本集中取一个样本(X,Yp)，将X输入网络；
(2)计算相应的实际输出Op；
在此阶段，信息从输入层经过逐级的变换，传送到输出层；这个过程也是网络在完成训练后正常运行时执行的过程；在此过程中，网络执行的是计算：
Op＝Fn(…(F2(F1(XpW(1))W(2))…)W(n)) (2)
在计算过程中，都是用Sigmoid作为激活函数；
第二阶段，向后传播阶段：
(1)计算实际输出Op与相应的理想输出Yp的差；
(2)按极小化误差的方法反向传播调整权矩阵；
用“残差”这个词来表示误差的偏导数；
其中，输出层到S4层的残差＝-(输出值-样本值)*激活函数的导数，隐藏层的残差＝(右层每个节点的残差加权求和)*激活函数；
其中，残差全部计算好后，就可以更新权重了：
(1)输入层：权重增加＝输入值*右层对应节点的残差*学习率
(2)隐藏层：权重增加＝当前节点的Sigmoid*右层对应节点的残差*学习率
(3)偏移值的权重增加＝右层对应节点的残差*学习率
其中，隐藏层表示除输入层、输出层以外的其他各层；学习率是一个预先设置好的参数，用于控制每次更新的幅度；此后，对全部数据都反复进行这样的计算，直到输出的误差达到一个很小的值为止；
在卷积神经网络中，输出层的残差是输出值与样本值的差值，而中间各层的残差来源于下一层的残差的加权和；输出层的残差计算如下：
δ i ( n l ) = ∂ ∂ z i ( n l ) 1 2 | | y - h W , b ( x ) | | 2 = - ( y i - a i ( n l ) ) · f ′ ( z i ( n l ) ) - - - ( 3 )
其中，(第nl层表示输出层)为输出层的残差，yi表示输出值，表示前向传播中输出层的输入值，表示激活函数的导数；
下一层为采样层的卷积层的残差的计算可以对采样层的残差与一个2×2的全1矩阵进行克罗内克积进行扩充，因为从卷积神经网络的结构图看出，采样层的map大小是卷积层的但这两层的map个数是一样的，卷积层的某个map中的4个单元与采样层对应map的一个单元关联，扩充之后使得采样层的残差的维度与上一层的输出map的维度一致；
当采样层L的下一层是卷积层(L+1)，并假设已经计算出L+1层的残差，再假设L层第j个map Mj与L+1层的M2j关联，按照反向传播算法的原理，L层的残差Dj是L+1层残差D2j的加权和，M2j与Mj的关联关系采用将卷积核矩阵进行180度旋转，使之一一对应；
残差计算出来后，就是更新权重和偏置参数；
在完成卷积神经网络的训练后，便进入了测试阶段，测试阶段用来测试所使用的卷积神经网络用于对隧道病害检测识别的精度和速度是否可靠；其过程为：读取检测图像，然后将这些图像输入训练好的卷积神经网络中进行测试，利用卷积神经网络进行分类，分类的结果为上述的4类隧道病害，进而可以获取误差率。
CN201710110049.6A 2017-02-28 2017-02-28 基于全景图像cnn的隧道病害自动识别装置 Pending CN106841216A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710110049.6A CN106841216A (zh) 2017-02-28 2017-02-28 基于全景图像cnn的隧道病害自动识别装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710110049.6A CN106841216A (zh) 2017-02-28 2017-02-28 基于全景图像cnn的隧道病害自动识别装置

Publications (1)

Publication Number Publication Date
CN106841216A true CN106841216A (zh) 2017-06-13

Family

ID=59133951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710110049.6A Pending CN106841216A (zh) 2017-02-28 2017-02-28 基于全景图像cnn的隧道病害自动识别装置

Country Status (1)

Country Link
CN (1) CN106841216A (zh)

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107677365A (zh) * 2017-10-19 2018-02-09 招商局重庆交通科研设计院有限公司 一种公路隧道照明亮度快速检测装置及方法
CN107871125A (zh) * 2017-11-14 2018-04-03 深圳码隆科技有限公司 违章建筑识别方法、装置及电子设备
CN108304913A (zh) * 2017-12-30 2018-07-20 北京理工大学 一种利用脉冲神经元阵列来实现卷积功能的方法
CN108304916A (zh) * 2018-01-10 2018-07-20 湖北工业大学 结合注意机制与深度可分解卷积的卷积神经网络优化方法
CN108535721A (zh) * 2018-03-28 2018-09-14 山东大学 一种基于人工智能的二次衬砌检测系统及方法
CN108615057A (zh) * 2018-04-28 2018-10-02 广东电网有限责任公司 一种基于cnn的电缆隧道照明设备的异常识别方法
CN108737705A (zh) * 2018-06-14 2018-11-02 西京学院 一种管道内壁图像采集装置
CN108805855A (zh) * 2018-01-09 2018-11-13 湖南科技大学 一种混凝土裂纹快速识别方法
CN108921017A (zh) * 2018-05-24 2018-11-30 北京飞搜科技有限公司 人脸检测方法及系统
CN109164748A (zh) * 2018-07-30 2019-01-08 广州市和佳电子科技有限公司 一种基于ar智能眼镜为终端的隧道智能建造平台
CN109187574A (zh) * 2018-08-16 2019-01-11 深圳市炬视科技有限公司 一种基于全息扫描的隧道病害检测及处理方法
CN109272442A (zh) * 2018-09-27 2019-01-25 百度在线网络技术（北京）有限公司 全景球面图像的处理方法、装置、设备和存储介质
CN109840594A (zh) * 2018-10-23 2019-06-04 广东省路桥建设发展有限公司 公路隧道洞外光环境监测方法及系统
CN110044924A (zh) * 2019-05-13 2019-07-23 招商局重庆交通科研设计院有限公司 一种基于图像的公路隧道病害检测方法
CN110097140A (zh) * 2019-05-13 2019-08-06 招商局重庆交通科研设计院有限公司 一种用于隧道巡检机器人的数据处理系统
CN110111322A (zh) * 2019-05-13 2019-08-09 招商局重庆交通科研设计院有限公司 一种基于图像的隧道病害识别系统
CN110153802A (zh) * 2019-07-04 2019-08-23 西南交通大学 一种基于卷积神经网络和长短时记忆神经网络联合模型的刀具磨损状态辨识方法
CN110264466A (zh) * 2019-06-28 2019-09-20 广州市颐创信息科技有限公司 一种基于深度卷积神经网络的钢筋检测方法
CN110672632A (zh) * 2019-09-24 2020-01-10 江西交通职业技术学院 一种隧道病害识别方法
CN110689042A (zh) * 2019-08-20 2020-01-14 中国矿业大学(北京) 隧道渗漏等级的识别方法和装置、存储介质、电子装置
WO2020093211A1 (zh) * 2018-11-05 2020-05-14 中国科学院计算技术研究所 基于克罗内克卷积的场景分割方法和系统
CN111369515A (zh) * 2020-02-29 2020-07-03 上海交通大学 一种基于计算机视觉的隧道水渍检测系统及方法
CN111429430A (zh) * 2020-03-23 2020-07-17 同济大学 基于机器视觉的隧道检测车尺寸映射关系计算方法
CN111639203A (zh) * 2020-05-28 2020-09-08 神华包神铁路集团有限责任公司 隧道病害定位方法、装置、计算机设备和存储介质
WO2020199538A1 (zh) * 2019-04-04 2020-10-08 中设设计集团股份有限公司 基于图像监控数据的桥梁关键构件病害预警系统及方法
CN112036425A (zh) * 2020-05-09 2020-12-04 中铁四局集团有限公司 一种隧道空洞状态雷达波谱图像识别模型构建方法及隧道空洞状态雷达波谱图像识别方法
CN112053619A (zh) * 2020-09-18 2020-12-08 刘兵兵 一种模拟隧道衬砌裂缝有压渗水的装置及其使用方法
CN112446852A (zh) * 2019-08-30 2021-03-05 成都唐源电气股份有限公司 一种隧道成像平面展示方法及缺陷智能识别系统
EP3648054A4 (en) * 2017-06-29 2021-03-10 Sumitomo Chemical Company Limited IDIOSYNCRASY DETECTION SYSTEM AND IDIOSYNCRASY DETECTION METHOD
CN112630223A (zh) * 2020-12-07 2021-04-09 杭州申昊科技股份有限公司 一种基于隧道裂纹检测系统及方法
CN112822359A (zh) * 2020-12-30 2021-05-18 山东大学 一种基于车载式钻爆洞隧道的全景成像系统及方法
CN113341406A (zh) * 2021-06-15 2021-09-03 中铁隧道局集团有限公司 一种隧道病害检测系统的检测方法
CN113504242A (zh) * 2021-07-19 2021-10-15 北京洞微科技发展有限公司 一种隧道表观影像数据采集分析的新方法
CN113657438A (zh) * 2021-07-08 2021-11-16 郑州大学 一种热红外模式下vgg神经网络的排水管道病害检测方法
CN114511014A (zh) * 2022-01-21 2022-05-17 北京城建勘测设计研究院有限责任公司 基于图像深度学习算法的地铁隧道渗漏水检测系统及方法
US20230052553A1 (en) * 2021-08-16 2023-02-16 Ambarella International Lp Adding an adaptive offset term using convolution techniques to a local adaptive binarization expression
CN116699723A (zh) * 2023-08-08 2023-09-05 四川省公路规划勘察设计研究院有限公司 一种基于隧道衬砌拱部掉块的数据处理系统及预警方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1852428A (zh) * 2006-05-25 2006-10-25 浙江工业大学 基于全方位计算机视觉的智能隧道安全监控装置
CN104567708A (zh) * 2015-01-06 2015-04-29 浙江工业大学 基于主动式全景视觉的隧道全断面高速动态健康检测装置与方法
US20160163035A1 (en) * 2014-12-03 2016-06-09 Kla-Tencor Corporation Automatic Defect Classification Without Sampling and Feature Selection
CN105891215A (zh) * 2016-03-31 2016-08-24 浙江工业大学 基于卷积神经网络的焊接视觉检测方法及装置
CN106053475A (zh) * 2016-05-24 2016-10-26 浙江工业大学 基于主动式全景视觉的隧道病害全断面动态快速检测装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1852428A (zh) * 2006-05-25 2006-10-25 浙江工业大学 基于全方位计算机视觉的智能隧道安全监控装置
US20160163035A1 (en) * 2014-12-03 2016-06-09 Kla-Tencor Corporation Automatic Defect Classification Without Sampling and Feature Selection
CN104567708A (zh) * 2015-01-06 2015-04-29 浙江工业大学 基于主动式全景视觉的隧道全断面高速动态健康检测装置与方法
CN105891215A (zh) * 2016-03-31 2016-08-24 浙江工业大学 基于卷积神经网络的焊接视觉检测方法及装置
CN106053475A (zh) * 2016-05-24 2016-10-26 浙江工业大学 基于主动式全景视觉的隧道病害全断面动态快速检测装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
汤一平等: "基于CNN的火炮身管全景图像疵病识别方法", 《仪器仪表学报》 *

Cited By (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3648054A4 (en) * 2017-06-29 2021-03-10 Sumitomo Chemical Company Limited IDIOSYNCRASY DETECTION SYSTEM AND IDIOSYNCRASY DETECTION METHOD
CN107677365B (zh) * 2017-10-19 2019-12-31 招商局重庆交通科研设计院有限公司 一种公路隧道照明亮度快速检测装置及方法
CN107677365A (zh) * 2017-10-19 2018-02-09 招商局重庆交通科研设计院有限公司 一种公路隧道照明亮度快速检测装置及方法
CN107871125A (zh) * 2017-11-14 2018-04-03 深圳码隆科技有限公司 违章建筑识别方法、装置及电子设备
CN108304913A (zh) * 2017-12-30 2018-07-20 北京理工大学 一种利用脉冲神经元阵列来实现卷积功能的方法
CN108805855A (zh) * 2018-01-09 2018-11-13 湖南科技大学 一种混凝土裂纹快速识别方法
CN108805855B (zh) * 2018-01-09 2021-09-24 湖南科技大学 一种混凝土裂纹快速识别方法
CN108304916A (zh) * 2018-01-10 2018-07-20 湖北工业大学 结合注意机制与深度可分解卷积的卷积神经网络优化方法
CN108304916B (zh) * 2018-01-10 2020-06-09 湖北工业大学 结合注意机制与深度可分解卷积的卷积神经网络优化方法
CN108535721A (zh) * 2018-03-28 2018-09-14 山东大学 一种基于人工智能的二次衬砌检测系统及方法
CN108615057B (zh) * 2018-04-28 2020-07-14 广东电网有限责任公司 一种基于cnn的电缆隧道照明设备的异常识别方法
CN108615057A (zh) * 2018-04-28 2018-10-02 广东电网有限责任公司 一种基于cnn的电缆隧道照明设备的异常识别方法
CN108921017A (zh) * 2018-05-24 2018-11-30 北京飞搜科技有限公司 人脸检测方法及系统
CN108921017B (zh) * 2018-05-24 2021-05-18 苏州飞搜科技有限公司 人脸检测方法及系统
CN108737705A (zh) * 2018-06-14 2018-11-02 西京学院 一种管道内壁图像采集装置
CN109164748A (zh) * 2018-07-30 2019-01-08 广州市和佳电子科技有限公司 一种基于ar智能眼镜为终端的隧道智能建造平台
CN109187574A (zh) * 2018-08-16 2019-01-11 深圳市炬视科技有限公司 一种基于全息扫描的隧道病害检测及处理方法
CN109272442A (zh) * 2018-09-27 2019-01-25 百度在线网络技术（北京）有限公司 全景球面图像的处理方法、装置、设备和存储介质
CN109840594A (zh) * 2018-10-23 2019-06-04 广东省路桥建设发展有限公司 公路隧道洞外光环境监测方法及系统
WO2020093211A1 (zh) * 2018-11-05 2020-05-14 中国科学院计算技术研究所 基于克罗内克卷积的场景分割方法和系统
WO2020199538A1 (zh) * 2019-04-04 2020-10-08 中设设计集团股份有限公司 基于图像监控数据的桥梁关键构件病害预警系统及方法
CN110111322A (zh) * 2019-05-13 2019-08-09 招商局重庆交通科研设计院有限公司 一种基于图像的隧道病害识别系统
CN110097140A (zh) * 2019-05-13 2019-08-06 招商局重庆交通科研设计院有限公司 一种用于隧道巡检机器人的数据处理系统
CN110044924A (zh) * 2019-05-13 2019-07-23 招商局重庆交通科研设计院有限公司 一种基于图像的公路隧道病害检测方法
CN110044924B (zh) * 2019-05-13 2021-06-29 招商局重庆交通科研设计院有限公司 一种基于图像的公路隧道病害检测方法
CN110264466A (zh) * 2019-06-28 2019-09-20 广州市颐创信息科技有限公司 一种基于深度卷积神经网络的钢筋检测方法
CN110264466B (zh) * 2019-06-28 2021-08-06 广州市颐创信息科技有限公司 一种基于深度卷积神经网络的钢筋检测方法
CN110153802A (zh) * 2019-07-04 2019-08-23 西南交通大学 一种基于卷积神经网络和长短时记忆神经网络联合模型的刀具磨损状态辨识方法
CN110153802B (zh) * 2019-07-04 2020-05-01 西南交通大学 一种基于卷积神经网络和长短时记忆神经网络联合模型的刀具磨损状态辨识方法
CN110689042B (zh) * 2019-08-20 2022-05-13 中国矿业大学(北京) 隧道渗漏等级的识别方法和装置、存储介质、电子装置
CN110689042A (zh) * 2019-08-20 2020-01-14 中国矿业大学(北京) 隧道渗漏等级的识别方法和装置、存储介质、电子装置
CN112446852B (zh) * 2019-08-30 2023-12-15 成都唐源电气股份有限公司 一种隧道成像平面展示方法及缺陷智能识别系统
CN112446852A (zh) * 2019-08-30 2021-03-05 成都唐源电气股份有限公司 一种隧道成像平面展示方法及缺陷智能识别系统
CN110672632A (zh) * 2019-09-24 2020-01-10 江西交通职业技术学院 一种隧道病害识别方法
CN111369515A (zh) * 2020-02-29 2020-07-03 上海交通大学 一种基于计算机视觉的隧道水渍检测系统及方法
CN111429430A (zh) * 2020-03-23 2020-07-17 同济大学 基于机器视觉的隧道检测车尺寸映射关系计算方法
CN111429430B (zh) * 2020-03-23 2022-03-25 同济大学 基于机器视觉的隧道检测车尺寸映射关系计算方法
CN112036425A (zh) * 2020-05-09 2020-12-04 中铁四局集团有限公司 一种隧道空洞状态雷达波谱图像识别模型构建方法及隧道空洞状态雷达波谱图像识别方法
CN111639203A (zh) * 2020-05-28 2020-09-08 神华包神铁路集团有限责任公司 隧道病害定位方法、装置、计算机设备和存储介质
CN112053619A (zh) * 2020-09-18 2020-12-08 刘兵兵 一种模拟隧道衬砌裂缝有压渗水的装置及其使用方法
CN112630223A (zh) * 2020-12-07 2021-04-09 杭州申昊科技股份有限公司 一种基于隧道裂纹检测系统及方法
CN112630223B (zh) * 2020-12-07 2023-12-26 杭州申昊科技股份有限公司 一种基于隧道裂纹检测系统及方法
CN112822359A (zh) * 2020-12-30 2021-05-18 山东大学 一种基于车载式钻爆洞隧道的全景成像系统及方法
CN113341406A (zh) * 2021-06-15 2021-09-03 中铁隧道局集团有限公司 一种隧道病害检测系统的检测方法
CN113657438A (zh) * 2021-07-08 2021-11-16 郑州大学 一种热红外模式下vgg神经网络的排水管道病害检测方法
CN113657438B (zh) * 2021-07-08 2023-04-18 郑州大学 一种热红外模式下vgg神经网络的排水管道病害检测方法
CN113504242A (zh) * 2021-07-19 2021-10-15 北京洞微科技发展有限公司 一种隧道表观影像数据采集分析的新方法
US20230052553A1 (en) * 2021-08-16 2023-02-16 Ambarella International Lp Adding an adaptive offset term using convolution techniques to a local adaptive binarization expression
US11935257B2 (en) * 2021-08-16 2024-03-19 Ambarella International Lp Adding an adaptive offset term using convolution techniques to a local adaptive binarization expression
CN114511014A (zh) * 2022-01-21 2022-05-17 北京城建勘测设计研究院有限责任公司 基于图像深度学习算法的地铁隧道渗漏水检测系统及方法
CN116699723B (zh) * 2023-08-08 2023-10-31 四川省公路规划勘察设计研究院有限公司 一种基于隧道衬砌拱部掉块的数据处理系统及预警方法
CN116699723A (zh) * 2023-08-08 2023-09-05 四川省公路规划勘察设计研究院有限公司 一种基于隧道衬砌拱部掉块的数据处理系统及预警方法

Similar Documents

Publication Publication Date Title
CN106841216A (zh) 基于全景图像cnn的隧道病害自动识别装置
CN110163187A (zh) 基于f-rcnn的远距离交通标志检测识别方法
Li et al. Road network extraction via deep learning and line integral convolution
CN105891215B (zh) 基于卷积神经网络的焊接视觉检测方法及装置
CN109767427A (zh) 列车轨道扣件缺陷的检测方法
CN107229929A (zh) 一种基于r‑cnn的车牌定位方法
CN108830188A (zh) 基于深度学习的车辆检测方法
CN105868786A (zh) 一种基于自编码预训练深度神经网络的车标识别方法
CN107016357A (zh) 一种基于时间域卷积神经网络的视频行人检测方法
CN108921039A (zh) 基于多尺寸卷积核的深度卷积模型的森林火灾检测方法
CN106295601A (zh) 一种改进的安全带检测方法
CN107122701A (zh) 一种基于图像显著性和深度学习的交通道路标志识别方法
CN116664558A (zh) 一种钢铁表面缺陷检测方法、系统及计算机设备
CN109271934A (zh) 用于交通标志识别的系统和方法
CN110084198B (zh) 基于Fisher特征分析的CNN机场室内场景识别方法
CN106295605A (zh) 红绿灯检测与识别方法
CN109086803A (zh) 一种基于深度学习与个性化因子的雾霾能见度检测系统及方法
CN116824335A (zh) 一种基于YOLOv5改进算法的火灾预警方法及系统
CN111383273B (zh) 一种基于改进结构推理网络的高铁接触网零部件定位方法
CN114359702A (zh) 一种基于Transformer的宅基地遥感图像违建识别方法及系统
CN111339967B (zh) 一种基于多视域图卷积网络的行人检测方法
CN109948527A (zh) 基于集成深度学习的小样本太赫兹图像异物检测方法
CN113469097B (zh) 一种基于ssd网络的水面漂浮物多相机实时检测方法
CN104463104A (zh) 一种静态车辆目标快速检测方法及装置
CN115937518A (zh) 一种基于多源图像融合的路面病害识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170613