CN116823737B - 一种低纹理环境下隧道壁异常检测方法及系统 - Google Patents

一种低纹理环境下隧道壁异常检测方法及系统 Download PDF

Info

Publication number
CN116823737B
CN116823737B CN202310654839.6A CN202310654839A CN116823737B CN 116823737 B CN116823737 B CN 116823737B CN 202310654839 A CN202310654839 A CN 202310654839A CN 116823737 B CN116823737 B CN 116823737B
Authority
CN
China
Prior art keywords
image
positioning
reference frame
abnormal
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310654839.6A
Other languages
English (en)
Other versions
CN116823737A (zh
Inventor
徐士彬
李再强
刘洋
梁雪琪
邹建伟
孙海涛
衣玉光
孙严
蒋伟
李强
林鸣浩
吴迪
叶晓东
冯立吉
顾童
赵柯铭
王大伟
王忠明
吴雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Railway No9 Group Electrical Engineering Co ltd
China Railway No 9 Group Co Ltd
Original Assignee
China Railway No9 Group Electrical Engineering Co ltd
China Railway No 9 Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Railway No9 Group Electrical Engineering Co ltd, China Railway No 9 Group Co Ltd filed Critical China Railway No9 Group Electrical Engineering Co ltd
Priority to CN202310654839.6A priority Critical patent/CN116823737B/zh
Publication of CN116823737A publication Critical patent/CN116823737A/zh
Application granted granted Critical
Publication of CN116823737B publication Critical patent/CN116823737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及隧道非接触检测技术领域，具体涉及一种低纹理环境下隧道壁异常检测方法及系统。该方法包括：获取定位图像对应的能量图；在能量图中各个低纹理区域内设定搜索块，根据每个搜素块内像素点的能量值获取第二特征点；所述第一特征点和第二特征点为定位图像的特征点；对所有定位图像进行筛选获取参照帧图像，基于每个参照帧图像获取点云地图；获取当前待检测图像，根据当前待检测图像对应的能量图判断当前待检测图像是否存在异常，若存在异常则记为异常图像；利用点云地图各参照帧图像的特征点与异常图像的特征点进行匹配获得隧道壁发生异常的位置。本发明能够准确的检测隧道壁上的异常，并精确的定位到异常所在的位置。

Description

一种低纹理环境下隧道壁异常检测方法及系统
技术领域
本发明涉及隧道非接触检测技术领域，具体涉及一种低纹理环境下隧道壁异常检测方法及系统。
背景技术
在隧道的建设和运营过程中，由于诸多因素隧道可能会产生的各种异常情况，这些异常情况是隧道表面最普遍的病害，也是危害极大的病害之一，如果不及时进行监测及修护，则可能会进一步衍生更严重的异常情况，对异常进行及时、准确的监测是隧道维护工作中最为关键的一环。单纯依靠人工在借助检测设备的帮助下对隧道结构进行检测，工作强度大且效率低，还可能使检测人员的安全受到威胁，同时人工的主观性容易造成检测的误差。
随着计算机视觉技术的发展，可利用计算机视觉技术对拍摄的隧道表面的图像进行分析获得隧道壁表面的异常，但是由于隧道内的低纹理环境，会导致在利用计算机视觉对拍摄的隧道壁的图像进行检测时，检测的结果不够精确；另外在检测出异常时，还需要对隧道壁的异常进行定位，确定异常所处的位置，方便维护人员进行维护，然而根据低纹理环境下拍摄的图像进行对隧道壁的异常进行定位时，低纹理环境下的图像对于定位的结果依旧会造成一定的影响，使得定位不够准确。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种低纹理环境下隧道壁异常检测方法，所采用的技术方案具体如下：
第一方面，本发明一个实施例提供了一种低纹理环境下隧道壁异常检测方法，该方法主要包括：
获取至少两帧隧道壁的表面图像，记为定位图像，对定位图像进行分割获取明显纹理区域和低纹理区域；
提取明显纹理区域中的特征点，记为第一特征点；
根据定位图像中各像素点的像素值和设计的滤波器获取每个像素点的能量值，并得到能量图；
在能量图中各个低纹理区域内设定搜索块，根据每个搜素块内像素点的能量值获取第二特征点；所述第一特征点和第二特征点为定位图像的特征点；
对所有定位图像进行筛选获取参照帧图像，基于每个参照帧图像获取点云地图；
获取当前待检测图像，根据当前待检测图像对应的能量图判断当前待检测图像是否存在异常，若存在异常则记为异常图像；
利用点云地图各参照帧图像的特征点与异常图像的特征点进行匹配获得隧道壁发生异常的位置。
优选地，根据定位图像中各像素点的像素值和设计的滤波器获取每个像素点的能量值，包括：
设计滤波器，利用滤波器响应计算每个像素点的能量值，所述能量值为：
其中，E(x,y,σk,θ)表示定位图像中坐标为(x,y)的像素点的能量值；I(x,y)表示定位图像中坐标为(x,y)的像素点的像素值；gcos表示设计的滤波器函数的实部；gsin表示设计的滤波器函数的虚部；σk表示设计的滤波器的函数中高斯因子的标准差，可视为特征的尺度变化；θ∈[0°,360°]，表示点与水平方向的基准线的夹角；||.||2表示求取L2范数；表示卷积计算；
其中，exp()表示以e为底的指数函数；x’＝xcosθ+ysinθ，y’＝-xsinθ+ycosθ； 表示相位参数；γ表示空间纵横比；δ表示余弦函数的波长参数。
优选地，在能量图中各个低纹理区域内设定搜索块，根据每个搜素块内像素点的能量值获取第二特征点，包括：
所述搜索块为以像素点为圆心，设定长度为半径的圆形；在每个搜索块内获取能量值最大的像素点，所述能量值最大的像素点为第二特征点；且当搜索块内得到第二特征点后，该搜索块被标记为已搜索。
优选地，对定位图像进行分割获取明显纹理区域和低纹理区域，包括：
基于所述定位图像中像素点的像素值，利用大津算法对定位图像进行分割，将所述定位图像分割为明显纹理区域和低纹理区域。
优选地，对所有定位图像进行筛选获取参照帧图像，基于每个参照帧图像获取点云地图，包括：
计算所述定位图像所有像素点水平方向和垂直方向的梯度值的和，记为清晰度得分；获取清晰度得分大于或者等于所有定位图像的清晰度得分的平均值的定位图像，作为候选定位图像；计算候选定位图像到上一帧候选定位图像的位移和旋转角度；若所述位移在第一阈值范围内，且旋转角度在第二阈值范围内，则该候选定位图像为参照帧图像；以起始时刻为起点，按照时序计算每两帧相邻的参照帧图像之间的位移和旋转角度，进行累加，以此获取每个参照帧图像的位置信息，所有的参照帧图像和其位置信息组成点云地图。
优选地，获取当前待检测图像，根据当前待检测图像对应的能量图判断当前待检测图像是否存在异常，包括：
利用CCD相机获取当前时刻隧道壁的表面图像，记为当前待检测图像；在YOLOv7网络中的骨干和头部的输出位置插入GAM注意力机制，获得隧道壁异常检测模型；将待检测图像对应的能量图输入隧道壁异常检测模型，输出待检测图像中缺陷的类型和位置；若待检测图像存在缺陷，则该待检测图像为异常图像。
优选地，得到能量图，包括：
将所述定位图像中每个像素点的像素值替换为每个像素点对应的能量值，得到所述定位图像的能量图。
优选地，利用点云地图各参照帧图像的特征点与异常图像的特征点进行匹配获得隧道壁发生异常的位置，包括：
利用异常图像中的特征点与点云地图中各参照帧图像的特征点，计算异常图像与点云地图中各参照帧图像的相似度；与异常图像相似度最大的参照帧图像为与异常图像相匹配的参照帧图像；利用光电编码器对相匹配的参照帧图像的位置信息进行修正，获得隧道壁发生异常的位置。
优选地，在利用点云地图各参照帧图像的特征点与异常图像的特征点进行匹配获得隧道壁发生异常的位置之后，还包括：
利用CCD相机连续获取隧道壁发生异常的位置的表面图像，计算相邻两帧表面图像中的后一帧表面图像和前一帧表面图像的灰度差值，记为异常变化指标；根据时序上隧道壁上发生异常的同一位置的所有异常变化指标判断该位置的异常变化趋势。
第二方面，本发明还提供了一种低纹理环境下隧道壁异常检测系统，该系统包括：
第一特征点提取模块，用于获取至少两帧隧道壁的表面图像，记为定位图像，对定位图像进行分割获取明显纹理区域和低纹理区域；提取明显纹理区域中的特征点，记为第一特征点。
第二特征点提取模块，用于根据定位图像中各像素点的像素值和设计的滤波器获取每个像素点的能量值，并得到能量图；在能量图中各个低纹理区域内设定搜索块，根据每个搜素块内像素点的能量值获取第二特征点；将第一和第二特征点记为定位图像的特征点。
点云地图获取模块，用于对所有定位图像进行筛选获取参照帧图像，基于每个参照帧图像获取点云地图。
异常检测模块，用于获取当前待检测图像，根据当前待检测图像对应的能量图判断当前待检测图像是否存在异常，若存在异常则记为异常图像；利用点云地图各参照帧图像的特征点与异常图像的特征点进行匹配获得隧道壁发生异常的位置。
本发明实施例至少具有如下有益效果：本发明利用相机拍摄隧道壁的表面图像，记为定位图像，由于隧道内的特殊环境，因此拍摄的定位图像纹理的明显程度不一样，将定位图像分割为明显纹理区域和低纹理区域，对于明显纹理区域，直接提取其中的特征点，对于定位图像中的低纹理区域，获取像素点的能量值，然后在每个低纹理区域中设定搜索块，来提取低纹理区域中的特征点，通过获取低纹理区域中像素点的能量值，使得其纹理更加明显，能够降低纹理区域对特征点提取的影响，进而能够更加精确的提取特征点，使得后续利用定位图像的特征点构建点云地图时，构建精度更高的点云地图；进一步的，获取当前待检测图像对应的能量图，基于能量图检测隧道壁是否有异常，能够有效避免低纹理区域对于隧道壁异常检测的影响，使得隧道壁异常检测的结果更加准确；同时利用点云地图来定位异常图像的位置能够精确的找到隧道壁上出现异常的位置，方便工作人员进行进一步的检查。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明实施例提供的一种低纹理环境下隧道壁异常检测方法的方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种低纹理环境下隧道壁异常检测方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种低纹理环境下隧道壁异常检测方法及系统的具体方案。
实施例1：
本发明的主要应用场景为：地铁隧道壁不管是在建设过程中，还是在投入使用的过程中，由于环境，或者使用的问题，隧道壁可能会出现一定程度的损坏，此时需要及时的发现隧道壁的异常，然后尽早进行进一步的处理，随着计算机视觉的发展，利用计算机视觉技术对隧道壁的异常进行检测很容易受到隧道低纹理环境的影响，因此需要排除低纹理环境对于隧道异常的检测的影响。
请参阅图1，其示出了本发明一个实施例提供的一种低纹理环境下隧道壁异常检测方法的方法流程图，该方法包括以下步骤：
步骤S1，获取至少两帧隧道壁的表面图像，记为定位图像，对定位图像进行分割获取明显纹理区域和低纹理区域；提取明显纹理区域中的特征点，记为第一特征点。
巡线机器人在进入隧道后开始工作，第一次进入新环境时，使用架设在巡线机器人上的深度相机实时获取至少两帧表面图像隧道壁图像，具体的，每间隔0.2秒获取一帧RGB隧道壁的表面图像，建成图像库，将图像库中的图像记为定位图像，其中深度图像为灰度图像。
由于隧道内的特殊环境，在拍摄定位图像时会导致图像中一些区域的纹理不明显，一些区域的纹理较为明显，需要对两种纹理明显程度不同的区域进行不同的处理，对于纹理不明显的区域，要进行进一步的处理，降低其纹理不明显对后续分析的影响。
进一步的，需要对每个定位图像进行分割，将其分割为低纹理区域和明显纹理区域，具体的，基于定位图像中每个像素点的像素值，利用大津算法获得合适的阈值对定位图像进行分割，将一个定位图像分割为明显纹理区域和低纹理区域。需要说明的是，对图像分割时，有许多方法，实施者还可以根据实际情况旋转合适的分割算法，对定位图像进行分割，优选地，本发明实施例中选用的分割方法为大津算法。
进一步的，由于定位图像后续用于异常位置的定位，所以需要提取定位图像中的特征点，用于后续的匹配，具体的，对于定位图像中的纹理特征明显的明显纹理区域，采用ORB算法使用FAST角点提取，设置感兴趣区域，以提高提取特征点的提取精度，同时采用非极大值抑制方法，剔除重叠特征点。可以获得每个定位图像中各明显纹理区域的特征点，记为第一特征点。
步骤S2，根据定位图像中各像素点的像素值和设计的滤波器获取每个像素点的能量值，并得到能量图。
在步骤S1中将定位图像分割为了明显纹理区域和低纹理区域，且通过ORB算法提取了明显纹理区域中特征点，进一步的还需要对低纹理区域中的特征点进行提取，但是由于低纹理区域中的特征并不明显，因此需要对定位图像进行进一步的处理。
对于低纹理特征区域，具有较低的局部对比度，基于像素强度的算法难以获得足够且均匀分布的角点，也即是很难精确的提取到低纹理区域的特征点，如果利用步骤S1中提取特征点的方法进行提取，提取的特征点不够准确。
因此需要设计一种基于局部能量极大值的特征点的提取方式，设计一种滤波器用于定位图像中低纹理区域的特征点的提取，其中Gabor滤波器可以方便的提取图像在各个尺度和方向上的纹理信息，且对于光照的变化不敏感，而定位图像上的低纹理区域，是由于隧道内特殊的光照环境造成的，因此设计Gabor滤波器进行特征点的提取，利用Gabor滤波器响应获取定位图像中每个像素点的能量值，然后选取局部最大值。
Gabor核可以获得定位图像在特定频域内的响应，该响应的结果可以看作是定位图像的一个特征。利用多个不同频率的Gabor核，得到了图像在不同频域的响应。依据低纹理环境的低特征特性，图像在空间域中的正交滤波器对卷积的平方和的平方根，表示该点的能量值，计算公式为：
其中，E(x,y,σk,θ)表示定位图像中坐标为(x,y)的像素点的能量值；I(x,y)表示定位图像中坐标为(x,y)的像素点的像素值；gcos表示设计的滤波器函数的实部；gsin表示设计的滤波器函数的虚部；σk表示设计的滤波器的函数中高斯因子的标准差，可视为特征的尺度变化；θ∈[0°,360°]，表示点与水平方向的基准线的夹角，其中基准线的设置需要实施者根据实际情况进行设定；||.||2表示求取L2范数；表示卷积计算；
其中，exp()表示以e为底的指数函数；x’＝xcosθ+ysinθ，y’＝-xsinθ+ycosθ； 表示相位参数；γ表示空间纵横比；δ表示余弦函数的波长参数。
gcos表示Gabor滤波器函数的实部，使图像变得平滑。gsin表示Gabor滤波器函数的虚部，用来检测边缘，减少信息遗漏。实部和虚部分别与特征的尺度变化做乘法之后，进行卷积滤波，可以从不同方向不同频率对灰度图像的像素值进行滤波提取，使得图像特征提取结果越好。对于正常图像可能效果不够明显，但是对于低纹理图像，经过此处理后，增强了将近两倍的梯度，纹理更明显，其中一个像素点的能量值越大，其亮度就越高。
最后，获取每个像素点的能量值，将定位图像中每个像素点的像素值，也即是灰度值替换为每个像素点的能量值，得到能量图。
步骤S3，在能量图中各个低纹理区域内设定搜索块，根据每个搜素块内像素点的能量值获取第二特征点；将第一和第二特征点记为定位图像的特征点；对所有定位图像进行筛选获取参照帧图像，基于每个参照帧图像获取点云地图。
在步骤S2中获取了定位图像中每个像素点的能量值，并得到了能量图，进一步的，基于能量图提取低纹理区域中的特征点。具体的，在定位图像对应的能量图中的低纹理区域内建立搜索块，其中搜索块的形状为圆形，其圆心为低纹理区域中的像素点，半径为预设长度，优选地，本发明实施例中预设长度为3，其中预设长度以像素点数量为单位，实施者还可以根据实际情况对预设长度进行调整；在搜索块内获取能量值最大的像素点，作为第一特征点，需要说明的是，若一个搜索块内能量值最大的像素点有多个，则得到多个特征点，将得到特征点记为第二特征点，可以获得每个定位图像中每个低纹理区域中的第二特征点。
另外，在获取特征点时，不对搜索块在低纹理区域中的移动轨迹做具体的规定，但需要对同一位置搜索过第二特征点的搜索块进行标记，标记为已搜索，防止搜索同一搜索块，也避免搜索到重复的特征点。
至此可以获得每张定位图像中所有低纹理区域中的特征点，记为第二特征点，其中第一特征点和第二特征点对于定位图像的信息表示为相同含义，因此第一和第二特征点都为定位图像的特征点。
在获取定位图像的特征点后，还需要利用定位图像构建点云地图，用于后续定位隧道壁发生异常的位置。
考虑到获取的定位图像的质量，需要对定位图像进行筛选，具体的，计算定位图像上所有像素点水平方向和竖直方向上灰度值的梯度值的和，以此表示图像的清晰度，得到每张定位图像的清晰度得分；同时计算所有定位图像的清晰度得分的平均值，获取清晰度得分大于或者等于所有定位图像的清晰度得分的平均值的定位图像，作为候选定位图像，为了避免运动速度慢时有大量相似帧图像，或者运动速度快时丢失很多重要的帧，计算候选定位图像到上一帧候选定位图像的位移和旋转角度，若所述位移在第一阈值范围内，且旋转角度在第二阈值范围内，则该候选定位图像为参照帧图像，优选地，本发明实施例中，第一阈值范围为[0.5m,1.5m]，其中m表示长度单位米，第二阈值范围为[15°,60°]，实施者可以根据实际情况对第一阈值范围和第二阈值范围进行调整。
获取参照帧图像后，以起始时刻为起点，按照时序计算每两帧相邻的参照帧图像之间的位移和旋转角度，进行累加，以此获取每个参照帧图像的位置信息；如第一帧参照帧图像、第二帧参照帧图像和第三帧参照帧图像，以第一帧参照帧图像为起点，按照时序计算第一帧参照帧图像和第二帧参照帧图像之间的位移和旋转角度，得到第二帧参照帧图像对应的位置信息；计算第二帧参照帧图像和第三帧参照帧图像之间的位移和旋转角度，再与第一帧参照帧图像和第二帧参照帧图像之间的位移和旋转角度进行累加，得到第三帧参照帧图像对应的位置信息。至此可以得到所有参照帧图像对应的位置信息，所有的参照帧图像和其对应的位置信息组成点云地图，后续可以利用点云地图确定隧道壁异常的位置，同时在拍摄参照帧图像时，还利用光电编码器记录拍摄的参照帧图像的位置，用于与点云地图中的位置信息进行相互修正，以获得更加准确的结果。
步骤S4，获取当前待检测图像，根据当前待检测图像对应的能量图判断当前待检测图像是否存在异常，若存在异常则记为异常图像；利用点云地图各参照帧图像的特征点与异常图像的特征点进行匹配获得隧道壁发生异常的位置。
获取了点云地图后，需要再次拍摄隧道壁的表面图像，然后根据表面图像进行分析判断拍摄的隧道壁上有没有异常；具体的，利用CCD相机获取当前时刻隧道壁的表面图像，记为当前待检测图像，在获取当前待检测图像后，需要搭建用于隧道壁异常检测的模型。且为了避免低纹理环境对当前待检测图像造成的影响，还需要获取当前待检测图像对应的能量图，以降低低纹理环境对隧道壁异常检测的影响。
本发明中以YOLOv7为基础，同时引入GAM注意力机制，在YOLOv7网络中的骨干和头部的输出位置插入GAM注意力机制，获得搭建的隧道壁异常检测模型，同时，由于输入隧道壁异常检测模型的为当前待检测图像的能量图，所以将原YOLOv7网络骨干部分的CBS模块替换为基于局部能量极大值的关键点提取器是基于低纹理区域的，原YOLOv7网络骨干部分的CBS模块是通过卷积进行特征提取的，关键点提取器滤波得到的响应结果就是图像的一个特征，从不同方向不同频率进行滤波提取，用来表征全部的图像特征，将能量矩阵降维成1*64的行向量，作为特征向量。随后，提取到的特征会经过YOLOv7的Neck模块特征融合处理得到大、中、小三种尺寸的特征，以此优化图像低纹理区域检测问题。
插入GAM注意力机制是基于模型轻量级的思想，将网络结构从306层删到238层，以提高识别速度。此外，将激活函数替换为Mish。使用正向和反向传播进行训练。在反向传播中，使用SGD的优化算法来更新参数。迭代训练300次。使用SGD优化器进行训练，初始学习率为0.1。输入图像大小为640×320像素，批量大小为16。
在对隧道壁异常检测模型进行训练时，需要获取样本数据集，样本数据集中的图像为正常的图像和存在异常的图像，人工的对图像进行标注，使用标注工具labelimg，自定义3种分类类别，修改目标名称为normal(正常)，crack(裂缝)，water-leakage(水渍)，1000张图像按照8:1:1的比例随机分为训练、验证和测试集，然后对隧道壁异常检测模型进行训练。
进一步的，利用以下度量：精度(P)、召回率(R)、F1得分、平均精度(AP)、平均精度精度(mAP)、模型大小、参数、FLOP和每秒帧数(FPS)来评估隧道壁异常检测模型的效果。对于YOLO类型网络，AP和mAP是衡量模型检测精度的最佳度量。模型仅15.6M，很容易部署在车载终端并实现实时检测。训练过程中的参数为5.1M，FLOPs为12.7G。此模型的mAP达到0.736，显著高于原有的YOLOv7网络。
在隧道壁异常检测模型训练完成后，输入当前待检测图像对应的能量图，输出待检测图像中缺陷的类型和位置，这里所述的位置为缺陷在当前待检测图像中的位置，对于存在的异常，用框图左上角坐标和长宽(x，y，w，h)表示异常的位置和大小；若待检测图像存在缺陷，则该待检测图像为异常图像。进一步的，需要确定异常在隧道壁上的位置，按照上述获取定位图像特征点的方式获取异常图像的特征点；利用异常图像中的特征点与点云地图中各参照帧图像的特征点，计算异常图像与点云地图中各参照帧图像的相似度，其中计算相似度方法为现有技术，再次不再进行赘述，与异常图像相似度最大的参照帧图像为与异常图像相匹配的参照帧图像，利用光电编码器对相匹配的参照帧图像的位置信息进行修正，获得隧道壁发生异常的位置。
最后，还需要对同一位置不同时刻的隧道壁存在异常位置的演化过程对比分析，并预测隧道壁异常趋势。
对于隧道壁上存在异常的同一位置，利用CCD相机连续获取该位置的表面图像，其中在拍摄同一异常位置的表面图像时，CCD相机的姿态都是保持不变的，以保证拍摄同一异常位置的表面图像除了异常区域，其他区域的一致性；然后计算相邻两帧表面图像中的后一帧表面图像和前一帧表面图像的灰度差值，记为异常变化指标，若异常变化指标大于0，表示异常更加严重了。
统计异常变化指标的值，按照时序进行排列，进行直线拟合，获取其斜率，根据斜率判断该位置的异常变化趋势，若斜率大于0，且斜率的值较小，则表示其异常变化指标成一直增大的变化趋势，且异常变化较为稳定，需要使用现有的图像预测模型，进行下一步判定。若斜率大于0，若斜率较大，则说明该位置的异常变化幅度较大，则需要根据《隧道异常分级指标》判定是否超出可控范围，及时维护。
使用现有的图像预测模型，输入同一位置不同时刻的隧道壁的表面图像，实现ConvLSTM图像预测模型，输出预测图像。若预测图像中隧道壁的异常情况超出可控范围，输出值is_safety为false，同时终端发送警告信号，联系工作人员进行维护。
同时，本实施例中以巡线机器人作为隧道壁异常检测的配套模块，其主要的功能是工作人员可以实时的查看检测结果。所以在巡线机器人中需要配置相关的子作业，调用异常检测程序，辅助巡线机器人将异常检测结果，采用对比图的方式输出成报告，更加直观的观察到异常变化情况的变化趋势。
实施例2：
本实施例提供了一种低纹理环境下隧道壁异常检测系统，该系统包括：
第一特征点提取模块，用于获取至少两帧隧道壁的表面图像，记为定位图像，对定位图像进行分割获取明显纹理区域和低纹理区域；提取明显纹理区域中的特征点，记为第一特征点。
第二特征点提取模块，用于根据定位图像中各像素点的像素值和设计的滤波器获取每个像素点的能量值，并得到能量图；在能量图中各个低纹理区域内设定搜索块，根据每个搜素块内像素点的能量值获取第二特征点；将第一和第二特征点记为定位图像的特征点。
点云地图获取模块，用于对所有定位图像进行筛选获取参照帧图像，基于每个参照帧图像获取点云地图。
异常检测模块，用于获取当前待检测图像，根据当前待检测图像对应的能量图判断当前待检测图像是否存在异常，若存在异常则记为异常图像；利用点云地图各参照帧图像的特征点与异常图像的特征点进行匹配获得隧道壁发生异常的位置。
本实施例提供的一种低纹理环境下隧道壁异常检测系统，能够实现上述任一实施例提供的一种低纹理环境下隧道壁异常检测方法的流程、步骤，并达到相同的技术效果，在此不再一一赘述。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种低纹理环境下隧道壁异常检测方法，其特征在于，该方法包括：
获取至少两帧隧道壁的表面图像，记为定位图像，对定位图像进行分割获取明显纹理区域和低纹理区域；
提取明显纹理区域中的特征点，记为第一特征点；
根据定位图像中各像素点的像素值和设计的滤波器获取每个像素点的能量值，并得到能量图；
在能量图中各个低纹理区域内设定搜索块，根据每个搜素块内像素点的能量值获取第二特征点；所述第一特征点和第二特征点为定位图像的特征点；
对所有定位图像进行筛选获取参照帧图像，基于每个参照帧图像获取点云地图；
获取当前待检测图像，根据当前待检测图像对应的能量图判断当前待检测图像是否存在异常，若存在异常则记为异常图像；
利用点云地图各参照帧图像的特征点与异常图像的特征点进行匹配获得隧道壁发生异常的位置；
所述对所有定位图像进行筛选获取参照帧图像，基于每个参照帧图像获取点云地图，包括：
计算所述定位图像所有像素点水平方向和垂直方向的梯度值的和，记为清晰度得分；获取清晰度得分大于或者等于所有定位图像的清晰度得分的平均值的定位图像，作为候选定位图像；计算候选定位图像到上一帧候选定位图像的位移和旋转角度；若所述位移在第一阈值范围内，且旋转角度在第二阈值范围内，则该候选定位图像为参照帧图像；以起始时刻为起点，按照时序计算每两帧相邻的参照帧图像之间的位移和旋转角度，进行累加，以此获取每个参照帧图像的位置信息，所有的参照帧图像和其位置信息组成点云地图。
2.根据权利要求1所述的一种低纹理环境下隧道壁异常检测方法，其特征在于，所述根据定位图像中各像素点的像素值和设计的滤波器获取每个像素点的能量值，包括：
设计滤波器，利用滤波器响应计算每个像素点的能量值，所述能量值为：
其中，E(x,y,σk,θ)表示定位图像中坐标为(x,y)的像素点的能量值；I(x,y)表示定位图像中坐标为(x,y)的像素点的像素值；gcos表示设计的滤波器函数的实部；gsin表示设计的滤波器函数的虚部；σk表示设计的滤波器的函数中高斯因子的标准差；θ∈[0°,360°]，表示点与水平方向的基准线的夹角；||·||2表示求取L2范数；表示卷积计算；
其中，exp()表示以e为底的指数函数；x’＝xcosθ+ysinθ，y’＝-xsinθ+ycosθ；表示相位参数；γ表示空间纵横比；δ表示余弦函数的波长参数。
3.根据权利要求1所述的一种低纹理环境下隧道壁异常检测方法，其特征在于，所述在能量图中各个低纹理区域内设定搜索块，根据每个搜素块内像素点的能量值获取第二特征点，包括：
所述搜索块为以像素点为圆心，设定长度为半径的圆形；在每个搜索块内获取能量值最大的像素点，所述能量值最大的像素点为第二特征点；且当搜索块内得到第二特征点后，该搜索块被标记为已搜索。
4.根据权利要求1所述的一种低纹理环境下隧道壁异常检测方法，其特征在于，所述对定位图像进行分割获取明显纹理区域和低纹理区域，包括：
基于所述定位图像中像素点的像素值，利用大津算法对定位图像进行分割，将所述定位图像分割为明显纹理区域和低纹理区域。
5.根据权利要求1所述的一种低纹理环境下隧道壁异常检测方法，其特征在于，所述获取当前待检测图像，根据当前待检测图像对应的能量图判断当前待检测图像是否存在异常，包括：
利用CCD相机获取当前时刻隧道壁的表面图像，记为当前待检测图像；在YOLOv7网络中的骨干和头部的输出位置插入GAM注意力机制，获得隧道壁异常检测模型；将待检测图像对应的能量图输入隧道壁异常检测模型，输出待检测图像中缺陷的类型和位置；若待检测图像存在缺陷，则该待检测图像为异常图像。
6.根据权利要求1所述的一种低纹理环境下隧道壁异常检测方法，其特征在于，所述得到能量图，包括：
将所述定位图像中每个像素点的像素值替换为每个像素点对应的能量值，得到所述定位图像的能量图。
7.根据权利要求1所述的一种低纹理环境下隧道壁异常检测方法，其特征在于，所述利用点云地图各参照帧图像的特征点与异常图像的特征点进行匹配获得隧道壁发生异常的位置，包括：
利用异常图像中的特征点与点云地图中各参照帧图像的特征点，计算异常图像与点云地图中各参照帧图像的相似度；与异常图像相似度最大的参照帧图像为与异常图像相匹配的参照帧图像；利用光电编码器对相匹配的参照帧图像的位置信息进行修正，获得隧道壁发生异常的位置。
8.根据权利要求1所述的一种低纹理环境下隧道壁异常检测方法，其特征在于，在所述利用点云地图各参照帧图像的特征点与异常图像的特征点进行匹配获得隧道壁发生异常的位置之后，还包括：
利用CCD相机连续获取隧道壁发生异常的位置的表面图像，计算相邻两帧表面图像中的后一帧表面图像和前一帧表面图像的灰度差值，记为异常变化指标；根据时序上隧道壁上发生异常的同一位置的所有异常变化指标判断该位置的异常变化趋势。
9.一种低纹理环境下隧道壁异常检测系统，其特征在于，该系统包括：
第一特征点提取模块，用于获取至少两帧隧道壁的表面图像，记为定位图像，对定位图像进行分割获取明显纹理区域和低纹理区域；提取明显纹理区域中的特征点，记为第一特征点；
第二特征点提取模块，用于根据定位图像中各像素点的像素值和设计的滤波器获取每个像素点的能量值，并得到能量图；在能量图中各个低纹理区域内设定搜索块，根据每个搜素块内像素点的能量值获取第二特征点；将第一和第二特征点记为定位图像的特征点；
点云地图获取模块，用于对所有定位图像进行筛选获取参照帧图像，基于每个参照帧图像获取点云地图；
异常检测模块，用于获取当前待检测图像，根据当前待检测图像对应的能量图判断当前待检测图像是否存在异常，若存在异常则记为异常图像；利用点云地图各参照帧图像的特征点与异常图像的特征点进行匹配获得隧道壁发生异常的位置；
所述对所有定位图像进行筛选获取参照帧图像，基于每个参照帧图像获取点云地图，包括：
计算所述定位图像所有像素点水平方向和垂直方向的梯度值的和，记为清晰度得分；获取清晰度得分大于或者等于所有定位图像的清晰度得分的平均值的定位图像，作为候选定位图像；计算候选定位图像到上一帧候选定位图像的位移和旋转角度；若所述位移在第一阈值范围内，且旋转角度在第二阈值范围内，则该候选定位图像为参照帧图像；以起始时刻为起点，按照时序计算每两帧相邻的参照帧图像之间的位移和旋转角度，进行累加，以此获取每个参照帧图像的位置信息，所有的参照帧图像和其位置信息组成点云地图。
CN202310654839.6A 2023-06-05 2023-06-05 一种低纹理环境下隧道壁异常检测方法及系统 Active CN116823737B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310654839.6A CN116823737B (zh) 2023-06-05 2023-06-05 一种低纹理环境下隧道壁异常检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310654839.6A CN116823737B (zh) 2023-06-05 2023-06-05 一种低纹理环境下隧道壁异常检测方法及系统

Publications (2)

Publication Number Publication Date
CN116823737A CN116823737A (zh) 2023-09-29
CN116823737B true CN116823737B (zh) 2024-05-07

Family

ID=88123295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310654839.6A Active CN116823737B (zh) 2023-06-05 2023-06-05 一种低纹理环境下隧道壁异常检测方法及系统

Country Status (1)

Country Link
CN (1) CN116823737B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109029381A (zh) * 2018-10-19 2018-12-18 石家庄铁道大学 一种隧道裂缝的检测方法、系统及终端设备
CN109064491A (zh) * 2018-04-12 2018-12-21 江苏省基础地理信息中心 一种自适应分块的核相关滤波跟踪方法
CN112257536A (zh) * 2020-10-15 2021-01-22 天目爱视（北京）科技有限公司 一种空间与物体三维信息采集匹配设备及方法
CN112528861A (zh) * 2020-12-11 2021-03-19 中国铁道科学研究院集团有限公司电子计算技术研究所 应用于铁路隧道内道床的异物检测方法及装置
CN113537099A (zh) * 2021-07-21 2021-10-22 招商局重庆交通科研设计院有限公司 一种公路隧道火灾烟雾动态检测方法
US11176981B1 (en) * 2020-07-31 2021-11-16 Western Digital Technologies, Inc. Spinel containing magnetic tunnel junction and method of making the same
CN113674208A (zh) * 2021-07-22 2021-11-19 中南大学 一种用于井下爆破孔的自动寻孔方法、装置及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220063200A1 (en) * 2019-01-23 2022-03-03 Hewlett-Packard Development Company, L.P. Detecting three-dimensional (3d) part lift and drag

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064491A (zh) * 2018-04-12 2018-12-21 江苏省基础地理信息中心 一种自适应分块的核相关滤波跟踪方法
CN109029381A (zh) * 2018-10-19 2018-12-18 石家庄铁道大学 一种隧道裂缝的检测方法、系统及终端设备
US11176981B1 (en) * 2020-07-31 2021-11-16 Western Digital Technologies, Inc. Spinel containing magnetic tunnel junction and method of making the same
CN112257536A (zh) * 2020-10-15 2021-01-22 天目爱视（北京）科技有限公司 一种空间与物体三维信息采集匹配设备及方法
CN112528861A (zh) * 2020-12-11 2021-03-19 中国铁道科学研究院集团有限公司电子计算技术研究所 应用于铁路隧道内道床的异物检测方法及装置
CN113537099A (zh) * 2021-07-21 2021-10-22 招商局重庆交通科研设计院有限公司 一种公路隧道火灾烟雾动态检测方法
CN113674208A (zh) * 2021-07-22 2021-11-19 中南大学 一种用于井下爆破孔的自动寻孔方法、装置及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hierarchical tunnel modeling from 3D raw LiDAR point cloud;Cheng Yi;《Computer-Aided Design》;20190930;第143-154页 *
高速公路隧道内车辆异常的视频图像识别;卢士波;《交通科技》;20150831(第4期);第131-134页 *

Also Published As

Publication number Publication date
CN116823737A (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
US20210319561A1 (en) Image segmentation method and system for pavement disease based on deep learning
US11688057B2 (en) Method and system for quickly matching image features applied to mine machine vision
CN103279765B (zh) 基于图像匹配的钢丝绳表面损伤检测方法
CN105373135B (zh) 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统
WO2018214195A1 (zh) 一种基于卷积神经网络的遥感图像桥梁检测方法
CN107808161B (zh) 一种基于光视觉的水下目标识别方法
CN111507976B (zh) 基于多角度成像的缺陷检测方法及系统
CN110222661B (zh) 一种用于运动目标识别及跟踪的特征提取方法
CN111539927B (zh) 汽车塑料组合件紧固卡扣缺装检测装置的检测方法
CN110334727B (zh) 一种隧道裂缝智能匹配检测方法
CN116524017B (zh) 一种用于矿山井下检测识别定位系统
CN109631912A (zh) 一种深空球形目标被动测距方法
CN111724358A (zh) 基于图像和卷积神经网络的混凝土质量检测方法及系统
CN110909657A (zh) 一种隧道表观病害图像识别的方法
CN112115770A (zh) 一种用于架空线路无人机自主巡检缺陷识别的方法及系统
CN105740844A (zh) 基于图像识别技术的绝缘子炸裂故障检测方法
Xu et al. A defect inspection for explosive cartridge using an improved visual attention and image-weighted eigenvalue
CN114998251A (zh) 一种基于联邦学习的空中多视觉平台地面异常检测方法
CN115639248A (zh) 一种用于建筑外墙质量检测的系统及方法
CN103533332B (zh) 一种2d视频转3d视频的图像处理方法
CN117648889B (zh) 一种基于帧间差法的井喷流体测速方法
CN118379621A (zh) 一种基于无人机的大坝表面病害识别方法及系统
Berwo et al. Automotive engine cylinder head crack detection: Canny edge detection with morphological dilation
CN114283157A (zh) 一种基于椭圆拟合的椭圆形物体分割方法
CN112561989B (zh) 一种建造场景下吊装对象的识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant