CN117079144B - 一种非均匀光照下沥青路面检测图像线性裂缝提取方法 - Google Patents

一种非均匀光照下沥青路面检测图像线性裂缝提取方法 Download PDF

Info

Publication number
CN117079144B
CN117079144B CN202311336726.8A CN202311336726A CN117079144B CN 117079144 B CN117079144 B CN 117079144B CN 202311336726 A CN202311336726 A CN 202311336726A CN 117079144 B CN117079144 B CN 117079144B
Authority
CN
China
Prior art keywords
image
matrix
gray
pixel
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311336726.8A
Other languages
English (en)
Other versions
CN117079144A (zh
Inventor
吴成龙
孙茂棚
孟安鑫
安茹
庄蔚群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Urban Transport Planning Center Co Ltd
Original Assignee
Shenzhen Urban Transport Planning Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Urban Transport Planning Center Co Ltd filed Critical Shenzhen Urban Transport Planning Center Co Ltd
Priority to CN202311336726.8A priority Critical patent/CN117079144B/zh
Publication of CN117079144A publication Critical patent/CN117079144A/zh
Application granted granted Critical
Publication of CN117079144B publication Critical patent/CN117079144B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提出一种非均匀光照下沥青路面检测图像线性裂缝提取方法，属于图像处理技术领域。包括S1.将路面病害图像进行处理，得到地面区域图像矩阵和光照区域图像矩阵；S2.将图像矩阵由时域矩阵转变为频域矩阵，确定频率阈值，生成新的频域矩阵，将频域矩阵转变为时域矩阵；S3.提取图像高频分量，去除光照区域，获得消除光照不均匀的图像；S4.训练线性裂缝图像识别模型，输出包含线性裂缝的RGB图像；S5.将RGB图像转变为灰度图像；S6.得到新的二值化图像；S7.训练线性裂缝提取模型，输出图像中的线性裂缝。解决由不均匀光照引起的图像质量差导致线性裂缝识别准确率低的问题，本发明实现了裂缝区域的有效提取。

Description

一种非均匀光照下沥青路面检测图像线性裂缝提取方法
技术领域
本申请涉及线性裂缝提取方法，尤其涉及一种非均匀光照下沥青路面检测图像线性裂缝提取方法，属于图像处理技术领域。
背景技术
道路运营过程中，由于车辆荷载、周围环境的作用以及材料性能衰退等因素的影响，道路表面会逐渐出现裂缝、坑槽、车辙、松散等病害，其中，线性裂缝出现最早、数量最多，伴随着道路的整个使用期，并随着路龄的增长而加重。道路裂缝的危害不仅仅是影响路容美观和行车舒适度，如果不及时对裂缝进行密封修补，更容易进一步扩展，使雨水和其它杂物沿裂缝进入面层结构与路基，对道路造成结构性的破坏，导致路面承载能力下降，加速路面局部或成片损坏，从而缩短道路的使用寿命。
另一方面，沥青道路路面病害检测过程中，受到环境、相机采集频率、行车速度等因素的影响，采集图像中会出现不均匀光照的情况；同时，采用CCD传感器对路面进行图像采集过程，由于传感器位于车辆底部，在图像采集过程中需要进行光照补偿，光照补偿的效果往往是局部的、不均匀的，影响病害识别准确率。与其它病害相比，线性裂缝宽度小、面积小，特征显著性较多，更易受到不均匀光照的影响。因此，解决由于不均匀光照引起的线性裂缝识别准确率低的问题，对于道路养护维修工作具有重要指导意义。
有研究人员提出了申请号为201610136943.6，发明名称为一种基于道路影像的路面裂缝识别方法和申请号为202210912815.1，发明名称为一种道路裂缝的识别系统及方法。
一种基于道路影像的路面裂缝识别方法在图像二值化方法处理的基础上，采用椭圆拟合和距离阈值对比的方式，确定了裂缝的区域范围。但该方法没有考虑到原始采集图像质量的问题，当不均匀光照干扰图像时，难以准确区分图像中的裂缝区域和非裂缝区域。
一种道路裂缝的识别系统及方法提出了包含图像预处理、检测裂缝、提取裂缝的裂缝提取流程。该方法中虽然考虑了图像亮度不均匀和拓扑结构复杂性对裂缝目标检测的影响。但方法对于图像亮度不均匀的考虑主要涉及油污、阴影的影响，所提出的亮度补偿方法局限于对阴影区域的去除。对图像不均匀光照考虑不全面，尤其是缺乏对局部亮度过高、相机光照补偿效果不佳的情况的考虑。
发明内容
在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
鉴于此，为解决现有技术中存在由不均匀光照引起的图像质量差导致线性裂缝识别准确率低的技术问题，本发明提供一种非均匀光照下沥青路面检测图像线性裂缝提取方法。
方案一、一种非均匀光照下沥青路面检测图像线性裂缝提取方法，包括以下步骤：
S1.获取地面区域图像；
S2.将消除光照不均匀的图像作为训练样本，训练线性裂缝图像识别模型，输出包含线性裂缝的RGB图像，将图像依次编码为AA1-AAn，n为含线性裂缝图像的总数量；
S3.将RGB图像转变为灰度图像；
S4.对灰度图像进行线性裂缝区域和背景区域的区分，得到新的二值化图像，将二值化图像依次编码为F1-Fn，n为含线性裂缝图像的总数量；
S5.将二值化图像作为训练样本，训练线性裂缝提取模型，输出图像中的线性裂缝。
优选的，获取地面区域图像的方法是：
S11.将路面病害图像进行处理，得到地面区域图像矩阵和光照区域图像矩阵；
S12.将图像矩阵由时域矩阵转变为频域矩阵，确定频率阈值，将频域矩阵与频率阈值进行比较，生成新的频域矩阵，将频域矩阵转变为时域矩阵；
S13.提取图像高频分量，通过图像像素灰度信息，去除光照区域，基于图像灰度信息，获得消除光照不均匀的图像。
优选的，将路面病害图像进行处理，得到地面区域图像矩阵和光照区域图像矩阵的方法是：
S111.获取路面病害图像，将路面病害图像的长度记为a，宽度记为b；
S112.将路面病害图像等分为个小图像区域，沿长度方向每段长度为/>，沿宽度方向每段长度为/>；
S113.将路面病害图像由左到右、由上到下依次编号为A1，A2，A3,…，Ai,…，Ac2；
S114.对任意一张路面病害图像Ai，以路面病害图像左上角点位坐标原点，向右记为x轴正方向，向下记为y轴正方向；采集路面病害图像的图像矩阵由地面区域和光照区域组成，将路面病害图像的图像矩阵记为，地面区域图像矩阵记为/>，将光照区域图像矩阵记为/>，路面病害图像的图像矩阵、地面区域图像矩阵和光照区域图像矩阵的关系为：/>。
优选的，将图像矩阵由时域矩阵转变为频域矩阵，确定频率阈值，将频域矩阵与频率阈值进行比较，生成新的频域矩阵，将频域矩阵转变为时域矩阵的方法是：
S121.采用二维离散傅里叶变换，将图像矩阵由时域矩阵转变为频域矩阵/>，具体如下：
；
式中，j为虚数单位，e=0,1,2,…,L-1；f=0,1,2,…,M-1；其中，L为图像矩阵沿x轴方向的像素数量，M为图像矩阵/>沿y轴方向的像素数量；u为x方向的角频率，v为y方向的角频率；
S122.确定频率阈值，将频域矩阵/>与频率阈值/>进行比较，生成新的频域矩阵/>：
当时，保留对应图像信息，生成新的频域矩阵/>；
当时，删除对应图像信息，生成新的频域矩阵/>；
S123.采用傅里叶逆变换，将频域矩阵转变为时域矩阵/>：
；
式中，x=0,1,2,…,L-1；y=0,1,2,…,M-1。
优选的，提取图像高频分量，通过图像像素灰度信息，去除光照区域，基于图像灰度信息，获得消除光照不均匀的图像的方法是：
S131.统计时域矩阵中灰度级数量k，将灰度级按照从小大的顺序排列；
S132.将灰度级进行编码，将首个灰度级编码为0，全部灰度级依次编码为0,1,2…,k-1；
S133.记录路面病害图像Ai中每种灰度级j对应像素的数量；
S134.计算各像素值出现的概率：
；
S135.计算图像Ai灰度的累积分布概率：
；
式中，N为灰度级排序值，n依次取值为1,2,3…,k；
S136.将累积分布频率乘以（k-1），将计算结果记为/>，即：采集图像的图像矩阵与地面区域图像矩阵间的转变矩阵：
；
S137.建立采集图像的图像矩阵与地面区域图像矩阵/>的关系：
；
S138.将地面区域图像矩阵，转变为图像，依次完成/>个小图像区域中不均匀光照的去除。
优选的，对灰度图像进行线性裂缝区域和背景区域的区分，得到新的二值化图像的方法是：
S41.统计全部图像像素值，确定像素值的分布范围，最小值记为dmin，最大值记为dmax，像素分布范围即为（dmin，dmax）；
S42.设灰度值阈值dt，以灰度值阈值dt为临界点，将像素分布范围划分为两个区间：X区间（dmin，dt）和Y区间（dt，dmax）,统计X区间和Y区间范围内像素的数量n1和n2，并计算X、Y两个区间像素数量在整个图像中的权重ee1和ee2，计算两个区间的平均像素值dc1和dd2，计算X、Y区间图像像素方差E：
；
式中，灰度值阈值dt取值范围为[dmin,dmax]，且像素增加步长为1个像素；
S43.遍历全部灰度值阈值dt，依次得到X、Y区间图像像素方差E，记录方差中最大值Emax，方差对应的灰度值阈值dt为线性裂缝图像背景与线性裂缝区域的临界像素值，将灰度阈值记为dtm；
S44.以灰度阈值dtm为分界点，将图像划分为由像素值0和1组成的二值化图像，其中，灰度值小于dtm的像素点，全部变为0；灰度值大于等于dtm的像素点，像素值变为1。
方案二、一种电子设备，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现方案一所述的一种非均匀光照下沥青路面检测图像线性裂缝提取方法的步骤。
方案三、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现方案一所述的一种非均匀光照下沥青路面检测图像线性裂缝提取方法。
本发明的有益效果如下：
本发明将整张图像进行划分得到若干子图像；然后针对每张子图像，通过二维离散傅里叶变换，将图像矩阵由时域转变为频域空间，然后通过滤波的方式，初步消除光照区域的影响；然后，对图像中灰度信息进行统计分析，分析灰度累计分布概率分布特征，计算得到采集图像的图像矩阵与地面区域图像矩阵间的转变矩阵，进而得到地面区域图像矩阵与光照部分图像矩阵。
本发明先后通过二维离散傅里叶变换和灰度值变换的方式，实现了两级方式去除不均匀光照的影响；同时，将图像划分为若干子图的方式，可有效避免图像局部灰度变换效果差的问题，可获得更佳的去除效果。本发明实现了不均匀光照条件下，路面检测图像质量的提升，可以为后续数据分析提供更精准的数据，提高养护和管理人员的决策准确性和效率，提高养护业务的质量。通过及时发现并修复路面病害，可避免交通事故的发生，保障道路通行能力和通行安全。
本发明基于遍历搜索方法确定灰度阈值，实现裂缝区域的提取以及非裂缝区域准确区分；采用标准化方式，将统一裂缝区域的灰度值和非裂缝区域的灰度值，提高了裂缝区域的特征显著性，实现了裂缝区域的有效提取。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为一种识别不均匀光照下沥青路面图像病害的方法流程示意图；
图2为非均匀光照下的沥青路面提升效果对比示意图，其中a为提升前非均匀光照下的沥青路面图，b为提升后的沥青路面图。
具体实施方式
为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例1、参照图1-图2说明本实施方式，一种非均匀光照下沥青路面检测图像线性裂缝提取方法，包括以下步骤：
S1.获取地面区域图像；
S11. 将路面病害图像进行处理，得到地面区域图像矩阵和光照区域图像矩阵；
S111.将路面病害图像的长度记为a，宽度记为b；
具体的，通过工业相机采集路面病害图像；
S112.将路面病害图像等分为个小图像区域，沿长度方向每段长度为/>，沿宽度方向每段长度为/>；
S113.将路面病害图像由左到右、由上到下依次编号为A1，A2，A3,…，Ai,…，；
S114.对任意一张路面病害图像Ai，以路面病害图像左上角点位坐标原点，向右记为x轴正方向，向下记为y轴正方向；采集路面病害图像的图像矩阵由地面区域和光照区域组成，将路面病害图像的图像矩阵记为，地面区域图像矩阵记为/>，将光照区域图像矩阵记为/>，路面病害图像的图像矩阵、地面区域图像矩阵和光照区域图像矩阵的关系为：/>。
S12.路面采集图像中，地面区域分布在高频分量附近；而光照区域大多分布在低频分量附近，但部分光照会分布于高频分量附近；首先，采用傅里叶变换的方式，通过滤波的方式，提取图像高频分量；然后，在图像高频分量中，通过对图像像素灰度信息的统计规律分析，实现光照区域的去除，提取得到与实际地面信息吻合度较高的地面区域，进而提高路面病害识别准确率；具体的，通过二维离散傅里叶变换，将图像矩阵由时域矩阵转变为频域矩阵/>，确定频率阈值/>，将频域矩阵/>与频率阈值/>进行比较，生成新的频域矩阵/>，将频域矩阵/>转变为时域矩阵；
S121.采用二维离散傅里叶变换，将图像矩阵由时域矩阵转变为频域矩阵/>，具体如下：
；
式中，j为虚数单位，e=0,1,2,…,L-1; f=0,1,2,…,M-1; 其中，L为图像矩阵沿x轴方向的像素数量，M为图像矩阵/>沿y轴方向的像素数量；u为x方向的角频率，v为y方向的角频率；
S122.确定频率阈值，将频域矩阵/>与频率阈值/>进行比较，生成新的频域矩阵/>：
当时，保留对应图像信息，生成新的频域矩阵/>；
当时，删除对应图像信息，生成新的频域矩阵/>；
频率阈值确定方法为：
1.在无光照环境下，采用工业相机采集路面病害图像，图像数量为NUM，采用二维离散傅里叶变换将图像矩阵由时域信息转变为频域信息，并建立频域矩阵PW；
2.在有光照环境下，采用工业相机采集路面病害图像，图像数量也为NUM，采用二维离散傅里叶变换将图像矩阵由时域信息转变为频域信息，并建立频域矩阵PY；
3.计算PW与PY矩阵的差集矩阵PC，
；
PC为光照分布对应的频率矩阵；
4.计算矩阵PC中元素的最大值，该值为频率阈值；
S123.采用傅里叶逆变换，将频域矩阵转变为时域矩阵/>：
；
式中，x=0,1,2,…,L-1；y=0,1,2,…,M-1。
S13.提取图像高频分量，通过图像像素灰度信息，去除光照区域，基于图像灰度信息，消除光照不均匀对图像的干扰，获得消除光照不均匀的图像；
S131.统计时域矩阵中灰度级数量k，将灰度级按照从小大的顺序排列；
S132.将灰度级进行编码，将首个灰度级编码为0，全部灰度级依次编码为0,1,2…,k-1；
S133.记录路面病害图像Ai中每种灰度级j对应像素的数量；
S134.计算各像素值出现的概率：
；
S135.计算图像Ai灰度的累积分布概率：
；
式中，N为灰度级排序值，n依次取值为1,2,3…,k；
S136.将累积分布频率乘以（k-1），将计算结果记为/>，即：采集图像的图像矩阵与地面区域图像矩阵间的转变矩阵：
；
S137.建立采集图像的图像矩阵与地面区域图像矩阵/>的关系：
；
S138.将地面区域图像矩阵转变为图像，依次完成/>个小图像区域中不均匀光照的去除。
地面区域图像矩阵转变为图像，图像为去除不均匀光照后的图像，即实现了图像质量提升。
与整张图像相比，先将图像划分，再进行不均匀光照去除的方法，可避免在考虑图像整体信息过程中，降低图像局部的灰度效果，造成图像不均匀光照区域去除效果差。本发明中，可灵活地将整张图像划分若干子图，针对每个子图进行光照处理，可全面提高图像光照去除效果。
S2.去除图像中不均匀光照的影响后，采用智能识别算法识别路面线性裂缝。其中，算法选用常规的卷积神经网络，首先，选择路面线性裂缝数据集对模型进行训练，确定模型中全部参数，包含网络层数、各层神经元节点数量、学习率、权重、偏置、激活函数、损失函数、卷积核等。采用训练好的卷积神经网络模型，进行图像的智能识别，提取出全部包含线性裂缝的图像；因此，将消除光照不均匀的图像作为训练样本，训练线性裂缝图像识别模型，输出包含线性裂缝的RGB图像，将图像依次编码为AA1-AAn，n为含线性裂缝图像的总数量；
S3.采集图像的类型为RGB图像，而此种图像类型在图像处理过程中，难度较大，因此，本实施例将RGB图像转变为灰度图像，具体方法是：提取RGB图像在R、G、B三个通道的数值，依次记为aa、bb、cc，结合彩色图像与灰度图像间的关系，采用下式计算图像灰度值dd：
；
S4.为了消除背景干扰，将线性裂缝区域和背景区域进行区分，本实施例通过确定线性裂缝区域和背景区域的像素灰度值阈值dt，对两部分区域进行划分，因此，对灰度图像进行线性裂缝区域和背景区域的区分，得到新的二值化图像，将二值化图像依次编码为F1-Fn，n为含线性裂缝图像的总数量；
S41.统计全部图像像素值，确定像素值的分布范围，最小值记为dmin，最大值记为dmax，像素分布范围即为（dmin，dmax）；
S42.设灰度值阈值dt，以灰度值阈值dt为临界点，将像素分布范围划分为两个区间：X区间（dmin，dt）和Y区间（dt，dmax）,统计X区间和Y区间范围内像素的数量n1和n2，并计算X、Y两个区间像素数量在整个图像中的权重ee1和ee2，计算两个区间的平均像素值dc1和dd2，计算X、Y区间图像像素方差E：
；
式中，灰度值阈值dt取值范围为[dmin,dmax]，且像素增加步长为1个像素；
S43.遍历全部灰度值阈值dt，依次得到X、Y区间图像像素方差E，记录方差中最大值Emax，方差对应的灰度值阈值dt为线性裂缝图像背景与线性裂缝区域的临界像素值，将灰度阈值记为dtm。
S44.以灰度阈值dtm为分界点，将图像划分为由像素值0和1组成的二值化图像，其中，灰度值小于dtm的像素点，全部变为0；灰度值大于等于dtm的像素点，像素值变为1。
S5.将二值化图像作为训练样本，训练线性裂缝提取模型，输出图像中的线性裂缝。
本发明解决了从非均匀光照图像中，准确提取路面线性裂缝的问题。裂缝的准确提取，可用于养护人员分析裂缝在道路中的分布，通过统计分析的方式，指导养护决策的制定；同时，发现较为严重的裂缝，需要立即做出预案，防止影响道路行车安全和通行能力。
本实施例的技术原理：
首先，将整张图像进行划分得到若干子图像；其次，针对每张子图像，通过二维离散傅里叶变换，将图像矩阵由时域转变为频域空间，再次，通过滤波的方式，初步消除光照区域的影响；再次，对图像中灰度信息进行统计分析，分析灰度累计分布概率分布特征，计算得到采集图像的图像矩阵与地面区域图像矩阵间的转变矩阵，进而得到地面区域图像矩阵与光照部分图像矩阵。用智能识别算法，实现了裂缝图像的识别和提取。然后，将RGB图像转变为灰度图像；为了消除背景的干扰基于遍历搜索方法确定灰度阈值的方式，实现裂缝区域的提取以及非裂缝区域准确区分；采用标准化方式，将统一裂缝区域的灰度值和非裂缝区域的灰度值，提高了裂缝区域的特征显著性，实现了裂缝区域的提取。本发明通过二维离散傅里叶变换和灰度值变换的方式，实现了两级方式去除不均匀光照的影响；同时，将图像划分为若干子图的方式，可有效避免图像局部灰度变换效果差的问题，可获得更佳的去除效果。
实施例2、本发明的计算机装置可以是包括有处理器以及存储器等装置，例如包含中央处理器的单片机等。并且，处理器用于执行存储器中存储的计算机程序时实现上述的一种非均匀光照下沥青路面检测图像线性裂缝提取方法的步骤。
所称处理器可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
实施例3、计算机可读存储介质实施例
本发明的计算机可读存储介质可以是被计算机装置的处理器所读取的任何形式的存储介质，包括但不限于非易失性存储器、易失性存储器、铁电存储器等，计算机可读存储介质上存储有计算机程序，当计算机装置的处理器读取并执行存储器中所存储的计算机程序时，可以实现上述的一种非均匀光照下沥青路面检测图像线性裂缝提取方法的步骤。
所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (4)

1.一种非均匀光照下沥青路面检测图像线性裂缝提取方法，其特征在于，包括以下步骤：
S1.获取地面区域图像，方法是：
S11.将路面病害图像进行处理，得到地面区域图像矩阵和光照区域图像矩阵，方法是：
S111.获取路面病害图像，将路面病害图像的长度记为a，宽度记为b；
S112.将路面病害图像等分为个小图像区域，沿长度方向每段长度为/>，沿宽度方向每段长度为/>；
S113.将路面病害图像由左到右、由上到下依次编号为A1，A2，A3,…，Ai,…，Ac2；
S114.对任意一张路面病害图像Ai，以路面病害图像左上角点位坐标原点，向右记为x轴正方向，向下记为y轴正方向；采集路面病害图像的图像矩阵由地面区域和光照区域组成，将路面病害图像的图像矩阵记为，地面区域图像矩阵记为/>，将光照区域图像矩阵记为/>，路面病害图像的图像矩阵、地面区域图像矩阵和光照区域图像矩阵的关系为：/>；
S12.将图像矩阵由时域矩阵转变为频域矩阵，确定频率阈值，将频域矩阵与频率阈值进行比较，生成新的频域矩阵，将频域矩阵转变为时域矩阵，方法是：
S121.采用二维离散傅里叶变换，将图像矩阵由时域矩阵转变为频域矩阵，具体如下：
；
式中，j为虚数单位，e=0,1,2,…,L-1；f=0,1,2,…,M-1；其中，L为图像矩阵沿x轴方向的像素数量，M为图像矩阵/>沿y轴方向的像素数量；u为x方向的角频率，v为y方向的角频率；
S122.确定频率阈值，将频域矩阵/>与频率阈值/>进行比较，生成新的频域矩阵/>：
当时，保留对应图像信息，生成新的频域矩阵/>；
当时，删除对应图像信息，生成新的频域矩阵/>；
S123.采用傅里叶逆变换，将频域矩阵转变为时域矩阵/>：
；
式中，x=0,1,2,…,L-1；y=0,1,2,…,M-1；
S13.提取图像高频分量，通过图像像素灰度信息，去除光照区域，基于图像灰度信息，获得消除光照不均匀的图像，方法是：
S131.统计时域矩阵中灰度级数量k，将灰度级按照从小大的顺序排列；
S132.将灰度级进行编码，将首个灰度级编码为0，全部灰度级依次编码为0,1,2…,k-1；
S133.记录路面病害图像Ai中每种灰度级j对应像素的数量；
S134.计算各像素值出现的概率：
；
S135.计算图像Ai灰度的累积分布概率：
；
式中，N为灰度级排序值，n依次取值为1,2,3…,k；
S136.将累积分布频率乘以（k-1），将计算结果记为/>，即：采集图像的图像矩阵与地面区域图像矩阵间的转变矩阵：
；
S137.建立采集图像的图像矩阵与地面区域图像矩阵/>的关系：
；
S138.将地面区域图像矩阵，转变为图像，依次完成/>个小图像区域中不均匀光照的去除；
S2.将消除光照不均匀的图像作为训练样本，训练线性裂缝图像识别模型，输出包含线性裂缝的RGB图像，将图像依次编码为AA1-AAn，n为含线性裂缝图像的总数量；
S3.将RGB图像转变为灰度图像；
S4.对灰度图像进行线性裂缝区域和背景区域的区分，得到新的二值化图像，将二值化图像依次编码为F1-Fn，n为含线性裂缝图像的总数量；
S5.将二值化图像作为训练样本，训练线性裂缝提取模型，输出图像中的线性裂缝。
2.根据权利要求1所述一种非均匀光照下沥青路面检测图像线性裂缝提取方法，其特征在于，对灰度图像进行线性裂缝区域和背景区域的区分，得到新的二值化图像的方法是：
S41.统计全部图像像素值，确定像素值的分布范围，最小值记为dmin，最大值记为dmax，像素分布范围即为（dmin，dmax）；
S42.设灰度值阈值dt，以灰度值阈值dt为临界点，将像素分布范围划分为两个区间：X区间（dmin，dt）和Y区间（dt，dmax）,统计X区间和Y区间范围内像素的数量n1和n2，并计算X、Y两个区间像素数量在整个图像中的权重ee1和ee2，计算两个区间的平均像素值dc1和dc2，计算X、Y区间图像像素方差E：
；
式中，灰度值阈值dt取值范围为[dmin,dmax]，且像素增加步长为1个像素；
S43.遍历全部灰度值阈值dt，依次得到X、Y区间图像像素方差E，记录方差中最大值Emax，方差对应的灰度值阈值dt为线性裂缝图像背景与线性裂缝区域的临界像素值，将灰度阈值记为dtm；
S44.以灰度阈值dtm为分界点，将图像划分为由像素值0和1组成的二值化图像，其中，灰度值小于dtm的像素点，全部变为0；灰度值大于等于dtm的像素点，像素值变为1。
3.一种电子设备，其特征在于，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现权利要求1或2所述的一种非均匀光照下沥青路面检测图像线性裂缝提取方法的步骤。
4.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1或2所述的一种非均匀光照下沥青路面检测图像线性裂缝提取方法。
CN202311336726.8A 2023-10-17 2023-10-17 一种非均匀光照下沥青路面检测图像线性裂缝提取方法 Active CN117079144B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311336726.8A CN117079144B (zh) 2023-10-17 2023-10-17 一种非均匀光照下沥青路面检测图像线性裂缝提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311336726.8A CN117079144B (zh) 2023-10-17 2023-10-17 一种非均匀光照下沥青路面检测图像线性裂缝提取方法

Publications (2)

Publication Number Publication Date
CN117079144A CN117079144A (zh) 2023-11-17
CN117079144B true CN117079144B (zh) 2023-12-26

Family

ID=88717638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311336726.8A Active CN117079144B (zh) 2023-10-17 2023-10-17 一种非均匀光照下沥青路面检测图像线性裂缝提取方法

Country Status (1)

Country Link
CN (1) CN117079144B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011179874A (ja) * 2010-02-26 2011-09-15 East Nippon Expressway Co Ltd 舗装路面のクラックの抽出と損傷レベルの評価方法
CN106124511A (zh) * 2016-05-24 2016-11-16 浙江大学 一种基于自适应亮度回归矫正的水果表面缺陷检测方法
CN110415233A (zh) * 2019-07-26 2019-11-05 东南大学 基于两步卷积神经网络的路面裂缝快速提取方法
CN110765887A (zh) * 2019-09-29 2020-02-07 中国铁路总公司 隧道衬砌裂纹自动识别技术及检测方法
KR20200028776A (ko) * 2018-09-07 2020-03-17 동의대학교 산학협력단 콘크리트 균열 검출에 대한 영상 처리 기법의 향상된 이진화 방법
CN111681181A (zh) * 2020-05-27 2020-09-18 浙江工贸职业技术学院 一种织物表面起球程度的评价方法
CN112307803A (zh) * 2019-07-25 2021-02-02 中国石油天然气股份有限公司 数字地质露头裂缝提取方法及装置
CN115393727A (zh) * 2022-10-31 2022-11-25 深圳市城市交通规划设计研究中心股份有限公司 一种路面线性裂缝识别方法、电子设备及存储介质
KR20230009641A (ko) * 2021-07-09 2023-01-17 한국전력공사 구조물의 균열 탐지 방법
CN116485702A (zh) * 2022-01-17 2023-07-25 株式会社理光 图像处理方法、装置以及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011179874A (ja) * 2010-02-26 2011-09-15 East Nippon Expressway Co Ltd 舗装路面のクラックの抽出と損傷レベルの評価方法
CN106124511A (zh) * 2016-05-24 2016-11-16 浙江大学 一种基于自适应亮度回归矫正的水果表面缺陷检测方法
KR20200028776A (ko) * 2018-09-07 2020-03-17 동의대학교 산학협력단 콘크리트 균열 검출에 대한 영상 처리 기법의 향상된 이진화 방법
CN112307803A (zh) * 2019-07-25 2021-02-02 中国石油天然气股份有限公司 数字地质露头裂缝提取方法及装置
CN110415233A (zh) * 2019-07-26 2019-11-05 东南大学 基于两步卷积神经网络的路面裂缝快速提取方法
CN110765887A (zh) * 2019-09-29 2020-02-07 中国铁路总公司 隧道衬砌裂纹自动识别技术及检测方法
CN111681181A (zh) * 2020-05-27 2020-09-18 浙江工贸职业技术学院 一种织物表面起球程度的评价方法
KR20230009641A (ko) * 2021-07-09 2023-01-17 한국전력공사 구조물의 균열 탐지 방법
CN116485702A (zh) * 2022-01-17 2023-07-25 株式会社理光 图像处理方法、装置以及存储介质
CN115393727A (zh) * 2022-10-31 2022-11-25 深圳市城市交通规划设计研究中心股份有限公司 一种路面线性裂缝识别方法、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于多种算法的高速公路路面裂纹检测分析;陈齐平;肖强;张敏;康盛;刘禹;吴明明;;公路(06);第24-28页 *
基于小波和Radon变换的桥梁裂缝检测;魏武;王俊杰;蔡钊雄;;计算机工程与设计(09);第3151-3157页 *
路面裂缝图像识别算法研究进展;彭博;蒋阳升;;中外公路(06);第42-50页 *

Also Published As

Publication number Publication date
CN117079144A (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
Shi et al. Automatic road crack detection using random structured forests
WO2020224458A1 (zh) 一种基于图像处理的电晕检测方法
CN107507173B (zh) 一种全切片图像的无参考清晰度评估方法及系统
CN113592861B (zh) 一种基于动态阈值的桥梁裂缝检测方法
CN107045634B (zh) 一种基于最大稳定极值区域与笔画宽度的文本定位方法
CN110210477B (zh) 一种数字式仪表读数识别方法
Sun et al. Automated pavement distress detection using advanced image processing techniques
CN109584240B (zh) 滑坡后缘裂缝位移图像识别方法
CN109410205B (zh) 一种复杂路面背景下的裂缝提取方法
CN111738256B (zh) 基于改进分水岭算法的复合材料ct图像分割方法
CN114820625B (zh) 一种汽车顶块缺陷检测方法
CN108416351B (zh) 路面病害区域的确定方法、装置和计算机设备
CN111598104B (zh) 一种车牌字符识别方法及其系统
CN117078738B (zh) 一种线性裂缝宽度计算方法
CN116630813B (zh) 一种公路路面施工质量智能检测系统
CN117036341A (zh) 一种基于图像处理的路面裂缝检测方法
Mustafa et al. Review of different binarization approaches on degraded document images
CN115294527B (zh) 一种基于计算机视觉的地铁隧道破损检测方法
CN117094975A (zh) 钢铁表面缺陷检测方法、装置及电子设备
CN112508913A (zh) 基于图像检测的电缆截面边沿检测方法
CN109815961B (zh) 一种基于局部纹理二值模式的路面修补类病害检测方法
CN117079144B (zh) 一种非均匀光照下沥青路面检测图像线性裂缝提取方法
CN117078737B (zh) 一种线性裂缝长度计算方法
CN115376106A (zh) 基于雷达图的车型识别方法、装置、设备及介质
CN112598638B (zh) 一种基于激光点云数据的路面裂缝检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant