CN116630813A - 一种公路路面施工质量智能检测系统 - Google Patents
一种公路路面施工质量智能检测系统 Download PDFInfo
- Publication number
- CN116630813A CN116630813A CN202310904068.1A CN202310904068A CN116630813A CN 116630813 A CN116630813 A CN 116630813A CN 202310904068 A CN202310904068 A CN 202310904068A CN 116630813 A CN116630813 A CN 116630813A
- Authority
- CN
- China
- Prior art keywords
- sub
- block
- blocks
- pixel
- pixel point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 238000010276 construction Methods 0.000 title claims abstract description 29
- 238000005286 illumination Methods 0.000 claims abstract description 63
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 32
- 230000007547 defect Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008685 targeting Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 8
- 238000012545 processing Methods 0.000 abstract description 6
- 230000008859 change Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域,具体涉及一种公路路面施工质量智能检测系统,包括:获取公路路面灰度图像;获取灰度图像中像素点的梯度幅值和梯度方向;根据梯度变化获取像素点的细节程度;根据像素点的细节程度获取子块优选程度;根据子块优选程度将灰度图像划分若干个子块;根据子块内梯度方向分布获取子块合并必要性;根据子块合并必要性自适应合并子块,得到所有的最优子块;对最优子块进行直方图均衡化,获取增强后的公路路面图像;通过将增强后的图像输入神经网络进行训练,获取公路路面质量情况。本发明解决了对公路路面进行采集时,因受到光照不均匀、噪声和阴影等外界因素的干扰,导致图像质量较差的问题,达到更好的增强效果。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种公路路面施工质量智能检测系统。
背景技术
公路路面施工质量检测是保障道路交通安全和维护道路使用寿命的重要环节。传统的施工质量检测方法主要依靠人工巡检和经验判断,存在人力成本高、检测效率低、判断标准不统一等问题。随着计算机视觉技术的发展,图像处理技术逐渐应用于公路路面施工质量检测中,但目前的方法仍存在着图像噪声干扰、光照不均、阴影等问题,导致检测结果不准确,因此需要对图像进行增强处理。
传统的图像增强方法通常采用直方图均衡化对图像进行增强,但由于在对公路路面进行采集时,常受到光照不均匀、噪声和阴影等外界因素的干扰,导致图像质量较差,而传统基于全局的直方图均衡化的增强方法难以达到较好的增强效果。
发明内容
本发明提供一种公路路面施工质量智能检测系统,以解决现有的问题。
本发明的一种公路路面施工质量智能检测系统采用如下技术方案:
本发明一个实施例提供了一种公路路面施工质量智能检测系统,该系统包括以下步骤:
图像采集模块:获取公路路面灰度图像;
获取子块模块:获取公路路面灰度图像中所有像素点的梯度幅值和梯度方向;获得每个像素点的滑窗;根据每个像素点的滑窗内所有像素点的梯度幅值,构建统计梯度幅值直方图;根据像素点的梯度幅值和统计梯度幅值直方图获取像素点的光照影响系数;根据像素点的光照影响系数获取像素点的光照影响程度;根据像素点的光照影响程度得到像素点的最佳子块大小;根据像素点的最佳子块大小将公路路面灰度图像划分若干个子块;
自适应合并子块模块:根据子块内梯度方向分布获取子块合并必要性;根据子块合并必要性自适应合并子块,得到所有的最优子块;
图像增强模块:通过对所有最优子块进行图像增强得到增强后的公路路面图像;
路面质量检测模块:通过将增强后的图像输入神经网络进行训练,获取公路路面质量情况。
优选的,所述根据像素点的梯度幅值和统计梯度幅值直方图获取像素点的光照影响系数,包括的具体步骤如下:
像素点的光照影响系数的计算表达式为:
式中,表示像素点的光照影响系数;/>表示像素点的梯度幅值;/>表示以像素点为中心点的滑窗中所有像素点的梯度幅值最大值;/>表示以像素点为中心点的滑窗的统计梯度幅值直方图横坐标个数;/>表示以像素点为中心点的滑窗的统计梯度幅值直方图中相邻梯度幅值统计直方图曲线间的斜率。
优选的,所述根据像素点的光照影响系数获取像素点的光照影响程度,包括的具体步骤如下:
对于任意一个像素点,根据像素点的光照影响系数获取该像素点的光照影响程度为:
式中,表示像素点的光照影响程度;/>表示像素点的光照影响系数;/>表示像素点的光照影响系数理论最大值;/>表示子块大小的最大值;/>表示子块大小的最小值。
优选的,所述根据像素点的光照影响程度得到像素点的最佳子块大小,包括的具体步骤如下:
对于任意一个像素点,根据像素点的光照影响程度,由于子块的大小只能为整数且为奇数,则应选择最接近/>的奇数作为该像素点的最佳子块大小。
优选的,所述根据像素点的最佳子块大小将公路路面灰度图像划分若干个子块,包括的具体步骤如下:
对于任意一个像素点,该像素点的最佳子块大小为,则获得以该像素点为中心点的/>的子块,若子块中所有像素点的最佳子块大小相同,则保留该子块,进而完成子块的第一次划分,将该子块记为子块a;然后沿着的子块a的边缘的四个方向继续进行子块的第二次划分,若下一个子块中的像素点的最佳子块大小不同则根据最佳子块大小的占比进行下一个子块大小调整,由于第一子块大小为/>,则第二子块划分开始时也是先圈住/>大小的范围,圈住/>大小的范围记为子块b,若此时子块b内存在多种最佳子块大小值,则选择占比最大的最佳子块大小进行子块扩展,且扩展后的子块的中心像素点与子块a的中心像素点在同一行或者同一列上;由此进行子块的多次划分,直至将公路路面灰度图像划分为若干个不重叠的子块。
优选的,所述根据子块内梯度方向分布获取子块合并必要性,包括的具体步骤如下:
子块合并必要性表达式为:
式中,表示子块合并必要性;/>表示子块中像素点梯度方向的类型数;/>表示子块中所有不同类型的梯度方向的最大频数值;/>表示以自然常数为底数的指数函数;/>表示子块中所有像素点的梯度方向方差。
优选的,所述根据子块合并必要性自适应合并子块,得到所有的最优子块,包括的具体步骤如下:
将所有子块合并必要性大于预设阈值的子块记为目标子块,其余子块记为常规子块;对于目标子块,遍历判断是否存在其他目标子块与其邻接,若不存在邻接,则取消该子块的目标性,将其纳为常规子块;若存在邻接,则先计算邻接目标子块内所有像素点的梯度方向与水平线的余弦相似度,再求所有余弦相似度的平均值/>和该目标子块内所有像素点的梯度方向与水平线的余弦相似度,再求所有余弦相似度的平均值/>;然后判断邻接目标子块与该目标子块间余弦相似度的差异/>,若计算得到两子块间的余弦相似度的差异/>在预设区间/>范围内,则将两子块进行合并,否则不予以操作;将合并后的所有子块记为最优子块,进而得到所有最优子块。
优选的,所述通过将增强后的图像输入神经网络进行训练,获取公路路面质量情况,包括的具体步骤如下:
将增强后的图像输入到训练好的神经网络中进行缺陷分割,根据分割得到的缺陷类型和缺陷大小进行公路路面质量的评估,其评估规则由实施者根据实际情况进行选择,缺陷类型越严重、缺陷越大则对应公路路面质量越差。
本发明的技术方案的有益效果是:本发明通过对采集得到的公路路面图像进行分析,获取图像中的光照影响系数,根据光照影响系数对图像进行预分块,根据分块后子块间的关联程度与子块大小获取子块间的合并必要性,通过合并获取最终的局部子块,通过对局部子块进行均衡化后的子块进行拼接,得到增强后的图像,再对其进行一次全局均衡化,得到对应的增强图像,通过提取图像特征输入神经网络训练,获取公路路面质量情况,由此进行质量检测;进而解决了对公路路面进行采集时,因受到光照不均匀、噪声和阴影等外界因素的干扰,导致图像质量较差的问题,达到更好的增强效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种公路路面施工质量智能检测系统的模块框架图;
图2为本发明一种公路路面施工质量智能检测系统的像素点梯度方向示意图;
图3为本发明一种公路路面施工质量智能检测系统的统计梯度幅值直方图的示意图;
图4为本发明一种公路路面施工质量智能检测系统的子块划分示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种公路路面施工质量智能检测系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种公路路面施工质量智能检测系统的具体方案。
本实施例中采集公路路面灰度图像时,是在户外露天采集的,因此灰度图像的采集质量受环境光照影响比较大,例如图像上有些区域收到的光照比较强,导致图像曝光过度,进而导致这些区域内纹理细节比较少,无法区分出路面的凹凸情况和裂缝分布情况,进而导致无法直接根据灰度图像进行路面施工质量检测和评估;再图像上有些区域收到的光照比较弱,导致图像曝光过少,进而导致这些区域内纹理细节也比较少,依旧无法区分出路面的凹凸情况和裂缝分布情况,进而导致无法直接根据灰度图像进行路面施工质量检测和评估;
为了路面施工质量检测和评估的准确性,需要根据灰度图像上光照的分布和路面细节分布来去除环境光照影响的影响。
进一步考虑到灰度图像不同区域的光照影响有强有弱,因此需要对灰度图像上的局部区域分别进行纹理细节的分析,具体方法是首先获取灰度图像上各个像素点的受光照影响程度,将受光照影响程度相似的像素点进行合并,达到区分受光照影响有强有弱的区域;其次,对这些区域分别增强,达到区分出路面的凹凸情况和裂缝分布情况的目的,得到增强后的灰度图像;最后通过增强的灰度图像准确的检测和评估路面施工质量。
请参阅图1,其示出了本发明一个实施例提供的一种公路路面施工质量智能检测系统的步骤流程图,该系统包括以下模块:
图像采集模块:采集公路路面图像,并对图像进行预处理得到公路路面灰度图像。
具体的,采集公路路面图像,采集时可采用无人机低空飞行进行图像采集,采集的图像中包含公路路面之外的图像,例如绿化带,为了减少无用背景所带来的干扰,采用DNN网络进行语义分割,获取公路路面图像。
DNN网络的相关内容如下:
(1)使用的数据集为本发明所述采集过程获取得到的无人机低空飞行采集得到的公路路面图像数据集,无人机低空飞行采集得到的公路路面图像为多种多样的。
(2)需要分割的像素共分为两类,即训练集对应标签标注过程为:单通道的语义标签,对应位置像素属于背景类的标注为0,属于公路路面图像的标注为1。
网络的任务是分类,所有使用的loss函数为交叉熵损失函数。
将采集的公路路面图像转换为灰度图像,并进行去噪处理,获得处理后的图像,将处理后的图像记为公路路面灰度图像,其中图像去噪技术利用的是高斯滤波,高斯滤波去噪为现有技术,此处不予以详细概述。
至此,获得公路路面灰度图像。
获取子块模块:获取公路路面灰度图像中像素点的梯度幅值和梯度方向;根据梯度变化获取像素点的光照影响系数;根据像素点的光照影响系数获取光照影响程度;根据光照影响程度将公路路面灰度图像划分若干个子块。
1. 构建以每一个像素点为中心像素点的滑窗的统计梯度幅值直方图。
需要说明的是,直方图均衡化在处理光照不均匀的图像时处理效果较差,极易出现直方图分布不均匀和细节丢失的问题,因此在对图像质量较差的图像进行增强时,通常采用局部直方图进行增强。不同子块的大小会影响均衡化的效果,子块越小越可以保留细节,但会导致整体均衡化不平滑,子块越大越可以更好的增强整体对比度,但会导致局部细节丢失。故根据图像像素点的光照影响系数获取光照影响程度,再根据子块间的关联程度或子块合并必要性,从而获取最优子块。
进一步需要说明的是,图像中包含的细节越多,子块越小才能保留足够的细节,图像细节往往体现在图像梯度的变化上,图像梯度变化越剧烈,则对应的光照影响系数越大。
具体的,利用算子计算所有像素点/>,/>方向的梯度/>,则像素点的梯度幅值/>,获取所以像素点的梯度幅值与梯度方向。则该像素点对应的梯度方向为/>。
所述梯度方向,如图2所示。
需要说明的是,在获取得到每一个像素点的梯度幅值与梯度方向后,若像素点的梯度幅值越大,则表示该像素点与其邻域像素点存在较大差异。但像素点的梯度幅值仅仅只能代表其自身与邻域像素点间的差异,若像素点为噪声像素点,则其对应的梯度幅值也较大,但其光照影响系数却较低。通常存在细节的区域细节边缘往往是呈现成片分布的,故建立滑窗,获取窗口范围内像素点梯度分布的变化程度,由此获取目标像素点的光照影响系数。
预设一个参数,其中本实施例以/>例进行叙述,本实施例不进行具体限定,其中/>根据具体实施情况而定。
具体的,以公路路面灰度图像中任意一个像素点为中心像素点建立滑窗,滑窗大小为,进而得到所有以每一个像素点为中心点的滑窗;根据每个滑窗中所有像素点的梯度幅值,构建每个滑窗的统计梯度幅值直方图,其中统计梯度幅值直方图的横轴表示梯度幅值,纵轴表示梯度幅值对应像素点的数量。
至此,得到以每一个像素点为中心像素点的滑窗的统计梯度幅值直方图。
2. 获取公路路面灰度图像中所有像素点的最佳子块大小。
需要说明的是,若滑窗区域位于细节丰富的区域,则该区域中像素点的梯度幅值分布较为离散,即像素点间的梯度幅值相似度较小;若滑窗区域位于细节不丰富的区域,即平坦区域,则该区域中像素点的梯度幅值分布较为集中,即像素点间的梯度幅值相似度较大,则对应的统计直方图中的幅值变化曲线的平均斜率越小,则该区域有可能为细节丰富区域。
具体的,像素点的光照影响系数的计算表达式为:
式中,表示像素点的光照影响系数光照影响系数,像素点的光照影响系数越大,在公路路面灰度图像中该像素点需要增强效果越大;/>表示像素点的梯度幅值;/>表示以像素点为中心点的滑窗中所有像素点的梯度幅值最大值;/>表示以像素点为中心点的滑窗的统计梯度幅值直方图横坐标个数;/>表示以像素点为中心点的滑窗的统计梯度幅值直方图中相邻梯度幅值统计直方图曲线间的斜率,其中相邻梯度幅值统计直方图的横纵坐标均已知,可采用两点式获取斜率,斜率的获取方式为现有技术,此处不予以详细概述。
像素点自身的梯度幅值越大、且以该像素点为中心像素点的滑窗范围内像素点的梯度幅值分布越离散,则该像素点的光照影响系数越大。
统计梯度幅值直方图的示意图如图3所示;左边为平坦区域的统计梯度幅值直方图示意图,右边为细节区域的统计梯度幅值直方图示意图。
预设两个区间参数,其中本实施例以/>例进行叙述,本实施例不进行具体限定,其中/>根据具体实施情况而定。
具体的,本实施例设置子块大小为,其中/>为/>范围内的整数且为奇数;对于任意一个像素点,根据像素点的光照影响系数获取该像素点的光照影响程度为:
式中,表示像素点的光照影响程度;/>表示像素点的光照影响系数;/>表示像素点的光照影响系数理论最大值,理论最大值为1;/>表示子块大小的最大值;/>表示子块大小的最小值。
若对于计算得到的为小数时,由于子块的大小只能为整数且为奇数,则应选择最接近/>的奇数作为该像素点的最佳子块大小;即例如计算得到的/>,8.9位于奇数7和9之间且更靠近9,则子块大小选择9。
至此,获取公路路面灰度图像中所有像素点的最佳子块大小。
3. 将公路路面灰度图像划分为若干个不重叠的子块。
需要说明的是,将公路路面灰度图像中相同光照影响程度的像素点组成的区域记为连通区域,因为灰度图像中会出现具有相同的光照影响程度的像素点,进而可以使用区域生长法获取所有连通区域;需要注意的是,区域生长法针对的图像为光照影响程度值的图像,其中图像大小与灰度图像的大小相同,只是将灰度图像对应像素点位置的值变为光照影响程度的值,且从光照影响程度最小值的连通区域中心开始进行子块划分。
具体的,对于任意一个像素点,该像素点的最佳子块大小为,则获得以该像素点为中心点的/>的子块,若子块中所有像素点的最佳子块大小相同,则保留该子块,进而完成子块的第一次划分,如图4所示的子块a;然后沿着保留的子块的边缘的四个方向继续进行子块的第二次划分,若下一个子块中的像素点的最佳子块大小不同则根据最佳子块大小的占比进行下一个子块大小调整,由于第一子块大小为/>,则第二子块划分开始时也是先圈住/>大小的范围,如图4所示的子块b,若此时圈住的范围内存在多种最佳子块大小值,则选择占比最大的最佳子块大小进行子块扩展,扩展后的子块的中心像素点与子块a的中心像素点在同一行或者同一列上,如图4所示的子块/>。进行子块的多次划分,直至将公路路面灰度图像划分为若干个不重叠的子块。
至此,将公路路面灰度图像划分为若干个不重叠的子块,其中子块的大小均不相同。
自适应合并子块模块:根据子块内梯度方向分布获取子块合并必要性;根据子块合并必要性自适应合并子块,得到所有的最优子块。
1. 获取所有子块的子块合并必要性。
需要说明的是,如果公路路面灰度图像的纹理较为均匀,可以使用较大的子块大小,以减少不必要的算法复杂度。如果公路路面灰度图像存在大量的突然变化或者边缘区域,则应该使用较小的子块大小,以保持边缘处的细节,故根据相邻子块内像素点的梯度方向相似性回去子块合并必要程度,邻接子块中像素点的梯度方向越相似,则合并必要性越高。
进一步需要说明的是,若子块中存在大量的突然变化或者边缘区域,则子块中的梯度方向分布是混乱的,同理若公路路面灰度图像的纹理较为均匀,则图像中梯度方向也呈现均匀分布,即子块中像素点的梯度方向相似度较高;进而可以根据梯度方向的均匀性判断子块是否参与合并。
具体的,子块合并必要性表达式为:
式中,表示子块合并必要性;/>表示子块中像素点梯度方向的类型数;/>表示子块中所有不同类型的梯度方向的最大频数值;/>表示以自然常数为底数的指数函数;/>表示子块中所有像素点的梯度方向方差,即子块中像素点的方向类型越少(方向少代表子块中大量像素点的方向相同)、不同方向间像素点的数量差异越大,则子块的合并必要性越大。
至此,获得所有子块的子块合并必要性。
2. 获取所有最优子块。
预设一个阈值参数,其中本实施例以/>例进行叙述,本实施例不进行具体限定,其中/>根据具体实施情况而定。
预设两个区间参数,其中本实施例以/>例进行叙述,本实施例不进行具体限定,其中/>根据具体实施情况而定。
具体的,将所有子块合并必要性大于预设阈值的子块记为目标子块,其余子块记为常规子块;对于目标子块,遍历判断是否存在其他目标子块与其邻接,若不存在邻接,则取消该子块的目标性,将其纳为常规子块;若存在邻接,则判断邻接目标子块与该目标子块间像素点的方向相似性,方向相似性的计算可由余弦相似度进行计算,首先以水平线作为参考方向,计算子块内所有像素点的梯度方向与水平线的余弦相似度,再求所有余弦相似度的平均值,邻接目标子块也以同样的方式进行计算;余弦相似度分别记为/>,计算两子块间的余弦相似度的差异/>为:/>。
若计算得到两子块间的余弦相似度的差异在预设区间/>范围内,则将两子块进行合并,否则不予以操作;将合并后的所有子块记为最优子块。
至此,获得所有最优子块。
图像增强模块:对最优子块进行直方图均衡化,获取增强后的公路路面图像。
具体的,对灰度图像进行局部直方图均衡化为现有技术,流程如下:
a. 计算最优子块的直方图:对于任意一个最优子块,计算出最优子块内像素值的直方图。
b. 计算累积分布函数(CDF):基于最优子块的直方图,计算像素值的累积分布函数
c. 进行直方图均衡化:使用CDF对最优子块内的像素值进行变换,将像素值映射到新的值,以实现直方图均衡化。
d. 将均衡化后的最优子块替换公路路面灰度图像中的原始子块:将经过直方图均衡化处理的最优子块替换原始公路路面灰度图像中相应的子块。
最终合并所有最优子块:将经过直方图均衡化处理的所有最优子块进行合并,形成经过局部直方图均衡化的最终图像。
将经过局部直方图均衡化的最终图像再次进行全局直方图均衡化,使其视觉效果更好。
至此,得到增强后的公路路面图像。
路面质量检测模块:通过将增强后的图像输入神经网络进行训练,获取公路路面质量情况。具体的,通过对历史采集的公路路面进行标注,用于训练神经网络,DNN网络的相关内容如下:
1、使用的数据集为本发明所述采集过程获取得到的无人机低空飞行采集得到的公路路面图像数据集,无人机低空飞行采集得到的公路路面图像为多种多样的,其中包含各种类型的路面缺陷。
2、需要分割的像素共分为多类,类别数量根据需要提取的缺陷类型确定,即训练集对应标签标注过程为:单通道的语义标签,对应位置像素属于第一类缺陷的标注为1,对应位置像素属于第二类缺陷的标注为2,对应位置像素属于第x类缺陷的标注为x。
网络的任务是分类,所有使用的loss函数为交叉熵损失函数。
将增强后的图像输入到训练好的神经网络中进行缺陷分割,根据分割得到的缺陷类型和缺陷大小进行公路路面质量的评估,其评估规则由实施者根据实际情况进行选择,缺陷类型越严重、缺陷越大则对应公路路面质量越差。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种公路路面施工质量智能检测系统,其特征在于,该系统包括以下模块:
图像采集模块:获取公路路面灰度图像;
获取子块模块:获取公路路面灰度图像中所有像素点的梯度幅值和梯度方向;获得每个像素点的滑窗;根据每个像素点的滑窗内所有像素点的梯度幅值,构建统计梯度幅值直方图;根据像素点的梯度幅值和统计梯度幅值直方图获取像素点的光照影响系数;根据像素点的光照影响系数获取像素点的光照影响程度;根据像素点的光照影响程度得到像素点的最佳子块大小;根据像素点的最佳子块大小将公路路面灰度图像划分若干个子块;
自适应合并子块模块:根据子块内梯度方向分布获取子块合并必要性;根据子块合并必要性自适应合并子块,得到所有的最优子块;
图像增强模块:通过对所有最优子块进行图像增强得到增强后的公路路面图像;
路面质量检测模块:通过将增强后的图像输入神经网络进行训练,获取公路路面质量情况。
2.根据权利要求1所述一种公路路面施工质量智能检测系统,其特征在于,所述根据像素点的梯度幅值和统计梯度幅值直方图获取像素点的光照影响系数,包括的具体步骤如下:
像素点的光照影响系数的计算表达式为:
式中,表示像素点的光照影响系数;/>表示像素点的梯度幅值;/>表示以像素点为中心点的滑窗中所有像素点的梯度幅值最大值;/>表示以像素点为中心点的滑窗的统计梯度幅值直方图横坐标个数;/>表示以像素点为中心点的滑窗的统计梯度幅值直方图中相邻梯度幅值统计直方图曲线间的斜率。
3.根据权利要求1所述一种公路路面施工质量智能检测系统,其特征在于,所述根据像素点的光照影响系数获取像素点的光照影响程度,包括的具体步骤如下:
对于任意一个像素点,根据像素点的光照影响系数获取该像素点的光照影响程度为:
式中,表示像素点的光照影响程度;/>表示像素点的光照影响系数;/>表示像素点的光照影响系数理论最大值;/>表示子块大小的最大值;/>表示子块大小的最小值。
4.根据权利要求1所述一种公路路面施工质量智能检测系统,其特征在于,所述根据像素点的光照影响程度得到像素点的最佳子块大小,包括的具体步骤如下:
对于任意一个像素点,根据像素点的光照影响程度,由于子块的大小只能为整数且为奇数,则应选择最接近/>的奇数作为该像素点的最佳子块大小。
5.根据权利要求1所述一种公路路面施工质量智能检测系统,其特征在于,所述根据像素点的最佳子块大小将公路路面灰度图像划分若干个子块,包括的具体步骤如下:
对于任意一个像素点,该像素点的最佳子块大小为,则获得以该像素点为中心点的的子块,若子块中所有像素点的最佳子块大小相同,则保留该子块,进而完成子块的第一次划分,将该子块记为子块a;然后沿着的子块a的边缘的四个方向继续进行子块的第二次划分,若下一个子块中的像素点的最佳子块大小不同则根据最佳子块大小的占比进行下一个子块大小调整,由于第一子块大小为/>,则第二子块划分开始时也是先圈住/>大小的范围,圈住/>大小的范围记为子块b,若此时子块b内存在多种最佳子块大小值,则选择占比最大的最佳子块大小进行子块扩展,且扩展后的子块的中心像素点与子块a的中心像素点在同一行或者同一列上;由此进行子块的多次划分,直至将公路路面灰度图像划分为若干个不重叠的子块。
6.根据权利要求1所述一种公路路面施工质量智能检测系统,其特征在于,所述根据子块内梯度方向分布获取子块合并必要性,包括的具体步骤如下:
子块合并必要性表达式为:
式中,表示子块合并必要性;/>表示子块中像素点梯度方向的类型数;/>表示子块中所有不同类型的梯度方向的最大频数值;/>表示以自然常数为底数的指数函数;/>表示子块中所有像素点的梯度方向方差。
7.根据权利要求1所述一种公路路面施工质量智能检测系统,其特征在于,所述根据子块合并必要性自适应合并子块,得到所有的最优子块,包括的具体步骤如下:
将所有子块合并必要性大于预设阈值的子块记为目标子块,其余子块记为常规子块;对于目标子块,遍历判断是否存在其他目标子块与其邻接,若不存在邻接,则取消该子块的目标性,将其纳为常规子块;若存在邻接,则先计算邻接目标子块内所有像素点的梯度方向与水平线的余弦相似度,再求所有余弦相似度的平均值/>和该目标子块内所有像素点的梯度方向与水平线的余弦相似度,再求所有余弦相似度的平均值/>;然后判断邻接目标子块与该目标子块间余弦相似度的差异/>,若计算得到两子块间的余弦相似度的差异/>在预设区间/>范围内,则将两子块进行合并,否则不予以操作;将合并后的所有子块记为最优子块,进而得到所有最优子块。
8.根据权利要求1所述一种公路路面施工质量智能检测系统,其特征在于,所述通过将增强后的图像输入神经网络进行训练,获取公路路面质量情况,包括的具体步骤如下:
将增强后的图像输入到训练好的神经网络中进行缺陷分割,根据分割得到的缺陷类型和缺陷大小进行公路路面质量的评估,其评估规则由实施者根据实际情况进行选择,缺陷类型越严重、缺陷越大则对应公路路面质量越差。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310904068.1A CN116630813B (zh) | 2023-07-24 | 2023-07-24 | 一种公路路面施工质量智能检测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310904068.1A CN116630813B (zh) | 2023-07-24 | 2023-07-24 | 一种公路路面施工质量智能检测系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116630813A true CN116630813A (zh) | 2023-08-22 |
CN116630813B CN116630813B (zh) | 2023-09-26 |
Family
ID=87617420
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310904068.1A Active CN116630813B (zh) | 2023-07-24 | 2023-07-24 | 一种公路路面施工质量智能检测系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116630813B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116823811A (zh) * | 2023-08-25 | 2023-09-29 | 汶上县誉诚制衣有限公司 | 一种功能性冲锋衣表面质量检测方法 |
CN117095444A (zh) * | 2023-08-29 | 2023-11-21 | 广州市星飞达电子科技有限公司 | 一种基于人工智能的图像识别方法 |
CN117975374A (zh) * | 2024-03-29 | 2024-05-03 | 山东天意机械股份有限公司 | 一种双皮墙自动化生产线智能视觉监控方法 |
CN118013301A (zh) * | 2024-04-09 | 2024-05-10 | 青岛奥维特智能科技有限公司 | 基于bim的公路桥梁施工信息数字化管理方法 |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120218411A1 (en) * | 2011-02-25 | 2012-08-30 | Guangzhou Sat Infrared Technology Co. Ltd | System and method for road surface defects detection |
CN105069807A (zh) * | 2015-08-28 | 2015-11-18 | 西安工程大学 | 一种基于图像处理的冲压工件缺陷检测方法 |
WO2018000731A1 (zh) * | 2016-06-28 | 2018-01-04 | 华南理工大学 | 一种曲面表面缺陷自动检测方法及其装置 |
CN107610092A (zh) * | 2017-08-01 | 2018-01-19 | 长安大学 | 基于视频流的路面裂缝动态检测方法 |
US20180137612A1 (en) * | 2015-04-27 | 2018-05-17 | Wuhan Wuda Zoyon Science And Technology Co., Ltd. | A stepwise refinement detection method for pavement cracks |
WO2019104767A1 (zh) * | 2017-11-28 | 2019-06-06 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
US20200041284A1 (en) * | 2017-02-22 | 2020-02-06 | Wuhan Jimu Intelligent Technology Co., Ltd. | Map road marking and road quality collecting apparatus and method based on adas system |
CN113066041A (zh) * | 2019-12-27 | 2021-07-02 | 南京理工大学 | 一种基于栈稀疏自编码深度学习的路面裂缝检测方法 |
CN113689428A (zh) * | 2021-10-25 | 2021-11-23 | 江苏南通元辰钢结构制造有限公司 | 基于图像处理的机械零件应力腐蚀检测方法及系统 |
CN114648530A (zh) * | 2022-05-20 | 2022-06-21 | 潍坊医学院 | 一种ct图像处理方法 |
CN115049674A (zh) * | 2022-08-17 | 2022-09-13 | 南通万格环境科技有限公司 | 基于大数据的工业污水处理方法及系统 |
CN115272323A (zh) * | 2022-09-28 | 2022-11-01 | 南通羿云智联信息科技有限公司 | 用于交通工程路面质量检测的数据智能调控采集方法 |
US20230152150A1 (en) * | 2021-11-17 | 2023-05-18 | Nec Laboratories America, Inc | Road surface conditions detection by distributed optic fiber system |
WO2023082418A1 (zh) * | 2021-11-09 | 2023-05-19 | 国网江苏省电力有限公司南通供电分公司 | 基于人工智能技术的电力综合管廊沉降裂缝识别方法 |
WO2023083059A1 (zh) * | 2021-11-15 | 2023-05-19 | 中移(上海)信息通信科技有限公司 | 一种路面缺陷检测方法、装置、电子设备和可读存储介质 |
CN116188462A (zh) * | 2023-04-24 | 2023-05-30 | 深圳市翠绿贵金属材料科技有限公司 | 一种基于视觉鉴定的贵金属质量检测方法及系统 |
-
2023
- 2023-07-24 CN CN202310904068.1A patent/CN116630813B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120218411A1 (en) * | 2011-02-25 | 2012-08-30 | Guangzhou Sat Infrared Technology Co. Ltd | System and method for road surface defects detection |
US20180137612A1 (en) * | 2015-04-27 | 2018-05-17 | Wuhan Wuda Zoyon Science And Technology Co., Ltd. | A stepwise refinement detection method for pavement cracks |
CN105069807A (zh) * | 2015-08-28 | 2015-11-18 | 西安工程大学 | 一种基于图像处理的冲压工件缺陷检测方法 |
WO2018000731A1 (zh) * | 2016-06-28 | 2018-01-04 | 华南理工大学 | 一种曲面表面缺陷自动检测方法及其装置 |
US20200041284A1 (en) * | 2017-02-22 | 2020-02-06 | Wuhan Jimu Intelligent Technology Co., Ltd. | Map road marking and road quality collecting apparatus and method based on adas system |
CN107610092A (zh) * | 2017-08-01 | 2018-01-19 | 长安大学 | 基于视频流的路面裂缝动态检测方法 |
WO2019104767A1 (zh) * | 2017-11-28 | 2019-06-06 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
CN113066041A (zh) * | 2019-12-27 | 2021-07-02 | 南京理工大学 | 一种基于栈稀疏自编码深度学习的路面裂缝检测方法 |
CN113689428A (zh) * | 2021-10-25 | 2021-11-23 | 江苏南通元辰钢结构制造有限公司 | 基于图像处理的机械零件应力腐蚀检测方法及系统 |
WO2023082418A1 (zh) * | 2021-11-09 | 2023-05-19 | 国网江苏省电力有限公司南通供电分公司 | 基于人工智能技术的电力综合管廊沉降裂缝识别方法 |
WO2023083059A1 (zh) * | 2021-11-15 | 2023-05-19 | 中移(上海)信息通信科技有限公司 | 一种路面缺陷检测方法、装置、电子设备和可读存储介质 |
US20230152150A1 (en) * | 2021-11-17 | 2023-05-18 | Nec Laboratories America, Inc | Road surface conditions detection by distributed optic fiber system |
CN114648530A (zh) * | 2022-05-20 | 2022-06-21 | 潍坊医学院 | 一种ct图像处理方法 |
CN115049674A (zh) * | 2022-08-17 | 2022-09-13 | 南通万格环境科技有限公司 | 基于大数据的工业污水处理方法及系统 |
CN115272323A (zh) * | 2022-09-28 | 2022-11-01 | 南通羿云智联信息科技有限公司 | 用于交通工程路面质量检测的数据智能调控采集方法 |
CN116188462A (zh) * | 2023-04-24 | 2023-05-30 | 深圳市翠绿贵金属材料科技有限公司 | 一种基于视觉鉴定的贵金属质量检测方法及系统 |
Non-Patent Citations (4)
Title |
---|
徐志刚;赵祥模;宋焕生;雷涛;韦娜;: "基于直方图估计和形状分析的沥青路面裂缝识别算法", 仪器仪表学报, no. 10 * |
李开端;李树军;: "基于直方图统计学的图像增强算法研究", 科学技术与工程, no. 23 * |
王相龙;胡钊政;穆孟超;陶倩文;张帆;: "基于VGG深度卷积神经网络和空间分布的道路裂纹种类识别", 交通信息与安全, no. 06 * |
苑隆寅;: "基于不规则子块的农作物图像自适应增强算法", 江苏农业科学, no. 03 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116823811A (zh) * | 2023-08-25 | 2023-09-29 | 汶上县誉诚制衣有限公司 | 一种功能性冲锋衣表面质量检测方法 |
CN116823811B (zh) * | 2023-08-25 | 2023-12-01 | 汶上县誉诚制衣有限公司 | 一种功能性冲锋衣表面质量检测方法 |
CN117095444A (zh) * | 2023-08-29 | 2023-11-21 | 广州市星飞达电子科技有限公司 | 一种基于人工智能的图像识别方法 |
CN117095444B (zh) * | 2023-08-29 | 2024-02-13 | 广州市星飞达电子科技有限公司 | 一种基于人工智能的图像识别方法 |
CN117975374A (zh) * | 2024-03-29 | 2024-05-03 | 山东天意机械股份有限公司 | 一种双皮墙自动化生产线智能视觉监控方法 |
CN118013301A (zh) * | 2024-04-09 | 2024-05-10 | 青岛奥维特智能科技有限公司 | 基于bim的公路桥梁施工信息数字化管理方法 |
CN118013301B (zh) * | 2024-04-09 | 2024-06-11 | 青岛奥维特智能科技有限公司 | 基于bim的公路桥梁施工信息数字化管理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116630813B (zh) | 2023-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116630813B (zh) | 一种公路路面施工质量智能检测系统 | |
CN115601367B (zh) | 一种led灯芯缺陷检测方法 | |
CN114723701B (zh) | 基于计算机视觉的齿轮缺陷检测方法和系统 | |
CN107507173B (zh) | 一种全切片图像的无参考清晰度评估方法及系统 | |
CN115829883B (zh) | 一种异性金属结构件表面图像去噪方法 | |
CN110264448B (zh) | 一种基于机器视觉的绝缘子故障检测方法 | |
CN115170576A (zh) | 基于机器视觉的铝管表面缺陷检测方法 | |
CN114219805B (zh) | 一种玻璃缺陷智能检测方法 | |
CN115345885A (zh) | 一种金属健身器材外观质量检测方法 | |
CN117094914B (zh) | 基于计算机视觉的智慧城市道路监控系统 | |
CN116110053B (zh) | 基于图像识别的集装箱表面信息检测方法 | |
CN115439494B (zh) | 用于喷雾机质检的喷雾图像处理方法 | |
CN115131354B (zh) | 一种基于光学手段的实验室用塑料薄膜缺陷检测方法 | |
CN110288571B (zh) | 一种基于图像处理的高铁接触网绝缘子异常检测方法 | |
CN110288618B (zh) | 一种光照不均图像的多目标分割方法 | |
CN114004834B (zh) | 一种图像处理中的雾天情况分析方法、设备及装置 | |
CN117635609B (zh) | 一种塑胶产品生产质量视觉检测方法 | |
CN116385450A (zh) | 基于图像处理的ps片材抗耐磨性检测方法 | |
CN117036341A (zh) | 一种基于图像处理的路面裂缝检测方法 | |
CN117094975A (zh) | 钢铁表面缺陷检测方法、装置及电子设备 | |
CN107516315B (zh) | 一种基于机器视觉的掘进机出渣监测方法 | |
CN116188468A (zh) | 一种hdmi线缆传输分拣智能控制系统 | |
CN113962994B (zh) | 基于图像处理的三连杆上锁销清洁度检测方法 | |
CN117541582B (zh) | 一种高频变频器igbt绝缘质量检测方法 | |
CN111738931A (zh) | 光伏阵列无人机航拍图像的阴影去除算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |