CN116758508A - 基于像素差异扩大处理的路面标线检测方法、系统及终端 - Google Patents
基于像素差异扩大处理的路面标线检测方法、系统及终端 Download PDFInfo
- Publication number
- CN116758508A CN116758508A CN202311041033.6A CN202311041033A CN116758508A CN 116758508 A CN116758508 A CN 116758508A CN 202311041033 A CN202311041033 A CN 202311041033A CN 116758508 A CN116758508 A CN 116758508A
- Authority
- CN
- China
- Prior art keywords
- pixel
- pixel value
- pavement
- image data
- reconstructed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 238000003709 image segmentation Methods 0.000 claims abstract description 22
- 238000009826 distribution Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000011218 segmentation Effects 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 5
- 238000007689 inspection Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000011176 pooling Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 7
- 238000000605 extraction Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000002352 surface water Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了基于像素差异扩大处理的路面标线检测方法、系统及终端,涉及图像识别技术领域,其技术方案要点是:获取目标路段的路面图像数据;对路面图像数据中的像素值差异进行扩大处理,得到重构路面图像数据;将重构路面图像数据预处理后输入预构建的图像分割识别模型,分割识别得到对路面图像数据进行路面标线检测的识别结果。本发明通过对路面图像数据中的像素值差异进行扩大处理,强化路面图像中的整体边界轮廓分布的情况,使得在恶劣环境下所采集的路面图像中如裂缝、遮挡物之类的局部轮廓更容易被识别,从而使得图像分割更为精准,提高了道路检测的准确性。
Description
技术领域
本发明涉及图像识别技术领域,更具体地说,它涉及基于像素差异扩大处理的路面标线检测方法、系统及终端。
背景技术
路面标线作为道路交通安全的重要标识物,为了实现车辆的智能驾驶,或是为驾驶员提供辅助驾驶功能,例如:车道保持功能,或是跟踪路面标线驾驶功能,都需要在道路图像中识别路面标线,为智能驾驶或是辅助驾驶提供车辆位于道路上的空间位置信息,以便控制系统对车辆进行辅助控制。因此,对路面标线进行定期的检测维护是必要的。
目前,基于深度学习的道路标线检测方法在道路检测中广泛应用,而为了进一步提升道路检测的识别准确性,普遍的研究方向主要是在于对道路检测识别模型的内部结构和参数进行优化,随着道路检测识别模型不断优化,其能够提升程度有限。而道路检测的道路检测不仅仅受道路检测识别模型的性能影响,还受所采集图像的清晰度有关。然而,受到车辆轮胎磨损、灰尘遮盖、强光反射、路面积水等因素影响,易导致所采集的路面图像中标线部位与路面部位之间的像素值差异较小,无法清楚体现出轮廓,在此情况下,路面积水边缘、裂缝、遮挡物均容易导致道路检测识别错误,尤其是在图像采集环境较为恶劣的情况下,其道路检测的准确性更低。
因此,如何研究设计一种能够克服上述缺陷的基于像素差异扩大处理的路面标线检测方法、系统及终端是我们目前急需解决的问题。
发明内容
为解决现有技术中的不足,本发明的目的是提供基于像素差异扩大处理的路面标线检测方法、系统及终端,通过对路面图像数据中的像素值差异进行扩大处理,强化路面图像中的整体边界轮廓分布的情况,使得在恶劣环境下所采集的路面图像中如裂缝、遮挡物之类的局部轮廓更容易被识别,从而使得图像分割更为精准,提高了道路检测的准确性。
本发明的上述技术目的是通过以下技术方案得以实现的:
第一方面,提供了基于像素差异扩大处理的路面标线检测方法,包括以下步骤:
获取目标路段的路面图像数据;
对路面图像数据中的像素值差异进行扩大处理,得到重构路面图像数据;
将重构路面图像数据预处理后输入预构建的图像分割识别模型,分割识别得到对路面图像数据进行路面标线检测的识别结果。
进一步的,所述对路面图像数据中的像素值差异进行扩大处理的过程具体为:
选取一个像素点作为目标像素点;
以目标像素点为中心选取一个由k×k个像素点排列的目标区域,k取值为奇数;
分别计算目标区域中各个像素点对目标像素点的像素值增量;
以目标区域中各个像素点所对应的像素值增量之和计算得到目标像素点的总像素值增量;
根据目标像素点的初始像素值与总像素值增量之和确定目标像素点经像素值差异扩大处理后的重构像素值。
进一步的,若所述目标区域中像素点的像素值比目标像素点的初始像素值大,则对应的像素值增量为负值;若目标区域中像素点的像素值比目标像素点的初始像素值小,则对应的像素值增量为正值。
进一步的,所述像素值增量的计算公式具体为:
;
其中,表示目标区域中像素点/>对目标像素点/>的像素值增量;/>表示目标像素点/>的初始像素值;/>表示像素点的像素值。
进一步的,所述重构像素值的计算公式具体为:
;
其中,表示目标像素点/>的重构像素值;/>表示目标区域中像素点对目标像素点/>的像素值增量;/>表示目标像素点/>的初始像素值。
进一步的,所述重构路面图像数据的预处理过程具体为:
将重构路面图像数据中的各个重构像素值均转换成非负值;
将转换后的重构像素值进行归一化处理,得到分布区间为[0,1]的像素值。
进一步的,所述重构像素值转换成非负值的公式为:
;
其中,表示目标像素点/>转换后的重构像素值;/>表示目标像素点的重构像素值;/>表示所有目标像素点的重构像素值。
进一步的,所述图像分割识别模型以卷积网络U-Net为基线,在提取图像特征信息的每个编码阶段实施残差连接,并在恢复图像特征信息的解码阶段实时跳转连接与注意力机制。
第二方面,提供了基于像素差异扩大处理的路面标线检测系统,包括:
图像采集模块,用于获取目标路段的路面图像数据;
图像重构模块,用于对路面图像数据中的像素值差异进行扩大处理,得到重构路面图像数据;
标线识别模块,用于将重构路面图像数据预处理后输入预构建的图像分割识别模型,分割识别得到对路面图像数据进行路面标线检测的识别结果。
第三方面,提供了一种计算机终端,包含存储器、处理器及存储在存储器并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一方面中任意一项所述的基于像素差异扩大处理的路面标线检测方法。
与现有技术相比,本发明具有以下有益效果:
1、本发明提供的基于像素差异扩大处理的路面标线检测方法,通过对路面图像数据中的像素值差异进行扩大处理,强化路面图像中的整体边界轮廓分布的情况,使得在恶劣环境下所采集的路面图像中如裂缝、遮挡物之类的局部轮廓更容易被识别,从而使得图像分割更为精准,提高了道路检测的准确性;
2、本发明在进行像素值差异扩大处理时,基于能量转移的原理,依据目标像素点四周像素点的像素值对处于中心位置的目标像素点进行强化处理,在突出体现相邻像素点之间的差异情况下,不改变整体图像中像素点的分布趋势,增强了像素值差异扩大处理的可靠性;
3、本发明在通过卷积神经网络构建模型时,以卷积网络U-Net为基线,在提取图像特征信息的每个编码阶段实施残差连接,避免发生网络退化问题,并在恢复图像特征信息的解码阶段实时跳转连接与注意力机制,使得该网络可以兼顾全局信息的构建,并且在一定程度上提高了网络构建边缘信息的能力,使得图像分割识别模型能够适应轮廓更为突出的重构路面图像数据,从而实现道路路面标线的高精度识别。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解,构成本申请的一部分,并不构成对本发明实施例的限定。在附图中:
图1是本发明实施例1中的流程图;
图2是本发明实施例1中图像分割识别模型的整体结构示意图;
图3是本发明实施例1中编码结构的示意图;
图4是本发明实施例1中解码结构的示意图;
图5是本发明实施例1中RFB模块的示意图;
图6是本发明实施例1中CBAM模块的示意图,A为CAM,B为SAM,C为CBAM;
图7是本发明实施例1中SE模块的示意图;
图8是本发明实施例3中的系统框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明作进一步的详细说明,本发明的示意性实施方式及其说明仅用于解释本发明,并不作为对本发明的限定。
为了更好地描述本申请及其实施例,将后续可能出现的专业术语进行先行解释:
Convk×k (stride=s):表示进行卷积核大小为k、步长为s的二维卷积操作;
BN:全称“BatchNormalization”,标准正则化处理的一种方式,使进行卷积以后的图片featuremaps满足均值为0,方差为1的分布规律;
featuremaps:表示原始输入图片经卷积等操作后得到的特征输出;
ReLU:激活函数的一种,利用兼具线性与非线性的特性,提供更灵敏的激活和输入,避免饱和;
图片尺寸(H, W, C):H表示图片高、W表示图片宽、C表示图片的通道数;
Add:将两个featuremaps的特征矩阵进行元素相加,得到新的featuremaps (要求两个featuremaps的H、W、C相等);
Lambda x:x :表示输入与输出的featuremaps相同,即直接利用输入featuremaps;
Max-poolingk×k:表示进行池化核大小为k、步长为k的最大池化下采样操作,即取featuremaps特征矩阵的k×k小区域中的最大值作为新featuremaps的特征矩阵的值,此时新featuremaps的尺寸由 (H, W, C) 变为 (H/2, W/2, C),特别地,池化层无参数;
Global Average Pooling:对整个featuremaps进行均值池化(H, W, C),形成一个特征点(1, 1, C),即将featuremaps所有像素值相加求平均值,用该平均值表示对应featuremaps;
Global Max Pooling:对整个featuremaps进行最大值池化(H, W, C),形成一个特征点(1, 1, C),即用featuremaps所有像素值中的最大值表示对应featuremaps;
Dense:通过矩阵向量乘积,将一个特征空间线性变换到另一个特征空间;
Conv-Transpose k×k (stride=s):表示进行卷积核大小为k、步长为s的转置卷积操作;
Concatenate:将两个feature maps进行叠加,得到新的featuremaps(要求两个featuremaps的H、W相等,得到新featuremaps的C为两者C之和);
Up-sampling k×k:表示进行双线性上采样k倍操作,使输出featuremaps的尺寸由 (H, W, C) 变为 (k×H, k×W, C),即高宽扩大k倍;
Sigmoid:激活函数的一种,利用其S形曲线的特性,使模型经编码-解码后最终得到的概率值在(0, 1)之间,预测更准确。
实施例1:基于像素差异扩大处理的路面标线检测方法,如图1所示,包括以下步骤:
步骤S1:获取目标路段的路面图像数据;
步骤S2:对路面图像数据中的像素值差异进行扩大处理,得到重构路面图像数据;
步骤S3:将重构路面图像数据预处理后输入预构建的图像分割识别模型,分割识别得到对路面图像数据进行路面标线检测的识别结果。
对路面图像数据中的像素值差异进行扩大处理的过程具体为:选取一个像素点作为目标像素点;以目标像素点为中心选取一个由k×k个像素点排列的目标区域;分别计算目标区域中各个像素点对目标像素点的像素值增量;以目标区域中各个像素点所对应的像素值增量之和计算得到目标像素点的总像素值增量;根据目标像素点的初始像素值与总像素值增量之和确定目标像素点经像素值差异扩大处理后的重构像素值。
考虑到像素值差异扩大处理的对称性,k取值为奇数,如取值为3、5;若不考虑像素值差异扩大处理的对称性的情况下,k还可以取值为偶数,例如取值为4。
需要说明的是,若所述目标区域中像素点的像素值比目标像素点的初始像素值大,则对应的像素值增量为负值;若目标区域中像素点的像素值比目标像素点的初始像素值小,则对应的像素值增量为正值。
一般情况下,目标区域中像素点的像素值与目标像素点的初始像素值之间差值的绝对值越大,则对应像素值增量的绝对值越大,所以可以采用线性函数对像素值增量进行计算,也可以采用其他符合上述条件的方式进行计算。
在本实施例中,选取3×3个像素点排列的目标区域展开像素值差异扩大处理,对应像素值增量的j计算公式具体为:
;
其中,表示目标区域中像素点/>对目标像素点/>的像素值增量;/>表示目标像素点/>的初始像素值;/>表示像素点的像素值。
重构像素值的计算公式具体为:
;
其中,表示目标像素点/>的重构像素值;/>表示目标区域中像素点对目标像素点/>的像素值增量;/>表示目标像素点/>的初始像素值。
例如,若一个3×3个像素点排列的目标区域的像素值分布如下:
。
那么目标区域中其他像素点相对于目标像素点的像素值增量如下:
。
目标像素点的重构像素值为:
。
需要说明的是,对于存在小数的像素值,可以采用四舍五入的方式去除小数,所以最终目标像素点的重构像素值为:
。
在本实施例中,重构路面图像数据的预处理过程具体为:考虑到后续归一化处理,所以需要将重构路面图像数据中的各个重构像素值均转换成非负值;将转换后的重构像素值进行归一化处理,得到分布区间为[0,1]的像素值。
作为一种可选的实施方式,重构像素值转换成非负值的公式为:
;
其中,表示目标像素点/>转换后的重构像素值;/>表示目标像素点的重构像素值;/>表示所有目标像素点的重构像素值。
需要说明的是,在重构像素值均转换成非负值时,也可以选取比所有目标像素点中最小的重构像素值更小的值,在此不受限制。
图像分割识别模型以卷积网络U-Net为基线,在提取图像特征信息的每个编码阶段实施残差连接,并在恢复图像特征信息的解码阶段实时跳转连接与注意力机制。
图像分割识别模型包括编码部分与解码部分,如图2所示,其训练过程包含以下步骤。
Step 1,对路面图像数据进行特征提取(编码行为):本发明模型的编码结构如图3所示,为了便于描述,从上到下依次以编码层1、编码层2、编码层3、编码层4、编码层5命名。编码结构共有15个卷积层和4个池化层(不考虑RFB模块),编码结构参数为25,760,576;此外,每次减小特征图(H, W)时均设置了一个残差连接(Shortcut connection),以避免模型发生梯度消失/爆炸等问题。
Step 11,加载并读取2D路面图片和与之匹配的真值图片于模型解码结构中,通过两次“Conv 3×3 (stride=2) + BN + ReLU”的操作对输入图片进行初步特征提取。原始输入图片尺寸由(256, 512, 3),输出feature maps尺寸变为(64, 128, 64),记作“featuremaps1”;
Step 12,对“feature maps1”先进行两次“Conv 3×3 (stride=1) + BN + ReLU”操作,得到feature maps2_0,然后将feature maps2_0与feature maps1进行“Add”操作,得到feature maps2_1,再对feature maps2_1进行“Max-pooling 2×2”操作得到新的输出。输出feature maps尺寸变为(32, 64, 128),记作“feature maps2”;
Step 13,先对“feature maps2”进行一次“Conv 1×1 (stride=1) + BN + ReLU”操作,得到feature maps3_0,再对feature maps3_0进行两次“Conv 3×3 (stride=1) +BN + ReLU”操作,得到feature maps3_1,然后将feature maps3_1与feature maps3_0进行“Add”操作,得到新的feature maps3_2,再对feature maps3_2进行“Max-pooling 2×2”操作得到新的输出。输出feature maps尺寸变为(16, 32, 256),记作“feature maps3”;
Step 14,重复两次Step 13步骤,依次得到“feature maps4”、“feature maps5”,相应输出feature maps尺寸为(8, 16, 512)、(4, 8, 1024);
Step 15,对“feature maps5”进行两次“Conv 3×3 (stride=1) + BN + ReLU”操作,得到feature maps6_0,然后将feature maps6_0喂入“RFB”模块,利用其特有的扩展感受野机制对上述输入进行特征细化提取,并总结特征表示,得到新的输出。至此,编码阶段结束,即完成输入路面图片的特征提取任务。此时,输出feature maps尺寸变为(4, 8,1024),记作“feature maps6”,自此,完成对路面图像数据的特征提取(编码行为)。
Step 2,对所提取的特征进行解码得到最终图像分割识别模型(解码行为):本发明模型的解码结构如图4所示,为了便于描述,从下到上依次以解码层1、解码2、解码层3、解码层4、解码层5命名,每个解码层对应一个编码层。编码结构共有9个卷积层、4个转置卷积层和1个上采样层(不考虑CBAM模块、SE模块),解码结构参数为16,206,563;此外,每次增大特征图(H, W)时均进行与对应编码层的跳转连接操作,并在解码末端利用注意力机制以获取更多对象(标线)细节特征信息;
Step 21,将“feature maps6”喂入“CBAM”模块,得到feature maps7;具体而言,通过先后使用“CBAM”模块特有的通道注意力模块和空间注意力模块,计算feature maps6的通道特征与空间特征权重,以进一步增强网络自适应特征细化,恢复更多对象(标线)局部细节;
Step 22,对“feature maps7”进行“Conv-Transpose 3×3 (stride=2) + BN +ReLU”操作,得到feature maps8_0,然后将feature maps8_0和feature maps4_2进行“Concatenate”操作,得到feature maps8_1,然后对feature maps8_1进行两次“Conv 3×3(stride=1) + BN + ReLU”,得到新的特征映射输出。输入feature maps的尺寸为(8, 16,512),记作“feature maps8”;
Step 23,重复三次Step 22步骤,依次得到“feature map9”、“feature maps10”、“feature maps11”, 相应输出feature maps尺寸为(16, 32, 256)、(32, 64, 128)、(64,128, 64);
Step 24,对“feature maps11”进行Up-sampling 4×4操作,逐渐恢复到与原始路面图片输入相同(H, W),得到“feature maps12”。输出feature maps的尺寸为(256, 512,64);
Step 25,将“feature maps12”喂入SE模块,让模型自适应提高重要通道信息特征权重,然后通过“Conv 1×1 (stride=1)”操作来调整通道数,此时feature maps的尺寸为(256, 512, 1);
Step 3,对Step 25的feature maps进行“Sigmoid”激活函数处理,得到一个值在(0,1)的权重值,然后基于归一二值化处理后的路面真值数据不断的反向传播训练网络直到获得最优权重矩阵,最终基于最优权重矩阵得到图像分割识别模型。
具体地,Step 15中使用的RFB模块结构如图5所示。RFB是一种常用的扩展featuremaps感受野的模型,由具有不同内核的多分支卷积层和具有不同膨胀率的尾部膨胀卷积层组成。其处理步骤为:(1) 在各个分支中进行“Conv 1×1 (stride=1) + BN + ReLU”来减少输入特征映射的通道数,以聚集信息,然后对前三个分支并行执行一系列卷积和扩张卷积操作; (2) 对前三个分支进行“Concatenate”,然后进行“Conv 1×1 (stride=1) +BN”,逐渐恢复到与原始feature maps输入相同(H, W); (3) 将上述输出与“Shortcut”输出进行“Add”操作,最后再经过“ReLU”激活函数处理,输出结果;
具体地,Step 21中使用的CBAM模块结构如图6所示。CBAM由两个子模型 (即通道注意力模块和空间注意力模块) 组成,其处理步骤为:(1) 使用CAM提取每个输入featuremaps 的通道注意力特征/>,然后对/>和/>通过元素乘法操作输出新的注意力feature maps/>;(2) 将/>输入SAM,并通过SAM获得空间注意力feature maps/>; (3)对/>和/>通过元素乘法操作输出最终细化的feature maps。此外,CAM和SAM模型结构详见图4,不再赘述;
具体地,Step 25中使用的SE模块结构如图7所示。SE是一种让网络更加关注目标物体的注意力机制,它可以有助于完成最后全局信息的构建以及边缘细节信息的恢复,其处理步骤为:(1) 对输入的feature maps执行Global Average Pooling,得到当前featuremaps的全局压缩特征向量(一维的目标向量); (2) 通过两个全连接Dense层得到featuremaps中每个通道的权值; (3) 将输入feature maps的每个通道分别乘以上述各自通道对应的权重值,得到加权后的feature maps,作为最终输出。
在网络不断的反向传播训练中,非目标像素的权重就会逐渐变小,而目标物体像素的权重就会逐渐增加,直到达到一个最优的权重矩阵。Dice Loss是用于监测网络识别的结果和路面真值图像之间重合度的损失函数,损失函数的值越小,代表网络识别的结果和路面真值图像越接近。
本发明在原版U-Net的编解码结构的基础上,融入了残差连接和注意力机制,即重新设计了编码与解码结构;在编码结构中,针对每一个编码层都添加了额外的残差连接,并在下采样前进行“Add”操作,以帮助网络获得更多的目标信息,同时也避免网络因过深而产生梯度消失、爆炸等问题的发生;此外,在特征提取末端,额外引入RFB和CBAM模块,以增大网络的感受野与减少通道及空间噪声的影响,帮助网络更多关注于值得被关注的对象特征;在解码过程中,通过跳转连接,将编码阶段与解码阶段的相同大小的特征映射进行“Concatenate”操作,以帮助网络恢复更多原始特征信息,同时在解码末端利用了SE模块的注意力机制对每个像素进行一一的权重分配,并在不断的优化训练中,找到最佳的权重矩阵,获得最优的分割结果SE注意力机制的加入弥补了现有的一些卷积神经网络算法由于图像噪声的存在所造成的目标定位不准确。
实施例2:本实施例基于传统的high-resolution network (HRNet)算法模型、DeepLabv3+算法模型、SegNet算法模型、U-Net算法模型、上述实施例的图像分割识别模型以及结合上述实施例的图像分割识别模型与像素值差异扩大处理后的图像对1000张实测的路面图像数据进行测试,各个算法网络的指标表现如表1所示:
表1 各个算法网络的指标数据
其中指标采用了目前智能算法领域最具代表性的四个指标,即召回率、精确率、F-measure和交并比IOU,其得分数值越大,说明算法模型的泛化能力和性能越优,具体计算如下:
;
;
;
;
其中,TP为真阳性数量、FP为假阳性数量、FN为假阴性数量,当预测图片某一像素值大于等于0.5时,预测结果为标线,否则视为背景。
值得一提的是,指标是/>和/>的调和平均数可以更加综合的反应算法网络的性能优异。从上表可以看出,和目前主流的网络模型:HRNet、DeepLabv3+、SegNet、U-Net相比,本发明提出的图像分割识别模型在标线的识别上具有明显的优势,且结合图像差异扩大处理后的效果更好。
实施例3:基于像素差异扩大处理的路面标线检测系统,该系统用于实现实施例1中所记载的基于像素差异扩大处理的路面标线检测方法,如图8所示,包括图像采集模块、图像重构模块和标线识别模块。
其中,图像采集模块,用于获取目标路段的路面图像数据;图像重构模块,用于对路面图像数据中的像素值差异进行扩大处理,得到重构路面图像数据;标线识别模块,用于将重构路面图像数据预处理后输入预构建的图像分割识别模型,分割识别得到对路面图像数据进行路面标线检测的识别结果。
工作原理:本发明通过对路面图像数据中的像素值差异进行扩大处理,强化路面图像中的整体边界轮廓分布的情况,使得在恶劣环境下所采集的路面图像中如裂缝、遮挡物之类的局部轮廓更容易被识别,从而使得图像分割更为精准,提高了道路检测的准确性;此外,在进行像素值差异扩大处理时,基于能量转移的原理,依据目标像素点四周像素点的像素值对处于中心位置的目标像素点进行强化处理,在突出体现相邻像素点之间的差异情况下,不改变整体图像中像素点的分布趋势,增强了像素值差异扩大处理的可靠性;
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.基于像素差异扩大处理的路面标线检测方法,其特征是,包括以下步骤:
获取目标路段的路面图像数据;
对路面图像数据中的像素值差异进行扩大处理,得到重构路面图像数据;
将重构路面图像数据预处理后输入预构建的图像分割识别模型,分割识别得到对路面图像数据进行路面标线检测的识别结果。
2.根据权利要求1所述的基于像素差异扩大处理的路面标线检测方法,其特征是,所述对路面图像数据中的像素值差异进行扩大处理的过程具体为:
选取一个像素点作为目标像素点;
以目标像素点为中心选取一个由k×k个像素点排列的目标区域,k取值为奇数;
分别计算目标区域中各个像素点对目标像素点的像素值增量;
以目标区域中各个像素点所对应的像素值增量之和计算得到目标像素点的总像素值增量;
根据目标像素点的初始像素值与总像素值增量之和确定目标像素点经像素值差异扩大处理后的重构像素值。
3.根据权利要求2所述的基于像素差异扩大处理的路面标线检测方法,其特征是,若所述目标区域中像素点的像素值比目标像素点的初始像素值大,则对应的像素值增量为负值;若目标区域中像素点的像素值比目标像素点的初始像素值小,则对应的像素值增量为正值。
4.根据权利要求2所述的基于像素差异扩大处理的路面标线检测方法,其特征是,所述像素值增量的计算公式具体为:
;
其中,表示目标区域中像素点/>对目标像素点/>的像素值增量;/>表示目标像素点/>的初始像素值;/>表示像素点/>的像素值。
5.根据权利要求2所述的基于像素差异扩大处理的路面标线检测方法,其特征是,所述重构像素值的计算公式具体为:
;
其中,表示目标像素点/>的重构像素值;/>表示目标区域中像素点对目标像素点/>的像素值增量;/>表示目标像素点/>的初始像素值。
6.根据权利要求1所述的基于像素差异扩大处理的路面标线检测方法,其特征是,所述重构路面图像数据的预处理过程具体为:
将重构路面图像数据中的各个重构像素值均转换成非负值;
将转换后的重构像素值进行归一化处理,得到分布区间为[0,1]的像素值。
7.根据权利要求6所述的基于像素差异扩大处理的路面标线检测方法,其特征是,所述重构像素值转换成非负值的公式为:
;
其中,表示目标像素点/>转换后的重构像素值;/>表示目标像素点/>的重构像素值;/>表示所有目标像素点的重构像素值。
8.根据权利要求1所述的基于像素差异扩大处理的路面标线检测方法,其特征是,所述图像分割识别模型以卷积网络U-Net为基线,在提取图像特征信息的每个编码阶段实施残差连接,并在恢复图像特征信息的解码阶段实时跳转连接与注意力机制。
9.基于像素差异扩大处理的路面标线检测系统,其特征是,包括:
图像采集模块,用于获取目标路段的路面图像数据;
图像重构模块,用于对路面图像数据中的像素值差异进行扩大处理,得到重构路面图像数据;
标线识别模块,用于将重构路面图像数据预处理后输入预构建的图像分割识别模型,分割识别得到对路面图像数据进行路面标线检测的识别结果。
10.一种计算机终端,包含存储器、处理器及存储在存储器并可在处理器上运行的计算机程序,其特征是,所述处理器执行所述程序时实现如权利要求1-8中任意一项所述的基于像素差异扩大处理的路面标线检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311041033.6A CN116758508B (zh) | 2023-08-18 | 2023-08-18 | 基于像素差异扩大处理的路面标线检测方法、系统及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311041033.6A CN116758508B (zh) | 2023-08-18 | 2023-08-18 | 基于像素差异扩大处理的路面标线检测方法、系统及终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116758508A true CN116758508A (zh) | 2023-09-15 |
CN116758508B CN116758508B (zh) | 2024-01-12 |
Family
ID=87951858
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311041033.6A Active CN116758508B (zh) | 2023-08-18 | 2023-08-18 | 基于像素差异扩大处理的路面标线检测方法、系统及终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116758508B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5944598A (en) * | 1996-08-23 | 1999-08-31 | Her Majesty The Queen In Right Of Canada As Represented By The Department Of Agriculture | Method and apparatus for using image analysis to determine meat and carcass characteristics |
US7079281B1 (en) * | 2000-08-01 | 2006-07-18 | Eastman Kodak Company | Edge enhancement processor and method with adjustable threshold setting |
US20190228529A1 (en) * | 2016-08-26 | 2019-07-25 | Hangzhou Hikvision Digital Technology Co., Ltd. | Image Segmentation Method, Apparatus, and Fully Convolutional Network System |
CN113379695A (zh) * | 2021-06-01 | 2021-09-10 | 大连海事大学 | 局部特征差异性耦合的sar图像近岸舰船检测方法 |
CN113705501A (zh) * | 2021-09-02 | 2021-11-26 | 浙江索思科技有限公司 | 一种基于图像识别技术的海上目标检测方法和系统 |
CN115496925A (zh) * | 2022-08-25 | 2022-12-20 | 北京极感科技有限公司 | 图像处理方法、设备、存储介质及程序产品 |
CN115546768A (zh) * | 2022-12-01 | 2022-12-30 | 四川蜀道新能源科技发展有限公司 | 基于多尺度机制和注意力机制的路面标线识别方法及系统 |
CN116029980A (zh) * | 2022-11-18 | 2023-04-28 | 武汉科技大学 | 一种基于改进SegNet的沥青路面损坏检测及评估方法 |
-
2023
- 2023-08-18 CN CN202311041033.6A patent/CN116758508B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5944598A (en) * | 1996-08-23 | 1999-08-31 | Her Majesty The Queen In Right Of Canada As Represented By The Department Of Agriculture | Method and apparatus for using image analysis to determine meat and carcass characteristics |
US7079281B1 (en) * | 2000-08-01 | 2006-07-18 | Eastman Kodak Company | Edge enhancement processor and method with adjustable threshold setting |
US20190228529A1 (en) * | 2016-08-26 | 2019-07-25 | Hangzhou Hikvision Digital Technology Co., Ltd. | Image Segmentation Method, Apparatus, and Fully Convolutional Network System |
CN113379695A (zh) * | 2021-06-01 | 2021-09-10 | 大连海事大学 | 局部特征差异性耦合的sar图像近岸舰船检测方法 |
CN113705501A (zh) * | 2021-09-02 | 2021-11-26 | 浙江索思科技有限公司 | 一种基于图像识别技术的海上目标检测方法和系统 |
CN115496925A (zh) * | 2022-08-25 | 2022-12-20 | 北京极感科技有限公司 | 图像处理方法、设备、存储介质及程序产品 |
CN116029980A (zh) * | 2022-11-18 | 2023-04-28 | 武汉科技大学 | 一种基于改进SegNet的沥青路面损坏检测及评估方法 |
CN115546768A (zh) * | 2022-12-01 | 2022-12-30 | 四川蜀道新能源科技发展有限公司 | 基于多尺度机制和注意力机制的路面标线识别方法及系统 |
Non-Patent Citations (1)
Title |
---|
LUKMAN HAKIM等: "Improvement for Single Image Super-resolution and Image Segmentation by Graph Laplacian Regularizer based on Differences of Neighboring Pixels", 《INTERNATIONAL JOURNAL OF INTELLIGENT ENGINEERING & SYSTEMS》, vol. 15, no. 1, pages 95 - 105 * |
Also Published As
Publication number | Publication date |
---|---|
CN116758508B (zh) | 2024-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113298818B (zh) | 基于注意力机制与多尺度特征的遥感图像建筑物分割方法 | |
CN111160311B (zh) | 基于多注意力机制双流融合网络的黄河冰凌语义分割方法 | |
WO2017215622A1 (zh) | 物体分割方法及装置、计算设备 | |
CN112347859A (zh) | 一种光学遥感图像显著性目标检测方法 | |
CN116665176B (zh) | 一种面向车辆自动驾驶的多任务网络道路目标检测方法 | |
CN112348770A (zh) | 一种基于多分辨率卷积网络的桥梁裂缝检测方法 | |
CN114897779A (zh) | 基于融合注意力的宫颈细胞学图像异常区域定位方法及装置 | |
CN110738663A (zh) | 双域适应模块金字塔型网络及无监督域适应图像分割方法 | |
CN111899203B (zh) | 基于标注图在无监督训练下的真实图像生成方法及存储介质 | |
CN110348531B (zh) | 具有分辨率适应性的深度卷积神经网络构建方法及应用 | |
CN115082293A (zh) | 一种基于Swin Transformer和CNN双分支耦合的图像配准方法 | |
CN114724155A (zh) | 基于深度卷积神经网络的场景文本检测方法、系统及设备 | |
CN116563682A (zh) | 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法 | |
CN114092824A (zh) | 结合密集注意力和并行上采样的遥感图像道路分割方法 | |
CN114764856A (zh) | 图像语义分割方法和图像语义分割装置 | |
CN114743110A (zh) | 多尺度嵌套的遥感图像变化检测方法、系统及计算机终端 | |
CN113205016B (zh) | 恒等残差型Unet与遥感水体指数的河湖岸线变化检测方法 | |
Xu et al. | Haar wavelet downsampling: A simple but effective downsampling module for semantic segmentation | |
CN116883679B (zh) | 基于深度学习的地物目标提取方法和装置 | |
CN116758508B (zh) | 基于像素差异扩大处理的路面标线检测方法、系统及终端 | |
CN116977747A (zh) | 基于多路多尺度特征孪生网络的小样本高光谱分类方法 | |
CN115984233A (zh) | 一种基于分组归一化和移位的图像裂缝检测方法 | |
Wang et al. | Aerial unstructured road segmentation based on deep convolution neural network | |
CN114022521A (zh) | 一种非刚性多模医学图像的配准方法及系统 | |
CN117788296B (zh) | 基于异构组合深度网络的红外遥感图像超分辨率重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |