CN112528917A - 斑马线区域识别方法、装置、电子设备和存储介质 - Google Patents
斑马线区域识别方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112528917A CN112528917A CN202011511182.0A CN202011511182A CN112528917A CN 112528917 A CN112528917 A CN 112528917A CN 202011511182 A CN202011511182 A CN 202011511182A CN 112528917 A CN112528917 A CN 112528917A
- Authority
- CN
- China
- Prior art keywords
- image
- zebra crossing
- crossing region
- layer
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000283070 Equus zebra Species 0.000 title claims abstract description 225
- 238000000034 method Methods 0.000 title claims abstract description 76
- 230000011218 segmentation Effects 0.000 claims abstract description 131
- 238000012549 training Methods 0.000 claims abstract description 19
- 230000004927 fusion Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000003707 image sharpening Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例涉及计算机视觉技术领域，提供了一种斑马线区域识别方法、装置、电子设备和存储介质，所述方法包括：确定图像采集设备采集得到的待识别图像；将所述待识别图像输入至语义分割模型，得到所述语义分割模型输出的分割结果；其中，所述语义分割模型是基于样本图像及其斑马线区域训练得到的；基于所述分割结果中各斑马线像素点的边界坐标进行直线拟合，确定所述待识别图像的斑马线区域。本申请提供的方法、装置、电子设备和存储介质，通过语义分割模型实现了像素级的斑马线区域识别，并在此基础上通过直线拟合进一步精细分割斑马线区域的边界，从而实现准确可靠、边界清晰的斑马线区域识别。
Description
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种斑马线区域识别方法、装置、电子设备和存储介质。
背景技术
随着道路设施的增加，路面情况越发复杂。针对行人或非机动车在通过路口时的违规监控，通常是通过判断行人或非机动车与斑马线区域的空间位置关系实现的。斑马线区域的识别即空间位置关系确定的重要环节。
目前的斑马线区域识别方法多是从行车角度进行检测，或者是从斑马线区域上方向下监控，监控视角的不同导致相应的斑马线区域识别方法无法适配。且区域识别所得区域通常用长方形的边界框标记，导致斑马线区域边界粗糙，准确性差。
发明内容
本申请提供一种斑马线区域识别方法、装置、电子设备和存储介质，以实现可解释的、高可靠性的斑马线区域识别。
本申请提供一种斑马线区域识别方法，包括：
确定图像采集设备采集得到的待识别图像；
将所述待识别图像输入至语义分割模型，得到所述语义分割模型输出的分割结果；其中，所述语义分割模型是基于样本图像及其斑马线区域训练得到的；
基于所述分割结果中各斑马线像素点的边界坐标进行直线拟合，确定所述待识别图像的斑马线区域。
根据本申请提供的一种斑马线区域识别方法，所述将所述待识别图像输入至语义分割模型，得到所述语义分割模型输出的分割结果，包括：
将所述待识别图像输入至所述语义分割模型的编码层，得到所述编码层输出的图像特征；
将所述图像特征输入至所述语义分割模型的解码层，得到所述解码层输出的分割结果。
根据本申请提供的一种斑马线区域识别方法，所述将所述待识别图像输入至所述语义分割模型的编码层，得到所述编码层输出的图像特征，包括：
将所述待识别图像输入至所述编码层的第一编码层，得到所述第一编码层输出的第一图像特征，所述第一编码层是基于MobileNetV2构建的；
将所述第一图像特征输入至所述编码层的第二编码层，得到所述第二编码层输出的第二图像特征，所述第二编码层是基于deeplabV3PLUS的编码部分构建的；
将所述第一图像特征和所述第二图像特征输入至所述编码层的编码融合层，得到所述编码融合层输出的图像特征。
根据本申请提供的一种斑马线区域识别方法，所述解码层是基于deeplabV3PLUS的解码部分构建的。
根据本申请提供的一种斑马线区域识别方法，所述基于所述分割结果中各斑马线像素点的边界坐标进行直线拟合，确定所述待识别图像的斑马线区域，包括：
基于各斑马线像素点的边界坐标中的纵向最大值和纵向最小值，确定所述待识别图像中斑马线区域的两条横向边界线，其中横向和纵向分别是相对于所述斑马线区域所处道路的行车方向的平行方向和垂直方向；
对各斑马线像素点的边界坐标中各个高度的横向最大值和横向最小值分别进行直线拟合，得到所述待识别图像中斑马线区域的两条纵向边界线；
基于所述两条横向边界线和所述两条纵向边界线，确定所述待识别图像的斑马线区域。
根据本申请提供的一种斑马线区域识别方法，所述样本图像包括至少两个时间段采集得到的图像。
根据本申请提供的一种斑马线区域识别方法，所述将所述待识别图像输入至语义分割模型，之前还包括：
对所述待识别图像进行预处理，所述预处理包括亮度对比度调整、图像锐化、单通道直方图均衡和灰度图转化中的至少一种。
本申请还提供一种斑马线区域识别装置，包括：
图像确定单元，用于确定图像采集设备采集得到的待识别图像；
语义分割单元，用于将所述待识别图像输入至语义分割模型，得到所述语义分割模型输出的分割结果；其中，所述语义分割模型是基于样本图像及其斑马线区域训练得到的；
区域预测单元，用于基于所述分割结果中各斑马线像素点的边界坐标进行直线拟合，确定所述待识别图像的斑马线区域。
根据本申请提供的一种斑马线区域识别装置，所述语义分割单元包括：
编码单元，用于将所述待识别图像输入至所述语义分割模型的编码层，得到所述编码层输出的图像特征；
解码单元，用于将所述图像特征输入至所述语义分割模型的解码层，得到所述解码层输出的分割结果。
根据本申请提供的一种斑马线区域识别装置，所述编码单元用于：
将所述待识别图像输入至所述编码层的第一编码层，得到所述第一编码层输出的第一图像特征，所述第一编码层是基于MobileNetV2构建的；
将所述第一图像特征输入至所述编码层的第二编码层，得到所述第二编码层输出的第二图像特征，所述第二编码层是基于deeplabV3PLUS的编码部分构建的；
将所述第一图像特征和所述第二图像特征输入至所述编码层的编码融合层，得到所述编码融合层输出的图像特征。
根据本申请提供的一种斑马线区域识别装置，所述解码层是基于deeplabV3PLUS的解码部分构建的。
根据本申请提供的一种斑马线区域识别装置，所述区域预测单元用于：
基于各斑马线像素点的边界坐标中的纵向最大值和纵向最小值，确定所述待识别图像中斑马线区域的两条横向边界线，其中横向和纵向分别是相对于所述斑马线区域所处道路的行车方向的平行方向和垂直方向；
对各斑马线像素点的边界坐标中各个高度的横向最大值和横向最小值分别进行直线拟合，得到所述待识别图像中斑马线区域的两条纵向边界线；
基于所述两条横向边界线和所述两条纵向边界线，确定所述待识别图像的斑马线区域。
本申请还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述斑马线区域识别方法的步骤。
本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述斑马线区域识别方法的步骤。
本申请提供的斑马线区域识别方法、装置、电子设备和存储介质，通过语义分割模型实现了像素级的斑马线区域识别，并在此基础上通过直线拟合进一步精细分割斑马线区域的边界，从而实现准确可靠、边界清晰的斑马线区域识别。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的斑马线拍摄视角示意图之一；
图2是本申请提供的斑马线拍摄视角示意图之二；
图3是本申请提供的斑马线区域识别方法的流程示意图之一；
图4是本申请提供的斑马线区域识别方法中步骤120的实施方式的流程示意图；
图5是本申请提供的斑马线区域识别方法中步骤121的实施方式的流程示意图；
图6是本申请提供的斑马线区域识别方法中步骤130的实施方式的流程示意图；
图7是本申请提供的斑马线区域识别方法的流程示意图之二；
图8是本申请提供的斑马线区域识别方法的流程示意图之三；
图9是本申请提供的斑马线区域识别装置的结构示意图之一；
图10是本申请提供的斑马线区域识别装置的语义分割单元的结构示意图；
图11是本申请提供的斑马线区域识别装置的结构示意图之二；
图12是本申请提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1是本申请提供的斑马线拍摄视角示意图之一，图2是本申请提供的斑马线拍摄视角示意图之二。目前的斑马线区域识别通常应用于车辆自动驾驶，用于拍摄斑马线图像的图像采集设备通常设置在车辆顶部，图1示出的即行车视角下拍摄的斑马线区域。而实际上，用于检测行人和非机动车辆是否合规的图像采集设备通常设置在斑马线信号灯处，其拍摄视角如图2所示。监控视角的不同导致了斑马线区域识别方法无法适配。且区域识别所得区域通常用长方形的边界框标记，导致斑马线区域边界粗糙，准确性差。针对上述问题，本申请提供了一种斑马线区域识别方法。
图3是本申请提供的斑马线区域识别方法的流程示意图之一，如图3所示，该方法包括：
步骤110，确定图像采集设备采集得到的待识别图像。
此处的图像采集设备即用于采集包含斑马线区域的图像的设备，可以是装设在斑马线信号灯处的摄像头。待识别图像即需要进行斑马线区域识别的二维图像。
步骤120，将待识别图像输入至语义分割模型，得到语义分割模型输出的分割结果；其中，语义分割模型是基于样本图像及其斑马线区域训练得到的。
具体地，语义分割模型即基于语义分割计算构建的模型，语义分割是在像素级别上的分类，此处的语义分割模型可以从像素级别上对输入的待识别图像中的各个像素点进行分类，从而区分开待识别图像中属于斑马线区域的像素点和不属于斑马线区域的像素点，并输出像素级别的分割结果。相较于传统的斑马线区域识别方法中采用Faster-RCNN等进行区域分割得到的长方形边界框，本申请中语义分割技术的应用，能够大幅度提高分割精度。
在执行步骤120之前，还可以预先训练得到语义分割模型，具体可以通过如下方式训练得到语义分割模型：首先，收集大量样本图像，标注出样本图像中的斑马线区域。随即，基于样本图像及其斑马线区域对初始模型进行训练，从而得到语义分割模型。进一步地，模型训练过程中，可以将交叉熵作为损失函数。
步骤130，基于分割结果中各斑马线像素点的边界坐标进行直线拟合，确定待识别图像的斑马线区域。
具体地，在得到分割结果之后，即可确定待识别图像中哪些像素点属于斑马线像素点，在确定斑马线像素点之后，可以从中提取出处于斑马线区域边界的斑马线像素点，并将处于斑马线区域边界的斑马线像素点的坐标作为边界坐标。考虑到斑马线本身的形状特征，即斑马线信号灯视角下的斑马线区域呈现为梯形，斑马线区域的两条侧边均为直线，可以对边界坐标进行直线拟合，从而精细划分斑马线区域的边界，得到边界清晰的斑马线区域。
本申请实施例提供的方法，通过语义分割模型实现了像素级的斑马线区域识别，并在此基础上通过直线拟合进一步精细分割斑马线区域的边界，从而实现准确可靠、边界清晰的斑马线区域识别。
基于上述实施例，语义分割模型包括编码层和解码层。图4是本申请提供的斑马线区域识别方法中步骤120的实施方式的流程示意图，如图4所示，步骤120包括：
步骤121，将待识别图像输入至语义分割模型的编码层，得到编码层输出的图像特征；
步骤122，将图像特征输入至语义分割模型的解码层，得到解码层输出的分割结果。
具体地，语义分割模型可以视为encoder+decoder的结构体系，例如可以基于deeplabV3PLUS的结构构建。其中encoder对应于编码层，用于对输入的待识别图像进行特征提取和编码，从而得到像素级的图像特征。Decoder对应于解码层，用于对编码层提取的特征进行解码，从而得到待识别图像中每个像素点的归属，即每个像素点是否属于斑马线区域，从而输出分割结果。
基于上述任一实施例，编码层包括第一编码层、第二编码层和编码融合层；图5是本申请提供的斑马线区域识别方法中步骤121的实施方式的流程示意图，如图5所示，步骤121包括：
步骤1211，将待识别图像输入至编码层的第一编码层，得到第一编码层输出的第一图像特征，第一编码层是基于MobileNetV2构建的。
步骤1212，将第一图像特征输入至编码层的第二编码层，得到第二编码层输出的第二图像特征，第二编码层是基于deeplabV3PLUS的编码部分构建的；
步骤1213，将第一图像特征和第二图像特征输入至编码层的编码融合层，得到编码融合层输出的图像特征。
具体地，第一编码层和第二编码层分别通过不同的特征提取方式对待识别图像进行图像特征提取编码，从而得到表征不同维度的图像特征，即第一图像特征和第二图像特征。在此基础上，通过编码融合层对第一图像特征和第二图像特征进行合并，从而得到涵盖了不同维度信息的图像特征。
进一步地，第一编码层可以是基于MobileNetV2构建的，MobileNetV2是一种轻量化卷积神经网络，可以实现针对输入的待识别图像的深度可分离卷积。MobileNetV2的主体部分采用反向残差模块，先利用1*1卷积核膨胀升维，然后采用3*3卷积核计算，再用1*1卷积核压缩降维，避免Relu激活函数对特征的破坏，保留更少的参数。
第二编码层可以是基于deeplabV3PLUS的编码部分构建的。deeplabV3PLUS相较于之前各个版本的deeplab最大的改进，就是可以将deeplab中的DCNN部分视为encoder，即编码部分。第二编码层可以将第一编码层输出的第一图像特征分别用不同膨胀率进行并行空洞卷积，在将并行空洞卷积所得的各路特征进行合并压缩，作为第二图像特征并输出。
编码融合层可以对第二图像特征进行上采样，所得上采样后的第二图像特征与第一图像特征大小一致，此后对第一图像特征和第二图像特征进行合并，将合并结果作为图像特征输出。
本申请实施例提供的方法，结合MobileNetV2和deeplabV3PLUS进行图像特征提取编码，所得提取所得的图像特征能够保留多个维度的信息，在此基础上进行语义分割，能够有效提高语义分割的准确性。
基于上述任一实施例，解码层是基于deeplabV3PLUS的解码部分构建的。
具体地，基于deeplabV3PLUS的解码部分构建的解码层，能够很好地匹配结合了MobileNetV2和deeplabV3PLUS的编码部分构建的编码层，从而使得语义分割模型整体在图像语义分割边缘能够取得良好的结果，得到边缘更加精细清晰的分割结果。
基于上述任一实施例，图6是本申请提供的斑马线区域识别方法中步骤130的实施方式的流程示意图，如图6所示，步骤130包括：
步骤131，基于各斑马线像素点的边界坐标中的纵向最大值和纵向最小值，确定待识别图像中斑马线区域的两条横向边界线，其中横向和纵向分别是相对于斑马线区域所处道路的行车方向的平行方向和垂直方向。
步骤132，对各斑马线像素点的边界坐标中各个高度的横向最大值和横向最小值分别进行直线拟合，得到待识别图像中斑马线区域的两条纵向边界线。
具体地，在斑马线区域的边界线确定过程中，将相对于斑马线区域所在道路的行车方向平行的方向作为斑马线像素点所在坐标系的横坐标方向，即下述横向，将相对于斑马线区域所在道路的行车方向垂直的方向作为斑马线像素点所在坐标系的纵坐标方向，即下述纵向。在图2示出的图像中，斑马线区域的两条横向边界线即图中最高和最低的两条横向线段。两条横向边界线可以通过统计斑马线像素点的边界坐标中的纵向最大值和纵向最小值得到的。进一步地，可以针对语义分割所得的分割结果，确定待识别图像中哪些像素点属于斑马线区域，例如属于斑马线区域的像素点的像素值为1，不属于斑马线区域的像素点的像素值为0，查找分割结果中非0的区域，并从中找到最高和最低的边界线作为两条横向的边界线。
在图2示出的图像中，斑马线区域的两条纵向边界线即图中两侧的斜线段。在得到分割结果后，可以基于两条横向边界线的纵坐标，确定斑马线的高度区间，高度区间的两个端点即由两条横向边界线的纵坐标值。在确定高度区间之后，即可遍历斑马线像素点在高度区间内的所有横向坐标，从而得到各个高度的横向最大值和横向最小值。在此基础上，对各个高度的横向最大值进行直线拟合，即可得到斑马线区域的右侧纵向边界线，对各个高度的横向最小值进行直线拟合，即可得到斑马线区域的左侧纵向边界线。
步骤133，基于两条横向边界线和两条纵向边界线，确定待识别图像的斑马线区域。
具体地，在得到斑马线区域的四条边界线后，即可结合横线边界线和纵向边界线的交点，确定更为精确的斑马线区域的顶点坐标，从而得到更为精确的斑马线区域。
本申请实施例提供的方法，结合斑马线区域自身几何特征，通过边界拟合更加精准地实现了斑马线区域的识别确定。
基于上述任一实施例，样本图像包括至少两个时间段采集得到的图像。
具体地，样本图像应用于语义分割模型的训练阶段。在对语义分割模型进行训练之前，需要采集样本图像并标记样本图像中的斑马线区域作为训练标签。此处的不同时间段，可以包括同一年内的不同季节、同一季节下的不同天气状况对应的时间段、同一天内不同的时刻等各种情况。
在采集样本图像时，考虑到不同时间段的季节、天气、光线等因素均会对于相同现场下采集所得的图像中的光影、清晰度、斑马线的遮挡情况都产生影响，可以分不同的时间段分别采集对应时间段内的样本图像，以便于在训练过程中语义分割模型能够充分学习不同情况下的样本图像中斑马线区域的特征，以便于提高后续语义分割的准确性和可靠性。
基于上述任一实施例，图7是本申请提供的斑马线区域识别方法的流程示意图之二，如图7所示，步骤120之前还包括：
步骤110-1，对待识别图像进行预处理，预处理包括亮度对比度调整、图像锐化、单通道直方图均衡和灰度图转化中的至少一种。
具体地，针对待识别图像的预处理操作是为了在语义分割之前，弥补采集所得的待识别图像由于不同时间段光照强度的差异出现的前曝光或者过曝的问题，将待识别图像调整到平衡的像素值，以便于提高后续语义分割的准确性。此处的预处理包括亮度对比度调整、图像锐化、单通道直方图均衡和灰度图转化中的至少一种。
其中，亮度对比度调整可以是基于预先设定的亮度与对比度的公式实现的，例如可以通过公式f′＝α*f+β进行调整，式中f表示预处理前的原图，α为对比度，β为亮度，f′为亮度对比度调整后的图像。对于光线过曝的情景，β取负值；对于光线欠曝的情景，β取正值。由于斑马线由间隔的白线组成，α取大于1的整数，增大与周围环境的对比度。
图像锐化可以通过对图像进行拉普拉斯变化实现，以提升图像中斑马线区域的边界识别度；单通道直方图均衡具体可以是对图像的蓝色通道进行直方图均衡，从而进行局部的明暗调整；灰度图转化是考虑到过曝和欠曝均会导致图像色彩失真，针对这个问题可以先将RGB图像转换为灰度图，再将灰度图转换为语义分割模型需要的3通道的RGB图像。
基于上述任一实施例，图8是本申请提供的斑马线区域识别方法的流程示意图之三，如图8所示，该方法包括：
首先，确定待识别图像，并对待识别图像进行预处理。此处的预处理需要逐次执行亮度对比度调整、图像锐化、单通道直方图均衡和灰度图转化，由此得到预处理后的待识别图像。
其次，对预处理后的待识别图像进行语义分割，此处的语义分割是通过预训练所得的语义分割模型实现的，语义分割模型包括编码层和解码层，其中编码层用于对待识别图像进行特征编码，从而得到图像特征，解码层用于对图像特征进行解码，从而得到分割结果。此处的分割结果即斑马线区域的区域分割图。
最后，针对分割结果进行区域预测。可以通过斑马线区域的两条横向边界线确定斑马线区域的高度区间，进而获取高度区间内各个高度的横向最大值和横向最小值，分别进行直线拟合，从而得到斑马线区域的两条纵向边界线，基于两条横向边界线和两条纵向边界线进行斑马线区域的顶点计算，从而得到精确的斑马线区域。
下面对本申请提供的斑马线区域识别装置进行描述，下文描述的斑马线区域识别装置与上文描述的斑马线区域识别方法可相互对应参照。
图9是本申请提供的斑马线区域识别装置的结构示意图之一，如图9所示，斑马线区域识别装置包括：
图像确定单元910，用于确定图像采集设备采集得到的待识别图像；
语义分割单元920，用于将所述待识别图像输入至语义分割模型，得到所述语义分割模型输出的分割结果；其中，所述语义分割模型是基于样本图像及其斑马线区域训练得到的；
区域预测单元930，用于基于所述分割结果中各斑马线像素点的边界坐标进行直线拟合，确定所述待识别图像的斑马线区域。
本申请实施例提供的装置，通过语义分割模型实现了像素级的斑马线区域识别，并在此基础上通过直线拟合进一步精细分割斑马线区域的边界，从而实现准确可靠、边界清晰的斑马线区域识别。
基于上述任一实施例，图10是本申请提供的斑马线区域识别装置的语义分割单元的结构示意图，如图10所示，所述语义分割单元920包括：
编码单元921，用于将所述待识别图像输入至所述语义分割模型的编码层，得到所述编码层输出的图像特征；
解码单元922，用于将所述图像特征输入至所述语义分割模型的解码层，得到所述解码层输出的分割结果。
基于上述任一实施例，所述编码单元921用于：
将所述待识别图像输入至所述编码层的第一编码层，得到所述第一编码层输出的第一图像特征，所述第一编码层是基于MobileNetV2构建的；
将所述第一图像特征输入至所述编码层的第二编码层，得到所述第二编码层输出的第二图像特征，所述第二编码层是基于deeplabV3PLUS的编码部分构建的；
将所述第一图像特征和所述第二图像特征输入至所述编码层的编码融合层，得到所述编码融合层输出的图像特征。
基于上述任一实施例，所述解码层是基于deeplabV3PLUS的解码部分构建的。
基于上述任一实施例，所述区域预测单元930用于：
基于各斑马线像素点的边界坐标中的纵向最大值和纵向最小值，确定所述待识别图像中斑马线区域的两条横向边界线，其中横向和纵向分别是相对于所述斑马线区域所处道路的行车方向的平行方向和垂直方向；
对各斑马线像素点的边界坐标中各个高度的横向最大值和横向最小值分别进行直线拟合，得到所述待识别图像中斑马线区域的两条纵向边界线；
基于所述两条横向边界线和所述两条纵向边界线，确定所述待识别图像的斑马线区域。
基于上述任一实施例，所述样本图像包括至少两个时间段采集得到的图像。
基于上述任一实施例，图11是本申请提供的斑马线区域识别装置的结构示意图之二，如图11所示，该装置还包括：
预处理单元910-1，用于对所述待识别图像进行预处理，所述预处理包括亮度对比度调整、图像锐化、单通道直方图均衡和灰度图转化中的至少一种。
本申请实施例提供的斑马线区域识别装置用于执行上述斑马线区域识别方法，其实施方式与本申请提供的斑马线区域识别方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
图12示例了一种电子设备的实体结构示意图，如图12所示，该电子设备可以包括：处理器(processor)1210、通信接口(Communications Interface)1220、存储器(memory)1230和通信总线1240，其中，处理器1210，通信接口1220，存储器1230通过通信总线1240完成相互间的通信。处理器1210可以调用存储器1230中的逻辑指令，以执行斑马线区域识别方法，该方法包括：确定图像采集设备采集得到的待识别图像；将所述待识别图像输入至语义分割模型，得到所述语义分割模型输出的分割结果；其中，所述语义分割模型是基于样本图像及其斑马线区域训练得到的；基于所述分割结果中各斑马线像素点的边界坐标进行直线拟合，确定所述待识别图像的斑马线区域。
此外，上述的存储器1230中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的电子设备中的处理器1210可以调用存储器1230中的逻辑指令，实现上述斑马线区域识别方法，其实施方式与本申请提供的斑马线区域识别方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
另一方面，本申请还提供一种计算机程序产品，下面对本申请提供的计算机程序产品进行描述，下文描述的计算机程序产品与上文描述的斑马线区域识别方法可相互对应参照。
所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的斑马线区域识别方法，该方法包括：确定图像采集设备采集得到的待识别图像；将所述待识别图像输入至语义分割模型，得到所述语义分割模型输出的分割结果；其中，所述语义分割模型是基于样本图像及其斑马线区域训练得到的；基于所述分割结果中各斑马线像素点的边界坐标进行直线拟合，确定所述待识别图像的斑马线区域。
本申请实施例提供的计算机程序产品被执行时，实现上述斑马线区域识别方法，其实施方式与本申请提供的斑马线区域识别方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
又一方面，本申请还提供一种非暂态计算机可读存储介质，下面对本申请提供的非暂态计算机可读存储介质进行描述，下文描述的非暂态计算机可读存储介质与上文描述的斑马线区域识别方法可相互对应参照。
本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的斑马线区域识别方法，该方法包括：确定图像采集设备采集得到的待识别图像；将所述待识别图像输入至语义分割模型，得到所述语义分割模型输出的分割结果；其中，所述语义分割模型是基于样本图像及其斑马线区域训练得到的；基于所述分割结果中各斑马线像素点的边界坐标进行直线拟合，确定所述待识别图像的斑马线区域。
本申请实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述斑马线区域识别方法，其实施方式与本申请提供的斑马线区域识别方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (14)
1.一种斑马线区域识别方法，其特征在于，包括：
确定图像采集设备采集得到的待识别图像；
将所述待识别图像输入至语义分割模型，得到所述语义分割模型输出的分割结果；其中，所述语义分割模型是基于样本图像及其斑马线区域训练得到的；
基于所述分割结果中各斑马线像素点的边界坐标进行直线拟合，确定所述待识别图像的斑马线区域。
2.根据权利要求1所述的斑马线区域识别方法，其特征在于，所述将所述待识别图像输入至语义分割模型，得到所述语义分割模型输出的分割结果，包括：
将所述待识别图像输入至所述语义分割模型的编码层，得到所述编码层输出的图像特征；
将所述图像特征输入至所述语义分割模型的解码层，得到所述解码层输出的分割结果。
3.根据权利要求2所述的斑马线区域识别方法，其特征在于，所述将所述待识别图像输入至所述语义分割模型的编码层，得到所述编码层输出的图像特征，包括：
将所述待识别图像输入至所述编码层的第一编码层，得到所述第一编码层输出的第一图像特征，所述第一编码层是基于MobileNetV2构建的；
将所述第一图像特征输入至所述编码层的第二编码层，得到所述第二编码层输出的第二图像特征，所述第二编码层是基于deeplabV3PLUS的编码部分构建的；
将所述第一图像特征和所述第二图像特征输入至所述编码层的编码融合层，得到所述编码融合层输出的图像特征。
4.根据权利要求3所述的斑马线区域识别方法，其特征在于，所述解码层是基于deeplabV3PLUS的解码部分构建的。
5.根据权利要求1所述的斑马线区域识别方法，其特征在于，所述基于所述分割结果中各斑马线像素点的边界坐标进行直线拟合，确定所述待识别图像的斑马线区域，包括：
基于各斑马线像素点的边界坐标中的纵向最大值和纵向最小值，确定所述待识别图像中斑马线区域的两条横向边界线，其中横向和纵向分别是相对于所述斑马线区域所处道路的行车方向的平行方向和垂直方向；
对各斑马线像素点的边界坐标中各个高度的横向最大值和横向最小值分别进行直线拟合，得到所述待识别图像中斑马线区域的两条纵向边界线；
基于所述两条横向边界线和所述两条纵向边界线，确定所述待识别图像的斑马线区域。
6.根据权利要求1至5任一项所述的斑马线区域识别方法，其特征在于，所述样本图像包括在至少两个时间段采集得到的图像。
7.根据权利要求1至5中任一项所述的斑马线区域识别方法，其特征在于，所述将所述待识别图像输入至语义分割模型，之前还包括：
对所述待识别图像进行预处理，所述预处理包括亮度对比度调整、图像锐化、单通道直方图均衡和灰度图转化中的至少一种。
8.一种斑马线区域识别装置，其特征在于，包括：
图像确定单元，用于确定图像采集设备采集得到的待识别图像；
语义分割单元，用于将所述待识别图像输入至语义分割模型，得到所述语义分割模型输出的分割结果；其中，所述语义分割模型是基于样本图像及其斑马线区域训练得到的；
区域预测单元，用于基于所述分割结果中各斑马线像素点的边界坐标进行直线拟合，确定所述待识别图像的斑马线区域。
9.根据权利要求8所述的斑马线区域识别装置，其特征在于，所述语义分割单元包括：
编码单元，用于将所述待识别图像输入至所述语义分割模型的编码层，得到所述编码层输出的图像特征；
解码单元，用于将所述图像特征输入至所述语义分割模型的解码层，得到所述解码层输出的分割结果。
10.根据权利要求9所述的斑马线区域识别装置，其特征在于，所述编码单元用于：
将所述待识别图像输入至所述编码层的第一编码层，得到所述第一编码层输出的第一图像特征，所述第一编码层是基于MobileNetV2构建的；
将所述第一图像特征输入至所述编码层的第二编码层，得到所述第二编码层输出的第二图像特征，所述第二编码层是基于deeplabV3PLUS的编码部分构建的；
将所述第一图像特征和所述第二图像特征输入至所述编码层的编码融合层，得到所述编码融合层输出的图像特征。
11.根据权利要求10所述的斑马线区域识别装置，其特征在于，所述解码层是基于deeplabV3PLUS的解码部分构建的。
12.根据权利要求8所述的斑马线区域识别装置，其特征在于，所述区域预测单元用于：
基于各斑马线像素点的边界坐标中的纵向最大值和纵向最小值，确定所述待识别图像中斑马线区域的两条横向边界线，其中横向和纵向分别是相对于所述斑马线区域所处道路的行车方向的平行方向和垂直方向；
对各斑马线像素点的边界坐标中各个高度的横向最大值和横向最小值分别进行直线拟合，得到所述待识别图像中斑马线区域的两条纵向边界线；
基于所述两条横向边界线和所述两条纵向边界线，确定所述待识别图像的斑马线区域。
13.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述斑马线区域识别方法的步骤。
14.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述斑马线区域识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011511182.0A CN112528917A (zh) | 2020-12-18 | 2020-12-18 | 斑马线区域识别方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011511182.0A CN112528917A (zh) | 2020-12-18 | 2020-12-18 | 斑马线区域识别方法、装置、电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112528917A true CN112528917A (zh) | 2021-03-19 |
Family
ID=75001709
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011511182.0A Pending CN112528917A (zh) | 2020-12-18 | 2020-12-18 | 斑马线区域识别方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112528917A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113283361A (zh) * | 2021-06-02 | 2021-08-20 | 广东电网有限责任公司广州供电局 | 一种绝缘层破损识别模型训练方法、识别方法和装置 |
| CN113610860A (zh) * | 2021-06-17 | 2021-11-05 | 阿波罗智能技术(北京)有限公司 | 高精地图斑马线生成方法、装置及电子设备 |
| CN113780067A (zh) * | 2021-07-30 | 2021-12-10 | 武汉中海庭数据技术有限公司 | 一种基于语义分割的车道线状标识物检测方法及系统 |
| CN114724118A (zh) * | 2022-06-08 | 2022-07-08 | 苏州魔视智能科技有限公司 | 一种斑马线检测方法、装置、设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809433A (zh) * | 2015-04-21 | 2015-07-29 | 电子科技大学 | 一种基于最大稳定区域和随机采样的斑马线检测方法 |
| CN108647570A (zh) * | 2018-04-02 | 2018-10-12 | 深圳市易成自动驾驶技术有限公司 | 斑马线检测方法、装置及计算机可读存储介质 |
| US20190205665A1 (en) * | 2017-12-29 | 2019-07-04 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, apparatus, and device for determining lane line on road |
| CN110349164A (zh) * | 2019-07-19 | 2019-10-18 | 北京华捷艾米科技有限公司 | 一种图像语义分割方法、装置及终端设备 |
| CN111047565A (zh) * | 2019-11-29 | 2020-04-21 | 南京恩博科技有限公司 | 一种用于森林云雾图像分割的方法、存储介质和设备 |
| CN111696115A (zh) * | 2020-04-29 | 2020-09-22 | 山东省国土测绘院 | 一种基于点云扫描线的斑马线角点提取方法及系统 |
| CN111874006A (zh) * | 2020-08-05 | 2020-11-03 | 腾讯科技（深圳）有限公司 | 路线规划处理方法和装置 |
| CN112052859A (zh) * | 2020-09-11 | 2020-12-08 | 广东工业大学 | 一种自由场景下的车牌精准定位方法及装置 |
-
2020
- 2020-12-18 CN CN202011511182.0A patent/CN112528917A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809433A (zh) * | 2015-04-21 | 2015-07-29 | 电子科技大学 | 一种基于最大稳定区域和随机采样的斑马线检测方法 |
| US20190205665A1 (en) * | 2017-12-29 | 2019-07-04 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, apparatus, and device for determining lane line on road |
| CN108647570A (zh) * | 2018-04-02 | 2018-10-12 | 深圳市易成自动驾驶技术有限公司 | 斑马线检测方法、装置及计算机可读存储介质 |
| CN110349164A (zh) * | 2019-07-19 | 2019-10-18 | 北京华捷艾米科技有限公司 | 一种图像语义分割方法、装置及终端设备 |
| CN111047565A (zh) * | 2019-11-29 | 2020-04-21 | 南京恩博科技有限公司 | 一种用于森林云雾图像分割的方法、存储介质和设备 |
| CN111696115A (zh) * | 2020-04-29 | 2020-09-22 | 山东省国土测绘院 | 一种基于点云扫描线的斑马线角点提取方法及系统 |
| CN111874006A (zh) * | 2020-08-05 | 2020-11-03 | 腾讯科技（深圳）有限公司 | 路线规划处理方法和装置 |
| CN112052859A (zh) * | 2020-09-11 | 2020-12-08 | 广东工业大学 | 一种自由场景下的车牌精准定位方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| CUNEYT AKINLAR等: "EDLines: A real-time line segment detector with a false detection control", PATTERN RECOGNITION LETTERS * |
| 凌诗韵;马乐;黄楚然;翟伟良;: "基于Hough变换的城市环境道路识别优化算法研究", 机械设计与制造工程, no. 12 * |
| 李昕蔚 等: "一种针对路口监控图像的区域分割方法", 计算机应用与软件, vol. 37, no. 03 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113283361A (zh) * | 2021-06-02 | 2021-08-20 | 广东电网有限责任公司广州供电局 | 一种绝缘层破损识别模型训练方法、识别方法和装置 |
| CN113283361B (zh) * | 2021-06-02 | 2022-08-12 | 广东电网有限责任公司广州供电局 | 一种绝缘层破损识别模型训练方法、识别方法和装置 |
| CN113610860A (zh) * | 2021-06-17 | 2021-11-05 | 阿波罗智能技术(北京)有限公司 | 高精地图斑马线生成方法、装置及电子设备 |
| CN113610860B (zh) * | 2021-06-17 | 2023-12-15 | 阿波罗智能技术(北京)有限公司 | 高精地图斑马线生成方法、装置及电子设备 |
| CN113780067A (zh) * | 2021-07-30 | 2021-12-10 | 武汉中海庭数据技术有限公司 | 一种基于语义分割的车道线状标识物检测方法及系统 |
| CN114724118A (zh) * | 2022-06-08 | 2022-07-08 | 苏州魔视智能科技有限公司 | 一种斑马线检测方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110956094B (zh) | 一种基于非对称双流网络的rgb-d多模态融合人员检测方法 | |
| CN112528917A (zh) | 斑马线区域识别方法、装置、电子设备和存储介质 | |
| Mu et al. | Lane detection based on object segmentation and piecewise fitting | |
| CN109255350B (zh) | 一种基于视频监控的新能源车牌检测方法 | |
| Kaur et al. | An efficient approach for number plate extraction from vehicles image under image processing | |
| Kaur | An automatic number plate recognition system under image processing | |
| CN117094914B (zh) | 基于计算机视觉的智慧城市道路监控系统 | |
| CN110427979B (zh) | 基于K-Means聚类算法的道路水坑识别方法 | |
| CN111881832A (zh) | 车道目标检测方法、装置、设备及计算机可读存储介质 | |
| CN110969164A (zh) | 基于深度学习端对端的低照度成像车牌识别方法及装置 | |
| CN111695373A (zh) | 斑马线的定位方法、系统、介质及设备 | |
| CN113537037A (zh) | 路面病害识别方法、系统、电子设备及存储介质 | |
| CN112766056A (zh) | 一种基于深度神经网络的弱光环境车道线检测方法、装置 | |
| CN115619719A (zh) | 一种基于改进Yolo v3网络模型的松材线虫病疫木检测方法 | |
| CN111680580A (zh) | 一种闯红灯的识别方法、装置、电子设备及存储介质 | |
| CN111027564A (zh) | 基于深度学习一体化的低照度成像车牌识别方法及装置 | |
| Kaur et al. | An Efficient Approach for Automatic Number Plate Recognition System under Image Processing. | |
| CN117294818A (zh) | 一种用于机场施工的工地全景监控方法 | |
| Bala et al. | Image simulation for automatic license plate recognition | |
| CN115147450B (zh) | 基于运动帧差图像的移动目标检测方法及检测装置 | |
| CN115984672A (zh) | 基于深度学习的高清图像内小目标的检测方法和装置 | |
| CN110633705A (zh) | 一种低照度成像车牌识别方法及装置 | |
| CN114821510B (zh) | 基于改进U-Net网络的车道线检测方法及装置 | |
| CN115761223A (zh) | 一种利用数据合成的遥感影像实例分割方法 | |
| CN115049684A (zh) | 一种基于水域分割的水尺识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220817 Address after: 250000 13th floor, Hanyu Golden Valley artificial intelligence building, Jingshi Road, Jinan area, China (Shandong) pilot Free Trade Zone, Jinan City, Shandong Province Applicant after: Shenlan Artificial Intelligence Application Research Institute (Shandong) Co.,Ltd. Address before: 200336 unit 1001, 369 Weining Road, Changning District, Shanghai Applicant before: DEEPBLUE TECHNOLOGY (SHANGHAI) Co.,Ltd. |
|
| TA01 | Transfer of patent application right |