CN116071725A - 一种路面标线识别方法及系统 - Google Patents

一种路面标线识别方法及系统 Download PDF

Info

Publication number
CN116071725A
CN116071725A CN202310201596.0A CN202310201596A CN116071725A CN 116071725 A CN116071725 A CN 116071725A CN 202310201596 A CN202310201596 A CN 202310201596A CN 116071725 A CN116071725 A CN 116071725A
Authority
CN
China
Prior art keywords
sample set
image
road surface
training
pavement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310201596.0A
Other languages
English (en)
Other versions
CN116071725B (zh
Inventor
张傲南
卿明彬
李宸
张航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Quanquanxi Technology Co ltd
Sichuan Shudao New Energy Technology Development Co ltd
Original Assignee
Chengdu Quanquanxi Technology Co ltd
Sichuan Shudao New Energy Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Quanquanxi Technology Co ltd, Sichuan Shudao New Energy Technology Development Co ltd filed Critical Chengdu Quanquanxi Technology Co ltd
Priority to CN202310201596.0A priority Critical patent/CN116071725B/zh
Publication of CN116071725A publication Critical patent/CN116071725A/zh
Application granted granted Critical
Publication of CN116071725B publication Critical patent/CN116071725B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像识别技术领域，公开了一种路面标线识别方法及系统。一方面通过将训练样本和待识别样本进行栅格处理和二值化处理，并将处理后的实时路面图像转换为了TTL波形图；另一方面对卷积神经网络模型进行了改进，以图像分类卷积网络HRNet为基线，在整个特征提取过程中保持高分辨率的表示，并逐步增加高分辨率到低分辨率的子网，通过并行连接高到低分辨率卷积流并重复多分辨率融合，语义上更丰富，空间更精确，在提取图像特征信息后融入扩展感受野模块，用于路面标线的高精度分割识别，并在最后阶段添加了注意力机制，使得该网络在保持多尺度提取特征的同时还可以兼顾全局信息的构建，最终实现道路路面标线的高精度像素级识别。

Description

一种路面标线识别方法及系统
技术领域
本发明涉及图像识别技术领域，具体而言，涉及一种路面标线识别方法及系统。
背景技术
路面标线是道路安全和交通管理的一个重要方面，其所传达的信息对规范交通行为、指示道路状况、保障道路功效、引导行人和安全驾驶等方面具有重要的作用，是交通安全与管理、精确导航和辅助驾驶等应用的重要基础数据。路面标线包括多种类型，例如人行横道线、左右转向箭头、车道线等。完整的路面标线有助于维持交通秩序，但由于道路表面常会受到各种劣化，导致路面标线缺失，影响道路交通安全。因此，对路面标线进行及时、有效地检测具有十分重要的意义。
路边标线检测需要准确地测量出路面标记的几何特征。传统的依靠人工进行路面标线检测的方式不仅消耗大量的人力成本，而且检测结果依赖于检测工人的个人经验，效果较差。随着基于深度学习的计算机视觉技术不断发展，卷积神经网络已被广泛运用于智能交通领域，并取得了较好的成果。但是，使用卷积神经网络进行路面标记识别时，需要对一幅路面图像进行逐像素地分类，是一项极具挑战的任务。另外，实际的道路环境复杂多变，路面上常出现裂缝、灌封和坑槽等多种病害，加上获取的路面图像存在噪声，导致卷积神经网络对路面标线进行像素级检测变得十分困难，从而出现大量的误识别现象。
有鉴于此，特提出本申请。
发明内容
本发明的目的是提供一种路面标线识别方法及系统，解决基于深度卷积神经网络进行路面标线识别过程中计算量大且出现大量误识别现象的问题。
本发明通过下述技术方案实现：
一方面，提供一种路面标线识别方法，包括以下步骤：获取待识别路段的实时路面图像；采集多张历史路面图像，得到初始样本集；根据初始样本集建立边界样本集；从边界样本集中筛选出所有具有完整路面标线的图像，得到边界样本子集；分别对实时路面图像、初始样本集和边界样本子集执行A1至A3；A1：统一所有图像的方向和像素大小；A2：将A1处理后的每一张图像栅格化，一个栅格对应一个像素；A3：针对A2处理后的每一张图像，设置路面背景的像素值为0，设置路面标线的像素值为1；对边界样本子集中经A3处理后的每一张图像执行B1至B4，得到第一训练样本集；B1：从路面标线的轮廓线上提取出所有拐点；B2：针对每一个拐点所在的像素列，按像素列号升序，提取出所有像素值，得到像素值序列；B3：针对每一个像素值序列，以像素值1对应高电平和像素值0对应低电平，生成TTL波形图；B4：按像素行号升序，拼接所有TTL波形图；对初始样本集中经A3处理后的每一张图像执行C1和C2，得到第二训练样本集；C1：针对每一个像素列，按像素列号升序，提取出所有像素值，得到像素值序列；C2：执行B3和B4；对经A3处理后的实时路面图像执行C1和C2，得到待识别样本；利用第一训练样本集和第二训练样本集训练出路面标线识别模型；将待识别样本输入路面标线识别模型，输出识别结果。
其中，建立边界样本集包括以下步骤：对初始样本集中的历史路面图像进行分类，构建全训练样本集；将全训练样本集输入隐马尔可夫模型进行训练，得到多个统计模型；分别利用每一个统计模型对全训练样本集进行识别，得到多个概率集合；针对每一个概率集合，执行D1和D2，得到正样本集和负样本集：D1：根据概率值计算获得全训练样本集中每个样本的相对概率值；D2：判断每一个相对概率值是否小于零，若小于零，则将对应的样本划分至负样本集，否则，将对应的样本划分至正样本集；从负样本集中筛选出多个负样本，组合筛选出的多个负样本和全部正样本，得到边界样本集。
构建全样本集包括以下步骤：从初始样本集中筛选出所有路面标线被相对运动物体遮挡的历史路面图像，得到路面标线动态缺失模式类；统计路面标线动态缺失模式类中历史路面图像的总数M；获取路面标线动态缺失模式类中每一张历史路面图像的多张特征图像，建立特征样本集；特征样本集中包含N张特征图像，N=3M；从初始样本集中随机筛选出N张具有完整路面标线的历史路面图像，得到路面标线完整模式类；从初始样本集中随机筛选出N张路面标线被静止物体遮挡的历史路面图像，得到路面标线静态缺失模式类；组合路面标线动态缺失模式类、路面标线完整模式类和路面标线静态缺失模式类，得到全训练样本集。
训练路面标线识别模型包括以下步骤：通过HRnet卷积网络对第一训练样本集和第二训练样本集进行特征提取，并逐步增加高分辨率到低分辨率的子网，得到尺寸为N/4的特征信息图、尺寸为N/8的特征信息图、尺寸为N/16的特征信息图和尺寸为N/32的特征信息图；通过双线性插值，分别将尺寸为N/8的特征信息图、尺寸为N/16的特征信息图和尺寸为N/32的特征信息图上采样到尺寸为N/4的特征信息图；将四个尺寸为N/4的特征信息图进行特征拼接融合，得到融合特征图像；将融合特征图像输入RFB模块，通过扩展感受野机制对融合特征图像进行特征细化提取；利用CAM注意力机制对经特征细化提取后的图像构建全局信息，得到全局特征图；通过双线性插值的方式对全局特征图进行四倍上采样；利用卷积核为1×1的Conv2D函数对上采样后的全局特征图进行尺寸调整，得到尺寸为256×512×1的全局特征图；利用Sigmoid激活函数对尺寸为256×512×1的全局特征图进行处理，得到取值范围为0~1的权重值；根据权重值和第一训练样本集进行重复反向传播训练，直到获得最优权重矩阵；基于最优权重矩阵得到路面标线识别模型。
另一方面，提供一种路面标线识别系统，包括图像接收模块、初始样本集构建模块、边界样本集构建模块、边界样本子集构建模块、图像处理模块、第一训练样本集生成模块、第二训练样本集生成模块、待识别样本生成模块、模型训练模块和图像识别模块。
其中，图像接收模块，用于接收获取的实时路面图像和采集的多张历史路面图像，并将实时路面图像输入图像处理模块。初始样本集构建模块，用于根据采集的多张历史路面图像建立初始样本集，并将初始样本集的所有图像输入图像处理模块。边界样本集构建模块，用于根据初始样本集建立边界样本集。边界样本子集构建模块，用于从边界样本集中筛选出所有具有完整路面标线的图像，得到边界样本子集，并将边界样本子集的所有图像输入图像处理模块。图像处理模块，用于对来自图像接收模块、初始样本集构建模块和边界样本子集构建模块的所有图像的方向和像素大小调整至相同，将调整后的每一张图像栅格化，一个栅格对应一个像素，对栅格化后的每一张图像进行二值化，设置路面背景的像素值为0，设置路面标线的像素值为1，将处理后的图像输入第一训练样本集生成模块、第二训练样本集生成模块和待识别样本生成模块。第一训练样本集生成模块，用于对来自图像处理模块的图像进行处理，生成第一训练样本，输出每张图像对应的第一训练样本得到第一训练样本集；处理方式包括从图像的路面标线的轮廓线上提取出所有拐点，针对每一个拐点所在的像素列，按像素列号升序提取出所有像素值，得到像素值序列，针对每一个像素值序列，以像素值1对应高电平和像素值0对应低电平生成TTL波形图，按像素行号升序，拼接所有TTL波形图。第二训练样本集生成模块，用于对来图像处理模块的图像进行处理，生成第二训练样本，输出每张图像对应的第二训练样本得到第二训练样本集；处理方式包括：针对每一个像素列，按像素列号升序，提取出所有像素值，得到像素值序列，针对每一个像素值序列，以像素值1对应高电平和像素值0对应低电平生成TTL波形图，按像素行号升序，拼接所有TTL波形图。待识别样本生成模块，用于对来图像处理模块的图像进行处理，生成待识别样本；处理方式包括：针对每一个像素列，按像素列号升序，提取出所有像素值，得到像素值序列，针对每一个像素值序列，以像素值1对应高电平和像素值0对应低电平生成TTL波形图，按像素行号升序，拼接所有TTL波形图。模型训练模块，用于利用第一训练样本集和第二训练样本集训练出路面标线识别模型。图像识别模块，用于将待识别样本输入路面标线识别模型，输出识别结果。
本发明与现有技术相比，具有如下的优点和有益效果：
1、一方面，对模型的训练样本进行了处理，建立了边界样本集。通过边界样本集对训练样本中的好样本和差样本的比例进行了平衡处理，有利于路面标线识别模型在识别实时路面图像时对标线的缺陷进行更精准地分类。另一方面，在边界样本集的基础上，分别对实时路面图像、初始样本集和边界样本子集进行了图像处理。具体而言，采用了二值化处理的方式设置路面背景的像素值为0，设置路面标线的像素值为1；在二值化处理的基础上，将路面标线轮廓的拐点作为了识别路面标线的关键点进行提取，从而不需要提取路面标线的完整轮廓线，可减小深度卷积神经网络对训练样本的学习难度，减小计算量，缩短模型训练时间；同时，采用了顺序提取各拐点所在像素列中各像素值的方式，并生成了像素值序列，依据二值化处理后的图像表达特点，结合了TTL电平信号的生成方式，将包含各拐点信息的像素值序列通过TTL波形图表示，实现了将包含复杂信息的实物图转换为仅包含简单电平信号信息的TTL波形图，再利用TTL波形图对图像识别模型进行训练，可进一步减小深度卷积神经网络的学习难度，减小计算量，进而降低错误识别的概率。再一方面，在图像处理过程中，对所有图像进行了方向统一和像素大小统一，并在像素值序列提取顺序和TTL波形图拼接顺序方面，对每同一张图像进行了统一，从而保证了训练样本和待识别样本中每张图像对应的TTL波形图的时序均相同，可减小模型在训练过程和识别过程中发生错误的概率。2、在建立边界样本集的过程中，一方面建立了包含路面标线动态缺失模式类、路面标线完整模式类和路面标线静态模式类的全训练样本集，丰富了路面的情景模式和路面标线缺陷的种类，并且在模式类筛选过程中保证了每一个模式类中的样本数在全训练样本集中的比例相等，不仅剔除了路面标线动态缺失模式类中的无效样本，还避免了其他模式类的陪同样本，可有效解决样本数量过少导致训练不足，样本数量过多导致过训练，以及实际应用场景中路面状态复杂多变导致识别效果差的问题。另一方面，基于隐马尔科夫模型对全训练样本集进行了训练，得到各模式类的模型，综合分析出了不同训练样本数据对训练的影响，并划分出了负样本集和正样本集，从而避免了训练样本中因好样本或差样本数量过多使训练出的模式类区域过于狭小或发生重叠的线性，进而导致增加边界样本和差样本的误识别风险的问题。再一方面，边界样本集的获取基于相对概率值而非直接随机采集，在以边界样本集进行训练时，相对概率值的取值范围更小，使得样本分布更加集中，同时由于只采用边界样本训练，使得每个模式类的类区域得到扩大，从而提高了负样本的相对概率值，即一些负样本的相对概率值由负变正，使得能够迅速被隐马尔科夫模型识别。3、建立路面标线识别模型时，一方面采用了以图像分类卷积网络HRNet为基线，在整个特征提取过程中保持高分辨率的表示，并逐步增加高分辨率到低分辨率的子网，通过并行连接高到低分辨率卷积流并重复多分辨率融合，语义上更丰富，空间更精确；另一方面，在提取到图像特征信息之后，额外引入了RFB和CAM模块，以增大网络的感受野与减少通道及空间噪声的影响，可帮助网络更多关注于值得被关注的对象特征，帮助网络恢复更多原始特征信息，弥补了现有的卷积神经网络算法由于图像噪声的存在而造成的目标定位不准确的缺陷，使得该网络在保持多尺度提取特征的同时还可以兼顾全局信息的构建，并且在一定程度上提高了网络构建边缘信息的能力，实现道路路面标线的高精度像素级分割。
附图说明
为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例1提供的路面标线识别方法的实施流程示意图；
图2为本发明实施例1提供的经栅格化和二值化处理后的左转路面标识图；
图3为本发明实施例1提供的从左转路面标识图的轮廓线上提取所有拐点的位置示意图；
图4为本发明实施例1提供的以像素值序列表示左转路面标线轮廓线的实现原理示意图；
图5为本发明实施例1提供的拐点D1所在的第3像素列对应的TTL波形图；
图6为本发明实施例1提供的拐点D1~D9所在像素列对应的TTL波形图经拼接后形成的第一训练样本示意图；
图7为本发明实施例1提供的训练路面标线识别模型的整体实施流程示意图；
图8为本发明实施例1提供的特征提取网络HRNet模型的结构示意图；
图9为本发明实施例1提供的RFB模块的结构示意图；
图10为本发明实施例1提供的CAM模块的结构示意图。
实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
本实施例提供一种路面标线识别方法，该方法的实施流程如图1所示，包括以下步骤：
步骤1：使用道路检测车的车载双目激光相机系统扫描待识别路段，获取待识别路段的实时路面图像。
步骤2：根据对实时路面图像进行归一化处理。其中，i和j分别表示实时路面图像中单个像素的行号和列号，表示原始实时路面图像对应的像素值，表示经归一化处理后的实时路面图像的像素值，。
步骤3：采集多张历史路面图像，得到初始样本集；根据初始样本集建立边界样本集；从边界样本集中筛选出所有具有完整路面标线的图像，得到边界样本子集。
步骤4：分别对实时路面图像、初始样本集和边界样本子集执行A1至A3。
A1：统一所有图像的方向和像素大小。
A2：将A1处理后的每一张图像栅格化，一个栅格对应一个像素。
A3：针对A2处理后的每一张图像，设置路面背景的像素值为0，设置路面标线的像素值为1。
以左转路面标识为例，经过A2和A3处理后的图像可参考图2。需注意的是，为清楚说明栅格化和二值化处理后的图像中路面背景的像素值0与路面标线的像素值1的关系，本实施对图2中的每个栅格做了放大处理。
步骤5：对边界样本子集中经A3处理后的每一张图像执行B1至B4，得到第一训练样本集。
B1：从路面标线的轮廓线上提取出所有拐点。如图3所示
B2：针对每一个拐点所在的像素列，按像素列号升序，提取出所有像素值，得到像素值序列。
B3：针对每一个像素值序列，以像素值1对应高电平和像素值0对应低电平，生成TTL波形图；
B4：按像素行号升序，拼接所有TTL波形图。
从图3中可以看出，从左转路面标线的轮廓线上提取出了D1~D7这9个拐点，由这9个拐点可准确地标识出左转路面标线的轮廓。需说明的是，由于左转路面标线的各个拐点能够准确地标识出路面标线的轮廓，因此，经二值化处理后，包含各拐点像素值的像素值序列同样包含了能够表达标线轮廓的全部信息，即通过各像素值序列也可标识出路面标线的轮廓。以像素值序列表示路面标线轮廓线的实现原理可参考图4。
针对拐点D1所在的第3像素列，按照像素列坐标升序提取出所有像素值，得到的像素值序列为0000000011000000000000000000；针对拐点D2~D5同在第9像素列，按照像素列号升序提取出所有像素值，得到的像素值序列为0111111111111111100000000000；以同样的方式，可得到拐点D6和D7所在像素列的像素值序列为0000000011111111111111111100，拐点D8和D9所在像素列的像素值序列分别为0000000000011111111111111100。参照TTL电平信号的生成原理，若以像素值1对应高电平和像素值0对应低电平，则可将各像素值序列生成对应的TTL波形图。拐点D1所在的第3像素列对应的TTL波形图参考如图5。拐点D1~D9所在像素列对应的TTL波形图经拼接后，形成的第一训练样本如图6所示。
由于实际路况中，路面状况复杂多变，除了路面噪声，路面上还存在裂缝、灌缝和坑槽等多种病害的存在，而使用卷积神经网络对一幅复杂的路面图像逐像素的进行分类是一项极具挑战的任务，在分类过程中容易易受到路面噪声的影响尤其是各种路面病害的干扰，从而出现大量的误识别现象。而本实施例采用提取路面标线轮廓拐点（关键点），然后提取各个拐点所在像素列的像素值序列，再将像素值序列通过TTL波形图表达出来的方式进行处理。由于只提取了拐点所在像素列的像素值信息，从而可避免卷积神经网络对整幅图像进行逐像素分类，减少计算量；又由于将复杂的路面图像转换为了简单的TTL波形图，减少了复杂路面图像带来的噪声，后续让卷积神经网络只对简单的TTL波形图进行学习，使得网络从学习的速度和精度上得到提升，进而获得的路面标线识别模型能够更加准确地对路面标线进行识别，降低错误率。
步骤6：对初始样本集中经A3处理后的每一张图像执行C1和C2，得到第二训练样本集。
C1：针对每一个像素列，按像素列号升序，提取出所有像素值，得到像素值序列。
C2：执行B3和B4。
步骤7：对经A3处理后的实时路面图像执行C1和C2，得到待识别样本。
本实施例提供的方法的主要思想是通过提取路面标线的特征关键点，并将复杂的路面图像转换为简单TTL波形图，让深度卷积神经网络对简单的TTL波形图进行学习得到路面标线识别模型，让路面标线识别模型对简单的TTL波形图进行识别的方式，以此降低识别过程的计算复杂度和识别结果的错误率。因此，通过步骤5实现了利用TTL波形图构建第一训练样本之后，同样地需要通过步骤6和步骤7将初始样本集和实时路面图像转换为对应的TTL波形图，得到第二训练样本集和待识别样本。
步骤8：利用第一训练样本集和第二训练样本集训练出路面标线识别模型。
步骤9：将待识别样本输入路面标线识别模型，输出识别结果。
以下对步骤3中建立边界样本集的具体实施步骤作详细说明。
建立边界样本集包括以下步骤：
步骤3.1：对初始样本集中的历史路面图像进行分类，构建全训练样本集。具体而言，步骤3.1又通过以下步骤实现：
步骤3.1.1：从初始样本集中筛选出所有路面标线被相对运动物体遮挡的历史路面图像，得到路面标线动态缺失模式类。
步骤3.1.2：统计路面标线动态缺失模式类中历史路面图像的总数M。
步骤3.1.3：获取路面标线动态缺失模式类中每一张历史路面图像的3M张特征图像，所有的特征图像构成路面标线动态缺失模式类的N个样本，得到特征样本集。
步骤3.13：从初始样本集中随机筛选出N张具有完整路面标线的历史路面图像，得到路面标线完整模式类。
步骤3.14：从初始样本集中随机筛选出N张路面标线被静止物体遮挡的历史路面图像，得到路面标线静态缺失模式类。
步骤3.15：组合路面标线动态缺失模式类、路面标线完整模式类和路面标线静态缺失模式类，得到全训练样本集。
可知，本实施例的全训练样本包括3个模式类，即路面标线完整模式类、路面标线动态缺失模式类和路面标线静态缺失模式类。并且每个模式类都具有相同的样本个数，本实施例依据路面标线动态缺失模式类的样本数量来确定其他模式类样本的数量，不仅剔除了路面标线动态缺失模式类中的无效样本，还避免了其他模式类的陪同样本。
进一步的，步骤3.1.3中，获取3M张特征图像的实现方式如下：
步骤3.1.3.1：利用长宽比例为3:2的矩形遮盖物遮盖历史路面图像，计算获得总遮盖面积。矩形遮盖物的大小根据历史路面图像的大小和实际情况而定。例如，本实施例中，经像素大小调整后的历史路面图像的尺寸为256*128，则矩形遮盖物的尺寸可定位30*20。
步骤3.1.3.2：在矩形遮盖物遮盖情况下，从历史路面图像中提取出第一特征图像、第二特征图像和第三特征图像；第一特征图像表示矩形遮盖物遮盖最大面积的路面标线时，历史路面图像中被矩形遮盖物遮盖的图像；第二特征图像和第三特征图像均表示路面标线被矩形遮盖物遮盖的面积等于总遮盖面积的三分之一时，历史路面图像中被矩形遮盖物遮盖的图像。
步骤3.2：将全训练样本集输入隐马尔可夫模型进行训练，得到多个统计模型。具体包括第一统计模型、第二统计模型和第三统计模型。其中，第一统计模型为训练获得的路面标线动态缺失模式类的统计模型，第二统计模型为训练获得的路面标线完整模式类的统计模型，第三统计模型为训练获得的路面标线静态缺失模式类的统计模型。
步骤3.3：分别利用每一个统计模型对全训练样本集进行识别，得到多个概率集合。具体包括第一概率集合、第二概率集合和第三概率集合；第一概率集合包括经第一统计模型识别后，全训练样本中每个样本对应的概率值；第二概率集合包括经第二统计模型识别后，全训练样本中每个样本对应的概率值；第三概率集合包括经第三统计模型识别后，全训练样本中每个样本对应的概率值。概率值用｛Pi｝=｛P0，P1，...Pi，｝表示，其中P0>P1>...>Pi，i为模型序号。
步骤3.4：针对每一个概率集合，执行D1和D2，得到正样本集和负样本集。
D1：根据概率值计算获得全训练样本集中每个样本的相对概率值。相对概率值的计算方式为：当n等于0时，相对概率值Px=P0-P1；当n不等于0时，相对概率值Px=n(Pn-P0)；n表示任意一个路面标线完整模式类的样本概率。
D2：判断每一个相对概率值是否小于零，若小于零，则将对应的样本划分至负样本集，否则，将对应的样本划分至正样本集；
步骤3.5：从负样本集中筛选出多个负样本，组合筛选出的多个负样本和全部正样本，得到边界样本集。例如，筛选出x个负样本，正样本集中共有y个正样本，将x个负样本和y个正样本共同组合得到边界样本集。
总结上述步骤3.1至步骤3.5，可做如下解释说明：
一般情况下，训练数据决定了训练出的模型的性能，训练数据的数据量对于训练的影响简单地描述为：当数据量过少时，容易出现训练不足（欠训练）的问题，数据量过多，则容易出现过训练的问题。而对于路面标线这一应用场景，由于路面标线存在多种模式类型，如路面标线无损、路面标线断裂、路面标线由于井盖被迫截止，还有情况是在获取路面图片的过程中有其他行驶车辆遮挡的情形，这每一种情形都是一种模式，对于样本数据集来说，它应该尽可能地包含多种模式，以及各个模式的各个种类，而且每个种类的样本数量以及在全部数据中所占的比例应该有利于模型的建立和评价，而问题在于一个模式体现在样本数据上千差万别，人工难以进行正确地分类，而且对于每种类别的样本数据量的比例也难以确定；采集能够全面覆盖该模式所有种类的样本数据集是比较困难的，在实际工作中，常常只能得到一定数量的样本数据；再通过人工挑选的方法来选择训练数据，这种方法的主要缺点在于对人的依赖性大，不同的人挑选的结果是不同的，而且人工挑选的样本不一定满足训练的要求，此外，在大样本集的情况下，人工挑选是非常费力费时的；为此，本实施例基于隐马尔科夫模型对全训练样本进行训练得到各模式类的模型，综合分析不同训练样本数据对训练的影响，提划分出负样本集和正样本集，从隐马尔科夫模型的统计特性的角度来说，在统计模式识别中所采用的训练机制，与数据分布有极大的关系，如果某种模式类别的数据量越多，它在训练出的模型中所起的作用就越大；训练样本中，好样本的存在，可以使得训练出的模式类区域更加紧凑，不同模式类区域间隔更大，但好样本数目太多，容易使得训练出的模式类区域过于狭小，从而增加了边界样本和差样本的误识风险；训练样本中，差样本的存在可能使得训练出的模式类区域尽可能地大，同时也使得不同模式类区域之间容易产生重叠，增大了分类误差；而用边界样本进行训练，则可使训练出的类区域尽量大，而相邻类区域尽量没有重叠，此时分类性能最佳，即边界样本标记了模式类区域的边界，使得图像分割识别模型在识别实时的路面图像数据时对标线缺陷的分类更精准，为后续准确的恢复奠定基础。
传统的训练过程中，在确定训练样本时，通常是直接确定好样本和坏样本的比例和数量，而这会忽略了样本数据的分布问题，导致训练得到的模型在进行实时数据识别过程中比较粗糙，影响识别精度；本方案基于隐马尔科夫模型对全训练样本进行训练时，主要以边界样本集进行训练，而边界样本集的获取是基于相对概率值Px而非直接随机采集，在以边界样本集进行训练时，相对概率值Px的取值范围更小一些（最大的相对概率值Px值变小，最小的相对概率值Px值变大），即样本分布的更集中一些，其主要原因在于相对概率值Px特别大的正样本没有参与训练，因而它们的相对概率值Px减小，同时由于只采用边界样本训练，使得每个模式类的类区域扩大了，从而提高了负样本的相对概率值Px值，某些负样本的相对概率值Px值由负变正，进入到能够迅速被隐马尔科夫模型识别。
对于路面标线存在的路面标线无损、路面标线断裂、路面标线由于井盖被迫截止，及获取路面图片的过程中有其他行驶车辆遮挡的情形，这里归类为路面标线完整模式类、路面标线动态缺失模式类和路面标线静态缺失模式类三种类型；对于路面标线动态缺失模式类主要包含路面标线被相对运动的车辆或其他物体所遮挡，在整个相对运动过程中会连续采集到多个图片样本，为了使样本更具有代表性，筛选出特征图像作为样本数据，这样就剔除了大量的无用数据。对于路面标线静态缺失模式类如路面标线被静止的物体遮盖，对于路面标线断裂或由于井盖等设施被迫中断的情形也等同于路面标线被静止的物体遮盖的情景；以此分类构建出的全训练样本的每个模式类包含了路面标线被遮盖多种情形的样本，丰富了全训练样本的类型。
接下来，对步骤8中训练路面标线识别模型的具体实施方式做如下说明：
训练路面标线识别模型的整体实施流程可参考图7，其详细所述步骤如下：
步骤8.1：通过如图8所示的HRnet卷积网络对第一训练样本集和第二训练样本集进行特征提取，并逐步增加高分辨率到低分辨率的子网，得到尺寸为N/4的特征信息图、尺寸为N/8的特征信息图、尺寸为N/16的特征信息图和尺寸为N/32的特征信息图，用于解码器中多尺度特征信息的构建和局部细节目标的恢复。
具体的，对路面图像数据通过HRNet初步特征提取得到特征层。为了便于描述，从上到下依次以stage1、stage2、stage3、stage4命名，对应的并行卷积流的数量分别为4、3、2、1。每个卷积流包含四个残差单元，残差单元包含两个3×3卷积，其中“Conv.”代表卷积。每次卷积后依次应用BN和ReLU，解决非线性激活问题。另外，四个并行分支的通道数分别为C、2C、4C和8C，对应的分辨率分别为1/4、1/8、1/16和1/32。其中信道数C为32。输入图像后，通过两次3×3 Conv. + BN + ReLU运算，将卷积层的通道数增加到64，分辨率降低到1/4。同一阶段，将高分辨率到低分辨率的卷积流并行连接。在相邻阶段之间，对高分辨率到低分辨率卷积流进行分支扩展和特征融合。通过将高分辨率和低分辨率卷积流并行连接，反复融合多尺度分辨率信息。
步骤8.2：通过双线性插值，分别将尺寸为N/8的特征信息图、尺寸为N/16的特征信息图和尺寸为N/32的特征信息图上采样到尺寸为N/4的特征信息图。
步骤8.3：将四个尺寸为N/4的特征信息图进行特征拼接融合，得到融合特征图像。
步骤8.4：将融合特征图像输入RFB模块，通过扩展感受野机制对融合特征图像进行特征细化提取。
步骤8.2至步骤8.4可具体描述为：对尺寸为N/8、N/16和N/32的特征信息图分别进行双线性插值上采样到尺寸为N/4的特征图，将四个尺寸为N/4的特征图进行特征拼接融合得到融合特征图像；将融合特征输入“RFB”模块，利用其特有的扩展感受野机制对上述输入进行特征细化提取，并总结特征表示，得到新的输出。其中，RFB模块结构如图9所示。RFB是一种常用的扩展feature maps感受野的模型，由具有不同内核的多分支卷积层和具有不同膨胀率的膨胀卷积层组成。其处理步骤为：S11、在各个分支中进行“Conv 1×1 (stride=1)+ BN + ReLU”来减少输入特征映射的通道数，以聚集信息，然后对前三个分支并行执行一系列卷积和扩张卷积操作；S12、对前三个分支进行“Concatenate”，然后进行“Conv 1×1(stride=1) + BN”，逐渐恢复到与原始feature maps输入相同(H, W)；S13：将上述输出与“Shortcut”输出进行“Add”操作，最后再经过“ReLU”激活函数处理，输出结果。
步骤8.5：利用CAM注意力机制对经特征细化提取后的图像构建全局信息，得到全局特征图。
具体的，CAM模块结构如图10所示，利用CAM注意力机制对经特征细化提取后的图像构建全局信息的处理步骤处理流程参考为：S21、分别对输入feature maps A进行transpose和reshape操作得到B、C和D；S22、将C和D进行矩阵相乘然后通过一个softmax函数得到通道注意力特征图；S23、将通道注意力特征图与B进行矩阵相乘；S24、将得到的结果与输入特征A进行逐元素相加得到输出特征。
步骤8.6：通过双线性插值的方式对全局特征图进行四倍上采样。
步骤8.7：利用卷积核为1×1的Conv2D函数对上采样后的全局特征图进行尺寸调整，得到尺寸为256×512×1的全局特征图。
步骤8.6和步骤8.7可具体解释为：对步骤8.5得到的feature maps先通过双线性插值上采样四倍，然后通过“Conv 1×1 (stride=1)”操作来调整通道数，此时featuremaps的尺寸为（256,512,1）。
步骤8.8：利用Sigmoid激活函数对尺寸为256×512×1的全局特征图进行处理，得到取值范围为0~1的权重值。
步骤8.9：根据权重值和第一训练样本集进行重复反向传播训练，直到获得最优权重矩阵。
步骤8.10：基于最优权重矩阵得到路面标线识别模型。
步骤8.8至步骤8.10可具体解释为：对步骤8.7的feature maps进行“Sigmoid”激活函数处理，得到一个值在（0,1）的权重值，然后基于归一化和二值化处理后的路面真值数据重复反向传播训练网络直到获得最优权重矩阵，最终基于最优权重矩阵得到图像分割识别模型。
进一步的，在网络不断的反向传播训练中，非目标像素的权重就会逐渐变小，而目标物体像素的权重就会逐渐增加，直到达到一个最优的权重矩阵。Dice Loss是用于监测网络识别的结果和路面真值图像之间重合度的损失函数，损失函数的值越小，代表网络识别的结果和路面真值图像越接近。
实施例2
本实施例基于传统的PSPNet算法模型、Deeplabv3+算法模型、SegFormer算法模型、U-net算法模型及上述实施例的图像分割识别模型进行对1500张实测的路面图像数据进行测试，各个算法网络的指标表现如下表：
其中指标采用了目前智能算法领域最具代表性的四个指标，即召回率、精确率、F1-Score分数和交并比IOU，其得分数值越大，说明算法模型的泛化能力和性能越优。值得一提的是，F1-Score指标是Recall和Precision的调和平均数：
F1-Score=2*Recall*Precision/(Recall+Precision))；
可以更加综合的反应算法网络的性能优异。从上表可以看出，和目前主流的网络模型：PSPNet、Deeplabv3+、SegFormer、U-net相比，本发明提出的图像分割识别模型在标线的识别上具有明显的优势。
实施例3
与实施例1对应的，本实施例提供一种路面标线识别系统，包括图像接收模块、初始样本集构建模块、边界样本集构建模块、边界样本子集构建模块、图像处理模块、第一训练样本集生成模块、第二训练样本集生成模块、待识别样本生成模块、模型训练模块和图像识别模块。
其中，图像接收模块，用于接收获取的实时路面图像和采集的多张历史路面图像，并将实时路面图像输入图像处理模块。初始样本集构建模块，用于根据采集的多张历史路面图像建立初始样本集，并将初始样本集的所有图像输入图像处理模块。边界样本集构建模块，用于根据初始样本集建立边界样本集。边界样本子集构建模块，用于从边界样本集中筛选出所有具有完整路面标线的图像，得到边界样本子集，并将边界样本子集的所有图像输入图像处理模块。图像处理模块，用于对来自图像接收模块、初始样本集构建模块和边界样本子集构建模块的所有图像的方向和像素大小调整至相同，将调整后的每一张图像栅格化，一个栅格对应一个像素，对栅格化后的每一张图像进行二值化，设置路面背景的像素值为0，设置路面标线的像素值为1，将处理后的图像输入第一训练样本集生成模块、第二训练样本集生成模块和待识别样本生成模块。第一训练样本集生成模块，用于对来自图像处理模块的图像进行处理，生成第一训练样本，输出每张图像对应的第一训练样本得到第一训练样本集；处理方式包括从图像的路面标线的轮廓线上提取出所有拐点，针对每一个拐点所在的像素列，按像素列号升序提取出所有像素值，得到像素值序列，针对每一个像素值序列，以像素值1对应高电平和像素值0对应低电平生成TTL波形图，按像素行号升序，拼接所有TTL波形图。第二训练样本集生成模块，用于对来图像处理模块的图像进行处理，生成第二训练样本，输出每张图像对应的第二训练样本得到第二训练样本集；处理方式包括：针对每一个像素列，按像素列号升序，提取出所有像素值，得到像素值序列，针对每一个像素值序列，以像素值1对应高电平和像素值0对应低电平生成TTL波形图，按像素行号升序，拼接所有TTL波形图。待识别样本生成模块，用于对来图像处理模块的图像进行处理，生成待识别样本；处理方式包括：针对每一个像素列，按像素列号升序，提取出所有像素值，得到像素值序列，针对每一个像素值序列，以像素值1对应高电平和像素值0对应低电平生成TTL波形图，按像素行号升序，拼接所有TTL波形图。模型训练模块，用于利用第一训练样本集和第二训练样本集训练出路面标线识别模型。图像识别模块，用于将待识别样本输入路面标线识别模型，输出识别结果。
进一步的，边界样本集构建模块构建模块包括全训练样本集构建单元、统计模型生成单元、概率集合生成单元、正样本集生成单元和边界样本集生成单元。其中，全训练样本集构建单元，用于对初始样本集中的历史路面图像进行分类，构建全训练样本集。统计模型生成单元，用于将全训练样本集输入隐马尔可夫模型进行训练，得到多个统计模型。概率集合生成单元，用于利用每一个统计模型对全训练样本集进行识别，得到多个概率集合。正样本集生成单元，用于根据每一个概率集合的概率值计算获得全训练样本集中每个样本的相对概率值，判断每一个相对概率值是否小于零，若小于零，则将对应的样本划分至负样本集，否则，将对应的样本划分至正样本集。边界样本集生成单元，用于从负样本集中筛选出多个负样本，组合筛选出的多个负样本和全部正样本，得到边界样本集。
全训练样本集构建单元包括第一图像筛选子单元、数据统计子单元、特征样本集生成子单元、第二图像筛选子单元、第三图像筛选子单元和模式类组合子单元。其中，第一图像筛选子单元，用于从初始样本集中筛选出所有路面标线被相对运动物体遮挡的历史路面图像，得到路面标线动态缺失模式类。数据统计子单元，用于统计路面标线动态缺失模式类中历史路面图像的总数M。特征样本集生成子单元，用于获取路面标线动态缺失模式类中每一张历史路面图像的多张特征图像，建立特征样本集；特征样本集中包含N张特征图像，N=3M。第二图像筛选子单元，用于从初始样本集中随机筛选出N张具有完整路面标线的历史路面图像，得到路面标线完整模式类。第三图像筛选子单元，用于从初始样本集中随机筛选出N张路面标线被静止物体遮挡的历史路面图像，得到路面标线静态缺失模式类。模式类组合子单元，用于组合路面标线动态缺失模式类、路面标线完整模式类和路面标线静态缺失模式类，得到全训练样本集。
模型训练模块包括初始特征提取单元、特征信息图处理单元、特征融合单元、细化特征提取单元、全局特征图生成单元、上采样处理单元、数据通道调整单元、激活函数处理单元、最优权重矩阵获取单元和模型输出单元。其中，初始特征提取单元，用于通过HRnet卷积网络对第一训练样本集和第二训练样本集进行特征提取，并逐步增加高分辨率到低分辨率的子网，得到尺寸为N/4的特征信息图、尺寸为N/8的特征信息图、尺寸为N/16的特征信息图和尺寸为N/32的特征信息图。特征信息图处理单元，用于通过双线性插值，分别将尺寸为N/8的特征信息图、尺寸为N/16的特征信息图和尺寸为N/32的特征信息图上采样到尺寸为N/4的特征信息图。特征融合单元，用于将四个尺寸为N/4的特征信息图进行特征拼接融合，得到融合特征图像。细化特征提取单元，对融合特征图像通过扩展感受野机制对融合特征图像进行特征细化提取。全局特征图生成单元，用于利用CAM注意力机制对经特征细化提取后的图像构建全局信息，得到全局特征图。上采样处理单元，用于通过双线性插值的方式对全局特征图进行四倍上采样。数据通道调整单元，用于利用卷积核为1×1的Conv2D函数对上采样后的全局特征图进行尺寸调整，得到尺寸为256×512×1的全局特征图。激活函数处理单元，用于利用Sigmoid激活函数对尺寸为256×512×1的全局特征图进行处理，得到取值范围为0~1的权重值。最优权重矩阵获取单元，用于根据权重值和第一训练样本集进行重复反向传播训练，直到获得最优权重矩阵。模型输出单元，用于基于最优权重矩阵输出路面标线识别模型。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种路面标线识别方法，其特征在于，包括以下步骤：
获取待识别路段的实时路面图像；采集多张历史路面图像，得到初始样本集；根据初始样本集建立边界样本集；从边界样本集中筛选出所有具有完整路面标线的图像，得到边界样本子集；
分别对实时路面图像、初始样本集和边界样本子集执行A1至A3；
A1：统一所有图像的方向和像素大小；A2：将A1处理后的每一张图像栅格化，一个栅格对应一个像素；A3：针对A2处理后的每一张图像，设置路面背景的像素值为0，设置路面标线的像素值为1；
对边界样本子集中经A3处理后的每一张图像执行B1至B4，得到第一训练样本集；
B1：从路面标线的轮廓线上提取出所有拐点；B2：针对每一个拐点所在的像素列，按像素列号升序，提取出所有像素值，得到像素值序列；B3：针对每一个像素值序列，以像素值1对应高电平和像素值0对应低电平，生成TTL波形图；B4：按像素行号升序，拼接所有TTL波形图；
对初始样本集中经A3处理后的每一张图像执行C1和C2，得到第二训练样本集；
C1：针对每一个像素列，按像素列号升序，提取出所有像素值，得到像素值序列；C2：执行B3和B4；
对经A3处理后的实时路面图像执行C1和C2，得到待识别样本；
利用第一训练样本集和第二训练样本集训练出路面标线识别模型；
将待识别样本输入路面标线识别模型，输出识别结果。
2.根据权利要求1所述的一种路面标线识别方法，其特征在于，建立边界样本集包括以下步骤：
对初始样本集中的历史路面图像进行分类，构建全训练样本集；
将全训练样本集输入隐马尔可夫模型进行训练，得到多个统计模型；
分别利用每一个统计模型对全训练样本集进行识别，得到多个概率集合；
针对每一个概率集合，执行D1和D2，得到正样本集和负样本集；
D1：根据概率值计算获得全训练样本集中每个样本的相对概率值；
D2：判断每一个相对概率值是否小于零，若小于零，则将对应的样本划分至负样本集，否则，将对应的样本划分至正样本集；
从负样本集中筛选出多个负样本，组合筛选出的多个负样本和全部正样本，得到边界样本集。
3.根据权利要求2所述的一种路面标线识别方法，其特征在于，构建全样本集包括以下步骤：
从初始样本集中筛选出所有路面标线被相对运动物体遮挡的历史路面图像，得到路面标线动态缺失模式类；
统计路面标线动态缺失模式类中历史路面图像的总数M；
获取路面标线动态缺失模式类中每一张历史路面图像的多张特征图像，建立特征样本集；特征样本集中包含N张特征图像，N=3M；
从初始样本集中随机筛选出N张具有完整路面标线的历史路面图像，得到路面标线完整模式类；
从初始样本集中随机筛选出N张路面标线被静止物体遮挡的历史路面图像，得到路面标线静态缺失模式类；
组合路面标线动态缺失模式类、路面标线完整模式类和路面标线静态缺失模式类，得到全训练样本集。
4.根据权利要求3所述的一种路面标线识别方法，其特征在于，获取多个特征图像包括以下步骤：
利用长宽比例为3:2的矩形遮盖物遮盖历史路面图像，计算获得总遮盖面积；
在矩形遮盖物遮盖情况下，从历史路面图像中提取出第一特征图像、第二特征图像和第三特征图像；第一特征图像表示矩形遮盖物遮盖最大面积的路面标线时，历史路面图像中被矩形遮盖物遮盖的图像；第二特征图像和第三特征图像均表示路面标线被矩形遮盖物遮盖的面积等于总遮盖面积的三分之一时，历史路面图像中被矩形遮盖物遮盖的图像。
5.根据权利要求3或4所述的一种路面标线识别方法，其特征在于，
多个统计模型包括第一统计模型、第二统计模型和第三统计模型；第一统计模型为训练获得的路面标线动态缺失模式类的统计模型，第二统计模型为训练获得的路面标线完整模式类的统计模型，第三统计模型为训练获得的路面标线静态缺失模式类的统计模型；
多个概率集合包括第一概率集合、第二概率集合和第三概率集合；第一概率集合包括经第一统计模型识别后，全训练样本中每个样本对应的概率值；第二概率集合包括经第二统计模型识别后，全训练样本中每个样本对应的概率值；第三概率集合包括经第三统计模型识别后，全训练样本中每个样本对应的概率值。
6.根据权利要求1所述的一种路面标线识别方法，其特征在于，训练路面标线识别模型包括以下步骤：
通过HRnet卷积网络对第一训练样本集和第二训练样本集进行特征提取，并逐步增加高分辨率到低分辨率的子网，得到尺寸为N/4的特征信息图、尺寸为N/8的特征信息图、尺寸为N/16的特征信息图和尺寸为N/32的特征信息图；
通过双线性插值，分别将尺寸为N/8的特征信息图、尺寸为N/16的特征信息图和尺寸为N/32的特征信息图上采样到尺寸为N/4的特征信息图；
将四个尺寸为N/4的特征信息图进行特征拼接融合，得到融合特征图像；
将融合特征图像输入RFB模块，通过扩展感受野机制对融合特征图像进行特征细化提取；
利用CAM注意力机制对经特征细化提取后的图像构建全局信息，得到全局特征图；
通过双线性插值的方式对全局特征图进行四倍上采样；
利用卷积核为1×1的Conv2D函数对上采样后的全局特征图进行尺寸调整，得到尺寸为256×512×1的全局特征图；
利用Sigmoid激活函数对尺寸为256×512×1的全局特征图进行处理，得到取值范围为0~1的权重值；
根据权重值和第一训练样本集进行重复反向传播训练，直到获得最优权重矩阵；
基于最优权重矩阵得到路面标线识别模型。
7.一种路面标线识别系统，其特征在于，包括
图像接收模块，用于接收获取的实时路面图像和采集的多张历史路面图像，并将实时路面图像输入图像处理模块；
初始样本集构建模块，用于根据采集的多张历史路面图像建立初始样本集，并将初始样本集的所有图像输入图像处理模块；
边界样本集构建模块，用于根据初始样本集建立边界样本集；
边界样本子集构建模块，用于从边界样本集中筛选出所有具有完整路面标线的图像，得到边界样本子集，并将边界样本子集的所有图像输入图像处理模块；
图像处理模块，用于对来自图像接收模块、初始样本集构建模块和边界样本子集构建模块的所有图像的方向和像素大小调整至相同，将调整后的每一张图像栅格化，一个栅格对应一个像素，对栅格化后的每一张图像进行二值化，设置路面背景的像素值为0，设置路面标线的像素值为1，将处理后的图像输入第一训练样本集生成模块、第二训练样本集生成模块和待识别样本生成模块；
第一训练样本集生成模块，用于对来自图像处理模块的图像进行处理，生成第一训练样本，输出每张图像对应的第一训练样本得到第一训练样本集；处理方式包括从图像的路面标线的轮廓线上提取出所有拐点，针对每一个拐点所在的像素列，按像素列号升序提取出所有像素值，得到像素值序列，针对每一个像素值序列，以像素值1对应高电平和像素值0对应低电平生成TTL波形图，按像素行号升序，拼接所有TTL波形图；
第二训练样本集生成模块，用于对来图像处理模块的图像进行处理，生成第二训练样本，输出每张图像对应的第二训练样本得到第二训练样本集；处理方式包括：针对每一个像素列，按像素列号升序，提取出所有像素值，得到像素值序列，针对每一个像素值序列，以像素值1对应高电平和像素值0对应低电平生成TTL波形图，按像素行号升序，拼接所有TTL波形图；
待识别样本生成模块，用于对来图像处理模块的图像进行处理，生成待识别样本；处理方式包括：针对每一个像素列，按像素列号升序，提取出所有像素值，得到像素值序列，针对每一个像素值序列，以像素值1对应高电平和像素值0对应低电平生成TTL波形图，按像素行号升序，拼接所有TTL波形图；
模型训练模块，用于利用第一训练样本集和第二训练样本集训练出路面标线识别模型；
图像识别模块，用于将待识别样本输入路面标线识别模型，输出识别结果。
8.根据权利要求7所述的一种路面标线识别系统，其特征在于，边界样本集构建模块构建模块包括
全训练样本集构建单元，用于对初始样本集中的历史路面图像进行分类，构建全训练样本集；
统计模型生成单元，用于将全训练样本集输入隐马尔可夫模型进行训练，得到多个统计模型；
概率集合生成单元，用于利用每一个统计模型对全训练样本集进行识别，得到多个概率集合；
正样本集生成单元，用于根据每一个概率集合的概率值计算获得全训练样本集中每个样本的相对概率值，判断每一个相对概率值是否小于零，若小于零，则将对应的样本划分至负样本集，否则，将对应的样本划分至正样本集；
边界样本集生成单元，用于从负样本集中筛选出多个负样本，组合筛选出的多个负样本和全部正样本，得到边界样本集。
9.根据权利要求8所述的一种路面标线识别系统，其特征在于，全训练样本集构建单元包括
第一图像筛选子单元，用于从初始样本集中筛选出所有路面标线被相对运动物体遮挡的历史路面图像，得到路面标线动态缺失模式类；
数据统计子单元，用于统计路面标线动态缺失模式类中历史路面图像的总数M；
特征样本集生成子单元，用于获取路面标线动态缺失模式类中每一张历史路面图像的多张特征图像，建立特征样本集；特征样本集中包含N张特征图像，N=3M；
第二图像筛选子单元，用于从初始样本集中随机筛选出N张具有完整路面标线的历史路面图像，得到路面标线完整模式类；
第三图像筛选子单元，用于从初始样本集中随机筛选出N张路面标线被静止物体遮挡的历史路面图像，得到路面标线静态缺失模式类；
模式类组合子单元，用于组合路面标线动态缺失模式类、路面标线完整模式类和路面标线静态缺失模式类，得到全训练样本集。
10.根据权利要求7-9中任一所述的一种路面标线识别系统，其特征在于，模型训练模块包括
初始特征提取单元，用于通过HRnet卷积网络对第一训练样本集和第二训练样本集进行特征提取，并逐步增加高分辨率到低分辨率的子网，得到尺寸为N/4的特征信息图、尺寸为N/8的特征信息图、尺寸为N/16的特征信息图和尺寸为N/32的特征信息图；
特征信息图处理单元，用于通过双线性插值，分别将尺寸为N/8的特征信息图、尺寸为N/16的特征信息图和尺寸为N/32的特征信息图上采样到尺寸为N/4的特征信息图；
特征融合单元，用于将四个尺寸为N/4的特征信息图进行特征拼接融合，得到融合特征图像；
细化特征提取单元，对融合特征图像通过扩展感受野机制对融合特征图像进行特征细化提取；
全局特征图生成单元，用于利用CAM注意力机制对经特征细化提取后的图像构建全局信息，得到全局特征图；
上采样处理单元，用于通过双线性插值的方式对全局特征图进行四倍上采样；
数据通道调整单元，用于利用卷积核为1×1的Conv2D函数对上采样后的全局特征图进行尺寸调整，得到尺寸为256×512×1的全局特征图；
激活函数处理单元，用于利用Sigmoid激活函数对尺寸为256×512×1的全局特征图进行处理，得到取值范围为0~1的权重值；
最优权重矩阵获取单元，用于根据权重值和第一训练样本集进行重复反向传播训练，直到获得最优权重矩阵；
模型输出单元，用于基于最优权重矩阵输出路面标线识别模型。
CN202310201596.0A 2023-03-06 2023-03-06 一种路面标线识别方法及系统 Active CN116071725B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310201596.0A CN116071725B (zh) 2023-03-06 2023-03-06 一种路面标线识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310201596.0A CN116071725B (zh) 2023-03-06 2023-03-06 一种路面标线识别方法及系统

Publications (2)

Publication Number Publication Date
CN116071725A true CN116071725A (zh) 2023-05-05
CN116071725B CN116071725B (zh) 2023-08-08

Family

ID=86176879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310201596.0A Active CN116071725B (zh) 2023-03-06 2023-03-06 一种路面标线识别方法及系统

Country Status (1)

Country Link
CN (1) CN116071725B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310764A (zh) * 2023-05-18 2023-06-23 西南交通大学 一种路面井盖智能检测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718870A (zh) * 2016-01-15 2016-06-29 武汉光庭科技有限公司 自动驾驶中基于前向摄像头的道路标线提取方法
CN109101924A (zh) * 2018-08-14 2018-12-28 武汉大学 一种基于机器学习的路面交通标志识别方法
CN112785545A (zh) * 2019-11-06 2021-05-11 杭州海康威视数字技术股份有限公司 一种异常灯珠定位方法、装置及存储介质
CN112801049A (zh) * 2021-03-26 2021-05-14 北京至真互联网技术有限公司 图像分类方法和装置及设备
CN114387328A (zh) * 2021-12-22 2022-04-22 西安理工大学 基于深度学习模型和岩心图像的rqd计算方法
CN115546768A (zh) * 2022-12-01 2022-12-30 四川蜀道新能源科技发展有限公司 基于多尺度机制和注意力机制的路面标线识别方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718870A (zh) * 2016-01-15 2016-06-29 武汉光庭科技有限公司 自动驾驶中基于前向摄像头的道路标线提取方法
CN109101924A (zh) * 2018-08-14 2018-12-28 武汉大学 一种基于机器学习的路面交通标志识别方法
CN112785545A (zh) * 2019-11-06 2021-05-11 杭州海康威视数字技术股份有限公司 一种异常灯珠定位方法、装置及存储介质
CN112801049A (zh) * 2021-03-26 2021-05-14 北京至真互联网技术有限公司 图像分类方法和装置及设备
WO2022198898A1 (zh) * 2021-03-26 2022-09-29 北京至真互联网技术有限公司 图像分类方法和装置及设备
CN114387328A (zh) * 2021-12-22 2022-04-22 西安理工大学 基于深度学习模型和岩心图像的rqd计算方法
CN115546768A (zh) * 2022-12-01 2022-12-30 四川蜀道新能源科技发展有限公司 基于多尺度机制和注意力机制的路面标线识别方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DEJIN ZHANG 等: "Automatic road-marking detection and measurement from laser-scanning 3D profile data", 《AUTOMATION IN CONSTRUCTION》, pages 1 - 14 *
HUSAN VOKHIDOV 等: "Recognition of Damage arrow- road marking by visible light camera sensor based on convolutional neural network", 《SENSORS》, vol. 16, no. 12, pages 1 - 16 *
胡振邦;蔡之华;: "基于角点检测与颜色连贯性分析的车牌定位算法", 《计算机应用与软件》, vol. 29, no. 07, pages 63 - 66 *
许亚杰: "基于机器视觉的车票票面信息识别系统研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》, pages 033 - 119 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310764A (zh) * 2023-05-18 2023-06-23 西南交通大学 一种路面井盖智能检测方法及系统
CN116310764B (zh) * 2023-05-18 2023-07-21 西南交通大学 一种路面井盖智能检测方法及系统

Also Published As

Publication number Publication date
CN116071725B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN110501018B (zh) 一种服务于高精度地图生产的交通标志牌信息采集方法
CN105160309B (zh) 基于图像形态学分割及区域生长的三车道检测方法
CN112949633B (zh) 一种基于改进YOLOv3的红外目标检测方法
Wu et al. Automatic road extraction from high-resolution remote sensing images using a method based on densely connected spatial feature-enhanced pyramid
CN104298976B (zh) 基于卷积神经网络的车牌检测方法
CN107506763A (zh) 一种基于卷积神经网络的多尺度车牌精准定位方法
CN105354568A (zh) 基于卷积神经网络的车标识别方法
CN115717894B (zh) 一种基于gps和普通导航地图的车辆高精度定位方法
CN113095152A (zh) 一种基于回归的车道线检测方法及系统
CN111985316A (zh) 一种用于道路智能清扫的路面垃圾感知方法
CN103413145A (zh) 基于深度图像的关节点定位方法
CN116071725B (zh) 一种路面标线识别方法及系统
CN111931683B (zh) 图像识别方法、装置及计算机可读存储介质
Tang et al. Integrated feature pyramid network with feature aggregation for traffic sign detection
CN113239725B (zh) 一种等待过街行人及过街方向识别方法及系统
CN111160328A (zh) 一种基于语义分割技术的交通标线自动提取的方法
CN111462140A (zh) 一种基于区块拼接的实时图像实例分割方法
CN114913498A (zh) 一种基于关键点估计的并行多尺度特征聚合车道线检测方法
CN114612883A (zh) 一种基于级联ssd和单目深度估计的前向车辆距离检测方法
CN115049640A (zh) 一种基于深度学习的道路裂缝检测方法
CN104331708B (zh) 一种人行横道线自动检测分析方法及系统
CN117437615A (zh) 雾天交通标志检测方法、装置、存储介质和电子设备
CN113033363A (zh) 一种基于深度学习的车辆稠密目标检测方法
CN108830182B (zh) 一种基于级联卷积神经网络的道线检测方法
Prakash et al. Enhancing traffic sign recognition (TSR) by classifying deep learning models to promote road safety

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant