CN112464737A - 道路标线的检测与识别方法、电子装置和存储介质 - Google Patents

道路标线的检测与识别方法、电子装置和存储介质 Download PDF

Info

Publication number
CN112464737A
CN112464737A CN202011218902.4A CN202011218902A CN112464737A CN 112464737 A CN112464737 A CN 112464737A CN 202011218902 A CN202011218902 A CN 202011218902A CN 112464737 A CN112464737 A CN 112464737A
Authority
CN
China
Prior art keywords
road
marking
image
road marking
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011218902.4A
Other languages
English (en)
Other versions
CN112464737B (zh
Inventor
杜心语
王弘玥
余天明
张轩丞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Yuce Technology Co ltd
Original Assignee
Zhejiang Yuce Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Yuce Technology Co ltd filed Critical Zhejiang Yuce Technology Co ltd
Priority to CN202011218902.4A priority Critical patent/CN112464737B/zh
Publication of CN112464737A publication Critical patent/CN112464737A/zh
Application granted granted Critical
Publication of CN112464737B publication Critical patent/CN112464737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及一种道路标线的检测与识别方法、电子装置和存储介质，其中，该道路标线的检测与识别方法包括：获取基于不同架设角度、不同架设高度以及不同分辨率的摄像机采集的道路监控图像训练的深度学习网络；采集道路监控视频，从道路监控视频中抽取待检测图像；使用深度学习网络对待检测图像中的道路标线进行检测，得到用于表示待检测图像中各种类型的道路标线的候选位置及置信度的检测结果；将检测结果依据道路标线的类型及其置信度进行后处理，并根据后处理结果从候选位置中确定该道路标线的选定位置。通过本申请，解决了架设角度、架设高度和拍摄分辨率不统一的高速公路监控场景中道路标线无法识别的问题，提高了高速公路事件检测的效率。

Description

道路标线的检测与识别方法、电子装置和存储介质
技术领域
本申请涉及计算机视觉领域，特别是涉及道路标线的检测与识别方法、电子装置和存储介质。
背景技术
为保障高速公路的交通安全及通畅，及时发现不同类型的高速事件并解决，当前高速公路上每隔一段距离均架设有型号不一的监控摄像机。目前对于高速事件的发现主要有人工和算法检测两种方式，随着人工智能技术的兴起，算法检测已经开始逐步代替人工。高速公路路面上的道路交通标线的检测和识别为高速事件检测算法提供最基础的输入，其效果极大影响了高速事件的检测精度。
目前的道路交通标线检测方法均基于拍摄设备固定、拍摄视角固定、视频分辨率及成像质量等固定的车载视频拍摄设备，无法应用在架设角度不一、架设高度不一、成像质量不一、拍摄分辨率不一的高速公路监控场景中。
目前针对相关技术中不能应用在架设角度不一、架设高度不一、成像质量不一、拍摄分辨率不一的高速公路监控场景中，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种道路标线的检测与识别方法、装置、系统、电子装置和存储介质，以至少解决相关技术中在架设角度不一、架设高度不一、成像质量不一、拍摄分辨率不一的高速公路监控场景中交通标线无法检测和识别的问题。
第一方面，本申请实施例提供了一种道路标线的检测与识别方法，包括：
获取基于不同架设角度、不同架设高度以及不同分辨率的摄像机采集的道路监控图像训练的深度学习网络；
采集道路监控视频，从道路监控视频中抽取待检测图像；
使用深度学习网络对待检测图像中的道路标线进行检测，得到用于表示待检测图像中各种类型的道路标线的候选位置及置信度的检测结果；
将检测结果依据道路标线的类型及其置信度进行后处理，并根据后处理结果从候选位置中确定该道路标线的选定位置。
在其中一些实施例中，获取基于不同架设角度、不同架设高度以及不同分辨率的摄像机采集的道路监控图像训练的深度学习网络包括：
获取基于不同架设角度、不同架设高度以及不同分辨率的摄像机采集的道路监控图像；
标注道路监控图像中的道路标线，得到标注后数据；
根据标注后数据得到标准模板图像；
输入道路监控图像至深度学习网络，获取网络预测值，根据网络预测值和标准模板图像获取损失值，根据损失值对深度学习网络进行训练。
在其中一些实施例中，标注道路监控图像中的道路标线，得到标注后数据包括：
标注道路监控图像中的各种类型道路标线并标注其对应的类型，其中，道路标线类型包括车行道边缘线、道路出入口标线、可跨越同向车行道分界线、导向箭头和导流线，对于车行道边缘线和道路出入口标线，标注其转折点坐标，对于导向箭头，使用四边形进行标注，对于导流线，使用多边形进行标注，对于可跨越同向车行道分界线，标注其转折点的坐标、线的种类和与虚线段连接的两个端点坐标。
在其中一些实施例中，将检测结果依据道路标线的类型及其置信度进行后处理，并根据后处理结果从候选位置中确定该道路标线的选定位置之后包括：
根据道路标线的选定位置在道路监控视频中标记出对应的道路标线。
在其中一些实施例中，根据道路标线的选定位置在道路监控视频中标记出对应的道路标线之后包括：
通过拟合将道路标线分为N段直线，通过聚类将N段直线分为M组直线，通过拟合确定M组直线的消失点，其中M和N是大于1的正整数；
判断P帧图像的所述消失点是否变化，若是，确定所述摄像机发生移动和/或变焦，其中，P是大于1的正整数。
在其中一些实施例中，使用深度学习网络对待检测图像中的道路标线进行检测，得到用于表示待检测图像中各种类型的道路标线的候选位置及置信度的检测结果包括：
将待检测图像输入深度学习网络，得到各种类型的道路标线的掩膜图像，掩膜图像中的每个像素存放第一数据，第一数据表示对应类型的道路标线在该像素中的置信度。
在其中一些实施例中，将检测结果依据道路标线的类型及其置信度进行后处理，并根据后处理结果从候选位置中确定该道路标线的选定位置包括：
在道路标线是车行道边缘线的情况下，设置第一阈值，将第一数据大于第一阈值的对应像素值置为第一数值，将第一数据小于第一阈值的对应像素值置为第二数值，得到第一二值图像；
预处理第一二值图像去除异常像素点，获取车行道边缘线的候选位置；
获取车行道边缘线的候选位置处像素点之间的欧式距离，判断欧式距离是否小于第六阈值，若是，采样车行道边缘线的候选位置，得到车行道边缘线的选定位置。
在其中一些实施例中，将检测结果依据道路标线的类型及其置信度进行后处理，并根据后处理结果从候选位置中确定该道路标线的选定位置包括：
在道路标线是可跨越同向车行道分界线的情况下，设置第二阈值，将第一数据大于第二阈值的对应像素值置为第一数值，将第一数据小于第一阈值的对应像素值置为第二数值，得到第二二值图像；
预处理第二二值图像去除异常像素点，获取候选可跨越同向车行道分界线的候选位置；
获取可跨越同向车行道分界线的候选位置处像素点之间的欧式距离，判断欧式距离是否小于第九阈值，若是，通过选取其纵坐标最小和最大处的点，确定可跨越同向车行道分界线的选定位置。
在其中一些实施例中，将检测结果依据道路标线的类型及其置信度进行后处理，并根据后处理结果从候选位置中确定该道路标线的选定位置包括：
在道路标线是导向箭头的情况下，按照从大至小排序第一数据获取第一数据的下标，设置第三阈值，将小于第三阈值的下标对应的像素值保持不变，将大于第三阈值的下标对应的像素值置为第二数值，得到候选导向箭头图像；
设置第四阈值，在候选导向箭头图像中，将第一数据大于第四阈值的对应像素值置为第一数值，将第一数据小于第一阈值的对应像素值置为第二数值，得到第三二值图像；
预处理第三二值图像去除异常像素点，获取导向箭头的候选位置；
聚类导向箭头的候选位置处的点，通过计算每个聚类族的平均坐标确定导向箭头的选定位置。
在其中一些实施例中，将检测结果依据道路标线的类型及其置信度进行后处理，并根据后处理结果从候选位置中确定该道路标线的选定位置包括：
在道路标线是导流线的情况下，设置第五阈值，将第一数据大于第五阈值的对应像素值置为第一数值，将第一数据小于第一阈值的对应像素值置为第二数值，得到第四二值图像；
预处理第四二值图像去除异常像素点，获取导流线的候选位置，其中，导流线的候选位置处的点包括第四二值图像去除异常像素点后的连通域；
获取导流线候选位置处的点的坐标，纵坐标每间隔K个像素采样连通域最边缘处的像素，确定导流线的选定位置，其中，K是大于20的正整数。
在其中一些实施例中，将检测结果依据道路标线的类型及其置信度进行后处理，并根据后处理结果从候选位置中确定该道路标线的选定位置包括：
在道路标线是道路出入口标线的情况下，设置第七阈值，将第一数据大于第七阈值的对应像素值置为第一数值，将第一数据小于第七阈值的对应像素值置为第二数值，得到第五二值图像；
预处理第五二值图像去除异常像素点，获取道路出入口标线的候选位置；
获取道路出入口标线的候选位置处像素点之间的欧式距离，判断欧式距离是否小于第八阈值，若是，采样道路出入口标线的候选位置，得到道路出入口标线的选定位置。
在其中一些实施例中，根据道路标线的选定位置在道路监控视频中标记出对应的道路标线之后包括：
获取可跨越同向车行道分界线中的虚线段；
通过虚线段在世界坐标系中地平面的相对坐标，得到虚线段的相对长度；
根据相对长度与实际距离的比值得到图像坐标系与世界坐标系的比例系数；
根据比例系数确定道路监控图像中任意两点的在世界坐标系下沿车道方向行驶的物理距离。
第二方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述第一方面的道路标线的检测与识别方法。
第三方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面的道路标线的检测与识别方法。
相比于相关技术，本申请实施例提供的道路标线的检测与识别方法、电子装置和存储介质，通过获取基于不同架设角度、不同架设高度以及不同分辨率的摄像机采集的道路监控图像训练的深度学习网络；采集道路监控视频，从道路监控视频中抽取待检测图像；使用深度学习网络对待检测图像中的道路标线进行检测，得到用于表示待检测图像中各种类型的道路标线的候选位置及置信度的检测结果；将检测结果依据道路标线的类型及其置信度进行后处理，并根据后处理结果从候选位置中确定该道路标线的选定位置，解决了架设角度不一、架设高度不一、成像质量不一、拍摄分辨率不一的高速公路监控场景中道路标线无法识别的问题，提高了高速公路事件检测的效率。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的道路标线的检测与识别方法的终端的硬件结构框图；
图2是根据本申请实施例的道路标线的检测与识别方法的流程图；
图3是根据本申请优选实施例的道路标线的检测与识别方法的流程图；
图4是根据本申请优选实施例的一个标注示例图；
图5是根据本申请优选实施例的一个精简版的堆叠沙漏网络图；
图6是根据本申请实施例的道路标线的检测与识别装置的结构框图；
图7是根据本申请优选实施例的道路标线的检测与识别装置的结构框图一；
图8是根据本申请优选实施例的道路标线的检测与识别装置的结构框图二；
图9是根据本申请优选实施例的道路标线的检测与识别装置的结构框图三。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
术语解释：
连通域：(Connected Component)在图像中，最小的单位是像素，每个像素周围有8个邻接像素，常见的邻接关系有2种：4邻接与8邻接。如果像素点A与B邻接，称A与B连通，如果A与B连通，B与C连通，则A与C连通。在视觉上看来，彼此连通的点形成了一个区域，而不连通的点形成了不同的区域，所有彼此连通点构成的集合，称为一个连通域。
连通域检测：是指将图像中的各个连通区域找出并标记。
置信度：也称为可靠度，或置信水平、置信系数，即在抽样对总体参数作出估计时，由于样本的随机性，其结论总是不确定的，因此，采用一种概率的陈述方法，也就是数理统计中的区间估计法，即估计值与总体参数在一定允许的误差范围以内，其相应的概率有多大，这个相应的概率称作置信度。
反向传播：主要由两个环节(激励传播、权重更新)反复循环迭代，直到网络的对输入的响应达到预定的目标范围为止。
本实施例提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例，图1是本申请实施例的道路标线的检测与识别方法的终端的硬件结构框图。如图1所示，包括处理器11以及存储有计算机程序指令的存储器12。
具体地，上述处理器11可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器12可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器12可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器12可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器12可在数据处理装置的内部或外部。在特定实施例中，存储器12是非易失性(Non-Volatile)存储器。在特定实施例中，存储器12包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器12可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器11所执行的可能的计算机程序指令。
处理器11通过读取并执行存储器12中存储的计算机程序指令，以实现上述实施例中的任意道路标线的检测与识别方法。
在其中一些实施例中，终端还可包括通信接口13和总线10。其中，如图1所示，处理器11、存储器12、通信接口13通过总线10连接并完成相互间的通信。
通信接口13用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口13还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线10包括硬件、软件或两者，将终端的部件彼此耦接在一起。总线10包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线10可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(FrontSide Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线10可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
本实施例提供了一种道路标线的检测与识别方法，图2是根据本申请实施例的道路标线的检测与识别方法的流程图，如图2所示，该流程包括如下步骤：
步骤S201，获取基于不同架设角度、不同架设高度以及不同分辨率的摄像机采集的道路监控图像训练的深度学习网络。
摄像机采集不同架设角度、不同架设高度以及不同分辨率的监控视频，从监控视频中抽取道路监控图像，通过对道路监控图像进行标注获取标注后数据，将道路监控图像和标注后数据输入深入学习网络，经过训练获取训练的深度学习网络。
在本实施例中，获取基于不同架设角度、不同架设高度以及不同分辨率的摄像机采集的道路监控图像训练的深度学习网络包括：获取基于不同架设角度、不同架设高度以及不同分辨率的摄像机采集的道路监控图像；标注道路监控图像中的道路标线，得到标注后数据；根据标注后数据得到标准模板图像；输入道路监控图像至深度学习网络，获取网络预测值，根据网络预测值和标准模板图像获取损失值，根据损失值对深度学习网络进行训练。通过损失值的结果反向传播实现深度学习网络参数的更新，得到训练的深度学习网络。
在本实施例中，标注道路监控图像中的道路标线，得到标注后数据包括：标注道路监控图像中的各种类型道路标线并标注其对应的类型，其中，道路标线类型包括车行道边缘线、道路出入口标线、可跨越同向车行道分界线、导向箭头和导流线，对于车行道边缘线和道路出入口标线，标注其转折点坐标，对于导向箭头，使用四边形进行标注，对于导流线，使用多边形进行标注，对于可跨越同向车行道分界线，标注其转折点的坐标、线的种类和与虚线段连接的两个端点坐标。依据各种类型道路标线的特征对其进行标注，并将标注数据和采集的道路监控图像输入深度学习网络，可以实现各种类型道路标线的识别。
步骤S202，采集道路监控视频，从道路监控视频中抽取待检测图像。
步骤S203，使用深度学习网络对待检测图像中的道路标线进行检测，得到用于表示待检测图像中各种类型的道路标线的候选位置及置信度的检测结果。
将抽取的待检测图像输入训练的深度学习网络进行检测，得到深度学习网络输出结果图像，输出结果图像中包含各种类型道路标线的候选位置和对应道路标线类型的置信度。
在本实施例中，使用深度学习网络对待检测图像中的道路标线进行检测，得到用于表示待检测图像中各种类型的道路标线的候选位置及置信度的检测结果包括：将待检测图像输入深度学习网络，得到各种类型的道路标线的掩膜图像，掩膜图像中的每个像素存放第一数据，第一数据表示对应类型的道路标线在该像素中的置信度。通过上述方式，获取训练网络输出的掩膜图像中的每个像素对应类型的道路标线置信度，为确定各种类型的道路标线的选定位置做准备。
步骤S204，将检测结果依据道路标线的类型及其置信度进行后处理，并根据后处理结果从候选位置中确定该道路标线的选定位置。
对深度学习网络的输出的掩膜图像进行后处理，包括通过预设的阈值获取对应的二值图像，去除二值图像中的异常点，并依据各种道路标线的类型采集去除异常点后的二值图像中的点，得到各种道路标线的选定位置。
在本实施例中，将检测结果依据道路标线的类型及其置信度进行后处理，并根据后处理结果从候选位置中确定该道路标线的选定位置包括：在道路标线是车行道边缘线的情况下，设置第一阈值，将第一数据大于第一阈值的对应像素值置为第一数值，将第一数据小于第一阈值的对应像素值置为第二数值，得到第一二值图像；预处理第一二值图像去除异常像素点，获取车行道边缘线的候选位置；获取车行道边缘线的候选位置处像素点之间的欧式距离，判断欧式距离是否小于第六阈值，若是，采样车行道边缘线的候选位置，得到车行道边缘线的选定位置。通过上述方式，可以通过预设阈值将深度学习网络输出的掩膜图像转化为包含车行道边缘线纹理特征的二值图像，去除二值图像中的异常点后，通过进行采样可以得到车行道边缘线的选定位置。
在本实施例中，将检测结果依据道路标线的类型及其置信度进行后处理，并根据后处理结果从候选位置中确定该道路标线的选定位置包括：在道路标线是可跨越同向车行道分界线的情况下，设置第二阈值，将第一数据大于第二阈值的对应像素值置为第一数值，将第一数据小于第二阈值的对应像素值置为第二数值，得到第二二值图像；预处理第二二值图像去除异常像素点，获取可跨越同向车行道分界线的候选位置；获取可跨越同向车行道分界线的候选位置处像素点之间的欧式距离，判断欧式距离是否小于第九阈值，若是，通过选取其纵坐标最小和最大处的点，确定可跨越同向车行道分界线的选定位置。通过上述方式，可以通过预设阈值将深度学习网络输出的掩膜图像转化为包含可跨越同向车行道分界线纹理特征的二值图像，去除二值图像中的异常点后，通过预设规则进行采样可以得到可跨越同向车行道分界线的选定位置。
在本实施例中，将检测结果依据道路标线的类型及其置信度进行后处理，并根据后处理结果从候选位置中确定该道路标线的选定位置包括：在道路标线是导向箭头的情况下，按照从大至小排序第一数据获取第一数据的下标，设置第三阈值，将小于第三阈值的下标对应的像素值保持不变，将大于第三阈值的下标对应的像素值置为第二数值，得到候选导向箭头图像；设置第四阈值，在候选导向箭头图像中，将第一数据大于第四阈值的对应像素值置为第一数值，将第一数据小于第四阈值的对应像素值置为第二数值，得到第三二值图像；预处理第三二值图像去除异常像素点，获取导向箭头的候选位置；聚类导向箭头的候选位置处的点，通过计算每个聚类族的平均坐标确定导向箭头的选定位置。通过上述方式，可以通过预设阈值将深度学习网络输出的掩膜图像转化为包含导向箭头纹理特征的二值图像，去除二值图像中的异常点后，通过预设规则进行采样可以得到导向箭头的选定位置。
在本实施例中，将检测结果依据道路标线的类型及其置信度进行后处理，并根据后处理结果从候选位置中确定该道路标线的选定位置包括：在道路标线是导流线的情况下，设置第五阈值，将第一数据大于第五阈值的对应像素值置为第一数值，将第一数据小于第五阈值的对应像素值置为第二数值，得到第四二值图像；预处理第四二值图像去除异常像素点，获取导流线的候选位置，其中，导流线的候选位置处的点包括第四二值图像去除异常像素点后的连通域；获取导流线候选位置处的点的坐标，纵坐标每间隔K个像素采样连通域最边缘处的像素，确定导流线的选定位置，其中，K是大于20的正整数。通过上述方式，可以通过预设阈值将深度学习网络输出的掩膜图像转化为包含导流线纹理特征的二值图像，去除二值图像中的异常点后，通过预设规则进行采样可以得到导流线的选定位置。
在本实施例中，将检测结果依据道路标线的类型及其置信度进行后处理，并根据后处理结果从候选位置中确定该道路标线的选定位置包括：在道路标线是道路出入口标线的情况下，设置第七阈值，将第一数据大于第七阈值的对应像素值置为第一数值，将第一数据小于第七阈值的对应像素值置为第二数值，得到第五二值图像；预处理第五二值图像去除异常像素点，获取道路出入口标线的候选位置；获取道路出入口标线的候选位置处像素点之间的欧式距离，判断欧式距离是否小于第八阈值，若是，采样道路出入口标线的候选位置，得到道路出入口标线的选定位置。通过上述方式，可以通过预设阈值将深度学习网络输出的掩膜图像转化为包含道路出入口标线纹理特征的二值图像，去除二值图像中的异常点后，通过进行采样可以得到道路出入口标线的选定位置。
通过上述S201至步骤S204，获取基于不同架设角度、不同架设高度以及不同分辨率的摄像机采集的道路监控图像训练的深度学习网络；采集道路监控视频，从道路监控视频中抽取待检测图像；使用深度学习网络对待检测图像中的道路标线进行检测，得到用于表示待检测图像中各种类型的道路标线的候选位置及置信度的检测结果；将检测结果依据道路标线的类型及其置信度进行后处理，并根据后处理结果从候选位置中确定该道路标线的选定位置，解决了架设角度不一、架设高度不一、成像质量不一、拍摄分辨率不一的高速公路监控场景中道路标线无法识别的问题，提高了高速公路事件检测的效率。
在其中一个可选实施方式中，预处理第一二值图像去除异常像素点，获取车行道边缘线的候选位置包括：
步骤1，通过插值将第一二值图像放缩至与待检测图像相同尺寸，得到放缩后第一二值图像；
步骤2，遍历放缩后第一二值图像，判断在相同纵坐标处像素值为第一数值的相邻点的个数是否小于等于第三数值，若是，作为异常像素点去除。
通过上述步骤，可以去除包含车行道边缘线纹理特征的第一二值图像中的异常点，提高了识别车行道边缘线的准确率。
在其中一个可选实施方式中，预处理第二二值图像去除异常像素点，获取候选可跨越同向车行道分界线的候选位置包括：
步骤1，通过插值将第二二值图像放缩至与待检测图像相同尺寸，得到放缩后第二二值图像；
步骤2，遍历放缩后第二二值图像，判断在相同纵坐标处像素值为第一数值的相邻点的个数是否小于等于第四数值，若是，作为异常像素点去除。
通过上述步骤，可以去除包含可跨越同向车行道分界线纹理特征的第二二值图像中的异常点，提高了识别可跨越同向车行道分界线的准确率。
在其中一个可选实施方式中，预处理第三二值图像去除异常像素点，获取导向箭头的候选位置包括：
步骤1，通过插值将第三二值图像放缩至与待检测图像相同尺寸，得到放缩后第三二值图像；
步骤2，在放缩后第三二值图像中，计算像素值为第一数值的点与其余像素值为第一数值的点的欧式距离，判断欧式距离是否均大于第十阈值，若是，作为异常像素点去除。
通过上述步骤，可以去除包含导向箭头纹理特征的第三二值图像中的异常点，提高了识别导向箭头的准确率。
在其中一个可选实施方式中，预处理第四二值图像去除异常像素点，获取导流线的候选位置包括：
步骤1，通过插值将第四二值图像放缩至与待检测图像相同尺寸，得到放缩后第四二值图像；
步骤2，根据各像素与其相邻像素的连通性获取放缩后第四二值图像的连通域，判断连通域的像素个数是否小于第五数值，若是，连通域的像素作为异常像素点去除。
通过上述步骤，可以去除包含导流线纹理特征的第四二值图像中的异常点，提高了识别导流线的准确率。
在其中一个可选实施方式中，预处理第五二值图像去除异常像素点，获取道路出入口标线的候选位置包括：
步骤1，通过插值将第五二值图像放缩至与待检测图像相同尺寸，得到放缩后第五二值图像；
步骤2，遍历放缩后第五二值图像，判断在相同纵坐标处像素值为第一数值的相邻点的个数是否小于等于第六数值，若是，作为异常像素点去除。
通过上述步骤，可以去除包含道路出入口标线纹理特征的第五二值图像中的异常点，提高了识别道路出入口标线的准确率。
在其中一些实施例中，将检测结果依据道路标线的类型及其置信度进行后处理，并根据后处理结果从候选位置中确定该道路标线的选定位置之后包括：根据道路标线的选定位置在道路监控视频中标记出对应的道路标线。通过上述方式，道路视频监控人员可以从道路监控视频中直接判断出是否准确识别道路标线。
在其中一些实施例中，根据道路标线的选定位置在道路监控视频中标记出对应的道路标线之后包括：
步骤1，通过拟合将道路标线分为N段直线，通过聚类将N段直线分为M组直线，通过拟合确定M组直线的消失点，其中M和N是大于1的正整数；
步骤2，判断P帧图像的所述消失点是否变化，若是，确定所述摄像机发生移动和/或变焦，其中，P是大于1的正整数。
通过上述步骤，可以通过识别的道路标线的消失点判断每帧图像的消失点是否发生变化，从而可以确定摄像机发生移动和/或变焦。
在其中一些实施例中，根据道路标线的选定位置在道路监控视频中标记出对应的道路标线之后包括：
步骤1，获取可跨越同向车行道分界线中的虚线段；
步骤2，通过虚线段在世界坐标系中地平面的相对坐标，得到虚线段的相对长度；
步骤3，根据相对长度与实际距离的比值得到图像坐标系与世界坐标系的比例系数；
步骤4，根据比例系数确定道路监控图像中任意两点的在世界坐标系下沿车道方向行驶的物理距离。
通过上述步骤，可以根据识别出的可跨越同向车行道分界线得到图像坐标系与世界坐标系的比例系数，根据比例系数可以获取车辆沿车道方向的行驶距离，得出车辆的行驶速度。
下面通过优选实施例对本申请实施例进行描述和说明。图3是根据本申请优选实施例的道路标线的检测与识别方法的流程图。
步骤S301，采集高速公路监控摄像机拍摄的视频，抽帧成图像并标注。
采集5000段不同架设角度、架设高度、分辨率的高速公路摄像机拍摄的监控视频，视频拍摄的时间跨度在3个月以上，每段视频抽取100帧图像，制作出共计50万张图像并对其进行如下方法的标注，图4是根据本申请优选实施例的一个标注示例图：
(a)对于图像上的车行道边缘线、道路出入口标线在每根线的转折点坐标做标记，并对其标记好相应线的种类的标签；
(b)对于图像上的可跨越同向车行道分界线除了对转折点和线的种类做标注外还需对每条线上的虚线段部分的两个端点坐标做标注；
(c)对于图像上的导向箭头，对其标注包围盒并标注相应类型；
(d)对于图像上的导流线进行多边形标注。
通过上述方式，获取不同架设角度、架设高度和分辨率的图像，根据每种道路标线的特征对其进行标注为后续制作道路标线标准模板做准备。
步骤S302，将标注数据制作成ground truth mask。
将步骤S301中标注好的数据制作成供模型训练用的ground truth mask，groundtruth mask是指道路标线标准模板，制作方法如下：
(a)对每个种类的道路交通标线按正样本值为1，负样本值为0制作成二值掩膜图像，其尺寸与原始图像尺寸一致；
(b)对于车行道边缘线、道路出入口标线和可跨越同向车行道分界线，将标注好的线段以10像素的宽度标记为正样本，其余部分标记为负样本；
(c)对于导向箭头，找到其标注包围盒的中心坐标，将中心点以及其8邻域坐标点标记为正样本，其余部分标记为负样本；
(d)对于导流线，将其标注的多边形内包含的所有像素标记为正样本，其余部分标记为负样本。
通过上述方式，根据每种道路标线的形状特点获取其对应的标准模板，为后续计算损失值做准备。
步骤S303，模型训练。
利用一个精简版的堆叠沙漏网络对步骤S301中的数据进行训练，图5是根据本申请优选实施例的一个精简版的堆叠沙漏网络图，采用Binary Cross Entropy loss损失函数，Binary Cross Entropy loss表示交叉熵损失函数，一般用于二分类，也可以用于多分类问题，一般用来求目标与预测值之间的差距，通常需要在网络的最后一层添加sigmoid进行配合使用，交叉熵作为损失函数的好处是使用sigmoid函数在梯度下降时能避免均方误差损失函数学习速率降低的问题。根据下列公式计算损失值：
loss＝-yilogxi+(1-yi)log(1-xi)
式中，x表示网络预测的值，y表示ground truth值，即y表示标注数据值，通过步骤S301得到标注数据值。
将步骤S301中采集的原始图像和步骤S302中制作的ground truth mask放缩成宽高均为512像素的尺寸输入到图5中的网络中进行训练，其中原始图像采用双线性插值方法放缩，ground truth mask采用最邻近插值方法放缩。通过上述方式，基于交叉熵损失函数获取训练模型，能避免均方误差损失函数学习速率降低。
步骤S304，模型预测。
本优选实施例中道路标线包括车行道边缘线、可跨越同向车行道分界线、道路出入口标线、11个种类的导向箭头标识(直行导向箭头、直行或左转导向箭头、左转导向箭头、右转导向箭头、直行或右转导向箭头、掉头导向箭头、直行或掉头导向箭头、左转或掉头导向箭头、仅左右转弯导向箭头、左转弯或左合流导向箭头、右转弯或右合流导向箭头)、以及1个种类的区域标识(导流线)，共计15种道路交通标线的检测和识别问题。
通过步骤S303后，得到训练好的模型，将待检测图片输入到该模型中，会输出16张宽高均为512的掩膜图像，其中，掩膜图像是经过模型预测得到的候选道路标线图像。可跨越同向车行道分界线对应2张掩膜图像，1张预测整条线，另一张预测每条线上的虚线段，其余每类道路交通标线各对应1张掩膜图像。每张候选中的每个像素存放一个值域为0到1的浮点型数据，该数据即表示该种道路交通标线在该像素点处的置信度。通过上述方式，基于训练好的模型预测得到16张候选道路标线图像，为后续检测和识别做准备。
步骤S305，数据后处理。
对于不同类型的道路交通标线对应的掩膜图像，分别采用以下后处理方法：
(1)对于车行道边缘线以及道路出入口标线
(a)取置信度阈值为0.5，将高于阈值的像素置为1，低于阈值的像素置为0，制作成二值掩膜图像；
(b)用最邻近插值将(a)得到的二值掩膜图像放缩到与原始图像相同的尺寸；
(c)从掩膜图像中纵坐标0处开始遍历，在相同纵坐标处，若相邻3个及以上的像素值均为1，则求得该连续部分的中心点横坐标并取整，若值为1的像素的相邻点为2个及以下，则认为其为异常点并置为0；
(d)将(c)得到的掩膜图像再从纵坐标0处开始遍历，若坐标点的欧式距离小于5，则判断这两个点属于同一条道路交通标线；
(e)将(d)中得到的每条道路交通标线上的点，纵坐标每隔100像素做一次采样，得到最终结果。
通过上述方式，去除包含车行道边缘线和/或道路出入口标线的掩膜图像中的异常点，能够准确地检测和识别出车行道边缘线以及道路出入口标线。
(2)对于可跨越同向车行道分界线
可跨越同向车行道分界线对应两张掩膜图像，对于预测出整条线的掩膜图像采用与(1)中相同的处理方式，对于预测出虚线段的掩膜图像采用如下方式：
(a)取置信度阈值为0.5，将高于阈值的像素置为1，低于阈值的像素置为0，制作成二值掩膜图像；
(b)用最邻近插值将(a)得到的二值掩膜图像放缩到与原始图像相同的尺寸；
(c)从掩膜图像中纵坐标0处开始遍历，在相同纵坐标处，若相邻3个及以上的像素值均为1，则求得该连续部分的中心点横坐标并取整，若值为1的像素的相邻点为2个及以下，则认为其为异常点并置为0；
(d)将(c)得到的掩膜图像再从纵坐标0处开始遍历，若坐标点的欧式距离小于5，则判断这两个点属于同一条虚线段；
(e)对每条虚线段上的点，仅取纵坐标最小和最大的点作为该虚线段的输出结果。
通过上述方式，去除包含可跨越同向车行道分界线的掩膜图像中的异常点，能够准确地检测和识别出可跨越同向车行道分界线。
(3)对于导向箭头
(a)取置信度最高的前100个像素点，保留其原始数值不变，将其余像素点中的值全部置为0；
(b)取置信度阈值为0.8，将低于阈值的像素置为0，将高于阈值的像素置为1，制作成二值掩膜图像；
(c)用最邻近插值将(b)得到的二值掩膜图像放缩到与原始图像相同的尺寸；
(d)两两计算像素值为1的点的欧式距离；
(e)若某个像素点与其余所有点的欧氏距离均大于公式2计算的阈值，则判断该点为异常值，将其值置为0；
(f)将剩余欧氏距离小于公式2计算的阈值的像素点聚类，对于每个聚类簇计算所有像素点的平均坐标然后取整，此坐标便是导向箭头中心点的坐标。
Figure BDA0002761377310000171
式中，distTh表示欧式距离阈值，coeff为一个系数常量，本发明中取0.005，width为图像宽度，height为图像高度。
通过上述方式，去除包含导向箭头的掩膜图像中的异常点，能够准确地检测和识别出导向箭头。
(4)对于导流线
(a)取置信度阈值为0.5，将高于阈值的像素设为1，低于阈值的像素设为0，制作成二值掩膜图像；
(b)用最邻近插值将(a)得到的二值掩膜图像放缩到与原始图像相同的尺寸；
(c)将(b)得到的二值掩膜图像用two-pass算法进行连通域检测，将像素点个数少于10的连通域作为异常值剔除；
(d)从纵坐标0处开始遍历，纵坐标每间隔50个像素对连通域最边缘处的像素做采样，记录其坐标，由此得到包围导流线多边形的坐标。
通过上述方式，去除包含导流线的掩膜图像中的异常点，能够准确地检测和识别出导流线。
步骤S306，道路标线识别后的应用。
通过步骤S301至步骤S305，可以实现道路标线的检测与识别，基于道路标线的识别可以确定摄像机是否发生变焦和/或移动，可以确定车辆沿车道方向行驶的速度。
(1)摄像机变焦和/或移动的判断
通过车行道边缘线、道路出入口标线、以及可跨越同向车行道分界线(以下统称这三类线为线形道路交通标线)的消失点判断相机变焦和/或移动。
视频监控人员会根据需求调整高速公路上的监控摄像机，如变焦和移动。在这些情况下，算法需要获取到该信息做进一步处理。
在其中一个优选实施方案中，假设高速公路本身处于一个平面上，且各车道在世界坐标系中相互平行。在此假设前提下，通过最小二乘法将检测到的线形道路交通标线拟合为n段直线(n取决于车道的弯曲程度)，n是大于1的正整数，依次处理所有的线形道路交通标线得到一组直线。该组直线在世界坐标系中可以分为几组平行线，由于监控相机视角的特殊性，可以认为这些平行线在图像坐标系中斜率接近，通过聚类方法将所有直线分为m组，m是大于1的正整数，通过最小二乘法可以求得每组的车道消失点。通过比较两帧图像消失点的位置，可以判断相机是否发生了变焦和/或移动。特殊地，高速公路上的监控摄像机由于架设方式和地点的原因，会发生抖动导致消失点位置变化，该变化一般发生在图像垂直方向，因此本实施方案在图像水平和垂直方向上采用了不同的阈值。通过上述方式，可以确定监控摄像机是否发生变焦和/或移动，以便道路监控人员判断监控摄像机是否根据需求做了正确的调整。
(2)车辆沿车道方向行驶速度的确定
在其中一个优选实施例中，依据步骤S306(1)中得到了车道消失点，可以证明消失点和摄像机光心的连线与对应的平行线平行。假设摄像机的滚动角为零度，可以得到所有车道消失点在图像坐标系中属于同一条水平线。假设摄像机光心在图像坐标系下为图像中心点，已知图像上某点的垂直坐标，可以得到它在世界坐标系中某个平面的相对坐标。计算所有虚线段在世界坐标系中地平面的相对坐标，可以得到虚线段的相对长度。根据国标规定，高速公路的可跨越同向车行道分界线上的虚线段长度6米，间隔9米。相对长度与实际距离的比值就可以作为车道方向上图像坐标系与世界坐标系的比例系数。由于虚线段存在检测误差，我们对根据虚线段得到的所有比例系数求中位数作为最终的比例系数。得到比例系数后，可以求得图像上任意两点在世界坐标系下沿车道方向的物理距离。通过图像上任意两点在世界坐标系下沿车道方向的物理距离可以确定车辆在车道方向上移动的物理距离，从而估算得到实际车速。
本实施例还提供了一种道路标线的检测与识别装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图6是根据本申请实施例的道路标线的检测与识别装置的结构框图，如图6所示，该装置包括：
获取模块61，连接至检测模块63，用于获取基于不同架设角度、不同架设高度以及不同分辨率的摄像机采集的道路监控图像训练的深度学习网络；
采集模块62，连接至检测模块63，用于采集道路监控视频，从道路监控视频中抽取待检测图像；
检测模块63，连接至采集模块62和获取模块61，用于使用深度学习网络对待检测图像中的道路标线进行检测，得到用于表示待检测图像中各种类型的道路标线的候选位置及置信度的检测结果；
数据后处理模块64，连接至检测模块63，用于将检测结果依据道路标线的类型及其置信度进行后处理，并根据后处理结果从候选位置中确定该道路标线的选定位置。
图7是根据本申请优选实施例的道路标线的检测与识别装置的结构框图一，如图7所示，在其中一个实施例中，获取模块61包括：
获取单元71，用于获取基于不同架设角度、不同架设高度以及不同分辨率的摄像机采集的道路监控图像；
标注单元72，连接至获取单元71，用于标注道路监控图像中的道路标线，得到标注后数据；
数据处理单元73，连接至标注单元72，用于根据标注后数据得到标准模板图像；
训练单元74，连接至数据处理单元73，用于输入道路监控图像至深度学习网络，获取网络预测值，根据网络预测值和标准模板图像获取损失值，根据损失值对深度学习网络进行训练。
在其中一个实施例中，标注单元72用于：标注道路监控图像中的各种类型道路标线并标注其对应的类型，其中，道路标线类型包括车行道边缘线、道路出入口标线、可跨越同向车行道分界线、导向箭头和导流线，对于车行道边缘线和道路出入口标线，标注其转折点坐标，对于导向箭头，使用四边形进行标注，对于导流线，使用多边形进行标注，对于可跨越同向车行道分界线，标注其转折点的坐标、线的种类和与虚线段连接的两个端点坐标。
在其中一个实施例中，该道路标线的检测与识别装置还包括：标记模块65，连接至数据后处理模块64，用于根据道路标线的选定位置在道路监控视频中标记出对应的道路标线。
图8是根据本申请优选实施例的道路标线的检测与识别装置的结构框图二，如图8所示，在其中一个实施例中，该道路标线的检测与识别装置还包括：消失点判断模块66，连接至标记模块65，用于确定摄像机是否变焦和/或移动。
在其中一些实施例中，消失点判断模块66包括：
拟合单元81，连接至标记模块65，用于通过拟合将道路标线分为N段直线，通过聚类将N段直线分为M组直线，通过拟合确定M组直线的消失点；
消失点判断单元82，连接至拟合单元81，用于判断P帧图像的消失点是否变化，若是，确定摄像机发生移动和/或变焦。
在其中一个实施例中，该检测模块63还用于将待检测图像输入深度学习网络，得到各种类型的道路标线的掩膜图像，掩膜图像中的每个像素存放第一数据，第一数据表示对应类型的道路标线在该像素中的置信度。
在其中一个实施例中，数据后处理模块64包括：
第一阈值设置单元，用于在道路标线是车行道边缘线的情况下，设置第一阈值，将第一数据大于第一阈值的对应像素值置为第一数值，将第一数据小于第一阈值的对应像素值置为第二数值，得到第一二值图像；
第一异常点去除单元，连接至第一阈值设置单元，用于预处理第一二值图像去除异常像素点，获取车行道边缘线的候选位置；
第一道路标线选定单元，连接至第一异常点去除单元，用于获取车行道边缘线的候选位置处像素点之间的欧式距离，判断欧式距离是否小于第六阈值，若是，采样车行道边缘线的候选位置，得到车行道边缘线的选定位置。
在其中一个实施例中，数据后处理模块64包括：
第二阈值设置单元，用于在道路标线是可跨越同向车行道分界线的情况下，设置第二阈值，将第一数据大于第二阈值的对应像素值置为第一数值，将第一数据小于第二阈值的对应像素值置为第二数值，得到第二二值图像；
第二异常点去除单元，连接至第二阈值设置单元，用于预处理第二二值图像去除异常像素点，获取候选可跨越同向车行道分界线的候选位置；
第二道路标线选定单元，连接至第二异常点去除单元，用于获取可跨越同向车行道分界线的候选位置处像素点之间的欧式距离，判断欧式距离是否小于第九阈值，若是，通过选取其纵坐标最小和最大处的点，确定可跨越同向车行道分界线的选定位置。
在其中一个实施例中，数据后处理模块64包括：
第三阈值设置单元，用于在道路标线是导向箭头的情况下，按照从大至小排序第一数据获取第一数据的下标，设置第三阈值，将小于第三阈值的下标对应的像素值保持不变，将大于第三阈值的下标对应的像素值置为第二数值，得到候选导向箭头图像；
第四阈值设置单元，连接至第三阈值设置单元，用于设置第四阈值，在候选导向箭头图像中，将第一数据大于第四阈值的对应像素值置为第一数值，将第一数据小于第四阈值的对应像素值置为第二数值，得到第三二值图像；
第三异常点去除单元，连接至第四阈值设置单元，预处理第三二值图像去除异常像素点，获取导向箭头的候选位置；
第三道路标线选定单元，连接至第三异常点去除单元，用于聚类导向箭头的候选位置处的点，通过计算每个聚类族的平均坐标确定导向箭头的选定位置。
在其中一个实施例中，数据后处理模块64包括：
第五阈值设置单元，用于在道路标线是导流线的情况下，设置第五阈值，将第一数据大于第五阈值的对应像素值置为第一数值，将第一数据小于第五阈值的对应像素值置为第二数值，得到第四二值图像；
第四异常点去除单元，连接至第五阈值设置单元，用于预处理第四二值图像去除异常像素点，获取导流线的候选位置，其中，导流线的候选位置处的点包括第四二值图像去除异常像素点后的连通域；
第四道路标线选定单元，连接至第四异常点去除单元，用于获取导流线候选位置处的点的坐标，纵坐标每间隔M个像素采样连通域最边缘处的像素，确定导流线的选定位置。
在其中一个实施例中，数据后处理模块64包括：
第六阈值设置单元，用于在道路标线是道路出入口标线的情况下，设置第七阈值，将第一数据大于第七阈值的对应像素值置为第一数值，将第一数据小于第七阈值的对应像素值置为第二数值，得到第五二值图像；
第五异常点去除单元，连接至第六阈值设置单元，用于预处理第五二值图像去除异常像素点，获取道路出入口标线的候选位置；
第五道路标线选定单元，连接至第五异常点去除单元，用于获取道路出入口标线的候选位置处像素点之间的欧式距离，判断欧式距离是否小于第八阈值，若是，采样道路出入口标线的候选位置，得到道路出入口标线的选定位置。
图9是根据本申请优选实施例的道路标线的检测与识别装置的结构框图三，如图9所示，在其中一个实施例中，该道路标线的检测与识别装置还包括：车速确定模块67，连接至标记模块65，用于确定车辆沿车道方向行驶的速度。
在其中一些实施例中，所述确定模块67包括：
虚线段获取单元91，连接至标记模块65，用于获取可跨越同向车行道分界线中的虚线段；
虚线段的相对长度获取单元92，连接至虚线段获取单元91，用于通过虚线段在世界坐标系中地平面的相对坐标，得到虚线段的相对长度；
比例系数确定单元93，连接至虚线段的相对长度获取单元92，用于根据相对长度与实际距离的比值得到图像坐标系与世界坐标系的比例系数；
物理距离确定单元94，连接至比例系数确定单元93，用于根据比例系数确定道路监控图像中任意两点的在世界坐标系下沿车道方向行驶的物理距离。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取基于不同架设角度、不同架设高度以及不同分辨率的摄像机采集的道路监控图像训练的深度学习网络；
S2，采集道路监控视频，从道路监控视频中抽取待检测图像；
S3，使用深度学习网络对待检测图像中的道路标线进行检测，得到用于表示待检测图像中各种类型的道路标线的候选位置及置信度的检测结果；
S4，将检测结果依据道路标线的类型及其置信度进行后处理，并根据后处理结果从候选位置中确定该道路标线的选定位置。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例中的道路标线的检测与识别方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种道路标线的检测与识别方法。
本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种道路标线的检测与识别方法，其特征在于，包括：
获取基于不同架设角度、不同架设高度以及不同分辨率的摄像机采集的道路监控图像训练的深度学习网络；
采集道路监控视频，从所述道路监控视频中抽取待检测图像；
使用所述深度学习网络对所述待检测图像中的道路标线进行检测，得到用于表示所述待检测图像中各种类型的道路标线的候选位置及置信度的检测结果；
将所述检测结果依据道路标线的类型及其置信度进行后处理，并根据后处理结果从所述候选位置中确定该道路标线的选定位置。
2.根据权利要求1所述的道路标线的检测与识别方法，其特征在于，获取基于不同架设角度、不同架设高度以及不同分辨率的摄像机采集的道路监控图像训练的深度学习网络包括：
获取基于不同架设角度、不同架设高度以及不同分辨率的摄像机采集的道路监控图像；
标注所述道路监控图像中的道路标线，得到标注后数据；
根据所述标注后数据得到标准模板图像；
输入所述道路监控图像至深度学习网络，获取网络预测值，根据所述网络预测值和所述标准模板图像获取损失值，根据所述损失值对所述深度学习网络进行训练。
3.根据权利要求2所述的道路标线的检测与识别方法，其特征在于，标注所述道路监控图像中的道路标线，得到标注后数据包括：
标注所述道路监控图像中的各种类型道路标线并标注其对应的类型，其中，道路标线类型包括车行道边缘线、道路出入口标线、可跨越同向车行道分界线、导向箭头和导流线，对于所述车行道边缘线和所述道路出入口标线，标注其转折点坐标，对于所述导向箭头，使用四边形进行标注，对于所述导流线，使用多边形进行标注，对于所述可跨越同向车行道分界线，标注其转折点的坐标、线的种类和与虚线段连接的两个端点坐标。
4.根据权利要求1所述的道路标线的检测与识别方法，其特征在于，将所述检测结果依据道路标线的类型及其置信度进行后处理，并根据后处理结果从所述候选位置中确定该道路标线的选定位置之后包括：
根据所述道路标线的选定位置在所述道路监控视频中标记出对应的道路标线。
5.根据权利要求4所述的道路标线的检测与识别方法，其特征在于，根据所述道路标线的选定位置在所述道路监控视频中标记出对应的道路标线之后包括：
通过拟合将所述道路标线分为N段直线，通过聚类将所述N段直线分为M组直线，通过拟合确定所述M组直线的消失点，其中M和N是大于1的正整数；
判断P帧图像的所述消失点是否变化，若是，确定所述摄像机发生移动和/或变焦，其中，P是大于1的正整数。
6.根据权利要求1所述的道路标线的检测与识别方法，其特征在于，使用所述深度学习网络对所述待检测图像中的道路标线进行检测，得到用于表示所述待检测图像中各种类型的道路标线的候选位置及置信度的检测结果包括：
将所述待检测图像输入所述深度学习网络，得到各种类型的道路标线的掩膜图像，所述掩膜图像中的每个像素存放第一数据，所述第一数据表示对应类型的道路标线在该像素中的置信度。
7.根据权利要求1所述的道路标线的检测与识别方法，其特征在于，将所述检测结果依据道路标线的类型及其置信度进行后处理，并根据后处理结果从所述候选位置中确定该道路标线的选定位置包括：
在道路标线是车行道边缘线的情况下，设置第一阈值，将第一数据大于第一阈值的对应像素值置为第一数值，将第一数据小于第一阈值的对应像素值置为第二数值，得到第一二值图像；
预处理所述第一二值图像去除异常像素点，获取所述车行道边缘线的候选位置；
获取所述车行道边缘线的候选位置处像素点之间的欧式距离，判断欧式距离是否小于第六阈值，若是，采样所述车行道边缘线的候选位置，得到所述车行道边缘线的选定位置。
8.根据权利要求1所述的道路标线的检测与识别方法，其特征在于，将所述检测结果依据道路标线的类型及其置信度进行后处理，并根据后处理结果从所述候选位置中确定该道路标线的选定位置包括：
在道路标线是可跨越同向车行道分界线的情况下，设置第二阈值，将第一数据大于第二阈值的对应像素值置为第一数值，将第一数据小于第二阈值的对应像素值置为第二数值，得到第二二值图像；
预处理所述第二二值图像去除异常像素点，获取候选可跨越同向车行道分界线的候选位置；
获取可跨越同向车行道分界线的候选位置处像素点之间的欧式距离，判断欧式距离是否小于第九阈值，若是，通过选取其纵坐标最小和最大处的点，确定可跨越同向车行道分界线的选定位置。
9.根据权利要求1所述的道路标线的检测与识别方法，其特征在于，将所述检测结果依据道路标线的类型及其置信度进行后处理，并根据后处理结果从所述候选位置中确定该道路标线的选定位置包括：
在道路标线是导向箭头的情况下，按照从大至小排序第一数据获取所述第一数据的下标，设置第三阈值，将小于第三阈值的所述下标对应的像素值保持不变，将大于第三阈值的所述下标对应的像素值置为第二数值，得到候选导向箭头图像；
设置第四阈值，在所述候选导向箭头图像中，将第一数据大于第四阈值的对应像素值置为第一数值，将第一数据小于第四阈值的对应像素值置为第二数值，得到第三二值图像；
预处理所述第三二值图像去除异常像素点，获取导向箭头的候选位置；
聚类所述导向箭头的候选位置处的点，通过计算每个聚类族的平均坐标确定导向箭头的选定位置。
10.根据权利要求1所述的道路标线的检测与识别方法，其特征在于，将所述检测结果依据道路标线的类型及其置信度进行后处理，并根据后处理结果从所述候选位置中确定该道路标线的选定位置包括：
在道路标线是导流线的情况下，设置第五阈值，将第一数据大于第五阈值的对应像素值置为第一数值，将第一数据小于第五阈值的对应像素值置为第二数值，得到第四二值图像；
预处理所述第四二值图像去除异常像素点，获取导流线的候选位置，其中，所述导流线的候选位置处的点包括所述第四二值图像去除异常像素点后的连通域；
获取所述导流线候选位置处的点的坐标，纵坐标每间隔K个像素采样所述连通域最边缘处的像素，确定导流线的选定位置，其中，K是大于20的正整数。
11.根据权利要求1所述的道路标线的检测与识别方法，其特征在于，将所述检测结果依据道路标线的类型及其置信度进行后处理，并根据后处理结果从所述候选位置中确定该道路标线的选定位置包括：
在道路标线是道路出入口标线的情况下，设置第七阈值，将第一数据大于第七阈值的对应像素值置为第一数值，将第一数据小于第七阈值的对应像素值置为第二数值，得到第五二值图像；
预处理所述第五二值图像去除异常像素点，获取所述道路出入口标线的候选位置；
获取所述道路出入口标线的候选位置处像素点之间的欧式距离，判断欧式距离是否小于第八阈值，若是，采样所述道路出入口标线的候选位置，得到所述道路出入口标线的选定位置。
12.根据权利要求4所述的道路标线的检测与识别方法，其特征在于，根据所述道路标线的选定位置在所述道路监控视频中标记出对应的道路标线之后包括：
获取可跨越同向车行道分界线中的虚线段；
通过所述虚线段在世界坐标系中地平面的相对坐标，得到所述虚线段的相对长度；
根据所述相对长度与实际距离的比值得到图像坐标系与世界坐标系的比例系数；
根据所述比例系数确定所述道路监控图像中任意两点的在世界坐标系下沿车道方向行驶的物理距离。
13.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至11中任一项所述的道路标线的检测与识别方法。
14.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至11中任一项所述的道路标线的检测与识别方法。
CN202011218902.4A 2020-11-04 2020-11-04 道路标线的检测与识别方法、电子装置和存储介质 Active CN112464737B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011218902.4A CN112464737B (zh) 2020-11-04 2020-11-04 道路标线的检测与识别方法、电子装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011218902.4A CN112464737B (zh) 2020-11-04 2020-11-04 道路标线的检测与识别方法、电子装置和存储介质

Publications (2)

Publication Number Publication Date
CN112464737A true CN112464737A (zh) 2021-03-09
CN112464737B CN112464737B (zh) 2022-02-22

Family

ID=74835456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011218902.4A Active CN112464737B (zh) 2020-11-04 2020-11-04 道路标线的检测与识别方法、电子装置和存储介质

Country Status (1)

Country Link
CN (1) CN112464737B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128247A (zh) * 2021-05-17 2021-07-16 阳光电源股份有限公司 一种图像定位标识验证方法及服务器
CN114140787A (zh) * 2021-12-09 2022-03-04 腾讯科技（深圳）有限公司 图像处理方法、装置、设备、存储介质及计算机产品
CN114743375A (zh) * 2022-04-08 2022-07-12 杭州电子科技大学 一种基于机器视觉融合路网时空信息的交通流预测方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577809A (zh) * 2013-11-12 2014-02-12 北京联合大学 一种基于智能驾驶的地面交通标志实时检测的方法
CN104331708A (zh) * 2014-11-05 2015-02-04 武汉大学 一种人行横道线自动检测分析方法及系统
CN105224908A (zh) * 2014-07-01 2016-01-06 北京四维图新科技股份有限公司 一种基于正射投影的道路标线采集方法及装置
CN105825203A (zh) * 2016-03-30 2016-08-03 大连理工大学 基于点对匹配和几何结构匹配的地面箭头标志检测与识别方法
US20170154528A1 (en) * 2015-11-26 2017-06-01 Mazda Motor Corporation Traffic sign recognition system
CN107577981A (zh) * 2016-07-04 2018-01-12 高德信息技术有限公司 一种道路交通标识识别方法及装置
CN109409205A (zh) * 2018-09-07 2019-03-01 东南大学 基于线间距特征点聚类的航拍视频公路车道线检测方法
CN109671286A (zh) * 2018-12-26 2019-04-23 东软睿驰汽车技术（沈阳）有限公司 一种道路信息和道路交通信息的处理方法和装置
CN109815836A (zh) * 2018-12-29 2019-05-28 江苏集萃智能制造技术研究所有限公司 一种城市道路路面导向箭头检测识别方法
CN111382625A (zh) * 2018-12-28 2020-07-07 沈阳美行科技有限公司 道路标识识别方法、装置及电子设备
CN111444749A (zh) * 2019-01-17 2020-07-24 杭州海康威视数字技术股份有限公司 路面导向标志的识别方法、装置及存储介质
CN111488854A (zh) * 2020-04-23 2020-08-04 福建农林大学 一种道路交通标志自动识别与分类方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577809A (zh) * 2013-11-12 2014-02-12 北京联合大学 一种基于智能驾驶的地面交通标志实时检测的方法
CN105224908A (zh) * 2014-07-01 2016-01-06 北京四维图新科技股份有限公司 一种基于正射投影的道路标线采集方法及装置
CN104331708A (zh) * 2014-11-05 2015-02-04 武汉大学 一种人行横道线自动检测分析方法及系统
US20170154528A1 (en) * 2015-11-26 2017-06-01 Mazda Motor Corporation Traffic sign recognition system
CN105825203A (zh) * 2016-03-30 2016-08-03 大连理工大学 基于点对匹配和几何结构匹配的地面箭头标志检测与识别方法
CN107577981A (zh) * 2016-07-04 2018-01-12 高德信息技术有限公司 一种道路交通标识识别方法及装置
CN109409205A (zh) * 2018-09-07 2019-03-01 东南大学 基于线间距特征点聚类的航拍视频公路车道线检测方法
CN109671286A (zh) * 2018-12-26 2019-04-23 东软睿驰汽车技术（沈阳）有限公司 一种道路信息和道路交通信息的处理方法和装置
CN111382625A (zh) * 2018-12-28 2020-07-07 沈阳美行科技有限公司 道路标识识别方法、装置及电子设备
CN109815836A (zh) * 2018-12-29 2019-05-28 江苏集萃智能制造技术研究所有限公司 一种城市道路路面导向箭头检测识别方法
CN111444749A (zh) * 2019-01-17 2020-07-24 杭州海康威视数字技术股份有限公司 路面导向标志的识别方法、装置及存储介质
CN111488854A (zh) * 2020-04-23 2020-08-04 福建农林大学 一种道路交通标志自动识别与分类方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128247A (zh) * 2021-05-17 2021-07-16 阳光电源股份有限公司 一种图像定位标识验证方法及服务器
CN113128247B (zh) * 2021-05-17 2024-04-12 阳光电源股份有限公司 一种图像定位标识验证方法及服务器
CN114140787A (zh) * 2021-12-09 2022-03-04 腾讯科技（深圳）有限公司 图像处理方法、装置、设备、存储介质及计算机产品
CN114743375A (zh) * 2022-04-08 2022-07-12 杭州电子科技大学 一种基于机器视觉融合路网时空信息的交通流预测方法
CN114743375B (zh) * 2022-04-08 2023-09-15 杭州电子科技大学 一种基于机器视觉融合路网时空信息的交通流预测方法

Also Published As

Publication number Publication date
CN112464737B (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
CN112464737B (zh) 道路标线的检测与识别方法、电子装置和存储介质
CN108090456B (zh) 识别车道线模型的训练方法、车道线识别方法及装置
US9129524B2 (en) Method of determining parking lot occupancy from digital camera images
US9213901B2 (en) Robust and computationally efficient video-based object tracking in regularized motion environments
CN110874564A (zh) 分类车线后补像素检测车线的方法及装置
US11068713B1 (en) Video-based intelligent road traffic universal analysis
CN111950394B (zh) 一种车辆变道的预测方法、装置及计算机存储介质
CN111898491B (zh) 一种车辆逆向行驶的识别方法、装置及电子设备
CN110889318A (zh) 利用cnn的车道检测方法和装置
Zhang et al. License plate localization in unconstrained scenes using a two-stage CNN-RNN
CN112215190A (zh) 基于yolov4模型的违章建筑检测方法
CN112883948A (zh) 一种语义分割与边缘检测模型建立及护栏异常监测方法
CN115410100A (zh) 一种基于无人机图像的小目标检测方法及系统
CN113012215A (zh) 一种空间定位的方法、系统及设备
CN114495041A (zh) 车辆与目标物之间距离的测量方法、装置、设备及介质
Zhang et al. Image-based approach for parking-spot detection with occlusion handling
CN113435370A (zh) 一种基于图像特征融合获取车辆排队长度的方法及装置
Zuo et al. Road model prediction based unstructured road detection
Cheng Highway traffic flow estimation for surveillance scenes damaged by rain
Khosravi et al. Vehicle speed and dimensions estimation using on-road cameras by identifying popular vehicles
CN109583584B (zh) 可使具有全连接层的cnn接受不定形状输入的方法及系统
CN113920147B (zh) 基于深度学习的遥感影像建筑物提取方法及设备
CN115223112A (zh) 一种基于语义分割的待行区检测方法
CN113450457A (zh) 道路重建方法、装置、计算机设备和存储介质
CN107358170B (zh) 一种基于移动机器视觉的车辆违章压线识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant