CN115471803B - 交通标识线的提取方法、装置、设备和可读存储介质 - Google Patents

交通标识线的提取方法、装置、设备和可读存储介质 Download PDF

Info

Publication number
CN115471803B
CN115471803B CN202211063906.9A CN202211063906A CN115471803B CN 115471803 B CN115471803 B CN 115471803B CN 202211063906 A CN202211063906 A CN 202211063906A CN 115471803 B CN115471803 B CN 115471803B
Authority
CN
China
Prior art keywords
feature
feature map
traffic sign
level
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211063906.9A
Other languages
English (en)
Other versions
CN115471803A (zh
Inventor
马浩
陈思耘
张攀科
毛明楷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Geo Vision Tech Co ltd
Original Assignee
Beijing Geo Vision Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Geo Vision Tech Co ltd filed Critical Beijing Geo Vision Tech Co ltd
Priority to CN202211063906.9A priority Critical patent/CN115471803B/zh
Publication of CN115471803A publication Critical patent/CN115471803A/zh
Application granted granted Critical
Publication of CN115471803B publication Critical patent/CN115471803B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请的实施例提供了交通标识线的提取方法、装置、设备和计算机可读存储介质。所述方法包括基于道路点云数据，得到像素的强度特征图像；通过实例分割算法对所述强度特征图像进行像素级语义分割，得到交通标志线的实例分割结果；基于所述交通标志线的实例分割结果，提取对应的交通标识线。以此方式，实现了对交通标识线的精准提取。

Description

交通标识线的提取方法、装置、设备和可读存储介质
技术领域
本申请的实施例涉及数据处理领域，尤其涉及交通标识线的提取方法、装置、设备和计算机可读存储介质。
背景技术
随着我国经济快速发展，汽车保有量也逐渐地增加。汽车在给人们日常生活带来极大便利的同时，也随之带来了诸多的问题，如城市交通环境逐渐恶化、交通堵塞日益严重、交通事故时有发生等。提高交通的智能化水平、减少道路交通事故，将有助于整个社会安全健康良性的发展，也是科技工作者所面临的重要的技术挑战。
道路标志线检测是车辆环境感知的基本任务，也是安全驾驶的重要保证。道路标志线的识别是道路环境感知和建模领域的关键内容，准确并且快速地实现道路标志线的分类提取，对于城市道路建模、车辆的智能驾驶和安全应急都具有重要意义。
发明内容
根据本申请的实施例，提供了一种交通标识线的提取方案。
在本申请的第一方面，提供了一种交通标识线的提取方法。该方法包括：
基于道路点云数据，得到像素的强度特征图像；
通过实例分割算法对所述强度特征图像进行像素级语义分割，得到交通标志线的实例分割结果；
基于所述交通标志线的实例分割结果，提取对应的交通标识线。
进一步地，所述基于道路点云数据，得到像素的强度特征图像包括：
对道路点云数据进行去噪；
基于去噪后的道路点云数据范围，构建空白影像；
将去噪后的道路点云数据，投影到所述空白影像；
基于点云的强度值对投影后的影像进行赋值，得到像素的强度特征图像。
进一步地，所述实例分割算法包括深度残差网络、特征金字塔网络、区域建议网络和感兴趣区域头部网络。
进一步地，所述通过实例分割算法对所述强度特征图像进行像素级语义分割，得到交通标志线的实例分割结果包括：
通过深度残差网络，提取所述强度特征图像的多层次特征图；
通过特征金字塔网络，整合所述强度特征图像的多层次特征图中各个特征层的信息；
通过区域建议网络计算的候选框，将候选框映射到金子塔网络中相应的特征图，得到感兴趣区域的多层次特征；
对所述感兴趣区域的多层次特征进行像素级语义分割，得到交通标志线的实例分割结果。
进一步地，所述通过特征金字塔网络，整合所述强度特征图像的多层次特征图，基于特征金字塔网络，将通过如下公式将候选框映射到金字塔网络的第N层特征图：
其中，W和H的乘积表示候选框的面积。
进一步地，所述对所述叠加特征进行像素级语义分割，得到交通标志线的实例分割结果包括：
对所述感兴趣区域的多层次特征进行池化；
对池化后的特征进行标线类别判断和边框回归；同时对所述叠加特征进行像素级语义分割；
基于标线类别判断和边框回归以及语义分割结果，得到交通标志线的实例分割结果。
进一步地，还包括：
通过Focal Loss损失函数优化模型，对所述区域建议网络进行优化；
其中，所述Focal Loss损失函数优化模型包括：
其中，p和q分别表示特征图中像素点的预测分布和真实分布；
α表示平衡参数；
γ表示调制参数。
在一种可能的实现方式中，
在本申请的第二方面，提供了一种交通标识线的提取装置。该装置包括：
处理模块，用于基于道路点云数据，得到像素的强度特征图像；
分割模块，用于通过实例分割算法对所述强度特征图像进行像素级语义分割，得到交通标志线的实例分割结果；
提取模块，用于基于所述交通标志线的实例分割结果，提取对应的交通标识线。
在本申请的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
在本申请的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如根据本申请的第一方面的方法。
本申请实施例提供的交通标识线的提取方法，通过基于道路点云数据，得到像素的强度特征图像；通过实例分割算法对所述强度特征图像进行像素级语义分割，得到交通标志线的实例分割结果；基于所述交通标志线的实例分割结果，提取对应的交通标识线，实现了对交通标识线的提取。
应当理解，发明内容部分中所描述的内容并非旨在限定本申请的实施例的关键或重要特征，亦非用于限制本申请的范围。本申请的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明，本申请各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
图1示出了根据本申请的实施例的交通标识线的提取方法的流程图；
图2示出了根据本申请的实施例的点云对应的像素强度特征图像；
图3示出了根据本申请的实施例的标志线分割流程示意图；
图4示出了根据本申请的实施例的道路标志线的实例分割结果示意图；
图5示出了根据本申请的实施例的车道线及非车道线的矢量化示意图；
图6示出了根据本申请的实施例的交通标识线的提取装置的方框图；
图7示出了适于用来实现本申请实施例的终端设备或服务器的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
图1示出了根据本公开实施例的交通标识线的提取方法的流程图。所述方法包括：
S110，基于道路点云数据，得到像素的强度特征图像。
其中，道路点云数据，通常通过车载设备进行获取；所述道路点云数据为三维激光点云。
在一些实施例中，根据高程值和高程邻域对三维激光点云进行过滤，去除大量非地面点。
根据过滤(去噪)后的点云范围，创建分辨率为2cm(根据应用场景)的空白影像，对过滤后的点云进行投影，按照点云的强度值对投影后的影像进行像素赋值，得到点云对应的强度特征图像，参考图2。
进一步地，基于所述强度特征图像制作训练样本。所述样本类别包括纵向减速带、车辆禁停标志、道路虚线、斑马线、导向指示线、箭头指示标志、道路实线和/或横向减速带等。
S220，通过实例分割算法对所述强度特征图像进行像素级语义分割，得到交通标志线的实例分割结果。
在一些实施例中，通过深度学习框架MaskRCNN构建实例分割算法，所述实例分割算法包括深度残差网络、特征金字塔网络、区域建议网络和感兴趣区域头部网络等。
在一些实施例中，通过实例分割算法，对所述强度特征图像进行像素级语义分割的原理如图3所示：
首先利用即深度残差网络ResNet作为骨干(Backbone)提取多层次特征图。
优选地，可分为5个阶段进行特征提取，每个阶段均包含残差映射模块。其中，残差映射可使得网络更易优化，随着网络层数的加深，能够发挥更强的学习性能；
进一步地，建立FPN(特征金字塔网络)，通过FPN整合ResNet各个特征层的信息，以便RPN(区域建议网络)和ROIHead(感兴趣区域头部网络)更好地利用样本的低维和高维特征，计算出更精准的候选区域。
具体地，参考图3所示的FPN框架，在该FPN框架中整合ResNet的各个阶段的特征，S1-S5代表由Backbone自上而下抽取得到的5个特征层，F5由S5横向传播得到，F5经过Maxpool(最大池化)得到F6，S1-S4分别横向传播，自F5起自下而上传播，逐步得到F4-F1。
进一步地，在ROIHead分支中，将RPN计算的候选框(proposals)映射到FPN中的特征图Fn，经过ROIAlign(感兴趣区域池化)后得到感兴趣区域的多层次特特征图，再通过边界框回归网络分支做标线类别判断和边框回归，同时通过语义分割网络分支做像素级的语义分割，基于标线类别判断和边框回归以及语义分割结果，得到交通标志线的实例分割结果，参考图4。
在一些实施例中，所述Fn中的数值n可通过如下公式进行计算：
其中，W和H的乘积代表候选框的面积，依据候选框的面积，RPN生成的候选框会被映射到F2—F5中的第N层特征图。
在一些实施例中，由于道路转弯(非直线)、车道禁停区域(网状线形)等特殊的应用场景，可能会使RPN探测出的候选框内存在大面积背景区域，而大量的背景区域会使损失值难以真实反映模型优化的水平，同时使得各类训练样本存在数量不均衡的问题，会影响语义分割的精度。
因此，在本公开中，采用Focal Loss损失函数优化模型，对所述区域建议网络进行优化。从而权衡正负样本，及类间不平衡的问题。
其中，所述Focal Loss损失函数优化模型包括：
其中，p和q分别表示特征图中像素点的预测分布和真实分布；q＝1表示地面真实值是前景，反之，为背景；
α表示平衡参数；
γ表示调制参数。
综上可知，Focal Loss在交叉熵损失的基础上增加了平衡参数(α)和调制参数(γ)。
其中，平衡参数用于调整正样本和负样本的权重；调制参数用于在优化中调整易分类样本和难分类样本的权重；所述平衡参数和调制参数均可根据实际应用场景和人工经验设定。
S230，基于所述交通标志线的实例分割结果，提取对应的交通标识线。
在一些实施例中，根据所述交通标志线的实例分割结果，提取对应的交通标识线。
具体地，若为车道线(道路实线，道路虚线，横向减速带，纵向减速带)，则根据实例分割结果，按照预设间隔取节点，将该节点进行连接，得到对应的交通标识线；
若为非车道线(导流带，人行横道，禁停区)，即提取中心为外部整体轮廓所在的位置，则通过凸包算法提取外轮廓线，内部形状按照类别进行填充，对于箭头则采用ICP匹配算法进行匹配，每一种箭头均对应着各自的模板，取结果中指标最好的作为最终结果。
其中，所述车道线和非车道线根据实例分割结果确定。
进一步地，对得到的交通标识线进行矢量化，完成对交通标识线的提取，参考图5。
下面给出根据本公开的交通标识线的提取方法，进行交通标识线提取，得到的具体实验数据：
硬件环境配置为NVIDIA Titan Xp，该显卡的显存为12G，显存速度11.4Gbps，位宽384bit，带宽547.7GB/s。由此，基于GPU的计算模式加速模型训练。在广东省深圳市某高速公路为1.5km的范围内，测试了本发明的效果，指标为精确率(precision)和召回率(recall)。
对于标志线各类别的精确率的召回率的统计如表1，二者的计算公式分别如下所示：
其中，TP、FP、FN分别表示真正、假正，假负样本的数量；
表1精确率及召回率的统计结果
根据本公开的实施例，实现了以下技术效果：
本公开在强度特征图像的基础上得到了实例分割的输出，每个实例都包含标志线的类别和外轮廓，即在语义分割的基础上拓展为了实例分割，可减少后处理聚类的过程，提升矢量化的效率。实现了对交通标识线的精准提取。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
以上是关于方法实施例的介绍，以下通过装置实施例，对本申请所述方案进行进一步说明。
图6示出了根据本申请的实施例的交通标识线的提取装置600的方框图如图6所示，装置600包括：
处理模块610，用于基于道路点云数据，得到像素的强度特征图像；
分割模块620，用于通过实例分割算法对所述强度特征图像进行像素级语义分割，得到交通标志线的实例分割结果；
提取模块630，用于基于所述交通标志线的实例分割结果，提取对应的交通标识线。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图7示出了适于用来实现本申请实施例的终端设备或服务器的结构示意图。
如图7所示，终端设备或服务器包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有终端设备或服务器操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本申请的实施例，上文方法流程步骤可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在机器可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中的。上述计算机可读存储介质存储有一个或者多个程序，当上述前述程序被一个或者一个以上的处理器用来执行描述于本申请的方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的申请范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述申请构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中申请的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (6)

1.一种交通标识线的提取方法，其特征在于，包括：
基于道路点云数据，得到像素的强度特征图像；
通过实例分割算法对所述强度特征图像进行像素级语义分割，得到交通标志线的实例分割结果；
基于所述交通标志线的实例分割结果，提取对应的交通标识线；
其中，所述基于道路点云数据，得到像素的强度特征图像，包括：
根据高程值和高程邻域对道路点云数据进行去噪，去除大量的非地面点；
基于去噪后的道路点云数据范围，构建空白影像，所述空白影像的分辨率是基于当前应用场景确定的；
将去噪后的道路点云数据，投影到所述空白影像；
基于点云的强度值对投影后的影像进行赋值，得到像素的强度特征图像；
其中，所述基于所述交通标志线的实例分割结果，提取对应的交通标识线，包括：
若为车道线，则根据实例分割结果，按照预设间隔取节点，将该节点进行连接，得到对应的交通标识线；
若为非车道线，则通过凸包算法提取外轮廓线，内部形状按照类别进行填充，对于箭头则采用ICP匹配算法进行匹配，每一种箭头均对应着各自的模板，取结果中指标最好的作为最终结果，其中，所述车道线和非车道线根据实例分割结果确定；
对所述交通标识线和所述最终结果进行矢量化；
其中，所述实例分割算法包括深度残差网络、特征金字塔网络、区域建议网络和感兴趣区域头部网络；
其中，所述通过实例分割算法对所述强度特征图像进行像素级语义分割，得到交通标志线的实例分割结果包括：
通过深度残差网络，提取所述强度特征图像的多层次特征图，具体地，利用第一特征层对强度特征图进行第一次卷积操作，得到第一特征图S1，并进行横向传播输入至特征金字塔网络；对第一特征图S1进行第二次卷积操作，得到第二特征图S2，并进行横向传播输入至特征金字塔网络；对第二特征图进行第三次卷积操作，得到第三特征图S3，并进行横向传播输入至特征金字塔网络；对第三特征图进行第四次卷积操作，得到第四特征图S4，并进行横向传播输入至特征金字塔网络；对第四特征图进行第五次卷积操作，得到第五特征图S5，所述多层次特征图包括所述第一特征图S1、所述第二特征图S2、所述第三特征图S3、所述第四特征图S4和所述第五特征图S5；
通过特征金字塔网络，整合所述强度特征图像的多层次特征图中各个特征层的信息，具体地，特征金字塔网络对第二特征图S2整合，得到第二特征图S2的特征信息F2；特征金字塔网络对第三特征图S3整合，得到第三特征图S3的特征信息F3；特征金字塔网络对第四特征图S4整合，得到第四特征图S4的特征信息F4；特征金字塔网络对第五特征图S5整合，得到第五特征图S5的特征信息F5，并对F5进行最大池化得到F6，所述多层次特征图中的各个特征层的信息包括：所述特征信息F2、所述特征信息F3、所述特征信息F4、所述特征信息F5和所述特征信息F6；
通过区域建议网络计算的候选框，将其映射到金字塔网络中相应的特征图下，得到感兴趣区域的多层次特征；
对所述感兴趣区域的多层次特征进行像素级语义分割，得到交通标志线的实例分割结果；
其中，对所述感兴趣区域的多层次特征进行像素级语义分割，得到交通标志线的实例分割结果包括：
对所述感兴趣区域的多层次特征进行池化；
对池化后的特征进行标线类别判断和边框回归；同时对叠加特征进行像素级语义分割；
基于标线类别判断和边框回归以及语义分割结果，得到交通标志线的实例分割结果。
2.根据权利要求1所述的方法，其特征在于，所述通过特征金字塔网络，整合所述强度特征图像的多层次特征图，并计算感兴趣区域的多层次特征：
基于特征金字塔网络，通过如下公式将候选框映射到字塔网络的第N层特征图：
；
其中，W和H的乘积表示候选框的面积。
3.根据权利要求1所述的方法，其特征在于，还包括：
通过Focal Loss损失函数优化模型，对所述区域建议网络进行优化；
其中，所述Focal Loss损失函数优化模型包括：
；
其中，p和q分别表示特征图中像素点的预测分布和真实分布；
α表示平衡参数；
γ表示调制参数。
4.一种交通标识线的提取装置，其特征在于，包括：
处理模块，用于基于道路点云数据，得到像素的强度特征图像；
分割模块，用于通过实例分割算法对所述强度特征图像进行像素级语义分割，得到交通标志线的实例分割结果；
提取模块，用于基于所述交通标志线的实例分割结果，提取对应的交通标识线；
其中，所述处理模块在基于道路点云数据，得到像素的强度特征图像时，具体用于：
根据高程值和高程邻域对道路点云数据进行去噪，去除大量的非地面点；
基于去噪后的道路点云数据范围，构建空白影像，所述空白影像的分辨率是基于当前应用场景确定的；
将去噪后的道路点云数据，投影到所述空白影像；
基于点云的强度值对投影后的影像进行赋值，得到像素的强度特征图像；
其中，所述提取模块在基于所述交通标志线的实例分割结果，提取对应的交通标识线时，具体用于：
若为车道线，则根据实例分割结果，按照预设间隔取节点，将该节点进行连接，得到对应的交通标识线；
若为非车道线，则通过凸包算法提取外轮廓线，内部形状按照类别进行填充，对于箭头则采用ICP匹配算法进行匹配，每一种箭头均对应着各自的模板，取结果中指标最好的作为最终结果，其中，所述车道线和非车道线根据实例分割结果确定；
对所述交通标识线和所述最终结果进行矢量化；
其中，所述实例分割算法包括深度残差网络、特征金字塔网络、区域建议网络和感兴趣区域头部网络；
其中，所述分割模块在通过实例分割算法对所述强度特征图像进行像素级语义分割，得到交通标志线的实例分割结果时，具体用于：
通过深度残差网络，提取所述强度特征图像的多层次特征图，具体地，利用第一特征层对强度特征图进行第一次卷积操作，得到第一特征图S1，并进行横向传播输入至特征金字塔网络；对第一特征图S1进行第二次卷积操作，得到第二特征图S2，并进行横向传播输入至特征金字塔网络；对第二特征图进行第三次卷积操作，得到第三特征图S3，并进行横向传播输入至特征金字塔网络；对第三特征图进行第四次卷积操作，得到第四特征图S4，并进行横向传播输入至特征金字塔网络；对第四特征图进行第五次卷积操作，得到第五特征图S5，所述多层次特征图包括所述第一特征图S1、所述第二特征图S2、所述第三特征图S3、所述第四特征图S4和所述第五特征图S5；
通过特征金字塔网络，整合所述强度特征图像的多层次特征图中各个特征层的信息，具体地，特征金字塔网络对第二特征图S2整合，得到第二特征图S2的特征信息F2；特征金字塔网络对第三特征图S3整合，得到第三特征图S3的特征信息F3；特征金字塔网络对第四特征图S4整合，得到第四特征图S4的特征信息F4；特征金字塔网络对第五特征图S5整合，得到第五特征图S5的特征信息F5，并对F5进行最大池化得到F6，所述多层次特征图中的各个特征层的信息包括：所述特征信息F2、所述特征信息F3、所述特征信息F4、所述特征信息F5和所述特征信息F6；
通过区域建议网络计算的候选框，将其映射到金字塔网络中相应的特征图下，得到感兴趣区域的多层次特征；
对所述感兴趣区域的多层次特征进行像素级语义分割，得到交通标志线的实例分割结果；
其中，所述分割模块在对所述感兴趣区域的多层次特征进行像素级语义分割，得到交通标志线的实例分割结果时，具体用于：
对所述感兴趣区域的多层次特征进行池化；
对池化后的特征进行标线类别判断和边框回归；同时对叠加特征进行像素级语义分割；
基于标线类别判断和边框回归以及语义分割结果，得到交通标志线的实例分割结果。
5.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1~3中任一项所述的方法。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1~3中任一项所述的方法。
CN202211063906.9A 2022-08-31 2022-08-31 交通标识线的提取方法、装置、设备和可读存储介质 Active CN115471803B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211063906.9A CN115471803B (zh) 2022-08-31 2022-08-31 交通标识线的提取方法、装置、设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211063906.9A CN115471803B (zh) 2022-08-31 2022-08-31 交通标识线的提取方法、装置、设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN115471803A CN115471803A (zh) 2022-12-13
CN115471803B true CN115471803B (zh) 2024-01-26

Family

ID=84370994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211063906.9A Active CN115471803B (zh) 2022-08-31 2022-08-31 交通标识线的提取方法、装置、设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN115471803B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107463918A (zh) * 2017-08-17 2017-12-12 武汉大学 基于激光点云与影像数据融合的车道线提取方法
CN110533046A (zh) * 2019-08-30 2019-12-03 北京地平线机器人技术研发有限公司 一种图像实例分割方法和装置
CN112215128A (zh) * 2020-10-09 2021-01-12 武汉理工大学 融合fcos的r-cnn城市道路环境识别方法及装置
CN113392793A (zh) * 2021-06-28 2021-09-14 北京百度网讯科技有限公司 用于识别车道线的方法、装置、设备、存储介质以及无人车
CN114267028A (zh) * 2021-12-22 2022-04-01 首都师范大学 一种内容自适应的多层次道路标志检测及识别方法
CN114332112A (zh) * 2021-12-17 2022-04-12 北京交通大学 一种细胞图像分割方法、装置、电子设备及存储介质
WO2022126377A1 (zh) * 2020-12-15 2022-06-23 中国科学院深圳先进技术研究院 检测车道线的方法、装置、终端设备及可读存储介质
CN114863376A (zh) * 2022-04-02 2022-08-05 武汉集智浩睿技术转移有限公司 一种基于车载激光点云数据的道路标线分割方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107463918A (zh) * 2017-08-17 2017-12-12 武汉大学 基于激光点云与影像数据融合的车道线提取方法
CN110533046A (zh) * 2019-08-30 2019-12-03 北京地平线机器人技术研发有限公司 一种图像实例分割方法和装置
CN112215128A (zh) * 2020-10-09 2021-01-12 武汉理工大学 融合fcos的r-cnn城市道路环境识别方法及装置
WO2022126377A1 (zh) * 2020-12-15 2022-06-23 中国科学院深圳先进技术研究院 检测车道线的方法、装置、终端设备及可读存储介质
CN113392793A (zh) * 2021-06-28 2021-09-14 北京百度网讯科技有限公司 用于识别车道线的方法、装置、设备、存储介质以及无人车
CN114332112A (zh) * 2021-12-17 2022-04-12 北京交通大学 一种细胞图像分割方法、装置、电子设备及存储介质
CN114267028A (zh) * 2021-12-22 2022-04-01 首都师范大学 一种内容自适应的多层次道路标志检测及识别方法
CN114863376A (zh) * 2022-04-02 2022-08-05 武汉集智浩睿技术转移有限公司 一种基于车载激光点云数据的道路标线分割方法及系统

Also Published As

Publication number Publication date
CN115471803A (zh) 2022-12-13

Similar Documents

Publication Publication Date Title
CN113056769B (zh) 利用软交叉熵损失的语义分段
CN108345822B (zh) 一种点云数据处理方法及装置
CN110148196B (zh) 一种图像处理方法、装置以及相关设备
WO2018068653A1 (zh) 点云数据处理方法、装置及存储介质
CN113052159B (zh) 一种图像识别方法、装置、设备及计算机存储介质
CN113033604A (zh) 一种基于SF-YOLOv4网络模型的车辆检测方法、系统及存储介质
CN112070049B (zh) 基于BiSeNet的自动驾驶场景下的语义分割方法
CN114037836A (zh) 一种将人工智能识别技术应用于三维输变电工程测算的方法
CN110717886A (zh) 复杂环境下基于机器视觉的路面坑塘检测方法
CN112528477A (zh) 道路场景仿真方法、设备、存储介质及装置
CN114495060B (zh) 一种道路交通标线识别方法及装置
CN111079634B (zh) 车辆行驶中检测障碍物的方法、装置、系统及车辆
CN115187945A (zh) 车道线识别方法、装置、电子设备、存储介质
CN116229448A (zh) 三维目标检测方法、装置、设备及可读存储介质
CN115471803B (zh) 交通标识线的提取方法、装置、设备和可读存储介质
CN116343159B (zh) 一种非结构化场景可通行区域检测方法、装置及存储介质
CN112712098B (zh) 图像数据处理方法及装置
CN114004740B (zh) 基于无人机激光雷达点云的建筑物墙线提取方法
CN115857685A (zh) 一种感知算法数据闭环方法及相关装置
CN111611942B (zh) 一种透视自适应车道骨架提取建库的方法
JP7070531B2 (ja) 都市構造設計装置及び都市構造設計プログラム
CN113269088A (zh) 基于场景特征提取的场景描述信息确定方法及装置
CN115408487B (zh) 一种基于fpga的无人车实时周视全景自主识别系统
CN114495061B (zh) 一种道路交通标志牌识别方法及装置
CN116682014B (zh) 一种灯幕楼宇图像分割方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant