CN113033497A - 车道线识别方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本申请涉及人工智能中的图像处理，提供一种车道线识别方法、装置、设备及计算机可读存储介质，该方法包括：获取待识别的目标图像，目标图像包括组成车道线的多个多边图形；获取目标图像对应的热力图；通过热力图，确定每个多边图形的中心点信息和端点信息；根据每个多边图形的中心点信息和端点信息，确定每个多边图形的属性信息以及每两个多边图形之间的相互关系；根据每个多边图形的属性信息以及每两个多边图形之间的相互关系，从预设知识图谱中确定车道线的类别信息，预设知识图谱是以多边图形的属性信息为节点，以多边图形之间的相互关系为边所构造的知识图谱。本申请还涉及区块链，旨在提高车道线识别的精准性和泛化性。

Description

车道线识别方法、装置、设备及计算机可读存储介质

技术领域

本申请涉及图像处理的技术领域，尤其涉及一种车道线识别方法、装置、设备及计算机可读存储介质。

背景技术

车道线识别是无人驾驶汽车研究、行车记录仪违法抓拍等领域中重要的组成部分，准确识别出道路中的各类车道线对自动驾驶、智慧交通的发展有重要意义。当前车道线识别大都基于深度学习方法，这类方法直接利用通用的语义分割框架分割出场景图像中的车道线。具体地，先对图像中每个像素点进行分类，然后自底向上的得到车道线的类别信息和位置信息。然而，语义分割需要依赖高精度的图像，同时容易忽略车道线和场景道路的先验信息，造成分割精度不高和车道线遗漏等问题。因此，如何提高车道线识别的精准性和泛化性成为了亟待解决的问题。

发明内容

本申请的主要目的在于提供一种车道线识别方法、装置、设备及计算机可读存储介质，旨在通过人工智能相关技术手段提高车道线识别的精准性和泛化性。

第一方面，本申请提供一种车道线识别方法，包括：

获取待识别的目标图像，所述目标图像包括组成车道线的多个多边图形；

获取所述目标图像对应的热力图；

通过所述热力图，确定每个所述多边图形的中心点信息和端点信息；

根据每个所述多边图形的中心点信息和端点信息，确定每个所述多边图形的属性信息以及每两个所述多边图形之间的相互关系；

根据每个所述多边图形的属性信息以及每两个所述多边图形之间的相互关系，从预设知识图谱中确定所述车道线的类别信息，所述预设知识图谱是以多边图形的属性信息为节点，以多边图形之间的相互关系为边所构造的知识图谱。

第二方面，本申请还提供一种车道线识别装置，所述车道线识别装置包括：

获取模块，用于获取待识别的目标图像，所述目标图像包括组成车道线的多个多边图形；

获取模块，还用于获取所述目标图像对应的热力图；

第一确定模块，用于通过所述热力图，确定每个所述多边图形的中心点信息和端点信息；

第二确定模块，用于根据每个所述多边图形的中心点信息和端点信息，确定每个所述多边图形的属性信息以及每两个所述多边图形之间的相互关系；

第三确定模块，根据每个所述多边图形的属性信息以及每两个所述多边图形之间的相互关系，从预设知识图谱中确定所述车道线的类别信息，所述预设知识图谱是以多边图形的属性信息为节点，以多边图形之间的相互关系为边所构造的知识图谱。

第三方面，本申请还提供一种计算机设备，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如上所述的车道线识别方法的步骤。

第四方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上所述的车道线识别方法的步骤。

本申请提供一种车道线识别方法、装置、设备及计算机可读存储介质，本申请首先获取待识别的目标图像和目标图像对应的热力图，其中目标图像包括组成车道线的多个多边图形，然后通过热力图确定每个多边图形的中心点信息和端点信息，再根据每个多边图形的中心点信息和端点信息，确定每个多边图形的属性信息以及每两个多边图形之间的相互关系，最后根据每个多边图形的属性信息以及每两个多边图形之间的相互关系，从预设知识图谱中确定车道线的类别信息，其中预设知识图谱是以多边图形的属性信息为节点，以多边图形之间的相互关系为边所构造的知识图谱。虽然现实道路场景十分复杂多变，但组成车道线中的基础形状是不会改变的，本申请利用车道线中的多边形状并非像素点进行车道线识别，规避车道线类别混淆的问题，在提高车道线识别的准确性的同时，还能极大提高车道线识别的泛化性。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种车道线识别方法的步骤流程示意图；

图2为图1中的车道线识别方法的子步骤流程示意图；

图3为实施本实施例提供的目标图像的一示意图；

图4为实施本实施例提供的目标图像的另一示意图；

图5为本申请实施例提供的一种车道线识别装置的示意性框图；

图6为图5中的车道线识别装置的子模块的示意性框图；

图7为本申请实施例提供的一种计算机设备的结构示意性框图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，虽然在装置示意图中进行了功能模块的划分，但是在某些情况下，可以以不同于装置示意图中的模块划分。

本申请实施例提供一种车道线识别方法、装置、设备及计算机可读存储介质。其中，该车道线识别方法可应用于终端设备或服务器中，该终端设备可以为手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备；该服务器可以为单台的服务器，也可以为由多台服务器组成的服务器集群。以下以该车道线识别方法应用于服务器为例进行解释说明。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参照图1，图1为本申请实施例提供的一种车道线识别方法的步骤流程示意图。

如图1所示，该车道线识别方法包括步骤S101至步骤S105。

步骤S101、获取待识别的目标图像，目标图像包括组成车道线的多个多边图形。

当前，车道线的类别多种多样，包括指示标线、禁止标线和警告标线。其中，指示标线为指示车行道、行车方向、路面边缘、人行道等的标线，例如斑马线、道路分流线、行车方向指示线等；禁止标线为告示道路交通的遵行、禁止、限制等特殊规定的标线，例如斑马线预告标志、黄色网格线禁停标志、倒三角避让标志等；警告标线为促使道路使用者了解道路上的特殊情况，提高警觉，准备防范或应变措施的标线，例如减速标志、可变向车道标志等。

从车道线的组成来看，车道线可分成独立线和组合线。独立线包括实线、虚线等单线条，组合线包括斑马线、网格线、各类导向线等。其中，独立线多呈直线或者弧形的形式，可由多个共线的四边形组成的线条。组合线可由多个多边图形按照一定的排列规则组合而成，比如网格线可以认为是若干共线的四边形交叉排列而成，直行导向线可以认为是由一个三角形和一个四边形组合连接而成。

因此，车道线可由多个多边图形组成，多边图形包括三角形、四边形、五边形等多边形，还可包括近似多边形的不规则形状，四边形包括矩形、梯形和不规则四边形。由于施工条件、油漆质量、时间因素等可控和不可控的条件限制，现实中组成车道线的多边图形通常并不标准，严格意义上多呈不规则形状。可以理解的是，本申请所指的多边图形通常是内心充填的多边图形。

在一实施例中，目标图像为包括车道线的图像，目标图像可以由行车记录仪拍摄得到，当然也可以由其他拍摄设备拍摄得到。服务器可通过服务器的存储器、拍摄设备的存储器或者云端数据库获取待识别的目标图像。需要说明的是，为进一步保证上述目标图像等相关信息的私密和安全性，目标图像等相关信息还可以存储于一区块链的节点中，本申请的技术方案还可适用于添加其他存储于区块链上的数据文件，本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

步骤S102、获取目标图像对应的热力图。

其中，可通过一个全卷积编码-解码网络预测目标图像对应的热力图，由服务器获取目标图像对应的热力图。热力图用于标记目标图像的特定区域，为了区分不同区域的作用权重，热力图会通过不同的颜色来显示特定区域。可理解的，目标图像的特定区域包括表征车道线的区域，通过特定颜色可从热力图中识别出表征车道线的区域。

在一实施例中，获取预设的形状检测模型，形状检测模型包括热力图识别层；将目标图像输入至热力图识别层进行像素点的特征提取，得到目标图像对应的热力图。需要说明的是，形状检测模型可预先设置于服务器中，形状检测模型包括卷积神经网络CNN、循环神经网络RNN、深度信念网络DBN或者生成对抗网络GAN中的至少一种。例如，热力图识别层为分类网络AlexNet，将目标图像输入至分类网络AlexNet进行像素点的特征提取，得到目标图像对应的类激活热力图CAM。

在一实施例中，形状检测模型的训练过程为：在预设空白图像中生成多个端点，并连接每两个端点，以形成封闭的多边图形；通过预设元素充填预设空白图像中的多边图形，得到候选图像；对候选图像进行透视变换，得到样本图像；通过多个样本图像对未训练好的形状检测模型进行迭代训练，得到训练好的形状检测模型。其中，多个端点例如为三个或者四个端点。需要说明的是，通过对候选图像进行透视变换，从而模拟摄像头或行车记录仪视角，提高多边图形模拟车道线的真实性，从而提高车道线识别的准确性。

示例性的，在预设空白图像中随机生成四个端点，并通过线段连接每两个端点，得到一个边界封闭的四边形。在边界封闭的四边形内，通过与预设空白图像中的空白区域不同的值充填边界封闭的四边形，得到内心充填的四边形。例如，预设空白图像中的空白区域的像素点值为0，则将边界封闭的四边形中的每个像素点的像素点值设置为1，得到候选图像。然后对候选图像进行透视变换，得到样本图像，并利用样本图像对未训练好的形状检测模型进行迭代训练，得到训练好的形状检测模型。

进一步地，未训练好的形状检测模型包括热力图识别层、中心点定位层和端点定位层；通过多个样本图像对未训练好的形状检测模型进行迭代训练，得到训练好的形状检测模型，包括：将样本图像输入至热力图识别层进行像素点的特征提取，得到样本图像对应的样本热力图；将样本热力图输入至中心点定位层进行高斯滤波，以获取样本图像中的多边图形的中心点位置信息；将样本热力图输入至端点定位层进行角点检测，以获取样本图像中的多边图形的端点位置信息；根据样本图像对应的样本热力图、中心点位置信息和端点位置信息，确定形状检测模型的损失值；根据损失值确定未训练好的形状检测模型是否收敛，若未训练好的形状检测模型未收敛，则更新样本图像的模型参数；继续通过样本图像对更新模型参数的形状检测模型进行训练，直至形状检测模型收敛，则停止训练，得到训练好的形状检测模型。需要说明的是，通过多个样本图像对包括热力图识别层、中心点定位层和端点定位层的形状检测模型进行迭代训练，能够得到准确识别多边图形的形状检测模型。形状检测模型能够用于获取目标图像对应的热力图、以及定位多边图形的中心点和端点，从而便于获取多边图形的中心点信息和端点信息。

在一实施例中，根据样本图像对应的样本热力图、中心点位置信息和端点位置信息，确定形状检测模型的损失值，包括：获取样本图像对应的真实热力图，根据样本热力图和真实热力图，计算形状检测模型的第一损失值；获取生成样本图像时记录的中心点的真实坐标信息和各端点的真实坐标信息；根据中心点的真实坐标信息和中心点位置信息，计算形状检测模型的第二损失值；根据各端点的真实坐标信息和端点位置信息，计算形状检测模型的第三损失值；计算该第一损失值、第二损失值与第三损失值之和，得到形状检测模型的损失值。

需要说明的是，在预设空白图像中生成多边图形的多个端点时可记录各端点的真实坐标信息以及中心点的真实坐标信息，进行透视变换后的中心点以及各端点的坐标也可以相应计算出，真实热力图可通过对多边图形的中心点的真实坐标信息进行高斯核扩散得到，因此训练所需的真实标签无需额外标注。通过样本图像的计算热力图分布误差、中心点偏移误差和端点偏移误差，更新样本图像的模型参数，形状检测模型的检测准确度更高。

步骤S103、通过热力图，确定每个多边图形的中心点信息和端点信息。

目标图像包括组成车道线的多个多边图形，其中每个多边图形包括一个中心点和多个端点。通过目标图像对应的热力图，能够定位每个多边图形的一个中心点和多个端点，从而便于获取每个多边图形的中心点信息和端点信息。

在一实施例中，形状检测模型包括热力图识别层、中心点定位层和端点定位层；通过热力图，确定每个多边图形的中心点信息和端点信息，包括：将热力图输入至中心点定位层进行高斯滤波，以定位每个多边图形的中心点，并获取每个多边图形的中心点信息；将热力图输入至端点定位层进行角点检测，以定位每个多边图形的端点，并获取每个多边图形的端点信息。

需要说明的是，前述实施例利用样本图像对形状检测模型进行训练，训练好的形状检测模型能够准确地得出目标图像中的每个多边图形的属性信息。具体地，通过热力图识别层对目标图像进行像素点的特征提取，得到热力图；通过中心点定位层对热力图进行高斯滤波，得到每个多边图形的中心点的位置信息，从而获取每个多边图形的中心点信息；通过端点定位层的对热力图进行角点检测，得到每个多边图形的各端点的位置信息，从而获取每个多边图形的端点信息，提高了获取多边图形的中心点信息和端点信息的准确性。

步骤S104、根据每个多边图形的中心点信息和端点信息，确定每个多边图形的属性信息以及每两个多边图形之间的相互关系。

其中，中心点信息包括中心点的位置信息和中心点的标签信息等，位置信息例如为中心点的坐标信息；端点信息包括端点数量、各端点的位置信息和各端点的标签信息等。根据中心点信息和端点信息，能够准确地确定多边图形的属性信息以及每两个多边图形之间的相互关系。

在一实施例中，如图2所示，步骤S104包括：子步骤S1041至子步骤S1042。

子步骤S1041、根据多边图形的中心点信息和端点信息，确定多边图形的属性信息。

其中，属性信息包括形状、位置信息和各边的边长。在一些实施例中，属性信息还包括倾斜角度，该倾斜角度为多边图形各边中最短和第二短的两个短边的中点连线与预设水平线之间的夹角。

在一实施例中，根据多边图形的中心点信息和端点信息，确定多边图形的属性信息，包括：根据多边图形的端点数量，确定多边图形的形状，形状包括三角形或四边形；根据多边图形的中心点的位置坐标和各端点的位置坐标，确定多边图形的位置信息；根据多边图形的各端点的位置坐标，确定多边图形各边的边长；根据多边图形各边的边长，从多边图形各边中确定最短和第二短的两个短边，并确定两个短边的中点连线与预设水平线之间的夹角，得到多边图形的倾斜角度。

需要说明的是，当多边图形的端点数量为3个，则说明该多边图形为三角形，当多边图形的端点数量为4个，则说明该多边图形为四边形，以此类推。多边图形的位置信息包括中心点的位置坐标和各端点的位置坐标，也可以包括多边图形的边所包围的多个像素点的坐标集合。可理解的，根据多边图形的各端点的位置坐标可以确定多边图形的多个边，根据多边图形的每个边对应的两个端点的位置坐标，能够确定每个边的边长，并能够根据各边的边长，确定多边图形的最短和第二短的两个短边，多边图形的倾斜角度即为两个短边的中点连线与预设水平线之间的夹角，通过倾斜角度可以确定多边图形在道路垂直线之间的角度。

子步骤S1042、根据每两个多边图形的属性信息，确定每两个多边图形之间的相互关系。

其中，相互关系包括共线关系、交叉关系和平行关系中的至少一项。目标图像包括多个多边图形，为了确定多个多边图形所组成的车道线的类别信息，需要确定每两个多边图形之间的相互关系。例如若干组共线的四边形组相互交叉排列，则该车道线为网格线，该网格线内禁止停车。又例如一个三角形和一个四边形为交叉关系，且两者的间隔距离为零，则该车道线为直行导向线。

在一实施例中，根据每两个多边图形的位置信息，确定每两个多边图形之间的距离；根据每个多边图形各边的边长，从每个多边图形各边中确定最短和第二短的两个短边，并生成每个多边图形的两个短边的中点连线；确定每两个多边图形的中点连线之间的夹角；根据每两个多边图形之间的距离和夹角，确定每两个多边图形之间的相互关系。其中，根据每两个多边图形的中心点的位置坐标和各端点的位置坐标，确定每两个多边图形之间的距离，例如，通过两个多边图形的多个端点的位置坐标，计算两个多边图形的端点之间的距离，选取端点之间的最短距离作为两个多边图形之间的距离。需要说明的是，每个多边图形至少包括三个边，从多边图形各边中确定最短和第二短的两个短边，并确定一个多边图形的两个短边的第一中点连线与另一个多边图形的两个短边的第二中点连线之间的夹角。通过每两个多边图形之间的距离和夹角，能够准确地确定每两个多边图形之间的相互关系。

在一实施例中，多边图形之间的距离为两个多边图形的最短距离。多边图形的位置信息包括多边图形的边所包围的多个像素点的坐标集合，从每个多边图形的坐标集合选取多个目标坐标；根据每个多边图形的多个目标坐标，计算每两个多边图形之间的距离，得到每两个多边图形之间的距离集合，从距离集合中确定最小的距离，得到每两个多边图形之间的最短距离。

在一实施例中，根据每两个多边图形之间的距离和夹角，确定每两个多边图形之间的相互关系的方式包括：若两个多边图形的两个短边的中点连线的夹角小于第一角度阈值且距离小于距离阈值，则确定两个多边图形之间的关系为共线关系；若两个短边中点连线的夹角小于第二角度阈值且距离大于距离阈值，则确定两个多边图形之间的相互关系为平行关系，第二角度阈值大于第一角度阈值；若两个多边图形之间的距离小于预设距离阈值，则认为其存在交叉关系；若两个多边图形中包括一个三角形，仅存在交叉关系。

在一实施例中，根据每两个多边图形的形状，确定每两个多边图形之间的相互关系。确定每两个多边图形中是否包括三角形，若两个多边图形中包括一个三角形，则该两个多边图形的相互关系为交叉关系。可理解的，形状为三角形的多边图形与其他任何形状的多边图形之间的相互关系均包括交叉关系，而形状为四边形的多边图形与其他的多边图形之间的相互关系包括共线关系、交叉关系和平行关系中的至少一项。

示例性的，如图3所示，包括四边形10、四边形20和四边形30，每个四边形均包括四个端点，即四边形10包括端点11、端点12、端点13和端点43；四边形20包括端点21、端点22、端点23和端点24；四边形30包括端点31、端点32、端点33和端点34。根据四边形10、四边形20和四边形30的各端点的位置坐标，可以确定四边形10与四边形20之间的第一距离、四边形20与四边形30之间的第二距离和四边形10与四边形30之间的第三距离。根据每个多边图形各边的边长，可以确定四边形10的端点11与端点12之间的边(最短的边)为短边，以及端点13和端点14之间的边(第二短的边)为短边，四边形20的端点21与端点22之间的边(最短的边)为短边，以及端点23和端点24之间的边(第二短的边)为短边，四边形30的端点31与端点32之间的边(最短的边)为短边，以及端点33和端点34之间的边(第二短的边)为短边，可知每两个四边形的两个短边的中点连线之间的夹角都为0，即四边形10、四边形20和四边形30为共线关系。

步骤S105、根据每个多边图形的属性信息以及每两个多边图形之间的相互关系，从预设知识图谱中确定车道线的类别信息。

其中，预设知识图谱是以多边图形的属性信息为节点，以多边图形之间的相互关系为边所构造的知识图谱。属性信息可以包括形状、位置信息、各边的边长、倾斜角度、两个短边、与其他多边图形之间的距离等。车道线的类别信息包括斑马线、网格线、直行导向线、道路分流线、道路边界线、斑马线预告标志、倒三角避让标志、减速标志等。

需要说明的是，车道线可由多个多边图形组成，多边图形包括三角形、四边形、五边形等多边形，还可包括近似多边形的不规则形状。通过组成车道线的多个多边图形的属性信息、以及每两个多边图形之间的相互关系，对知识图谱进行训练，知识图谱的节点即为多边图形的属性信息，知识图谱的节点之间的边即为多边图形之间的相互关系，得到训练好的预设知识图谱。

示例性的，网格线可以认为是若干共线的四边形交叉排列而成，目标图形包括若干组共线的四边形组相互交叉排列，则多边图形组成网格线；直行导向线可以认为是由一个三角形和一个四边形组合连接而成，斑马线可由相互平行的多个四边形组成。

示例性的，道路分流线可由多个共线的四边形组成，如图3所示，四边形10、四边形20和四边形30为共线关系，且四边形10与四边形20之间的距离小于距离阈值，四边形10、四边形20和四边形30的倾斜角度均为90度，即两个短边的中点连线均与道路延伸方向一致，四边形20与四边形30之间的距离小于距离阈值，则确定四边形10、四边形20和四边形30共同构成道路分流线。同理，四边形40、四边形50和四边形60为共线关系，且四边形40、四边形50或者四边形60均与四边形10、四边形20和四边形30为平行关系，即四边形40、四边形50和四边形60同样构成道路分流线。

示例性的，如图4所示，左转导向标志包括三角形70、四边形80和四边形90组成，辅助线包括道路垂直线X和道路平行线Y，道路平行线Y可表示道路的道路延伸方向。三角形70和四边形80之间的距离为零，四边形80和四边形90之间的距离为零，三角形70与四边形80、四边形90之间的相互关系均为交叉关系，四边形80和四边形90之间的相互关系为平行交叉关系，三角形70、四边形80和四边形90的两个短边的中点连线与道路垂直线X(预设水平线)之间的倾斜角度为90度，即三角形70、四边形80和四边形90中点连线均与道路垂直线X相垂直，与道路平行线Y相平行，三角形70、四边形80和四边形90组成左转导向标志。

上述实施例提供的车道线识别方法，首先获取待识别的目标图像和目标图像对应的热力图，其中目标图像包括组成车道线的多个多边图形，然后通过热力图确定每个多边图形的中心点信息和端点信息，再根据每个多边图形的中心点信息和端点信息，确定每个多边图形的属性信息以及每两个多边图形之间的相互关系，最后根据每个多边图形的属性信息以及每两个多边图形之间的相互关系，从预设知识图谱中确定车道线的类别信息，其中预设知识图谱是以属性信息为节点，以相互关系为边所构造的知识图谱。虽然现实道路场景十分复杂多变，但组成车道线中的基础形状是不会改变的，本申请利用车道线中的多边形状并非像素点进行车道线识别，规避车道线类别混淆的问题，在提高车道线识别的准确性的同时，还能极大提高车道线识别的泛化性。

请参照图5，图5为本申请实施例提供的一种车道线识别装置的示意性框图。

如图5所示，该车道线识别装置200，包括：

获取模块201，用于获取待识别的目标图像，所述目标图像包括组成车道线的多个多边图形；

获取模块201，还用于获取所述目标图像对应的热力图；

第一确定模块202，用于通过所述热力图，确定每个所述多边图形的中心点信息和端点信息；

第二确定模块203，用于根据每个所述多边图形的中心点信息和端点信息，确定每个所述多边图形的属性信息以及每两个所述多边图形之间的相互关系；

第三确定模块204，根据每个所述多边图形的属性信息以及每两个所述多边图形之间的相互关系，从预设知识图谱中确定所述车道线的类别信息，所述预设知识图谱是以多边图形的属性信息为节点，以多边图形之间的相互关系为边所构造的知识图谱。

在一个实施例中，如图6所示，第二确定模块203包括：

属性确定子模块2031，用于根据所述多边图形的中心点信息和端点信息，确定所述多边图形的属性信息，其中，所述属性信息包括形状、位置信息和各边的边长；

关系确定子模块2032，用于根据每两个所述多边图形的属性信息，确定每两个所述多边图形之间的相互关系，其中，所述相互关系包括共线关系、交叉关系和平行关系中的至少一项。

在一个实施例中，第二确定模块203还用于：

根据所述多边图形的端点数量，确定所述多边图形的形状，所述形状包括三角形或四边形；

根据所述多边图形的中心点的位置坐标和各端点的位置坐标，确定所述多边图形的位置信息；

根据所述多边图形的各端点的位置坐标，确定所述多边图形各边的边长；

根据所述多边图形各边的边长，从所述多边图形各边中确定最短和第二短的两个短边，并确定所述两个短边的中点连线与预设水平线之间的夹角，得到所述多边图形的倾斜角度。

在一个实施例中，第二确定模块203还用于：

根据每两个所述多边图形的位置信息，确定每两个所述多边图形之间的距离；

根据每个所述多边图形各边的边长，从每个所述多边图形各边中确定最短和第二短的两个短边，并生成每个所述多边图形的两个短边的中点连线；

确定每两个所述多边图形的所述中点连线之间的夹角；

根据每两个所述多边图形之间的距离和所述夹角，确定每两个所述多边图形之间的相互关系。

在一个实施例中，获取模块201还用于：

获取预设的形状检测模型，所述形状检测模型包括热力图识别层、中心点定位层和端点定位层；

将所述目标图像输入至所述热力图识别层进行像素点的特征提取，得到所述目标图像对应的热力图；

所述通过所述热力图，确定每个所述多边图形的中心点信息和端点信息，包括：

将所述热力图输入至所述中心点定位层进行高斯滤波，以定位每个所述多边图形的中心点，并获取每个所述多边图形的中心点信息；

将所述热力图输入至所述端点定位层进行角点检测，以定位每个所述多边图形的端点，并获取每个所述多边图形的端点信息。

在一个实施例中，还用于：

在预设空白图像中生成多个端点，并连接每两个所述端点，以形成封闭的多边图形；

通过预设元素充填所述预设空白图像中的多边图形，得到候选图像；

对所述候选图像进行透视变换，得到样本图像；

通过多个所述样本图像对未训练好的形状检测模型进行迭代训练，得到训练好的形状检测模型。

在一个实施例中，车道线识别装置200还包括模型训练模块，模型训练模块用于：

在预设空白图像中生成多个端点，并连接每两个所述端点，以形成封闭的多边图形；

通过预设元素充填所述预设空白图像中的多边图形，得到候选图像；

对所述候选图像进行透视变换，得到样本图像；

通过多个所述样本图像对未训练好的形状检测模型进行迭代训练，得到训练好的形状检测模型。

在一个实施例中，所述未训练好的形状检测模型包括热力图识别层、中心点定位层和端点定位层；模型训练模块还用于：

将所述样本图像输入至所述热力图识别层进行像素点的特征提取，得到所述样本图像对应的样本热力图；

将所述样本热力图输入至所述中心点定位层进行高斯滤波，以获取所述样本图像中的多边图形的中心点位置信息；

将所述样本热力图输入至所述端点定位层进行角点检测，以获取所述样本图像中的多边图形的端点位置信息；

根据所述样本图像对应的样本热力图、所述中心点位置信息和所述端点位置信息，确定所述形状检测模型的损失值；

根据所述损失值确定所述未训练好的形状检测模型是否收敛，若所述未训练好的形状检测模型未收敛，则更新所述样本图像的模型参数；

继续通过所述样本图像对更新模型参数的所述形状检测模型进行训练，直至所述形状检测模型收敛，则停止训练，得到训练好的形状检测模型。

需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块及单元的具体工作过程，可以参考前述车道线识别方法实施例中的对应过程，在此不再赘述。

上述实施例提供的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图7所示的计算机设备上运行。

请参阅图7，图7为本申请实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以为服务器或终端设备。

如图7所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。

非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种车道线识别方法。

处理器用于提供计算和控制能力，支撑整个计算机设备的运行。

内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种车道线识别方法。

该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：

获取待识别的目标图像，所述目标图像包括组成车道线的多个多边图形；

获取所述目标图像对应的热力图；

通过所述热力图，确定每个所述多边图形的中心点信息和端点信息；

根据每个所述多边图形的中心点信息和端点信息，确定每个所述多边图形的属性信息以及每两个所述多边图形之间的相互关系；

根据每个所述多边图形的属性信息以及每两个所述多边图形之间的相互关系，从预设知识图谱中确定所述车道线的类别信息，所述预设知识图谱是以多边图形的属性信息为节点，以多边图形之间的相互关系为边所构造的知识图谱。

在一个实施例中，所述处理器在实现所述根据每个所述多边图形的中心点信息和端点信息，确定每个所述多边图形的属性信息以及每两个所述多边图形之间的相互关系时，用于实现：

根据所述多边图形的中心点信息和端点信息，确定所述多边图形的属性信息，其中，所述属性信息包括形状、位置信息和各边的边长；

根据每两个所述多边图形的属性信息，确定每两个所述多边图形之间的相互关系，其中，所述相互关系包括共线关系、交叉关系和平行关系中的至少一项。

在一个实施例中，所述处理器在实现所述根据所述多边图形的中心点信息和端点信息，确定所述多边图形的属性信息时，用于实现：

根据所述多边图形的端点数量，确定所述多边图形的形状，所述形状包括三角形或四边形；

根据所述多边图形的中心点的位置坐标和各端点的位置坐标，确定所述多边图形的位置信息；

根据所述多边图形的各端点的位置坐标，确定所述多边图形各边的边长；

根据所述多边图形各边的边长，从所述多边图形各边中确定最短和第二短的两个短边，并确定所述两个短边的中点连线与预设水平线之间的夹角，得到所述多边图形的倾斜角度。

在一个实施例中，所述处理器在实现所述根据每两个所述多边图形的属性信息，确定每两个所述多边图形之间的相互关系时，用于实现：

根据每两个所述多边图形的位置信息，确定每两个所述多边图形之间的距离；

根据每个所述多边图形各边的边长，从每个所述多边图形各边中确定最短和第二短的两个短边，并生成每个所述多边图形的两个短边的中点连线；

确定每两个所述多边图形的所述中点连线之间的夹角；

根据每两个所述多边图形之间的距离和所述夹角，确定每两个所述多边图形之间的相互关系。

在一个实施例中，所述处理器在实现所述获取所述目标图像对应的热力图时，用于实现：

获取预设的形状检测模型，所述形状检测模型包括热力图识别层、中心点定位层和端点定位层；

将所述目标图像输入至所述热力图识别层进行像素点的特征提取，得到所述目标图像对应的热力图；

所述通过所述热力图，确定每个所述多边图形的中心点信息和端点信息，包括：

将所述热力图输入至所述中心点定位层进行高斯滤波，以定位每个所述多边图形的中心点，并获取每个所述多边图形的中心点信息；

将所述热力图输入至所述端点定位层进行角点检测，以定位每个所述多边图形的端点，并获取每个所述多边图形的端点信息。

在一个实施例中，所述处理器还用于实现：

在预设空白图像中生成多个端点，并连接每两个所述端点，以形成封闭的多边图形；

通过预设元素充填所述预设空白图像中的多边图形，得到候选图像；

对所述候选图像进行透视变换，得到样本图像；

通过多个所述样本图像对未训练好的形状检测模型进行迭代训练，得到训练好的形状检测模型。

在一个实施例中，所述未训练好的形状检测模型包括热力图识别层、中心点定位层和端点定位层；所述处理器在实现所述通过多个所述样本图像对未训练好的形状检测模型进行迭代训练，得到训练好的形状检测模型时，用于实现：

将所述样本图像输入至所述热力图识别层进行像素点的特征提取，得到所述样本图像对应的样本热力图；

将所述样本热力图输入至所述中心点定位层进行高斯滤波，以获取所述样本图像中的多边图形的中心点位置信息；

将所述样本热力图输入至所述端点定位层进行角点检测，以获取所述样本图像中的多边图形的端点位置信息；

根据所述样本图像对应的样本热力图、所述中心点位置信息和所述端点位置信息，确定所述形状检测模型的损失值；

根据所述损失值确定所述未训练好的形状检测模型是否收敛，若所述未训练好的形状检测模型未收敛，则更新所述样本图像的模型参数；

继续通过所述样本图像对更新模型参数的所述形状检测模型进行训练，直至所述形状检测模型收敛，则停止训练，得到训练好的形状检测模型。

需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述计算机设备的具体工作过程，可以参考前述车道线识别方法实施例中的对应过程，在此不再赘述。

本实施例首先获取待识别的目标图像和目标图像对应的热力图，其中目标图像包括组成车道线的多个多边图形，然后通过热力图确定每个多边图形的中心点信息和端点信息，再根据每个多边图形的中心点信息和端点信息，确定每个多边图形的属性信息以及每两个多边图形之间的相互关系，最后根据每个多边图形的属性信息以及每两个多边图形之间的相互关系，从预设知识图谱中确定车道线的类别信息，其中预设知识图谱是以属性信息为节点，以相互关系为边所构造的知识图谱。虽然现实道路场景十分复杂多变，但组成车道线中的基础形状是不会改变的，本申请利用车道线中的多边形状并非像素点进行车道线识别，规避车道线类别混淆的问题，在提高车道线识别的准确性的同时，还能极大提高车道线识别的泛化性。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序中包括程序指令，所述程序指令被执行时所实现的方法可参照本申请车道线识别方法的各个实施例。

其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。

应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种车道线识别方法，其特征在于，包括：

获取待识别的目标图像，所述目标图像包括组成车道线的多个多边图形；

获取所述目标图像对应的热力图；

通过所述热力图，确定每个所述多边图形的中心点信息和端点信息；

根据每个所述多边图形的中心点信息和端点信息，确定每个所述多边图形的属性信息以及每两个所述多边图形之间的相互关系；

根据每个所述多边图形的属性信息以及每两个所述多边图形之间的相互关系，从预设知识图谱中确定所述车道线的类别信息，所述预设知识图谱是以多边图形的属性信息为节点，以多边图形之间的相互关系为边所构造的知识图谱。

2.如权利要求1所述的车道线识别方法，其特征在于，所述根据每个所述多边图形的中心点信息和端点信息，确定每个所述多边图形的属性信息以及每两个所述多边图形之间的相互关系，包括：

根据所述多边图形的中心点信息和端点信息，确定所述多边图形的属性信息，其中，所述属性信息包括形状、位置信息和各边的边长；

根据每两个所述多边图形的属性信息，确定每两个所述多边图形之间的相互关系，其中，所述相互关系包括共线关系、交叉关系和平行关系中的至少一项。

3.如权利要求2所述的车道线识别方法，其特征在于，所述根据所述多边图形的中心点信息和端点信息，确定所述多边图形的属性信息，包括：

根据所述多边图形的端点数量，确定所述多边图形的形状，所述形状包括三角形或四边形；

根据所述多边图形的中心点的位置坐标和各端点的位置坐标，确定所述多边图形的位置信息；

根据所述多边图形的各端点的位置坐标，确定所述多边图形各边的边长；

根据所述多边图形各边的边长，从所述多边图形各边中确定最短和第二短的两个短边，并确定所述两个短边的中点连线与预设水平线之间的夹角，得到所述多边图形的倾斜角度。

4.如权利要求2所述的车道线识别方法，其特征在于，所述根据每两个所述多边图形的属性信息，确定每两个所述多边图形之间的相互关系，包括：

根据每两个所述多边图形的位置信息，确定每两个所述多边图形之间的距离；

根据每个所述多边图形各边的边长，从每个所述多边图形各边中确定最短和第二短的两个短边，并生成每个所述多边图形的两个短边的中点连线；

确定每两个所述多边图形的所述中点连线之间的夹角；

根据每两个所述多边图形之间的距离和所述夹角，确定每两个所述多边图形之间的相互关系。

5.如权利要求1-4中任一项所述的车道线识别方法，其特征在于，所述获取所述目标图像对应的热力图，包括：

获取预设的形状检测模型，所述形状检测模型包括热力图识别层、中心点定位层和端点定位层；

将所述目标图像输入至所述热力图识别层进行像素点的特征提取，得到所述目标图像对应的热力图；

所述通过所述热力图，确定每个所述多边图形的中心点信息和端点信息，包括：

将所述热力图输入至所述中心点定位层进行高斯滤波，以定位每个所述多边图形的中心点，并获取每个所述多边图形的中心点信息；

将所述热力图输入至所述端点定位层进行角点检测，以定位每个所述多边图形的端点，并获取每个所述多边图形的端点信息。

6.如权利要求5所述的车道线识别方法，其特征在于，所述方法还包括：

在预设空白图像中生成多个端点，并连接每两个所述端点，以形成封闭的多边图形；

通过预设元素充填所述预设空白图像中的多边图形，得到候选图像；

对所述候选图像进行透视变换，得到样本图像；

通过多个所述样本图像对未训练好的形状检测模型进行迭代训练，得到训练好的形状检测模型。

7.如权利要求6所述的车道线识别方法，其特征在于，所述未训练好的形状检测模型包括热力图识别层、中心点定位层和端点定位层；所述通过多个所述样本图像对未训练好的形状检测模型进行迭代训练，得到训练好的形状检测模型，包括：

将所述样本图像输入至所述热力图识别层进行像素点的特征提取，得到所述样本图像对应的样本热力图；

将所述样本热力图输入至所述中心点定位层进行高斯滤波，以获取所述样本图像中的多边图形的中心点位置信息；

将所述样本热力图输入至所述端点定位层进行角点检测，以获取所述样本图像中的多边图形的端点位置信息；

根据所述样本图像对应的样本热力图、所述中心点位置信息和所述端点位置信息，确定所述形状检测模型的损失值；

根据所述损失值确定所述未训练好的形状检测模型是否收敛，若所述未训练好的形状检测模型未收敛，则更新所述样本图像的模型参数；

通过所述样本图像对更新模型参数的所述形状检测模型进行训练，直至所述形状检测模型收敛，则停止训练，得到训练好的形状检测模型。

8.一种车道线识别装置，其特征在于，所述车道线识别装置包括：

获取模块，用于获取待识别的目标图像，所述目标图像包括组成车道线的多个多边图形；

获取模块，还用于获取所述目标图像对应的热力图；

第一确定模块，用于通过所述热力图，确定每个所述多边图形的中心点信息和端点信息；

第二确定模块，用于根据每个所述多边图形的中心点信息和端点信息，确定每个所述多边图形的属性信息以及每两个所述多边图形之间的相互关系；

第三确定模块，根据每个所述多边图形的属性信息以及每两个所述多边图形之间的相互关系，从预设知识图谱中确定所述车道线的类别信息，所述预设知识图谱是以多边图形的属性信息为节点，以多边图形之间的相互关系为边所构造的知识图谱。

9.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如权利要求1至7中任一项所述的车道线识别方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述的车道线识别方法的步骤。

Images