CN114067120A - 基于增强现实的导航铺路方法、装置、计算机可读介质 - Google Patents

Abstract

本申请属于人工智能技术领域，具体涉及一种基于增强现实的导航铺路方法、装置、计算机可读介质。该方法包括：实时获取路面图像；将所述路面图像输入至图像识别模型，通过所述图像识别模型对所述路面图像中的可行驶区域进行分割提取，以获取待选可行驶区域；对所述待选可行驶区域进行结构化处理，以获取目标可行驶区域；根据铺路曲线与所述目标可行驶区域的位置关系，将所述铺路曲线和所述目标可行驶区域渲染在所述路面图像中，以实现基于增强现实的导航铺路。本申请一方面能够提高导航铺路的准确性，避免在车道线感知失败或无车道线的情况下，无法为用户提供正确的导航铺路；另一方面能够避免用户将车辆驾驶到障碍物上，保障了用户和行人的安全。

Description

基于增强现实的导航铺路方法、装置、计算机可读介质

技术领域

本申请属于人工智能技术领域，具体涉及一种基于增强现实的导航铺路方法、基于增强现实的导航铺路装置、计算机可读介质以及电子设备。

背景技术

随着导航软件的更新迭代以及AR (Augmented Reality，增强现实)技术的发展，导航软件也可以用于提供AR导航，即用虚拟现实的方式，将导航信息直接显示在画面中，为用户提供直观的导航指引。在AR导航界面中，铺路是最重要的信息，它给用户提供直接的路径指引。现有的铺路指引在一般情况下以两侧车道线的中线作为铺路路径，在转弯或掉头场景中则使用预先设计的90°或360°曲线作为铺路路径。

但是在没有车道线、车道线感知失败以及生硬的90°或360°曲线与具体场景不相符时，容易产生错误的铺路，错误的铺路一方面会影响用户对产品的直观感受，另一方面如果铺路引导到花坛、隔离带、人行道等路边不能行驶的区域时，对驾驶员和路边行人存在极大的安全隐患。

发明内容

本申请的目的在于提供一种基于增强现实的导航铺路方法、基于增强现实的导航铺路装置、计算机可读介质以及电子设备，能够克服相关技术中存在的AR导航时出现错误铺路，影响用户对产品的直观感受，以及对驾驶员和路边行人产生的安全隐患。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请实施例的一个方面，提供一种基于增强现实的导航铺路方法，该方法包括：实时获取路面图像；将所述路面图像输入至图像识别模型，通过所述图像识别模型对所述路面图像中的可行驶区域进行分割提取，以获取待选可行驶区域；对所述待选可行驶区域进行结构化处理，以获取目标可行驶区域；根据铺路曲线与所述目标可行驶区域的位置关系，将所述铺路曲线和所述目标可行驶区域渲染在所述路面图像中，以实现基于增强现实的导航铺路。

根据本申请实施例的一个方面，提供一种基于增强现实的导航铺路装置，该装置包括：图像获取模块，被配置为实时获取路面图像；图像分割模块，被配置为将所述路面图像输入至图像识别模型，通过所述图像识别模型对所述路面图像中的可行驶区域进行分割提取，以获取待选可行驶区域；区域结构化模块，被配置为对所述待选可行驶区域进行结构化处理，以获取目标可行驶区域；导航铺路模块，被配置为根据铺路曲线与所述目标可行驶区域的位置关系，将所述铺路曲线和所述目标可行驶区域渲染在所述路面图像中，以实现导航铺路。

在本申请的一些实施例中，基于以上技术方案，所述图像识别模型包含依次连接的编码器、上下文信息提取模块和解码器，其中所述编码器包括多个大小不同的卷积单元；所述上下文信息提取模块包括多个不同尺度的池化层、串接层和卷积层；所述解码器包括多个反卷积层和一个卷积单元。

在本申请的一些实施例中，基于以上技术方案，图像分割模块包括：下采样单元，被配置为通过所述编码器中各所述卷积单元对所述路面图像进行下采样，以获取具有高级语义特征的特征图；特征增强单元，被配置为通过所述上下文信息提取模块对所述特征图进行多尺度池化处理，以获取增强特征图；上采样单元，被配置为通过所述解码器中的所述反卷积层和所述卷积单元对所述增强特征图进行上采样，以获取包含所述待选可行驶区域的输出图像。

在本申请的一些实施例中，基于以上技术方案，特征增强单元被配置为：通过所述多个不同尺度的池化层分别对所述特征图进行池化处理，并对池化处理后所述特征图进行上采样，以获取更新特征图；通过所述串接层对所述特征图和所述更新特征图进行串接，以获取串接特征图；通过所述卷积层对所述串接特征图进行图像特征提取，以获取所述增强特征图。

在本申请的一些实施例中，所述待选可行驶区域包括多个连通区域；基于以上技术方案，区域结构化模块配置为：分别获取与各所述连通区域对应的外接多边形；计算各所述外接多边形的面积，并将各所述外接多边形的面积进行比较；将具有最大面积的外接多边形作为目标多边形，并根据所述目标多边形的顶点坐标序列确定所述目标可行驶区域。

在本申请的一些实施例中，基于以上技术方案，导航铺路模块包括：判断单元，被配置为判断所述铺路曲线是否位于所述目标可行驶区域内；第一渲染单元，被配置为当所述铺路曲线位于所述目标可行驶区域内时，根据所述铺路曲线和所述目标可行驶区域在所述路面图像中进行渲染，以实现导航铺路；第二渲染单元，被配置为当所述铺路曲线位于所述目标可行驶区域之外时，将所述铺路曲线调整至位于所述目标可行驶区域内，并根据所述铺路曲线和所述目标可行驶区域在所述路面图像中进行渲染，以实现导航铺路。

在本申请的一些实施例中，基于以上技术方案，第二渲染单元被配置为：根据所述铺路曲线中坐标点与所述目标可行驶区域对应的顶点坐标序列之间的位置关系，增大或减小所述铺路曲线的坐标值，以将所述铺路曲线调整至位于所述目标可行驶区域内。

在本申请的一些实施例中，基于以上技术方案，基于增强现实的导航铺路装置还配置为：获取所述目标可行驶区域内的车行道分界线；判断所述车行道分界线的类型，并根据驾驶指令和与所述车行道分界线的类型对应的行车规则确定所述铺路曲线的指向。

在本申请的一些实施例中，基于以上技术方案，基于增强现实的导航铺路装置还配置为：识别所述路面图像中位于当前车辆两侧的车道线；当识别到所述车道线时，将所述车道线的中线作为所述铺路曲线；当未识别到所述车道线时，根据所述当前车辆的行驶指令将预设角度的指引曲线作为所述铺路曲线。

在本申请的一些实施例中，基于以上技术方案，基于增强现实的导航铺路装置还包括：样本获取模块，被配置为获取路面图像样本；模型训练模块，被配置为将所述路面图像样本输入至待训练图像识别模型，通过所述待训练图像识别模型对所述路面图像样本进行分割提取，以获取预测可行驶区域；参数调整模块，被配置为根据所述预测可行驶区域对所述待训练图像识别模型的参数进行调整，以获取所述图像识别模型。

在本申请的一些实施例中，基于以上技术方案，参数调整模块被配置为：根据所述预测可行驶区域和与所述路面图像样本对应的标注可行驶区域确定与所述待训练图像识别模型对应的预测误差；根据所述预测误差更新所述待训练图像识别模型的模型参数，直至所述预测误差达到最小。

根据本申请实施例的一个方面，提供一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如以上技术方案中的基于增强现实的导航铺路方法。

根据本申请实施例的一个方面，提供一种电子设备，该电子设备包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器被配置为经由执行所述可执行指令来执行如以上技术方案中的基于增强现实的导航铺路方法。

在本申请实施例提供的技术方案中，通过实时获取路面信息，将路面图像输入至图像识别模型中进行可行驶区域的分割提取，在获取待选可行驶区域后对其进行结构化处理，以获取目标可行驶区域；最后根据铺路曲线与目标可行驶区域的位置关系将铺路曲线和目标可行驶区域渲染在路面图像中以实现导航铺路。本申请一方面能够提高导航铺路的准确性，避免在车道线感知失败或无车道线的情况下，无法为用户提供正确的导航铺路；另一方面能够避免用户将车辆驾驶到障碍物上，保障了用户和行人的安全；再一方面能够提高导航产品的用户粘度和用户体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性地示出了应用本申请技术方案的示例性系统架构框图。

图2示意性地示出了车道线感知失败时根据车道线中线进行导航铺路的界面示意图。

图3示意性地示出了无车道线时根据预设角度的曲线进行导航铺路的界面示意图。

图4示意性地示出了按照预设的90°曲线进行导航铺路的界面示意图。

图5示意性地示出了本申请中基于增强现实的导航铺路方法的步骤流程示意图。

图6示意性地示出了本申请中图像识别模型的结构示意图。

图7示意性地示出了本申请中编码器602的结构示意图。

图8示意性地示出了本申请中上下文信息提取模块603的结构示意图。

图9示意性地示出了本申请中解码器604的结构示意图。

图10示意性地示出了本申请中对待训练图像识别模型进行训练的流程示意图。

图11示意性地示出了本申请中对待选可行驶区域进行结构化处理的流程示意图。

图12示意性地示出了本申请中目标可行驶区域的界面示意图。

图13示意性地示出了本申请中基于增强现实的导航铺路装置的结构框图。

图14示意性示出了适于用来实现本申请实施例的电子设备的计算机系统结构框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示意性地示出了应用本申请技术方案的示例性系统架构框图。

如图1所示，系统架构100可以包括终端设备110、网络120和服务器130。终端设备110包含有摄像头和显示屏幕，例如可以包括智能手机、平板电脑、笔记本电脑、智能车载终端等各种电子设备。服务器130可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。网络120可以是能够在终端设备110和服务器130之间提供通信链路的各种连接类型的通信介质，例如可以是有线通信链路或者无线通信链路。

根据实现需要，本申请实施例中的系统架构可以具有任意数目的终端设备、网络和服务器。例如，服务器130可以是由多个服务器设备组成的服务器群组。另外，本申请实施例提供的技术方案可以应用于终端设备110，也可以应用于服务器130，或者可以由终端设备110和服务器130共同实施，本申请对此不做特殊限定。

举例而言，用户采用终端设备110（例如：智能手机）中的导航软件进行AR导航，智能手机中的摄像头和GPS系统开启，摄像头在车辆行进过程中对车辆前方包含路面的场景进行拍摄以获取路面图像，GPS系统对车辆当前位置进行定位，然后将路面图像和定位信息通过网络120发送至服务器130，服务器130根据路面图像、车辆位置以及导航信息进行导航铺路，并将导航铺路信息显示在智能手机的显示屏幕中或将导航铺路信息投影在前挡风玻璃或者车辆的内后视镜中，以便于用户根据显示的导航铺路进行驾驶。服务器130根据路面图像、车辆位置和导航信息进行导航铺路时，调用图像识别模型对路面图像中的可行驶区域进行分割提取，以获取待选可行驶区域；通过对待选可行驶区域进行结构化处理可以获取目标可行驶区域；进而根据基于定位信息和导航信息确定的铺路曲线和目标可行驶区域之间的位置关系，可以将铺路曲线和目标可行驶区域渲染在路面图像中，以实现AR导航铺路。

在本申请的一些实施例中，基于增强现实的导航铺路装置还可以配置于终端设备110中，例如装载有导航软件的智能手机，终端设备110可以调用内置的摄像头对车辆前方包含路面的场景进行拍摄以获取路面图像，并调用内置的GPS对车辆的实时位置进行定位；通过对路面图像进行分割可以提取出其中的待选可行驶区域，接着对待选可行驶区域进行结构化处理以获取目标可行驶区域；同时基于车辆的定位信息和导航信息生成铺路曲线，进而根据铺路曲线和目标可行驶区域的位置关系，将铺路曲线和目标可行驶区域渲染在路面图像中，并将渲染得到的导航铺路信息显示于终端设备110的显示屏幕中或投影于用户方便观看的对象上，例如前挡风玻璃或者内后视镜。

在本申请的一些实施例中，终端设备110或者服务器130中设置的图像识别模型是基于人工智能技术进行基于增强现实的导航铺路的机器学习模型。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision, CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像信息标注、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术。

机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

在本申请的相关技术中，在进行AR导航铺路时，主要是基于对车道线的感知信息进行铺路的。当感知到车辆所处车道的车道线后，将车道线中线作为铺路路径进行AR导航铺路；当未感知到车辆所处车道的车道线时，根据车辆的行驶指令确定预设角度的铺路曲线进行AR导航铺路；当车辆进行转弯或掉头时，使用预先设计的90°或360°曲线作为铺路路径进行AR导航铺路。

但是相关技术中的AR导航铺路方法存在相应地弊端，当车道线感知失败时，无法确定车道线中线进而无法进行正确的导航铺路，当没有车道线时，预设角度的铺路曲线可能无法保证其指引方向完全正确，很有可能将车辆指引到障碍物上，例如花坛、隔离带、路肩等，当按照生硬的90°或360°曲线生成铺路曲线时，其不一定与具体场景相符，也容易产生错误的铺路。

图2示出了车道线感知失败时根据车道线中线进行导航铺路的界面示意图，如图2所示，当前车辆两侧的车道线是向北延伸的，但是由于感知车道线失败，所确定的车道线中线指向了东北方向，进而根据车道线中线生成的由箭头所示的铺路曲线也指向了东北方向，而设置于当前车辆东北方向的对象是路肩和绿化带，如果当前车辆按照铺路曲线的指向前进的话，必然会撞上路肩，甚至冲到绿化带上，给驾驶者的人身安全带来隐患。

图3示出了无车道线时根据预设角度的曲线进行导航铺路的界面示意图，如图3所示，系统未感知到当前车辆两侧的车道线，便按照后台所设定的铺路曲线进行铺路，而铺路后的路线与可行驶区域有偏差，从图上可以看到，箭头所示的铺路曲线正好与当前车辆前方的绿化带重合，如果当前车辆按照铺路曲线前进的话，必然会撞上绿化带，甚至可能撞上位于绿化带旁边的行人，给驾驶者和行人造成伤害。

图4示出了按照预设的90°曲线进行导航铺路的界面示意图，如图4所示，当前车辆位于左转车道，其需要进行左转，但是根据预设的90°曲线进行铺路后，所生成的铺路曲线正好与障碍物重合，也就是说，驾驶者如果按照90°曲线前进的话必然会撞上障碍物，发生交通意外。

相关技术中的AR导航方法，一方面会影响用户对导航软件产品的直观感受，降低产品的用户粘度，另一方面如果铺路引导到花坛、隔离带、人行道等路边不行行驶的区域时，对驾驶员和路边行人存在极大的安全隐患。

下面结合具体实施方式对本申请提供的基于增强现实的导航铺路方法、基于增强现实的导航铺路装置、计算机可读介质以及电子设备等技术方案做出详细说明。

图5示意性地示出了本申请一个实施例中的基于增强现实的导航铺路方法的步骤流程示意图，该基于增强现实的导航铺路方法可以由终端设备或者服务器执行，也可以由终端设备和服务器共同执行。如图5所示，本申请实施例中的基于增强现实的导航铺路方法主要可以包括如下的步骤S510至步骤S540。

步骤S510：实时获取路面图像；

步骤S520：将所述路面图像输入至图像识别模型，通过所述图像识别模型对所述路面图像中的可行驶区域进行分割提取，以获取待选可行驶区域；

步骤S530：对所述待选可行驶区域进行结构化处理，以获取目标可行驶区域；

步骤S540：根据铺路曲线与所述目标可行驶区域的位置关系，将所述铺路曲线和所述目标可行驶区域渲染在所述路面图像中，以实现基于增强现实的导航铺路。

在本申请实施例提供的基于增强现实的导航铺路方法中，通过实时获取路面信息，将路面图像输入至图像识别模型中进行可行驶区域的分割提取，在获取待选可行驶区域后对其进行结构化处理，以获取目标可行驶区域；最后根据铺路曲线与目标可行驶区域的位置关系将铺路曲线和目标可行驶区域渲染在路面图像中以实现导航铺路。本申请一方面能够提高导航铺路的准确性，避免在车道线感知失败或无车道线的情况下，无法为用户提供正确的导航铺路；另一方面能够避免用户将车辆驾驶到障碍物上，保障了用户和行人的安全，提高了导航产品的用户粘度。

下面对基于增强现实的导航铺路方法的各个方法步骤的具体实现方式进行详细说明。

在步骤S510中，实时获取路面图像。

在本申请的一个实施例中，为了为用户提供正确的AR导航铺路，帮助用户顺利到达目的地，需要实时获取车辆当前所处环境对应的路面图像，该路面图像不仅包含车道路面，还包含位于路面上以及路面周围的障碍物，例如位于当前车辆前方且行驶方向与当前车辆行驶方向相同或不同的车辆、花坛、隔离带、路肩、树木。通过对路面图像进行图像识别，以将其中的可行驶区域分割提取出来。

在步骤S520中，将所述路面图像输入至图像识别模型，通过所述图像识别模型对所述路面图像中的可行驶区域进行分割提取，以获取待选可行驶区域。

在本申请的一个实施例中，通过图像识别模型对路面图像中的可行驶区域进行分割提取，该可行驶区域是当前车辆可以利用的路面区域，该路面区域包括当前车辆所在车道的无障碍物路面区域以及其它车道的无障碍物路面区域。

图6示出了图像识别模型的结构示意图，如图6所示，图像识别模型包括依次连接的输入层601、编码器602、上下文信息提取模块603、解码器604和输出层605，其中编码器602包括多个大小不同的卷积单元，用于对输入的路面图像进行卷积处理，以获取具有高级语义特征的特征图；上下文信息提取模块603包括多个不同尺度的池化层、串接层和卷积层，用于对编码器602输出的特征图进行多尺度的上下文信息提取，以获取增强特征图；解码器604包括多个反卷积层和多个卷积单元，用于对增强特征图进行图像细节恢复，以获取与输入的路面图像大小相同且包含待选可行驶区域的输出图像。

接下来，对图6中的编码器602、上下文信息提取模块603和解码器604的具体结构进行详细说明。

图7示出了编码器602的结构示意图，如图7所示，编码器602包括第一卷积单元701、第二卷积单元702、第三卷积单元703、第四卷积单元704、第五卷积单元705、第六卷积单元706和第七卷积单元707，其中第一卷积单元701为一个7*7*64的卷积层，第二卷积单元702与第三卷积单元703均为由两个大小为3*3*64的卷积层组成的卷积单元，第四卷积单元704和第五卷积单元705均为由两个大小为3*3*128的卷积层组成的卷积单元，第六卷积单元706和第七卷积单元707均为由两个大小为3*3*256的卷积层组成的卷积单元。第一卷积单元701的输出信息同时作为第二卷积单元702和第三卷积单元703的输入信息，第二卷积单元702的输出信息同时作为第三卷积单元703和第四卷积单元704的输入信息，第四卷积单元704的输出信息同时作为第五卷积单元705和第六卷积单元706的输入信息，第六卷积单元706的输出信息同时作为第七卷积单元707的输入信息和编码器602的输出信息。进一步地，还可以将第三卷积单元703的输出信息同时作为第四卷积单元704和第五卷积单元705的输入信息，第五卷积单元705的输出信息同时作为第六卷积单元706和第七卷积单元707的输入信息。

通过图7所示的编码器对输入的路面图像进行识别，其实质是进行了多个下采样阶段，提取各个输入信息中的关键信息，进而获取与路面图像对应且具有高级语义特征的特征图。

图8示出了上下文信息提取模块603的结构示意图，如图8所示，上下文信息模块603包括第一池化层801、第二池化层802、第三池化层803和第四池化层804，串接层805和卷积层806，其中第一池化层801的大小为256*1*1，第二池化层802的大小为256*2*2，第三池化层803的大小为256*4*4，第四池化层804的大小为256*8*8，卷积层806的大小为1*1*256。第一池化层801、第二池化层802、第三池化层803和第四池化层804分别对编码器602输出的特征图进行池化处理，以获取不同大小的池化信息；接着对各个池化信息进行上采样，以获取同样大小的池化信息；然后通过串接层805对同样大小的池化信息和特征图进行串接，以获取串接信息；最后通过卷积层806对串接信息进行卷积处理，以获取增强特征图。

通过图8所示的上下文信息提取模块603对编码器602输出的具有高级语义特征的特征图进行池化——上采样——串接——卷积操作，可以将特征图中的特征与上下文信息融合，以获取更强的特征表达。

图9示出了解码器604的结构示意图，如图9所示，解码器604包括依次连接的第一反卷积层901、第八卷积单元902、第二反卷积层903和第三反卷积层904，其中第一反卷积层901的大小为3*3*128，第八卷积单元902包括四个依次相连且大小为3*3*128的卷积层，第二反卷积层903的大小为3*3*64，第三反卷积层904的大小为3*3*2。

在通过解码器604对增强特征图进行解码处理的过程中，第一反卷积层901的输出信息既是第八卷积单元902中第一个卷积层的输入信息，又是第三个卷积层的输入信息，第二个卷积层的输出信息既是第三个卷积层的输入信息又是第二反卷积层903的输入信息。通过解码器604中各个结构层对增强特征图进行上采样处理，即可获取与原始输入的路面图像大小相同且包含待选可行驶区域的输出图像。

接下来，基于图6-9所示的图像识别模型、编码器、上下文信息提取模块和解码器的结构对实时采集的路面图像进行图像识别的具体流程进行说明。

实时采集的路面图像大小为3*h*w，其中3为通道数，分别对应R、G、B三个通道，路面图像通过输入层601输入至编码器602。编码器602接收到路面图像后，首先通过第一卷积单元701对其进行卷积处理，获取大小为64*h/2*w/2的输出图像；接着通过第二卷积单元702和第三卷积单元703依次对该输出图像进行卷积处理，以获取大小为64*h/4*w/4的输出图像；然后通过第四卷积单元704和第五卷积单元705依次对第三卷积单元703输出的输出图像进行卷积处理，以获取大小为128*h/8*w/8的输出图像；最后通过第六卷积单元706和第七卷积单元707依次对第五卷积单元705输出的输出图像进行卷积处理，以获取大小为256*h/16*w/16的特征图作为输出图像。

该特征图传输至上下文信息提取模块603，首先由第一池化层801、第二池化层802、第三池化层803和第四池化层804分别对其进行不同尺度的池化处理，获取不同大小的池化结果，再分别对各池化结果进行上采样，以获取大小均为256*h/16*w/16的更新特征图；然后通过串接层805对大小均为256*h/16*w/16的更新特征图和大小为256*h/16*w/16的输出特征图进行串接，以获取大小为1280*h/16*w/16的串接特征图；最后通过大小为256*1*1的卷积层对串接特征图进行卷积处理，以获取大小为256*h/16*w/16的增强特征图。

增强特征图传输至解码器604后，首先通过第一反卷积层901、第八卷积单元902依次对其进行反卷积和卷积处理，以获取大小为128*h/8*w/8的特征图，然后通过第二反卷积层903对由第八卷积单元902输出的特征图和第八卷积单元902中的第二个卷积层输出的大小为128*h/8*w/8的特征图组合形成的特征图进行反卷积处理，以获取大小为64*h/4*w/4的特征图，最后有第三反卷积层904对第二反卷积层903输出的特征图进行反卷积处理，以获取大小为2*h*w的输出图像。

可以看出，编码器602主要对输入的路面图像进行上采样操作，提取其中的高级语义特征；上下文信息提取模块603主要对编码器602输出的特征图进行不同尺度的池化操作，以获取多个尺度的上下文信息，并通过串接和卷积操作，得到更强特征表达的增强特征图；解码器604主要对增强特征图进行下采样，以获取既具有增强特征表达又具有与输入的路面图像大小相同的输出图像。由于输出图像的大小与输入的路面图像的大小相同，因此可以直接根据输出图像中所标注的像素级的待选可行驶区域确定路面图像中的目标可行驶区域。

在本申请的一个实施例中，在使用训练好的图像识别模型对实时获取的路面图像进行图像识别之前，还需要对待训练的图像识别模型进行训练。

图10示出了对待训练图像识别模型进行训练的流程示意图，如图10所示，在步骤S1001中，获取路面图像样本；在步骤S1002中，将所述路面图像样本输入至待训练图像识别模型，通过所述待训练图像识别模型对所述路面图像样本进行分割提取，以获取预测可行驶区域；在步骤S1003中，根据所述预测可行驶区域对所述待训练图像识别模型的参数进行调整，以获取所述图像识别模型。

其中，在步骤S1001中，通过设置好的摄像头对各种类型的铺装路面进行拍摄，以获取路面图像样本，之所以选择铺装路面进行路面图像样本的采集，是因为铺装路面具有标准的划线和指引图标，可以清楚准确地对其中的可行驶区域进行标注，并用于待训练图像识别模型的训练，而像没有标线的乡间土路则不可作为路面图像用于模型训练。在获取路面图像样本后，可以对其中的可行驶区域进行人工标注，以便对待训练图像识别模型输出的结果进行验证。在步骤S1003中，根据预测可行驶区域对待训练图像识别模型的参数进行调整时，具体可以基于损失函数根据预测可行驶区域与标注可行驶区域确定与待训练图像识别模型对应的预测误差，然后根据预测误差对待训练图像识别模型的模型参数进行更新，通过多次迭代训练，直至预测误差达到最小，即可获得具有最优参数的稳定的图像识别模型。在本申请的实施例中，所使用的损失函数可以是交叉熵损失函数，当然还可以使用其它的损失函数，本申请实施例对此不作具体限定。

在本申请的一个实施例中，图像识别模型输出的输出图像虽然包含待选可行驶区域，但是该待选可行驶区域是像素级的，也就是说，图像识别模型只是对路面图像中各个像素为可行驶区域的概率进行了预测，这些待选可行驶区域是分散的，而且其中也可能存在错误的标注点，例如将远处的树木中的一部分标记为了可行驶区域。针对这种情况，有必要对待选可行驶区域进行结构化处理，以获取目标可行驶区域。

在步骤S530中，对所述待选可行驶区域进行结构化处理，以获取目标可行驶区域。

在本申请的一个实施例中，待选可行驶区域包括多个连通区域，通过对多个连通区域进行处理，可以确定目标可行驶区域。

图11示出了对待选可行驶区域进行结构化处理的流程示意图，如图11所示，在步骤S1101中，分别获取与各所述连通区域对应的外接多边形；在步骤S1102中，计算各所述外接多边形的面积，并将各所述外接多边形的面积进行比较；在步骤S1103中，将具有最大面积的外接多边形作为目标多边形，并根据所述目标多边形的顶点坐标序列确定所述目标可行驶区域。

由于目标可行驶区域在路面图像中所占的比例最大，因此在确定目标可行驶区域时，将面积最大的外接多边形作为目标可行驶区域，其它的外界多边形都视为障碍物而被排除掉。

在本申请的一个实施例中，通过图11所示方法所获取的目标可行驶区域覆盖了当前车辆所在路面中所有可以行驶的无障碍路面，图12示出了目标可行驶区域的界面示意图，如图12所示，位于车辆前方的浅灰色地面区域为结构化处理后得到的目标可行驶区域，该区域不包含障碍物，其中的任意区域都可以供车辆行驶。

在本申请的一个实施例中，车辆应当按照道路交通法中的道路通行规定行驶，例如在具有双向车道的路面，车辆如果直行的话只能沿着标注有其行驶方向箭头的车道行驶，或者变道到由车行道分界线标识的相邻同向车道行驶，而不能越过车道中心线沿着对向车道行驶；当车辆想在半路掉头时，可以在车道中心线中的虚线处掉头，等等。根据上述实施例获取的目标可行驶区域理论上是任意区域都可用于供车辆行驶，但是为了保证车辆的行驶合规合法，还需要保证车辆在规定车道行驶，这就需要对目标可行驶区域中的车行道分界线进行识别，并根据车行道分界线的类型判断车辆的可行驶车道。具体地，当识别到白色或黄色的中心虚线、中心单实线、中心双实线和中心虚实线时，将其标记为车道中心线；当识别到两车道之间的白色虚线或白色实线时，将其标记为车道分界线；当识别到目标可行驶区域中两外侧的边线时，将其标记为车道边缘线，等等。在确定车行道分界线的类型后，根据驾驶指令和与车行道分界线对应的行车规则确定铺路曲线的指向。

以图12所示的目标可行驶区域为例，通过对目标可行驶区域中的车行道分界线进行识别可以确定，目标可行驶区域中从左至右的车行道分界线依次为左侧车道边缘线、对向车行道分界线、对向车行道分界线、车道中心线、同向车行道分界线、同向车行道分界线和右侧车道边缘线，如果驾驶者想要掉头，那么可以判断车道中心线是否为中心虚线或中心虚实线，当为中心虚线或为中心虚实线且虚线靠近车辆时，便可以生成360°的铺路曲线指引驾驶者掉头，当为其它类型时，车辆则不能掉头，需要行驶至路口再根据相应地标志进行判断。

在步骤S540中，根据铺路曲线与所述目标可行驶区域的位置关系，将所述铺路曲线和所述目标可行驶区域渲染在所述路面图像中，以实现基于增强现实的导航铺路。

在本申请的一个实施例中，在确定目标可行驶区域后，可以根据铺路曲线和目标可行驶区域的位置关系进行导航铺路。判断铺路曲线和目标可行驶区域的位置关系主要是判断铺路曲线是否在目标可行驶区域内，若铺路曲线位于目标可行驶区域内，则直接根据铺路曲线和目标可行驶区域进行导航铺路，若铺路曲线不在目标可行驶区域内，则调整铺路曲线直至其位于目标可行驶区域内，然后再根据铺路曲线和目标可行驶区域进行导航铺路。

在本申请的一个实施例中，铺路曲线是由导航软件后台根据车辆当前所在环境生成的。首先对路面图像进行识别以获取位于车辆两侧的车道线，如果成功获取车辆两侧的车道线，则根据车道线确定车道线中线，并将车道线中线作为铺路曲线；如果未能获取车辆两侧的车道线，则后台根据车辆行驶指令调用预设角度的曲线作为铺路曲线，例如后台存储有预设角度为0°、±20°、±60°、±90°等角度的曲线，其中“±”表示车辆行驶方向的左右侧，具体可以用“+”表示向车辆行驶方向的右侧偏转，用“-”表示向车辆行驶方向的左侧偏转，当车辆继续保持直行时，则调用0°曲线作为铺路曲线，当车辆向左前方行驶时，则调用-60°曲线作为铺路曲线等等。

在本申请的一个实施例中，可以将铺路曲线上的坐标点与目标可行驶区域的顶点坐标序列进行比较，以判断铺路曲线是否在目标可行驶区域内。当铺路曲线上的所有坐标点均位于目标可行驶区域内时，则认为铺路曲线位于目标可行驶区域内；当铺路曲线上有未落在目标可行驶区域内的坐标点时，则认为铺路曲线不在目标可行驶范围内，需要对铺路曲线进行调整。

进一步地，还可以在铺路曲线上标注关键坐标点，并根据关键坐标点和目标可行驶区域的顶点坐标序列判断铺路曲线是否位于目标可行驶区域内。该关键坐标点例如可以是铺路曲线的起点、曲率最大的点、终点，等等。

在调整铺路曲线时，可以将铺路曲线的坐标点和目标可行驶区域的顶点坐标序列置于同一坐标系中，如果未落在目标可行驶区域内的坐标点大于或等于顶点坐标序列中的最大横坐标或者最大纵坐标，那么可以减小铺路曲线上该坐标点的横坐标或纵坐标；如果未落在目标可行驶区域内的坐标点小于或等于顶点坐标序列中的最小横坐标或者最小纵坐标，那么可以增大铺路曲线上该坐标点的横坐标或纵坐标。

在本申请的一个实施例中，在确定铺路曲线位于目标可行驶区域内后，便可以将铺路曲线和目标可行驶区域渲染在路面图像上，实现导航铺路。驾驶者便可以根据导航铺路图像中的铺路曲线驾驶，既可以避开路面上的障碍物，保障了自身及路人的人身安全，又能在导航的帮助下顺利到达目的地。

为了使本申请的技术方案更明晰，接下来以驾驶者使用本申请中的基于增强现实的导航铺路方法进行导航铺路为例进行说明。

驾驶者打开手机中的导航软件，输入目的地并开启AR导航功能，在手机的显示屏幕或者与手机连接的投影屏幕上就可以显示AR导航铺路信息。在打开AR导航功能的同时需要开启手机摄像头，用于实时拍摄路面图像，当手机摄像头拍摄到路面图像后，将路面图像发送至导航软件后台，后台调用图像识别模型对路面图像进行图像识别，以获取路面图像中像素级的候选可行驶区域；接着通过对候选可行驶区域进行结构化处理，可以获取候选可行驶区域中所有连通区域的外接多边形中面积最大的外接多边形作为目标可行驶区域，并输出目标可行驶区域的顶点坐标序列以便在屏幕中构建目标可行驶区域；然后后台根据路面图像中是否存在位于车辆两侧的车道线以及导航设定的行驶路线确定铺路曲线，并判断铺路路径是否位于目标可行驶区域内，如果在目标可行驶区域内，则将铺路路径和目标可行驶区域渲染在路面图像中，实现AR导航铺路。进一步地，还可以通过后台对路面图像中的车行道分界线进行识别，并判断车行道分界线的类别，进而根据车行道分界线的类别、路面图像中位于车辆两侧的车道线以及导航设定的行驶路线确定铺路曲线，车行道分界线的类别主要用于判断车辆是否可以在非路口路段进行掉头、变道等。

本申请中的基于增强现实的导航铺路方法是通过实时获取路面信息，将路面图像输入至图像识别模型中进行可行驶区域的分割提取，在获取待选可行驶区域后对其进行结构化处理，以获取目标可行驶区域；最后根据铺路曲线与目标可行驶区域的位置关系将铺路曲线和目标可行驶区域渲染在路面图像中以实现导航铺路。本申请一方面能够提高导航铺路的准确性，避免在车道线感知失败或无车道线的情况下，无法为用户提供正确的导航铺路；另一方面能够避免用户将车辆驾驶到障碍物上，保障了用户和行人的安全；再一方面能够提高导航产品的用户粘度和用户体验。

应当注意，尽管在附图中以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的基于增强现实的导航铺路方法。图13示意性地示出了本申请实施例提供的基于增强现实的导航铺路装置的结构框图。如图13所示，基于增强现实的导航铺路装置1300包括：图像获取模块1310、图像分割模块1320、区域结构化模块1330和导航铺路模块1340，具体地：

图像获取模块1310，被配置为实时获取路面图像；图像分割模块1320，被配置为将所述路面图像输入至图像识别模型，通过所述图像识别模型对所述路面图像中的可行驶区域进行分割提取，以获取待选可行驶区域；区域结构化模块1330，被配置为对所述待选可行驶区域进行结构化处理，以获取目标可行驶区域；导航铺路模块1340，被配置为根据铺路曲线与所述目标可行驶区域的位置关系，将所述铺路曲线和所述目标可行驶区域渲染在所述路面图像中，以实现导航铺路。

在本申请的一些实施例中，基于以上技术方案，所述图像识别模型包含依次连接的编码器、上下文信息提取模块和解码器，其中所述编码器包括多个大小不同的卷积单元；所述上下文信息提取模块包括多个不同尺度的池化层、串接层和卷积层；所述解码器包括多个反卷积层和一个卷积单元。

在本申请的一些实施例中，基于以上技术方案，图像分割模块1320包括：下采样单元，被配置为通过所述编码器中各所述卷积单元对所述路面图像进行下采样，以获取具有高级语义特征的特征图；特征增强单元，被配置为通过所述上下文信息提取模块对所述特征图进行多尺度池化处理，以获取增强特征图；上采样单元，被配置为通过所述解码器中的所述反卷积层和所述卷积单元对所述增强特征图进行上采样，以获取包含所述待选可行驶区域的输出图像。

在本申请的一些实施例中，基于以上技术方案，特征增强单元被配置为：通过所述多个不同尺度的池化层分别对所述特征图进行池化处理，并对池化处理后所述特征图进行上采样，以获取更新特征图；通过所述串接层对所述特征图和所述更新特征图进行串接，以获取串接特征图；通过所述卷积层对所述串接特征图进行图像特征提取，以获取所述增强特征图。

在本申请的一些实施例中，所述待选可行驶区域包括多个连通区域；基于以上技术方案，区域结构化模块1330配置为：分别获取与各所述连通区域对应的外接多边形；计算各所述外接多边形的面积，并将各所述外接多边形的面积进行比较；将具有最大面积的外接多边形作为目标多边形，并根据所述目标多边形的顶点坐标序列确定所述目标可行驶区域。

在本申请的一些实施例中，基于以上技术方案，导航铺路模块1340包括：判断单元，被配置为判断所述铺路曲线是否位于所述目标可行驶区域内；第一渲染单元，被配置为当所述铺路曲线位于所述目标可行驶区域内时，根据所述铺路曲线和所述目标可行驶区域在所述路面图像中进行渲染，以实现导航铺路；第二渲染单元，被配置为当所述铺路曲线位于所述目标可行驶区域之外时，将所述铺路曲线调整至位于所述目标可行驶区域内，并根据所述铺路曲线和所述目标可行驶区域在所述路面图像中进行渲染，以实现导航铺路。

在本申请的一些实施例中，基于以上技术方案，第二渲染单元被配置为：根据所述铺路曲线中坐标点与所述目标可行驶区域对应的顶点坐标序列之间的位置关系，增大或减小所述铺路曲线的坐标值，以将所述铺路曲线调整至位于所述目标可行驶区域内。

在本申请的一些实施例中，基于以上技术方案，基于增强现实的导航铺路装置1300还配置为：获取所述目标可行驶区域内的车行道分界线；判断所述车行道分界线的类型，并根据驾驶指令和与所述车行道分界线的类型对应的行车规则确定所述铺路曲线的指向。

在本申请的一些实施例中，基于以上技术方案，基于增强现实的导航铺路装置1300还配置为：识别所述路面图像中位于当前车辆两侧的车道线；当识别到所述车道线时，将所述车道线的中线作为所述铺路曲线；当未识别到所述车道线时，根据所述当前车辆的行驶指令将预设角度的指引曲线作为所述铺路曲线。

在本申请的一些实施例中，基于以上技术方案，基于增强现实的导航铺路装置1300还包括：样本获取模块，被配置为获取路面图像样本；模型训练模块，被配置为将所述路面图像样本输入至待训练图像识别模型，通过所述待训练图像识别模型对所述路面图像样本进行分割提取，以获取预测可行驶区域；参数调整模块，被配置为根据所述预测可行驶区域对所述待训练图像识别模型的参数进行调整，以获取所述图像识别模型。

在本申请的一些实施例中，基于以上技术方案，参数调整模块被配置为：根据所述预测可行驶区域和与所述路面图像样本对应的标注可行驶区域确定与所述待训练图像识别模型对应的预测误差；根据所述预测误差更新所述待训练图像识别模型的模型参数，直至所述预测误差达到最小。

本申请各实施例中提供的基于增强现实的导航铺路装置的具体细节已经在对应的方法实施例中进行了详细的描述，此处不再赘述。

图14示意性地示出了用于实现本申请实施例的电子设备的计算机系统结构框图，该电子设备可以是如图1中所示的终端设备110或者服务器130。

需要说明的是，图14示出的电子设备的计算机系统1400仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图14所示，计算机系统1400包括中央处理器1401（Central Processing Unit，CPU），其可以根据存储在只读存储器1402（Read-Only Memory，ROM）中的程序或者从存储部分1408加载到随机访问存储器1403（Random Access Memory，RAM）中的程序而执行各种适当的动作和处理。在随机访问存储器1403中，还存储有系统操作所需的各种程序和数据。中央处理器1401、在只读存储器1402以及随机访问存储器1403通过总线1404彼此相连。输入/输出接口1405（Input /Output接口，即I/O接口）也连接至总线1404。

在一些实施例中，以下部件连接至输入/输出接口1405：包括键盘、鼠标等的输入部分1406；包括诸如阴极射线管（Cathode Ray Tube，CRT）、液晶显示器（Liquid CrystalDisplay，LCD）等以及扬声器等的输出部分1407；包括硬盘等的存储部分1408；以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分1409。通信部分1409经由诸如因特网的网络执行通信处理。驱动器1410也根据需要连接至输入/输出接口1405。可拆卸介质1411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1410上，以便于从其上读出的计算机程序根据需要被安装入存储部分1408。

特别地，根据本申请的实施例，各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1409从网络上被下载和安装，和/或从可拆卸介质1411被安装。在该计算机程序被中央处理器1401执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（Erasable Programmable Read Only Memory，EPROM）、闪存、光纤、便携式紧凑磁盘只读存储器（Compact Disc Read-Only Memory，CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台电子设备执行根据本申请实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (14)

1.一种基于增强现实的导航铺路方法，其特征在于，包括：

实时获取路面图像；

将所述路面图像输入至图像识别模型，通过所述图像识别模型对所述路面图像中的可行驶区域进行分割提取，以获取待选可行驶区域；

对所述待选可行驶区域进行结构化处理，以获取目标可行驶区域；

根据铺路曲线与所述目标可行驶区域的位置关系，将所述铺路曲线和所述目标可行驶区域渲染在所述路面图像中，以实现基于增强现实的导航铺路。

2.根据权利要求1所述的方法，其特征在于，所述图像识别模型包含依次连接的编码器、上下文信息提取模块和解码器，其中所述编码器包括多个大小不同的卷积单元；所述上下文信息提取模块包括多个不同尺度的池化层、串接层和卷积层；所述解码器包括多个反卷积层和一个卷积单元。

3.根据权利要求2所述的方法，其特征在于，所述通过所述图像识别模型对所述路面图像中的可行驶区域进行分割提取，以获取待选可行驶区域，包括：

通过所述编码器中各所述卷积单元对所述路面图像进行下采样，以获取具有高级语义特征的特征图；

通过所述上下文信息提取模块对所述特征图进行多尺度池化处理，以获取增强特征图；

通过所述解码器中的所述反卷积层和所述卷积单元对所述增强特征图进行上采样，以获取包含所述待选可行驶区域的输出图像。

4.根据权利要求3所述的方法，其特征在于，所述通过所述上下文信息提取模块对所述特征图进行多尺度池化处理，以获取增强特征图，包括：

通过所述多个不同尺度的池化层分别对所述特征图进行池化处理，并对池化处理后所述特征图进行上采样，以获取更新特征图；

通过所述串接层对所述特征图和所述更新特征图进行串接，以获取串接特征图；

通过所述卷积层对所述串接特征图进行图像特征提取，以获取所述增强特征图。

5.根据权利要求1所述的方法，其特征在于，所述待选可行驶区域包括多个连通区域；

所述对所述待选可行驶区域进行结构化处理，以获取目标可行驶区域，包括：

分别获取与各所述连通区域对应的外接多边形；

计算各所述外接多边形的面积，并将各所述外接多边形的面积进行比较；

将具有最大面积的外接多边形作为目标多边形，并根据所述目标多边形的顶点坐标序列确定所述目标可行驶区域。

6.根据权利要求1所述的方法，其特征在于，所述根据铺路曲线与所述目标可行驶区域的位置关系，将所述铺路曲线和所述目标可行驶区域渲染在所述路面图像中，以实现导航铺路，包括：

判断所述铺路曲线是否位于所述目标可行驶区域内；

当所述铺路曲线位于所述目标可行驶区域内时，根据所述铺路曲线和所述目标可行驶区域在所述路面图像中进行渲染，以实现导航铺路；

当所述铺路曲线位于所述目标可行驶区域之外时，将所述铺路曲线调整至位于所述目标可行驶区域内，并根据所述铺路曲线和所述目标可行驶区域在所述路面图像中进行渲染，以实现导航铺路。

7.根据权利要求 6所述的方法，其特征在于，所述将所述铺路曲线调整至位于所述目标可行驶区域内，包括：

根据所述铺路曲线中坐标点与所述目标可行驶区域对应的顶点坐标序列之间的位置关系，增大或减小所述铺路曲线的坐标值，以将所述铺路曲线调整至位于所述目标可行驶区域内。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：

获取所述目标可行驶区域内的车行道分界线；

判断所述车行道分界线的类型，并根据驾驶指令和与所述车行道分界线的类型对应的行车规则确定所述铺路曲线的指向。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

识别所述路面图像中位于当前车辆两侧的车道线；

当识别到所述车道线时，将所述车道线的中线作为所述铺路曲线；

当未识别到所述车道线时，根据所述当前车辆的行驶指令将预设角度的指引曲线作为所述铺路曲线。

10.根据权利要求1所述的方法，其特征在于，在将所述路面图像输入至图像识别模型之前，所述方法还包括：

获取路面图像样本；

将所述路面图像样本输入至待训练图像识别模型，通过所述待训练图像识别模型对所述路面图像样本进行分割提取，以获取预测可行驶区域；

根据所述预测可行驶区域对所述待训练图像识别模型的参数进行调整，以获取所述图像识别模型。

11.根据权利要求10所述的方法，其特征在于，所述根据所述预测可行驶区域对所述待训练的图像识别模型的参数进行调整，以获取所述图像识别模型，包括：

根据所述预测可行驶区域和与所述路面图像样本对应的标注可行驶区域确定与所述待训练图像识别模型对应的预测误差；

根据所述预测误差更新所述待训练图像识别模型的模型参数，直至所述预测误差达到最小。

12.一种基于增强现实的导航铺路装置，其特征在于，包括：

图像获取模块，被配置为实时获取路面图像；

图像分割模块，被配置为将所述路面图像输入至图像识别模型，通过所述图像识别模型对所述路面图像中的可行驶区域进行分割提取，以获取待选可行驶区域；

区域结构化模块，被配置为对所述待选可行驶区域进行结构化处理，以获取目标可行驶区域；

导航铺路模块，被配置为根据铺路曲线与所述目标可行驶区域的位置关系，将所述铺路曲线和所述目标可行驶区域渲染在所述路面图像中，以实现导航铺路。

13.一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1至11中任意一项所述的基于增强现实的导航铺路方法。

14.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至11中任意一项所述的基于增强现实的导航铺路方法。

Images