CN114509077A - 导航引导线的生成方法、装置、系统和计算机程序产品 - Google Patents

Abstract

本发明公开了一种导航引导线的生成方法、装置、系统和计算机程序产品，该方法包括：基于导航规划路线和车辆的定位位置，确定车辆是否将进入导航规划路线中的分岔路口；当将进入分岔路口时，则基于视觉传感器获取的道路图像及分岔路口的导航引导动作，通过预先训练的视觉深度学习模型，生成引导车辆通过分岔路口的导航引导数；当将进入其他类型路口时，则基于导航规划路线，生成车辆行驶道路的导航引导数据；并基于导航引导数据，在视觉传感器获取的道路图像上渲染导航引导线。与现有技术中基于路径线生成的道路路口区域的导航引导线相比，生成的导航引导线与实景道路贴合度大大提高，指向性更加明确，引导效果更佳。

Description

导航引导线的生成方法、装置、系统和计算机程序产品

技术领域

本发明涉及导航技术领域，特别涉及一种导航引导线的生成方法、装置、系统和计算机程序产品。

背景技术

随着在智能设备上安装的地图导航类应用软件的广泛使用，人们在出行时可以借助应用软件提供的服务，通过搜索相应的目的地导航后顺利到达。

在导航过程中，现有的地图导航应用软件能够提供多种导航引导方式，常见的有语音导航引导和图面导航引导(在电子地图上显示导航引导线、路口大图等)。随着智能设备硬件性能的逐步提升，AR(Augmented Reality，增强现实技术)逐渐被应用于地图导航场景，AR导航通过视觉传感器(如摄像头)采集道路图像数据，结合车辆的定位位置及电子地图等数据，为用户提供AR导航服务。

发明人发现，现有的AR导航中，当导航引导信息是通过普通地图数据(相对于高精度的电子地图，普通地图数据的精度相对低，高精度的电子地图绝对定位误差在1m以内，相对定位误差在20cm以内)生成时，在某些路口场景(如主辅路交叉口、匝道交叉口、上下高速交叉口等)，导航引导信息与道路图像数据中实际道路的贴合度不精确。如图1A、图1B所示，其中图1A中，屏幕中间白色曲线为导航引导线，该导航引导线提前发生了弯曲；图1B中，导航引导线本身是要引导用户沿左侧车道行驶，但由于导航引导线的末端向右偏移，这使得导航引导的指向不明确，容易引发驾驶安全问题。因此，现有技术基于普通地图数据生成的导航引导线存在贴合度不足、指向不明确，存在误导用户的可能，从而导致AR导航体验变差。

发明内容

鉴于上述问题，提出了本公开以便提供一种克服上述问题或者至少部分地解决上述问题的一种导航引导线的生成方法、装置、系统和计算机程序产品。

第一方面，本公开实施例提供一种导航引导线的生成方法，其中，用于AR导航，可以包括：

基于导航规划路线和车辆的定位位置，确定车辆是否将进入所述导航规划路线中的分岔路口；如果是，则基于视觉传感器获取的道路图像及所述分岔路口的导航引导动作，通过预先训练的视觉深度学习模型，生成引导车辆通过所述分岔路口的导航引导数据；如果否，则基于所述导航规划路线，生成所述车辆行驶道路的导航引导数据；

基于所述导航引导数据，在视觉传感器获取的道路图像上渲染导航引导线。

第二方面，本公开实施例提供一种导航引导线的生成装置，其中，用于AR导航，可以包括：

判断模块，用于基于导航规划路线和车辆的定位位置，确定车辆是否将进入所述导航规划路线中的分岔路口；

生成模块，如果判断模块判断是，则用于基于视觉传感器获取的道路图像及所述分岔路口的导航引导动作，通过预先训练的视觉深度学习模型，生成引导车辆通过所述分岔路口的导航引导数据；如果判断模块判断否，则基于所述导航规划路线，生成所述车辆行驶道路的导航引导数据；

渲染模块，用于基于所述导航引导数据，在视觉传感器获取的道路图像上渲染导航引导线。

第三方面，本公开实施例提供一种导航引导系统，可以包括：导航服务器、导航终端和视觉传感器；

所述导航服务器中设置第二方面所述的导航引导装置，用于接收所述导航终端发送的导航规划路线请求和接收所述视觉传感器获取的前方道路图像，以及将生成的导航引导线发送给所述导航终端；

所述导航终端用于将所述导航规划路线请求发送给所述导航服务器，并接收所述导航服务器返回的导航引导线；

所述视觉传感器，用于获取车辆前方道路图像，并发送给所述导航服务器。

第四方面，本公开实施例提供了另一种导航引导系统，包括：导航服务器、导航终端和视觉传感器；

所述导航服务器，用于接收所述导航终端发送的导航规划路线请求，并将生成的导航规划路线发送给所述导航终端；

所述导航终端中设置第二方面所述的导航引导装置，用于将所述导航规划路线请求发送给所述导航服务器，并接收所述导航服务器返回的导航规划路线；并用于接收所述视觉传感器获取的前方道路图像，以及基于前方道路图像生成的导航引导线；

所述视觉传感器，用于获取车辆前方道路图像，并发送给所述导航终端。

第五方面，本公开实施例提供了一种导航引导服务，所述服务运行时执行如第一方面所述的导航引导线的生成方法。

第六方面，本公开实施例提供了一种具备导航功能的计算机程序产品，包括计算机程序/指令，其中，该计算机程序/指令被处理器执行时实现如第一方面所述的导航引导线的生成方法。

本公开实施例提供的上述技术方案的有益效果至少包括：

本公开实施例基于导航规划路线和车辆的定位位置，确定车辆是否将进入导航规划路线中的分岔路口；当将进入分岔路口时，则基于视觉传感器获取的道路图像及分岔路口的导航引导动作，通过预先训练的视觉深度学习模型，生成引导车辆通过分岔路口的导航引导数；并基于导航引导数据，在视觉传感器获取的道路图像上渲染导航引导线。与现有技术中基于路径线生成的道路路口区域的导航引导线相比，生成的导航引导线与实景道路贴合度大大提高，指向性更加明确，引导效果更佳。

当将进入其他类型路口时，则基于导航规划路线，生成车辆行驶道路的导航引导数据；并基于导航引导数据，在视觉传感器获取的道路图像上渲染导航引导线。上述方法可以基于不同的路口类型选择不同的导航引导线生成方式，可以为不同的道路场景选择最合适的导航引导线生成方式，针对分岔路口等特殊场景可以基于道路图像生成导航引导线，针对其他路口还可以按照选用更适合其路口类型的其他方式生成导航引导线，从而实现针对各种不同的道路场景，都能够生成与实景图像贴合度很好的导航引导线，大大提升了用户体验和导航引导效果。

本公开的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开而了解。本公开的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

附图用来提供对本公开的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本发明的限制。在附图中：

图1A为现有技术中导航引导线与实际道路不贴合的示意图；

图1B为现有技术中第二种导航引导线与实际道路不贴合的示意图；

图2为本公开实施例1中提供的导航引导线的生成方法的流程图；

图3为本公开实施例2中提供的详细的导航引导线的生成方法的流程图；

图4为本公开实施例2中提供的详细的路口引导的架构图；

图5为本公开实施例2中提供的获取分岔道路与未分岔道路之间夹角的方法的流程图；

图6为步骤S26实现的具体流程图；

图7A为本公开实施例2中提供的通过路口点之前路口区域识别的双线形式的导航引导线的示意图；

图7B为本公开实施例2中提供的通过路口点之后路口区域识别的单线形式的导航引导线的示意图；

图7C为使用本方法识别出导航引导线的效果示意图之一；

图7D为使用本方法识别出导航引导线的效果示意图之二；

图8A为本公开实施例2中提供的在分岔路口(Z形路口)中确定的路口区域的示意图；

图8B为本公开实施例2中提供的确定导航规划道路的道路类型为Z形路的流程图；

图8C为确定导航规划道路的道路类型为Z形路口的路形示意图；

图9A为本公开实施例2中提供的小C形路口中规划的导航规划路线的示意图；

图9B为本公开实施例2中提供的确定导航规划路线的道路类型为曲率小于设定曲率阈值的C形路口的流程图；

图9C为确定导航规划道路的道路类型为小C形路口的路形示意图；

图10为本公开实施例2中提供的导航规划路线前方有多个连续第一路口类型的道路示意图；

图11为本公开实施例中提供的导航引导线的生成装置的结构示意图；

图12为本公开实施例中提供的导航引导系统的结构示意图；

图13为本公开实施例中提供的另一种导航引导系统的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

实施例1

本公开实施例1提供了一种导航引导线的生成方法，该方法可以用于AR导航，参照图2所示，该方法可以包括以下步骤：

步骤S11、基于导航规划路线和车辆的定位位置，确定车辆是否将进入导航规划路线中的分岔路口；如果是，则执行步骤S12，如果否，则执行步骤S13。

其中，所述导航规划路线是预先根据车辆的起点和终点规划的、从起点到终点的导航路线。所述车辆的定位位置，可以根据车辆自带的定位系统获得。所述分岔路口是指在当前道路上分出来的另一条道路，呈“Y”形或者“y”形，类似树叉的形状。

需要说明的是，在对车辆进行导航引导时，通常可以分为道路引导和路口引导，而在引导过程中需要使用导航引导线。本公开实施例中，当确定车辆即将进入导航规划路线中的路口时，从道路引导方式变化为路口引导方式，即在路口区域内使用路口引导线进行引导。在实际应用中，在导航方式进行转换时，可以根据路况信息、经验值以及道路路口类型等进行预先设定，例如在路口第一距离阈值(例如车辆距离前方路口200m)时，即开始启动路口导航引导的方式对车辆进行引导。

本步骤是判断车辆是否即将进入到分岔路口进入导航规划路线中的分岔路口，即包括两个方面的判断，第一是否进入前方的路口，第二前方的路口是否是分岔路口。若判断均为是时，则执行步骤S12，否则执行步骤S13。

步骤S12、基于视觉传感器获取的道路图像及分岔路口的导航引导动作，通过预先训练的视觉深度学习模型，生成引导车辆通过分岔路口的导航引导数据。

其中，上述视觉传感器是视觉信息的直接来源，用于获取车辆前方的道路图像，也可以对获取的道路图像进行图像处理，本公开中的视觉传感器可以是设置在车辆上的行车记录仪中的摄像机，也可以是单独安装的其他形式的视觉传感器，本公开实施例对此不作限定。所述导航引导动作是指在导航规划路线中，对交叉路口的转弯、分岔路口的变道以及对于如何接近高速公路的出入口、岔口或者途径地、目的地等位置时的引导动作，可以通过放大地图、语音或文字等功能提示给用户。

本步骤是通过获取的前方道路图像以及在分岔路口的导航引导动作，将道路图像通过预先训练的视觉深度学习模型，来生成引导车辆通过分岔路口的导航引导数据。

步骤S13、基于导航规划路线，生成车辆行驶道路的导航引导数据。

本步骤是当车辆未进入分岔路口或进入的路口不是分岔路口时，基于导航规划路线，按照选用更适合其路口类型的其他方式生成车辆行驶道路的导航引导数据。

步骤S14、基于导航引导数据，在视觉传感器获取的道路图像上渲染导航引导线。

本步骤是基于导航引导数据，在视觉传感器获取的车辆前方的道路图像上渲染出导航引导线，从而实现AR导航。

本公开实施例基于导航规划路线和车辆的定位位置，确定车辆是否将进入导航规划路线中的分岔路口；当将进入分岔路口时，则基于视觉传感器获取的道路图像及分岔路口的导航引导动作，通过预先训练的视觉深度学习模型，生成引导车辆通过分岔路口的导航引导数；并基于导航引导数据，在视觉传感器获取的道路图像上渲染导航引导线。与现有技术中基于路径线生成的道路路口区域的导航引导线相比，生成的导航引导线与实景道路贴合度大大提高，指向性更加明确，引导效果更佳。

当将进入其他类型路口时，则基于导航规划路线，生成车辆行驶道路的导航引导数据；并基于导航引导数据，在视觉传感器获取的道路图像上渲染导航引导线。上述方法可以基于不同的路口类型选择不同的导航引导线生成方式，可以为不同的道路场景选择最合适的导航引导线生成方式，针对分岔路口等特殊场景可以基于道路图像生成导航引导线，针对其他路口还可以按照选用更适合其路口类型的其他方式生成导航引导线，从而实现针对各种不同的道路场景，都能够生成与实景图像贴合度很好的导航引导线，大大提升了用户体验和导航引导效果。

实施例2

本公开实施例2提供了一种详细的导航引导线的生成方法，参照图3和图4所示，该方法可以包括以下步骤：

步骤S20、基于导航规划路线和车辆的定位位置，判断前方路口的路口类型。

其中，本公开中前方路口的路口类型可以根据导航规划道路与路口处其他道路的交汇情况，分为平面交叉路口、环形交叉路口以及立体交叉路口等，其中平面交叉路口又可分为：十字形交叉、X形交叉、T形交叉、Y形交叉和多路口交叉等。本公开实施例可以通过道路与道路的交汇情况来判断路口的类型，具体通过路网数据(或路径线)来判断，例如获取导航规划路线上道路形状点之间的位置关系后，通过已有的判断方式判断道路上的路口类型。

具体的，根据路口类型以及导航规划道路中的动作类型，将路口引导划分为左转弯引导、右转弯引导、掉头引导、环岛引导、左前行驶引导、右前行驶引导等多种路口引导方式。其中，路口类型是根据路网形状点来判断的，根据路网形状点可以判断出路口类型包括：分岔路口、十字路口、X形路口、T形路口、Y形路口等，根据上述路口类型以及动作类型来确定在该路口处的导航引导线生成方式。上述分岔路口又细分为Z形路口、小C形路口、大C形路口等，本公开实施例中将上述Z形路口(例如：进出高速路口、右转专用道路口、主辅路切换路口等)、小C形路口(例如：靠左/右二叉路口、左/右前二叉路口等)确定为第一路口类型，将大C形路口(例如：盘桥)、环岛、复杂道路以及红绿灯路口确定为第二路口类型，将左右转弯、掉头确定为第三路口类型。

步骤S21、若前方路口的路口类型为分岔路口时，确定车辆是否将进入导航规划路线中的分岔路口；如果是，则执行步骤S24；如果否，则执行步骤S29。

本公开实施例中将分岔路口作为第一路口类型，正如本公开实施例1中描述的，分岔路口是指在当前道路上分出来的另一条道路，呈“Y”形或者“y”形，类似树叉的形状，例如图4中的左右前路口等，本公开实施例中常见的分岔路口如主辅路交叉路口中的Z形路口、匝道交叉口中的Z形路口，或者是上下高速交叉口中的C形路口等。

步骤S22、若前方路口的路口类型为环岛路口时，确定车辆是否将进入导航规划路线中的环岛路口；如果是，则执行步骤S27；如果否，执行步骤S29。

步骤S23、若前方路口的路口类型为左转弯路口、右转弯路口或掉头路口时，确定车辆是否将进入导航规划路线中的左转弯路口、右转弯路口或掉头路口；如果是，则执行步骤S28，如果否；执行步骤S29。

本公开实施例中，通过导航规划路线前方路口的道路形状点，来判断出前方路口处导航规划路线的道路形状，进而根据道路形状来确定路口类型，然后基于不同的路口类型使用不同的导航引导方式对车辆进行路口引导。

步骤S24、获取分岔路口的分岔道路与进入分岔路口之前的未分岔道路之间的夹角，或，获取导航规划路线中途径分岔路口的道路段的曲率。

本步骤中可以通过获取该分岔路口处的道路路径线参数来进行分析，可以通过现有方式获取分岔道路和未分岔道路之间的夹角或者分岔路口的道路段的曲率，本公开对此不作具体限定。

在一个具体的实施例中，获取分岔路口的分岔道路与未分岔道路之间的夹角，可以参照图5所示，具体包括：

步骤S241、获取分岔路口的道路交叉点作为通过路口点，在未分岔道路上获取通过路口点后方的第一辅助点，在分岔道路上获取通过路口点前方的第二辅助点。

其中，上述道路交叉点是路网数据中路径线与路径线之间的交点，即导航规划路径线中的导航动作点，在该导航动作点时，车辆可以沿导航规划路线进行方向的变化。本实施例中，将上述道路交点作为前方路口(本步骤中为第一路口类型的路口)的通过路口点。上述在导航规划路线中获取位于通过路口点后方第一设定距离的进入路口点和位于通过路口点前方第二设定距离的退出路口点时，可以根据道路形状、路口区域经验值等确定，例如设定距离为40～50m来确定路口区域，则在导航规划路线距离该通过路口点40～50m的位置获取进入路口点或通过路口点，上述第一设定距离和第二设定距离可以相同，也可以不同，本公开实施例对此不作具体限定。

步骤S242、将通过路口点和第一辅助点所在第一直线作为未分岔道路所在直线；将通过路口点和第二辅助点所在第二直线作为分岔道路所在直线。

步骤S243、将第一直线与第二直线之间的较小的夹角，作为分岔道路与未分岔道路之间的夹角。

通过上述步骤S241～步骤S243，即可确定分岔道路与未分岔道路之间的夹角，然后执行步骤S25。

步骤S25、判断分岔路口的分岔道路与进入分岔路口之前的未分岔道路之间的夹角是否小于设定的角度阈值，或，导航规划路线中途径分岔路口的道路段的曲率是否小于预设的曲率阈值；如果是，则执行步骤S26；如果否，则执行步骤S27。

例如本公开实施例中，根据道路形状和经验值，可以设定预设的角度阈值为45°～55°，当然也可以是其他预设的角度阈值；同样的，上述曲率阈值也可以预先设定，本公开实施例对此不作具体限定。

步骤S26、基于视觉传感器获取的道路图像及分岔路口的导航引导动作，通过预先训练的视觉深度学习模型，生成引导车辆通过分岔路口的导航引导数据。

因为本公开实施例中进行导航引导的场景为AR导航场景，因此可以通过视觉传感器实时获取车辆前方道路图像的数据，车辆在上述第一路口类型区域，即车辆经过进入路口点之后到达退出路口点之前的区域内，以图像识别分割技术(即将图像输入到预先训练好的视觉深度学习模型中)来识别出前方路口的导航引导数据，当然也可以识别导航引导信息、指引信息等。

本步骤具体的实现方式，参照图6所示，可以包括以下步骤：

步骤S261、获取分岔路口的道路交叉点作为通过路口点，并从导航规划路线上获取位于通过路口点后方第一设定距离的进入路口点和位于通过路口点前方第二设定距离的退出路口点。

步骤S262、在车辆经过进入路口点之后到达退出路口点之前，基于视觉传感器获取的道路图像通过预先训练的视觉深度学习模型，生成引导车辆通过分岔路口的导航引导数据。

其中，本实施例中步骤S262的实现，可以包括以下步骤：在车辆经过进入路口点之后到达通过路口点之前，基于视觉传感器获取的道路图像，通过预先训练的视觉深度学习双线模型，生成引导车辆通过分岔路口的双线形式的导航引导数据。在车辆经过通过路口点之后到达退出路口点之前，基于视觉传感器获取的道路图像，通过预先训练的视觉深度学习单线模型，生成引导车辆通过分岔路口的单线形式的导航引导数据。

例如，在一个具体的第一路口类型的场景中，在车辆经过进入路口点之后到达通过路口点之前，将获取的前方道路图像输入预先训练的视觉深度学习双线模型中，得到对应导航规划道路和前方路口的分岔道路的双线形式的导航引导数据，根据该导航引导数据在道路图像上渲染导航引导线。参照图7A和图7B所示，图中高亮曲线为识别出的左侧车道和右侧车道的导航引导线，用户可以在上述两条导航引导线选择一侧道路进行导航引导；在车辆经过通过路口点之后到达退出路口点之前，将获取的前方道路图像输入预先训练的视觉深度学习单线模型中，得到对应车辆所在道路的单线形式的导航引导线，参照图7C所示，图中高亮曲线为识别出的左侧车道的导航引导线，用户可以根据该导航引导线进行导航引导，图7C中，显示的导航引导线与图1A相比，远方指向性更加明确，未到通过路口点时并未发生弯曲，不会对用户带来错误指引的误导。

参照图7D所示，图中高亮曲线为识别出的左侧车道的导航引导线，用户可以根据该导航引导线进行导航引导，图7D中显示的导航引导线与图1B相比，导航引导线末端指向左前方，指向性明确，不会对用户造成误导。

本公开实施例中，上述路口区域识别出的导航引导数据，是基于实时获取的前方道路图像识别的，渲染出的导航引导线与实景道路贴合度很高，并且能够识别出进入路口点到通过路口点之间的双线形式的导航引导线和通过路口点到退出路口点之间的单线形式的导航引导线，更加丰富了用户导航体验。

步骤S27、基于卫星定位系统采集的定位数据和导航规划路线，生成引导车辆通过该路口的导航引导数据。

若路口类型为第二路口类型时，在车辆经过进入路口点之后到达退出路口点之前，基于卫星定位系统采集的定位数据和导航规划路线识别前方路口的导航引导数据。本公开实施例中，因为该种类型的路口一般路口区域较大，延伸较远。本实施例中使用基于卫星定位系统采集的定位数据和导航规划路线识别出前方路口的导航引导数据，该导航引导数据渲染的导航引导线具有对远方路形指向性明确的优势，能够对用户有明确的指引。

需要说明的是，参照图4所示，本公开实施例中对复杂内部道路与红绿灯路口以及由两个方向合并的大角度路形的交通路口，也使用基于卫星定位系统采集的定位数据和导航规划路线识别前方路口的导航引导数据，这样形成的导航引导线更加准确。

步骤S28、基于惯性传感器采集的数据和导航规划路线，生成引导车辆通过左转弯路口、右转弯路口或掉头路口的导航引导数据。

若路口类型为第三路口类型时，在车辆经过进入路口点之后到达退出路口点之前，基于惯性传感器采集的数据和导航规划路线识别前方路口的导航引导数据。本公开实施例中，因为该路口类型的道路形状快速发生变化，对导航引导线的灵敏度要求较高。本实施例中使用基于惯性传感器(例如陀螺仪)采集的数据和导航规划路线识别前方路口的导航引导数据，该导航引导数据渲染出的导航引导线具有灵敏度高的特性，能够对快速发生道路形状变化的路口起到良好的引导作用。

步骤S29、基于导航规划路线，生成车辆行驶道路的导航引导数据。本步骤中还可以根据其他方式，然后基于导航规划路线对其他特定道路路口生成导航引导数据。

步骤S30、基于导航引导数据，在视觉传感器获取的道路图像上渲染导航引导线。

本公开实施例对不同类型的路口使用不同的导航引导线生成方式，针对第一路口类型，使用图像识别分割引导，即基于视觉传感器获取的道路图像通过预先训练的视觉深度学习模型生成导航引导数据；针对第二路口类型，使用卫星定位匹配引导，即基于卫星定位系统(例如GPS)采集的定位数据和导航规划路线识别前方路口的导航引导数据；针对第三路口类型，使用惯性传感器匹配引导，即基于惯性传感器(例如：陀螺仪)采集的数据和导航规划路线识别前方路口的导航引导数据。

在一个可选的实施例中，例如一个具体的Z形路口的场景中，参照图8A所示，图中显示为主辅路类型的Z形路口，图中高亮折线为规划的导航规划路线，判断Z形路口的方法可以包括：在预设的第二距离阈值范围内，若导航规划道路的方向变化两次，且在方向变化前和两次方向变化后的导航规划道路的方向一致，则确定该导航规划道路的道路形状为Z形路口。例如在进入路口点与通过路口点之间的导航规划路线方向、通过路口点与退出路口点之间的导航规划路线方向以及退出路口点之后的导航规划路线方向发生了两次变化。本公开实施例中确定路口处的进入路口点、通过路口点和退出路口点的方式参照上文中的描述，在此不再赘述。

具体的，参照图8B和图8C所示，确定所述导航规划道路的前方道路为Z形路口，可以包括：

步骤S81、将通过路口点作为第一道路形状点，将导航规划道路上第二次发生方向变化的拐点作为第二道路形状点。

本公开实施例中，将通过路口点a作为第一道路形状点，将导航规划道路上的第二次发生方向变化的拐点b作为第二道路形状点。需要说明的是，上述第一道路形状点为路网数据中路径线与路径线的交点，即为导航动作点；而第二道路形状点为导航规划道路中的拐点，并非导航动作点。

步骤S82、将第一道路形状点和第二道路形状点所在的直线作为形状点直线。本步骤将第一道路形状点a和第二道路形状点b所在直线确定为形状点直线。

步骤S83、分别获取第一道路形状点后方的第一辅助点和第二道路形状点前方的第二辅助点。本步骤可以根据道路延伸形状或设定的距离阈值，确定出设定距离的第一辅助点c和第二辅助点d。

步骤S84、将第一辅助点与第一道路形状点所在的直线作为第一直线，将第二道路形状点与第二辅助点所在的直线作为第二直线。

上述第一直线为导航规划道路中方向未发送变化前(进入路口区域前)道路方向的直线，第二直线为导航规划道路中方向发生变化之后(退出路口区域后)道路方向的直线。本实施例中，道路是可以有方向参数，因此第一直线、第二直线分别与形状点直线之间形成的夹角，也是有方向参数的。

步骤S85、将第一直线与形状点直线之间的夹角作为第一夹角，将形状点直线与第二直线之间的夹角作为第二夹角。

参照图8C所示，第一夹角为α，第二夹角为β，可知α与β角度相反。优选的，此步骤中还可以预先判断第一夹角α和第二夹角β是否小于预设的角度阈值，一般情况下，现有的主辅路、匝道与主路等Z形路口中，因为车辆要在此进行变道以及根据市政道路建等多方面的原因，两条相交叉的道路之间的夹角不超过30°，甚至会更小。

步骤S86、判断第一夹角和第二夹角是否相等。

步骤S87、若相等则确定导航规划道路的前方路口为Z形路口。

本公开实施例中，通过导航规划路线中的通过道路点和拐点，分别确定导航规划路线上的辅助点，进而确定导航规划路线的方向，然后基于确定的不同直线之间所形成的夹角进而判断道路形状。该方法能够快速识别出导航规划道路前方路口的道路形状，进而判断出前方路口所述的路口类型，基于识别的路口类型执行不同方式的路口导航引导。

在另一个具体的实施例中，例如另一个路口类型的场景中，参照图9A所示，为上下高速交叉口的C形路口，且该路口为一个曲率小于设定曲率阈值的C形路口(小C形路口)，判断曲率小于设定曲率阈值的C形路口的方法可以包括：在预设的第三距离阈值范围内，若导航规划道路的方向发生变化，且在方向变化前和方向变化后之间的道路为弯曲道路，若弯曲道路的曲率小于设定曲率阈值，则确定该导航规划道路的道路形状为曲率小于设定曲率阈值的C形路口。

具体的，确定导航规划道路的道路形状为曲率小于设定曲率阈值的C形路口，包括：

步骤S91、将通过路口点作为第三道路形状点，将弯曲道路与方向变化后的导航规划道路相交的拐点作为第四道路形状点。

本步骤中，将通过路口点e作为第三道路形状点，将拐点f作为第四道路形状点。需要说明的是，本实施例中第三道路形状点为路网数据中路径线与路径线的交点，即为导航动作点；而第四道路形状点为导航规划道路中的拐点，并非导航动作点。

本步骤中，确定上述第四道路形状点的方式还可以包括：基于该弯曲道路的曲率，确定出第四道路形状点，即该道路形状点是路径线曲率发生变化的位置，也可以作为本公开实施例中的退出路口点，通过曲率确定第四道路形状点的方式可以上述其他判断方式进行综合判断，本实施例对此不作具体限定。

步骤S92、获取第三道路形状点后方的第三辅助点，将第三辅助点与第一道路形状点所在的直线作为第三直线。

本步骤可以根据道路延伸形状或设定的距离阈值，确定出设定距离的第三辅助点g，将第三辅助点g和第三道路形状点e所在的直线作为第三直线。

步骤S93、获取第四道路形状点前方的第四辅助点，将第四道路形状点与第四辅助点所在的直线作为第四直线。

本步骤可以根据道路延伸形状或设定的距离阈值，确定出设定距离的第四辅助点h，将第四辅助点h和第四道路形状点f所在的直线作为第四直线。

步骤S94、判断第三直线与弯曲道路上相邻道路形状点之间形成的直线之间的夹角是否单调递增。

参照图9C所示，图中弯曲道路上的拐点i、j、k、m均为道路形状点，本步骤是判断相邻道路形状点之间形成的直线与第三直线之间夹角的关系，例如第三直线分别与e-i所在直线、i-j所在直线……m-f所在直线之间的夹角是否为单调递增的关系。若是单调递增，则弯曲道路弯曲时朝向同一方向，否则可能为S形道路或其他形状的道路。对于S形道路或其他形状的道路，则使用其他方式形成导航引导数据，本实施例对此不作具体限定。

步骤S95、若判断为单调递增时，判断第三直线和第四直线之间的夹角是否小于预设的角度阈值。

步骤S96、若小于则确定该导航规划道路的道路形状为曲率小于设定曲率阈值的C形路口。

步骤S97、若大于，则确定该导航规划道路的道路形状为曲率大于设定曲率阈值的C形路口，例如盘桥路口等。

本公开实施例中提供的上述判断方法，能够快速识别出导航规划道路前方路口的道路形状，进而判断出前方路口所述的路口类型，基于识别的路口类型执行相应的路口导航引导。

在一个可选的实施例中，参照图10所示，若所述导航规划路线前方有多个路口，且多个所述路口的类型为所述第一路口类型，当每两个相邻的所述路口之间的距离小于第四距离阈值时，基于实时获取的前方道路图像使用选择的机器学习模型识别前方道路的导航引导线。如图10中所示，路口A、B、C为多个路口，即A、B、C为导航动作点，各路口之间的小圆圈代表了导航规划道路上的拐点，箭头方向表示导航规划路线的方向。本实施例先通过上述判断步骤分别判断出路口A、B、C为第一路口类型，然后将相邻路口之间距离与第四距离阈值(例如为200m)进行比较，若小于该距离阈值，则可以基于实时获取前方道路图像使用选择的机器学习模型识别前方道路的导航引导线，这样在对车辆进行引导时，使用图像识别分割技术来识别出前方道路(包括路口区域)的导航引导线，避免了连续路口之间不同导航引导方式(如道路铺路线与路口引导线)之间的切换，减少了对用户的干扰。

基于同一发明构思，本公开实施例还提供了一种导航引导线的生成装置，参照图11所示，该装置可以包括：判断模块11、生成模块12和渲染模块13，其工作原理如下：

判断模块11用于基于导航规划路线和车辆的定位位置，确定车辆是否将进入所述导航规划路线中的分岔路口。

生成模块12用于如果判断模块判断是，则用于基于视觉传感器获取的道路图像及所述分岔路口的导航引导动作，通过预先训练的视觉深度学习模型，生成引导车辆通过所述分岔路口的导航引导数据；如果判断模块判断否，则基于所述导航规划路线，生成所述车辆行驶道路的导航引导数据。

渲染模块13用于基于所述导航引导数据，在视觉传感器获取的道路图像上渲染导航引导线。

在一个可选的实施例中，判断模块11还用于判断所述分岔路口的分岔道路与进入所述分岔路口之前的未分岔道路之间的夹角是否小于设定的角度阈值，或，所述导航规划路线中途径所述分岔路口的道路段的曲率是否小于预设的曲率阈值；如果是，则执行所述基于视觉传感器获取的道路图像及所述分岔路口的导航引导动作，通过预先训练的视觉深度学习模型，生成引导车辆通过所述分岔路口的导航引导数据；如果否，则基于所述导航规划路线，生成引导车辆通过所述分岔路口的导航引导数据。

在一个可选的实施例中，生成模块12用于获取所述分岔路口的道路交叉点作为通过路口点，并从所述导航规划路线上获取位于所述通过路口点后方第一设定距离的进入路口点和位于所述通过路口点前方第二设定距离的退出路口点；生成模块12用于在车辆经过所述进入路口点之后到达所述退出路口点之前，基于视觉传感器获取的道路图像通过预先训练的视觉深度学习模型，生成引导车辆通过所述分岔路口的导航引导数据。

具体的，生成模块12用于在车辆经过所述进入路口点之后到达所述通过路口点之前，基于视觉传感器获取的道路图像，通过预先训练的视觉深度学习双线模型，生成引导车辆通过所述分岔路口的双线形式的导航引导数据；在车辆经过所述通过路口点之后到达所述退出路口点之前，基于视觉传感器获取的道路图像，通过预先训练的视觉深度学习单线模型，生成引导车辆通过所述分岔路口的单线形式的导航引导数据。

在一个可选的实施例中，生成模块12还用于获取所述分岔路口的分岔道路与进入所述分岔路口之前的未分岔道路之间的夹角，或，获取导航规划路线中途径所述分岔路口的道路段的曲率。

具体的，生成模块12用于在所述未分岔道路上获取所述通过路口点后方的第一辅助点，在所述分岔道路上获取所述通过路口点前方的第二辅助点；将所述通过路口点和所述第一辅助点所在第一直线作为所述未分岔道路所在直线；将所述通过路口点和所述第二辅助点所在第二直线作为所述分岔道路所在直线；将所述第一直线与所述第二直线之间的较小的夹角，作为所述分岔道路与所述未分岔道路之间的夹角。

具体的，生成模块12还用于若所述分岔道路与所述未分岔道路之间的夹角大于设定的角度阈值，或，若所述导航规划路线中途径所述分岔路口的道路段的曲率大于预设的曲率阈值，则基于卫星定位系统采集的定位数据和所述导航规划路线，生成引导车辆通过所述分岔路口的导航引导数据。基于导航规划路线和车辆的定位位置，确定车辆是否将进入所述导航规划路线中的环岛路口；如果是，则基于卫星定位系统采集的定位数据和所述导航规划路线，生成引导车辆通过所述环岛路口的导航引导数据。

在一个可选的实施例中，若所述导航规划路线前方有多个分岔路口，且每两个相邻的所述分岔路口之间的距离小于预设的距离阈值时，生成模块12用于基于视觉传感器获取的道路图像及多个所述分岔路口的导航引导动作，通过预先训练的视觉深度学习模型，生成引导车辆通过多个所述分岔路口和导航规划路线的导航引导数据；渲染模块13用于基于所述导航引导数据，在视觉传感器获取的道路图像上渲染导航引导线。

关于上述实施例中的导航引导装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

基于同一发明构思，本公开实施例还提供了一种导航引导系统，参照图12所示，该系统可以包括：导航服务器1、导航终端2和视觉传感器3；

导航服务器1中设置有上述导航引导装置，用于接收导航终端2发送的导航规划路线请求和接收视觉传感器3实时发送的前方道路图像，以及将识别的前方路口的导航引导线发送给导航终端2；

导航终端2用于将导航规划路线请求发送给导航服务器1，并接收导航服务器1返回的导航引导线；

视觉传感器3用于实时采集前方道路图像，并发送给所述导航服务器1。

需要说明的是，本公开实施例中上述导航终端2和视觉传感器3可以集成到一个设备上，也可以是分离的设备，本公开实施例对此不作具体限定。

关于上述实施例中的导航引导系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

基于同一发明构思，本公开实施例还提供了另一种导航引导系统，参照图13所示，该系统可以包括：导航服务器1、导航终端2和视觉传感器3；

导航服务器1，用于接收导航终端2发送的导航规划路线请求，并将生成的导航规划路线发送给导航终端2；

导航终端2中设置有上述导航引导装置，用于将导航规划路线请求发送给导航服务器1，并接收导航服务器1返回的导航规划路线；并用于接收视觉传感器3实时发送的前方道路图像，以及基于前方道路图像识别的前方路口的导航引导线；

视觉传感器3，用于实时采集前方道路图像，并发送给导航终端2。

需要说明的是，本公开实施例中上述导航终端2和视觉传感器3可以集成到一个设备上，也可以是分离的设备，本公开实施例对此不作具体限定。而且本实施例中，上述导航引导装置设置在导航终端上，导航终端实时根据车辆前方路口类型，生成不同的导航引导线，对车辆进行实时引导。

基于同一发明构思，本公开实施例还提供了一种导航引导服务，该服务运行时执行上述导航引导线的生成方法，该方法的在上述实施例中已进行了详细描述，在此不再赘述。

基于同一发明构思，本公开实施例还提供了一种具备导航功能的计算机程序产品，包括计算机程序/指令，其中，该计算机程序/指令被处理器执行时实现上述导航引导线的生成方法，该方法的在上述实施例中已进行了详细描述，在此不再赘述。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (15)

1.一种导航引导线的生成方法，其中，用于AR导航，包括：

基于导航规划路线和车辆的定位位置，确定车辆是否将进入所述导航规划路线中的分岔路口；如果是，则基于视觉传感器获取的道路图像及所述分岔路口的导航引导动作，通过预先训练的视觉深度学习模型，生成引导车辆通过所述分岔路口的导航引导数据；如果否，则基于所述导航规划路线，生成所述车辆行驶道路的导航引导数据；

基于所述导航引导数据，在视觉传感器获取的道路图像上渲染导航引导线。

2.根据权利要求1所述的方法，其中，所述方法进一步包括：

判断所述分岔路口的分岔道路与进入所述分岔路口之前的未分岔道路之间的夹角是否小于设定的角度阈值，或，所述导航规划路线中途径所述分岔路口的道路段的曲率是否小于预设的曲率阈值；如果是，则执行所述基于视觉传感器获取的道路图像及所述分岔路口的导航引导动作，通过预先训练的视觉深度学习模型，生成引导车辆通过所述分岔路口的导航引导数据；如果否，则基于所述导航规划路线，生成引导车辆通过所述分岔路口的导航引导数据。

3.根据权利要求2所述的方法，其中，所述基于视觉传感器获取的道路图像及所述分岔路口的导航引导动作，通过预先训练的视觉深度学习模型，生成引导车辆通过所述分岔路口的导航引导数据，包括：

获取所述分岔路口的道路交叉点作为通过路口点，并从所述导航规划路线上获取位于所述通过路口点后方第一设定距离的进入路口点和位于所述通过路口点前方第二设定距离的退出路口点；

在车辆经过所述进入路口点之后到达所述退出路口点之前，基于视觉传感器获取的道路图像通过预先训练的视觉深度学习模型，生成引导车辆通过所述分岔路口的导航引导数据。

4.根据权利要求3所述的方法，其中，所述在车辆经过所述进入路口点之后到达所述退出路口点之前，基于视觉传感器获取的道路图像通过预先训练的视觉深度学习模型，生成引导车辆通过所述分岔路口的导航引导数据，包括：

在车辆经过所述进入路口点之后到达所述通过路口点之前，基于视觉传感器获取的道路图像，通过预先训练的视觉深度学习双线模型，生成引导车辆通过所述分岔路口的双线形式的导航引导数据；

在车辆经过所述通过路口点之后到达所述退出路口点之前，基于视觉传感器获取的道路图像，通过预先训练的视觉深度学习单线模型，生成引导车辆通过所述分岔路口的单线形式的导航引导数据。

5.根据权利要求2所述的方法，其中，还包括：获取所述分岔路口的分岔道路与进入所述分岔路口之前的未分岔道路之间的夹角，或，获取导航规划路线中途径所述分岔路口的道路段的曲率。

6.根据权利要求5所述的方法，其中，获取所述分岔路口的分岔道路与进入所述分岔路口之前的未分岔道路之间的夹角，包括：

在所述未分岔道路上获取所述通过路口点后方的第一辅助点，在所述分岔道路上获取所述通过路口点前方的第二辅助点；

将所述通过路口点和所述第一辅助点所在第一直线作为所述未分岔道路所在直线；将所述通过路口点和所述第二辅助点所在第二直线作为所述分岔道路所在直线；

将所述第一直线与所述第二直线之间的较小的夹角，作为所述分岔道路与所述未分岔道路之间的夹角。

7.根据权利要求2所述的方法，其中，若所述分岔道路与所述未分岔道路之间的夹角大于设定的角度阈值，或，若所述导航规划路线中途径所述分岔路口的道路段的曲率大于预设的曲率阈值，则基于所述导航规划路线，生成引导车辆通过所述分岔路口的导航引导数据，包括：

若所述分岔道路与所述未分岔道路之间的夹角大于设定的角度阈值，或，若所述导航规划路线中途径所述分岔路口的道路段的曲率大于预设的曲率阈值，则基于卫星定位系统采集的定位数据和所述导航规划路线，生成引导车辆通过所述分岔路口的导航引导数据。

8.根据权利要求1所述的方法，还包括：

基于导航规划路线和车辆的定位位置，确定车辆是否将进入所述导航规划路线中的环岛路口；如果是，则基于卫星定位系统采集的定位数据和所述导航规划路线，生成引导车辆通过所述环岛路口的导航引导数据；

基于所述导航引导数据，在视觉传感器获取的道路图像上渲染导航引导线。

9.根据权利要求1所述的方法，还包括：

基于导航规划路线和车辆的定位位置，确定车辆是否将进入所述导航规划路线中的左转弯路口、右转弯路口或掉头路口；如果是，则基于惯性传感器采集的数据和所述导航规划路线，生成引导车辆通过所述左转弯路口、所述右转弯路口或所述掉头路口的导航引导数据；

基于所述导航引导数据，在视觉传感器获取的道路图像上渲染导航引导线。

10.根据权利要求1～9中任一项所述的方法，还包括：若所述导航规划路线前方有多个分岔路口，且每两个相邻的所述分岔路口之间的距离小于预设的距离阈值时，基于视觉传感器获取的道路图像及多个所述分岔路口的导航引导动作，通过预先训练的视觉深度学习模型，生成引导车辆通过多个所述分岔路口和导航规划路线的导航引导数据；

基于所述导航引导数据，在视觉传感器获取的道路图像上渲染导航引导线。

11.一种导航引导线的生成装置，其中，用于AR导航，包括：

判断模块，用于基于导航规划路线和车辆的定位位置，确定车辆是否将进入所述导航规划路线中的分岔路口；

生成模块，如果判断模块判断是，则用于基于视觉传感器获取的道路图像及所述分岔路口的导航引导动作，通过预先训练的视觉深度学习模型，生成引导车辆通过所述分岔路口的导航引导数据；如果判断模块判断否，则基于所述导航规划路线，生成所述车辆行驶道路的导航引导数据；

渲染模块，用于基于所述导航引导数据，在视觉传感器获取的道路图像上渲染导航引导线。

12.一种导航引导系统，包括：导航服务器、导航终端和视觉传感器；

所述导航服务器中设置如权利要求11所述的导航引导线的生成装置，用于接收所述导航终端发送的导航规划路线请求和接收所述视觉传感器获取的道路图像，以及将生成的导航引导线发送给所述导航终端；

所述导航终端用于将所述导航规划路线请求发送给所述导航服务器，并接收所述导航服务器返回的导航引导线；

所述视觉传感器，用于获取车辆前方道路图像，并发送给所述导航服务器。

13.一种导航引导系统，包括：导航服务器、导航终端和视觉传感器；

所述导航服务器，用于接收所述导航终端发送的导航规划路线请求，并将生成的导航规划路线发送给所述导航终端；

所述导航终端中设置如权利要求11所述的导航引导线的生成装置，用于将所述导航规划路线请求发送给所述导航服务器，并接收所述导航服务器返回的导航规划路线；并用于接收所述视觉传感器获取的道路图像，以及基于前方道路图像生成导航引导线；

所述视觉传感器，用于获取车辆前方道路图像，并发送给所述导航终端。

14.一种导航引导服务，所述服务运行时执行如权利要求1～10中任一项所述的导航引导线的生成方法。

15.一种具备导航功能的计算机程序产品，包括计算机程序/指令，其中，该计算机程序/指令被处理器执行时实现如权利要求1-10中任一项所述的导航引导线的生成方法。

Images