CN116685830A - 驾驶导航中的明确标牌可见性提示 - Google Patents

Abstract

为了在导航期间提供具有视觉辅助的可见性的指示的导航指令，计算设备接收来自用户的针对从起始位置到目的地位置的导航指引的请求，并且响应于该请求获得用于沿着路线从起始位置穿越到目的地位置的一组导航指引。对于至少一个操纵，计算设备标识用于帮助用户识别与该操纵对应的位置的视觉辅助，确定该视觉辅助的可见性的量，以及调整与该操纵对应的该组导航指引中的导航指令以包括该视觉辅助的可见性的量的描述。计算设备提供包括调整的导航指令的该组导航指引以用于向用户呈现。

Description

驾驶导航中的明确标牌可见性提示

技术领域

本公开涉及导航指引，并且具体地，涉及在指引用户时提供视觉辅助的可见性的描述。

背景技术

针对总体上呈现本公开背景的目的而在本文中提供了背景技术描述。在本背景技术部分中描述的程度上，目前属名的发明人的工作以及在提交时可能另外地无法胜任为现有技术的描述的方面，既不明确地也不隐含地被承认为是针对本公开的现有技术。

在地理位置之间自动地对驾驶员进行路由的系统通常利用距离、街道名称、建筑物编号等指示来生成基于路线的导航指引。例如，这些系统可以向驾驶员提供如“继续四分之一英里，然后右转到枫树街”这样的指令。然而，驾驶员难以准确判断距离，并且对于驾驶员不总是容易看见街道标志。此外，存在其中街道和道路标牌不足的地理区域。

为了向驾驶员提供更类似于另一人可能对驾驶员说出的引导，可以提及沿着路线的显著对象，诸如视觉上明显的建筑物或广告牌，来增强导航指引。这些显著对象和街道标志可以被称为“视觉辅助”。因此，系统可以生成这样的导航指引：“在四分之一英里内，你会在你的右侧看见 餐厅；进行下一个右转到枫树街。”为此，操作员可以输入视觉辅助的位置描述和指示(例如，街道地址、坐标)，使得系统可以在生成导航指引时自动地选择合适的视觉辅助。

然而，不是每个视觉辅助在所有时间都是可见的。例如，一些街道标志可能在晚上被明亮地照明，但是在白天期间通常不被注意。另一方面，建筑物标志或广告牌可能在白天期间容易注意，但在晚上可能照明不足并且因此不被注意。

发明内容

为了帮助用户导航，标志可见性指示器系统获得用于将用户从起始位置导航到目的地位置的一组导航指引。然后，对于每个导航指令，标志可见性指示器系统标识在导航指令中所包括的、用于帮助用户识别针对操纵的位置或路口的视觉辅助。例如，如果导航指令是“在ABC路右转”，则标志可见性指示器系统将ABC路街道标志标识为视觉辅助。在另一示例中，如果导航指令是“在临近的路口右转”，标志可见性指示器系统将标志标识为视觉辅助。

然后，标志可见性指示器系统确定视觉辅助的可见性的量。例如，标志可见性指示器系统可以基于下述来生成视觉辅助的可见性度量：遮挡视觉辅助的对象、视觉辅助的大小、视觉辅助的照明量、一天中的时间、一年中的时间、天气条件、视觉辅助的熟悉度度量、在与视觉辅助对应的位置处执行的操纵的类型等。标志可见性指示器系统可以通过获得包括视觉辅助的地理区域的三维(3D)全景街道级影像来标识用于确定可见性度量的这些因素中的至少一些。然后，标志可见性指示器系统可以分析街道级影像，以标识遮挡视觉辅助的对象、视觉辅助的大小、视觉辅助的照明量等。

在一些实施方式中，标志可见性指示器系统可以基于导航指引标识用户在接近视觉辅助时行进的方向。然后，标志可见性指示器系统可以生成针对所标识的方向的可见性度量。例如，标志可见性指示器系统可以获得自虚拟相机的视角的包括视觉辅助的地理区域的3D全景街道级影像，该虚拟相机具有与用户接近视觉辅助时的定向相匹配的定向。

在任何情况下，标志可见性指示器系统可以生成视觉辅助的可见性描述，以包括在导航指令中。例如，描述可能是，“此标志部分地在树后并且难以看见”或“在你的转弯处没有路灯并且标志很小，所以早点减速。”在一些实施方式中，标志可见性指示器系统生成该组导航指引中所包括的导航指令的子集的可见性描述。例如，当可见性度量低于第一阈值或高于第二阈值时，标志可见性指示器系统可以生成视觉辅助的可见性描述，以在视觉辅助特别地明显或视觉辅助特别难以看见时向用户提供额外的细节。

然后，标志可见性指示器系统可以向用户呈现该组导航指令，包括视觉辅助的至少一个可见性描述。以此方式，通过提供额外的细节来帮助用户穿越路线改进了导航指引。作为结果，标志可见性指示器系统降低了导航中的错误(诸如错误的转向)的可能性。

这些技术的示例实施例是一种用于在导航期间提供具有视觉辅助的可见性的指示的导航指令的方法。该方法包括：从用户接收针对从起始位置到目的地位置的导航指引的请求，以及响应于该请求获得用于沿着路线从起始位置穿越到目的地位置的一组导航指引。该组导航指引包括在沿着路线的对应位置处的一个或多个操纵。对于至少一个操纵，该方法包括：标识用于帮助用户识别与该操纵对应的位置的视觉辅助；确定该视觉辅助的可见性的量；以及调整与该操纵对应的该组导航指引中的导航指令以包括该视觉辅助的可见性的量的描述。该方法还包括提供包括调整的导航指令的该组导航指引以用于向用户呈现。

这些技术的另一示例实施例是一种用于在导航期间提供具有视觉辅助的可见性的指示的导航指令的计算设备。计算设备包括一个或多个处理器以及耦合到一个或多个处理器并且在其上存储指令的计算机可读存储器(可选地，非暂时性计算机可读存储器)。当由一个或多个处理器执行时，指令使得计算设备从用户接收针对从起始位置到目的地位置的导航指引的请求，以及响应于该请求获得用于沿着路线从起始位置穿越到目的地位置的一组导航指引。该组导航指引包括在沿着路线的对应位置处的一个或多个操纵。对于至少一个操纵，指令使得计算设备标识用于帮助用户识别与该操纵对应的位置的视觉辅助；确定该视觉辅助的可见性的量；以及调整与该操纵对应的该组导航指引中的导航指令以包括该视觉辅助的可见性的量的描述。这些指令还使得计算设备提供包括调整的导航指令的一组导航指引以用于向用户呈现。

这些技术的又一示例实施例是一种用于在导航期间呈现具有视觉辅助的可见性的指示的导航指令的方法。该方法包括：从用户接收针对从起始位置到目的地位置的导航指引的请求，以及响应于该请求获得用于沿着路线从起始位置穿越到目的地位置的一组导航指引。该组导航指引包括在沿着路线的对应位置处的一个或多个操纵，其中，至少一个导航指令包括用于帮助用户识别与在导航指令中所包括的操纵对应的位置的视觉辅助以及用于查看视觉辅助的可见性的量的描述。该方法还包括呈现一组导航指引，其包括呈现具有视觉辅助的可见性的量的描述的至少一个导航指令。

附图说明

图1是示例通信系统的框图，在该示例通信系统中，客户端和服务器设备可以操作来实现标志可见性指示器系统；

图2是在视觉辅助数据库中所包括的示例视觉辅助数据表，其可以在图1的系统中实现；

图3是包括视觉辅助的地理区域的示例三维(3D)全景街道级影像，其可以在图1的系统中被分析以确定视觉辅助的可见性；

图4是路线的示例导航显示，其可以在图1的系统中被分析以确定当接近视觉辅助时用户行进的方向；

图5是呈现在客户端设备上的示例导航显示，包括具有视觉辅助的可见性描述的导航指令；

图6是用于在导航期间提供具有视觉辅助的可见性的指示的导航指令的示例方法的流程图，该方法可以在服务器设备中实现；以及

图7是用于在导航期间呈现具有视觉辅助的可见性的指示的导航指令的示例方法的流程图，该方法可以在客户端设备中实现。

具体实施方式

概述

一般而言，用于在导航期间提供视觉辅助的可见性指示的技术可以在一个或若干客户端设备、一个或若干网络服务器或者包括这些设备的组合的系统中实现。然而，为了清楚起见，下面的示例主要集中于下述实施例：在该实施例中，客户端设备向服务器设备发送针对从起始位置到目的地位置的导航指引的请求。然后，服务器设备获得包括沿着路线的对应位置处的操纵一组导航指引。对于每个操纵，该组导航指引可以包括视觉辅助，诸如街道标志或建筑物标志，以用于帮助用户标识用于执行该操纵的路口。

然后，服务器设备可以根据导航指引获得确定例如从用户查看视觉辅助时将面对的方向的视觉辅助的可见性的量。例如，服务器设备可以基于下述来生成视觉辅助的可见性度量：遮挡视觉辅助的对象、视觉辅助的大小、视觉辅助的照明量、一天中的时间、一年中的时间、天气条件、视觉辅助的熟悉度度量、在与视觉辅助对应的位置处执行的操纵的类型等。

对于一个或若干操纵，服务器设备可以基于所确定的可见性的量来生成视觉辅助的可见性描述，以包括在对应的导航指令中。然后，服务器设备向客户端设备提供包括视觉辅助的可见性描述的一组导航指引以用于向客户的呈现。

示例硬件和软件组件

图1示出了环境10，其中可以实现用于在导航中提供视觉辅助的可见性描述的技术中的至少一些。环境10包括经由通信网络16互相连接的客户端设备12和服务器设备14。网络16可以是公共网络(诸如因特网)，或是专用网络(诸如内联网)。服务器设备14进而可以与各种数据库和其他服务器设备(诸如导航服务器、地图数据服务器、实况交通服务器、天气服务器等)通信。

服务器设备14可以通信地耦合到数据库52，该数据库52存储视觉辅助和针对每个视觉辅助的地理信息，诸如视觉辅助的位置和高度、视觉辅助面向的定向、视觉辅助的大小、视觉辅助的外观、视觉辅助的名称等。这在下面参考图2进行更详细的描述。服务器设备14还可以通信地耦合到地图数据库50和存储各种地理区域的真实世界影像(imagery)的真实世界影像数据库54。

客户端设备12可以包括诸如智能电话的便携式电子设备、诸如智能手表或头戴式显示器的可穿戴设备或者平板型计算机。客户端设备12可以包括处理模块22，该处理模块22可以包括一个或多个中央处理单元(CPU)、用于有效地渲染图形内容的一个或多个图形处理单元(GPU)、专用集成电路(ASIC)或任何其他合适类型的处理硬件。此外，客户端设备12可以包括由持久(例如，硬盘、闪存驱动器)和/或非持久(例如，RAM)组件组成的存储器24。在图1所示的示例实施方式中，存储器24存储实现地理应用26的指令，地理应用26也可以被称为“地图应用26”。

此外，客户端设备12包括相机(未示出)、用户接口28和网络接口30。在任一情况下，用户接口28可以包括一个或多个输入组件，诸如触摸屏、麦克风、键盘等；以及一个或多个输出组件，诸如屏幕或扬声器。

网络接口30可以支持短程和/或远程通信。例如，网络接口30可以支持蜂窝通信、个域网协议，诸如IEEE 802.11(例如，Wi-Fi)或802.15(蓝牙)。在一些实施方式中，客户端设备12包括多个网络接口模块，以互相连接客户端设备12内的多个设备，并且将客户端设备12连接到网络16。

此外，网络接口30在一些情况下可以支持地理定位。例如，网络接口30可以支持Wi-Fi三边测量。在其他情况下，客户端设备12可以包括专用定位模块32，诸如GPS模块。客户端设备12还可以包括其他传感器，诸如加速度计、陀螺仪、磁强计(诸如罗盘)等。

继续参考图1，客户端设备12可以经由网络16与服务器设备14通信，网络16可以是诸如因特网的广域网。服务器设备14可以在一个或多个服务器设备中实现，包括分布在多个地理位置的设备。服务器设备14可以实现导航指令生成器42和标志可见性指示器模块44。组件42-44可以使用硬件、固件和软件的任何合适的组合来实现。服务器设备可以访问数据库，诸如地图数据库50、视觉辅助数据库52和真实世界影像数据库54，这些数据库可以使用任何合适的数据存储装置和访问技术来实现。

在操作中，标志可见性指示器模块44可以从客户端设备12接收对导航指引的请求。标志可见性指示器模块44可以例如从导航生成器42获得用于沿着从起始位置到目的地位置的路线行进的一组导航指引。然后，标志可见性指示器模块44可以将在该组导航指引中所包括的街道名称、建筑物或其他地标标识为视觉辅助。然后，标志可见性指示器模块44可以确定从自沿着路线的各种位置接近视觉辅助的用户的角度来查看视觉辅助的可见性的量。更具体地，标志可见性指示器模块44可以从真实世界数据库54中检索包括视觉辅助的地理区域的3D全景街道级影像。标志可见性指示器模块44可以分析街道级影像以标识遮挡视觉辅助的对象、视觉辅助的大小、视觉辅助的照明量等，并且将分析结果存储在视觉辅助数据库52中。然后，标志可见性指示器模块44可以生成视觉辅助的可见性描述。

视觉辅助数据库52可以存储关于在驾驶(或骑自行车、步行或以其他方式沿导航路线移动)时可能可见的并且因此用作视觉辅助的显著地理实体的信息。例如，视觉辅助数据库52可以存储视觉辅助的地理信息，诸如针对下述的地理信息：Mila街道(Mila Street)标志70、丹佛的标志72、Willow Creek Dr.街道标志74以及任何其他合适的视觉辅助。

对于每个视觉辅助，视觉辅助数据库52可以存储一个或若干照片、二维或三维地理坐标、视觉辅助的高度、视觉辅助面向的定向、视觉辅助的大小、视觉辅助的外观、视觉辅助的名称等。为了填充视觉辅助数据库52，服务器设备14可以例如从真实世界数据库54接收卫星影像、由各种用户提交的照片和视频、由配备有专用全景相机的车辆收集的街道级影像、由行人和骑自行车的人收集的街道和人行道影像等。类似地，视觉辅助数据库52可以从各种源(诸如服务器设备14的操作者和提交用户生成的内容的人)接收视觉辅助的描述。

然后，标志可见性指示器模块44可以标识街道级影像内的对象，诸如街道标志、建筑物标志、电线杆(pole)、路灯、树、建筑物、道路、车辆等。然后，标志可见性指示器模块44可以将对象的位置与视觉辅助的位置进行比较，以标识遮挡视觉辅助的对象。标志可见性指示器模块44可以使用对象识别技术、语义分割和/或机器学习技术来标识对象。更具体地，标志可见性指示器模块44可以从数据库获得若干模板对象的图像数据，作为用于训练机器学习模型的训练数据，其中，对象的对象类型是已知的。模板对象可以具有不同的对象类型，诸如街道标志、建筑物标志、电线杆、路灯、树、建筑物、道路、车辆等。

标志可见性指示器模块44可以标识模板对象中的每个的视觉特征。模板对象的特征可以包括模板对象边缘的几何形状、模板对象内的RGB像素值或颜色、模板对象内相邻位置处的RGB像素值的改变等。这些特征可以通过检测模板对象内的稳定区域来标识，这些稳定区域是可检测的，而无论相机视角的模糊、运动、失真、定向、照明、缩放和/或其他改变如何。可以使用缩放不变特征变换(SIFT)、加速鲁棒特征(SURF)、快速视网膜关键点(FREAK)、二进制鲁棒不变可缩放关键点(BRISK)或任何其他合适的计算机视觉技术从模板对象提取稳定区域。在一些实施方式中，关键点可以位于模板对象的高对比度区域，诸如模板对象内的边缘。可以在关键点周围形成边界框，并且由边界框创建的模板对象的部分可以是特征。

可以基于与不同的对象类型对应的模板对象的特征来生成机器学习模型，不同的对象类型诸如街道标志、建筑物标志、电线杆、路灯、树、建筑物、道路、车辆等。机器学习模型可以包括针对每种类型的对象的一组特征，诸如针对标志的第一组特征、针对建筑物的第二组特征、针对路灯的第三组特征、针对树的第四组特征、针对道路的第五组特征、针对车辆的第六组特征等。例如，对象的颜色可以与对象的宽度、对象的颜色梯度和/或对象的其他视觉特征一起被存储为模板特征。

然后，标志可见性指示器模块44可以获得与一个或多个对象对应的街道级影像的一部分的图像数据，并且使用如上所述的类似技术标识一个或多个对象的特征。标志可见性指示器模块44可以使用图像分类和/或机器学习技术来比较针对街道级影像内的对象所标识的特征。机器学习技术可以包括线性回归、多项式回归、逻辑回归、随机森林、提升、最近邻、贝叶斯网络、神经网络、支持向量机或任何其他合适的机器学习技术。来自机器学习模型的模板特征中的每个可以与对象的特征进行比较。

在一些实施例中，可以使用最近邻算法将模板特征与对象的特征进行比较。最近邻算法可以通过创建特征的数字表示来生成特征向量，以标识最接近对象的特征的模板特征，特征向量诸如对象的像素宽度和高度、对象的RGB像素值、对象内的颜色梯度等。对象的特征的数字表示或特征向量可以与模板对象的特征向量进行比较，以确定对象和每个模板对象的特征之间的向量距离。然后，标志可见性指示器模块44可以基于对象的特征和表示特定对象类型的模板对象的特征之间的相似性的量或最近邻算法中的向量距离来确定该对象的对象类型。例如，对于街道级影像中的对象，标志可见性指示器模块44可以标识具有与该对象的特征向量最接近的模板特征向量的前三个模板对象。如果所标识的一个或多个模板对象中的大多数是街道标志，则标志可见性指示器模块44可以将街道级影像中的对象标识为街道标志。标志可见性指示器模块44可以对街道级影像内的多个对象重复该处理。

然后，服务器设备14可以将对象的位置与视觉辅助的位置进行比较，以标识遮挡视觉辅助的对象。标志可见性指示器模块44还可以标识街道级影像内的路灯对象，并且将路灯对象的位置与视觉辅助的位置进行比较，以确定视觉辅助的照明量。额外地，标志可见性指示器模块44可以将与照明相关的其他对象的位置与视觉辅助的位置进行比较，以确定视觉辅助的照明量。

在任何情况下，服务器设备14可以基于遮挡视觉辅助的对象和/或相对于视觉辅助的位置的对象的位置来生成视觉辅助的遮挡度量。例如，树可能通过覆盖街道标志的底部部分而部分地遮挡视觉辅助，这可能导致比完全地遮挡视觉辅助的建筑物更低的遮挡度量。服务器设备14还可以基于下述的任何合适的组合来生成视觉辅助的可见性度量：视觉辅助的遮挡度量、视觉辅助的大小、视觉辅助的高度、视觉辅助的位置、视觉辅助面向的定向、视觉辅助的照明量、一天中的时间、一年中的时间、天气条件、视觉辅助的熟悉度度量、在与视觉辅助对应的位置处执行的操纵类型等。

例如，可见性度量可以与遮挡度量成反比，因为可见性随着遮挡度量的增加而降低，这指示视觉辅助的遮挡程度更高。此外，可见性度量可以基于有雾、下雨、多云或下雪的天气条件而降低，而可见性度量可以在晴朗和明朗的天气条件期间增加。

此外，可以基于照明水平度量、一天中的时间和一年中的时间来调整可见性度量。在如基于一天中的时间和/或一年中的时间所确定的白天期间，可见性度量可以比在夜间期间更高。然而，可见性度量在夜间期间可能随着照明水平的增加而增加。照明水平度量还可以依赖于一天中的时间和/或一年中的时间，因为商业标志可以在商店营业期间点亮，但是在商店关门后熄灭。

此外，可以基于视觉辅助的位置、视觉辅助面向的定向以及在与视觉辅助对应的位置处执行的操纵的类型来调整可见性度量。例如，如果视觉辅助在用户的左侧，但是操纵的类型是右转，则可见性度量可能由于难以查看远离操纵方向的对象而降低。

图2中示出了数据表200，该数据表200包括在视觉辅助数据库52中所包括的每个视觉辅助的地理信息的示例索引。然后，每个视觉辅助的地理信息可以用于生成视觉辅助的可见性度量和/或视觉辅助的可见性描述。

对于每个地标，数据表200包括视觉辅助标识符202、包括二维或三维地理坐标和视觉辅助高度的视觉辅助的位置204、视觉辅助面向的定向206、视觉辅助的大小或尺寸208、视觉辅助的外观210的文本描述、视觉辅助的名称212以及指示对象是否遮挡视觉辅助以及对象遮挡视觉辅助的程度的视觉辅助的遮挡度量214。例如，遮挡度量214可以是从1-100的分数，其中，分数1指示视觉辅助的视线明晰，并且没有任何对象遮挡视觉辅助。分数100指示视觉辅助被诸如建筑物或树的其他对象完全地遮挡，并且1到100之间的分数可以指示视觉辅助被部分地遮挡。

数据表200还可以包括视觉辅助的熟悉度度量(未示出)，其指示特定视觉辅助的熟悉度或受欢迎的量。例如，基于熟悉并且能够识别出麦当劳餐厅的人数，可能具有高熟悉度度量。另一方面，本地企业可能具有较低的熟悉度度量。具有较高熟悉度度量的视觉辅助可以具有较高的可见性，因为它们可以从更远处被识别。

额外地，数据表200可以包括视觉辅助的照明水平度量(未示出)，其指示视觉辅助处存在的光量。对于接近路灯或具有通亮(brightly lit)标志的视觉辅助，照明水平度量可以高于不接近路灯或具有昏暗(dimly lit)标志的视觉辅助。照明水平度量可以基于一天中的时间而改变。例如，商业标志可能在商店营业期间点亮，但在商店关门后熄灭。因此，商业标志的照明水平度量在商店营业期间可能高于商店关门时间期间。

例如，数据表200的第一个条目包括标志的地理信息。根据数据表200，/>标志位于5m的高度并且面向东。/>标志宽4米并且长2米，以及包括红色背景的白色草书字母。/>标志的遮挡度量在1-100的标度上是95，指示该标志被例如其他建筑物、树等遮挡。

视觉辅助的遮挡度量可以例如通过访问与视觉辅助所位于的地理区域相关联的三维模型来确定。该模型可以包括视觉辅助的三维表示。在一个实施方式中，三维模型可以是地理区域的立体网格模型，其包括与视觉辅助相关联的多个网格三角形。该模型还可以包括或可以访问地理区域中的地理特征或其他地标的合成模型，诸如在虚拟地球应用中提供的合成模型。该模型还可以包括映射到三维模型中的表面的纹理。纹理可以包括与地理区域相关联的照片或其他影像，并且可以描绘地理对象，诸如树(有叶或无叶)、桥支架以及可能遮挡地理区域中视觉辅助的可见性的其他结构。

图3示出了包括视觉辅助302(Joe’s餐厅)的地理区域的示例3D全景街道级影像300。服务器设备14使用对象识别和/或语义分割技术来分析街道级影像300，以标识街道级影像300内的对象并且确定每个对象的对象类型。例如，服务器设备14分析街道级影像300以标识用于视觉辅助的街道标志302、电力线304和路灯306。然后，服务器设备14确定街道级影像内每个对象302-306的定位。例如，服务器设备14可以通过标识描绘街道级影像的虚拟相机的视见平截头体(view frustum)并且将视见平截头体中的位置映射到街道级影像内的像素来确定每个对象302-306在真实世界影像内的定位。然后，服务器设备14可以将对象304、306的定位与商业标志对象302的定位进行比较，以确定对象304、306遮挡商业标志对象302的程度。这里，看起来没有任何对象遮挡商业标志对象302，并且因此，商业标志对象302的遮挡度量可以是1-100标度上的分数1，或者可以以其他方式指示商业标志对象302没有被遮挡。额外地，服务器设备14可以将对象304、306的定位与商业标志对象302的定位进行比较，以确定商业标志对象302的照明水平。在这种场景中，路灯306不接近商业标志对象302，这可能导致商业标志对象302的低照明水平度量。服务器设备14还可以确定商业标志对象302是否具有其自己的照明(例如，商业标志是霓虹灯标志)，并且可以相应地调整照明水平度量。

又进一步地，服务器设备14可以生成自用于查看视觉辅助的不同定向的视觉辅助单独的遮挡和/或照明水平度量。例如，如果用户在查看视觉辅助时正在向东行进，则服务器设备14可以生成用于从东查看视觉辅助的遮挡和/或照明水平度量。为了生成单独的遮挡和/或照明水平度量，服务器设备14可以获得自具有多个定向或位置的虚拟相机的多个视角的视觉辅助的3D全景街道级影像。然后，服务器设备14可以分析自虚拟相机的视角的视觉辅助的3D全景街道级影像，以确定视觉辅助的遮挡和/或照明水平度量，该虚拟相机具有与用户在接近视觉辅助时面对的定向对应的定向。

为了确定当接近视觉辅助时用户面对的定向，服务器设备14可以分析该组导航指引，以确定当用户接近视觉辅助时用户沿着路线行进的方向。图4示出了从起始位置402到目的地位置412的路线406的示例显示400。服务器设备14可以分析沿着路线406的位置和/或操纵，以确定用户在接近视觉辅助时行进的方向。然后，服务器设备14可以获得自虚拟相机的视角的视觉辅助的3D全景街道级影像，以确定视觉辅助的遮挡和/或照明水平度量，该虚拟相机具有与用户接近视觉辅助时面对的定向对应的定向。

在任何情况下，服务器设备14可以使用针对各种天气条件和/或在一天中的各种时间的每个视觉辅助的地理信息来生成例如从用户根据导航指引将接近视觉辅助的定向的视觉辅助的可见性度量，该地理信息包括：视觉辅助的照片、视觉辅助的二维或三维地理坐标、视觉辅助的高度、视觉辅助面向的定向、在与视觉辅助对应的位置处执行的操纵的类型、视觉辅助的大小、视觉辅助的遮挡度量、视觉辅助的照明水平度量、视觉辅助的熟悉度度量等。

然后，服务器设备14可以根据可见性度量生成视觉辅助处的可见性的量的描述。视觉辅助处的可见性的量的描述可以包括：根据照明水平度量的对用于查看视觉辅助的照明水平的描述、根据遮挡度量的对遮挡视觉辅助的(多个)对象的描述、视觉辅助的大小的描述、视觉辅助相对于用户的位置的描述(例如，“街道标志在街道的右侧”)，或者视觉辅助处的可见性的量的任何其他合适的描述。此外，视觉辅助处的可见性的量的描述可以包括基于视觉辅助处的可见性的量的推荐，诸如“早些减速”。

更具体地，例如，当视觉辅助的可见性度量低于第一阈值时，服务器设备14可以生成指示存在视觉辅助的低可见性的描述。当视觉辅助的可见性度量高于第一阈值但低于第二阈值时，服务器设备14可以生成指示存在视觉辅助的部分可见性的描述。当视觉辅助的可见性度量高于第二阈值时，服务器设备14可以生成指示存在视觉辅助的高可见性的描述。在另一示例中，当视觉辅助的可见性度量低于阈值可见性度量并且视觉辅助的大小低于阈值大小时，服务器设备14可以生成指示因为视觉辅助小而存在视觉辅助的低可见性的描述。在又一示例中，当视觉辅助的可见性度量低于阈值可见性度量并且视觉辅助的照明水平度量低于阈值照明水平度量时，服务器设备14可以生成指示因为视觉辅助照明不佳而存在视觉辅助的低可见性的描述。在另一示例中，当视觉辅助的可见性度量低于阈值可见性度量并且视觉辅助的遮挡度量低于阈值遮挡度量时，服务器设备14可以生成指示因为视觉辅助被遮挡或者至少部分被遮挡而存在视觉辅助的低可见性的描述，并且可以描述遮挡视觉辅助的(多个)对象。

在一些实施方式中，服务器设备14可以生成针对一组导航指引中的视觉辅助的子集的可见性描述。例如，服务器设备14可以生成针对具有高于第一阈值或低于第二阈值的可见性度量的至少一个视觉辅助的可见性描述。以这种方式，导航指引可以向用户提供针对特别明显或特别难以看见的视觉辅助的额外的细节。在另一示例中，服务器设备14可以根据一组导航指引内的视觉辅助相应的可见性度量来对视觉辅助进行排名。然后，服务器设备14可以选择排名在阈值排名之上的视觉辅助(例如，排名前三的视觉辅助)，并且可以生成针对所选择的视觉辅助的可见性描述。

在任何情况下，服务器设备14然后提供用于在客户端设备12上显示的包括一个或多个导航指令的一组导航指引，该一个或多个导航指令具有用于帮助用户执行导航指令的视觉辅助的可见性的量的描述。图5示出了呈现在用户的客户端设备12上的示例导航显示500。导航显示500包括下述导航指令：其指引用户执行操纵(“左转”)并且提及视觉辅助(州街道标志)来帮助用户识别执行操纵的位置(用户接近州街道的路口)。导航指令还包括视觉辅助的可见性的量的文本描述502(例如，“没有路灯并且标志很小，所以早些减速。”)。除了提供文本描述之外，客户端设备12可以例如经由客户端设备12的扬声器呈现视觉辅助的可见性的量的音频描述。

用于在导航期间提供视觉辅助的可见性的指示的示例方法

图6示出了用于在导航期间提供具有视觉辅助的可见性的指示的导航指令的示例方法600的流程图。该方法可以以在计算机可读存储器上存储并且在服务器设备14的一个或多个处理器上可执行的一组指令实现。例如，该方法可以由导航指令生成器42和/或标志可见性指示器模块44来实现。

在框602，接收针对从起始位置到目的地位置的导航指引的请求。响应于接收到该请求，服务器设备14可以经由导航指令生成器42获得一组导航指引，用于沿着到目的地位置的路线行进(框604)。该组导航指引可以包括沿着路线的对应位置处的操纵，诸如左转、右转、继续直行等。为了帮助用户识别用于执行操纵的位置，该组导航指引可以提及接近用于执行操纵的位置的视觉辅助(诸如街道标志、建筑物标志等)。

在框606，服务器设备14标识在该组导航指引中提及的用于帮助用户识别用于执行操纵的位置的视觉辅助。然后，服务器设备14确定用于查看视觉辅助的可见性的量(框608)。更具体地，服务器设备14可以从真实世界数据库54中检索包括视觉辅助的地理区域的3D全景街道级影像。在一些实施方式中，服务器设备14可以检索来自下述虚拟相机的视角的3D全景街道级影像：该虚拟相机具有与用户在接近视觉辅助时所面对的定向对应的定向。为了确定用户在接近视觉辅助时所面对的定向，服务器设备14可以分析该组导航指引，以确定当用户接近视觉辅助时用户沿着路线行进的方向。例如，如果在提及视觉辅助的导航指令之前的先前导航指令是左转到主街道上(这导致用户朝东)，则服务器设备14可以确定用户在面向东的同时从西边接近视觉辅助。

在任何情况下，服务器设备14分析3D全景街道级影像以标识遮挡视觉辅助的对象、视觉辅助的大小、视觉辅助的照明量等，并且可以将分析结果存储在视觉辅助数据库52中。然后，服务器设备14可以基于下述的任何合适的组合来确定视觉辅助的可见性的量：视觉辅助的高度、视觉辅助的位置、视觉辅助面向的定向、视觉辅助的大小、在与视觉辅助对应的位置处执行的操纵类型、视觉辅助的遮挡度量、视觉辅助的照明水平度量、视觉辅助的熟悉度度量、视觉辅助处的天气条件、一天中的时间、一年中的时间等。

在框610，服务器设备14调整导航指令以包括视觉辅助的可见性的量的描述。视觉辅助处的可见性的量的描述可以包括根据照明水平度量的对用于查看视觉辅助的照明水平的描述、根据遮挡度量的对遮挡视觉辅助的(多个)对象的描述、视觉辅助的大小的描述、视觉辅助相对于用户的位置的描述(例如，“街道标志在街道的右侧”)，或者视觉辅助处的可见性的量的任何其他合适的描述。此外，视觉辅助处的可见性的量的描述可以包括基于视觉辅助处的可见性的量的推荐，诸如“早些减速”。

在一些实施方式中，服务器设备14可以生成针对该组导航指引的视觉辅助的子集的可见性描述。例如，服务器设备14可以生成针对具有高于第一阈值或低于第二阈值的可见性度量的至少一个视觉辅助的可见性描述。以这种方式，针对特别明显或特别难以看见的视觉辅助，导航指引可以向用户提供额外的细节。在另一示例中，服务器设备14可以根据该组导航指引内的视觉辅助的相应的可见性度量来对视觉辅助进行排名。然后，服务器设备14可以选择排名在阈值排名之上的视觉辅助(例如，排名前三的视觉辅助)，并且可以生成针对所选择的视觉辅助的可见性描述。

在任何情况下，服务器设备14然后提供用于在客户端设备12上显示的包括一个或多个导航指令的一组导航指引(框612)，该一个或多个导航指令具有用于帮助用户执行导航指令的视觉辅助的可见性的量的描述。

图7示出了用于在导航期间呈现具有视觉辅助的可见性的指示的导航指令的示例方法700的流程图。该方法可以以在计算机可读存储器上存储并且在客户端设备12的一个或多个处理器处可执行的一组指令实现。例如，该方法可以由地理应用26来实现。

在框702，接收针对从起始位置到目的地位置的导航指引的请求。响应于接收到该请求，客户端设备12可以获得用于沿着到目的地位置的路线行进的一组导航指引(框704)。例如，客户端设备12可以向服务器设备14发送请求，并且可以从服务器设备14接收该组导航指引。该组导航指引可以包括沿着路线的对应位置处的操纵，诸如左转、右转、继续直行等。为了帮助用户识别用于执行操纵的位置，该组导航指引可以提及接近用于执行操纵的位置的视觉辅助，(诸如街道标志、建筑物标志等)。额外地，该组导航指引可以包括一个或多个导航指令，该一个或多个导航指令具有对用于查看在导航指令中提及的视觉辅助的可见性的量的描述。

视觉辅助处的可见性的量的描述可以包括用于查看视觉辅助的照明水平的描述、遮挡视觉辅助的(多个)对象的描述、视觉辅助的大小的描述、视觉辅助相对于用户的位置的描述(例如，“街道标志在街道的右侧”)，或者视觉辅助处的可见性的量的任何其他合适的描述。此外，视觉辅助处的可见性的量的描述可以包括基于视觉辅助处的可见性的量的推荐，诸如“早些减速”。

然后，在框706，地理应用26可以经由客户端设备的用户接口28和/或扬声器向用户呈现该组导航指引。地理应用26可以例如经由客户端设备12的扬声器呈现视觉辅助的可见性的量的文本描述和/或视觉辅助的可见性的量的音频描述。

因此，本技术通过允许自动生成改进的导航指令，在用户和电子导航系统之间提供了改进的接口。这些导航指令可以是针对给定用户的情况定制的，因为如实施例中所例示地，在确定用户路线上的视觉辅助的可见性时，可以考虑给定用户的路线、计划的操纵、照明和天气条件等的所有。此外，可以针对任何导航路线自动地生成这些改进的导航指令。例如，当使用与用户的位置和定向对应的3D全景街道级图像以及适当地训练的机器学习模型时，用户可以在存在3D全景街道级图像的任何路线上获得改进导航的好处。这有助于为所有用户提供更轻松的并且更安全的导航。

额外的考虑

本文描述的示例方法的各种操作可以至少部分地由一个或多个处理器来执行，该一个或多个处理器被临时配置(例如，通过软件)或永久配置来执行相关操作。无论是临时配置还是永久配置，这些处理器都可以构成操作为执行一个或多个操作或功能的处理器实现的模块。在一些示例实施例中，本文中提到的模块可以包括处理器实现的模块。

类似地，本文描述的方法或例程可以至少部分地由处理器实现。例如，方法的操作中的至少一些可以由一个或多个处理器或处理器实现的硬件模块来执行。某些操作的执行可以分布在一个或多个处理器中，不仅驻留在单个机器中，而且部署在多个机器上。在一些示例实施例中，一个或多个处理器可以位于单个位置(例如，在家庭环境、办公室环境中或作为服务器群)，而在其他实施例中，处理器可以分布在多个位置。

一个或多个处理器还可以操作来支持云计算环境中的相关操作的执行，或者作为软件即服务(SaaS)。例如，操作中的至少一些可以由一组计算机(作为包括处理器的机器的示例)来执行，这些操作可以经由网络(例如，因特网)和经由一个或多个适当的接口(例如，应用程序接口(API))来访问。

在阅读本公开后，本领域普通技术人员将意识到，针对在导航期间提供视觉辅助的可见性的指示的系统的另外的替代结构和功能设计。因此，尽管已经示出和描述了特定的实施例和应用，但是要理解的是，所公开的实施例不限于本文公开的精确构造和组件。在不脱离所附权利要求中限定的精神和范围的情况下，可以对本文公开的方法和装置的布置、操作和细节进行各种修改、改变和变化，这对本领域技术人员来说将是明显的。

Claims (20)

1.一种用于在导航期间提供具有视觉辅助的可见性的指示的导航指令的方法，所述方法包括：

在一个或多个处理器处接收来自用户的针对从起始位置到目的地位置的导航指引的请求；

响应于所述请求，由所述一个或多个处理器获得用于沿着路线从所述起始位置穿越到所述目的地位置的一组导航指引，所述一组导航指引包括沿着所述路线的对应位置处的一个或多个操纵；

对于至少一个操纵：

由所述一个或多个处理器标识用于帮助用户识别与所述操纵对应的位置的视觉辅助；

由所述一个或多个处理器确定视觉辅助的可见性的量；和

由所述一个或多个处理器调整与所述操纵对应的所述一组导航指引中的导航指令，以包括对所述视觉辅助的可见性的量的描述；以及由所述一个或多个处理器提供包括调整的导航指令的所述一组导航指引以用于向用户呈现。

2.根据权利要求1所述的方法，其中，确定所述视觉辅助的可见性的量包括：

由所述一个或多个处理器基于所述一组导航指引来确定当用户接近所述视觉辅助时用户的定向；和

由所述一个或多个处理器确定自用户接近所述视觉辅助的定向的所述视觉辅助的可见性的量。

3.根据权利要求1或权利要求2所述的方法，其中，确定所述视觉辅助的可见性的量包括：

由所述一个或多个处理器获得包括视觉辅助的地理区域的三维全景街道级图像；和

由所述一个或多个处理器基于在所述三维全景街道级图像中所包括的对象来确定所述视觉辅助的可见性的量。

4.根据权利要求3所述的方法，其中，获得地理区域的三维全景街道级图像包括获得自虚拟相机的视角的三维全景街道级图像，所述虚拟相机具有与当用户接近所述视觉辅助时用户的位置或定向对应的视见平截头体。

5.根据权利要求3或权利要求4所述的方法，进一步包括：

由所述一个或多个处理器将所述三维全景街道级图像的一个或多个部分分类为一种或多种类型的对象；

由所述一个或多个处理器确定所述一种或多种类型的对象是否遮挡所述视觉辅助；

由所述一个或多个处理器基于所述一种或多种类型的对象是否遮挡视觉辅助来确定所述视觉辅助的遮挡度量；和

由所述一个或多个处理器基于所述遮挡度量来确定所述视觉辅助的可见性的量。

6.根据权利要求5所述的方法，其中，将所述三维全景街道级图像的一个或多个部分分类为一种或多种类型的对象包括：

由所述一个或多个处理器使用(i)三维全景街道级图像中所包括的对象的图像数据和(ii)每个对象的对象类型来训练机器学习模型；

由所述一个或多个处理器获得三维全景街道级图像的一部分的图像数据；和

由所述一个或多个处理器将所述机器学习模型应用于所述图像数据，以将所述三维全景街道级图像的所述部分分类为特定类型的对象。

7.根据任一前述权利要求所述的方法，其中，确定所述视觉辅助的可见性的量包括基于以下中的至少一个来确定所述视觉辅助的可见性的量：

所述视觉辅助的大小，

用于查看所述视觉辅助的照明水平，

一天中的时间，

一年中的时间，

视觉辅助位置处的天气条件，或

在接近视觉辅助时执行的操纵的类型。

8.根据任一前述权利要求所述的方法，其中，调整导航指令以包括视觉辅助的可见性的量的描述包括：

由所述一个或多个处理器调整所述导航指令，以包括遮挡所述视觉辅助的对象的描述或用于查看所述视觉辅助的照明水平的描述。

9.一种用于在导航期间提供具有视觉辅助的可见性的指示的导航指令的计算设备，所述计算设备包括：

一个或多个处理器；和

耦合到所述一个或多个处理器并且在其上存储指令的非暂时性计算机可读存储器，所述指令在被所述一个或多个处理器执行时，使得所述计算设备：

接收来自用户的针对从起始位置到目的地位置的导航指引的请求；

响应于所述请求，获得用于沿着路线从所述起始位置穿越到所述目的地位置的一组导航指引，所述一组导航指引包括沿着所述路线的对应位置处的一个或多个操纵；

对于至少一个操纵：

标识用于帮助用户识别与所述操纵对应的位置的视觉辅助；

确定所述视觉辅助的可见性的量；和

调整与操纵对应的所述一组导航指引中的导航指令，以包括所述视觉辅助的可见性的量的描述；以及

提供包括调整的导航指令的所述一组导航指引以用于向用户呈现。

10.根据权利要求9所述的计算设备，其中，为了确定所述视觉辅助的可见性的量，所述指令使得所述计算设备：

基于所述一组导航指引来确定当用户接近所述视觉辅助时用户的定向；和

确定自用户接近所述视觉辅助的定向的所述视觉辅助的可见性的量。

11.根据权利要求9或权利要求10所述的计算设备，其中，为了确定所述视觉辅助的可见性的量，所述指令使得所述计算设备：

获得包括视觉辅助的地理区域的三维全景街道级图像；和

基于在所述三维全景街道级图像中所包括的对象来确定所述视觉辅助的可见性的量。

12.根据权利要求11所述的计算设备，其中，所述地理区域的三维全景街道级图像来自虚拟相机的视角，所述虚拟相机具有与当用户接近视觉辅助时用户的位置或定向对应的视见平截头体。

13.根据权利要求11或权利要求12所述的计算设备，其中，所述指令还使得所述计算设备：

将所述三维全景街道级图像的一个或多个部分分类为一种或多种类型的对象；

确定所述一种或多种类型的对象是否遮挡所述视觉辅助；

基于所述一种或多种类型的对象是否遮挡所述视觉辅助来确定所述视觉辅助的遮挡度量；和

基于所述遮挡度量来确定所述视觉辅助的可见性的量。

14.根据权利要求13所述的计算设备，其中，为了将所述三维全景街道级图像的一个或多个部分分类为一种或多种类型的对象，所述指令使得所述计算设备：

使用(i)三维全景街道级图像中所包括的对象的图像数据和(ii)每个对象的对象类型来训练机器学习模型；

获得三维全景街道级图像的一部分的图像数据；和

将所述机器学习模型应用于所述图像数据，以将所述三维全景街道级图像的所述部分分类为特定类型的对象。

15.根据权利要求9至权利要求14中任一项所述的计算设备，其中，基于以下中的至少一个来确定所述视觉辅助的可见性的量：

所述视觉辅助的大小，

用于查看所述视觉辅助的照明水平，

一天中的时间，

一年中的时间，

视觉辅助位置处的天气条件，或

在接近视觉辅助时执行的操纵的类型。

16.根据权利要求9至权利要求15中任一项所述的计算设备，其中，调整导航指令以包括遮挡所述视觉辅助的对象的描述或用于查看所述视觉辅助的照明水平的描述。

17.一种用于在导航期间呈现具有视觉辅助的可见性的指示的导航指令的方法，所述方法包括：

在一个或多个处理器处接收来自用户的针对从起始位置到目的地位置的导航指引的请求；

响应于所述请求，由所述一个或多个处理器获得用于沿着路线从所述起始位置穿越到所述目的地位置的一组导航指引，所述一组导航指引包括沿着所述路线的对应位置处的一个或多个操纵，其中，至少一个导航指令包括用于帮助用户识别与所述导航指令中所包括的操纵对应的位置的视觉辅助，以及用于查看所述视觉辅助的可见性的量的描述；和

由所述一个或多个处理器呈现所述一组导航指引，包括呈现具有所述视觉辅助的可见性的量的描述的至少一个导航指令。

18.根据权利要求17所述的方法，其中，呈现所述一组导航指引包括呈现具有遮挡所述视觉辅助的对象的描述的所述至少一个导航指令。

19.根据权利要求17或权利要求18所述的方法，其中，呈现所述一组导航指引包括呈现具有用于查看所述视觉辅助的照明水平的描述的所述至少一个导航指令。

20.根据权利要求17至权利要求19中任一项所述的方法，其中，呈现所述一组导航指引包括呈现具有用于从所述用户接近所述视觉辅助的定向查看所述视觉辅助的可见性的量的描述的所述至少一个导航指令。