CN113728210A - 到目标的自主和用户控制的车辆召唤 - Google Patents

Abstract

耦合到存储器的处理器被配置为接收与由远离车辆的用户指定的目标相关联的地理位置的标识。利用机器学习模型使用来自车辆的一个或多个传感器的传感器数据生成车辆周围的环境的至少一部分的表示。使用车辆周围的环境的至少一部分的所生成的表示计算到与所接收的地理位置相对应的目标位置的路径的至少一部分。基于所确定的路径和来自车辆的一个或多个传感器的至少一部分的已更新传感器数据提供用于自动导航车辆的至少一个命令。

Description

到目标的自主和用户控制的车辆召唤

相关申请的交叉引用

本申请是于2019年2月11日提交的题为“AUTONOMOUS AND USER CONTROLLEDVEHICLE SUMMON TO A TARGET”的美国专利申请第16/272,273号的继续申请并且要求其优先权，该专利申请的公开内容通过引用整体并入本文。

背景技术

人类驾驶员通常被需要以操作车辆，并且由他们执行的驾驶任务通常很复杂并且可能会令人筋疲力尽。例如，从拥挤的停车场或车库取回或召唤停放的汽车可能既不方便又乏味。操作通常涉及走向自己的车辆、三点转弯、在不接触相邻车辆或墙壁的情况下从狭窄的地方边缘驶出、以及驶向自己先前来自的位置。尽管一些车辆能够远程操作，但车辆行驶的路线通常仅限于向前或向后方向的单一直线路径，转向范围有限，并且不能智能地沿自己的路径导航车辆。

发明内容

一个实施例包括一种系统。该系统包括处理器和存储器，该处理器被配置为：接收与由远离车辆的用户指定的目标相关联的地理位置的标识；利用机器学习模型使用来自车辆的一个或多个传感器的传感器数据来生成车辆周围的环境的至少一部分的表示；使用车辆周围的环境的至少一部分的所生成的表示来计算到与所接收的地理位置相对应的目标位置的路径的至少一部分；并且基于所确定的路径和来自车辆的一个或多个传感器的至少一部分的已更新传感器数据提供用于自动导航车辆的至少一个命令；该存储器耦合到处理器并且被配置为向处理器提供指令。

另一实施例包括一种方法。该方法包括接收与由远离车辆的用户指定的目标相关联的地理位置的标识；利用神经网络使用来自车辆的一个或多个传感器的传感器数据来生成车辆周围的环境的至少一部分的表示；使用车辆周围的环境的至少一部分的所生成的表示来计算到与所接收的地理位置相对应的目标位置的路径的至少一部分；并且基于所确定的路径和来自车辆的一个或多个传感器的至少一部分的已更新传感器数据来提供用于自动导航车辆的至少一个命令。

又一实施例包括一种计算机程序产品，该计算机程序产品被实施在非暂态计算机可读存储介质中并且包括计算机指令。该计算指令用于：接收与由远离车辆的用户指定的目标相关联的地理位置的标识；利用神经网络使用来自车辆的一个或多个传感器的传感器数据来生成车辆周围的环境的至少一部分的表示；使用车辆周围的环境的至少一部分的所生成的表示来计算到与所接收的地理位置相对应的目标位置的路径的至少一部分；并且基于所确定的路径和来自车辆的一个或多个传感器的至少一部分的已更新传感器数据来提供用于自动导航车辆的至少一个命令。

附图说明

在以下详细描述和附图中公开了本发明的各种实施例。

图1是示出用于将车辆自动导航到目的地目标的过程的实施例的流程图。

图2是示出用于接收目标目的地的过程的实施例的流程图。

图3是示出用于将车辆自动导航到目的地目标的过程的实施例的流程图。

图4是示出用于训练和应用机器学习模型以生成车辆周围的环境的表示的过程的实施例的流程图。

图5是示出用于生成占用网格的过程的实施例的流程图。

图6是示出用于自动导航到目的地目标的过程的实施例的流程图。

图7是示出用于将车辆自动导航到目的地目标的自主车辆系统的实施例的框图。

图8是示出用于将车辆自动导航到目的地目标的用户界面的实施例的图。

图9是示出用于将车辆自动导航到目的地目标的用户界面的实施例的图。

具体实施方式

本发明可以以多种方式实现，包括作为过程；装置；系统；物质组成；体现在计算机可读存储介质上的计算机程序产品；和/或处理器，诸如被配置为执行耦合到处理器的存储器上存储和/或由其提供的指令的处理器。在本说明书中，这些实现或本发明可以采用的任何其他形式可以称为技术。通常，在本发明的范围内，可以改变所公开的过程的步骤的顺序。除非另有说明，否则被描述为被配置为执行任务的诸如处理器或存储器等部件可以被实现为被临时配置为在给定时间执行该任务的通用部件或被制造为执行该任务的特定部件。如本文中使用的，术语“处理器”是指被配置为处理数据(诸如计算机程序指令)的一个或多个设备、电路和/或处理核心。

下面提供对本发明的一个或多个实施例的详细描述以及说明本发明的原理的附图。本发明结合这些实施例进行描述，但本发明不限于任何实施例。本发明的范围仅由权利要求限定，并且本发明包括很多替代、修改和等同物。在以下描述中阐述了很多具体细节以提供对本发明的透彻理解。这些细节是为了举例的目的而提供的，并且本发明可以根据权利要求来实践，而无需这些特定细节中的一些或全部。为清楚起见，与本发明相关的技术领域中已知的技术材料并未详细描述，以免不必要地混淆本发明。

公开了一种用于将车辆自主召唤到目的地的技术。提供目标地理位置并且车辆自动导航到目标位置。例如，用户通过在图形地图用户界面上在目的地位置处放置固定件(pin)来提供位置。作为另一示例，用户通过将用户的位置指定为目的地位置来将车辆召唤到用户的位置。用户还可以基于针对车辆而检测到的可行路径来选择目的地位置。目的地位置可以更新(例如，如果用户四处走动)，以引导汽车更新其到目的地位置的路径。使用所指定的目的地位置，车辆通过利用传感器数据(诸如由摄像头捕获的视觉数据)进行导航，以生成车辆周围的环境的表示。在一些实施例中，该表示是详述可行驶和不可行驶空间的占用网格。在一些实施例中，占用网格使用神经网络从摄像头传感器数据来生成。环境的表示可以用辅助数据进一步增强，诸如附加传感器数据(包括雷达数据)、地图数据或其他输入。使用所生成的表示，规划从车辆的当前位置到目的地位置的路径。在一些实施例中，该路径是基于车辆的操作参数(诸如模型的转弯半径、车辆宽度、车辆长度等)生成的。基于选择参数(诸如距离、速度、换档次数等)选择最优路径。当车辆使用所选择的路径自动导航时，环境的表示被连续更新。例如，当车辆行驶到目的地时，新的传感器数据被捕获并且占用网格被更新。安全检查被连续执行，安全检查可以覆盖或修改自动导航。例如，超声波传感器可以用于检测潜在碰撞。用户可以随时监测导航并且取消被召唤的车辆。在一些实施例中，车辆必须连续地从用户接收虚拟心跳信号以便车辆继续导航。虚拟心跳可以用于指示用户正在主动监测车辆的进展。在一些实施例中，用户选择路径并且用户远程控制车辆。例如，用户可以控制车辆的转向角、方向和/或速度以远程控制车辆。当用户远程控制车辆时，安全检查被连续执行，安全检查可以覆盖和/或修改用户控制。例如，如果检测到物体，则可以停止车辆。

在一些实施例中，一种系统包括处理器，该处理器被配置为接收与由远离车辆的用户指定的目标相关联的地理位置的标识。例如，在上车地点等待的用户将她或他的地理位置指定为目的地目标。目的地目标由停放在远程停车位的车辆接收。在一些实施例中，机器学习模型用于使用来自车辆的一个或多个传感器的传感器数据生成车辆周围的环境的至少一部分的表示。例如，诸如摄像头、雷达、超声波或其他传感器等传感器捕获车辆周围的环境的数据。使用经训练机器学习模型将数据作为输入馈送到神经网络以生成车辆周围的环境的表示。作为示例，该表示可以是描述车辆可以用来导航通过的可行驶空间的占用网格。在一些实施例中，使用车辆周围的环境的至少一部分的所生成的表示来计算到与所接收的地理位置相对应的目标位置的路径的至少一部分。例如，使用表示车辆周围的环境的占用网格来选择用于将车辆导航到目标目的地的路径。占用网格中的条目处的值可以是与驾驶通过与网格条目相关联的位置相关联的概率和/或成本。在一些实施例中，基于所确定的路径和来自车辆的一个或多个传感器的至少一部分的已更新传感器数据来提供用于自动导航车辆的至少一个命令。例如，车辆控制器使用所选择的计划来提供用于控制车辆的速度和转向的致动器命令。这些命令用于沿所选择的路径导航车辆。随着车辆导航，已更新传感器数据被捕获以更新车辆周围的环境的表示。在各种实施例中，该系统包括耦合到处理器并且被配置为向处理器提供指令的存储器。

图1是示出用于将车辆自动导航到目的地目标的过程的实施例的流程图。在一些实施例中，图1的过程用于将车辆召唤到由用户指定的地理位置。用户可以使用移动应用、遥控钥匙、车辆的GUI等来指定目标位置。使用目标位置，车辆从其起始位置自动导航到目标位置。在一些实施例中，目标位置是用户的位置并且目标位置是动态的。例如，随着用户移动，车辆的目标目的地移动到用户的新位置。在一些实施例中，目标位置是间接指定的，诸如经由日历或规划软件。例如，用户的日历被解析并且用于从日历事件中确定目标目的地和时间。日历事件可以包括事件的位置和时间，诸如结束时间。目的地是基于事件的位置而选择的，并且时间是基于事件的结束时间而选择的。车辆自动导航以在结束时间(诸如在晚宴、婚礼、餐厅预订等的结束时)到达该位置。在一些实施例中，车辆使用指定时间(诸如到达或离开时间)导航到目标目的地。例如，用户可以指定车辆应当开始自动导航或离开指定目的地的时间。作为另一示例，用户可以指定车辆应当到达指定目的地的时间。车辆将在指定时间之前出发，以便在指定时间到达目的地。在一些实施例中，到达时间配置有阈值时间以允许估计在行驶时间与实际行驶时间之间的差异。在各种实施例中，图1的过程在自主车辆上运行。在一些实施例中，与自主车辆通信的远程服务器执行召唤功能的部分。在一些实施例中，图1的过程至少部分使用图7的自主车辆系统来实现。

在101，接收目的地。例如，用户从智能电话设备上的移动应用中选择“找到我”特征。“找到我”特征确定用户的位置并且将用户的位置传输到车辆召唤模块。在各种实施例中，车辆召唤模块跨一个或多个模块而实现，一个或多个模块可以存在于车辆上和/或远离车辆。在一些实施例中，目标目的地可以不是用户的位置。例如，用户可以在地图上选择作为目标目的地的位置。作为另一示例，位置可以基于与日历事件相关联的位置。在一些实施例中，该位置通过在地图上在目标目的地处放置固定件图标来选择。该位置可以是经度和纬度。在一些实施例中，该位置可以包括高度、海拔或类似的量度。例如，在停车场，该位置包括用于区分多层停车场的不同楼层的高度分量。在各种实施例中，目的地是地理位置。

在一些实施例中，目的地包括位置以及取向。例如，汽车图标、三角形图标、或具有取向的其他图标用于指定位置和取向。通过指定取向，车辆导航到所选择的目标目的地并且面向用户选择的预期取向。在一些实施例中，该取向由取向建议来确定，诸如基于环境、用户、其他车辆、和/或其他适当推断的建议。例如，地图可以用于确定车辆的正确取向，诸如车辆在单向道路上行驶的方向。作为另一示例，基于车道线、交通信号、其他车辆等，召唤功能确定道路的适当取向。例如，其他车辆面向的方向可以用作取向建议。在一些实施例中，该取向基于由其他自主车辆建议的取向。例如，在一些实施例中，车辆召唤功能可以通信和/或向其他车辆查询以确定它们的取向并且使用所提供的结果作为取向建议。在各种实施例中，一个或多个取向建议被加权并且用于确定目标目的地取向。

在一些实施例中，目的地是通过完成查询来确定的。例如，用户可以请求(例如，使用GUI、语音或其他查询类型)她或他的车辆在某个时间到达指定停车场。目的地是通过向搜索引擎(诸如地图搜索数据库)查询目的地停车场来确定的。用户的日历和/或地址簿可以用于细化搜索结果。一旦停车场被标识，用于进入和/或离开停车场的指令和/或交通流被确定并且用于选择目的地。然后，目的地被提供给车辆召唤模块。

在一些实施例中，所接收的目的地是多部分目的地。例如，目的地需要在到达最终目的地之前到达一个或多个航路点。航路点可以用于对车辆在导航到最终目的地时所采用的路径进行附加控制。例如，航路点可以用于遵循用于机场、停车场或其他目的地的优选交通模式。航路点可以用于接载一个或多个附加乘客等。例如，延迟和/或暂停可以被合并到目的地中以接载和/或放下乘客或物体。

在一些实施例中，所接收的目的地首先通过一个或多个验证和/或安全检查。例如，目的地可以基于距离被限制，使得用户只能选择与车辆相距在一定距离(或半径)(诸如100米、10米或另一适当距离)内的目的地。在一些实施例中，该距离基于当地规章和/或法规。在一些实施例中，目的地位置必须是有效停车位置。例如，人行道、人行横道、十字路口、湖泊等通常不是有效停车位置，并且用户可以被提示选择有效位置。在一些实施例中，所接收的目的地是从用户的初始选择的目的地修改得到的，以考虑安全问题，诸如强制执行有效停车位置。

在103，确定到目的地的路径。例如，确定用于将车辆从其当前位置导航到在101处接收的目的地的一个或多个路径。在一些实施例中，该路径使用路径规划模块(诸如图7的路径规划模块705)来确定。在各种实施例中，路径规划模块可以使用成本函数来实现，其中适当权重被应用于到目的地的不同路径。在一些实施例中，所选择的路径基于源自车辆位置的潜在路径弧线。潜在路径弧线仅限于车辆的运行动态，诸如车辆的转向范围。在各种实施例中，每个潜在路径具有成本。例如，具有急转弯的潜在路径比更平滑的路径具有更高的成本。作为另一示例，速度变化较大的潜在路径比速度变化较小的路径成本更高。作为另一示例，具有更多档位变化(例如，从倒车到前进的变化)的潜在路径比具有较少档位变化的路径成本更高。在一些实施例中，遇到某些对象的可能性较高的路径与遇到对象的可能性较低的路径的权重不同。例如，路径基于遇到行人、车辆、动物、交通、光线不足、恶劣天气、通行费等的可能性被加权。在各种实施例中，当确定到达目的地要采取的路径时，高成本路径并不优于低成本路径。

在105，车辆导航到目的地。使用在103处确定的到目的地的路径，车辆自动导航到在101处接收的目的地。在一些实施例中，路径由多个较小子路径组成。不同子路径可以通过以不同档位(诸如前进或倒退)行驶来实现。在一些实施例中，路径包括动作，诸如打开车库门、关闭车库门、穿过停车门、等待电梯、确认通行费支付、充电、拨打电话、发送消息等。附加动作可能需要停止车辆和/或执行操作以操纵周围环境。在某些情况下，最终目的地是接近在101处接收的目的地的目的地。例如，在某些情况下，在101处接收的目的地是不可到达的，因此最终目的地非常接近到达该目的地。例如，在用户选择人行道的情况下，最终目的地是与人行道相邻的道路上的位置。作为另一示例，在用户选择人行横道的情况下，最终目的地是人行横道附近但不在人行横道中的道路上的位置。

在一些实施例中，在导航时连续确认一个或多个安全检查。例如，辅助数据(诸如来自超声波或其他传感器的传感器数据)用于标识障碍物，诸如行人、车辆、减速带、交通控制信号等。与物体发生潜在碰撞的可能性会终止当前导航和/或修改到目的地的路径。在一些实施例中，到目的地的路径包括沿路径行驶的速度。作为另一示例，在一些实施例中，必须从用户的移动应用接收心跳以继续导航。心跳可以通过要求用户保持与被召唤的车辆的连接来实现，例如通过连续按下移动召唤应用中的按钮GUI元素。作为另一示例，用户必须继续按住遥控钥匙上的按钮(或保持与传感器的联系)以用于车辆自动导航。如果联系丢失，则自动导航将终止。在一些实施例中，导航的终止安全地使车辆减速并且使车辆处于安全的静止模式，诸如停在路边、附近的停车位等。在一些实施例中，联系丢失可以根据情况立即停止车辆。例如，用户可以释放移动应用上的召唤按钮以指示车辆应立即停车，类似于紧急制动开关。在各种实施例中，用于停止车辆的减速度取决于车辆的环境(例如，是否有其他车辆在附近行驶，诸如在车辆后面)、是否存在潜在碰撞(诸如在车辆路径前方的障碍物或行人)、车辆行驶的速度或其他适当参数。在一些实施例中，车辆行驶的速度被限制为例如较低最大速度。

在107，车辆召唤功能完成。在完成时，可以执行一个或多个完成动作。例如，发送关于车辆已经到达所选择的目标目的地的通知。在一些实施例中，车辆到达接近该目标目的地的目的地并且用户被呈现车辆位置的通知。在一些实施例中，该通知经由文本消息和/或经由另一适当通知通道被发送到移动应用、密钥卡(例如，由与密钥卡相关联的状态变化指示)。可以提供附加方向以将用户引导到车辆。在各种实施例中，车辆可以被放置到停车场并且一个或多个车辆设置可以被触发。例如，车辆的内部照明可以被打开。地板照明可以被启用以增加进入车辆的能见度。一个或多个外部灯可以被打开，诸如闪光灯、停车灯和/或危险灯。诸如前大灯等外部灯可以被激活以增加接近车辆的乘客的能见度。被致动的定向灯可以指向预期方向，乘客将从该方向到达以到达车辆。在一些实施例中，诸如音频警报或音乐等音频通知被播放。可以基于用户的喜好在客舱中播放欢迎音乐或类似的音频。类似地，车辆的气候控制可以被启用以为乘客准备舱室的气候，诸如将舱室加热或冷却到期望温度和/或湿度。座椅可以被加热(或通风)。加热方向盘可以被激活。通风口可以基于喜好被重新定向。车门可以解锁并且可以为乘客打开。如果目的地是充电站，则车辆可以被定向，使得其充电器端口与充电器对准。在一些实施例中，用户可以根据乘客的预期来配置车辆的偏好，包括机舱气候、内部照明、外部照明、音频系统和其他车辆偏好。

在各种实施例中，在召唤完成期间和之后，更新车辆的位置。例如，已更新位置可以反映在伴随的移动应用中。在一些实施例中，完成动作包括用最近捕获和分析的传感器数据来更新所经过的路径和遇到的环境的带注释的地图。可以更新带注释的地图以反映潜在的障碍物、交通信号、停车偏好、交通模式、行人步行模式、和/或可能对未来导航和/或路径规划有用的其他适当的路径规划元数据。例如，所遇到的减速带、人行横道、坑洼、空停车位、充电位置、加油站等被更新到带注释的地图。在一些实施例中，与所遇到对象相对应的数据被用作潜在的训练数据以改进当前车辆/用户以及其他车辆和用户的召唤功能，诸如感知、路径规划、安全验证和其他功能。例如，空的停车位可以用于其他车辆的路径规划。作为另一示例，充电站或加油站用于路径规划。车辆可以被路由到充电站并且被定向，使得其充电器端口与充电器对准。

图2是示出用于接收目标目的地的过程的实施例的流程图。在一些实施例中，目标目的地由用户选择和/或提供。目的地目标与地理位置相关联并且用作自动导航车辆的目标。在所示示例中，接收目标目的地的过程可以从多于一个的起点发起。图2的两个起点是发起目的地接收的两个示例。其他方法也是可能的。在一些实施例中，图2的过程在图1的101处执行。

在201，接收目的地位置。在一些实施例中，目的地被提供作为地理位置。例如，提供经度和纬度值。在一些实施例中，还提供高度。例如，提供与停车场的特定楼层相关联的高度。在各种实施例中，目的地位置由用户经由智能电话设备、经由车辆的媒体控制台、或通过其他方式提供。在一些实施例中，位置连同与离开或到达目的地相关联的时间一起被接收。在一些实施例中，接收一个或多个目的地。例如，在一些场景中，接收包括多于一个的停靠点的多步骤目的地。在一些实施例中，目的地位置包括取向或航向。例如，航向指示车辆在到达目的地时应当面向的方向。

在203，确定用户位置。例如，用户的位置是使用全球定位系统或另一位置感知技术确定的。在一些实施例中，用户的位置通过密钥卡、用户的智能电话设备、或用户控制中的另一设备的位置来近似。在一些实施例中，用户的位置被接收作为地理位置。类似于201，该位置可以是经纬度对，并且在一些实施例中可以包括高度。在一些实施例中，用户的位置是动态的并且被连续更新或以特定间隔被更新。例如，用户可以移动到新位置并且所接收的位置被更新。在一些实施例中，目的地位置包括取向或航向。例如，航向指示车辆在到达目的地时应当面向的方向。

在205，确认目的地。例如，验证目的地以确认目的地可到达。在一些实施例中，目的地必须与车辆始发位置相距在一定距离内。例如，某些法规可能要求车辆自动导航不超过50米。在各种实施例中，无效目的地可能要求用户提供新位置。在一些实施例中，向用户建议备选目的地。例如，如果用户选择错误取向，则提供建议取向。又例如，如果用户选择禁停区域，则建议有效停车区域，诸如最近的有效停车区域。一旦被验证，所选择的目的地被提供给步骤207。

在207，向路径规划模块提供目的地。在一些实施例中，路径规划模块用于确定车辆的路线。在207，将经验证的目的地提供给路径规划模块。在一些实施例中，目的地被提供作为一个或多个位置，例如，具有多个停靠点的目的地。目的地可以包括二维位置，诸如纬度和经度位置。备选地，在一些实施例中，目的地包括高度。例如，某些可行驶区域(诸如多层停车场、桥梁等)对于同一二维位置具有多个可行驶平面。目的地还可以包括用于指定车辆在到达目的地时应当面对的取向的航向。在一些实施例中，路径规划模块是图7的路径规划模块705。

图3是示出用于将车辆自动导航到目的地目标的过程的实施例的流程图。例如，使用图3的过程，生成车辆周围的环境的表示并且将其用于确定到目的地的一个或多个路径。车辆使用所确定的(一个或多个)路径自动导航。随着附加传感器数据被更新，环境周围的表示也被更新。在一些实施例中，图3的过程使用图7的自主车辆系统来执行。在一些实施例中，301的步骤在图1的101处执行，303、305、307和/或309的步骤在图1的103处执行，311和/或313的步骤在图1的105处执行，和/或315的步骤在图1的107处执行。在一些实施例中，神经网络用于指导车辆要遵循的路径。例如，使用机器学习网络，预测用于导航车辆以遵循到目的地目标的路径的转向和/或加速度值。

在301，接收目的地。例如，经由移动应用、遥控钥匙、通过车辆的控制中心或其他适当的设备接收地理位置。在一些实施例中，目的地是位置和取向。在一些实施例中，目的地包括高度和/或时间。在各种实施例中，目的地使用图2的过程来接收。在一些实施例中，目的地是动态的并且新的目的地可以被适当地接收。例如，在用户选择“找到我”特征的情况下，目的地被更新以跟随用户的位置。本质上，车辆可以像宠物一样跟随用户。

在303，接收视觉数据。例如，使用固定在车辆上的一个或多个摄像头传感器接收摄像头图像数据。在一些实施例中，图像数据是从覆盖车辆周围的环境的传感器接收的。可以对视觉数据进行预处理以改善用于分析的数据的有用性。例如，可以应用一个或多个滤波器以降低视觉数据的噪声。在各种实施例中，连续捕获视觉数据以更新车辆周围的环境。

在305，确定可行驶空间。在一些实施例中，通过对在303处接收的视觉数据应用推理来使用神经网络确定可行驶空间。例如，使用视觉数据应用卷积神经网络(CNN)以确定用于车辆周围的环境的可行驶空间和不可行驶空间。可行驶空间包括车辆可以行驶的区域。在各种实施例中，可行驶空间没有障碍物，使得车辆可以使用通过所确定的可行驶空间的路径来行驶。在各种实施例中，机器学习模型被训练以确定可行驶空间，并且机器学习模型被部署在车辆上以从图像数据中自动分析和确定可行驶空间。

在一些实施例中，视觉数据用附加数据补充，诸如附加传感器数据。附加传感器数据可以包括超声波、雷达、激光雷达、音频或其他适当传感器数据。附加数据还可以包括注释数据，诸如地图数据。例如，带注释的地图可以对车道、速度线、交叉路口和/或其他驾驶元数据进行注释。附加数据可以用作机器学习模型的输入或者在创建占用网格时在下游消耗以改善确定可行驶空间的结果。

在307，生成占用网格。使用在305处确定的可行驶空间，生成表示车辆的环境的占用网格。在一些实施例中，占用网格是表示车辆所在的整个平面(例如，沿经度和纬度轴的360度)的二维占用网格。在一些实施例中，占用网格包括第三维以说明高度。例如，在不同高度具有多个可行驶路径的区域(诸如多层停车结构、立交桥等)可以用三维占用网格来表示。

在各种实施例中，占用网格包含与周围环境中的位置相对应的每个网格位置处的可行驶性值。每个位置的可行驶性值可以是该位置可行驶的概率。例如，人行道可以被设计为具有零可行驶性值，而砾石具有0.5可行驶性值。可行驶性值可以是范围在0到1之间的归一化概率，并且基于在305处确定的可行驶空间。在一些实施例中，网格的每个位置包括与穿过这个位置的成本(或惩罚/奖励)相关联的成本度量。占用网格中的每个网格位置的成本值基于可行驶值。成本值还可以取决于诸如偏好数据等附加数据。例如，路径偏好可以被配置为避开收费公路、拼车车道、学区等。在各种实施例中，路径偏好数据可以经由机器学习模型来学习并且在305处被确定为可行驶空间的一部分。在一些实施例中，路径偏好数据由用户和/或操作员配置以优化导航到在301处接收的目的地所采用的路径。例如，路径偏好可以被优化以改善安全性、便利性、行驶时间、和/或舒适度等目标。在各种实施例中，偏好是用于确定每个位置网格的成本值的附加权重。

在一些实施例中，占用网格使用诸如附加传感器数据等辅助数据更新。例如，捕获附近物体的超声波传感器数据用于更新占用网格。也可以使用其他传感器数据，诸如激光雷达、雷达、音频等。在各种实施例中，可以部分地使用带注释的地图来生成占用网格。例如，道路及其属性(限速、车道等)可以用于增强视觉数据以生成占用网格。作为另一示例，来自其他车辆的占用数据可以用于更新占用网格。例如，具有类似装备的功能的相邻车辆可以共享传感器数据和/或占用网格结果。

在一些实施例中，使用最后生成的占用网格来初始化占用数据。例如，当车辆不再捕获新数据和/或停放或关机时，保存最后的占用网格。当需要占用网格时，例如，当车辆被召唤时，加载最后生成的占用网格并且将其用作初始占用网格。这种优化显著提高了初始网格的准确性。例如，有些物体在静止状态下可能难以检测到，但是随着车辆接近当前停放位置而移动时，这些物体仍然会在最后保存的占用网格中被检测到。

在309，确定路径目标。使用占用网格，执行搜索以确定用于将车辆从其当前位置导航到在301处接收的目的地的路径。潜在路径部分地基于车辆的操作特性，诸如转弯半径、车辆宽度、车辆长度等。每个车辆模型可以配置有特定车辆操作特性。在一些实施例中，路径寻找被配置为实现可配置的限制和/或目标。示例限制包括车辆不能侧向行驶、车辆应当限制急转弯次数、车辆应当限制换档次数(例如，从倒车到前进或反之)等。限制/目标可以实现为成本函数中的加权成本。在各种实施例中，车辆的初始位置包括x、y和航向值。x和y值可以对应于经度和纬度值。确定从初始位置开始朝向到达目标的一个或多个潜在路径。在一些实施例中，该路径由一个或多个路径基元(诸如弧线基元)组成。路径基元描述车辆可以沿其导航以到达目的地的路径(和路径目标)。

在各种实施例中，所选择的路径目标是基于成本函数来选择的。在潜在路径中的每个潜在路径上执行成本函数。每个潜在路径穿过占用网格的一组网格，其中每个网格具有成本值来奖励或惩罚穿过网格位置的行驶。选择具有最优成本值的路径作为路径目标。路径目标可以包括一个或多个路径基元，诸如弧线，以对导航车辆的运动建模。例如，一对两个路径基元可以表示向后移动车辆然后向前移动。反向路径表示为一条弧线，而正向路径表示为另一弧线。作为另一示例，车辆路径可以包括三点转弯。转弯的每个基元可以表示为弧线路径。在每个路径基元的端部处，车辆将具有新的x、y和航向值。在一些实施例中，车辆包括例如高度值以支持在停车场的不同楼层之间的导航。尽管弧线路径基元用于定义目标路径，但也可以使用其他适当几何基元。在一些实施例中，每个路径包括速度参数。例如，速度参数可以用于建议沿路径的行驶速度。初始速度、最大速度、加速度、最大加速度和可以用于控制车辆如何沿路径导航的其他速度参数。在一些实施例中，最大速度被设置为低速并且用于防止车辆行驶过快。例如，可以强制执行较低最大速度以允许用户快速干预。

在各种实施例中，所确定的路径目标被传递到车辆控制器以沿路径导航。在一些实施例中，路径目标首先被转换为沿路径的一组路径点以供车辆控制器使用。在一些实施例中，连续运行路径规划并且可以在遍历当前路径的同时确定新路径。在一些实施例中，预期路径不再可到达，例如，路径被阻塞并且确定新路径。在309处的路径规划可以以比图3的过程的其他功能更低的频率运行。例如，路径规划可以以比在305处确定可行驶空间和/或在311处车辆被控制以导航的频率更低的频率运行。通过比确定占用网格的频率更低频率地确定路径目标，路径规划处理更有效并且利用世界的更准确的表示。

在一些实施例中，到目的地的多于一个的路线是可行的，并且多个路径目标被提供给用户。例如，用户被示出两个或更多个路径目标作为选项。例如，用户可以使用GUI、语音命令等选择用于将车辆导航到目的地的路径目标。例如，用户被示出从车辆到目的地的两个路径。第一路径估计花费的时间更少，但转弯更多，并且需要频繁换档。第二路径更平滑，但需要更多时间。用户可以从这两个选项中选择路径目标。在一些实施例中，用户可以选择路径目标并且修改路线。例如，用户可以调节所选择的路线以绕过特定障碍物，诸如繁忙的十字路口。

在311，车辆自动导航到路径目标。使用在309处确定的一个或多个路径目标，车辆从其当前位置沿(一个或多个)目标路径自动导航以到达到达目的地。例如，车辆控制器接收(一个或多个)目标路径，并且然后实现沿路径导航车辆所需要的车辆控制。(一个或多个)路径目标可以被接收作为沿要导航的路径的一组路径点。在一些实施例中，车辆控制器将诸如弧线等路径基元转换为路径点。在各种实施例中，通过从车辆控制器向车辆致动器发送致动器参数来控制车辆。在一些实施例中，车辆控制器是图7的车辆控制器707并且车辆致动器是图7的车辆致动器713。使用车辆致动器，转向、制动、加速和/或其他操作功能被致动。

在一些实施例中，当车辆导航到路径目标时，用户可以调节车辆的导航/操作。例如，用户可以通过提供诸如“向左转向更多”等输入来调节导航。作为附加示例，用户可以在导航和/或调节转向角的同时增加或减小车辆的速度。

在313，确定车辆是否已经到达在301处接收的目的地。如果车辆已经到达目的地，则过程继续到315。如果车辆还没有到达目的地，则过程循环回到301以可能接收已更新目的地并且自动导航到(可能的更新的)所选择的目的地。在各种实施例中，车辆已经到达目的地，但可能不在目的地的准确位置。例如，所选择的目的地可能不是或可能不再是可行驶位置。作为一个示例，另一辆车可以停在所选择的目的地。作为又一示例，用户可以被移动到诸如乘客等候区等不可行驶位置。在某些情况下，如果车辆已经到达被确定为最接近的可到达目的地的位置，则车辆被确定为已经到达目的地。最接近的可到达目的地可以基于在309处确定的路径。在一些实施例中，最接近的可到达目的地基于用于计算当前位置与目的地之间的潜在路径的成本函数。在一些实施例中，到达位置与接收目的地之间的差异基于可用于确定位置的技术的准确性。例如，车辆在可用全球定位系统的精度范围内可以停车。

在315，召唤完成。在各种实施例中，召唤功能被完成并且一个或多个完成动作被执行。例如，执行关于图1的107描述的完成动作。在一些实施例中，在307处生成的占用网格作为完成动作被保存和/或导出。占用网格可以保存在车辆本地和/或保存到远程服务器。在保存之后，该网格可以由车辆使用和/或共享给具有潜在重叠路径的其他车辆。

图4是示出用于训练和应用机器学习模型以生成车辆周围的环境的表示的过程的实施例的流程图。在一些实施例中，图4的过程用于至少部分使用传感器数据来确定用于生成占用网格的可行驶空间。用于训练和/或应用经训练机器学习模型的传感器数据可以对应于使用摄像头传感器从车辆捕获的图像数据。在一些实施例中，该过程用于为图7的自主车辆系统创建和部署机器学习模型。在一些实施例中，图4的过程用于在图3的305处确定可行驶空间并且在图3的307处生成占用网格。

在401，准备训练数据。在一些实施例中，使用包括图像数据的传感器数据创建训练数据集。传感器数据可以包括来自一个或多个摄像头的静止图像和/或视频。可以使用诸如雷达、激光雷达、超声波等附加传感器来提供相关传感器数据。在各种实施例中，传感器数据与对应车辆数据配对以帮助标识传感器数据的特征。例如，位置和位置数据的变化可以用于标识传感器数据中相关特征(诸如车道线、交通控制信号、物体等)的位置。在一些实施例中，准备训练数据以训练机器学习模型以标识可行驶空间。准备好的训练数据可以包括用于训练、验证和测试的数据。在一些实施例中，数据的格式与在所部署的深度学习应用上使用的机器学习模型兼容。

在403，训练机器学习模型。例如，使用在401处准备的数据训练机器学习模型。在一些实施例中，模型是神经网络，诸如卷积神经网络(CNN)。在各种实施例中，模型包括多个中间层。在一些实施例中，神经网络可以包括多个层，多个层包括多个卷积层和池化层。在一些实施例中，使用从所接收的传感器数据创建的验证数据集来验证训练模型。在一些实施例中，机器学习模型被训练以根据图像数据预测可行驶空间。例如，车辆周围的环境的可行驶空间可以从从摄像头捕获的图像中推断。在一些实施例中，图像数据用诸如雷达或超声波传感器数据等其他传感器数据来增强以提高准确度。

在405，部署经训练机器学习模型。例如，将经训练机器学习模型安装在车辆上作为深度学习网络的更新。在一些实施例中，深度学习网络是诸如图7的感知模块703等感知模块的一部分。经训练机器学习模型可以作为无线更新来安装。在一些实施例中，更新是使用诸如WiFi或蜂窝网络等无线网络传输的固件更新。在某些情况下，新训练的机器学习模型在车辆维修时安装。

在407，接收传感器数据。例如，传感器数据是从车辆的一个或多个传感器捕获的。在一些实施例中，传感器是视觉传感器，诸如用于捕获视觉数据的图7的视觉传感器701、和/或图7的附加传感器709。视觉传感器可以包括图像传感器，诸如安装在挡风玻璃后面的摄像头、安装在柱子上的前置和/或侧置摄像头、后置摄像头等。在各种实施例中，传感器数据采用在403处训练的机器学习模型用作输入的格式或被转换成该格式。例如，传感器数据可以是原始或已处理图像数据。在一些实施例中，传感器数据是从超声波传感器、雷达、LiDAR传感器、麦克风或其他适当技术捕获的数据。在一些实施例中，传感器数据在预处理步骤期间使用诸如图像预处理器等图像预处理器被预处理。例如，图像可以被归一化以去除失真、噪声等。

在409，应用经训练机器学习模型。例如，在403处训练的机器学习模型被应用于在407处接收的传感器数据。在一些实施例中，模型的应用由诸如图7的感知模块703等感知模块使用深度学习网络来执行。在各种实施例中，通过应用经训练机器学习模型，可以标识和/或预测可行驶空间。例如，可以推断车辆周围的环境中的可行驶空间。在各种实施例中，通过应用机器学习模型来标识车辆、障碍物、车道、交通控制信号、地图特征、物体距离、速度限制等。检测到的特征可以用于确定可行驶空间。在一些实施例中，交通控制和其他驾驶特征用于确定导航参数，诸如限速、停车位置、停车区域、面向的取向等。例如，停靠标志、停车位、车道线和其他交通控制特征被检测并且用于确定可行驶空间和驾驶参数。

在411，生成占用网格。例如，使用在409处应用的经训练机器学习模型的输出，生成用于路径规划的占用网格以确定用于导航车辆的目标路径。占用网格可以如关于图3的307所描述的和/或使用图5的过程来生成。

图5是示出用于生成占用网格的过程的实施例的流程图。例如，使用根据传感器数据确定的可行驶空间，可以生成用于路径规划的占用网格。占用网格可以使用附加传感器数据、来自附加源(诸如带注释的地图)的元数据、和/或先前生成的占用网格进行扩充。在一些实施例中，图5的过程在图1的103、图3的307和/或图4的411处执行。在一些实施例中，图5的过程使用图7的自主车辆系统来执行。

在一些实施例中，在路线规划之前生成占用网格。例如，生成占用网格，然后将其呈现给用户以进行检查，诸如经由智能电话设备上的GUI或经由车辆中的显示器。用户可以查看占用网格并且选择目标目的地。用户可以指定用户希望车辆停在路边的哪个部分。一旦选择，车辆就可以导航到目标目的地。

在501，加载所保存的占用网格。在一些实施例中，加载与车辆的当前位置相对应的先前生成的占用网格。通过使用先前保存的占用网格来初始化占用网格，可以提高车辆周围的环境的准确性。这种优化显著提高了初始网格的准确性。例如，有些物体在静止状态下可能难以检测到，但是随着车辆接近当前停放位置而移动时，这些物体仍然会在最后保存的占用网格中被检测到。

在503，接收可行驶空间。例如，接收可行驶空间作为神经网络(诸如卷积神经网络)的输出。在一些实施例中，随着新的传感器数据被捕获和分析，可行驶空间被连续更新。所接收的可行驶空间可以被分割成网格位置。在一些实施例中，除了可行驶空间，还接收其他基于视觉的测量。例如，检测并且接收诸如路缘石、车辆、行人、锥体等物体。

在505，接收辅助数据。例如，使用辅助数据更新和进一步细化占用网格的准确性。辅助数据可以包括来自诸如超声波传感器或雷达等传感器的数据。辅助数据还可以包括从其他车辆生成的占用数据。例如，车辆的网状网络可以基于占用数据的时间和位置共享占用数据。作为另一示例，带注释的地图数据可以用于增加占用网格。可以经由带注释的地图数据来加载诸如限速、车道、可行驶空间、交通模式等地图数据。

在一些实施例中，用于覆盖或修改导航的安全数据被接收作为辅助数据。例如，碰撞警告系统在505处输入数据以覆盖网格值以说明潜在的或未决的碰撞。在一些实施例中，辅助数据包括从用户提供的数据。例如，用户可以包括图像或视频以帮助标识目的地，诸如停车位置和/或取向。所接收的数据可以用于修改占用网格。

在507，更新占用网格。使用在503和/或505处接收的数据来更新占用网格。已更新网格可以包括与网格位置的概率值相对应的在每个网格位置处的值。这些值可以是与导航通过网格位置相关联的成本值。在一些实施例中，值还包括与网格位置是可行驶区域的概率相对应的可行驶值。在各种实施例中，可以保存和/或导出已更新占用网格。例如，网格数据可以上传到远程服务器或保存在本地。例如，当车辆停放时，可以保存网格数据并且稍后将其用于初始化网格。作为另一示例，网格数据可以与相关车辆(诸如具有路径或潜在路径相交的车辆)共享。

一旦占用网格被更新，过程循环回到503以用新接收的数据连续更新占用网格。例如，当车辆沿路径导航时，接收新的可行驶和/或辅助数据以更新占用网格。新更新的网格可以用于细化和/或更新用于自动导航的目标路径。例如，先前的空白空间现在可以被阻塞。类似地，先前被阻塞的空间可以是开放的。

图6是示出用于自动导航到目的地目标的过程的实施例的流程图。图6的过程可以用于使用所确定的规划目标从车辆的当前位置向目的地目标位置导航车辆。在各种实施例中，导航由车辆控制器使用车辆致动器自动执行以修改车辆的转向和速度。图6的过程实现多重安全检查以提高车辆导航的安全性。安全检查允许终止和/或修改导航。例如，可以实现虚拟心跳，虚拟心跳要求用户连续保持与车辆的联系以确认用户正在监测车辆的进度。在一些实施例中，导航利用路径目标来沿到目的地目标的最优路径导航车辆。路径目标可以被接收为路径基元(诸如弧线)、沿所选择的路径的一组点和/或另一种形式的路径基元。在一些实施例中，图6的过程在图1的105和/或图3的311处执行。在一些实施例中，该过程使用图7的自主车辆系统来执行。

在一些实施例中，图6的过程可以由用户使用以远程控制车辆。例如，用户可以经由车辆调节来控制车辆的转向角、方向和/或速度以远程控制车辆。当用户远程控制车辆时，安全检查被连续执行，安全检查可以覆盖和/或修改用户控制。例如，如果检测到物体或与远程用户联系丢失，则可以停止车辆。

在601，确定车辆调节。例如，确定车辆速度和转向调节以将车辆保持在路径目标上。在一些实施例中，车辆调节由诸如图7的车辆控制器707等车辆控制器确定。在一些实施例中，车辆控制器确定用于控制车辆的距离、速度、取向和/或其他驾驶参数。在一些实施例中，最大车辆速度被确定并且用于限制车辆速度。可以强制执行最大速度以增加导航的安全性和/或允许用户有足够的反应时间来终止召唤功能。

在603，调节车辆以保持其沿路径目标的路线。例如，实现在601处确定的车辆调节。在一些实施例中，诸如图7的车辆致动器713等车辆致动器实现车辆调节。车辆致动器调节车辆的转向和/或速度。在各种实施例中，所有调节都被记录并且可以上传到远程服务器以供以后查看。例如，在安全问题的情况下，可以检查车辆驱动、路径目标、目的地位置、当前位置、行驶速度和/或其他驾驶参数以标识潜在的改进区域。

在605，根据车辆调节操作车辆并且监测车辆的操作。例如，车辆按照在603处应用的车辆调节所指示的那样操作。在各种实施例中，车辆的操作被监测以强制执行安全性、舒适性、性能、效率和其他操作参数。

在607，确定是否检测到障碍物。在检测到障碍物的情况下，过程继续到611。在没有检测到障碍物的情况下，过程继续到605，在605，继续监测车辆的操作。在一些实施例中，障碍物由碰撞或物体传感器检测，诸如超声波传感器。在一些实施例中，障碍物可以经由网络接口被通信。例如，可以共享和接收由另一辆车检测到的障碍物。在各种实施例中，检测到的障碍物可以用于通知自主车辆系统的其他部件，诸如与占用网格生成相关的部件，但也在导航部件处接收以允许车辆立即针对检测到的障碍物进行调节。

在609，确定与用户的联系是否丢失。在与用户的联系丢失的情况下，过程继续到611。在与用户的联系没有丢失的情况下，过程继续到605，在605，继续监测车辆的操作。在一些实施例中，需要与用户连续联系以激活自动导航。例如，从用户发送虚拟心跳。心跳可以从用户的智能电话设备或其他适当设备(诸如密钥卡)发送。在一些实施例中，只要用户激活虚拟心跳，虚拟心跳就被接收并且联系就不会丢失。响应于用户不再发送虚拟心跳，与用户的联系被视为丢失并且车辆的导航在611处做出适当的响应。

在一些实施例中，只要用户与心跳开关、按钮或其他用户接口设备连续联系，虚拟心跳就能够被实现(并且被连续发送以保持联系)。一旦用户与适当的用户界面元素断开联系，虚拟心跳就不再被传输并且联系丢失。

在611，覆盖导航。响应于检测到障碍物和/或与用户的联系丢失，自动导航被覆盖。例如，如果车辆以低速行驶，则车辆可以立即停车。如果车辆以更高速度行驶，则车辆将安全停车。安全停车可能需要逐渐制动并且确定安全停车位置，诸如路边或停车位。在各种实施例中，覆盖导航可能需要用户主动继续自动导航。在一些实施例中，一旦检测到的障碍物不再存在，就恢复覆盖导航。

在一些实施例中，在检测到障碍物覆盖导航的情况下，使用新路径将车辆改道至目的地。例如，确定能够避开检测到的障碍物的新路径目标。在各种实施例中，使用检测到的障碍物更新占用网格，并且使用已更新占用网格来确定新的路径目标。一旦确定了可行的新路径，导航就可以在适当的时候继续，例如，一旦重新建立联系。在一些实施例中，当导航被覆盖时，确定新路径。例如，当联系丢失时，重新确认到目的地的路径。如果适当，则可以使用现有路径，也可以选择新路径。在各种实施例中，如果找不到可行的路径，则车辆保持停止。例如，车辆被完全阻塞。

图7是示出用于将车辆自动导航到目的地目标的自主车辆系统的实施例的框图。自主车辆系统包括可以一起使用以将车辆自动导航到目标地理位置的不同部件。在所示示例中，自主车辆系统包括车载部件700、远程接口部件751和导航服务器761。车载部件700是安装在车辆上的部件。远程接口部件751是可以远离车辆使用以自动导航车辆的一个或多个远程部件。例如，远程接口部件751包括在智能电话设备上运行的智能电话应用、遥控钥匙、诸如网站等用于控制车辆的GUI、和/或另一远程接口部件。导航服务器761是用于促进导航特征的可选服务器。导航服务器761是远程服务器并且可以用作远程云服务器和/或存储装置。在一些实施例中，图7的自主车辆系统用于实现图1至图6的过程以及与图8至图9的用户界面相关联的功能。

在所示示例中，车载部件700是自主车辆系统，该自主车辆系统包括视觉传感器701、感知模块703、路径规划模块705、车辆控制器707、附加传感器709、安全控制器711、车辆致动器713和网络接口715。在各种实施例中，不同的部件被通信地连接。例如，来自视觉传感器701和附加传感器709的传感器数据被馈送到感知模块703。感知模块703的输出被馈送到路径规划模块705。路径规划模块705的输出和来自附加传感器709的传感器数据被馈送到车辆控制器707。在一些实施例中，车辆控制器707的输出是车辆控制命令，该车辆控制命令被馈送到车辆致动器713以控制车辆的操作，诸如车辆的速度、制动和/或转向等。在一些实施例中，来自附加传感器709的传感器数据被馈送到车辆致动器713以执行附加安全检查。在各种实施例中，安全控制器711连接到一个或多个部件，诸如感知模块703、车辆控制器707和/或车辆致动器713，以在每个模块处实现安全检查。例如，安全控制器711可以从附加传感器709接收附加传感器数据以覆盖自动导航。

在各种实施例中，传感器数据、机器学习结果、感知模块结果、路径规划结果、安全控制器结果等可以经由网络接口715发送到导航服务器761。例如，传感器数据可以经由网络接口715传输到导航服务器761以收集训练数据以提高车辆的性能、舒适度和/或安全性。在各种实施例中，网络接口715用于与导航服务器761通信、拨打电话、发送和/或接收文本消息、以及基于车辆的操作来传输传感器数据、以及其他原因。在一些实施例中，车载部件700可以视情况而包括更多的或更少的部件。例如，在一些实施例中，车载部件700包括图像预处理器(未示出)以增强传感器数据。作为另一示例，图像预处理器可以用于归一化图像或变换图像。在一些实施例中，在预处理步骤期间去除或减少噪声、失真和/或模糊。在各种实施例中，图像被调节或归一化以改进机器学习分析的结果。例如，图像的白平衡被调节以考虑不同照明操作条件，诸如日光、晴天、阴天、黄昏、日出、日落和夜间条件等。作为另一示例，用鱼眼镜头捕获的图像可以被扭曲并且图像预处理器可以被用于变换图像以去除或修改扭曲。在各种实施例中，车载部件中的一个或多个部件可以分布到诸如导航服务器761等远程服务器。

在一些实施例中，视觉传感器701包括一个或多个视觉传感器。在各种实施例中，视觉传感器701可以在车辆的不同位置固定到车辆，和/或定向在一个或多个不同方向上。例如，视觉传感器701可以在前向、后向、侧向等方向上固定到车辆的前部、侧面、后部和/或车顶等。在一些实施例中，视觉传感器701是诸如高动态范围摄像头等图像传感器。例如，高动态范围的前置摄像头捕获车辆前方的图像数据。在一些实施例中，车辆附有用于捕获数据的多个传感器。例如，在一些实施例中，八个环绕摄像头固定到车辆并且提供车辆周围的360度可见度，范围可达250米。在一些实施例中，摄像头传感器包括宽前摄像头、窄前摄像头、后视摄像头、前视侧摄像头和/或后视侧摄像头。各种摄像头传感器用于捕获车辆周围的环境，并且捕获到的图像被提供用于深度学习分析。

在一些实施例中，视觉传感器701没有安装到车载部件700的车辆。例如，视觉传感器701可以安装在相邻的车辆上和/或固定到道路或环境，并且被包括作为用于捕获传感器数据的学习系统。在一些实施例中，视觉传感器701包括捕获车辆行驶的路面的一个或多个摄像头。例如，一个或多个前置和/或立柱摄像头捕获车辆行驶的车道的车道标记。视觉传感器701可以包括能够捕获静止图像和/或视频的图像传感器。数据可以在一段时间内捕获，诸如在一段时间内捕获的数据序列。

在一些实施例中，感知模块703用于分析传感器数据以生成车辆周围的环境的表示。在一些实施例中，感知模块703利用经训练机器学习网络来生成占用网格。感知模块703可以利用深度学习网络以将包括来自视觉传感器701和/或附加传感器709的数据的传感器数据作为输入。感知模块703的深度学习网络可以是人工神经网络，诸如卷积神经网络(CNN)，人工神经网络在诸如传感器数据等输入上被训练并且其输出被提供给路径规划模块705。作为一个示例，输出可以包括车辆周围的环境的可行驶空间。在一些实施例中，感知模块703接收至少传感器数据作为输入。附加输入可以包括描述车辆周围的环境的场景数据和/或车辆规范，诸如车辆的操作特性。场景数据可以包括描述车辆周围的环境的场景标签，诸如下雨、潮湿道路、下雪、泥泞、高密度交通、高速公路、城市、学校区域等。在一些实施例中，感知模块7031在图1的103、图3的305和/或309、图4的411和/或图5的过程处被利用。

在一些实施例中，路径规划模块705是用于选择最优路径以将车辆从一个位置导航到另一位置的路径规划部件。路径规划部件可以利用占用网格和成本函数来选择最优路线。在一些实施例中，潜在路径由一个或多个路径基元(诸如弧线基元)组成，该路径基元对车辆的操作特性进行建模。在一些实施例中，路径规划模块705在图1的步骤103和/或图3的步骤309处被利用。在各种实施例中，与诸如感知模块703和车辆控制器707等其他部件相比，路径规划模块705以较慢频率运行或较少被更新。

在一些实施例中，车辆控制器707用于处理路径规划模块705的输出并且将所选择的路径转换成车辆控制操作或命令。在一些实施例中，车辆控制器707用于控制车辆以自动导航到所选择的目的地目标。在各种实施例中，车辆控制器707可以通过向车辆致动器713传输指令来调节车辆的速度、加速度、转向、制动等。例如，在一些实施例中，车辆控制器707用于控制车辆以保持车辆在从当前位置到所选择的目的地的路径上的位置。

在一些实施例中，车辆控制器707用于控制车辆照明，诸如刹车灯、转向灯、前灯等。在一些实施例中，车辆控制器707用于控制车辆音频条件，诸如车辆的音响系统、播放音频警报、启用麦克风、启用喇叭等。在一些实施例中，车辆控制器707用于控制包括警告系统在内的通知系统以向驾驶员和/或乘客通知驾驶事件，诸如潜在碰撞或接近预定目的地。在一些实施例中，车辆控制器707用于调节诸如车辆的传感器701等传感器。例如，车辆控制器707可以用于改变一个或多个传感器的参数，诸如修改取向、改变输出分辨率和/或格式类型、增加或减少捕获速率、调节所捕获的动态范围、调节摄像头的焦点、启用和/或禁用传感器等。

在一些实施例中，除了视觉传感器701，附加传感器709还包括一个或多个其他传感器。在各种实施例中，附加传感器709可以固定到车辆、在车辆的不同位置、和/或定向在一个或多个不同方向上。例如，附加传感器709可以在前向、后向、侧向等方向上固定到车辆的前部、侧面、后部和/或车顶等。在一些实施例中，附加传感器709包括雷达、音频、LiDAR、惯性、里程计、位置和/或超声波传感器等。超声波和/或雷达传感器可以用于捕获周围细节。例如，十二个超声波传感器可以固定到车辆以检测硬物体和软物体。在一些实施例中，前向雷达用于捕获周围环境的数据。在各种实施例中，尽管有大雨、大雾、灰尘和其他车辆，雷达传感器仍能够捕获周围的细节。各种传感器用于捕获车辆周围的环境，并且捕获到的图像被提供用于深度学习分析。

在一些实施例中，附加传感器709没有安装到车载部件700的车辆。例如，附加传感器709可以安装在相邻车辆上和/或固定到道路或环境，并且被包括作为用于捕获传感器数据的自主车辆系统。在一些实施例中，附加传感器709包括捕获车辆行驶的路面的一个或多个非视觉传感器。在一些实施例中，附加传感器709包括位置传感器，诸如用于确定车辆位置和/或位置变化的全球定位系统(GPS)传感器。

在一些实施例中，安全控制器711是用于对车载部件700实现安全检查的安全部件。在一些实施例中，安全控制器711从视觉传感器701和/或附加传感器709接收传感器输入。如果检测到物体和/或碰撞很可能发生，则安全控制器711可以向不同部件通知立即发生的未决安全问题。在一些实施例中，安全控制器711能够中断和/或增强感知模块703、车辆控制器707和/或车辆致动器713的结果。在一些实施例中，安全控制器711用于确定如何响应检测到的安全问题。例如，在低速时，车辆可以立即停车，但在高速时，车辆必须安全地减速并且停在安全位置。在各种实施例中，安全控制器711与远程接口部件751通信以检测是否在车载部件700和远程接口部件751的用户之间建立实时连接。例如，安全控制器711可以监测来自远程接口部件751的虚拟心跳并且在不再检测到虚拟心跳的情况下，可以触发安全警报以终止或修改自动导航。在一些实施例中，图6的过程至少部分由安全控制器711实现。

在一些实施例中，车辆致动器713用于实现车辆的特定操作控制。例如，车辆致动器713发起车辆速度和/或转向的改变。在一些实施例中，车辆致动器713向驱动逆变器和/或转向齿条发送操作命令。在各种实施例中，在检测到潜在碰撞的情况下，车辆致动器713基于来自附加传感器709和/或安全控制器711的输入来实现安全检查。例如，车辆致动器713使车辆立即停车。

在一些实施例中，网络接口715是用于发送和/或接收包括语音数据在内的数据的通信接口。在各种实施例中，网络接口715包括蜂窝或无线接口，用于与远程服务器接口、连接和进行语音呼叫、发送和/或接收文本消息、传输传感器数据、接收对感知模块的更新(包括已更新机器学习模型)、检索环境条件(包括天气条件和预报、交通条件、交通规则和规定等)。例如，网络接口715可以用于接收传感器701、感知模块703、路径规划模块705、车辆控制器707、附加传感器709、安全控制器711和/或车辆致动器713的指令和/或操作参数的更新。感知模块703的机器学习模型可以使用网络接口715更新。作为另一示例，网络接口715可以用于更新视觉传感器701的固件和/或路径规划模块705的操作目标，诸如加权成本。作为又一示例，网络接口715可以用于将占用网格数据传输到导航服务器761以与其他车辆共享。

在一些实施例中，远程接口部件751是可以远离车辆使用以自动导航车辆的一个或多个远程部件。例如，远程接口部件751包括在智能电话设备上运行的智能电话应用、遥控钥匙、诸如网站等用于控制车辆的GUI、和/或另一远程接口部件。用户可以发起召唤功能以将车辆自动导航到由地理位置指定的所选择的目的地目标。例如，用户可以让车辆找到并且跟随用户。作为另一示例，用户可以使用远程接口部件751指定停车位置，并且车辆将自动导航到指定位置或安全到达指定位置的最近位置。

在一些实施例中，导航服务器761是可选的远程服务器并且包括远程存储装置。导航服务器761可以存储占用网格和/或占用数据，占用网格和/或占用数据可以在稍后用于初始化新生成的占用网格。在一些实施例中，导航服务器761用于跨不同车辆同步占用数据。例如，可以使用其他车辆生成的占用数据发起或更新在具有新占用数据的区域中的车辆。在各种实施例中，导航服务器761可以经由网络接口715与车载部件700通信。在一些实施例中，导航服务器761可以与远程接口部件751通信。在一些实施例中，车载部件700中的一个或多个部件或部分部件在导航服务器761上实现。例如，导航服务器761可以执行诸如感知处理和/或路径规划等处理，并且向车载部件700提供所需要的结果。

图8是示出用于将车辆自动导航到目的地目标的用户界面的实施例的图。在一些实施例中，图8的用户界面用于发起和/或监测图1至图6的过程。在一些实施例中，图8的用户界面是智能电话应用的用户界面和/或图7的远程界面部件751。在一些实施例中，与图8相关联的功能在图2的203处被发起以将车辆导航到用户的位置。例如，与智能电话设备上的用户界面交互的用户激活“找到我”动作以将车辆导航到用户的智能电话设备的位置，该位置准确地接近用户的位置。在所示示例中，用户界面800包括用户界面部件地图801、对话窗口803、车辆定位器元素805、用户定位器元素809和有效召唤区域元素807。

在一些实施例中，用户界面800显示地图801，其中车辆位置在车辆定位器元素805处指示并且用户位置在用户定位器元素809处指示。当自动导航到用户时车辆可以穿越的区域由有效召唤区域元素807指示。在各种实施例中，有效召唤区域元素807是显示允许车辆行驶的最大距离的圆圈。在一些实施例中，有效召唤区域元素807考虑从用户到车辆的视线，并且仅具有视线的区域被允许用于自动导航。

在所示示例中，地图801是卫星地图，尽管可以使用替代地图。在一些实施例中，地图801可以被操纵以查看不同位置，例如，通过平移或缩放地图801。在各种实施例中，地图801包括三维视图(未示出)以允许用户选择不同高度，诸如停车场的不同楼层。例如，具有不同高度的可行驶区域的区域会被突出显示，并且可以在分解视图中查看。

在一些实施例中，车辆定位器元素805显示车辆的位置和取向(或航向)两者。例如，车辆面向的方向由车辆定位器元素805的箭头所指向的方向指示。用户定位器元素809指示用户的位置。在一些实施例中，其他潜在乘客的位置也被显示，例如，以另一种颜色(未示出)。在一些实施例中，地图801以车辆定位器元素805为中心。在各种实施例中，其他数据可以用作地图801的中心，诸如车辆的原始(或起始)位置、用户的当前位置、用户的当前位置的最接近的可到达位置等。

在所示示例中，对话窗口803包括诸如“按下并且保持以开始，或者轻击地图以选择目的地”等文本描述以通知用户如何激活召唤特征。在一些实施例中，默认动作是将车辆导航到用户。默认动作通过选择作为对话窗口803的一部分的“找到我”按钮来激活。在一些实施例中，一旦“找到我”动作被启用，所选择的路径就显示在用户界面(图8中未示出)上。当车辆导航到用户的位置时，车辆定位器元素805被更新以反映车辆的新位置。类似地，随着用户移动，用户定位器元素809被更新以反映用户的新位置。在一些实施例中，轨迹示出了用户位置的变化。在各种实施例中，用户必须与虚拟心跳按钮保持联系以允许自动导航继续。一旦用户松开虚拟心跳按钮，自动导航就会停止。在一些实施例中，心跳按钮是对话窗口803的“找到我”按钮。在一些实施例中，单独的向前和向后按钮用作虚拟心跳按钮以分别确认向前和向后方向上的自动导航(未示出)。

在一些实施例中，附加“查找”功能(未示出)可以将车辆自动导航到所选择的人员的位置，例如，以接载与用户不同的乘客。在各种实施例中，可以显示(未示出)可以被选择作为目的地目标的预先标识的位置。例如，位置可以被预先标识为用于接载乘客的有效停车或等候位置。

图9是示出用于将车辆自动导航到目的地目标的用户界面的实施例的图。在一些实施例中，图9的用户界面用于发起和/或监测图1-6的过程。在一些实施例中，图9的用户界面是智能电话应用的用户界面和/或图7的远程界面部件751。在一些实施例中，与图9相关联的功能在图2的201处被发起以将车辆导航到由用户指定的位置。例如，与智能电话设备上的用户界面交互的用户会放下固定件以指定用于车辆导航到的目的地目标。在所示示例中，用户界面900包括用户界面部件地图901、对话窗口903、车辆定位器元素905、用户定位器元素909、有效召唤区域元素907和目的地目标元素911。

在一些实施例中，用户界面900显示地图901，其中车辆位置在车辆定位器元素905处指示并且用户位置在用户定位器元素909处指示。当自动导航到用户时车辆可以穿越的区域由有效召唤区域元素907指示。在各种实施例中，有效召唤区域元素907是显示允许车辆行驶的最大距离的圆圈，并且用户可以仅选择有效召唤区域元素907内的目的地目标。在一些实施例中，有效召唤区域元素907考虑从用户到车辆的视线，并且仅具有视线的区域被允许用于自动导航。

在所示示例中，地图901是卫星地图，尽管可以使用替代地图。在一些实施例中，地图901可以被操纵以查看不同位置，例如，通过平移或缩放地图901。在各种实施例中，地图901包括三维视图(未示出)以允许用户选择不同高度，诸如停车场的不同楼层。例如，具有不同高度的可行驶区域的区域会被突出显示，并且可以在分解视图中查看以选择目的地目标。

在一些实施例中，车辆定位器元素905显示车辆的位置和取向(或航向)两者。例如，车辆面向的方向由车辆定位器元素905的箭头所指向的方向指示。用户定位器元素909指示用户的位置。在一些实施例中，其他潜在乘客的位置也被显示，例如，以另一种颜色(未示出)。在一些实施例中，地图901以车辆定位器元素905为中心。在各种实施例中，其他数据可以用作地图901的中心，诸如车辆的原始(或起始)位置、用户的当前位置、用户的当前位置的最接近的可到达位置、由目的地目标元素911表示的所选择的目的地目标等。

在所示示例中，对话窗口903包括诸如“按下并且保持以开始，或者轻击地图以选择目的地”等文本描述以通知用户如何激活召唤功能。用户可以通过在地图901上选择有效召唤区域元素907内的位置来选择目标目的地。目的地目标元素911显示在所选择的有效位置上。在所示示例中，固定件图标用于目的地目标元素911。在一些实施例中，具有取向的图标(未示出)(诸如箭头或车辆图标)被用作目的地目标元素911。目的地目标元素911的图标可以被操纵以选择最终目的地取向。在各种实施例中，所选择的取向被验证以确认该取向是有效的。例如，在单向街道上可能不允许面向交通的目的地取向。为了清除与目的地目标元素911相关联的所选择的位置，用户可以选择对话窗口903的“清除固定件”对话框。为了发起自动导航，用户选择对话窗口903的“开始”按钮。在一些实施例中，一旦自动导航被启用，所选择的路径将显示在用户界面(图9中未示出)上。当车辆导航到目的地目标位置时，车辆定位器元素905被更新以反映车辆的新位置。类似地，随着用户移动，用户定位器元素909被更新以反映用户的新位置。在一些实施例中，轨迹示出了用户位置的变化。在各种实施例中，用户必须与虚拟心跳按钮保持联系以允许自动导航继续。一旦用户松开虚拟心跳按钮，自动导航就会停止。在一些实施例中，心跳按钮是对话窗口903的“开始”按钮。在一些实施例中，单独的向前和向后按钮用作虚拟心跳按钮以分别确认向前和向后方向上的自动导航(未示出)。

虽然为了清楚理解的目的已经对前述实施例进行了一些详细的描述，但是本发明不限于所提供的细节。有很多替代方式可以实现本发明。所公开的实施例是说明性的而非限制性的。

Claims (20)

1.一种系统，包括：

处理器，被配置为：

接收与由远离车辆的用户指定的目标相关联的地理位置的标识；

利用机器学习模型使用来自所述车辆的一个或多个传感器的传感器数据，来生成所述车辆周围的环境的至少一部分的表示；

使用所述车辆周围的所述环境的所述至少一部分的所生成的表示，来计算到与所接收的地理位置相对应的目标位置的路径的至少一部分；以及

基于所确定的路径和来自所述车辆的所述一个或多个传感器的至少一部分的已更新传感器数据，来提供用于自动导航所述车辆的至少一个命令；以及

存储器，耦合到所述处理器并且被配置为向所述处理器提供指令。

2.根据权利要求1所述的系统，其中由所述用户指定的所述目标是所述用户的移动设备的动态更新的当前位置。

3.根据权利要求1至2所述的系统，其中所述地理位置基于由所述用户的移动设备检测到的全球定位系统位置。

4.根据权利要求1所述的系统，其中由所述用户指定的所述目标指示所述车辆的目标取向。

5.根据权利要求1所述的系统，其中所述目标由所述用户在地图上指定。

6.根据权利要求1所述的系统，其中所述用户在有限地理区域内选择所述目标，所述有限地理区域与由所述用户利用以指定所述目标的设备的检测位置相距阈值距离内。

7.根据权利要求1所述的系统，其中所述用户在与所述车辆的当前位置相关联的有限地理区域内选择所述目标。

8.根据权利要求1所述的系统，其中用于所述用户指定所述目标的能力基于确定所述用户的设备的位置与所述车辆的当前位置相距阈值距离内而被启用。

9.根据权利要求1至8所述的系统，其中所述车辆的所述自动导航响应于确定没有从所述用户的设备接收到心跳信号而被退出。

10.根据权利要求1至8所述的系统，其中所述车辆的所述自动导航响应于使用超声波传感器检测到障碍物而被暂停。

11.根据权利要求1至10所述的系统，其中所述车辆的速度在所述自动导航期间被限制为等于或小于指定限值。

12.根据权利要求1至11所述的系统，其中所述目标位置基于所述用户的设备的周期性更新的地理位置被动态地更新。

13.根据权利要求1至12所述的系统，其中所述车辆的所述一个或多个传感器包括多个摄像头。

14.根据权利要求1至13所述的系统，其中所述环境的所述至少一部分的所述表示是使用辅助传感器数据生成的，所述辅助传感器数据使用以下一项或多项获取：超声波传感器或雷达传感器。

15.根据权利要求1至14所述的系统，其中所述处理器还被配置为接收与由所述用户指定的所述目标相关联的指定目标时间。

16.根据权利要求1至15所述的系统，其中所述车辆周围的所述环境的所述至少一部分的所述表示包括所述环境的所述一部分的三维表示。

17.根据权利要求1至16所述的系统，其中确定所述目标位置包括确定所述指定目标的所述地理位置是否是将要由所述车辆占据的有效位置。

18.根据权利要求1至17所述的系统，其中所述目标位置基于来自所述一个或多个传感器的所述传感器数据来确定。

19.一种方法，包括：

接收与由远离车辆的用户指定的目标相关联的地理位置的标识；

利用神经网络使用来自所述车辆的一个或多个传感器的传感器数据，来生成所述车辆周围的环境的至少一部分的表示；

使用所述车辆周围的所述环境的所述至少一部分的所生成的表示，来计算到与所接收的地理位置相对应的目标位置的路径的至少一部分；以及

基于所确定的路径和来自所述车辆的所述一个或多个传感器的至少一部分的已更新传感器数据，来提供用于自动导航所述车辆的至少一个命令。

20.一种计算机程序产品，所述计算机程序产品被实施在非暂态计算机可读存储介质中，并且所述计算机程序产品包括用于以下项的计算机指令：

接收与由远离车辆的用户指定的目标相关联的地理位置的标识；

利用神经网络使用来自所述车辆的一个或多个传感器的传感器数据，来生成所述车辆周围的环境的至少一部分的表示；

使用所述车辆周围的所述环境的所述至少一部分的所生成的表示，来计算到与所接收的地理位置相对应的目标位置的路径的至少一部分；以及

基于所确定的路径和来自所述车辆的所述一个或多个传感器的至少一部分的已更新传感器数据，来提供用于自动导航所述车辆的至少一个命令。

Images