CN110023178A - 使用意图信号指导目的地附近的自主车辆 - Google Patents

使用意图信号指导目的地附近的自主车辆 Download PDF

Info

Publication number
CN110023178A
CN110023178A CN201780073523.0A CN201780073523A CN110023178A CN 110023178 A CN110023178 A CN 110023178A CN 201780073523 A CN201780073523 A CN 201780073523A CN 110023178 A CN110023178 A CN 110023178A
Authority
CN
China
Prior art keywords
vehicle
instruction
signal
signals
personal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780073523.0A
Other languages
English (en)
Other versions
CN110023178B (zh
Inventor
S·M·赫兹
S·I·科恩
S·B·古奇
W·金茨勒
K·Y·巴克
J·J·万德曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Computer Inc filed Critical Apple Computer Inc
Priority to CN202210597717.3A priority Critical patent/CN115027451A/zh
Publication of CN110023178A publication Critical patent/CN110023178A/zh
Application granted granted Critical
Publication of CN110023178B publication Critical patent/CN110023178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/06Automatic manoeuvring for parking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/10Interpretation of driver requests or demands
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0285Parking performed automatically
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3605Destination input or retrieval
    • G01C21/362Destination input or retrieval received from an external device or application, e.g. PDA, mobile phone or calendar application
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3664Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3679Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G01C21/3685Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities the POI's being parking facilities
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/215Selection or confirmation of options
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle for navigation systems

Abstract

本发明公开的是从被授权提供关于车辆移动的指导的个人来检测可用于确定车辆朝向目的地附近的特定停车点的路径的信号。至少部分地基于所述信号和与所述车辆的所述外部环境有关的数据集,识别要实现沿所述路径继续进行的一个或多个车辆移动。将指令传输至所述车辆的运动控制子系统以发起所述车辆移动之一。

Description

使用意图信号指导目的地附近的自主车辆
技术领域
本公开整体涉及用于使用来自乘车人的各种类型信号来控制自主或部分自主车辆的运动的系统和算法。
背景技术
研究和开发日益专注的机动车辆是能够感知其环境并且在很少或没有来自乘车人的持续输入的情况下导航到目的地,并且可因此被称为“自主”或“自动驾驶”车辆。考虑到在现实世界环境中通常可用于车辆轨迹的多种选择,关于选择车辆轨迹的乘车人输入或指导(不需要传统的转向、制动、加速等)对于此类车辆的运动控制部件可能是非常有价值的。然而,为此类指导提供直观且易于使用的界面,尤其是在诸如可能没有详细和/或准确地图数据可用的停车场的环境中,可能存在不平凡的挑战。
发明内容
本发明描述了用于利用意图信号指导目的地附近的自主车辆或半自主车辆的方法和装置的各种实施方案。在至少一些实施方案中,一种方法可包括在使用一个或多个计算设备实现的导航管理器处获得车辆的目的地(诸如大型零售店、综合办公大楼、购物中心等)的指示,其中目的地附近包括许多停车点(诸如停车空间)。可识别朝向目的地的路线,并且可到达目的地附近。此时,可能需要关于车辆实际停车点的更精细的指导。该方法还可包括使用一个或多个传感器来检测由被授权或允许提供关于车辆移动的指导的个人生成的一个或多个信号。在车辆包括常规方向盘的等同物的实施方案中,假定被授权个人为当前不使用方向盘操纵车辆的人。信号可能可用于确定对应于个人意图或目标、朝向目的地附近的特定车辆停车点的路径。可经由与车辆转向子系统机械脱离的传感器获得信号中的至少一些,因此,例如,如果车辆包括方向盘或类似转向部件,可使用未物理附接到方向盘或转向部件或其部分的传感器设备检测此类信号。
在各种实施方案中,可以单独地或组合地使用多种信号模态和/或界面中的任何者来发现被授权个人的意图。例如,在一些情况下,个人可朝向停车区域中的预期停车空间打手势,并且将手势与语音命令“停在那里”组合。在另一个实施方案中,个人可使用触敏界面(诸如移动电话或平板设备的屏幕)来标记预期停车点、追踪朝向特定区域或停车点的路径或经由虚拟操纵杆界面指示预期运动方向。在一些实施方案中,信号可包括指示可从车辆看到的地标或标志的语音命令,诸如“停在园艺用品入口附近”或“停在自助餐厅入口附近”。至少部分地基于所检测到的信号并且至少部分地基于指示车辆外部环境的数据集(诸如经由车辆的一个或多个外部取向的相机所收集的数据),可由导航管理器来确定应当能够沿着朝向预期停车点的路径进行的一个或多个车辆移动。该方法还可包括将第一指令传输至车辆的一个或多个运动控制子系统(诸如加速子系统、制动子系统、操纵/转向子系统等)以发起一个或多个车辆移动中的至少第一车辆移动。
在一些实施方案中,从个人检测到的信号(其在本文中可称为意图信号)可指示个人希望执行的任务或活动。例如,如果个人在大型零售商店附近说“我想为我的花园购买一些植物”,那么导航管理器可以确定该车辆应当优选地停放在标记为“园艺”或“园艺用品”的入口附近。在一个实施方案中,对应于一个或多个目的地,可利用能够由导航管理器映射到相应组的停车点的若干任务或活动来填充多选项菜单的相应元素。此类多选项菜单可例如经由基于文本的界面的下拉菜单提供给个人,下拉菜单可由个人用于向导航管理器提供会话级指导。在一个示例具体实施中,使用基于两级文本的导航程序的第一级,个人可首先指示“让我们前往大型零售店<LRS>”的等同物,然后使用第二级,根据导航管理器可用的关于个人关于商店的可能停车点偏好的信息,可从如下选项做出选择:“停在<主要入口>附近”、“停在<园艺入口>附近”、“停在<电器提货入口>附近”等。在一些实施方案中,可从地图绘制应用或基于使用外部取向的相机或其他传感器对附近的分析来获得关于可能的停车点类别的信息。在各种实施方案中,响应于检测到已经到达目的地附近,导航管理器可例如通过导致生成类似于“我们已接近商店。我应该停在主入口附近吗?”的语音信号来从被授权个人请求输入。在一些实施方案中,如果个人未能及时提供输入,则可使用默认标准来选择停车点。
根据一个实施方案,系统可包括一个或多个传感器设备和与车辆相关联的导航管理器。导航管理器可使用一个或多个传感器设备来检测由被允许提供有关车辆移动的指导的个人生成的一个或多个信号。该信号可能可用于确定朝向目的地附近的多个停车点中的特定停车点的路径。基于对与车辆外部环境有关的信号和数据的分析,可识别使车辆应当能够沿着朝向停车点的路径移动的一个或多个车辆移动。导航管理器可将一个或多个运动指令传输到车辆的运动控制子系统,以发起车辆移动中的至少一个。
根据一些实施方案,非暂态计算机可访问存储介质可存储程序指令,该指令在一个或多个处理器上执行时使用一个或多个传感设备检测由被允许提供关于车辆移动的指导的个人生成的一个或多个信号。该信号可能可用于确定朝向目的地附近的多个停车点中的特定停车点的路径。基于对与车辆外部环境有关的信号和数据的分析,可识别使车辆应当能够沿着朝向停车点的路径移动的一个或多个车辆移动。可将运动指令传输至车辆的运动控制子系统以发起车辆移动中的至少一个。
附图说明
图1示出了根据至少一些实施方案的示例系统环境,其中可至少部分地通过乘车人提供的意图信号来指导自主车辆在目的地附近的移动。
图2示出了根据至少一些实施方案的示例停车场,在该停车场内可由自主车辆的部件基于意图信号做出导航决策。
图3示出了根据至少一些实施方案的在自主车辆的导航管理器和乘车人之间的示例交互。
图4示出了根据至少一些实施方案包括多个传感器的示例车辆环境,该多个传感器可收集可被分析以确定被授权提供导航指导的个人的预期任务或目标的数据。
图5示出了根据至少一些实施方案的基于触摸的示例界面,该界面可供乘车人用于追踪朝向行程终点的详细路径。
图6示出了根据至少一些实施方案的基于触摸的示例虚拟操纵杆界面,该界面可被乘车人用来指示车辆相对于其当前位置的期望移动。
图7示出了根据至少一些实施方案的基于文本的示例界面,可基于任务语境预先填充该界面的条目以提供导航指导。
图8示出了根据至少一些实施方案的示例场景,其中使用手持式计算设备或电话所做的手势可用于提供导航指导。
图9示出了根据至少一些实施方案的示例场景,其中由车辆外部的被授权个人提供的手势或触摸信号可用于指导对车辆位置的微小调整。
图10示出了根据至少一些实施方案的导航管理器自治的示例谱。
图11是示出了根据至少一些实施方案可在能够经由意图信号进行车辆导航指导的系统处执行的操作的各方面的流程图。
图12是示出了可在至少一些实施方案中使用的示例计算设备的框图。
尽管本文通过举例的方式针对若干实施方案和说明性附图描述了实施方案,但是本领域技术人员将认识到,实施方案不限于所描述的实施方案或附图。应当理解,附图和对其的详细描述不旨在将实施方案限制为所公开的特定形式,而相反,本发明旨在涵盖落入所附权利要求书的实质和范围内的所有修改、等同物和另选方案。本文所使用的标题仅用于组织目的,并不旨在用于限制说明书或权利要求书的范围。如在整个本专利申请中所使用的那样,以允许的意义(即,意味着具有可能性)而非强制的意义(即,意味着必须)使用字词“可”。类似地,字词“包括”意味着包括但不限于。在权利要求书中使用时,术语“或”被用作包含性的或,而不是排他性的或。例如,短语“x、y或z中的至少一个”表示x、y和z中的任何一个以及它们的任何组合。
具体实施方式
图1示出了根据至少一些实施方案的示例系统环境,其中可至少部分地通过乘车人提供的意图信号来指导自主车辆在目的地附近的移动。如图所示,系统100包括:自主车辆的导航管理器150;传感器125,其用于检测由个人诸如乘车人生成的各种模态(诸如手势、语音命令等)的信号;数据源115,其提供关于车辆的外部环境的信息;一个或多个通信设备120;和车辆的各种运动控制子系统170(诸如用于车辆制动、转弯或加速的子系统)。在所示实施方案中,导航管理器可包括一个或多个计算设备的部分或全部。在高等级处,除其他功能外,导航管理器150还可负责检测和解释来自被授权提供关于自主车辆移动的指导的一个或多个个人的各种类型的意图信号,并用于根据意图信号和其他输入数据至少在目的地附近(例如,在个人下车后要进入的大楼附近的停车场中)识别或选择车辆要采取的路径。在自主或部分自主车辆的语境中,如本文对术语的使用,意图信号是指由非驾驶人生成的信号,其指示与使用车辆进行的行程相关联的目标。意图信号在本文中也可称为意向信号。非驾驶人可被定义为当前不使用车辆的方向盘或其他传统控制机制的个人。在各种实施方案中,可经由与车辆的转向或其他控制子系统机械脱离的传感器设备或界面获得意图信号的至少一个子集。例如,如果车辆包括方向盘,可使用未物理附接到方向盘或其部分的传感器设备检测信号中的一些或全部。
关于车辆行程的目标或意图可使用各种信号类型和界面来指示,并且在不同实施方案中以各种不同的粒度等级来指示。例如,可通过语音命令、手势或注视、触敏图形用户界面、电话或其他手持式/便携式设备的移动的某种组合来指示个人的意图,以指示期望的移动方向等。在至少一个实施方案中,个人可指示个人希望或打算完成的任务或活动,并且导航管理器可将任务/活动转换成轨迹变化或车辆移动的序列以促进任务执行。传感器125和/或环境数据源中的各个项可包括例如摄像机和/或静态相机、深度传感器或相机、惯性传感器、电磁信号检测器、超声波信号检测器、雷达信号检测器、麦克风、遥控设备等。对于注视检测,除了静态相机或摄像机之外,在一些实施方案中还可使用非基于相机的光学传感器或EMG(肌电图)传感器。
根据至少一些实施方案,行程目的地的指示可由导航管理器150获得。例如,可经由语音命令、地图或GPS界面等指示街道地址或大型零售机构、医院、办公楼等的名称。关于目的地的信息可能足以利用用于自主车辆的一条或多条道路或高速公路来生成路线,从而使得车辆能够在没有实质指导的情况下到达附近(至少在一些情况下)。然而,目的地可具有与其相关联的众多潜在车辆停放点(例如,停车空间或停车车位),可能必须要在车辆到达目的地附近之后做出应当精确地为车辆选择哪个停车点的最终决策。例如,如果目的地是大型零售店、火车站或机场,则可能有若干不同的入口,其中只有几个可能适合乘车人(考虑到他们的目标和附近停车或交通的当前状态)。在各种场景中,例如,因为停车点的占用情况动态变化和/或因为个人意图动态改变,因此在到达目的地附近之前可能无法选择特定停车点(或甚至应当识别出特定停车点的目的地附近的一般子区域)。在至少一个实施方案中,当车辆接近目的地时,导航管理器150可检测到已经达到目的地附近,并且请求被授权乘车人提供关于优选的停车点或意图的某种输入。
使用传感器设备125可检测由被允许提供有关车辆运动的指导的个人生成的一个或多个信号。要么可响应于来自导航管理器的请求、要么根据个人自己的决断来生成信号。信号可能可由导航管理器150使用,以在所示实施方案中识别朝向特定车辆停车点(例如,所选择的大楼入口附近的特定停车空间)或一组停车点的潜在路径。例如,如果大型零售店有一个主入口,一个单独的园艺用品入口和另一个用于大型电器提货的单独入口,并且车辆的被授权乘车人指示打算购买园艺用品,则园艺入口附近的停车空间可能比靠近其他入口之一附近的停车空间更合适。至少部分地基于来自个人的信号和/或从环境数据源115获得的关于外部环境(诸如可能正在路上即将到达的车辆、占用的停车场等)收集的数据,可标识一个或多个车辆移动(例如,在当前方向继续移动、转弯等)以使得车辆能够沿所选择的路径行进。用于实现车辆运动的运动指令162可被传输至运动控制系统170中的一个或多个,从而导致车辆朝向特定停车点行进。
在所示实施方案中,导航管理器可包括许多子部件,包括例如身份验证器151、基于附近的交互发起器152、停车点选项发生器153、一个或多个意图信号解释器154、反馈/批准协调器155和/或指令发生器156。身份验证器151可负责确保仅使用由被授权个人生成的意图信号指导车辆的导航。在不同实施方案中可使用许多技术来识别被授权个人,包括例如生物测定信号、电子识别设备,诸如发射具有特定特性的电磁信号的密钥等。在一些实施方案中,可允许不止一个个人提供有关特定自主车辆的导航指导,并且身份验证器151可将相对优先级分配给不同个人,以使得在给定时间点,导航管理器能够解决来自多个个人的任何冲突意图信号。如下文更详细所述,在至少一个实施方案中,个人可从车辆外部提供意图信号(例如,略微调整车辆的位置以使得更好地与停车空间的边界对齐),并且身份验证器151可被设计成在此类实施方案中检查此类非乘车人的身份。
基于附近的交互发起器152可负责确定车辆何时到达目的地或目的地附近的阈值距离内,并请求被授权个人提供指示停车点偏好的意图信号。下面提供了可用于与个人交互以请求和/或接收意图信号的界面和信号模态的实施例。应当注意,在各种实施方案中,默认情况下,如果被授权个人未提供输入,则导航管理器可选择要用于选择停车点的方法。例如,在目的地是具有一个主入口和若干其他入口的大型零售店的情况下,默认情况下可选择主入口附近的停车空间。
在至少一个实施方案中,给定目的地诸如办公楼或零售店的一般指示,停车点选项发生器153可能能够填充可能的或类似的停车点的列表。此类列表可基于不同实施方案中的多种因素,包括例如与乘车人过去已执行的目的地相关联的各种任务。相对于具体的办公楼而言,在一个示例场景中,导航管理器可访问指示如下内容的记录:(a)特定入口E1在自助餐厅附近;(b)乘车人通常在自助餐厅用餐;和(c)当前时间大约对应于乘车人在最近的过去经常吃午餐的时间。考虑到该信息,选项发生器153可在乘车人可能感兴趣的停车点的列表中包括靠近E1的停车空间。在至少一些实施方案中,如下文进一步详细论述的,可在停车点选项发生器153的帮助下生成可用于指示乘车人意图的用于基于文本的界面的与语境相关的下拉菜单。
在所示的实施方案中,各种类型的信号,诸如手势、注视的变化、语音信号、基于触摸屏的信号等,可由个人单独或组合地使用以指示其关于车辆移动的意图。一个或多个意图信号解释器154可负责处理由传感器125提供的信息,实际上将所接收的信号信息转换成关于车辆的未来位置的近似目标。然后可将近似目标转换为特定的较低级运动指令162(例如,“将车辆向前移动M1米”,然后“右转并移动M2米”),其可由指令发生器156提供给控制子系统170。不同类型的信号(例如,手势对注视对语音对触摸屏信号)可被称为相应的信令模式或信号模态,并且分析来自个人的不同模态的信号组合以评估个人偏好或意向可被称为多模态信号分析;因此,类似于图1所示的系统也可被称为多模态信号分析系统。在一些实施方案中,可使用若干信令模式的组合来指示个人的意图——例如,语音命令“停在那里”可伴随有指示对应于词语“那里”的方向的手势。
在至少一些实施方案中,导航管理器150的反馈/批准协调器155可被配置为在至少一些运动指令162发出之前确定计划的运动是可接受的或者根据提供导航指导的个人的目标或意图来确定。反馈/批准协调器可例如实现为基于语音的助理,或使用显示设备来实现,在该显示设备上可显示提议的运动指令对车辆位置的影响。反馈/批准协调器155实际上可请求个人确认由导航管理器作出的关于车辆轨迹的各种决定。在一些情况下,个人的意图可能不明确或难以转换成特定的运动指令,并且反馈/批准协调器可尝试通过涉及到个人来消除选择中的歧义。例如,如果在停车场的两个不同标志(标志A和标志B)附近存在相应的未占用的停车空间,并且该个人已经做出可被解释为表示车辆应当在标志中的任一个附近停车的手势,则反馈/批准协调器155可生成查询“你的意思是‘停在标志A附近’还是‘停在标志B附近’”的逻辑等价表示。个人提供的反馈可用于选择在此类场景中由导航管理器发布的一组特定运动指令。
除了可用于检测乘车人生成的信号和环境数据源115的本地传感器125之外,导航管理器150还可利用所示实施方案中的一个或多个通信设备120,例如从各种远程数据库等获得数据。从远程源获得的此类数据可包括例如地图记录、本地交通法规的记录、乘车人执行的任务/活动的先前历史记录等,它们的任何组合可有助于在各种实施方案中确定车辆的运动指令选项。在一个实施方案中,通信设备120可用于在行程期间或在目的地附近与其他自主或部分自主车辆通信。例如,不同的自主车辆可以通过此类通信提供具有众多停车空间的停车区域的一部分的指示。
如前所述,各种模态的意图信号在涉及停车决策的场景中可能是有用的,尤其是在选择的停车空间与建筑物的入口/出口之间的距离可能很大的大型停车场中。图2示出了根据至少一些实施方案的示例停车场,在该停车场内可由自主车辆的部件基于意图信号做出导航决策。在所描绘的场景中,个人已使用目的地说明界面202(诸如基于文本的界面、基于语音的界面或基于地图的界面)指示自主车辆270要前进到公路“H1”上的名为“LargeRetailStore1”的商店。基于经由界面202提供的信息204,车辆270的导航管理器可因此已确定目的地附近,但不能仅仅基于该信息204选择应当将车辆开往的精确停车点(例如,停车空间)。图中示出了在车辆270沿公路H1接近LargeRetailStore1时其周围环境的简化俯视图290。
LargeRetailStore1具有停车场230,该停车场可被视为目的地附近的部分。在车辆270靠近停车场230时,一些停车空间被占用(由标签240指示),而其他停车空间220可用(诸如点220A、220B、220C和220D)。在所描绘的场景中,可使用两个入口/出口205A和205B从公路H1进入停车场230(和/或离开停车场)。
LargeRetailStore1大楼210具有若干入口/出口点:主要入口208、用于园艺用品的第二入口212,以及用于大型物品诸如电器提货的第三入口214。在所示实施方案中,自主车辆270的导航管理器可至少部分地基于从被授权提供导航指导的乘车人检测到的意图信号来选择特定的可用的停车空间220。例如,如果个人指示电器提货的意图,则可选择入口214附近的停车空间220A作为车辆270的停靠点,并且可采用路径280A到达停车空间220A。如果个人指示购买园艺用品的意图,可选择接近入口212的停车空间220B并采用路径280B。如果个人指示使用主要入口208的意图,可选择可用的停车空间220D并可采取路径280C。作为指示入口或出口的补充或替代,在一些实施方案中,导航管理器检测到的意图信号可指示建筑物的其他语义特征,诸如装载码头、轮椅坡道等。在一些情况下,可由个人使用自然语言短语诸如“人行道开始的地方”来表示特征。在至少一些实施方案中,在默认情况下,导航管理器可选择主要入口208作为最可能采用的入口,由此如果个人未提供指导,可选择接近主要入口的停车空间作为停车点。在一些实施方案中,可使用除接近入口之外的因素选择路径和停车点。例如,如果停车场230极其拥挤(例如,不只有车辆,而且有行人),因此预期离开停车场很繁琐,并且个人表示有兴趣能够迅速离开停车场,则可选择停车空间280C,因为其在潜在出口205B附近。个人可使用许多信号模态和/或信令界面中的任何者来提供意图信息,该意图信息可被导航管理器解释为选择指向所示实施方案中的适当停车点的路径,并且向车辆270的运动控制系统发出适当的较低级运动指令。除了意图信号自身之外,导航管理器还可以考虑车辆外部动态变化的环境——例如,如果出现其他车辆和/或行人挡住通往所选择的停车空间的所识别第一路径,则可选择不同的路径,或者如果有不同的停车空间可用(或者如果目标停车空间被占用),则可选择不同停车空间。
图3示出了根据至少一些实施方案,自主车辆的导航管理器和乘车人之间的示例交互。在沿着时间轴301的时间T1处,自主车辆的导航管理器350检测到已到达距目的地的阈值距离,指示车辆现在已足够接近目的地,使得来自乘车人的意图信号可能是有用的。因此,在所示实施方案中在T1之后不久的时间T2,开始基于语音的邻近触发的交互304。为了开始交互,导航管理器350通知乘车人已接近目的地“LargeRetailStore”,并且请求乘车人指示是否可接受靠近LargeRetailStore主要入口的停车场。
在时间T3处,响应于来自导航管理器的查询,被授权提供导航指导的乘车人310提供预期任务的口头信号306(意图信号的示例)。如图所示,个人可指示购买园艺用品的意图。在一些情况下,意图信号可仅指示要执行的任务,并且导航管理器可负责将“购买园艺用品”任务转换成“靠近园艺入口”的停车场的特定部分。在其他场景中,意图信号可提供一些附加的指导,诸如地标指示或标记:例如,个人可能说类似“我想购买园艺用品。我们可以停在绿色的“园艺”标志入口附近吗?”或“我想购买园艺用品。我们是否可以在顾客带着其购物车中的盆栽植物离开的入口附近停车?”的话。导航管理器可解析/解释意图信号206并查阅地图数据库、其他数据源,以及收集的关于其外部环境的信息(例如,标记为“园艺入口”等的标志),以根据个人的意图来识别有关停车点的选项。在所示示例情形中可在时间T4提供对意图信号的响应320,例如,在导航管理器350已经(a)解释意图信号306并(b)识别出通往应当方便预期任务的停车点的路径的至少初始部分之后。
图4示出了根据至少一些实施方案包括多个传感器的示例车辆环境,该多个传感器可收集可被分析以确定被授权提供导航指导的个人的预期任务或目标的数据。提供了乘车人区的简化俯视图410。车辆可例如包括汽车、卡车、高尔夫球车、全地形车等。在至少一些实施方案中,车辆的至少一些移动可能不需要直接的人为控制——例如,车辆可能能够自动停车、在某些条件下驾驶而不受人类的指导,等等。即使至少一些对象或区域在更逼真的描绘中实际上可能不同时可见,可在车辆中相对于彼此位于不同深度(并且因此可以彼此遮挡或通过其他对象遮挡)的对象和区域被示出。如箭头459所示,车辆可在图4中从左向右移动。在所示实施方案中,车辆可包括两排座位区域:前座区402和后座区405。例如,在一种情形中,两个乘车人可坐在每个座位区中。任一排中的一个或多个乘车人可被授权在所描绘的实施方案中例如使用意图信号而不是方向盘或其他常规机构来为车辆提供导航指导。
车辆的信号检测部件可被设计为捕获来自乘车人的手势、注视、语音和/或基于触摸的信号,以及来自车辆外部的环境信号。各组面向内部的相机和麦克风(IFCM)422,诸如IFCM 422A-422D,可被配置为捕获来自乘车人的意图的某些类型的指示。尽管示出了四个IFCM,以使得各个IFCM可以用于在四个乘车人场景中捕获来自各个乘车人的信号,但是在各种实施方案中,IFCM和乘车人之间的关系不需要是一对一的。例如,在一些实施方案中,单个相机和/或单个麦克风可用于收集来自多个乘车人的信号,并且相反地,多个相机和/或麦克风可用于在某些条件下捕获单个乘车人的信号。在一些情况下,IFCM 422和乘车人之间的映射可随着占用而改变——例如,如果在某个时间段期间仅有两个乘车人,则可将两个IFCM指向每个乘车人;之后,如果另外两个乘车人占用车辆,则可将一个IFCM指向每个乘车人。除了或代替IFCM,在各种实施方案中,也可使用其他设备(其可为便携式或可移动的,并且不物理地附接到或结合在车辆内),诸如电话、平板电脑等来捕获意图信号。
在所示实施方案中,四个面向外部的相机(EFC)421A-421D可捕获可从移动车辆的各个部分看到的场景。与IFCM一样,在至少一些实施方案中,EFC与乘车人之间的关系不一定必须是1:1。包括一个或多个计算设备的本地导航管理器425可位于图4的车辆中,例如,附接到内部顶部或座椅下方。在一些实施方案中,本地导航管理器425可执行由IFCM和EFC收集的信号的至少一些分析,以帮助识别车辆要采用的移动和路径的候选选项。在其他实施方案中,本地导航管理器425可将一些或全部信号分析和解释工作负载卸载到数据中心的一个或多个服务器——例如,本地部件可将信号的表示传送到服务器,接收在服务器处执行的分析的结果等等。除了前显示器434之外,车辆还可以包括一个或多个后显示器(RD),诸如在所示实施方案中的RD 433A和433B。由一个或多个乘车人(例如,在特殊三维交互区域471内和/或车辆中的其他位置)所做的手势可用于信号意图,并且可由导航管理器解释以选择路径,生成运动指令等。在至少一些实施方案中,可在车辆内建立多个交互区471,例如,针对各个乘车人。
在图4所示的实施方案中,车辆也可配备有外部压力/触摸传感器474,诸如474A或474B。此类传感器可用于(例如)在个人在车辆之外时由被授权个人来调整车辆的位置,如下文更详细所述。
图5示出了根据至少一些实施方案的基于触摸的示例界面,该界面可供乘车人用于追踪朝向行程终点的详细路径。在所示实施方案中,车辆内的设备的触敏图形用户界面显示器530可填充有车辆周围环境的表示。此类触敏图形用户界面在本文中也可称为“触摸屏”。车辆自身的当前位置可例如由显示器中的图标570表示,并且在车辆移动时动态地更新。在所描绘的场景中,可示出具有其入口508、512和514的LargeRetailStore大楼510以及相关联的停车场的各种停车空间540。所显示的信息可基于由车辆的导航管理器收集的静态信息的某种组合(例如,来自地图数据库、基于卫星的成像数据库等),以及由车辆的外部取向传感器收集的传感器信息。例如,在一个实施方案中,停车场的总体布局可从静态数据库获得,并且可在显示器中将总体布局信息与可由车辆传感器收集其数据的至少一些附近停车空间的(当前被占用对当前未占用)状态的表示叠加。
在所示实施方案中,乘车人可使用触摸屏来追踪朝向车辆停车点520A的预期路径580B,例如,通过用手指在显示器上按下车辆图标570并且在期望的移动方向上移位图标。在一些实施方案中,周围环境的图形视图可限定网格,该网格表示可由车辆在目的地附近遍历的多个离散路径区段。即,由个人追踪的路径可能受到显示器的约束,并且可能不允许任意路径(诸如沿对角线遍历多个停车空间的路径)。导航管理器可通过解释个人与屏幕的交互来检测个人的预期路径,并且发出相应的运动指令以使得车辆沿着该路径移动到使得此类移动可行且安全的程度(例如,如果一些障碍物阻挡沿路径移动,导航管理器可暂停车辆移动和/或从预期路径偏离)。当车辆移动时,可动态地更新显示器。在所描绘的实施方案中,个人可能不必同时指定到预期停车点的整个路径——相反,例如,在给定时间点可仅指示车辆的下几个期望移动。
在一个实施方案中,个人可使用类似于图5所示的界面来指定(例如,使用特定图标诸如“大头针”图标)目标位置(诸如大楼510的特定入口或特定停车空间),个人希望将车辆停在该位置附近或应当将车辆移动到该位置,而不必追踪通往目标位置的路径。导航管理器可将经由界面提供的目标位置的指示转换成可行的路径,并相应地生成适当的运动指令。
在一些实施方案中,触摸屏显示器530可为不必或永久性地集成为导航管理器或车辆的部件的便携式计算设备(例如,平板计算设备或智能电话)的部分。在其他实施方案中,可采用预期主要或专门用于车辆的与导航相关的交互的专用触摸屏设备。在一个实施方案中,设备可与车辆的其他部件无线连接,而在另一个实施方案中,可使用有线连接。
在一些实施方案中,代替使用在图5的语境中论述的路径追踪方法,可使用其他类型的基于触摸的界面来提供意图信号导航指导。图6示出了根据至少一些实施方案的基于触摸的示例虚拟操纵杆界面,该界面可被乘车人用来指示车辆相对于其当前位置的期望移动。如图所示,触敏显示器630可提供在行程目的地附近车辆周围环境的表示,其中车辆自身的当前位置由图标640表示。在图6所示的场景中,车辆在邻近LargeRetailStore大楼610的停车场中,该大楼具有三个出口608、612和614,类似于图5所示的环境。
在所示实施方案中,基于虚拟操纵杆触摸的控件622叠加在车辆周围的下层表示上。控件622可例如包括圆形区域,在默认情况下,操纵杆图标位于该圆形区域的中心。当操纵杆图标(图6中显示为阴影八边形,但在各实施方案中可使用多种形状或其他图标中的任一种)被授权提供导航指导的个人(例如,使用手654)按压并向前移动时,这被解释为将车辆向前移动(而不改变其当前取向或运动方向)的意图。按压前移运动625被导航管理器转换成使得车辆前进的一个或多个运动控制指令。一旦个人停止按压操纵杆图标,它就可以恢复到其在控件中心的默认位置。在一些实施方案中,操纵杆图标朝圆的圆周移动的程度可被解释为应当在指示方向上将车辆移动多远的指示。在一个示例场景中,假设包含操纵杆图标的圆的半径为三厘米。例如,如果操纵杆向前移动两厘米,这应当指示应当将车辆向前移动操纵杆向前移动一厘米的情况两倍的距离。在一个实施方案中,操纵杆图标移动的相对速度可被认为指示车辆应当被移动的相对速度。如果向右移动而不是向前移动操纵杆,则导航管理器可生成指令来将车辆右转(假设外部环境传感器指示从车辆的当前位置右转是可行的)。类似地,如果向左或向后移动(在图6中向下)操纵杆,则可使车辆向左转或向后移动(假设那些轨迹变化是可行的)。
当导航管理器对经由控件622从个人的手654接收的输入做出响应时,图标670可被重新定位在图形用户界面上以反映车辆位置的变化,并且在所描绘的实施方案中,背景中所示的地图也可被重新居中。最终,使用来自操纵杆界面的意图信号,可将车辆移动至合适的停车空间640,以执行乘车人希望完成的任务。在一些实施方案中,可使用类似于虚拟操纵杆的其他界面,诸如虚拟轨迹球界面。在一个实施方案中,代替虚拟操纵杆或轨迹球,可使用物理操纵杆或轨迹球。
图7示出了根据至少一些实施方案的基于文本的示例界面,可基于任务语境预先填充该界面的条目以提供导航指导。在所示的实施方案中,触敏显示器730示出,对应的车辆(在显示器上由图标770表示)当前定位在与具有三个入口708、712和714的LargeRetailStore大楼710相邻的停车场内的停车空间740之一处。
被授权为车辆提供导航指导的个人可被许可使用多选项菜单从基于文本的界面722选择各种选项的组合。例如,可使用相应下拉菜单725和727提供关于车辆下一目的地的两个等级的细节。下拉菜单725可预先填充有与菜单所呈现给的个人对应的许多个性化目的地选项——例如,“办公室”、“我的健身房”、“杂货店”、“医院”等。没有与所示示例选项相关联的确切地址指示,导航管理器可以以与熟悉该人的活动的人应当使用的类似的非正式术语来表达目的地附近信息。因此,并非提供地址,诸如个人办公室所在的“1010MainStreet”,而是可使用“我的办公室”这一非正式短语来填充下拉菜单725的选项槽之一。在一些实施方案中,可基于个人在过去进行的行程的与语境相关的历史来选择该组选项——例如,如果个人通常在工作日的大约上午8:30去办公室而当前时间是星期一的上午8:15,则“办公室”可被视为下一目的地的更可能的选择之一。
可基于选自所示实施方案中的第一下拉菜单的特定选项来填充第二级下拉菜单727。假设“办公室”被选为下一个高等级目的地,并且办公室恰好位于一个大的场地内,代表其对车辆导航的个人常常访问其中若干地点。在这种情形下,导航管理器可分析该人过去曾使用过的办公室附近的停车点历史,并在第二下拉菜单727中提供对应更精细粒度目的地的列表。例如,向个人提供选择“自助餐厅”、“会议室CR2”、“Jim的办公室”和“我的隔间”作为可以在其附近停放车辆的地方。例如基于确定个人通常在一天中的当前时间在自助餐厅吃午餐,可以选择自助餐厅作为选项。个人可能在最近几周经常在特定会议室CR2中出席会议,从而导致在下拉菜单中包括CR2。“Jim”可能是经常访问其办公室的该人的经理或同事,“我的隔间”可能是作为个人花费正常工作日大部分时间的位置的默认选择。在使用诸如图7所示的基于文本的界面的各种实施方案中,导航管理器可利用相应的与语境相关的文本片段填充界面的多选项菜单的元素。文本片段中的各个个体可指示相应的意图或预期任务,例如,来自个人在过去经常使用该界面执行的一组任务,或由标志或地标指示的任务。导航管理器可基于来自界面的指示已从多选项菜单中选择的特定文本片段的信号来检测任务(从而识别特定位置或停车点,诸如应当将车辆移动到的停车空间)。在各种实施方案中,可提供控件,使得个人能够提供新的第一级和/或第二级选择(诸如菜单725中的“输入新”字段)。类似于图7中所示的基于文本的菜单的一般目标可为提供一种方式,供导航管理器使用来自个人的会话级输入来将个人运送至期望的目的地,并且还确定要在给定目的地附近采取的适当路径,该给定目的地可具有多个入口或多个停车点。在一些实施方案中,可使用其选项由不同于文本(或除此之外)的相应图形符号或图标表示的多选项菜单来确定个人感兴趣的意图或任务。
图8示出了根据至少一些实施方案的示例场景,其中使用手持式计算设备或电话所做的手势可用于提供导航指导。在所描绘的场景中,被授权为车辆提供导航指导的乘车人810可在将电话802保持在个人的一只手中同时做出指示意图的手势822。手势822可将电话822从位置821A移位到位置821B,并且电话的位移方向可暗示车辆的期望移动方向。在一些情况下,手势822可伴随有语音命令823,诸如“停在那里”。
为了解释命令和手势的组合,在所示的实施方案中,导航管理器可与电话822通信并分析可从相机和/或电话中其他传感器看到的视图内容。在例如在相机被移位时从相机的传感器获得的可见场景802的俯视图中,箭头859指示电话手势的方向。许多对象可在与手势相关联的某个近似角度范围812内至少部分地可见。在一些实施方案中,近似角度范围可由导航管理器确定,并且可例如基于电话相机的视角能力。部分地或完全地包括在该角度范围内并因此被视为用于解释手势和命令的候选的该组对象可包括所示场景中的对象845、846和855,其中对象855比对象845和846更远,并且对象845和855与对象846相比与角度范围更完全地重叠。对象862可不包括在候选对象集中,因为它位于角范围812之外。
在一些实施方案中,导航管理器可基于例如多种因素对候选对象彼此相对地进行排序,多种因素诸如对象与角范围的交叠程度、对象距车辆当前位置的距离、在对象附近停车的可行性(例如,基于可用的停车空间的大致数量)、个人对该对象的估计感兴趣水平(这继而可基于个人在过去在附近执行的任务的分析)等。为了确定个人打算将车辆停放在其附近的特定对象,导航管理器850可以在所示实施方案中发出语音查询804:“你的意思是停在<对象845>附近还是<对象855>附近?”在所示的示例查询中,排序最高的对象对被包括为可在其附近停放车辆的选项。如果个人提供关于所呈现的选项中的一个的肯定响应,则导航管理器850可导致发出适当的运动指令以使得车辆朝所选择的选项移动。如果个人指示所提供的选择中没有一个是命令和手势所期望的,则可在第二查询中提供更多选项(诸如对象846或862),并且可继续该过程直到最终确定个人的意图。如果导航管理器850使用各种实施方案中的信令模式的特定组合,诸如图8所示的手势和命令组合,则不能确定意图,可使用不同模式,或者最终可能需要来自个人对车辆的手动(例如,基于方向盘的)控制。
在一些实施方案中,可从车辆外部为导航管理器提供意图信号。图9示出了根据至少一些实施方案的示例场景,其中由车辆外部的被授权个人提供的手势或触摸信号可用于指导对车辆位置的微小调整。在所示的场景中,在车辆950最初停放之后,被授权为车辆950提供导航指导的个人可(在离开车辆后)确定车辆的位置不能令人满意或次优。虚线显示理想地被车辆占据的预期停车空间ABCD。车辆的一端(要么后部、要么前部)可能稍稍越过停车空间边界线CD。
在所示的实施方案中,车辆950可在其外部配备有触敏传感器956。被授权个人可作出基于触摸的信号或手势922,诸如向停车空间的边缘AB进行轻扫或轻柔推动,这可被触敏传感器956检测到。所检测到的信号可由车辆的导航管理器处理,作为调整车辆位置的命令的指示。导航管理器可将适当的运动指令传输至车辆的运动控制子系统,以响应于所示实施方案中的命令来发起车辆移动。因此,可沿指示的方向将车辆移动短距离923。
在一些实施方案中,并非使用触敏或压敏传感器,可使用一个或多个相机来检测来自被授权个人调整车辆950的位置的意图信号。在使用来自车辆外部个人的信号移动车辆的一些实施方案中,导航的识别验证部件可利用多种识别技术以确保只有来自被授权个人的信号才可用于使车辆移动。例如,可与提供信号的个人还拥有车辆的电子“密钥”的检查结合来使用生物测定识别技术。在一些实施方案中,导航管理器可根据默认设置忽略来自车辆外部的信号,并且在可使用外部信号之前,可能必须使用车辆内部的界面来超驰默认设置。在另一个实施方案中,由车辆外部的个人生成的信号可不用于导航目的。
在以上论述的一些示例场景中,行程目的地的大致附近可能已被明确地提供给导航管理器,并且意图信号可主要在车辆已到达附近之后使用。在一些实施方案中,导航管理器还可负责作出关于目的地本身的决定。图10示出了根据至少一些实施方案的导航管理器自治的示例谱。沿着谱1023,朝向左示出了涉及导航管理器的较大自治程度的情况,并且朝向右示出了涉及较小自治程度的情况。
在一个极端(较大自治极端)下,被授权提供关于车辆运动的指导的个人1010可简单地表达关于活动或任务的总体目的或目标。例如,个人可说出类似于“我想喝点咖啡”的内容,而不更具体地描述特定的咖啡店或供应商,或甚至任何关于咖啡种类的细节等。在此类场景下,导航管理器可例如选择特定咖啡店,验证特定咖啡店的可接受性,发出到达咖啡店附近的指令,并且在咖啡店入口附近找到停车空间,如框1050所示。例如,可基于诸如个人1010在咖啡店消费的历史、与车辆当前位置的接近程度、咖啡价格等因素的某种组合来选择咖啡店。个人1010实际上可以让导航管理器做出大部分决定,尽管个人当然可以超驰导航管理器做出的选择(例如,在咖啡店的等级和/或在停车空间的等级处)。
相比之下,在自治谱1023的另一端,个人1010可提供更精确的指令,诸如“让我们前往在54街和松树大道拐角处的<ABC>咖啡店”。在这种情况下,必须由导航管理器作出的决策的范围可能更受限制;导航管理器可例如选择高水平路线,但否则遵循由个人1010提供的精确指令,如框1060中所示。当然,在各种实施方案中,给定导航管理器能够有不同程度的自主性,因此导航管理器必须做出的决策范围可由授权个人确定。即,导航管理器可使其自身适应于由个人所选择的特异性和精确性程度。
图11是示出了可在能够经由意图信号进行车辆导航指导的系统处执行的操作的各方面的流程图。如元素1101所示,可在与车辆相关联的导航管理器处获得使用自主车辆或部分自主车辆要完成的行程目的地的指示。关于目的地的信息(诸如大型零售店或机场的街道地址)可足以例如识别要用于到达目的地附近的高水平路线,但当指示目的地时,可能尚未识别精确的停车点(诸如特定停车空间)。可使用许多不同界面或传感器设备中的任何者来获得目的地的指示,诸如用于口头命令的麦克风、基于地图的界面、基于文本的界面等。
车辆的导航管理器可检测何时到达目的地附近(元素1104),例如,当从街道进入与目的地相关联的停车场时,或者当距目的地建筑物的至少一个入口的距离为小于V米时。可使用许多不同数据源或传感器中的任何者检测已到达目的地附近,包括例如GPS设备、相机等。导航管理器可生成请求(例如,语音请求或显示在诸如提醒屏幕的屏幕上的请求),以从车辆中的一个或多个被授权个人请求关于车辆的预期停车点或在一些实施方案中请求车辆应当在目的地附近采取的路径的指导。
在所示实施方案中的个人未提供额外指导的情况下(元素1107),导航管理器可选择用于选择停车点的默认标准(例如可尝试在靠近目的地的主入口的位置找到停车空间)。通常,在各种情况下,每当预期有来自个人的经由意图信号的指导时,导航管理器都可生成至少一个备份计划(例如,以实现最低安全水平,同时还指向与目的地相关联的停车点),以使得缺乏来自个人的输入(或延迟输入)不导致不期望的后果。
可从个人检测下一组意图信号(元素1110)。可经由车辆的一个或多个传感器,诸如相机、麦克风、便携式设备或有线设备上的触摸屏传感器等获得的信号可例如指示预期任务或活动,识别可从车辆看到的地标或标志或指定下一步应当将车辆移动的方向。可经由意图信号来指示建筑物或其他对象的多个特征,包括出口/入口、建筑元件,诸如窗口、人行道、装卸码头、坡道等,这些特征中的一些可通过诸如“人行道在哪里开始”之类的自然语言描述来指示。根据所使用的传感器的组合,可以使用多种算法中的任一种来分析信号,这些算法包括例如自然语言处理算法、对象识别算法等。在一些实施方案中,可检测和解释若干不同模式的信号——例如,可分析手势和语音命令的组合以尝试确定个人的意图。在各种实施方案中,可经由与车辆的转向或其他控制子系统机械脱离的传感器设备或界面获得至少一个子集的信号,因此,例如,如果车辆包括方向盘或类似转向部件,可使用未物理附接到方向盘或转向部件或其部分的传感器设备检测此类信号。
导航管理器可例如基于所检测到的信号以及基于指示车辆的当前外部环境(从外部相机和/或其他传感器收集)的数据集来识别(元素1113)要执行以促进预期任务/目标的一个或多个车辆运动。任选地,可向被授权个人提供反馈以例如使用口头化消息或显示器来验证被授权个人的意图。
可将使得发起车辆移动的一个或多个运动指令传输至车辆的运动控制子系统(元素1116),诸如加速子系统、制动或转向子系统等。如果已到达行程的可接受的停车点(如在对应于元素1119的操作中检测到的),诸如入口附近促进个人(或车辆其他乘车人)预期任务的停车点,则该行程可被终止(元素1122)或至少暂停,使得乘车人能够离开并执行预期任务。在一些实施方案中,对于停车点是否可接受的确定可由导航管理器与被授权个人组合做出,并且可涉及个人与导航管理器之间的一个或多个附加交互(例如,导航管理器可通告目的地已到达,并等待进一步指导)。如果停车点不可接受(也如在对应于元素1119的操作中检测到的),则可执行意图信号检测、解释和运动指令生成的一次或多次附加迭代(重复对应于元素1110之后的操作),直到在所示实施方案中最终达到可接受的停车点。
在至少一些实施方案中,实现本文描述的一种或多种技术的一部分或全部的服务器,包括收集、获取或处理各种类型信号(包括从个人发出的基于手势、注视、语音或触摸的意图信号以及指示个人外部环境的信号)并执行相应动作的技术(诸如,基于所选择选项更改各种显示内容和发起操作),可包括通用计算机系统,其包括或被配置为访问一个或多个计算机可访问介质。图12示出了此类通用计算设备9000。在例示的实施方案中,计算设备9000包括经由输入/输出(I/O)接口9030耦接到主存储器9020(其可以包括非易失性存储器模块和易失性存储器模块两者,也可以称为系统存储器)的一个或多个处理器9010。计算设备9000还包括耦接到I/O接口9030的网络接口9040以及可包括各种类型的传感器的附加I/O设备9035。
在各种实施方案中,计算设备9000可以是包括一个处理器9010的单处理器系统,或包括若干处理器9010(例如,两个、四个、八个或另一个合适数量)的多处理器系统。处理器9010可为能够执行指令的任何合适的处理器。例如,在各种实施方案中,处理器9010可以是实现多种指令集架构(ISA)(诸如x86、PowerPC、SPARC、或MIPS ISA或任何其他合适的ISA)中的任何者的通用处理器或嵌入式处理器。在多处理器系统中,处理器9010中的每个处理器通常可以但并非必须实现相同的ISA。在一些具体实施中,可使用图形处理单元(GPU)代替传统处理器,或者除了传统处理器之外,还可以使用图形处理单元。
存储器9020可被配置为存储可由处理器9010访问的指令和数据。在至少一些实施方案中,存储器9020可包括易失性和非易失性部分;在其他实施方案中,可仅使用易失性存储器。在各种实施方案中,系统存储器9020的易失性部分可使用任何合适的存储器技术来实现,例如静态随机存取存储器(SRAM)、同步动态RAM或任何其他类型的存储器。对于系统存储器的非易失性部分(例如,其可包括一个或多个NVDIMM),在一些实施方案中,可以使用基于闪存的存储器设备,包括NAND闪存设备。在至少一些实施方案中,系统存储器的非易失性部分可包括电源,诸如超级电容器或其他电力存储设备(例如,电池)。在各种实施方案中,基于忆阻器的电阻随机存取存储器(ReRAM)、三维NAND技术、铁电RAM、磁阻RAM(MRAM)或各种类型的相变存储器(PCM)中的任何一种可至少用于系统存储器的非易失性部分。在例示的实施方案中,实现一个或多个所需功能的可执行程序指令9025和数据1926,诸如上述那些方法、技术和数据,被示出存储在主存储器9020中。
在一个实施方案中,I/O接口9030可被配置为协调处理器9010、主存储器9020和各种外围设备之间的I/O流量,包括网络接口9040或其他外围设备接口,诸如各种类型的持久和/或易失性存储设备、用于注视信号收集、手势信号收集、触摸信号收集、外部环境信号收集、语音收集等的传感器设备。在一些实施方案中,I/O接口9030可以执行任何必要的协议、定时或其他数据变换,以将来自一个部件(例如,主存储器9020)的数据信号转换成适合于由另一个部件(例如,处理器9010)使用的格式。在一些实施方案中,I/O接口9030可包括对例如通过各种类型的外围设备总线诸如外围部件互连(PCI)总线标准或通用串行总线(USB)标准的变体所附接的设备的支持。在一些实施方案中,I/O接口9030的功能例如可被划分到两个或更多个单独部件中,诸如北桥和南桥。此外,在一些实施方案中,I/O接口9030诸如连接至存储器9020的接口的一些或所有功能可被直接集成到处理器9010中。
网络接口9040可被配置为允许在计算设备9000和附接到一个或多个网络9050的其他设备9060之间交换数据,例如,诸如图1至图11所示的其他计算机系统或设备。在各种实施方案中,网络接口9040可支持经由任何合适的有线或无线通用数据网络的通信,例如以太网类型的网络。另外,网络接口9040可支持经由诸如模拟语音网络或数字光纤通信网络的电信/电话网络,经由诸如光纤通道SAN的存储区域网络,或经由任何其他合适类型的网络和/或协议的通信。
在一些实施方案中,主存储器9020可以为计算机可访问介质的一个实施方案,其被配置为存储如上面针对图1至图11所述的程序指令和数据,用于实现相应方法和装置的实施方案。然而,在其他实施方案中,可在不同类型的计算机可访问介质上接收、发送或存储程序指令和/或数据。一般而言,计算机可访问介质可包括非暂时性存储介质或诸如磁性或光学介质的存储介质,例如经由I/O接口9030耦接到计算设备9000的磁盘或DVD/CD。非暂态计算机可访问存储介质还可包括任何易失性或非易失性介质,诸如RAM(例如SDRAM、DDRSDRAM、RDRAM、SRAM等)、ROM等,其可包括在计算设备9000作为主存储器9020或其他类型的存储器的一些实施方案中。此外,计算机可访问介质可包括传输介质或诸如电信号、电磁信号或数字信号的信号,经由诸如网络和/或无线链路的通信介质传送,诸如可以经由网络接口9040实现。多个计算设备的部分或全部,诸如图12中所示的计算设备可用于在各种实施方案中实现所描述的功能;例如,在各种不同设备和服务器上运行的软件组件可以协作以提供功能。在一些实施方案中,除了使用通用计算机系统实现之外或代替使用通用计算机系统实现,可以使用存储设备、网络设备或专用计算机系统来实现所描述的功能的一部分。如本文所用,术语“计算设备”至少指所有这些类型的设备,并且不限于这些类型的设备。
结论
各种实施方案还可包括在计算机可访问介质上接收、发送或存储根据以上描述所实现的指令和/或数据。一般而言,计算机可访问介质可包括存储介质或存储器介质诸如磁介质或光介质,例如磁盘或DVD/CD-ROM、易失性介质或非易失性介质诸如RAM(例如SDRAM、DDR、RDRAM、SRAM等)、ROM等,以及传输介质或信号,诸如电信号、电磁信号或数字信号,经由通信介质诸如网络和/或无线链路来传送。
如附图中所示和本文描述的各种方法代表方法的示例性实施方案。该方法可以软件、硬件或它们的组合来实现。方法的顺序可改变,并且各种元素可被添加、重新排序、组合、忽略和修改等。
可作出各种修改和改变,这对于从本公开受益的本领域的技术人员来说应当是显而易见的。旨在包含所有这些修改和变化,因此,以上描述被认为是说明性的而不是限制性的。

Claims (20)

1.一种方法,包括:
在一个或多个计算设备处执行以下操作:
获得车辆的目的地的第一指示,其中所述目的地附近包括多个停车点;
使用一个或多个传感器检测由被授权提供关于所述车辆移动的指导的个人生成的一个或多个信号,其中所述一个或多个信号可用于确定朝向所述多个停车点中的特定停车点的路径;
至少部分地基于(a)所述一个或多个信号和(b)与所述车辆的外部环境有关的数据集,识别要实现沿所述路径继续进行的一个或多个车辆移动;以及
将第一指令传输至所述车辆的一个或多个运动控制子系统,以发起所述一个或多个车辆移动中的至少第一车辆移动。
2.根据权利要求1所述的方法,其中使用与所述车辆的转向子系统机械脱离的传感器检测所述一个或多个信号中的至少一个信号。
3.根据权利要求1所述的方法,其中所述附近包括停车区域,其中所述多个停车点中的各个停车点包括所述停车区域内的相应停车空间,并且其中所述特定停车点包括所述停车区域内的特定停车空间。
4.根据权利要求1所述的方法,其中所述一个或多个信号包括指示所述个人的预期任务的特定信号。
5.根据权利要求1所述的方法,其中所述一个或多个信号中的特定信号指示以下项中的一者或多者:(a)地标对象;(b)标志;或(c)建筑物的特定特征。
6.根据权利要求1所述的方法,其中所述一个或多个传感器中的特定传感器包括以下项中的一者或多者:(a)便携式计算设备的部件;(b)电话的部件;(c)触敏界面;(d)麦克风;(e)相机;(f)遥控设备;或(g)深度传感器。
7.根据权利要求1所述的方法,其中所述检测所述一个或多个信号包括检测图形用户界面上的图标的一个或多个位移。
8.根据权利要求7所述的方法,其中所述图形用户界面限定表示可在所述目的地附近遍历的多个离散路径区段的网格,其中所述一个或多个位移包括对应于所述多个路径区段的特定离散路径区段的第一位移。
9.根据权利要求1所述的方法,还包括由所述一个或多个计算设备执行以下操作:
在所述传输所述第一指令之前,向所述个人提供所述第一车辆移动的指示;以及
从所述个人获得所述第一车辆移动可接受的指示。
10.根据权利要求1所述的方法,还包括由所述一个或多个计算设备执行以下操作:
使用相应选项填充多选项菜单的一个或多个元素,其中所述相应选项中的特定选项指示预期任务,其中所述检测所述一个或多个信号包括确定已经从所述多选项菜单中选择所述特定选项。
11.一种系统,包括:
一个或多个传感器设备;和
导航管理器,所述导航管理器至少部分地在计算设备处实现;
其中所述导航管理器被配置为:
使用所述一个或多个传感器设备检测由被许可提供关于车辆移动的指导的个人生成的一个或多个信号,其中所述一个或多个信号可用于确定朝向目的地附近多个停车点中的特定停车点的路径;
至少部分地基于(a)所述一个或多个信号和(b)与所述车辆的外部环境有关的数据集,识别要实现沿所述路径继续进行的一个或多个车辆移动;以及
将第一指令传输至所述车辆的一个或多个运动控制子系统,以发起所述一个或多个车辆移动中的至少第一车辆移动。
12.根据权利要求11所述的系统,其中所述导航管理器被配置为:
指示针对关于选择所述车辆的停车点的输入的请求。
13.根据权利要求12所述的系统,其中所述导航管理器被配置为响应于确定已到达所述目的地的所述附近而指示针对输入的所述请求。
14.根据权利要求11所述的系统,其中所述一个或多个信号包括指示所述个人的预期任务的特定信号。
15.根据权利要求11所述的系统,其中所述导航管理器被配置为:
在传输所述第一指令之前,向所述个人提供所述第一车辆移动的指示;以及
从所述个人获得所述第一车辆移动可接受的指示。
16.一种存储程序指令的非暂态计算机可访问存储介质,所述程序指令当被在一个或多个处理器上执行时:
使用所述一个或多个传感器设备检测由被许可提供关于车辆移动的指导的个人生成的一个或多个信号,其中所述一个或多个信号可用于确定朝向目的地附近多个停车点中的特定停车点的路径;
至少部分地基于(a)所述一个或多个信号和(b)与所述车辆的外部环境有关的数据集,识别要实现沿所述路径继续进行的一个或多个车辆移动;以及
将第一指令传输至所述车辆的一个或多个运动控制子系统,以发起所述一个或多个车辆移动中的至少第一车辆移动。
17.根据权利要求16所述的存储程序指令的非暂态计算机可访问存储介质,其中所述一个或多个信号包括指示所述个人的预期任务的特定信号。
18.根据权利要求16所述的存储程序指令的非暂态计算机可访问存储介质,其中所述指令当被在所述一个或多个处理器上执行时:
在传输所述第一指令之前,使得向所述个人提供所述第一车辆移动的指示;以及
确定所述第一车辆移动是所述个人可接受的。
19.根据权利要求16所述的存储程序指令的非暂态计算机可访问存储介质,所述指令当被在所述一个或多个处理器上执行时:
响应于确定已到达所述目的地的所述附近,使得向所述个人提供针对关于停车点的输入的请求。
20.根据权利要求16所述的存储程序指令的非暂态计算机可访问存储介质,其中所述指令当被在所述一个或多个处理器上执行时:
检测指示调整所述车辆的位置的命令的一个或多个信号,其中当所述个人在所述车辆外部时,所述命令由所述个人发出;以及
响应于所述命令,向所述车辆的所述一个或多个运动控制子系统传输另一个指令,以发起不同的车辆移动。
CN201780073523.0A 2016-12-12 2017-11-30 使用意图信号指导目的地附近的自主车辆 Active CN110023178B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210597717.3A CN115027451A (zh) 2016-12-12 2017-11-30 使用意图信号指导目的地附近的自主车辆

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662433224P 2016-12-12 2016-12-12
US62/433,224 2016-12-12
US15/826,486 US10372132B2 (en) 2016-12-12 2017-11-29 Guidance of autonomous vehicles in destination vicinities using intent signals
US15/826,486 2017-11-29
PCT/US2017/063932 WO2018111569A1 (en) 2016-12-12 2017-11-30 Guidance of autonomous vehicles in destination vicinities using intent signals

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210597717.3A Division CN115027451A (zh) 2016-12-12 2017-11-30 使用意图信号指导目的地附近的自主车辆

Publications (2)

Publication Number Publication Date
CN110023178A true CN110023178A (zh) 2019-07-16
CN110023178B CN110023178B (zh) 2022-05-10

Family

ID=62490049

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780073523.0A Active CN110023178B (zh) 2016-12-12 2017-11-30 使用意图信号指导目的地附近的自主车辆
CN202210597717.3A Pending CN115027451A (zh) 2016-12-12 2017-11-30 使用意图信号指导目的地附近的自主车辆

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210597717.3A Pending CN115027451A (zh) 2016-12-12 2017-11-30 使用意图信号指导目的地附近的自主车辆

Country Status (4)

Country Link
US (3) US10372132B2 (zh)
EP (2) EP4009130B1 (zh)
CN (2) CN110023178B (zh)
WO (1) WO2018111569A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112158192A (zh) * 2020-06-24 2021-01-01 上汽通用五菱汽车股份有限公司 泊车控制方法以及泊车控制系统
CN113226886A (zh) * 2021-03-31 2021-08-06 华为技术有限公司 控制车辆行驶的方法、装置及车辆
US20210394746A1 (en) * 2020-06-18 2021-12-23 Faurecia Clarion Electronics Co., Ltd. In-vehicle device and control method
CN114808810A (zh) * 2022-04-12 2022-07-29 吉林大学 一种半自主交互式无人清扫车清扫系统及清扫方法

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10372132B2 (en) * 2016-12-12 2019-08-06 Apple Inc. Guidance of autonomous vehicles in destination vicinities using intent signals
US10401858B2 (en) * 2017-08-29 2019-09-03 Waymo Llc Arranging passenger pickups for autonomous vehicles
JP6504578B2 (ja) * 2017-09-05 2019-04-24 三菱電機株式会社 自動駐車装置
US10647332B2 (en) * 2017-09-12 2020-05-12 Harman International Industries, Incorporated System and method for natural-language vehicle control
US10825340B1 (en) * 2017-11-17 2020-11-03 State Farm Mutual Automotive Insurance Company Autonomous vehicle maneuver system for emergency vehicles and non-standard traffic flow
DE102017222658A1 (de) * 2017-12-13 2019-06-13 Robert Bosch Gmbh Verfahren und System zum Unterstützen eines fahrerlosen Fahrens eines Kraftfahrzeugs in einer mehrere Stellplätze umfassenden Parkeinrichtung
JP6992893B2 (ja) 2018-06-19 2022-01-18 日産自動車株式会社 走行情報処理装置及び処理方法
DE102018210528A1 (de) * 2018-06-27 2020-01-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Dialogsystems
US10942030B2 (en) 2018-08-17 2021-03-09 Lyft, Inc. Road segment similarity determination
US10479356B1 (en) 2018-08-17 2019-11-19 Lyft, Inc. Road segment similarity determination
US10848905B2 (en) 2018-09-13 2020-11-24 Uber Technologies, Inc. Selectively highlighting map features associated with places
US11725960B2 (en) 2018-09-14 2023-08-15 Uber Technologies, Inc. Determining navigation data based on service type
GB2577270B (en) 2018-09-19 2021-04-07 Jaguar Land Rover Ltd Apparatus and method for monitoring vehicle operation
US10976733B2 (en) * 2018-09-26 2021-04-13 Ford Global Technologies, Llc Interfaces for remote trailer maneuver assist
KR20200057819A (ko) * 2018-11-13 2020-05-27 현대자동차주식회사 자율주행차량의 주차 관제 시스템
US11186282B2 (en) * 2018-12-11 2021-11-30 Alpine Electronics, Inc. Automated lane change system and methods
CN113614757A (zh) * 2019-02-11 2021-11-05 Hrl实验室有限责任公司 用于事件的人机混合预测的系统和方法
KR20200106233A (ko) * 2019-02-25 2020-09-14 현대자동차주식회사 차량의 원격 주차 제어 장치 및 그 방법
US11928557B2 (en) 2019-06-13 2024-03-12 Lyft, Inc. Systems and methods for routing vehicles to capture and evaluate targeted scenarios
US11449475B2 (en) 2019-06-28 2022-09-20 Lyft, Inc. Approaches for encoding environmental information
US10625748B1 (en) * 2019-06-28 2020-04-21 Lyft, Inc. Approaches for encoding environmental information
US11157007B2 (en) 2019-06-28 2021-10-26 Lyft, Inc. Approaches for encoding environmental information
US20220274617A1 (en) * 2019-07-10 2022-09-01 Lg Electronics Inc. Vehicle control method and intelligent computing device for controlling vehicle
US11247724B2 (en) * 2019-08-16 2022-02-15 Ford Global Technologies, Llc Vehicle parking control
DE102019214937A1 (de) * 2019-09-27 2021-04-01 Robert Bosch Gmbh Verfahren zur Erkennung von Zeichengebung im Umfeld eines Fahrzeugs
US11788846B2 (en) 2019-09-30 2023-10-17 Lyft, Inc. Mapping and determining scenarios for geographic regions
US11816900B2 (en) 2019-10-23 2023-11-14 Lyft, Inc. Approaches for encoding environmental information
US11249639B2 (en) * 2019-11-26 2022-02-15 Denso International America, Inc. System for a back-up camera of a vehicle
JP7347327B2 (ja) * 2020-05-26 2023-09-20 トヨタ自動車株式会社 情報処理装置、情報処理システム、及び情報処理方法
DE102020115114A1 (de) * 2020-06-08 2021-12-09 Bayerische Motoren Werke Aktiengesellschaft Fahrerassistenzsystem zur automatisierten Längsführung eines Kraftfahrzeugs
US11681780B2 (en) 2020-09-30 2023-06-20 Nissan North America, Inc. Annotation and mapping for vehicle operation in low-confidence object detection conditions
KR20220085860A (ko) * 2020-12-15 2022-06-23 현대자동차주식회사 차량 및 그 제어방법
KR20230068116A (ko) * 2021-11-10 2023-05-17 현대자동차주식회사 전자 장치 및 그 제어 방법.

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10045616A1 (de) * 2000-09-15 2002-03-28 Volkswagen Ag Verfahren zum automatischen Einparken eines Kraftfahrzeugs
DE102009046912A1 (de) * 2009-11-20 2011-05-26 Robert Bosch Gmbh Verfahren und Einrichtung für die Fahrzeugführung
DE102012007984A1 (de) * 2011-09-13 2013-03-14 Valeo Schalter Und Sensoren Gmbh Rangiersystem und Verfahren zum automatischen Rangieren eines Kraftfahrzeugs, Kraftfahrzeug, tragbares Kommunikationsgerät und Computerprogramm
KR101281499B1 (ko) * 2013-03-15 2013-07-02 박수민 자동차 자동 운행 시스템
US20140074338A1 (en) * 2012-09-11 2014-03-13 Robert Bosch Gmbh Method and device for operating a driver assistance system of a vehicle
CN103921788A (zh) * 2014-04-02 2014-07-16 奇瑞汽车股份有限公司 一种汽车行驶控制系统及方法
WO2015106867A1 (de) * 2014-01-15 2015-07-23 Robert Bosch Gmbh Verfahren zum autonomen parken eines fahrzeugs, fahrerassistenzvorrichtung zur durchführung des verfahrens, sowie fahrzeug mit der fahrerassistenzvorrichtung
WO2016066353A1 (de) * 2014-10-27 2016-05-06 Robert Bosch Gmbh Verfahren und vorrichtung zum betreiben eines fahrzeugs
CN105835877A (zh) * 2016-03-25 2016-08-10 乐视控股(北京)有限公司 车辆控制方法、装置和泊车辅助系统
CN106103232A (zh) * 2014-04-09 2016-11-09 日立汽车系统株式会社 行驶控制装置、车载用显示装置和行驶控制系统

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6240303B1 (en) 1998-04-23 2001-05-29 Motorola Inc. Voice recognition button for mobile telephones
US6411926B1 (en) 1999-02-08 2002-06-25 Qualcomm Incorporated Distributed voice recognition system
US7000200B1 (en) 2000-09-15 2006-02-14 Intel Corporation Gesture recognition system recognizing gestures within a specified timing
US6804396B2 (en) 2001-03-28 2004-10-12 Honda Giken Kogyo Kabushiki Kaisha Gesture recognition system
US7274800B2 (en) 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
US7394346B2 (en) 2002-01-15 2008-07-01 International Business Machines Corporation Free-space gesture recognition for transaction security and command processing
US7672845B2 (en) 2004-06-22 2010-03-02 International Business Machines Corporation Method and system for keyword detection using voice-recognition
US8346426B1 (en) 2010-04-28 2013-01-01 Google Inc. User interface for displaying internal state of autonomous driving system
US8296151B2 (en) 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
US9176924B2 (en) 2011-11-16 2015-11-03 Autoconnect Holdings Llc Method and system for vehicle data collection
WO2013005299A1 (ja) * 2011-07-05 2013-01-10 トヨタ自動車 株式会社 推奨情報提供システム
US20130030811A1 (en) 2011-07-29 2013-01-31 Panasonic Corporation Natural query interface for connected car
EP2797796A4 (en) 2011-12-29 2015-09-16 Intel Corp SYSTEMS, METHOD AND DEVICE FOR CONTROLLING GESTURE INITIATIONS AND TERMINATIONS
US9429943B2 (en) * 2012-03-05 2016-08-30 Florida A&M University Artificial intelligence valet systems and methods
US9147297B2 (en) * 2012-03-14 2015-09-29 Flextronics Ap, Llc Infotainment system based on user profile
US9823742B2 (en) 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US20140007115A1 (en) 2012-06-29 2014-01-02 Ning Lu Multi-modal behavior awareness for human natural command control
US8868337B2 (en) 2012-07-03 2014-10-21 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle navigation systems and methods for presenting information originating from a mobile device
JP6031972B2 (ja) 2012-11-27 2016-11-24 富士通株式会社 知覚反応分析装置,その方法及びプログラム
JP6525888B2 (ja) 2013-01-04 2019-06-05 ジョンソン コントロールズ テクノロジー カンパニーJohnson Controls Technology Company コンテキストに基づいた車両ユーザインターフェースの再構成
US9791921B2 (en) 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
US9747898B2 (en) 2013-03-15 2017-08-29 Honda Motor Co., Ltd. Interpretation of ambiguous vehicle instructions
US9286029B2 (en) 2013-06-06 2016-03-15 Honda Motor Co., Ltd. System and method for multimodal human-vehicle interaction and belief tracking
JP5750687B2 (ja) 2013-06-07 2015-07-22 島根県 カーナビ用ジェスチャ入力装置
DE102013213169A1 (de) * 2013-07-04 2015-01-08 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Kraftfahrzeugs in einem automatisierten Fahrbetrieb
DE102013110867A1 (de) 2013-10-01 2015-04-02 Scania Cv Ab Vorrichtung für ein Fahrzeug
US9630631B2 (en) 2013-10-03 2017-04-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
DE102013021834B4 (de) * 2013-12-21 2021-05-27 Audi Ag Vorrichtung und Verfahren zum Navigieren innerhalb eines Menüs zur Fahrzeugsteuerung sowie Auswählen eines Menüeintrags aus dem Menü
JP6546741B2 (ja) 2014-01-06 2019-07-17 ハーマン インターナショナル インダストリーズ インコーポレイテッド 車内通知提示のスケジューリング
CN106575476A (zh) * 2014-01-30 2017-04-19 波尔图大学 基于车辆网络的用于自主车辆的自动停车场的设备和方法
US20170052666A1 (en) * 2014-03-05 2017-02-23 Gm Global Technology Operation Llc Methods and apparatus for providing personalized controlling for vehicle
JP6394692B2 (ja) * 2014-03-12 2018-09-26 日産自動車株式会社 車両操作装置
EP3123459B1 (en) * 2014-03-26 2018-06-06 HERE Global B.V. Method and apparatus for identifying parking spaces for a group of vehicles
JP6269343B2 (ja) 2014-06-23 2018-01-31 トヨタ自動車株式会社 車両用操作装置
WO2016011353A1 (en) 2014-07-18 2016-01-21 Advaxis, Inc. Recombinant listeria strain expressing heterologous antigen fusion proteins and methods of use thereof
US9440660B2 (en) 2014-07-22 2016-09-13 Toyota Motor Engineering & Manufacturing North America, Inc. Method for remote communication with and through a vehicle
US9630318B2 (en) * 2014-10-02 2017-04-25 Brain Corporation Feature detection apparatus and methods for training of robotic navigation
US9508260B2 (en) * 2014-10-31 2016-11-29 Toyota Motor Engineering & Manufacturing North America, Inc. Method to improve parking space identification in autonomous driving
US10395535B2 (en) * 2014-12-02 2019-08-27 Operr Technologies, Inc. Method and system for legal parking
US9855890B2 (en) 2014-12-11 2018-01-02 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle interaction with external environment
US9639994B2 (en) * 2014-12-29 2017-05-02 Here Global B.V. Optimized parking system
US9448559B2 (en) * 2015-01-15 2016-09-20 Nissan North America, Inc. Autonomous vehicle routing and navigation using passenger docking locations
US10627813B2 (en) 2015-04-21 2020-04-21 Panasonic Intellectual Property Management Co., Ltd. Information processing system, information processing method, and program
JP6558733B2 (ja) 2015-04-21 2019-08-14 パナソニックIpマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム
US10139826B2 (en) * 2015-04-24 2018-11-27 Autonomous Solutions Inc. Apparatus and method for controlling a vehicle
US10096248B2 (en) * 2015-06-11 2018-10-09 Nissan North America, Inc. Parking lot mapping system
US9682707B1 (en) * 2015-08-27 2017-06-20 Waymo Llc Detecting and responding to parking behaviors in autonomous vehicles
DE102015115526A1 (de) 2015-09-15 2017-03-16 Visteon Global Technologies, Inc. Verfahren zur Zielerfassung von Zielobjekten, insbesondere zur Zielerfassung von Bedienelementen in einem Fahrzeug
CN108351221B (zh) * 2015-09-24 2021-10-08 苹果公司 用于生成交互式用户界面的系统和方法
US9827983B2 (en) * 2015-11-24 2017-11-28 Wellen Sham Automated vehicle parking
US10410113B2 (en) * 2016-01-14 2019-09-10 Preferred Networks, Inc. Time series data adaptation and sensor fusion systems, methods, and apparatus
US10108901B2 (en) * 2016-03-13 2018-10-23 Jay Curtis Beavers Systems and methods to use a mobile communications device for parking facility access
US20170329346A1 (en) * 2016-05-12 2017-11-16 Magna Electronics Inc. Vehicle autonomous parking system
US10308243B2 (en) * 2016-07-26 2019-06-04 Ford Global Technologies, Llc Vehicle remote park assist with occupant detection
US11080534B2 (en) * 2016-11-14 2021-08-03 Lyft, Inc. Identifying objects for display in a situational-awareness view of an autonomous-vehicle environment
US10372132B2 (en) * 2016-12-12 2019-08-06 Apple Inc. Guidance of autonomous vehicles in destination vicinities using intent signals
US10108191B2 (en) * 2017-01-06 2018-10-23 Ford Global Technologies, Llc Driver interactive system for semi-autonomous modes of a vehicle
US10118628B2 (en) * 2017-02-21 2018-11-06 Allstate Insurance Company Data processing system for guidance, control, and testing autonomous vehicle features and driver response
EP3409553B1 (en) 2017-06-01 2021-08-04 Honda Research Institute Europe GmbH System and method for automated execution of a maneuver or behavior of a system

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10045616A1 (de) * 2000-09-15 2002-03-28 Volkswagen Ag Verfahren zum automatischen Einparken eines Kraftfahrzeugs
DE10045616B4 (de) * 2000-09-15 2011-03-17 Volkswagen Ag Verfahren zum automatischen Einparken eines Kraftfahrzeugs
DE102009046912A1 (de) * 2009-11-20 2011-05-26 Robert Bosch Gmbh Verfahren und Einrichtung für die Fahrzeugführung
DE102012007984A1 (de) * 2011-09-13 2013-03-14 Valeo Schalter Und Sensoren Gmbh Rangiersystem und Verfahren zum automatischen Rangieren eines Kraftfahrzeugs, Kraftfahrzeug, tragbares Kommunikationsgerät und Computerprogramm
US20140074338A1 (en) * 2012-09-11 2014-03-13 Robert Bosch Gmbh Method and device for operating a driver assistance system of a vehicle
KR101281499B1 (ko) * 2013-03-15 2013-07-02 박수민 자동차 자동 운행 시스템
WO2015106867A1 (de) * 2014-01-15 2015-07-23 Robert Bosch Gmbh Verfahren zum autonomen parken eines fahrzeugs, fahrerassistenzvorrichtung zur durchführung des verfahrens, sowie fahrzeug mit der fahrerassistenzvorrichtung
CN103921788A (zh) * 2014-04-02 2014-07-16 奇瑞汽车股份有限公司 一种汽车行驶控制系统及方法
CN106103232A (zh) * 2014-04-09 2016-11-09 日立汽车系统株式会社 行驶控制装置、车载用显示装置和行驶控制系统
WO2016066353A1 (de) * 2014-10-27 2016-05-06 Robert Bosch Gmbh Verfahren und vorrichtung zum betreiben eines fahrzeugs
CN105835877A (zh) * 2016-03-25 2016-08-10 乐视控股(北京)有限公司 车辆控制方法、装置和泊车辅助系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210394746A1 (en) * 2020-06-18 2021-12-23 Faurecia Clarion Electronics Co., Ltd. In-vehicle device and control method
US11926313B2 (en) * 2020-06-18 2024-03-12 Faurecia Clarion Electronics Co., Ltd. In-vehicle device and control method
CN112158192A (zh) * 2020-06-24 2021-01-01 上汽通用五菱汽车股份有限公司 泊车控制方法以及泊车控制系统
CN113226886A (zh) * 2021-03-31 2021-08-06 华为技术有限公司 控制车辆行驶的方法、装置及车辆
WO2022205211A1 (zh) * 2021-03-31 2022-10-06 华为技术有限公司 控制车辆行驶的方法、装置及车辆
CN114808810A (zh) * 2022-04-12 2022-07-29 吉林大学 一种半自主交互式无人清扫车清扫系统及清扫方法
CN114808810B (zh) * 2022-04-12 2022-12-30 吉林大学 一种半自主交互式无人清扫车清扫系统及清扫方法

Also Published As

Publication number Publication date
CN115027451A (zh) 2022-09-09
CN110023178B (zh) 2022-05-10
US10372132B2 (en) 2019-08-06
EP4009130B1 (en) 2024-03-13
US11226625B2 (en) 2022-01-18
EP3532362A1 (en) 2019-09-04
US20180164817A1 (en) 2018-06-14
WO2018111569A1 (en) 2018-06-21
US20220137625A1 (en) 2022-05-05
EP3532362B1 (en) 2022-02-02
US20200026288A1 (en) 2020-01-23
EP4009130A1 (en) 2022-06-08

Similar Documents

Publication Publication Date Title
CN110023178A (zh) 使用意图信号指导目的地附近的自主车辆
US11244252B2 (en) Autonomous driving under user instructions and hailing methods
AU2020204157B2 (en) Arranging passenger pickups for autonomous vehicles
US10753763B2 (en) Autonomous driving under user instructions
US10496362B2 (en) Autonomous driving under user instructions
JP7153795B2 (ja) 自律型車両用のスマート標識
CN109219551A (zh) 道路状况抬头显示器
CN106062514A (zh) 与在机动车环境中的便携式装置有关的输入/输出功能
US20200126418A1 (en) Method and system for vehicle location
US11397436B2 (en) Autonomous driving under user instructions
US20220297716A1 (en) Autonomous Driving under User Instructions
US20240027218A1 (en) User preview of rideshare service vehicle surroundings
US11423778B2 (en) Device and method for controlling the output of driver information and for maintaining the attention of a driver of an automated vehicle
US20200041993A1 (en) Autonomous Driving under User Instructions
US20220122005A1 (en) Autonomous Driving under User Instructions and Hailing Methods
US11961019B2 (en) Autonomous driving under user instructions and hailing methods
US20200385019A1 (en) Bi-Directional Autonomous Vehicle
US20240112293A1 (en) Systems and Methods for Hailing and Using Autonomous Storage Vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant