CN109643166A - 自主车辆的基于手势的控制 - Google Patents

自主车辆的基于手势的控制 Download PDF

Info

Publication number
CN109643166A
CN109643166A CN201780053132.2A CN201780053132A CN109643166A CN 109643166 A CN109643166 A CN 109643166A CN 201780053132 A CN201780053132 A CN 201780053132A CN 109643166 A CN109643166 A CN 109643166A
Authority
CN
China
Prior art keywords
vehicle
option
display
occupant
options
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780053132.2A
Other languages
English (en)
Other versions
CN109643166B (zh
Inventor
S·M·赫兹
K·巴尔克
N-C·李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Computer Inc filed Critical Apple Computer Inc
Publication of CN109643166A publication Critical patent/CN109643166A/zh
Application granted granted Critical
Publication of CN109643166B publication Critical patent/CN109643166B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • B60K35/211—
    • B60K35/60—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/34—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating change of drive direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0016—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • B60K2360/146—
    • B60K2360/148—
    • B60K2360/334—
    • B60K2360/77—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/21—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B60W2720/106—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/24—Direction of travel

Abstract

检测到用于发起与车辆的乘员的基于手势的交互会话的触发条件。显示器填充有针对与车辆相关联的操作的一个或多个选项的表示。至少部分地基于对由乘员生成的一个或多个信号例如手势的分析，来选择特定选项用于具体实施。提供该特定选项已被选择的指示，并且发起对应于该特定选项的操作。

Description

自主车辆的基于手势的控制
技术领域
本公开整体涉及用于使用手势和乘员生成的其他信号来控制自主或部分自主车辆的运动的系统和算法。
背景技术
能够感知其环境并且在很少或没有来自乘员的持续输入的情况下导航到目的地的机动车辆因此被称为“自主”或“自动驾驶”车辆，是研究和开发的日益重点。考虑到在现实世界环境中通常可用于车辆轨迹的多种选择，关于选择车辆轨迹的乘员输入或指导(不需要传统的转向、制动、加速等)对于此类车辆的运动控制部件可能是非常有价值的。然而，提供针对此类指导的直观且易于使用的界面可能呈现非常重要的挑战。
发明内容
描述了用于自主或半自主车辆的基于手势的控制的方法和装置的各种实施方案。在至少一些实施方案中，方法可包括一个或多个计算设备，其检测到已经满足用于发起关于车辆乘员的基于手势的交互会话的触发条件。在一些实施方案中，检测到已经满足触发条件本身可包括分析或匹配由个人在交互区(乘员附近的三维区，其边界可以定制)内做出的特定手势或身体姿势。在其他实施方案中可以使用发起交互会话的其他模式，诸如使用有声命令，并且在一些实施方案中可以使用不同模态(例如，语音、手势、注视方向等)的信号的组合。该方法还可包括识别与车辆相关联的操作的一个或多个选项，其可是参与会话的乘员感兴趣的。可在不同的实施方案中识别各种各样的操作的选项，包括例如通过另一车辆、使车辆加速、使车辆减速、停放车辆、改变车辆移动的方向，或者生成在车辆外部可检测到的信号。可至少部分地基于对从车辆的外部环境收集的信号的分析来识别至少一些选项-例如，使用一个或多个相机或其他传感器。例如，基于车辆的位置和外部环境的视图，将车辆停放在特定建筑物(如餐厅或零售店)附近、将车辆转向另一条道路、进入或离开高速公路入口等等的选项可被识别。
该方法可包括用至少一些选项的相应表示来填充显示器。在一些情况下，可基于例如上下文信息(诸如一天中的时间、车辆的各种部件诸如汽油箱或电池的状态等)、个人简档或者乘员的喜好等为所识别的选项分配相应的兴趣得分或相关性得分。从所识别的多个选项中，最初可至少显示子集的表示(例如基于得分所选择的)；如果第一子集不包括乘员希望实施的选项，则可显示附加选项。至少部分地基于对乘员所做出的特定手势的分析(例如，交互区内的轻扫手势，或交互区内的手部的一些其他类型的位移)，和/或来自该交互区的一些其他信号，来自乘员的一些其他信号，可选择一个或多个选项的特定选项用于具体实施。可提供所选择的特定选项的指示(例如，通过在显示器上突出显示该选项的表示)，并且可发起对应于特定选项的操作。在一些实施方案中，在向乘员指示该选择之后，在发起相应操作之前可能需要确认或批准所选选项的另一手势或信号。
在不同的实施方案中可使用各种显示器，诸如结合在车辆内或附接到车辆的抬头显示器、三维显示器、可由乘员佩戴的可穿戴设备(诸如增强现实头戴式耳机或眼镜)的显示器、电视屏幕或便携式计算设备的显示器。在一些实施方案中，即使在交互会话未进行的时间段期间，也可识别与车辆相关联的操作的选项。在一些此类实施方案中，除非已经开始交互会话，否则可在显示器上提供选项的灰色或不再强调表示；一旦会话正在进行，可显示选项的增强表示而不是不再强调的表示。已经选择特定选项的指示可包括，例如，以下项中的一者或多者：在显示器上突出显示特定选项的表示、提供音频消息，或显示文本串。在各种实施方案中，可使用附加手势或信号明确地终止交互会话。当会话不在进行中时，在各种实施方案中可能不执行对乘员生成的至少一些信号的跟踪和/或分析。
在一些实施方案中，选项表示在显示器上的相对定位可至少部分地基于外部环境中对应实体的相对空间位置。例如，如果在道路左侧的百货商店停车是为车辆识别的一个选项，并且在道路右侧的加油站停车是另一种选择，则百货商店选项的表示可放置在显示器上加油站选项表示的左侧。
根据一些实施方案，系统可包括一个或多个传感器设备和一个或多个交互管理设备。交互管理设备可至少部分地基于在一个或多个传感器设备处收集的数据来检测已经满足触发条件以用于发起关于车辆的乘员的基于手势的交互会话。可识别对应于与车辆相关联的操作的一组选项，诸如对车辆轨迹的若干可能的改变。可通过显示器向乘员提供至少一些选项的表示。至少部分地基于对使用在一个或多个传感器设备处收集的数据来检测的乘员所做出的特定手势的分析，可选择一个或多个选项的特定选项用于具体实施。可向乘员提供已经选择了特定选项的指示，并且可发起与特定选项相对应的操作。
根据另一实施方案，非暂态计算机可访问存储介质可存储程序指令，该程序指令在一个或多个处理器上执行时检测到已经满足触发条件以发起关于车辆乘员的基于手势的交互会话。可识别对应于与车辆相关联的操作的一个或多个选项。可用至少一些选项的表示来填充显示。至少部分地基于对从乘员获得的特定手势或一些其他信号的分析，可选择其中一个选项用于具体实施。可向乘员提供选择的指示，并且可发起对应于特定选项的操作。
附图说明
图1示出了根据至少一些实施方案的示例系统环境，其中诸如自主车辆的轨迹变化的操作可至少部分地通过手势来引导。
图2示出了根据至少一些实施方案的包括多个传感器的示例性车辆环境，所述多个传感器可收集可被分析以响应来自车辆乘员的手势或其他信号的数据。
图3a和图3b示出了根据至少一些实施方案的可用于从针对车辆的移动显示的选项中进行选择的手势的示例。
图4a、图4b和图4c示出了根据至少一些实施方案的可用于发起和终止交互会话的手势的示例。
图5示出了根据至少一些实施方案的交互元数据条目的示例内容。
图6示出了根据至少一些实施方案的示例场景，其中车辆操作的选项可以相对于彼此排名。
图7示出了根据至少一些实施方案的示例时间线，该时间线示出了即使交互会话未在进行中也可识别车辆操作的选项的时间段。
图8示出了根据至少一些实施方案的交互管理设备的示例子组件，其分析多模态信号以显示和选择一个或多个个人感兴趣的操作的选项。
图9是示出根据至少一些实施方案的可在实现基于手势的显示和车辆操作选项的选择的系统处执行的操作的各方面的流程图。
图10示出了根据至少一些实施方案的示例场景，其中可在建筑物的房间内执行基于手势的显示和操作选择。
图11是示出可在至少一些实施方案中使用的示例计算设备的框图。
尽管这里通过举例的方式针对若干实施方案和说明性附图描述了实施方案，但是本领域技术人员将认识到，实施方案不限于所描述的实施方案或附图。应当理解，附图和对其的详细描述不旨在将实施方案限制为所公开的特定形式，而相反，本发明旨在涵盖落入所附权利要求书的实质和范围内的所有修改、等同物和另选方案。本文所使用的标题仅用于组织目的，并不旨在用于限制说明书或权利要求书的范围。如在整个本专利申请中所使用的那样，以允许的意义(即，意味着具有可能性)而非强制的意义(即，意味着必须)使用字词“可”。类似地，字词“包括”意味着包括但不限于。当在权利要求中使用时，术语“或”用作包含性的而不是排他性的或。例如，短语“x，y或z中的至少一者”表示x，y和z中的任何一者，以及它们的任何组合。
具体实施方式
图1示出了根据至少一些实施方案的示例系统环境，其中诸如自主车辆的轨迹变化的操作可至少部分地通过手势来引导。如图所示，系统100可包括几种类型的信号检测器，用于检测人体移动和其他人类行为，包括一个或多个手势检测器151以及用于其他信号模态(诸如注视或语音)的检测器153。信号检测器中的各个信号检测器可包括例如相应的传感器设备(例如，在注视检测器和手势检测器的情况下为摄像机和/或静物相机，在语音检测器的情况下为麦克风等)。对于包括手势的某些类型的信号，可在不同的实施方案中使用各种附加源，诸如深度相机、惯性传感器、电磁信号检测器、超声信号检测器、雷达信号检测器等。对于注视检测，除了静物相机或摄像机之外，在一些实施方案中可使用非基于相机的光学传感器或EMG(肌电图)传感器。
在所示实施方案中，可定义三维交互区141，在该三维交互区141内可以针对有关各个可能类型的操作的个体110的意图或目标来检测和解释诸如各种类型的手部移动143的手势。例如，在至少一些实施方案中，个体110可是自主或半自主车辆的乘员，并且在交互区内做出的手势可用于发起与负责车辆轨迹的组件的交互会话，从与车辆轨迹相关的可能选项中进行选择，和/或终止此类交互会话。交互区也可以称为手势捕获区。在至少一些实施方案中，在这样的交互会话期间也可以使用与其他模态(例如注视或语音)相对应的信号，例如，以确认或批准所选择的选项，以指示应重新生成或替换当前识别的候选选项集，等等。不同类型的信号(例如，手势相对于注视相对于语音)可被称为相应的信令模式或信号模态，并且分析来自个体的不同模态的信号组合以评估个体对各种选项的偏好可被称为多模态信号分析；因此，类似于图1所示的系统也可被称为多模信号分析系统。
在所示实施方案中，可使用一个或多个计算设备实现的一个或多个交互管理设备(IMD)185可确定已经满足用于开始与个体110的交互会话的触发条件。交互管理设备185可例如至少部分地基于由手势检测器151收集的数据来确定(a)乘员的肢体或四肢(例如，手部)的一部分已经进入交互区，(b)乘员的肢体或四肢的一部分在交互区内保持阈值时间间隔，和/或(c)已经被指定为会话发起信号的特定手势已由交互区内的乘员做出。在一些实施方案中，交互区的边界可是可定制的-例如，如果个体110是高的，可使用一个高度的交互区，并且如果个体是短的，则交互区可位于不同的高度。在一些具体实施中可动态地修改交互区的边界-例如，如果特定手势恰好在一个维度上略微延伸超出当前定义的交互区的边界，则尽管跨越边界，仍然可以检测和分析手势。在一些实施方案中，由于由个体110发出的语音命令、个体110的注视方向的改变，或者个体110的身体移动(例如，头部、颈部或躯干的移动)的结果，触发条件可被满足。
在各种实施方案中，可由IMD 185识别用于个体110可能感兴趣的操作的一组一个或多个选项。例如，在个体110是车辆的乘员的情况下，此类操作可包括使车辆加速或减速，如果车辆处于静止位置则开始车辆的移动，在右侧或左侧通过车辆，改变车道，将车停放在选定的停车场或停车位，转动车辆，生成可在车辆外部检测到的信号(诸如经过喇叭的声音信号或转向灯的闪烁)等等。在个体110位于建筑物的房间中的实施方案中，操作的示例可包括订购诸如披萨之类的特定物品、开始回放或流式传输电影或电视节目、使用恒温器或风扇调节房间温度等。识别个体可能感兴趣并且可由IMD发起的选项集合通常可能存在非平凡计算的问题，尤其是在移动车辆的情况下。用于对象识别、地图数据库分析、文化和时间背景分析，所涉及的个体的个人简档的分析等的算法可涉及各种实施方案。在一些实施方案中，IMD可包括分布式计算设备组，例如，其中一些计算可能在相对于个体110的远程位置处执行，并且一些计算在附近执行。
在所示实施方案中，显示器120可填充有一个或多个选项的相应表示。多种不同类型的显示器120，诸如附接到或结合在由个体占用的车辆内的抬头显示器，或结合在可穿戴设备中的显示器，诸如增强现实(AR)或虚拟现实(VR)耳机或眼镜可用于各种实施方案中。在一些情况下，可使用诸如智能电话、平板设备或膝上型电脑的便携式计算设备的显示器，或者可使用诸如电视屏幕的一些其他LCD/LED显示器。可在至少一个具体实施中采用3-D显示器。在至少一个实施方案中，可同时使用多个显示器。一般而言，在各种实施方案中，可设计或选择显示器以最小化观看它们所需的努力(诸如与改变注视方向或头部移动相关联的努力)。例如，如果个体是车辆的乘员并且正面向挡风玻璃并且通常通过挡风玻璃向外看，则显示器可能看起来结合在挡风玻璃内、挡风玻璃前面或挡风玻璃后面，这样个体就可以在不改变头部位置或注视方向的情况下看到显示内容。
在至少一个实施方案中，IMD 185和/或被配置为与IMD协作的其他设备可生成可以在显示器上指示的多个选项(例如，通过IMD 185的显示管理器组件187)，可从中选择选项的子集用于在给定时间点显示。例如，在个体110占用车辆的情况下，可至少部分地基于从一个或多个环境数据源152(诸如外部定向的相机、全球定位系统或GPS设备)收集的有关车辆的当前位置和环境的数据的分析来识别一些数量的选项。在一些实施方案中，通信设备155(可例如使用电话或无线信号)可用于从远程数据库获得可用于识别待显示的一个或多个选项的信息(诸如关于可能在附近的特定商店出售的产品的信息，或附近餐馆的菜单，个体110可能对这些感兴趣)。其相应表示可被显示的操作选项125的最大数量可以由IMD185基于各种因素来确定，诸如显示器的尺寸、个体110的指定偏好，和/或基于人类心理的指导(诸如指示提供超过N个选项的指南，可能会适得其反，特别是如果要做出相当快的决定)。在各种实施方案中，可将相应的兴趣得分分配给选项以相对于彼此对选项进行排名，如下面相对于图7进一步详细讨论的，并且得分最高的N个选项可包括在显示器120中。在一些实施方案中，在开始交互会话之前，可识别可以通过显示器120指示的可能选项(例如，当个体占用的车辆移动和外部环境改变时周期性地或接近连续地)。在一个此类实施方案中，选项可在会话开始之前在显示器120上以不再强调或后台模式(例如，灰色显示)显示，并且在会话期间以前景或增强模式显示。
从所呈现的选项中(例如，在显示器120上以举例的方式示出的选项121,122和123)，个体110可以选择一个用于在所描绘的实施方案中相应操作的具体实施。选项选择指示符127可代表个体110从一个所显示的选项移动到另一个，例如，基于个体在交互区141内做出的手势143。例如，如下所述，在一些实施方案中，个人110可在交互区141内向左“滑动”手部或手指以使指示符127向左移动或向右“滑动”手部或手指以使指示符127向右移动。由于从个体接收的信号指示符最终定位处或附近的特定选项以表示其操作将被实现的选项。各种选择指示符127可用在不同的实施方案中，诸如类似于图1中所示的星形图标的图像或图标，突出显示(例如，通过指示聚光灯)、改变颜色(例如，以绿色显示所选选项，而其他选项以灰色显示)，使所选选项的表示而不是其他选项的表示更清晰地聚焦在显示屏上，在选项表示的附近或上方显示文本字符串，诸如“选定”或“确定”等。
在一个实施方案中，在个体选择了选项并且已经向个体提供所选选项的指示之后，可进行额外的交互以确认选择。例如，可在交互区内做出另一个手势以指示个体对该选项的批准，或者可由个体发出声音确认。在其他实施方案中，可能不需要这种额外的批准互动。IMD 185可使得与所选择的选项相对应的一个或多个操作被发起。例如，在车辆场景中，一个或多个指令或命令可由IMD的操作发起者子组件189发送到车辆运动控制子系统，诸如制动子系统、加速子系统、转向子系统等，使车辆改变其轨迹或速度。在至少一个实施方案中，个体110可明确地终止交互会话，例如，使用另一个手势143或一些其他信号。在其他实施方案中，例如，如果在某个时间间隔期间个体在交互区中没有做出手势143，或者如果个体110占用的车辆的行程结束，则可隐含地终止交互会话。在会话终止之后，在一些实施方案中，对个体生成的至少一些信号(包括例如手势143)的详细监视可中断至少一段时间(例如，监控新会话发起信号除外)。
不是(除了)手势之外的信号模态可用于至少一些实施方案中的上述交互的各个阶段。例如，在一个实施方案中，可使用语音命令、注视方向改变等来开始(和/或终止)交互会话。在一些实施方案中，其他方式可用于选项选择和/或批准/确认。在一个实施方案中，可以使用音频而不是视觉显示向个体指示选项。在各种实施方案中，IMD 185可被配置为利用若干备选模态的任何组合来确定要执行的操作-例如，可以使用不同的模态来开始会话，而不是用于指示选项的选择，或者模态的组合可用于识别所选择的选项所涉及的一个或多个步骤。可将一种信号模态与另一种信号模态区分开，例如，基于(a)作为信号源的身体的特定部分(例如，眼睛与手部与声音系统)和/或(b)用于捕获和分析信号的技术和媒体(例如，通过摄像机捕获物理移动，然后执行移动分析算法，与捕获语音信号，然后执行语音识别和自然语言处理算法)的某种组合。
在各种实施方案中，注视和手势都可提供关于感兴趣的潜在操作的方向信息：例如，在一些实施方案中，个体在某个时间点的注视可以通过从个体眼睛之间的点延伸的三维矢量来表示，表明个体正在寻找的方向(从而潜在地帮助识别感兴趣的对象或目的地，尤其是当与手势的分析结合时)。在一些实施方案中，注视检测器可捕捉特定类型的眼睛移动，诸如平滑追踪(其中眼睛跟随移动的视觉目标)、自愿扫视(其中眼睛在固定点之间快速移动)和/或聚散(其中，改变两只眼睛的取向之间的角度以相对于特定的一组物体保持单个双目视觉)。
在一些实施方案中，可使用自然语言分析技术和算法，例如，与基于手势的分析一起，来确定个体110感兴趣和/或选择的选项。虽然注视、手势和语音是本文档中最常用作的示例的模态，但是本文描述的技术可应用于对应于任何期望模态的信号，并且不限于注视、手势或语音。在各种实施方案中，给定信号检测器(例如，手势检测器151、环境数据源152或其他模态检测器153)还可包括能够执行至少一些初始水平的分析或过滤所收集信号、缓冲所收集的信号、为各组信号或单个信号分配时间戳或其他定时指示符、接收与所述收集关联的配置指令或命令、分析或过滤信号、以及将原始和/或处理过的信号发送到一个或多个目的地的硬件和/或软件。至少一些信号检测器可将时间戳或其他定时信息与原始信号本身一起存储-例如，可使用所收集的信号来确定进行特定手势的时间，和/或安排诸如头部或颈部移动(头部的点头或摇动)、躯干移动(诸如朝向或远离某些物体的身体弯曲)、注视方向的改变以及时间顺序的发声信号之类的事件。
在以下大部分描述中，用于使用手势分析或多模态分析在个体感兴趣的各种选项中进行选择的技术和算法在由个体占用的车辆(例如，移动车辆)的背景下呈现。然而，在各种实施方案中，类似的技术和算法可在其他环境和背景中同样成功地使用，诸如当个体在建筑物的房间内、行走时等等。
图2示出了根据至少一些实施方案的包括多个传感器的示例性车辆环境，所述多个传感器可收集可被分析以响应来自车辆乘员的手势或其他信号的数据。提供了车辆乘员区的简化俯视图210。车辆可例如包括汽车、卡车、高尔夫球车、全地形车等。在至少一些实施方案中，车辆的至少一些移动可能不需要直接的人为控制-例如，车辆可能能够自动停车、在某些条件下驾驶而不受人类的引导，等等。即使至少一些物体或区在更逼真的描绘中实际上可能不会同时可见，可在车辆中相对于彼此位于不同深度(并且因此可以彼此遮挡或通过其他物体遮挡)的物体和区被示出。如箭头259所示，车辆可在图2中从左向右移动。在所示实施方案中，车辆可包括两排座位区域：前座位区域202和后座位区域205。例如，在一种情形中，两个乘员可坐在每个座位区中。
车辆的信号检测部件可被设计为捕获来自乘员的手势、注视和/或语音信号，以及来自车辆外部的环境信号。各组面向内部的相机和麦克风(IFCM)222，诸如IFCM 222A-222D，可配置成捕获来自乘员的移动的指示。尽管示出了四个IFCM，使得各个IFCM可以用于在四个乘员场景中捕获来自各个乘员的信号，但是在各种实施方案中，IFCM和乘员之间的关系不需要是一对一的。例如，在一些实施方案中，单个相机和/或单个麦克风可用于收集来自多个乘员的信号，并且相反地，多个相机和/或麦克风可用于在某些条件下捕获单个乘员的信号。在一些情况下，IFCM 222和乘员之间的映射可随着占用而改变-例如，如果在某个时间段期间仅有两个乘员，则可将两个IFCM指向每个乘员；之后，如果另外两个乘员占用车辆，则可将一个IFCM指向每个乘员。
在所示实施方案中，四个面向外部的相机(EFC)221A-221D可捕获可从移动车辆的各个部分看到的场景。与IFCM一样，在至少一些实施方案中，EFC与乘员之间的关系不一定必须是1：1。本地交互管理设备(IMD)225可位于图2的车辆中，例如，附接到内部顶部或座椅下方。在一些实施方案中，本地IMD组件225可执行由IFCM和EFC收集的信号的至少一些分析，以帮助识别车辆乘员感兴趣的操作的候选选项。在其他实施方案中，本地IMD 225可将一些或全部信号分析和解释工作负载卸载到数据中心的一个或多个服务器-例如，本地组件可将信号的表示发送到服务器，接收在服务器处执行的分析的结果等等。除了前显示器234之外，车辆还可以包括一个或多个后显示器(RD)，诸如在所示实施方案中的RD 233A和234。由交互区271内的一个或多个乘员做出的手势可用于发起/终止交互会话，在使用前显示器234和/或后显示器233显示的选项中进行选择，批准与显示器上指示的选定选项对应的操作，等等。在至少一些实施方案中，可在车辆内建立多个交互区271，例如，针对各个乘员。在一些情况下，可使用从若干不同乘员收集的信号来获得关于要执行的操作的指导-例如，当组合地分析时，车辆的两个或更多个乘员的手势或注视变化与单独检查单个乘员的信号相比可以提供所选选项的更清晰的指示。
图3a和图3b示出了根据至少一些实施方案的可用于从针对车辆的移动显示的选项中进行选择的手势的示例。在图3a和图3b中，在显示器320内示出了三个选项的相应表示以及相应的文本描述(在至少一些实施方案中，文本描述不需要包括在显示器中，并且在图3a和图3b示出以解释选项的图形表示)。在显示所示选项时，假设车辆处于所描绘的示例中的三车道高速公路或道路的中间车道，并且假设外部环境传感器已经检测到另一车辆在前方且在中间车道存在(以低于结合显示器320的车辆的速度移动)。选项321对应于将导致车辆移动到道路或高速公路的左车道的操作。选项322对应于停留在中间车道并使车辆减速，而选项323对应于移动到右车道。在至少一些实施方案中，除了指示移动方向的直接箭头之外，表示还可提供一个或多个视觉提示。例如，表示不同选项的箭头的长度可指示相对速度。因此，选项322所示的较短箭头可表示减速，而选项321和323的较长箭头可表示可以保持当前速度。在一个实施方案中，还可关于一个或多个选项示出表示前方车辆的图标。在后一种情形中，可以明显看出，选项321不仅对应于进入左车道，而且对应于通过(或至少试图通过)另一车辆。
在图3a和图3b所示的实施方案中，作为正在进行的交互会话的参与者的车辆的乘员可使用“向左滑动”手势343将选择指示符327向左移动(图3a)并且向右滑动手势344以将选择指示符向右移动(图3b)。因此，所使用的手势检测器或多个手势检测器可基于捕获交互区341内的乘员的手部的视频或静止图像，确定手部相对于手部的初始位置的位移方向，并且使用该位移方向以引起选择指示符327的类似位移(如标签345和348所指示的)。在应用位移之后，指示符327最接近(或在其上)的特定选项可被指定为所描绘的实施方案中的所选选项。在一些实施方案中，可使用附加手势(或其他模态的信号)来批准或确认在显示器320上指示的选择-例如，“竖起大拇指”手势或说出“是”可用于此类批准。
图4a、图4b和图4c示出了根据至少一些实施方案的可用于发起和终止交互会话的手势的示例。在图4a中，根据会话发起协议441A，个体可通过简单地将手部移动到交互区440中来发起交互会话，并且在交互区内保持手部相对静止一段时间，该时间段不短于“t“秒。在图4b中，根据不同的会话发起协议441B，在交互区440中在“t”秒内“n”个手部向右的重复短距离移动可触发交互会话的发起。发起会话后，在会话进行的时间间隔期间，可能不再以相同的方式解释用于发起会话的手势。因此，例如，在使用图4b所示的协议开始的会话期间，“n”个手部向右的重复短距离移动可以其他方式解释-例如，相反它们可能会导致选择指示符的连续位移。
图4c指示根据会话终止协议442，交互区440内的所选择的时间间隔内的手部的三个向左短距离移动将终止交互会话。一般来讲，当选择用于发起和终止交互会话的各种手势时，可尝试选择不寻常的手势，以避免导致交互会话无意中开始或终止。在一些实施方案中，因此可使用模态的组合-例如，可单独使用语音命令或者与手势组合使用语音命令来发起/终止会话。
如图3a-图4c中所示的示例所示，可检测和解释许多不同的手势类型以显示和选择个体感兴趣的操作的选项。在一些实施方案中，手势(或其他信号)与各种事件(诸如交互会话发起或终止)之间的映射可是可定制的，例如，基于每个个体，并且可将这种映射的指示存储为交互管理设备可访问的元数据条目。
图5示出了根据至少一些实施方案的交互元数据条目的示例内容。在所示实施方案中，包括一组信号映射和相关设置的相应元数据条目505被示出用于与车辆(或一组车辆)相关联的两个个体，该车辆的操作将通过手势和/或其他类似信号来引导。条目505A可对应于配备有上述类型的一个或多个交互管理设备的特定车辆的所有者，而条目505B可以对应于所有者的家庭成员。
除了其他元素之外，给定元数据条目505可包括身份指示符507(例如，分别用于所有者和家庭成员的507A或507B)、操作类别许可508(例如，508A或508B)、会话发起信号509(例如，508A或508B)、选项选择指示符控制信号510(例如，510A或510B)、选择批准信号511(例如，511A或511B)和/或会话终止信号512(例如，512A或512B)。在各种实施方案中，可为与给定车辆或给定集合的交互管理设备相关联的众多其他个体定义类似条目。可例如使用配置工具来设置条目的内容，配置工具本身可以是手势驱动的或者使用所选择的信号模态来驱动。
身份指示符507可定义交互管理设备如何(例如，使用一个或多个生物识别指示符、密码等)识别待显示、选择或基于其进行的操作的选项所代表的个体。在一些实施方案中，用于身份检测的要匹配的数据(例如，生物识别签名或密码，在某些具体实施中可能是基于语音的)也可以存储在元数据条目505中。在其他实施方案中，用于识别个体的数据可存储在不同的存储库中。
在一些实施方案中，并非所有与给定交互管理设备交互的个体都可被允许发起相同的动作集。例如，所有者的孩子可被授予与所有者不同的许可权限-虽然可允许所有者改变车辆的轨迹，但是可仅允许儿童请求关于旅程中遇到的建筑物或地点的信息。一个或多个交互管理设备要在针对给定个体的显示器上考虑和表示的特定类型的操作可由操作类别许可508来管理。在一些实施方案中，相对优先级也可被分配给可能恰好在同一时间占用车辆的不同个体-例如，所有者的交互会话可被授予比与其他乘员的交互会话更高的优先级。在将优先级分配给不同个体的一个实施方案中，在较高优先级会话正在进行时可能不允许较低优先级的交互会话。
可用于开始和停止交互会话的会话暂停信号509和终止信号512可在所描绘的实施方案中针对不同的个体进行定制。因此，所有者可使用特定信号或手势来开始会话，而家庭成员可以使用不同的信号或手势。选项选择指示符控制信号510可用于围绕正在使用的显示器移动指示符(类似于图3中所示的星形指示符327)，和/或选择指示选择的方式(例如，通过特定符号、通过突出显示或焦点改变、颜色编码等)。选择批准信号511可指示在选择了特定选项之后，个体是否以及如何在所描绘的实施方案中指示或确认对选择的批准。在一个实施方案中，还可在其元数据条目505中为各个个体指示交互区的边界和/或位置。注意，至少在一些实施方案中，图5中所示的一些类型的元数据输入元素可能不被使用。在一个实施方案中，此类元数据可不被使用或存储，相反，预定义类型的信号或手势可用于所讨论的各种选择中的每者。
在一些实施方案中，如上所述，可识别多个用于操作的选项，必须从其中选择子集用于在给定时间显示。图6示出了根据至少一些实施方案的示例场景，其中车辆操作的选项可相对于彼此排名。在所示实施方案中，车辆610沿着道路611从左至右移动。在外部环境602中，可识别四个不同的建筑物：左侧的百货商店646和餐厅647，以及右侧的图书馆648和加油站649。建筑物的相对位置可以如下：对于左侧，百货商店可以比餐厅更近，而对于右侧，图书馆可以比加油站更近。
车辆610的交互管理设备可能够识别被示为车辆的潜在目的地的四个建筑物或位置，例如借助于从地图数据库检索的数据、图像识别算法等。如表622所示，可针对至少一些目的地估计相应的相关性得分或兴趣得分，指示每个目的地被车辆610的乘员选择的可能性。在一些情况下，这种兴趣得分可使用机器学习或人工智能算法来生成。在一些实施方案中，所使用的算法可包括多个规则或启发法的表示。然后可使用分数来相对于彼此对目的地选项进行排名，并选择要在显示器620中表示的目的地的子集。
在至少一些实施方案中，当识别出多个潜在候选操作或选项时，可结合多模态信号数据分析上下文信息，并且可使用上下文信息为至少一些候选者预测相应的兴趣/相关性分数。可在各种实施方案中使用几种不同类型的上下文相关信息中的任何一种，包括例如地理上下文、文化上下文、会话上下文(例如，在要识别选项的时间之前在车辆中讨论的主题)、或所涉及的一个或多个体的个人简档信息(其中可能包括个体以前的选择历史、关于美食、零售店、酒店的偏好等)。在至少一些实施方案中，从乘员收集的注视和/或手势数据也可用于分配兴趣/相关性分数。在一些实施方案中，在交互区外收集的手势数据可以用于评估特定目的地的兴趣水平-例如，如果车辆610的乘员看起来指向百货商店646并对商店做出肯定评论，则商店的相关性得分可以设置为更高的值。
在所描绘的示例场景中，预测得分位于0到1的范围内，较高得分表示相应目的地是预期的较高预测概率或车辆乘员的优选目的地。基于对乘员信号的分析、乘员以前访问商店的历史等，可为百货商店646分配相对高的分数0.6。餐厅647可被分配0.25的分数，例如，基于当前时间不对应于进餐时间的事实，和/或使用其他上下文信息，诸如车辆乘员的烹饪偏好。可以为图书馆648分配较低的分数0.1，而可为加油站分配四个目的地的最低分(0.01)(例如，基于确定车辆的储气罐已满或接近满)。
交互管理设备可能已经确定要显示最多三个目的地选项。因此，基于它们的相对排名，可在显示器620上显示在百货商店、餐馆和图书馆停车的选项，而在所示实施方案中可以不示出(至少最初)加油站选项。在至少一些实施方案中，显示器620内的不同选项的相对放置或布置可至少部分地基于对应的现实世界实体的相对位置。因此，如果相对于实体E1生成选项O1，则相对于不同的实体E2生成选项O2，并且E1在现实世界中位于E2的左侧(如车辆的乘员所看到的)，O1的表示可位于正在使用的显示器内的O2的表示的左侧。在所示的示例中，由于商店646和餐厅647位于道路611和车辆的左侧，所以在商店和餐厅停车的选项显示在显示器620的左侧，而在图书馆停车的选项显示在显示器620的右侧。可生成各个图标656,657和658以表示目的地，而显示器620中的箭头的长度和方向可指示目的地的相对距离和方向(近似的，不一定是按比例的)。例如，由于餐厅比百货商店更远，因此餐馆选项可以使用比用于百货商店选项更长的箭头，等等。响应于选择所显示的选项中的特定一者(例如，使用上面讨论的一些手势和/或其他信号)，可以使车辆610移动到并停放在与所选择的选项相对应的建筑物或位置附近。
有时可能是车辆610的乘员未显示(至少最初)的选项，例如，由于不良相关性预测和/或因为交互管理设备无法识别适当的选项集。在一些具体实施中，参与交互会话的个体可使用信号(例如，特定手势)来实际上请求显示一组新的选项，或者请求关于所显示的选项的附加信息。例如，如果乘员拒绝图6的显示器620中所示的选择，可更新显示器以显示代表加油站的选项(和/或其他选项)。
取决于具体情况(例如，是否在外部环境快速变化的快速移动车辆内建立交互会话，或者是否在更静态的情况下建立交互会话)，可能需要大量处理来生成在交互会话期间要显示的一组选项。在一些实施方案中，至少一些可能对于个体感兴趣的操作的选项可持续识别，例如无论会话是否成立，使得如果/当建立会话时开始显示选项所花费的周转时间减少了。图7示出了根据至少一些实施方案的示例时间线，该时间线示出了即使交互会话未在进行中也可以识别车辆操作的选项的时间段。
沿时间线705示出了与移动车辆相关联的一系列事件，其包括交互管理设备和上述类型的传感器。在时间T0处，开始车辆的特定行程。如元素704所指示的，在行程开始之后的某个时间T1开始行程与车辆的乘员的第一次交互会话。在T0和T1之间，例如，基于在车辆的外部环境中检测到的实体或物体，识别和更新乘员可能感兴趣的操作选项(如元素702中所示)。在一些具体实施中，与在不进行交互会话的时段期间识别选项相关联的处理可以以相对较低的优先级执行-例如，如果用于检测选项的计算资源也可以用于其他功能，那么这些其他功能可以被授予更多的计算周期，而更少的计算周期可以用于选项识别。在其他具体实施中，无论会话是否正在进行，选项识别的计算的优先级都不会改变。因为会话尚未在T0到T1时间段中发起，所以在某些情况下，所识别的选项可以不再强调(例如，灰色)或背景模式(如显示状态720A中所示)来显示，或者可能根本没有显示选项。在一些实施方案中，即使显示继续更新，也可在交互会话未进行的时间段期间不显示选择指示符(例如，显示状态720B中所示的星形元素722)。这样，显示器上选择器的存在可指示在这样的实施方案中会话正在进行中。
在时间T1开始会话之后，选项的标识可在会话期间继续，但是显示选项的方式可以改变。在间隔T1-T2期间，当会话正在进行时，选项可以增强或前景模式(例如，不是灰色)显示，如显示状态720B所示。选择指示符可在会话正在进行时显示在显示器上，并且可使用上面讨论的各种手势和/或其他信号来移动以使得所选择的选项被识别和实现。在至少一种情况下，如果特定选项仍然可行，则可在会话开始之后以增强模式显示在会话开始之前以背景或灰色模式显示的特定选项。在会话未激活的时间段期间以低优先级执行选项标识处理的一些实施方案中，可在会话正在进行的时间段期间增加处理的优先级。
在会话终止之后，显示器可以再次转换到显示状态720C中指示的后台模式，尽管识别新选项的过程可以继续。如显示状态720A、720B和720C中所示的不同形状(和不同数量的形状)所示，该组选项可随时间改变，例如，当车辆移动时。
图8示出了根据至少一些实施方案的交互管理设备的示例子组件，其分析多模态信号以显示和选择一个或多个个体感兴趣的操作的选项。在各种实施方案中，可使用本地和远程(关于与正在处理其信号的个体的接近程度)计算资源的分布式组合来实现交互管理设备(IMD)的功能。例如，在一个实施方案中，手势、注视和/或语音信号的收集可在个人占用的车辆内执行，而至少一些信号分析可在远程数据中心执行，从该远程数据中心向车辆内的本地系统组件建立网络连接。在各种实施方案中，至少一些分析可在局部组件(例如，在上述示例中包含在由个体占据的车辆内的组件)处执行。
如图所示，在所示实施方案中，IMD 810可包括手势识别器/匹配器812、语音识别器814、兴趣/相关性得分器816、元数据管理器820、响应发生器822、反馈收集器824和/或通信管理器826。在一些具体实施中，图8中所示的IMD的各个子组件可包括一个或多个硬件和/或软件设备、模块或进程/执行的线程。在至少一个实施方案中，IMD的一些功能(诸如手势识别或对象识别)可涉及使用单独的框架或服务-例如，可由IMD 810调用支持卷积神经网络模型的机器学习框架以用于对象识别。
在一些实施方案中，可以原始或部分处理的形式提供从用于手势检测的传感器(例如，图1的传感器151，诸如静物相机或摄像机)收集的信号，作为对手势识别器/匹配器812的输入。可从元数据管理器820访问指示如何解释或匹配手势的元数据。在一些情况下，如前所述，手势可用于发起和终止会话。还可通过将元数据中指示的手势种类与参与会话的个体做出的手势种类相匹配来识别感兴趣的操作的候选选项。语音识别器814可负责确定由个体发布的语音令牌的内容，例如，使用各种自然语言处理算法。在至少一些实施方案中，语音识别器814可被训练以识别特定个体的语音-例如，在某些时间间隔内训练一个个体的语音模式的给定语音识别器可能能够比其他个体说出的单词更准确地区分该个体所说的单词。
兴趣/相关性得分器816可例如利用所描绘的实施方案中的上下文分析器818来得到图6中所示有关各种候选选项的各种分数或排名。上下文分析可包括，例如，确定在选项标识的特定迭代之前(和/或之后不久)讨论的主题或对象(如果有的话)。在至少一些实施方案中，几种不同的界面类型可用于显示和选择选项，包括例如抬头显示器、触摸屏、AR耳机显示器等。响应生成器822可从可用接口中适当地选择选项的格式表示和选择指示符，并通过所选择的接口呈现表示。
反馈收集器824可协调信号分析，该信号分析指示在所描绘的实施方案中是否足够快地和/或足够准确地(从参与交互会话的个体的角度)识别选项。在以分布式方式执行所收集信号的分析的那些实施方案中，通信管理器826可以负责选择和利用适当的通信机制(例如，使用电信提供商基础设施、Wi-Fi路由器等的无线通信，通过以太网等的有线通信)用于多模态信号分析的消息。通信管理器826可例如利用类似于图1的通信设备155的设备。在至少一些实施方案中，可不采用图8所示的子组件中的一者或多者，或者IMD可利用另一组子组件。取决于IMD的本地组件的计算能力，在一些实施方案中，例如在位于一个或多个数据中心的服务器处，可在远程组件处执行大部分分析。可以将处理结果的至少一些结果从远程组件发送回本地组件或本地用户界面，以便可将结果提供给参与交互会话的个体。
图9是示出根据至少一些实施方案的可在能够基于手势的显示和车辆操作选项的选择的系统处执行的操作的各方面的流程图。如元素901中所示，系统的一个或多个计算设备(诸如交互管理设备)可检测到已经满足用于发起与个体的基于手势的交互会话的触发条件。例如，个体可是半自动或自动车辆的乘员。在各种实施方案中，触发条件可包括，例如，在特定交互区内用手部做出的手势、有声命令、手势和听觉命令的组合等等。然后可开始识别、显示和作用于个体感兴趣的操作的选项的迭代过程。
作为给定迭代的一部分，可能是个体感兴趣的并且可由系统的组件实现或发起的用于各种操作的下一组选项(例如，改变个体占用的车辆的轨迹或停放车辆的操作)可以被识别和/或排名(元素904)。选项可根据环境而改变-例如，当个体占用的车辆移动时，可识别轨迹变化和/或停车位的新选择。在各种实施方案中，可使用许多外部环境数据源(诸如各种相机)来识别选项。在一些实施方案中，还可使用诸如个体的个人简档、个人选择的先前操作的历史、一天中的时间等的上下文信息来相对于彼此识别和/或排列选项。
可使用所识别的选项的至少一个子集的表示来填充显示器(元素907)(诸如结合在车辆内的抬头显示器，或增强现实可穿戴设备的显示器)。根据所识别的选项的数量和/或它们的相对排名，可能不会显示一些所识别的选项(至少最初)-例如，如果显示器不足以显示多于N个选项的表示，并且识别出(N+k)个选项，则可以选择N个选项的子集以包括在显示器中。
基于来自个体的一个或多个信号/手势，可选择特定的一个选项用于具体实施(元素910)。例如，个体可在交互区内使用轻扫或其他类似手势以在显示器上将选择指示符从一个选项移动到另一个选项，直到选择指示符位于个体想要实现的选项附近或其上。实际上已经选择了特定选项的指示可通过显示器(元素913)提供，例如通过突出显示选项的表示或使用特殊符号或图标。在一些实施方案中，还可可选地执行批准选择的添加步骤，例如，使用另外的手势或信号(元素916)。在所描绘的实施方案中，交互管理系统或设备可使得对应于所选择的选项的一个或多个操作被发起或执行(元素919)。
在各种实施方案中，交互会话可以由个体终止，例如，使用类似于先前在图4的上下文中讨论的基于手势的终止协议。也可以隐含地终止会话，例如，当达到个体占用的车辆的行程的目的地时。如果和当会话被明确地或隐含地终止(其可以在对应于元素922的操作中被检测到)时，系统可以停止(至少暂时地)跟踪(除了会话发起信号之外的)个体的信号/手势(元素925)。如果会话尚未终止，则可开始选项识别、显示、选择和实现的下一次迭代，并且可重复与元素904相对应的操作。
应当注意，在各种实施方案中，除了图9的流程图中所示的操作之外的至少一些操作可用于实现涉及上述手势和/或多模态信号分析的交互管理技术。所示的一些操作可能在一些实施方案中不实现，或者可以不同的顺序实现，或者并行实现而不是顺序实现。
一般而言，上述基于手势的交互管理的技术和算法可以在移动环境中(例如在诸如图2所示的车辆的情况下)以及静止环境中同样成功地使用。图10示出了根据至少一些实施方案的示例场景，其中可以在建筑物的房间内执行基于手势的显示和操作选择。示出了房间1010(诸如零售商店或个体住宅内的房间)的俯视图。与进行多模态信号分析不直接相关的对象，诸如在起居室的情况下的家具，或在零售商店中存放的产品，未在图10中示出。房间1010可包括多个输入数据源(IDS)1021A-1021B，诸如各种相机、麦克风等。可使用所描绘的实施方案中的IDS 1021的一些组合从房间中存在的一个或多个个体捕获对应于上述种类的若干不同模态的信号，诸如手势或身体姿势、注视、语音等。个体本身可是静止的(例如，坐在椅子1029A或1029B上)，或者可是移动的(例如，从房间的一部分走到另一部分)。在一些实施方案中，至少一些输入数据源可以是可移动的(例如，可修改相机镜头或麦克风的取向以更清楚地捕获来自可能在房间内移动的个体的信号)。可以在房间1010内定义多个交互区1025(例如，三维空间的相应区，相对于识别和显示用于操作的选项解释由个体在该三维空间的相应区内做出的手势)，诸如区1025A和1025B，这可由坐在椅子1029A和1029B中的个体合理地舒适地达到。
基于交互区1025内的个体的一个或多个手势，和/或基于其他模态的信号，IMD(交互管理设备)1027可检测到将在所描绘的环境中发起交互会话。可基于各种因素识别用于各种操作的一组选项(例如从特定餐厅订购食物、开始演示电影或电视节目、更改恒温器设置等)，诸如分析正在进行的讨论、一天中的时间、个体选择的运营历史、外部环境等等。可经由显示器1022提供至少一些选项的表示。参与会话的个体可使用手势或其他信号来指示所选择的选项，并且可提供选择的视觉指示。在一些情况下，在指定选择之后，个体可以批准所选择的选项。然后，IMD 1027可以发起与所选择的选项相对应的一个或多个动作或操作。可跟随选项标识、显示、选择和实现的附加迭代，直到会话终止。
在至少一些实施方案中，实现本文描述的一种或多种技术的一部分或全部的服务器，包括收集、获取或处理各种类型信号(包括来自个体的手势、注视或语音信号以及指示个体外部环境的信号)并执行相应动作的技术(诸如，根据所选选项更改各种显示内容和发起操作)，可包括通用计算机系统，其包括或被配置为访问一个或多个计算机可访问媒体。图11示出了此类通用计算设备9000。在例示的实施方案中，计算设备9000包括经由输入/输出(I/O)接口9030耦合到主存储器9020(其可以包括非易失性和易失性存储器模块，也可以称为系统存储器)的一个或多个处理器9010。计算设备9000还包括耦合到I/O接口9030的网络接口9040，以及可包括各种类型的传感器的附加I/O设备9035。
在各种实施方案中，计算设备9000可是包括一个处理器9010的单处理器系统，或包括若干处理器9010(例如，两个、四个、八个或另一个合适数量)的多处理器系统。处理器9010可为能够执行指令的任何合适的处理器。例如，在各种实施方案中，处理器9010可以是实现多种指令集架构(ISA)(诸如x86、PowerPC、SPARC、或MIPS ISA、或任何其他合适的ISA)中任何指令集架构的通用处理器或嵌入式处理器。在多处理器系统中，处理器9010中的每个处理器通常可以但并非必须实现相同的ISA。在一些具体实施中，可使用图形处理单元(GPU)代替传统处理器，或者除了传统处理器之外，还可以使用图形处理器。
存储器9020可被配置为存储可由处理器9010访问的指令和数据。在至少一些实施方案中，存储器9020可包括易失性和非易失性部分；在其他实施方案中，可仅使用易失性存储器。在各种实施方案中，系统存储器9020的易失性部分可使用任何合适的存储器技术来实现，例如静态随机存取存储器(SRAM)、同步动态RAM或任何其他类型的存储器。对于系统存储器的非易失性部分(例如，其可包括一个或多个NVDIMM)，在一些实施方案中，可以使用基于闪存的存储器设备，包括NAND闪存设备。在至少一些实施方案中，系统存储器的非易失性部分可包括电源，诸如超级电容器或其他电力存储设备(例如，电池)。在各种实施方案中，基于忆阻器的电阻随机存取存储器(ReRAM)、三维NAND技术、铁电RAM、磁阻RAM(MRAM)，或者可使用各种类型的相变存储器(PCM)中的任何一种至少用于系统存储器的非易失性部分。在例示的实施方案中，实现一个或多个所需功能的可执行程序指令9025和数据1926，诸如上述那些方法、技术和数据，被示出存储在主存储器9020中。
在一个实施方案中，I/O接口9030可被配置为协调处理器9010、主存储器9020和各种外围设备之间的I/O流量，包括网络接口9040或其他外围接口，诸如各种类型的持久和/或易失性存储设备、用于注视信号收集的传感器设备、手势信号收集，外部环境信号收集、语音收集等。在一些实施方案中，I/O接口9030可以执行任何必要的协议、定时或其他数据变换，以将来自一个组件(例如，主存储器9020)的数据信号转换成适合于由另一个组件(例如，处理器9010)使用的格式。在一些实施方案中，I/O接口9030可包括对例如通过各种类型的外围设备总线诸如外围部件互连(PCI)总线标准或通用串行总线(USB)标准的变体所附接的设备的支持。在一些实施方案中，I/O接口9030的功能例如可被划分到两个或更多个单独部件中，诸如北桥和南桥。此外，在一些实施方案中，I/O接口9030诸如连接至存储器9020的接口的一些或所有功能可被直接集成到处理器9010中。
网络接口9040可被配置为允许在计算设备9000和连接到网络或多个网络9050的其他设备9060之间交换数据，例如，诸如图1至图10所示的其他计算机系统或设备。在各种实施方案中，网络接口9040可支持经由任何合适的有线或无线通用数据网络的通信，例如以太网网络的类型。另外，网络接口9040可支持经由诸如模拟语音网络或数字光纤通信网络的电信/电话网络，经由诸如光纤通道SAN的存储区域网络，或经由任何其他合适类型的网络和/或协议的通信。
在一些实施方案中，主存储器9020可是计算机可访问介质的一个实施方案，其被配置为存储如上面针对图1至图10所述的程序指令和数据，用于实现相应方法和装置的实施方案。然而，在其他实施方案中，可在不同类型的计算机可访问介质上接收、发送或存储程序指令和/或数据。一般而言，计算机可访问介质可包括非暂时性存储介质或诸如磁性或光学介质的存储介质，例如经由I/O接口9030耦接到计算设备9000的磁盘或DVD/CD。非暂态计算机可访问存储介质还可包括任何易失性或非易失性介质，诸如RAM(例如SDRAM、DDRSDRAM、RDRAM、SRAM等)、ROM等，其可包括在计算设备9000作为主存储器9020或其他类型的存储器的一些实施方案中。此外，计算机可访问介质可包括传输介质或诸如电信号、电磁信号或数字信号的信号，经由诸如网络和/或无线链路的通信介质传送，诸如可以经由网络接口9040实现。多个计算设备的部分或全部，诸如图11中所示的计算设备可用于在各种实施方案中实现所描述的功能；例如，在各种不同设备和服务器上运行的软件组件可以协作以提供功能。在一些实施方案中，除了使用通用计算机系统实现之外或代替使用通用计算机系统实现，可以使用存储设备、网络设备或专用计算机系统来实现所描述的功能的一部分。如本文所用，术语“计算设备”至少指所有这些类型的设备，并且不限于这些类型的设备。
结论
各种实施方案还可包括在计算机可访问介质上接收、发送或存储根据以上描述所实现的指令和/或数据。一般而言，计算机可访问介质可包括存储介质或存储器介质诸如磁介质或光介质，例如磁盘或DVD/CD-ROM、易失性介质或非易失性介质诸如RAM(例如SDRAM、DDR、RDRAM、SRAM等)、ROM等，以及传输介质或信号，诸如电信号、电磁信号或数字信号，经由通信介质诸如网络和/或无线链路来传送。
如附图中所示和本文描述的各种方法代表方法的示例性实施方案。该方法可以软件、硬件或它们的组合来实现。方法的顺序可改变，并且各种元素可被添加、重新排序、组合、忽略和修改等。
可作出各种修改和改变，这对于从本公开受益的本领域的技术人员来说将是显而易见的。旨在包含所有这些修改和变化，因此，以上描述被认为是说明性的而不是限制性的。

Claims (20)

1.一种方法，包括：
在一个或多个计算设备处执行：
检测用于发起关于车辆的乘员的基于手势的交互会话的触发条件已被满足；
用针对与所述车辆相关联的操作的一个或多个选项的相应表示来填充显示器，其中所述一个或多个选项中的至少一个选项至少部分地基于对从所述车辆的外部环境获得的一个或多个信号的分析；
至少部分地基于对由所述乘员做出的特定手势的分析来选择用于实现对应操作的所述一个或多个选项中的特定选项；
提供所述特定选项已被选择的指示；以及
使得对应于所述特定选项的操作被发起。
2.根据权利要求1所述的方法，其中所述检测所述触发条件已被满足包括确定以下项中的一者或多者：(a)所述乘员的肢体的至少一部分已进入交互区或(b)所述乘员的肢体的至少一部分已在交互区内保持阈值时间间隔。
3.根据权利要求1所述的方法，其中所述检测所述触发条件已被满足包括检测以下项中的一者或多者：(a)语音命令，(b)注视方向，或(c)所述乘员的身体移动。
4.根据权利要求1所述的方法，其中所述显示器包括以下项中的一者或多者：(a)结合在所述车辆内或附接到所述车辆的抬头显示器，
(b)三维显示器，(c)正由所述乘员穿戴的可穿戴设备的显示器或(d)便携式计算设备的显示器。
5.根据权利要求1所述的方法，还包括由所述一个或多个计算设备执行：
在检测所述触发条件已被满足之前，识别所述一个或多个选项中的至少第一选项；以及
在检测所述触发条件已被满足之前，经由所述显示器至少提供所述第一选项的不强调的表示；以及
在检测所述触发条件已被满足之后，在所述显示器上提供所述第一选项的增强表示。
6.根据权利要求1所述的方法，其中所述特定手势的所述分析包括识别所述乘员的手部相对于所述手部的初始位置的位移的方向。
7.根据权利要求1所述的方法，其中所述提供所述特定选项已被选择的所述指示包括以下项中的一者或多者：(a)在所述显示器上突出显示所述特定选项的表示，(b)提供音频消息，或(c)显示文本字符串。
8.根据权利要求1所述的方法，其中对应于所选择的选项的所述操作包括以下项中的一者：(a)经过另一车辆，(b)使所述车辆加速，(c)使所述车辆减速，(d)停放所述车辆，(e)改变所述车辆移动的方向，或(f)生成能够在所述车辆外部检测到的信号。
9.根据权利要求1所述的方法，还包括由所述一个或多个计算设备执行：
响应于检测到用于终止所述基于手势的交互会话的触发条件已被满足，停止对由所述乘员生成的一个或多个信号的分析。
10.根据权利要求1所述的方法，还包括由所述一个或多个计算设备执行：
在所述车辆的外部环境内识别多个实体，包括第一实体和第二实体；
相对于所述第一实体，生成针对与所述车辆相关联的操作的第一选项；以及
相对于所述第二实体，生成针对与所述车辆相关联的不同操作的第二选项；以及
其中所述填充所述显示器包括：
至少部分地基于在所述外部环境中所述第一实体相对于所述第二实体的相对空间位置来使用所述显示器相对于所述第二选项的第二表示定位所述第一选项的第一表示。
11.一种系统，包括：
一个或多个传感器；和
一个或多个交互管理设备；
其中所述一个或多个交互管理设备被配置为：
至少部分地基于在所述一个或多个传感器处收集的数据来检测用于发起关于车辆的乘员的基于手势的交互会话的触发条件已被满足；
用针对与所述车辆相关联的操作的一个或多个选项的相应表示来填充显示器，其中所述一个或多个选项中的至少一个选项至少部分地基于对从所述车辆的外部环境获得的一个或多个信号的分析；
基于对由所述乘员做出的特定手势的分析来选择所述一个或多个选项中的特定选项，其中至少部分地使用在所述一个或多个传感器处收集的数据来检测到所述手势；
提供所述特定选项已被选择的指示；以及
使得对应于所述特定选项的操作被发起。
12.根据权利要求11所述的系统，其中为了检测所述触发条件已被满足，所述一个或多个交互管理设备被配置为：
确定以下项中的一者或多者：(a)所述乘员的肢体的至少一部分已进入交互区或(b)所述乘员的肢体的至少一部分已在交互区内保持阈值时间间隔。
13.根据权利要求11所述的系统，其中所述显示器包括以下项中的一者或多者：(a)结合在所述车辆内或附接到所述车辆的抬头显示器，(b)三维显示器，(c)正由所述乘员穿戴的可穿戴设备的显示器或(d)便携式计算设备的显示器。
14.根据权利要求11所述的系统，其中对应于所述特定选项的所述操作包括以下项中的一者：(a)经过另一车辆，(b)使所述车辆加速，(c)使所述车辆减速，(d)停放所述车辆，(e)改变所述车辆移动的方向，或(f)生成能够在所述车辆外部检测到的信号。
15.根据权利要求11所述的系统，其中所述一个或多个交互管理设备被配置为：
在使得对应于所述特定选项的所述操作被发起之前，验证所述操作已被所述乘员批准，其中所述验证至少部分地基于对已提供所述特定选项已被选择的所述指示之后检测到的一个或多个信号的分析。
16.一种存储程序指令的非暂态计算机可访问存储介质，所述程序指令当被在一个或多个处理器上执行时：
检测用于发起关于车辆的乘员的交互会话的触发条件已被满足；
用与所述车辆的操作相关联的一个或多个选项的相应表示来填充显示器；
至少部分地基于对由所述乘员生成的一个或多个信号的分析来选择所述一个或多个选项中的特定选项；
提供所述特定选项已被选择的指示；以及
使得对应于所述特定选项的操作被发起。
17.根据权利要求16所述的非暂态计算机可访问存储介质，其中为了检测所述触发条件已被满足，所述指令当被在所述一个或多个处理器上执行时：
确定以下项中的一者或多者：(a)所述乘员的肢体的至少一部分已进入交互区或(b)所述乘员的肢体的至少一部分已在交互区内保持阈值时间间隔。
18.根据权利要求16所述的非暂态计算机可访问存储介质，其中所述显示器包括以下项中的一者或多者：(a)结合在所述车辆内或附接到所述车辆的抬头显示器，(b)三维显示器，(c)正由所述乘员穿戴的可穿戴设备的显示器或(d)便携式计算设备的显示器。
19.根据权利要求16所述的非暂态计算机可访问存储介质，其中对应于所选择的选项的所述操作包括以下项中的一者：(a)经过另一车辆，(b)使所述车辆加速，(c)使所述车辆减速，(d)停放所述车辆，(e)改变所述车辆移动的方向，或(f)生成能够在所述车辆外部检测到的信号。
20.根据权利要求16所述的非暂态计算机可访问存储介质，其中所述一个或多个选项包括多个选项，其中所述指令当被在所述一个或多个处理器上执行时：
预测对应于所述多个选项中的各个选项的相应兴趣得分；以及
至少部分地基于所述多个选项中的第一选项的预测的兴趣得分，从所述多个选项中选择所述第一选项以包括在要填充所述显示器的所述一个或多个选项中。
CN201780053132.2A 2016-09-21 2017-09-20 用于自主车辆的基于手势的控制的方法和系统 Active CN109643166B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662397805P 2016-09-21 2016-09-21
US62/397,805 2016-09-21
US15/709,389 2017-09-19
US15/709,389 US10913463B2 (en) 2016-09-21 2017-09-19 Gesture based control of autonomous vehicles
PCT/US2017/052583 WO2018057663A1 (en) 2016-09-21 2017-09-20 Gesture based control of autonomous vehicles

Publications (2)

Publication Number Publication Date
CN109643166A true CN109643166A (zh) 2019-04-16
CN109643166B CN109643166B (zh) 2022-11-08

Family

ID=61617419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780053132.2A Active CN109643166B (zh) 2016-09-21 2017-09-20 用于自主车辆的基于手势的控制的方法和系统

Country Status (4)

Country Link
US (1) US10913463B2 (zh)
EP (1) EP3491493B1 (zh)
CN (1) CN109643166B (zh)
WO (1) WO2018057663A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110727410A (zh) * 2019-09-04 2020-01-24 上海博泰悦臻电子设备制造有限公司 人机交互方法、终端及计算机可读存储介质
CN111845749A (zh) * 2019-04-28 2020-10-30 郑州宇通客车股份有限公司 一种自动驾驶车辆的控制方法及系统
CN113619680A (zh) * 2020-05-07 2021-11-09 操纵技术Ip控股公司 自主驾驶员反馈系统和方法
CN115509366A (zh) * 2022-11-21 2022-12-23 科大讯飞股份有限公司 智能座舱多模态人机交互控制方法、装置以及电子设备

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10266182B2 (en) * 2017-01-10 2019-04-23 Ford Global Technologies, Llc Autonomous-vehicle-control system and method incorporating occupant preferences
US10296786B2 (en) * 2017-02-15 2019-05-21 International Business Machines Corporation Detecting hand-eye coordination in real time by combining camera eye tracking and wearable sensing
US10496362B2 (en) * 2017-05-20 2019-12-03 Chian Chiu Li Autonomous driving under user instructions
US11900672B2 (en) * 2018-04-23 2024-02-13 Alpine Electronics of Silicon Valley, Inc. Integrated internal and external camera system in vehicles
US10655978B2 (en) * 2018-06-27 2020-05-19 Harman International Industries, Incorporated Controlling an autonomous vehicle based on passenger behavior
WO2020065892A1 (ja) * 2018-09-27 2020-04-02 日産自動車株式会社 車両の走行制御方法及び走行制御装置
JP7172464B2 (ja) * 2018-11-07 2022-11-16 トヨタ自動車株式会社 車両及び車両の運用方法
KR20200085970A (ko) * 2019-01-07 2020-07-16 현대자동차주식회사 자동차 및 그 제어 방법
US11899448B2 (en) * 2019-02-21 2024-02-13 GM Global Technology Operations LLC Autonomous vehicle that is configured to identify a travel characteristic based upon a gesture
JP7013407B2 (ja) * 2019-03-07 2022-01-31 矢崎総業株式会社 車両管理システム
DE102019204541A1 (de) 2019-04-01 2020-10-01 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Bedienung von elektronisch ansteuerbaren Komponenten eines Fahrzeugs
CN110001505A (zh) * 2019-04-03 2019-07-12 广州小鹏汽车科技有限公司 一种车辆灯效的自定义方法及系统、车辆
DE102019205097A1 (de) 2019-04-09 2020-10-15 Volkswagen Aktiengesellschaft Verfahren zur Inszenierung eines Bedienmodalitätenwechsels eines Fahrzeugs, System zur Inszenierung eines Bedienmodalitätenwechsels eines Fahrzeugs
DE102019002816A1 (de) * 2019-04-17 2020-10-22 Claas E-Systems Gmbh Berührungslos steuerbares Fahrzeug
EP4038541A4 (en) * 2019-09-19 2023-06-28 Arctan Analytics Pte. Ltd. System and method for assessing customer satisfaction from a physical gesture of a customer
KR20210034843A (ko) * 2019-09-23 2021-03-31 삼성전자주식회사 차량의 제어 장치 및 방법
KR20210035968A (ko) * 2019-09-24 2021-04-02 엘지전자 주식회사 사용자의 표정이나 발화를 고려하여 마사지 동작을 제어하는 인공 지능 마사지 장치 및 그 방법
US11315326B2 (en) * 2019-10-15 2022-04-26 At&T Intellectual Property I, L.P. Extended reality anchor caching based on viewport prediction
JP7247901B2 (ja) * 2020-01-07 2023-03-29 トヨタ自動車株式会社 移動体制御装置、移動体制御方法、およびプログラム
WO2021142442A1 (en) * 2020-01-10 2021-07-15 Optimus Ride, Inc. Communication system and method
US11285967B2 (en) 2020-02-13 2022-03-29 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for modifying actions taken by an autonomous vehicle
US11858532B2 (en) * 2020-06-04 2024-01-02 Qualcomm Incorporated Gesture-based control for semi-autonomous vehicle
US11725959B2 (en) * 2020-11-13 2023-08-15 Nvidia Corporation Automatic graphical content recognition for vehicle applications
CN115755871A (zh) * 2020-12-25 2023-03-07 华为技术有限公司 一种车辆召唤方法、智能车以及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103998316A (zh) * 2011-12-29 2014-08-20 英特尔公司 用于控制手势发起和终止的系统、方法和设备
CN104428627A (zh) * 2012-07-03 2015-03-18 丰田自动车工程及制造北美公司 用于呈现源自移动设备的信息的车辆导航系统和方法
CN104768130A (zh) * 2014-01-06 2015-07-08 哈曼国际工业有限公司 车辆内通知呈现调度
EP2985571A2 (en) * 2014-07-22 2016-02-17 Toyota Motor Engineering & Manufacturing North America, Inc. Method for remote communication with and through a vehicle
CN105377612A (zh) * 2013-01-04 2016-03-02 约翰逊控制技术公司 基于上下文的车辆用户界面重配置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6240303B1 (en) 1998-04-23 2001-05-29 Motorola Inc. Voice recognition button for mobile telephones
US6411926B1 (en) 1999-02-08 2002-06-25 Qualcomm Incorporated Distributed voice recognition system
DE10045616B4 (de) 2000-09-15 2011-03-17 Volkswagen Ag Verfahren zum automatischen Einparken eines Kraftfahrzeugs
US7000200B1 (en) 2000-09-15 2006-02-14 Intel Corporation Gesture recognition system recognizing gestures within a specified timing
US6804396B2 (en) 2001-03-28 2004-10-12 Honda Giken Kogyo Kabushiki Kaisha Gesture recognition system
US7274800B2 (en) 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
US7394346B2 (en) 2002-01-15 2008-07-01 International Business Machines Corporation Free-space gesture recognition for transaction security and command processing
US7672845B2 (en) 2004-06-22 2010-03-02 International Business Machines Corporation Method and system for keyword detection using voice-recognition
US8346426B1 (en) * 2010-04-28 2013-01-01 Google Inc. User interface for displaying internal state of autonomous driving system
US9123058B2 (en) * 2011-11-16 2015-09-01 Flextronics Ap, Llc Parking space finder based on parking meter data
US20130030811A1 (en) 2011-07-29 2013-01-31 Panasonic Corporation Natural query interface for connected car
DE102012007984A1 (de) 2011-09-13 2013-03-14 Valeo Schalter Und Sensoren Gmbh Rangiersystem und Verfahren zum automatischen Rangieren eines Kraftfahrzeugs, Kraftfahrzeug, tragbares Kommunikationsgerät und Computerprogramm
US9823742B2 (en) 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US9791921B2 (en) 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
US9747898B2 (en) * 2013-03-15 2017-08-29 Honda Motor Co., Ltd. Interpretation of ambiguous vehicle instructions
US9286029B2 (en) 2013-06-06 2016-03-15 Honda Motor Co., Ltd. System and method for multimodal human-vehicle interaction and belief tracking
JP5750687B2 (ja) 2013-06-07 2015-07-22 島根県 カーナビ用ジェスチャ入力装置
DE102013110867A1 (de) * 2013-10-01 2015-04-02 Scania Cv Ab Vorrichtung für ein Fahrzeug
US9630631B2 (en) * 2013-10-03 2017-04-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
DE102014200611A1 (de) 2014-01-15 2015-07-16 Robert Bosch Gmbh Verfahren zum autonomen Parken eines Fahrzeugs, Fahrerassistenzvorrichtung zur Durchführung des Verfahrens, sowie Fahrzeug mit der Fahrerassistenzvorrichtung
JP6269343B2 (ja) 2014-06-23 2018-01-31 トヨタ自動車株式会社 車両用操作装置
US9508260B2 (en) 2014-10-31 2016-11-29 Toyota Motor Engineering & Manufacturing North America, Inc. Method to improve parking space identification in autonomous driving
US9855890B2 (en) 2014-12-11 2018-01-02 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle interaction with external environment
US9639994B2 (en) 2014-12-29 2017-05-02 Here Global B.V. Optimized parking system
US10627813B2 (en) * 2015-04-21 2020-04-21 Panasonic Intellectual Property Management Co., Ltd. Information processing system, information processing method, and program
JP6551790B2 (ja) * 2015-04-21 2019-07-31 パナソニックＩｐマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、プログラム
US20150348112A1 (en) * 2015-08-12 2015-12-03 Madhusoodhan Ramanujam Providing Advertisements to Autonomous Vehicles
EP3409553B1 (en) * 2017-06-01 2021-08-04 Honda Research Institute Europe GmbH System and method for automated execution of a maneuver or behavior of a system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103998316A (zh) * 2011-12-29 2014-08-20 英特尔公司 用于控制手势发起和终止的系统、方法和设备
CN104428627A (zh) * 2012-07-03 2015-03-18 丰田自动车工程及制造北美公司 用于呈现源自移动设备的信息的车辆导航系统和方法
CN105377612A (zh) * 2013-01-04 2016-03-02 约翰逊控制技术公司 基于上下文的车辆用户界面重配置
CN104768130A (zh) * 2014-01-06 2015-07-08 哈曼国际工业有限公司 车辆内通知呈现调度
EP2985571A2 (en) * 2014-07-22 2016-02-17 Toyota Motor Engineering & Manufacturing North America, Inc. Method for remote communication with and through a vehicle

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111845749A (zh) * 2019-04-28 2020-10-30 郑州宇通客车股份有限公司 一种自动驾驶车辆的控制方法及系统
WO2020221124A1 (zh) * 2019-04-28 2020-11-05 郑州宇通客车股份有限公司 一种自动驾驶车辆的控制方法及系统
CN110727410A (zh) * 2019-09-04 2020-01-24 上海博泰悦臻电子设备制造有限公司 人机交互方法、终端及计算机可读存储介质
CN113619680A (zh) * 2020-05-07 2021-11-09 操纵技术Ip控股公司 自主驾驶员反馈系统和方法
CN113619680B (zh) * 2020-05-07 2024-03-12 操纵技术Ip控股公司 自主驾驶员反馈系统和方法
CN115509366A (zh) * 2022-11-21 2022-12-23 科大讯飞股份有限公司 智能座舱多模态人机交互控制方法、装置以及电子设备

Also Published As

Publication number Publication date
CN109643166B (zh) 2022-11-08
EP3491493B1 (en) 2023-05-17
US10913463B2 (en) 2021-02-09
EP3491493A1 (en) 2019-06-05
US20180079427A1 (en) 2018-03-22
WO2018057663A1 (en) 2018-03-29

Similar Documents

Publication Publication Date Title
CN109643166A (zh) 自主车辆的基于手势的控制
CN109643158B (zh) 使用多模态信号分析进行命令处理
US11678004B2 (en) Recording remote expert sessions
EP2877254B1 (en) Method and apparatus for controlling augmented reality
JP6684883B2 (ja) カメラエフェクトを提供する方法およびシステム
AU2010366331B2 (en) User interface, apparatus and method for gesture recognition
KR101652311B1 (ko) 비전 영상 정보 저장 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
JP7167187B2 (ja) 仮想アシスタントのための入力モードの選択
US20190156558A1 (en) Virtual reality system
US20180061138A1 (en) Virtual reality system
WO2019040196A1 (en) CONTINUOUS SELECTION OF SCENARIOS BASED ON IDENTIFIED LABELS DESCRIBING A CONTEXTUAL ENVIRONMENT OF A USER FOR EXECUTION BY A MODEL OF ARTIFICIAL INTELLIGENCE OF THE USER BY AN AUTONOMOUS PERSONAL COMPANION
KR102302210B1 (ko) 인터페이스에서의 공간 객체들의 상대적 표현 및 명확화를 위한 시스템들 및 방법들
JP7224488B2 (ja) インタラクティブ方法、装置、デバイス、及び記憶媒体
US11461980B2 (en) Methods and systems for providing a tutorial for graphic manipulation of objects including real-time scanning in an augmented reality
US20230316675A1 (en) Traveling in time and space continuum
CN117688159A (zh) 信息搜索方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant