CN107031650B - 基于驾驶员肢体语言来预测车辆运动 - Google Patents

基于驾驶员肢体语言来预测车辆运动 Download PDF

Info

Publication number
CN107031650B
CN107031650B CN201610927463.1A CN201610927463A CN107031650B CN 107031650 B CN107031650 B CN 107031650B CN 201610927463 A CN201610927463 A CN 201610927463A CN 107031650 B CN107031650 B CN 107031650B
Authority
CN
China
Prior art keywords
vehicle
driver
image
component
gaze direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610927463.1A
Other languages
English (en)
Other versions
CN107031650A (zh
Inventor
艾希莉·伊丽莎白·米克斯
哈珀丽特辛格·班瓦伊特
吉内什·J·杰恩
布里勒·赖夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN107031650A publication Critical patent/CN107031650A/zh
Application granted granted Critical
Publication of CN107031650B publication Critical patent/CN107031650B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0965—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本文公开了用于预测驾驶员意图和人驾驶的车辆的未来运动的系统、方法和装置。一种用于预测车辆的未来运动的系统包括摄像机系统、边界部件、肢体语言部件和预测部件。该摄像机系统被配置为拍摄车辆的图像。该边界部件被配置为识别图像的对应于车辆的驾驶员所在的区域的子部分。该肢体语言部件被配置为检测驾驶员的肢体语言。该预测部件被配置为基于由肢体语言部件检测到的驾驶员的肢体语言来预测车辆的未来运动。

Description

基于驾驶员肢体语言来预测车辆运动
技术领域
本公开总体上涉及用于自动驾驶或用于辅助车辆的驾驶员的方法、系统和装置，并且更具体地涉及用于感知其他车辆中的驾驶员头部取向和驾驶员姿势以帮助估计或预测驾驶员意图的方法、系统和装置。
背景技术
机动车辆为商业、政府和私营企业提供很大一部分运输。自主车辆和驾驶辅助系统目前正在被开发和部署以提供安全性、减少所需的用户输入的量、或甚至完全消除用户参与。例如，一些驾驶辅助系统，例如防撞系统，当人正在驾驶时可以监测车辆和其他对象的行驶、位置和速度。当系统检测到碰撞或撞击即将发生时，防撞系统可以干预并施加制动，使车辆转向，或执行其他避免或安全操作。作为另一个示例，自主车辆可以在很少或没有用户输入的情况下驾驶和导航车辆。然而，由于驾驶涉及的危险和车辆的费用，非常重要的是，即使在自主车辆和人驾驶的车辆都存在的情况下，自主车辆和驾驶辅助系统安全地操作并且能够准确地导航道路并避开其他车辆。
发明内容
根据本发明，提供一种系统，该系统包含：
摄像机系统，该摄像机系统被配置为拍摄车辆的图像；
边界部件，该边界部件被配置为识别图像的对应于车辆的驾驶员所在的区域的子部分；
肢体语言部件，该肢体语言部件被配置为检测驾驶员的肢体语言；以及
预测部件，该预测部件被配置为基于由肢体语言部件检测到的驾驶员的肢体语言来预测车辆的未来运动。
根据本发明的一个实施例，其中肢体语言部件被配置为通过识别驾驶员的头部取向、视线方向和姿势中的一个或多个来检测驾驶员的肢体语言。
根据本发明的一个实施例，其中肢体语言部件被配置为处理图像的子部分中的图像数据以检测驾驶员的肢体语言。
根据本发明的一个实施例，其中边界部件被配置为在图像内定位车辆。
根据本发明的一个实施例，其中边界部件被配置为基于下列中的一个或多个来识别图像的子部分：
一个或多个车窗的识别；以及
驾驶员可能位于的车辆的区域的识别。
根据本发明的一个实施例，其中预测部件被配置为访问将由肢体语言部件检测到的驾驶员的肢体语言与一个或多个未来车辆运动相关联的数据库或模型。
根据本发明的一个实施例，其中数据库或模型将下列中的一个或多个与一个或多个未来车辆运动相关联：
手的挥动运动；
包含手掌面向车辆而手指向上的手势；
驾驶员在阈值时间段内的视线方向；
一系列头部运动；以及
视线方向的一系列快速变化。
根据本发明的一个实施例，其中数据库或模型将视线方向与未来驾驶方向相关联。
根据本发明的一个实施例，其中数据库或模型将姿势与当前驾驶情景相关联，其中该驾驶情景包含停在交叉口处、接近交叉口、随着一个或多个附近车辆驶离道路、合并到道路上、离开道路、进入停车场或停车位、或离开停车场或停车位。
根据本发明，提供一种计算机实施的方法，该方法包含：
接收车辆附近的区域中的邻近车辆的图像；
确定图像的包含邻近车辆的驾驶员的区域；
处理图像的包含邻近车辆的驾驶员的区域中的图像数据以检测驾驶员的头部取向、视线方向和姿势中的一个或多个；
访问将头部取向、视线方向和姿势中的一个或多个与一个或多个未来车辆运动相关联的数据库或模型；以及
基于邻近车辆的一个或多个未来车辆运动来确定车辆操纵。
根据本发明的一个实施例，进一步包含在图像内定位车辆。
根据本发明的一个实施例，其中确定图像的包含驾驶员的区域包含基于下列中的一个或多个来确定区域：
车辆的一个或多个车窗的位置；以及
车辆中驾驶员座椅的预测位置。
根据本发明的一个实施例，其中数据库或模型将下列中的一个或多个与一个或多个未来车辆运动相关联：
手的挥动运动；
包含手掌面向车辆而手指向上的手势；
驾驶员在阈值时间段内的视线方向；
一系列头部运动；以及
视线方向的一系列变化。
根据本发明，提供一种计算机可读存储介质，该计算机可读存储介质存储指令，该指令当由一个或多个处理器执行时使处理器：
接收车辆的图像；
识别图像的车辆的驾驶员所在的区域周围的边界；以及
基于驾驶员的肢体语言来预测车辆的未来运动，其中驾驶员的肢体语言包含驾驶员的头部取向、视线方向和姿势中的一个或多个。
根据本发明的一个实施例，其中指令进一步使处理器检测驾驶员的头部取向、视线方向和姿势中的一个或多个。
根据本发明的一个实施例，其中检测驾驶员的头部取向、视线方向和姿势中的一个或多个包含处理边界中的图像数据以检测头部取向、视线方向和姿势。
根据本发明的一个实施例，其中指令进一步使处理器在图像内定位车辆。
根据本发明的一个实施例，其中识别区域周围的边界包含下列中的一个或多个：
识别车辆的一个或多个车窗；以及
识别车辆的驾驶员可能位于的区域。
根据本发明的一个实施例，其中指令进一步使处理器访问数据库或模型，数据库或模型将驾驶员的头部取向、视线方向和姿势中的一个或多个与一个或多个未来车辆运动相关联。
根据本发明的一个实施例，其中指令进一步使处理器基于预测的未来运动来确定要由母车辆执行的驾驶操纵。
附图说明
本发明的非限制性和非穷尽性的实施方式参照以下附图进行描述，贯穿几个视图，附图中相同的附图标记指代相同的部件，除非另有说明。参考以下说明书和附图，本发明的优点将变得更好理解，附图中：
图1是说明包括自动驾驶/辅助系统的车辆控制系统的实施方式的示意性框图；
图2说明了车辆的透视图；
图3是说明示例道路环境的俯视图的示意图；
图4是根据一个实施方式说明未来车辆运动的预测的示意性框图；
图5是根据一个实施方式说明驾驶员意图部件的示例部件的示意性框图；
图6是根据一个实施方式说明用于预测车辆运动的方法的示意性框图；以及
图7是根据一个实施方式说明用于预测车辆运动的另一种方法的示意性框图。
具体实施方式
申请人已经认识到，第一代自主车辆必须在人类驾驶员存在下安全地驾驶。因此，期望的是，这些自主车辆能够预测周围车辆的运动，即使它们是人驾驶的。如果这些其他驾驶员的意图可以借助于关于他们的肢体语言的信息——包括随着时间推移他们的视线方向和他们做出的任何姿势，例如在四向停车点(four-way stop)挥手以让另一车辆先走——来推断，那么可以更准确地做出这些预测。例如，自主车辆可以解释位于不同的车辆中的人类驾驶员的肢体语言。因此，自主车辆不依赖于其他车辆提供关于人类驾驶员打算做什么的特定信息。
本公开教导将关于其他车辆中的驾驶员的视线方向和其他姿势的信息并入到自主车辆关于其他车辆可能进行的运动的预测中。自主车辆可以配备有能够始终捕获来自每一个方向的相关信息的传感器和感测装置。利用深层神经网络(deep neural network)的计算机视觉算法被训练以估计驾驶员的视线方向并且识别由驾驶员做出的关键姿势。神经网络也被训练以将这种肢体语言与这些其他驾驶员的车辆的预期后续运动相关联。本公开还可以利用来自激光雷达(LIDAR)或其他距离传感器的信息来帮助确定给定摄像机图像内的关注区域并且进一步补充对姿势和其他相关信息的检测。
根据一个实施例，自主车辆可以在来自一个或多个传感器源的传感器数据的当前360度画面内定位车辆。自主车辆可以确定图像的将找到那些车辆的驾驶员的区域周围的一个或多个边界框。自主车辆可以将一个或多个边界框内的图像数据和距离传感器数据提供至算法，该算法将估计驾驶员头部取向和视线方向并且识别驾驶员的姿势。自主车辆然后可以利用得到的对驾驶员肢体语言的估计来解释就预测的其他车辆的运动而言的驾驶员意图。
在一个实施例中，用于基于肢体语言来预测人类驾驶员将做什么的预测算法可以是硬编码的，或者可以使用人工智能来学习和修改。例如，在驾驶事件期间人类驾驶员的姿势或肢体语言可以被监测或学习，并且然后姿势或肢体语言可以与产生的车辆运动相关联。
在下面的公开内容中，参考附图，附图形成公开的一部分并且在附图中通过例证示出可以实践本发明的特定实施方式。应当理解的是，在不脱离本发明的范围的前提下，可以利用其他实施方式并且可以进行结构变化。说明书中引用“一个实施例”、“一实施例”，“一个示例实施例”等表明所描述的实施例可以包括特定特征、结构或特性，但每一个实施例可能未必包括特定特征、结构或特性。另外，这样的短语未必是指同一实施例。此外，当特定特征、结构、或特性关于一个实施例进行描述时，可以主张的是，无论是否明确描述，关于其他实施例改变这样的特征、结构或特性在本领域技术人员的知识的范围之内。
如本文所使用的，“自主车辆”可以是完全不受人类驾驶员的支配作用或操作的车辆；或者可以是在一些情况下不受人类驾驶员的支配作用或操作而在其他情况下人类驾驶员能够操作车辆的车辆；或者可以是主要由人类驾驶员但在自动驾驶/辅助系统的辅助下操作的车辆。
本文所公开的系统、装置和方法的实施方式可以包含或利用专用或通用计算机，专用或通用计算机包括计算机硬件，诸如，例如，一个或多个处理器和系统存储器，如下面更详细讨论的。在本发明的范围内的实施方式还可以包括用于承载或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可以由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(装置)。承载计算机可执行指令的计算机可读介质是传输介质。因此，举例来说，而非限制，本发明的实施方式可以包含至少两种明显不同种类的计算机可读介质：计算机存储介质(装置)和传输介质。
计算机存储介质(装置)包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、只读光盘存储器(CD-ROM)、固态驱动器(“SSD”)(例如，基于RAM)、闪速存储器、相变存储器(“PCM”)、其他类型的存储器、其它光盘存储器、磁盘存储器或其它磁性存储设备、或者可以被用于存储以计算机可执行指令或数据结构的形式的所需的程序代码手段并且可以由通用或专用计算机访问的任何其它介质。
本文所公开的装置、系统和方法的实施方式可以在计算机网络上进行通信。“网络”被定义为允许电子数据在计算机系统和/或模块和/或其他电子设备之间传输的一个或多个数据链路。当信息通过网络或另一通信连接(硬线连接、无线、或硬线连接或无线的组合)被传送或提供至计算机时，计算机适当地将该连接视为传输介质。传输介质可以包括网络和/或数据链路，网络和/或数据链路可以被用于承载以计算机可执行指令或数据结构的形式的所需的程序代码手段并且可以由通用或专用计算机来访问。上述组合也应该被包括在计算机可读介质的范围之内。
计算机可执行指令包含例如指令和数据，当该指令和数据在处理器中执行时，使通用计算机、专用计算机、或专用处理设备来执行某些功能或功能组。计算机可执行指令可以是例如二进制、例如汇编语言的中间格式指令、或甚至源代码。虽然本发明主题已经以针对结构特征和/或方法论动作的语言进行了描述，但是应当理解的是，在所附权利要求中限定的发明主题不一定局限于所描述的特征或以上所述的动作。相反，所描述的特征和动作被公开作为实施权利要求的示例形式。
本领域技术人员将领会的是，本发明可以在网络计算环境中通过许多类型的计算机系统配置来实践，包括仪表板计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持式设备、多处理器系统、基于微处理器或可编程的消费者电子产品、网络个人电脑(PC)、小型计算机、大型计算机、移动电话、个人数字助理(PDA)、平板电脑、寻呼机、路由器、交换机、各种存储设备和诸如此类。本发明也可以在本地和远程计算机系统都执行任务的分布式系统环境中实践，本地和远程计算机系统通过网络链接(或者通过硬线数据链路、无线数据链路或者通过硬线和无线数据链路的组合)。在分布式系统环境中，程序模块可以位于本地和远程存储器存储设备中。
此外，在适当情况下，本文所描述的功能可以在下列中的一种或多种中执行：硬件、软件、固件、数字部件、或模拟部件。例如，一个或多个专用集成电路(ASIC)可以被编程为执行本文所描述的系统和程序中的一个或多个。在整个以下说明书和权利要求书中，某些术语被用来指代特定的系统部件。本领域技术人员将领会的是，部件可以通过不同的名称来称呼。本文不旨在区分名称不同但作用相同的部件。
现在参照附图，图1说明了车辆控制系统100，车辆控制系统100包括自动驾驶/辅助系统102。自动驾驶/辅助系统102可以被用于自动或控制车辆——例如，小汽车、卡车、厢式货车、公共汽车、大卡车、应急车辆或用于运输人或货物的任何其他机动车辆——的操作，或给人类驾驶员提供辅助。例如，自动驾驶/辅助系统102可以控制制动、转向、加速、灯、警报、驾驶员通知、无线电或车辆的任何其它辅助系统中的一个或多个。在另一个示例中，自动驾驶/辅助系统102可能无法提供对驾驶(例如，转向、加速或制动)的任何控制，但可以提供通知和警报以帮助人类驾驶员安全地驾驶。自动驾驶/辅助系统102包括驾驶员意图部件104，驾驶员意图部件104可以基于不同车辆的驾驶员肢体语言来预测不同车辆的未来运动。例如，驾驶员意图部件104可以基于不同车辆的驾驶员的姿势、视线方向、头部取向、或任何其他肢体语言来估计不同车辆(例如，不包括车辆控制系统100的车辆)的驾驶员的意图。
车辆控制系统100还包括用于检测附近对象的存在或确定母车辆(例如，包括车辆控制系统100的车辆)或附近对象的位置的一个或多个传感器系统/设备。例如，车辆控制系统100可以包括一个或多个雷达系统106、一个或多个LIDAR系统108、一个或多个摄像机系统110、全球定位系统(GPS)112和/或一个或多个超声系统114。车辆控制系统100可以包括数据存储器116，用于存储用于导航和安全性的相关或有用数据，例如地图数据、驾驶历史或其他数据。车辆控制系统100还可以包括用于与移动或无线网络、其他车辆、基础设施或任何其它通信系统进行无线通信的收发器118。车辆控制系统100可以包括车辆控制致动器120以控制车辆的驾驶的各个方面，例如电动马达、开关或其它致动器，以控制制动、加速、转向或诸如此类。车辆控制系统100还可以包括一个或多个显示器122、扬声器124、或其它设备以便可以向人类驾驶员或乘客提供通知。显示器122可以包括抬头显示器、仪表板显示器或指示器、显示屏幕、或任何其它视觉指示器，其可以被车辆的驾驶员或乘客看到。扬声器124可以包括车辆的音响系统的一个或多个扬声器，或者可以包括专用于驾驶员通知的扬声器。
可以领会的是，图1的实施例仅通过举例的方式给出。在不脱离本发明的范围的前提下，其他实施例可以包括更少或附加的部件。此外，示出的部件可以被组合或包括在其它部件内，而非限制。例如，驾驶员意图部件104可以与自动驾驶/辅助系统102分开并且数据存储器116可以被包括作为自动驾驶/辅助系统102的一部分和/或驾驶员意图部件104的一部分。
雷达系统106可以包括本领域中公知的任何雷达系统。雷达系统的操作原理和性能总体上很好理解。一般情况下，雷达系统106通过发送无线电信号和探测对象的反射来操作。在地面应用中，雷达可以被用于探测物理对象，例如其他车辆、停车障碍或停车轮挡、风景(例如树、悬崖、岩石、山或诸如此类)、道路边缘、标志、建筑物或其他对象。雷达系统106可以利用反射的无线电波来确定关于物理对象或材料的大小、形状、距离、表面纹理、或其他信息。例如，雷达系统106可以扫描区域以获得特定范围和雷达系统106的视角内关于对象的数据。在一个实施例中，雷达系统106被配置为生成来自车辆附近的区域——例如车辆附近或周围的一个或多个区域——的感知信息。例如，雷达系统106可以获取关于紧邻或靠近车辆的地面或垂直区域的区域的数据。雷达系统106可以包括许多广泛市售的雷达系统之一。在一个实施例中，雷达系统106可以将包括二维或三维地图或模型的感知数据提供到自动驾驶/辅助系统102，以供参考或处理。
LIDAR系统108可以包括本领域中公知的任何LIDAR系统。LIDAR系统的操作原理和性能总体上很好理解。一般情况下，LIDAR系统108通过发射可见波长或红外波长激光并探测从对象反射的激光来操作。在地面应用中，激光可以被用于探测物理对象，例如其他车辆、停车障碍或停车轮挡、风景(例如树、悬崖、岩石、山或诸如此类)、道路边缘、标志、建筑物或其他对象。LIDAR系统108可以利用反射的激光来确定关于物理对象或材料的大小、形状、距离、表面纹理、或其他信息。例如，LIDAR系统108可以扫描区域以获取LIDAR系统108的特定范围和视角内的数据或对象。例如，LIDAR系统108可以获取关于紧邻或靠近车辆的地面或垂直区域的区域的数据。LIDAR系统108可以包括许多广泛市售的LIDAR系统之一。在一个实施例中，LIDAR系统108可以提供包括探测到的对象或表面的二维或三维模型或地图的感知数据。
摄像机系统110可以包括一个或多个摄像机，例如可见波长摄像机或红外摄像机。摄像机系统110可以提供视频馈送或周期性图像，该视频馈送或周期性图像可以被处理用于对象检测、道路识别和定位、或其他检测或定位。在一个实施例中，摄像机系统110可以包括两个或更多个摄像机，该两个或更多个摄像机可以被用于提供视野内对象的测距(例如，检测距离)。在一个实施例中，图像处理可以被用于拍摄的摄像机图像或视频上以检测车辆、驾驶员、驾驶员的姿势和/或肢体语言。
GPS系统112是可以基于卫星或无线电塔信号来提供车辆的地理位置的定位系统的一个实施例。GPS系统是公知的并且在本领域中广泛可用的。虽然GPS系统112可以提供非常准确的定位信息，但是GPS系统112总体上提供关于车辆与其他对象之间的距离的很少的信息或不提供关于车辆与其他对象之间的距离的信息。相反，它们仅提供位置，该位置然后可以与其它数据——例如地图——进行比较以确定与其他对象、道路、或关注的位置的距离。
超声系统114可以被用于利用超声波来检测对象或车辆与对象之间的距离。例如，超声系统114可以从车辆的保险杠或侧板位置上或附近的位置发射超声波。超声波——其可以通过空气传播短距离——可以从其它对象反射并且被超声系统114检测到。基于发射和反射的超声波的接收之间的时间的量，超声系统114可以能够检测保险杠或侧板与任何其它对象之间的准确距离。由于其较短的范围，超声系统114对于在驻车期间检测对象或在行驶期间检测即将发生的碰撞可能更有用。
在一个实施例中，雷达系统106、LIDAR系统108、摄像机系统110和超声系统114可以检测车辆附近的环境属性或障碍物。例如，系统106-110和114可以检测其他车辆、行人、人、动物、多条车道、车道宽度、路肩宽度、路面曲率、道路方向曲率、停车振动带(rumblestrip)、车道标记、交叉口的存在、道路标志、桥梁、天桥、障碍物、中央分离帯(median)、路缘、或关于道路的任何其他细节。作为另一示例，系统106-110和114可以检测环境属性，该环境属性包括关于道路附近的结构、对象或表面的信息，例如驾驶道、停车场、停车场出口/入口、人行道、通道、树木、栅栏、建筑物、停放的车辆(在道路上或道路附近)、门、标志、停车带或任何其它结构或对象的存在。
数据存储器116存储地图数据、驾驶历史和其他数据，该其他数据可以包括用于自动驾驶/辅助系统102的其他导航数据、设置或操作指令。地图数据可以包括道路、停车场、停车位、或车辆可以被驾驶或停放的其他位置的位置数据，例如GPS位置数据。例如，道路的位置数据可以包括特定车道的位置数据，例如车道方向、合并车道、公路或高速公路车道、出口车道或任何其他车道或道路的分支。位置数据也可以包括停车场中每一个停车位或沿着道路的停车位位置。在一个实施例中，地图数据包括关于道路或停车位置上或附近的一个或多个结构或对象的位置数据。例如，地图数据可以包括关于GPS标志位置、桥位置、建筑物或其他结构位置或诸如此类的数据。在一个实施例中，地图数据可以包括精度在几米范围内或在亚米精度范围内的准确位置数据。地图数据还可以包括用于陆地车辆可以行驶的路径、土路、或其他道路或路径的位置数据。
驾驶历史(或行驶历史)可以包括车辆的过去的行程或停车位置的位置数据。例如，驾驶历史可以包括用于先前进行的行程或路径的GPS位置数据。作为一个示例，驾驶历史可以包括关于车道线、标志、道路边界线或道路上或道路附近的其他对象或特征的距离或相对位置数据。距离或相对位置数据可以基于GPS数据、雷达数据、LIDAR数据、摄像机数据或在车辆先前或过去进行的行程期间收集到的其他传感器数据来确定。在一个实施例中，自动驾驶/辅助系统102被配置为将车辆进行的任何行程或驾驶的驾驶数据记录到数据存储器116中并且在车辆进行的任何行程或驾驶期间将驾驶数据记录到数据存储器116中。
收发器118被配置为从一个或多个其它数据或信号源接收信号。收发器118可以包括被配置为根据多种通信标准和/或使用多种不同的频率进行通信的一个或多个无线电装置。例如，收发器118可以从其他车辆接收信号。从另一车辆接收信号在此指代车辆与车辆(V2V)通信。在一个实施例中，收发器118也可以被用来将信息传送到其它车辆，以潜在辅助它们定位车辆或对象。在V2V通信期间，收发器118可以接收来自其他车辆有关其位置、其他交通、事故、道路条件、停车障碍或停车轮挡的位置、或可以辅助车辆和/或自动驾驶/辅助系统102准确或安全驾驶的任何其他详细信息。例如，收发器118可以接收更新的模型或算法以便通过驾驶员意图部件104用于检测另一车辆的驾驶员的肢体语言。
收发器118可以从固定位置处的其他信号源接收信号。基础设施收发器可以被定位在特定地理位置处并且可以传送带时间戳的其特定地理位置。因此，自动驾驶/辅助系统102可以能够基于时间戳来确定距基础设施收发器的距离，并且然后基于基础设施收发器的位置来确定其位置。在一个实施例中，从固定位置处的设备或塔接收或发送位置数据在此指代车辆与基础设施(V2X)通信。在一个实施例中，术语V2X通信也可以包含V2V通信。
在一个实施例中，收发器118可以经由移动网络或蜂窝连接来发送和接收位置数据。例如，随着车辆沿着道路行驶，收发器118可以接收特定区域的更新的位置数据。同样地，收发器118可以接收已沿着道路行驶或已停放在停车场该位置处或该停车位处的母车辆(parent vehicle)或其他车辆的历史驾驶数据。例如，收发器118可以接收表明标志、停车障碍或停车轮挡、或其他对象的位置的数据，该数据可以使用雷达系统106、LIDAR系统108、摄像机系统110、GPS系统112或超声系统114可探测到。如果收发器118能够接收来自三个或更多个基础设施收发器的信号，则自动驾驶/辅助系统102可以能够三角测量其地理位置。
在一个实施例中，收发器118可以发送和接收关于驾驶员的肢体语言的数据。例如，在事件期间检测到的一个或多个姿势或视线方向以及驾驶员的最终动作可以被更新到服务器进行处理作为驾驶员意图估计的机器学习的一部分。
在一个实施例中，自动驾驶/辅助系统102被配置为控制母车辆的驾驶或导航。例如，自动驾驶/辅助系统102可以控制车辆控制致动器120以在道路、停车场、车道或其它位置的路径上行驶。例如，自动驾驶/辅助系统102可以基于由部件106-118中的任何一个提供的信息或感知数据来确定路径和行驶速度。作为另一个示例，自动驾驶/辅助系统102可以确定何时在交叉口处等待或行进、何时变道、何时为另一车辆变道留下空间、或诸如此类。
在一个实施例中，驾驶员意图部件104被配置为确定附近车辆的驾驶员的意图和/或预测在人类驾驶员的控制下车辆的未来运动和运动的时间。
图2说明了由车辆或自主车辆的摄像机或其他传感器拍摄的图像200。图像200包括具有人类驾驶员204的车辆202的透视图。例如，车辆202的视图可以在交叉口处或交叉口附近由摄像机拍摄。驾驶员意图部件104可以将车辆202识别为拍摄的图像200内的车辆。驾驶员意图部件104可以确定图像200的对应于驾驶员204的位置或可能位置的子区域206。例如，驾驶员意图部件104可以识别车辆202的驾驶员204通常就坐的一部分，例如驾驶员的座椅将被定位的位置等。
在一个实施例中，驾驶员意图部件104可以识别车辆202的一个或多个车窗，例如驾驶员侧车窗208和/或挡风玻璃210。在一个实施例中，驾驶员意图部件104可以基于驾驶员204的位置或可能位置、车辆202的一个或多个车窗208、210或通过检测驾驶员204的面部来限定车辆202的子区域206。包括驾驶员204可以位于或按理期望位于的位置的子区域206可以足够大以应对驾驶员204的运动(例如，驾驶员204的手臂和/或头部的运动)。通过选择或限定子区域206，驾驶员意图部件104可以降低计算容量，因为可以分析比整个图像200更小的面积或更少的像素来检测驾驶员204，包括驾驶员204的视线方向、头部取向和/或姿势。
图3是道路300的示意性俯视图，车辆302在道路上行驶。车辆302可以包括图1的系统100。在一个实施例中，一个或多个传感器(例如摄像机系统110)可以收集道路300和车辆302周围的区域的感知数据。摄像机系统110、LIDAR系统108、雷达系统106或其它系统的观察区域可以在车辆302周围的任何方向或所有方向上延伸。车辆302或车辆302的驾驶员意图部件104可以接收来自传感器的感知数据并且检测车辆302的观察方向内其他车辆、对象、表面或诸如此类的存在。例如，车辆302可以检测车辆304并将车辆304识别为不同的车辆。在一个实施例中，车辆302可以识别感知数据的对应于驾驶员将可能位于的位置——例如车辆的车窗或驾驶员将可能就坐的车辆的区域——的子部分。车辆302可以分析感知数据的子部分以推断驾驶员的意图。例如，车辆302或车辆302的驾驶员意图部件104可以推断驾驶员行驶、停止、等待或执行任何其他驾驶操纵的意图。基于推断的意图，车辆302可以减速、加速和/或转向以避免潜在的碰撞。
除了感知数据之外，车辆302可以从存储的地图、存储的驾驶历史或从无线信号获取信息。例如，基础设施发射器306被示出在道路300附近，其可以向车辆302提供特定的定位、环境属性细节或其他信息。作为另外的示例，车辆302可以接收来自其他车辆(例如车辆304)或来自无线通信网络(例如移动通信网络)的信息。车辆302可以进一步检测道路标志308以确定或检测交叉口的存在、道路类型、速度限制、位置、以及诸如此类。
图4是说明用于确定另一车辆中的驾驶员的意图的方法400的示意性框图。在402，获取感知数据，例如摄像机数据、LIDAR数据、雷达数据和超声数据，并且在404，驾驶员意图部件104基于感知数据来识别和定位车辆。例如，驾驶员意图部件104可以识别对应于车辆的观察区域的区域或对应于车辆的图像的区域。在406，驾驶员意图部件104找到包括车辆的驾驶员的关注区域。关注区域可以包括车窗、对应于驾驶员的座椅的车辆的区域、以及诸如此类。在408，驾驶员意图部件104估计头部姿势和视线方向，并且在410，执行姿势识别。在412，基于检测到的任何头部姿势、视线方向或姿势，驾驶员意图部件104解释驾驶员的意图和/或预测驾驶员的车辆的未来运动。,
图5是根据一个实施例说明驾驶员意图部件104的部件的示意性框图。驾驶员意图部件104包括感知数据部件502、边界部件504、肢体语言部件506、预测部件508和驾驶操纵部件510。部件502-510仅以说明的方式给出，并且可以不全部都被包括在所有实施例中。实际上，在不脱离本公开的范围的情况下，一些实施例可以仅包括部件502-510中的一个或两个或更多个的任何组合。部件502-510中的一些可以位于驾驶员意图部件104外部，例如在自动驾驶/辅助系统102内或其他地方。
感知数据部件502被配置为接收来自车辆的一个或多个传感器系统的传感器数据。例如，感知数据部件502可以接收来自雷达系统106、LIDAR系统108、摄像机系统110、GPS112、超声系统114以及诸如此类的数据。在一个实施例中，感知数据可以包括车辆附近的一个或多个区域的感知数据。例如，车辆的传感器可以提供车辆周围的360度视野。在一个实施例中，摄像机系统110拍摄车辆的图像。例如，车辆可以接近驾驶员意图部件104的母车辆。
边界部件504被配置为识别感知数据的对应于车辆的驾驶员或车辆的驾驶员附近的区域的子区域。例如，边界部件504可以识别图像或其他传感器数据画面的将可能包含车辆的驾驶员(如果存在的话)的子区域。子区域可以足够大以允许驾驶员的运动，例如姿势。在一个实施例中，子区域可以对应于肢体语言算法可以被应用而不浪费处理容量来在它们可能不位于的区域中检测姿势或驾驶员的区域。
在一个实施例中，边界部件504被配置为在图像或其他感知数据内定位一个或多个车辆。例如，对象识别算法可以被用于将检测到的对象或障碍物识别车辆。在一个实施例中，边界部件504可以识别车辆的边界并且识别该区域中对应于车辆的像素或对象。边缘或边界发现图像处理算法可以被用于找到车辆的边缘。
在一个实施例中，边界部件504可以识别或限定图像的对应于车辆的驾驶员位于或可能位于的区域的子部分。在一个实施例中，边界部件504可以在车辆的边界内查找以定位或限定对应于驾驶员位置的边界。在一个实施例中，边界部件504被配置为基于一个或多个车窗的位置、车辆的驾驶员座椅或方向盘的位置和/或检测到的车辆中的人的位置来识别图像的子部分。在一个实施例中，边界部件504可以识别一个或多个车窗的边界或者可以估计车辆的驾驶员侧前座椅的位置。在一个实施例中，子区域可以对应于或包括车窗的边界。例如，子区域可以具有跟随一个或多个车窗的边界的边界。在一个实施例中，子区域可以具有稍大于驾驶员位于的可能区域的边界以允许运动或允许限定边界的误差。
肢体语言部件506被配置为检测驾驶员的肢体语言。肢体语言部件506可以通过识别驾驶员的头部取向、视线方向和姿势中的一个或多个来检测驾驶员的肢体语言。头部取向可以是人的头部的取向。例如，头部取向可以描述驾驶员的面部所在的方向。头部取向可以被描述为相对于驾驶员意图部件104的母车辆的位置的一个或多个角度。例如，角度可以包括视线方向相对于在车辆的中心(或由自动驾驶/辅助系统102使用的其他零原点位置)与人类驾驶员之间的绘制出的线的角度。视线方向可以包括驾驶员正在看向的方向。在一些情况下，视线方向可以匹配头部取向，但是如果驾驶员的眼睛没有直视前方，则视线方向也可以不同。视线方向可以被描述为从头部取向偏移一个或多个角度，或者可以被描述为独立于头部取向的角度方向。
姿势可以包括任何其他类型的肢体语言，包括由手、手臂、肩膀、颈部、腹部、面部、头部或驾驶员的身体的其他部分所做出的姿势、运动或位置。示例姿势可以包括：在交叉口、道路交叉口或车道合并处向另一驾驶员、行人或骑自行车的人挥手的挥手姿势；表明否或是的头部运动；停止或中止手部信号，其中手被举起、手掌面向另一车辆或人、手指正面向上；耸肩；从一侧到另一侧的头部运动以检查横穿的车辆；或任何其他姿势。另外的姿势可以被识别，包括经由机器学习或对传感器数据的分析检测到的姿势。在一个实施例中，肢体语言部件506可以检测由附近车辆的驾驶员执行的这些姿势或其他姿势中的一个或多个。
在一个实施例中，肢体语言部件506可以通过至少最初仅尝试在由边界部件504确定的图像或其他感知数据画面的边界内检测肢体语言来节省处理容量。例如，仅边界内的像素或诸如此类可以通过肢体语言检测算法来处理。因为姿势识别或其他肢体语言的识别可以是计算密集型的，这可能导致驾驶员意图部件104或自动驾驶/辅助系统102节省大量时间、处理和能量。
预测部件508可以基于由肢体语言部件506检测到的肢体语言来推断驾驶员意图或预测附近车辆的未来运动。例如，预测部件508可以确定驾驶员打算执行的时间和运动。示例运动可以包括转向到不同的道路上、在交叉口处等待、与车流合并、变道、离开道路、进入道路、停放车辆、离开停车位、或诸如此类。
在一个实施例中，预测部件508参考或处理数据库或模型以确定另一车辆的预测的运动或预期的运动。例如，预测部件508可以包括或访问将肢体语言与一个或多个未来车辆运动相关联的数据库或模型。在一个实施例中，数据库或模型可以将头部取向、视线方向和姿势中的一个或多个与可能在头部取向、视线方向和/或姿势之后发生的一个或多个车辆运动相关联。
在一个实施例中，数据库或模型可以将未来车辆运动与下列中的一个或多个相关联：手的挥动运动、包含手掌面向车辆而手指向上的手势、驾驶员在阈值时间段内的视线方向(例如当驾驶员正盯着另一车辆等待该车辆开走时或者当驾驶员直视前方以正在或继续向前驾驶时)、一系列头部运动、以及视线方向的一系列快速变化(例如，检查交叉车流)。在一个实施例中，数据库或模型可以包括视线方向与未来驾驶方向之间的相关性。例如，模型可以指示驾驶员看向特定方向之后车辆在该特定方向移动之间的相关性。在一个实施例中，数据库或模型将看向路肩上方与包含车道改变或转向的未来车辆运动相关联。在一个实施例中，数据库或模型可以包括一个或多个机器学习的规则或相关性。例如，数据库或模型可以包括基于实际传感器数据、头部取向、视线方向和由机器学习的姿势的相关性和可能性。
在一个实施例中，数据库或模型还基于当前驾驶情景关联驾驶员的意图或未来驾驶操纵。例如，基于附近车辆或母车辆是否停在交叉口处、接近交叉口、随着一个或多个附近车辆驶离道路、合并到道路上、离开道路、进入停车场或停车位、离开停车场或停车位、或诸如此类，相同的姿势可以是指不同的意思。因此，姿势和当前驾驶情景可以被用于精确地推断驾驶员的意图或预测未来驾驶操纵。预测部件508可以向驾驶操纵部件510或自动驾驶/辅助系统102提供预测的驾驶操纵或驾驶员意图以使其做出由自动驾驶/辅助系统102或母车辆采取的操纵或动作的决定。
驾驶操纵部件510被配置为基于另一车辆的预测的驾驶员意图或未来驾驶操纵来选择母车辆的驾驶操纵。例如，驾驶操纵部件510可以从预测部件508接收一个或多个附近车辆的一个或多个预测的驾驶操纵。驾驶操纵部件510可以确定行驶路径以避免在其执行预测的驾驶操纵的情况下与其他车辆碰撞。例如，驾驶操纵部件510可以确定是否减速、加速和/或转动母车辆的方向盘。在一个实施例中，驾驶操纵部件510可以确定驾驶操纵的时间。例如，驾驶操纵部件510可以确定母车辆应当在交叉口处等待一段时间，因为在这段时间期间另一车辆可能行进通过交叉口。
现在参照图6，说明了根据一个实施例用于预测车辆的运动的方法600的示意性流程图。方法600可以由自动驾驶/辅助系统或驾驶员意图部件——例如图1的自动驾驶/辅助系统102或图1或5的驾驶员意图部件104——来执行。
在602，方法600开始并且摄像机系统110拍摄车辆的图像。在其他实施例中，可以使用图像以外的信息。例如，可以拍摄母车辆附近其他车辆所在的区域中的LIDAR或雷达画面。在604，边界部件504识别图像(或画面)对应于车辆的驾驶员位于或可能位于的区域的子部分。在606，肢体语言部件506处理图像或画面的子部分以检测驾驶员的肢体语言。在一个实施例中，通过玻璃，来自摄像机的图像可以提供最佳可见性，尽管LIDAR或雷达也可以被使用。在608，预测部件508基于由肢体语言部件506检测到的驾驶员的肢体语言来预测车辆的未来运动。例如，预测部件508可以访问数据库或模型以识别对应于检测到的肢体语言的一个或多个车辆运动。
现在参考图7，说明了根据一个实施例用于确定车辆操纵的方法700的示意性流程图。方法700可以由自动驾驶/辅助系统或驾驶员意图部件——例如图1的自动驾驶/辅助系统102或图1或5的驾驶员意图部件104——来执行。
在702，当感知数据部件502接收到车辆附近的区域中的邻近车辆的图像时，方法700开始。在704，边界部件504确定图像的包含邻近车辆的驾驶员的区域。在706，肢体语言部件506处理图像的包含邻近车辆的驾驶员的区域中的图像数据以检测驾驶员的头部取向、视线方向和姿势中的一个或多个。例如，肢体语言部件506可以包括或访问图形模型以检测肢体语言。在708，预测部件508访问将头部取向、视线方向和姿势中的一个或多个与一个或多个未来车辆运动相关联的数据库或模型。在710，驾驶操纵部件510基于邻近车辆的一个或多个未来车辆运动来确定车辆操纵。
示例
以下示例涉及另外的实施例。
示例1是一种系统，该系统包括摄像机系统、边界部件、肢体语言部件和预测部件。该摄像机系统被配置为拍摄车辆的图像。该边界部件被配置为识别图像的对应于车辆的驾驶员所在的区域的子部分。该肢体语言部件被配置为检测驾驶员的肢体语言。该预测部件被配置为基于由肢体语言部件检测到的驾驶员的肢体语言来预测车辆的未来运动。
在示例2中，示例1的肢体语言部件被配置为通过识别驾驶员的头部取向、视线方向和姿势中的一个或多个来检测驾驶员的肢体语言。
在示例3中，示例1-2中任一个的肢体语言部件被配置为处理图像的子部分中的图像数据以检测驾驶员的肢体语言。
在示例4中，示例1-3中任一个的边界部件被配置为在图像内定位车辆。
在示例5中，示例1-4中任一个的边界部件被配置为基于下列中的一个或多个来识别图像的子部分：一个或多个车窗的识别和车辆的驾驶员可能位于的区域的识别。
在示例6中，示例1-5中任一个的预测部件被配置为访问将由肢体语言部件检测到的驾驶员的肢体语言与一个或多个未来车辆运动相关联的数据库或模型。例如，预测部件可以基于数据库或模型来预测车辆的未来运动。
在示例7中，示例6中的数据库或模型将下列中的一个或多个与一个或多个未来车辆运动相关联：手的挥动运动；包含手掌面向车辆而手指向上的手势；驾驶员在阈值时间段内的视线方向；一系列头部运动；以及视线方向的一系列快速变化。
在示例8中，示例6-7中任一个的数据库或模型将视线方向与未来驾驶方向相关联。
在示例9中，示例6-8中任一个的数据库或模型将姿势与当前驾驶情景相关联，其中驾驶情景包含停在交叉口处、接近交叉口、随着一个或多个附近车辆驶离道路、合并到道路上、离开道路、进入停车场或停车位、离开停车场或停车位、或诸如此类。
示例10是一种计算机实施的方法。该方法包括接收车辆附近的区域中的邻近车辆的图像。该方法包括确定图像的包含邻近车辆的驾驶员的区域。该方法包括处理图像的包含邻近车辆的驾驶员的区域中的图像数据以检测驾驶员的头部取向、视线方向和姿势中的一个或多个。该方法包括访问将头部取向、视线方向和姿势中的一个或多个与一个或多个未来车辆运动相关联的数据库或模型。该方法进一步包括基于邻近车辆的一个或多个未来车辆运动来确定车辆操纵。
在示例11中，示例10的方法进一步包括在图像内定位车辆。
在示例12中，示例10-11中任一个中确定图像的包含驾驶员的区域包括基于下列中的一个或多个来确定区域：车辆的一个或多个车窗的位置和车辆中驾驶员的座椅的预测位置。
在示例13中，示例10-12中任一个的数据库或模型将下列中的一个或多个与一个或多个未来车辆运动相关联：手的挥动运动；包含手掌面向车辆而手指向上的手势；驾驶员在阈值时间段内的视线方向；一系列头部运动；以及视线方向的一系列变化。
示例14是一种计算机可读存储介质，该计算机可读存储介质存储指令，当指令由一个或多个处理器执行时，使处理器接收车辆的图像。该指令进一步使处理器识别图像的车辆的驾驶员所在的区域周围的边界。该指令进一步使处理器基于驾驶员的肢体语言来预测车辆的未来运动，其中驾驶员的肢体语言包含驾驶员的头部取向、视线方向和姿势中的一个或多个。
在示例15中，示例14的指令进一步使处理器检测驾驶员的头部取向、视线方向和姿势中的一个或多个。
在示例16中，示例14-16中任一个中检测驾驶员的头部取向、视线方向和姿势中的一个或多个包括处理边界中的图像数据以检测头部取向、视线方向和姿势。
在示例17中，示例14-16的指令进一步使处理器在图像内定位车辆。
在示例18中，示例14-17中任一个中识别区域周围的边界包括下列中的一个或多个：识别车辆的一个或多个车窗以及识别车辆的驾驶员可能位于的区域。
在示例19中，示例14-18中任一个中的指令进一步使处理器访问将驾驶员的头部取向、视线方向和姿势中的一个或多个与一个或多个未来车辆运动相关联的数据库或模型。
在示例20中，示例14-19中任一个中的指令进一步使处理器基于预测的未来运动来确定要由母车辆执行的驾驶操纵。
应当指出的是，以上所讨论的传感器实施例可以包含计算机硬件、软件、固件或其任何组合以执行其功能的至少一部分。例如，传感器可以包括被配置为在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电子电路。本文提供这些示例设备是为了说明的目的，并不旨在进行限制。本发明的实施例可以在其他类型的设备中实施，如相关领域技术人员将已知的那样。
本发明的实施例涉及包含存储在任何计算机可用介质上的这样的逻辑(例如，以软件的形式)的计算机程序产品。这样的软件，当在一个或多个数据处理设备中执行时，使设备如本文所描述的那样操作。
虽然以上已经描述了本发明的各种实施例，但是应当理解的是，它们已仅通过举例的方式呈现，而非限制。对相关领域的技术人员来说将显而易见的是，形式和细节的各种改变可以在不脱离本发明的精神和范围的前提下进行。因此，本发明的广度和范围不应该被上述示例性实施例中的任一个限制，而是应该仅根据下面的权利要求书及其等同物来限定。为了说明和描述的目的，前面的描述已被呈现。它不旨在是穷尽或将本发明限制为所公开的精确形式。鉴于以上教导，许多修改和变化是可能的。此外，应该指出的是，上述替代实施方式中的任一个或全部可以以任意所需的组合使用以形成本发明的附加混合实施方式。
此外，虽然本发明的特定实施方式已被描述和说明，但是本发明不被限于所描述和所说明的特定的形式或部件的布置。本发明的范围由所附的权利要求、本申请中和不同申请中所提交的任何未来的权利要求及其等同物来限定。

Claims (17)

1.一种用于车辆的系统，所述系统包含：
摄像机系统，所述摄像机系统被配置为拍摄车辆的图像；
边界部件，所述边界部件被配置为识别所述图像的对应于所述车辆的驾驶员所在的区域的子部分；
肢体语言部件，所述肢体语言部件被配置为检测所述驾驶员的肢体语言；以及
预测部件，所述预测部件被配置为基于由所述肢体语言部件检测到的所述驾驶员的所述肢体语言来预测所述车辆的未来运动，所述预测部件被配置为访问将由所述肢体语言部件检测到的所述驾驶员的所述肢体语言与一个或多个未来车辆运动相关联的数据库或模型，其中所述数据库或所述模型将姿势与当前驾驶情景相关联，其中所述驾驶情景包含停在交叉口处、接近交叉口、随着一个或多个附近车辆驶离道路、合并到道路上、离开道路、进入停车场或停车位、或离开停车场或停车位。
2.根据权利要求1所述的系统，其中所述肢体语言部件被配置为通过识别所述驾驶员的头部取向、视线方向和姿势中的一个或多个来检测所述驾驶员的所述肢体语言。
3.根据权利要求1所述的系统，其中所述肢体语言部件被配置为处理所述图像的所述子部分中的图像数据以检测所述驾驶员的所述肢体语言。
4.根据权利要求1所述的系统，其中所述边界部件被配置为在所述图像内定位所述车辆。
5.根据权利要求1所述的系统，其中所述边界部件被配置为基于下列中的一个或多个来识别所述图像的所述子部分：
一个或多个车窗的识别；以及
驾驶员可能位于的所述车辆的区域的识别。
6.根据权利要求1所述的系统，其中所述数据库或所述模型将下列中的一个或多个与所述一个或多个未来车辆运动相关联：
手的挥动运动；
包含手掌面向所述车辆而手指向上的手势；
所述驾驶员在阈值时间段内的视线方向；
一系列头部运动；以及
视线方向的一系列快速变化。
7.根据权利要求1所述的系统，其中所述数据库或所述模型将视线方向与未来驾驶方向相关联。
8.一种用于车辆的方法，所述方法由计算机实施，所述方法包含：
接收车辆附近的区域中的邻近车辆的图像；
确定所述图像的包含所述邻近车辆的驾驶员的区域；
处理所述图像的包含所述邻近车辆的所述驾驶员的所述区域中的图像数据以检测所述驾驶员的头部取向、视线方向和姿势中的一个或多个；
访问将所述头部取向、所述视线方向和所述姿势中的一个或多个与一个或多个未来车辆运动相关联的数据库或模型；以及
基于所述邻近车辆的所述一个或多个未来车辆运动来确定车辆操纵，
其中所述数据库或所述模型将姿势与当前驾驶情景相关联，其中所述驾驶情景包含停在交叉口处、接近交叉口、随着一个或多个附近车辆驶离道路、合并到道路上、离开道路、进入停车场或停车位、或离开停车场或停车位。
9.根据权利要求8所述的方法，进一步包含在所述图像内定位所述车辆。
10.根据权利要求8所述的方法，其中确定所述图像的包含所述驾驶员的所述区域包含基于下列中的一个或多个来确定所述区域：
所述车辆的一个或多个车窗的位置；以及
所述车辆中驾驶员座椅的预测位置。
11.根据权利要求8所述的方法，其中所述数据库或所述模型将下列中的一个或多个与所述一个或多个未来车辆运动相关联：
手的挥动运动；
包含手掌面向所述车辆而手指向上的手势；
所述驾驶员在阈值时间段内的视线方向；
一系列头部运动；以及
视线方向的一系列变化。
12.一种计算机可读存储介质，所述计算机可读存储介质存储指令，所述指令当由一个或多个处理器执行时使所述处理器：
接收车辆的图像；
识别所述图像的所述车辆的驾驶员所在的区域周围的边界；以及
通过访问数据库或模型来基于所述驾驶员的肢体语言预测所述车辆的未来运动，其中所述驾驶员的所述肢体语言包含驾驶员的头部取向、视线方向和姿势中的一个或多个，所述数据库或所述模型将所述驾驶员的所述头部取向、所述视线方向和所述姿势中的一个或多个与一个或多个未来车辆运动相关联，其中所述数据库或所述模型将姿势与当前驾驶情景相关联，其中所述驾驶情景包含停在交叉口处、接近交叉口、随着一个或多个附近车辆驶离道路、合并到道路上、离开道路、进入停车场或停车位、或离开停车场或停车位。
13.根据权利要求12所述的计算机可读存储介质，其中所述指令进一步使所述处理器检测所述驾驶员的所述头部取向、所述视线方向和所述姿势中的一个或多个。
14.根据权利要求13所述的计算机可读存储介质，其中检测所述驾驶员的所述头部取向、所述视线方向和所述姿势中的一个或多个包含处理所述边界中的图像数据以检测所述头部取向、所述视线方向和所述姿势。
15.根据权利要求12所述的计算机可读存储介质，其中所述指令进一步使所述处理器在所述图像内定位所述车辆。
16.根据权利要求12所述的计算机可读存储介质，其中识别所述区域周围的所述边界包含下列中的一个或多个：
识别所述车辆的一个或多个车窗；以及
识别所述车辆的驾驶员可能位于的区域。
17.根据权利要求12所述的计算机可读存储介质，其中所述指令进一步使所述处理器基于所述预测的未来运动来确定要由母车辆执行的驾驶操纵。
CN201610927463.1A 2015-11-04 2016-10-31 基于驾驶员肢体语言来预测车辆运动 Active CN107031650B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/932,160 US9864918B2 (en) 2015-11-04 2015-11-04 Predicting vehicle movements based on driver body language
US14/932,160 2015-11-04

Publications (2)

Publication Number Publication Date
CN107031650A CN107031650A (zh) 2017-08-11
CN107031650B true CN107031650B (zh) 2021-08-31

Family

ID=57963601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610927463.1A Active CN107031650B (zh) 2015-11-04 2016-10-31 基于驾驶员肢体语言来预测车辆运动

Country Status (6)

Country Link
US (3) US9864918B2 (zh)
CN (1) CN107031650B (zh)
DE (1) DE102016120507B4 (zh)
GB (1) GB2545321A (zh)
MX (1) MX2016014391A (zh)
RU (1) RU2016143308A (zh)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US10268321B2 (en) 2014-08-15 2019-04-23 Google Llc Interactive textiles within hard objects
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US9315197B1 (en) * 2014-09-30 2016-04-19 Continental Automotive Systems, Inc. Hands accelerating control system
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
KR102327044B1 (ko) 2015-04-30 2021-11-15 구글 엘엘씨 타입-애그노스틱 rf 신호 표현들
WO2016176574A1 (en) 2015-04-30 2016-11-03 Google Inc. Wide-field radar-based gesture recognition
KR102002112B1 (ko) 2015-04-30 2019-07-19 구글 엘엘씨 제스처 추적 및 인식을 위한 rf―기반 마이크로―모션 추적
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
JP6488922B2 (ja) * 2015-07-06 2019-03-27 株式会社デンソー 運転者異常検出装置
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US9864918B2 (en) * 2015-11-04 2018-01-09 Ford Global Technologies, Llc Predicting vehicle movements based on driver body language
KR102137213B1 (ko) * 2015-11-16 2020-08-13 삼성전자 주식회사 자율 주행을 위한 모델 학습 장치 및 방법과 자율 주행 장치
US10752257B2 (en) * 2016-02-19 2020-08-25 A Truly Electric Car Company Car operating system that controls the car's direction and speed
US10492302B2 (en) 2016-05-03 2019-11-26 Google Llc Connecting an electronic component to an interactive textile
US10285456B2 (en) 2016-05-16 2019-05-14 Google Llc Interactive fabric
JP6443393B2 (ja) * 2016-06-01 2018-12-26 トヨタ自動車株式会社 行動認識装置，学習装置，並びに方法およびプログラム
EP3460613B1 (en) * 2016-06-08 2020-10-07 Uisee Technologies (Beijing) Ltd Speed planning method and apparatus and calculating apparatus for automatic driving of vehicle
US10310055B2 (en) * 2016-06-23 2019-06-04 GM Global Technology Operations LLC Dynamic adjustment of radar parameters
US11067667B2 (en) 2016-09-08 2021-07-20 Magna Closures Inc. Radar detection system for non-contact human activation of powered closure member
US10934764B2 (en) 2016-09-08 2021-03-02 Magna Closures Inc. Radar detection system for non-contact human activation of powered closure member
US20190162821A1 (en) * 2016-09-08 2019-05-30 Magna Closures Inc. Radar detection system for non-contact human activation of powered closure member
US9919648B1 (en) * 2016-09-27 2018-03-20 Robert D. Pedersen Motor vehicle artificial intelligence expert system dangerous driving warning and control system and method
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
US10488510B2 (en) * 2017-02-02 2019-11-26 Leah La Salla Predictive probable cause system and unmanned vehicles using the same
KR102343329B1 (ko) * 2017-02-07 2021-12-24 삼성전자주식회사 차량의 운전을 보조하는 전자 장치 및 방법
US20180336329A1 (en) * 2017-05-19 2018-11-22 Lynn Walford Vehicle Steering Assembly
FR3066743B1 (fr) * 2017-05-29 2019-07-12 Valeo Schalter Und Sensoren Gmbh Assistance a la conduite d'un vehicule automobile a l'approche d'une barriere de peage
DE102017006434A1 (de) * 2017-07-07 2019-01-10 Wabco Gmbh Verfahren zum vorausschauenden Bewerten einer aktuellen Fahrsituation sowie Bewertungsmodul
DE102017217256A1 (de) * 2017-09-28 2019-03-28 Zf Friedrichshafen Ag Kommunikationsfluss von Verkehrsteilnehmer in Richtung eines automatisiert fahrenden Fahrzeug
US11151883B2 (en) * 2017-11-03 2021-10-19 International Business Machines Corporation Empathic autonomous vehicle
US10759362B2 (en) * 2018-01-05 2020-09-01 Byton Limited Harness for assisted driving
US10726248B2 (en) 2018-02-01 2020-07-28 Ford Global Technologies, Llc Validating gesture recognition capabilities of automated systems
US11971714B2 (en) * 2018-02-19 2024-04-30 Martin Tremblay Systems and methods for autonomous vehicles
IT201800003102A1 (it) * 2018-02-27 2019-08-27 Osram Gmbh Un procedimento per predire una traiettoria e un frustum di vista, corrispondente sistema e prodotto informatico
US10752249B2 (en) * 2018-03-14 2020-08-25 Toyota Research Institute, Inc. Vehicle systems and methods for providing turn assistance at an intersection
JP6985203B2 (ja) * 2018-04-05 2021-12-22 トヨタ自動車株式会社 挙動予測装置
DE102018208150B4 (de) * 2018-05-24 2023-08-24 Audi Ag Verfahren und System zum Sicherstellen einer Echtzeitfähigkeit eines Fahrerassistenzsystems
WO2019226051A1 (en) 2018-05-25 2019-11-28 Kepler Vision Technologies B.V. Monitoring and analyzing body language with machine learning, using artificial intelligence systems for improving interaction between humans, and humans and robots
NL2020989B1 (en) * 2018-05-25 2019-12-04 Kepler Vision Tech Bv Monitoring and analyzing body language with machine learning, using artificial intelligence systems for improving interaction between humans, and humans and robots.
JP7176241B2 (ja) * 2018-06-15 2022-11-22 トヨタ自動車株式会社 自律移動体、および自律移動体の制御プログラム
JP7052872B2 (ja) * 2018-07-31 2022-04-12 日本電信電話株式会社 運転支援装置、方法、およびプログラム
DE102018213600A1 (de) * 2018-08-13 2020-02-13 Conti Temic Microelectronic Gmbh - Gestenerkennungsvorrichtung für ein Fahrzeug -
US11117572B2 (en) 2018-08-29 2021-09-14 International Business Machines Corporation Cognition enabled driving pattern detection
CN109343519B (zh) * 2018-09-14 2024-05-28 济源维恩科技开发有限公司 视线引导车辆自动驾驶系统
DE102018127474A1 (de) * 2018-11-05 2020-05-07 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines Sicherheitssystems für ein Kraftfahrzeug; Sicherheitssystem und Computerprogrammprodukt
JP7077255B2 (ja) * 2019-03-14 2022-05-30 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
CN109895781A (zh) * 2019-03-18 2019-06-18 百度在线网络技术（北京）有限公司 用于控制车辆的方法和装置
DE112019007053T5 (de) 2019-03-19 2022-01-27 HELLA GmbH & Co. KGaA Verfahren für eine Detektion und Klassifizierung von Gesten unter Verwendung eines Radarsystems
CN110428582A (zh) * 2019-06-28 2019-11-08 苏州浪潮智能科技有限公司 一种婴幼儿睡眠防护的方法和系统
CN110427850B (zh) * 2019-07-24 2022-03-08 中国科学院自动化研究所 驾驶员高速道路换道意图预测方法、系统、装置
US11479148B2 (en) * 2019-08-08 2022-10-25 GM Global Technology Operations LLC Personalization settings based on body measurements
US11562206B2 (en) 2019-09-30 2023-01-24 Wipro Limited System and method for providing personalized driving or navigation assistance
JP7267222B2 (ja) * 2020-02-26 2023-05-01 三菱ロジスネクスト株式会社 処理装置、処理方法、報知システム及びプログラム
US11564073B2 (en) * 2020-03-16 2023-01-24 Honda Motor Co., Ltd. System and method for emotion detection and inter-vehicle communication
US11574468B2 (en) 2020-03-31 2023-02-07 Toyota Research Institute, Inc. Simulation-based learning of driver interactions through a vehicle window
US11407415B2 (en) * 2020-09-01 2022-08-09 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for adjusting a yielding space of a platoon
US12005922B2 (en) * 2020-12-31 2024-06-11 Honda Motor Co., Ltd. Toward simulation of driver behavior in driving automation
US11927456B2 (en) 2021-05-27 2024-03-12 Rovi Guides, Inc. Methods and systems for providing dynamic in-vehicle content based on driving and navigation data
US20230028042A1 (en) * 2021-07-21 2023-01-26 Canoo Technologies Inc. Augmented pseudo-labeling for object detection learning with unlabeled images
CN113525508B (zh) * 2021-07-23 2022-04-15 深圳华一精品科技有限公司 一种方向盘的控制方法、控制系统、车辆、计算机设备及计算机可读存储介质
US11884270B2 (en) * 2021-09-24 2024-01-30 Argo AI, LLC System and method for intent monitoring of other road actors
DE102021129535A1 (de) 2021-11-12 2023-05-17 Ford Global Technologies, Llc System und Verfahren zum Steuern von autonom steuerbaren Fahrzeugfunktionen eines mit Partnersubjekten kooperierenden autonomen Fahrzeugs, Computerprogrammprodukt, computerlesbarer Datenträger und Fahrzeug
US20230219595A1 (en) * 2022-01-13 2023-07-13 Motional Ad Llc GOAL DETERMINATION USING AN EYE TRACKER DEVICE AND LiDAR POINT CLOUD DATA
US20240025440A1 (en) * 2022-07-19 2024-01-25 Ford Global Technologies, Llc State estimation and response to active school vehicles in a self-driving system
DE102023203696A1 (de) 2023-04-21 2024-10-24 Continental Automotive Technologies GmbH Verfahren für ein Assistenzsystem für ein Fahrzeug, Assistenzsystem sowie Fahrzeug

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101674965A (zh) * 2007-05-02 2010-03-17 丰田自动车株式会社 车辆行为控制装置
CN101786456A (zh) * 2010-03-02 2010-07-28 武汉理工大学 驾驶员换道意图识别系统
CN104182742A (zh) * 2013-05-20 2014-12-03 比亚迪股份有限公司 头部姿态识别方法及系统
CN104460974A (zh) * 2013-09-25 2015-03-25 现代自动车株式会社 车辆操纵装置
US9014905B1 (en) * 2014-01-28 2015-04-21 Google Inc. Cyclist hand signal detection by an autonomous vehicle

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4790555A (en) * 1987-09-29 1988-12-13 John Nobile Bicycle fairing and mounting means therefor
US7124027B1 (en) * 2002-07-11 2006-10-17 Yazaki North America, Inc. Vehicular collision avoidance system
JP4349452B2 (ja) * 2007-08-27 2009-10-21 トヨタ自動車株式会社 行動予測装置
JP2010097335A (ja) * 2008-10-15 2010-04-30 Toyota Motor Corp 運転意思推定装置
US20100131148A1 (en) * 2008-11-26 2010-05-27 Jaime Camhi System and method for estimated driver intention for driver assistance system control
DE102008062916A1 (de) * 2008-12-23 2010-06-24 Continental Safety Engineering International Gmbh Verfahren zur Ermittlung einer Kollisionswahrscheinlichkeit eines Fahrzeuges mit einem Lebewesen
US8502860B2 (en) * 2009-09-29 2013-08-06 Toyota Motor Engineering & Manufacturing North America (Tema) Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
US8976040B2 (en) * 2012-02-16 2015-03-10 Bianca RAY AVALANI Intelligent driver assist system based on multimodal sensor fusion
US8457827B1 (en) 2012-03-15 2013-06-04 Google Inc. Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles
US9158980B1 (en) * 2012-09-19 2015-10-13 Google Inc. Use of relationship between activities of different traffic signals in a network to improve traffic signal state estimation
US8788134B1 (en) 2013-01-04 2014-07-22 GM Global Technology Operations LLC Autonomous driving merge management system
US9361409B2 (en) 2013-01-10 2016-06-07 International Business Machines Corporation Automatic driver modeling for integration of human-controlled vehicles into an autonomous vehicle network
US10347127B2 (en) 2013-02-21 2019-07-09 Waymo Llc Driving mode adjustment
US20150116200A1 (en) * 2013-10-25 2015-04-30 Honda Motor Co., Ltd. System and method for gestural control of vehicle systems
US9366215B2 (en) * 2014-06-18 2016-06-14 Cummins, Inc. Systems and methods for driving intention prediction in vehicles
US20150371519A1 (en) * 2014-06-24 2015-12-24 Kabushiki Kaisha Toshiba Information Processing Device and Information Processing Method
DE102015200059A1 (de) * 2015-01-07 2016-07-07 Honda Motor Co., Ltd. Fahrer-Intentions-Vorhersage-Vorrichtung und Verfahren und Fahrzeug umfassend solch eine Vorrichtung
US10168785B2 (en) * 2015-03-03 2019-01-01 Nvidia Corporation Multi-sensor based user interface
US9694813B2 (en) * 2015-08-25 2017-07-04 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle operation within a center turn lane
US9864918B2 (en) * 2015-11-04 2018-01-09 Ford Global Technologies, Llc Predicting vehicle movements based on driver body language

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101674965A (zh) * 2007-05-02 2010-03-17 丰田自动车株式会社 车辆行为控制装置
CN101786456A (zh) * 2010-03-02 2010-07-28 武汉理工大学 驾驶员换道意图识别系统
CN104182742A (zh) * 2013-05-20 2014-12-03 比亚迪股份有限公司 头部姿态识别方法及系统
CN104460974A (zh) * 2013-09-25 2015-03-25 现代自动车株式会社 车辆操纵装置
US9014905B1 (en) * 2014-01-28 2015-04-21 Google Inc. Cyclist hand signal detection by an autonomous vehicle

Also Published As

Publication number Publication date
US10423847B2 (en) 2019-09-24
US9864918B2 (en) 2018-01-09
US20190362168A1 (en) 2019-11-28
DE102016120507B4 (de) 2024-08-08
US11126877B2 (en) 2021-09-21
US20170124407A1 (en) 2017-05-04
MX2016014391A (es) 2018-05-02
RU2016143308A (ru) 2018-05-04
GB201618510D0 (en) 2016-12-14
US20180012093A1 (en) 2018-01-11
CN107031650A (zh) 2017-08-11
GB2545321A (en) 2017-06-14
DE102016120507A1 (de) 2017-05-04

Similar Documents

Publication Publication Date Title
CN107031650B (zh) 基于驾驶员肢体语言来预测车辆运动
CN106873580B (zh) 基于感知数据在交叉口处自主驾驶
CN106891888B (zh) 车辆转向信号检测
US12090997B1 (en) Predicting trajectories of objects based on contextual information
CN107220581B (zh) 通过后置摄像机的行人检测和运动预测
US11332132B2 (en) Method of handling occlusions at intersections in operation of autonomous vehicle
US11513518B2 (en) Avoidance of obscured roadway obstacles
CN106952471B (zh) 交叉路口处驾驶员意图的预测
CN107203738B (zh) 车辆车道边界定位
US20170206426A1 (en) Pedestrian Detection With Saliency Maps
US20150153184A1 (en) System and method for dynamically focusing vehicle sensors
US9592828B2 (en) Long term driving danger prediction system
JPWO2008126389A1 (ja) 安全運転支援装置
US20220242440A1 (en) Methods and system for generating a lane-level map for an area of interest for navigation of an autonomous vehicle
CN116745195A (zh) 车道外安全驾驶的方法和系统
US12078491B2 (en) Self-localization of a vehicle in a parking infrastructure
CN114207685B (zh) 自主车辆交互系统
RU2763331C1 (ru) Способ отображения плана движения и устройство отображения плана движения

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant