CN107921923B - 用于自动化车辆的行人意图检测 - Google Patents

用于自动化车辆的行人意图检测 Download PDF

Info

Publication number
CN107921923B
CN107921923B CN201680049981.6A CN201680049981A CN107921923B CN 107921923 B CN107921923 B CN 107921923B CN 201680049981 A CN201680049981 A CN 201680049981A CN 107921923 B CN107921923 B CN 107921923B
Authority
CN
China
Prior art keywords
pedestrian
controller
detection device
vehicle
host
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680049981.6A
Other languages
English (en)
Other versions
CN107921923A (zh
Inventor
M·H·劳尔
S·朗贝尔蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anbofu Technology 2 Co ltd
Original Assignee
Delphi Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Delphi Technologies Inc filed Critical Delphi Technologies Inc
Publication of CN107921923A publication Critical patent/CN107921923A/zh
Application granted granted Critical
Publication of CN107921923B publication Critical patent/CN107921923B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种用于主车辆(12)(例如，自动化车辆)的自动化操作的行人(24)意图检测系统(10)包括物体检测设备(20)和控制器(26)。所述物体检测设备(20)可操作为检测主车辆(12)附近的物体(22)。所述控制器(26)与所述物体检测设备(20)通信。所述控制器(26)被配置成基于由所述物体检测设备(20)指示的所述行人(24)的检测特征(28)确定由所述物体检测设备(20)检测的所述物体(22)何时是行人(24)。所述控制器(26)被进一步配置成基于由所述物体检测设备(20)指示的所述行人(24)的行为特征(例如，意图)限定位于所述行人(24)附近的注意区域(30)的大小。所述控制器(26)被进一步配置成操作(例如，制动、转向)所述主车辆(12)以避开所述注意区域(30)。

Description

用于自动化车辆的行人意图检测
技术领域
本公开大体涉及用于主车辆的自动化操作的行人意图检测系统，并且更具体地涉及基于由物体检测设备指示的行人的行为特征限定位于行人附近的注意区域的大小的系统。
背景技术
已知检测主车辆附近的物体以警告主车辆的驾驶员，或通过路径规划辅助自动化车辆。然而，虽然静止物体预计将保持固定在一位置处，但是诸如行人和动物的移动物体可能开始移动或可能已经正在移动，这使路径规划更困难。
发明内容
根据一个实施例，提供一种用于主车辆的自动化操作的行人意图检测系统。该系统包括物体检测设备和控制器。物体检测设备可操作用于检测主车辆附近的物体。控制器与物体检测设备通信。控制器被配置成基于由物体检测设备指示的行人的检测特征确定由物体检测设备检测的物体何时是行人。控制器被进一步配置成基于由物体检测设备指示的行人的行为特征限定位于行人附近的注意区域的大小。控制器被进一步配置成操作主车辆以避开注意区域。
阅读优选实施例的下列详细描述并参考各个附图，进一步的特征和优点将更加显而易见，优选实施例只是作为非限制性示例给出的。
附图说明
现在将参考各个附图通过示例的方式来描述本发明，其中：
图1是根据一个实施例的用于主车辆的自动化操作的行人意图检测系统的图；
图2是根据一个实施例的图1的系统可能遭遇的交通场景；以及
图3是根据一个实施例的由图1的系统观察到的正在行走的行人的图示。
详细描述
图1示出了用于主车辆12的自动化操作的行人意图检测系统(以下为系统10)的非限制性示例。主车辆12可以是完全自动化车辆(即，自主车辆)，或者主车辆可以由操作者14驾驶。在后一种情况下，本文描述的系统10向操作者14提供辅助以驾驶主车辆12，其中辅助可以仅仅是激活警告设备16，或可以包括由操作者14和/或系统10使用以控制主车辆12的转向、加速、和制动的车辆控制器18的临时接管控制。
系统10包括通常可操作以检测主车辆12附近的物体22的物体检测设备20。物体检测设备20可以包括但不限于相机20A、雷达传感器20B、激光雷达传感器、和/或专用短程通信接收器(下文中称为DSRC接收器20D)的任意一个或组合。如下文中将更详细解释的，这些单独的设备中的每一个在将物体检测和/或分类为例如行人24方面具有一定的检测强度。此外，这些单独的设备中的特定组合提供了协同交互作用，以提高系统10的能力以更准确地识别行人24并确定关于行人24的意图的某种预测。
如将更详细解释的，本文描述的系统10通常被配置成将静止物体(诸如标志和灯柱)与潜在移动的物体(诸如行人24，例如人或如宠物或野生动物的动物)区分开。系统10进一步被配置成确定关于检测到的行人的各种细节，并且如果行人碰巧移动到或朝主车辆12的先前计划的行驶路径移动，那么系统10基于这些细节预测主车辆12将需要改变多少程度的计划的或直线前进的行驶路径以避开行人24或向行人24让路。
系统10包括与物体检测设备20通信的控制器26。控制器26可包括诸如微处理器的处理器(未具体示出)或诸如模拟和/或数字控制电路的其它控制电路，包括本领域内技术人员应熟知的用于处理来自物体检测设备20的数据或信号的专用集成电路(ASIC)。控制器26可包括存储器(未具体示出)，包括非易失性存储器，例如电可擦除可编程只读存储器(EEPROM)，用以存储一个或多个例程、阈值以及捕获的数据。该一个或多个例程可由处理器执行，以执行用于确定由来自物体检测设备20的控制器26接收的信号是否能被用于如本文中所述地确定行人24的意图的步骤。换言之，本文描述的系统10，或更具体地控制器26被配置成确定行人24可能移入、朝向、或接近主车辆12的行驶路径的可能性，并且采取一些预防或回避行动以避免或降低主车辆12与行人24之间的碰撞风险。
为此，控制器26通常被配置成基于由物体检测设备20指示的行人24的检测特征28确定由物体检测设备20检测的物体22何时是行人24。如本文中使用的，行人的检测特征28是可以根据各个设备(例如，相机20A、雷达传感器20B、激光雷达传感器和/或DSRC传感器20D)中的一个或组合提供的测量或指示的行人24的一些方面。构想到，检测特征28可以被确定或基于深度学习技术。深度学习(深度机器学习、或深度结构学习、或分层学习、或有时称为DL)是基于一组算法的机器学习的分支，该算法试图通过使用模型架构对数据中的高级抽象建模，模型架构具有复杂的结构或者以其他方式由多个非线性变换组成。深度学习是基于学习数据表示的更广泛的机器学习方法族的一部分。观察(例如，图像)可以用许多方式表示，诸如每个像素的强度值的向量、或以更抽象的方式作为一组边缘、特定形状的区域等。一些表示使得它更容易学习来自示例的任务(例如，面部识别或面部表情识别)。深度学习的技术可以包括无监督或半监督特征学习和分层特征提取。
控制器26进一步大体上被配置成基于由物体检测设备20指示的行人24的行为特征32限定位于行人24附近的注意区域30(图2)的大小和/或形状，并且操作主车辆12以避开注意区域30，或如果主车辆12必须穿过注意区域30那么操作主车辆12以缩小注意区域并且由此减小与行人24碰撞的风险。如本文中使用的，行为特征32确定行人24的一些方面，其可用于预测或估计行人24的意图，特别是行人24可移入或移向主车辆12的行驶路径34(图2)的可能性。如本文中使用的，行驶路径是主车辆12将占据或经过的给定特定的转向路径的道路36的区域。
图2示出了系统10或主车辆12可能遇到的交通场景38的非限制性示例，其中行人24包括站在人行道40上的人和狗，该人行道40由路沿42与道路36分离。如上所述，系统10的物体检测设备20可以包括通常被配置成捕捉主车辆12附近的区域的图像、特别是行人24的一个或多个图像的相机20A。用相机20A装备物体检测设备20是有利的，因为相机20A的合适的示例已经可获得，并且当与用于装备物体检测设备20的其他选项相比时，相机20A提供相对不昂贵的高分辨率形式的横向运动检测。控制器26可以处理来自相机20A的信号以提取或检测在该非限制性示例中包括图像形状28A的检测特征28。当图像形状28A对应于人或动物时，控制器26还可以被配置成确定物体22是行人。确定图像形状28A何时对应于人类或动物的过程可以通过先前提到的深度学习技术或其他已知的图像处理/图像识别技术。
作为进一步示例而非限制，行为特征32可以包括行人24的注视方向32A或由行人24的注视方向32A限定。如本文中使用的，有时被称为头部姿势的注视方向32A被用于确定或估计行人24正在看哪里和/或什么方向。如果行人24正在直视主车辆12因此朝主车辆12的相机20A看，那么行人24的头部的图像通常将包括与眼睛对应的一对较暗的区域。替代地，如果行人正在以图2中示出的注视方向看，因此没有一对暗的区域被检测到，那么行人24的轮廓包括对应于行人24的鼻子的突出部。
如果行人正在看向主车辆12，那么由控制器26确定的注意区域30可以对应于减小的注意区域30A，因此不需要系统10进行动作来将行驶路径34改变为减小的注意区域30A。减小的注意区域30A可以被称为基线注意区域，当行为特征32强烈地表明行人24将不会或不想要走向道路36时，基线注意区域的尺寸和形状可以被使用。然而，如果注视方向32A对应于图2中示出的，那么可能存在行人24不知道主车辆12正在靠近的风险，因此存在行人24可能走向或走进行驶路径34的风险。因此，当注视方向32A不朝向主车辆12时，控制器26被配置成增加注意区域30的大小以对应于例如放大的注意区域30B。
响应于确定行驶路径34和注意区域30与道路36的相同部分相交或共享道路36的相同部分，控制器26可以确定车辆操作44，诸如当确定主车辆12转向道路的毗邻车道46时不会因其他车辆(未示出)的存在、交通规则、障碍物等而被排除时将主车辆12转向道路的毗邻车道46的修订的转向路径44A。替代地，或者除了修订的转向路径44A之外，控制器26可以确定主车辆12的减小的速度44B，使得如果行人24步入行驶路径34，则有时间停止主车辆12。减小的速度44B的效果可以表征为收缩的或减小的注意区域30的大小。换言之，如果主车辆12行驶得足够慢，即使行人24步入行驶路径34，也可以避免与行人24的碰撞。
尽管上文的描述通常针对系统10具有对主车辆的控制或从操作者14取得控制的实例，构想到，如果检测到的意图可能将行人置于受伤的方式上，系统10可以仅激活警告设备以向操作者14指示或指出行人24的存在。也构想到，警告设备对于行人24可以是听得见的和/或看得见的。就是说，控制器26可以被配置成操作主车辆12的喇叭和/或外部灯以引起行人24的注意。
替代地，或除了注视方向32A以外，行为特征32可以包括行人24的姿势向量32B或由其限定。如本文中使用的，姿势向量32B可以基于行人24的躯干(肩膀和/或臀部)和/或腿的方向被确定。例如，如果躯干如图2所示的定向因此如示出的穿过道路36并进入行驶路径34的姿势向量和/或腿(未具体示出)以使得行人24看起来不耐心和/或刚要穿过道路36的方式分开为举步欲迈，那么控制器26可以增加注意区域30以对应于放大的注意区域30B。就是说，控制器26被配置成当姿势向量32B不朝向主车辆12时增加注意区域30的大小。替代地，如果躯干朝向主车辆12，或行人24的腿和大体姿势指示行人不会步入行驶路径34，那么注意区域30可以具有对应于减小的注意区域30A的大小和形状。
作为进一步示例而非限制，行为特征32可以包括行人忙于电话操作32C的确定或由其限定。电话操作32C可以由具有对应于电话的形状的物体被放置在行人24的耳朵或被行人24观看指示。电话操作32C也可以通过行人24的姿势指示，该姿势包括向前握住手并且头部向手弯曲犹如发短信或看电话。如果电话操作32C被检测，控制器26被配置成增加注意区域30的尺寸，因为当检测到行人24的电话操作32C时，行人没有察觉主车辆12不是罕见的。
图3示出了一个人的步行序列48的非限制性示例，其中当人行走时腿部被示出为在一起和分开之间交替。在系统10的另一个实施例中，物体检测设备20可以包括通常被配置成检测由物体22反射的雷达信号的雷达传感器20B。观察到，正在行走的行人的存在通常由雷达信号中微多普勒特征28B的存在指示。微多普勒特征28B由于行人的摆动动作(诸如腿部移动)而上升。除了物体22的主要部分运动的频率信息之外，还存在与物体的结构部件(诸如手臂、腿、和躯干)运动相关联的频率回波。结构部件的运动表现为频域中主要部分运动的边带。这些回波与行人的不同类型的运动相匹配。交替的腿部运动将表现为围绕行人24的主要部分频率回波的交替的正频率和负频率回波。
由雷达传感器20B检测到的另一个标志性的雷达回波可以对应于在腿对准和腿分开之间交替的回波，腿对准使得通常看起来是单个雷达信号回波，腿分开使得通常看起来是两个雷达信号回波。效果是离雷达传感器20B最远的腿周期性地出现和消失。这样，当物体检测设备20包括雷达传感器20B时，检测特征28可以包括微多普勒特征28B，并且控制器26被配置成当微多普勒特征28B对应于人类或动物行走或跑步时确定物体22是行人。除了检测微多普勒特征28B以外，雷达传感器20B还可以被用于确定行人24的运动向量32D。如本文中使用的，运动向量32D被用于大体指示行人24相对于主车辆12的行进的方向。这样，行为特征32可以包括行人24的运动向量32D，并且控制器26可以被配置成当运动向量32D与主车辆12的行驶路径34相交时增加注意区域30的大小。为雷达传感器20B装备物体检测设备20是有利的，因为雷达传感器20B检测物体22的能力当与相机20A和激光雷达传感器20C相比时被恶劣天气(例如，雨、雪)更少地减弱。并且，相对低分辨率形式的雷达传感器20B更便宜并且非常适合于检测径向方向上的运动，即朝向和远离雷达传感器20B的运动。
在系统10的另一个实施例中，物体检测设备20可以包括激光雷达传感器20C，其通常被配置成检测由物体22反射的可表征为激光束的激光雷达回波。观察到，行走时的行人的存在通常由腿部运动特征28C的存在指示。像雷达传感器20B，腿部运动特征28C可以是离激光雷达传感器20C最远的腿交替出现和消失的结果。这样，检测特征包括腿部运动特征28C，并且控制器26可以被配置成当腿部运动特征28C对应于人类或动物的行走或跑步时确定物体22是行人。
除了检测微多普勒特征28B以外，激光雷达传感器20C还可以被用于确定行人24的运动向量32D。如先前所解释的，运动向量32D通常用于指示行人24相对于主车辆12的行进方向，行为特征32包括行人24的运动向量32D，并且控制器26被配置成当运动向量32D与主车辆12的行驶路径34相交时增加注意区域30的大小。如果激光雷达传感器20C是唯一被使用的设备，那么用激光雷达传感器20C装备物体检测设备是有利的；至少在撰写本文时，激光雷达传感器相对昂贵。市售的激光雷达传感器20C的示例具有足够的用于确定物体22的形状的横向或角度的分辨率，和解析径向运动的能力，这是相机20A较弱的点。然而，恶劣天气可以阻碍或抑制激光雷达传感器20C。
在系统10的另一个实施例中，物体检测设备20可以包括专用短程通信接收器，即DSRC接收器20D。DSRC设备是单向或双向短距离到中等距离的无线通信信道，一般具有对应的一套协议和标准用于汽车应用。为了让通信工作，行人24必须装备(即，携带)DSRC发射器50，该发射器可以构建在例如智能手机上。DSRC发射器50将被配置成发射诸如位置28D和运动信号28E的各种类型的信息。如本文中使用的，位置28D可以是GPS坐标，并且运动信号28E可以与计步器相当，其中检测携带计步器的人的步行/跑步运动。由于检测特征28包括由DSRC发射器50发射的位置28D和运动信号28E，控制器26可以被配置成当运动信号28E对应于人类的行走或跑步时确定与在位置28D的DSRC发射器50相关联的行人(例如，多个行人的行人的距离和方向)。
位置28D可以被跟踪以确定前进方向32D(例如，罗盘方向)。因此，行为特征32包括行人24的前进方向32E，并且控制器26可以被配置成当前进方向32E与主车辆12的行驶路径34相交时增加注意区域30的大小。由于可以相对于世界坐标系与GPS坐标相关联确定前进方向，前进方向32E和位置28D将需要被转换成主车辆12的坐标参考系以确定注意区域30。使用DSRC通信的优点是即使来自物体检测设备20的视线被例如其他人、建筑、植被或天气阻挡，行人24的存在和注意区域30的大小/形状也可以被确定。
由于儿童的意图可能比成人的意图更难预测，所以控制器可以被有利地配置成确定行人分类52，该行人分类52指示何时行人24是儿童，并且当行人24被确定为儿童时增加注意区域30的大小。包括相机20A和雷达传感器20B两者的物体检测设备20将能够确定行人24何时是儿童因为雷达传感器20B可以精确地确定距离，因此行人24的绝对身高然后可以从相机20A提供的图像确定。并且，相机20A本身可以基于图像形状28A确定行人24何时是儿童，因为当幼儿行走时他们倾向于具有独特的门，并且与成人相比具有独特的身体部分尺寸关系。如上所述，深度学习技术也可以用于“教导”控制器26如何区分成人与儿童。
作为另一个实施例，控制器26可以检测与人不同的第二物体(未示出)(例如，宠物、球、自行车、婴儿车、轮椅、购物车)正在被行人24(成人或儿童)跟随或推。当行人24离行驶路径34不是太近时，控制器26可以被配置成确定行人24何时正在跟随第二物体，并且增加注意区域30的大小以包括第二物体。例如，如果行人24正在推购物车，但是到行人24的视线部分受阻，因此微多普勒特征28B和/或腿部动作特征28C不能被确定，注意区域20的大小/形状可以在购物车前方延伸，并且主车辆12相应地操作。
因此，提供了用于主车辆的自动化操作的行人意图检测系统(系统10)和用于系统10的控制器26。本文描述的系统10可以利用各种方式以检测和表征物体22，确定物体是否是行人24，确定行人24的意图，并且限定行人30周围的主车辆12避开或可以以减小的速度行驶通过的注意区域30，因此行人24和主车辆12碰撞的风险被降低。
尽管已经根据本发明的优选实施例描述了本发明，但是并不旨在受限于此，而是仅受随后的权利要求书中所阐述的范围限制。

Claims (13)

1.一种用于主车辆(12)的自动化操作的行人(24)意图检测系统(10)，所述系统(10)包括：
物体检测设备(20)，可操作为检测主车辆(12)附近的物体(22)；以及
控制器(26)，与所述物体检测设备(20)通信，所述控制器(26)被配置成
基于由所述物体检测设备(20)指示的所述行人(24)的检测特征(28)确定由所述物体检测设备(20)检测的所述物体(22)何时是行人(24)，
基于由所述物体检测设备(20)指示的所述行人(24)的行为特征限定位于所述行人(24)附近的注意区域(30)的大小，并且
操作所述主车辆(12)以避开所述注意区域(30)，
其中，所述行为特征(32)包括所述行人(24)的注视方向(32A)，并且所述控制器(26)被配置成当所述注视方向(32A)不朝向所述主车辆(12)时增加所述注意区域(30)的大小。
2.根据权利要求1所述的系统(10)，其中，所述物体检测设备(20)包括相机(20A)，所述检测特征(28)包括图像形状(28A)，并且所述控制器(26)被配置成当所述图像形状(28A)对应于人类或动物时确定所述物体(22)是行人(24)。
3.根据权利要求1所述的系统(10)，其中，所述行为特征(32)包括所述行人(24)的姿势向量(32B)，并且所述控制器(26)被配置成当所述姿势向量(32B)不朝向所述主车辆(12)时增加所述注意区域(30)的大小。
4.根据权利要求2所述的系统(10)，其中，所述行为特征(32)包括由所述行人(24)进行的电话操作(32C)，并且所述控制器(26)被配置成当由所述行人(24)进行的电话操作(32C)被检测时增加所述注意区域(30)的大小。
5.根据权利要求1所述的系统(10)，其中，所述控制器(26)被配置成确定所述行人(24)何时是儿童，并且当所述儿童被确定时增加所述注意区域(30)的大小。
6.根据权利要求1所述的系统(10)，其中，所述控制器(26)被配置成确定所述行人(24)何时跟随第二物体(22)，并且增加所述注意区域(30)的大小以包括所述第二物体(22)。
7.根据权利要求1所述的系统(10)，其中，所述物体检测设备(20)包括雷达传感器(20B)，所述检测特征(28)包括微多普勒特征(28B)，并且所述控制器(26)被配置成当所述微多普勒特征(28B)对应于人类或动物行走或跑步时确定所述物体(22)是行人(24)。
8.根据权利要求7所述的系统(10)，其中，所述行为特征(32)包括所述行人(24)的运动向量(32D)，并且所述控制器(26)被配置成当所述运动向量(32D)与所述主车辆(12)的行驶路径(34)相交时增加所述注意区域(30)的大小。
9.根据权利要求1所述的系统(10)，其中，所述物体检测设备(20)包括激光雷达传感器(20C)，所述检测特征(28)包括腿部运动特征(28C)，并且所述控制器(26)被配置成当所述腿部运动特征(28C)对应于人类或动物行走或跑步时确定所述物体(22)是行人(24)。
10.根据权利要求9所述的系统(10)，其中，所述行为特征(32)包括所述行人(24)的运动向量(32D)，并且所述控制器(26)被配置成当所述运动向量(32D)与所述主车辆(12)的行驶路径(34)相交时增加所述注意区域(30)的大小。
11.根据权利要求1所述的系统(10)，其中所述物体检测设备(20)包括专用短程通信接收器(DSRC接收器(20D))，所述检测特征(28)包括由DSRC发射器(50)发射的位置(28D)和运动信号(28E)，并且所述控制器(26)被配置成当所述运动信号(28E)对应于人类行走或跑步时确定与在所述位置(28D)处的DSRC发射器(50)相关联的行人(24)。
12.根据权利要求11所述的系统(10)，其中，所述行为特征(32)包括所述行人(24)的前进方向，并且所述控制器(26)被配置成当所述前进方向与所述主车辆(12)的行驶路径(34)相交时增加所述注意区域(30)的大小。
13.根据权利要求1所述的系统(10)，其中，所述物体检测设备(20)包括相机(20A)、雷达传感器(20B)、激光雷达传感器(20C)和专用短程通信接收器(DSRC接收器(20D))中的两个或更多个。
CN201680049981.6A 2015-08-28 2016-08-03 用于自动化车辆的行人意图检测 Active CN107921923B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/838,826 US9604639B2 (en) 2015-08-28 2015-08-28 Pedestrian-intent-detection for automated vehicles
US14/838,826 2015-08-28
PCT/US2016/045347 WO2017039925A1 (en) 2015-08-28 2016-08-03 Pedestrian-intent-detection for automated vehicles

Publications (2)

Publication Number Publication Date
CN107921923A CN107921923A (zh) 2018-04-17
CN107921923B true CN107921923B (zh) 2020-10-30

Family

ID=58097354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680049981.6A Active CN107921923B (zh) 2015-08-28 2016-08-03 用于自动化车辆的行人意图检测

Country Status (4)

Country Link
US (1) US9604639B2 (zh)
EP (1) EP3341248A4 (zh)
CN (1) CN107921923B (zh)
WO (1) WO2017039925A1 (zh)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769453B2 (en) * 2017-05-16 2020-09-08 Samsung Electronics Co., Ltd. Electronic device and method of controlling operation of vehicle
CN105069842A (zh) * 2015-08-03 2015-11-18 百度在线网络技术（北京）有限公司 道路三维模型的建模方法和装置
US10082797B2 (en) * 2015-09-16 2018-09-25 Ford Global Technologies, Llc Vehicle radar perception and localization
US10142844B2 (en) * 2016-03-25 2018-11-27 Lg Electronics Inc. Method and apparatus for authorizing pedestrian user equipment in wireless communication system
JP6418407B2 (ja) * 2016-05-06 2018-11-07 トヨタ自動車株式会社 車両のブレーキ制御装置
JP6617651B2 (ja) * 2016-07-07 2019-12-11 株式会社デンソー 歩行者検出装置、歩行者検出方法
KR102573303B1 (ko) * 2016-09-01 2023-08-31 삼성전자 주식회사 자율 주행 방법 및 장치
EP3298874B1 (en) * 2016-09-22 2020-07-01 Honda Research Institute Europe GmbH Robotic gardening device and method for controlling the same
US10082796B2 (en) 2016-10-27 2018-09-25 Ford Global Technologies, Llc Pedestrian face detection
US10730531B1 (en) * 2017-02-02 2020-08-04 Uatc, Llc Machine-learning based vehicle motion control system
US10803323B2 (en) * 2017-05-16 2020-10-13 Samsung Electronics Co., Ltd. Electronic device and method of detecting driving event of vehicle
CN111133489B (zh) * 2017-10-05 2022-02-11 本田技研工业株式会社 车辆控制装置、车辆控制方法及存储介质
US11048927B2 (en) 2017-10-24 2021-06-29 Waymo Llc Pedestrian behavior predictions for autonomous vehicles
WO2019089591A1 (en) * 2017-10-30 2019-05-09 Mobileye Vision Technologies Ltd. Vehicle navigation based on human activity
US10913454B2 (en) * 2017-12-13 2021-02-09 Humanising Autonomy Limited Systems and methods for predicting pedestrian intent
US20190184121A1 (en) * 2017-12-19 2019-06-20 Koninklijke Philips N.V. Method for obtaining facial metrics of a person and indentifying a mask for the person from such metrics
JP2019151207A (ja) * 2018-03-02 2019-09-12 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP7100998B2 (ja) * 2018-03-08 2022-07-14 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
EP3553551B1 (en) * 2018-04-10 2022-06-01 Aptiv Technologies Limited Method for the recognition of an object
EP3553552B1 (en) 2018-04-11 2022-05-25 Aptiv Technologies Limited Method for the recognition of a moving pedestrian
EP3553559B1 (en) 2018-04-11 2022-06-01 Aptiv Technologies Limited Method for the recognition of objects
CN108583571A (zh) * 2018-04-28 2018-09-28 深圳市商汤科技有限公司 碰撞控制方法及装置、电子设备和存储介质
US10800408B2 (en) * 2018-05-24 2020-10-13 Baidu Usa Llc Determining driving paths for autonomous driving that avoid moving obstacles
JP7056458B2 (ja) 2018-08-10 2022-04-19 株式会社Ｊｖｃケンウッド 認識処理装置、認識処理方法及び認識処理プログラム
WO2020035728A2 (en) * 2018-08-14 2020-02-20 Mobileye Vision Technologies Ltd. Systems and methods for navigating with safe distances
US10824155B2 (en) 2018-08-22 2020-11-03 Ford Global Technologies, Llc Predicting movement intent of objects
CN111223331B (zh) 2018-11-26 2022-10-18 华为云计算技术有限公司 车辆预警方法及相关装置
DE102018220690A1 (de) * 2018-11-30 2020-06-04 Robert Bosch Gmbh Verfahren zum Klassifizieren eines Verhaltens eines Verkehrsteilnehmers
US20190126921A1 (en) * 2018-12-20 2019-05-02 Intel Corporation Computer-assisted or autonomous driving method and apparatus with consideration for travelers' intent
US10971003B2 (en) 2019-01-29 2021-04-06 Ford Global Technologies, Llc Systems and methods for predicting pedestrian behavior
JP7237684B2 (ja) * 2019-03-27 2023-03-13 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
CN110231605B (zh) * 2019-05-09 2021-10-29 深圳市速腾聚创科技有限公司 人体行为的识别方法、装置、计算机设备和存储介质
US11373318B1 (en) 2019-05-14 2022-06-28 Vulcan Inc. Impact detection
CN112242069B (zh) 2019-07-17 2021-10-01 华为技术有限公司 一种确定车速的方法和装置
US10979679B1 (en) 2019-08-13 2021-04-13 Jarvis Williams Vehicle accident recording system
US11816914B2 (en) 2019-09-05 2023-11-14 Humanising Autonomy Limited Modular predictions for complex human behaviors
DE102019127176A1 (de) * 2019-10-09 2021-04-15 Ford Global Technologies, Llc Steuern eines autonomen Fahrzeugs
JP7232166B2 (ja) * 2019-10-18 2023-03-02 本田技研工業株式会社 予測装置、車両システム、予測方法、およびプログラム
JP7275001B2 (ja) * 2019-10-18 2023-05-17 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US11361554B2 (en) 2019-10-22 2022-06-14 Robert Bosch Gmbh Performing object and activity recognition based on data from a camera and a radar sensor
US11320830B2 (en) 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area
JP7512581B2 (ja) * 2019-10-29 2024-07-09 株式会社デンソー 認識装置、方法、及びプログラム
CN110979320B (zh) * 2019-12-02 2021-03-23 坤泰车辆系统（常州）有限公司 具有不规则行径的行人紧急避让控制方法
US11541778B2 (en) * 2020-02-11 2023-01-03 Gm Cruise Holdings Llc Thermal runaway detection and mitigation for electric vehicles
DE102020202905A1 (de) * 2020-03-06 2021-09-09 Conti Temic Microelectronic Gmbh Verfahren und ein System zur verbesserten Umgebungserkennung
US20210284098A1 (en) * 2020-03-11 2021-09-16 Aptiv Technologies Limited Detection Device
US11661085B2 (en) * 2020-06-04 2023-05-30 Baidu Usa Llc Locked pedestrian detection and prediction for autonomous vehicles
EP4172854A1 (en) * 2020-06-24 2023-05-03 Humanising Autonomy Limited Appearance and movement based model for determining risk of micro mobility users
US12005573B2 (en) 2020-12-06 2024-06-11 Cionic, Inc. Mobility based on machine-learned movement determination
US11957605B2 (en) 2020-12-06 2024-04-16 Cionic, Inc. Machine-learned movement determination based on intent identification
EP4251038A1 (en) * 2020-12-06 2023-10-04 Cionic, Inc. Machine-learned movement determination based on intent identification
US11488479B2 (en) * 2020-12-10 2022-11-01 Toyota Research Institute, Inc. Methods and systems for generating targeted warnings
CN113428176B (zh) * 2021-06-25 2023-11-14 阿波罗智联(北京)科技有限公司 无人车驾驶策略的调整方法、装置、设备和存储介质
US11932167B2 (en) * 2021-10-06 2024-03-19 Leo Polosajian System and method of alerting pedestrians to vehicles

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040107033A1 (en) * 2002-02-13 2004-06-03 Ford Motor Company Method for operating a pre-crash sensing system in a vehicle having external airbags
CN101165509A (zh) * 2006-10-19 2008-04-23 通用汽车环球科技运作公司 辅助倒车运动的防撞系统及方法
US20100027378A1 (en) * 2006-04-25 2010-02-04 University Of Mississippi Methods for detecting humans
DE102011011870A1 (de) * 2010-02-23 2011-08-25 Conti Temic microelectronic GmbH, 90411 Komponenten-basierte Detektion, Klassifikation, Verfolgung und Prädikation von Objekten
DE102011010864A1 (de) * 2011-02-10 2011-12-08 Daimler Ag Verfahren und System zur Vorhersage von Kollisionen
CN103204123A (zh) * 2013-03-25 2013-07-17 中国电子科技集团公司第三十八研究所 一种车辆行人检测跟踪预警装置及其预警方法
DE102013202463A1 (de) * 2013-02-15 2014-08-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Ermitteln eines Bewegungsmodells
US20150035685A1 (en) * 2013-08-02 2015-02-05 Honda Patent & Technologies North America, LLC Vehicle to pedestrian communication system and method
DE102014214090A1 (de) * 2013-09-12 2015-03-12 Continental Teves Ag & Co. Ohg Verfahren zur Erkennung von Verkehrssituationen
CN104680124A (zh) * 2013-11-28 2015-06-03 现代摩比斯株式会社 检测行人的影像处理装置及其方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3263699B2 (ja) * 1992-12-22 2002-03-04 三菱電機株式会社 走行環境監視装置
DE10301468B4 (de) * 2002-01-18 2010-08-05 Honda Giken Kogyo K.K. Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs
JP4160848B2 (ja) * 2003-03-20 2008-10-08 本田技研工業株式会社 車両用衝突物保護装置
JP4161258B2 (ja) * 2003-04-15 2008-10-08 株式会社デンソー 車両用衝突物体判別装置
JP4086013B2 (ja) * 2003-07-24 2008-05-14 株式会社デンソー 車両用衝突物体判別装置
JP4013900B2 (ja) * 2004-01-13 2007-11-28 株式会社デンソー 歩行者検出装置
JP4321450B2 (ja) * 2004-07-26 2009-08-26 株式会社デンソー 視覚認識支援装置
JP2006072830A (ja) * 2004-09-03 2006-03-16 Aisin Aw Co Ltd 運転支援システム及び運転支援モジュール
JP4451258B2 (ja) * 2004-09-21 2010-04-14 タカタ株式会社 衝突物判別装置、保護装置
JP2006264416A (ja) * 2005-03-22 2006-10-05 Takata Corp 対象物検知システム、保護システム、車両
FR2889882B1 (fr) 2005-08-19 2009-09-25 Renault Sas Procede et systeme de prediction de choc entre un vehicule et un pieton.
JP4426535B2 (ja) * 2006-01-17 2010-03-03 本田技研工業株式会社 車両の周辺監視装置
US7576639B2 (en) * 2006-03-14 2009-08-18 Mobileye Technologies, Ltd. Systems and methods for detecting pedestrians in the vicinity of a powered industrial vehicle
US7786898B2 (en) * 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
JP4203512B2 (ja) * 2006-06-16 2009-01-07 本田技研工業株式会社 車両周辺監視装置
JP2008026997A (ja) * 2006-07-18 2008-02-07 Denso Corp 歩行者認識装置及び歩行者認識方法
JP4267657B2 (ja) * 2006-10-31 2009-05-27 本田技研工業株式会社 車両周辺監視装置
JP5077639B2 (ja) * 2006-12-11 2012-11-21 株式会社デンソー 歩行者衝突検出装置及び歩行者保護システム
JP4271720B1 (ja) * 2008-04-24 2009-06-03 本田技研工業株式会社 車両周辺監視装置
JP4614005B2 (ja) 2009-02-27 2011-01-19 トヨタ自動車株式会社 移動軌跡生成装置
CN103477243B (zh) * 2011-03-24 2016-04-27 古河电气工业株式会社 雷达装置
JP5780307B2 (ja) * 2011-09-20 2015-09-16 トヨタ自動車株式会社 対象物変化検出装置および対象物変化検出方法
KR20130068626A (ko) 2011-12-15 2013-06-26 한국전자통신연구원 보행자 충돌 경보 장치 및 방법
KR101428236B1 (ko) 2012-12-03 2014-08-07 현대자동차주식회사 보행자 행동 패턴 인지를 통한 차등 경고 시스템 및 그 방법
US10065562B2 (en) * 2013-12-31 2018-09-04 International Business Mahcines Corporation Vehicle collision avoidance

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040107033A1 (en) * 2002-02-13 2004-06-03 Ford Motor Company Method for operating a pre-crash sensing system in a vehicle having external airbags
US20100027378A1 (en) * 2006-04-25 2010-02-04 University Of Mississippi Methods for detecting humans
CN101165509A (zh) * 2006-10-19 2008-04-23 通用汽车环球科技运作公司 辅助倒车运动的防撞系统及方法
DE102011011870A1 (de) * 2010-02-23 2011-08-25 Conti Temic microelectronic GmbH, 90411 Komponenten-basierte Detektion, Klassifikation, Verfolgung und Prädikation von Objekten
DE102011010864A1 (de) * 2011-02-10 2011-12-08 Daimler Ag Verfahren und System zur Vorhersage von Kollisionen
DE102013202463A1 (de) * 2013-02-15 2014-08-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Ermitteln eines Bewegungsmodells
CN103204123A (zh) * 2013-03-25 2013-07-17 中国电子科技集团公司第三十八研究所 一种车辆行人检测跟踪预警装置及其预警方法
US20150035685A1 (en) * 2013-08-02 2015-02-05 Honda Patent & Technologies North America, LLC Vehicle to pedestrian communication system and method
DE102014214090A1 (de) * 2013-09-12 2015-03-12 Continental Teves Ag & Co. Ohg Verfahren zur Erkennung von Verkehrssituationen
CN104680124A (zh) * 2013-11-28 2015-06-03 现代摩比斯株式会社 检测行人的影像处理装置及其方法

Also Published As

Publication number Publication date
US9604639B2 (en) 2017-03-28
EP3341248A4 (en) 2019-06-19
WO2017039925A1 (en) 2017-03-09
EP3341248A1 (en) 2018-07-04
CN107921923A (zh) 2018-04-17
US20170057497A1 (en) 2017-03-02

Similar Documents

Publication Publication Date Title
CN107921923B (zh) 用于自动化车辆的行人意图检测
US10753138B2 (en) Vehicular collision avoidance system
US11029699B2 (en) Navigating a vehicle based on a detected barrier
CN106873580B (zh) 基于感知数据在交叉口处自主驾驶
US11056002B2 (en) Method, control unit and system for avoiding collision with vulnerable road users
US10545505B2 (en) Trajectory plan modification for an autonomous vehicle operation in a heterogeneous vehicle environment
US11313976B2 (en) Host vehicle position estimation device
US11351993B2 (en) Systems and methods for adapting a driving assistance system according to the presence of a trailer
KR20190058520A (ko) 자율 주행 차량 제어 시스템을 위한 위치에 따른 지원
CN107031650A (zh) 基于驾驶员肢体语言来预测车辆运动
CN108974007B (zh) 确定主动巡航控制的兴趣物体
CN108604413B (zh) 显示装置的控制方法及显示装置
US11127301B1 (en) Systems and methods for adapting operation of an assistance system according to the presence of a trailer
US20150302260A1 (en) Mobile object control apparatus and target object detecting apparatus
US20190135306A1 (en) Safety apparatus for vehicle and method of using the same
CN112498343A (zh) 车辆转向控制系统及方法
KR20190109541A (ko) 타겟 차량을 추종하기 위한 타겟 구조물, 방법 및 제어 유닛
CN111137286A (zh) 车辆车道偏离系统以及方法
US20190161090A1 (en) Vehicle control device, vehicle control method, and recording medium
US20230048044A1 (en) Autonomous vehicle, system, and method of operating one or more autonomous vehicles for the pacing, protection, and warning of on-road persons
JP7503921B2 (ja) 車両制御装置、車両制御方法、およびプログラム
CN111936376B (zh) 障碍物识别方法
US10767989B2 (en) Method and device for detecting a light-emitting object at a traffic junction for a vehicle
KR20220058894A (ko) 터닝 보조 시스템의 작동 방법, 터닝 보조 시스템, 및 이러한 터닝 보조 시스템을 구비한 자동차
JP2014062877A (ja) 物体認識装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20181204

Address after: Babado J San Michaele

Applicant after: Delphi Technologies, Inc.

Address before: michigan

Applicant before: DELPHI TECHNOLOGIES, Inc.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240819

Address after: Luxembourg

Patentee after: Anbofu Technology (2) Co.,Ltd.

Country or region after: Luxembourg

Address before: Babado J San Michaele

Patentee before: Delphi Technologies, Inc.

Country or region before: Barbados

TR01 Transfer of patent right