CN114838734A - 用于预测与行人相关的信息的检测系统 - Google Patents

用于预测与行人相关的信息的检测系统 Download PDF

Info

Publication number
CN114838734A
CN114838734A CN202210116190.8A CN202210116190A CN114838734A CN 114838734 A CN114838734 A CN 114838734A CN 202210116190 A CN202210116190 A CN 202210116190A CN 114838734 A CN114838734 A CN 114838734A
Authority
CN
China
Prior art keywords
pedestrian
data
module
prediction
tracked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210116190.8A
Other languages
English (en)
Inventor
L·哈恩
M·谢弗
赵坤
F·哈赛克
Y·施尼克曼
A·波斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aptiv Technologies Ltd
Original Assignee
Aptiv Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aptiv Technologies Ltd filed Critical Aptiv Technologies Ltd
Publication of CN114838734A publication Critical patent/CN114838734A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3492—Special cost functions, i.e. other than distance or default speed limit of road segments employing speed data or traffic data, e.g. real-time or historical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/49—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an inertial position system, e.g. loosely-coupled
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/35—Data fusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Abstract

一种用于预测与行人相关的信息的检测系统(100)，具有：追踪模块(110)，其从传感器数据实时检测和追踪操作区域中的行人；机器学习预测模块(140)，其使用机器学习算法根据包括由所述追踪模块(110)发送的被追踪行人的数据和所述操作区域的地图数据在内的输入数据来对与所述被追踪行人相关的在未来时间的信息进行预测；行人行为评估模块(130)，其确定所述被追踪行人的表示该行人的实时行为的附加数据，并且所述被追踪行人的所述附加数据被所述机器学习预测模块(140)用作另一输入数据来进行所述预测。

Description

用于预测与行人相关的信息的检测系统
技术领域
本公开涉及用于预测与行人相关的信息的系统和方法，通常用于自主驾驶。
背景技术
在城市环境中驾驶的自主或自驾驶车辆很可能在诸如行人和骑自行车者的弱势道路使用者附近操作。为了排除与弱势道路使用者的碰撞，在靠近弱势道路使用者时，自主车辆会显著地降低其速度。然而，存在于周围环境中的人类驾驶的车辆的驾驶员可能因自主车辆的这种行为而感到惊讶，并且导致两个车辆之间的事故。实际上，在由自主车辆和人类驱动车辆的混合占用的道路上，这种速度降低是问题，因为其会增加事故数量。
当驾驶机动车辆时，人类驾驶员实时地考虑包括车辆周围的操作区域中的多个交通参与者(车辆、行人、自行车或任何其他潜在的移动物体)的多参与者场景，并且基于当前环境和交通参与者可能进行何种行为的短期预测来采取动作决策。特别地，人类驾驶员通常可以根据对行人行为的观察来预测行人的轨迹，并且根据其对行人轨迹的预测来行动。只有当驾驶员预期行人在短期内可能具有危险行为时(这实际上是罕见的情形)，人类驾驶员才显著降低其接近行人的速度。
需要改善这种情况。更具体地说，需要较准确地预测与行人相关的信息。
发明内容
本公开涉及一种用于预测与行人相关的信息的系统，所述系统具有：
追踪模块，所述追踪模块从传感器数据实时检测和追踪位于操作区域中的行人；
机器学习预测模块，所述机器学习预测模块使用机器学习算法根据输入数据来对与被追踪行人相关的在未来时间的信息进行预测，所述输入数据包括所述被追踪行人的由所述追踪模块发送的数据和所述操作区域的地图数据，
其特征在于，
所述预测系统还包括行人行为评估模块，所述行人行为评估模块确定所述被追踪行人的表示该行人的实时行为的附加数据，并且
所述被追踪行人的所述附加数据被所述机器学习预测模块用作另一输入数据来进行所述预测。
本预测系统考虑行人如何行为以较准确地预测行人想要做什么。该系统能够预测在许多情况下行人的意图和行为，以允许在距行人的近距离的典型城市速度。
有利地，预测系统还包括预测融合模块，所述预测融合模块执行对基于由所述追踪模块确定的信息进行的与所述被追踪行人相关的信息的预测和由机器学习模块执行的与所述被追踪行人相关的信息的预测的融合。
两种预测的融合允许提高最终预测的准确性和鲁棒性。
所预测的与所述被追踪行人相关的信息可以包括未来时间的行人轨迹和关于在未来时间的行人意图的信息中的至少一者。
因此，预测可以反映在两种模式中：在第一模式中，预测行人的抽象意图(例如，停留在人行道上、意图横穿道路、等待车辆通过等)，并且在第二模式中，预测行人的具体轨迹。
所述机器学习预测模块具有深度神经网络。例如，深度神经网络是卷积神经网络。
可选地，所述行人行为评估模块包括关键点检测块，所述关键点检测块从行人数据中检测所述行人的身体关键点。
行人的身体关键点是获得关于行人的姿势或行为的知识的重要特征。可以使用由追踪模块提供的与表示检测到的行人的边界框相关的数据来检测身体关键点。
所述行人行为评估模块包括以下至少一者：
动作识别块，所述动作识别块标识所述被追踪行人的动作的类；以及
交通意识检测块，所述交通意识检测块标识所述被追踪行人对于该行人周围的交通状况的意识状态的类。
例如，行为评估模块检测到行人正在看他的智能电话，因此非常分散注意力并且不知道交通状况。在另一示例中，行为评估模块检测到行人与自驾驶车辆目光接触、并且因此意识到自驾驶车辆正在接近。
在特定实施方式中，所述行人行为评估模块是编码器-解码器神经网络的编码器。在此情况下，所述行人行为评估模块和所述机器学习预测模块可以被联合训练。
所述预测系统有利地包括地图处理模块，所述地图处理模块：
接收高分辨率地图数据，
接收车辆的位置的实时数据，所述车辆的所述位置限定所述操作区域，
从所述高分辨率地图数据中提取与对行人的信息的预测相关并且在所述操作区域内的地图数据，以获得所述操作区域的简化地图数据，并且
将所述操作区域的所述简化地图数据发送到所述机器学习预测模块。
有利地，所述追踪模块包括：
对象检测块，所述对象检测块接收来自不同传感器域的传感器数据并且在所述不同传感器域中独立地检测对象；
融合及追踪块，所述融合及追踪块执行来自不同传感器域的独立的对象检测的融合并且追踪各个融合后的对象检测。
所述追踪模块可以使用卡尔曼滤波。
所述追踪模块还可以使用基于投影的联合概率数据关联(PJPDA)滤波器。
在一些实施方式中，所述追踪模块将与所述被追踪行人相关的数据分组流发送到所述行人行为评估模块，各个数据分组包括：
所述被追踪行人的身份数据；
至少一个边界框的边界框数据，各个边界框对应于所述被追踪行人的检测。
本公开还涉及一种车辆,所述车辆集成了至少一个传感器和前面定义的预测系统。
本公开还涉及一种用于预测与行人相关的信息的由计算机实现的方法，所述方法包括由计算机硬件部件执行的以下步骤：
在追踪模块，从传感器数据实时地检测和追踪位于操作区域中的行人；
在机器学习预测模块处，使用机器学习算法根据输入数据来对与被追踪行人相关的在未来时间的信息进行预测，所述输入数据包括所述被追踪行人的由检测和追踪步骤提供的数据和所述操作区域的地图数据，
其特征在于，所述方法还包括：在行人行为评估模块处确定所述被追踪行人的表示该行人的实时行为的附加数据的步骤，并且
所述被追踪行人的所述附加数据被所述机器学习算法用作另一输入数据以执行所述预测。
本公开还涉及一种计算机程序，所述计算机程序包括指令，当所述计算机程序由计算机执行时，所述指令使所述计算机执行如上定义的方法。
附图说明
通过阅读参照附图所作的非限制性实施方式的详细说明，本公开的其它特征，目的和优点将变得更加清楚。
图1示出了根据第一实施方式的用于预测与行人相关的信息的系统。
图2表示根据第一实施方式的用于预测与行人相关的信息的方法的流程图。
具体实施方式
本公开涉及用于预测与行人相关的信息的预测系统100或架构。这种预测系统100可以安装在车辆200中，例如自驾驶(换言之：自主车辆)，以检测车辆200周围的一个或更多个行人并准确地预测(评估)行人在短期未来将做什么。预测信息例如是行人的预测轨迹或行人的预测意图(即，行人想要做什么)。预测可以涉及从当前时间起数秒的短期未来时间段(例如，在1秒和5秒之间，通常为2或3秒)。然而，较长的预测是可能的。
图1示出了安装在车辆200中的预测系统100的特定和示例性的第一实施方式。
在图1中，附图标记300表示来自如下描述的车辆200内部或外部的不同源的进入预测系统100的一组数据输入301至304。
系统100可以访问来自安装在车辆200上的诸如摄像头、LIDAR或雷达的一个或更多个传感器的实时数据流。例如，如图1所示，传感器数据输入可以包括：
-摄像头数据输入301，其表示来自安装在车辆200中的一个或更多个摄像头(例如来自面向前方的摄像头(有利地为RGB摄像头))的实时数据流；
-LIDAR数据输入302，其表示来自安装在车辆200中的一个或更多个LIDAR(例如来自安装在车顶上的360°旋转LIDAR传感器)的实时数据流。
系统100还可以访问来自车辆导航系统的实时车辆导航数据流303，车辆导航系统通常是车辆200的提供车辆200的实时地理定位信息(换言之：位置)和时间信息的GPS(全球定位系统)接收器。为了提高定位精度，可以使用差分GPS和/或惯性测量单元(IMU)来校正GPS数据。
系统100还可以访问地图数据304。地图数据可以存储在车辆200的存储器中和/或可以通过通信网络在远程服务器上访问。其可以是高分辨率(HD)地图数据。HD地图是车辆200操作或预期操作的区域的详细地图。HD地图以特定文件格式提供，例如
Figure BDA0003496428950000051
格式。
系统100具有不同的功能模块或块。在第一实施方式(图1)中，系统100具有以下功能模块：
追踪模块110；
地图处理模块120；
行人行为评估模块130；
机器学习预测模块140；
预测融合模块150；以及
输出模块160。
追踪模块110具有根据来自传感器301、302的传感器数据实时检测和追踪位于操作区域中的交通参与者(也称为对象)的功能。
交通参与者可以是行人、自行车、车辆、卡车、公共车或任何潜在的移动物体。
操作区域被定义为在车辆200周围的范围R内的围绕车辆200的区域。例如，范围R是在50m至100m之间的值。
追踪模块110可以具有两个功能块：对象检测块111和融合及追踪块115。
对象检测块111执行实时对象检测。其从车辆200的在不同传感器域(这里：摄像头域和LIDAR域)中的不同传感器接收传感器数据(这里：摄像头数据301、LIDAR数据302)，并且在不同的传感器域中独立地实时检测对象(交通参与者)。在图像域中，对象检测块111使用类似
Figure BDA0003496428950000052
的对象检测算法112来检测图像数据(换言之：摄像数据)中的对象。在LIDAR域中，对象检测块111具有群集软件组件113和分类软件组件114，群集软件组件113执行LIDAR点的群集分析以将被认为相似的一组LIDAR点分到一组，分类软件组件114将对象检测分类为对象类。对象检测块111可以对在不同传感器域中和/或由不同传感器捕获的相同对象独立地进行多个对象检测。术语“独立地”意味着，对于同一对象(或对象组，如后面所解释的)，在不同的传感器域中或通过不同的传感器分别存在对象(或对象组)的多个检测。在本示例中，对象检测块111针对同一检测对象(如行人)进行两个对象检测：图像(摄像头)域中的第一对象检测和LIDAR域中的第二对象检测。各个对象检测结果经由独立的信息流被独立地发送到融合及追踪块115。
融合及追踪块115对在不同传感器域(这里，在图像域和LIDAR域)中进行的同一检测对象的不同对象检测结果进行融合，并且追踪各个检测对象(例如行人)。一个唯一标识符ID被分配给各个检测对象。融合及追踪块115独立地追踪检测到的各个对象。融合及追踪块115还可以追踪彼此靠近(例如，同一组的对象之间的距离小于预定距离阈值)并且共享类似的运动的一组对象。在这种情况下，块115可以联合地更新该组中各个对象的状态向量。
融合及追踪块115还可以根据追踪信息预测在未来时间与检测对象相关的信息，通常是所检测对象在下一时间帧中的轨迹。例如，块115通过其过去轨迹的外推并基于本领域技术人员已知的动态模型来确定所检测对象的预测轨迹。动态模型被用于预测行人的未来状态。行人的状态包括具有与行人相关的不同特征的状态向量，例如位置、速度、加速度、框大小(高度、宽度、长度)和相应的协方差矩阵。为了应对行人的高机动性，可以使用不同的动态模型(例如，恒定速度和恒定加速度模型)。
融合及追踪块115可以使用卡尔曼滤波器。
可选地，融合及追踪块115可以使用JPDA(联合概率数据关联)滤波器，例如PJPDA(基于投影的联合概率数据关联)滤波器，其是卡尔曼滤波器的更具体的实现。通过应用基于投影的联合概率数据关联(PJPDA)可以将检测结果分配给轨迹。其允许在将检测结果关联到轨迹(如JPDAF或JPDA滤波器)时联合考虑所有轨迹，同时还实时针对大量行人或轨迹运行。
地图处理模块120可访问描述车辆周围环境的高分辨率(HD)地图数据304。地图处理模块120还可以访问车辆200的实时位置数据303。模块120准备可用作对于机器学习模块140的输入的数据。例如，其使用预定值范围产生光栅化图像表示。地图处理模块120的功能是生成车辆200的操作区域(围绕车辆200)的简化地图信息，例如描述静态道路元素的以下说明性和非穷尽性列表：
-人行道布局；
-道路布局；
-道路车道布局；
-斑马线区域；
-交通灯；
-交通岛；
-车道标记。
行人行为评估模块130确定被追踪行人的表示该行人的实时行为的附加数据。行人的附加数据不同于由所述追踪模块确定的行人数据。
在第一实施方式中，行人行为评估模块130具有关键点检测块131、动作识别模块132和交通意识检测块133。
关键点检测块131根据由追踪模块110输出的数据检测被追踪行人的身体关键点。可以在说明性和非详尽列表中选择身体关键点，该列表包括以下身体元素：鼻、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左踝、右踝。关键点检测块131可以使用神经网络，例如编码器-解码器卷积神经网络(CNN)。在关键点检测块131的训练阶段，训练数据可以包括：
-作为输入数据：针对多个行人和多个时间t，在时间t处裁剪的行人的摄像头图像；(可选的)所述行人在时间t处的经裁剪的LIDAR深度和/或强度信息；(仅在训练期间)单身体关键点热图(各个要学习的关键点一个)，作为标签；
-作为输出数据：单身体关键点热图(各个关键点一个)。
动作识别块132具有标识被追踪行人的动作的类的功能。可以在包括站立、行走、奔跑和躺卧的说明性和非穷举性列表中选择动作的类。动作识别块132可以使用神经网络，例如递归神经网络(RNN)或长短期存储器(LSTM)。在动作识别块132的训练阶段期间，训练数据可以包括：
-作为输入数据：各行人的从时间t-Δt到时间t的一系列连续的身体关键点集合(来自块131)；(可选的)该行人的从时间t-Δt到时间t的一系列连续裁剪图像；(仅在训练期间)描述诸如“行走”、“站立”、“跑步”、“横穿”的序列动作的标签；
-作为输出数据：描述序列动作的类属性，例如“行走”、“站立”、“跑步”、“交叉”。
交通意识检测块133具有标识被追踪行人对于行人周围的交通状况的意识状态的类的功能。意识状态的类定义了行人对于行人周围的交通的意识水平。例如，可以在非穷尽列表中选择意识状态的类，列表包括与车辆200的目光接触、周围视线、不知情、注意力分散。交通意识检测块133可以使用神经网络，例如卷积神经网络(CNN)。
在交通意识检测块133的训练阶段期间，训练数据可以包括：
-作为输入数据：对于多个行人和多个时间t，在时间t处的行人的裁剪摄像头图像；时间t时所述行人(来自块131)的一组身体关键点；(仅在训练期间)整数值，表示多个意识状态的类之一，如“完全意识”、“部分意识”、“未意识”和“分散注意力”；
-作为输出数据：表示所述意识状态的类之一的整数值。
两个块132、133接收从关键点检测块131输出的数据作为输入数据。此外，块131、132和133可以接收并使用对象检测块112的输出和/或来自块113、114的输出作为附加信息。
如前所述，行人行为评估模块130可以使用一个或更多个神经网络来执行检测身体关键点、识别行人的动作以及标识行人的意识状态的任务。
机器学习预测模块140具有执行预测在未来时间与被追踪行人相关的信息的功能。其采用由融合及追踪块115发送的被追踪行人的追踪数据和由地图处理模块120发送的车辆200的操作区域的地图数据作为输入数据。预测使用机器学习算法来执行预测。机器学习预测模块140可以使用神经网络，例如卷积神经网络(CNN)或递归神经网络(RNN)。在机器学习预测模块140的训练阶段期间，训练数据可以包括：
-作为输入数据：从时间t-Δt到时间t(当前时间步长)的目标行人的一系列连续状态，其表示关于目标行人的状态的信息(例如，位置、速度、加速度、定向)；从时间t-Δt到时间t的一系列光栅化高分辨率地图，其描述目标行人的静态背景和与该静态背景相关的附加特征(例如到路边的距离)；从时间t-Δt到时间t对于同样目标行人的来自块132和块133的一系列分类结果；可选地，来自块132和133的对于目标行人的潜在表示；在目标行人附近的其他交通参与者(例如：车辆和其他行人)的从时间t-Δt到时间t的一系列连续状态；
-作为输出数据：目标行人的n个未来时间步长的未来轨迹，例如由一系列平均矢量(位置)和相应的协方差矩阵组成；目标行人的n个未来时间步长的道路穿越概率。
在第一实施方式中，两个模块130、140是分开的模块。行人行为评估模块130的神经网络和机器学习预测模块140的神经网络被分别且独立地训练。
所预测的与被追踪行人相关的信息可以包括未来时间的行人轨迹和/或关于未来时间的行人意图的信息。通常，“未来时间”可以表示在当前时间之后的几秒。例如，“未来时间”可以在从当前时间开始并持续1至10秒，优选地1至5秒，例如2或3秒的时间段内。然而，预测的时间段可以更长。例如，行人意图可以是停留在人行道上、横穿道路、等待车辆200通过、或任何其他可预测的行人意图。
预测融合模块150具有以下功能：执行对基于由追踪模块110确定的信息进行的与被追踪行人相关的信息的第一预测和由机器学习模块140执行的与被追踪行人相关的信息的第二预测的融合。
输出模块160根据车辆系统的要求格式化所预测的与被追踪行人相关的信息。
在图2中示出了与预测系统100的操作相对应的预测与行人相关的信息的方法，并且现在将对其进行描述。
在第一步骤S1中，对象检测块111接收第一实时摄像头数据流301和第二实时LIDAR数据流302，其中，第一实时摄像头数据流301在这里来自车辆200的前摄像头，第二实时LIDAR数据流302在这里来自安装在车辆200的车顶上的360°旋转LIDAR。在车辆200的操作区域中，相关对象(行人、轿车、卡车、自行车等)独立地在摄像头域中(换言之：在图像域中)由块112检测，并且在LIDAR域中由块113和114检测。
假设行人在车辆200的操作区域中。因此，在步骤S2中，在摄像头域中并且在步骤S3中在LIDAR域中独立地检测行人。
在摄像头域中的各个对象检测结果包括以下要素：
2D边界框(矩形)在摄像头坐标系中的坐标；
对象类标识符(例如，预定义的整数，例如1用于轿车，2用于行人，等等)；
分类置信度值(在0和1之间)，其表示边界框包含所标识的特定对象类的对象的置信度得分；
帧索引(正整数)，其表示时间。
在LIDAR域中的各个对象检测结果包括以下要素：
3D边界框(矩形平行六面体)在车辆坐标系中的坐标；
对象类标识符(例如，预定义的整数，例如1用于轿车，2用于行人，等等)；
分类置信度值(在0和1之间)，其表示框包含所标识的特定对象类的对象的置信度得分；
帧索引(正整数)，其表示时间。
对于各个独立的对象检测，对象检测块111将独立的信息流发送到融合及追踪块115。在摄像头域中，对于各个摄像头检测到的对象(例如，行人)，在步骤S4中发送的信息流包括摄像头标识符和在摄像头坐标系中的2D边界框坐标。在LIDAR域中，在步骤S5中发送的信息流包括LIDAR标识符和在车辆坐标系中的3D边界框坐标。
在步骤S6中，融合及追踪块115执行来自不同传感器域(这里在摄像头域和LIDAR域中)的独立对象检测结果的融合。可以使用任何融合传感器数据的技术。例如，传感器数据融合使用一个或更多个卡尔曼滤波器。各个对象检测被分配给轨道，并且各个检测到的对象被实时追踪。唯一标识符被分配给各个被追踪对象。在块115中，使用例如扩展卡尔曼滤波器来完成传感器融合。传感器数据中的行人检测结果被分配给相应的轨道。所分配的来自不同传感器的检测结果被分别使用以更新行人或轨道的当前状态。这允许使用各个传感器的优点并应对来自单个传感器的丢失检测。来自不同传感器的检测结果分别分配给相应的轨道。
此外，融合及追踪块115执行第一预测以预测被追踪对象在未来时间的轨迹，典型地在当前时间之后几秒的短期未来。第一预测基于对象的追踪数据，典型地通过外推对象的过去轨迹并使用动态模型。第一预测可以由卡尔曼滤波器来执行。其还可以使用交互式多模型估计器。
与对象检测和追踪并行地，在步骤S7中，地图处理模块120生成车辆200的操作区域的简化地图数据，并且在步骤S8中将地图数据发送到机器学习预测模块140。
融合及追踪块115：
在步骤S9中将第一信息流发送到机器学习预测模块140；
在步骤S10中将第二信息流发送到行人行为评估模块130；
在步骤S11中将第三信息流发送到预测融合模块150。
第一信息流(步骤S9)包括对于各个被追踪行人(其轨迹将被预测)而言该行人的唯一标识符和表示最后n秒(例如n＝3)内行人轨迹的历史的行人数据(换言之：行人的过去轨迹，包括例如与一个轨道标识符相关的行人轨道的过去位置的列表)。更详细地，第一信息流可以包括被追踪行人的过去状态向量，该过去状态向量包含最后n秒内的与行人相关的数据，例如位置、速度、加速度和/或定向。第一信息流还可以包括周围交通参与者相对于行人(换言之：从所考虑的行人的角度来看)的过去状态向量。
第二信息流(步骤S10)包括对于各个被追踪行人而言该行人的唯一标识符和所检测到的行人的实时数据，这里是与所检测到的各个边界框相关的数据。在本示例中，边界框数据包括与在摄像头域中检测到的2D边界框相关的第一实时数据和与在LIDAR域中检测到的3D边界框相关的第二实时数据。第一实时数据可包括2D边界框的坐标和由摄像头捕获的在2D边界框内的经裁剪图像的图像数据。第二实时数据可以包括3D边界框和由LIDAR捕获的在3D边界框内的LIDAR点云的坐标。
第三信息流(步骤S11)包括基于追踪数据和一个或更多个动态模型对与行人相关的信息的第一预测。第一预测可以包括不同的预测，这里来自卡尔曼滤波器，分别使用不同的动态模型(例如，并且仅为了说明，“模型1”和“模型2”)。实际上，第三信息流可以包括各个动态模型下该行人的状态向量及其各自的似然性。
在步骤S12中，行人行为评估模块130处理来自追踪模块110的第二信息流。在步骤S120中，关键点检测块131检测所发送的边界框中的身体关键点。身体关键点是获得行人行为知识的重要特征。在第一实施方式中，基于与由追踪模块110发送的边界框相关的数据来检测身体关键点。这允许具有较小的网络架构并节省计算时间和资源。此外，关键点检测仅对被高概率地分类为行人的对象来执行。如前所述，来自块112和/或块113-块114的数据可用作附加信息源。此外，身体关键点的检测是可选的。另外地或另选地，传感器数据(这里，图像数据和/或LIDAR数据)也可以由块132和块133使用。
在步骤S121中，动作识别块132确定由被追踪行人执行的动作的类(步行、跑步...)。块132将行人行为分类为特定动作(例如，步行、跑步、横穿、等待、等)。在第一实施方式中，使用物理模型并基于身体关键点来执行该分类。如前所述，可以附加地或另选地使用传感器数据。动作分类可以由专用神经网络进行。
在步骤S122中，交通意识检测块133检测行人对于周围交通状况的意识状态。块133评估行人行为，特别是在通过检测行人对行人周围的当前状况的意识来估计行人不经意地踩到道路上的风险方面。例如，块133可以检测正在看着他们的电话或其他东西的行人，并且将他们区分为不可预测的。意识状态的检测可以由专用神经网络进行。这样的神经网络可以基于从步骤S120中的关键点检测输出的关于行人身体和头部定向的行人图像信息(和/或根据传感器数据)进行分类。
然后，在步骤S13中，对于各个被追踪行人，行人行为评估模块130向机器学习预测模块140发送数据分组，各个数据分组包括以下要素：
-行人标识符；
-动作的类(例如，站立、行走、跑步、躺着等)
-交通意识状态(例如，与车辆200的目光接触、周围视线、未意识、注意力分散等)。
可选地，由行人行为评估模块130发送到机器学习预测模块140的各个数据分组可以包括关于行人身体和/或头部相对于车辆200的定向的信息，以及可能的原始身体关键点信息。
在步骤S14中，机器学习预测模块140通过使用机器学习算法，根据包括以下各项的输入数据执行与未来时刻的被追踪行人相关的信息的第二预测：
-由追踪模块110发送的被追踪行人的数据(步骤S9)；
-由地图处理模块120发送的操作区域的地图数据(步骤S8)；
-由行人行为评估模块130发送的表示行人行为的被追踪行人的附加数据(步骤S13)。
在步骤S15中，预测融合模块150执行对基于由追踪模块110确定的信息进行的与被追踪行人相关的信息的第一预测和由机器学习预测模块140执行的与被追踪行人相关的信息的第二预测的融合。第一预测是常规的并且基于追踪和外推方案并使用一个或更多个模型。例如，第一预测使用卡尔曼滤波器。如前所述，第一预测可以包括来自卡尔曼滤波器的不同预测，使用(换言之：基于)分别不同的动态模型(说明性示例中的模型1和模型2)。第二预测基于机器学习方案。预测融合模块150将使用不同动态模型(例如模型1和模型2)的来自卡尔曼滤波器的预测与基于机器学习的模型预测融合。该融合允许提高预测的准确性和鲁棒性。依赖于行人的行为，基于追踪和外推方案的预测可能是不够的，并且基于机器学习的预测可能是较好的预测。然而，在一些情况下，例如当行人的意图没有改变时，基于追踪和外推方案的第一预测可能是有效的并且比基于机器学习方法的第二预测稳定。第一预测与第二预测的融合可以通过数据融合来执行，例如在诸如交互式多模型估计器这样的数学框架中执行。
预测融合模块150生成的预测信息可以包括以下信息要素：
-行人标识符；
-被追踪行人在未来时间帧的预测轨迹(例如，在未来时间帧的位置的列表)和/或
-表示被追踪行人在未来时间的意图(即，行人在未来时间想要做什么)的信息，例如，关于行人想要停留在人行道上，或想要横穿道路，或等待车辆通过的信息。
由预测融合模块150生成的预测信息被发送到输出模块160。在步骤S16中，模块160根据车辆200的自主驾驶系统的要求来格式化信息。
用于预测与行人相关的信息的方法是由计算机实现的方法。本发明还涉及一种包括指令的计算机程序，当所述程序由计算机执行时，所述指令使所述计算机执行用于预测与行人相关的信息的方法。程序指令可以存储在与车辆相关的存储模块中，例如非易失性存储器和/或易失性存储器。存储器可以永久地或可移除地集成在车辆中或可连接到车辆(例如，经由云)，并且所存储的程序指令可以由车辆的计算机或计算器(诸如例如电子控制单元(ECU)的一个或更多个模块)。
现在将描述第二实施方式。第二实施方式基于第一实施方式，但是与第一实施方式的不同之处在于行人行为评估模块130是编码器-解码器神经网络的编码器部分。其具有将输入数据编码成潜在代码(也称为特征、或潜在变量、或潜在表示)的功能。换句话说，模块130是整个神经网络系统的一个组件(编码器)。潜在代码是预测模块140(或预测网络)的输入的一部分。
在第二实施方式中，行人行为评估模块130不对行人动作和意识状态进行分类。然而，其具有行人行为评估的功能，并且起到整个神经网络架构的编码器的作用。
在第二实施方式中，行人行为评估模块130和机器学习预测模块140被联合训练。

Claims (14)

1.一种用于预测与行人相关的信息的预测系统(100)，所述预测系统具有：
追踪模块(110)，所述追踪模块根据传感器数据实时检测和追踪操作区域中的行人；
机器学习预测模块(140)，所述机器学习预测模块使用机器学习算法根据输入数据来对与被追踪行人相关的在未来时间的信息进行预测，所述输入数据包括所述被追踪行人的由所述追踪模块(110)发送的数据和所述操作区域的地图数据，
其特征在于，
所述预测系统(100)还包括行人行为评估模块(130)，所述行人行为评估模块确定所述被追踪行人的表示该行人的实时行为的附加数据，所述行人行为评估模块(130)包括：动作识别块(132)和交通意识检测块(133)中的至少一者，所述动作识别块(132)将所述被追踪行人的动作的类标识为附加数据，所述交通意识检测块(133)将所述被追踪行人对于该行人周围的交通状况的意识状态的类标识为附加数据，并且
所述被追踪行人的所述附加数据被所述机器学习预测模块(140)用作另一输入数据来进行所述预测。
2.根据权利要求1所述的预测系统，所述预测系统还包括预测融合模块(150)，所述预测融合模块执行对由所述机器学习预测模块(140)执行的与所述被追踪行人相关的信息的预测和基于由所述追踪模块(110)确定的信息进行的与所述被追踪行人相关的信息的另一预测的融合。
3.根据权利要求1和2中任一项所述的预测系统，其中，所预测的与所述被追踪行人相关的信息包括未来时间的行人轨迹和关于在未来时间的行人意图的信息中的至少一者。
4.根据权利要求1至3中任一项所述的预测系统，其中，所述机器学习预测模块(140)具有深度神经网络。
5.根据权利要求1至4中任一项所述的预测系统，其中，所述行人行为评估模块(130)包括关键点检测块(131)，所述关键点检测块从行人数据中检测所述行人的身体关键点。
6.根据权利要求1至5中任一项所述的预测系统，其中，所述行人行为评估模块(130)是编码器-解码器神经网络的编码器，并且所述行人行为评估模块(130)和所述机器学习预测模块(140)被联合训练。
7.根据权利要求1至6中任一项所述的预测系统，所述预测系统包括地图处理模块(120)，所述地图处理模块：
接收高分辨率地图数据(304)，
接收车辆(200)的位置的实时数据(303)，所述车辆(200)的所述位置限定所述操作区域，
从所述高分辨率地图数据中提取与对所述操作区域内的行人的信息的预测相关的地图数据，以获得所述操作区域的简化地图数据，并且
将所述操作区域的所述简化地图数据发送到所述机器学习预测模块(140)。
8.根据权利要求1至7中任一项所述的预测系统，其中，所述追踪模块(110)包括：
对象检测块(111)，所述对象检测块接收来自不同传感器域的传感器数据并且在所述不同传感器域中独立地检测对象；
融合及追踪块(115)，所述融合及追踪块对来自所述不同传感器域的独立的对象检测进行融合并且追踪各个融合后的对象检测。
9.根据权利要求1至8中任一项所述的预测系统，其中，所述融合及追踪块(115)追踪彼此靠近并共享类似运动的一组对象。
10.根据权利要求1至9中任一项所述的预测系统，其中，所述追踪模块(110)使用基于投影的联合概率数据关联PJPDA滤波器。
11.根据权利要求1至10中任一项所述的预测系统，其中，所述追踪模块(110)将与所述被追踪行人相关的数据分组流发送到所述行人行为评估模块(130)，各个数据分组包括：
所述被追踪行人的身份数据；
至少一个边界框的边界框数据，各个边界框对应于所述被追踪行人的检测。
12.一种车辆(200),所述车辆集成了至少一个传感器和根据权利要求1至11中任一项所述的预测系统。
13.一种用于预测与行人相关的信息的由计算机实现的方法，所述方法包括由计算机硬件部件执行的以下步骤：
在追踪模块(110)处，根据传感器数据实时地检测和追踪(S1-S6)位于操作区域中的行人；
在机器学习预测模块(140)处，使用机器学习算法根据输入数据来对与被追踪行人相关的在未来时间的信息进行(S14)预测，所述输入数据包括所述被追踪行人的由检测和追踪步骤提供的数据和所述操作区域的地图数据，
其特征在于，所述方法还包括：通过执行以下步骤中的至少一个步骤来在行人行为评估模块(130)处确定所述被追踪行人的表示该行人的实时行为的附加数据的步骤(S12)：确定所述被追踪行人的动作的类作为附加数据，以及确定所述被追踪行人对于该行人周围的交通状况的意识状态的类作为附加数据，并且
所述被追踪行人的所述附加数据被所述机器学习算法用作另一输入数据来进行所述预测。
14.一种计算机程序，所述计算机程序包括指令，当所述计算机程序由计算机执行时，所述指令使所述计算机执行根据权利要求13所述的方法。
CN202210116190.8A 2021-02-02 2022-02-07 用于预测与行人相关的信息的检测系统 Pending CN114838734A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21154871.4A EP4036892A1 (en) 2021-02-02 2021-02-02 Detection system for predicting information on pedestrian
EP21154871.4 2021-02-02

Publications (1)

Publication Number Publication Date
CN114838734A true CN114838734A (zh) 2022-08-02

Family

ID=74550457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210116190.8A Pending CN114838734A (zh) 2021-02-02 2022-02-07 用于预测与行人相关的信息的检测系统

Country Status (3)

Country Link
US (1) US20220242453A1 (zh)
EP (1) EP4036892A1 (zh)
CN (1) CN114838734A (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11878684B2 (en) * 2020-03-18 2024-01-23 Toyota Research Institute, Inc. System and method for trajectory prediction using a predicted endpoint conditioned network
WO2023283469A1 (en) * 2021-07-08 2023-01-12 Cyngn, Inc. Multi-channel object matching
US11904906B2 (en) * 2021-08-05 2024-02-20 Argo AI, LLC Systems and methods for prediction of a jaywalker trajectory through an intersection
EP4361961A1 (en) * 2022-10-28 2024-05-01 Aptiv Technologies AG Method of determining information related to road user
CN116453205A (zh) * 2022-11-22 2023-07-18 深圳市旗扬特种装备技术工程有限公司 一种营运车辆滞站揽客行为识别方法、装置及系统
CN116259176B (zh) * 2023-02-17 2024-02-06 安徽大学 一种基于意图随机性影响策略的行人轨迹预测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109328376B (zh) * 2016-06-27 2021-06-15 日产自动车株式会社 物体跟踪方法及物体跟踪装置
US11126179B2 (en) * 2019-02-21 2021-09-21 Zoox, Inc. Motion prediction based on appearance
EP3706034A1 (en) * 2019-03-06 2020-09-09 Robert Bosch GmbH Movement prediction of pedestrians useful for autonomous driving
US11636307B2 (en) * 2019-07-08 2023-04-25 Uatc, Llc Systems and methods for generating motion forecast data for actors with respect to an autonomous vehicle and training a machine learned model for the same

Also Published As

Publication number Publication date
US20220242453A1 (en) 2022-08-04
EP4036892A1 (en) 2022-08-03

Similar Documents

Publication Publication Date Title
CN114838734A (zh) 用于预测与行人相关的信息的检测系统
US20200211395A1 (en) Method and Device for Operating a Driver Assistance System, and Driver Assistance System and Motor Vehicle
US10849543B2 (en) Focus-based tagging of sensor data
CN111771207A (zh) 增强的车辆跟踪
CN111353522B (zh) 用于确定车辆周围环境中的路标的方法和系统
US20200211373A1 (en) Traffic information processing device
JP2006208223A (ja) 車両位置認識装置及び車両位置認識方法
AlZu'bi et al. Data fusion in autonomous vehicles research, literature tracing from imaginary idea to smart surrounding community
Goldhammer et al. Pedestrian's trajectory forecast in public traffic with artificial neural networks
Hashimoto et al. Probability estimation for pedestrian crossing intention at signalized crosswalks
CN112363494A (zh) 机器人前进路径的规划方法、设备及存储介质
Hashimoto et al. A probabilistic model for the estimation of pedestrian crossing behavior at signalized intersections
US10867402B2 (en) System and method for determining distance to object on road
US11577732B2 (en) Methods and systems for tracking a mover's lane over time
CN113227712A (zh) 用于确定车辆的环境模型的方法和系统
US20230245323A1 (en) Object tracking device, object tracking method, and storage medium
Jakob et al. Traffic scenarios and vision use cases for the visually impaired
US20230048304A1 (en) Environmentally aware prediction of human behaviors
US20240029389A1 (en) Method and device for sensing the environment of a vehicle driving with at least semi-automation
US11651583B2 (en) Multi-channel object matching
EP4361961A1 (en) Method of determining information related to road user
D'Orazio et al. Exploitation of road signalling for localization refinement of autonomous vehicles
Pool Context-based Cyclist Path Prediction: Crafted and Learned Models for Intelligent Vehicles
Li et al. Improving Vehicle Localization with Lane Marking Detection Based on Visual Perception and Geographic Information
Singh et al. Improved YOLOv5l for vehicle detection: an application to estimating traffic density and identifying over speeding vehicles on highway scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: Luxembourg

Address after: Luxembourg

Applicant after: Aptiv Technology (2) Co.

Address before: Babado J San Michael

Applicant before: Aptiv Technologies Ltd.

Country or region before: Barbados

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240229

Address after: Luxembourg

Applicant after: Aptiv Manufacturing Management Services Co.

Country or region after: Luxembourg

Address before: Luxembourg

Applicant before: Aptiv Technology (2) Co.

Country or region before: Luxembourg

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240320

Address after: Schaffhausen

Applicant after: APTIV Technology Co.,Ltd.

Country or region after: Switzerland

Address before: Luxembourg

Applicant before: Aptiv Manufacturing Management Services Co.

Country or region before: Luxembourg