CN115707610A - 选择用于记录载具的路线的方法 - Google Patents
选择用于记录载具的路线的方法 Download PDFInfo
- Publication number
- CN115707610A CN115707610A CN202210953432.9A CN202210953432A CN115707610A CN 115707610 A CN115707610 A CN 115707610A CN 202210953432 A CN202210953432 A CN 202210953432A CN 115707610 A CN115707610 A CN 115707610A
- Authority
- CN
- China
- Prior art keywords
- route
- data
- vehicle
- recording
- rsij
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000013480 data collection Methods 0.000 claims abstract description 45
- 230000002787 reinforcement Effects 0.000 claims abstract description 26
- 230000006870 function Effects 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 37
- 239000003795 chemical substances by application Substances 0.000 claims description 24
- 238000010801 machine learning Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 abstract description 19
- 238000012549 training Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 238000010295 mobile communication Methods 0.000 description 6
- 239000000969 carrier Substances 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 241000269400 Sirenidae Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
- G01C21/3461—Preferred or disfavoured areas, e.g. dangerous zones, toll or emission zones, intersections, manoeuvre types, segments such as motorways, toll roads, ferries
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
- G01C21/3492—Special cost functions, i.e. other than distance or default speed limit of road segments employing speed data or traffic data, e.g. real-time or historical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
- G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
- G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Abstract
本公开提供选择用于记录载具的路线的方法。由载具数据记录装置(140)执行的由计算机实现的方法包括：从主机数据收集系统(200)下载记录目标；确定针对所述载具的多条可能路线；针对各个路线，生成路线编码，该路线编码针对多个度量将关于所述路线的预测值的信息编码为数值，所述度量是将表示实现基本记录目标的进展量的值分配给数据段的函数；将所述路线编码和独立于所述路线的附加环境信息提供给增强学习代理，所述增强学习代理选择所述路线之一以优化奖励；当所述载具沿所选路线行驶时，随时间推移记录来自载具内数据源(110)的数据；将所记录数据的至少一部分上传到所述主机数据收集系统，并且接收用于所述增强学习代理的作为回报的奖励。
Description
技术领域
本公开涉及由进行数据记录的一组载具记录数据并将所记录数据上传到主机数据收集系统的领域。在沿着路线行驶时由记录载具记录的所记录数据可以包括由传感器捕获的原始数据、根据原始数据推导的数据(例如对象检测数据)和/或外部数据(例如GPS数据、天气数据等)。在机动车工业中，来自载具的这种记录数据被收集以用于算法开发和/或验证，例如用于训练神经网络，尤其是在高级驾驶员辅助系统(ADAS)中和在自主驾驶领域中。
背景技术
用于ADAS的算法开发和验证的记录数据的已知方法使用配备有所需传感器硬件的单个载具或一组载具，所述传感器硬件通常包括雷达、激光雷达和摄像头。然后，载具的驾驶员围绕位置驾驶以提供用于开发和验证的有价值和有用的数据。当各个载具行驶时，使用机动车数据记录装置将传感器数据记录到装备在载具中的硬盘驱动器上，如例如在US6073063A中所公开的。在记录之后，记录载具的硬盘驱动器被带回到收集站点以进一步分发和存储数据。
上述已知的从载具收集数据的方法存在许多缺点。缺点之一是，驾驶员通常随机地驾驶，或者对驾驶到何处进行自己的判断以记录关注数据。因此，记录数据的值是不确定的，并且可能不如所希望的那样有用。还需要在记录之后选择部分记录数据，并且大量不关注记录数据会被丢弃。
因此，需要增加沿路线记录的高价值数据的量。
发明内容
本公开涉及一种由载具中的载具数据记录装置执行的由计算机实现的方法，所述方法包括以下步骤：
从主机数据收集系统下载用于沿着路线记录数据的记录目标，在当前时间t0确定所述载具能够采取的多条路线；
针对各个路线，生成路线编码，该路线编码针对多个度量将关于所述路线的预测值的信息编码为数值，所述度量是将表示实现基本记录目标的进展量的值分配给数据段的函数；
将所述路线编码和独立于所述路线Ri的附加环境信息提供给增强学习代理，所述增强学习代理选择所述路线之一以优化奖励；
当所述载具沿所选路线行驶时，随时间推移记录来自所述载具中的数据源的数据；
将所记录数据的至少一部分上传到所述主机数据收集系统，并且从所述主机数据收集系统接收作为回报的奖励；
向所述增强学习代理提供所述奖励。
本方法允许已经接收到记录目标的载具沿着期望优化将记录数据成功上传到主机数据收集系统的奖励的路线驾驶和记录数据，而不是随机驾驶。奖励由主机收集系统在考虑记录目标的情况下生成。
在实施方式中，针对各个路线生成路线编码的步骤包括以下步骤：
将所述路线划分为路线段，并且
针对各个路线段生成特征向量，其中，将与所述路线段相关联并且与度量相关的环境特征编码为数值，以形成所述特征向量的分量。
在实施方式中，针对各个路线段生成特征向量的步骤包括以下步骤：将关于刚好在所述当前时间t0之前发生的内容的过去信息编码成数值，以形成所述特征向量的另一分量。
所述方法可以还包括以下步骤：针对各个路线段，将相应的特征向量输入到针对所述多个度量的值预测的机器学习系统中，并且在所述机器学习系统的输出处提供度量值预测向量，所述度量值预测向量包括所述路线段的针对所述多个度量的预测值。
各个路线段的度量值预测向量可以还包括不确定性信息。
在实施方式中，各个路线的路线段的度量值预测向量被分组为高维路线编码，所述多条路线的所述高维路线编码被转换为较低维的固定长度路线编码，并且所述固定长度路线编码作为输入被提供给所述增强学习代理。
选择器可以预先选择最有希望的路线编码的短列表，并且可以仅将所述路线编码的所述短列表作为输入提供给所述增强学习代理。
在实施方式中，该方法还包括，在预备步骤中：
获取与沿给定的过去路线驾驶时所执行的多个记录相关的历史数据；
将每条过去路线划分为路线段；并且基于所述历史数据针对所述多个度量评估各个路线段的值；
训练所述机器学习系统以计算与针对对应路线段的多个度量相关的评估值。
可以通过使用树扩展算法来确定所述多条路线。
本公开还涉及一种载具数据记录装置，所述载具数据记录装置包括：
至少一个接口，所述至少一个接口从所述载具中的数据源接收记录数据，并发送记录数据以上传到主机数据收集系统；
存储模块，所述存储模块存储所述记录数据；处理器，所述处理器控制前述方法的步骤的执行。
本发明还涉及一种包括指令的计算机程序，所述指令使上述载具数据记录装置执行前述方法的步骤。
本公开还涉及其上存储有上述定义的计算机程序的计算机可读介质。
附图说明
通过阅读参照附图所作的非限制性实施方式的详细说明，本公开的其它特征，目的和优点将变得更加清楚。
图1示出了根据实施方式的用于将数据从记录载具收集到主机数据收集系统中的分布式系统。
图2示出了根据实施方式的载具内数据记录装置的功能框图。
图3示出了根据实施方式的由载具内数据记录装置执行的记录来自载具的数据并将记录数据的至少一部分上传到主机数据收集系统的方法的流程图。
具体实施方式
本公开涉及一种由记录载具100中的载具内数据记录装置140执行的由计算机实现的方法，用于在载具100沿所选择的路线行驶时记录数据并将所记录数据的至少一部分上传到主机数据收集系统200。如稍后将较详细地解释的，在多条路线中选择记录数据所沿的路线，以在上传记录数据之后和/或期间优化来自主机数据收集系统200的奖励。
图1示出了用于通过主机数据收集系统200从一组或多个记录载具100收集数据的分布式系统。
在实施方式中，记录载具100可以例如通过诸如5G网络的移动通信网络300与主机数据收集系统200进行无线通信。
来自各个记录载具100的数据可以包括不同类型的数据，例如原始数据、推导数据和/或外部数据。从载具100收集的数据随时间被记录，通常是在载具沿路线行驶时进行记录。
原始数据(也称为基本数据或源数据)是未处理的数据。原始数据以非限制性的方式包括来自安装在载具100中的传感器(诸如雷达、激光雷达和摄像头)的传感器数据、GPS数据、速度数据、偏航率数据等。
推导数据包括通过数据处理根据原始数据推导的数据。数据处理可以通过执行处理操作和/或算法(例如机器学习算法或任何其他类型的算法)的载具100中的硬件装置和/或软件装置来执行。一些载具内硬件和软件组件可基于雷达、激光雷达或摄像头数据(具有或不具有传感器融合)、摄像头数据上的语义分割、描述环境信息(在载具环境中)的各个方面的签名的编码、数据结构的计算和/或从对象检测模块或其他算法输出得到的统计信息来执行对象检测。
外部数据包括来自载具100外部的源的数据。这样的外部数据可以通过经由移动通信网络300对第三方数据提供方的API(用于应用编程接口)调用来获取。这种外部数据的非限制性示例包括交通数据(例如，交通流量、建筑区域等)、天气服务数据、时间相关数据(例如，国家假日、工作日、周末等)、地图服务数据(例如，道路布局信息、卫星图像、移动网络覆盖等)、通过移动通信网络300的当前传输速率、来自环境源(例如，商店、学校、公共机动车站、公园等)的数据、来自路线服务的数据、来自主机数据收集系统200的数据。
主机数据收集系统200负责提供记录(收集)目标T0，将其下载(传输)到一组记录载具100，并且作为回报，收集由该一组载具100的各个载具收集的记录数据。主机数据收集系统200还负责在所述载具100将记录数据上传到主机数据收集系统200之后和/或上传时发送各个载具100的奖励信息。
记录目标T0定义一个或更多个基本或原子记录(集合)目标ck，k＝0，...，m，并且包括与基本记录目标ck有关的一个或更多个度量
(也称为数据值度量)。在本公开中，度量
是将数据值(换言之：数)分配给对应于给定时间点i或对应于给定时隙的数据段的函数，所述数据值表示实现对应基本记录目标ck的进展量。换言之，各个度量
允许测量朝向基本记录目标ck的进展。基本记录目标ck可以是由给定目标量或数定义的量化目标。下面给出基本记录目标的说明性和非限制性示例：
-在特定道路(即高速公路、城市，...)上的公里数；
-在特定情景下花费的特定记录时间(即，交通堵塞、白天、黎明、夜晚、周末、高峰时间...所花费的小时数X)；
-特定类别的唯一对象数量(即，自行车、卡车、行人...)；
-特定操纵(即，超车、变道...)；
-特定道路场景的数量(即，迂回路线、特定交叉星座、乘客交叉路口、建筑区域、隧道、桥梁...)；
-通过主动学习方法或预测模型选择的场景的数量；
-很少检测到的场景的数量。
可选地，可以以某种方式约束基本记录目标ck以使数据收集多样化。例如，约束可以是跨多个区域(国家、城市...)执行数据收集。另一约束可以是限制沿过去已经记录的道路的数据收集。
基本记录目标ck可以是由计算机或处理器执行的代码的形式。
记录目标T0可以包括与m+1个不同的基本记录目标ck有关的m+1个度量
(形成基本记录目标ck的组C:C＝{c0,...,cm})，其中m≥0并且度量索引j范围从0到m。在这种情况下，记录目标T0还可以包括定义如何对记录目标T0中的不同基本记录目标ck进行加权的收集策略P。收集策略P定义了合并多个基本测量或度量的方式。在实施方式中，收集策略P将相应权重
赋予不同度量
换言之，收集策略P针对与m+1个基本记录目标cj有关的m+1个度量
定义m+1个相应权重
其中0≤j≤m。收集策略可以表示为：
优选地，该组权重
使得
如先前所解释的，各个度量
是将数据值分配给记录R中的针对时间i的记录数据点(换言之：分配给针对给定时间点i的数据段)的函数。记录R是由记录载具100(例如在给定路线上或在给定时间段期间)捕获的数据集合，并且包含由记录载具100中的传感器提供的原始数据和/或来自记录载具100中的其他数据源的数据(包括推导数据和/或外部数据)。
此外，根据收集策略P，在所有时间点{t0,...,tn}已经基本记录目标{c0,...,cm}上聚集的数据的记录RC的值V(RC)可以表示为如下算式：
在实施方式中，度量
产生归一化范围内的值(即，[0,..,1.])。在这种情况下，向时间i的记录数据点分配的数据值包括在0和1之间(包括极端值0和1)。
在第一说明性示例中，基本记录目标是超车动作的数量，并且值度量在发生超车动作时赋予值1，而在不发生超车动作时取值0。在第二说明性示例中，基本记录目标是自行车的数量，并且值度量给出表示场景中的自行车的数量的值。该值通过映射函数在0和1之间归一化，例如基于自行车的最大数量，或者另选地基于平均数量。归一化促进了组合或聚集由不同值度量计算的数据值，如稍后解释的。
收集策略P用于在时间上聚集记录R中的分别由m+1个度量
产生的m+1组数据值。其允许针对记录R来生成随时间的一组聚集数据值。
参照图1，各个记录载具100具有多个数据源(原始数据、推导数据和/或外部数据)110、无线电发送器-接收器120、中央处理单元130和数据记录装置140。
数据源110包括提供原始数据和/或推导数据以及可选地外部数据的硬件组件和软件组件。数据源110可以具有不同的类型，例如：
-提供原始数据(例如，雷达数据、激光雷达数据和/或摄像头数据)的传感器(例如，雷达、激光雷达和/或摄像头)，
-用于处理数据，接收诸如原始数据的输入数据并输出推导数据的计算器，
-用于执行一个或更多个任务(例如，对象检测)，接收输入数据(例如，原始数据)并输出推导数据的机器学习或算法模块，
-用于通过网络300接收外部数据的功能模块等。
无线电发送器-接收器120负责通过移动通信网络300发送和接收无线电信号(包括信息和/或消息和/或数据)。
记录载具100的所有元件110、120、140连接到控制其操作的中央处理单元130。
载具内数据记录装置140负责：
-根据主机数据收集系统200提供的记录目标，预测和选择预期最大化(优化)用于上传沿着所选路线收集的记录数据的奖励的路线；
-当载具100沿所选择的路线行驶时，记录来自载具100中的数据源110的数据；
-上传(换言之：通过移动通信网络300将记录数据的至少一部分无线传输到主机数据收集系统200；
-从主机数据收集系统200接收作为回报的奖励。
载具内数据记录装置140具有用于实现下文所述的从记录载具100记录数据并通过空中将记录数据的至少一部分上传到主机数据收集系统200的方法的硬件单元和软件单元(换言之：硬件组件和软件组件)。
在实施方式中，数据记录装置140和主机数据收集系统200之间的通信经由载具内无线电发送器-接收器120执行。另选地，数据记录装置140可以包括与主机数据收集系统200直接通信的无线电发送器-接收器。
如图2所示，在实施方式中，载具内数据记录装置140具有与载具100接口的输入/输出接口141、存储模块142、路线规划模块143、数据记录器147、记录数据上传器148和中央处理单元(CPU)149。
输入/输出接口141与载具100接口。其允许接收来自载具内数据源110的数据、从主机数据收集系统200经由载具100的发送器-接收器120接收的消息，以及经由载具100的发送器-接收器向主机数据收集系统200发送要上传的数据，这将在后面解释。
在将从载具100收集的记录数据的至少一部分上传到主机数据收集系统200之前，存储模块142存储所述记录数据。
路线规划模块143负责根据记录目标T0为载具100规划候选路线，所述规划的候选路线被期望针对记录目标T0来提供高价值的记录数据。路线规划模块143具有两个组件：第一组件是路线编码器144，第二组件是路线选择器146。
可选地，路线规划模块143包括路线预选器145，其选择由第一组件144编码的路线的短列表，以仅将短列表提供给路线选择器146。
第一组件(路线编码器)144负责计算路线编码。路线编码是路线的表示。其可以由数值向量来表示，该数值向量针对多个度量
对路线的值信息进行编码，如稍后较详细地解释的。在实施方式中，路线编码器144包括机动车导航系统1440、分段块1441、特征编码器1442、值估计器1443、级联器1444和向量转换器1445。
第二组件(路线选择器)146负责在与由路线编码器144确定的路线编码相关联的路线列表中选择候选路线，以优化(换言之：最大化)在记录数据的上传期间或之后为主机数据收集系统200接收的奖励。在实施方式中，路线选择器146可以由增强学习代理来实现，以执行选择候选路线的任务。路线选择器146可以考虑独立于路线的附加环境信息。术语“独立”在此意味着独立于与动态特征(如天气等)相比的静态路线特征。被奖励用于上传信息的增强学习代理可能对具有5G频带可用性非常感兴趣，以优化其功能。
环境因素可以包括5G频带可用性、机动车中有多少汽油可用...。增强学习代理得到一些度量，关于什么可用或不可用的信息(例如：载具中有多少汽油、移动网络带宽可用性等)。
路线预选器145具有在由路线编码器144编码的所有可能路线Ri中预选最有希望的路线子集(短列表)的功能。
在实施方式中，路线编码器144、路线预选器145和路线选择器146包括软件或程序指令，以使载具数据记录装置140执行现在将描述的方法的步骤。路线编码器144和路线选择器146在处理器149上运行。
现在将参照图3描述根据实施方式的用于由载具内数据记录装置140记录数据的由计算机实现的方法。
在初始步骤S1中，主机数据收集系统200提供用于由记录载具记录数据的记录目标T0。在实施方式中，记录目标T0包括用于随时间将数据值分配给记录数据的m+1个数据值度量
从而测量在实现m+1个相应的基本(原子)记录目标ck的进展，k范围从0到m。一组m+1个相应基本记录目标{c0,...,cm}被标注为C。在本实施方式中，数据值度量
由在范围[0，...，1]内赋予值的映射函数来归一化。此外，记录目标T0包括收集策略P，其将相应权重
赋予数据值度量
m+1个权重
之和等于1。
在步骤S2中，主机数据收集系统200通过移动通信网络300无线地向一组(或多个)载具的各个记录载具100发送记录目标T0(不一定同时向所有载具100发送)。在实施方式中，根据来自载具100的请求，记录目标T0被发送给各个记录载具100。另选地，将记录目标T0推向记录载具100。
在步骤S3中，在载具100中，载具数据记录装置140通过移动网络300从主机数据收集系统200下载(换言之：接收)记录目标T0。在本实施方式中，经由载具100的无线电发送器-接收器120和记录装置140的I/O接口141接收记录目标T0。记录目标T0作为输入提供给路径规划模块143。
然后，载具数据记录装置140执行载具100的路径规划任务。路径规划操作包括由路径规划模块143执行的下述步骤S4到S11。将针对一个载具100描述步骤S4至S11，但是步骤S4至S11可以由各个记录载具100在接收到记录目标T0之后执行。
路线编码器144首先在步骤S4到S9中计算针对多条路线Ri的路线编码。如前所述，给定路线Ri的路线编码将所述路线Ri的关于多个度量
的预测值的信息编码成数值。
在步骤S4中，在当前时间t0，机动车导航系统1440确定载具100可以采取的多条路线Ri。在本实施方式中，通过执行树扩展算法来执行路线Ri的确定。树根可以有利地是载具100的当前位置。机动车导航系统探索可以采取的所有路线并且为载具100构建可能路线Ri的树。树的各个分支表示特定路线Ri。在某一点，该算法基于给定的停止标准(例如距离、估计的驾驶时间或任何其它适当的标准)停止树扩展。
在实施方式中，在步骤S5中，分段块1441将在步骤S4中确定的各个路线Ri分成路线段RSij。通过遵循预定的语义边界(如交叉、环境特征、距离、时间、导航系统级别或其组合)来执行路线Ri的分段分解。这样的分段允许在较精细的级别上对路线Ri的特征进行编码。
在步骤S6中，特征编码器1442针对各个路线Ri的各个路线段RSij来生成特征向量Vij。换句话说，各个路线段RSij被描述为特征向量Vij。特征向量也可以被认为是多维空间中的特征点，其中，各个维度对应于用于描述路线Ri的给定特征类或类别。路径段RSij的特征向量Vij是沿着路线段RSij可以观察到的内容的一种数值表示(换句话说：描述)。在实施方式中，步骤S6包括三个子步骤S60至S62，如下所述。
在步骤S60中，特征编码器1442将关于记录载具100在当前时间t0之前发生的内容的过去信息编码成数值，以形成特征向量Vij的第一分量Aij。实际上，在时间t0，数据记录装置140已经记录了在最近几分钟内来自载具100的过去数据，并因此知道过去数据。过去信息可以包括由载具内数据记录装置140在直到当前时间t0的过去时间段期间收集的记录数据的概要。例如，记录数据可以包括以下信息的至少一部分：
a)环境信息，包括：
-从载具的GPS位置导出的信息，如邻近区域的特征(例如，进餐和饮水、杂货、购物、买卖、公园、学校、文化和娱乐等)，交通相关信息(例如，火车站、公共机动车、电车、其他)，自行车设施、地图推导特征(例如，来自GPS位置的卫星图像的编码、来自GPS位置的街道地图图像的编码等)；
环境上下文信息，如一天中的时间、天气信息、对象存在和分布(例如，建筑区域、坑洼、碎片、行人、机动车、卡车、摩托车、自行车等)、环境声音信息(例如，警笛、事故、环境声音简档等)；
-环境上下文，如城市、公路或乡村、道路条件(干、湿，雪、其他；沥青、其他；缺少线标记、黄色线标记等)、驾驶行为信息(例如，变道、制动、加速、轮转等)；
b)载具信息(例如，速度、偏航率、剩余汽油水平、与特征功能相关的信号、例如车道改变警告等)。
对恰好在当前时间点t0之前收集的过去记录数据(或过去记录数据的概要)进行编码的目的是捕获与当前时间段相关的特定条件和/或环境特征，如天气信息、由载具100驾驶的路线类型、街道中行人的数量、或最近检测到的任何其他相关过去信息，这些信息可能影响值估计器1443关于路线Ri的近期的预测或估计。可以例如通过添加一些值来聚集在达到时间t0的过去时间段期间收集的记录数据，以获得记录数据的概要并限制向量Vij的分量Aij中的数据量。在向量Vij的第一分量Aij中编码的关于过去的信息对于机器学习系统(值估计器)1443可以是非常有信息含量的。例如，假设在时间t0，是夜晚并且下雨，并且载具100在商店附近在城市中行驶。通常，在城市中在商店附近有许多行人。但是，由于机器学习模块1443从最近几分钟知道正在下雨并且是夜晚，所以可能预期并没有如此多的行人。如果度量与行人相关联，则机器学习模型1443使用已经在特征向量Vij的分量Aij中编码的来自在最近几分钟内所发生的内容的概要的信息片段来较好地针对与行人相关联的度量评估段的值。
在步骤S61中，特征编码器1442将与路线段RSij有关并且与度量
相关的环境特征编码成数值，以形成向量Vij的第二分量Bij。路线段RSij的经编码的环境特征包括可能与度量相关的任何类型的特征(换言之：可以与度量相关的任何类型的特征)。例如，环境特征包括先前描述的环境信息的至少一部分。其可以包括环境的类型(例如，城市、公路、乡村、其他)、附近的商店数量、附近学校的存在、十字路口、天气信息(例如来自天气预报服务或当前天气)等。作为说明性示例，让我们考虑以下度量，该度量是用于确定周围环境中的行人数量的函数。在这种情况下，可以在向量Vij的第二分量Bij中编码例如附近商店的数量、附近学校的存在、以及可能与行人的存在相关的任何其他段特征的特征。
最后，在步骤S62中，级联第一分量Aij和第二分量Bij以形成路线段RSij的特征向量Vij。
然后，在步骤S7中，将每条路线Ri的各个路线段RSij的特征向量Vij输入到值估计器1443中。值估计器1443可以包括机器学习系统，该机器学习系统被训练来针对多个预定度量
(换句话说：对于给定的一组度量
)评估由特征向量描述的路线段RSij的相应值。由值估计器1443执行值估计的度量
通常不仅包括记录目标的度量，还包括其他度量。值估计器1443针对各个路线段RSij输出度量值预测向量，该度量值预测向量包括所述路线段RSij的针对多个预定度量
的预测值。预测值有利地在段距离上被归一化以获得数据值密度。
可选地，值估计器1443还可以输出关于预测值的不确定性信息。不确定性信息可以包括针对所有度量的预测值的不确定性。
在步骤S8中，在值估计器1443的输出处，各个路线Ri的所有路线段RSij的数据值密度(以及可选地不确定性信息)由级联器1444级联以形成各个路线Ri的高维路线编码ENCi。在这个阶段，各个路线Ri的路线编码ENCi具有许多维度，因为对于路线Ri的各个段RSij，其包括针对预定度量
的预测值和相应的不确定性。此外，由于路线Ri可以具有不同数量的路线段RSij，所以路线编码ENCi的大小可以彼此不同。
在实施方式中，在步骤S9中，由转换器1445将高维路线编码ENCi转换(换言之：变换)成较低维的固定长度路线编码ENCi’。转换器1445将各个路线Ri的高维路线编码ENCi分解成较密集的编码ENCi’，以以归一化的方式形成整个路线Ri的固定长度描述。这允许将各个路线Ri的编码变形为可由增强学习代理146使用来进行路线选择的编码。路线编码ENCi’的长度对应于增强学习代理146的固定输入维度。在实施方式中，编码转换将段进行聚集以形成由三个部分组成的路线编码：短期部分，中期部分和长期部分，分别对应于距载具100的当前位置的三个距离间隔(短、中、长)。例如，短期可以对应于例如大约100m的距离，中期可以对应于大约1000m的距离，而长期可以对应于大于1000m的距离。然而，可以使用任何其它距离值。可以使用路线编码ENCi的任何其它聚集，以找到用于增强学习代理的适当表示。
可选地，在步骤S10中，路线预选器145预先选择候选路线的子集。将路线编码形成为规一化表示可以集成预期奖励和用于短期、中期和长期场景的路线特征。因此，路线预选器145可以使用经归一化的路线编码来挑选候选路线。例如，路线预选器145可以仅选择最有价值的路线。另选地，可以选择用于各个记录目标的最佳候选路线。所预测的记录值的不确定性可能影响预先选择的候选。作为说明性和非限制性的示例，仅可以选择五个最有希望的路线Ri。
在步骤S11中，将在步骤S10中预先选择的路线Ri的固定长度路线编码ENCi’(或者如果不执行步骤S10，则将所有路线Ri的固定长度路线编码ENCi’)和独立于路线Ri的附加环境信息作为输入提供给增强学习代理或路线选择器146。该附加环境信息是独立于被编码以生成路线段RSij的特征向量Vij的特征的信息。例如，其可以包括关于由载具100确定的5G带宽可用性的信息、关于载具100中的剩余汽油的信息、关于剩余记录时间(例如，由驾驶员给出)的信息、关于记录缓冲器状态(即，缓冲器中的剩余记录空间)的信息、或独立于(不同于)所编码的路线特征并且与选择载具100将要采取的路线以记录数据并将记录数据上传到主机数据收集系统200相关的任何其它信息。然后，增强学习代理146使用固定长度路线编码ENCi’和附加环境信息作为输入，来在预先选择的路线Ri中选择期望最大化或优化来自主机数据收集系统200的奖励的路线Rs，该奖励是作为针对输入接收的记录目标T0而上传沿所选择的路线Rs收集的记录数据的回报。在实施方式中，增强学习代理具有停留在当前路线上的选项。换言之，增强学习代理可以选择停留在当前路线上，或者切换到所提出的新路线中的一个路线。
在步骤S12中，当增强学习代理已经决定改变当前路线时，路径规划模块通过接口141将所选择的路线Rs提供给载具100。
然后，在步骤S12中，载具100沿所选择的路线Rs行驶，并且数据记录装置140记录沿路线Rs的数据。如前所述，记录数据被从载具100接收，并且可以包括不同类型，例如原始数据、推导数据和/或外部数据。
在步骤S13中，将在步骤S12中收集(记录)的记录数据发送到主机数据收集系统200。在实施方式中，仅上传一部分记录数据。如果只记录了坏数据(低值)，则可以决定不上传所收集的记录数据。
在步骤S14中，主机数据收集系统200从记录载具100接收成功上传的记录数据。主机数据收集系统200将接收到的记录数据存储到存储设施400中。
此外，在步骤S15中，主数据收集系统200生成作为从载具100成功上传记录数据的回报的奖励信息，并将奖励信息发送到载具100(更具体地发送到数据记录装置140)。奖励信息可以包括不同类型的奖励以奖励不同类型的动作，例如连续上传记录数据的动作、完全成功上传记录的动作、记录和上传针对记录目标T0的高价值的记录数据的动作等。
载具数据记录装置140接收奖励信息(此处经由载具100的发送器-接收器120)并将其提供给增强学习代理146以改进路线选择。
在实施方式中，主机数据收集系统200不需要给予奖励。在成功上传之后，模拟载具100中的奖励行为是足够的。
机器学习系统1443在预备步骤中通过使用由沿着路线行驶的记录载具收集的历史(过去)记录数据来训练。在实施方式中，首先，历史记录与由沿不同路线行驶的一个或更多个记录载具在过去执行的多个记录有关。根据历史数据生成训练数据。为此，将过去行驶的每条路线划分为段(如在步骤S5中)，生成各个路线段的特征向量(如在步骤S6中)，并且通过使用历史记录数据来针对多个预定度量
计算各个路线段的值。训练数据的数据集包括从过去行驶的路线得到的所有路线段的特征向量作为输入训练数据，以及度量
的相应段聚集平均值作为输出训练数据。训练数据的数据集被提供给机器学习系统1443以进行训练来针对多个度量计算与对应路线段有关的计算值。机器学习系统1443在被训练后允许针对各个度量估计(预测)各个路线段的记录值密度。
机器学习系统1443可以是聚集模型，其负责计算各个路线段的所有度量
另选地，机器学习系统1443包括N个模型以计算相应的N个度量。
路线选择器146的增强学习代理被训练以决定应该选择多个建议路线中的哪一个。路线选择器146的增强学习代理的训练可以使用如前所述的数据。用于增强学习代理的输入训练数据包括基于模拟数据确定的路线编码，优选地为经归一化的路线编码，并且输出训练数据包括指示增强学习代理多么想要从所呈现的候选路线中挑选特定路线建议的分数或数值。
Claims (12)
1.一种由载具(100)中的载具数据记录装置(140)执行的由计算机实现的方法，所述方法包括以下步骤：
从主机数据收集系统(200)下载(S3)用于沿着路线记录数据的记录目标(T0)，
在当前时间t0确定(S4)所述载具(100)能够采取的多条路线(Ri)；
针对各个路线(Ri)，生成路线编码(ENCi)，该路线编码(ENCi)针对多个度量
将关于所述路线(Ri)的预测值的信息编码为数值，所述度量
是将表示实现基本记录目标的进展量的值分配给数据段的函数；
将所述路线编码(ENCi’)和独立于所述路线(Ri)的附加环境信息提供给增强学习代理(146)，所述增强学习代理选择所述路线(Ri)之一以优化奖励；
当所述载具沿所选路线(Rs)行驶时，随时间推移记录(S12)来自所述载具(100)中的数据源(110)的数据；
将所记录数据的至少一部分上传(S13)到所述主机数据收集系统(200)，并且从所述主机数据收集系统(200)接收作为回报的奖励；
向所述增强学习代理(146)提供(S16)所述奖励。
2.根据权利要求1所述的方法，其中，针对各个路线(Ri)生成路线编码(ENCi)的步骤包括以下步骤：
将所述路线划分(S5)为路线段(RSij)，并且
针对各个路线段(RSij)生成特征向量(Vij)，其中，将与所述路线段(RSij)相关联并且与所述度量
相关的环境特征编码为数值，以形成所述特征向量(Vij)的分量(Bij)。
3.根据权利要求2所述的方法，其中，针对各个路线段(RSij)生成特征向量(Vij)的步骤包括以下步骤：将关于刚好在所述当前时间t0之前发生的内容的过去信息编码成数值，以形成所述特征向量(Vij)的另一分量(Aij)。
4.根据权利要求2或3所述的方法，所述方法还包括以下步骤(S7)：针对各个路线段(RSij)，将相应的特征向量(Vij)输入到针对所述多个度量
的值预测的机器学习系统(1443)中，并且在所述机器学习系统(1443)的输出处提供度量值预测向量，所述度量值预测向量包括所述路线段(RSij)针对所述多个度量的预测值。
5.根据权利要求4所述的方法，其中，各个路线段(RSij)的度量值预测向量还包括不确定性信息。
6.根据权利要求4所述的方法，其中，各个路线(Ri)的路线段(RSij)的度量值预测向量被分组为高维路线编码(ENCi)，所述多条路线(Ri)的所述高维路线编码(ENCi)被转换为较低维的固定长度路线编码(ENCi’)，并且所述固定长度路线编码(ENCi’)作为输入被提供给所述增强学习代理(146)。
7.根据权利要求1所述的方法，其中，选择器(145)预先选择(S10)最有希望的路线编码(ENCi’)的短列表，并且仅将所述路线编码(ENC')的所述短列表作为输入提供给所述增强学习代理(146)。
8.根据权利要求4所述的方法，所述方法还包括：在预备步骤中：
获取与沿给定的过去路线驾驶时所执行的多个记录相关的历史数据；
将每条过去路线划分为路线段(RSij)；并且
基于所述历史数据针对所述多个度量
评估各个路线段(RSij)的值；
训练所述机器学习系统(1443)以计算与针对对应路线段的多个度量相关的评估值。
9.根据权利要求1所述的方法，其中，通过使用树扩展算法来确定所述多条路线(Ri)。
10.一种载具数据记录装置，所述载具数据记录装置包括：
至少一个接口，所述至少一个接口从所述载具中的数据源接收记录数据，并发送记录数据以上传到主机数据收集系统；
存储模块，所述存储模块存储所述记录数据；
处理器，所述处理器控制根据权利要求1至9中的任一项所述的方法的步骤的执行。
11.一种计算机可读介质，所述计算机可读介质存储计算机程序，该计算机程序在由计算机或处理器执行时使载具数据记录装置执行根据权利要求1-9中的任一项所述的方法。
12.一种载具，所述载具包括根据权利要求10所述的载具数据记录装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP21191928.7A EP4138057A1 (en) | 2021-08-18 | 2021-08-18 | Method of selecting a route for recording vehicle |
| EP21191928.7 | 2021-08-18 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115707610A true CN115707610A (zh) | 2023-02-21 |
Family
ID=77518926
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210953432.9A Pending CN115707610A (zh) | 2021-08-18 | 2022-08-10 | 选择用于记录载具的路线的方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230055974A1 (zh) |
| EP (1) | EP4138057A1 (zh) |
| CN (1) | CN115707610A (zh) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6073063A (en) | 1997-02-06 | 2000-06-06 | Ford Global Technologies, Inc. | Automotive data recording device |
| US10503168B1 (en) * | 2016-01-22 | 2019-12-10 | State Farm Mutual Automotive Insurance Company | Autonomous vehicle retrieval |
| US11499837B2 (en) * | 2018-09-30 | 2022-11-15 | Strong Force Intellectual Capital, Llc | Intelligent transportation systems |
| US11467591B2 (en) * | 2019-05-15 | 2022-10-11 | Baidu Usa Llc | Online agent using reinforcement learning to plan an open space trajectory for autonomous vehicles |
| US11814046B2 (en) * | 2019-05-29 | 2023-11-14 | Motional Ad Llc | Estimating speed profiles |
| KR102164509B1 (ko) * | 2019-12-11 | 2020-10-12 | 김용걸 | 인공지능을 이용한 IoT 기반 쓰레기 수거차량 최적화 경로 제공시스템 |
-
2021
- 2021-08-18 EP EP21191928.7A patent/EP4138057A1/en active Pending
-
2022
- 2022-08-10 CN CN202210953432.9A patent/CN115707610A/zh active Pending
- 2022-08-18 US US17/820,814 patent/US20230055974A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20230055974A1 (en) | 2023-02-23 |
| EP4138057A1 (en) | 2023-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11878713B2 (en) | Driving assistance system and method | |
| RU2683902C2 (ru) | Транспортное средство, способ и система для планирования режимов транспортного средства с использованием изученных предпочтений пользователя | |
| CN110361024B (zh) | 用于利用车辆组标识的动态车道级车辆导航的方法和系统 | |
| US11175152B2 (en) | Method and system for risk determination of a route | |
| US7706964B2 (en) | Inferring road speeds for context-sensitive routing | |
| US7991549B2 (en) | Traffic information system based on travel history | |
| CN114973677A (zh) | 用于确定预计到达时间的方法和设备 | |
| US20230056115A1 (en) | Method of Collecting Data from Fleet of Vehicles | |
| CN105074793A (zh) | 用于车辆路径规划和交通管理的车道级车辆导航 | |
| CN111326015A (zh) | 一种停车点推荐方法及装置 | |
| US20210326699A1 (en) | Travel speed prediction | |
| Rogers | Creating and evaluating highly accurate maps with probe vehicles | |
| CN117546218A (zh) | 用于交通预测的分布式多任务机器学习 | |
| CN115164922A (zh) | 一种路径规划方法、系统、设备及存储介质 | |
| KR20210079237A (ko) | 네비게이션 중 어려운 기동들을 위한 추가 명령들을 제공하는 방법 | |
| WO2020164089A1 (en) | Trajectory prediction using deep learning multiple predictor fusion and bayesian optimization | |
| US20240085193A1 (en) | Automated dynamic routing unit and method thereof | |
| CN114004077A (zh) | 交通仿真转换方法、装置、计算机设备及存储介质 | |
| US20230055974A1 (en) | Method of Selecting a Route for Recording Vehicle | |
| JP2004342138A (ja) | ビーコンを用いたｆｃｄシステムと装置 | |
| CN114781243A (zh) | Eta预测及模型训练方法、设备、介质及产品 | |
| CN112991712B (zh) | 预测交通密度的方法、系统、计算机设备和存储介质 | |
| JP2023005015A (ja) | 交通状況予測装置、および、交通状況予測方法 | |
| CN106781470B (zh) | 城市道路的运行速度的处理方法及装置 | |
| US11852495B1 (en) | Computational model for creating personalized routes based at least in part upon predicted total cost of claim frequency or severity |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Country or region after: Luxembourg Address after: Luxembourg Applicant after: Aptiv Technology (2) Co. Address before: Babado J San Michael Applicant before: Aptiv Technologies Ltd. Country or region before: Barbados |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240301 Address after: Luxembourg Applicant after: Aptiv Manufacturing Management Services Co. Country or region after: Luxembourg Address before: Luxembourg Applicant before: Aptiv Technology (2) Co. Country or region before: Luxembourg |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240320 Address after: Schaffhausen Applicant after: APTIV Technology Co.,Ltd. Country or region after: Switzerland Address before: Luxembourg Applicant before: Aptiv Manufacturing Management Services Co. Country or region before: Luxembourg |