CN113950611B - 用于预测道路属性的方法和数据处理系统 - Google Patents
用于预测道路属性的方法和数据处理系统 Download PDFInfo
- Publication number
- CN113950611B CN113950611B CN202080039735.9A CN202080039735A CN113950611B CN 113950611 B CN113950611 B CN 113950611B CN 202080039735 A CN202080039735 A CN 202080039735A CN 113950611 B CN113950611 B CN 113950611B
- Authority
- CN
- China
- Prior art keywords
- neural network
- trajectory
- map
- features
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 97
- 238000012545 processing Methods 0.000 title claims abstract description 44
- 238000013528 artificial neural network Methods 0.000 claims abstract description 143
- 238000012549 training Methods 0.000 claims abstract description 36
- 230000004913 activation Effects 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 30
- 230000004927 fusion Effects 0.000 claims description 15
- 238000009826 distribution Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 description 18
- 238000013527 convolutional neural network Methods 0.000 description 14
- 238000000605 extraction Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000004094 surface-active agent Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3815—Road data
- G01C21/3819—Road shape data, e.g. outline of a route
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Automation & Control Theory (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Abstract
本披露内容涉及一种预测一个或多个道路属性的方法。该方法可以包括提供地理区域的轨迹数据。该方法可以进一步包括提供地图数据，其中，该地图数据可以包括该地理区域的图像数据。该方法可以进一步包括从该轨迹数据中提取轨迹特征以及从该地图数据中提取地图特征。该方法可以进一步包括使用至少一个处理器，通过将这些轨迹特征与这些地图特征输入到神经网络中以及通过将该神经网络的输出分类为道路属性的预测概率来预测这些道路属性。本披露内容还涉及一种数据处理系统；一种存储计算机可执行代码的非暂态计算机可读介质；以及一种训练自动预测器的方法。
Description
技术领域
各个实施例涉及一种预测道路属性以创建或更新地理区域的数字地图的方法，一种被配置成执行该方法的数据处理系统，一种包括用于提取道路属性的指令的计算机可执行代码，一种存储该计算机可执行代码的非暂态计算机可读介质，以及一种用于训练道路属性的自动预测器的方法。
背景技术
打车服务提供商的服务在很大程度上依赖于数字地图的质量。不完整的地图数据(如缺少道路，或甚至缺少道路属性)可能导致误导性的路线选择决策或对驾驶员到达时间的不准确预测。但是，商业地图和免费地图的更新仍然极大的依赖于来自人工的手动标注。高昂的成本导致地图具有低完整性以及不准确的过时数据。以开放式街道地图(OSM)为例，其为社会提供了用户生成的世界地图，但其数据完整性和准确性在不同城市中差异很大。例如，在新加坡，虽然大部分道路在地图上都标注了单向或双向标签，但只有约40％和9％的道路分别标注了车道数量和市区限速。
因此，当前更新地图数据的方法具有缺点，并且期望提供一种改进的更新地图数据的方法。
发明内容
本披露内容涉及一种预测一个或多个道路属性的方法、一种数据处理系统、一种存储用于执行该方法的计算机可执行代码的非暂态计算机可读介质、一种计算机可执行代码以及一种用于训练自动预测器的方法。
本披露内容的第一方面涉及一种预测与地理区域中的道路相对应的一个或多个道路属性的方法。例如，用于创建或更新地理区域的地图和/或车辆路线选择决策数据库。地理区域包括道路段。该方法可以包括提供地理区域的轨迹数据。该方法可以进一步包括提供地图数据，其中，该地图数据可以包括该地理区域的图像数据。该方法可以进一步包括从轨迹数据中提取轨迹特征。该方法可以进一步包括从地图数据中提取地图特征。该方法可以进一步包括使用至少一个处理器，通过将这些轨迹特征与这些地图特征输入到神经网络中以及通过将该神经网络的输出分类为道路属性的预测概率来预测这些道路属性。神经网络和分类器可以包括在分类器逻辑中。分类器逻辑可以是经训练的分类器逻辑。
本披露内容的第二方面涉及一种数据处理系统。该数据处理系统可以包括一个或多个处理器。该数据处理系统和/或这些处理器可以被配置成执行该预测道路属性的方法。
本披露内容的第三方面涉及一种存储有计算机可执行代码的非暂态计算机可读介质，该计算机可执行代码包括用于根据各个实施例的根据预测一个或多个道路属性的方法来提取道路属性的指令。
本披露内容的第四方面涉及一种计算机可执行代码，该计算机可执行代码包括用于根据各个实施例的根据预测一个或多个道路属性的方法来提取道路属性的指令。
本披露内容的第五方面涉及一种计算机程序产品，该计算机程序产品被配置成执行用于根据各个实施例的根据预测一个或多个道路属性的方法来提取道路属性的指令。
本披露内容的第六方面涉及一种用于训练自动预测器的方法。根据各个实施例，该自动预测器可以包括在数据处理系统中。该训练方法可以包括：对于地理区域的多个道路段，通过将训练数据输入到自动预测器中来执行前向传播，以获得输出结果。该训练数据可以包括轨迹特征。该训练数据可以进一步包括具有电子图像格式的地图特征。该训练方法可以包括根据该输出结果与预期结果之间的差异来执行反向传播，以调整该自动预测器的权重。该差异可以使用损失函数计算为损失。该训练方法可以包括重复上述执行前向传播和反向传播的步骤，直到达到预定收敛阈值。该自动预测器可以包括神经网络，该神经网络被配置成基于轨迹特征和地图特征来预测道路属性。该自动预测器可以包括分类器，该分类器被配置成将该神经网络的输出分类为这些道路属性的预测概率。
本披露内容的第七方面涉及一种经训练的自动预测器，以及一种包括由根据各个实施例的该训练方法训练的自动预测器的经训练的自动预测器。
附图说明
当结合非限制性示例和附图考虑时，参考具体实施方式将更好地理解本发明，在附图中：-
-图1示出了包括图像数据(122)形式的地图数据120的地理区域10的部分表示。在该表示中，轨迹数据110覆盖在地图数据(122)上；
-图2示出了以道路段22为中心的裁剪后图像123；
-图3示出了数据处理系统3000的示意性表示，其包括数据提取、由神经网络300进行的神经网络处理以及由分类器400进行的分类，用于生成预测概率500；
-图4示出了路线选择请求和决策系统4000的示意性表示；
-图5示出了神经网络300的一部分的示意性表示，其包括输出与关注分数αx融合的共享全球轨迹特征316的第一子神经网络311。
-图6示出了神经网络300的一部分的示意性表示，其包括输出与关注分数αv融合的共享全球地图特征326的第二子神经网络321；
-图7示出了(a)第一子神经网络311的架构和(b)第二子神经网络322的架构的示意性表示；以及
-图8示出了示例性计算机8000的架构，其可以用于实施根据各个实施例的任何系统或根据各个实施例的任何方法。
具体实施方式
以下具体实施方式参考了附图，附图通过展示的方式示出了可以实践本披露内容的具体细节和实施例。足够详细地描述了这些实施例，以使本领域技术人员能够实践本披露内容。可以利用其他实施例并且可以在不脱离本披露内容的范围的情况下进行结构改变和逻辑改变。各个实施例不一定是相互排斥的，因为一些实施例可以与一个或多个其他实施例组合以形成新的实施例。
在预测方法、系统、计算机可执行代码、非暂态计算机可读介质以及训练方法之一的上下文中描述的实施例对于其他预测方法、系统、计算机可执行代码、非暂态计算机可读介质以及训练方法是类似有效的。类似地，在预测方法的上下文中描述的实施例对于系统是类似有效的，反之亦然。
在实施例的上下文中描述的特征可以相应地适用于其他实施例中的相同或类似的特征。在实施例的上下文中描述的特征即使未在其他实施例中明确地描述也可以相应地适用于这些其他实施例。此外，如针对实施例的上下文中的特征所描述的添加和/或组合和/或替代可以相应地适用于其他实施例中的相同或类似的特征。
在各个实施例的上下文中，针对特征或元素所使用的冠词“一(a)”、“一个(an)”和“该(the)”包括对一个或多个特征或元素的提及。
如本文所使用的，术语“和/或”包括一个或多个相关联所列项中的任何和所有组合。
术语“第一”和“第二”在本文中可以用于区分要素或方法步骤，并且对此不作其他限制，例如，可以在无需提供“第一”要素或方法的情况下提供“第二”要素或方法步骤。
如本文所使用的，术语“道路”可意指被设想用于车辆运动的路，并且其含义可以包括高速公路(也称为公路)、主干道、街道或其组合。
术语“车辆”可意指机动车辆，例如汽车或公交车。
如本文所使用的，术语“方位”可意指车辆的移动方向，例如相对于参照物。例如，车辆的方位可以是车辆移动方向相对于地球正北方向的顺时针角度。
如本文所使用的，术语“神经网络”可意指人工神经网络，例如数字神经网络等电子神经网络。神经网络可以在计算机上实施。本领域技术人员将理解，基于本披露内容，在与训练无关的实施例和示例中，神经网络是经训练的神经网络，分类器是经训练的分类器，并且自动预测器是经训练的自动预测器。例如，自动预测器可以已经基于训练数据记录进行了训练，该训练数据记录包括地理区域的至少一个子区域的训练车辆轨迹数据，该车辆轨迹数据包括位置、方位和速度以及该地理区域的至少一个子区域的地图数据(即，训练图像)，其中，训练车辆轨迹数据或训练图像包括一个或多个道路属性。由于自动预测器包括神经网络和分类器，因此这些是一起训练的。
根据各个实施例，神经网络可以被配置成接收轨迹特征和地图特征，并生成特定任务融合表示。分类可以由分类器执行，并且分类器可以被配置成基于特定任务融合表示来计算预测概率中的一个或多个。
根据各个实施例，轨迹特征可以由第一子神经网络处理成共享全球轨迹特征，其中，第一子神经网络可以包括一个或多个全连接层。
根据各个实施例，该方法可以进一步包括基于轨迹数据来确定与道路属性相对应的预定义指示符的关注分数。预定义指示符可以由全连接层处理。关注分数可以基于激活函数确定。
根据各个实施例，地图特征可以由第二子神经网络处理成共享全球地图特征。
根据各个实施例，预定义指示符可以由全连接层处理。根据各个实施例，关注分数基于激活函数来确定。
根据各个实施例，可以基于关注分数与第一子神经网络的共享全球轨迹特征的融合来计算特定任务融合表示。可以通过将关注分数与第一子神经网络的共享全球轨迹特征融合来提供相应轨迹特定任务加权表示。
根据各个实施例，可以基于关注分数与第二子神经网络的共享全球地图特征的融合来计算特定任务融合表示。可以通过将关注分数与第二子神经网络的共享全球地图特征融合来提供相应地图特定任务加权表示。根据各个实施例，可以基于地图特定任务加权表示和轨迹特定任务加权表示来确定特定任务融合表示，例如，其可以通过将地图特定任务加权表示与轨迹特定任务加权表示融合来计算。
根据各个实施例，从地图数据中提取地图特征可以包括通过裁剪来自图像数据的图像来生成裁剪后图像。裁剪后图像可以以道路段中的对应道路段为中心。
根据各个实施例，从轨迹数据中提取轨迹特征可以包括确定轨迹数据中与道路段中的道路段相关联的一组迹线。
根据各个实施例，从轨迹数据中提取轨迹特征可以进一步包括计算位置、方位和速度中的一项或多项的相应分布，以及使用相应分布作为轨迹特征。
根据各个实施例，轨迹数据可以包括多个数据点，其中，每个数据点可以包括纬度、经度、方位和速度。
根据各个实施例，数据处理系统可以包括第一存储器，该第一存储器被配置成存储地理区域的轨迹数据。数据处理系统可以包括第二存储器，该第二存储器被配置成存储地图数据。地图数据可以包括地理区域的图像数据。
根据各个实施例，数据处理系统可以包括轨迹特征提取器，该轨迹特征提取器被配置成从轨迹数据中提取轨迹特征。数据处理系统可以包括地图特征提取器，该地图特征提取器被配置成从地图数据中提取地图特征。数据处理系统可以包括神经网络，该神经网络被配置成基于轨迹特征和地图特征来预测道路属性。数据处理系统可以包括分类器，该分类器被配置成将神经网络的输出分类为道路属性的预测概率。神经网络和分类器可以包括在分类器逻辑中。分类器逻辑可以是经训练的分类器逻辑。
根据各个实施例，神经网络可以被配置成接收轨迹特征和地图特征，并生成特定任务融合表示。分类器可以被配置成基于特定任务融合表示来计算预测概率中的一个或多个。
根据各个实施例，神经网络可以包括第一子神经网络，该第一子神经网络被配置成将轨迹特征处理成共享全球轨迹特征。第一子神经网络可以包括一个或多个全连接层。
根据各个实施例，神经网络可以包括第一子神经网络，该第一子神经网络被配置成将轨迹特征处理成共享全球轨迹特征。第一子神经网络可以包括一个或多个全连接层。
根据各个实施例，神经网络可以进一步被配置成基于轨迹数据来确定与道路属性相关联的预定义指示符的关注分数。神经网络可以进一步包括全连接层，并且预定义指示符可以由全连接层处理。关注分数可以基于例如S型函数(sigmoid)等激活函数来确定。
根据各个实施例，神经网络可以被配置成将关注分数与第一子神经网络的共享全球轨迹特征融合，从而生成轨迹特定任务加权表示。
根据各个实施例，神经网络可以进一步包括第二子神经网络，该第二子神经网络被配置成将地图特征转换成共享全球地图特征。
根据各个实施例，神经网络可以进一步被配置成基于地图特征来确定预定义指示符的关注分数。神经网络可以进一步包括全连接层，并且预定义指示符可以由全连接层处理。关注分数可以基于例如S型函数等激活函数来确定。根据各个实施例，神经网络可以被配置成当生成地图特定任务加权表示时，将关注分数与第二子神经网络的共享全球地图特征融合。
根据各个实施例，神经网络可以被配置成通过将相应轨迹特定任务加权表示与相应地图特定任务加权表示融合来提供特定任务融合表示。
轨迹特征的提取
预测一个或多个道路属性的方法可以包括提供车辆轨迹数据的步骤。
如本文所使用的并且根据各个实施例，轨迹数据可以包括如地理空间坐标等地理数据，并且可以进一步包括时间，例如，由全球定位系统GPS提供的时间。GPS坐标可以是根据世界大地测量系统WGS 84，例如，G1674版或对应的转换版本。轨迹数据可以是真实世界数据，例如，由车辆记录的轨迹数据，例如真实世界GPS数据。相应地，地理区域表示地球表面上的区域。如本文所使用的并且根据各个实施例，术语‘地理’和‘地理空间’可以互换使用。轨迹数据可以作为多个数据点提供。根据各个实施例，轨迹数据可以包括以下各项中的一项或多项：位置、方位、速度。位置可以包括经度、纬度、海拔中的一项或多项，例如，经度和纬度。方位可以经由计算获得，例如，方位可以从包括经度、纬度和时间的两个或更多个数据点计算得出。或者，方位可以由车辆设备来确定，例如罗盘，如电子罗盘等。速度可以经由计算获得，例如，速度可以从包括经度、纬度和时间的两个或更多个数据点计算得出。或者，速度可以由车辆设备来确定，例如，速度传感器。
根据各个实施例，预测一个或多个道路属性的方法可以包括从轨迹数据中提取轨迹特征。
可以从轨迹数据中提取如位置、方位和速度等轨迹特征。例如，可以提供原始轨迹数据，该原始轨迹数据可以来源于车辆的跟踪数据(例如，原始GPS数据)。由于原始轨迹数据(例如，原始GPS迹线)是嘈杂的且不包含他们所行驶的道路段的信息，因此这种提取可能有所帮助。
根据各个实施例，从轨迹数据中提取轨迹特征可以包括确定轨迹数据中与道路段中的道路段相关联的一组迹线。根据各个实施例，从轨迹数据中提取轨迹特征可以进一步包括计算位置、方位和速度中的至少一项的分布，并使用该分布作为轨迹特征。
可以基于作为轨迹特征的位置来生成归一化直方图。可以基于作为轨迹特征的方位来生成归一化直方图。可以基于作为轨迹特征的速度来生成归一化直方图。因此，作为示例，可以生成3个归一化直方图。在一个示例中，对轨迹数据执行基于隐马尔可夫模型(HMM)的地图匹配，以找到轨迹数据中与每个道路段相关联的一组迹线。本披露内容不限于使用直方图或HMM来提取轨迹特征。
在一个示例中，在形式上，令R＝{r1,r2,...,rn}表示一组道路段，并且Pi j＝{Pi 1,Pi 2,...,Pi m}表示与道路段ri相关联的一组轨迹数据点，其中，Pi j＝(lati j,loni j,bearingi j,speedi j)是包含纬度、经度、方位和速度的读数的4元组。基于Pi，可以分别从位置、方位和速度中提取每个道路段ri的以下三种类型的轨迹特征。下文给出了每个特征提取的示例，但本披露内容不限于此，也可以使用其他特征。
下文描述了位置提取的非限制性示例。对于每个位置(lati j,loni j)∈Pi，可以计算出点(lati j,loni j)与道路段ri之间的大圆距离。该距离可以映射到仓中，例如，100米的距离可以映射到50个仓中，每个仓表示2米的间隔。由于该距离在空间中是连续的，因此分仓允许将距离用作特征。可以计算落入每个仓中的位置的数量，并且可以例如使用L1范数对计数的直方图进行归一化。归一化直方图可以用作包括在轨迹特征中的位置特征(EL)。
下文描述了方位提取的非限制性示例。对于每个方位bearingi j∈Pi，可以计算出车辆的移动方向与道路段ri的方向之间的角距离。例如，可以将360°角空间量化为例如36个或更多个仓，如36个仓，其中每个仓表示10°的间隔。可以使用预定直径，例如选自20米与200米之间，如100米。同样地，可以对落入每个仓中的方位数量进行计数，并且可以例如使用L1范数对计数的直方图进行归一化。归一化直方图可以用作包括在轨迹特征中的方位特征(Eb)。
下文描述了速度提取的非限制性示例。可以将速度量化成槽(slot)，其中，每个槽表示一个速度间隔，例如速度间隔可以选自1m/s到20m/s的范围，例如5m/s或10m/s。可以通过对落入每个槽中的速度数量进行计数来生成直方图。例如，可以使用L1范数对直方图进行归一化。归一化直方图可以用作包括在轨迹特征中的速度特征(Es)。
提取地图特征
预测一个或多个道路属性的方法可以包括提供地图数据的步骤。
根据各个实施例，地图数据可以是图像数据的形式，例如被配置成以电子数字格式存储的电子形式。图像数据的电子数字格式的示例是JPEG。
根据各个实施例，图像数据可以是数字地图或者可以从数字地图获得，例如现有的数字地图。现有的数字地图的示例是由
(www.openstreetmap.org)提供的地图。数字地图可以包括用于地理对象的可视化的规则，这些地里对象例如包括道路、公路、建筑物中的一个或多个。例如，每个地理对象和/或地理对象的每个属性可以具有不同的颜色、不同的周界线样式(例如，不同的线条粗细)、不同的填充图案或其组合。不同来源的数字地图的组合(例如具有不同的可视化规则)也可以用作图像数据的来源。
图像数据122可以包括不同颜色的通道，例如红色(R)、绿色(G)和蓝色(B)。
根据各个实施例，预测一个或多个道路属性的方法可以包括例如通过生成裁剪后图像来从地图数据中提取地图特征。例如，其中每个裁剪后图像均以道路段之一为中心。可以为地理区域中道路的每个道路段生成裁剪后图像。将裁剪后图像视作视觉特征，表示为Ev，其捕获道路周围的情景信息以进行道路属性预测。与使用某些地图的键值对表示(例如，node-id＝26782044，oneway＝True)相比，使用图像数据以及提取地图特征可以提供优点，特别是在该表示与不同地理对象之间的许多缺失值不一致时。
图1示出了包括图像数据122形式的地图数据120的地理区域10的部分表示。在该表示中，轨迹数据110覆盖在图像数据122的图像上。轨迹数据以迹线的形式表示，为了简单起见，图1未示出速度和方位。地理区域包括若干道路段21，例如道路段22。迹线可以按道路段分组，例如，道路段22被示出为具有对应的一组迹线23。经分组的迹线可以用于提取轨迹特征。
可以通过剪裁来自图像数据122的图像来提供裁剪后图像123。每个裁剪后图像123可以对应于道路段21中的道路段。例如裁剪后图像123可以以道路段21中的对应道路段22为中心。裁剪后图像123可用作地图特征。地图数据120独立于轨迹数据110，为便于理解，在图1中示出为覆盖(overlaid)。
出于说明的目的，图2示出了裁剪后图像123的更多细节。以黑白示出裁剪后图像123，其中，情景信息以不同图案、不同线条样式、以及箭头方向进行编码。然而，典型的地图可以包括颜色，并且替代性地或另外地，情景信息可以以颜色进行编码，例如，以不同的RGB颜色通道进行编码。图2示出了包括主干道123B(直线网格图案)和高速公路123C(点状图案)的道路。用成角度的交叉影线显示道路间的区域123A(例如，住宅区)。道路段上还显示了每条道路的方向，例如，道路段上的单箭头可以指示该道路是单向道路，并进一步指示单向道路的方向，而道路段上的双箭头可以指示该道路是双向道路。每个箭头可以指示相对于地球正北的方向。
可以将提取的轨迹和地图特征输入到神经网络中，该神经网络的输出可以被分类为道路属性类别的预测概率。根据各个实施例，至少一个处理器可以用于通过将轨迹特征和地图特征输入到神经网络中以及通过将神经网络的输出分类为道路属性的预测概率来预测道路属性。
图3示出了数据处理系统3000的示意性表示，该数据处理系统被配置成提供数据提取、由神经网络300进行的神经网络处理以及由分类器400进行的分类，用于生成预测概率500。数据处理系统可以包括至少一个处理器，例如，微处理器。
如图3所示，提供了轨迹数据110，该轨迹数据可以由被配置成提取轨迹特征210的轨迹特征提取器211处理。进一步示出的是提供地图数据120，该地图数据可以由被配置成提取地图特征220(例如，图2的裁剪后图像123)的地图特征提取器221处理。神经网络300可以接收轨迹特征210和地图特征220作为输入，并生成特定任务融合表示330。然后，可以通过分类器400对神经网络300的输出进行分类。分类器400被配置成基于特定任务融合表示330来计算预测概率500中的一个或多个。
根据各个实施例，预测概率500可添加到地图或用于更新地图。例如，地图可以是存储在地图数据库610中的数字地图。
根据各个实施例，道路属性可以包括以下各项中的一项或多项：单向或双向、车道数量、每个车道的方向、每个可行方向的限速、每个可行方向的平均速度、道路类型。预测道路属性也可以被称为任务。道路类型的示例是高速公路(也称为公路)、主干道、街道。
根据各个实施例，所预测的道路属性(例如，存储在地图数据库610中的道路属性)可以用于路线选择决策，例如，用于计算车辆从起点到目的地的路线选择。根据各个实施例，图4示出了示例性路线选择请求和决策系统4000的示意性表示。前端630可以接收例如用户经由电子终端(例如，如移动电话等数字设备)发送的车辆路线选择请求710，该请求包括起点A，目的地B和时间t。时间t可以是例如出发时间或到达时间。可以将车辆路线选择请求710、或基于车辆路线选择请求710形成的请求发送至后端620，例如后端服务器。后端620可以访问地图数据库610，以确定车辆在时间t从起点A到目的地B的可行路线，例如优化路线。由于地图数据库610包括包含A和B的地理区域的预测道路属性，因此所确定的路线是优化后的路线，更有可能的是，该路线选择中没有例如由于地图数据库610中缺少道路属性而产生的错误的路线选择决策。此外，可由后端610确定的预测到达时间可能更准确。
所确定的路线720可以提供给前端，并且如果请求也可以提供给用户。
神经网络
根据各个实施例，神经网络可以被配置成接收轨迹特征和地图特征，并生成特定任务融合表示。根据各个实施例，将结合图5和图6对示例性神经网络的细节进行解释。在附图中，具有交叉成“X”的两个直径的圆
表示融合器，即将输入特征融合成融合输出特征的单元。
通过联合分析彼此相关的多个任务，多任务学习是有效的。在本披露内容中，采用共享权重特征嵌入层来学习多个任务之间的特征空间中的共同模式。图5展示了用于轨迹特征的特征嵌入的子网络(第一子神经网络311)、以及用于关注预测的子网络(全连接层317和激活函数层411)。图6展示了用于地图特征的子网络(第二子神经网络311)、以及用于关注预测的子网络(全连接层327和激活函数层421)。下文将结合图7进一步示出第一子神经网络和第二子神经网络的细节。
图5和图6示出了神经网络的细节。图5示出了神经网络300的一部分的示意性表示，其包括输出与相应的关注分数αx融合的共享全球轨迹特征316的第一子神经网络311。第一子神经网络311也可以称为轨迹数据神经网络。
根据各个实施例，轨迹特征210可以由第一子神经网络311处理成共享全球轨迹特征316(hx)，其中，第一子神经网络311可以包括一个或多个全连接层312、314。该处理提供了轨迹特征嵌入。上标x可以是任一轨迹特征，例如位置(L)、方位(b)或速度(s)。
根据各个实施例，该预测一个或多个道路属性的方法可以包括基于轨迹数据110来确定与道路属性20相对应的预定义指示符216的关注分数(αx k)。预定义指示符216可以由全连接层317处理。关注分数αx可以基于激活函数来确定，例如，通过用激活函数层对全连接层317的输出进行处理。在一个示例中，激活函数是S型函数。
根据各个实施例，基于关注分数(αx k)与第一子神经网络311的共享全球轨迹特征(hx)的融合来计算轨迹特定任务加权表示330(αx k·hx)。
图6示出了神经网络300的一部分的示意性表示，其包括输出与相应关注分数αv融合的共享全球地图特征326(hv)的第二子神经网络321。第二子神经网络311也可以称为地图数据神经网络。
根据各个实施例，地图特征220可以由第二子神经网络321处理成共享全球地图特征326(hv)。该处理提供了地图特征嵌入。
根据各个实施例，该预测一个或多个道路属性的方法可以包括基于地图数据120来确定与道路属性20相对应的预定义指示符226的关注分数(αv k)。根据各个实施例，预定义指示符226可以由全连接层327处理。关注分数αv可以基于激活函数来确定，例如，通过用激活函数层对全连接层327的输出进行处理。在一个示例中，激活函数是S型函数。
根据各个实施例，基于关注分数αv(αv k)与第二子神经网络321的共享全球地图特征326(h)的融合来计算地图特定任务加权表示330(αv k·hv)。
关注预测
如上文所解释的，根据各个实施例，该方法可以包括提供预定义指示符216、226，并通过相应的全连接层317、327对这些预定义指示符进行处理，从而预测例如轨迹特征210和地图特征220等每个特征的重要性。重要性预测由相应的关注分数提供。
特征可以基于其重要性进行融合，这比简单地将其连结在一起更有优势，因为据发现，不同特征的重要性在不同的任务中差异很大。
在一些实施例中，可以基于指示特征类型的独热(one-hot)表示来预测特征重要性。例如，指示符IL＝[1,0,0,0]、Ib＝[0,1,0,0]、Is＝[0,0,1,0]以及Iv＝[0,0,0,1]可以用于表示四种类型的特征(位置(L)、方位(b)、速度(s)和地图数据(v))的独热指示符。然而，本披露内容不限于该示例。指示符可以由全连接层和激活函数层(例如，使用S型激活函数)处理，以生成特定于任务的特征关注分数αx和421。例如，位置嵌入可能对于导出车道数量更重要；速度嵌入可能对于限速和/或平均速度预测更重要，方位可能对于单向或双向道路预测更重要。根据各个实施例，全连接层中的隐藏单元数量可以等于目标任务数量。例如S型函数等激活函数可以用于确保关注分数在[0,1]的范围内。
根据各个实施例，融合可以被执行为关注分数(αk)与其相应的共享全球特征(h)的乘积，从而提供特定任务加权表示(αk·h)，因此可以将这些特定任务加权表示连结起来，从而提供特定任务融合表示(hk)。
令αL k、αb k、αs k和αv k表示任务k中的特征EL、Eb、Es和Ev的关注分数(重要性)。多模式特征可以被融合为例如：
其中，
表示两个向量a和b的连结。
尽管共享权重嵌入层在不同任务间生成共享全球特征嵌入，但其仍可以基于特定任务关注分数来学习特定任务融合表示hk。据发现，在不同的任务中，不同特征的重要性差异很大。例如，方位与单向或双向密切相关，但与车道数量的相关性较小。基于特定任务关注分数来学习特定任务融合表示的策略比在不同的任务之间生成相同的融合表示的具有相等权重的特征连结更有效。
根据各个实施例，第一子神经网络可以包括一个或多个全连接层FC。每个全连接层FC后面可以是激活层，例如用于ReLu激活的整流线性单元(ReLu)。
在图7(a)的示例中，示出了第一子神经网络311的架构的示意性表示，其包括两个全连接层FC的序列，每个全连接层后面是激活层A。在一个示例中，每个全连接层FC包括32个隐藏单元。第一子神经网络311可以使用所提取的车辆轨迹特征来对初始嵌入EL、Eb、Es进行处理。
根据各个实施例，从地图中裁剪的裁剪后图像(图像特征)可以由第二子神经网络处理。第二子神经网络可以包括卷积神经网络CNN，然后是一个或多个全连接层FC。卷积神经网络CNN可以是2D卷积神经网络CNN。每个全连接层FC后面可以是激活层，例如用于ReLu激活的整流线性单元(ReLu)。
在图7(a)的示例中，示出了第二子神经网络321的架构的示意性表示，其包括卷积神经网络CNN 321A，然后是两个全连接层FC的序列，每个全连接层后面是激活层A。两个全连接层FC(每个全连接层后面是激活层A)的部分321B可以具有与第一子神经网络311相同的架构，例如，每个全连接层FC层具有相同数量的隐藏单元，和/或层A中具有相同的激活函数。在一个示例中，原始图像Ev可以由具有三个卷积层的2D CNN 321A处理。内核大小可以采用3，并且滤波器的数量可以分别设置为32个、64个和128个。可以在每个卷积层之后应用3×3最大池化，并且CNN的输出可以传递到具有32个隐藏单元的两个全连接层FC，然后是ReLU激活A。
根据一些实施例，分类器可以包括一组特定任务分类器。每个特定任务分类器可以被配置成输出对道路属性之一的预测。然后，可以基于如上所解释的特定任务关注分数，对嵌入层的输出特征向量(表示为hL、hb、hs和hv)进行融合，并通过特定任务分类器对其进行分析。例如，对于训练(下文将进一步解释)，总损失可以定义为所有分类器的损失之和，因此特定任务分类器可以被一起训练。
分类器
根据各个实施例，分类器可以被配置成基于特定任务融合表示来计算预测概率中的一个或多个。例如，对于每个任务k，可以基于融合特征hk通过将该融合特征传递到全连接层和输出层而作出预测。例如，具有16个和8个隐藏单元且其后是激活(例如ReLU激活)的两个全连接层，以及一个输出层。
训练
各个实施例可以涉及一种用于训练自动预测器的方法以及由所述方法训练的经训练的自动预测器。自动预测器可以包括神经网络和分类器。神经网络和分类器被一起训练。根据各个实施例，自动预测器可以在数据处理系统中实施。根据各个实施例，经训练的预测器可以用于执行预测一个或多个道路属性的方法。
该训练方法可以包括：对于地理区域的多个道路段，通过将训练数据输入到自动预测器中来执行前向传播，以获得输出结果。训练数据可以包括轨迹特征、具有电子图像格式的地图特征、以及对应的地面实况道路属性。
该训练方法可以进一步包括基于输出结果与预期结果之间的差异来执行反向传播，以调整自动预测器的权重，如神经网络和分类器的权重。神经网络的权重可以包括第一子神经网络和第二子神经网络的权重、CNN的权重和全连接层的权重中的一个或多个，优选地全部。这种差异可以使用损失函数来确定。还可以实施优化器以提高训练速度。
该训练方法可以进一步包括重复例如前向传播和反向传播等上述步骤，直到可以达到预定收敛阈值。
为了减少过度拟合，可以在自动预测器的每个全连接层(例如，神经网络和分类器)之后增加脱离层(dropout layer)。在一个示例中，可以将脱离速率(drop rate)设置为0.3。可以将每个道路属性的预测建模为多类分类问题，其中，可以采用类别交叉熵作为损失函数。令Lk表示任务k的损失，最终损失可以被定义为，
其中，βk在[0,1]的范围内，表示任务k的损失权重。例如，可以使用批量大小设置为1024的Adam优化器，对自动预测器进行优化。可以将学习速率设置为0.001。
该自动预测器可以包括神经网络，该神经网络被配置成基于轨迹特征和地图特征来预测道路属性。自动预测器可以进一步包括分类器，该分类器被配置成将该神经网络的输出分类为道路属性的预测概率。
各个实施例可以涉及一种经训练的自动预测器，该经训练的自动预测器包括经训练的神经网络和经训练的分类器。
计算机程序产品
各个实施例可以涉及一种计算机可执行代码和/或存储该计算机可执行代码的非暂态计算机可读介质，该计算机可执行代码包括用于根据各个实施例的根据预测一个或多个道路属性的方法来提取道路属性的指令。例如，如图8所展示的，计算机可执行代码可以在计算机8000中执行。
根据各个实施例，数据处理系统可以包括一个或多个处理器，该一个或多个处理器被配置成执行该预测道路属性20的方法。数据处理系统可以在计算机中实施，例如图8所示的计算机8000。数据处理系统可以包括第一存储器，该第一存储器被配置成存储地理区域10的轨迹数据110。例如，轨迹数据可以经由JavaScript对象表示法(JSON)请求从服务器获得。数据处理系统可以包括第二存储器，该第二存储器被配置成存储地图数据120，其中，地图数据120可以包括地理区域的图像数据122。例如，地图数据120可以存储于提供本地和/或全球数字地图的服务器中，例如，可以通过位置访问该服务器。根据各个实施例，数据处理系统可以包括轨迹特征提取器211，该轨迹特征提取器被配置成从轨迹数据110中提取轨迹特征210。数据处理系统可以包括地图特征提取器221，该地图特征提取器被配置成从地图数据120中提取地图特征220。例如，地图特征提取器可以将地图图像裁剪为预定要求的大小和/或针对预定位置(例如以道路段为中心)。根据各个实施例，处理系统可以包括神经网络300，该神经网络被配置成基于轨迹特征210和地图特征220来预测道路属性20。处理系统可以包括分类器400，该分类器被配置成将神经网络300的输出分类为道路属性20的预测概率500。
图8示出了可以根据各个实施例使用的示例性计算机8000的架构。计算机8000包括总线810，通过该总线，设备中的一个或多个设备可以彼此进通信。在图10的示例中，示出了连接到总线800的以下设备：CPU 801；主存储器802，例如RAM；存储设备803，例如硬盘驱动器、固态驱动器、闪存驱动器；通信设备804，例如用于有线或无线通信，例如WiFi、USB、蓝牙；显示界面805以及其他用户界面806，例如用于用户输入；然而，本披露内容不限于此，并且可以在计算机中包括更多或更少的设备，并且计算机和/或总线可以具有与所展示的架构不同的其他架构。
实验
如先前所解释的，对特征进行提取，下文给出了详细信息。位置提取：对于每个位置(lati j,loni j)∈Pi，计算出点(lati j,loni j)与道路段ri之间的大圆距离。将100米的距离映射为50个仓，其中每个仓表示2米的间隔。计算落入每个仓中的位置的数量，并使用L1范数对计数的直方图进行归一化。将归一化直方图用作包括在轨迹特征内的位置特征(EL)。方位提取：对于每个方位bearingi j∈Pi，计算出车辆的移动方向与道路段ri之间的角距离。将360°角空间量化为36，每个仓表示10°的间隔。使用了100米的预定直径。计算落入每个仓中的方位的数量，并使用L1范数对计数的直方图进行归一化。将归一化直方图用作方位特征(Eb)。速度提取：将速度量化为槽(slots)，其中每个槽表示10m/s的速度间隔。通过对落入每个槽的速度的数量进行计数来生成直方图。使用L1范数对直方图进行归一化，并将其用作包括在轨迹特征中的速度特征(Es)。
神经网络和分类器具有以下配置：每个全连接层FC包括32个隐藏单元。CNN是具有3个卷积层的2D CNN。内核大小采用3，并且滤波器的数量分别设置为32个、64个和128个。在每个卷积层之后应用3×3最大池化，并且CNN的输出传递到具有32个隐藏单元FC的两个全连接层，然后是ReLU激活A。如先前所解释的，对于训练，对包括神经网络和分类器的自动预测器进行训练。
在新加坡的三个不同区域进行了实验。这些区域的地图数据是使用名为OSMnx的python库从开放式街道地图中检索到的。对于实验，将3个道路属性(即单向/双向道路、车道数量和限速)作为目标，并且从OSM数据获得了地面实况标签。去除没有地面实况标签的道路段，并将剩余道路段的数据分成80％-20％的分部，分别用于训练和测试。下表1中示出了每个任务(道路属性)中训练和测试样本的数量。
如可以看出的，只有约68％和23％的道路分别标有车道数量和限速，这再次说明了自动算法对缺少道路属性检测的重要性。对于特征提取，使用了新加坡的在途中的Grab司机的GPS轨迹，并且如上文所述地对地图图块(裁剪后图像)进行了检索。
对以下方法进行了比较，并在下表2中报告了分类准确度。
在第一个比较示例(SinFea)中，仅基于单个特征为每个道路属性分别训练神经网络。SinFea使用从GPS迹线中提取的最相关的特征。在第二个比较示例(SinFea-M)中，使用从地图数据中提取的图像。
在第三个比较示例(AttMTL)中，对道路属性之间的关系进行建模，使用多任务学习框架，以基于关注分数融合的GPS特征联合检测多个道路属性。AttMTL被配置成与本披露内容的实施例类似，但是不使用地图信息(或任何其他图像信息)。
根据本披露内容表示示例(AttMTL-M)的结果。对现有地图中道路属性与情景信息之间的关系进行建模，在每个道路中心处裁剪图像，并将其在我们提出的具有基于关注的特征融合的多任务学习框架中与从GPS迹线中提取的特征融合。
SinFea方法基于每个任务的单个最相关GPS特征训练分类器，即用于单向/双向检测的方位、用于车道数量检测的位置和用于限速检测的速度。SinFea-M方法使用从地图数据提取的图像块对分类器进行训练。结果表明，前者对单向/双向和车道数量检测更有效，而后者对限速检测更有效。这与缺少关键值对的不完整地图数据的默认地图可视化有关。
通过将等权重分配至三个任务来获得表2中报告的方法AttMTL的结果。一方面，AttMTL中的共享权重嵌入层学习在多个任务间共享的全球低级特征。另一方面，AttMTL中的基于关注的融合层将共享低级特征组合成特定任务融合表示，用于预测每个任务。该策略已被证明是有效的且具有以下两个优点，特别是在中小型数据集上有效。首先，其表明了不同道路属性之间存在联系，因此通过多任务学习对这些联系进行建模可以获得改进后的分类结果。其次，因为可以利用标记有道路属性中的任一道路属性的样本来学习任务间的共享低级特征，所以其增加了训练样本(尤其是限速)的数量和多样性。最后，在AttMTL-M方法中，对从GPS迹线和地图数据中提取的特征进行联合分析。如可以看出的，所提出的方法在所示方法中获得了最佳道路属性检测准确度。其在单向/双向检测、车道数量检测和限速检测方面分别超出AttMTL 1.2％、10.7％和15.6％。因此，这些结果证明了本披露内容实施例的有效性。
表3和图4分别报告了方法AttMTL和AttMTL-M在车道数量检测(车道数量类别1至5)和限速检测(限速数量类别40km/h至90km/h)上的每个类别的精确度、召回率以及F1度量。一个类别的结果计算如下。对于类别c(例如，限速为50km/h)，检索到的是带有预测标签为c或c的相邻类别(例如，对于类别c＝50km/h，限速40km/h和60km/h)的所有样本。计算针对类别c检索到的样本的召回率，并将结果报告于一个类别的行中。该度量测量了预测与地面实况标签之间的“距离”。例如，限速检测的高+/-一个类别分数是指预测限速接近道路的实际限速。在这种情况下，预测的道路属性可以仍对下游应用(路线选择)有利而不会引入显著错误。车道检测中五个类别的测试样本数量分别为132个、408个、169个、91个和37个，而限速检测中六个类别的测试样本数量分别为20个、88个、151个、7个、17个和5个。由于类别不平衡的问题，从稀有类别中检测样本更具有挑战性。表中使用“-”表示算法未检测到并返回该类别的任何实例。
表3：对于车道数量的道路属性，每个类别的精确度、召回率和F1度量比较
表4：对于限速的道路属性，每个类别的精确度、召回率和F1度量的比较
一般来说，方法AttMTL-M更稳健，因为其在所有类别的F1度量方面都优于方法AttMTL。方法AttMTL-M的一个优点是其在检测来自稀有类别的样本时更有效。另一方面，方法AttMTL倾向于将样本标记为主要类别之一，与AttMTL-M相比，这会导致在这些类别中获得相对较高的召回率和较低的精确度。就+/-一个类别度量而言，这两种方法在类别中都获得了高召回率，尤其是方法AttMTL-M，其获得的大部分召回率都大于90％。这表明在大多数情况下，根据各个实施例的本文提出的方法返回的预测类别是真实类别或真实类别的邻近类别。该度量可以是在下游应用中预测道路属性的可用性的重要指标，因为其测量了在使用检测到的属性标注道路时引入的错误级别。
常规道路属性检测方法从GPS迹线中提取直观的手工特征，并对每个道路属性分别建模。相比之下，本披露内容呈现了一种基于多任务学习的模型，用于通过车辆轨迹数据和地图数据的联合分析而进行道路属性检测。实施例通过多任务学习对道路属性间的关系进行建模，包括特征嵌入层、基于关注的特征融合和特定任务分类层。第一组件学习多个任务间的特征空间中的共同模式，然后与第二组件中计算的特征的特定任务重要性分数进行融合。第三组件经由特定任务分类层来预测属性标签，在训练过程中将其损失联合最小化。此外，可以从包含道路附近地理对象的信息的地图数据中提取情景特征，以便于检测缺少的道路属性。
虽然已经参考特定实施例具体示出和描述了本披露内容，但是本领域技术人员应当理解，在不脱离如所附权利要求所限定的本发明的精神和范围的情况下，可以在其中进行形式和细节的各种变化。因此，本发明的范围由所附权利要求指示，并且因此旨在涵盖属于权利要求的等同物的含义和范围内的所有改变。
Claims (26)
1.一种预测与地理区域(10)中的道路相对应的一个或多个道路属性(20)的方法，该地理区域(10)包括道路段(21)，该方法包括：
提供该地理区域(10)的轨迹数据(110)；
提供地图数据(120)，其中，该地图数据包括该地理区域的图像数据(122)；
从该轨迹数据(110)中提取轨迹特征(210)；
从该地图数据(120)中提取地图特征(220)；以及
使用至少一个处理器，通过将这些轨迹特征(210)和这些地图特征(220)输入到神经网络(300)中以及通过将该神经网络(300)的输出分类为道路属性(20)的预测概率(500)来预测这些道路属性(20)，
其中，该神经网络(300)包括用于轨迹特征(110)的第一子神经网络(311)和用于地图特征(220)的第二子神经网络(321)。
2.如权利要求1所述的方法，其中，该神经网络(300)被配置成接收这些轨迹特征(210)和这些地图特征(220)，并生成特定任务融合表示(330)，并且
其中，分类由分类器(400)执行，该分类器(400)被配置成基于该特定任务融合表示(330)来计算这些预测概率(500)中的一个或多个。
3.如权利要求1所述的方法，其中，这些轨迹特征(210)由第一子神经网络(311)处理成共享全球轨迹特征(316)，其中，该第一子神经网络(311)包括一个或多个全连接层(312，314)。
4.如权利要求1所述的方法，进一步包括
基于该轨迹数据(110)来确定与道路属性(20)相对应的预定义指示符(216)的关注分数αx，其中，这些预定义指示符(216)由全连接层(317)处理，并且其中，关注分数αx基于激活函数来确定。
5.如权利要求4所述的方法，其中，基于关注分数αx与该第一子神经网络(311)的共享全球轨迹特征(316)的融合来计算轨迹特定任务加权表示。
6.如权利要求1所述的方法，其中，这些地图特征(220)由第二子神经网络(321)处理成共享全球地图特征(326)。
7.如权利要求6所述的方法，进一步包括基于这些共享全球地图特征(326)来计算预定义指示符(226)的第二关注分数αv，其中，这些预定义指示符(226)由第二全连接层(327)处理，并且其中，第二关注分数αv基于激活函数来确定。
8.如权利要求7所述的方法，其中，基于第二关注分数αv与该第二子神经网络(321)的共享全球地图特征(326)的融合来计算地图特定任务加权表示。
9.如权利要求5所述的方法，其中，
这些地图特征(220)由第二子神经网络(321)处理成共享全球地图特征(326)；
该方法进一步包括基于这些共享全球地图特征(326)来计算预定义指示符(226)的第二关注分数αv，其中，这些预定义指示符(226)由第二全连接层(327)处理；
第二关注分数αv基于激活函数来确定，其中，基于第二关注分数αv与该第二子神经网络(321)的共享全球地图特征(326)的融合来计算地图特定任务加权表示；并且
基于这些地图特定任务加权表示和这些轨迹特定任务加权表示来确定特定任务融合表示(330)。
10.如权利要求1所述的方法，其中，从该地图数据(120)中提取地图特征(220)包括通过裁剪来自该图像数据(122)的图像来生成裁剪后图像(123)，其中，这些裁剪后图像(123)以这些道路段(21)中的对应道路段(22)为中心。
11.如权利要求1所述的方法，其中，从该轨迹数据(110)中提取轨迹特征(210)包括确定该轨迹数据(110)中与这些道路段(21)中的道路段(22)相关联的一组迹线(23)。
12.如权利要求11所述的方法，其中，从该轨迹数据(110)中提取轨迹特征(210)进一步包括计算位置、方位和速度中的一项或多项的相应分布，以及将这些分布用作这些轨迹特征(210)。
13.如权利要求1所述的方法，其中，该轨迹数据(110)包括多个数据点，每个数据点包括纬度、经度、方位和速度。
14.一种数据处理系统，包括一个或多个处理器，该一个或多个处理器被配置成执行如前述权利要求中任一项所述的预测道路属性(20)的方法，该数据处理系统包括：
第一存储器，该第一存储器被配置成存储该地理区域(10)的轨迹数据(110)；
第二存储器，该第二存储器被配置成存储地图数据(120)，其中，该地图数据(120)包括该地理区域的图像数据(122)；
轨迹特征提取器(211)，该轨迹特征提取器被配置成从该轨迹数据(110)中提取轨迹特征(210)；
地图特征提取器(221)，该地图特征提取器被配置成从该地图数据(120)中提取地图特征(220)；
神经网络(300)，该神经网络被配置成基于轨迹特征(210)和地图特征(220)来预测道路属性(20)；
分类器(400)，该分类器被配置成将该神经网络(300)的输出分类为这些道路属性(20)的预测概率(500)，
其中，该神经网络(300)包括用于轨迹特征(110)的第一子神经网络(311)和用于地图特征(220)的第二子神经网络(321)。
15.如权利要求14所述的数据处理系统，其中，
该神经网络(300)被配置成接收这些轨迹特征(210)和这些地图特征(220)，并生成特定任务融合表示(330)，并且
其中，该分类器(400)被配置成基于这些特定任务融合表示(330)来计算这些预测概率(500)中的一个或多个。
16.如权利要求15所述的数据处理系统，其中，该第一子神经网络(311)被配置成将这些轨迹特征(210)处理成共享全球轨迹特征(316)，其中，该第一子神经网络(311)包括一个或多个全连接层(312，314)。
17.如权利要求15或权利要求16所述的数据处理系统，其中，该神经网络(300)进一步包括全连接层(317)，并且其中，该神经网络(300)被进一步配置成基于该轨迹数据(110)来确定与道路属性(20)相对应的预定义指示符(216)的关注分数αx，其中，这些预定义指示符(216)由该全连接层(317)处理，并且其中，关注分数αx基于激活函数来确定。
18.如权利要求17所述的数据处理系统，其中，该第一子神经网络(311)被配置成将这些轨迹特征(210)处理成共享全球轨迹特征(316)，其中，该第一子神经网络(311)包括一个或多个全连接层(312，314)。
19.如权利要求18所述的数据处理系统，其中，该神经网络(300)被配置成将关注分数αx与该第一子神经网络(311)的共享全球轨迹特征(316)融合，从而生成轨迹特定任务加权表示。
20.如权利要求14所述的数据处理系统，其中，该第二子神经网络(321)被配置成将这些地图特征(220)转换为共享全球地图特征(326)。
21.如权利要求20所述的数据处理系统，其中，该神经网络(300)进一步包括第二全连接层(327)，并且其中，该神经网络(300)被进一步配置成基于这些地图特征(220)来确定预定义指示符(226)的第二关注分数αv，其中，这些预定义指示符(226)由该第二全连接层(327)处理，并且其中，第二关注分数αv基于激活函数来确定。
22.如权利要求21所述的数据处理系统，其中，该神经网络(300)被配置成将第二关注分数αv与该第二子神经网络(321)的共享全球地图特征(326)融合，从而生成特定任务加权表示。
23.如权利要求19所述的数据处理系统，其中
该第二子神经网络(321)被配置成将这些地图特征(220)转换为共享全球地图特征(326)；
其中，该神经网络(300)进一步包括：
第二全连接层(327)，其中，该神经网络(300)被进一步配置成基于这些地图特征(220)来确定预定义指示符(226)的第二关注分数αv，其中，这些预定义指示符(226)由该第二全连接层(327)处理，并且其中，第二关注分数αv基于激活函数来确定；
其中，该神经网络(300)被配置成将第二关注分数αv与该第二子神经网络(321)的共享全球地图特征(326)融合，从而生成特定任务加权表示；并且
其中，该神经网络(300)被进一步配置成基于这些地图特定任务加权表示和这些轨迹特定任务加权表示来确定特定任务融合表示(330)。
24.一种存储有计算机可执行代码的非暂态计算机可读介质，该计算机可执行代码包括用于根据如权利要求1至13中任一项所述的方法来提取道路属性的指令。
25.一种用于训练自动预测器的方法，该方法包括：
-针对地理区域(10)的多个道路段(21)，通过将训练数据输入到自动预测器中来执行前向传播，以获得输出结果，其中，该训练数据包括：
轨迹特征(210)；
具有电子图像格式的地图特征(220)；
-根据该输出结果与预期结果之间的差异来执行反向传播，以调整该自动预测器的权重；以及
-重复以上步骤，直到达到预定收敛阈值，
其中，该自动预测器包括：
神经网络(300)，该神经网络被配置成基于轨迹特征(210)和地图特征(220)来预测道路属性(20)；以及
分类器(400)，该分类器被配置成将该神经网络(300)的输出分类为这些道路属性(20)的预测概率(500)，
其中，该神经网络(300)包括用于轨迹特征(110)的第一子神经网络(311)和用于地图特征(220)的第二子神经网络(321)。
26.一种分类器，该分类器由如权利要求25所述的方法进行训练。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/SG2020/050046 WO2021154155A1 (en) | 2020-01-31 | 2020-01-31 | Methods and data processing systems for predicting road attributes |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113950611A CN113950611A (zh) | 2022-01-18 |
| CN113950611B true CN113950611B (zh) | 2023-01-13 |
Family
ID=77079783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080039735.9A Active CN113950611B (zh) | 2020-01-31 | 2020-01-31 | 用于预测道路属性的方法和数据处理系统 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20220357176A1 (zh) |
| CN (1) | CN113950611B (zh) |
| SG (1) | SG11202112080WA (zh) |
| TW (1) | TW202146849A (zh) |
| WO (1) | WO2021154155A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113761099B (zh) * | 2021-09-13 | 2023-07-14 | 湖南科技大学 | 一种志愿者地理信息道路类型预测方法 |
| GB2615100A (en) * | 2022-01-27 | 2023-08-02 | Aptiv Tech Ltd | Method of determining a point of interest and/or a road type in a map, and related cloud server and vehicle |
| CN115037992A (zh) * | 2022-06-08 | 2022-09-09 | 中央广播电视总台 | 视频处理方法、装置和存储介质 |
| CN115071704B (zh) * | 2022-07-19 | 2022-11-11 | 小米汽车科技有限公司 | 轨迹预测方法、装置、介质、设备、芯片和车辆 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108550279A (zh) * | 2018-04-03 | 2018-09-18 | 同济大学 | 基于机器学习的车辆驾驶行为预测方法 |
| CN109084798A (zh) * | 2018-08-29 | 2018-12-25 | 武汉环宇智行科技有限公司 | 网络下发带有道路属性的控制点的路径规划方法 |
| WO2019103049A1 (ja) * | 2017-11-22 | 2019-05-31 | 株式会社ミックウェア | 地図情報処理装置、地図情報処理方法および地図情報処理プログラム |
| CN110146099A (zh) * | 2019-05-31 | 2019-08-20 | 西安工程大学 | 一种基于深度学习的同步定位与地图构建方法 |
| CN110287276A (zh) * | 2019-05-27 | 2019-09-27 | 百度在线网络技术（北京）有限公司 | 高精地图更新方法、装置及存储介质 |
-
2020
- 2020-01-31 WO PCT/SG2020/050046 patent/WO2021154155A1/en active Application Filing
- 2020-01-31 US US17/611,115 patent/US20220357176A1/en active Pending
- 2020-01-31 CN CN202080039735.9A patent/CN113950611B/zh active Active
- 2020-01-31 SG SG11202112080WA patent/SG11202112080WA/en unknown
- 2020-12-09 TW TW109143474A patent/TW202146849A/zh unknown
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019103049A1 (ja) * | 2017-11-22 | 2019-05-31 | 株式会社ミックウェア | 地図情報処理装置、地図情報処理方法および地図情報処理プログラム |
| CN108550279A (zh) * | 2018-04-03 | 2018-09-18 | 同济大学 | 基于机器学习的车辆驾驶行为预测方法 |
| CN109084798A (zh) * | 2018-08-29 | 2018-12-25 | 武汉环宇智行科技有限公司 | 网络下发带有道路属性的控制点的路径规划方法 |
| CN110287276A (zh) * | 2019-05-27 | 2019-09-27 | 百度在线网络技术（北京）有限公司 | 高精地图更新方法、装置及存储介质 |
| CN110146099A (zh) * | 2019-05-31 | 2019-08-20 | 西安工程大学 | 一种基于深度学习的同步定位与地图构建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021154155A1 (en) | 2021-08-05 |
| CN113950611A (zh) | 2022-01-18 |
| SG11202112080WA (en) | 2021-11-29 |
| TW202146849A (zh) | 2021-12-16 |
| US20220357176A1 (en) | 2022-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113950611B (zh) | 用于预测道路属性的方法和数据处理系统 | |
| CN111091708B (zh) | 车辆轨迹预测方法及装置 | |
| CN109739926B (zh) | 一种基于卷积神经网络的移动对象目的地预测方法 | |
| US20190187720A1 (en) | Method and apparatus for providing unknown moving object detection | |
| US11118921B2 (en) | Vehicle routing guidance to an authoritative location for a point of interest | |
| CN108021858A (zh) | 移动客体识别方法及客体流量分析方法 | |
| JP7469237B2 (ja) | 機械学習モデルの出力から推論されるインスタンスセグメンテーション | |
| WO2021082464A1 (zh) | 预测车辆的目的地的方法和装置 | |
| US11663499B2 (en) | Method, data processing apparatus and computer program product for determining road intersections | |
| US11875680B2 (en) | Systems and methods for augmenting perception data with supplemental information | |
| US20240077331A1 (en) | Method of predicting road attributers, data processing system and computer executable code | |
| CN110793531B (zh) | 道路匹配的方法、装置以及可读存储介质 | |
| Yin et al. | A multi-task learning framework for road attribute updating via joint analysis of map data and GPS traces | |
| CN116737857A (zh) | 道路数据处理方法、相关装置和介质 | |
| CN111695627A (zh) | 路况检测方法、装置、电子设备及可读存储介质 | |
| Last et al. | Interactive history-based vessel movement prediction | |
| CN114429524A (zh) | 单目视觉下的三维目标检测模型的构建方法及检测方法 | |
| TW202228091A (zh) | 用於產生地圖資料之方法、資料處理設備及電腦程式產品 | |
| CN115982306B (zh) | 一种目标对象的逆行行为识别方法、装置 | |
| US11879744B2 (en) | Inferring left-turn information from mobile crowdsensing | |
| Snyder et al. | Congestion estimation using traffic cameras | |
| Salahin et al. | Detecting and mapping of roadside trees from Google Street View | |
| Yang et al. | PLoc: A New Evaluation Criterion Based on Physical Location for Autonomous Driving Datasets | |
| CN116363546A (zh) | 一种基于时序的动态稀疏轨迹补全方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |