CN112347838A - 道路地图融合 - Google Patents

道路地图融合 Download PDF

Info

Publication number
CN112347838A
CN112347838A CN202010787382.2A CN202010787382A CN112347838A CN 112347838 A CN112347838 A CN 112347838A CN 202010787382 A CN202010787382 A CN 202010787382A CN 112347838 A CN112347838 A CN 112347838A
Authority
CN
China
Prior art keywords
graph
node
source
target
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010787382.2A
Other languages
English (en)
Inventor
T.埃姆里克
E.希辛格
V.伊万诺夫
R.普雷斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman Becker Automotive Systems GmbH
Original Assignee
Harman Becker Automotive Systems GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harman Becker Automotive Systems GmbH filed Critical Harman Becker Automotive Systems GmbH
Publication of CN112347838A publication Critical patent/CN112347838A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G09B29/005—Map projections or methods associated specifically therewith
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供一种地图融合方法包括接收源图形和目标图形，其中所述源图形表示源地图并且所述目标图形表示目标地图，并且包括节点和连接所述节点的边。所述方法还包括：在图形卷积层中处理所述源图形和所述目标图形中的每一者以提供与所述源图形和所述目标图形相关的图形卷积层输出；在线性整流层中处理所述源图形和所述目标图形的图形卷积层输出中的每一者，以输出与所述源图形和所述目标图形相关的节点特征图，其中所述节点特征图包括表示每个节点的特有特征的数据；以及从与所述源图形和所述目标图形相关的所述节点特征图中选择多对节点表示，并且连结所述选定的多对节点表示以输出选定和连结的多对节点表示。

Description

道路地图融合
技术领域
本公开涉及用于融合道路地图的系统和方法(一般称为“系统”)。
背景技术
许多应用，诸如地区探索、基于位置的服务、路线规划、空闲泊车点搜索等，是基于数字街道地图。由于各种各样的应用，因此还存在大量的尤其是在它们的覆盖范围、记录时间、地图生成方法和属性等方面不同的数字街道地图。为了利用在不同的街道地图中包括的所有信息，应用了被称为地图融合(还称为地图归并、地图合并或地图匹配)的技术，所述技术允许将两个或更多个地图合并为一个地图。然而，由于在众多地图中含有的庞大信息，因此地图融合方法可为耗时且耗资源的，或者是不准确的。因此，对更高效和准确的地图融合技术有相当大的兴趣。
发明内容
一种地图融合方法包括接收源图形和目标图形，其中所述源图形表示源地图并且所述目标图形表示目标地图，并且包括节点和连接所述节点的边。所述方法还包括：在图形卷积层中处理所述源图形和所述目标图形中的每一者以提供与所述源图形和所述目标图形相关的图形卷积层输出；在线性整流层中处理所述源图形和所述目标图形的图形卷积层输出中的每一者，以输出与所述源图形和所述目标图形相关的节点特征图，其中所述节点特征图包括表示每个节点的特有特征的数据；以及从与所述源图形和所述目标图形相关的所述节点特征图中选择多对节点表示，并且连结所述选定的多对节点表示以输出选定和连结的多对节点表示。所述方法还包括：在全连接层中处理所述选定和聚合的多对节点表示以提供全连接层输出；对全连接层输出进行softmax处理以输出与所述源图形和所述目标图形相关的所述节点特征图中的节点的匹配概率；以及基于节点的所述匹配概率，决定是否将源地图中的节点与目标图形中的对应节点融合。
在审查了以下具体实施方式和附图(图)之后，其他系统、方法、特征和优点对于本领域技术人员来说将明显或将变得明显。希望所有这些附加的系统、方法、特征和优点包括在本说明书内、处于本发明的范围内并且受到所附权利要求保护。
附图说明
参考以下附图和描述，可更好地理解系统。
图1是说明将要融合的不同类型的多个电子地图的示意图。
图2是说明通过匹配交叉点和街道来将源地图与目标地图融合的示意图。
图3是说明源道路网络和目标道路网络中的交叉点之间的1:1匹配的示意图。
图4是说明源道路网络和目标道路网络中的交叉点之间的1:m匹配的示意图。
图5是说明源道路网络和目标道路网络中的交叉点之间的n:m匹配的示意图。
图6是说明示例性卷积网络或层的示意图。
图7是说明另一示例性卷积网络或层的示意图。
图8是说明示例性图形卷积层的示意图，其中针对节点的相邻节点来检查所述节点。
图9是说明用于使用三个示例性图形卷积层进行地图融合的图形神经网络架构的示意图。
图10说明长短期记忆学习边特征的示意图。
具体实施方式
如上文所述，数字街道地图可能尤其在它们的覆盖范围、记录时间、地图生成方法和属性等方面不同。例如，所述方面“覆盖范围”不仅涉及被地图捕获的区域，而且还涉及粒度(例如，一些地图可能仅集中于高速公路，而其他地图还包括更小的街道)。所述方面“记录时间”是另一重要方面，随着例如街道网络不断地改变，使得在不同的时间捕获相同区域的地图将可能相应地不同。应注意，相同地图还可能具有不同区域的不同记录时间。所述方面“地图生成方法”提出了以下事实：一些地图是由进行地图绘制调查的地图绘制公司通过相当一致的方式生成，而其他地图(例如，Open Street Map)是由许多用户通过协作工作生成，这可能导致对地图的不大一致的建模。所述方面“属性”考虑到了数字街道地图通常包括除了纯道路网络之外的其他信息。这些属性可为相当多种多样的，并且对于支持超出简单的路线选择的高级应用来说是重要的。属性的示例是限速、交通信息、空闲泊车点、容许总车重、道路状况等。
参看图1，组合来自两个或更多个地图101-104的信息的过程被称为地图融合、地图归并、地图合并或地图匹配。通过组合若干地图101-104(例如，数字街道地图)的不同信息，有可能增加所得的地图的覆盖范围，提高输入地图的质量，纠正地图可能含有的任何错误，并且编译出具有输入地图的组合属性的地图。地图融合的基本原理是使源地图中的对象匹配于目标地图中的对应对象。对象可为(例如)街道、交叉点或关注点。基于这些对象的匹配，可将信息(例如，街道的几何形状、限速或交通信息)从一个地图传递到另一地图。
如图2中描绘，可将道路网络表示为图形G(V,E)，即，表示为节点V(交界处、交叉点)和边E(道路段)的集合，其中每个边E连接两个节点V。在结合图2示出和描述的示例中，存在源地图的多个边202和节点204所映射到的目标地图的多个边201和节点203。
在下文中并且参考图3、图4和图5，地图融合集中于交叉点(节点)，其中每个地图都是(例如)道路网络。地图融合是基于源道路网络S和目标道路网络T，其中假设源道路网络S和目标道路网络T含有匹配的多对(sv,tv)源节点sv和目标节点tv，其中sv∈S.V并且tv∈T.V。如果源节点sv和目标节点tv表示现实世界中的同一物理交叉点，则存在匹配的一对(sv,tv)。应注意，由于不同的建模技术，有时源道路网络和目标道路网络中的交叉点(节点)之间的1:1匹配是不可能的。在此情况下可执行1:m、n:1或n:m匹配。一些地图融合方法试图匹配两个输入地图的街道或交叉点，其中n表示在源地图中待匹配的节点的数目，并且m表示在目标地图中待匹配的节点的数目。
图3描绘源道路网络(地图)和目标道路网络(地图)的1:1匹配。在此示例中，目标道路网络(地图)是由包括边302、303和304的交叉点处的节点301的图形表示，并且源道路网络(地图)是由包括边306、307和308的交叉点处的节点305的图形表示。图4描绘源道路网络(地图)和目标道路网络(地图)的1:m(例如，m＝3)匹配。在此示例中，目标道路网络(地图)是由包括节点401、405和408的图形表示。节点401表示边402、403和404的交叉点。节点405表示边404、406和407的交叉点。节点408表示边402、407和409的交叉点。源道路网络(地图)是由包括边411、412和413的交叉点处的节点410的图形表示。图5描绘源道路网络(地图)和目标道路网络(地图)的n:m(例如，n＝2，m＝2)匹配。在此示例中，目标道路网络(地图)是由包括节点501和505的图形表示。节点501表示边502、503和504的交叉点。节点505表示边504、506和507的交叉点。源道路网络(地图)是由包括节点508和512的图形表示。节点508表示边509、510和511的交叉点。节点512表示边511、513和514的交叉点。
用于地图融合的示例性算法可包括至少三个处理阶段。在称为“候选选择”的第一处理阶段中，对于目标地图中的每个对象，选择来自源地图的支持dist(s,t)<ε的一组候选对象t，其中ε表示阈值，并且dist()通常是组合距离，所述组合距离取决于诸如例如交叉点、空间距离、外出链接、外出链接的结构等若干方面以及诸如街道、空间距离、形状相似度、长度、角度等方面。
在称为“优化”的第二处理阶段中，可将来自第一阶段的距离转换为得分(有时为概率)，所述得分允许决定两个对象是否应该匹配。之后，基于匹配的对的相邻者的结构来反复地更新这些得分。最终结果是针对每个对象对(s,t)来指示这些对象将匹配的可能性的得分矩阵。
在称为“最终选择”的第三处理阶段中，选择最终匹配的对以确保不留有矛盾。存在应用于来自异类来源的数据库的归并过程的以上方法的若干示例。使用术语归并来描述整合这种不同数据的程序，并且归并方法在系统中在更新数据库、推导新的制图产品、密实化数字高程模型、自动特征提取等方面发挥着重要的作用。可基于(例如)每个归并过程的评估措施和其主要应用问题来对每个归并过程进行分类。一种方式是基于匹配标准或表示模型来对归并过程进行分类。在一种示例性方法中，使用启发式概率性松弛道路网络匹配方法来整合多来源数据的可用的和最新的信息。此方法开始于反映所映射的对象的形状的相异性的初始概率矩阵，并且随后整合相邻的候选对的相对兼容性系数，以反复地更新所述初始概率矩阵，直到所述概率矩阵全局一致为止。最后，基于根据选定的匹配的对的结构相似度而计算和细化的概率来选择初始的1:1匹配的对。随后实施匹配过程以找出m:n匹配的对。例如，在OpenStreetMap网络数据与专业道路网络数据之间的匹配已经表明我们的方法独立于匹配方向，并且成功地匹配1:0(无效)的对、1:1的对和m:n的对。
然而，以上方法可能具有在下文概述的缺陷中的一者或多者。
一个缺陷是不想要的参数相依性，因为属于以上类别的大多数方法可包括需要针对将要融合的道路网络进行高度调谐的若干参数。找出最佳设置可为困难的。
在对新的情景的适配期间可出现另一缺陷。例如，当考虑到街道图案变化(例如，在新的区域中)时，参数相依性一般是不可转移的，这导致更多的错误或者针对每个区域单独地需要专用的参数。
另一缺陷可为所述系统无法自然地报告有问题的情况。大多数方法包括通过人类注解者来检视据说匹配的对。然而，在生产自动化环境中，这是高度不合意的。
另一缺陷可为慢的性能。上述方法的运行时复杂性通常为O(n3)左右或更多，这使得它们在大规模的地图融合方面是不切实际的。克服这些缺陷中的至少一些的一种方式在本文称为“学习地图融合”，其中采用可训练的地图融合方法，所述方法从示例中进行学习并且相应地调整其过程。
卷积和卷积层是卷积神经网络的主要构造块。卷积简单来说是将过滤器应用于导致激活的输入。将同一过滤器反复地应用于输入得到激活图，所述激活图被称为特征图，所述激活图指示诸如图像、图案或图形等输入中的检测到的特征的位置和强度。卷积神经网络的益处在于以下能力：并行地自动学习在特定预测性建模问题(诸如图像分类)的约束条件下对于训练数据集来说是特定的大量过滤器。结果是可在输入图像、图案或图形上的任何地方检测到的高度特定的特征。卷积神经网络，或简称为CNN，将过滤器应用于输入以产生特征图，所述特征图概括了输入中的检测到的特征的存在。过滤器可为预先确定的，但卷积神经网络允许在特定预测问题的背景下在训练期间学习过滤器。
有意使用小于输入的过滤器，因为这允许在输入的不同点处多次应用同一过滤器。具体来说，系统地将过滤器应用于输入数据的每个重叠的部分或过滤器大小的小块。跨图像、图案或图形对同一过滤器的此系统性应用具有以下效果：如果所述过滤器被设计成检测输入中的特定类型的特征，则跨整个输入图像、图案或图形系统地应用所述过滤器允许所述过滤器有机会在所述图像、图案或图形中的任何地方发现所述特征。
CNN中的第一层始终为卷积层。可在所述网络的末尾处添加全连接层。此层基本上取得输入量(卷积或整流线性单元(ReLU)或其前面的池化层的输出)并且输出N维的向量，其中N是程序必须从中进行选择的类的数目。此N维向量中的每个数字表示特定类的概率。CNN是多层感知器的正则化的版本。多层感知器通常是指全连接网络，即，一个层中的每个神经元都连接到下一个层中的所有神经元。这些网络的“全连接性”使得它们容易出现过度拟合数据。正则化的典型方式包括将权重的某一形式的量值测量结果添加到损失函数。然而，CNN采取不同的正则化方法：它们利用数据中的分层图案并且使用更小且更简单的图案来拼装更复杂的图案。因此，按照连接性和复杂性的规模，CNN处于下端。
图6根据以上阐释说明一个示例性卷积网络或层。所述卷积网络或层接收表示图像601的像素的数字的矩阵。出于阐释的目的，所述矩阵在这里是5×5矩阵，但所述矩阵还可具有任何其他尺寸。选择一个(或多个)子矩阵(在此示例中是一个3×3矩阵)，并且随后通过一个(或多个)过滤器602(和603)对所述子矩阵进行过滤以输出一个(或多个)激活图604(和605)，可通过激活层606进一步处理所述激活图。在图7中示出的替代性卷积网络或层中，图像601中的每个像素收集对相邻者和其自身的值的加权平均值(使用过滤器701的过滤器权重)以输出激活图702，可通过激活层(在图7中未示出)进一步处理所述激活图。
参看图8，可如下描述图形卷积层t+1：每个节点v分别基于所述节点、相邻者以及所述节点与其来自前一层t的相邻者之间的边的隐藏状态(即，特征)
Figure BDA0002622488740000081
和evw而从其相邻者N(v)收集信息
Figure BDA0002622488740000082
Figure BDA0002622488740000083
随后根据下式更新v的隐藏状态：
Figure BDA0002622488740000084
消息函数Mt和更新函数Ut是所学习的可区分的函数。节点可能具有不同数目个相邻者，并且相邻者可能不具有次序。可堆叠多个层或网络以增加感受域。
忽视了边特征的图形卷积层的示例如下工作：每个节点从其相邻者w∈N(v)收集特征
Figure BDA0002622488740000085
在下一步骤，每个特征表示
Figure BDA0002622488740000086
由单层全连接神经网络层处理，从而得到
Figure BDA0002622488740000087
然后，对v的所有相邻者的特征
Figure BDA0002622488740000088
求和，从而得到
Figure BDA0002622488740000089
随后通过聚合的相邻者信息
Figure BDA00026224887400000810
和节点v的特征
Figure BDA00026224887400000811
的加权平均值来计算
Figure BDA00026224887400000812
最后，通过ReLU单元处理由所描述的方法计算出的每个节点的特征表示。
图9描绘了允许执行可训练的地图融合方法的Siamese图形卷积网络的架构。基于示例来执行训练，其中将错误肯定和错误否定添加到基于示例的训练数据。如图9中所示，对此网络的输入是两个街道网络：源街道网络901和目标街道网络902，每个街道网络是由相应的图形表示，所述图形具有表示边(潜在地具有由多段线给出的几何形状)的交叉点的节点(所述节点的位置被视为特征)。所述两个图形中的每一者穿过对应的一系列(一个或多个)图形卷积层903、904(通过128个图形卷积过滤器实施)，以及其间的ReLU层905、906、909、910。在人工神经网络的背景下，ReLU对应于模拟域中的整流器，并且提供被定义为其表达f(x)＝x+＝max(0,x)的正部分的激活函数，其中x是对神经元的输入。这还称为斜坡函数并且类似于模拟域中的半波整流。相应的图形卷积过滤器通过对当前特征与相邻节点的经加权特征求平均来更新节点的特征。
在一连串相应的图形卷积层903、904、907、908、911、912之后的输出是节点特征图913、914，其中每个节点由128维特征向量表示。随后在选择和聚合(例如，连结)层915中选择并聚合多对这些节点表示，并且在两个后续的全连接层916、917以及紧随的softmax层918中处理多对这些节点表示以输出匹配概率。在数学中，softmax函数(还称为softargmax或归一化指数函数)是一种函数，所述函数将K个实数的向量作为其输入，并且将所述输入归一化为由K个概率组成的概率分布。也就是说，在应用softmax之前，一些向量分量可为负或者大于一，并且可能不是总和为1，但在应用softmax之后，每个分量将处于区间(0,1)中，并且所述分量将合计为1，使得可将它们解译为概率。此外，更大的输入分量将对应于更大的概率。例如在神经网络中使用Softmax以将网络的非归一化的输出映射到预测输出类上的概率分布。
在一种示例性方法中，可使用被标记的数据端到端地训练整个网络。如果在训练数据中未充分表示匹配，则可对匹配过取样以实现更高的精度。
以上架构可为诸如增加网络1001的深度和宽度等其他扩展的基础，以及是将边几何形状包含到长短期记忆(LSTM)层1002中的基础，如图10中描绘。LSTM是在深度学习领域中使用的人工递归神经网络(RNN)架构。与标准的前馈神经网络不同，LSTM具有使其成为“通用计算机”的反馈连接，即，LSTM可计算图灵机能够进行的任何事。它不仅可处理单个数据点，而且可处理整个数据序列。常见的LSTM单元是由单元、输入门、输出门和忘记门组成。单元记住任意时间区间上的值，并且三个门调节进出单元的信息流。理论上，经典RNN可跟踪输入序列中的任意的长期相依性。经典RNN的问题在本质上是计算(或实用)问题：当使用反向传播训练经典RNN时，反向传播的梯度可能会“消失”(即，它们可趋于零)或“爆炸”(即，它们可趋于无穷大)，这是因为在过程中涉及的使用有限精度数字的计算。使用LSTM单元的RNN部分地解决了消失的梯度问题，因为LSTM单元还允许梯度不变地流动。
边特征evw还可由LSTM基于边特征在地图中的基础几何形状来学习。具体来说，可采用从节点v到节点w的支持点的序列来学习这些特征，如图10中描绘。
可将上文描述的方法编码为指令以供处理器执行并且存储在计算机可读介质中，所述计算机可读介质诸如为CD ROM、磁盘、快闪存储器、RAM或ROM、电磁信号或其他机器可读介质。可替代地或另外，可利用任何类型的逻辑，并且可使用诸如一个或多个集成电路(包括放大器、加法器、延迟器和过滤器)或执行放大、添加、推迟和过滤指令的一个或多个处理器等硬件将任何类型的逻辑实施为模拟或数字逻辑；或者可将任何类型的逻辑以应用编程接口(API)中或动态链接库(DLL)中的软件的形式实施为共享存储器中可用的或被限定为本地或远程过程调用的功能；或者可将任何类型的逻辑实施为硬件与软件的组合。
可通过存储在计算机可读介质、机器可读介质、传播信号介质和/或信号承载介质之上或之中的软件和/或固件来实施所述方法。所述介质可包括含有、存储、传达、传播或传输可执行指令以供指令可执行系统、设备或装置使用或结合指令可执行系统、设备或装置而使用的任何装置。所述机器可读介质可选择性地是(但不限于)电子信号、磁信号、光学信号、电磁信号或红外信号或者半导体系统、设备、装置或传播介质。机器可读介质的示例的非详尽列表包括：磁盘或光盘、易失性存储器诸如随机存取存储器“RAM”、只读存储器“ROM”、可擦除可编程只读存储器(即，EPROM)或快闪存储器以及光纤。机器可读介质还可包括在上面印刷有可执行指令的有形介质，因为可通过电子方式将逻辑存储为图像或呈另一格式(例如，通过光学扫描)，随后进行编译和/或解译或以其他方式处理。随后可将经过处理的介质存储在计算机和/或机器存储器中。
所述系统可包括附加的或不同的逻辑并且可通过许多不同的方式实施。可将控制器实施为微处理器、微控制器、专用集成电路(ASIC)、分立的逻辑或其他类型的电路或逻辑的组合。类似地，存储器可为DRAM、SRAM、闪存或其他类型的存储器。参数(例如，条件和阈值)和其他数据结构可被单独地存储和管理、可并入到单个存储器或数据库中或者可通过许多不同的方式逻辑地和物理地进行组织。程序和指令集可为单个程序的部分、单独的程序或分布在若干存储器和处理器上。
已经出于说明和描述的目的而呈现了对实施例的描述。可鉴于以上描述来执行对实施例的合适的修改和改变，或者可通过实践方法来获取所述合适的修改和改变。例如，除非另外指出，否则可通过合适的装置和/或装置的组合来执行所描述的方法中的一者或多者。还可按照除了在本申请中描述的次序之外的各种次序、并行地和/或同时地执行所描述的方法和相关联的动作。所描述的系统在本质上是示例性的，并且可包括附加的元件和/或省略元件。
如本申请中所使用，通过单数形式并且继以词语“一个(a或an)”叙述的元件或步骤应理解为不排除多个所述元件或步骤，除非规定此类排除。此外，对本公开的“一个实施例”或“一个示例”的提及不希望被解释为排除也并入有所叙述的特征的附加实施例的存在。术语“第一”、“第二”和“第三”等仅用作标记，并且无意对它们的对象强加数值要求或特定位置次序。
虽然已经描述了本发明的各种实施例，但本领域的普通技术人员将明白，许多实施例和实现方式在本发明的范围内是可能的。具体地，技术人员将认识到来自不同实施例的各种特征的可互换性。虽然已经在某些实施例和示例的背景下公开了这些技术和系统，但将理解，可使这些技术和系统超出具体公开的实施例扩展到其他实施例和/或用途以及其明显修改。

Claims (14)

1.一种地图融合方法，其包括：
接收源图形和目标图形，所述源图形表示源地图并且所述目标图形表示目标地图，并且包括节点和连接所述节点的边；
在卷积层中处理所述源图形和所述目标图形中的每一者以提供与所述源图形和所述目标图形相关的卷积层输出；
在线性整流层中处理所述源图形和所述目标图形的所述卷积层输出中的每一者以输出与所述源图形和所述目标图形相关的节点特征图，所述节点特征图包括表示每个节点的特有特征的数据；
从与所述源图形和所述目标图形相关的所述节点特征图中选择多对节点表示，并且聚合选定的多对节点表示以输出选定和聚合的多对节点表示；
在全连接层中处理所述选定和聚合的多对节点表示以提供全连接层输出；
对所述全连接层输出进行softmax处理，以输出与所述源图形和所述目标图形相关的所述节点特征图中的节点的匹配概率；以及
基于节点的所述匹配概率来决定是否将所述源地图中的节点与所述目标图形中的对应节点融合。
2.如权利要求1所述的方法，其中在所述节点特征图中，每个节点由节点特征向量表示，所述节点特征向量包括表示每个节点的特有特征的所述数据。
3.如权利要求1或2所述的方法，其还包括在所述卷积层和所述线性整流层之后的至少一个附加的卷积层和至少一个附加的线性整流层用于处理所述源图形和所述目标图形中的每一者以输出与所述源图形和所述目标图形相关的节点特征图。
4.如权利要求1-3中任一项所述的方法，其还包括在所述全连接层之后的至少一个附加的全连接层，用于在全连接层中处理所述选定和聚合的多对节点表示以提供全连接层输出。
5.如权利要求1-4中任一项所述的方法，其中所述卷积层包括权重并且所述权重是自学习的。
6.如权利要求5所述的方法，其中将标记的数据用作训练数据来端到端地训练所述权重。
7.如权利要求6所述的方法，其中，如果在所述训练数据中未充分表示匹配，则对所述匹配进行过取样。
8.如权利要求1-7中任一项所述的方法，其还包括长短期记忆层，用于处理所述源图形和所述目标图形中的每一者以输出与所述源图形和所述目标图形相关的边特征图，所述边特征图包括表示每个边的特有特征的数据。
9.如权利要求8所述的方法，其中在所述边特征图中，每个边由边特征向量表示，所述边特征向量包括表示每个边的特有特征的数据。
10.如权利要求8或9所述的方法，其中在所述长短期记忆层中从所述源图形和所述目标图形中的基础几何形状学习边特征。
11.如权利要求10所述的方法，其中学习所述边特征是基于从一个节点到另一节点的支持点的一个或多个序列。
12.如权利要求1-11中任一项所述的方法，其还包括分层地处理所述源图形和所述目标图形，从最稳定的节点开始并且分层地沿所述边下移。
13.一种计算机程序产品，所述计算机程序产品包括指令，当由计算机执行程序时，所述指令致使所述计算机实施如权利要求1-12中任一项所述的方法的步骤。
14.一种计算机，所述计算机包括至少一个处理器和至少存储器，所述计算机被配置成执行如权利要求13所述的计算机程序。
CN202010787382.2A 2019-08-07 2020-08-07 道路地图融合 Pending CN112347838A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19190541.3 2019-08-07
EP19190541 2019-08-07

Publications (1)

Publication Number Publication Date
CN112347838A true CN112347838A (zh) 2021-02-09

Family

ID=67658552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010787382.2A Pending CN112347838A (zh) 2019-08-07 2020-08-07 道路地图融合

Country Status (3)

Country Link
US (1) US11593955B2 (zh)
CN (1) CN112347838A (zh)
DE (1) DE102020120479A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11379995B2 (en) * 2020-07-15 2022-07-05 Jingdong Digits Technology Holding Co., Ltd. System and method for 3D object detection and tracking with monocular surveillance cameras
CN114061564B (zh) * 2021-11-01 2022-12-13 广州小鹏自动驾驶科技有限公司 一种地图数据的处理方法和装置
CN114661842A (zh) * 2022-02-25 2022-06-24 阿波罗智联(北京)科技有限公司 地图匹配方法、装置和电子设备
CN115546544B (zh) * 2022-09-30 2023-11-17 深圳市规划和自然资源数据管理中心 基于图神经网络的LiDAR点云与OSM标注信息流耦合分类方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112019021201A8 (pt) * 2017-04-10 2023-04-04 Hewlett Packard Development Co Pesquisa de imagens de aprendizado de máquina
US11403511B2 (en) * 2018-08-23 2022-08-02 Apple Inc. Unsupervised annotation using dual network system with pre-defined structure

Also Published As

Publication number Publication date
DE102020120479A1 (de) 2021-02-11
US11593955B2 (en) 2023-02-28
US20210042942A1 (en) 2021-02-11

Similar Documents

Publication Publication Date Title
Miglani et al. Deep learning models for traffic flow prediction in autonomous vehicles: A review, solutions, and challenges
US11593955B2 (en) Road map fusion
US20190147602A1 (en) Hybrid and self-aware long-term object tracking
Menezes et al. Continual object detection: a review of definitions, strategies, and challenges
Gopal Artificial neural networks in geospatial analysis
US10521725B2 (en) Systems and methods for event prediction using schema networks
CN113204988A (zh) 小样本视点估计
US20220092478A1 (en) Combining data driven models for classifying data
Zhao et al. Clust: simulating realistic crowd behaviour by mining pattern from crowd videos
CN117690098B (zh) 一种基于动态图卷积的开放驾驶场景下多标签识别方法
Matuszewski et al. The use of machine learning algorithms for image recognition
Gajcin et al. Counterfactual explanations for reinforcement learning
CN112508177A (zh) 一种网络结构搜索方法、装置、电子设备及存储介质
Shi et al. A novel model based on deep learning for Pedestrian detection and Trajectory prediction
US11562184B2 (en) Image-based vehicle classification
Asadi et al. Clustering of time series data with prior geographical information
US11676391B2 (en) Robust correlation of vehicle extents and locations when given noisy detections and limited field-of-view image frames
Ho NBDT: Neural-backed decision trees
KR20220025524A (ko) 심층 신경망을 이용한 장면 그래프 생성 시스템
Kalirajan et al. Deep Learning for Moving Object Detection and Tracking
CN110334682B (zh) 基于迭代搜索优化哈希算法的自动驾驶系统域自适应方法
US20230041614A1 (en) Method and apparatus for training artificial intelligence based on episode memory
CN116168201B (zh) 无需精确标注数据的车道线分割方法及装置
Qin et al. An Online Traffic Simulation Modeling Framework for Real-Time Road Traffic Control and Management
US20230376735A1 (en) Neural topological ordering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination