CN115600156A - 基于最小树的语义地图融合方法、装置、设备及介质 - Google Patents

基于最小树的语义地图融合方法、装置、设备及介质 Download PDF

Info

Publication number
CN115600156A
CN115600156A CN202211417598.5A CN202211417598A CN115600156A CN 115600156 A CN115600156 A CN 115600156A CN 202211417598 A CN202211417598 A CN 202211417598A CN 115600156 A CN115600156 A CN 115600156A
Authority
CN
China
Prior art keywords
semantic
map
optimized
graph
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211417598.5A
Other languages
English (en)
Other versions
CN115600156B (zh
Inventor
胡兰
张如高
虞正华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Moshi Intelligent Technology Co ltd
Original Assignee
Suzhou Moshi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Moshi Intelligent Technology Co ltd filed Critical Suzhou Moshi Intelligent Technology Co ltd
Priority to CN202211417598.5A priority Critical patent/CN115600156B/zh
Publication of CN115600156A publication Critical patent/CN115600156A/zh
Application granted granted Critical
Publication of CN115600156B publication Critical patent/CN115600156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9027—Trees

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请是关于一种基于最小树的语义地图融合方法、装置、设备及介质，具体涉及地图构建技术领域。该方法包括：获取两个语义地图，每个所述语义地图中包括多个语义标志物，且所述两个语义地图中存在对应有关联关系的语义标志物，所述关联关系表示不同语义地图中的语义标志物为同一语义标志物；利用最小树，连接每个所述语义地图中的语义标志物，以构建所述两个语义地图对应的两个图模型；对所述两个图模型构建图优化的残差函数，并使用所述图优化的残差函数进行所述两个语义地图的融合。基于本技术方案，可以实现更加准确的语义地图的融合。

Description

基于最小树的语义地图融合方法、装置、设备及介质
技术领域
本发明涉及地图构建技术领域，具体涉及一种基于最小树的语义地图融合方法、装置、设备及介质。
背景技术
语义地图是一种通过语义标志物等语义信息，对道路环境进行描述的的地图。
车辆在驾驶过程中可以采集周围信息以建立语义地图。比如，针对地库场景，每个车辆根据其行驶路径都会构建一个语义地图，如果可以将多个车辆的多次构建的语义地图融合起来，则可以获得地库更全更完整的地图。
相关技术中，尚未对将不同的语义地图的融合方式提供解决方案。
发明内容
本申请提供了一种基于最小树的语义地图融合方法、装置、设备及介质，该技术方案如下。
一方面，提供了一种基于最小树的语义地图融合方法，所述方法包括：
获取两个语义地图，每个所述语义地图中包括多个语义标志物，且所述两个语义地图中存在对应有关联关系的语义标志物，所述关联关系表示不同语义地图中的语义标志物为同一语义标志物；
利用最小树，连接每个所述语义地图中的语义标志物，以构建所述两个语义地图对应的两个图模型；
对所述两个图模型构建图优化的残差函数，并使用所述图优化的残差函数进行所述两个语义地图的融合。
又一方面，提供了一种基于最小树的语义地图融合装置，所述装置包括：
语义地图获取模块，用于获取两个语义地图，每个所述语义地图中包括多个语义标志物，且所述两个语义地图中存在对应有关联关系的语义标志物，所述关联关系表示不同语义地图中的语义标志物为同一语义标志物；
最小树算法模块，用于利用最小树，连接每个所述语义地图中的语义标志物，以构建所述两个语义地图对应的两个图模型；
残差函数构建模块，用于对所述两个图模型构建图优化的残差函数，并使用所述图优化的残差函数进行所述两个语义地图的融合。
又一方面，提供了一种计算机设备，所述计算机设备中包含处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述的基于最小树的语义地图融合方法。
又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述的基于最小树的语义地图融合方法。
再一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的基于最小树的语义地图融合方法。
本申请提供的技术方案可以包括以下有益效果：
利用最小树对两个语义地图分别构建两个图模型，构建的图模型中语义标志物之间是连接的，在对两个图模型构建图优化的残差函数的情况下，可以约束语义标志物之间的刚性约束，因此，使用图优化的残差函数进行两个语义地图的融合时，加入了语义标志物之间的刚性约束，从而实现更加精准的语义地图的融合。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的语义地图进行融合的示意图。
图2是根据一示例性实施例示出的基于最小树的语义地图融合方法的方法流程图。
图3是根据一示例性实施例示出的构建最小树连接语义地图中的语义标志物的示意图。
图4是根据一示例性实施例示出的基于最小树的语义地图融合方法的方法流程图。
图5是根据一示例性实施例示出的一种基于最小树的语义地图融合装置的结构方框图。
图6是根据一示例性实施例提供的一种计算机设备的示意图。
具体实施方式
下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应理解，在本申请的实施例中提到的“指示”可以是直接指示，也可以是间接指示，还可以是表示具有关联关系。举例说明，A指示B，可以表示A直接指示B，例如B可以通过A获取；也可以表示A间接指示B，例如A指示C，B可以通过C获取；还可以表示A和B之间具有关联关系。
在本申请实施例的描述中，术语“对应”可表示两者之间具有直接对应或间接对应的关系，也可以表示两者之间具有关联关系，也可以是指示与被指示、配置与被配置等关系。
本申请实施例中，“预定义”可以通过在设备（例如，包括终端设备和网络设备）中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现，本申请对于其具体的实现方式不做限定。
在本申请实施例中，基于最小树实现了一种语义地图的融合方法，此种方法利用最小树构建图模型，加入到语义地图融合的约束中，以保持各个语义地图本身的刚性约束，实现效果更精确的语义地图的融合。
示例性的，本申请实施例的应用场景可以是自动泊车或者自动驾驶场景中的语义地图融合。
比如，因为车辆在驾驶的时候会采集周边信息构建语义地图。如果两辆车辆分别采集了同一车库的语义地图，由于行走路线不一样，两个语义地图不太可能是一模一样的，所以可以将这两个地图进行拼接，得到一个更大的地图。此地图可以用做下次车辆自动驾驶的导航地图。
比如，将本申请实施例提供的技术方案用在自主泊车项目上，自主泊车的一个功能就是，人第一次自己把车开到车位上，然后第二次车能自己开过去。在一定时间和一定次数的人工驾驶之后，可以采集到多个语义地图，对这些语义地图进行融合，基于构建的融合后的地图，车辆可以实现自主泊车功能。
示例性的，结合参考图1，在得到两个不同的语义地图之后，对这两个语义地图进行融合，可以得到一个更加完整的语义地图。
下面，对本申请实施例提供的基于最小树的语义地图融合方法进行进一步说明。
图2是根据一示例性实施例示出的基于最小树的语义地图融合方法的方法流程图。如图2所示，该基于最小树的语义地图融合方法可以包括如下步骤：
步骤210：获取两个语义地图，每个语义地图中包括多个语义标志物，且两个语义地图中存在对应有关联关系的语义标志物，关联关系表示不同语义地图中的语义标志物为同一语义标志物。
其中，语义地图一种是通过语义标志物对周围环境进行描述的地图。语义标志物包括：车位，车道短虚线，柱子，指示箭头，消防箱等等。
在本申请实施例中，获取不完全相同的两个语义地图，这两个语义地图可以来自于同一车辆的不同次观测，也可以来自于不同车辆的观测。
在本申请实施例中，两个语义地图中存在对应有关联关系的语义标志物，关联关系指的是两个语义地图中的两个语义标志物实际上是同一个语义标志物。
示例性的，结合参考图3，语义地图1和语义地图2存在对应有关联关系的语义标志物：语义地图1中的语义标志3与语义地图2中的语义标志物9对应有关联关系；语义地图1中的语义标志5与语义地图2中的语义标志物11对应有关联关系。可以将上述关联关系写入语义地图1、语义地图2的关联集合。
步骤220：利用最小树，连接每个语义地图中的语义标志物，以构建两个语义地图对应的两个图模型。
为了保持语义标志物之间的刚性约束，需要对语义标志物进行连接，在连接了语义地图中的语义标志物之后，即构建了两个语义地图对应的两个图模型。在本申请实施例中，通过最小树的方式，对语义标志物进行连接。
其中，最小树也可以称为最小生成树，其含义为在对语义标志物进行连接时，边权重最小的一种树。可以理解的是，相对于其他类型的语义标志物的连接方式，如，全连接，通过最小树连接语义标志物，可以减少算法复杂度。
示例性的，结合参考图3，针对语义地图1、语义地图2，利用最小树对两个语义地图分别构建图模型，使得语义地图1中的语义标志物之间通过边相连接，语义地图2中的语义标志物之间也通过边相连接。
步骤230：对两个图模型构建图优化的残差函数，并使用图优化的残差函数进行两个语义地图的融合。
其中，图优化的残差函数用于表示基于两个图模型进行相应的两个语义地图的融合时，融合的效果。
在本申请实施例中，对两个图模型构建图优化的残差函数，由于图模型中的语义标志物是连接的，因此，构建的图优化的残差函数加入了语义标志物之间的刚性约束。
其中，语义标志物之间的刚性约束可以理解为有边相连接的两个语义标志物之间，存在边约束，边约束包含了相对位置约束和相对朝向约束。
综上所述，本实施例提供的基于最小树的语义地图融合方法，利用最小树对两个语义地图分别构建两个图模型，构建的图模型中语义标志物之间是连接的，在对两个图模型构建图优化的残差函数的情况下，可以约束语义标志物之间的刚性约束，因此，使用图优化的残差函数进行两个语义地图的融合时，加入了语义标志物之间的刚性约束，从而实现更加精准的语义地图的融合。
在示意性实施例中，图优化的残差函数可以用于优化两个语义地图之间的变换关系，以及优化语义标志物，以对两个语义地图进行更好的融合。
图4是根据一示例性实施例示出的基于最小树的语义地图融合方法的方法流程图。如图4所示，该基于最小树的语义地图融合方法可以包括如下步骤：
步骤410：获取两个语义地图，每个语义地图中包括多个语义标志物，且两个语义地图中存在对应有关联关系的语义标志物，关联关系表示不同语义地图中的语义标志物为同一语义标志物。
本步骤的具体实现方式可以参见上述步骤210，在此不再赘述。
步骤420：利用最小树，连接每个语义地图中的语义标志物，以构建两个语义地图对应的两个图模型。
本步骤的具体实现方式可以参见上述步骤220，在此不再赘述。
步骤430：通过将两个图模型中的一个定义为源地图，另一个定义为目标地图，对两个图模型构建图优化的残差函数。
在本申请实施例中，定义其中一个图模型为源地图，另一个图模型为目标地图，可以通过将源地图中的语义标志物变换到目标地图中，来实现两个语义地图的融合。在进行图模型的定义时，可以选择两个图模型中语义标志物较多的图模型为目标地图，语义标志物较少的图模型为源地图。
在一种可能的实现方式中，图优化的残差函数中包括如下三个部分的残差相：
第一部分残差项，第一部分残差项用于表示两个图模型中存在关联关系的语义标志物从源地图变换到目标地图前后的位姿的一致性；
第二部分残差项，用于表示目标地图中的有边相连的两个语义标志物i和j在优化前后的相对位姿的一致性；
第三部分残差项，用于表示源地图中的有边相连的两个语义标志物i和j从源地图变换到目标地图前后的相对位姿的一致性。
下面，对各个部分残差项进行进一步说明。
（1）第一部分残差项。
通过如下公式，构建第一部分残差项：
Figure 100002_DEST_PATH_IMAGE001
Figure 100002_DEST_PATH_IMAGE002
；
其中，|| ||是距离函数，s用于指示源地图，t用于指示目标地图，
Figure 100002_DEST_PATH_IMAGE003
是优化增量，
Figure 100002_DEST_PATH_IMAGE004
是源地图中语义标志物的空间点，
Figure 100002_DEST_PATH_IMAGE005
是目标地图中语义标志物的空间点，
Figure 100002_DEST_PATH_IMAGE006
是目标地图 中语义标志物的空间点的优化增量，
Figure 100002_DEST_PATH_IMAGE007
是源地图中语义标志物的法向量，
Figure 100002_DEST_PATH_IMAGE008
是目标地图中 语义标志物的法向量，
Figure 100002_DEST_PATH_IMAGE009
是目标地图中语义标志物的法向量的优化增量。
在本申请实施例中，对于关联集合中的语义标志物，将源地图中的语义标志物，变化到目标地图，并通过第一部分残差公式，使其在变换前后的位姿保持一致。
其中，第一部分残差项的第一个公式用于表示两个图模型中存在关联关系的语义标志物从源地图变换到目标地图前后的位置的一致性；第一部分残差项的第二个公式用于表示两个图模型中存在关联关系的语义标志物从源地图变换到目标地图前后的朝向的一致性。
（2）第二部分残差项。
通过如下公式，构建第二部分残差项：
Figure 100002_DEST_PATH_IMAGE010
Figure 100002_DEST_PATH_IMAGE011
；
其中，|| ||是距离函数，t用于指示目标地图，
Figure 100002_DEST_PATH_IMAGE012
是优化增量，
Figure 100002_DEST_PATH_IMAGE013
是目标地图中语 义标志物i的空间点的优化增量，
Figure 100002_DEST_PATH_IMAGE014
是目标地图中语义标志物j的空间点的优化增量，
Figure 100002_DEST_PATH_IMAGE015
是 目标地图中语义标志物i的法向量，
Figure 100002_DEST_PATH_IMAGE016
是目标地图中语义标志物j的法向量，
Figure 100002_DEST_PATH_IMAGE017
是目标地 图中语义标志物i的法向量的优化增量，
Figure 100002_DEST_PATH_IMAGE018
是目标地图中语义标志物j的法向量的优化增 量。
在本申请实施例中，对于目标地图中的语义标志物，对其中有边相连的两个节点i和j，约束其相对位姿在优化前后保持不变。
其中，第二部分残差项的第一个公式用于表示目标地图中的有边相连的两个语义标志物i和j在优化前后的相对位置的一致性；第二部分残差项的第二个公式用于表示目标地图中的有边相连的两个语义标志物i和j在优化前后的相对朝向的一致性。
（3）第三部分残差项。
通过如下公式，构建第三部分残差项：
Figure 100002_DEST_PATH_IMAGE019
、
Figure 100002_DEST_PATH_IMAGE020
；
其中，|| ||是距离函数，s用于指示源地图，
Figure 100002_DEST_PATH_IMAGE021
是优化增量，
Figure 100002_DEST_PATH_IMAGE022
是源地图中语义 标志物i的空间点的优化增量，
Figure 100002_DEST_PATH_IMAGE023
是源地图中语义标志物j的空间点的优化增量，
Figure 100002_DEST_PATH_IMAGE024
是源 地图中语义标志物i的法向量，
Figure 100002_DEST_PATH_IMAGE025
是源地图中语义标志物j的法向量，
Figure 100002_DEST_PATH_IMAGE026
是源地图中语义 标志物i的法向量的优化增量，
Figure 100002_DEST_PATH_IMAGE027
是源地图中语义标志物j的法向量的优化增量。
在本申请实施例中，对于源地图中的语义标志物，对其中有边相连的两个节点i和j，先将其变换到目标地图，再约束其相对位姿在变换前后保持不变。
在一种可能的实现方式中，在源地图中的语义标志物i与目标地图中的语义标志物k存在关联关系的情况下，第三部分残差项更新为：
Figure 100002_DEST_PATH_IMAGE028
、
Figure 100002_DEST_PATH_IMAGE029
；
其中，|| ||是距离函数，s用于指示源地图，t用于指示目标地图，
Figure 974987DEST_PATH_IMAGE021
是优化增量，
Figure 100002_DEST_PATH_IMAGE030
是目标地图中语义标志物k的空间点的优化增量，
Figure 100002_DEST_PATH_IMAGE031
是源地图中语义标志物j的空间 点的优化增量，
Figure 100002_DEST_PATH_IMAGE032
是目标地图中语义标志物k的法向量，
Figure 100002_DEST_PATH_IMAGE033
是源地图中语义标志物j的法 向量，
Figure 100002_DEST_PATH_IMAGE034
是目标地图中语义标志物k的法向量的优化增量，
Figure 100002_DEST_PATH_IMAGE035
是源地图中语义标志物j的 法向量的优化增量。
其中，第三部分残差项的第一个公式用于表示源地图中的有边相连的两个语义标志物i和j从源地图变换到目标地图前后的相对位置的一致性；第三部分残差项的第二个公式用于表示源地图中的有边相连的两个语义标志物i和j从源地图变换到目标地图前后的相对朝向的一致性。
在一种可能的实现方式中，上述残差项中的距离函数为欧式距离。在另一种可能的实现方式中，在语义地图中保存了各个语义标志物的协方差矩阵的情况下，上述残差项中的距离函数为马氏距离。
步骤440：对图优化的残差函数进行求解，得到求解结果，求解结果包括：两个图模型中的源地图到目标地图的变换关系、语义标志物的变量的优化增量。
其中，变换关系包括：旋转R和平移t，语义标志物的变量包括：空间点P和法向量n。
在一种可能的实现方式中，通过梯度优化方法，对图优化的残差函数进行求解，以得到求解结果。
在一种可能的实现方式中，结合上述公式，求解结果具体包括：旋转R、平移t；第一 部分残差项中的
Figure 100002_DEST_PATH_IMAGE036
、
Figure DEST_PATH_IMAGE037
；第二部分残差项中的
Figure DEST_PATH_IMAGE038
、
Figure DEST_PATH_IMAGE039
、
Figure DEST_PATH_IMAGE040
、
Figure DEST_PATH_IMAGE041
；第三部分残差项中的
Figure DEST_PATH_IMAGE042
（或
Figure DEST_PATH_IMAGE043
）、
Figure DEST_PATH_IMAGE044
、
Figure DEST_PATH_IMAGE045
（或
Figure DEST_PATH_IMAGE046
）、
Figure DEST_PATH_IMAGE047
。
步骤450：基于求解结果，将两个语义地图进行融合并得到融合地图。
综上所述，本实施例提供的基于最小树的语义地图融合方法，通过定义第一部分残差项、第二部分残差项、第三部分残差项，图优化的残差函数可以用于优化两个语义地图之间的变换关系，以及优化语义标志物，以对两个语义地图进行更好的融合
需要说明的是，上述方法实施例可以单独实施例，也可以组合实施，本申请对此不加以限制。
图5是根据一示例性实施例示出的一种基于最小树的语义地图融合装置的结构方框图。所述装置包括：
语义地图获取模块501，用于获取两个语义地图，每个所述语义地图中包括多个语义标志物，且所述两个语义地图中存在对应有关联关系的语义标志物，所述关联关系表示不同语义地图中的语义标志物为同一语义标志物；
最小树算法模块502，用于利用最小树，连接每个所述语义地图中的语义标志物，以构建所述两个语义地图对应的两个图模型；
残差函数构建模块503，用于对所述两个图模型构建图优化的残差函数，并使用所述图优化的残差函数进行所述两个语义地图的融合。
在一种可能的实现方式中，所述残差函数构建模块503，用于：
通过将所述两个图模型中的一个定义为源地图，另一个定义为目标地图，对所述两个图模型构建所述图优化的残差函数；
对所述图优化的残差函数进行求解，得到求解结果，所述求解结果包括：所述源地图到所述目标地图的变换关系、所述语义标志物的变量的优化增量；
基于所述求解结果，得到两个语义地图后的融合地图；
其中，所述变换关系包括：旋转R和平移t，所述语义标志物的变量包括：空间点P和法向量n。
在一种可能的实现方式中，所述图优化的残差函数中包括：第一部分残差项，所述第一部分残差项用于表示所述两个图模型中存在关联关系的语义标志物从所述源地图变换到所述目标地图前后的位姿的一致性；
所述残差函数构建模块503，用于：
通过如下公式，构建所述第一部分残差项：
Figure DEST_PATH_IMAGE048
、
Figure DEST_PATH_IMAGE049
；
其中，|| ||是距离函数，s用于指示源地图，t用于指示目标地图，
Figure DEST_PATH_IMAGE050
是优化增量，
Figure DEST_PATH_IMAGE051
是源地图中语义标志物的空间点，
Figure DEST_PATH_IMAGE052
是目标地图中语义标志物的空间点，
Figure DEST_PATH_IMAGE053
是目标地图 中语义标志物的空间点的优化增量，
Figure DEST_PATH_IMAGE054
是源地图中语义标志物的法向量，
Figure DEST_PATH_IMAGE055
是目标地图中 语义标志物的法向量，
Figure DEST_PATH_IMAGE056
是目标地图中语义标志物的法向量的优化增量。
在一种可能的实现方式中，所述图优化的残差函数中包括：第二部分残差项，用于表示所述目标地图中的有边相连的两个语义标志物i和j在优化前后的相对位姿的一致性；
所述残差函数构建模块503，用于：
通过如下公式，构建所述第二部分残差项：
Figure DEST_PATH_IMAGE057
、
Figure DEST_PATH_IMAGE058
；
其中，|| ||是距离函数，t用于指示目标地图，
Figure 653312DEST_PATH_IMAGE050
是优化增量，
Figure DEST_PATH_IMAGE059
是目标地图中语 义标志物i的空间点的优化增量，
Figure DEST_PATH_IMAGE060
是目标地图中语义标志物j的空间点的优化增量，
Figure DEST_PATH_IMAGE061
是目标地图中语义标志物i的法向量，
Figure DEST_PATH_IMAGE062
是目标地图中语义标志物j的法向量，
Figure DEST_PATH_IMAGE063
是目标 地图中语义标志物i的法向量的优化增量，
Figure DEST_PATH_IMAGE064
是目标地图中语义标志物j的法向量的优化 增量。
在一种可能的实现方式中，所述图优化的残差函数中包括：第三部分残差项，用于表示所述源地图中的有边相连的两个语义标志物i和j从所述源地图变换到所述目标地图前后的相对位姿的一致性；
所述残差函数构建模块503，用于：
通过如下公式，构建所述第三部分残差项：
Figure DEST_PATH_IMAGE065
、
Figure DEST_PATH_IMAGE066
；
其中，|| ||是距离函数，s用于指示源地图，
Figure DEST_PATH_IMAGE067
是优化增量，
Figure DEST_PATH_IMAGE068
是源地图中语义 标志物i的空间点的优化增量，
Figure DEST_PATH_IMAGE069
是源地图中语义标志物j的空间点的优化增量，
Figure DEST_PATH_IMAGE070
是源 地图中语义标志物i的法向量，
Figure DEST_PATH_IMAGE071
是源地图中语义标志物j的法向量，
Figure DEST_PATH_IMAGE072
是源地图中语义 标志物i的法向量的优化增量，
Figure DEST_PATH_IMAGE073
是源地图中语义标志物j的法向量的优化增量。
在一种可能的实现方式中，在所述源地图中的语义标志物i与所述目标地图中的语义标志物k存在关联关系的情况下，所述第三部分残差项更新为：
Figure DEST_PATH_IMAGE074
、
Figure DEST_PATH_IMAGE075
；
其中，|| ||是距离函数，s用于指示源地图，t用于指示目标地图，
Figure DEST_PATH_IMAGE076
是优化增量，
Figure DEST_PATH_IMAGE077
是目标地图中语义标志物k的空间点的优化增量，
Figure DEST_PATH_IMAGE078
是源地图中语义标志物j的空间 点的优化增量，
Figure DEST_PATH_IMAGE079
是目标地图中语义标志物k的法向量，
Figure DEST_PATH_IMAGE080
是源地图中语义标志物j的法 向量，
Figure DEST_PATH_IMAGE081
是目标地图中语义标志物k的法向量的优化增量，
Figure DEST_PATH_IMAGE082
是源地图中语义标志物j的 法向量的优化增量。
在一种可能的实现方式中，所述距离函数包括：
欧式距离；
或，
马氏距离。
需要说明的是：上述实施例提供的基于最小树的语义地图融合装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
请参阅图6，其是根据本申请一示例性实施例提供的一种计算机设备的示意图，所述计算机设备包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的基于最小树的语义地图融合方法。
其中，处理器可以为中央处理器（Central Processing Unit，CPU）。处理器还可以为其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施方式中的方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
在一示例性实施例中，还提供了一种计算机可读存储介质，用于存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现上述方法中的全部或部分步骤。例如，该计算机可读存储介质可以是只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、只读光盘（Compact Disc Read-Only Memory，CD-ROM）、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于最小树的语义地图融合方法，其特征在于，所述方法包括：
获取两个语义地图，每个所述语义地图中包括多个语义标志物，且所述两个语义地图中存在对应有关联关系的语义标志物，所述关联关系表示不同语义地图中的语义标志物为同一语义标志物；
利用最小树，连接每个所述语义地图中的语义标志物，以构建所述两个语义地图对应的两个图模型；
对所述两个图模型构建图优化的残差函数，并使用所述图优化的残差函数进行所述两个语义地图的融合。
2.根据权利要求1所述的方法，其特征在于，所述对所述两个图模型构建图优化的残差函数，并使用所述图优化的残差函数进行所述两个语义地图的融合，包括：
通过将所述两个图模型中的一个定义为源地图，另一个定义为目标地图，对所述两个图模型构建所述图优化的残差函数；
对所述图优化的残差函数进行求解，得到求解结果，所述求解结果包括：所述源地图到所述目标地图的变换关系、所述语义标志物的变量的优化增量；
基于所述求解结果，得到两个语义地图后的融合地图；
其中，所述变换关系包括：旋转R和平移t，所述语义标志物的变量包括：空间点P和法向量n。
3.根据权利要求2所述的方法，其特征在于，所述图优化的残差函数中包括：第一部分残差项，所述第一部分残差项用于表示所述两个图模型中存在关联关系的语义标志物从所述源地图变换到所述目标地图前后的位姿的一致性；
所述对所述两个图模型构建所述图优化的残差函数，包括：
通过如下公式，构建所述第一部分残差项：
Figure DEST_PATH_IMAGE001
、
Figure DEST_PATH_IMAGE002
；
其中，|| ||是距离函数，s用于指示源地图，t用于指示目标地图，
Figure DEST_PATH_IMAGE003
是优化增量，
Figure DEST_PATH_IMAGE004
是 源地图中语义标志物的空间点，
Figure DEST_PATH_IMAGE005
是目标地图中语义标志物的空间点，
Figure DEST_PATH_IMAGE006
是目标地图中语 义标志物的空间点的优化增量，
Figure DEST_PATH_IMAGE007
是源地图中语义标志物的法向量，
Figure DEST_PATH_IMAGE008
是目标地图中语义 标志物的法向量，
Figure DEST_PATH_IMAGE009
是目标地图中语义标志物的法向量的优化增量。
4.根据权利要求2所述的方法，其特征在于，所述图优化的残差函数中包括：第二部分残差项，用于表示所述目标地图中的有边相连的两个语义标志物i和j在优化前后的相对位姿的一致性；
所述对所述两个图模型构建所述图优化的残差函数，包括：
通过如下公式，构建所述第二部分残差项：
Figure DEST_PATH_IMAGE010
、
Figure DEST_PATH_IMAGE011
；
其中，|| ||是距离函数，t用于指示目标地图，
Figure DEST_PATH_IMAGE012
是优化增量，
Figure DEST_PATH_IMAGE013
是目标地图中语义标 志物i的空间点的优化增量，
Figure DEST_PATH_IMAGE014
是目标地图中语义标志物j的空间点的优化增量，
Figure DEST_PATH_IMAGE015
是目 标地图中语义标志物i的法向量，
Figure DEST_PATH_IMAGE016
是目标地图中语义标志物j的法向量，
Figure DEST_PATH_IMAGE017
是目标地图 中语义标志物i的法向量的优化增量，
Figure DEST_PATH_IMAGE018
是目标地图中语义标志物j的法向量的优化增量。
5.根据权利要求2所述的方法，其特征在于，所述图优化的残差函数中包括：第三部分残差项，用于表示所述源地图中的有边相连的两个语义标志物i和j从所述源地图变换到所述目标地图前后的相对位姿的一致性；
所述对所述两个图模型构建所述图优化的残差函数，包括：
通过如下公式，构建所述第三部分残差项：
Figure DEST_PATH_IMAGE019
、
Figure DEST_PATH_IMAGE020
；
其中，|| ||是距离函数，s用于指示源地图，
Figure DEST_PATH_IMAGE021
是优化增量，
Figure DEST_PATH_IMAGE022
是源地图中语义标志物 i的空间点的优化增量，
Figure DEST_PATH_IMAGE023
是源地图中语义标志物j的空间点的优化增量，
Figure DEST_PATH_IMAGE024
是源地图中 语义标志物i的法向量，
Figure DEST_PATH_IMAGE025
是源地图中语义标志物j的法向量，
Figure DEST_PATH_IMAGE026
是源地图中语义标志物i 的法向量的优化增量，
Figure DEST_PATH_IMAGE027
是源地图中语义标志物j的法向量的优化增量。
6.根据权利要求5所述的方法，其特征在于，在所述源地图中的语义标志物i与所述目标地图中的语义标志物k存在关联关系的情况下，所述第三部分残差项更新为：
Figure DEST_PATH_IMAGE028
、
Figure DEST_PATH_IMAGE029
；
其中，|| ||是距离函数，s用于指示源地图，t用于指示目标地图，
Figure DEST_PATH_IMAGE030
是优化增量，
Figure DEST_PATH_IMAGE031
是 目标地图中语义标志物k的空间点的优化增量，
Figure DEST_PATH_IMAGE032
是源地图中语义标志物j的空间点的优 化增量，
Figure DEST_PATH_IMAGE033
是目标地图中语义标志物k的法向量，
Figure DEST_PATH_IMAGE034
是源地图中语义标志物j的法向量，
Figure DEST_PATH_IMAGE035
是目标地图中语义标志物k的法向量的优化增量，
Figure DEST_PATH_IMAGE036
是源地图中语义标志物j的法向 量的优化增量。
7.根据权利要求3或4或5或6所述的方法，其特征在于，所述距离函数包括：
欧式距离；
或，
马氏距离。
8.一种基于最小树的语义地图融合装置，其特征在于，所述装置包括：
语义地图获取模块，用于获取两个语义地图，每个所述语义地图中包括多个语义标志物，且所述两个语义地图中存在对应有关联关系的语义标志物，所述关联关系表示不同语义地图中的语义标志物为同一语义标志物；
最小树算法模块，用于利用最小树，连接每个所述语义地图中的语义标志物，以构建所述两个语义地图对应的两个图模型；
残差函数构建模块，用于对所述两个图模型构建图优化的残差函数，并使用所述图优化的残差函数进行所述两个语义地图的融合。
9.一种计算机设备，其特征在于，所述计算机设备中包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行以实现如权利要求1至7任一所述的基于最小树的语义地图融合方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如权利要求1至7任一所述的基于最小树的语义地图融合方法。
CN202211417598.5A 2022-11-14 2022-11-14 基于最小树的语义地图融合方法、装置、设备及介质 Active CN115600156B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211417598.5A CN115600156B (zh) 2022-11-14 2022-11-14 基于最小树的语义地图融合方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211417598.5A CN115600156B (zh) 2022-11-14 2022-11-14 基于最小树的语义地图融合方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN115600156A true CN115600156A (zh) 2023-01-13
CN115600156B CN115600156B (zh) 2023-03-28

Family

ID=84853041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211417598.5A Active CN115600156B (zh) 2022-11-14 2022-11-14 基于最小树的语义地图融合方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115600156B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584302A (zh) * 2018-11-27 2019-04-05 北京旷视科技有限公司 相机位姿优化方法、装置、电子设备和计算机可读介质
CN109737974A (zh) * 2018-12-14 2019-05-10 中国科学院深圳先进技术研究院 一种3d导航语义地图更新方法、装置及设备
CN111242994A (zh) * 2019-12-31 2020-06-05 深圳优地科技有限公司 一种语义地图构建方法、装置、机器人及存储介质
CN112347550A (zh) * 2020-12-07 2021-02-09 厦门大学 耦合式室内三维语义建图及建模方法
CN113570629A (zh) * 2021-09-28 2021-10-29 山东大学 去除动态物体的语义分割方法及系统
CN114547222A (zh) * 2022-02-21 2022-05-27 智道网联科技(北京)有限公司 语义地图构建方法、装置及电子设备
CN114814875A (zh) * 2022-04-27 2022-07-29 深圳市优必选科技股份有限公司 一种机器人定位建图方法、装置、可读存储介质及机器人

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584302A (zh) * 2018-11-27 2019-04-05 北京旷视科技有限公司 相机位姿优化方法、装置、电子设备和计算机可读介质
CN109737974A (zh) * 2018-12-14 2019-05-10 中国科学院深圳先进技术研究院 一种3d导航语义地图更新方法、装置及设备
CN111242994A (zh) * 2019-12-31 2020-06-05 深圳优地科技有限公司 一种语义地图构建方法、装置、机器人及存储介质
CN112347550A (zh) * 2020-12-07 2021-02-09 厦门大学 耦合式室内三维语义建图及建模方法
CN113570629A (zh) * 2021-09-28 2021-10-29 山东大学 去除动态物体的语义分割方法及系统
CN114547222A (zh) * 2022-02-21 2022-05-27 智道网联科技(北京)有限公司 语义地图构建方法、装置及电子设备
CN114814875A (zh) * 2022-04-27 2022-07-29 深圳市优必选科技股份有限公司 一种机器人定位建图方法、装置、可读存储介质及机器人

Also Published As

Publication number Publication date
CN115600156B (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
JP6771059B2 (ja) ３次元シーンを再構成するための方法、装置、機器及びコンピュータ可読記憶媒体
US11307049B2 (en) Methods, apparatuses, systems, and storage media for storing and loading visual localization maps
US11557053B2 (en) Deep learning to correct map and image features
CN110442659B (zh) 一种区域划分方法和装置
CN111680747A (zh) 用于占据栅格子图的闭环检测的方法和装置
CN109597862A (zh) 基于拼图式的地图生成方法、装置及计算机可读存储介质
US11403779B2 (en) Methods, apparatuses, systems, and storage media for loading visual localization maps
CN115600156B (zh) 基于最小树的语义地图融合方法、装置、设备及介质
CN114780493A (zh) 无人车数据的处理方法、装置、设备和存储介质
CN106294530A (zh) 规则匹配的方法和系统
CN103167032A (zh) 地图辅助的室内定位后台服务系统
CN112394918B (zh) 一种自动驾驶应用的开发方法及处理方法、系统
EP4124828B1 (en) Map processing method and apparatus
CN112344950B (zh) Adas道路网树的融合方法及系统、服务器及介质
CN114396963A (zh) 行驶路径的规划方法、装置、车载终端及存储介质
Tang et al. Automatic map generation for autonomous driving system testing
CN115294283A (zh) 一种数字孪生工厂构建方法、装置、设备和存储介质
KR20220078519A (ko) 자율주행을 위한 차량의 위치추정 장치 및 방법
CN114661028A (zh) 智能驾驶控制器测试方法、装置、计算机设备和存储介质
CN114440905A (zh) 中间图层的构建方法、装置、电子设备及存储介质
Shelke Knowledge Based Topology Discovery and Geo-localization
CN113449798A (zh) 港口无人驾驶地图生成方法、装置、电子设备、存储介质
CN116385825B (zh) 模型联合训练方法、装置及车辆
CN110474979A (zh) 一种远程协助系统、方法、平台及存储介质
CN113823082B (zh) 导航数据处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant