CN116958316A - 拓扑图生成方法、装置、计算机设备及存储介质 - Google Patents

拓扑图生成方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN116958316A
CN116958316A CN202311212775.0A CN202311212775A CN116958316A CN 116958316 A CN116958316 A CN 116958316A CN 202311212775 A CN202311212775 A CN 202311212775A CN 116958316 A CN116958316 A CN 116958316A
Authority
CN
China
Prior art keywords
track
vehicle
point
data
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311212775.0A
Other languages
English (en)
Other versions
CN116958316B (zh
Inventor
丁帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jidu Technology Co Ltd
Original Assignee
Beijing Jidu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jidu Technology Co Ltd filed Critical Beijing Jidu Technology Co Ltd
Priority to CN202311212775.0A priority Critical patent/CN116958316B/zh
Publication of CN116958316A publication Critical patent/CN116958316A/zh
Application granted granted Critical
Publication of CN116958316B publication Critical patent/CN116958316B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本公开提供了一种拓扑图生成方法、装置、计算机设备及存储介质,应用于计算机技术领域,包括:获取目标道路对应的多条车辆轨迹的轨迹数据;其中车辆轨迹的轨迹数据包括多个轨迹点分别对应的轨迹点属性;以利用各条车辆轨迹的轨迹数据,实现节点、点属性信息、连接边、边属性信息的确定;以便基于多个包含点属性信息的节点、包含边属性信息的连接边,较简便和较准确的生成目标道路对应的道路拓扑图。由于车辆轨迹的轨迹数据由车辆在目标道路上的行驶后得到的,使得车辆轨迹的轨迹数据能够较准确的反应目标道路的真实情况,使得生成的目标道路对应的道路拓扑图、与真实情况所匹配,保障了道路拓扑图的准确度。

Description

拓扑图生成方法、装置、计算机设备及存储介质
技术领域
本公开涉及计算机技术领域,具体而言,涉及一种拓扑图生成方法、装置、计算机设备及存储介质。
背景技术
随着车辆行业的发展,汽车已成为人们出行必不可少的交通工具,而汽车的出行依赖提供的地图数据。其中地图数据包括高精度地图、标准地图。标准地图包含的道路信息较少,使得标准地图不能较好的应用于车辆驾驶系统,比如自动驾驶系统、辅助驾驶系统,而高精度地图包含有行驶道路的所有道路信息,能够较佳的应用于车辆的驾驶系统,但是高精地图的存储量较大,且制作成本极高。
发明内容
本公开实施例至少提供一种拓扑图生成方法、装置、计算机设备及存储介质。
第一方面,本公开实施例提供了一种拓扑图生成方法,包括:
获取目标道路对应的多条车辆轨迹的轨迹数据;其中所述车辆轨迹的轨迹数据包括多个轨迹点分别对应的轨迹点属性,所述轨迹点属性包含:道路数据、和车辆位于所述轨迹点时的姿态数据;
基于各条所述车辆轨迹的轨迹数据,对所述多条车辆轨迹的轨迹点进行融合处理,生成多个节点以及每个节点的点属性信息;
基于所述目标道路上所述多条车辆轨迹,确定具有连接关系的两个节点之间的连接边,并基于与所述节点匹配的轨迹点的轨迹点属性,确定所述连接边的边属性信息;
基于多个包含所述点属性信息的节点,以及包含所述边属性信息的连接边,生成所述目标道路对应的道路拓扑图。
一种可选的实施方式中,所述基于各条所述车辆轨迹的轨迹数据,对所述多条车辆轨迹的轨迹点进行融合处理,生成多个节点以及每个节点的点属性信息,包括:
针对每条所述车辆轨迹,基于所述车辆轨迹的轨迹数据,从所述车辆轨迹包括的多个轨迹点中确定目标轨迹点;其中所述目标轨迹点包括:车辆轨迹中与相邻轨迹点相比、道路数据发生变化的第一轨迹点,以及用于确定道路形状的第二轨迹点;
将多条所述车辆轨迹包括的所述目标轨迹点进行融合处理,得到多个节点、以及每个所述节点的点属性信息。
一种可选的实施方式中,所述将多条所述车辆轨迹包括的所述目标轨迹点进行融合处理,得到多个节点、以及每个所述节点的点属性信息,包括:
从多条所述车辆轨迹包括的所述目标轨迹点中选取当前轨迹点,并从多条所述车辆轨迹包括的目标轨迹点中,确定与所述当前轨迹点之间的距离小于预设距离值的候选轨迹点;
针对每个所述候选轨迹点,若确定所述候选轨迹点的道路数据、与所述当前轨迹点的道路数据相同,且轨迹点方向与所述当前轨迹点的轨迹点方向相同,则确定所述候选轨迹点属于与所述当前轨迹点匹配的邻近轨迹点;其中所述轨迹点方向为包含轨迹点的车辆轨迹指示的车辆行驶方向;
基于所述邻近轨迹点和所述当前轨迹点分别对应的位姿数据,将所述邻近轨迹点和所述当前轨迹点进行融合处理,得到与所述当前轨迹点匹配的节点、以及所述节点的点属性信息;
从多条所述车辆轨迹包括的所述目标轨迹点中,将所述当前轨迹点和所述邻近轨迹点筛掉,得到多条所述车辆轨迹包括的更新后的目标轨迹点;
从多条所述车辆轨迹包括的更新后的目标轨迹点中选取新的当前轨迹点,返回至从多条所述车辆轨迹包括的目标轨迹点中,确定与所述当前轨迹点之间的距离小于预设距离值的候选轨迹点的步骤,直至多条所述车辆轨迹中不存在未被选取的目标轨迹点为止。
一种可选的实施方式中,所述基于所述邻近轨迹点和所述当前轨迹点分别对应的位姿数据,将所述邻近轨迹点和所述当前轨迹点进行融合处理,得到与所述当前轨迹点匹配的节点、以及所述节点的点属性信息,包括:
基于所述邻近轨迹点和所述当前轨迹点分别对应的位姿数据,构建约束指标,其中所述约束指标用于指示所述邻近轨迹点和所述当前轨迹点在目标方向上的坐标信息不变,所述目标方向为在水平面上与所述目标道路的行驶方向垂直的方向;
基于所述约束指标,对所述邻近轨迹点和所述当前轨迹点分别对应的位姿数据进行调整,生成所述邻近轨迹点和所述当前轨迹点分别对应的调整后位姿数据;
将所述邻近轨迹点和所述当前轨迹点分别对应的调整后位姿数据进行融合,得到融合后轨迹点、和所述融合后轨迹点的位姿数据;
将所述融合后轨迹点确定为节点,并基于所述融合后轨迹点的位姿数据,确定所述节点的点属性信息,所述点属性信息包括节点标识、节点坐标和节点类型。
一种可选的实施方式中,所述基于所述目标道路上所述多条车辆轨迹,确定具有连接关系的两个节点之间的连接边,包括:
针对每条车辆轨迹,确定匹配所述车辆轨迹的至少部分节点中,具有连接关系的两个节点之间的连接边;
将多条车辆轨迹下确定的所述连接边进行融合,得到所述目标道路内具有连接关系的两个节点之间的连接边。
一种可选的实施方式中,所述获取目标道路对应的多条车辆轨迹的轨迹数据,包括:
获取在所述目标道路行驶的多条车辆轨迹,所述车辆轨迹包含的每个轨迹点关联有姿态数据;以及获取车辆在每个所述轨迹点时采集的场景数据;
针对每个轨迹点,对所述轨迹点对应的所述场景数据进行检测,确定所述轨迹点对应的道路数据;并基于所述轨迹点对应的所述姿态数据和所述道路数据,确定所述轨迹点的轨迹点属性;
基于每条所述车辆轨迹上各个轨迹点分别对应的轨迹点属性,生成所述车辆轨迹的轨迹数据。
一种可选的实施方式中,所述方法还包括:
获取目标车辆在所述目标道路行驶的实时行驶数据;
基于所述道路拓扑图、和所述目标车辆的实时行驶数据,生成所述目标车辆对应的控制策略。
第二方面,本公开实施例还提供一种拓扑图生成装置,包括:
获取模块,用于获取目标道路对应的多条车辆轨迹的轨迹数据;其中所述车辆轨迹的轨迹数据包括多个轨迹点分别对应的轨迹点属性,所述轨迹点属性包含:道路数据、和车辆位于所述轨迹点时的姿态数据;
第一确定模块,用于基于各条所述车辆轨迹的轨迹数据,对所述多条车辆轨迹进行融合处理,生成多个节点以及每个节点的点属性信息;
第二确定模块,用于基于所述目标道路上所述多条车辆轨迹,确定具有连接关系的两个节点之间的连接边,并基于与所述节点匹配的轨迹点的轨迹点属性,确定所述连接边的边属性信息;
生成模块,用于基于多个包含所述点属性信息的节点,以及包含所述边属性信息的连接边,生成所述目标道路对应的道路拓扑图。
一种可选的实施方式中,所述第一确定模块,在基于各条所述车辆轨迹的轨迹数据,对所述多条车辆轨迹的轨迹点进行融合处理,生成多个节点以及每个节点的点属性信息时,用于:
针对每条所述车辆轨迹,基于所述车辆轨迹的轨迹数据,从所述车辆轨迹包括的多个轨迹点中确定目标轨迹点;其中所述目标轨迹点包括:车辆轨迹中与相邻轨迹点相比、道路数据发生变化的第一轨迹点,以及用于确定道路形状的第二轨迹点;
将多条所述车辆轨迹包括的所述目标轨迹点进行融合处理,得到多个节点、以及每个所述节点的点属性信息。
一种可选的实施方式中,所述第一确定模块,在将多条所述车辆轨迹包括的所述目标轨迹点进行融合处理,得到多个节点、以及每个所述节点的点属性信息时,用于:
从多条所述车辆轨迹包括的所述目标轨迹点中选取当前轨迹点,并从多条所述车辆轨迹包括的目标轨迹点中,确定与所述当前轨迹点之间的距离小于预设距离值的候选轨迹点;
针对每个所述候选轨迹点,若确定所述候选轨迹点的道路数据、与所述当前轨迹点的道路数据相同,且轨迹点方向与所述当前轨迹点的轨迹点方向相同,则确定所述候选轨迹点属于与所述当前轨迹点匹配的邻近轨迹点;其中所述轨迹点方向为包含轨迹点的车辆轨迹指示的车辆行驶方向;
基于所述邻近轨迹点和所述当前轨迹点分别对应的位姿数据,将所述邻近轨迹点和所述当前轨迹点进行融合处理,得到与所述当前轨迹点匹配的节点、以及所述节点的点属性信息;
从多条所述车辆轨迹包括的所述目标轨迹点中,将所述当前轨迹点和所述邻近轨迹点筛掉,得到多条所述车辆轨迹包括的更新后的目标轨迹点;
从多条所述车辆轨迹包括的更新后的目标轨迹点中选取新的当前轨迹点,返回至从多条所述车辆轨迹包括的目标轨迹点中,确定与所述当前轨迹点之间的距离小于预设距离值的候选轨迹点的步骤,直至多条所述车辆轨迹中不存在未被选取的目标轨迹点为止。
一种可选的实施方式中,所述第一确定模块,在基于所述邻近轨迹点和所述当前轨迹点分别对应的位姿数据,将所述邻近轨迹点和所述当前轨迹点进行融合处理,得到与所述当前轨迹点匹配的节点、以及所述节点的点属性信息时,用于:
基于所述邻近轨迹点和所述当前轨迹点分别对应的位姿数据,构建约束指标,其中所述约束指标用于指示所述邻近轨迹点和所述当前轨迹点在目标方向上的坐标信息不变,所述目标方向为在水平面上与所述目标道路的行驶方向垂直的方向;
基于所述约束指标,对所述邻近轨迹点和所述当前轨迹点分别对应的位姿数据进行调整,生成所述邻近轨迹点和所述当前轨迹点分别对应的调整后位姿数据;
将所述邻近轨迹点和所述当前轨迹点分别对应的调整后位姿数据进行融合,得到融合后轨迹点、和所述融合后轨迹点的位姿数据;
将所述融合后轨迹点确定为节点,并基于所述融合后轨迹点的位姿数据,确定所述节点的点属性信息,所述点属性信息包括节点标识、节点坐标和节点类型。
一种可选的实施方式中,所述第二确定模块,在基于所述目标道路上所述多条车辆轨迹,确定具有连接关系的两个节点之间的连接边时,用于:
针对每条车辆轨迹,确定匹配所述车辆轨迹的至少部分节点中,具有连接关系的两个节点之间的连接边;
将多条车辆轨迹下确定的所述连接边进行融合,得到所述目标道路内具有连接关系的两个节点之间的连接边。
一种可选的实施方式中,所述获取模块,在获取目标道路对应的多条车辆轨迹的轨迹数据时,用于:
获取在所述目标道路行驶的多条车辆轨迹,所述车辆轨迹包含的每个轨迹点关联有姿态数据;以及获取车辆在每个所述轨迹点时采集的场景数据;
针对每个轨迹点,对所述轨迹点对应的所述场景数据进行检测,确定所述轨迹点对应的道路数据;并基于所述轨迹点对应的所述姿态数据和所述道路数据,确定所述轨迹点的轨迹点属性;
基于每条所述车辆轨迹上各个轨迹点分别对应的轨迹点属性,生成所述车辆轨迹的轨迹数据。
一种可选的实施方式中,所述装置还包括:控制模块,用于:
获取目标车辆在所述目标道路行驶的实时行驶数据;
基于所述道路拓扑图、和所述目标车辆的实时行驶数据,生成所述目标车辆对应的控制策略。
第三方面,本公开提供一种计算机设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的拓扑图生成方法的步骤。
第四方面,本公开提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的拓扑图生成方法的步骤。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开的技术方案。
本公开提供了一种拓扑图生成方法、装置、计算机设备及存储介质,通过获取的目标道路对应的多条车辆轨迹的轨迹数据,轨迹数据包括有多个轨迹点分别对应的轨迹点属性,利用多个轨迹点的轨迹点属性反应目标道路的道路情况,再可以基于各条车辆轨迹的轨迹数据,对多条车辆轨迹的轨迹点进行融合处理,以确定目标道路包括的多个节点,以及每个节点的点属性信息;以及基于目标道路上多条车辆轨迹,较准确的确定具有连接关系的两个节点之间的连接边,并基于与节点匹配的轨迹点的轨迹点属性,较简便和较高效的确定连接边的边属性信息,以便可以基于多个包含点属性信息的节点,以及包含边属性信息的连接边,较简便和较准确的生成目标道路对应的道路拓扑图;并且道路拓扑图包含的是节点的点属性信息和连接边的边属性信息,使得道路拓扑图在包括较丰富的道路信息的同时,所需的存储容量和制作成本较低。
由于车辆轨迹的轨迹数据可以由车辆在目标道路上的行驶后得到的,故车辆轨迹的轨迹数据的获取较简便,且在目标道路行驶过程中获取,可以使得车辆轨迹的轨迹数据能够较准确的反应目标道路的真实情况,保障了车辆轨迹的轨迹数据的准确度,以便基于多条车辆轨迹的轨迹数据可以较准确的确定节点的点属性信息、以及连接边的边属性信息,提高生成的目标道路对应的道路拓扑图的精度。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开一些实施例所提供的拓扑图生成方法的流程示意图;
图2示出了本公开一些实施例所提供的一种包含目标轨迹点的车辆轨迹的示意图;
图3示出了本公开一些实施例所提供的拓扑图生成方法中,道路拓扑图的示意图;
图4示出了本公开一些实施例所提供的拓扑图生成装置的结构示意图;
图5示出了本公开一些实施例所提供的计算机设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
随着车辆行业的发展,汽车已成为人们出行必不可少的交通工具,而汽车的出行依赖提供的地图数据。其中地图数据包括高精度地图、标准地图。标准地图包含的道路信息较少,使得标准地图不能较好的应用于车辆驾驶系统,比如自动驾驶系统、辅助驾驶系统,而高精度地图包含有行驶道路的所有道路信息,能够较佳的应用于车辆的驾驶系统,但是高精地图的存储量较大,且制作成本极高。
基于此,本公开提供了一种拓扑图生成方法,通过获取的目标道路对应的多条车辆轨迹的轨迹数据,轨迹数据包括有多个轨迹点分别对应的轨迹点属性,利用多个轨迹点的轨迹点属性反应目标道路的道路情况,再可以基于各条车辆轨迹的轨迹数据,对多条车辆轨迹的轨迹点进行融合处理,以确定目标道路包括的多个节点,以及每个节点的点属性信息;以及可以基于目标道路上多条车辆轨迹,较准确的确定具有连接关系的两个节点之间的连接边,并基于与节点匹配的轨迹点的轨迹点属性,较简便的确定连接边的边属性信息,以便可以基于多个包含点属性信息的节点,以及包含边属性信息的连接边,较简便和较准确的生成目标道路对应的道路拓扑图;并且道路拓扑图包含的是节点的点属性信息和连接边的边属性信息,使得道路拓扑图在包括较丰富的道路信息的同时,所需的存储容量和制作成本较低。
由于车辆轨迹的轨迹数据可以由车辆在目标道路上的行驶后得到的,故车辆轨迹的轨迹数据的获取较简便,且在目标道路行驶过程中获取,可以使得车辆轨迹的轨迹数据能够较准确的反应目标道路的真实情况,保障了车辆轨迹的轨迹数据的准确度,以便基于多条车辆轨迹的轨迹数据可以较准确的确定节点的点属性信息、以及连接边的边属性信息,提高生成的目标道路对应的道路拓扑图的精度。
针对以上内容提及的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种拓扑图生成方法进行详细介绍。本公开实施例所提供的拓扑图生成方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器,终端设备可以为用户设备(User Equipment,UE)、计算设备、车载设备等。在一些可能的实现方式中,该拓扑图生成方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下述以执行主体为服务器对拓扑图生成方法进行详细说明。参见图1所示,为本公开实施例提供的拓扑图生成方法的结构示意图,所述方法包括S101-S104,其中:
S101,获取目标道路对应的多条车辆轨迹的轨迹数据;其中所述车辆轨迹的轨迹数据包括多个轨迹点分别对应的轨迹点属性,所述轨迹点属性包含:道路数据和车辆位于所述轨迹点时的姿态数据;
S102,基于各条所述车辆轨迹的轨迹数据,对所述多条车辆轨迹的轨迹点进行融合处理,生成多个节点以及每个节点的点属性信息;
S103,基于所述目标道路上所述多条车辆轨迹,确定具有连接关系的两个节点之间的连接边,并基于与所述节点匹配的轨迹点的轨迹点属性,确定所述连接边的边属性信息;
S104,基于多个包含所述点属性信息的节点,以及包含所述边属性信息的连接边,生成所述目标道路对应的道路拓扑图。
下述对S101-S104进行具体说明。
针对S101:
目标道路可以为交通道路上的任一道路。比如可以选取多条道路,分别将每条道路作为目标道路,按照本公开提供的方法,生成道路拓扑图,即得到多条道路分别对应的道路拓扑图,以便后续根据多条道路分别对应的道路拓扑图,为车辆行驶提供行驶策略。
实施时,可以获取车辆在目标道路行驶时的车辆轨迹的轨迹数据,比如可以为一个车辆多次在目标道路上行驶的轨迹数据,也可以为多个车辆在目标道路上行驶的轨迹数据。其中车辆轨迹包括多个轨迹点,轨迹数据包括每个轨迹点的轨迹点属性,轨迹点属性包含:道路数据、和车辆位于轨迹点时的姿态数据。比如轨迹点属性可以包括位姿、时间戳等与车辆姿态相关的姿态数据,以及道路类型、车道数量等与目标道路相关的道路数据。其中车辆轨迹可以由车辆上安装的定位系统比如全球定位系统(Global Positioning System,GPS)检测得到,比如可以每个GPS信号可以对应一个轨迹点。
轨迹点的轨迹点属性中的姿态数据可以由定位装置检测得到,道路数据可以在确定了轨迹点的位姿之后,结合标准地图或高精地图确定得到。或者,也可以在轨迹点处采集道路图像,利用训练得到的卷积神经网络对道路图像进行识别,得到轨迹点的轨迹点属性中的道路数据。
一种可选实施方式中,所述获取目标道路对应的多条车辆轨迹的轨迹数据,具体包括:
步骤A1,获取在所述目标道路行驶的多条车辆轨迹,所述车辆轨迹包含的每个轨迹点关联有姿态数据;以及获取车辆在每个所述轨迹点时采集的场景数据;
步骤A2,针对每个轨迹点,对所述轨迹点对应的所述场景数据进行检测,确定所述轨迹点对应的道路数据;并基于所述轨迹点对应的所述姿态数据和所述道路数据,确定所述轨迹点的轨迹点属性;
步骤A3,基于每条所述车辆轨迹上各个轨迹点分别对应的轨迹点属性,生成所述车辆轨迹的轨迹数据。
实施时,车辆在目标道路上行驶时,车辆上安装的定位系统可以实时采集车辆在每个轨迹点的姿态数据,如位姿信息、时间戳信息等。以及车辆上可以安装图像采集设备,图像采集设备用于在车辆的每个轨迹点处采集当前的场景数据即场景图像;或者,车辆上还可以安装雷达设备,雷达设备用于在车辆的每个轨迹点出采集当前的场景数据即点云数据。进而可以获取到车辆在每个轨迹点时采集的场景数据。
针对每个轨迹点,对轨迹点对应的场景数据进行检测,确定轨迹点对应的道路数据。比如可以利用训练得到的卷积神经网络对场景数据进行检测,确定轨迹点对应的道路数据。其中不同的场景数据可以对应不同的卷积神经网络,所使用的卷积神经网络的网络结构可以根据需要进行确定,此处不进行具体限定。检测得到的道路数据包括但不限于:a1、车道类型,比如车道类型可以包括公交车道、非机动车道、机动车道等;a2、道路类型,比如道路类型可以包括高速道路、城区道路、桥梁、隧道、匝、辅路等等;a3、是否在路口;a4、道路行驶方向数量,比如单向道路、双向道路等;a5、车道数量;a6、当前车道编号,比如车道数量为3个时,从右至左的车道编号分别为d1、d2、d3,若轨迹点位于中间车道,则当前车道编号为d2;a7、各车道转弯类型,比如可以包括:是否可直行、左转、右转、左掉头、右掉头等。
针对每个轨迹点,该轨迹点对应的姿态数据和道路数据,构成了轨迹点的轨迹点属性。即得到各个轨迹点分别对应的轨迹点属性。再针对每条车辆轨迹,基于该车辆轨迹上各个轨迹点分别对应的轨迹点属性,生成车辆轨迹的轨迹数据,即车辆轨迹的轨迹数据可以包括各个轨迹点的轨迹点属性。或者,还可以利用车辆上的速度传感器,检测车辆在轨迹点的行驶速度、行驶加速度;将各个轨迹点的轨迹点属性、以及轨迹点的行驶速度、行驶加速度,构成车辆轨迹的轨迹数据。
这里,通过获取每条车辆轨迹上轨迹点的姿态数据,以及获取轨迹点时采集的场景数据,以便利用场景数据可以较准确的得到轨迹点的道路数据,轨迹点的姿态数据和道路数据构成了轨迹点属性,为后续构建道路拓扑图提供数据支持。
针对S102:
获取到多条车辆轨迹的轨迹数据之后,由于多条车辆轨迹均为目标道路上的行驶轨迹,行驶轨迹之间具有相关性、且可能会存在偏差,为了较准确的得到节点,可以将多条车辆轨迹进行融合。实施时,基于各条车辆轨迹的轨迹数据,对多条车辆轨迹的轨迹点进行融合处理,比如可以将多条车辆轨迹中距离偏差较小的多个轨迹点的位置求平均,得到多个轨迹点融合后的轨迹点的位置,将融合后得到的轨迹点作为一个节点,将轨迹点的位置信息作为节点的点属性信息;若轨迹点不存在距离偏差较小的其他轨迹点时,该轨迹点可以作为一个节点;进而可以得到多个节点,以及节点的点属性信息。
一种可选实施方式中,在S102中基于各条所述车辆轨迹的轨迹数据,对所述多条车辆轨迹的轨迹点进行融合处理,生成多个节点以及每个节点的点属性信息,具体包括:
步骤B1,针对每条所述车辆轨迹,基于所述车辆轨迹的轨迹数据,从所述车辆轨迹包括的多个轨迹点中确定目标轨迹点;其中所述目标轨迹点包括:车辆轨迹中与相邻轨迹点相比、道路数据发生变化的第一轨迹点,以及用于确定道路形状的第二轨迹点;
步骤B2,将多条所述车辆轨迹包括的所述目标轨迹点进行融合处理,得到多个节点、以及每个所述节点的点属性信息。
在步骤B1中,针对每条车辆轨迹,从车辆轨迹包括的多个轨迹点中确定目标轨迹点;其中目标轨迹点包括:车辆轨迹中与相邻轨迹点相比、道路数据发生变化的第一轨迹点;以及目标轨迹点包括用于确定道路形状的第二轨迹点。
在目标轨迹点包括第一轨迹点时,可以通过判断相邻的两个轨迹点的轨迹点属性中的道路数据是否相同,若不同,则表征道路数据指示的道路属性发生了改变,比如车道数量由两车道变声为三车道,再比如车道由执行变为右转等,故可以将相邻的两个轨迹点中后一轨迹点作为目标轨迹点,其中后一轨迹点是根据车辆的经过轨迹点的顺序确定的,或者可以将位姿数据指示的时间戳较大的轨迹点确定为后一轨迹点;若相同,继续遍历轨迹点。
或者,也可以将车辆轨迹的起始轨迹点确定为第一轨迹点,并针对车辆轨迹中除起始轨迹点之外的每个轨迹点,确定该轨迹点的轨迹点属性包含的道路数据、是否与相邻的前一轨迹点的轨迹点属性包含的道路数据相同,若不同,则确定该轨迹点属于第一轨迹点;若相同,则确定该轨迹点不属于第一轨迹点,并继续遍历车辆轨迹中的下一轨迹点,直至车辆轨迹中不存在未遍历的轨迹点为止。
在目标轨迹点包括第二轨迹点时,比如道路形状若为直线,则可以将道路的起点位置对应的轨迹点、和终点位置对应的轨迹点确定为第二轨迹点;再比如若道路形状为存在弧度时,则可以将道路的起点位置的轨迹点、终点位置的轨迹点、和道路转弯处的轨迹点确定为第二轨迹点等。
具体实施时,可以基于车辆轨迹的轨迹数据,确定车辆轨迹中各个轨迹点分别对应的曲率,并将曲率大于预设曲率的轨迹点确定为目标轨迹点。
参见图2所示,图2示出的车辆轨迹中包括的多个目标轨迹点21。可见由于最左侧的轨迹点为起始轨迹点,故该轨迹点属于目标轨迹点;位于中间的轨迹点,在该轨迹点处道路数据发生变化即车道数量由三车道变为了四车道,故该轨迹点属于目标轨迹点;位于最右侧的轨迹点,该轨迹点处道路数据发生变化即车道线由虚线变为实线,故该轨迹点也属于目标轨迹点。
在步骤B2中,将多条车辆轨迹包括的目标轨迹点进行融合处理,比如将距离较小的多个目标轨迹点进行融合,得到一个融合后的轨迹点,将融合后的轨迹点作为节点,将融合后的轨迹点的位置信息确定为节点的点属性信息,进而可以得到多个节点、以及每个节点的点属性信息。
这里通过筛选确定目标轨迹点,将除目标轨迹点之外的其他轨迹点筛除,由于目标轨迹点包括目标道路的道路属性发生改变处的第一轨迹点,以及用于确定道路形状的第二轨迹点,通过第一轨迹点和第二轨迹点可以较准确的反应目标道路的道路情况,后续根据目标轨迹点确定节点时,可以在保障节点精度的同时,提高节点的确定效率。
一种可选实施方式中,在步骤B2中,将多条所述车辆轨迹包括的所述目标轨迹点进行融合处理,得到多个节点、以及每个所述节点的点属性信息,具体包括:
步骤B21,从多条所述车辆轨迹包括的所述目标轨迹点中选取当前轨迹点,并从多条所述车辆轨迹包括的目标轨迹点中,确定与所述当前轨迹点之间的距离小于预设距离值的候选轨迹点。
步骤B22,针对每个所述候选轨迹点,若确定所述候选轨迹点的道路数据、与所述当前轨迹点的道路数据相同,且轨迹点方向与所述当前轨迹点的轨迹点方向相同,则确定所述候选轨迹点属于与所述当前轨迹点匹配的邻近轨迹点;其中所述轨迹点方向为包含轨迹点的车辆轨迹指示的车辆行驶方向。
步骤B23,基于所述邻近轨迹点和所述当前轨迹点分别对应的位姿数据,将所述邻近轨迹点和所述当前轨迹点进行融合处理,得到与所述当前轨迹点匹配的节点、以及所述节点的点属性信息。
步骤B24,从多条所述车辆轨迹包括的所述目标轨迹点中,将所述当前轨迹点和所述邻近轨迹点筛掉,得到多条所述车辆轨迹包括的更新后的目标轨迹点;从多条所述车辆轨迹包括的更新后的目标轨迹点中选取新的当前轨迹点,返回至从多条所述车辆轨迹包括的目标轨迹点中,确定与所述当前轨迹点之间的距离小于预设距离值的候选轨迹点的步骤,直至多条所述车辆轨迹中不存在未被选取的目标轨迹点为止。
实施时,从多条车辆轨迹包括的目标轨迹点中选取当前轨迹点,比如可以随机选取当前轨迹点,或者,可以根据轨迹点属性指示的轨迹点位置,选取当前轨迹点;或者,也可以根据轨迹点属性指示的时间戳,选取当前轨迹点等等。
在确定了当前轨迹点之后,可以从多条车辆轨迹包括的目标轨迹点中,确定与当前轨迹点之间的距离小于预设距离值的候选轨迹点。比如可以根据当前轨迹点的位姿数据中的位置信息、和目标轨迹点的位姿数据中的位置信息,计算车辆轨迹中目标轨迹点与当前轨迹点之间的距离。再选取距离小于预设距离值的目标轨迹点作为候选轨迹点。
为了提高候选轨迹点的遍历效率,可以根据多条车辆轨迹中各个目标轨迹点的位置,构建K维(K-Dimensional,KD)树,利用KD树对多条车辆轨迹中所有保留下来的目标轨迹点的坐标建立空间索引,然后针对每一个当前轨迹点,搜索到附近预设范围(即预设距离值确定的范围)内的多个候选轨迹点。
实施时,若轨迹点属性中的位姿数据包括:车辆在轨迹点的经纬高(即经度、纬度、高度)时,在确定候选轨迹点之前,可以利用坐标变换算法,将轨迹点的经纬高转换至目标坐标系如东北天坐标系下,得到轨迹点在目标坐标系下的目标坐标;再利用轨迹点对应的目标坐标,确定候选轨迹点。
在确定了候选轨迹点之后,为了避免将当前轨迹点、和与当前轨迹点不匹配的候选轨迹点进行融合,降低节点精度,可以对候选轨迹点进行筛选。实施时,针对每个候选轨迹点,确定该候选轨迹点的轨迹点属性包含的道路数据,是否与当前轨迹点的轨迹点属性包括的道路数据相同;以及确定候选轨迹点的轨迹点方向是否与当前轨迹点的轨迹点方向相同;若均相同,则确定候选轨迹点属于与当前轨迹点匹配的邻近轨迹点。
其中轨迹点方向可以为包含轨迹点的车辆轨迹指示的车辆行驶方向。比如可以根据车辆经过不同轨迹点的顺序,确定车辆行驶方向。或者,轨迹点方向也可以根据轨迹点属性中姿态数据进行确定,比如可以根据候选轨迹点的轨迹点属性包括的姿态数据,确定车辆位于候选轨迹点时的第一车辆朝向;同理还可以确定车辆位于当前轨迹点时的第二车辆朝向,若第一车辆朝向和第二车辆朝向指向相同方向,或者第一车辆朝向和第二车辆朝向之间的偏差较小,则确定候选轨迹点的轨迹点方向与当前轨迹点的轨迹点方向相同。
若候选轨迹点与当前轨迹点之间的道路数据不同,和/或,轨迹点方向不同时,确定候选轨迹点与当前轨迹点不匹配,即候选轨迹点不属于邻近轨迹点,并可以将该候选轨迹点筛除。
在得到当前轨迹点匹配的邻近轨迹点之后,将邻近轨迹点和当前轨迹点进行融合处理,比如将邻近轨迹点的位姿数据与当前轨迹点的位姿数据求平均,得到融合后的轨迹点、和融合后的轨迹点的位姿数据,将融合后的轨迹点,确定为节点,并基于融合后的轨迹点的位姿数据,确定节点的点属性信息。比如将融合后的轨迹点的位姿数据确定为节点的点属性信息,或者,将融合后的轨迹点的位姿数据指示的位置数据,确定为节点的点属性信息。在位姿数据指示的位置数据位于目标坐标系下时,可以将该位置数据进行转换处理,得到经纬高,将经纬高确定为节点的点属性信息。
在节点的点属性信息包括节点标识时,可以实时为该节点生成对应的节点标识。在节点的点属性信息包括节点类型时,可以根据当前轨迹点、和匹配的邻近轨迹点的类型,确定节点类型,比如当前轨迹点和匹配的邻近轨迹点为第一轨迹点时,则确定节点类型为用于指示道路属性发生改变的第一类型;若当前轨迹点和匹配的邻近轨迹点为第二轨迹点时,则确定节点类型为用于指示道路形状的第二类型。
若当前轨迹点不存在邻近轨迹点,则可以将当前轨迹点确定为节点,并根据当前轨迹点的轨迹点属性,确定节点的点属性信息。比如将当前轨迹点的位姿数据,确定为节点的点属性,或者将当前轨迹点的位姿数据指示的位置数据,确定为节点的点属性等。
再可以从多条车辆轨迹包括的目标轨迹点中,将当前轨迹点和邻近轨迹点筛掉,得到多条车辆轨迹包括的更新后的目标轨迹点,即后续从更新后的目标轨迹点中选取当前轨迹点,避免轨迹点的重复融合。从多条车辆轨迹包括的更新后的目标轨迹点中选取新的当前轨迹点,返回至步骤B21的从多条车辆轨迹包括的目标轨迹点中,确定与当前轨迹点之间的距离小于预设距离值的候选轨迹点的步骤,直至多条所述车辆轨迹中不存在未被选取的目标轨迹点为止。即可以得到多个节点、以及每个节点的点属性信息。
一种可选实施方式中,基于所述邻近轨迹点和所述当前轨迹点分别对应的位姿数据,将所述邻近轨迹点和所述当前轨迹点进行融合处理,得到与所述当前轨迹点匹配的节点、以及所述节点的点属性信息,具体包括:
步骤C1,基于所述邻近轨迹点和所述当前轨迹点分别对应的位姿数据,构建约束指标,其中所述约束指标用于指示所述邻近轨迹点和所述当前轨迹点在目标方向上的坐标信息不变,所述目标方向为在水平面上与所述目标道路的行驶方向垂直的方向。
步骤C2,基于所述约束指标,对所述邻近轨迹点和所述当前轨迹点分别对应的位姿数据进行调整,生成所述邻近轨迹点和所述当前轨迹点分别对应的调整后位姿数据。
步骤C3,将所述邻近轨迹点和所述当前轨迹点分别对应的调整后位姿数据进行融合,得到融合后轨迹点、和所述融合后轨迹点的位姿数据。
步骤C4,将所述融合后轨迹点确定为节点,并基于所述融合后轨迹点的位姿数据,确定所述节点的点属性信息,所述点属性信息包括节点标识、节点坐标和节点类型。
为了较准确的确定节点,可以对邻近轨迹点和当前轨迹点的位姿数据进行调整,以得到调整后的位姿数据,利用调整后的位姿数据,进行当前轨迹点和邻近轨迹点的融合处理。实施时,可以基于邻近轨迹点和当前轨迹点分别对应的位姿数据,构建约束指标,其中约束指标用于指示邻近轨迹点和当前轨迹点在目标方向上的坐标信息不变,目标方向为在水平面上与目标道路的行驶方向垂直的方向。参见图2可知,目标道路的行驶方向为从西至东,则设置的目标方向可以为南北方向。
比如约束指标可以为:
其中,为轨迹点/>在目标方向的坐标值比如纵向坐标值,/>为轨迹点/>在目标方向的坐标值。
具体实施时,若邻近轨迹点和当前轨迹点分别对应的位姿数据包括定位装置采集的经度、纬度、高度时,可以先对位姿数据进行坐标系转换,以得到目标坐标系下的转换后位姿数据,以利用转换后位姿数据构建约束指标。其中目标坐标系为以目标道路的行驶方向为x轴,以目标道路的行驶方向垂直的方向为y轴,以垂直道路地面(即x轴和y轴构成的平面)的方向为z轴构建的坐标系。示例性的,可以利用第一坐标系转换表达式,将位姿数据包括的经度、纬度、高度进行转换,得到位于东北天坐标系下的中间位姿数据,再利用第二坐标系转换表达式,将中间位姿数据转换至目标坐标系下,得到转换后位姿数据,以进行轨迹点融合。其中在利用转换后位姿数据进行轨迹点融合时,上述约束指标为在y轴下的约束,即为轨迹点/>在y轴的坐标值。
在根据构建的约束指标,对邻近轨迹点和当前轨迹点分别对应的位姿数据进行调整,比如通过确定的梯度信息,反向调整邻近轨迹点和当前轨迹点的位姿数据,生成邻近轨迹点和当前轨迹点分别对应的调整后位姿数据;或者,调整邻近轨迹点和当前轨迹点的位置数据,生成邻近轨迹点和当前轨迹点分别对应的包含有调整后位置数据的调整后位姿数据。
将邻近轨迹点和当前轨迹点分别对应的调整后位姿数据进行融合,即将邻近轨迹点和当前轨迹点分别对应的调整后位姿数据求平均,得到融合后轨迹点、和融合后轨迹点的位姿数据。
针对S103:
在得到多个节点之后,可以根据车辆轨迹,按照顺序将多个节点进行相连,得到每两个具有连接关系的节点之间的连接边。并根据连接边两侧的两个节点所匹配的轨迹点的轨迹点属性,确定连接边的边属性信息,比如边属性信息可以包括两个节点的节点标识,以及包括两个节点所匹配的轨迹点的道路数据。
一种可选实施方式中,所述基于所述目标道路上所述多条车辆轨迹,确定具有连接关系的两个节点之间的连接边,包括:针对每条车辆轨迹,确定匹配所述车辆轨迹的至少部分节点中,具有连接关系的两个节点之间的连接边;将多条车辆轨迹下确定的所述连接边进行融合,得到所述目标道路内具有连接关系的两个节点之间的连接边。
具体实施时,针对每条车辆轨迹,将该车辆轨迹中轨迹点所匹配的节点,确定为匹配车辆轨迹的至少部分节点。并根据车辆轨迹的行驶过程,确定匹配的至少部分节点中具有连接关系的两个节点,将具有连接关系的两个节点相连,得到连接边。同理,可以得到各条车辆轨迹下确定的连接边。
将多条车辆轨迹下确定的连接边进行融合,比如将重合的连接边作为一条连接边,得到目标道路内具有连接关系的两个节点之间的连接边。
这里,分别针对每条车辆轨迹确定连接边,可以缓解连接边遗漏带来的精度问题,以便提高生成的道路拓扑图的精度。
具体实施时,还可以基于所述目标路段上多条车辆轨迹指示的车辆行驶方向,将所述多个节点进行相连,生成具有连接关系的两个节点之间的连接边。比如多条车辆轨迹中存在交通路口,则车辆行驶方向包括直行通过交通路口的行驶方向、左转通过交通路口的行驶方向、右转通过交通路口的行驶方向、掉头的行驶方向等等。进而可以根据车辆行驶方向,将多个节点进行相连,生成具有连接关系的两个节点之间的连接边。
针对每条连接边,基于与连接边两侧的两个节点分别匹配的轨迹点的轨迹点属性,确定连接边的边属性信息;其中边属性信息包括:与连接边两侧节点相关的第一属性信息、和与连接边所处路段相关的第二属性信息。
其中与节点匹配的轨迹点包括确定节点时所融合的各个轨迹点,比如当前轨迹点、近邻轨迹点等。以及针对每条连接边,基于与连接边两侧的两个节点分别匹配的轨迹点的轨迹点属性,确定连接边的边属性信息;其中边属性信息包括:与连接边两侧节点相关的第一属性信息、和与连接边所处路段相关的第二属性信息。比如第一属性信息可以包括起始节点标识、终止节点标识,其中起始节点和终止节点为连接边两侧的节点,若车辆行驶方向指示车辆从节点a经过连接边1到达节点b,则连接边1的第一属性信息包括:起始节点即节点a的节点标识、终止节点即节点b的节点标识。第二属性信息可以包括轨迹点的全部道路数据,或者至少部分道路数据。即第二属性信息包括但不限于:连接边标识、道路的行驶方向数量、是否位于路口、车道数量、车道限速、道路类型、车道类型等等。
针对S104:
在得到节点和连接边之后,可以根据节点和连接边构建目标道路对应的道路拓扑图,道路拓扑图关联有每个节点的点属性信息和每条连接边的边属性信息。
参见图3所示的一种目标道路的道路拓扑图,图3包括节点31和连接边32。
在得到目标道路的道路拓扑图之后,所述方法还包括:获取目标车辆在所述目标道路行驶的实时行驶数据;基于所述道路拓扑图、和所述目标车辆的实时行驶数据,生成所述目标车辆对应的控制策略。
实施时,实时行驶数据比如可以包括车辆实时位置、车辆速度、车辆姿态、车辆加速度,以及车辆周边环境数据比如行驶前方的交通信号灯信息、障碍物信息、周围道路上的其他车辆信息等等。根据道路拓扑图、和目标车辆的实时行驶数据,生成目标车辆对应的控制策略。比如控制策略可以为控制车辆行驶的自动驾驶策略,或者,还可以为辅助车辆行驶的辅助驾驶策略等。
由于本公开的道路拓扑图的信息较丰富,且通过存储点属性信息和边属性信息的方式存储道路拓扑图,道路拓扑图所占据的存储空间较小,实现了保存较多信息的同时减少了存储资源,后续基于道路拓扑图,可以较准确和较高效的为目标车辆确定控制策略。
示例性的对本公开提出的拓扑图生成方法进行具体说明。该方法包括:
步骤1、数据获取。
具体的,获取在目标道路行驶的多条车辆轨迹,车辆轨迹包含的每个轨迹点关联有姿态数据;以及获取车辆在每个所述轨迹点时采集的场景数据。并针对每个轨迹点,对轨迹点对应的场景数据进行检测,确定轨迹点对应的道路数据;基于轨迹点对应的姿态数据和道路数据,确定轨迹点的轨迹点属性;进而基于每条车辆轨迹上各个轨迹点分别对应的轨迹点属性,生成车辆轨迹的轨迹数据。
这里,车辆轨迹的轨迹数据包括多个轨迹点分别对应的轨迹点属性,轨迹点属性包括但不限于:时间戳、位姿数据、道路类型、是否在路口、道路行驶方向数量、车道数量、当前车道编号等,其中位姿数据可以包括定位装置采集的经度、纬度和高度。
步骤2、目标轨迹点筛选。
具体的,针对每条车辆轨迹,基于车辆轨迹的轨迹数据,从车辆轨迹包括的多个轨迹点中确定目标轨迹点;其中目标轨迹点包括:车辆轨迹中与相邻轨迹点相比、道路数据发生变化的第一轨迹点,以及用于确定道路形状的第二轨迹点。
步骤3、节点确定。其中,可以将多条车辆轨迹中的目标轨迹点进行轨迹点匹配、建立纵向约束关系、进行位姿优化和轨迹点融合,确定得到节点。
具体的,轨迹点匹配的过程包括:从多条车辆轨迹包括的目标轨迹点中选取当前轨迹点,并从多条车辆轨迹包括的目标轨迹点中,确定与当前轨迹点之间的距离小于预设距离值的候选轨迹点;并针对每个候选轨迹点,若确定候选轨迹点的道路数据、与当前轨迹点的道路数据相同,且轨迹点方向与当前轨迹点的轨迹点方向相同,则确定候选轨迹点属于与当前轨迹点匹配的邻近轨迹点;其中轨迹点方向为包含轨迹点的车辆轨迹指示的车辆行驶方向。
建立纵向约束关系的过程包括:基于邻近轨迹点和当前轨迹点分别对应的位姿数据,构建约束指标,其中约束指标用于指示邻近轨迹点和当前轨迹点在目标方向上的坐标信息不变,目标方向为在水平面上与目标道路的行驶方向垂直的方向。
进行位姿优化的过程包括:基于约束指标,对邻近轨迹点和当前轨迹点分别对应的位姿数据进行调整,生成邻近轨迹点和当前轨迹点分别对应的调整后位姿数据。
轨迹点融合的过程包括:将邻近轨迹点和当前轨迹点分别对应的优化后位姿数据进行融合,得到融合后轨迹点、和融合后轨迹点的位姿数据;将融合后轨迹点确定为节点,并基于融合后轨迹点的位姿数据,确定节点的点属性信息,点属性信息包括节点标识、节点坐标和节点类型。
之后,从多条车辆轨迹包括的目标轨迹点中,将当前轨迹点和邻近轨迹点筛掉,得到多条车辆轨迹包括的更新后的目标轨迹点;进而继续从多条车辆轨迹包括的更新后的目标轨迹点中选取新的当前轨迹点,重复执行轨迹点匹配、建立纵向约束关系、进行位姿优化和轨迹点融合,直至多条车辆轨迹中不存在未被选取的目标轨迹点为止。
这里,由于轨迹点的位姿数据为经度、纬度和高度,为了较准确的建立纵向约束关系,可以在进行轨迹点匹配之前,将轨迹点的位姿数据进行转换,转换至目标坐标系下,其中目标坐标系为:以目标道路的行驶方向为一个方向轴(如x轴)、以目标道路的行驶方向所垂直的方向为另一个方向轴(如y轴)、以垂直于x轴和y轴构成平面的方向为z轴。实施时,将轨迹点的位姿数据转换至东北天坐标系下,得到中间位姿数据,再将中间位姿数据转换至目标坐标系下,得到转换后位姿数据,以便后续利用转换后位姿数据,确定节点和点属性信息。
步骤4、基于目标道路上多条车辆轨迹,确定具有连接关系的两个节点之间的连接边,并基于与节点匹配的轨迹点的轨迹点属性,确定连接边的边属性信息。
步骤5、基于多个包含点属性信息的节点,以及包含边属性信息的连接边,生成目标道路对应的道路拓扑图。
基于同一发明构思,本公开实施例中还提供了与拓扑图生成方法对应的拓扑图生成装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述拓扑图生成方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图4所示,为本公开实施例提供的一种拓扑图生成装置的结构示意图,所述装置包括:获取模块401、第一确定模块402、第二确定模块403、生成模块404,其中:
获取模块401,用于获取目标道路对应的多条车辆轨迹的轨迹数据;其中所述车辆轨迹的轨迹数据包括多个轨迹点分别对应的轨迹点属性,所述轨迹点属性包含:道路数据、和车辆位于所述轨迹点时的姿态数据;
第一确定模块402,用于基于各条所述车辆轨迹的轨迹数据,对所述多条车辆轨迹进行融合处理,生成多个节点以及每个节点的点属性信息;
第二确定模块403,用于基于所述目标道路上所述多条车辆轨迹,确定具有连接关系的两个节点之间的连接边,并基于与所述节点匹配的轨迹点的轨迹点属性,确定所述连接边的边属性信息;
生成模块404,用于基于多个包含所述点属性信息的节点,以及包含所述边属性信息的连接边,生成所述目标道路对应的道路拓扑图。
一种可选的实施方式中,所述第一确定模块402,在基于各条所述车辆轨迹的轨迹数据,对所述多条车辆轨迹的轨迹点进行融合处理,生成多个节点以及每个节点的点属性信息时,用于:
针对每条所述车辆轨迹,基于所述车辆轨迹的轨迹数据,从所述车辆轨迹包括的多个轨迹点中确定目标轨迹点;其中所述目标轨迹点包括:车辆轨迹中与相邻轨迹点相比、道路数据发生变化的第一轨迹点,以及用于确定道路形状的第二轨迹点;
将多条所述车辆轨迹包括的所述目标轨迹点进行融合处理,得到多个节点、以及每个所述节点的点属性信息。
一种可选的实施方式中,所述第一确定模块402,在将多条所述车辆轨迹包括的所述目标轨迹点进行融合处理,得到多个节点、以及每个所述节点的点属性信息时,用于:
从多条所述车辆轨迹包括的所述目标轨迹点中选取当前轨迹点,并从多条所述车辆轨迹包括的目标轨迹点中,确定与所述当前轨迹点之间的距离小于预设距离值的候选轨迹点;
针对每个所述候选轨迹点,若确定所述候选轨迹点的道路数据、与所述当前轨迹点的道路数据相同,且轨迹点方向与所述当前轨迹点的轨迹点方向相同,则确定所述候选轨迹点属于与所述当前轨迹点匹配的邻近轨迹点;其中所述轨迹点方向为包含轨迹点的车辆轨迹指示的车辆行驶方向;
基于所述邻近轨迹点和所述当前轨迹点分别对应的位姿数据,将所述邻近轨迹点和所述当前轨迹点进行融合处理,得到与所述当前轨迹点匹配的节点、以及所述节点的点属性信息;
从多条所述车辆轨迹包括的所述目标轨迹点中,将所述当前轨迹点和所述邻近轨迹点筛掉,得到多条所述车辆轨迹包括的更新后的目标轨迹点;
从多条所述车辆轨迹包括的更新后的目标轨迹点中选取新的当前轨迹点,返回至从多条所述车辆轨迹包括的目标轨迹点中,确定与所述当前轨迹点之间的距离小于预设距离值的候选轨迹点的步骤,直至多条所述车辆轨迹中不存在未被选取的目标轨迹点为止。
一种可选的实施方式中,所述第一确定模块402,在基于所述邻近轨迹点和所述当前轨迹点分别对应的位姿数据,将所述邻近轨迹点和所述当前轨迹点进行融合处理,得到与所述当前轨迹点匹配的节点、以及所述节点的点属性信息时,用于:
基于所述邻近轨迹点和所述当前轨迹点分别对应的位姿数据,构建约束指标,其中所述约束指标用于指示所述邻近轨迹点和所述当前轨迹点在目标方向上的坐标信息不变,所述目标方向为在水平面上与所述目标道路的行驶方向垂直的方向;
基于所述约束指标,对所述邻近轨迹点和所述当前轨迹点分别对应的位姿数据进行调整,生成所述邻近轨迹点和所述当前轨迹点分别对应的调整后位姿数据;
将所述邻近轨迹点和所述当前轨迹点分别对应的调整后位姿数据进行融合,得到融合后轨迹点、和所述融合后轨迹点的位姿数据;
将所述融合后轨迹点确定为节点,并基于所述融合后轨迹点的位姿数据,确定所述节点的点属性信息,所述点属性信息包括节点标识、节点坐标和节点类型。
一种可选的实施方式中,所述第二确定模块403,在基于所述目标道路上所述多条车辆轨迹,确定具有连接关系的两个节点之间的连接边时,用于:
针对每条车辆轨迹,确定匹配所述车辆轨迹的至少部分节点中,具有连接关系的两个节点之间的连接边;
将多条车辆轨迹下确定的所述连接边进行融合,得到所述目标道路内具有连接关系的两个节点之间的连接边。
一种可选的实施方式中,所述获取模块401,在获取目标道路对应的多条车辆轨迹的轨迹数据时,用于:
获取在所述目标道路行驶的多条车辆轨迹,所述车辆轨迹包含的每个轨迹点关联有姿态数据;以及获取车辆在每个所述轨迹点时采集的场景数据;
针对每个轨迹点,对所述轨迹点对应的所述场景数据进行检测,确定所述轨迹点对应的道路数据;并基于所述轨迹点对应的所述姿态数据和所述道路数据,确定所述轨迹点的轨迹点属性;
基于每条所述车辆轨迹上各个轨迹点分别对应的轨迹点属性,生成所述车辆轨迹的轨迹数据。
一种可选的实施方式中,所述装置还包括:控制模块405,用于:
获取目标车辆在所述目标道路行驶的实时行驶数据;
基于所述道路拓扑图、和所述目标车辆的实时行驶数据,生成所述目标车辆对应的控制策略。
关于装置中的各组成部分的处理流程、以及各组成部分之间的交互流程的描述,并不意味着严格的处理流程和交互流程而对实施过程构成任何限定,各组成部分的处理流程、和交互流程应当以其功能和可能的内在逻辑确定。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
基于同一技术构思,本公开实施例还提供了一种计算机设备。参照图5所示,为本公开实施例提供的计算机设备的结构示意图,包括处理器501、存储器502、和总线503。其中,存储器502用于存储执行指令,包括内存5021和外部存储器5022;这里的内存5021也称内存储器,用于暂时存放处理器501中的运算数据,以及与硬盘等外部存储器5022交换的数据,处理器501通过内存5021与外部存储器5022进行数据交换,当计算机设备500运行时,处理器501与存储器502之间通过总线503通信,使得处理器501在执行以下指令:
获取目标道路对应的多条车辆轨迹的轨迹数据;其中所述车辆轨迹的轨迹数据包括多个轨迹点分别对应的轨迹点属性,所述轨迹点属性包含:道路数据、和车辆位于所述轨迹点时的姿态数据;
基于各条所述车辆轨迹的轨迹数据,对所述多条车辆轨迹的轨迹点进行融合处理,生成多个节点以及每个节点的点属性信息;
基于所述目标道路上所述多条车辆轨迹,确定具有连接关系的两个节点之间的连接边,并基于与所述节点匹配的轨迹点的轨迹点属性,确定所述连接边的边属性信息;
基于多个包含所述点属性信息的节点,以及包含所述边属性信息的连接边,生成所述目标道路对应的道路拓扑图。
此外,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的拓扑图生成方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品,包括计算机程序/指令,当所述计算机程序/指令处理器被执行时实现如本公开各实施例提供的拓扑图生成方法。
本公开实施例中的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时,全部或部分地执行本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备、核心网设备、OAM或者其它可编程装置。
所述计算机程序或指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,例如,软盘、硬盘、磁带;也可以是光介质,例如,数字视频光盘;还可以是半导体介质,例如,固态硬盘。该计算机可读存储介质可以是易失性或非易失性存储介质,或可包括易失性和非易失性两种类型的存储介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种拓扑图生成方法,其特征在于,包括:
获取目标道路对应的多条车辆轨迹的轨迹数据;其中所述车辆轨迹的轨迹数据包括多个轨迹点分别对应的轨迹点属性,所述轨迹点属性包含:道路数据、和车辆位于所述轨迹点时的姿态数据;
基于各条所述车辆轨迹的轨迹数据,对所述多条车辆轨迹的轨迹点进行融合处理,生成多个节点以及每个节点的点属性信息;
基于所述目标道路上所述多条车辆轨迹,确定具有连接关系的两个节点之间的连接边,并基于与所述节点匹配的轨迹点的轨迹点属性,确定所述连接边的边属性信息;
基于多个包含所述点属性信息的节点,以及包含所述边属性信息的连接边,生成所述目标道路对应的道路拓扑图。
2.根据权利要求1所述的方法,其特征在于,所述基于各条所述车辆轨迹的轨迹数据,对所述多条车辆轨迹的轨迹点进行融合处理,生成多个节点以及每个节点的点属性信息,包括:
针对每条所述车辆轨迹,基于所述车辆轨迹的轨迹数据,从所述车辆轨迹包括的多个轨迹点中确定目标轨迹点;其中所述目标轨迹点包括:车辆轨迹中与相邻轨迹点相比、道路数据发生变化的第一轨迹点,以及用于确定道路形状的第二轨迹点;
将多条所述车辆轨迹包括的所述目标轨迹点进行融合处理,得到多个节点、以及每个所述节点的点属性信息。
3.根据权利要求2所述的方法,其特征在于,所述将多条所述车辆轨迹包括的所述目标轨迹点进行融合处理,得到多个节点、以及每个所述节点的点属性信息,包括:
从多条所述车辆轨迹包括的所述目标轨迹点中选取当前轨迹点,并从多条所述车辆轨迹包括的目标轨迹点中,确定与所述当前轨迹点之间的距离小于预设距离值的候选轨迹点;
针对每个所述候选轨迹点,若确定所述候选轨迹点的道路数据、与所述当前轨迹点的道路数据相同,且轨迹点方向与所述当前轨迹点的轨迹点方向相同,则确定所述候选轨迹点属于与所述当前轨迹点匹配的邻近轨迹点;其中所述轨迹点方向为包含轨迹点的车辆轨迹指示的车辆行驶方向;
基于所述邻近轨迹点和所述当前轨迹点分别对应的位姿数据,将所述邻近轨迹点和所述当前轨迹点进行融合处理,得到与所述当前轨迹点匹配的节点、以及所述节点的点属性信息;
从多条所述车辆轨迹包括的所述目标轨迹点中,将所述当前轨迹点和所述邻近轨迹点筛掉,得到多条所述车辆轨迹包括的更新后的目标轨迹点;
从多条所述车辆轨迹包括的更新后的目标轨迹点中选取新的当前轨迹点,返回至从多条所述车辆轨迹包括的目标轨迹点中,确定与所述当前轨迹点之间的距离小于预设距离值的候选轨迹点的步骤,直至多条所述车辆轨迹中不存在未被选取的目标轨迹点为止。
4.根据权利要求3所述的方法,其特征在于,所述基于所述邻近轨迹点和所述当前轨迹点分别对应的位姿数据,将所述邻近轨迹点和所述当前轨迹点进行融合处理,得到与所述当前轨迹点匹配的节点、以及所述节点的点属性信息,包括:
基于所述邻近轨迹点和所述当前轨迹点分别对应的位姿数据,构建约束指标,其中所述约束指标用于指示所述邻近轨迹点和所述当前轨迹点在目标方向上的坐标信息不变,所述目标方向为在水平面上与所述目标道路的行驶方向垂直的方向;
基于所述约束指标,对所述邻近轨迹点和所述当前轨迹点分别对应的位姿数据进行调整,生成所述邻近轨迹点和所述当前轨迹点分别对应的调整后位姿数据;
将所述邻近轨迹点和所述当前轨迹点分别对应的调整后位姿数据进行融合,得到融合后轨迹点、和所述融合后轨迹点的位姿数据;
将所述融合后轨迹点确定为节点,并基于所述融合后轨迹点的位姿数据,确定所述节点的点属性信息,所述点属性信息包括节点标识、节点坐标和节点类型。
5.根据权利要求1所述的方法,其特征在于,所述基于所述目标道路上所述多条车辆轨迹,确定具有连接关系的两个节点之间的连接边,包括:
针对每条车辆轨迹,确定匹配所述车辆轨迹的至少部分节点中,具有连接关系的两个节点之间的连接边;
将多条车辆轨迹下确定的所述连接边进行融合,得到所述目标道路内具有连接关系的两个节点之间的连接边。
6.根据权利要求1所述的方法,其特征在于,所述获取目标道路对应的多条车辆轨迹的轨迹数据,包括:
获取在所述目标道路行驶的多条车辆轨迹,所述车辆轨迹包含的每个轨迹点关联有姿态数据;以及获取车辆在每个所述轨迹点时采集的场景数据;
针对每个轨迹点,对所述轨迹点对应的所述场景数据进行检测,确定所述轨迹点对应的道路数据;并基于所述轨迹点对应的所述姿态数据和所述道路数据,确定所述轨迹点的轨迹点属性;
基于每条所述车辆轨迹上各个轨迹点分别对应的轨迹点属性,生成所述车辆轨迹的轨迹数据。
7.根据权利要求1-6任一所述的方法,其特征在于,所述方法还包括:
获取目标车辆在所述目标道路行驶的实时行驶数据;
基于所述道路拓扑图、和所述目标车辆的实时行驶数据,生成所述目标车辆对应的控制策略。
8.一种拓扑图生成装置,其特征在于,包括:
获取模块,用于获取目标道路对应的多条车辆轨迹的轨迹数据;其中所述车辆轨迹的轨迹数据包括多个轨迹点分别对应的轨迹点属性,所述轨迹点属性包含:道路数据、和车辆位于所述轨迹点时的姿态数据;
第一确定模块,用于基于各条所述车辆轨迹的轨迹数据,对所述多条车辆轨迹进行融合处理,生成多个节点以及每个节点的点属性信息;
第二确定模块,用于基于所述目标道路上所述多条车辆轨迹,确定具有连接关系的两个节点之间的连接边,并基于与所述节点匹配的轨迹点的轨迹点属性,确定所述连接边的边属性信息;
生成模块,用于基于多个包含所述点属性信息的节点,以及包含所述边属性信息的连接边,生成所述目标道路对应的道路拓扑图。
9.一种计算机设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的拓扑图生成方法的步骤。
10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至7任一所述的拓扑图生成方法的步骤。
CN202311212775.0A 2023-09-19 2023-09-19 拓扑图生成方法、装置、计算机设备及存储介质 Active CN116958316B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311212775.0A CN116958316B (zh) 2023-09-19 2023-09-19 拓扑图生成方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311212775.0A CN116958316B (zh) 2023-09-19 2023-09-19 拓扑图生成方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN116958316A true CN116958316A (zh) 2023-10-27
CN116958316B CN116958316B (zh) 2023-12-08

Family

ID=88454968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311212775.0A Active CN116958316B (zh) 2023-09-19 2023-09-19 拓扑图生成方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN116958316B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351117A (zh) * 2023-11-29 2024-01-05 之江实验室 一种道路结构的更新方法、装置、存储介质、设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013208521A1 (de) * 2013-05-08 2014-11-13 Bayerische Motoren Werke Aktiengesellschaft Kollektives Erlernen eines hochgenauen Straßenmodells
CN110599570A (zh) * 2019-09-17 2019-12-20 武汉中海庭数据技术有限公司 基于众包数据开放场景下的地图生成方法及系统
CN111006667A (zh) * 2019-12-09 2020-04-14 东风商用车有限公司 高速场景下的自动驾驶轨迹生成系统
CN111380543A (zh) * 2018-12-29 2020-07-07 沈阳美行科技有限公司 地图数据生成方法及装置
CN112344947A (zh) * 2020-11-23 2021-02-09 北京嘀嘀无限科技发展有限公司 地图匹配方法、装置、电子设备和计算机可读存储介质
CN114691809A (zh) * 2022-03-30 2022-07-01 阿波罗智联(北京)科技有限公司 道路轨迹确定方法及装置、电子设备和介质
US20230104225A1 (en) * 2021-12-10 2023-04-06 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. Method for fusing road data to generate a map, electronic device, and storage medium
CN116182794A (zh) * 2023-04-25 2023-05-30 智道网联科技(北京)有限公司 高精地图路面高度生成方法、装置、电子设备和存储介质
CN116399363A (zh) * 2023-05-15 2023-07-07 上海友道智途科技有限公司 狭窄道路的轨迹规划方法、装置、电子设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013208521A1 (de) * 2013-05-08 2014-11-13 Bayerische Motoren Werke Aktiengesellschaft Kollektives Erlernen eines hochgenauen Straßenmodells
CN111380543A (zh) * 2018-12-29 2020-07-07 沈阳美行科技有限公司 地图数据生成方法及装置
CN110599570A (zh) * 2019-09-17 2019-12-20 武汉中海庭数据技术有限公司 基于众包数据开放场景下的地图生成方法及系统
CN111006667A (zh) * 2019-12-09 2020-04-14 东风商用车有限公司 高速场景下的自动驾驶轨迹生成系统
CN112344947A (zh) * 2020-11-23 2021-02-09 北京嘀嘀无限科技发展有限公司 地图匹配方法、装置、电子设备和计算机可读存储介质
US20230104225A1 (en) * 2021-12-10 2023-04-06 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. Method for fusing road data to generate a map, electronic device, and storage medium
CN114691809A (zh) * 2022-03-30 2022-07-01 阿波罗智联(北京)科技有限公司 道路轨迹确定方法及装置、电子设备和介质
CN116182794A (zh) * 2023-04-25 2023-05-30 智道网联科技(北京)有限公司 高精地图路面高度生成方法、装置、电子设备和存储介质
CN116399363A (zh) * 2023-05-15 2023-07-07 上海友道智途科技有限公司 狭窄道路的轨迹规划方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351117A (zh) * 2023-11-29 2024-01-05 之江实验室 一种道路结构的更新方法、装置、存储介质、设备
CN117351117B (zh) * 2023-11-29 2024-03-08 之江实验室 一种道路结构的更新方法、装置、存储介质、设备

Also Published As

Publication number Publication date
CN116958316B (zh) 2023-12-08

Similar Documents

Publication Publication Date Title
CN109186617B (zh) 一种基于视觉众包数据自动生成车道级拓扑关系的方法、系统及存储器
JP7077517B2 (ja) 自律車両ナビゲーションで使用する陸標を識別するシステム、及び、自律車両ナビゲーションで使用する陸標を識別する方法
CN108303103B (zh) 目标车道的确定方法和装置
JP6197393B2 (ja) レーン地図生成装置及びプログラム
CN110220521B (zh) 一种高精地图的生成方法和装置
CN106980657A (zh) 一种基于信息融合的车道级电子地图构建方法
US9983307B2 (en) Method for providing information about at least one object in a surrounding region of a motor vehicle and system
WO2020125686A1 (zh) 实时相对地图的生成方法,智能驾驶设备以及计算机存储介质
CN116958316B (zh) 拓扑图生成方法、装置、计算机设备及存储介质
CN111739323B (zh) 一种路口信息的采集方法及装置
CN108332761B (zh) 一种使用及创建路网地图信息的方法与设备
CN109256028A (zh) 一种用于无人驾驶的高精度路网自动生成的方法
CN109031382B (zh) 一种基于停车位的高精度道路计算匹配方法及系统
US20210199786A1 (en) Method and system for navigating autonomous ground vehicle using radio signal and vision sensor
CN111982135B (zh) 一种基于不同协议的地图格式之间的转换方法
CN114111775A (zh) 一种多传感器融合定位方法、装置、存储介质及电子设备
CN114234991A (zh) 导航路径规划方法、装置、计算机设备和存储介质
CN113494917A (zh) 地图构建方法及系统、制定导航策略的方法以及存储介质
Boubakri et al. High definition map update for autonomous and connected vehicles: A survey
CN113157842A (zh) 一种地图生成方法、装置、电子设备及可读存储介质
Flade et al. Lane detection based camera to map alignment using open-source map data
CN115423965A (zh) 地图构建方法、设备、车辆和存储介质
Si et al. TOM-Odometry: A generalized localization framework based on topological map and odometry
CN112833891A (zh) 基于卫片识别的道路数据与车道级地图数据的融合方法
CN115493603B (zh) 地图对齐方法、计算机设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant