CN113945219A - 动态地图生成方法、系统、可读存储介质及终端设备 - Google Patents
动态地图生成方法、系统、可读存储介质及终端设备 Download PDFInfo
- Publication number
- CN113945219A CN113945219A CN202111143104.4A CN202111143104A CN113945219A CN 113945219 A CN113945219 A CN 113945219A CN 202111143104 A CN202111143104 A CN 202111143104A CN 113945219 A CN113945219 A CN 113945219A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- dimensional point
- information
- vehicle
- cloud information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000000605 extraction Methods 0.000 claims abstract description 51
- 238000004590 computer program Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请属于自动驾驶技术领域,尤其涉及一种动态地图生成方法、系统、计算机可读存储介质及终端设备。所述方法包括:获取目标车辆在预设的第一车辆坐标系下的第一三维点云信息,所述第一三维点云信息由预设的车辆信息提取单元采集;获取所述目标车辆在预设的第二车辆坐标系下的第二三维点云信息,所述第二三维点云信息由路侧采集单元采集;根据所述第二三维点云信息将所述第一三维点云信息转换为在地图坐标系下的第三三维点云信息;将所述第三三维点云信息叠加到预设的地图上,生成动态地图。通过本申请,车辆在动态地图中可以以三维点云的形式进行呈现,能够精准地表示车辆的实际状态,基于该动态地图可以实现更高精度的车路协同自动驾驶功能。
Description
技术领域
本申请属于自动驾驶技术领域,尤其涉及一种动态地图生成方法、系统、计算机可读存储介质及终端设备。
背景技术
为了解决隧道内交通事故多、安全隐患大的问题,可以在隧道内均匀布设多个路侧采集单元,根据车辆的位置变化生成动态地图,并通过与车载单元的交互来实现车路协同自动驾驶功能。
但是,在现有的动态地图中,车辆的位置通常只是通过车辆的某一局部点的位置来表征,在该位置上车辆是以图标或者简易模型的形式进行呈现,只能用于粗略表示车辆的大致状态,难以基于该动态地图来实现更高精度的车路协同自动驾驶功能。
发明内容
有鉴于此,本申请实施例提供了一种动态地图生成方法、系统、计算机可读存储介质及终端设备,以解决现有的动态地图只能粗略表示车辆的大致状态,难以基于该动态地图来实现更高精度的车路协同自动驾驶功能的问题。
本申请实施例的第一方面提供了一种动态地图生成方法,可以包括:
获取目标车辆在预设的第一车辆坐标系下的第一三维点云信息,所述第一三维点云信息由预设的车辆信息提取单元采集;
获取所述目标车辆在预设的第二车辆坐标系下的第二三维点云信息,所述第二三维点云信息由路侧采集单元采集;
根据所述第二三维点云信息将所述第一三维点云信息转换为在预设的地图坐标系下的第三三维点云信息;
将所述第三三维点云信息叠加到预设的地图上,生成动态地图。
在第一方面的一种具体实现方式中,所述根据所述第二三维点云信息将所述第一三维点云信息转换为在预设的地图坐标系下的第三三维点云信息,可以包括:
根据所述第二三维点云信息将所述第一三维点云信息转换为在所述第二车辆坐标系下的第四三维点云信息;
根据所述路侧采集单元在所述地图坐标系下的位姿将所述第四三维点云信息转换为在所述地图坐标系下的第三三维点云信息。
在第一方面的一种具体实现方式中,所述获取所述目标车辆在预设的第二车辆坐标系下的第二三维点云信息,可以包括:
获取所述目标车辆在预设的路侧采集单元坐标系下的第五三维点云信息;
根据所述路侧采集单元坐标系和所述第二车辆坐标系之间的转换矩阵,将所述第五三维点云信息转换为所述第二三维点云信息。
在第一方面的一种具体实现方式中,在根据所述第二三维点云信息将所述第一三维点云信息转换为在所述第二车辆坐标系下的第四三维点云信息之前,还可以包括:
根据所述第一三维点云信息确定所述第一车辆坐标系在所述地图坐标系下的第一方位角;
根据所述第五三维点云信息和所述路侧采集单元在所述地图坐标系下的位姿确定所述第二车辆坐标系在所述地图坐标系下的第二方位角;
所述根据所述第二三维点云信息将所述第一三维点云信息转换为在所述第二车辆坐标系下的第四三维点云信息可以包括:
将所述第一三维点云信息与所述第二三维点云信息进行匹配,得到两者之间的匹配信息;
根据所述第一方位角、所述第二方位角和所述匹配信息将所述第一三维点云信息转换为所述第四三维点云信息。
在第一方面的一种具体实现方式中,所述根据所述路侧采集单元在所述地图坐标系下的位姿将所述第四三维点云信息转换为在所述地图坐标系下的第三三维点云信息,可以包括:
根据所述第二车辆坐标系和所述路侧采集单元坐标系之间的转换矩阵,将所述第四三维点云信息转换为在所述路侧采集单元坐标系下的第六三维点云信息;
根据所述路侧采集单元在所述地图坐标系下的位姿将所述第六三维点云信息转换为所述第三三维点云信息。
在第一方面的一种具体实现方式中,在根据所述第二三维点云信息将所述第一三维点云信息转换为在所述第二车辆坐标系下的第四三维点云信息之前,还可以包括:
获取所述车辆信息提取单元采集的所述目标车辆的特征信息,所述特征信息包括车牌信息、车标信息、车款信息和/或时间信息;
获取所述路侧采集单元采集的所述目标车辆的特征信息;
根据所述车辆信息提取单元和所述路侧采集单元采集的特征信息确定与所述第二三维点云信息匹配的所述第一三维点云信息。
本申请实施例的第二方面提供了一种动态地图生成系统,可以包括:
车辆信息提取单元、若干个路侧采集单元和边缘计算单元;
所述车辆信息提取单元架设在道路上方,包括若干个激光雷达,所述车辆信息提取单元的激光雷达用于从道路上方采集目标车辆的三维点云数据;
所述路侧采集单元沿车辆行驶方向依次布设,包括若干个激光雷达,所述路侧采集单元的激光雷达用于从路侧采集所述目标车辆的三维点云数据;
所述边缘计算单元分别与所述车辆信息提取单元和所述路侧采集单元连接,用于接收所述车辆信息提取单元和所述路侧采集单元采集的三维点云数据,并根据所述车辆信息提取单元和所述路侧采集单元采集的三维点云数据生成动态地图。
在第二方面的一种具体实现方式中,所述车辆信息提取单元还包括若干个摄像装置,所述车辆信息提取单元的摄像装置用于从道路上方采集所述目标车辆的特征信息,所述特征信息包括车牌信息、车标信息、车款信息和/或时间信息;
所述路侧采集单元还包括若干个摄像装置,所述路侧采集单元的摄像装置用于从路侧采集所述目标车辆的车牌信息;
所述边缘计算单元还用于接收所述车辆信息提取单元和所述路侧采集单元采集的车牌信息,并根据所述车辆信息提取单元和所述路侧采集单元采集的特征信息对所述车辆信息提取单元和所述路侧采集单元采集的三维点云数据进行匹配。
在第二方面的一种具体实现方式中,所述路侧采集单元的激光雷达分别安装在道路上方的第一门架和第二门架上;所述第一门架和所述第二门架沿车辆行驶方向依次布设,且所述第一门架和所述第二门架之间的距离大于预设的距离阈值;所述第一门架上的激光雷达沿垂直于车辆行驶方向扫描,所述第二门架上的激光雷达沿平行于车辆行驶方向扫描;
所述路侧采集单元的摄像装置安装在所述第二门架上。
本申请实施例的第三方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述任一种动态地图生成方法的步骤。
本申请实施例的第四方面提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任一种动态地图生成方法的步骤。
本申请实施例的第五方面提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行上述任一种动态地图生成方法的步骤。
本申请实施例与现有技术相比存在的有益效果是:本申请实施例通过车辆信息提取单元采集目标车辆的第一三维点云信息,通过路侧采集单元采集目标车辆的第二三维点云信息,根据第二三维点云信息,可以将第一三维点云信息转换到地图坐标系下,并叠加到地图上,从而生成动态地图。通过本申请,车辆在动态地图中可以以三维点云的形式进行呈现,能够精准地表示车辆的实际状态,基于该动态地图可以实现更高精度的车路协同自动驾驶功能。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本申请实施例中一种动态地图生成系统的示意图;
图2为车辆信息提取单元的一种具体布局方式的示意图;
图3为本申请实施例中一种动态地图生成方法的示意流程图;
图4为获取目标车辆在预设的第二车辆坐标系下的第二三维点云信息的示意流程图;
图5为将第三三维点云信息叠加到预设的地图上,生成动态地图的示意图。
图6为本申请实施例中一种终端设备的示意框图。
具体实施方式
为使得本申请的发明目的、特征、优点能够更加的明显和易懂,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本申请一部分实施例,而非全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请实施例中,提供了一种动态地图生成系统,图1为动态地图生成系统的示意图,如图所示,动态地图生成系统可以包括车辆信息提取单元1、若干个路侧采集单元2和边缘计算单元3。
车辆信息提取单元1架设在道路上方,可以包括若干个激光雷达11以及若干个摄像装置12,激光雷达11用于从道路上方采集目标车辆的三维点云数据,摄像装置12用于从道路上方采集目标车辆的特征信息,该特征信息可以包括但不限于车牌信息、车标信息、车款信息和/或时间信息。
车辆信息提取单元1的具体布局方式可以根据实际情况进行设置。图2所示为两车道情况下的一种典型布局方式,如图所示,激光雷达11分别安装在道路上方的第一门架4和第二门架5上,第一门架4和第二门架5沿车辆行驶方向依次布设,且第一门架4和第二门架5之间的距离大于预设的距离阈值,该距离阈值可以根据实际情况进行设置,本申请实施例对其不作具体限定。其中,三个激光雷达11安装在第一门架4上,且分别位于三条车道线的上方,沿垂直于车辆行驶方向扫描。两个激光雷达11安装在第二门架5上,且分别位于两条车道中心线的上方,沿平行于车辆行驶方向扫描。两个摄像装置12分别安装在第二门架5上,且分别位于两条车道中心线的上方。在这种布局方式下,即使在车辆并行或车辆相互之间存在遮挡的情况下,车辆信息提取单元1也能获取到目标车辆完整的三维点云数据。
需要注意的是,图2所示仅为车辆信息提取单元1的布局方式的一个示例,而非对其进行限定。车辆信息提取单元1还可以采用其它的布局方式,但需尽量采集到较完整的三维点云数据。
路侧采集单元2沿车辆行驶方向依次布设,可以包括若干个激光雷达21以及若干个摄像装置22,激光雷达21用于从路侧采集目标车辆的三维点云数据,摄像装置22用于从路侧采集目标车辆的特征信息。
边缘计算单元3分别与车辆信息提取单元1和路侧采集单元2建立有数据通信连接,使用的数据通信技术可以包括但不限于基于LTE的车用无线通信技术(LTE Vehicle toEverything,LTE-V2X)、基于5G的车用无线通信技术(5G Vehicle to Everything,5G-V2X)、基于专用短程通信的车用无线通信技术(Dedicated Short Range CommunicationVehicle to Everything,DSRC-V2X)等数据通信技术。
边缘计算单元3可以接收车辆信息提取单元1和路侧采集单元2采集的三维点云数据,并根据车辆信息提取单元1和路侧采集单元2采集的三维点云数据生成动态地图。
边缘计算单元3还可以接收车辆信息提取单元1和路侧采集单元2采集的特征信息,并根据车辆信息提取单元1和路侧采集单元2采集的特征信息对车辆信息提取单元1和路侧采集单元2采集的三维点云数据进行匹配,以确保所针对的是同一车辆。
基于上述的动态地图生成系统,本申请实施例提供了一种动态地图生成方法,如图3所示,该动态地图生成方法具体可以包括如下步骤:
步骤S301、获取目标车辆在预设的第一车辆坐标系下的第一三维点云信息。
当目标车辆行驶入车辆信息提取单元1的感知范围时,车辆信息提取单元1可以通过激光雷达11确定目标车辆的位置,并以目标车辆的中心为原点,垂直于目标车辆行驶的方向为X轴,沿目标车辆行驶的方向为Y轴,竖直向上为Z轴建立一个坐标系,将其记为第一车辆坐标系。在第一车辆坐标系下,车辆信息提取单元1可以采集目标车辆的三维点云信息,将其记为第一三维点云信息。根据第一三维点云信息可以确定第一车辆坐标系在地图坐标系下的方位角,将其记为第一方位角,其中,地图坐标系即为在地图中所使用的坐标系。车辆信息提取单元1还可以采集目标车辆的特征信息,该特征信息可以包括但不限于车牌信息、车标信息、车款信息和/或时间信息。
以图2所示的布局方式为例,当目标车辆位于两车道中的第一车道时,位于第一车道的车道线的上方的两个激光雷达11和位于第一车道的车道中心线的上方的激光雷达11采集目标车辆的三维点云数据,位于第一车道的车道中心线的上方的摄像装置12采集目标车辆的车牌信息。当目标车辆位于两车道中的第二车道时,位于第二车道的车道线的上方的两个激光雷达11和位于第二车道的车道中心线的上方的激光雷达11采集目标车辆的三维点云数据,位于第二车道的车道中心线的上方的摄像装置12采集目标车辆的特征信息。通过合理的布局,即使在车辆并行或车辆相互之间存在遮挡的情况下,车辆信息提取单元1也能获取到目标车辆较为完整的三维点云数据。
车辆信息提取单元1在采集到第一三维点云信息和特征信息之后,可以建立两者之间的绑定关系,并将第一三维点云信息和特征信息以及其它信息发送至边缘计算单元3,以便边缘计算单元3在获取到这些信息后,对其进行进一步地处理。
步骤S302、获取目标车辆在预设的第二车辆坐标系下的第二三维点云信息。
如图4所示,步骤S302具体可以包括如下过程:
步骤S3021、获取目标车辆在预设的路侧采集单元坐标系下的第五三维点云信息。
在本申请实施例中,可以以路侧采集单元2的中心为原点,垂直于路侧采集单元2的朝向道路的方向为X轴,沿路侧采集单元2的朝向道路的方向为Y轴,竖直向上为Z轴建立一个坐标系,将其记为路侧采集单元坐标系。
当目标车辆行驶入路侧采集单元2的感知范围时,在路侧采集单元坐标系下,路侧采集单元2可以采集目标车辆的三维点云信息,将其记为第五三维点云信息。由于路侧采集单元2是从路侧进行采集,因此采集得到的往往只是车辆一侧的三维点云信息,而且,在车辆并行或车辆相互之间存在遮挡的情况下,采集得到的三维点云信息就会更加有限。路侧采集单元2还可以采集目标车辆的特征信息。
进一步地,还可以获取路侧采集单元在地图坐标系下的位姿,即空间位置坐标和欧拉角,根据该位姿和第五三维点云信息可以确定第二车辆坐标系在地图坐标系下的方位角,将其记为第二方位角。
步骤S3022、根据路侧采集单元坐标系和第二车辆坐标系之间的转换矩阵,将第五三维点云信息转换为第二三维点云信息。
在本申请实施例中,当目标车辆行驶入路侧采集单元2的感知范围时,可以以目标车辆的中心为原点,垂直于目标车辆行驶的方向为X轴,沿目标车辆行驶的方向为Y轴,竖直向上为Z轴建立一个坐标系,将其记为第二车辆坐标系。根据路侧采集单元坐标系和第二车辆坐标系之间的转换矩阵,对第五三维点云信息进行坐标转换,可以得到目标车辆在第二车辆坐标系下的三维点云信息,将其记为第二三维点云信息。
路侧采集单元2在得到第二三维点云信息和特征信息之后,可以建立两者之间的绑定关系,并将第二三维点云信息和特征信息以及其它信息发送至边缘计算单元3,以便边缘计算单元3在获取到这些信息后,对其进行进一步地处理。
步骤S303、根据第二三维点云信息将第一三维点云信息转换为在地图坐标系下的第三三维点云信息。
在进行点云信息转换之前,边缘计算单元3可以根据车辆信息提取单元1采集的特征信息和路侧采集单元2采集的特征信息确定与第二三维点云信息匹配的第一三维点云信息。
首先对车辆信息提取单元1采集的车牌信息和路侧采集单元2采集的车牌信息进行比对,若两者一致,则说明针对的是同一车辆,可以对其进行点云信息转换。
当车牌信息无法识别时,则可以通过车辆的其他特征信息,如车标信息、车款信息和/或进行采集时的时间信息,结合点云匹配等方法确定和路侧采集单元2采集的第二三维点云信息匹配的第一三维点云信息。
具体地,可以通过车标信息、车款信息和/或时间信息执行模糊匹配,找到和路侧采集单元2采集的第二三维点云信息匹配的第一三维点云信息序列。如果经过模糊匹配得到的第一三维点云序列中仅包含一个第一三维点云信息,则确定该第一三维点云信息即为与路侧采集单元2采集的第二三维点云信息匹配的第一三维点云信息。
如果经过模糊匹配得到的第一三维点云信息序列中包含多个第一三维点云信息(分别记为N1、N2、……),则可以通过路侧采集单元2采集的第二三维点云信息和各个第一三维点云信息N1、N2、……分别进行精确匹配,从中确定与第二三维点云信息匹配的第一三维点云信息。
在本申请实施例的一种具体实现中,可以直接将第二三维点云信息和各个第一三维点云信息N1、N2、……分别进行局部特征匹配,包括匹配车辆外廓尺寸信息、车型信息等,从而确定与第二三维点云信息精确匹配的第一三维点云信息。
在本申请实施例的另一种具体实现中,可以将第二三维点云信息和各个第一三维点云信息N1、N2、……均转换为鸟瞰图或侧视图,通过图像匹配方法确定与第二三维点云信息精确匹配的第一三维点云信息。
当车牌信息、车标信息和车款信息均无法识别时,则可以通过时间信息执行模糊匹配。具体地,根据车辆通过车辆信息提取单元1的时间,选取该时间前后一段区间内的所有车辆,剔除已经通过车牌信息、车标信息、车款信息匹配上的车辆后,剩下的车辆作为模糊匹配结果,根据模糊匹配结果进行精确匹配,从中确定与第二三维点云信息匹配的第一三维点云信息。
当完成了第二三维点云信息和第一三维点云信息的匹配后,即可通过第二三维点云信息对车辆位置进行跟踪,在车辆持续跟踪过程中,直接采用上一时刻匹配成功后的第一三维点云信息与当前时刻的第二三维点云信息进行配准。
在进行点云信息转换的过程中,边缘计算单元3可以首先根据第二三维点云信息将第一三维点云信息转换为在第二车辆坐标系下的点云信息,将其记为第四三维点云信息。
第一三维点云信息和第二三维点云信息均是属于同一车辆的点云信息,但第一三维点云信息比第二三维点云信息更为完整,在本申请实施例中,可以根据第一方位角、第二方位角大致确定两者之间的对应关系,并采用随机抽样一致(Random Sample Consensus,RANSAC)以及迭代最近点(Iterative Closest Point,ICP)等点云配准算法将第一三维点云信息与第二三维点云信息进行匹配,得到两者之间精准的匹配信息,从而将第一三维点云信息转换到第二车辆坐标系中,得到第四三维点云信息。
在得到第四三维点云信息之后,边缘计算单元3可以进一步将其转换为在地图坐标系下的点云信息,将其记为第三三维点云信息。
具体地,首先根据第二车辆坐标系和路侧采集单元坐标系之间的转换矩阵将第四三维点云信息转换为在路侧采集单元坐标系下的点云信息,将其记为第六三维点云信息。然后,根据路侧采集单元在地图坐标系下的位姿将第六三维点云信息转换到地图坐标系中,从而得到第三三维点云信息。
步骤S304、将第三三维点云信息叠加到预设的地图上,生成动态地图。
通过在地图上叠加点云信息,车辆在地图中可以以三维点云的形式进行呈现,相比于现有的以图标或者简易模型的形式进行呈现的方式,能够更加精准地表示车辆的实际状态。在车辆的行驶过程中,车辆的点云信息也会随之在地图中进行更新,从而形成实时的动态效果。图5所示为动态地图生成过程的示意图,以其中的第一时刻为例,左上图为此时的第三三维点云信息,左下图为预设的地图,两者叠加后形成如右图所示的第一时刻的动态地图,此时车辆以点云的形式呈现在动态地图的位置A,类似地,在下一时刻,即图中所示的第二时刻,此时的第三三维点云信息和预设的地图叠加形成如右图所示的第二时刻的动态地图,此时车辆以点云的形式呈现在动态地图的位置B,后续各个时刻均以此类推,形成实时的动态效果。而且,本申请实施例中所叠加的第三三维点云信息较为完整,不会受到车辆并行或车辆相互之间相互遮挡的影响,基于该动态地图可以实现更高精度的车路协同自动驾驶功能。
需要注意的是,当车辆在路侧采集单元2的检测区域内行驶时,如果出现车辆被完全遮挡的情况,路侧采集单元2将无法采集到车辆的第二三维点云信息,此时可以通过前一时刻该车辆的第三三维点云信息结合卡尔曼滤波算法对车辆在地图坐标系中的位置进行估计和跟踪,当车辆再次出现在路侧采集单元2的视野中时,根据卡尔曼滤波算法的跟踪结果直接找到和此时车辆的第二三维点云信息匹配的第一三维点云信息,并通过前述的坐标转换过程将其叠加到地图上,以实现地图的动态更新。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
图6示出了本申请实施例提供的一种终端设备的示意框图,为了便于说明,仅示出了与本申请实施例相关的部分。
如图6所示,该实施例的终端设备6包括:处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62。所述处理器60执行所述计算机程序62时实现上述各个动态地图生成方法实施例中的步骤。
示例性的,所述计算机程序62可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器61中,并由所述处理器60执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序62在所述终端设备6中的执行过程。
所述终端设备6可以是上述各个动态地图生成方法实施例中的边缘计算单元3。本领域技术人员可以理解,图6仅仅是终端设备6的示例,并不构成对终端设备6的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端设备6还可以包括输入输出设备、网络接入设备、总线等。
所述处理器60可以是中央处理单元(Central Processing Unit,CPU),还可以是其它通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61可以是所述终端设备6的内部存储单元,例如终端设备6的硬盘或内存。所述存储器61也可以是所述终端设备6的外部存储设备,例如所述终端设备6上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器61还可以既包括所述终端设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述终端设备6所需的其它程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (11)
1.一种动态地图生成方法,其特征在于,包括:
获取目标车辆在预设的第一车辆坐标系下的第一三维点云信息,所述第一三维点云信息由预设的车辆信息提取单元采集;
获取所述目标车辆在预设的第二车辆坐标系下的第二三维点云信息,所述第二三维点云信息由路侧采集单元采集;
根据所述第二三维点云信息将所述第一三维点云信息转换为在预设的地图坐标系下的第三三维点云信息;
将所述第三三维点云信息叠加到预设的地图上,生成动态地图。
2.根据权利要求1所述的动态地图生成方法,其特征在于,所述根据所述第二三维点云信息将所述第一三维点云信息转换为在预设的地图坐标系下的第三三维点云信息,包括:
根据所述第二三维点云信息将所述第一三维点云信息转换为在所述第二车辆坐标系下的第四三维点云信息;
根据所述路侧采集单元在所述地图坐标系下的位姿将所述第四三维点云信息转换为在所述地图坐标系下的第三三维点云信息。
3.根据权利要求2所述的动态地图生成方法,其特征在于,所述获取所述目标车辆在预设的第二车辆坐标系下的第二三维点云信息,包括:
获取所述目标车辆在预设的路侧采集单元坐标系下的第五三维点云信息;
根据所述路侧采集单元坐标系和所述第二车辆坐标系之间的转换矩阵,将所述第五三维点云信息转换为所述第二三维点云信息。
4.根据权利要求3所述的动态地图生成方法,其特征在于,在根据所述第二三维点云信息将所述第一三维点云信息转换为在所述第二车辆坐标系下的第四三维点云信息之前,还包括:
根据所述第一三维点云信息确定所述第一车辆坐标系在所述地图坐标系下的第一方位角;
根据所述第五三维点云信息和所述路侧采集单元在所述地图坐标系下的位姿确定所述第二车辆坐标系在所述地图坐标系下的第二方位角;
所述根据所述第二三维点云信息将所述第一三维点云信息转换为在所述第二车辆坐标系下的第四三维点云信息包括:
将所述第一三维点云信息与所述第二三维点云信息进行匹配,得到两者之间的匹配信息;
根据所述第一方位角、所述第二方位角和所述匹配信息将所述第一三维点云信息转换为所述第四三维点云信息。
5.根据权利要求3所述的动态地图生成方法,其特征在于,所述根据所述路侧采集单元在所述地图坐标系下的位姿将所述第四三维点云信息转换为在所述地图坐标系下的第三三维点云信息,包括:
根据所述第二车辆坐标系和所述路侧采集单元坐标系之间的转换矩阵,将所述第四三维点云信息转换为在所述路侧采集单元坐标系下的第六三维点云信息;
根据所述路侧采集单元在所述地图坐标系下的位姿将所述第六三维点云信息转换为所述第三三维点云信息。
6.根据权利要求2至5中任一项所述的动态地图生成方法,其特征在于,在根据所述第二三维点云信息将所述第一三维点云信息转换为在所述第二车辆坐标系下的第四三维点云信息之前,还包括:
获取所述车辆信息提取单元采集的所述目标车辆的特征信息,所述特征信息包括车牌信息、车标信息、车款信息和/或时间信息;
获取所述路侧采集单元采集的所述目标车辆的特征信息;
根据所述车辆信息提取单元和所述路侧采集单元采集的特征信息确定与所述第二三维点云信息匹配的所述第一三维点云信息。
7.一种动态地图生成系统,其特征在于,包括:车辆信息提取单元、若干个路侧采集单元和边缘计算单元;
所述车辆信息提取单元架设在道路上方,包括若干个激光雷达,所述车辆信息提取单元的激光雷达用于从道路上方采集目标车辆的三维点云数据;
所述路侧采集单元沿车辆行驶方向依次布设,包括若干个激光雷达,所述路侧采集单元的激光雷达用于从路侧采集所述目标车辆的三维点云数据;
所述边缘计算单元分别与所述车辆信息提取单元和所述路侧采集单元连接,用于接收所述车辆信息提取单元和所述路侧采集单元采集的三维点云数据,并根据所述车辆信息提取单元和所述路侧采集单元采集的三维点云数据生成动态地图。
8.根据权利要求7所述的动态地图生成系统,其特征在于,所述车辆信息提取单元还包括若干个摄像装置,所述车辆信息提取单元的摄像装置用于从道路上方采集所述目标车辆的特征信息,所述特征信息包括车牌信息、车标信息、车款信息和/或时间信息;
所述路侧采集单元还包括若干个摄像装置,所述路侧采集单元的摄像装置用于从路侧采集所述目标车辆的特征信息;
所述边缘计算单元还用于接收所述车辆信息提取单元和所述路侧采集单元采集的车牌信息,并根据所述车辆信息提取单元和所述路侧采集单元采集的特征信息对所述车辆信息提取单元和所述路侧采集单元采集的三维点云数据进行匹配。
9.根据权利要求7至8中任一项所述的动态地图生成系统,其特征在于,所述路侧采集单元的激光雷达分别安装在道路上方的第一门架和第二门架上;所述第一门架和所述第二门架沿车辆行驶方向依次布设,且所述第一门架和所述第二门架之间的距离大于预设的距离阈值;所述第一门架上的激光雷达沿垂直于车辆行驶方向扫描,所述第二门架上的激光雷达沿平行于车辆行驶方向扫描;
所述路侧采集单元的摄像装置安装在所述第二门架上。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的动态地图生成方法的步骤。
11.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的动态地图生成方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111143104.4A CN113945219B (zh) | 2021-09-28 | 2021-09-28 | 动态地图生成方法、系统、可读存储介质及终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111143104.4A CN113945219B (zh) | 2021-09-28 | 2021-09-28 | 动态地图生成方法、系统、可读存储介质及终端设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113945219A true CN113945219A (zh) | 2022-01-18 |
CN113945219B CN113945219B (zh) | 2024-06-11 |
Family
ID=79329370
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111143104.4A Active CN113945219B (zh) | 2021-09-28 | 2021-09-28 | 动态地图生成方法、系统、可读存储介质及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113945219B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114863089A (zh) * | 2022-04-02 | 2022-08-05 | 天津港第二集装箱码头有限公司 | 自动驾驶感知数据的自动采集方法、装置、介质及设备 |
CN115230722A (zh) * | 2022-09-23 | 2022-10-25 | 北京小马易行科技有限公司 | 车辆控制方法、装置、计算机可读存储介质与处理器 |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107727106A (zh) * | 2016-08-10 | 2018-02-23 | 松下电器(美国)知识产权公司 | 动态地图构成方法、动态地图构成系统以及移动终端 |
CN108010360A (zh) * | 2017-12-27 | 2018-05-08 | 中电海康集团有限公司 | 一种基于车路协同的自动驾驶环境感知系统 |
US20180315240A1 (en) * | 2015-11-20 | 2018-11-01 | Mitsubishi Electric Corporation | Driving support apparatus, driving support system, driving support method, and computer readable recording medium |
CN109991984A (zh) * | 2019-04-22 | 2019-07-09 | 上海蔚来汽车有限公司 | 用于生成高精细地图的方法、装置和计算机存储介质 |
JP2019117435A (ja) * | 2017-12-26 | 2019-07-18 | パイオニア株式会社 | 画像生成装置 |
CN110411464A (zh) * | 2019-07-12 | 2019-11-05 | 中南大学 | 三维点云地图生成方法、装置、设备及存储介质 |
CN110570674A (zh) * | 2019-09-06 | 2019-12-13 | 杭州博信智联科技有限公司 | 车路协同数据交互方法、系统、电子设备及可读存储介质 |
CN110728693A (zh) * | 2019-09-27 | 2020-01-24 | 上海图趣信息科技有限公司 | 大规模行车路面三维点云的生成方法及系统 |
KR102083482B1 (ko) * | 2018-12-13 | 2020-03-02 | 국민대학교산학협력단 | 라이다 기반의 차량주행 가능영역 검출장치 및 방법 |
CN110927708A (zh) * | 2018-08-30 | 2020-03-27 | 百度在线网络技术(北京)有限公司 | 智能路侧单元的标定方法、装置及设备 |
CN111667545A (zh) * | 2020-05-07 | 2020-09-15 | 东软睿驰汽车技术(沈阳)有限公司 | 高精度地图生成方法、装置、电子设备及存储介质 |
CN111881245A (zh) * | 2020-08-04 | 2020-11-03 | 深圳裹动智驾科技有限公司 | 能见度动态地图的产生方法、装置、计算机设备及存储介质 |
CN112347218A (zh) * | 2020-11-12 | 2021-02-09 | 珠海云洲智能科技有限公司 | 无人船艇的环境地图生成方法及无人船艇感知系统 |
CN112414417A (zh) * | 2020-11-17 | 2021-02-26 | 智邮开源通信研究院(北京)有限公司 | 自动驾驶地图生成方法、装置、电子设备及可读存储介质 |
CN112762945A (zh) * | 2021-01-14 | 2021-05-07 | 佳都新太科技股份有限公司 | 高精度地图全要素采集设备的信息同步方法、系统及装置 |
JP2021099793A (ja) * | 2019-12-19 | 2021-07-01 | 富士通株式会社 | インテリジェント交通管制システム及びその制御方法 |
CN113156455A (zh) * | 2021-03-16 | 2021-07-23 | 武汉理工大学 | 基于路侧多激光雷达感知的车定位系统、方法、装置和介质 |
-
2021
- 2021-09-28 CN CN202111143104.4A patent/CN113945219B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180315240A1 (en) * | 2015-11-20 | 2018-11-01 | Mitsubishi Electric Corporation | Driving support apparatus, driving support system, driving support method, and computer readable recording medium |
CN107727106A (zh) * | 2016-08-10 | 2018-02-23 | 松下电器(美国)知识产权公司 | 动态地图构成方法、动态地图构成系统以及移动终端 |
JP2019117435A (ja) * | 2017-12-26 | 2019-07-18 | パイオニア株式会社 | 画像生成装置 |
CN108010360A (zh) * | 2017-12-27 | 2018-05-08 | 中电海康集团有限公司 | 一种基于车路协同的自动驾驶环境感知系统 |
CN110927708A (zh) * | 2018-08-30 | 2020-03-27 | 百度在线网络技术(北京)有限公司 | 智能路侧单元的标定方法、装置及设备 |
KR102083482B1 (ko) * | 2018-12-13 | 2020-03-02 | 국민대학교산학협력단 | 라이다 기반의 차량주행 가능영역 검출장치 및 방법 |
CN109991984A (zh) * | 2019-04-22 | 2019-07-09 | 上海蔚来汽车有限公司 | 用于生成高精细地图的方法、装置和计算机存储介质 |
CN110411464A (zh) * | 2019-07-12 | 2019-11-05 | 中南大学 | 三维点云地图生成方法、装置、设备及存储介质 |
CN110570674A (zh) * | 2019-09-06 | 2019-12-13 | 杭州博信智联科技有限公司 | 车路协同数据交互方法、系统、电子设备及可读存储介质 |
CN110728693A (zh) * | 2019-09-27 | 2020-01-24 | 上海图趣信息科技有限公司 | 大规模行车路面三维点云的生成方法及系统 |
JP2021099793A (ja) * | 2019-12-19 | 2021-07-01 | 富士通株式会社 | インテリジェント交通管制システム及びその制御方法 |
CN111667545A (zh) * | 2020-05-07 | 2020-09-15 | 东软睿驰汽车技术(沈阳)有限公司 | 高精度地图生成方法、装置、电子设备及存储介质 |
CN111881245A (zh) * | 2020-08-04 | 2020-11-03 | 深圳裹动智驾科技有限公司 | 能见度动态地图的产生方法、装置、计算机设备及存储介质 |
CN112347218A (zh) * | 2020-11-12 | 2021-02-09 | 珠海云洲智能科技有限公司 | 无人船艇的环境地图生成方法及无人船艇感知系统 |
CN112414417A (zh) * | 2020-11-17 | 2021-02-26 | 智邮开源通信研究院(北京)有限公司 | 自动驾驶地图生成方法、装置、电子设备及可读存储介质 |
CN112762945A (zh) * | 2021-01-14 | 2021-05-07 | 佳都新太科技股份有限公司 | 高精度地图全要素采集设备的信息同步方法、系统及装置 |
CN113156455A (zh) * | 2021-03-16 | 2021-07-23 | 武汉理工大学 | 基于路侧多激光雷达感知的车定位系统、方法、装置和介质 |
Non-Patent Citations (1)
Title |
---|
蔡军;赵原;李宇豪;解杨敏;: "一种三维激光扫描系统的设计及参数标定", 北京航空航天大学学报, no. 10 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114863089A (zh) * | 2022-04-02 | 2022-08-05 | 天津港第二集装箱码头有限公司 | 自动驾驶感知数据的自动采集方法、装置、介质及设备 |
CN115230722A (zh) * | 2022-09-23 | 2022-10-25 | 北京小马易行科技有限公司 | 车辆控制方法、装置、计算机可读存储介质与处理器 |
Also Published As
Publication number | Publication date |
---|---|
CN113945219B (zh) | 2024-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10217007B2 (en) | Detecting method and device of obstacles based on disparity map and automobile driving assistance system | |
CN108345822B (zh) | 一种点云数据处理方法及装置 | |
CN110110678B (zh) | 道路边界的确定方法和装置、存储介质及电子装置 | |
CN113945219B (zh) | 动态地图生成方法、系统、可读存储介质及终端设备 | |
CN113219462B (zh) | 基于时频图的目标识别方法、装置和终端设备 | |
CN110008891B (zh) | 一种行人检测定位方法、装置、车载计算设备及存储介质 | |
CN112634359B (zh) | 车辆防碰撞预警方法、装置、终端设备及存储介质 | |
CN113255444A (zh) | 图像识别模型的训练方法、图像识别方法和装置 | |
CN112183206B (zh) | 一种基于路侧单目摄像头的交通参与者定位方法和系统 | |
CN116343085A (zh) | 一种公路上的障碍物检测方法、系统、存储介质及终端 | |
CN108693517B (zh) | 车辆定位方法、装置和雷达 | |
CN112580695A (zh) | 一种车型识别方法、装置、存储介质及电子设备 | |
CN115402347A (zh) | 用于识别车辆的可行驶区域的方法及辅助驾驶方法 | |
CN116309943B (zh) | 一种停车场语义地图路网构建方法、装置及电子设备 | |
CN115601435B (zh) | 车辆姿态检测方法、装置、车辆及存储介质 | |
CN115578703A (zh) | 激光感知融合优化方法、装置、设备及可读存储介质 | |
WO2024198313A1 (zh) | 地面分割处理方法、装置、电子设备及介质 | |
CN117315407B (zh) | 对象的识别的方法和装置、存储介质及电子装置 | |
CN114373001B (zh) | 一种雷达和图像的联合标定方法及装置 | |
CN110884501B (zh) | 车辆感知的数据处理方法、装置、电子设备与存储介质 | |
CN115165383A (zh) | 基于视觉的车辆3d检测方法、系统及介质 | |
CN117274289A (zh) | 点云边界线覆盖度校验方法、装置、电子设备及存储介质 | |
CN117853702A (zh) | 点云图像中车辆的标注方法、装置、终端设备及存储介质 | |
CN118570757A (zh) | 车辆盲区目标检测跟踪方法、装置、电子设备及存储介质 | |
CN117593719A (zh) | 车位标注方法、模型训练方法、泊车方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |