CN115131761B - 道路边界的识别方法、绘制方法及装置 - Google Patents
道路边界的识别方法、绘制方法及装置 Download PDFInfo
- Publication number
- CN115131761B CN115131761B CN202211058800.XA CN202211058800A CN115131761B CN 115131761 B CN115131761 B CN 115131761B CN 202211058800 A CN202211058800 A CN 202211058800A CN 115131761 B CN115131761 B CN 115131761B
- Authority
- CN
- China
- Prior art keywords
- road boundary
- road
- data
- point cloud
- boundary contour
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 109
- 238000012216 screening Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000001914 filtration Methods 0.000 claims description 30
- 230000015654 memory Effects 0.000 claims description 23
- 238000004891 communication Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000012552 review Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 11
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 230000007547 defect Effects 0.000 abstract description 4
- 238000004590 computer program Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 16
- 238000003062 neural network model Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 11
- 238000002474 experimental method Methods 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 238000007670 refining Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3815—Road data
- G01C21/3819—Road shape data, e.g. outline of a route
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本公开提供了一种道路边界的识别方法、绘制方法及装置,涉及数据处理和人工智能中的高精地图的数据处理,可以应用于自动驾驶、自主泊车,具体可以应用导航系统,具体实现方案为:获取多种数据来源的数据,其中,不同的数据来源的数据表征预设道路区域的形式不同,对各种数据来源的数据分别进行识别处理,得到各种数据来源的数据各自对应的道路边界轮廓线,基于预设道路区域的预设地图数据,从各道路边界轮廓线中筛选得到预设道路区域的道路边界,避免了基于人工的方式造成的识别效率低和准确性低的弊端,提高了识别的准确性和可靠性的技术效果。
Description
技术领域
本公开涉及数据处理和人工智能中的高精地图的数据处理,可以应用于自动驾驶、自主泊车,具体可以应用导航系统,尤其涉及一种道路边界的识别方法、绘制方法及装置。
背景技术
随着人们的安全意识的提升,安全行车为人们的关注焦点之一。而对高精地图的不断细化和完善,可以提高车辆行驶的安全性和可靠性。
示例性的,可以通过人工的方式识别并绘制道路边界,以使得车辆行驶于道路边界内,从而减少甚至避免交通事故风险。
然而,采用上述方式识别道路边界容易受到人为因素的干扰,从而造成识别得到的道路边界的准确性偏低的技术问题。
发明内容
本公开提供了一种用于提高识别准确性的道路边界的识别方法、绘制方法、装置及高精地图。
根据本公开的第一方面,提供了一种道路边界的识别方法,包括:
获取多种数据来源的数据,其中,不同的数据来源的数据表征预设道路区域的形式不同;
对各种数据来源的数据分别进行识别处理,得到各种数据来源的数据各自对应的道路边界轮廓线;
基于所述预设道路区域的预设地图数据,从各道路边界轮廓线中筛选得到所述预设道路区域的道路边界。
根据本公开的第二方面,提供了一种高精地图的绘制方法,包括:
分别获取预设道路区域的预设地图数据和道路边界,其中,所述道路边界为基于如第一方面所述的方法识别得到的;
在所述预设地图数据中绘制所述道路边界,得到所述预设道路区域的高精地图。
根据本公开的第三方面,提供了一种道路边界的识别装置,包括:
第一获取单元,用于获取多种数据来源的数据,其中,不同的数据来源的数据表征预设道路区域的形式不同;
识别单元,用于对各种数据来源的数据分别进行识别处理,得到各种数据来源的数据各自对应的道路边界轮廓线;
筛选单元,用于基于所述预设道路区域的预设地图数据,从各道路边界轮廓线中筛选得到所述预设道路区域的道路边界。
根据本公开的第四方面,提供了一种高精地图的绘制装置,包括:
第二获取单元,用于分别获取预设道路区域的预设地图数据和道路边界,其中,所述道路边界为基于如第一方面所述的方法识别得到的;
绘制单元,用于在所述预设地图数据中绘制所述道路边界,得到所述预设道路区域的高精地图。
根据本公开的第五方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行第一方面或第二方面所述的方法。
根据本公开的第六方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据第一方面或第二方面所述的方法。
根据本公开的第七方面,提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序,所述计算机程序存储在可读存储介质中,电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序,所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面或第二方面所述的方法。
根据本公开采用的对不同数据来源的数据分别进行识别处理,得到不同数据来源的数据各自对应的道路边界轮廓线,以基于预设地图数据对各道路边界轮廓线进行筛选,得到道路边界的技术,可以避免基于人工的方式造成的识别效率低和准确性低的弊端,提高了识别的准确性和可靠性的技术效果。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开第一实施例的示意图;
图2是根据本公开第二实施例的示意图;
图3是根据本公开的生成道路边界的原理示意图;
图4是根据本公开第三实施例的示意图;
图5是根据本公开第四实施例的示意图;
图6是根据本公开第五实施例的示意图;
图7是根据本公开第六实施例的示意图;
图8是根据本公开第七实施例的示意图;
图9是用来实现本公开实施例的道路边界的识别方法、高精地图的绘制方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
为便于读者对本公开的理解,现对本公开的部分术语解释如下:
高精地图(Precision Map)是高精度地图的简称,是指精度高且精细化定义的地图。
相应的,车道级地图,是指可以地图中的元素可以细化至车道级别的高精地图。
车道线,是指用于分隔不同行驶车道的线,包括实线和虚线。
车道,又称行车线、车行道,是指用于供车辆行经的道路。
道路,是指公路、道路等可以用于车辆通行的地方。一条道路上可以有多条车道,不同的车道可以具有不同的方向。
道路边界,是指是现实道路的可行驶路面的边缘,如道路路基顶面两路肩外侧边缘。
道路边界可以提供车辆可安全行驶的路面区域,以便于车辆可以自动或被动调整当前车速与方向,避免行驶偏离发生危险,减少交通事故风险。
因此,如何准确的识别道路边界,可以为车辆(如车辆的导航系统)提供更加精准的安全行驶提示,提升导航体验,即在保证车辆行驶的安全性和高效性等方面具有重要意义。
在一些实施例中,可以通过人工的方式对道路边界进行识别。
例如,可以由工作人员测量实际道路场景中,预设道路区域的道路边界的位置。
又如,可以由采集人员,通过采集设备(如采集车辆)收集实际道路场景下,预设道路区域的图像,并由工作人员根据图像确定预设道路区域的道路边界。
然而,采用上述方式确定道路边界,存在因受到人为因素的干扰而造成的准确性偏低的弊端,且存在效率偏低的弊端。
为了避免上述技术问题中的至少一种,本公开的发明人经过创造性的劳动,得到了本公开的发明构思:获取表征预设道路区域的不同数据来源的数据,对不同数据来源的数据分别进行识别处理,得到各自对应的道路边界轮廓线,以基于预设地图数据对各道路边界轮廓线进行筛选,以得到预设道路区域的道路边界。
基于上述发明构思,本公开提供一种道路边界的识别方法、绘制方法、装置及高精地图,应用于数据处理和人工智能中的高精地图的数据处理,可以应用于自动驾驶、自主泊车,具体可以应用导航系统,以达到提高识别的有效性和可靠性,进而提高车辆行驶的安全性。
请参阅图1,图1是根据本公开第一实施例的示意图,如图1所示,本公开的道路边界的识别方法,包括:
S101:获取多种数据来源的数据。
其中,不同的数据来源的数据表征预设道路区域的形式不同。
示例性的,本实施例的执行主体可以为道路边界的识别装置(下文简称为识别装置),识别装置可以为服务器(如本地服务器,或者云端服务器,或者为服务器集群等),也可以为终端设备,也可以为处理器,也可以为芯片等,本实施例不做限定。
在本实施例中,可以获取不同的数据来源的数据,不同的数据来源的数据对预设道路区域的表征形式不同,如表征形式可以为图像,即通过图像的形式表征预设道路区域,又如,表征形式可以为点云数据,即通过点云数据的形式表征预设道路区域。
本实施例对数据来源的数据的种类不做限定,如可以为如上所述的两种,也可以为更多种。
S102:对各种数据来源的数据分别进行识别处理,得到各种数据来源的数据各自对应的道路边界轮廓线。
相应的,若多种数据来源的数据包括图像和点云数据,则可以对图像进行识别处理,得到图像对应的道路边界轮廓线,对点云数据进行识别处理,得到点云数据对应的道路边界轮廓线。
值得说明的是,本实施例对识别处理的方式不做限定,如可以采用神经网络模型的方式进行识别处理,且针对不同的数据来源的数据,可以采用相同的识别处理的方式,也可以采用不同的识别处理的方式。
例如,结合上述分析,对图像进行识别处理的方式、与对点云数据进行识别处理的方式可以相同,也可以不同。即可以采用相同的识别处理的方式对图像和点云数据分别进行识别处理,也可以A方式对图像进行识别处理,采用B方式对点云数据进行识别处理,其中,A方式和B方式为不同的方式。
S103:基于预设道路区域的预设地图数据,从各道路边界轮廓线中筛选得到预设道路区域的道路边界。
其中,预设地图数据可以为高精地图的数据。
由于各道路边界轮廓线是基于多种数据来源的数据确定的,因此,各道路边界轮廓线可能存在冗余道路边界轮廓线,相应的,可以基于预设地图数据筛选得到道路边界,可以使得道路边界具有较高的准确性和可靠性。
基于上述分析可知,本公开提供了一种道路边界的识别方法,包括:获取多种数据来源的数据,其中,不同的数据来源的数据表征预设道路区域的形式不同,对各种数据来源的数据分别进行识别处理,得到各种数据来源的数据各自对应的道路边界轮廓线,基于预设道路区域的预设地图数据,从各道路边界轮廓线中筛选得到预设道路区域的道路边界,在本实施例中,通过对不同数据来源的数据分别进行识别处理,得到不同数据来源的数据各自对应的道路边界轮廓线,以基于预设地图数据对各道路边界轮廓线进行筛选,得到道路边界的技术特征,可以避免基于人工的方式造成的识别效率低和准确性低的弊端,提高了识别的准确性和可靠性的技术效果。
为使读者更加深刻的理解本公开的实现原理,现结合图2对本公开的技术方案进行更为详细的阐述。图2是根据本公开第二实施例的示意图,如图2所示,本公开的道路边界的识别方法,包括:
S201:获取多种数据来源的数据。
其中,不同的数据来源的数据表征预设道路区域的形式不同。多种数据来源的数据包括点云数据和图像。
应该理解的是,为了避免繁琐的陈述,关于本实施例与上述实施例中相同的技术特征,本实施例不再赘述。
示例性的,多种数据来源的数据可以为基于采集车获取的。例如,采集车上部署有雷达,采集车行驶于预设道路区域时,雷达可以获取点云数据。相应的,识别装置可以从采集车获取点云数据。
采集车上部署有图像采集装置,图像采集装置可以为摄像机,采集车行驶于预设道路区域时,摄像机可以获取图像。相应的,识别装置可以从采集车获取图像。
S202:对点云数据进行过滤处理,得到过滤后的点云数据。
本实施例对过滤处理的方式不做限定,可以为采用一种过滤处理的方式对点云数据进行过滤处理,也可以结合多种过滤处理的方式对点云数据进行过滤处理。
示例性的,采用下述方式中的至少一种,对点云数据进行过滤处理,得到过滤后的点云数据:
方式1:根据地面平面对点云数据进行过滤处理,得到过滤后的点云数据。其中,地面平面是基于点云数据确定的预设道路区域的地面平面。
在一些实施例中,方式1可以包括如下步骤:
第一步骤:计算点云数据中的每一个点与地面平面之间的第一距离(也可以成为高度特征)。
例如,点云数据中包括N(N为大于1的正整数)个点,计算每一个点与地面平面之间的第一距离,得到N个第一距离。
应该理解的是,N个第一距离中的各第一距离可能为不同的距离,也可能为至少部分相同的距离。
第二步骤:从点云数据中,剔除与地面平面之间的第一距离小于预设第一阈值的点,得到过滤后的点云数据。
相应的,基于N个第一距离,对点云数据中的点进行剔除处理,如针对每一个第一距离,判断该第一距离是否小于第一阈值,若是,则将该第一距离的点从点云数据中剔除,反之,若否,则保留该第一距离的点,从而得到过滤后的点云数据。
其中,第一阈值可以基于需求、历史记录、以及试验等方式确定,本实施例不做限定。如第一阈值为基于历史记录确定的道路边界轮廓线的点与地面平面之间的距离。
例如,针对准确性相对较高的场景,可以将第一阈值设置为相对较高的值,反之,针对准确性相对较低的场景,可以将第一阈值设置为相对较低的值。
在一些实施例中,可以采用算法的方式从点云数据中定位得到地面平面。例如,可以采用随机采样一致性(Random Sample Consensus,RANSAC)算法,对点云数据进行计算,得到地面平面,具体实现原理可以参见相关技术,此处不再赘述。
方式2:点云数据具有垂直性特征,根据垂直性特征对点云数据进行过滤处理,得到过滤后的点云数据。
其中,垂直性特征是指,对点云数据进行主成分分析(PCA)得到特征向量、与点云坐标系的竖(Z)轴坐标之间的夹角。
例如,点云数据中包括多个点,对点云数据进行主成分分析,得到点云数据中每一个点的特征向量,以得到每一个点的垂直性特征。
同理,可以判断每一垂直性特征是否达到第二阈值,若没有,则将该垂直性特征对应的点从点云数据中剔除,以得到过滤后的点云数据。
第二阈值可以基于需求、历史记录、以及试验等方式确定,本实施例不做限定。如第二阈值为基于历史记录确定的道路边界轮廓线的点的特征向量与Z轴之间的夹角。
方式3:对点云数据进行聚类处理,得到过滤后的点云数据。
示例性的,在对点云数据进行聚类处理后,可以得到多个簇,可以剔除相对数量相对较少的点的簇,从而得到过滤后的点云数据。
值得说明的是,上述三种方式可以单独使用,即可以采用方式1、方式2、方式3中的一种对点云数据进行过滤处理,以得到过滤后的点云数据。
上述三种方式也可以结合使用,且可以结合两种方式对点云数据进行过滤处理,也可以结合三种方式对点云数据进行过滤处理。且当结合多种方式对点云数据进行过滤处理时,对各种方式之间的结合顺序不做限定。
例如,若结合上述三种方式对点云数据进行过滤处理时,可以依次执行上述方式1、方式2、方式3,从而得到过滤后的点云数据。
在本实施例中,通过一种或多种方式对点云数据进行过滤处理,可以提高对点云数据进行过滤处理的多样性和灵活性,且当结合多种方式对点云数据进行过滤处理时,可以提高过滤处理的有效性和可靠性的技术效果。
S203:将过滤后的点云数据投影至地面平面,生成点云数据对应的道路边界轮廓线。
结合上述分析可知,在本实施例中,获取了多种不同数据来源的数据,点云数据对应的道路边界轮廓线为基于点云数据生成的预设道路区域的道路边界轮廓线。
在本实施例中,通过“过滤+投影”的方式确定点云数据的道路边界轮廓线,可以避免点云数据中的冗余数据,提高了点云数据的道路边界轮廓线的有效性和准确性的技术效果。
S204:获取预设道路区域在实际道路场景中的边界,在前视图像中的图像坐标。
结合上述分析,多种数据来源的数据包括图像,图像可以进一步包括前视图像,前视图像以车辆行驶于预设道路区域的行驶方向为基准。
例如,采集车行驶于预设道路区域,采集车的车头部署有图像采集装置(如摄像头),该图像采集装置采集的为采集车行驶过程中,采集车前方(以行驶方向为基准)的图像,图像中包括预设道路区域内的道路要素,如车道线、护栏等。
或者,图像采集装置也可以为全方位视角(如360度)旋转的摄像头,可以采集不同视图,如前视图像、左视图像、右视图像、后视图像、俯视图像。相应的,可以从各图像中获取前视图像,并确定实际道路场景中的预设道路区域的边界,在前视图像中的图像坐标。
在一些实施例中,可以采用神经网络模型的方式确定图像坐标。
示例性的,可以预先训练的边界检测模型,基于该模型检测得到图像坐标。
其中,可以采集样本图像(可以为样本前视图像,也可以为其他视角的图像,由于图像坐标是基于前视图像确定的,因此,优选可以将样本前视图像作为样本图像),并基于样本图像对基础网络模型进行训练,以得到边界检测模型。
在一些实施例中,基础网络模型可以为图卷积网络,且图卷积网络可以使用深度残差网络(ResNet)作为主干网络(backbone)。
S205:根据图像坐标确定前视图像对应的道路边界轮廓线。
也就是说,在一些实施例中,可以确定与图像对应的道路边界轮廓线,且考虑到车辆行驶于预设道路区域时,预设道路区域的道路要素在各视角维度的视图中的被获取情况,可以从中获取包括道路要素相对较多的前视图像,以从前视图像的维度确定相应的道路边界轮廓线,以使得确定出的前视图像对应的道路边界轮廓线的准确性和有效性的技术效果。
在一些实施例中,点云数据包括深度信息,S205可以包括:根据图像坐标、深度信息、以及预设的图像坐标系与点云坐标系之间的坐标转换关系,确定前视图像对应的道路边界轮廓线。
示例性的,图像坐标的坐标系为图像坐标系,点云数据中各点的坐标的坐标系为点云坐标系,相对而言,图像坐标系与点云坐标系之间存在偏差,因此,可以先确定图像坐标系与点云坐标系之间的坐标转换关系,如通过标定的方式实现。
针对前视图像中的像素点,可以在点云数据中找到与至对应的点,此处的对应可以理解为表征相同道路要素的相同的点。相应的,针对前视图像中的像素点,可以基于坐标转换关系,确定在点云数据中与该像素点对应的点,从而确定该像素点的深度信息,以基于各像素点各自对应的图像坐标、深度信息,确定前视图像对应的道路边界轮廓线。
在本实施例中,通过结合图像坐标和深度信息确定前视图像对应的道路边界轮廓线,可以使得该道路边界轮廓线既具有坐标信息,也具有深度信息,从而提高该道路边界轮廓线的可靠性的技术效果。
同理,在另一些实施例中,也可以采用神经网络模型的方式确定前视图像对应的道路边界轮廓线,且该神经网络模型可以与上述用于确定图像坐标的神经网络模型一体训练,即训练一个神经网络模型,该神经网络模型可以先检测得到图像坐标,而后基于图像坐标确定前视图像对应的道路边界轮廓线;或者,该神经网络模型可以为与上述用于确定图像坐标的神经网络模型独立的两个模型,以基于上述用于确定图像坐标的神经网络模型先确定图像坐标,而后将图像坐标输入至用于确定前视图像对应的道路边界轮廓线的神经网络模型,输出前视图像对应的道路边界轮廓线。
S206:获取俯视图像中的路面连通域,路面连通域具有外轮廓。
其中,图像包括俯视图像。
同理,结合上述分析,多种数据来源的数据包括图像,图像可以进一步包括俯视图像。
路面连通域可以理解为俯视图像中,预设道路区域的路面的连通区域,该路面连通域具有外轮廓,该外轮廓内的路面为预设道路区域的路面。例如,外轮廓可以理解为路面连通域的外边界轮廓。
S207:根据外轮廓生成俯视图像对应的道路边界轮廓线。
示例性的,可以连接外轮廓,并将连接外轮廓的轮廓线确定为俯视图像对应的道路边界轮廓线。
相对而言,俯视图像可以获取到车身下的较为完整的道路要素,因此,确定出的俯视图像对应的道路边界轮廓线可以相对较为准确和可靠的表征道路边界,从而提高确定出的道路边界的有效性和可靠性的技术效果。
同理,在一些实施例中,也可以基于神经网络模型的方式确定俯视图像对应的道路边界轮廓线。
例如,可以采集样本图像,同理,样本图像可以为样本俯视图像,并根据样本俯视图像对基础网络模型进行训练,得到边界分割模型,以基于该边界分割模型确定俯视图像中的路面连通域,并根据该路面连通域的外轮廓生成俯视图像对应的边界轮廓线。其中,基础网络模型可以为语义分割网络(DeepLab-V3)。
S208:基于预设地图数据,对各道路边界轮廓线进行筛选处理,得到筛选后的道路边界轮廓线。
结合上述分析可知,各道路边界轮廓线是基于不同的数据来源的数据确定的,各道路边界轮廓线中可能存在冗余的道路边界轮廓线,也可能存在误差相对较高的道路边界轮廓线。
在本实施例中,可以结合预设地图数据对各道路边界轮廓线进行筛选处理,以剔除各道路边界轮廓线中的冗余道路边界轮廓线、误差相对较高的道路边界轮廓线、错误的道路边界轮廓线中的一种或多种。
在一些实施例中,S208可以包括如下步骤:
第一步骤:根据预设地图数据中的车道线确定道路边界的所属区域。
示例性的,预设地图数据为表征预设道路区域的地理特征的地图数据,因此,预设地图数据中包括用于表征预设道路区域的实际道路场景中的车道线的数据,即预设地图数据中的车道线。
若车道线为车道中心线,则可以基于相关技术中的车道的宽度确定所属区域。如车道的宽度可以基于预设标准确定,若车道中心线已经确定,则可以基于预设标准和车道中心线确定预设道路区域的路面宽度,从而确定所属区域。
示例性的,如图3所示,预设道路区域包括车道线,基于该车道线,可以确定如图3所示的虚线矩形框框选的所属区域。
第二步骤:将所属区域之外的道路边界轮廓线进行剔除处理,得到筛选后的道路边界轮廓线。
示例性的,若某道路边界轮廓线位于所属区域之外,则说明该道路边界轮廓线可能为其他道路的道路边界轮廓线,或者为被错误的识别为道路边界轮廓线的线。因此,需要对位于所属区域之外的道路边界轮廓线进行剔除处理,以过滤掉各道路边界轮廓线中的错误的道路边界轮廓线,从而使得筛选后的道路边界轮廓线具有较高的准确性和可靠性的技术效果。
相应的,可以将如图3所示所属区域之外的道路边界轮廓线剔除,保留所属区域内的道路边界轮廓线,如图3所示的筛选后的道路边界轮廓线。
在一些实施例中,车道线具有属性信息,属性信息可以用于表征车道线在位置、长度、方向维度中的至少一种的特征;第二步骤可以包括如下子步骤:
第一子步骤:将所属区域之外的道路边界轮廓线进行剔除处理,得到剔除后的道路边界轮廓线。
结合上述分析,若某道路边界轮廓线位于所属区域之外,则该道路边界轮廓线可能不是预设道路区域的道路边界,则将该道路边界轮廓线从各道路边界轮廓线中的剔除。
第二子步骤:根据属性信息,从剔除后的道路边界轮廓线筛选得到筛选后的道路边界轮廓线。
属性信息可以为车道线的位置特征,也可以为车道线的长度特征,也可以为车道线的方向特征。相应的,可以基于位置特征对剔除后的道路边界轮廓线进行筛选处理,也可以基于长度特征对剔除后的道路边界轮廓线进行筛选处理,也可以基于方向特征对剔除后的道路边界轮廓线进行筛选处理。
应该理解的是,上述筛选处理的操作可以独立进行,也可以结合进行,即可以采用单一维度的特征,如位置特征、长度特征、方向特征中的任意一种对剔除后的道路边界轮廓线进行筛选处理,也可以采用多个维度的特征,如结合位置特征、长度特征、方向特征中的至少两种特征对剔除后的道路边界轮廓线进行筛选处理。
示例性的,以方向特征为例,剔除后的道路边界轮廓线具有方向特征,若剔除后的道路边界轮廓线的方向特征、与车道线的方向特征不一致,如剔除后的道路边界轮廓线的方向与车道线的方向不同,则过滤掉该剔除后的道路边界轮廓线。
同理,关于位置特征和长度特征等,也可以参见上述实施例的实现原理,以实现对剔除后的道路边界轮廓线的筛选处理。
在本实施例中,通过结合“所属区域+属性信息”的方式得到筛选后的道路边界轮廓线,可以使得筛选后的道路边界轮廓线高度与道路边界贴合,以提高道路边界的有效性和可靠性的技术效果。
在另一些实施例中,还可以结合各道路边界轮廓线各自对应的类型属性,对各道路边界轮廓线进行过滤处理,且该实施例可以与上述实施例相结合,也可以单独实施。
示例性的,若基于类型属性对各道路边界轮廓线进行过滤处理单独实施,则S208可以替换为:获取各道路边界轮廓线各自对应的类型属性,其中,不同的类型属性用于区分不同种类的道路边界轮廓线,类型属性是基于获取到的前视图像确定的,根据类型属性对各道路边界轮廓线进行筛选处理,得到筛选后的道路边界轮廓线。
关于前视图像的描述,可以参见上述实施例,此处不再赘述。类型属性可以包括绿化带、栅栏、水泥石墩、路缘石、草地等。
例如,根据车道线的形状等,确定道路边界的类型属性,并将与道路边界的类型属性不同的类型属性的道路边界轮廓线进行剔除,从而得到筛选后的道路边界轮廓线。
示例性的,若基于类型属性对各道路边界轮廓线进行过滤处理结合上述实施例共同实施,则第二步骤可以包括如下细化步骤:
第一细化步骤:将所属区域之外的道路边界轮廓线进行剔除处理,得到剔除后的道路边界轮廓线。
第二细化步骤:获取剔除后的道路边界轮廓线的类型属性,其中,不同的类型属性用于区分不同种类的道路边界轮廓线,其中,类型属性是基于获取到的前视图像确定的。
第三细化步骤:根据类型属性,从剔除后的道路边界轮廓线筛选得到筛选后的道路边界轮廓线。
也就是说,可以先基于所属区域对各道路边界轮廓线进行剔除处理,而后基于类型对剔除处理后的道路边界轮廓线进行筛选处理,从而得到筛选后的道路边界轮廓线。
值得说明的是,上述示例中的剔除处理和筛选处理的顺序只是用于示范性的说明,而不能理解为对顺序的限定。例如,也可以先进行筛选处理,而后进行剔除处理。
在本实施例中,通过结合“所属区域+属性信息+类型属性”的方式,确定筛选后的道路边界轮廓线,可以避免冗余的道路边界轮廓线,也可以避免错误的道路边界轮廓线,从而提高筛选后的道路边界轮廓线的有效性和可靠性的技术效果。
S209:将筛选后的道路边界轮廓线划分为多段边界轮廓线。
同理,边界轮廓线的段的数量可以基于需求、历史记录、以及试验等方式确定,本实施例不做限定。
S210:计算每一段边界轮廓线中的多个点分别与车道线的第二距离,对多个第二距离进行聚类处理,得到多段边界轮廓线的多个簇中的最大簇。
同理,多个点的数量也可以基于需求、历史记录、以及试验等方式确定,本实施例不做限定。
示例性的,针对任意段边界轮廓线,获取到该段边界轮廓线的起点、中点、以及终点,计算起点与车道线之间的第二距离,计算中点与车道线之间的第二距离,计算终点与车道线之间的第二距离。
对各第二距离进行聚类处理,得到多个簇,并从多个簇中确定最大簇。其中,最大簇是指包括的各段边界轮廓线中的点最多的簇。
其中,本实施例对聚类处理的方式不做限定,如可以采用密度的聚类方法,或者均值偏移聚类等。
S211:根据最大簇对应的段边界轮廓线,生成道路边界。
由于最大簇中包括的段边界轮廓线中的点最多,因此,相对而言,确定与最大簇对应的段边界轮廓线,以生成道路边界,可以使得边界线具有较高的准确性和可靠性。
在一些实施例中,S211可以包括如下步骤:
第一步骤:计算最大簇对应的段边界轮廓线中,每一个点与车道线之间的第三距离,并计算各第三距离的平均距离。
结合上述分析可知,最大簇中包括的段边界轮廓线中的点最多,例如,最大簇中包括N个点,则针对N个点中的每一个点,计算该点与车道线之间的第三距离,得到N个第三距离,并计算N个第三距离的平均距离。
第二步骤:以实际道路场景中车道线的外侧方向为基准,在车道线的基础上增加平均距离,得到道路边界。
其中,外侧方向可以理解为在实际道路场景中,车道线靠近道路边界的方向。
相应的,该步骤可以理解为,以外侧方向为基准,在车道线的基础上加上平均距离,从而得到如图3所示的道路边界。
值得说明的是,在本实施例中,通过确定平均距离,以结合外侧方向、平均距离、以及车道线,对筛选后的道路边界轮廓线进行修正,提高道路边界的准确性和可靠性的技术效果。
值得说明的是,上述实施例只是用于示范性地说明,本公开的道路边界的识别方法可能的实现方式,而不能理解为对本公开的实现方式的限定。
示例性的,上述各步骤之间的顺序可以灵活调整,如可以如上述实施例所述的,先确定点云数据对应的道路边界轮廓线,而后确定图像对应的道路边界轮廓线。在另一些实施例中,也可以先确定图像对应的道路边界轮廓线,而后确定点云数据对应的道路边界轮廓线。
又如,也可以减少上述实施例中的特征,以得到新的实施例,或者,在上述实施例中增加新的特征,以得到新的实施例,等等,此处不再一一列举。
基于上述分析可知,在一些实施例中,可以通过人工的方式对道路边界进行识别。相应的,在人工识别得到道路边界之后,可以基于人工绘制的方式绘制得到高精地图。
然而,由于受到人为因素的干扰,人工绘制时很难保证绘制的精度,需要大量的修正工作,且人工绘制的效率低,自动化生成能力低。
上述实施例提供的道路边界的识别方法实现了自动化的识别,在此基础上,可以进一步实现对道路边界的自动化绘制。
示例性的,本公开还提供了一种高精地图的绘制方法。图4是根据本公开第三实施例的示意图,如图4所示,本公开的高精地图的绘制方法包括:
S401:分别获取预设道路区域的预设地图数据和道路边界。
其中,道路边界为基于如上任一实施例所述的方法识别得到的。
S402:在预设地图数据中绘制道路边界,得到预设道路区域的高精地图。
由于已经通过自动化的方式识别得到了道路边界,在此基础上,可以将道路边界在预设地图数据中进行自动化绘制,以得到包括道路边界的高精地图,从而实现道路边界绘制的自动化,提高高精地图的可靠性,且提高绘制高精地图的效率的技术效果。
在一些实施例中,高精地图中的道路边界具有提示标记,提示标记是基于道路边界的类型属性、曲率、以及平滑度中的至少一种确定的,提示标记用于提示对高精地图中的道路边界进行审核。
结合上述分析可知,道路边界具有较高的准确性、有效性、以及可靠性,考虑到道路边界可能存在误差,因此,可以生成提示标记,以提示工作人员对高精地图中的道路边界进行审核,进而对高精地图中的道路边界进行适应性的修正。
例如,以类型属性为例,若实际道路场景为崎岖的山路场景,类型属性为沟槽类型,则可以生成并输出提示标记,以便工作人员对高精地图中的道路边界进行审核,从而避免因山路崎岖而造成的道路边界误差较大的问题。
又如,以曲率为例,曲率越大,道路边界偏离直线的程度越大,即道路边界的弯曲程度越大。相应的,若曲率大于预设曲率阈值,则生成并输出提示标记,以便工作人员对高精地图中的道路边界进行审核,从而避免因曲率过大而造成的道路边界误差较大的问题。
同理,曲率阈值可以需求、历史记录、以及试验等方式确定,本实施例不做限定。
又如,以平滑度为例,平滑度越大,道路边界越平整。相应的,若平滑度小于预设平滑度阈值,则生成并输出提示标记,以便工作人员对高精地图中的道路边界进行审核,从而避免因不太平整而造成的道路边界误差较大的问题。
同理,平滑度阈值可以需求、历史记录、以及试验等方式确定,本实施例不做限定。
相应的,通过本公开的实现方式,可以显著降低人力消耗,极大提升数据生产效率,且可以进一步提高高精地图的准确性和可靠性。
结合上述分析可知,本公开的高精地图可以应用于导航场景,由于高精地图、以及高精地图中的道路边界具有较高的准确性和可靠性,因此,可以基于高精地图有效地调整当前车速与方向,避免行驶偏离发生危险,减少交通事故风险,提升导航体验,提高了车辆行驶的安全性和高效性等技术效果。
图5是根据本公开第四实施例的示意图,如图5所示,本公开的道路边界的识别装置500,包括:
第一获取单元501,用于获取多种数据来源的数据,其中,不同的数据来源的数据表征预设道路区域的形式不同。
识别单元502,用于对各种数据来源的数据分别进行识别处理,得到各种数据来源的数据各自对应的道路边界轮廓线。
筛选单元503,用于基于所述预设道路区域的预设地图数据,从各道路边界轮廓线中筛选得到所述预设道路区域的道路边界。
图6是根据本公开第五实施例的示意图,如图6所示,本公开的道路边界的识别装置600,包括:
第一获取单元601,用于获取多种数据来源的数据,其中,不同的数据来源的数据表征预设道路区域的形式不同。
在一些实施例中,所述多种数据来源的数据中包括点云数据和图像。
识别单元602,用于对各种数据来源的数据分别进行识别处理,得到各种数据来源的数据各自对应的道路边界轮廓线。
在一些实施例中,所述多种数据来源的数据中包括点云数据;结合图6可知,所述识别单元602,包括:
过滤子单元6021,用于对所述点云数据进行过滤处理,得到过滤后的点云数据。
在一些实施例中,所述过滤子单元用于6021,采用下述方式中的至少一种,对所述点云数据进行过滤处理,得到所述过滤后的点云数据:
根据所述地面平面对所述点云数据进行过滤处理,得到所述过滤后的点云数据;
所述点云数据具有垂直性特征,根据所述垂直性特征对所述点云数据进行过滤处理,得到所述过滤后的点云数据;
对所述点云数据进行聚类处理,得到所述过滤后的点云数据。
在一些实施例中,所述过滤子单元用于6021,包括:
第一计算模块,用于计算所述点云数据中的每一个点与所述地面平面之间的第一距离;
第一剔除模块,用于从所述点云数据中,剔除与所述地面平面之间的第一距离小于预设第一阈值的点,得到所述过滤后的点云数据。
投影子单元6022,用于将所述过滤后的点云数据投影至地面平面,生成所述点云数据的道路边界轮廓线,其中,所述地面平面是基于所述点云数据确定的所述预设道路区域的地面平面。
在一些实施例中,所述图像包括前视图像,所述前视图像以车辆行驶于所述预设道路区域的行驶方向为基准;所述识别单元602,包括:
第一获取子单元6023,用于获取所述预设道路区域在实际道路场景中的边界,在所述前视图像中的图像坐标。
确定子单元6024,用于根据所述图像坐标确定所述前视图像对应的道路边界轮廓线。
在一些实施例中,所述确定子单元6024,所述点云数据包括深度信息;用于根据所述图像坐标、所述深度信息、以及预设的图像坐标系与点云坐标系之间的坐标转换关系,确定所述前视图像对应的道路边界轮廓线。
在一些实施例中,所述图像包括俯视图像;所述识别单元602,包括:
第二获取子单元6025,用于获取所述俯视图像中的路面连通域,其中,所述路面连通域具有外轮廓。
第一生成子单元6026,用于根据所述外轮廓生成所述俯视图像对应的道路边界轮廓线。
筛选单元603,用于基于所述预设道路区域的预设地图数据,从各道路边界轮廓线中筛选得到所述预设道路区域的道路边界。
在一些实施例中,所述预设地图数据中包括车道线;所述筛选单元603,包括:
筛选子单元6031,用于基于预设地图数据,对各道路边界轮廓线进行筛选处理,得到筛选后的道路边界轮廓线。
在一些实施例中,筛选子单元6031,包括:
确定模块,用于根据所述车道线确定所述道路边界的所属区域;
第二剔除模块,用于将所述所属区域之外的道路边界轮廓线进行剔除处理,得到所述筛选后的道路边界轮廓线。
在一些实施例中,所述车道线具有属性信息,所述属性信息用于表征所述车道线在位置、长度、方向维度中的至少一种的特征;所述第二剔除模块,包括:
第一剔除子模块,用于将所述所属区域之外的道路边界轮廓线进行剔除处理,得到剔除后的道路边界轮廓线;
第一筛选子模块,用于根据所述属性信息,从所述剔除后的道路边界轮廓线筛选得到所述筛选后的道路边界轮廓线。
在一些实施例中,所述第二剔除模块,包括:
第二剔除子模块,用于将所述所属区域之外的道路边界轮廓线进行剔除处理,得到剔除后的道路边界轮廓线;
获取子模块,用于获取所述剔除后的道路边界轮廓线的类型属性,其中,不同的类型属性用于区分不同种类的道路边界轮廓线,其中,所述类型属性是基于获取到的前视图像确定的;
第二筛选子模块,用于根据所述类型属性,从所述剔除后的道路边界轮廓线筛选得到所述筛选后的道路边界轮廓线。
划分子单元6032,用于将所述筛选后的道路边界轮廓线划分为多段边界轮廓线。
计算子单元6033,用于计算每一段边界轮廓线中的多个点分别与所述车道线的第二距离。
聚类子单元6034,用于对多个第二距离进行聚类处理,得到所述多段边界轮廓线的多个簇中的最大簇。
第二生成子单元6035,用于根据所述最大簇对应的段边界轮廓线,生成所述道路边界。
在一些实施例中,第二生成子单元6035,包括:
第二计算模块,用于计算所述最大簇对应的段边界轮廓线中,每一个点与所述车道线之间的第三距离,并计算各第三距离的平均距离;
增加模块,用于以所述实际道路场景中所述车道线的外侧方向为基准,在所述车道线的基础上增加所述平均距离,得到所述道路边界。
图7是根据本公开第六实施例的示意图,如图7所示,本公开的高精地图的绘制装置700,包括:
第二获取单元701,用于分别获取预设道路区域的预设地图数据和道路边界,其中,所述道路边界为基于如上任一实施例所述的道路边界的识别方法得到的。
绘制单元702,用于在所述预设地图数据中绘制所述道路边界,得到所述预设道路区域的高精地图。
在一些实施例中,所述高精地图中的道路边界具有提示标记,所述提示标记是基于所述道路边界的类型属性、曲率、以及平滑度中的至少一种确定的,所述提示标记用于提示对所述高精地图中的道路边界进行审核。
根据本公开的另一个方面,本公开还提供了一种高精地图,所述高精地图中包括道路边界,所述道路边界为基于如上任一实施例所述的道路边界的识别方法得到的。
示例性的,本公开提供的高精地图可以应用车辆驾驶(包括用户驾驶和/或自动驾驶)场景,如具体可以应用于导航场景等,以提高车辆行驶的安全性和可靠性的技术效果。
图8是根据本公开第七实施例的示意图,如图8所示,本公开中的电子设备800可以包括:处理器801和存储器802。
存储器802,用于存储程序;存储器802,可以包括易失性存储器(英文:volatilememory),例如随机存取存储器(英文:random-access memory,缩写:RAM),如静态随机存取存储器(英文:static random-access memory,缩写:SRAM),双倍数据率同步动态随机存取存储器(英文:Double Data Rate Synchronous Dynamic Random Access Memory,缩写:DDR SDRAM)等;存储器也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory)。存储器802用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等,上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器802中。并且上述的计算机程序、计算机指令、数据等可以被处理器801调用。
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器802中。并且上述的计算机程序、计算机指据等可以被处理器801调用。
处理器801,用于执行存储器802存储的计算机程序,以实现上述实施例涉及的方法中的各个步骤。
具体可以参见前面方法实施例中的相关描述。
处理器801和存储器802可以是独立结构,也可以是集成在一起的集成结构。当处理器801和存储器802是独立结构时,存储器802、处理器801可以通过总线803耦合连接。
本实施例的电子设备可以执行上述方法中的技术方案,其具体实现过程和技术原理相同,此处不再赘述。…
需要说明的是,本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
根据本公开的实施例,本公开还提供了一种计算机程序产品,计算机程序产品包括:计算机程序,计算机程序存储在可读存储介质中,电子设备的至少一个处理器可以从可读存储介质读取计算机程序,至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示,设备900包括计算单元901,其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序,来执行各种适当的动作和处理。在RAM 903中,还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905,包括:输入单元906,例如键盘、鼠标等;输出单元907,例如各种类型的显示器、扬声器等;存储单元908,例如磁盘、光盘等;以及通信单元909,例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理,例如道路边界的识别方法、绘制方法。例如,在一些实施例中,道路边界的识别方法、绘制方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元908。在一些实施例中,计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时,可以执行上文描述的道路边界的识别方法、绘制方法的一个或多个步骤。备选地,在其他实施例中,计算单元901可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行道路边界的识别方法、绘制方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("Virtual Private Server",或简称 "VPS")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (30)
1.一种道路边界的识别方法,所述道路边界是道路的可行驶路面的边缘,其特征在于,所述方法包括:
获取多种数据来源的数据,其中,不同的数据来源的数据表征预设道路区域的形式不同;
对各种数据来源的数据分别进行识别处理,得到各种数据来源的数据各自对应的道路边界轮廓线;
基于所述预设道路区域的预设地图数据,从各道路边界轮廓线中筛选得到所述预设道路区域的道路边界;
所述预设地图数据中包括车道线,所述基于所述预设道路区域的预设地图数据,从各道路边界轮廓线中筛选得到所述预设道路区域的道路边界,包括:
根据所述车道线确定所述道路边界的所属区域;
将所述所属区域之外的道路边界轮廓线进行剔除处理,得到筛选后的道路边界轮廓线;
根据所述筛选后的道路边界轮廓线,确定所述道路边界。
2.根据权利要求1所述的方法,其特征在于,所述多种数据来源的数据中包括点云数据和图像。
3.根据权利要求2所述的方法,其特征在于,所述多种数据来源的数据中包括点云数据;所述对各种数据来源的数据分别进行识别处理,得到各种数据来源的数据各自对应的道路边界轮廓线,包括:
对所述点云数据进行过滤处理,得到过滤后的点云数据;
将所述过滤后的点云数据投影至地面平面,生成所述点云数据的道路边界轮廓线,其中,所述地面平面是基于所述点云数据确定的所述预设道路区域的地面平面。
4.根据权利要求3所述的方法,其特征在于,所述对所述点云数据进行过滤处理,得到过滤后的点云数据,包括:
采用下述方式中的至少一种,对所述点云数据进行过滤处理,得到所述过滤后的点云数据:
根据所述地面平面对所述点云数据进行过滤处理,得到所述过滤后的点云数据;
所述点云数据具有垂直性特征,根据所述垂直性特征对所述点云数据进行过滤处理,得到所述过滤后的点云数据;
对所述点云数据进行聚类处理,得到所述过滤后的点云数据。
5.根据权利要求4所述的方法,其特征在于,所述根据所述地面平面对所述点云数据进行过滤处理,得到所述过滤后的点云数据,包括:
计算所述点云数据中的每一个点与所述地面平面之间的第一距离;
从所述点云数据中,剔除与所述地面平面之间的第一距离小于预设第一阈值的点,得到所述过滤后的点云数据。
6.根据权利要求2所述的方法,其特征在于,所述图像包括前视图像,所述前视图像以车辆行驶于所述预设道路区域的行驶方向为基准;所述对各种数据来源的数据分别进行识别处理,得到各种数据来源的数据各自对应的道路边界轮廓线,包括:
获取所述预设道路区域在实际道路场景中的边界,在所述前视图像中的图像坐标;
根据所述图像坐标确定所述前视图像对应的道路边界轮廓线。
7.根据权利要求6所述的方法,其特征在于,所述点云数据包括深度信息;根据所述图像坐标确定所述前视图像对应的道路边界轮廓线,包括:
根据所述图像坐标、所述深度信息、以及预设的图像坐标系与点云坐标系之间的坐标转换关系,确定所述前视图像对应的道路边界轮廓线。
8.根据权利要求2所述的方法,其特征在于,所述图像包括俯视图像;所述对各种数据来源的数据分别进行识别处理,得到各种数据来源的数据各自对应的道路边界轮廓线,包括:
获取所述俯视图像中的路面连通域,其中,所述路面连通域具有外轮廓;
根据所述外轮廓生成所述俯视图像对应的道路边界轮廓线。
9.根据权利要求1-8中任一项所述的方法,其特征在于,所述根据所述筛选后的道路边界轮廓线,确定所述道路边界,包括:
将所述筛选后的道路边界轮廓线划分为多段边界轮廓线;
计算每一段边界轮廓线中的多个点分别与所述车道线的第二距离,并对多个第二距离进行聚类处理,得到所述多段边界轮廓线的多个簇中的最大簇;
根据所述最大簇对应的段边界轮廓线,生成所述道路边界。
10.根据权利要求1所述的方法,其特征在于,所述车道线具有属性信息,所述属性信息用于表征所述车道线在位置、长度、方向维度中的至少一种的特征;将所述所属区域之外的道路边界轮廓线进行剔除处理,得到所述筛选后的道路边界轮廓线,包括:
将所述所属区域之外的道路边界轮廓线进行剔除处理,得到剔除后的道路边界轮廓线;
根据所述属性信息,从所述剔除后的道路边界轮廓线筛选得到所述筛选后的道路边界轮廓线。
11.根据权利要求1所述的方法,其特征在于,将所述所属区域之外的道路边界轮廓线进行剔除处理,得到所述筛选后的道路边界轮廓线,包括:
将所述所属区域之外的道路边界轮廓线进行剔除处理,得到剔除后的道路边界轮廓线;
获取所述剔除后的道路边界轮廓线的类型属性,其中,不同的类型属性用于区分不同种类的道路边界轮廓线,其中,所述类型属性是基于获取到的前视图像确定的;
根据所述类型属性,从所述剔除后的道路边界轮廓线筛选得到所述筛选后的道路边界轮廓线。
12.根据权利要求9所述的方法,其特征在于,所述根据所述最大簇对应的段边界轮廓线,生成所述道路边界,包括:
计算所述最大簇对应的段边界轮廓线中,每一个点与所述车道线之间的第三距离,并计算各第三距离的平均距离;
以实际道路场景中所述车道线的外侧方向为基准,在所述车道线的基础上增加所述平均距离,得到所述道路边界。
13.一种高精地图的绘制方法,其特征在于,所述方法包括:
分别获取预设道路区域的预设地图数据和道路边界,其中,所述道路边界为基于如权利要求1-12中任一项所述的方法识别得到的;
在所述预设地图数据中绘制所述道路边界,得到所述预设道路区域的高精地图。
14.根据权利要求13所述的方法,其特征在于,所述高精地图中的道路边界具有提示标记,所述提示标记是基于所述道路边界的类型属性、曲率、以及平滑度中的至少一种确定的,所述提示标记用于提示对所述高精地图中的道路边界进行审核。
15.一种道路边界的识别装置,所述道路边界是道路的可行驶路面的边缘,其特征在于,所述装置包括:
第一获取单元,用于获取多种数据来源的数据,其中,不同的数据来源的数据表征预设道路区域的形式不同;
识别单元,用于对各种数据来源的数据分别进行识别处理,得到各种数据来源的数据各自对应的道路边界轮廓线;
筛选单元,用于基于所述预设道路区域的预设地图数据,从各道路边界轮廓线中筛选得到所述预设道路区域的道路边界;
所述预设地图数据中包括车道线;所述筛选单元,包括:
筛选子单元,用于基于所述预设地图数据,对各道路边界轮廓线进行筛选处理,得到筛选后的道路边界轮廓线;
所述筛选子单元,包括:
确定模块,用于根据所述车道线确定所述道路边界的所属区域;
第二剔除模块,用于将所述所属区域之外的道路边界轮廓线进行剔除处理,得到所述筛选后的道路边界轮廓线。
16.根据权利要求15所述的装置,其特征在于,所述多种数据来源的数据中包括点云数据和图像。
17.根据权利要求16所述的装置,其特征在于,所述多种数据来源的数据中包括点云数据;所述识别单元,包括:
过滤子单元,用于对所述点云数据进行过滤处理,得到过滤后的点云数据;
投影子单元,用于将所述过滤后的点云数据投影至地面平面,生成所述点云数据的道路边界轮廓线,其中,所述地面平面是基于所述点云数据确定的所述预设道路区域的地面平面。
18.根据权利要求17所述的装置,其特征在于,所述过滤子单元用于,采用下述方式中的至少一种,对所述点云数据进行过滤处理,得到所述过滤后的点云数据:
根据所述地面平面对所述点云数据进行过滤处理,得到所述过滤后的点云数据;
所述点云数据具有垂直性特征,根据所述垂直性特征对所述点云数据进行过滤处理,得到所述过滤后的点云数据;
对所述点云数据进行聚类处理,得到所述过滤后的点云数据。
19.根据权利要求18所述的装置,其特征在于,所述过滤子单元,包括:
第一计算模块,用于计算所述点云数据中的每一个点与所述地面平面之间的第一距离;
第一剔除模块,用于从所述点云数据中,剔除与所述地面平面之间的第一距离小于预设第一阈值的点,得到所述过滤后的点云数据。
20.根据权利要求16所述的装置,其特征在于,所述图像包括前视图像,所述前视图像以车辆行驶于所述预设道路区域的行驶方向为基准;所述识别单元,包括:
第一获取子单元,用于获取所述预设道路区域在实际道路场景中的边界,在所述前视图像中的图像坐标;
确定子单元,用于根据所述图像坐标确定所述前视图像对应的道路边界轮廓线。
21.根据权利要求20所述的装置,其特征在于,所述点云数据包括深度信息;所述确定子单元,用于根据所述图像坐标、所述深度信息、以及预设的图像坐标系与点云坐标系之间的坐标转换关系,确定所述前视图像对应的道路边界轮廓线。
22.根据权利要求16所述的装置,其特征在于,所述图像包括俯视图像;所述识别单元,包括:
第二获取子单元,用于获取所述俯视图像中的路面连通域,其中,所述路面连通域具有外轮廓;
第一生成子单元,用于根据所述外轮廓生成所述俯视图像对应的道路边界轮廓线。
23.根据权利要求15-22中任一项所述的装置,其特征在于,所述筛选单元,还包括:
划分子单元,用于将所述筛选后的道路边界轮廓线划分为多段边界轮廓线;
计算子单元,用于计算每一段边界轮廓线中的多个点分别与所述车道线的第二距离;
聚类子单元,用于对多个第二距离进行聚类处理,得到所述多段边界轮廓线的多个簇中的最大簇;
第二生成子单元,用于根据所述最大簇对应的段边界轮廓线,生成所述道路边界。
24.根据权利要求15所述的装置,其特征在于,所述车道线具有属性信息,所述属性信息用于表征所述车道线在位置、长度、方向维度中的至少一种的特征;所述第二剔除模块,包括:
第一剔除子模块,用于将所述所属区域之外的道路边界轮廓线进行剔除处理,得到剔除后的道路边界轮廓线;
第一筛选子模块,用于根据所述属性信息,从所述剔除后的道路边界轮廓线筛选得到所述筛选后的道路边界轮廓线。
25.根据权利要求15所述的装置,其特征在于,所述第二剔除模块,包括:
第二剔除子模块,用于将所述所属区域之外的道路边界轮廓线进行剔除处理,得到剔除后的道路边界轮廓线;
获取子模块,用于获取所述剔除后的道路边界轮廓线的类型属性,其中,不同的类型属性用于区分不同种类的道路边界轮廓线,其中,所述类型属性是基于获取到的前视图像确定的;
第二筛选子模块,用于根据所述类型属性,从所述剔除后的道路边界轮廓线筛选得到所述筛选后的道路边界轮廓线。
26.根据权利要求23所述的装置,其特征在于,所述第二生成子单元,包括:
第二计算模块,用于计算所述最大簇对应的段边界轮廓线中,每一个点与所述车道线之间的第三距离,并计算各第三距离的平均距离;
增加模块,用于以实际道路场景中所述车道线的外侧方向为基准,在所述车道线的基础上增加所述平均距离,得到所述道路边界。
27.一种高精地图的绘制装置,其特征在于,所述装置包括:
第二获取单元,用于分别获取预设道路区域的预设地图数据和道路边界,其中,所述道路边界为基于如权利要求1-12中任一项所述的方法识别得到的;
绘制单元,用于在所述预设地图数据中绘制所述道路边界,得到所述预设道路区域的高精地图。
28.根据权利要求27所述的装置,其特征在于,所述高精地图中的道路边界具有提示标记,所述提示标记是基于所述道路边界的类型属性、曲率、以及平滑度中的至少一种确定的,所述提示标记用于提示对所述高精地图中的道路边界进行审核。
29.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-12中任一项所述的方法;或者,以使所述至少一个处理器能够执行权利要求13-14中任一项所述的方法。
30.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行根据权利要求1-12中任一项所述的方法;或者,所述计算机指令用于使所述计算机执行根据权利要求13-14中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211058800.XA CN115131761B (zh) | 2022-08-31 | 2022-08-31 | 道路边界的识别方法、绘制方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211058800.XA CN115131761B (zh) | 2022-08-31 | 2022-08-31 | 道路边界的识别方法、绘制方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115131761A CN115131761A (zh) | 2022-09-30 |
CN115131761B true CN115131761B (zh) | 2022-12-06 |
Family
ID=83387336
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211058800.XA Active CN115131761B (zh) | 2022-08-31 | 2022-08-31 | 道路边界的识别方法、绘制方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115131761B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115861959A (zh) * | 2023-02-24 | 2023-03-28 | 中国第一汽车股份有限公司 | 一种车道线识别方法、装置、电子设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114842442A (zh) * | 2021-01-15 | 2022-08-02 | 宝马股份公司 | 道路边界获取方法、道路边界获取装置和车辆 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112154445A (zh) * | 2019-09-19 | 2020-12-29 | 深圳市大疆创新科技有限公司 | 高精度地图中车道线的确定方法和装置 |
CN113673274A (zh) * | 2020-05-13 | 2021-11-19 | 长沙智能驾驶研究院有限公司 | 道路边界检测方法、装置、计算机设备和存储介质 |
CN111626206A (zh) * | 2020-05-27 | 2020-09-04 | 北京百度网讯科技有限公司 | 高精地图构建方法、装置、电子设备及计算机存储介质 |
CN113674287A (zh) * | 2021-09-03 | 2021-11-19 | 阿波罗智能技术(北京)有限公司 | 高精地图的绘制方法、装置、设备以及存储介质 |
CN114863380B (zh) * | 2022-07-05 | 2022-10-25 | 高德软件有限公司 | 车道线识别方法、装置及电子设备 |
-
2022
- 2022-08-31 CN CN202211058800.XA patent/CN115131761B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114842442A (zh) * | 2021-01-15 | 2022-08-02 | 宝马股份公司 | 道路边界获取方法、道路边界获取装置和车辆 |
Also Published As
Publication number | Publication date |
---|---|
CN115131761A (zh) | 2022-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110781885A (zh) | 基于图像处理的文本检测方法、装置、介质及电子设备 | |
CN112154446B (zh) | 立体车道线确定方法、装置和电子设备 | |
CN110188778B (zh) | 基于影像提取结果的居民区要素轮廓规则化方法 | |
CN114419165A (zh) | 相机外参校正方法、装置、电子设备和存储介质 | |
CN115131761B (zh) | 道路边界的识别方法、绘制方法及装置 | |
CN112258568B (zh) | 一种高精度地图要素的提取方法及装置 | |
EP4024084A2 (en) | Spatial parking place detection method and device, storage medium, and program product | |
CN114743178B (zh) | 道路边缘线生成方法、装置、设备及存储介质 | |
CN111696059A (zh) | 一种车道线光滑连接处理方法和装置 | |
CN114625744A (zh) | 电子地图的更新方法和装置 | |
CN114299242A (zh) | 高精地图中图像处理方法、装置、设备以及存储介质 | |
CN115049997B (zh) | 边缘车道线的生成方法、装置、电子设备及存储介质 | |
CN114612544B (zh) | 图像处理方法、装置、设备和存储介质 | |
CN116434181A (zh) | 地面点检测方法、装置、电子设备和介质 | |
CN114840626A (zh) | 高精地图数据处理方法、行车导航方法及相关装置 | |
CN115527028A (zh) | 地图数据处理方法及装置 | |
CN113706705A (zh) | 用于高精地图的图像处理方法、装置、设备以及存储介质 | |
CN114036247A (zh) | 高精地图数据关联方法、装置、电子设备及存储介质 | |
CN114155508B (zh) | 一种道路变化检测方法、装置、设备以及存储介质 | |
CN109949360A (zh) | 一种道路中心线的提取方法、装置、电子设备及存储介质 | |
CN113034685B (zh) | 激光点云与高精地图的叠加方法、装置及电子设备 | |
CN117853614A (zh) | 高精地图元素变更情况的检测方法、装置和车辆 | |
CN118052945A (zh) | 道路场景建模方法、高精度地图更新方法、装置及设备 | |
CN114625823A (zh) | 车道线数据处理方法、装置、设备及存储介质 | |
CN114860861A (zh) | 车道线处理方法、电子设备及计算机程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |