CN110598541A - 一种提取道路边缘信息的方法及设备 - Google Patents

一种提取道路边缘信息的方法及设备 Download PDF

Info

Publication number
CN110598541A
CN110598541A CN201910716150.5A CN201910716150A CN110598541A CN 110598541 A CN110598541 A CN 110598541A CN 201910716150 A CN201910716150 A CN 201910716150A CN 110598541 A CN110598541 A CN 110598541A
Authority
CN
China
Prior art keywords
information
point
road edge
preset
ground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910716150.5A
Other languages
English (en)
Other versions
CN110598541B (zh
Inventor
史文中
赵焱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HKUST Shenzhen Research Institute
Original Assignee
HKUST Shenzhen Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HKUST Shenzhen Research Institute filed Critical HKUST Shenzhen Research Institute
Priority to CN201910716150.5A priority Critical patent/CN110598541B/zh
Publication of CN110598541A publication Critical patent/CN110598541A/zh
Application granted granted Critical
Publication of CN110598541B publication Critical patent/CN110598541B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明适用于计算机技术领域,提供了一种提取道路边缘信息的方法及设备,包括:获取待检测区域的点云数据,基于所述点云数据确定所述待检测区域的地面点信息;基于所述地面点信息和预设扫描线分离条件,确定扫描线;基于预设车辆轨迹信息和所述扫描线确定初始点;基于所述扫描线、所述初始点以及预设筛选策略确定所述待检测区域的道路边缘信息。上述方法,从地面点中筛选出道路边缘信息,受环境因素影响较小,算法鲁棒性较高,在不同道路环境下,例如,坡度起伏较大的环境或者存在较多障碍物的环境下,都可以准确的获取到道路边缘信息。

Description

一种提取道路边缘信息的方法及设备
技术领域
本发明属于计算机技术领域,尤其涉及一种提取道路边缘信息的方法及设备。
背景技术
道路边缘信息的提取对于城市设计、交通规划、灾害检测和地理信息更新至关重要。传统基于航片的道路提取用于检测道路分布,生成道路骨架网络,并为城市规划,道路交通和灾害检测提供指导。高精地图要求更为详细的道路信息,而传统基于航片的道路提取方法受限于相片分辨率,无法满足其需求。提取额外详细和准确的道路边缘信息的方式是激光数据处理技术的新研究重点。
传统的基于图像的道路边缘信息提取方法可以获得准确的道路边界信息,但会受到环境的限制,并且表现出对物体的表面纹理特征的强烈依赖性。在光照和天气条件差的情况下难以实现优异的结果。基于这些问题,出现了基于激光雷达(Light Detection AndRanging,LiDAR)数据提取道路边缘信息的方法,LiDAR是一种受环境影响较小的主动传感器,LiDAR基于直接视距,其具有比图像模式更高的数据采集效率,LiDAR数据比图像模式具有更好的连续性,并且不受特征点分布的限制。
但是,已有的基于LiDAR数据提取道路边缘信息的方法也存在一些问题。如在不同道路环境下,算法阈值选取会影响算法结果;在坡度起伏较大的环境中或者存在较多障碍物时,不能准确的提取出道路边缘信息。
发明内容
有鉴于此,本发明实施例提供了一种提取道路边缘信息的方法及设备,以解决现有技术中在不同道路环境下,算法阈值选取会影响算法结果,在坡度起伏较大的环境中或者存在较多障碍物时,不能准确的提取出道路边缘信息的问题。
本发明实施例的第一方面提供了一种提取道路边缘信息的方法,包括:
获取待检测区域的点云数据,基于所述点云数据确定所述待检测区域的地面点信息;其中,所述点云数据包括所述待检测区域的地面点和非地面点;所述地面点信息包括地面点的标识和位置信息;
基于所述地面点信息和预设扫描线分离条件,确定扫描线;其中,所述扫面线由满足所述预设扫描线分离条件的目标地面点组成;
基于预设车辆轨迹信息和所述扫描线确定初始点;其中,所述初始点为所述预设车辆轨迹信息和所述扫描线的交点;
基于所述扫描线、所述初始点以及预设筛选策略确定所述待检测区域的道路边缘信息。
本发明实施例的第二方面提供了一种提取道路边缘信息的装置,包括:
第一获取单元,用于获取待检测区域的点云数据,基于所述点云数据确定所述待检测区域的地面点信息;其中,所述点云数据包括所述待检测区域的地面点和非地面点;所述地面点信息包括地面点的位置信息;
第一确定单元,用于基于所述地面点信息和预设扫描线分离条件,确定扫描线;其中,所述扫描线由满足所述预设扫描线分离条件的目标地面点组成;
第二确定单元,用于基于预设车辆轨迹信息和所述扫描线确定初始点;其中,所述初始点为所述预设车辆轨迹信息和所述扫描线的交点;
第三确定单元,用于基于所述扫描线、所述初始点以及预设筛选策略确定所述待检测区域的道路边缘信息。
本发明实施例的第三方面提供了一种提取道路边缘信息的设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的提取道路边缘信息的方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的提取道路边缘信息的方法的步骤。
本发明实施例中,获取待检测区域的点云数据,基于所述点云数据确定所述待检测区域的地面点信息;基于所述地面点信息和预设扫描线分离条件,确定扫描线;基于预设车辆轨迹信息和所述扫描线确定初始点;基于所述扫描线、所述初始点以及预设筛选策略确定所述待检测区域的道路边缘信息。上述方法,从地面点中筛选出道路边缘信息,受环境因素影响较小,算法鲁棒性较高,在不同道路环境下,例如,坡度起伏较大的环境或者存在较多障碍物的环境下,都可以准确的获取到道路边缘信息。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明第一实施例提供的一种提取道路边缘信息的方法的示意流程图;
图2是本发明第一实施例提供的一种提取道路边缘信息的方法中S102细化的示意流程图;
图3是本发明第二实施例提供的另一种提取道路边缘信息的方法的示意流程图;
图4是本发明第二实施例提供的另一种提取道路边缘信息的方法中S204细化的示意流程图;
图5是本发明第三实施例提供的另一种提取道路边缘信息的方法的示意流程图;
图6是本发明第四实施例提供的一种提取道路边缘信息的装置的示意图;
图7是本发明第五实施例提供的提取道路边缘信息的设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
请参见图1,图1是本发明第一实施例提供的一种提取道路边缘信息的方法的示意流程图。本实施例中提取道路边缘信息的方法的执行主体为具有提取道路边缘信息功能的设备,例如,移动终端、台式计算机、云端服务器等等。如图1所示的提取道路边缘信息的方法可包括:
S101:获取待检测区域的点云数据,基于所述点云数据确定所述待检测区域的地面点信息;其中,所述点云数据包括所述待检测区域的地面点和非地面点;所述地面点信息包括地面点的位置信息。
当一束激光照射到物体表面时,所反射的激光会携带方位、距离等信息。若将激光束按照某种轨迹进行扫描,便会边扫描边记录到反射的激光点信息,由于扫描极为精细,则能够得到大量的激光点,因而就可形成激光点云,即点云数据。机载激光雷达设备作业中,激光扫描过程是盲目的,即激光脉冲既可能打在地面上,又可能打在建筑物、桥梁、电力线、灯塔、车辆等人工地物或者植被上。因此,获取的机载激光雷达点云数据中既有地面点,又有非地物点,地面点即为位于地面上的点,非地面点可能位于建筑物、桥梁、电力线、灯塔、车辆等人工地物或者植被上。从机载激光雷达点云数据中分离出地形表面激光脚点数据子集的过程,称为滤波。
设备获取待检测区域的点云数据,其中,待检测区域即为需要区分出地面点和非地面点的区域,点云数据包括待检测区域的地面点和非地面点。设备基于获取到的点云数据分离出待检测区域的地面点信息,地面点信息包括地面点的标识和位置信息。
进一步的,为了准确的获取到待检测区域的地面点信息,S101可以包括:获取待检测区域的点云数据,采用预设的布料模拟算法对所述点云数据进行处理,确定所述点云数据中的地面点信息。
获取待检测区域的点云数据,可以先获取待检测区域的原始点云数据,原始点云数据可能会包含一些错误的测量值,这些测量值既不能标识地面点也不能标识非地面点,可以对原始点云数据进行去噪,得到待检测区域的点云数据。
设备中预先设置布料模拟算法,布料模拟滤波(colth simulation filtering,CSF)算法是基于一种简单的物理过程模拟,该算法假设一块虚拟的布料受重力作用落在地形表面上,如果这块布料足够软,则会贴附与地形上,而布料的形状就是DSM。当地形被翻转过来时,则落在表面上的布料形状就是DEM,布料模拟算法原理如下:
(1)首先将去除过离群点的点云进行镜面翻转。
(2)根据用户设定的格网分辨率来生成模拟布料的计算点。
(3)点云数据和模拟布料的计算点都投影到二维平面,在平面中,找到点云数据中距离模拟布料的计算点最近的对应点。
(4)对应点的高度值由模拟布料与点云数据相交的高度值确定,代表了计算点最低的近似高度值。
(5)将计算点的现高度值与相交的高度值的大小进行比较,当现高度值小于等于相交高度时,将计算点移动到相交的位置,并将其设定为固定点。
(6)进行多次模拟布料循环,直到所有计算点的高度变化的最大值小于用户设定阈值或者模拟次数超过用户设定阈值。
(7)运算点云数据与模拟布料的计算点之间的距离,根据距离阈值来区分地面点与非地面点。布料模拟滤波方法具有较少的参数且较易为设置,但是无法移除较低建筑物点云,并且可能在数据边界、稀疏和复杂地形中失效。在本发明中,布料模拟滤波的分辨率参数设置为与原始点云数据大致的分辨率相同,距离参数设置为两倍的分辨率参数大小。
设备采用预设的布料模拟算法对点云数据进行处理,确定点云数据中的地面点和非地面点,并且获取地面点的标识和位置信息,确定地面点信息,其中,地面点信息包括地面点的标识和位置信息。
S102:基于所述地面点信息和预设扫描线分离条件,确定扫描线;其中,所述扫描线由满足所述预设扫描线分离条件的目标地面点组成。
本实施例中,是基于扫描线来提取道路边缘信息的,扫描线用于确定道路边缘信息,其中,扫描线为与两端道路边缘线交叉的虚拟线。由于道路环境的复杂性,存在雷达盲区,如果盲区的覆盖时间大于预设阈值,则会将一条扫描线分成两条。一般来说道路点密度较大,因为道路点通常位于扫描线的中间。而扫描线的末端主要是道路两侧的建筑物,即非地面点。因此,在确定扫描线之前,先移除非地面点缩短扫描线的长度,这也是S101中提取地面点的原因。设备中预先设置了扫描线分离条件,其中,预设扫描线分离条件用于从地面点信息中分离出扫描线,扫描线由满足预设扫描线分离条件的目标地面点组成。
进一步地,为了准确的从地面点中分离出扫描线,S102可以包括S1021~S1023,如图2所示,S1021~S1023具体如下:
S1021:获取所述地面点信息中每个所述地面点对应的时间戳信息。
设备获取地面点信息中每个地面点对应的时间戳信息。在一般的道路环境中,连续激光点的时间戳差异在同一扫描线中是固定值,但是当前扫描线的终点与下一扫描线的起点之间的时间差值远大于同一扫描线中相邻点的时间差值。根据此特征可以从地面点中分离出扫描线。
S1022:基于所述时间戳信息和预设扫描线分离条件,从所述地面点信息中分离出目标地面点。
设备基于时间戳信息和预设扫描线分离条件,从地面点信息中分离出目标地面点。例如,当地面点之间的时间戳差值为固定值时,确定当前地面点为目标地面点。
S1023:基于所述目标地面点确定扫描线。
扫描线由满足预设扫描线分离条件的目标地面点组成,基于目标地面点确定扫描线。
S103:基于预设车辆轨迹信息和所述扫描线确定初始点;其中,所述初始点为所述预设车辆轨迹信息和所述扫描线的交点。
设备中预设车辆轨迹信息,预设车辆轨迹信息用于确定扫描线的初始点。其中,车辆轨迹信息为车辆在道路上正常行驶的轨迹信息,实际的道路上可以有无数个车辆轨迹,但是,本实施例中的车辆轨迹信息只有一条。设备将预设车辆轨迹信息和扫描线放入同一个虚拟二维坐标系中,获取预设车辆轨迹信息和扫描线之间的交点,该交点即为初始点。
S104:基于所述扫描线、所述初始点以及预设筛选策略确定所述待检测区域的道路边缘信息。
设备中预先设置筛选策略,用于从扫描线上筛选出待检测区域的道路边缘信息。设备以初始点为起点,基于预设筛选策略从扫描线包含的所有目标地面点中筛选出待检测区域的道路边缘点,获取待检测区域的道路边缘点的标识和位置信息,待检测区域的道路边缘信息包括道路边缘点的标识和位置信息。
本发明实施例中,获取待检测区域的点云数据,基于所述点云数据确定所述待检测区域的地面点信息;基于所述地面点信息和预设扫描线分离条件,确定扫描线;基于预设车辆轨迹信息和所述扫描线确定初始点;基于所述扫描线、所述初始点以及预设筛选策略确定所述待检测区域的道路边缘信息。上述方法,从地面点中筛选出道路边缘信息,受环境因素影响较小,算法鲁棒性较高,在不同道路环境下,例如,坡度起伏较大的环境或者存在较多障碍物的环境下,都可以准确的获取到道路边缘信息。
请参见图3,图3是本发明第二实施例提供的另一种提取道路边缘信息的方法的示意流程图。本实施例中提取道路边缘信息的方法的执行主体为具有提取道路边缘信息功能的设备,例如,移动终端、台式计算机、云端服务器等等。为了更准确的提取到道路边缘信息,本实施与第一实施例的不同在于S204,其中,本实施例中的S201~S203与第一实施例中的S101~S103相同,本实施例中的S204是第一实施例中的S101的进一步的细化,如图3所示,S204具体如下:
S204:以所述初始点为起点,基于所述预设筛选策略对所述扫描线进行扫描,确定所述待检测区域的道路边缘信息。
设备以初始点为起点,基于预设筛选策略对扫描线进行扫描,扫描的过程可以是以激光点对扫描线进行扫描,逐一扫描扫描线包括的各个目标地面点。可以理解的是,由于一条路具有两个边缘,所以在一条扫描线上具有两个道路边缘点,设备以初始点为起点,是要沿着扫描线分别向相反的方向进行扫描的,然后基于两次扫描分别确定待检测区域的道路边缘信息。
进一步地,为了更准确的提取到道路边缘信息,S204可以包括S2041~S2042,如图4所示,S2041~S2042具体如下:
S2041:以所述初始点为起点,获取每个所述目标地面点对应的两个预设虚拟窗口之间的高程差信息和角度差信息。
为了防止噪声点的干扰,在对目标地面点进行扫描时,每个目标地面点对应预设了两个虚拟窗口,其中,可以设置虚拟窗口的大小,通过获取两个虚拟窗口中的所有点的相关信息,防止噪声点的干扰。以初始点为起点,获取每个目标地面点对应的两个预设虚拟窗口之间的高程差信息和角度差信息。
其中,目标地面点对应的两个预设虚拟窗口之间的高程差信息为两个预设虚拟窗口中所有点的高程平均值的差值,不同的目标地面点对应的两个预设虚拟窗口之间的高程差信息是不同的,高程差信息可以采用如下公式进行计算:
ΔH=Hleft_mean-Hright_mean
ΔH为高程差信息,Hleft_mean和Hright_mean分别代表两个预设虚拟窗口的高程平均值。
目标地面点对应的两个预设虚拟窗口之间的角度差信息为两个预设虚拟窗口对应的矢量之间的角度差值,一般来说,在平滑的路面上,两个预设虚拟窗口之间的角度接近180°,道路边缘的路缘石垂直于道路。预设虚拟窗口对应的矢量计算如下:
是预设虚拟窗口对应的矢量,(x1,y1)为预设虚拟窗口中的点的坐标,(x2,y2)为目标地面点的坐标。
两个预设虚拟窗口对应的矢量之间的角度差值可以采用如下公式进行计算:
其中,分别是两个预设虚拟窗口对应的矢量。
S2042:当所述高程差信息和所述角度差信息满足预设条件时,确定所述预设虚拟窗口对应的目标地面点为道路边缘点。
设备中预设高程差信息和角度差信息对应的条件,即可以设置高程差阈值和角度差阈值,对应的条件可以设置为高程差信息大于高程差阈值且角度差信息小于角度差阈值。当高程差信息和角度差信息满足预设条件时,则该高程差信息和角度差信息对应的目标地面点即为道路边缘点。本实施例中,也可以采用早停策略,当检测到道路边缘点时,就结束整个流程。
可以理解的是,每条扫描线有两个道路边缘点,该扫描过程同样要进行两次,分别获取到两个道路边缘点。
请参见图5,图5是本发明第三实施例提供的另一种提取道路边缘信息的方法的示意流程图。本实施例中提取道路边缘信息的方法的执行主体为具有提取道路边缘信息功能的设备,例如,移动终端、台式计算机、云端服务器等等。为了更准确的提取到道路边缘信息,本实施与第一实施例的不同在于S305~S306,其中,本实施例中的S301~S304与第一实施例中的S101~S104相同,S305~S306在S304之后执行。如图5所示,S305~S306具体如下:
S305:获取道路边缘点的修复信息。
设备获取道路边缘点的修复信息,其中,修复信息用于修复S304中获取到的道路边缘信息。可以通过密度聚类算法对S304中获取到的道路边缘点聚类,对得到每个聚类簇进行计数,簇群的数量小于阈值n的聚类簇被标记为噪声点,即为存在误差的点,簇群数大于n的边缘点簇被标记为约束点,用于约束和优化噪声点。
DBSCAN(Density-Based Spatial Clustering of Applications with Noise)是一种基于密度的聚类算法,这类密度聚类算法一般假定类别可以通过样本分布的紧密程度决定。同一类别的样本,他们之间的紧密相连的,也就是说,在该类别任意样本周围不远处一定有同类别的样本存在。通过将紧密相连的样本划为一类,这样就得到了一个聚类类别。通过将所有各组紧密相连的样本划为假设我的样本集是D=(x1,x2,...,xm),则DBSCAN具体的密度描述定义如下:
1)∈邻域:对于xj∈D,其∈邻域包含样本集D中与xj的距离不大于∈的子样本集,即N∈(xj)={xi∈D|distance(xi,xj)≤∈},这个子样本集的个数记为|N∈(xj)|;
2)核心对象:对于任一样本xj∈D,如果其∈邻域对应的N∈(xj)至少包含MinPts个样本,即如果|N∈(xj)|≥MinPts,则xj是核心对象。
3)密度直达:如果xi位于xj的∈邻域中,且xj是核心对象,则称xi由xj密度直达。注意反之不一定成立,即此时不能说xj由xi密度直达,除非且xi也是核心对象。
4)密度可达:对于xi和xj,如果存在样本样本序列p1,p2,...,pT,满足p1=xi,pT=xj,且pt+1由pt密度直达,则称xj由xi密度可达。也就是说,密度可达满足传递性。此时序列中的传递样本p1,p2,...,pT-1均为核心对象,因为只有核心对象才能使其他样本密度直达。注意密度可达也不满足对称性,这个可以由密度直达的不对称性得出。
5)密度相连:对于xi和xj,如果存在核心对象样本xk,使xi和xj均由xk密度可达,则称xi和xj密度相连。注意密度相连关系是满足对称性的。各个不同的类别,则我们就得到了最终的所有聚类类别结果。
DBSCAN算法具体流程如下:
输入:样本集D=(x1,x2,...,xm),邻域参数(∈,MinPts),样本距离度量方式;
输出:簇划分C;
1)初始化核心对象集合初始化聚类簇数k=0,初始化未访问样本集合Γ=D,簇划分
2)对于j=1,2,...m,按下面的步骤找出所有的核心对象:
a)通过距离度量方式,找到样本xj的∈邻域子样本集N∈(xj);
b)如果子样本集样本个数满足|N∈(xj)|≥MinPts,将样本xj加入核心对象样本集合:Ω=Ω∪{xj};
3)如果核心对象集合则算法结束,否则转入步骤4;
4)在核心对象集合Ω中,随机选择一个核心对象o,初始化当前簇核心对象队列Ωcur={o},初始化类别序号k=k+1,初始化当前簇样本集合Ck={o},更新未访问样本集合Γ=Γ-{o};
5)如果当前簇核心对象队列则当前聚类簇Ck生成完毕,更新簇划分C={C1,C2,...,Ck},更新核心对象集合Ω=Ω-Ck,转入步骤3);
6)在当前簇核心对象队列Ωcur中取出一个核心对象o’,通过邻域距离阈值∈找出所有的∈邻域子样本集N∈(o’),令Δ=N∈(o’)∩Γ,更新当前簇样本集合Ck=Ck∪Δ,更新未访问样本集合Γ=Γ-Δ,更新Ωcur=Ωcur∪(Δ∩Ω)-o’,转入步骤5);
输出结果为:簇划分C={C1,C2,...,Ck}。
由于在实际的道路环境中,总是存在道路叉或高架桥,其中前端和后端的道路边缘不属于同一道路。此时,不是每一个约束点都适合优化噪声点。所以,需要获取最适合优化噪声点的约束点,获取噪声点的位置信息,获取位置上和噪声点最接近的扫描线,选取位于该扫描线上第一约束点,计算相邻第一约束点的矢量之间的角度值,当角度值满足预设条件时,将该第一约束点作为可以修复该噪声点的目标约束点。
对目标约束点进行拟合,可以采用随机抽样一致算法,随机抽样一致算法(RANdomSAmpleConsensus,RANSAC),采用迭代的方式从一组包含离群的被观测数据中估算出数学模型的参数。RANSAC算法假设数据中包含正确数据和异常数据(或称为噪声)。正确数据记为内点(inliers),异常数据记为外点(outliers)。同时RANSAC也假设,给定一组正确的数据,存在可以计算出符合这些数据的模型参数的方法。该算法核心思想就是随机性和假设性,随机性是根据正确数据出现概率去随机选取抽样数据,根据大数定律,随机性模拟可以近似得到正确结果。假设性是假设选取出的抽样数据都是正确数据,然后用这些正确数据通过问题满足的模型,去计算其他点,然后对这次结果进行一个评分。基于拟合约束点得到的拟合直线在噪声点中确定出修复信息,即约束优化之后的道路边缘点。
S306:基于所述修复信息对所述道路边缘点进行修复,确定所述目标区域的目标道路边缘信息。
设备基于修复信息,对道路缘点进行修复,可以对受损的道路边缘进行修复,确定目标区域的目标道路边缘信息,即相对准确的道路边缘信息。
设备基于修复信息对道路边缘点进行修复,即根据噪声点和约束点确定比较准确的道路边缘信息。具体可以采用以下实现方式:
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
请参见图6,图6是本发明第四实施例提供的一种提取道路边缘信息的装置的示意图。包括的各单元用于执行图1~图5对应的实施例中的各步骤。具体请参阅图1~图5各自对应的实施例中的相关描述。为了便于说明,仅示出了与本实施例相关的部分。参见图6,提取道路边缘信息的装置6包括:
第一获取单元610,用于获取待检测区域的点云数据,基于所述点云数据确定所述待检测区域的地面点信息;其中,所述点云数据包括所述待检测区域的地面点和非地面点;所述地面点信息包括地面点的位置信息;
第一确定单元620,用于基于所述地面点信息和预设扫描线分离条件,确定扫描线;其中,所述扫描线由满足所述预设扫描线分离条件的目标地面点组成;
第二确定单元630,用于基于预设车辆轨迹信息和所述扫描线确定初始点;其中,所述初始点为所述预设车辆轨迹信息和所述扫描线的交点;
第三确定单元640,用于基于所述扫描线、所述初始点以及预设筛选策略确定所述待检测区域的道路边缘信息。
进一步地,第一确定单元620,具体用于:
获取所述地面点信息中每个所述地面点对应的时间戳信息;
基于所述时间戳信息和预设扫描线分离条件,从所述地面点信息中分离出目标地面点;
基于所述目标地面点确定扫描线。
进一步地,第三确定单元640,包括:
第四确定单元,用于以所述初始点为起点,基于所述预设筛选策略对所述扫描线进行扫描,确定所述待检测区域的道路边缘信息。
进一步地,所述第四确定单元,具体用于:
以所述初始点为起点,获取每个所述目标地面点对应的两个预设虚
拟窗口之间的高程差信息和角度差信息;
当所述高程差信息和所述角度差信息满足预设条件时,确定所述预设虚拟窗口对应的目标地面点为道路边缘点。
进一步地,提取道路边缘信息的装置6,还包括:
第二获取单元,用于获取道路边缘点的修复信息;
第五确定单元,用于基于所述修复信息对所述道路边缘点进行修复,确定所述目标区域的目标道路边缘信息。
进一步地,第一获取单元610,具体用于:
获取待检测区域的点云数据,采用预设的布料模拟算法对所述点云数据进行处理,确定所述点云数据中的地面点信息。
图7是本发明第五实施例提供的提取道路边缘信息的设备的示意图。如图7所示,该实施例的提取道路边缘信息的设备7包括:处理器70、存储器61以及存储在所述存储器71中并可在所述处理器70上运行的计算机程序72,例如提取道路边缘信息的程序。所述处理器70执行所述计算机程序72时实现上述各个提取道路边缘信息的方法实施例中的步骤,例如图1所示的步骤101至104。或者,所述处理器70执行所述计算机程序72时实现上述各装置实施例中各模块/单元的功能,例如图6所示模块610至640的功能。
示例性的,所述计算机程序72可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器71中,并由所述处理器70执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序72在所述提取道路边缘信息的设备7中的执行过程。例如,所述计算机程序72可以被分割成第一获取单元、第一确定单元、第二确定单元、第三确定单元,各单元具体功能如下:
第一获取单元,用于获取待检测区域的点云数据,基于所述点云数据确定所述待检测区域的地面点信息;其中,所述点云数据包括所述待检测区域的地面点和非地面点;所述地面点信息包括地面点的位置信息;
第一确定单元,用于基于所述地面点信息和预设扫描线分离条件,确定扫描线;其中,所述扫描线由满足所述预设扫描线分离条件的目标地面点组成;
第二确定单元,用于基于预设车辆轨迹信息和所述扫描线确定初始点;其中,所述初始点为所述预设车辆轨迹信息和所述扫描线的交点;
第三确定单元,用于基于所述扫描线、所述初始点以及预设筛选策略确定所述待检测区域的道路边缘信息。
所述提取道路边缘信息的设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述提取道路边缘信息的设备可包括,但不仅限于,处理器70、存储器71。本领域技术人员可以理解,图7仅仅是提取道路边缘信息的设备7的示例,并不构成对提取道路边缘信息的设备7的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述提取道路边缘信息的设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器70可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器71可以是所述提取道路边缘信息的设备7的内部存储单元,例如提取道路边缘信息的设备7的硬盘或内存。所述存储器71也可以是所述提取道路边缘信息的设备7的外部存储设备,例如所述提取道路边缘信息的设备7上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器71还可以既包括所述提取道路边缘信息的设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储所述计算机程序以及所述提取道路边缘信息的设备所需的其他程序和数据。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种提取道路边缘信息的方法,其特征在于,包括:
获取待检测区域的点云数据,基于所述点云数据确定所述待检测区域的地面点信息;其中,所述点云数据包括所述待检测区域的地面点和非地面点;所述地面点信息包括地面点的位置信息;
基于所述地面点信息和预设扫描线分离条件,确定扫描线;其中,所述扫描线由满足所述预设扫描线分离条件的目标地面点组成;
基于预设车辆轨迹信息和所述扫描线确定初始点;其中,所述初始点为所述预设车辆轨迹信息和所述扫描线的交点;
基于所述扫描线、所述初始点以及预设筛选策略确定所述待检测区域的道路边缘信息。
2.如权利要求1所述的提取道路边缘信息的方法,其特征在于,所述基于所述地面点信息和预设扫描线分离条件,确定扫描线,包括:
获取所述地面点信息中每个所述地面点对应的时间戳信息;
基于所述时间戳信息和预设扫描线分离条件,从所述地面点信息中分离出目标地面点;
基于所述目标地面点确定扫描线。
3.如权利要求1所述的提取道路边缘信息的方法,其特征在于,所述基于所述扫描线、所述初始点以及预设筛选策略确定所述待检测区域的道路边缘信息,包括:
以所述初始点为起点,基于所述预设筛选策略对所述扫描线进行扫描,确定所述待检测区域的道路边缘信息。
4.如权利要求3所述的提取道路边缘信息的方法,其特征在于,所述以所述初始点为起点,基于所述预设筛选策略对所述扫描线进行扫描,确定所述待检测区域的道路边缘信息,包括:
以所述初始点为起点,获取每个所述目标地面点对应的两个预设虚拟窗口之间的高程差信息和角度差信息;
当所述高程差信息和所述角度差信息满足预设条件时,确定所述预设虚拟窗口对应的目标地面点为道路边缘点。
5.如权利要求4所述的提取道路边缘信息的方法,其特征在于,在所述当所述高程差信息和所述角度差信息满足预设条件时,确定所述预设虚拟窗口对应的目标地面点为道路边缘点之后,还包括:
获取道路边缘点的修复信息;
基于所述修复信息对所述道路边缘点进行修复,确定所述目标区域的目标道路边缘信息。
6.如权利要求1-5任一项所述的提取道路边缘信息的方法,其特征在于,所述获取待检测区域的点云数据,基于所述点云数据确定所述待检测区域的地面点信息,包括:
获取待检测区域的点云数据,采用预设的布料模拟算法对所述点云数据进行处理,确定所述点云数据中的地面点信息。
7.一种提取道路边缘信息的装置,其特征在于,包括:
第一获取单元,用于获取待检测区域的点云数据,基于所述点云数据确定所述待检测区域的地面点信息;其中,所述点云数据包括所述待检测区域的地面点和非地面点;所述地面点信息包括地面点的位置信息;
第一确定单元,用于基于所述地面点信息和预设扫描线分离条件,确定扫描线;其中,所述扫描线由满足所述预设扫描线分离条件的目标地面点组成;
第二确定单元,用于基于预设车辆轨迹信息和所述扫描线确定初始点;其中,所述初始点为所述预设车辆轨迹信息和所述扫描线的交点;
第三确定单元,用于基于所述扫描线、所述初始点以及预设筛选策略确定所述待检测区域的道路边缘信息。
8.如权利要求7所述的提取道路边缘信息的装置,其特征在于,所述第一确定单元,具体用于:
获取所述地面点信息中每个地面点对应的时间戳信息;
基于所述时间戳信息和预设扫描线分离条件,从所述地面点信息中分离出目标地面点;
基于所述目标地面点确定扫描线。
9.一种提取道路边缘信息的设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。
CN201910716150.5A 2019-08-05 2019-08-05 一种提取道路边缘信息的方法及设备 Active CN110598541B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910716150.5A CN110598541B (zh) 2019-08-05 2019-08-05 一种提取道路边缘信息的方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910716150.5A CN110598541B (zh) 2019-08-05 2019-08-05 一种提取道路边缘信息的方法及设备

Publications (2)

Publication Number Publication Date
CN110598541A true CN110598541A (zh) 2019-12-20
CN110598541B CN110598541B (zh) 2021-07-23

Family

ID=68853494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910716150.5A Active CN110598541B (zh) 2019-08-05 2019-08-05 一种提取道路边缘信息的方法及设备

Country Status (1)

Country Link
CN (1) CN110598541B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110967024A (zh) * 2019-12-23 2020-04-07 苏州智加科技有限公司 可行驶区域的检测方法、装置、设备及存储介质
CN111932477A (zh) * 2020-08-07 2020-11-13 武汉中海庭数据技术有限公司 一种基于单线激光雷达点云的噪声去除方法及装置
CN112200171A (zh) * 2020-12-07 2021-01-08 速度时空信息科技股份有限公司 一种基于扫描线的道路点云的提取方法
CN112309233A (zh) * 2020-10-26 2021-02-02 北京三快在线科技有限公司 一种道路边界的确定、道路切分方法及装置
CN113255404A (zh) * 2020-02-11 2021-08-13 北京百度网讯科技有限公司 车道线识别方法、装置、电子设备和计算机可读存储介质
CN113859228A (zh) * 2020-06-30 2021-12-31 上海商汤智能科技有限公司 一种车辆控制方法、装置、电子设备及存储介质
CN114675290A (zh) * 2022-02-25 2022-06-28 中国第一汽车股份有限公司 地面数据的检测方法、检测装置及处理器
WO2022211733A1 (en) * 2021-03-31 2022-10-06 Agency For Science, Technology And Research Detection method and system for a mobile object
WO2024004723A1 (ja) * 2022-06-28 2024-01-04 京セラ株式会社 電子機器、制御方法および制御プログラム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390169A (zh) * 2013-07-19 2013-11-13 武汉大学 一种车载激光扫描点云数据的城市地物分类方法
CN103778429A (zh) * 2014-01-24 2014-05-07 青岛秀山移动测量有限公司 一种车载激光扫描点云中道路信息自动提取方法
US20160290121A1 (en) * 2014-11-05 2016-10-06 Landmark Graphics Corporation Stuck Pipe Detection
CN107679536A (zh) * 2016-08-01 2018-02-09 佛山市诺威科技有限公司 一种基于dbscan聚类的义齿颈缘线自动提取方法
CN108460416A (zh) * 2018-02-28 2018-08-28 武汉理工大学 一种基于三维激光雷达的结构化道路可行域提取方法
CN108681525A (zh) * 2018-05-16 2018-10-19 福州大学 一种基于车载激光扫描数据的路面点云强度增强方法
CN109188459A (zh) * 2018-08-29 2019-01-11 东南大学 一种基于多线激光雷达的坡道小障碍物识别方法
CN109212541A (zh) * 2018-09-20 2019-01-15 同济大学 基于车辆直角型特征和激光雷达的高精度车辆检测系统
CN109741450A (zh) * 2018-12-29 2019-05-10 征图三维(北京)激光技术有限公司 一种基于扫描线的路面点云自动提取方法及装置
CN109738910A (zh) * 2019-01-28 2019-05-10 重庆邮电大学 一种基于三维激光雷达的路沿检测方法
CN109858460A (zh) * 2019-02-20 2019-06-07 重庆邮电大学 一种基于三维激光雷达的车道线检测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390169A (zh) * 2013-07-19 2013-11-13 武汉大学 一种车载激光扫描点云数据的城市地物分类方法
CN103778429A (zh) * 2014-01-24 2014-05-07 青岛秀山移动测量有限公司 一种车载激光扫描点云中道路信息自动提取方法
US20160290121A1 (en) * 2014-11-05 2016-10-06 Landmark Graphics Corporation Stuck Pipe Detection
CN107679536A (zh) * 2016-08-01 2018-02-09 佛山市诺威科技有限公司 一种基于dbscan聚类的义齿颈缘线自动提取方法
CN108460416A (zh) * 2018-02-28 2018-08-28 武汉理工大学 一种基于三维激光雷达的结构化道路可行域提取方法
CN108681525A (zh) * 2018-05-16 2018-10-19 福州大学 一种基于车载激光扫描数据的路面点云强度增强方法
CN109188459A (zh) * 2018-08-29 2019-01-11 东南大学 一种基于多线激光雷达的坡道小障碍物识别方法
CN109212541A (zh) * 2018-09-20 2019-01-15 同济大学 基于车辆直角型特征和激光雷达的高精度车辆检测系统
CN109741450A (zh) * 2018-12-29 2019-05-10 征图三维(北京)激光技术有限公司 一种基于扫描线的路面点云自动提取方法及装置
CN109738910A (zh) * 2019-01-28 2019-05-10 重庆邮电大学 一种基于三维激光雷达的路沿检测方法
CN109858460A (zh) * 2019-02-20 2019-06-07 重庆邮电大学 一种基于三维激光雷达的车道线检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
吕亚磊 等;: "《基于车载LiDAR点云联合特征的道路边界提取研究》", 《地理与地理信息科学》 *
李会宾: "《基于激光点云的道路边界检测和标线识别方法的研究与实现》", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *
李永强 等;: "《基于车载LiDAR数据的道路边界精细提取》", 《河南理工大学学报( 自然科学版)》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110967024A (zh) * 2019-12-23 2020-04-07 苏州智加科技有限公司 可行驶区域的检测方法、装置、设备及存储介质
CN113255404A (zh) * 2020-02-11 2021-08-13 北京百度网讯科技有限公司 车道线识别方法、装置、电子设备和计算机可读存储介质
CN113859228A (zh) * 2020-06-30 2021-12-31 上海商汤智能科技有限公司 一种车辆控制方法、装置、电子设备及存储介质
CN111932477A (zh) * 2020-08-07 2020-11-13 武汉中海庭数据技术有限公司 一种基于单线激光雷达点云的噪声去除方法及装置
CN111932477B (zh) * 2020-08-07 2023-02-07 武汉中海庭数据技术有限公司 一种基于单线激光雷达点云的噪声去除方法及装置
CN112309233A (zh) * 2020-10-26 2021-02-02 北京三快在线科技有限公司 一种道路边界的确定、道路切分方法及装置
CN112200171A (zh) * 2020-12-07 2021-01-08 速度时空信息科技股份有限公司 一种基于扫描线的道路点云的提取方法
CN112200171B (zh) * 2020-12-07 2021-03-23 速度时空信息科技股份有限公司 一种基于扫描线的道路点云的提取方法
WO2022211733A1 (en) * 2021-03-31 2022-10-06 Agency For Science, Technology And Research Detection method and system for a mobile object
CN114675290A (zh) * 2022-02-25 2022-06-28 中国第一汽车股份有限公司 地面数据的检测方法、检测装置及处理器
WO2024004723A1 (ja) * 2022-06-28 2024-01-04 京セラ株式会社 電子機器、制御方法および制御プログラム

Also Published As

Publication number Publication date
CN110598541B (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN110598541B (zh) 一种提取道路边缘信息的方法及设备
CN111091105B (zh) 基于新的边框回归损失函数的遥感图像目标检测方法
US11145073B2 (en) Computer vision systems and methods for detecting and modeling features of structures in images
Vosselman et al. Contextual segment-based classification of airborne laser scanner data
CN108228798B (zh) 确定点云数据之间的匹配关系的方法和装置
Sohn et al. Extraction of buildings from high resolution satellite data
Sohn et al. Data fusion of high-resolution satellite imagery and LiDAR data for automatic building extraction
CN109584294B (zh) 一种基于激光点云的路面点云提取方法和装置
CN109583345B (zh) 道路识别方法、装置、计算机装置及计算机可读存储介质
EP3321887A1 (en) Urban road recognition method, apparatus, storage medium and device based on laser point cloud
Nurunnabi et al. Robust locally weighted regression techniques for ground surface points filtering in mobile laser scanning three dimensional point cloud data
Sohn et al. An implicit regularization for 3D building rooftop modeling using airborne lidar data
CN107424166B (zh) 点云分割方法及装置
CN102804231A (zh) 三维场景的分段平面重建
CN105953773B (zh) 斜坡坡度角获取方法及装置
CN107808524B (zh) 一种基于无人机的道路交叉口车辆检测方法
CN111126211B (zh) 标牌识别方法和装置、电子设备
CN114332291B (zh) 一种倾斜摄影模型建筑物外轮廓规则提取方法
CN111402161A (zh) 点云障碍物的去噪方法、装置、设备和存储介质
CN111915657A (zh) 一种点云配准方法、装置、电子设备及存储介质
CN115346183A (zh) 一种车道线检测方法、终端及存储介质
CN113096181B (zh) 设备位姿的确定方法、装置、存储介质及电子装置
Sun et al. Oriented point sampling for plane detection in unorganized point clouds
Park et al. Segmentation of Lidar data using multilevel cube code
CN114283343A (zh) 基于遥感卫星图像的地图更新方法、训练方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant