CN117649495B - 基于点云描述符匹配的室内三维点云地图生成方法及系统 - Google Patents
基于点云描述符匹配的室内三维点云地图生成方法及系统 Download PDFInfo
- Publication number
- CN117649495B CN117649495B CN202410121633.1A CN202410121633A CN117649495B CN 117649495 B CN117649495 B CN 117649495B CN 202410121633 A CN202410121633 A CN 202410121633A CN 117649495 B CN117649495 B CN 117649495B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- point
- points
- ceiling
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 34
- 230000009466 transformation Effects 0.000 claims abstract description 9
- 238000005457 optimization Methods 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 60
- 230000003044 adaptive effect Effects 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims 2
- 238000010276 construction Methods 0.000 abstract description 7
- 230000000875 corresponding effect Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种基于点云描述符匹配的室内三维点云地图生成方法及系统,属于机器人导航定位技术领域。分割出地面点云和天花板点云,遍历空间四周的点云,通过自适应阈值的欧式聚类算法得到多个点云簇,根据每个点云簇的描述符计算相邻两帧点云中的描述符之间的相似度得分,将相似度得分最小的一组点云簇看作是同一特征;计算构成同一特征的点云簇之间的第一点面约束,计算相邻帧地面点和天花板点之间的第二点面约束,分别以第一点面约束和第二点面约束最小为目标进行位姿优化,根据优化后的位姿变换关系,将点云转换到世界坐标系下,得到三维点云地图;本发明能够在减小速度和旋转对建图质量影响的同时抑制地图Z轴的偏移。
Description
技术领域
本发明涉及机器人导航定位技术领域,特别涉及一种基于点云描述符匹配的室内三维点云地图生成方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术,并不必然构成现有技术。
随着工业智能化转型的推进,企业对机器人的需求不断增加。其中,AGV和无人叉车成为工厂中最常用的机器人设备,它们能够自动搬运货物,可以有效提高生产效率。而SLAM(Simultaneous Localization And Mapping,即时定位与地图构建)技术是实现机器人自主导航的前提,其建图精度将直接影响机器人的定位精度,进而影响自主导航的准确性。
在工业环境中,由于工厂具有相似度高、动态性强的特点,而二维激光SLAM技术建出的平面地图包含的环境信息较少,难以用于复杂环境下的定位和导航,存在一定的局限性。相比之下,三维激光SLAM技术建出的三维地图包含整个空间的环境数据,当堆积的货物发生变化时,也能根据之前的三维地图得到机器人的位置信息,更适用于复杂环境下的定位和导航。
然而,常规的三维激光SLAM技术对机器人的速度和旋转较为敏感,在进行建图时,为了保证建图的质量,机器人不得不保持较低的移动速度,并尽量避免角速度过大的旋转,否则,仅利用激光雷达传感器进行建图的效果实际上并不理想,并且现有的三维激光SLAM算法主要面向室外环境使用,在室内环境下地图容易出现Z轴偏移的问题。
目前,解决上述问题的有效方法主要有两种,一种是增加传感器的种类,如IMU和相机,为激光雷达的位姿估计提供良好的初值,尽管这种方法效果较好,但会导致成本的增加,而且需要进行传感器的标定工作;另一种是仅使用激光雷达作为传感器,利用点云强度信息的差异,将具有特定强度信息的点云加入到帧间匹配步骤中,增加更为可靠的约束,提高位姿估计的准确性,然而,当环境中的材料大都一致时,点云的强度信息也将基本一致,就无法利用点云强度差异这一特性来建立可靠的约束。
发明内容
为了解决现有技术的不足,本发明提供了一种基于点云描述符匹配的室内三维点云地图生成方法及系统,能够在减小速度和旋转对建图质量影响的同时抑制地图Z轴的偏移。
为了实现上述目的,本发明采用如下技术方案:
第一方面,本发明提供了一种基于点云描述符匹配的室内三维点云地图生成方法。
一种基于点云描述符匹配的室内三维点云地图生成方法,包括以下过程:
基于随机采样一致性算法从激光雷达点云数据中分割出地面点云和天花板点云,计算地面点云和天花板点云的法向量,利用法向量的均值和方差对地面点云和天花板点云进行滤波;
遍历空间四周的点云,通过自适应阈值的欧式聚类算法得到多个点云簇,计算每个点云簇的描述符,根据每个点云簇的描述符计算相邻两帧点云中的描述符之间的相似度得分,将相似度得分最小的一组点云簇看作是同一特征;
计算构成同一特征的点云簇之间的第一点面约束,计算相邻帧地面点和天花板点之间的第二点面约束,分别以第一点面约束和第二点面约束最小为目标进行位姿优化,根据优化后的位姿变换关系,将点云转换到世界坐标系下,得到三维点云地图。
作为本发明第一方面进一步的限定,基于随机采样一致性算法从激光雷达点云数据中分割出地面点云和天花板点云,包括:
将激光雷达点云数据根据其所属线束及在每一线束的位置投影成图模型,图模型中的每个位置记录点的三维坐标,对图模型进行下采样,根据下采样后的图模型,使用最大线束和最小线束上的点云为随机采样一致性算法提供初值,分割出地面点云和天花板点云。
作为本发明第一方面进一步的限定,遍历空间四周点云中的面点,通过自适应阈值的欧式聚类算法得到多个点云簇,包括:
遍历去除了地面点云和天花板点云后的面点,计算当前点和其周围相邻多个点的距离,并与自适应阈值进行比较,满足自适应阈值条件的为同一簇点云。
作为本发明第一方面更进一步的限定,自适应阈值条件的判断,包括:
假设当前点为,周围任一点为/>,计算/>和/>之间的欧式距离和理论欧式距离,以激光光线的入射角为30度或者150度时的理论欧式距离作为自适应阈值;
将点和/>之间的欧式距离和自适应阈值进行比较,如果欧式距离小于自适应阈值,则/>满足阈值,为同一聚类点,否则不满足,不为同一聚类点。
作为本发明第一方面更进一步的限定,如果当前点周围的N个点中有个点满足自适应阈值,则将这/>个点及当前点归为一类,并将这/>个点加入队列,接着以队列中的第一个点为当前点,计算其与其相邻的N个点之间的距离,并判断是否满足自适应阈值;
如果有个点满足阈值,则将这/>个点和前面得到点归为一类,并将这/>个点加入队列,接着按照上述方法继续遍历队列中的点,直到队列为空,则完成一簇点云的聚类。
作为本发明第一方面进一步的限定,计算每个点云簇的描述符,包括:
计算点云簇的质心坐标,将每一簇点云以质心为原点划分成多份,并对点云簇去中心化,计算每一份点云的中心,得到多个中心点到质心点的距离,将点云簇的质心坐标和各个距离值组合在一起得到自定义的描述符。
作为本发明第一方面更进一步的限定,根据每个点云簇的描述符计算相邻两帧点云中的描述符之间的相似度得分,将相似度得分最小的一组点云簇看作是同一特征,包括:
将点云簇的质心坐标和多个相关距离组合在一起,构成表达点云簇位置和形状信息的描述符,前三位为点云簇的全局描述符,后序各位为点云簇的局部描述符;
假设前一帧点云分割出m个点云簇,当前帧点云分割出n个点云簇,则前一帧点云对应有m个描述符,当前帧点云对应有n个描述符,计算前一帧的任一个描述符和当前帧的任一个描述符之间的全局相似度得分和局部相似度得分,将相似度得分系数与局部相似度得分的乘积再与全局相似度得分加和作为两个描述符的相似度得分;
将当前点云分割出的每个点云簇分别和前一帧点云分割出的全部点云簇进行相似度计算,得到每种组合的相似度得分,将相似度得分最小且小于设定阈值的一组点云簇看作是同一特征。
第二方面,本发明提供了一种基于点云描述符匹配的室内三维点云地图生成系统。
一种基于点云描述符匹配的室内三维点云地图生成系统,包括:
点云分割模块,被配置为:基于随机采样一致性算法从激光雷达点云数据中分割出地面点云和天花板点云,计算地面点云和天花板点云的法向量,利用法向量的均值和方差对地面点云和天花板点云进行滤波;
相似度评估模块,被配置为:遍历空间四周的点云,通过自适应阈值的欧式聚类算法得到多个点云簇,计算每个点云簇的描述符,根据每个点云簇的描述符计算相邻两帧点云中的描述符之间的相似度得分,将相似度得分最小的一组点云簇看作是同一特征;
点云地图生成模块,被配置为:计算构成同一特征的点云簇之间的第一点面约束,计算相邻帧地面点和天花板点之间的第二点面约束,分别以第一点面约束和第二点面约束最小为目标进行位姿优化,根据优化后的位姿变换关系,将点云转换到世界坐标系下,得到三维点云地图。
第三方面,本发明提供了一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现如本发明第一方面所述的基于点云描述符匹配的室内三维点云地图生成方法中的步骤。
第四方面,本发明提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的程序,所述处理器执行所述程序时实现如本发明第一方面所述的基于点云描述符匹配的室内三维点云地图生成方法中的步骤。
与现有技术相比,本发明的有益效果是:
1、本发明使用基于RANSAC算法(随机样本一致算法)从点云中分割出的地面点云和天花板点云来进行scan to scan的帧间匹配,可以增加Z轴方向的约束,提高了Z轴方向建图的精度;利用点云法向量的均值和方差来对点云进行滤波,得到质量地面点云和天花板点云,提高了地面点云和天花板点云的质量,从而可以进一步提高Z轴方向建图的精度。
2、本发明通过采用自适应阈值的欧式聚类方法从点云中分割出空间四周的点云簇,并计算点云簇的自定义描述符,根据自定义描述符将相邻两帧点云中同一特征点云簇进行关联,进而在后续的scan to scan步骤中,将相邻帧中相同特征的点云簇进行匹配,解决了当机器人的速度和角速度过大时,直接利用相邻帧点云进行匹配容易出现的误匹配问题,减小了建图失败的概率,增强了SLAM算法的鲁棒性。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1为本发明实施例1提供的基于点云描述符匹配的室内三维点云地图生成方法的流程示意图;
图2为本发明实施例1提供的地面点云和天花板点云分割示意图;
图3为本发明实施例1提供的地面点云和天花板点云的法向量计算示意图;
图4为本发明实施例1提供的判断两点之间的距离是否满足自适应阈值的方法示意图;
图5为本发明实施例1提供的采用自适应阈值的欧式聚类方法从点云中分割出空间四周的点云簇的流程示意图;
图6为本发明实施例1提供的求解自定义描述符的流程示意图;
图7为本发明实施例1提供的将点云簇平均分成8份的示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出,以下详细说明都是例示性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
实施例1:
本发明实施例1提供了一种基于点云描述符匹配的室内三维点云地图生成方法,为了抑制地图Z轴的偏移,设计了一种基于随机采样一致RANSAC算法的点云分割方法,从点云中分割出地面点和天花板点,并利用点云法向量的均值和方差对地面点和天花板点进行滤波,以提高地面点云和天花板点云的质量;然后建立相邻两帧地面点云和天花板点云的点面约束,并使用LM(Levenberg Marquardt)方法估计出;为了减小速度和旋转对建图质量的影响,设计了一种自适应阈值的欧式聚类方法,从点云中分割出空间四周的点云簇,并使用自定义描述符表达分割出的点云簇的位置和形状,然后根据自定义描述符将相邻两帧点云的中同一特征点云进行关联,建立相同点云簇特征的点面约束,并使用LM方法估计出/>。
本发明实现的总体流程图如图1所示,以robosense16型号的激光雷达为例,该激光雷达为16线激光雷达,每一线束包含1800个激光点。首先将点云数据根据其所属线束及在每一线束的位置投影成16×1800的图模型,图模型中的每个位置记录点的三维坐标,对原始图模型进行下采样,保留可以被4整除的列数,得到16×450的下采样后的图模型,使用线束为正15度和负15度的点云为RANSAS算法提供初值,分割出地面点云和天花板点云,计算地面点云和天花板点云的法向量,利用法向量的均值和方差对地面点云和天花板点云进行滤波,以提高点云的质量;遍历去除了地面点和天花板点的点云,计算当前点和其周围8个点的距离,并与自适应阈值进行比较,满足条件的为同一簇点云,通过这种聚类方法,可以得到若干个点云簇。将每一簇点云以质心为原点划分成8份,并对点云簇去中心化,计算每一份点云的中心,得到8个中心点到质心点的距离;将点云簇的质心和8个距离值组合在一起得到自定义的描述符。根据自定义描述符计算相邻两帧点云中点云簇描述符之间的相似度得分,将相似度得分最小的一组点云簇看作是同一特征;计算相同特征点云簇之间的点面约束,计算相邻帧地面点和天花板点之间的点面约束,并去除较大的约束,利用LM方法进行位姿优化,使约束之和最小。在完成了前端相邻帧匹配(scan to scan)后,以前端优化的结果为初值,在后端将当前帧和建好的地图进行匹配(scan to map),进一步优化,得到最终优化后的位姿变换。最后将激光点云根据这个位姿变换关系转换到世界坐标系下,从而得到全局一致性的点云地图。
更具体的,本发明的室内三维点云地图生成方法,包括以下过程:
S1:基于RANSCA算法从点云中分割出地面点云和天花板点云,使用点云法向量的均值和方差对地面点云和天花板点云进行滤波。
由于地面点云和天花板点云在Z轴方向具有可观性,可以单独将相邻两帧中的地面点云和天花板点云进行匹配,估计六自由度姿态中的,抑制大范围建图过程中出现的地图Z轴偏移问题,提高了建图的精度。但由于地面点和天花板点的入射角都比较小(robosense16型号的激光雷达产生的点云与地面的入射角小于15度),这些点打在地面和天花板上时由于反射信号降低、发生多次反射等因素导致测量误差增加,使得打在地面和天花板的激光点的整体质量不高。如果直接用这些点进行匹配,在大范围建图时,Z轴方向仍会发生偏移。为了利用好地面点和天花板点的特性,需要对这些点进行滤波,以提高点云质量,从而达到抑制地图Z轴偏移的目的,其流程如图2所示。具体步骤如下:
S1.1:首先将降采样后的点云以激光雷达坐标系的xy平面分成两个点云,分别为点云一和点云二,点云一位于激光雷达坐标系的Z轴负方向,点云二位于激光雷达坐标系的Z轴正方向。
S1.2:从点云图模型中提取出所在线束为正15度和负15度的点云。在正15度的点云中随机采样3个点,作为随机采样RANSAC算法的初值。在负15度的点云中随机采样3个点,作为随机采样RANSAC算法的初值;接着,使用RANSAC算法分别对点云一和点云二进行平面拟合,得到地面点和天花板点,如果不为RANSAC算法提供初值,直接使用RANSAC算法对点云一和点云二进行平面拟合,一方面拟合速度较慢,另一方面因为点云一和点云二中除了地面点和天花板点外,还包含有四周的面点,会出现拟合出的平面不正确的情况。
S1.3:接着计算地面点云和天花板点云的法向量,其流程如图3所示。首先将分割出的地面点云和天花板点云存储到kdTree中。遍历点云中的所有点,记遍历到的第个点为当前点,为/>,利用kdTree查询距离当前点最近的9个点,记为/>;接下来对这10个点进行平面拟合;设待求的平面方程为/>,其中为待求的平面方程的参数,/>为点/>对应的三维坐标。平面方程可以改写成/>,则该平面方程对应的法向量;假设这10个点都在平面方程上,则可以得到公式(1),将公式(1)的方程组写成矩阵的形式,进而得到公式(2)。公式(2)为超定方程,可以利用SVD奇异值分解的方法求得平面方程的参数/>,即可得到当前点/>的法向量,接着对求得的法向量进行归一化处理,使其为单位法向量。如果这10个点中有若干点不在平面方程上,那么求出的法向量精度会较差。为了提高法向量求解的精度,当拟合出平面方程后,计算10个点到平面的距离/>。如果这些距离中有大于阈值0.06m的值,则把该距离对应的点删除,使用剩下的点按照上述步骤再次拟合平面,并计算法向量。如果用于平面拟合的点数小于5,则说明当前点/>周围为曲面,不属于地面和天花板这样的平面,将其法向量置为,公式(1)和公式(2)如下所示:/>(1);(2)。
S1.4:得到地面点云和天花板点云的法向量后,需要对这些点云进行滤波处理,以提高点云的质量。首先计算地面点云法向量的均值和方差/>,计算天花板点云法向量的均值/>和方差/>,接着遍历天花板点云和地面点云的法向量,如果遍历到的天花板点云的法向量/>满足公式(3),则为天花板点,否则将该点舍弃。如果遍历到的地面点云的法向量满足公式(4),则为地面点,否则将该点舍弃。这样就得到了质量天花板点云和地面点云。在后续的scan to scan中,将相邻帧分割出的地面点云和天花板点云进行匹配,构建点面约束,利用LM算法优化求解出/>。由于地面点云和天花板点云在Z轴方向具有更多的约束,这样优化出的Z轴的位姿更加精确,可以达到抑制地图Z轴偏移的目的,公式(3)和公式(4)如下所示:/>(3);/>(4)。
S2:利用自适应阈值的欧式聚类方法从点云中分割出空间四周的点云簇。
在分割完地面点云和天花板点云之后,还剩下空间四周的点云需要处理。空间四周的点云包含大量的墙壁特征、货物特征、加工设备特征等,这些特征往往聚成一团,和其他特征之间相隔一定的距离。为了将这些特征的点云分割出来,用于后续将相邻帧点云的同一特征进行匹配,避免直接将整个点云进行匹配时出现的误匹配现象(特别是当机器人运动速度过快,转弯角速度过大时),采用自适应阈值的欧式聚类方法从点云中分割出空间四周的点云簇,其流程如图5所示。
对空间四周的点云聚类的步骤如下:从降采样后的图模型中去除分割的地面点云和天花板点云,得到空间四周的点云;计算空间四周点云的曲率,去除曲率大于0.01的角点,剩下的点为曲率较小的面点;遍历图模型中的面点,计算当前点与其相邻的8个点之间的距离,并判断是否满足自适应阈值;如果这8个点中有个点满足自适应阈值,则将这/>个点及当前点归为一类,并将这/>个点加入队列/>;接着以队列/>中的第一个点为当前点,计算其与其相邻的8个点之间的距离,并判断是否满足自适应阈值;如果有/>个点满足阈值,则将这/>个点和前面得到点归为一类,并将这/>个点加入队列/>;接着按照上述方法继续遍历队列/>中的点,直到队列/>为空,则完成一簇点云的聚类;如果聚类得到的点云簇的点数小于60,则被认为是不稳定的聚类点,将其舍弃;接着继续遍历图模型中的其他点,最终可以得到若干个点云簇。
判断两点之间的距离是否满足自适应阈值的方法如图4所示,假设当前点距离激光雷达坐标系原点/>的距离为/>,与其相邻的左边一个点/>距离激光雷达坐标系原点/>的距离为/>,与其相邻的右边一个点/>距离激光雷达坐标系原点/>的距离为/>,激光线与墙壁AB的交点为/>,夹角为/>,激光线/>与墙壁AB的夹角为/>,由于激光雷达相邻线束之间两点的分辨率和同一线束中相邻两点的分辨率不同,且随着激光点距离的增加和入射角角度的不同,相邻两点之间的距离会发生变化。如果采用常规的固定阈值或者分段阈值的方法,会导致聚类点的缺失,不能分割出较为完整的特征,并且一旦场景发生较大变化,阈值也需要随着调整。为了解决这个问题,采用自适应阈值的聚类方法。以点/>和/>为例,首先计算它们之间的欧式距离/>,再计算它们对应的自适应阈值。/>和/>之间的理论欧式距离为/>,其中/>为激光雷达相邻两点或者相邻线束的分辨率,/>为激光线的入射角度。
由于入射角度太小或者太大会导致激光点的不稳定,在进行聚类时需要将其去除,所以将入射角度的取值限制在30度到150度之间;当入射角为30度或者150度时,达到最大,其值为/>,将此值作为对应的自适应阈值;接着将点/>和/>之间的欧式距离/>和其对应的自适应阈值进行比较,如果/>,则该点满足阈值,为同一聚类点,否则不满足,不为同一聚类点。从图5可以看出,/>为点/>和/>之间的距离,为/>到/>的距离,其对应的阈值/>可表示为虚线圆与墙AB的交点(左边)与点/>之间的距离,这种情况是满足/>的要求,为同一聚类点。相反,点/>和/>所示的情况是不满足/>的要求,不为同一聚类点,其中CD也为墙壁,且/>位于CD上。
S3:使用自定义描述符表达分割出的点云簇的位置和形状。
为了将分割出的相邻两帧点云簇中的同一特征进行关联,需要定义一个描述符用于表达唯一特征。每个点云簇的中心点在空间中的位置是有差异的,即使在中心点位置差异较小的情况下,每个点云簇的形状也是不同的。利用每个点云簇的位置和形状存在差异的特性,对每一个点云簇计算能表达其位置和形状的自定义描述符,其中点云簇的质心坐标表达位置,8个相关距离值表达形状,组成11位描述符,求解自定义描述符的流程如图6所示。
自定义描述符的计算过程如下。首先计算表达点云簇位置信息的质心坐标,并对点云簇中的点去中心化,然后将这些点投影到激光雷达坐标系的xy平面内。点云簇去中心化后,其的质心坐标变为/>。接着计算表达点云簇形状信息的8个相关距离。以质心坐标为原点,以激光雷达坐标系的x轴为投影后的点云簇坐标系的x轴,以激光雷达坐标系的y轴为投影后的点云簇坐标系的y轴,以x轴为0度线,以逆时针为正方向,用0度线、45度线、90度线、135度线、180度线、225度线、270度线、315度线,将点云簇平均分成8份(如图7所示)。计算每一份小点云簇中的中心点,及其到质心的距离/>、/>、/>、/>、/>、、/>、/>。最后,将点云簇的质心坐标和8个相关距离组合在一起,构成表达点云簇位置和形状信息的11位自定义描述符/>,其中前三位为点云簇的全局描述符,用于表达其位置,后八位为点云簇的局部描述符,用于表达其形状。
S4:根据自定义描述符将相邻两帧点云中同一特征点云簇进行关联。
计算出点云簇的描述符后,需要通过描述符找到相邻两帧点云中点云簇的对应关系,即将相邻两帧点云中同一特征点云簇进行关联。通过计算当前帧点云中点云簇描述符和前一帧点云中所有点云簇描述符的相似度得分,找到当前帧和前一帧相对应的点云簇,即具有同一特征的点云。
根据自定义描述符将相邻两帧点云中同一特征点云簇进行关联的过程如下。假设前一帧点云分割出m个点云簇,当前帧点云分割出n个点云簇(m>n),则前一帧点云对应有m个描述符,当前帧点云对应有n个描述符。接下来需要对两帧点云中同一特征点云进行关联。假设前一帧点云中其中一个点云簇的描述符为,当前帧点云中其中一个点云簇的描述符为/>,通过公式(5)计算全局相似度得分/>,通过公式(6)计算局部相似度得分/>,通过公式(7)计算这两个描述符的相似度得分/>,其中/>为相似度得分系数,其计算公式如公式(8)所示。如果全局相似度得分/>较大,说明此时的两个点云簇之间的距离较远,为同一特征的可能较小,相似度得分系数/>将会变小,局部相似度得分/>也会变小,此时,全局相似度得分/>占主导。如果全局相似度得分/>较小,说明此时的两个点云簇之间的距离较近,为同一特征的可能较大,相似度得分系数/>将会变大,局部相似度得分/>也会变大,此时,局部相似度得分/>占主导,公式(5)、(6)、(7)和(8)如下所示:/>(5);(6);/>(7);(8)。
将当前点云分割出的每个云簇分别和前一帧点云分割出的全部点云簇按照上述方法进行匹配,计算每种组合方法的相似度得分。如果最小相似度得分小于0.6,则这两对簇点云匹配成功,否则匹配失败。匹配成功的点云簇组合即为相邻两帧中的同一特征。在后续的scan to scan中,将相邻帧中相同特征的点云簇进行匹配,构建相同特征间的点面约束,而不是直接将相邻帧点云进行匹配,这样就可以减小速度和旋转对建图质量的影响,增加SLAM算法的精确性和鲁棒性。
实施例2:
本发明实施例2提供了一种基于点云描述符匹配的室内三维点云地图生成系统,包括:
点云分割模块,被配置为:基于随机采样一致性算法从激光雷达点云数据中分割出地面点云和天花板点云,计算地面点云和天花板点云的法向量,利用法向量的均值和方差对地面点云和天花板点云进行滤波;
相似度评估模块,被配置为:遍历空间四周的点云,通过自适应阈值的欧式聚类算法得到多个点云簇,计算每个点云簇的描述符,根据每个点云簇的描述符计算相邻两帧点云中的描述符之间的相似度得分,将相似度得分最小的一组点云簇看作是同一特征;
点云地图生成模块,被配置为:计算构成同一特征的点云簇之间的第一点面约束,计算相邻帧地面点和天花板点之间的第二点面约束,分别以第一点面约束和第二点面约束最小为目标进行位姿优化,根据优化后的位姿变换关系,将点云转换到世界坐标系下,得到三维点云地图。
所述系统的工作方法与实施例1提供的基于点云描述符匹配的室内三维点云地图生成方法相同,这里不再赘述。
实施例3:
本发明实施例3提供了一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现如本发明实施例1所述的基于点云描述符匹配的室内三维点云地图生成方法中的步骤。
实施例4:
本发明实施例4提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的程序,所述处理器执行所述程序时实现如本发明实施例1所述的基于点云描述符匹配的室内三维点云地图生成方法中的步骤。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于点云描述符匹配的室内三维点云地图生成方法,其特征在于,包括以下过程:
基于随机采样一致性算法从激光雷达点云数据中分割出地面点云和天花板点云,计算地面点云和天花板点云的法向量,利用法向量的均值和方差对地面点云和天花板点云进行滤波;
遍历空间四周的点云,通过自适应阈值的欧式聚类算法得到多个点云簇,计算每个点云簇的描述符,根据每个点云簇的描述符计算相邻两帧点云中的描述符之间的相似度得分,将相似度得分最小的一组点云簇看作是同一特征;
计算构成同一特征的点云簇之间的第一点面约束,计算相邻帧地面点和天花板点之间的第二点面约束,分别以第一点面约束和第二点面约束最小为目标进行位姿优化,根据优化后的位姿变换关系,将点云转换到世界坐标系下,得到三维点云地图;
所述基于随机采样一致性算法从激光雷达点云数据中分割出地面点云和天花板点云,包括:
将激光雷达点云数据根据其所属线束及在每一线束的位置投影成图模型,图模型中的每个位置记录点的三维坐标,对图模型进行下采样,根据下采样后的图模型,使用最大线束和最小线束上的点云为随机采样一致性算法提供初值,分割出地面点云和天花板点云;
所述计算地面点云和天花板点云的法向量,包括:
将分割出的地面点云和天花板点云存储到kdTree中,遍历点云中的所有点,记遍历到的第个点为当前点,利用kdTree查询距离当前点最近的N个点,对这N+1个点进行平面拟合;
假设这N+1个点都在平面方程上,则利用SVD奇异值分解的方法求得平面方程的参数,进而得到当前点的法向量,接着对求得的法向量进行归一化处理,使其为单位法向量;
如果这N+1个点中有若干点不在平面方程上,当拟合出平面方程后,计算N+1个点到平面的距离,如果这些距离中有大于设定阈值的值,则把这些距离对应的点删除,使用剩下的点再次拟合平面方程,并计算法向量,如果用于平面拟合的点数小于设定阈值,则说明当前点周围为曲面,不属于地面和天花板这样的平面,将其法向量置为;
所述利用法向量的均值和方差对地面点云和天花板点云进行滤波,包括:
得到地面点云和天花板点云的法向量后,计算地面点云法向量的均值和方差/>,计算天花板点云法向量的均值/>和方差/>,遍历天花板点云和地面点云的法向量,如果遍历到的天花板点云的法向量/>满足/>,则为天花板点,否则将该点舍弃,如果遍历到的地面点云的法向量/>满足/>,则为地面点,否则将该点舍弃;
所述计算每个点云簇的描述符,包括:计算点云簇的质心坐标,将每一簇点云以质心为原点划分成多份,并对点云簇去中心化,计算每一份点云的中心,得到多个中心点到质心点的距离,将点云簇的质心和各个距离值组合在一起得到自定义的描述符。
2.如权利要求1所述的基于点云描述符匹配的室内三维点云地图生成方法,其特征在于,
遍历空间四周的点云,通过自适应阈值的欧式聚类算法得到多个点云簇,包括:
遍历去除了地面点云和天花板点云后的面点,计算当前点和其周围相邻多个点的距离,并与自适应阈值进行比较,满足自适应阈值条件的为同一簇点云。
3.如权利要求2所述的基于点云描述符匹配的室内三维点云地图生成方法,其特征在于,
自适应阈值条件的判断,包括:
假设当前点为,周围任一点为/>,计算/>和/>之间的欧式距离和理论欧式距离,以激光光线的入射角为30度或者150度时的理论欧式距离作为自适应阈值;
将点和/>之间的欧式距离和自适应阈值进行比较,如果欧式距离小于自适应阈值,则/>满足阈值,为同一聚类点,否则不满足,不为同一聚类点。
4.如权利要求2或3所述的基于点云描述符匹配的室内三维点云地图生成方法,其特征在于,
如果当前点周围的N个点中有个点满足自适应阈值,则将这/>个点及当前点归为一类,并将这/>个点加入队列,接着以队列中的第一个点为当前点,计算其与其相邻的N个点之间的距离,并判断是否满足自适应阈值;
如果有个点满足阈值,则将这/>个点和前面得到点归为一类,并将这/>个点加入队列,接着按照上述方法继续遍历队列中的点,直到队列为空,则完成一簇点云的聚类。
5.如权利要求1所述的基于点云描述符匹配的室内三维点云地图生成方法,其特征在于,
根据每个点云簇的描述符计算相邻两帧点云中的描述符之间的相似度得分,将相似度得分最小的一组点云簇看作是同一特征,包括:
将点云簇的质心坐标和多个相关距离组合在一起,构成表达点云簇位置和形状信息的描述符,前三位为点云簇的全局描述符,后序各位为点云簇的局部描述符;
假设前一帧点云分割出m个点云簇,当前帧点云分割出n个点云簇,则前一帧点云对应有m个描述符,当前帧点云对应有n个描述符,计算前一帧的任一个描述符和当前帧的任一个描述符之间的全局相似度得分和局部相似度得分,将相似度得分系数与局部相似度得分的乘积再与全局相似度得分加和作为两个描述符的相似度得分;
将当前点云分割出的每个点云簇分别和前一帧点云分割出的全部点云簇进行相似度计算,得到每种组合的相似度得分,将相似度得分最小且小于设定阈值的一组点云簇看作是同一特征。
6.一种基于点云描述符匹配的室内三维点云地图生成系统,其特征在于,包括:
点云分割模块,被配置为:基于随机采样一致性算法从激光雷达点云数据中分割出地面点云和天花板点云,计算地面点云和天花板点云的法向量,利用法向量的均值和方差对地面点云和天花板点云进行滤波;
相似度评估模块,被配置为:遍历空间四周的点云,通过自适应阈值的欧式聚类算法得到多个点云簇,计算每个点云簇的描述符,根据每个点云簇的描述符计算相邻两帧点云中的描述符之间的相似度得分,将相似度得分最小的一组点云簇看作是同一特征;
点云地图生成模块,被配置为:计算构成同一特征的点云簇之间的第一点面约束,计算相邻帧地面点和天花板点之间的第二点面约束,分别以第一点面约束和第二点面约束最小为目标进行位姿优化,根据优化后的位姿变换关系,将点云转换到世界坐标系下,得到三维点云地图;
所述基于随机采样一致性算法从激光雷达点云数据中分割出地面点云和天花板点云,包括:
将激光雷达点云数据根据其所属线束及在每一线束的位置投影成图模型,图模型中的每个位置记录点的三维坐标,对图模型进行下采样,根据下采样后的图模型,使用最大线束和最小线束上的点云为随机采样一致性算法提供初值,分割出地面点云和天花板点云;
所述计算地面点云和天花板点云的法向量,包括:
将分割出的地面点云和天花板点云存储到kdTree中,遍历点云中的所有点,记遍历到的第个点为当前点,利用kdTree查询距离当前点最近的N个点,对这N+1个点进行平面拟合;
假设这N+1个点都在平面方程上,则利用SVD奇异值分解的方法求得平面方程的参数,进而得到当前点的法向量,接着对求得的法向量进行归一化处理,使其为单位法向量;
如果这N+1个点中有若干点不在平面方程上,当拟合出平面方程后,计算N+1个点到平面的距离,如果这些距离中有大于设定阈值的值,则把这些距离对应的点删除,使用剩下的点再次拟合平面方程,并计算法向量,如果用于平面拟合的点数小于设定阈值,则说明当前点周围为曲面,不属于地面和天花板这样的平面,将其法向量置为;
所述利用法向量的均值和方差对地面点云和天花板点云进行滤波,包括:
得到地面点云和天花板点云的法向量后,计算地面点云法向量的均值和方差/>,计算天花板点云法向量的均值/>和方差/>,遍历天花板点云和地面点云的法向量,如果遍历到的天花板点云的法向量/>满足/>,则为天花板点,否则将该点舍弃,如果遍历到的地面点云的法向量/>满足/>,则为地面点,否则将该点舍弃;
所述计算每个点云簇的描述符,包括:计算点云簇的质心坐标,将每一簇点云以质心为原点划分成多份,并对点云簇去中心化,计算每一份点云的中心,得到多个中心点到质心点的距离,将点云簇的质心和各个距离值组合在一起得到自定义的描述符。
7.一种计算机可读存储介质,其上存储有程序,其特征在于,该程序被处理器执行时实现如权利要求1-5任一项所述的基于点云描述符匹配的室内三维点云地图生成方法中的步骤。
8.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-5任一项所述的基于点云描述符匹配的室内三维点云地图生成方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410121633.1A CN117649495B (zh) | 2024-01-30 | 2024-01-30 | 基于点云描述符匹配的室内三维点云地图生成方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410121633.1A CN117649495B (zh) | 2024-01-30 | 2024-01-30 | 基于点云描述符匹配的室内三维点云地图生成方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117649495A CN117649495A (zh) | 2024-03-05 |
CN117649495B true CN117649495B (zh) | 2024-05-28 |
Family
ID=90049956
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410121633.1A Active CN117649495B (zh) | 2024-01-30 | 2024-01-30 | 基于点云描述符匹配的室内三维点云地图生成方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117649495B (zh) |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108171715A (zh) * | 2017-12-05 | 2018-06-15 | 浙江大华技术股份有限公司 | 一种图像分割方法及装置 |
CN109544677A (zh) * | 2018-10-30 | 2019-03-29 | 山东大学 | 基于深度图像关键帧的室内场景主结构重建方法及系统 |
CN110009029A (zh) * | 2019-03-28 | 2019-07-12 | 北京智行者科技有限公司 | 基于点云分割的特征匹配方法 |
CN110570428A (zh) * | 2019-08-09 | 2019-12-13 | 浙江合信地理信息技术有限公司 | 一种从大规模影像密集匹配点云分割建筑物屋顶面片的方法及系统 |
CN111209828A (zh) * | 2019-12-31 | 2020-05-29 | 飞燕航空遥感技术有限公司 | 从机载激光雷达点云中提取建筑物屋顶点的方法和系统 |
CN111932688A (zh) * | 2020-09-10 | 2020-11-13 | 深圳大学 | 一种基于三维点云的室内平面要素提取方法、系统及设备 |
CN113168717A (zh) * | 2021-03-11 | 2021-07-23 | 华为技术有限公司 | 一种点云匹配方法及装置、导航方法及设备、定位方法、激光雷达 |
CN113344112A (zh) * | 2021-06-27 | 2021-09-03 | 东南大学 | 一种基于聚类算法的动态物体识别方法 |
CN113569915A (zh) * | 2021-06-30 | 2021-10-29 | 广西大学 | 一种基于激光雷达的多策略轨道交通障碍物识别方法 |
CN113920134A (zh) * | 2021-09-27 | 2022-01-11 | 山东大学 | 一种基于多线激光雷达的斜坡地面点云分割方法及系统 |
CN114004869A (zh) * | 2021-09-18 | 2022-02-01 | 浙江工业大学 | 一种基于3d点云配准的定位方法 |
CN115267722A (zh) * | 2021-04-29 | 2022-11-01 | 北京四维图新科技股份有限公司 | 一种角点提取方法、装置及存储介质 |
CN115294287A (zh) * | 2022-08-05 | 2022-11-04 | 太原理工大学 | 一种用于温室巡检机器人的激光slam建图方法 |
CN116148808A (zh) * | 2023-04-04 | 2023-05-23 | 江苏集萃清联智控科技有限公司 | 一种基于点云描述符的自动驾驶激光重定位方法和系统 |
WO2023184968A1 (zh) * | 2022-04-02 | 2023-10-05 | 华南理工大学 | 一种基于点线面特征的结构化场景视觉slam方法 |
-
2024
- 2024-01-30 CN CN202410121633.1A patent/CN117649495B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108171715A (zh) * | 2017-12-05 | 2018-06-15 | 浙江大华技术股份有限公司 | 一种图像分割方法及装置 |
CN109544677A (zh) * | 2018-10-30 | 2019-03-29 | 山东大学 | 基于深度图像关键帧的室内场景主结构重建方法及系统 |
CN110009029A (zh) * | 2019-03-28 | 2019-07-12 | 北京智行者科技有限公司 | 基于点云分割的特征匹配方法 |
CN110570428A (zh) * | 2019-08-09 | 2019-12-13 | 浙江合信地理信息技术有限公司 | 一种从大规模影像密集匹配点云分割建筑物屋顶面片的方法及系统 |
CN111209828A (zh) * | 2019-12-31 | 2020-05-29 | 飞燕航空遥感技术有限公司 | 从机载激光雷达点云中提取建筑物屋顶点的方法和系统 |
CN111932688A (zh) * | 2020-09-10 | 2020-11-13 | 深圳大学 | 一种基于三维点云的室内平面要素提取方法、系统及设备 |
WO2022188094A1 (zh) * | 2021-03-11 | 2022-09-15 | 华为技术有限公司 | 一种点云匹配方法及装置、导航方法及设备、定位方法、激光雷达 |
CN113168717A (zh) * | 2021-03-11 | 2021-07-23 | 华为技术有限公司 | 一种点云匹配方法及装置、导航方法及设备、定位方法、激光雷达 |
CN115267722A (zh) * | 2021-04-29 | 2022-11-01 | 北京四维图新科技股份有限公司 | 一种角点提取方法、装置及存储介质 |
CN113344112A (zh) * | 2021-06-27 | 2021-09-03 | 东南大学 | 一种基于聚类算法的动态物体识别方法 |
CN113569915A (zh) * | 2021-06-30 | 2021-10-29 | 广西大学 | 一种基于激光雷达的多策略轨道交通障碍物识别方法 |
CN114004869A (zh) * | 2021-09-18 | 2022-02-01 | 浙江工业大学 | 一种基于3d点云配准的定位方法 |
CN113920134A (zh) * | 2021-09-27 | 2022-01-11 | 山东大学 | 一种基于多线激光雷达的斜坡地面点云分割方法及系统 |
WO2023184968A1 (zh) * | 2022-04-02 | 2023-10-05 | 华南理工大学 | 一种基于点线面特征的结构化场景视觉slam方法 |
CN115294287A (zh) * | 2022-08-05 | 2022-11-04 | 太原理工大学 | 一种用于温室巡检机器人的激光slam建图方法 |
CN116148808A (zh) * | 2023-04-04 | 2023-05-23 | 江苏集萃清联智控科技有限公司 | 一种基于点云描述符的自动驾驶激光重定位方法和系统 |
Non-Patent Citations (4)
Title |
---|
Automatic point cloud segmentation using RANSAC and DBSCAN algorithm for indoor model;Harintaka, null;Wijaya, Calvin;Telkomnika (Telecommunication Computing Electronics and Control);20231231;第21卷(第6期);第1317-1325页 * |
一种低重叠率激光点云的配准方法;汪霞;赵银娣;王坚;测绘科学;20180911(第12期);第134-140页 * |
一种融合多特征聚类集成的室内点云分割方法;曾碧;黄文;计算机工程;20180315(第03期);第286-291页 * |
可变高度激光里程计在室内不平整地面环境下的地图构建;刘子明;陈庆盈;李阳;彭文飞;宁波大学学报(理工版);20200702(第04期);第23-28页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117649495A (zh) | 2024-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021189468A1 (zh) | 激光雷达的姿态校正方法、装置和系统 | |
CN109146972B (zh) | 基于快速特征点提取及网格化三角形约束的视觉导航方法 | |
JP5480667B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、プログラム | |
CN113345008B (zh) | 考虑轮式机器人位姿估计的激光雷达动态障碍物检测方法 | |
CN113246143A (zh) | 一种机械臂动态避障轨迹规划方法及装置 | |
CN108287550B (zh) | 基于数据关联及错误检测的slam系统和构造数据关联的方法 | |
CN112752028A (zh) | 移动平台的位姿确定方法、装置、设备和存储介质 | |
CN113570629B (zh) | 去除动态物体的语义分割方法及系统 | |
WO2021072709A1 (zh) | 目标检测与跟踪方法、系统、设备及存储介质 | |
CN113137968A (zh) | 基于多传感器融合的重定位方法、重定位装置和电子设备 | |
CN111273701B (zh) | 一种云台视觉控制系统以及控制方法 | |
CN115308708A (zh) | 一种基于激光雷达的托盘位姿识别方法与系统 | |
CN111045433B (zh) | 一种机器人的避障方法、机器人及计算机可读存储介质 | |
CN112967340A (zh) | 同时定位和地图构建方法、装置、电子设备及存储介质 | |
CN115900730A (zh) | 一种自动驾驶车辆三维点云定位方法、装置及存储介质 | |
CN115326051A (zh) | 一种基于动态场景的定位方法、装置、机器人及介质 | |
CN111736167B (zh) | 一种获取激光点云密度的方法和装置 | |
CN113420590B (zh) | 弱纹理环境下的机器人定位方法、装置、设备及介质 | |
CN116681733B (zh) | 一种空间非合作目标近距离实时位姿跟踪方法 | |
CN117649495B (zh) | 基于点云描述符匹配的室内三维点云地图生成方法及系统 | |
JP2778430B2 (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
CN107990893B (zh) | 二维激光雷达slam中探测环境发生突变的检测方法 | |
CN112446952B (zh) | 三维点云法向量的生成方法、装置、电子设备及存储介质 | |
WO2022073172A1 (zh) | 一种基于点线特征的机器人全局最优视觉定位方法及装置 | |
CN114821113A (zh) | 基于自适应鲁棒核的单目视觉惯性slam方法与系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |