CN104700451A - 基于迭代就近点算法的点云配准方法 - Google Patents

基于迭代就近点算法的点云配准方法 Download PDF

Info

Publication number
CN104700451A
CN104700451A CN201510112310.7A CN201510112310A CN104700451A CN 104700451 A CN104700451 A CN 104700451A CN 201510112310 A CN201510112310 A CN 201510112310A CN 104700451 A CN104700451 A CN 104700451A
Authority
CN
China
Prior art keywords
registration
target
point
point cloud
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510112310.7A
Other languages
English (en)
Other versions
CN104700451B (zh
Inventor
刘惠
杜军朝
刘杰
姚士民
李国雄
代小飞
宋尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201510112310.7A priority Critical patent/CN104700451B/zh
Publication of CN104700451A publication Critical patent/CN104700451A/zh
Application granted granted Critical
Publication of CN104700451B publication Critical patent/CN104700451B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects

Abstract

本发明公开了一种基于迭代就近点算法的点云配准方法,其实现步骤为:(1)获取点云;(2)预处理点云;(3)获取待扩展参考空间和待扩展目标空间;(4)获取待配准参考空间和待配准目标空间;(5)配准参考点云和目标点云;(6)判断所有分段点云如完成配准,进行步骤(7),否则,返回步骤(2);(7)输出配准结果。本发明配准的点云首先是根据场景,采用不同扫描方式获取的,然后再利用粗配准、精配准和最大化对应点对等步骤,并通过修正配准得分,减小了陷入局部解的可能性,提高了鲁棒性和配准的精度,可用于配准复杂场景的点云。

Description

基于迭代就近点算法的点云配准方法
技术领域
本发明属于计算机技术领域,更进一步涉及计算机视觉技术领域中的基于迭代就近点(Iterative Closet Point,ICP)算法的点云配准方法。本发明可以应用于3D打印、3D重建等具体应用场景,针对已有的迭代就近点算法的局限性,根据点云扫描的不同方式,采取不同的点云配准过程,实现三维数据统一坐标系的转换,从而构建完整的三维点云模型。
背景技术
点云配准就是把不同角度、不同位置扫描到的若干段三维点云数据转换到统一的坐标系中,得到完整的三维模型。现有点云自动配准方法大致可分为三类:迭代配准方法、基于曲面的配准方法以及基于几何特征的配准方法等。基于几何特征的配准方法,利用局部特征描述、面片分割以及曲率等来寻找对应点集,该方法容易受到数据密度、数据完整性和噪声的干扰,配准效果难以达到理想目标,配准精度差。基于曲面的配准方法利用点集的曲面特性寻找配准点集,虽然应用范围较广,但同样存在配准精度差的问题。
迭代就近点算法,最初是由Besl和McKay提出的,实质上是基于最小二乘法的最优匹配方法,它重复确定对应关系点集并计算最优刚体变换,主要用于解决基于自由形态曲面的配准问题,是一种精度较高的配准算法,但是它要求待配准的两个点集中,其中一个点集是另外一个点集的子集,并且对扫描的点云的精度和初始配准位置有要求,鲁棒性较差,计算代价较大,匹配结果不可靠,容易陷入局部最优解。
北京信息科技大学拥有的专利技术“多视点云精确配准方法”(专利申请号:200910170701.9,授权公告号:CN101645170B)中提出了一种多视点云精确配准方法。该方法首先采用主方向贴合法实现目标点云和参考点云的预配准,然后分别求取目标点云和参考点云中各点的曲率,得到特征匹配点对,最后利用迭代就近点匹配算法实现目标点云和参考点云的精确配准。该专利技术虽然在精确配准前采用预配准,并采用点的主曲率作为匹配特征,提高了配准的可靠性和准确性。但是,该方法仍然存在的不足是,通过点云的基于几何特征寻找对应点集,容易受到数据密度、数据完整性和噪声的干扰,配准效果难以达到理想目标,配准精度差。
佳都新太科技股份有限公司在其申请的专利“一种基于拓扑特征的点云配准算法”(专利申请号:201210488409.3,公开号:CN103150747A)中公开了一种基于拓扑特征的点云配准算法。该方法首先在粗配准阶段采用基于拓扑特征的点云粗配准算法,得到旋转矩阵和平移向量,然后在精确配准阶段采用迭代就近点算法。该方法虽然在点云配准过程中利用拓扑特征减少了配准元素、去除了错误对应点,从而在减少了点云配准的计算量的同时、提高了配准算法的鲁棒性。但是,该方法仍然存在的不足是,该方法的配准元素是边界特征点和突出特征点,容易受到噪声数据的影响,在减小计算量的同时没有充分利用点云中的点,配准的精度不高。
发明内容
本发明的目的在于克服上述已有技术的不足,提出了一种基于迭代就近点算法的点云配准方法,在配准点云过程中对其配准方法进行改进,鲁棒性和精度得到提高。
本发明实现的思路是,在点云配准过程中依据不同的扫描场景,利用不同的扫描方式,获得分段点云,取相邻两段点云作为待配准点云,经过滤波和稀疏化等预处理,通过将待配准点云划分为多个子空间,利用迭代就近点算法找到最优子空间,进一步最大化匹配点数目,获得转换矩阵,匹配待配准点云,最终将整个待扫描物体的点云完成配准。
本发明实现的具体步骤包括如下:
(1)获取点云:
根据场景选择不同的场景扫描方式,获取待扫描物体的点云;
(2)预处理点云:
(2a)任意选取相邻的两段点云,作为参考点云和预目标点云,分别建立参考点云和预目标点云空间坐标系;
(2b)若预目标点云是通过水平视角扫描方式获得,则将预目标点云绕Z轴顺时针旋转180°,作为目标点云,否则,将预目标点云直接作为目标点云;
(2c)采用离群点过滤方法,对参考点云和目标点云进行过滤,获得过滤后参考点云和过滤后目标点云;
(2d)采用稀疏化方法,对过滤后参考点云和过滤后目标点云进行稀疏化,获得稀疏化参考点云和稀疏化目标点云;
(2e)用从扫描仪读取的扫描仪最优扫描半径,对稀疏化参考点云和稀疏化目标点云进行限长滤波,得到参考待配准点云和目标待配准点云;
(3)获取待扩展参考空间和待扩展目标空间:
(3a)在参考待配准点云内,取坐标值x≥0且y≥0的部分,作为参考重叠部分;
(3b)在目标待配准点云内,取坐标值x≥0且y≥0的部分,作为目标重叠部分;
(3c)分别在参考重叠部分和目标重叠部分上,设置相同大小的滑动窗,获得参考重叠子空间和目标重叠子空间,将滑动窗的位置标记为初始生成位置;
(3d)将参考重叠子空间作为最优参考子空间,目标重叠子空间作为最优目标子空间,将参考重叠子空间和目标重叠子空间的最优子空间配准得分初始化为无穷大;
(3e)采用迭代配准点云公式,将参考重叠子空间作为参考配准点云,目标重叠子空间作为目标配准点云,计算参考配准点云和目标配准点云的配准得分,将配准得分作为子空间配准得分;
(3f)按照下式,计算参考重叠子空间和目标重叠子空间的配准修正得分:
G = G ′ * ( 1 - I T )
其中,G表示参考重叠子空间和目标重叠子空间的配准修正得分,G′表示参考重叠子空间和目标重叠子空间的子空间配准得分,I表示通过迭代就近点算法获得的参考重叠子空间和目标重叠子空间内匹配点的个数,T表示目标待配准点云内点的个数;
(3g)对于配准修正得分小于最优子空间配准得分的情况,将参考重叠子空间作为最优参考子空间,目标重叠子空间作为最优目标子空间,最优子空间配准得分更新为与配准修正得分相同,对于配准修正得分大于或等于最优子空间配准得分的情况,不改变最优参考子空间、最优目标子空间和最优子空间配准得分;
(3h)在目标重叠部分上,沿着视角方向,将滑动窗移动n*p长度,获得一个目标重叠子空间,其中,n表示一个正整数,1≤n≤5,p表示稀疏化所采用的体素边长;
(3i)判断滑动窗是否超出目标重叠部分,如果是,则执行步骤(3j),否则,执行步骤(3e);
(3j)在目标重叠部分上,沿视角方向的反方向,将滑动窗移回初始生成位置;
(3k)在参考重叠部分上,沿着视角方向,将滑动窗移动n*p长度,获得一个参考重叠子空间,其中,n表示一个正整数,1≤n≤5,p表示稀疏化所采用的体素边长;
(3l)判断滑动窗是否超出参考重叠部分,如果是,则执行步骤(3m);否则,执行步骤(3e);
(3m)将最优参考子空间作为待扩展参考空间,最优目标子空间作为待扩展目标空间;
(4)获取待配准参考空间和待配准目标空间:
(4a)将待扩展参考空间作为参考待配准重叠空间,待扩展目标空间作为目标待配准重叠空间,将待扩展参考空间和待扩展目标空间的最优配准得分初始化为无穷大;
(4b)将待扩展参考空间沿着视角方向和视角方向的反方向,分别增加长度m*Re,将增加长度的待扩展参考空间作为新的待扩展参考空间,其中,m表示一个正整数,1≤m≤10,Re表示根据用户要求的待扫描物体的点云精度所设置的扫描仪的扫描精度;
(4c)将待扩展目标空间沿着视角方向和视角方向的反方向,分别增加长度m*Re,将增加长度的待扩展目标空间作为新的待扩展目标空间,其中,m表示一个正整数,1≤m≤10,Re表示根据用户要求的待扫描物体的点云精度所设置的扫描仪的扫描精度;
(4d)采用迭代配准点云公式,将待扩展参考空间作为参考配准点云,待扩展目标空间作为目标配准点云,计算参考配准点云和目标配准点云的配准得分,将配准得分作为优化配准得分;
(4e)对于优化配准得分大于最优配准得分的情况,不改变参考待配准重叠空间和目标待配准重叠空间,对于优化配准得分小于或等于最优配准得分的情况,将待扩展参考空间作为参考待配准重叠空间,待扩展目标空间作为目标待配准重叠空间,最优配准得分更新为与优化配准得分相同;
(4f)判断优化配准得分是否大于最优配准得分,如果是,则执行步骤(4g),否则,执行步骤(4b);
(4g)将参考待配准重叠空间作为待配准参考空间,目标待配准重叠空间作为待配准目标空间;
(5)配准参考点云和目标点云:
(5a)采用迭代就近点算法,将参考点云和目标点云的待配准重叠空间配准,获得转换矩阵;
(5b)采用矩阵运算,以转换矩阵为参数,将参考点云和目标点云转换到同一坐标系下,得到参考点云和目标点云配准后的点云;
(5c)用参考点云和目标点云配准后的点云替换参考点云和目标点云,完成参考点云和目标点云的配准;
(6)判断是否完成所有分段点云的配准,如果是,则执行步骤(7),否则,执行步骤(2);
(7)输出配准结果。
本发明与现有技术相比具有如下优点:
第一,由于本发明在获取点云中,根据场景选择不同的场景扫描方式,克服了现有技术点云配准时,随着场景的变换,配准方法单一,配准精度较差的缺点,使得本发明在不同场景下的点云配准精度更高。
第二,由于本发明在预处理点云中,采用离群点过滤方法和稀疏化方法,克服了现有技术中数据密度和噪声数据对配准结果的影响较大的缺点,使得本发明点云配准的精度更高。
第三,由于本发明先获取待扩展参考空间和待扩展目标空间,再获取待配准参考空间和待配准目标空间,克服了现有技术直接配准和先粗配再精配两种方法鲁棒性低的缺点,使得本发明点云配准的鲁棒性更高。
第四,由于本发明在获取待扩展参考空间和待扩展目标空间中,在参考重叠部分和目标重叠部分上,设置相同大小的滑动窗,并计算参考重叠子空间和目标重叠子空间的配准修正得分,克服了现有技术容易陷入局部最优解的缺点,减小了配准过程中陷入局部最优解的可能性,使得本发明配准方法的鲁棒性和精度更高。
附图说明
图1是本发明的流程图;
图2是本发明多视角扫描方法的俯视图;
图3是本发明水平视角扫描方法的俯视图;
图4是本发明垂直视角扫描方法的侧视图。
具体实施方式
下面结合附图对本发明作进一步的描述。
参照图1,本发明的具体实现步骤如下:
步骤1,获取点云。
根据场景选择不同的场景扫描方式,获取待扫描物体的点云,具体来讲保证相邻两站激光点云数据在扫描仪的扫描视角上具有重叠区域,实际的扫描中应保证该视角至少大于90°,针对这几种不同的扫描场景和扫描仪的扫描参数,调整每次扫描的视角和两站数据的采集距离,场景扫描方式如下:如果场景是以待扫描物体为中心围绕待扫描物体移动扫描仪,则选择多视角扫描,围绕待扫描物体,从多个方向扫描,每个方向获取一段点云,扫描仪初始扫描方向与扫描仪移动方向成135°角,保证相邻两段点云存在重叠区域,如图2所示。
图2中的视角方向就是扫描仪的移动方向,是一个弧线形状的路径,两个坐标系,表示扫描前后,虚线表示将第一象限的点云分段;如果场景是在待扫描物体放置平面上沿固定方向移动扫描仪,则选择水平视角扫描,沿用户确定的一个方向进行扫描,扫描仪初始扫描方向与扫描仪移动方向成45°角,将待扫描物体分为连续的多段扫描,保证相邻两段点云存在重叠区域,如图3所示。
图3中的视角方向就是扫描仪的移动方向,是在物体放置平面上沿物体延伸的方向,图中的两个坐标系,表示扫描前后,虚线表示将第一象限的点云分段;如果场景是在垂直于待扫描物体放置平面的方向上竖直向上移动扫描仪,则选择垂直视角扫描,沿垂直于待扫描物体放置平面的方向,竖直向上扫描,扫描仪初始扫描方向保持一致,将待扫描物体分为连续的多段扫描,保证相邻两段点云存在重叠区域,如图4所示。
图4中的视角方向就是扫描仪的移动方向,是垂直于物体放置平面向上,图中的两个坐标系,表示扫描前后,虚线表示将第一象限的点云分段。
步骤2,预处理点云。
任意选取相邻的两段点云,作为参考点云和预目标点云,分别为参考点云和预目标点云建立空间坐标系,坐标系建立如下:以扫描仪所在位置为坐标系原点,将参考点云的坐标原点设置为O,将预目标点云的坐标原点设置为O',将扫描仪开始扫描的方向作为X轴,与开始扫描方向垂直的方向作为Y轴,垂直水平面方向作为Z轴,将参考点云的坐标原点O向预目标点云的坐标原点O'的移动方向作为视角方向。
如果预目标点云是通过水平视角扫描方式获得,则将预目标点云绕Z轴顺时针旋转180°,作为目标点云,否则,将预目标点云直接作为目标点云,将水平视角扫描方式获得的预目标点云旋转的目的,在于使两站点云数据的重叠区域都能从一个相同的视角方向进行处理。
采用离群点过滤方法,对参考点云和目标点云进行过滤,获得过滤后参考点云和过滤后目标点云,离群点过滤方法是指,采用统计外点移除滤波器,将根据用户要求设置的临近点的个数和标准差倍数,作为统计外点移除滤波器参数,分析参考点云和目标点云中的每个点,如果临近点中的任意一个点的距离超出平均距离的标准差倍数,则将该点标记为离群点,同时移除该点。
采用稀疏化方法,对过滤后参考点云和过滤后目标点云进行稀疏化,将数据量减小且数据分布均匀化,获得稀疏化参考点云和稀疏化目标点云,稀疏化方法是指,采用体素化网格滤波器,将根据用户要求设置的边长为m*Re的立方体,作为体素,分别在过滤后参考点云和过滤后目标点云上,创建一个由体素构成的三维体素栅格,用体素中所有点的重心替换体素中的所有点,其中,m表示一个正整数,1≤m≤10,m的选择根据数据密度、实际场景中的扫描精度以及要求的分辨率来平衡,Re表示根据用户要求的待扫描物体的点云精度所设置的扫描仪的扫描精度。
用从扫描仪读取的扫描仪最优扫描半径,对稀疏化参考点云和稀疏化目标点云进行限长滤波,得到参考待配准点云和目标待配准点云,限长滤波是指,分别以参考点云的坐标原点O和目标点云的坐标原点O'为圆心,扫描仪最优扫描半径R为半径的球体,将球体之外的点过滤掉。
步骤3,获取待扩展参考空间和待扩展目标空间。
(3a)在参考待配准点云内,取坐标值x≥0且y≥0的部分,作为参考重叠部分。
(3b)在目标待配准点云内,取坐标值x≥0且y≥0的部分,作为目标重叠部分。
(3c)分别在参考重叠部分和目标重叠部分上,设置相同大小的滑动窗,获得参考重叠子空间和目标重叠子空间,将滑动窗的位置标记为初始生成位置,滑动窗设置如下:滑动窗是立体的窗口,如果点云的获取是通过多视角方式,则窗口大小为5°的扇形,在平行于Z轴方向上的长度和半径无穷大;如果点云的获取是通过水平视角或者垂直视角扫描方式,则窗口沿着视角方向的长度为扫描仪最优扫描半径R的垂直于视角方向的长度为无穷大。
(3d)将参考重叠子空间作为最优参考子空间,目标重叠子空间作为最优目标子空间,将参考重叠子空间和目标重叠子空间的最优子空间配准得分初始化为无穷大。
(3e)采用迭代配准点云公式,将参考重叠子空间作为参考配准点云,目标重叠子空间作为目标配准点云,计算参考配准点云和目标配准点云的配准得分,将配准得分作为子空间配准得分,迭代配准点云公式如下:
G ′ = A B
其中,G′表示参考配准点云和目标配准点云的配准得分,A表示参考配准点云和目标配准点云内匹配点的个数,B表示目标配准点云内点的个数。
(3f)按照下式,计算参考重叠子空间和目标重叠子空间的配准修正得分:
G = G ′ * ( 1 - I T )
其中,G表示参考重叠子空间和目标重叠子空间的配准修正得分,G′表示参考重叠子空间和目标重叠子空间的子空间配准得分,I表示通过迭代就近点算法获得的参考重叠子空间和目标重叠子空间内匹配点的个数,T表示目标待配准点云内点的个数。
(3g)对于配准修正得分小于最优子空间配准得分的情况,将参考重叠子空间作为最优参考子空间,目标重叠子空间作为最优目标子空间,最优子空间配准得分更新为与配准修正得分相同,对于配准修正得分大于或等于最优子空间配准得分的情况,不改变最优参考子空间、最优目标子空间和最优子空间配准得分。
在求取最优参考子空间和最优目标子空间过程中,还要注意陷入局部解的可能,最优解满足这样的特征:随着最优目标子空间的不断变化,配准得分基本满足先逐步减小,减小到一定程度后又逐步变大这一情况;对于得分突然变大或者变小的情况,则说明当前的解不可靠。在实际中如果前后两次配准得分相差超过两倍,需要跳过该组点云数据。
(3h)在目标重叠部分上,沿着视角方向,将滑动窗移动n*p长度,获得一个目标重叠子空间,其中,n表示一个正整数,1≤n≤5,n选择越小计算的复杂度越大,配准的精度越高,实际的应用中,根据对精度和计算复杂度要求进行平衡,p表示稀疏化所采用的体素边长。
(3i)判断滑动窗是否超出目标重叠部分,如果是,则执行步骤(3j),否则,执行步骤(3e)。
(3j)在目标重叠部分上,沿视角方向的反方向,将滑动窗移回初始生成位置。
(3k)在参考重叠部分上,沿着视角方向,将滑动窗移动n*p长度,获得一个参考重叠子空间,其中,n表示一个正整数,1≤n≤5,n选择越小计算的复杂度越大,配准的精度越高,实际的应用中,根据对精度和计算复杂度要求进行平衡,p表示稀疏化所采用的体素边长。
(3l)判断滑动窗是否超出参考重叠部分,如果是,则执行步骤(3m);否则,执行步骤(3e)。
(3m)将最优参考子空间作为待扩展参考空间,最优目标子空间作为待扩展目标空间。
步骤4,获取待配准参考空间和待配准目标空间。
(4a)将待扩展参考空间作为参考待配准重叠空间,待扩展目标空间作为目标待配准重叠空间,待扩展参考空间和待扩展目标空间的最优配准得分初始化为无穷大。
(4b)将待扩展参考空间沿着视角方向和视角方向的反方向,分别增加长度m*Re,将增加长度的待扩展参考空间作为新的待扩展参考空间,其中,m表示一个正整数,1≤m≤10,Re表示根据用户要求的待扫描物体的点云精度所设置的扫描仪的扫描精度。
(4c)将待扩展目标空间沿着视角方向和视角方向的反方向,分别增加长度m*Re,将增加长度的待扩展目标空间作为新的待扩展目标空间,其中,m表示一个正整数,1≤m≤10,m的选择依赖于具体的扫描场景和扫描的实体对精度的要求,选择的值越小,配准结果精度越高,同时耗时也越长,Re表示根据用户要求的待扫描物体的点云精度所设置的扫描仪的扫描精度。
(4d)采用迭代配准点云公式,将待扩展参考空间作为参考配准点云,待扩展目标空间作为目标配准点云,计算参考配准点云和目标配准点云的配准得分,将配准得分作为优化配准得分。
(4e)对于优化配准得分大于最优配准得分的情况,不改变参考待配准重叠空间和目标待配准重叠空间,对于优化配准得分小于或等于最优配准得分的情况,将待扩展参考空间作为参考待配准重叠空间,待扩展目标空间作为目标待配准重叠空间,最优配准得分更新为与优化配准得分相同。
(4f)判断优化配准得分是否大于最优配准得分,如果是,则执行步骤(4g),否则,执行步骤(4b)。
(4g)将参考待配准重叠空间作为待配准参考空间,目标待配准重叠空间作为待配准目标空间。
步骤5,配准参考点云和目标点云。
采用迭代就近点算法,将参考点云和目标点云的待配准重叠空间配准,获得转换矩阵,迭代就近点算法是指选取点云库PCL中的迭代就近点算法,将待配准的两段点云作为输入,通过对其中一段点云作刚体变换,将两段点云转换到同一坐标系下,得到转换矩阵。
采用矩阵运算,以转换矩阵为参数,将参考点云和目标点云转换到同一坐标系下,得到参考点云和目标点云配准后的点云,坐标转换公式如下:
x ′ y ′ z ′ = R x y z + T
其中,(x′,y′,z′)表示利用转换矩阵中的参数转换之后的坐标,R表示旋转矩阵,(x,y,z)表示坐标转换之前的坐标,T表示平移向量。
用参考点云和目标点云配准后的点云替换参考点云和目标点云,完成参考点云和目标点云的配准。
步骤6,判断是否完成所有分段点云的配准,如果是,则执行步骤7,否则,执行步骤2。
步骤7,输出配准结果。

Claims (9)

1.一种基于迭代就近点算法的点云配准方法,包括如下步骤:
(1)获取点云:
根据场景选择不同的场景扫描方式,获取待扫描物体的点云;
(2)预处理点云:
(2a)任意选取相邻的两段点云,作为参考点云和预目标点云,分别建立参考点云和预目标点云空间坐标系;
(2b)若预目标点云是通过水平视角扫描方式获得,则将预目标点云绕Z轴顺时针旋转180°,作为目标点云,否则,将预目标点云直接作为目标点云;
(2c)采用离群点过滤方法,对参考点云和目标点云进行过滤,获得过滤后参考点云和过滤后目标点云;
(2d)采用稀疏化方法,对过滤后参考点云和过滤后目标点云进行稀疏化,获得稀疏化参考点云和稀疏化目标点云;
(2e)用从扫描仪读取的扫描仪最优扫描半径,对稀疏化参考点云和稀疏化目标点云进行限长滤波,得到参考待配准点云和目标待配准点云;
(3)获取待扩展参考空间和待扩展目标空间:
(3a)在参考待配准点云内,取坐标值x≥0且y≥0的部分,作为参考重叠部分;
(3b)在目标待配准点云内,取坐标值x≥0且y≥0的部分,作为目标重叠部分;
(3c)分别在参考重叠部分和目标重叠部分上,设置相同大小的滑动窗,获得参考重叠子空间和目标重叠子空间,将滑动窗的位置标记为初始生成位置;
(3d)将参考重叠子空间作为最优参考子空间,目标重叠子空间作为最优目标子空间,将参考重叠子空间和目标重叠子空间的最优子空间配准得分初始化为无穷大;
(3e)采用迭代配准点云公式,将参考重叠子空间作为参考配准点云,目标重叠子空间作为目标配准点云,计算参考配准点云和目标配准点云的配准得分,将配准得分作为子空间配准得分;
(3f)按照下式,计算参考重叠子空间和目标重叠子空间的配准修正得分:
G = G ′ * ( 1 - I T )
其中,G表示参考重叠子空间和目标重叠子空间的配准修正得分,G′表示参考重叠子空间和目标重叠子空间的子空间配准得分,I表示通过迭代就近点算法获得的参考重叠子空间和目标重叠子空间内匹配点的个数,T表示目标待配准点云内点的个数;
(3g)对于配准修正得分小于最优子空间配准得分的情况,将参考重叠子空间作为最优参考子空间,目标重叠子空间作为最优目标子空间,最优子空间配准得分更新为与配准修正得分相同,对于配准修正得分大于或等于最优子空间配准得分的情况,不改变最优参考子空间、最优目标子空间和最优子空间配准得分;
(3h)在目标重叠部分上,沿着视角方向,将滑动窗移动n*p长度,获得一个目标重叠子空间,其中,n表示一个正整数,1≤n≤5,p表示稀疏化所采用的体素边长;
(3i)判断滑动窗是否超出目标重叠部分,如果是,则执行步骤(3j),否则,执行步骤(3e);
(3j)在目标重叠部分上,沿视角方向的反方向,将滑动窗移回初始生成位置;
(3k)在参考重叠部分上,沿着视角方向,将滑动窗移动n*p长度,获得一个参考重叠子空间,其中,n表示一个正整数,1≤n≤5,p表示稀疏化所采用的体素边长;
(3l)判断滑动窗是否超出参考重叠部分,如果是,则执行步骤(3m);否则,执行步骤(3e);
(3m)将最优参考子空间作为待扩展参考空间,最优目标子空间作为待扩展目标空间;
(4)获取待配准参考空间和待配准目标空间:
(4a)将待扩展参考空间作为参考待配准重叠空间,待扩展目标空间作为目标待配准重叠空间,将待扩展参考空间和待扩展目标空间的最优配准得分初始化为无穷大;
(4b)将待扩展参考空间沿着视角方向和视角方向的反方向,分别增加长度m*Re,将增加长度的待扩展参考空间作为新的待扩展参考空间,其中,m表示一个正整数,1≤m≤10,Re表示根据用户要求的待扫描物体的点云精度所设置的扫描仪的扫描精度;
(4c)将待扩展目标空间沿着视角方向和视角方向的反方向,分别增加长度m*Re,将增加长度的待扩展目标空间作为新的待扩展目标空间,其中,m表示一个正整数,1≤m≤10,Re表示根据用户要求的待扫描物体的点云精度所设置的扫描仪的扫描精度;
(4d)采用迭代配准点云公式,将待扩展参考空间作为参考配准点云,待扩展目标空间作为目标配准点云,计算参考配准点云和目标配准点云的配准得分,将配准得分作为优化配准得分;
(4e)对于优化配准得分大于最优配准得分的情况,不改变参考待配准重叠空间和目标待配准重叠空间,对于优化配准得分小于或等于最优配准得分的情况,将待扩展参考空间作为参考待配准重叠空间,待扩展目标空间作为目标待配准重叠空间,最优配准得分更新为与优化配准得分相同;
(4f)判断优化配准得分是否大于最优配准得分,如果是,则执行步骤(4g),否则,执行步骤(4b);
(4g)将参考待配准重叠空间作为待配准参考空间,目标待配准重叠空间作为待配准目标空间;
(5)配准参考点云和目标点云:
(5a)采用迭代就近点算法,将参考点云和目标点云的待配准重叠空间配准,获得转换矩阵;
(5b)采用矩阵运算,以转换矩阵为参数,将参考点云和目标点云转换到同一坐标系下,得到参考点云和目标点云配准后的点云;
(5c)用参考点云和目标点云配准后的点云替换参考点云和目标点云,完成参考点云和目标点云的配准;
(6)判断是否完成所有分段点云的配准,如果是,则执行步骤(7),否则,执行步骤(2);
(7)输出配准结果。
2.根据权利要求1所述的基于迭代就近点算法的点云配准方法,其特征在于,步骤(1)所述的根据场景选择不同的场景扫描方式是指,如果场景是以待扫描物体为中心围绕待扫描物体移动扫描仪,则选择多视角扫描,围绕待扫描物体,从多个方向扫描,每个方向获取一段点云,扫描仪初始扫描方向与扫描仪移动方向成135°角,保证相邻两段点云存在重叠区域;如果场景是在待扫描物体放置平面上沿固定方向移动扫描仪,则选择水平视角扫描,沿用户确定的一个方向进行扫描,扫描仪初始扫描方向与扫描仪移动方向成45°角,将待扫描物体分为连续的多段扫描,保证相邻两段点云存在重叠区域;如果场景是在垂直于待扫描物体放置平面的方向上竖直向上移动扫描仪,则选择垂直视角扫描,沿垂直于待扫描物体放置平面的方向,竖直向上扫描,扫描仪初始扫描方向保持一致,将待扫描物体分为连续的多段扫描,保证相邻两段点云存在重叠区域。
3.根据权利要求1所述的基于迭代就近点算法的点云配准方法,其特征在于,步骤(2a)所述的参考点云和预目标点云空间坐标系的建立方式如下:以扫描仪所在位置为坐标系原点,将参考点云的坐标原点设置为O,将预目标点云的坐标原点设置为O',将扫描仪开始扫描的方向作为X轴,与开始扫描方向垂直的方向作为Y轴,垂直水平面方向作为Z轴,将参考点云的坐标原点O向预目标点云的坐标原点O'的移动方向作为视角方向。
4.根据权利要求1所述的基于迭代就近点算法的点云配准方法,其特征在于,步骤(2c)所述的离群点过滤方法是指,采用统计外点移除滤波器,将根据用户要求设置的临近点的个数和标准差倍数,作为统计外点移除滤波器参数,分析参考点云和目标点云中的每个点,如果临近点中的任意一个点的距离超出平均距离的标准差倍数,则将该点标记为离群点,同时移除该点。
5.根据权利要求1所述的基于迭代就近点算法的点云配准方法,其特征在于,步骤(2d)所述的稀疏化方法是指,采用体素化网格滤波器,将根据用户要求设置的边长为m*Re的立方体,作为体素,分别在过滤后参考点云和过滤后目标点云上,创建一个由体素构成的三维体素栅格,用体素中所有点的重心替换体素中的所有点,其中,m表示一个正整数,1≤m≤10,Re表示根据用户要求的待扫描物体的点云精度所设置的扫描仪的扫描精度。
6.根据权利要求1所述的基于迭代就近点算法的点云配准方法,其特征在于,步骤(2e)所述的限长滤波是指,分别以参考点云的坐标原点O和目标点云的坐标原点O'为圆心,扫描仪最优扫描半径R为半径的球体,将球体之外的点过滤掉。
7.根据权利要求1所述的基于迭代就近点算法的点云配准方法,其特征在于,步骤(3c)所述滑动窗的具体设置如下:滑动窗是立体的窗口,如果点云的获取是通过多视角方式,则窗口大小为5°的扇形,在平行于Z轴方向上的长度和半径无穷大;如果点云的获取是通过水平视角或者垂直视角扫描方式,则窗口沿着视角方向的长度为扫描仪最优扫描半径R的垂直于视角方向的长度为无穷大。
8.根据权利要求1所述的基于迭代就近点算法的点云配准方法,其特征在于,步骤(3e)、步骤(4d)所述的迭代配准点云公式如下:
G ′ = A B
其中,G′表示参考配准点云和目标配准点云的配准得分,A表示参考配准点云和目标配准点云内匹配点的个数,B表示目标配准点云内点的个数。
9.根据权利要求1所述的基于迭代就近点算法的点云配准方法,其特征在于,步骤(5a)所述的迭代就近点算法是指选取点云库PCL中的迭代就近点算法,将待配准的两段点云作为输入,通过对其中一段点云作刚体变换,将两段点云转换到同一坐标系下,得到转换矩阵。
CN201510112310.7A 2015-03-14 2015-03-14 基于迭代就近点算法的点云配准方法 Expired - Fee Related CN104700451B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510112310.7A CN104700451B (zh) 2015-03-14 2015-03-14 基于迭代就近点算法的点云配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510112310.7A CN104700451B (zh) 2015-03-14 2015-03-14 基于迭代就近点算法的点云配准方法

Publications (2)

Publication Number Publication Date
CN104700451A true CN104700451A (zh) 2015-06-10
CN104700451B CN104700451B (zh) 2017-05-17

Family

ID=53347533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510112310.7A Expired - Fee Related CN104700451B (zh) 2015-03-14 2015-03-14 基于迭代就近点算法的点云配准方法

Country Status (1)

Country Link
CN (1) CN104700451B (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105160344A (zh) * 2015-06-18 2015-12-16 北京大学深圳研究生院 一种三维点云的局部特征提取方法及装置
CN105551015A (zh) * 2015-12-02 2016-05-04 南京邮电大学 一种散乱点云图像配准方法
CN106361366A (zh) * 2016-11-02 2017-02-01 上海联影医疗科技有限公司 多模态图像配准方法及系统
CN106529607A (zh) * 2016-12-09 2017-03-22 国家测绘地理信息局四川测绘产品质量监督检验站 图像的同名点获取方法及装置
CN106595525A (zh) * 2016-12-26 2017-04-26 中国矿业大学(北京) 基于三维点云数据的煤矿顶板灾害预防方法
CN106709943A (zh) * 2017-01-12 2017-05-24 重庆邮电大学 一种基于最优传输的点云配准方法
CN106803267A (zh) * 2017-01-10 2017-06-06 西安电子科技大学 基于Kinect的室内场景三维重建方法
CN106886990A (zh) * 2015-12-14 2017-06-23 财团法人工业技术研究院 三维坐标缝合方法及应用其的三维坐标信息缝合装置
CN107146241A (zh) * 2017-04-20 2017-09-08 西安交通大学 一种基于差分进化算法和TrimmedICP算法的点云配准方法
WO2018019274A1 (zh) * 2016-07-29 2018-02-01 宁波频泰光电科技有限公司 用于获取口内数字化印模的系统和方法
CN108010121A (zh) * 2016-10-27 2018-05-08 莱卡地球系统公开股份有限公司 用于处理扫描数据的方法
CN108171790A (zh) * 2017-12-25 2018-06-15 北京航空航天大学 一种基于字典学习的目标重建方法
CN108564605A (zh) * 2018-04-09 2018-09-21 大连理工大学 一种三维测量点云优化配准方法
CN109118564A (zh) * 2018-08-01 2019-01-01 湖南拓视觉信息技术有限公司 一种基于融合体素的三维点云标记方法和装置
CN109489548A (zh) * 2018-11-15 2019-03-19 河海大学 一种利用三维点云的零件加工精度自动检测方法
CN110162098A (zh) * 2019-07-03 2019-08-23 安徽理工大学 一种矿用无人机
WO2019161558A1 (en) * 2018-02-26 2019-08-29 Intel Corporation Method and system of point cloud registration for image processing
CN110264502A (zh) * 2019-05-17 2019-09-20 华为技术有限公司 点云配准方法和装置
CN110316376A (zh) * 2019-07-03 2019-10-11 安徽理工大学 一种用于探测矿井火灾的无人机
CN110688947A (zh) * 2019-09-26 2020-01-14 西安知象光电科技有限公司 一种同步实现人脸三维点云特征点定位和人脸分割的方法
CN111077844A (zh) * 2019-12-12 2020-04-28 南京航空航天大学 一种基于实测数据特征引导的零件精确加工方法
CN111340860A (zh) * 2020-02-24 2020-06-26 北京百度网讯科技有限公司 点云数据的配准、更新方法、装置、设备和存储介质
CN111402393A (zh) * 2019-12-06 2020-07-10 温州大学 参数曲面模拟点云生成方法
CN111929694A (zh) * 2020-10-12 2020-11-13 炬星科技(深圳)有限公司 点云匹配方法、设备及存储介质
CN112102377A (zh) * 2020-08-04 2020-12-18 广东工业大学 基于切比雪夫的icp点云全局最优配准方法及装置
CN112446907A (zh) * 2020-11-19 2021-03-05 武汉中海庭数据技术有限公司 一种单线点云与多线点云配准的方法及装置
CN114067555A (zh) * 2020-08-05 2022-02-18 北京万集科技股份有限公司 多基站数据的配准方法、装置、服务器和可读存储介质
CN116486012A (zh) * 2023-04-27 2023-07-25 中国民用航空总局第二研究所 一种航空器三维模型构建方法、存储介质及电子设备
CN111369600B (zh) * 2020-02-12 2024-02-09 苏州大学 一种基于参照物的激光雷达点云数据配准方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020099832A1 (en) * 2001-01-22 2002-07-25 Tal Yaegerman Method for accessing the internet
CN101645170A (zh) * 2009-09-03 2010-02-10 北京信息科技大学 多视点云精确配准方法
CN103020966A (zh) * 2012-12-04 2013-04-03 南京大学 一种基于建筑物轮廓约束的航空与地面LiDAR数据自动配准方法
CN103150747A (zh) * 2012-11-16 2013-06-12 佳都新太科技股份有限公司 一种基于拓扑特征的点云配准算法
CN103236064A (zh) * 2013-05-06 2013-08-07 东南大学 一种基于法向量的点云自动配准方法
CN103955939A (zh) * 2014-05-16 2014-07-30 重庆理工大学 三维扫描系统中点云拼接用边界特征点配准方法
CN104166989A (zh) * 2014-07-04 2014-11-26 电子科技大学中山学院 一种用于二维激光雷达点云匹配的快速icp方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020099832A1 (en) * 2001-01-22 2002-07-25 Tal Yaegerman Method for accessing the internet
CN101645170A (zh) * 2009-09-03 2010-02-10 北京信息科技大学 多视点云精确配准方法
CN103150747A (zh) * 2012-11-16 2013-06-12 佳都新太科技股份有限公司 一种基于拓扑特征的点云配准算法
CN103020966A (zh) * 2012-12-04 2013-04-03 南京大学 一种基于建筑物轮廓约束的航空与地面LiDAR数据自动配准方法
CN103236064A (zh) * 2013-05-06 2013-08-07 东南大学 一种基于法向量的点云自动配准方法
CN103955939A (zh) * 2014-05-16 2014-07-30 重庆理工大学 三维扫描系统中点云拼接用边界特征点配准方法
CN104166989A (zh) * 2014-07-04 2014-11-26 电子科技大学中山学院 一种用于二维激光雷达点云匹配的快速icp方法

Cited By (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105160344A (zh) * 2015-06-18 2015-12-16 北京大学深圳研究生院 一种三维点云的局部特征提取方法及装置
CN105551015A (zh) * 2015-12-02 2016-05-04 南京邮电大学 一种散乱点云图像配准方法
CN106886990A (zh) * 2015-12-14 2017-06-23 财团法人工业技术研究院 三维坐标缝合方法及应用其的三维坐标信息缝合装置
CN108992191B (zh) * 2016-07-29 2020-12-29 宁波频泰光电科技有限公司 用于获取口内数字化印模的系统和方法
CN108992191A (zh) * 2016-07-29 2018-12-14 宁波频泰光电科技有限公司 用于获取口内数字化印模的系统和方法
CN108904084A (zh) * 2016-07-29 2018-11-30 宁波频泰光电科技有限公司 用于获取口内数字化印模的系统和方法
CN108852540A (zh) * 2016-07-29 2018-11-23 宁波频泰光电科技有限公司 用于获取口内数字化印模的系统和方法
CN108852540B (zh) * 2016-07-29 2020-12-29 宁波频泰光电科技有限公司 用于获取口内数字化印模的系统和方法
CN108904084B (zh) * 2016-07-29 2020-12-29 宁波频泰光电科技有限公司 用于获取口内数字化印模的系统和方法
WO2018019274A1 (zh) * 2016-07-29 2018-02-01 宁波频泰光电科技有限公司 用于获取口内数字化印模的系统和方法
CN108010121A (zh) * 2016-10-27 2018-05-08 莱卡地球系统公开股份有限公司 用于处理扫描数据的方法
US11315267B2 (en) 2016-10-27 2022-04-26 Leica Geosystems Ag Method for processing scan data
WO2018082549A1 (en) * 2016-11-02 2018-05-11 Shenzhen United Imaging Healthcare Co., Ltd. System and method for registering multi-modality images
US10733746B2 (en) 2016-11-02 2020-08-04 Shanghai United Imaging Healthcare Co., Ltd. System and method for registering multi-modality images
US11348258B2 (en) 2016-11-02 2022-05-31 Shanghai United Imaging Healthcare Co., Ltd. System and method for registering multi-modality images
CN106361366B (zh) * 2016-11-02 2019-05-03 上海联影医疗科技有限公司 多模态图像配准方法及系统
CN106361366A (zh) * 2016-11-02 2017-02-01 上海联影医疗科技有限公司 多模态图像配准方法及系统
CN106529607A (zh) * 2016-12-09 2017-03-22 国家测绘地理信息局四川测绘产品质量监督检验站 图像的同名点获取方法及装置
CN106529607B (zh) * 2016-12-09 2019-06-18 国家测绘地理信息局四川测绘产品质量监督检验站 图像的同名点获取方法及装置
CN106595525A (zh) * 2016-12-26 2017-04-26 中国矿业大学(北京) 基于三维点云数据的煤矿顶板灾害预防方法
CN106803267A (zh) * 2017-01-10 2017-06-06 西安电子科技大学 基于Kinect的室内场景三维重建方法
CN106803267B (zh) * 2017-01-10 2020-04-14 西安电子科技大学 基于Kinect的室内场景三维重建方法
CN106709943B (zh) * 2017-01-12 2019-09-24 重庆邮电大学 一种基于最优传输的点云配准方法
CN106709943A (zh) * 2017-01-12 2017-05-24 重庆邮电大学 一种基于最优传输的点云配准方法
CN107146241A (zh) * 2017-04-20 2017-09-08 西安交通大学 一种基于差分进化算法和TrimmedICP算法的点云配准方法
CN108171790A (zh) * 2017-12-25 2018-06-15 北京航空航天大学 一种基于字典学习的目标重建方法
WO2019161558A1 (en) * 2018-02-26 2019-08-29 Intel Corporation Method and system of point cloud registration for image processing
US11423508B2 (en) 2018-02-26 2022-08-23 Intel Corporation Method and system of point cloud registration for image processing
CN108564605B (zh) * 2018-04-09 2020-04-07 大连理工大学 一种三维测量点云优化配准方法
CN108564605A (zh) * 2018-04-09 2018-09-21 大连理工大学 一种三维测量点云优化配准方法
CN109118564B (zh) * 2018-08-01 2023-09-19 山东佳音信息科技有限公司 一种基于融合体素的三维点云标记方法和装置
CN109118564A (zh) * 2018-08-01 2019-01-01 湖南拓视觉信息技术有限公司 一种基于融合体素的三维点云标记方法和装置
CN109489548B (zh) * 2018-11-15 2019-11-12 河海大学 一种利用三维点云的零件加工精度自动检测方法
CN109489548A (zh) * 2018-11-15 2019-03-19 河海大学 一种利用三维点云的零件加工精度自动检测方法
CN110264502A (zh) * 2019-05-17 2019-09-20 华为技术有限公司 点云配准方法和装置
CN110264502B (zh) * 2019-05-17 2021-05-18 华为技术有限公司 点云配准方法和装置
CN110162098A (zh) * 2019-07-03 2019-08-23 安徽理工大学 一种矿用无人机
CN110316376A (zh) * 2019-07-03 2019-10-11 安徽理工大学 一种用于探测矿井火灾的无人机
CN110688947A (zh) * 2019-09-26 2020-01-14 西安知象光电科技有限公司 一种同步实现人脸三维点云特征点定位和人脸分割的方法
CN111402393A (zh) * 2019-12-06 2020-07-10 温州大学 参数曲面模拟点云生成方法
CN111077844A (zh) * 2019-12-12 2020-04-28 南京航空航天大学 一种基于实测数据特征引导的零件精确加工方法
CN111077844B (zh) * 2019-12-12 2020-09-22 南京航空航天大学 一种基于实测数据特征引导的零件精确加工方法
CN111369600B (zh) * 2020-02-12 2024-02-09 苏州大学 一种基于参照物的激光雷达点云数据配准方法
CN111340860A (zh) * 2020-02-24 2020-06-26 北京百度网讯科技有限公司 点云数据的配准、更新方法、装置、设备和存储介质
CN111340860B (zh) * 2020-02-24 2023-09-19 北京百度网讯科技有限公司 点云数据的配准、更新方法、装置、设备和存储介质
CN112102377A (zh) * 2020-08-04 2020-12-18 广东工业大学 基于切比雪夫的icp点云全局最优配准方法及装置
CN114067555A (zh) * 2020-08-05 2022-02-18 北京万集科技股份有限公司 多基站数据的配准方法、装置、服务器和可读存储介质
CN111929694A (zh) * 2020-10-12 2020-11-13 炬星科技(深圳)有限公司 点云匹配方法、设备及存储介质
CN112446907A (zh) * 2020-11-19 2021-03-05 武汉中海庭数据技术有限公司 一种单线点云与多线点云配准的方法及装置
CN116486012A (zh) * 2023-04-27 2023-07-25 中国民用航空总局第二研究所 一种航空器三维模型构建方法、存储介质及电子设备
CN116486012B (zh) * 2023-04-27 2024-01-23 中国民用航空总局第二研究所 一种航空器三维模型构建方法、存储介质及电子设备

Also Published As

Publication number Publication date
CN104700451B (zh) 2017-05-17

Similar Documents

Publication Publication Date Title
CN104700451A (zh) 基于迭代就近点算法的点云配准方法
CN103236064B (zh) 一种基于法向量的点云自动配准方法
CN100559398C (zh) 自动的深度图像配准方法
CN103985155B (zh) 基于映射法的散乱点云Delaunay三角剖分曲面重构方法
CN104200212B (zh) 一种基于机载LiDAR数据的建筑物外边界线提取方法
CN107392875A (zh) 一种基于k近邻域划分的点云数据去噪方法
CN104778688A (zh) 点云数据的配准方法及装置
CN106599108A (zh) 一种三维环境中多模态环境地图构建方法
CN103106688A (zh) 基于双层配准方法的室内三维场景重建方法
CN107330901B (zh) 一种基于骨架的物体构件分解方法
CN109238298A (zh) 一种无人驾驶带避障的路径规划方法
CN104484868B (zh) 一种结合模板匹配和图像轮廓的运动目标航拍跟踪方法
CN103065354A (zh) 点云优化方法及其装置
CN102881047B (zh) 一种自动的非封闭隐式曲面重建方法
CN108235725A (zh) 基于云端的轨迹地图生成方法、装置、设备及应用程序
Zhu et al. Computing a compact spline representation of the medial axis transform of a 2D shape
CN106123812A (zh) 基于遥感影像获取起伏地表甘蔗种植面积的方法及装置
CN113628263A (zh) 一种基于局部曲率及其近邻特征的点云配准方法
CN111105452B (zh) 基于双目视觉的高低分辨率融合立体匹配方法
CN102129716A (zh) 一种用于水火弯板曲面拟合的方法
CN107622530A (zh) 一种高效鲁棒的三角网切割方法
US20220058820A1 (en) Stereo image processing
CN103700107A (zh) 一种基于图像尖锐度分布的特征点匹配方法
CN103971388A (zh) 一种切片尺寸自适应的火焰ct图像重建方法
US9792729B2 (en) System and method for context preserving maps of tubular structures

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170517