CN104392486A - 一种点云场景重建方法 - Google Patents

一种点云场景重建方法 Download PDF

Info

Publication number
CN104392486A
CN104392486A CN201410690610.9A CN201410690610A CN104392486A CN 104392486 A CN104392486 A CN 104392486A CN 201410690610 A CN201410690610 A CN 201410690610A CN 104392486 A CN104392486 A CN 104392486A
Authority
CN
China
Prior art keywords
point
mrow
msub
mtd
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410690610.9A
Other languages
English (en)
Other versions
CN104392486B (zh
Inventor
王映辉
郝雯
宁小娟
石争浩
赵明华
周红芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201410690610.9A priority Critical patent/CN104392486B/zh
Publication of CN104392486A publication Critical patent/CN104392486A/zh
Application granted granted Critical
Publication of CN104392486B publication Critical patent/CN104392486B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005Tree description, e.g. octree, quadtree
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明一种点云场景重建方法,具体按照以下步骤实施:步骤1、将点云场景中的点云数据分为地面点、地面以上的平面点、地面以上的非平面点;步骤2、对步骤1中得到的不同类型的地面以上的点云数据进行分割;步骤3、根据步骤2中的分割结果,完成点云场景中不同对象的提取;步骤4、对步骤3中提取出的不同对象采用不同的方法完成点云场景的重建。本发明一种点云场景重建方法解决了现有技术仅适用于特定的对象或者是针对于特定数据重建的局限性,能够自动地完成点云场景的重建。

Description

一种点云场景重建方法
技术领域
本发明属于计算机图形学和虚拟现实相结合的交叉学科技术领域,具体涉及一种点云场景重建方法。
背景技术
点云场景重建一直都是计算机图形学和虚拟现实的一个重要研究领域。传统的重建多是针对单个对象(如建筑物)或者是基于某种假设重建出特定类型的建筑物,因此难以适用于包含复杂对象的点云场景重建。
由于扫描场景时物体间存在遮挡,导致场景中的每个物体不可能得到多方位的扫描,造成对象对应的点云数据不完整。再加上点云数据的海量性,场景中包含有丰富的对象,且对象特征各异,使得点云场景的重建自动化程度低,可靠性差。
在近几年中,很多学者集中于研究场景重建算法的研究。根据输入数据类型的不同,现有的方法分为两类:基于图像的场景重建以及基于点云数据的场景重建。
1、基于图像的场景重建
图像是一种比较容易获得的数据类型,已经有很多方法从地面拍摄图像或者航空拍摄的图像恢复场景。基于图像的场景重建的方法又可以分为自动重建方法和利用交互重建方法。
①自动重建
Dick认为建筑物是由一些参数化的基本元素构成(如墙、门和窗等),他给这些基本元素都分配了一定的概率分布。建筑物的布局一部分通过数据训练得到,一部分通过专家知识手工添加。最终建筑物采用马尔科夫链蒙特卡罗(Markov Chain Monte Carlo,MCMC)机器完成重建。Barinova利用条件随机场模型(Conditional Random Field model)从单独的一张图像中恢复出室外场景。Xiao提出一种利用图像恢复街道场景的方法,该方法将图像细分并且识别成有意义的部分,然后将建筑物单独的分离出来,利用基于逆贴片(inverse patch-based)投影和结构分析的方法对建筑物立面进行重建。Vanegas提出一种从校准的航空图像恢复出建筑物模型的方法,该方法遵从曼哈顿世界假设(Manhattan-world assumption),利用语法将初始的建筑模型进行细化修正,完成建筑物重建。
②交互式重建
除了上述的自动完成建筑物重建的方法,许多学者也提出了允许用户交互的建筑物重建方法。Sinha提出了一种基于无序图像序列的交互式建筑物重建方法,通过用户在图像上画出建筑物的轮廓线,从而形成平面,并根据多幅图像获取消隐点,利用Sfm(Structure From Motion,从运动恢复三维场景结构)确定平面的位置和法向量,最后利用图割和泊松混合的方法将多幅图像自动组合,自动完成建筑物的纹理帖图,最终的建筑物模型由平面集合组合而成。Musialski设计了一种基于一致性的建筑物立面重建系统,该系统针对立面横向或者纵向分割提出了一个同步编辑工具,允许设计人员同时操作一组立面元素,可以插入、移动一个元素,或者指定其属性值。El-hakim也提出了一种基于图像的半自动建筑物重建系统,该系统允许用户构建参数化形状,并将它们存储在数据库中,对于类似的对象可以重复使用。El-hakim也提出了一种基于图像的半自动建筑物重建系统,该系统允许用户构建参数化形状,并将它们存储在数据库中,对于类似的对象可以重复使用。
2、基于点云数据的场景重建
虽然获取图像非常快捷便利,但是由三维世界转化为二维影像的过程中,会不可避免地丢失三维深度值以及拓扑关系等众多信息,所以从二维影像出发对三维客观世界进行重建,往往存在自身的局限。而三维点云数据有效地弥补了图像数据的不足。随着激光扫描技术的发展,很多学者提出了基于三维点云数据的场景重建方法。在这里,根据用户是否参加重建,也将基于点云数据的对象重建分为自动重建和交互式重建。
①自动重建
Verma针对航空扫描的点云数据,通过协方差矩阵分析去除非平面点,然后使用最大连通域准则提取属于屋顶的点云数据,并归纳出建筑物屋顶常见的拓扑关系(如I型、L型和U型结构等),根据平面间的连接关系完成建筑物的重建。余利用LiDAR数据点集的边界来定位卫星图像上的感兴趣区域,利用从感兴趣区域中提取的关键提示线来实现屋顶的分割,从而得到属于每个建筑物的屋顶点,然后,基于三角面片的法向量方向信息对其进行聚类,根据法向量之间的关系进行屋顶类型识别,从而实现居民区建筑物的重建。Wan针对激光扫描点云,提出一种基于语法规则分割的三维墙面重建算法,该方法首先利用RANSAC算法将增强后的点云分割成平面集合,然后根据定义的语法规则,采用“自顶向下”的思想将平面分割成四边形集合,最终生成建筑物的结构化网格模型。
②交互式重建
Chen认为建筑物都是由平面组成的,利用自顶向下的建模思想,对点云数据按照平面特征作聚类分析,然后从面出发计算相邻面之间的交线。由于有些结构在扫描中可能存在严重的缺漏(如建筑屋的顶部和玻璃墙等),这个过程需要依赖用户少量的交互操作来修正,算法结合自动计算和用户的交互输入达到对建筑物建模的目的。Nan提出一种名为SmartBoxes的交互系统完成建筑物的重建,通过对建筑物常见部分(例如:窗户和阳台)的定义,该系统利用建筑物自身的相似性,将常见部分自适应拷贝到重复出现的区域,完成对稀疏或者不完整的建筑物数据的重建。
目前这些相关的方法多是针对于特定的对象,例如建筑物,或者是针对于只包含建筑物屋顶、地面和树木的航空LiDAR数据。由于地面激光扫描仪的高速发展,从行人的视角完成场景的重建也非常重要。但是在真实的城市场景中,往往包含多种复杂的对象,现有的方法并不试用于地面点云数据。
发明内容
本发明的目的是提供一种点云场景重建方法,解决了现有技术中存在的仅针对建筑物进行重建或者针对于只包含建筑物屋顶、地面和树木的航空LiDAR数据,不能重建出包含有丰富对象的点云场景的问题。
本发明所采用的技术方案是,一种点云场景重建方法,具体按照以下步骤实施:
步骤1、将点云场景中的点云数据分为地面点、地面以上的平面点、地面以上的非平面点;
步骤2、对步骤1中得到的不同类型的地面以上的点云数据进行分割;
步骤3、根据步骤2中的分割结果,完成点云场景中不同对象的提取;
步骤4、对步骤3中提取出的不同对象采用不同的方法完成点云场景的重建。
本发明的特点还在于,
利用C-SVM对步骤1中点云数据进行分类:
①点云中的点p,找到其k个临近点:
p的三阶协方差矩阵M为:
M = 1 k Σ i = 1 k ( p i - p ‾ ) ( p i - p ‾ ) T - - - ( 1 )
其中,为点p的k个临近点的平均位置,
p ‾ = 1 k Σ i = 1 k p i - - - ( 2 )
通过奇异值分解对三阶协方差矩阵M进行特征值分解,得到协方差矩阵M的特征值0<λ1<λ2<λ3,λ1对应特征向量np为点p的法向量;
定义:
F 1 = λ 1 λ 1 + λ 2 + λ 3 - - - ( 3 )
F1表示该点偏离其切平面的程度,当F1接近0时,表示点p的临近点可以近似地拟合成平面,它的临近点中的噪声相对较小;
②一旦点p的法向量np确定了,利用k-d树查找点p的m个临近点点p的协方差矩阵为:
C p m = 1 N p m Σ q ∈ N p m n q T · n q - - - ( 4 )
通过奇异值分解对上式的协方差矩阵进行特征值分解,得到协方差矩阵的特征值其中,表示法向量在高斯球上的最大变化度,度量法向量分布是否规律;
定义:
F 2 = λ 2 n - - - ( 5 )
F 3 = λ 1 n - - - ( 6 )
如果F2和F3均接近0时,表示该点为平面点,如果F2和F3至少有一个大于0时,表示该点为非平面点;
③ni是点pi的法向量,
ni=(nxi,nyi,nzi),
定义:
F4=fabs(nzi)     (7)
如果F4≈1,表示该点为地面点;
④高度差为每个点与地面最低点的距离,定义:
F5=Δz=zi-zlowest        (8)
如果F5接近0,则表示该点为地面点,如果F5大于0,则表示该点为点云场景中的地面以上的点;
上述F1、F2、F3、F4和F5为C-SVM分类所利用的特征值。
步骤2中对不同类型的点云数据进行分割的具体实施方法为:
①对于地面以上的平面点,选取平面点中任意一点q作为种子点,nq为点q的法向量,np为除种子点q外未被遍历点的法向量,若
nq·np≈1         (9)
将点p与点q归为一类,然后,利用基于距离的聚类方法进行分割:在该类中任选一点,将与这点的距离不大于阈值ε的点归为一类,得到一个平面点簇;
②对于地面以上的非平面点,利用基于距离的聚类方法进行分割:在非平面点中任选一点,将与这点的距离不大于阈值δ的点归为一类,得到一个非平面点簇。
阈值ε的取值范围为:0-0.1。
阈值δ的取值范围为:0-0.1。
步骤3中点云场景中不同对象的提取的具体步骤为:
步骤3.1、计算得到点云场景中的最低点为地面点,计算每个平面点簇的最高点与地面点的距离差Height,
Height=max(Zi)-min(Zground)    (10)
其中,max(Zi)为每个平面点簇中最高点的高度值,min(Zground)为地面点的高度值,
如果距离差Height不小于10米,则该平面点簇为建筑物,否则,该平面点簇为低矮平面;
步骤3.2、计算步骤3.1中提取到的建筑物平面的最小包围盒,包含在最小包围盒中的非平面点为窗户;
步骤3.3、计算每个非平面点簇的长宽比Ratio:
Ratio = width height - - - ( 11 )
其中,width=xmax-xmin,height=ymax-ymin,xmax为非平面点簇中x坐标轴上的最大值,xmin为非平面点簇中x坐标轴上的最小值,ymax为非平面点簇中y坐标轴上的最大值,ymin为非平面点簇中y坐标轴上的最小值,
如果Ratio近似等于1,则该非平面点簇为树木,否则,该非平面点簇不为树木;
步骤3.4、去除点数不大于10的点云。
步骤3.2中计算最小包围盒的具体步骤为:
a.点云中的点p,找到其k个临近点:
p的三阶协方差矩阵M为:
M = 1 k Σ i = 1 k ( p i - p ‾ ) ( p i - p ‾ ) T - - - ( 12 )
其中,为点p的k个临近点的平均位置,
p ‾ = 1 k Σ i = 1 k p i - - - ( 13 )
通过奇异值分解对三阶协方差矩阵M进行特征值分解,以最小特征值对应的特征向量为w轴,其余两个特征值对应的向量为u,v轴,建立局部点集初始坐标系C=(u,v,w)
b.将建筑物上的点绕w轴进行旋转,新的坐标系C'=RC,其中:
R = cos ( θ ) sin ( θ ) 0 0 - sin ( θ ) cos ( θ ) 0 0 0 0 1 0 0 0 0 1 - - - ( 14 )
θ∈(0,π/2),
c.点p在坐标系C'下的坐标p'=C'p,求建筑物点集P中每点在坐标系C'下的新坐标P',得到点集P'中点的最大x值xmax和最大y值ymax以及最小x值xmin和最小y值ymin
d.利用下式计算各个坐标系下的有向包围盒的体积:
V=(xmax-xmin)×(ymax-ymin)×(zmax-zmin)     (15)
选择最小的有向包围盒的体积作为建筑物点集P的最小包围盒。
步骤4中点云场景的重建的具体方法为:
①如果步骤3中提取到点云场景中的对象为建筑物,首先,找出建筑物平面点簇中具有最大x坐标值的点PMaxX、最小x坐标值的点PMinX、最大y坐标值的点PMaxY、最小y坐标值的点PMinY、最大z坐标值的点PMaxZ、最小z坐标值的点PMinZ;利用公式(16)计算建筑物平面点簇中的点云数据投影到xOy面后的中心点
x ‾ i = 1 N Σ j = 1 N x j , y ‾ i = 1 N Σ j = 1 N y j - - - ( 16 )
其中,N为建筑物平面点簇中的总点数,(xj,yj)为建筑物平面点簇中每点二维投影的坐标;
其次,点PMaxX、PMinX、PMaxY和PMinY的二维投影点依次为:P'MaxX、P'MinX、P'MaxY和P'MinY,分别将点P'MaxX、P'MinX、P'MaxY和P'MinY的x坐标值与进行比较,点P'MaxX、P'MinX、P'MaxY和P'MinY中的x坐标值小于的点位于建筑物平面的一侧,点P'MaxX、P'MinX、P'MaxY和P'MinY中的x坐标值大于的点位于建筑物平面的另一侧,对于位于同一侧的坐标点,分别判断它们与中心点的距离,距离最远的为端点分别记为P1、P2
然后,寻找建筑物平面点簇中与P1的x、y坐标值相近的点,记录其中最大的z坐标值Zmax1,同时寻找建筑物平面点簇中与P2的x,y坐标值相近的点,记录最大的z坐标值Zmax2
最后,将建筑物平面点簇中的点A(P1.x,P1.y,Zmax1)、B(P1.x,P1.y,PMinZ.z)、C(P2.x,P2.y,PMinZ.z)、D(P2.x,P2.y,Zmax2)依次连接构成平面S,并将点A、B、C、D沿平面S的法向量方向移动0.1-1m,得到点A'、B'、C'、D',将点A'、B'、C'、D'依次连接构成平面S',分别连接点A和点A'、点B和点B'、点C和点C'、点D和点D'得到建筑物的另外4个面;
②如果步骤3中提取到点云场景中的对象为地面,首先找到地面点簇中z值最小的点H(x,y,zmin),然后再分别找出点I(xmax,ymax,zmin)、点J(xmax,ymin,zmin)、点K(xmin,ymax,zmin)、点L(xmin,ymin,zmin),依次连接点I、点J、点L、点K构成的平面为地面;
③如果步骤3中提取到点云场景中的对象为树木,首先找到点云场景中的最小的z值,最小的z值所在的水平面为树木的底面位置,为树木的水平位置,其中:
x i ‾ = 1 n Σ j = 1 n x j - - - ( 17 )
y i ‾ = 1 n Σ j = 1 n y j - - - ( 18 )
用半径为r1、高度为h1的圆柱表示树干,底面半径为r2、高度为h2的圆锥体表示树枝。
本发明的有益效果是:本发明一种点云场景重建方法解决了现有技术仅适用于特定的对象或者是针对于特定数据重建的局限性,能够自动地完成点云场景的重建。
附图说明
图1是采用本发明一种点云场景重建方法中点云的分类结果图;
图2是采用本发明一种点云场景重建方法中建筑物平面的最小包围盒;
图3是本发明一种点云场景重建方法中的树木示意图;
图4是本发明一种点云场景重建方法中的树木在地面的投影图;
图5是采用本发明一种点云场景重建方法重建结果示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种点云场景重建方法,具体按照以下步骤实施:
步骤1、如图1所示,利用C-SVM(C-支持向量机)将点云场景中的点云数据分为地面点、地面以上的平面点、地面以上的非平面点,具体步骤为:
①点云中的点p,找到其k个临近点:
p的三阶协方差矩阵M为:
M = 1 k Σ i = 1 k ( p i - p ‾ ) ( p i - p ‾ ) T - - - ( 1 )
其中,为点p的k个临近点的平均位置,
p ‾ = 1 k Σ i = 1 k p i - - - ( 2 )
通过奇异值分解对三阶协方差矩阵M进行特征值分解,得到协方差矩阵M的特征值0<λ1<λ2<λ3,λ1对应特征向量np为点p的法向量;
定义:
F 1 = λ 1 λ 1 + λ 2 + λ 3 - - - ( 3 )
F1表示该点偏离其切平面的程度,当F1接近0时,表示点p的临近点可以近似地拟合成平面,它的临近点中的噪声相对较小;
②一旦点p的法向量np确定了,利用k-d树查找点p的m个临近点点p的协方差矩阵为:
C p m = 1 N p m Σ q ∈ N p m n q T · n q - - - ( 4 )
通过奇异值分解对上式的协方差矩阵进行特征值分解,得到协方差矩阵的特征值其中,表示法向量在高斯球上的最大变化度,度量法向量分布是否规律;
定义:
F 2 = λ 2 n - - - ( 5 )
F 3 = λ 1 n - - - ( 6 )
如果F2和F3均接近0时,表示该点为平面点,如果F2和F3至少有一个大于0时,表示该点为非平面点;
③ni是点pi的法向量,
ni=(nxi,nyi,nzi),
定义:
F4=fabs(nzi)     (7)
如果F4≈1,表示该点为地面点;
④高度差为每个点与地面最低点的距离,定义:
F5=Δz=zi-zlowest        (8)
如果F5接近0,则表示该点为地面点,如果F5大于0,则表示该点为点云场景中的地面以上的点;
上述F1、F2、F3、F4和F5为C-SVM分类所利用的特征值。
步骤2、对步骤1中得到的不同类型的地面以上的点云数据进行分割,具体实施方法为:
①对于地面以上的平面点,选取平面点中任意一点q作为种子点,nq为点q的法向量,np为除种子点q外未被遍历点的法向量:
nq·np≈1         (9)
将点p与点q归为一类,然后,利用基于距离的聚类方法进行分割:在该类中任选一点,将与这点的距离不大于阈值ε(阈值ε的取值范围为:0-0.1)的点归为一类,得到一个平面点簇;
②对于地面以上的非平面点,利用基于距离的聚类方法进行分割:在非平面点中任选一点,将与这点的距离不大于阈值δ(阈值δ的取值范围为:0-0.1)的点归为一类,得到一个非平面点簇。
步骤3、根据步骤2中的分割结果,完成点云场景中不同对象的提取,具体步骤为:
步骤3.1、计算得到点云场景中的最低点为地面点,计算每个平面点簇的最高点与地面点的距离差Height,
Height=max(Zi)-min(Zground)     (10)
其中,max(Zi)为每个平面点簇中最高点的高度值,min(Zground)为地面点的高度值,
如果距离差Height不小于10米,则该平面点簇为建筑物,否则,该平面点簇为低矮平面;
步骤3.2、计算步骤3.1中提取到的建筑物平面的最小包围盒(如图2所示),包含在最小包围盒中的非平面点为窗户,其中,计算最小包围盒的具体步骤为:
a.点云中的点p,找到其k个临近点:
p的三阶协方差矩阵M为:
M = 1 k Σ i = 1 k ( p i - p ‾ ) ( p i - p ‾ ) T - - - ( 12 )
其中,为点p的k个临近点的平均位置,
p ‾ = 1 k Σ i = 1 k p i - - - ( 13 )
通过奇异值分解对三阶协方差矩阵M进行特征值分解,以最小特征值对应的特征向量为w轴,其余两个特征值对应的向量为u,v轴,建立局部点集初始坐标系C=(u,v,w)
b.将建筑物上的点绕w轴进行旋转,新的坐标系C'=RC,其中:
R = cos ( θ ) sin ( θ ) 0 0 - sin ( θ ) cos ( θ ) 0 0 0 0 1 0 0 0 0 1 - - - ( 14 )
θ∈(0,π/2),
c.点p在坐标系C'下的坐标p'=C'p,求建筑物点集P中每点在坐标系C'下的新坐标P',得到点集P'中点的最大x值xmax和最大y值ymax以及最小x值xmin和最小y值ymin
d.利用下式计算各个坐标系下的有向包围盒的体积:
V=(xmax-xmin)×(ymax-ymin)×(zmax-zmin)(15)
选择最小的有向包围盒的体积作为建筑物点集P的最小包围盒。
步骤3.3、计算每个非平面点簇的长宽比Ratio:
Ratio = width height - - - ( 11 )
其中,width=xmax-xmin,height=ymax-ymin,xmax为非平面点簇中x坐标轴上的最大值,xmin为非平面点簇中x坐标轴上的最小值,ymax为非平面点簇中y坐标轴上的最大值,ymin为非平面点簇中y坐标轴上的最小值,
如果Ratio近似等于1,则该非平面点簇为树木(如图3所示为点云场景中的树木,图4为点云场景中树木在地面的投影),否则,该非平面点簇不为树木;
步骤3.4、去除点数不大于10的点云。
步骤4、对步骤3中提取出的不同对象采用不同的方法完成点云场景的重建(重建结果如图5所示),具体方法为:
①如果步骤3中提取到点云场景中的对象为建筑物,首先,找出建筑物平面点簇中具有最大x坐标值的点PMaxX、最小x坐标值的点PMinX、最大y坐标值的点PMaxY、最小y坐标值的点PMinY、最大z坐标值的点PMaxZ、最小z坐标值的点PMinZ;利用公式(16)计算建筑物平面点簇中的点云数据投影到xOy面后的中心点
x ‾ i = 1 N Σ j = 1 N x j , y ‾ i = 1 N Σ j = 1 N y j - - - ( 16 )
其中,N为建筑物平面点簇中的总点数,(xj,yj)为建筑物平面点簇中每点二维投影的坐标;
其次,点PMaxX、PMinX、PMaxY和PMinY的二维投影点依次为:P'MaxX、P'MinX、P'MaxY和P'MinY,分别将点P'MaxX、P'MinX、P'MaxY和P'MinY的x坐标值与进行比较,点P'MaxX、P'MinX、P'MaxY和P'MinY中的x坐标值小于的点位于建筑物平面的一侧,点P'MaxX、P'MinX、P'MaxY和P'MinY中的x坐标值大于的点位于建筑物平面的另一侧,对于位于同一侧的坐标点,分别判断它们与中心点的距离,距离最远的为端点分别记为P1、P2
然后,寻找建筑物平面点簇中与P1的x、y坐标值相近的点,记录其中最大的z坐标值Zmax1,同时寻找建筑物平面点簇中与P2的x,y坐标值相近的点,记录最大的z坐标值Zmax2
最后,将建筑物平面点簇中的点A(P1.x,P1.y,Zmax1)、B(P1.x,P1.y,PMinZ.z)、C(P2.x,P2.y,PMinZ.z)、D(P2.x,P2.y,Zmax2)依次连接构成平面S,并将点A、B、C、D沿平面S的法向量方向移动0.1-1m,得到点A'、B'、C'、D',将点A'、B'、C'、D'依次连接构成平面S',分别连接点A和点A'、点B和点B'、点C和点C'、点D和点D'得到建筑物的另外4个面;
②如果步骤3中提取到点云场景中的对象为地面,首先找到地面点簇中z值最小的点H(x,y,zmin),然后再分别找出点I(xmax,ymax,zmin)、点J(xmax,ymin,zmin)、点K(xmin,ymax,zmin)、点L(xmin,ymin,zmin),依次连接点I、点J、点L、点K构成的平面为地面;
③如果步骤3中提取到点云场景中的对象为树木,首先找到点云场景中的最小的z值,最小的z值所在的水平面为树木的底面位置,为树木的水平位置,其中:
x i ‾ = 1 n Σ j = 1 n x j - - - ( 17 )
y i ‾ = 1 n Σ j = 1 n y j - - - ( 18 )
用半径为r1、高度为h1的圆柱表示树干,底面半径为r2、高度为h2的圆锥体表示树枝。
本发明一种点云场景重建方法解决了现有技术仅适用于特定的对象或者是针对于特定数据重建的局限性,能够自动地完成点云场景的重建。

Claims (8)

1.一种点云场景重建方法,其特征在于,具体按照以下步骤实施:
步骤1、将点云场景中的点云数据分为地面点、地面以上的平面点、地面以上的非平面点;
步骤2、对步骤1中得到的不同类型的地面以上的点云数据进行分割;
步骤3、根据步骤2中的分割结果,完成点云场景中不同对象的提取;
步骤4、对步骤3中提取出的不同对象采用不同的方法完成点云场景的重建。
2.根据权利要求1所述的一种点云场景重建方法,其特征在于,利用C-SVM对所述步骤1中点云数据进行分类:
①点云中的点p,找到其k个临近点:
p的三阶协方差矩阵M为:
M = 1 k Σ i = 1 k ( p i - p ‾ ) ( p i - p ‾ ) T ,
其中,为点p的k个临近点的平均位置,
p ‾ = 1 k Σ i = 1 k p i ,
通过奇异值分解对三阶协方差矩阵M进行特征值分解,得到协方差矩阵M的特征值0<λ1<λ2<λ3,λ1对应特征向量np为点p的法向量;
定义:
F 1 = λ 1 λ 1 + λ 2 + λ 3 ,
F1表示该点偏离其切平面的程度,当F1接近0时,表示点p的临近点可以近似地拟合成平面,它的临近点中的噪声相对较小;
②一旦点p的法向量np确定了,利用k-d树查找点p的m个临近点点p的协方差矩阵为:
C p m = 1 N p m Σ q ∈ N p m n q T · n q ,
通过奇异值分解对上式的协方差矩阵进行特征值分解,得到协方差矩阵的特征值其中,表示法向量在高斯球上的最大变化度,度量法向量分布是否规律;
定义:
F 2 = λ 2 n ,
F 3 = λ 1 n ,
如果F2和F3均接近0时,表示该点为平面点,如果F2和F3至少有一个大于0时,表示该点为非平面点;
③ni是点pi的法向量,
ni=(nxi,nyi,nzi),
定义:
F4=fabs(nzi);
如果F4≈1,表示该点为地面点;
④高度差为每个点与地面最低点的距离,定义:
F5=Δz=zi-zlowest
如果F5接近0,则表示该点为地面点,如果F5大于0,则表示该点为点云场景中的地面以上的点;
上述F1、F2、F3、F4和F5为C-SVM分类所利用的特征值。
3.根据权利要求1所述的一种点云场景重建方法,其特征在于,所述步骤2中对不同类型的点云数据进行分割的具体实施方法为:
①对于地面以上的平面点,选取平面点中任意一点q作为种子点,nq为点q的法向量,np为除种子点q外未被遍历点的法向量,若
nq·np≈1,
将点p与点q归为一类,然后,利用基于距离的聚类方法进行分割:在该类中任选一点,将与这点的距离不大于阈值ε的点归为一类,得到一个平面点簇;
②对于地面以上的非平面点,利用基于距离的聚类方法进行分割:在非平面点中任选一点,将与这点的距离不大于阈值δ的点归为一类,得到一个非平面点簇。
4.根据权利要求3所述的一种点云场景重建方法,其特征在于,所述阈值ε的取值范围为:0-0.1。
5.根据权利要求3所述的一种点云场景重建方法,其特征在于,所述阈值δ的取值范围为:0-0.1。
6.根据权利要求1所述的一种点云场景重建方法,其特征在于,所述步骤3中点云场景中不同对象的提取的具体步骤为:
步骤3.1、计算得到点云场景中的最低点为地面点,计算每个平面点簇的最高点与地面点的距离差Height,
Height=max(Zi)-min(Zground),
其中,max(Zi)为每个平面点簇中最高点的高度值,min(Zground)为地面点的高度值,
如果距离差Height不小于10米,则该平面点簇为建筑物,否则,该平面点簇为低矮平面;
步骤3.2、计算步骤3.1中提取到的建筑物平面的最小包围盒,包含在最小包围盒中的非平面点为窗户;
步骤3.3、计算每个非平面点簇的长宽比Ratio:
Ratio = width height ,
其中,width=xmax-xmin,height=ymax-ymin,xmax为非平面点簇中x坐标轴上的最大值,xmin为非平面点簇中x坐标轴上的最小值,ymax为非平面点簇中y坐标轴上的最大值,ymin为非平面点簇中y坐标轴上的最小值,
如果Ratio近似等于1,则该非平面点簇为树木,否则,该非平面点簇不为树木;
步骤3.4、去除点数不大于10的点云。
7.根据权利要求6所述的一种点云场景重建方法,其特征在于,所述步骤3.2中计算有向包围盒的具体步骤为:
a.点云中的点p,找到其k个临近点:
p的三阶协方差矩阵M为:
M = 1 k Σ i = 1 k ( p i - p ‾ ) ( p i - p ‾ ) T ,
其中,为点p的k个临近点的平均位置,
p ‾ = 1 k Σ i = 1 k p i ,
通过奇异值分解对三阶协方差矩阵M进行特征值分解,以最小特征值对应的特征向量为w轴,其余两个特征值对应的向量为u,v轴,建立局部点集初始坐标系C=(u,v,w);
b.将建筑物上的点绕w轴进行旋转,新的坐标系C′=RC,其中:
R = cos ( θ ) sin ( θ ) 0 0 - sin ( θ ) cos ( θ ) 0 0 0 0 1 0 0 0 0 1 ,
θ∈(0,π/2),
c.点p在坐标系C′下的坐标p′=C′p,求建筑物点集P中每点在坐标系C′下的新坐标P′,得到点集P′中点的最大x值xmax和最大y值ymax以及最小x值xmin和最小y值ymin
d.利用下式计算各个坐标系下的有向包围盒的体积:
V=(xmax-xmin)×(ymax-ymin)×(zmax-zmin),
选择最小的有向包围盒的体积作为建筑物点集P的最小包围盒。
8.根据权利要求1所述的一种点云场景重建方法,其特征在于,所述步骤4中点云场景的重建的具体方法为:
①如果步骤3中提取到点云场景中的对象为建筑物,首先,找出建筑物平面点簇中具有最大x坐标值的点PMaxX、最小x坐标值的点PMinX、最大y坐标值的点PMaxY、最小y坐标值的点PMinY、最大z坐标值的点PMaxZ、最小z坐标值的点PMinZ;利用下式计算建筑物平面点簇中的点云数据投影到xOy面后的中心点
x ‾ i = 1 N Σ j = 1 N x j , y ‾ i = 1 N Σ j = 1 N y j ,
其中,N为建筑物平面点簇中的总点数,(xj,yj)为建筑物平面点簇中每点二维投影的坐标;
其次,点PMaxX、PMinX、PMaxY和PMinY的二维投影点依次为:P′MaxX、P′MinX、P′MaxY和P′MinY,分别将点P′MaxX、P′MinX、P′MaxY和P′MinY的x坐标值与进行比较,点P′MaxX、P′MinX、P′MaxY和P′MinY中的x坐标值小于的点位于建筑物平面的一侧,点P′MaxX、P′MinX、P′MaxY和P′MinY中的x坐标值大于的点位于建筑物平面的另一侧,对于位于同一侧的坐标点,分别判断它们与中心点的距离,距离最远的为端点分别记为P1、P2
然后,寻找建筑物平面点簇中与P1的x、y坐标值相近的点,记录其中最大的z坐标值Zmax1,同时寻找建筑物平面点簇中与P2的x,y坐标值相近的点,记录最大的z坐标值Zmax2
最后,将建筑物平面点簇中的点A(P1.x,P1.y,Zmax1)、B(P1.x,P1.y,PMinZ.z)、C(P2.x,P2.y,PMinZ.z)、D(P2.x,P2.y,Zmax2)依次连接构成平面S,并将点A、B、C、D沿平面S的法向量方向移动0.1-1m,得到点A′、B′、C′、D′,将点A′、B′、C′、D′依次连接构成平面S′,分别连接点A和点A′、点B和点B′、点C和点C′、点D和点D′得到建筑物的另外4个面;
②如果步骤3中提取到点云场景中的对象为地面,首先找到地面点簇中z值最小的点H(x,y,zmin),然后再分别找出点I(xmax,ymax,zmin)、点J(xmax,ymin,zmin)、点K(xmin,ymax,zmin)、点L(xmin,ymin,zmin),依次连接点I、点J、点L、点K构成的平面为地面;
③如果步骤3中提取到点云场景中的对象为树木,首先找到点云场景中的最小的z值,最小的z值所在的水平面为树木的底面位置,为树木的水平位置,其中:
x ‾ i = 1 n Σ j = 1 n x j ,
y ‾ i = 1 n Σ j = 1 n y j ,
用半径为r1、高度为h1的圆柱表示树干,底面半径为r2、高度为h2的圆锥体表示树枝。
CN201410690610.9A 2014-11-25 2014-11-25 一种点云场景重建方法 Expired - Fee Related CN104392486B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410690610.9A CN104392486B (zh) 2014-11-25 2014-11-25 一种点云场景重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410690610.9A CN104392486B (zh) 2014-11-25 2014-11-25 一种点云场景重建方法

Publications (2)

Publication Number Publication Date
CN104392486A true CN104392486A (zh) 2015-03-04
CN104392486B CN104392486B (zh) 2017-07-28

Family

ID=52610384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410690610.9A Expired - Fee Related CN104392486B (zh) 2014-11-25 2014-11-25 一种点云场景重建方法

Country Status (1)

Country Link
CN (1) CN104392486B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751479A (zh) * 2015-04-20 2015-07-01 中测新图(北京)遥感技术有限责任公司 基于tin数据的建筑物提取方法和装置
CN104951605A (zh) * 2015-06-12 2015-09-30 广东工业大学 一种水火弯板加工现场钢板数据提取方法
CN105740798A (zh) * 2016-01-27 2016-07-06 西安理工大学 一种基于结构分析的点云场景物体识别方法
CN105913489A (zh) * 2016-04-19 2016-08-31 东北大学 一种利用平面特征的室内三维场景重构方法
CN105955275A (zh) * 2016-05-26 2016-09-21 华讯方舟科技有限公司 一种机器人路径规划方法及系统
CN106408650A (zh) * 2016-08-26 2017-02-15 中国人民解放军国防科学技术大学 在轨掠飞成像对空间目标三维重建与测量方法
CN106529029A (zh) * 2016-10-25 2017-03-22 北京煜邦电力技术股份有限公司 输电线路杆塔的点云数据提取方法及装置
GB2543749A (en) * 2015-10-21 2017-05-03 Nokia Technologies Oy 3D scene rendering
CN107146280A (zh) * 2017-05-09 2017-09-08 西安理工大学 一种基于切分的点云建筑物重建方法
CN108022288A (zh) * 2017-11-30 2018-05-11 西安理工大学 一种面向点云物体的三维素描画模拟方法
CN108038906A (zh) * 2017-12-26 2018-05-15 山东师范大学 一种基于图像的三维四边形网格模型重建方法
CN108133516A (zh) * 2018-01-17 2018-06-08 视缘(上海)智能科技有限公司 一种3d城市场景自动重建方法
CN109102535A (zh) * 2018-07-27 2018-12-28 西安理工大学 一种基于构件提取的室内场景重建方法
CN109272547A (zh) * 2018-09-17 2019-01-25 南京阿凡达机器人科技有限公司 一种包裹外接体积测量方法、系统、存储介质及移动终端
CN109636911A (zh) * 2018-11-06 2019-04-16 深圳华侨城文化旅游科技股份有限公司 一种基于体感设备的扫描方法及系统
CN110009744A (zh) * 2019-02-22 2019-07-12 南京航空航天大学 一种视觉映射的点云重建方法及其系统
CN110910387A (zh) * 2019-10-09 2020-03-24 西安理工大学 一种基于显著性分析的点云建筑物立面窗户提取方法
CN111126023A (zh) * 2020-03-30 2020-05-08 江西博微新技术有限公司 图形处理方法、系统、可读存储介质及计算机设备
CN111179274A (zh) * 2019-12-30 2020-05-19 深圳一清创新科技有限公司 地图地面分割方法、装置、计算机设备和存储介质
CN111508074A (zh) * 2020-03-12 2020-08-07 浙江工业大学 一种基于屋顶轮廓线的三维建筑模型简化方法
CN111739087A (zh) * 2020-06-24 2020-10-02 苏宁云计算有限公司 一种场景蒙版的生成方法和系统
CN112683221A (zh) * 2020-12-21 2021-04-20 深圳集智数字科技有限公司 一种建筑检测方法和相关装置
WO2021189968A1 (zh) * 2020-03-24 2021-09-30 广东博智林机器人有限公司 阴阳角的测量方法、装置、存储介质和处理器
CN114332212A (zh) * 2022-03-11 2022-04-12 中国铁路设计集团有限公司 基于车载移动激光点云的轨道超高和前后高低检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101533529A (zh) * 2009-01-23 2009-09-16 北京建筑工程学院 基于深度图像的三维空间数据处理方法与装置
CN101877128A (zh) * 2009-12-23 2010-11-03 中国科学院自动化研究所 一种三维场景中不同物体的分割方法
CN103106684A (zh) * 2013-01-15 2013-05-15 北京农业信息技术研究中心 一种带叶状态树木形态结构三维重建的方法和系统
CN103955920A (zh) * 2014-04-14 2014-07-30 桂林电子科技大学 基于三维点云分割的双目视觉障碍物检测方法
CN104050715A (zh) * 2014-06-23 2014-09-17 华北电力大学 输电线路及走廊的高精度三维重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101533529A (zh) * 2009-01-23 2009-09-16 北京建筑工程学院 基于深度图像的三维空间数据处理方法与装置
CN101877128A (zh) * 2009-12-23 2010-11-03 中国科学院自动化研究所 一种三维场景中不同物体的分割方法
CN103106684A (zh) * 2013-01-15 2013-05-15 北京农业信息技术研究中心 一种带叶状态树木形态结构三维重建的方法和系统
CN103955920A (zh) * 2014-04-14 2014-07-30 桂林电子科技大学 基于三维点云分割的双目视觉障碍物检测方法
CN104050715A (zh) * 2014-06-23 2014-09-17 华北电力大学 输电线路及走廊的高精度三维重建方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
J. X. ZHANG等: "《SVMS-BASED CLASSIFICATION OF SEGMENTED AIRBORNE LIDAR POINT CLOUDS IN URBAN AREAS》", 《PROCEEDINGS OF THE 4TH GEOBIA》 *
刘倩等: "《基于三维点云模型的特征线提取算法》", 《计算机应用研究》 *
杨娜等: "《面向地面点识别的机载LiDAR点云分割方法研究》", 《测绘工程》 *
王小超等: "《基于局部重建的点云特征点提取》", 《计算机辅助设计与图形学学报》 *
马腾等: "《点云模型的谱聚类分割》", 《计算机辅助设计与图形学学报》 *

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751479A (zh) * 2015-04-20 2015-07-01 中测新图(北京)遥感技术有限责任公司 基于tin数据的建筑物提取方法和装置
CN104951605A (zh) * 2015-06-12 2015-09-30 广东工业大学 一种水火弯板加工现场钢板数据提取方法
US10049492B2 (en) 2015-10-21 2018-08-14 Nokia Technologies Oy Method and apparatus for rendering facades of objects of interest from three-dimensional point clouds
GB2543749A (en) * 2015-10-21 2017-05-03 Nokia Technologies Oy 3D scene rendering
CN105740798A (zh) * 2016-01-27 2016-07-06 西安理工大学 一种基于结构分析的点云场景物体识别方法
CN105740798B (zh) * 2016-01-27 2019-07-23 西安理工大学 一种基于结构分析的点云场景物体识别方法
CN105913489A (zh) * 2016-04-19 2016-08-31 东北大学 一种利用平面特征的室内三维场景重构方法
CN105913489B (zh) * 2016-04-19 2019-04-23 东北大学 一种利用平面特征的室内三维场景重构方法
CN105955275A (zh) * 2016-05-26 2016-09-21 华讯方舟科技有限公司 一种机器人路径规划方法及系统
CN106408650B (zh) * 2016-08-26 2018-12-11 中国人民解放军国防科学技术大学 在轨掠飞成像对空间目标三维重建与测量方法
CN106408650A (zh) * 2016-08-26 2017-02-15 中国人民解放军国防科学技术大学 在轨掠飞成像对空间目标三维重建与测量方法
CN106529029A (zh) * 2016-10-25 2017-03-22 北京煜邦电力技术股份有限公司 输电线路杆塔的点云数据提取方法及装置
CN106529029B (zh) * 2016-10-25 2019-11-12 北京煜邦电力技术股份有限公司 输电线路杆塔的点云数据提取方法及装置
CN107146280A (zh) * 2017-05-09 2017-09-08 西安理工大学 一种基于切分的点云建筑物重建方法
CN107146280B (zh) * 2017-05-09 2020-11-17 西安理工大学 一种基于切分的点云建筑物重建方法
CN108022288A (zh) * 2017-11-30 2018-05-11 西安理工大学 一种面向点云物体的三维素描画模拟方法
CN108022288B (zh) * 2017-11-30 2021-09-10 西安理工大学 一种面向点云物体的三维素描画模拟方法
CN108038906A (zh) * 2017-12-26 2018-05-15 山东师范大学 一种基于图像的三维四边形网格模型重建方法
CN108038906B (zh) * 2017-12-26 2021-04-02 山东师范大学 一种基于图像的三维四边形网格模型重建方法
CN108133516A (zh) * 2018-01-17 2018-06-08 视缘(上海)智能科技有限公司 一种3d城市场景自动重建方法
CN109102535A (zh) * 2018-07-27 2018-12-28 西安理工大学 一种基于构件提取的室内场景重建方法
CN109102535B (zh) * 2018-07-27 2021-11-16 西安理工大学 一种基于构件提取的室内场景重建方法
CN109272547A (zh) * 2018-09-17 2019-01-25 南京阿凡达机器人科技有限公司 一种包裹外接体积测量方法、系统、存储介质及移动终端
CN109636911A (zh) * 2018-11-06 2019-04-16 深圳华侨城文化旅游科技股份有限公司 一种基于体感设备的扫描方法及系统
CN110009744B (zh) * 2019-02-22 2023-07-21 南京航空航天大学 一种视觉映射的点云重建方法及其系统
CN110009744A (zh) * 2019-02-22 2019-07-12 南京航空航天大学 一种视觉映射的点云重建方法及其系统
CN110910387A (zh) * 2019-10-09 2020-03-24 西安理工大学 一种基于显著性分析的点云建筑物立面窗户提取方法
CN110910387B (zh) * 2019-10-09 2022-03-04 西安理工大学 一种基于显著性分析的点云建筑物立面窗户提取方法
CN111179274B (zh) * 2019-12-30 2023-07-14 深圳一清创新科技有限公司 地图地面分割方法、装置、计算机设备和存储介质
CN111179274A (zh) * 2019-12-30 2020-05-19 深圳一清创新科技有限公司 地图地面分割方法、装置、计算机设备和存储介质
CN111508074A (zh) * 2020-03-12 2020-08-07 浙江工业大学 一种基于屋顶轮廓线的三维建筑模型简化方法
CN111508074B (zh) * 2020-03-12 2023-06-27 浙江工业大学 一种基于屋顶轮廓线的三维建筑模型简化方法
WO2021189968A1 (zh) * 2020-03-24 2021-09-30 广东博智林机器人有限公司 阴阳角的测量方法、装置、存储介质和处理器
CN111126023A (zh) * 2020-03-30 2020-05-08 江西博微新技术有限公司 图形处理方法、系统、可读存储介质及计算机设备
CN111739087B (zh) * 2020-06-24 2022-11-18 苏宁云计算有限公司 一种场景蒙版的生成方法和系统
CN111739087A (zh) * 2020-06-24 2020-10-02 苏宁云计算有限公司 一种场景蒙版的生成方法和系统
CN112683221A (zh) * 2020-12-21 2021-04-20 深圳集智数字科技有限公司 一种建筑检测方法和相关装置
CN112683221B (zh) * 2020-12-21 2022-05-17 深圳集智数字科技有限公司 一种建筑检测方法和相关装置
CN114332212B (zh) * 2022-03-11 2022-06-07 中国铁路设计集团有限公司 基于车载移动激光点云的轨道超高和前后高低检测方法
CN114332212A (zh) * 2022-03-11 2022-04-12 中国铁路设计集团有限公司 基于车载移动激光点云的轨道超高和前后高低检测方法

Also Published As

Publication number Publication date
CN104392486B (zh) 2017-07-28

Similar Documents

Publication Publication Date Title
CN104392486B (zh) 一种点云场景重建方法
CN110570428B (zh) 一种从大规模影像密集匹配点云分割建筑物屋顶面片的方法及系统
Lin et al. Semantic decomposition and reconstruction of residential scenes from LiDAR data
Vanegas et al. Building reconstruction using manhattan-world grammars
CN107093205B (zh) 一种基于无人机图像的三维空间建筑物窗户检测重建方法
CN107146280B (zh) 一种基于切分的点云建筑物重建方法
CN102938066B (zh) 一种基于多元数据重建建筑物外轮廓多边形的方法
CN105740798B (zh) 一种基于结构分析的点云场景物体识别方法
CN115564926B (zh) 基于影像建筑物结构学习的三维面片模型构建方法
CN105139379B (zh) 基于分类分层的机载Lidar点云建筑物顶面渐进提取方法
CN102436654B (zh) 建筑点云的自适应分割方法
CN102136155A (zh) 基于三维激光扫描数据的物体立面矢量化方法和系统
CN104700398A (zh) 一种点云场景物体提取方法
CN102308320A (zh) 从图像生成三维模型
Lee et al. Automatic integration of facade textures into 3D building models with a projective geometry based line clustering
CN114004938B (zh) 一种基于海量数据的城市场景重建方法及装置
Chen et al. 3D model-based terrestrial laser scanning (TLS) observation network planning for large-scale building facades
Tian et al. Knowledge-based building reconstruction from terrestrial video sequences
Wang et al. A method for detecting windows from mobile LiDAR data
Yu et al. Unsupervised ground filtering of airborne-based 3D meshes using a robust cloth simulation
Wang et al. Building3d: A urban-scale dataset and benchmarks for learning roof structures from point clouds
Zhao et al. A 3D modeling method for buildings based on LiDAR point cloud and DLG
Thiemann et al. 3D-symbolization using adaptive templates
Lei et al. Automatic identification of street trees with improved RandLA-Net and accurate calculation of shading area with density-based iterative α-shape
Kang et al. Line feature extraction from RGB laser point cloud

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170728

Termination date: 20201125