CN105913488A - 一种基于三维映射表的三维点云快速重建方法 - Google Patents

一种基于三维映射表的三维点云快速重建方法 Download PDF

Info

Publication number
CN105913488A
CN105913488A CN201610235008.5A CN201610235008A CN105913488A CN 105913488 A CN105913488 A CN 105913488A CN 201610235008 A CN201610235008 A CN 201610235008A CN 105913488 A CN105913488 A CN 105913488A
Authority
CN
China
Prior art keywords
xyd
coordinate
mapping table
dimensional
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610235008.5A
Other languages
English (en)
Other versions
CN105913488B (zh
Inventor
宋焕生
孙士杰
张朝阳
刘瑞芝
王璇
陈艳
李怀宇
崔华
张文涛
张向清
李莹
严腾
郑宝峰
张斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN201610235008.5A priority Critical patent/CN105913488B/zh
Publication of CN105913488A publication Critical patent/CN105913488A/zh
Application granted granted Critical
Publication of CN105913488B publication Critical patent/CN105913488B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于三维映射表的三维点云快速重建方法,获取相机的参数矩阵,根据参数矩阵生成三维映射表,通过查询三维映射表得到图像坐标在不同像素值时的世界坐标,从而形成图像的三维点云。本发明的方法可以有效降低三维点云恢复的计算量,仅通过查询三维映射表,即可实现三维点云的恢复,具有高实时性、低计算量的优点。

Description

一种基于三维映射表的三维点云快速重建方法
技术领域
本发明属于相机的三维场景重建领域,具体涉及一种基于三维映射表的三维点云快速重建方法。
背景技术
目前,RGB-D相机逐渐广泛应用到各个领域,如三维重建,图像理解和视频监控领域,RGB-D相机可以获得距离物体的距离,该距离可以以图像的形式被用户获得(这种图像被称为深度图像)。正因为RGB-D相机的特性,在相机标定后,可以利用标定参数直接恢复深度图像的三维信息。传统的对三维信息进行恢复的方法,直接使用相机的标定参数,对深度图像进行三维恢复,这种方法的局限性在于,计算量较大,且无法实时地进行三维场景重建。
发明内容
针对上述现有技术中存在的问题或缺陷,本发明的目的在于,提供一种基于三维映射表的三维点云快速重建方法,该方法能够对三维点云进行实时的恢复。
为了实现上述目的,本发明采用如下技术方案:
一种基于三维映射表的三维点云快速重建方法,包括以下步骤:
步骤一,进行相机标定,得到相机的参数矩阵P;
步骤二,根据参数矩阵P生成三维映射表,三维映射表的(x,y,d)位置上存储的是图像坐标(x,y)在像素值为d时对应的世界坐标(Xxyd,Yxyd,Zxyd);
步骤三,利用相机获取深度视频流,遍历深度视频流中的每帧图像上的图像坐标(x,y)的不同像素值d,图像坐标(x,y)在像素值为d时在三维映射表中对应的位置为(x,y,d),查询三维映射表得到位置(x,y,d)对应的世界坐标(Xxyd,Yxyd,Zxyd),每帧图像上的所有图像坐标(x,y)在不同像素值d时的世界坐标(Xxyd,Yxyd,Zxyd)形成该帧图像的三维点云。
具体地,所述步骤二中根据参数矩阵P生成三维映射表,包括以下步骤:
步骤2.1:定义三维映射表的结构,三维映射表包括坐标轴x、坐标轴y和坐标轴d,其中,坐标轴x是图像坐标(x,y)的横坐标,坐标轴y是图像坐标(x,y)的纵坐标,坐标轴d是图像坐标(x,y)的像素值;
步骤2.2:针对图像坐标系上所有的图像坐标(x,y),分别计算每个图像坐标(x,y)在不同像素值d时对应的世界坐标系上的世界坐标(Xxyd,Yxyd,Zxyd),利用求得的世界坐标(Xxyd,Yxyd,Zxyd)填充三维映射表。
具体地,所述步骤2.2的实现方法包括:
步骤2.2.1:求图像坐标(x,y)对应的射线与世界坐标系中的X-Y平面的夹角θxy
θ x y = arcsin ( H X x y 2 + Y x y 2 + H 2 )
其中,H表示相机在世界坐标系中的架设高度,Xxy和Yxy分别表示图像坐标(x,y)对应的世界坐标的横坐标和纵坐标;
步骤2.2.2:遍历图像坐标(x,y)处的像素值d,d∈[0,255),计算图像坐标(x,y)在像素值为d时对应的世界坐标(Xxyd,Yxyd,Zxyd):
Zxyd=H-kdsinθxy
X x y d Y x y d = p 11 - p 31 x p 12 - p 32 x p 21 - p 31 y p 22 - p 32 y - 1 p 34 x - p 14 + ( p 33 x - p 13 ) Z x y d p 34 y - p 24 + ( p 33 y - p 23 ) Z x y d
其中,pij(1≤i≤3,1≤j≤4)表示参数矩阵P中的元素;k为像素值与实际距离的比值;
步骤2.2.3:选取下一个图像坐标(x,y),重复步骤2.2.1和步骤2.2.2,直至遍历完整幅图片中的所有图像坐标,得到三维映射表。
与现有技术相比,本发明具有以下技术效果:本发明的方法可以有效降低三维点云恢复的计算量,仅通过查询三维映射表,即可实现三维点云的恢复,具有高实时性、低计算量的优点。
下面结合附图和具体实施方式对本发明的方案做进一步详细地解释和说明。
附图说明
图1是选定的N(N≥6)组点;
图2是世界坐标系模型;
图3是N组图像坐标系上的点与对应的空间坐标点;
图4是RGB-D相机采集到的一段深度视频流中的多帧图像(注:深度视频流是从RGB-D采集的深度图序列);
图5是对图4中的深度视频流恢复出的每帧图像的点云;
图6是三维映射表的空间结构图。
具体实施方式
本发明的基于三维映射表的三维点云快速恢复方法,通过相机标定、生成三维映射表和使用三维映射表,将深度图片快速恢复至3D空间中,本发明方法包括以下步骤:
步骤一,进行相机标定,得到相机的参数矩阵P,参数矩阵P为3*4的矩阵,矩阵中每个元素均表示一个相机参数。
步骤1.1:在现实场景中,建立图像坐标系和世界坐标系,将相机固定在世界坐标系中的某个位置上;
步骤1.2:在图像坐标系和世界坐标系上选定N组一一对应的标定点。通过标定支架或者其他标定方法,如线标定、灭点标定和体标定,获得N组(N≥6)图像坐标系上的点和与之对应的世界坐标系上的点,如图1和图2所示,其中,(x,y)是图像坐标系上的点,即图像坐标,(X,Y,Z)是与(x,y)对应的世界坐标系上的点,即世界坐标,如:
步骤1.3,根据选择的标定点计算相机参数矩阵P,计算公式如下:
P = p 11 p 12 p 13 p 14 p 21 p 22 p 23 p 24 p 31 p 32 p 33 p 34 = ( V T V ) - 1 V T u - - - ( 1 )
其中
V = X 1 Y 1 Z 1 1 X 2 Y 2 Z 2 1 . . . . . . . . . . . . X N Y N Z N 1
u = x 1 y 1 1 x 2 y 2 1 . . . . . . . . . x N y N 1
其中,参数矩阵P中的每一个元素均表示一个相机的参数。
步骤二,根据参数矩阵P生成三维映射表。包括以下步骤:
步骤2.1:定义三维映射表的结构,如图6所示。
其中,H、W分别对应三维映射表空间中图像的行数和列数,D是相机的最远检测距离。x是图像的横坐标,坐标轴x为三维映射表第一维;y为图像的纵坐标,坐标轴y为三维映射表第二维;d是(x,y)处的像素值,坐标轴d为三维映射表第三维。三维映射表(x,y,d)位置存储的是图像坐标(x,y)像素值为d时对应的世界坐标(Xxyd,Yxyd,Zxyd)。
步骤2.2:针对图像坐标系上所有的图像坐标(x,y),分别计算每个图像坐标(x,y)在不同像素值d时对应的世界坐标系上的世界坐标(Xxyd,Yxyd,Zxyd),利用求得的世界坐标(Xxyd,Yxyd,Zxyd)填充三维映射表;包括以下步骤:
步骤2.2.1:求图像坐标(x,y)对应的射线与世界坐标系中的X-Y平面的夹角θxy
给定图像坐标(x,y),其对应的射线不随当前图像坐标(x,y)的像素值d的变化而变化,即该射线与X-Y平面的夹角θxy不随像素值d的变化而变化。
设图像坐标(x,y)对应的世界坐标系中的Zxy=0,那么,根据相机的参数矩阵P,可得图像坐标(x,y)对应的世界坐标(Xxy,Yxy,0),即:
X x y Y x y = p 11 - p 31 x p 12 - p 32 x p 21 - p 31 y p 22 - p 32 y - 1 p 34 x - p 14 + ( p 33 x - p 13 ) Z x y p 34 y - p 24 + ( p 33 y - p 23 ) Z x y = p 11 - p 31 x p 12 - p 32 x p 21 - p 31 y p 22 - p 32 y - 1 p 34 x - p 14 p 34 y - p 24 - - - ( 2 )
相机的世界坐标为(0,0,H),根据勾股定理可得:
sinθ x y = H X x y 2 + Y x y 2 + H 2 - - - ( 3 )
得:
θ x y = arcsin ( H X x y 2 + Y x y 2 + H 2 ) - - - ( 4 )
步骤2.2.2:遍历图像坐标(x,y)处的像素值d,d∈[0,255),计算图像坐标(x,y)在像素值为d时对应的世界坐标(Xxyd,Yxyd,Zxyd)。即:
Zxyd=H-kdsinθxy
X x y d Y x y d = p 11 - p 31 x p 12 - p 32 x p 21 - p 31 y p 22 - p 32 y - 1 p 34 x - p 14 + ( p 33 x - p 13 ) Z x y d p 34 y - p 24 + ( p 33 y - p 23 ) Z x y d - - - ( 5 )
其中,k为像素值与实际距离的比值;
将求出的图像坐标(x,y)在不同像素值d时的(Xxyd,Yxyd,Zxyd)保存到三维映射表的(x,y,d)位置。
步骤2.2.3:选取下一个图像坐标(x,y),重复步骤2.2.1和步骤2.2.2,直至遍历完整幅图片中的所有图像坐标,得到三维映射表,将三维映射表保存至磁盘。
步骤三,加载在步骤二中储存的三维映射表,利用相机获取深度视频流,深度视频流是从RGB-D相机采集的深度图序列,遍历深度视频流中每帧图像上图像坐标(x,y)的像素值d,图像坐标(x,y)在像素值为d时在三维映射表中对应的位置为(x,y,d),查询三维映射表得到位置(x,y,d)对应的世界坐标(Xxyd,Yxyd,Zxyd),遍历完成后,每帧图像上的所有图像坐标(x,y)在不同像素值d时的世界坐标(Xxyd,Yxyd,Zxyd)形成该帧图像的三维点云。
本发明的方法可以有效降低三维点云恢复的计算量,参见步骤三,仅通过查询三维映射表,即可实现三维点云的恢复,具有高实时性、低计算量的优点。
实施例
在实施例处理过程中,采样频率为25帧/秒,帧图像的大小为320×240,图4是从RGB-D相机采集的深度视频流的一段,采用本发明的方法对深度图进行点云恢复。
步骤一,建立世界坐标系,如图2,选定相机正下方的地面为世界坐标系的原点,X-Y平面平行于地面;使用标定支架,获取6组图像坐标系上的点与其对应的世界坐标系上的点,如图3;计算相机的参数矩阵P。
步骤二,根据参数矩阵P生成三维映射表。生成结构为Sheet[240][320][200][3]的三维映射表,其流程伪代码如下:
将生成的Sheet[240][320][200][3]保存至磁盘。
步骤三,加载磁盘上的三维映射表,从RGB-D相机获取深度视频流,利用三维映射表,直接将深度视频流中的每帧图像上的图像坐标(x,y,d)映射到世界坐标(X,Y,Z),其伪代码流程如下:
使用OpenGL绘制出每幅图像的点云,如图5,在三维坐标系内,灰色的点是恢复的三维点云。

Claims (3)

1.一种基于三维映射表的三维点云快速重建方法,其特征在于,包括以下步骤:
步骤一,进行相机标定,得到相机的参数矩阵P;
步骤二,根据参数矩阵P生成三维映射表,三维映射表的(x,y,d)位置上存储的是图像坐标(x,y)在像素值为d时对应的世界坐标(Xxyd,Yxyd,Zxyd);
步骤三,利用相机获取深度视频流,遍历深度视频流中的每帧图像上的图像坐标(x,y)的不同像素值d,图像坐标(x,y)在像素值为d时在三维映射表中对应的位置为(x,y,d),查询三维映射表得到位置(x,y,d)对应的世界坐标(Xxyd,Yxyd,Zxyd),每帧图像上的所有图像坐标(x,y)在不同像素值d时的世界坐标(Xxyd,Yxyd,Zxyd)形成该帧图像的三维点云。
2.如权利要求1所述的基于三维映射表的三维点云快速重建方法,其特征在于,所述步骤二中根据参数矩阵P生成三维映射表,包括以下步骤:
步骤2.1:定义三维映射表的结构,三维映射表包括坐标轴x、坐标轴y和坐标轴d,其中,坐标轴x是图像坐标(x,y)的横坐标,坐标轴y是图像坐标(x,y)的纵坐标,坐标轴d是图像坐标(x,y)的像素值;
步骤2.2:针对图像坐标系上所有的图像坐标(x,y),分别计算每个图像坐标(x,y)在不同像素值d时对应的世界坐标系上的世界坐标(Xxyd,Yxyd,Zxyd),利用求得的世界坐标(Xxyd,Yxyd,Zxyd)填充三维映射表。
3.如权利要求2所述的基于三维映射表的三维点云快速重建方法,其特征在于,所述步骤2.2的实现方法包括:
步骤2.2.1:求图像坐标(x,y)对应的射线与世界坐标系中的X-Y平面的夹角θxy
θ xy = arcsin ( H X xy 2 + Y xy 2 + H 2 )
其中,H表示相机在世界坐标系中的架设高度,Xxy和Yxy分别表示图像坐标(x,y)对应的世界坐标的横坐标和纵坐标;
步骤2.2.2:遍历图像坐标(x,y)处的像素值d,d∈[0,255),计算图像坐标(x,y)在像素值为d时对应的世界坐标(Xxyd,Yxyd,Zxyd):
Zxyd=H-kdsinθxy
X x y d Y x y d = p 11 - p 31 x p 12 - p 32 x p 21 - p 31 y p 22 - p 32 y - 1 p 34 x - p 14 + ( p 33 x - p 13 ) Z x y d p 34 y - p 24 + ( p 33 y - p 23 ) Z x y d
其中,pij(1≤i≤3,1≤j≤4)表示参数矩阵P中的元素;k为像素值与实际距离的比值;
步骤2.2.3:选取下一个图像坐标(x,y),重复步骤2.2.1和步骤2.2.2,直至遍历完整幅图片中的所有图像坐标,得到三维映射表。
CN201610235008.5A 2016-04-15 2016-04-15 一种基于三维映射表的三维点云快速重建方法 Expired - Fee Related CN105913488B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610235008.5A CN105913488B (zh) 2016-04-15 2016-04-15 一种基于三维映射表的三维点云快速重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610235008.5A CN105913488B (zh) 2016-04-15 2016-04-15 一种基于三维映射表的三维点云快速重建方法

Publications (2)

Publication Number Publication Date
CN105913488A true CN105913488A (zh) 2016-08-31
CN105913488B CN105913488B (zh) 2018-08-07

Family

ID=56746185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610235008.5A Expired - Fee Related CN105913488B (zh) 2016-04-15 2016-04-15 一种基于三维映射表的三维点云快速重建方法

Country Status (1)

Country Link
CN (1) CN105913488B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780576A (zh) * 2016-11-23 2017-05-31 北京航空航天大学 一种面向rgbd数据流的相机位姿估计方法
CN108986161A (zh) * 2018-06-19 2018-12-11 亮风台(上海)信息科技有限公司 一种三维空间坐标估计方法、装置、终端和存储介质
CN109657638A (zh) * 2018-12-28 2019-04-19 百度在线网络技术(北京)有限公司 障碍物定位方法、装置和终端
WO2020015517A1 (en) * 2018-07-18 2020-01-23 Huawei Technologies Co., Ltd. Point cloud encoding method, point cloud decoding method, encoder and decoder
CN112101209A (zh) * 2020-09-15 2020-12-18 北京百度网讯科技有限公司 用于路侧计算设备的确定世界坐标点云的方法和装置
CN113034684A (zh) * 2021-05-24 2021-06-25 浙江华睿科技有限公司 三维重建方法、电子设备及计算机可读存储介质
CN114802261A (zh) * 2022-04-21 2022-07-29 合众新能源汽车有限公司 泊车控制方法、障碍物识别模型训练方法、装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100092026A1 (en) * 2008-10-14 2010-04-15 Lixin Fan Method, apparatus and computer program product for providing pattern detection with unknown noise levels
CN103281507A (zh) * 2013-05-06 2013-09-04 上海大学 基于真三维显示的可视电话系统及方法
CN103559791A (zh) * 2013-10-31 2014-02-05 北京联合大学 一种融合雷达和ccd摄像机信号的车辆检测方法
CN103578133A (zh) * 2012-08-03 2014-02-12 浙江大华技术股份有限公司 一种将二维图像信息进行三维重建的方法和设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100092026A1 (en) * 2008-10-14 2010-04-15 Lixin Fan Method, apparatus and computer program product for providing pattern detection with unknown noise levels
CN103578133A (zh) * 2012-08-03 2014-02-12 浙江大华技术股份有限公司 一种将二维图像信息进行三维重建的方法和设备
CN103281507A (zh) * 2013-05-06 2013-09-04 上海大学 基于真三维显示的可视电话系统及方法
CN103559791A (zh) * 2013-10-31 2014-02-05 北京联合大学 一种融合雷达和ccd摄像机信号的车辆检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张平: "基于SFM和CMVS/PMVS的建筑物点云重构方法研究", 《苏州科技学院学报(自然科学版)》 *
徐德 等: "基于运动的手眼系统结构光参数标定", 《仪器仪表学报》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780576B (zh) * 2016-11-23 2020-03-17 北京航空航天大学 一种面向rgbd数据流的相机位姿估计方法
CN106780576A (zh) * 2016-11-23 2017-05-31 北京航空航天大学 一种面向rgbd数据流的相机位姿估计方法
CN108986161A (zh) * 2018-06-19 2018-12-11 亮风台(上海)信息科技有限公司 一种三维空间坐标估计方法、装置、终端和存储介质
CN108986161B (zh) * 2018-06-19 2020-11-10 亮风台(上海)信息科技有限公司 一种三维空间坐标估计方法、装置、终端和存储介质
WO2020015517A1 (en) * 2018-07-18 2020-01-23 Huawei Technologies Co., Ltd. Point cloud encoding method, point cloud decoding method, encoder and decoder
CN109657638B (zh) * 2018-12-28 2021-04-27 百度在线网络技术(北京)有限公司 障碍物定位方法、装置和终端
CN109657638A (zh) * 2018-12-28 2019-04-19 百度在线网络技术(北京)有限公司 障碍物定位方法、装置和终端
CN112101209A (zh) * 2020-09-15 2020-12-18 北京百度网讯科技有限公司 用于路侧计算设备的确定世界坐标点云的方法和装置
CN112101209B (zh) * 2020-09-15 2024-04-09 阿波罗智联(北京)科技有限公司 用于路侧计算设备的确定世界坐标点云的方法和装置
CN113034684A (zh) * 2021-05-24 2021-06-25 浙江华睿科技有限公司 三维重建方法、电子设备及计算机可读存储介质
CN113034684B (zh) * 2021-05-24 2021-09-17 浙江华睿科技股份有限公司 三维重建方法、电子设备及计算机可读存储介质
CN114802261A (zh) * 2022-04-21 2022-07-29 合众新能源汽车有限公司 泊车控制方法、障碍物识别模型训练方法、装置
CN114802261B (zh) * 2022-04-21 2024-04-19 合众新能源汽车股份有限公司 泊车控制方法、障碍物识别模型训练方法、装置

Also Published As

Publication number Publication date
CN105913488B (zh) 2018-08-07

Similar Documents

Publication Publication Date Title
CN105913488A (zh) 一种基于三维映射表的三维点云快速重建方法
CN109242855B (zh) 基于多分辨率三维统计信息的屋顶分割方法、系统及设备
CN103810685B (zh) 一种深度图的超分辨率处理方法
CN103345630B (zh) 一种基于球面全景视频的交通标志定位方法
CN104820991B (zh) 一种基于代价矩阵的多重软约束立体匹配方法
CN103489214A (zh) 增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法
CN106875331B (zh) 一种全景图像的非对称映射方法
CN107862733B (zh) 基于视线更新算法的大规模场景实时三维重建方法和系统
CN104760812B (zh) 基于单目视觉的传送带上产品实时定位系统和方法
CN112651881B (zh) 图像合成方法、装置、设备、存储介质以及程序产品
CN103852060A (zh) 一种基于单目视觉的可见光图像测距方法
CN107977996A (zh) 基于靶标标定定位模型的空间目标定位方法
CN103985154A (zh) 一种基于全局线性方法的三维模型重建方法
CN106780337B (zh) 基于二维图像的无人机着舰视景模拟方法
CN107292956A (zh) 一种基于曼哈顿假设的场景重建方法
CN112288667A (zh) 一种基于激光雷达与摄像头融合的三维目标检测方法
CN103345765B (zh) 基于dsp+fpga的移动平台下运动目标检测装置及其方法
CN106033614A (zh) 一种强视差下的移动相机运动目标检测方法
CN106683163A (zh) 一种视频监控的成像方法及系统
CN105739106A (zh) 一种体感多视点大尺寸光场真三维显示装置及方法
CN107958489B (zh) 一种曲面重建方法及装置
DE102020100230A1 (de) Rekonstruktion von landmarkenpositionen in autonomen maschinenanwendungen
Mejia et al. Vehicle speed estimation using computer vision and evolutionary camera calibration
CN103260008B (zh) 一种影像位置到实际位置的射影转换方法
CN112446915A (zh) 一种基于图像组的建图方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Song Huansheng

Inventor after: Zhang Wentao

Inventor after: Zhang Xiangqing

Inventor after: Li Ying

Inventor after: Yan Teng

Inventor after: Zheng Baofeng

Inventor after: Zhang Bin

Inventor after: Sun Shijie

Inventor after: He Zhili

Inventor after: Zhang Chaoyang

Inventor after: Liu Ruizhi

Inventor after: Wang Xuan

Inventor after: Chen Yan

Inventor after: Li Huaiyu

Inventor after: Cui Hua

Inventor before: Song Huansheng

Inventor before: Zhang Xiangqing

Inventor before: Li Ying

Inventor before: Yan Teng

Inventor before: Zheng Baofeng

Inventor before: Zhang Bin

Inventor before: Sun Shijie

Inventor before: Zhang Chaoyang

Inventor before: Liu Ruizhi

Inventor before: Wang Xuan

Inventor before: Chen Yan

Inventor before: Li Huaiyu

Inventor before: Cui Hua

Inventor before: Zhang Wentao

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180807

CF01 Termination of patent right due to non-payment of annual fee