CN113793369A - 一种复杂自由曲面迭代双向法线投影配准方法 - Google Patents
一种复杂自由曲面迭代双向法线投影配准方法 Download PDFInfo
- Publication number
- CN113793369A CN113793369A CN202111158988.0A CN202111158988A CN113793369A CN 113793369 A CN113793369 A CN 113793369A CN 202111158988 A CN202111158988 A CN 202111158988A CN 113793369 A CN113793369 A CN 113793369A
- Authority
- CN
- China
- Prior art keywords
- point
- registration
- normal
- projection
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000002457 bidirectional effect Effects 0.000 title claims abstract description 19
- 230000008030 elimination Effects 0.000 claims abstract description 11
- 238000003379 elimination reaction Methods 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000013501 data transformation Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 26
- 238000009616 inductively coupled plasma Methods 0.000 description 13
- 238000005259 measurement Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
Abstract
本发明属于复杂自由曲面点云数据配准技术领域,在三维高精度自动配准领域中,已有的改进算法在一定程度、一定条件下拓宽原始ICP算法的性能,但初始位置对算法收敛的影响、对应关系的搜索及计算仍是该类算法的瓶颈问题;本发明提供一种复杂自由曲面迭代双向法线投影配准方法,在粗配准环节基于数据自身的固有几何特征给出不同的粗配准实现算法。精确配准方法建立在经典的ICP算法框架之上,针对对应关系的建立、伪对应点对的剔除,对ICP算法进行改进,本发明能够更大程度利用隐含的特征信息,配准精度高,且所提供的粗配准方法能够满足不同情况下对初值的需求。
Description
技术领域
本发明属于复杂自由曲面点云数据配准技术领域,具体涉及一种复杂自由曲面迭代双向法线投影配准方法。
背景技术
多年来,配准技术是一个研究热点,在计算机视觉、数字图像处理、模式识别、逆向工程等领域,配准均是一个基础且关键的环节。在复杂曲面的测量检测中,复杂自由曲面测量难度大,在数据的获取过程中,很难用一种传感器在被测物的同一位姿获取全部的所需数据。不同位姿、视角下的测量数据之间需要配准,不同传感器所获得数据还需要考虑数据融合的问题。配准的目的是实现不同坐标系之间的统一。复杂曲面的测量检中,各测量坐标系以及设计坐标系之间的统一,是保证误差评估有效性的基础与前提。它是一个高精度的自动配准问题。ICP算法自提出以来,由于其出色的性能,渐渐成为高精度的自动配准领域应用范围最广的方法。但是从理论上讲,ICP算法收敛于平方距离尺度意义下的局部最小值,该算法对初始位置要求较高,只有提供靠近全局极小值的初值,才能确保收敛方向,获得曲面配准的全局最优解。原始的ICP算法对两组点云的包含关系的约束要求强,即该算法要求两个点云中,一个点云的全部或大比重部分是另一个点云的子集,否则将影响最终的收敛结果,甚至产生错误匹配。此外,ICP算法是计算密集型方法,实际应用中需要考虑计算上的开销,而且该方法的目标函数建立在所有数据点误差的平方项之上,配准过程中会放大了局部误差所占的比重。ICP算法的优点突出,缺点明了,目前来看,在三维高精度自动配准领域中,ICP算法及其相关变体方法占据主流地位。但是已有的改进算法可以在一定程度、一定条件下拓宽原始ICP算法的性能,初始位置对算法收敛情况的影响、对应关系的搜索及计算仍是该类算法的瓶颈问题。
发明内容
本发明克服现有技术存在的不足,所要解决的技术问题为:提供一种复杂自由曲面迭代双向法线投影配准方法,针对对应关系的建立、伪对应点对的剔除,对ICP算法进行改进,本发明所提供的粗配准方法能够满足不同情况下对初值的需求。
为实现上述目的,本发明提供了如下技术方案:
一种复杂自由曲面迭代双向法线投影配准方法,包括以下步骤:
步骤1:点集P1和点集P2的粗配准:计算点集P1和点集P2中每个数据点的曲率信息Cur(Qi)和法向夹角信息ang(Qi);生成点集P1和点集P2中每个数据点的包含曲率信息、法向夹角信息的特征描述符fea(Qi);根据特征描述符fea(Qi),筛选点集P1和点集P2中参与配准的数据点Q′和数据点M′,根据曲率及法线夹角确定两个平面上的对应点对,根据四元数法,计算变换矩阵;
步骤2:点集P1和点集P2的精配准:根据双向法矢投射方法建立预选对应点,正向投射的结果为逆向投射的结果为{(M′i k,Q′i k),i=0,1,...,hk};对进行伪对应剔除,保留满足条件的正向对应对进行伪对应剔除;如果数据是分块处理的,依次对每块数据进行伪对应剔除;得到对应点集Qk和Mk,所包含的对应点对的个数为Nk;根据奇异值分解法计算旋转矩阵Rk、平移向量tk;进行数据变换:Qk+1=RkQk+tk;计算误差量:如果dk+1≤δ,配准完成;如果dk+1>δ,dk-dk+1>ε,且未达到最大迭代次数kmax,重新开始建立预选对应点进行计算,δ为给定的对应点平均误差的阈值,ε为相邻两次迭代中误差量的改变量;否则,终止迭代。
进一步,步骤1中,任意一点Qi的内蕴特征描述符其中,为曲率对应的系数;通过计算Qi与所有邻域点的法矢量夹角,其中Qj是Qi的一个邻域点,Qj和Qi之间的法矢夹角记为Qi、Qj处的法矢量为ni、nj,得到Qi的法向夹角信息Qj∈nbhd(Qi),nbhd(Qi)为Qi的k个邻近点。
进一步,步骤1中,对于点集P1中的任意一点Qi,如果fea(Qi)>κ,则Qi为点集P1中参与配准的数据点集Q′中一点,同理选择点集P2中参与配准的数据点集M′,κ为设定阈值;如果Q′i与M′j满足则Q′i与M′j为点集P1和点集P2的对应点对,κcurv为设定的曲率阈值,κang为设定的法向夹角阈值。
进一步,步骤2中,根据双向法矢投射方法建立预选对应点的方法为:将经过点集P1和点集P2的NURBS拟合曲面分片,令S1(u,v)、S2(u,v)是两个NURBS拟合曲面上一组对应的NURBS曲面片,分别求解两个点集的曲面片在数据点(ui,vi)处的单位法矢量为:Su(ui,vi)和Sv(ui,vi)分别为NURBS曲面在u向和v向两个方向的切线;计算曲面S1(u,v)在数据点{Q1,Q2,...,Qh}处的法矢量nA与曲面S2(u,v)的交点B,点B即为点A在曲面S2(u,v)上的预选对应点;在S2(u,v)上选定点B的邻近区域,从中随机抽选点B′,按上述方法计算曲面S2(u,v)在B′处的法矢量与曲面S1(u,v)的交点A′;完成从点B′到曲面S1(u,v)上的反向投射,点B′、A′则为反向投影确定的一对预选对应点;对于S1(u,v)上的h个点{Q1,Q2,...,Qh},依次进行上述的双向法向投射,正向投射建立的预选对应点对为{(Qi,Mi),i=1,2,...,h},逆向投射建立的预选对应关系为{(M′i,Q′i),i=1,2,...,h}。
进一步,步骤2中,删除伪对应点对的方法为:对于任意一组双向投射结果(Qi,Mi)与(M′i,Q′i):在曲面S1(u,v)上,点Qi、Q′i之间的距离为dist(Qi-Q′i);在曲面S2(u,v)上,点Mi、M′i之间的距离为dist(Mi-M′i),如果任意一组双向投射结果(Qi,Mi)与(M′i,Q′i),满足约束|dist(Qi-Q′i)-dist(Mi-M′i)|≤η,η为设定的阈值,则(Qi,Mi)与(M′i,Q′i)所包含的特征信息类似,对后续的配准贡献相同,保留正对应(Qi,Mi)进行后续计算,剔除伪对应点对(M′i,Q′i)。
本发明与现有技术相比具有以下有益效果:
1、基于几何固有特征的粗配准方法,对两组数据的初始位置没有要求,且对重叠区域的约束不严格,具有很好的通用性。另外,本发明提出的基于包含曲率信息、角度信息的描述符初始筛选能够对数据进行有效删减,并且很好地保留几何特征明显的点,从而降低对应关系建立的计算量。
2、本发明通过对测量点云数据和设计点云数据分别进行曲面拟合,采用双向法线投影的方法确定两个曲面的预选对应点对,利用曲面连续性约束、距离约束和曲率约束对伪对应关系进行剔除,根据获得的对应点对计算坐标变换关系。该方法相较以往配准算法的优越之处在于能够在原始数据不包含对应关系的情况下,实现测量数据和设计数据的精确自动配准。
附图说明
图1基于双向法向投影的ICP改进算法的主要流程。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例;基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明公开了一种复杂自由曲面迭代双向法线投影配准方法,包括以下步骤:
步骤1:点集P1和点集P2的粗配准:计算点集P1和点集P2中每个数据点的曲率信息Cur(Qi)和法向夹角信息ang(Qi);生成点集P1和点集P2中每个数据点的包含曲率信息、法向夹角信息的特征描述符fea(Qi);根据特征描述符fea(Qi),筛选点集P1和点集P2中参与配准的数据点Q′和数据点M′,根据曲率及法线夹角确定两个平面上的对应点对,根据四元数法,计算变换矩阵;任意一点Qi的内蕴特征描述符其中,为曲率对应的系数;设Qj是Qi的一个邻域点,它们之间的法矢夹角记为Qi、Qj处的法矢量为ni、nj,则,计算Qi与所有邻域点的法矢量夹角,得到Qi的法向夹角信息Qj∈nbhd(Qi),nbhd(Qi)为Qi的k个邻近点。
对于点集P1中的任意一点Qi,如果fea(Qi)>κ,则Qi为点集P1中参与配准的数据点集Q′中一点,同理选择点集P2中参与配准的数据点集M′,κ为设定阈值;如果Q′i与M′j满足则Q′i与M′j为点集P1和点集P2的对应点对,κcurv为设定的曲率阈值,κang为设定的法向夹角阈值。
步骤2:点集P1和点集P2的精配准:根据双向法矢投射方法建立预选对应点,根据双向法矢投射方法建立预选对应点的方法为:将经过点集P1和点集P2的NURBS拟合曲面分片,令S1(u,v)、S2(u,v)是两个NURBS拟合曲面上一组对应的NURBS曲面片,分别求解两个点集的曲面片在数据点(ui,vi)处的单位法矢量为:Su(ui,vi)和Sv(ui,vi)分别为NURBS曲面在u向和v向两个方向的切线;计算曲面S1(u,v)在数据点{Q1,Q2,...,Qh}处的法矢量nA与曲面S2(u,v)的交点B,点B即为点A在曲面S2(u,v)上的预选对应点;在S2(u,v)上选定点B的邻近区域,从中随机抽选点B′,按上述方法计算曲面S2(u,v)在B′处的法矢量与曲面S1(u,v)的交点A′;完成从点B′到曲面S1(u,v)上的反向投射,点B′、A′则为反向投影确定的一对预选对应点;对于S1(u,v)上的h个点{Q1,Q2,...,Qh},依次进行上述的双向法向投射,正向投射建立的预选对应点对为{(Qi,Mi),i=1,2,...,h},逆向投射建立的预选对应关系为{(M′i,Q′i),i=1,2,...,h},正向投射的结果为逆向投射的结果为{(M′i k,Q′i k),i=0,1,...,hk};对进行伪对应剔除,保留满足条件的正向对应对进行伪对应剔除,删除伪对应点对的方法为:对于任意一组双向投射结果(Qi,Mi)与(M′i,Q′i):在曲面S1(u,v)上,点Qi、Q′i之间的距离为dist(Qi-Q′i);在曲面S2(u,v)上,点Mi、M′i之间的距离为dist(Mi-M′i),如果任意一组双向投射结果(Qi,Mi)与(M′i,Q′i),满足约束|dist(Qi-Q′i)-dist(Mi-M′i)|≤η,η为设定的阈值,则(Qi,Mi)与(M′i,Q′i)所包含的特征信息类似,对后续的配准贡献相同,保留正对应(Qi,Mi)进行后续计算,剔除伪对应点对(M′i,Q′i);如果数据是分块处理的,依次对每块数据进行伪对应剔除;得到对应点集Qk和Mk,所包含的对应点对的个数为Nk;根据奇异值分解法计算旋转矩阵Rk、平移向量tk;进行数据变换:Qk+1=RkQk+tk;计算误差量:如果dk+1≤δ,配准完成;如果dk+1>δ,δ为给定的对应点平均误差的阈值,dk-dk+1>ε,ε为相邻两次迭代中误差量的改变量,且未达到最大迭代次数kmax,重新开始建立预选对应点进行计算;否则,终止迭代。
为了保证复杂曲面检测的精度、自动化程度及普适性,本发明提出一种高精度自动配准方法。配准过程秉承经典的由粗到精思想,在粗配准环节基于数据自身的固有几何特征给出不同的粗配准实现算法。精确配准方法建立在经典的ICP算法框架之上,针对对应关系的建立、伪对应点对的剔除,对ICP算法进行改进。配准过程中,采用曲面的拟合技术将数据点之间的配准转化为“拟合面片”之间的配准,更大程度利用隐含的特征信息,配准精度高,且所提供的粗配准方法能够满足不同情况下对初值的需求。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (5)
1.一种复杂自由曲面迭代双向法线投影配准方法,其特征在于,包括以下步骤:
步骤1:点集P1和点集P2的粗配准:计算点集P1和点集P2中每个数据点的曲率信息Cur(Qi)和法向夹角信息ang(Qi);生成点集P1和点集P2中每个数据点的包含曲率信息、法向夹角信息的特征描述符fea(Qi);根据特征描述符fea(Qi),筛选点集P1和点集P2中参与配准的数据点Q′和数据点M′,根据曲率及法线夹角确定两个平面上的对应点对,根据四元数法,计算变换矩阵;
4.根据权利要求1所述的一种复杂自由曲面迭代双向法线投影配准方法,其特征在于,所述步骤2中,根据双向法矢投射方法建立预选对应点的方法为:将经过点集P1和点集P2的NURBS拟合曲面分片,令S1(u,v)、S2(u,v)是两个NURBS拟合曲面上一组对应的NURBS曲面片,分别求解两个点集的曲面片在数据点(ui,vi)处的单位法矢量为:Su(ui,vi)和Sv(ui,vi)分别为NURBS曲面在u向和v向两个方向的切线;计算曲面S1(u,v)在数据点{Q1,Q2,...,Qh}处的法矢量nA与曲面S2(u,v)的交点B,点B即为点A在曲面S2(u,v)上的预选对应点;在S2(u,v)上选定点B的邻近区域,从中随机抽选点B′,按上述方法计算曲面S2(u,v)在B′处的法矢量与曲面S1(u,v)的交点A′;完成从点B′到曲面S1(u,v)上的反向投射,点B′、A′则为反向投影确定的一对预选对应点;
对于S1(u,v)上的h个点{Q1,Q2,...,Qh},依次进行上述的双向法向投射,正向投射建立的预选对应点对为{(Qi,Mi),i=1,2,...,h},逆向投射建立的预选对应关系为{(M′i,Q′i),i=1,2,...,h}。
5.根据权利要求1所述的一种复杂自由曲面迭代双向法线投影配准方法,其特征在于,所述步骤2中,删除伪对应点对的方法为:对于任意一组双向投射结果(Qi,Mi)与(M′i,Q′i):在曲面S1(u,v)上,点Qi、Q′i之间的距离为dist(Qi-Q′i);在曲面S2(u,v)上,点Mi、M′i之间的距离为dist(Mi-M′i),如果任意一组双向投射结果(Qi,Mi)与(M′i,Q′i),满足约束|dist(Qi-Q′i)-dist(Mi-M′i)|≤η,η为设定的阈值,则(Qi,Mi)与(M′i,Q′i)所包含的特征信息类似,对后续的配准贡献相同,保留正对应(Qi,Mi)进行后续计算,剔除伪对应点对(M′i,Q′i)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111158988.0A CN113793369B (zh) | 2021-09-30 | 2021-09-30 | 一种复杂自由曲面迭代双向法线投影配准方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111158988.0A CN113793369B (zh) | 2021-09-30 | 2021-09-30 | 一种复杂自由曲面迭代双向法线投影配准方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113793369A true CN113793369A (zh) | 2021-12-14 |
CN113793369B CN113793369B (zh) | 2024-03-15 |
Family
ID=78877601
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111158988.0A Active CN113793369B (zh) | 2021-09-30 | 2021-09-30 | 一种复杂自由曲面迭代双向法线投影配准方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113793369B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109272537A (zh) * | 2018-08-16 | 2019-01-25 | 清华大学 | 一种基于结构光的全景点云配准方法 |
CN109685841A (zh) * | 2019-01-03 | 2019-04-26 | 上海狮迈科技有限公司 | 三维模型与点云的配准方法及系统 |
CN111563920A (zh) * | 2020-04-15 | 2020-08-21 | 西安工程大学 | 一种全局优化与多约束条件迭代的3d彩色点云配准方法 |
CN111986219A (zh) * | 2020-08-10 | 2020-11-24 | 中国科学院光电技术研究所 | 一种三维点云与自由曲面模型的匹配方法 |
US20200388044A1 (en) * | 2019-06-06 | 2020-12-10 | Zhejiang University | Plant point cloud acquisition, registration and optimization method based on tof camera |
CN113327275A (zh) * | 2021-06-18 | 2021-08-31 | 哈尔滨工业大学 | 一种基于多约束点到局部曲面投影的点云双视角精配准方法 |
-
2021
- 2021-09-30 CN CN202111158988.0A patent/CN113793369B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109272537A (zh) * | 2018-08-16 | 2019-01-25 | 清华大学 | 一种基于结构光的全景点云配准方法 |
CN109685841A (zh) * | 2019-01-03 | 2019-04-26 | 上海狮迈科技有限公司 | 三维模型与点云的配准方法及系统 |
US20200388044A1 (en) * | 2019-06-06 | 2020-12-10 | Zhejiang University | Plant point cloud acquisition, registration and optimization method based on tof camera |
CN111563920A (zh) * | 2020-04-15 | 2020-08-21 | 西安工程大学 | 一种全局优化与多约束条件迭代的3d彩色点云配准方法 |
CN111986219A (zh) * | 2020-08-10 | 2020-11-24 | 中国科学院光电技术研究所 | 一种三维点云与自由曲面模型的匹配方法 |
CN113327275A (zh) * | 2021-06-18 | 2021-08-31 | 哈尔滨工业大学 | 一种基于多约束点到局部曲面投影的点云双视角精配准方法 |
Non-Patent Citations (1)
Title |
---|
卢章平;郑航;沙春发;李明珠;: "基于自由曲面的点云配准算法", 江苏大学学报(自然科学版), no. 03 * |
Also Published As
Publication number | Publication date |
---|---|
CN113793369B (zh) | 2024-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ellis et al. | Ellipse detection and matching with uncertainty | |
Xie et al. | Surface reconstruction of noisy and defective data sets | |
CN111986115A (zh) | 激光点云噪声和冗余数据的精准剔除方法 | |
CN106372642B (zh) | 基于轮廓曲线分割弧合并与组合的椭圆快速检测方法 | |
Lachaud et al. | Fast, accurate and convergent tangent estimation on digital contours | |
CN108225319B (zh) | 基于目标特征的单目视觉快速相对位姿估计系统及方法 | |
CN108830888B (zh) | 基于改进的多尺度协方差矩阵特征描述子的粗匹配方法 | |
CN109147040B (zh) | 基于模板的人体点云孔洞修补方法 | |
Cao et al. | Geometric structure estimation of axially symmetric pots from small fragments | |
CN108550166B (zh) | 一种空间目标图像匹配方法 | |
CN112163622B (zh) | 全局与局部融合约束的航空宽基线立体像对线段匹配方法 | |
CN110176060B (zh) | 基于多尺度几何一致性引导的稠密三维重建方法和系统 | |
CN109886124A (zh) | 一种基于线束描述子图像匹配的无纹理金属零件抓取方法 | |
CN115187599B (zh) | 基于几何性质的轻量化的单晶硅椭圆参数辨识方法和系统 | |
CN112884886B (zh) | 一种自适应搜索半径的三维点云管道提取与建模方法 | |
WO2020248096A1 (zh) | 基于局部特征的三维人脸识别方法和系统 | |
Lee et al. | Region matching and depth finding for 3D objects in stereo aerial photographs | |
CN111709893B (zh) | 一种基于信息熵和锐化调整的orb-slam2改进算法 | |
CN110909778B (zh) | 一种基于几何一致性的图像语义特征匹配方法 | |
CN113298838B (zh) | 一种物体轮廓线提取方法及系统 | |
CN112734816B (zh) | 基于CSS-Delaunay的异源图像配准方法 | |
CN107122782B (zh) | 一种均衡的半密集立体匹配方法 | |
CN113793369A (zh) | 一种复杂自由曲面迭代双向法线投影配准方法 | |
Roth et al. | Segmentation of geometric signals using robust fitting | |
WO2023130842A1 (zh) | 一种相机位姿确定方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CB03 | Change of inventor or designer information | ||
CB03 | Change of inventor or designer information |
Inventor after: Zhang Haitao Inventor after: Mao Qing Inventor after: Wang Xuan Inventor after: Li Xinghua Inventor before: Zhang Haitao Inventor before: Mao Qing Inventor before: Zhang Xuan Inventor before: Li Xinghua |