CN107341823B - 一种基于特征融合的最小分支立体匹配方法 - Google Patents
一种基于特征融合的最小分支立体匹配方法 Download PDFInfo
- Publication number
- CN107341823B CN107341823B CN201710415745.8A CN201710415745A CN107341823B CN 107341823 B CN107341823 B CN 107341823B CN 201710415745 A CN201710415745 A CN 201710415745A CN 107341823 B CN107341823 B CN 107341823B
- Authority
- CN
- China
- Prior art keywords
- value
- point
- cost
- parallax
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 title claims abstract description 16
- 239000007787 solid Substances 0.000 title claims abstract description 9
- 238000006116 polymerization reaction Methods 0.000 claims abstract description 16
- 230000000903 blocking effect Effects 0.000 claims description 6
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000002203 pretreatment Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于特征融合的最小分支立体匹配方法,能够有效解决弱纹理区域、不连续区域、遮挡区域的误匹配问题,提高立体匹配精度。最小分支结构首次利用梯度信息构建有向图聚合匹配代价,构建最小分支后图像被分割成若干区域,图像被分割成区域的过程不需要设置任何参数,不仅分割过程自然,而且可以有效地区分图像中的纹理区域,提高了立体匹配准确性。基于特征融合的初始匹配代价计算改善了弱纹理区域和不连续区域的误匹配问题,基于四个方向寻找未遮挡点的左右一致性检测,有效改善了遮挡区域的误匹配问题,进一步提高了立体匹配的准确性。
Description
技术领域
本发明属于立体匹配技术领域,涉及一种基于特征融合的最小分支立体匹配方法。
背景技术
立体匹配技术是计算机视觉领域中一个很有价值的热点问题。立体匹配通常包括四个步骤:(1)计算每个像素点的初始匹配代价;(2)基于一个窗口或特殊结构聚合匹配代价;(3)计算视差;(4)视差优化。
立体匹配算法主要可以三类,局部算法、全局算法和半全局算法。局部算法基于特定窗口聚合匹配代价,运行速度快但是精度差。全局算法的出现提高了立体匹配的准确性,然而较慢的实时性限制了它在实际场景中的应用。半全局算法的提出有效地平衡了立体匹配的速度与精度的关系。一种基于非局部代价聚合的半全局算法利用图像中所有像素点的关系,在图像上构建最小生成树结构,经过两次遍历聚合匹配代价,该算法结果优于之前所有的局部算法。一种基于分割树聚合的半全局算法改善了无纹理区域匹配不当的问题,在提高精度的同时运行时间也大幅提高。
半全局算法具有鲁棒性强和对光照影响不敏感的优势,但仍然存在弱纹理区域、不连续区域、遮挡区域的误匹配问题。
发明内容
针对现有技术的不足,本发明提出一种基于特征融合的最小分支立体匹配方法,能够有效解决弱纹理区域、不连续区域、遮挡区域的误匹配问题,提高立体匹配精度。
一种基于特征融合的最小分支立体匹配方法,包括以下步骤:
步骤1、获取待处理图像左图和右图分别作为参考图像和目标图像,对两幅图像做预处理;
步骤2、基于特征融合方法计算两幅预处理后图像的初始匹配代价;具体为:
对两幅图分别进行Census变换和局部二值模式(Local Binary Pattern,LBP)变换,求出相应的初始匹配代价值;
基于颜色特征和梯度特征分别计算相应的初始匹配代价值;
使用归一化函数,将四种匹配代价值融合成最终的初始匹配代价值。
步骤3、基于相邻像素的梯度差,在预处理后的两幅图上构建有向图;
步骤4、在两幅有向图上使用Tarjan算法构建最小树形图,最小树形图构建完成后,图片被分割成若干有根树,每个有根树代表一个区域;具体为:
在左图和右图分别增添一个虚拟节点,从虚拟节点构建有无穷大权重的边到有向图的每个节点;使用Tarjan算法构建最小树形图;最小树形图构建完成后,删除虚拟节点和虚拟节点连接有向图的边。
步骤5、对两幅最小树形图计算相邻区域间的两类连接边,一类边连接相邻两区域的叶子节点,另一类边连接相邻两区域的根节点;
步骤6、将步骤5中所计算的两类边进行升序排列并根据区域连接准则进行判断,若满足条件则连接两区域,若不满足则用有无穷大权重的边连接,最终形成最小分支结构;
步骤7、基于两幅图的最小分支结构进行代价聚合,计算匹配代价;
步骤8、根据WTA策略选择两幅图中每个像素点的最小匹配代价对应的视差值作为该点的视差值,生成左右视差图;
步骤9、在两幅视差图上进行左右一致性检测,根据检查结果更新左视差图中的像素点代价值;具体为:
对于左图中某一点p,求得其视差值为d1,则右图上与其对应的匹配点应该为(p-d1),(p-d1)的视差值记为d2,计算|d1-d2|的值,若此值不为0,将p标记为遮挡点;若此值为0,则p点为非遮挡点,对于视差范围内所有的d,代价值为|d-d1|;
对于一个遮挡点p,分别水平向左和向右、垂直向上和向下找到四个离此遮挡点p最近的非遮挡点;
比较四个非遮挡点的距离,根据距离此遮挡点最远的非遮挡点的视差值更新p点代价值。
步骤10、在左图中根据更新的代价值重新进行代价聚合和WTA策略选择视差,生成最终的视差图。
本发明的有益效果是:
1.最小分支结构首次利用梯度信息构建有向图聚合匹配代价,构建最小分支后图像被分割成若干区域,可以有效地区分图像中的纹理区域,提高了立体匹配准确性。
2.图像被分割成区域的过程不需要设置任何参数,分割过程更自然;
3.基于特征融合的初始匹配代价计算改善了弱纹理区域和不连续区域的误匹配问题,提高了立体匹配的准确性。
4.基于四个方向寻找未遮挡点的左右一致性检测,有效改善了遮挡区域的误匹配问题,进一步提高了立体匹配的准确性。
附图说明
图1为本发明一种实施例的基于特征融合的最小分支立体匹配方法流程图。
图2为本发明一种实施例的待处理图像示意图。
图3为本发明一种实施例的有向图示意图。
图4为本发明一种实施例的构建最小分支示意图。
图5为本发明一种实施例的分割后若干有根树示意图。
图6为本发明一种实施例的连接区域两类边的示意图。
图7为本发明一种实施例的完整的最小分支示意图。
图8为本发明一种实施例的视差图示意图。
图9为本发明一种实施例的最小分支立体匹配算法和基于特征融合的最小分支立体匹配算法视差图对比示意图。
图10为本发明一种实施例的本文算法和其他算法生成的视差图对比示意图。其中,(a)为Ground truth图,(b)为Non-Local算法结果,(c)为Segment-Tree算法结果,(d)为最小分支算法结果,(e)为本文算法结果。
具体实施方式
下面结合附图对本发明一种实施例做进一步说明。
本发明实施例中,基于特征融合的最小分支立体匹配方法,如图1所示,包括以下步骤:
步骤1、获取待处理图像左图和右图分别作为参考图像和目标图像,本发明实例中,如图2所示为待处理图像,采用快速中值滤波方法对两幅图像进行预处理;
步骤2、基于特征融合方法计算两幅预处理后图像的初始匹配代价,本发明实例中,给定左图中一个像素点p=(x,y),在视差d下,计算CAD(p,d),CGRD(p,d),CCensus(p,d)和CLBP(p,d)。CCensus(p,d)定义为左右两图对应像素字符串的海明距离。CLBP(p,d)定义为左右两图中对应像素点的距离。
CAD(p,d)计算公式:
CGRD(p,d)计算公式:
基于四种特征融合的初始匹配代价计算公式:
其中,是权重系数,取值范围是0到1。ρ(C,λ)为归一化函数:将变量C的值归一化到区间[0,1];λ是归一化参数。归一化函数定义如下:
步骤3、基于相邻像素的梯度差,预处理后的两幅图上构建有向图,本发明实例中,令p,q表示图像上一对相邻的像素点,则表示两点的梯度值,若构建两条连接线分别指向p和q。若构建一条连接线由q指向p,反之构建连接线从p指向q。
本发明实例中,如图3所示为有向图示意图。
步骤4、在两幅有向图上使用Tarjan算法构建最小树形图,本发明实例中,在左图和右图分别增添一个虚拟节点,从虚拟节点构建有无穷大权重的边到有向图的每个节点,最小树形图构建完成后,删除虚拟节点和虚拟节点连接有向图的边。
本发明实例中,如图4所示为构建最小分支示意图。
最小树形图构建完成后,图片被分割成若干有根树,每个有根树代表一个区域,本发明实例中,如图5所示为分割后若干有根树示意图;
步骤5、对两幅最小树形图计算相邻区域间的两类连接边,一类边连接相邻两区域的叶子节点,另一类边连接相邻两区域的根节点;
步骤6、将步骤5中所计算的两类边进行升序排列,本发明实例中,两类边的权重计算方式;
we1=|I(s)-I(r)| (6)
we2=|avg(U)-avg(V)| (7)
I(s)和I(r)指相邻像素的颜色值。avg(U)和avg(V)指区域U和V的平均颜色值。将e1和e2两类边根据we1和λ·we2升序排列。根据区域连接准则进行判断,若满足条件则连接两区域U和V,若不满足则用有无穷大权重的边连接,最终形成最小分支结构。
区域连接准则为:
|size(U)-size(V)|≤α (8)
size(U)≤β或者size(V)≤β (9)
其中α=β=50。
本发明实例中,如图6所示为连接区域两类边的示意图。
步骤7、基于两幅图的最小分支结构进行代价聚合,计算匹配代价,
匹配代价计算公式为:
其中表示p点的总聚合代价,Pr(p)表示p点的父节点,表示从叶子节点到根节点代价聚合过程中p点在视差d下的聚合代价值。
其中D(p,q)表示p点和q点之间边的权重和,σ=0.1。
其中Cd(p)表示p点在视差d下的匹配代价,Ch(p)表示点p的子节点。
步骤8、根据WTA策略,本发明实例中,选择两幅图中每个像素点的最小匹配代价对应的视差值作为该点的视差值,生成左右视差图。
步骤9、在两幅视差图上进行左右一致性检测,根据检查结果更新左视差图中的像素点代价值,本发明实例中,对于左图中某一点p,求得其视差值为d1,则右图上与其对应的匹配点的灰度值应该为(p-d1),(p-d1)的视差值记为d2,计算|d1-d2|的值,若此值不为0,将p标记为遮挡点;若此值为0,则p点为非遮挡点,对于视差范围内所有的d,代价值为|d-d1|。对于一个遮挡点p,分别水平向左和向右、垂直向上和向下找到四个离此遮挡点p最近的非遮挡点,比较四个非遮挡点的距离,根据距离此遮挡点最远的非遮挡点的视差值更新p点的代价值。
步骤10、在左图中根据更新的代价值重新进行代价聚合和WTA策略选择视差,生成最终的视差图。
本发明实例中,如图8所示为视差图示意图。
本发明实例中,如图9所示为最小分支立体匹配算法和基于特征融合的最小分支立体匹配算法在无纹理区域和不连续区域视差图对比示意图。
本发明实例中,如图10所示为本文算法与Non-Local算法,Segment-Tree算法和最小分支算法实验结果示意图。(a)为Ground truth图,(b)为Non-Local算法结果,(c)为Segment-Tree算法结果,(d)为最小分支算法结果,(e)为本文算法结果。
本文的实验结果和与其他类似算法的对比,大幅降低了立体匹配的误匹配率。
本发明实例中,表1为本发明对比算法NL,ST,HT在Middlebury 2001数据集的测试结果。
表1
本发明实例中,表2为本发明对比算法NL,ST,最小分支算法(MB)在Middlebury2014数据集的测试结果。
表2
Claims (2)
1.一种基于特征融合的最小分支立体匹配方法,其特征在于,包括以下步骤:
步骤1、获取待处理图像左图像和右图像分别作为参考图像和目标图像,对两幅图像预处理;
步骤2、基于特征融合方法计算两幅预处理后图像的初始匹配代价:对两幅图像分别进行Census变换和局部二值模式LBP变换,求出相应的初始匹配代价值;基于颜色特征和梯度特征分别计算相应的初始匹配代价值;使用归一化函数,将四种匹配代价值融合成最终的初始匹配代价值;
步骤3、基于相邻像素的梯度差,在预处理后的两幅图像上构建有向图;
步骤4、在有向图的左图和右图分别增添一个虚拟节点,从虚拟节点构建有无穷大权重的边到有向图的每个节点;在两幅有向图上使用Tarjan算法构建最小树形图,最小树形图构建完成后,图片被分割成若干有根树,每个有根树代表一个区域;最小树形图构建完成后,删除虚拟节点和虚拟节点连接的有向图的边;
步骤5、对两幅最小树形图计算相邻区域间的两类连接边,一类边连接相邻两区域的叶子节点,另一类边连接相邻两区域的根节点;
步骤6、将步骤5中所计算的两类边按照we1和λ·we2进行升序排列,we1和we2为两类边的权重,并根据区域连接准则进行判断,若满足条件则连接两区域,若不满足则用有无穷大权重的边连接,最终形成最小分支结构;
步骤7、基于两幅图像的最小分支结构进行代价聚合,计算匹配代价;
步骤8、根据WTA策略选择两幅图像中每个像素点的最小匹配代价对应的视差值作为该点的视差值,生成左右视差图;
步骤9、在两幅视差图上进行左右一致性检查,根据检查结果更新左视差图中的像素点代价值;
步骤10、在左视差图中根据更新的代价值重新进行代价聚合和WTA策略选择视差,生成最终的视差图。
2.根据权利要求1所述的基于特征融合的最小分支立体匹配方法,其特征在于,步骤9所述的在两幅视差图上进行左右一致性检查,具体为:
对于左图中某一点p,求得其视差值为d1,则右图上与其对应的匹配点应该为q,q的视差值记为d2,计算|d1-d2|的值,若此值不为0,将p标记为遮挡点;若此值为0,则p点为非遮挡点,对于视差范围内所有的视差d,代价值为|d-d1|;
对于一个遮挡点p,分别水平向左和向右、垂直向上和向下找到四个离此遮挡点p最近的非遮挡点;
比较四个非遮挡点的距离,根据距离此遮挡点最远的非遮挡点的视差值更新p点代价值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710415745.8A CN107341823B (zh) | 2017-06-06 | 2017-06-06 | 一种基于特征融合的最小分支立体匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710415745.8A CN107341823B (zh) | 2017-06-06 | 2017-06-06 | 一种基于特征融合的最小分支立体匹配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107341823A CN107341823A (zh) | 2017-11-10 |
CN107341823B true CN107341823B (zh) | 2019-08-09 |
Family
ID=60219890
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710415745.8A Expired - Fee Related CN107341823B (zh) | 2017-06-06 | 2017-06-06 | 一种基于特征融合的最小分支立体匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107341823B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109961417B (zh) * | 2017-12-26 | 2021-04-06 | 广州极飞科技有限公司 | 图像处理方法、装置及移动装置控制方法 |
CN109146946B (zh) * | 2018-08-29 | 2022-01-04 | 河海大学常州校区 | 一种图像非局部立体匹配方法 |
CN110176037A (zh) * | 2019-05-31 | 2019-08-27 | 东北大学 | 一种用于室外道路辅助驾驶的目标距离快速估算方法 |
CN113344989B (zh) * | 2021-04-26 | 2023-05-16 | 贵州电网有限责任公司 | 一种NCC和Census的最小生成树航拍图像双目立体匹配方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102074014A (zh) * | 2011-02-23 | 2011-05-25 | 山东大学 | 一种利用基于图论的图像分割算法的立体匹配方法 |
CN102445165A (zh) * | 2011-08-05 | 2012-05-09 | 南京航空航天大学 | 基于单幅彩色编码光栅的立体视觉测量方法 |
CN103646396A (zh) * | 2013-11-29 | 2014-03-19 | 清华大学深圳研究生院 | 双目立体匹配算法的匹配代价算法和非局部立体匹配算法 |
CN105654493A (zh) * | 2015-12-30 | 2016-06-08 | 哈尔滨工业大学 | 一种改进的光学仿射不变双目立体匹配代价与视差优化方法 |
CN105761270A (zh) * | 2016-03-15 | 2016-07-13 | 杭州电子科技大学 | 一种基于外极线距离变换的树型滤波立体匹配方法 |
CN105787932A (zh) * | 2016-02-07 | 2016-07-20 | 哈尔滨师范大学 | 基于分割交叉树的立体匹配方法 |
CN106504276A (zh) * | 2016-10-25 | 2017-03-15 | 桂林电子科技大学 | 非局部立体匹配算法的组合匹配代价算法和视差联合填充算法 |
CN106530336A (zh) * | 2016-11-07 | 2017-03-22 | 湖南源信光电科技有限公司 | 基于色彩信息和图割理论的立体匹配算法 |
-
2017
- 2017-06-06 CN CN201710415745.8A patent/CN107341823B/zh not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102074014A (zh) * | 2011-02-23 | 2011-05-25 | 山东大学 | 一种利用基于图论的图像分割算法的立体匹配方法 |
CN102445165A (zh) * | 2011-08-05 | 2012-05-09 | 南京航空航天大学 | 基于单幅彩色编码光栅的立体视觉测量方法 |
CN103646396A (zh) * | 2013-11-29 | 2014-03-19 | 清华大学深圳研究生院 | 双目立体匹配算法的匹配代价算法和非局部立体匹配算法 |
CN105654493A (zh) * | 2015-12-30 | 2016-06-08 | 哈尔滨工业大学 | 一种改进的光学仿射不变双目立体匹配代价与视差优化方法 |
CN105787932A (zh) * | 2016-02-07 | 2016-07-20 | 哈尔滨师范大学 | 基于分割交叉树的立体匹配方法 |
CN105761270A (zh) * | 2016-03-15 | 2016-07-13 | 杭州电子科技大学 | 一种基于外极线距离变换的树型滤波立体匹配方法 |
CN106504276A (zh) * | 2016-10-25 | 2017-03-15 | 桂林电子科技大学 | 非局部立体匹配算法的组合匹配代价算法和视差联合填充算法 |
CN106530336A (zh) * | 2016-11-07 | 2017-03-22 | 湖南源信光电科技有限公司 | 基于色彩信息和图割理论的立体匹配算法 |
Non-Patent Citations (5)
Title |
---|
A Non-Local Cost Aggregation Method for Stereo Matching;Qingxiong Yang;《2012 IEEE Conference on Computer Vision and Pattern Recognition》;20120621;1402-1409 * |
Segment-Tree based Cost Aggregation for Stereo Matching;Xing Mei 等;《CVPR 13 Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition》;20130628;313-320 * |
基于多特征融合的多尺度立体匹配算法;靳太明 等;《计算机应用》;20161215;第36卷(第S2期);139-142 * |
基于最小生成树的立体匹配算法;李智鹏 等;《合肥工业大学学报(自然科学版)》;20150531;第38卷(第5期);622-626 * |
基于矩形子块法的快速全局立体匹配算法;左森 等;《计算机工程与应用》;20051231(第33期);91-94 * |
Also Published As
Publication number | Publication date |
---|---|
CN107341823A (zh) | 2017-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107341823B (zh) | 一种基于特征融合的最小分支立体匹配方法 | |
CN103226821B (zh) | 基于视差图像素分类校正优化的立体匹配方法 | |
CN102855459B (zh) | 用于特定前景物体的检测验证的方法和系统 | |
CN106504284A (zh) | 一种基于立体匹配与结构光相结合的深度图获取方法 | |
CN101866497A (zh) | 基于双目立体视觉的智能三维人脸重建方法及系统 | |
CN104820991A (zh) | 一种基于代价矩阵的多重软约束立体匹配方法 | |
CN106023298A (zh) | 基于局部泊松曲面重建的点云刚性配准方法 | |
CN109711321B (zh) | 一种结构自适应的宽基线影像视角不变直线特征匹配方法 | |
CN106651897B (zh) | 一种基于超像素分割的视差修正方法 | |
CN112163622B (zh) | 全局与局部融合约束的航空宽基线立体像对线段匹配方法 | |
CN109146946A (zh) | 一种图像非局部立体匹配方法 | |
CN110322572A (zh) | 一种基于双目视觉的水下涵隧内壁三维信息恢复方法 | |
CN108805915A (zh) | 一种抗视角变化的近景影像区域特征匹配方法 | |
CN114332291A (zh) | 一种倾斜摄影模型建筑物外轮廓规则提取方法 | |
Song et al. | Volumetric stereo and silhouette fusion for image-based modeling | |
CN108010075A (zh) | 一种基于多特征联合的局部立体匹配方法 | |
CN108629809A (zh) | 一种精确高效的立体匹配方法 | |
Hofer et al. | Line-based 3D reconstruction of wiry objects | |
CN115861247A (zh) | 一种高分辨率遥感影像轮廓多级正则化方法、系统及应用 | |
CN113744324A (zh) | 一种多相似性测度结合的立体匹配方法 | |
CN107274448B (zh) | 一种基于水平树结构的可变权重代价聚合立体匹配算法 | |
Pham et al. | Robust non-local stereo matching for outdoor driving images using segment-simple-tree | |
CN104766367B (zh) | 一种计算三维模型处理中三维网格拓扑结构图构造方法 | |
CN109816710B (zh) | 一种双目视觉系统高精度且无拖影的视差计算方法 | |
CN104680523B (zh) | 基于前景和背景先验的多模态区域一致性的显著性对象检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190809 |