CN103632338A - 一种基于匹配曲线特征的图像配准评估法 - Google Patents

一种基于匹配曲线特征的图像配准评估法 Download PDF

Info

Publication number
CN103632338A
CN103632338A CN201310645358.5A CN201310645358A CN103632338A CN 103632338 A CN103632338 A CN 103632338A CN 201310645358 A CN201310645358 A CN 201310645358A CN 103632338 A CN103632338 A CN 103632338A
Authority
CN
China
Prior art keywords
registration
peak
curve
image
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310645358.5A
Other languages
English (en)
Other versions
CN103632338B (zh
Inventor
李京娜
王刚
李宏光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ludong University
Original Assignee
Ludong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ludong University filed Critical Ludong University
Priority to CN201310645358.5A priority Critical patent/CN103632338B/zh
Publication of CN103632338A publication Critical patent/CN103632338A/zh
Application granted granted Critical
Publication of CN103632338B publication Critical patent/CN103632338B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

对配准结果的定量评估，是图像配准领域的一个重要内容。许多学者提出以像素物理坐标RMSE、MSE或者像素灰度的CC、NMI等来评估配准结果，但这些方法通常用来对单模态或者回顾性多模态图像的配准进行评估，而真实的多模态图像配准由于没有准确的衡量标准，很难给出定量的评估结果。通过对图像匹配曲线的研究，本发明提出一种新的配准评估方法——匹配曲线特征评估法，以匹配曲线的峰度、峰偏、峰值以及峰值间均方根误差（RMSE）为定量评估指标，基于峰偏和峰值间RMSE给出定量评估结果。该发明不仅能够从曲线的光滑度、尖锐度等特性直观描述配准性能，并能由曲线的特征指标定量评估配准效果，对于亚像素级配准，给出的评估结果比较准确。

Description

一种基于匹配曲线特征的图像配准评估法
技术领域
    本发明属于图像处理技术领域，具体涉及一种基于匹配曲线特征的图像配准评估方法。
背景技术
    图像配准是图像分析领域里一个重要环节。图像配准计算一般包含5个方面内容：图像预处理、配准测度、优化算法（或者匹配算法）、图像插值以及配准结果评估。已有的研究表明，配准测度通常都可以用来定量评估配准效果。对单模态图像一般采用灰度的均方根误差（RMSE）、均方误差（MSE）、峰值信噪比（PSNR）、相关系数（CC）、结构相似度（SSIM）等；而多模态图像一般采用互信息（MI或者NMI）评估配准精度，如果是回顾性图像配准实验则采用基于图像像素物理坐标的RMSE，既适用于单模态，也适用于多模态图像的配准精度评估。
    上述评估方法都有其局限性，只有互信息、物理坐标的RMSE或者MSE适用于回顾性多模态图像配准评估；对于真实的多模态图像配准，由于没有准确的衡量标准，很难给出定量的评估结果。    
发明内容
针对上述问题，本发明提出一种新的配准评估方法——匹配曲线特征评估法（Matching Curve feature evaluation，MCfe），以匹配曲线的峰度（kurtosis）、峰偏（peak deviation，即全局最大值出现的位置与最优位置的偏差）、峰值（maximum，即全局最大值）以及峰值间的均方根误差（RMSE）等特征为定量指标，并给出综合评估结果。由于本发明采用修正的结构相似度函数（Modified Structural Similarity ，MSSIM）为配准测度，使MCfe算法既适用于单模态图像，也适用于多模态图像配准评估。具体步骤为：
第一步：对图像进行配准，得到配准参数；
第二步：以得到的配准参数对原始浮动图像做空间变换，使其与参考图像配准；
第三步：以修正的结构相似度函数MSSIM为测度，给出配准后的浮动图像与原始参考图像的匹配曲线，MSSIM度量值由下式得到：
Figure 463685DEST_PATH_IMAGE001
                         （1）
其中为了保证曲线光滑采用样条插值法，平移以“像素”为单位，旋转角以“度”为单位，平移步长为0.2 像素，旋转步长为0.2 °，缩放步长为0.005；
第四步：计算匹配曲线的峰度、峰偏、峰值以及峰值间RMSE，具体定义和计算公式如下：
1）峰度（kurtosis）
    峰度是用来衡量分布的集中程度或分布曲线的尖峭程度的统计量，它是和正态分布相比较的，直观看来，峰度能够反映上凸函数曲线峰值附近的尖锐度以及尾部的厚度，其定义为：
Figure 174021DEST_PATH_IMAGE002
                       （2）
为样本测定值，
Figure 907807DEST_PATH_IMAGE004
为样本n次测定值的平均值，本文引用统计学峰度的概念，但不同之处在于样品测定值为MSSIM测度值，这种定义同样可以衡量匹配曲线在全局最大值附近的集中程度或尖锐程度；
2）峰偏（peak deviation）
不同于统计学的偏度（Skewness），峰偏指全局最大值（即峰值）出现的位置与最优位置的偏差，平移、旋转曲线的最优位置为0位置，缩放曲线的最优位置为1位置，图像完全对齐时，全局最大值将处于最优位置，反之，偏离最优位置，偏离度由峰偏表示，峰偏理想值为0：
Figure 369882DEST_PATH_IMAGE005
          （3）
Figure 951036DEST_PATH_IMAGE006
为匹配曲线的测度值；
3）峰值（maximum）
峰值指匹配曲线的全局最大值，即
Figure 473153DEST_PATH_IMAGE007
，图像完全对齐时，各曲线的峰值大小是一致的；
4）峰值间均方根误差（Root Mean Square Error，RMSE）
峰值间RMSE反映了各曲线峰值的一致程度，因而也反映图像之间的对齐度，即配准精度，图像完全对齐时，峰值间RMSE理想值为0：
Figure 326708DEST_PATH_IMAGE008
                     （4）
Figure 343206DEST_PATH_IMAGE009
                 （5）
N为配准变换的自由度，说明一点，这里的maxinum_RMSE实际上相当于标准误差；
第五步：给出定量评估结果，依次为：
1）计算匹配曲线平均加权峰偏
Figure 28134DEST_PATH_IMAGE010
              （6）
m和n分别为图像的行数和列数，为
Figure 875053DEST_PATH_IMAGE012
方向平移曲线的峰偏，
Figure 882192DEST_PATH_IMAGE013
为
Figure 172359DEST_PATH_IMAGE014
方向平移曲线的峰偏，
Figure 301858DEST_PATH_IMAGE015
为绕
Figure 677476DEST_PATH_IMAGE016
轴旋转曲线的峰偏，
Figure 222727DEST_PATH_IMAGE017
为一致缩放曲线的峰偏；
2）给出定量评估结果
由匹配曲线平均加权峰偏和全局最大值的相对误差得到评估指标：
Figure 882247DEST_PATH_IMAGE018
                             （7）
由匹配曲线峰偏参数进行空间变换，设图像大小为
Figure 933380DEST_PATH_IMAGE019
（
Figure 45561DEST_PATH_IMAGE020
行
Figure 394503DEST_PATH_IMAGE021
列），
Figure 393683DEST_PATH_IMAGE022
表示空间变换矩阵，则
Figure 864984DEST_PATH_IMAGE023
                              （8）
其中
，，
Figure 736360DEST_PATH_IMAGE026
，
Figure 863716DEST_PATH_IMAGE027
，
Figure 950490DEST_PATH_IMAGE028
则配准误差定量评估值为
                    （9）
其中
Figure 880585DEST_PATH_IMAGE030
为整个图像的像素个数（即
Figure 428110DEST_PATH_IMAGE031
），
Figure 752912DEST_PATH_IMAGE032
和
Figure 247348DEST_PATH_IMAGE033
为映射模型的基准坐标， 
Figure 324894DEST_PATH_IMAGE034
和
Figure 246582DEST_PATH_IMAGE035
为空间变换后的物理坐标。
    当评估指标evaluation_index < 1时，匹配曲线定量评估值evaluation_RMSE能够比较准确反映图像真实的配准误差，此时配准误差通常小于2像素；当evaluation_index < 1并且evaluation_RMSE < 1时，图像配准精度一般达到了亚像素级。
MCfe评估算法采用的配准测度可以是MSSIM，还可以推广为其它凸或者凹配准测度，比如相似性测度有相关系数（CC）、归一化互相关（NCC）、结构相似度（SSIM）、互信息（MI）以及归一化互信息（NMI）等等，相异性测度（既距离测度）有灰度的距离测度SSD、SAD、RC，迭代最近点算法（ICP）里的欧氏距离，倒角距离，Hausdorff 距离以及信息论中的汉明距离等。
MCfe评估算法适用的配准变换可以是
Figure 793101DEST_PATH_IMAGE012
方向平移、
Figure 153544DEST_PATH_IMAGE014
方向平移、绕
Figure 101909DEST_PATH_IMAGE016
轴旋转、一致尺度缩放等4个自由度的仿射变换（N=4），还可以推广为任意多自由度的仿射变换、投影变换以及非线性变换等。
有益效果
本发明提出的MCfe评估算法不仅能够从曲线的光滑度、尖锐度等形态特性直观描述配准性能，并能由曲线的峰度、峰偏、峰值、峰值间RMSE给出定量评估结果，是一种通用的配准评估算法，既适用于单模态图像，也适用于多模态图像配准评估。
尤其是真实的多模态图像配准，由于没有准确的衡量标准，传统的配准方法很难给出准确的评估结果；而MCfe评估算法能够比较准确地评判是否达到亚像素级配准，同时当配准精度达到亚像素级时，能够给出比较准确的定量评估结果。 
附图说明
图1为下载的多源遥感图像，其中图1（g）和（h）大小为150*150像素，其余图像大小均为128*128像素。
图2为4组图像的配准结果图，以（0.5*原始参考图像+0.5*配准后浮动图像）融合图像表示。
图3中表1为单模态图像仿真实验的评估结果表。
图4中表2为真实的多模态图像评估结果表。
具体实施方式
下面结合附图和实施例进一步说明本发明的方法步骤：
第一步：读入图像，作为原始参考图像（附图1），然后沿方向向左水平移动30个像素，
Figure 477581DEST_PATH_IMAGE014
方向向下垂直移动20 个像素，旋转（-15）度（设顺时针旋转为正方向），整体放大1.25倍，空间变换后的图像作为浮动图像；
第二步：采用Fourier-Mellin变换算法进行快速的粗配准，得到粗配准参数，然后以MSSIM为测度，采用Brent一维搜索算法及改进的Powell多维方向优化算法进行精确配准，获得精配准参数；
第三步：以粗配准参数对原始浮动图像做空间变换，然后给出配准后的浮动图像与原始参考图像的匹配曲线，其中采用样条插值法，平移步长为0.2 像素，旋转步长为0.2 °，缩放步长为0.005；
第四步：基于MCfe算法计算峰度、峰偏、峰值、峰值间RMSE，给出粗配准定量评估结果如图3中表1所示；
第五步：以精配准参数对原始浮动图像做空间变换，重复上述第三步、第四步，给出精配准定量评估结果如图3中表1所示；
第六步：为了验证MCfe评估方法的有效性，任意设定几组配准参数，重复上述第三步、第四步，给出定量评估结果如图3中表1所示；
第七步：读入多模态两幅图像如图1所示，分别作为参考图像和浮动图像，重复上述第二步到第五步，给出真实的多模态图像配准效果如图2所示和定量评估结果如图4中表2所示。

Claims (3)

1.一种新的图像配准评估方法——匹配曲线特征评估法（Matching Curve feature evaluation，MCfe），其特征在于：提出以匹配曲线的峰度、峰偏、峰值以及各曲线峰值间均方根误差（RMSE）作为定量评估指标，同时给出各个评估指标的具体定义，最后根据峰偏和峰值间RMSE给出定量评估结果，具体步骤为：
第一步：对图像进行配准，得到配准参数；
第二步：以得到的配准参数对原始浮动图像做空间变换，使其与参考图像配准；
第三步：以修正的结构相似度函数MSSIM为测度，给出配准后的浮动图像与原始参考图像的匹配曲线，MSSIM度量值由下式得到：
                         （1）
其中为了保证曲线光滑采用样条插值法，平移以“像素”为单位，旋转角以“度”为单位，平移步长为0.2 像素，旋转步长为0.2 °，缩放步长为0.005；
第四步：计算匹配曲线的峰度、峰偏、峰值以及峰值间RMSE，具体定义和计算公式如下：
1）峰度（kurtosis）
    峰度是用来衡量分布的集中程度或分布曲线的尖峭程度的统计量，它是和正态分布相比较的，直观看来，峰度能够反映上凸函数曲线峰值附近的尖锐度以及尾部的厚度，其定义为：
Figure 339883DEST_PATH_IMAGE002
                       （2）
为样本测定值，
Figure 48393DEST_PATH_IMAGE004
为样本n次测定值的平均值，本文引用统计学峰度的概念，但不同之处在于样品测定值为MSSIM测度值，这种定义同样可以衡量匹配曲线在全局最大值附近的集中程度或尖锐程度；
2）峰偏（peak deviation）
不同于统计学的偏度（Skewness），峰偏指全局最大值（即峰值）出现的位置与最优位置的偏差，平移、旋转曲线的最优位置为0位置，缩放曲线的最优位置为1位置，图像完全对齐时，全局最大值将处于最优位置，反之，偏离最优位置，偏离度由峰偏表示，峰偏理想值为0：
Figure 431005DEST_PATH_IMAGE005
          （3）
Figure 553813DEST_PATH_IMAGE006
为匹配曲线的测度值；
3）峰值（maximum）
峰值指匹配曲线的全局最大值，即
Figure 686854DEST_PATH_IMAGE007
，图像完全对齐时，各曲线的峰值大小是一致的；
4）峰值间均方根误差（Root Mean Square Error，RMSE）
峰值间RMSE反映了各曲线峰值的一致程度，因而也反映图像之间的对齐度，即配准精度，图像完全对齐时，峰值间RMSE理想值为0：
Figure 51845DEST_PATH_IMAGE008
                     （4）
Figure 953942DEST_PATH_IMAGE009
                 （5）
N为配准变换的自由度，说明一点，这里的maxinum_RMSE实际上相当于标准误差；
第五步：给出定量评估结果，依次为：
1）计算匹配曲线平均加权峰偏
Figure 247651DEST_PATH_IMAGE010
              （6）
m和n分别为图像的行数和列数，
Figure 913994DEST_PATH_IMAGE011
为
Figure 833408DEST_PATH_IMAGE012
方向平移曲线的峰偏，为
Figure 54622DEST_PATH_IMAGE014
方向平移曲线的峰偏，
Figure 411523DEST_PATH_IMAGE015
为绕
Figure 869049DEST_PATH_IMAGE016
轴旋转曲线的峰偏，为一致缩放曲线的峰偏；
2）给出定量评估结果
由匹配曲线平均加权峰偏和全局最大值的相对误差得到评估指标：
Figure 692835DEST_PATH_IMAGE018
                             （7）
由匹配曲线峰偏参数进行空间变换，设图像大小为
Figure 22185DEST_PATH_IMAGE019
（行列），
Figure 132595DEST_PATH_IMAGE022
表示空间变换矩阵，则
Figure 699974DEST_PATH_IMAGE023
                              （8）
其中
Figure 499303DEST_PATH_IMAGE024
，，，
Figure 677846DEST_PATH_IMAGE027
，
Figure 530133DEST_PATH_IMAGE028
则配准误差定量评估值为
Figure 48970DEST_PATH_IMAGE029
                    （9）
其中
Figure 446454DEST_PATH_IMAGE030
为整个图像的像素个数（即
Figure 486960DEST_PATH_IMAGE031
），
Figure 628091DEST_PATH_IMAGE032
和
Figure 1435DEST_PATH_IMAGE033
为映射模型的基准坐标， 
Figure 819087DEST_PATH_IMAGE034
和
Figure 97622DEST_PATH_IMAGE035
为空间变换后的物理坐标； 当评估指标evaluation_index < 1时，匹配曲线定量评估值evaluation_RMSE能够比较准确反映图像真实的配准误差，此时配准误差通常小于2像素；当evaluation_index < 1并且evaluation_RMSE < 1时，图像配准精度一般达到了亚像素级。
2.如权利要求1 所述的匹配曲线特征评估方法，其特征在于：其中第三步配准测度可以是MSSIM，还可以推广为其它凸或者凹配准测度，比如相似性测度有相关系数（CC）、归一化互相关（NCC）、结构相似度（SSIM）、互信息（MI）以及归一化互信息（NMI）等等，相异性测度（既距离测度）有灰度的距离测度SSD、SAD、RC，迭代最近点算法（iterative closest point，ICP）里的欧氏距离（Euclidean distance），倒角距离（chamfer distance），Hausdorff 距离以及信息论中的汉明距离（Hamming distance）等。
3.如权利要求1 所述的匹配曲线特征评估方法，其特征在于：配准变换可以是方向平移、方向平移、绕轴旋转、一致尺度缩放等4个自由度的仿射变换（N=4），还可以推广为任意多自由度的仿射变换、投影变换以及非线性变换等。
CN201310645358.5A 2013-12-05 2013-12-05 一种基于匹配曲线特征的图像配准评估法 Expired - Fee Related CN103632338B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310645358.5A CN103632338B (zh) 2013-12-05 2013-12-05 一种基于匹配曲线特征的图像配准评估法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310645358.5A CN103632338B (zh) 2013-12-05 2013-12-05 一种基于匹配曲线特征的图像配准评估法

Publications (2)

Publication Number Publication Date
CN103632338A true CN103632338A (zh) 2014-03-12
CN103632338B CN103632338B (zh) 2016-08-31

Family

ID=50213356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310645358.5A Expired - Fee Related CN103632338B (zh) 2013-12-05 2013-12-05 一种基于匹配曲线特征的图像配准评估法

Country Status (1)

Country Link
CN (1) CN103632338B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091319A (zh) * 2014-06-26 2014-10-08 重庆科技学院 基于蒙特卡洛算法构建能量函数的碎纸图片拼接方法
CN105678734A (zh) * 2014-11-21 2016-06-15 中国科学院沈阳自动化研究所 一种图像匹配系统的异源测试图像标定方法
CN106548448A (zh) * 2016-03-29 2017-03-29 深圳Tcl新技术有限公司 图像处理方法及装置
CN106780572A (zh) * 2016-12-12 2017-05-31 首都医科大学附属北京安贞医院 基于迭代最近点的自动电解剖图与ct图像配准方法和装置
CN107240128A (zh) * 2017-05-09 2017-10-10 北京理工大学 一种基于轮廓特征的x线片和彩色照片配准方法
CN109146768A (zh) * 2017-01-03 2019-01-04 成都科创知识产权研究所 图像变换方法、系统及应用
WO2022141531A1 (zh) * 2020-12-31 2022-07-07 西安大医集团股份有限公司 图像配准评估方法、装置、电子设备及可读存储介质
US11538176B2 (en) 2015-12-15 2022-12-27 Koninklijke Philips N.V. Image processing systems and methods

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010091494A1 (en) * 2009-02-11 2010-08-19 Ecole De Technologie Superieure Method and system for determining structural similarity between images
CN102509114A (zh) * 2011-11-22 2012-06-20 李京娜 基于改进的结构相似度的图像配准方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010091494A1 (en) * 2009-02-11 2010-08-19 Ecole De Technologie Superieure Method and system for determining structural similarity between images
CN102509114A (zh) * 2011-11-22 2012-06-20 李京娜 基于改进的结构相似度的图像配准方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BARBARA ZITOVA 等: ""Image registration methods:a survey"", 《IMAGE AND VISION COMPUTING》 *
ZHOU WANG 等: ""Image quality assessment：from error visibility to structural similarity"", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
李京娜 等: ""基于修正的结构相似度为测度的三维脑图像配准"", 《中国医学影像学杂志》 *
李京娜 等: ""基于改进后的结构相似度的三维图像配准"", 《光电工程》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091319A (zh) * 2014-06-26 2014-10-08 重庆科技学院 基于蒙特卡洛算法构建能量函数的碎纸图片拼接方法
CN105678734A (zh) * 2014-11-21 2016-06-15 中国科学院沈阳自动化研究所 一种图像匹配系统的异源测试图像标定方法
CN105678734B (zh) * 2014-11-21 2018-09-25 中国科学院沈阳自动化研究所 一种图像匹配系统的异源测试图像标定方法
US11538176B2 (en) 2015-12-15 2022-12-27 Koninklijke Philips N.V. Image processing systems and methods
CN106548448A (zh) * 2016-03-29 2017-03-29 深圳Tcl新技术有限公司 图像处理方法及装置
CN106780572A (zh) * 2016-12-12 2017-05-31 首都医科大学附属北京安贞医院 基于迭代最近点的自动电解剖图与ct图像配准方法和装置
CN109146768A (zh) * 2017-01-03 2019-01-04 成都科创知识产权研究所 图像变换方法、系统及应用
CN107240128A (zh) * 2017-05-09 2017-10-10 北京理工大学 一种基于轮廓特征的x线片和彩色照片配准方法
CN107240128B (zh) * 2017-05-09 2020-09-11 北京理工大学 一种基于轮廓特征的x线片和彩色照片配准方法
WO2022141531A1 (zh) * 2020-12-31 2022-07-07 西安大医集团股份有限公司 图像配准评估方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN103632338B (zh) 2016-08-31

Similar Documents

Publication Publication Date Title
CN103632338A (zh) 一种基于匹配曲线特征的图像配准评估法
US10008005B2 (en) Measurement system and method for measuring multi-dimensions
CN101315698B (zh) 基于直线特征图像配准中的特征匹配方法
CN109685855B (zh) 一种道路云监控平台下的摄像机标定优化方法
CN111784778B (zh) 基于线性求解非线性优化的双目相机外参标定方法和系统
JP4900204B2 (ja) 物体認識方法
CN105354841B (zh) 一种快速遥感影像匹配方法及系统
CN102622747B (zh) 一种用于视觉测量的摄像机参数优化方法
CN103438826B (zh) 激光与视觉相结合的钢板的三维测量系统及方法
CN109341668B (zh) 基于折射投影模型和光束追踪法的多相机测量方法
CN103177444A (zh) 一种sar图像自动配准方法
WO2020168685A1 (zh) 一种三维扫描视点规划方法、装置及计算机可读存储介质
CN111145227B (zh) 一种地下隧道空间多视点云的可迭代整体配准方法
CN103854283A (zh) 一种基于在线学习的移动增强现实跟踪注册方法
CN103106661B (zh) 空间二条相交直线线性求解抛物折反射摄像机内参数
Taketomi et al. Real-time and accurate extrinsic camera parameter estimation using feature landmark database for augmented reality
CN107492120B (zh) 点云配准方法
CN110675440B (zh) 三维深度数据的置信度评估方法、装置和计算机设备
Hu et al. Efficient and automatic plane detection approach for 3-D rock mass point clouds
CN103714550A (zh) 一种基于匹配曲线特征评估的图像配准自动优化算法
WO2022077561A1 (zh) 一种衡量缺失点云覆盖度的点云补全测评方法
WO2021114026A1 (zh) 一种基于局部参考坐标系的3d形状匹配方法及装置
CN116468764A (zh) 基于超点空间引导的多视图工业点云高精度配准系统
CN113781525B (zh) 一种基于原始cad模型的三维目标跟踪方法
CN116894876A (zh) 基于实时图像的6-dof的定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160831

Termination date: 20161205