CN102789643A - 一种直线目标的图像畸变系数的测定方法 - Google Patents

一种直线目标的图像畸变系数的测定方法 Download PDF

Info

Publication number
CN102789643A
CN102789643A CN2012102057927A CN201210205792A CN102789643A CN 102789643 A CN102789643 A CN 102789643A CN 2012102057927 A CN2012102057927 A CN 2012102057927A CN 201210205792 A CN201210205792 A CN 201210205792A CN 102789643 A CN102789643 A CN 102789643A
Authority
CN
China
Prior art keywords
prime
sigma
formula
coordinate system
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012102057927A
Other languages
English (en)
Other versions
CN102789643B (zh
Inventor
沙月进
翁永玲
占小康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201210205792.7A priority Critical patent/CN102789643B/zh
Publication of CN102789643A publication Critical patent/CN102789643A/zh
Application granted granted Critical
Publication of CN102789643B publication Critical patent/CN102789643B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公布了一种直线目标的图像畸变系数的测定方法,包括以下步骤:10.图像点的选取与二次曲线拟合:从测定对象上选取n个图像点,获取图像点在图像坐标系o-xy中的二维坐标(xi,yi);用Axi 2+Bxiyi+Cyi 2+Dxi+Eyi+1=0进行拟合;计算出测定对象的对称轴与图像坐标系o-xy纵轴之间的夹角;20.图像点的坐标转换:测算出新图像坐标系o-x′y′与图像坐标系o-xy之间的旋转矩阵R;将图像点的坐标(xi,yi)转换到在新图像坐标系中的坐标(x′i,y′i);30.测算畸变系数k1:在新图像坐标系中,畸变系数k1和图像点y′i坐标之间的关系为图像点恢复畸变后,应满足将测定对象上的n个图像点在新图像坐标系中的坐标y′i,代入测定出畸变系数k1。该测定方法利用已成像的图片即可完成对图像畸变系数的测定。

Description

一种直线目标的图像畸变系数的测定方法
技术领域
本发明属于图像测量领域,具体来说,涉及一种直线目标的图像畸变系数的测定方法。
背景技术
图像畸变是影响图像测量的重要因素,图像点的畸变改正是图像测量的前提。图像畸变的测定一般采用两种方法:一是实验室标定,即利用专用的仪器设备在实验室进行鉴定,提供给用户;二是利用摄影范围内的二维或三维控制点进行测算,通过共线方程或直接线性变换解法求出畸变系数。
这两种方法的前提条件是必须在摄影之前对摄影设备进行标定或在摄影范围内布设标志,而在很多情况下,人们常常需要测定已有图像的畸变系数,以上两种方法无法解决这个问题。
发明内容
技术问题:本发明要解决的技术问题是:提供一种直线目标的图像畸变系数的测定方法,该测定方法不需要在摄影之前对摄影设备进行标定或在摄影范围内布设标志,仅利用已成像的图片即可完成对图像畸变系数的测定。
技术方案:为解决上述技术问题,本发明采用的技术方案是:
一种直线目标的图像畸变系数的测定方法,该测定方法包括以下步骤:
10.图像点的选取与二次曲线拟合:
101.利用摄像设备对直线目标进行拍照,获得图像,直线目标在图像上显示为对称曲线,建立以图像中心为原点,横坐标为x轴,纵坐标为y轴的图像坐标系o-xy,然后从图像上选择一条曲线作为测定对象,从测定对象上选取n个图像点,n为整数,且n≥5,获取n个图像点在图像坐标系o-xy中的二维坐标(xi,yi),其中i=1,2,…n;
102.用二次多项式Axi 2+Bxiyi+Cyi 2+Dxi+Eyi+1=0对步骤101中的测定对象进行拟合,其中,A、B、C、D和E均为二次多项式系数,xi和yi表示测定对象上的图像点在图像坐标系o-xy中的二维坐标,利用式(1)计算出二次多项式系数A、B、C、D和E,
Σ x i 4 Σ x i 3 y i Σ x i 2 y i 2 Σ x i 3 Σ x i 2 y i Σ x i 3 y i Σ x i 2 y i 2 Σ x i y i 3 Σ x i 2 y i Σ x i y i 2 Σ x i 2 y i 2 Σ x i y i 3 Σ y i 4 Σ x i y i 2 Σ y i 3 Σ x i 3 Σ x i 2 y i Σ x i y i 2 Σ x i 2 Σ x i y i Σ x i 2 y i Σ x i y i 2 Σ y i 3 Σ x i y i Σ y i 2 · A B C D E = - Σ x i 2 Σ x i y i Σ y i 2 Σ x i Σ y i 式(1)
式中i=1,2,…n;
103.根据步骤102计算出的二次多项式系数A、B、C、D和E,以及式(2),计算出测定对象的对称轴y′与图像坐标系o-xy纵轴y之间的夹角α:
tan α = C A 式(2)
α的取值与测定对象的对称轴y′在图像坐标系o-xy中的象限有关:如果y′在第一象限,则
Figure BDA00001789566700023
如果y′在第二象限,则
Figure BDA00001789566700024
如果y′在第三象限,则
Figure BDA00001789566700025
如果y′在第四象限,则
Figure BDA00001789566700026
20.图像点的坐标转换:
201.建立新图像坐标系o-x′y′:以图像坐标系o-xy的原点为原点、以测定对象的对称轴y′为纵坐标的右手坐标系;
202.利用式(3),测算出新图像坐标系o-x′y′与图像坐标系o-xy之间的旋转矩阵R:
R = cos α sin α - sin α cos α 式(3)
203.利用式(4),将步骤101选择的测定对象的图像点在图像坐标系o-xy中的坐标(xi,yi),转换到在新图像坐标系o-x′y′中的坐标(x′i,y′i);
x i ′ y i ′ = R · x i y i = cos α sin α - sin α cos α · x i y i 式(4)
其中,i=1,2,…n;
30.测算畸变系数k1
301.在新图像坐标系o-x′y′中,畸变系数k1和图像点y′i坐标之间的关系如式(5)所示:
Δ y i ′ = k 1 y i ′ ( x i ′ 2 + y i ′ 2 ) 式(5)
式(5)中,Δy′i表示图像点在y′i方向的畸变改正值;
302.恢复畸变后,测定对象由曲线变为直线,测定对象上的n个图像点恢复畸变后,应满足式(6)的关系:
y i ′ + Δ y i ′ = y i ′ + k 1 y i ′ ( x i ′ 2 + y i ′ 2 ) = C 0 式(6)
其中,C0为常数;
303.测算畸变系数:
将步骤203获取的测定对象上的n个图像点在新图像坐标系o-x′y′中的坐标y′i,代入式(6),组成n个方程组:
y 1 ′ + y 1 ′ ( x 1 ′ 2 + y 1 ′ 2 ) k 1 - C 0 = 0 y 2 ′ + y 2 ′ ( x 2 ′ 2 + y 2 ′ 2 ) k 1 - C 0 = 0 . . . . . . y i ′ + y i ′ ( x i ′ 2 + y i ′ 2 ) k 1 - C 0 = 0 . . . . . . y n ′ + y n ′ ( x n ′ 2 + y n ′ 2 ) k 1 - C 0 = 0 式(7)
用最小二乘法原理进行间接平差,法方程式如式(8)所示,
Σ [ y i ′ ( x i ′ 2 + y i ′ 2 ) ] 2 - Σ y i ′ ( x i ′ 2 + y i ′ 2 ) - Σ y i ′ ( x i ′ 2 + y i ′ 2 ) n · k 1 C 0 = - Σ y i ′ 2 ( x i ′ 2 + y i ′ 2 ) Σ y i ′ 式(8)
从而测定出畸变系数k1和常数C0
有益效果:与现有技术相比,本发明具有以下有益效果:
1.无需对摄影摄像设备进行预先标定,可以对任意来源的已成像的图片进行图像畸变系数的测定。本技术方案是针对已成像的图片进行图像畸变系数的测定,不需要在摄影摄像过程中,对设备进行预先标定,或在摄影范围内布设标志。对已成像的图片,利用本技术方案即可进行图像畸变系数的测定,不需要重新摄影摄像。这样,对于不可重复摄影摄像的目标,利用本技术方案可对成像的图片进行畸变系数的测定;对于可重复摄影摄像的目标,利用本技术方案,可以省去重复摄影摄像,直接利用成像的图片进行畸变系数的测定。
2.实施便利,适用性强。畸变使直线成像为对称曲线,反过来,将成像目标曲线用一定的畸变系数恢复成直线,就可以测定出图像的畸变系数。本技术方案的测定方法对成像目标曲线上的离散点用一定的畸变系数进行恢复,使其恢复成直线,进而测算出畸变系数。该测定方法可适用于所有对直线目标进行拍摄的图片,适用性强。同时,该测定方法实施便利,不需要在摄影摄像过程中对设备进行预先标定,或在摄影范围内布设标志。
附图说明
图1是本发明测定方法的示意图,其中p表示成像曲线上的任意一点,t表示对P点进行y′方向改正后的位置,q表示对P点同时进行x′、y′方向的畸变改正后的位置,t、p、q三点之间的连线构成一个直角三角形,同时t点和q点的y′方向的坐标相同。
具体实施方式
下面结合附图,对本发明的技术方案进行详细的说明。
如图1所示,本发明的一种直线目标的图像畸变系数的测定方法,该测定方法包括以下步骤:
10.图像点的选取与二次曲线拟合:
101.利用摄像设备对直线目标进行拍照,获得图像,直线目标在图像上显示为对称曲线,建立以图像中心为原点,横坐标为x轴,纵坐标为y轴的图像坐标系o-xy,然后从图像上选择一条曲线作为测定对象,从测定对象上选取n个图像点,n为整数,且n≥5,获取n个图像点在图像坐标系o-xy中的二维坐标(xi,yi),其中i=1,2,…n;
102.用二次多项式Axi 2+Bxiyi+Cyi 2+Dxi+Eyi+1=0对步骤101中的测定对象进行拟合,其中,A、B、C、D和E均为二次多项式系数,xi和yi表示测定对象上的图像点在图像坐标系o-xy中的二维坐标,利用式(1)计算出二次多项式系数A、B、C、D和E,
Σ x i 4 Σ x i 3 y i Σ x i 2 y i 2 Σ x i 3 Σ x i 2 y i Σ x i 3 y i Σ x i 2 y i 2 Σ x i y i 3 Σ x i 2 y i Σ x i y i 2 Σ x i 2 y i 2 Σ x i y i 3 Σ y i 4 Σ x i y i 2 Σ y i 3 Σ x i 3 Σ x i 2 y i Σ x i y i 2 Σ x i 2 Σ x i y i Σ x i 2 y i Σ x i y i 2 Σ y i 3 Σ x i y i Σ y i 2 · A B C D E = - Σ x i 2 Σ x i y i Σ y i 2 Σ x i Σ y i 式(1)
式中i=1,2,…n;
103.根据步骤102计算出的二次多项式系数A、B、C、D和E,以及式(2),计算出测定对象的对称轴y′与图像坐标系o-xy纵轴y之间的夹角α:
tan α = C A 式(2)
α的取值与测定对象的对称轴y′在图像坐标系o-xy中的象限有关:如果y′在第一象限,则
Figure BDA00001789566700053
如果y′在第二象限,则
Figure BDA00001789566700054
如果y′在第三象限,则如果y′在第四象限,则
20.图像点的坐标转换:
201.建立新图像坐标系o-x′y′:以图像坐标系o-xy的原点为原点、以测定对象的对称轴y′为纵坐标的右手坐标系;
202.利用式(3),测算出新图像坐标系o-x′y′与图像坐标系o-xy之间的旋转矩阵R:
R = cos α sin α - sin α cos α 式(3)
203.利用式(4),将步骤101选择的测定对象的图像点在图像坐标系o-xy中的坐标(xi,yi),转换到在新图像坐标系o-x′y′中的坐标(x′i,y′i);
x i ′ y i ′ = R · x i y i = cos α sin α - sin α cos α · x i y i 式(4)
其中,i=1,2,…n;
30.测算畸变系数k1
301.在新图像坐标系o-x′y′中,畸变系数k1和图像点y′i坐标之间的关系如式(5)所示:
Δ y i ′ = k 1 y i ′ ( x i ′ 2 + y i ′ 2 ) (5)
式(5)中,Δy′i表示图像点在y′i方向的畸变改正值。
302.恢复畸变后,测定对象由曲线变为直线,测定对象上的n个图像点恢复畸变后,应满足式(6)的关系:
y i ′ + Δ y i ′ = y i ′ + k 1 y i ′ ( x i ′ 2 + y i ′ 2 ) = C 0 式(6)
其中,C0为常数;
303.测算畸变系数:
将步骤203获取的测定对象上的n个图像点在新图像坐标系o-x′y′中的坐标y′i,代入式(6),组成n个方程组:
y 1 ′ + y 1 ′ ( x 1 ′ 2 + y 1 ′ 2 ) k 1 - C 0 = 0 y 2 ′ + y 2 ′ ( x 2 ′ 2 + y 2 ′ 2 ) k 1 - C 0 = 0 . . . . . . y i ′ + y i ′ ( x i ′ 2 + y i ′ 2 ) k 1 - C 0 = 0 . . . . . . y n ′ + y n ′ ( x n ′ 2 + y n ′ 2 ) k 1 - C 0 = 0 式(7)
用最小二乘法原理进行间接平差,法方程式如式(8)所示,
Σ [ y i ′ ( x i ′ 2 + y i ′ 2 ) ] 2 - Σ y i ′ ( x i ′ 2 + y i ′ 2 ) - Σ y i ′ ( x i ′ 2 + y i ′ 2 ) n · k 1 C 0 = - Σ y i ′ 2 ( x i ′ 2 + y i ′ 2 ) Σ y i ′ 式(8)
从而测定出畸变系数k1和常数C0
在步骤101中,n≥7为佳。选择较多的图像点,有利于提高测定的准确性。
在步骤302中,C0为常数,即直线目标恢复后的y′i坐标均等于C0
本发明的测定原理为:根据畸变使直线成像为对称曲线的原理,该测定方法利用直线目标受畸变的影响,在图像上表现为对称曲线,通过对该对称曲线进行恢复的方法,测算出图像的畸变系数。
下面通过一个实施例,来具体测定图像的畸变系数。
实施例
(1)从测定对象上选择13个图像点,利用式(1)和式(2)拟合测算出测定对象的对称轴y′与图像坐标系o-xy纵轴y之间的夹角α:
tanα=521.1449040,α=89°53′24″
(2)利用式(3),测算新图像坐标系o-x′y′与图像坐标系o-xy之间的旋转矩阵R:
R = cos α sin α - sin α cos α = 0.0019188 0.9999982 - 0.9999982 0.0019188
利用式(4),将测定对象的13个图像点在图像坐标系o-xy中的坐标(xi,yi),转换到在新图像坐标系o-x′y′中的坐标(x′i,y′i),结果如表1所示:
表1
Figure BDA00001789566700072
(3)畸变系数的计算:
将13个图像点在新图像坐标系o-x′y′中的坐标代入式(5)、式(6)、式(7)和式(8),利用间接平差测算出畸变系数为:k1=2.4×10-0.8

Claims (2)

1.一种直线目标的图像畸变系数的测定方法,其特征在于,该测定方法包括以下步骤:
10.图像点的选取与二次曲线拟合:
101.利用摄像设备对直线目标进行拍照,获得图像,直线目标在图像上显示为对称曲线,建立以图像中心为原点,横坐标为x轴,纵坐标为y轴的图像坐标系o-xy,然后从图像上选择一条曲线作为测定对象,从测定对象上选取n个图像点,n为整数,且n≥5,获取n个图像点在图像坐标系o-xy中的二维坐标(xi,yi),其中i=1,2,…n;
102.用二次多项式Axi 2+Bxiyi+Cyi 2+Dxi+Eyi+1=0对步骤101中的测定对象进行拟合,其中,A、B、C、D和E均为二次多项式系数,xi和yi表示测定对象上的图像点在图像坐标系o-xy中的二维坐标,利用式(1)计算出二次多项式系数A、B、C、D和E,
Σ x i 4 Σ x i 3 y i Σ x i 2 y i 2 Σ x i 3 Σ x i 2 y i Σ x i 3 y i Σ x i 2 y i 2 Σ x i y i 3 Σ x i 2 y i Σ x i y i 2 Σ x i 2 y i 2 Σ x i y i 3 Σ y i 4 Σ x i y i 2 Σ y i 3 Σ x i 3 Σ x i 2 y i Σ x i y i 2 Σ x i 2 Σ x i y i Σ x i 2 y i Σ x i y i 2 Σ y i 3 Σ x i y i Σ y i 2 · A B C D E = - Σ x i 2 Σ x i y i Σ y i 2 Σ x i Σ y i 式(1)
式中i=1,2,…n;
103.根据步骤102计算出的二次多项式系数A、B、C、D和E,以及式(2),计算出测定对象的对称轴y′与图像坐标系o-xy纵轴y之间的夹角α:
tan α = C A 式(2)
α的取值与测定对象的对称轴y′在图像坐标系o-xy中的象限有关:如果y′在第一象限,则如果y′在第二象限,则如果y′在第三象限,则
Figure FDA00001789566600021
如果y′在第四象限,则
20.图像点的坐标转换:
201.建立新图像坐标系o-x′y′:以图像坐标系o-xy的原点为原点、以测定对象的对称轴y′为纵坐标的右手坐标系;
202.利用式(3),测算出新图像坐标系o-x′y′与图像坐标系o-xy之间的旋转矩阵R:
R = cos α sin α - sin α cos α 式(3)
203.利用式(4),将步骤101选择的测定对象的图像点在图像坐标系o-xy中的坐标(xi,yi),转换到在新图像坐标系o-x′y′中的坐标(x′i,y′i);
x i ′ y i ′ = R · x i y i = cos α sin α - sin α cos α · x i y i 式(4)
其中,i=1,2,…n;
30.测算畸变系数k1
301.在新图像坐标系o-x′y′中,畸变系数k1和图像点y′i坐标之间的关系如式(5)所示:
Δ y i ′ = k 1 y i ′ ( x i ′ 2 + y i ′ 2 ) 式(5)
式(5)中,Δy′i表示图像点在y′i方向的畸变改正值;
302.恢复畸变后,测定对象由曲线变为直线,测定对象上的n个图像点恢复畸变后,应满足式(6)的关系:
y i ′ + Δ y i ′ = y i ′ + k 1 y i ′ ( x i ′ 2 + y i ′ 2 ) = C 0 式(6)
其中,C0为常数;
303.测算畸变系数:
将步骤203获取的测定对象上的n个图像点在新图像坐标系o-x′y′中的坐标y′i,代入式(6),组成n个方程组:
y 1 ′ + y 1 ′ ( x 1 ′ 2 + y 1 ′ 2 ) k 1 - C 0 = 0 y 2 ′ + y 2 ′ ( x 2 ′ 2 + y 2 ′ 2 ) k 1 - C 0 = 0 . . . . . . y i ′ + y i ′ ( x i ′ 2 + y i ′ 2 ) k 1 - C 0 = 0 . . . . . . y n ′ + y n ′ ( x n ′ 2 + y n ′ 2 ) k 1 - C 0 = 0 式(7)
用最小二乘法原理进行间接平差,法方程式如式(8)所示,
Σ [ y i ′ ( x i ′ 2 + y i ′ 2 ) ] 2 - Σ y i ′ ( x i ′ 2 + y i ′ 2 ) - Σ y i ′ ( x i ′ 2 + y i ′ 2 ) n · k 1 C 0 = - Σ y i ′ 2 ( x i ′ 2 + y i ′ 2 ) Σ y i ′ 式(8)
从而测定出畸变系数k1和常数C0
2.按照权利要求1所述的直线目标的图像畸变系数的测定方法,其特征在于,在步骤101中,n≥7。
CN201210205792.7A 2012-06-20 2012-06-20 一种直线目标的图像畸变系数的测定方法 Expired - Fee Related CN102789643B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210205792.7A CN102789643B (zh) 2012-06-20 2012-06-20 一种直线目标的图像畸变系数的测定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210205792.7A CN102789643B (zh) 2012-06-20 2012-06-20 一种直线目标的图像畸变系数的测定方法

Publications (2)

Publication Number Publication Date
CN102789643A true CN102789643A (zh) 2012-11-21
CN102789643B CN102789643B (zh) 2014-08-13

Family

ID=47155041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210205792.7A Expired - Fee Related CN102789643B (zh) 2012-06-20 2012-06-20 一种直线目标的图像畸变系数的测定方法

Country Status (1)

Country Link
CN (1) CN102789643B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050213159A1 (en) * 2004-03-29 2005-09-29 Seiji Okada Distortion correction device and image sensing device provided therewith
CN101271573A (zh) * 2008-05-05 2008-09-24 南京师范大学 一种与摄影设备无关的影像畸变标定方法
CN102156970A (zh) * 2011-04-14 2011-08-17 复旦大学 基于畸变直线斜率计算的鱼眼图像校正方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050213159A1 (en) * 2004-03-29 2005-09-29 Seiji Okada Distortion correction device and image sensing device provided therewith
CN101271573A (zh) * 2008-05-05 2008-09-24 南京师范大学 一种与摄影设备无关的影像畸变标定方法
CN102156970A (zh) * 2011-04-14 2011-08-17 复旦大学 基于畸变直线斜率计算的鱼眼图像校正方法

Also Published As

Publication number Publication date
CN102789643B (zh) 2014-08-13

Similar Documents

Publication Publication Date Title
CN104240262B (zh) 一种用于摄影测量的相机外参数标定装置及标定方法
CN102364299B (zh) 一种多个结构光投影三维型面测量头的标定技术
CN104034305B (zh) 一种单目视觉实时定位的方法
CN101813465B (zh) 非接触精密测转角的单目视觉测量方法
WO2018119771A1 (zh) 基于条纹投影轮廓术的高效相位-三维映射方法及系统
CN102136140B (zh) 一种基于矩形图样的视频图像距离检测方法
CN107886547A (zh) 一种鱼眼相机标定方法及系统
CN105300362A (zh) 一种应用于rtk接收机的摄影测量方法
GB2554796A (en) Testing 3D imaging systems
CN105957096A (zh) 一种用于三维数字图像相关的相机外参标定方法
CN106705860B (zh) 一种激光测距方法
CN106447733A (zh) 颈椎活动度及活动轴线位置的确定方法、系统及装置
CN103994732A (zh) 一种基于条纹投影的三维测量方法
CN104123725B (zh) 一种单线阵相机单应性矩阵h的计算方法
CN103791892A (zh) 一种船载视场可调的海面观测装置及方法
CN110836662A (zh) 基于相对定向和绝对定向算法的边坡位移监测方法
CN107966137A (zh) 一种基于tdiccd拼接区图像的卫星平台颤振探测方法
CN101865656B (zh) 一种使用少数共面点精确定位多摄像头系统位姿的方法
CN108154535B (zh) 基于平行光管的摄像机标定方法
CN106643504B (zh) 一种基于跟踪器的大型物体三维测量中led标记的标定方法
CN102800084B (zh) 一种直线目标的图像像主点坐标和畸变系数的测定方法
CN102999895B (zh) 利用两个同心圆线性求解摄像机内参数
CN105405135B (zh) 基于基本配置点的两步法摄影物点、像点自动匹配方法
CN104504691A (zh) 基于低秩纹理的摄像机位置和姿态测量方法
CN110068313A (zh) 一种基于投影变换的数字天顶仪定向方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140813

Termination date: 20170620

CF01 Termination of patent right due to non-payment of annual fee