CN102519469B - 基于计算机视觉和vlbi联合平差的行星车定位方法 - Google Patents

基于计算机视觉和vlbi联合平差的行星车定位方法 Download PDF

Info

Publication number
CN102519469B
CN102519469B CN201110403725.1A CN201110403725A CN102519469B CN 102519469 B CN102519469 B CN 102519469B CN 201110403725 A CN201110403725 A CN 201110403725A CN 102519469 B CN102519469 B CN 102519469B
Authority
CN
China
Prior art keywords
vlbi
planetary vehicle
phase
computer vision
planetary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110403725.1A
Other languages
English (en)
Other versions
CN102519469A (zh
Inventor
王保丰
陈明
唐歌实
谢剑锋
胡松杰
陈略
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aerospace Control Center
Original Assignee
Beijing Aerospace Control Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aerospace Control Center filed Critical Beijing Aerospace Control Center
Priority to CN201110403725.1A priority Critical patent/CN102519469B/zh
Publication of CN102519469A publication Critical patent/CN102519469A/zh
Application granted granted Critical
Publication of CN102519469B publication Critical patent/CN102519469B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

基于计算机视觉和VLBI联合平差的行星车定位方法,属于行星探测器行星表面行进的导航定位方法,目的在于可靠、高精度地进行行星探测器的导航定位;本发明包括(1)计算机视觉定位建模,(2)VLBI定位建模,(3)计算机视觉和VLBI联合平差定位。本发明可以实现行星探测器行星表面行进的导航定位,具有定位速度快、精度高等优点,为我国行星探测器的科学探测提供了技术支撑。

Description

基于计算机视觉和VLBI联合平差的行星车定位方法
技术领域
本发明属于航天器导航定位方法,特别涉及基于计算机视觉和VLBI(甚长基线干涉测量)联合平差的行星车定位方法。
背景技术
在行星车科学考察过程中,行星车的导航定位是行星车探测的基础,关系任务成败。只有在知道了行星车的位置,才能够精确地实现它在月球表面的路径规划,才能确定科学考察目标与行星车间的相对位置关系。
目前行星车的定位方法是同波束VLBI干涉测量对着陆器和行星车进行相对定位。着陆器和行星车进行二维相对精度约为百米级,假定为100米,该指标远远不能满足行星车的导航定位要求。另一种方法是用行星车的立体视觉系统图像来实现行星车的定位。视觉定位方法在相邻停泊点间的相对定位精度较高,通常可优于2%,但随着停泊位置的增加行星车的绝对定位误差将进行累积,当行星车行驶距离足够长时,如以2%为例则当大于5000米,它的定位精度将大于VLBI的100米定位误差,且随着距离增加误差继续增加。
发明内容
为了解决视觉定位累积误差和VLBI干涉测量定位精度较低不能满足任务需要的问题,本发明提出了一种基于计算机视觉和VLBI联合平差的行星车定位方法,目的在于提高行星车定位的可靠性、精度性。
基于计算机视觉和VLBI联合平差的行星车定位方法,包括以下步骤:
(1)计算机视觉定位建模,对行星车中双目视觉相邻停泊位置相机图像进行特征点提取与匹配,由已知的相机间外方位参数建立特征点的共线条件方程,建立计算机视觉定位模型。
(2)VLBI定位建模,首先通过同波束VLBI观测得到着陆器和行星车的差分群时延和具有偏倚量的差分相时延,然后用差分群时延的统计均值对差分相时延的偏倚量进行初步估算,剩余的微小偏倚量将在相对定位结算中与状态量共同求解得到,采用同波束VLBI技术建立行星车的定位建模。
(3)联合平差建模,对计算机视觉和VLBI建立的观测方程进行联合建模,并根据设备性能估算出的误差对各观测量进行赋权,实现行星车的联合平差。
基于计算机视觉和VLBI联合平差的行星车定位方法,其特征在于所述计算机视觉定位建模步骤中,进行特征提取与匹配,建立视觉定位模型包括以下步骤:
(1)选取两相邻位置Sn和Sn+1图像的重叠区域,在Sn重叠区域上,先划分n×m个格网,n,m为大于等于3的正整数,用特征提取算子从每个格网中提取特征点;对位置Sn的另一幅图像沿核线方向对特征点进行相关系数匹配,并计算特征点在Sn坐标系下坐标
(2)对于未定位的Sn+1行星车位置,先从Sn匹配上的特征点中,选取4个不共线的且分布较为均匀的完成匹配的特征点,在Sn+1图像上进行匹配;分别计算选取特征点在两位置相机坐标系下坐标系,通过公共点转换的方法可计算得到,两相机坐标系间的转换参数;由该参数可预算剩余未选特征点在位置Sn+1图像中的概略位置;在概略位置附近,选用匹配算法可实现特征点的匹配实现相邻位置间的公共特征点的匹配。
(3)将相机的内参数焦距f、主点坐标(x0,y0)、径向畸变参数k1和外参数作为已知值,将特征点坐标、设站位置行星车本体坐标系相对于全局坐标系的转换参数为未知数,组建共线条件方程,按照光束平差对上述未知数进行求解,即建立了测量坐标系。
基于计算机视觉和VLBI联合平差的行星车定位方法,其特征在于所述VLBI定位建模过程包括以下步骤:
(1)建立相位时延的模型表达式如下:
phasedelay = phase f 1 - 2 π N 1 2 π f 1
式中表示频率为f1信号的相位,N1为频率为f1信号的相位整周模糊度。
(2)两观测站接收到三对频率分别为f1,f2,f3的点频信号,并将每对频率的相关相位进行差分可得:
式中,i=1,2表示测站1和测站2;j=1,2,3表示三个发射频率,Nij表示测站i收到第j个频率相关相位的2π模糊度的个数;σnj表示测站收到第j个频率相关相位的观测误差,主要有大气、电离层、观测装置引起的短周期相位抖动及热噪声引起。式中j=1,2,3表示三个发射频率的差分相位;Δτg21=τg2g1;ΔNj=N2j-N1j表示两航天器距离差在频率j的相位整周模糊度。
(3)首先确定频率1、2的相位差模糊度(ΔN2-ΔN1),再有(ΔN3-ΔN1)可以求出ΔN1,同理可以求出ΔN2,ΔN3
(4)建立行星车和着陆器间距离差与着陆器和行星车位置间的观测方程,从而建立VLBI定位建模程。
基于计算机视觉和VLBI联合平差的行星车定位方法,其特征在于所述联合平差建模包括以下步骤:(1)根据视觉和VLBI对应设备的测量误差w,按照对观测量进行赋权;(2)将计算机视觉与VLBI所建立的观测方程进行联合平差,解算视觉系统第Sn+1停泊位置的坐标。
本发明将行星车中的计算机视觉定位技术与VLBI同波束干涉测量技术相结合,以观测量误差大小进行赋权,通过最小二乘平差计算行星车的位置。本发明与传统的测量方法相比较,行星车的相对定位和绝对定位方面具备较高精度的优点。为我国行星探测器的导航定位提供了技术支撑。
附图说明
图1是各坐标系示意图
图2是测量过程流程图
具体实施方式
下面结合附图对本发明做进一步描述。首先介绍视觉成像基本方程,如图1所示,S为相机的物镜中心,P为一空间控制点,p′为P的像点,其中O-XYZ为参考坐标系,o-uv为像平面坐标系,S-X′Y′Z′为相机坐标系,S-X′、S-Y′轴分别与o-u、o-v坐标轴平行。图中各点在各坐标系中的坐标:S在O-XYZ中的坐标表示为(X0,Y0,Z0),即外方位元素中的3个平移参数,物点P在O-XYZ中的坐标表示为(X,Y,Z),P在S-X′Y′Z′中的坐标表示为(X′,Y′,Z′),p′在S-X′Y′Z′中的坐标表示为(u,v,-f)。(X′,Y′,Z′)与(X,Y,Z)关系如下式所示:
N X i ′ Y i ′ Z i ′ = X i - X 0 Y i - Y 0 Z i - Z 0 i = 1,2 . . .
若旋转次序按X、Y、Z旋转Rx,Ry,Rz,则旋转矩阵N为:
N = a 1 a 2 a 3 b 1 b 2 b 3 c 1 c 2 c 3 = cos R y cos R z cos R y sin R z - sin R y - sin R x sin R y cos R z - cos R x sin R z - sin R x sin R y sin R z + cos R x cos R z - sin R x cos R y cos R x sin R y cos R z - sin R x sin R z cos R x sin R y sin R z + sin R x cos R z cos R x cos R y
则由S、p′、P三点共线条件方程可得到计算机视觉理想状态下的成像的方程:
u - u 0 = - f a 1 ( X - X 0 ) + b 1 ( Y - Y 0 ) + c 1 ( Z - Z 0 ) a 3 ( X - X 0 ) + b 3 ( Y - Y 0 ) + c 3 ( Z - Z 0 ) v - v 0 = - f a 2 ( X - X 0 ) + b 2 ( Y - Y 0 ) + c 2 ( Z - Z 0 ) a 3 ( X - X 0 ) + b 3 ( Y - Y 0 ) + c 3 ( Z - Z 0 ) ( i = 1,2 . . . ) - - - ( 1 )
本发明整个测量过程如图2所示。
1.计算机视觉定位建模
首先,在地面精确测定着陆器上一些特征位置在它的本体坐标系下的坐标;当行星车走下着陆器后,到达第一个拍摄位置时,对着陆器进行成像;对获取的图像,进行图像增强,选取着陆器上具有坐标信息的3个以上不共线的特征位置像点坐标;
行星车第一个设站位置的正北方向为X,当地重力场方向为Z,按照右手坐标系法则确定Y方向,建立行星车考察的全局坐标系;由行星车传感器数据,可以计算第一个位置时行星车的本体坐标系与全局坐标系间的转换参数,即平移参数(X0,Y0,Y0)旋转参数(RX,RY,RZ);
由视觉测量的共线条件方程,通过后方交会方法可计算视觉系统坐标系和着陆器间的转换参数。由当前视觉系统的转角和俯仰角,可以计算得到视觉系统和行星车本体坐标系间的转换参数。由两组转换参数可计算得到行星车本体坐标系和着陆器坐标系间的平移参数旋转参数也就得到了行星车与着陆器间的相对位置和姿态;进而,由平移参数(X0,Y0,Y0)旋转参数(RX,RY,RZ),可间接计算得到着陆器在全局坐标系下的位置和姿态;
人工选取两相邻位置Sn和Sn+1图像的重叠区域,且Sn已实现精确定位;在Sn重叠区域上,先划分5×5个格网,用特征提取算子从每个格网中提取特征点;对位置Sn的另一幅图像沿核线方向对特征点进行匹配,并计算特征点在全局坐标系下坐标
对于未定位的Sn+1行星车位置,先从Sn匹配上的特征点中,选取4个不共线的且分布较为均匀的完成匹配的特征点,在Sn+1图像上手工进行匹配;分别计算选取特征点在两位置相机坐标系下坐标系,通过公共点转换的方法可计算得到,两相机坐标系间的转换参数;由该参数可预算剩余未选特征点在位置Sn+1图像中的概略位置;在概略位置附近,选用匹配算法可实现特征点的匹配实现相邻位置间的公共特征点的匹配;
将相机的内、外参数作为已知值,将特征点坐标、设站位置行星车本体坐标系相对于全局坐标系的转换参数为未知数,组建共线条件观测方程,也就是基于(1)式组建误差方程。可以看出,(1)式共线条件方程共含有三类未知数:物方点坐标、摄站参数和相机参数。将像点坐标(u,v)视为观测值,则误差方程可写为
V=AU+BS+CT-L:P    (2)
其中,V为像点坐标改正数:
V = v x v y - - - ( 3 )
U、S、T分别为物方点坐标、摄站参数和相机参数的改正数:
U = ΔX ΔY ΔZ T S = Δ X 0 Δ Y 0 Δ Z 0 ΔRx ΔRy ΔRz T T = Δ x 0 Δ y 0 Δf T - - - ( 4 )
A、B、C为系数矩阵:
A = ∂ x ∂ X ∂ x ∂ Y ∂ x ∂ Z ∂ y ∂ X ∂ y ∂ Y ∂ y ∂ Z B = ∂ x ∂ X 0 ∂ x ∂ Y 0 ∂ x ∂ Z 0 ∂ x ∂ Rx ∂ x ∂ Ry ∂ x ∂ Rz ∂ y ∂ X 0 ∂ y ∂ Y 0 ∂ y ∂ Z 0 ∂ y ∂ Rx ∂ y ∂ Ry ∂ y ∂ Rz C = ∂ x ∂ x 0 ∂ x ∂ y 0 ∂ x ∂ f ∂ y ∂ x 0 ∂ y ∂ y 0 ∂ y ∂ f - - - ( 5 )
L为常数项:
P为由视觉系统误差估算得出的权值。
2.VLBI定位建模
在VLBI测量中相位时延的表达式如下,式中表示频率为f1信号的相位,N1频率为f1信号的相位整周模糊度。
phasedelay = phas e f 1 - 2 π N 1 2 π f 1 - - - ( 7 )
设航天器发射的三个频率分别为f1,f2,f3的点频信号,在某时刻两航天器信号至地面两观测站的延迟差分别为τg1,τg2,τg1表示行星车到达两测站A、B的延迟差,τg2表示着陆器到达两测站A、B的延迟差,则两观测站接收到三对频率信号的相关相位分别表示为:
式中,i=1,2表示测站1和测站2;j=1,2,3表示三个发射频率,Nij表示测站i收到第j个频率相关相位的2π模糊度的个数;σnij表示测站i收到第j个频率相关相位的观测误差,主要有大气、电离层、观测装置引起的短周期相位抖动及热噪声引起。
将每对频率的相关相位进行差分可得:
式中j=1,2,3表示三个发射频率的差分相位;Δτg21=τg2g1;ΔNj=N2j-N1j表示两航天器距离差在频率j的相位整周模糊度。
首先确定频率1、2的相位差模糊度(ΔN2-ΔN1),即
当先验时延预测值误差Δτg21小于1/2(f2-f1)时,可唯一确定出(ΔN2-ΔN1)位0或者1,取决于频率1、2的初始相位,σn21也通过其他测量方式测出。由(ΔN2-ΔN1)可以解出(ΔN3-ΔN1),即
再有(ΔN3-ΔN1)可以求出ΔN1,即
同理可以求出ΔN2,ΔN3。因此可以计算相位时延如下式所示。
设行星车的第n个停泊位置在全局坐标系下的坐标为(Xn,Yn,Zn),着陆器在全局坐标系下的坐标为(X,Y,Z),(Xn,Yn,Zn)和(X,Y,Z)与观测量Δτg21new可建立对应的函数关系,表达式为:
Δτg21new=f(Xn,Yn,Zn,X,Y,Z)(21)
则误差方程可写为
V′=DM+EZ-L′:P′(22)
其中,V为像点坐标改正数:
V ′ = V Δτ g 21 new - - - ( 23 )
M、Z分别为:
D、E为系数矩阵:
L′为常数项:
L′=f(X′n,Y′n,Z′n,X′,Y′,Z′)-Δτg21new    (25)
式中(X′n,Y′n,Z′n,X′,Y′,Z′)为(Xn,Yn,Zn,X,Y,Z)的近似值。
P′为VLBI系统误差估算得到的权值。
3联合平差建模
当行星车行进一定距离后,视觉定位的绝对误差将大于VLBI定位的误差,此时增加VLBI同波束观测量,并与行星车计算机视觉观测量一同组建误差方程,即(2)式和(22)式,联合进行最小二乘平差计算可以获得较高绝对定位精度和相对定位的行星车位置坐标。
本发明模型具有以下特点:当行星车视觉定位的绝对误差将小于VLBI定位的误差,此时的定位精度就是视觉的定位精度;当行星车视觉定位的绝对误差将大于等于VLBI定位的误差,此时的决定定位精度为VLBI同波束定位精度,绝对定位精度不随行星车行进距离的增加而累积,相邻站点间的相对定位精度优于计算机视觉定位精度。利用该方法定位能实现行星车高精度的绝对定位和相对定位。

Claims (1)

1.一种基于计算机视觉和VLBI联合平差的行星车定位方法,其特征是包括以下步骤:
●第一步,计算机视觉定位建模,对行星车中双目视觉相邻停泊位置相机图像进行特征点提取与匹配,由已知的相机间外方位参数建立特征点的共线条件方程,建立计算机视觉定位模型,具体包括以下步骤:
●步骤一.选取两相邻位置Sn和Sn+1图像的重叠区域,在Sn重叠区域上,先划分n×m个格网,n,m为大于等于3的正整数,用特征提取算子从每个格网中提取特征点;对位置Sn的另一幅图像沿核线方向对特征点进行相关系数匹配,并计算特征点在Sn坐标系下坐标
●步骤二.对于未定位的Sn+1行星车位置,先从Sn匹配上的特征点中,选取4个不共线的且分布较为均匀的完成匹配的特征点,在S n+1图像上进行匹配;分别计算选取特征点在两位置相机坐标系下坐标,通过公共点转换的方法可计算得到两相机坐标系间的转换参数;由该参数可预算剩余未选特征点在位置Sn+1图像中的概略位置;在概略位置附近,选用匹配算法可实现特征点的匹配实现相邻位置间的公共特征点的匹配;
●步骤三.将相机的内参数焦距f、主点坐标(x0,y0)、径向畸变参数k1和外参数作为已知值,将特征点坐标、设站位置行星车本体坐标系相对于全局坐标系的转换参数为未知数,组建共线条件方程,按照光束平差对上述未知数进行求解,即建立了测量坐标系;
●第二步,VLBI定位建模,首先通过同波束VLBI观测得到着陆器和行星车的差分群时延和具有偏倚量的差分相时延,然后用差分群时延的统计均值对差分相时延的偏倚量进行初步估算,剩余的微小偏倚量将在相对定位结算中与状态量共同求解得到,采用同波束VLBI技术建立行星车的定位建模,具体包括以下步骤:
●步骤一.建立相位时延的模型表达式如下:
phasedelay = phas e f 1 - 2 π N 1 2 π f 1
式中表示频率为f1信号的相位,N1为频率为f1信号的相位整周模糊度;
●步骤二.两观测站接收到三对频率分别为f1,f2,f3的点频信号,并将每对频率的相关相位进行差分可得:
式中,表示测站1和测站2;j=1,2,3表示三个发射频率,Nij表示测站i收到第j个频率相关相位的2π模糊度的个数;σnj表示测站收到第j个频率相关相位的观测误差,主要有大气、电离层、观测装置引起的短周期相位抖动及热噪声引起;式中表示三个发射频率的差分相位;Δτg21=τg2g1;ΔNj=N2j-N1j表示两航天器距离差在频率j的相位整周模糊度;
●步骤三.首先确定频率1、2的相位差模糊度(ΔN2-ΔN1),再由(ΔN3-ΔN1)可以求出ΔN1,同理可以求出ΔN2,ΔN3
●步骤四.建立行星车和着陆器间距离差与着陆器和行星车位置间的观测方程,从而建立VLBI定位模型;
●第三步,联合平差建模,对计算机视觉和VLBI建立的观测方程进行联合建模,并根据设备性能估算出的误差对个观测量进行赋权,实现行星车的联合平差,具体包括以下步骤:
●步骤一.根据视觉和VLBI对应设备的测量误差w,按照对观测量进行赋权;
●步骤二.将计算机视觉与VLBI所建立的观测方程进行联合平差,解算视觉系统第Sn+1停泊位置的坐标。
CN201110403725.1A 2011-11-28 2011-11-28 基于计算机视觉和vlbi联合平差的行星车定位方法 Expired - Fee Related CN102519469B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110403725.1A CN102519469B (zh) 2011-11-28 2011-11-28 基于计算机视觉和vlbi联合平差的行星车定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110403725.1A CN102519469B (zh) 2011-11-28 2011-11-28 基于计算机视觉和vlbi联合平差的行星车定位方法

Publications (2)

Publication Number Publication Date
CN102519469A CN102519469A (zh) 2012-06-27
CN102519469B true CN102519469B (zh) 2015-01-28

Family

ID=46290472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110403725.1A Expired - Fee Related CN102519469B (zh) 2011-11-28 2011-11-28 基于计算机视觉和vlbi联合平差的行星车定位方法

Country Status (1)

Country Link
CN (1) CN102519469B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104864876B (zh) * 2015-06-03 2016-04-13 武汉大学 一种月球车联合定位方法及系统
CN106840160B (zh) * 2016-12-07 2019-12-20 中国人民解放军63921部队 深空探测器无线电干涉测量差分相位整周模糊度解算方法
CN106855643B (zh) * 2016-12-23 2018-10-12 中国人民解放军63921部队 基于逆同波束干涉测量技术实现月球旋转测量的方法
CN112082561B (zh) * 2020-09-11 2022-04-19 中国人民解放军63921部队 航天探测器交会对接及分离状态的监视方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101858744A (zh) * 2010-06-03 2010-10-13 唐粮 一种全景数码成像系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101858744A (zh) * 2010-06-03 2010-10-13 唐粮 一种全景数码成像系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《北京中心深空探测器精密定轨与分析软件系统》;胡松杰等;《飞行器测控学报》;20101031;第29卷(第5期);第69-74页 *
《深空探测中多普勒的建模与应用》;曹建峰等;《宇航学报》;20110731;第32卷(第7期);第1583-1589页 *

Also Published As

Publication number Publication date
CN102519469A (zh) 2012-06-27

Similar Documents

Publication Publication Date Title
CN102230971B (zh) Gps多天线测姿方法
CN102749047B (zh) 一种轧辊轴承座尺寸测量方法
CN101852623B (zh) 一种卫星光学遥感相机内方元素在轨检校方法
CN109782313A (zh) 地面精密单点定位数据处理方法
CN107504981A (zh) 一种基于激光测高数据的卫星姿态误差修正方法及设备
CN109613583B (zh) 基于单星与地面站测向及联合测时差的无源目标定位方法
CN105467415B (zh) 一种基于差分气压高度约束的小型无人机rtk相对定位方法
CN105424058B (zh) 基于摄影测量技术的数码相机投影中心位置精确标定方法
CN105158783A (zh) 一种实时动态差分定位方法及其设备
CN103679711A (zh) 一种遥感卫星线阵推扫光学相机在轨外方位参数标定方法
CN106052718A (zh) 一种基于pos设备与数字航测相机的校验方法及装置
CN106885571B (zh) 一种结合imu和导航影像的月面巡视器快速定位方法
CN106643670B (zh) 一种无人机航摄站点坐标求解装置及方法
CN102519469B (zh) 基于计算机视觉和vlbi联合平差的行星车定位方法
CN103235321A (zh) Gps单站伪距定位精密授时方法
CN107991676A (zh) 星载单航过InSAR系统对流层误差校正方法
CN102901485B (zh) 一种光电经纬仪快速自主定向的方法
CN110006448A (zh) 星载激光测高仪指向角系统误差在轨标定精度的评估方法
CN103543454A (zh) 一种嵌入在移动通讯网中的卫星定轨系统
CN109613582B (zh) 一种车载实时单频米级伪距定位方法
CN110360986A (zh) 一种便携式星表局部地形测绘系统
CN105510936B (zh) 星载gnss联合定轨方法及装置
CN110632636B (zh) 一种基于Elman神经网络的载体姿态估计方法
CN102521506B (zh) 数字天顶仪旋转轴解算方法
CN104316027B (zh) 复合水准仪本方高度测定方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150128

Termination date: 20151128

CF01 Termination of patent right due to non-payment of annual fee