CN101793517B - 一种提高机载平台定姿精度的在线快速方法 - Google Patents
一种提高机载平台定姿精度的在线快速方法 Download PDFInfo
- Publication number
- CN101793517B CN101793517B CN2010101105197A CN201010110519A CN101793517B CN 101793517 B CN101793517 B CN 101793517B CN 2010101105197 A CN2010101105197 A CN 2010101105197A CN 201010110519 A CN201010110519 A CN 201010110519A CN 101793517 B CN101793517 B CN 101793517B
- Authority
- CN
- China
- Prior art keywords
- aerial map
- angle
- width
- adjacent
- attitude
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种提高机载平台定姿精度的在线快速方法。该方法可以在选用低成本、低精度INS(Inertial Navigation System,惯性导航系统)设备的条件下,通过在机载平台的中央处理单元中实现由相邻两幅航摄图像的相对运动求平台姿态角的变化量,在线修正低精度INS定姿数据,从而在线快速地提高机载平台的定姿精度。其特征在于,由图像匹配算法求相邻两幅航摄图像的相对运动;建立机载平台姿态角变化与航摄图像相对运动之间的映射关系,求平台的姿态角变化量;利用求得的姿态角变化量在线修正低精度INS定姿数据,从而在线提高机载平台的定姿精度。本发明可以降低系统成本,以高于20Hz的频率在线修正INS姿态角的测量误差,适用于航空遥感应用中机载平台姿态频繁变化的情况。
Description
技术领域
本发明涉及遥感及对地观测领域,主要为一种提高机载平台定姿精度的在线快速方法。
背景技术
机载遥感以其作业灵活、成本低、操作方便、作业效率高、成图周期短等优点,广泛应用于地形测绘、海洋测深、大气环境监测、生态系统测量、军事国防等领域。
随着全球定位系统(Global Position System,GPS)、惯性导航系统(Inertial Navigation System,INS)等的发展,机载遥感系统的定位精度和成像精度得到一定的提高。尤其是差分GPS技术的应用,使GPS的定位精度由米级(m)提高到厘米级(cm)。但由于姿态角测量误差对机载遥感的成像精度影响很大,高精度遥感及对地观测对INS的定姿精度要求很高。而具有足够高精度的INS价格非常昂贵,需要较长的初始化和校准时间,这不仅增加了系统的成本,还降低了系统的运行效率。再者,INS利用安装在载体上的惯性测量装置(加速度计和陀螺仪)敏感载体的运动,通过积分输出载体的姿态数据,该姿态数据存在误差随时间迅速累积的问题。
姿态角的测量误差是造成像质退化的一个重要原因,选用高精度的INS设备又将使系统成本大大增加,因此,在不增加系统成本的前提下提高机载平台的定姿精度具有重要的现实意义。“一种激光雷达平台上高精度定位、定姿的装置和方法”在中国专利200710064115.7中公开,该方法采用对获得的多幅航空数码影像进行相对定向计算,获得激光雷达平台在工作航线上的低频高精度姿态参数值,用该低频高精度姿态参数值对INS获得的高频低精度参数进行修正处理,获得平台的高精度姿态参数信息。但该方法对地面激光脚点三维坐标进行高精度修正的区域范围受航拍周期的限制,其专利中说明航拍周期为4s左右,即以4s的频率修正定姿误差,适用于机载平台姿态角变化较缓慢的情况。随着轻小型飞机在航空遥感中的推广应用,上述应用情况发生较大变化。一方面,由于飞机尺寸及重量的减小,导致机载平台的姿态变化更加频繁,需要航摄图像的航拍周期尽量小。另一方面,轻小型飞机载重量的限制也限制了存储设备的质量及存储能力,这就使得航摄图像的航拍周期不能太小。在数据后处理的情况下,过小的航拍周期会导致数据量迅速增加,不仅极大地提高对存储设备的存储容量的需求,而且增大了数据处理的难度,也不利于机载遥感图像的及时获取。
因此,在选用低成本、低精度INS设备的条件下,研究在线快速地提高机载平台定姿精度的方法是非常必要的。本发明公开一种提高机载平台定姿精度的在线快速方法,根据图像匹配算法求相邻两幅航摄图像的相对运动,基于机载平台姿态角变化与航摄图像相对运动之间的映射关系,求得不同时刻机载平台的姿态角变化量,在线修正低精度INS姿态数据,从而在线提高机载平台的定姿精度。该方法在机载平台上的中央处理单元中实现即获得一种提高机载平台定姿精度的在线快速方法。该方法能以大于20Hz的较高频率在线修正姿态角的测量误差,适用于航空遥感应用中机载平台姿态频繁变化的情况。本发明在遥感及对地观测领域具有广阔的应用前景。
发明内容
本发明是在只需选用低成本、低精度INS设备的条件下,通过相邻两幅航摄图像的相对运动求解相应平台姿态角的变化量,在线修正低精度INS定姿数据,从而在线提高机载平台的定姿精度。该方法在机载平台上的中央处理单元中实现即获得一种提高机载平台定姿精度的在线快速方法。
本发明提出的一种提高机载平台定姿精度的在线快速方法;在机载遥感系统选用低成本、低精度INS设备的条件下,通过在机载平台上的中央处理单元中实现由相邻两幅航摄图像的相对运动求平台姿态角的变化量,在线修正低精度INS定姿数据,从而在线提高机载平台的定姿精度;其中所述由相邻两幅航摄图像的相对运动求解平台姿态角的变化量步骤有三:1)由图像匹配算法求相邻两幅航摄图像的相对运动;2)建立机载平台姿态角变化与航摄图像相对运动之间的映射关系;3)求解航摄图像拍摄时刻相应的平台姿态角变化量,所述平台姿态角为偏航角、侧滚角和俯仰角;其中所述相邻两幅航摄图像的相对运动包括航摄图像平面内的二维平移量和图像的旋转角度;其中所述航摄图像平面内的二维平移量包括沿着载机飞行方向的平移量和垂直于载机飞行方向上的平移量;其中解算具体过程为,首先在航摄图像有效搜索区域的对角线方向选择相距较远的两个图像子块,使用块相关匹配法求旋转角度,根据所述求解步骤2)的映射关系,所述旋转角度等于平台的偏航角变化量;然后基于已求得的旋转角度,用旋转向量法求所述两个图像子块中心在无偏航角影响下的相邻两幅航摄图像上的位置,从而求得图像子块中心在无偏航角影响下的相邻两幅航摄图像中在航摄图像平面内的二维平移量;然后根据求解步骤2)的映射关系求得相应的侧滚角变化量和俯仰角变化量;以大于20Hz的较高频率在线修正INS姿态角的测量误差。
其中,在机载遥感系统飞行作业过程中,用航拍帧频大于20帧每秒的数码相机对地面被研究区域拍摄图像,相邻两幅航摄图像具有足够的重叠区域;当机载平台的偏航角、侧滚角和俯仰角均为零时,数码相机沿铅垂方向指向正下方拍摄得到航摄图像。
其中,所述机载平台姿态角变化与航摄图像相对运动之间的映射关系为:在航摄图像平面内沿着载机飞行的方向上,去除载机在所述相邻两幅航摄图像的拍摄间隔时间内的飞行位移量后相邻两幅航摄图像的平移量,与机载平台的俯仰角在所述相邻两幅航摄图像的拍摄间隔时间内的变化量一一对应;在航摄图像平面内垂直于载机飞行的方向上,去除载机在所述相邻两幅航摄图像的拍摄间隔时间内的飞行位移量后相邻两幅航摄图像的平移量,与机载平台的侧滚角在所述相邻两幅航摄图像的拍摄间隔时间内的变化量一一对应。
其中,所述的一种提高机载平台定姿精度的在线快速方法,其特征在于,所述块相关匹配法求旋转角度的方法为:在航摄图像有效搜索区域的对角线方向选择相距较远的两个待匹配图像子块,由块相关匹配法分别求这两个图像子块中心在相邻两幅航摄图像上的位置,由插值法提高其定位精度到亚像素级,两个图像子块中心的连线在相邻两幅航摄图像上的夹角即为图像的旋转角度。
本发明的有益效果:本发明公开一种在只需选用低成本、低精度INS设备的条件下,在机载平台上的中央处理单元中实现由相邻两幅航摄图像的相对运动求解平台姿态角变化的一种提高机载平台定姿精度的在线快速方法。本发明对INS的测量精度要求不高,只需选用低成本、低精度的INS设备,因此,可以降低系统成本。在机载遥感系统飞行作业过程中,以较高频率(大于20Hz)拍摄航摄图像,并用机载平台上已实现该定姿方法的中央处理单元实时处理航摄图像,求解各航摄时刻平台姿态角的变化量,在线修正低精度INS定姿数据,从而在线提高机载平台的定姿精度。本发明能以较高频率在线修正INS的姿态角测量误差,适用于航空遥感应用中机载平台姿态频繁变化的情况。本发明在遥感及测绘领域具有广阔的应用前景。
附图说明
图1为存在三个姿态角变化时相邻两幅航摄图像的相对运动示意图;
图2为侧滚角变化量与图像子块在相邻两幅航摄图像中相对运动的映射关系示意图;
图3为俯仰角变化量与图像子块在相邻两幅航摄图像中相对运动的映射关系示意图;
图4为偏航角变化量与图像子块在相邻两幅航摄图像中相对运动的映射关系示意图;
图5为相邻两幅航摄图像的图像旋转角度的求解原理图;
图6无偏航角影响时旋转向量法求解航摄图像位置的原理图。
具体实施方式
下面结合附图来详细说明本发明的具体实施方式。三个姿态角(侧滚角、俯仰角、偏航角)变化都存在时,在航摄图像平面内沿着载机飞行方向和垂直于载机飞行方向上,分别去除载机在所述相邻两幅航摄图像的拍摄间隔时间内的飞行位移量的前提下,相邻两幅航摄图像的相对运动如图1所示。在航摄图像平面内垂直于载机飞行方向上,侧滚角变化导致前一幅航摄图像101的图像中心103与后一幅航摄图像102的图像中心104相距距离105;在航摄图像平面内沿着载机飞行方向上,俯仰角变化导致前一幅航摄图像101的图像中心103与后一幅航摄图像102的图像中心104相距距离106;偏航角变化导致前一幅航摄图像101与后一幅航摄图像102之间旋转了角度107。
在航摄图像平面内沿着载机飞行方向和垂直于载机飞行方向上,分别去除载机在所述相邻两幅航摄图像的拍摄间隔时间内的飞行位移量的前提下,本发明所述三个姿态角变化与航摄图像相对运动之间的映射关系分别如图2、图3、图4所示。在不考虑俯仰角变化和偏航角变化时,所述侧滚角变化与航摄图像相对运动之间的映射关系如图2所示,在相邻两幅航摄图像的拍摄时间间隔内,机载平台的侧滚角变化201导致前一幅航摄图像202和后一幅航摄图像203在航摄图像平面内垂直于载机飞行方向上发生平移209,图像子块在前一幅航摄图像上的位置207和在后一幅航摄图像上的位置208也存在相同的平移209,由相邻两幅航摄图像的相对运动求侧滚角变化的公式为
其中,Δω为机载平台的侧滚角变化量206;ω为前一幅航摄图像202拍摄时刻机载平台的侧滚角205;h为载机飞行高度204;dω为侧滚角变化导致的相邻两幅航摄图像在航摄图像平面内垂直于载机飞行的方向上的平移量209。
在不考虑侧滚角变化和偏航角变化时,所述俯仰角变化与航摄图像相对运动之间的映射关系如图3所示,在相邻两幅航摄图像的拍摄时间间隔内,机载平台的俯仰角变化301导致前一幅航摄图像302和后一幅航摄图像303在航摄图像平面内沿着载机飞行方向上发生平移309,图像子块在前一幅航摄图像上的位置307和在后一幅航摄图像上的位置308也存在相同的平移309,由相邻两幅航摄图像的相对运动求俯仰角变化的公式为
其中,为机载平台的俯仰角变化量306;为前一幅航摄图像302拍摄时刻机载平台的俯仰角305;h为载机飞行高度304;为俯仰角变化导致的相邻两幅航摄图像在航摄图像平面内沿着载机飞行的方向上的平移量309。
在不考虑侧滚角变化和俯仰角变化时,所述偏航角变化与航摄图像相对运动之间的映射关系如图4所示,载机飞行高度404,前一幅航摄图像402拍摄时刻机载平台的偏航角405,在相邻两幅航摄图像的拍摄时间间隔内,机载平台的偏航角变化401导致前一幅航摄图像402和后一幅航摄图像403之间图像旋转了角度406,图像子块在前一幅航摄图像上的位置407和在后一幅航摄图像上的位置408之间的夹角409即为机载平台的偏航角变化量406,由相邻两幅航摄图像的相对运动求偏航角变化的公式为
Δκ=Δξ (3)
其中,Δκ为机载平台的偏航角变化量406;Δξ为图像子块在前一幅航摄图像上的位置407和在后一幅航摄图像上的位置408之间的夹角409。
本发明所述一种提高机载平台定姿精度的在线快速方法的处理步骤为:(1)利用图像匹配算法求相邻两幅航摄图像的图像旋转角度,即机载平台的偏航角变化量;(2)利用旋转向量法,根据已求得的偏航角变化量求图像子块中心在无偏航角影响下的航摄图像上的位置;(3)在航摄图像平面内沿着载机飞行方向和垂直于载机飞行方向上,图像子块中心在无偏航角影响下的相邻两幅航摄图像中的二维平移量即分别为由俯仰角变化和侧滚角变化导致的相邻两幅航摄图像在这两个方向上的二维平移量,从而求得相应的俯仰角变化量和侧滚角变化量;(4)用求得的三个姿态角变化量修正低精度INS姿态数据,从而分别提高机载平台的定姿精度;(5)在机载平台上的中央处理单元中实现上述方法即实现在线快速地提高机载平台的定姿精度。
所述相邻两幅航摄图像的图像旋转角度的求解原理如图5所示,在前一幅航摄图像501中,在航摄图像平面内沿着载机飞行方向和垂直于载机飞行方向上,根据三个姿态角的最大变化范围将导致的相邻两幅航摄图像的最大平移量,在前一幅航摄图像501的四周去除相应最大平移量503、504、505、506构成的区域,得到有效的搜索区域502;在有效搜索区域502的对角线方向选择相距较远的两个待匹配图像子块,其图像中心分别为507和508,由块相关匹配法分别求这两个图像子块中心在后一幅航摄图像上的位置,分别为509和510,由插值法提高其定位精度到亚像素级;两个图像子块中心在前一幅航摄图像上的连线511与其在后一幅航摄图像上的连线512之间的夹角513即为图像旋转角度。
所述旋转向量法求图像子块中心在无偏航角影响下的航摄图像上的位置的求解原理如图6所示,由航摄图像中心601指向图像子块中心在后一幅航摄图像(有偏航角影响)上的位置602的向量604,乘以已求得的偏航角变化量606的旋转向量矩阵,求旋转后的向量605,然后可求得图像子块中心在无偏航角影响下的航摄图像上的位置603,求解公式为
其中,(xA,yA)为航摄图像中心601的图像坐标;(x1,y1)为图像子块中心在后一幅航摄图像(有偏航角影响)上的位置602的图像坐标;(x2,y2)为图像子块中心在无偏航角影响下的航摄图像上的位置603的图像坐标;Δκ为偏航角变化量。
综上所述,本发明提出了一种提高机载平台定姿精度的在线快速方法:在只需选用低成本、低精度INS设备的条件下,通过相邻两幅航摄图像的相对运动求解相应平台姿态角的变化量(包括侧滚角变化、俯仰角变化和偏航角变化),用求得三个姿态角的变化量在线修正低精度INS定姿数据,从而在线提高机载平台的定姿精度。该方法在机载平台上的中央处理单元中实现即获得一种提高机载平台定姿精度的在线快速方法。
以上所述,仅为本发明具体实施方法的基本方案,但本发明的保护范围并不局限于此,任何熟悉本技术领域的人员在本发明公开的技术范围内,可想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。所有落入权利要求的等同的含义和范围内的变化都将包括在权利要求的范围之内。
Claims (4)
1.一种提高机载平台定姿精度的在线快速方法:在机载遥感系统选用低成本、低精度INS设备的条件下,通过在机载平台上的中央处理单元中实现由相邻两幅航摄图像的相对运动求平台姿态角的变化量,在线修正低精度INS定姿数据,从而在线提高机载平台的定姿精度;其中所述由相邻两幅航摄图像的相对运动求解平台姿态角的变化量步骤有三:1)由图像匹配算法求相邻两幅航摄图像的相对运动;2)建立机载平台姿态角变化与航摄图像相对运动之间的映射关系;3)求解航摄图像拍摄时刻相应的平台姿态角变化量,所述平台姿态角为偏航角、侧滚角和俯仰角;其中所述相邻两幅航摄图像的相对运动包括航摄图像平面内的二维平移量和图像的旋转角度;其中所述航摄图像平面内的二维平移量包括沿着载机飞行方向的平移量和垂直于载机飞行方向上的平移量;其中解算具体过程为,首先在航摄图像有效搜索区域的对角线方向选择相距较远的两个图像子块,使用块相关匹配法求旋转角度,根据所述求解步骤2)的映射关系,所述旋转角度等于平台的偏航角变化量;然后基于已求得的旋转角度,用旋转向量法求所述两个图像子块中心在无偏航角影响下的相邻两幅航摄图像上的位置,从而求得图像子块中心在无偏航角影响下的相邻两幅航摄图像中在航摄图像平面内的二维平移量;然后根据求解步骤2)的映射关系求得相应的侧滚角变化量和俯仰角变化量;以大于20Hz的较高频率在线修正INS姿态角的测量误差。
2.按照权利要求1所述的一种提高机载平台定姿精度的在线快速方法,其特征在于,在机载遥感系统飞行作业过程中,用航拍帧频大于20帧每秒的数码相机对地面被研究区域拍摄图像,相邻两幅航摄图像具有足够的重叠区域;当机载平台的偏航角、侧滚角和俯仰角均为零时,数码相机沿铅垂方向指向正下方拍摄得到航摄图像。
3.按照权利要求1所述的一种提高机载平台定姿精度的在线快速方法,其特征在于,所述机载平台姿态角变化与航摄图像相对运动之间的映射关系为:在航摄图像平面内沿着载机飞行的方向上,去除载机在所述相邻两幅航摄图像的拍摄间隔时间内的飞行位移量后相邻两幅航摄图像的平移量,与机载平台的俯仰角在所述相邻两幅航摄图像的拍摄间隔时间内的变化量一一对应;在航摄图像平面内垂直于载机飞行的方向上,去除载机在所述相邻两幅航摄图像的拍摄间隔时间内的飞行位移量后相邻两幅航摄图像的平移量,与机载平台的侧滚角在所述相邻两幅航摄图像的拍摄间隔时间内的变化量一一对应。
4.按照权利要求1所述的一种提高机载平台定姿精度的在线快速方法,其特征在于,所述块相关匹配法求旋转角度的方法为:在航摄图像有效搜索区域的对角线方向选择相距较远的两个待匹配图像子块,由块相关匹配法分别求这两个图像子块中心在相邻两幅航摄图像上的位置,由插值法提高其定位精度到亚像素级,两个图像子块中心的连线在相邻两幅航摄图像上的夹角即为图像的旋转角度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010101105197A CN101793517B (zh) | 2010-02-09 | 2010-02-09 | 一种提高机载平台定姿精度的在线快速方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010101105197A CN101793517B (zh) | 2010-02-09 | 2010-02-09 | 一种提高机载平台定姿精度的在线快速方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101793517A CN101793517A (zh) | 2010-08-04 |
CN101793517B true CN101793517B (zh) | 2012-05-23 |
Family
ID=42586339
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010101105197A Expired - Fee Related CN101793517B (zh) | 2010-02-09 | 2010-02-09 | 一种提高机载平台定姿精度的在线快速方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101793517B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108253940A (zh) * | 2016-12-29 | 2018-07-06 | 东莞前沿技术研究院 | 定位方法及装置 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103499350B (zh) * | 2013-09-28 | 2016-01-27 | 长安大学 | Gps盲区下融合多源信息的车辆高精度定位方法及装置 |
CN106441356B (zh) * | 2016-09-06 | 2019-04-02 | 中国科学院长春光学精密机械与物理研究所 | 一种修正航空机载平台与载机相对角位移的装置和方法 |
CN111750896B (zh) * | 2019-03-28 | 2022-08-05 | 杭州海康机器人技术有限公司 | 云台标定方法、装置、电子设备及存储介质 |
CN110458893B (zh) * | 2019-07-29 | 2021-09-24 | 武汉光庭信息技术股份有限公司 | 高级辅助驾驶视觉感知传感器的横滚角标定方法及系统 |
CN113074726A (zh) * | 2021-03-16 | 2021-07-06 | 深圳市慧鲤科技有限公司 | 位姿确定方法及装置、电子设备和存储介质 |
-
2010
- 2010-02-09 CN CN2010101105197A patent/CN101793517B/zh not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108253940A (zh) * | 2016-12-29 | 2018-07-06 | 东莞前沿技术研究院 | 定位方法及装置 |
CN108253940B (zh) * | 2016-12-29 | 2020-09-22 | 东莞前沿技术研究院 | 定位方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN101793517A (zh) | 2010-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107504981B (zh) | 一种基于激光测高数据的卫星姿态误差修正方法及设备 | |
CN103575267B (zh) | 使图像与用于导航的地形高程地图相关的方法 | |
CN101609149A (zh) | 一种提高机载激光雷达定姿精度的方法 | |
US8610708B2 (en) | Method and apparatus for three-dimensional image reconstruction | |
US20190072392A1 (en) | System and method for self-geoposition unmanned aerial vehicle | |
CN100541232C (zh) | 无姿态信息条件下的航空多光谱扫描仪几何粗校正方法 | |
CN101793517B (zh) | 一种提高机载平台定姿精度的在线快速方法 | |
CN107917699B (zh) | 一种用于提高山区地貌倾斜摄影测量空三质量的方法 | |
CN106990424A (zh) | 一种双天线gps测姿方法 | |
CN104729482B (zh) | 一种基于飞艇的地面微小目标侦测系统及方法 | |
CN103558619A (zh) | 获取航拍像片的外方位元素的方法 | |
CN106338286B (zh) | 一种动基座测量方法 | |
CN103424124A (zh) | 基于图像测量技术的无磁惯导单元标定方法 | |
CN110986888A (zh) | 一种航空摄影一体化方法 | |
JP4986883B2 (ja) | 標定装置、標定方法および標定プログラム | |
RU2571300C2 (ru) | Способ дистанционного определения абсолютного азимута целевой точки | |
CN102721410A (zh) | 一种基于gps/imu定位定向技术的海岛空中三角测量方法 | |
Zhou et al. | Automatic orthorectification and mosaicking of oblique images from a zoom lens aerial camera | |
CN109146936A (zh) | 一种图像匹配方法、装置、定位方法及系统 | |
CN105182315A (zh) | 获取大摆角光学遥感卫星的遥感图像地面分辨率的方法 | |
CN114509071B (zh) | 一种风洞试验模型姿态测量方法 | |
CN110887477A (zh) | 一种基于偏振北极点及偏振太阳矢量的自主定位方法 | |
CN102749089A (zh) | 一种三探头星敏感器姿态的确定方法 | |
CN113483739B (zh) | 海上目标位置测量方法 | |
CN115574816A (zh) | 仿生视觉多源信息智能感知无人平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120523 Termination date: 20150209 |
|
EXPY | Termination of patent right or utility model |