CN102175321A - 基于光栅平动式光调制器的多目标成像光谱仪 - Google Patents

基于光栅平动式光调制器的多目标成像光谱仪 Download PDF

Info

Publication number
CN102175321A
CN102175321A CN 201110033799 CN201110033799A CN102175321A CN 102175321 A CN102175321 A CN 102175321A CN 201110033799 CN201110033799 CN 201110033799 CN 201110033799 A CN201110033799 A CN 201110033799A CN 102175321 A CN102175321 A CN 102175321A
Authority
CN
China
Prior art keywords
optical modulator
target
translation optical
radiation
raster translation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201110033799
Other languages
English (en)
Other versions
CN102175321B (zh
Inventor
张智海
莫祥霞
王伟
郭媛君
黄庆探
张晨旸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201110033799A priority Critical patent/CN102175321B/zh
Publication of CN102175321A publication Critical patent/CN102175321A/zh
Application granted granted Critical
Publication of CN102175321B publication Critical patent/CN102175321B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

一种基于光栅平动式光调制器的多目标成像光谱仪,由接收光学系统、光栅平动式光调制器面阵、分光系统、探测器、嵌入式系统组成;视场中目标物的辐射信息通过接收光学系统成像在光栅平动式光调制器面阵上,通过对光栅平动式光调制器面阵按照视场中的目标辐射源进行编程驱动,使目标辐射源的光辐射通过,而屏蔽背景光,经过分光系统后目标辐射源的光谱信息会聚到探测器上,最后嵌入式系统通过对探测器上的信号进行采集和处理同时得到目标辐射源的空间维信息和光谱维信息。该多目标成像光谱仪具有高速、灵活、灵敏度高、分辨率可调的优点,这种多目标成像光谱仪可广泛用于太空和地面的天文望远系统上,以及军事目标的搜索与跟踪等领域。

Description

基于光栅平动式光调制器的多目标成像光谱仪
技术领域
本发明涉及一种多目标成像光谱仪,更具体的说,本发明涉及一种基于微光机电系统制造的光栅平动式光调制器面阵的多目标成像光谱仪。
背景技术
成像光谱技术就是一类将成像技术和光谱技术相结合的新型多维信息获取技术,它能够得到被探测目标的空间信息和光谱信息,形成三维的数据的数据立方体。
长期以来,如何同时获取太空望远镜视场中的成千上万随机分布辐射源的光谱成为太空探测的难题,这需要大量的光谱数据采样。经典的物镜棱镜法,是通过一个和望远镜同样数值孔径尺寸的棱镜实现的视场成像。这种方法混叠了视场内的所有辐射源的光谱。它适用于明亮的辐射源,同时存在着下面的缺点:(1)整个天域的背景噪声影响了每个光谱成像点的质量;(2)如果不同辐射源排列在光谱色散方向,则会产生光谱混叠;(3)由于没有狭缝,有效分辨率取决于物镜的数字孔径。尽管这样,由于物镜棱镜法很简单,只需要在普通成像仪前放置一个光栅棱镜就可以,所以仍然在使用。光栅棱镜是表面刻划有光栅的棱镜,在这里的作用是使特定中心波长的光不被偏转开来。它特别适合于太空探测,因为太空的背景噪声不象地面那么大。
为了克服上述缺点,提高探测效果,多目标成像光谱仪必须对每个目标都可以工作在狭缝模式。因为天体的分布是随机的,所以解决方案必须很灵活。特别是,如果在焦平面上放置留有狭缝的金属模版,那这个模版必须是对每个不同的天域是可以灵活更改的。因为望远镜的成像经常有几何扭曲,在成像之前的目标定位就显得很有必要。这种可置换的金属模版的加工非常精细,而且针对红外热成像时,工作在低温模式给换版带来困难。
另一种方法使用精密机械定位的方式对每个辐射源安置固定光纤。当前使用几百根光纤的仪器在不需制冷的可见光探测领域很流行。光纤的传输损耗和定位困难是它的主要缺点。
使用微光机电系统MOEMS技术成为多目标成像光谱仪的新型选择。MOEMS技术制造的光调制器可以灵活的控制阵列中每个光调制器的开和关状态,使相应的光线进入或者不进入光谱仪,这带来很大的优势。MOEMS光调制器允许实时计算并生产不同的焦平面狭缝模版,非常灵活和便利。
对比现有多目标成像光谱仪技术,各有其优缺点,能否有一种MOEMS光调制器方案,即没有物镜棱镜多目标成像光谱仪的背景噪声高、光谱混叠、分辨率取决于物镜数值孔径的缺点,没有传统机械模版式多目标成像光谱仪更换模版困难的缺点,也没有光纤式多目标成像光谱仪传输损耗大和定位困难的缺点,这成为我们发明新型多目标成像光谱仪的初衷。
发明内容
本发明的目的是提供一种高速、灵活、灵敏度高、分辨率可调的多目标成像光谱仪,采用申请人前期研究的MOEMS光栅平动式光调制器GMLM(Grating Moving Light Modulator,专利号ZL200510020186.8)作为光谱调制的核心器件,克服物镜棱镜多目标成像光谱仪的背景噪声高、光谱混叠、分辨率取决于物镜数值孔径的缺点,没有传统机械模版式多目标成像光谱仪更换模版困难的缺点,也没有光纤式多目标成像光谱仪传输损耗大和定位困难的缺点。
本发明的技术方案如下:
一种基于光栅平动式光调制器的多目标成像光谱仪,包括接收光学系统、光栅平动式光调制器面阵、分光系统、探测器、嵌入式系统。所光栅平动式光调制器面阵设置于接收光学系统的成像面上;接收分光系统设置于光栅平动式光调制器面阵的出射光路上;探测器设置于分光系统的成像面上;嵌入式系统控制光栅平动式光调制器面阵和探测器协调工作。视场里的辐射信息通过所述接收光学系统成像在光栅平动式光调制器面阵上,通过对光栅平动式光调制器面阵按照视场中的目标辐射源进行编程驱动,使目标辐射源的光辐射通过,而屏蔽背景光,经过分光系统后目标辐射源的光谱信息会聚到探测器上,最后嵌入式系统通过对探测器上的信号进行采集和处理同时得到目标辐射源的空间维信息和光谱维信息。
本发明所述接收光学系统是太空或地面天文望远镜、其它摄影和望远成像系统。它用来获得视场中所有目标的辐射信息,并成像在光栅平动式光调制器面阵上。
本发明所述分光系统由入射准直镜、色散元件(反射式光栅、透射式光栅或棱镜)和出射成像镜构成。色散元件设置于入射准直镜的出射光路上,出射成像镜设置在色散元件的出射光路上。
本发明所述嵌入式系统由由图像采集模块、图像处理模块、显示模块、光栅平动式光调制器控制和驱动模块组成。嵌入式系统由图像采集模块得到多个辐射源并存的图像,再由图像处理模块识别不同辐射源,最后由光栅平动式光调制器控制和驱动模块发命令给光栅平动式光调制器面阵,根据选定的辐射源对光栅平动式光调制器面阵编程分时生成针对不同辐射源的的狭缝模版,使选定目标辐射信息按时间顺序通过,依次产生选定目标辐射图像,而屏蔽其它辐射,这有效地降低了选定目标的背景辐射噪声。
本发明使用的光栅平动式光调制器(ZL200510020186.8)是采用衍射原理,对入射光进行相位调制。由于它是采用MOEMS技术制造的微型器件,当多个光栅光调制器单元构成面阵时,可以根据目标物的位置情况,通过嵌入式系统方便灵活地编程驱动来快速切换模版,克服了传统机械模版更换模版困难的缺点,也没有光纤式多目标成像光谱仪传定位困难的缺点。另外由于光栅平动式光调制器表面可以选择不同的高反射率的金属镀膜,也没有光纤式多目标成像光谱仪传输损耗大的缺点。
光栅平动式光调制器面阵可以有效地屏蔽背景辐射,只将预先选好的目标辐射光源选通进入光谱仪,同时其在接收光学系统焦平面上也充当了狭缝模版,使得分辨率可以通过编程控制狭缝的宽窄来调节。另外,在选定的多个辐射源排列在光谱色散方向会产生光谱混叠时,嵌入式系统对光栅平动式光调制器面阵编程分时生成针对不同辐射源的的狭缝模版,使选定多目标辐射信息按时间顺序通过,而屏蔽其它辐射。这种以MOEMS光调制器为核心的多目标成像光谱仪解决了物镜棱镜多目标成像光谱仪的背景噪声高、光谱混叠、分辨率取决于物镜数值孔径的缺点。
光栅平动式光调制器阵列做为动态狭缝模版的另一个好处,在于它独特的机构和衍射原理。这点不同于TI公司的数字微镜DMD这样的MOEMS光调制器,那些微镜间隙发生的衍射会引入很大的干扰。而光栅平动式光调制器阵列的间隙也是其衍射有效光学面积的一部分,所以在光学衍射方向上形成完全无缝的光学调制效果,大大提高了系统的灵敏度,使得系统对微弱辐射源也能够探测。
本发明的优点是:
1、光谱仪采用新型的MOEMS光栅平动式光调制器阵列,在用作入射狭缝模版时,其编程驱动灵活,模版切换快速,可以快速得到多目标的光谱和位置信息,屏蔽其它无用光辐射并动态调节狭缝大小获得分辨率和光强信号最优的结果。克服了传统机械模版更换模版困难的缺点,没有光纤式多目标成像光谱仪传定位困难的缺点,也没有物镜棱镜多目标成像光谱仪的背景噪声高、分辨率取决于物镜数值孔径的缺点。
2、光栅平动式光调制器面阵针对可能引起混叠的多目标辐射源可以快速顺序切换单个目标的狭缝模版,避免了物镜棱镜多目标成像光谱仪的光谱混叠现象。
3、光栅平动式光调制器表面可以选择不同的高反射率的金属镀膜,使得光谱仪带宽比较宽,调制效率高,克服了光纤式多目标成像光谱仪传输损耗大的缺点。
4、通过对MOEMS光栅平动式光调制器阵列进行编程选通,可以有效屏蔽背景辐射;另外,由于光栅平动式光调制器阵列的像素间隙也是其衍射有效光学面积的一部分,所以在光学衍射方向上形成完全无缝的光学调制效果,大大提高了光谱仪系统的灵敏度,使得光谱仪系统对微弱辐射源也能够探测。
本发明具有加工简单,响应速度快,成本低、光调制效率高的优点,可广泛用于太空和地面的天文望远系统上,以及军事目标的搜索与跟踪等领域。
附图说明
图1是本发明的基于光栅平动式光调制器的多目标成像光谱仪结构图;
图2是单像素光栅平动式光调制器结构图;
图3是光栅平动式光调制器构成的线阵结构图;
图4是光栅平动式光调制器构成的面阵结构图;
图5是分光系统结构图;
图6a、6b和6c是嵌入式系统处理多目标辐射信号源的过程示意图。
图中:1.视场,2.接收光学系统,3.光栅平动式光调制器面阵,4.分光系统,5.探测器,6.嵌入式系统,7. 目标辐射源的空间维信息和光谱维信息,21.硅衬底,22.氧化物,23.绝缘层,24.负电极,25.底层反射面,26.顶层反射面、27、悬臂梁,28.偏压施加装置,51. 入射准直镜,52.色散元件,53. 出射成像镜。
具体实施方式
下面结合附图和实施例对本发明进一步说明:
图1显示了本发明的基于光栅平动式光调制器的成像光谱仪结构。其中,视场1中目标物的辐射信息通过接收光学系统2成像在光栅平动式光调制器面阵3上,通过对光栅平动式光调制器面阵3按照视场1中的目标辐射源进行编程驱动,使目标辐射源的光辐射通过,而屏蔽背景光,经过光谱仪4后目标辐射源的光谱信息会聚到探测器5上,最后嵌入式系统6通过对探测器上的信号进行采集和处理同时得到目标辐射源的空间维信息和光谱维信息7。接收光学系统2可以是太空或地面天文望远镜、也可以是其它摄影和望远成像系统。
图2显示了本发明的单像素光栅平动式光调制器结构。其中,在硅衬底21上淀积生长一层氧化物22,再淀积刻蚀绝缘层23、负电极24,镀上底层反射面25,通过淀积牺牲层,溅射金属,形成顶层反射面26,再在其上刻蚀所需要的光栅,该光栅即为正电极,最后释放牺牲层就可以得到如图2所示结构。入射光线实际上接受到了顶层光栅和镂空的底层光栅的双重调制,该调制效果随两层光栅间距不同而变化,其原理类似于矩形槽相位光栅。而其间距可通过偏压施加装置28来调节。顶面反射层26通过四根旋转对称的悬臂梁27支撑,悬臂梁27共四根,通过立柱支撑于硅基底21上,并且平行于四方形调制器的四边布置,与顶层反射面在垂直方向上保持一定间隙,并且通过悬臂梁顶端向上的立柱与其上方的顶层反射面相连接。即达到了为顶层反射面26提供柔性支撑的效果,又使得顶层反射面26中心的有效光栅面积足够大。由于这种光栅平动式光调制器具有简单的结构,完全可以用通用的IC表面加工工艺实现。当上下反射面没有施加电压时,上下反射面距离为nλ/2(λ为入射光波长,n为正整数),此时相位差为0,±1的能量几乎为0,衍射能量集中在0级,光栅光调制器相当于一个反射镜。当上下反射面之间施加了一定的电压差使得可动光栅在静电吸引力的作用下下拉λ/4距离,上下反射面距离为(2n-1)λ/4,此时光栅光调制器相当于一个矩形槽相位光栅,相位差为л,理想情况下约81%衍射能量集中在±1级,而0级能量几乎为0。这样在0级或±1级收集光,入射光随着光调制器的驱动电压不同,实现“开”和“关”的状态,也就是到达或者不能到达光谱仪4的状态。
图3是以图2所示结构的单像素光栅平动式光调制形成的面阵,由于隐藏的悬臂梁的结构和衍射原理,单元像素之间的间隙也通过覆盖其上的底层反射面25和顶层反射面光栅26一起充当有效光学衍射区域的一部分,在光学衍射方向上形成完全无缝的光学调制效果,使像素间缝隙的光学干扰被大大减少。
图4以图2所示结构的单像素光栅平动式光调制器形成的面阵,由于隐藏的悬臂梁的结构和衍射原理,在光学衍射方向上形成完全无缝的光学调制效果,使像素间缝隙的光学干扰被大大减少。
图5中分光系统由入射准直镜51、色散元件52和出射成像镜53构成。其中,色散元件52设置于入射准直镜51的出射光路上,出射成像镜53设置在色散元件52的出射光路上。色散元件52可以是反射式光栅、透射式光栅或棱镜,它将入射准直镜51准直后的光线分光,按不同波长送至出射成像镜53,最后在后续探测器上得到光谱信息。
图1中视场1中有多个辐射源,嵌入式系统6需要对多个辐射源进行分别选通处理。嵌入式系统6处理多目标辐射信号源的过程参见图6a、6b和6c:嵌入式系统6由图像采集模块得到多个辐射源并存的图像(如图6a所示),再由图像处理模块识别不同辐射源,最后由光栅平动式光调制器控制和驱动模块发命令给光栅平动式光调制器面阵,根据选定的辐射源对光栅平动式光调制器面阵3编程分时生成针对不同辐射源的的狭缝模版,使选定目标辐射信息按时间顺序通过,依次产生选定目标辐射图像,而屏蔽其它辐射(如图6b和图6c所示),这有效地降低了选定目标的背景辐射噪声。嵌入式系统的显示模块负责显示成像光谱仪的最终处理结果。这样的嵌入式系统硬件平台可以选用商用化的Hitech公司的intel PXA255-Pro3嵌入式系统开发套件、华天正科技有限公司的REAL6410嵌入式开发套件及其它具有加载操作系统能力的同等嵌入式硬件平台,软件可以在硬件平台上按上述处理流程进行编写。
以上采用实施例对本发明进行了描述。那些只有在本领域的技术人员阅读了本公开文件之后才变得一目了然的改进和修改,仍然属于本申请的精神和范畴。

Claims (6)

1.一种基于光栅平动式光调制器的多目标成像光谱仪,其特征在于:它由接收光学系统(1)、光栅平动式光调制器面阵(2)、分光系统(3)、探测器(4)、嵌入式系统(5)组成;所光栅平动式光调制器面阵(2)设置于接收光学系统(1)的成像面上;接收分光系统(3)设置于光栅平动式光调制器面阵(2)的出射光路上;探测器(4)设置于分光系统(3)的成像面上;嵌入式系统(5)控制光栅平动式光调制器面阵(2)和探测器(4)协调工作;视场中目标物的辐射信息通过接收光学系统(1)成像在光栅平动式光调制器面阵(2)上,通过对光栅平动式光调制器面阵(2)按照视场中的目标辐射源进行编程驱动,使目标辐射源的光辐射通过,而屏蔽背景光,经过分光系统(3)后目标辐射源的光谱信息会聚到探测器(4)上,最后嵌入式系统(5)通过对探测器上的信号进行采集和处理同时得到目标辐射源的空间维信息和光谱维信息并显示出来。
2.根据权利要求1所述的基于光栅平动式光调制器的多目标成像光谱仪,其特征在于:所述光栅平动式光调制器面阵(2)是通过嵌入式系统(5)的自动识别分析或人工识别,编程动态生成针对视场中多个目标辐射源的狭缝模版,使选定多目标辐射信息通过,而屏蔽其它辐射。
3.根据权利要求1或2所述的基于光栅平动式光调制器的多目标成像光谱仪,其特征在于:所述嵌入式系统(5)由图像采集模块、图像处理模块、显示模块、光栅平动式光调制器控制和驱动模块组成;当选定的多个辐射源排列在光谱色散方向会产生光谱混叠时,嵌入式系统(5)由图像采集模块得到多个辐射源并存的图像,再由图像处理模块识别不同辐射源,最后由光栅平动式光调制器控制和驱动模块发命令给光栅平动式光调制器面阵(2),根据选定的辐射源对光栅平动式光调制器面阵(2)编程分时生成针对不同辐射源的的狭缝模版,使选定目标辐射信息按时间顺序通过,而屏蔽其它辐射。
4.根据权利要求1所述的基于光栅平动式光调制器的多目标成像光谱仪,其特征在于:所述接收光学系统(1)是太空或地面天文望远镜、宽带摄影或远成像系统;它用来获得视场中所有目标的辐射信息,并成像在光栅平动式光调制器面阵(2)上。
5.根据权利要求1所述的基于光栅平动式光调制器的多目标成像光谱仪,其特征在于:所述分光系统(3)由入射准直镜、色散元件和出射成像镜构成,色散元件设置于入射准直镜的出射光路上,出射成像镜设置在色散元件的出射光路上。
6.根据权利要求5所述的基于光栅平动式光调制器的多目标成像光谱仪,其特征在于所述色散元件为反射式光栅、透射式光栅或棱镜。
CN201110033799A 2011-01-31 2011-01-31 基于光栅平动式光调制器的多目标成像光谱仪 Expired - Fee Related CN102175321B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110033799A CN102175321B (zh) 2011-01-31 2011-01-31 基于光栅平动式光调制器的多目标成像光谱仪

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110033799A CN102175321B (zh) 2011-01-31 2011-01-31 基于光栅平动式光调制器的多目标成像光谱仪

Publications (2)

Publication Number Publication Date
CN102175321A true CN102175321A (zh) 2011-09-07
CN102175321B CN102175321B (zh) 2012-08-29

Family

ID=44518531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110033799A Expired - Fee Related CN102175321B (zh) 2011-01-31 2011-01-31 基于光栅平动式光调制器的多目标成像光谱仪

Country Status (1)

Country Link
CN (1) CN102175321B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103017903A (zh) * 2012-12-09 2013-04-03 中国科学院光电技术研究所 基于太阳望远镜光栅光谱仪的光学消旋与狭缝扫描一体化装置
CN110763339A (zh) * 2018-07-25 2020-02-07 中国科学院西安光学精密机械研究所 一种双滤波能量反馈型高光谱成像偏振探测装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1658009A (zh) * 2005-01-13 2005-08-24 重庆大学 光栅平动式光调制器及阵列
CN1702452A (zh) * 2004-05-24 2005-11-30 中国科学院光电技术研究所 数字微镜多目标成像光谱仪装置
CN101387552A (zh) * 2008-10-28 2009-03-18 重庆大学 基于空间光调制器的光谱探测方法及光谱仪

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1702452A (zh) * 2004-05-24 2005-11-30 中国科学院光电技术研究所 数字微镜多目标成像光谱仪装置
CN1658009A (zh) * 2005-01-13 2005-08-24 重庆大学 光栅平动式光调制器及阵列
CN101387552A (zh) * 2008-10-28 2009-03-18 重庆大学 基于空间光调制器的光谱探测方法及光谱仪

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103017903A (zh) * 2012-12-09 2013-04-03 中国科学院光电技术研究所 基于太阳望远镜光栅光谱仪的光学消旋与狭缝扫描一体化装置
CN110763339A (zh) * 2018-07-25 2020-02-07 中国科学院西安光学精密机械研究所 一种双滤波能量反馈型高光谱成像偏振探测装置
CN110763339B (zh) * 2018-07-25 2020-09-29 中国科学院西安光学精密机械研究所 一种双滤波能量反馈型高光谱成像偏振探测装置

Also Published As

Publication number Publication date
CN102175321B (zh) 2012-08-29

Similar Documents

Publication Publication Date Title
Lewis et al. The Anglo-Australian Observatory 2dF facility
US9477072B2 (en) Systems and methods for illumination phase control in fluorescence microscopy
Cui et al. The large sky area multi-object fiber spectroscopic telescope (LAMOST)
US11530982B2 (en) Method and Fourier Transformation spectrometer with double beam interferometer for Single Shot Imaging Fourier Spectroscopy
CN102175323A (zh) 基于桥式光栅光调制器的阿达玛变换成像光谱仪
US8144312B2 (en) Telescope with a wide field of view internal optical scanner
US8174695B2 (en) Arrayed micro-ring spectrometer system and method of use
Goodwin et al. MANIFEST instrument concept and related technologies
CN100468045C (zh) 光栅光谱仪
CN102175322B (zh) 基于光栅平动式光调制器的成像光谱仪
CN101387552A (zh) 基于空间光调制器的光谱探测方法及光谱仪
CN110887564A (zh) 一种运动目标光谱的监测装置及监测方法
CN102175321B (zh) 基于光栅平动式光调制器的多目标成像光谱仪
CN112525345A (zh) 运用基于dmd的多目标成像光谱系统对相近目标的探测方法
CN112484857B (zh) 一种基于dmd的光谱成像系统及方法
CN104006885A (zh) 时空联合调制傅里叶变换成像光谱仪及制作方法
CN100478657C (zh) 推帚式光谱成像仪的宽视场及高分辨率的成像结构
CN104006883A (zh) 基于多级微反射镜的成像光谱仪及制作方法
US6225619B1 (en) Optical fiber-based imaging instrument
Tamura et al. Subaru FMOS now and future
Wishnow et al. Visible imaging Fourier transform spectrometer: design and calibration
Movsessian et al. The Integral Field Spectrograph for the 2.6 m Telescope of the Byurakan Observatory
Sivaramakrishnan et al. The Lyot Project: status and results
Lewis et al. The Anglo-Australian Observatory 2dF Project: Current Status and the First Year of Science
Traub et al. Spectral dispersion and fringe detection in IOTA

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120829

Termination date: 20130131