CN102221746B - 景深扩展的投影系统及影像处理方法 - Google Patents

景深扩展的投影系统及影像处理方法 Download PDF

Info

Publication number
CN102221746B
CN102221746B CN201010165518.2A CN201010165518A CN102221746B CN 102221746 B CN102221746 B CN 102221746B CN 201010165518 A CN201010165518 A CN 201010165518A CN 102221746 B CN102221746 B CN 102221746B
Authority
CN
China
Prior art keywords
image
specific
optical
projection system
optical projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201010165518.2A
Other languages
English (en)
Other versions
CN102221746A (zh
Inventor
张铨仲
宋新岳
张奇伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Priority to CN201010165518.2A priority Critical patent/CN102221746B/zh
Publication of CN102221746A publication Critical patent/CN102221746A/zh
Application granted granted Critical
Publication of CN102221746B publication Critical patent/CN102221746B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Liquid Crystal (AREA)

Abstract

本发明有关于一种景深扩展的投影系统,其包含一影像输入元件及一光学成像元件。该影像输入元件被配置以输入一原始影像或一处理后影像。该光学成像元件为具轴对称结构的光学系统且具有特定球差,其被配置以根据该原始影像或该处理后影像于一投影成像面产生一具有景深扩展的影像。

Description

景深扩展的投影系统及影像处理方法
技术领域
本发明涉及景深扩展的投影系统及影像处理方法。
背景技术
光学成像系统广泛地使用在各种不同的应用场合。除了一般的成像功能外,在特定使用场合中光学成像系统需要能具有扩展景深能力。一般的光学成像系统要求成像质量要好要清晰,同时亦希望具有较大口径的光圈(较小的光圈数),以提高系统的光能量利用效率。但是相对地,具备较小光圈数的光学成像系统却会使景深范围缩短。以投影系统为例,由于光学镜头对物与像的共轭关系限制,除非对投影系统的成像镜头进行“对焦调整”,否则当投影屏幕的位置改变时,投影系统所投影出的影像会随着投影屏幕偏离最佳投影位置量增大而模糊。
除投影系统外,其它如曝光系统若具景深扩展特性,则可提高经曝光制程后结构的深宽比。
美国专利第6,069,738号揭示一种投影系统,其通过景深扩展光罩(Extended Depth of Field(EDF)mask)以及已知所需的影像,将最终所要获得的投影影像利用影像编码器(Image Coder)产生编码影像(Coded Image),并将此编码影像提供给光编码器(Light encoder)以产生编码光(Encoded Light),此编码光再通过景深扩展光罩后便可在投影屏幕上获得投射影像清晰度不随屏幕位置产生变化的投影系统。
因此对于相关产业,景深扩展的投影系统为一重要的发展方向。对于使用者,期能提供一种投影系统,使其投影的影像清晰程度能对投影屏幕的位置变化不敏感,同时所使用的投影镜头亦不需额外作对焦调整的动作。
发明内容
本发明的目的在于提供一种景深扩展的投影系统及影像处理方法,用于使其投影的影像清晰程度能对投影屏幕的位置变化不敏感,同时所使用的投影镜头亦不需额外作对焦调整的动作。
为了实现上述目的,本发明提供一种景深扩展的投影系统,其特征在于,至少包含:
一影像输入元件,配置以输入一原始影像或一处理后影像;以及
一光学成像元件,其为具轴对称结构的光学系统且具有一特定球差,配置以根据该原始影像或该处理后影像于一投影成像面产生一具有景深扩展的影像。
为了实现上述目的,本发明还提供一种景深扩展的影像处理方法,其特征在于,包含下列步骤:
根据一原始影像及一光学成像元件的点扩散函数或利用滤波器运算元对原始影像进行褶积计算产生一预处理影像;
根据该预处理影像执行一数值平移程序以产生一数值平移影像;以及
根据该数值平移影像执行一动态范围调整程序以产生一处理后影像。
附图说明
图1例示一本发明的一实施例的景深扩展的投影系统;
图2A显示本发明的一实施例的一点扩散函数的三维分布;
图2B显示本发明的一实施例的另一点扩散函数的三维分布;
图3A显示本发明的一实施例的一投影出的影像;
图3B显示本发明的一实施例的另一投影出的影像;
图4A显示本发明的一实施例的再一点扩散函数的三维分布;
图4B显示本发明的一实施例的再一点扩散函数的三维分布;
图5A显示本发明的一实施例的再一投影出的影像;
图5B显示本发明的一实施例的再一投影出的影像;
图6例示本发明的一实施例的一景深扩展的影像处理方法的流程图;
图7显示本发明的一实施例的再一点扩散函数的三维分布;
图8显示本发明的一实施例的再一投影出的影像;以及
图9例示本发明的一实施例的另一景深扩展的投影系统。
其中,附图标记:
100、900    景深扩展的投影系统
101、901    光源装置
102、902    影像输入元件
103、903    光学成像元件
104、904    投影成像面
905         影像处理模块
11、91      光源
12、92      集光透镜
601-606     步骤
具体实施方式
本发明在此所探讨的方向为一种景深扩展的投影系统及影像处理方法。为了能彻底地了解本发明,将在下列的描述中提出详尽的步骤及组成。显然地,本发明的施行并未限定于相关领域的技艺者所熟习的特殊细节。另一方面,众所周知的组成或步骤并未描述于细节中,以避免造成本发明不必要的限制。本发明的较佳实施例会详细描述如下,然而除了这些详细描述之外,本发明还可以广泛地施行在其它的实施例中,且本发明的范围不受限定,其以之后的专利范围为准。
根据本发明的一实施范例,图1例示一景深扩展的投影系统100。投影系统100包含一光源装置101、一影像输入元件102及一光学成像元件103。根据本发明的一实施范例,光源装置101包含一光源11及一集光透镜12,但本发明并不以此为限。影像输入元件102被配置以输入一原始影像或一处理后影像。根据本发明的一实施范例,该影像输入元件102可为一液晶显示(LiquidCrystal Display)元件、一数字反射镜元件(Digital Mirror Device)、一液晶硅板(Liquid Crystal on Silicon,LCoS)元件或一光罩(Mask),但本发明并不以此为限。根据本发明的一实施范例,该原始影像,例如,为一标准Lena影像。光学成像元件103具有一特定球差,其配置以根据该原始影像或该处理后影像于一投影成像面104产生一具有景深扩展的影像。根据本发明的一实施范例,该影像输入元件102及该光学成像元件103配置于该光源装置101及该投影成像面104之间。
光学成像元件103的特定球差包含一特定三阶球差。根据本发明的一实施范例,光学成像元件103的特定球差另包含至少一高于该特定三阶球差的高阶球差,并且该高阶球差的大小远低于该特定三阶球差的大小。根据本发明的一实施范例,若该光学成像元件103为一现有的光学成像元件,可外加一经设计过的元件于该光学成像元件103之中以实现该特定三阶球差。例如该特定三阶球差可由一相位光罩、一振幅光罩、一相位振幅光罩、一绕射光学元件或一折射率渐变元件所产生,亦可以为上述元件中的组合。举例而言,可以是两个相位光罩的组合,或者是一振幅光罩、一相位振幅光罩与一折射率渐变元件的组合。该外加元件可放置于该光学成像元件103的光圈处、出瞳处或入瞳处。若因该光学成像元件103的机构限制,则亦可放置于该光学成像元件103的前端或后端。易言之,只要整体系统的像差要求满足本发明的特定像差分布,该外加元件不限于放置于该光学成像元件103的何处。该设计过之外加元件可利用其对不同位置的相位、振幅、折射率分布变化使最终系统的像差达到要求。
根据本发明的另一实施范例,若对光学成像元件重新进行设计,则上述外加的元件可通过该光学成像元件103的重新设计而整合于该光学成像元件103之中,意即该光学成像元件103的特定三阶球差可通过重新设计的一球面镜光学元件或一标准轴对称的非球面镜光学元件产生,亦可以为上述元件中的组合。举例而言,可以是两个球面镜光学元件的组合,或者是一球面镜光学元件与一标准轴对称的非球面镜光学元件的组合而产生。同时,亦可将一相位光罩、一振幅光罩、一相位振幅光罩、一绕射光学元件或一折射率渐变元件制作于一个或两个以上的球面镜或非球面镜片上而产生。举例而言,可以是一相位光罩制作于两个球面镜片上而产生,使最终系统的像差达到要求。然而,本发明的特定三阶球差达成方法不以上述范例为限。
本发明所指的轴对称的光学系统指该光学成像元件103(例如是投影镜头)具有一固定光轴,若对该光学成像元件103以该光轴做为旋转轴而进行旋转,则不论旋转角度为何,经旋转后的该光学成像元件103与未经旋转的该光学成像元件103皆相同,同时该光学成像元件103的特性亦不改变。
根据本发明的一实施范例,影像输入元件102包含一液晶显示元件。根据本发明的一实施范例,光学成像元件103的特定三阶球差大小依据投影系统100所需的景深(投影距离变化量)而决定。举例来说,于一特定景深要求范围内,可将光学成像元件103的特定三阶球差设计于特定范围内,例如0.25λ~2.85λ,此时若要求系统截止空间频率v cutoff>2/3v。则根据本发明的一实施范例,可将特定三阶球差设计为2.35λ(v为液晶显示元件上单一像素所对应的截止空间频率,v cutoff为给定球差为0.25λ~2.85λ时的系统截止空间频率,λ为光线波长)。因此,若所须截止的空间频率愈低(亦或液晶显示元件单一像素尺寸增大),则可加大三阶球差,使投影系统100的景深增长。
此外,除了特定三阶球差外,光学成像元件103的特定球差亦可能包含高阶像差(此高阶像差可能是在光学成像元件103设计所残留的,或因光学成像元件103制作误差而导致)。因此本实施范例具备球差特性的光学成像元件103,除了特定三阶球差外,在高阶球差(五阶、七阶或更高阶球差)的部分会要求各高阶球差的系数总和小于三阶球差系数,以使投影系统100的景深特性主要由光学成像元件103的特定三阶球差控制。根据本发明的一实施范例,光学成像元件103的各阶球差以及总体像差关系可由以下方程式表示:
W ( ρ ) = W 040 ρ 4 - W 060 ( Δz f ) ρ 6 + W 080 ( Δz f ) 2 ρ 8 - W 0100 ( Δz f ) 3 ρ 10 + . . . - - - ( 1 )
其中W(ρ)为投影镜头的总体像差,ρ为规一化后光学成像元件103的出瞳半径,W040~W0100为各阶球差系数,Δz为投影系统100的景深,f为光学成像元件103的有效焦距。
根据发明的一实施范例,影像输入元件102为一液晶显示元件,其对角线长度为0.47时,像素大小为10×7.5μm。光学成像元件103的光圈值为1.75,有效焦距为14.479mm,最佳投影距离为45cm。若光学成像元件103为一般传统镜头,图2A显示最佳成像面的点扩散函数的三维分布。若影像输入元件102偏离光学成像元件103最佳成像面位置达+/-0.05mm时,其点扩散函数的三维分布如图2B所示。特言之,若以光学成像元件103有效焦距换算,影像输入元件102离焦+/-0.05mm相当于物距变化从40.9cm至50cm。若输入影像为一标准Lena影像,投影系统100在物距为45cm及50cm时所投影出的影像分别如图3A及图3B所示。相对地,根据本发明的一实施范例,若光学成像元件103的特定三阶球差系数大小设计为3.5个波长,则最佳成像面位置的点扩散函数的三维分布如图4A所示。若影像输入元件102偏离光学成像元件103最佳成像面位置达+/-0.05mm时,其点扩散函数的三维分布如图4B所示。若输入影像为一标准Lena影像,投影系统100在物距为45cm及50cm时所投影出的影像分别如图5A及图5B所示。
根据本发明的再一实施范例,图6揭示一景深扩展的影像处理方法的流程图。在步骤601开始本影像处理方法的流程。根据本发明的一实施范例,图7例示影像输入元件偏离光学成像元件最佳成像面位置达+/-0.08mm时的点扩散函数的三维分布。该光学成像元件具有一特定球差,其中该特定球差包含一特定三阶球差。该特定球差另包含至少一高于该特定三阶球差的高阶球差,并且该高阶球差的大小远低于该特定三阶球差的大小。在步骤602中,根据一原始影像及该光学成像元件的点扩散函数或利用滤波器运算元对原始影像进行褶积计算产生一预处理影像。根据本发明的一实施范例,若一理想的投影系统的点扩散函数可用Delta函数表示,一原始影像(例如,一标准Lena影像)的函数以O(x,y)函数表示,则经此理想的投影系统所产生的影像I(x,y)可由以下方程式表示:
O ( x , y ) ⊗ δ z ( x , y ) = I ( x , y ) - - - ( 2 )
根据本发明的一实施范例,若光学成像元件的点扩散函数以h(x,y)表示,则一预处理影像O′(x,y)函数与点扩散函数h(x,y)及所产生的影像I(x,y)的关系可由以下方程式表示:
O ′ ( x , y ) ⊗ h ( x , y ) = I ( x , y ) - - - ( 3 )
接下来,将式(2)及式(3)利用傅立叶转换至频率空间,则可得到以下方程式:
Figure GSA00000092925300063
Figure GSA00000092925300064
最后,将式(5)除以式(4)可以求得预处理影像O′(x,y)函数的关系式为
根据式(6),只要知道原始影像以及光学成像元件的点扩散函数,便可求得预处理影像O′(x,y)函数在空间中的强度分布。根据本发明的一实施范例,预处理影像亦可通过利用具备特定空间维度大小的滤波器运算元(filter kernel)对所需投射出的影像进行褶积(convolution)计算获得。
此外,尚须确认预处理影像O′(x,y)函数的最低强度是否小于零,以及预处理影像O′(x,y)函数最大与最小强度分布范围是否与影像输入元件(一实施范例中可为液晶显示元件)灰阶显示范围(一实施范例中可为动态范围)匹配。因此,在步骤603中,根据该预处理影像执行一数值平移程序以产生一数值平移影像。该数值平移程序对于该预处理影像中每一像素的强度值进行平移动作,以使该数值平移影像中具最低强度像素对应的影像强度值大于或等于零。在步骤604中,根据该数值平移影像执行一动态范围调整程序以产生一处理后影像。该动态范围调整程序调整该数值平移影像中每一像素的强度值,以使该处理后影像中像素的强度值与该影像输入元件的灰阶动态范围匹配。完成动态范围调整程序后,将该处理后影像加载影像输入元件。在步骤605中,通过该光学成像元件成像该处理后影像以产生具有景深扩展的影像。根据本发明的一实施范例,图8例示在物距为53.6cm处成像的影像。最后,在步骤606中结束本流程。
根据本发明的再一实施范例,图9例示一景深扩展的投影系统900。投影系统900包含一光源装置901、一影像输入元件902、一光学成像元件903及一影像处理模块905。根据本发明的一实施范例,光源装置901包含一光源91及一集光透镜92,但本发明并不以此为限。影像输入元件902被配置以输入一原始影像或一处理后影像。根据本发明的一实施范例,该影像输入元件902可包含一液晶显示元件、一数字反射镜元件、一液晶硅板元件或一光罩,但本发明并不以此为限。根据本发明的一实施范例,该原始影像,例如,为一标准Lena影像。光学成像元件903具有一球差,其配置以根据该原始影像或该处理后影像于一投影成像面904产生一具有景深扩展的影像。根据本发明的一实施范例,该影像输入元件902及该光学成像元件903配置于该光源装置901及该投影成像面904之间。影像处理模块905被配置以执行一影像处理程序,该影像处理程序包含:根据该原始影像及该光学成像元件的点扩散函数产生一预处理影像;根据该预处理影像执行一数值平移程序以产生一数值平移影像;以及根据该数值平移影像执行一动态范围调整程序以产生该处理后影像。
当然,本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员当可根据本发明做出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (20)

1.一种景深扩展的投影系统,其特征在于,至少包含:
一影像输入元件,配置以输入一原始影像或一处理后影像;
一光学成像元件,其为具轴对称结构的光学系统且具有一特定球差,配置以根据该原始影像或该处理后影像于一投影成像面产生一具有景深扩展的影像;以及
一影像处理模块,配置以执行一影像处理程序,该影像处理模块包含:
根据该原始影像及该光学成像元件的点扩散函数产生一预处理影像的模块;
根据该预处理影像执行一数值平移程序以产生一数值平移影像的模块;以及
根据该数值平移影像执行一动态范围调整程序以产生该处理后影像的模块。
2.根据权利要求1所述的投影系统,其特征在于,另包含一光源装置,其中该影像输入元件及该光学成像元件配置于该光源装置及该投影成像面之间。
3.根据权利要求1所述的投影系统,其特征在于,该特定球差包含一特定三阶球差。
4.根据权利要求3所述的投影系统,其特征在于,该特定球差另包含至少一高于该特定三阶球差的高阶球差,并且各该高阶球差的系数总和低于三阶球差的系数。
5.根据权利要求3所述的投影系统,其特征在于,该特定三阶球差由至少一相位光罩、一振幅光罩或一相位振幅光罩产生。
6.根据权利要求3所述的投影系统,其特征在于,该特定三阶球差由至少一标准轴对称的非球面镜的光学元件产生。
7.根据权利要求3所述的投影系统,其特征在于,该特定三阶球差由至少一绕射光学元件产生。
8.根据权利要求3所述的投影系统,其特征在于,该特定三阶球差由至少一折射率渐变元件产生。
9.根据权利要求3所述的投影系统,其特征在于,该特定三阶球差由至少一球面镜的光学元件产生。
10.根据权利要求3所述的投影系统,其特征在于,该特定三阶球差由将一相位光罩、一振幅光罩、一相位振幅光罩、一绕射光学元件或一折射率渐变元件制作于至少一非球面镜片上而产生。
11.根据权利要求3所述的投影系统,其特征在于,该特定三阶球差由将一相位光罩、一振幅光罩、一相位振幅光罩、一绕射光学元件或一折射率渐变元件制作于至少一球面镜片上而产生。
12.根据权利要求1所述的投影系统,其特征在于,该影像输入元件包含一液晶显示元件、一数字反射镜元件、一液晶硅板元件或一光罩。
13.根据权利要求3所述的投影系统,其特征在于,该特定三阶球差根据该景深扩展的投影系统的所需景深而决定。
14.一种景深扩展的影像处理方法,其特征在于,包含:
根据一原始影像及一光学成像元件的点扩散函数或利用滤波器运算元对原始影像进行褶积计算产生一预处理影像;
根据该预处理影像执行一数值平移程序以产生一数值平移影像;以及
根据该数值平移影像执行一动态范围调整程序以产生一处理后影像。
15.根据权利要求14所述的影像处理方法,其特征在于,另包含通过该光学成像元件成像该处理后影像以产生具有景深扩展的影像的步骤。
16.根据权利要求14所述的影像处理方法,其特征在于,光学成像元件具有一特定球差。
17.根据权利要求16所述的影像处理方法,其特征在于,该特定球差包含一特定三阶球差。
18.根据权利要求17所述的影像处理方法,其特征在于,该特定球差另包含至少一高于该特定三阶球差的高阶球差,并且各该高阶球差的系数总和低于三阶球差的系数。
19.根据权利要求14所述的影像处理方法,其特征在于,该数值平移程序对于该预处理影像中每一像素的强度值进行平移动作,以使该数值平移影像中具最低强度像素对应的影像强度值大于或等于零。
20.根据权利要求14所述的影像处理方法,其特征在于,该动态范围调整程序调整该数值平移影像中每一像素的强度值,以使该处理后影像中像素的强度值分布与影像输入元件的灰阶动态范围匹配。
CN201010165518.2A 2010-04-15 2010-04-15 景深扩展的投影系统及影像处理方法 Expired - Fee Related CN102221746B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201010165518.2A CN102221746B (zh) 2010-04-15 2010-04-15 景深扩展的投影系统及影像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010165518.2A CN102221746B (zh) 2010-04-15 2010-04-15 景深扩展的投影系统及影像处理方法

Publications (2)

Publication Number Publication Date
CN102221746A CN102221746A (zh) 2011-10-19
CN102221746B true CN102221746B (zh) 2014-01-22

Family

ID=44778339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010165518.2A Expired - Fee Related CN102221746B (zh) 2010-04-15 2010-04-15 景深扩展的投影系统及影像处理方法

Country Status (1)

Country Link
CN (1) CN102221746B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI467226B (zh) * 2011-11-15 2015-01-01 Ind Tech Res Inst 相位物體顯微系統
CN106610521B (zh) * 2015-10-22 2019-11-19 中强光电股份有限公司 取像装置以及影像拍摄方法
CN108012136B (zh) * 2017-12-08 2019-06-21 北京信息科技大学 一种基于模糊函数刻画的聚焦扫描与计算成像方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2468068Y (zh) * 2001-03-02 2001-12-26 彭件祥 显示投影设备
CN101048691A (zh) * 2004-09-03 2007-10-03 自动识别与控制公司 使用具有受控球面像差范围和中心遮拦孔径的多焦点透镜的扩展景深
EP1978394A1 (en) * 2007-04-06 2008-10-08 Global Bionic Optics Pty Ltd. Optical system for increasing depth of field

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2096483A1 (en) * 2008-02-29 2009-09-02 Global Bionic Optics Pty Ltd. Single-lens extended depth-of-field imaging systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2468068Y (zh) * 2001-03-02 2001-12-26 彭件祥 显示投影设备
CN101048691A (zh) * 2004-09-03 2007-10-03 自动识别与控制公司 使用具有受控球面像差范围和中心遮拦孔径的多焦点透镜的扩展景深
EP1978394A1 (en) * 2007-04-06 2008-10-08 Global Bionic Optics Pty Ltd. Optical system for increasing depth of field

Also Published As

Publication number Publication date
CN102221746A (zh) 2011-10-19

Similar Documents

Publication Publication Date Title
CN106249380B (zh) 光学成像系统
CN202815300U (zh) 影像撷取系统组
CN106569316B (zh) 光学成像系统
CN106154497B (zh) 光学成像系统
CN100541259C (zh) 摄像用光学系统
US9651722B2 (en) Optical system and optical apparatus
CN103913821A (zh) 光学结像系统
CN106353878B (zh) 光学成像系统
CN107272155A (zh) 摄像光学镜组、取像装置以及车用摄影装置
TWI394980B (zh) 攝影用光學鏡組
CN104280861B (zh) 摄像系统镜片组及取像装置
CN106168700A (zh) 光学成像系统
CN103792646A (zh) 光学摄影系统组
CN106501920A (zh) 光学成像系统
CN105988199A (zh) 摄影系统、取像装置及电子装置
CN202837663U (zh) 摄影光学系统镜组
CN104297901A (zh) 影像撷取系统镜片组及取像装置
CN111505797B (zh) 电子装置
CN106569315A (zh) 光学成像系统
TWI421618B (zh) 景深擴展之投影系統及影像處理方法
CN107643582A (zh) 光学成像系统
WO2021007930A1 (zh) 一种近距离成像用微型成像镜头
CN209102996U (zh) 光学成像系统
CN102221746B (zh) 景深扩展的投影系统及影像处理方法
Falcón et al. Performance limits of binary annular phase masks codesigned for depth-of-field extension

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140122

CF01 Termination of patent right due to non-payment of annual fee