CN101976032B - 基于一阶谱谱面重组的计算全息三维图像显示方法及系统 - Google Patents

基于一阶谱谱面重组的计算全息三维图像显示方法及系统 Download PDF

Info

Publication number
CN101976032B
CN101976032B CN 201010552736 CN201010552736A CN101976032B CN 101976032 B CN101976032 B CN 101976032B CN 201010552736 CN201010552736 CN 201010552736 CN 201010552736 A CN201010552736 A CN 201010552736A CN 101976032 B CN101976032 B CN 101976032B
Authority
CN
China
Prior art keywords
spectrum
lens
face
order
spatial light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 201010552736
Other languages
English (en)
Other versions
CN101976032A (zh
Inventor
腾东东
王彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN 201010552736 priority Critical patent/CN101976032B/zh
Publication of CN101976032A publication Critical patent/CN101976032A/zh
Application granted granted Critical
Publication of CN101976032B publication Critical patent/CN101976032B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Holo Graphy (AREA)

Abstract

本发明公开了一种基于一阶谱谱面重组的计算全息三维图像显示方法及系统。设计空间光调制器x方向上的像素填充因子为0.5,采用两个不同入射角度的照射光,通过光阑滤除非一阶谱信息,在保持面积不变的情况下,将空间光调制器靶面M×N的分辨率在等效调制面上转换为(2M)×(N/2),x方向上的像素尺寸发生0.5倍微缩,实现菲涅尔计算全息三维图像显示视角的双倍展宽。本发明可实现单个空间光调制器的双目可视三维图像显示,对计算全息三维图像显示技术的实用化,具有积极作用。

Description

基于一阶谱谱面重组的计算全息三维图像显示方法及系统
技术领域
本发明涉及三维图像显示技术领域,具体公开了一种基于一阶谱谱面重组的计算全息三维图像显示方法及系统。
背景技术
由于二维显示难以清楚准确表达第三维的深度信息,人们一直在致力于研究可显示立体场景的显示技术——三维图像显示技术。全息三维显示技术利用光的干涉,记录物光的振幅和位相信息,再通过光的衍射将物光的信息重新构建出来,是各种显示方法中唯一真正意义上的三维显示技术。
早期的光学全息需要制备三维物体的模型,反射光束进行相干记录,限制了全息技术的实际应用。随着光电技术及器件的迅速发展,数字全息三维显示技术的发展及应用取得了飞速发展,其基本原理是用计算机模拟光学衍射过程,并用光调制器件代替传统全息记录材料,在光波传输路径的某一个平面上模拟衍射光的复振幅,实现三维图像信息的全记录,再通过光学衍射,复现出三维图像。
但受调制器空间分辨率的限制,光调制器通过光学系统衍射直接生成的三维图像观察视角比较小,需要采用其它方法,对显示三维图像的视角进行展宽。为了解决这个问题,目前常用的一个方法是分时复用,采用具有较高刷新频率的光调制器件,将显示图像不同观察方位角对应的计算编码依次输入,通过同步扫描等技术,将不同视角的三维图顺序快速显示,依靠人眼的视觉停留,获得大视角三维图像的视觉效果。另一个方法为空间复用,通过多个调制器件的拼合来提高输出面的空间带宽积,以实现较大的衍射角。前者需要机械扫描装置,后者多个调制器的准确拼合存在难度,且其系统成本都较高,限制了三维显示技术的进一步实用化。
YaKaki等人在2008年提出了谱面重组技术,牺牲一个方向的分辨率,通过谱面重组,实现另一方向分辨率的提高,可以实现单个调制器件的双目可视三维图像显示。但由于调制器件像素的周期结构,谱面存在高阶衍射项,会和重组后谱面发生重叠,带来严重串扰。
发明内容
针对光调制器件衍射生成的三维图像观察视角有限的问题,本发明的目的是基于一阶谱谱面重组技术,通过像素填充因子和光束入射角的设计,提出了一种无串扰计算全息三维图像显示方法及系统,可以将菲涅尔计算全息三维图像x方向的观察视角增大一倍。
本发明的目的及解决其技术问题是采用以下技术方案来实现的。依据本发明提出的基于一阶谱谱面重组的计算全息三维图像显示系统,包括:准直透镜,用于将发散光束转换系统入射光束;谱面重组光学系统,由第一透镜和第二透镜组成;空间光调制器,输入二维编码,并经过上述第一透镜的转换,在空间光调制器对应频谱面上显示输入二维编码的频谱分布;相干点光源,通过准直透镜,为上述空间光调制器件提供入射光;以及光阑,位于上述空间光调制器由第一透镜所确定的频谱面上。
空间光调制器在x方向像素透光部分线度和像素线度的比值为0.5。
第一透镜和第二透镜可以采用透镜组,或具有位相调制功能的衍射光学元件代替。
同时,本发明还提供了一种基于一阶谱谱面重组的计算全息三维图像显示方法,包括以下步骤:
建立xyz轴坐标,其中,第一透镜、第二透镜、光阑及空间光调制器均平行xy面设置;
空间光调制器(像素尺寸px×py,分辨率M×N)输入二维编码信息,经第一透镜转换后投射在频谱面上,调节两相干点光源位置,使谱面上的一阶谱项在x方向上依次排列,在y方向上错位排列,错位距离为二分之一一阶谱谱面尺寸;
光阑孔径x方向为单个一阶谱尺寸的二倍,y方向为单个一阶谱尺寸的二分之一,截取两个一阶谱的各上下二分之一,滤除其它频谱信息;
滤波后光信息经过第二透镜的再次转换,复现空间光调制器的输入信息于等效调制面,实现等效调制面上分辨率为(2M)×(N/2)的等效计算全息编码;
按(2M)×(N/2)的分辨率,采用菲涅尔计算全息,计算三维图像在等效调制面上(2M)×(N/2)的等效计算全息编码;反向经第二透镜,数值计算等效计算全息编码在频谱面上(2M)×(N/2)的信息分布,并沿x方向对称分成两个M×(N/2)子区域;以及
将两个子区域沿垂直y方向上下排列,合成分辨率为M×N的重组谱,反向经第一透镜,数值计算重组谱在空间光调制器处分辨率为M×N的二维编码信息,该二维编码信息即为空间光调制器的输入二维编码,将其加载到双光束入射的空间光调制器,通过上述三维图像显示系统,实现三维图像的显示。
借由上述技术方案,本发明基于谱面重组的计算全息三维图像显示方法及系统至少具有的有益效果是:以单个光调制器为输入器件,可以在x方向无串扰地将其生成菲涅尔计算全息三维图像的观察视角增大,利用现有光调制器件,在一定的观察距离下,可以实现双目可视三维图像的单调制器件衍射显示,有利于三维图像显示技术的实用化。
附图说明
图1为本发明的谱面重组系统光路图。
图2为谱面光阑滤波结构示意图。
图3(a)和3(b)分别为SLM靶面和有效调制面的像素尺寸图。
图4为高阶谱对零阶谱的串扰示意图。
图5为无串扰双一阶谱重组示意图。
10:准直透镜                                20:空间光调制器
30:谱面重组光学系统                        31:第一透镜
32:第二透镜                                40:光阑
具体实施方式
为了更详细的解释本发明所提出的基于一阶谱谱面重组技术的三维图像显示技术,以下结合附图及系统的某一具体参数,对本发明进行详细阐述。应当理解,此处所描述的实施例仅仅是用以解释本发明的设计,并不用于限定本发明。
实施例
如图1所示,本发明的谱面重组系统包括:用于为系统提供平行入射光束的准直透镜10(焦距fc),由第一透镜31(焦距f1)和第二透镜32(焦距f2)组成的谱面重组光学系统30,令f1=f2=ff;位于第一透镜31的前焦面上的空间光调制器20(像素尺寸px×py,分辨率M×N);位于准直透镜10前焦面上的点光源;以及位于第一透镜31后焦面(系统谱面)上的光阑40。
该准直透镜10可将其前焦面上的相干点光源出射的光束转化为平行光束,并以特定角度入射空间光调制器20;空间光调制器20输入二维编码,并通过第一透镜31的转换,在谱面上得到该空间光调制器20输入信息的频谱分布。该空间光调制器20可以是反射型或透射型、位相调制型或振幅调制型,若采用反射型空间光调制器,其靶面应稍微倾斜于第一透镜31的前焦面。
该谱面重组光学系统30可以在谱面上通过光阑40进行非一阶谱滤除和一阶谱重组。该点光源通过准直透镜10为上述空间光调制器20提供了不同入射方向的相干光源。第一透镜31和第二透镜32可以采用多个透镜或透镜组,或具有位相调制功能的衍射光学元件代替。
以第一透镜31的前焦面上有1、2、3、4四个相干点光源(波长λ)为例,其位置分别为 ( - 3 2 f c p x f f , 3 8 f c p y f f ) , ( - 1 2 f c p x f f , 1 8 f c p y f f ) , ( 1 2 f c p x f f , - 1 8 f c p y f f ) , ( 3 2 f c p x f f , - 3 8 f c p y f f ) , 其分布关于中心对称。经准直透镜10准直后,分别平行入射空间光调制器20,不考虑高阶衍射项,经第一透镜31的变换,在谱面上生成图2所示四个谱面的依次排列分布。高度λf1/4py、宽度4λf1/px的光阑40对谱面进行滤波,只让图2所示无斜线的谱面信息透过。图中L1#1代表图1中点光源1出射的相干光入射空间光调制器20时对应谱面的第一个1/4高度部分,L3#2代表图1中点光源3出射的相干光入射空间光调制器20时对应谱面的第二个1/4高度部分,其它类推。可见,谱面上无遮挡通过光阑的信息(光阑孔径滤波信息)包含了空间光调制器20输入编码的所有频谱信息,但其排列方式发生了转变,分辨率M×N转变为(4M)×(N/4)。由于入射光源的对称性,滤波信息的对称性也保持不变,也就是说,若采用振幅调制光调制器,滤波信息是轭米对称的,若采用位相调制光调制器,滤波信息是反轭米对称的。滤波信息经第二透镜32傅里叶变换,在有效调制面上得到取样间隔为(px/4)×(4py),分辨率为(4M)×(N/4)的纯振幅或纯位相编码信息。
空间光调制器20靶面和有效调制面对应取样单元尺寸的大小分别如图3(a)和3(b)所示。
但目前所用任何空间光调制器像素的填充因子都不可能实现100%。考虑其填充因子σ(像素透光部分线度和像素线度的比值),存在高阶谱项的影响。以一维函数为例:
F { 1 p x f ( x ) comb ( x p x ) ⊗ rect ( x σ p x ) }
= ΣF ( u - n 1 p x ) σ sin c ( nσ )
= σF ( u ) + sin ( σπ ) π F ( u - 1 p x ) + sin ( 2 σπ ) 2 π F ( u - 2 p x ) + sin ( 3 σπ ) 3 π F ( u - 3 p x ) + . . .
= F 0 ( u ) + F 1 ( u ) + F 2 ( u ) + F 3 ( u ) + . . .
其中F0(u)为我们需要的频谱信息-零阶谱,F1(u)、F2(u)、F3(u)等分别为一阶、二阶、三阶等高阶谱。
如图4所示,光阑40通光孔径的z1、z2、z3和z4四个子区域,让不同入射光对应零阶谱的不同四分之一部分通过,实现了空间光调制器20输入信息的零阶谱信息重组。图中z2子区域的L2##0代表入射光2对应0阶谱分布和z2子区域空间重叠部分,z1子区域的L2##-1代表入射光2对应-1阶谱分布和z2子区域空间重叠部分,其它类推。各个子区域,如z1子区域,切割出我们需要的入射光1对应0阶谱的四分之一:L1##0,但同时也让高阶谱信息L2##-1、L3##-2、L4##-3透过,作为噪声,严重影响最终的显示效果。
由上面公式可知,当空间光调制器20x方向上的像素填充因子(像素透光部分线度和像素线度的比值)σ=0.5时,F2(u)、F4(u)等偶数高阶项为零。利用这个特性,以一阶谱为合成谱的切割对象,采用两束入射光,通过设计照射光的入射角度,可以消除高阶谱的重叠串扰,实现衍射生成图像水平方向上观察视角的双倍展宽。
令准直透镜10前焦面上两相干点光源位置为
Figure GDA0000126948680000051
Figure GDA0000126948680000052
经准直透镜10入射σ=0.5的空间光调制器20,在谱面上对一阶谱进行切割,如图5所示。在光阑40的z1子区域,分布有入射光1对应1阶谱信息和入射光2对应-2阶谱信息,又因为偶数高阶谱项为零,故z1子区域只有L1##1表示的二分之一入射光1对应1阶谱信息的信息可以通过。同样,z2子区域只有L2##-1表示的二分之一入射光2对应-2阶谱信息的信息可以通过。这样,空间光调制器20输入编码信息的傅里叶变换谱信息(分辨率M×N)通过光阑40中转换成了(2M)×(N/2),且其对称性(轭米或反轭米对称性)保持不变。经第二透镜32,在等效调制面上可以得到等效计算全息编码,其分辨率为(2M)×(N/2),取样间隔为(px/2)×(2py),在x方向像素尺寸发生0.5倍微缩。
按(2M)×(N/2)的分辨率,采用菲涅尔计算全息,计算三维图像在等效调制面上(2M)×(N/2)的等效计算全息编码;反向经第二透镜32,数值计算等效计算全息编码在谱面上(2M)×(N/2)的信息分布,其空间分布和图5中的z1和z2子区域重合;将两个子区域对应信息沿垂直x方向上下排列,合成分辨率为M×N的重组谱信息分布(重组谱);再反向经第一透镜31,数值计算重组谱在空间光调制器20处分辨率为M×N的二维编码信息,该二维编码既是空间光调制器20的输入编码信息。将该二维编码加载到双光束入射的空间光调制器;通过本发明的三维图像显示系统,可实现x方向视角双倍展宽的三维图像显示。
综上所述,本发明的特点在于丢弃零阶谱,以一阶谱为切割重组对象;设计空间光调制器水平方向上的像素填充因子为0.5,通过点源面上两个点光源位置的设定,将特定角度的两束相干光同时入射空间光调制器,在谱面上生成包含零阶谱项和一阶谱、二阶谱等高阶谱项的两个谱面的排列;采取合适光阑,去除其它各阶谱项的叠加串扰,完成一阶谱的切割重组,在有效调制面上,实现像素尺寸为
Figure GDA0000126948680000061
分辨率为
Figure GDA0000126948680000062
的纯振幅或纯位相编码信息,由衍射原理,其生成三维图像的观察视角,在水平方向上是空间光调制器直接衍射获得的二倍。
若空间光调制器的像素为8微米,以500纳米波长光入射,则采用本发明的一阶谱谱面重组后,生成衍射图像的观察视角θ=arcsin(λ/d)=arcsin(0.5/8/2)≈7.2°,取人双目间距约55毫米,则在440毫米处,就可以双目同时观察到生成的三维图像,实现单个空间光调制器的双目可视三维图像显示,对计算全息三维图像显示技术的实用化,具有很积极的作用。
另外,采用傅里叶计算全息,将上述计算全息三维图像显示系统的谱面重组光路进行改进,只保留第一透镜,在其后焦面上进行非一阶谱滤除和一阶谱重组,在光阑附近实现傅里叶计算全息三维图像显示,等效调制面位于第一透镜的前焦面上,显示图像其观察视角没有展宽,但可以实现x方向显示图像尺寸的扩展。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,故凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。

Claims (3)

1.一种基于一阶谱谱面重组的计算全息三维图像显示系统,其特征在于其包括:
空间光调制器,其调制面被输入二维编码信息;
准直透镜,用于将发散光束转换为系统入射光束;
谱面重组光学系统,由第一透镜和第二透镜组成,通过该第一透镜的转换,上述空间光调制器被输入的二维编码信息的傅里叶频谱分布于该第一透镜后焦面所确定的频谱面上;
两个相干点光源,经上述准直透镜转换,为上述空间光调制器提供入射光束;以及光阑,位于上述频谱面上;
其中,建立xyz轴坐标,上述第一透镜、第二透镜、光阑及空间光调制器均平行xy面设置;
上述空间光调制器沿x方向的像素透光部分线度和像素线度的比值为0.5;
调节上述两个相干点光源的位置,使两个点光源所提供入射光束对应的两个一阶谱在频谱面上沿x方向依次排列,沿y方向错位排列,错位距离为二分之一一阶谱谱面尺寸;
上述光阑的孔径沿x方向为单个一阶谱尺寸的二倍,沿y方向为单个一阶谱尺寸的二分之一,截取两个一阶谱的各上下二分之一,滤除其它频谱信息;
经上述光阑滤波的光信息经过上述第二透镜的再次转换,复现上述空间光调制器被输入的二维编码信息于等效调制面。
2.根据权利要求1所述的计算全息三维图像显示系统,其特征在于:第一透镜和第二透镜采用透镜组,或具有位相调制功能的衍射光学元件代替。
3.一种通过权利要求1或2所述的计算全息三维图像显示系统实现的基于一阶谱谱面重组的计算全息三维图像显示方法,其特征在于包括以下步骤:
建立xyz轴坐标,第一透镜、第二透镜、光阑及空间光调制器均平行xy面设置;
像素尺寸px×py,分辨率M×N的空间光调制器被输入的二维编码信息,经第一透镜转换后投射在频谱面上;
调节两个相干点光源的位置,使两个点光源所提供入射光束对应的两个一阶谱在频谱面上沿x方向依次排列,沿y方向错位排列,错位距离为二分之一一阶谱谱面尺寸;
上述光阑的孔径沿x方向为单个一阶谱尺寸的二倍,沿y方向为单个一阶谱尺寸的二分之一,截取两个一阶谱的各上下二分之一,滤除其它频谱信息;
经上述光阑滤波的光信息经上述第二透镜的再次转换,复现空间光调制器被输入的二位编码信息于等效调制面,实现等效调制面上分辨率为(2M)×(N/2)的等效计算全息编码;
按(2M)×(N/2)的分辨率,采用菲涅尔计算全息,计算三维图像在等效调制面上(2M)×(N/2)的等效计算全息编码;反向经上述第二透镜,数值计算等效计算全息编码在频谱面上(2M)×(N/2)的信息分布,并沿x方向对称分成两个M×(N/2)子区域;以及
将两个子区域沿垂直y方向上下排列,合成分辨率为M×N的重组谱,反向经第一透镜,数值计算重组谱在空间光调制器处分辨率为M×N的二维编码信息,该二维编码信息即为空间光调制器的输入二维编码信息,将其加载到双光束入射的空间光调制器,并通过上述三维图像显示系统,实现三维图像的显示。
CN 201010552736 2010-11-22 2010-11-22 基于一阶谱谱面重组的计算全息三维图像显示方法及系统 Expired - Fee Related CN101976032B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201010552736 CN101976032B (zh) 2010-11-22 2010-11-22 基于一阶谱谱面重组的计算全息三维图像显示方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010552736 CN101976032B (zh) 2010-11-22 2010-11-22 基于一阶谱谱面重组的计算全息三维图像显示方法及系统

Publications (2)

Publication Number Publication Date
CN101976032A CN101976032A (zh) 2011-02-16
CN101976032B true CN101976032B (zh) 2013-05-08

Family

ID=43575923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010552736 Expired - Fee Related CN101976032B (zh) 2010-11-22 2010-11-22 基于一阶谱谱面重组的计算全息三维图像显示方法及系统

Country Status (1)

Country Link
CN (1) CN101976032B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081339B (zh) * 2010-11-22 2013-05-08 中山大学 基于一阶谱分时复用技术的全息三维图像显示方法与系统
CN102809918B (zh) * 2012-08-08 2014-11-05 浙江大学 基于多层空间光调制器的高分辨全息三维显示装置和方法
CN106291944A (zh) * 2016-10-24 2017-01-04 京东方科技集团股份有限公司 一种显示装置及其显示方法、头戴式虚拟显示头盔
CN108594618A (zh) * 2018-04-04 2018-09-28 东南大学 一种扩大视场角的全息视网膜成像的方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081339A (zh) * 2010-11-22 2011-06-01 中山大学 基于一阶谱分时复用技术的全息三维图像显示方法与系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081339A (zh) * 2010-11-22 2011-06-01 中山大学 基于一阶谱分时复用技术的全息三维图像显示方法与系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Damon W. K. Wong等.Redistribution of the zero order by the use of a phase checkerboard pattern in computer generated holograms.《APPLIED OPTICS》.2008,第47卷(第4期), *
Yasuhiro Takaki等.Increased horizontal viewing zone angle of a hologram by resolution redistribution of a spatial light modulator.《APPLIED OPTICS》.2008,第47卷(第19期), *

Also Published As

Publication number Publication date
CN101976032A (zh) 2011-02-16

Similar Documents

Publication Publication Date Title
CN102183883B (zh) 多光束时分复用全息三维显示系统及其显示方法
CN102073264B (zh) 分时复用计算全息三维显示系统及其显示方法
CN102081339B (zh) 基于一阶谱分时复用技术的全息三维图像显示方法与系统
Zhang et al. Fully computed holographic stereogram based algorithm for computer-generated holograms with accurate depth cues
Kim et al. Holographic optical elements and application
KR101427057B1 (ko) 홀로그램 계산 방법
EP0589558B1 (en) Stereoscopic display method and display apparatus
CN105700320A (zh) 一种基于空间光调制器的全息三维显示方法及装置
CN107942523A (zh) 一种基于光强传输测量计算的相位恢复系统
CN101976032B (zh) 基于一阶谱谱面重组的计算全息三维图像显示方法及系统
Nishii et al. A wavefront printer using phase-only spatial light modulator for producing computer-generated volume holograms
Sando et al. Holographic augmented reality display with conical holographic optical element for wide viewing zone
JP3338479B2 (ja) ホログラムの作成および立体表示方法並びに立体表示装置
Sando et al. Hidden surface removal of computer-generated holograms for arbitrary diffraction directions
KR100466622B1 (ko) 광굴절 기록매질 제작 장치 및 그 방법과 그를 이용한3차원 홀로그래픽 디스플레이 장치 및 그 방법
KR101292370B1 (ko) 디지털 홀로그램을 이용하는 3차원 영상 표시 장치
Honma et al. A two-step exposure method with interleaved phase pages for recording of SQAM signal in holographic memory
Han et al. Optical realization of 360° cylindrical holography
CN102568031A (zh) 三维图像并行数字构建方法
KR100664872B1 (ko) 1차원 홀로그램을 이용한 영상 표시장치
CN101968625A (zh) 一种基于非共轴多透镜光路的三维图像显示方法及系统
Müller et al. Multicolor holographic display of 3D scenes using Referenceless Phase Holography (RELPH)
KR102110866B1 (ko) 디지털 홀로그램 영상 재생 장치 및 그 장치에 의한 입체 영상 재생 방법
JP2007256343A (ja) ホログラフィック立体ハードコピー作製方法および作製装置
Škereň et al. Design and visualization of synthetic holograms for security applications

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130508

Termination date: 20131122