CN103743484B - 一种频谱编码成像装置 - Google Patents

一种频谱编码成像装置 Download PDF

Info

Publication number
CN103743484B
CN103743484B CN201310597533.8A CN201310597533A CN103743484B CN 103743484 B CN103743484 B CN 103743484B CN 201310597533 A CN201310597533 A CN 201310597533A CN 103743484 B CN103743484 B CN 103743484B
Authority
CN
China
Prior art keywords
coding
fourier lense
spectrum
focal plane
detector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310597533.8A
Other languages
English (en)
Other versions
CN103743484A (zh
Inventor
刘扬阳
吕群波
相里斌
裴琳琳
王建威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Academy of Opto Electronics of CAS
Original Assignee
Academy of Opto Electronics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Academy of Opto Electronics of CAS filed Critical Academy of Opto Electronics of CAS
Priority to CN201310597533.8A priority Critical patent/CN103743484B/zh
Publication of CN103743484A publication Critical patent/CN103743484A/zh
Application granted granted Critical
Publication of CN103743484B publication Critical patent/CN103743484B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Devices (AREA)

Abstract

本发明实施例公开了一种频谱编码成像装置包括依次设置的前置镜、第一傅里叶透镜、编码模板、第二傅里叶透镜以及探测器,所述前置镜的聚焦面为所述第一傅里叶透镜的前焦面,所述第一傅里叶透镜的后焦面与所述第二傅里叶透镜的前焦面重合,所述编码模板位于所述重合面,所述编码模板包含多个子区域,两两子区域正交,所述探测器位于所述第二傅里叶透镜的后焦面;输入光学信号通过所述前置镜聚焦到所述第一傅里叶透镜的前焦面,通过所述第一傅里叶透镜实现空域到频域的转换,所述编码模板对转换后的频域光学信号进行编码,所述第二傅里叶透镜将编码后的信号成像在所述探测器,实现大视场角以及获得高分辨率图像。

Description

一种频谱编码成像装置
技术领域
本发明涉及成像技术领域,尤其涉及一种频谱编码成像装置。
背景技术
面向日益高质量成像、高空间分辨率图像的全民应用需求,频谱编码超分辨率计算光学成像系统,突破传统光学成像相机在原理和技术上的制约,使空间分辨率高于传统成像相机获取图像质量。
频谱编码超分辨率计算光学成像系统的图像反演方法是将电通信理论中振幅、频率等基本概念和滤波、调制等技术引进到光学领域而产生的一门技术。光学成像透镜具备二维图像的傅里叶变换特性,可以利用频谱编码模板在光学频域面完成傅里叶变换特性的光学信号调制任务。为达成傅里叶变换,编码模板位置必须在目标的傅立叶平面上。但是,对于一般光学透镜而言,傅里叶变换特性只在近轴区内才准确实现,如果要使镜头在整个孔径和视场范围内准确地实现傅里叶变换,为在像面获得清晰的傅里叶变换图像并保证正确的傅里叶变换关系,需要特别设计一种在可见光波段适应的傅里叶变换透镜组。目前在理论上分析已知,傅里叶变换透镜应满足以下成像要求:具有相同衍射角的光线经透镜变换后聚焦于焦平面上一点;不同衍射角的光线经透镜变换后聚焦于焦平面上不同点处,形成各级频谱;同时对编码模板应在频域面对频谱的重叠部分采用不同的编码,并且这些编码相互正交。
频谱编码超分辨率计算光学成像系统较传统光学成像系统可以提高空间分辨率,但其采用一维编码模板,或者单个傅里叶透镜组(如图1所示),这将带来成像全系统视场角小、频谱信息编码受限的局面。
发明内容
本发明实施例的目的是提供一种频谱编码成像装置,具有大视场角以及获得高分辨率图像。
本发明实施例的目的是通过以下技术方案实现的:
一种频谱编码成像装置,包括依次设置的前置镜、第一傅里叶透镜、编码模板、第二傅里叶透镜以及探测器,其中:
所述前置镜的聚焦面为所述第一傅里叶透镜的前焦面,所述第一傅里叶透镜的后焦面与所述第二傅里叶透镜的前焦面重合,所述编码模板位于所述重合面,所述编码模板包含多个孔,所述编码模板划分为n2个大小相等子区域,两两子区域正交,所述探测器位于所述第二傅里叶透镜的后焦面;
输入光学信号通过所述前置镜聚焦到所述第一傅里叶透镜的前焦面,通过所述第一傅里叶透镜实现空域到频域的转换,所述编码模板对转换后的频域光学信号进行编码,所述第二傅里叶透镜将编码后的信号成像在所述探测器。
由上述本发明提供的技术方案可以看出,改变采用单透镜组合以及一维编码模板的局限,增加频谱编码成像技术的可行性,并提供两维度、宽波段和大视场角成像的光学图像超分辨率复原技术,克服光复原质量低、光谱波段数少、单行或单列图像复原的缺点,适用于信息工业、生物医学、食品快速检测等民用领域所需的光学检测需求。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1为传统一维频谱编码超分辨率光学系统示意图。
图2为本发明实施例提供的频谱编码成像装置示意图。
图3为本发明实施例提供的频谱编码成像装置设计波相差示意图。
图4为传统光学成像系统中输入频谱和采样引起的频谱复制示意图。
图5为本发明实施例提供的频谱编码成像装置中透过率分别为44%和62.5%的正交编码模板。
具体实施方式
下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。
如图2所示,本发明实施例提供一种频谱编码成像装置,包括依次设置的前置镜21、第一傅里叶透镜22、编码模板23、第二傅里叶透镜24以及探测器25,其中:
前置镜21的聚焦面为第一傅里叶透镜22的前焦面,第一傅里叶透镜22的后焦面与第二傅里叶透镜24的前焦面重合,编码模板23位于重合面,编码模板23包含多个孔,随着提高倍数需求不同,能设计的光学镜头焦距,波长不同,就能确定孔大小。而光学系统设计的视场角大小就决定了编码模板孔的数量,也就是总大小。所述编码模板划分为n2个大小相等子区域,两两子区域正交,探测器25位于第二傅里叶透镜24的后焦面;
输入光学信号通过前置镜21聚焦到第一傅里叶透镜22的前焦面,通过第一傅里叶透镜22实现空域到频域的转换,编码模板23对转换后的频域光学信号进行编码,第二傅里叶透镜24将编码后的信号成像在探测器25。
本发明实施例的频谱编码成像装置,基于多孔的编码模板预先调制光学信息,实现二维编码,从而在探测器获取的频域图像中实现超分辨率图像质量反演的成像相机,改变目前常见频谱编码成像相机采用单透镜组合以及一维编码模板的局限,增加频谱编码成像技术的可行性,并提供两维度、宽波段和大视场角成像的光学图像超分辨率复原新技术,克服常见频谱编码成像技术光复原质量低、光谱波段数少、单行或单列图像复原的缺点,适用于信息工业、生物医学、食品快速检测等民用领域所需的光学检测需求。
本发明实施例的频谱编码成像装置,前置镜为前置望远物镜。探测器可以为CCD(Charge-coupledDevice,电荷耦合元件)探测器。
如图2所示,本发明实施例的频谱编码成像装置,两个傅里叶透镜为完全对称的结构,第一傅里叶透镜21的前焦面为一次像面20,一次像面20的成像与探测器25得到的成像比值为1:N(即前置镜21焦距:第一傅里叶透镜22焦距),N≥1。本发明实施例的频谱编码成像装置的焦距由前置望远物镜承担。编码模板表现为包含多个子区域,而且两两分块内函数具有正交特性。
本发明实施例的频谱编码成像装置成像原理为输入光学信号通过第一傅里叶透镜实现了空域-频域的信息转换,再经过编码模板时,也即是在输入目标像的频谱面上进行编码,然后再通过第二傅里叶透镜成像在探测器上。一次像面的目标像与经过编码之后的探测器所得的像大小比值为1:N,然后经过后续傅里叶变换算法得到最终所需高分辨率、高质量的目标图像。
本发明实施例的频谱编码成像装置,在最前面放置前置望远物镜,对无穷远目标成像到物镜的焦平面上,目的是为了使全系统结构能够有更宽的视场范围,然后采用两个傅里叶透镜串联(两个傅里叶透镜是一个4f系统,4f系统为现有技术,在此不作赘述),由此构成具有4f系统特性的一个空间滤波系统。近场目标在第一傅里叶透镜的前焦面上,经过第一傅里叶透镜之后出射平行光,在第一傅里叶透镜的后焦面处是目标的共轭位置频谱面,光线通过第二傅里叶透镜,在第二傅里叶透镜后焦面得到频谱面关于透镜的共轭位置。作为4f空间滤波系统的输入面,傅里叶透镜的焦距长,光学结构相对较长,经过设计、优化,得到如上光学结构,与前置望远物镜做好光瞳匹配,这样的结构光能透过率高,所设计傅里叶透镜系统波相差最高达到(1/15.7)λ以下。
如图3本发明实施例频谱编码成像装装置光学5f系统设计波相差示意图,可见,Zemax光学设计软件计算所得光学系统的波相差曲面图,其中波相差曲面中最高值为(1/15.7)λ,完全满足傅里叶透镜要求的(1/4)λ,RMS(RootMeanSquare,均方根)为0.0131λ。而且该设计属于常规结构,加工生产成本低,装调容易。
同时,可见,本发明实施例频谱编码成像装装置构成了光学5f系统。
本发明实施例的频谱编码成像装置中编码模板对光路起到调制作用,解决目前的由图像探测器造成光学高频信息混叠的问题,如图4所示传统光学成像系统中,(a)为输入频谱示意图,其中,41为原始输入频谱,(b)为采样引起的频谱复制示意图,其中,42为频谱复制,43为频谱混叠,由于采样引起的频谱混叠造成了图像分辨率受限于探测器的像元大小。因此,本发明实施例的频谱编码成像装置,根据Shannon提出的优化信息传输的原理,对信号进行适当地编码来抵抗信道内的干扰。在成像系统中插入一块频谱编码模板,根据CCD的内部结构在光学系统中对输入图像信息提前编码,致使信息经过CCD时,不受其影响而产生混叠,之后经计算机解码重建原图像。
通过编码模板有助于实现高分辨率、高质量图谱信息获取。编码模板采用编码函数表示的形式千差万别,需综合考虑到系统的通光效率、分辨率等技术指标最优,设计编码函数通光率、编码函数阵列形式是否均匀冗余,以及如何保持高信噪比同时,减小对数据反演处理技术的依赖,而且加工难度需要易实现。
该编码模板的设计,需要保证子区间满足一些条件:
gi(ν)·gj(ν-Δν)=0i≠j
g i ( v ) = 0 i = - 1 , 0 , 1 , ∀ v ∉ ( - 3 Δv / 2,3 Δv / 2 )
g i ( v ) ≥ 0 ∀ v
其中,gi(ν)是指输入景物的傅里叶变换的频谱域(注:不同于频率的频,且该频谱域以零为中心,左右对称分布),gj(ν-Δν)是指扩展了Δν的输入景物频谱域,(注:这里的减号不是数学的减法,可以理解为原始频谱在x轴的负半轴上扩展了Δν的景物频谱域),Δν是探测器采样频率,可以令Δν=2fN,fN是输入景物的奈奎斯特Nyquist频率,fN决定了空间分辨率对应的可有效重建最高频率,根据这一点,以fN为界,将编码模板的带宽设计为(-nfN,nfN),将该频谱分成n2(n=2,或者n=3,或者n=4等)块大小相等且两两正交的子区域,此处的正负号仅表示其对称性如n越大,意味着对原始频谱编码分区越细致,可提高的分辨率倍数越高。
本发明实施例编码模板的子区域两两正交,编码模板也可以称为正交编码模板。
考虑到该编码模板的透过率,编码函数不一样,分的块数n值越大,光能透过率就不一样。同时需要保持编码模板的总尺寸大小需要与探测器CCD可探测视场相等。以超分辨率因子为c=2的二维编码为例,也就是使rank(A)=2,其中A=[A1,A2],A1、A2分别为2种不同但两两正交的0、1编码。经分析和论证,可以设计得到透过率低为44%,高至62.5%的不同正交编码模板。如图5中(a)所示为透过率均为44%正交编码模板,图5中(b)所示为透过率均为62.5%,(a)和(b)都分为4块子区域。两种不同二维正交编码模板均可以实现2倍频谱编码。这里解释一下2倍频谱编码,n越大意味着对原始频谱编码分区越细致,也意味反演时,能找回来的当初被混叠的频谱域信息越多,因此,粗略计算可以认为,n=2,分辨率提高到原来的2倍。
本本发明实施例的频谱编码成像装置得到所需高分辨率、高质量的目标图像后,进一步,还可以利用高分辨率图像重构方法对图像重构。高分辨率图像重构方法可以参考现有技术得以理解,高分辨率图像重构方法包括数据整理、FFT(FastFourierTransformation,快速傅立叶变换)、CDMA(CodeDivisionMultipleAccess,码分多址)解码、数字滤波、IFFT(InverseFastFourierTransform,快速傅里叶逆变换)等过程。可以按照不同目标质量需求,相应的调整数字滤波过程,以保证达到最好的高分辨率图像重构。
本发明实施例的频谱编码成像装置,可以改变二维正交编码模板数学矩阵函数中部分或全部数学形式,例如改变为,如7阶或4n-1(n为自然数)阶哈达码变换编码模板;或者改变正交编码模板的n2个区域分块数量,如分为4块子区域或者9块子区域等;
可以改变编码模板单元尺寸的设计原则,如编码模板单元尺寸与探测器像元大小成倍数关系,或者成自然倍数的分数的关系,以及可以改变编码模板的数量和相关参数,如编码模板总尺寸的大小、单元尺寸的具体大小、厚度和所使用的材料等;
可以改变前置镜组、傅里叶透镜组的数量以及相关参数如口径、焦距的大小、厚度和所使用的光学材料等;
可以改变本技术方案中图像复原求解中采用的FFT、IFFT、数字滤波、解码等数学技巧。
本本发明实施例的频谱编码成像装置由前置镜、特殊函数形式的编码模板以及两个傅里叶透镜共同组组成的新型光学成像仪,它输入的目标信息,如果不加这个编码模板,其成像系统只能获取低分辨率的目标信息,但在光路系统中通过一个多孔形式具有数学函数信息的光学调制模板,就相当于对目标信息的高频部分进行调制和预先记录,而后利用傅里叶透镜将这个调制信息保存直至探测器成像,然后再采用计算解码的方式获取高分辨率的目标信息,达到绕过探测器像素积分时不能保留高频信息的壁垒,实现高频信息的图像显示。特殊函数形式的编码模板代替常见的一维编码模板,提出了一种加工装调简单、稳定性高、能量利用率高、自由光谱范围宽、大面阵成像、图像成像质量好的频谱编码成像技术。适用于信息工业、生物医学、食品快速检测等民用领域所需的光学检测需求。
与现有技术方案相比,本发明实施例的频谱编码成像装置的优点包括:
结构紧凑,加工装调简单、稳定性好,易于实现轻量化小型化的生产要求;
相比同类型采用一维编码模板的频谱编码超分辨率光学成像方案,能量利用率高,光学系统在可见光、近红外甚至中波红外谱段可以做到80~90%以上的透过率,高于传统光学成像系统一般70%的透过率,远远高于同类型采用狭缝的光学成像方案,并且解决了一维编码模板在图像重构是信息维度的失调现象;
相比同类型频谱编码超分辨率光学成像方案,可以对无穷远目标成像到物镜的焦平面上,实现大视场角、大面阵成像面阵探测器的光学图像复原;
光学元件少且没有复杂的光学元件,在现有的加工条件下都能比较容易实现,易装调,生产成本较低,适合于批量生产,适用于食品安全监测、生物医学、验钞等民用领域。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种频谱编码成像装置,其特征在于,包括依次设置的前置镜、第一傅里叶透镜、编码模板、第二傅里叶透镜以及探测器,其中:
所述前置镜的聚焦面为所述第一傅里叶透镜的前焦面,所述第一傅里叶透镜的后焦面与所述第二傅里叶透镜的前焦面重合,所述编码模板位于所述重合面,所述编码模板包含多个孔,所述编码模板划分为n2个大小相等子区域,两两子区域正交,所述探测器位于所述第二傅里叶透镜的后焦面;
输入光学信号通过所述前置镜聚焦到所述第一傅里叶透镜的前焦面,通过所述第一傅里叶透镜实现空域到频域的转换,所述编码模板对转换后的频域光学信号进行编码,所述第二傅里叶透镜将编码后的信号成像在所述探测器。
2.根据权利要求1所述的频谱编码成像装置,其特征在于,所述编码模板满足:
gi(ν)·gj(ν-Δν)=0i≠j
g i ( v ) = 0 , i = - 1 , 0 , 1 , ∀ v ∉ ( - 3 Δ v / 2 , 3 Δ v / 2 )
g i ( v ) ≥ 0 , ∀ v ;
其中,gi(ν)表示输入景物的傅里叶变换的频谱域,gj(ν-Δν)表示扩展了Δν的输入景物频谱域,Δν是探测器采样频率,令Δν=2fN,fN是输入景物的奈奎斯特Nyquist频率;
以fN为界,所述编码模板的带宽为(-nfN,nfN),所述编码模板包括n2块大小相等且两两正交子区域。
3.根据权利要求2所述的频谱编码成像装置,其特征在于,n=2,或者n=3,或者n=4。
4.根据权利要求1-3中任一所述所述的频谱编码成像装置,其特征在于,所述编码模板的尺寸与所述探测器的可探测视场尺寸相等,或者所述编码模板的尺寸与所述探测器的可探测视场尺寸成倍数关系。
5.根据权利要求1-3中任一所述的频谱编码成像装置,其特征在于,所述第一傅里叶透镜的前焦面为一次像面,所述一次像面的成像与所述探测器得到的成像比值为1:N,N≥1。
6.根据权利要求1-3中任一所述的频谱编码成像装置,其特征在于,所述前置镜为前置望远物镜,将无穷远目标成像到所述前置镜的焦平面上。
CN201310597533.8A 2013-11-22 2013-11-22 一种频谱编码成像装置 Active CN103743484B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310597533.8A CN103743484B (zh) 2013-11-22 2013-11-22 一种频谱编码成像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310597533.8A CN103743484B (zh) 2013-11-22 2013-11-22 一种频谱编码成像装置

Publications (2)

Publication Number Publication Date
CN103743484A CN103743484A (zh) 2014-04-23
CN103743484B true CN103743484B (zh) 2016-03-09

Family

ID=50500524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310597533.8A Active CN103743484B (zh) 2013-11-22 2013-11-22 一种频谱编码成像装置

Country Status (1)

Country Link
CN (1) CN103743484B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104236708B (zh) * 2014-09-29 2016-08-24 中国科学院光电研究院 一种编码模板装置
CN104360481B (zh) * 2014-10-25 2016-08-31 哈尔滨工业大学 光学系统空域信息传递分析方法
CN106204680A (zh) * 2016-07-18 2016-12-07 京东方科技集团股份有限公司 一种成像装置及其成像方法
CN108921053B (zh) * 2018-06-15 2021-05-07 杭州电子科技大学 一种场景目标自动分析检测处理方法及装置
CN114374779B (zh) * 2021-12-16 2023-06-20 中国科学院上海高等研究院 一种全光场成像相机及其成像方法及全光场成像装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6002773A (en) * 1996-02-06 1999-12-14 The University Of Connecticut Method and apparatus for encryption
CN201397136Y (zh) * 2009-04-16 2010-02-03 中国科学院西安光学精密机械研究所 基于阿达玛变换编码的高分辨率光学遥感载荷系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6002773A (en) * 1996-02-06 1999-12-14 The University Of Connecticut Method and apparatus for encryption
CN201397136Y (zh) * 2009-04-16 2010-02-03 中国科学院西安光学精密机械研究所 基于阿达玛变换编码的高分辨率光学遥感载荷系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Geometric superresolution by code division multiplexing;Jonathan Solomon等;《APPLIED OPTICS》;20050101;第25页第4节光学设置部分,图7 *
静态计算光谱成像仪图谱反演的关键数据处理技术;刘扬阳等;《物理学报》;20130131;全文 *
频谱编码超分辨率成像分析与仿真;陶然等;《光电工程》;20120630;全文 *

Also Published As

Publication number Publication date
CN103743484A (zh) 2014-04-23

Similar Documents

Publication Publication Date Title
CN103743484B (zh) 一种频谱编码成像装置
CN103743482B (zh) 一种光谱成像装置及光谱成像反演方法
CN104793343A (zh) 三通道单渥拉斯顿棱镜偏振成像装置及偏振信息探测方法
CN103913229B (zh) 编码模板多目标主动成像光谱系统及方法
CN104121990A (zh) 基于随机光栅的压缩感知宽波段高光谱成像系统
CN104159094A (zh) 一种改善光学扫描全息层析成像效果的方法
CN103398729B (zh) 一种基于压缩感知的稀疏孔径成像系统及方法
CN104833977A (zh) 一种基于微波片阵列的瞬时遥感偏振成像装置及其实现方法
CN107395933B (zh) 一种基于lcos空间光调制器的可编程孔径成像系统及超分辨方法
CN105157835A (zh) 一种快照式多光谱的图像复分光谱成像方法和光谱成像仪
CN111343376A (zh) 一种基于透射式双缝孔径编码成像系统及其超分辨方法
CN105758524A (zh) 基于全通单模板互补采样的光谱相机及成像方法
CN107421640B (zh) 基于色差扩大原理的多光谱光场成像系统及方法
CN102589701A (zh) 扩展空间外差干涉仪的应用带宽的方法
CN105120141B (zh) 一种压缩感知光电成像方法及装置
CN109443250A (zh) 一种基于s变换的结构光三维面形垂直测量方法
CN110095189A (zh) 一种双目的八谱段多光谱相机设计方法
CN107564068B (zh) 一种针对孔径编码超分辨光学传递函数的标定方法
KR101479249B1 (ko) 간섭성 구조조명 이미징 방법 및 간섭성 구조조명 현미경 시스템
CN106791355B (zh) 基于图像频域拼接的单像素成像方法及系统
US20230292016A1 (en) Meta-lens enabled light-field camera with extreme depth-of-field
CN112611455A (zh) 一种多角度、多光谱频率编码成像技术及其装置
CN109781260B (zh) 超紧凑型快照式偏振光谱成像探测装置及探测方法
CN104217412A (zh) 一种机载超分辨率图像重建装置及重建方法
Zhu et al. Point-to-point coupling and imbalance correction in color fringe projection profilometry based on multi-confusion matrix

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant