CN108051991B - 基于有效视角图片分割重组算法的全息体视图打印系统的全息单元尺寸优化方法 - Google Patents
基于有效视角图片分割重组算法的全息体视图打印系统的全息单元尺寸优化方法 Download PDFInfo
- Publication number
- CN108051991B CN108051991B CN201711499715.6A CN201711499715A CN108051991B CN 108051991 B CN108051991 B CN 108051991B CN 201711499715 A CN201711499715 A CN 201711499715A CN 108051991 B CN108051991 B CN 108051991B
- Authority
- CN
- China
- Prior art keywords
- holographic
- hologram
- size
- view
- printing system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007639 printing Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000000007 visual effect Effects 0.000 title claims abstract description 17
- 238000005457 optimization Methods 0.000 title claims abstract description 14
- 230000006798 recombination Effects 0.000 title claims abstract description 10
- 238000005215 recombination Methods 0.000 title claims abstract description 10
- 230000011218 segmentation Effects 0.000 title claims abstract description 10
- 210000001747 pupil Anatomy 0.000 claims abstract description 52
- 238000012546 transfer Methods 0.000 claims abstract description 34
- 238000005070 sampling Methods 0.000 claims abstract description 10
- 238000011156 evaluation Methods 0.000 claims abstract description 8
- 238000004458 analytical method Methods 0.000 claims abstract description 5
- 230000008569 process Effects 0.000 claims abstract description 4
- 230000005540 biological transmission Effects 0.000 claims abstract description 3
- 238000003384 imaging method Methods 0.000 claims abstract description 3
- 230000003287 optical effect Effects 0.000 claims description 18
- 239000004973 liquid crystal related substance Substances 0.000 claims description 16
- 239000000126 substance Substances 0.000 claims description 2
- 238000006467 substitution reaction Methods 0.000 claims 1
- 238000001093 holography Methods 0.000 abstract description 2
- 230000004075 alteration Effects 0.000 description 23
- 230000000694 effects Effects 0.000 description 14
- 238000012360 testing method Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 240000002017 Solanum caripense Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000144 pharmacologic effect Effects 0.000 description 1
- 102000004196 processed proteins & peptides Human genes 0.000 description 1
- 108090000765 processed proteins & peptides Proteins 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Holo Graphy (AREA)
- Diffracting Gratings Or Hologram Optical Elements (AREA)
Abstract
本发明属于全息术领域,具体涉及基于有效视角图片分割重组算法的全息体视图打印系统的全息单元尺寸优化方法。本发明的技术方案是:建立基于有效视角图片分割重组算法的全息体视图打印系统的出瞳函数模型;建立评价指标函数,从频率域分析全息体视图的成像质量,优化出瞳尺寸;在空间域,考虑视角跳变及虚拟母全息图翻拍至转移全息图过程中信息传递的完整性,得到打印系统各参数之间的关系;综合以上分析确定适用于三维场景的最佳全息单元尺寸,包括虚拟母全息图上虚拟全息单元的尺寸与转移全息图上全息单元的尺寸,对应原始视角图片的采样间隔与合成视角图片的打印间隔。
Description
技术领域
本发明属于全息术领域,具体涉及基于有效视角图片分割重组算法的全息体视图打印系统的全息单元尺寸优化方法。
背景技术
全息体视图打印可以实现三维场景的立体再现,传统的全息体视图打印方法包括两步转换法[M.C.King,A.M.Noll,and D.H.Berry,“A new approach to computer-generated holography,”Appl.Opt.9(2),471-475(1970)]、无限远相机法 [M.W.Halle,“The generalized holographic stereogram,”Ph.D.thesis,Massachusetts Instituteof Technology(1993).]和李普曼单步全息体视图打印方法[M.Yamaguchi, H.Endoh,T.Honda,and N.Ohyama,“High-quality recording of a full-parallax holographicsterogram with a digital diffuser,”Opt.Lett.19(2),135-137(1994).],我们提出了一种基于有效视角图片分割重组(EPISM)算法的全息体视图打印方法[J. Su,Q.Yuan,YHuang,X.Jiang and X.Yan,“Method of single-step full parallax syntheticholographic stereogram printing based on effectiVe perspectiVe images’segmentation and mosaicking,”Opt.Express 25(19),23523-23544(2017)]。
从频率域角度,可以采用光学传递函数评价全息体视图的成像质量,继而优化全息单元尺寸。Hilaire等人建立了水平视差(HPO)像面全息体视图的调制传递函数(MTF),讨论了固定深度场景下的最优狭缝尺寸[P.S.Hilaire,“Modulation transfer functionand optimum sampling of holographic stereograms,”Appl.Opt.33(5), 768-774(1994)]。Helseth等人研究了三维显示系统的光学传递函数(OTF),并考虑了人眼的斯泰尔斯-克劳福德(Stiles-Crawford)效应对光学传递函数的影响[L. E.Helseth,“Opticaltransfer function of three-dimensional display systems,”J.Opt. Soc.Am.A23(4),816-820(2006)]。裴闯等人分析了全视差全息体视图的频率响应特性,讨论了不同窗函数对系统出瞳函数的影响,继而进行了出瞳优化设计[X. Jiang,C.Pei,X.Yan,J.Liu andK.Zhao,“Optimization of exit pupil function: improvement on the OTF of fullparallax holographic stereograms,”J.Opt.15(12), 125402-(2013)]。
然而以上频率域分析都仅适用于传统的全息体视图打印系统,针对我们提出的基于EPISM算法的全息体视图打印系统[CN107340703A],本发明建立了准确的出瞳函数模型,提出了全息单元尺寸的优化方法。一方面从频率域角度分析出瞳尺寸对全息体视图再现效果的影响,另一方面从空间域角度分析全息单元尺寸与视角跳变及信息传递特性之间的关系,最终得到适用于特定深度三维场景的最优全息单元尺寸,包括虚拟母全息图上虚拟全息单元的尺寸与转移全息图上全息单元的尺寸,对应原始视角图片的采样间隔与合成视角图片的打印间隔。
发明内容
本发明的目的是提出一种基于EPISM算法的全息体视图打印系统的全息单元尺寸优化方法,适用于特定深度三维场景的全息体视图打印。
EPISM算法是我们提出的一种模拟两步转换法的全息体视图打印方法,其核心在于对原始采样图片进行恰当的分割组合,继而得到合成视角图片,单步打印后即可获得再现像凸出于全息记录介质显示的再现效果。全息体视图的再现效果与全息单元尺寸相关,为提高成像质量,本发明提出了基于EPISM算法进行全息体视图打印时的全息单元尺寸优化方法,包括虚拟母全息图上虚拟全息单元的尺寸与转移全息图上全息单元的尺寸,对应原始视角图片的采样间隔与合成视角图片的打印间隔。
本发明的技术方案是:
1.采用基于EPISM算法进行全息体视图打印时,首先建立打印系统的出瞳函数模型,出瞳尺寸l满足如下条件
z1表示虚拟母全息图与液晶显示屏的距离,z2表示转移全息图与液晶显示屏的距离,l1与l2分别表示虚拟全息单元与全息单元的尺寸。
2.对基于EPISM算法的全息体视图打印系统的全息单元尺寸进行优化设计时,包括下述步骤:
1)构建基于光学传递函数的评价指标函数
Δz表示三维场景深度范围,λ表示激光光源波长,fxmax与fymax分别表示液晶显示屏加载图像在x方向与y方向的最高空间频率,(Δl表示液晶显示屏的像素间距),根据的最大值确定全息体视图打印时的最优出瞳尺寸l;
4)将各具体参数值代入与结合由确定的最优出瞳尺寸l,得到全息体视图打印系统的最佳全息单元尺寸,包括虚拟母全息图上虚拟全息单元的尺寸与转移全息图上全息单元的尺寸,对应原始视角图片采样间隔与合成视角图片打印间隔。
附图说明
实施例图:
本发明提供的基于EPISM算法的全息体视图打印系统的全息单元尺寸优化方法的附图有8个。
图1基于EPISM算法的全息体视图打印系统的出瞳函数模型。
图2不同情形时简化或修正后的出瞳函数模型(一维)。
图3全息体视图的波前重建误差模型(一维)。
图4特定像差平面时,光学传递函数积分平均值随出瞳尺寸的变化。
图5不同像差情形时,分辨率测试板打印模型。
图6不同像差、不同出瞳尺寸时,分辨率测试板全息体视图的光学再现效果。
图7三维场景不同深度范围时,光学传递函数积分平均值随出瞳尺寸的变化。
图8采用最优全息单元尺寸打印时,全息体视图的再现效果。
图1~图8中,(1)-虚拟母全息图,(2)-液晶显示屏,(3)-转移全息图, (4)-虚拟全息单元,(5)-全息单元,(6)-空间物点,(7)-分辨率测试板,(8)- 相机平面。
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明“基于有效视角图片分割重组算法的全息体视图打印系统的全息单元尺寸优化方法”实施方式作进一步地详细描述。
图1为本发明提供的基于EPISM算法的全息体视图打印系统的出瞳函数模型。虚拟母全息图(1)、液晶显示屏(2)与转移全息图(3)沿z轴平行放置,它们之间分别相距z1与z2,虚拟全息单元(4)与全息单元(5)的尺寸分别为l1与l2。人眼瞳孔直径le≈3~5mm,假设le>l1,le>l2。
图2为本发明提供的不同情形时简化或修正后的出瞳函数模型(一维)。当时,虚拟母全息图(1)上的虚拟全息单元(4)将作为出瞳,出瞳函数模型简化如图2(a)所示。当时,出瞳由转移全息图(3)上的全息单元(5)决定,出瞳函数模型修正如图2(b)所示。因此,基于EPISM算法的全息体视图打印系统,出瞳尺寸l满足如下条件
图3为本发明提供的全息体视图的波前重建误差模型(一维)。全息体视图打印时,当空间物点(6)并不准确位于液晶显示屏(2)平面时,将会产生波前误差,这里主要表现为离焦误差。如图3所示,假设空间物点(6)的实际空间坐标为 (x0,z0),观察点位于虚拟全息单元(4)的中心位置,观察者会将物点定位于空间坐标(x0,z1)。Fresnel近似时,波前的曲率误差可表示为
假设x0=0,第一项z0-z1为常数项因子,可省略。离焦误差表示为
其中,k=2π/λ表示波数,λ是激光光源波长。
考虑实际中采用矩形硬边光瞳,则存在像差光学系统的广义光瞳函数表示为
P(x)=P(x)[jkW(x)] (4)
其中,P(x)=rect(x/l),表示矩形窗函数。
系统的相干传递函数P(λz1fx)可表示
P(λz1fx)=P(λz1fx)exp[jkW(λz1fx)]. (5)
系统的光学传递函数OTF(fx)可由相干传递函数的自相关函数计算得到
其中,sinc(x)=sin(πx)/πx,三角形函数被定义为
同理,全视差全息体视图的光学传递函数为
图4为本发明提供的特定像差平面时,光学传递函数积分平均值随出瞳尺寸的变化。针对特定的像差平面,考虑到光学系统需要对该面不同频率成分成像,因此采用光学传递函数OTF沿fx和fy的积分值在积分区域内的平均值作为评价指标,选择最优的出瞳尺寸,较大的值表示对于某特定像差面,系统在通带上具有较高的调制能力,
假设z1=186mm,λ=639nm,液晶显示屏(2)平面位于三维场景的中间面,无像差面、中像差面和高像差面深度分别为Δz=0cm,-2cm,-5cm, z0=z1+Δz,绘制出随出瞳尺寸变化的曲线。由图4可见,无像差、中像差与高像差时最优出瞳尺寸分别为5mm。1.2mm与0.7mm。无像差时,较大的出瞳尺寸是更优的,光学传递函数积分平均值较大,有像差时,像差越大,最优出瞳尺寸越小。
图5为本发明提供的不同像差情形时,分辨率测试板(7)打印模型。相机与液晶显示屏(2)平面相距11.4cm,分辨率测试板(7)与液晶显示屏(2)分别相距 5cm,2cm与0cm,表示高像差、中像差和无像差情形,相机平面(8)采样数分别为6×6和15×15,对应的采样间隔为5mm和2mm。
图6为本发明提供的不同像差、不同出瞳尺寸时,分辨率测试板(7)全息体视图的光学再现效果。无像差时,出瞳尺寸为2mm或者5mm时,再现效果均较理想;存在像差时,2mm出瞳尺寸的打印效果优于5mm出瞳尺寸,像差越大,再现效果越差。50mm像差、5mm出瞳尺寸时,再现效果很差,难以对焦拍照。
图7为本发明提供的三维场景不同深度范围时,光学传递函数积分平均值随出瞳尺寸的变化。考虑完整的三维场景时,在评价指标的基础上加入像差变量,对场景深度再次积分,作为最优出瞳尺寸的评价指标,较大的值表示系统对于整个三维场景在通带上具有较高的调制能力。取Δz=-10mm~10mm, -20mm~20mm及-50mm~50mm三个景深范围作图,结果表明,从频率域分析时,对于特定深度的三维场景,存在最优的出瞳尺寸,三维场景越深时,最优出瞳尺寸越小。
图8为本发明提供的采用最优全息单元尺寸打印时,全息体视图的再现效果。以上从频率域角度分析了最优出瞳尺寸,从空间域角度分析时,考虑视角跳变对观察效果产生的影响,应满足
Δzrange表示三维场景的完整深度,Δzrange=2Δz。考虑虚拟母全息图(1)向转移全息图(3)翻拍过程中信息传递的完整性,应满足此时,采用基于EPISM算法进行全息体视图打印时,出瞳函数模型确定为图2(b),出瞳尺寸结合由评价指标函数确定的出瞳尺寸,综合考虑以上因素及实际情形,得到针对特定三维场景进行全息体视图打印时的最优全息单元尺寸,包括虚拟母全息图上(1)虚拟全息单元(4)的尺寸与转移全息图(3)上全息单元(5)的尺寸,对应原始视角图片采样间隔与合成视角图片打印间隔。打印某三维场景,再现效果良好,此时l1=3.5mm,l2=1.5mm。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (2)
1.一种基于有效视角图片分割重组算法的全息体视图打印系统的全息单元尺寸优化方法,其特征在于,采用基于有效视角图片分割重组算法进行全息体视图打印时,打印系统的出瞳尺寸l满足如下条件
z1表示虚拟母全息图(1)与液晶显示屏(2)的距离,z2表示转移全息图(3)与液晶显示屏(2)的距离,l1与l2分别表示虚拟全息单元(4)与全息单元(5)的尺寸;
所述基于有效视角图片分割重组算法的全息体视图打印系统的全息单元尺寸优化方法包括下述步骤:
第一步,频率域分析,由光学传递函数评价全息体视图的成像质量,设计评价指标函数
其中,
Δz表示三维场景深度范围,λ表示激光光源波长,fxmax与fymax分别表示液晶显示屏(2)加载图像在x方向与y方向的最高空间频率,根据评价指标函数的最大值确定全息体视图打印时的最优出瞳尺寸l;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711499715.6A CN108051991B (zh) | 2017-12-26 | 2017-12-26 | 基于有效视角图片分割重组算法的全息体视图打印系统的全息单元尺寸优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711499715.6A CN108051991B (zh) | 2017-12-26 | 2017-12-26 | 基于有效视角图片分割重组算法的全息体视图打印系统的全息单元尺寸优化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108051991A CN108051991A (zh) | 2018-05-18 |
CN108051991B true CN108051991B (zh) | 2020-08-21 |
Family
ID=62126073
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711499715.6A Active CN108051991B (zh) | 2017-12-26 | 2017-12-26 | 基于有效视角图片分割重组算法的全息体视图打印系统的全息单元尺寸优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108051991B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109283823B (zh) * | 2018-11-22 | 2020-12-25 | 中国人民解放军陆军装甲兵学院 | 一种全息体视图获取方法及系统 |
CN110069006B (zh) * | 2019-04-30 | 2020-12-25 | 中国人民解放军陆军装甲兵学院 | 一种全息体视图合成视差图像生成方法及系统 |
CN110321089B (zh) * | 2019-07-10 | 2023-03-31 | 中国人民解放军陆军装甲兵学院 | 一种全息体视图打印方法及系统 |
CN110426940A (zh) * | 2019-08-01 | 2019-11-08 | 中国人民解放军陆军装甲兵学院 | 一种全息体视图的确定方法及系统 |
CN111260644B (zh) * | 2020-02-17 | 2023-12-08 | 中国人民解放军陆军装甲兵学院 | 一种全视差全息体视图再现像的像质评估方法及系统 |
CN112255787B (zh) * | 2020-10-23 | 2022-06-07 | 中国人民解放军陆军装甲兵学院 | 一种集成成像显示系统的景深扩展方法及系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106647211A (zh) * | 2017-01-19 | 2017-05-10 | 中国人民解放军装甲兵工程学院 | 合成全息体视图的视角图片分割重组打印方法 |
-
2017
- 2017-12-26 CN CN201711499715.6A patent/CN108051991B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106647211A (zh) * | 2017-01-19 | 2017-05-10 | 中国人民解放军装甲兵工程学院 | 合成全息体视图的视角图片分割重组打印方法 |
Non-Patent Citations (1)
Title |
---|
《关于全视差全息体视图成像系统光瞳尺寸的研究》;蒋晓瑜;《激光与光电子学进展》;20160331;第53卷(第3期);030901-1至030901-7 * |
Also Published As
Publication number | Publication date |
---|---|
CN108051991A (zh) | 2018-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108051991B (zh) | 基于有效视角图片分割重组算法的全息体视图打印系统的全息单元尺寸优化方法 | |
Chakravarthula et al. | Learned hardware-in-the-loop phase retrieval for holographic near-eye displays | |
Jang et al. | Holographic near-eye display with expanded eye-box | |
Blinder et al. | Signal processing challenges for digital holographic video display systems | |
Shi et al. | End-to-end learning of 3d phase-only holograms for holographic display | |
Blinder et al. | The state-of-the-art in computer generated holography for 3D display | |
WO2021216747A1 (en) | Real-Time Photorealistic 3D Holography with Deep Neural Networks | |
US20230205133A1 (en) | Real-time Photorealistic 3D Holography With Deep Neural Networks | |
WO2019207350A1 (ru) | Оптическая система гибридной реальности с цифровой коррекцией аберраций | |
CN107016210B (zh) | 一种菲涅尔衍射光学系统的成像质量仿真方法 | |
CN114616587A (zh) | 基于学习的镜头眩光移除 | |
US20230171385A1 (en) | Methods, systems, and computer readable media for hardware-in-the-loop phase retrieval for holographic near eye displays | |
Walton et al. | Metameric varifocal holograms | |
KR101549178B1 (ko) | 홀로그램 생성 장치 및 방법 | |
Chakravarthula et al. | Computing high quality phase-only holograms for holographic displays | |
Tsang | Computer-Generated Phase-Only Holograms for 3D Displays: A Matlab Approach | |
CN111830811A (zh) | 基于衍射场叠加的高清三维全息显示方法及其实现装置 | |
JP2989115B2 (ja) | 立体表示方法および立体表示装置 | |
KR20170122886A (ko) | 대면적 홀로그램 제작 장치 및 그 방법 | |
Chen et al. | Imaging evaluation of computer-generated hologram by using three-dimensional modified structural similarity index | |
Yöntem et al. | Integral imaging based 3D display of holographic data | |
WO2021024420A1 (ja) | 屈折率分布推定システム | |
Kim et al. | Dual-dimensional microscopy: real-time in vivo three-dimensional observation method using high-resolution light-field microscopy and light-field display | |
Liu et al. | Radiance-field holography for high-quality 3D reconstruction | |
Schiffers et al. | Stochastic Light Field Holography |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |