CN112738491A - 一种投影反射画面的校正方法 - Google Patents

一种投影反射画面的校正方法 Download PDF

Info

Publication number
CN112738491A
CN112738491A CN202011595009.3A CN202011595009A CN112738491A CN 112738491 A CN112738491 A CN 112738491A CN 202011595009 A CN202011595009 A CN 202011595009A CN 112738491 A CN112738491 A CN 112738491A
Authority
CN
China
Prior art keywords
key
image
points
frames
correct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011595009.3A
Other languages
English (en)
Other versions
CN112738491B (zh
Inventor
吴雷
王存宇
刘玉龙
安文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shitian Technology Tianjin Co ltd
Original Assignee
Shitian Technology Tianjin Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shitian Technology Tianjin Co ltd filed Critical Shitian Technology Tianjin Co ltd
Priority to CN202011595009.3A priority Critical patent/CN112738491B/zh
Publication of CN112738491A publication Critical patent/CN112738491A/zh
Application granted granted Critical
Publication of CN112738491B publication Critical patent/CN112738491B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence

Landscapes

  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本发明涉及投影画面校正技术领域，公开了一种投影反射画面的校正方法，包括S1：确定光影的移动路径；S2：在光影移动路径中选取若干关键帧，在关键帧的图像中设置至少三个关键位点；S3：将关键位点到调整正确视角位置，计算贝塞尔曲线获取光影运动轨迹画面。该方法能够对投影输出的画面影像经过反射后映像在空间表面产生移动后出现的形变进行校正，从而得到一个无形变较为流畅的运动轨迹画面。

Description

一种投影反射画面的校正方法
技术领域
本发明涉及投影画面校正技术领域，具体涉及一种投影反射画面的校正方法。
背景技术
在一个大的空间内投射图像，为使投影仪打出的画面在空间中移动，常常需要多台投影机进行画面融合，过程繁琐且需要的设备较多。现有一种技术手段，通过镜面反射来改变投影画像的移动路径，投影机输出画面通过镜面进行一次反射后，可以映像在其他角度位置的空间表面，当镜面产生移动时，映像画面也会随之产生移动，这样可以使得单台投影机画面在空间中范围变大。
但是在影像移动中，由于画面不断经过反射，随之产生形变。例如一个圆形物体，经过镜面投射在空间中可能会变为椭圆形，因此，需要对画面进行校正，以保证移动过程中画面的放映效果以及流畅性。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种投影反射画面的校正方法，该方法能够对投影输出的画面影像经过反射后映像在空间表面产生移动后出现的形变进行校正。
为了实现上述目的，本发明提供如下技术方案：
一种投影反射画面的校正方法，包括：
S1：确定光影的移动路径；
S2：在光影移动路径中选取若干关键帧，在关键帧的图像中设置至少三个关键位点；
S3：将关键位点到调整正确视角位置，计算贝塞尔曲线获取光影运动轨迹画面。
在本发明中，进一步的，所述步骤S3将关键位点到调整正确视角位置，计算贝塞尔曲线纠正形变，包括：调整相邻关键帧上的同一关键位点，获取若干条贝塞尔曲线。
在本发明中，进一步的，所述调整相邻关键帧上的同一关键位点，获取若干条贝塞尔曲线中，依据观察实际映像在空间表面的映像调整相邻关键帧中后一关键帧上的关键位点到正确视角位置。
在本发明中，进一步的，所述贝塞尔曲线的线性公式为：
B(t)＝P0+(P1-P0)t＝(1-t)P0+tP1，t∈[0，1]
其中，P0、P1为相邻两个关键帧上的同一关键位点。
在本发明中，进一步的，所述关键位点与贝塞尔曲线相对设置。
在本发明中，优选的，所述关键位点设有四个，其中三个关键位点确定图像平面，第四个关键位点用于验证。
在本发明中，优选的，所述S2包括：在第一关键帧画面中选取四个顶点为关键位点。
在本发明中，进一步的，所述步骤S3包括：在通过视觉观察调整与第一关键帧相邻的第二关键帧图像中已设定四个顶点的位置，四个顶点产生相对位置变化，每个关键位点的变化得到一条贝塞尔曲线。
在本发明中，进一步的，所述步骤S1中根据已知影像片段脚本确定影像移动路径。
与现有技术相比，本发明的有益效果是：
本发明提供的方法通过对设定关键帧，并在关键帧画面上设置关键位点，通过观察实际映像在空间表面的映像调整相邻关键帧中的后一关键帧上的关键位点到正确视角位置，每个关键位点的调整均会得到一条贝塞尔曲线，四个顶点位点有四个贝塞尔曲线，从而找到形变规律，由此通过计算关键帧之间每一帧的正确图像位点位置，避免畸变，最终得到一个无形变较为流畅的运动轨迹画面。且在本发明中，选择了四个关键位点，其中空间中三点确定一个平面，第四个点即为验证点，以保证校正画面的的真实可靠以及提升校正的准确性。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明的投影画面经反射后的形变示意示意图；
图2是本发明的一种投影反射画面的校正方法的整理流程图；
图3是本发明的一种投影反射画面的校正方法中关键位点设置的示意图；
图4是本发明的一种投影反射画面的校正方法具体过程示图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
投影仪投出的影像经过镜面反射，由此可以改变投影的光路，从而使投影画面进行不断的转化，扩大了画面移动的空间，经过反射后的映像在空间中，如果镜面转动，映像画面移动，随之会产生形变，如图1所示，圆形会变成椭圆，因此本发明提供一种投影反射画面的校正方法以纠正上述画面产生的形变。
具体如图2所示，一种投影反射画面的校正方法包括：
S1:：确定光影的移动路径；
S2：在光影移动路径中选取若干关键帧，在关键帧的图像中设置至少三个关键位点；
S3：将关键位点到调整正确视角位置，计算贝塞尔曲线以纠正形变。
在本发明中，首先根据已知影像片段脚本确定影像移动路径，即光影正确投影位置。影响在移动过程中的最小单位即单幅影像画面为帧，相当于胶片上每一格镜头图像。关键帧相当于二维动画中的原画，指角色或者物体运动或变化中的关键动作所处的那一帧。
本发明通过在移动的关键位点设置关键帧，在光影路径过程中选取干关键帧，在关键帧的图像中设置至少三个关键位点，由于在空间中不共线的三点确定一个平面，因此，至少有三个点才可以确定该图像平面。
此外，一段影像画面中根据实际图像设置若干关键帧，关键帧以及关键位点选择的越多越密集，图像形变越精准，影像移动形变越流畅。也可在有较大图像改变的位点设定关键帧，具体可以根据不同投影场景人为操作设定。通过观察实际映像在空间表面的影像调整关键位点的位置，计算贝塞尔曲线，从而纠正可见形变，最终得到一条无形变且流畅的光影运动轨迹画面。
在本发明中，进一步的，所述步骤S3将关键位点到调整正确视角位置，计算贝塞尔曲线以纠正形变，具体包括调整相邻关键帧上的同一关键位点，获取若干条贝塞尔曲线。
在本发明中，依据观察实际映像在空间表面的映像调整后一关键帧上的关键位点到正确视角位置，获取若干条贝塞尔曲线。关键位点与贝塞尔曲线相对设置，即设置多少个关键位点便得到多少条贝塞尔曲线。
具体的，由相邻关键帧的同一个关键位点的位置变化，可以确定变化曲线，使用贝塞尔线性公式可以计算畸变。贝塞尔曲线是应用于二维图形应用程序的数学曲线，计算机可以通过这个公式精确的绘画曲线，流畅线条等。
具体的计算方法：给定点P0、P1两点，利用贝塞尔线性公式：
B(t)＝P0+(P1-P0)t＝(1-t)P0+tP1，t∈[0，1]
其中，P0、P1为相邻两个关键帧上的同一关键位点。
利用上述贝塞尔线性公式，得到贝塞尔曲线，由于在设置的不同关键帧之间视频图像几乎没有太多变化，因此与关键位点相对应的贝塞尔曲线都是跟该视频图像相关的，相互存在联系，从而找到形变规律，可以计算关键帧之间每一帧的正确图像位点位置，避免畸变。
在本发明提供的一个具体实施例中，关键位点设有四个，选择了四个关键位点，其中空间中三点确定一个平面，第四个点即为验证点，可以作为参数、形变的验证，以保证校正画面的的真实可靠以及提升校正的准确性。
在本发明提供的一个具体实施例中，如图3、4所示，
首先在光影所在关键位点设定关键帧，其中，第一关键帧和第二关键帧为设定的两个相邻关键帧，在第一关键帧画面中选取四个顶点为图像关键位点即A1、B1、C1、D1，将关键位点均匀设置在图像的顶点中，即图像的周边轮廓或顶点，有助于对整体画面的校正，保证校正图像的全面性，如此得到的校正曲线图像也更准确。
在第二关键帧图像中调整已设定四个关键位点的位置，通过视觉观察成像图像，将四个关键帧调整到正确的视角位置即A0、B0、C0、D0，每一个视频图像到不同位置正确视角的位置点都会不同，因此，需要通过现场实际观察确定，四个关键位点产生相对位置变化，每个关键点的变化即可得到一条贝塞尔曲线，因此，得到了四个关键位点相对应的四条贝塞尔曲线，即A1、A0相关的贝塞尔曲线，B1、B0相关的贝塞尔曲线，C1、C0相关的贝塞尔曲线，D1、D0相关的贝塞尔曲线。
在这两个关键帧直接四个关键位点的变化均在所在的贝塞尔曲线上，空间中三点确定一个平面，第四个点即为验证点，在这条运动轨迹上，四个关键位点均可由其自身贝塞尔曲线确定，因此得到了一个无形变较为流畅的运动轨迹画面。
与现有技术相比，本发明提供的方法通过对设定关键帧，并在关键帧画面上设置关键位点，通过观察实际映像在空间表面的映像调整相邻关键帧中的后一关键帧上的关键位点到正确视角位置，每个关键位点的调整均会得到一条贝塞尔曲线，四个顶点位点有四个贝塞尔曲线，从而找到形变规律，由此通过计算关键帧之间每一帧的正确图像位点位置，避免畸变，最终得到一个无形变较为流畅的运动轨迹画面。且在本发明中，选择了四个关键位点，其中空间中三点确定一个平面，第四个点即为验证点，以保证校正画面的的真实可靠以及提升校正的准确性。
上述说明是针对本发明较佳可行实施例的详细说明，但实施例并非用以限定本发明的专利申请范围，凡本发明所提示的技术精神下所完成的同等变化或修饰变更，均应属于本发明所涵盖专利范围。

Claims (9)

1.一种投影反射画面的校正方法，其特征在于，包括
S1：确定光影的移动路径；
S2：在光影移动路径中选取若干关键帧，在关键帧的图像中设置至少三个关键位点；
S3：将关键位点到调整正确视角位置，计算贝塞尔曲线纠正形变。
2.根据权利要求1所述的一种投影反射画面的校正方法，其特征在于，所述步骤S3将关键位点到调整正确视角位置，计算贝塞尔曲线纠正形变，包括：调整相邻关键帧上的同一关键位点，获取若干条贝塞尔曲线。
3.根据权利要求2所述的一种投影反射画面的校正方法，其特征在于，所述调整相邻关键帧上的同一关键位点，获取若干条贝塞尔曲线中，依据观察实际映像在空间表面的映像调整相邻关键帧中后一关键帧上的关键位点到正确视角位置。
4.根据权利要求4所述的一种投影反射画面的校正方法，其特征在于，所述贝塞尔曲线的线性公式为：
B(t)＝P0+(P1-P0)t＝(1-t)P0+tP1，t∈[0，1]
其中，P0、P1为相邻两个关键帧上的同一关键位点。
5.根据权利要求2所述的一种投影反射画面的校正方法，其特征在于，所述关键位点与贝塞尔曲线相对设置。
6.根据权利要求2所述的一种投影反射画面的校正方法，其特征在于，所述关键位点设有四个，其中三个关键位点确定图像平面，第四个关键位点用于验证。
7.根据权利要求6所述的一种投影反射画面的校正方法，其特征在于，所述S2包括：在第一关键帧画面中选取四个顶点为关键位点。
8.根据权利要求7所述的一种投影反射画面的校正方法，其特征在于，所述步骤S3包括：在通过视觉观察调整与第一关键帧相邻的第二关键帧图像中已设定四个顶点的位置，四个顶点产生相对位置变化，每个关键位点的变化得到一条贝塞尔曲线。
9.根据权利要求1所述的一种投影反射画面的校正方法，其特征在于，所述步骤S1中根据已知影像片段脚本确定影像移动路径。
CN202011595009.3A 2020-12-29 2020-12-29 一种投影反射画面的校正方法 Active CN112738491B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011595009.3A CN112738491B (zh) 2020-12-29 2020-12-29 一种投影反射画面的校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011595009.3A CN112738491B (zh) 2020-12-29 2020-12-29 一种投影反射画面的校正方法

Publications (2)

Publication Number Publication Date
CN112738491A true CN112738491A (zh) 2021-04-30
CN112738491B CN112738491B (zh) 2022-12-02

Family

ID=75610629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011595009.3A Active CN112738491B (zh) 2020-12-29 2020-12-29 一种投影反射画面的校正方法

Country Status (1)

Country Link
CN (1) CN112738491B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113380386A (zh) * 2021-06-17 2021-09-10 南阳柯丽尔科技有限公司 医用电子胶片图像的调节方法、装置、设备及存储介质
WO2022134550A1 (zh) * 2020-12-21 2022-06-30 成都极米科技股份有限公司 投影图像的调整曲线计算和调整方法、系统、装置及介质
CN115103169A (zh) * 2022-06-10 2022-09-23 深圳市火乐科技发展有限公司 投影画面校正方法、装置、存储介质以及投影设备

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1158536A (zh) * 1995-11-13 1997-09-03 大宇电子株式会社 对显示图像的投影系统中非对称图像的预补偿方法
US6590606B1 (en) * 1997-08-27 2003-07-08 Ldt Gmbh & Co. Laser-Display-Technology Kg Method for the compensating of geometric images and an arrangement for carrying out the method
CN1659867A (zh) * 2002-06-12 2005-08-24 奥普提克斯晶硅有限公司 短投影距离的投影系统和方法
CN102413342A (zh) * 2011-09-05 2012-04-11 清华大学 双目立体视频的几何校正方法及系统
JP2012247603A (ja) * 2011-05-27 2012-12-13 Hitachi Media Electoronics Co Ltd 光ビーム走査装置
JP2014006543A (ja) * 2013-08-28 2014-01-16 Hitachi Consumer Electronics Co Ltd 傾斜投写光学系及びそれを用いた投写型映像表示装置
CN103718104A (zh) * 2011-08-02 2014-04-09 3M创新有限公司 用于投影到多个表面上的显示系统和方法
US20150208048A1 (en) * 2014-01-21 2015-07-23 Lite-On It Corporation Image correction method and image projection apparatus using the same
CN106534817A (zh) * 2016-12-05 2017-03-22 郑州捷安高科股份有限公司 基于图像识别的曲面投影自动几何校正方法
CN106600665A (zh) * 2016-12-01 2017-04-26 北京像素软件科技股份有限公司 一种相机动画路径生成方法和装置
CN108227348A (zh) * 2018-01-24 2018-06-29 长春华懋科技有限公司 基于高精度视觉云台的几何畸变自动校正方法
CN109270682A (zh) * 2016-08-17 2019-01-25 海信集团有限公司 一种激光投影设备
CN109523481A (zh) * 2018-11-09 2019-03-26 歌尔股份有限公司 投影仪图像畸变的矫正方法、装置及计算机可读存储介质
CN109690611A (zh) * 2016-09-29 2019-04-26 华为技术有限公司 一种图像校正方法及装置
CN110191328A (zh) * 2019-06-19 2019-08-30 广景视睿科技（深圳）有限公司 一种动向投影装置、方法及投影仪
CN111586384A (zh) * 2020-05-29 2020-08-25 燕山大学 一种基于贝塞尔曲面的投影图像几何校正方法
CN112019825A (zh) * 2020-08-13 2020-12-01 广景视睿科技（深圳）有限公司 一种投影方法和投影设备

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1158536A (zh) * 1995-11-13 1997-09-03 大宇电子株式会社 对显示图像的投影系统中非对称图像的预补偿方法
US6590606B1 (en) * 1997-08-27 2003-07-08 Ldt Gmbh & Co. Laser-Display-Technology Kg Method for the compensating of geometric images and an arrangement for carrying out the method
CN1659867A (zh) * 2002-06-12 2005-08-24 奥普提克斯晶硅有限公司 短投影距离的投影系统和方法
JP2012247603A (ja) * 2011-05-27 2012-12-13 Hitachi Media Electoronics Co Ltd 光ビーム走査装置
CN103718104A (zh) * 2011-08-02 2014-04-09 3M创新有限公司 用于投影到多个表面上的显示系统和方法
CN102413342A (zh) * 2011-09-05 2012-04-11 清华大学 双目立体视频的几何校正方法及系统
JP2014006543A (ja) * 2013-08-28 2014-01-16 Hitachi Consumer Electronics Co Ltd 傾斜投写光学系及びそれを用いた投写型映像表示装置
US20150208048A1 (en) * 2014-01-21 2015-07-23 Lite-On It Corporation Image correction method and image projection apparatus using the same
CN109270682A (zh) * 2016-08-17 2019-01-25 海信集团有限公司 一种激光投影设备
CN109690611A (zh) * 2016-09-29 2019-04-26 华为技术有限公司 一种图像校正方法及装置
CN106600665A (zh) * 2016-12-01 2017-04-26 北京像素软件科技股份有限公司 一种相机动画路径生成方法和装置
CN106534817A (zh) * 2016-12-05 2017-03-22 郑州捷安高科股份有限公司 基于图像识别的曲面投影自动几何校正方法
CN108227348A (zh) * 2018-01-24 2018-06-29 长春华懋科技有限公司 基于高精度视觉云台的几何畸变自动校正方法
CN109523481A (zh) * 2018-11-09 2019-03-26 歌尔股份有限公司 投影仪图像畸变的矫正方法、装置及计算机可读存储介质
CN110191328A (zh) * 2019-06-19 2019-08-30 广景视睿科技（深圳）有限公司 一种动向投影装置、方法及投影仪
CN111586384A (zh) * 2020-05-29 2020-08-25 燕山大学 一种基于贝塞尔曲面的投影图像几何校正方法
CN112019825A (zh) * 2020-08-13 2020-12-01 广景视睿科技（深圳）有限公司 一种投影方法和投影设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022134550A1 (zh) * 2020-12-21 2022-06-30 成都极米科技股份有限公司 投影图像的调整曲线计算和调整方法、系统、装置及介质
CN113380386A (zh) * 2021-06-17 2021-09-10 南阳柯丽尔科技有限公司 医用电子胶片图像的调节方法、装置、设备及存储介质
CN113380386B (zh) * 2021-06-17 2024-04-23 南阳柯丽尔科技有限公司 医用电子胶片图像的调节方法、装置、设备及存储介质
CN115103169A (zh) * 2022-06-10 2022-09-23 深圳市火乐科技发展有限公司 投影画面校正方法、装置、存储介质以及投影设备
CN115103169B (zh) * 2022-06-10 2024-02-09 深圳市火乐科技发展有限公司 投影画面校正方法、装置、存储介质以及投影设备

Also Published As

Publication number Publication date
CN112738491B (zh) 2022-12-02

Similar Documents

Publication Publication Date Title
CN112738491B (zh) 一种投影反射画面的校正方法
CN110336987B (zh) 一种投影仪畸变校正方法、装置和投影仪
EP3937486A1 (en) Projector keystone correction method, apparatus, and system, and readable storage medium
US8358873B2 (en) Hybrid system for multi-projector geometry calibration
CN101572787B (zh) 基于计算机视觉精密测量多投影视景自动几何校正和拼接方法
CN110191326B (zh) 一种投影系统分辨率扩展方法、装置和投影系统
US8311366B2 (en) System and method for calibrating and adjusting a projected image of a projection apparatus
JP6198605B2 (ja) 手動及び半自動技術を用いたディスプレイシステムを較正するためのシステム及び方法
CN102014259B (zh) 基于投影纹理映射的斜投影失真校正方法
US20040184013A1 (en) Projecting warped images onto curved surfaces
CN112734860B (zh) 一种基于弧形幕先验信息的逐像素映射投影几何校正方法
CN113252309A (zh) 一种用于近眼显示设备的测试方法、测试装置及存储介质
CN108377371A (zh) 一种投影图像校正的方法及装置
JP4217100B2 (ja) 画像合成方法、装置、およびプログラム、ならびに立体モデルのレンダリング方法、装置、およびプログラム
EP3322181B1 (en) Method and system for screen correction
CN106444257A (zh) 光阀接收光斑的调整方法及装置、系统
CN111357284B (zh) 用于自动恢复投影系统的校准状态的方法
JP4199641B2 (ja) プロジェクタ装置
CN104869375B (zh) 一种图像边缘融合中的三维平滑曲面颜色校正系统及方法
CN104778658A (zh) 一种多投影机投影图像全自动几何拼接校正方法
Kim et al. Real‐Time Human Shadow Removal in a Front Projection System
JP2005004201A (ja) 画像を表示面上に投影する方法及びシステム
Li et al. Research on Splicing Technology of Large Format Three Dimensional Printing
US11785192B2 (en) Video display system and video display method
CN113674433B (zh) 混合现实显示方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant