CN112312230A - 一种对影片自动进行3d特效生成的方法 - Google Patents
一种对影片自动进行3d特效生成的方法 Download PDFInfo
- Publication number
- CN112312230A CN112312230A CN202011294191.9A CN202011294191A CN112312230A CN 112312230 A CN112312230 A CN 112312230A CN 202011294191 A CN202011294191 A CN 202011294191A CN 112312230 A CN112312230 A CN 112312230A
- Authority
- CN
- China
- Prior art keywords
- video
- data
- model
- illumination
- dimensional model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000000694 effects Effects 0.000 title claims abstract description 22
- 238000005286 illumination Methods 0.000 claims abstract description 40
- 238000013500 data storage Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 238000013075 data extraction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 6
- 238000004364 calculation method Methods 0.000 abstract description 5
- 238000009877 rendering Methods 0.000 abstract description 3
- 210000004556 brain Anatomy 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 210000001525 retina Anatomy 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种对影片自动进行3D特效生成的方法，包括如下步骤：S1、积累的矢量化三维模型库，选取特定角度的投影按需mesh化，选择一个预设若干纹理，生成所需；S2、对于需要处理的视频，输入像素坐标(x,y)，根据三维模型的外形，设定scale比例投影面，形成时间线t维度的光照数据帧库；S3、光照数据帧时间范围数据生成后，对S1中生成的三维模型处理后的纹理投影，结合光照数据帧，形成新的光照后模型视频帧时间线，让40%的通用三维模型植入场景得以高质量低成本的实现，为行业视频制作工业化提供了爆发的基础，让模型数据库统一管理，解决了模型质量的统一把控，且3D模型渲染按需处理特定投影面的三角面片，并且系统记忆过程，节约大量重复计算消耗。
Description
技术领域
本发明涉及3D特效生成技术领域，具体为一种对影片自动进行3D特效生成的方法。
背景技术
人的视觉之所以能分辨远近，是靠两只眼睛的差距，人的两眼分开约5公分，两只眼睛除了瞄准正前方以外，看任何一样东西，两眼的角度都不会相同，虽然差距很小，但经视网膜传到大脑里，脑子就用这微小的差距，产生远近的深度，从而产生立体感，一只眼睛虽然能看到物体，但对物体远近的距离却不易分辨，根据这一原理，如果把同一景像，用两只眼睛视角的差距制造出两个影像，然后让两只眼睛一边一个，各看到自己一边的影像，透过视网膜就可以使大脑产生景深的立体感了，各式各样的立体演示技术，也多是运用这一原理，我们称其为“偏光原理”，3D立体电影的制作有多种形式，其中较为广泛采用的是偏光眼镜法，它以人眼观察景物的方法，利用两台并列安置的电影摄影机，分别代表人的左、右眼，同步拍摄出两条略带水平视差的电影画面，放映时，将两条电影影片分别装入左、右电影放映机，并在放映镜头前分别装置两个偏振轴互成90度的偏振镜，两台放映机需同步运转，同时将画面投放在金属银幕上，形成左像右像双影，当观众戴上特制的偏光眼镜时，由于左、右两片偏光镜的偏振轴互相垂直，并与放映镜头前的偏振轴相一致，致使观众的左眼只能看到左像、右眼只能看到右像，通过双眼汇聚功能将左、右像叠和在视网膜上，由大脑神经产生三维立体的视觉效果，展现出一幅幅连贯的立体画面，使观众感到景物扑面而来、或进入银幕深凹处，能产生强烈的“身临其境”感；
但是目前现有如果有将虚拟三维模型加入到视频中，需要花费大量特效剪辑人力，特效制作都是定制化的，由剪辑师根据客户的需求，人工编辑三维模型，人工调整纹理光照等，当前的方式都是单个视频，特定模型的手工制作，这样就造成开发周期长，剪辑师水平参差不齐导致质量难以保证，相应的大规模应用成本更加高昂，这种成本对于有更高时间效用的短视频而言更加不可接受。
发明内容
本发明提供一种对影片自动进行3D特效生成的方法，可以有效解决上述背景技术中提出成本过高的问题。
为实现上述目的，本发明提供如下技术方案：一种对影片自动进行3D特效生成的方法，包括如下步骤：
S1、积累的矢量化三维模型库，选取特定角度的投影按需mesh化，选择一个预设若干纹理，生成所需；
S2、对于需要处理的视频，输入像素坐标(x,y)，根据三维模型的外形，设定scale比例投影面，形成时间线t维度的光照数据帧库；
S3、光照数据帧时间范围数据生成后，对S1中生成的三维模型处理后的纹理投影，结合光照数据帧，形成新的光照后模型视频帧时间线；
S4、将S3中产生的光照后模型视频帧时间线，与原视频时间线做overlay叠加，边缘过渡处理形成新的帧，生成新的视频文件；
S5、将S4中产生视频添加所需前后景，生成准视频；
S6、对S5中生成准视频，基于CNN模型对区域做自动合理性检测，通过后，生成最终视频。
根据上述技术方案，所述S1中使用过程系统记录历史中间结果，提供重复计算复用提速。
根据上述技术方案，所述S1中数据库通过网络和平时累积的数据视频进行推积，并对于数据进行云端与硬件的数据存储，并对于数据进行加密；
所述云端的存储通过网络，将多台中控机的数据通过网络传输到服务器，所述服务器的数据输入与提取均进行加密；
所述硬件存储为硬盘、服务器和移动设备的数据存储与传输。
根据上述技术方案，所述S2中光照数据帧库的数据与S1中三维模型库数据进行保存，并光照数据帧库与三维模型库的数据提取与储存方式相同。
根据上述技术方案，述S4中模型视频帧时间线，与原视频时间线做overlay叠加，其视频特定时间线范围的光照数据提取，光照与模型的自然结合。
根据上述技术方案，所述S6中视频进行检查，对于其流畅性，色彩、3D效果、格式和视频中由于虚焦、聚焦错误、镜头损坏引起的图像模糊故障进行检测，并进行排查；
视频中由于摄像机故障、增益控制紊乱、照明条件异常、人为恶意遮挡的各种原因引起的画面过亮、过暗故障进行亮度诊断。
与现有技术相比，本发明的有益效果：本发明结构科学合理，使用安全方便，提取指定坐标位置视频光照时间线，将三维模型根据该时间线的光照，自动生成最终效果，然后自动与原视频合并，这里主要依赖长期积累并持续迭代的三维模型库，只需要输入视频和坐标范围自动提取视频光照情况的光照提取引擎，然后将提取的光照环境叠加时间线，自动赋予三维模型，动态生成视频帧，经过自动叠加边缘处理、前后景处理等操作后，得到可直接用于投放环节的视频，这样不仅摆脱了对剪辑师个人水平的依赖，提高了视频三维模型插入的质量和效率，也让视频处理自动批量化成为可能，让40%的通用三维模型植入场景得以高质量低成本的实现，为行业视频制作工业化提供了爆发的基础，让模型数据库统一管理，解决了模型质量的统一把控，且3D模型渲染按需处理特定投影面的三角面片，并且系统记忆过程，节约大量重复计算消耗，同时光照自动处理与原视频一致，使实际出产的视频中的模型效果以假乱真，实现了流水线批量处理视频的基础。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
在附图中：
图1是本发明的方法步骤示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例：如图1所示，本发明提供技术方案，一种对影片自动进行3D特效生成的方法，包括如下步骤：
S1、积累的矢量化三维模型库，选取特定角度的投影按需mesh化，选择一个预设若干纹理，生成所需；
S2、对于需要处理的视频，输入像素坐标(x,y)，根据三维模型的外形，设定scale比例投影面，形成时间线t维度的光照数据帧库；
S3、光照数据帧时间范围数据生成后，对S1中生成的三维模型处理后的纹理投影，结合光照数据帧，形成新的光照后模型视频帧时间线；
S4、将S3中产生的光照后模型视频帧时间线，与原视频时间线做overlay叠加，边缘过渡处理形成新的帧，生成新的视频文件；
S5、将S4中产生视频添加所需前后景，生成准视频；
S6、对S5中生成准视频，基于CNN模型对区域做自动合理性检测，通过后，生成最终视频。
根据上述技术方案，S1中使用过程系统记录历史中间结果，提供重复计算复用提速。
根据上述技术方案，S1中数据库通过网络和平时累积的数据视频进行推积，并对于数据进行云端与硬件的数据存储，并对于数据进行加密；
云端的存储通过网络，将多台中控机的数据通过网络传输到服务器，服务器的数据输入与提取均进行加密；
硬件存储为硬盘、服务器和移动设备的数据存储与传输。
根据上述技术方案，S2中光照数据帧库的数据与S1中三维模型库数据进行保存，并光照数据帧库与三维模型库的数据提取与储存方式相同。
根据上述技术方案，述S4中模型视频帧时间线，与原视频时间线做overlay叠加，其视频特定时间线范围的光照数据提取，光照与模型的自然结合。
根据上述技术方案，S6中视频进行检查，对于其流畅性，色彩、3D效果、格式和视频中由于虚焦、聚焦错误、镜头损坏引起的图像模糊故障进行检测，并进行排查；
视频中由于摄像机故障、增益控制紊乱、照明条件异常、人为恶意遮挡的各种原因引起的画面过亮、过暗故障进行亮度诊断。
与现有技术相比，本发明的有益效果：本发明结构科学合理，使用安全方便，提取指定坐标位置视频光照时间线，将三维模型根据该时间线的光照，自动生成最终效果，然后自动与原视频合并，这里主要依赖长期积累并持续迭代的三维模型库，只需要输入视频和坐标范围自动提取视频光照情况的光照提取引擎，然后将提取的光照环境叠加时间线，自动赋予三维模型，动态生成视频帧，经过自动叠加边缘处理、前后景处理等操作后，得到可直接用于投放环节的视频，这样不仅摆脱了对剪辑师个人水平的依赖，提高了视频三维模型插入的质量和效率，也让视频处理自动批量化成为可能，让40%的通用三维模型植入场景得以高质量低成本的实现，为行业视频制作工业化提供了爆发的基础，让模型数据库统一管理，解决了模型质量的统一把控，且3D模型渲染按需处理特定投影面的三角面片，并且系统记忆过程，节约大量重复计算消耗，同时光照自动处理与原视频一致，使实际出产的视频中的模型效果以假乱真，实现了流水线批量处理视频的基础。
最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种对影片自动进行3D特效生成的方法，其特征在于：包括如下步骤：
S1、积累的矢量化三维模型库，选取特定角度的投影按需mesh化，选择一个预设若干纹理，生成所需；
S2、对于需要处理的视频，输入像素坐标(x,y)，根据三维模型的外形，设定scale比例投影面，形成时间线t维度的光照数据帧库；
S3、光照数据帧时间范围数据生成后，对S1中生成的三维模型处理后的纹理投影，结合光照数据帧，形成新的光照后模型视频帧时间线；
S4、将S3中产生的光照后模型视频帧时间线，与原视频时间线做overlay叠加，边缘过渡处理形成新的帧，生成新的视频文件；
S5、将S4中产生视频添加所需前后景，生成准视频；
S6、对S5中生成准视频，基于CNN模型对区域做自动合理性检测，通过后，生成最终视频。
2.根据权利要求1所述的一种对影片自动进行3D特效生成的方法，其特征在于，所述S1中使用过程系统记录历史中间结果，提供重复计算复用提速。
3.根据权利要求1所述的一种对影片自动进行3D特效生成的方法，其特征在于，所述S1中数据库通过网络和平时累积的数据视频进行推积，并对于数据进行云端与硬件的数据存储，并对于数据进行加密；
所述云端的存储通过网络，将多台中控机的数据通过网络传输到服务器，所述服务器的数据输入与提取均进行加密；
所述硬件存储为硬盘、服务器和移动设备的数据存储与传输。
4.根据权利要求3所述的一种对影片自动进行3D特效生成的方法，其特征在于，所述S2中光照数据帧库的数据与S1中三维模型库数据进行保存，并光照数据帧库与三维模型库的数据提取与储存方式相同。
5.根据权利要求1所述的一种对影片自动进行3D特效生成的方法，其特征在于，所述S4中模型视频帧时间线，与原视频时间线做overlay叠加，其视频特定时间线范围的光照数据提取，光照与模型的自然结合。
6.根据权利要求1所述的一种对影片自动进行3D特效生成的方法，其特征在于，所述S6中视频进行检查，对于其流畅性，色彩、3D效果、格式和视频中由于虚焦、聚焦错误、镜头损坏引起的图像模糊故障进行检测，并进行排查；
视频中由于摄像机故障、增益控制紊乱、照明条件异常、人为恶意遮挡的各种原因引起的画面过亮、过暗故障进行亮度诊断。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011294191.9A CN112312230B (zh) | 2020-11-18 | 2020-11-18 | 一种对影片自动进行3d特效生成的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011294191.9A CN112312230B (zh) | 2020-11-18 | 2020-11-18 | 一种对影片自动进行3d特效生成的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112312230A true CN112312230A (zh) | 2021-02-02 |
| CN112312230B CN112312230B (zh) | 2023-01-31 |
Family
ID=74335252
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011294191.9A Active CN112312230B (zh) | 2020-11-18 | 2020-11-18 | 一种对影片自动进行3d特效生成的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112312230B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103198513A (zh) * | 2013-03-29 | 2013-07-10 | 浙江大学 | 电影后期合成反走样方法 |
| CN103679782A (zh) * | 2013-12-24 | 2014-03-26 | 邢刚 | 一种低成本民用影视特效合成方法 |
| US20160335487A1 (en) * | 2014-04-22 | 2016-11-17 | Tencent Technology (Shenzhen) Company Limited | Hand motion identification method and apparatus |
| CN106527857A (zh) * | 2016-10-10 | 2017-03-22 | 成都斯斐德科技有限公司 | 一种基于虚拟现实的全景视频交互方法 |
| CN109584353A (zh) * | 2018-10-22 | 2019-04-05 | 北京航空航天大学 | 一种基于单目视频重建三维人脸表情模型的方法 |
| CN110517356A (zh) * | 2019-08-21 | 2019-11-29 | 佳都新太科技股份有限公司 | 实现多路视频融合的三维增强现实的系统、方法及设备 |
| CN111415416A (zh) * | 2020-03-31 | 2020-07-14 | 武汉大学 | 一种监控实时视频与场景三维模型融合方法及系统 |
| CN112489225A (zh) * | 2020-11-26 | 2021-03-12 | 北京邮电大学 | 视频与三维场景融合的方法、装置、电子设备和存储介质 |
-
2020
- 2020-11-18 CN CN202011294191.9A patent/CN112312230B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103198513A (zh) * | 2013-03-29 | 2013-07-10 | 浙江大学 | 电影后期合成反走样方法 |
| CN103679782A (zh) * | 2013-12-24 | 2014-03-26 | 邢刚 | 一种低成本民用影视特效合成方法 |
| US20160335487A1 (en) * | 2014-04-22 | 2016-11-17 | Tencent Technology (Shenzhen) Company Limited | Hand motion identification method and apparatus |
| CN106527857A (zh) * | 2016-10-10 | 2017-03-22 | 成都斯斐德科技有限公司 | 一种基于虚拟现实的全景视频交互方法 |
| CN109584353A (zh) * | 2018-10-22 | 2019-04-05 | 北京航空航天大学 | 一种基于单目视频重建三维人脸表情模型的方法 |
| CN110517356A (zh) * | 2019-08-21 | 2019-11-29 | 佳都新太科技股份有限公司 | 实现多路视频融合的三维增强现实的系统、方法及设备 |
| CN111415416A (zh) * | 2020-03-31 | 2020-07-14 | 武汉大学 | 一种监控实时视频与场景三维模型融合方法及系统 |
| CN112489225A (zh) * | 2020-11-26 | 2021-03-12 | 北京邮电大学 | 视频与三维场景融合的方法、装置、电子设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 刘鲁男: "《三维特技镜头的制作——"真实"的轻松再现》", 《计算机软件及计算机应用》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112312230B (zh) | 2023-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9094675B2 (en) | Processing image data from multiple cameras for motion pictures | |
| EP2188672B1 (en) | Generation of three-dimensional movies with improved depth control | |
| US8711204B2 (en) | Stereoscopic editing for video production, post-production and display adaptation | |
| US8228327B2 (en) | Non-linear depth rendering of stereoscopic animated images | |
| US10095953B2 (en) | Depth modification for display applications | |
| KR101013086B1 (ko) | 장면 물체의 위치 조작을 통한 시차 스캐닝 시스템 및 방법 | |
| US20090219383A1 (en) | Image depth augmentation system and method | |
| Cao et al. | Converting 2D video to 3D: An efficient path to a 3D experience | |
| Ceulemans et al. | Robust multiview synthesis for wide-baseline camera arrays | |
| CN113238472B (zh) | 基于频域位移的高分辨率光场显示方法及装置 | |
| CN111327886B (zh) | 3d光场渲染方法及装置 | |
| KR101289283B1 (ko) | 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법 | |
| CN116567191A (zh) | 一种面向舒适度提升的立体视觉内容视差调节方法 | |
| CN112312230B (zh) | 一种对影片自动进行3d特效生成的方法 | |
| US9641826B1 (en) | System and method for displaying distant 3-D stereo on a dome surface | |
| CN116824029B (zh) | 全息影像阴影生成的方法、装置、电子设备和存储介质 | |
| US11677928B1 (en) | Method for image processing of image data for varying image quality levels on a two-dimensional display wall | |
| Wei et al. | A real-time 2d to 3d video conversion algorithm based on image shear transformation | |
| Tolstaya et al. | Depth Estimation and Control | |
| Laldin | Perceived Acceleration in Stereoscopic Animation | |
| CN104581118A (zh) | 一种3d定格动画视频拍摄步骤及制作方法 | |
| US9609313B2 (en) | Enhanced 3D display method and system | |
| CN203039816U (zh) | 一种3d图像处理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |