CN116320358B - 一种视差图像预测装置及方法 - Google Patents
一种视差图像预测装置及方法 Download PDFInfo
- Publication number
- CN116320358B CN116320358B CN202310564823.6A CN202310564823A CN116320358B CN 116320358 B CN116320358 B CN 116320358B CN 202310564823 A CN202310564823 A CN 202310564823A CN 116320358 B CN116320358 B CN 116320358B
- Authority
- CN
- China
- Prior art keywords
- camera
- parallax image
- viewpoint
- pixels
- ith row
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000013528 artificial neural network Methods 0.000 claims abstract description 31
- 238000006073 displacement reaction Methods 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
Abstract
为解决传统相机阵列中，相机所在位置和数量固定，难以大规模获得任意视点数目和对应任意视点位置的视差图像的问题，本发明提出了一种视差图像预测装置及方法。本发明该视差图像预测装置及方法由第一相机、第二相机、第三相机及计算机系统构成，计算机系统内设人工神经网络，并通过三台相机的位置关系及三台相机所采集视差图像的第i行像素训练得到人工神经网络隐藏层，隐藏层揭示了图像像素深度与像素位移之间的关系，本发明可进一步通过隐藏层中的像素深度及像素位移关系进行任意视点位置的视差图像预测，从而方便快速地获得任意视点数目和对应任意视点位置处的视差图像。
Description
技术领域
本发明属于立体显示技术领域，更具体地说，本发明涉及一种视差图像预测装置及方法。
背景技术
通常，立体显示器将不同的视差图像投射至空间中不同视点位置，从而实现立体显示。视差图像的获取常以传统的相机阵列实现。因传统相机阵列中，相机所在位置和数量固定，难以大规模获得任意视点数目和对应任意视点位置的视差图像。因此，本发明提出了一种视差图像预测装置及方法，本发明的一种视差图像预测装置采用三台相机进行视差图像进行采集，其预测方法通过人工神经网络进行视差图像训练找到图像像素深度与像素位移之间的关系，并通过该规律进行任意视点位置的视差图像预测，从而方便快速地获得任意视点数目和对应任意视点位置处的视差图像。
发明内容
为解决传统相机阵列中，相机所在位置和数量固定，难以大规模获得任意视点数目和对应任意视点位置的视差图像的问题，本发明提出了一种视差图像预测装置及方法。
本发明的视差图像预测装置由第一相机、第二相机、第三相机及计算机系统构成。
第一相机、第二相机及第三相机在同一直线上排列，第一相机到第二相机镜头间距为D1，第二相机到第三相机镜头间距为D2。优选的，D1≠D2。
第一相机用于采集第一视点视差图像，第二相机用于采集第二视点视差图像，第三相机用于采集第三视点视差图像。
第一相机、第二相机及第三相机与计算机系统相连，其拍摄的视差图像传输至计算机系统。
计算机系统构建人工神经网络，对第一视点视差图像、第二视点视差图像及第三视点视差图像的第i行像素进行训练，并预测获得任意视点位置处的视差图像的第i行像素。当预测获得任意视点位置处的视差图像的所有行像素时，则按行进行像素组合，获得任意视点位置处的视差图像。
优选的，计算机系统由服务器构成，与第一相机、第二相机及第三相机由计算机网络连接。
优选的，计算机系统以一对多形式，供多个第一相机、第二相机及第三相机形成的组合共享使用。
本发明的视差图像预测方法如下：
构建人工神经网络，人工神经网络的输入层包含第一相机、第二相机及任意视点位置相机的位置关系、第一视点视差图像第i行像素、第二视点视差图像第i行像素；人工神经网络的隐藏层包含若干节点，此处不对节点数目进行限制，隐藏层用于描述图像像素深度与像素位移之间的关系；人工神经网络的输出层包含任意视点位置处的视差图像的第i行像素。
训练阶段内，输入层内输入第一相机、第二相机及任意视点位置相机的位置关系、第一视点视差图像第i行像素、第二视点视差图像第i行像素，其中任意视点位置相机的位置由第三相机位置代入；输出层内，任意视点位置处的视差图像的第i行像素由第三视点视差图像的第i行像素代入，从而训练得到隐藏层。
图像预测阶段，输入层内输入第一相机、第二相机及任意视点位置相机的位置关系、第一视点视差图像第i行像素、第二视点视差图像第i行像素，通过训练得到的隐藏层，计算获得任意视点位置处的视差图像的第i行像素。当预测获得任意视点位置处的视差图像的所有行像素时，则按行进行像素组合，获得任意视点位置处的视差图像。
优选的，第一相机、第二相机及第三相机在训练和预测阶段随机进行定义。
神经网络预测原理方面，区别于传统基于两幅视差图像进行人工神经网络训练，并预测图像像素深度大小进行视差图像获取的方法，本发明采用三台相机进行视差图像进行采集，在输入层中包含第一相机、第二相机位置关系，及其第一视点视差图像第i行像素、第二视点视差图像第i行像素，其已经具备了图像像素深度信息，而通过额外设置第三相机位置作为输入和第三视点视差图像第i行像素作为输出，通过隐藏层找到图像像素深度和像素位移之间的关系，从而进一步提高预测准确性。同时，本发明在使用过程中，第一相机、第二相机及第三相机在训练和预测阶段随机进行定义；因此，当其拍摄一组视差图像时，其在训练阶段可以通过定义不同的第一相机、第二相机及第三相机完成多次的训练，其在预测阶段也可通过定义不同的第一相机、第二相机获得合适的视差和预测结果。
综上所述，因本发明中，并通过人工神经网络进行任意视点位置的视差图像预测，从而可以方便快速地获得任意视点数目和对应任意视点位置处的视差图像，同时，相对于传统基于两幅视差图像的人工神经网络模型，本发明在原理上具备更高的预测精确性。
附图说明
图1为本发明的结构示意图。
图2为本发明的原理示意图。
图3为本发明中人工神经网络示意图。
图4为本发明中人工神经网络的训练示意图。
图标：101-第一相机；102-第二相机；103-第三相机；200-计算机系统；310-第一视点视差图像；320-第二视点视差图像；330-第三视点视差图像；340-任意视点位置处的视差图像；311-第一视点视差图像第i行像素；321-第二视点视差图像第i行像素；331-第三视点视差图像第i行像素；341-任意视点位置处的视差图像的第i行像素；410-输入层；420-隐藏层；430-输出层； 411-第一相机、第二相机及任意视点位置相机的位置关系；412-输入层内输入第一相机、第二相机及第三相机的位置关系；
应该理解上述附图只是示意性的，并没有按比例绘制。
实施方式
图1为本实施例提供的一种视差图像预测装置。为解决传统相机阵列中，相机所在位置和数量固定，难以大规模获得任意视点数目和对应任意视点位置的视差图像的问题，本发明提出了一种视差图像预测装置。
请参考图1，该视差图像预测装置由第一相机101、第二相机102、第三相机103及计算机系统200构成。计算机系统200由服务器构成，与第一相机101、第二相机102及第三相机103由计算机网络连接。
第一相机101、第二相机102及第三相机103在同一直线上排列，第一相机101镜头到第二相机102镜头间距为D1，第二相机102镜头到第三相机103镜头间距为D2。
第一相机101用于采集第一视点视差图像310，第二相机102用于采集第二视点视差图像320，第三相机103用于采集第三视点视差图像330。
第一相机101、第二相机102及第三相机103与计算机系统200相连，其拍摄的视差图像传输至计算机系统200。
请参考图2，计算机系统200构建人工神经网络，对第一视点视差图像第i行像素311、第二视点视差图像第i行像素321及第三视点视差图像第i行像素331进行训练，并预测获得任意视点位置处的视差图像的第i行像素341。当预测获得任意视点位置处的视差图像340的所有行像素时，则按行进行像素组合，获得任意视点位置处的视差图像340。
获得任意视点位置处的视差图像的第i行像素341的方法如下：
请参考图3，计算机系统200构建人工神经网络，人工神经网络的输入层410包含第一相机、第二相机及任意视点位置相机的位置关系411、第一视点视差图像第i行像素311、第二视点视差图像第i行像素321；人工神经网络的隐藏层420包含若干节点，隐藏层用于描述图像像素深度与像素位移之间的关系；人工神经网络的输出层430包含任意视点位置处的视差图像的第i行像素341。
请参考图4，训练阶段内，输入层410内输入第一相机、第二相机及任意视点位置相机的位置关系、第一视点视差图像第i行像素311、第二视点视差图像第i行像素321，其中任意视点位置相机的位置由第三相机103位置代入，即为输入层内输入第一相机、第二相机及第三相机的位置关系412，该位置关系参数计为（D1，D2）；输出层430内，任意视点位置处的视差图像的第i行像素由第三视点视差图像的第i行像素331代入，从而训练得到隐藏层420。
图像预测阶段，输入层410内输入第一相机、第二相机及任意视点位置相机的位置关系411、第一视点视差图像第i行像素311、第二视点视差图像第i行像素321，第一相机、第二相机及任意视点位置相机的位置关系411，该位置关系参数计为（D1，x），其中x为第二相机到任意视点位置相机的镜头距离。进一步的，通过训练得到的隐藏层420，计算获得任意视点位置处的视差图像的第i行像素341。当预测获得任意视点位置处的视差图像340的所有行像素时，则按行进行像素组合，获得任意视点位置处的视差图像340。
同时，计算机系统200以一对多形式，供多个第一相机101、第二相机102及第三相机103形成的组合共享使用，即多个相机用户共享使用计算机系统200。一对多的服务形式，可使得计算机系统200获得大量的第一视点视差图像310、第二视点视差图像320及第三视点视差图像330样本，从而在训练过程中提高隐藏层420的准确性。
区别于传统基于两幅视差图像进行人工神经网络训练，并预测图像像素深度大小进行视差图像获取的方法，本发明采用三台相机进行视差图像进行采集，在输入层410中包含第一相机101、第二相机102位置关系，及其第一视点视差图像第i行像素311、第二视点视差图像第i行像素321，其已经具备了图像像素深度信息，而通过额外设置第三相机103位置作为输入和第三视点视差图像第i行像素331作为输出，通过隐藏层420找到图像像素深度和像素位移之间的关系，从而进一步提高预测准确性。
同时，本发明在使用过程中，第一相机101、第二相机102及第三相机103在训练和预测阶段随机进行定义；因此，当其拍摄一组视差图像时，其在训练阶段可以通过定义不同的第一相机101、第二相机102及第三相机103完成多次的训练，如，第一次训练时的第一相机101调整为第二次训练时的第二相机102，第一次训练时的第二相机102调整为第二次训练时的第三相机103，第一次训练时的第三相机103调整为第二次训练时的第一相机101；其在预测阶段也可通过定义不同的第一相机101、第二相机102获得合适的视差和预测结果。
综上所述，因本发明中，并通过人工神经网络进行任意视点位置的视差图像预测，从而可以方便快速地获得任意视点数目和对应任意视点位置处的视差图像，同时，相对于传统基于两幅视差图像的人工神经网络模型，本发明在原理上具备更高的预测精确性。
Claims (5)
1.一种视差图像预测装置，其特征在于：
该视差图像预测装置由第一相机、第二相机、第三相机及计算机系统构成；
第一相机、第二相机及第三相机在同一直线上排列，第一相机到第二相机镜头间距为D1，第二相机到第三相机镜头间距为D2；
第一相机用于采集第一视点视差图像，第二相机用于采集第二视点视差图像，第三相机用于采集第三视点视差图像；
第一相机、第二相机及第三相机与计算机系统相连，其拍摄的视差图像传输至计算机系统；
计算机系统构建人工神经网络，对第一视点视差图像、第二视点视差图像及第三视点视差图像的第i行像素进行训练，并预测获得任意视点位置处的视差图像的第i行像素；当预测获得任意视点位置处的视差图像的所有行像素时，则按行进行像素组合，获得任意视点位置处的视差图像；
所述人工神经网络的输入为第一相机、第二相机及任意视点位置相机的位置关系、第一视点视差图像第i行像素、第二视点视差图像第i行像素；所述人工神经网络的输出为任意视点位置处的视差图像的第i行像素。
2.如权利要求1所述的一种视差图像预测装置，其特征在于：
计算机系统由服务器构成，与第一相机、第二相机及第三相机由计算机网络连接。
3.如权利要求1所述的一种视差图像预测装置，其特征在于：
计算机系统以一对多形式，供多个第一相机、第二相机及第三相机形成的组合共享使用。
4.一种视差图像预测方法，应用于权利要求1～3任一项所述的视差图像预测装置，其特征在于：
构建人工神经网络，人工神经网络的输入层包含第一相机、第二相机及任意视点位置相机的位置关系、第一视点视差图像第i行像素、第二视点视差图像第i行像素；人工神经网络的隐藏层包含若干节点，隐藏层用于描述图像像素深度与像素位移之间的关系；人工神经网络的输出层包含任意视点位置处的视差图像的第i行像素；
训练阶段内，输入层内输入第一相机、第二相机及任意视点位置相机的位置关系、第一视点视差图像第i行像素、第二视点视差图像第i行像素，其中任意视点位置相机的位置由第三相机位置代入；输出层内，任意视点位置处的视差图像的第i行像素由第三视点视差图像的第i行像素代入，从而训练得到隐藏层；
图像预测阶段，输入层内输入第一相机、第二相机及任意视点位置相机的位置关系、第一视点视差图像第i行像素、第二视点视差图像第i行像素，通过训练得到的隐藏层计算获得任意视点位置处的视差图像的第i行像素；当预测获得任意视点位置处的视差图像的所有行像素时，则按行进行像素组合，获得任意视点位置处的视差图像。
5.如权利要求4所述的一种视差图像预测方法，其特征在于：
第一相机、第二相机及第三相机在训练和预测阶段随机进行定义。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310564823.6A CN116320358B (zh) | 2023-05-19 | 2023-05-19 | 一种视差图像预测装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310564823.6A CN116320358B (zh) | 2023-05-19 | 2023-05-19 | 一种视差图像预测装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116320358A CN116320358A (zh) | 2023-06-23 |
| CN116320358B true CN116320358B (zh) | 2023-12-01 |
Family
ID=86829060
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310564823.6A Active CN116320358B (zh) | 2023-05-19 | 2023-05-19 | 一种视差图像预测装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116320358B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006024142A (ja) * | 2004-07-09 | 2006-01-26 | Sony Corp | 画像処理装置及び方法、プログラム |
| JP2013090129A (ja) * | 2011-10-18 | 2013-05-13 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
| EP3076370A1 (en) * | 2015-04-03 | 2016-10-05 | Ricoh Company, Ltd. | Method and system for selecting optimum values for parameter set for disparity calculation |
| CN107590857A (zh) * | 2016-07-07 | 2018-01-16 | 韩国电子通信研究院 | 用于生成虚拟视点图像的设备和方法 |
| JP2018013462A (ja) * | 2016-07-23 | 2018-01-25 | 公啓 妻藤 | 視差情報生成装置、視差情報生成方法、およびプログラム |
| CN109934307A (zh) * | 2019-05-08 | 2019-06-25 | 北京奇艺世纪科技有限公司 | 视差图预测模型训练方法、预测方法、装置及电子设备 |
| JP2020166069A (ja) * | 2019-03-28 | 2020-10-08 | パナソニックＩｐマネジメント株式会社 | 視差検査方法及び視差検査システム |
| CN114401391A (zh) * | 2021-12-09 | 2022-04-26 | 北京邮电大学 | 虚拟视点生成方法及装置 |
| CN114399553A (zh) * | 2021-12-03 | 2022-04-26 | 北京邮电大学 | 基于相机姿态的虚拟视点生成方法及装置 |
| KR20220074044A (ko) * | 2020-11-27 | 2022-06-03 | 연세대학교 산학협력단 | 생성적 적대 신경망을 이용한 스테레오 매칭 신뢰도 추정 장치 및 방법 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11024046B2 (en) * | 2018-02-07 | 2021-06-01 | Fotonation Limited | Systems and methods for depth estimation using generative models |
| CN110798673B (zh) * | 2019-11-13 | 2021-03-19 | 南京大学 | 基于深度卷积神经网络的自由视点视频生成及交互方法 |
-
2023
- 2023-05-19 CN CN202310564823.6A patent/CN116320358B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006024142A (ja) * | 2004-07-09 | 2006-01-26 | Sony Corp | 画像処理装置及び方法、プログラム |
| JP2013090129A (ja) * | 2011-10-18 | 2013-05-13 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
| EP3076370A1 (en) * | 2015-04-03 | 2016-10-05 | Ricoh Company, Ltd. | Method and system for selecting optimum values for parameter set for disparity calculation |
| CN107590857A (zh) * | 2016-07-07 | 2018-01-16 | 韩国电子通信研究院 | 用于生成虚拟视点图像的设备和方法 |
| JP2018013462A (ja) * | 2016-07-23 | 2018-01-25 | 公啓 妻藤 | 視差情報生成装置、視差情報生成方法、およびプログラム |
| JP2020166069A (ja) * | 2019-03-28 | 2020-10-08 | パナソニックＩｐマネジメント株式会社 | 視差検査方法及び視差検査システム |
| CN109934307A (zh) * | 2019-05-08 | 2019-06-25 | 北京奇艺世纪科技有限公司 | 视差图预测模型训练方法、预测方法、装置及电子设备 |
| KR20220074044A (ko) * | 2020-11-27 | 2022-06-03 | 연세대학교 산학협력단 | 생성적 적대 신경망을 이용한 스테레오 매칭 신뢰도 추정 장치 및 방법 |
| CN114399553A (zh) * | 2021-12-03 | 2022-04-26 | 北京邮电大学 | 基于相机姿态的虚拟视点生成方法及装置 |
| CN114401391A (zh) * | 2021-12-09 | 2022-04-26 | 北京邮电大学 | 虚拟视点生成方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| Perceptual Distortions Between Windows and Screens: Stereopsis Predicts Motion Parallax;Xiaoye Michael Wang 等;《IEEE》;全文 * |
| 基于卷积神经网络的视差图生成技术;朱俊鹏;赵洪利;杨海涛;;计算机应用(01);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116320358A (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114004941B (zh) | 一种基于神经辐射场的室内场景三维重建系统及方法 | |
| CN108961272B (zh) | 一种基于深度卷积对抗生成网络的皮肤病图像的生成方法 | |
| CN106846463B (zh) | 基于深度学习神经网络的显微图像三维重建方法及系统 | |
| CN103516983B (zh) | 图像处理装置、摄像装置以及图像处理方法 | |
| CN112686385B (zh) | 面向多站点三维影像的联邦深度学习方法及系统 | |
| CN112767466B (zh) | 一种基于多模态信息的光场深度估计方法 | |
| JP2012142791A (ja) | 三次元モデル作成システム、サーバ、及び、プログラム | |
| CN103561257B (zh) | 一种基于深度参考平面的无干扰的光编码深度提取方法 | |
| CN112330795B (zh) | 基于单张rgbd图像的人体三维重建方法及系统 | |
| CN111695681B (zh) | 一种高分辨率动态视觉观测方法及装置 | |
| WO2020060196A1 (ko) | 3차원 영상 재구성 장치 및 그 방법 | |
| JP2012142792A (ja) | 撮像パラメータ取得装置、撮像パラメータ取得方法、及び、プログラム | |
| CN111028273A (zh) | 一种基于多流卷积神经网络的光场深度估计方法及其实现系统 | |
| CN109688328A (zh) | 一种基于不同点位摄像机的视频拼接融合及分割的方法和装置 | |
| CN116320358B (zh) | 一种视差图像预测装置及方法 | |
| Yan et al. | Subjective and objective quality of experience of free viewpoint videos | |
| CN110415293B (zh) | 交互处理方法、装置、系统和计算机设备 | |
| CN110349209A (zh) | 基于双目视觉的振捣棒定位方法 | |
| CN109151419A (zh) | 一种基于拉东变换的单像素成像方法 | |
| CN116029371B (zh) | 基于预训练的联邦学习工作流构建方法及相关设备 | |
| CN110059658B (zh) | 一种基于三维卷积神经网络的遥感卫星影像多时相变化检测方法 | |
| US8818124B1 (en) | Methods, apparatus, and systems for super resolution of LIDAR data sets | |
| Zhao | Low-Complexity Deep Learning-Based Light Field Image Quality Assessment | |
| CN113506335B (zh) | 基于多rgbd相机的实时人体全息重建方法以及装置 | |
| CN110021036A (zh) | 红外目标检测方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |