CN114979483B - 一种基于数字摄像机的焦点跟踪方法 - Google Patents
一种基于数字摄像机的焦点跟踪方法 Download PDFInfo
- Publication number
- CN114979483B CN114979483B CN202210572345.9A CN202210572345A CN114979483B CN 114979483 B CN114979483 B CN 114979483B CN 202210572345 A CN202210572345 A CN 202210572345A CN 114979483 B CN114979483 B CN 114979483B
- Authority
- CN
- China
- Prior art keywords
- image
- focus
- tracking
- acquiring
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明涉及了一种基于数字摄像机的焦点跟踪方法，涉及焦点跟踪技术领域，解决了采用设备对焦点进行跟踪时，效果不佳，不利于操作人员进行操作处理的技术问题；对正在移动过程中的图像进行曝光处理，对区域亮度和曝光距离进行获取，根据获取数据对图像进行不同阶段的曝光处理，将曝光后的图像进行实时更新；根据处理得到的参数数值，对跟踪摄像头进行方向角度调整，完成图像的焦点跟踪，预先进行轮廓以及焦点进行确认捆绑，通过捆绑数据包，处理中心再对数据进行处理，直接对角度进行改变，采用此种方式进行焦点追踪，便可快速有效找到对应焦点，提升了跟踪效果。
Description
技术领域
本发明属于焦点跟踪技术领域，具体是一种基于数字摄像机的焦点跟踪方法。
背景技术
数字摄像机实际上指的是数字信号处理摄像机，也就是说，由光电转换器件得到的三基色电信号仍然为模拟信号，只不过在后续的处理中将其转换成数字信号，并进行一系列的数字处理技术。
专利公开号为CN111656256A的发明专利公开了一种使能电子设备执行注视或焦点跟踪操作的系统和方法，该电子设备包括处理器和显示屏，该处理器被配置为基于用户的注视或用户的眼睛的焦点中的至少一者，控制电子设备的操作或可调节透镜的焦点中的至少一者，显示屏耦合到处理器，并被配置为基于用户的注视或眼睛的焦点中的至少一者使用该显示屏呈现对象的图像。
数字摄像机以及电子设备在进行使用过程中，需通过操作调节透镜的焦点，在通过显示屏耦合到处理器，并被配置为基于用户的注视或眼睛的焦点中的至少一者使用该显示屏呈现对象的图像，此种对焦点进行跟踪的方式较为繁琐，不利于外部操作人员进行操作处理，同时，认为的操作处理，会导致焦点跟踪效果不佳，所跟踪的图像无法完整的显示在拍摄镜头内。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一；为此，本发明提出了一种基于数字摄像机的焦点跟踪方法，用于解决采用设备对焦点进行跟踪时，效果不佳，不利于操作人员进行操作处理的技术问题。
为实现上述目的，根据本发明的第一方面的实施例提出一种基于数字摄像机的焦点跟踪方法，包括以下步骤：
S1、预先对进行跟踪的对象外形进行获取，并将所获取得到的外形图像传输至处理服务器内；
S2、处理服务器内部设置有对应的九宫格坐标模板，合并九宫格坐标模板与所生成的图像，确定对应的焦点，通过所生成的图像获取九宫格的不同区域的覆盖面积，并生成捆绑数据包；
S3、根据图像的移动对焦点的移动方向进行获取判定，使跟踪摄像头进行反向移动，在移动过程中，通过捆绑数据包对焦点以及图像进行定位，实时对移动过程中图像进行跟踪处理；
S4、对正在移动过程中的图像进行曝光处理，对区域亮度和曝光距离进行获取，根据获取数据对图像进行不同阶段的曝光处理，将曝光后的图像进行实时更新；
S5、根据处理得到的参数数值，对跟踪摄像头进行方向角度调整，完成图像的焦点跟踪。
优选的，该跟踪方法由跟踪系统进行执行，所述跟踪系统包括图像获取端和处理服务器；
处理服务器，包括轮廓确定单元、曝光补偿单元、内设模板、处理中心、控制单元以及调节单元。
优选的，步骤S1中，对图像进行获取时，需采用图像获取端对进行跟踪的图像进行获取。
优选的，步骤S2中，九宫格坐标模板由内设模板进行提供，所述轮廓确定单元从内设模板内部提取对应的九宫格坐标模板；
所述轮廓确定单元将图像与九宫格坐标模板进行贴合得到不同宫格区域的贴合面积，获取九宫格中心点，并将中心点标记为ZX，将所获取的面积标记为MJk，其中k＝1、2、……、9，k代表不同的宫格，将轮廓确定单元所确定的数据ZX和MJk进行捆绑，生成捆绑数据包(ZX，MJk)，并将捆绑数据包(ZX，MJk)输入至处理中心内。
优选的，步骤S3中，处理中心对移动图像进行跟踪处理的步骤为：
S31、获取焦点的位置，在2s后，再次获取焦点的位置，确定焦点的移动方向，根据移动方向生成反方向，每间隔2s，对焦点的移动方向再次进行确定；
S32、对焦点的移动距离进行获取，并标记为H，并同时获取跟踪摄像头与未进行移动焦点的距离，并标记为L，未进行移动焦点为初始焦点，采用
获取跟踪角度B；
S33、根据反方向对跟踪摄像头进行角度改变，改变角度数值为B，并将反方向进行处理，生成反方向标记，并将反方向标记以及角度数值B传输至调节单元内；
S34、跟踪摄像头角度完成改变后，根据捆绑数据包(ZX，MJk)对获取图像进行再次定位，通过多组九宫格面积数值MJk，使图像与九宫格进行匹配微调，使焦点处于中心位置；
S35、图像再次进行移动时，重复步骤S31至S34，对图像进行跟踪处理。
优选的，步骤S4中，曝光补偿单元对对正在移动过程中的图像进行曝光处理，其中曝光处理步骤为：
S41、对区域亮度进行获取，并标记为LD，将曝光距离进行获取，并标记为BG，其中曝光距离未摄像头与焦点之间的距离；
S42、采用
得到曝光等级值DJ，其中C1和C2均为预设的固定系数因子，
为修正因子，取值为0.985312；
S43、其中曝光补偿单元内部设置有对应的等级补偿因子M1，采用
获取得到光圈幅度参数值GQ；
S44、将光圈幅度参数值GQ输送至处理中心内。
优选的，所述调节单元对光圈幅度参数值GQ、反方向标记以及角度数值B进行接收，对跟踪摄像头内部的光圈参数数值进行调整，调节单元根据反方向标记对跟踪摄像头进行调整，根据角度数值B，使跟踪摄像头进行反方向调整角度B。
与现有技术相比，本发明的有益效果是：预先对进行跟踪的对象外形进行获取，并将所获取得到的图像传输至处理服务器内；处理服务器内部设置有对应的九宫格坐标模板，合并九宫格坐标模板与所生成的图像，确定对应的焦点，通过所生成的图像获取九宫格的不同区域的覆盖面积，并生成捆绑数据包；根据图像的移动对焦点的移动方向进行获取判定，使跟踪摄像头进行反向移动，在移动过程中，通过捆绑数据包对焦点以及图像进行定位，实时对移动过程中图像进行跟踪处理；
对正在移动过程中的图像进行曝光处理，对区域亮度和曝光距离进行获取，根据获取数据对图像进行不同阶段的曝光处理，将曝光后的图像进行实时更新；根据处理得到的参数数值，对跟踪摄像头进行方向角度调整，完成图像的焦点跟踪，预先进行轮廓以及焦点进行确认捆绑，通过捆绑数据包，处理中心再对数据进行处理，直接对角度进行改变，采用此种方式进行焦点追踪，便可快速有效找到对应焦点，提升了跟踪效果。
附图说明
图1为本发明方法流程示意图；
图2为本发明原理框架示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，本申请提供了一种基于数字摄像机的焦点跟踪方法，包括以下步骤：
S1、预先对进行跟踪的对象外形进行获取，并将所获取得到的图像传输至处理服务器内；
S2、处理服务器内部设置有对应的九宫格坐标模板，合并九宫格坐标模板与所生成的图像，确定对应的焦点，通过所生成的图像获取九宫格的不同区域的覆盖面积，并生成捆绑数据包；
S3、根据图像的移动对焦点的移动方向进行获取判定，使跟踪摄像头进行反向移动，在移动过程中，通过捆绑数据包对焦点以及图像进行定位，实时对移动过程中图像进行跟踪处理；
S4、对正在移动过程中的图像进行曝光处理，对区域亮度和曝光距离进行获取，根据获取数据对图像进行不同阶段的曝光处理，将曝光后的图像进行实时更新；
S5、根据处理得到的参数数值，对跟踪摄像头进行方向角度调整，完成图像的焦点跟踪。
请参阅图2，基于数字摄像机的焦点跟踪方法由焦点跟踪系统进行执行，包括图像获取端和处理服务器，所述图像获取端将所获取的图像传输至处理服务器内；
处理服务器，包括轮廓确定单元、曝光补偿单元、内设模板、处理中心、控制单元以及调节单元；
所述轮廓确定单元与内设模板之间双向连接，轮廓确定单元输出端与曝光补偿单元输入端电性连接，所述曝光补偿单元输出端与处理中心输入端电性连接，所述处理中心分别与控制单元和调节单元之间双向连接；
步骤S1中，对图像进行获取时，需采用对应的图像获取端对进行跟踪的图像进行获取；
步骤S2中，九宫格坐标模板由内设模板进行提供，其中，轮廓确定单元从内设模板内部提取对应的九宫格坐标模板；
所获取的图像通过轮廓确定单元与九宫格坐标模板进行贴合，通过对焦距进行调节，使图像完整嵌入至九宫格坐标模板内部完整九宫格内；
对九宫格每个宫格内的覆盖面积进行提取，并获取九宫格中心点，并将中心点标记为ZX，将所获取的面积标记为MJk，其中k＝1、2、……、9，k代表不同的宫格，将轮廓确定单元所确定的数据ZX和MJk进行捆绑，生成捆绑数据包(ZX，MJk)，并将捆绑数据包(ZX，MJk)输入至处理中心内；
步骤S3中，处理中心对移动图像进行跟踪处理的步骤为：
S31、获取焦点的位置，在2s后，再次获取焦点的位置，确定焦点的移动方向，根据移动方向生成反方向，每间隔2s，对焦点的移动方向再次进行确定；
S32、对焦点的移动距离进行获取，并标记为H，并同时获取跟踪摄像头与未进行移动焦点的距离，并标记为L，未进行移动焦点为初始焦点，采用
获取跟踪角度B；
S33、根据反方向对跟踪摄像头进行角度改变，改变角度数值为B，并将反方向进行处理，生成反方向标记，并将反方向标记以及角度数值B传输至调节单元内；
S34、跟踪摄像头角度完成改变后，根据捆绑数据包(ZX，MJk)对获取图像进行再次定位，通过多组九宫格面积数值MJk，使图像与九宫格进行匹配微调，使焦点处于中心位置；
S35、图像再次进行移动时，重复步骤S31至S34，对图像进行跟踪处理。
所述步骤S4中，曝光补偿单元对对正在移动过程中的图像进行曝光处理，其中曝光处理步骤为：
S41、对区域亮度进行获取，并标记为LD，将曝光距离进行获取，并标记为BG，其中曝光距离未摄像头与焦点之间的距离；
S42、采用
得到曝光等级值DJ，其中C1和C2均为预设的固定系数因子，
为修正因子，取值为0.985312；
S43、其中曝光补偿单元内部设置有对应的等级补偿因子M1，采用
获取得到光圈幅度参数值GQ；
S44、将光圈幅度参数值GQ输送至处理中心内。
调节单元接收到对应的光圈幅度参数值GQ时，对跟踪摄像头内部的光圈参数数值进行调整，接收到反方向标记以及角度数值B时，调节单元根据反方向标记对跟踪摄像头进行调整，根据角度数值B，使跟踪摄像头进行反方向调整角度B。
上述公式中的部分数据均是去除量纲取其数值计算，公式是由采集的大量数据经过软件模拟得到最接近真实情况的一个公式；公式中的预设参数和预设阈值由本领域的技术人员根据实际情况设定或者通过大量数据模拟获得。
本发明的工作原理：预先对进行跟踪的对象外形进行获取，并将所获取得到的图像传输至处理服务器内；处理服务器内部设置有对应的九宫格坐标模板，合并九宫格坐标模板与所生成的图像，确定对应的焦点，通过所生成的图像获取九宫格的不同区域的覆盖面积，并生成捆绑数据包；根据图像的移动对焦点的移动方向进行获取判定，使跟踪摄像头进行反向移动，在移动过程中，通过捆绑数据包对焦点以及图像进行定位，实时对移动过程中图像进行跟踪处理；
对正在移动过程中的图像进行曝光处理，对区域亮度和曝光距离进行获取，根据获取数据对图像进行不同阶段的曝光处理，将曝光后的图像进行实时更新；根据处理得到的参数数值，对跟踪摄像头进行方向角度调整，完成图像的焦点跟踪，预先进行轮廓以及焦点进行确认捆绑，通过捆绑数据包，处理中心再对数据进行处理，直接对角度进行改变，采用此种方式进行焦点追踪，便可快速有效找到对应焦点，同时，提升了跟踪效果。
以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。
Claims (3)
1.一种基于数字摄像机的焦点跟踪方法，其特征在于，包括以下步骤：
S1、预先对进行跟踪的对象外形进行获取，并将所获取得到的外形图像传输至处理服务器内；
S2、处理服务器内部设置有对应的九宫格坐标模板，合并九宫格坐标模板与所生成的图像，确定对应的焦点，通过所生成的图像获取九宫格的不同区域的覆盖面积，并生成捆绑数据包；
S3、根据图像的移动对焦点的移动方向进行获取判定，使跟踪摄像头进行反向移动，在移动过程中，通过捆绑数据包对焦点以及图像进行定位，实时对移动过程中图像进行跟踪处理；
S4、对正在移动过程中的图像进行曝光处理，对区域亮度和曝光距离进行获取，根据获取数据对图像进行不同阶段的曝光处理，将曝光后的图像进行实时更新；
S5、根据处理得到的参数数值，对跟踪摄像头进行方向角度调整，完成图像的焦点跟踪；
该跟踪方法由跟踪系统进行执行，所述跟踪系统包括图像获取端和处理服务器；
处理服务器，包括轮廓确定单元、曝光补偿单元、内设模板、处理中心、控制单元以及调节单元；
步骤S1中，对图像进行获取时，需采用图像获取端对进行跟踪的图像进行获取；
步骤S2中，九宫格坐标模板由内设模板进行提供，所述轮廓确定单元从内设模板内部提取对应的九宫格坐标模板；
所述轮廓确定单元将图像与九宫格坐标模板进行贴合得到不同宫格区域的贴合面积，获取九宫格中心点，并将中心点标记为ZX，将所获取的面积标记为MJk，其中k=1、2、……、9，k代表不同的宫格，将轮廓确定单元所确定的数据ZX和MJk进行捆绑，生成捆绑数据包（ZX，MJk），并将捆绑数据包（ZX，MJk）输入至处理中心内；
步骤S3中，处理中心对移动图像进行跟踪处理的步骤为：
S31、获取焦点的位置，在2s后，再次获取焦点的位置，确定焦点的移动方向，根据移动方向生成反方向，每间隔2s，对焦点的移动方向再次进行确定；
S32、对焦点的移动距离进行获取，并标记为H，并同时获取跟踪摄像头与初始焦点之间的距离，并标记为L，初始焦点为还未进行移动的焦点，采用获取跟踪角度B；
S33、根据反方向对跟踪摄像头进行角度改变，改变角度数值为B，并将反方向进行处理，生成反方向标记，并将反方向标记以及角度数值B传输至调节单元内；
S34、跟踪摄像头角度完成改变后，根据捆绑数据包（ZX，MJk）对获取图像进行再次定位，通过多组九宫格面积数值MJk，使图像与九宫格进行匹配微调，使焦点处于中心位置；
S35、图像再次进行移动时，重复步骤S31至S34，对图像进行跟踪处理。
2.根据权利要求1所述的一种基于数字摄像机的焦点跟踪方法，其特征在于，步骤S4中，曝光补偿单元对对正在移动过程中的图像进行曝光处理，其中曝光处理步骤为：
S41、对区域亮度进行获取，并标记为LD，将曝光距离进行获取，并标记为BG，其中曝光距离为摄像头与焦点之间的距离；
S42、采用得到曝光等级值DJ，其中C1和C2均为预设的固定系数因子，为修正因子，取值为0.985312；
S43、其中曝光补偿单元内部设置有对应的等级补偿因子M1，采用获取得到光圈数GQ；
S44、将光圈数GQ输送至处理中心内。
3.根据权利要求2所述的一种基于数字摄像机的焦点跟踪方法，其特征在于，所述调节单元对光圈数GQ、反方向标记以及角度数值B进行接收，对跟踪摄像头内部的光圈参数数值进行调整，调节单元根据反方向标记对跟踪摄像头进行调整，根据角度数值B，使跟踪摄像头进行反方向调整角度B。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210572345.9A CN114979483B (zh) | 2022-05-24 | 2022-05-24 | 一种基于数字摄像机的焦点跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210572345.9A CN114979483B (zh) | 2022-05-24 | 2022-05-24 | 一种基于数字摄像机的焦点跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114979483A CN114979483A (zh) | 2022-08-30 |
| CN114979483B true CN114979483B (zh) | 2023-05-05 |
Family
ID=82955658
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210572345.9A Active CN114979483B (zh) | 2022-05-24 | 2022-05-24 | 一种基于数字摄像机的焦点跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114979483B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115996322B (zh) * | 2023-03-21 | 2023-05-30 | 深圳市安科讯实业有限公司 | 数字视频摄影用影像数据管理方法 |
| CN117095028B (zh) * | 2023-09-01 | 2024-03-08 | 广州市星飞达电子科技有限公司 | 一种基于机器视觉的图像处理跟踪方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106934402A (zh) * | 2017-03-10 | 2017-07-07 | 周艳 | 室内移动视频跟踪定位辅助拍摄方法和装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2562063T3 (es) * | 2008-02-14 | 2016-03-02 | Nokia Technologies Oy | Dispositivo y método para determinar la dirección de la mirada |
| WO2016204433A1 (en) * | 2015-06-15 | 2016-12-22 | Samsung Electronics Co., Ltd. | Head mounted display apparatus |
| CN106056092B (zh) * | 2016-06-08 | 2019-08-20 | 华南理工大学 | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 |
| US10948983B2 (en) * | 2018-03-21 | 2021-03-16 | Samsung Electronics Co., Ltd. | System and method for utilizing gaze tracking and focal point tracking |
| CN110248091B (zh) * | 2019-06-12 | 2021-06-04 | Oppo广东移动通信有限公司 | 焦距调整方法及相关产品 |
-
2022
- 2022-05-24 CN CN202210572345.9A patent/CN114979483B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106934402A (zh) * | 2017-03-10 | 2017-07-07 | 周艳 | 室内移动视频跟踪定位辅助拍摄方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114979483A (zh) | 2022-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114979483B (zh) | 一种基于数字摄像机的焦点跟踪方法 | |
| CN104885125B (zh) | 信息处理设备、信息处理系统和信息处理方法 | |
| WO2018014730A1 (zh) | 一种摄像机参数调整方法、导播摄像机及系统 | |
| US8334914B2 (en) | Gradation correcting apparatus, and recording medium storing a program recorded therein | |
| CN109453517B (zh) | 虚拟角色控制方法和装置、存储介质、移动终端 | |
| CN104090664B (zh) | 一种交互式投影方法、装置及系统 | |
| CN108053373A (zh) | 一种基于深度学习模型鱼眼图像校正方法 | |
| CN104012075A (zh) | 成像设备及图像处理设备 | |
| CN102340673A (zh) | 一种针对交通场景的摄像机白平衡方法 | |
| CN112666705A (zh) | 一种眼动追踪设备及眼动追踪方法 | |
| CN106199066A (zh) | 智能终端的方向校准方法、装置 | |
| CN109784256A (zh) | 人脸识别方法和装置、存储介质及电子装置 | |
| CN106888344A (zh) | 摄像模组及其像面倾斜的获取方法和调整方法 | |
| CN108696725A (zh) | 一种基于互联网的摄像头远程控制方法及系统 | |
| CN113411510B (zh) | 一种基于图像质量评价和红热锻件的相机自动曝光算法 | |
| CN105516600B (zh) | 自动对焦方法 | |
| CN106323190A (zh) | 可定制深度测量范围的深度测量方法及深度图像的系统 | |
| KR102442594B1 (ko) | 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치 및 그 방법 | |
| CN101980299B (zh) | 基于棋盘标定的摄像机映射方法 | |
| CN204636924U (zh) | 一种用于视觉功能优化服务的远程数据交换及控制系统 | |
| CN112995492A (zh) | 参数调节方法及装置、图像采集系统和计算机可读存储介质 | |
| JP2020194454A (ja) | 画像処理装置および画像処理方法、プログラム、並びに記憶媒体 | |
| CN116156127A (zh) | 图像匹配系统及方法 | |
| CN104950764A (zh) | 遥控行驶系统用延时校正方法和遥控行驶系统 | |
| CN101697571B (zh) | 一种小尺寸大视角的多边形成像方法及新型摄像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |