CN116567720B - 基于无线网络的虚拟现实交互的通信方法 - Google Patents
基于无线网络的虚拟现实交互的通信方法 Download PDFInfo
- Publication number
- CN116567720B CN116567720B CN202310839947.0A CN202310839947A CN116567720B CN 116567720 B CN116567720 B CN 116567720B CN 202310839947 A CN202310839947 A CN 202310839947A CN 116567720 B CN116567720 B CN 116567720B
- Authority
- CN
- China
- Prior art keywords
- data
- virtual reality
- wireless network
- data information
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006854 communication Effects 0.000 title claims abstract description 34
- 238000004891 communication Methods 0.000 title claims abstract description 30
- 230000003993 interaction Effects 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 title claims abstract description 13
- 230000005540 biological transmission Effects 0.000 claims abstract description 28
- 238000007906 compression Methods 0.000 claims abstract description 17
- 230000006835 compression Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 14
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000013139 quantization Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 238000013140 knowledge distillation Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000005265 energy consumption Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 19
- 230000000694 effects Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000013144 data compression Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/06—Optimizing the usage of the radio link, e.g. header compression, information sizing, discarding information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/10—Flow control between communication endpoints
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Abstract
本申请公开了基于无线网络的虚拟现实交互的通信方法，基于无线网络的使用场景，对通信过程中的数据处理及传输通道两方面同时进行改进，首先利用目标压缩算法对待传输的数据进行压缩处理并智能分析，能够做到高效压缩，使压缩后的数据体积小且无损伤，能够减少90%传输带宽，减低70%存储能耗，其次优化传输通道，集成多通道无线通信模块对数据进行传输，对多家运营商进行融合，采用多通道通信链路，扩大带宽减少延时，使接收端能够快速接收并实时呈现完整数据，保障虚拟现实交互流畅清晰。
Description
技术领域
本申请涉及基于无线网络的虚拟现实交互的通信方法，属于虚拟现实技术领域。
背景技术
虚拟现实技术囊括计算机、电子信息、仿真技术，其基本实现方式是以计算机技术为主，利用并综合三维图形技术、多媒体技术、仿真技术、显示技术、伺服技术等多种高科技的最新发展成果，借助计算机等设备产生一个逼真的三维视觉、触觉、嗅觉等多种感官体验的虚拟世界，从而使处于虚拟世界中的人产生一种身临其境的感觉。随着社会生产力和科学技术的不断发展，各行各业对VR技术的需求日益旺盛。VR技术也取得了巨大进步，并逐步成为一个新的科学技术领域。
虚拟现实技术就是利用现实生活中的数据，通过计算机技术产生的电子信号，将其与各种输出设备结合使其转化为能够让人们感受到的现象，这些现象可以是现实中可视的真切实物，也可以是我们肉眼所看不到的物质，通过三维模型表现出来。其中涉及到通信是介于网络的，不论是采集，展现，还是交互，低延时高带宽的网络链路是必不可少的。
当前的虚拟现实技术，由于视频和算法较多，相关的数据量要求大，同时也要求更低的网络延时，因此现有的虚拟现实技术大多基于有线网络，而在无线场景使用wifi、5G、4G等单一网络通道链路，并不能满足要求，因此在数据压缩以及传输通道两方面均进行了优化，以解决现有技术中存在的问题。
发明内容
为了解决现有的虚拟现实技术大多基于有线网络而在无线场景使用单一网络通道链路不能满足在传输数据量大的同时延时低的要求的问题，根据本申请的一个方面，一种虚拟现实交互的通信方法，包括下列步骤：
S1：采集大容量原始数据信息并利用目标压缩算法进行压缩；
能够做到高效压缩，使压缩后的数据体积小且无损伤；
S2：优化传输通道，集成多通道无线通信模块；
S3：通过所述多通道无线通信模块实时发送数据到接收端；
对多家运营商进行融合，采用多通道通信链路，总的传输网络带宽为各个传输通道的总和，因此可以对大量数据进行传输，扩大了带宽，减小了传输延时；
S4：接收端接收相关数据并实时呈现。
可选的，所述S1中目标压缩算法对原始数据信息进行压缩具体包括如下步骤：
S1-1：对若干机器学习与深度学习算法进行融合，输入原始数据信息，获得预处理数据；
S1-2：对预处理数据进行若干方面的优化，获得优化数据；
S1-3：编码单元对优化数据进行冗余感知处理，自动识别相邻数据包中的差异部分并自适应调整编码参数；
S1-4：获得压缩处理结果。
可选的，所述S1-1中融合的机器学习与深度学习算法包括下列至少一种：目标检测、目标跟踪、语义分割、结构点检测、知识蒸馏、压缩感知；
现有的机器学习和深度学习算法均可包含在内。
可选的，所述原始数据信息为视频数据信息，此时所述S1-2中的优化包括下列至少一个方面：基于目标感知的精细编码，基于目标跟踪的运动矢量估计，基于CNN的快速帧内模式预测，目标与背景智能量化参数选择，自适应场景识别和模式选择；
在预测（帧内、帧间）、变换、运动估计、量化等方面进行智能优化，并自适应调整编码参数。
可选的，所述S1-4中所述压缩处理结果包括压缩数据流和数据信息流；
所述压缩数据流为压缩后数据信息；数据经压缩后可节省90%的存储空间，同时减少90%的传输带宽，减低70%存储能耗；
所述数据信息流用于判断相邻数据包数据变化量，若变化量小于预设值，则自动对数据进行冗余处理，采用此种方式进行处理可节省90%的算力。
随着技术的发展，许多设备具有了多个网络接口，同时也支持多种网络接入方式，如5G、4G、wifi，LAN等，并且是支持移动，联通，电信，中国广电等运营商的全网通，而TCP依然是一个单线路的协议，在TCP的通信过程中发端和收端都不能随意变换地址，但我们可以利用支持多个网络入方式的这一特性来改善性能和有效冗余。
可选的，所述S2对传输通道的优化包括：
S2-1：利用多个网络接口，基于多次握手的方式，在一条TCP链路中建立若干条子通道；
S2-2：利用若干所述子通道同时建立链接发送相同数据，优先选择最先到达的数据，后到达者清空缓存。
可选的，所述S2兼容的网络协议至少包括TCP/ip、udp、ftp、http、telnet。
可选的，所述S2兼容的串口协议至少包括RS-232、RS-422和RS-485。
可选的，所述S2中集成多通道无线通信模块具体包括：
将无线网络5G/4G、各网络运营商链路捆绑叠加。
可选的，所述原始数据信息为视频数据信息，此时所述S3中包括：
每帧数据包发送时，对像素点进行检测，只发送有变化的区域。
本申请能产生的有益效果包括：
本申请所提供的基于无线网络的虚拟现实交互的通信方法，基于无线网络的使用场景，对通信过程中的数据处理及传输通道两方面同时进行改进；
首先，利用目标压缩算法对待传输的数据进行压缩处理并智能分析，能够做到高效压缩，使压缩后的数据体积小且无损伤，能够减少90%传输带宽，减低70%存储能耗；
其次，优化传输通道，集成多通道无线通信模块对数据进行传输，对多家运营商进行融合，采用多通道通信链路，扩大带宽减少延时，使接收端能够快速接收并实时呈现完整数据，保障虚拟现实交互流畅清晰。
附图说明
图1为本申请一种实施方式中数据传输流程图；
图2为未经处理的原始数据信息图；
图3为经本申请一种实施方式处理后的压缩后数据信息图；
图4为本申请一种实施方式中优化传输通道效果示意图；
图5为本申请一种实施方式中优化传输通道传输状态效果示意图；
图6为本申请一种实施方式中集成多通道无线通信模块效果示意图。
具体实施方式
下面结合实施例详述本申请，但本申请并不局限于这些实施例。
实施例
根据本申请的一种实施方式，提供一种虚拟现实交互的通信方法，本实施例中原始数据信息为视频数据信息，数据传输流程图如图1所示，包括下列步骤：
S1：采集大容量原始数据信息并利用目标压缩算法进行压缩；
能够做到高效压缩，使压缩后的数据体积小且无损伤，压缩步骤包括：
S1-1：对若干机器学习与深度学习算法进行融合，包括：目标检测、目标跟踪、语义分割、结构点检测、知识蒸馏、压缩感知，输入原始数据信息，获得预处理数据。
S1-2：对预处理数据在预测（帧内、帧间）、变换、运动估计、量化等方面进行智能优化，主要包括：基于目标感知的精细编码、基于目标跟踪的运动矢量估计、基于CNN的快速帧内模式预测、目标与背景智能量化参数选择、自适应场景识别和模式选择，获得优化数据。
S1-3：编码单元对优化数据进行冗余感知处理，自动识别相邻数据包中的差异部分并自适应调整编码参数，每帧数据包发送时，对像素点进行检测，只发送有变化的区域。
S1-4：获得压缩处理结果，包括压缩数据流和数据信息流。
所述压缩数据流为压缩后数据信息；数据经压缩后可节省90%的存储空间，同时减少90%的传输带宽，减低70%存储能耗；
所述数据信息流用于判断相邻数据包数据变化量，若变化量小于预设值，则自动对数据进行冗余处理，采用此种方式进行处理可节省90%的算力。
数据压缩前后的对比信息如图2和图3所示，由图中信息可知，数据压缩处理后，无损视频压缩：视频的时长、分辨率、帧率都不变，大小是原视频的十分之一，同时压缩后峰值信噪比PSNR>32dB，PSNR在30~40dB通常表示图像质量好。
S2：优化传输通道，集成多通道无线通信模块，包括将无线网络5G/4G、各网络运营商链路捆绑叠加，效果图如图6所示，其兼容的网络协议至少包括TCP/ip、udp、ftp、http、telnet，其兼容的串口协议至少包括RS-232、RS-422和RS-485。
随着技术的发展，许多设备具有了多个网络接口，同时也支持多种网络接入方式，如5G、4G、wifi，LAN等，并且是支持移动，联通，电信，中国广电等运营商的全网通，而TCP依然是一个单线路的协议，在TCP的通信过程中发端和收端都不能随意变换地址，但我们可以利用支持多种网络接入方式的这一特性来改善性能和有效冗余，优化传输通道中包括：
S2-1：利用多个网络接口，基于多次握手的方式，在一条TCP链路中建立若干条子通道。
S2-2：利用若干所述子通道同时建立链接发送相同数据，优先选择最先到达的数据，后到达者清空缓存。
优化传输通道效果如图4所示，其传输状态效果如图5所示。
S3：通过所述多通道无线通信模块实时发送数据到接收端。
对多家运营商进行融合，采用多通道通信链路，总的传输网络带宽为各个传输通道的总和，因此可以对大量数据进行传输，扩大了带宽，减小了传输延时。
S4：接收端接收相关数据并实时呈现。
以上所述，仅是本申请的几个实施例，并非对本申请做任何形式的限制，虽然本申请以较佳实施例揭示如上，然而并非用以限制本申请，任何熟悉本专业的技术人员，在不脱离本申请技术方案的范围内，利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例，均属于技术方案范围内。
Claims (4)
1.基于无线网络的虚拟现实交互的通信方法，其特征在于，包括下列步骤：
S1：采集大容量原始数据信息并利用目标压缩算法进行压缩；
S2：优化传输通道，集成多通道无线通信模块；
所述S2对传输通道的优化包括：
S2-1：利用多个网络接口，基于多次握手的方式，在一条TCP链路中建立若干条子通道；
S2-2：利用若干所述子通道同时建立链接发送相同数据，优先选择最先到达的数据，后到达者清空缓存；
S3：通过所述多通道无线通信模块实时发送数据到接收端；
所述原始数据信息为视频数据信息，此时所述S3中包括：
每帧数据包发送时，对像素点进行检测，只发送有变化的区域；
S4：接收端接收相关数据并实时呈现；
所述S1中目标压缩算法对原始数据信息进行压缩具体包括如下步骤：
S1-1：对若干机器学习与深度学习算法进行融合，输入原始数据信息，获得预处理数据；
所述S1-1中融合的机器学习与深度学习算法包括下列至少一种：目标检测、目标跟踪、语义分割、结构点检测、知识蒸馏、压缩感知；
S1-2：对预处理数据进行若干方面的优化，获得优化数据；
所述S1-2中的优化包括下列至少一个方面：基于目标感知的精细编码，基于目标跟踪的运动矢量估计，基于CNN的快速帧内模式预测，目标与背景智能量化参数选择，自适应场景识别和模式选择；
S1-3：编码单元对优化数据进行冗余感知处理，自动识别相邻数据包中的差异部分并自适应调整编码参数；
S1-4：获得压缩处理结果；
所述压缩处理结果包括压缩数据流和数据信息流；
所述压缩数据流为压缩后数据信息；
所述数据信息流用于判断相邻数据包数据变化量，若变化量小于预设值，则自动对数据进行冗余处理。
2.根据权利要求1所述的基于无线网络的虚拟现实交互的通信方法，其特征在于，所述S2兼容的网络协议包括TCP/ip、udp、ftp、http、telnet中至少一种。
3.根据权利要求1所述的基于无线网络的虚拟现实交互的通信方法，其特征在于，所述S2兼容的串口协议包括RS-232、RS-422和RS-485中至少一种。
4.根据权利要求1所述的基于无线网络的虚拟现实交互的通信方法，其特征在于，所述S2中集成多通道无线通信模块具体包括：
将无线网络5G/4G、各网络运营商链路捆绑叠加。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310839947.0A CN116567720B (zh) | 2023-07-10 | 2023-07-10 | 基于无线网络的虚拟现实交互的通信方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310839947.0A CN116567720B (zh) | 2023-07-10 | 2023-07-10 | 基于无线网络的虚拟现实交互的通信方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116567720A CN116567720A (zh) | 2023-08-08 |
| CN116567720B true CN116567720B (zh) | 2023-09-22 |
Family
ID=87496926
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310839947.0A Active CN116567720B (zh) | 2023-07-10 | 2023-07-10 | 基于无线网络的虚拟现实交互的通信方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116567720B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109993684A (zh) * | 2017-12-30 | 2019-07-09 | 英特尔公司 | 机器学习和深度学习处理中的压缩 |
| CN110073301A (zh) * | 2017-08-02 | 2019-07-30 | 强力物联网投资组合2016有限公司 | 工业物联网中具有大数据集的数据收集环境下的检测方法和系统 |
| CN111917813A (zh) * | 2019-05-10 | 2020-11-10 | 阿里云计算有限公司 | 通信方法、装置、设备、系统及存储介质 |
| CN114697934A (zh) * | 2020-12-31 | 2022-07-01 | 华为技术有限公司 | 一种近场中传输数据的方法、设备及系统 |
| WO2022143034A1 (zh) * | 2020-12-31 | 2022-07-07 | 华为技术有限公司 | 投屏音视频数据的传输方法以及相关设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018203336A1 (en) * | 2017-05-04 | 2018-11-08 | Liveu Ltd. | Device, system, and method of pre-processing and data delivery for multi-link communications and for media content |
| US11532261B1 (en) * | 2018-10-25 | 2022-12-20 | Baylor University | System and method for a multi-primary wide gamut color system |
| US20230017951A1 (en) * | 2021-07-06 | 2023-01-19 | Samsung Electronics Co., Ltd. | Artificial intelligence-based multi-goal-aware device sampling |
| US20230081171A1 (en) * | 2021-09-07 | 2023-03-16 | Google Llc | Cross-Modal Contrastive Learning for Text-to-Image Generation based on Machine Learning Models |
-
2023
- 2023-07-10 CN CN202310839947.0A patent/CN116567720B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110073301A (zh) * | 2017-08-02 | 2019-07-30 | 强力物联网投资组合2016有限公司 | 工业物联网中具有大数据集的数据收集环境下的检测方法和系统 |
| CN109993684A (zh) * | 2017-12-30 | 2019-07-09 | 英特尔公司 | 机器学习和深度学习处理中的压缩 |
| CN111917813A (zh) * | 2019-05-10 | 2020-11-10 | 阿里云计算有限公司 | 通信方法、装置、设备、系统及存储介质 |
| CN114697934A (zh) * | 2020-12-31 | 2022-07-01 | 华为技术有限公司 | 一种近场中传输数据的方法、设备及系统 |
| WO2022143034A1 (zh) * | 2020-12-31 | 2022-07-07 | 华为技术有限公司 | 投屏音视频数据的传输方法以及相关设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116567720A (zh) | 2023-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105472477B (zh) | 一种数据传输方法、装置及设备 | |
| CN103501310B (zh) | 一种基于可视电话的电脑桌面共享的控制方法 | |
| JP4414345B2 (ja) | ビデオストリーミング | |
| CN111479048A (zh) | 一种基于边缘计算的智能视频图像处理设备 | |
| CN102625147B (zh) | 一种移动可视设备自适应显示方法 | |
| CN102377730A (zh) | 音视频信号的处理方法及移动终端 | |
| JP2003152547A (ja) | 動画像を圧縮する方法 | |
| CN102611873A (zh) | 一种可实现2d/3d视频通讯、传输优化的方法和系统 | |
| CN101707714B (zh) | 多画面视频会议的图像处理方法和设备 | |
| CN105827633A (zh) | 一种视频传输方法及装置 | |
| Ji et al. | Crowd V-IoE: Visual internet of everything architecture in AI-driven fog computing | |
| CN104427286B (zh) | 一种进行视频通话的方法和系统 | |
| CN105338323A (zh) | 一种视频监控方法及装置 | |
| WO2020207487A1 (zh) | 一种处理方法、装置和系统 | |
| CA3098941C (en) | Systems and methods for bandwidth reduction in video signal transmission | |
| CN113301342B (zh) | 视频编码方法、网络直播方法、装置和终端设备 | |
| CN108777794A (zh) | 图像的编码方法和装置、存储介质、电子装置 | |
| JP4685372B2 (ja) | 移動通信端末機の映像データ処理方法 | |
| CN116567720B (zh) | 基于无线网络的虚拟现实交互的通信方法 | |
| CN102378152B (zh) | 一种业务处理方法、装置及系统 | |
| US11699212B2 (en) | Method of controlling encoding of display data | |
| Zhang et al. | Mfvp: Mobile-friendly viewport prediction for live 360-degree video streaming | |
| CN105828082B (zh) | 视频图像快速压缩系统及方法 | |
| CN107071356A (zh) | 一种多媒体优化服务器及其视频信息处理方法 | |
| CN104135662B (zh) | 用于在有限带宽和发射速率条件下对视频文件的改进型h.264压缩编码方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |