CN115189810A - 一种面向低时延实时视频fec编码传输控制方法 - Google Patents
一种面向低时延实时视频fec编码传输控制方法 Download PDFInfo
- Publication number
- CN115189810A CN115189810A CN202210795302.7A CN202210795302A CN115189810A CN 115189810 A CN115189810 A CN 115189810A CN 202210795302 A CN202210795302 A CN 202210795302A CN 115189810 A CN115189810 A CN 115189810A
- Authority
- CN
- China
- Prior art keywords
- video
- delay
- data
- fec coding
- transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000009191 jumping Effects 0.000 claims abstract description 6
- 238000004590 computer program Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 101000741965 Homo sapiens Inactive tyrosine-protein kinase PRAG1 Proteins 0.000 description 1
- 102100038659 Inactive tyrosine-protein kinase PRAG1 Human genes 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
- H04L1/0041—Arrangements at the transmitter end
- H04L1/0042—Encoding specially adapted to other signal generation operation, e.g. in order to reduce transmit distortions, jitter, or to improve signal shape
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
- H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
- H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及一种面向低时延实时视频FEC编码传输控制方法，包括以下步骤：步骤S1:设置FEC编码参数和网络参数；步骤S2:根据当前缓冲区剩余数据评估当前视频传输延时，并判断是否满足预设要求，若满足则等待下一个视频帧数据的到来，如不满足跳转到步骤S3;步骤S3:在当前状态下，即当前缓冲区中剩余未进行FEC编码的数据不满足个数据包条件,但由于视频端到端延时限制需要立即进行FEC编码，并基于改进策略进行发送。本发明更好的满足实时视频低延时的需求。
Description
技术领域
本发明涉及无线通信领域，具体涉及一种面向低时延实时视频FEC编码传输控制方法。
背景技术
随着无线多媒体通信的发展，互联网上的移动视频流量出现了爆炸式的增长。其中基于无线网络的视频传输将是未来多媒体通信的主要形式。不足的是，在通过无线网络传输视频数据时，因无线网络不稳定可能导致视频数据发生丢包等错误。目前解决无线网络视频传输丢包的主要方法有两种。一种是通过自动重传技术，当发送端接收到来自接收端的NACK报文或者是发送端在超时时间内未收到ACK报文则启动重传。另一种方法是通过前向纠错编码FEC方法，在视频帧传输中通过添加冗余数据用于在接收端进行视频恢复。显然，采用自动重传技术在传输丢包时会引入较大延时。而采用FEC编码方法则无需重传，可以降低延时。在低延时视频传输中，比如视频会议、远程控制、远程驾驶、远程医疗等视频应用中，延时通常要在100毫秒以内，FEC编码方法的实时视频传输技术已经被作为重要技术应用到相关场景中。
传统的FEC编码技术，如LDPC、RS、LT等编码技术通常采用信号源数据+冗余数据的方法，如K个视频数据包加上S个冗余包构成(K+S)个报文一起传输。接收端收到N个报文后解码获得K个数据报文，这里的N通常由于丢包小于等于(K+S)。传统的FEC编码技术，在固定的模式下，通常会凑足K个视频数据包，达到满足一组FEC编码条件。在实时视频传输中，视频帧报文到达和视频帧率、视频数据大小密切相关。在部分监控场景下，如25帧率的视频源，每隔40ms才会有一帧数据，且由于画面变化不大一帧数据通常较小。如为了凑足K个视频数据包，则可能需要等待几帧才能满足K个数据包，而这里的每一帧都需要等待40ms，无形中在发送端FEC编码时就会引入大量延时。在实时视频传输应用中，虽然接收端无需通过重传即可恢复报文，但发送端因需要满足编码条件引入了大量延时。
发明内容
有鉴于此，本发明的目的在于提供一种面向低时延实时视频FEC编码传输控制方法，更好的满足实时视频低延时的需求。
为实现上述目的，本发明采用如下技术方案：
一种面向低时延实时视频FEC编码传输控制方法，包括以下步骤：
步骤S1:设置FEC编码参数和网络参数；
步骤S2:根据当前缓冲区剩余数据评估当前视频传输延时，并判断是否满足预设要求，若满足则等待下一个视频帧数据的到来，如不满足跳转到步骤S3；
步骤S3:在当前状态下，即当前缓冲区中剩余未进行FEC编码的数据不满足K个数据包条件,但由于视频端到端延时限制需要立即进行FEC编码，则设置最小报文大小为Qmin，当满足下式时：
则直接以
为报文大小进行视频帧分割，然后对这K个数据包进行FEC编码,并将编码后的数据发送至网络；当
时，则缓冲区中剩余数据不进行FEC编码，直接发送，如果发生丢包则采用ARQ重传报文发送策略。
进一步的，所述步骤S2具体为：
设当前缓冲区剩余未进行FEC编码的数据长度为L，预设最佳FEC编码视频源一组数据包个数为K，冗余包个数为S，每个报文大小为Q；传输协议报头长度为H；发送端和接收端之间的报文传播延时为RTT/2，传输带宽为B；当K·Q≤L时，则缓冲区中剩余数据包的个数满足一组数据包FEC编码条件，此时该组视频数据的端到端延时表示如下：
T＝(K+S)·(Q+H)/B+RTT/2
在实时视频传输中，需要保障视频端到端延时，设目标延时为D；需要满足以下条件：
t1+T≤D
其中t1代表视频帧在缓冲区中已经等待的时间；当K·Q≤L时，应立即将缓冲区中的数据进行FEC编码发送；当L＜K·Q时，应根据下式进行判断:
其中
代表距离下一个视频帧到达时刻当前缓冲区中最早到达缓冲区视频帧的等待时间；如满足该式，则继续等待下一个视频帧数据的到来，如不满足跳转到步骤S3。
一种面向低时延实时视频FEC编码传输控制系统，包括处理器、存储器以及存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序时，具体执行如上所述的FEC编码传输控制方法中的步骤。
本发明与现有技术相比具有以下有益效果：
本发明根据实时视频帧到达情况，建模FEC冗余度、缓冲区数据包与视频端到端时延之间的关系，对实时视频传输采用FEC传输控制算法，从而降低时延，更好的满足实时视频低延时的需求。
附图说明
图1是本发明方法流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种面向低时延实时视频FEC编码传输控制方法，包括以下步骤：
1)根据当前缓冲区剩余数据评估当前视频传输延时；
设当前缓冲区剩余未进行FEC编码的数据长度为L。预设最佳FEC编码视频源一组数据包个数为K，冗余包个数为S，每个报文大小为Q。传输协议报头长度为H，如以UDP+RTP为例，则包头长度H＝8+12个字节。发送端和接收端之间的报文传播延时为RTT/2，传输带宽为B。当K·Q≤L时，则缓冲区中剩余数据包的个数满足一组数据包FEC编码条件，此时该组视频数据的端到端延时可以表示如下：
T＝(K+S)·(Q+H)/B+RTT/2
在实时视频传输中，需要保障视频端到端延时，设目标延时为D。需要满足以下条件：
t1+T≤D
其中t1代表视频帧在缓冲区中已经等待的时间。当K·Q≤L时，应立即将缓冲区中的数据进行FEC编码发送。当L＜K·Q时，应根据下式进行判断:
其中
代表距离下一个视频帧到达时刻当前缓冲区中最早到达缓冲区视频帧的等待时间。如满足该式子，则继续等待下一个视频帧数据的到来，如不满足跳转到步骤2)。
2)在当前状态下，即当前缓冲区中剩余未进行FEC编码的数据不满足K个数据包条件；但由于视频端到端延时限制需要立即进行FEC编码，优选的，在本实施例中，按照以下策略进行发送：
设置最小报文大小为Qmin，当满足下式时：
则直接以
为报文大小进行视频帧分割，然后对这K个数据包进行FEC编码,并将编码后的数据发送至网络。当
时，则缓冲区中剩余数据不进行FEC编码，直接发送，如果发生丢包则采用ARQ重传报文发送策略。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
Claims (3)
1.一种面向低时延实时视频FEC编码传输控制方法，其特征在于，包括以下步骤：
步骤S1:设置FEC编码参数和网络参数；
步骤S2:根据当前缓冲区剩余数据评估当前视频传输延时，并判断是否满足预设要求，若满足则等待下一个视频帧数据的到来，如不满足跳转到步骤S3；
步骤S3:在当前状态下，即当前缓冲区中剩余未进行FEC编码的数据不满足K个数据包条件,则设置最小报文大小为Qmin，当满足下式时：
则直接以
为报文大小进行视频帧分割，然后对这K个数据包进行FEC编码,并将编码后的数据发送至网络；当
时，则缓冲区中剩余数据不进行FEC编码，直接发送，如果发生丢包则采用ARQ重传报文发送策略。
2.根据权利要求1所述的面向低时延实时视频FEC编码传输控制方法，其特征在于，所述步骤S2具体为：
设当前缓冲区剩余未进行FEC编码的数据长度为L，预设最佳FEC编码视频源一组数据包个数为K，冗余包个数为S，每个报文大小为Q；传输协议报头长度为H；发送端和接收端之间的报文传播延时为RTT/2，传输带宽为B；当K·Q≤L时，则缓冲区中剩余数据包的个数满足一组数据包FEC编码条件，此时该组视频数据的端到端延时表示如下：
T＝(K+S)·(Q+H)/B+RTT/2
在实时视频传输中，需要保障视频端到端延时，设目标延时为D；需要满足以下条件：
t1+T≤D
其中t1代表视频帧在缓冲区中已经等待的时间；当K·Q≤L时，应立即将缓冲区中的数据进行FEC编码发送；当L＜K·Q时，应根据下式进行判断:
其中
代表距离下一个视频帧到达时刻当前缓冲区中最早到达缓冲区视频帧的等待时间；如满足该式，则继续等待下一个视频帧数据的到来，如不满足跳转到步骤S3。
3.一种面向低时延实时视频FEC编码传输控制系统，其特征在于，包括处理器、存储器以及存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序时，具体执行如权利要求1-2任一项所述的FEC编码传输控制方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210795302.7A CN115189810B (zh) | 2022-07-07 | 2022-07-07 | 一种面向低时延实时视频fec编码传输控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210795302.7A CN115189810B (zh) | 2022-07-07 | 2022-07-07 | 一种面向低时延实时视频fec编码传输控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115189810A true CN115189810A (zh) | 2022-10-14 |
| CN115189810B CN115189810B (zh) | 2024-04-16 |
Family
ID=83517847
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210795302.7A Active CN115189810B (zh) | 2022-07-07 | 2022-07-07 | 一种面向低时延实时视频fec编码传输控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115189810B (zh) |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001084731A1 (en) * | 2000-04-27 | 2001-11-08 | North Carolina State University | Methods and systems for forward error correction based loss recovery for interactive video transmission |
| US20030023915A1 (en) * | 2001-07-30 | 2003-01-30 | Koninklijke Philips Electronics N.V. | Forward error correction system and method for packet based communication systems |
| WO2006060036A1 (en) * | 2004-12-02 | 2006-06-08 | Thomson Licensing | Adaptive forward error correction |
| WO2007045141A1 (fr) * | 2005-10-17 | 2007-04-26 | Huawei Technologies Co., Ltd. | Procede de prise en charge de transmission de donnees multimedias avec tolerance aux erreurs |
| WO2007051425A1 (fr) * | 2005-11-03 | 2007-05-10 | Huawei Technologies Co., Ltd. | Procede de communication multimedia et terminal de celui-ci |
| CN101562512A (zh) * | 2009-05-27 | 2009-10-21 | 西安电子科技大学 | 基于fec的选择重传系统及其重传方法 |
| CN102075312A (zh) * | 2011-01-10 | 2011-05-25 | 西安电子科技大学 | 基于视频服务质量的混合选择重传方法 |
| WO2015009105A1 (en) * | 2013-07-18 | 2015-01-22 | Samsung Electronics Co., Ltd. | Apparatus and method for sending/receiving packet in multimedia communication system |
| US9185045B1 (en) * | 2015-05-01 | 2015-11-10 | Ubitus, Inc. | Transport protocol for interactive real-time media |
| CN106713345A (zh) * | 2017-01-11 | 2017-05-24 | 深圳云视融通科技有限公司 | 一种流媒体传输方法 |
| WO2017144111A1 (en) * | 2016-02-26 | 2017-08-31 | Huawei Technologies Duesseldorf Gmbh | Communication system with latency-controlled forward error correction |
| WO2017157303A1 (zh) * | 2016-03-15 | 2017-09-21 | 中兴通讯股份有限公司 | 实时通信中的抗丢包方法、装置和系统 |
| WO2018109500A1 (en) * | 2016-12-16 | 2018-06-21 | In Aria! Ltd | Low delay, error resilient video transport protocol over public ip transit |
| WO2019144818A1 (zh) * | 2018-01-24 | 2019-08-01 | 深圳市道通科技股份有限公司 | 视频帧传输方法、探测器及用户设备 |
| CN110740334A (zh) * | 2019-10-18 | 2020-01-31 | 福州大学 | 一种帧级别的应用层动态fec编码方法 |
| CN110868616A (zh) * | 2019-11-26 | 2020-03-06 | 上海高骏精视信息技术有限公司 | 一种5g网络下低延时高可靠视频传输方法 |
| CN114337928A (zh) * | 2021-12-30 | 2022-04-12 | 福州大学 | 一种基于arq与fec自适应选择的实时视频传输方法 |
-
2022
- 2022-07-07 CN CN202210795302.7A patent/CN115189810B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001084731A1 (en) * | 2000-04-27 | 2001-11-08 | North Carolina State University | Methods and systems for forward error correction based loss recovery for interactive video transmission |
| US20030023915A1 (en) * | 2001-07-30 | 2003-01-30 | Koninklijke Philips Electronics N.V. | Forward error correction system and method for packet based communication systems |
| WO2006060036A1 (en) * | 2004-12-02 | 2006-06-08 | Thomson Licensing | Adaptive forward error correction |
| WO2007045141A1 (fr) * | 2005-10-17 | 2007-04-26 | Huawei Technologies Co., Ltd. | Procede de prise en charge de transmission de donnees multimedias avec tolerance aux erreurs |
| WO2007051425A1 (fr) * | 2005-11-03 | 2007-05-10 | Huawei Technologies Co., Ltd. | Procede de communication multimedia et terminal de celui-ci |
| CN101562512A (zh) * | 2009-05-27 | 2009-10-21 | 西安电子科技大学 | 基于fec的选择重传系统及其重传方法 |
| CN102075312A (zh) * | 2011-01-10 | 2011-05-25 | 西安电子科技大学 | 基于视频服务质量的混合选择重传方法 |
| WO2015009105A1 (en) * | 2013-07-18 | 2015-01-22 | Samsung Electronics Co., Ltd. | Apparatus and method for sending/receiving packet in multimedia communication system |
| US9185045B1 (en) * | 2015-05-01 | 2015-11-10 | Ubitus, Inc. | Transport protocol for interactive real-time media |
| WO2017144111A1 (en) * | 2016-02-26 | 2017-08-31 | Huawei Technologies Duesseldorf Gmbh | Communication system with latency-controlled forward error correction |
| WO2017157303A1 (zh) * | 2016-03-15 | 2017-09-21 | 中兴通讯股份有限公司 | 实时通信中的抗丢包方法、装置和系统 |
| WO2018109500A1 (en) * | 2016-12-16 | 2018-06-21 | In Aria! Ltd | Low delay, error resilient video transport protocol over public ip transit |
| CN106713345A (zh) * | 2017-01-11 | 2017-05-24 | 深圳云视融通科技有限公司 | 一种流媒体传输方法 |
| WO2019144818A1 (zh) * | 2018-01-24 | 2019-08-01 | 深圳市道通科技股份有限公司 | 视频帧传输方法、探测器及用户设备 |
| CN110740334A (zh) * | 2019-10-18 | 2020-01-31 | 福州大学 | 一种帧级别的应用层动态fec编码方法 |
| CN110868616A (zh) * | 2019-11-26 | 2020-03-06 | 上海高骏精视信息技术有限公司 | 一种5g网络下低延时高可靠视频传输方法 |
| CN114337928A (zh) * | 2021-12-30 | 2022-04-12 | 福州大学 | 一种基于arq与fec自适应选择的实时视频传输方法 |
Non-Patent Citations (4)
| Title |
|---|
| LI RAN等: "Dynamic Error Recovery Mechanism Over Wireless Network", 《2021 15TH INTERNATIONAL SYMPOSIUM ON MEDICAL INFORMATION AND COMMUNICATION TECHNOLOGY (ISMICT)》 * |
| 柳粟杰: "实时视频传输的帧级别前向纠错信道编码", 《厦门大学学报（自然科学版）》, 10 September 2020 (2020-09-10) * |
| 江黄能等: "异构无线网络下实时视频传输码率控制策略", 《计算机工程与设计》 * |
| 王跃虎: "无线视频传输过程中应用层FEC 的研究", 《中国优秀硕士学位论文电子期刊》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115189810B (zh) | 2024-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107483144B (zh) | 前向纠错反馈信息传输方法、装置 | |
| US7584404B2 (en) | Method and apparatus for multimedia communication over packet channels | |
| US7095729B2 (en) | Method for multimedia communication over packet channels | |
| KR102295788B1 (ko) | 데이터 스트리밍의 순방향 오류 정정 | |
| CN104159166B (zh) | 基于移动网络丢包状态的直播视频数据传输差错控制方法 | |
| CN107257270B (zh) | 基于混合自动重传请求的数据传输方法及系统 | |
| US7539925B2 (en) | Transmission apparatus and method, reception apparatus and method, storage medium, and program | |
| US20150117468A1 (en) | Apparatus and method for transmitting data | |
| WO2016045332A1 (zh) | 编码参数的调整、反馈信息的处理方法及装置 | |
| CN106656422A (zh) | 一种动态调整fec冗余度的流媒体传输方法 | |
| EP1817859A1 (en) | Adaptive forward error correction | |
| WO2013046698A1 (ja) | データ処理装置及びデータ処理方法 | |
| US20100125768A1 (en) | Error resilience in video communication by retransmission of packets of designated reference frames | |
| CN108174234A (zh) | 一种流媒体传输方法及系统 | |
| CN109862038A (zh) | 一种流媒体协议中数据延时及丢包的处理方法 | |
| GB2520867A (en) | Jitter buffer | |
| KR102002939B1 (ko) | 주문형 파일 복구 방법 및 시스템 | |
| CN103354615A (zh) | 基于信号强度的直播视频数据传输差错控制方法 | |
| CN103916208A (zh) | 去抖动、抗丢包处理方法及装置 | |
| CN106792265B (zh) | 一种网络实时流媒体传输方法和系统 | |
| CN107257265B (zh) | 实时传输数据流前向纠错方法、系统、装置及存储介质 | |
| US8948252B2 (en) | Moving picture transmission apparatus, moving picture transmission system, moving picture transmission method, and program | |
| CN115189810B (zh) | 一种面向低时延实时视频fec编码传输控制方法 | |
| CN116318545A (zh) | 视频数据传输方法、装置、设备及存储介质 | |
| WO2021164405A1 (zh) | 数据编解码方法、相关设备及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |