CN109873726B - Sdn中基于深度学习的鲁棒服务质量预测与保障方法 - Google Patents

Sdn中基于深度学习的鲁棒服务质量预测与保障方法 Download PDF

Info

Publication number
CN109873726B
CN109873726B CN201910173401.XA CN201910173401A CN109873726B CN 109873726 B CN109873726 B CN 109873726B CN 201910173401 A CN201910173401 A CN 201910173401A CN 109873726 B CN109873726 B CN 109873726B
Authority
CN
China
Prior art keywords
qoe
deep learning
module
delay
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910173401.XA
Other languages
English (en)
Other versions
CN109873726A (zh
Inventor
曲桦
赵季红
曾维豪
陈梁骏
仇景明
孙雅鸽
刘伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201910173401.XA priority Critical patent/CN109873726B/zh
Publication of CN109873726A publication Critical patent/CN109873726A/zh
Application granted granted Critical
Publication of CN109873726B publication Critical patent/CN109873726B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

SDN中基于深度学习的鲁棒服务质量预测与保障方法，对收集到的网络拓扑中交换机端口历史流量数据做数据预处理工作，建立深度学习模型，并使用预处理后的流量数据训练深度学习模型；通过SDN控制器实时收集的网络拓扑中交换机端口的流量数据，对其进行预处理后送入训练好的深度学习模型中，输出当前视频流业务的QoS参数；根据前视频流业务的QoS参数量化计算QoE指标；利用当前视频流业务的所有QoS参数，使用机器学习方法，对当前用户的视频流业务的网络流量进行预测并记录及监控，利用QoE指标提示客户端或SDN中央控制器进行对应操作，实现流量预测功能。

Description

SDN中基于深度学习的鲁棒服务质量预测与保障方法
技术领域
本发明属于软件定义网络中控制层技术，具体涉及一种SDN中基于深度学习的鲁棒服务质量预测与保障方法。
背景技术
随着我国信息通信技术的不断发展，5G的出现标识着移动通信技术的再次革新。而作为5G发展中的关键技术，软件定义网络(SDN)的出现分割了传统网络中的控制平面和数据平面，使得网络流量的相关数据更易于获取与识别。它极大的简化了网络层的控制管理，促进了以往的网络部署速率，使得传统网络错综相连的网络得到集中化控制。同时对于服务商和运营商而言，软件定义网络的出现也为其提供了更为强大的网络管理能力，在满足用户网络需求方面提供了更为广阔的平台与技术手段。也正是由于软件定义网络集中管控的特性，从基础设施的底层数据中来预测当前应用的服务质量的相关研究如今也是非常火热的。
传统的服务质量预测方法主要是深入报文内部提取所需信息，譬如当下应用广泛的深度包检测技术(DPI)。DPI技术是一种基于应用层的流量检测和控制技术，它能够比普通的报文分析的层次更加深入。一般的报文检测能够分析出包括源地址、目的地址、源端口、目的端口以及协议类型等。在DPI技术中，它能够深入的读取数据包内容来对IP、TCP或UDP协议中应用层信息进行分析，从而获取用户的应用程序内容。进一步的为用户应用的服务质量进行预测。
最近，瑞典皇家理工学院和瑞典计算机科学研究所提出了一种从低级设备的统计数据到高层应用程序信息之间的映射关系。通过从OpenFlow交换机中收集网络流量数据，从而预测端到端的应用程序的服务质量。其关键性技术就是通过统计机器学习的方式，将基础设施设备中的数据“编码”为上层应用程序的服务质量需求。
中科院计算所和卡耐基梅隆大学提出了CS2P(Cross Session StatefulPredictor)视频比特选择和流量预测系统。通过收集流量特征和网络会话特征，系统通过在线与离线两部分处理，从而实时的对每个新会话预测网络初始比特率和Midstream比特率。该系统主要通过对流量变化状态的分类，使用传统机器学习的方式实现了网络流量的预测。从而达到了视频业务的QoE的保障。
美国谷歌公司和卡耐基梅隆大学在2015年SIGCOMM会议中提出了一种将控制理论与视频流比特动态选择结合的方法。其核心技术是在原本的浏览器DASH中加入MPC技术，使得在线视频能够选择更加合理的比特率播放，更好的利用现有网络资源。同时他们也利用可获得的网络QoS参数，提出了可度量的视频流业务的用户QoE指标，从而实现了QoE的量化过程。
现有的QoS-QoE预测方法大多是一种基于应用服务本身的传统机器学习方法，有存在的问题归纳如下：
首先，传统方法不能很好的处理大量的网络特征值，一旦特征值过多或者过少很容易出现过拟合或者欠拟合的情况，预测准确度会受到影响。例如上述瑞典皇家理工所使用的随机森林方法，对于有不同取值的属性的数据，取值划分较多的属性会对随机森林产生更大的影响，所以随机森林在这种数据上产出的属性权值的可信度所欠缺的。
其次，传统QoS预测方法针对噪音较大的数据预测准确度缺失较为严重，但是网络数据往往错综复杂，实际应用中数据噪音难以避免，传统QoS方法不能提供较高的预测精度。同时，在实时预测方面，传统方法的预测速度较慢，实时性难以保证。
最后，有些传统的预测方法需要探针探测用户的数据包内容来分析终端应用的服务质量，比如使用DPI技术等，这种方法不仅无法处理加密数据包，而且不利于对普通用户的隐私的保护。同时，传统QoS预测仅仅是网络机器参数的预测，而没有考虑到具体的以人为中心的感知，即QoE的参数问题。
发明内容
本发明的目的是提供SDN中基于深度学习的鲁棒服务质量预测与保障方法，其能够基于底层网络数据来预测业务QoS参数，同时根据QoS参数量化QoE评价指标，进一步的预测应用业务本身所需网络流量，从而保障用户体验。深度学习模型本身能够处理高维网络特征，提取隐藏特征，抗噪性能好，并且具有鲁棒性，预测速度更快、准确度较高等特点，能够在保证数据包完整性的情况下预测出视频流业务的QoS参数。同时能够针对单个用户的应用使用情况预测其需求网络流量。
为实现上述目的，本发明的技术方案是：
SDN中基于深度学习的鲁棒服务质量预测与保障方法，该方法采用的系统包括离线模块和在线模块，其中离线模块包括预测引擎模块，在线模块包括QoS预测模块和QoE评估模块；该方法包括以下步骤：
步骤S1，离线模块接受从SDN控制器收集的网络拓扑中交换机端口历史流量数据，预测引擎模块对收集到的网络拓扑中交换机端口历史流量数据做数据预处理工作，在预测引擎模块内建立深度学习模型，并使用预处理后的流量数据训练深度学习模型；
步骤S2，在线模块中，QoS预测模块将步骤S1中训练好的深度学习模型部署到QoS预测模块中；通过SDN控制器实时收集的网络拓扑中交换机端口的流量数据，对其进行预处理后送入训练好的深度学习模型中，经过计算后输出当前视频流业务的QoS参数，同时记录下当前的QoS状态；
步骤S3，在QoE评估模块中，根据步骤S2中当前视频流业务的QoS参数量化计算QoE指标，并记录QoE变化状态；
步骤S4，在QoE评估模块下，利用步骤S2中输出的当前视频流业务的所有QoS参数，使用机器学习方法，对当前用户的视频流业务的网络流量进行预测并记录及监控，利用步骤S3中的QoE指标提示客户端或SDN中央控制器进行对应操作，实现流量预测功能。
本发明进一步的改进在于，步骤S1中，深度学习模型的输入数据是OpenFlow交换机端口的流量数据，深度学习模型输出的是应用层视频流业务的QoS参数。
本发明进一步的改进在于，步骤S1中，预处理包括数据清洗、数据归一化以及特征选取操作。
本发明进一步的改进在于，步骤S2中，当前视频流业务的QoS参数包括视频每秒帧速率以及音频缓冲速率。
本发明进一步的改进在于，步骤S3中，QoE指标采用如下公式计算：
Figure BDA0001988777050000041
其中Quality代表视频质量，Loss代表质量损失，最后一项
Figure BDA0001988777050000042
代表每次网络操作的比特率，Nbyte代表网络操作比特率，Noperate代表网络操作次数；
视频质量Quality与质量损失Loss具体计算过程如下：
Quality(k)＝αAbuffer+βNbyte+γVframe
Loss(k)＝μAdelay+ρNdelay+θVdelay
其中，Abuffer代表音频缓存，Nbyte代表网络操作比特率，Vframe代表每秒视频帧率，α代表音频缓存的权重大小，β代表网络操作比特率的权重大小，γ代表每秒视频帧率的权重大小；变量k为时间，Adelay代表音频缓存延时，Ndelay代表网络操作比特率延时，Vdelay代表每秒视频帧率延时，μ代表音频缓存延时的权重大小，ρ代表网络操作比特率延时的权重大小，θ代表每秒视频帧率延时的权重大小；
实际评估时，使用归一化QoE参数判定实际视频质量的变化状态，QoE(normalized)指标具体计算过程如下：
Figure BDA0001988777050000043
其中QoE(x)是当前QoE指数，QoE(optimal)是训练过程中记录的最优QoE指标。
与现有技术相比，本发明的有益效果在于：
1、基于软件定义网络环境下流量数据的采集独立于服务层的特点，本发明提出了使用深度学习的方法来预测QoS参数，降低了用户客户端的负载消耗。
2、由于深度学习模型本身特点，该方法能够更好的表示网络流量数据的特征，对于网络流量数据预测QoS也具有一定的抗噪能力，深度学习的模型有更好的鲁棒性和泛化能力。
3、基于QoS参数的流量预测能够独立于网络层，仅仅利用客户端的数据能够根据具体用户更有针对性的流量预测，不受网络环境影响；
4、系统分为在线模块和离线模块，深度学习模型能够随时更新，保证系统延展性；各个模块内按功能切分为不同段，使得各个功能模块之间耦合度较低，整个系统有较好的可扩展性。在线模块的监控功能增强了系统的可靠性。
5、由于本发明将训练和预测分不同模块进行，使得深度学习模型训练完成后有比较快的在线预测速度和更好的准确度，优化了预测效果。
进一步的，本发明提出了视频流业务的QoE量化计算公式，通过预测包括音频、网络操作和视频帧等参数的QoS参数值，从而实现评估QoE性能。
附图说明
图1是本发明的系统架构部署图。
图2是本发明的基于深度学习的QoS-QoE参数与流量预测流程图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案进一步说明。
本发明提供了一种软件定义网络中基于深度学习的鲁棒QoS-QoE预测与保障系统，如图1所示，首先该系统是基于软件定义网络环境，网络架构分为应用层、控制层和网络层，视频流应用的客户端和服务端运行在由OpenFlow交换机组成的网络拓扑中。
由于SDN控制器可以监测下层网络的拓扑和每个交换机的端口数据流量，从而得到所需的网络流量数据，同时又能够对应用层和网络层进行相关操作，因此如图1所示，本发明的各个模块均部署在控制层的SDN控制器中。
本发明采用的系统整体分为离线模块和在线模块。其中离线模块主要包括预测引擎模块，其主要功能是数据采集、原始数据预处理和深度学习模型离线训练。在线模块包括QoS预测模块和QoE评估模块，其中QoS预测模块主要功能包括在线数据采集、QoS预测和QoS状态记录；QoE评估模块主要功能包括QoS-QoE映射，QoE状态监控和应用流量预测。
如图2所示，该方法的具体过程为：
步骤S1，在软件定义网络环境下，离线模块从中央控制器(SDN控制器)收集一定时间段的交换机端口历史流量数据，同时从客户端收集视频流应用的QoS参数值，作为预测引擎模块的输入数据。预测引擎模块对收集到的原始流量数据做数据预处理工作，包括数据清洗、数据归一化，特征选取等操作。由于原始数据的数据分布不均衡，QoS参数大部分是相同数据值，受到影响时QoS参数值会在正常值与干扰值之间跳变，而并非稳定转换，因此为了去除深度学习过拟合现象，需要对原始数据分层采样；
步骤S2，在预测引擎模块内建立深度学习模型。模型需求的训练数据集使用步骤S1中预处理过的数据，其中输入数据是OpenFlow交换机各个端口的每秒流量，输出数据是运行在客户端的视频流应用QoS参数。经过多次迭代训练直到输出精度满足对应要求，保存训练后的深度学习模型；
步骤S3，在线模块中，QoS预测模块接受来自SDN控制器收集的实时流量数据，经过简单数据预处理(包括数据清洗，数据归一化以及特征选取操作等)后，经过计算后输出当前视频流业务的QoS参数，即使用步骤S2中训练好的深度学习模型进行实时视频流应用QoS参数的预测；同时将当前QoS的状态保存到本地，用于QoS状态变化的监控，以便于实现后续的更新深度学习模型和SDN控制器操作等功能。
步骤S4，在QoE评估模块中，根据步骤S2中当前视频流业务的QoS参数量化计算QoE指标，并记录QoE变化状态；具体QoE指标采用如下公式计算：
Figure BDA0001988777050000071
其中Quality代表视频质量，Loss代表质量损失，最后一项
Figure BDA0001988777050000072
代表每次网络操作的比特率，Nbyte代表网络操作比特率，Noperate代表网络操作次数。
视频质量Quality与质量损失Loss具体计算过程如下：
Quality(k)＝αAbuffer+βNbyte+γVframe
Loss(k)＝μAdelay+ρNdelay+θVdelay
其中，Abuffer代表音频缓存，Nbyte代表网络操作比特率，Vframe代表每秒视频帧率，α代表音频缓存的权重大小，β代表网络操作比特率的权重大小，γ代表每秒视频帧率的权重大小。损失函数计算中，变量k为时间，单位为秒，Adelay代表音频缓存延时，Ndelay代表网络操作比特率延时，Vdelay代表每秒视频帧率延时，μ代表音频缓存延时的权重大小，ρ代表网络操作比特率延时的权重大小，θ代表每秒视频帧率延时的权重大小。
α、β、γ、μ、ρ以及θ的参考范围为大于0小于等于1，具体的值根据需要进行选取。
实际评估时，可使用归一化QoE参数判定实际视频质量的变化状态，QoE(normalized)指标具体计算过程如下：
Figure BDA0001988777050000073
其中QoE(x)是当前QoE指数，QoE(optimal)是训练过程中记录的最优QoE指标，该最优QoE指标可随深度学习模型的更新而更新。
在QoE预测模块内记录下当前归一化QoE参数，根据历史记录数据提前感知应用QoE的降低或恢复等状态变化。
步骤S5，在QoE评估模块下，在步骤S3中获取到应用的QoS参数变化后，使用机器学习模型，对当前用户的视频流业务的网络流量进行预测，实现流量预测预测功能；同时记录当前视频流业务的网络流量，并实时监控当前视频流业务的网络流量的变化状态，并且利用步骤S4中的QoE指标通知SDN控制器进行资源重分配或重路由等相关操作，从而保障客户端用户良好的视频体验。

Claims (5)

1.SDN中基于深度学习的鲁棒服务质量预测与保障方法，其特征在于，该方法采用的系统包括离线模块和在线模块，其中离线模块包括预测引擎模块，在线模块包括QoS预测模块和QoE评估模块；该方法包括以下步骤：
步骤S1，离线模块接受从SDN控制器收集的网络拓扑中交换机端口历史流量数据，预测引擎模块对收集到的网络拓扑中交换机端口历史流量数据做数据预处理工作，在预测引擎模块内建立深度学习模型，并使用预处理后的流量数据训练深度学习模型；
步骤S2，在线模块中，QoS预测模块将步骤S1中训练好的深度学习模型部署到QoS预测模块中；通过SDN控制器实时收集的网络拓扑中交换机端口的流量数据，对其进行预处理后送入训练好的深度学习模型中，经过计算后输出当前视频流业务的QoS参数，同时记录下当前的QoS状态；
步骤S3，在QoE评估模块中，根据步骤S2中当前视频流业务的QoS参数量化计算QoE指标，并记录QoE变化状态；
步骤S4，在QoE评估模块下，利用步骤S2中输出的当前视频流业务的所有QoS参数，使用机器学习方法，对当前用户的视频流业务的网络流量进行预测并记录及监控，利用步骤S3中的QoE指标提示客户端或SDN中央控制器进行资源重分配或重路由操作，实现流量预测功能。
2.根据权利要求1所述的SDN中基于深度学习的鲁棒服务质量预测与保障方法，其特征在于，步骤S1中，深度学习模型的输入数据是OpenFlow交换机端口的流量数据，深度学习模型输出的是应用层视频流业务的QoS参数。
3.根据权利要求1所述的SDN中基于深度学习的鲁棒服务质量预测与保障方法，其特征在于，步骤S1中，预处理包括数据清洗、数据归一化以及特征选取操作。
4.根据权利要求1所述的SDN中基于深度学习的鲁棒服务质量预测与保障方法，其特征在于，步骤S2中，当前视频流业务的QoS参数包括视频每秒帧速率以及音频缓冲速率。
5.根据权利要求1所述的SDN中基于深度学习的鲁棒服务质量预测与保障方法，其特征在于，步骤S3中，QoE指标采用如下公式计算：
Figure FDA0002471806900000021
其中Quality代表视频质量，Loss代表质量损失，最后一项
Figure FDA0002471806900000022
代表每次网络操作的比特率，Nbyte代表网络操作比特率，Noperate代表网络操作次数；
视频质量Quality与质量损失Loss具体计算过程如下：
Quality(k)＝αAbuffer+βNbyte+γVframe
Loss(k)＝μAdelay+ρNdelay+θVdelay
其中，Abuffer代表音频缓存，Nbyte代表网络操作比特率，Vframe代表每秒视频帧率，α代表音频缓存的权重大小，β代表网络操作比特率的权重大小，γ代表每秒视频帧率的权重大小；变量k为时间，Adelay代表音频缓存延时，Ndelay代表网络操作比特率延时，Vdelay代表每秒视频帧率延时，μ代表音频缓存延时的权重大小，ρ代表网络操作比特率延时的权重大小，θ代表每秒视频帧率延时的权重大小；
实际评估时，使用归一化QoE参数判定实际视频质量的变化状态，QoE(normalized)指标具体计算过程如下：
Figure FDA0002471806900000023
其中QoE(x)是当前QoE指数，QoE(optimal)是训练过程中记录的最优QoE指标。
CN201910173401.XA 2019-03-07 2019-03-07 Sdn中基于深度学习的鲁棒服务质量预测与保障方法 Active CN109873726B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910173401.XA CN109873726B (zh) 2019-03-07 2019-03-07 Sdn中基于深度学习的鲁棒服务质量预测与保障方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910173401.XA CN109873726B (zh) 2019-03-07 2019-03-07 Sdn中基于深度学习的鲁棒服务质量预测与保障方法

Publications (2)

Publication Number Publication Date
CN109873726A CN109873726A (zh) 2019-06-11
CN109873726B true CN109873726B (zh) 2020-10-27

Family

ID=66919949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910173401.XA Active CN109873726B (zh) 2019-03-07 2019-03-07 Sdn中基于深度学习的鲁棒服务质量预测与保障方法

Country Status (1)

Country Link
CN (1) CN109873726B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11277317B2 (en) * 2019-08-05 2022-03-15 International Business Machines Corporation Machine learning to predict quality-of-service needs in an operational data management system
CN110908342B (zh) * 2019-09-04 2022-11-18 南京林业大学 融合算子的多工序制造质量损失预测o-gert方法
CN110855669B (zh) * 2019-11-14 2020-10-09 北京理工大学 基于神经网络适用于加密流量的视频QoE指标预测方法
CN110913414B (zh) * 2019-12-19 2022-09-06 中国卫通集团股份有限公司 一种5G卫星融合网络的QoS保障系统
CN111553463B (zh) * 2020-04-17 2022-11-18 东南大学 基于深度学习和网络参数估计无线接入点吞吐量的方法
CN111782354A (zh) * 2020-05-29 2020-10-16 国网江苏省电力有限公司信息通信分公司 一种基于强化学习的集中式数据处理时间优化方法
CN113852818A (zh) * 2020-06-28 2021-12-28 上海交通大学 一种自适应码率传输的服务器及码率确定方法
CN113132415A (zh) * 2021-05-10 2021-07-16 安徽思珀特信息科技有限公司 一种基于网络流量分析的威胁发现系统
CN115442246B (zh) * 2022-08-31 2023-09-26 武汉烽火技术服务有限公司 数据平面网络的流量预测方法、装置、设备及存储介质
CN116132347B (zh) * 2023-04-06 2023-06-27 湖南工商大学 算网融合环境下基于Bi-LSTM的服务QoS预测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7751334B2 (en) * 2007-11-07 2010-07-06 Satyam Computer Services Limited System and method for Skype traffic detection
CN106447103A (zh) * 2016-09-26 2017-02-22 河海大学 一种基于深度学习的Web服务QoS预测方法
CN108880888A (zh) * 2018-06-20 2018-11-23 浙江工商大学 一种基于深度学习的sdn网络流量预测方法
CN109308309B (zh) * 2018-07-27 2021-04-16 网宿科技股份有限公司 一种数据服务质量评估方法和终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于图优化的协同过滤Web服务推荐模型;王斌斌;《中国优秀硕士学位论文全文数据库（电子期刊）》;20170715;全文 *

Also Published As

Publication number Publication date
CN109873726A (zh) 2019-06-11

Similar Documents

Publication Publication Date Title
CN109873726B (zh) Sdn中基于深度学习的鲁棒服务质量预测与保障方法
CN112085039B (zh) 一种基于随机森林的icmp隐蔽通道检测方法
Raca et al. On leveraging machine and deep learning for throughput prediction in cellular networks: Design, performance, and challenges
CN109831386B (zh) 一种sdn下基于机器学习的最优路径选择算法
Chen et al. A lightweight end-side user experience data collection system for quality evaluation of multimedia communications
KR101234326B1 (ko) 분산 트래픽 분석
CN110324260B (zh) 一种基于流量识别的网络功能虚拟化智能调度方法
CN106789242B (zh) 一种基于手机客户端软件动态特征库的识别应用智能分析方法
EP4274191A2 (en) Distributed machine-learning resource sharing and request routing
CN107483292B (zh) 用于云平台的动态监控方法
Li et al. A VoIP traffic identification scheme based on host and flow behavior analysis
Malboubi et al. A learning-based measurement framework for traffic matrix inference in software defined networks
CN113382039B (zh) 一种基于5g移动网络流量分析的应用识别方法和系统
WO2020079986A1 (ja) 推定装置、システム及び方法及びコンピュータ可読媒体並びに学習装置及び方法及びコンピュータ可読媒体
CN116723136B (zh) 应用fcm聚类算法的网络检测数据的方法
CN115884213A (zh) 一种资源调度方法、装置及电子设备
CN101420336A (zh) 在网络中识别网络电话流量的方法及其系统
De Aquino et al. Data stream based algorithms for wireless sensor network applications
CN114679318B (zh) 一种高速网络中轻量级的物联网设备识别方法
Dubin et al. Video quality representation classification of encrypted http adaptive video streaming
Wang et al. Machine Learning-Enabled Software-Defined Networks for QoE Management
Wang et al. TrafAda: Cost-Aware Traffic Adaptation for Maximizing Bitrates in Live Streaming
Algar et al. A quality of experience management framework for mobile users
Wang et al. A method of combining traffic classification and traffic prediction based on machine learning in wireless networks
Silveira et al. Modeling the short-term dynamics of packet losses

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant