CN114997422A - 一种异构通信网络的分组式联邦学习方法 - Google Patents

一种异构通信网络的分组式联邦学习方法 Download PDF

Info

Publication number
CN114997422A
CN114997422A CN202210485100.2A CN202210485100A CN114997422A CN 114997422 A CN114997422 A CN 114997422A CN 202210485100 A CN202210485100 A CN 202210485100A CN 114997422 A CN114997422 A CN 114997422A
Authority
CN
China
Prior art keywords
model
federal learning
terminal equipment
pseudo
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210485100.2A
Other languages
English (en)
Other versions
CN114997422B (zh
Inventor
李立欣
印通
林文晟
李旭
卫保国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202210485100.2A priority Critical patent/CN114997422B/zh
Publication of CN114997422A publication Critical patent/CN114997422A/zh
Application granted granted Critical
Publication of CN114997422B publication Critical patent/CN114997422B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Telephonic Communication Services (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明提供了一种异构通信网络的分组式联邦学习方法，建立基于端到端通信的联邦学习系统模型，根据相关的设备异构性差异及通信场景的复杂性，计算设备之间的代价函数值，并根据代价函数值将设备进行分组，最终得到分组结果，分组结果将代价函数值小于设定阈值的参与设备划分为同一组，并在组内、组间分别进行联邦学习任务。本发明建立一种基于端到端通信的联邦学习系统模型，在终端设备进行信息通信的过程中，将具有相似通信条件与计算能力的设备分为一组，从而降低由于设备等待期造成的资源浪费与时延问题。

Description

一种异构通信网络的分组式联邦学习方法
技术领域
本发明涉及通信网络和联邦学习技术领域，具体涉及一种通信网络的学习方法。
背景技术
在信息时代，爆炸式的数据增长成为了人工智能和深度学习发展的坚实基础。特别地，深度学习模型增强了众多领域的智能应用，如目标检测、机器健康监控、语音识别和机器翻译。训练一个性能更好的网络需要从大量的数据集中提取更多准确的特征，也正因如此，获取更多的数据至关重要。在保险、医疗和其他工业领域中，各个企业希望充分利用彼此的数据与网络模型，来获得更好的网络性能。但出于对数据隐私的考虑与担忧，各个企业之间实际上存在着“数据孤岛”的现象，这促使了联邦学习的发展。联邦学习允许各个实体在保证数据隐私性的前提下共享模型参数，从而提高训练模型的最终效果。
随着第六代无线通信和物联网技术的进步，大量的智能设备被连接到网络上，这使得联邦学习对提高无线通信系统的性能具有重要意义。然而，这些设备的通信和计算能力有很大的不同，这导致了集中式聚合的高延迟，促进了去中心式联邦学习方法的发展。
一些联邦学习方法采用集中式的聚合方式，大量的客户节点设备与服务器节点进行交互，客户节点将自身所拥有的模型参数上传至服务器节点，服务器节点进行聚合之后再下发给客户节点。该方法虽然较为便利，但在通信场景复杂和设备异构性较大的情形下会造成大量的延迟，速度快、性能好的设备必须等待速度慢、性能差的设备完成本轮任务后才能开启下一轮的模型聚合。
一些联邦学习方法采用去中心式的聚合方式，客户节点在每一轮周期更新中随机选择一个或多个客户节点，然后与所选节点交换更新后的模型参数。通过这种方式，客户节点会异步地训练和更新模型。然而，由于客户节点的异构性，如通信条件和计算能力，在通信拓扑有限的条件下，该方法表现较差。
发明内容
为了克服现有技术的不足，本发明提供一种异构通信网络的分组式联邦学习方法，建立基于端到端通信的联邦学习系统模型，根据相关的设备异构性差异及通信场景的复杂性，计算设备之间的代价函数值，并根据代价函数值将设备进行分组，最终得到分组结果，分组结果将代价函数值小于设定阈值的参与设备划分为同一组，并在组内、组间分别进行联邦学习任务。本发明解决现有联邦学习方法时延高、设备利用率不足的问题。
本发明解决其技术问题所采用的技术方案的具体步骤为：
步骤一、构建联邦学习系统模型：
所述联邦学习系统模型包括至少1个终端设备，所述终端设备具有无线通信发送和接收能力，并具有浮点计算能力；
步骤二、确定优化目标函数：
基于联邦学习系统模型，根据实际需求的人工智能训练模型，确定联邦学习任务优化目标函数；将人工智能训练模型的所有优化目标函数求和后计算均值，得到联邦学习系统模型的优化目标函数；
步骤三、测量并获取步骤一构建的联邦学习系统模型中终端设备之间的最大通信速率，以及各个终端设备的工作频率信息，计算得到终端设备之间的代价函数值；
步骤四、在所有还未具有分组标签的终端设备中，挑选工作频率最高的终端设备作为伪服务器，并由该伪服务器在剩余未分组的终端设备中，选择代价函数值小于给定阈值的终端设备作为该伪服务器分组成员；继续在剩下的未分组的终端设备中挑选工作频率最高的终端设备作为伪服务器，并由该伪服务器在剩余未分组的终端设备中，选择代价函数值小于给定阈值的终端设备作为该伪服务器分组成员，由此不断重复，直至所有终端设备均已分组，将所有终端设备都存在分组标签，得到分组结果；
步骤五、基于步骤四的分组结果，终端设备进行联邦学习任务模型的模型训练和组内模型聚合，不断重复模型训练和组内模型聚合，直至达到预设时间T1，则结束循环；
步骤六、在步骤五进行至预设时间T1后，终端设备进行联邦学习任务模型的模型训练和组间模型聚合，并不断重复模型训练和组间模型聚合，直至达到预设时间T2；
步骤七、不断重复步骤五和步骤六，直至联邦学习任务训练模型的精确度不再提高，精确度不再提高指在当前时刻至规定时间T内，模型的精确度均小于当前时刻的精确度。
所述代价函数公式具体如下：
Cij＝1/Rij+μ(fi-fj)2
其中，将Cij为终端设备中第i个设备和第j个设备之间的代价函数值，Rij为第i个设备和第j个设备之间的最大通信速率，μ为终端设备之间的计算异构性在代价函数中所占权重，fi和fj分别定义为第i个设备和第j个设备的工作频率。
所述组内模型聚合的步骤为：
所有未被挑选作为伪服务器的终端设备将已有更新后的模型参数发送至未被挑选作为伪服务器的终端设备所在分组内的伪服务器处，该伪服务器等待接收组内所有成员的模型参数后，将收到的模型参数进行加权平均，并下发给本组内的成员。
所述更新方法包括随机梯度下降法或Adam算法。
所述组间模型聚合过程为：所有身份为伪服务器的终端设备均向除自身外其余伪服务器设备发送更新后的模型参数，并等待接收来自其余伪服务器设备的模型参数，接收完成后，将收到的模型参数进行加权平均，并将加权平均后的模型下发至对应分组的其余普通终端设备。
本发明的有益效果在于采用本发明的方法，建立一种基于端到端通信的联邦学习系统模型，在终端设备进行信息通信的过程中，将具有相似通信条件与计算能力的设备分为一组，从而降低由于设备等待期造成的资源浪费与时延问题。
附图说明
图1是本发明的系统结构示意图。
图2是本发明采用的联邦学习任务卷积神经网络的结构示意图。
图3是本发明实施例的系统模型准确率随时间变化的仿真图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本发明提供了一种面向异构设备和复杂通信环境的分组式联邦学习方法，其特征在于，建立一种基于端到端通信的联邦学习系统模型，根据相关的设备异构性差异及通信场景的复杂性，计算设备之间的代价函数值并根据代价函数值将设备进行分组，最终得到分组结果，其将相似度较高的参与设备划分为同一组并在组内、组间分别进行联邦学习任务。
本发明的一种面向异构设备和复杂通信环境的分组式联邦学习方法具体按照以下步骤实施：
步骤一、构建联邦学习系统模型：
所述联邦学习系统模型包括至少1个终端设备，所述终端设备应具有无线通信发送和接收能力，并应具有一定的计算能力。
步骤二、确定目标函数：
基于步骤一构建的联邦学习系统模型，一般来说，联邦学习系统模型包括较多的终端设备参与，在此基础上，各设备应确定联邦学习任务目标，确定优化目标函数。
模型构建好之后，根据需要进行的联邦学习任务目标确定优化目标函数，例如优化目标是机器学习模型、深度学习模型等。
假设联邦学习任务目标是卷积神经网络，那么就有如下优化目标函数：
Figure BDA0003628907570000041
其中，
Figure BDA0003628907570000042
表示全新的定义，
Figure BDA0003628907570000043
表示第k个终端设备的训练损失函数，pk表示第k个终端设备训练损失函数在系统中所占的权重，
Figure BDA0003628907570000044
为联邦学习总体任务目标函数，w*为联邦学习系统中使任务目标函数最优的模型参数。
步骤三、测量并获取步骤一构建的联邦学习系统中终端设备之间的最大通信速率，以及各个终端设备的工作频率信息，进一步根据代价函数计算公式得到终端设备之间的代价函数值；
所述代价函数公式具体如下：
cij＝1/Rij+μ(fi-fj)2
其中，将
Figure BDA0003628907570000045
定义为终端设备中第i个设备和第j个设备之间的代价函数值，Rij定义为第i个设备和第j个设备之间的最大通信速率，μ定义为终端设备之间的计算异构性在代价函数中所占权重，fi和fj分别定义为第i个设备和第j个设备的工作频率；
步骤四、在所有还未具有分组标签的终端设备中，挑选工作频率最高的设备作为伪服务器，并由该设备在剩余未分组的终端设备中，选择代价函数值小于给定阈值的设备作为其分组成员。重复上述操作至所有终端设备都存在分组标签；
步骤五、基于步骤四的分组结果，终端设备进行联邦学习任务模型的训练和组内模型聚合；
所述组内模型聚合过程为：所有普通终端设备将已有更新后的模型参数发送至其所在分组内的伪服务器处，伪服务器等待接收组内所有成员的模型后，将收到的模型进行加权平均，并下发给组内成员，重复以上操作；
具体的，如果步骤二中联邦学习任务确定为卷积神经网络，那么任务模型的训练表达式如下：
Figure BDA0003628907570000051
其中，
Figure BDA0003628907570000052
表示第m个设备在第(θ+1)轮组间模型聚合前，第i-1轮训练更新后的模型参数，η表示模型学习率，
Figure BDA0003628907570000053
表示第m个设备模型参数在样本
Figure BDA0003628907570000054
上的梯度值。
步骤六、基于步骤四的分组结果，在步骤五进行至预先设定的时间时，进行组间模型聚合；
所述组间模型聚合过程为：所有身份为伪服务器的终端设备均向除自身外其余伪服务器设备发送最新的模型参数，并等待接收来自其余伪服务器设备的模型参数，接收完成后，将收到的模型参数进行加权平均并将平均后的模型下发至对应分组的其余普通终端设备；
步骤七、重复步骤五、步骤六直至联邦学习任务训练模型的精确度不再提高。
实施例
本发明实例研究的是终端设备在端到端通信的场景中进行联邦学习任务，所有的终端设备之间均可进行通信，但设备之间的通信质量是不均匀的，图1为实施例的联邦学习系统模型示意图。在本实施例中，取终端设备的个数为10；联邦学习任务为在手写数字识别数据集上训练卷积神经网络，网络结构如图2所示；设备的工作频率取值范围为[2，4]GHz；设备间的最大通信速率为[1，3]MB/s；设备完成一轮训练所需的工作时钟为20×109；对于系统的参数设置如下：阈值设置为最小代价函数值的2倍，工作频率权重μ设置为1，组间模型聚合时间设置为150秒。
在同一时刻下，比较不同联邦学习方案和下系统的模型测试准确率，不同联邦学习方案包括联邦平均、基于一致性的联邦平均、非合作训练、集中式训练和本发明的一种面向异构设备和复杂通信场景的联邦学习方法。如图3所示，对于上述不同的联邦学习方案，可以看出随着时间的增加，系统模型测试准确率不断增加。如图3所示，本发明的方法优于联邦平均方法和基于一致性的联邦平均方法，本发明方法所能实现的系统的测试准确率在相同时刻下始终优于上述两种方法，本发明的方法在同一时刻下远远不及集中式训练可以达到的准确率，这是因为联邦学习训练过程中，数据分布在不同的设备中，需要大量的通信时延造成的，这是不可避免的，本发明在分布式的系统模型下，利用不同设备上的数据实现了不断接近集中式训练最优性能的方案，保护了设备数据隐私。所以说，本发明所提出的联邦学习系统模型比集中式训练更具可行性。
综上所述，本发明的联邦学习方法的时延低，具有良好的性能。

Claims (5)

1.一种异构通信网络的分组式联邦学习方法，其特征在于包括下述步骤：
步骤一、构建联邦学习系统模型：
所述联邦学习系统模型包括至少1个终端设备，所述终端设备具有无线通信发送和接收能力，并具有浮点计算能力；
步骤二、确定优化目标函数：
基于联邦学习系统模型，根据实际需求的人工智能训练模型，确定联邦学习任务优化目标函数；将人工智能训练模型的所有优化目标函数求和后计算均值，得到联邦学习系统模型的优化目标函数；
步骤三、测量并获取步骤一构建的联邦学习系统模型中终端设备之间的最大通信速率，以及各个终端设备的工作频率信息，计算得到终端设备之间的代价函数值；
步骤四、在所有还未具有分组标签的终端设备中，挑选工作频率最高的终端设备作为伪服务器，并由该伪服务器在剩余未分组的终端设备中，选择代价函数值小于给定阈值的终端设备作为该伪服务器分组成员；继续在剩下的未分组的终端设备中挑选工作频率最高的终端设备作为伪服务器，并由该伪服务器在剩余未分组的终端设备中，选择代价函数值小于给定阈值的终端设备作为该伪服务器分组成员，由此不断重复，直至所有终端设备均已分组，将所有终端设备都存在分组标签，得到分组结果；
步骤五、基于步骤四的分组结果，终端设备进行联邦学习任务模型的模型训练和组内模型聚合，不断重复模型训练和组内模型聚合，直至达到预设时间T1，则结束循环；
步骤六、在步骤五进行至预设时间T1后，终端设备进行联邦学习任务模型的模型训练和组间模型聚合，并不断重复模型训练和组间模型聚合，直至达到预设时间T2；
步骤七、不断重复步骤五和步骤六，直至联邦学习任务训练模型的精确度不再提高，精确度不再提高指在当前时刻至规定时间T内，模型的精确度均小于当前时刻的精确度。
2.根据权利要求1所述的异构通信网络的分组式联邦学习方法，其特征在于：
所述代价函数公式具体如下：
Figure FDA0003628907560000011
其中，将
Figure FDA0003628907560000012
为终端设备中第i个设备和第j个设备之间的代价函数值，Rij为第i个设备和第j个设备之间的最大通信速率，μ为终端设备之间的计算异构性在代价函数中所占权重，fi和fj分别定义为第i个设备和第j个设备的工作频率。
3.根据权利要求1所述的异构通信网络的分组式联邦学习方法，其特征在于：
所述组内模型聚合的步骤为：
所有未被挑选作为伪服务器的终端设备将已有更新后的模型参数发送至未被挑选作为伪服务器的终端设备所在分组内的伪服务器处，该伪服务器等待接收组内所有成员的模型参数后，将收到的模型参数进行加权平均，并下发给本组内的成员。
4.根据权利要求1所述的异构通信网络的分组式联邦学习方法，其特征在于：
所述组间模型聚合过程为：所有身份为伪服务器的终端设备均向除自身外其余伪服务器设备发送更新后的模型参数，并等待接收来自其余伪服务器设备的模型参数，接收完成后，将收到的模型参数进行加权平均，并将加权平均后的模型下发至对应分组的其余普通终端设备。
5.根据权利要求3和4任一所述的异构通信网络的分组式联邦学习方法，其特征在于：
所述模型参数的更新方法采用随机梯度下降法或Adam算法。
CN202210485100.2A 2022-05-06 2022-05-06 一种异构通信网络的分组式联邦学习方法 Active CN114997422B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210485100.2A CN114997422B (zh) 2022-05-06 2022-05-06 一种异构通信网络的分组式联邦学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210485100.2A CN114997422B (zh) 2022-05-06 2022-05-06 一种异构通信网络的分组式联邦学习方法

Publications (2)

Publication Number Publication Date
CN114997422A true CN114997422A (zh) 2022-09-02
CN114997422B CN114997422B (zh) 2024-03-08

Family

ID=83024555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210485100.2A Active CN114997422B (zh) 2022-05-06 2022-05-06 一种异构通信网络的分组式联邦学习方法

Country Status (1)

Country Link
CN (1) CN114997422B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116187473A (zh) * 2023-01-19 2023-05-30 北京百度网讯科技有限公司 联邦学习方法、装置、电子设备和计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021169577A1 (zh) * 2020-02-27 2021-09-02 山东大学 一种基于加权联邦学习的无线业务流量预测方法
CN113408743A (zh) * 2021-06-29 2021-09-17 北京百度网讯科技有限公司 联邦模型的生成方法、装置、电子设备和存储介质
CN114219097A (zh) * 2021-11-30 2022-03-22 华南理工大学 一种基于异构资源之上的联邦学习训练和预测方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021169577A1 (zh) * 2020-02-27 2021-09-02 山东大学 一种基于加权联邦学习的无线业务流量预测方法
CN113408743A (zh) * 2021-06-29 2021-09-17 北京百度网讯科技有限公司 联邦模型的生成方法、装置、电子设备和存储介质
CN114219097A (zh) * 2021-11-30 2022-03-22 华南理工大学 一种基于异构资源之上的联邦学习训练和预测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王亚?;: "面向数据共享交换的联邦学习技术发展综述", 无人系统技术, no. 06, 15 November 2019 (2019-11-15) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116187473A (zh) * 2023-01-19 2023-05-30 北京百度网讯科技有限公司 联邦学习方法、装置、电子设备和计算机可读存储介质
CN116187473B (zh) * 2023-01-19 2024-02-06 北京百度网讯科技有限公司 联邦学习方法、装置、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN114997422B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
CN112181666B (zh) 一种基于边缘智能的设备评估和联邦学习重要性聚合方法
CN111629380B (zh) 面向高并发多业务工业5g网络的动态资源分配方法
CN110968426B (zh) 一种基于在线学习的边云协同k均值聚类的模型优化方法
CN111628855B (zh) 基于深度强化学习的工业5g动态多优先级多接入方法
CN112685504B (zh) 一种面向生产过程的分布式迁移图学习方法
CN113469325A (zh) 一种边缘聚合间隔自适应控制的分层联邦学习方法、计算机设备、存储介质
CN111030861A (zh) 一种边缘计算分布式模型训练方法、终端和网络侧设备
CN111935724B (zh) 基于异步深度强化学习的无线传感器网络拓扑优化方法
CN111198550A (zh) 基于案例推理的云端智能生产优化调度在线决策方法及系统
CN112637883A (zh) 电力物联网中对无线环境变化具有鲁棒性的联邦学习方法
CN112287990A (zh) 一种基于在线学习的边云协同支持向量机的模型优化方法
CN115374853A (zh) 基于T-Step聚合算法的异步联邦学习方法及系统
CN108566253A (zh) 一种基于对信号功率谱拟合特征提取的信号识别方法
CN114997422B (zh) 一种异构通信网络的分组式联邦学习方法
CN114626550A (zh) 分布式模型协同训练方法和系统
CN115115021A (zh) 基于模型参数异步更新的个性化联邦学习方法
CN104462853A (zh) 用于电子病历特征提取的种群精英分布云协同均衡方法
CN116614195A (zh) 基于边缘容器的电碳计算智能融合终端及时间同步方法
Yin et al. Grouped federated learning: A decentralized learning framework with low latency for heterogeneous devices
Peng et al. Hmm-lstm for proactive traffic prediction in 6g wireless networks
CN115118591B (zh) 一种基于联盟博弈的簇联邦学习方法
CN113516163B (zh) 基于网络剪枝的车辆分类模型压缩方法、装置及存储介质
CN110163249B (zh) 基于用户参数特征的基站分类识别方法及系统
CN117279019B (zh) 频谱效率的预测方法、装置、电子设备及存储介质
CN113869881A (zh) 应用于智能制造的设备管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant