CN114666218A - 一种基于模型迁移的高效联邦训练方法和装置 - Google Patents
一种基于模型迁移的高效联邦训练方法和装置 Download PDFInfo
- Publication number
- CN114666218A CN114666218A CN202210402652.2A CN202210402652A CN114666218A CN 114666218 A CN114666218 A CN 114666218A CN 202210402652 A CN202210402652 A CN 202210402652A CN 114666218 A CN114666218 A CN 114666218A
- Authority
- CN
- China
- Prior art keywords
- training
- local
- migration
- model
- strategy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 113
- 230000005012 migration Effects 0.000 title claims abstract description 80
- 238000013508 migration Methods 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000009826 distribution Methods 0.000 claims description 11
- 230000009471 action Effects 0.000 claims description 9
- 230000002787 reinforcement Effects 0.000 claims description 9
- 238000012360 testing method Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
- H04L41/082—Configuration setting characterised by the conditions triggering a change of settings the condition being updates or upgrades of network functionality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computer And Data Communications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于模型迁移的高效联邦训练方法和装置。其中，该方法包括：服务器将目标任务的全局模型分发至各本地客户端；各本地客户端对接收到的全局模型进行训练，并在完成本地训练后向服务器发送训练完成信号；服务器基于预设算法确定本地模型迁移训练策略并将迁移训练策略下发给各本地客户端；各本地客户端根据迁移训练策略将自身更新好的本地模型迁移到其他本地客户端继续进行训练，并在执行完迁移训练策略后将本地模型参数上传至服务器。本发明通过将每个客户端的本地模型在其他更多的客户端节点上进行更新，实现了在逻辑上的独立同分布数据集上训练，提高了整体训练性能并且做到快速收敛，减少了训练轮数和网络资源消耗。
Description
技术领域
本发明实施例涉及机器学习技术领域，尤其涉及一种基于模型迁移的高效联邦训练方法和装置。
背景技术
现有技术中，针对边缘计算网络中非独立同分布数据和资源受限带来的联邦模型训练性能下降问题已经提出了一些技术方案，主要包括以下几种：
(1)为了解决边缘计算网络中由于非独立同分布数据引起的模型训练性能下降的问题，一些工作提出通过转发全局的数据来让每个工作节点能够在逻辑上的大数据集上进行训练，也就是说每个节点上的模型能够在独立同分布的数据集上进行训练，以此来提高整体的训练性能。(2)为了减少网络中的通讯消耗，一些工作提出通过动态调节每个节点的本地训练轮数，当网络中资源比较丰富时，本地进行较少的训练轮数即可上传到远程服务器进行全局更新；而当网络中资源缺乏时，本地可以进行较多的训练轮数后再进行上传，这样能够节省网络资源的同时也能保证联邦模型训练的性能。另外一些工作通过提出异步的训练方式来节省网络资源，也就是说服务器端不需要等收到所有的本地模型再进行全局更新，而是收到一个或者部分时就可以进行聚合，这样的做法能够大大减少网络带宽消耗，同时也能缓解因为某些训练缓慢节点导致的全局等待问题。
然而上述现有技术方案，不能够同时解决边缘计算网络中非独立同分布数据和资源受限带来的问题，往往只能解决其中某一项。例如，通过服务器将全局共享数据分发给所有的客户端，往往造成非常大的网络资源消耗；而所提出的减少资源消耗的方法，又不能很好地解决非独立同分布数据带来的模型训练性能下降问题。
发明内容
为了解决现有技术中的问题，本发明提供一种基于模型迁移的高效联邦训练方法和装置，通过将每个客户端的本地模型在其他更多的客户端节点上进行更新，从而实现在逻辑上的独立同分布数据集上训练，提高整体训练性能，并且做到快速收敛，减少训练轮数和网络资源消耗。
第一方面，本发明实施例提供了一种基于模型迁移的高效联邦训练方法，包括：
S110、服务器将目标任务的全局模型分发至各本地客户端；
S120、所述各本地客户端对接收到的全局模型进行训练，并在完成本地训练后向所述服务器发送训练完成信号；
S130、所述服务器基于预设算法确定本地模型迁移训练策略并将所述迁移训练策略下发给所述各本地客户端；
S140、所述各本地客户端根据所述迁移训练策略将自身更新好的本地模型迁移到其他本地客户端继续进行训练，并在执行完所述迁移训练策略后将本地模型参数上传至服务器。
可选的，所述服务器基于预设算法确定本地模型迁移训练策略，包括：
所述服务器采用强化学习训练DRL代理的方法确定本地模型迁移策略。
可选的，所述服务器采用强化学习训练DRL代理的方法确定本地模型迁移策略，包括：
将所述各本地客户端的数据分布、资源使用和训练状态作为输入，输出每一个动作的概率值，选取最高概率的动作以得到最优的本地模型迁移策略。
可选的，所述本地模型迁移策略中的参与迁移的本地客户端数量小于联邦训练系统中所有的本地客户端数量。
第二方面，本发明实施例还提供了一种基于模型迁移的高效联邦训练装置，包括：
全局模型分发模块，用于通过服务器将目标任务的全局模型分发至各本地客户端
本地模型训练模块，用于通过所述各本地客户端对接收到的全局模型进行训练，并在完成本地训练后向所述服务器发送训练完成信号
迁移策略确定模块，用于通过所述服务器基于预设算法确定本地模型迁移训练策略并将所述迁移训练策略下发给所述各本地客户端
迁移策略执行模块，用于通过所述各本地客户端根据所述迁移训练策略将自身更新好的本地模型迁移到其他本地客户端继续进行训练，并在执行完所述迁移训练策略后将本地模型参数上传至服务器。
本发明的有益效果：
1、本发明实施例通过在本地客户端进行模型迁移，解决了非独立同分布数据和资源受限带来的模型训练性能下降问题，通过模型迁移能够显著提升模型测试精度。
2、本发明提出使用强化学习的方法来对客户端的模型训练和网络资源状态进行实时监测，并计算出最优的模型迁移策略，让客户端的模型根据此策略来进行迁移，能够减少整体模型训练时间和网络资源(如带宽)的消耗。
附图说明
图1为本发明实施例提供的基于模型迁移的高效联邦训练方法的流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例
图1为本发明实施例提供的基于模型迁移的高效联邦训练方法的流程图，具体包括以下步骤：
S110、服务器将目标任务的全局模型分发至各本地客户端；
S120、所述各本地客户端对接收到的全局模型进行训练，并在完成本地训练后向所述服务器发送训练完成信号；
S130、所述服务器基于预设算法确定本地模型迁移训练策略并将所述迁移训练策略下发给所述各本地客户端；
本实施例中，当服务器接收到本地客户端发送的训练完成信号后，随机利用强化学习方法对迁移策略进行计算，然后将迁移策略下发给客户端。
具体的，本实施例中采用强化学习(Deep Deterministic Policy Gradient，DDPG)方法来训练DRL代理，结合网络资源和模型训练分别定义了状态空间、动作空间和奖励函数。在训练过程中，DRL代理将客户端的数据分布、资源使用和训练状态作为输入，输出每一个动作的概率值，通过选取最高概率的动作来得到最优的模型迁移策略，因此本实施例所提供的智能迁移方法能使得本地模型在更大数据集上进行训练，与现有技术中的随机迁移策略相比，具备更好的模型训练性能。
进一步的，本实施例中本地模型迁移策略中的参与迁移的本地客户端数量小于联邦训练系统中所有的本地客户端数量，即在客户端间进行模型迁移时，本实施例中是绝大部分在客户端间进行模型迁移，当出现端到端链路非常慢时，会经过服务器端进行转发，能够有效的缓解现有技术中全部通过服务器进行转发而带来的高通信负载，容易产生拥塞等问题。
S140、所述各本地客户端根据所述迁移训练策略将自身更新好的本地模型迁移到其他本地客户端继续进行训练，并在执行完所述迁移训练策略后将本地模型参数上传至服务器。
本实施例中，在进行固定次数迁移后，所有客户端再将模型全都上传给参数服务器。
这样做的好处是每个客户端的本地模型可以在其他更多的客户节点上的数据进行更新，从而实现在逻辑上的独立同分布数据集上训练，提高整体训练性能，并且做到快速收敛，减少训练轮数和网络资源消耗。
实验验证
进一步的，通过一些仿真和真实测试床的实验来验证本发明技术方案的有益效果。
现有一些方案技术包括FedAvg[6]，FedSwap[7]，FedProx[8]和RandMigr，其中FedAvg是经典的方法，即收到有指定的客户端发送的模型才进行全局更新；FedSwap是通过在服务器端对两个客户端的模型进行交换，以减少非独立同分布数据带来的影响；FedProx通过对异构数据和系统的感知，在FedAvg的基础上进行细小的改动，从而能够改善模型训练性能；RandMigr在客户端间进行随机迁移。
在实验数据和模型方面，本实施例采用经典的CIFAR10数据集和卷积神经网络(CNN)模型。CIFAR10包含60000张32x32并且分为10类的彩色图片(其中50000张用来训练，10000张用来测试)。具体实验效果如下表所示：
表1：五种方案在不同数据分布下的测试精度
从表中可以看出，在独立同分布数据(IID)中，每种方案的测试精度都差不多，主要是由于每个客户端上的数据都是相同的分布，迁移或者交换策略对整体的训练性能影响不大。然而在非独立同分布数据(Non-IID)中，每一种方案的精度差异较大，并且整体都比IID数据差，这也是合理的。基础方案FedAvg的性能最差(为28.3％)，FedSwap和FedProx通过模型交换和重参数化等操作对性能有所提升(分别为34.9％和31.7％)，但与本实施例中所提方案(FedMigr)，包括在客户端间随机交换模型方案(RandMigr)相比，提升的幅度还不是很大。本发明实施例的技术方案通过强化学习方法能够对网络中每个客户端的模型训练和网络资源状态进行实时监测，从而动态决策出客户端间的模型迁移策略。因此，本发明所提方案的整体训练性能(也就是测试精度)是所有方案中最优的。
进一步的，本发明实施例还提供了一种基于模型迁移的高效联邦训练装置，包括：
全局模型分发模块，用于通过服务器将目标任务的全局模型分发至各本地客户端
本地模型训练模块，用于通过所述各本地客户端对接收到的全局模型进行训练，并在完成本地训练后向所述服务器发送训练完成信号
迁移策略确定模块，用于通过所述服务器基于预设算法确定本地模型迁移训练策略并将所述迁移训练策略下发给所述各本地客户端
迁移策略执行模块，用于通过所述各本地客户端根据所述迁移训练策略将自身更新好的本地模型迁移到其他本地客户端继续进行训练，并在执行完所述迁移训练策略后将本地模型参数上传至服务器。
其中，迁移策略确定模块具体用于：通过所述服务器采用强化学习训练DRL代理的方法确定本地模型迁移策略。
具体的，所述服务器采用强化学习训练DRL代理的方法确定本地模型迁移策略，包括：
将所述各客户端的数据分布、资源使用和训练状态作为输入，输出每一个动作的概率值，选取最高概率的动作来得到最优的本地模型迁移策略。
可选的，所述本地模型迁移策略中的参与迁移的本地客户端数量小于联邦训练系统中所有的本地客户端数量。
本发明实施例所提供的一种基于模型迁移的高效联邦训练装置可执行本发明任意实施例所提供的一种基于模型迁移的高效联邦训练方法，具备执行方法相应的功能模块和有益效果。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (5)
1.一种基于模型迁移的高效联邦训练方法，其特征在于，包括：
S110、服务器将目标任务的全局模型分发至各本地客户端；
S120、所述各本地客户端对接收到的全局模型进行训练，并在完成本地训练后向所述服务器发送训练完成信号；
S130、所述服务器基于预设算法确定本地模型迁移训练策略并将所述迁移训练策略下发给所述各本地客户端；
S140、所述各本地客户端根据所述迁移训练策略将自身更新好的本地模型迁移到其他本地客户端继续进行训练，并在执行完所述迁移训练策略后将本地模型参数上传至服务器。
2.根据权利要求1所述的方法，其特征在于，所述服务器基于预设算法确定本地模型迁移训练策略，包括：
所述服务器采用强化学习训练DRL代理的方法确定本地模型迁移策略。
3.根据权利要求2所述的方法，其特征在于，所述服务器采用强化学习训练DRL代理的方法确定本地模型迁移策略，包括：
将所述各本地客户端的数据分布、资源使用和训练状态作为输入，输出每一个动作的概率值，选取最高概率的动作以得到最优的本地模型迁移策略。
4.根据权利要求1所述的方法，其特征在于，所述本地模型迁移策略中的参与迁移的本地客户端数量小于联邦训练系统中所有的本地客户端数量。
5.一种基于模型迁移的高效联邦训练装置，其特征在于，包括：
全局模型分发模块，用于通过服务器将目标任务的全局模型分发至各本地客户端
本地模型训练模块，用于通过所述各本地客户端对接收到的全局模型进行训练，并在完成本地训练后向所述服务器发送训练完成信号
迁移策略确定模块，用于通过所述服务器基于预设算法确定本地模型迁移训练策略并将所述迁移训练策略下发给所述各本地客户端
迁移策略执行模块，用于通过所述各本地客户端根据所述迁移训练策略将自身更新好的本地模型迁移到其他本地客户端继续进行训练，并在执行完所述迁移训练策略后将本地模型参数上传至服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210402652.2A CN114666218B (zh) | 2022-04-18 | 2022-04-18 | 一种基于模型迁移的高效联邦训练方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210402652.2A CN114666218B (zh) | 2022-04-18 | 2022-04-18 | 一种基于模型迁移的高效联邦训练方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114666218A true CN114666218A (zh) | 2022-06-24 |
| CN114666218B CN114666218B (zh) | 2023-11-10 |
Family
ID=82034963
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210402652.2A Active CN114666218B (zh) | 2022-04-18 | 2022-04-18 | 一种基于模型迁移的高效联邦训练方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114666218B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110490319A (zh) * | 2019-07-30 | 2019-11-22 | 成都蓉奥科技有限公司 | 基于融合神经网络参数的分布式深度强化学习 |
| CA3060900A1 (en) * | 2018-11-05 | 2020-05-05 | Royal Bank Of Canada | System and method for deep reinforcement learning |
| CN113011602A (zh) * | 2021-03-03 | 2021-06-22 | 中国科学技术大学苏州高等研究院 | 一种联邦模型训练方法、装置、电子设备和存储介质 |
| CN113139664A (zh) * | 2021-04-30 | 2021-07-20 | 中国科学院计算技术研究所 | 一种跨模态的迁移学习方法 |
| CN113902021A (zh) * | 2021-10-13 | 2022-01-07 | 北京邮电大学 | 一种高能效的聚类联邦边缘学习策略生成方法和装置 |
| CN113919508A (zh) * | 2021-10-15 | 2022-01-11 | 河南工业大学 | 一种基于移动式服务器的联邦学习系统及方法 |
-
2022
- 2022-04-18 CN CN202210402652.2A patent/CN114666218B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3060900A1 (en) * | 2018-11-05 | 2020-05-05 | Royal Bank Of Canada | System and method for deep reinforcement learning |
| CN110490319A (zh) * | 2019-07-30 | 2019-11-22 | 成都蓉奥科技有限公司 | 基于融合神经网络参数的分布式深度强化学习 |
| CN113011602A (zh) * | 2021-03-03 | 2021-06-22 | 中国科学技术大学苏州高等研究院 | 一种联邦模型训练方法、装置、电子设备和存储介质 |
| CN113139664A (zh) * | 2021-04-30 | 2021-07-20 | 中国科学院计算技术研究所 | 一种跨模态的迁移学习方法 |
| CN113902021A (zh) * | 2021-10-13 | 2022-01-07 | 北京邮电大学 | 一种高能效的聚类联邦边缘学习策略生成方法和装置 |
| CN113919508A (zh) * | 2021-10-15 | 2022-01-11 | 河南工业大学 | 一种基于移动式服务器的联邦学习系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 孟泽宇: "边缘侧分布式模型训练与任务迁移技术研究", 中国博士学位论文全文数据库信息科技辑, pages 15 - 17 * |
| 张依琳，陈宇翔，田晖，王田: "联邦学习在边缘计算场景中应用研究进展", 小型微型计算机系统 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114666218B (zh) | 2023-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ruan et al. | Towards flexible device participation in federated learning | |
| CN107944566B (zh) | 一种机器学习方法、主节点、工作节点及系统 | |
| Ugwuanyi et al. | Reliable resource provisioning using bankers’ deadlock avoidance algorithm in MEC for industrial IoT | |
| CN110855737B (zh) | 一种一致性级别可控的自适应数据同步方法和系统 | |
| CN108111335A (zh) | 一种调度和链接虚拟网络功能的方法及系统 | |
| Huang et al. | Toward decentralized and collaborative deep learning inference for intelligent IoT devices | |
| Huang et al. | Enabling DNN acceleration with data and model parallelization over ubiquitous end devices | |
| CN112118312A (zh) | 一种面向边缘服务器的网络突发负载疏散方法 | |
| EP4024212A1 (en) | Method for scheduling interference workloads on edge network resources | |
| CN114205353B (zh) | 一种基于混合动作空间强化学习算法的计算卸载方法 | |
| CN112672382B (zh) | 混合协作计算卸载方法、装置、电子设备及存储介质 | |
| CN113472597A (zh) | 分布式卷积神经网络细粒度的参数传输调度方法及装置 | |
| CN114422349A (zh) | 基于云边端协同的深度学习模型训练和推理架构部署方法 | |
| Cao et al. | A deep reinforcement learning approach to multi-component job scheduling in edge computing | |
| CN112989251B (zh) | 一种基于协同计算的移动Web增强现实3D模型数据服务方法 | |
| Ju et al. | eDeepSave: Saving DNN inference using early exit during handovers in mobile edge environment | |
| CN116663639B (zh) | 一种梯度数据同步方法、系统、装置及介质 | |
| WO2024066626A1 (zh) | 实时音视频网络的路由规划方法及装置 | |
| CN114666218B (zh) | 一种基于模型迁移的高效联邦训练方法和装置 | |
| CN104822175A (zh) | 一种适用于蜂窝网络的代码迁移方法及系统 | |
| CN110830294A (zh) | 一种基于分支定界法的边缘计算任务分配方法 | |
| CN110138863B (zh) | 基于Multi-Paxos分组的自适应一致性协议优化方法 | |
| US20240121297A1 (en) | Method and apparatus for distributed synchronization | |
| CN115250253B (zh) | 带宽感知的归约处理方法以及ai模型的训练方法 | |
| CN115102899B (zh) | 一种基于负载均衡的区块链节点树形分片方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |