CN112612602A - 用于目标检测网络模型的自动压缩处理方法 - Google Patents

用于目标检测网络模型的自动压缩处理方法 Download PDF

Info

Publication number
CN112612602A
CN112612602A CN202011463328.9A CN202011463328A CN112612602A CN 112612602 A CN112612602 A CN 112612602A CN 202011463328 A CN202011463328 A CN 202011463328A CN 112612602 A CN112612602 A CN 112612602A
Authority
CN
China
Prior art keywords
vector
global
updating
model
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011463328.9A
Other languages
English (en)
Other versions
CN112612602B (zh
Inventor
安磊
徐孝忠
潘杰锋
李琪
戚浩金
李建刚
王勇
严钰君
叶明达
胡一嗔
张寒之
徐科兵
赵萌
娄一艇
陈晓杰
黄智�
叶夏明
裘建开
孙夷泽
琚小明
刘宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
Ningbo Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Power Supply Co of State Grid Zhejiang Electric Power Co Ltd filed Critical Ningbo Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority to CN202011463328.9A priority Critical patent/CN112612602B/zh
Publication of CN112612602A publication Critical patent/CN112612602A/zh
Application granted granted Critical
Publication of CN112612602B publication Critical patent/CN112612602B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本实施例公开了用于目标检测网络模型的自动压缩处理方法，将原始训练集人为划分为训练集和验证集，在训练集上对网络模型进行训练，得到预训练后的网络权重；根据网络特点构建适应性函数，同时随机初始化个初始解向量与相同数量的解更新向量，设置个历史最优解向量与一个全局最优解向量计算解向量P的适应性函数，更新历史最优解向量与全局最优解向量，通过和更新解更新向量；根据向量更新向量，迭代执行直到满足停止条件，全局最优解向量代表的模型所需的压缩模型。通过阈值选择策略对目标检测网络模型进行自动剪枝，使得网络模型可以直接部署到边缘端，提高检测速度与效率，减少了服务器的负载和网络传输带宽，降低了设备对于环境的使用限制。

Description

用于目标检测网络模型的自动压缩处理方法
技术领域
本申请涉及边缘端的目标检测领域，具体涉及用于目标检测网络模型的自动压缩处理方法。
背景技术
目标检测是关于寻找符合与期望目标相匹配的问题，在现实生活中有着广泛的应用场景。电力系统的安全稳定运行十分重要，因此需要对智能电网系统中的异常目标进行检测，以便及时地处理安全隐患或者解决存在的问题。针对电力系统现有的目标检测网络模型需要运行在强大的GPU上面，且占用内存多，计算速度慢，大部分网络模型无法直接移植在边缘端嵌入式设备上，难以应用于边缘端的在线检测系统，实时地、快递地检测目标状态。
同时，现有的模型压缩方法大多基于人类经验进行设计，所得到的模型通常是次优的，进行模型压缩后得到的检测结果精度下降明显，难以快速准确的检测出目标
目前，电力系统目标检测存在的几个挑战在于：
1)网络模型占用资源较多，推理速度较慢，边缘端的嵌入式设备计算资源较少，无法满足电力系统实时检测目标状态的需求；
2)模型压缩方法基于经验进行设计，模型进行压缩后精度下降明显，无法准确的检测出目标；
因此，针对电力系统边缘端的目标检测，提出一种基于自动搜索算法的网络模型压缩方法，在不损失精度的前提下，降低网络模型所需要的存储空间以及推理所需要的计算资源，使目标检测可以更好的应用在边缘端，成为本领域的技术人员需要解决的问题。
发明内容
本申请实施例提出了用于目标检测网络模型的自动压缩处理方法，能够使网络模型可以直接部署到边缘端，提高检测速度与效率。
具体的，本申请实施例提出的自动压缩处理方法，包括：
步骤一：搭建目标检测网络模型，将原始训练集人为划分为训练集和验证集，在训练集上对网络模型进行训练，得到预训练后的网络权重W；
步骤二：将模型压缩设计为最值优化问题，根据网络特点构建适应性函数F，该函数用来在验证集上对压缩后的模型进行性能评估，对模型进行优化，同时随机初始化N个初始解向量P＝{p1,p2,…,pN}与相同数量的解更新向量V＝{v1,v2,…,vN}，设置N个历史最优解向量H＝{h1,h2,…,hN}与一个全局最优解向量global；
步骤三：计算解向量P的适应性函数F，更新历史最优解向量H与全局最优解向量global，通过H和global更新解更新向量V；
步骤四：根据向量V更新向量P，迭代执行步骤三与步骤四直到满足停止条件，全局最优解向量global代表的模型所需的压缩模型。
可选的，所述目标检测网络模型具体包括：
采用24个卷积层，每个卷积层后面跟一个BN层，在第1层，第2层，第6层以及第16层后面跟一个最大池化层(MaxPool)，在第24层后跟N个1*1的卷积核，以减小计算量，其中N代表我们想要检测的种类；
将原始训练集按照9:1的比例随机划分为训练集与验证集，训练集用来进行模型预训练，验证集用来进行性能评估。
可选的，所述将模型压缩设计为最值优化问题，具体包括：
定义适应性函数F的输入为向量，代表目标检测网络每一层的压缩率，输出为压缩后的网络模型在验证集上的准确率，模型压缩问题转化求最优的pi，即：maxF(pi)＝max(acc(Wi′,pi)验证集)，其中pi∈P，Wi′为pi对应的卷积核权重；
根据pi计算，在此解向量下目标检测网络每一层的卷积核需要裁剪的数目ni，计算公式为：ni＝pi*x，x为原始网络每一层包含的卷积核数目构成的向量，根据计算结果，在原网络中按照ni根据阈值选取卷积核进行裁剪；
对裁剪后的网络模型在训练集上进行重训练，重训练轮数为2到3轮，得到Wi′，重训练完成后，在验证集上进行测试，测试的结果为适应性函数Fi的输出。
可选的，所述步骤2中，每个pi对应一个vi与hi，通过vi来更新pi以进入下次迭代，所有的pi共享一个global。
可选的，所述步骤三具体包括：
在每次迭代中，首先计算N个pi对应的F(pi),然后将F(pi)与F(hi)进行比较，若F(pi)>F(hi)，则对hi进行更新hi＝pi，否则，hi不变；
选取本次迭代中最大的F(p)与F(global)进行比较，若F(p)>F(global)，则对global进行更新global＝p，否则，global不变；
对vi进行更新，更新公式为：vi＝vi+a1*random(0,1)*(hi-pi)+a2*random(0,1)*(global-pi),其中：a1与a2通常取(0,5)之间的整数，random(0,1)代表(0,1)之间的随机数。
可选的，所述根据向量V更新向量P，包括：
对P进行更新，P＝P+V,对更新后的P求适应度进入下一次迭代；
迭代次数可根据收敛速度自由选取，一般选择1000次；
向量pi中的参数取值范围为(0,100)对于超出这个范围的pi，进行合法性调整，将其适应度值设置的很小，以便下次迭代时，将参数范围拉到(0,100)以内。
本申请提供的技术方案带来的有益效果是：
通过阈值选择策略对目标检测网络模型进行自动剪枝，使得网络模型可以直接部署到边缘端，提高检测速度与效率，减少了服务器的负载和网络传输带宽，降低了设备对于环境的使用限制，提高了用户的隐私保护。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的用于目标检测网络模型的自动压缩处理方法的流程图。
具体实施方式
为使本申请的结构和优点更加清楚，下面将结合附图对本申请的结构作进一步地描述。
本申请实施例提出了如图1所示的用于目标检测网络模型的自动压缩处理方法，具体包括：
步骤一：搭建目标检测网络模型，将原始训练集人为划分为训练集和验证集，在训练集上对网络模型进行训练，得到预训练后的网络权重W；
步骤二：将模型压缩设计为最值优化问题，根据网络特点构建适应性函数F，该函数用来在验证集上对压缩后的模型进行性能评估，对模型进行优化，同时随机初始化N个初始解向量P＝{p1,p2,…,pN}与相同数量的解更新向量V＝{v1,v2,…,vN}，设置N个历史最优解向量H＝{h1,h2,…,hN}与一个全局最优解向量global；
步骤三：计算解向量P的适应性函数F，更新历史最优解向量H与全局最优解向量global，通过H和global更新解更新向量V；
步骤四：根据向量V更新向量P，迭代执行步骤三与步骤四直到满足停止条件，全局最优解向量global代表的模型所需的压缩模型。
可选的，所述目标检测网络模型具体包括：
采用24个卷积层，每个卷积层后面跟一个BN层，在第1层，第2层，第6层以及第16层后面跟一个最大池化层(MaxPool)，在第24层后跟N个1*1的卷积核，以减小计算量，其中N代表我们想要检测的种类；
将原始训练集按照9:1的比例随机划分为训练集与验证集，训练集用来进行模型预训练，验证集用来进行性能评估。
可选的，所述将模型压缩设计为最值优化问题，具体包括：
定义适应性函数F的输入为向量，代表目标检测网络每一层的压缩率，输出为压缩后的网络模型在验证集上的准确率，模型压缩问题转化求最优的pi，即：maxF(pi)＝max(acc(Wi′,pi)验证集)，其中pi∈P，Wi′为pi对应的卷积核权重；
根据pi计算，在此解向量下目标检测网络每一层的卷积核需要裁剪的数目ni，计算公式为：ni＝pi*x，x为原始网络每一层包含的卷积核数目构成的向量，根据计算结果，在原网络中按照ni根据阈值选取卷积核进行裁剪；
对裁剪后的网络模型在训练集上进行重训练，重训练轮数为2到3轮，得到Wi′，重训练完成后，在验证集上进行测试，测试的结果为适应性函数Fi的输出。
可选的，所述步骤2中，每个pi对应一个vi与hi，通过vi来更新pi以进入下次迭代，所有的pi共享一个global。
可选的，所述步骤三具体包括：
在每次迭代中，首先计算N个pi对应的F(pi),然后将F(pi)与F(hi)进行比较，若F(pi)>F(hi)，则对hi进行更新hi＝pi，否则，hi不变；
选取本次迭代中最大的F(p)与F(global)进行比较，若F(p)>F(global)，则对global进行更新global＝p，否则，global不变；
对vi进行更新，更新公式为：vi＝vi+a1*random(0,1)*(hi-pi)+a2*random(0,1)*(global-pi),其中：a1与a2通常取(0,5)之间的整数，random(0,1)代表(0,1)之间的随机数。
可选的，所述根据向量V更新向量P，包括：
对P进行更新，P＝P+V,对更新后的P求适应度进入下一次迭代；
迭代次数可根据收敛速度自由选取，一般选择1000次；
向量pi中的参数取值范围为(0,100)对于超出这个范围的pi，进行合法性调整，将其适应度值设置的很小，以便下次迭代时，将参数范围拉到(0,100)以内。
本实施例提供了用于目标检测网络模型的自动压缩处理方法，整个方法包括两个主要部分：网络修剪以及自动搜索。
以下针对本实施例的两部分和实施策略进行阐述。
一、目标检测网络模型的设计
1)采用24个卷积层，每个卷积层后面跟一个BN层，在第1层，第2层，第6层以及第16层后面跟一个最大池化层(MaxPool)，在第24层后跟N个1*1的卷积核，以减小计算量，其中N代表我们想要检测的种类
2)将原始训练集按照9:1的比例随机划分为训练集与验证集，训练集用来进行模型预训练，验证集用来进行性能评估
二、网络模型的修剪
需要根据解向量P，设置阈值γ，对预训练的目标检测模型进行裁剪
网络模型的裁剪，删除对检测结果影响较低的网络连接，具体包括：
1)在进行网络模型训练时，对损失函数引入因子正则化项，同时，设置一个阈值γ，对目标检测网络模型进行训练，找到权重小于γ的神经网络连接。训练过程使用的损失函数为：
Figure BDA0002832309950000071
其中：f为原先的损失函数，L为引入正则化因子后的损失函数，
Figure BDA0002832309950000072
为正则化项，θ为正则化系数，可以自由设置
2)引入正则化项后的损失函数L，会使权重偏向于0，将权重与阈值γ相比较，删除权重小于γ的神经网络连接
3)对修剪后的神经网络进行重训练；固定未参与修剪的层相对应的权重，其余层保留上一轮训练的结果，再此基础上重新训练模型
三、自动搜索算法的实施
自动搜索算法主要为适应性函数F的计算以及H,global，V的更新，具体包括:
1)在每次迭代中，首先计算N个pi对应的F(pi),然后将F(pi)与F(hi)进行比较，若F(pi)>F(hi)，则对hi进行更新hi＝pi，否则，hi不变
2)选取本次迭代中最大的F(p)与F(global)进行比较，若F(p)>F(global)，则对global进行更新global＝p，否则，global不变
3)对vi进行更新，更新公式为：vi＝vi+a1*random(0,1)*(hi-pi)+a2*random(0,1)*(global-pi),其中：a1与a2通常取(0,5)之间的整数，random(0,1)代表(0,1)之间的随机数
其中，所述向量P的更新，具体包括：
1)对P进行更新，P＝P+V,对更新后的P求适应度进入下一次迭代
2)迭代次数可根据收敛速度自由选取，一般选择1000次
3)向量pi中的参数取值范围为(0,100)对于超出这个范围的pi，进行合法性调整，将其适应度值设置的很小，以便下次迭代时，将参数范围拉到(0,100)以内。
以上所述为本实施例的实施例，应当指出，凡是在不脱离本实施例原理的前提下，利用本实施例说明书及附图所作的等同变换，或直接或间接运用在相关领域，均同理包括在本实施例的专利保护范围内。

Claims (6)

1.用于目标检测网络模型的自动压缩处理方法，其特征在于，包括：
步骤一：搭建目标检测网络模型，将原始训练集人为划分为训练集和验证集，在训练集上对网络模型进行训练，得到预训练后的网络权重W；
步骤二：将模型压缩设计为最值优化问题，根据网络特点构建适应性函数F，该函数用来在验证集上对压缩后的模型进行性能评估，对模型进行优化，同时随机初始化N个初始解向量P＝{p1,p2,…,pN}与相同数量的解更新向量V＝{v1,v2,…,vN}，设置N个历史最优解向量H＝{h1,h2,…,hN}与一个全局最优解向量global；
步骤三：计算解向量P的适应性函数F，更新历史最优解向量H与全局最优解向量global，通过H和global更新解更新向量V；
步骤四：根据向量V更新向量P，迭代执行步骤三与步骤四直到满足停止条件，全局最优解向量global代表的模型所需的压缩模型。
2.根据权利要求1所述的用于目标检测网络模型的自动压缩处理方法，其特征在于，所述目标检测网络模型具体包括：
采用24个卷积层，每个卷积层后面跟一个BN层，在第1层，第2层，第6层以及第16层后面跟一个最大池化层(MaxPool)，在第24层后跟N个1*1的卷积核，以减小计算量，其中N代表我们想要检测的种类；
将原始训练集按照9:1的比例随机划分为训练集与验证集，训练集用来进行模型预训练，验证集用来进行性能评估。
3.根据权利要求1所述的用于目标检测网络模型的自动压缩处理方法，其特征在于，所述将模型压缩设计为最值优化问题，具体包括：
定义适应性函数F的输入为向量，代表目标检测网络每一层的压缩率，输出为压缩后的网络模型在验证集上的准确率，模型压缩问题转化求最优的pi，即：maxF(pi)＝max(acc(W′i,pi)验证集)，其中pi∈P，Wi′为pi对应的卷积核权重；
根据pi计算，在此解向量下目标检测网络每一层的卷积核需要裁剪的数目ni，计算公式为：ni＝pi*x，x为原始网络每一层包含的卷积核数目构成的向量，根据计算结果，在原网络中按照ni根据阈值选取卷积核进行裁剪；
对裁剪后的网络模型在训练集上进行重训练，重训练轮数为2到3轮，得到W′i，重训练完成后，在验证集上进行测试，测试的结果为适应性函数Fi的输出。
4.根据权利要求1所述的用于目标检测网络模型的自动压缩处理方法，其特征在于，所述步骤2中，每个pi对应一个vi与hi，通过vi来更新pi以进入下次迭代，所有的pi共享一个global。
5.根据权利要求1所述的用于目标检测网络模型的自动压缩处理方法，其特征在于，所述步骤三具体包括：
在每次迭代中，首先计算N个pi对应的F(pi),然后将F(pi)与F(hi)进行比较，若F(pi)>F(hi)，则对hi进行更新hi＝pi，否则，hi不变；
选取本次迭代中最大的F(p)与F(global)进行比较，若F(p)>F(global)，则对global进行更新global＝p，否则，global不变；
对vi进行更新，更新公式为：vi＝vi+a1*random(0,1)*(hi-pi)+a2*random(0,1)*(global-pi),其中：a1与a2通常取(0,5)之间的整数，random(0,1)代表(0,1)之间的随机数。
6.根据权利要求1所述的用于目标检测网络模型的自动压缩处理方法，其特征在于，所述根据向量V更新向量P，包括：
对P进行更新，P＝P+V,对更新后的P求适应度进入下一次迭代；
迭代次数可根据收敛速度自由选取，一般选择1000次；
向量pi中的参数取值范围为(0,100)对于超出这个范围的pi，进行合法性调整，将其适应度值设置的很小，以便下次迭代时，将参数范围拉到(0,100)以内。
CN202011463328.9A 2020-12-11 2020-12-11 用于目标检测网络模型的自动压缩处理方法 Active CN112612602B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011463328.9A CN112612602B (zh) 2020-12-11 2020-12-11 用于目标检测网络模型的自动压缩处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011463328.9A CN112612602B (zh) 2020-12-11 2020-12-11 用于目标检测网络模型的自动压缩处理方法

Publications (2)

Publication Number Publication Date
CN112612602A true CN112612602A (zh) 2021-04-06
CN112612602B CN112612602B (zh) 2023-12-01

Family

ID=75233621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011463328.9A Active CN112612602B (zh) 2020-12-11 2020-12-11 用于目标检测网络模型的自动压缩处理方法

Country Status (1)

Country Link
CN (1) CN112612602B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674939A (zh) * 2019-08-31 2020-01-10 电子科技大学 基于剪枝阈值自动搜索的深度神经网络模型压缩方法
CN111882040A (zh) * 2020-07-30 2020-11-03 中原工学院 基于通道数量搜索的卷积神经网络压缩方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674939A (zh) * 2019-08-31 2020-01-10 电子科技大学 基于剪枝阈值自动搜索的深度神经网络模型压缩方法
CN111882040A (zh) * 2020-07-30 2020-11-03 中原工学院 基于通道数量搜索的卷积神经网络压缩方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
冯烨;张索非;吴晓富;: "面向目标检测的SSD网络轻量化设计研究", 信号处理, no. 05 *
尹文枫;梁玲燕;彭慧民;曹其春;赵健;董刚;赵雅倩;赵坤;: "卷积神经网络压缩与加速技术研究进展", 计算机系统应用, no. 09 *

Also Published As

Publication number Publication date
CN112612602B (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
US20200311552A1 (en) Device and method for compressing machine learning model
CN104899431B (zh) 基于蚁群和粒子群集成的lssvm脉动风速预测方法
CN112733964B (zh) 一种强化学习自动感知权重分布的卷积神经网络量化方法
CN111898764A (zh) 联邦学习的方法、装置和芯片
EP4350572A1 (en) Method, apparatus and system for generating neural network model, devices, medium and program product
CN111079899A (zh) 神经网络模型压缩方法、系统、设备及介质
CN114065863B (zh) 联邦学习的方法、装置、系统、电子设备及存储介质
KR102580428B1 (ko) 최적 파라미터 결정 방법 및 시스템
CN112272074B (zh) 一种基于神经网络的信息传输速率控制方法及系统
Putra et al. Estimation of parameters in the SIR epidemic model using particle swarm optimization
CN113722980A (zh) 海洋浪高预测方法、系统、计算机设备、存储介质、终端
CN116017476A (zh) 无线传感器网络覆盖设计方法、装置
CN110222816B (zh) 深度学习模型的建立方法、图像处理方法及装置
Niu et al. An adaptive device-edge co-inference framework based on soft actor-critic
CN117574421A (zh) 基于梯度动态裁剪的联邦数据分析系统及方法
US20210271932A1 (en) Method, device, and program product for determining model compression rate
CN112612602A (zh) 用于目标检测网络模型的自动压缩处理方法
Dihua et al. Adaptive KLD sampling based Monte Carlo localization
CN105095960A (zh) 一种梯度粒子群混合优化方法
CN116663644A (zh) 一种多压缩版本的云边端dnn协同推理加速方法
CN111461282A (zh) 一种基于改进量子行为粒子群算法的模型辨识方法
CN115170902B (zh) 图像处理模型的训练方法
US11888544B2 (en) Selection of physics-specific model for determination of characteristics of radio frequency signal propagation
KR20190129422A (ko) 뉴럴 네트워크를 이용한 변분 추론 방법 및 장치
Sarkar et al. An incremental pruning strategy for fast training of CNN models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant