CN114339819B - 一种基于最优资源分配量和搜索算法的计算卸载方法 - Google Patents

一种基于最优资源分配量和搜索算法的计算卸载方法 Download PDF

Info

Publication number
CN114339819B
CN114339819B CN202011228560.4A CN202011228560A CN114339819B CN 114339819 B CN114339819 B CN 114339819B CN 202011228560 A CN202011228560 A CN 202011228560A CN 114339819 B CN114339819 B CN 114339819B
Authority
CN
China
Prior art keywords
task
resource allocation
optimal
unloading
base station
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011228560.4A
Other languages
English (en)
Other versions
CN114339819A (zh
Inventor
王岩
杨钧尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202011228560.4A priority Critical patent/CN114339819B/zh
Publication of CN114339819A publication Critical patent/CN114339819A/zh
Application granted granted Critical
Publication of CN114339819B publication Critical patent/CN114339819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Mobile Radio Communication Systems (AREA)

Abstract

本发明涉及一种基于最优资源分配量和搜索算法的计算卸载方法。本发明将组合优化问题切分为资源分配问题和卸载决策问题两部分，首先利用任务信息与边缘服务器状态输入资源分配网络，根据任务密度，任务计算量与负载均衡作为优化函数，通过深度强化学习算法，获得假设任务在各个边缘服务器卸载计算时的最优资源分配量，融合资源分配网络输出与用户状态信息，基站信道信息，输入卸载决策网络，通过遗传算法，搜索最优化平衡时延与能耗的卸载决策，实现计算卸载。本发明在系统模型中引入时间参数，更贴近实际模型，在卸载决策部分使用最优资源分配量条件下的的搜索算法，无需迭代更新模型，提高了实时性。本发明方法具有实时性强，贴近实际等优点。

Description

一种基于最优资源分配量和搜索算法的计算卸载方法
技术领域
本发明涉及一种基于最优资源分配量和搜索算法的计算卸载方法，可用于多基站多边缘服务器环境下的计算卸载。
背景技术
随着科技的快速发展，移动设备流量急剧增长。由于自身资源及计算性能有限，智能移动设备在处理计算密集型和时间敏感型应用时面临能力不足的情况。使用网络边缘节点来处理分析数据的边缘计算模式应运而生，并与传统云计算模式形成互补。然而，边缘设备往往具有轻量化的特点，如何合理利用边缘有限的计算资源便成为边缘计算亟需解决的重要问题。
计算卸载为资源受限设备运行计算密集型应用提供计算资源，加快计算速度，节省能源，将移动终端的计算任务卸载到边缘云环境中，解决了设备在资源存储、计算性能以及能效等方面存在的不足。
然而，由于边缘计算目前缺乏统一的仿真模型，导致研究者们所建立的模型大多与实际不够相符。目前的相关研究多将卸载决策与资源分配看作一个组合优化问题，是不可分割的两部分，必须先解决卸载决策问题才能解决资源分配问题。已发表的论文“无线供电的移动边缘计算网络中基于深度强化学习的在线计算卸载”，通过从经验中学习二进制决策消除了解决组合优化问题的需要，并通过自适应参数调整优化进程，但只考虑了单边缘服务器的全部卸载，且将能量与基站发送射频能量联系起来，削减了资源分配问题的难度，先进行了卸载决策而后进行资源分配。已发表的论文“基于深度强化学习的移动边缘计算轻量级任务卸载策略优化”，对DQN算法进行了改进，但将卸载决策与资源分配放在同一个MDP问题中来解决，考虑多用户多边缘服务器时状态空间过大，具有较高的计算复杂度。已发表的论文“用于移动边缘计算网络的基于深度学习的分布式卸载—移动网络和应用”，使用多个并行的DNN来高效的生成卸载决策，但多个DNN同步训练与记忆，对用户之间同步执行联动过高，且固定了用户数，新用户难以加入。
发明内容
本发明的技术解决问题是：克服现有技术的不足，提供一种基于最优资源分配量和搜索算法的计算卸载方法。通过更贴近实际的仿真模型，引入参数漂移，对一日的任务进行优化。改变资源分配与卸载决策的顺序，消除解决组合优化问题的需要，降低计算复杂度，实现多目标联合优化。
本发明的技术方案是：一种基于最优资源分配量和搜索算法的边缘计算计算卸载方法，其实现步骤如下：
(1)获取周围距离最近的固定数量个边缘服务器的资源占用状态与任务N信息，包括任务数据量dn，计算任务所需CPU周期数cn，任务到来时间tn与m个边缘服务器剩余资源量Fleft＝(f1，f2，...fm)；
(2)将计算任务所需CPU周期数cn，任务到来时间tn与m个边缘服务器剩余资源量Fleft作为资源分配网络的输入，通过深度强化学习算法获得当前环境下的最优资源分配量作为输出，奖励函数主要目标为优化负载均衡；
(3)获取用户状态信息与基站信道状态信息，包括用户剩余计算资源用户能量传输效率/>用户数据发送功率/>与各个基站信道占用情况channel；
(4)融合任务信息，最优资源分配量，用户状态信息，基站信道状态信息作为新的状态输入卸载决策网络，通过遗传算法，优化函数平衡时延与能耗，搜索最优卸载决策，最终输出卸载决策，基站及信道选择决策与最终使用的边缘服务器的资源分配量，实现任务的计算卸载。
所述步骤(2)具体实现如下：
将资源分配任务化为马尔可夫决策过程，其MDP状态为：
xn＝(taskn，edge environment)
其中taskn为第N个任务的数据量与计算所需CPU周期数，边缘服务器状态为边缘服务器剩余计算资源。不考虑用户与基站的状态信息直接假设将任务卸载到各个边缘服务器，因此输入不含有用户与基站的状态信息，通过如下奖励函数：
Costn1＝Iρρn+Iccn/fn+Ibbn+Ifinish+Ifail
其中Costn1就是第n个任务在资源分配部分的奖励函数；ρn为当前时间条件下的任务密度，cn为计算任务所需CPU周期数，fn为边缘服务器所分配的计算资源，bn为负载均衡，即各边缘服务器之间占用资源的均衡程度，Iρ，Ic，Ib均为所设权重，平衡各优化目标间优化份额，Ifinish与Ifail表示任务完成与失败时的固定奖励与惩罚，任务失败时奖励函数前四项为0。
任务密度的表示依靠系统模型中通过改变环境的参数创造符合实际的仿真环境，以一天为一个周期，单用户需求处理的任务恒定为N个，分布符合两个正态分布取均值，其中上午A时刻与下午B时刻分别为高峰期，任务密度据此表示为：
负载均衡bn表示依靠用户周围固定数量边缘服务器系统整体的熵值的计算，可以通过方差来进行表示：
其中n表示第n个任务，m表示第m个边缘服务器，F表示任务未卸载时边缘服务器占用的计算资源，F‘表示任务卸载后边缘服务器占用的计算资源。
通过以上MDP状态，动作，回报，及深度强化学习算法DDPG获得最优资源分配量。
所述步骤(3)具体实现如下：
用户的状态信息基于系统模型随机生成，而基站信道的状态信息倚靠任务密度进行改变，通过调整被占用频带的数量显示网络状态的拥挤程度，表示如下：
其中K∈[0，1]表示通信网络的最大拥挤程度，当K＝1时，在附图2中A或B时刻通信网络中没有可用频带，MBS表示宏基站个数，SBS表示微基站个数，Y表示各基站所含有的相同频带数。
所述步骤(4)具体实现如下:
将任务信息，最优资源分配量与用户信息，基站信道状态信息融合作为输入，此时原来的组合优化问题变为在当前最优资源分配量的条件下，选择最优卸载决策与选择最优基站及信道，而所有的可选卸载决策已经固定，只需要使用搜素算法寻找优化最优解即可。因此，在解决卸载决策问题时并非采用训练好的资源分配模型而是选择最优搜索，无需实时更新模型，便保证了实时性。
优化函数为：
Costn2＝Ittn+Ieen+Ifinish+Ifail
其中，Costn2就是任务卸载后产生的时间与能量的加权消耗；tn表示所用时延，en表示所耗能量，It，Ie均为所设权重，平衡各优化目标间优化份额，Ifinish与Ifail表示任务完成与失败时的固定奖励与惩罚，任务失败时优化函数前三项为0。
至此，搜索到最优卸载决策后，完成任务的计算卸载。
本发明与现有技术相比的优点在于：
(1)与现有基于强化学习的方法相比，将资源分配问题提前，减小了状态空间的大小，降低了计算复杂度。
(3)与现有解决组合优化问题的方法相比，将优化函数切分，先对负载均衡进行优化，之后对能耗和时延进行优化，通过两部分逐步优化实现了时延，能耗与负载均衡的联合优化。
(2)与现有的仿真模型相比，引入参数漂移，考虑一天内随时间任务网密度，网络拥堵状况的变化，将一天的所有任务进行优化，获得更有说服力的优化效果。
附图说明
图1为本发明的程序流程图。
图2任务密度随时间变化曲线图。
具体实施方式
本发明可具体实施于物联网智能制造中仪器仪表等固定用户的计算卸载任务。仪器仪表是智能工厂现场数据智能感知与采集的基础和关键。在工业现场，智能需要分布到网络边缘侧，在边缘侧直接采集、感知、分析、预测、优化、决策，实现工业现场的自主化和协作化，提高工业现场的确定性和业务实时性，以满足在敏捷连接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键需求。现有边缘计算计算卸载技术的系统模型考虑与实际相比比较简易，训练出的模型可迁移性较差，组合优化问题不易解决，本发明提供一种基于最优资源分配量和搜索算法的计算卸载方法。采用更贴近实际的仿真模型，引入参数漂移，增强方法可迁移性，改变资源分配与卸载决策的顺序，消除解决组合优化问题的需要，降低计算复杂度，实现多目标联合优化，在固定位置的用户端训练适用于该用户的卸载决策模型，保护用户安全与隐私。
如图1所示，本发明的具体实现步骤如下：
(1)获取周围距离发布计算任务的用户最近的固定数量个边缘服务器的资源占用状态与所发布计算任务的信息，包括任务数据量dn，计算任务所需CPU周期数cn，任务到来时间tn与m个边缘服务器剩余资源量Fleft＝(f1，f2，...fm)；
(2)将计算任务所需CPU周期数cn，任务到来时间tn与m个边缘服务器剩余资源量Fleft作为资源分配网络的输入，通过深度强化学习算法获得当前环境下的最优资源分配量作为输出，奖励函数主要目标为优化负载均衡；
(3)获取用户状态信息与基站信道状态信息，包括用户的剩余计算资源能量传输效率/>数据发送功率/>与各个基站信道占用情况channel；
(4)融合任务信息，最优资源分配量，用户状态信息，基站信道状态信息作为新的状态输入卸载决策网络，通过遗传算法，优化函数平衡时延与能耗，搜索最优卸载决策，最终输出卸载决策，基站及信道选择决策与最终使用的边缘服务器的资源分配量，实现任务的计算卸载。
所述步骤(2)具体实现如下：
将资源分配任务化为马尔可夫决策过程，其MDP状态为：
xn＝(taskn，edge environment)
其中taskn为第N个任务的数据量与计算所需CPU周期数，边缘服务器状态为边缘服务器剩余计算资源。不考虑用户与基站的状态信息直接假设将任务卸载到各个边缘服务器，因此输入不含有用户与基站的状态信息，通过如下奖励函数：
Costn1＝Iρρn+Iccn/fn+Ibbn+Ifinish+Ifail
其中ρn为当前时间条件下的任务密度，cn为计算任务所需CPU周期数，fn为边缘服务器所分配的计算资源，bn为负载均衡，即各边缘服务器之间占用资源的均衡程度，Iρ，Ic，Ib均为所设权重，平衡各优化目标间优化份额，Ifinish与Ifail表示任务完成与失败时的固定奖励与惩罚，任务失败时奖励函数前四项为0。
任务密度的表示倚靠系统模型中通过改变环境的参数创造符合实际的仿真环境，如图2所示，以一天为一个周期，单用户需求处理的任务恒定为N个，分布符合两个正态分布取均值，其中上午A时刻与下午B时刻分别为高峰期，任务密度据此表示为：
负载均衡的表示依靠用户周围固定数量边缘服务器系统整体的熵值的计算，可以通过方差来进行表示:
其中n表示第n个任务，m表示第m个边缘服务器，其中F表示任务未卸载时边缘服务器占用的计算资源，F‘表示任务卸载后边缘服务器占用的计算资源。通过以上MDP状态，动作，回报，及深度强化学习算法DDPG获得最优资源分配量。
所述步骤(3)具体实现如下：
用户状态信息基于系统模型随机生成，而基站信道的状态信息倚靠任务密度进行改变，通过调整被占用频带的数量显示网络状态的拥挤程度，表示如下：
其中K∈[0，1]表示通信网络的最大拥挤程度，当K＝1时，在附图2中A或B时刻通信网络中没有可用频带，MBS表示宏基站个数，SBS表示微基站个数，Y表示各基站所含有的相同频带数。
所述步骤(4)具体实现如下：
将任务信息，最优资源分配量与用户信息，基站信道状态信息融合作为输入，此时原来的组合优化问题变为在当前最优资源分配量的条件下，选择最优卸载决策与选择最优基站及信道，而所有的可选卸载决策已经固定，只需要使用搜素算法寻找优化最优解即可。因此，在解决卸载决策问题时并非采用训练好的资源分配模型而是选择最优搜索，无需实时更新模型，便保证了实时性。
优化函数为：
Costn2＝Ittn+Ieen+Ifinish+Ifail
其中，tn表示所用时延，en表示所耗能量，It，Ie均为所设权重，平衡各优化目标间优化份额，Ifinish与Ifail表示任务完成与失败时的固定奖励与惩罚，任务失败时优化函数前三项为0。
至此，搜索到最优卸载决策后，完成任务的计算卸载。

Claims (4)

1.一种基于最优资源分配量和搜索算法的计算卸载方法，其特征在于，实现步骤如下：
(1)获取周围距离最近的固定数量个边缘服务器的资源占用状态与任务N信息，包括任务数据量dn，计算任务所需CPU周期数cn，任务到来时间tn与m个边缘服务器剩余资源量Fleft＝(f1，f2，...fm)；
(2)将计算任务所需CPU周期数cn，任务到来时间tn与m个边缘服务器剩余资源量Fleft作为资源分配网络的输入，通过深度强化学习算法获得当前环境下的最优资源分配量作为输出，奖励函数目标为优化负载均衡；
(3)获取用户状态信息与基站信道状态信息，包括用户剩余计算资源用户能量传输效率/>用户数据发送功率/>与各个基站信道占用情况channel；
(4)融合任务信息、最优资源分配量、用户状态信息、基站信道状态信息作为新的状态输入卸载决策网络，通过遗传算法，优化函数平衡时延与能耗，搜索最优卸载决策，最终输出卸载决策，基站及信道选择决策与最终使用的边缘服务器的资源分配量，实现任务的计算卸载。
2.根据权利要求1所述的基于最优资源分配量和搜索算法的计算卸载方法，其特征在于：所述步骤(2)具体实现如下：
将资源分配任务化为马尔可夫决策过程，其MDP状态为：
xn＝(taskn，edge environment)
其中taskn为第N个任务的数据量与计算所需CPU周期数，边缘服务器状态为边缘服务器剩余计算资源；不考虑用户与基站的状态信息直接假设将任务卸载到各个边缘服务器，因此输入不含有用户与基站的状态信息，通过如下奖励函数：
Costn1＝Iρρn+Iccn/fn+Ibbn+Ifinish+Ifail
其中ρn为当前时间条件下的任务密度，cn为计算任务所需CPU周期数，fn为边缘服务器所分配的计算资源，bn为负载均衡，即各边缘服务器之间占用资源的均衡程度，Iρ，Ic，Ib均为所设权重，平衡各优化目标间优化份额，Ifinish与Ifail表示任务完成与失败时的固定奖励与惩罚，任务失败时奖励函数前四项为0；
任务密度的表示依靠系统模型中通过改变环境的参数创造符合实际的仿真环境，以一天为一个周期，单用户需求处理的任务恒定为N个，分布符合两个正态分布取均值，其中上午A时刻与下午B时刻分别为高峰期，任务密度据此表示为：
负载均衡的表示依靠用户周围固定数量边缘服务器系统整体的熵值的计算，通过方差表示：
其中n表示第n个任务，m表示第m个边缘服务器，F表示任务未卸载时边缘服务器占用的计算资源，F‘表示任务卸载后边缘服务器占用的计算资源。
3.根据权利要求1所述的基于最优资源分配量和搜索算法的计算卸载方法，其特征在于：所述步骤(3)具体实现如下：用户的状态信息基于系统模型随机生成，而基站信道的状态信息倚靠任务密度进行改变，通过调整被占用频带的数量显示网络状态的拥挤程度，表示如下：
其中K∈[0，1]表示通信网络的最大拥挤程度，MBS表示宏基站个数，SBS表示微基站个数，Y表示各基站所含有的相同频带数。
4.根据权利要求1所述的基于最优资源分配量和搜索算法的计算卸载方法，其特征在于：所述步骤(4)具体实现如下：将任务信息、最优资源分配量与用户状态信息、基站信道状态信息融合作为输入，此时原来的组合优化问题变为在当前最优资源分配量的条件下，选择最优卸载决策与选择最优基站及信道，而所有的可选卸载决策已经固定，只需要使用搜素算法寻找优化最优解即可；因此，在解决卸载决策问题时并非采用训练好的资源分配模型而是选择最优搜索，无需实时更新模型，便保证了实时性；
优化函数为：
Costn2＝Ittn+Ieen+Ifinish+Ifail
其中，tn表示所用时延，en表示所耗能量，It，Ie均为所设权重，平衡各优化目标间优化份额，Ifinish与Ifail表示任务完成与失败时的固定奖励与惩罚，任务失败时优化函数前三项为0；
至此，搜索到最优卸载决策后，完成任务的计算卸载。
CN202011228560.4A 2020-11-06 2020-11-06 一种基于最优资源分配量和搜索算法的计算卸载方法 Active CN114339819B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011228560.4A CN114339819B (zh) 2020-11-06 2020-11-06 一种基于最优资源分配量和搜索算法的计算卸载方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011228560.4A CN114339819B (zh) 2020-11-06 2020-11-06 一种基于最优资源分配量和搜索算法的计算卸载方法

Publications (2)

Publication Number Publication Date
CN114339819A CN114339819A (zh) 2022-04-12
CN114339819B true CN114339819B (zh) 2023-10-03

Family

ID=81032096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011228560.4A Active CN114339819B (zh) 2020-11-06 2020-11-06 一种基于最优资源分配量和搜索算法的计算卸载方法

Country Status (1)

Country Link
CN (1) CN114339819B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110798849A (zh) * 2019-10-10 2020-02-14 西北工业大学 一种超密网边缘计算的计算资源分配与任务卸载方法
CN111245651A (zh) * 2020-01-08 2020-06-05 上海交通大学 一种基于功率控制和资源分配的任务卸载方法
CN111405569A (zh) * 2020-03-19 2020-07-10 三峡大学 基于深度强化学习的计算卸载和资源分配方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11461145B2 (en) * 2019-01-28 2022-10-04 EMC IP Holding Company LLC Building neural networks for resource allocation for iterative workloads using reinforcement learning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110798849A (zh) * 2019-10-10 2020-02-14 西北工业大学 一种超密网边缘计算的计算资源分配与任务卸载方法
CN111245651A (zh) * 2020-01-08 2020-06-05 上海交通大学 一种基于功率控制和资源分配的任务卸载方法
CN111405569A (zh) * 2020-03-19 2020-07-10 三峡大学 基于深度强化学习的计算卸载和资源分配方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Meta-Heuristic search based model for task offloading and time allocation in mobile edge computing;Yufan Xu, et al.;ACM Digital Library;全文 *
基于自适应遗传算法的MEC任务卸载及资源分配;闫伟;申滨;刘笑笑;;电子技术应用(第08期);全文 *

Also Published As

Publication number Publication date
CN114339819A (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
Qi et al. Knowledge-driven service offloading decision for vehicular edge computing: A deep reinforcement learning approach
Hussein et al. Efficient task offloading for IoT-based applications in fog computing using ant colony optimization
Liu et al. Cooperative offloading and resource management for UAV-enabled mobile edge computing in power IoT system
Yu et al. Toward resource-efficient federated learning in mobile edge computing
Kuang et al. Offloading decision methods for multiple users with structured tasks in edge computing for smart cities
Chen et al. Intelligent traffic adaptive resource allocation for edge computing-based 5G networks
Liu et al. A reinforcement learning-based resource allocation scheme for cloud robotics
Zhang et al. A novel edge computing architecture based on adaptive stratified sampling
CN112817653A (zh) 一种基于云边端的联邦学习计算卸载计算系统及方法
CN112070240A (zh) 一种高效通信的分层联邦学习框架及其优化方法和系统
Wu et al. Load balance guaranteed vehicle-to-vehicle computation offloading for min-max fairness in VANETs
Chen et al. A hybrid task scheduling scheme for heterogeneous vehicular edge systems
Li et al. Intelligent service migration based on hidden state inference for mobile edge computing
Dai et al. A learning algorithm for real-time service in vehicular networks with mobile-edge computing
Xiao et al. Collaborative cloud-edge service cognition framework for DNN configuration toward smart IIoT
Zheng et al. Data synchronization in vehicular digital twin network: A game theoretic approach
Shi et al. Multiuser co-inference with batch processing capable edge server
Qin et al. User‐Edge Collaborative Resource Allocation and Offloading Strategy in Edge Computing
da Silva et al. Multichannel ALOHA optimization for federated learning with multiple models
Xu et al. Distributed assignment with load balancing for dnn inference at the edge
Cui et al. Learning‐based deep neural network inference task offloading in multi‐device and multi‐server collaborative edge computing
Kashyap et al. DECENT: Deep learning enabled green computation for edge centric 6G networks
Vakilian et al. Node cooperation for workload offloading in a fog computing network via multi-objective optimization
Wu et al. Data transmission scheme based on node model training and time division multiple access with IoT in opportunistic social networks
Abdel-Kader et al. Efficient energy and completion time for dependent task computation offloading algorithm in industry 4.0

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant