CN117611425A - 图形处理器算力配置方法、装置、计算机设备和存储介质 - Google Patents
图形处理器算力配置方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN117611425A CN117611425A CN202410067171.XA CN202410067171A CN117611425A CN 117611425 A CN117611425 A CN 117611425A CN 202410067171 A CN202410067171 A CN 202410067171A CN 117611425 A CN117611425 A CN 117611425A
- Authority
- CN
- China
- Prior art keywords
- computing
- task
- processed
- computing power
- graphics processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 113
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 63
- 238000005070 sampling Methods 0.000 claims abstract description 14
- 230000003111 delayed effect Effects 0.000 claims description 70
- 238000004364 calculation method Methods 0.000 claims description 55
- 238000004590 computer program Methods 0.000 claims description 26
- 238000010586 diagram Methods 0.000 description 14
- 238000007476 Maximum Likelihood Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Power Sources (AREA)
Abstract
本申请涉及一种图形处理器算力配置方法、装置、计算机设备和存储介质，通过在第一算力超出图形处理器的算力配额的情况下，根据历史算力数据，计算待处理任务的延迟执行概率，根据待处理任务的延迟执行概率决策是否延迟执行待处理任务，其中，第一算力包括图形处理器的当前实际算力使用量以及待处理任务执行所需的理论算力使用量，历史算力数据包括多个采样时间中图形处理器进程的算力使用量，由于在可能超配的情况下并未直接延迟执行待处理任务，而是根据历史算力数据决策是否延迟执行待处理任务，保证了图形处理器的算力使用量能够稳定在算力配额附近，解决了图形处理器的算力资源利用率较低的问题，提高了图形处理器算力分配的准确度与稳定性。
Description
技术领域
本申请涉及图形处理器技术领域，特别是涉及一种图形处理器算力配置方法、装置、计算机设备和存储介质。
背景技术
图形处理器（GPU）又称作显示核心、视觉处理器、显示芯片，是一种对于图像和图形进行运算工作的微处理器。在图形处理器的使用过程中，当图形处理器被一个用户占用后，通常不能被其他用户使用。而占用者往往只在一定的时间段内使用图形处理器，这导致大部分时间图形处理器的资源没有被充分利用，造成图形处理器的算力资源利用率较低。
相关技术中，主要通过空间复用的方法，从硬件层面对图形处理器的算力进行隔离，以提高图形处理器的资源利用率。然而，该方法只能通过一定比例对图形处理器的算力进行限制，且不同的硬件需要不同的空间复用实现方法，使用的灵活性较差。也有方法采用时间片轮转的方式来控制图形处理器的使用，但该方法的误差较大，无法精准地控制图形处理器的算力比例，因而无法实现对图形处理器算力的充分应用。
目前，对于相关技术中，图形处理器的算力资源利用率较低的问题，尚未提出有效的解决办法。
发明内容
基于此，有必要针对上述技术问题，提供一种能够的提高图形处理器算力资源利用率的图形处理器算力配置方法、装置、计算机设备和存储介质。
第一方面，本申请提供了一种图形处理器算力配置方法。所述方法包括：
在第一算力超出图形处理器的算力配额的情况下，根据历史算力数据，计算待处理任务的延迟执行概率，其中，所述第一算力包括所述图形处理器的当前实际算力使用量以及所述待处理任务执行所需的理论算力使用量，所述历史算力数据包括多个采样时间中所述图形处理器的进程的算力使用量；
根据所述待处理任务的延迟执行概率进行决策，根据决策结果确定是否延迟执行所述待处理任务。
在其中一个实施例中，获取图形处理器的当前实际算力使用量包括：
获取所述图形处理器当前运行的所有进程的标识符；
通过所述图形处理器的进程接口，对所述标识符进行遍历，获取每个进程所占用的第二算力；
将所述第二算力进行累加，得到所述图形处理器的当前实际算力使用量。
在其中一个实施例中，获取所述待处理任务执行所需的理论算力使用量包括：
获取所述待处理任务需要调用的进程接口；
根据所述进程接口的算力参数，预估所述待处理任务执行所需的理论算力使用量，其中，所述算力参数包括所述进程接口的网格数和/或所述进程接口的线程块数。
在其中一个实施例中，根据所述历史算力数据，计算所述待处理任务的延迟执行概率包括：
根据所述历史算力数据，统计预设时间段内所述图形处理器的算力使用量超出所述算力配额的次数；
根据预设时间段内所述图形处理器的算力使用量超出所述算力配额的次数，计算执行所述待处理任务后，所述图形处理器的算力使用量超出所述算力配额的概率；
对所述预设时间段内超出所述算力配额的所述图形处理器的算力使用量进行加权平均，根据加权平均值以及所述算力配额，计算所述图形处理器的超配比值；
根据所述图形处理器的算力使用量超出所述算力配额的概率以及所述超配比值，计算所述待处理任务的所述延迟执行概率。
在其中一个实施例中，计算执行所述待处理任务后，所述图形处理器的算力使用量超出所述算力配额的概率包括：
根据所述预设时间段内所述图形处理器的算力使用量超出所述算力配额的次数，计算所述预设时间段内所述图形处理器的算力使用量超出所述算力配额的频率；
根据所述预设时间段内所述图形处理器的算力使用量超出所述算力配额的频率，计算所述图形处理器的算力使用量超出所述算力配额的概率。
在其中一个实施例中，根据所述待处理任务的延迟执行概率进行决策包括：
根据所述待处理任务的延迟执行概率，随机生成所述待处理任务的决策值；
根据所述决策值，决策是否延迟执行所述待处理任务。
在其中一个实施例中，还包括：
在所述第一算力未超出所述图形处理器的算力配额的情况下，立即执行所述待处理任务。
第二方面，本申请还提供了一种图形处理器算力配置装置。所述装置包括：
计算模块，用于在第一算力超出图形处理器的算力配额的情况下，根据历史算力数据，计算待处理任务的延迟执行概率，其中，所述第一算力包括所述图形处理器的当前实际算力使用量以及所述待处理任务执行所需的理论算力使用量，所述历史算力数据包括多个采样时间中所述图形处理器的进程的算力使用量；
决策模块，用于根据所述待处理任务的延迟执行概率进行决策，根据决策结果确定是否延迟执行所述待处理任务。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
在第一算力超出图形处理器的算力配额的情况下，根据历史算力数据，计算待处理任务的延迟执行概率，其中，所述第一算力包括所述图形处理器的当前实际算力使用量以及所述待处理任务执行所需的理论算力使用量，所述历史算力数据包括多个采样时间中所述图形处理器的进程的算力使用量；
根据所述待处理任务的延迟执行概率进行决策，根据决策结果确定是否延迟执行所述待处理任务。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
在第一算力超出图形处理器的算力配额的情况下，根据历史算力数据，计算待处理任务的延迟执行概率，其中，所述第一算力包括所述图形处理器的当前实际算力使用量以及所述待处理任务执行所需的理论算力使用量，所述历史算力数据包括多个采样时间中所述图形处理器的进程的算力使用量；
根据所述待处理任务的延迟执行概率进行决策，根据决策结果确定是否延迟执行所述待处理任务。
上述图形处理器算力配置方法、装置、计算机设备和存储介质，通过在第一算力超出图形处理器的算力配额的情况下，根据历史算力数据，计算待处理任务的延迟执行概率，根据待处理任务的延迟执行概率进行决策，根据决策结果确定是否延迟执行待处理任务，其中，第一算力包括图形处理器的当前实际算力使用量以及待处理任务执行所需的理论算力使用量，历史算力数据包括多个采样时间中图形处理器的进程的算力使用量，实现了对图形处理器算力资源的充分利用，由于在待处理任务执行后可能超配的情况下并未直接延迟执行待处理任务，而是根据历史算力数据进行决策，以确定是否延迟执行待处理任务，保证了图形处理器的算力使用量能够稳定在图形处理器的算力配额附近，解决了图形处理器的算力资源利用率较低的问题，提高了图形处理器算力分配的准确度与稳定性。
附图说明
图1为一个实施例中图形处理器算力配置方法的应用环境图；
图2为一个实施例中图形处理器算力配置方法的流程示意图；
图3为一个实施例中获取图形处理器的当前实际算力使用量的流程示意图；
图4为一个实施例中待处理任务不会被延迟执行时的历史算力数据示意图；
图5为一个实施例中待处理任务可能被延迟执行时的历史算力数据示意图；
图6为一个实施例中待处理任务被延迟执行时的历史算力数据示意图；
图7为一个实施例中图形处理器算力配置方法的整体流程示意图；
图8为一个实施例中图形处理器算力配置装置的结构框图；
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“多个”是指两个或两个以上。
本申请实施例提供的图形处理器算力配置方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种图形处理器算力配置方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
步骤S201，在第一算力超出图形处理器的算力配额的情况下，根据历史算力数据，计算待处理任务的延迟执行概率，其中，第一算力包括图形处理器的当前实际算力使用量以及待处理任务执行所需的理论算力使用量，历史算力数据包括多个采样时间中图形处理器的进程的算力使用量。
其中，图形处理器的算力配额为用户对虚拟的图形处理器卡进行设定得到。算力配额用于表征虚拟图形处理器的算力能力。例如，一张物理图形处理器卡的算力能力定义为100，可以按百分比为虚拟图形处理器定义算力。通过对虚拟图形处理器卡上所运行的所有进程所占用的算力进行周期性采集，可以得到多个采样时间下图形处理器的进程的算力使用量以及图形处理器在当前时刻的实际算力使用量。利用滑动窗口对历史算力数据进行统计，获取滑动窗口中图形处理器的所有进程的算力使用量超出算力配额的次数以及超配的算力使用量的加权平均值，根据超配次数以及超配平均值与算力配额的比值，计算得到待处理任务被延迟执行的概率。其中，使用的滑动窗口可以为固定时间长度的滑动窗口，例如窗口长度为5s或10s；也可以是固定采集周期长度的滑动窗口，例如窗口长度为100个采集周期或者200个采集周期。在实际获取历史算力数据的过程中，可以根据实时监控获得的数据曲线对窗口长度进行调整，以获得最佳的控制效果。
步骤S202，根据待处理任务的延迟执行概率进行决策，根据决策结果确定是否延迟执行待处理任务。
其中，根据待处理任务的延迟执行概率，利用随机算法对是否延迟执行待处理任务进行决策。
上述图形处理器算力配置方法中，通过在第一算力超出图形处理器的算力配额的情况下，根据历史算力数据，计算待处理任务的延迟执行概率，根据待处理任务的延迟执行概率进行决策，根据决策结果确定是否延迟执行待处理任务，其中，第一算力包括图形处理器的当前实际算力使用量以及待处理任务执行所需的理论算力使用量，历史算力数据包括多个采样时间中图形处理器的进程的算力使用量，实现了对图形处理器算力资源的充分利用，由于在待处理任务执行后可能超配的情况下并未直接延迟执行待处理任务，而是根据历史算力数据进行决策，以确定是否延迟执行待处理任务，保证了图形处理器的算力使用量能够稳定在图形处理器的算力配额附近，解决了图形处理器的算力资源利用率较低的问题，提高了图形处理器算力分配的准确度与稳定性。
在一个实施例中，获取图形处理器的当前实际算力使用量包括：获取图形处理器当前运行的所有进程的标识符；通过图形处理器的进程接口，对标识符进行遍历，获取每个进程所占用的第二算力；将第二算力进行累加，得到图形处理器的当前实际算力使用量。
其中，统计虚拟图形处理器上所运行的所有进程的id（标识符），对上述进程id进行遍历，根据图形处理器提供的api接口获取每个进程占用的第二算力，第二算力累加值即为当前时刻图形处理器的算力使用量。
示例性地，图3是一个实施例中获取图形处理器的当前实际算力使用量的流程示意图，如图3所示，首先获取虚拟图形处理器卡上所运行的所有任务进程，循环迭代每个进程，通过api接口获取进程id对应的算力使用量，直至循环结束。将获取的所有进程的算力使用量进行累加，作为虚拟图形处理器卡的当前实际算力使用量。
本实施例中，通过图形处理器的接口，实现了在不影响进程正常工作的情况下准确获取图形处理器的算力使用量，提高了图形处理器算力配置方法的准确性与稳定性。
在一个实施例中，获取待处理任务执行所需的算力使用量包括：获取待处理任务需要调用的进程接口；根据进程接口的算力参数，预估待处理任务执行所需的算力使用量，其中，算力参数包括进程接口的网格数和/或进程接口的线程块数。
其中，获取待处理任务执行所调用的具体图形处理器的API接口，根据接口的算力参数，可以预估待处理任务所需的算力使用量。例如，对于cuda（统一计算设备架构）系列的接口，需要指定grid（网格）和block（线程块）数，通过改参数，可以得到执行待处理任务会有多少图形处理器的核参与计算，进而对待处理任务所需的算力使用量进行预估。
本实施例中，通过待处理任务所需调用的接口参数预估待处理任务所需的算力值，无需对待处理任务进行实际执行即可快速预估其需要的算力值，提高了图形处理器算力配置的效率。
在一个实施例中，根据历史算力数据，计算待处理任务的延迟执行概率包括：根据历史算力数据，统计预设时间段内图形处理器的算力使用量超出算力配额的次数；根据预设时间段内图形处理器的算力使用量超出算力配额的次数，计算执行待处理任务后，图形处理器的算力使用量超出算力配额的概率；对预设时间段内超出算力配额的图形处理器的算力使用量进行加权平均，根据加权平均值以及算力配额，计算图形处理器的超配比值；根据图形处理器的算力使用量超出算力配额的概率以及超配比值，计算待处理任务的延迟执行概率。
其中，在滑动窗口中统计算力使用量超出算力配额的次数，通过极大似然估计方法得到待处理任务执行后图形处理器的算力使用量超出算力配额的概率。考虑到对于不同的算力使用量，超配的幅度可能不同，因此还需对所有超配的算力使用量进行加权平均，将平均值与算力配额的比值与超配概率相乘，得到最终的待处理任务的延迟执行概率。
本实施例中，通过图形处理器的历史超配次数和超配的具体幅度值，计算待处理任务被延迟执行的概率值，在计算过程中既考虑到了图形处理器超配的频次，又考虑到了图形处理器超配的幅度，提高了待处理任务被延迟执行概率计算的准确度，进而提高了图形处理器算力配置方法的准确度。
在一个实施例中，计算执行待处理任务后，图形处理器的算力使用量超出算力配额的概率包括：根据预设时间段内图形处理器的算力使用量超出算力配额的次数，计算预设时间段内图形处理器的算力使用量超出算力配额的频率；根据预设时间段内图形处理器的算力使用量超出算力配额的频率，计算图形处理器的算力使用量超出算力配额的概率。
其中，采用极大似然法计算超配概率。用θ表示待处理任务执行期间图形处理器的算力超过算力配额Quota的概率，则未超过算力配额Quota的概率为1-θ。假设滑动窗口中一共有100个采集周期，其中有N个周期的算力使用量超配，那么它的似然函数可以表示为：
θ=θN×(1-θ)100-N；
对其进行求导并令导数等于0，可以得到：
N/θ=(100-N)/(1-θ)；
由此可以得到，θ=N/100，即待处理任务执行后图形处理器的算力使用量超过算力配额的概率等价于滑动窗口中发生超配次数占总数的概率比值。
本实施例中，采用极大似然法估算待处理任务的超配概率，可以快速简单地计算出待处理任务的超配概率，且计算结果的收敛性较好，计算结果的偏差较小，提高了图形处理器算力配置方法的准确性。
在一个实施例中，根据待处理任务的延迟执行概率进行决策包括：根据待处理任务的延迟执行概率，随机生成待处理任务的决策值；根据决策值，决策是否延迟执行待处理任务。
其中，采用随机概率发生器进行决策。根据待处理任务的延迟执行概率，利用随机算法生成待处理任务的决策值。可以采用多种随机算法，例如随机数算法等，本申请对此不作限定。
示例性地，当待处理任务的延迟执行概率为p时，在[0,1]之间随机生成一个数x，当x小于等于p时，延迟执行待处理任务；当x大于p时，立即执行待处理任务。
本实施例中，通过概率发生器概率性地对超过配额的子任务进行随机概率延迟，使得最大图形处理器使用量能够尽可能的稳定在算力配额附近，实现了对于图形处理器算力的充分应用，保证了算力配置的准确性与稳定性。
在一个实施例中，还包括：在第一算力未超出图形处理器的算力配额的情况下，立即执行待处理任务。
其中，在第一算力未超出图形处理器的算力配额的情况下，待处理任务执行后不会造成图形处理器的超配，因此立即执行待处理任务。
在一个实施例中，图4是待处理任务不会被延迟执行时的历史算力数据示意图，如图4所示，滑动窗口中共有十个样本，其中每个样本的算力使用量都低于算力配额值，即算力使用量超出算力配额的次数为0，则待处理任务被延迟执行的概率为0。在该情况下，虚拟图形处理器卡的算力使用量远小于配额，此时待处理任务会立即提交执行，不会被延迟执行。
在一个实施例中，图5是待处理任务可能被延迟执行时的历史算力数据示意图，如图5所示，根据极大似然估计的方法，滑动窗口中共有7个样本的算力使用量超过算力配额值，即滑动窗口中超过配额发生概率为70%。假设滑动窗口中7次超过配额的加权平均值与算力配额值的比值为1.2，则待处理任务被延迟执行的概率为70%×1.2=84%。在该情况下，待处理任务有84%的概率被延迟执行。在待处理任务被延迟执行后，由于没有新的任务提交，虚拟图形处理器卡的算力使用会逐渐降低，下个待处理任务被延迟执行的概率也将越来越小，直至待处理任务被提交执行。
在一个实施例中，图6是待处理任务被延迟执行时的历史算力数据示意图，如图6所示，根据极大似然估计的方法，滑动窗口中共有10个样本的算力使用量超过算力配额值，即滑动窗口中超过配额发生概率为100%。在该情况下，待处理任务被延迟执行的概率为100%，即后续一段时间内不会提交待处理任务至虚拟图形处理器卡。如此一来，虚拟图形处理器卡的算力使用量将会逐渐减小至接近算力配额值。
在一个实施例中，图7是图形处理器算力配置方法的整体流程示意图，如图7所示，在有待处理任务输入时，首先预估待处理任务的算力需求，并获取滑动窗口中距离当前时间最近的虚拟图形处理器卡的算力使用量。在待处理任务需求与当前实际算力使用量的总额未超出算力配额的情况下，将待处理任务提交至图形处理器的执行模块进行执行；在待处理任务需求与当前实际算力使用量的总额超出算力配额的情况下，通过随机延迟执行概率算法进行决策，判断是否延迟执行待处理任务。若决策结果为不延迟执行，则提交待处理任务至图形处理器的执行模块进行执行；若决策结果为延迟执行，则回到上述获取滑动窗口中距离当前时间最近的虚拟图形处理器卡的算力使用量的步骤，并继续判断待处理任务需求与当前实际算力使用量的总额与算力配额的关系，根据两者关系进行决策，直至待处理任务被提交执行。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图形处理器算力配置方法的图形处理器算力配置装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图形处理器算力配置装置实施例中的具体限定可以参见上文中对于图形处理器算力配置方法的限定，在此不再赘述。
在一个实施例中，如图8所示，提供了一种图形处理器算力配置装置，包括：计算模块81和决策模块82，其中：
计算模块81，用于在第一算力超出图形处理器的算力配额的情况下，根据历史算力数据，计算待处理任务的延迟执行概率，其中，所述第一算力包括所述图形处理器的当前实际算力使用量以及所述待处理任务执行所需的理论算力使用量，所述历史算力数据包括多个采样时间中所述图形处理器的进程的算力使用量；
决策模块82，用于根据所述待处理任务的延迟执行概率进行决策，根据决策结果确定是否延迟执行所述待处理任务。
上述图形处理器算力配置装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储历史算力数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图形处理器算力配置方法。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
在第一算力超出图形处理器的算力配额的情况下，根据历史算力数据，计算待处理任务的延迟执行概率，其中，第一算力包括图形处理器的当前实际算力使用量以及待处理任务执行所需的理论算力使用量，历史算力数据包括多个采样时间中图形处理器的进程的算力使用量；
根据待处理任务的延迟执行概率进行决策，根据决策结果确定是否延迟执行待处理任务。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取图形处理器当前运行的所有进程的标识符；通过图形处理器的进程接口，对标识符进行遍历，获取每个进程所占用的第二算力；将第二算力进行累加，得到图形处理器的当前实际算力使用量。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取待处理任务需要调用的进程接口；根据进程接口的算力参数，预估待处理任务执行所需的算力使用量，其中，算力参数包括进程接口的网格数和/或进程接口的线程块数。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据历史算力数据，统计预设时间段内图形处理器的算力使用量超出算力配额的次数；根据预设时间段内图形处理器的算力使用量超出算力配额的次数，计算执行待处理任务后，图形处理器的算力使用量超出算力配额的概率；对预设时间段内超出算力配额的图形处理器的算力使用量进行加权平均，根据加权平均值以及算力配额，计算图形处理器的超配比值；根据图形处理器的算力使用量超出算力配额的概率以及超配比值，计算待处理任务的延迟执行概率。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据预设时间段内图形处理器的算力使用量超出算力配额的次数，计算预设时间段内图形处理器的算力使用量超出算力配额的频率；根据预设时间段内图形处理器的算力使用量超出算力配额的频率，计算图形处理器的算力使用量超出算力配额的概率。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据待处理任务的延迟执行概率，随机生成待处理任务的决策值；根据决策值，决策是否延迟执行待处理任务。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
在第一算力未超出图形处理器的算力配额的情况下，立即执行待处理任务。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
在第一算力超出图形处理器的算力配额的情况下，根据历史算力数据，计算待处理任务的延迟执行概率，其中，第一算力包括图形处理器的当前实际算力使用量以及待处理任务执行所需的理论算力使用量，历史算力数据包括多个采样时间中图形处理器的进程的算力使用量；
根据待处理任务的延迟执行概率进行决策，根据决策结果确定是否延迟执行待处理任务。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取图形处理器当前运行的所有进程的标识符；通过图形处理器的进程接口，对标识符进行遍历，获取每个进程所占用的第二算力；将第二算力进行累加，得到图形处理器的当前实际算力使用量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取待处理任务需要调用的进程接口；根据进程接口的算力参数，预估待处理任务执行所需的算力使用量，其中，算力参数包括进程接口的网格数和/或进程接口的线程块数。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据历史算力数据，统计预设时间段内图形处理器的算力使用量超出算力配额的次数；根据预设时间段内图形处理器的算力使用量超出算力配额的次数，计算执行待处理任务后，图形处理器的算力使用量超出算力配额的概率；对预设时间段内超出算力配额的图形处理器的算力使用量进行加权平均，根据加权平均值以及算力配额，计算图形处理器的超配比值；根据图形处理器的算力使用量超出算力配额的概率以及超配比值，计算待处理任务的延迟执行概率。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据预设时间段内图形处理器的算力使用量超出算力配额的次数，计算预设时间段内图形处理器的算力使用量超出算力配额的频率；根据预设时间段内图形处理器的算力使用量超出算力配额的频率，计算图形处理器的算力使用量超出算力配额的概率。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据待处理任务的延迟执行概率，随机生成待处理任务的决策值；根据决策值，决策是否延迟执行待处理任务。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
在第一算力未超出图形处理器的算力配额的情况下，立即执行待处理任务。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种图形处理器算力配置方法，其特征在于，所述方法包括：
在第一算力超出图形处理器的算力配额的情况下，根据历史算力数据，计算待处理任务的延迟执行概率，其中，所述第一算力包括所述图形处理器的当前实际算力使用量以及所述待处理任务执行所需的理论算力使用量，所述历史算力数据包括多个采样时间中所述图形处理器的进程的算力使用量；
根据所述待处理任务的延迟执行概率进行决策，根据决策结果确定是否延迟执行所述待处理任务。
2.根据权利要求1所述的图形处理器算力配置方法，其特征在于，获取图形处理器的当前实际算力使用量包括：
获取所述图形处理器当前运行的所有进程的标识符；
通过所述图形处理器的进程接口，对所述标识符进行遍历，获取每个进程所占用的第二算力；
将所述第二算力进行累加，得到所述图形处理器的当前实际算力使用量。
3.根据权利要求1所述的图形处理器算力配置方法，其特征在于，获取所述待处理任务执行所需的理论算力使用量包括：
获取所述待处理任务需要调用的进程接口；
根据所述进程接口的算力参数，预估所述待处理任务执行所需的理论算力使用量，其中，所述算力参数包括所述进程接口的网格数和/或所述进程接口的线程块数。
4.根据权利要求1所述的图形处理器算力配置方法，其特征在于，根据所述历史算力数据，计算所述待处理任务的延迟执行概率包括：
根据所述历史算力数据，统计预设时间段内所述图形处理器的算力使用量超出所述算力配额的次数；
根据预设时间段内所述图形处理器的算力使用量超出所述算力配额的次数，计算执行所述待处理任务后，所述图形处理器的算力使用量超出所述算力配额的概率；
对所述预设时间段内超出所述算力配额的所述图形处理器的算力使用量进行加权平均，根据加权平均值以及所述算力配额，计算所述图形处理器的超配比值；
根据所述图形处理器的算力使用量超出所述算力配额的概率以及所述超配比值，计算所述待处理任务的所述延迟执行概率。
5.根据权利要求4所述的图形处理器算力配置方法，其特征在于，计算执行所述待处理任务后，所述图形处理器的算力使用量超出所述算力配额的概率包括：
根据所述预设时间段内所述图形处理器的算力使用量超出所述算力配额的次数，计算所述预设时间段内所述图形处理器的算力使用量超出所述算力配额的频率；
根据所述预设时间段内所述图形处理器的算力使用量超出所述算力配额的频率，计算所述图形处理器的算力使用量超出所述算力配额的概率。
6.根据权利要求1所述的图形处理器算力配置方法，其特征在于，根据所述待处理任务的延迟执行概率进行决策包括：
根据所述待处理任务的延迟执行概率，随机生成所述待处理任务的决策值；
根据所述决策值，决策是否延迟执行所述待处理任务。
7.根据权利要求1所述的图形处理器算力配置方法，其特征在于，所述方法还包括：
在所述第一算力未超出所述图形处理器的算力配额的情况下，立即执行所述待处理任务。
8.一种图形处理器算力配置装置，其特征在于，包括：
计算模块，用于在第一算力超出图形处理器的算力配额的情况下，根据历史算力数据，计算待处理任务的延迟执行概率，其中，所述第一算力包括所述图形处理器的当前实际算力使用量以及所述待处理任务执行所需的理论算力使用量，所述历史算力数据包括多个采样时间中所述图形处理器的进程的算力使用量；
决策模块，用于根据所述待处理任务的延迟执行概率进行决策，根据决策结果确定是否延迟执行所述待处理任务。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至权利要求7中任一项所述的图形处理器算力配置方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至权利要求7中任一项所述的图形处理器算力配置方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410067171.XA CN117611425B (zh) | 2024-01-17 | 2024-01-17 | 图形处理器算力配置方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410067171.XA CN117611425B (zh) | 2024-01-17 | 2024-01-17 | 图形处理器算力配置方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117611425A true CN117611425A (zh) | 2024-02-27 |
| CN117611425B CN117611425B (zh) | 2024-06-11 |
Family
ID=89944613
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410067171.XA Active CN117611425B (zh) | 2024-01-17 | 2024-01-17 | 图形处理器算力配置方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117611425B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110457135A (zh) * | 2019-08-09 | 2019-11-15 | 重庆紫光华山智安科技有限公司 | 一种资源调度方法、装置及共享gpu显存的方法 |
| CN110995614A (zh) * | 2019-11-05 | 2020-04-10 | 华为技术有限公司 | 一种算力资源分配的方法及装置 |
| CN112035516A (zh) * | 2020-09-30 | 2020-12-04 | 北京百度网讯科技有限公司 | 用于算子服务的处理方法、装置、智能工作站和电子设备 |
| CN112286644A (zh) * | 2020-12-25 | 2021-01-29 | 同盾控股有限公司 | Gpu虚拟化算力的弹性调度方法、系统、设备和存储介质 |
| CN112380020A (zh) * | 2020-12-03 | 2021-02-19 | 腾讯科技（深圳）有限公司 | 一种算力资源分配方法、装置、设备及存储介质 |
| CN114416352A (zh) * | 2021-12-29 | 2022-04-29 | 中国电信股份有限公司 | 算力资源分配方法、装置、电子设备及储存介质 |
| CN115063282A (zh) * | 2022-06-02 | 2022-09-16 | 杭州海康威视数字技术股份有限公司 | 一种gpu资源调度方法、装置、设备及存储介质 |
| CN115328663A (zh) * | 2022-10-10 | 2022-11-11 | 亚信科技（中国）有限公司 | 基于PaaS平台进行资源调度的方法、装置、设备和存储介质 |
| CN117234712A (zh) * | 2023-09-05 | 2023-12-15 | 深圳供电局有限公司 | 算力资源部署方法、装置、计算机设备以及存储介质 |
| WO2023246757A1 (zh) * | 2022-06-21 | 2023-12-28 | 维沃移动通信有限公司 | 算力服务方法、装置及终端 |
| CN117369990A (zh) * | 2023-09-04 | 2024-01-09 | 中国联合网络通信集团有限公司 | 一种算力资源调度方法及装置、系统、设备、存储介质 |
-
2024
- 2024-01-17 CN CN202410067171.XA patent/CN117611425B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110457135A (zh) * | 2019-08-09 | 2019-11-15 | 重庆紫光华山智安科技有限公司 | 一种资源调度方法、装置及共享gpu显存的方法 |
| CN110995614A (zh) * | 2019-11-05 | 2020-04-10 | 华为技术有限公司 | 一种算力资源分配的方法及装置 |
| CN112035516A (zh) * | 2020-09-30 | 2020-12-04 | 北京百度网讯科技有限公司 | 用于算子服务的处理方法、装置、智能工作站和电子设备 |
| CN112380020A (zh) * | 2020-12-03 | 2021-02-19 | 腾讯科技（深圳）有限公司 | 一种算力资源分配方法、装置、设备及存储介质 |
| CN112286644A (zh) * | 2020-12-25 | 2021-01-29 | 同盾控股有限公司 | Gpu虚拟化算力的弹性调度方法、系统、设备和存储介质 |
| CN114416352A (zh) * | 2021-12-29 | 2022-04-29 | 中国电信股份有限公司 | 算力资源分配方法、装置、电子设备及储存介质 |
| CN115063282A (zh) * | 2022-06-02 | 2022-09-16 | 杭州海康威视数字技术股份有限公司 | 一种gpu资源调度方法、装置、设备及存储介质 |
| WO2023246757A1 (zh) * | 2022-06-21 | 2023-12-28 | 维沃移动通信有限公司 | 算力服务方法、装置及终端 |
| CN115328663A (zh) * | 2022-10-10 | 2022-11-11 | 亚信科技（中国）有限公司 | 基于PaaS平台进行资源调度的方法、装置、设备和存储介质 |
| CN117369990A (zh) * | 2023-09-04 | 2024-01-09 | 中国联合网络通信集团有限公司 | 一种算力资源调度方法及装置、系统、设备、存储介质 |
| CN117234712A (zh) * | 2023-09-05 | 2023-12-15 | 深圳供电局有限公司 | 算力资源部署方法、装置、计算机设备以及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| WEI ZHANG等: "CHARM: Collaborative Host and Accelerator Resource Management for GPU", 2021 IEEE 39TH INTERNATIONAL CONFERENCE ON COMPUTER DESIGN (ICCD), 20 December 2021 (2021-12-20), pages 1 - 9 * |
| 秦华等: "软件雷达信号处理的多GPU并行技术", 西安电子科技大学学报, vol. 40, no. 03, 25 February 2013 (2013-02-25), pages 145 - 151 * |
| 陈庆奎等: "一种GPU集群的动态任务映射策略", 计算机工程, vol. 38, no. 17, 19 November 2012 (2012-11-19), pages 268 - 271 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117611425B (zh) | 2024-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109783232A (zh) | 视频数据处理方法、装置及存储介质 | |
| CN105389211B (zh) | 适用于numa架构的内存分配方法及延时感知-内存分配装置 | |
| CN110941325B (zh) | 处理器的调频方法及装置、计算设备 | |
| CN112114960B (zh) | 一种适应互联网场景的遥感影像并行集群处理的调度策略 | |
| CN103729252B (zh) | 一种虚拟机调度的方法及调度监控器 | |
| CN108132840A (zh) | 一种分布式系统中的资源调度方法及装置 | |
| CN110390563A (zh) | 用户价值的量化方法、装置、计算机设备和存储介质 | |
| CN115981843A (zh) | 云边协同电力系统中任务调度方法、装置和计算机设备 | |
| CN116227599A (zh) | 一种推理模型的优化方法、装置、电子设备及存储介质 | |
| CN110413393B (zh) | 集群资源管理方法、装置、计算机集群及可读存储介质 | |
| CN111901405A (zh) | 一种多节点监控方法、装置、电子设备及存储介质 | |
| CN107370783B (zh) | 一种云计算集群资源的调度方法及装置 | |
| CN108647007B (zh) | 运算系统及芯片 | |
| CN116880994B (zh) | 基于动态dag的多处理器任务调度方法、装置及设备 | |
| CN117611425B (zh) | 图形处理器算力配置方法、装置、计算机设备和存储介质 | |
| Kataoka et al. | Simple energy-efficient server selection algorithm in a scalable cluster | |
| Zhuang et al. | Impact of instance seeking strategies on resource allocation in cloud data centers | |
| CN109408225B (zh) | 资源扩容方法、装置、计算机设备以及存储介质 | |
| CN116204311A (zh) | Pod集群扩缩容方法、装置、计算机设备和存储介质 | |
| CN114546652A (zh) | 一种参数预估方法、装置及电子设备 | |
| CN113723538A (zh) | 基于层次化迁移学习的跨平台功耗性能预测方法及系统 | |
| CN113900800B (zh) | 一种边缘计算系统的分配方法 | |
| CN115134301B (zh) | 流量控制方法、装置、计算机设备和存储介质 | |
| CN111290850A (zh) | 一种数据存储方法、装置及设备 | |
| CN115495224B (zh) | 基于优先级的超算节点使用方法、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |