CN116932228B - 一种基于志愿者计算的边缘ai任务调度和资源管理系统 - Google Patents
一种基于志愿者计算的边缘ai任务调度和资源管理系统 Download PDFInfo
- Publication number
- CN116932228B CN116932228B CN202311184777.3A CN202311184777A CN116932228B CN 116932228 B CN116932228 B CN 116932228B CN 202311184777 A CN202311184777 A CN 202311184777A CN 116932228 B CN116932228 B CN 116932228B
- Authority
- CN
- China
- Prior art keywords
- volunteer
- model
- index
- sub
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 28
- 230000011218 segmentation Effects 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000011156 evaluation Methods 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 24
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000013139 quantization Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 3
- 239000006185 dispersion Substances 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000011664 signaling Effects 0.000 claims description 3
- 238000002156 mixing Methods 0.000 abstract description 2
- 238000012216 screening Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于志愿者计算的边缘AI任务调度和资源管理系统，涉及边缘计算技术领域，包括志愿者计算设备相关信息收集模块、相关信息预处理模块、设备资源指数生成模块、设备信任指数生成模块、AI模型分割模块和子模型部署模块；解决了在边缘的志愿者计算设备上部署AI模型时，无法根据AI模型和边缘的志愿者计算设备的资源特性，将AI模型调配部署到合适的志愿者计算设备上的技术问题：通过综合考虑志愿者计算设备的设备资源指数和设备信任指数，选择性能和可靠性较好的志愿者计算设备的设备作为子模型的目标部署设备，将各个子模型调配部署到合适的志愿者计算设备上，从而实现对志愿者计算设备资源的有效利用和任务的高效执行。
Description
技术领域
本发明涉及边缘计算技术领域，具体涉及一种基于志愿者计算的边缘AI任务调度和资源管理系统。
背景技术
随着物联网和移动终端的迅速发展，边缘计算技术应运而生，通过将计算和存储配置在互联网边缘，处理物联网终端产生的大量数据，应对时延敏感型应用请求。为提高计算资源使用效率，优化性能指标，边缘计算受到了广泛关注；边缘计算是一种将计算能力和存储资源推向接近数据源头的计算模式，通过在边缘的志愿者计算设备上部署AI模型，可以避免大量数据传输到云端进行处理，从而提高数据处理的时效性和安全性。
但是，上述方案在边缘的志愿者计算设备上部署AI模型时，无法根据AI模型和边缘的志愿者计算设备的资源特性，将AI模型调配部署到合适的志愿者计算设备上，不利于对边缘志愿者计算设备的资源的有效利用和任务的高效执行，基于此提供一种基于志愿者计算的边缘AI任务调度和资源管理系统。
发明内容
本发明的目的在于提供一种基于志愿者计算的边缘AI任务调度和资源管理系统，解决了在边缘的志愿者计算设备上部署AI模型时，无法根据AI模型和边缘的志愿者计算设备的资源特性，将AI模型调配部署到合适的志愿者计算设备上的技术问题。
本发明的目的可以通过以下技术方案实现：
一种基于志愿者计算的边缘AI任务调度和资源管理系统，包括：
志愿者计算设备相关信息收集模块，用于对多个志愿者计算设备的相关信息进行获取、历史完成任务数量和用户反馈评分进行获取，并将其发送至相关信息预处理模块，相关信息包括处理器速度、内存容量和网络带宽；
相关信息预处理模块，用于对收集到的多个志愿者计算设备的相关信息、历史完成任务数量和用户反馈评分进行清洗，去除重复、缺失或错误的数据操作，同时将多个志愿者计算设备的相关信息发送至设备资源指数生成模块，将历史完成任务数量和用户反馈评分发送至设备信任指数生成模块；
设备资源指数生成模块，用于对各个志愿者计算设备的相关信息进行分析，并根据分析结果对各个志愿者计算设备的设备资源指数进行获取，同时将其发送至子模型部署模块；
设备信任指数生成模块，用于对各个志愿者计算设备的历史完成任务数量和用户反馈评分进行获取并分析，根据对各个志愿者计算设备的历史完成任务数量和用户反馈评分的分析结果，对各个志愿者计算设备的设备信任指数进行生成，并将其发送至子模型部署模块；
AI模型分割模块，用于将对同一数据源进行操作的两个不同的AI模型进行融合后分割，进而得到多个子模型，同时将多个子模型传输至子模型部署模块；
子模型部署模块，用于对多个子模型对应的处理器速度、内存容量和网络带宽进行分析，进而获得每个子模型对应的资源需求指数，同时获得对每个子模型所需的信任需求指数，将每个子模型对应的资源需求指数和信任需求指数与各个志愿者计算设备对应的设备资源指数和设备信任指数进行比较分析，对各个子模型的目标部署设备进行确定。
作为本发明进一步的方案：对各个志愿者计算设备的设备资源指数进行获取的具体方式为：
A1：选取一个志愿者计算设备为目标志愿者设备；
A2：将目标志愿者设备对应的处理器速度、内存容量和网络带宽进行量化处理后取其对应的处理器速度、内存字节数和带宽每秒传输的数据量对应的数值，并将其分别标记为M1、M2和M3；
A3：通过公式M1×β1+M2×β2+M3×β3=P1，计算获得目标志愿者设备对应的设备资源指数P1，其中β1、β2和β3均为权重系数，满足β1+β2+β3=1；
A4：重复步骤A1-A3，计算获得各个志愿者计算设备对应的设备资源指数，并将其分别标记为P1、P2、……、Pi，此处i指代为对应的志愿者计算设备的数量，i≥1。
作为本发明进一步的方案：各个志愿者计算设备生成设备信任指数的具体方式为：
通过公式Ci×β4+Ji×β5=Ri，计算获得各个志愿者计算设备对应的设备信任指数Ri，此处，Ci指代为各个志愿者计算设备对应的历史完成任务数量，i指代为对应志愿者计算设备的数，Ji指代为各个志愿者计算设备对应的计算评价分，其中β4和β5均为权重系数，此处β4=0.35，β5=0.48。
作为本发明进一步的方案：对各个志愿者计算设备对应的计算评价分进获得的具体步骤为：
A01：获取目标志愿者设备的n次用户反馈评分，并将其分别标记为J11、J12、……、J1n，此处n≥1；
A02：根据公式计算获得n个用户反馈评分J11、J12、……、J1n对应的分散值U；当U≤Y1时，则将J1p作为n个用户反馈评分对应的计算评价分J1，其中J1p=(J11+J12+、……、+J1n)/n；
当U＞Y1时，则将n个用户反馈评分按照|J1n-J1p|从大到小的顺序对J1n对应的值进行依次删除，直至满足U≤Y1时，则停止删除，并计算剩余的未被删除的J1n对应值的平均值，并将其作为n个用户反馈评分对应的计算评价分J1；此处Y1为预设数值；
A03：重复以上步骤A01-A02，即可获得各个志愿者计算设备对应的计算评价分，并将其依次标记为J1、J2、……、Ji。
作为本发明进一步的方案：对AI模型进行分割的具体方式为：
S1：将AI模型的推理过程生成一个有向无环图DAG，通过对AI模型的DAG图进行的分析归纳，将AI模型的推理过程子功能化，即将整个AI模型的神经网络的运行分成多个独立的子功能组成；
S2：当存在两个不同的AI模型对同一数据源进行操作时，在边缘环境下，分析两个不同的AI模型在对同一数据源进行操作时需要使用到的相同子功能的数量，并将其标记为T，当T＞0时，则将两个不同的AI模型的推理过程融合成一个，反之则不将两个不同的AI模型进行融合操作；
S3：将融合后AI模型的DAG图进行切割，使得融合后的AI模型被划分为多个子模型。
作为本发明进一步的方案：获得每个子模型对应的资源需求指数和信任需求指数的具体方式为：
获取每个子模型对应的处理器速度、内存容量和网络带宽，将其输入至资源指数生成模块中，即可获得每个子模型对应的资源需求指数，并将分别标记为MP1、MP2、……、MPv；
对每个子模型所需的信任需求指数进行评估，并将其分别标记为MC1、MC2、……、MCv，此处v指代为对应的子模型的数量，i≥v≥1。
作为本发明进一步的方案：对各个子模型的目标部署设备进行确定的具体方式为：
将多个子模型按照其对应的信任需求指数的数值，从大到小对多个子模型进行排序，并生成子模型部署顺序表；
选取部署顺序表中信任需求指数最大的子模型为目标部署模型；获取各个志愿者计算设备中设备资源指数大于等于目标部署模型对应的资源需求指数的志愿者计算设备，并将其均标记为待部署设备；获取待部署设备对应的设备信任指数，选取其中设备信任指数最大的待部署设备作为目标部署模型的目标部署设备；
依此类推，按照子模型部署顺序表的顺序，依次对子模型的目标部署设备进行确定，完成对所有子模型的部署。
作为本发明进一步的方案：多个子模型中最大的资源需求指数小于多个志愿者计算设备中的最大设备资源指数，同时多个子模型中最小的资源需求指数也小于多个志愿者计算设备中的最小设备资源指数。
作为本发明进一步的方案：当 AI 模型无需进行分割处理时，对各个志愿者计算设备中当前空闲的志愿者计算设备进行获取，并将其标记为空闲志愿者设备，同时对各个空闲志愿者设备对应的设备信任指数和设备资源指数进行获取并分析，然后根据分析结果获得各个空闲志愿者设备对应的调度指数，最后根据各个空闲志愿者设备对应的调度指数对目标空闲设备进行判断，对目标空闲设备进行判断的具体方式为：
对各个空闲志愿者设备对应的调度指数进行比较分析，将其中调度指数最高的空闲志愿者设备作为 AI 模型的目标空闲设备，用于对 AI 模型进行部署。
作为本发明进一步的方案：获得各个志愿者计算设备对应的调度指数的具体方法为：
通过公式 Ra×θ1+Pa×θ2=Da，计算获得各个空闲志愿者设备对应的调度指数Da，其中 a 为空闲志愿者设备的数量，i≥a≥1，Ra 为各个空闲志愿者设备对应的设备信任指数，Pa 为各个空闲志愿者设备对应的设备资源指数，θ1 和θ2 均为预设系数，此处θ1=0.314，θ2=0.613。
本发明的有益效果：
本发明，通过将AI模型分割后的子模型的资源需求指数与志愿者计算设备的设备资源指数进行比较，对符合子模型的志愿者计算设备进行筛选，然后再选取其中设备信任指数最大的志愿者计算设备作为对应子模型的目标部署设备，在确保所选目标部署设备能够满足子模型运行需求的前提下，选择具有较高设备信任指数的志愿者计算设备作为子模型的目标部署设备，通过对志愿者计算设备的设备信任指数的考虑，可以降低潜在的风险和安全问题，确保部署的设备是可信赖的；
通过综合考虑志愿者计算设备的设备资源指数和设备信任指数，选择性能和可靠性较好的志愿者计算设备的设备作为子模型的目标部署设备，将各个子模型调配部署到合适的志愿者计算设备上，从而实现对志愿者计算设备资源的有效利用和任务的高效执行，提高边缘计算中对志愿者计算设备资源的利用效率和部署任务执行质量。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明一种基于志愿者计算的边缘AI任务调度和资源管理系统的系统框架结构示意图；
图2是本发明一种基于志愿者计算的边缘AI任务调度和资源管理系统的方法框架结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一
请参阅图1所示，本发明为一种基于志愿者计算的边缘AI任务调度和资源管理系统，包括志愿者计算设备相关信息收集模块、相关信息预处理模块、设备资源指数生成模块、设备信任指数生成模块、AI模型分割模块和子模型部署模块；
志愿者计算设备相关信息收集模块，用于对多个志愿者计算设备的相关信息进行获取、历史完成任务数量和用户反馈评分进行获取，并将其发送至相关信息预处理模块；
相关信息包括处理器速度、内存容量和网络带宽，处理器速度通过浮点运算次数或处理器速度来量化表示，内存容量通过内存字节数来量化表示，网络带宽通过带宽每秒传输的数据量进行量化表示；
相关信息预处理模块，用于对收集到的多个志愿者计算设备的相关信息、历史完成任务数量和用户反馈评分进行清洗，去除重复、缺失或错误的数据操作，通过对数据的预处理操作以确保多个志愿者计算设备相关信息对应数据的准确性和一致性，将多个志愿者计算设备的相关信息发送至设备资源指数生成模块，同时将历史完成任务数量和用户反馈评分发送至设备信任指数生成模块；
设备资源指数生成模块，用于对各个志愿者计算设备的相关信息进行分析，并根据分析结果对各个志愿者计算设备的设备资源指数进行获取，同时将其发送至子模型部署模块，对各个志愿者计算设备的设备资源指数进行获取的具体方式为：
A1：选取一个志愿者计算设备为目标志愿者设备；
A2：将目标志愿者设备对应的处理器速度、内存容量和网络带宽进行量化处理后取其对应的处理器速度、内存字节数和带宽每秒传输的数据量对应的数值，并将其分别标记为M1、M2和M3；
A3：通过公式M1×β1+M2×β2+M3×β3=P1，计算获得目标志愿者设备对应的设备资源指数P1，其中β1、β2和β3均为权重系数，满足β1+β2+β3=1；
A4：重复步骤A1-A3，计算获得各个志愿者计算设备对应的设备资源指数，并将其分别标记为P1、P2、……、Pi，此处i指代为对应的志愿者计算设备的数量，i≥1；
通过各个志愿者计算设备对应的设备资源指数评估愿者计算设备的可用资源情况，此处，志愿者计算设备对应的设备资源指数的数值越大，则代表该志愿者计算设备对应的可用资源越多，反之则越少；
设备信任指数生成模块，用于对各个志愿者计算设备的历史完成任务数量和用户反馈评分进行获取并分析，根据对各个志愿者计算设备的历史完成任务数量和用户反馈评分的分析结果，对各个志愿者计算设备的设备信任指数进行生成，并将其发送至子模型部署模块，各个志愿者计算设备生成设备信任指数的具体方式为：
各个志愿者计算设备的用户评价反馈评分均为每次完成任务后对应的用户进行评价得到的，且此处默认历史完成任务和用户反馈评分次数对应，即默认为每次完成任务，用户都会进行对应的反馈评分，此处，用户评价反馈采用打分制的方式进行评价，满分为10分，且分数越接近满分评级越好；
通过公式Ci×β4+Ji×β5=Ri，计算获得各个志愿者计算设备对应的设备信任指数Ri，此处，Ci指代为各个志愿者计算设备对应的历史完成任务数量，i指代为对应志愿者计算设备的数，Ji指代为各个志愿者计算设备对应的计算评价分，其中β4和β5均为权重系数，此处β4=0.35，β5=0.48；
通过各个志愿者计算设备对应的设备信任指数，评估志愿者计算设备的可靠性和可信度，此处，志愿者计算设备对应的设备信任指数的数值越大，则代表该志愿者计算设备对应的可靠性和可信度越高，反之则越低；
对各个志愿者计算设备对应的计算评价分进获得的具体步骤为：
A01：获取目标志愿者设备的n次用户反馈评分，并将其分别标记为J11、J12、……、J1n，此处n≥1；
A02：根据公式计算获得n个用户反馈评分J11、J12、……、J1n对应的分散值U；当U≤Y1时，则将J1p作为n个用户反馈评分对应的计算评价分J1，其中J1p=(J11+J12+、……、+J1n)/n；
当U＞Y1时，则将n个用户反馈评分按照|J1n-J1p|从大到小的顺序对J1n对应的值进行依次删除，直至满足U≤Y1时，则停止删除，并计算剩余的未被删除的J1n对应值的平均值，并将其作为n个用户反馈评分对应的计算评价分J1；此处Y1为预设数值，具体数值由相关技术人员进行拟定；
A03：重复以上步骤A01-A02，即可获得各个志愿者计算设备对应的计算评价分，并将其依次标记为J1、J2、……、Ji；
AI模型分割模块，用于将对同一数据源进行操作的两个不同的AI模型进行融合后分割，进而得到多个子模型，同时将多个子模型传输至子模型部署模块，对AI模型进行分割的具体方式为：
S1：将AI模型的推理过程生成一个有向无环图DAG，通过对AI模型的DAG图进行的分析归纳，将AI模型的推理过程子功能化，即将整个AI模型的神经网络的运行分成多个独立的子功能组成，子功能包括预处理、特征提取、特征融合等功能；
S2：当存在两个不同的AI模型对同一数据源进行操作时，在边缘环境下，分析两个不同的AI模型在对同一数据源进行操作时需要使用到的相同子功能的数量，并将其标记为T，当T＞0时，则将两个不同的AI模型的推理过程融合成一个，可以大大减少计算冗余，反之则不将两个不同的AI模型进行融合操作；
S3：将融合后AI模型的DAG图进行切割，使得融合后的AI模型被划分为多个子模型，此处切割时需要考虑每个子模型所需的子功能；
子模型部署模块，用于对多个子模型对应的处理器速度、内存容量和网络带宽进行分析，进而获得每个子模型对应的资源需求指数，同时获得对每个子模型所需的信任需求指数，将每个子模型对应的资源需求指数和信任需求指数与各个志愿者计算设备对应的设备资源指数和设备信任指数进行比较分析，对各个子模型的目标部署设备进行确定，对各个子模型的目标部署设备进行确定的具体方式为：
S01：获取每个子模型对应的处理器速度、内存容量和网络带宽，将其输入至资源指数生成模块中，即可获得每个子模型对应的资源需求指数，并将分别标记为MP1、MP2、……、MPv，对每个子模型所需的信任需求指数进行评估，并将其分别标记为MC1、MC2、……、MCv，此处v指代为对应的子模型的数量，i≥v≥1；
此处要说明的是，对每个子模型所需的信任需求指数进行评估的具体方法可以为基于经验或专家判断、基于数据源和数据处理的可信度和基于模型训练和验证的结果的评估方法，此处具体的评估方法可以根据具体情况选择使用，也可以结合多种评估方法来得出综合的信任指数评估，这些方法在现有技术中都有应用，因此在此不做赘述；
S02：将多个子模型按照其对应的信任需求指数的数值，从大到小对多个子模型进行排序，并生成子模型部署顺序表；
S03：选取部署顺序表中信任需求指数最大的子模型为目标部署模型；获取各个志愿者计算设备中设备资源指数大于等于目标部署模型对应的资源需求指数的志愿者计算设备，并将其均标记为待部署设备；获取待部署设备对应的设备信任指数，选取其中设备信任指数最大的待部署设备作为目标部署模型的目标部署设备；
依此类推，按照子模型部署顺序表的顺序，依次对子模型的目标部署设备进行确定，完成对所有子模型的部署；
此处需要说明的是，多个子模型中最大的资源需求指数小于多个志愿者计算设备中的最大设备资源指数，同时多个子模型中最小的资源需求指数也小于多个志愿者计算设备中的最小设备资源指数；
通过将子模型的资源需求指数与志愿者计算设备的设备资源指数进行比较，符合子模型的志愿者计算设备进行筛选，然后再选取其中设备信任指数最大的志愿者计算设备作为对应子模型的目标部署设备，在确保所选目标部署设备能够满足子模型运行需求的前提下，选择具有较高设备信任指数的志愿者计算设备作为子模型的目标部署设备，综合考虑志愿者计算设备的设备资源指数和设备信任指数，选择性能和可靠性较好的志愿者计算设备的设备作为子模型的目标部署设备，通过对志愿者计算设备的设备信任指数的考虑，可以降低潜在的风险和安全问题，将各个子模型调配部署到合适的志愿者计算设备上，实现资源的有效利用和任务的高效执行；
实施例二
作为本发明的实施例二，本申请在具体实施时，相较于实施例一，本实施例的技术方案与实施例一的区别仅在于本实施例中，当 AI 模型无需进行分割处理时，对各个志愿者计算设备中当前空闲的志愿者计算设备进行获取，并将其标记为空闲志愿者设备，同时对各个空闲志愿者设备对应的设备信任指数和设备资源指数进行获取并分析，然后根据分析结果获得各个空闲志愿者设备对应的调度指数，最后根据各个空闲志愿者设备对应的调度指数对目标空闲设备进行判断，并将 AI 模型部署在目标空闲设备中；
需要说明的是，空闲志愿者设备指代为在 AI 模型无需进行分割时，各个志愿者计算设备中未被其他 AI 模型进行部署的剩余设备；
其中，获得各个志愿者计算设备对应的调度指数的具体方法为：
通过公式 Ra×θ1+Pa×θ2=Da，计算获得各个空闲志愿者设备对应的调度指数Da，其中 a 为空闲志愿者设备的数量，i≥a≥1，Ra 为各个空闲志愿者设备对应的设备信任指数，Pa 为各个空闲志愿者设备对应的设备资源指数，θ1 和θ2 均为预设系数，具体数值均由相关工作人员根据实际情况进行拟定，此处θ1=0.314，θ2=0.613；
对目标空闲设备进行判断的具体方式为：
对各个空闲志愿者设备对应的调度指数进行比较分析，将其中调度指数最高的空闲志愿者设备作为 AI 模型的目标空闲设备，用于对 AI 模型进行部署。
根据各个空闲志愿者设备对应的设备信任指数和设备资源指数，获得各个空闲志愿者设备对应的调度指数，对各个空闲志愿者设备对应的调度指数进行比较分析，选择性能和可靠性较好的空闲志愿者设备作为目标空闲设备进行 AI 模型的部署任务；
实施例三
作为本发明的实施例三，本申请在具体实施时，相较于实施例一和实施例二，本实施例的技术方案是在于将上述实施例一和实施例二的方案进行组合实施。
本发明的工作原理：通过对各个志愿者计算设备的相关信息、历史完成任务数量和用户反馈评分进行分析，获得各个志愿者计算设备的设备信任指数和设备资源指数，然后将对同一数据源进行操作的两个不同的AI模型进行融合后分割，进而得到多个子模型，再将多个子模型对应的资源需求指数和信任需求指数与将各个志愿者计算设备对应的设备资源指数和设备信任指数进行比较分析，对符合子模型的志愿者计算设备进行筛选，然后再选取其中设备信任指数最大的志愿者计算设备作为对应子模型的目标部署设备，在确保所选目标部署设备能够满足子模型运行需求的前提下，选择具有较高设备信任指数的志愿者计算设备作为子模型的目标部署设备，按照子模型部署顺序表的顺序，依次对子模型的目标部署设备进行确定，将各个子模型调配部署到合适的志愿者计算设备上。
上述公式均是去量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式，公式中的预设参数以及阈值选取由本领域的技术人员根据实际情况进行设置。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (4)
1.一种基于志愿者计算的边缘AI任务调度和资源管理系统，其特征在于，包括：
志愿者计算设备相关信息收集模块，用于对多个志愿者计算设备的相关信息进行获取、历史完成任务数量和用户反馈评分进行获取，并将其发送至相关信息预处理模块，相关信息包括处理器速度、内存容量和网络带宽；
相关信息预处理模块，用于对收集到的多个志愿者计算设备的相关信息、历史完成任务数量和用户反馈评分进行清洗，去除重复、缺失或错误的数据操作，同时将多个志愿者计算设备的相关信息发送至设备资源指数生成模块，将历史完成任务数量和用户反馈评分发送至设备信任指数生成模块；
设备资源指数生成模块，用于对各个志愿者计算设备的相关信息进行分析，并根据分析结果对各个志愿者计算设备的设备资源指数进行获取，同时将其发送至子模型部署模块，对各个志愿者计算设备的设备资源指数进行获取的具体方式为：
A1：选取一个志愿者计算设备为目标志愿者设备；
A2：将目标志愿者设备对应的处理器速度、内存容量和网络带宽进行量化处理后取其对应的处理器速度、内存字节数和带宽每秒传输的数据量对应的数值，并将其分别标记为M1、M2和M3；
A3：通过公式M1×β1+M2×β2+M3×β3=P1，计算获得目标志愿者设备对应的设备资源指数P1，其中β1、β2和β3均为权重系数，满足β1+β2+β3=1；
A4：重复步骤A1-A3，计算获得各个志愿者计算设备对应的设备资源指数，并将其分别标记为P1、P2、……、Pi，此处i指代为对应的志愿者计算设备的数量，i≥1；
设备信任指数生成模块，用于对各个志愿者计算设备的历史完成任务数量和用户反馈评分进行获取并分析，根据对各个志愿者计算设备的历史完成任务数量和用户反馈评分的分析结果，对各个志愿者计算设备的设备信任指数进行生成，并将其发送至子模型部署模块，各个志愿者计算设备生成设备信任指数的具体方式为：
通过公式Ci×β4+Ji×β5=Ri，计算获得各个志愿者计算设备对应的设备信任指数Ri，此处，Ci指代为各个志愿者计算设备对应的历史完成任务数量，i指代为对应志愿者计算设备的数，Ji指代为各个志愿者计算设备对应的计算评价分，其中β4和β5均为权重系数，此处β4=0.35，β5=0.48；
对各个志愿者计算设备对应的计算评价分进行获得的具体步骤为：
A01：获取目标志愿者设备的n次用户反馈评分，并将其分别标记为J11、J12、……、J1n，此处n≥1；
A02：根据公式计算获得n个用户反馈评分J11、J12、……、J1n对应的分散值U；当U≤Y1时，则将J1p作为n个用户反馈评分对应的计算评价分J1，其中J1p=(J11+J12+、……、+J1n)/n；
当U＞Y1时，则将n个用户反馈评分按照|J1n-J1p|从大到小的顺序对J1n对应的值进行依次删除，直至满足U≤Y1时，则停止删除，并计算剩余的未被删除的J1n对应值的平均值，并将其作为n个用户反馈评分对应的计算评价分J1；此处Y1为预设数值；
A03：重复以上步骤A01-A02，即可获得各个志愿者计算设备对应的计算评价分，并将其依次标记为J1、J2、……、Ji；
AI模型分割模块，用于将对同一数据源进行操作的两个不同的AI模型进行融合后分割，进而得到多个子模型，同时将多个子模型传输至子模型部署模块，对AI模型进行分割的具体方式为：
S1：将AI模型的推理过程生成一个有向无环图DAG，通过对AI模型的DAG图进行的分析归纳，将AI模型的推理过程子功能化，即将整个AI模型的神经网络的运行分成多个独立的子功能组成；
S2：当存在两个不同的AI模型对同一数据源进行操作时，在边缘环境下，分析两个不同的AI模型在对同一数据源进行操作时需要使用到的相同子功能的数量，并将其标记为T，当T＞0时，则将两个不同的AI模型的推理过程融合成一个，反之则不将两个不同的AI模型进行融合操作；
S3：将融合后AI模型的DAG图进行切割，使得融合后的AI模型被划分为多个子模型；
子模型部署模块，用于对多个子模型对应的处理器速度、内存容量和网络带宽进行分析，进而获得每个子模型对应的资源需求指数，同时获得对每个子模型所需的信任需求指数，将每个子模型对应的资源需求指数和信任需求指数与各个志愿者计算设备对应的设备资源指数和设备信任指数进行比较分析，对各个子模型的目标部署设备进行确定；
获得每个子模型对应的资源需求指数和信任需求指数的具体方式为：
获取每个子模型对应的处理器速度、内存容量和网络带宽，将其输入至资源指数生成模块中，即可获得每个子模型对应的资源需求指数，并将分别标记为MP1、MP2、……、MPv；
对每个子模型所需的信任需求指数进行评估，并将其分别标记为MC1、MC2、……、MCv，此处v指代为对应的子模型的数量，i≥v≥1；
对各个子模型的目标部署设备进行确定的具体方式为：
将多个子模型按照其对应的信任需求指数的数值，从大到小对多个子模型进行排序，并生成子模型部署顺序表；
选取部署顺序表中信任需求指数最大的子模型为目标部署模型；获取各个志愿者计算设备中设备资源指数大于等于目标部署模型对应的资源需求指数的志愿者计算设备，并将其均标记为待部署设备；获取待部署设备对应的设备信任指数，选取其中设备信任指数最大的待部署设备作为目标部署模型的目标部署设备，依此类推，按照子模型部署顺序表的顺序，依次对子模型的目标部署设备进行确定，完成对所有子模型的部署。
2.根据权利要求1所述的一种基于志愿者计算的边缘AI任务调度和资源管理系统，其特征在于，多个子模型中最大的资源需求指数小于多个志愿者计算设备中的最大设备资源指数，同时多个子模型中最小的资源需求指数也小于多个志愿者计算设备中的最小设备资源指数。
3.根据权利要求1所述的一种基于志愿者计算的边缘AI任务调度和资源管理系统，其特征在于，当AI模型无需进行分割处理时，对各个志愿者计算设备中当前空闲的志愿者计算设备进行获取，并将其标记为空闲志愿者设备，同时对各个空闲志愿者设备对应的设备信任指数和设备资源指数进行获取并分析，然后根据分析结果获得各个空闲志愿者设备对应的调度指数，最后根据各个空闲志愿者设备对应的调度指数对目标空闲设备进行判断，对目标空闲设备进行判断的具体方式为：
对各个空闲志愿者设备对应的调度指数进行比较分析，将其中调度指数最高的空闲志愿者设备作为AI模型的目标空闲设备，用于对AI模型进行部署。
4.根据权利要求3所述的一种基于志愿者计算的边缘AI任务调度和资源管理系统，其特征在于，获得各个空闲志愿者设备对应的调度指数的具体方法为：
通过公式Ra×θ1+Pa×θ2=Da，计算获得各个空闲志愿者设备对应的调度指数Da，其中a为空闲志愿者设备的数量，i≥a≥1，Ra为各个空闲志愿者设备对应的设备信任指数，Pa为各个空闲志愿者设备对应的设备资源指数，θ1和θ2均为预设系数，此处θ1=0.314，θ2=0.613。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311184777.3A CN116932228B (zh) | 2023-09-14 | 2023-09-14 | 一种基于志愿者计算的边缘ai任务调度和资源管理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311184777.3A CN116932228B (zh) | 2023-09-14 | 2023-09-14 | 一种基于志愿者计算的边缘ai任务调度和资源管理系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116932228A CN116932228A (zh) | 2023-10-24 |
| CN116932228B true CN116932228B (zh) | 2023-12-12 |
Family
ID=88388143
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311184777.3A Active CN116932228B (zh) | 2023-09-14 | 2023-09-14 | 一种基于志愿者计算的边缘ai任务调度和资源管理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116932228B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109167835A (zh) * | 2018-09-13 | 2019-01-08 | 重庆邮电大学 | 一种基于kubernetes的物理资源调度方法及系统 |
| US10275267B1 (en) * | 2012-10-22 | 2019-04-30 | Amazon Technologies, Inc. | Trust-based resource allocation |
| CN112132202A (zh) * | 2020-09-18 | 2020-12-25 | 嘉兴学院 | 一种基于综合信任评价的边缘计算协同盟员发现方法 |
| CN112764920A (zh) * | 2021-01-08 | 2021-05-07 | 世纪龙信息网络有限责任公司 | 一种边缘应用部署方法、装置、设备和存储介质 |
| WO2021088207A1 (zh) * | 2019-11-04 | 2021-05-14 | 深圳先进技术研究院 | 云计算集群混部作业调度方法、装置、服务器及存储装置 |
| CN115293367A (zh) * | 2022-08-30 | 2022-11-04 | 南京芯信能人工智能科技有限公司 | 小样本非平衡数据约束下调度模型的混合联邦学习方法 |
| CN115392467A (zh) * | 2022-08-29 | 2022-11-25 | 北京交通大学 | 面向海量数据实时处理的云边协同自适应深度推理方法 |
| CN116579418A (zh) * | 2023-05-18 | 2023-08-11 | 杭州电子科技大学 | 联邦边缘学习环境下模型分割优化的隐私数据保护方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130339972A1 (en) * | 2012-06-18 | 2013-12-19 | Zhuoyao Zhang | Determining an allocation of resources to a program having concurrent jobs |
| KR101922725B1 (ko) * | 2018-07-25 | 2018-11-27 | (주)엔터랩 | 인공지능 과제매칭 방법, 장치 및 프로그램 |
| JP2022500755A (ja) * | 2018-09-11 | 2022-01-04 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | 順次計算ｄａｇのための異種スケジューリング |
| US11140194B2 (en) * | 2019-12-18 | 2021-10-05 | Cyberark Software Ltd. | Measuring and comparing security efficiency and importance in virtualized environments |
| CH718872B1 (de) * | 2021-08-11 | 2024-03-15 | Palantir Technologies Inc | Verfahren und System zur Aufgabendurchführung in einer Gerätekonstellation. |
| US11799797B2 (en) * | 2022-02-28 | 2023-10-24 | Dell Products L.P. | Edge utility system with user-configurable trust settings for dynamic aggregation of edge resources |
-
2023
- 2023-09-14 CN CN202311184777.3A patent/CN116932228B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10275267B1 (en) * | 2012-10-22 | 2019-04-30 | Amazon Technologies, Inc. | Trust-based resource allocation |
| CN109167835A (zh) * | 2018-09-13 | 2019-01-08 | 重庆邮电大学 | 一种基于kubernetes的物理资源调度方法及系统 |
| WO2021088207A1 (zh) * | 2019-11-04 | 2021-05-14 | 深圳先进技术研究院 | 云计算集群混部作业调度方法、装置、服务器及存储装置 |
| CN112132202A (zh) * | 2020-09-18 | 2020-12-25 | 嘉兴学院 | 一种基于综合信任评价的边缘计算协同盟员发现方法 |
| CN112764920A (zh) * | 2021-01-08 | 2021-05-07 | 世纪龙信息网络有限责任公司 | 一种边缘应用部署方法、装置、设备和存储介质 |
| CN115392467A (zh) * | 2022-08-29 | 2022-11-25 | 北京交通大学 | 面向海量数据实时处理的云边协同自适应深度推理方法 |
| CN115293367A (zh) * | 2022-08-30 | 2022-11-04 | 南京芯信能人工智能科技有限公司 | 小样本非平衡数据约束下调度模型的混合联邦学习方法 |
| CN116579418A (zh) * | 2023-05-18 | 2023-08-11 | 杭州电子科技大学 | 联邦边缘学习环境下模型分割优化的隐私数据保护方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于综合信任的边缘计算资源协同研究;邓晓衡;关培源;万志文;刘恩陆;罗杰;赵智慧;刘亚军;张洪刚;;计算机研究与发展(第03期);第5-33页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116932228A (zh) | 2023-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3247089A1 (en) | Method, apparatus and system for adjusting deployment position of virtual machine | |
| US20200065710A1 (en) | Normalizing text attributes for machine learning models | |
| GB2604552A (en) | Fusing multimodal data using recurrent neural networks | |
| US10834183B2 (en) | Managing idle and active servers in cloud data centers | |
| CN112925637A (zh) | 用于一边缘运算网络的负载平衡装置及方法 | |
| CN110874634A (zh) | 神经网络的优化方法及装置、设备和存储介质 | |
| CN106815254A (zh) | 一种数据处理方法和装置 | |
| CN106445915A (zh) | 一种新词发现方法及装置 | |
| CN112070416A (zh) | 基于ai的rpa流程的生成方法、装置、设备及介质 | |
| CN112685209A (zh) | 一种虚拟资源检修服务故障恢复方法及系统 | |
| CN116932228B (zh) | 一种基于志愿者计算的边缘ai任务调度和资源管理系统 | |
| CN113657468A (zh) | 预训练模型的生成方法、装置、电子设备和存储介质 | |
| CN112882805A (zh) | 一种任务资源约束的利润优化调度方法 | |
| WO2024027071A1 (zh) | 一种数据监控方法及系统 | |
| CN112749202A (zh) | 一种信息操作策略确定方法、装置、设备及存储介质 | |
| CN114185938B (zh) | 基于数字金融及大数据溯源的项目溯源分析方法及系统 | |
| CN111241145A (zh) | 一种基于大数据的自愈规则挖掘方法及装置 | |
| CN113839799B (zh) | 一种告警关联规则挖掘方法及装置 | |
| CN113411841B (zh) | 5g切片的割接合并方法、装置及计算设备 | |
| CN115757002A (zh) | 一种能耗确定方法、装置、设备及计算机可读存储介质 | |
| CN116805926B (zh) | 网络业务类型识别模型训练方法、网络业务类型识别方法 | |
| CN112750047A (zh) | 行为关系信息提取方法及装置、存储介质、电子设备 | |
| CN113038520B (zh) | 一种拓扑感知的虚拟网服务故障恢复方法及系统 | |
| CN112235152B (zh) | 流量大小估算方法和装置 | |
| CN117609870B (zh) | 结构识别模型训练、模型结构识别方法、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |