CN117555696B - 一种多模型并发执行的数据交互方法及系统 - Google Patents
一种多模型并发执行的数据交互方法及系统 Download PDFInfo
- Publication number
- CN117555696B CN117555696B CN202410038614.2A CN202410038614A CN117555696B CN 117555696 B CN117555696 B CN 117555696B CN 202410038614 A CN202410038614 A CN 202410038614A CN 117555696 B CN117555696 B CN 117555696B
- Authority
- CN
- China
- Prior art keywords
- task
- data
- state
- feature
- compensation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 67
- 238000004364 calculation method Methods 0.000 claims abstract description 30
- 238000012795 verification Methods 0.000 claims description 24
- 238000000354 decomposition reaction Methods 0.000 claims description 21
- 230000003044 adaptive effect Effects 0.000 claims description 13
- 238000011084 recovery Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000006978 adaptation Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种多模型并发执行的数据交互方法及系统，涉及数据处理技术领域，构建任务特征集，调用协作模型集并读取CPU状态特征，分解目标任务并建立类型标签的协作关联，进行算力分配生成初始算力调度结果，对协作模型集进行并发执行进度拟合与拟合补偿，建立数据交互节点，联合拟合补偿结果完成目标任务的任务处理下的数据交互，解决了现有技术中无法结合处理器状态，进行交互处理任务与算力的有效均衡配置，无法针对实际执行进程进行适配的动态柔性调整，导致数据交互的管理灵活度与管理效果受限的技术问题，通过多模型协同，进行待处理任务的分解与针对性处理，针对任务进度进行基于数据交互管理的有效把控与适应性补偿调整。
Description
技术领域
本发明涉及数据处理技术领域，具体涉及一种多模型并发执行的数据交互方法及系统。
背景技术
目前，基于网络的数据交互需求越来越多，且交互场景越来越复杂，针对多元化的数据交互场景，传统模式下的既定机制，无法适应差异化的交互场景。目前，针对数据交互管理方面缺乏系统性的处理方式，无法结合处理器状态，进行交互处理任务与算力的有效均衡配置，无法针对实际执行进程进行适配的动态柔性调整，导致数据交互的管理灵活度与管理效果受限。
发明内容
本申请提供了一种多模型并发执行的数据交互方法及系统，用于针对解决现有技术中存在的无法结合处理器状态，进行交互处理任务与算力的有效均衡配置，无法针对实际执行进程进行适配的动态柔性调整，导致数据交互的管理灵活度与管理效果受限的技术问题。
鉴于上述问题，本申请提供了一种多模型并发执行的数据交互方法及系统。
第一方面，本申请提供了一种多模型并发执行的数据交互方法，所述方法包括：
构建任务特征集，所述任务特征集为提取目标任务的任务特征获取的特征数据集，其中，所述任务特征集包括任务安全特征、任务时限特征和任务类型特征，其中，所述目标任务通过读取任务列表获得；
以所述任务特征集进行协作模型集调用，并读取获得CPU状态特征，其中，所述CPU状态特征包括保持状态特征和预估状态特征；
依据所述任务类型特征进行目标任务分解，并基于目标任务分解结果建立类型标签的协作关联；
将所述任务特征集、所述CPU状态特征和所述协作模型集输入算力分配网络，生成初始算力调度结果，其中，所述初始算力调度结果与协作模型集具有映射关系；
通过所述初始算力调度结果进行协作模型集的并发执行进度拟合，并依据所述协作关联进行执行进度拟合的拟合补偿，并基于拟合补偿结果建立数据交互节点；
通过所述数据交互节点和拟合补偿结果完成目标任务的任务处理下的数据交互。
第二方面，本申请提供了一种多模型并发执行的数据交互系统，所述系统包括：
特征集构建模块，所述特征集构建模块用于构建任务特征集，所述任务特征集为提取目标任务的任务特征获取的特征数据集，其中，所述任务特征集包括任务安全特征、任务时限特征和任务类型特征，其中，所述目标任务通过读取任务列表获得；
特征读取模块，所述特征读取模块用于以所述任务特征集进行协作模型集调用，并读取获得CPU状态特征，其中，所述CPU状态特征包括保持状态特征和预估状态特征；
关联建立模块，所述关联建立模块用于依据所述任务类型特征进行目标任务分解，并基于目标任务分解结果建立类型标签的协作关联；
算力分配模块，所述算力分配模块用于将所述任务特征集、所述CPU状态特征和所述协作模型集输入算力分配网络，生成初始算力调度结果，其中，所述初始算力调度结果与协作模型集具有映射关系；
节点建立模块，所述节点建立模块用于通过所述初始算力调度结果进行协作模型集的并发执行进度拟合，并依据所述协作关联进行执行进度拟合的拟合补偿，并基于拟合补偿结果建立数据交互节点；
数据交互模块，所述数据交互模块用于通过所述数据交互节点和拟合补偿结果完成目标任务的任务处理下的数据交互。
本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：
本申请实施例提供的一种多模型并发执行的数据交互方法，构建任务特征集，为提取目标任务的任务特征获取的特征数据集，以所述任务特征集进行协作模型集调用，并读取获得CPU状态特征，所述CPU状态特征包括保持状态特征和预估状态特征，依据所述任务类型特征进行目标任务分解，建立类型标签的协作关联，将所述任务特征集、所述CPU状态特征和所述协作模型集输入算力分配网络，生成初始算力调度结果，对协作模型集进行并发执行进度拟合，并依据所述协作关联进行执行进度拟合的拟合补偿，基于拟合补偿结果建立数据交互节点，联合拟合补偿结果完成目标任务的任务处理下的数据交互，解决了现有技术中存在的无法结合处理器状态，进行交互处理任务与算力的有效均衡配置，无法针对实际执行进程进行适配的动态柔性调整，导致数据交互的管理灵活度与管理效果受限的技术问题，通过多模型协同，进行待处理任务的分解与针对性处理，针对任务进度进行基于数据交互管理的有效把控与适应性补偿调整。
附图说明
图1为本申请提供了一种多模型并发执行的数据交互方法流程示意图；
图2为本申请提供了一种多模型并发执行的数据交互方法中结构连接流程示意图；
图3为本申请提供了一种多模型并发执行的数据交互系统结构示意图。
附图标记说明：特征集构建模块11，特征读取模块12，关联建立模块13，算力分配模块14，节点建立模块15，数据交互模块16。
具体实施方式
本申请通过提供一种多模型并发执行的数据交互方法及系统，构建任务特征集，调用协作模型集并读取CPU状态特征，分解目标任务并建立类型标签的协作关联，进行算力分配生成初始算力调度结果，对协作模型集进行并发执行进度拟合与拟合补偿，建立数据交互节点，联合拟合补偿结果完成目标任务的任务处理下的数据交互，用于解决现有技术中存在的无法结合处理器状态，进行交互处理任务与算力的有效均衡配置，无法针对实际执行进程进行适配的动态柔性调整，导致数据交互的管理灵活度与管理效果受限的技术问题。
实施例一
如图1、图2所示，本申请提供了一种多模型并发执行的数据交互方法，所述方法包括：
S1：构建任务特征集，所述任务特征集为提取目标任务的任务特征获取的特征数据集，其中，所述任务特征集包括任务安全特征、任务时限特征和任务类型特征，其中，所述目标任务通过读取任务列表获得；
基于网络的数据交互需求越来越多，且交互场景越来越复杂，为适应多元化的数据交互场景，本申请提供了一种多模型并发制造型的数据交互方法，通过多模型协同，进行待处理任务的分解与针对性处理，针对任务进度进行基于数据交互管理的有效把控与适应性补偿调整。
其中，所述任务列表为待执行数据交互的交互任务集合，其中，各交互任务集合存在至少两个交互方，所述任务列表可视为中转站，针对存在的新增交互任务，收录于所述任务列表中。进一步的，遍历所述任务列表，读取待进行交互处理的所述目标任务。识别所述目标任务的任务安全特征，即任务执行时存在的潜在性风险，例如，基于交互数据的保密等级，交互过程中存在的网络安全等；识别所述目标任务的任务时限特征，即任务执行的起始节点，终止时限节点，交互过程时限约束等；识别所述目标任务的任务类型特征，例如单双工交互、交互方式等，集成所述任务安全特征、所述任务时限特征与所述任务类型特征，作为所述任务特征集。通过提取契合于所述目标任务的针对性特征，为后续进行并发处理配置提供了依据。
S2：以所述任务特征集进行协作模型集调用，并读取获得CPU状态特征，其中，所述CPU状态特征包括保持状态特征和预估状态特征；
其中，本申请S2还包括：
获取CPU属性数据，并依据CPU属性数据提取CPU的运行数据集；
读取CPU的实时工作数据，其中，所述实时工作数据包括工作任务数据、温度数据、预测状态数据；
获取任务时限特征前的分配任务数据，基于所述分配任务数据、预测状态数据、温度数据和所述运行数据集进行节点状态预测；
将所述实时工作数据作为保持状态特征，将节点状态预测结果作为预估状态特征，以获得CPU状态特征。
其中，本申请还包括：
以所述运行数据集建立状态预测模型；
提取所述CPU的启动数据，并建立特征集，其中，所述特征集包括运行时长特征集、节点任务特征集；
将所述特征集输入所述状态预测模型，基于所述状态预测模型的阈值强度连续通道进行特征增强后，完成状态预测，获得所述预测状态数据。
其中，本申请还包括：
配置时序衰减影响子通道和恢复影响子通道；
当阈值强度连续通道进行特征增强时，依据所述时序衰减影响子通道和所述恢复影响子通道进行增强结果补偿；
根据补偿结果完成状态预测。
其中，针对数据交互，存在基于交互需求差异化的多个执行模型，其中，所述多个执行模型为交互管理系统与处理器预先配置的功能模型。基于所述任务特征集，进行适配执行模型的调用，集成作为所述协作模型集。并进行CPU当前的处理状态分析，确定所述目标任务处理前CPU的保持状态特征，与基于任务时限特征的预估状态特征，作为所述CPU状态特征。
对所述目标任务进行分解与协作模型分配前，需预先进行中央处理器的状态评定，结合中央处理器状态进行适应性配置，可有效提高交互协作配置与计算机系统的契合性，提高数据交互执行能效。
具体的，由于处理器配置的差异化，同处理场景下的处理能效存在差异化，读取CPU属性数据，例如，逻辑运算、控制、存储等属性，针对各属性数据，提取预定时区内CPU的运行数据集，其中，所述预定时区优选为接壤于当前时刻点的前推时间区间，以确保所述运行数据集的时效性。
针对CPU当前的处理状况进行读取，包括工作任务数据、温度数据与预测状态数据，即，所述工作任务数据为当前正在处理的工作任务，所述工作任务数据会占用部分CPU算力；所述温度数据为CPU运行温度，一定程度上会影响处理状态，温度越低、温度越稳定，即CPU状态越好；所述预测状态数据为CPU的数据交互处理状态，基于训练的所述状态预测模型分析确定。
基于所述运行数据集，监督训练状态预测模型。如下为一种可行性的模型训练方式，基于所述运行数据集，提取一一映射的工况数据与状态数据，基于所述工况数据，随机提取一项作为第一决策层的决策节点，对所述工况数据进行二分类；再次基于所述工况数据随机提取一项，作为第二决策层的决策节点，对二分类结果再次进行划分，重复迭代，直至达到最大决策层，并获取第N决策层，对所述第一决策层、所述第二决策层直至所述第N决策层进行层级关联，进而对所述状态数据进行遍历匹配与层级对应标识，生成状态决策树，基于所述状态决策树搭建所述状态预测模型。
进一步的，提取所述CPU的启动数据，即随着CPU启动时刻的连续工作数据，基于所述启动数据，识别并提取各任务的运行时长，各任务强度等，作为所述运行时长特征集与所述节点任务特征集，其中，所述运行时长特征集与所述节点任务特征集存在映射关系，集成所述运行时长特征集与所述节点任务特征集，作为所述特征集。基于所述特征集，针对所述CPU当前连续工作时长与工作强度，预测CPU的实际运行状态。
进一步将所述特征集输入所述状态预测模型中进行状态预测，同时由于受连续处理时长影响，导致实际状态较之理想状态存在差别，结合所述阈值强度连续通道进行特征增强，例如，当满足某一任务强度下的连处理时长，可能会影响处理器的状态，可对其进行时序衰减处理。具体的，配置所述时序衰减影响子通道与恢复影响子通道，所述阈值强度连续通道、所述时序衰减影响子通道与所述恢复影响子通道同步运行处理，即，当基于所述阈值强度连续通道的特征增强时，例如，任务处理强度超出强度阈值，或连续处理时长超出时间阈值，表明当前的CPU状态受到影响，基于所述时序衰减影响子通道，对随时序推移下的预测状态进行衰减处理，即状态的劣向补偿调整；当不存在基于特征增强的状态影响减弱时，基于所述恢复影响子通道进行优向补偿调整。
随着所述状态预测模型的处理，所述阈值强度连续通道、所述时序衰减影响子通道与所述恢复影响子通道同步进行预测实况的补偿处理，由于受实际运行状况的影响，导致结合CPU的实际运行状态较之本身状态存在一定的差别，结合实际处理场景下的影响因素，可有效保障预测结果的实际符合度，提高状态预测精准度。
其中，可基于样本数据进行子通道的运行机制训练，确定所述时序衰减影响子通道与所述恢复影响子通道的补偿幅度。采集样本特征数据与样本补偿数据，以强度阈值为临界值，随着强度阈值的超限，标识不同超限步长下的衰减补偿幅度，作为训练数据，进行监督训练构成所述时序衰减影响子通道。其中，所述恢复影响子通道与所述时序衰减影响子通道的训练方式相同，具体训练数据不同。
随着所述阈值强度连续通道进行特征增强时，例如连续处理时长的增加，所述时序衰减影响子通道和所述恢复影响子通道对增强结果进行补偿处理，获取补偿后的所述预测状态数据。
进一步的，获取任务时限特征前的分配任务数据，即任务处理时间区间内的任务分配状况，结合所述分配任务数据、所述预测状态数据、所述温度数据和所述运行数据集进，预测基于所述任务时限特征，即任务完成时间节点的状态，作为所述节点状态预测结果。将所述实时工作数据作为所述保持状态特征，将所述节点状态预测结果作为所述预估状态特征，将所述保持状态特征与所述预估状态特征作为所述CPU状态特征。
S3：依据所述任务类型特征进行目标任务分解，并基于目标任务分解结果建立类型标签的协作关联；
S4：将所述任务特征集、所述CPU状态特征和所述协作模型集输入算力分配网络，生成初始算力调度结果，其中，所述初始算力调度结果与协作模型集具有映射关系；
读取所述任务类型特征，对所述目标任务进行分解，即将所述目标任务分解为多个子任务，进行针对性独立处理，获取所述目标任务分解结果，优选的，任务分解的细化程度可基于任务复杂度进行自定义设定，由本领域技术人员自行把控即可。针对所述目标任务分解结果进行任务类型标签的标识，针对同步处理的目标分解任务，基于任务间关联度进行同步协作标识，针对先后处理的目标分解任务，基于任务间的关联度进行异步协作标识，完成基于类型标签的协作关联。
进一步的，所述算力分配网络为进行数据处理算力配置的均衡分配网络，如下所述算力分配网络的一种可行性构建方式，采集样本任务特征、样本CPU状态、所述协作模型集与样本算力调度数据，进行样本数据的映射关联确定训练数据，基于所述训练数据进行前馈神经网络训练，生成所述算力分配网络。优选的，基于所述训练数据对所述算力分配网络进行验证，筛选不满足精度标准的训练数据，再次对所述算力分配网络进行复训，重复迭代，直至验证结果皆满足精度标准，获取构建完成的所述算力分配网络。
将所述任务特征集、所述CPU状态特征和所述协作模型集输入所述算力分配网络，结合所述任务特征集与所述CPU状态特征，针对所述协作模型集进行模型处理的算力分配，确定所述初始算力调度结果，所述初始算力调度结果与协作模型集具有映射关系，即所述初始算力调度结果包括了所述协作模型集中各模型的分配算力。
S5：通过所述初始算力调度结果进行协作模型集的并发执行进度拟合，并依据所述协作关联进行执行进度拟合的拟合补偿，并基于拟合补偿结果建立数据交互节点；
S6：通过所述数据交互节点和拟合补偿结果完成目标任务的任务处理下的数据交互。
基于所述初始算力调度结果，对所述协作模型集中各模型进行算力调度配置，对所述协作模型集的并发执行进度分析，确定模型协同处理下的数据交互进度。由于所述协作模型集中各模型间的协同影响性，基于所述协作关联，确定并发进度的影响幅度，执行进度拟合的拟合补偿，即进行拟合进度的校准，获取所述拟合补偿结果。基于所述拟合补偿结果，确定数据交互的时间节点，作为所述数据交互节点。进一步的，基于所述数据交互节点与所述拟合补偿结果，对所述目标任务执行基于所述协作模型集的任务执行与数据交互管理。
其中，本申请S6还包括：
根据所述数据交互节点建立协作模型集的模型协作关联；
依据所述模型协作关联建立补偿空间，其中，所述补偿空间通过模型任务量和模型关键值建立；
在所述补偿空间进行协作模型集的任务执行校验，生成任务执行校验结果；
基于所述任务执行校验结果进行任务进度补偿。
其中，本申请还包括：
将所述任务执行校验结果输入决策网络，其中，所述决策网络为执行任务进度补偿决策的控制网络；
通过补偿空间内的CPU状态特征进行决策网络的网络初始化；
根据网络初始化后的决策网络对所述任务执行校验结果进行任务补偿决策，完成任务进度补偿管理。
其中，本申请还包括：
根据任务执行校验结果确定修正任务量；
以所述修正任务量和CPU状态特征进行新增任务的适配评价，基于适配评价结果生成第一决策影响值；
对任务执行校验结果的延时特征提取，获得延时时长和延时主体；
通过所述数据交互节点进行延时主体的影响节点分析，并通过延时时长生成第二决策影响值；
根据所述第一决策影响值和所述第二决策影响值进行任务补偿决策。
基于所述数据交互节点建立所述协作模型集的模型协作关联，其中，所述模型协作关联，结合类型标签的协作关联，进行算力调度与并发执行拟合分析后，确定数据交互节点，并基于所述数据交互节点建立所述模型协作关联，其中，所述类型标签的协作关联为初始确定的关联，结合实际进行分析与适当调整，所述模型协作关联更为准确，且带有基于数据交互节点的时间标识。
其中，所述模型任务量为各协作模型对应的分解任务的处理量，所述模型关键值为各协作模型的协同影响度，即基于所述模型协作关联，对于各协作模型处理进程的影响度，以及模型本身的处理度，结合所述模型协作关联，确定所述模型任务量与所述模型关键值，搭建所述补偿空间。随着所述目标任务的执行，基于所述补偿空间，对所述协作模型集进行任务执行的完成度校验，例如，针对不同任务处理时间节点，基于模型的任务执行进度，处理状态是否符合关键值标准，获取所述任务执行校验结果。
进一步的，针对所述任务执行校验结果，进行任务进度的补偿决策管理。具体的，搭建所述决策网络，所述决策网络用于进行任务进度的补偿决策。基于所述补偿空间内的CPU状态特征，对所述决策网络进行网络初始化处理，使得所述决策网络的决策机制与实际处理相契合。将所述任务执行校验结果输入网络初始化后的所述决策网络，对基于所述协作模型集的任务完成度进行补偿决策，确定基于当前任务节点与基于模型的任务执行状态的补偿策略。
具体的，结合所述任务执行校验结果，确定当前任务节点中，预期执行进度与实际执行进度的差量，作为所述任务修正量。基于所述任务修正量与CPU状态特征，将所述任务修正量为新增任务，确定基于CPU状态对所述新增任务进行处理的适配度，即能否满足新增任务处理标准，确定所述适配评价结果，生成所述第一决策影响值，其中，所述适配评价结果与所述第一决策影响值呈负相关。
基于所述任务执行校验结果，识别并提取延时特征，即任务进度不达标的分解任务，将其对应处理的协同模型作为所述延时主体，将该分解任务的进度较之整体任务进度的差量，作为所述延时时长。基于所述数据交互节点，对所述延时主体进行影响节点分析，确定基于延时主体的延时所影响的数据交互方，并确定交互节点延时时长，确定所述第二决策影响值。基于所述第一决策影响值和所述第二决策影响值进行任务补偿决策，进行完成任务进度的补偿管理，例如，数据交互节点的调整等，结合实际任务进度进行适应性柔性管理。
本申请提供的一种多模型并发执行的数据交互方法，具有如下技术效果：
1、本申请实施例提供的一种多模型并发执行的数据交互方法，通过多模型协同，进行待处理任务的分解与针对性处理，针对任务进度进行基于数据交互管理的有效把控与适应性补偿调整，解决了现有技术中无法结合处理器状态，进行交互处理任务与算力的有效均衡配置，无法针对实际执行进程进行适配的动态柔性调整，导致数据交互的管理灵活度与管理效果受限的技术问题。
2、以CPU状态特征为约束，针对分解后的目标任务进行基于映射的协作模型的算力配置与处理进度分析决策，提高任务处理配置与处理场景、处理器状态的契合度。
3、针对任务预测进程，基于特征变量进行基于影响因子的衰减补偿处理，提高预测的数据交互节点的准确度；针对实时任务进程，针对各分解任务进度，进行差量分析与多维影响分析，以进行任务进度的补偿决策管理。
实施例二
基于与前述实施例中一种多模型并发执行的数据交互方法相同的发明构思，如图3所示，本申请提供了一种多模型并发执行的数据交互系统，所述系统包括：
特征集构建模块11，所述特征集构建模块11用于构建任务特征集，所述任务特征集为提取目标任务的任务特征获取的特征数据集，其中，所述任务特征集包括任务安全特征、任务时限特征和任务类型特征，其中，所述目标任务通过读取任务列表获得；
特征读取模块12，所述特征读取模块12用于以所述任务特征集进行协作模型集调用，并读取获得CPU状态特征，其中，所述CPU状态特征包括保持状态特征和预估状态特征；
关联建立模块13，所述关联建立模块13用于依据所述任务类型特征进行目标任务分解，并基于目标任务分解结果建立类型标签的协作关联；
算力分配模块14，所述算力分配模块14用于将所述任务特征集、所述CPU状态特征和所述协作模型集输入算力分配网络，生成初始算力调度结果，其中，所述初始算力调度结果与协作模型集具有映射关系；
节点建立模块15，所述节点建立模块15用于通过所述初始算力调度结果进行协作模型集的并发执行进度拟合，并依据所述协作关联进行执行进度拟合的拟合补偿，并基于拟合补偿结果建立数据交互节点；
数据交互模块16，所述数据交互模块16用于通过所述数据交互节点和拟合补偿结果完成目标任务的任务处理下的数据交互。
其中，所述特征读取模块12还包括：
数据集提取模块，所述数据集提取模块用于获取CPU属性数据，并依据CPU属性数据提取CPU的运行数据集；
实时工作数据读取模块，所述实时工作数据读取模块用于读取CPU的实时工作数据，其中，所述实时工作数据包括工作任务数据、温度数据、预测状态数据；
节点状态预测模块，所述节点状态预测模块用于获取任务时限特征前的分配任务数据，基于所述分配任务数据、预测状态数据、温度数据和所述运行数据集进行节点状态预测；
CPU状态特征获取模块，所述CPU状态特征获取模块用于将所述实时工作数据作为保持状态特征，将节点状态预测结果作为预估状态特征，以获得CPU状态特征。
其中，所述系统还包括：
模型建立模块，所述模型建立模块用于以所述运行数据集建立状态预测模型；
特征集建立模块，所述特征集建立模块用于提取所述CPU的启动数据，并建立特征集，其中，所述特征集包括运行时长特征集、节点任务特征集；
预测状态数据获取模块，所述预测状态数据获取模块用于将所述特征集输入所述状态预测模型，基于所述状态预测模型的阈值强度连续通道进行特征增强后，完成状态预测，获得所述预测状态数据。
其中，所述系统还包括：
子通道配置模块，所述子通道配置模块用于配置时序衰减影响子通道和恢复影响子通道；
增强结果补偿模块，所述增强结果补偿模块用于当阈值强度连续通道进行特征增强时，依据所述时序衰减影响子通道和所述恢复影响子通道进行增强结果补偿；
状态预测模块，所述状态预测模块用于根据补偿结果完成状态预测。
其中，所述数据交互模块16还包括：
模型协作关联建立模块，所述模型协作关联建立模块用于根据所述数据交互节点建立协作模型集的模型协作关联；
补偿空间建立模块，所述补偿空间建立模块用于依据所述模型协作关联建立补偿空间，其中，所述补偿空间通过模型任务量和模型关键值建立；
任务执行校验模块，所述任务执行校验模块用于在所述补偿空间进行协作模型集的任务执行校验，生成任务执行校验结果；
任务进度补偿模块，所述任务进度补偿模块用于基于所述任务执行校验结果进行任务进度补偿。
其中，所述系统还包括：
结果输入模块，所述结果输入模块用于将所述任务执行校验结果输入决策网络，其中，所述决策网络为执行任务进度补偿决策的控制网络；
网络初始化模块，所述网络初始化模块用于通过补偿空间内的CPU状态特征进行决策网络的网络初始化；
补偿管理模块，所述补偿管理模块用于根据网络初始化后的决策网络对所述任务执行校验结果进行任务补偿决策，完成任务进度补偿管理。
其中，所述系统还包括：
修正任务量确定模块，所述修正任务量确定模块用于根据任务执行校验结果确定修正任务量；
第一决策影响值生成模块，所述第一决策影响值生成模块用于以所述修正任务量和CPU状态特征进行新增任务的适配评价，基于适配评价结果生成第一决策影响值；
延时特征提取模块，所述延时特征提取模块用于对任务执行校验结果的延时特征提取，获得延时时长和延时主体；
第二决策影响值生成模块，所述第二决策影响值生成模块用于通过所述数据交互节点进行延时主体的影响节点分析，并通过延时时长生成第二决策影响值；
任务补偿决策模块，所述任务补偿决策模块用于根据所述第一决策影响值和所述第二决策影响值进行任务补偿决策。
本说明书通过前述对一种多模型并发执行的数据交互方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种多模型并发执行的数据交互方法及系统，对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种多模型并发执行的数据交互方法，其特征在于，所述方法包括：
构建任务特征集，所述任务特征集为提取目标任务的任务特征获取的特征数据集，其中，所述任务特征集包括任务安全特征、任务时限特征和任务类型特征，其中，所述目标任务通过读取任务列表获得；
以所述任务特征集进行协作模型集调用，并读取获得CPU状态特征，其中，所述CPU状态特征包括保持状态特征和预估状态特征；
依据所述任务类型特征进行目标任务分解，并基于目标任务分解结果建立类型标签的协作关联；
将所述任务特征集、所述CPU状态特征和所述协作模型集输入算力分配网络，生成初始算力调度结果，其中，所述初始算力调度结果与协作模型集具有映射关系；
通过所述初始算力调度结果进行协作模型集的并发执行进度拟合，并依据所述协作关联进行执行进度拟合的拟合补偿，并基于拟合补偿结果建立数据交互节点；
通过所述数据交互节点和拟合补偿结果完成目标任务的任务处理下的数据交互。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
获取CPU属性数据，并依据CPU属性数据提取CPU的运行数据集；
读取CPU的实时工作数据，其中，所述实时工作数据包括工作任务数据、温度数据、预测状态数据；
获取任务时限特征前的分配任务数据，基于所述分配任务数据、预测状态数据、温度数据和所述运行数据集进行节点状态预测；
将所述实时工作数据作为保持状态特征，将节点状态预测结果作为预估状态特征，以获得CPU状态特征。
3.如权利要求2所述的方法，其特征在于，所述方法还包括：
以所述运行数据集建立状态预测模型；
提取所述CPU的启动数据，并建立特征集，其中，所述特征集包括运行时长特征集、节点任务特征集；
将所述特征集输入所述状态预测模型，基于所述状态预测模型的阈值强度连续通道进行特征增强后，完成状态预测，获得所述预测状态数据。
4.如权利要求3所述的方法，其特征在于，所述方法还包括：
配置时序衰减影响子通道和恢复影响子通道；
当阈值强度连续通道进行特征增强时，依据所述时序衰减影响子通道和所述恢复影响子通道进行增强结果补偿；
根据补偿结果完成状态预测。
5.如权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述数据交互节点建立协作模型集的模型协作关联；
依据所述模型协作关联建立补偿空间，其中，所述补偿空间通过模型任务量和模型关键值建立；
在所述补偿空间进行协作模型集的任务执行校验，生成任务执行校验结果；
基于所述任务执行校验结果进行任务进度补偿。
6.如权利要求5所述的方法，其特征在于，所述方法还包括：
将所述任务执行校验结果输入决策网络，其中，所述决策网络为执行任务进度补偿决策的控制网络；
通过补偿空间内的CPU状态特征进行决策网络的网络初始化；
根据网络初始化后的决策网络对所述任务执行校验结果进行任务补偿决策，完成任务进度补偿管理。
7.如权利要求6所述的方法，其特征在于，所述方法还包括：
根据任务执行校验结果确定修正任务量；
以所述修正任务量和CPU状态特征进行新增任务的适配评价，基于适配评价结果生成第一决策影响值；
对任务执行校验结果的延时特征提取，获得延时时长和延时主体；
通过所述数据交互节点进行延时主体的影响节点分析，并通过延时时长生成第二决策影响值；
根据所述第一决策影响值和所述第二决策影响值进行任务补偿决策。
8.一种多模型并发执行的数据交互系统，其特征在于，所述系统包括：
特征集构建模块，所述特征集构建模块用于构建任务特征集，所述任务特征集为提取目标任务的任务特征获取的特征数据集，其中，所述任务特征集包括任务安全特征、任务时限特征和任务类型特征，其中，所述目标任务通过读取任务列表获得；
特征读取模块，所述特征读取模块用于以所述任务特征集进行协作模型集调用，并读取获得CPU状态特征，其中，所述CPU状态特征包括保持状态特征和预估状态特征；
关联建立模块，所述关联建立模块用于依据所述任务类型特征进行目标任务分解，并基于目标任务分解结果建立类型标签的协作关联；
算力分配模块，所述算力分配模块用于将所述任务特征集、所述CPU状态特征和所述协作模型集输入算力分配网络，生成初始算力调度结果，其中，所述初始算力调度结果与协作模型集具有映射关系；
节点建立模块，所述节点建立模块用于通过所述初始算力调度结果进行协作模型集的并发执行进度拟合，并依据所述协作关联进行执行进度拟合的拟合补偿，并基于拟合补偿结果建立数据交互节点；
数据交互模块，所述数据交互模块用于通过所述数据交互节点和拟合补偿结果完成目标任务的任务处理下的数据交互。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410038614.2A CN117555696B (zh) | 2024-01-11 | 2024-01-11 | 一种多模型并发执行的数据交互方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410038614.2A CN117555696B (zh) | 2024-01-11 | 2024-01-11 | 一种多模型并发执行的数据交互方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117555696A CN117555696A (zh) | 2024-02-13 |
| CN117555696B true CN117555696B (zh) | 2024-03-15 |
Family
ID=89813205
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410038614.2A Active CN117555696B (zh) | 2024-01-11 | 2024-01-11 | 一种多模型并发执行的数据交互方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117555696B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104937544A (zh) * | 2013-01-11 | 2015-09-23 | 国际商业机器公司 | 计算回归模型 |
| CN112955869A (zh) * | 2018-11-08 | 2021-06-11 | 英特尔公司 | 功能即服务（faas）系统增强 |
| CN114218659A (zh) * | 2021-12-31 | 2022-03-22 | 国网北京市电力公司 | 一种变电工程协同设计方法、系统、装置及存储介质 |
| CN115248728A (zh) * | 2022-09-21 | 2022-10-28 | 之江实验室 | 面向智能计算的分布式训练任务调度方法、系统和装置 |
| CN116011722A (zh) * | 2022-05-11 | 2023-04-25 | 中国电力科学研究院有限公司 | 一种面向大电网的人机协作的调控方法、模块及装置 |
| CN116893861A (zh) * | 2023-07-21 | 2023-10-17 | 河北工程大学 | 基于空地协同边缘计算的多智能体协作依赖任务卸载方法 |
| CN116974994A (zh) * | 2023-07-31 | 2023-10-31 | 中电信数智科技有限公司 | 一种基于集群的高效能文件协作系统 |
| CN117290090A (zh) * | 2023-09-01 | 2023-12-26 | 中国移动通信集团江苏有限公司 | 节点协同资源分配方法、装置、设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110580196B (zh) * | 2019-09-12 | 2021-04-06 | 北京邮电大学 | 一种实现并行任务调度的多任务强化学习方法 |
-
2024
- 2024-01-11 CN CN202410038614.2A patent/CN117555696B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104937544A (zh) * | 2013-01-11 | 2015-09-23 | 国际商业机器公司 | 计算回归模型 |
| CN112955869A (zh) * | 2018-11-08 | 2021-06-11 | 英特尔公司 | 功能即服务（faas）系统增强 |
| CN114218659A (zh) * | 2021-12-31 | 2022-03-22 | 国网北京市电力公司 | 一种变电工程协同设计方法、系统、装置及存储介质 |
| CN116011722A (zh) * | 2022-05-11 | 2023-04-25 | 中国电力科学研究院有限公司 | 一种面向大电网的人机协作的调控方法、模块及装置 |
| CN115248728A (zh) * | 2022-09-21 | 2022-10-28 | 之江实验室 | 面向智能计算的分布式训练任务调度方法、系统和装置 |
| CN116893861A (zh) * | 2023-07-21 | 2023-10-17 | 河北工程大学 | 基于空地协同边缘计算的多智能体协作依赖任务卸载方法 |
| CN116974994A (zh) * | 2023-07-31 | 2023-10-31 | 中电信数智科技有限公司 | 一种基于集群的高效能文件协作系统 |
| CN117290090A (zh) * | 2023-09-01 | 2023-12-26 | 中国移动通信集团江苏有限公司 | 节点协同资源分配方法、装置、设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| JOSS: Joint Exploration of CPU-Memory DVFS and Task Scheduling for Energy Efficiency;Jing Chen;Proceedings of the 52nd International Conference on Parallel Processing;20230831;全文 * |
| 基于CPU-GPU混合计算平台的RNA二级结构预测算法并行化研究;夏飞;朱强华;金国庆;;国防科技大学学报;20131228(06);全文 * |
| 基于I/O受限进程识别的虚拟处理器调度机制;王强;董小社;王恩东;朱正东;;西安交通大学学报;20150410(04);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117555696A (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104951425B (zh) | 一种基于深度学习的云服务性能自适应动作类型选择方法 | |
| CN113282368B (zh) | 一种用于变电站巡视的边缘计算资源调度方法 | |
| CN111079931A (zh) | 一种基于图神经网络的状态空间概率性多时间序列预测方法 | |
| EP1903479B1 (en) | Method and system for data classification using a self-organizing map | |
| CN111160621A (zh) | 一种融合多源信息的短期风电功率预测方法 | |
| CN115906160B (zh) | 一种基于人工智能分析的信息处理方法及系统 | |
| CN113822173A (zh) | 基于节点归并和路径预测的行人属性识别训练加速方法 | |
| Shahraki et al. | An outlier detection method to improve gathered datasets for network behavior analysis in IoT | |
| CN116843083A (zh) | 基于混合神经网络模型的碳排放预测系统及方法 | |
| Kimovski et al. | Feature selection in high-dimensional EEG data by parallel multi-objective optimization | |
| CN117555696B (zh) | 一种多模型并发执行的数据交互方法及系统 | |
| Alzyadat et al. | Fuzzy map approach for accruing velocity of big data | |
| CN111652269B (zh) | 一种基于群智交互的主动机器学习方法及装置 | |
| CN109743200B (zh) | 基于资源特征的云计算平台计算任务成本预测方法及系统 | |
| Al-Zarrad et al. | A new model to improve project time-cost trade-off in uncertain environments | |
| CN115438190B (zh) | 一种配电网故障辅助决策知识抽取方法及系统 | |
| CN116226689A (zh) | 一种基于高斯混合模型的配电网典型运行场景生成方法 | |
| Xu et al. | Federated traffic synthesizing and classification using generative adversarial networks | |
| CN112181952B (zh) | 数据模型的构建方法、系统、设备及存储介质 | |
| CN113505064B (zh) | 一种基于异构信息流的电力大数据业务系统测试方法 | |
| CN113992542A (zh) | 一种基于新增流数目特征的在线网络流量预测方法及系统 | |
| CN114528973A (zh) | 业务处理模型的生成方法、业务处理方法和装置 | |
| CN113822412A (zh) | 一种图节点标注方法、装置、设备及存储介质 | |
| Du et al. | OctopusKing: A TCT-aware task scheduling on spark platform | |
| Porco et al. | Automatic generation of mixed integer programming for scheduling problems based on colored timed Petri nets |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |