CN117407179A - 一种基于协同处理的加速子卡处理方法及系统 - Google Patents

Abstract

本发明提供一种基于协同处理的加速子卡处理方法及系统，本发明通过对各任务进行预处理，以得到的体量预估值，并由此计算出各类待处理数据的权重，且通过将加速子卡进行固定化加速子卡以及自由化加速子卡的划分，便于根据建立调配数学模型，以输入任务各类数据的权重来调度固定化加速子卡和自由化加速子卡，固定化加速子卡用于处理重要性较高或固定类别数据，而自由化加速子卡根据任务的权重和需求进行灵活调整，调配数学模型根据任务数据的权重调度加速子卡，使得资源的分配更加合理和高效，能够兼容任务的优先级和待处理数据的权重，降低任务处理的阻塞，同时，为切换任务处理提供了良好的操作保障，使得任务处理能够更加顺畅和高效进行。

Description

一种基于协同处理的加速子卡处理方法及系统

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于协同处理的加速子卡处理方法及系统。

背景技术

加速子卡处理方法是一种利用多个处理单元（例如GPU、FPGA或其他加速器）共同协作来加速计算任务的方法，这种方法将计算任务分解成多个子任务，然后并行地在多个加速子卡上进行处理，加速子卡处理方法可以显著提高计算任务的处理速度和效率。通过充分利用多个加速子卡的并行计算能力，可以加快复杂计算任务的执行。

然而，在处理多个任务时，存在一些挑战和限制，首先，对于多个任务的并行处理，需要合理安排任务的优先级，根据任务的优先级，可以确定任务的处理顺序，确保优先级较高的任务先被处理。这样可以保证重要的任务能够及时得到处理，但也可能导致在处理优先级较高的任务时，其他任务需要等待，从而影响整体的处理效率；

其次，切换任务时可能存在临时阻塞的情况。当切换到下一个任务时，需要将当前任务的状态保存并加载下一个任务的状态，这个切换过程可能会导致一定的延迟和阻塞。这可能会影响到任务处理的效率，特别是当任务切换频繁时。

因此，有必要提供一种基于协同处理的加速子卡处理方法及系统解决上述技术问题。

发明内容

为解决上述技术问题，本发明提供一种基于协同处理的加速子卡处理方法及系统，实现兼容任务打开的优先级和待处理数据的权重，来进行自由调度加速子卡完成对任务数据的协同处理，降低了任务处理的阻塞，有效提高了对多任务的处理效率，为切换任务处理提供了良好的操作保障。

为实现上述目的，本发明提供如下技术方案：一种基于协同处理的加速子卡处理方法，所述处理方法包括以下步骤：

S1、获取待处理任务，其中，所述待处理任务包括各类数据，并对待处理任务进行预处理，得到各类数据的数据体量预估值；

S2、基于预处理后的数据体量预估值，计算出待处理任务中各类数据的权重；

S3、获取并分类处理加速子卡，将加速子卡划分为固定化加速子卡和自由化加速子卡；

S4、基于历史任务和历史任务对应的数据体量预估值构建偏差判断模型，将待处理任务的各类数据的数据体量预估值输入偏差判断模型，获得偏差判断模型输出的判断结果，并根据判断结果为待处理任务匹配处理方案，其中，所述处理方案包括协同处理和独立处理；

S5、基于待处理任务中各类数据的权重构建调配数学模型，并根据调配数学模型调度固定化加速子卡和自由化加速子卡协同处理待处理任务中的各类数据，得到由固定化加速子卡处理的处理数据，以及由自由化加速子卡处理的处理数据；

S6、将归属于同一待处理任务的由固定化加速子卡处理的处理数据，以及由自由化加速子卡处理的处理数据进行合并，获得最终处理结果。

优选的，所述步骤S1具体包括以下步骤：

S1.1、依次对待处理任务的各类数据进行类别识别，其中，类别包括图像数据和文本数据；

S1.2、根据识别的图像数据和文本数据，分别对图像数据和文本数据进行体量预估，得到图像数据体量预估值和文本数据体量预估值；

S1.3、利用相同标记标记同一待处理任务的图像数据和文本数据；

S1.4、对待处理任务的图像数据和文本数据进行清洗并进行梳理，并对应归类于图像数据类别和文本数据类别。

优选的，所述步骤S2具体包括以下步骤：

S2.1、根据步骤S1得到的各类数据的数据体量预估值，计算出总体量预估值；

S2.2、计算各类数据的数据体量预估值所需的计算力单量；

S2.3、对各类数据的数据体量预估值所需的计算力单量求和，得到待处理任务所需的计算力总量；

S2.4、分别计算各类数据的数据体量预估值所需的计算力单量在计算力总量中的占比，并将对应于各类数据的占比认定为在待处理任务中的权重。

优选的，所述步骤S3具体包括以下步骤：

S3.1、读取加速子卡的信息，并将加速子卡分类为固定化加速子卡和自由化加速子卡；

S3.2、分别为固定化加速子卡和自由化加速子卡设置计算阈值。

优选的，所述步骤S4具体包括以下步骤：

S4.1、基于历史任务和历史任务对应的数据体量预估值构建偏差判断模型；

S4.2、设置预设条件，所述预设条件为是否小于偏差阈值；

S4.3、将待处理任务的各类数据的数据体量预估值输入偏差判断模型，由偏差判断模型输出偏差值，判断偏差值是否小于偏差阈值，若偏差值小于偏差阈值，则进行独立处理，

若偏差值不小于偏差阈值，则进行协同处理。

优选的，所述步骤S5具体包括以下步骤：

S5.1、基于历史任务和历史任务中各类数据的权重构建调配数学模型；

S5.2、将待处理任务的各类数据的权重输入调配数学模型，由调配数学模型输出调配结果；

S5.3、根据调配结果，由固定化加速子卡和自由化加速子卡适配各类数据的权重进行协同并行处理，其中，各类数据中权重最大的数据由固定化加速子卡处理，除各类数据中权重最大的数据外，其余各类数据由自由化加速子则处理。

本发明还提供了一种基于协同处理的加速子卡处理系统，所述处理系统包括：

预处理模块，用于获取待处理任务，并对待处理任务进行预处理，得到各类数据的数据体量预估值；

权重提升模块，用于根据预处理后的数据体量预估值，计算出待处理任务中各类数据的权重；

划分模块，用于获取并分类处理加速子卡，将加速子卡划分为固定化加速子卡和自由化加速子卡；

判断模块，用于根据历史任务和历史任务对应的数据体量预估值构建偏差判断模型，将待处理任务的各类数据的数据体量预估值输入偏差判断模型，获得偏差判断模型输出的判断结果，并根据判断结果为待处理任务匹配处理方案；

调配模块，用于根据待处理任务中各类数据的权重构建调配数学模型，并根据调配数学模型调度固定化加速子卡和自由化加速子卡协同处理待处理任务中的各类数据，得到由固定化加速子卡处理的处理数据，以及由自由化加速子卡处理的处理数据；

整合模块，用于将归属于同一待处理任务的由固定化加速子卡处理的处理数据，以及由自由化加速子卡处理的处理数据进行合并，获得最终处理结果。

优选的，所述预处理模块还包括：

特征模块，用于依次对待处理任务的各类数据进行类别识别；

扫描模块，用于根据识别的图像数据和文本数据，分别对图像数据和文本数据进行体量预估，得到图像数据体量预估值和文本数据体量预估值；

标识模块，用于标记同一待处理任务的图像数据和文本数据；

数据清洗模块，用于对待处理任务的图像数据和文本数据进行清洗并进行梳理，并对应归类于图像数据类别和文本数据类别。

优选的，所述整合模块还包括：

识别模块，用于识别处理完成后的被标记的各种类数据；

整理模块，用于将归属于同一待处理任务的由固定化加速子卡处理的处理数据，以及由自由化加速子卡处理的处理数据进行合并。

与相关技术相比较，本发明提供的一种基于协同处理的加速子卡处理方法及系统具有如下有益效果：

本发明通过对各任务进行预处理，以得到的体量预估值，并由此计算出各类待处理数据的权重，且通过将加速子卡进行固定化加速子卡以及自由化加速子卡的划分，便于根据建立调配数学模型，以输入任务各类数据的权重来调度固定化加速子卡和自由化加速子卡，固定化加速子卡用于处理重要性较高或固定类别数据，而自由化加速子卡根据任务的权重和需求进行灵活调整，调配数学模型根据任务数据的权重调度加速子卡，使得资源的分配更加合理和高效，通过以上的调度和协同处理，本发明能够兼容任务的优先级和待处理数据的权重，降低任务处理的阻塞，提高多任务处理的效率，同时，为切换任务处理提供了良好的操作保障，使得任务处理能够更加顺畅和高效进行。

附图说明

图1为本发明提供的一种基于协同处理的加速子卡处理方法的流程示意图；

图2为本发明提供的一种基于协同处理的加速子卡处理方法的步骤S1流程示意图；

图3为本发明提供的一种基于协同处理的加速子卡处理方法的步骤S2流程示意图；

图4为本发明提供的一种基于协同处理的加速子卡处理方法的步骤S3流程示意图；

图5为本发明提供的一种基于协同处理的加速子卡处理方法的步骤S4流程示意图；

图6为本发明提供的一种基于协同处理的加速子卡处理方法的步骤S5流程示意图；

图7为本发明提供的一种基于协同处理的加速子卡处理方法的模块结构图；

图8为本发明提供的一种基于协同处理的加速子卡处理系统的预处理模块的结构图；

图9为本发明提供的一种基于协同处理的加速子卡处理系统的整合模块的结构图。

具体实施方式

下面结合附图和实施方式对本发明作进一步说明。

实施例一

本发明提供的一种基于协同处理的加速子卡处理方法，如图1所示，处理方法包括以下步骤：

步骤S1：获取待处理任务，其中，所述待处理任务包括各类数据，并对待处理任务进行预处理，得到各类数据的数据体量预估值。

获取每个待处理任务所涉及的数据，例如图像数据、文本数据、数值数据、视频数据、音频数据以及网络数据等各类数据，对于每个任务的数据，本申请中，通过统计或抽样以估计其数据体量，也可以使用已有的数据集或历史数据来进行估计。

在本实施例中，参考图2所示，步骤S1具体包括以下步骤：

S1.1：依次对待处理任务的各类数据进行类别识别。

具体的，首先获取并依次确定各个任务的任务类型，例如，任务可以是文本情感分类、图像目标检测、语音语种识别等，而后分别采集各个任务中的数据信息，对其进行数据采集，数据种类包括但不限于图像数据、文本数据、数值数据、视频数据、音频数据以及网络数据，本申请中，获取待处理任务的数据类别包括图像数据和文本数据。

S1.2：根据识别的图像数据和文本数据，分别对图像数据和文本数据进行体量预估，得到图像数据体量预估值和文本数据体量预估值。

具体的，根据识别的图像数据、文本数据、数值数据、视频数据、音频数据以及网络数据等数据，通过统计或抽样以估计其数据体量对其进行体量预估，得到各个类别数据的体量预估值，对于图像数据、文本数据、数值数据、视频数据、音频数据以及网络数据，可以根据已有的数据样本或其他信息，进行数据体量预估；例如，对于图像数据，可以通过样本数量或图像文件大小来估计总体的图像数据量；对于文本数据，可以通过文档数量或文本字符数来估计总体的文本数据量。

S1.3：利用相同标记标记同一待处理任务的图像数据和文本数据。

具体的，首先确定任务类型，本申请中，确定待处理任务为文本任务以及图像任务，然后，确定待处理任务中涉及的数据类别，如确定任务中文本的正面情感和负面情感以及图像中的不同物体类别等，根据其依据对同一任务进行标记，而同一任务内的各类数据应该具有相同的标记，以表示它们属于同一个任务，以便在后续的数据处理和分析中进行区分和识别，且确保同一任务内的数据被正确关联和处理。

S1.4：对待处理任务的图像数据和文本数据进行清洗并进行梳理，并对应归类于图像数据类别和文本数据类别。

具体的，首先收集每个任务所需的数据，根据任务类型，收集相应类型的数据，本申请中收集任务的数据为文本数据以及图像数据，接着再对收集到的数据进行清洗，去除噪声、处理缺失值、去除重复数据等，梳理归分类别时则对于文本分类任务，将数据按照不同的类别进行分类；而对于图像识别任务，可以将数据按照不同的物体类别进行分类，通过对任务数据的清洗和梳理，可以获得干净、准确、一致的数据集，为后续的数据处理和分析提供可靠的数据基础，并提高数据处理的效率和准确性，接着，收集各个任务的数据。

步骤S2：基于预处理后的数据体量预估值，计算出待处理任务中各类数据的权重。

具体的，对于每个待处理任务中的数据类别，根据预处理后的数据体量预估值，计算出各类待处理数据的权重，本申请中，根据数据体量预估值的大小和比例来进行权重的计算，例如，可以使用数据体量预估值的百分比或比例来作为权重。

在本实施例中，参考图3所示，步骤S2具体包括以下步骤：

S2.1：根据步骤S1得到的各类数据的数据体量预估值，计算出总体量预估值。

具体的，将步骤S1得到各类数据的体量预估值进行相加，计算得到总体量数据预估值，例如，假设有三个数据类别A、B、C，对应的数据体量预估值分别为Va、Vb、Vc，则总体量预估值为Va+Vb+Vc。

S2.2：计算各类数据的数据体量预估值所需的计算力单量。

具体的，通过数据大小、和数据类别以及模型复杂性对各个类别的数据预估值所需计算力单量进行预估，本申请中，根据各类别数据的体量预估值，结合计算力评估指标（例如，每秒执行的计算操作数或需要的计算资源量），来估算各类别数据预估值所需计算力单量。

S2.3：对各类数据的数据体量预估值所需的计算力单量求和，得到待处理任务所需的计算力总量。

根据估算的各类别数据预估值所需计算力单量，将其相加总和即估算出计算总体量预估值数据所需计算力总量。

S2.4：分别计算各类数据的数据体量预估值所需的计算力单量在计算力总量中的占比，并将对应于各类数据的占比认定为在待处理任务中的权重。

具体的，将各类别数据体量预估值所需计算力单量除以总体量预估值数据所需计算力总量，然后乘以100，得到该类别数据所占的百分比，得到各类别数据的权重，用于后续分析和决策。

步骤S3：获取并分类处理加速子卡，将加速子卡划分为固定化加速子卡和自由化加速子卡。

首先获取加速子卡的数量，接着根据任务的特点和需求，将一部分加速子卡划分为固定化加速子卡，本申请中具体的划分标准为：固定化加速子卡用于特定的加速子卡用于处理特定类型的数据，这些任务的性质相对稳定，处理方式相对固定，例如，将某些加速子卡专门用于权重最大的图像处理任务，某些加速子卡专门用于文本处理任务等。

在本实施例中，参考图4所示，步骤S3包括以下步骤：

S3.1：读取加速子卡的信息，并将加速子卡分类为固定化加速子卡和自由化加速子卡。

具体的，根据具体使用的硬件配置和系统要求来确定其中加速子的数量，并读取加速子卡的信息，固定化加速子卡将加速子卡配置为特定的功能或任务，使其专注于执行该功能或任务，例如，可以将一个加速子卡设置为网络包处理单元，用于处理网络流量，另一个加速子卡可以被配置为图像处理单元，用于执行图像处理任务，而自由化加速子卡将加速子卡配置为通用的计算单元，可以根据需要进行灵活的配置和使用，根据不同的应用进行适配和重新配置，以满足不同的计算要求。

在本申请中，例如将60%数量的加速子划分为固定化加速子卡，用于处理待处理数据中的权重最大的图像数据类别；其次，将40%数量的加速子划分为自由化加速子卡，用于处理文本信息类数据。

S3.2：分别为固定化加速子卡和自由化加速子卡设置计算阈值。

具体的，对固定化加速子卡设置的计算阈值为固定化加速子卡计算力总量的95%以下，对自由化加速子卡设置的计算阈值为自由化加速子卡计算力总量的90%以下，而本申请中，对于对固定化加速子卡设置的计算阈值为固定化加速子卡计算力总量的90%，且对自由化加速子卡设置的计算阈值为自由化加速子卡计算力总量的85%。

对固定化加速子卡以及自由化加速子卡设置的计算阈值，是指在执行计算任务时，设定的一个阈值，用于启用固定化加速子卡以及自由化加速子卡是否高频运转的界限，防止固定化加速子卡以及自由化加速子卡中的加速子卡长时间高负荷运转而损坏。

步骤S4：基于历史任务和历史任务对应的数据体量预估值构建偏差判断模型，将待处理任务的各类数据的数据体量预估值输入偏差判断模型，获得偏差判断模型输出的判断结果，并根据判断结果为待处理任务匹配处理方案，其中，所述处理方案包括协同处理和独立处理。

根据待处理任务的特点和待处理任务的数据体量预估值，选择适当的特征作为输入变量，配合采用标准差算法来建立偏差判断模型，且后续可以使用已有的数据和标签，训练偏差判断模型，其次，输入任务的特点和数据体量预估值至建立的偏差判断模型中，进行任务处理方式的判断。

在本实施例中，参考图5所示，步骤S4包括以下步骤：

S4.1：基于历史任务和历史任务对应的数据体量预估值构建偏差判断模型。

具体的，通过计算各类别数据的数据体量预估值的标准差，得到一个衡量数据分布偏差程度的指标，根据历史待处理任务的特点和历史待处理任务所产生的数据体量预估值，建立并训练偏差判断模型，而在建立偏差判断模型时，采用标准差算法计算各类别数据预估体量的偏差，以了解任务处理时间的稳定性。

S4.2：设置预设条件，预设条件为是否小于偏差阈值。

具体的，根据实际需求和任务特点，可以设置不同的偏差阈值范围，例如，可以设置较小的偏差阈值范围用于少量任务的数据处理，也可以设置较大的偏差阈值范围用于多量任务的数据处理，本申请中，设置的阈值为平均值±2.58个标准差。

S4.3：将待处理任务的各类数据的数据体量预估值输入偏差判断模型，由偏差判断模型输出偏差值，判断偏差值是否小于偏差阈值，若偏差值小于偏差阈值，则进行独立处理。

在实际任务处理中，将待处理数据体量预估值输入建立的偏差判断模型中，计算数据的偏差程度，然后将计算得到的偏差值与预先设定的偏差阈值范围进行比较，以判断数据是否超过了偏差阈值范围。

步骤S5：基于待处理任务中各类数据的权重构建调配数学模型，并根据调配数学模型调度固定化加速子卡和自由化加速子卡协同处理待处理任务中的各类数据，得到由固定化加速子卡处理的处理数据，以及由自由化加速子卡处理的处理数据。

具体的，首先确定决策变量，即需要优化的变量，并且根据任务各类数据的权重和加速单元的处理能力，建立一个目标函数，接着根据固定化加速子卡和自由化加速子卡的限制条件，建立约束条件，再将目标函数和约束条件组合起来，建立一个线性规划模型，并输入任务各类数据的权重，使用线性规划求解算法，对建立的线性规划模型进行求解，根据线性规划模型的求解结果，得到固定化加速子卡和自由化加速子卡的最优分配方案。

在本实施例中，参考图6所示，步骤S5包括以下步骤：

S5.1：基于历史任务和历史任务中各类数据的权重构建调配数学模型。

本申请中，将加速子卡的利用效益表示为目标函数，将加速子卡的约束条件表示为线性等式或不等式，再将目标函数和约束条件组合起来，建立一个线性规划模型。

S5.2：将待处理任务的各类数据的权重输入调配数学模型，由调配数学模型输出调配结果。

具体的，将待处理任务的各类数据权重输入调配数学模型，使模型更加准确地反映待处理任务的特点和需求，通过考虑待处理任务数据的权重，可以在加速子卡资源有限的情况下，优先满足重要性较高或所需计算力较大的数据类别，以提高整体的资源利用效率。

S5.3：根据调配结果，由固定化加速子卡和自由化加速子卡适配各类数据的权重进行协同并行处理，其中，各类数据中权重最大的数据由固定化加速子卡处理，除各类数据中权重最大的数据外，其余各类数据由自由化加速子则处理。

输入任务各类数据的权重，对建立的线性规划模型进行求解，根据线性规划模型的求解结果，得到固定化加速子卡和自由化加速子卡的最优分配方案，且根据最优分配方案让固定化加速子卡和自由化加速子卡并行处理。

利用自由化加速子卡，根据任务数据的权重进行动态分配，根据任务数据的重要程度和需求情况，灵活调整加速子卡资源的分配比例，通过自由化加速子卡，可以更好地适应任务数据的变化的调整，以提高加速子卡的利用效率，例如，所有任务中，单类数据体量最大时，则固定化加速子卡为体量最大的单类数据服务，而自由化加速子卡则对其它类数据进行自由处理，而当自由化加速子卡完成处理后，则会直接临时补充至固定化加速子卡中，提高对后续数据的处理效率。

步骤S6：将归属于同一待处理任务的由固定化加速子卡处理的处理数据，以及由自由化加速子卡处理的处理数据进行合并，获得最终处理结果。

具体的，通过固定化加速子卡和自由化加速子卡对数据处理完成后，将归属于同一待处理任务的由固定化加速子卡处理的处理数据，以及由自由化加速子卡处理的处理数据进行识别，再将同任务的各类数据合并、汇总，以获得最终的计算结果。

本发明通过对各任务进行预处理，以得到的体量预估值，并由此计算出各类待处理数据的权重，且通过将加速子卡进行固定化加速子卡以及自由化加速子卡的划分，便于根据建立调配数学模型，以输入任务各类数据的权重来调度固定化加速子卡和自由化加速子卡，固定化加速子卡用于处理重要性较高或固定类别数据，而自由化加速子卡根据任务的权重和需求进行灵活调整，调配数学模型根据任务数据的权重调度加速子卡，使得资源的分配更加合理和高效，通过以上的调度和协同处理，本发明能够兼容任务的优先级和待处理数据的权重，降低任务处理的阻塞，提高多任务处理的效率，同时，为切换任务处理提供了良好的操作保障，使得任务处理能够更加顺畅和高效进行。

实施例二

在本实施例中，本发明还提供了一种基于协同处理的加速子卡处理系统，具体如图7至图9所示，处理系统包括：

预处理模块100，用于获取待处理任务，并对待处理任务进行预处理，得到各类数据的数据体量预估值。

具体的，预处理模块100用于收集每个待处理任务所涉及的数据，例如图像数据、文本数据、数值数据、视频数据、音频数据以及网络数据等各类数据，对于每个任务的数据，本申请中，通过统计或抽样以估计其数据体量，也可以使用已有的数据集或历史数据来进行估计。

预处理模块100还包括：

特征模块1001，用于依次对待处理任务的各类数据进行类别识别。

具体的，特征模块1001用于获取并依次确定各个待处理任务的任务类型，例如，待处理任务可以是文本情感分类、图像目标检测、语音语种识别等，而后分别采集各个待处理任务中的数据信息，对其进行数据采集，数据种类包括但不限于图像数据、文本数据、数值数据、视频数据、音频数据以及网络数据。

扫描模块1002，根据识别的图像数据和文本数据，分别对图像数据和文本数据进行体量预估，得到图像数据体量预估值和文本数据体量预估值。

具体的，根据识别的图像数据、文本数据、数值数据、视频数据、音频数据以及网络数据等数据，扫描模块1002用于统计或抽样以估计其数据体量对其进行数据体量预估，得到各类别数据体量预估值，对于图像数据、文本数据、数值数据、视频数据、音频数据以及网络数据，可以根据已有的数据样本或其他信息，进行体量预估；例如，对于图像数据，可以通过样本数量或图像文件大小来估计总体的图像数据量；对于文本数据，可以通过文档数量或文本字符数来估计总体的文本数据量。

标识模块1003，用于标记同一待处理任务的图像数据和文本数据。

具体的，首先确定待处理任务类型，确定待处理任务为文本数据以及图像数据，然后，确定待处理任务中涉及的数据类别，标识模块1003用于根据其依据对同一待处理任务进行标记，而同一待处理任务内的各类数据应该具有相同的标记，以表示它们属于同一个任务，以便在后续的数据处理和分析中进行区分和识别，且确保同一待处理任务内的数据被正确关联和处理。

数据清洗模块1004，用于对待处理任务的图像数据和文本数据进行清洗并进行梳理，并对应归类于图像数据类别和文本数据类别。

权重提升模块200，用于根据预处理后的数据体量预估值，计算出待处理任务中各类数据的权重。

划分模块300，用于获取并分类处理加速子卡，将加速子卡划分为固定化加速子卡和自由化加速子卡。

具体的，划分模块300用于确定加速子的数量，接着根据任务的特点和需求，将一部分加速子卡划分为固定化加速子卡，本申请中具体的划分标准为：固定化加速子卡用于特定的加速子卡用于处理特定类型的数据。

判断模块400，用于根据历史任务和历史任务对应的数据体量预估值构建偏差判断模型，将待处理任务的各类数据的数据体量预估值输入偏差判断模型，获得偏差判断模型输出的判断结果，并根据判断结果为待处理任务匹配处理方案。

具体的，判断模块400用于输入待处理任务的特点和数据体量预估值至建立的偏差判断模型中，进行待处理任务处理方式的判断。

调配模块500，用于根据待处理任务中各类数据的权重构建调配数学模型，并根据调配数学模型调度固定化加速子卡和自由化加速子卡协同处理待处理任务中的各类数据，得到由固定化加速子卡处理的处理数据，以及由自由化加速子卡处理的处理数据。

整合模块600，用于将归属于同一待处理任务的由固定化加速子卡处理的处理数据，以及由自由化加速子卡处理的处理数据进行合并，获得最终处理结果。

整合模块600还包括：

识别模块6001，用于识别处理完成后的被标记的各种类数据。

整理模块6002，用于将归属于同一待处理任务的由固定化加速子卡处理的处理数据，以及由自由化加速子卡处理的处理数据进行合并。

本发明通过预处理模块100对各任务进行预处理，以得到的体量预估值，并由权重提升模块200计算出各类待处理数据的权重，且通过划分模块300将加速子卡进行固定化加速子卡以及自由化加速子卡的划分，便于根据建立调配数学模型，以输入任务各类数据的权重，通过调配模块500来调度固定化加速子卡和自由化加速子卡，固定化加速子卡用于处理重要性较高或固定类别数据，而自由化加速子卡根据任务的权重和需求进行灵活调整，调配数学模型根据任务数据的权重调度加速子卡，使得资源的分配更加合理和高效，通过以上的调度和协同处理利用整合模块600降低任务处理的阻塞，提高多任务处理的效率，同时，为切换任务处理提供了良好的操作保障，使得任务处理能够更加顺畅和高效进行。

本申请是参照根据本申请实施例的方法、系统、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框，以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

在本发明的描述中，需要说明的是，术语“中心”“上”“下”“左”“右”“竖直”“水平”“内”“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所做的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种基于协同处理的加速子卡处理方法，其特征在于，所述处理方法包括以下步骤：

S1、获取待处理任务，其中，所述待处理任务包括各类数据，并对待处理任务进行预处理，得到各类数据的数据体量预估值；

S2、基于预处理后的数据体量预估值，计算出待处理任务中各类数据的权重；

S3、获取并分类处理加速子卡，将加速子卡划分为固定化加速子卡和自由化加速子卡；

S4、基于历史任务和历史任务对应的数据体量预估值构建偏差判断模型，将待处理任务的各类数据的数据体量预估值输入偏差判断模型，获得偏差判断模型输出的判断结果，并根据判断结果为待处理任务匹配处理方案，其中，所述处理方案包括协同处理和独立处理；

S5、基于待处理任务中各类数据的权重构建调配数学模型，并根据调配数学模型调度固定化加速子卡和自由化加速子卡协同处理待处理任务中的各类数据，得到由固定化加速子卡处理的处理数据，以及由自由化加速子卡处理的处理数据；

S6、将归属于同一待处理任务的由固定化加速子卡处理的处理数据，以及由自由化加速子卡处理的处理数据进行合并，获得最终处理结果。

2.根据权利要求1所述的一种基于协同处理的加速子卡处理方法，其特征在于，所述步骤S1具体包括以下步骤：

S1.1、依次对待处理任务的各类数据进行类别识别，其中，类别包括图像数据和文本数据；

S1.2、根据识别的图像数据和文本数据，分别对图像数据和文本数据进行体量预估，得到图像数据体量预估值和文本数据体量预估值；

S1.3、利用相同标记标记同一待处理任务的图像数据和文本数据；

S1.4、对待处理任务的图像数据和文本数据进行清洗并进行梳理，并对应归类于图像数据类别和文本数据类别。

3.根据权利要求1所述的一种基于协同处理的加速子卡处理方法，其特征在于，所述步骤S2具体包括以下步骤：

S2.1、根据步骤S1得到的各类数据的数据体量预估值，计算出总体量预估值；

S2.2、计算各类数据的数据体量预估值所需的计算力单量；

S2.3、对各类数据的数据体量预估值所需的计算力单量求和，得到待处理任务所需的计算力总量；

S2.4、分别计算各类数据的数据体量预估值所需的计算力单量在计算力总量中的占比，并将对应于各类数据的占比认定为在待处理任务中的权重。

4.根据权利要求1所述的一种基于协同处理的加速子卡处理方法，其特征在于：所述步骤S3具体包括以下步骤：

S3.1、读取加速子卡的信息，并将加速子卡分类为固定化加速子卡和自由化加速子卡；

S3.2、分别为固定化加速子卡和自由化加速子卡设置计算阈值。

5.根据权利要求1所述的一种基于协同处理的加速子卡处理方法，其特征在于，所述步骤S4具体包括以下步骤：

S4.1、基于历史任务和历史任务对应的数据体量预估值构建偏差判断模型；

S4.2、设置预设条件，所述预设条件为是否小于偏差阈值；

S4.3、将待处理任务的各类数据的数据体量预估值输入偏差判断模型，由偏差判断模型输出偏差值，判断偏差值是否小于偏差阈值，若偏差值小于偏差阈值，则进行独立处理，

若偏差值不小于偏差阈值，则进行协同处理。

6.根据权利要求1所述的一种基于协同处理的加速子卡处理方法，其特征在于，所述步骤S5具体包括以下步骤：

S5.1、基于历史任务和历史任务中各类数据的权重构建调配数学模型；

S5.2、将待处理任务的各类数据的权重输入调配数学模型，由调配数学模型输出调配结果；

S5.3、根据调配结果，由固定化加速子卡和自由化加速子卡适配各类数据的权重进行协同并行处理，其中，各类数据中权重最大的数据由固定化加速子卡处理，除各类数据中权重最大的数据外，其余各类数据由自由化加速子则处理。

7.一种基于协同处理的加速子卡处理系统，其特征在于，所述处理系统包括：

预处理模块，用于获取待处理任务，并对待处理任务进行预处理，得到各类数据的数据体量预估值；

权重提升模块，用于根据预处理后的数据体量预估值，计算出待处理任务中各类数据的权重；

划分模块，用于获取并分类处理加速子卡，将加速子卡划分为固定化加速子卡和自由化加速子卡；

判断模块，用于根据历史任务和历史任务对应的数据体量预估值构建偏差判断模型，将待处理任务的各类数据的数据体量预估值输入偏差判断模型，获得偏差判断模型输出的判断结果，并根据判断结果为待处理任务匹配处理方案；

调配模块，用于根据待处理任务中各类数据的权重构建调配数学模型，并根据调配数学模型调度固定化加速子卡和自由化加速子卡协同处理待处理任务中的各类数据，得到由固定化加速子卡处理的处理数据，以及由自由化加速子卡处理的处理数据；

整合模块，用于将归属于同一待处理任务的由固定化加速子卡处理的处理数据，以及由自由化加速子卡处理的处理数据进行合并，获得最终处理结果。

8.根据权利要求7所述的一种基于协同处理的加速子卡处理系统，其特征在于，所述预处理模块还包括：

特征模块，用于依次对待处理任务的各类数据进行类别识别；

扫描模块，用于根据识别的图像数据和文本数据，分别对图像数据和文本数据进行体量预估，得到图像数据体量预估值和文本数据体量预估值；

标识模块，用于标记同一待处理任务的图像数据和文本数据；

数据清洗模块，用于对待处理任务的图像数据和文本数据进行清洗并进行梳理，并对应归类于图像数据类别和文本数据类别。

9.根据权利要求7所述的一种基于协同处理的加速子卡处理系统，其特征在于，所述整合模块还包括：

识别模块，用于识别处理完成后的被标记的各种类数据；

整理模块，用于将归属于同一待处理任务的由固定化加速子卡处理的处理数据，以及由自由化加速子卡处理的处理数据进行合并。