CN117764206B - 一种多模型集成方法及系统 - Google Patents
一种多模型集成方法及系统 Download PDFInfo
- Publication number
- CN117764206B CN117764206B CN202410190506.7A CN202410190506A CN117764206B CN 117764206 B CN117764206 B CN 117764206B CN 202410190506 A CN202410190506 A CN 202410190506A CN 117764206 B CN117764206 B CN 117764206B
- Authority
- CN
- China
- Prior art keywords
- logic
- integrated
- integration
- integrated logic
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010354 integration Effects 0.000 title claims abstract description 148
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 58
- 210000000349 chromosome Anatomy 0.000 claims description 35
- 238000003860 storage Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 108090000623 proteins and genes Proteins 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 235000019800 disodium phosphate Nutrition 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002759 chromosomal effect Effects 0.000 description 1
- 238000003776 cleavage reaction Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000007017 scission Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Design And Manufacture Of Integrated Circuits (AREA)
Abstract
本发明提供了一种多模型集成方法，所述方法包括：获取初始大模型，拆分所述大模型以使其成为多个子模型；获取分布式网络节点，其中，每一个所述网络节点具有独立计算资源；根据多个所述子模型与所述网络节点确定模型集的基本集成逻辑，其中，所述基本集成逻辑包括第一集成逻辑以及每一个所述第一集成逻辑对应的一个或多个所述网络节点；基于所述第一集成逻辑确定目标集成逻辑；基于所述目标集成逻辑将多个所述子模型集成至所述网络节点；获取所述网络节点的处理结果，基于所述处理结果获取目标模型。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种多模型集成方法及系统。
背景技术
大模型部署是指将训练好的大型模型应用到实际生产环境中的过程。模型通常需要大量的存储和计算资源，因此在部署之前需要对模型进行压缩和优化。常用的技术包括参数剪枝、量化、低秩分解等，以减少模型的大小和计算量，同时保持模型的性能。为了进一步提高大模型的性能，可以采用硬件加速和优化技术。例如，使用图形处理器（GPU）或专用的神经网络处理器（如Google的TPU）来加速模型的计算速度。此外，对硬件和软件进行深度优化，如使用高效的矩阵运算库（如cuDNN）和模型推理引擎（如TensorRT），可以提高模型的运行效率。大模型的训练和推理往往需要巨大的计算能力，单个计算节点难以满足需求。因此，采用分布式计算技术可以将计算任务分布到多个计算节点上并行处理，提高计算效率和吞吐量。相关技术中的集成方法，通过固定逻辑将大模型拆分并集成至分布式网络节点中，分布的速度较慢。
发明内容
为了解决现有技术存在的集成效率低的技术问题，本发明实施例提供了一种多模型集成方法及装置。所述技术方案如下：
一方面，提供了一种多模型集成方法，该方法由多模型集成设备实现，该方法包括：
获取初始大模型,对所述初始大模型进行拆分，获得多个子模型；
获取分布式网络节点，其中，每一个所述分布式网络节点具有独立计算资源；
根据多个所述子模型以及所述分布式网络节点确定模型集的基本集成逻辑；其中，所述基本集成逻辑包括第一集成逻辑以及每一个所述第一集成逻辑对应的所述分布式网络节点；每一个所述第一集成逻辑对应一个或多个所述分布式网络节点；
基于所述第一集成逻辑确定目标集成逻辑；
基于所述目标集成逻辑将多个所述子模型集成至所述网络节点；
获取所述网络节点的处理结果，基于所述处理结果获取目标模型。
可选地，所述基于所述第一集成逻辑确定目标集成逻辑，包括：
对多个所述第一集成逻辑进行染色体交叉处理以获取多个第二集成逻辑；
确定所述第一集成逻辑中的第三集成逻辑，并对所述第三集成逻辑与所述第二集成逻辑进行染色体交叉处理，得到多个第四集成逻辑；
根据每一个所述第一集成逻辑、所述第二集成逻辑以及所述第四集成逻辑中，每一个集成逻辑与所述网络节点的契合度，获取所述目标集成逻辑。
可选地，所述基于所述第一集成逻辑确定目标集成逻辑之前，所述方法还包括：
基于所述基本集成逻辑，在邻域生成多个第一预集成逻辑；
对多个所述第一预集成逻辑进行染色体交叉处理，得到多个第二预集成逻辑；
对多个所述第一预集成逻辑的第三预集成逻辑以及多个所述第二预集成逻辑的第四预集成逻辑进行染色体交叉处理，得到多个第五预集成逻辑；
根据每一个所述第一预集成逻辑、所述第二预集成逻辑以及所述第五预集成逻辑中，每一个集成逻辑与所述网络节点的契合度，获取多个所述第一预集成逻辑、多个所述第二预集成逻辑以及多个所述第五预集成逻辑的候选目标集成逻辑。
可选地，所述基于所述目标集成逻辑将多个所述子模型集成至所述网络节点，包括：
对多个所述候选目标集成逻辑与多个所述目标集成逻辑进行染色体交叉处理，得到多个实际集成逻辑；
根据所述实际集成逻辑对各个所述网络节点以及多个所述子模型进行任务集成。
可选地，所述根据多个所述子模型与所述网络节点确定模型集的基本集成逻辑之后，所述方法还包括：
计算每一个所述基本集成逻辑中，每一个所述模型集与所述网络节点的契合度；
获取契合度最高的集成逻辑为所述第一集成逻辑。
另一方面，提供了一种多模型集成系统，该系统应用于多模型集成方法，该系统包括：
第一获取模块，用于获取初始大模型,对所述初始大模型进行拆分，获得多个子模型；
第二获取模块，用于获取分布式网络节点，其中，每一个所述分布式网络节点具有独立计算资源；
第一确定模块，用于根据多个所述子模型以及所述分布式网络节点确定模型集的基本集成逻辑；其中，所述基本集成逻辑包括第一集成逻辑以及每一个所述第一集成逻辑对应的所述分布式网络节点；每一个所述第一集成逻辑对应一个或多个所述分布式网络节点；
第二确定模块，用于基于所述第一集成逻辑确定目标集成逻辑；
第一集成模块，用于基于所述目标集成逻辑将多个所述子模型集成至所述网络节点；
第三获取模块，用于获取所述网络节点的处理结果，基于所述处理结果获取目标模型。
可选地，所述第二确定模块，进一步用于：
对多个所述第一集成逻辑进行染色体交叉处理以获取多个第二集成逻辑；
确定所述第一集成逻辑中的第三集成逻辑，并对所述第三集成逻辑与所述第二集成逻辑进行染色体交叉处理，得到多个第四集成逻辑；
根据每一个所述第一集成逻辑、所述第二集成逻辑以及所述第四集成逻辑中，每一个集成逻辑与所述网络节点的契合度，获取所述目标集成逻辑。
可选地，所述第二确定模块，还用于：
基于所述基本集成逻辑，在邻域生成多个第一预集成逻辑；
对多个所述第一预集成逻辑进行染色体交叉处理，得到多个第二预集成逻辑；
对多个所述第一预集成逻辑的第三预集成逻辑以及多个所述第二预集成逻辑的第四预集成逻辑进行染色体交叉处理，得到多个第五预集成逻辑；
根据每一个所述第一预集成逻辑、所述第二预集成逻辑以及所述第五预集成逻辑中，每一个集成逻辑与所述网络节点的契合度，获取多个所述第一预集成逻辑、多个所述第二预集成逻辑以及多个所述第五预集成逻辑的候选目标集成逻辑。
可选地，所述第一集成模块，进一步用于：
对多个所述候选目标集成逻辑与多个所述目标集成逻辑进行染色体交叉处理，得到多个实际集成逻辑；
根据所述实际集成逻辑对各个所述网络节点以及多个所述子模型进行任务集成。
可选地，所述第一确定模块，还用于：
计算每一个所述基本集成逻辑中，每一个所述模型集与所述网络节点的契合度；
获取契合度最高的集成逻辑为所述第一集成逻辑。
另一方面，提供一种多模型集成设备，所述多模型集成设备包括：处理器；存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如上述多模型集成方法中的任一项方法。
另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述多模型集成方法中的任一项方法。
本发明实施例提供的技术方案带来的有益效果至少包括：
本发明提出的一种多模型集成方法，首先，获取初始大模型，拆分所述大模型以使其成为多个子模型，然后，获取分布式网络节点，其中，每一个所述网络节点具有独立计算资源，然后，根据多个所述子模型与所述网络节点确定模型集的基本集成逻辑，其中，所述基本集成逻辑包括第一集成逻辑以及每一个所述第一集成逻辑对应的一个或多个所述网络节点，然后，基于所述第一集成逻辑确定目标集成逻辑；基于所述目标集成逻辑将多个所述子模型集成至所述网络节点，最后，获取所述网络节点的处理结果，基于所述处理结果获取目标模型。本发明提出的多模型集成方法，在将大模型集成值网络节点的过程中，集成的速度较快。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中提出的一种多模型集成方法的流程图；
图2是本发明实施例提供的一种多模型集成装置框图；
图3是本发明实施例提供的一种多模型集成设备的结构示意图。
具体实施方式
下面结合附图，对本发明中的技术方案进行描述。
在本发明实施例中，“示例地”、“例如”等词用于表示作例子、例证或说明。本发明中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用示例的一词旨在以具体方式呈现概念。此外，在本发明实施例中，“和/或”所表达的含义可以是两者都有，或者可以是两者任选其一。
本发明实施例中，“图像”，“图片”有时可以混用，应当指出的是，在不强调其区别时，其所要表达的含义是一致的。“的(of)”，“相应的（corresponding，relevant）”和“对应的(corresponding)”有时可以混用，应当指出的是，在不强调其区别时，其所要表达的含义是一致的。
本发明实施例中，有时候下标如W1可能会笔误为非下标的形式如W1，在不强调其区别时，其所要表达的含义是一致的。
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明实施例提供了一种多模型集成方法，该方法可以由多模型集成设备实现，该多模型集成设备可以是终端或服务器。如图1所示的多模型集成方法流程图，该方法的处理流程可以包括如下的步骤：
S101:获取初始大模型,对初始大模型进行拆分，获得多个子模型。
一种可行的实施方式中，将大模型拆分成多个子模型后，可以将这些子模型分布式地部署在不同的计算节点上进行计算。这样可以充分利用分布式计算的优势，提高计算效率和并行性。
S102:获取分布式网络节点，其中，每一个分布式网络节点具有独立计算资源。
一种可行的实施方式中，通过网络进行通信和协作。这种分布式计算模型可以提供高性能、高可扩展性和高可用性的计算能力。
S103:根据多个子模型以及分布式网络节点确定模型集的基本集成逻辑；其中，基本集成逻辑包括第一集成逻辑以及每一个第一集成逻辑对应的分布式网络节点；每一个第一集成逻辑对应一个或多个分布式网络节点。
一种可行的实施方式中，基本集成逻辑是指将多个子模型通过网络节点进行集成的方法或规则。可以通过计算每一个基本集成逻辑中，每一个模型集与网络节点的契合度，然后获取契合度最高的集成逻辑为第一集成逻辑。
S104:基于第一集成逻辑确定目标集成逻辑。
可选地，步骤S104可以进一步包括以下步骤S1041-S1046：
S1041:基于基本集成逻辑，在邻域生成多个第一预集成逻辑。
S1042:对多个第一预集成逻辑进行染色体交叉处理，得到多个第二预集成逻辑。
S1043:对多个第一预集成逻辑的第三预集成逻辑以及多个第二预集成逻辑的第四预集成逻辑进行染色体交叉处理，得到多个第五预集成逻辑。
S1044:根据每一个第一预集成逻辑、第二预集成逻辑以及第五预集成逻辑中，每一个集成逻辑与网络节点的契合度，获取多个第一预集成逻辑、多个第二预集成逻辑以及多个第五预集成逻辑的候选目标集成逻辑。
S1045:对多个第一集成逻辑进行染色体交叉处理以获取多个第二集成逻辑；
S1046：确定第一集成逻辑中的第三集成逻辑，并对第三集成逻辑与第二集成逻辑进行染色体交叉处理，得到多个第四集成逻辑；
S104-7：根据每一个第一集成逻辑，第二集成逻辑以及第四集成逻辑中，每一个集成逻辑与网络节点的契合度，获取目标集成逻辑。
一种可行的实施方式中，将每个集成逻辑中的每个集成项进行染色体编码。染色体编码可以使用二进制、整数或其他适合的编码方式，以表示每个集成项的基因。确定进行染色体交叉的交叉点。交叉点可以是染色体中的一个位置或多个位置，用于切割和交换基因。对于多个第一集成逻辑，进行染色体交叉操作，生成多个第二集成逻辑。在交叉过程中，通过交换染色体的基因片段，产生新的染色体组合。
S105:基于目标集成逻辑将多个子模型集成至网络节点；
可选地，步骤S105可以进一步包括以下步骤S1051-S1052：
S1051：对多个候选目标集成逻辑与多个目标集成逻辑进行染色体交叉处理，得到多个实际集成逻辑；
S1052：根据实际集成逻辑对各个网络节点以及模型集进行任务集成。
S106:获取网络节点的处理结果，基于处理结果获取目标模型。
本发明提出的一种多模型集成方法，首先，获取初始大模型，拆分所述大模型以使其成为多个子模型，然后，获取分布式网络节点，其中，每一个所述网络节点具有独立计算资源，然后，根据多个所述子模型与所述网络节点确定模型集的基本集成逻辑，其中，所述基本集成逻辑包括第一集成逻辑以及每一个所述第一集成逻辑对应的一个或多个所述网络节点，然后，基于所述第一集成逻辑确定目标集成逻辑；基于所述目标集成逻辑将多个所述子模型集成至所述网络节点，最后，获取所述网络节点的处理结果，基于所述处理结果获取目标模型。本发明提出的多模型集成方法，在将大模型集成值网络节点的过程中，集成的速度较快。
图2是根据一示例性实施例示出的一种多模型集成装置框图，该装置用于多模型集成方法。参照图2，该装置包括第一获取模块210、第二获取模块220、第一确定模块230、第二确定模块240、第一集成模块250以及第三获取模块260，其中：
第一获取模块210，用于获取初始大模型,对初始大模型进行拆分，获得多个子模型；
第二获取模块220，用于获取分布式网络节点，其中，每一个分布式网络节点具有独立计算资源；
第一确定模块230，用于根据多个子模型以及分布式网络节点确定模型集的基本集成逻辑；其中，基本集成逻辑包括第一集成逻辑以及每一个第一集成逻辑对应的分布式网络节点；每一个第一集成逻辑对应一个或多个分布式网络节点；
第二确定模块240，用于基于第一集成逻辑确定目标集成逻辑；
第一集成模块250，用于基于目标集成逻辑将多个子模型集成至网络节点；
第三获取模块260，用于获取网络节点的处理结果，基于处理结果获取目标模型。
可选地，第二确定模块240，进一步用于：
对多个第一集成逻辑进行染色体交叉处理以获取多个第二集成逻辑；
确定第一集成逻辑中的第三集成逻辑，并对第三集成逻辑与第二集成逻辑进行染色体交叉处理，得到多个第四集成逻辑；
根据每一个第一集成逻辑、第二集成逻辑以及第四集成逻辑中，每一个集成逻辑与网络节点的契合度，获取目标集成逻辑。
可选地，第二确定模块240，还用于：
基于基本集成逻辑，在邻域生成多个第一预集成逻辑；
对多个第一预集成逻辑进行染色体交叉处理，得到多个第二预集成逻辑；
对多个第一预集成逻辑的第三预集成逻辑以及多个第二预集成逻辑的第四预集成逻辑进行染色体交叉处理，得到多个第五预集成逻辑；
根据每一个第一预集成逻辑、第二预集成逻辑以及第五预集成逻辑中，每一个集成逻辑与网络节点的契合度，获取多个第一预集成逻辑、多个第二预集成逻辑以及多个第五预集成逻辑的候选目标集成逻辑。
可选地，第一集成模块250，进一步用于：
对多个候选目标集成逻辑与多个目标集成逻辑进行染色体交叉处理，得到多个实际集成逻辑；
根据实际集成逻辑对各个网络节点以及多个子模型进行任务集成。
可选地，第一确定模块230，还用于：
计算每一个基本集成逻辑中，每一个模型集与网络节点的契合度；
获取契合度最高的集成逻辑为第一集成逻辑。
本发明提出的一种多模型集成系统，首先，获取初始大模型，拆分所述大模型以使其成为多个子模型，然后，获取分布式网络节点，其中，每一个所述网络节点具有独立计算资源，然后，根据多个所述子模型与所述网络节点确定模型集的基本集成逻辑，其中，所述基本集成逻辑包括第一集成逻辑以及每一个所述第一集成逻辑对应的一个或多个所述网络节点，然后，基于所述第一集成逻辑确定目标集成逻辑；基于所述目标集成逻辑将多个所述子模型集成至所述网络节点，最后，获取所述网络节点的处理结果，基于所述处理结果获取目标模型。本发明提出的多模型集成系统，在将大模型集成值网络节点的过程中，集成的速度较快。
图3是本发明实施例提供的一种多模型集成设备的结构示意图，如图3所示，多模型集成设备可以包括上述图3所示的多模型集成装置。可选地，多模型集成设备310可以包括第一处理器2001。
可选地，多模型集成设备310还可以包括存储器2002和收发器2003。
其中，第一处理器2001与存储器2002以及收发器2003，如可以通过通信总线连接。
下面结合图3对多模型集成设备310的各个构成部件进行具体的介绍：
其中，第一处理器2001是多模型集成设备310的控制中心，可以是一个处理器，也可以是多个处理元件的统称。例如，第一处理器2001是一个或多个中央处理器（centralprocessing unit，CPU），也可以是特定集成电路（application specific integratedcircuit，ASIC），或者是被配置成实施本发明实施例的一个或多个集成电路，例如：一个或多个微处理器（digital signal processor，DSP），或，一个或者多个现场可编程门阵列（field programmable gate array，FPGA）。
可选地，第一处理器2001可以通过运行或执行存储在存储器2002内的软件程序，以及调用存储在存储器2002内的数据，执行多模型集成设备310的各种功能。
在具体的实现中，作为一种实施例，第一处理器2001可以包括一个或多个CPU，例如图3中所示出的CPU0和CPU1。
在具体实现中，作为一种实施例，多模型集成设备310也可以包括多个处理器，例如图3中所示的第一处理器2001和第二处理器2004。这些处理器中的每一个可以是一个单核处理器（single-CPU），也可以是一个多核处理器（multi-CPU）。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据（例如计算机程序指令）的处理核。
其中，所述存储器2002用于存储执行本发明方案的软件程序，并由第一处理器2001来控制执行，具体实现方式可以参考上述方法实施例，此处不再赘述。
可选地，存储器2002可以是只读存储器（read-only memory，ROM）或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器（random access memory，RAM）或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器（electrically erasable programmable read-only memory，EEPROM）、只读光盘（compactdisc read-only memory，CD-ROM）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器2002可以和第一处理器2001集成在一起，也可以独立存在，并通过多模型集成设备310的接口电路（图3中未示出）与第一处理器2001耦合，本发明实施例对此不作具体限定。
收发器2003，用于与网络设备通信，或者与终端设备通信。
可选地，收发器2003可以包括接收器和发送器（图3中未单独示出）。其中，接收器用于实现接收功能，发送器用于实现发送功能。
可选地，收发器2003可以和第一处理器2001集成在一起，也可以独立存在，并通过多模型集成设备310的接口电路（图3中未示出）与第一处理器2001耦合，本发明实施例对此不作具体限定。
需要说明的是，图3中示出的多模型集成设备310的结构并不构成对该路由器的限定，实际的知识结构识别设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
此外，多模型集成设备310的技术效果可以参考上述方法实施例所述的多模型集成方法的技术效果，此处不再赘述。
应理解，在本发明实施例中的处理器可以是中央处理单元（central processingunit，CPU），该处理器还可以是其他通用处理器、数字信号处理器（digital signalprocessor，DSP）、专用集成电路（application specific integrated circuit，ASIC）、现成可编程门阵列（field programmable gate array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解，本发明实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器（read-only memory，ROM）、可编程只读存储器（programmable ROM，PROM）、可擦除可编程只读存储器（erasable PROM，EPROM）、电可擦除可编程只读存储器（electrically EPROM，EEPROM）或闪存。易失性存储器可以是随机存取存储器（random access memory，RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器（random accessmemory，RAM）可用，例如静态随机存取存储器（static RAM，SRAM）、动态随机存取存储器（DRAM）、同步动态随机存取存储器（synchronous DRAM，SDRAM）、双倍数据速率同步动态随机存取存储器（double data rate SDRAM，DDR SDRAM）、增强型同步动态随机存取存储器（enhanced SDRAM，ESDRAM）、同步连接动态随机存取存储器（synchlink DRAM，SLDRAM）和直接内存总线随机存取存储器（direct rambus RAM，DR RAM）。
上述实施例，可以全部或部分地通过软件、硬件（如电路）、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质（例如，软盘、硬盘、磁带）、光介质（例如，DVD）、或者半导体介质。半导体介质可以是固态硬盘。
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A,B可以是单数或者复数。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后文进行理解。
本发明中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a,b,或c中的至少一项（个），可以表示：a, b, c, a-b, a-c, b-c, 或a-b-c，其中a,b,c可以是单个，也可以是多个。
应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (8)
1.一种多模型集成方法，其特征在于，所述方法包括：
获取初始大模型,对所述初始大模型进行拆分，获得多个子模型；
获取分布式网络节点，其中，每一个所述分布式网络节点具有独立计算资源；
根据多个所述子模型以及所述分布式网络节点确定模型集的基本集成逻辑；其中，所述基本集成逻辑包括第一集成逻辑以及每一个所述第一集成逻辑对应的所述分布式网络节点；每一个所述第一集成逻辑对应一个或多个所述分布式网络节点；
基于所述第一集成逻辑确定目标集成逻辑；
其中，所述基于所述第一集成逻辑确定目标集成逻辑，包括：
对多个所述第一集成逻辑进行染色体交叉处理以获取多个第二集成逻辑；
确定所述第一集成逻辑中的第三集成逻辑，并对所述第三集成逻辑与所述第二集成逻辑进行染色体交叉处理，得到多个第四集成逻辑；
根据每一个所述第一集成逻辑、所述第二集成逻辑以及所述第四集成逻辑中，每一个集成逻辑与所述网络节点的契合度，获取所述目标集成逻辑；
基于所述目标集成逻辑将多个所述子模型集成至所述网络节点；
获取所述网络节点的处理结果，基于所述处理结果获取目标模型。
2.根据权利要求1所述的一种多模型集成方法，其特征在于，所述基于所述第一集成逻辑确定目标集成逻辑之前，所述方法还包括：
基于所述基本集成逻辑，在邻域生成多个第一预集成逻辑；
对多个所述第一预集成逻辑进行染色体交叉处理，得到多个第二预集成逻辑；
对多个所述第一预集成逻辑的第三预集成逻辑以及多个所述第二预集成逻辑的第四预集成逻辑进行染色体交叉处理，得到多个第五预集成逻辑；
根据每一个所述第一预集成逻辑、所述第二预集成逻辑以及所述第五预集成逻辑中，每一个集成逻辑与所述网络节点的契合度，获取多个所述第一预集成逻辑、多个所述第二预集成逻辑以及多个所述第五预集成逻辑的候选目标集成逻辑。
3.根据权利要求2所述的一种多模型集成方法，其特征在于，所述基于所述目标集成逻辑将多个所述子模型集成至所述网络节点，包括：
对多个所述候选目标集成逻辑与多个所述目标集成逻辑进行染色体交叉处理，得到多个实际集成逻辑；
根据所述实际集成逻辑对各个所述网络节点以及多个所述子模型进行任务集成。
4.根据权利要求3所述的一种多模型集成方法，其特征在于，所述根据多个所述子模型与所述网络节点确定模型集的基本集成逻辑之后，所述方法还包括：
计算每一个所述基本集成逻辑中，每一个所述模型集与所述网络节点的契合度；
获取契合度最高的集成逻辑为所述第一集成逻辑。
5.一种多模型集成系统，所述多模型集成系统用于实现如权利要求1-4任一项所述的多模型集成方法，其特征在于，所述系统包括：
第一获取模块，用于获取初始大模型,对所述初始大模型进行拆分，获得多个子模型；
第二获取模块，用于获取分布式网络节点，其中，每一个所述分布式网络节点具有独立计算资源；
第一确定模块，用于根据多个所述子模型以及所述分布式网络节点确定模型集的基本集成逻辑；其中，所述基本集成逻辑包括第一集成逻辑以及每一个所述第一集成逻辑对应的所述分布式网络节点；每一个所述第一集成逻辑对应一个或多个所述分布式网络节点；
第二确定模块，用于基于所述第一集成逻辑确定目标集成逻辑；
其中，所述第二确定模块，进一步用于：
对多个所述第一集成逻辑进行染色体交叉处理以获取多个第二集成逻辑；
确定所述第一集成逻辑中的第三集成逻辑，并对所述第三集成逻辑与所述第二集成逻辑进行染色体交叉处理，得到多个第四集成逻辑；
根据每一个所述第一集成逻辑，所述第二集成逻辑以及所述第四集成逻辑中，每一个集成逻辑与所述网络节点的契合度，获取所述目标集成逻辑；
第一集成模块，用于基于所述目标集成逻辑将多个所述子模型集成至所述网络节点；
第三获取模块，用于获取所述网络节点的处理结果，基于所述处理结果获取目标模型。
6.根据权利要求5所述的一种多模型集成系统，其特征在于，所述第二确定模块，还用于：
基于所述基本集成逻辑，在邻域生成多个第一预集成逻辑；
对多个所述第一预集成逻辑进行染色体交叉处理，得到多个第二预集成逻辑；
对多个所述第一预集成逻辑的第三预集成逻辑以及多个所述第二预集成逻辑的第四预集成逻辑进行染色体交叉处理，得到多个第五预集成逻辑；
根据每一个所述第一预集成逻辑、所述第二预集成逻辑以及所述第五预集成逻辑中，每一个集成逻辑与所述网络节点的契合度，获取多个所述第一预集成逻辑、多个所述第二预集成逻辑以及多个所述第五预集成逻辑的候选目标集成逻辑。
7.一种多模型集成设备，其特征在于，所述多模型集成设备包括：
处理器；
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如权利要求1至4中任一项所述的方法。
8.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1至4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410190506.7A CN117764206B (zh) | 2024-02-21 | 2024-02-21 | 一种多模型集成方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410190506.7A CN117764206B (zh) | 2024-02-21 | 2024-02-21 | 一种多模型集成方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117764206A CN117764206A (zh) | 2024-03-26 |
| CN117764206B true CN117764206B (zh) | 2024-05-07 |
Family
ID=90310734
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410190506.7A Active CN117764206B (zh) | 2024-02-21 | 2024-02-21 | 一种多模型集成方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117764206B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113553178A (zh) * | 2021-07-15 | 2021-10-26 | 北京字跳网络技术有限公司 | 任务处理方法、装置和电子设备 |
| CN114676177A (zh) * | 2022-03-25 | 2022-06-28 | 中国建设银行股份有限公司 | 一种金融指标的确定方法、装置、设备、介质及产品 |
| CN115269996A (zh) * | 2022-08-18 | 2022-11-01 | 中国建设银行股份有限公司 | 数据匹配处理方法和装置 |
| CN115527686A (zh) * | 2022-11-07 | 2022-12-27 | 联仁健康医疗大数据科技股份有限公司 | 多数据源医学数据分析模型训练方法、装置、设备和介质 |
| CN116170275A (zh) * | 2022-12-30 | 2023-05-26 | 中国联合网络通信集团有限公司 | 一种云网络运维管理方法和装置 |
| CN117270561A (zh) * | 2023-09-28 | 2023-12-22 | 湖南省茂泽信息科技有限公司 | 基于无人机目标跟踪的赋予诸元方法和系统 |
-
2024
- 2024-02-21 CN CN202410190506.7A patent/CN117764206B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113553178A (zh) * | 2021-07-15 | 2021-10-26 | 北京字跳网络技术有限公司 | 任务处理方法、装置和电子设备 |
| CN114676177A (zh) * | 2022-03-25 | 2022-06-28 | 中国建设银行股份有限公司 | 一种金融指标的确定方法、装置、设备、介质及产品 |
| CN115269996A (zh) * | 2022-08-18 | 2022-11-01 | 中国建设银行股份有限公司 | 数据匹配处理方法和装置 |
| CN115527686A (zh) * | 2022-11-07 | 2022-12-27 | 联仁健康医疗大数据科技股份有限公司 | 多数据源医学数据分析模型训练方法、装置、设备和介质 |
| CN116170275A (zh) * | 2022-12-30 | 2023-05-26 | 中国联合网络通信集团有限公司 | 一种云网络运维管理方法和装置 |
| CN117270561A (zh) * | 2023-09-28 | 2023-12-22 | 湖南省茂泽信息科技有限公司 | 基于无人机目标跟踪的赋予诸元方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117764206A (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11121949B2 (en) | Distributed assignment of video analytics tasks in cloud computing environments to reduce bandwidth utilization | |
| US20200387400A1 (en) | Allocation system, method and apparatus for machine learning, and computer device | |
| CN111400555B (zh) | 图数据查询任务处理方法、装置、计算机设备和存储介质 | |
| CN111723933A (zh) | 神经网络模型的训练方法和相关产品 | |
| US20200380360A1 (en) | Method and apparatus with neural network parameter quantization | |
| CN110689136B (zh) | 一种深度学习模型获得方法、装置、设备及存储介质 | |
| US20220261623A1 (en) | System and method for channel-separable operations in deep neural networks | |
| US20220129325A1 (en) | Parallelization method and apparatus with processing of neural network model for manycore system | |
| CN114626503A (zh) | 模型的训练方法、目标检测方法、装置、电子设备及介质 | |
| CN112099848B (zh) | 一种业务处理方法、装置及设备 | |
| CN114037063A (zh) | 网络模型处理方法、装置、设备、存储介质 | |
| Tang et al. | Low-memory and high-performance CNN inference on distributed systems at the edge | |
| KR20210023401A (ko) | 뉴럴 네트워크 연산 방법 및 이를 포함하는 시스템 | |
| CN114968612A (zh) | 一种数据处理方法、系统及相关设备 | |
| CN117764206B (zh) | 一种多模型集成方法及系统 | |
| CN114881221A (zh) | 映射方案优化方法及装置、电子设备、可读存储介质 | |
| CN115480919A (zh) | 卷积优化运算方法、装置、计算机设备及存储介质 | |
| KR102376527B1 (ko) | Dnn 프레임워크를 이용하는 단일 가속기용 프로그램을 복수의 가속기에서 처리하는 방법 및 컴퓨터 프로그램 | |
| WO2021068529A1 (zh) | 图像识别方法、装置、计算机设备及存储介质 | |
| CN113760380A (zh) | 网络模型的运行代码的确定方法、装置、设备及存储介质 | |
| US20240202521A1 (en) | Artificial neural network training using edge devices | |
| US20240220829A1 (en) | Methods and modules for accelerating inference via distributed devices | |
| CN116755714B (zh) | 深度神经网络模型的运行方法、装置、设备和存储介质 | |
| CN114997401B (zh) | 自适应推理加速方法、装置、计算机设备和存储介质 | |
| KR102424538B1 (ko) | 영상 복원 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |