CN112799680A - 一种加速ai模型部署的方法和设备 - Google Patents
一种加速ai模型部署的方法和设备 Download PDFInfo
- Publication number
- CN112799680A CN112799680A CN202110132071.7A CN202110132071A CN112799680A CN 112799680 A CN112799680 A CN 112799680A CN 202110132071 A CN202110132071 A CN 202110132071A CN 112799680 A CN112799680 A CN 112799680A
- Authority
- CN
- China
- Prior art keywords
- machine
- data
- model
- network
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000005540 biological transmission Effects 0.000 claims abstract description 37
- 239000012634 fragment Substances 0.000 claims abstract description 11
- 238000013467 fragmentation Methods 0.000 claims description 4
- 238000006062 fragmentation reaction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000013473 artificial intelligence Methods 0.000 description 47
- 238000010586 diagram Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明涉及一种加速AI模型部署的方法和设备，应用于包括多个节点的P2P网络中，该方法包括：在待部署的机器上设置基于P2P算法的传输工具；将机器作为一个新的节点加入到P2P网络中；将待部署的AI模型的数据进行分片，以将数据分为多个数据片；基于Chord算法作分布式协调获取P2P中各节点和各数据片；确定每个数据片的特征码，其中，不同的数据片对应不同的特征码；在Chord环上存储特征码，以基于传输工具通过Chord环上的特征码完成AI模型在机器上的部署。本方案，基于P2P网络以及传输技术，对网络连接里面的多条链路的带宽充分利用，相比传统方式，带宽利用率更高，传输效率更高，传输时间更短，有效提高了AI模型的部署效率。
Description
技术领域
本发明涉及AI模型部署领域，具体涉及一种加速AI模型部署的方法和设备。
背景技术
人工智能(Artificial Intelligence)，英文缩写为AI。是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
在部署AI(Artificial Intelligence，人工智能)模型时，传统的方法一般是使用scp(Secure Copy Protocol，是在Linux系统下进行远程传输文件的工具，用于进行服务器间的数据传输)或者rsync(remote sync，是类unix系统下的数据镜像备份工具)进行批量部署，AI模型越大的情况，由于需要逐个机器分别部署，导致需要每个机器都传输全部的AI模型的数据，而数据的传输需要依次进行，例如传递一个AI模型到一台机器的时间是T，传输n台机器的时间那就是n*T；这对网络的带宽浪费越严重。而目前随着AI模型的不断发展，AI模型的数据量越来越大，导致部署的效率低下。
由此，目前需要有一种更好的方案来解决现有技术中的问题
发明内容
本发明提供一种加速AI模型部署的方法和设备，能够解决现有技术中不是效率低下的技术问题。
本发明解决上述技术问题的技术方案如下：
本发明实施例提出了一种加速AI模型部署的方法，应用于包括多个节点的P2P网络中，该方法包括：
在待部署的机器上设置基于P2P算法的传输工具；
将所述机器作为一个新的节点加入到P2P网络中；
将待部署的AI模型的数据进行分片，以将所述数据分为多个数据片；
基于Chord算法作分布式协调获取所述P2P中各所述节点和各所述数据片；
确定每个所述数据片的特征码，其中，不同的所述数据片对应不同的所述特征码；
在Chord环上存储所述特征码，以基于所述传输工具通过所述Chord环上的所述特征码完成所述AI模型在所述机器上的部署。
在一个具体的实施例中，所述将所述机器作为一个新的节点加入到P2P网络中，包括：
对所述机器进行鉴权；
若鉴权通过，则通过鉴权的所述机器作为一个新的节点加入到P2P网络中。
在一个具体的实施例中，还包括：
若鉴权不通过，则基于未通过鉴权的所述机器的信息生成提示信息。
在一个具体的实施例中，所述鉴权是使用所述P2P网络中的一个或多个所述节点完成的。
在一个具体的实施例中，所述数据片的大小为240KB-280KB之间的任意值。
在一个具体的实施例中，所述特征码为hash code。
在一个具体的实施例中，完成所述AI模型在所述机器上的部署所需要的时间基于以下公式来确定：
Dp2p是基于P2P算法完成所述AI模型在所述机器上的部署的时间；
F是需要传输的数据大小；n是需要传输的份数；us是所述节点作为服务器上传的速率；dmin是所述节点作为客户端下载的速率；ui是P2P的传输速率。
本发明实施例还提出了一种加速AI模型部署的设备，应用于包括多个节点的P2P网络中，该设备包括：
设置模块，用于在待部署的机器上设置基于P2P算法的传输工具；
加入模块，用于将所述机器作为一个新的节点加入到P2P网络中；
分片模块，用于将待部署的AI模型的数据进行分片，以将所述数据分为多个数据片；
获取模块，用于基于Chord算法作分布式协调获取所述P2P中各所述节点和各所述数据片；
确定模块，用于确定每个所述数据片的特征码，其中，不同的所述数据片对应不同的所述特征码；
部署模块，用于在Chord环上存储所述特征码，以基于所述传输工具通过所述Chord环上的所述特征码完成所述AI模型在所述机器上的部署。
在一个具体的实施例中，所述加入模块，包括：
鉴权模块，用于对所述机器进行鉴权；
处理模块，用于当鉴权通过时，通过鉴权的所述机器作为一个新的节点加入到P2P网络中。
在一个具体的实施例中，还包括：
提示模块，用于若鉴权不通过，则基于未通过鉴权的所述机器的信息生成提示信息。
本发明的有益效果是：
本方案，基于P2P网络以及传输技术，对网络连接里面的多条链路的带宽充分利用，相比传统方式，带宽利用率更高，传输效率更高，传输时间更短，有效提高了AI模型的部署效率。
附图说明
图1为本发明实施例提供的一种加速AI模型部署的方法的流程示意图；
图2为本发明实施例提供的一种加速AI模型部署的方法中P2P网络的结构示意图；
图3为本发明实施例提供的一种加速AI模型部署的方法中Chord的环的示意图；
图4为本发明实施例提供的一种加速AI模型部署的方法与现有方式进行部署的时间对比示意图；
图5为本发明实施例提供的一种加速AI模型部署的设备的结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
本发明实施例提供的一种加速AI模型部署的方法，应用于包括多个节点的P2P网络中，该方法包括以下步骤：
步骤101、在待部署的机器上设置基于P2P算法的传输工具；
具体的，机器可以为任何可以部署AI模型的机器，例如计算机，平板电脑，智能手机，般现有的服务器等带有计算能力的终端，首先在机器上设置上用于实现P2P(Peer toPeer，对等网络)算法的传输工具。
具体的对等网络是一种网络结构的思想。它与目前网络中占据主导地位的客户端/服务器(Client/Server)结构(也就是WWW所采用的结构方式)的一个本质区别是，整个网络结构中不存在中心节点(或中心服务器)。在P2P结构中，每一个节点(peer)大都同时具有信息消费者、信息提供者和信息通讯等三方面的功能。从计算模式上来说，P2P打破了传统的Client/Server(C/S)模式，在网络中的每个节点的地位都是对等的。每个节点既充当服务器，为其他节点提供服务，同时也享用其他节点提供的服务。
至于基于P2P算法的传输工具了例如可以为Xender，Infinit等等。
步骤102、将所述机器作为一个新的节点加入到P2P网络中；
具体的，在执行了不在101之后，将该机器作为一个新的节点加入到P2P网络中，如图2所示，P2P网络的结构由多个节点组成，每个节点既充当客户端，又充当服务器。
具体的，为了保证传输的安全，以及进行权限的控制，步骤102中的所述将所述机器作为一个新的节点加入到P2P网络中，包括：对所述机器进行鉴权；若鉴权通过，则通过鉴权的所述机器作为一个新的节点加入到P2P网络中。以此，只有通过鉴权的机器才能加入到P2P网络中，例如通过鉴权的机器对应图2中的节点5，将节点5作为一个新的节点加入到P2P网络中后形成新的P2P网络。
具体的，若鉴权不通过，则基于未通过鉴权的所述机器的信息生成提示信息。以此，若鉴权不通过，也可以生成提示信息，提示用户存在机器鉴权未通过，便于用户及时进行处理。
具体的，上述的鉴权过程是使用所述P2P网络中的一个或多个所述节点完成的。具体的，例如可以使用1-3个节点作为鉴权中心，例如以图2为例来进行说明，可以选取节点1，节点2来组成鉴权中心对节点5对应的机器进行鉴权。
具体的鉴权方式有多种，例如权限鉴权，或者基于时间来进行鉴权，或者基于机器的名称鉴权等等。
步骤103、将待部署的AI模型的数据进行分片，以将所述数据分为多个数据片；
具体的，由于待部署的AI模型的数据一般比较大，因此对该数据进行分片，具体的所述数据片的大小为240KB-280KB之间的任意值，更具体的例如每个数据片的大小为256KB或者接近256KB大小，以此，后续在进行数据传输时，可以更充分的利用P2P网络的特性，充分利用P2P网络连接里面的多条链路的带宽，加快传输，从而最终提高AI模型的部署效率。
具体的分片可以是P2P中的节点来执行的，
步骤104、基于Chord算法作分布式协调获取所述P2P网络中各所述节点和各所述数据片；
具体的，通过步骤104，可以确定如图2所示的P2P网络中的各个节点，以及进行了切片后的各个数据片。具体的，Chord算法得到的信息或数据等都存储在Chord环上，便于后续进行查找。
步骤105、确定每个所述数据片的特征码，其中，不同的所述数据片对应不同的所述特征码；
具体的，步骤105中的特征码用于唯一标记对应的数据片，在一个具体的例子中，所述特征码为hash code，也即哈希码。
步骤106、在Chord环上存储所述特征码，以基于所述传输工具通过所述Chord环上的所述特征码完成所述AI模型在所述机器上的部署。
具体的，将步骤105中获取的特征码存储在Chord环上，具体的Chord环如图3所示，基于Chord环上的特征码可以对应找到对应的节点以及相关的数据片，从而将其传输至需要部署的机器对应的节点上。
在一个具体的实施例中，采用本申请的方案，完成所述AI模型在所述机器上的部署所需要的时间基于以下公式来确定：
Dp2p是基于P2P算法完成所述AI模型在所述机器上的部署的时间；
F是需要传输的数据大小；n是需要传输的份数；us是所述节点作为服务器上传的速率；dmin是所述节点作为客户端下载的速率；ui是P2P的传输速率。
而与之相应的，若采用传统的方式，也即使用scp或者rsync等工具来进行AI模型的部署等，客户端上传或下载资源所需时间的计算则需要基于下列公式来进行：
在该公式中，F是需要传输的数据大小；n是需要传输的份数；us是所述节点作为服务器上传的速率；dmin是所述节点作为客户端下载的速率；Dcs是客户端进行上传或下载所需要的时间。
基于与传统的方式进行比对，得到如图4所示的曲线，其中，图4中的Y轴越小，效果越好(说明传输时延低)，p2p对比普通传输方式有显著效果提升。
实施例2
为了对本方案进行进一步的说明，本发明实施例2还公开了一种加速AI模型部署的设备，应用于包括多个节点的P2P网络中，如图所示，该设备包括：
设置模块201，用于在待部署的机器上设置基于P2P算法的传输工具；
加入模块202，用于将所述机器作为一个新的节点加入到P2P网络中；
分片模块203，用于将待部署的AI模型的数据进行分片，以将所述数据分为多个数据片；
获取模块204，用于基于Chord算法作分布式协调获取所述P2P网络中各所述节点和各所述数据片；
确定模块205，用于确定每个所述数据片的特征码，其中，不同的所述数据片对应不同的所述特征码；
部署模块206，用于在Chord环上存储所述特征码，以基于所述传输工具通过所述Chord环上的所述特征码完成所述AI模型在所述机器上的部署。
在一个具体的实施例中，所述加入模块202，包括：
鉴权模块2021，用于对所述机器进行鉴权；
处理模块2022，用于当鉴权通过时，通过鉴权的所述机器作为一个新的节点加入到P2P网络中。
在一个具体的实施例中，还包括：
提示模块2023，用于若鉴权不通过，则基于未通过鉴权的所述机器的信息生成提示信息。
在一个具体的实施例中，所述鉴权是使用所述P2P网络中的一个或多个所述节点完成的。
在一个具体的实施例中，所述数据片的大小为240KB-280KB之间的任意值。
在一个具体的实施例中，所述特征码为hash code。
在一个具体的实施例中，完成所述AI模型在所述机器上的部署所需要的时间基于以下公式来确定：
Dp2p是基于P2P算法完成所述AI模型在所述机器上的部署的时间；
F是需要传输的数据大小；n是需要传输的份数；us是所述节点作为服务器上传的速率；dmin是所述节点作为客户端下载的速率；ui是P2P的传输速率。
本发明涉及一种加速AI模型部署的方法和设备，应用于包括多个节点的P2P网络中，该方法包括：在待部署的机器上设置基于P2P算法的传输工具；将机器作为一个新的节点加入到P2P网络中；将待部署的AI模型的数据进行分片，以将数据分为多个数据片；基于Chord算法作分布式协调获取P2P中各节点和各数据片；确定每个数据片的特征码，其中，不同的数据片对应不同的特征码；在Chord环上存储特征码，以基于传输工具通过Chord环上的特征码完成AI模型在机器上的部署。本方案，基于P2P网络以及传输技术，对网络连接里面的多条链路的带宽充分利用，相比传统方式，带宽利用率更高，传输效率更高，传输时间更短，有效提高了AI模型的部署效率。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种加速AI模型部署的方法，其特征在于，应用于包括多个节点的P2P网络中，该方法包括：
在待部署的机器上设置基于P2P算法的传输工具；
将所述机器作为一个新的节点加入到P2P网络中；
将待部署的AI模型的数据进行分片，以将所述数据分为多个数据片；
基于Chord算法作分布式协调获取所述P2P中各所述节点和各所述数据片；
确定每个所述数据片的特征码，其中，不同的所述数据片对应不同的所述特征码；
在Chord环上存储所述特征码，以基于所述传输工具通过所述Chord环上的所述特征码完成所述AI模型在所述机器上的部署。
2.根据权利要求1所述的方法，其特征在于，所述将所述机器作为一个新的节点加入到P2P网络中，包括：
对所述机器进行鉴权；
若鉴权通过，则通过鉴权的所述机器作为一个新的节点加入到P2P网络中。
3.根据权利要求2所述的方法，其特征在于，还包括：
若鉴权不通过，则基于未通过鉴权的所述机器的信息生成提示信息。
4.如权利要求2所述的方法，其特征在于，所述鉴权是使用所述P2P网络中的一个或多个所述节点完成的。
5.如权利要求1所述的方法，其特征在于，所述数据片的大小为240KB-280KB之间的任意值。
6.如权利要求1所述的方法，其特征在于，所述特征码为hash code。
7.如权利要求1所述的方法，其特征在于，完成所述AI模型在所述机器上的部署所需要的时间基于以下公式来确定：
F是需要传输的数据大小；n是需要传输的份数；us是所述节点作为服务器上传的速率；dmin是所述节点作为客户端下载的速率；ui是P2P的传输速率。
8.一种加速AI模型部署的设备，其特征在于，应用于包括多个节点的P2P网络中，该设备包括：
设置模块，用于在待部署的机器上设置基于P2P算法的传输工具；
加入模块，用于将所述机器作为一个新的节点加入到P2P网络中；
分片模块，用于将待部署的AI模型的数据进行分片，以将所述数据分为多个数据片；
获取模块，用于基于Chord算法作分布式协调获取所述P2P中各所述节点和各所述数据片；
确定模块，用于确定每个所述数据片的特征码，其中，不同的所述数据片对应不同的所述特征码；
部署模块，用于在Chord环上存储所述特征码，以基于所述传输工具通过所述Chord环上的所述特征码完成所述AI模型在所述机器上的部署。
9.根据权利要求8所述的设备，其特征在于，所述加入模块，包括：
鉴权模块，用于对所述机器进行鉴权；
处理模块，用于当鉴权通过时，通过鉴权的所述机器作为一个新的节点加入到P2P网络中。
10.根据权利要求8所述的设备，其特征在于，还包括：
提示模块，用于若鉴权不通过，则基于未通过鉴权的所述机器的信息生成提示信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110132071.7A CN112799680A (zh) | 2021-01-31 | 2021-01-31 | 一种加速ai模型部署的方法和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110132071.7A CN112799680A (zh) | 2021-01-31 | 2021-01-31 | 一种加速ai模型部署的方法和设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112799680A true CN112799680A (zh) | 2021-05-14 |
Family
ID=75813173
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110132071.7A Pending CN112799680A (zh) | 2021-01-31 | 2021-01-31 | 一种加速ai模型部署的方法和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112799680A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101841531A (zh) * | 2010-03-16 | 2010-09-22 | 中国科学院计算技术研究所 | Cdn-p2p混合网络的模拟方法和系统 |
| CN102325093A (zh) * | 2011-11-01 | 2012-01-18 | 西安电子科技大学 | 一种结构化p2p网络中的路由系统构建方法 |
| US20130326494A1 (en) * | 2012-06-01 | 2013-12-05 | Yonesy F. NUNEZ | System and method for distributed patch management |
| CN111045826A (zh) * | 2019-12-17 | 2020-04-21 | 四川省建筑设计研究院有限公司 | 一种针对局域网环境分布式并行渲染的计算方法及系统 |
| CN111065116A (zh) * | 2019-12-10 | 2020-04-24 | 中盈优创资讯科技有限公司 | 一种端到端切片自动化部署方法及系统 |
| CN111176818A (zh) * | 2019-12-31 | 2020-05-19 | 北京金山云网络技术有限公司 | 分布式预测的方法、装置、系统、电子设备及存储介质 |
-
2021
- 2021-01-31 CN CN202110132071.7A patent/CN112799680A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101841531A (zh) * | 2010-03-16 | 2010-09-22 | 中国科学院计算技术研究所 | Cdn-p2p混合网络的模拟方法和系统 |
| CN102325093A (zh) * | 2011-11-01 | 2012-01-18 | 西安电子科技大学 | 一种结构化p2p网络中的路由系统构建方法 |
| US20130326494A1 (en) * | 2012-06-01 | 2013-12-05 | Yonesy F. NUNEZ | System and method for distributed patch management |
| CN111065116A (zh) * | 2019-12-10 | 2020-04-24 | 中盈优创资讯科技有限公司 | 一种端到端切片自动化部署方法及系统 |
| CN111045826A (zh) * | 2019-12-17 | 2020-04-21 | 四川省建筑设计研究院有限公司 | 一种针对局域网环境分布式并行渲染的计算方法及系统 |
| CN111176818A (zh) * | 2019-12-31 | 2020-05-19 | 北京金山云网络技术有限公司 | 分布式预测的方法、装置、系统、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107819828B (zh) | 数据传输方法、装置、计算机设备和存储介质 | |
| CN111901350B (zh) | 区块链系统、数据处理方法、计算机设备及存储介质 | |
| CN111625593B (zh) | 基于区块链的数据处理方法、装置、计算机设备 | |
| EP3660664B1 (en) | File folder transmission on network | |
| KR20200074911A (ko) | 분산 시스템 내의 네트워크 노드를 위한 복구 프로세스의 수행 | |
| CN111046411B (zh) | 电网数据安全存储方法及系统 | |
| CN113055188A (zh) | 一种数据处理方法、装置、设备及存储介质 | |
| CN110597824A (zh) | 一种基于区块链网络的数据存储方法以及装置 | |
| CN113190778A (zh) | 业务数据推送方法、系统、计算机设备及计算机存储介质 | |
| CN111523150A (zh) | 基于区块链的文档编辑方法、装置及系统 | |
| CN114491656A (zh) | 区块链网络中的方法和设备 | |
| EP3465528B1 (en) | Apparatus and method of creating a data chain in a data structure that can be cryptographically proven to contain valid data | |
| CN115134086A (zh) | 异步网络的动态委员会秘密分享更新方法及装置 | |
| CN113901528A (zh) | 基于区块链的云端数据完整性审计方法 | |
| CN111064813A (zh) | 在区块链共识处理时进行处理消息同步的方法及装置 | |
| CN109936609B (zh) | 终端链式升级方法、装置及升级管理服务器 | |
| CN113157450B (zh) | 在区块链系统中执行区块的方法及装置 | |
| KR101600717B1 (ko) | P2p 방식의 가상머신 운영체제 이미지 다운로드 방법 및 장치 | |
| CN112799680A (zh) | 一种加速ai模型部署的方法和设备 | |
| CN110018875B (zh) | 一种基于idv的桌面同步实现方法 | |
| US10949645B2 (en) | Method, apparatus, and storage medium for data verification | |
| CN116566712A (zh) | 一种基于信任分数的物联网区块链共识方法 | |
| CN115796275A (zh) | 基于区块链的联邦学习方法、装置、电子设备及存储介质 | |
| CN115396423A (zh) | 文件传输方法、装置、电子设备及存储介质 | |
| CN113596115A (zh) | 一种应用基于pbft优化实现多节点高性能协议的网络 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |