CN114579958A - 一种ai模型加密部署方法、系统、电子设备及存储介质 - Google Patents
一种ai模型加密部署方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114579958A CN114579958A CN202210234518.6A CN202210234518A CN114579958A CN 114579958 A CN114579958 A CN 114579958A CN 202210234518 A CN202210234518 A CN 202210234518A CN 114579958 A CN114579958 A CN 114579958A
- Authority
- CN
- China
- Prior art keywords
- model
- client
- authorization code
- authorization
- deployment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 238000013475 authorization Methods 0.000 claims abstract description 103
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000004590 computer program Methods 0.000 claims description 9
- 230000000903 blocking effect Effects 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/52—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow
- G06F21/53—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow by executing in a restricted environment, e.g. sandbox or secure virtual machine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
- G06F21/12—Protecting executable software
- G06F21/121—Restricting unauthorised execution of programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Technology Law (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供一种AI模型加密部署方法、系统、电子设备及存储介质，该方法包括：模型授权、模型部署以及模型运行与自迭代。使用该方法使得在客户端本地就可以实现AI模型的训练和推理，客户不需要上传数据，保证了数据的隐私安全，同时被下载的AI模型是经过了加密的，只有获得模型供应商的授权才能运行，保护了AI模型的源代码不被泄露，同时基于虚拟化容器实现了AI模型在客户端的部署，便于管理和版本控制。本申请具有灵活的模型授权方式，支持权限控制；保护了客户的数据安全，防止了泄露；容器化部署，提供环境的一致性和标准化；客户可以本地训练，实现模型自迭代。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及一种AI模型加密部署方法、系统、电子设备及存储介质。
背景技术
当前，AI人工智能技术在交通、医疗、金融、安防、家居等领域广泛应用，呈现出落地场景丰富多元、应用推广速度加快的特点，同时也为中小企业降本增效、提质增速、转型升级提供新的增长模块。工信部调查数据显示，中小企业推广人工智能技术的潜力巨大，超过50%的中小企业表示人工智能技术为其带来了盈利，很多企业通过优化管理、生产销售等流程，切实享受到了智能化带来的好处，人工智能正在成为中小企业实现高质量发展的强大动力和有效途径。越来越多的中小企业通过加速人工智能技术应用，创新业务模式，应对数字化时代的机遇和挑战，推动和加速企业走上智能化转型之路。
然而，目前为中小企业提供的AI模型部署主流方法如图1所示，模型供应商提供AI模型，并在本地完成AI模型的训练，将训练好的AI模型部署到云端服务器。客户根据自身的需求，向模型供应商发起请求。模型供应商收集客户的需求，从已经训练好的模型仓库中匹配合适的AI模型。这样客户就可以通过网页访问或者API接口调用等形式，将自己需要处理的数据上传至模型供应商的云端服务器，AI模型将数据处理后的结果返回给客户。
目前的AI模型部署主流方法存在以下问题：
（1）客户数据隐私难以得到保障。用于为了获得模型推理的结果，需要先将数据上传到模型供应商，这会导致存在数据泄露的风险，对于许多重视数据安全的企业而言，是不可接受的。
（2）如果将AI模型直接给客户，模型供应商又担心泄露源代码。
（3）模型更新依赖模型供应商，客户无法根据自己的数据进行优化。AI模型只有通过与应用场景最接近的数据集训练后，才能在实践中获得最好的训练效果。由于AI模型对客户是保密的，无法实现AI模型的自迭代。
（4）依赖于网络环境。当客户数据较大时，网络环境会严重制约训练和推理速度。
发明内容
针对上述问题，本申请的目的在于提供一种AI模型加密部署方法、系统、电子设备及存储介质，实现让客户在本地就可以实现AI模型的训练和推理，客户不需要上传数据，保证了数据的隐私安全。同时被下载的AI模型是经过加密，只有获得模型供应商的授权才能运行，保护了AI模型的源代码不被泄露。同时基于虚拟化容器实现了AI模型在客户端的部署，便于管理和版本控制。
本申请的目的采用以下技术方案实现：
第一方面，本申请提供了一种AI模型加密部署方法，包括以下步骤：
步骤一、模型授权；
客户端获取模型供应商的授权码，运行下载到客户端本地的AI模型；
步骤二、模型部署；
模型供应商利用镜像仓库来分发AI模型，客户端基于虚拟化容器快速部署AI模型；
步骤三、模型运行与自迭代；
使用模型供应商的授权码，解密虚拟化容器中的AI模型，完成AI模型的训练和推理。
在一些可选的实施例中，下载到客户端本地的AI模型为经过加密，加密的AI模型获得模型供应商授权码后加载进入虚拟容器并运行。
在一些可选的实施例中，所述授权码为模型供应商生成的授权文件，用于导入到要授权使用的AI模型中，模型供应商基于授权码控制AI模型。
在一些可选的实施例中，模型供应商在生成授权码的同时创建一份记录文件，在客户端遗失授权码之后，根据记录文件重新向模型供应商申请新的授权码。
在一些可选的实施例中，模型部署为在客户端部署一套AI模型运行的环境，将AI模型从模型供应商的服务器迁移到客户端，基于容器调度运行。
在一些可选的实施例中，所述模型供应商利用镜像仓库来分发AI模型，采用联合文件系统UnionFS构建模型镜像，模型镜像使用分层的存储结构，由多层文件系统联合组成。
在一些可选的实施例中，客户端基于虚拟化容器快速部署AI模型，AI模型加载进虚拟化容器后，使用授权码认证，认证包括：
1）启动AI模型，将程序加载进虚拟容器；
2）检查是否存在授权码，若不存在授权码则给出提示，阻塞等待，若存在授权码则进入步骤3）；
3）判断授权码是否合法，若不合法，返回步骤2），若合法则进入步骤4）；
4）判断授权码是否在授权期限内，若已过期，返回步骤2），若在授权期限内则进入步骤5）；
5）使用获得的授权码解密AI模型；
6）通过授权码确定模型能力集；
7）运行AI模型。
在一些可选的实施例中，模型自迭代，包括：
采集训练AI模型所需的数据，其中，所需的数据自于客户业务系统；对采集的所述数据进行预处理和预训练，得到权重参数后送入AI模型中训练、评估和调参，完成AI模型的构建工作；
对比训练前后的运行效果，保存最优的权重参数；
将自迭代的AI模型应用到客户业务系统中，形成一个回路，在客户端本地进行AI模型的自迭代。
在一些可选的实施例中，所需的数据存放在客户本地的数据仓库，且不需上传至模型供应商的云服务器。
第二方面，在本申请提供的另一个实施例中，提供了一种AI模型加密部署系统，所述AI模型加密部署系统包括：
授权模块，用于在客户端向模型供应商申请授权码后正常的使用AI模型；
部署模块，用于在客户端通过模型供应商授权后，请求供应商将AI模型基于虚拟化容器部署到客户端本地；以及
运行与自迭代模块，用于在完成AI模型本地部署后，在客户端本地训练AI模型，更新权重参数，完成AI模型的训练和推理。
第三方面，在本申请提供的又一个实施例中，提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行如上述第一方面所述的AI模型加密部署方法对应的步骤。
第四方面，在本申请提供的再一个实施例中，提供了一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述第一方面所述的AI模型加密部署方法对应的步骤。
本申请提供的技术方案，具有如下有益效果：
一、支持模型供应商提供的AI模型被下载到客户端，客户不需要上传数据就可以在本地完成AI模型的推理，有效降低了客户数据泄露的风险。
二、将模型加密，AI模型被下载到客户端后，只有获得供应商的授权，客户才能在本地运行AI模型，完成训练和推理，保证了AI模型源代码不被泄露。
三、AI模型被下载到了客户端后，客户可以根据自身需求，使用自己的数据集，完成AI模型的训练，实现AI模型的自迭代。
四、使用虚拟化容器部署。将客户的项目和依赖包(基础镜像)打成模型镜像，客户只需要在本地实例化一个容器，让镜像在容器内运行，从而实现AI模型的快速部署，并且有利于AI模型的版本控制。
因此，本申请的AI模型加密部署方法、系统、电子设备及存储介质，具有灵活的AI模型授权方式，支持权限控制；保护了客户的数据安全，防止了泄露；容器化部署，提供环境的一致性和标准化；客户可以本地训练，实现模型自迭代。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
下面结合附图和实施例对本申请进一步说明。
图1为目前主流AI模型部署方法的流程图；
图2为本申请实施例提供的一种AI模型加密部署方法中license申请的流程图；
图3为本申请实施例提供的一种AI模型加密部署方法中模型部署架构图；
图4为本申请实施例提供的一种AI模型加密部署方法中模型认证流程图；
图5为本申请实施例提供的一种AI模型加密部署方法中模型自迭代流程图。
具体实施方式
下面，结合附图以及具体实施方式，对本申请做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
下面将结合本申请示例性实施例中的附图，对本申请示例性实施例中的技术方案进行清楚、完整地描述，显然，所描述的示例性实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
针对目前AI模型部署主流方法，模型供应商提供AI模型，并在本地完成AI模型的训练，将训练好的AI模型部署到云端服务器。客户根据自身的需求，向模型供应商发起请求。模型供应商收集客户的需求，从已经训练好的模型仓库中匹配合适的AI模型。这样客户就可以通过网页访问或者API接口调用等形式，将自己需要处理的数据上传至模型供应商的云端服务器，AI模型将数据处理后的结果返回给客户。
存在客户数据隐私难以得到保障，模型供应商担心泄露源代码，AI模型更新依赖模型供应商，客户无法根据自己的数据进行优化，以及依赖于网络环境的问题。
为解决上述问题，本申请实施例提供的一种AI模型加密部署方法、系统、电子设备及存储介质，实现让客户在本地就可以实现AI模型的训练和推理，客户不需要上传数据，保证了数据的隐私安全。同时被下载的AI模型是经过加密，只有获得模型供应商的授权才能运行，保护了AI模型的源代码不被泄露。同时基于虚拟化容器实现了AI模型在客户端的部署，便于管理和版本控制。
以下结合附图并通过具体实施方式来进一步说明本申请的技术方案。
图1为本申请提供的一种AI模型加密部署方法的流程图。图2为本申请提供的一种AI模型加密部署方法完整的实施的示意图。
参阅图1所示，本申请的一个实施例提供了一种AI模型加密部署方法，所述方法包括以下步骤：
步骤一、模型授权；
客户端获取模型供应商的授权码，运行下载到客户端本地的AI模型。
在本申请的实施例中，AI模型的源代码对客户是保密的，客户需要获取模型供应商的授权码，才能在本地运行AI模型。
步骤二、模型部署；
模型供应商利用镜像仓库来分发AI模型，客户端基于虚拟化容器快速部署AI模型。
在本申请的实施例中，模型供应商利用镜像仓库来分发AI模型，客户则基于虚拟化容器来实现AI模型的快速部署。
步骤三、模型运行与自迭代；
使用模型供应商的授权码，解密虚拟化容器中的AI模型，完成AI模型的训练和推理。
在本申请的实施例中，使用模型供应商的源代码（license），解密容器中的AI模型，完成AI模型的训练和推理。
本申请能够让客户在客户端本地就可以实现AI模型的训练和推理，客户不需要上传数据，保证了数据的隐私安全。同时被下载的AI模型是经过了加密的，只有获得模型供应商的授权才能运行，保护了AI模型的源代码不被泄露。同时基于虚拟化容器实现了AI模型在客户端的部署，便于管理和版本控制。
在一些实施例中，在模型授权阶段，为了防止源代码泄露，被下载到客户本地的AI模型是经过加密的，只有获得了模型供应商的license，才可以正常的将AI模型加载进入虚拟容器并运行。同时模型供应商基于license还可以实现版本、权限等控制，比如控制AI模型的深度、卷积核的个数、backbone的类型等，针对不同客户提供定制化服务。
其中，下载到客户端本地的AI模型为经过加密，加密的AI模型获得模型供应商授权码后加载进入虚拟容器并运行。
在一些实施例中，所述授权码为模型供应商生成的授权文件，用于导入到要授权使用的AI模型中，模型供应商基于授权码控制AI模型。
本申请实施例还实现了一套认证机制，只有拥有了模型供应商下发的license文件并验证通过，客户才能正常使用AI模型。license是模型供应商生成的授权文件，用于导入到要授权使用的AI模型中。供应商在生成授权码的同时，会创建一份文件用于记录：客户信息、授权时间、过期时间，授权码等信息。当客户遗失license之后，可以重新向模型供应商申请新的license。
在一些实施例中，模型供应商在生成授权码的同时创建一份记录文件，在客户端遗失授权码之后，根据记录文件重新向模型供应商申请新的授权码。
示例性的，License申请流程如图2所示，客户提出需求，模型供应商根据客户需求从模型仓库中选择合适的AI模型，然后结合客户提供的信息生成相应的license。客户从供应商那里获得对应的AI模型和license，此时的AI模型是被加密的，通过license就可以将AI模型加载进容器运行了。供应商则会保存客户的信息，用于客户找回license。在该模型授权中，需要提取客户信息生成license。提取的信息必须具有唯一性，如客户主机的Mac地址、序列号等与硬件唯一关联的信息。防止模型授权后被复制或转移，就需要针对硬件信息进行加密、授权。将AI模型和设备绑定，防止AI模型传播。另外加载AI模型进虚拟容器时，可以通过license的不同，来确定AI模型的深度和宽度等，从而达到控制AI模型版本的目的。
在一些实施例中，在模型部署阶段，模型部署为在客户端部署一套AI模型运行的环境，将AI模型从模型供应商的服务器迁移到客户端，基于容器调度运行。
由于本申请将AI模型从模型供应商的服务器迁移到了客户端，所以需要在客户端部署一套AI模型运行的环境。AI模型的客户主要是中小企业，由于不同企业的发展和实力参差不齐，对AI模型的需求也千差万别，部署和运行的环境因企业不同具有很大的差异性。如何使AI模型代码无需重写就能无缝运行是一大挑战。因此，需要有一种算法模型开发方式与处理平台的集成方式，使得不同的算法模型之间形成松耦合关系，具备良好的可移植性与复用性，具备持续集成的能力，本申请使用虚拟化容器技术来解决上述问题。
模型供应商负责AI模型的构建和管理，客户则可以根据自身情况选取合适的算法模型，基于容器调度运行。
参见图3所示，在一些实施例中，所述模型供应商利用镜像仓库来分发AI模型，采用联合文件系统UnionFS构建模型镜像，模型镜像使用分层的存储结构，由多层文件系统联合组成。
参见图3所示，模型镜像采用联合文件系统UnionFS（union file system）构建，UnionFS是将多个目录内容挂在到同一个目录下，不同的镜像就可以共享一些相同的底层组件。镜像使用了分层的存储结构，由多层文件系统联合组成。
镜像构建时，会一层层构建，前一层是后一层的基础。每一层构建完就不会再发生改变，后一层的任何改变只发生在自己这一层。比如基于深度学习的目标检测AI模型，就常常以分类网络作为主干网，此时构建模型镜像时分类网络就可以作为目标检测网络的基础层。每次模型供应商发布新的AI模型时，只需要将改动层提交即可，大大提高了存储的效率。
由于模型镜像包括算法程序以及运行时依赖的基础环境，基础环境一般比较大，更新较慢。而运行在上面的程序则迭代速度较快，对于客户而言，针对不同的业务场景需求，经常是基于同一套运行环境，只是运行在上面的算法模型有所不同。客户只需要在第一次运行时去下载基础镜像BootFS，而算法模型则挂载的方式进入容器，这样就可以解耦基础环境和算法模型，后续如果AI模型需要更新或者升级，则只需要更新一下算法模型即可。
模型供应商将开发的算法模型封装到一个标准环境中，使其可以在不同的机器上无差别地运行，节省安装和配置环境的时间，使算法模型具有可移植性和复用性。
在一些实施例中，在模型运行与自迭代阶段，为了防止源代码泄露，在AI模型加载进虚拟化容器后，需要使用模型授权小节中提到的license认证后才能运行，认证的流程如图4所示，步骤如下：
1）启动AI模型，将程序加载进虚拟容器；
2）检查是否存在授权码，若不存在授权码则给出提示，阻塞等待，若存在授权码则进入步骤3）；
3）判断授权码是否合法，若不合法，返回步骤2），若合法则进入步骤4）；
4）判断授权码是否在授权期限内，若已过期，返回步骤2），若在授权期限内则进入步骤5）；
5）使用获得的授权码解密AI模型；
6）通过授权码确定模型能力集；
7）运行AI模型。
本申请的一大优势就是既保证了客户数据隐私安全，又实现了模型自迭代。在一些实施例中，模型自迭代，包括：
采集训练AI模型所需的数据，其中，所需的数据自于客户业务系统；
对采集的所述数据进行预处理和预训练，得到权重参数后送入AI模型中训练、评估和调参，完成AI模型的构建工作；
对比训练前后的运行效果，保存最优的权重参数；
将自迭代的AI模型应用到客户业务系统中，形成一个回路，在客户端本地进行AI模型的自迭代。
在一些实施例中，所需的数据存放在客户本地的数据仓库，且不需上传至模型供应商的云服务器。
在本实施例中，对获取的多格式的订单文件数据提取订单文件的有效内容，所述订单文件数据中提取文本和表格内容或图像中的订单信息。
如图5所示，首先采集训练AI模型需要的数据，这些数据来自于客户业务系统，且不再需要上传至模型供应商的云服务器，而是存放在客户本地的数据仓库中。这些数据被收集起来后，经过清洗、加工等预处理，和预训练过的权重参数一起送入到AI模型中，经过训练、评估和调参，完成AI模型的构建工作，对比训练前后的运行效果，保存最优的权重参数。最后将AI模型应用到客户业务系统中，形成一个回路，在客户本地实现了AI模型的自迭代。
因此，本申请将AI模型从模型供应商的服务器迁移到客户本地的服务器。主要通过以下三步来实现：
①模型授权。首先客户需要拿到模型供应商的授权，通过与供应商协商，选择合适的AI模型，支付相应的款项，获得模型供应商使用AI模型的许可。
②模型部署。客户拿到AI模型授权后，需要将AI模型部署到本地的服务器上，为了便于AI模型的管理，基于虚拟化容器进行部署。
③模型运行和自迭代。完成AI模型本地部署后，客户就可以本地训练AI模型，更新权重参数了，这也是本申请的优势之一。
本申请的AI模型加密部署方法具有以下优点：
一、支持模型供应商提供的AI模型被下载到客户端，客户不需要上传数据就可以在本地完成AI模型的推理，有效降低了客户数据泄露的风险。
二、将模型加密，AI模型被下载到客户端后，只有获得供应商的授权，客户才能在本地运行AI模型，完成训练和推理，保证了AI模型源代码不被泄露。
三、AI模型被下载到了客户端后，客户可以根据自身需求，使用自己的数据集，完成AI模型的训练，实现AI模型的自迭代。
四、使用虚拟化容器部署。将客户的项目和依赖包(基础镜像)打成模型镜像，客户只需要在本地实例化一个容器，让镜像在容器内运行，从而实现AI模型的快速部署，并且有利于AI模型的版本控制。
在本申请的一个实施例中，本申请实施例还提供了一种AI模型加密部署系统，所述AI模型加密部署系统包括授权模块、部署模块以及运行与自迭代模块。
所述授权模块，用于在客户端向模型供应商申请授权码后正常的使用AI模型。
所述授权模块在模型授权时，为了防止源代码泄露，在AI模型被部署到客户的服务器前，是需要进行加密的。本申请采用的方法是客户向模型供应商申请许可证之后，才可以正常的使用AI模型。申请许可证的过程详见图2。
所述部署模块，用于在客户端通过模型供应商授权后，请求供应商将AI模型基于虚拟化容器部署到客户端本地。
所述部署模块在模型部署时，用户通过模型供应商授权后，接下来就是请求供应商将AI模型部署到本地。如图3所示，每一个客户端对应一个用户服务器，每一个用户服务器可以部署多个AI模型，每一个AI模型使用一个虚拟化容器来进行封装。首先模型供应商将训练好的AI模型封装成模型镜像后发布到模型管理平台，获得授权的用户根据自己的需求将模型镜像下载到本地服务器，如果用户已经下载多个模型镜像，当前正在下载的AI模型与已经下载过的AI模型共同的组件就不再重复下载，而是基于UnionFS文件系统共享，实现下载的加速。
所述运行与自迭代模块，用于在完成AI模型本地部署后，在客户端本地训练AI模型，更新权重参数，完成AI模型的训练和推理。
所述运行与自迭代模块在模型运行和自迭代时，AI模型包括两部分：网络结构和权重参数，某一个AI模型的网络结构设计出来后，一般就固定不变了，但网络结构中的权重参数会随着AI模型的训练而更新。现在的AI模型的权重参数动辄几千万甚至上亿个，导致训练对硬件设备要求比较高，而且训练的时间比较长。为了加快AI模型在用户端的训练速度，我们先在模型供应商的服务器上实现预训练，然后将主干网（比如VGG、ResNet和DenseNet等）上的权重冻结，用户只需要训练最后输出层的分类网络，这样可以提高AI模型在用户端的训练速度。
AI模型在用户端是基于虚拟容器来加载运行的，AI模型加载进容器后并不能马上运行，需要先认证，认证流程详见图4。图5展示了AI模型与客户业务系统的交互，需要注意的是，此时AI模型是部署在客户的服务器上的，保证了客户数据的隐私安全。且客户可以在本地训练更新权重参数，实现了AI模型的自迭代。同时AI模型运行前需要获得模型供应商的授权，保证了AI模型源代码不被泄露。
需要特别说明的是，本申请保护一种AI模型加密部署的系统任何使用部署模块，授权模块，运行与自迭代模块同种结构或相似结构但调换不同模块中工作内容的AI模型加密部署系统，均应在本申请保护之列。
本申请中提及的具体算法和数据库，大数据模块均为一种可行的实施例，替换具体算法，数据库，大数据模块或其他组件，但使用相同功能架构的AI模型加密部署方法，均应在本申请保护之列。
其中，AI模型加密部署系统在执行时采用如前述的一种AI模型加密部署方法的步骤，因此，本实施例中对AI模型加密部署系统的运行过程不再详细介绍。
在本申请的实施例中还提供了一种电子设备，该电子设备包括存储器和处理器，存储器中存储有计算机程序，该处理器被配置为用于执行所述存储器中存储的计算机程序。所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现上述方法实施例中的步骤：
步骤一、模型授权；
客户端获取模型供应商的授权码，运行下载到客户端本地的AI模型；
步骤二、模型部署；
模型供应商利用镜像仓库来分发AI模型，客户端基于虚拟化容器快速部署AI模型；
步骤三、模型运行与自迭代；
使用模型供应商的授权码，解密虚拟化容器中的AI模型，完成AI模型的训练和推理。
其中，AI模型加密部署系统在执行时采用如前述的一种AI模型加密部署方法的步骤，因此，本实施例中对AI模型加密部署系统的运行过程不再详细介绍。
本申请实施例还提供了一种存储介质，该存储介质用于存储计算机程序，所述计算机程序被执行时实现本申请实施例中AI模型加密部署方法的步骤如下：
步骤一、模型授权；
客户端获取模型供应商的授权码，运行下载到客户端本地的AI模型；
步骤二、模型部署；
模型供应商利用镜像仓库来分发AI模型，客户端基于虚拟化容器快速部署AI模型；
步骤三、模型运行与自迭代；
使用模型供应商的授权码，解密虚拟化容器中的AI模型，完成AI模型的训练和推理。
本申请具体实现方式与上述AI模型加密部署方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。
综上所述，本申请提供的技术方案具有以下优点：
一、支持模型供应商提供的AI模型被下载到客户端，客户不需要上传数据就可以在本地完成AI模型的推理，有效降低了客户数据泄露的风险。
二、将AI模型加密，AI模型被下载到客户端后，只有获得供应商的授权，客户才能在本地运行AI模型，完成训练和推理，保证了AI模型源代码不被泄露。
三、AI模型被下载到了客户端后，客户可以根据自身需求，使用自己的数据集，完成AI模型的训练，实现AI模型的自迭代。
四、使用虚拟化容器部署。将客户的项目和依赖包(基础镜像)打成模型镜像，客户只需要在本地实例化一个容器，让镜像在容器内运行，从而实现AI模型的快速部署，并且有利于AI模型的版本控制。
因此，本申请的AI模型加密部署方法、系统、电子设备及存储介质，具有灵活的模型授权方式，支持权限控制；保护了客户的数据安全，防止了泄露；容器化部署，提供环境的一致性和标准化；客户可以本地训练，实现模型自迭代。
本申请从使用目的上，效能上，进步及新颖性等观点进行阐述，已符合专利法所强调的功能增进及使用要件，本申请以上的说明书及说明书附图，仅为本申请的较佳实施例而已，并非以此局限本申请，因此，凡一切与本申请构造，装置，特征等近似、雷同的，即凡依本申请专利申请范围所作的等同替换或修饰等，皆应属本申请的专利申请保护的范围之内。
Claims (10)
1.一种AI模型加密部署方法，其特征在于，所述AI模型加密部署方法包括以下步骤：
步骤一、模型授权；
客户端获取模型供应商的授权码，运行下载到客户端本地的AI模型；
步骤二、模型部署；
模型供应商利用镜像仓库来分发AI模型，客户端基于虚拟化容器快速部署AI模型；
步骤三、模型运行与自迭代；
使用模型供应商的授权码，解密虚拟化容器中的AI模型，完成AI模型的训练和推理。
2.根据权利要求1所述的AI模型加密部署方法，其特征在于，下载到客户端本地的AI模型为经过加密，加密的AI模型获得模型供应商授权码后加载进入虚拟容器并运行。
3.根据权利要求2所述的AI模型加密部署方法，其特征在于，所述授权码为模型供应商生成的授权文件，用于导入到要授权使用的AI模型中，模型供应商基于授权码控制AI模型。
4.根据权利要求3所述的AI模型加密部署方法，其特征在于，模型供应商在生成授权码的同时创建一份记录文件，在客户端遗失授权码之后，根据记录文件重新向模型供应商申请新的授权码。
5.根据权利要求1所述的AI模型加密部署方法，其特征在于，模型部署为在客户端部署一套AI模型运行的环境，将AI模型从模型供应商的服务器迁移到客户端，基于容器调度运行。
6.根据权利要求1或5所述的AI模型加密部署方法，其特征在于，所述模型供应商利用镜像仓库来分发AI模型，采用联合文件系统UnionFS构建模型镜像，模型镜像使用分层的存储结构，由多层文件系统联合组成。
7.根据权利要求6所述的AI模型加密部署方法，其特征在于，客户端基于虚拟化容器快速部署AI模型，AI模型加载进虚拟化容器后，使用授权码认证，认证包括：
1）启动AI模型，将程序加载进虚拟容器；
2）检查是否存在授权码，若不存在授权码则给出提示，阻塞等待，若存在授权码则进入步骤3）；
3）判断授权码是否合法，若不合法，返回步骤2），若合法则进入步骤4）；
4）判断授权码是否在授权期限内，若已过期，返回步骤2），若在授权期限内则进入步骤5）；
5）使用获得的授权码解密AI模型；
6）通过授权码确定模型能力集；
7）运行AI模型。
8.一种AI模型加密部署系统，其特征在于，所述AI模型加密部署系统包括：
授权模块，用于在客户端向模型供应商申请授权码后正常的使用AI模型；
部署模块，用于在客户端通过模型供应商授权后，请求供应商将AI模型基于虚拟化容器部署到客户端本地；以及
运行与自迭代模块，用于在完成AI模型本地部署后，在客户端本地训练AI模型，更新权重参数，完成AI模型的训练和推理。
9.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行计算机程序时实现权利要求1-7中任一项所述的方法的步骤。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210234518.6A CN114579958A (zh) | 2022-03-10 | 2022-03-10 | 一种ai模型加密部署方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210234518.6A CN114579958A (zh) | 2022-03-10 | 2022-03-10 | 一种ai模型加密部署方法、系统、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114579958A true CN114579958A (zh) | 2022-06-03 |
Family
ID=81781281
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210234518.6A Pending CN114579958A (zh) | 2022-03-10 | 2022-03-10 | 一种ai模型加密部署方法、系统、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114579958A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115146237A (zh) * | 2022-09-05 | 2022-10-04 | 南湖实验室 | 一种基于机密计算的深度学习模型保护方法 |
-
2022
- 2022-03-10 CN CN202210234518.6A patent/CN114579958A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115146237A (zh) * | 2022-09-05 | 2022-10-04 | 南湖实验室 | 一种基于机密计算的深度学习模型保护方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11762986B2 (en) | System for securing software containers with embedded agent | |
| JP6754858B2 (ja) | クラウドコンピューティング環境で使用するためのワークフローオーケストレーションのためのシステムおよび方法 | |
| US11848982B2 (en) | Access services in hybrid cloud computing systems | |
| CN106233690B (zh) | 在网络环境中供应数字证书 | |
| US10095549B1 (en) | Ownership transfer account service in a virtual computing environment | |
| US11645369B2 (en) | Blockchain digital rights management streaming library | |
| US20210209221A1 (en) | System for securing software containers with encryption and embedded agent | |
| JP3753885B2 (ja) | 国際暗号体系のホストシステム要素 | |
| US9443101B2 (en) | Low-cost specification and enforcement of a privacy-by-consent-policy for online services | |
| EP3935537B1 (en) | Secure execution guest owner environmental controls | |
| US10101985B1 (en) | Scalable ecosystem for enterprise mobility | |
| US20090282397A1 (en) | Secure Dynamic Loading | |
| JPH10313309A (ja) | 国際暗号法フレームワークでアプリケーションが一定のサービスクラスを合法的に実行することを認証する装置 | |
| US20140317704A1 (en) | Method and system for enabling the federation of unrelated applications | |
| US20140282876A1 (en) | Method and system for restricting the operation of applications to authorized domains | |
| US10592660B2 (en) | Capability access management | |
| CN107147649A (zh) | 基于云存储的数据优化调度方法 | |
| CN107135223A (zh) | 海量数据管理系统的数据持久化方法 | |
| CN114579958A (zh) | 一种ai模型加密部署方法、系统、电子设备及存储介质 | |
| EP1151396A1 (en) | A method of processing digital material | |
| Pecholt et al. | Live migration of operating system containers in encrypted virtual machines | |
| US20200104145A1 (en) | Mobile application management by run-time insertion of a substitute application class loader into a mobile application process | |
| KR20210047763A (ko) | 컨테이너 기반의 인공지능 모델 관리 방법 및 서버 | |
| US9836295B1 (en) | Method and system for secure automated deployment of emulated computer system | |
| US20230068221A1 (en) | Securing Pods in a Container Orchestration Environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |