CN115454420A - 人工智能算法模型部署系统、方法、设备及存储介质 - Google Patents
人工智能算法模型部署系统、方法、设备及存储介质 Download PDFInfo
- Publication number
- CN115454420A CN115454420A CN202211120253.3A CN202211120253A CN115454420A CN 115454420 A CN115454420 A CN 115454420A CN 202211120253 A CN202211120253 A CN 202211120253A CN 115454420 A CN115454420 A CN 115454420A
- Authority
- CN
- China
- Prior art keywords
- algorithm
- artificial intelligence
- module
- deployment
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/36—Software reuse
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
- G06F8/71—Version control; Configuration management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Stored Programmes (AREA)
Abstract
本发明提出一种人工智能算法模型部署系统、方法、设备及存储介质,包括:前端模块用于与用户进行交互,并接收用户请求,用户请求包括请求信息;功能管理模块用于管理若干功能信号,并根据请求信息选择相对应的目标功能信号;算法部署模块用于部署不同格式不同框架的人工智能算法,并根据目标功能信号选择相应的目标人工智能算法,并根据请求信息和所述目标人工智能算法,获取请求结果,并将所述请求结果返回给所述前端模块,以使得所述前端模块将所述请求结果返回给所述用户,请求信息中的所述输入参数格式和目标人工智能算法的格式相同。本发明通过统一部署、集中管理不同框架不同格式的人工智能算法,有效提高不同的人工智能算法部署效率。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种人工智能算法模型部署系统、方法、设备及存储介质。
背景技术
近年来随着数字经济高速发展,人工智能赋能实体经济,在社会经济各个领域深度融合,并落地应用,各行业企业积极探索基于AI(Artificial Intelligence,人工智能)能力的个性化业务创新与智能化升级,在此过程中,AI能力输出的效率与算法模型的部署时效息息相关。在人工智能产品研发的过程中,AI算法只是人工智能产品其中的一部分,数据采集、数据处理、样本标注、人工智能算法模型的训练、人工智能算法模型的验证和部署也是很重要的一部分。除此之外,不同的部署平台算力也是有区别的,为提升整体算法的效果和更新迭代速度,对人工智能开发系统模块化、自动化、流程化的要求越来越高。对于在不同平台上落地的AI算法,可以进行针对性的优化和差异化的部署,充分调动硬件的算力,保证算法效果的稳定性,增强产品的效果,提升算法开发人员的开发效率。
但是,现有的人工智能模型算法部署平台对于不同框架、不同格式的算法框架难以集中管理,并且难以统一部署。
发明内容
本发明提供一种人工智能算法模型部署系统、方法、设备及存储介质,其主要目的在于统一部署、集中管理不同框架不同格式的人工智能算法,有效提高不同的人工智能算法部署效率。
第一方面,本发明实施例提供一种人工智能算法模型部署系统,包括前端模块、功能管理模块和算法部署模块,其中:
所述前端模块用于与用户进行交互,并接收用户请求,所述用户请求包括请求信息,所述请求信息包括人工智能算法的输入参数;
所述功能管理模块用于管理若干功能信号,并根据所述请求信息选择相对应的目标功能信号;
所述算法部署模块用于部署不同格式不同框架的人工智能算法,并根据所述目标功能信号选择相应的目标人工智能算法,并根据所述请求信息和所述目标人工智能算法,获取请求结果,并将所述请求结果返回给所述前端模块,以使得所述前端模块将所述请求结果返回给所述用户,所述请求信息中的所述输入参数格式和所述目标人工智能算法的格式相同。
优选地,还包括数据存储模块,所述数据存储模块用于存储岗位和人工智能算法之间的对应关系,所述用户请求包括用户信息,其中:
所述功能管理模块还用于根据所述用户信息,获取所述用户的实时岗位,并根据所述用户的实时岗位,在所述数据存储模块中进行查找,获取所述实时岗位对应的可使用人工智能算法列表,并将所述可使用人工智能算法列表发送给所述前端模块,以使得所述前端模块将所述可使用人工智能算法列表展示给所述用户。
优选地,所述数据存储模块还用于存储每一人工智能算法对应的测试数据,所述功能信号包括算法模型更新信号,所述算法部署模块包括若干算法模型部署服务器,其中:
所述前端模块还用于接收算法模型更新请求;
所述功能管理模块还用于根据所述算法模型更新请求选择所述算法模型更新信号;
所述算法部署模块用于根据所述算法模型更新信号选择其中一个算法模型部署服务器进行更新,并将更新时间段内的所有请求分配给其它未进行更新的算法模型部署服务器,更新完成后重启该更新后的算法模型部署服务器,并向更新后的算法模型部署服务器发送请求,验证更新后的算法模型部署服务器是否成功启动,若成功,则向所述前端模块发送成功信号,以使得所述前端模块展示给所述用户。
优选地,所述算法部署模块用于根据所述算法模型更新信号选择其中一个算法模型部署服务器进行更新,具体包括:
所述算法部署模块根据所述算法模型更新信号,获取新算法框架下载地址或者存储地址,以根据所述下载地址或所述存储地址,获取新算法框架,并根据所述新算法框架,判断是否存在旧算法框架,若存在,则将所述旧算法框架存储在备份文件目录中,并将所述新算法框架存储在原始目录中。
优选地,还包括:
所述算法部署模块还用于从所述数据存储模块中获取相应的测试数据对更新后的算法模型部署服务器和未更新的算法模型部署服务器进行测试,若更新后准确率更高,则继续对其它未更新的算法模型部署服务器进行更新;若更新后准确率更低,则对更新后的算法模型部署服务器自动备份旧版本模型,并向所述前端模块发送更新失败提醒。
优选地,还包括在线生成API模块,其中:
所述前端模块还用于接收在线生成请求,所述在线生成请求包括目标API格式和目标API参数;
所述功能管理模块用于根据所述目标API格式,从所述数据存储模块中获取API模型参数,并结合所述API模型参数,在线生成API代码及文档,并将所述API代码及所述文档实时部署至所述算法部署模块。
优选地,所述功能管理模块还用于记录每一人工智能算法的性能、实时运行情况、推理速度、资源占用量、服务访问量和响应时长。
第二方面,本发明实施例提供一种人工智能算法模型部署方法,包括:
通过前端模块与用户进行交互,并接收用户请求,所述用户请求包括请求信息,所述请求信息包括人工智能算法的输入参数;
通过功能管理模块管理若干功能信号,并根据所述请求信息选择相对应的目标功能信号;
通过算法部署模块部署不同格式不同框架的人工智能算法,并根据所述目标功能信号选择相应的目标人工智能算法,并根据所述请求信息和所述目标人工智能算法,获取请求结果,并将所述请求结果返回给所述前端模块,以使得所述前端模块将所述请求结果返回给所述用户,所述请求信息中的所述输入参数格式和所述目标人工智能算法的格式相同。
第三方面,本发明实施例提供一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述一种人工智能算法模型部署方法的步骤。
第四方面,本发明实施例提供一种计算机存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述一种人工智能算法模型部署方法的步骤。
本发明实施例提供一种人工智能算法模型部署系统、方法、设备及存储介质,该系统由前端模块、功能管理模块和算法部署模块三部分组成,前端模块用于与用户进行交互,并接收用户请求,功能管理模块用于管理不同功能,并根据用户请求选取要实现的功能,生成目标功能信号,通过该目标功能信号触发算法部署模块,算法部署模块用于管理和部署不同格式不同框架的人工智能算法,并根据目标功能信号选择相应的人工智能算法,以实现用户需求。本发明实施例通过对不同格式不同框架的人工智能算法进行统一管理,节约了硬件资源,并且扩大了该人工智能算法模型部署系统的适用性;并且根据用户请求直接调用相应的人工智能算法实现相应的功能,节约了开发、调试、测试、验证等一系列操作过程,提高用户使用感受。
附图说明
图1为本发明实施例提供的一种人工智能算法模型部署系统的结构示意图;
图2为本发明实施例提供的一种人工智能算法模型部署系统的框架布局示意图;
图3为本发明实施例提供的一种人工智能算法模型部署方法的流程图;
图4为本发明实施例提供的一种计算机设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下结合附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的保护范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。下面结合附图对本发明做进一步的描述。
传统的企业AI算法部署平台对于不同框架、不同格式的模型难以集中管理、同一部署,并且缺少便捷的权限管理机制,模型上线流程复杂,需要多层审批,代码复用率低,新建模型时需要重复编写通用代码,浪费开发人力,且缺少AI模型部署、运行、测试、迭代的全流程统一控管,内聚的一站式模型部署平台,模型开发与模型投产无法做到无缝衔接,针对这些问题,本发明实施例提出一种人工智能算法模型部署系统,本发明实施例提供一种人工智能算法模型部署系统,该系统中存储有许多个现有的人工智能算法模型,当用户需要使用某个人工智能算法模型时,只需要向该系统中输入与该人工智能算法模型相对应格式的输入参数,即可得到对应的预测结果,不需要开发人员重新进行代码编写、调试等过程,既方便了用户进行使用,又能有效地节约开发人员的时间;另外,本发明还提供一种便捷的权限管理机制,当用户在前端模块中发起用户请求时,本发明实施例会根据该用户的岗位信息,找到与该用户岗位权限相对应的人工智能算法模型,看该用户是否具有使用该人工智能算法模型的权限,从而可以缩短审批流程,节约审批时间;再者,本发明实施例提供的人工智能算法模型部署系统可以统一对不同格式、不同框架的人工智能算法模型进行管理,并且通过新的样本数据对旧版人工智能算法模型进行优化,可以对旧版本的人工智能算法模型参数进行更新,从而可以提高代码复用率,避免重复编写通用代码,节省开发人力。
图1为本发明实施例提供的一种人工智能算法模型部署系统的结构示意图,如图1所示,该系统包括前端模块110、功能管理模块120和算法部署模块130,其中:
所述前端模块用于与用户进行交互,并接收用户请求,所述用户请求包括请求信息,所述请求信息包括人工智能算法的输入参数;所述功能管理模块用于管理若干功能信号,并根据所述请求信息选择相对应的目标功能信号;所述算法部署模块用于部署不同格式不同框架的人工智能算法,并根据所述目标功能信号选择相应的目标人工智能算法,并根据所述请求信息和所述目标人工智能算法,获取请求结果,并将所述请求结果返回给所述前端模块,以使得所述前端模块将所述请求结果返回给所述用户,所述请求信息中的所述输入参数格式和所述目标人工智能算法的格式相同。
本发明实施例中提供的人工智能算法模型部署系统由前端模块、功能管理模块和算法部署模块三部分组成,其中前端模块是用于与用户进行交互的,此处,前端模块可以看做是网页前端、手机APP前端等,用户通过登录网页或者手机APP,在网页或者手机APP进行操作,从而产生相应的请求。容易理解的是,用户可以在网页或者手机APP上输入用户请求信息,也可以是网页或者手机APP上提供多种不同类型的请求供用户进行选择,用户点击某个请求后就会触发相应的请求,使得前端模块接收到该请求,具体操作方法可以根据实际情况进行确定,本发明实施例对此不再赘述。本发明实施例中前端模块除了与用户进行交互外,还可以接收用户请求,该用户请求是指用户需要使用哪个具体的人工智能算法,具体地,该用户请求中包含用户认证Token,用户认证Token用于解密得到用户岗位信息,不同的人工智能算法对应的框架和格式是不同的,常见的人工智能算法对应的框架有Keras、Tensorflow、Pytorch、Caffe和DeepLearning4j等等,每个框架分别支持ckpt、pb、pth、pkl和h5等格式,当请求的是使用哪个人工智能算法时,就输入与该人工智能算法相对应格式的输入参数。还需要说的是,该前端模块可以是手机、计算机、平板电脑等电子设备。
前端模块接收到用户请求后,将该用户请求发送给功能管理模块,该功能管理模块用来对不同功能信号进行管理,也就是该功能管理模块可以实现很多种功能,每种功能对应不同的功能信号,比如可以是用户管理、数据资产管理、模型管理、模型部署管理、服务运维中心和在线生成API等功能,用户管理功能具体可以包括用户登录和权限配置,用户登录是指用户登录系统的功能,权限配置是指为不同岗位等级的用户配置不同的人工智能算法使用权限,数据资产管理是指对该系统涉及到的数据进行管理,比如可以实现数据共享和数据回流,模型管理是指对不同格式不同功能的人工智能算法模型进行管理,比如可以实现人工智能算法模型上次,或者人工智能算法模型导出,模型部署管理是指对人工智能算法模型的开发、测试、验证等过程进行管理,比如灰度部署和多框架支持,灰度部署是指先更新一小部分服务器,然后对应用进行验证,服务运维中心是指对人工智能算法模型进行性能监控和状态监控等,在线生成API是指自动生成代码或者实时启动服务。由此可见,功能管理模块管理不同的功能,也就是功能管理模块可以根据用户需求实现不同的功能,具体是根据用户请求中请求信息,选择相应的目标功能信号,该目标功能信号即为要实现的功能对应的触发信号,具体地,该功能管理模块是通过Token解密来获得用户ID,通过该ID查询企业员工信息管理系统,获取用户岗位信息。同样地,该功能管理模块可以是平板、电脑、计算机等电子设备。
功能管理模块得到目标功能信号后,将该目标功能信号发送给算法部署模块,该算法部署模块用于部署不同格式不同框架的人工智能算法,部署的人工智能算法可以是训练之后的,也可以是未经过训练的,在对人工智能算法进行训练时,所具体采用的训练方法、损失函数等都可以根据实际情况进行确定,本发明实施例对此不做赘述。并且,要实现的功能不同,所适用的人工智能算法也不同,比如Tensorflow框架的人工智能算法常常应用在图像领域,而Keras框架常常用于进行深度学习模型的设计、调试、评估、应用和可视化,在根据功能进行人工智能算法的选择时,应该优先选择相对应的人工智能算法,从而最大程度地实现用户需求。算法部署模块直接将人工智能算法部署下来,使得当需要使用某个人工智能算法时,直接调用该算法部署模块上已经调试好的人工智能算法即可,十分方便简洁。还需要说明的是,该算法部署模块可以是电脑、计算机、平板等电子设备。
本发明实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习、深度学习等几大方向。
本发明实施例提供一种人工智能算法模型部署系统,该系统由前端模块、功能管理模块和算法部署模块三部分组成,前端模块用于与用户进行交互,并接收用户请求,功能管理模块用于管理不同功能,并根据用户请求选取要实现的功能,生成目标功能信号,通过该目标功能信号触发算法部署模块,算法部署模块用于管理和部署不同格式不同框架的人工智能算法,并根据目标功能信号选择相应的人工智能算法,以实现用户需求。本发明实施例通过对不同格式不同框架的人工智能算法进行统一管理,节约了硬件资源,并且扩大了该人工智能算法模型部署系统的适用性;并且根据用户请求直接调用相应的人工智能算法实现相应的功能,节约了开发、调试、测试、验证等一系列操作过程,提高用户使用感受。
在上述实施例的基础上,优选地,还包括数据存储模块,所述数据存储模块用于存储岗位和人工智能算法之间的对应关系,所述用户请求包括用户信息,其中:
所述功能管理模块还用于根据所述用户信息,获取所述用户的实时岗位,并根据所述用户的实时岗位,在所述数据存储模块中进行查找,获取所述实时岗位对应的可使用人工智能算法列表,并将所述可使用人工智能算法列表发送给所述前端模块,以使得所述前端模块将所述可使用人工智能算法列表展示给所述用户。
图2为本发明实施例提供的一种人工智能算法模型部署系统的框架布局示意图,如图2所示,本发明实施例的人工智能算法模型部署系统中还包括数据存储模块,该数据存储模块用来存储企业岗位和人工智能算法之间的对应关系,容易理解的是,用户岗位越高,其所能使用的人工智能算法也越多,用户岗位越低,其所能使用的人工智能算法也越少,因此,不同岗位所能使用的人工智能算法是不同的,该用户请求中还包括用户信息,该用户信息可以是用户姓名,或者用户ID,或者用户工号等,只要是该用户信息中包含的信息内容可以唯一确定用户岗位即可,具体可以根据实际情况进行确定,本发明实施例在此不做具体限定。然后该功能管理模块根据用户的实时岗位,在数据存储模块中进行查找,得到该实时岗位对应的可使用人工智能算法列表,具体地,该查找方法可以有顺序查找、折半查找、分块查找、二叉树查找等等,具体可以根据实际情况进行确定,本发明实施例对此不做具体限定。该可使用人工智能算法列表中包括该用户能够使用的所有人工智能算法列表,该人工智能算法列表包含人工智能算法模型名称、业务场景、人工智能算法模型的框架、人工智能算法模型的格式、人工智能算法模型的大小等信息。该功能管理模块还将该可使用人工智能算法列表发送给前端模块,前端模块接收到该可使用人工智能算法列表后,将该可使用人工智能算法列表展示给用户,以供用户进行选择。
在上述实施例的基础上,优选地,所述数据存储模块还用于存储每一人工智能算法对应的测试数据,所述功能信号包括算法模型更新信号,所述算法部署模块包括若干算法模型部署服务器,其中:
所述前端模块还用于接收算法模型更新请求;
所述功能管理模块还用于根据所述算法模型更新请求选择所述算法模型更新信号;
所述算法部署模块用于根据所述算法模型更新信号选择其中一个算法模型部署服务器进行更新,并将更新时间段内的所有请求分配给其它未进行更新的算法模型部署服务器,更新完成后重启该更新后的算法模型部署服务器,并向更新后的算法模型部署服务器发送请求,验证更新后的算法模型部署服务器是否成功启动,若成功,则向所述前端模块发送成功信号,以使得所述前端模块展示给所述用户。
具体地,该数据存储模块还用来存储每个人工智能算法对应的测试数据,功能信号除了用户请求信号外,还包括更新信息,也就是功能管理模块还具有更新的功能,该算法部署模块包括多个算法模型部署服务器。具体地,该前端模块接收到算法模型更新请求,该功能管理模块根据算法模型更新请求选择相应的算法模型更新信号。算法部署模块根据该算法模型更新信号选择其中一个算法模型部署服务器进行更新,并且在该算法模型部署服务器进行更新的过程中,该系统所接受到的用户请求都分配给其它算法模型部署服务器进行处理,该更新的算法模型部署服务器只专注于模型更新,不必处理其它用户请求,如此,既能实现模型在部署服务器上的更新,又不会影响用户请求的处理,从而提高用户使用感受。当该算法模型部署服务器更新完成后,向更新完成后的算法模型部署服务器发送请求,以此来验证更新后的算法模型部署服务器是否成功启动,如果成功,则向前端模块发送成功信号,以告知用户模型更新成功。
在上述实施例的基础上,优选地,所述算法部署模块用于根据所述算法模型更新信号选择其中一个算法模型部署服务器进行更新,具体包括:
所述算法部署模块根据所述算法模型更新信号,获取新算法框架下载地址或者存储地址,以根据所述下载地址或所述存储地址,获取新算法框架,并根据所述新算法框架,判断是否存在旧算法框架,若存在,则将所述旧算法框架存储在备份文件目录中,并将所述新算法框架存储在原始目录中。
具体地,该算法部署模块在更新模型框架时,获取新模型框架的做法是:前端模块上传新版本模型文件及信息给算法部署模块,该新版本模型文件及信息包括新版本模型的格式及框架,模型文件可由本地文件上传,或提供存储了模型文件的url地址,更新的算法部署服务器会通过该地址下载模型文件,还需要说明的是,新版本模型文件可由开发人员向旧模型扩充训练数据、调整网络结构重新训练等途径获得,是模型迭代优化后的结果。
在上述实施例的基础上,优选地,还包括:
所述算法部署模块还用于从所述数据存储模块中获取相应的测试数据对更新后的算法模型部署服务器和未更新的算法模型部署服务器进行测试,若更新后准确率更高,则继续对其它未更新的算法模型部署服务器进行更新;若更新后准确率更低,则对更新后的算法模型部署服务器自动备份旧版本模型,并向所述前端模块发送更新失败提醒。
具体地,算法部署模块对算法部署服务器进行更新后的验证方法是从数据存储模块中获取相应的测试数据,利用该测试数据对更新后的算法模型部署服务器和未更新的算法模型部署服务器进行测试,如果更新后的准确率更高,则继续对其它未更新的算法模型部署服务器进行更新,如果更新后准确率更低,则返回到原来的版本,并向用户发送更新失败的提醒。
还需要说明的是,全流程操作日志存入模型操作日志数据表中,确保对模型的任一操作均可追踪至个人。
具体地,本发明实施例对更新后的算法模型部署服务器进行验证,并将准确率更高的模型版本作为实际使用版本,保证了实现用户需求的准确性,提升了用户体验。
在上述实施例的基础上,优选地,还包括在线生成API模块,其中:
所述前端模块还用于接收在线生成请求,所述在线生成请求包括目标API格式和目标API参数;所述功能管理模块用于根据所述目标API格式,从所述数据存储模块中获取API模型参数,并结合所述API模型参数,在线生成API代码及文档,并将所述API代码及所述文档实时部署至所述算法部署模块。
具体地,该在线生成请求包括目标API格式和目标API参数,功能管理模块根据该目标API格式,从数据存储模块中获取到API模型参数,并结合API模型参数,在线生成API代码及文档,将该API代码及文档实时部署到算法部署模块中。
在上述实施例的基础上,优选地,所述功能管理模块还用于记录每一人工智能算法的性能、实时运行情况、推理速度、资源占用量、服务访问量和响应时长。
具体地,该功能管理模块还用于记录每个人工智能算法的性能,该性能是指预测准确率、正常运行概率等,该实时运行情况是指人工智能算法的运行状态,是否能正常运行等,该推理速度是指人工智能算法预测出结果所需要的时间,资源占用量是指该人工智能算法所占用的硬件资源,服务访问量是指处理用户请求的量,响应时长是指用户从发出请求到得到请求结果之间所需要的事件。本发明实施例对人工智能算法的各个方面进行监控,可以最大程度地保障系统能正常运行。
本发明实施例提供的人工智能算法模型部署系统,实现了对数据的跨团队流通共享、对人工智能算法模型的统一纳管和一键部署、对人工智能算法模型性能和状态的持续追踪监控等功能,一站式支持人工智能算法模型的开发、部署、测试、运维、迭代等整个生命周期,使人工智能算法模型的开发至投产无缝衔接。对于企业而言,解决了缺少高内聚的人工智能算法模型及服务管理平台的难题,降低了AI管理成本,提升了应用创新效率,加速了企业智能化升级;员工方面,降低了人工智能算法模型部署的门槛,减少了复杂的部署步骤,节约了开发通用代码的时长,帮助员工专注自身业务能力升级,满足团队敏捷开发的需要,减少业务需求响应时长,提高客户满意度。
上述人工智能算法模型部署系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
图3为本发明实施例提供的一种人工智能算法模型部署方法的流程图,如图3所示,该方法包括:
S310,通过前端模块与用户进行交互,并接收用户请求,所述用户请求包括请求信息,所述请求信息包括人工智能算法的输入参数;
S320,通过功能管理模块管理若干功能信号,并根据所述请求信息选择相对应的目标功能信号;
S330,通过算法部署模块部署不同格式不同框架的人工智能算法,并根据所述目标功能信号选择相应的目标人工智能算法,并根据所述请求信息和所述目标人工智能算法,获取请求结果,并将所述请求结果返回给所述前端模块,以使得所述前端模块将所述请求结果返回给所述用户,所述请求信息中的所述输入参数格式和所述目标人工智能算法的格式相同。
本实施例为与上述系统实施例对应的方法实施例,其具体实施过程与上述方法实施例相同,详情请参考上述方法实施例,本系统实施例在此不再赘述。
在上述实施例的基础上,优选地,还包括数据存储模块,所述数据存储模块用于存储岗位和人工智能算法之间的对应关系,所述用户请求包括用户信息,其中:
通过所述功能管理模块根据所述用户信息,获取所述用户的实时岗位,并根据所述用户的实时岗位,在所述数据存储模块中进行查找,获取所述实时岗位对应的可使用人工智能算法列表,并将所述可使用人工智能算法列表发送给所述前端模块,以使得所述前端模块将所述可使用人工智能算法列表展示给所述用户。
在上述实施例的基础上,优选地,所述数据存储模块还用于存储每一人工智能算法对应的测试数据,所述功能信号包括算法模型更新信号,所述算法部署模块包括若干算法模型部署服务器,其中:
通过所述前端模块接收算法模型更新请求;
通过所述功能管理模块根据所述算法模型更新请求选择所述算法模型更新信号;
通过所述算法部署模块根据所述算法模型更新信号选择其中一个算法模型部署服务器进行更新,并将更新时间段内的所有请求分配给其它未进行更新的算法模型部署服务器,更新完成后重启该更新后的算法模型部署服务器,并向更新后的算法模型部署服务器发送请求,验证更新后的算法模型部署服务器是否成功启动,若成功,则向所述前端模块发送成功信号,以使得所述前端模块展示给所述用户。
在上述实施例的基础上,优选地,所述通过所述算法部署模块根据所述算法模型更新信号选择其中一个算法模型部署服务器进行更新,具体包括:
通过所述算法部署模块根据所述算法模型更新信号,获取新算法框架下载地址或者存储地址,以根据所述下载地址或所述存储地址,获取新算法框架,并根据所述新算法框架,判断是否存在旧算法框架,若存在,则将所述旧算法框架存储在备份文件目录中,并将所述新算法框架存储在原始目录中。
在上述实施例的基础上,优选地,还包括:
通过所述算法部署模块从所述数据存储模块中获取相应的测试数据对更新后的算法模型部署服务器和未更新的算法模型部署服务器进行测试,若更新后准确率更高,则继续对其它未更新的算法模型部署服务器进行更新;若更新后准确率更低,则对更新后的算法模型部署服务器自动备份旧版本模型,并向所述前端模块发送更新失败提醒。
在上述实施例的基础上,优选地,还包括在线生成API模块,其中:
通过所述前端模块接收在线生成请求,所述在线生成请求包括目标API格式和目标API参数;
通过所述功能管理模块根据所述目标API格式,从所述数据存储模块中获取API模型参数,并结合所述API模型参数,在线生成API代码及文档,并将所述API代码及所述文档实时部署至所述算法部署模块。
在上述实施例的基础上,优选地,所述功能管理模块还用于记录每一人工智能算法的性能、实时运行情况、推理速度、资源占用量、服务访问量和响应时长。
图4为本发明实施例提供的一种计算机设备的结构示意图,该计算机设备可以是服务器,其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括计算机存储介质、内存储器。该计算机存储介质存储有操作系统、计算机程序和数据库。该内存储器为计算机存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储执行人工智能算法模型部署方法过程中生成或获取的数据,如用户请求、请求信息。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种人工智能算法模型部署方法。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例中的人工智能算法模型部署方法的步骤。或者,处理器执行计算机程序时实现人工智能算法模型部署系统这一实施例中的各模块/单元的功能。
在一实施例中,提供一计算机存储介质,该计算机存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中人工智能算法模型部署方法的步骤。或者,该计算机程序被处理器执行时实现上述人工智能算法模型部署系统这一实施例中的各模块/单元的功能。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种人工智能算法模型部署系统,其特征在于,包括前端模块、功能管理模块和算法部署模块,其中:
所述前端模块用于与用户进行交互,并接收用户请求,所述用户请求包括请求信息,所述请求信息包括人工智能算法的输入参数;
所述功能管理模块用于管理若干功能信号,并根据所述请求信息选择相对应的目标功能信号;
所述算法部署模块用于部署不同格式不同框架的人工智能算法,并根据所述目标功能信号选择相应的目标人工智能算法,并根据所述请求信息和所述目标人工智能算法,获取请求结果,并将所述请求结果返回给所述前端模块,以使得所述前端模块将所述请求结果返回给所述用户,所述请求信息中的所述输入参数格式和所述目标人工智能算法的格式相同。
2.根据权利要求1所述的人工智能算法模型部署系统,其特征在于,还包括数据存储模块,所述数据存储模块用于存储岗位和人工智能算法之间的对应关系,所述用户请求包括用户信息,其中:
所述功能管理模块还用于根据所述用户信息,获取所述用户的实时岗位,并根据所述用户的实时岗位,在所述数据存储模块中进行查找,获取所述实时岗位对应的可使用人工智能算法列表,并将所述可使用人工智能算法列表发送给所述前端模块,以使得所述前端模块将所述可使用人工智能算法列表展示给所述用户。
3.根据权利要求1所述的人工智能算法模型部署系统,其特征在于,所述数据存储模块还用于存储每一人工智能算法对应的测试数据,所述功能信号包括算法模型更新信号,所述算法部署模块包括若干算法模型部署服务器,其中:
所述前端模块还用于接收算法模型更新请求;
所述功能管理模块还用于根据所述算法模型更新请求选择所述算法模型更新信号;
所述算法部署模块用于根据所述算法模型更新信号选择其中一个算法模型部署服务器进行更新,并将更新时间段内的所有请求分配给其它未进行更新的算法模型部署服务器,更新完成后重启该更新后的算法模型部署服务器,并向更新后的算法模型部署服务器发送请求,验证更新后的算法模型部署服务器是否成功启动,若成功,则向所述前端模块发送成功信号,以使得所述前端模块展示给所述用户。
4.根据权利要求3所述的人工智能算法模型部署系统,其特征在于,所述算法部署模块用于根据所述算法模型更新信号选择其中一个算法模型部署服务器进行更新,具体包括:
所述算法部署模块根据所述算法模型更新信号,获取新算法框架下载地址或者存储地址,以根据所述下载地址或所述存储地址,获取新算法框架,并根据所述新算法框架,判断是否存在旧算法框架,若存在,则将所述旧算法框架存储在备份文件目录中,并将所述新算法框架存储在原始目录中。
5.根据权利要求4所述的人工智能算法模型部署系统,其特征在于,还包括:
所述算法部署模块还用于从所述数据存储模块中获取相应的测试数据对更新后的算法模型部署服务器和未更新的算法模型部署服务器进行测试,若更新后准确率更高,则继续对其它未更新的算法模型部署服务器进行更新;若更新后准确率更低,则对更新后的算法模型部署服务器自动备份旧版本模型,并向所述前端模块发送更新失败提醒。
6.根据权利要求2所述的人工智能算法模型部署系统,其特征在于,还包括在线生成API模块,其中:
所述前端模块还用于接收在线生成请求,所述在线生成请求包括目标API格式和目标API参数;
所述功能管理模块用于根据所述目标API格式,从所述数据存储模块中获取API模型参数,并结合所述API模型参数,在线生成API代码及文档,并将所述API代码及所述文档实时部署至所述算法部署模块。
7.根据权利要求1至5任一所述的人工智能算法模型部署系统,其特征在于,所述功能管理模块还用于记录每一人工智能算法的性能、实时运行情况、推理速度、资源占用量、服务访问量和响应时长。
8.一种人工智能算法模型部署方法,其特征在于,包括:
通过前端模块与用户进行交互,并接收用户请求,所述用户请求包括请求信息,所述请求信息包括人工智能算法的输入参数;
通过功能管理模块管理若干功能信号,并根据所述请求信息选择相对应的目标功能信号;
通过算法部署模块部署不同格式不同框架的人工智能算法,并根据所述目标功能信号选择相应的目标人工智能算法,并根据所述请求信息和所述目标人工智能算法,获取请求结果,并将所述请求结果返回给所述前端模块,以使得所述前端模块将所述请求结果返回给所述用户,所述请求信息中的所述输入参数格式和所述目标人工智能算法的格式相同。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求8所述人工智能算法模型部署方法的步骤。
10.一种计算机存储介质,所述计算机存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求8所述人工智能算法模型部署方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211120253.3A CN115454420A (zh) | 2022-09-15 | 2022-09-15 | 人工智能算法模型部署系统、方法、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211120253.3A CN115454420A (zh) | 2022-09-15 | 2022-09-15 | 人工智能算法模型部署系统、方法、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115454420A true CN115454420A (zh) | 2022-12-09 |
Family
ID=84303554
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211120253.3A Pending CN115454420A (zh) | 2022-09-15 | 2022-09-15 | 人工智能算法模型部署系统、方法、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115454420A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115906874A (zh) * | 2023-03-08 | 2023-04-04 | 小米汽车科技有限公司 | 语义解析方法、系统、电子设备及存储介质 |
CN117742701A (zh) * | 2024-02-02 | 2024-03-22 | 天讯瑞达通信技术有限公司 | 一种基于区块链的ai隐私计算平台 |
-
2022
- 2022-09-15 CN CN202211120253.3A patent/CN115454420A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115906874A (zh) * | 2023-03-08 | 2023-04-04 | 小米汽车科技有限公司 | 语义解析方法、系统、电子设备及存储介质 |
CN117742701A (zh) * | 2024-02-02 | 2024-03-22 | 天讯瑞达通信技术有限公司 | 一种基于区块链的ai隐私计算平台 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3842948B1 (en) | Method and apparatus for testing edge computing, device, and readable storage medium | |
US11227221B2 (en) | Framework management method and apparatus | |
CN110096517B (zh) | 基于分布式系统的缓存数据的监控方法、装置和系统 | |
CN115454420A (zh) | 人工智能算法模型部署系统、方法、设备及存储介质 | |
JP2017062767A (ja) | インテリジェントなクラウド計画立案およびデコミッショニングのための方法およびシステム | |
CN110727575B (zh) | 一种信息处理方法、系统、装置、以及存储介质 | |
US11442830B2 (en) | Establishing and monitoring programming environments | |
CN113741958A (zh) | 一种基于云原生的软件开发交付方法及系统 | |
CN112650688A (zh) | 自动化回归测试方法、关联设备以及计算机程序产品 | |
CA3150183A1 (en) | Flink streaming processing engine method and device for real-time recommendation and computer equipment | |
CN111158730A (zh) | 系统更新方法、装置、电子设备和可读存储介质 | |
CN110865806B (zh) | 代码处理方法、装置、服务器及存储介质 | |
CN107562894B (zh) | 一种web应用系统行为仿真的API获取和应用方法 | |
US20240346016A1 (en) | Real Time Optimization Apparatus Using Smart Contracts for Dynamic Code Validation and Approval | |
CN114489704A (zh) | 基于策略的版本编译部署方法及装置 | |
CN116303106A (zh) | 一种适用金融行业的基于GitFlow软件版本快速回滚方法及系统 | |
US20230274050A1 (en) | Critical infrastructure blueprint selection for optimized response to state changing conditions | |
CN112181785B (zh) | 一种自动添加监控设备的方法、终端及存储介质 | |
CN115604086A (zh) | 监控报警故障自愈方法、装置、设备、介质和程序产品 | |
US20220244975A1 (en) | Method and system for generating natural language content from recordings of actions performed to execute workflows in an application | |
CN114996955A (zh) | 一种云原生混沌工程实验的靶场环境构建方法及装置 | |
CN115705297A (zh) | 代码调用检测方法、装置、计算机设备以及存储介质 | |
CN113326052A (zh) | 业务组件的升级方法、装置、计算机设备和存储介质 | |
US12086586B2 (en) | Artificial intelligence (AI) supported graph enabled method to manage upgrades for applications | |
US12135638B2 (en) | Graphical neural network for error identification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |