CN111399853A - 机器学习模型与自定义算子的模板化部署方法 - Google Patents

机器学习模型与自定义算子的模板化部署方法 Download PDF

Info

Publication number
CN111399853A
CN111399853A CN202010105170.1A CN202010105170A CN111399853A CN 111399853 A CN111399853 A CN 111399853A CN 202010105170 A CN202010105170 A CN 202010105170A CN 111399853 A CN111399853 A CN 111399853A
Authority
CN
China
Prior art keywords
machine learning
user
model
learning model
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010105170.1A
Other languages
English (en)
Other versions
CN111399853B (zh
Inventor
何思佑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan XW Bank Co Ltd
Original Assignee
Sichuan XW Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan XW Bank Co Ltd filed Critical Sichuan XW Bank Co Ltd
Priority to CN202010105170.1A priority Critical patent/CN111399853B/zh
Publication of CN111399853A publication Critical patent/CN111399853A/zh
Application granted granted Critical
Publication of CN111399853B publication Critical patent/CN111399853B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Stored Programmes (AREA)

Abstract

本发明涉及机器学习模型与自定义算子的模板化部署方法，包括：包括：A.根据机器学习模型的预测过程设置通用模板；B.将用户输入的框架名称和机器学习模型的模型名称在配置文件中进行匹配，用配置文件中的相应字段替换通用模板中的替代符；C.根据通用模板生成可执行文件；D.在服务器中以容器的形式运行通用模板和用户上传的机器学习模型，将实例化后的机器学习模型加入到服务序列中；E.用户进行HTTP请求时，根据用户输入的模型ID或自定义算子ID在服务序列中查找机器学习模型实例，并调用模型实例中的预测方法计算后返回结果。本发明能够大幅度缩短机器学习模型的部署时间，显著的降低了在部署环节中的人员开发成本和时间成本。

Description

机器学习模型与自定义算子的模板化部署方法
技术领域
本发明涉及机器学习模型与自定义算子的部署方法，具体讲是机器学习模型与自定义算子的模板化部署方法。
背景技术
近年来，机器学习技术的应用十分广泛，多个行业的技术也因此发生了变革，如金融风控技术、图像识别技术、自动驾驶技术等。机器学习技术应用主要分为两个步骤：(1)训练模型：通过算法拟合数据，持久化一个可复用的模型；(2)部署模型：将模型部署为API(应用程序接口)供其他应用系统调用。前者主要被学术界深入研究，而后者在工业生产应用中是一个比较重要且复杂的环节。它的主要挑战在于常用的技术框架繁多，如：Sklearn、H2O、pyspark、TensorFlow、Keras、Pytorch等，每个框架生成的模型都需要使用一套完全不同的环境依赖和方法来部署调用，并且多数应用不仅会用到模型，还会使用算子(自定义代码)对输入数据进行大量的转化处理，这对模型部署的复杂逻辑处理能力要求较高。上述问题为模型的部署带来了过多的开发工作，大量增加了时间和人力成本。
在现有技术中实现对机器学习模型部署的方法有：
(1)通过MLeap：MLeap(machine learning pipelines)是一种常用的序列化格式和执行引擎。它将可用的机器学习模型持久化为一个MLeap Bundle格式的json文件，再使用Java语言统一运行环境，通过解析Json文件还原模型参数，规避运行环境和框架依赖的问题。
该方法的缺点是：MLeap Bundle的定义并不标准且并不兼容所有模型，并且MLeap的原始目的是为了解决spark MLlib和sciket-learn的模型相互转化的问题，对其他框架的支持较弱。最大的缺点是没有提供模型API(应用程序接口)快速发布的功能。
(2)通过KubeFlow：KubeFlow是基于Kubernetes的主流机器学习解决方案，它采用kubernetes+TensorFlow结合的方式，使用容器编排技术，一站式统一模型训练的集群化管理，并通过seldon core将模型部署为REST API形式。
该方法的缺点是：作为全力支持Tensorflow模型的框架，对于模型部署，其包含了过多的冗余功能，较为“笨重”，如训练步骤中的节点资源管理等。并且该框架的模型部署服务对自定义算子的支持十分薄弱，不能灵活组装模型与代码的pipeline。
上述现有方法实现对机器学习模型部署的步骤一般为：
1、使用原生框架实现模型训练，并保存模型文件。
2、针对模型文件写一个Web服务。
3、将服务打包放到Tomcat服务器中。
4、启动Tomcat服务。
这种部署方法比较复杂，且当模型更新时需重复2、3、4步骤，耗时长且难以对模型服务进行集中管理。
在现有技术中，还包括有用于工作流的模板化开发部署与实例化。而工作流要应对的问题主要是集成大量的无关联计算机程序，使其产生关联，该现有技术与机器学习模型的部署属于两种不同的应用领域。
发明内容
本发明提供了一种机器学习模型与自定义算子的模板化部署方法，以缩短机器学习模型的部署时间，降低在部署环节中的人员开发成本和时间成本。
本发明机器学习模型与自定义算子的模板化部署方法，包括：
A.根据机器学习模型的预测过程，通过服务器的处理器在存储介质中设置具有5个步骤的供不同框架模型实例化时调用的通用模板，在通用模板中具有实现所述5个步骤的通用代码和不通用部分，并将所述的不通用部分以替代符的形式替代；
B.所述处理器提取出用户通过输入设备输入的框架名称和上传的机器学习模型中的模型名称，并将所述的框架名称和模型名称在配置文件中进行匹配，如果配置文件中有对应的框架名称和模型名称，则提取出配置文件中对应的框架和机器学习模型中的相应字段对应替换通用模板中的替代符；所述的配置文件可以是在机器学习模型开发阶段制定的两套通用模板：spark和sklearn，也可以是用户上传的需要支持的框架。配置文件可以做到一次制定多次复用。在配置文件中包含文中所述5个步骤的必要操作。
C.处理器根据替换了替代符的通用模板生成可执行文件并保存在服务器内存中；
D.在服务器中以容器的形式运行通用模板和用户上传的机器学习模型，以用户输入的模型ID和用户请求当前模型的自定义算子ID作为唯一区分键，然后将实例化后的机器学习模型加入到供用户调用的服务序列中；
E.当服务器接收到用户的HTTP请求时，根据用户输入的模型ID或自定义算子ID在所述服务序列中查找对应的机器学习模型实例，并调用查找到的机器学习模型实例中的预测方法计算后返回结果。
通过将机器学习模型的预测过程以通用模板的形式进行模板化，能够使用户在不需要编写额外代码的情况下，将已有的机器学习模型通过通用模板和配置文件发布为可靠API(应用程序接口)服务；并提供自定义代码为API服务与机器学习模型进行组合使用，大幅度缩短了机器学习模型的部署时间，明显降低了在部署环节的人员开发成本和时间成本。
进一步的，步骤A中所述的5个步骤分别是与机器学习模型的预测过程对应的输入检测、模型载入、数据转化、预测结果和卸载模型。
进一步的，步骤B中，如果配置文件中没有对应的框架名称和模型名称，则由用户补充相应的配置文件后再执行步骤B。
进一步的，由于自定义算子中可能存在代码编写不规范或自定义方法，以及局部变量与全局变量定义交织的情况，因此针对自定义算子，在所述通用模板中具有接收用户输入参数的过程方法，作为用户调用的入口，并且无论该过程方法是否有返回值，都在该过程方法的末尾添加返回代码以区分变量区间。并且运行时以“方法”为主体，避免与生成的可执行文件中的类冲突。
进一步的，步骤C所述的可执行文件中包括：对步骤B所述框架名称对应的框架所需的所有依赖库、以用户输入的模型ID为区分键的统一命名格式的类，以及组成完整的模型预测周期的方法。
进一步的，步骤D中，通过Flask工具读取服务器内存中所述的可执行文件，通过Docker工具整合通用模板和机器学习模型的依赖库，然后在服务器中以容器的形式运行通用模板和用户上传的机器学习模型。Flask工具是一种用Python语言基于Werkzeug工具箱编写的轻量级Web开发框架，Flask工具作为Web服务提供者，服务器内存中的可执行文件被看作独立的小服务，运行在Flask这个服务载体上。Flask工具通常运行于类似于Tomcat或Apache等常用的服务容器中。Docker是一种开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中。
进一步的，步骤D所述供用户调用的服务序列中包含的所有机器学习模型实例对外只提供一个接口地址，由此可以屏蔽用户对请求分发给不同模型服务的感知，简化用户的调用；步骤E中当服务器接收到用户的HTTP请求时，根据用户输入的模型ID或自定义算子ID将用户的HTTP请求分发给服务序列中对应的机器学习模型实例。
进一步的，步骤E中，在根据用户输入的模型ID或自定义算子ID在所述服务序列中查找到对应的机器学习模型实例后，通过该机器学习模型实例中的检查方法检查用户输入的数据是否正确，如果正确，再调用查找到的机器学习模型实例中的预测方法计算后返回结果，否则返回输入错误的提示信息。
本发明的机器学习模型与自定义算子的模板化部署方法，能够大幅度缩短机器学习模型的部署时间，并且在部署时不需要编写额外代码，显著的降低了在部署环节中的人员开发成本和时间成本。
以下结合实施例的具体实施方式，对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。在不脱离本发明上述技术思想情况下，根据本领域普通技术知识和惯用手段做出的各种替换或变更，均应包括在本发明的范围内。
附图说明
图1为本发明机器学习模型与自定义算子的模板化部署方法的流程图。
图2为实施例中配置文件的一种模板示例。
图3为将图2模板中的替换符替换后的模板示例。
具体实施方式
如图1所示本发明机器学习模型与自定义算子的模板化部署方法，包括：
A.根据机器学习模型的预测过程，通过服务器的处理器在存储介质中设置具有5个步骤的供不同框架模型实例化时调用的通用模板，其中所述的5个步骤分别为：输入检测、模型载入、数据转化、预测结果和卸载模型。在通用模板中具有实现所述5个步骤的通用代码和不通用部分，其中通用代码包括：数据接收、数据解析、字段检查、结果封装等，不通用部分包括：环境依赖引入、模型ID、模型读取、数据转化、模型预测等。将所述的不通用部分以替代符的形式替代。
由于自定义算子中可能存在代码编写不规范或自定义方法，以及局部变量与全局变量定义交织的情况，因此针对自定义算子，在所述通用模板中具有接收用户输入参数的过程方法process(input_parameters)，作为用户调用的入口，并且无论该过程方法是否有返回值，都在该过程方法的末尾添加返回代码return，以区分变量区间。并且运行时以“方法”为主体，避免与生成的可执行文件中的类冲突。
B.所述处理器提取出用户通过输入设备输入的框架名称和上传的机器学习模型中的模型名称，并将所述的框架名称和模型名称在配置文件中进行匹配。所述的配置文件可以是在机器学习模型开发阶段制定的两套通用模板：spark和sklearn，也可以是用户上传的需要支持的框架。在配置文件中包含文中所述5个步骤的必要操作。如果配置文件中有对应的框架名称和模型名称，则提取出配置文件中对应的框架和机器学习模型中的相应字段对应替换通用模板中的替代符。如果配置文件中没有对应的框架名称和模型名称，则由用户补充相应的配置文件后再执行步骤B。如图2所示的原始模板，其中方框中的内容为不通用部分的替换符内容，例如第一个方框中的##dependicieds##会根据框架的不同导入不同的依赖。将所有替换符替换后的效果如图3所示。
C.处理器根据替换了替代符的通用模板生成可执行文件并保存在服务器内存中。在所述的可执行文件中包括：对步骤B所述框架名称对应的框架所需的所有依赖库、以用户输入的模型ID为区分键将类名统一为“CODE_FRAMEWORK”格式，以及组成完整的模型预测周期的方法，包括有：初始化方法init()、有效性检查方法check_define()、加载方法load_model()、数据转换方法prepare_data()、预测方法predict()、卸载模型方法stop_service()。
D.通过Flask工具读取服务器内存中所述的可执行文件，Flask工具作为Web服务提供者，服务器内存中的可执行文件被看作独立的小服务，运行在Flask这个服务载体上。Flask工具通常运行于类似于Tomcat或Apache等常用的服务容器中。通过Docker工具整合通用模板(可执行文件)和机器学习模型的依赖库，然后在服务器中以容器的形式运行通用模板和用户上传的机器学习模型。以用户输入的模型ID和用户请求当前模型的自定义算子ID作为唯一区分键，再调用init()与load_model()方法将机器学习模型实例化，然后将实例化后的机器学习模型加入到供用户调用的服务序列中。在所述的服务序列中包含的所有机器学习模型实例对外只提供一个接口地址，由此可以屏蔽用户对请求分发给不同模型服务的感知，简化用户的调用。
E.当服务器接收到用户的HTTP请求时，根据用户输入的模型ID或自定义算子ID在所述服务序列中查找到对应的机器学习模型实例，并将用户的HTTP请求分发给该机器学习模型实例。通过该机器学习模型实例中的有效性检查方法check_define()检查用户输入的数据是否正确，如果正确，再通过所述数据转换方法prepare_data()将用户输入数据转化为可用类型，然后调用预测方法predict()计算后返回结果。如果检查到用户输入数据不正确，则返回输入错误的提示信息。
本发明通过将机器学习模型的预测过程以通用模板的形式进行模板化，能够使用户在不需要编写额外代码的情况下，将已有的机器学习模型通过通用模板和配置文件发布为可靠API(应用程序接口)服务；并提供自定义代码为API服务与机器学习模型进行组合使用，大幅度缩短了机器学习模型的部署时间，明显降低了在部署环节的人员开发成本和时间成本。
通过表1的测试数据对比不同方法部署机器学习模型的时间来衡量本发明为部署人员带来的时间收益(部署人员使用Mleap和KubeFlow方法实现简单的Web服务)：
MLeap(machine learning pipelines)是一种常用的序列化格式和执行引擎。它将可用的机器学习模型持久化为一个MLeap Bundle格式的json文件，再使用Java语言统一运行环境，通过解析Json文件还原模型参数，规避运行环境和框架依赖的问题。
KubeFlow是基于Kubernetes的主流机器学习解决方案，它采用kubernetes+TensorFlow结合的方式，使用容器编排技术，一站式统一模型训练的集群化管理，并通过seldon core将模型部署为REST API形式。
表1：
模型部署方法 所需时间
Mleap 45min
KubeFlow 15min
本发明方法 3min
另外，通过本发明的部署，模型部署后的迁移也非常方便，仅需拷贝镜像与代码启动容器，执行启动服务命令即可。

Claims (8)

1.机器学习模型与自定义算子的模板化部署方法，其特征包括：
A.根据机器学习模型的预测过程，通过服务器的处理器在存储介质中设置具有5个步骤的供不同框架模型实例化时调用的通用模板，在通用模板中具有实现所述5个步骤的通用代码和不通用部分，并将所述的不通用部分以替代符的形式替代；
B.所述处理器提取出用户通过输入设备输入的框架名称和上传的机器学习模型中的模型名称，并将所述的框架名称和模型名称在配置文件中进行匹配，如果配置文件中有对应的框架名称和模型名称，则提取出配置文件中对应的框架和机器学习模型中的相应字段对应替换通用模板中的替代符；
C.处理器根据替换了替代符的通用模板生成可执行文件并保存在服务器内存中；
D.在服务器中以容器的形式运行通用模板和用户上传的机器学习模型，以用户输入的模型ID和用户请求当前模型的自定义算子ID作为唯一区分键，然后将实例化后的机器学习模型加入到供用户调用的服务序列中；
E.当服务器接收到用户的HTTP请求时，根据用户输入的模型ID或自定义算子ID在所述服务序列中查找对应的机器学习模型实例，并调用查找到的机器学习模型实例中的预测方法计算后返回结果。
2.如权利要求1所述的机器学习模型与自定义算子的模板化部署方法，其特征为：步骤A中所述的5个步骤分别是与机器学习模型的预测过程对应的输入检测、模型载入、数据转化、预测结果和卸载模型。
3.如权利要求1所述的机器学习模型与自定义算子的模板化部署方法，其特征为：步骤B中，如果配置文件中没有对应的框架名称和模型名称，则由用户补充相应的配置文件后再执行步骤B。
4.如权利要求1所述的机器学习模型与自定义算子的模板化部署方法，其特征为：针对自定义算子，在所述通用模板中具有接收用户输入参数的过程方法，作为用户调用的入口，并且无论该过程方法是否有返回值，都在该过程方法的末尾添加返回代码以区分变量区间。
5.如权利要求1所述的机器学习模型与自定义算子的模板化部署方法，其特征为：步骤C所述的可执行文件中包括：对步骤B所述框架名称对应的框架所需的所有依赖库、以用户输入的模型ID为区分键的统一命名格式的类，以及组成完整的模型预测周期的方法。
6.如权利要求1所述的机器学习模型与自定义算子的模板化部署方法，其特征为：步骤D中，通过Flask工具读取服务器内存中所述的可执行文件，通过Docker工具整合通用模板和机器学习模型的依赖库，然后在服务器中以容器的形式运行通用模板和用户上传的机器学习模型。
7.如权利要求1所述的机器学习模型与自定义算子的模板化部署方法，其特征为：步骤D所述供用户调用的服务序列中包含的所有机器学习模型实例对外只提供一个接口地址；步骤E中当服务器接收到用户的HTTP请求时，根据用户输入的模型ID或自定义算子ID将用户的HTTP请求分发给服务序列中对应的机器学习模型实例。
8.如权利要求1所述的机器学习模型与自定义算子的模板化部署方法，其特征为：步骤E中，在根据用户输入的模型ID或自定义算子ID在所述服务序列中查找到对应的机器学习模型实例后，通过该机器学习模型实例中的检查方法检查用户输入的数据是否正确，如果正确，再调用查找到的机器学习模型实例中的预测方法计算后返回结果，否则返回输入错误的提示信息。
CN202010105170.1A 2020-02-20 2020-02-20 机器学习模型与自定义算子的模板化部署方法 Active CN111399853B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010105170.1A CN111399853B (zh) 2020-02-20 2020-02-20 机器学习模型与自定义算子的模板化部署方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010105170.1A CN111399853B (zh) 2020-02-20 2020-02-20 机器学习模型与自定义算子的模板化部署方法

Publications (2)

Publication Number Publication Date
CN111399853A true CN111399853A (zh) 2020-07-10
CN111399853B CN111399853B (zh) 2023-06-06

Family

ID=71432742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010105170.1A Active CN111399853B (zh) 2020-02-20 2020-02-20 机器学习模型与自定义算子的模板化部署方法

Country Status (1)

Country Link
CN (1) CN111399853B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784000A (zh) * 2020-07-16 2020-10-16 矩阵元技术（深圳）有限公司 数据处理方法、装置和服务器
CN112015519A (zh) * 2020-08-28 2020-12-01 江苏银承网络科技股份有限公司 模型线上部署方法及装置
CN112130895A (zh) * 2020-08-04 2020-12-25 中科天玑数据科技股份有限公司 一种可移植性的模型发布方法、装置和存储介质
CN112148494A (zh) * 2020-09-30 2020-12-29 北京百度网讯科技有限公司 用于算子服务的处理方法、装置、智能工作站和电子设备
CN112230956A (zh) * 2020-10-15 2021-01-15 北京明略昭辉科技有限公司 一种人工智能模型更新方法、系统、电子设备及存储介质
CN112585583A (zh) * 2020-07-17 2021-03-30 华为技术有限公司 数据处理方法、装置及智能车辆
CN112631882A (zh) * 2020-12-03 2021-04-09 四川新网银行股份有限公司 一种结合线上业务指标特征的容量预估方法
CN112966833A (zh) * 2021-04-07 2021-06-15 福州大学 基于Kubernetes集群的机器学习模型平台
CN113296766A (zh) * 2021-05-31 2021-08-24 中电福富信息科技有限公司 基于Seldon的AI模型发布方法及系统
CN113515925A (zh) * 2021-08-06 2021-10-19 上海中通吉网络技术有限公司 基于PMML模型及配置自动生成dubbo服务的方法
CN113608762A (zh) * 2021-07-30 2021-11-05 烽火通信科技股份有限公司 一种深度学习多模型统一部署方法与装置
CN114063868A (zh) * 2021-11-18 2022-02-18 神州数码系统集成服务有限公司 一种ai拖拽建模系统、方法、计算机设备及应用

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030233631A1 (en) * 2002-06-13 2003-12-18 Ambrose Curry Web services development method
US20070156375A1 (en) * 2005-12-29 2007-07-05 Microsoft Corporation Performance engineering and the application life cycle
CN104572235A (zh) * 2014-12-31 2015-04-29 北京奇虎科技有限公司 一种可加载内核模块的编译方法和装置
US20150347096A1 (en) * 2014-06-02 2015-12-03 Blackwatch International Generic Template Node for Developing and Deploying Model Software Packages Made Up Of Interconnected Working Nodes
CN106250987A (zh) * 2016-07-22 2016-12-21 无锡华云数据技术服务有限公司 一种机器学习方法、装置及大数据平台
CN106528165A (zh) * 2016-11-11 2017-03-22 深圳中兴网信科技有限公司 代码生成方法及代码生成系统
US20190155633A1 (en) * 2017-11-22 2019-05-23 Amazon Technologies, Inc. Packaging and deploying algorithms for flexible machine learning
CN110083334A (zh) * 2018-01-25 2019-08-02 北京顺智信科技有限公司 模型上线的方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030233631A1 (en) * 2002-06-13 2003-12-18 Ambrose Curry Web services development method
US20070156375A1 (en) * 2005-12-29 2007-07-05 Microsoft Corporation Performance engineering and the application life cycle
US20150347096A1 (en) * 2014-06-02 2015-12-03 Blackwatch International Generic Template Node for Developing and Deploying Model Software Packages Made Up Of Interconnected Working Nodes
CN104572235A (zh) * 2014-12-31 2015-04-29 北京奇虎科技有限公司 一种可加载内核模块的编译方法和装置
CN106250987A (zh) * 2016-07-22 2016-12-21 无锡华云数据技术服务有限公司 一种机器学习方法、装置及大数据平台
CN106528165A (zh) * 2016-11-11 2017-03-22 深圳中兴网信科技有限公司 代码生成方法及代码生成系统
US20190155633A1 (en) * 2017-11-22 2019-05-23 Amazon Technologies, Inc. Packaging and deploying algorithms for flexible machine learning
CN110083334A (zh) * 2018-01-25 2019-08-02 北京顺智信科技有限公司 模型上线的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIM PIVARSKI等: "Deploying Analytics with the Portable Format for Analytics (PFA)" *
林桂芳: "异构化TensorFlow架构的研究与实现" *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784000A (zh) * 2020-07-16 2020-10-16 矩阵元技术（深圳）有限公司 数据处理方法、装置和服务器
CN111784000B (zh) * 2020-07-16 2024-05-17 矩阵元技术（深圳）有限公司 数据处理方法、装置和服务器
CN112585583B (zh) * 2020-07-17 2021-12-03 华为技术有限公司 数据处理方法、装置及智能车辆
CN112585583A (zh) * 2020-07-17 2021-03-30 华为技术有限公司 数据处理方法、装置及智能车辆
CN112130895A (zh) * 2020-08-04 2020-12-25 中科天玑数据科技股份有限公司 一种可移植性的模型发布方法、装置和存储介质
CN112015519A (zh) * 2020-08-28 2020-12-01 江苏银承网络科技股份有限公司 模型线上部署方法及装置
CN112148494A (zh) * 2020-09-30 2020-12-29 北京百度网讯科技有限公司 用于算子服务的处理方法、装置、智能工作站和电子设备
CN112148494B (zh) * 2020-09-30 2023-07-25 北京百度网讯科技有限公司 用于算子服务的处理方法、装置、智能工作站和电子设备
CN112230956A (zh) * 2020-10-15 2021-01-15 北京明略昭辉科技有限公司 一种人工智能模型更新方法、系统、电子设备及存储介质
CN112631882A (zh) * 2020-12-03 2021-04-09 四川新网银行股份有限公司 一种结合线上业务指标特征的容量预估方法
CN112631882B (zh) * 2020-12-03 2023-06-06 四川新网银行股份有限公司 一种结合线上业务指标特征的容量预估方法
CN112966833A (zh) * 2021-04-07 2021-06-15 福州大学 基于Kubernetes集群的机器学习模型平台
CN112966833B (zh) * 2021-04-07 2023-01-31 福州大学 基于Kubernetes集群的机器学习模型平台
CN113296766A (zh) * 2021-05-31 2021-08-24 中电福富信息科技有限公司 基于Seldon的AI模型发布方法及系统
CN113296766B (zh) * 2021-05-31 2022-10-11 中电福富信息科技有限公司 基于Seldon的AI模型发布方法及系统
CN113608762A (zh) * 2021-07-30 2021-11-05 烽火通信科技股份有限公司 一种深度学习多模型统一部署方法与装置
CN113608762B (zh) * 2021-07-30 2024-05-17 烽火通信科技股份有限公司 一种深度学习多模型统一部署方法与装置
CN113515925A (zh) * 2021-08-06 2021-10-19 上海中通吉网络技术有限公司 基于PMML模型及配置自动生成dubbo服务的方法
CN114063868A (zh) * 2021-11-18 2022-02-18 神州数码系统集成服务有限公司 一种ai拖拽建模系统、方法、计算机设备及应用

Also Published As

Publication number Publication date
CN111399853B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
CN111399853A (zh) 机器学习模型与自定义算子的模板化部署方法
US9465590B2 (en) Code generation framework for application program interface for model
US20040158820A1 (en) System for generating an application framework and components
CN108845940B (zh) 一种企业级信息系统自动化功能测试方法和系统
CN112394942B (zh) 基于云计算的分布式软件开发编译方法及软件开发平台
US20080276221A1 (en) Method and apparatus for relations planning and validation
US9459986B2 (en) Automatic generation of analysis-equivalent application constructs
US10169222B2 (en) Apparatus and method for expanding the scope of systems management applications by runtime independence
CN112328226B (zh) 一种嵌入式系统自动化测试代码生成方法及装置
Demuth et al. Supporting the co-evolution of metamodels and constraints through incremental constraint management
CN104657274A (zh) 软件界面测试方法及装置
CN103186463A (zh) 确定软件的测试范围的方法和系统
US20200097260A1 (en) Software application developer tools platform
US20210232495A1 (en) System and method for executing a test case
CN110806891B (zh) 嵌入式设备软件版本的生成方法及装置
US9830204B2 (en) Facilitating communication between software components that use middleware
Balogh et al. Workflow-driven tool integration using model transformations
CN112667202B (zh) Mda与bpmn相结合的软件设计方法和装置
CN115794254A (zh) 基于云计算的组件研发管理平台和方法
US9747085B2 (en) Source code generation from prototype source
US10958514B2 (en) Generating application-server provisioning configurations
US10949327B2 (en) Manipulation of complex variables in orchestration applications
CN108628606B (zh) 一种嵌入式设备的web网管应用程序生成方法及系统
Brown MDA redux: Practical realization of model driven architecture
WO2008015110A2 (en) Methods, apparatus and computer programs for modelling computer programs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant