CN112988129A - 一种在线代码建模方法及系统 - Google Patents

一种在线代码建模方法及系统 Download PDF

Info

Publication number
CN112988129A
CN112988129A CN202110208816.3A CN202110208816A CN112988129A CN 112988129 A CN112988129 A CN 112988129A CN 202110208816 A CN202110208816 A CN 202110208816A CN 112988129 A CN112988129 A CN 112988129A
Authority
CN
China
Prior art keywords
modeling
code
client
server
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110208816.3A
Other languages
English (en)
Inventor
洪万福
钱智毅
李世贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Yuanting Information Technology Co ltd
Original Assignee
Xiamen Yuanting Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Yuanting Information Technology Co ltd filed Critical Xiamen Yuanting Information Technology Co ltd
Priority to CN202110208816.3A priority Critical patent/CN112988129A/zh
Publication of CN112988129A publication Critical patent/CN112988129A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • G06F8/31Programming languages or programming paradigms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • G06F8/33Intelligent editors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • G06F8/38Creation or generation of source code for implementing user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Stored Programmes (AREA)

Abstract

发明公开了一种在线代码建模方法及系统,方法包括:S1、用户使用客户端创建I DE构建参数,发送到服务端;S2、服务端接收到I DE构建参数,创建I DE实例,客户端进入I DE实例的I DE界面;S3、用户完成编写建模代码和运行参数,发送到服务端;S4、服务端接收建模代码和运行参数,运行模型训练任务。本公开通过客户端即可快速创建IDE进行代码建模,让用户能够进行复杂的环境配置;用户无需关注资源调度的实现,对资源进行统一管理,提高每个建模任务的可用资源上限,提高资源的使用率;服务端可以内置丰富的函数库,调用简单,降低代码建模的复杂度,降低代码重写率。

Description

一种在线代码建模方法及系统
技术领域
本公开属于代码建模领域,具体涉及一种在线代码建模方法及系统。
背景技术
现有技术中,代码建模是最为普遍的模型构建方式。传统的机器本地运行建模代码存在诸多弊端,第一是需要配置复杂的运行环境;第二是单机的运行资源普遍不能满足建模需求,如果单机配置强力的运行资源,又容易导致资源浪费。
发明内容
为了解决上述技术问题中的至少一个,本公开第一目的在于提供了一种在线代码建模方法。
本公开的第二目的在于提供一种在线代码建模系统。
为了实现本公开的第一目的,本公开所采用的技术方案如下:
一种在线代码建模方法,包括:
S1、用户使用客户端创建IDE构建参数,发送到服务端,
S2、服务端接收到IDE构建参数,创建IDE实例,客户端进入IDE实例的IDE界面;
S3、用户完成编写建模代码和运行参数,发送到服务端;
S4、服务端接收建模代码和运行参数,运行模型训练任务。
可选地,步骤S3用户还通过客户端选择建模需要的建模资源;步骤S4中服务端根据建模资源选择对应的软硬件资源,根据建模代码和运行参数运行模型训练任务。
可选地,步骤S4具体包括,服务端根据建模资源将请求交给对应的运行内核进行调度处理,运行内核根据建模资源中的运行环境切换生效对应的运行环境,根据建模资源的信息选择服务器资源,运行模型训练任务。
可选地,步骤S4之后还运行以下步骤:
S5、服务端收集模型训练过程中的模型学习情况和/或资源使用情况,并在客户端展示。
可选地,步骤S4中还实时获取模型训练的日志,并能够在客户端输出。
为了实现本公开的第二目的,本公开所采用的技术方案如下:
一种在线代码建模系统,包括:
客户端,用户能够通过客户端创建IDE构建参数、进入IDE实例的IDE界面、通过客户端完成编写建模代码及运行参数;
服务端,与客户端连接;
所述服务端包括:
IDE构建引擎,能够根据IDE构建参数通过通用镜像构建IED实例;
代码编辑器,能够编译建模代码,进行代码管理工作;
函数库,能够为代码编辑器提供函数调用;
运行模块,能够根据建模代码及运行参数,运行模型训练任务。
可选地,所述服务端还包括:
监控模块,用于监控模型训练过程中,模型学习情况和资源使用情况;
日志模块,用于实时获取模型训练产生的运行日志,保存运行日志内容;
所述客户端还能够调用客户端模型学习情况、资源使用情况或运行日志并显示。
可选地,所述服务端还包括:
数据集成模块,将模型运行时的训练数据和/或成果数据转化为可视化数据,并能够将可视化数据发送给客户端显示。
可选地,所述服务端还包括:
文件存储模块,能够存储或备份当前的代码和模型训练的数据文件;
模型存储模块,能够存储并管理模型。
可选地,所述模型存储模块中模型的标识还能够被代码编辑器调用;所述运行模块还能够根据模型的标识调用对应的模型。
本公开通过设置客户端和服务端,可以通过提高服务端的运行资源与运行环境,客户端通过调用服务端的资源进行代码建模;
在使用时,用户可以使用客户端创建自己需要的IDE构建参数,然后将IDE构建参数发送给服务端,服务端根据IDE构建参数来创建IDE实例,客户端可以进入该IDE实例的界面进行编写建模代码;当客户端编辑好建模代码和运行参数,可以发送给服务端;服务端就可以更具建模代码和运行参数来运行模型训练任务。仅需将服务端提交较高的配置即可实现多个较低配置的客户端能够运行较高配置的模型训练任务。
本公开具有以下优点:第一,通过客户端即可快速创建IDE进行代码建模,避免用户进行复杂的环境配置;第二,用户通过自上传的IDE构建参数构建IDE,减少熟悉新IDE的成本;第三,用户无需关注资源调度的实现,对资源进行统一管理,提高每个建模任务的可用资源上限,提高资源的使用率;第四,服务端可以内置丰富的函数库,调用简单,降低代码建模的复杂度,降低代码重写率。
附图说明
附图示出了本公开的示例性实施方式,并与其说明一起用于解释本公开的原理,其中包括了这些附图以提供对本公开的进一步理解,并且附图包括在本说明书中并构成本说明书的一部分。
图1是本公开中实施例一的在线代码建模方法的方法原理图;
图2是本公开中实施例一的另一实施例的方法原理图;
图3是本公开中实施例二的在线代码建模系统的结构框图;
图4是本公开中实施例二的另一实施例的结构框图;
图5是本公开中实施例二的一优选实施例的结构框图;
图6是本公开中实施例二的另一优选实施例的结构框图。
具体实施方式
下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施方式仅用于解释相关内容,而非对本公开的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本公开相关的部分。
需要说明的是,在不冲突的情况下,本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开。
实施例一
一种在线代码建模方法,包括:
S1、用户使用客户端A创建IDE构建参数,发送到服务端B;该客户端A可以是电脑、平板、手机或者是其他独立设备等;客户端A可以通过浏览器或者单独开发的客户端软件作为使用界面进行操作;
例如在浏览器系统中,用户选择建模语言、建模镜像,然后用户点击创建即可完成IDE构建;
当客户端A通过浏览器向服务端B发送请求时,其请求数据的格式可以是:
Figure BDA0002951686130000041
S2、服务端B接收到IDE构建参数,创建IDE实例,客户端A进入IDE实例的IDE界面;该步骤中,客户端A还对数据、模型、资源、工作空间进行初始化然后在客户端A显示给用户。
S3、用户完成编写建模代码和运行参数,发送到服务端B;客户端A可以封装建模代码和运行参数以后发送到服务端B。运行参数可以包括运行方式、语言类型、运行环境、资源信息等。
例如,将封装的建模代码和运行参数发送到服务端B,请求数据格式可以是:
Figure BDA0002951686130000051
S4、服务端B接收建模代码和运行参数,运行模型训练任务。本步骤中,服务端B接收请求后,启用异步处理机制,根据运行参数将请求交给对应的运行内核进行调度处理,运行内核根据运行环境切换生效对应的运行环境,根据资源信息选择合适的服务器资源,运行模型训练任务,产生运行日志。
在使用时,用户可以使用客户端A创建自己需要的IDE构建参数,然后将IDE构建参数发送给服务端B,服务端B根据IDE构建参数来创建IDE实例,客户端A可以进入该IDE实例的界面进行编写建模代码;当客户端A编辑好建模代码和运行参数,可以发送给服务端B;服务端B就可以更具建模代码和运行参数来运行模型训练任务。仅需将服务端B提交较高的配置即可实现多个较低配置的客户端A能够运行较高配置的模型训练任务。
在一个实施例中,步骤S3中,用户还通过客户端A选择建模需要的建模资源;其中建模资源可以是运行场景、CPU要求、核心数要求、GPU要求、内存要求、系统版本等;步骤S4中服务端B根据建模资源选择对应的软硬件资源,根据建模代码和运行参数运行模型训练任务;服务端B可以较高的系统配置、内存配配置和多种运行系统的版本配置;可以提供给客户端A进行多种系统版本多种配置情况下模拟运行。
在另一实施例中,参阅图2所示,步骤S4之后还运行以下步骤:
S5、服务端B收集模型训练过程中的模型学习情况和/或资源使用情况,并在客户端A展示。该模型学习情况可以包括模型训练过程中过程评估、结果评估、运行进度等评估内容;资源使用情况可以包括pu使用率、内存使用率方面的信息等。该模型学习情况和/或资源使用情况可以转化为可视化数据传递给客户端A,由用户查看模型训练情况及资源使用情况,方便用户对模型训练情况较差或者资源使用较多模型代码位置进行调整。
步骤S4中还可以实时获取模型训练的日志,并能够在客户端A输出。用户可以通过查看训练的日志来了解模型训练的运行情况。
当训练结束,服务端B还能通过识别内置的保存模型函数,将训练完成的模型保存,以便以后可以直接调用。
通过以上步骤,可以只需通过浏览器即可快速构建IDE,完成建模代码编写,以简单方式调用资源,完成模型训练过程并产出模型。
实施例二
参阅图3所示,一种在线代码建模系统,包括:
客户端A,用户能够通过客户端A创建IDE构建参数、进入IDE实例的IDE界面、通过客户端A完成编写建模代码及运行参数;
服务端B,与客户端A连接;
所述服务端B包括:
IDE构建引擎1,能够根据IDE构建参数通过通用镜像构建IED实例;IDE构建引擎1同时能根据IDE构建参数分配相应的资源,由客户端A进行调用。该IDE构件引擎还可以支持使用外部上传的镜像构建IDE。为了方便用户直接调用,IDE构建引擎1可以存储有多种建模的模板,用户能够基于内置模板完成模型构建代码的编辑,框架上支持caffe、caffe2、keras、mxnet、pytorch、sklearn、tensorflow、theano等。
代码编辑器2,能够编译建模代码,进行代码管理工作;系统可以集成Git代码管理,提供Git可视化操作,支持用户选择Git分支,切换Git仓库,更新和同步代码等操作;语言上,代码编辑器2可以支持python、java、scala等多种语言,支持json、plaintext、xml语法格式。
函数库3,能够为代码编辑器2提供函数调用;包括函数的加载数据、加载模型等;函数库3可以提供丰富的功能函数,以保存模型函数为例,支持tensorflow框架、keras框架使用,保存的模型为ckpt文件、pb文件、h5文件,提供将本地模型保存到hdfs的函数,提供将模型保存到模型仓库的函数。该函数库3还能够提供内置函数库3的使用手册,让用户方便查找。
运行模块4,能够根据建模代码及运行参数,使用合适的技术和资源,运行模型训练任务。
在另一实施例中,参阅图4所示,所述服务端B还包括:
监控模块5,用于监控模型训练过程中,模型学习情况和资源使用情况;监控模块5包括过程评估、结果评估、运行进度、cpu使用率、内存使用率方面的监控。其中,过程评估可以包括Acc、Loss、conv2/conc2方面的图表展示;
日志模块6,用于实时获取模型训练产生的运行日志,保存运行日志内容;也可以提供导出日志报告的功能。
所述客户端A还能够调用客户端A模型学习情况、资源使用情况或运行日志并显示,方便用户了解模型训练的运行情况,从而能够调整模型代码。
运行模块4还可以支持停止运行,用户根据过程评估的监控信息停止预计训练效果比较差的任务,将资源让出给训练效果预计比较好的任务。
在一优选实施例中,参阅图5所示,所述服务端B还包括:
数据集成模块7,将模型运行时的训练数据和/或成果数据转化为可视化数据,并能够将可视化数据发送给客户端A显示,方便用户了解模型数据的情况。例如,所述数据集成模块7可以将训练集列表嵌入到浏览器功能tab栏,数据来源为平台现有的训练集,通过训练集列表点击相应数据的拉取,将训练集下载到IDE的工作空间,经过处理的成果集会保存在IDE的工作空间,通过点击相应数据的保存,将结果集保存到平台。
在另一优选实施例中,参阅图6所示,所述服务端B还包括:
文件存储模块8,能够存储或备份当前的代码和模型训练的数据文件;当前的代码和数据从工作空间保存到用户备份空间,在需要的时候从备份空间读取,覆盖当前的工作空间。
模型存储模块9,能够存储并管理模型,也可以提供拉取模型到工作空间可视操作。所述模型存储模块9中模型的标识还能够被代码编辑器2调用;所述运行模块4还能够根据模型的标识调用对应的模型。
本公开具有以下优点:第一,通过客户端即可快速创建IDE进行代码建模,避免用户进行复杂的环境配置;第二,用户通过自上传的IDE构建参数构建IDE,减少熟悉新IDE的成本;第三,用户无需关注资源调度的实现,对资源进行统一管理,提高每个建模任务的可用资源上限,提高资源的使用率;第四,服务端可以内置丰富的函数库,调用简单,降低代码建模的复杂度,降低代码重写率;第五,资源监控和日志提高用户对模型效果的决策力,及时停止预估训练效果较差的任务,提高资源使用质量。
在本说明书的描述中,参考术语“一个实施例/方式”、“一些实施例/方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例/方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例/方式或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例/方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例/方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例/方式或示例以及不同实施例/方式或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
本领域的技术人员应当理解,上述实施方式仅仅是为了清楚地说明本公开,而并非是对本公开的范围进行限定。对于所属领域的技术人员而言,在上述公开的基础上还可以做出其它变化或变型,并且这些变化或变型仍处于本公开的范围内。

Claims (10)

1.一种在线代码建模方法,其特征在于,包括:
S1、用户使用客户端创建IDE构建参数,发送到服务端;
S2、服务端接收到IDE构建参数,创建IDE实例,客户端进入IDE实例的IDE界面;
S3、用户完成编写建模代码和运行参数,发送到服务端;
S4、服务端接收建模代码和运行参数,运行模型训练任务。
2.根据权利要求1所述的在线代码建模方法,其特征在于,步骤S3用户还通过客户端选择建模需要的建模资源;步骤S4中服务端根据建模资源选择对应的软硬件资源,根据建模代码和运行参数运行模型训练任务。
3.根据权利要求2所述的在线代码建模方法,其特征在于,步骤S4具体包括,服务端根据建模资源将请求交给对应的运行内核进行调度处理,运行内核根据建模资源中的运行环境切换生效对应的运行环境,根据建模资源的信息选择服务器资源,运行模型训练任务。
4.根据权利要求1所述的在线代码建模方法,其特征在于,步骤S4之后还运行以下步骤:
S5、服务端收集模型训练过程中的模型学习情况和/或资源使用情况,并在客户端展示。
5.根据权利要求1所述的在线代码建模方法,其特征在于,步骤S4中还实时获取模型训练的日志,并能够在客户端输出。
6.一种在线代码建模系统,其特征在于,包括:
至少一个客户端,用户能够通过客户端创建IDE构建参数、进入IDE实例的IDE界面、通过客户端完成编写建模代码及运行参数;
服务端,与客户端连接;
所述服务端包括:
IDE构建引擎,能够根据IDE构建参数通过通用镜像构建IED实例;
代码编辑器,能够编译建模代码,进行代码管理工作;
函数库,能够为代码编辑器提供函数调用;
运行模块,能够根据建模代码及运行参数,运行模型训练任务。
7.根据权利要求6所述的在线代码建模系统,其特征在于,所述服务端还包括:
监控模块,用于监控模型训练过程中,模型学习情况和资源使用情况;
日志模块,用于实时获取模型训练产生的运行日志,保存运行日志内容;
所述客户端还能够调用客户端模型学习情况、资源使用情况或运行日志并显示。
8.根据权利要求6所述的在线代码建模系统,其特征在于,所述服务端还包括:
数据集成模块,将模型运行时的训练数据和/或成果数据转化为可视化数据,并能够将可视化数据发送给客户端显示。
9.根据权利要求6所述的在线代码建模系统,其特征在于,所述服务端还包括:
文件存储模块,能够存储或备份当前的代码和模型训练的数据文件;
模型存储模块,能够存储并管理模型。
10.根据权利要求9所述的在线代码建模系统,其特征在于,所述模型存储模块中模型的标识还能够被代码编辑器调用;所述运行模块还能够根据模型的标识调用对应的模型。
CN202110208816.3A 2021-02-25 2021-02-25 一种在线代码建模方法及系统 Pending CN112988129A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110208816.3A CN112988129A (zh) 2021-02-25 2021-02-25 一种在线代码建模方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110208816.3A CN112988129A (zh) 2021-02-25 2021-02-25 一种在线代码建模方法及系统

Publications (1)

Publication Number Publication Date
CN112988129A true CN112988129A (zh) 2021-06-18

Family

ID=76350383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110208816.3A Pending CN112988129A (zh) 2021-02-25 2021-02-25 一种在线代码建模方法及系统

Country Status (1)

Country Link
CN (1) CN112988129A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160062745A1 (en) * 2014-08-27 2016-03-03 Akhila Rao Adaptive, context-aware, model-based suggestions
CN108958725A (zh) * 2018-07-06 2018-12-07 广州慧通编程教育科技有限公司 图形化模式编程平台生成方法、装置及计算机设备
CN111901294A (zh) * 2020-06-09 2020-11-06 北京迈格威科技有限公司 一种构建在线机器学习项目的方法及机器学习系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160062745A1 (en) * 2014-08-27 2016-03-03 Akhila Rao Adaptive, context-aware, model-based suggestions
CN108958725A (zh) * 2018-07-06 2018-12-07 广州慧通编程教育科技有限公司 图形化模式编程平台生成方法、装置及计算机设备
CN111901294A (zh) * 2020-06-09 2020-11-06 北京迈格威科技有限公司 一种构建在线机器学习项目的方法及机器学习系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
宋某人: "AWS Cloud9让你随时随地开启你的IDE", 《HTTPS://WWW.CNBLOGS.COM/SYAVINGCS/P/12843945.HTML》, 7 May 2020 (2020-05-07), pages 1 - 5 *
王先培: "《测控系统可靠性基础》", 31 July 2012, pages: 150 *

Similar Documents

Publication Publication Date Title
CN113034095B (zh) 结合rpa和ai的人机互动方法、装置、存储介质及电子设备
CN110928529B (zh) 辅助算子开发的方法和系统
CN100361076C (zh) 在含有图形用户界面的计算机上执行任务的方法
CN108304201B (zh) 对象更新方法、装置及设备
CN101777004B (zh) 面向服务环境中基于模板实现bpel子流程复用的方法及系统
CN109117138B (zh) 一种组态方法及装置、计算机可读存储介质
CN111506304A (zh) 一种基于参数配置的流水线构建方法及系统
CN100437478C (zh) 交互式无线应用程序系统和方法
CN100416498C (zh) 显示处理装置和显示处理方法
CN113095056B (zh) 生成方法、处理方法、装置、电子设备以及介质
CN113505082B (zh) 应用程序测试方法及装置
CN113934832A (zh) 基于会话的交互处理方法、装置、设备、介质及程序产品
CN112650487A (zh) 混合应用程序开发方法、系统、计算机设备和存储介质
CN116701811B (zh) 一种网页处理方法、装置、设备及计算机可读存储介质
CN115113850A (zh) 一种跨平台应用的构建、运行方法、服务器、终端和系统
CN114911468A (zh) 一种应用平台生成方法及装置
CN101303663A (zh) 一种数字机顶盒软件开发模拟测试方法
CN112988129A (zh) 一种在线代码建模方法及系统
CN115344248A (zh) 一种rpa开发字段编辑多样化方法
CN106570002B (zh) 自然语言处理方法和装置
CN112487170B (zh) 面向场景配置的人机交互对话机器人系统
CN114327709A (zh) 一种控制页面生成方法、装置、智能设备及存储介质
CN113761402A (zh) 一种链接调试方法、装置、设备和存储介质
CN116909563B (zh) 页面的生成方法、终端设备和存储介质
CN116302211B (zh) 策略执行器的配置方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210618

RJ01 Rejection of invention patent application after publication