CN116360918A - 建模数据处理方法、装置、计算机设备和存储介质 - Google Patents

建模数据处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN116360918A
CN116360918A CN202310121451.XA CN202310121451A CN116360918A CN 116360918 A CN116360918 A CN 116360918A CN 202310121451 A CN202310121451 A CN 202310121451A CN 116360918 A CN116360918 A CN 116360918A
Authority
CN
China
Prior art keywords
task
container
modeling
environment
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310121451.XA
Other languages
English (en)
Inventor
王安
王全礼
张晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
CCB Finetech Co Ltd
Original Assignee
China Construction Bank Corp
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp, CCB Finetech Co Ltd filed Critical China Construction Bank Corp
Priority to CN202310121451.XA priority Critical patent/CN116360918A/zh
Publication of CN116360918A publication Critical patent/CN116360918A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45562—Creating, deleting, cloning virtual machine instances
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及智能客服技术领域，具体涉及一种建模数据处理方法、装置、计算机设备、存储介质和计算机程序产品，接收建模平台发起的携带有任务类型及任务数据的建模任务创建请求，对其进行数据配置转换，生成目标建模任务对应的容器实例数据；在判定容器集群环境允许执行目标建模任务的情况下，将容器实例数据发送至容器集群环境，以使容器集群环境基于容器实例数据启动执行目标建模任务；接收容器集群环境发送的任务回调结果转发至建模平台。由于可自动转换生成容器集群环境所需的容器实例数据，解耦了建模平台与容器集群环境的使用，降低业务开发人员的学习成本，让其将主要精力放在建模算法的设计和实现上，进而提高了模型的开发和迭代效率。

Description

建模数据处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及智能客服技术领域，特别是涉及一种建模数据处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
智能客服是指通过会话机器人为客户提供客服服务的技术，智能客服建模平台(以下简称“建模平台”)可基于人工坐席与客户的交互数据，迭代优化会话机器人的模型，使会话机器人提供的客服服务更准确。目前建模平台需实现的建模任务的类型较多，例如数据加工任务、标注任务、模型训练任务、模型推理任务、以及会话机器人构建任务等，且不同类型的建模任务对于资源类型以及数量的需求都不同，对建模平台的模型训练和任务部署过程进行高效资源管理成为亟待解决的问题。
随着计算机技术的发展，为了提高资源利用率，出现了容器技术结合组件机器集群的方式。业务开发人员向容器集群提交训练任务，通过容器运行各个建模任务可以大幅度提高集群的资源利用率。然而，虽然容器技术在性能上优于虚拟机，又可以做到进程级资源隔离，在一定程度上缓解了任务处理中资源利用率低的问题，但其提供的API(Application Programming Interface，应用程序编程接口)中涉及的参数较多，专业而繁杂的参数增加了业务开发人员的学习成本与接入复杂度，进而导致模型的开发和迭代效率也将降低。
发明内容
基于此，有必要针对上述技术问题，提供一种建模数据处理方法、装置、计算机设备、存储介质和计算机程序产品，解耦建模平台与容器集群环境的使用，降低业务开发人员的学习成本，进而提高模型的开发和迭代效率。
第一方面，本申请提供了一种建模数据处理方法，所述方法包括：
接收建模平台发起的建模任务创建请求，所述建模任务创建请求中携带有目标建模任务对应的任务类型及任务数据；
基于容器集群环境的预设基础配置信息，对所述目标建模任务的任务类型及任务数据进行配置转换，生成所述目标建模任务对应的容器实例数据；
在基于所述容器集群环境的预设基础配置信息与所述建模平台的预设基础配置信息判定所述容器集群环境允许执行所述目标建模任务的情况下，将所述目标建模任务对应的容器实例数据发送至所述容器集群环境，以使所述容器集群环境基于所述容器实例数据启动执行所述目标建模任务；
接收所述容器集群环境发送的任务回调结果并转发至所述建模平台，所述任务回调结果用于表征所述目标建模任务的执行状态。
在其中一个实施例中，所述容器集群环境的预设基础配置信息包括任务类型与预设容器环境的对应关系，所述容器实例数据包括容器环境配置数据与任务运行配置数据；所述基于所述建模平台的预设基础配置信息，对所述目标建模任务的任务类型及任务数据进行配置转换，生成所述目标建模任务对应的容器实例数据，包括：
根据所述任务类型以及所述任务类型与预设容器环境的对应关系，生成所述容器环境配置数据；
将所述任务数据按预设格式进行数据结构转换，生成所述任务运行配置数据。
在其中一个实施例中，所述建模平台的预设基础配置信息还包括各任务类型对应的资源需求量；基于所述容器集群环境的预设基础配置信息与所述建模平台的预设基础配置信息判断容器集群环境是否允许执行所述目标建模任务，包括：
根据所述目标建模任务的任务类型获取所述目标建模任务对应的资源需求量与预设容器环境；
获取所述目标建模任务对应的预设容器环境的剩余可用资源量；
在所述剩余可用资源量满足所述目标建模任务对应的资源需求量的情况下，判定容器集群环境允许执行所述目标建模任务。
在其中一个实施例中，所述方法还包括：
响应于预设容器环境资源限额配置请求，实时获取所述预设容器环境的已占用资源量；所述预设容器环境资源限额配置请求中携带有对所述预设容器环境进行资源限额配置的资源限额量；
直至所述预设容器环境的已占用资源量低于所述资源限额量，基于所述资源限额量对所述预设容器环境进行资源限额配置。
在其中一个实施例中，所述方法还包括：
在所述剩余可用资源量不满足所述目标建模任务对应的资源需求量的情况下，反馈资源饱和回调结果至所述建模平台，以使所述建模平台根据所述资源饱和回调结果对所述预设容器环境进行资源限额配置。
在其中一个实施例中，所述在基于所述容器集群环境的预设基础配置信息与所述建模平台的预设基础配置信息判定容器集群环境允许执行所述目标建模任务的情况下，将所述目标建模任务对应的容器实例数据发送至所述容器集群环境，以使所述容器集群环境基于所述容器实例数据启动执行所述目标建模任务之后，所述方法还包括：
接收所述建模平台发送的建模任务中止请求，所述建模任务中止请求携带有所述目标建模任务对应的任务唯一标识符；
基于所述任务唯一标识符发送任务强制中止指令至所述容器集群环境，以使所述容器集群环境停止执行所述目标建模任务并释放所述目标建模任务对应的资源占用。
第二方面，本申请还提供了一种建模数据处理装置，所述装置包括：
接收模块，用于接收建模平台发起的建模任务创建请求，所述建模任务创建请求中携带有目标建模任务对应的任务类型及任务数据；
转换模块，用于基于容器集群环境的预设基础配置信息，对所述目标建模任务的任务类型及任务数据进行配置转换，生成所述目标建模任务对应的容器实例数据；
发送模块，用于在基于所述容器集群环境的预设基础配置信息与所述建模平台的预设基础配置信息判定所述容器集群环境允许执行所述目标建模任务的情况下，将所述目标建模任务对应的容器实例数据发送至所述容器集群环境，以使所述容器集群环境基于所述容器实例数据启动执行所述目标建模任务；
回调模块，用于接收所述容器集群环境发送的任务回调结果并转发至所述建模平台，所述任务回调结果用于表征所述目标建模任务的执行状态。
在其中一个实施例中，所述容器集群环境的预设基础配置信息包括任务类型与预设容器环境的对应关系，所述容器实例数据包括容器环境配置数据与任务运行配置数据；
所述转换模块，还用于根据所述任务类型以及任务类型与预设容器环境的对应关系，生成所述容器环境配置数据；将所述任务数据按预设格式进行数据结构转换，生成所述任务运行配置数据。
在其中一个实施例中，所述建模平台的预设基础配置信息包括各任务类型对应的资源需求量；所述装置还包括：
判断模块，用于根据所述目标建模任务的任务类型获取所述目标建模任务对应的资源需求量与预设容器环境；获取所述目标建模任务对应的预设容器环境的剩余可用资源量；在所述剩余可用资源量满足所述目标建模任务对应的资源需求量的情况下，判定容器集群环境允许执行所述目标建模任务。
在其中一个实施例中，所述装置还包括：
配置模块，用于响应于所述预设容器环境资源限额配置请求，实时获取所述预设容器环境的已占用资源量；所述预设容器环境资源限额配置请求中携带有对所述预设容器环境进行资源限额配置的资源限额量；直至所述预设容器环境的已占用资源量低于所述资源限额量，基于所述资源限额量对所述预设容器环境进行资源限额配置。
在其中一个实施例中，所述回调模块，还用于在所述剩余可用资源量不满足所述目标建模任务对应的资源需求量的情况下，反馈资源饱和回调结果至所述建模平台，以使所述建模平台根据所述资源饱和回调结果对所述预设容器环境进行资源限额配置。
在其中一个实施例中，所述装置还包括：
中止模块，用于接收所述建模平台发送的建模任务中止请求，所述建模任务中止请求携带有所述目标建模任务对应的任务唯一标识符；基于所述任务唯一标识符发送任务强制中止指令至所述容器集群环境，以使所述容器集群环境停止执行所述目标建模任务并释放所述目标建模任务对应的资源占用。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
第五方面，本申请还提供了一种计算机程序产品，所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的方法的步骤。
上述建模数据处理方法、装置、计算机设备、存储介质和计算机程序产品，接收建模平台发起的建模任务创建请求，建模任务创建请求中携带有目标建模任务对应的任务类型及任务数据；根据目标建模任务的任务类型及任务数据进行配置转换，生成目标建模任务对应的容器实例数据；在判定容器集群环境允许执行目标建模任务的情况下，将目标建模任务对应的容器实例数据发送至容器集群环境，以使容器集群环境基于容器实例数据启动执行目标建模任务；接收容器集群环境发送的任务回调结果并转发至建模平台，任务回调结果用于表征目标建模任务的执行状态。由于可基于建模平台发起的建模任务创建请求自动转换生成容器集群环境所需的容器实例数据，解耦了建模平台与容器集群环境的使用，降低业务开发人员的学习成本，让业务开发人员将主要精力放在建模算法的设计和实现上，进而提高了模型的开发和迭代效率。
附图说明
图1为一个实施例中建模数据处理方法的应用环境图；
图2为一个实施例中建模数据处理方法的流程示意图；
图3为一个实施例中目标建模任务的数据进行配置转换步骤的流程示意图；
图4为一个实施例中判断容器集群环境是否运行执行目标建模任务步骤的流程示意图；
图5为一个实施例中对目标建模任务进行强制中止步骤的流程示意图；
图6为一个实施例中建模数据处理方法的整体工作流程示意图；
图7为一个实施例中建模任务的数据结构的示意图；
图8为一个实施例中建模任务的执行生命周期示意图；
图9为一个实施例中任务代理端的集群容量管理机制的数据流向示意图；
图10为一个实施例中建模数据处理装置的结构框图；
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于人工坐席与客户的交互数据、建模任务对应的任务数据与参数数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的建模数据处理方法，可以应用于如图1所示的应用环境中。其中，建模平台102与容器集群环境104可通过有线或无线的方式与任务代理端106进行通信。数据存储系统可以存储任务代理端106需要处理的数据。数据存储系统可以集成在任务代理端106上，也可以放在容器集群环境104、云上或其他网络服务器上。具体地，任务代理端106接收建模平台102发起的建模任务创建请求，建模任务创建请求中携带有目标建模任务对应的任务类型及任务数据；基于容器集群环境104的预设基础配置信息，对目标建模任务的任务类型及任务数据进行配置转换，生成目标建模任务对应的容器实例数据；在基于容器集群环境104的预设基础配置信息与建模平台102的预设基础配置信息判定容器集群环境104允许执行目标建模任务的情况下，将目标建模任务对应的容器实例数据发送至容器集群环境104，以使容器集群环境104基于容器实例数据启动执行目标建模任务；接收容器集群环境104发送的任务回调结果并转发至建模平台102，任务回调结果用于表征目标建模任务的执行状态。
其中，容器集群环境104为一台服务器或由多台服务器组成的服务器集群。建模平台102与任务代理端106可以是通过终端实现，也可以是通过服务器实现，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种建模数据处理方法，以该方法应用于图1中的任务代理端106为例进行说明，包括以下S202至S208，其中：
S202：接收建模平台发起的建模任务创建请求，建模任务创建请求中携带有目标建模任务对应的任务类型及任务数据。
其中，建模平台为基于人工坐席与客户的交互数据，通过多种方式迭代优化会话机器人的模型，使会话机器人提供的客服服务更准确模型优化系统。本申请所提及的建模平台采用微服务架构构建，其不同类型的建模任务由建模平台中的不同微服务发起。例如在本实施例中，建模平台可包括数据微服务、标注微服务、训练微服务、推理微服务和会话微服务，对应地各微服务可发起包括数据预处理任务、标注任务、训练任务、推理任务和模型构建任务等类型的建模任务。对于同一批人工坐席与客户的交互数据，建模平台可先后通过各微服务发起一次或多次的数据预处理任务、标注任务、训练任务、推理任务和模型构建任务，协作完成会话机器人模型的优化。
具体地，建模平台的各微服务可通过各微服务设定接口连接至任务代理端，进而业务开发人员在有建模任务执行需求时，通过对应微服务向任务代理端发起建模任务创建请求。可以理解，目标建模任务即有执行需求的建模任务，建模任务创建请求用于请求任务代理端帮助在容器集群环境中构建目标建模任务的实际执行环境。对应地，建模任务创建请求中携带的目标建模任务对应的任务类型及任务数据，即用于确定建模任务在哪一实际执行环境执行。
进一步地，目标建模任务对应的任务类型并不唯一，可根据建模平台可实现的功能确定，例如本实施例中目标建模任务对应的任务类型可包括数据预处理任务、标注任务、训练任务、推理任务和模型构建任务等。目标建模任务的任务数据表征目标建模任务的基本任务信息以及任务参数，例如基本任务信息可包括任务唯一标识、任务描述、创建者信息、时间信息等，任务参数可包括不同类型的建模任务运行时所需的具体参数以及任务回调通知地址等。
S204：基于容器集群环境的预设基础配置信息，对目标建模任务的任务类型及任务数据进行配置转换，生成目标建模任务对应的容器实例数据。
其中，容器集群环境的预设基础配置信息为容器集群环境在建模任务的执行生命周期中需用到的配置数据，可以是在任务代理端的前端配置页面上进行配置操作后获得，也可以是基于建模平台与任务代理端之间的通讯，在建模平台侧发起信息配置请求后获得。容器集群环境的预设基础配置信息所包括的内容并不固定，业务开发人员也可根据实际需求通过上述提及的方式对预设基础配置信息进行新增、查询、修改与删除。例如在本实施例中，容器集群环境的预设基础配置信息可包括任务类型与预设容器环境的对应关系，具体还可实现预设容器环境的名字空间、存储卷、证书等信息的配置。
具体地，容器实例数据可以理解为符合容器集群环境API Server接口规则的参数数据。例如，容器实例数据可包括容器环境配置数据与任务运行配置数据等，容器环境配置数据可用于在容器集群环境中为目标建模任务构建实际执行环境，任务运行配置数据可用于在构建的实际执行环境中对应执行目标建模任务。对应地，需对目标建模任务的任务类型及任务数据进行配置转换，得到符合容器集群环境API Server接口规则的容器实例数据，以供后续目标建模任务的执行。
进一步地，对目标建模任务的任务类型及任务数据进行配置转换可以是分别转换得到容器环境配置数据与任务运行配置数据，再将容器环境配置数据与任务运行配置数据进行组装得到容器实例数据。例如，可以是基于容器集群环境的预设基础配置信息与任务类型得到容器环境配置数据，再将任务数据按预设格式进行数据结构转换，得到任务运行配置数据。
S206：在基于容器集群环境的预设基础配置信息与建模平台的预设基础配置信息判定容器集群环境允许执行目标建模任务的情况下，将目标建模任务对应的容器实例数据发送至容器集群环境，以使容器集群环境基于容器实例数据启动执行目标建模任务。
其中，建模平台的预设基础配置信息为建模平台在建模任务的执行生命周期中需用到的配置数据，与上述容器集群环境的预设基础配置信息一致，建模平台的预设基础配置信息可以是在任务代理端的前端配置页面上进行配置操作后获得，也可以是基于建模平台与任务代理端之间的通讯，在建模平台侧发起信息配置请求后获得。当然，建模平台的预设基础配置信息也同样可以由业务开发人员根据实际需求进行新增、查询、修改与删除。在本实施例中，建模平台的预设基础配置信息可包括任务类型与微服务的对应关系，还可包括各任务类型对应的资源需求，其中资源需求可以是包括中央处理器(CentralProcessing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)以及内存空间(Memory)等的资源需求量，还可以是包括是否需要连接网络运行等需求。
具体地，基于容器集群环境的预设基础配置信息与建模平台的预设基础配置信息判定容器集群环境允许执行目标建模任务，表征判定可在容器集群环境中构建得到目标建模任务的实际执行环境。在此情况下，任务代理端即可将组装得到的容器实例数据发送至容器集群环境，以使在容器集群环境中为目标建模任务确定实际执行环境，以及准备好目标建模任务的任务执行逻辑，并将容器实例数据中表征任务运行参数的任务数据传入调整任务运行细节，然后启动执行目标建模任务。
S208：接收容器集群环境发送的任务回调结果并转发至建模平台，任务回调结果用于表征目标建模任务的执行状态。
具体地，任务回调结果是容器集群环境就目标建模任务当前的执行状态返回的结果反馈，可以是根据任务代理端转发的建模平台的任务进度查询请求而触发返回，也可以是在目标建模任务执行完成后触发返回。
可以理解，在本申请实施例中，可通过对建模平台以及容器集群环境的预设基础配置信息进行配置，实现在执行完成每一目标建模任务后，是否对应给任务代理端返回任务回调结果。例如，若在建模平台的预设基础配置信息中包含任务回调通知地址，或者容器集群环境的预设基础配置信息中配置有需进行任务结果回调，则表征业务开发人员对于该目标建模任务希望收到任务回调结果。容器集群环境即可根据接收的容器实例数据判断需要返回任务回调结果，任务代理端在接收到容器集群环境发送的任务回调结果后，向对应的任务回调通知地址发起请求，将任务回调结果通知到建模平台对应的微服务。
其中，任务回调结果所表征的目标建模任务的执行状态的内容并不唯一，可包括但不限于执行中、任务成功、任务失败、任务挂起等状态。可以理解，上述任务回调结果的获取方式可以是基于容器集群环境根据进程退出状态进行标记得到，也可以是执行目标建模任务的程序本身主动判断后发出。
上述建模数据处理方法，接收建模平台发起的建模任务创建请求，建模任务创建请求中携带有目标建模任务对应的任务类型及任务数据；根据目标建模任务的任务类型及任务数据进行配置转换，生成目标建模任务对应的容器实例数据；在判定容器集群环境允许执行目标建模任务的情况下，将目标建模任务对应的容器实例数据发送至容器集群环境，以使容器集群环境基于容器实例数据启动执行目标建模任务；接收容器集群环境发送的任务回调结果并转发至建模平台，任务回调结果用于表征目标建模任务的执行状态。由于可基于建模平台发起的建模任务创建请求自动转换生成容器集群环境所需的容器实例数据，解耦了建模平台与容器集群环境的使用，降低业务开发人员的学习成本，让业务开发人员将主要精力放在建模算法的设计和实现上，进而提高了模型的开发和迭代效率。
在一个实施例中，容器集群环境的预设基础配置信息包括任务类型与预设容器环境的对应关系，容器实例数据包括容器环境配置数据与任务运行配置数据。如图3所示，S206中的基于建模平台的预设基础配置信息，对目标建模任务的任务类型及任务数据进行配置转换，生成目标建模任务对应的容器实例数据，包括以下S302至S304，其中：
S302：根据任务类型以及任务类型与预设容器环境的对应关系，生成容器环境配置数据。
预设容器环境为根据任务类型的数量对应将容器集群环境划分得到的子容器环境，可以理解为不同任务类型的建模任务对应在不同的预设容器环境执行。其中，任务代理端在初次启动使用时，可根据任务类型与预设容器环境的对应关系，获取配置的预设容器环境的数量，还可获取到配置的各预设容器环境的名字空间、证书以及资源限额(CPU、GPU、Memory)。进而为每一预设容器环境创建相应的客户端来对其进行管理，即基于配置的预设容器环境的名字空间、证书，对预设容器环境的名字空间、证书进行设定，并基于配置的预设容器环境的资源限额，对预设容器环境的实际资源限额进行设定。在后续任务代理端启动以及建模任务请求时，创建完成后客户端以及预设容器环境可随时启用，无需重复创建，这种重复利用的方式，避免了对客户端与预设容器环境的创建与释放带来的资源消耗。但在这之中，若任务代理端启动后，查询到各预设容器环境的资源限额配置与其实际资源限额不一致，则基于各预设容器环境的资源限额配置对预设容器环境的实际资源限额进行重新设定。
具体地，获得目标建模任务的任务类型后，进一步即可根据任务类型与预设容器环境的对应关系，确定执行该任务类型的预设容器环境，进而生成用于在容器集群环境中构建目标建模任务的实际执行环境的容器环境配置数据。其中，容器环境配置数据可包括目标建模任务需要用到的容器镜像的镜像地址与版本信息、预设容器环境的名字空间与证书、目标建模任务的任务名称、目标建模任务执行完毕后的释放延迟时间、目标建模任务所要挂载的路径、失败后的重启策略以及启动命令等。目标建模任务需要用到的容器镜像，可由建模平台对应的微服务将自身需要的任务执行逻辑制成相应的镜像存入镜像仓库，容器集群环境再基于目标建模任务的任务类型从镜像仓库中调用得到。
S304：将任务数据按预设格式进行数据结构转换，生成任务运行配置数据。
其中，任务数据表征目标建模任务的基本任务信息以及任务参数，例如基本任务信息可包括任务唯一标识、任务描述、创建者信息、时间信息等，任务参数可包括不同类型的建模任务运行时所需的具体参数以及任务回调通知地址等。
具体地，预设格式为符合容器集群环境API Server接口规则的格式模板，可以理解任务运行配置数据，即将任务数据中包含的内容，填入符合容器集群环境API Server接口规则的格式模板中生成的数据。其中，预设格式可根据具体的容器集群环境API Server接口规则进行定义，在此不作限定。
在一个实施例中，建模平台的预设基础配置信息还包括各任务类型对应的资源需求量；如图4所示，在S206之前，还需基于容器集群环境的预设基础配置信息与建模平台的预设基础配置信息判断容器集群环境是否允许执行目标建模任务，具体包括以下S402至S406，其中：
S402：根据目标建模任务的任务类型获取目标建模任务对应的资源需求量与预设容器环境。由上文可知，根据目标建模任务的任务类型以及任务类型与预设容器环境的对应关系，即可确定执行该目标建模任务对应的预设容器环境。进一步根据目标建模任务的任务类型，以及各任务类型对应的资源需求量，即可获取目标建模任务对应的资源需求量。
S404：获取预设容器环境的剩余可用资源量。具体地，预设容器环境的剩余可用资源量的获取方式并不唯一，可以是基于任务代理端与容器集群环境之间的通讯，在任务代理端发起信息配置请求后获得。在本实施例中，也可以是任务代理端在对各预设容器环境进行资源限额配置以及建模任务实际执行环境构建后，均会基于预设容器环境的资源消耗情况进行记录，进而任务代理端可基于对预设容器环境的容量管理功能，获取预设容器环境的剩余可用资源量。
S406：在剩余可用资源量满足目标建模任务对应的资源需求量的情况下，判定容器集群环境允许执行目标建模任务。可以理解，剩余可用资源量满足目标建模任务对应的资源需求量，可以是剩余可用资源量超过目标建模任务对应的资源需求量，也可以是剩余可用资源量超过目标建模任务对应的资源需求量预设资源量或预设资源百分比，其中预设资源百分比为占预设容器环境的实际资源限额的百分比。
在一个实施例中，方法还包括：响应于预设容器环境资源限额配置请求，实时获取预设容器环境的已占用资源量；预设容器环境资源限额配置请求中携带有对预设容器环境进行资源限额配置的资源限额量；直至预设容器环境的已占用资源量低于资源限额量，基于资源限额量对预设容器环境进行资源限额配置。
其中，接收到预设容器环境资源限额配置请求，表征业务开发人员需要对某一预设容器环境的实际资源限额进行设定，可以是通过在任务代理端的前端配置页面上进行配置操作后发起，也可以是基于建模平台与任务代理端之间的通讯在建模平台侧发起。预设容器环境资源限额配置请求中携带有对预设容器环境进行资源限额配置的资源限额量。
具体地，在接收到预设容器环境资源限额配置请求后，任务代理端可先基于对预设容器环境的容量管理功能，查询获取对应预设容器环境的已占用资源量。可以理解，若预设容器环境的已占用资源量高于本次用于资源限额配置的资源限额量，直接对预设容器环境进行资源限额配置将有可能导致预设容器环境中正在执行的建模任务运行异常。因此，为了不影响现有建模任务的执行，在预设容器环境的已占用资源量高于本次用于资源限额配置的资源限额量的情况下，任务代理端首先会拒绝该预设容器环境新的资源分配请求，也即若有目标建模任务对应的实际执行环境对应为该预设容器环境时，会将该目标建模任务的状态暂时修改为挂起。在等待该预设容器环境中的现有建模任务执行完成后，资源释放至预设容器环境的已占用资源量低于资源限额量后，再基于资源限额量对预设容器环境进行资源限额配置变更。
在一个实施例中，方法还包括：在剩余可用资源量不满足目标建模任务对应的资源需求量的情况下，反馈资源饱和回调结果至建模平台，以使建模平台根据资源饱和回调结果对预设容器环境进行资源限额配置。
具体地，剩余可用资源量不满足目标建模任务对应的资源需求量，表征目标建模任务对应的预设容器环境中无法支持构建目标建模任务的实际执行环境，预设容器环境的剩余可用资源量低于目标建模任务对应的资源需求量，或剩余可用资源量低于目标建模任务对应的资源需求量预设资源量或预设资源百分比。
进一步地，在此情况下，可以是先将目标建模任务切换为任务挂起状态，等待预设容器环境的剩余可用资源被释放至满足目标建模任务对应的资源需求量，再启动执行目标建模任务。此外，任务代理端也可基于与建模平台的之间的通讯，反馈资源饱和回调结果至建模平台的任务回调通知地址。建模平台侧在接收到资源饱和回调结果后，可采取对预设容器环境进行资源限额配置的方式来提高预设容器环境的资源限额，以使预设容器环境的剩余可用资源增加，至满足目标建模任务对应的资源需求量，加快目标建模任务的执行效率。
在一个实施例中，如图5所示，S206之后，方法还包括以下S502至S504，其中：
S502：接收建模平台发送的建模任务中止请求，建模任务中止请求携带有目标建模任务对应的任务唯一标识符。
可以理解，建模任务中止请求表征业务开发人员有强制中止建模任务的需求，可通过建模平台与任务代理端之间设定的任务中止接口发起。任务代理端通过建模任务中止请求中携带的任务唯一标识符确定需要进行任务中止的目标建模任务。
S504：基于任务唯一标识符发送任务强制中止指令至容器集群环境，以使容器集群环境停止执行目标建模任务并释放目标建模任务对应的资源占用。
具体地，在基于任务唯一标识符确定需要进行任务中止的目标建模任务后，即可通过任务代理端与容器集群环境之间设定的任务中止接口，向容器集群环境中目标建模任务对应的预设容器环境发送任务强制中止指令。在接收到任务强制中止指令后，预设容器环境即可停止执行对应目标建模任务，并释放目标建模任务对应的资源占用。
在本实施例中，被强制中止执行的任务不会发出任务回调结果。而对于正常执行结束的目标建模任务，会在经过配置的目标建模任务执行完毕后的释放延迟时间后，释放目标建模任务对应的资源占用，并发出任务回调结果。
在一个实施例中，提供一详细实施例对上述所涉及的建模数据处理方法进行详细解释说明。
具体地，如图6所示，建模任务的执行分为三个部分，建模平台、代理和容器集群环境。代理主要架构包括“前端配置页面”、“接口层”、“配置管理单元”、“任务执行单元”、“客户端管理单元”、“集群容量管理单元”和“消息回调单元”，代理过程产生的所有数据持久化存储到数据库中。建模任务通过建模平台发起，代理的接口层收到请求后通过配置管理单元构造出容器集群API Server能识别的调用参数，最后由任务执行单元协调客户端管理单元和集群容量管理执行任务，容器集群环境是建模任务实际执行环境。
其中，数据库中主要存储建模平台微服务的配置信息、任务类型的配置信息、容器集群环境的配置与容量信息和建模任务产生的历史数据。前端配置页面用于管理建模平台和容器集群环境的基础配置信息，包括任务种类和微服务的对应关系，各类任务的资源需求(CPU、GPU、存储、网络)，各类任务与容器环境名字空间、证书的对应关系，设计的可视化页面方便管理人员查看配置和进行实时调整。后端接口层用于管理代理的所有对外接口，支撑建模平台、前端配置页面和任务执行容器的回调消息。配置管理单元用于统筹所有配置信息，支撑其他功能模块。任务执行单元是代理的核心处理单元，用于协调配置管理单元、客户端管理单元和集群容量管理发起任务的执行，并对任务进行生命周期管理。客户端管理单元用于管理连接容器集群的所有客户端，不同种类的任务在不同的名字空间中执行，每个名字空间都有自己的证书，所以代理在启动时会按需创建相应的客户端并管理起来。一是可以重复使用，避免创建和销毁带来的开销，二是开箱即用，可以让任务的管理更高效。集群容量管理单元用于动态评估容器集群的资源状态，在负荷达到饱和时给任务发起者明确的反馈。消息回调单元是代理为了完成任务执行的实时反馈设计的一种通知机制，配合任务执行单元的任务查询，更加全面的让任务发起者完成对任务运行状态的监控。
流程中所有通信均采用HTTP协议完成，接口采用REST风格接口，包括建模平台与代理之间的通信和代理与容器集群API Server之间的通信，如图6中的箭头(1、2、3、4)所示。
在图6中，箭头1表示建模平台各个微服务与代理的后端接口之间的通信，包括任务创建、任务进度和状态查询、任务中止、配置新增、配置查询、配置修改、配置删除、任务执行日志查询。箭头2表示代理与容器集群的API Server之间的通信，包括对容器集群的配置管理(名字空间、存储卷、证书)，Job(任务)资源的新增、查询和删除，Pod资源的日志查询。箭头3表示每一个任务执行完成时给代理的结果反馈。代理在运行时会提供一个接口用于接收各个任务的结果反馈，接口的路径会在创建容器任务时作为参数统一传递给容器，任务容器识别这一参数并决定是否反馈执行结果。箭头4表示代理给建模平台的微服务反馈任务执行结果。微服务在创建任务时如果传入有结果回调地址，代理在收到任务容器的结果反馈时就会往回调地址发起请求，将结果通知到微服务。
容器集群环境是各个建模任务的实际执行环境，选择容器环境对于CPU资源密集型任务和GPU密集型任务都可以提高计算机资源的利用率，同时方便对运行任务和集群资源的监控和管理。其次，可以让任务管理者本身和任务进行解耦，微服务将自身需要的任务执行逻辑做成相应的镜像存入镜像仓库，然后按需调用并传入相应参数调整运行细节。
如图7所示为本申请中建模任务的基本数据结构，从逻辑先后顺序分为“任务”和“容器实例”，“任务”面向建模平台，而“容器实例”面向容器集群环境，两者相互关联，且可以通过配置管理单元进行相互转换。“任务”分为基本任务信息、任务类型和任务参数三个部分，详细说明如表1-1所示。“容器实例”分为镜像信息、容器基本配置、容器运行配置和其他参数4个部分，详细说明如表1-2所示。
表1-1任务内容及说明
Figure BDA0004080083120000161
表1-2容器实例内容及说明
Figure BDA0004080083120000162
数据结构之间的转换关系大致如下，容器实例序号1、2、3由任务序号2和配置管理单元共同生成，容器实例序号4由任务序号1、3生成。
以图8所示的建模任务执行生命周期流程图为例，建模任务由建模平台的微服务发起，代理收到创建任务的请求后进行初始化工作。首先是请求参数合法性校验，然后结合配置管理单元完成容器实例的数据组装，最后查询集群容量管理单元判断能否立即执行，如果集群资源不满足当前任务的资源需求，则等待资源释放后再执行，此处采用轮询方式持续查询集群容量状态。
建模任务处于执行中状态可接收建模平台微服务的状态查询、执行日志查询和中止任务的请求。建模任务在执行完成后容器不会马上销毁，会保留一定时间(表1-2中序号3-Job完成后的ttl时间)，因此状态查询可能会得到执行中、任务成功和任务失败三种状态。当任务被强制中止后，容器会立即销毁，且不会发起任务结果回调。日志查询接口接收参数为任务唯一标识符和起始行数，建模平台微服务可以轮询调用日志查询接口实现日志的动态滚屏效果。
每个任务可选择性配置任务回调通知地址(表1-1中序号3)，如果有配置该参数，则任务在初始化过程中，代理会将代理接收任务回调通知的信息配置到容器实例的参数(表1-2中序号4)，当任务执行完成后不管成功还是失败都会向代理发送结果，代理再通过消息回调单元完成数据转化后反馈给建模平台的微服务。
在一个实施例中，如图9所示，本申请还设计了一种对容器集群资源实时状态的动态管理机制，基于代理中的集群容量管理单元实现。容器集群资源的容量状态在代理中由集群容量管理单元统一协调管理，并将状态信息同步至数据库中持久化存储，除了用于代理在分布式部署时的数据同步，也为了提高代理的可用性，即故障重启或版本更新后依然保持对集群容量状态的实时管理。
在图9中，箭头1和箭头2仅用于代理启动时的数据同步。首先向配置管理单元查询各个名字空间的资源限额(CPU、GPU、Memory)配置，然后查询容器集群的实际名字空间资源限额配置，如果两者不一致，则以配置管理单元为准重新设置容器集群中的配置。箭头3、箭头4和箭头5表示任务执行时的容量管理。任务执行单元首先通过配置管理单元获取当前任务的资源需求和名字空间，然后查询集群容量管理单元对应名字空间的剩余可用资源是否满足，满足情况下在容器集群中执行任务，启动Job成功后再次向集群容量管理单元登记此次资源消耗。箭头6表示在代理正常运行中，管理人员通过前端配置页面主动修改名字空间的限额配置。接收到这类操作请求后，集群容量管理单元直接通过箭头2对容器集群相应名字空间的Resource Quota和Resource Limit Range进行配置。此类操作不会影响现有任务的执行，如果发现某一名字空间的已分配资源高于当前限额配置，集群容量管理单元首先拒绝新的资源分配请求，等待现有的任务结束，直到已分配资源低于当前限额配置再进行配置变更。
在本实施例中，所提供的建模数据处理方法解耦了建模平台与容器集群环境的使用，降低业务开发人员的学习成本，让业务开发人员将主要精力放在建模算法的设计和实现上。建模任务数据结构的分层设计让对外接口简单清晰，将复杂的“翻译”工作交给代理，提高了接口的可读性。完整的建模任务生命周期管理、日志收集逻辑和消息回调通知，保证了代理的可用性。集群容量管理单元接管了容器集群的容量管理，信息呈现和使用方式对业务人员都更加友好。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的建模数据处理方法的建模数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个建模数据处理装置实施例中的具体限定可以参见上文中对于建模数据处理方法的限定，在此不再赘述。
在一个实施例中，如图10所示，提供了一种建模数据处理装置，包括：接收模块110、转换模块120、发送模块130和回调模块140，其中：
接收模块110，用于接收建模平台发起的建模任务创建请求，建模任务创建请求中携带有目标建模任务对应的任务类型及任务数据；
转换模块120，用于基于建模平台的预设基础配置信息，对目标建模任务的任务类型及任务数据进行配置转换，生成目标建模任务对应的容器实例数据；
发送模块130，用于在基于建模平台的预设基础配置信息判定容器集群环境允许执行目标建模任务的情况下，将目标建模任务对应的容器实例数据发送至容器集群环境，以使容器集群环境基于容器实例数据启动执行目标建模任务；
回调模块140，用于接收容器集群环境发送的任务回调结果并转发至建模平台，任务回调结果用于表征目标建模任务的执行状态。
在一个实施例中，建模平台的预设基础配置信息包括任务类型与预设容器环境的对应关系，容器实例数据包括容器环境配置数据与任务运行配置数据；
转换模块120，还用于根据任务类型以及任务类型与预设容器环境的对应关系，生成容器环境配置数据；将任务数据按预设格式进行数据结构转换，生成任务运行配置数据。
在一个实施例中，建模平台的预设基础配置信息还包括各任务类型对应的资源需求量；装置还包括：
判断模块，用于根据目标建模任务的任务类型获取目标建模任务对应的资源需求量与预设容器环境；获取预设容器环境的剩余可用资源量；在剩余可用资源量满足目标建模任务对应的资源需求量的情况下，判定容器集群环境允许执行目标建模任务。
在一个实施例中，装置还包括：
配置模块，用于响应于预设容器环境资源限额配置请求，实时获取预设容器环境的已占用资源量；预设容器环境资源限额配置请求中携带有对预设容器环境进行资源限额配置的资源限额量；直至预设容器环境的已占用资源量低于资源限额量，基于资源限额量对预设容器环境进行资源限额配置。
在一个实施例中，回调模块140，还用于在剩余可用资源量不满足目标建模任务对应的资源需求量的情况下，反馈资源饱和回调结果至建模平台，以使建模平台根据资源饱和回调结果对预设容器环境进行资源限额配置。
在一个实施例中，装置还包括：
中止模块，用于接收建模平台发送的建模任务中止请求，建模任务中止请求携带有目标建模任务对应的任务唯一标识符；基于任务唯一标识符发送任务强制中止指令至容器集群环境，以使容器集群环境停止执行目标建模任务并释放目标建模任务对应的资源占用。
上述建模数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图11所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储建模平台和容器集群环境的预设基础配置数据、容器集群环境的容量信息数据以及建模任务产生的历史数据等。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种建模数据处理方法。该计算机设备还可以包括显示单元和输入装置，其中显示单元可用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备。计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述的方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质。计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法的步骤。
在一个实施例中，提供了一种计算机程序产品，计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (15)

1.一种建模数据处理方法，其特征在于，所述方法包括：
接收建模平台发起的建模任务创建请求，所述建模任务创建请求中携带有目标建模任务对应的任务类型及任务数据；
基于容器集群环境的预设基础配置信息，对所述目标建模任务的任务类型及任务数据进行配置转换，生成所述目标建模任务对应的容器实例数据；
在基于所述容器集群环境的预设基础配置信息与所述建模平台的预设基础配置信息判定所述容器集群环境允许执行所述目标建模任务的情况下，将所述目标建模任务对应的容器实例数据发送至所述容器集群环境，以使所述容器集群环境基于所述容器实例数据启动执行所述目标建模任务；
接收所述容器集群环境发送的任务回调结果并转发至所述建模平台，所述任务回调结果用于表征所述目标建模任务的执行状态。
2.根据权利要求1所述的方法，其特征在于，所述容器集群环境的预设基础配置信息包括任务类型与预设容器环境的对应关系，所述容器实例数据包括容器环境配置数据与任务运行配置数据；所述基于所述容器集群环境的预设基础配置信息，对所述目标建模任务的任务类型及任务数据进行配置转换，生成所述目标建模任务对应的容器实例数据，包括：
根据所述任务类型以及所述任务类型与预设容器环境的对应关系，生成所述容器环境配置数据；
将所述任务数据按预设格式进行数据结构转换，生成所述任务运行配置数据。
3.根据权利要求2所述的方法，其特征在于，所述建模平台的预设基础配置信息包括各任务类型对应的资源需求量；基于所述容器集群环境的预设基础配置信息与所述建模平台的预设基础配置信息判断容器集群环境是否允许执行所述目标建模任务，包括：
根据所述目标建模任务的任务类型获取所述目标建模任务对应的资源需求量与预设容器环境；
获取所述目标建模任务对应的预设容器环境的剩余可用资源量；
在所述剩余可用资源量满足所述目标建模任务对应的资源需求量的情况下，判定容器集群环境允许执行所述目标建模任务。
4.根据权利要求1或3所述的方法，其特征在于，所述方法还包括：
响应于预设容器环境资源限额配置请求，实时获取所述预设容器环境的已占用资源量；所述预设容器环境资源限额配置请求中携带有对所述预设容器环境进行资源限额配置的资源限额量；
直至所述预设容器环境的已占用资源量低于所述资源限额量，基于所述资源限额量对所述预设容器环境进行资源限额配置。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
在所述剩余可用资源量不满足所述目标建模任务对应的资源需求量的情况下，反馈资源饱和回调结果至所述建模平台，以使所述建模平台根据所述资源饱和回调结果对所述预设容器环境进行资源限额配置。
6.根据权利要求1至5任意一项所述的方法，其特征在于，所述在基于所述容器集群环境的预设基础配置信息与所述建模平台的预设基础配置信息判定容器集群环境允许执行所述目标建模任务的情况下，将所述目标建模任务对应的容器实例数据发送至所述容器集群环境，以使所述容器集群环境基于所述容器实例数据启动执行所述目标建模任务之后，所述方法还包括：
接收所述建模平台发送的建模任务中止请求，所述建模任务中止请求携带有所述目标建模任务对应的任务唯一标识符；
基于所述任务唯一标识符发送任务强制中止指令至所述容器集群环境，以使所述容器集群环境停止执行所述目标建模任务并释放所述目标建模任务对应的资源占用。
7.一种建模数据处理装置，其特征在于，所述装置包括：
接收模块，用于接收建模平台发起的建模任务创建请求，所述建模任务创建请求中携带有目标建模任务对应的任务类型及任务数据；
转换模块，用于基于容器集群环境的预设基础配置信息，对所述目标建模任务的任务类型及任务数据进行配置转换，生成所述目标建模任务对应的容器实例数据；
发送模块，用于在基于所述容器集群环境的预设基础配置信息与所述建模平台的预设基础配置信息判定所述容器集群环境允许执行所述目标建模任务的情况下，将所述目标建模任务对应的容器实例数据发送至所述容器集群环境，以使所述容器集群环境基于所述容器实例数据启动执行所述目标建模任务；
回调模块，用于接收所述容器集群环境发送的任务回调结果并转发至所述建模平台，所述任务回调结果用于表征所述目标建模任务的执行状态。
8.根据权利要求7所述的装置，其特征在于，所述容器集群环境的预设基础配置信息包括任务类型与预设容器环境的对应关系，所述容器实例数据包括容器环境配置数据与任务运行配置数据；
所述转换模块，还用于根据所述任务类型以及任务类型与预设容器环境的对应关系，生成所述容器环境配置数据；将所述任务数据按预设格式进行数据结构转换，生成所述任务运行配置数据。
9.根据权利要求8所述的装置，其特征在于，所述建模平台的预设基础配置信息包括各任务类型对应的资源需求量；所述装置还包括：
判断模块，用于根据所述目标建模任务的任务类型获取所述目标建模任务对应的资源需求量与预设容器环境；获取所述目标建模任务对应的预设容器环境的剩余可用资源量；在所述剩余可用资源量满足所述目标建模任务对应的资源需求量的情况下，判定容器集群环境允许执行所述目标建模任务。
10.根据权利要求7或9所述的装置，其特征在于，所述装置还包括：
配置模块，用于响应于所述预设容器环境资源限额配置请求，实时获取所述预设容器环境的已占用资源量；所述预设容器环境资源限额配置请求中携带有对所述预设容器环境进行资源限额配置的资源限额量；直至所述预设容器环境的已占用资源量低于所述资源限额量，基于所述资源限额量对所述预设容器环境进行资源限额配置。
11.根据权利要求10所述的装置，其特征在于，
所述回调模块，还用于在所述剩余可用资源量不满足所述目标建模任务对应的资源需求量的情况下，反馈资源饱和回调结果至所述建模平台，以使所述建模平台根据所述资源饱和回调结果对所述预设容器环境进行资源限额配置。
12.根据权利要求7至11任意一项所述的装置，其特征在于，所述装置还包括：
中止模块，用于接收所述建模平台发送的建模任务中止请求，所述建模任务中止请求携带有所述目标建模任务对应的任务唯一标识符；基于所述任务唯一标识符发送任务强制中止指令至所述容器集群环境，以使所述容器集群环境停止执行所述目标建模任务并释放所述目标建模任务对应的资源占用。
13.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
15.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202310121451.XA 2023-02-03 2023-02-03 建模数据处理方法、装置、计算机设备和存储介质 Pending CN116360918A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310121451.XA CN116360918A (zh) 2023-02-03 2023-02-03 建模数据处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310121451.XA CN116360918A (zh) 2023-02-03 2023-02-03 建模数据处理方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN116360918A true CN116360918A (zh) 2023-06-30

Family

ID=86907468

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310121451.XA Pending CN116360918A (zh) 2023-02-03 2023-02-03 建模数据处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN116360918A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117591565A (zh) * 2024-01-19 2024-02-23 深圳市极限网络科技有限公司 虚拟机器人的实例处理方法、实例处理装置及存储介质
CN117995264A (zh) * 2024-04-02 2024-05-07 杭州海康威视数字技术股份有限公司 一种生物信息建模终端及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117591565A (zh) * 2024-01-19 2024-02-23 深圳市极限网络科技有限公司 虚拟机器人的实例处理方法、实例处理装置及存储介质
CN117591565B (zh) * 2024-01-19 2024-04-30 深圳市极限网络科技有限公司 虚拟机器人的实例处理方法、实例处理装置及存储介质
CN117995264A (zh) * 2024-04-02 2024-05-07 杭州海康威视数字技术股份有限公司 一种生物信息建模终端及方法

Similar Documents

Publication Publication Date Title
US10637796B2 (en) Linking instances within a cloud computing environment
CN109976667B (zh) 一种镜像管理方法、装置及系统
CN112104723B (zh) 一种多集群的数据处理系统及方法
CN116360918A (zh) 建模数据处理方法、装置、计算机设备和存储介质
CN111814089A (zh) 一种页面渲染的方法、装置、渲染服务器和存储介质
US9852220B1 (en) Distributed workflow management system
CN110557284A (zh) 基于客户端网关的数据聚合方法及装置
CN110908793A (zh) 长时任务执行方法、装置、设备及可读存储介质
US20200133708A1 (en) Method for Managing VNF Instantiation and Device
CN112115203A (zh) 云平台的资产管理方法、装置、设备及存储介质
CN111061432A (zh) 一种业务迁移方法、装置、设备及可读存储介质
CN109729121B (zh) 一种云存储系统及用于云存储系统中实现自定义数据处理的方法
CN115202729A (zh) 基于容器服务的镜像生成方法、装置、设备及介质
CN113094125B (zh) 业务流程处理方法、装置、服务器及存储介质
CN114675982A (zh) 一种业务集成系统的数据获取通用方法及系统
CN115437647A (zh) 适配多框架的微服务部署方法、装置、终端及存储介质
CN111767345B (zh) 建模数据同步方法、装置、计算机设备及可读存储介质
CN111736930B (zh) 程序前后端接口调用方法、装置、计算机设备及存储介质
CN112187916A (zh) 一种跨系统的数据同步方法与装置
CN117035619B (zh) 基于用户自定义的物流供应链场景协同方法、系统及设备
CN115454450B (zh) 一种针对数据作业的资源管理的方法、装置、电子设备和存储介质
CN117193959A (zh) 任务调度方法、装置、计算机设备和存储介质
CN116628666A (zh) 交互方法、装置、计算机设备和存储介质
CN117707602A (zh) 数据请求的处理方法、装置、服务器和存储介质
CN116228346A (zh) 订单任务处理方法、装置、系统和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination