CN113590304A - 一种业务数据处理方法、装置、计算机设备及存储介质 - Google Patents

一种业务数据处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113590304A
CN113590304A CN202110168611.7A CN202110168611A CN113590304A CN 113590304 A CN113590304 A CN 113590304A CN 202110168611 A CN202110168611 A CN 202110168611A CN 113590304 A CN113590304 A CN 113590304A
Authority
CN
China
Prior art keywords
model
target
version
data processing
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110168611.7A
Other languages
English (en)
Inventor
艾长青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110168611.7A priority Critical patent/CN113590304A/zh
Publication of CN113590304A publication Critical patent/CN113590304A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/60Software deployment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/70Software maintenance or management
    • G06F8/71Version control; Configuration management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Stored Programmes (AREA)

Abstract

本发明公开了一种业务数据处理方法、装置、计算机设备及存储介质;本申请实施例可以获取目标业务下的业务数据处理请求,以及所述目标业务的第一业务标识;基于所述第一业务标识,从预存的业务模型映射关系中,确定所述目标业务对应的目标业务模型映射关系,其中,预存的业务映射关系的关系建立可以基于人工智能领域中的机器学习技术实现;若所述第一对应关系中,存在所述目标模型标识信息和目标版本信息的对应关系,基于所述目标模型标识信息,确定所述目标版本子模型的访问地址;基于所述目标版本信息和所述访问地址,调用所述目标版本子模型,通过所述目标版本子模型处理所述待处理业务数据。本方案可以提高业务数据的处理效率。

Description

一种业务数据处理方法、装置、计算机设备及存储介质
技术领域
本申请涉及通信技术领域,具体涉及一种业务数据处理方法、装置、计算机设备及存储介质。
背景技术
随着信息技术的飞速发展,可以对模型进行部署,然后通过运行这些部署的模型来处理各种业务数据。
在对相关技术的研究和实践过程中,本申请的发明人发现目前的模型部署技术包括较为底层的模型部署工具,但是较为底层的模型部署工具无法进行大规模模型管理和部署,模型处理业务数据的效率较低。
发明内容
本申请实施例提供一种业务数据处理方法、装置、计算机设备及存储介质,可以提高业务数据的处理效率。
本申请实施例提供了一种业务数据处理方法,包括:
获取目标业务下的业务数据处理请求,以及所述目标业务的第一业务标识,所述业务数据处理请求包括待处理业务数据,以及目标数据处理模型的目标模型标识信息,和所述目标数据处理模型下处理所述待处理业务数据的目标版本子模型的目标版本信息;
基于所述第一业务标识,从预存的业务模型映射关系中,确定所述目标业务对应的目标业务模型映射关系,所述目标业务模型映射关系包括所述目标业务下已部署的数据处理模型的模型标识信息,与各数据处理模型下已部署的至少一个版本子模型的版本信息的第一对应关系;
若所述第一对应关系中,存在所述目标模型标识信息和目标版本信息的对应关系,基于所述目标模型标识信息,确定所述目标版本子模型的访问地址;
基于所述目标版本信息和所述访问地址,调用所述目标版本子模型,通过所述目标版本子模型处理所述待处理业务数据。
相应的,本申请实施例提供了一种业务数据处理装置,包括:
获取单元,用于获取目标业务下的业务数据处理请求,以及所述目标业务的第一业务标识,所述业务数据处理请求包括待处理业务数据,以及目标数据处理模型的目标模型标识信息,和所述目标数据处理模型下处理所述待处理业务数据的目标版本子模型的目标版本信息;
关系确定单元,用于基于所述第一业务标识,从预存的业务模型映射关系中,确定所述目标业务对应的目标业务模型映射关系,所述目标业务模型映射关系包括所述目标业务下已部署的数据处理模型的模型标识信息,与各数据处理模型下已部署的至少一个版本子模型的版本信息的第一对应关系;
地址确定单元,用于若所述第一对应关系中,存在所述目标模型标识信息和目标版本信息的对应关系,基于所述目标模型标识信息,确定所述目标版本子模型的访问地址;
调用单元,用于基于所述目标版本信息和所述访问地址,调用所述目标版本子模型,通过所述目标版本子模型处理所述待处理业务数据。
在一实施例中,所述获取单元,包括:
接收子单元,用于通过模型访问管理模块的模型访问接口接收目标业务下的业务数据处理请求,其中,所述模型访问接口为至少两个已部署业务共享的接口,所述已部署业务包括所述目标业务。
在一实施例中,所述地址确定单元,包括:
地址确定子单元,用于基于所述目标模型标识信息和所述第二对应关系,确定运行所述目标数据处理模型所需的目标容器的访问地址,作为所述目标版本子模型的访问地址。
在一实施例中,所述调用单元,包括:
第一调用子单元,用于基于所述目标版本信息和所述目标容器的访问地址,调用所述目标容器中的所述目标版本子模型,通过所述目标版本子模型处理所述待处理业务数据。
在一实施例中,所述调用单元,包括:
第二调用子单元,用于通过所述模型访问管理模块,基于所述目标版本信息和所述访问地址,调用所述目标版本子模型,通过所述目标版本子模型处理所述待处理业务数据。
在一实施例中,所述地址确定单元,还包括:
接收子单元,用于接收模型部署指令,所述模型部署指令包括:待部署数据处理模型所属的第一业务的第二业务标识,所述待部署数据处理模型的模型标识信息、所述待部署处理模型下待部署版本子模型的版本信息和模型文件获取信息,以及运行所述待部署版本子模型的第一容器的容器指示信息;
第一获取子单元,用于基于所述容器指示信息,获取所述第一容器的访问地址;
加载子单元,用于基于所述模型文件获取信息和所述访问地址,在所述第一容器中加载所述待部署版本子模型,得到部署后的版本子模型;
第一更新子单元,用于基于所述第一业务的第二业务标识,所述待部署数据处理模型的模型标识信息,以及所述部署后的版本子模型的版本信息,更新所述预存的业务模型映射关系;
第二更新子单元,用于基于所述第一容器的访问地址和所述待部署数据处理模型的模型标识信息,更新所述第二对应关系。
在一实施例中,所述第一获取子单元还用于若所述待部署数据处理模型下存在已部署的模型版本,基于所述第一容器的容器标识信息,从预设的容器标识信息和容器的访问地址的对应关系中,获取所述第一容器的访问地址;若所述待部署数据处理模型下不存在已部署的模型版本,则基于所述文件标识信息,获取所述第一容器的镜像文件;基于所述镜像文件创建所述第一容器,获取创建的所述第一容器的访问地址。
在一实施例中,所述地址确定单元,还包括:
第二获取子单元,用于获取模型版本下线指令,所述模型版本下线指令包括:待下线版本子模型的第一版本信息,以及所述待下线版本子模型所属第一数据处理模型的第一模型标识信息,所述第一数据处理模型所属业务的第三业务标识;
第三获取子单元,用于获取所述待下线版本子模型的第二容器的访问地址;
第一卸载子单元,用于基于所述第二容器的访问地址和所述待下线版本子模型的第一版本信息,从所述第二容器中卸载所述待下线版本子模型;
第三更新子单元,用于基于卸载的所述待下线版本子模型,更新所述预存的业务模型映射关系,以及更新所述第二对应关系。
在一实施例中,所述地址确定单元,还包括:
第二卸载子单元,用于若所述待下线版本子模型为所述第一数据处理模型在所述第二容器中的最后一个版本子模型,则卸载所述第二容器,将卸载的所述第二容器的资源设置为可用空闲资源;
删除子单元,用于基于卸载的所述第二容器,删除所述第一数据处理模型的模型标识信息,与所述待下线版本子模型的版本信息的第一对应关系,并删除所述第一数据处理模型和所述第二容器的访问地址的第二对应关系;
第四更新子单元,用于基于删除的所述第一对应关系和删除的所述第二对应关系,更新所述预存的业务模型映射关系。
相应的,本申请实施例还提供了一种计算机设备,包括存储器,处理器及存储在储存器上并可在处理器上运行的计算机程序,其中,所述处理器执行本申请实施例任一提供的业务数据处理方法中的步骤。
相应的,本申请实施例还提供一种存储介质,所述存储介质存储有多条指令,所述指令适用于处理器进行加载,以执行本申请实施例任一提供的业务数据处理方法中的步骤。
本方案可以通过对各业务对应的数据处理模型进行统一的部署,建立各业务下的业务模型映射关系,并进行预存,当接收到目标业务下的业务数据处理请求时,可以基于预存的业务模型映射关系,获取处理目标业务下待处理业务数据的目标版本子模型的访问地址,以调用该目标版本子模型去处理待处理业务数据,可以解决每个对业务各自独立对数据处理模型进行管理的麻烦,也省去了业务对部署资源管理的冗余工作,可以提高业务数据的处理效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的业务数据处理方法的场景示意图;
图2a是本申请实施例提供的业务数据处理方法的流程图;
图2b是本申请实施例提供的业务数据处理方法的技术框架图;
图2c是本申请实施例提供的业务数据处理方法的模型部署页面图;
图2d是本申请实施例提供的业务数据处理方法的模型调用流程图;
图2e是本申请实施例提供的业务数据处理方法的容器页面示意图;
图2f是本申请实施例提供的业务数据处理方法的模型版本发布示意图;
图2g是本申请实施例提供的业务数据处理方法的模型版本下线示意图;
图2h是本申请实施例提供的业务数据处理方法的容器资源管理框架图;
图3是本申请实施例提供的业务数据处理方法的另一流程图;
图4a是本申请实施例提供的业务数据处理方法的装置图;
图4b是本申请实施例提供的业务数据处理方法的另一装置图;
图4c是本申请实施例提供的业务数据处理方法的另一装置图;
图4d是本申请实施例提供的业务数据处理方法的另一装置图;
图5是本申请实施例提供的计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种业务数据处理方法、装置、计算机设备及存储介质。具体地,本申请实施例提供适用于计算机设备的业务数据处理装置。其中,该计算机设备可以为终端或服务器等设备,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
参考图1,以计算机设备为服务器为例,该服务器可以获取目标业务下的业务数据处理请求,以及目标业务的第一业务标识,业务数据处理请求包括待处理业务数据,以及目标数据处理模型的目标模型标识信息,和目标数据处理模型下处理待处理业务数据的目标版本子模型的目标版本信息;基于第一业务标识,从预存的业务模型映射关系中,确定目标业务对应的目标业务模型映射关系,目标业务模型映射关系包括目标业务下已部署的数据处理模型的模型标识信息,与各数据处理模型下已部署的至少一个版本子模型的版本信息的第一对应关系;若第一对应关系中,存在目标模型标识信息和目标版本信息的对应关系,基于目标模型标识信息,确定目标版本子模型的访问地址;基于目标版本信息和访问地址,调用目标版本子模型,通过目标版本子模型处理待处理业务数据。
其中,预存的业务映射关系的关系建立,可以基于人工智能领域中的机器学习(Machine Learning,ML)技术实现,比如,可以从标签集中确定目标标签,然后基于自然语言处理技术,再从标签集中确定与目标标签存在词包含关系的目标标签集。
其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模型、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳效果的理论、方法、技术及应用系统。人工智能技术是一门综合学科,涉及领域广泛,集有硬件层面的技术也有软件层面的技术。人工智能软件技术主要包括自然语言处理、机器学习/深度学习等方向。
机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
由以上可知,本申请实施例可以通过对各业务对应的数据处理模型进行统一的部署,建立各业务下的业务模型映射关系,并进行预存,当接收到目标业务下的业务数据处理请求时,可以基于预存的业务模型映射关系,获取处理目标业务下待处理业务数据的目标版本子模型的访问地址,以调用该目标版本子模型去处理待处理业务数据,可以解决每个对业务各自独立对数据处理模型进行管理的麻烦,也省去了业务对部署资源管理的冗余工作,可以提高业务数据的处理效率。
本实施例可以以下分别进行详细说明,需说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
本申请实施例提供一种业务数据处理方法,该方法可以由终端或服务器执行,也可以由终端和服务器共同执行;本申请实施例以业务数据处理方法由服务器执行为例来进行说明,具体的,由集成在服务器中的业务数据处理装置来执行。如图2a所示,该业务数据处理方法的具体流程可以如下:
201、获取目标业务下的业务数据处理请求,以及目标业务的第一业务标识,业务数据处理请求包括待处理业务数据,以及目标数据处理模型的目标模型标识信息,和目标数据处理模型下处理待处理业务数据的目标版本子模型的目标版本信息。
其中,业务数据处理请求可以为目标业务的设备发送的请求,该业务数据处理请求可以用于请求对应的目标模型下的版本子模型来处理需要处理的待处理业务数据,比如,可以基于获取到的业务数据处理请求中包括的目标模型标识信息和目标版本信息,去判断目标版本信息对应版本的目标版本子模型是否部署,确定部署后再去获取该目标版本子模型的访问地址,以基于该访问地址运行该目标版本子模型,通过该运行的目标版本子模型去处理待处理业务数据。
其中,待处理业务数据为目标业务下需要处理的数据,可以通过目标数据处理模型下的版本子模型对待处理业务数据进行处理,可以根据业务数据处理请求中包括的目标模型标识信息去确定处理待处理业务数据的模型,即目标版本子模型,在部署各数据处理模型的时候目标数据处理模型可以存在多个版本的版本子模型,因此,在通过目标数据处理模型下的目标版本子模型处理待处理业务数据的过程中,可以根据业务数据处理请求中包括的目标版本信息来确定处理待处理业务数据的目标数据处理模型下的目标版本子模型。
在一实施例中,还可以通过模型访问管理模块的模型访问接口来接收目标业务下的业务数据处理请求,步骤“获取目标业务下的业务数据处理请求”,可以包括:
通过模型访问管理模块的模型访问接口接收目标业务下的业务数据处理请求,其中,模型访问接口为至少两个已部署业务共享的接口,已部署业务包括目标业务。
在一示例中,如图2b所示,对于各个业务一般可以通过api/web进行模型的上传部署,比如,可以支持cephFS(Ceph File System,分布式文件系统)进行数据共享或通过网络传输,还可以通过其他的方式,具体使用方式可以由用户决定。上传模型时需要指定模型所属的项目及模型的版本,同一个模型只能属于一个项目,但可以包含多个版本,模型相关的信息可以保存在mysql数据库中。比如,一个业务可以等于一个项目,一个业务可以包括多个项目,如对于球赛预测业务,可以包括对巴西的球赛进行预测(一个项目),以及对阿根廷进行预测(另一个项目)。
在一示例中,在对各数据处理模型在部署时,可以以模型版本为单位进行模型部署,实现项目-模型-模型版本的三层架构模型管理服务,其中,项目-模型-模型版本在web上显示结果如图2c所示,在一个项目下可以包括多个数据处理模型,每个数据处理模型可以包括多个模型版本,即每个数据处理模型可以包括多个版本的版本子模型,在web页面中还可以显示各数据处理模型的模型名称、模型标识、以及在线状态(比如,在线、或者离线)等信息。
在一示例中,如图2d所示,各数据处理模型部署后可以通过inference(推断)接口提供服务,为了避免每个业务维护模型部署的服务地址等元数据,可以提供统一的inference模块,inference模块统一管理模型部署的服务地址的元数据,其流程可以包括:目标业务的设备可以向inference模块发送业务数据处理请求,inference模块接收到请求后,基于请求中包括的目标模型标识信息和目标版本信息,可以判断目标版本信息对应的模型版本下的目标模型是否部署,确定部署后可以去数据库或者缓存中获取目标版本信息对应的目标数据处理模型下的目标版本子模型的访问地址,最后基于该访问地址运行该目标版本子模型,通过该运行的目标版本子模型处理待处理业务数据。
在一示例中,各个业务通过可以通过统一的接口访问并在访问时提供model_id(模型标识信息)和模型version(版本信息)参数,即业务数据处理请求可以包括model_id和模型version参数,可以向inference模块接模块发送该业务数据处理请求,inference模块接收到请求后,会判断当前的模型版本是否部署,确定部署后就会去数据库或缓存获取模型部署的实际地址,然后通过集群内的方式请求模型的inference服务,然后将结果返回给调用方。
202、基于第一业务标识,从预存的业务模型映射关系中,确定目标业务对应的目标业务模型映射关系,目标业务模型映射关系包括目标业务下已部署的数据处理模型的模型标识信息,与各数据处理模型下已部署的至少一个版本子模型的版本信息的第一对应关系。
其中,第一业务标识可以表征目标业务,根据第一业务标识在预存的业务模型映射关系,可以查询存在第一业务标识的业务映射关系,该存在第一业务标识的业务映射关系即为目标业务对应的目标业务映射关系。
其中,预存的业务模型映射关系包括各业务下已经部署的各数据处理模型的模型标识信息、与各数据处理模型的至少一个版本子模型的版本信息的对应关系。当知道了一个模型版本的版本信息时,基于该对应关系就可以确定该版本信息对应的数据处理模型以及模型版本。
其中,目标数据处理模型可以包括多个版本的版本子模型,目标数据处理模型是多个版本子模型的统称。
在一实施例中,为了将各个业务的数据处理模型的管理和部署的工作统一起来,让上层业务更聚焦业务,业务数据处理方法还可以包括:
接收模型部署指令,模型部署指令包括:待部署数据处理模型所属的第一业务的第二业务标识,待部署数据处理模型的模型标识信息、待部署处理模型下待部署版本子模型的版本信息和模型文件获取信息,以及运行待部署版本子模型的第一容器的容器指示信息;
基于容器指示信息,获取第一容器的访问地址;
基于模型文件获取信息和访问地址,在第一容器中加载待部署版本子模型,得到部署后的版本子模型;
基于第一业务的第二业务标识,待部署数据处理模型的模型标识信息,以及部署后的版本子模型的版本信息,更新预存的业务模型映射关系;
基于第一容器的访问地址和待部署数据处理模型的模型标识信息,更新第二对应关系。
其中,第一容器可以为一个docker容器,一个模型的所有版本子模型都可以在同一个容器里边,第一容器的访问地址可以存储起来。Docker容器是一个开源的应用容器引擎,让开发者可以以统一的方式打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何安装了docker引擎的服务器上。
其中,可以若第一容器已经创建,则可以基于第一容器的容器标识信息,从预设的容器标识信息和容器的访问地址的对应关系中,获取第一容器的访问地址,若第一容器已经创建还没有创建,则可以根据第一容器的镜像文件的文件标识信息去获取第一容器的镜像文件,然后基于该镜像文件去创建第一容器,就可以获取创建的第一容器的访问地址了。
在一示例中,数据处理模型m可以包含版本子模型1和版本子模型2,模型部署时是以版本为部署单位的,一个数据处理模型对应一个docker容器,一个docker容器可以包括对应的数据处理模型的多个模型版本的模型,比如,一个docker容器可以包括数据处理模型m的版本子模型1和版本子模型2,部署的模型版本通过环境变量来指定。
其中,具体的配置的环境配置可以如图2e所示,版本号包含在环境变量中,表示是已经发布的,不在环境变量中的表示已经下线或不存在版本,框C1中的内容可以表示创建服务器的容器名称,也就是docker容器的容器名称,一个容器对应一个镜像,镜像运行起来才成为一个容器,运行起来它有一个名称,就相当于一个服务器有一个ip似的,框C2中的内容可以表示镜像的名称,镜像包括了运行需要的代码文件,镜像可以理解为操作系统,镜像是静态的,它运行起来就是容器,框C3中的m表示的是在该容器中的数据处理模型的模型名称,框C4中的内容可以表示该容器中的数据处理模型的模型路径,框C5中的1和2,表示的是该容器中的数据处理模型下的两个模型版本,等等。
在一实施例中,容器指示信息包括第一容器的容器标识信息,和第一容器的镜像文件的文件标识信息,步骤“基于容器指示信息,获取第一容器的访问地址”,可以包括:
若待部署数据处理模型下存在已部署的模型版本,基于第一容器的容器标识信息,从预设的容器标识信息和容器的访问地址的对应关系中,获取第一容器的访问地址;
若待部署数据处理模型下不存在已部署的模型版本,则基于文件标识信息,获取第一容器的镜像文件;
基于镜像文件创建第一容器,获取创建的第一容器的访问地址。
在一实施例中,可以支持业务通过api和web上传不同版本的模型,并以模型为单位管理不同版本的模型,还可以以模型版本为单位进行模型的发布、缩扩容、版本更新和下线。
在一示例中,模型的部署和管理是在自主可控计算资源池背景下的产生的,资源池的管理可以是基于Kubernetes的,不同的版本的模型对应一个docker容器。
203、若第一对应关系中,存在目标模型标识信息和目标版本信息的对应关系,基于目标模型标识信息,确定目标版本子模型的访问地址。
其中,目标版本子模型的访问地址可以用于访问目标版本子模型,基于该访问地址可以运行目标版本子模型,比如,该访问地址可以为图2b中,目标版本子模型存储在tfscluster里的地址,知道了目标版本子模型存储在tfs cluster中的访问地址之后,可以运行该目标版本子模型处理目标业务的待处理业务数据。
在一实施例中,同一数据处理模型下的版本子模型共享一个运行模型的容器,目标业务模型映射关系还包括:数据处理模型的模型标识信息和运行数据处理模型的容器的访问地址的第二对应关系,步骤“基于目标模型标识信息,确定目标版本子模型的访问地址”,可以包括:
基于目标模型标识信息和第二对应关系,确定运行目标数据处理模型所需的目标容器的访问地址,作为目标版本子模型的访问地址。
204、基于目标版本信息和访问地址,调用目标版本子模型,通过目标版本子模型处理待处理业务数据。
其中,可以基于访问地址将待处理业务数据发送给目标容器中的目标版本子模型,也即可以基于访问地址,将待处理业务数据和目标标本信息发送给目标容器,触发目标容器基于目标版本信息,将待处理业务数据传递给目标版本子模型,以便目标版本子模型处理待处理业务数据。
在一实施例中,为了对待处理业务数据进行处理,可以运行对应的目标版本子模型对待处理业务数据进行处理,具体步骤“基于目标版本信息和访问地址,调用目标版本子模型,通过目标版本子模型处理待处理业务数据”,可以包括:
基于目标版本信息和目标容器的访问地址,调用目标容器中的目标版本子模型,通过目标版本子模型处理待处理业务数据。
在一实施例中,步骤“基于目标版本信息和访问地址,调用目标版本子模型,通过目标版本子模型处理待处理业务数据”,可以包括:
通过模型访问管理模块,基于目标版本信息和访问地址,调用目标版本子模型,通过目标版本子模型处理待处理业务数据。
在一实施例中,每当下线一个数据处理模型下的版本子模型时,可以对预存的业务模型映射关系和第二对应关系进行更新,具体地,业务数据处理方法还可以包括:
获取模型版本下线指令,模型版本下线指令包括:待下线版本子模型的第一版本信息,以及待下线版本子模型所属第一数据处理模型的第一模型标识信息,第一数据处理模型所属业务的第三业务标识;
获取待下线版本子模型的第二容器的访问地址;
基于第二容器的访问地址和待下线版本子模型的第一版本信息,从第二容器中卸载待下线版本子模型;
基于卸载的待下线版本子模型,更新预存的业务模型映射关系,以及更新第二对应关系。
在一示例中,如图2f所示,因为数据处理模型的部署是以模型版本为单位发布的,因此在发布时需要区分是否有其他的版本发布,如果有其他版本发布,则只需要更新环境变量即可,然后重启容器;若没有其他版本发布,则需要创建容器而不是简单的更新环境变量。
同样的模型下线也是以版本为单位的,在处理时和模型版本发布是一个逆向的过程,如图2g所示,数据处理模型下线时,若是最后一个版本,则可以回收容器更新该数据处理模型的状态;若还有其他版本在线,则可以更新环境变量,以及更新该数据处理模型的版本状态。
在一实施例中,为了保证资源能够被充分利用可以对资源进行回收,步骤“基于第二容器的访问地址和待下线版本子模型的第一版本信息,从第二容器中卸载待下线版本子模型”之后,还可以包括:
若待下线版本子模型为第一数据处理模型在第二容器中的最后一个版本子模型,则卸载第二容器,将卸载的第二容器的资源设置为可用空闲资源;
基于卸载的第二容器,删除第一数据处理模型的模型标识信息,与待下线版本子模型的版本信息的第一对应关系,并删除第一数据处理模型和第二容器的访问地址的第二对应关系;
基于删除的第一对应关系和删除的第二对应关系,更新预存的业务模型映射关系。
在一示例中,如图2h所示,模型部署需要的计算资源,为了更好的对计算资源进行全生命周期的管理,这里可以进行抽象作为一个单独的模块,主要的功能包括:
(1)根据模型部署中提供的镜像参数(tensorflow1.x和tensorflow2.x生成的模型对应不同的镜像),解析出满足条件的最新镜像。
(2)创建资源、更新容器、状态查询及回收。
这里为了便于模型部署资源的管理,创建的服务时会将模型部署的task_uuid作为一个外键存储在创建资源的数据库中,便于后续的更新、查询和回收,均通过task_uuid进行关联,做到模块间交互的低耦合。
本申请实施例介绍了对训练好的数据处理模型进行统一管理的方案,包括了对数据处理模型及模型版本的管理,及部署的整个生命周期管理,包括了部署需要资源的分配、更新、缩扩容等服务等功能。解决每个对业务各自独立对数据处理模型进行管理的的麻烦,也省去了业务对部署资源管理的冗余工作,同时还可以提供了统一对外的inference接口,免去上层业务需要额外管理inference地址的困扰,帮助上层业务更聚焦业务。使用本申请实施例的方案后,可以将各个业务的模型管理和部署的工作统一起来,让上层业务更聚焦业务。业务侧无需管理模型的各个版本,在inference阶段只需要通过通用的接口请求模型inference服务。另外,在模型部署时,对模型部署的资源池进行统一管理和分配,保证资源的充分利用,为企业节约成本。
由以上可知,本申请实施例可以通过对各业务对应的数据处理模型进行统一的部署,建立各业务下的业务模型映射关系,并进行预存,当接收到目标业务下的业务数据处理请求时,可以基于预存的业务模型映射关系,获取处理目标业务下待处理业务数据的目标版本子模型的访问地址,以调用该目标版本子模型去处理待处理业务数据,可以解决每个对业务各自独立对数据处理模型进行管理的麻烦,也省去了业务对部署资源管理的冗余工作,可以提高业务数据的处理效率。
根据上述介绍的内容,下面将举例来进一步说明本申请的业务数据处理方法。参考图3,一种业务数据处理方法,具体流程可以如下:
301、服务器接收目标业务下的业务数据处理请求,业务数据处理请求包括目标业务的待处理业务数据,目标数据处理模型的目标模型标识信息,目标数据处理模型下处理待处理业务数据的目标版本子模型的目标版本信息。
在一示例中,以模型访问管理模块为inference模块为例进行说明,如图2d所示,各个业务可以通过模型访问管理模块的模型访问接口,即inference模块的访问接口访问,服务器可以通过该inference模块的访问接口接收目标业务下的业务数据处理请求,业务数据处理请求中可以包括处理待处理业务数据的目标数据处理模型的模型标识信息和目标版本信息。
302、服务器根据已创建业务、各已创建业务下部署的数据处理模型,和各数据处理模型下的至少一个模型版本的访问地址的对应关系,以及目标模型标识和目标模型版本信息,确定处理待处理业务数据的目标版本子模型的访问地址。
在一示例中,可以创建已创建业务、各已创建业务下部署的数据处理模型、和各数据处理模型下的至少一个模型版本的访问地址的对应关系,然后进行预存得到预存的业务模型映射关系,当接收到目标业务下的业务数据处理请求时,可以基于该业务数据处理请求中包括的目标模型标识和目标模型版本信息、以及预存的业务模型映射关系,确定用于处理待处理业务数据的目标版本子模型的访问地址。
303、服务器基于目标版本信息和目标版本子模型的访问地址,调用目标版本子模型,通过目标版本子模型处理待处理业务数据。
在一示例中,服务器可以基于目标模型标识信息、以及数据处理模型的模型标识信息和运行数据处理模型的容器的访问地址的第二对应关系,确定运行目标数据处理模型所需的目标容器的访问地址,作为目标版本子模型的访问地址,之后可以基于目标版本信息和目标容器的访问地址,调用目标容器中的目标版本子模型来处理待处理业务数据。
在一示例中,服务器还可以通过模型访问管理模块的模型访问接口接收目标业务下的业务数据处理请求,然后通过模型访问管理模块,可以基于目标版本信息和访问地址调用目标版本子模型。
通过本申请实施例,既能完成数据处理模模型和模型版本的管理,又能支持数据处理模型的部署的整个生命周期的管理,具体解决的问题可以包括:
(1)通过对各业务的模型部署需求进行分析和抽象,可以形成一套通用的模型/模型版本的管理系统,很好的解决了各个业务独立管理模型/模型版本的问题。
(2)在模型管理时提供了形成了一套项目->模型->模型版本三级架构体系,让业务能以项目进行查看和管理自身的模型/模型版本服务。
(3)模型管理提供了web和api两种形式,两者均可以创建项目,上传模型/模型版本,并提供了模型的发布、缩扩容、下线等你功能。支持大规模的模型管理和部署。
(4)配合模型的发布、缩扩容和下线等功能,提供了一套对计算资源全生命周期的管理服务。
(5)在inference阶段,统一对模型部署的服务地址进行管理,对外提供了统一的接口,省去了上层业务端管理部署的模型的冗余工作。
由以上可知,本申请实施例可以通过对各业务对应的数据处理模型进行统一的部署,建立各业务下的业务模型映射关系,并进行预存,当接收到目标业务下的业务数据处理请求时,可以基于预存的业务模型映射关系,获取处理目标业务下待处理业务数据的目标版本子模型的访问地址,以调用该目标版本子模型去处理待处理业务数据,可以解决每个对业务各自独立对数据处理模型进行管理的麻烦,也省去了业务对部署资源管理的冗余工作,可以提高业务数据的处理效率。
为了更好地实施以上方法,相应的,本申请实施例还提供一种业务数据处理装置,其中,该业务数据处理装置具体可以集成在服务器中,参考图4a,该业务数据处理装置可以包括获取单元401、关系确定单元402、地址确定单元403和调用单元404,如下:
(1)获取单元401;
获取单元401,用于获取目标业务下的业务数据处理请求,以及目标业务的第一业务标识,业务数据处理请求包括待处理业务数据,以及目标数据处理模型的目标模型标识信息,和目标数据处理模型下处理待处理业务数据的目标版本子模型的目标版本信息。
在一实施例中,如图4b所示,获取单元401,包括:
接收子单元4011,用于通过模型访问管理模块的模型访问接口接收目标业务下的业务数据处理请求,其中,模型访问接口为至少两个已部署业务共享的接口,已部署业务包括目标业务。
(2)关系确定单元402;
关系确定单元402,用于基于第一业务标识,从预存的业务模型映射关系中,确定目标业务对应的目标业务模型映射关系,目标业务模型映射关系包括目标业务下已部署的数据处理模型的模型标识信息,与各数据处理模型下已部署的至少一个版本子模型的版本信息的第一对应关系。
(3)地址确定单元403;
地址确定单元403,用于若第一对应关系中,存在目标模型标识信息和目标版本信息的对应关系,基于目标模型标识信息,确定目标版本子模型的访问地址。
在一实施例中,如图4c所示,地址确定单元403,包括:
地址确定子单元4031,用于基于目标模型标识信息和第二对应关系,确定运行目标数据处理模型所需的目标容器的访问地址,作为目标版本子模型的访问地址。
在一实施例中,如图4c所示,地址确定单元403,还包括:
接收子单元4032,用于接收模型部署指令,模型部署指令包括:待部署数据处理模型所属的第一业务的第二业务标识,待部署数据处理模型的模型标识信息、待部署处理模型下待部署版本子模型的版本信息和模型文件获取信息,以及运行待部署版本子模型的第一容器的容器指示信息;
第一获取子单元4033,用于基于容器指示信息,获取第一容器的访问地址;
加载子单元4034,用于基于模型文件获取信息和访问地址,在第一容器中加载待部署版本子模型,得到部署后的版本子模型;
第一更新子单元4035,用于基于第一业务的第二业务标识,待部署数据处理模型的模型标识信息,以及部署后的版本子模型的版本信息,更新预存的业务模型映射关系;
第二更新子单元4036,用于基于第一容器的访问地址和待部署数据处理模型的模型标识信息,更新第二对应关系。
在一实施例中,第一获取子单元4033还用于若待部署数据处理模型下存在已部署的模型版本,基于第一容器的容器标识信息,从预设的容器标识信息和容器的访问地址的对应关系中,获取第一容器的访问地址;若待部署数据处理模型下不存在已部署的模型版本,则基于文件标识信息,获取第一容器的镜像文件;基于镜像文件创建第一容器,获取创建的第一容器的访问地址。
在一实施例中,如图4c所示,地址确定单元403,还包括:
第二获取子单元4037,用于获取模型版本下线指令,模型版本下线指令包括:待下线版本子模型的第一版本信息,以及待下线版本子模型所属第一数据处理模型的第一模型标识信息,第一数据处理模型所属业务的第三业务标识;
第三获取子单元4038,用于获取待下线版本子模型的第二容器的访问地址;
第一卸载子单元4039,用于基于第二容器的访问地址和待下线版本子模型的第一版本信息,从第二容器中卸载待下线版本子模型;
第三更新子单元40310,用于基于卸载的待下线版本子模型,更新预存的业务模型映射关系,以及更新第二对应关系。
在一实施例中,地址确定单元403,还包括:
第二卸载子单元40311,用于若待下线版本子模型为第一数据处理模型在第二容器中的最后一个版本子模型,则卸载第二容器,将卸载的第二容器的资源设置为可用空闲资源;
删除子单元40312,用于基于卸载的第二容器,删除第一数据处理模型的模型标识信息,与待下线版本子模型的版本信息的第一对应关系,并删除第一数据处理模型和第二容器的访问地址的第二对应关系;
第四更新子单元40313,用于基于删除的第一对应关系和删除的第二对应关系,更新预存的业务模型映射关系。
(4)调用单元404;
调用单元404,用于基于目标版本信息和访问地址,调用目标版本子模型,通过目标版本子模型处理待处理业务数据。
在一实施例中,如图4d所示,调用单元404,包括:
第一调用子单元4041,用于基于目标版本信息和目标容器的访问地址,调用目标容器中的目标版本子模型,通过目标版本子模型处理待处理业务数据。
在一实施例中,如图4d所示,调用单元404,包括:
第二调用子单元4042,用于通过模型访问管理模块,基于目标版本信息和访问地址,调用目标版本子模型,通过目标版本子模型处理待处理业务数据。
由以上可知,本申请实施例的业务数据处理装置的获取单元401获取目标业务下的业务数据处理请求,以及目标业务的第一业务标识,业务数据处理请求包括待处理业务数据,以及目标数据处理模型的目标模型标识信息,和目标数据处理模型下处理待处理业务数据的目标版本子模型的目标版本信息;然后,由关系确定单元402基于第一业务标识,从预存的业务模型映射关系中,确定目标业务对应的目标业务模型映射关系,目标业务模型映射关系包括目标业务下已部署的数据处理模型的模型标识信息,与各数据处理模型下已部署的至少一个版本子模型的版本信息的第一对应关系;由地址确定单元403若第一对应关系中,存在目标模型标识信息和目标版本信息的对应关系,基于目标模型标识信息,确定目标版本子模型的访问地址;由运行单元404基于目标版本信息和访问地址,调用目标版本子模型,通过目标版本子模型处理待处理业务数据。
该方案可以通过对各业务对应的数据处理模型进行统一的部署,建立各业务下的业务模型映射关系,并进行预存,当接收到目标业务下的业务数据处理请求时,可以基于预存的业务模型映射关系,获取处理目标业务下待处理业务数据的目标版本子模型的访问地址,以调用该目标版本子模型去处理待处理业务数据,可以解决每个对业务各自独立对数据处理模型进行管理的麻烦,也省去了业务对部署资源管理的冗余工作,可以提高业务数据的处理效率。
此外,本申请实施例还提供一种计算机设备,该计算机设备可以为终端或者服务器等设备,如图5所示,其示出了本申请实施例所涉及的计算机设备的结构示意图,具体来讲:
该计算机设备可以包括一个或者一个以上处理核心的处理器501、一个或一个以上存储介质的存储器502、电源503和输入单元504等部件。本领域技术人员可以理解,图5中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器501是该计算机设备的控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储器502内的软件程序和/或模块,以及调用存储在存储器502内的数据,执行计算机设备的各种功能和处理数据,从而对计算机设备进行整体监控。可选的,处理器501可包括一个或多个处理核心;优选的,处理器501可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器501中。
存储器502可用于存储软件程序以及模块,处理器501通过运行存储在存储器502的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器502可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器502还可以包括存储器控制器,以提供处理器501对存储器502的访问。
计算机设备还包括给各个部件供电的电源503,优选的,电源503可以通过电源管理系统与处理器501逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源503还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该计算机设备还可包括输入单元504,该输入单元504可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,计算机设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,计算机设备中的处理器501会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中,并由处理器501来运行存储在存储器502中的应用程序,从而实现各种功能,如下:
获取目标业务下的业务数据处理请求,以及目标业务的第一业务标识,业务数据处理请求包括待处理业务数据,以及目标数据处理模型的目标模型标识信息,和目标数据处理模型下处理待处理业务数据的目标版本子模型的目标版本信息;基于第一业务标识,从预存的业务模型映射关系中,确定目标业务对应的目标业务模型映射关系,目标业务模型映射关系包括目标业务下已部署的数据处理模型的模型标识信息,与各数据处理模型下已部署的至少一个版本子模型的版本信息的第一对应关系;若第一对应关系中,存在目标模型标识信息和目标版本信息的对应关系,基于目标模型标识信息,确定目标版本子模型的访问地址;基于目标版本信息和访问地址,调用目标版本子模型,通过目标版本子模型处理待处理业务数据。
由以上可知,本申请实施例可以通过对各业务对应的数据处理模型进行统一的部署,建立各业务下的业务模型映射关系,并进行预存,当接收到目标业务下的业务数据处理请求时,可以基于预存的业务模型映射关系,获取处理目标业务下待处理业务数据的目标版本子模型的访问地址,以调用该目标版本子模型去处理待处理业务数据,可以解决每个对业务各自独立对数据处理模型进行管理的麻烦,也省去了业务对部署资源管理的冗余工作,可以提高业务数据的处理效率。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种业务数据处理方法中的步骤。例如,该指令可以执行如下步骤:
获取目标业务下的业务数据处理请求,以及目标业务的第一业务标识,业务数据处理请求包括待处理业务数据,以及目标数据处理模型的目标模型标识信息,和目标数据处理模型下处理待处理业务数据的目标版本子模型的目标版本信息;基于第一业务标识,从预存的业务模型映射关系中,确定目标业务对应的目标业务模型映射关系,目标业务模型映射关系包括目标业务下已部署的数据处理模型的模型标识信息,与各数据处理模型下已部署的至少一个版本子模型的版本信息的第一对应关系;若第一对应关系中,存在目标模型标识信息和目标版本信息的对应关系,基于目标模型标识信息,确定目标版本子模型的访问地址;基于目标版本信息和访问地址,调用目标版本子模型,通过目标版本子模型处理待处理业务数据。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本申请实施例所提供的任一种业务数据处理方法中的步骤,因此,可以实现本申请实施例所提供的任一种业务数据处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
其中,根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述发明内容和实施例中提供的业务数据处理方法。
以上对本申请实施例所提供的一种业务数据处理方法、装置、计算机设备及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种业务数据处理方法,其特征在于,包括:
获取目标业务下的业务数据处理请求,以及所述目标业务的第一业务标识,所述业务数据处理请求包括待处理业务数据,以及目标数据处理模型的目标模型标识信息,和所述目标数据处理模型下处理所述待处理业务数据的目标版本子模型的目标版本信息;
基于所述第一业务标识,从预存的业务模型映射关系中,确定所述目标业务对应的目标业务模型映射关系,所述目标业务模型映射关系包括所述目标业务下已部署的数据处理模型的模型标识信息,与各数据处理模型下已部署的至少一个版本子模型的版本信息的第一对应关系;
若所述第一对应关系中,存在所述目标模型标识信息和目标版本信息的对应关系,基于所述目标模型标识信息,确定所述目标版本子模型的访问地址;
基于所述目标版本信息和所述访问地址,调用所述目标版本子模型,通过所述目标版本子模型处理所述待处理业务数据。
2.根据权利要求1所述的方法,其特征在于,同一数据处理模型下的版本子模型共享一个运行模型的容器,所述目标业务模型映射关系还包括:数据处理模型的模型标识信息和运行所述数据处理模型的容器的访问地址的第二对应关系;
所述基于所述目标模型标识信息,确定所述目标版本子模型的访问地址,包括:
基于所述目标模型标识信息和所述第二对应关系,确定运行所述目标数据处理模型所需的目标容器的访问地址,作为所述目标版本子模型的访问地址;
所述基于所述目标版本信息和所述访问地址,调用所述目标版本子模型,通过所述目标版本子模型处理所述待处理业务数据,包括:
基于所述目标版本信息和所述目标容器的访问地址,调用所述目标容器中的所述目标版本子模型,通过所述目标版本子模型处理所述待处理业务数据。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
接收模型部署指令,所述模型部署指令包括:待部署数据处理模型所属的第一业务的第二业务标识,所述待部署数据处理模型的模型标识信息、所述待部署处理模型下待部署版本子模型的版本信息和模型文件获取信息,以及运行所述待部署版本子模型的第一容器的容器指示信息;
基于所述容器指示信息,获取所述第一容器的访问地址;
基于所述模型文件获取信息和所述访问地址,在所述第一容器中加载所述待部署版本子模型,得到部署后的版本子模型;
基于所述第一业务的第二业务标识,所述待部署数据处理模型的模型标识信息,以及所述部署后的版本子模型的版本信息,更新所述预存的业务模型映射关系;
基于所述第一容器的访问地址和所述待部署数据处理模型的模型标识信息,更新所述第二对应关系。
4.根据权利要求3所述的方法,其特征在于,所述容器指示信息包括所述第一容器的容器标识信息,和所述第一容器的镜像文件的文件标识信息;
所述基于所述容器指示信息,获取所述第一容器的访问地址,包括:
若所述待部署数据处理模型下存在已部署的模型版本,基于所述第一容器的容器标识信息,从预设的容器标识信息和容器的访问地址的对应关系中,获取所述第一容器的访问地址;
若所述待部署数据处理模型下不存在已部署的模型版本,则基于所述文件标识信息,获取所述第一容器的镜像文件;
基于所述镜像文件创建所述第一容器,获取创建的所述第一容器的访问地址。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
获取模型版本下线指令,所述模型版本下线指令包括:待下线版本子模型的第一版本信息,以及所述待下线版本子模型所属第一数据处理模型的第一模型标识信息,所述第一数据处理模型所属业务的第三业务标识;
获取所述待下线版本子模型的第二容器的访问地址;
基于所述第二容器的访问地址和所述待下线版本子模型的第一版本信息,从所述第二容器中卸载所述待下线版本子模型;
基于卸载的所述待下线版本子模型,更新所述预存的业务模型映射关系,以及更新所述第二对应关系。
6.根据权利要求5所述的方法,其特征在于,所述基于所述第二容器的访问地址和所述待下线版本子模型的第一版本信息,从所述第二容器中卸载所述待下线版本子模型之后,所述方法还包括:
若所述待下线版本子模型为所述第一数据处理模型在所述第二容器中的最后一个版本子模型,则卸载所述第二容器,将卸载的所述第二容器的资源设置为可用空闲资源;
基于卸载的所述第二容器,删除所述第一数据处理模型的模型标识信息,与所述待下线版本子模型的版本信息的第一对应关系,并删除所述第一数据处理模型和所述第二容器的访问地址的第二对应关系;
基于删除的所述第一对应关系和删除的所述第二对应关系,更新所述预存的业务模型映射关系。
7.根据权利要求1所述的方法,其特征在于,所述获取目标业务下的业务数据处理请求,包括:
通过模型访问管理模块的模型访问接口接收目标业务下的业务数据处理请求,其中,所述模型访问接口为至少两个已部署业务共享的接口,所述已部署业务包括所述目标业务;
所述基于所述目标版本信息和所述访问地址,调用所述目标版本子模型,通过所述目标版本子模型处理所述待处理业务数据,包括:
通过所述模型访问管理模块,基于所述目标版本信息和所述访问地址,调用所述目标版本子模型,通过所述目标版本子模型处理所述待处理业务数据。
8.一种业务数据处理装置,其特征在于,包括:
获取单元,用于获取目标业务下的业务数据处理请求,以及所述目标业务的第一业务标识,所述业务数据处理请求包括待处理业务数据,以及目标数据处理模型的目标模型标识信息,和所述目标数据处理模型下处理所述待处理业务数据的目标版本子模型的目标版本信息;
关系确定单元,用于基于所述第一业务标识,从预存的业务模型映射关系中,确定所述目标业务对应的目标业务模型映射关系,所述目标业务模型映射关系包括所述目标业务下已部署的数据处理模型的模型标识信息,与各数据处理模型下已部署的至少一个版本子模型的版本信息的第一对应关系;
地址确定单元,用于若所述第一对应关系中,存在所述目标模型标识信息和目标版本信息的对应关系,基于所述目标模型标识信息,确定所述目标版本子模型的访问地址;
调用单元,用于基于所述目标版本信息和所述访问地址,调用所述目标版本子模型,通过所述目标版本子模型处理所述待处理业务数据。
9.一种计算机设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现如权利要求1至7任一项所述的业务数据处理方法。
10.一种存储介质,其特征在于,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至7任一项所述的业务数据处理方法。
CN202110168611.7A 2021-02-07 2021-02-07 一种业务数据处理方法、装置、计算机设备及存储介质 Pending CN113590304A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110168611.7A CN113590304A (zh) 2021-02-07 2021-02-07 一种业务数据处理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110168611.7A CN113590304A (zh) 2021-02-07 2021-02-07 一种业务数据处理方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN113590304A true CN113590304A (zh) 2021-11-02

Family

ID=78238076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110168611.7A Pending CN113590304A (zh) 2021-02-07 2021-02-07 一种业务数据处理方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113590304A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989011A (zh) * 2021-12-28 2022-01-28 深圳华锐金融技术股份有限公司 行情数据处理方法、装置、计算机设备及可读存储介质
CN115061939A (zh) * 2022-06-30 2022-09-16 北京瑞莱智慧科技有限公司 数据集安全测试方法、装置及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989011A (zh) * 2021-12-28 2022-01-28 深圳华锐金融技术股份有限公司 行情数据处理方法、装置、计算机设备及可读存储介质
CN113989011B (zh) * 2021-12-28 2022-04-22 深圳华锐分布式技术股份有限公司 行情数据处理方法、装置、计算机设备及可读存储介质
CN115061939A (zh) * 2022-06-30 2022-09-16 北京瑞莱智慧科技有限公司 数据集安全测试方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN113590304A (zh) 一种业务数据处理方法、装置、计算机设备及存储介质
JP7161560B2 (ja) 人工知能開発プラットフォームの管理方法及び装置、媒体
CN113934707A (zh) 云原生数据库、数据库扩容方法、数据库缩容方法和装置
CN103036855A (zh) 一种权限管理的实现设备和方法
CN114327399A (zh) 分布式训练方法、装置、计算机设备、存储介质和产品
CN113204368B (zh) 应用程序处理方法、服务器及存储介质
CN112199200B (zh) 资源调度方法、装置、计算机设备和存储介质
CN113704299A (zh) 一种模型训练方法、装置、存储介质及计算机设备
CN112044061A (zh) 游戏画面处理方法、装置、电子设备以及存储介质
CN113791809B (zh) 应用异常处理方法、装置以及计算机可读存储介质
CN114995970A (zh) 任务处理方法、装置、存储介质及电子设备
CN114490432A (zh) 内存处理方法、装置、电子设备和计算机可读存储介质
CN114676371A (zh) 页面的元素信息替换方法、装置、计算机设备及存储介质
CN115964061A (zh) 插件更新方法、装置、电子设备和计算机可读存储介质
CN112817581A (zh) 一种轻量级智能服务构建和运行支撑方法
CN114968505A (zh) 任务处理系统、方法、装置、设备、存储介质及程序产品
CN111858234A (zh) 一种任务执行方法、装置、设备、介质
CN111897599A (zh) 基于微核模型插件模式的服务方法、装置、设备及存储介质
CN112426722A (zh) 节点图的热更新方法、装置、存储介质及计算机设备
CN112380411A (zh) 敏感词处理方法、装置、电子设备、系统及存储介质
CN109947561B (zh) 一种虚拟场景处理方法、装置及存储介质
US20230229402A1 (en) Intelligent and efficient pipeline management
CN112256243B (zh) 行为定制方法、装置、设备和存储介质
KR20240063666A (ko) 컨테이너화된 인공지능 모듈의 증강 지능 모델 공유 장치 및 방법
CN113996066A (zh) 游戏应用更新方法、装置、存储介质及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination