CN114218219A - 数据处理方法、装置、设备及存储介质 - Google Patents
数据处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114218219A CN114218219A CN202111549569.XA CN202111549569A CN114218219A CN 114218219 A CN114218219 A CN 114218219A CN 202111549569 A CN202111549569 A CN 202111549569A CN 114218219 A CN114218219 A CN 114218219A
- Authority
- CN
- China
- Prior art keywords
- model
- value pair
- key
- data structure
- converting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Stored Programmes (AREA)
Abstract
本发明实施例公开了一种数据处理方法、装置、设备及存储介质。涉及人工智能技术领域。接收模型调用请求;其中,所述模型调用请求携带有模型相关数据;将所述模型相关数据转化为设定复合数据结构;其中,所述设定复合数据结构为由列表和键值对集合组成的复合数据结构;对所述设定复合数据结构进行解析,解析结果;基于所述解析结果获取目标机器学习模型。本发明实施例提供的数据处理方法,将模型调用请求中的模型相关数据转化为设定复合数据结构进行解析,实现了对目标数据处理,避免了机器学习模型服务上线多次开发,缩短开发周期,可以提高数据处理的便捷性。
Description
技术领域
本发明实施例涉及计算机技术领域,尤其涉及一种数据处理方法、装置、设备及存储介质。
背景技术
现有机器学习模型计算的联机服务机制大多是上线一个模型就得定制开发对应的服务接口,存在定制开发周期长,缺乏灵活性和可拓展性;目前的机器学习模型计算联机服务常见是提供单模型、单条数据计算支持,缺乏对多条数据、多模型的批量请求计算支持。
发明内容
本发明实施例提供一种数据处理方法、装置、设备及存储介质,避免了机器学习模型服务上线多次开发,缩短开发周期,可以提高数据处理的便捷性。
第一方面,本发明实施例提供了一种数据处理方法,包括:
接收模型调用请求;其中,所述模型调用请求携带有模型相关数据;
将所述模型相关数据转化为设定复合数据结构;其中,所述设定复合数据结构为由列表和键值对集合组成复合数据结构;
对所述设定复合数据结构进行解析,解析结果;
基于所述解析结果获取目标机器学习模型。
第二方面,本发明实施例还提供了一种数据处理装置,包括:
模型调用请求接收模块,用于接收模型调用请求;其中,所述模型调用请求携带有模型相关数据;
数据转化模块,用于将所述模型相关数据转化为设定复合数据结构;其中,所述设定复合数据结构为由列表和键值对集合组成复合数据结构;
数据解析模块,用于对所述设定复合数据结构进行解析,解析结果;
目标机器学习模型获取模块,用于基于所述解析结果获取目标机器学习模型。
第三方面,本发明实施例还提供了一种计算机设备,所述设备包括:包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本发明实施例所述的数据处理方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理装置执行时实现如本发明实施例所述的数据处理方法。
本发明实施例公开了一种数据处理方法、装置、设备及存储介质。接收模型调用请求;其中,模型调用请求携带有模型相关数据;将模型相关数据转化为设定复合数据结构;其中,设定复合数据结构为由列表和键值对集合组成复合数据结构;对设定复合数据结构进行解析,解析结果;基于解析结果获取目标机器学习模型。本发明实施例提供的数据处理方法,将模型调用请求中的模型相关数据转化为设定复合数据结构进行解析,实现了对目标数据处理,避免了机器学习模型服务上线多次开发,缩短开发周期,可以提高数据处理的便捷性。
附图说明
图1是本发明实施例一中的一种数据处理方法的流程图;
图2是本发明实施例二中的一种数据处理装置的结构示意图;
图3是本发明实施例三中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种数据处理方法的流程图,本实施例可适用于通过统一接口对机器学习模型进行调用的情况,该方法可以由数据处理装置来执行,如图1所示,该方法具体包括如下步骤:
步骤110,接收模型调用请求。
其中,模型调用请求携带有模型相关数据,模型相关数据可以包括模型类型、模型文件访问标识、模型文件的打包格式及模型入模参数。模型类型可以是XGboost、LightGBM或者sklearn库包含的机器学习模型;模型文件访问标识用于标识需要访问的模型;模型文件的打包格式用于表征文件的封装和解析格式,例如二进制保存、python的pkl文件格式、特定的文本格式等;模型入模参数可以是以键值对形式展示的一串字符串,记录输入模型的特征信息。
本实施例中,模型调用请求还携带有请求标识码(ID),用于标识该请求为模型调用请求。具体的,模型调用方将模型调用请求发送至服务请求接口,服务请求接口对模型调用请求进行解析后以获取目标机器学习模型。
步骤120,将模型相关数据转化为设定复合数据结构。
其中,设定复合数据结构为由列表和键值对集合组成的复合数据结构。列表可以理解为包含多个元素的数组,每个元素为一个键值对集合,键值对集合中包含有至少一个键值对。键值对由键和值构成的数据对,例如表示为key:value。示例性的,列表可以表示为:[L1,L2,L3,……,Ln],其中,Li为键值对集合,可以表示为{k1:v1;k1:v1,……,km:vm}。
具体的,将模型相关数据转化为设定复合数据结构的过程可以是:将模型类型转化为第一键值对;将数据文件访问标识转化为第二键值对;模型文件的打包格式转化为第三键值对;将模型入模参数转化为第四键值对;将模型相关数据转化为总键值对。
其中,第四键值对中的值为由至少一个键值对集合构成的列表,则模型入模参数对应的第四键值对为“列表+键值对集合”的复合结构。总键值对中的值为由第一键值对、第二键值对、第三键值对及第四键值对组成的列表,则模型相关数据对应的总键值对为“列表+键值对集合”复合结构。示例性的,模型类型转化的第一键值对可以表示为model-type:XGBoost;数据文件访问标识转化的第二键值对可以表示为Model-mark:model-name;模型文件的打包格式转化的第三键值对可以表示为:Model-pack:pickle;模型入模参数转化为的第四键值对可以表示为:Model-input-aparameters:{input1:value1,input2:values,……},{input1:value1,input2:values,……},……,{input1:value1,input2:values,……}。
步骤130,对设定复合数据结构进行解析,得到解析结果。
其中,设定复合数据结构可以是以文本格式表示。解析结果可以包含计算机可以识别的模型类型、模型文件访问标识、模型文件的打包格式及模型入模参数等信息。对设定复合数据结构进行解析,解析结果的方式可以是:将文本格式的设定复合数据结构转化为目标计算机语言的复合数据结构;采用目标计算机语言的解析逻辑对复合数据结构进行解析,获得解析结果。
其中,目标计算机语言可以是python语言、java语言或者scala语言等。若目标计算机语言为python语言,则需要将“列表+键值对集合”复合数据结构转化为“列表+字典”的复合结构。若目标计算机语言为java语言,则需要将“列表+键值对集合”复合数据结构转化为“数组+映射(map)”的复合结构。示例性的,假设目标计算机语言为python语言,则对复合数据结构进行解析的过程可以是首先利用pandas库转化为DataFrame格式,然后对DataFrame格式的数据进行解析。
步骤140,基于解析结果获取目标机器学习模型。
具体的,在获得解析结果后,根据模型类型、模型文件访问标识、模型文件的打包格式从模型数据库中获取目标机器学习模型。其中,模型数据库存储有多个开发好的机器学习模型。
可选的,在基于解析结果获取目标机器学习模型之后,还包括如下步骤:将目标机器学习模型预加载至设定内存中。
其中,目标机器学习模型包含有多个模型文件,可以选择全部或者部分模型文件加载至设定内存中。设定内存可以是计算机中的中央处理器(central processing unit,CPU)内存。其中,选择全部还是部分模型文件进行预加载可以由用户来配置。本实施例中,目标机器学习模型预加载至设定内存中可以提高模型的加载速度。
可选的,在将目标机器学习模型预加载至设定内存中之后,还包括如下步骤:将模型入模参数处理为第一设定格式的参数;将设定格式的参数输入预加载的目标机器学习模型中,获得计算结果。
其中,第一设定格式为目标机器学习模型可识别的数据格式。第一设定格式可以是设定大小的向量或者矩阵的形式。本实施例中,将设定格式的参数输入预加载的目标机器学习模型中后,目标机器学习模型对输入的设定格式进行处理,输出计算结果。其中,将模型入模参数是否处理为第一设定格式的参数可以根据用户的配置信息来确定。
可选的,在获得计算结果之后,还包括如下步骤:将计算结果处理为第二设定格式的数据;将第二设定格式的数据返回至模型调用方。
其中,第二设定格式为模型调用方可识别的格式。
可选的,还包括:配置模型的预加载信息、入模参数处理信息、计算结果处理信息。
其中,模型的预加载信息可以包括是否预加载模型以及预加载哪些模型文件;入模参数处理信息可以包括是否将模型入模参数处理为第一设定格式的参数以及第一设定格式的具体形式;计算结果处理信息可以包括是否将计算结果处理为第二设定格式的数据以及第二设定格式具体形式。
本实施的关键保护点如下:为数据处理设计了通用的联机服务接口,可以支持模型调用的灵活配置,避免机器学习模型服务上线重复开发,缩短开发周期,增强了联机服务的灵活性。支持多数据、多模型的批量请求计算,增强了联机服务的拓展性。模型入模参数的处理和模型计算结果的处理提供了不同模型部署的特定化加工处理能力,让联机服务机制兼具多模型部署的通用性和多模型部署的定制化开发的差异性,增强联机服务的适配性和灵活性。
本实施例的技术方案,接收模型调用请求;其中,模型调用请求携带有模型相关数据;将模型相关数据转化为设定复合数据结构;其中,设定复合数据结构为由列表和键值对集合组成复合数据结构;对设定复合数据结构进行解析,解析结果;基于解析结果获取目标机器学习模型。本发明实施例提供的数据处理方法,将模型调用请求中的模型相关数据转化为设定复合数据结构进行解析,实现了对目标数据处理,避免了机器学习模型服务上线多次开发,缩短开发周期,可以提高数据处理的便捷性。
实施例二
图2是本发明实施例二提供的一种数据处理装置的结构示意图,如图2所示,该装置包括:
模型调用请求接收模块210,用于接收模型调用请求;其中,模型调用请求携带有模型相关数据;
数据转化模块220,用于将模型相关数据转化为设定复合数据结构;其中,设定复合数据结构为由列表和键值对集合组成复合数据结构;
数据解析模块230,用于对设定复合数据结构进行解析,解析结果;
目标机器学习模型获取模块240,用于基于解析结果获取目标机器学习模型。
可选的,模型相关数据包括模型类型、模型文件访问标识、模型文件的打包格式及模型入模参数。
可选的,数据转化模块220,还用于:
将模型类型转化为第一键值对;
将数据文件访问模型转化为第二键值对;
将模型文件的打包格式转化为第三键值对;
将模型入模参数转化为第四键值对;其中,第四键值对中的值为由至少一个键值对集合构成的列表;
将模型相关数据转化为总键值对;其中,总键值对中的值为由第一键值对、第二键值对、第三键值对及第四键值对组成的列表。
可选的,数据解析模块230,还用于:
将文本格式的设定复合数据结构转化为目标计算机语言的复合数据结构;
采用目标计算机语言的解析逻辑对复合数据结构进行解析,获得解析结果。
可选的,目标机器学习模型获取模块240,还用于:
根据模型类型、模型文件访问标识、模型文件的打包格式从模型数据库中获取目标机器学习模型。
可选的,还包括:模型预加载模块,用于:
将目标机器学习模型预加载至设定内存中。
可选的,还包括:模型入模参数处理模块,用于:
将模型入模参数处理为第一设定格式的参数;其中,第一设定格式为目标机器学习模型可识别的数据格式;
将设定格式的参数输入预加载的目标机器学习模型中,获得计算结果。
可选的,还包括:计算结果处理模块,用于:
将计算结果处理为第二设定格式的数据;其中,第二设定格式为模型调用方可识别的格式;
将第二设定格式的数据返回至模型调用方。
可选的,还包括:配置模块,用于:配置模型的预加载信息、入模参数处理信息、计算结果处理信息。
上述装置可执行本发明前述所有实施例所提供的方法,具备执行上述方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明前述所有实施例所提供的方法。
实施例三
图3为本发明实施例三提供的一种计算机设备的结构示意图。图3示出了适于用来实现本发明实施方式的计算机设备312的框图。图3显示的计算机设备312仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。设备312是典型的数据处理功能的计算设备。
如图3所示,计算机设备312以通用计算设备的形式表现。计算机设备312的组件可以包括但不限于:一个或者多个处理器316,存储装置328,连接不同系统组件(包括存储装置328和处理器316)的总线318。
总线318表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture,ISA)总线,微通道体系结构(Micro Channel Architecture,MCA)总线,增强型ISA总线、视频电子标准协会(Video Electronics Standards Association,VESA)局域总线以及外围组件互连(Peripheral Component Interconnect,PCI)总线。
计算机设备312典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备312访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储装置328可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(Random Access Memory,RAM)330和/或高速缓存存储器332。计算机设备312可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统334可以用于读写不可移动的、非易失性磁介质(图3未显示,通常称为“硬盘驱动器”)。尽管图3中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如只读光盘(Compact Disc-Read Only Memory,CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory,DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线318相连。存储装置328可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块326的程序336,可以存储在例如存储装置328中,这样的程序模块326包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块326通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备312也可以与一个或多个外部设备314(例如键盘、指向设备、摄像头、显示器324等)通信,还可与一个或者多个使得用户能与该计算机设备312交互的设备通信,和/或与使得该计算机设备312能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口322进行。并且,计算机设备312还可以通过网络适配器320与一个或者多个网络(例如局域网(Local AreaNetwork,LAN),广域网Wide Area Network,WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器320通过总线318与计算机设备312的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备312使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of IndependentDisks,RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器316通过运行存储在存储装置328中的程序,从而执行各种功能应用以及数据处理,例如实现本发明上述实施例所提供的数据处理方法。
实施例四
本发明实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该程序被处理装置执行时实现如本发明实施例中的数据处理方法。本发明上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:接收模型调用请求;其中,所述模型调用请求携带有模型相关数据;将所述模型相关数据转化为设定复合数据结构;其中,所述设定复合数据结构为由列表和键值对集合组成的复合数据结构;对所述设定复合数据结构进行解析,解析结果;基于所述解析结果获取目标机器学习模型。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (15)
1.一种数据处理方法,其特征在于,包括:
接收模型调用请求;其中,所述模型调用请求携带有模型相关数据;
将所述模型相关数据转化为设定复合数据结构;其中,所述设定复合数据结构为由列表和键值对集合组成的复合数据结构;
对所述设定复合数据结构进行解析,得到解析结果;
基于所述解析结果获取目标机器学习模型。
2.根据权利要求1所述的方法,其特征在于,所述模型相关数据包括模型类型、模型文件访问标识、模型文件的打包格式及模型入模参数。
3.根据权利要求2所述的方法,其特征在于,将所述模型相关数据转化为设定复合数据结构,包括:
将所述模型类型转化为第一键值对;
将所述数据文件访问标识转化为第二键值对;
将所述模型文件的打包格式转化为第三键值对;
将所述模型入模参数转化为第四键值对;其中,所述第四键值对中的值为由至少一个键值对集合构成的列表;
将所述模型相关数据转化为总键值对;其中,所述总键值对中的值为由所述第一键值对、所述第二键值对、所述第三键值对及所述第四键值对组成的列表。
4.根据权利要求1所述的方法,其特征在于,对所述设定复合数据结构进行解析,解析结果,包括:
将文本格式的所述设定复合数据结构转化为目标计算机语言的复合数据结构;
采用所述目标计算机语言的解析逻辑对所述复合数据结构进行解析,获得解析结果。
5.根据权利要求2所述的方法,其特征在于,基于所述解析结果获取目标机器学习模型,包括:
根据所述模型类型、模型文件访问标识、模型文件的打包格式从模型数据库中获取目标机器学习模型。
6.根据权利要求5所述的方法,其特征在于,在基于所述解析结果获取目标机器学习模型之后,还包括:
将所述目标机器学习模型预加载至设定内存中。
7.根据权利要求6所述的方法,其特征在于,在将所述目标机器学习模型预加载至设定内存中之后,还包括:
将所述模型入模参数处理为第一设定格式的参数;其中,所述第一设定格式为目标机器学习模型可识别的数据格式;
将所述设定格式的参数输入预加载的所述目标机器学习模型中,获得计算结果。
8.根据权利要求7所述的方法,其特征在于,在获得计算结果之后,还包括:
将所述计算结果处理为第二设定格式的数据;其中,所述第二设定格式为模型调用方可识别的格式;
将所述第二设定格式的数据返回至所述模型调用方。
9.根据权利要求8所述的方法,其特征在于,还包括:配置模型的预加载信息、入模参数处理信息、计算结果处理信息。
10.一种数据处理装置,其特征在于,包括:
模型调用请求接收模块,用于接收模型调用请求;其中,所述模型调用请求携带有模型相关数据;
数据转化模块,用于将所述模型相关数据转化为设定复合数据结构;其中,所述设定复合数据结构为由列表和键值对集合组成复合数据结构;
数据解析模块,用于对所述设定复合数据结构进行解析,得到解析结果;
目标机器学习模型获取模块,用于基于所述解析结果获取目标机器学习模型。
11.根据权利要求10所述的装置,其特征在于,所述模型相关数据包括模型类型、模型文件访问标识、模型文件的打包格式及模型入模参数。
12.根据权利要求11所述的装置,其特征在于,所述数据转化模块,还用于:
将所述模型类型转化为第一键值对;
将所述数据文件访问模型转化为第二键值对;
将所述模型文件的打包格式转化为第三键值对;
将所述模型入模参数转化为第四键值对;其中,所述第四键值对中的值为由至少一个键值对集合构成的列表;
将所述模型相关数据转化为总键值对;其中,所述总键值对中的值为由所述第一键值对、所述第二键值对、所述第三键值对及所述第四键值对组成的列表。
13.根据权利要求10所述的装置,其特征在于,数据解析模块,还用于:
将文本格式的所述设定复合数据结构转化为目标计算机语言的复合数据结构;
采用所述目标计算机语言的解析逻辑对所述复合数据结构进行解析,获得解析结果。
14.一种计算机设备,其特征在于,所述设备包括:包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1-9任一所述的数据处理方法。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理装置执行时实现如权利要求1-9中任一所述的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111549569.XA CN114218219A (zh) | 2021-12-17 | 2021-12-17 | 数据处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111549569.XA CN114218219A (zh) | 2021-12-17 | 2021-12-17 | 数据处理方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114218219A true CN114218219A (zh) | 2022-03-22 |
Family
ID=80703449
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111549569.XA Pending CN114218219A (zh) | 2021-12-17 | 2021-12-17 | 数据处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114218219A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114444550A (zh) * | 2022-04-02 | 2022-05-06 | 中国人民解放军火箭军工程大学 | 结构化数据解析方法、装置、电子设备及存储介质 |
-
2021
- 2021-12-17 CN CN202111549569.XA patent/CN114218219A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114444550A (zh) * | 2022-04-02 | 2022-05-06 | 中国人民解放军火箭军工程大学 | 结构化数据解析方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11321122B2 (en) | Method, apparatus, device and medium for processing topological relation of tasks | |
CN109858045B (zh) | 机器翻译方法和装置 | |
CN113468344B (zh) | 实体关系抽取方法、装置、电子设备和计算机可读介质 | |
CN112712795B (zh) | 标注数据确定方法、装置、介质及电子设备 | |
CN110688111A (zh) | 业务流程的配置方法、装置、服务器和存储介质 | |
CN113761588A (zh) | 一种数据校验方法、装置、终端设备及存储介质 | |
CN111027333B (zh) | 篇章翻译方法和装置 | |
CN115964646A (zh) | 用于应用微服务的异构图生成 | |
CN116244387A (zh) | 实体关系构建方法、装置、电子设备及存储介质 | |
CN114218219A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN116028868B (zh) | 设备故障分类方法、装置、电子设备及可读存储介质 | |
CN112528625B (zh) | 事件抽取的方法、装置、计算机设备以及可读存储介质 | |
CN111581098B (zh) | 接口数据转移存储的方法、装置、服务器及存储介质 | |
CN111949766A (zh) | 一种文本相似度的识别方法、系统、设备和存储介质 | |
CN111367813B (zh) | 决策引擎自动化测试方法、装置、服务器及存储介质 | |
CN109684207B (zh) | 操作序列封装的方法、装置、电子设备及存储介质 | |
CN112860538A (zh) | 基于线上日志进行接口回归测试的方法和装置 | |
CN113807056B (zh) | 一种文档名称序号纠错方法、装置和设备 | |
CN114219643A (zh) | 一种交易调用方法、装置、设备及存储介质 | |
CN113312195A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN114090124A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
CN115098476B (zh) | 核电站生产数据多数源合一的数据清洗方法及装置 | |
CN116910669B (zh) | 数据分类方法、装置、电子设备及可读存储介质 | |
CN113238796B (zh) | 一种代码重构方法、装置、设备及存储介质 | |
CN113742225B (zh) | 一种测试数据生成方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |