CN115827084A - 数据处理方法、装置、设备及存储介质 - Google Patents
数据处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115827084A CN115827084A CN202211193730.9A CN202211193730A CN115827084A CN 115827084 A CN115827084 A CN 115827084A CN 202211193730 A CN202211193730 A CN 202211193730A CN 115827084 A CN115827084 A CN 115827084A
- Authority
- CN
- China
- Prior art keywords
- model
- target
- data
- configuration
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 44
- 238000004458 analytical method Methods 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000013507 mapping Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 abstract description 38
- 230000000694 effects Effects 0.000 abstract description 16
- 238000007405 data analysis Methods 0.000 abstract description 4
- 230000008676 import Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 101150088826 arg1 gene Proteins 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 101100260702 Mus musculus Tinagl1 gene Proteins 0.000 description 1
- 101100379633 Xenopus laevis arg2-a gene Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Landscapes
- Stored Programmes (AREA)
Abstract
本申请提供一种数据处理方法、装置、设备及存储介质。涉及大数据数据分析技术领域。该方法包括:在接收到待分析业务请求时,确定与待分析业务请求所对应的业务类型;调取与业务类型相对应的目标模型,并调取预先配置的与目标模型相对应的配置参数;基于配置参数,确定输入至目标模型的目标输入数据,并将目标输入数据输入至目标模型中,得到目标输出数据;基于配置参数将目标输出数据输入至相应的规则模型中,以得到与待分析业务请求所对应的目标分析结果,解决了现有技术中将单一算法模型写入业务服务中,导致模型处理效果差,且模型升级困难的问题,实现在提高模型更新部署的灵活性、快捷性和便捷性的同时,提高模型分析处理效果。
Description
技术领域
本申请涉及大数据数据分析技术领域,尤其涉及一种数据处理方法、装 置、设备及存储介质。
背景技术
随着大数据技术的快速发展,各种基于大数据的算法模型也逐渐增多。 一般的,会将技术人员所开发的大量算法模型应用到服务中,以解决实际业 务问题,例如,将分类预测算法(如随机森林算法)应用到金融领域监控用 户交易信息,以保障用户交易安全,因此,如何有效、快捷的将算法模型应 用到服务中成为亟待解决的技术问题。
现有技术中,将算法模型应用到服务中的方式通常采用的是将针对某个 算法模型,将该算法模型硬代码写入相应业务场景中,当接收到该业务场景 的数据时,调用该算法模型对这些数据进行处理。但是,在实际应用中,由 于算法模型的种类繁多,用户业务场景也越来越多,这种将单一算法模型写 入服务的方式存在数据监测效果差的问题,而且当算法模型中系数发生变化 时,需要将变化后的算法模型重新再部署在服务中,不仅应用效率低,部署 繁琐,还可能造成用户财产出现损失的问题。
发明内容
本申请提供一种数据处理方法、装置、设备及存储介质,以实现在提高 模型部署的灵活性、快捷性和便捷性的同时,提高模型分析处理效果,达到 保障用户财产安全的技术效果。
第一方面,本申请提供一种数据处理方法,包括:在接收到待分析业务 请求时,确定与所述待分析业务请求所对应的业务类型;调取与所述业务 类型相对应的目标模型,并调取预先配置的与所述目标模型相对应的配置 参数;基于所述配置参数,确定输入至所述目标模型的目标输入数据,并 将所述目标输入数据输入至所述目标模型中,得到目标输出数据;基于所 述配置参数将所述目标输出数据输入至相应的规则模型中,以得到与所述待分析业务请求所对应的目标分析结果。
第二方面,本申请提供一种数据处理装置,包括:业务类型确定模块, 用于在接收到待分析业务请求时,确定与所述待分析业务请求所对应的业 务类型;配置参数调取模块,用于调取与所述业务类型相对应的目标模型, 并调取预先配置的与所述目标模型相对应的配置参数;目标输出数据确定 模块,用于基于所述配置参数,确定输入至所述目标模型的目标输入数据, 并将所述目标输入数据输入至所述目标模型中,得到目标输出数据;目标 分析结果确定模块,用于基于所述配置参数将所述目标输出数据输入至相 应的规则模型中,以得到与所述待分析业务请求所对应的目标分析结果。
第三方面,本发明实施例还提供了一种电子设备,包括存储器、处理 器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行 所述程序时实现如本发明实施例中任一所述的数据处理方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存 储有计算机程序,该程序被处理器执行时实现如本发明实施例中任一所述 的数据处理方法。
第五方面,本发明实施例还提供了一种计算机程序产品,包括计算机 程序,所述计算机程序在被处理器执行时实现如本发明实施例中任一所述 的数据处理方法。
本申请提供的数据处理方法、装置、设备及存储介质,通过在接收到 待分析业务请求时,确定与待分析业务请求所对应的业务类型;调取与业 务类型相对应的目标模型,并调取预先配置的与目标模型相对应的配置参 数;其中,配置参数中包括请求入参源以及目标模型输出数据所对应的输 入接口;基于配置参数,确定输入至目标模型的目标输入数据,并将目标 输入数据输入至目标模型中,得到目标输出数据;基于配置参数将目标输 出数据输入至相应的规则模型中,以得到与待分析业务请求所对应的目标 分析结果,解决了现有技术中将单一算法模型写入业务服务中,导致模型 处理效果差,且模型升级困难的问题,实现了通过预先为目标模型的入参 配置请求入参源,为输出数据配置对应的输入接口的方式,在接收到待分 析业务请求时,基于待分析业务请求的业务类型,调取与业务类型相对应 的目标模型,并调取目标模型的请求入参源和输出数据的输入接口等配置 参数,进而通过配置参数,确定输入至目标模型的目标输入数据,以使目 标输入数据在得到目标输入数据后,输出目标输出数据,并基于配置参数 确定目标输出数据输入至的规则模型,以使基于规则模型输出目标分析结 果,实现多模型综合对业务数据处理,使得到的目标分析结果更准确,提 高模型分析处理的效果,同时可以通过更改目标模型的配置参数,满足对 目标模型的升级需求,达到提高模型部署的灵活性、快捷性以及便捷性的 技术效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申 请的实施例,并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的数据处理方法的流程图一;
图2为本申请实施例提供的数据处理方法的流程图二;
图3为本申请实施例提供的数据处理方法的示例图;
图4为本申请实施例提供的数据处理装置的结构示意图;
图5为本申请实施例提供的电子设备的结构示意图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。 这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是 通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的 描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的 要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所 有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一 些方面相一致的装置和方法的例子。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解 决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对 于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图, 对本申请的实施例进行描述。本申请技术方案中对数据的获取、存储、使 用、处理等均符合国家法律法规的相关规定。
本申请实施例提供一种数据处理方法。图1为本申请实施例提供的数据 处理方法的流程图一。如图1所示,该数据处理方法包括:
S101、在接收到待分析业务请求时,确定与所述待分析业务请求所对 应的业务类型。
其中,待分析业务请求可以理解为需要被分析的业务请求,业务请求 的数据格式可以为Json格式,或xml格式。业务类型可以用于表征业务的 服务类型,例如业务类型可以为交易、定购、权益转出、权益转入以及认 证等。
在本实施例中,可以当用户在客户端的业务系统中的页面上触发了请求 控件时,认为接收到了客户端发送的待分析业务请求。或者,也可以当服 务器接收到上传的待分析数据时,认为服务器获取到了待分析业务请求。 进一步的,可以利用算法对待分析业务请求进行解析,得到待分析业务请 求上所携带的业务类型。
示例性的,在用户A在认证系统进行身份认证的过程中,当用户A触 发了认证系统页面的请求认证控件时,服务器接收用户A的认证请求(即 待分析业务请求),并对该认证请求进行解析,得到认证请求的业务类型, 以基于业务类型调用相应的算法模型对认证请求信息进行分析。
S102、调取与所述业务类型相对应的目标模型,并调取预先配置的与 所述目标模型相对应的配置参数。
其中,目标模型可以理解为算法模型,算法模型可以为任一PMML (PredictiveModel Markup Language,预言模型标记语言)模型,比如逻 辑回归算法、决策树、支持向量机、随机算林、神经网络模型等。配置参 数中可以包括但不限于请求入参源以及目标模型输出数据所对应的输入 接口。请求入参源可以理解为入参的来源,例如入参为交易信息,其入参 源可以为用户的账户信息。输入接口可以理解为输出数据的输入位置。
在实际应用中,在确定待分析业务请求所对应的业务类型之后,可以 利用映射技术调取出与业务类型相对应的算法模型,作为目标模型。目标 模型可以为一个,也可以为多个,如果目标模型为一个,可以调取该目标 模型所对应的请求入参源以及输出数据的输入接口等配置参数;如果目标 模型为多个,可以调取各目标模型所对应的请求入参源以及输出数据的输 入接口等配置参数。以使基于相应目标模型所对应的请求入参源确定该目标模型的入参所需的数据,得到入参值,以快速输出目标模型的输出数据, 以及使基于输出数据所对应的输入接口确定该目标模型的输出数据所需 输入的位置以供后续模型使用。
需要说明的是,为了提高数据处理的快捷性,以及数据分析结果的准 确性,可以基于业务数据的业务类型为其配置相应的算法模型,以使在检 测到接收到某个业务类型的数据时,基于业务类型确定这些数据需要被哪 些与之对应的算法模型进行分析处理。可选的,调取与业务类型相对应的 目标模型,包括:基于预先创建的业务类型与待调用模型之间的对应关系, 确定与业务类型相对应的目标模型并调用。
其中,待调用模型可以预存储在数据库中以待使用。每个业务类型可 以对应一个或多个待调用模型,例如,可以预先利用映射技术建立各业务 类型与相应的待调用模型之间的映射关系,并存储在映射表中,以使可以 从映射表中基于业务类型确定与之对应的待调用模型作为目标模型。
具体来说,可以调取与业务类型有对应关系的待调用模型作为目标模 型,并调取目标模型。示例性的,针对业务类型A,可以调取与业务类型A 具有对应关系的算法模型(比如模型B、模型C、模型D),可以将这些模 型作为目标模型。
S103、基于所述配置参数,确定输入至所述目标模型的目标输入数据, 并将所述目标输入数据输入至所述目标模型中,得到目标输出数据。
在本实施例中,可以利用配置参数中的请求入参源获取目标模型的入 参所需数据,得到目标输入数据,例如,入参为交易信息,其入参源为用 户的账户信息,可以将该账户信息中的交易信息作为目标输入数据。进一 步的,可以将目标输入数据输入至目标模型中,经目标模型分析处理,目 标模型可以输出至少一个出参数据,即作为目标输出数据。
S104、基于所述配置参数将所述目标输出数据输入至相应的规则模型 中,以得到与所述待分析业务请求所对应的目标分析结果。
需要说明的是,规则模型可以为预先设置好的规则算法,规则模型中包 括入参信息和出参信息,入参信息对应的所需数据可以为目标模型的出参结 果,以在得到目标模型的出参结果时,将出参结果对应输入至相应规则模型 的入参处。
在本实施例中,可以利用配置参数中的输出数据所对应的输入接口, 将目标输出数据输入至与目标输出数据对应的输入接口处,输入接口可以 为某个规则模型的入参,以使规则模型在得到入参数据时,输出待分析业 务请求所对应的目标分析结果。
具体来说,在基于配置参数将目标输出数据输入至相应的规则模型中 的过程中,可以基于配置参数中的输入接口,将目标输出数据输入至与输 入接口相对应的规则模型中。
在实际应用中,可以基于配置参数中的输入接口,确定与目标输出数 据相对应的输入接口,即确定目标输出数据对应的哪个规则模型的入参, 进而将目标输出数据作为规则模型的入参数据输入至规则模型中,以使规 则模型输出目标分析结果,后续可通过目标分析结果判断待分析业务请求 是否异常(如交易异常、认证异常等),可在目标分析结果为异常时,提 示用户,保障用户安全。
示例性的,假设目标输出数据A对应的输入接口为规则模型1的入参 B,则可以将目标输出数据A作为规则模型1的入参B的数据并输入,以 使规则模型1输出结果。
本实施例通过在接收到待分析业务请求时,确定与待分析业务请求所 对应的业务类型;调取与业务类型相对应的目标模型,并调取预先配置的 与目标模型相对应的配置参数;基于配置参数,确定输入至目标模型的目 标输入数据,并将目标输入数据输入至目标模型中,得到目标输出数据; 基于配置参数将目标输出数据输入至相应的规则模型中,以得到与待分析 业务请求所对应的目标分析结果,解决了现有技术中将单一算法模型写入 业务服务中,导致模型处理效果差,且模型升级困难的问题,实现了通过 预先为目标模型的入参配置请求入参源,为输出数据配置对应的输入接口 的方式,在接收到待分析业务请求时,基于待分析业务请求的业务类型, 调取与业务类型相对应的目标模型,并调取目标模型的请求入参源和输出 数据的输入接口等配置参数,进而通过配置参数,确定输入至目标模型的 目标输入数据,以使目标输入数据在得到目标输入数据后,输出目标输出 数据,并基于配置参数确定目标输出数据输入至的规则模型,以使基于规 则模型输出目标分析结果,实现多模型综合对业务数据处理,使得到的目 标分析结果更准确,提高模型分析处理的效果,同时可以通过更改目标模 型的配置参数,满足对目标模型的升级需求,达到提高模型部署的灵活性、 快捷性以及便捷性的技术效果。
在上述实施例的基础上,在调取预先配置的与目标模型相对应的配置 参数时,可以调取预先创建的与目标模型相对应的目标配置表,目标配置 表包含目标模型的配置信息,从而可以从配置信息中得到配置参数。进一 步的,在基于配置参数确定输入至目标模型的目标输入数据时,可以配置 参数中的请求入参源确定请求入参所需数据的获取位置,并得到入参所需 数据,即待使用数据,以将待使用数据输入目标模型得到目标模型的输出数据,相应的,本申请提出如下实施例:
图2为本申请实施例提供的数据处理方法的流程图二。如图2所示,该 数据处理方法,包括如下步骤:
S201、确定与所述目标模型相对应的目标配置表。
其中,目标配置表中可以包含与目标模型相对应的配置信息,配置信 息中可以包括但不限于对应业务类型、模型名称、模型编号、模型种类、 入参以及人参源、入参处理顺序、出参以及出参的输入接口等。
具体的,可以从数据库中读取目标模型所对应的目标配置表,以使从 目标配置表获取相应配置参数。
可选的,创建目标配置表的实现方式可以为:确定与各待调用模型相 对应的配置参数;基于配置参数和相应待调用模型所对应的标识,创建目 标配置表,以基于目标配置表确定与目标模型相对应的配置参数。
其中,标识可以用于表征模型的唯一性,例如,对于模型1,可以将1101 作为模型1的标识,对于模型2,可以将1102作为模型2的标识。
在实际应用中,可以将待调用模型中的各项属性信息作为入参,并为 每个入参配置其对应的入参源,为待调用模型中的输出数据配置相应的输 入接口,在配置好待调用模型中入参的入参源以及输出数据的输入接口 后,可以认为确定好了该待调用模型的配置参数。进一步的,可以将待调 用模型所对应的标识与相应配置参数进行映射,创建与该待调用模型对应 的配置表。需要说明的是,可以将每个待调用模型所对应的配置表均作为目标配置表,也可以将多个待调用模型所对应的配置表组成一个目标配置 表。以使在确定目标模型后,可以从目标配置表中获取与目标模型的标识 相匹配标识的模型配置参数。
为了提高模型配置的便捷性和快捷性,可以从系统页面的模型导入接口 将模型进行导入,进而可以对模型进行解析,得到模型中的入参和出参,以 使可以为入参配置相应的入参源,为出参配置相应的输入接口,以基于入参 源和输入接口确定模型的配置参数。
可选的,确定与各待调用模型相对应的配置参数,包括:当接收到上 传的与各待调用模型相对应的待解析文档,对待解析文档进行解析,得到 与各待调用模型所对应的待使用参数;待使用参数中包括至少一个模型入 参和至少一个模型输出参数;针对各待调用模型,基于当前待调用模型中 各模型入参所对应的入参源,以及各模型输出参数所对应的输入接口,确 定与当前待调用模型相对应的配置参数。
其中,待解析文档是指模型文件,其格式可以为xml、txt或doc。确 定每个待调用模型所对应的配置参数的方式均相同,可以以其中任一待调 用模型作为当前待调用模型进行说明。
在本实施例中,用户可以将各待调用模型所对应的模型文件从模型导入 接口处导入,系统在接收到导入的模型文件时,可以认为接受到了上传的待 解析文档,进一步的,可以对待解析文档进行解析,并将待解析文档存入 模型表格中,此时模型表格中可以包括待调用模型的基本数据(例如模型 的名称name、模型代码、模型功能等),模型代码中包括多个模型参数 信息,即作为待使用参数。针对当前待调用模型,可以提取当前待调用模 型的各项属性信息作为模型入参,并为模型入参配置相应的入参源,为当 前待调用模型的各项模型输出参数配置相应的输出接口,可以将入参源和 输出接口作为当前待调用模型的配置参数。示例性的,对于待调用模型1, 其模型入参1的入参源可以为账户,其模型输出参数2的输出接口可以为 规则模型1的入参3。
需要说明的是,为了进一步提高模型配置的灵活性,可以将待调用模型 的配置信息进行多表配置,每个数据表中可以对应不同的配置内容,由此 基于各数据表构建待调用模型的目标配置表。可选的,目标配置表中包括 与待调用模型入参相对应的入参配置表、与待调用模型入参相对应的入参 源配置表、以及与待调用模型输出参数相对应的数据输入接口配置表。
其中,入参配置表中包括待调用模型入参与待调用模型标识之间的映 射关系;入参源配置表中包括待调用模型入参与待调用模型入参的入参源 之间的映射关系;数据输入接口配置表中包括待调用模型输出参数与输出 参数的输入接口之间的映射关系。
在本实施例中,确定待调用模型入参之后,可以建立待调用模型入参 与待调用模型标识之间的映射关系,生成入参配置表。例如,对于待调用 模型1,其模型标识可以用PMML_XX1表示,待调用模型1中的入参可 以用入参编号1、入参名称Arg1和/或入参标识Deftetdse1进行表示,可 以将PMML_XX1、1、Arg1、Deftetdse1作为入参配置表的一条记录。相 应的,可以得到包含多个待调用模型入参与相应模型标识之间映射关系的 入参配置表。示例性的,入参配置表如下表1所示:
表1
模型标识 | 入参编号 | 入参名称 | 入参标识 |
PMML_XX1 | 1 | Arg 1 | Deftetdse 1 |
… | … | … | … |
PMML_XX1 | n | Arg n | Deftetdse n |
在上述方案的基础上,可以为待调用模型入参配置相应的入参源,进 而建立待调用模型入参与相应入参源之间的映射关系,生成入参源配置 表。例如,假设待调用模型1的入参1的入参源为账户,可以将入参1、 账户作为入参源配置表中的一条记录,可选的,该记录中还可以包括入参 标识、入参源类型、入参处理顺序、入参源编号、加工方法、加工参数等。 示例性的,入参源配置表如下表2所示:
表2
在本实施例中,可以为待调用模型出参配置相应的输入接口,进而建 立待调用模型出参与相应输入接口之间的映射关系,生成数据输入接口配 置表。例如,假设待调用模型1的出参1的输入接口为规则模型1的入参 a,可以将入参1、规则模型1的入参a作为数据输入接口配置表中的一条 记录,可选的,该记录中还可以包括模型标识、出参编号、出参名称、出 参标识等。示例性的,数据输入接口配置表如下表3所示:
表3
模型标识 | 出参编号 | 出参名称 | 出参标识 | 输入接口 |
PMML_XX1 | 1 | brg 1 | beftetdse 1 | a |
… | … | … | … | … |
PMML_XX1 | n | brg n | beftetdse n | n |
S202、基于所述目标配置表,确定与所述目标模型相对应的配置参数。
在实际应用中,可以从目标配置表中获取目标模型入参所对应的请求 入参源以及目标模型输出数据所对应的输入接口等,即获取得到了目标模 型的配置参数。
示例性的,假设目标模型的标识为PMML_XX1,可以基于PMML_XX1 从入参配置表中获取入参标识Deftetdse 1,并从入参源配置表中获取与 Deftetdse 1相对应的入参源编号1,从数据输入接口配置表中获取与 PMML_XX1的出参标识beftetdse 1的输入接口a,可以将入参源编号1和输 入接口a作为配置参数,以基于入参源编号1确定入参所需数据从哪个位置 获取,以及基于输入接口a确定将相应出参输入哪个位置。
本实施例的技术方案通过确定与目标模型相对应的目标配置表,进而 基于目标配置表,确定与目标模型相对应的配置参数的好处在于:可基于 配置参数得到输入至目标模型的目标输入数据,以及目标模型的目标输出 数据所应输入的位置,提高数据处理的快捷性,保证数据分析的准确性。
S203、基于所述配置参数中的请求入参源,调取至少一个待使用数据。
在实际应用中,在基于配置参数中的请求入参源确定请求入参所需数 据从哪个位置调取,并从与请求入参源所对应的位置调取数据,作为待使 用数据。需要说明的是,每个模型入参可以对应一个请求入参源,也可以 对应多个请求入参源,相应的,可以得到目标模型中每个入参所对应的至 少一项待使用数据。
示例性的,假设请求入参a的请求入参源为账户,可以在用户知情并 允许的情况下,从待分析业务请求对应的用户账户中获取账户信息作为请 求入参a的待使用数据。
S204、基于所述至少一个待使用数据以及所述配置参数中的计算规则, 确定所述目标输入数据。
其中,计算规则可以理解为入参的加工方法,可以在入参源配置表中 预先进行配置。如假设入参1表示为用户月平均行驶距离,其对应的计算 规则可为当月总行驶距离除以当月天数。
在实际应用中,在得到模型入参所对应的至少一个待使用数据后,可以 从入参源配置表中调取与各模型入参所对应的计算规则。进一步的,对于当 前模型入参,可以将当前模型入参所对应的至少一个待使用数据输入至计算 规则中,得到与当前模型入参相对应的数据值,作为目标输入数据。
示例性的,对于模型入参a的计算规则为a=b+c+d,可以将与b对应 的待使用数据1,与c对应的待使用数据2,与d对应的待使用数据3对 应输入计算规则,可得a=1+2+3=6,作为目标输出数据。以使将各项目标 输入数据输入至目标模型中,得到目标输出数据。
本实施例中通过基于配置参数中的请求入参源,调取至少一个待使用 数据,能够提高所需数据获取的快捷性和准确性,进而基于至少一个待使 用数据以及配置参数中的计算规则,确定目标输入数据,可以实现快速输 出后续规则模型的输入数据,提高多模型融合处理数据的效率。
在上述实施例的基础上,为了使本领域技术人员可以清楚本发明实施 例的技术方案,下面通过具体的示例对数据处理方法进行详细介绍:
在实际应用中,可以基于WEB页面功能,将包含至少一个算法模型 的模型文件(即待解析文档)导入系统,模型文件的格式可以为xml、txt 或doc等,进一步的,可以对模型文件进行解析,如解析模型文件中的标 签(比如,算法名称、算法类型、算法代码等等),并提取各标签以及标 签内容,将各标签以及标签内容存在表格中,进一步的,可以基于表格中的数据,在系统的WEB页面中为各算法模型进行入参的来源(即入参源) 和出参的输入位置(即输入接口)的配置,例如,入参可以来自于原始报 文、补充信息(如IP归属)、基础变量等等,出参的输入接口可以为规 则模型1的入参A。进一步的,当获取到实际业务系统中传入的待分析数 据时,可以基于待分析数据的业务类型(如交易类型),获取与业务类型 相对应的至少一个算法模型,作为目标模型。进一步的,可以基于目标模 型中各入参的来源获取到所需使用数据并处理,可得到多个出参数据,进 一步的,基于各出参的输入接口,将出参数据对应输出到与输入接口对应 的规则模型位置,进一步的,基于规则模型输出与待分析数据相对应的结 果,作为目标分析结果。
本实施例通过预先为目标模型的入参配置请求入参源,为输出数据配 置对应的输入接口的方式,在接收到待分析业务请求时,基于待分析业务 请求的业务类型,调取与业务类型相对应的目标模型,并调取目标模型的 请求入参源和输出数据的输入接口等配置参数,进而通过配置参数,确定 输入至目标模型的目标输入数据,以使目标输入数据在得到目标输入数据 后,输出目标输出数据,并基于配置参数确定目标输出数据输入至的规则 模型,以使基于规则模型输出目标分析结果,实现多模型综合对业务数据 处理,使得到的目标分析结果更准确,提高模型分析处理的效果,同时可 以通过更改目标模型的配置参数,满足对目标模型的升级需求,达到提高 模型部署的灵活性、快捷性以及便捷性的技术效果。
在上述实施例的基础上,为了使本领域技术人员进一步清楚本发明实 施例的技术方案,下面通过具体的示例对数据处理方法进行详细介绍:
图3为本申请实施例提供的数据处理方法的示例图,如图3所示,本 技术可以通过从前端配置页面中将待调用模型所对应的模型文件进行导入, 导入时可以自动调用后端解析模块得到待调用模型的名称、入参、出参等数 据,并将这些数据记录在模型表中。进一步的,可以在前端配置页面中基于 模型表中的数据进行模型入参的入参源配置,以及出参的输入接口配置,例 如,可以将待调用模型的各项属性为该模型的全部入参,进而建立待调用模 型的标识与对应的入参之间的映射关系,构建入参配置表,入参配置表如上 述表1所示。进一步的,可以为待调用模型入参配置相应的入参源,进而 建立待调用模型入参与相应入参源之间的映射关系,生成入参源配置表, 入参源配置表如上述表2所示。还可以为待调用模型出参配置相应的输入 接口,进而建立待调用模型出参与相应输入接口之间的映射关系,生成数 据输入接口配置表,数据输入接口配置表如上述表3所示。可以将入参配置表、入参源配置表、数据输入接口配置表作为配置参数对应的目标配置 表。进一步的,可以将目标配置表存储在存储交互层的数据库中,以供调 用。当应用模块接收到待分析业务请求时,从目标配置表中读取与待分析 业务请求的业务类型相对应的目标模型,以及目标模型的配置参数,进而 基于配置参数中的请求入参源,获取相应入参对应的至少一个待使用数据, 进而将待使用数据输入至该相应入参的计算规则中,得到该相应入参的目 标输出数据。进一步的,可以调用目标模型,并将目标模型中各项入参的 目标输出数据对应输入,目标模型输出目标输出数据,从目标配置表中确 定各项目标输出数据所对应的输入接口,输入接口即为规则模型的某个入 参,并将目标输出数据对应输入规则模型入参处,以使规则模型输出与待 分析业务请求对应的目标分析结果,以使后续可以基于目标分析结果判断 待分析业务请求是否异常,或用户是否存在网络隐患等。
本技术方案通过将算法模型对应的模型文件表格化入参存储,从可以将 算法模型结合规则模型,将算法模型的输出作为规则模型的输入,提高模型 融合处理的便捷性和灵活性,同时本技术方案还支持随时修改更新算法模型, 实现动态部署模型,提高模型部署的灵活性和快捷性。。
本实施例通过在接收到待分析业务请求时,确定与待分析业务请求所 对应的业务类型;调取与业务类型相对应的目标模型,并调取预先配置的 与目标模型相对应的配置参数;其中,配置参数中包括请求入参源以及目 标模型输出数据所对应的输入接口;基于配置参数,确定输入至目标模型 的目标输入数据,并将目标输入数据输入至目标模型中,得到目标输出数 据;基于配置参数将目标输出数据输入至相应的规则模型中,以得到与待分析业务请求所对应的目标分析结果,解决了现有技术中将单一算法模型 写入业务服务中,导致模型处理效果差,且模型升级困难的问题,实现了 通过预先为目标模型的入参配置请求入参源,为输出数据配置对应的输入 接口的方式,在接收到待分析业务请求时,基于待分析业务请求的业务类 型,调取与业务类型相对应的目标模型,并调取目标模型的请求入参源和 输出数据的输入接口等配置参数,进而通过配置参数,确定输入至目标模 型的目标输入数据,以使目标输入数据在得到目标输入数据后,输出目标 输出数据,并基于配置参数确定目标输出数据输入至的规则模型,以使基 于规则模型输出目标分析结果,实现多模型综合对业务数据处理,使得到 的目标分析结果更准确,提高模型分析处理的效果,同时可以通过更改目 标模型的配置参数,满足对目标模型的升级需求,达到提高模型部署的灵 活性、快捷性以及便捷性的技术效果。
图4为本申请实施例提供的数据处理装置的结构示意图。如图4所示, 该数据处理装置,包括:业务类型确定模块501、配置参数调取模块502、 目标输出数据确定模块503和目标分析结果确定模块504;
其中,业务类型确定模块501,用于在接收到待分析业务请求时,确 定与所述待分析业务请求所对应的业务类型;配置参数调取模块502,用 于调取与所述业务类型相对应的目标模型,并调取预先配置的与所述目标 模型相对应的配置参数;目标输出数据确定模块503,用于基于所述配置 参数,确定输入至所述目标模型的目标输入数据,并将所述目标输入数据 输入至所述目标模型中,得到目标输出数据;目标分析结果确定模块504, 用于基于所述配置参数将所述目标输出数据输入至相应的规则模型中,以 得到与所述待分析业务请求所对应的目标分析结果。
在本实施例通过在接收到待分析业务请求时,确定与待分析业务请求 所对应的业务类型;调取与业务类型相对应的目标模型,并调取预先配置 的与目标模型相对应的配置参数;其中,配置参数中包括请求入参源以及 目标模型输出数据所对应的输入接口;基于配置参数,确定输入至目标模 型的目标输入数据,并将目标输入数据输入至目标模型中,得到目标输出 数据;基于配置参数将目标输出数据输入至相应的规则模型中,以得到与 待分析业务请求所对应的目标分析结果,解决了现有技术中将单一算法模 型写入业务服务中,导致模型处理效果差,且模型升级困难的问题,实现 了通过预先为目标模型的入参配置请求入参源,为输出数据配置对应的输 入接口的方式,在接收到待分析业务请求时,基于待分析业务请求的业务 类型,调取与业务类型相对应的目标模型,并调取目标模型的请求入参源 和输出数据的输入接口等配置参数,进而通过配置参数,确定输入至目标模型的目标输入数据,以使目标输入数据在得到目标输入数据后,输出目 标输出数据,并基于配置参数确定目标输出数据输入至的规则模型,以使 基于规则模型输出目标分析结果,实现多模型综合对业务数据处理,使得 到的目标分析结果更准确,提高模型分析处理的效果,同时可以通过更改 目标模型的配置参数,满足对目标模型的升级需求,达到提高模型部署的 灵活性、快捷性以及便捷性的技术效果。
在一些实施例中,可选的,所述配置参数中包括请求入参源以及所述 目标模型输出数据所对应的输入接口。
在一些实施例中,可选的,所述配置参数调取模块502,还用于基于预 先创建的业务类型与待调用模型之间的对应关系,确定与所述业务类型相 对应的目标模型并调用。
在一些实施例中,可选的,所述配置参数调取模块502,包括:目标配 置表确定单元和配置参数确定单元。
目标配置表确定单元,用于确定与所述目标模型相对应的目标配置 表;
配置参数确定单元,用于基于所述目标配置表,确定与所述目标模型 相对应的配置参数。
在一些实施例中,可选的,所述目标输出数据确定模块503,包括:待 使用数据确定单元和目标输入数据确定单元。
待使用数据确定单元,用于基于所述配置参数中的请求入参源,调取 至少一个待使用数据;
目标输入数据确定单元,用于基于所述至少一个待使用数据以及所述 配置参数中的计算规则,确定所述目标输入数据。
在一些实施例中,可选的,目标分析结果确定模块504,还用于基于所 述配置参数中的输入接口,将所述目标输出数据输入至与所述输入接口相 对应的规则模型中。
在一些实施例中,可选的,所述装置还包括目标配置表创建模块,所述 目标配置表创建模块包括配置参数确定单元和目标配置表确定单元。
配置参数确定单元,用于确定与各待调用模型相对应的配置参数;
目标配置表确定单元,用于基于所述配置参数和相应待调用模型所对 应的标识,创建所述目标配置表,以基于所述目标配置表确定与所述目标 模型相对应的配置参数。
在一些实施例中,可选的,所述配置参数确定单元,包括:待使用参数 确定子单元和配置参数确定子单元。
待使用参数确定子单元,用于当接收到上传的与各待调用模型相对应 的待解析文档,对所述待解析文档进行解析,得到与各待调用模型所对应 的待使用参数;其中,所述待使用参数中包括至少一个模型入参和至少一 个模型输出参数;
配置参数确定子单元,用于针对各待调用模型,基于当前待调用模型 中各模型入参所对应的入参源,以及各模型输出参数所对应的输入接口, 确定与所述当前待调用模型相对应的配置参数。
在一些实施例中,可选的,所述目标配置表中包括与待调用模型入参相 对应的入参配置表、与所述待调用模型入参相对应的入参源配置表、以及 与所述待调用模型输出参数相对应的数据输入接口配置表;其中,
所述入参配置表中包括所述待调用模型入参与所述待调用模型标识 之间的映射关系;
所述入参源配置表中包括所述待调用模型入参与所述待调用模型入 参的入参源之间的映射关系;
所述数据输入接口配置表中包括所述待调用模型输出参数与所述输 出参数的输入接口之间的映射关系。
本申请实施例提供的数据处理装置,可用于执行上述实施例中数据处理 方法的技术方案,其实现原理和技术效果类似,在此不再赘述。
需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能 的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上 分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全 部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现, 部分模块通过硬件的形式实现。例如,业务类型确定模块501可以为单独设 立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以 以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上业务类型确定模块501的功能。其它模块的实现与之类似。 此外这些模块全部或部分可以集成在一起,也可以独立实现。这里的处理元 件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的 各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软 件形式的指令完成。
图5为本申请实施例提供的电子设备的结构示意图。如图5所示,该电 子设备可以包括:收发器121、处理器122、存储器123。
处理器122执行存储器存储的计算机执行指令,使得处理器122执行上 述实施例中的方案。处理器122可以是通用处理器,包括中央处理器CPU、 网络处理器(networkprocessor,NP)等;还可以是数字信号处理器DSP、 专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分 立门或者晶体管逻辑器件、分立硬件组件。
存储器123通过系统总线与处理器122连接并完成相互间的通信,存储 器123用于存储计算机程序指令。
收发器121可以用于发送业务请求相对应的目标处理结果。
系统总线可以是外设部件互连标准(peripheral component interconnect,PCI)总线或扩展工业标准结构(extended industry standard architecture,EISA) 总线等。系统总线可以分为地址总线、数据总线、控制总线等。为便于表示, 图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。收发 器用于实现数据库访问装置与其他计算机(例如客户端、读写库和只读库) 之间的通信。存储器可能包含随机存取存储器(random access memory,RAM), 也可能还包括非易失性存储器(non-volatile memory)。
本申请实施例提供的电子设备,可以是上述实施例的终端设备。
本申请实施例还提供一种运行指令的芯片,该芯片用于执行上述实施例 中数据处理方法的技术方案。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质 中存储有计算机指令,当该计算机指令在计算机上运行时,使得计算机执行 上述实施例数据处理方法的技术方案。
本申请实施例还提供一种计算机程序产品,该计算机程序产品包括计算 机程序,其存储在计算机可读存储介质中,至少一个处理器可以从计算机可 读存储介质读取计算机程序,至少一个处理器执行计算机程序时可实现上述 实施例中数据处理方法的技术方案。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本 申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性 变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申 请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被 视为示例性的,本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确 结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所 附的权利要求书来限制。
Claims (15)
1.一种数据处理方法,其特征在于,包括:
在接收到待分析业务请求时,确定与所述待分析业务请求所对应的业务类型;
调取与所述业务类型相对应的目标模型,并调取预先配置的与所述目标模型相对应的配置参数;
基于所述配置参数,确定输入至所述目标模型的目标输入数据,并将所述目标输入数据输入至所述目标模型中,得到目标输出数据;
基于所述配置参数将所述目标输出数据输入至相应的规则模型中,以得到与所述待分析业务请求所对应的目标分析结果。
2.根据权利要求1所述的方法,其特征在于,所述配置参数中包括请求入参源以及所述目标模型输出数据所对应的输入接口。
3.根据权利要求1所述的方法,其特征在于,所述调取与所述业务类型相对应的目标模型,包括:
基于预先创建的业务类型与待调用模型之间的对应关系,确定与所述业务类型相对应的目标模型并调用。
4.根据权利要求1所述的方法,其特征在于,所述调取预先配置的与所述目标模型相对应的配置参数,包括:
确定与所述目标模型相对应的目标配置表;
基于所述目标配置表,确定与所述目标模型相对应的配置参数。
5.根据权利要求1所述的方法,其特征在于,所述基于所述配置参数,确定输入至所述目标模型的目标输入数据,包括:
基于所述配置参数中的请求入参源,调取至少一个待使用数据;
基于所述至少一个待使用数据以及所述配置参数中的计算规则,确定所述目标输入数据。
6.根据权利要求1所述的方法,其特征在于,所述基于所述配置参数将所述目标输出数据输入至相应的规则模型中,包括:
基于所述配置参数中的输入接口,将所述目标输出数据输入至与所述输入接口相对应的规则模型中。
7.根据权利要求1所述的方法,其特征在于,还包括:
确定与各待调用模型相对应的配置参数;
基于所述配置参数和相应待调用模型所对应的标识,创建所述目标配置表,以基于所述目标配置表确定与所述目标模型相对应的配置参数。
8.根据权利要求7所述的方法,其特征在于,所述确定与各待调用模型相对应的配置参数,包括:
当接收到上传的与各待调用模型相对应的待解析文档,对所述待解析文档进行解析,得到与各待调用模型所对应的待使用参数;其中,所述待使用参数中包括至少一个模型入参和至少一个模型输出参数;
针对各待调用模型,基于当前待调用模型中各模型入参所对应的入参源,以及各模型输出参数所对应的输入接口,确定与所述当前待调用模型相对应的配置参数。
9.根据权利要求7所述的方法,其特征在于,所述目标配置表中包括与待调用模型入参相对应的入参配置表、与所述待调用模型入参相对应的入参源配置表、以及与所述待调用模型输出参数相对应的数据输入接口配置表;其中,
所述入参配置表中包括所述待调用模型入参与所述待调用模型标识之间的映射关系;
所述入参源配置表中包括所述待调用模型入参与所述待调用模型入参的入参源之间的映射关系;
所述数据输入接口配置表中包括所述待调用模型输出参数与所述输出参数的输入接口之间的映射关系。
10.一种数据处理装置,其特征在于,包括:
业务类型确定模块,用于在接收到待分析业务请求时,确定与所述待分析业务请求所对应的业务类型;
配置参数调取模块,用于调取与所述业务类型相对应的目标模型,并调取预先配置的与所述目标模型相对应的配置参数;
目标输出数据确定模块,用于基于所述配置参数,确定输入至所述目标模型的目标输入数据,并将所述目标输入数据输入至所述目标模型中,得到目标输出数据;
目标分析结果确定模块,用于基于所述配置参数将所述目标输出数据输入至相应的规则模型中,以得到与所述待分析业务请求所对应的目标分析结果。
11.根据权利要求10所述的装置,其特征在于,所述配置参数调取模块,还用于基于预先创建的业务类型与待调用模型之间的对应关系,确定与所述业务类型相对应的目标模型并调用。
12.根据权利要求10所述的装置,其特征在于,所述配置参数调取模块,包括:
目标配置表确定单元,用于确定与所述目标模型相对应的目标配置表;
配置参数确定单元,用于基于所述目标配置表,确定与所述目标模型相对应的配置参数。
13.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1-9中任一项所述的数据处理方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1-9中任一项所述数据处理的方法。
15.一种计算机程序产品,其特征在于,包括计算机程序,该计算机程序被处理器执行时实现权利要求1-9中任一项所述的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211193730.9A CN115827084A (zh) | 2022-09-28 | 2022-09-28 | 数据处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211193730.9A CN115827084A (zh) | 2022-09-28 | 2022-09-28 | 数据处理方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115827084A true CN115827084A (zh) | 2023-03-21 |
Family
ID=85524147
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211193730.9A Pending CN115827084A (zh) | 2022-09-28 | 2022-09-28 | 数据处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115827084A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117455319A (zh) * | 2023-12-25 | 2024-01-26 | 凯美瑞德(苏州)信息科技股份有限公司 | 一种金融指标模型计算的处理方法、电子设备及处理介质 |
CN117573762A (zh) * | 2024-01-15 | 2024-02-20 | 杭州数云信息技术有限公司 | 数据连接平台的数据处理方法及装置、存储介质、服务器 |
-
2022
- 2022-09-28 CN CN202211193730.9A patent/CN115827084A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117455319A (zh) * | 2023-12-25 | 2024-01-26 | 凯美瑞德(苏州)信息科技股份有限公司 | 一种金融指标模型计算的处理方法、电子设备及处理介质 |
CN117573762A (zh) * | 2024-01-15 | 2024-02-20 | 杭州数云信息技术有限公司 | 数据连接平台的数据处理方法及装置、存储介质、服务器 |
CN117573762B (zh) * | 2024-01-15 | 2024-04-16 | 杭州数云信息技术有限公司 | 数据连接平台的数据处理方法及装置、存储介质、服务器 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115827084A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN112800095B (zh) | 一种数据处理方法、装置、设备及存储介质 | |
CN112131504B (zh) | 一种网页编辑、展示方法、装置、设备以及存储介质 | |
CN110413507B (zh) | 系统测试方法、装置、计算机设备和存储介质 | |
CN109614327B (zh) | 用于输出信息的方法和装置 | |
CN110780870A (zh) | 一种业务执行方法、装置、设备及存储介质 | |
US10664697B1 (en) | Dynamically generating system-compatible transaction requests derived from external information | |
CN111190750B (zh) | 一种数据处理方法以及系统 | |
CN113177062A (zh) | 一种数据查询方法及装置 | |
CN115599359A (zh) | 一种代码生成方法、装置、设备及介质 | |
CN110688827B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN115328759A (zh) | 表单的校验方法及装置 | |
CN114003818A (zh) | 页面推荐方法、装置、服务器及存储介质 | |
CN112733510A (zh) | 一种财务凭证生成方法、装置、设备及计算机可读存储介质 | |
CN110555178A (zh) | 数据代理方法及装置 | |
CA3180833A1 (en) | Flink sql statement verification method and device, computer equipment and storage medium | |
CN109344344A (zh) | 网页客户端的标识方法、服务器及计算机可读存储介质 | |
CN109783134B (zh) | 前端页面配置方法、装置及电子设备 | |
CN114510501A (zh) | 一种对接口数据实时处理的方法和装置 | |
CN114691768A (zh) | 一种数据处理方法、核算系统及相关设备 | |
CN113986732A (zh) | 测试数据处理方法、装置、设备及存储介质 | |
CN114021565A (zh) | 命名实体识别模型的训练方法及装置 | |
CN111400623A (zh) | 用于搜索信息的方法和装置 | |
CN111597189B (zh) | 获取数据的方法、装置、设备及存储介质 | |
US11960560B1 (en) | Methods for analyzing recurring accessibility issues with dynamic web site behavior and devices thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |