CN113282625B - 一种基于sql的api数据查询和处理系统及方法 - Google Patents

Abstract

本发明公开一种基于SQL的API数据查询和处理系统及方法，属于计算机技术领域，针对全量返回的数据查询API会导致计算响应时间增加，及特征变量的开发前需求沟通、加工逻辑确认、开发中的编码、开发后的测试、开发后的缺陷确认和修复导致耗费时间的问题，提出以下方案：基于SQL的API数据查询和处理系统包括：API数据查询结果获取模块，获取特征变量计算子系统依赖的领域子系统提供的API数据查询结果；二维表抽象模块，用于将API数据查询结果抽象为一张或多张二维表；解析程序开发模块，用于根据API数据查询结果的二维表表结构开发相应的解析程序；表结构定义注册模块，用于将API数据查询结果的二维表表结构定义注册到内嵌的SQL引擎，并执行SQL列表。

Description

一种基于SQL的API数据查询和处理系统及方法

技术领域

本发明涉及计算机技术领域，具体涉及一种基于SQL的API数据查询和处理系统及方法。

背景技术

自动化风控系统通常包含三部分:一、决策子系统，负责流程控制和决策审批；二、特征变量计算子系统，负责整合各领域子系统提供的数据查询API，为决策系统提供特征变量服务；三、领域子系统，为特征变量计算子系统提供该领域的数据查询API。由于风控策略会因政策、市场、运营等因素影响而调整，风控策略的调整必然导致决策要素的调整，即一个决策节点所需要的特征变量发生改变，都会导致系统层面的开发变更，其是由接口高度定制化导致。

目前，为了避免定制化API缺乏通用性的弊端，通常会把一个领域的所有特征变量设计成为一个数据查询API，此时不会导致系统层面的开发变更，但这种全量返回的数据查询API实现，会导致计算响应时间的增加和资源的浪费。此外，特征变量的开发，需要开发前的需求沟通、加工逻辑确认；开发中的编码、开发后的测试、开发后的缺陷确认和修复都需要耗费时间，从而延长了策略的调整周期。

发明内容

本发明所解决的技术问题在于提供一种基于SQL的API数据查询和处理系统及方法，旨在解决全量返回的数据查询API会导致计算响应时间的增加，以及特征变量的开发前需求沟通、加工逻辑确认、开发中的编码、开发后的测试、开发后的缺陷确认和修复导致耗费时间的问题，提升了API数据查询和处理的响应速度。

本发明提供的基础方案：

基于SQL的API数据查询和处理系统，应用于自动化风控系统，所述自动化风控系统包括整合各领域数据查询API的特征变量计算子系统和为所述特征变量计算子系统提供对应领域数据查询API的领域子系统，所述基于SQL的API数据查询和处理系统包括：

API数据查询结果获取模块，用于获取所述特征变量计算子系统依赖的领域子系统提供的API数据查询结果；

二维表抽象模块，用于将所述API数据查询结果抽象为一张或多张二维表；

解析程序开发模块，用于根据API数据查询结果的二维表表结构开发相应的解析程序；

表结构定义注册模块，用于将API数据查询结果的二维表表结构定义注册到内嵌的SQL引擎，并执行SQL列表。

基础方案的原理为：

本方案中，基于SQL的API数据查询和处理系统应用于自动化风控系统，通过API数据查询结果获取模块获取特征变量计算子系统依赖的领域子系统提供的API数据查询结果，在获取到API数据查询结果后，通过二维表抽象模块将API数据查询结果抽象为一张或多张二维表，并采用解析程序开发模块开发与二维表的表结构相应的解析程序，以及采用表结构定义注册模块将API数据查询结果的二维表表结构定义注册到内嵌的SQL引擎，以执行SQL列表。

当某产品的一个决策节点所需要的特征变量发生改变，某个决策节点需要不同的特征变量时，直接获得特征变量计算子系统的响应结果，只需要在请求参数中增加需要特征变量的SQL语句。在将API数据查询结果的二维表表结构定义注册到内嵌的SQL引擎后，由于二维表结构是SQL引擎执行的基础，通过相应的解析程序校验是否与二维表表结构定义一致，如一致就执行。

需要说明的是，此自动化风控系统具有整合各领域数据查询API的特征变量计算子系统和为特征变量计算子系统提供对应领域数据查询API的领域子系统。

基础方案的有益效果为：

(1)本方案中，变量的增减，特征变量计算子系统不需要任何的迭代变更，按需计算提升了计算的响应速度，节约了硬件资源。

(2)本方案中，基于SQL的开发方式，学习门槛低，逻辑准确，可读性高，易于维护，SQL的动态性让结果易于调试和变更。

(3)本方案中，子系统的API数据查询结果都抽象为二维表，并且自动识别子系统API数据查询结果和参数下推，使得SQL实现了参数闭环，避免了SQL中出现动态参数。

(4)本方案中，SQL是一种结构化查询语言，通过开发相应的解析程序，将自动化风控系统中的固定查询和处理逻辑用SQL替换，从而提升了数据处理过程的灵活性。

进一步，基于SQL的API数据查询和处理系统还包括：

决策子系统，用于负责所述自动化风控系统中流程控制和决策审批；

特征变量计算API提供模块，用于根据所述特征变量计算子系统为所述决策子系统提供一个特征变量计算API。

通过设置决策子系统，以及特征变量计算API提供模块，提供了API以计算特征变量。

进一步，所述特征变量计算API的请求入参具有动态参数和SQL列表，所述动态参数为所述特征变量计算API的输入参数；

所述二维表抽象模块，还用于将所述动态参数抽象为一张或多张二维表；

所述表结构定义注册模块，还用于将动态参数的二维表表结构定义注册到内嵌的SQL引擎，并执行SQL列表。

对领域子系统的API和动态参数接入时，会对数据进行强定义，并根据定义进行响应的类型转换，在避免异常数据导致处理异常的同时，提高了API的可读性和可维护性。

进一步，所述二维表抽象模块抽象出的二维表包括账号信息表、个人信息表和征信查询记录表。

本方案中，二维表抽象模块抽象出的账号信息表包括身份证号、账户余额和账户ID，所述个人信息表包括身份证号、用户姓名和用户年龄，所述征信查询记录表包括身份证号、查询日期和查询机构；使得抽象出的二维表数据更加具体清楚，便于用户对数据信息的掌握。

进一步，将动态参数定义为用户申请表，开发相应的解析程序，并把所述用户申请表注册到SQL引擎。

本方案中，定义成用户申请表的动态参数包括身份证号、用户姓名和产品编码，并将动态参数进一步解析，并注册至SQL引擎，使得抽象出的二维表数据更加具体清楚，便于用户对数据信息的掌握，同时由于注册至SQL引擎，使得学习门槛低，逻辑准确，可读性高，易于维护，SQL的动态性让结果易于调试和变更。

此外，为实现上述目的，本发明还提出一种基于SQL的API数据查询和处理方法，应用于自动化风控系统，所述自动化风控系统包括整合各领域数据查询API的特征变量计算子系统和为所述特征变量计算子系统提供对应领域数据查询API的领域子系统，所述基于SQL的API数据查询和处理方法包括：

获取所述特征变量计算子系统依赖的领域子系统提供的API数据查询结果；

将所述API数据查询结果抽象为一张或多张二维表；

根据API数据查询结果的二维表表结构开发相应的解析程序；

将API数据查询结果的二维表表结构定义注册到内嵌的SQL引擎，并执行SQL列表。

附图说明

图1为本发明实施例方案涉及的终端设备内部结构示意图；

图2为本发明基于SQL的API数据查询和处理系统一实施例的流程示意图；

图3为本发明基于SQL的API数据查询和处理系统中一实施例涉及的模块示意图。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面通过具体实施方式进一步详细说明：

说明书附图中的附图标记包括：处理器1001、通信总线1002、用户接口1003、网络接口1004、存储器1005、API数据查询结果获取模块10、二维表抽象模块20、解析程序开发模块30和表结构定义注册模块40。

如图1所示，其为本发明实施例方案涉及的终端设备内部结构示意图。

需要说明的是，图1也即是终端设备的硬件运行环境的结构示意图。本发明实施例终端设备可以是PC、便携计算机等终端设备。

如图1所示，该终端设备可以包括：处理器1001，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现处理器1001、用户接口1003、网络接口1004、存储器1005之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)、手写板、触控笔等，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口(如RJ45接口)、无线接口(如WIFI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中的终端设备结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及分布式任务的处理程序。其中，操作系统是管理和控制样本终端设备硬件和软件资源的程序，支持分布式任务的处理程序以及其它软件或程序的运行。

在图1所示的终端设备中，用户接口1003主要用于与各个终端进行数据通信；网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；而处理器1001可以用于调用存储器1005中存储的基于SQL的API数据查询和处理程序，并执行如图2所示的以下操作：

步骤S100，获取所述特征变量计算子系统依赖的领域子系统提供的API数据查询结果；

步骤S200，将所述API数据查询结果抽象为一张或多张二维表；

步骤S300，根据二维表的表结构开发相应的解析程序；

步骤S400，将API数据查询结果的二维表表结构定义注册到内嵌的SQL引擎，并执行SQL列表。

需要说明的是，在相关技术中，由于风控策略会因政策、市场、运营等因素影响而调整，风控策略的调整必然导致决策要素的调整，即一个决策节点所需要的特征变量发生改变，都会导致系统层面的开发变更，其是由接口高度定制化导致。例如：某产品的一个决策节点需要特征变量计算子系统的一数据查询API(以下简称A1)提供V1、V2两个特征变量，当风控策略调整时需要增加V3、V4两个特征变量。基于该方案需要考虑两种工作方式：

一：V3、V4特征变量已经存在，会以修改A1的方式，增加V3、V4特征变量；

二：V3、V4特征变量不存在，会首先开发V3、V4特征变量，然后A1增加V3、V4特征变量。

对于此处两种工作方式都会导致系统层面的开发变更，第一种是由于接口高度定制化导致的，因此，为了避免定制化API缺乏通用性的弊端，通常会把一个领域的所有特征变量设计成为一个数据查询API；例如：A1是一个包含V1、V2、V3、V4、V5...Vm变量的接口，那么，第一种就不会导致系统层面的开发变更，但这种全量返回的数据查询API的实现，会导致计算响应时间的增加和资源的浪费。第二种中的V3、V4特征变量需要开发，需要开发前的需求沟通、加工逻辑确认、开发中的编码、开发后的测试和缺陷确认和修复都需要耗费时间，从而延长了策略的调整周期。

为了解决上述问题，在一实施例中，参照如图3所示，一种基于SQL的API数据查询和处理系统，应用于自动化风控系统，所述自动化风控系统包括整合各领域数据查询API的特征变量计算子系统和为所述特征变量计算子系统提供对应领域数据查询API的领域子系统，所述基于SQL的API数据查询和处理系统包括：

API数据查询结果获取模块10，用于获取所述特征变量计算子系统依赖的领域子系统提供的API数据查询结果；

二维表抽象模块20，用于将所述API数据查询结果抽象为一张或多张二维表；

解析程序开发模块30，用于根据二维表的表结构开发相应的解析程序；

表结构定义注册模块40，用于将API数据查询结果的二维表表结构定义注册到内嵌的SQL引擎，并执行SQL列表。

本实施例中，通过API数据查询结果获取模块获取特征变量计算子系统依赖的领域子系统提供的API数据查询结果，接着二维表抽象模块将API数据查询结果抽象为一张或多张二维表，并把二维表的表结构定义注册到内嵌的SQL引擎中；特征变量计算子系统为决策子系统提供一个特征变量计算API，该特征变量计算API的请求入参包含动态参数部分和执行SQL列表部分。动态参数是此次计算请求的输入参数，将这部分动态参数数据也抽象为一张或多张二维表，并把二维表的表结构定义注册到SQL引擎中，执行SQL列表表示本次请求需要计算的逻辑和返回的变量结果。

基于此，以人民银行征信查询系统为特征变量计算子系统提供人民银行征信报告的数据查询API，修改数据查询API的入参是身份证ID，然后按照人民银行个人征信数据对不同维度的描述，把征信数据按领域拆分为多张表。例如：账号信息表(pboc_account_info)、个人信息表(pboc_person_info)、征信查询记录表(pboc_query_info)，按照这些二维表的表结构开发相对应的解析程序，并把账号信息表、个人信息表、征信查询记录表的二维表表结构注册到SQL引擎中，然后将动态参数部分定义为用户申请表(user_apply)，开发用户申请表的相应解析程序，并把用户申请表注册到SQL引擎中，四张二维表的表结构定义具体如下所示：

账号信息表pboc_account_info：

字段	字段类型	API入参	说明
				id_card	varchar	ture	身份证号
amount	double	false	账户余额
				account_id	varchar	false	账号ID

个人信息表pboc_person_info：

字段	字段类型	API入参	说明
				id_card	varchar	ture	身份证号
name	varchar	false	用户姓名
				age	integer	false	用户年龄

征信查询记录表pboc_query_info：

字段	字段类型	API入参	说明
				id_card	varchar	ture	身份证号
query_date	timestamp	false	查询日期
				query_org	varchar	false	查询机构

用户申请表user_apply：

字段	字段类型	API入参	说明
				id_card	varchar	false	身份证号
name	varchar	false	用户姓名
				product_no	varchar	false	产品编码

本发明中上述的基于SQL的API数据查询和处理方法可以是运行于终端设备中，终端设备可以是包括：存储器、处理器、通信总线以及存储在所述存储器上的基于SQL的API数据查询和处理程序：

所述通信总线用于实现处理器和存储器之间的连接通信；

所述处理器用于执行所述基于SQL的API数据查询和处理程序，以实现控制上述基于SQL的API数据查询和处理系统的正常运行。

此外，本发明中上述的基于SQL的API数据查询和处理程序可以存储于计算机可读存储介质，应用于计算机，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质上存储有基于SQL的API数据查询和处理程序，所述基于SQL的API数据查询和处理程序被处理器执行时实现如上所述的基于SQL的API数据查询和处理方法的步骤。

其中，在所述处理器上运行的基于SQL的API数据查询和处理程序被执行时所实现的步骤可参照本发明中基于SQL的API数据查询和处理方法的实施例，此处不再赘述。

以上的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知系统不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (6)

1.一种基于SQL的API数据查询和处理系统，应用于自动化风控系统，所述自动化风控系统包括整合各领域数据查询API的特征变量计算子系统和为所述特征变量计算子系统提供对应领域数据查询API的领域子系统，其特征在于，所述基于SQL的API数据查询和处理系统包括：

API数据查询结果获取模块，用于获取所述特征变量计算子系统依赖的领域子系统提供的API数据查询结果；

二维表抽象模块，用于将所述API数据查询结果抽象为一张或多张二维表；

解析程序开发模块，用于根据API数据查询结果的二维表表结构开发相应的解析程序；

表结构定义注册模块，用于将API数据查询结果的二维表表结构定义注册到内嵌的SQL引擎，并执行SQL列表；

还包括：

决策子系统，用于负责所述自动化风控系统中流程控制和决策审批；

特征变量计算API提供模块，用于根据所述特征变量计算子系统为所述决策子系统提供一个特征变量计算API；所述特征变量计算API的请求入参具有动态参数和SQL列表；所述动态参数为所述特征变量计算API的输入参数；

所述二维表抽象模块，还用于将所述动态参数抽象为一张或多张二维表；

所述表结构定义注册模块，还用于将动态参数的二维表表结构定义注册到内嵌的SQL引擎，并执行SQL列表。

2.根据权利要求1的基于SQL的API数据查询和处理系统，其特征在于，所述二维表抽象模块抽象出的二维表包括账号信息表、个人信息表和征信查询记录表。

3.根据权利要求2所述的基于SQL的API数据查询和处理系统，其特征在于，所述账号信息表包括身份证号、账户余额和账户ID，所述个人信息表包括身份证号、用户姓名和用户年龄，所述征信查询记录表包括身份证号、查询日期和查询机构。

4.根据权利要求1所述的基于SQL的API数据查询和处理系统，其特征在于，将动态参数定义为用户申请表，开发相应的解析程序，并把所述用户申请表注册到SQL引擎。

5.根据权利要求4所述的基于SQL的API数据查询和处理系统，其特征在于，所述用户申请表包括身份证号、用户姓名和产品编码。

6.一种基于SQL的API数据查询和处理方法，应用于自动化风控系统，所述自动化风控系统包括整合各领域数据查询API的特征变量计算子系统和为所述特征变量计算子系统提供对应领域数据查询API的领域子系统，其特征在于，所述基于SQL的API数据查询和处理方法包括：

获取所述特征变量计算子系统依赖的领域子系统提供的API数据查询结果；

根据所述特征变量计算子系统为所述自动化风控系统中流程控制和决策审批提供一个特征变量计算API；所述特征变量计算API的请求入参具有动态参数和SQL列表；所述动态参数为所述特征变量计算API的输入参数；

将所述API数据查询结果抽象为一张或多张二维表；并将所述动态参数抽象为一张或多张二维表；

根据API数据查询结果的二维表表结构开发相应的解析程序；

将API数据查询结果的二维表表结构定义注册到内嵌的SQL引擎，并执行SQL列表；将动态参数的二维表表结构定义注册到内嵌的SQL引擎，并执行SQL列表。

Images