CN112163131A - 业务数据查询平台的配置方法、装置、计算机设备及介质 - Google Patents
业务数据查询平台的配置方法、装置、计算机设备及介质 Download PDFInfo
- Publication number
- CN112163131A CN112163131A CN202011247778.4A CN202011247778A CN112163131A CN 112163131 A CN112163131 A CN 112163131A CN 202011247778 A CN202011247778 A CN 202011247778A CN 112163131 A CN112163131 A CN 112163131A
- Authority
- CN
- China
- Prior art keywords
- service
- service data
- sql script
- database
- sql
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013515 script Methods 0.000 claims abstract description 151
- 238000011056 performance test Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000012360 testing method Methods 0.000 claims description 39
- 238000003062 neural network model Methods 0.000 claims description 18
- 238000004458 analytical method Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 8
- 238000011144 upstream manufacturing Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 description 10
- 238000007726 management method Methods 0.000 description 8
- 238000012384 transportation and delivery Methods 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000012550 audit Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012954 risk control Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9032—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9035—Filtering based on additional data, e.g. user or group profiles
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及数据处理技术领域,公开了一种业务数据查询平台的配置方法,包括:获取多个业务系统对应的业务数据类型和数据库信息,数据库信息至少包括数据库地址和数据库类型;根据数据库地址部署每个业务系统对应的数据库连接串,以及根据业务数据类型和数据库类型生成每个业务系统对应的SQL脚本;对SQL脚本进行性能测试;将SQL脚本部署到SQL脚本对应的业务系统中;根据SQL脚本对应的业务数据类型的关键词,以及各个业务系统之间的调用关系,配置业务数据查询平台的查询入口。本申请还可以应用于区块链技术领域。本申请还公开了一种业务数据查询平台的配置装置、计算机设备以及计算机可读存储介质。本申请提高了业务数据查询平台的数据查询效率。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种业务数据查询平台的配置方法、业务数据查询平台的配置装置、计算机设备以及计算机可读存储介质。
背景技术
在传统业务数据查询中,由于涉及的业务数据种类众多,需要根据具体运营需求来编写SQL语句,工作量一般非常大,这样数据库开发的难度也就很大,最终难以构建得到业务数据查询效率高的业务数据查询平台。
而造成业务数据查询平台的业务数据查询效率低下的原因主要有:1、传统业务数据查询平台编写的SQL语句往往与底层代码紧密关联,随着新增业务数据量越来越多,对业务数据进行查询的效率就会下降;2、传统业务数据查询平台的SQL语句在代码内部分散存在,系统之间调用关系复杂。
上述内容仅用于辅助理解本申请的技术方案,并不代表承认上述内容是现有技术。
发明内容
本申请的主要目的在于提供一种业务数据查询平台的配置方法、业务数据查询平台的配置装置、计算机设备以及计算机可读存储介质,旨在解决业务数据查询平台的数据查询效率低下的问题。
为实现上述目的,本申请提供一种业务数据查询平台的配置方法,包括以下步骤:
获取业务数据查询平台中的多个业务系统对应的业务数据类型和数据库信息,所述数据库信息至少包括数据库地址和数据库类型;
根据所述数据库地址部署每个业务系统对应的数据库连接串,以及根据所述业务数据类型和所述数据库类型生成每个业务系统对应的SQL脚本;
对所述SQL脚本进行性能测试;
在所述SQL脚本通过所述性能测试后,将所述SQL脚本部署到所述SQL脚本对应的业务系统中;
根据所述SQL脚本对应的业务数据类型的关键词,以及各个业务系统之间的调用关系,配置所述业务数据查询平台的查询入口。
进一步地,所述对所述SQL脚本进行性能测试的步骤之后,还包括:
在所述SQL脚本未通过所述性能测试时,利用神经网络模型对未通过所述性能测试的所述SQL脚本进行分析,其中,所述神经网络模型基于多个SQL脚本样本,以及所述SQL脚本样本对应的测试失败原因进行训练得到的;
根据所述神经网络模型分析得到的测试失败原因,生成分析结果并输出。
进一步地,所述对所述SQL脚本进行性能测试的步骤包括:
根据每个业务系统对应的业务数据类型、数据库连接串、SQL脚本和测试用例模板,生成每个业务系统对应的测试用例;
执行每个业务系统对应的测试用例,以对每个业务系统对应的SQL脚本进行性能测试。
进一步地,所述根据所述SQL脚本对应的业务数据类型的关键词,以及各个业务系统之间的调用关系,配置所述业务数据查询平台的查询入口的步骤包括:
将所述SQL脚本对应的业务数据类型的关键词作为第一检索词;以及,
根据各个业务系统之间的调用关系,得到各个业务系统之间业务数据的传输流程;
将在所述传输流程中属于上下游关系的业务数据对应的业务数据类型,作为目标业务数据类型;
根据所述目标业务数据类型对应的关键词确定第二检索词;
根据所述第一检索词和所述第二检索词配置所述业务数据查询平台的查询入口。
进一步地,所述根据所述业务数据类型和所述数据库类型生成每个业务系统对应的SQL脚本的步骤包括:
根据每个业务系统对应的业务数据类型获取字段名称,以及根据每个业务系统对应的所述数据库类型获取SQL查询语句模板;
根据所述字段名称和所述SQL查询语句模板,生成每个业务系统对应的SQL查询语句;
根据所述SQL查询语句,生成每个业务系统对应的SQL脚本。
进一步地,所述SQL脚本为第一SQL脚本,所述第一SQL脚本用于执行业务数据查询操作;各个所述业务系统预先部署有与所述业务系统的业务数据类型和数据库类型对应的第二SQL脚本,所述第二SQL脚本用于执行预设操作,所述预设操作包括业务数据增加操作、业务数据删除操作和业务数据编辑操作中的至少一个。
进一步地,所述根据所述SQL脚本对应的业务数据类型的关键词,以及各个业务系统之间的调用关系,配置所述业务数据查询平台的查询入口的步骤之后,还包括:
获取所述查询入口输入的检索词;
匹配所述检索词对应的关键词,并根据所述关键词对应的SQL脚本查询所述检索词所指向的目标数据;
输出所述目标数据。
为实现上述目的,本申请还提供一种业务数据查询平台的配置装置,所述业务数据查询平台的配置装置包括:
获取模块,用于获取业务数据查询平台中的多个业务系统对应的业务数据类型和数据库信息,所述数据库信息至少包括数据库地址和数据库类型;
处理模块,用于根据所述数据库地址部署每个业务系统对应的数据库连接串,以及根据所述业务数据类型和所述数据库类型生成每个业务系统对应的SQL脚本;
测试模块,用于对所述SQL脚本进行性能测试;
部署模块,用于在所述SQL脚本通过所述性能测试后,将所述SQL脚本部署到所述SQL脚本对应的业务系统中;
配置模块,用于根据所述SQL脚本对应的业务数据类型的关键词,以及各个业务系统之间的调用关系,配置所述业务数据查询平台的查询入口。
为实现上述目的,本申请还提供一种计算机设备,所述计算机设备包括:
所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的业务数据查询平台的配置程序,所述业务数据查询平台的配置程序被所述处理器执行时实现如上述业务数据查询平台的配置方法的步骤。
为实现上述目的,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有业务数据查询平台的配置程序,所述业务数据查询平台的配置程序被处理器执行时实现如上述业务数据查询平台的配置方法的步骤。
本申请提供的业务数据查询平台的配置方法、业务数据查询平台的配置装置、计算机设备以及计算机可读存储介质,通过解耦不同业务系统和数据库类型的SQL脚本,使得每个业务数据类型的业务数据只在对应的业务系统数据库进行查询,不同业务数据类型和数据库类型的业务数据查询不再相互影响,从而提高了业务数据查询平台的数据查询效率。而且当业务系统有新的需求增加时,只需更新该业务系统对应的SQL脚本即可,无需进行全局更新,而且通过配置各业务系统之间的调用关系,使得分属不同业务系统数据库的业务数据之间的数据调用依然不受影响。
附图说明
图1为本申请一实施例中业务数据查询平台的配置方法步骤示意图;
图2为本申请一实施例中业务数据查询平台的配置装置示意框图;
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
参照图1,在一实施例中,所述业务数据查询平台的配置方法包括:
步骤S10、获取业务数据查询平台中的多个业务系统对应的业务数据类型和数据库信息,所述数据库信息至少包括数据库地址和数据库类型。
步骤S20、根据所述数据库地址部署每个业务系统对应的数据库连接串,以及根据所述业务数据类型和所述数据库类型生成每个业务系统对应的SQL脚本。
步骤S30、对所述SQL脚本进行性能测试。
步骤S40、在所述SQL脚本通过所述性能测试后,将所述SQL脚本部署到所述SQL脚本对应的业务系统中。
步骤S50、根据所述SQL脚本对应的业务数据类型的关键词,以及各个业务系统之间的调用关系,配置所述业务数据查询平台的查询入口。
本实施例中,实施例的执行终端可以是一种计算机设备,也可以是一种业务数据查询平台的配置装置。
如步骤S10所述:业务数据查询平台可以是金融保险公司的贷款申请数据查询平台,业务数据查询平台中包括有多个业务系统,如前端进件系统、后台审批系统、外部资方交互系统等。
可选的,前端进件系统用于接收进件渠道提交的贷款申请数据,作为前端进件系统的业务数据。进件渠道可以是自主贷款申请渠道、第三方渠道、电销渠道等。因此,前端进件系统对应的业务数据类型可以包括初审合格的贷款申请数据和初审不合格的贷款申请数据,且根据贷款申请数据对应的进件渠道的类别,还可以对前端进件系统对应的业务数据进行进一步分类,分为各个进件渠道对应的初审合格的贷款申请数据和初审不合格的贷款申请数据。
需要说明的是,前端进件系统可以自主对贷款申请数据进行初审,如审查贷款申请数据的格式、填报内容、申请人信息等,并对初审不合格的贷款申请数据进行拒收或原路返回至对应的进件渠道,将初审合格的贷款申请数据输入至下一个流程对应的业务系统:后台审批系统。这样,前端进件系统从进件渠道接收到的贷款申请数据即为前端进件系统的输入参数,前端进件系统传输至后台审批系统的初审合格的贷款申请数据即为前端进件系统的输出参数,以及后台审批系统的输入参数。
可选的,后台审批系统用于接收前端进件系统传入的贷款申请数据,并对贷款申请数据进行审批,例如审批贷款申请数据中的填报内容是否满足贷款申请的审批条件。后台审批系统将已审批的贷款申请数据更新为审批数据,并作为后台审批系统的业务数据。
需要说明的是,后台审批系统会将审批通过的业务数据传输至下一个流程对应的业务系统——外部资方交互系统(审批通过的业务数据就会作为外部资方交互系统的输入参数),以及将审批不通过的业务数据返回至前端进件系统,以供用户重新填报贷款申请数据,或向审批不通过的贷款申请数据对应的用户返回审批不通过信息。因此,后台审批系统对应的业务数据类型可以进一步分为通过审批的审批数据和未通过审批的审批数据。
可选的,外部资方交互系统用于接收后台审批系统审批通过的审批数据,并将审批数据更新为外部推送数据,以及将外部推送数据推送至对应的外部资方,以供外部资方进行放贷审核。外部资方在放贷审核通过后,会将相应的放贷数据返回至外部资方交互系统。这样,外部资方交互系统的业务数据类型可以包括外部推送数据和放贷数据。
需要说明的是,外部资方可以是贷款申请对应的放贷银行。
可选的,根据各业务系统之间业务数据的传输流程(或者输入、输出参数之间的关系),即可得到各业务系统之间的调用关系。
可选的,每一个业务系统的业务数据中,包括至少一种业务数据类型。
可选的,在业务数据查询平台中,各业务系统均可以设置有对应的数据库,以存储该业务系统对应的业务数据。不同的业务系统对应的数据库类型可相同、可不相同,具体可根据业务系统实际的业务需求设置相应的类型的数据库。数据库类型可选为MySQL、MariaDB、Percona Server、PostgreSQL、Microsoft Access、Microsoft SQL Server等。
可选的,数据库信息中至少包括数据库地址和数据库类型。其中,数据库可选为数据服务器,数据库地址数据库地址即为该数据服务器的地址(域名地址和/或IP地址),且数据库地址还可以包括数据库指定的数据调用端口信息。
此外,数据库信息中还可以进一步包括数据库名称、数据库用户名,以及数据库用户名对应的密码。
可选的,在业务数据查询平台的配置流程启动时,终端分别获取各业务数据查询平台中各业务系统对应的业务数据类型和数据库信息。
可选的,每个业务系统对应的数据库均可以作为一个区块链节点,每个业务系统都可以将本业务系统的业务数据,发送到本业务系统对应的数据库以块链式的账本进行存储。其中,账本(Ledger),是区块链(也称为账本数据)和与区块链同步的状态数据库的统称。
区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中,用户管理模块负责所有区块链参与者的身份信息管理,包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等,并且在授权的情况下,监管和审计某些真实身份的交易情况,提供风险控制的规则配置(风控审计);基础服务模块部署在所有区块链节点设备上,用来验证业务请求的有效性,并对有效请求完成共识后记录到存储上,对于一个新的业务请求,基础服务先对接口适配解析和鉴权处理(接口适配),然后通过共识算法将业务信息加密(共识管理),在加密之后完整一致的传输至共享账本上(网络通信),并进行记录存储;智能合约模块负责合约的注册发行以及合约触发和合约执行,开发人员可以通过某种编程语言定义合约逻辑,发布到区块链上(合约注册),根据合约条款的逻辑,调用密钥或者其它的事件触发执行,完成合约逻辑,同时还提供对合约升级注销的功能;运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出,例如:告警、监控网络情况、监控节点设备健康状态等。
这样,通过将各业务系统的业务数据以块链式的账本进行存储,可以避免业务数据遭到篡改,也可以使业务数据不易丢失。
如步骤S20所述:终端在得到每个业务系统对应的数据库信息后,可根据数据库信息中的数据库地址和数据库名称生成业务系统对应的数据库连接串。所述数据库连接串用于将针对业务系统的业务数据的查询请求,指向于业务系统对应的数据库,以调用数据库存储的业务数据。
其中,若业务系统对应的数据库需要使用用户名与密码登陆,则生成的数据库连接串还应包括数据库用户名,以及数据库用户名对应的密码。
在生成各个业务系统对应的数据库连接串后,将数据库连接串与对应的业务系统的系统信息进行关联部署。其中,系统信息至少包括系统名称,可进一步包括系统功能描述信息。
可选的,终端在得到每个业务系统对应的数据库信息后,可以根据每个业务系统对应的数据库信息,获取业务系统对应的数据库的数据库类型。进一步地,终端在生成每个业务系统对应的SQL(Structured Query Language,结构化查询语言)脚本时,根据业务系统的数据库类型,获取与该数据库类型对应的SQL查询语句模板,同时,终端获取业务系统的业务数据类型对应的字段名称,并根据字段名称和SQL查询语句模板生成每个业务数据类型对应的SQL查询语句。其中,所述字段名称为第一字段名称,第一字段名称可以是业务数据类型具体的数据类型名称。
可选的,终端根据每个业务系统对应的所有SQL查询语句,生成与每个业务系统的数据库类型对应的SQL脚本。
这样,每个业务系统对应的SQL脚本,即可适用于该业务系统对应的数据库。例如若业务系统的数据库类型为MySQL,则该业务系统即生成与MySQL对应的SQL查询语句。
应当理解的是,SQL查询语句模板可由工程师预先编写保存的。
应当理解的是,一个SQL脚本至少包括一个SQL查询语句。
可选的,终端在生成各业务系统对应的SQL脚本时,也可以除了利用第一字段名称外,还可以进一步获取各业务系统中业务数据的真实值(真实值是指业务数据的具体内容中的至少一项内容)对应的第二字段名称,然后将第一字段名称和第二字段名称依据预设的拼接规则进行拼接为第三字段名称,再根据第三字段名称生成对应的业务系统的SQL脚本。
如步骤S30所述:在得到每个业务系统对应的SQL脚本后,为每个业务系统获取测试用例模板,分别在测试用例模板中回填每个业务系统对应的业务数据类型、SQL脚本和数据库连接串,生成各业务系统的SQL脚本对应的测试用例。
应当理解的是,测试用例模板中已预先设定好通用的SQL脚本的测试逻辑和测试过程,但留空了测试值和期望值。在具体生成每一个SQL脚本对应的测试用例时,在测试用例模板的测试值中填入该SQL脚本中的SQL查询语句,以及根据SQL查询语句所针对的业务数据类型,在测试用例模板的测试值中填入该业务数据类型对应的业务数据,再根据该SQL脚本所属的业务系统对应的数据库连接串配置测试用例的测试路径,即可得到各SQL脚本对应的测试用例。
可选的,在生成每个SQL脚本对应的测试用例后,分别执行每个业务系统的测试用例,以对每个业务系统对应的SQL脚本进行性能测试。
其中,当测试用例回调的实际值等于期望值时,则判定SQL脚本通过性能测试;若测试用例回调的实际值不等于期望值,则判定SQL脚本未通过性能测试。
如步骤S40所述:当SQL脚本通过性能测试后,将通过性能测试的SQL脚本部署到该SQL脚本对应的业务系统中。
当业务系统中的SQL脚本被执行时,获取SQL脚本中具体被执行的SQL查询语句,同时根据业务系统的系统名称匹配对应的数据库连接串,然后将SQL查询语句发送至数据库连接串所指向的数据库,即可调取数据库中被SQL查询语句所针对的业务数据。
如步骤S50所述:根据各个SQL脚本中的SQL查询语句所针对的业务数据类型,确定各业务数据类型对应的关键词(Key),并生成关键词与SQL脚本和SQL查询语句之间的映射关系。
可选的,业务数据类型对应的关键词,可以就是业务数据类型的第一字段名称(或者第三字段名称)。或者,为了满足业务数据的批量查询需要,关键词可以是批量的业务数据对应的名称信息,如批量的贷款申请数据对应的名称信息即为“贷款申请数据量”(或者贷款申请量)、批量的审批数据对应的名称信息即为“审批数据量”。
可选的,将业务数据类型对应的关键词作为第一检索词。
可选的,根据各个业务系统之间的调用关系,得到各个业务系统之间业务数据的传输流程,然后获取在传输流程中属于上下游关系的业务数据对应的业务数据类型,作为目标业务数据类型(同一上下游关系中,至少可以获取到两个目标业务数据类型)。
其中,属于上下游关系的业务数据之间存在继承关系,所述继承关系表征为下游业务数据源自于上游业务数据,上游业务数据经过业务数据处理后变更为下游业务数据,而业务数据处理操作可以是在对应的业务系统中执行的,也可以是在业务数据从上一个业务系统流转到下一个业务系统时触发的。例如,待审批数据经过审批后则变为审批通过数据或审批不通过数据,则待审批数据与审批通过数据之间存在上下游关系,或者待审批数据与审批不通过数据之间存在上下游关系,而审批通过数据与审批不通过数据之间则不存在上下游关系。
可选的,根据获取到的目标业务数据类型对应的关键词,确定用于表征这些目标业务数据类型的业务数据量之间的转化率的第二检索词。而且第二检索词同时与获取到的目标业务数据类型的关键词关联,且这些关键词又各自具有与之建立有映射关系的SQL脚本和SQL查询语句。
可选的,转化率指的是下游业务系统的业务数据量除以上游业务系统的业务数据量后,得到的比率。
例如,贷款申请数据量属于前端进件系统的贷款申请数据的总量,放贷数据量为外部资方交互系统的放贷数据的总量,而贷款申请数据量和放贷数据量存在数据传输流程中属于上下游关系,两者数据的组合的转化率对应的第二检索词可为“贷款申请通过率(或者借款授信通过率)”。需要说明的是,实际的贷款申请通过率可由实际的放贷数据量除以实际的贷款申请数据量得到。
可选的,在得到第一检索词和第二检索词后,将第一检索词和第二检索词配置到业务数据查询平台的查询入口,这样,用户基于查询入口输入检索词,即可查询得到与检索词对应的业务数据。
可选的,上述所述的SQL脚本为第一SQL脚本,所述第一SQL脚本用于执行业务数据查询操作。各业务系统除了通过执行步骤S10-S50部署第一SQL脚本外,还预先部署有第二SQL脚本,所述第二SQL脚本用于执行预设操作,所述预设操作包括业务数据增加操作、业务数据删除操作和业务数据编辑操作中的至少一个,即第二SQL脚本是用于更新业务数据的。
这样,通过将用于查询业务数据的第一SQL脚本与用于更新业务数据的第二SQL脚本独立开来,可以提高业务数据查询平台中对业务数据查询的效率。而且根据各业务系统的输入的业务数据和/或输出的业务数据的更新,可自动执行第二SQL脚本,更新业务系统对应的数据库中存储的业务数据,无需数据库管理员人工手动更新数据库存储。
在一实施例中,通过解耦不同业务系统和数据库类型的SQL脚本,使得每个业务数据类型的业务数据只在对应的业务系统数据库进行查询,不同业务数据类型和数据库类型的业务数据查询不再相互影响,从而提高了业务数据查询平台的数据查询效率。而且当业务系统有新的需求增加时,只需更新该业务系统对应的SQL脚本即可,无需进行全局更新,而且通过配置各业务系统之间的调用关系,使得分属不同业务系统数据库的业务数据之间的数据调用依然不受影响。
在一实施例中,在上述实施例基础上,所述对所述SQL脚本进行性能测试的步骤之后,还包括:
步骤S60、在所述SQL脚本未通过所述性能测试时,利用神经网络模型对未通过所述性能测试的所述SQL脚本进行分析,其中,所述神经网络模型基于多个SQL脚本样本,以及所述SQL脚本样本对应的测试失败原因进行训练得到的。
步骤S61、根据所述神经网络模型分析得到的测试失败原因,生成分析结果并输出。
本实施例中,终端预先训练有神经网络模型,通过收集多个未通过性能测试的SQL脚本作为SQL脚本样本,并将SQL脚本样本和SQL脚本样本对应的测试失败原因输入到神经网络模型进行多次迭代训练,直到模型收敛后得到训练完成的神经网络模型。
其中,SQL脚本样本对应的测试失败原因,可以是工程师预先在各个未通过性能测试的SQL脚本中标注的,然后工程师再将标注后的SQL脚本和对应的测试失败原因作为训练样本输入至神经网络模型中进行训练。
可选的,当终端执行步骤S30后,获取到未通过性能测试的SQL脚本时,则将SQL脚本输入到训练好的神经网络模型中,利用神经网络模型对所述SQL脚本进行分析。神经网络模型会匹配与当前输入的SQL脚本对应的训练结果,并获取训练结果关联的测试失败原因。
当神经网络模型分析完成后,会输出SQL脚本对应的测试失败原因。然后终端可以根据神经网络模型输出的测试失败原因生成分析结果,并将分析结果输出至测试人员的关联设备,以方便测试人员查找SQL脚本性能测试失败的原因。
当测试人员对SQL脚本进行修复后,重新将修复后的SQL脚本输入终端,由终端继续对之前未通过性能测试的SQL脚本重新进行性能测试。
这样,可以提高测试人员查找SQL脚本性能测试失败的原因的效率。
在一实施例中,在上述实施例基础上,所述根据所述SQL脚本对应的业务数据类型的关键词,以及各个业务系统之间的调用关系,配置所述业务数据查询平台的查询入口的步骤之后,还包括:
步骤S70、获取所述查询入口输入的检索词。
步骤S71、匹配所述检索词对应的关键词,并根据所述关键词对应的SQL脚本查询所述检索词所指向的目标数据。
步骤S72、输出所述目标数据。
本实施例中,业务数据查询平台提供有业务数据查询界面,查询界面中设置有和查询入口关联的检索词输入栏和/或检索词选项,当配置完成的业务数据查询平台上线后,用户可以基于检索词输入栏和/或检索词选项输入检索词至查询入口。
可选的,终端保存有记录有所有第一检索词和第二检索词的检索词记录,终端获取到查询入口输入的检索词后,在检索词记录中查询与之对应的第一检索词或第二检索词。
可选的,当第一检索词基于查询入口被查询时,终端在所有业务系统的SQL脚本中查询与第一检索词的关键词对应的SQL脚本,并在查询得出的SQL脚本中查询第一检索词对应的SQL查询语句,通过执行查询得到的SQL查询语句,从对应的数据库中调取属于该SQL查询语句所针对的业务数据类型下的所有业务数据,统计查询得到的所有业务数据,将计算结果作为第一检索词所针对的目标数据进行返回,得到查询结果。
应当理解的是,由于SQL查询语句是根据对应的业务数据类型的字段名称生成的,只要该业务数据类型的业务数据在存储到数据库时,其键值包括有相应的字段名称,则该业务数据类型下的所有业务数据,即可被该业务数据类型对应的SQL查询语句查询得到。
例如,第一检索词是“审批数据量”时,则在审批系统对应的数据库中,查询并统计所有的审批数据,得到审批数据量作为第一检索词所指向的目标数据进行返回,得到查询结果。
可选的,当第二检索词基于查询入口被查询时,终端获取该第二检索词对应的所有关键词,然后分别查询这些关键词对应的SQL脚本和SQL查询语句,并从SQL脚本所属的业务系统对应的数据库中查询对应的业务数据,计算属于SQL查询语句所针对的业务数据类型下所有业务数据的总量(业务数据量),然后根据返回的这些关键词对应的业务数据量,计算第二检索词针对的目标数据,并返回计算结果作为查询结果。
例如,第二检索词是“贷款申请审批率”时,对应的关键词为“贷款申请量”和“审批数据量”,分别查询这两个关键词对应的SQL脚本和SQL查询语句,进而查询这两个关键词分别对应的业务数据量,得到实际的贷款申请量和实际的审批数据量,再利用实际的贷款申请量和实际的审批数据量计算第二检索词所指向的目标数据——实际的贷款申请审批率(由实际的审批数据量除以实际的贷款申请数据量),作为查询结果返回。
可选的,业务数据查询平台还提供有历史数据分析功能,用户在输入检索词时,还可以进一步设置检索词针对的目标数据对应的数据显示时段,则业务数据查询平台会查询在该数据显示时段内的每预设间隔时段内的目标数量。其中,预设间隔时段可选为每天、每小时等,而具体的数据显示时段也可以根据实际需要设置,例如设置查询最近7天内每天的某业务数据量,并将每天的业务数据量进行比对显示,这样用户可以直观看到每天业务数据量的变化。
这样,基于配置完成的业务数据查询平台,可以方便用户根据检索词快速查询得到对应的业务数据。
参照图2,本申请实施例中还提供一种业务数据查询平台的配置装置10,包括:
获取模块11,用于获取业务数据查询平台中的多个业务系统对应的业务数据类型和数据库信息,所述数据库信息至少包括数据库地址和数据库类型;
处理模块12,用于根据所述数据库地址部署每个业务系统对应的数据库连接串,以及根据所述业务数据类型和所述数据库类型生成每个业务系统对应的SQL脚本;
测试模块13,用于对所述SQL脚本进行性能测试;
部署模块14,用于在所述SQL脚本通过所述性能测试后,将所述SQL脚本部署到所述SQL脚本对应的业务系统中;
配置模块15,用于根据所述SQL脚本对应的业务数据类型的关键词,以及各个业务系统之间的调用关系,配置所述业务数据查询平台的查询入口。
参照图3,本申请实施例中还提供一种计算机设备,该计算机设备可以是服务器,其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于业务数据查询平台的配置程序。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种业务数据查询平台的配置方法。
本领域技术人员可以理解,图3中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定。
此外,本申请还提出一种计算机可读存储介质,所述计算机可读存储介质包括业务数据查询平台的配置程序,所述业务数据查询平台的配置程序被处理器执行时实现如以上实施例所述的业务数据查询平台的配置方法的步骤。可以理解的是,本实施例中的计算机可读存储介质可以是易失性可读存储介质,也可以为非易失性可读存储介质。
综上所述,为本申请实施例中提供的业务数据查询平台的配置方法、业务数据查询平台的配置装置、计算机设备和存储介质,通过解耦不同业务系统和数据库类型的SQL脚本,使得每个业务数据类型的业务数据只在对应的业务系统数据库进行查询,提高了业务数据查询平台的数据查询效率,而且当业务系统有新的需求增加时,只需更新该业务系统对应的SQL脚本即可,无需进行全局更新,而且通过配置各业务系统之间的调用关系,使得分属不同业务系统数据库的业务数据之间的数据调用依然不受影响。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM通过多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其它要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其它相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种业务数据查询平台的配置方法,其特征在于,包括:
获取业务数据查询平台中的多个业务系统对应的业务数据类型和数据库信息,所述数据库信息至少包括数据库地址和数据库类型;
根据所述数据库地址部署每个业务系统对应的数据库连接串,以及根据所述业务数据类型和所述数据库类型生成每个业务系统对应的SQL脚本;
对所述SQL脚本进行性能测试;
在所述SQL脚本通过所述性能测试后,将所述SQL脚本部署到所述SQL脚本对应的业务系统中;
根据所述SQL脚本对应的业务数据类型的关键词,以及各个业务系统之间的调用关系,配置所述业务数据查询平台的查询入口。
2.如权利要求1所述的业务数据查询平台的配置方法,其特征在于,所述对所述SQL脚本进行性能测试的步骤之后,还包括:
在所述SQL脚本未通过所述性能测试时,利用神经网络模型对未通过所述性能测试的所述SQL脚本进行分析,其中,所述神经网络模型基于多个SQL脚本样本,以及所述SQL脚本样本对应的测试失败原因进行训练得到的;
根据所述神经网络模型分析得到的测试失败原因,生成分析结果并输出。
3.如权利要求1或2所述的业务数据查询平台的配置方法,其特征在于,所述对所述SQL脚本进行性能测试的步骤包括:
根据每个业务系统对应的业务数据类型、数据库连接串、SQL脚本和测试用例模板,生成每个业务系统对应的测试用例;
执行每个业务系统对应的测试用例,以对每个业务系统对应的SQL脚本进行性能测试。
4.如权利要求1所述的业务数据查询平台的配置方法,其特征在于,所述根据所述SQL脚本对应的业务数据类型的关键词,以及各个业务系统之间的调用关系,配置所述业务数据查询平台的查询入口的步骤包括:
将所述SQL脚本对应的业务数据类型的关键词作为第一检索词;以及,
根据各个业务系统之间的调用关系,得到各个业务系统之间业务数据的传输流程;
将在所述传输流程中属于上下游关系的业务数据对应的业务数据类型,作为目标业务数据类型;
根据所述目标业务数据类型对应的关键词确定第二检索词;
根据所述第一检索词和所述第二检索词配置所述业务数据查询平台的查询入口。
5.如权利要求1所述的业务数据查询平台的配置方法,其特征在于,所述根据所述业务数据类型和所述数据库类型生成每个业务系统对应的SQL脚本的步骤包括:
根据每个业务系统对应的业务数据类型获取字段名称,以及根据每个业务系统对应的所述数据库类型获取SQL查询语句模板;
根据所述字段名称和所述SQL查询语句模板,生成每个业务系统对应的SQL查询语句;
根据所述SQL查询语句,生成每个业务系统对应的SQL脚本。
6.如权利要求1或5所述的业务数据查询平台的配置方法,其特征在于,所述SQL脚本为第一SQL脚本,所述第一SQL脚本用于执行业务数据查询操作;各个所述业务系统预先部署有与所述业务系统的业务数据类型和数据库类型对应的第二SQL脚本,所述第二SQL脚本用于执行预设操作,所述预设操作包括业务数据增加操作、业务数据删除操作和业务数据编辑操作中的至少一个。
7.如权利要求1、2、4或5所述的业务数据查询平台的配置方法,其特征在于,所述根据所述SQL脚本对应的业务数据类型的关键词,以及各个业务系统之间的调用关系,配置所述业务数据查询平台的查询入口的步骤之后,还包括:
获取所述查询入口输入的检索词;
匹配所述检索词对应的关键词,并根据所述关键词对应的SQL脚本查询所述检索词所指向的目标数据;
输出所述目标数据。
8.一种业务数据查询平台的配置装置,其特征在于,包括:
获取模块,用于获取业务数据查询平台中的多个业务系统对应的业务数据类型和数据库信息,所述数据库信息至少包括数据库地址和数据库类型;
处理模块,用于根据所述数据库地址部署每个业务系统对应的数据库连接串,以及根据所述业务数据类型和所述数据库类型生成每个业务系统对应的SQL脚本;
测试模块,用于对所述SQL脚本进行性能测试;
部署模块,用于在所述SQL脚本通过所述性能测试后,将所述SQL脚本部署到所述SQL脚本对应的业务系统中;
配置模块,用于根据所述SQL脚本对应的业务数据类型的关键词,以及各个业务系统之间的调用关系,配置所述业务数据查询平台的查询入口。
9.一种计算机设备,其特征在于,所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的业务数据查询平台的配置程序,所述业务数据查询平台的配置程序被所述处理器执行时实现如权利要求1至7中任一项所述的业务数据查询平台的配置方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有业务数据查询平台的配置程序,所述业务数据查询平台的配置程序被处理器执行时实现如权利要求1至7中任一项所述的业务数据查询平台的配置方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011247778.4A CN112163131A (zh) | 2020-11-10 | 2020-11-10 | 业务数据查询平台的配置方法、装置、计算机设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011247778.4A CN112163131A (zh) | 2020-11-10 | 2020-11-10 | 业务数据查询平台的配置方法、装置、计算机设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112163131A true CN112163131A (zh) | 2021-01-01 |
Family
ID=73865734
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011247778.4A Pending CN112163131A (zh) | 2020-11-10 | 2020-11-10 | 业务数据查询平台的配置方法、装置、计算机设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112163131A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112748909A (zh) * | 2021-01-22 | 2021-05-04 | 平安普惠企业管理有限公司 | 基于神经网络模型的数据修改方法、装置、设备及介质 |
CN113535724A (zh) * | 2021-07-13 | 2021-10-22 | 蘑菇物联技术(深圳)有限公司 | 数据处理方法、装置及计算机可读存储介质 |
CN114595159A (zh) * | 2022-05-10 | 2022-06-07 | 太平金融科技服务(上海)有限公司 | 测试数据生成方法、装置、设备及存储介质 |
CN115544096A (zh) * | 2022-11-22 | 2022-12-30 | 深圳市东信时代信息技术有限公司 | 数据查询方法、装置、计算机设备及存储介质 |
CN116136801A (zh) * | 2021-11-12 | 2023-05-19 | 中国联合网络通信集团有限公司 | 云平台的数据处理方法、装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107844519A (zh) * | 2017-10-09 | 2018-03-27 | 平安科技(深圳)有限公司 | 电子装置、数据库查询脚本生成方法及存储介质 |
CN108564250A (zh) * | 2018-03-07 | 2018-09-21 | 中国平安人寿保险股份有限公司 | 转发记录实时查看系统、方法、计算机设备及存储介质 |
CN109032611A (zh) * | 2018-06-06 | 2018-12-18 | 平安科技(深圳)有限公司 | 脚本部署方法、装置、计算机设备及存储介质 |
CN109919691A (zh) * | 2019-02-27 | 2019-06-21 | 腾讯科技(深圳)有限公司 | 一种数据处理的系统、方法以及装置 |
CN110866007A (zh) * | 2019-10-12 | 2020-03-06 | 中国平安财产保险股份有限公司 | 大数据应用和表的信息管理方法、系统和计算机设备 |
-
2020
- 2020-11-10 CN CN202011247778.4A patent/CN112163131A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107844519A (zh) * | 2017-10-09 | 2018-03-27 | 平安科技(深圳)有限公司 | 电子装置、数据库查询脚本生成方法及存储介质 |
CN108564250A (zh) * | 2018-03-07 | 2018-09-21 | 中国平安人寿保险股份有限公司 | 转发记录实时查看系统、方法、计算机设备及存储介质 |
CN109032611A (zh) * | 2018-06-06 | 2018-12-18 | 平安科技(深圳)有限公司 | 脚本部署方法、装置、计算机设备及存储介质 |
CN109919691A (zh) * | 2019-02-27 | 2019-06-21 | 腾讯科技(深圳)有限公司 | 一种数据处理的系统、方法以及装置 |
CN110866007A (zh) * | 2019-10-12 | 2020-03-06 | 中国平安财产保险股份有限公司 | 大数据应用和表的信息管理方法、系统和计算机设备 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112748909A (zh) * | 2021-01-22 | 2021-05-04 | 平安普惠企业管理有限公司 | 基于神经网络模型的数据修改方法、装置、设备及介质 |
CN113535724A (zh) * | 2021-07-13 | 2021-10-22 | 蘑菇物联技术(深圳)有限公司 | 数据处理方法、装置及计算机可读存储介质 |
CN116136801A (zh) * | 2021-11-12 | 2023-05-19 | 中国联合网络通信集团有限公司 | 云平台的数据处理方法、装置、电子设备及存储介质 |
CN116136801B (zh) * | 2021-11-12 | 2024-02-23 | 中国联合网络通信集团有限公司 | 云平台的数据处理方法、装置、电子设备及存储介质 |
CN114595159A (zh) * | 2022-05-10 | 2022-06-07 | 太平金融科技服务(上海)有限公司 | 测试数据生成方法、装置、设备及存储介质 |
CN114595159B (zh) * | 2022-05-10 | 2022-09-02 | 太平金融科技服务(上海)有限公司 | 测试数据生成方法、装置、设备及存储介质 |
CN115544096A (zh) * | 2022-11-22 | 2022-12-30 | 深圳市东信时代信息技术有限公司 | 数据查询方法、装置、计算机设备及存储介质 |
CN115544096B (zh) * | 2022-11-22 | 2023-03-28 | 深圳市东信时代信息技术有限公司 | 数据查询方法、装置、计算机设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112163131A (zh) | 业务数据查询平台的配置方法、装置、计算机设备及介质 | |
CN113516297A (zh) | 基于决策树模型的预测方法、装置和计算机设备 | |
CN112632575A (zh) | 业务系统的权限管理方法、装置、计算机设备及存储介质 | |
CN109359939A (zh) | 业务数据校验方法、装置、计算机设备和存储介质 | |
CN111737963B (zh) | 基于配置文件的表单填写方法、装置和计算机设备 | |
CN112347310A (zh) | 事件处理信息的查询方法、装置、计算机设备和存储介质 | |
CN110633963A (zh) | 电子票据处理方法、装置、计算机可读存储介质和设备 | |
CN112637282B (zh) | 信息推送方法、装置、计算机设备和存储介质 | |
CN112329865A (zh) | 基于自编码器的数据异常识别方法、装置和计算机设备 | |
WO2022105139A1 (zh) | 数据库的数据对象关系图谱生成方法、装置、设备及介质 | |
CN113127450A (zh) | 数据的维护方法、装置、计算机设备及存储介质 | |
CN112667499A (zh) | 页面组件的测试方法、装置、计算机设备及存储介质 | |
CN112668041A (zh) | 单证文件的生成方法、装置、计算机设备和存储介质 | |
CN111831908A (zh) | 医疗领域知识图谱构建方法、装置、设备及存储介质 | |
CN113282514A (zh) | 问题数据的处理方法、装置、计算机设备和存储介质 | |
CN113435990B (zh) | 基于规则引擎的凭证生成方法、装置和计算机设备 | |
CN112836061A (zh) | 智能推荐的方法、装置以及计算机设备 | |
CN111880921A (zh) | 基于规则引擎的作业处理方法、装置和计算机设备 | |
CN113660229B (zh) | 基于rpa的多系统单点登录方法、装置、设备及介质 | |
CN114817055A (zh) | 基于接口的回归测试方法、装置、计算机设备和存储介质 | |
CN113986581A (zh) | 数据聚合处理方法、装置、计算机设备和存储介质 | |
CN113327037A (zh) | 基于模型的风险识别方法、装置、计算机设备和存储介质 | |
CN113051372A (zh) | 材料数据的处理方法、装置、计算机设备和存储介质 | |
CN112965981A (zh) | 数据核对方法、装置、计算机设备和存储介质 | |
CN113077185B (zh) | 工作量评估方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |