CN113032115A - 一种银行数据调度的方法、设备及介质 - Google Patents
一种银行数据调度的方法、设备及介质 Download PDFInfo
- Publication number
- CN113032115A CN113032115A CN202110218393.3A CN202110218393A CN113032115A CN 113032115 A CN113032115 A CN 113032115A CN 202110218393 A CN202110218393 A CN 202110218393A CN 113032115 A CN113032115 A CN 113032115A
- Authority
- CN
- China
- Prior art keywords
- data
- instruction
- banking
- preprocessing
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/02—Banking, e.g. interest calculation or account maintenance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Accounting & Taxation (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Evolutionary Biology (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
本申请公开了一种银行数据调度的方法、设备及介质,方法包括:数据平台确定预先通过具有相应资质的第三方机构获取的原始数据;通过规则配置模块获取预存的预处理指令,并根据预处理指令从所述原始数据中获取与预处理指令相关的第一数据;通过预处理指令对第一数据进行预处理,得到预处理后的第二数据;接收银行发送的银行业务指令,并根据银行业务指令,确定所需的第三数据;通过预先训练的分析模型,以及第三数据,得到银行业务指令对应的银行业务数据。能够带来如下有益效果:能够帮助银行及时准确的获取其所需的业务数据,避免了数据混乱和数据失效,提高了银行数据管理的效率,降低了业务办理的风险。
Description
技术领域
本申请涉及数据调度领域,具体涉及一种银行数据调度的方法、设备及介质。
背景技术
随着社会经济水平的不断增长,银行涉及的业务种类不断增多,银行的系统不断扩充,平台架构日益复杂。在银行的系统中,对于数据的无序规划以及信息孤岛的情况普遍存在。
此外,由于手机银行、微信银行、网上银行等各种类型的线上银行已经基本建立,银行系统对于大数据处理的方法逐渐落后,具有时效性的数据不断流失,重要数据难以及时查询获得,银行系统出现了业务办理时间长、业务数据评估不准确等亟待解决的问题。
发明内容
为了解决上述问题,即为了解决银行系统难以及时查询得到重要数据,导致业务办理时间过长,业务数据评估不准确的问题,本申请提出了一种银行数据调度的方法、设备及介质,包括:
第一方面,本申请提出了一种银行数据调度的方法,包括:数据平台确定预先通过具有相应资质的第三方机构获取的原始数据;通过规则配置模块获取预存的预处理指令,并根据所述预处理指令从所述原始数据中获取与所述预处理指令相关的第一数据;通过所述预处理指令对所述第一数据进行预处理,得到预处理后的第二数据;接收银行发送的银行业务指令,并根据所述银行业务指令,确定所需的第三数据;选取不能通过所述预存的预处理指令进行预处理的部分原始数据,和/或,部分所述第二数据,作为所述第三数据;通过预先训练的分析模型,以及所述第三数据,得到所述银行业务指令对应的银行业务数据。
在一个示例中,所述银行业务指令的数量为多个;接收银行发送的银行业务指令,并根据所述银行业务指令,确定所需数据之后,所述方法还包括:针对多个所述银行业务指令中的任意一个建立资源消耗预估模型,所述资源消耗资源模型中包括多个子模型,所述子模型用于反映所述银行业务指令中包含的任意一个指标所占用的计算资源;根据预设的匹配算法,以及所述资源消耗预估模型对多个所述银行业务指令进行资源分配。
在一个示例中,根据预设的匹配算法,以及所述资源消耗预估模型对多个所述银行业务指令进行资源分配,具体包括:针对多个所述银行业务指令中的任意一个,获取该银行业务指令中包含的预期时间;根据该银行业务指令对应的所述资源消耗预估模型,调取与所述资源消耗预估模型对应的计算资源,并生成该银行业务指令的预估完成时间;若所述预估时间大于所述预期时间,则为该银行业务指令调取更多的计算资源。
在一个示例中,接收银行发送的银行业务指令,并根据所述银行业务指令,确定所需数据之后,所述方法还包括:获取所述银行业务指令与所述预处理指令的相似值;若所述相似值大于第一预设阈值,则提高所述第二数据占据所述第三数据的权重比例,并降低所述原始数据占据所述第三数据的权重比例;若所述相似值不大于所述第一预设阈值,则降低所述第二数据占据所述第三数据的权重比例,并提高所述原始数据占据所述第三数据的权重比例。
在一个示例中,若所述相似值不大于所述第一预设阈值,则降低所述第二数据占据所述第三数据的权重比例,并提高所述原始数据占据所述第三数据的权重比例之后,所述方法还包括:通过预先训练的指标分析模型分析所述银行业务指令,剔除所述银行业务指令包含的附有标记的特殊指标,得到处理后的银行业务指令;获取所述处理后的银行业务指令与所述预处理指令的相似值,若所述相似值不小于所述第一预设阈值,则将所述处理后的银行业务指令添加至所述规则配置模块。
在一个示例中,通过所述预处理指令对所述第一数据进行预处理,得到预处理后的第二数据,具体包括:获取所述预处理指令包含的多个第一指标;根据所述第一指标,将所述第二数据中,与所述第一指标的相关值小于第二预设阈值的数据进行剔除,得到剔除后的第二数据;针对所述剔除后的第二数据数据中的任意一个,获取该数据与预设标准值之间的差值,若所述差值大于第三预设阈值,则对该数据进行修正,得到修正后的第二数据;将所述修正后的第二数据作为预处理后的数据。
在一个示例中,通过预先训练的分析模型,以及所述第三数据,得到所述银行业务指令对应的银行业务数据,具体包括:获取所述银行业务指令包含的多个第二指标;根据所述第二指标以及所述分析模型,将所述第三数据中,与所述第二指标的相关值小于第四预设阈值的数据进行剔除,得到剔除后的第三数据;针对所述剔除后的第三数据中的任意一个,获取该数据与预设标准值之间的差值,若所述差值大于第五预设阈值,则对该数据进行修正,得到修正后的第三数据;将所述修正后的第三数据作为银行业务数据。
在一个示例中,选取不能通过所述预存的预处理指令进行预处理的部分原始数据,和/或,部分所述第二数据,作为所述第三数据之前,所述方法还包括:将所述原始数据以及所述第二数据存储至数据库表,并针对所述数据库表建立数据全局索引和/或数据局部索引。
另一方面,本申请提出了一种银行数据调度的设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如下指令数据平台确定预先通过具有相应资质的第三方机构获取的原始数据;通过规则配置模块获取预存的预处理指令,并根据所述预处理指令从所述原始数据中获取与所述预处理指令相关的第一数据;通过所述预处理指令对所述第一数据进行预处理,得到预处理后的第二数据;接收银行发送的银行业务指令,并根据所述银行业务指令,确定所需的第三数据;选取不能通过所述预存的预处理指令进行预处理的部分原始数据,和/或,部分所述第二数据,作为所述第三数据;通过预先训练的分析模型,以及所述第三数据,得到所述银行业务指令对应的银行业务数据。
另一方面,本申请提出了一种非易失性计算机存储介质,存储有计算机可执行指令,所述计算机可执行指令设置为:数据平台确定预先通过具有相应资质的第三方机构获取的原始数据;通过规则配置模块获取预存的预处理指令,并根据所述预处理指令从所述原始数据中获取与所述预处理指令相关的第一数据;通过所述预处理指令对所述第一数据进行预处理,得到预处理后的第二数据;接收银行发送的银行业务指令,并根据所述银行业务指令,确定所需的第三数据;选取不能通过所述预存的预处理指令进行预处理的部分原始数据,和/或,部分所述第二数据,作为所述第三数据;通过预先训练的分析模型,以及所述第三数据,得到所述银行业务指令对应的银行业务数据。
通过本申请提出的一种银行数据调度的方法、设备及介质能够带来如下有益效果:能够帮助银行及时准确的获取其所需的业务数据,避免了数据混乱和数据失效,提高了银行数据管理的效率,降低了业务办理的风险。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例中一种银行数据调度的方法的流程示意图;
图2为本申请实施例中一种一行数据调度方法的框架示意图;
图3为本申请实施例中一种银行数据调度的设备的示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例中所述的一种银行数据调动的方法存储于相应的系统或服务器中,用户可以通过终端登录,以进入系统或服务器,从而使的银行实现对数据的调度,该终端可以是智能手机、平板电脑、个人计算机等具有相应功能的硬件设备,该终端中预装有相应系统或APP,可以登录至该种银行数据调度方法所在的系统或服务器。
以下结合附图,详细说明本申请各实施例提供的技术方案。
如图1和图2所示,本申请实施例提供一种银行数据调度的方法,包括:
S101、数据平台确定预先通过具有相应资质的第三方机构获取的原始数据。
具体地,通过提前搭建的数据平台来从具有相应资质的第三方机构获取原始数据,具有相应资质的第三方机构可以是相应的政务平台或者其他相应平台,能够提供用于银行业务处理的各项数据。
数据平台能够实时通过第三方机构获取原始数据,还能够实现对原始数据进行实时规则运算、存储和分析挖掘功能。此外,数据平台还能够结合银行内部的通用文件传输平台、统一调度平台以实现跟银行系统的实时通讯。
需要说明的是,数据平台可以使用技术成熟的Akka微服务器架构+Docker容器云技术作为数据平台流计算和数据服务组件的基础技术架构。Akka微服务架构可以通过消息机制避免内部共享资源的有锁冲突,降低了线程资源需求。同时,Akka微服务器架构可以实现内部架构各个级别的数据失败快速恢复、整体功能及服务的灵活打包部署,能够构建位置透明的集群服务体系。此外,使用Akka微服务器架构搭建的数据平台可以实现弹性扩容,随时增加其处理数据的能力,还可以实现差异化的硬件资源配置。此外,通过Actor模型对Akka微服务器架构进行设计时,可以实现Akka微服务器内部多层级资质监管机制,构建安全运行的防火墙和沙箱,微秒级的故障恢复速度,支持弹性部署多种集群部署模式,远程服务透明访问,多种可配置的负载均衡策略等。
S102、通过规则配置模块获取预存的预处理指令,并根据所述预处理指令从所述原始数据中获取与所述预处理指令相关的第一数据。
具体地,可以通过数据平台中预先配置的规则配置模块来获取预存的预处理指令,规则配置模块中预存有多个预处理指令,预处理指令是指各种银行业务类型。预处理指令包括但不限于:个人信贷、投资业务、资金放款、资金结算、资金担保、基金托管等,在本申请实施例中,以个人信贷作为预处理指令为例进行解释说明。
预处理指令可以包括多个指标,当该预处理指令为个人信贷时,多个指标包括但不限于:个人动产状况、个人不动产状况、个人贷款数额状况等指标。此外,可以使用规则引擎和Streaming SQL引擎对规则配置模块进行搭建,搭建好的规则配置模块可以实现可视化的规则配置页面和拖拽式指标配置,业务人员可以根据规则配置页面中预存的多个指标,对多个指标进行拖拽式的组合配置,以生成预处理指令。在业务人员通过规则配置页面对多个指标进行拖拽配置时,可以通过触摸设备屏幕、鼠标点击、键盘指令等方式进行直接操作,无需再次进行编程开发。搭建好的规则配置模块支持复杂的规则逻辑,支持弹性扩容,基于流数据的逻辑处理时间,即对多个指令进行拖拽配置时的时间可以达到100ms之内,提高了运行速度以及工作效率。
进一步地,可以根据预处理指令从原始数据中获取与该预处理指令相关的第一数据,该第一数据包括但不限于:个人所有动产的价值、个人所有不动产的价值、动产及不动产的购置时间、当前个人贷款数目、直系亲属当前贷款数目等。
S103、通过所述预处理指令对所述第一数据进行预处理,得到预处理后的第二数据。
具体地,首先获取预处理指令包含的多个第一指标,在本申请实施例中,多个第一指标可以设定为:个人动产状况、个人不动产状况、个人贷款数额状况,第一数据可以设定为:个人所有动产的价值、个人所有不动产的价值、动产及不动产的购置时间、当前个人贷款数目、直系亲属当前贷款数目。
进一步地,可以根据上述第一指标,将第二数据中与第一指标的相关值小于第二预设阈值的数据进行剔除,得到剔除后的第二数据。在本申请实施例中,可以使用预先训练的分析模型对第一指标和第二数据进行相关值分析,该分析模型可以是任意一种现有的神经网络模型,在此不做过多限定。此外,第二预设阈值可以根据实际情况进行设定,其具体数值在此不做过多限定。在本申请实施例中,第二数据中的直系亲属当前贷款数目与第一指标的相关值可以小于第二预设阈值,因此可以将该数据进行剔除,得到剔除后的第二数据。
更进一步地,针对剔除后的第二数据中的任意一个,获取该数据与预设标准值之间的差值,若该差值大于第三预设阈值,则对该数据进行修正,得到修正后的第二数据,并将该修正后的第二数据作为预处理后的数据。在本申请实施例中,每一项数据都预设有对应的标准值,该标准值用于,评价该数据的真实性,若该数据与对应的标准值差值大于第三预设阈值,则说明该数据的真实性较低,可能存在数据错录、虚假数据的状况,针对于此种数据,可以使用预设的修正算法对该数据进行修正,以使其更加具有真实性。需要说明的是,每一项数据对应的标准值都可以根据实际情况做不同的设定,其具体数值在此不做具体限定,修正算法可以使用任何一种现有的修正算法,在此也不做具体限定。
需要说明的是,上述针对第二数据进行预处理的数据处理规则只是多种处理规则中的一种,数据处理规则可以根据实际情况进行重新设计或变动。在对第二数据进行预处理的过程中,为了应对各项第二数据对数据处理规则的变动,减少使用硬编码实现流计算组件的工作量,可以引入开源的Drools规则引擎。Drools规则引擎速度快、效率高,且具有强大的规则冲突能力,并且完全开源,使用Java编写,方便基于其进行开发。
S104、接收银行发送的银行业务指令,并根据所述银行业务指令,确定所需的第三数据。
具体地,通过数据平台与银行之间的通讯通道,接收由银行发送的银行业务指令,并根据银行业务指令,确定该银行业务指令所需的第三数据。银行业务指令包括但不限于:个人信贷、投资业务、资金放款、资金结算、资金担保、基金托管等。在本申请实施例中,以将银行业务指令设定为个人信贷为例,进行解释说明。
S105、选取不能通过所述预存的预处理指令进行预处理的部分原始数据,和/或,部分所述第二数据,作为所述第三数据。
具体地,由于银行业务指令为个人信贷,而针对个人信贷,数据平台已经对相关数据做出了预处理,但是银行业务指令中包含的指标与预处理指令中包含的指标不一定完全相同,因此,直接将预处理后的数据作为第三数据可能造成数据不全的情况。因此,可以从未经过预处理的原始数据中进行选取,和/或从第二数据中进行选取,将两种数据进行混合搭配,作为第三数据。
在选取第三数据之前,可以将原始数据以及第二数据存储值数据表,并针对数据表建立数据全局索引和/或数据局部索引。其中,可以通过Jdbc驱动直接使用标准的SQL在Hyperbase表上进行数据库表的相关操作,建立支持全局索引、局部索引的数据表。
S106、通过预先训练的分析模型,以及所述第三数据,得到所述银行业务指令对应的银行业务数据。
具体地,首先获取银行业务指令包含的多个第二指标,在本申请实施例中,多个第二指标可以设定为:个人动产状况、个人不动产状况、个人贷款数额状况、直系亲属贷款数额状况,第三数据可以设定为:个人所有动产的价值、个人所有不动产的价值、动产及不动产的购置时间、当前个人贷款数目、直系亲属当前贷款数目、直系亲属所有的动产及不动产的价值。
进一步地,可以根据上述第二指标,将第三数据中与第二指标的相关值小于第四预设阈值的数据进行剔除,得到剔除后的第三数据。在本申请实施例中,可以使用预先训练的分析模型对第二指标和第三数据进行相关值分析,该分析模型可以是任意一种现有的神经网络模型,在此不做过多限定。此外,第四预设阈值可以根据实际情况进行设定,其具体数值在此不做过多限定。在本申请实施例中,第三数据中的直系亲属所有的动产及不动产的价值与第二指标的相关值可以小于第四预设阈值,因此可以将该数据进行剔除,得到剔除后的第三数据。
更进一步地,针对剔除后的第三数据中的任意一个,获取该数据与预设标准值之间的差值,若该差值大于第五预设阈值,则对该数据进行修正,得到修正后的第三数据,并将该修正后的第三数据作为银行业务数据。在本申请实施例中,每一项数据都预设有对应的标准值,该标准值用于,评价该数据的真实性,若该数据与对应的标准值差值大于第五预设阈值,则说明该数据的真实性较低,可能存在数据错录、虚假数据的状况,针对于此种数据,可以使用预设的修正算法对该数据进行修正,以使其更加具有真实性。需要说明的是,每一项数据对应的标准值都可以根据实际情况做不同的设定,其具体数值在此不做具体限定,修正算法可以使用任何一种现有的修正算法,在此也不做具体限定。
需要说明的是,数据平台中提供有Scala语言接口,开发数据挖掘和深度学习的相关模型,可以针对第三数据进行分布式挖掘和模型训练。
在一个实施例中,若银行业务指令的数量是多个时,在接收到由银行发送的银行业务指令,并根据银行业务指令,确定所需数据之后,还可以针对多个银行业务指令中的任意一个,建立资源消耗预估模型,该资源消耗预估模型中包括多个子模型,该子模型可以用于反映该银行业务指令中包含的任意一个指标所占用的计算资源。之后,可以根据预设的匹配算法,以及资源消耗预估模型对多个银行业务指令进行资源分配。
具体地,可以针对银行业务指令中的任意一个,获取该银行业务指令中包含的预期时间,需要说明的是,该预期时间是由银行业务人员填写,代表了其对于数据需求的缓急程度。根据银行业务指令对应的资源消耗预估模型,调取资源消耗预估模型对应的计算资源,并生成该银行业务指令的预估完成时间,该预估完成时间可以使用任意一种时间预估算法完成,其具体算法在此不做具体限定。若预估时间大于上述预期时间,则为该银行业务指令调取更多的计算资源,以使其尽量满足预期时间。
需要说明的是,对于稳定的系统而言,数据处理完成的时间取决于节点的个数和平均处理量,在时间优先级控制中,根据最大吞吐率原则,优先级将随着时间加速递增。但对于一个系统而言,如果没有考虑到当前银行业务指令占据系统计算资源的比重,节点的时间浪费就会比较严重,产生负载不均匀的现象。因此可以把每次处理的节点结合该银行业务指令所占据节点的路径以及系统当前的负载情况,通过参数控制来实现系统的均衡负载,保证每一项银行业务指令的处理时间。
负载情况计算模型包括:银行业务指令完全消耗掉当前节点B+树的时间+当前节点资源Hash队列完全消耗掉的时间>节点Buffer更新时间,且Buffer长度<B+树最大容积+Hash队列长度时,系统才能保证正常运作。
在一个实施例中,接收银行发送的银行业务指令,并根据该银行业务指令,确定所需数据后,还可以获取银行业务指令与预处理指令的相似值,相似值可以采用任意一种神经网络模型进行分析获得,其对比原理是分析银行业务指令与预处理指令分别包含的指标的差异。若相似值大于第一预设阈值,说明银行业务指令与预处理指令足够相似,则提高上述第二数据占据第三数据的权重比例,并降低原始数据占据第三数据的权重比例,可以提高数据处理时间,节省系统的计算资源。
若相似值不大于第一预设阈值,说明银行业务指令与预处理指令的差异较大,则降低第二数据占据第三数据的权重比例,并提高原始数据占据第三数据的比例,可以保证在最大化节省系统计算资源的基础上提高数据的准确性。此外,还可以通过预先训练的指标分析模型对银行业务指令进行分析,根据分析结果判断银行业务指令中是否包含有附有标记的特殊指标,该特殊指标可以由银行业务人员为其标记,表明该业务指令中,此条指标是针对该业务的特殊性而添加的,并不能反映此种业务的正常指标,例如,在个人信贷指令中,银行业务人员可以添加类似于三个月内所居住房产的电费证明等特殊指标。由于该特殊指标具有特殊性,因此可以将该指标进行剔除,得到处理后的银行业务指令。
进一步地,获取处理后的银行业务指令与预处理指令的相似值,若此时的相似值依然不小于第一预设阈值,则说明提出特殊指标的银行业务指令与预处理指令依然存在较大差异,则可以将处理后的银行业务指令添加至规则配置模块,作为一个全新的预处理指令。
在一个实施例中,本申请提供了一种银行数据调度的设备,如图3所示,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如下指令:
数据平台确定预先通过具有相应资质的第三方机构获取的原始数据;
通过规则配置模块获取预存的预处理指令,并根据所述预处理指令从所述原始数据中获取与所述预处理指令相关的第一数据;
通过所述预处理指令对所述第一数据进行预处理,得到预处理后的第二数据;
接收银行发送的银行业务指令,并根据所述银行业务指令,确定所需的第三数据;
选取不能通过所述预存的预处理指令进行预处理的部分原始数据,和/或,部分所述第二数据,作为所述第三数据;
通过预先训练的分析模型,以及所述第三数据,得到所述银行业务指令对应的银行业务数据。
在一个实施例中,本申请提供了一种非易失性计算机存储介质,存储有计算机可执行指令,所述计算机可执行指令设置为:
数据平台确定预先通过具有相应资质的第三方机构获取的原始数据;
通过规则配置模块获取预存的预处理指令,并根据所述预处理指令从所述原始数据中获取与所述预处理指令相关的第一数据;
通过所述预处理指令对所述第一数据进行预处理,得到预处理后的第二数据;
接收银行发送的银行业务指令,并根据所述银行业务指令,确定所需的第三数据;
选取不能通过所述预存的预处理指令进行预处理的部分原始数据,和/或,部分所述第二数据,作为所述第三数据;
通过预先训练的分析模型,以及所述第三数据,得到所述银行业务指令对应的银行业务数据。
本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备和介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本申请实施例提供的设备和介质与方法是一一对应的,因此,设备和介质也具有与其对应的方法类似的有益技术效果,由于上面已经对方法的有益技术效果进行了详细说明,因此,这里不再赘述设备和介质的有益技术效果。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种银行数据调度的方法,其特征在于,包括:
数据平台确定预先通过具有相应资质的第三方机构获取的原始数据;
通过规则配置模块获取预存的预处理指令,并根据所述预处理指令从所述原始数据中获取与所述预处理指令相关的第一数据;
通过所述预处理指令对所述第一数据进行预处理,得到预处理后的第二数据;
接收银行发送的银行业务指令,并根据所述银行业务指令,确定所需的第三数据;
选取不能通过所述预存的预处理指令进行预处理的部分原始数据,和/或,部分所述第二数据,作为所述第三数据;
通过预先训练的分析模型,以及所述第三数据,得到所述银行业务指令对应的银行业务数据。
2.根据权利要求1所述的一种银行数据调度的方法,其特征在于,所述银行业务指令的数量为多个;
接收银行发送的银行业务指令,并根据所述银行业务指令,确定所需数据之后,所述方法还包括:
针对多个所述银行业务指令中的任意一个建立资源消耗预估模型,所述资源消耗资源模型中包括多个子模型,所述子模型用于反映所述银行业务指令中包含的任意一个指标所占用的计算资源;
根据预设的匹配算法,以及所述资源消耗预估模型对多个所述银行业务指令进行资源分配。
3.根据权利要求2所述的一种银行数据调度的方法,其特征在于,根据预设的匹配算法,以及所述资源消耗预估模型对多个所述银行业务指令进行资源分配,具体包括:
针对多个所述银行业务指令中的任意一个,获取该银行业务指令中包含的预期时间;
根据该银行业务指令对应的所述资源消耗预估模型,调取与所述资源消耗预估模型对应的计算资源,并生成该银行业务指令的预估完成时间;
若所述预估时间大于所述预期时间,则为该银行业务指令调取更多的计算资源。
4.根据权利要求1所述的一种银行数据调度的方法,其特征在于,接收银行发送的银行业务指令,并根据所述银行业务指令,确定所需数据之后,所述方法还包括:
获取所述银行业务指令与所述预处理指令的相似值;
若所述相似值大于第一预设阈值,则提高所述第二数据占据所述第三数据的权重比例,并降低所述原始数据占据所述第三数据的权重比例;
若所述相似值不大于所述第一预设阈值,则降低所述第二数据占据所述第三数据的权重比例,并提高所述原始数据占据所述第三数据的权重比例。
5.根据权利要求4所述的一种银行数据调度的方法,其特征在于,若所述相似值不大于所述第一预设阈值,则降低所述第二数据占据所述第三数据的权重比例,并提高所述原始数据占据所述第三数据的权重比例之后,所述方法还包括:
通过预先训练的指标分析模型分析所述银行业务指令,剔除所述银行业务指令包含的附有标记的特殊指标,得到处理后的银行业务指令;
获取所述处理后的银行业务指令与所述预处理指令的相似值,若所述相似值不小于所述第一预设阈值,则将所述处理后的银行业务指令添加至所述规则配置模块。
6.根据权利要求1所述的一种银行数据调度的方法,其特征在于,通过所述预处理指令对所述第一数据进行预处理,得到预处理后的第二数据,具体包括:
获取所述预处理指令包含的多个第一指标;
根据所述第一指标,将所述第二数据中,与所述第一指标的相关值小于第二预设阈值的数据进行剔除,得到剔除后的第二数据;
针对所述剔除后的第二数据数据中的任意一个,获取该数据与预设标准值之间的差值,若所述差值大于第三预设阈值,则对该数据进行修正,得到修正后的第二数据;
将所述修正后的第二数据作为预处理后的数据。
7.根据权利要求1所述的一种银行数据调度的方法,其特征在于,通过预先训练的分析模型,以及所述第三数据,得到所述银行业务指令对应的银行业务数据,具体包括:
获取所述银行业务指令包含的多个第二指标;
根据所述第二指标以及所述分析模型,将所述第三数据中,与所述第二指标的相关值小于第四预设阈值的数据进行剔除,得到剔除后的第三数据;
针对所述剔除后的第三数据中的任意一个,获取该数据与预设标准值之间的差值,若所述差值大于第五预设阈值,则对该数据进行修正,得到修正后的第三数据;
将所述修正后的第三数据作为银行业务数据。
8.根据权利要求1所述的一种银行数据调度的方法,其特征在于,选取不能通过所述预存的预处理指令进行预处理的部分原始数据,和/或,部分所述第二数据,作为所述第三数据之前,所述方法还包括:
将所述原始数据以及所述第二数据存储至数据库表,并针对所述数据库表建立数据全局索引和/或数据局部索引。
9.一种银行数据调度的设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如下指令:
数据平台确定预先通过具有相应资质的第三方机构获取的原始数据;
通过规则配置模块获取预存的预处理指令,并根据所述预处理指令从所述原始数据中获取与所述预处理指令相关的第一数据;
通过所述预处理指令对所述第一数据进行预处理,得到预处理后的第二数据;
接收银行发送的银行业务指令,并根据所述银行业务指令,确定所需的第三数据;
选取不能通过所述预存的预处理指令进行预处理的部分原始数据,和/或,部分所述第二数据,作为所述第三数据;
通过预先训练的分析模型,以及所述第三数据,得到所述银行业务指令对应的银行业务数据。
10.一种非易失性计算机存储介质,存储有计算机可执行指令,其特征在于,所述计算机可执行指令设置为:
数据平台确定预先通过具有相应资质的第三方机构获取的原始数据;
通过规则配置模块获取预存的预处理指令,并根据所述预处理指令从所述原始数据中获取与所述预处理指令相关的第一数据;
通过所述预处理指令对所述第一数据进行预处理,得到预处理后的第二数据;
接收银行发送的银行业务指令,并根据所述银行业务指令,确定所需的第三数据;
选取不能通过所述预存的预处理指令进行预处理的部分原始数据,和/或,部分所述第二数据,作为所述第三数据;
通过预先训练的分析模型,以及所述第三数据,得到所述银行业务指令对应的银行业务数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110218393.3A CN113032115A (zh) | 2021-02-26 | 2021-02-26 | 一种银行数据调度的方法、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110218393.3A CN113032115A (zh) | 2021-02-26 | 2021-02-26 | 一种银行数据调度的方法、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113032115A true CN113032115A (zh) | 2021-06-25 |
Family
ID=76462394
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110218393.3A Pending CN113032115A (zh) | 2021-02-26 | 2021-02-26 | 一种银行数据调度的方法、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113032115A (zh) |
-
2021
- 2021-02-26 CN CN202110218393.3A patent/CN113032115A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108595157B (zh) | 区块链数据的处理方法、装置、设备和存储介质 | |
CN107230008B (zh) | 一种风险信息输出、风险信息构建方法及装置 | |
JP6709574B2 (ja) | 端末規則エンジンデバイス及び端末規則運用方法 | |
CN109255486B (zh) | 一种策略配置的优化方法及装置 | |
CN113792159A (zh) | 一种知识图谱数据融合方法和系统 | |
US9798788B1 (en) | Holistic methodology for big data analytics | |
CN110740194B (zh) | 基于云边融合的微服务组合方法及应用 | |
CN111882426A (zh) | 业务风险分类器训练方法、装置、设备及存储介质 | |
CN110019298A (zh) | 数据处理方法和装置 | |
CN106375360A (zh) | 一种图数据更新方法、装置及系统 | |
CN114282011A (zh) | 知识图谱的构建方法和装置、图计算方法及装置 | |
CN113849503A (zh) | 一种开放式大数据处理系统、方法及介质 | |
US11783221B2 (en) | Data exposure for transparency in artificial intelligence | |
CN112116313A (zh) | 一种基于员工画像的审批方法、设备及介质 | |
Romeijn et al. | Computational complexity of finding Pareto efficient outcomes for biobjective lot‐sizing models | |
CN111639998A (zh) | 一种基于区块链保障用户押金权益的方法、设备及介质 | |
CN116225958A (zh) | 故障预测方法、装置、存储介质及电子设备 | |
CN113032115A (zh) | 一种银行数据调度的方法、设备及介质 | |
CN115600818A (zh) | 多维评分方法、装置、电子设备和存储介质 | |
CN109582476A (zh) | 数据处理方法、装置及系统 | |
CN114170025A (zh) | 一种风险等级确定方法、装置、设备及存储介质 | |
US20220405631A1 (en) | Data quality assessment for unsupervised machine learning | |
US20220309384A1 (en) | Selecting representative features for machine learning models | |
US20230010147A1 (en) | Automated determination of accurate data schema | |
CN117011053A (zh) | 交易决策处理方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |