CN113934727B

CN113934727B - 多源异构金融数据的适配性采集与处理系统及其方法

Info

Publication number: CN113934727B
Application number: CN202111205235.0A
Authority: CN
Inventors: 吴仁水; 崔树林
Original assignee: Zhuhai Befash Network Technology Co ltd
Current assignee: Zhuhai Befash Network Technology Co ltd
Priority date: 2021-10-15
Filing date: 2021-10-15
Publication date: 2022-04-29
Anticipated expiration: 2041-10-15
Also published as: CN113934727A

Abstract

本发明提出多源异构金融数据的适配性采集与处理系统，包括：接收多个异构终端实时产生的金融数据存取请求的数据接收子系统；识别金融数据存取请求的属性的数据识别子系统；将多个金融数据执行关联后得到多个待处理金融数据集的数据关联子系统；将待处理金融数据集发送至数据处理子系统，数据处理子系统调用多个场景处理模型和/或数据库模型执行金融数据存取处理。数据识别子系统还包括负载分离模块，对当前金融数据存取请求执行读写分离，将当前金融数据存取请求分为读操作请求，和/或，写操作请求。本发明还公开多源异构金融数据的适配性采集与处理方法、实现方法的电子设备。本发明能够有针对性的实现多源异构金融数据的适配性采集与处理。

Description

多源异构金融数据的适配性采集与处理系统及其方法

技术领域

本发明属于金融数据处理与采集技术领域，尤其涉及一种多源异构金融数据的适配性采集与处理系统、方法、以及实现所述方法的电子设备。

背景技术

金融是货币资金融通的总称。主要指与货币流通和银行信用相关的各种活动。主要内容包括：货币的发行、投放、流通和回笼；各种存款的吸收和提取；各项贷款的发放和收回；银行会计、出纳、转账、结算、保险、投资、信托、租赁、汇兑、贴现、抵押、证券买卖以及国际间的贸易和非贸易的结算、黄金白银买卖、输出、输入等。金融数据通过各种金融终端(包括硬件和软件)产生。

在实际金融场景中，产生金融数据的终端类型多种多样，金融终端具有不同的硬件架构或者软件架构，其具有不同的金融数据产生方式。采集多种金融数据后，通过后台大数据模型进行分析和处理，从而给出针对性的响应和反馈。金融数据处理是指将收集到的数据，采用一定的手段、按照一定的程序和要求加工成符合目的要求数据的过程。

中国发明专利申请CN113204603A提出一种金融数据资产的类别标注方法及装置，该方法包括：对金融数据资产进行标签特征抽取，得到该金融数据资产的专业标签；对特定用户展示该金融数据资产，并接收该特定用户对该金融数据资产所添加的用户标签；经过关联分析获取基于该专业标签及该用户标签的标签关联规则，并基于该标签关联规则对该金融数据资产进行类别标注。通过本发明的上述实施例，可以解决相关技术中的金融数据资产的类别标注方式脱离真实的业务场景以及无法高效灵活地实现金融数据资产的类别标注的问题，达到低成本、快速灵活地为金融数据资产标注符合业务实际场景的类别的效果，从而为实现金融数据资产的自动分类提供支持。

然而，由于产生金融数据的终端类型多种多种，多源异构的终端产生金融数据的方式也存在差异，产生的金融数据请求的源端和目的端也各不相同，操作目的也存在差异。如果采用同一方式进行数据采集、识别与处理，会导致系统额外承担较多的数据处理量，数据采集、处理的效率较低。

发明内容

为解决上述技术问题，本发明提出一种多源异构金融数据的适配性采集与处理系统、方法、以及实现所述方法的可视化电子终端设备。

在本发明的第一个方面，提出一种多源异构金融数据的适配性采集与处理系统，所述系统包括数据接收子系统、数据识别子系统、数据关联子系统以及数据处理子系统。

在功能架构上，所述数据接收子系统用于接收多个异构终端实时产生的金融数据存取请求；

所述多个异构终端的类型包括桌面金融终端、便携式金融终端以及柜式固定终端，不同类型的金融终端的硬件和/或软件架构不同；

作为改进，所述数据识别子系统用于识别所述金融数据存取请求的属性，所述属性与产生所述金融数据的异构终端的类型相关联；

所述数据关联子系统用于将多个金融数据执行关联后得到多个待处理金融数据集；

将所述待处理金融数据集发送至所述数据处理子系统，所述数据处理子系统调用多个场景处理模型和/或数据库模型执行金融数据存取处理。

作为进一步的改进，所述数据识别子系统还包括负载分离模块，所述负载分离模块用于对当前金融数据存取请求执行读写分离，将当前金融数据存取请求分为读操作请求，和/或，写操作请求。

作为上述改进的更具体的关键技术手段，所述数据识别子系统还包括金融场景识别引擎；

所述数据识别子系统将每个金融数据存取请求经过所述负载分离模块分离出来的写操作请求，发送至所述金融场景识别引擎；

所述金融场景识别引擎识别出写操作请求对应的金融场景；

所述数据关联子系统基于所述识别出的场景信息，将多个写操作请求关联得到多个待处理金融数据集。

作为本发明的另一个改进，所述数据识别子系统还包括第一读请求存储栈和第二写请求存储栈；当所述存储栈满栈时，将所述满栈的存储栈存储的数据一次性发送，并清空存储栈。

在本发明的第二个方面，基于第一个方面所述的多源异构金融数据的适配性采集与处理系统，本发明提出一种多源异构金融数据的适配性采集与处理方法，所述方法采集多个异构终端发送的金融数据并进行处理，

具体来说，所述方法包括如下步骤：

S701：通过多个并行数据通道接收多个异构终端产生的金融数据交互请求；

S703：对每个金融数据交互请求进行属性识别，基于属性识别的结果，将每个金融数据交互请求存贮至相应的数据分组；

S705：根据预先设定的负载分离条件，对数据分组存储的金融数据交互请求执行负载分离，得到对应于数据分组的读操作请求集合和写操作请求集合；

S707：将写操作请求集合作为预先训练的金融场景识别引擎的输入，将读操作请求集合作为预先训练的目标数据库估计引擎的输入；

S709：基于所述金融场景识别引擎的输出，和/或，所述目标数据库估计引擎的输出，将多个金融数据执行关联后得到多个待处理金融数据集；

S711：调用多个场景处理模型和/或数据库模型执行金融数据存取处理。

所述步骤S705还包括：

将所述读操作请求集合和写操作请求集合存储至存储栈；

当存储栈满栈时，将满栈的存储栈存储的数据作为预先训练的金融场景识别引擎的输入，或者预先训练的目标数据库估计引擎的输入。

作为进一步的改进，所述步骤S705还具体包括如下子步骤：

S7050：判断数据分组是否符合预先设定的负载分离条件，如果是，则进入下一子步骤S7051，否则，跳转至步骤S711；

S7051：对当前数据分组包含的金融数据交互请求执行负载分离，得到对应于数据分组的读操作请求集合和写操作请求集合；

S7052：将所述读请求存储至第一读请求存储栈，将所述写请求存储至第二写请求存储栈；

S7053：判断所述第一读请求存储栈是否满栈，或者判断所述第二写请求存储栈是否满栈；

如果是，则进入步骤S707，否则，返回步骤S701。

第二个方面的所述方法可以通过包含处理器和存储器的电子装置，尤其是可视化图像处理终端设备，包括移动终端、桌面终端、服务器以及服务器集群等，通过程序指令自动化的执行，因此，在本发明的第三个方面，还提供一种包含计算机可读存储介质的可视化终端设备，所述可视化终端包含计算机可读存储介质，其上存储有计算机程序指令或者一种电子装置，包括处理器、存储器、通信接口，通过包含处理器和存储器的图像终端处理设备和电子装置，执行所述程序指令，用于实现所述方法的全部或者部分步骤。所述处理器和存储器通过总线连接，构成终端设备的内部通信。

本发明的技术方案，通过识别金融数据存取请求的属性后执行负载分离操作；通过金融场景识别引擎识别出写操作请求对应的金融场景；将多个写操作请求关联得到多个待处理金融数据集；通过目标数据库估计引擎估计出与所述读操作请求关联的目标数据库；将多个读操作请求关联得到多个待处理金融数据集，并且使用缓存栈满栈的方式进行数据发送，不仅能够有针对性的实现多源异构金融数据的适配性采集与处理，而且数据处理方式效率更高，更为节省系统资源。

本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的一种多源异构金融数据的适配性采集与处理系统的子系统组成图

图2是图1所述一种多源异构金融数据的适配性采集与处理系统的部分子系统内部功能流程图

图3是图1所述实施例中数据处理子系统对于待处理金融数据集的处理反馈示意图

图4是基于图1所述系统实现的一种多源异构金融数据的适配性采集与处理方法的主体流程图

图5是图4所述方法的进一步优选实施例的步骤程序示意图

图6是实现图5所述方法的存储介质以及可视化电子设备终端示意图

具体实施方式

下面，结合附图以及具体实施方式，对发明做出进一步的描述。

参照图1，是本发明一个实施例的一种多源异构金融数据的适配性采集与处理系统。

在图1中，示出了所述系统的四个子系统，包括数据接收子系统、数据识别子系统、数据关联子系统以及数据处理子系统。

在功能上，所述数据接收子系统用于接收多个异构终端实时产生的金融数据存取请求；

所述数据识别子系统用于识别所述金融数据存取请求的属性，所述属性与产生所述金融数据的异构终端的类型相关联；

作为图1的更具体的实施例，在图1基础上，参见图2。

图2中，所述数据识别子系统还包括负载分离模块，所述负载分离模块用于对当前金融数据存取请求执行读写分离，将当前金融数据存取请求分为读操作请求，和/或，写操作请求。

并且，所述数据识别子系统还包括金融场景识别引擎以及目标数据库估计引擎；

对应于所述负载分离模块，图2中所述数据识别子系统还包括第一读请求存储栈和第二写请求存储栈；

所述第一读请求存储栈用于存储所述读请求；所述第二写请求存储栈用于存储所述写请求。

下面，结合图2的具体结构，进一步介绍图1所述系统的具体工作流程。

首先，所述数据接收子系统用于接收多个异构终端实时产生的金融数据存取请求。

在本发明的各个实施例中，所述多个异构终端的类型包括桌面金融终端、便携式金融终端以及柜式固定终端，不同类型的金融终端的硬件和/或软件架构不同；

接下来，所述数据识别子系统用于识别所述金融数据存取请求的属性，所述属性与产生所述金融数据的异构终端的类型相关联。

具体的，所述数据识别子系统识别所述金融数据存取请求的属性，具体包括：

识别当前金融数据存取请求来自于桌面金融终端、便携式金融终端还是柜式固定终端。

然后，所述数据识别子系统根据所述金融数据存取请求的属性，判断是否对当前金融数据存取请求执行负载分离操作；

作为本发明的优点之一，本发明的技术方案仅针对来自于桌面金融终端、便携式金融终端的金融数据存取请求执行负载分离操作，而对来自柜式固定终端的金融数据存取请求不执行负载分离操作，直接进行后续处理。

此时，将所述读操作请求集合和写操作请求集合存储至存储栈；

接下来，在一个方面，所述数据识别子系统将每个金融数据存取请求经过所述负载分离模块分离出来的写操作请求，发送至所述金融场景识别引擎；所述金融场景识别引擎识别出写操作请求对应的金融场景；

在另一个方面，所述数据识别子系统将每个金融数据存取请求经过所述负载分离模块分离出来的读操作请求，发送至所述目标数据库估计引擎；所述目标数据库估计引擎估计出与所述读操作请求关联的目标数据库；所述数据关联子系统基于所述估计出的目标数据库信息，将多个读操作请求关联得到多个待处理金融数据集。

在上述过程中，所述第一读请求存储栈用于存储所述读请求；所述第二写请求存储栈用于存储所述写请求；当所述存储栈满栈时，将所述满栈的存储栈存储的数据一次性发送，并清空存储栈。

例如，当所述第一读请求存储栈满栈时，将第一读请求存储栈存储的全部读请求发送至所述目标数据库估计引擎；当所述第二写请求存储栈满栈时，将所述第二写请求存储栈存储至的全部写请求发送至金融场景识别引擎。

本实施例采用负载分离之后的操作请求关联的方式，并且基于满栈的方式进行数据发送，可以提高数据处理效率。而现有技术中，对于用户终端的访问请求都是一视同仁的处理，而不考虑其分类。但是，发明人发现，不同类别的用户请求要处理的资源级别存在很大差异，如果不考虑这种差异，就要调用最大程序的资源进行数据处理，从而造成了资源的不必要浪费和调用，反而降低数据处理效率；

同时，采用缓存栈满足一定的预设条件(满栈)时才统一执行数据发送操作，避免了频繁的数据发送，降低数据流冲击。

接下来参见图3，在关联后得到多个待处理金融数据集之后，将所述待处理金融数据集发送至所述数据处理子系统，所述数据处理子系统调用多个场景处理模型和/或数据库模型执行金融数据存取处理，并生成对应的反馈结果，返回相对应的多个异构终端，简称反馈终端。

基于图1-图3的硬件架构以及功能实现原理，参见图4，图4给出了基于图1所述系统实现的一种多源异构金融数据的适配性采集与处理方法的主体流程图，所述方法采集多个异构终端发送的金融数据并进行处理。

在图4中，示出了6个主要步骤S701-S711，各个步骤具体实现如下：

在上述实施例中，所述金融场景识别引擎的输出为所述写操作请求对应的金融场景；所述述目标数据库估计引擎的输出为与所述读操作请求关联的目标数据库。

作为进一步的改进，所述步骤S705还包括：

将所述读操作请求集合和写操作请求集合存储至存储栈；

因此，仅一步参见图5，在图4的基础上，所述方法进一步可实现为图5所述的流程图，其中，所述步骤S705还具体包括如下子步骤：

如果是，则进入步骤S707，否则，返回步骤S701。

相对应的，所述步骤S707具体实现为：当所述第一读请求存储栈满栈时，将第一读请求存储栈存储的全部读请求发送至所述目标数据库估计引擎；当所述第二写请求存储栈满栈时，将所述第二写请求存储栈存储至的全部写请求发送至金融场景识别引擎。

图5或图4上述方法的全部或者部分步骤可以通过包含处理器和存储器的可视化终端设备，尤其是图像处理终端设备，包括移动终端、桌面终端、服务器以及服务器集群等，通过程序指令自动化的执行。

因此，参见图6，本实施例还提供可视化终端，包含计算机可读存储介质，其上存储有计算机程序指令；通过包含处理器和存储器的图像终端处理设备，执行所述程序指令，用于实现所述方法的全部或者部分步骤。所述处理器和存储器通过总线连接，构成终端设备的内部通信。

本发明通过识别金融数据存取请求的属性后按照其属性类别判断是否执行负载分离操作，在预处理阶段即契合金融数据实际场景；然后，通过金融场景识别引擎识别出写操作请求对应的金融场景；将多个写操作请求关联得到多个待处理金融数据集；通过目标数据库估计引擎估计出与所述读操作请求关联的目标数据库；将多个读操作请求关联得到多个待处理金融数据集，并且使用缓存栈满栈的方式进行数据发送，不仅能够有针对性的实现多源异构金融数据的适配性采集与处理，而且数据处理方式效率更高，更为节省系统资源。

本发明的一个或多个实施例可以实现上述一个或者多个技术效果，但并不要求每一个实施例都同时达到上述的全部效果。

本发明未特别明确的部分模块结构，以现有技术记载的内容为准。本发明在前述背景技术部分提及的现有技术可作为本发明的一部分，用于理解部分技术特征或者参数的含义。本发明的保护范围以权利要求实际记载的内容为准。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims

1.一种多源异构金融数据的适配性采集与处理系统，所述系统包括数据接收子系统、数据识别子系统、数据关联子系统以及数据处理子系统；

其特征在于：

所述数据接收子系统用于接收多个异构终端实时产生的金融数据存取请求；

2.如权利要求1所述的一种多源异构金融数据的适配性采集与处理系统，其特征在于：

所述多个异构终端的类型包括桌面金融终端、便携式金融终端以及柜式固定终端；

所述数据识别子系统识别所述金融数据存取请求的属性，具体包括：

3.如权利要求1所述的一种多源异构金融数据的适配性采集与处理系统，其特征在于：

所述数据识别子系统还包括负载分离模块，所述负载分离模块用于对当前金融数据存取请求执行读写分离，将当前金融数据存取请求分为读操作请求，和/或，写操作请求。

4.如权利要求3所述的一种多源异构金融数据的适配性采集与处理系统，其特征在于：

所述数据识别子系统还包括金融场景识别引擎；

所述金融场景识别引擎识别出写操作请求对应的金融场景；

5.如权利要求3所述的一种多源异构金融数据的适配性采集与处理系统，其特征在于：

所述数据关联子系统还包括目标数据库估计引擎；

所述数据识别子系统将每个金融数据存取请求经过所述负载分离模块分离出来的读操作请求，发送至所述目标数据库估计引擎；

所述目标数据库估计引擎估计出与所述读操作请求关联的目标数据库；

所述数据关联子系统基于所述估计出的目标数据库信息，将多个读操作请求关联得到多个待处理金融数据集。

6.如权利要求3所述的一种多源异构金融数据的适配性采集与处理系统，其特征在于：

所述数据识别子系统还包括第一读请求存储栈和第二写请求存储栈；

所述第一读请求存储栈用于存储所述读请求；

所述第二写请求存储栈用于存储所述写请求；

当所述存储栈满栈时，将所述满栈的存储栈存储的数据一次性发送，并清空存储栈。

7.一种多源异构金融数据的适配性采集与处理方法，所述方法采集多个异构终端发送的金融数据并进行处理，

其特征在于，所述方法包括如下步骤：

8.如权利要求7所述的一种多源异构金融数据的适配性采集与处理方法，其特征在于：

所述金融场景识别引擎的输出为所述写操作请求对应的金融场景；

所述述目标数据库估计引擎的输出为与所述读操作请求关联的目标数据库。

9.如权利要求7所述的一种多源异构金融数据的适配性采集与处理方法，其特征在于：

所述步骤S705还包括：

将所述读操作请求集合和写操作请求集合存储至存储栈；

10.一种电子设备，所述电子设备包含存储器与处理器，所处存储器包含计算机可读存储介质，其上存储有计算机程序指令，通过处理器执行所述程序指令，用于实现权利要求7-9任一项所述的方法的全部或者部分步骤。