CN112948435A - 一种数据处理方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种数据处理方法、装置及电子设备，所述方法包括：按照预设的时间周期，定时从预设数据表中获取待匹配数据，所述待匹配数据包括第一字段值；查询并获取预设数据仓库中包含所述第一字段值的目标数据，所述预设数据仓库根据预先获取的预设系统产生的预设数据生成；根据所述目标数据包括的第二字段值更新所述预设数据表中所述待匹配数据对应的记录，生成目标数据表，本申请通过预先根据待获取数据的预设系统的预设数据生成数据仓库，实现了待获取数据的自动化匹配，避免了人工参与数据匹配导致的匹配效率低、成本高的问题。

Description

一种数据处理方法、装置及电子设备

技术领域

本发明涉及数据处理领域，尤其涉及一种数据处理方法、装置及电子设备。

背景技术

随着大数据及互联网技术的发展，每个公司组织等实体常常同时运营多个功能不同的系统。而当某个系统需要获取另一系统的数据时，通常都需要人工从另一系统获取数据并进行处理，对处理后的数据进行匹配以获取目标数据并返回给提出请求的系统，导致处理效率低、且人力成本高。

因此，亟需一种实现自动化的数据处理方法，以实现对其他系统产生的数据的自动化获取及匹配。

发明内容

为了解决现有技术的不足，本发明的主要目的在于提供一种数据的处理方法、装置及电子设备，以解决现有技术的上述问题。

为了达到上述目的，第一方面本发明提供了一种数据处理方法，所述方法包括：

按照预设的时间周期，定时从预设数据表中获取待匹配数据，所述待匹配数据包括第一字段值；

查询并获取预设数据仓库中包含所述第一字段值的目标数据，所述预设数据仓库根据预先获取的预设系统产生的预设数据生成；

根据所述目标数据包括的第二字段值更新所述预设数据表中所述待匹配数据对应的记录，生成目标数据表。

在一些实施例中，根据所述目标数据包括的第二字段值更新所述预设数据表中所述待匹配数据对应的记录，生成目标数据表包括：

将所述目标数据写入临时表中；

当所述预设数据表满足预设条件时，根据所述临时表包含的所述目标数据更新所述预设数据表中所述待匹配数据对应的记录，生成目标数据表。

在一些实施例中，所述当所述预设数据表满足预设条件时，根据所述临时表包含的所述目标数据更新所述预设数据表中所述待匹配数据对应的记录，生成目标数据表包括：

当所述预设数据表的生产环境满足预设环境要求时，根据所述临时表包含的所述目标数据更新所述预设数据表中所述待匹配数据对应的记录，生成目标数据表。

在一些实施例中，所述按照预设的时间周期，定时从预设数据表中获取待匹配数据包括：

按照预设的时间周期，定时从预设批次表中获取批次信息；

从所述预设数据表中获取所述批次信息对应的待匹配数据。

在一些实施例中，每一批次信息包括审批状态及审批时间，所述审批状态包括审批通过及审批不通过，所述按照预设的时间周期，定时从预设批次表中获取批次信息包括：

按照预设的时间周期，定时从预设批次表中获取审批时间不早于预设时间点且审批通过的批次信息。

在一些实施例中，所述批次信息还包括待获取ID，所述按照预设的时间周期，定时从预设数据表中获取待匹配数据包括：

按照预设的时间周期，定时从预设数据表中获取所述待获取ID对应的待匹配数据。

在一些实施例中，查询并获取预设数据仓库中包含所述第一字段值的目标数据前，所述方法包括：

获取预设系统产生的预设数据；

对所述预设数据进行处理，根据处理后的所述预设数据生成所述预设数据仓库。

第二方面，本申请公开了一种数据处理装置，所述装置包括：

获取模块，用于按照预设的时间周期，定时从预设数据表中获取待匹配数据，所述待匹配数据包括第一字段值；

所述获取模块还用于查询并获取预设数据仓库中包含所述第一字段值的目标数据，所述预设数据仓库根据预先获取的预设系统产生的预设数据生成；

更新模块，用于根据所述目标数据包括的第二字段值更新所述预设数据表中所述待匹配数据对应的记录，生成目标数据表。

第三方面，本申请公开了一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如上所述的方法。

第四方面，本申请公开了一种电子设备，所述电子设备包括：

一个或多个处理器；

以及与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：

按照预设的时间周期，定时从预设数据表中获取待匹配数据，所述待匹配数据包括第一字段值；

查询并获取预设数据仓库中包含所述第一字段值的目标数据，所述预设数据仓库根据预先获取的预设系统产生的预设数据生成；

根据所述目标数据包括的第二字段值更新所述预设数据表中所述待匹配数据对应的记录，生成目标数据表。

本发明实现的有益效果为：

本申请提供了一种数据处理方法，所述方法包括：按照预设的时间周期，定时从预设数据表中获取待匹配数据，所述待匹配数据包括第一字段值；查询并获取预设数据仓库中包含所述第一字段值的目标数据，所述预设数据仓库根据预先获取的预设系统产生的预设数据生成；根据所述目标数据包括的第二字段值更新所述预设数据表中所述待匹配数据对应的记录，生成目标数据表，本申请通过预先根据待获取数据的预设系统的预设数据生成数据仓库，实现了待获取数据的自动化匹配，避免了人工参与数据匹配导致的匹配效率低、成本高的问题；

进一步地，本申请还提出了根据所述目标数据包括的第二字段值更新所述预设数据表中所述待匹配数据对应的记录，生成目标数据表包括：将所述目标数据写入临时表中；当满足预设条件时，根据所述临时表包含的所述目标数据更新所述预设数据表中所述待匹配数据对应的记录，生成目标数据表，通过将数据临时存储在临时表中、在预设数据表满足预设条件后再将数据更新至预设数据表中，可避免数据读写过程对预设数据表的生产环境造成压力，可在生产环境满足需求后再进行数据更新，保证了生产环境的平稳运行。

本发明所有产品并不需要具备上述所有效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的方法流程图；

图2是本申请实施例提供的装置结构图；

图3是本申请实施例提供的电子设备结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如背景技术所述，现有技术中多系统间的数据匹配需要借助人工操作，处理效率低且人力成本高。

为解决上述问题，本申请提出了一种数据处理方法、装置及电子设备，可实现系统间数据的自动化匹配及获取，提升了数据处理效率。

实施例一

具体的，应用本申请公开的数据处理方法执行数据处理的过程包括：

步骤一、将批次信息录入至批次信息表；

批次信息中可以包括数据匹配的发起人信息、审批状态、审批时间及批次ID等数据。审批状态可以包括审批通过、审批未通过以及待审批。发起人信息可以包括发起人的姓名、工号、职位等相关数据。每一审批信息代表一次数据的获取、匹配及更新任务。

批次信息表中审批状态为待审批的批次信息会经过审批，所述审批可以由人工进行，也可以由计算机自动执行。审批后会根据审批结果将该批次信息的审批状态更新为审批通过或者审批未通过，并记录相应的审批时间。

步骤二、ETL hive按照预设的时间周期，定时执行从批次信息表中获取审批通过且审批时间在24小时的批次信息的任务；

根据批次信息可以确定待匹配数据及与获取目标数据所属的业务系统。

可以从业务系统获取该批次信息对应的初始数据，对初始数据进行数据采集、数据清洗、数据汇总、数据加工、数据整合、数据集市加工等操作，生成源数据表，所有源数据表形成了数据仓库。

具体的，可以通过sqoop将业务系统的mysql数据库中的数据导入到Hive表中，通过Mapreduce及Hadoop对导入的数据进行分析处理，建立Hive数据仓库，形成源数据表。

Sqoo是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql等)间进行数据的传递。Mysql是一种关系型数据库。Mapreduce是一个分布式运算程序的编程框架，Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hive是基于Hadoop的数据仓库工具，可用于进行数据提取、转化、加载。

步骤三、ETL hive根据批次信息，从对应的预设数据表中获取待匹配数据；

每一待匹配数据可以包括一个或多个字段及相应的字段值。例如，待匹配数据可以包括批次ID、第一字段及相应的第一字段值以及其他字段及对应的字段值。可以确定包含的批次ID与批次信息对应的批次ID相同的数据为待匹配数据。第一字段及相应的第一字段值是用于匹配相应的目标数据的字段及字段值。可以根据具体的业务需求预先确定第一字段。

例如，当待匹配数据包括用户的身份证号、手机号、邮箱账户、银行卡号、余额等信息时，第一字段可以是用户的身份证号等可指示用户身份的数据。

步骤四、ETL hive从数据仓库中获取包含第一字段且第一字段的值为第一字段值的目标数据并将目标数据写入临时表中；

步骤五、当预设数据表满足预设条件时，ETL hive根据临时表中的目标数据更新预设数据表，生成目标数据表；

具体的，可以在预设数据表所在的生产环境的运行情况满足预设的环境要求时，将目标数据写入预设数据表中对应的待匹配数据所在的记录，生成目标数据表。

可将生成的目标数据表可视化显示，以便业务人员对数据进行分析及使用。

基于上述方法，本申请公开的技术方案实现了自动化匹配数据及数据匹配结果的系统化管理和使用，提高了数据系统性和安全性。

实施例二

对应上述实施例，如图1所示，本申请提供了一种数据处理方法，所述方法包括：

110、按照预设的时间周期，定时从预设数据表中获取待匹配数据，所述待匹配数据包括第一字段值；

优选的，所述按照预设的时间周期，定时从预设数据表中获取待匹配数据包括：

111、按照预设的时间周期，定时从预设批次表中获取批次信息；

112、从所述预设数据表中获取所述批次信息对应的待匹配数据。

优选的，每一批次信息包括审批状态及审批时间，所述审批状态包括审批通过及审批不通过，所述按照预设的时间周期，定时从预设批次表中获取批次信息包括：

113、按照预设的时间周期，定时从预设批次表中获取审批时间不早于预设时间点且审批通过的批次信息。

优选的，所述批次信息还包括待获取ID，所述按照预设的时间周期，定时从预设数据表中获取待匹配数据包括：

114、按照预设的时间周期，定时从预设数据表中获取所述待获取ID对应的待匹配数据。

120、查询并获取预设数据仓库中包含所述第一字段值的目标数据，所述预设数据仓库根据预先获取的预设系统产生的预设数据生成；

优选的，查询并获取预设数据仓库中包含所述第一字段值的目标数据前，所述方法包括：

121、获取预设系统产生的预设数据；

122、对所述预设数据进行处理，根据处理后的所述预设数据生成所述预设数据仓库。

130、根据所述目标数据包括的第二字段值更新所述预设数据表中所述待匹配数据对应的记录，生成目标数据表。

优选的，根据所述目标数据包括的第二字段值更新所述预设数据表中所述待匹配数据对应的记录，生成目标数据表包括：

131、将所述目标数据写入临时表中；

132、当所述预设数据表满足预设条件时，根据所述临时表包含的所述目标数据更新所述预设数据表中所述待匹配数据对应的记录，生成目标数据表。

优选的，所述当所述预设数据表满足预设条件时，根据所述临时表包含的所述目标数据更新所述预设数据表中所述待匹配数据对应的记录，生成目标数据表包括：

133、当所述预设数据表的生产环境满足预设环境要求时，根据所述临时表包含的所述目标数据更新所述预设数据表中所述待匹配数据对应的记录，生成目标数据表。

实施例三

对应上述实施例，本申请提供了一种数据处理装置，如图2所示，所述装置包括：

获取模块210，用于按照预设的时间周期，定时从预设数据表中获取待匹配数据，所述待匹配数据包括第一字段值；

所述获取模块210还用于查询并获取预设数据仓库中包含所述第一字段值的目标数据，所述预设数据仓库根据预先获取的预设系统产生的预设数据生成；

更新模块220，用于根据所述目标数据包括的第二字段值更新所述预设数据表中所述待匹配数据对应的记录，生成目标数据表。

优选的，所述更新模块220还可用于将所述目标数据写入临时表中；当所述预设数据表满足预设条件时，根据所述临时表包含的所述目标数据更新所述预设数据表中所述待匹配数据对应的记录，生成目标数据表。

优选的，所述更新模块220还可用于当所述预设数据表的生产环境满足预设环境要求时，根据所述临时表包含的所述目标数据更新所述预设数据表中所述待匹配数据对应的记录，生成目标数据表。

优选的，所述获取模块210还可用于按照预设的时间周期，定时从预设批次表中获取批次信息；从所述预设数据表中获取所述批次信息对应的待匹配数据。

优选的，每一批次信息包括审批状态及审批时间，所述获取模块210还可用于按照预设的时间周期，定时从预设批次表中获取审批时间不早于预设时间点且审批通过的批次信息。

优选的，所述批次信息还包括待获取ID，所述获取模块210还可用于按照预设的时间周期，定时从预设数据表中获取所述待获取ID对应的待匹配数据。

优选的，所述获取模块210还可用于获取预设系统产生的预设数据；所述装置还包括生成模块，用于对所述预设数据进行处理，根据处理后的所述预设数据生成所述预设数据仓库。

实施例四

对应上述方法、设备及系统，本申请实施例提供一种电子设备，包括：

一个或多个处理器；以及与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：

按照预设的时间周期，定时从预设数据表中获取待匹配数据，所述待匹配数据包括第一字段值；

查询并获取预设数据仓库中包含所述第一字段值的目标数据，所述预设数据仓库根据预先获取的预设系统产生的预设数据生成；

根据所述目标数据包括的第二字段值更新所述预设数据表中所述待匹配数据对应的记录，生成目标数据表。

其中，图3示例性的展示出了电子设备的架构，具体可以包括处理器1510，视频显示适配器1511，磁盘驱动器1512，输入/输出接口1513，网络接口1514，以及存储器1520。上述处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，与存储器1520之间可以通过通信总线1530进行通信连接。

其中，处理器1510可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请所提供的技术方案。

存储器1520可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1520可以存储用于控制电子设备1500运行的操作系统1521，用于控制电子设备1500的低级别操作的基本输入输出系统(BIOS)1522。另外，还可以存储网页浏览器1523，数据存储管理1524，以及图标字体处理系统1525等等。上述图标字体处理系统1525就可以是本申请实施例中具体实现前述各步骤操作的应用程序。总之，在通过软件或者固件来实现本申请所提供的技术方案时，相关的程序代码保存在存储器1520中，并由处理器1510来调用执行。输入/输出接口1513用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

网络接口1514用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1530包括一通路，在设备的各个组件(例如处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，与存储器1520)之间传输信息。

另外，该电子设备1500还可以从虚拟资源对象领取条件信息数据库1541中获得具体领取条件的信息，以用于进行条件判断，等等。

需要说明的是，尽管上述设备仅示出了处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，存储器1520，总线1530等，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本申请方案所必需的组件，而不必包含图中所示的全部组件。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，云服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

按照预设的时间周期，定时从预设数据表中获取待匹配数据，所述待匹配数据包括第一字段值；

查询并获取预设数据仓库中包含所述第一字段值的目标数据，所述预设数据仓库根据预先获取的预设系统产生的预设数据生成；

根据所述目标数据包括的第二字段值更新所述预设数据表中所述待匹配数据对应的记录，生成目标数据表。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标数据包括的第二字段值更新所述预设数据表中所述待匹配数据对应的记录，生成目标数据表包括：

将所述目标数据写入临时表中；

当所述预设数据表满足预设条件时，根据所述临时表包含的所述目标数据更新所述预设数据表中所述待匹配数据对应的记录，生成目标数据表。

3.根据权利要求2所述的方法，其特征在于，所述当所述预设数据表满足预设条件时，根据所述临时表包含的所述目标数据更新所述预设数据表中所述待匹配数据对应的记录，生成目标数据表包括：

当所述预设数据表的生产环境满足预设环境要求时，根据所述临时表包含的所述目标数据更新所述预设数据表中所述待匹配数据对应的记录，生成目标数据表。

4.根据权利要求1-3任一所述的方法，其特征在于，所述按照预设的时间周期，定时从预设数据表中获取待匹配数据包括：

按照预设的时间周期，定时从预设批次表中获取批次信息；

从所述预设数据表中获取所述批次信息对应的待匹配数据。

5.根据权利要求4所述的方法，其特征在于，每一批次信息包括审批状态及审批时间，所述审批状态包括审批通过及审批不通过，所述按照预设的时间周期，定时从预设批次表中获取批次信息包括：

按照预设的时间周期，定时从预设批次表中获取审批时间不早于预设时间点且审批通过的批次信息。

6.根据权利要求4所述的方法，其特征在于，所述批次信息还包括待获取ID，所述按照预设的时间周期，定时从预设数据表中获取待匹配数据包括：

按照预设的时间周期，定时从预设数据表中获取所述待获取ID对应的待匹配数据。

7.根据权利要求1-3任一所述的方法，其特征在于，查询并获取预设数据仓库中包含所述第一字段值的目标数据前，所述方法包括：

获取预设系统产生的预设数据；

对所述预设数据进行处理，根据处理后的所述预设数据生成所述预设数据仓库。

8.一种数据处理装置，其特征在于，所述装置包括：

获取模块，用于按照预设的时间周期，定时从预设数据表中获取待匹配数据，所述待匹配数据包括第一字段值；

所述获取模块还用于查询并获取预设数据仓库中包含所述第一字段值的目标数据，所述预设数据仓库根据预先获取的预设系统产生的预设数据生成；

更新模块，用于根据所述目标数据包括的第二字段值更新所述预设数据表中所述待匹配数据对应的记录，生成目标数据表。

9.一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。

10.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

以及与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：

按照预设的时间周期，定时从预设数据表中获取待匹配数据，所述待匹配数据包括第一字段值；

查询并获取预设数据仓库中包含所述第一字段值的目标数据，所述预设数据仓库根据预先获取的预设系统产生的预设数据生成；

根据所述目标数据包括的第二字段值更新所述预设数据表中所述待匹配数据对应的记录，生成目标数据表。

Images