CN107491549A - 一种数据处理方法及系统 - Google Patents

Abstract

本发明公开了一种数据处理方法及系统，所述方法包括：采集原始数据；对所述原始数据进行预处理得到预处理结果，将预处理结果存储至关系型数据库；从关系型数据库中读取预处理结果，对预处理结果进行处理获得最终结果，将最终结果保存至关系型数据库。由于用户仅关注最终结果并不关注原始数据，因而本发明实施例在对采集的原始数据进行至少一次预处理后，将得到的预处理结果存储至关系型数据库，与直接将原始数据存储至数据库相比，大大缩小了数据存储量，从而减少了所占用的存储空间；而且，在后续对预处理结果进行处理得到最终结果时，与直接对原始数据处理以获得最终结果相比，可大大缩小计算量、提高计算速度。

Description

一种数据处理方法及系统

技术领域

本发明涉及大数据技术领域，尤其涉及一种数据处理方法及系统。

背景技术

随着互联网和物联网的快速发展，以感应器或者埋点技术作为数据采集方式的终端不断增长，随之产生的数据量也在爆炸性的增长，针对中大数据量，传统的数据库和计算方式已经满足不了日益增大的数据存储需求和计算速度需求。

请参阅图1所示，传统的数据处理系统包括：数据采集器、数据采集服务器、数据库和数据计算服务器。

请参阅图2所示，上述数据处理系统的数据处理方法流程包括：

S101，各个数据采集器分别采集数据，将数据发送至数据采集服务器；

S102、数据采集服务器将所接收到的数据写入数据库；

S103、数据计算服务器对数据库中的数据进行处理，显示处理结果。

在此处理流程中，对于数据采集器采集的原始数据，数据采集服务器在收到后将原始数据直接写入数据库，由数据计算服务器在后续进行数据处理以获取所需的处理结果。由于原始数据量巨大，数据库需要巨大的存储空间去存储原始数据，耗费大量的存储资源；同时由于数据库中存储的原始数据量巨大，数据计算服务器需要花费大量的计算资源来处理原始数据，同时导致处理速度较慢。

发明内容

本发明的目的在于提供一种数据处理方法及系统，降低耗费的数据存储资源和计算资源，提高数据处理速度。

为达此目的，本发明采用以下技术方案：

一种数据处理方法，所述方法包括：

采集原始数据；

对所述原始数据进行预处理得到预处理结果，将预处理结果存储至关系型数据库；

从所述关系型数据库中读取预处理结果，对预处理结果进行处理获得最终结果，并将最终结果保存至所述关系型数据库。

可选的，所述对原始数据进行预处理得到预处理结果，将预处理结果存储至关系型数据库的步骤具体包括：

将所述原始数据写入本地缓存；

从本地缓存中读取原始数据，对原始数据进行第一预处理，得到第一预处理结果，并将所述第一预处理结果写入远程缓存；

从远程缓存中读取第一预处理结果，对第一预处理结果进行第二预处理，得到第二预处理结果，并将所述第二预处理结果写入所述关系型数据库。

可选的，所述对原始数据进行预处理得到预处理结果，将预处理结果存储至关系型数据库的步骤具体包括：

将所述原始数据写入本地缓存或者远程缓存；

从本地缓存或者远程缓存中读取原始数据，对原始数据进行预处理，得到预处理结果，并将预处理结果写入关系型数据库。

可选的，所述远程缓存为远程分布式缓存。

可选的，在所述从远程缓存中读取第一预处理结果，对第一预处理结果进行第二预处理的步骤中，还包括：

在读取第一预处理结果之后，删除远程缓存中已被读取的第一预处理结果。

一种数据处理系统，包括数据采集器、关系型数据库和第二数据处理服务器，还包括数据采集及预处理子系统；

所述数据采集器，用于采集原始数据并上报至数据采集及预处理系统；

所述数据采集及预处理子系统，用于接收数据采集器上报的原始数据，对所述原始数据进行预处理得到预处理结果，将预处理结果存储至所述关系型数据库；

所述第二数据处理服务器，用于从关系型数据库中读取预处理结果，对预处理结果进行处理获得最终结果，将最终结果保存至关系型数据库。

可选的，所述数据采集及预处理子系统包括：数据采集服务器、远程缓存服务器和第一数据处理服务器；

所述数据采集服务器，用于接收数据采集器上报的原始数据，先将所述原始数据写入本地缓存，再从本地缓存中读取原始数据，对原始数据进行第一预处理，得到第一预处理结果，并将第一预处理结果写入远程缓存服务器提供的远程缓存中；

所述远程缓存服务器，用于提供远程缓存空间以缓存所述第一预处理结果；

第一数据处理服务器，用于从所述远程缓存读取第一预处理结果，对第一预处理结果进行第二预处理，得到第二预处理结果，并将所述第二预处理结果写入所述关系型数据库。

可选的，所述数据采集及预处理子系统包括数据采集服务器和第一数据处理服务器；或者，所述数据采集及预处理子系统包括数据采集服务器、远程缓存服务器和第一数据处理服务器；

所述数据采集服务器，用于接收数据采集器上报的原始数据，将所述原始数据写入本地缓存或者远程缓存服务器提供的远程缓存中；

所述第一数据处理服务器，用于从所述本地缓存或者远程缓存读取原始数据，对原始数据进行预处理，得到预处理结果，并将所述预处理结果写入所述关系型数据库。

可选的，所述数据采集器、数据采集服务器、远程缓存服务器、第一数据处理服务器和第二数据处理服务器的数量均为至少一个。

可选的，所述数据处理系统还包括负载均衡器；

所述负载均衡器，用于将各数据采集器的原始数据均衡分发至各数据采集服务器。

与现有技术相比，本发明实施例具有以下有益效果：

由于用户仅关注最终数据处理结果并不关注原始数据，因而本发明实施例在对采集的原始数据进行至少一次预处理后，将得到的预处理结果存储至数据库，与直接将原始数据存储至数据库相比，大大缩小了数据存储量，从而减少了所占用的存储空间；而且，在后续对预处理结果进行处理得到最终结果时，与直接对原始数据处理以获得最终结果相比，可大大缩小计算量、提高计算速度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为现有技术采用的数据处理系统架构图；

图2为现有技术采用的数据处理方法流程图；

图3为本发明实施例一提供的数据处理方法流程图；

图4为本发明实施例一提供的对原始数据进行预处理的方法流程图；

图5为本发明实施例二提供的数据处理系统架构图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例一

请参阅图3，图3所示为本实施例提供的数据处理方法流程图。

本实施例中，数据处理方法包括步骤：

S201、进行原始数据的采集。

本步骤中，将从来源地采集得到的未经任何处理的数据称为原始数据。在大数据环境中，在符合法律规定的范围内原始数据的来源可以为微博、微信、人人网等这些大众常用的社交平台，也可以为一些大型商场、大型超市等，通过这些原始数据，可以分析用户平时在这些社交平台上的行为动向，归纳出用户的喜好或者关注点，为企业挖掘用户需求提供重要依据。

数据采集的方法不限制，可以利用感应器来采集，也可以利用埋点技术来采集，当然也可以为其他任意方式。

S202、将原始数据经负载均衡器均匀分发至多个数据采集服务器。

在大数据环境中，数据量巨大，为保证处理速度，可采用多个数据采集服务器来同时接收不同的原始数据，并通过负载均衡器来保证各数据采集服务器之间的负载均衡。

S203、对原始数据进行解析，得到解析后的原始数据。

S204、对解析后的原始数据进行预处理得到预处理结果，将预处理结果保存至关系型数据库中。

在不同应用场景下，对初始数据的预处理次数可能不同。为了达到最优的效果，要结合服务器的计算能力、内存大小、对数据实时性的要求以及具体的业务场景，来确定一个最优的预处理次数，原则上来说预处理次数越多，从数据库取得数据后计算的速度越快，但要考虑到业务的要求做一个权衡。

S205、从关系型数据库中读取预处理结果，进行处理以获得所需的最终结果，并将最终结果保存至关系型数据库。

在上述流程中，不同于传统的数据处理方法，本实施例在对采集的原始数据进行至少一次预处理后，将得到的预处理结果存储至关系型数据库，与直接将原始数据存储至关系型数据库相比，大大缩小了数据存储量，从而减少了所占用的存储空间；

而且，在后续对预处理结果进行处理得到最终结果时，与直接对原始数据处理以获得最终结果相比，可大大缩小计算量、提高计算速度。

请参阅图4，上述步骤S204中，对解析后的原始数据进行预处理得到预处理结果，将预处理结果保存至关系型数据库中的步骤进一步包括：

S301、将解析后的原始数据先放入本地缓存中进行缓存。

S302、在累计达到预设次数、预设时间或者预设数据量之后，对本地缓存中的原始数据进行第一预处理，得到第一预处理结果。

S303、将第一预处理结果，按照预设方式写入远程缓存中。

S304、定期从远程缓存中取出第一预处理结果，并将取出的第一预处理结果按照预设算法进行第二预处理，得到第二预处理结果。

S305、将第二预处理结果写入数据库中；明显地，与原始数据相比，第二预处理结果的数据量在经过两次预处理之后已经大幅度缩小。

在该方法中，预处理中的预处理结果(包括第一预处理结果和第二预处理结果)存放的缓存分为本地缓存和远程缓存两种。本地缓存一般利用本地服务器内存，而远程缓存由远程缓存服务器提供，具体为NoSql数据库(泛指非关系型的数据库)。

考虑到服务器内存一般较小且不专门存放缓存数据，而访问远程缓存服务器有网络耗时的开销，所以先用本地缓存原始数据，将由原始数据经过第一预处理得到的第一预处理结果存入远程缓存服务器，同时删除本地缓存数据。

这样，可减少访问远程缓存的次数，进而减少网络通信的开销，从而提高工作效率。

在每间隔一段时间之后，从远程缓存取出第二预处理结果进行计算时，需同时删除远程缓存中被取出的这部分第二预处理结果，以确保远程缓存不会溢出。

可以理解的是，第一预处理的次数和第二预处理的次数均不限定，可根据实际需求来进行选择。

在其他实施例中，也可根据需要仅选择使用本地缓存或者仅选择使用远程缓存。例如：在仅使用本地缓存时，先将原始数据先放入本地缓存，再从本地缓存中读取原始数据，对原始数据进行预处理后得到预处理结果，将预处理结果直接存储至数据库。在仅使用远程缓存时，先将原始数据先放入远程缓存，再从远程缓存中读取原始数据，对原始数据进行预处理后得到预处理结果，将预处理结果直接存储至数据库。这两种方式，均可减小数据量，以节省占用的存储空间，加快计算速度。

下面，将提供一个应用实例。

例如：通过采集器采集其周围的人流信息，以计算得出每小时的人次和人数以及每天的人次和人数。

那么，这个数据处理过程如下：

采集器将其采集的原始数据发送到数据采集服务器；

数据采集服务器先将原始数据解析后放入本地缓存(内存)，先用本地缓存的原始数据进行初步的计算，得到第一预处理结果；

考虑到数据采集服务器的本地缓存能力比较小，在数据采集服务器计算5次之后将第一预处理结果存入redis缓存(一种大容量、高性能的分布式缓存)；

每间隔5分钟后，将redis缓存的第一预处理结果进行整理和计算，得到第二预处理结果，写入关系型数据库中；

在下一个整点过5分钟后，从关系型数据库获取第二预处理结果，计算得出前一小时的人次信息；在第二天的凌晨过5分钟后，从数据库查询前一天整天的第二预处理结果，计算得出前一天的人数。

综上可知，由于用户关注的仅为最终结果，并非原始数据，因而，将经过预处理得到的预处理结果存储至关系型数据库，在保证获得相同结果的同时，减少占用的存储资源和计算资源，提高计算速度。

实施例二

请参阅图5，图5所示为本实施例提供的数据处理系统架构图。

如图5所示，本实施例的数据处理系统包括：数据采集器集群，负载均衡器，数据采集及预处理子系统，数据库和第二数据处理服务器。

数据采集器集群，包括多个数据采集器，分别用于采集原始数据，并将采集的原始数据通过负载均衡器均匀分发至数据采集及预处理子系统中的各数据采集服务器；

数据采集及预处理子系统，用于接收数据采集器上报的原始数据，对所述原始数据进行预处理得到预处理结果，将预处理结果存储至数据库；

第二数据处理服务器，用于从数据库中读取预处理结果，对预处理结果进行处理获得最终结果，将最终结果保存至数据库。

具体地，数据采集及预处理子系统包括第一数据处理服务器、远程缓存服务器集群和第一数据处理服务器集群。

数据采集服务器集群，包括多个数据采集服务器，与数据采集器通信连接，用于接收数据采集器上报的原始数据，先将原始数据写入本地缓存，再从本地缓存中读取原始数据，对原始数据进行第一预处理，得到第一预处理结果，并将第一预处理结果写入远程缓存服务器提供的远程缓存中；

远程缓存服务器集群，包括多个远程缓存服务器，提供远程分布式缓存；

第一数据处理服务器集群，包括多个第一数据处理服务器，用于从远程缓存读取第一预处理结果，对第一预处理结果进行第二预处理，得到第二预处理结果，并将所述第二预处理结果写入数据库。

在其他实施例中，对于原始数据，也可仅进行依次预处理，也可仅使用本地缓存或者远程缓存，实现原理大致相同，此处不再赘述。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

采集原始数据；

对所述原始数据进行预处理得到预处理结果，将预处理结果存储至关系型数据库；

从所述关系型数据库中读取预处理结果，对预处理结果进行处理获得最终结果，并将最终结果保存至所述关系型数据库。

2.根据权利要求1所述的数据处理方法，其特征在于，所述对原始数据进行预处理得到预处理结果，将预处理结果存储至关系型数据库的步骤具体包括：

将所述原始数据写入本地缓存；

从本地缓存中读取原始数据，对原始数据进行第一预处理，得到第一预处理结果，并将所述第一预处理结果写入远程缓存；

从远程缓存中读取第一预处理结果，对第一预处理结果进行第二预处理，得到第二预处理结果，并将所述第二预处理结果写入所述关系型数据库。

3.根据权利要求1所述的数据处理方法，其特征在于，所述对原始数据进行预处理得到预处理结果，将预处理结果存储至关系型数据库的步骤具体包括：

将所述原始数据写入本地缓存或者远程缓存；

从本地缓存或者远程缓存中读取原始数据，对原始数据进行预处理，得到预处理结果，并将预处理结果写入关系型数据库。

4.根据权利要求1至3任一所述的数据处理方法，其特征在于，所述远程缓存为远程分布式缓存。

5.根据权利要求2所述的数据处理方法，其特征在于，在所述从远程缓存中读取第一预处理结果，对第一预处理结果进行第二预处理的步骤中，还包括：

在读取第一预处理结果之后，删除远程缓存中已被读取的第一预处理结果。

6.一种数据处理系统，包括数据采集器、关系型数据库和第二数据处理服务器，其特征在于，还包括数据采集及预处理子系统；

所述数据采集器，用于采集原始数据并上报至数据采集及预处理系统；

所述数据采集及预处理子系统，用于接收数据采集器上报的原始数据，对所述原始数据进行预处理得到预处理结果，将预处理结果存储至所述关系型数据库；

所述第二数据处理服务器，用于从关系型数据库中读取预处理结果，对预处理结果进行处理获得最终结果，将最终结果保存至关系型数据库。

7.根据权利要求6所述的数据处理系统，其特征在于，所述数据采集及预处理子系统包括：数据采集服务器、远程缓存服务器和第一数据处理服务器；

所述数据采集服务器，用于接收数据采集器上报的原始数据，先将所述原始数据写入本地缓存，再从本地缓存中读取原始数据，对原始数据进行第一预处理，得到第一预处理结果，并将第一预处理结果写入远程缓存服务器提供的远程缓存中；

所述远程缓存服务器，用于提供远程缓存空间以缓存所述第一预处理结果；

第一数据处理服务器，用于从所述远程缓存读取第一预处理结果，对第一预处理结果进行第二预处理，得到第二预处理结果，并将所述第二预处理结果写入所述关系型数据库。

8.根据权利要求6所述的数据处理系统，其特征在于，所述数据采集及预处理子系统包括数据采集服务器和第一数据处理服务器；或者，所述数据采集及预处理子系统包括数据采集服务器、远程缓存服务器和第一数据处理服务器；

所述数据采集服务器，用于接收数据采集器上报的原始数据，将所述原始数据写入本地缓存或者远程缓存服务器提供的远程缓存中；

所述第一数据处理服务器，用于从所述本地缓存或者远程缓存读取原始数据，对原始数据进行预处理，得到预处理结果，并将所述预处理结果写入所述关系型数据库。

9.根据权利要求7或8所述的数据处理系统，其特征在于，所述数据采集器、数据采集服务器、远程缓存服务器、第一数据处理服务器和第二数据处理服务器的数量均为至少一个。

10.根据权利要求9所述的数据处理系统，其特征在于，所述数据处理系统还包括负载均衡器；

所述负载均衡器，用于将各数据采集器的原始数据均衡分发至各数据采集服务器。