CN105530279A - 数据处理方法及处理装置 - Google Patents

Abstract

本发明的实施例中公开了一种数据处理方法和处理装置，所述处理方法包括：接收数据生产者发送的连接请求；判断所述数据生产者发送的连接请求是否为合法连接请求；若所述连接请求为合法连接请求，则获取所述待接收的数据的数据格式；搜索与所述数据的数据格式相匹配的数据集合，若搜索到相匹配的数据集合，则将所述数据加入所述相匹配的数据集合中，若未搜索到相匹配的数据集合，则建立新的数据集合，将所述数据加入所述新的数据集合中，并以所述数据的数据格式作为新建立的数据集合的数据格式。能提高处理大数据时的处理效率，且安全性较高。

Description

数据处理方法及处理装置

技术领域

本发明涉及大数据处理领域，特别涉及一种数据处理方法及处理装置。

背景技术

大数据具有大量、高速、多样、真实的特点。由于大数据环境下涉及的数据量或资料量巨大，且数据的类型多样，所以难以采用通常的方法进行处理。

大数据环境下的数据处理包括数据的接收以及数据的分发，数据的接收也可以称为数据的存储，数据的分发也可以称为数据的读取。数据读取的场景不同，或数据应用的场景不同，相应的数据存储也不同，例如，有基于内存的cache存储，有高效读写的KV数据库，有管理重要数据的关系型数据库，有专用于数据挖掘的Mapreduce类服务。

大数据环境下的数据处理需要兼顾效率与安全。数据处理的效率指的是在大数据环境下，数据在各个存储系统中流转的效率。数据的流转的一个实例可以是，移动公司安全审计员需要获知最新一季度的安全风险分析报告，为此，需要使用分布式文件系统分析最近一季度安全风险最高的业务类型，再通过关系型数据库关联统计出这一业务类型中某一风险操作行为的比例，最后使用文件系统的全文日志检索查找某一风险操作的具体时间，以及获取该风险操作的相关日志。在上述过程中，数据经过分布式文件、关系型数据库、文件系统，在多种存储系统之间流转。数据在多种存储系统之间流转时，服务器的性能、查询语句的优劣、网络带宽将极大影响数据处理的效率。

在大数据环境下，多种存储系统同时为消费者提供数据，但各个存储系统仍保留其自身的权限访问限制，使数据访问权限分散，难以维护。为解决访问权限分散的弊端，现有技术中设置了共享权限，即访问者在该环境下取得了一台存储设备的权限进入该设备，就可以访问其他存储设备。共享权限最大的风险是一旦访问者权限被盗用，则所有存储设备都直接暴露给盗用者。

为解决大数据环境下的安全问题，现有技术中采用“企业服务总线”，即集中的提供跨平台共享服务，且分权限的管理应用与服务，但该方案中，数据本身仍分散在各个存储系统中，没有统一的管理，数据流转的效率较低。

可见，现有技术中，大数据环境下的数据分散在多个存储系统中，数据处理难以兼顾效率与安全。

发明内容

本发明实施例中提供了一种数据处理方法，能提高处理大数据时的处理效率，且安全性较高。

为了解决上述技术问题，本发明实施例公开了如下技术方案：

一方面，提供了一种数据处理方法，所述方法包括：

接收数据生产者发送的连接请求；

判断所述数据生产者发送的连接请求是否为合法连接请求；

若所述连接请求为合法连接请求，则获取所述待接收的数据的数据格式；

搜索与所述数据的数据格式相匹配的数据集合，若搜索到相匹配的数据集合，则将所述数据加入所述相匹配的数据集合中，若未搜索到相匹配的数据集合，则建立新的数据集合，将所述数据加入所述新的数据集合中，并以所述数据的数据格式作为新建立的数据集合的数据格式。

可选的，所述判断数据生产者发送的连接请求是否为合法连接请求，包括：

获取所述数据生产者发送的连接请求中的注册信息，所述注册信息包括：用户名、密码、IP地址以及使用场景；

根据所述注册信息对所述数据生产者进行审核，若审核通过，则确定所述连接请求为合法连接请求。

可选的，所述在判断连接请求为合法连接请求之后，在接收所述生产者发送的数据之前，所述方法还包括：

返回第一加密密钥至所述数据生产者，以使所述数据生产者根据所述第一加密密钥对所述发送的数据加密。

可选的，所述数据集合以数据文件的形式存储，所述数据文件以线性顺序存储。

可选的，所述方法包括：

接收数据消费者发送的数据拉取请求，所述数据拉取请求中包括：请求拉取的数据所在的数据集合的标识，请求拉取的数据的断点位置；

判断所述数据消费者发送的数据拉取请求是否为合法请求；

若所述数据拉取请求为合法数据拉取请求，使所述数据消费者根据所述数据拉取请求在所述对应的数据集合中，从所述断点位置拉取数据。

可选的，所述判断所述数据拉取请求为合法数据拉取请求，包括：

获取所述数据消费发送的数据拉取请求中的注册信息，所述注册信息包括：用户名、密码、IP地址以及使用场景；

根据所述注册信息对所述数据消费者进行审核，若审核通过，则确定所述数据拉取请求为合法数据拉取请求。

可选的，所述判断所述数据拉取请求为合法数据拉取请求后，在使数据消费者拉取数据之前，所述方法还包括：

给所述数据消费者分配权限，将所述数据消费者加入对应的权限组中；

返回第二加密密钥至所述数据消费者，以使所述数据消费者根据所述第二加密密钥解密所拉取的数据。

可选的，所述第一加密密钥和第二加密密钥为对称密钥。

另一方面，提供了一种数据处理装置，所述装置包括：

连接请求接收单元，用于接收数据生产者发送的连接请求；

第一判断单元，用于判断所述数据生产者发送的连接请求是否为合法连接请求；

数据格式获取单元，用于若所述连接请求为合法连接请求，获取所述待接收的数据的数据格式；

第一处理单元，用于搜索与所述数据的数据格式相匹配的数据集合，若搜索到相匹配的数据集合，则将所述数据加入所述相匹配的数据集合中，若未搜索相匹配的数据集合，则建立新的数据集合，将所述数据加入所述新的数据集合中，并以所述数据的数据格式作为新建立的数据集合的数据格式。

可选的，所述装置还包括：

拉取请求接收单元，用于接收数据消费者发送的数据拉取请求，所述数据拉取请求中包括：请求拉取的数据所在的数据集合的标识，请求拉取的数据的断点位置；

第二判断单元，用于判断所述数据消费者发送的数据拉取请求是否为合法请求；

第二处理单元，用于若所述数据拉取请求为合法数据拉取请求，使所述数据消费者根据所述数据拉取请求在所述对应的数据集合中，从所述断点位置拉取数据。

本发明的实施例中公开了一种数据处理方法，在判断数据生产者发送的连接请求为合法连接请求后接收数据，安全性较高；根据接收的数据的数据格式将数据加入相匹配的数据集合中，对数据分类存储，有利于提高后续的数据拉取的效率，可以提高数据处理的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1所示为本发明实施例的一个数据处理方法的流程图；

图2所示为本发明实施例的一个数据处理方法的流程图；

图3所示为本发明实施例的一个数据处理装置的结构示意图；

图4所示为本发明实施例的一个数据处理方法的流程图；

图5所示为本发明实施例的一个数据处理方法的流程图；

图6所示为本发明实施例的应用场景的示意图。

具体实施方式

本发明如下实施例提供了一种数据处理方法，能提高处理大数据时的效率，且安全性较高。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1所示为本发明实施例的数据处理方法的流程图，如图1所示，本发明实施例提供了一种数据处理方法，包括：

步骤101，接收数据生产者发送的连接请求。

步骤102，判断所述数据生产者发送的连接请求是否为合法连接请求。

步骤103，若所述连接请求为合法连接请求，则获取所述待接收的数据的数据格式。

步骤104，搜索与所述数据的数据格式相匹配的数据集合，若搜索到相匹配的数据集合，则将所述数据加入所述相匹配的数据集合中，若未搜索到相匹配的数据集合，则建立新的数据集合，将所述数据加入所述新的数据集合中，并以所述数据的数据格式作为新建立的数据集合的数据格式。

本发明实施例中，接收数据、存储数据的为数据处理装置，也可以称为数据交换中心。

本发明上述实施例的数据处理方法，用于数据的接收，在判断数据生产者发送的连接请求为合法连接请求后接收发送的数据，安全性较高；根据接收的数据的数据格式将数据加入相匹配的数据集合中，对数据分类存储，有利于提高后续的数据拉取的效率，可以提高数据处理的效率。

步骤102中，所述判断数据生产者发送的连接请求是否为合法连接请求，包括：

获取所述数据生产者发送的连接请求中的注册信息，所述注册信息包括：用户名、密码、IP地址以及使用场景；

根据所述注册信息对所述数据生产者进行审核，若审核通过，则确定所述连接请求为合法连接请求。

所述在判断连接请求为合法连接请求之后，在接收所述生产者发送的数据之前，所述方法还包括：

返回第一加密密钥至所述数据生产者，以使所述数据生产者根据所述第一加密密钥对所述发送的数据加密。

使数据生产者发送的数据加密，可以增加安全性能。

数据集合以数据文件的形式存储，所述数据文件以线性顺序存储。

对数据线性顺序存储，避免了对存储磁盘的随机访问。顺序访问比随机访问的磁盘读取效率高。

本发明实施例的数据处理方法中，还设置了数据过期处理策略，以节约数据交换中心的存储空间。数据交换中心的过期策略是按照时间计算的，当超出保存期限，系统将自动删除超期的数据。数据保存期限可以根据用户需求进行设置，本发明实施例中保存期限为3天。

图2所示为本发明实施例的数据处理方法的流程图，如图2所示，本发明实施例还提供了一种数据处理方法，包括：

步骤201，接收数据消费者发送的数据拉取请求。

所述数据拉取请求中包括：请求拉取的数据所在的数据集合的标识，请求拉取的数据的断点位置；

步骤202，判断所述数据消费者发送的数据拉取请求是否为合法请求。

步骤203，若所述数据拉取请求为合法数据拉取请求，使所述数据消费者根据所述数据拉取请求在所述对应的数据集合中，从所述断点位置拉取数据。

本发明实施例中，数据消费者从数据交换中心拉取数据，而不是数据交换中心以主动通知的方式发动数据给数据消费者，可以使本发明实施例的数据处理方法重点针对数据的接收、数据的存储，从而提高数据的处理效率；以拉取的方式获得数据还可以让数据消费者按照自身的处理效率从数据交换中心拉取数据，即使数据生产者忽然生成较大流量的数据时，也不会对数据消费者产生影响养，可以使数据消费者的数据拉取速率保持恒定。

步骤202中，所述判断数据拉取请求为合法数据拉取请求，包括：

获取所述数据消费发送的数据拉取请求中的注册信息，所述注册信息包括：用户名、密码、IP地址以及使用场景；

根据所述注册信息对所述数据消费者进行审核，若审核通过，则确定所述数据拉取请求为合法数据拉取请求。

所述判断所述数据拉取请求为合法数据拉取请求后，在使数据消费者拉取数据之前，所述方法还包括：

给所述数据消费者分配权限，将所述数据消费者加入对应的权限组中；

返回第二加密密钥至所述数据消费者，以使所述数据消费者根据所述第二加密密钥解密所拉取的数据。

对数据消费者分配权限，并加入对应的权限组中，在一定时间段内，该数据消费者需要再次拉取之时，发送的数据拉取请求中可以包括权限信息或权限组的分组信息。

数据消费者根据权限获取相应符合其权限的数据。数据交换中心根据权限组可以对数据消费者分组管理，一个权限组可以对应一个数据集合，也可以对应多个数据集合，即可以保证安全性，也可以兼顾效率。对数据消费者拉取的数据加密，可以进一步增加安全性能。

本发明实施例中，所述第一加密密钥和第二加密密钥为对称密钥。

图3所示为本发明实施例的数据处理装置的示意图，如图3所示，所述数据处理装置300包括：

连接请求接收单元301，用于接收数据生产者发送的连接请求；

第一判断单元302，用于判断所述数据生产者发送的连接请求是否为合法连接请求；

数据格式获取单元303，用于若所述连接请求为合法连接请求，获取所述待接收的数据的数据格式；

第一处理单元304，用于搜索与所述数据的数据格式相匹配的数据集合，若搜索到相匹配的数据集合，则将所述数据加入所述相匹配的数据集合中，若未搜索到相匹配的数据集合，则建立新的数据集合，将所述数据加入所述新的数据集合中，并以所述数据的数据格式作为新建立的数据集合的数据格式。

本发明实施例的数据处理装置，判断数据生产者发送的连接请求为合法连接请求后接收数据生产者发送的数据，安全性较高；并且该方法根据接收的数据的数据格式将数据加入相匹配的数据集合中，在接收数据时对数据格式进行识别，按照数据格式对数据分类存储，有利于提高后续的数据拉取的效率，可以提高数据处理的效率。

本发明实施例的数据处理装置还包括：

拉取请求接收单元，用于接收数据消费者发送的数据拉取请求，所述数据拉取请求中包括：请求拉取的数据所在的数据集合的标识，请求拉取的数据的断点位置；

第二判断单元，用于判断所述数据消费者发送的数据拉取请求是否为合法请求；

第二处理单元，用于若所述数据拉取请求为合法数据拉取请求，使所述数据消费者根据所述数据拉取请求在所述对应的数据集合中，从所述断点位置拉取数据。

图4所示为本发明实施例的一个数据处理方法的流程图。如图4所示，由数据交换中心接收数据生产者发送的数据。

步骤401，数据生产者发送连接请求至数据交换中心。

步骤402，数据交换中心判断连接请求是否为合法连接请求，若为合法连接请求，转至步骤403，若为非法连接请求，则转至步骤408。

步骤403，数据交换中心返回第一加密密钥至数据生产者，获取待接收数据的数据格式。

步骤404，数据生产者根据第一加密密钥加密数据，并将加密后的数据发送至数据交换中心。

步骤405，数据交换中心搜索与该数据格式相匹配的数据集合，若搜索到相匹配的数据集合，则转至步骤406，否则转至步骤407。

步骤406，将所述数据加入所述相匹配的数据集合中。

步骤407，建立新的数据集合，将所述数据加入所述新的数据集合中，并以该数据的数据格式作为新建立的数据集合的数据格式。

步骤408，数据交换中心拒绝数据生产者访问。

本发明实施例的数据处理方法，能提高数据处理的效率，同时还能提高安全性能。

图5所示为本发明实施例的一个数据处理方法的流程图，如图5所示，数据消费者从数据交换中心拉取数据。所述方法包括：

步骤501，数据消费者发送数据拉取请求至数据交换中心。

步骤502，数据交换中心判断数据拉取请求是否为合法请求，若为合法请求，转至步骤503，若为非法请求，转至步骤507。

步骤503，数据交换中心给所述数据消费者分配权限，将所述数据消费者加入对应的权限组中。

步骤504，数据交换中心返回第二加密密钥至所述数据消费者。

步骤505，数据消费者从数据交换中心拉取数据。

步骤506，数据消费者根据第二加密密钥解密所拉取的数据。

步骤507，数据交换中心拒绝数据消费者的访问。

图6所示为本发明实施例的数据处理方法的应用场景的示意图，图6所示的实施例中，数据生产者为采集器601，采集器有多个。数据消费者包括实时分析602、查询服务603、存储服务604等。

图6所示的应用场景中，采集器601只用于数据采集，并将采集到的数据发送数据交换中心600。实时分析602、查询服务603、存储服务604主动从数据交换中心拉取数据，并且按照特定的业务处理逻辑对数据进行后续处理。

图6所示的应用场景中，各个数据生产者和数据消费者是独立运行的，他们之间没有交换行为。任何一个数据生产者或数据消费者的故障或者停止都不会影响其它服务的运行。

本发明的实施例中公开了一种数据处理方法和处理装置，该处理方法和处理装置中，在判断数据生产者发送的连接请求为合法连接请求后接收数据生产者发送的数据，安全性较高；根据接收的数据的数据格式将数据加入相匹配的数据集合中，按照数据格式对数据分类存储，有利于提高后续的数据拉取的效率，可以提高数据处理的效率。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件的方式来实现，通用硬件包括通用集成电路、通用CPU、通用存储器、通用元器件等，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

接收数据生产者发送的连接请求；

判断所述数据生产者发送的连接请求是否为合法连接请求；

若所述连接请求为合法连接请求，则获取所述待接收的数据的数据格式；

搜索与所述数据的数据格式相匹配的数据集合，若搜索到相匹配的数据集合，则将所述数据加入所述相匹配的数据集合中，若未搜索到相匹配的数据集合，则建立新的数据集合，将所述数据加入所述新的数据集合中，并以所述数据的数据格式作为新建立的数据集合的数据格式。

2.如权利要求1所述的方法，其特征在于，所述判断数据生产者发送的连接请求是否为合法连接请求，包括：

获取所述数据生产者发送的连接请求中的注册信息，所述注册信息包括：用户名、密码、IP地址以及使用场景；

根据所述注册信息对所述数据生产者进行审核，若审核通过，则确定所述连接请求为合法连接请求。

3.如权利要求2所述的方法，其特征在于，所述在判断连接请求为合法连接请求之后，在接收所述生产者发送的数据之前，所述方法还包括：

返回第一加密密钥至所述数据生产者，以使所述数据生产者根据所述第一加密密钥对所述发送的数据加密。

4.如权利要求1所述的方法，其特征在于，所述数据集合以数据文件的形式存储，所述数据文件以线性顺序存储。

5.如权利要求1所述的方法，其特征在于，所述方法还包括：

接收数据消费者发送的数据拉取请求，所述数据拉取请求中包括：请求拉取的数据所在的数据集合的标识，请求拉取的数据的断点位置；

判断所述数据消费者发送的数据拉取请求是否为合法请求；

若所述数据拉取请求为合法数据拉取请求，使所述数据消费者根据所述数据拉取请求在所述对应的数据集合中，从所述断点位置拉取数据。

6.如权利要求5所述的方法，其特征在于，所述判断所述数据拉取请求为合法数据拉取请求，包括：

获取所述数据消费发送的数据拉取请求中的注册信息，所述注册信息包括：用户名、密码、IP地址以及使用场景；

根据所述注册信息对所述数据消费者进行审核，若审核通过，则确定所述数据拉取请求为合法数据拉取请求。

7.如权利要求6所述的方法，其特征在于，所述判断所述数据拉取请求为合法数据拉取请求后，在使数据消费者拉取数据之前，所述方法还包括：

给所述数据消费者分配权限，将所述数据消费者加入对应的权限组中；

返回第二加密密钥至所述数据消费者，以使所述数据消费者根据所述第二加密密钥解密所拉取的数据。

8.如权利要求1至7任一项所述的方法，其特征在于，所述第一加密密钥和第二加密密钥为对称密钥。

9.一种数据处理装置，其特征在于，所述装置包括：

连接请求接收单元，用于接收数据生产者发送的连接请求；

第一判断单元，用于判断所述数据生产者发送的连接请求是否为合法连接请求；

数据格式获取单元，用于若所述连接请求为合法连接请求，获取所述待接收的数据的数据格式；

第一处理单元，用于搜索与所述数据的数据格式相匹配的数据集合，若搜索到相匹配的数据集合，则将所述数据加入所述相匹配的数据集合中，若未搜索相匹配的数据集合，则建立新的数据集合，将所述数据加入所述新的数据集合中，并以所述数据的数据格式作为新建立的数据集合的数据格式。

10.如权利要求9所述的装置，其特征在于，所述装置还包括：

拉取请求接收单元，用于接收数据消费者发送的数据拉取请求，所述数据拉取请求中包括：请求拉取的数据所在的数据集合的标识，请求拉取的数据的断点位置；

第二判断单元，用于判断所述数据消费者发送的数据拉取请求是否为合法请求；

第二处理单元，用于若所述数据拉取请求为合法数据拉取请求，使所述数据消费者根据所述数据拉取请求在所述对应的数据集合中，从所述断点位置拉取数据。