CN112579639A

CN112579639A - 数据处理方法、装置、电子设备及存储介质

Info

Publication number: CN112579639A
Application number: CN201910931596.XA
Authority: CN
Inventors: 林志强
Original assignee: Beijing Gridsum Technology Co Ltd
Current assignee: Beijing Gridsum Technology Co Ltd
Priority date: 2019-09-29
Filing date: 2019-09-29
Publication date: 2021-03-30

Abstract

本发明提供一种数据处理方法、装置、电子设备及存储介质，基于所述数据统一端口接收上游发送的目标数据，所述目标数据中携带有所述目标数据所属数据源的信息；以日志文件格式存储接收到的所述目标数据；根据预设分流规则，将以日志文件格式存储的所述目标数据分流至所述数据源对应的数据队列；调用所述数据源对应的数据处理程序处理对应数据队列中的目标数据，并将处理后的目标数据存储于底层存储器中对应的位置。通过上述基于统一的数据接收端口和预设分流规则，即便数据队列发生变化或者新增数据源，也不需要对上游和平台层进行改进，能够满足海量数据在采集和存储的要求。

Description

数据处理方法、装置、电子设备及存储介质

技术领域

本发明涉及数据处理技术领域，更具体地说，涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

目前针对海量数据的采集和存储，从性能和稳定性的角度考虑，通常采用流式的方式进行处理。

具体的，在平台层对数据入库的方式为：在上游采集到数据之后，将采集到的不同数据写入对应的不同数据队列中，也就是，不同的数据源对应写入不同的数据队列。在数据的处理的过程中，针对不同的数据源采用各自对应的程序对数据源进行处理。

在现有技术中，采用数据队列直接作为上游和平台层之间的数据存储，上游需要关心平台层的数据处理流程。但是，由于两者的耦合过于紧密，一旦数据队列发生变化，上游和平台层都需要做出相应的更改，不利于海量数据的采集和存储。此外，当增加一套数据源时，也需要配套增加相应的数据队列，同样需要上游和平台层做出相应的更改，也不利于海量数据的采集和存储。

发明内容

有鉴于此，本发明实施例提供一种数据处理方法、装置、电子设备及存储介质，以解决现有采用数据队列对接上游和平台层之间的数据存储，不利于海量数据的采集和存储的问题。

为实现上述目的，本发明实施例提供如下技术方案：

本发明实施例第一方面提供了一种数据处理方法，适用于设置有数据统一端口的平台层，所述方法包括：

基于所述数据统一端口接收上游发送的目标数据，所述目标数据中携带有所述目标数据所属数据源的信息；

以日志文件格式存储接收到的所述目标数据；

根据预设分流规则，将以日志文件格式存储的所述目标数据分流至所述数据源对应的数据队列；

调用所述数据源对应的数据处理程序处理对应数据队列中的目标数据，并将处理后的目标数据存储于底层存储器中对应的位置。

优选的，所述基于所述数据统一端口接收上游发送的目标数据之后，所述以日志文件形式存储接收到的所述目标数据之前，还包括：

判断所述目标数据是否接收成功；

若成功，向所述上游发送成功状态码；

若失败，向所述上游发送失败状态码。

优选的，以日志文件形式存储接收到的所述目标数据，包括：

采用Nginx服务将获取到的所述目标数据以日志文件格式进行存储。

优选的，所述目标数据中携带的所述目标数据所属数据源的信息为数据源标识，所述根据预设分流规则，将所述以日志文件格式存储的目标数据分流至所述数据源对应的数据队列，包括：

获取所述目标数据所携带的数据源标识；

基于配置于数据收集器中的预设分流规则，确定与所述数据源标识匹配的数据队列，将所述目标数据分流至所述数据源标识对应的数据队列。

优选的，当新增数据源时，还包括：

获取新增数据源对应的数据源标识；

建立新数据队列，以及所述新数据队列与所述数据源标识的匹配关系；

基于所述匹配关系更新所述预设分流规则，获取新的预设分流规则。

本发明实施例第二方面提供了一种数据处理装置，适用于设置有数据统一端口的平台层，所述数据处理装置包括：

接收单元，用于基于所述数据统一端口接收上游发送的目标数据，所述目标数据中携带有所述目标数据所属数据源的信息；

缓存单元，用于以日志文件格式存储接收到的所述目标数据；

分流单元，用于根据预设分流规则，将以日志文件格式存储的所述目标数据分流至数据源对应的数据队列；

处理单元，用于调用所述数据源对应的数据处理程序处理数据队列中的目标数据，并将处理后的目标数据存储于底层存储器中对应的位置。

优选的，还包括：

验证单元，用于判断所述目标数据是否接收成功，若成功，向所述上游发送成功状态码，若失败，向所述上游发送失败状态码。

优选的，所述分流单元，具体用于获取所述目标数据所携带的数据源标识，基于配置于数据收集器中的预设分流规则，确定与所述数据源标识匹配的数据队列，将所述目标数据分流至所述数据源标识对应的数据队列。

本发明实施例第三方面提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如本发明实施例第一方面提供的数据处理方法。

本发明实施例第四方面提供了一种电子设备，包括处理器和存储器，所述存储器中存储有程序，所述处理器用于运行所述程序，其中，所述程序运行时执行如本发明实施例第一方面提供的数据处理方法。

基于上述本发明实施例提供的一种数据处理方法、装置、电子设备及存储介质，基于数据统一端口接收上游发送的目标数据，以日志文件格式存储接收到的目标数据；根据预设分流规则，将目标数据分流至数据源对应的数据队列；调用各个数据源对应的数据处理程序处理数据队列中的目标数据，并将处理后的目标数据存储于底层存储器中对应的位置。通过上述基于统一的数据接收端口和预设分流规则，即便数据队列发生变化或者新增数据源，也不需要对上游和平台层进行改进，能够满足海量数据在采集和存储的要求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种数据处理方法的流程示意图；

图2为本发明实施例提供的另一种数据处理方法的流程示意图；

图3为本发明实施例提供的另一种数据处理方法的流程示意图；

图4为本发明实施例提供的一种数据处理装置的结构示意图；

图5为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

由背景技术可知，采用数据队列直接对接上游和平台之间的数据存储，导致上游需要关心平台层的数据处理流程。但是，由于两者的耦合过于紧密，一旦数据队列发生变化，上游和平台层都需要做出相应的更改，不利于海量数据的采集和存储。此外，当增加一套数据源时，也需要配套增加相应的数据队列，同样需要上游和平台层做出相应的更改，也不利于海量数据的采集和存储。

因此，本发明实施例提供了一种设置有数据统一端口的平台层用于数据处理，基于数据统一端口接收上游输入平台层的数据，并基于预设分流规则对输入的数据进行分流，使所属不同数据源的数据存储至对应的位置。基于统一的数据接收端口和预设分流规则，即便数据队列发生变化或者新增数据源，也不需要对上游和平台层进行改进，能够满足海量数据在采集和存储的要求。

如图1所示，为本发明实施例公开的一种数据处理方法的流程图。该数据处理方法适用于设置有数据统一端口的平台层。该数据处理方法主要包括以下步骤：

步骤S101：基于数据统一端口接收上游发送的目标数据，目标数据中携带有目标数据所属数据源的信息。

在步骤S101中，在上游通过http请求向平台层输入目标数据，所述目标数据携带有目标数据所属数据源的信息，其中数据源的信息可以为用于唯一表征数据源的数据源标识。可选的该数据源标识可以为http path标识，每一个http path标识对应唯一的一个数据源，也就是说，不同的数据源具有不同的数据源标识。

需要说明的是，用于标识数据源的数据源标识与对应数据源之间的关系是根据数据源的类型不同预先建立的。

例如，当前平台层所接受的数据源的类型为微信数据、微博数据和问答数据。将http path标识作为数据源标识，基于每一http path标识对应唯一的数据源类型的原则，可以设置微信数据对应的http path标识为1，设置微博数据对应的http path标识为2，设置问答数据对应的http path标识为3。也就是说，针对不同的数据源类型，设置不同的httppath标识。

步骤S102：以日志文件格式存储接收到的目标数据。

基于上述上游通过发送http请求，将目标数据通过数据统一端口输入平台层，在步骤S102中可采用记录http请求日志的方式，以日志文件格式存储接收到的目标数据。

在具体实现中，在平台层可以采用Nginx服务将获取到的目标数据以日志文件格式进行存储。

Nginx是一个高性能的http和反向代理web服务器，同时也提供了IMAP/POP3/SMTP服务。其特点为：占有内存少，并发能力强。

步骤S103：根据预设分流规则，将以日志文件格式存储的目标数据分流至数据源对应的数据队列。

在步骤S103中，预设分流规则可以配置于预先设置的数据收集器中，其中，数据收集器可以为Fluentd，当然也可以采用其他类型的数据收集器，本发明实施例不做具体限定。

数据收集器Fluentd是一种实时开源的数据收集器。该数据收集器Fluentd具有配置处理插件的功能，其中有一个功能为通过匹配关键字，将匹配上的数据输出至不同的数据队列中。

在步骤S103中，预设分流规则是平台层依据自身当前待接收的数据源的类型预先建立的分流规则。执行该预设分流规则的过程为：按照数据源类型将各个所属数据源的数据分流至对应的数据队列。该预设分流规则具体为：基于数据源对应的数据源标识建立的数据源与数据队列的对应关系，其中，每一数据源对应唯一的数据队列。

在本发明实施例中，将数据源标识作为匹配关键词，利用配置于数据收集器Fluentd中的预设分流规则，将目标数据分流至数据源对应的数据队列。

针对每一所述目标数据，具体过程为：

首先，获取所述目标数据所携带的数据源标识，确定所述目标数据所属的数据源。

其次，基于配置于数据收集器Fluentd中的预设分流规则，确定与所述数据源匹配的数据队列，将所述目标数据分流至数据源对应的数据队列。

可选的，在本发明实施例中当新增数据源时，需要更新预设分流规则。具体过程为：获取新增数据源对应的数据源标识；建立新数据队列，以及所述新数据队里与所述数据源标识的匹配关系；基于所述匹配关系更新所述预设分流规则，获取新的预设分流规则，从而根据更新的预设分流规则能够将归属于新增数据源的目标数据分流至新增数据源对应的数据队列中。

步骤S104：调用数据源对应的数据处理程序处理数据队列中的目标数据，并将处理后的目标数据存储于底层存储器中对应的位置。

在步骤S104中，每一个数据源都有各自对应的数据处理程序，针对不同数据队列，根据数据源各自对应的数据处理程序对数据队列中的数据进行处理，然后在将处理后的目标数据按照数据源各自对应的逻辑写入到底层存储器中对应的位置。

在本发明实施例中，基于统一的数据接收端口接收上游发送的数据，并采用日志文件的方式先对数据进行缓存，降低上游和平台层的耦合度，同时，采用统一的数据接收端口，当增加数据源时，上游仍可采用采集和发送其他数据源的方式，将数据发送至该统一的数据接收端口，并不需要对上游进行调整。在数据存储的过程中，基于预设分流规则，即便数据队列发生变化或者新增数据源，也只需要更新预设分流规则，也不需要对上游和平台层进行改进，能够满足海量数据在采集和存储的要求，进一步使得平台层具有更好的扩展性。

如图2所示，为本发明实施例公开的另一种数据处理方法的流程图。该数据处理方法适用于设置有数据统一端口的平台层。该数据处理方法主要包括以下步骤：

步骤S201：基于数据统一端口接收上游发送的目标数据，目标数据中携带有目标数据所属数据源的信息。

该步骤S201的执行过程和原理与上述本发明实施例图1公开的步骤S101的执行过程和原理相同，这里不再进行赘述。

步骤S202：判断所述目标数据是否接收成功，若成功，向所述上游发送成功状态码，若失败，向所述上游发送失败状态码。

在步骤S202中，平台层会接收由数据统一端口输入的数据，并会向上游反馈一个数据输入是否成功的状态码。可选的，状态码通常采用三位数字表示。例如：成功状态码200，失败状态码500。在本发明实施例中并不仅限于采用上述两个数字表示状态码。

步骤S203：以日志文件格式存储接收到的目标数据。

步骤S204：根据预设分流规则，将以日志文件格式存储的目标数据分流至数据源对应的数据队列。

步骤S205：调用据源对应的数据处理程序处理数据队列中的目标数据，并将处理后的目标数据存储于底层存储器中对应的位置。

上述步骤S203至步骤S205的执行过程和原理与上述本发明实施例图1公开的步骤S102至步骤S104的执行过程和原理相同，这里不再进行赘述。

基于上述本发明实施例公开的数据处理方法，如图3所示，这里以微信数据源、微博数据源和问答数据源为例进行举例说明。

将http path标识作为数据源标识，基于每一http path标识对应唯一的数据源类型的原则，设置微信数据对应的http path标识为1，设置微博数据对应的http path标识为2，设置问答数据对应的http path标识为3。也就是说，针对不同的数据源类型，设置不同的http path标识。

首先，平台层基于数据统一端口接收上游通过http请求发送的携带有http path标识为1的微信数据，以及携带有http path标识为2的微博数据，以及携带有http path标识为3问答数据。

需要说明书的是，上游并非同时发送上述数据，平台层也非同时接收上述数据。

其次，平台层收集接收到的所有微信数据、微博数据和问答数据，并以日志文件格式存储接收到的所有微信数据、微博数据和问答数据。

需要说明的是，在平台层以日志文件格式存储接收到的所有微信数据、微博数据和问答数据之前，可以向上游反馈一个数据输入是否成功的状态码。

其次，平台层利用数据收集器Fluentd和预设分流规则，将微信数据、微博数据和问答数据依据各自携带的http path标识进行分流，分别将微信数据分流至微信数据队列，将微博数据分流至微博数据队列，将问答数据队列分流至问答数据队列。

其中，http path标识1对应微信数据队列，http path标识2对应微博数据队列，http path标识3对应问答数据队列。

最后，平台层针对微信数据队列、微博数据队列和问答数据队列，分别根据各个数据源对应的数据处理程序处理数据队列中的数据，并将处理后的目标数据存储于底层存储器中对应的位置。

在本发明实施例中，基于统一的数据接收端口接收上游利用http请求发送的数据，并采用日志文件的方式先对数据进行缓存，降低上游和平台层的耦合度，同时，采用统一的数据接收端口，当增加数据源时，上游仍可采用采集和发送其他数据源的方式，将数据通过http请求发送至该统一的数据接收端口，并不需要对上游进行调整。在数据存储的过程中，基于预设分流规则，即便数据队列发生变化或者新增数据源，也只需要更新预设分流规则，也不需要对上游和平台层进行改进，能够满足海量数据在采集和存储的要求，进一步使得平台层具有更好的扩展性。

与上述本发明实施例提供的一种数据处理方法相对应，参见图4，本发明实施例还提供一种数据处理装置的结构框图，所述数据处理装置适用于设置有数据统一端口的平台层，所述数据处理装置包括：接收单元401、缓存单元402、分流单元403和处理单元404。

接收单元401，用于基于所述数据统一端口接收上游发送的目标数据。

缓存单元402，用于以日志文件格式存储接收到的目标数据。

在具体实现中，缓存单元402具体用于采用Nginx服务将获取到的目标数据以日志文件格式进行存储。

分流单元403，用于根据预设分流规则，将以日志文件格式存储的目标数据分流至数据源对应的数据队列。

在具体实现中，所述分流单元，具体用于获取目标数据所携带的数据源标识，基于配置于数据收集器中的预设分流规则，确定与所述数据源标识匹配的数据队列，将所述目标数据分流至数据源标识对应的数据队列。

处理单元404，用于调用数据源对应的数据处理程序处理数据队列中的目标数据，并将处理后的目标数据存储于底层存储器中对应的位置。

可选的，该数据处理装置还包括：

更新单元，用于当新增数据源时，获取新增数据源对应的数据源标识；建立新数据队列，以及所述新数据队里与所述数据源标识的匹配关系；基于所述匹配关系更新所述预设分流规则，获取新的预设分流规则。

基于上述本发明实施例公开的数据处理装置，上述各个模块和单元可以通过一种由处理器和存储器构成的硬件设备实现。具体为：上述各个模块和单元作为程序单元存储于存储器中，由处理器执行存储在存储器中的上述程序单元来实现数据处理。

其中，处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现数据处理。

本发明实施例提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述本发明实施例提供的数据处理方法。

也就是说，存储介质上存储的程序，该程序被处理器执行时可以实现上述本发明实施例提供的数据处理方法。

本发明实施例还提供了一种电子设备，如图5所示。

本发明实施例中的电子设备可以是服务器、PC、PAD、手机等。

该电子设备包括至少一个处理器501，以及与处理器连接的至少一个存储器502，以及总线503。

处理器501、存储器502通过总线503完成相互间的通信。处理器501，用于运行存储器502中存储的程序。

存储器502，用于存储程序，该程序至少用于：基于所述数据统一端口接收上游发送的目标数据，目标数据中携带有目标数据所属数据源的信息；以日志文件格式存储接收到的目标数据；根据预设分流规则，将以日志文件格式存储目标数据分流至数据源对应的数据队列；调用各个数据源对应的数据处理程序处理数据队列中的目标数据，并将处理后的目标数据存储于底层存储器中对应的位置。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：

基于所述数据统一端口接收上游发送的目标数据，目标数据中携带有目标数据所属数据源的信息；以日志文件格式存储接收到的目标数据；根据预设分流规则，将以日志文件格式存储的目标数据分流至数据源对应的数据队列；调用数据源对应的数据处理程序处理数据队列中的目标数据，并将处理后的目标数据存储于底层存储器中对应的位置。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

在一个典型的配置中，设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种数据处理方法，其特征在于，适用于设置有数据统一端口的平台层，所述方法包括：

以日志文件格式存储接收到的所述目标数据；

2.根据权利要求1所述的方法，其特征在于，所述基于所述数据统一端口接收上游发送的目标数据之后，所述以日志文件形式存储接收到的所述目标数据之前，还包括：

判断所述目标数据是否接收成功；

若成功，向所述上游发送成功状态码；

若失败，向所述上游发送失败状态码。

3.根据权利要求1所述的方法，其特征在于，以日志文件形式存储接收到的所述目标数据，包括：

4.根据权利要求1所述的方法，其特征在于，所述目标数据中携带的所述目标数据所属数据源的信息为数据源标识，所述根据预设分流规则，将所述以日志文件格式存储的目标数据分流至所述数据源对应的数据队列，包括：

获取所述目标数据所携带的数据源标识；

5.根据权利要求1至4中任一项所述的方法，其特征在于，当新增数据源时，还包括：

获取新增数据源对应的数据源标识；

6.一种数据处理装置，其特征在于，适用于设置有数据统一端口的平台层，所述数据处理装置包括：

分流单元，用于根据预设分流规则，将以日志文件格式存储的所述目标数据分流至所述数据源对应的数据队列；

7.根据权利要求6所述的装置，其特征在于，还包括：

8.根据权利要求6或7所述的装置，其特征在于，所述分流单元，具体用于获取所述目标数据所携带的数据源标识，基于配置于数据收集器中的预设分流规则，确定与所述数据源标识匹配的数据队列，将所述目标数据分流至所述数据源标识对应的数据队列。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如权利要求1-5中任意一项所述的数据处理方法。

10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有程序，所述处理器用于运行所述程序，其中，所述程序运行时执行如权利要求1-5中任意一项所述的数据处理方法。