CN110245059A - 一种数据处理方法、设备及存储介质 - Google Patents

Abstract

本发明实施例公开一种数据处理方法、设备及存储介质，该方法适用于数据存储的应用，其中方法包括如下步骤：获取根据业务数据生成的日志数据以及所述日志数据对应的日志标签；从日志通道列表中获取所述日志标签对应的日志通道名称，并创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所创建的日志通道，所述日志通道用于临时存储根据业务数据生成的日志数据；当检测到所述日志通道中存在日志数据时，根据所述日志通道列表将所述日志数据存储至所述日志通道对应的日志存储地址。采用本发明，可以提高日志数据处理的效率，提高信息的安全性。

Description

一种数据处理方法、设备及存储介质

技术领域

本发明涉及电子技术领域，尤其涉及一种数据处理方法、设备及存储介质。

背景技术

随着计算机技术的发展，计算机技术运用的越来越广泛，目前市面上开源的日志分析平台应用最广的属ELK系统了，其主要由三部分组成：日志收集，日志存储与分析，日志检索，其中，日志收集主要是以代理方式主动从应用服务器采集日志进行上报，但基于代理方式存在诸多弊端，每台应用部署的服务器上必须另外安装一个代理并需要单独进行日常运维维护，每个代理需占用一部分应用服务器的硬件资源业务高峰期可能会对业务造成影响，当有新的应用加入到日志分析平台，日志收集与存储之间需要手动添加日志通道，然后监听代理从消息管道中把日志迁移到日志存储器中，日志获取的效率较低，并且日志的查询和管理需要花费大量时间去检索，处理过程比较繁琐。

发明内容

本发明实施例提供一种数据处理方法、设备及存储介质，可以提高日志数据处理的效率。

本发明实施例一方面提供了一种数据处理方法，可包括：

获取根据业务数据生成的日志数据以及所述日志数据对应的日志标签；

从日志通道列表中获取所述日志标签对应的日志通道名称，并创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所创建的日志通道，所述日志通道用于临时存储根据业务数据生成的日志数据；

当检测到所述日志通道中存在日志数据时，根据所述日志通道列表将所述日志数据存储至所述日志通道对应的日志存储地址。

其中，所述从日志通道列表中获取所述日志标签对应的日志通道名称，并创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所创建的日志通道之前，还包括：

获取生成日志数据的至少一个业务模块对应的日志标签，获取每个所述日志标签分别对应的日志通道名称以及每个所述日志通道名称分别对应的日志存储地址；

将每个所述日志标签、每个所述日志通道名称和每个所述日志存储地址之间的关联关系存储至日志通道列表中。

其中，所述当检测到所述日志通道中存在日志数据时，将所述日志数据存储至所述日志通道对应的日志存储地址，包括：

根据预设周期检测所述日志通道中是否存在日志数据；

当检测到所述日志通道中存在日志数据时，从日志通道列表中获取所述日志通道所属日志通道名称对应的日志存储地址；

将所述日志数据存储至所述日志存储地址。

其中，所述从日志通道列表中获取所述日志标签对应的日志通道名称，并创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所创建的日志通道之前，还包括：

根据所述日志通道列表在日志通道集合中检测是否存在日志标签对应的日志通道；

若存在，在日志通道集合中获取所述日志标签对应的日志通道，将所述日志数据存储至日志标签对应的日志通道；

若不存在，则执行所述从日志通道列表中获取所述日志标签对应的日志通道名称，并创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所创建的日志通道的步骤。

其中，还包括：

当检测到所述日志数据中存在敏感信息时，采用特殊符号替换所述日志数据中的所述敏感信息。

其中，所述获取根据业务数据生成的日志数据以及所述日志数据对应的日志标签之后，还包括：

在所述日志数据中插入与所述日志数据对应的业务数据相关的业务关键字和全局唯一的业务特征码。

其中，还包括：

获取日志检索请求，并根据所述日志检索请求获取输入关键字和输入特征码；

将所述输入关键字与所述业务关键字进行匹配，将所述输入特征码与所述业务特征码进行匹配；

从日志存储地址中获取与所述输入关键字和所述输入特征码均匹配成功的日志数据。

本发明实施例一方面提供了一种数据处理设备，可包括：

数据获取单元，用于获取根据业务数据生成的日志数据以及所述日志数据对应的日志标签；

通道创建单元，用于从日志通道列表中获取所述日志标签对应的日志通道名称，并创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所创建的日志通道，所述日志通道用于临时存储根据业务数据生成的日志数据；

日志存储单元，用于当检测到所述日志通道中存在日志数据时，根据所述日志通道列表将所述日志数据存储至所述日志通道对应的日志存储地址。

其中，还包括：

关联关系存储存储单元，用于获取生成日志数据的至少一个业务模块对应的日志标签，获取每个所述日志标签分别对应的日志通道名称以及每个所述日志通道名称分别对应的日志存储地址；

将每个所述日志标签、每个所述日志通道名称和每个所述日志存储地址之间的关联关系存储至日志通道列表中。

其中，所述日志存储单元具体用于：

根据预设周期检测所述日志通道中是否存在日志数据；

当检测到所述日志通道中存在日志数据时，从日志通道列表中获取所述日志通道所属日志通道名称对应的日志存储地址；

将所述日志数据存储至所述日志存储地址。

其中，还包括：

通道检测单元，用于根据所述日志通道列表在日志通道集合中检测是否存在日志标签对应的日志通道；若存在，在日志通道集合中获取所述日志标签对应的日志通道，将所述日志数据存储至日志标签对应的日志通道；

若不存在，则所述日志存储单元执行从日志通道列表中获取所述日志标签对应的日志通道名称，并创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所创建的日志通道的步骤。

其中，还包括：

信息替换单元，用于当检测到所述日志数据中存在敏感信息时，采用特殊符号替换所述日志数据中的所述敏感信息。

其中，还包括：

插入单元，用于在所述日志数据中插入与所述日志数据对应的业务数据相关的业务关键字和全局唯一的业务特征码。

其中，还包括：

检索请求单元，用于获取日志检索请求，并根据所述日志检索请求获取输入关键字和输入特征码；

匹配单元，用于将所述输入关键字与所述业务关键字进行匹配，将所述输入特征码与所述业务特征码进行匹配；从日志存储地址中获取与所述输入关键字和所述输入特征码均匹配成功的日志数据。

本发明实施例一方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。

本发明实施例一方面提供了一种数据处理设备，包括处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行以下步骤：

获取根据业务数据生成的日志数据以及所述日志数据对应的日志标签；

从日志通道列表中获取所述日志标签对应的日志通道名称，并创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所创建的日志通道，所述日志通道用于临时存储根据业务数据生成的日志数据；

当检测到所述日志通道中存在日志数据时，根据所述日志通道列表将所述日志数据存储至所述日志通道对应的日志存储地址。

在本发明实施例中，通过获取根据业务数据生成的日志数据以及所述日志数据对应的日志标签；从日志通道列表中获取所述日志标签对应的日志通道名称，并创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所创建的日志通道，所述日志通道用于临时存储根据业务数据生成的日志数据；当检测到所述日志通道中存在日志数据时，根据所述日志通道列表将所述日志数据存储至所述日志通道对应的日志存储地址，通过采用自发现机制能够自动识别新增的日志数据，并自动监听相应日志通道，实现日志的自动存储归档，避免了手动拉取日志进行存储的问题，提高了日志处理的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种数据处理方法的流程示意图；

图2是本发明实施例提供的另一种数据处理方法的流程示意图；

图3是本发明实施例提供的一种数据处理方法的举例示意图；

图4是本发明实施例提供的一种数据处理设备的结构示意图；

图5是本发明实施例提供的另一种数据处理设备的结构示意图；

图6是本发明实施例提供的又一种数据处理设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的数据处理方法可以应用于对大量日志文件进行收集、归档处理以及定期对历史日志文件进行整理的场景，例如，在企业的业务处理中包括多个处理模块，各个模块下对应的业务生成不同的日志文件，不同模块对应的日志文件需要不同的临时存储通道，不同模块的日志文件存储在对应的存储地址，具体的，数据处理设备获取根据业务数据生成的日志数据以及所述日志数据对应的日志标签；从日志通道列表中获取所述日志标签对应的日志通道名称，并创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所创建的日志通道，所述日志通道用于临时存储根据业务数据生成的日志数据；当检测到所述日志通道中存在日志数据时，根据所述日志通道列表将所述日志数据存储至所述日志通道对应的日志存储地址，通过采用自发现机制能够自动识别新增的日志数据，并自动监听相应日志通道，实现日志的自动存储归档，避免了手动拉取日志进行存储的问题，提高了日志处理的效率。

本发明实施例涉及的数据处理设备可以包括：平板电脑、智能手机、个人电脑(PC)、笔记本电脑、掌上电脑以及移动互联网设备(MID)等可以进行日志文件处理的终端设备。

请参见图1，为本发明实施例提供了一种数据处理方法的流程示意图。如图1所示，本发明实施例的所述方法可以包括以下步骤S101-步骤S103。

S101，获取根据业务数据生成的日志数据以及所述日志数据对应的日志标签；

具体的，数据处理设备获取根据业务数据生成的日志数据以及所述日志数据对应的日志标签，可以理解的是，所述业务数据是根据用户对具体业务的业务请求生成的对应数据，处理各种业务数据的后台服务器根据所述业务数据生成所述日志数据，例如服务器可以是保险公司处理金融服务的后台终端，服务器在处理用户的业务数据过程中会生成对应的日志数据，所述日志数据携带有日志数据对应的日志标签，所述日志标签根据处理所述业务数据的服务器所属的业务模块生成，所述业务模块可以有多个，所述业务模块可以包括多种业务，相同业务模块下的业务数据生成对应的日志数据的日志标签相同，一个日志数据对应一个日志标签，不同的日志数据可以有相同的日志标签，例如，用户申请保险公司的一种保险，保险公司的后台服务器根据保险申请请求生成所述申请请求对应的日志数据以及所述日志数据对应的日志标签，所述数据处理设备获取所述日志数据以及所述日志数据对应的日志标签，所述日志标签对应所述业务请求所属的业务模块，所述业务模块下的其它业务请求对应的日志数据有相同的日志标签。

S102，从日志通道列表中获取所述日志标签对应的日志通道名称，并创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所创建的日志通道，所述日志通道用于临时存储根据业务数据生成的日志数据；

具体的，数据处理设备从日志通道列表中获取所述日志标签对应的日志通道名称，并创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所创建的日志通道，所述日志通道用于临时存储根据业务数据生成的日志数据，可以理解的是，所述日志通道列表中存储日志标签、日志通道名称和日志存储地址之间的关联关系，所述关联关系是日志标签、日志通道名称和日志存储地址之间的一种对应关系，数据处理设备从日志通道列表中获取所述日志标签对应的日志通道名称，创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所述创建的日志通道，需要说明的是，所述日志通道与业务模块一一对应，不同的业务模块生成的日志数据存储至不同的日志通道，所述日志通道对应所述日志标签，即不同的日志标签对应不同的日志通道，数据处理设备可以通过自动化脚本周期性检测是否创建新的日志通道，如果创建新的日志通道则会自动启动一个应用进程来对所述日志通道进行日志数据的处理，当检测到有已经失效的日志通道时，自动化脚本会清理所述失效的日志通道。

S103，当检测到所述日志通道中存在日志数据时，根据所述日志通道列表将所述日志数据存储至所述日志通道对应的日志存储地址。

具体的，数据处理设备当检测到所述日志通道中存在日志数据时，根据所述日志通道列表将所述日志数据存储至所述日志通道对应的日志存储地址，可以理解的是，当数据处理设备在日志通道中检测存在日志数据时，数据处理设备从所述日志通道列表获取所述日志通道所属日志通道名称对应的日志存储地址，将所述日志数据存储至日志存储地址中，所述日志存储地址用于存储日志数据，具体可以为存储引擎或者是日志存储设备中的存储空间，需要说明的是，数据处理设备将所述日志数据存储到日志存储地址之前，会对日志数据进行进一步的处理，例如，删除日志数据中的重复数据。

在本发明实施例中，通过获取根据业务数据生成的日志数据以及所述日志数据对应的日志标签；从日志通道列表中获取所述日志标签对应的日志通道名称，并创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所创建的日志通道，所述日志通道用于临时存储根据业务数据生成的日志数据；当检测到所述日志通道中存在日志数据时，根据所述日志通道列表将所述日志数据存储至所述日志通道对应的日志存储地址，通过采用自发现机制能够自动识别新增的日志数据，并自动监听相应日志通道，实现日志的自动存储归档，避免了手动拉取日志进行存储的问题，提高了日志处理的效率。

请参见图2，为本发明实施例提供了一种数据处理方法的流程示意图。如图2所示，本发明实施例的所述方法可以包括以下步骤S201-步骤S209。

S201，获取根据业务数据生成的日志数据以及所述日志数据对应的日志标签；

S202，在所述日志数据中插入与所述日志数据对应的业务数据相关的业务关键字和全局唯一的业务特征码；

具体的，数据处理设备在所述日志数据中插入与所述日志数据对应的业务数据相关的业务关键字和全局唯一的业务特征码，可以理解的是，所述业务关键字是与业务数据相关的信息，所述业务关键字具体可以是日志的生成时间、用户的手机号、用户名、或者证件等信息，所述全局唯一的业务特征码为全局流水号，同一个业务对应一个业务特征码，不同的业务对应不同的业务特征码，同一个业务产生的日志有相同的业务特征码，例如，一个业务需要在几个不同的业务模块上处理，所述几个业务模块中每一个业务模块均会生成对应的日志数据，这个业务对应的几个日志数据拥有相同的业务特征码。

S203，获取生成日志数据的至少一个业务模块对应的日志标签，获取每个所述日志标签分别对应的日志通道名称以及每个所述日志通道名称分别对应的日志存储地址；将每个所述日志标签、每个所述日志通道名称和每个所述日志存储地址之间的关联关系存储至日志通道列表中；

具体的，数据处理设备获取生成日志数据的至少一个业务模块对应的日志标签，获取每个所述日志标签分别对应的日志通道名称以及每个所述日志通道名称分别对应的日志存储地址；将每个所述日志标签、每个所述日志通道名称和每个所述日志存储地址之间的关联关系存储至日志通道列表中，可以理解的是，所述日志通道列表用于存储日志标签、日志通道名称和日志存储地址之间的关联关系，所述关联关系是日志标签、日志通道名称和日志存储地址之间的一种对应关系。

S204，根据所述日志通道列表在日志通道集合中检测是否存在日志标签对应的日志通道；若存在，在日志通道集合中获取所述日志标签对应的日志通道，将所述日志数据存储至日志标签对应的日志通道；

具体的，数据处理设备根据所述日志通道列表在日志通道集合中检测是否存在日志标签对应的日志通道；若存在，在日志通道集合中获取所述日志标签对应的日志通道，将所述日志数据存储至日志标签对应的日志通道，可以理解的是，数据处理设备从所述日志通道列表中获取日志标签对应的日志通道名称，并检测日志通道集合中是否存在所述日志通道名称所属的日志通道，所述日志通道集合可以包括多个日志通道，若日志通道集合中存在所述日志通道名称所属的日志通道，则将所述日志数据存储至所述日志通道，所述日志通道与日志数据的对应关系是根据所述日志通道列表获取，所述对应关系是预先进行设置的，用户可以对已存在的对应关系进行管理。

S205，若不存在，则从日志通道列表中获取所述日志标签对应的日志通道名称，并创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所创建的日志通道；

S206，根据预设周期检测所述日志通道中是否存在日志数据；当检测到所述日志通道中存在日志数据时，从日志通道列表中获取所述日志通道所属日志通道名称对应的日志存储地址；将所述日志数据存储至所述日志存储地址。

具体的，数据处理设备根据预设周期检测所述日志通道中是否存在日志数据；当检测到所述日志通道中存在日志数据时，从日志通道列表中获取所述日志通道所属日志通道名称对应的日志存储地址；将所述日志数据存储至所述日志存储地址，可以理解的是，数据处理设备根据预设周期检测所述日志通道中是否存在日志数据，所述预设检测周期可以从自动化脚本中获取，当数据处理设备在日志通道中检测存在日志数据时，数据处理设备从所述日志通道列表获取所述日志通道所属日志通道名称对应的日志存储地址，将所述日志数据存储至日志存储地址中，所述日志存储地址用于存储日志数据，具体可以为存储引擎或者是日志存储设备中的存储空间，需要说明的是，数据处理设备将所述日志数据存储到日志存储地址之前，会对日志数据进行进一步的处理，例如，删除日志数据中的重复数据。

S207，当检测到所述日志数据中存在敏感信息时，采用特殊符号替换所述日志数据中的所述敏感信息；

具体的，数据处理设备当检测到所述日志数据中存在敏感信息时，采用特殊符号替换所述日志数据中的所述敏感信息，可以理解的是，所述敏感信息包括用户的个人信息或者是隐私信息，例如用户的用户名、或者是联系方式信息，所述特殊符号是用于隐藏敏感信息的标识，例如可以为星号，具体的，数据处理设备检测到日志信息中存在用户的名称时，则采用星号将用户的名字替换，或者是检测到日志信息中存在手机号码，数据处理设备采用星号将手机号码中的部分数字替换，提高了信息的安全性。

S208，获取日志检索请求，并根据所述日志检索请求获取输入关键字和输入特征码；

具体的，数据处理设备获取日志检索请求，并根据所述日志检索请求获取输入关键字和输入特征码，可以理解的是，所述日志检索请求是针对日志检索的指令，所述指令可以是点击指令或者是语音指令，所述日志检索请求可以通过点击触屏上的日志检索的接口，或者是点击日志检索对应的按钮，数据处理设备获取日志检索请求，并根据所述日志检索请求获取输入关键字和输入特征码，所述输入关键字是用户输入的业务关键字，所述输入特征码是用户输入的业务特征码。

S209，将所述输入关键字与所述业务关键字进行匹配，将所述输入特征码与所述业务特征码进行匹配；从日志存储地址中获取与所述输入关键字和所述输入特征码均匹配成功的日志数据。

具体的，数据处理设备将所述输入关键字与日志存储地址中日志数据的业务关键字进行匹配，将输入特征码与日志存储地址中日志数据的全局唯一的业务特征码进行匹配；从日志存储地址中获取与所述输入关键字和所述输入特征码均匹配成功的日志数据，可以理解的是，数据处理设备将所述输入关键字与日志存储地址中日志数据的业务关键字进行匹配，将输入特征码与日志存储地址中日志数据的全局唯一的业务特征码进行匹配，从日志存储地址中获取同时与所述输入关键字和所述输入特征码均匹配成功的日志数据，所述匹配成功的日志数据的业务关键字与输入关键字，且所述匹配成功的日志数据的业务特征码与输入特征码相同，将所述匹配成功的日志数据展示在显示设备中，所述显示设备可以是显示屏或者是投影仪。

其中，本发明实施例的步骤S201和205参见图1所示实施例的步骤S101和S102的具体描述，在此不进行赘述。

在本发明实施例中，通过获取根据业务数据生成的日志数据以及所述日志数据对应的日志标签；从日志通道列表中获取所述日志标签对应的日志通道名称，并创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所创建的日志通道，所述日志通道用于临时存储根据业务数据生成的日志数据；当检测到所述日志通道中存在日志数据时，根据所述日志通道列表将所述日志数据存储至所述日志通道对应的日志存储地址，通过采用自发现机制能够自动识别新增的日志数据，并自动监听相应日志通道，实现日志的自动存储归档，避免了手动拉取日志进行存储的问题，提高了日志处理的效率，并支持在每条日志记录中插入用于标记一笔完整交易的全局识别码，方便单笔业务日志完整检索，支持日志脱敏处理，提高了信息的安全性。

下面将对本发明实施例提供的一种数据处理方法进行具体说明。

具体的实施场景为用户在保险公司处理金融服务，如图4所示，根据业务数据生成的日志数据的服务器是保险公司处理金融服务的后台终端，所述后台终端包括多个业务模块，每个业务模块可以处理多种业务，数据处理设备获取根据业务数据生成的日志数据以及所述日志数据对应的日志标签，相同业务模块下的业务数据生成对应的日志数据的日志标签相同，数据处理设备从日志通道列表中获取所述日志标签对应的日志通道名称，并创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所创建的日志通道，所述日志通道用于临时存储根据业务数据生成的日志数据，如图4所示，业务模块1对应日志标签1，日志标签1对应日志通道1，针对业务模块1根据业务数据生成的日志数据，数据处理设备创建日志通道1并将所述日志数据存储至日志通道1，业务模块2对应日志标签2，日志标签2对应日志通道2，针对业务模块2根据业务数据生成的日志数据，数据处理设备创建日志通道2并将所述日志数据存储至日志通道2，当检测到所述日志通道中存在日志数据时，数据处理设备根据所述日志通道列表将所述日志数据存储至所述日志通道对应的日志存储地址，如图4所示，当检测到日志通道1或者日志通道2或者日志通道3中存在日志数据时，数据处理设备从所述日志通道列表获取所述日志通道所属日志通道名称对应的日志存储地址，将所述日志数据存储至日志存储地址中。

请参见图4，为本发明实施例提供了一种数据处理设备的结构示意图。如图4所示，本发明实施例的所述数据处理设备1可以包括：数据获取单元11、通道创建单元12、日志存储单元13。

数据获取单元11，用于获取根据业务数据生成的日志数据以及所述日志数据对应的日志标签；

具体的，数据获取单元11获取根据业务数据生成的日志数据以及所述日志数据对应的日志标签，可以理解的是，所述业务数据是根据用户对具体业务的业务请求生成的对应数据，处理各种业务数据的后台服务器根据所述业务数据生成所述日志数据，例如服务器可以是保险公司处理金融服务的后台终端，服务器在处理用户的业务数据过程中会生成对应的日志数据，所述日志数据携带有日志数据对应的日志标签，所述日志标签根据处理所述业务数据的服务器所属的业务模块生成，所述业务模块可以有多个，所述业务模块可以包括多种业务，相同业务模块下的业务数据生成对应的日志数据的日志标签相同，一个日志数据对应一个日志标签，不同的日志数据可以有相同的日志标签，例如，用户申请保险公司的一种保险，保险公司的后台服务器根据保险申请请求生成所述申请请求对应的日志数据以及所述日志数据对应的日志标签，所述数据处理设备获取所述日志数据以及所述日志数据对应的日志标签，所述日志标签对应所述业务请求所属的业务模块，所述业务模块下的其它业务请求对应的日志数据有相同的日志标签。

道创建单元12，用于从日志通道列表中获取所述日志标签对应的日志通道名称，并创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所创建的日志通道，所述日志通道用于临时存储根据业务数据生成的日志数据；

具体的，道创建单元12从日志通道列表中获取所述日志标签对应的日志通道名称，并创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所创建的日志通道，所述日志通道用于临时存储根据业务数据生成的日志数据，可以理解的是，所述日志通道列表中存储日志标签、日志通道名称和日志存储地址之间的关联关系，所述关联关系是日志标签、日志通道名称和日志存储地址之间的一种对应关系，数据处理设备从日志通道列表中获取所述日志标签对应的日志通道名称，创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所述创建的日志通道，需要说明的是，所述日志通道与业务模块一一对应，不同的业务模块生成的日志数据存储至不同的日志通道，所述日志通道对应所述日志标签，即不同的日志标签对应不同的日志通道，数据处理设备可以通过自动化脚本周期性检测是否创建新的日志通道，如果创建新的日志通道则会自动启动一个应用进程来对所述日志通道进行日志数据的处理，当检测到有已经失效的日志通道时，自动化脚本会清理所述失效的日志通道。

日志存储单元13，用于当检测到所述日志通道中存在日志数据时，根据所述日志通道列表将所述日志数据存储至所述日志通道对应的日志存储地址。

具体的，日志存储单元13当检测到所述日志通道中存在日志数据时，根据所述日志通道列表将所述日志数据存储至所述日志通道对应的日志存储地址，可以理解的是，当数据处理设备在日志通道中检测存在日志数据时，日志存储单元13从所述日志通道列表获取所述日志通道所属日志通道名称对应的日志存储地址，将所述日志数据存储至日志存储地址中，所述日志存储地址用于存储日志数据，具体可以为存储引擎或者是日志存储设备中的存储空间，需要说明的是，数据处理设备将所述日志数据存储到日志存储地址之前，会对日志数据进行进一步的处理，例如，删除日志数据中的重复数据。

在本发明实施例中，通过获取根据业务数据生成的日志数据以及所述日志数据对应的日志标签；从日志通道列表中获取所述日志标签对应的日志通道名称，并创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所创建的日志通道，所述日志通道用于临时存储根据业务数据生成的日志数据；当检测到所述日志通道中存在日志数据时，根据所述日志通道列表将所述日志数据存储至所述日志通道对应的日志存储地址，通过采用自发现机制能够自动识别新增的日志数据，并自动监听相应日志通道，实现日志的自动存储归档，避免了手动拉取日志进行存储的问题，提高了日志处理的效率。

请参见图5，为本发明实施例提供了一种数据处理设备的结构示意图。如图5所示，本发明实施例的所述数据处理设备1可以包括：数据获取单元11、通道创建单元12、日志存储单元13、关联关系存储存储单元14、通道检测单元15、信息替换单元16、插入单元17、检索请求单元18、匹配单元19。

数据获取单元11，用于获取根据业务数据生成的日志数据以及所述日志数据对应的日志标签；

插入单元17，用于在所述日志数据中插入与所述日志数据对应的业务数据相关的业务关键字和全局唯一的业务特征码；

具体的，插入单元17在所述日志数据中插入与所述日志数据对应的业务数据相关的业务关键字和全局唯一的业务特征码，可以理解的是，所述业务关键字是与业务数据相关的信息，所述业务关键字具体可以是日志的生成时间、用户的手机号、用户名、或者证件等信息，所述全局唯一的业务特征码为全局流水号，同一个业务对应一个业务特征码，不同的业务对应不同的业务特征码，同一个业务产生的日志有相同的业务特征码，例如，一个业务需要在几个不同的业务模块上处理，所述几个业务模块中每一个业务模块均会生成对应的日志数据，这个业务对应的几个日志数据拥有相同的业务特征码。

关联关系存储存储单元14，用于获取生成日志数据的至少一个业务模块对应的日志标签，获取每个所述日志标签分别对应的日志通道名称以及每个所述日志通道名称分别对应的日志存储地址；将每个所述日志标签、每个所述日志通道名称和每个所述日志存储地址之间的关联关系存储至日志通道列表中；

具体的，关联关系存储存储单元14获取生成日志数据的至少一个业务模块对应的日志标签，获取每个所述日志标签分别对应的日志通道名称以及每个所述日志通道名称分别对应的日志存储地址；将每个所述日志标签、每个所述日志通道名称和每个所述日志存储地址之间的关联关系存储至日志通道列表中，可以理解的是，所述日志通道列表用于存储日志标签、日志通道名称和日志存储地址之间的关联关系，所述关联关系是日志标签、日志通道名称和日志存储地址之间的一种对应关系。

通道检测单元15，用于根据所述日志通道列表在日志通道集合中检测是否存在日志标签对应的日志通道；若存在，在日志通道集合中获取所述日志标签对应的日志通道，将所述日志数据存储至日志标签对应的日志通道；

具体的，通道检测单元15根据所述日志通道列表在日志通道集合中检测是否存在日志标签对应的日志通道；若存在，在日志通道集合中获取所述日志标签对应的日志通道，将所述日志数据存储至日志标签对应的日志通道，可以理解的是，通道检测单元15从所述日志通道列表中获取日志标签对应的日志通道名称，并检测日志通道集合中是否存在所述日志通道名称所属的日志通道，所述日志通道集合可以包括多个日志通道，若日志通道集合中存在所述日志通道名称所属的日志通道，则将所述日志数据存储至所述日志通道，所述日志通道与日志数据的对应关系是根据所述日志通道列表获取，所述对应关系是预先进行设置的，用户可以对已存在的对应关系进行管理。

通道创建单元12，用于若日志通道集合中不存在日志标签对应的日志通道，则从日志通道列表中获取所述日志标签对应的日志通道名称，并创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所创建的日志通道；

日志存储单元13，用于根据预设周期检测所述日志通道中是否存在日志数据；当检测到所述日志通道中存在日志数据时，从日志通道列表中获取所述日志通道所属日志通道名称对应的日志存储地址；将所述日志数据存储至所述日志存储地址。

具体的，日志存储单元13根据预设周期检测所述日志通道中是否存在日志数据；当检测到所述日志通道中存在日志数据时，从日志通道列表中获取所述日志通道所属日志通道名称对应的日志存储地址；将所述日志数据存储至所述日志存储地址，可以理解的是，日志存储单元13根据预设周期检测所述日志通道中是否存在日志数据，所述预设检测周期可以从自动化脚本中获取，当数据处理设备在日志通道中检测存在日志数据时，数据处理设备从所述日志通道列表获取所述日志通道所属日志通道名称对应的日志存储地址，将所述日志数据存储至日志存储地址中，所述日志存储地址用于存储日志数据，具体可以为存储引擎或者是日志存储设备中的存储空间，需要说明的是，数据处理设备将所述日志数据存储到日志存储地址之前，会对日志数据进行进一步的处理，例如，删除日志数据中的重复数据。

信息替换单元16，用于当检测到所述日志数据中存在敏感信息时，采用特殊符号替换所述日志数据中的所述敏感信息；

具体的，信息替换单元16当检测到所述日志数据中存在敏感信息时，采用特殊符号替换所述日志数据中的所述敏感信息，可以理解的是，所述敏感信息包括用户的个人信息或者是隐私信息，例如用户的用户名、或者是联系方式信息，所述特殊符号是用于隐藏敏感信息的标识，例如可以为星号，具体的，数据处理设备检测到日志信息中存在用户的名称时，则采用星号将用户的名字替换，或者是检测到日志信息中存在手机号码，数据处理设备采用星号将手机号码中的部分数字替换，提高了信息的安全性。

检索请求单元18，用于获取日志检索请求，并根据所述日志检索请求获取输入关键字和输入特征码；

具体的，检索请求单元18获取日志检索请求，并根据所述日志检索请求获取输入关键字和输入特征码，可以理解的是，所述日志检索请求是针对日志检索的指令，所述指令可以是点击指令或者是语音指令，所述日志检索请求可以通过点击触屏上的日志检索的接口，或者是点击日志检索对应的按钮，数据处理设备获取日志检索请求，并根据所述日志检索请求获取输入关键字和输入特征码，所述输入关键字是用户输入的业务关键字，所述输入特征码是用户输入的业务特征码。

匹配单元19，用于将所述输入关键字与所述业务关键字进行匹配，将所述输入特征码与所述业务特征码进行匹配；从日志存储地址中获取与所述输入关键字和所述输入特征码均匹配成功的日志数据。

具体的，匹配单元19将所述输入关键字与日志存储地址中日志数据的业务关键字进行匹配，将输入特征码与日志存储地址中日志数据的全局唯一的业务特征码进行匹配；从日志存储地址中获取与所述输入关键字和所述输入特征码均匹配成功的日志数据，可以理解的是，匹配单元19将所述输入关键字与日志存储地址中日志数据的业务关键字进行匹配，将输入特征码与日志存储地址中日志数据的全局唯一的业务特征码进行匹配，从日志存储地址中获取同时与与所述输入关键字和所述输入特征码均匹配成功的日志数据，所述匹配成功的日志数据的业务关键字与输入关键字，且所述匹配成功的日志数据的业务特征码与输入特征码相同，将所述匹配成功的日志数据展示在显示设备中，所述显示设备可以是显示屏或者是投影仪。

其中，本发明实施例的数据获取单元11和通道创建单元12参见图4所示实施例的数据获取单元11和通道创建单元12的具体描述，在此不进行赘述。

在本发明实施例中，通过获取根据业务数据生成的日志数据以及所述日志数据对应的日志标签；从日志通道列表中获取所述日志标签对应的日志通道名称，并创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所创建的日志通道，所述日志通道用于临时存储根据业务数据生成的日志数据；当检测到所述日志通道中存在日志数据时，根据所述日志通道列表将所述日志数据存储至所述日志通道对应的日志存储地址，通过采用自发现机制能够自动识别新增的日志数据，并自动监听相应日志通道，实现日志的自动存储归档，避免了手动拉取日志进行存储的问题，提高了日志处理的效率，并支持在每条日志记录中插入用于标记一笔完整交易的全局识别码，方便单笔业务日志完整检索，支持日志脱敏处理，提高了信息的安全性。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图1-图3所示实施例的方法步骤，具体执行过程可以参见图1-图3所示实施例的具体说明，在此不进行赘述。

请参见图6，为本发明实施例提供了一种数据处理的结构示意图。如图6所示，所述数据处理1000可以包括：至少一个处理器1001，例如CPU，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图6所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据处理应用程序。

在图6所示的终端1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的数据处理应用程序，并具体执行以下操作：

获取根据业务数据生成的日志数据以及所述日志数据对应的日志标签；

从日志通道列表中获取所述日志标签对应的日志通道名称，并创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所创建的日志通道，所述日志通道用于临时存储根据业务数据生成的日志数据；

当检测到所述日志通道中存在日志数据时，根据所述日志通道列表将所述日志数据存储至所述日志通道对应的日志存储地址。

在一个实施例中，所述处理器1001在执行所述从日志通道列表中获取所述日志标签对应的日志通道名称，并创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所创建的日志通道之前，具体执行以下操作：

获取生成日志数据的至少一个业务模块对应的日志标签，获取每个所述日志标签分别对应的日志通道名称以及每个所述日志通道名称分别对应的日志存储地址；

将每个所述日志标签、每个所述日志通道名称和每个所述日志存储地址之间的关联关系存储至日志通道列表中。

在一个实施例中，所述处理器1001在执行所述当检测到所述日志通道中存在日志数据时，将所述日志数据存储至所述日志通道对应的日志存储地址时，具体执行以下操作：

根据预设周期检测所述日志通道中是否存在日志数据；

当检测到所述日志通道中存在日志数据时，从日志通道列表中获取所述日志通道所属日志通道名称对应的日志存储地址；

将所述日志数据存储至所述日志存储地址。

在一个实施例中，所述处理器1001在执行所述从日志通道列表中获取所述日志标签对应的日志通道名称，并创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所创建的日志通道之前，具体执行以下操作：

根据所述日志通道列表在日志通道集合中检测是否存在日志标签对应的日志通道；

若存在，在日志通道集合中获取所述日志标签对应的日志通道，将所述日志数据存储至日志标签对应的日志通道；

若不存在，则执行所述从日志通道列表中获取所述日志标签对应的日志通道名称，并创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所创建的日志通道的步骤。

在一个实施例中，所述处理器1001具体还执行以下操作：

当检测到所述日志数据中存在敏感信息时，采用特殊符号替换所述日志数据中的所述敏感信息。

在一个实施例中，所述处理器1001在执行所述获取根据业务数据生成的日志数据以及所述日志数据对应的日志标签之后，具体执行以下操作：

在所述日志数据中插入与所述日志数据对应的业务数据相关的业务关键字和全局唯一的业务特征码。

在一个实施例中，所述处理器1001具体还执行以下操作：

获取日志检索请求，并根据所述日志检索请求获取输入关键字和输入特征码；

将所述输入关键字与所述业务关键字进行匹配，将所述输入特征码与所述业务特征码进行匹配；

从日志存储地址中获取与所述输入关键字和所述输入特征码均匹配成功的日志数据。

在本发明实施例中，通过获取根据业务数据生成的日志数据以及所述日志数据对应的日志标签；从日志通道列表中获取所述日志标签对应的日志通道名称，并创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所创建的日志通道，所述日志通道用于临时存储根据业务数据生成的日志数据；当检测到所述日志通道中存在日志数据时，根据所述日志通道列表将所述日志数据存储至所述日志通道对应的日志存储地址，通过采用自发现机制能够自动识别新增的日志数据，并自动监听相应日志通道，实现日志的自动存储归档，避免了手动拉取日志进行存储的问题，提高了日志处理的效率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

获取根据业务数据生成的日志数据以及所述日志数据对应的日志标签；

从日志通道列表中获取所述日志标签对应的日志通道名称，并创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所创建的日志通道，所述日志通道用于临时存储根据业务数据生成的日志数据；

当检测到所述日志通道中存在日志数据时，根据所述日志通道列表将所述日志数据存储至所述日志通道对应的日志存储地址。

2.根据权利要求1所述的方法，其特征在于，所述从日志通道列表中获取所述日志标签对应的日志通道名称，并创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所创建的日志通道之前，还包括：

获取生成日志数据的至少一个业务模块对应的日志标签，获取每个所述日志标签分别对应的日志通道名称以及每个所述日志通道名称分别对应的日志存储地址；

将每个所述日志标签、每个所述日志通道名称和每个所述日志存储地址之间的关联关系存储至日志通道列表中。

3.根据权利要求1或2所述的方法，其特征在于，所述当检测到所述日志通道中存在日志数据时，将所述日志数据存储至所述日志通道对应的日志存储地址，包括：

根据预设周期检测所述日志通道中是否存在日志数据；

当检测到所述日志通道中存在日志数据时，从日志通道列表中获取所述日志通道所属日志通道名称对应的日志存储地址；

将所述日志数据存储至所述日志存储地址。

4.根据权利要求1或2所述的方法，其特征在于，所述从日志通道列表中获取所述日志标签对应的日志通道名称，并创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所创建的日志通道之前，还包括：

根据所述日志通道列表在日志通道集合中检测是否存在日志标签对应的日志通道；

若存在，在日志通道集合中获取所述日志标签对应的日志通道，将所述日志数据存储至日志标签对应的日志通道；

若不存在，则执行所述从日志通道列表中获取所述日志标签对应的日志通道名称，并创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所创建的日志通道的步骤。

5.根据权利要求1或2所述的方法，其特征在于，还包括：

当检测到所述日志数据中存在敏感信息时，采用特殊符号替换所述日志数据中的所述敏感信息。

6.根据权利要求1或2所述的方法，其特征在于，所述获取根据业务数据生成的日志数据以及所述日志数据对应的日志标签之后，还包括：

在所述日志数据中插入与所述日志数据对应的业务数据相关的业务关键字和全局唯一的业务特征码。

7.根据权利要求6所述的方法，其特征在于，还包括：

获取日志检索请求，并根据所述日志检索请求获取输入关键字和输入特征码；

将所述输入关键字与所述业务关键字进行匹配，将所述输入特征码与所述业务特征码进行匹配；

从日志存储地址中获取与所述输入关键字和所述输入特征码均匹配成功的日志数据。

8.一种数据处理设备，其特征在于，包括：

数据获取单元，用于获取根据业务数据生成的日志数据以及所述日志数据对应的日志标签；

通道创建单元，用于从日志通道列表中获取所述日志标签对应的日志通道名称，并创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所创建的日志通道，所述日志通道用于临时存储根据业务数据生成的日志数据；

日志存储单元，用于当检测到所述日志通道中存在日志数据时，根据所述日志通道列表将所述日志数据存储至所述日志通道对应的日志存储地址。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1-7任意一项的方法步骤。

10.一种数据处理设备，其特征在于，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行以下步骤：

获取根据业务数据生成的日志数据以及所述日志数据对应的日志标签；

从日志通道列表中获取所述日志标签对应的日志通道名称，并创建所述日志通道名称对应的日志通道，并将所述日志数据存储至所创建的日志通道，所述日志通道用于临时存储根据业务数据生成的日志数据；

当检测到所述日志通道中存在日志数据时，根据所述日志通道列表将所述日志数据存储至所述日志通道对应的日志存储地址。