CN104750729A - 一种基于日志文件的数据管理方法及数据管理系统 - Google Patents

Abstract

本发明公开了一种基于日志文件的数据管理方法及数据管理系统，该方法包括：数据管理系统对所述新增的记录进行解析，获取所述记录中包括的数据内容；所述数据管理系统根据预设的转换规则对所述数据内容进行转换，并根据转换后的数据对至少两个不同的目标数据库中的数据进行相应处理；其中，不同的目标数据库对应不同的转换规则。在本发明中，提高了数据管理的灵活性和可扩展性。

Description

一种基于日志文件的数据管理方法及数据管理系统

技术领域

本发明涉及通信技术领域，尤其涉及一种基于日志文件的数据管理方法及数据管理系统。

背景技术

1）数据共享

数据共享是让多个应用共享同一份数据来达到数据一致的目的，在同一时刻可以有多个应用读取同一份数据，但同一时刻只能有一个应用修改一份数据。数据共享的模型可以如图1所示。

由于所有应用均访问同一份数据，数据一致性得到了很好的保证，但数据所在设备需要承受巨大的访问压力，为了能承受住这种压力，往往需要购买性能优越的硬件设备，花费不菲。

2）数据复制

数据复制通过将一份数据复制多份供不同的应用（或者不同的场景）使用。常见的形式有读写分离、历史数据、离线数据等。数据复制的模型可以如图2所示。其中，现有数据复制包括以下特点：

读写分离：将数据完整的复制到另外一台机器上，一份数据供写操作、一份数据供读操作。将读、写操作分开，降低单个系统的压力，增强系统的健壮性。

历史数据：历史数据是从时间的角度将数据分开，减轻“当前”数据库的压力，对历史数据的操作都转移到历史库中进行。

离线数据：相对于在线数据而言，将在线数据复制出来供一些实时性要求不高、对数据库性能影响较大的操作放到离线数据上来，如统计、报表等。

与数据共享相比较，数据复制提供了以下两个关键特性：

可扩展性：方便进行横向扩展，可以根据需要，将数据复制到其他台服务器上供系统使用，简单增加服务器就能实现扩展。

高可用性：由于数据被复制在多个服务器上，规避了数据单点，同时降低了单个服务器的压力，如果某个服务器有压力，可以增加新的服务器进来，分担系统压力，增强整个系统的抗风险能力，保障系统的高可用。

现有技术中，在互联网大数据量访问的情况下，数据共享方式中的数据存储设备很容易成为系统的瓶颈，很难满足当前互联网大访问量、高并发的要求。为了追求尽可能好的性能表现，往往需要购买昂贵的存储设备，成本高。

数据复制在一定程度上实现了扩展性，缓解系统压力，增强系统抗风险能力，保证高可用，能在一定程度上使用互联网场景的要求。但读写分离是完整的将一份数据复制到另一个设备上，数据内容、划分数据的角度均完全一致，在当前互联网大数据量的场景下，为保证对数据的修改、检索的高效，数据通常都是按某个维度进行多次横向、纵向切割后进行存储的，不同的业务场景需要从不同的维度来检索、展示数据，某一个维度的数据只能使用某些场景下的业务需求，无法实现另外一些业务场景的需求。历史数据从时间的维度将数据进行分割，可以满足某些业务场景需求，但是无法满足所有业务场景需求。例如用户在10086上订购了一本电子书，从用户的维度来看，用户关心的是自己的订单；从运营商的维度来看，他希望看到的是所有订购电子书的订单；从电子书作者来看，他希望看到的是所有订购该书的订单。在海量数据的情况下，用户的数据可能会按用户账号做切割存放在不同的表里（或库里）；运营商的数据可能会按时间做切割存放在不同的表里（或库里）；电子书作者的数据可能会按照作品来做切割存放在不同的表里（或库里）。在类似的场景里简单做复制、历史数据或离线数据都只能在解决一个问题的同时，增加其他问题的复杂度。

发明内容

本发明提供了一种基于日志文件的数据管理方法及数据管理系统，用以提高数据管理的灵活性、可扩展性。

为了达到以上目的，本发明提供了一种基于日志文件的数据管理方法，所述日志文件中的每一条记录包括事件开始标识、事件头、数据内容，以及事件结束标识；当所述日志文件中新增记录时，该方法包括：

数据管理系统对所述新增的记录进行解析，获取所述记录中包括的数据内容；

所述数据管理系统根据预设的转换规则对所述数据内容进行转换，并根据转换后的数据对至少两个不同的目标数据库中的数据进行相应处理；其中，不同的目标数据库对应不同的转换规则。

本发明实施例还提供了一种基于日志文件的数据管理系统，所述日志文件中的每一条记录包括事件开始标识、事件头、数据内容，以及事件结束标识；该数据管理系统包括：

获取模块，用于当所述日志文件中新增记录时，对所述新增的记录进行解析，获取所述记录中包括的数据内容；

处理模块，用于根据预设的转换规则对所述数据内容进行转换，并根据转换后的数据对至少两个不同的目标数据库中的数据进行相应处理；其中，不同的目标数据库对应不同的转换规则。

本发明上述实施例中，当日志文件中新增记录时，数据管理系统对该新增的记录进行解析，获取该记录中包括的数据内容，并根据预设的转换规则对数据内容进行转换，进而根据转换后的数据对至少两个不同的目标数据库中的数据进行相应处理，实现了将一份数据转换成多个维度的数据，提高了数据管理的灵活性和可扩展性。

附图说明

图1为现有技术中一种数据共享的模型示意图；

图2为现有技术中一种数据复制的模型示意图；

图3为本发明实施例提供的一种基于日志文件的数据管理方法的流程示意图；

图4为本发明实施例提供的一种数据管理系统的系统架构示意图；

图5为本发明实施例提供的一种数据管理系统的结构示意图。

具体实施方式

针对上述现有技术中的问题，本发明实施例提供了一种技术日志文件的数据管理的技术方案。在该技术方案中，日志文件中的每一条记录包括事件开始标识、事件头、数据内容，以及事件结束标识，当日志文件中新增记录时，数据管理系统对该新增的记录进行解析，获取该记录中包括的数据内容，并根据预设的转换规则对数据内容进行转换，进而根据转换后的数据对至少两个不同的目标数据库中的数据进行相应处理。

其中，在本发明实施例中，不同的目标数据库对应不同的转换规则，数据管理系统根据相应的目标数据库对应的转换规则对获取到的数据内容进行转换，对于不同的目标数据库，数据转换的结果不同，实现了将一份数据转换成多个维度的数据，提高了数据管理的灵活性和可扩展性。

下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图3所示，为本发明实施例提供的一种基于日志文件的数据管理方法的流程示意图，其中，当日志文件中新增记录时，该方法可以包括以下步骤：

步骤301、数据管理系统对所述新增的记录进行解析，获取所述记录中包括的数据内容。

具体的，在本发明实施例中，业务系统可以按照一定的格式将对数据的操作写入日志文件，该日志文件中的每一条记录均可以包括事件开始标识、事件头、数据内容，以及事件结束标识。

当日志文件中新增记录时，数据管理系统可以从日志文件中读取该新增的记录，并对该新增的记录进行解析，以获取该记录中包括的数据内容。

其中，在本发明实施例中，日志文件中的记录中包括的事件头中可以包含该记录对应的数据所在容器信息（源数据库、或数据表等），数据管理系统可以针对数据所在容器信息对日志文件中新增记录中包含的数据内容进行筛选。

相应地，数据管理系统在解析日志文件的新增记录过程中，数据管理系统可以在获取记录中包括的数据内容之前，根据记录中包括的事件头中包括的数据所在容器信息，以及预先设置的第一过滤规则（针对容器的过滤规则），对该记录中的数据内容进行过滤，以判断是否继续对该记录进行解析；若判断为是，则进一步执行获取该记录中包括的数据内容的操作；否则，不对该记录进行进一步地解析。

在本发明实施例中，记录中包括的事件头中还可以包含事件标识，该事件标识用于表明业务系统对数据的操作的操作类型，如新增、修改、或删除等。当数据管理系统根据第一过滤规则确定需要获取该记录中包括的数据内容时，数据管理系统需要根据该记录中包括的事件头中包括的事件标识，确定该记录对应的操作类型，并根据该操作类型对应的解析规则，对该记录进行解析，获取记录中包括的数据内容。

为了达到以上目的，在本发明实施例中，可以预先针对不同操作类型，配置相应的的解析规则，即对于新增操作的记录，可以通过对应的新增操作解析规则对记录进行解析；对于修改操作的记录，可以通过对应的修改操作解析规则对记录进行解析；对于删除操作的记录，可以通过对应的删除操作解析规则对记录进行解析。

步骤302、数据管理系统根据预设的转换规则对该数据内容进行转换，并根据转换后的数据对至少两个不同的目标数据库中的数据进行相应处理；其中，不同的目标数据库对应不同的转换规则。

具体的，为了实现数据多维度处理，在本发明实施例中，对于不同的目标数据库，可以预先配置与之相对应的转换规则，该转换规则用于指示根据获取到的数据内容对对应的目标数据库中的数据进行处理时，该数据内容中需要转换的字段，以及该字段的映射规则。

仍以用户在10086上订购电子书为例，在该流程中，可以涉及用户、运营商、作者三个维度，其分别对应不同的目标数据库。当用户进行电子书订购行为时，在日志文件中会新增一条对应该行为的记录，对于该新增的记录中包含的数据内容，在将其存储到不同的目标数据库（如用户目标数据库、运营商目标数据库、作者目标数据库）时，需要存储的字段，以及对字段的具体处理方式都可能不同。例如，对于用户目标数据库，其需要的字段可能包括商品名、数量、总价、订购时间等；而对于运营商目标数据库，其需要的字段可能包括商品名、数量、商品类别、地理位置划分（可以根据电话号码、邮编等确定）；对于作者目标数据库，其需要的字段可能仅包括数量（即自己的书被总共被订购了多少本）、价格等。

在本发明实施例中，数据管理系统获取到新增的记录中包括的数据内容之后，可以根据预设的转换规则对数据内容进行转换，并根据转换后的数据对至少两个不同的目标数据库中的数据进行相应处理。

其中，在本发明实施例中，除了针对数据所在容器信息对数据进行过滤之外，还可以针对数据本身进行过滤。

相应地，数据管理系统获取到记录中的数据内容之后，可以根据获取到的数据内容，以及第二过滤规则（针对数据本身的过滤规则），判断是否对数据内容进行转换；若判断为是，则根据预设的转换规则对该数据内容进行转换；否则，丢弃该数据内容。

数据管理系统在确定需要对数据内容进行转换，并完成数据内容转换后，可以根据该记录对应的操作类型，以及转换后的数据，对目标数据库（至少两个）中的数据进行相应处理。例如，操作类型为新增时，将转换后的数据存储到对应的目标数据库中；操作类型为修改时，根据转换后的数据修改对应的目标数据库中对应的数据；操作类型为删除时，根据转换后的数据删除对应的目标数库中对应的数据。

为了更好地理解本发明实施例提供的技术方案，下面结合具体的应用场景对本发明实施例提供的技术方案进行更加详细地描述。

该实施例中的数据管理系统的系统架构可以如图4所示，可以包括解析器、过滤器、配置中心、监听器，以及业务处理器；其中：

解析器：用于对日志文件中的记录进行解析，获取其中包含的数据内容；

过滤器：用于在数据解析过程中，针对记录中的事件头，或具体数据对记录进行过滤；

配置中心：用于定义过滤规则、转换规则，实现动态控制过滤规则、转换规则；

监听器：将解析得到的数据内容放入监听器，业务处理器通过接收监听器消息，对数据内容进行处理；

业务处理器：收到数据内容后，调用配置中心的配置的转换规则，对需要的字段进行转换，并处理到不同的目标数据库。

下面分别对新增数据、修改数据、删除数据的流程进行描述。

1、新增数据流程

1）、收到数据（即日志文件中新增记录，下同），解析事件开始标志，接着解析事件头，事件头通常包含事件标识（表示操作类型是新增、修改还是删除等）、数据所在容器信息（如数据库名字、表名字、事件结尾的位置），数据内容（如字段名称及对应类型，事件发生时间）等；

2）、事件头解析完成后，会去获取配置中心的配置，根据配置的过滤规则（第一过滤规则）来判断是丢弃还是接着往下解析；

3）、对于需要解析的事件，调用新增数据事件解析器（对应新增操作的解析规则），解析出完整数据，解析事件结束标志；

4）、调用配置中心的过滤规则（第二过滤规则），对数据进行过滤；

5）、将过滤后的数据放入监听器中；

6）、业务处理器收到新增事件数据后，调用配置中心，获取转换规则（需要哪些字段、如何映射等），对数据进行转换，然后将转换后的数据储到目标数据库；

7）、记录本次解析成功事件的位置

2、修改数据的流程

1)、收到数据，解析事件开始标志，接着解析事件头；

2)、事件头解析完成后，会去获取中心的配置，根据配置的过滤规则来判断是丢弃还是接着往下解析；

3)、对于需要解析的事件，调用修改数据事件解析器，解析出完整数据，解析事件结束标志；

4)、调用配置中心的过滤规则，对数据进行过滤；

5)、将过滤后的数据放入监听器中；

6)、业务处理器收到修改事件数据后，调用配置中心，获取转换规则，对数据进行转换，然后根据转换后的数据对目标数据库中对应的数据进行修改；

7)、记录本次解析成功事件的位置。

3、删除数据流程

1）、收到数据，解析事件开始标志，接着解析事件头；

2）、事件头解析完成后，会去获取中心的配置，根据配置的过滤规则来判断是丢弃还是接着往下解析；

3）、对于需要解析的事件，调用删除数据事件解析器，解析出完整数据，解析事件结束标志；

4）、调用配置中心的过滤规则，对数据进行过滤；

5）、将过滤后的数据放入监听器中；

6）、业务处理器收到删除事件数据后，调用配置中心，获取转换规则，对数据进行转换，然后根据转换后的数据删除目标数据库中对应的数据；

7）、记录本次解析成功事件的位置。

通过以上描述可以看出，在本发明实施例提供的技术方案中，当日志文件中新增记录时，数据管理系统对该新增的记录进行解析，获取该记录中包括的数据内容，并根据预设的转换规则对数据内容进行转换，进而根据转换后的数据对至少两个不同的目标数据库中的数据进行相应处理，实现了将一份数据转换成多个维度的数据，提高了数据管理的灵活性和可扩展性。

基于相同的技术构思，本发明实施例还提供了一种基于日志文件的数据管理系统，可以应用于上述方法实施例。

如图5所示，为本发明实施例提供的一种基于日志文件的数据管理系统的结构示意图，所述日志文件中的每一条记录包括事件开始标识、事件头、数据内容，以及事件结束标识；该数据管理系统可以包括：

获取模块51，用于当所述日志文件中新增记录时，对所述新增的记录进行解析，获取所述记录中包括的数据内容；

处理模块52，用于根据预设的转换规则对所述数据内容进行转换，并根据转换后的数据对至少两个不同的目标数据库中的数据进行相应处理；其中，不同的目标数据库对应不同的转换规则。

其中，本发明实施例提供的数据管理系统还可以包括：

第一判断模块53，用于根据事件头中包括的数据所在容器信息，以及第一过滤规则，判断是否继续对该记录进行解析；

所述获取模块51具体用于，当所述第一判断模块53判断为是时，获取所述记录中包括的数据内容；当所述第一判断模块53判断为否时，不对该记录进行进一步解析。

其中，所述获取模块51具体用于，根据所述事件头中包含的事件标识确定该记录对应的操作类型，并根据该操作类型对应的解析规则，对该记录进行解析，获取所述记录中包括的数据内容。

其中，本发明实施例提供的数据管理系统还可以包括：

第二判断模块54，用于根据获取到的数据内容，以及第二过滤规则，判断是否对所述数据内容进行转换；

所述处理模块52具体用于，当所述第二判断模块54判断为是时，根据预设的转换规则对所述数据内容进行转换；当所述第二判断模块54判断为否时，丢弃所述数据内容。

其中，所述处理模块52具体用于，根据所述预设的转换规则确定所述数据内容中需要转换的字段，以及所述字段的映射规则，并根据所述映射规则对对应的字段进行转换。

其中，所述处理模块52还用于，根据所述记录的事件头中包含的事件标识确定该记录对应的操作类型；并具体通过以下方式实现根据转换后的数据对至少两个不同的目标数据库中的数据进行相应处理：

根据所述操作类型，以及转换后的数据，对至少两个不同的目标数据库中的数据进行相应处理。

其中，所述操作类型包括新增、修改、或删除。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端设备（可以是手机，个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (14)

1.一种基于日志文件的数据管理方法，其特征在于，所述日志文件中的每一条记录包括事件开始标识、事件头、数据内容，以及事件结束标识；当所述日志文件中新增记录时，该方法包括：

数据管理系统对所述新增的记录进行解析，获取所述记录中包括的数据内容；

所述数据管理系统根据预设的转换规则对所述数据内容进行转换，并根据转换后的数据对至少两个不同的目标数据库中的数据进行相应处理；其中，不同的目标数据库对应不同的转换规则。

2.如权利要求1所述的方法，其特征在于，所述数据管理系统获取所述记录中包括的数据内容之前，还包括：

所述数据管理系统获取所述记录中包括的事件头，并根据该事件头中包括的数据所在容器信息，以及第一过滤规则，判断是否继续对该记录进行解析；若判断为是，则执行获取所述记录中包括的数据内容的操作；否则，不对该记录进行进一步地解析。

3.如权利要求1所述的方法，其特征在于，所述数据管理系统获取所述记录中包括的数据内容，具体为：

所述数据管理系统根据所述事件头中包含的事件标识确定该记录对应的操作类型，并根据该操作类型对应的解析规则，对该记录进行解析，获取所述记录中包括的数据内容。

4.如权利要求1所述的方法，其特征在于，所述数据管理系统根据预设的转换规则对所述数据内容进行转换之前，还包括：

所述数据管理系统根据获取到的数据内容，以及第二过滤规则，判断是否对所述数据内容进行转换；若判断为是，则执行根据预设的转换规则对所述数据内容进行转换的操作；否则，丢弃所述数据内容。

5.如权利要求1所述的方法，其特征在于，所述数据管理系统根据预设的转换规则对所述数据内容进行转换，具体为：

所述数据管理系统根据所述预设的转换规则确定所述数据内容中需要转换的字段，以及所述字段的映射规则，并根据所述映射规则对对应的字段进行转换。

6.如权利要求1所述的方法，其特征在于，所述数据管理系统根据转换后的数据对至少两个不同的目标数据库中的数据进行相应处理，之前还包括：

所述数据数据管理系统根据所述记录的事件头中包含的事件标识确定该记录对应的操作类型；

所述数据管理系统根据转换后的数据对至少两个不同的目标数据库中的数据进行相应处理，具体为：

所述数据管理系统根据所述操作类型，以及转换后的数据，对至少两个不同的目标数据库中的数据进行相应处理。

7.如权利要求3或6所述的方法，其特征在于，所述操作类型包括新增、修改、或删除。

8.一种基于日志文件的数据管理系统，其特征在于，所述日志文件中的每一条记录包括事件开始标识、事件头、数据内容，以及事件结束标识；该数据管理系统包括：

获取模块，用于当所述日志文件中新增记录时，对所述新增的记录进行解析，获取所述记录中包括的数据内容；

处理模块，用于根据预设的转换规则对所述数据内容进行转换，并根据转换后的数据对至少两个不同的目标数据库中的数据进行相应处理；其中，不同的目标数据库对应不同的转换规则。

9.如权利要求8所述的数据管理系统，其特征在于，还包括：

第一判断模块，用于根据事件头中包括的数据所在容器信息，以及第一过滤规则，判断是否继续对该记录进行解析；

所述获取模块具体用于，当所述第一判断模块判断为是时，获取所述记录中包括的数据内容；当所述第一判断模块判断为否时，不对该记录进行进一步解析。

10.如权利要求8所述的数据管理系统，其特征在于，

所述获取模块具体用于，根据所述事件头中包含的事件标识确定该记录对应的操作类型，并根据该操作类型对应的解析规则，对该记录进行解析，获取所述记录中包括的数据内容。

11.如权利要求8所述的数据管理系统，其特征在于，还包括：

第二判断模块，用于根据获取到的数据内容，以及第二过滤规则，判断是否对所述数据内容进行转换；

所述处理模块具体用于，当所述第二判断模块判断为是时，根据预设的转换规则对所述数据内容进行转换；当所述第二判断模块判断为否时，丢弃所述数据内容。

12.如权利要求8所述的数据管理系统，其特征在于，

所述处理模块具体用于，根据所述预设的转换规则确定所述数据内容中需要转换的字段，以及所述字段的映射规则，并根据所述映射规则对对应的字段进行转换。

13.如权利要求8所述的数据管理系统，其特征在于，

所述处理模块还用于，根据所述记录的事件头中包含的事件标识确定该记录对应的操作类型；并具体通过以下方式实现根据转换后的数据对至少两个不同的目标数据库中的数据进行相应处理：

根据所述操作类型，以及转换后的数据，对至少两个不同的目标数据库中的数据进行相应处理。

14.如权利要求10或13所述的数据管理系统，其特征在于，所述操作类型包括新增、修改、或删除。