CN109241180B - 一种基于日志的数据同步的方法及装置 - Google Patents

Abstract

本发明提供的一种基于日志的数据同步的方法及装置，通过在创建日志队列的同时创建数据同步队列，并分别将获取的日志数据写入所述日志队列和所述数据同步队列，并创建第一线程将所述日志队列中的日志数据写入本地数据库，以及第二线程根据所述数据同步队列中的日志数据进行数据同步，从而将数据同步与日志记录代码整合在一起，在实现记录日志功能的同时实现数据同步的功能，减少了编程人员的工作量，提高了开发效率。

Description

一种基于日志的数据同步的方法及装置

技术领域

本发明涉及互联网技术领域，特别涉及一种基于日志的数据同步的方法及装置。

背景技术

随着社会的越来越进步，智能手机的普及与迅速发展，带动了移动互联网的进一步发展。随着用户量以及数据量的大量增长，给予了移动互联网的服务端巨大的压力。因此，现在的服务端系统为了适应不同的地点使用，一般都是多点部署，分别接入使用的。比如，同一套的系统，会在中国部署一套，在美国部署一套，在日本也部署一套，而每一套系统都是独立部署，因此需要解决不同系统之间的数据同步问题。

然而现有技术中实现数据同步功能，通常需要在系统中额外增加数据同步的相关代码，比如用户注册、修改则需要在对应的模块中添加用户注册数据同步，修改数据同步等代码，而实际上每个接口均存在对应的操作日志等代码，另外现有的记录日志的方式为，获取日志数据，将所述日志数据直接写入日志队列中，并由异步线程将该日志队列中的日志消息写入本地数据库，而且编程人员要实现数据同步功能和记录日志的功能时，需要分别编写不同的代码，这样不仅大大增加了编程人员的工作量，还导致开发效率低。

发明内容

本发明所要解决的技术问题是：提供一种基于日志的数据同步方法及装置，能够将数据同步与日志记录代码整合在一起，从而实现记录日志功能的同时实现数据同步的功能。

为了解决上述技术问题，本发明采用的一种技术方案为：

一种基于日志的数据同步的方法，包括步骤：

S1、创建日志队列和数据同步队列；

S2、获取日志数据，分别将所述日志数据写入所述日志队列和所述数据同步队列；

S3、创建第一线程和第二线程，所述第一线程将所述日志队列中的日志数据写入本地数据库，所述第二线程根据所述数据同步队列中的日志数据进行数据同步。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种基于日志的数据同步的装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现步骤：

S1、创建日志队列和数据同步队列；

S2、获取日志数据，分别将所述日志数据写入所述日志队列和所述数据同步队列；

S3、创建第一线程和第二线程，所述第一线程将所述日志队列中的日志数据写入本地数据库，所述第二线程根据所述数据同步队列中的日志数据进行数据同步。

本发明的有益效果在于：通过在创建日志队列的同时创建数据同步队列，并分别将获取的日志数据写入所述日志队列和所述数据同步队列，并创建第一线程将所述日志队列中的日志数据写入本地数据库，以及第二线程根据所述数据同步队列中的日志数据进行数据同步，从而将数据同步与日志记录代码整合在一起，在实现记录日志功能的同时实现数据同步的功能，减少了编程人员的工作量，提高了开发效率。

附图说明

图1为本发明实施例基于日志的数据同步的方法流程图；

图2为本发明实施例基于日志的数据同步的装置的结构示意图；

标号说明：

1、基于日志的数据同步的装置；2、存储器；3、处理器。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

本发明最关键的构思在于:在创建日志队列的同时创建数据同步队列，并通过第一线程和第二线程分别将日志数据写入日志队列和数据同步队列，从而将数据同步与日志记录代码整合在一起，在实现记录日志功能的同时实现数据同步的功能，减少了编程人员的工作量，提高了开发效率。

请参照图1，一种基于日志的数据同步的方法，包括步骤：

S1、创建日志队列和数据同步队列；

S2、获取日志数据，分别将所述日志数据写入所述日志队列和所述数据同步队列；

S3、创建第一线程和第二线程，所述第一线程将所述日志队列中的日志数据写入本地数据库，所述第二线程根据所述数据同步队列中的日志数据进行数据同步。

从上述描述可知，本发明的有益效果在于：通过在创建日志队列的同时创建数据同步队列，并分别将获取的日志数据写入所述日志队列和所述数据同步队列，并创建第一线程将所述日志队列中的日志数据写入本地数据库，以及第二线程根据所述数据同步队列中的日志数据进行数据同步，从而将数据同步与日志记录代码整合在一起，在实现记录日志功能的同时实现数据同步的功能，减少了编程人员的工作量，提高了开发效率。

进一步的，步骤S3中所述第一线程将所述日志队列中的日志数据写入本地数据库还包括：

记录所述日志数据的属性信息，并将不同时间段的日志数据分别存储至所述本地数据库的不同目录下。

由上述描述可知，通过记录日志数据的属性信息，并将不同时间段的日志数据分别存储至所述本地数据库的不同目录下，便于开发人员对日志数据的管理和后续的检索使用。

进一步的，在将所述日志数据写入所述数据同步队列之前还包括：

判断与所述日志数据关联的接口是否为第一接口，若是，则生成日志同步数据。

由上述描述可知，通过对与日志数据关联的接口类型进行判断，减少了写入数据同步队列的数据量，提高了数据同步的效率。

进一步的，步骤S3中所述第二线程根据所述数据同步队列中的日志数据进行数据同步具体包括：

S31、第二线程通过加密算法对所述日志数据进行加密，得到加密后的日志数据，将所述加密后的日志数据同步至第二数据库，以使得所述第二数据库接收所述加密后的日志数据，并通过与所述加密算法对应的解密算法进行解密操作，并存储。

由上述描述可知，通过加密算法对日志数据进行加密，提高了数据传输过程的安全性。

进一步的，步骤S31还包括：

S32、第二线程在所述加密后的日志数据中设置标识信息，以使得所述第二数据库完成解密操作后，根据标识信息判断日志数据是否被篡改，若否，则存储。

由上述描述可知，通过在加密后的日志数据中设置标识信息，并根据标识信息判断日志数据是否被篡改，可防止日志数据被篡改，提高日志安全。

请参照图2，一种基于日志的数据同步的装置1，包括存储器2、处理器3及存储在存储器2上并可在处理器3上运行的计算机程序，所述处理器3执行所述计算机程序时实现步骤：

S1、创建日志队列和数据同步队列；

S2、获取日志数据，分别将所述日志数据写入所述日志队列和所述数据同步队列；

S3、创建第一线程和第二线程，所述第一线程将所述日志队列中的日志数据写入本地数据库，所述第二线程根据所述数据同步队列中的日志数据进行数据同步。

从上述描述可知，本发明的有益效果在于：通过在创建日志队列的同时创建数据同步队列，并分别将获取的日志数据写入所述日志队列和所述数据同步队列，并创建第一线程将所述日志队列中的日志数据写入本地数据库，以及第二线程根据所述数据同步队列中的日志数据进行数据同步，从而将数据同步与日志记录代码整合在一起，在实现记录日志功能的同时实现数据同步的功能，减少了编程人员的工作量，提高了开发效率。

进一步的，步骤S3中所述第一线程将所述日志队列中的日志数据写入本地数据库还包括：

记录所述日志数据的属性信息，并将不同时间段的日志数据分别存储至所述本地数据库的不同目录下。

由上述描述可知，通过记录日志数据的属性信息，并将不同时间段的日志数据分别存储至所述本地数据库的不同目录下，便于开发人员对日志数据的管理和后续的检索使用。

进一步的，在将所述日志数据写入所述数据同步队列之前还包括：

判断与所述日志数据关联的接口是否为第一接口，若是，则生成日志同步数据。

由上述描述可知，通过对与日志数据关联的接口类型进行判断，减少了写入数据同步队列的数据量，提高了数据同步的效率。

进一步的，步骤S3中所述第二线程根据所述数据同步队列中的日志数据进行数据同步具体包括：

S31、第二线程通过加密算法对所述日志数据进行加密，得到加密后的日志数据，将所述加密后的日志数据同步至第二数据库，以使得所述第二数据库接收所述加密后的日志数据，并通过与所述加密算法对应的解密算法进行解密操作，并存储。

由上述描述可知，通过加密算法对日志数据进行加密，提高了数据传输过程的安全性。

进一步的，步骤S31还包括：

S32、第二线程在所述加密后的日志数据中设置标识信息，以使得所述第二数据库完成解密操作后，根据标识信息判断日志数据是否被篡改，若否，则存储。

由上述描述可知，通过在加密后的日志数据中设置标识信息，并根据标识信息判断日志数据是否被篡改，可防止日志数据被篡改，提高日志安全。

实施例一

请参照图1，一种基于日志的数据同步的方法，包括步骤：

S1、创建日志队列和数据同步队列；

S2、获取日志数据，分别将所述日志数据写入所述日志队列和所述数据同步队列；

在将所述日志数据写入所述数据同步队列之前还包括：

判断与所述日志数据关联的接口是否为第一接口，若是，则生成日志同步数据；

S3、创建第一线程和第二线程，所述第一线程将所述日志队列中的日志数据写入本地数据库，所述第二线程根据所述数据同步队列中的日志数据进行数据同步；

步骤S3中所述第一线程将所述日志队列中的日志数据写入本地数据库还包括：

记录所述日志数据的属性信息，并将不同时间段的日志数据分别存储至所述本地数据库的不同目录下；

步骤S3中所述第二线程根据所述数据同步队列中的日志数据进行数据同步具体包括：

S31、第二线程通过加密算法对所述日志数据进行加密，得到加密后的日志数据，将所述加密后的日志数据同步至第二数据库，以使得所述第二数据库接收所述加密后的日志数据，并通过与所述加密算法对应的解密算法进行解密操作，并存储；

步骤S31还包括：

S32、第二线程在所述加密后的日志数据中设置标识信息，以使得所述第二数据库完成解密操作后，根据标识信息判断日志数据是否被篡改，若否，则存储。

实施例二

本实施例将结合具体的应用场景，进一步说明本发明上述基于日志的数据同步的方法是如何实现的：

1、创建日志队列和数据同步队列，其中日志队列和数据同步同一消息队列(MQ)中两个互相独立的队列，且所述日志队列的类型为普通队列，所述数据同步队列的类型为广播式队列；

2、获取日志数据，分别将所述日志数据写入所述日志队列和所述数据同步队列；

在将所述日志数据写入所述数据同步队列之前还包括：

判断与所述日志数据关联的接口是否为重要接口(第一接口)，若是，则生成日志同步数据，所述日志同步数据指的是由重要接口生成的日志数据；

当接口每次被调用后，会增量的生成对应的日志数据，并针对不同的接口进行处理，只针对重要接口(比如账号变更相关的接口)才会生成对应的日志同步数据；

3、创建第一线程和第二线程，所述第一线程将所述日志队列中的日志数据写入本地数据库，所述第二线程根据所述数据同步队列中的日志数据进行数据同步；

所述第一线程将所述日志队列中的日志数据写入本地数据库还包括：

记录所述日志数据的属性信息，并将不同时间段的日志数据分别存储至所述本地数据库的不同目录下，如按月份将同月的日志存储在同一目录中，所述属性信息包括与日志数据相关的操作员编号、操作时间、日志类型、操作对象、内容、IP和端口，所述端口指的是对应应用的访问端口，一般和IP进行组装，形成http://ip:port的形式，供外部进行访问；

所述第二线程根据所述数据同步队列中的日志数据进行数据同步具体包括：

第二线程通过加密算法对所述日志数据进行加密，得到加密后的日志数据，将所述加密后的日志数据同步至第二数据库，以使得所述第二数据库接收所述加密后的日志数据，并通过与所述加密算法对应的解密算法进行解密操作，并存储，所述加密算法为base64加密算法；

第二线程在所述加密后的日志数据中设置标识信息，以使得所述第二数据库完成解密操作后，根据标识信息判断日志数据是否被篡改，若否，则存储。

实施例三

请参照图2，一种基于日志的数据同步的装置1，包括存储器2、处理器3及存储在存储器2上并可在处理器3上运行的计算机程序，所述处理器3执行所述计算机程序时实现实施例一中的各个步骤。

综上所述，本发明提供的一种基于日志的数据同步的方法及装置，通过在创建日志队列的同时创建数据同步队列，并分别将获取的日志数据写入所述日志队列和所述数据同步队列，并创建第一线程将所述日志队列中的日志数据写入本地数据库，以及第二线程根据所述数据同步队列中的日志数据进行数据同步，从而将数据同步与日志记录代码整合在一起，在实现记录日志功能的同时实现数据同步的功能，减少了编程人员的工作量，提高了开发效率，通过记录日志数据的属性信息，并将不同时间段的日志数据分别存储至所述本地数据库的不同目录下，便于开发人员对日志数据的管理和后续的检索使用，通过在加密后的日志数据中设置标识信息，并根据标识信息判断日志数据是否被篡改，可防止日志数据被篡改，提高日志安全。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于日志的数据同步的方法，其特征在于，包括步骤：

S1、创建日志队列和数据同步队列，所述日志队列和所述数据同步队列为同一消息队列中两个互相独立的队列，所述数据同步队列的类型为广播式队列；

S2、获取日志数据，分别将所述日志数据写入所述日志队列和所述数据同步队列，所述日志数据为接口被调用后生成的；

S3、创建第一线程和第二线程，所述第一线程将所述日志队列中的日志数据写入本地数据库，所述第二线程根据所述数据同步队列中的日志数据进行数据同步；

步骤S3中所述第二线程根据所述数据同步队列中的日志数据进行数据同步具体包括：

S31、第二线程通过加密算法对所述日志数据进行加密，得到加密后的日志数据，将所述加密后的日志数据同步至第二数据库，以使得所述第二数据库接收所述加密后的日志数据，并通过与所述加密算法对应的解密算法进行解密操作，并存储。

2.根据权利要求1所述的基于日志的数据同步的方法，其特征在于，步骤S3中所述第一线程将所述日志队列中的日志数据写入本地数据库还包括：

记录所述日志数据的属性信息，并将不同时间段的日志数据分别存储至所述本地数据库的不同目录下。

3.根据权利要求1所述的基于日志的数据同步的方法，其特征在于，在将所述日志数据写入所述数据同步队列之前还包括：

判断与所述日志数据关联的接口是否为第一接口，若是，则生成日志同步数据。

4.根据权利要求1所述的基于日志的数据同步的方法，其特征在于，步骤S31还包括：

S32、第二线程在所述加密后的日志数据中设置标识信息，以使得所述第二数据库完成解密操作后，根据标识信息判断日志数据是否被篡改，若否，则存储。

5.一种基于日志的数据同步的装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现步骤：

S1、创建日志队列和数据同步队列，所述日志队列和所述数据同步队列为同一消息队列中两个互相独立的队列，所述数据同步队列的类型为广播式队列；

S2、获取日志数据，分别将所述日志数据写入所述日志队列和所述数据同步队列，所述日志数据为接口被调用后生成的；

S3、创建第一线程和第二线程，所述第一线程将所述日志队列中的日志数据写入本地数据库，所述第二线程根据所述数据同步队列中的日志数据进行数据同步；

步骤S3中所述第二线程根据所述数据同步队列中的日志数据进行数据同步具体包括：

S31、第二线程通过加密算法对所述日志数据进行加密，得到加密后的日志数据，将所述加密后的日志数据同步至第二数据库，以使得所述第二数据库接收所述加密后的日志数据，并通过与所述加密算法对应的解密算法进行解密操作，并存储。

6.根据权利要求5所述的基于日志的数据同步的装置，其特征在于，步骤S3中所述第一线程将所述日志队列中的日志数据写入本地数据库还包括：

记录所述日志数据的属性信息，并将不同时间段的日志数据分别存储至所述本地数据库的不同目录下。

7.根据权利要求5所述的基于日志的数据同步的装置，其特征在于，在将所述日志数据写入所述数据同步队列之前还包括：

判断与所述日志数据关联的接口是否为第一接口，若是，则生成日志同步数据。

8.根据权利要求5所述的基于日志的数据同步的装置，其特征在于，步骤S31还包括：

S32、第二线程在所述加密后的日志数据中设置标识信息，以使得所述第二数据库完成解密操作后，根据标识信息判断日志数据是否被篡改，若否，则存储。

Images