CN109491988B - 一种支持全量更新的数据实时关联方法 - Google Patents

Abstract

本发明提供一种支持全量更新的数据实时关联方法，包括数据获取模块、数据管理模块、Redis内存数据库、数据关联模块，数据获取模块从外部文件或者外部数据库中获取需要同步的全量数据进行处理，然后将对应格式的数据传输给数据管理模块，数据管理模块对接收到的数据进行处理，把数据插入或更新到Redis内存数据库，Redis内存数据库存储各种关联数据，通过主从方式进行数据同步，数据关联模块接收数据关联的查询请求，然后从Redis内存数据库中查询出关联结果，进行类型转换后返回给数据关联的查询请求。在全量更新数据的情况下，本发明通过减少Redis内存数据库中数据更新的数量，大大的减少了Redis内存数据库进行主从同步时对网络及系统资源的占用，能够大幅度的提升使用Redis内存数据库进行数据关联的效率。

Description

一种支持全量更新的数据实时关联方法

技术领域

本发明涉及大数据处理领域，尤其是涉及一种支持全量更新的数据实时关联方法。

背景技术

随着互联网技术的发展，大数据处理和云计算技术应用越来越广泛，很多业务应用需要对不同来源的数据进行关联融合，才能更好的挖掘数据价值。在DT时代，越来越多的应用场景对于数据的时效性提出了更高的要求，实时计算变得越来越重要。一条数据产生的时候，如果不能及时处理并在业务系统中使用，就不能让数据价值最大化。

Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。Redis是一个具有良好的性能和复制性的内存数据库，在实时计算中被广泛的应用。在使用Redis作为缓存数据库缓存基础数据时，如果应用场景需要每次把基础数据进行全量更新，就会造成Redis性能的瞬时下降，尤其是采用主从模式的部署方案时问题更加突出。因此需要寻找一种方案来解决全量更新时Redis性能的瞬时下降的问题。

发明内容

本发明提供了一种支持全量更新的数据实时关联方法，用于解决上述支持全量更新的数据实时关联要求的设计，其技术方案如下所述：

一种支持全量更新的数据实时关联方法，包括数据获取模块、数据管理模块、Redis内存数据库、数据关联模块，包括下列步骤：

(1)数据获取模块从外部文件或者外部数据库中获取需要同步的全量数据进行处理，分解为Key-Type-Value的格式，其中，Key代表进行数据关联时的关键字，Type代表数据关联类型，Value是Key对应的数据值，类型包括字符串、列表、集合或者字典，然后将对应格式的数据传输给数据管理模块；

(2)数据管理模块对接收到的数据进行处理，把数据插入或更新到Redis内存数据库；

通过Map(一种Key-Value的映射表)和双向链表两种数据结构对数据进行管理，判断数据是否需要忽略、更新或删除；Map中记录了Key及对应的Value的CRC32值(32位的循环冗余校验码)，主要用来判断数据是否更新；双向链表中记录了Key及对应Value的更新时间，主要用来删除过期数据。

在接收数据获取模块传来的全量数据完毕通知后，对过期数据进行清理；

(3)Redis内存数据库存储各种关联数据，通过主从方式进行数据同步；

(4)数据关联模块接收数据关联的查询请求，然后从Redis内存数据库中查询出关联结果，进行类型转换后返回给数据关联的查询请求。

进一步的，所述数据获取模块包括两种全量数据获取方式：(1)实时监控指定的目录，如果发现有新的全量数据标识，则根据指定的规则去读取外部文件数据并处理；(2)监听数据全量更新的指令，如果接收到数据全量更新的指令，则从外部数据库中获取全量数据并处理。

进一步的，数据获取模块对全量数据进行处理的步骤包括：

1)设置LastUpdateTime的值为当前系统时间，LastUpdateTime表示的含义为全量数据的最近更新时间；

2)从外部文件或外部数据库中读取一批数据，一批数据的大小通过配置决定，以便适应不同的需求；

3)对获取的这一批数据逐条进行分解，根据数据类型及配置要求把每条记录分解为一个或多个Key-Type-Value的格式，把这一批数据的分解结果传输给数据管理模块进行数据更新；

4)判断全量数据是否处理完毕，如果处理完毕，则通知数据管理模块对过期数据进行清理；否则，转入步骤2)继续读取下一批数据并处理。

进一步的，数据管理模块接收到数据获取模块传来的数据，逐条对数据进行处理，对每条数据的处理过程如下：

1)计算该条数据中Value的CRC32值(32位的循环冗余校验码)，使用Key+Type生成一个新的Key(为了与原来的Key进行区分，以下称为MapKey)；

2)使用新生成的MapKey在Map中查找相应的节点。

如果在步骤2)没有找到相应的节点，则进行以下处理：

①把该条数据插入到Type对应的Redis主库(Master)中；

②在Map中添加一个Key-Value对象，其中Key的值为MapKey，Value的值为CRC32值。

③然后生成一个数据节点，该节点包含两个属性MapKey、UpdateTime，其中UpdateTime的值为系统当前时间；

④把该节点添加到双向链表的尾部。

如果在步骤2)找到了相应的节点，则比较该节点中的CRC32值与步骤1)生成的CRC32值是否相等，并根据比较的结果进行如下处理：

①如果结果不相等，则更新节点中的CRC32值，并且在Type对应的Redis内存数据库中更新该Key对应的Value值；

②更新节点中的UpdateTime时间为当前系统时间，并且把该节点转移到双向链表的尾部。

进一步的，数据管理模块接收到数据获取模块传来的数据更新完毕的指令，开始对过期数据进行清理，遍历双向链表并对每个节点进行以下处理：

1)把该节点的UpdateTime与LastUpdateTime进行比较；

2)如果UpdateTime小于LastUpdateTime，则进行如下处理：

A从节点中取出MapKey，分解出原始的Key和Type；

B根据Type的类型，从对应的Redis内存数据库中删除该Key对应的Key-Value对象；

C从Map中删除MapKey对应的Key-Value对象；

D从双向链表中删除该节点。

3)如果UpdateTime大于或等于LastUpdateTime，则超时节点处理完毕，此次全量更新结束。

进一步的，Redis内存数据库设计采用Master-Slave方式，Master负责读写操作，Slave只负责读操作，数据管理模块连接Master把数据更新到Redis内存数据库中，数据查询客户端都连接Slave查询数据，进行数据关联。

Slave根据需要能够从一层扩展为多层。

数据关联模块根据数据关联的查询请求的Type和Key，查询相应的Redis内存数据库得到Value，然后根据数据关联的查询要求对Value进行处理后把结果返回给数据关联请求，包括以下步骤：

1)接收数据关联查询请求；

2)判断数据关联请求的Type，确定待查询数据对应的Redis内存数据库；

3)判断Value的类型，如果是String类型，则直接根据Key从相应的数据库中查询到结果，进行类型转换后并返回给数据关联请求；

4)判断Value的类型，如果是List类型，则首先根据Key从相应的数据库中查询到结果，然后遍历查询到的结果集，取出List中所有成员的值，进行类型转换后并返回给数据关联请求；

5)判断Value的类型，如果是Hash类型，则首先根据Key从相应的数据库中查询到结果，然后遍历查询到的结果集，取出每个SubKey对应的值，进行类型转换后并返回给数据关联请求；

6)判断Value的类型，如果是Set类型，则首先根据Key从相应的数据库中查询到结果，然后遍历查询到的结果集，取出结果集中所有的值，进行类型转换后并返回给数据关联请求。

所述支持全量更新的数据实时关联方法在全量更新的数据实时关联要求时，能够保证数据的实时性、应用的可扩展性、系统的稳定性。

附图说明

图1是系统结构图；

图2是数据获取流程示意图；

图3是数据更新流程示意图；

图4是过期数据清理流程示意图；

图5是数据关联流程示意图；

图6是Redis内存数据库中Slave的扩展部署示意图。

具体实施方式

如图1所示，本发明提供的支持全量更新的数据实时关联方法中主要包含数据获取模块、数据管理模块、Redis内存数据库、数据关联模块，主要处理过程如下：

(1)数据获取模块从文件或者数据库中获取需要同步的全量数据，分解为Key-Type-Value的格式，传输给数据管理模块。

(2)数据管理模块对接收到的数据进行处理，把数据插入或更新到Redis内存数据库；通过Map和双向链表对数据进行管理，判断数据是否需要忽略、更新或删除；接收数据获取模块传来全量数据完毕通知，对过期数据进行清理。

(3)Redis内存数据库存储各种关联数据，通过主从方式进行数据同步。

(4)数据关联模块接收数据关联的查询请求，然后从Redis内存数据库中查询出关联结果，进行类型转换后返回给数据关联查询请求。

以下对各模块进行描述：

一、数据获取模块

数据获取模块的主要功能是监听数据全量更新的指令，从指定文件或数据库中去读取全量数据，并且对获取的数据逐条进行分析处理后，提交给数据管理模块进行数据更新。

数据获取模块支持两种数据获取方式：1、实时监控指定的目录，如果发现有新的全量数据标识，则根据指定的规则去读取文件数据并处理。2、监听数据全量更新的指令，如果接收到数据全量更新的指令，则从数据库中获取全量数据并处理。

数据获取模块对数据的处理过程如图2所示：

1、设置LastUpdateTime的值为当前系统时间，LastUpdateTime表示的含义为全量数据的最近更新时间；

2、从文件或数据库中读取一批数据，一批数据的大小可以通过配置决定，以便适应不同的需求。

3、对获取的这一批数据逐条进行分解，根据数据类型及配置要求把每条记录分解为一个或多个(Key，Type，Value)的形式，这里的Key就是进行数据关联时的关键字，Type是指数据关联类型，Value是Key对应的数据值，Value的类型可以是String(字符串)、List(列表)、Set(集合)或者Hash(字典)。把这一批数据的分解结果传输给数据管理模块进行数据更新。

4、判断全量数据是否处理完毕，如果处理完毕，则通知数据管理模块对过期数据进行清理；否则，转入步骤2继续读取下一批数据并处理。

二、数据管理模块

数据管理模块的主要功能包括：1、接收数据获取模块传来的数据，把数据插入或更新到Redis内存数据库。2、通过Map和双向链表对数据进行管理，判断数据是否需要忽略、更新或删除。3、接收数据获取模块传来全量数据完毕通知，对过期数据进行清理。

数据管理模块接收到数据获取模块传来的数据，逐条对数据进行处理如图3所示，对每条数据的处理过程如下：

1、计算该条数据中Value的CRC32值(32位的循环冗余校验码)，使用Key+Type生成一个新的Key(为了与原来的Key进行区分，以下称为MapKey)；

2、使用新生成的MapKey在Map中查找相应的节点。

3、如果在步骤2没有找到相应的节点，则需要进行以下处理：

1)把该条数据插入到Type对应的Redis主库(Master)中；

2)在Map中添加一个Key-Value对象，其中Key的值为MapKey，Value的值为CRC32值。

3)然后生成一个数据节点，该节点包含两个属性MapKey、UpdateTime，其中UpdateTime的值为系统当前时间；

4)把该节点添加到双向链表的尾部。

4、如果在步骤2找到了相应的节点，则比较该节点中的CRC32值与步骤1生成的CRC32值是否相等，并根据比较的结果进行如下处理：

1)如果结果不相等，则更新节点中的CRC32值，并且在Type对应的Redis内存数据库中更新该MapKey对应的Value值。

2)更新节点中的UpdateTime时间为当前系统时间，并且把该节点转移到双向链表的尾部；

数据管理模块接收数据获取模块传来的消息，如果接到的消息类型为数据更新完毕，则开始对过期数据进行清理，如图4所示，遍历双向链表并对每个节点进行以下处理：

1、把该节点的更新时间UpdateTime与全量数据的最近更新时间LastUpdateTime进行比较。

2、如果UpdateTime小于LastUpdateTime，则进行如下处理：

1)从节点中取出MapKey，分解出原始的Key和Type。

2)根据Key的类型，从对应的Redis内存数据库中删除该Key对应的Key-Value对象。

3)从Map中删除MapKey对应的Key-Value对象。

4)从双向链表中删除该节点。

3、如果UpdateTime大于或等于LastUpdateTime，则超时节点处理完毕，此次全量更新结束。

三、Redis内存数据库设计

本发明中的Redis内存数据库设计采用Master-Slave方式，Master负责读写操作，Slave只负责读操作。根据系统的规模的大小，部署时Slave可以根据需要从一层扩展为多层，部署示意图如图6所示。

数据管理模块连接主库把数据更新到Redis内存数据库中，所有的关联系统都连接Slave查询数据，进行数据关联。

本设计的Redis单节点内存数据库根据Key的类型分为不同的实例，每个实例中又根据Value的类型不同分别保存到不同的数据库中，Value可以支持String、List和Hash等类型。

四、数据关联模块

数据关联模块的主要功能是接收数据关联查询请求，根据数据关联请求的Type和Key，查询相应的Redis内存数据库中得到Value，然后根据数据关联的要求对Value进行处理后把结果返回给数据关联请求。

数据关联模块的具体处理流程如图5所示：

1、接收数据关联查询请求。

2、判断数据关联请求的Type，确定待查询数据对应的Redis实例及数据库。

3、判断Value的类型，如果是String类型，则直接根据Key从相应的数据库中查询到结果,进行类型转换后并返回给数据关联请求。

4、判断Value的类型，如果是List类型，则首先根据Key从相应的数据库中查询到结果，然后遍历查询到的结果集，取出List中所有成员的值，进行类型转换后并返回给数据关联请求。

5、判断Value的类型，如果是Hash类型，则首先根据Key从相应的数据库中查询到结果，然后遍历查询到的结果集，取出每个SubKey对应的值,进行类型转换后并返回给数据关联请求。

6、判断Value的类型，如果是Set类型，则首先根据Key从相应的数据库中查询到结果，然后遍历查询到的结果集，取出结果集中所有的值,进行类型转换后并返回给数据关联请求。

所述支持全量更新的数据实时关联方法在全量更新的数据实时关联要求时，能够判断数据是否发生变化，并且只对发生变化的数据进行更新，大大减少了更新数据的数量，也大大减少了Redis内存数据库进行主从同步时对网络及系统资源的占用，大幅度的提升了使用Redis内存数据库进行数据关联的效率，从而保证了数据的实时性、应用的可扩展性、系统的稳定性。

Claims (8)

1.一种支持全量更新的数据实时关联方法，包括数据获取模块、数据管理模块、Redis内存数据库、数据关联模块，包括下列步骤：

(1)数据获取模块从外部文件或者外部数据库中获取需要同步的全量数据进行处理，分解为Key-Type-Value的格式，其中，Key代表进行数据关联时的关键字，Type代表数据关联类型，Value是Key对应的数据值，类型包括字符串、列表、集合或者字典，然后将对应格式的数据传输给数据管理模块；

(2)数据管理模块对接收到的数据进行处理，把数据插入或更新到Redis内存数据库；

通过Map和双向链表两种数据结构对数据进行管理，判断数据是否需要忽略、更新或删除；Map中记录了Key及对应的Value的CRC32值，用来判断数据是否更新；双向链表中记录了Key及对应Value的更新时间，用来删除过期数据；

在接收数据获取模块传来的全量数据完毕通知后，对过期数据进行清理；

(3)Redis内存数据库存储各种关联数据，通过主从方式进行数据同步；

(4)数据关联模块接收数据关联的查询请求，然后从Redis内存数据库中查询出关联结果，进行类型转换后返回给数据关联的查询请求；

所述数据获取模块包括两种全量数据获取方式：(1)实时监控指定的目录，如果发现有新的全量数据标识，则根据指定的规则去读取外部文件数据并处理；(2)监听数据全量更新的指令，如果接收到数据全量更新的指令，则从外部数据库中获取全量数据并处理；

数据获取模块对全量数据进行处理的步骤包括：

1)设置LastUpdateTime的值为当前系统时间，LastUpdateTime表示的含义为全量数据的最近更新时间；

2)从外部文件或外部数据库中读取一批数据，一批数据的大小通过配置决定，以便适应不同的需求；

3)对获取的这一批数据逐条进行分解，根据数据类型及配置要求把每条记录分解为一个或多个Key-Type-Value的格式，把这一批数据的分解结果传输给数据管理模块进行数据更新；

4)判断全量数据是否处理完毕，如果处理完毕，则通知数据管理模块对过期数据进行清理；否则，转入步骤2)继续读取下一批数据并处理。

2.根据权利要求1所述的支持全量更新的数据实时关联方法，其特征在于，数据管理模块接收到数据获取模块传来的数据，逐条对数据进行处理，对每条数据的处理过程如下：

1)计算该条数据中Value的CRC32值，使用Key+Type生成一个新的Key；

2)使用新生成的MapKey在Map中查找相应的节点。

3.根据权利要求2所述的支持全量更新的数据实时关联方法，其特征在于，如果在步骤2)没有找到相应的节点，则进行以下处理：

①把该条数据插入到Type对应的Redis主库中；

②在Map中添加一个Key-Value对象，其中Key的值为MapKey，Value的值为CRC32值；

③然后生成一个数据节点，该节点包含两个属性MapKey、UpdateTime，其中UpdateTime的值为系统当前时间；

④把该节点添加到双向链表的尾部。

4.根据权利要求2所述的支持全量更新的数据实时关联方法，其特征在于，如果在步骤2)找到了相应的节点，则比较该节点中的CRC32值与步骤1)生成的CRC32值是否相等，并根据比较的结果进行如下处理：

①如果结果不相等，则更新节点中的CRC32值，并且在Type对应的Redis内存数据库中更新该Key对应的Value值；

②更新节点中的UpdateTime时间为当前系统时间，并且把该节点转移到双向链表的尾部。

5.根据权利要求4所述的支持全量更新的数据实时关联方法，其特征在于，数据管理模块接收到数据获取模块传来的数据更新完毕的指令，开始对过期数据进行清理，遍历双向链表并对每个节点进行以下处理：

1)把该节点的UpdateTime与LastUpdateTime进行比较；

2)如果UpdateTime小于LastUpdateTime，则进行如下处理：

A从节点中取出MapKey，分解出原始的Key和Type；

B根据Type的类型，从对应的Redis内存数据库中删除该Key对应的Key-Value对象；

C从Map中删除MapKey对应的Key-Value对象；

D从双向链表中删除该节点；

3)如果UpdateTime大于或等于LastUpdateTime，则超时节点处理完毕，此次全量更新结束。

6.根据权利要求1所述的支持全量更新的数据实时关联方法，其特征在于：Redis内存数据库设计采用Master-Slave方式，Master负责读写操作，Slave只负责读操作，数据管理模块连接Master把数据更新到Redis内存数据库中，数据查询客户端都连接Slave查询数据，进行数据关联。

7.根据权利要求6所述的支持全量更新的数据实时关联方法，其特征在于：Slave根据需要能够从一层扩展为多层。

8.根据权利要求1所述的支持全量更新的数据实时关联方法，其特征在于，数据关联模块根据数据关联的查询请求的Type和Key，查询相应的Redis内存数据库得到Value，然后根据数据关联的查询要求对Value进行处理后把结果返回给数据关联请求，包括以下步骤：

1)接收数据关联查询请求；

2)判断数据关联请求的Type，确定待查询数据对应的Redis内存数据库；

3)判断Value的类型，如果是String类型，则直接根据Key从相应的数据库中查询到结果，进行类型转换后并返回给数据关联请求；

4)判断Value的类型，如果是List类型，则首先根据Key从相应的数据库中查询到结果，然后遍历查询到的结果集，取出List中所有成员的值，进行类型转换后并返回给数据关联请求；

5)判断Value的类型，如果是Hash类型，则首先根据Key从相应的数据库中查询到结果，然后遍历查询到的结果集，取出每个SubKey对应的值，进行类型转换后并返回给数据关联请求；

6)判断Value的类型，如果是Set类型，则首先根据Key从相应的数据库中查询到结果，然后遍历查询到的结果集，取出结果集中所有的值，进行类型转换后并返回给数据关联请求。

Images