CN110069539B - 一种数据关联方法及系统 - Google Patents

Abstract

本发明提供一种数据关联方法及系统，该方法为：从第一消息队列中获取第一键值对。基于第一键值对的第一key，从预设键值对存储器中查询是否存在key与第一key相等的第二消息队列的第二键值对。若是，合并第一键值对和第二键值对，输出合并后的第一键值对和第二键值对。若否，将第一键值对存储至键值对存储器。在本方案中，从需进行数据关联的第一消息队列中获取第一键值对，从键值对存储器查询是否存在key与第一key相等的第二键值对。若是，合并及输出第一键值对和第二键值对。若否，将第一键值对存储至键值对存储器，以供需要与第一消息队列进行数据关联的消息队列查询。实现多个消息队列之间实时关联，关联准确性高，关联成本低。

Description

一种数据关联方法及系统

技术领域

本发明涉及数据处理技术领域，具体涉及一种数据关联方法及系统。

背景技术

随着大数据领域的快速发展，目前越来越多企业将与大数据相关的技术应用于自身业务中。其中，较为常见的与大数据相关的技术产品为数据仓库。

在应用数据仓库实现存储数据和数据分析等功能之前，需要将数据进行提取、转换和加载(Extract、Transform and Load，ETL)。在ETL的过程中，通常需要将多个数据源合并成一个数据源。目前较为常见的数据源合并方式是根据比较数据源的键值对(key:value)实现数据源的合并，具体实现方式为：例如对于均存在多个键值对的第一数据源和第二数据源，逐个获取第一数据源中的第一键值对，基于第一键值对中的key，确定第二数据源中是否存在key与第一键值对中的key相等的第二键值对。若存在，合并第一键值对和第二键值对，实现数据源的关联。在采用以上方式合并多个数据源时，第二数据源中的键值对需要时刻保持不变才能保证合并的准确性。但是由于目前业务数据的快速发展，数据是实时发生变化的，而数据源中的键值对也可能随着发生变化。因此在数据源中的键值对发生变化时，继续采用以上合并数据源的方式会导致关联结果错误，关联准确度低。

发明内容

有鉴于此，本发明实施例提供一种数据关联方法及系统，以解决现有数据关联方法存在的关联准确度低等问题。

为实现上述目的，本发明实施例提供如下技术方案：

本发明实施例第一方面公开了一种数据关联方法，所述方法包括：

从第一消息队列中获取第一键值对；

基于所述第一键值对中的第一key，从预设的键值对存储器中查询是否存在key与所述第一key相等的第二键值对，其中，所述第二键值对为第二消息队列预先存储于所述键值对存储器中；

若存在，合并所述第一键值对和第二键值对，并输出合并后的所述第一键值对和第二键值对；

若不存在，将所述第一键值对存储至所述键值对存储器中。

优选的，所述合并所述第一键值对和第二键值对，并输出合并后的所述第一键值对和第二键值对之后，所述方法还包括：

删除所述第一key对应的保存时长。

优选的，所述将所述第一键值对存储至所述键值对存储器中之后，还包括：

为所述第一key设置保存时长。

优选的，所述方法还包括：

预先为所述键值对存储器中存储的键值对所对应的key设置保存时长。

优选的，所述方法还包括：

基于预设周期，扫描所述键值对存储器中所有键值对所对应的key的保存时长，删除保存时长大于阈值的key对应的键值对。

本发明实施例第二方面公开了一种数据关联系统，所述系统包括：

获取单元，用于从第一消息队列中获取第一键值对；

查询单元，用于基于所述第一键值对中的第一key，从预设的键值对存储器中查询是否存在key与所述第一key相等的第二键值对，若存在，执行处理单元，若不存在，执行存储单元，其中，所述第二键值对为第二消息队列预先存储于所述键值对存储器中；

所述处理单元，用于合并所述第一键值对和第二键值对，并输出合并后的所述第一键值对和第二键值对；

所述存储单元，用于将所述第一键值对存储至所述键值对存储器中。

优选的，所述处理单元还用于删除所述第一key对应的保存时长。

优选的，所述存储单元还用于为所述第一key设置保存时长。

优选的，所述存储单元还用于预先为所述键值对存储器中存储的键值对所对应的key设置保存时长。

优选的，所述系统还包括：

扫描单元，用于基于预设周期，扫描所述键值对存储器中所有键值对所对应的key的保存时长，删除保存时长大于阈值的key对应的键值对。

基于上述本发明实施例提供的一种数据关联方法及系统，该方法为：从第一消息队列中获取第一键值对。基于第一键值对的第一key，从预设键值对存储器中查询是否存在key与第一key相等的第二消息队列的第二键值对。若是，合并第一键值对和第二键值对，输出合并后的第一键值对和第二键值对。若否，将第一键值对存储至键值对存储器。在本方案中，从需进行数据关联的第一消息队列中获取第一键值对，从键值对存储器查询是否存在key与第一key相等的第二键值对。若是，合并及输出第一键值对和第二键值对。若否，将第一键值对存储至键值对存储器，以供需要与第一消息队列进行数据关联的其它消息队列查询。实现多个消息队列之间进行数据实时关联，数据关联准确性高，数据关联成本低。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种数据关联方法的流程图；

图2为本发明实施例提供的数据关联的流程示意图；

图3为本发明实施例提供的一种数据关联系统的结构框图；

图4为本发明实施例提供的一种数据关联系统的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

由背景技术可知，在第一数据源和第二数据源需要进行数据关联时，第二数据源中的键值对需要时刻保持不变才能保证合并的准确性。但是由于目前业务数据的快速发展，数据是实时发生变化的，而数据源中的键值对也可能随着发生变化。因此在数据源中的键值对发生变化时，继续采用现有合并数据源的方式会导致关联结果错误，关联准确度低。

因此，本发明实施例提供一种数据关联方法及系统，从需要进行数据关联的第一消息队列中获取第一键值对，从键值对存储器查询是否存在key与第一key相等的第二键值对。若是，合并及输出第一键值对和第二键值对。若否，将第一键值对存储至键值对存储器，以供需要与第一消息队列进行数据关联的消息队列查询。以实现多个消息队列之间进行数据实时关联，提高数据关联准确性和降低数据关联成本。

为更好解释说明在本发明实施例中涉及到的消息队列、键值对和键值对存储器的具体用途。通过以下内容对消息队列、键值对和键值对存储器进行说明。

消息队列(Message Queue)，通常用于在网络间传输数据。

键值对(KeyValue)，通常用于描述对应映射关系，格式为[key:value]。比如对于名字到年龄映射，即key为名字，value为年龄。例如[Mike:30]指的是Mike的年龄为30岁。

键值对存储器(KeyValue Storage)，通常用于存储具体的键值对。

参考图1，示出了本发明实施例提供的一种数据关联方法的流程图，所述数据关联方法包括以下步骤：

步骤S101：从第一消息队列中获取第一键值对。

在具体实现步骤S101的过程中，当所述第一消息队列中弹出一个数据时，获取该数据，即获取所述第一键值对。

步骤S102：基于所述第一键值对中的第一key，从预设的键值对存储器中查询是否存在key与所述第一key相等的第二键值对。若存在，执行步骤S103，若不存在，执行步骤S104。

在具体实现步骤S102的过程中，由上述内容可知，键值对中包含键(key)和值(value)的对应关系，键值对存储器中存储多个键值对。根据所述第一键值对中的第一key，从预设的键值对存储器中查询是否存在key与所述第一key相等的第二键值对。

例如：所述第一键值对的具体内容为[1:apple]，即第一key为1，第一value为apple。假设所述键值对存储器中存储的键值对分别为：[1:red]、[3:yellow]和[5:black]。根据所述第一key从所述键值对存储器中查询key与所述第一key相同的第二键值对为[1:red]。

需要说明的是，所述第二键值对为第二消息队列预先存储于所述键值对存储器中。

步骤S103：合并所述第一键值对和第二键值对，并输出合并后的所述第一键值对和第二键值对。

在具体实现步骤S103的过程中，若根据所述第一key从所述键值对存储器中查询到所述第二键值对，则先合并所述第一键值对和第二键值对，然后输出合并后的所述第一键值对和第二键值对。比如：所述第一键值对的具体内容为[1:apple]，即第一key为1，第一value为apple。假设所述键值对存储器中存储的键值对分别为：[1:red]、[3:yellow]和[5:black]。根据所述第一key从所述键值对存储器中查询key与所述第一key相同的第二键值对为[1:red]。合并第一键值对[1:apple]和第二键值对[1:red]得到[1:apple,1:red]，输出[1:apple,1:red]。

优选的，在键值过期触发器(KeyExpire Trigger)中预先为所述键值对存储器中存储的键值对所对应的key设置保存时长。

优选的，在执行步骤S103之后，在键值过期触发器中删除所述第一key对应的保存时长。

需要说明的是，所述键值过期触发器用于记录某个key是否过期，比如在所述键值过期触发器中注册一个keyA，保存时长为5分钟。5分钟后，所述键值过期触发器会触发一个事件，用于告知A已经过期。

步骤S104：将所述第一键值对存储至所述键值对存储器中。

在具体实现步骤S104的过程中，若所述键值对存储器中不存在所述第二键值对，则将所述第一键值对存储至所述键值对存储器中，以供需要与所述第一消息队列进行数据关联的其它消息队列查询。

优选的，在实现步骤S104之后，在所述键值过期触发器中为所述第一key设置保存时长。具体保存时长由技术人员根据实际情况进行设置，在本发明实施例中不做具体限定。

优选的，基于预设周期，利用所述键值过期触发器扫描所述键值对存储器中所有键值对所对应的key的保存时长，删除保存时长大于阈值的key对应的键值对。具体的周期和阈值由技术人员根据实际情况进行设置，在本发明实施例中不做具体限定。

在本发明实施例中，从需进行数据关联的第一消息队列中获取第一键值对，从键值对存储器查询是否存在key与第一key相等的第二键值对。若是，合并及输出第一键值对和第二键值对。若否，将第一键值对存储至键值对存储器，以供需要与第一消息队列进行数据关联的其它消息队列查询。实现多个消息队列之间进行数据实时关联，数据关联准确性高和成本低。同时利用键值过期触发器为键值对存储器中的键值对设置保存时长，周期性扫描键值对存储器中的键值对的保存时长，删除保存时长大于阈值的键值对。提高键值对存储器的存储空间利用率，提高数据关联效率。

为更好解释说明上述本发明实施例图1中公开的各个步骤的内容，通过图2中示出的内容进行举例说明。参考图2，示出了本发明实施例提供的数据关联的流程示意图。在所述图2中，存在两个消息队列，分别为消息队列A和消息队列B。

对于所述消息队列A，执行数据关联的步骤包括以下执行步骤：

步骤S201：从所述消息队列A中获取第一键值对T。

步骤S202：基于所述第一键值对T中的第一key，从键值对存储器中查询key与所述第一key相等的第二键值对T'。

步骤S203：判断是否查询到所述第二键值对T'，若查询到，执行步骤S204。若查询不到，将所述第一键值对T存储至所述键值存储器中，并利用键值过期触发器设置所述第一键值对T的保存时长。

步骤S204：则合并所述第一键值对T和第二键值对T'，然后输出合并后的所述第一键值对T和第二键值对T'。

优选的，基于预设周期，利用所述键值过期触发器扫描所述键值对存储器中所有键值对所对应的key的保存时长，删除保存时长大于阈值的key对应的键值对。

对于所述消息队列B，执行数据关联的步骤包括以下执行步骤：

步骤S201：从所述消息队列B中获取第一键值对T'。

步骤S202：基于所述第一键值对T'中的第一key，从键值对存储器中查询key与所述第一key相等的第二键值对T。

步骤S203：判断是否查询到所述第二键值对T，若查询到，执行步骤S204。若查询不到，将所述第一键值对T存储至所述键值存储器中，并利用键值过期触发器设置所述第一键值对T的保存时长。

步骤S204：则合并所述第一键值对T'和第二键值对T，然后输出合并后的所述第一键值对T'和第二键值对T。

优选的，基于预设周期，利用所述键值过期触发器扫描所述键值对存储器中所有键值对所对应的key的保存时长，删除保存时长大于阈值的key对应的键值对。

需要说明的是，所述消息队列A和消息队列B同时执行上述步骤S201至步骤S204中的内容，可实现所述消息队列A和消息队列B的数据实时关联。

需要说明的是，上述图2中示出的内容仅用于举例说明，上述步骤S201至步骤S204的具体执行原理可参见上述本发明实施例图1中公开的各个步骤对应的内容，在本发明实施例中不做具体限定。

在本发明实施例中，从需进行数据关联的第一消息队列中获取第一键值对，从键值对存储器查询是否存在key与第一key相等的第二键值对。若是，合并及输出第一键值对和第二键值对。若否，将第一键值对存储至键值对存储器，以供需要与第一消息队列进行数据关联的其它消息队列查询。实现多个消息队列之间进行数据实时关联，数据关联准确性高和成本低。同时利用键值过期触发器为键值对存储器中的键值对设置保存时长，周期性扫描键值对存储器中的键值对的保存时长，删除保存时长大于阈值的键值对。提高键值对存储器的存储空间利用率，提高数据关联效率。

与上述本发明实施例提供的一种数据关联方法相对应，参考图3，本发明实施例还提供一种数据关联系统的结构框图，所述数据关联系统包括：获取单元301、查询单元302、处理单元303和存储单元304。

获取单元301，用于从第一消息队列中获取第一键值对。

查询单元302，用于基于所述第一键值对中的第一key，从预设的键值对存储器中查询是否存在key与所述第一key相等的第二键值对，若存在，执行处理单元303，若不存在，执行存储单元304，其中，所述第二键值对为第二消息队列预先存储于所述键值对存储器中。查询第二键值对的过程参见上述本发明实施例图1中步骤S102相对应的内容。

所述处理单元303，用于合并所述第一键值对和第二键值对，并输出合并后的所述第一键值对和第二键值对。合并所述第一键值对和第二键值对，以及输出合并后的所述第一键值对和第二键值对的过程参见上述本发明实施例图1中步骤S103相对应的内容。

优选的，所述处理单元303还用于删除所述第一key对应的保存时长。

所述存储单元304，用于将所述第一键值对存储至所述键值对存储器中。

优选的，所述存储单元304还用于为所述第一key设置保存时长。

优选的，所述存储单元304还用于预先为所述键值对存储器中存储的键值对所对应的key设置保存时长。

在本发明实施例中，从需进行数据关联的第一消息队列中获取第一键值对，从键值对存储器查询是否存在key与第一key相等的第二键值对。若是，合并及输出第一键值对和第二键值对。若否，将第一键值对存储至键值对存储器，以供需要与第一消息队列进行数据关联的其它消息队列查询。实现多个消息队列之间进行数据实时关联，数据关联准确性高和成本低。

优选的，结合图3，参考图4，示出了本发明实施例提供的一种数据关联系统的结构框图，所述数据关联系统还包括：

扫描单元305，用于基于预设周期，扫描所述键值对存储器中所有键值对所对应的key的保存时长，删除保存时长大于阈值的key对应的键值对。

在具体实现中，基于预设周期，利用所述键值过期触发器扫描所述键值对存储器中所有键值对所对应的key的保存时长，删除保存时长大于阈值的key对应的键值对。

在本发明实施例中，利用键值过期触发器为键值对存储器中的键值对设置保存时长，周期性扫描键值对存储器中的键值对的保存时长，删除保存时长大于阈值的键值对。提高键值对存储器的存储空间利用率，提高数据关联效率。

综上所述，本发明实施例提供一种数据关联方法及系统，该方法为：从第一消息队列中获取第一键值对。基于第一键值对的第一key，从预设键值对存储器中查询是否存在key与第一key相等的第二消息队列的第二键值对。若是，合并第一键值对和第二键值对，输出合并后的第一键值对和第二键值对。若否，将第一键值对存储至键值对存储器。在本方案中，从需进行数据关联的第一消息队列中获取第一键值对，从键值对存储器查询是否存在key与第一key相等的第二键值对。若是，合并及输出第一键值对和第二键值对。若否，将第一键值对存储至键值对存储器，以供需要与第一消息队列进行数据关联的其它消息队列查询。实现多个消息队列之间进行数据实时关联，数据关联准确性高，数据关联成本低。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种数据关联方法，其特征在于，所述方法包括：

从第一消息队列中获取第一键值对；

基于所述第一键值对中的第一key，从预设的键值对存储器中查询是否存在key与所述第一key相等的第二键值对，其中，所述第二键值对为第二消息队列预先存储于所述键值对存储器中；

若存在，合并所述第一键值对和第二键值对，并输出合并后的所述第一键值对和第二键值对；

若不存在，将所述第一键值对存储至所述键值对存储器中；

基于预设周期，扫描所述键值对存储器中所有键值对所对应的key的保存时长，删除保存时长大于阈值的key对应的键值对。

2.根据权利要求1中的方法，其特征在于，所述合并所述第一键值对和第二键值对，并输出合并后的所述第一键值对和第二键值对之后，还包括：

删除所述第一key对应的保存时长。

3.根据权利要求1所述的方法，其特征在于，所述将所述第一键值对存储至所述键值对存储器中之后，还包括：

为所述第一key设置保存时长。

4.根据权利要求1所述的方法，其特征在于，还包括：

预先为所述键值对存储器中存储的键值对所对应的key设置保存时长。

5.一种数据关联系统，其特征在于，所述系统包括：

获取单元，用于从第一消息队列中获取第一键值对；

查询单元，用于基于所述第一键值对中的第一key，从预设的键值对存储器中查询是否存在key与所述第一key相等的第二键值对，若存在，执行处理单元，若不存在，执行存储单元，其中，所述第二键值对为第二消息队列预先存储于所述键值对存储器中；

所述处理单元，用于合并所述第一键值对和第二键值对，并输出合并后的所述第一键值对和第二键值对；

所述存储单元，用于将所述第一键值对存储至所述键值对存储器中；

扫描单元，用于基于预设周期，扫描所述键值对存储器中所有键值对所对应的key的保存时长，删除保存时长大于阈值的key对应的键值对。

6.根据权利要求5所述的系统，其特征在于，所述处理单元还用于删除所述第一key对应的保存时长。

7.根据权利要求5所述的系统，其特征在于，所述存储单元还用于为所述第一key设置保存时长。

8.根据权利要求5所述的系统，其特征在于，所述存储单元还用于预先为所述键值对存储器中存储的键值对所对应的key设置保存时长。

Images