CN103530375A - 数据源的匹配方法和装置 - Google Patents

Abstract

本发明公开了一种数据源的匹配方法和装置。其中，数据源的匹配方法包括：接收数据源；将数据源的记录行插入到目标数据库中，形成临时表；接收第一匹配记录，其中，第一匹配记录表示临时表与目标数据库之间的连接匹配关系；以及以第一匹配记录作为匹配源对数据源进行匹配。通过本发明，解决了现有技术中进行大量数据源和目标数据库的匹配存在内存占用过大或速度过慢的问题，进而达到了减小数据源匹配时的内存占用和提高匹配速度的效果。

Description

数据源的匹配方法和装置

技术领域

本发明涉及数据处理领域，具体而言，涉及一种数据源的匹配方法和装置。

背景技术

在用数据提取、转换和加载（Extraction Transformation Loading，简称ETL）工具进行数据的提取、转换和加载时，中间往往会有很多的转换操作，转换过程经常需要通过数据源的原始相关列，和所要插入的目标数据库的相应维度表的相关匹配列进行匹配，并找到相应维度表与其对应的外键（即，相应维度表的唯一主键值）。在微软SSIS（Microsoft SQL Server2005Integration Service）工具里，进行数据的提取、转换和加载的通常做法都是采用查询（Lookup）控件，而Lookup控件自身有其局限性，对于大批量的数据源，需要从相应维度表中里查找其对应的外键时，存在内存占用过大或速度过慢的弊端。

针对相关技术中进行大量数据源和目标数据库的匹配存在内存占用过大或速度过慢的问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种数据源的匹配方法和装置，以解决现有技术中进行大量数据源和目标数据库的匹配存在内存占用过大或速度过慢的问题。

为了实现上述目的，根据本发明的一个方面，提供了一种数据源的匹配方法，包括：接收数据源；将数据源的记录行插入到目标数据库中，形成临时表；接收第一匹配记录，其中，第一匹配记录表示临时表与目标数据库之间的连接匹配关系；以及以第一匹配记录作为匹配源对数据源进行匹配。

进一步地，在接收数据源之后，匹配方法还包括：对记录行进行去重处理，将数据源的记录行插入到目标数据库中，形成临时表包括：将经过去重处理后的记录行插入到目标数据库中，形成临时表。

进一步地，在形成临时表之后，并且在接收第一匹配记录之前，匹配方法还包括：建立临时表与目标数据库之间的连接匹配；以及返回第一匹配记录。

进一步地，第一匹配记录包括匹配列和匹配值。

进一步地，在以第一匹配记录作为匹配源对数据源进行匹配之后，匹配方法还包括：将第二匹配记录插入到目标数据库中，其中，第二匹配记录为以第一匹配记录作为匹配源对数据源进行匹配得到的匹配记录。

为了实现上述目的，根据本发明的另一方面，提供了一种数据源的匹配装置，该匹配装置用于执行本发明上述内容所提供的任一种数据源的匹配方法。

为了实现上述目的，根据本发明的另一方面，提供了一种数据源的匹配装置，包括：第一接收单元，用于接收数据源；第一插入单元，用于将数据源的记录行插入到目标数据库中，形成临时表；第二接收单元，用于接收第一匹配记录，其中，第一匹配记录表示临时表与目标数据库之间的连接匹配关系；以及匹配单元，用于以第一匹配记录作为匹配源对数据源进行匹配。

进一步地，匹配装置还包括：去重单元，用于对记录行进行去重处理，第一插入单元还用于将经过去重处理后的记录行插入到目标数据库中，形成临时表。

进一步地，匹配装置还包括：建立单元，用于建立临时表与目标数据库之间的连接匹配；以及返回单元，用于返回第一匹配记录。

进一步地，第一匹配记录包括匹配列和匹配值。

进一步地，匹配装置还包括：第二插入单元，用于将第二匹配记录插入到目标数据库中，其中，第二匹配记录为以第一匹配记录作为匹配源对数据源进行匹配得到的匹配记录。

本发明采用接收数据源；将数据源的记录行插入到目标数据库中，形成临时表；接收第一匹配记录，其中，第一匹配记录表示临时表与目标数据库之间的连接匹配关系；以及以第一匹配记录作为匹配源对数据源进行匹配。通过将数据源的记录行插入到目标数据库中，形成临时表，然后以临时表与目标数据库之间的匹配记录（即，第一匹配记录）作为匹配源进行数据源的匹配，实现了将在内存里进行的匹配逻辑转移到目标数据库中进行，从而能够高效利用数据库的并发批量连表操作进行快速数据匹配。由于临时表与目标数据库之间的匹配记录仅包含数据源所需要匹配的记录行，因此在以第一匹配记录作为匹配源进行数据源的匹配，做到了内存压力最小化。可以看出，本发明解决了现有技术中进行大量数据源和目标数据库的匹配存在内存占用过大或速度过慢的问题，进而达到了减小数据源匹配时的内存占用和提高匹配速度的效果。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的数据源的匹配方法的流程图；

图2是根据本发明优选实施例的数据源的匹配方法的流程图；以及

图3是根据本发明实施例的数据源的匹配装置的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

本发明实施例提供了一种数据源的匹配方法，以下对本发明实施例所提供的数据源的匹配方法进行具体介绍：

图1是根据本发明实施例的数据源的匹配方法的流程图，如图1所示，该实施例的数据源的匹配方法主要包括如下步骤S102至S108：

S102：接收数据源，其中，数据源为通过SSIS工具进行匹配的数据源。

S104：将数据源的记录行插入到目标数据库中，形成临时表，具体地，目标数据库包括大维度表，大维度表含有大量数据行的维度。

S106：接收第一匹配记录，其中，第一匹配记录表示临时表与目标数据库之间的连接匹配关系，主要是表示临时表与目标数据库中与临时表相对应的大维度表之间的连接匹配关系，具体地，第一匹配记录主要包括临时表与目标数据库中对应的大维度表之间的匹配值和匹配列。

S108：以第一匹配记录作为匹配源对数据源进行匹配，即，采用全部缓存模式（FullCache）进行数据源的匹配，也即，将第一匹配记录加载到SSIS的内存里，采用SSIS的Lookup控制对数据源进行匹配。由于以第一匹配记录作为匹配源，所以，在利用全部缓存模式进行数据源匹配过程中，SSIS的匹配进程里仅会存在数据源需要匹配的记录，不会存在重复的记录或是大维度表里不需要匹配的任何行记录，此能做到内存利用最小，并且也减少了SSIS进程与数据库进程间的通讯数据量，不会像默认的FullCache机制，将所有大维度表的全部记录传递给SSIS进程，并大量交换进程数据和大量占用系统内存。

本发明实施例所提供的数据源的匹配方法，通过将数据源的记录行插入到目标数据库中，形成临时表，然后以临时表与目标数据库之间的匹配记录（即，第一匹配记录）作为匹配源进行数据源的匹配，实现了将在内存里进行的匹配逻辑转移到目标数据库中进行，从而能够高效利用数据库的并发批量连表操作进行快速数据匹配。由于临时表与目标数据库之间的匹配记录仅包含数据源所需要匹配的记录行，因此在以第一匹配记录作为匹配源进行数据源的匹配，做到了内存压力最小化。可以看出，本发明解决了现有技术中进行大量数据源和目标数据库的匹配存在内存占用过大或速度过慢的问题，进而达到了减小数据源匹配时的内存占用和提高匹配速度的效果。

进一步地，在形成临时表之后，并且在接收第一匹配记录之前，本发明实施例的数据源的匹配方法还包括：建立临时表与目标数据库之间的连接匹配，并返回第一匹配记录至SSIS进程，即，将步骤S104中所有需要匹配的临时表与目标数据库的大维度表进行表连接匹配操作，并将相关匹配列和匹配值返回至SSIS进程。

通过进行第一匹配记录（匹配列和匹配值）的返回，实现了将匹配操作从SSIS里转移到目标数据库端进行，并且数据库端仅会加载大维度表中能够匹配的列，避免默认的Full Cache模式进行全表扫描所带来的耗时，实现有效利用数据库的批量操作进行高效并行匹配。

下面以场景A为例进一步说明本发明实施例所提供的数据源的匹配方法：

场景A：统计一个网站的访问情况，假设需要知道每个访客的访问情况，目标数据库中建立有一张访客的大维度表，在此叫做DimVisitor，网站每天都会有相当一部分的新访客增加，进行数据源的匹配则是指：从每天访问数据里（即，数据源）抽取所有的访客信息（数据源的记录行，也可称数据源的记录行）到目标数据库中的DimVisitor表（大维度表），匹配过程中保证DimVisitor的每一行代表一个唯一访客。

相应地，步骤S102接收数据源，具体为：接收该网站的访问数据。

步骤S104将数据源的记录行插入到目标数据库中，形成临时表，具体为：将访问数据里所有的访客信息插入到目标数据库中，形成临时表。

建立临时表与目标数据库之间的连接匹配，并返回第一匹配记录至SSIS进程则是在目标数据库端进行匹配查询操作，具体地，在本发明实施例中，查询语句可以为：select V.VisitorID,V.VisitorKey from Temp_Visitor T inner join DimVisitor V onT.VisitorID=V.VisitorID，该语句里VisitorID表示访客的唯一标识Id，是数据源端临时表和目标数据库做匹配的相关匹配列，VisitorKey是目标数据库中DimVisitor表（大维度表）的主键列，此查询通过Temp_Visitor表与DimVisitor表进行高效的并发连接查询，仅需要目标数据库从大维度表里加载能够匹配的列，不需要目标数据库加载大维度表整表的内存IO，并且仅返回所匹配到的所有VisitorID匹配列和VisitorKey唯一主键列，实现仅会对已经向目标数据库发起过查询的相关匹配列和匹配值（匹配成功，或失败）做缓存，这样再有新的数据记录进行查找时会优先从缓存里进行查找，若未找到，则向目标数据库发起查询，并进行缓存供下一次记录匹配之用。达到SSIS内存占用较少的效果。

步骤S106接收第一匹配记录，具体为：接收上述在目标数据库端进行匹配查询操作的匹配结果。

步骤S108以第一匹配记录作为匹配源对数据源进行匹配，具体为：采用全部缓存模式（Full Cache）进行访问数据的匹配。

图2是根据本发明优选实施例的数据源的匹配方法的流程图，如图2所示，本发明优选实施例的数据源的匹配方法主要包括如下步骤S202至S210：

S202：接收数据源，具体地，与步骤S102相同。

S204：对记录行进行去重处理，具体地，主要是对记录行中的重复记录行进行筛选。

S206：将经过去重处理后的记录行插入到目标数据库中，形成临时表。

S208：接收第一匹配记录，与步骤S106相同。

S210：以第一匹配记录作为匹配源对数据源进行匹配，与步骤S108相同。

通过对数据源的记录行进行去重处理，实现了进一步减小数据匹配量，达到了进一步提高匹配速度的效果。

进一步，在以第一匹配记录作为匹配源对数据源进行匹配之后，本发明实施例的数据源的匹配方法还包括：将第二匹配记录插入到目标数据库中，其中，第二匹配记录为以第一匹配记录作为匹配源对数据源进行匹配得到的匹配记录。

本发明实施例还提供了一种数据源的匹配装置，该匹配装置可以用于执行本发明实施例上述内容所提供的任意一种数据源的匹配方法，以下对本发明实施例所提供的数据源的匹配装置进行具体介绍：

图3是根据本发明实施例的数据源的匹配装置的示意图，如图3所示，该实施例的数据源的匹配装置主要包括第一接收单元10、第一插入单元20、第二接收单元30和匹配单元40，其中：

第一接收单元10用于接收数据源，其中，数据源为通过SSIS工具进行匹配的数据源。

第一插入单元20用于将数据源的记录行插入到目标数据库中，形成临时表，具体地，目标数据库包括大维度表，大维度表含有大量数据行的维度。

第二接收单元30用于接收第一匹配记录，其中，第一匹配记录表示临时表与目标数据库之间的连接匹配关系，主要是表示临时表与目标数据库中与临时表相对应的大维度表之间的连接匹配关系，具体地，第一匹配记录主要包括临时表与目标数据库中对应的大维度表之间的匹配值和匹配列。

匹配单元40用于以第一匹配记录作为匹配源对数据源进行匹配，即，采用全部缓存模式（Full Cache）进行数据源的匹配，也即，将第一匹配记录加载到SSIS的内存里，采用SSIS的Lookup控制对数据源进行匹配。由于以第一匹配记录作为匹配源，所以，在利用全部缓存模式进行数据源匹配过程中，SSIS的匹配进程里仅会存在数据源需要匹配的记录，不会存在重复的记录或是大维度表里不需要匹配的任何行记录，此能做到内存利用最小，并且也减少了SSIS进程与数据库进程间的通讯数据量，不会像默认的Full Cache机制，将所有大维度表的全部记录传递给SSIS进程，并大量交换进程数据和大量占用系统内存。

本发明实施例所提供的数据源的匹配装置，通过将数据源的记录行插入到目标数据库中，形成临时表，然后以临时表与目标数据库之间的匹配记录（即，第一匹配记录）作为匹配源进行数据源的匹配，实现了将在内存里进行的匹配逻辑转移到目标数据库中进行，从而能够高效利用数据库的并发批量连表操作进行快速数据匹配。由于临时表与目标数据库之间的匹配记录仅包含数据源所需要匹配的记录行，因此在以第一匹配记录作为匹配源进行数据源的匹配，做到了内存压力最小化。可以看出，本发明解决了现有技术中进行大量数据源和目标数据库的匹配存在内存占用过大或速度过慢的问题，进而达到了减小数据源匹配时的内存占用和提高匹配速度的效果。

优选地，匹配装置还包括去重单元，该去重单元用于对记录行进行去重处理，第一插入单元还用于将经过去重处理后的记录行插入到目标数据库中，形成临时表。

通过去重单元对数据源的记录行进行去重处理，实现了进一步减小数据匹配量，达到了进一步提高匹配速度的效果。

进一步地，匹配装置还包括建立单元和返回单元，其中，建立单元用于建立临时表与目标数据库之间的连接匹配，返回单元用于返回第一匹配记录至SSIS进程，即，建立单元将第一插入单元20所形成的所有需要匹配的临时表与目标数据库的大维度表进行表连接匹配操作，返回单元将相关匹配列和匹配值返回至SSIS进程。

通过进行第一匹配记录（匹配列和匹配值）的返回，实现了将匹配操作从SSIS里转移到目标数据库端进行，并且数据库端仅会加载大维度表中能够匹配的列，避免默认的Full Cache模式进行全表扫描所带来的耗时，实现有效利用数据库的批量操作进行高效并行匹配。

进一步地，匹配装置还包括第二插入单元，该第二插入单元用于将第二匹配记录插入到目标数据库中，其中，第二匹配记录为以第一匹配记录作为匹配源对数据源进行匹配得到的匹配记录。

从以上的描述中，可以看出，本发明实现了高效利用数据库的并发批量连表操作进行快速数据匹配，做到了内存压力最小化，进而达到了减小数据源匹配时的内存占用和提高匹配速度的效果，即，达到了高效匹配与低内存利用的效果，满足内存和性能的双重要求。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

显然，本领域的技术人员应该明白，上述的本发明的各单元或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路单元，或者将它们中的多个单元或步骤制作成单个集成电路单元来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据源的匹配方法，其特征在于，包括：

接收所述数据源；

将所述数据源的记录行插入到目标数据库中，形成临时表；

接收第一匹配记录，其中，所述第一匹配记录表示所述临时表与所述目标数据库之间的连接匹配关系；以及

以所述第一匹配记录作为匹配源对所述数据源进行匹配。

2.根据权利要求1所述的匹配方法，其特征在于，在接收所述数据源之后，所述匹配方法还包括：

对所述记录行进行去重处理，

将所述数据源的记录行插入到目标数据库中，形成临时表包括：将经过去重处理后的所述记录行插入到所述目标数据库中，形成所述临时表。

3.根据权利要求1或2所述的匹配方法，其特征在于，在形成所述临时表之后，并且在接收第一匹配记录之前，所述匹配方法还包括：

建立所述临时表与所述目标数据库之间的连接匹配；以及

返回所述第一匹配记录。

4.根据权利要求1所述的匹配方法，其特征在于，所述第一匹配记录包括匹配列和匹配值。

5.根据权利要求1所述的匹配方法，其特征在于，在以所述第一匹配记录作为匹配源对所述数据源进行匹配之后，所述匹配方法还包括：

将第二匹配记录插入到所述目标数据库中，其中，所述第二匹配记录为以所述第一匹配记录作为匹配源对所述数据源进行匹配得到的匹配记录。

6.一种数据源的匹配装置，其特征在于，包括：

第一接收单元，用于接收所述数据源；

第一插入单元，用于将所述数据源的记录行插入到目标数据库中，形成临时表；

第二接收单元，用于接收第一匹配记录，其中，所述第一匹配记录表示所述临时表与所述目标数据库之间的连接匹配关系；以及

匹配单元，用于以所述第一匹配记录作为匹配源对所述数据源进行匹配。

7.根据权利要求6所述的匹配装置，其特征在于，所述匹配装置还包括：

去重单元，用于对所述记录行进行去重处理，

所述第一插入单元还用于将经过去重处理后的所述记录行插入到所述目标数据库中，形成所述临时表。

8.根据权利要求6或7所述的匹配装置，其特征在于，所述匹配装置还包括：

建立单元，用于建立所述临时表与所述目标数据库之间的连接匹配；以及

返回单元，用于返回所述第一匹配记录。

9.根据权利要求6所述的匹配装置，其特征在于，所述第一匹配记录包括匹配列和匹配值。

10.根据权利要求6所述的匹配装置，其特征在于，所述匹配装置还包括：

第二插入单元，用于将第二匹配记录插入到所述目标数据库中，其中，所述第二匹配记录为以所述第一匹配记录作为匹配源对所述数据源进行匹配得到的匹配记录。

Images