CN110347704A - 数据撮合方法及装置 - Google Patents

Abstract

本申请实施例提供一种数据撮合方法及装置，方法包括：确定源数据集中的有效源数据和目标数据集中的有效目标数据，得到源数据缓冲队列和目标数据缓冲队列；依次对所述目标数据缓冲队列中与所述源数据缓冲队列中的所述有效源数据对应的所述有效目标数据进行数据撮合；本申请既能够保证快速准确有效处理不同标类数据，又能够降低事务处理系统的高并发量，减少对数据记录出现频率的依赖耦合，提高了事务处理系统的稳定性和可靠性。

Description

数据撮合方法及装置

技术领域

本申请涉及数据处理领域，具体涉及一种数据撮合方法及装置。

背景技术

随着信息技术的发展，各行各业的数据量都是以指数级别迸发，在当前大数据的背景下，大型数据处理系统往往需要对两个有序无关的数据集做相关联的数据整合和分析处理。目前，现有技术中对多个不同类标空间的数据集的关联整合处理，往往是采用数据类集之间的触发因素，通过触发关联，搜索数据链，完成整合处理。例如，基于数据集A，要对数据集B做分类和聚类处理，当数据集A中某一数据记录r出现时，会触发一个信息处理进程，将该数据记录r与数据集B中的每一条数据做比较分析处理，找出与之相关联的数据记录s，完成数据记录s的分析处理，与此类似，当数据集A中同时出现多个数据记录时，会同步触发多个信息处理进程进行信息数据处理。

发明人发现，目前的数据处理系统多数是由单个数据集触发，基于单数据集触发的多线程触发处理模式。触发数据处理虽然处理模式简单快速有效，但却大大依赖于系统的并发处理，尽管当前大型主机事务处理中间件支持较高的并发数，但当数据集中数据记录过多，触发处理并发数高时，触发的线程数目往往大于中间件系统所支持的并发数，从而导致数据处理失败，甚至出现丢失数据等现象。同时，由于触发处理模式是基于单个数据记录维度，当前后出现的数据记录间隔较短时，会出现单个数据记录多笔线程同时触发，不仅会导致重复数据处理，致使数据记录处理失误，而且容易发生数据处理系统死锁等待的情况，致使排队的事务越来越多，部分进程被强制关掉，更严重的情况下会导致事务处理系统宕机，增加了系统的运行风险。

发明内容

针对现有技术中的问题，本申请提供一种数据撮合方法及装置，既能够保证快速准确有效处理不同标类数据，又能够降低事务处理系统的高并发量，减少对数据记录出现频率的依赖耦合，提高了事务处理系统的稳定性和可靠性。

为了解决上述问题中的至少一个，本申请提供以下技术方案：

第一方面，本申请提供一种数据撮合方法，包括：

确定源数据集中的有效源数据和目标数据集中的有效目标数据，得到源数据缓冲队列和目标数据缓冲队列；

依次对所述目标数据缓冲队列中与所述源数据缓冲队列中的所述有效源数据对应的所述有效目标数据进行数据撮合。

进一步地，在所述确定源数据集中的有效源数据和目标数据集中的有效目标数据之前，包括：

对初始源数据和初始目标数据进行数据来源有效性判断，得到数据来源具有有效性的所述初始源数据和所述初始目标数据；

判断数据来源具有有效性的所述初始源数据和所述初始目标数据的数据构成是否满足预设数据录入条件；

若是，则根据满足预设数据录入条件的所述初始源数据和所述初始目标数据，得到所述源数据集和所述目标数据集。

进一步地，所述确定源数据集中的有效源数据，包括：

对所述源数据集中的源数据进行数据有效性判断，将数据有效性判断结果为有效的所述源数据设定为所述有效源数据。

进一步地，所述确定目标数据集中的有效目标数据，包括：

对所述目标数据集中的目标数据进行数据状态判断，得到数据状态为正常的所述目标数据；

对数据状态为正常的所述目标数据进行数据有效性判断，将数据有效性判断结果为有效的所述目标数据设定为所述有效目标数据。

进一步地，在所述依次对所述目标数据缓冲队列中与所述源数据缓冲队列中的所述有效源数据对应的所述有效目标数据进行数据撮合之前，包括：

根据所述有效源数据在源数据缓冲队列中的排列顺序和所述有效目标数据在目标数据缓冲队列中的排列顺序，依次判断所述有效源数据和所述有效目标数据的固有触发条件是否满足同一触发规则，得到与所述有效源数据满足同一触发规则的所述有效目标数据。

进一步地，在所述得到与所述有效源数据满足同一触发规则的所述有效目标数据之后，包括：

判断所述有效目标数据是否满足预设撮合规则，得到满足预设撮合规则的所述有效目标数据。

进一步地，所述进行数据撮合，包括：

基于所述预设撮合规则对与所述有效源数据满足同一触发规则的所述有效目标数据进行撮合处理，得到经过撮合处理后的所述有效目标数据。

进一步地，在所述依次对所述目标数据缓冲队列中与所述源数据缓冲队列中的所述有效源数据对应的所述有效目标数据进行数据撮合之前，包括：

对所述有效源数据和所述有效目标数据分别进行数据排序处理，得到源数据缓冲队列和目标数据缓冲队列。

第二方面，本申请提供一种数据撮合装置，包括：

数据整合模块，用于确定源数据集中的有效源数据和目标数据集中的有效目标数据，得到源数据缓冲队列和目标数据缓冲队列；

数据撮合模块，用于依次对所述目标数据缓冲队列中与所述源数据缓冲队列中的所述有效源数据对应的所述有效目标数据进行数据撮合。

进一步地，数据来源有效性判断单元，用于对初始源数据和初始目标数据进行数据来源有效性判断，得到数据来源具有有效性的所述初始源数据和所述初始目标数据；

数据构成条件判断单元，用于判断数据来源具有有效性的所述初始源数据和所述初始目标数据的数据构成是否满足预设数据录入条件；

数据录入单元，用于根据满足预设数据录入条件的所述初始源数据和所述初始目标数据，得到所述源数据集和所述目标数据集。

进一步地，所述数据整合模块包括：

有效源数据确定单元，用于对所述源数据集中的源数据进行数据有效性判断，将数据有效性判断结果为有效的所述源数据设定为所述有效源数据。

进一步地，所述数据整合模块包括：

目标数据状态判断单元，用于对所述目标数据集中的目标数据进行数据状态判断，得到数据状态为正常的所述目标数据；

有效目标数据确定单元，用于对数据状态为正常的所述目标数据进行数据有效性判断，将数据有效性判断结果为有效的所述目标数据设定为所述有效目标数据。

进一步地，还包括：

触发条件判断单元，用于根据所述有效源数据在源数据缓冲队列中的排列顺序和所述有效目标数据在目标数据缓冲队列中的排列顺序，依次判断所述有效源数据和所述有效目标数据的固有触发条件是否满足同一触发规则，得到与所述有效源数据满足同一触发规则的所述有效目标数据。

进一步地，还包括：

撮合规则判断单元，用于判断所述有效目标数据是否满足预设撮合规则，得到满足预设撮合规则的所述有效目标数据。

进一步地，所述数据撮合模块包括：

撮合处理单元，用于基于所述预设撮合规则对与所述有效源数据满足同一触发规则的所述有效目标数据进行撮合处理，得到经过撮合处理后的所述有效目标数据。

进一步地，还包括：

缓冲队列组建单元，用于对所述有效源数据和所述有效目标数据分别进行数据排序处理，得到源数据缓冲队列和目标数据缓冲队列。

第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的数据撮合方法的步骤。

第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的数据撮合方法的步骤。

由上述技术方案可知，本申请提供一种数据撮合方法及装置，通过对输入到系统中的源数据和目标数据进行归纳整合，得到用于进行数据撮合的源数据集和目标数据集，并对源数据集和目标数据集进行数据有效性筛选，确定初步满足数据撮合条件的有效源数据和有效目标数据，并将其组建为两个数据缓冲队列，根据数据缓冲队列中有效源数据和有效目标数据的排列顺序依次进行有效源数据和有效目标数据的数据撮合，由于在进行数据撮合前有效源数据和有效目标数据为已知，且进行数据撮合时依照数据缓冲队列的排列顺序依次执行，因此本申请能够仅开启一个单一任务线程即可实现多个有效源数据和有效目标数据之间的数据撮合操作，解决了现有技术中大型计算机事务处理系统在处理多个数据撮合任务时产生的高并发问题，减少对数据记录出现频率的依赖耦合，提高了事务处理系统的稳定性和可靠性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中的数据撮合方法的流程示意图之一；

图2为本申请实施例中的数据撮合方法的流程示意图之二；

图3为本申请实施例中的数据撮合方法的流程示意图之三；

图4为本申请实施例中的数据撮合装置的结构图之一；

图5为本申请实施例中的数据撮合装置的结构图之二；

图6为本申请实施例中的数据撮合装置的结构图之三；

图7为本申请实施例中的数据撮合装置的结构图之四；

图8为本申请实施例中的数据撮合装置的结构图之五；

图9为本申请实施例中的电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

考虑到现有技术中对多个不同类标空间的数据集进行关联整合处理时，往往采用数据类集之间的触发因素，通过触发关联，搜索数据链，从而完成撮合处理，例如，基于系统中已经存在的源数据集A，要对目标数据集B做分类和聚类处理，当监听到源数据集A中某一数据记录r出现时，会触发一个信息处理进程，将该数据记录r与目标数据集B中的每一条数据记录做比较分析处理，找出与之相关联的数据记录s，并完成对数据记录s的分析处理，因此，当源数据集A中同时出现多个数据记录时，或系统中有多个不同源数据集都新增了数据记录时，会同步触发多个信息处理进程进行数据撮合处理，进而容易导致系统并发量超过系统处理能力，造成系统死锁或宕机，降低了系统运行的稳定性、可靠性和安全性的问题，本申请提供一种数据撮合方法及装置，通过对输入到系统中的源数据和目标数据进行归纳整合，得到可以用于进行数据撮合的源数据集和目标数据集，并对源数据集和目标数据集进行数据有效性筛选，确定初步满足数据撮合条件的有效源数据和有效目标数据，并将其组建为两个数据缓冲队列，根据数据缓冲队列中有效源数据和有效目标数据的排列顺序依次进行有效源数据和有效目标数据的数据撮合，由于在进行数据撮合前有效源数据和有效目标数据为已知，且进行数据撮合时依照数据缓冲队列的排列顺序依次执行，因此本申请能够仅开启一个单一任务线程即可实现多个有效源数据和有效目标数据之间的数据撮合操作，解决了现有技术中大型计算机事务处理系统在处理多个数据撮合任务时产生的高并发问题，减少对数据记录出现频率的依赖耦合，提高了事务处理系统的稳定性和可靠性。

为了既能够保证快速准确有效处理不同标类数据，又能够降低事务处理系统的高并发量，减少对数据记录出现频率的依赖耦合，提高了事务处理系统的稳定性和可靠性，本申请提供一种数据撮合方法的实施例，参见图1，所述数据撮合方法具体包含有如下内容：

步骤S101：确定源数据集中的有效源数据和目标数据集中的有效目标数据，得到源数据缓冲队列和目标数据缓冲队列。

可以理解的是，本申请中所述有效目标数据是系统需要进行处理的数据，所述有效源数据是对所述有效目标数据进行处理时所依赖的数据，本申请中的所述源数据集和所述目标数据集并非系统中处于初始状态的数据集合，而是对系统中所有初始源数据和初始目标数据进行初步筛选之后的数据集合，例如一个存储有有效源数据的源数据缓冲池和一个存储有有效目标数据的目标数据缓冲池。

可选的，所述初步筛选可以是对所有初始源数据和初始目标数据的数据来源有效性和具体数据构成进行的筛选，得到的结果为可以用于进行数据撮合的源数据和目标数据，并分别组建所述源数据集和所述目标数据集，或将其输入到源数据缓冲池和目标数据缓冲池中，通过将系统中所有可以用于进行数据撮合的源数据和目标数据整合成一个单独的源数据集和目标数据集，摆脱了现有技术中在执行数据撮合时对源数据集新增数据记录的依赖，使得只需启动一个任务线程，即可对源数据和目标数据进行批量处理，同时，对可以用于进行数据撮合的源数据和目标数据还可以进行再次筛选。

可选的，所述再次筛选可以对可以用于进行数据撮合的目标数据的数据状态和数据有效性进行判断，还可以对可以用于进行数据撮合的源数据的数据有效性进行判断，进而得到所述有效目标数据和所述有效源数据，所述有效目标数据和所述有效源数据是上述目标数据集和源数据集中经过再次筛选，得到的能够满足初步数据撮合条件的目标数据和源数据，由于所述有效源数据和所述有效目标数据只是所述源数据集和所述目标数据集中的部分数据，因此为了提高后续数据撮合的处理效率，可以在所述源数据集和所述目标数据集的基础上，为所述有效源数据和所述有效目标数据组建所述源数据缓冲队列和所述目标数据缓冲队列。

可选的，可以按照类别或时间的先后顺序从所述源数据集和所述目标数据集中依次取出所述有效源数据和所述有效目标数据，并得到所述源数据缓冲队列和所述目标数据缓冲队列，在本申请的其他实施例中，所述源数据缓冲队列和所述目标数据缓冲队列的队列排序规则也可以依据所述有效源数据和所述有效目标数据的其他数据特性，本申请在此处不做具体限定。

步骤S102：依次对所述目标数据缓冲队列中与所述源数据缓冲队列中的所述有效源数据对应的所述有效目标数据进行数据撮合。

可以理解的是，由上述步骤S101已经得到包含有所述有效源数据的所述源数据缓冲队列和包含有所述有效目标数据的所述目标数据缓冲队列，且所述源数据缓冲队列和所述目标数据缓冲队列中的数据遵照队列排序规则，根据该队列排序规则，仅需启动一个任务线程即可依次对所述目标数据缓冲队列中与所述源数据缓冲队列中的所述有效源数据对应的所述有效目标数据进行数据撮合。

可选的，所述数据撮合的过程至少包括：是否满足触发条件的判断、具体撮合规则的确定以及对有效目标数据的撮合处理，在本申请的其他一些实施例中，本申请的所述数据撮合还可以包括现有技术中执行数据撮合的其他步骤。

从上述描述可知，本申请实施例提供的数据撮合方法，能够通过对输入到系统中的源数据和目标数据进行归纳整合，得到用于进行数据撮合的源数据集和目标数据集，并对源数据集和目标数据集进行数据有效性筛选，确定初步满足数据撮合条件的有效源数据和有效目标数据，并将其组建为两个数据缓冲队列，根据数据缓冲队列中有效源数据和有效目标数据的排列顺序依次进行有效源数据和有效目标数据的数据撮合，由于在进行数据撮合前有效源数据和有效目标数据为已知，且进行数据撮合时依照数据缓冲队列的排列顺序依次执行，因此本申请能够仅开启一个单一任务线程即可实现多个有效源数据和有效目标数据之间的数据撮合操作，解决了现有技术中大型计算机事务处理系统在处理多个数据撮合任务时产生的高并发问题，减少对数据记录出现频率的依赖耦合，提高了事务处理系统的稳定性和可靠性。

为了能够对系统中的所有源数据和所有目标数据进行初步筛选，将存储于不同数据表或数据集合中的能够进行数据撮合的源数据和目标数据进行归纳整合，在本申请的数据撮合方法的一实施例中，还可以具体包含有将具备数据来源有效性和满足数据构成条件的所有源数据和所有目标数据构建成单独的数据集合的步骤，参见图2，该步骤具体包含有如下内容：

步骤S201：对初始源数据和初始目标数据进行数据来源有效性判断，例如利用非对称密码机制进行数字签名验证，得到数据来源具有有效性的所述初始源数据和所述初始目标数据。

步骤S202：判断数据来源具有有效性的所述初始源数据和所述初始目标数据的数据构成是否满足预设数据录入条件，例如数据构成的长度、数据类型等。

步骤S203：若是，则根据满足预设数据录入条件的所述初始源数据和所述初始目标数据，得到所述源数据集和所述目标数据集。

可以理解的是，本申请中的所述源数据集和所述目标数据集并非系统中处于初始状态的数据集合，而是对系统中所有初始源数据和初始目标数据进行初步筛选之后的数据集合，所述初步筛选可以是对所有初始源数据和初始目标数据的数据来源有效性和具体数据构成进行的筛选，得到的结果为可以用于进行数据撮合的源数据和目标数据，并分别组建所述源数据集和所述目标数据集，或将其输入到源数据缓冲池和目标数据缓冲池中。

可以理解的是，通过将系统中所有可以用于进行数据撮合的源数据和目标数据整合成一个单独的源数据集和目标数据集，摆脱了现有技术中在执行数据撮合时对源数据集新增数据记录的依赖，使得只需启动一个任务线程，即可对源数据和目标数据进行批量处理。

为了能够进一步对源数据集中的所有源数据进行有效性筛选，在本申请的数据撮合方法的一实施例中，还可以具体包含有确定初步满足数据撮合条件的有效源数据的步骤，该步骤具体包含有如下内容：对所述源数据集中的源数据进行数据有效性判断，例如利用非对称密码机制进行数字签名验证，将数据有效性判断结果为有效的所述源数据设定为所述有效源数据。

可以理解的是，本申请可以对源数据集中的源数据进行数据有效性判断，得到能够满足初步数据撮合条件的源数据，并将其设定为所述有效源数据。

为了能够进一步对目标数据集中的所有目标数据进行有效性筛选，在本申请的数据撮合方法的一实施例中，还可以具体包含有确定初步满足数据撮合条件的有效目标数据的步骤，参见图3，该步骤具体包含有如下内容：

步骤S301：对所述目标数据集中的目标数据进行数据状态判断，例如数据是否过期、数据还未到有效期等，得到数据状态为正常的所述目标数据。

步骤S302：对数据状态为正常的所述目标数据进行数据有效性判断，例如利用非对称密码机制进行数字签名验证，将数据有效性判断结果为有效的所述目标数据设定为所述有效目标数据。

可以理解的是，本申请可以对目标数据集中的目标数据进行数据状态判断，并将数据状态为正常的所述目标数据继续进行数据有效性判断，得到能够满足初步数据撮合条件的目标数据，并将其设定为所述有效目标数据。

为了能够进行数据撮合处理，在本申请的数据撮合方法的一实施例中，还可以具体包含有对数据缓冲队列中的有效源数据和有效目标数据进行数据撮合处理的触发条件判断的步骤，该步骤具体包含有如下内容：根据所述有效源数据在源数据缓冲队列中的排列顺序和所述有效目标数据在目标数据缓冲队列中的排列顺序，依次判断所述有效源数据和所述有效目标数据的固有触发条件是否满足同一触发规则，例如数据有效期区间相同、数据大小满足在同一个区间内等，得到与所述有效源数据满足同一触发规则的所述有效目标数据。

可以理解的是，每一所述有效源数据和所述有效目标数据分别对应有唯一的固有触发条件，所述固有触发条件为进行数据撮合处理的触发条件，根据所述源数据缓冲队列和所述目标数据缓冲队列中的队列排序规则，依次判断其中的所述有效源数据和所述有效目标数据的固有触发条件是否满足同一触发规则，若是，则判定该有效源数据触发了对该有效目标数据的数据撮合处理。

为了能够进行数据撮合处理，在本申请的数据撮合方法的一实施例中，还可以具体包含有对满足触发条件的有效源数据和有效目标数据进行撮合规则判断的步骤，该步骤具体包含有如下内容：判断所述有效目标数据是否满足预设撮合规则，例如在某个大小区间内，有效源数据满足有效目标数据的数据大小关系，或者在有效期限区间内，有效源数据和有效目标数据满足发生的先后关系等，得到满足预设撮合规则的所述有效目标数据。

可以理解的是，对上述步骤中触发了数据撮合处理的所述有效目标数据进行预设撮合规则的判断，所述判断可以为累加判断、累乘判断等具体聚类规则判断，进而得到所述有效目标数据所对应的具体数据撮合规则。

为了能够进行数据撮合处理，在本申请的数据撮合方法的一实施例中，还可以具体包含有对有效源数据和有效目标数据进行数据撮合的步骤，该步骤具体包含有如下内容：基于所述预设撮合规则对与所述有效源数据满足同一触发规则的所述有效目标数据进行撮合处理，得到经过撮合处理后的所述有效目标数据。

可以理解的是，对已满足触发条件且满足预设撮合规则的所述有效目标数据，按照对应的所述撮合规则进行撮合处理，例如修改该有效目标数据的记录状态、记录有效源数据与有效目标数据的关系如大小、先后顺序等，进而完成最终的撮合处理过程。

为了能够解决现有技术中高并发的问题，减少任务线程的并发量，在本申请的数据撮合方法的一实施例中，还可以具体包含有将有效源数据和有效目标数据分别组件数据缓冲队列的步骤，该步骤具体包含有如下内容：对所述有效源数据和所述有效目标数据分别进行数据排序处理，得到源数据缓冲队列和目标数据缓冲队列。

可以理解的是，可以按照类别或时间的先后顺序从所述源数据集和所述目标数据集中依次取出所述有效源数据和所述有效目标数据，并得到所述源数据缓冲队列和所述目标数据缓冲队列，在本申请的其他实施例中，所述源数据缓冲队列和所述目标数据缓冲队列的队列排序规则也可以依据所述有效源数据和所述有效目标数据的其他数据特性。

为了既能够保证快速准确有效处理不同标类数据，又能够降低事务处理系统的高并发量，减少对数据记录出现频率的依赖耦合，提高了事务处理系统的稳定性和可靠性，本申请提供一种用于实现所述数据撮合方法的全部或部分内容的数据撮合装置的实施例，参见图4，所述数据撮合装置具体包含有如下内容：

数据整合模块10，用于确定源数据集中的有效源数据和目标数据集中的有效目标数据，得到源数据缓冲队列和目标数据缓冲队列。

数据撮合模块20，用于依次对所述目标数据缓冲队列中与所述源数据缓冲队列中的所述有效源数据对应的所述有效目标数据进行数据撮合。

从上述描述可知，本申请实施例提供的数据撮合装置，能够通过对输入到系统中的源数据和目标数据进行归纳整合，得到用于进行数据撮合的源数据集和目标数据集，并对源数据集和目标数据集进行数据有效性筛选，确定初步满足数据撮合条件的有效源数据和有效目标数据，并将其组建为两个数据缓冲队列，根据数据缓冲队列中有效源数据和有效目标数据的排列顺序依次进行有效源数据和有效目标数据的数据撮合，由于在进行数据撮合前有效源数据和有效目标数据为已知，且进行数据撮合时依照数据缓冲队列的排列顺序依次执行，因此本申请能够仅开启一个单一任务线程即可实现多个有效源数据和有效目标数据之间的数据撮合操作，解决了现有技术中大型计算机事务处理系统在处理多个数据撮合任务时产生的高并发问题，减少对数据记录出现频率的依赖耦合，提高了事务处理系统的稳定性和可靠性。

为了能够对系统中的所有源数据和所有目标数据进行初步筛选，将存储于不同数据表或数据集合中的能够进行数据撮合的源数据和目标数据进行归纳整合，在本申请的数据撮合装置的一实施例中，参见图5，还具体包含有如下内容：

数据来源有效性判断单元31，用于对初始源数据和初始目标数据进行数据来源有效性判断，得到数据来源具有有效性的所述初始源数据和所述初始目标数据。

数据构成条件判断单元32，用于判断数据来源具有有效性的所述初始源数据和所述初始目标数据的数据构成是否满足预设数据录入条件。

数据录入单元33，用于根据满足预设数据录入条件的所述初始源数据和所述初始目标数据，得到所述源数据集和所述目标数据集。

为了能够进一步对源数据集中的所有源数据进行有效性筛选，在本申请的数据撮合装置的一实施例中，参见图6，所述数据整合模块10包括：

有效源数据确定单元11，用于对所述源数据集中的源数据进行数据有效性判断，将数据有效性判断结果为有效的所述源数据设定为所述有效源数据。

为了能够进一步对目标数据集中的所有目标数据进行有效性筛选，在本申请的数据撮合装置的一实施例中，参见图7，所述数据整合模块10包括：

目标数据状态判断单元12，用于对所述目标数据集中的目标数据进行数据状态判断，得到数据状态为正常的所述目标数据。

有效目标数据确定单元13，用于对数据状态为正常的所述目标数据进行数据有效性判断，将数据有效性判断结果为有效的所述目标数据设定为所述有效目标数据。

为了能够进行数据撮合处理，在本申请的数据撮合装置的一实施例中，还具体包含有如下内容：

触发条件判断单元41，用于根据所述有效源数据在源数据缓冲队列中的排列顺序和所述有效目标数据在目标数据缓冲队列中的排列顺序，依次判断所述有效源数据和所述有效目标数据的固有触发条件是否满足同一触发规则，得到与所述有效源数据满足同一触发规则的所述有效目标数据。

为了能够进行数据撮合处理，在本申请的数据撮合装置的一实施例中，还具体包含有如下内容：

撮合规则判断单元42，用于判断所述有效目标数据是否满足预设撮合规则，得到满足预设撮合规则的所述有效目标数据。

为了能够进行数据撮合处理，在本申请的数据撮合装置的一实施例中，参见图8，所述数据撮合模块20包括：

撮合处理单元21，用于基于所述预设撮合规则对与所述有效源数据满足同一触发规则的所述有效目标数据进行撮合处理，得到经过撮合处理后的所述有效目标数据。

为了能够解决现有技术中高并发的问题，减少任务线程的并发量，在本申请的数据撮合装置的一实施例中，还具体包含有如下内容：

缓冲队列组建单元51，用于对所述有效源数据和所述有效目标数据分别进行数据排序处理，得到源数据缓冲队列和目标数据缓冲队列。

为了更进一步说明本方案，本申请还提供一种应用上述数据撮合装置实现数据撮合方法的具体应用实例，具体包含有如下内容：

步骤S901：目标数据集发生装置接受外部输入的目标数据，并将符合条件的目标数据登记到系统数据库中。

步骤S902：目标数据集检查装置对数据库中的目标数据进行检查，将已经失效和状态不正常的目标数据记录筛选出来，通过无效目标数据记录处理单元，输出到失效目标数据记录数据库中。

步骤S903：通过源数据集发生装置产生有效的源数据，并通过源数据集处理装置中的源数据检查单元，筛选出有效的源数据，剔除无效和没有意义的源数据，并输入到币种价格处理单元中。

步骤S904：源数据集处理装置中的源数据处理单元对所有有效的源数据按照类别、时间等顺序进行排列，输出到源数据缓冲池中。

步骤S905：目标数据集处理装置对数据库中已经通过目标数据集检查装置的目标数据进行排序、取值、分类、聚合等处理，并将已处理的目标数据输出到目标数据缓冲池中。

步骤S906：通过数据撮合处理装置中的源数据读取单元，将源数据缓冲池中的数据，按顺序输入到目标数据缓冲队列中，供撮合成交模块使用。

步骤S907：通过数据撮合处理装置中的目标数据读取单元，将目标数据缓冲池中的数据，按顺序输入到目标数据缓冲队列中，供撮合成交模块使用。

步骤S908：撮合成交模块中的触发规则判断单元将源数据缓冲队列中的源数据与目标数据缓冲池中的目标数据的触发条件做比较，如满足触发条件，则输出到撮合规则判断单元中，如不满足触发条件，输出到未撮合目标数据处理单元，返回步骤S902。

步骤S909：撮合成交模块中的撮合规则判断单元对满足触发条件的目标数据做撮合规则检查，如目标数据符合约定的撮合规则，则输出到撮合处理单元，否则，输出到未撮合目标数据记录处理单元，返回步骤S902。

步骤S910：撮合成交模块中的撮合处理单元将已满足触发条件和撮合规则的目标数据做撮合处理，完成计算等数据处理，供后期数据处理装置处理。

步骤S911：后期数据处理装置对撮合数据结果进行有效处理，完成整个目标数据记录的撮合录入。

步骤S912：该笔目标业务交易正式结束，稍等片刻后，返回步骤S902，进行下一笔目标数据撮合处理。

本申请的实施例还提供能够实现上述实施例中的数据撮合方法中全部步骤的一种电子设备的具体实施方式，参见图9，所述电子设备具体包括如下内容：

处理器(processor)601、存储器(memory)602、通信接口(CommunicationsInterface)603和总线604；

其中，所述处理器601、存储器602、通信接口603通过所述总线604完成相互间的通信；所述通信接口603用于实现数据撮合装置、在线业务系统、客户端设备以及其他参与机构之间的信息传输；

所述处理器601用于调用所述存储器602中的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中的数据撮合方法中的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：

步骤S101：确定源数据集中的有效源数据和目标数据集中的有效目标数据，得到源数据缓冲队列和目标数据缓冲队列。

步骤S102：依次对所述目标数据缓冲队列中与所述源数据缓冲队列中的所述有效源数据对应的所述有效目标数据进行数据撮合。

从上述描述可知，本申请实施例提供的电子设备，能够通过对输入到系统中的源数据和目标数据进行归纳整合，得到用于进行数据撮合的源数据集和目标数据集，并对源数据集和目标数据集进行数据有效性筛选，确定初步满足数据撮合条件的有效源数据和有效目标数据，并将其组建为两个数据缓冲队列，根据数据缓冲队列中有效源数据和有效目标数据的排列顺序依次进行有效源数据和有效目标数据的数据撮合，由于在进行数据撮合前有效源数据和有效目标数据为已知，且进行数据撮合时依照数据缓冲队列的排列顺序依次执行，因此本申请能够仅开启一个单一任务线程即可实现多个有效源数据和有效目标数据之间的数据撮合操作，解决了现有技术中大型计算机事务处理系统在处理多个数据撮合任务时产生的高并发问题，减少对数据记录出现频率的依赖耦合，提高了事务处理系统的稳定性和可靠性。

本申请的实施例还提供能够实现上述实施例中的数据撮合方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的数据撮合方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：

步骤S101：确定源数据集中的有效源数据和目标数据集中的有效目标数据，得到源数据缓冲队列和目标数据缓冲队列。

步骤S102：依次对所述目标数据缓冲队列中与所述源数据缓冲队列中的所述有效源数据对应的所述有效目标数据进行数据撮合。

从上述描述可知，本申请实施例提供的计算机可读存储介质，能够通过对输入到系统中的源数据和目标数据进行归纳整合，得到用于进行数据撮合的源数据集和目标数据集，并对源数据集和目标数据集进行数据有效性筛选，确定初步满足数据撮合条件的有效源数据和有效目标数据，并将其组建为两个数据缓冲队列，根据数据缓冲队列中有效源数据和有效目标数据的排列顺序依次进行有效源数据和有效目标数据的数据撮合，由于在进行数据撮合前有效源数据和有效目标数据为已知，且进行数据撮合时依照数据缓冲队列的排列顺序依次执行，因此本申请能够仅开启一个单一任务线程即可实现多个有效源数据和有效目标数据之间的数据撮合操作，解决了现有技术中大型计算机事务处理系统在处理多个数据撮合任务时产生的高并发问题，减少对数据记录出现频率的依赖耦合，提高了事务处理系统的稳定性和可靠性。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

虽然本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。

本说明书实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书实施例。对于本领域技术人员来说，本说明书实施例可以有各种更改和变化。凡在本说明书实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的权利要求范围之内。

Claims (18)

1.一种数据撮合方法，其特征在于，所述方法包括：

确定源数据集中的有效源数据和目标数据集中的有效目标数据，得到源数据缓冲队列和目标数据缓冲队列；

依次对所述目标数据缓冲队列中与所述源数据缓冲队列中的所述有效源数据对应的所述有效目标数据进行数据撮合。

2.根据权利要求1所述的数据撮合方法，其特征在于，在所述确定源数据集中的有效源数据和目标数据集中的有效目标数据之前，包括：

对初始源数据和初始目标数据进行数据来源有效性判断，得到数据来源具有有效性的所述初始源数据和所述初始目标数据；

判断数据来源具有有效性的所述初始源数据和所述初始目标数据的数据构成是否满足预设数据录入条件；

若是，则根据满足预设数据录入条件的所述初始源数据和所述初始目标数据，得到所述源数据集和所述目标数据集。

3.根据权利要求1所述的数据撮合方法，其特征在于，所述确定源数据集中的有效源数据，包括：

对所述源数据集中的源数据进行数据有效性判断，将数据有效性判断结果为有效的所述源数据设定为所述有效源数据。

4.根据权利要求1所述的数据撮合方法，其特征在于，所述确定目标数据集中的有效目标数据，包括：

对所述目标数据集中的目标数据进行数据状态判断，得到数据状态为正常的所述目标数据；

对数据状态为正常的所述目标数据进行数据有效性判断，将数据有效性判断结果为有效的所述目标数据设定为所述有效目标数据。

5.根据权利要求1所述的数据撮合方法，其特征在于，在所述依次对所述目标数据缓冲队列中与所述源数据缓冲队列中的所述有效源数据对应的所述有效目标数据进行数据撮合之前，包括：

根据所述有效源数据在源数据缓冲队列中的排列顺序和所述有效目标数据在目标数据缓冲队列中的排列顺序，依次判断所述有效源数据和所述有效目标数据的固有触发条件是否满足同一触发规则，得到与所述有效源数据满足同一触发规则的所述有效目标数据。

6.根据权利要求5所述的数据撮合方法，其特征在于，在所述得到与所述有效源数据满足同一触发规则的所述有效目标数据之后，包括：

判断所述有效目标数据是否满足预设撮合规则，得到满足预设撮合规则的所述有效目标数据。

7.根据权利要求6所述的数据撮合方法，其特征在于，所述进行数据撮合，包括：

基于所述预设撮合规则对与所述有效源数据满足同一触发规则的所述有效目标数据进行撮合处理，得到经过撮合处理后的所述有效目标数据。

8.根据权利要求5所述的数据撮合方法，其特征在于，在所述依次对所述目标数据缓冲队列中与所述源数据缓冲队列中的所述有效源数据对应的所述有效目标数据进行数据撮合之前，包括：

对所述有效源数据和所述有效目标数据分别进行数据排序处理，得到源数据缓冲队列和目标数据缓冲队列。

9.一种数据撮合装置，其特征在于，包括：

数据整合模块，用于确定源数据集中的有效源数据和目标数据集中的有效目标数据，得到源数据缓冲队列和目标数据缓冲队列；

数据撮合模块，用于依次对所述目标数据缓冲队列中与所述源数据缓冲队列中的所述有效源数据对应的所述有效目标数据进行数据撮合。

10.根据权利要求9所述的数据撮合装置，其特征在于，还包括：

数据来源有效性判断单元，用于对初始源数据和初始目标数据进行数据来源有效性判断，得到数据来源具有有效性的所述初始源数据和所述初始目标数据；

数据构成条件判断单元，用于判断数据来源具有有效性的所述初始源数据和所述初始目标数据的数据构成是否满足预设数据录入条件；

数据录入单元，用于根据满足预设数据录入条件的所述初始源数据和所述初始目标数据，得到所述源数据集和所述目标数据集。

11.根据权利要求9所述的数据撮合装置，其特征在于，所述数据整合模块包括：

有效源数据确定单元，用于对所述源数据集中的源数据进行数据有效性判断，将数据有效性判断结果为有效的所述源数据设定为所述有效源数据。

12.根据权利要求9所述的数据撮合装置，其特征在于，所述数据整合模块包括：

目标数据状态判断单元，用于对所述目标数据集中的目标数据进行数据状态判断，得到数据状态为正常的所述目标数据；

有效目标数据确定单元，用于对数据状态为正常的所述目标数据进行数据有效性判断，将数据有效性判断结果为有效的所述目标数据设定为所述有效目标数据。

13.根据权利要求9所述的数据撮合装置，其特征在于，还包括：

触发条件判断单元，用于根据所述有效源数据在源数据缓冲队列中的排列顺序和所述有效目标数据在目标数据缓冲队列中的排列顺序，依次判断所述有效源数据和所述有效目标数据的固有触发条件是否满足同一触发规则，得到与所述有效源数据满足同一触发规则的所述有效目标数据。

14.根据权利要求9所述的数据撮合装置，其特征在于，还包括：

撮合规则判断单元，用于判断所述有效目标数据是否满足预设撮合规则，得到满足预设撮合规则的所述有效目标数据。

15.根据权利要求14所述的数据撮合装置，其特征在于，所述数据撮合模块包括：

撮合处理单元，用于基于所述预设撮合规则对与所述有效源数据满足同一触发规则的所述有效目标数据进行撮合处理，得到经过撮合处理后的所述有效目标数据。

16.根据权利要求9所述的数据撮合装置，其特征在于，还包括：

缓冲队列组建单元，用于对所述有效源数据和所述有效目标数据分别进行数据排序处理，得到源数据缓冲队列和目标数据缓冲队列。

17.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至8任一项所述的数据撮合方法的步骤。

18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至8任一项所述的数据撮合方法的步骤。