CN111767143A - 交易数据处理方法、装置、设备及系统 - Google Patents

Abstract

本说明书提供一种交易数据处理方法、装置、设备及系统，预先配置队列配置信息，不同业务属性的交易数据分配给不同的队列和节点处理。当接收到交易数据后，按照交易数据对应的业务属性和预先配置的队列配置信息对接收到的交易数据进行分组，确定出接收到的交易数据对应的目标队列，将接收到的交易数据加入到对应的目标队列，以便由目标队列对应的目标节点进行处理。通过对交易数据进行分组，在满足业务规则的前提下，不同组的交易数据可以由不同的节点并行处理，提升了交易数据的处理效率，同一组内的交易数据按照队列内的排序串行处理，确保了交易数据的交易时序。

Description

交易数据处理方法、装置、设备及系统

技术领域

本说明书属于计算机技术领域，尤其涉及一种交易数据处理方法、装置、设备及系统。

背景技术

随着计算机技术的发展，越来越多的交易数据是使用计算机进行处理的。一般的，交易数据是按照时间依次进行处理的，但是，当数据量比较大时，数据处理效率可能会降低，影响交易数据处理性能，并且还可能出现交易时序无法保障的问题。如：票据交易推出的点击成交、匿名点击等即时成交类型的交易模式对于系统的交易处理效率以及交易处理次序要求比较高，当数据量比较大时，容易出现处理效率和交易时序保障的问题。

发明内容

本说明书实施例的目的在于提供一种交易数据处理方法、装置、设备及系统，提高了交易数据的处理效率。

一方面，本说明书实施例提供了一种交易数据处理方法，所述方法包括：

获取接收到的待处理交易数据的业务属性和预先存储的队列配置信息；其中，所述队列配置信息中包括不同业务属性的交易数据与各个队列之间的映射关系以及各个队列与节点之间的映射关系；

根据所述待处理交易数据的业务属性和所述队列配置信息，确定所述待处理交易数据对应的目标队列，并根据所述队列配置信息确定所述目标处理队列对应的目标节点；

将所述待处理交易数据加入到所述目标队列中，由所述目标节点对所述目标队列中的交易数据进行处理。

另一方面，本说明书提供了一种交易数据处理装置，包括：

信息获取模块，用于获取接收到的待处理交易数据的业务属性和预先存储的队列配置信息；其中，所述队列配置信息中包括不同业务属性的交易数据与各个队列之间的映射关系以及各个队列与节点之间的映射关系；

队列分配模块，用于根据所述待处理交易数据的业务属性和所述队列配置信息，确定所述待处理交易数据对应的目标队列，并根据所述队列配置信息确定所述目标处理队列对应的目标节点；

数据处理模块，用于将所述待处理交易数据加入到所述目标队列中，由所述目标节点对所述目标队列中的交易数据进行处理。

再一方面，本说明书实施例提供了一种交易数据处理设备，包括至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述交易数据处理方法。

还一方面，本说明书实施例提供了一种交易数据处理系统，包括：

交易接收模块，用于接收交易数据，并根据接收到交易数据的业务属性和数据存储模块存储的队列配置信息，将接收到的交易数据加入到对应的队列中；

交易处理模块，用于通过共享线程池对队列中的交易数据进行处理；

队列配置模块，用于配置队列配置信息，所述队列配置信息包括：不同业务属性的交易数据与队列之间的映射关系以及不同队列与节点之间的映射关系；

数据存储模块，用于存储所述队列配置模块配置的队列配置信息。

本说明书提供的交易数据处理方法、装置、设备及系统，预先配置队列配置信息，不同业务属性的交易数据分配给不同的队列和节点处理。当接收到交易数据后，按照交易数据对应的业务属性和预先配置的队列配置信息对接收到的交易数据进行分组，确定出接收到的交易数据对应的目标队列，将接收到的交易数据加入到对应的目标队列，以便由目标队列对应的目标节点进行处理。通过对交易数据进行分组，在满足业务规则的前提下，不同组的交易数据可以由不同的节点并行处理，提升了交易数据的处理效率，同一组即同一队列内的交易数据的业务属性相同，数据处理方式相近，可以提升节点的数据处理效率，同一组内的交易数据按照队列内的排序串行处理，确保了交易数据的交易时序。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本说明书实施例提供的交易数据处理方法实施例的流程示意图；

图2是本说明书一些实施例中目标队列获取的流程示意图；

图3是本说明书一些实施例中数据获取流程示意图；

图4是本说明书另一个实施例中交易数据处理系统进行交易数据处理的流程示意图；

图5是本说明书一些实施例中交易数据处理装置的结构示意图；

图6是本说明书一个实施例中交易数据处理服务器的硬件结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

随着计算机技术的发展，越来越多的交易通过计算机处理，用户可以在客户端提交交易数据，由交易数据处理节点进行处理。通常交易数据处理需要按照交易数据提交时序或其他交易规则依次处理，随着交易数据量不断增加，交易数据的处理效率和交易时序可能无法保障。

图1是本说明书实施例提供的交易数据处理方法实施例的流程示意图。虽然本说明书提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者部分合并后更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本说明书实施例或附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置、服务器或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境、甚至包括分布式处理、服务器集群的实施环境)。

具体的一个实施例如图1所示，本说明书提供的交易数据处理方法的一个实施例中，所述方法可以应用在客户端、服务器等终端设备中，具体可以为计算机、平板电脑、服务器等终端，所述方法可以包括如下步骤：

步骤102、获取接收到的待处理交易数据的业务属性和预先存储的队列配置信息；其中，所述队列配置信息中包括不同业务属性的交易数据与各个队列之间的映射关系以及各个队列与节点之间的映射关系。

在具体的实施过程中，本说明书实施例中的方法可以应用在能够进行交易数据处理的终端设备中，该终端设备可以接收用户通过客户端提交的交易数据，交易数据可以包括：交易内容、交易方式、交易时间、交易金额等与交易相关的数据信息。本说明书实施例不限定交易数据的具体内容和类型，如：可以为票据交易中的点击成交、匿名点击等交易数据。如：用户通过客户端提交了一笔匿名点击交易，该交易即为待处理交易数据，接收到该待处理交易数据后，可以获取待处理交易数据的业务属性以及预先存储的队列配置信息。业务属性可以理解为能够表征交易数据类别的特征，可以依据实际需要设置业务属性的内容，如：业务属性可以包括业务类型、交易金额、交易对象等中的至少一种。或者也可以根据交易数据的业务场景设定业务属性的具体内容，例如：对于票据交易业务属性可以包括：业务类型、票据种类、票据介质、期限等票据交易要素中的至少一种。本说明书实施例中业务属性可以作为交易数据分组的依据，可以根据具体交易的业务场景配置交易数据分组的方式，进一步设置业务属性的具体内容。

此外，本说明书实施例中，还可以预先配置队列配置信息，队列配置信息中可以包括不同业务属性的交易数据与队列之间的映射关系，以及队列与各个节点之间的映射关系。其中，节点为交易数据的处理节点可以是计算机、服务器等能够进行数据处理的终端设备，队列可以理解为将待处理交易数据按一定顺序排列的表格，队列中交易数据的排列方式可以为加入队列的先后顺序或者交易数据处理时间的先后顺序，节点可以依据队列中交易数据的次序对队列中的交易数据进行处理。本说明书实施例可以预先配置好交易数据分组的方式，将不同业务属性的交易数据分配到不同的队列，不同的队列由不同节点进行数据处理。例如：对于票据交易的交易数据，业务属性可以为业务类型+票据种类+票据介质+期限，对于业务类型、票据种类、票据介质、期限均相同的交易数据可以对应同一个队列。可以通过采集不同交易数据的特征，将特征相近的交易数据分为一组，具体分组的方式可以根据实际需要设置，本说明书实施例不作具体限定。

其中，一个节点可以处理一个队列或多个队列的交易数据，不同节点对应的队列的数量可以相同也可以不同，可以根据节点的数据处理能力或队列中的交易数据的数据量设置。

步骤104、根据所述待处理交易数据的业务属性和所述队列配置信息，确定所述待处理交易数据对应的目标队列，并根据所述队列配置信息确定所述目标处理队列对应的目标节点。

在具体的实施过程中，队列配置信息中包括有不同业务属性的交易数据与队列之间的映射关系，可以根据接收到的待处理交易数据的业务属性以及预先配置的队列配置信息，将业务属性与队列配置信息进行匹配，确定出待处理交易数据所属的目标队列，并确定出目标队列对应的目标节点。

在上述实施例的基础上，本说明书一些实施例中，根据所述待处理交易数据的业务属性和所述队列配置信息，确定所述待处理交易数据对应的目标队列，包括：

对获取到的所述待处理交易数据按照预设格式进行转换，获得转换后的待处理交易数据；

从所述转换后的待处理交易数据中获取所述待处理交易数据的业务属性对应的关键要素字符串；

对所述关键要素字符串进行哈希计算，获得所述待处理交易数据对应的哈希值；

将所述待处理交易数据对应的哈希值与所述队列配置信息进行比对，确实出所述待处理交易数据对应的目标队列。

在具体的实施过程中，图2是本说明书一些实施例中目标队列获取的流程示意图，如图2所示，本说明书实施例中可以接收不同渠道提交的交易数据，不同渠道提交的交易数据的数据格式可能会不同，本说明书实施例中在接收到待处理交易数据后，可以对接收到的待处理交易数据的报文进行反序列化，将待处理交易数据转换为统一的格式，获得转换后的待处理交易数据。将待处理交易数据具体转换为哪种格式可以根据实际需要预先设置，本说明书实施例不作具体限定。将待处理交易数据转换为统一的格式后，可以从转换后的数据格式中获知哪些字符可以表征交易数据的业务属性，可以获取转换后的待处理交易数据中能够表征交易数据业务属性的关键要素字符串。如：获取转换后的待处理交易数据字符串中指定位置处的字符组合作为关键要素字符串，或者也可以获取其中指定的字符的组合作为关键要素字符串。再将获取到关键要素字符串进行哈希计算，获得待处理交易数据对应的哈希值，该哈希值可以表征待处理交易数据的业务属性。基于计算出的哈希值以及预先配置的队列配置信息，可以确定出哈希值对应的目标队列即为待处理交易数据所属的目标队列。

例如，在配置队列配置信息时，可以先利用哈希算法对不同类别的业务属性的字符串进行哈希计算，获得的哈希值可以作为对应队列的key(键)值。在接收到待处理交易数据后，可以采用相同的哈希算法计算出待处理交易数据对应的哈希值，与队列配置信息中各个队列的key值进行匹配后，即可以获得待处理交易数据对应的哈希值。其中，哈希算法的具体形式可以根据实际需要选择，本说明书实施例不作具体限定。本说明书实施例通过获取交易数据中能够表征业务属性的关键要素字符串进行哈希计算，能够快速的对交易数据进行分组，提高了交易数据的处理效率。

此外，本说明书一些实施例中，在对待处理交易数据进行数据格式的转换后，还可以对转换后的待处理交易数据进行校验，如：格式校验即校验数据格式是否符合要求，权限交易即校验交易数据是否合法或提交交易数据的用户是否有交易权限等，当然，还可以进行其他的校验，以确保交易数据的合法性和安全性，本说明书实施例具体限定校验的方式和内容。

步骤106、将所述待处理交易数据加入到所述目标队列中，由所述目标节点对所述目标队列中的交易数据进行处理。

在具体的实施过程中，在确定出待处理交易数据对应的目标队列后，可以将待处理交易数据添加到目标队列中，当然可以按照目标队列中交易数据的排列顺序将待处理交易数据加入到目标队列的队尾，由目标队列对应的目标节点对目标队列中的交易数据进行处理，目标节点可以按照目标队列中各个交易数据的排列顺序，依次对目标队列中的数据进行处理。

本说明书实施例提供的交易数据处理方法，预先配置队列配置信息，不同业务属性的交易数据分配给不同的队列和节点处理。当接收到交易数据后，按照交易数据对应的业务属性和预先配置的队列配置信息对接收到的交易数据进行分组，确定出接收到的交易数据对应的目标队列，将接收到的交易数据加入到对应的目标队列，以便由目标队列对应的目标节点进行处理。通过对交易数据进行分组，在满足业务规则的前提下，不同组的交易数据可以由不同的节点并行处理，提升了交易数据的处理效率，同一组即同一队列内的交易数据的业务属性相同，数据处理方式相近，可以提升节点的数据处理效率，同一组内的交易数据按照队列内的排序串行处理，确保了交易数据的交易时序。

在上述实施例的基础上，本说明书一些实施例中，所述方法还包括：

对各个队列的数据处理状态进行监控；

若监控到存在待处理的队列，则获取所述待处理的队列对应的节点的线程池中的空闲线程，启动所述空闲线程对所述待处理的队列中的交易数据进行处理。

在具体的实施过程中，一个节点可能需要处理多个队列的交易数据，本说明书实施例中一个节点的线程池可以共享。可以对各个队列的数据处理状态进行监控，若监控到某个队列内存在待处理的队列，则获取待处理的队列对应的节点的线程池中是否有空闲线程，若有，则可以将待处理的队列分配给空闲线程，由空闲线程对待处理的队列中的交易数据处理。数据处理状态可以包括待处理、正在处理、处理完成等，当然，各个队列的数据处理状态可是使用不同的标识进行标记，对于处理完成的队列可以修改队列的数据处理状态，以便后续监控。

本说明书实施例通过相同节点的线程池共享，并对各个队列的数据处理状态进行监控，以便及时对未处理的队列分配线程，实现交易数据的及时处理，确保各个队列间的交易数据能够并行处理，同一队列中的交易数据串行处理，提升了交易数据的数据处理效率。

在上述实施例的基础上，本说明书一些实施例中，所述方法还包括：

每隔第一预设时间获取各个节点的内存队列信息和存储的队列配置信息；

将各个节点的内存队列信息与存储的队列配置信息进行对比，若所述内存队列信息与队列配置信息不一致，则按照所述队列配置信息将所述内存队列信息进行同步更新。

在具体的实施过程中，本说明书一些实施例中，用户可以根据业务场景的需求自行定义配置队列配置信息，配置好的队列配置信息可以存储在系统内如：数据库中。可以定频即每隔第一预设时间获取各个节点的内存队列信息和存储的队列配置信息，并将各个节点的内存队列信息与系统内存储的队列配置信息进行匹配，其中内存队列信息可以表征各个节点内存储的队列信息。当确定内存队列信息与队列配置信息不同时，则可以根据存储的队列配置信息对内存队列信息进行更新，以确保各个节点的内存队列信息与队列配置信息相同，保证交易数据的正确处理。如：节点A的内存队列信息有3个队列，节点B的内存队列信息有4个队列，队列配置信息中节点A配置的队列有4个，节点B配置的队列有4个，即节点A的内存队列信息中缺少一个，则可以根据队列配置信息为节点A增加一个指定的队列，保证各个节点处理的队列是准确的。

其中，第一预设时间的具体时间间隔可以根据实际需要进行设置，本说明书实施例不作具体限定。

在上述实施例的基础上，本说明书一些实施例中，所述方法还包括：

将所述队列配置信息分别存储在分布式缓存和数据库中；

在获取所述队列配置信息时，先从所述分布式缓存中获取；

若从所述分布式缓存中获取所述队列配置信息失败，再从所述数据库中获取。

在具体的实施过程中，图3是本说明书一些实施例中数据获取流程示意图，如图3所示，本说明书一些实施例中提供了分布式缓存和数据库存储两种存储方式，在需要获取队列配置信息时，可以先从分布式缓存中获取，若从分布式缓存中获取队列配置信息获取失败如：分布式缓存不可用或获取到的队列配置信息为空，则从数据库中获取队列配置信息。分布式缓存支持应用层快速访问，可以提高数据处理效率，数据库存储可以确保数据的安全。通过引入分布式缓存，实现热点配置共享及实时访问，降低数据库访问压力，实现节点间的数据共享。

在上述实施例的基础上，本说明书一些实施例中，所述方法还包括：

每隔第二预设时间分别获取所述分布式缓存和所述数据库中存储的队列配置信息；

若所述分布式缓存中存储的队列配置信息与所述数据库中存储的队列配置信息不一致，则以所述数据库中存储的队列配置信息为准，对所述分布式缓存中的队列配置信息进行更新。

在具体的实施过程中，可以每隔第二预设时间对分布式缓存和数据库中存储的队列配置信息进行比对，即每隔第二预设时间获取一次分布式缓存中的队列配置信息和数据库中的队列配置信息，对分布式缓存和数据库中的队列配置信息进行比对。若分布式缓存和数据库中的队列配置信息不同，则以数据库中存储的队列配置信息为准，对分布式缓存中的队列配置信息进行更新。第二预设时间的时间间隔的取值可以根据实际需要而定，可以与第一预设时间相同，也可以与第一预设时间不同，本说明书实施例不作具体限定。例如：若获取到分布式缓存中的队列配置信息中节点A对应有4个队列，数据库中节点A对应有5个节点，则可以以数据库为准，在分布式缓存中的队列配置信息中为节点A增加一个队列。若获取到分布式缓存中的队列配置信息中业务属性为1的交易数据属于队列a，数据库中存储的队列配置信息中业务属性为1的交易数据属于队列b，则在分布式缓存中的队列配置信息中的将业务属性为1的交易数据修改到队列b中。

本说明书实施例，通过定频对分布式缓存和数据库中的队列配置信息进行检测，确保分布式缓存和数据库中存储的队列配置信息的一致性，若存储不一致的情况，则以数据库为准，确保数据的准确性。

本说明书中上述方法的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参考即可，每个实施例重点说明的都是与其他实施例的不同之处。相关之处参考方法实施例的部分说明即可。

基于上述所述的交易数据处理方法，本说明书一个或多个实施例还提供一种用于交易数据处理的系统。所述系统可以包括使用了本说明书实施例所述方法的系统(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思，本说明书实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似，因此本说明书实施例具体的装置的实施可以参考前述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统、装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图4是本说明书另一个实施例中交易数据处理系统进行交易数据处理的流程示意图，如图4所示，本说明书一些实施例中可以提供一种交易数据处理系统，该系统可以包括：交易接收模块、交易处理模块、队列配置模块、数据存储模块，其中：

交易接收模块可以接收直连渠道交易和客户端渠道交易，如图4所示，交易接收模块可以包括交易检查子模块、交易路由子模块。其中，交易检查子模块可以包括反序列化单元和报文检查单元，实现将外部报文转化为统一内部对象。反序列化单元可以支持不同渠道不同报文的反序列化，实现数据统一转化；报文检查单元可以实现对反序列化单元转化后的JavaBean(一种JAVA语言写成的可重用组件)进行格式校验及权限校验，如数据格式、权限等信息校验。交易路由子模块可以包括路由主键计算单元和路由匹配单元组成，主要实现将业务要求通过技术手段转化为路由主键，并通过路由主键获取指定的路由规则。路由主键计算单元可以通过获取交易检查子模块转化后的JavaBean，获取路由关键业务要素组合字符串即上述实施例中的关键要素字符串，并通过HASH算法对关键要素字符串进行哈希计算，转化为Hash值。路由匹配单元可以以关键要素字符串的Hash值为入参，调用队列配置模块的队列参数读取子模块获取对应的队列配置信息，并将JavaBean放入对应的目标队列。

交易处理模块可以实现交易处理队列的管理，并通过共享线程池进行交易队列处理，保证交易有序并行的同时实现交易并发处理。该交易处理模块主要可以包括队列初始化子模块、交易处理子模块、队列检测子模块，其中，队列初始化子模块可以实现节点重启时根据队列配置信息完成交易处理队列初始化，队列初始化子模块可以包括队列配置读取单元队列初始单元。队列配置读取单元可以读取数据存储模块的队列配置信息，队列初始单元可以根据队列配置读取单元获取的队列配置信息，初始化交易节点的内存队列信息。交易处理子模块可以基于各个节点的线程池交易处理线程共享，检测交易队列处理监控集合(集合中可以包括各个队列的数据处理状态)实现各交易队列的处理状态监控，进而实现队列间并行、单队列串行处理交易处理模式。交易处理子模块可以包括线程处理单元和交易队列监控单元，线程处理单元可以检测交易处理监控集合各队列的处理情况，若存在待处理的交易队列，则调用队列监控单元进行锁定集合状态并开始执行队列交易。队列监控单元可以检测交易队列处理监控情况，对交易队列的状态变化进行管理。队列检测子模块可以检测数据存储模块中的队列配置情况，实现内存队列信息与队列配置信息的同步。队列检测子模块可以包括队列配置检测单元和队列同步单元，队列配置检测单元可以定频获取数据存储模块的队列配置信息，队列同步单元可以根据队列配置检测单元获取的队列配置信息与内存队列信息的进行对比，实现内存队列信息与队列配置信息的同步。

此外，交易处理模块还可以包括交易守护子模块，交易守护子模块可以对交易处理子模块的共享线程池及交易队列深度即队列长度进行监控，实现异常线程进行查杀重启，保障交易处理的健壮性。

队列配置模块可以实现对交易处理模块的队列进行配置，实现业务与队列的匹配，并保障数据存储模块中的分布式缓存与数据库的配置一致性。队列配置模块可以包括队列参数设置子模块、队列参数同步子模块、队列配置读取子模块，队列参数设置子模块可以实现队列基础属性配置，队列与节点映射关系配置、队列与业务映射关系在数据库中持久化，并实现分布式缓存的同步更新。队列参数同步子模块可以通过Quatz(一个完全由java编写的开源作业调度框架)定频线程检测数据存储模块中数据库存储子模块的队列配置信息与分布式缓存子模块的队列配置信息的一致性，对于不一致的参数通过以数据存储模块的参数为准进行缓存参数维新。队列配置读取子模块可以提供队列配置信息访问，并在数据存储模块的分布式缓存子模块不可用时，通过访问数据库存储子模块实现降级数据服务。

数据存储模块采用分布式缓存+数据库的二级方式实施，通过分布式缓存实现高效数据访问、数据库实现数据持久化并支持降低服务查询。数据存储模块包括分布式缓存子模块、数据库存储子模块，分布式缓存子模块基于分布式缓存的方式缓存队列配置信息，支持应用层的快速访问。数据库存储子模块可以理解为队列配置的持久化模块，相关的队列配置以数据库表的形成进行存储。

本发明主要利用java队列的先进先出的机制，结合业务场景，实现分组串行处理，实现多队列并行、单队列串行的需求实现模式，在满足业务处理的规则的前提下，提升交易处理的效率。并对队列配置的高频热点数据引入分布式缓存实现热点配置共享及实时访问，降低数据库访问压力，实现节点间的数据共享。

图5是本说明书一些实施例中交易数据处理装置的结构示意图，如图5所示，本说明书中提供的交易数据处理装置可以包括：

信息获取模块51，用于获取接收到的待处理交易数据的业务属性和预先存储的队列配置信息；其中，所述队列配置信息中包括不同业务属性的交易数据与各个队列之间的映射关系以及各个队列与节点之间的映射关系；

队列分配模块52，用于根据所述待处理交易数据的业务属性和所述队列配置信息，确定所述待处理交易数据对应的目标队列，并根据所述队列配置信息确定所述目标处理队列对应的目标节点；

数据处理模块53，用于将所述待处理交易数据加入到所述目标队列中，由所述目标节点对所述目标队列中的交易数据进行处理。

本说明书实施例提供的交易数据处理装置，预先配置队列配置信息，不同业务属性的交易数据分配给不同的队列和节点处理。当接收到交易数据后，按照交易数据对应的业务属性和预先配置的队列配置信息对接收到的交易数据进行分组，确定出接收到的交易数据对应的目标队列，将接收到的交易数据加入到对应的目标队列，以便由目标队列对应的目标节点进行处理。通过对交易数据进行分组，在满足业务规则的前提下，不同组的交易数据可以由不同的节点并行处理，提升了交易数据的处理效率，同一组内的交易数据按照队列内的排序串行处理，确保了交易数据的交易时序。

需要说明的，上述所述的装置根据对应方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照上述对应的方法实施例的描述，在此不作一一赘述。

本说明书实施例还提供一种交易数据处理设备，包括：至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述实施例的信息推荐数据处理方法，如：

获取接收到的待处理交易数据的业务属性和预先存储的队列配置信息；其中，所述队列配置信息中包括不同业务属性的交易数据与各个队列之间的映射关系以及各个队列与节点之间的映射关系；

根据所述待处理交易数据的业务属性和所述队列配置信息，确定所述待处理交易数据对应的目标队列，并根据所述队列配置信息确定所述目标处理队列对应的目标节点；

将所述待处理交易数据加入到所述目标队列中，由所述目标节点对所述目标队列中的交易数据进行处理。

需要说明的，上述所述的设备根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。

本说明书提供的交易数据处理装置，也可以应用在多种数据分析处理系统中。所述系统或服务器或终端或设备可以为单独的服务器，也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例系统或服务器或终端或设备的服务器集群、系统(包括分布式系统)、软件(应用)、实际操作装置、逻辑门电路装置、量子计算机等并结合必要的实施硬件的终端装置。所述核对差异数据的检测系统可以包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现上述任意一个或者多个实施例中所述方法的步骤。

本说明书实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图6是本说明书一个实施例中交易数据处理服务器的硬件结构框图，该计算机终端可以是上述实施例中的交易数据处理服务器或交易数据处理装置。如图6所示服务器10可以包括一个或多个(图中仅示出一个)处理器100(处理器100可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的非易失性存储器200、以及用于通信功能的传输模块300。本领域普通技术人员可以理解，图6所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器10还可包括比图6中所示更多或者更少的组件，例如还可以包括其他的处理硬件，如数据库或多级缓存、GPU，或者具有与图6所示不同的配置。

非易失性存储器200可用于存储应用软件的软件程序以及模块，如本说明书实施例中的交易数据处理方法对应的程序指令/模块，处理器100通过运行存储在非易失性存储器200内的软件程序以及模块，从而执行各种功能应用以及资源数据更新。非易失性存储器200可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，非易失性存储器200可进一步包括相对于处理器100远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局与网、移动通信网及其组合。

传输模块300用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输模块300包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输模块300可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书提供的上述实施例所述的方法或装置可以通过计算机程序实现业务逻辑并记录在存储介质上，所述的存储介质可以计算机读取并执行，实现本说明书实施例所描述方案的效果，如：

获取接收到的待处理交易数据的业务属性和预先存储的队列配置信息；其中，所述队列配置信息中包括不同业务属性的交易数据与各个队列之间的映射关系以及各个队列与节点之间的映射关系；

根据所述待处理交易数据的业务属性和所述队列配置信息，确定所述待处理交易数据对应的目标队列，并根据所述队列配置信息确定所述目标处理队列对应的目标节点；

将所述待处理交易数据加入到所述目标队列中，由所述目标节点对所述目标队列中的交易数据进行处理。

所述存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如RAM、ROM等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置如，CD或DVD。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。

本说明书实施例提供的上述交易数据处理方法或装置可以在计算机中由处理器执行相应的程序指令来实现，如使用windows操作系统的c++语言在PC端实现、linux系统实现，或其他例如使用android、iOS系统程序设计语言在智能终端实现，以及基于量子计算机的处理逻辑实现等。

需要说明的是说明书上述所述的装置、计算机存储介质、系统根据相关方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照对应方法实施例的描述，在此不作一一赘述。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参考即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参考方法实施例的部分说明即可。

本说明书实施例并不局限于必须是符合行业通信标准、标准计算机资源数据更新和数据存储规则或本说明书一个或多个实施例所描述的情况。某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、存储、判断、处理方式等获取的实施例，仍然可以属于本说明书实施例的可选实施方案范围之内。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

虽然本说明书一个或多个实施例提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式资源数据更新环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

本发明是参照根据本发明实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程资源数据更新设备的处理器以产生一个机器，使得通过计算机或其他可编程资源数据更新设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程资源数据更新设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程资源数据更新设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储、石墨烯存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参考即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参考方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

以上所述仅为本说明书一个或多个实施例的实施例而已，并不用于限制本说明书一个或多个实施例。对于本领域技术人员来说，本说明书一个或多个实施例可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在权利要求范围之内。

Claims (10)

1.一种交易数据处理方法，其特征在于，所述方法包括：

获取接收到的待处理交易数据的业务属性和预先存储的队列配置信息；其中，所述队列配置信息中包括不同业务属性的交易数据与各个队列之间的映射关系以及各个队列与节点之间的映射关系；

根据所述待处理交易数据的业务属性和所述队列配置信息，确定所述待处理交易数据对应的目标队列，并根据所述队列配置信息确定所述目标处理队列对应的目标节点；

将所述待处理交易数据加入到所述目标队列中，由所述目标节点对所述目标队列中的交易数据进行处理。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

对各个队列的数据处理状态进行监控；

若监控到存在待处理的队列，则获取所述待处理的队列对应的节点的线程池中的空闲线程，启动所述空闲线程对所述待处理的队列中的交易数据进行处理。

3.如权利要求1所述的方法，其特征在于，所述方法还包括：

每隔第一预设时间获取各个节点的内存队列信息和存储的队列配置信息；

将各个节点的内存队列信息与存储的队列配置信息进行对比，若所述内存队列信息与队列配置信息不一致，则按照所述队列配置信息将所述内存队列信息进行同步更新。

4.如权利要求1所述的方法，其特征在于，所述方法还包括：

将所述队列配置信息分别存储在分布式缓存和数据库中；

在获取所述队列配置信息时，先从所述分布式缓存中获取；

若从所述分布式缓存中获取所述队列配置信息失败，再从所述数据库中获取。

5.如权利要求4所述的方法，其特征在于，所述方法还包括：

每隔第二预设时间分别获取所述分布式缓存和所述数据库中存储的队列配置信息；

若所述分布式缓存中存储的队列配置信息与所述数据库中存储的队列配置信息不一致，则以所述数据库中存储的队列配置信息为准，对所述分布式缓存中的队列配置信息进行更新。

6.如权利要求1所述的方法，其特征在于，根据所述待处理交易数据的业务属性和所述队列配置信息，确定所述待处理交易数据对应的目标队列，包括：

对获取到的所述待处理交易数据按照预设格式进行转换，获得转换后的待处理交易数据；

从所述转换后的待处理交易数据中获取所述待处理交易数据的业务属性对应的关键要素字符串；

对所述关键要素字符串进行哈希计算，获得所述待处理交易数据对应的哈希值；

将所述待处理交易数据对应的哈希值与所述队列配置信息进行比对，确实出所述待处理交易数据对应的目标队列。

7.如权利要求6所述的方法，其特征在于，所述方法还包括：

在获得所述转换后的待处理交易数据后，对所述待处理交易数据进行格式校验和权限校验，在格式校验和权限校验通过后，从所述转换后的待处理交易数据中获取所述待处理交易数据的业务属性对应的关键要素字符串。

8.一种交易数据处理装置，其特征在于，包括：

信息获取模块，用于获取接收到的待处理交易数据的业务属性和预先存储的队列配置信息；其中，所述队列配置信息中包括不同业务属性的交易数据与各个队列之间的映射关系以及各个队列与节点之间的映射关系；

队列分配模块，用于根据所述待处理交易数据的业务属性和所述队列配置信息，确定所述待处理交易数据对应的目标队列，并根据所述队列配置信息确定所述目标处理队列对应的目标节点；

数据处理模块，用于将所述待处理交易数据加入到所述目标队列中，由所述目标节点对所述目标队列中的交易数据进行处理。

9.一种交易数据处理设备，其特征在于，包括：至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求1-7任一项所述的方法。

10.一种交易数据处理系统，其特征在于，包括：

交易接收模块，用于接收交易数据，并根据接收到交易数据的业务属性和数据存储模块存储的队列配置信息，将接收到的交易数据加入到对应的队列中；

交易处理模块，用于通过共享线程池对队列中的交易数据进行处理；

队列配置模块，用于配置队列配置信息，所述队列配置信息包括：不同业务属性的交易数据与队列之间的映射关系以及不同队列与节点之间的映射关系；

数据存储模块，用于存储所述队列配置模块配置的队列配置信息。

Images