CN109597697B - 一种资源撮合处理方法及装置 - Google Patents

Abstract

本发明公开了一种资源撮合处理方法及装置，其方法包括以下步骤：从消息队列中读取资源队列信息；根据从消息队列中读取到的资源队列信息，调用访问代理层；通过访问代理层撮合资源队列信息。本发明的一种资源撮合处理方法及装置在分布式环境下多线程或者多客户端解决撮合集群问题，建立一个中间存储层，通过中间存储层分别与服务器和数据库交互，适用于高并发场景，并且集群中的数据可以独立变化，在设计上解耦。

Description

一种资源撮合处理方法及装置

技术领域

本发明公开涉及互联网技术领域，尤其涉及一种资源撮合处理方法及装置。

背景技术

在一些领域数据量并不是很大或者企业处于早起发展阶段，使用单机来撮合数据即可，也不需要集群，当时是没有问题的，但随着公司规则逐渐扩大，则会遭遇单机性能瓶颈——单机单点故障带来全链路不可用，那么就有必要考虑集群、多线程、多客户端来解决该问题，以达到高可用，高并发，高吞吐量的目标。

在一些业务场景中，需要先按多种变化规则查询处数据，然后再对数据做相应的处理，并且要求实时处理，而这些数据在处理的过程中最好不要被其他线程或者机器拿到，以免造成数据处理失败情况，如果大规模发生，则造成数据处理能力下降，各种异常的发生。

发明内容

本发明实施例是为了在分布式环境下多线程或者多客户端解决撮合集群问题，建立一个中间存储层，通过中间存储层分别与服务器和数据库交互，适用于高并发场景，并且集群中的数据可以独立变化，在设计上解耦。

本发明一实施例提供了一种资源撮合处理方法，包括以下步骤：

从消息队列中读取资源队列信息；

根据从消息队列中读取到的资源队列信息，调用访问代理层；

通过访问代理层撮合资源队列信息。

进一步地，通过访问代理层撮合资源队列信息，具体包括：

通过访问代理层访问高速缓存系统；

根据高速缓存系统的数据结构，将资源队列信息路由至数据中转站；

根据数据中转站的数据风险等级生成风险队列信息；

根据资源队列信息和风险队列信息，撮合资源队列信息。

进一步地，根据风险队列信息，撮合资源队列信息之后，还包括：

判断撮合完成的资源队列信息是否包括可用资源信息；

当撮合完成的资源队列信息中还包括可用资源信息，将可用资源信息转入数据中转站。

进一步地，根据风险队列信息，撮合资源队列信息之后，还包括：

在设定时间内，停止撮合资源队列信息并进行初始化，并且将设定时间内符合撮合条件的资源队列信息转入数据中转站。

本发明一实施例提供了一种资源撮合处理装置，包括

读取模块：从消息队列中读取资源队列信息；

调用模块：用于根据从消息队列中读取到的资源队列信息，调用访问代理层；

撮合模块：用于通过访问代理层撮合资源队列信息。

进一步地，撮合模块包括：

访问单元：用于通过访问代理层访问高速缓存系统；

中转单元：用于根据高速缓存系统的数据结构，将资源队列信息路由至数据中转站；

生成单元：用于根据数据中转站的数据风险等级生成风险队列信息；

撮合单元：用于根据资源队列信息和风险队列信息，撮合资源队列信息，响应查询请求。

进一步地，一种资源撮合处理装置还包括：

判断模块：用于判断撮合完成的资源队列信息是否包括可用资源信息；

流转模块：用于当撮合完成的资源队列信息中还包括可用资源信息，将可用资源信息转入数据中转站。

进一步地，一种资源撮合处理装置还包括：

初始化模块：用于在设定时间内，停止撮合资源队列信息并进行初始化，并且将符合撮合条件的资源队列信息转入数据中转站。

本发明一实施例提供了一种电子设备，包括存储器和处理器，存储器用于存储一条或多条计算机指令，其中，一条或多条计算机指令被处理器执行以实现如上述任一项的资源撮合处理方法。

本发明一实施例提供了一种存储有计算机程序的计算机可读存储介质，计算机程序使计算机执行时实现如上述任一项的资源撮合处理方法。

本发明实施例提供了一种资源撮合处理方法及装置，在分布式环境下多线程或多客户端地解决撮合集群问题，并且在分布式环境下，将需要撮合的资源放在高性能中间存储层，使得应用服务器和数据库隔离开来，通过中间层存储层来交互。而中间存储层根据风险等级对资源进行物理分组，通过代理访问层路由至指定数据存储中心，以便精确获取需要的查询。支持集群、多线程，解决并应对未来业务增量的情况，适用于高并发场景，提高吞吐量，提高撮合效率。

附图说明

图1为本发明实施例一提供的一种资源撮合处理方法的流程示意图；

图2为本发明实施例二提供的一种资源撮合处理方法的流程示意图；

图3为本发明实施例三提供的一种资源撮合处理方法的流程示意图；

图4为本发明实施例四提供的一种资源撮合处理方法的流程示意图；

图5为本发明实施例五提供的一种资源撮合处理装置的示意图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下描述中，为了说明而不是为了限定，提出了诸如特定内部程序、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一

本发明实施例一提供了一种资源撮合处理方法。图1为本发明实施例一提供的一种资源撮合处理方法的流程示意图。如图1所示，本实施例的方法，可以包括：

步骤101，从消息队列中读取资源队列信息；

步骤102，根据从消息队列中读取到的资源队列信息，调用访问代理层；

步骤103，通过访问代理层撮合资源队列信息。

本实施例中的方法应用于互联网的各个领域，尤其适合应用于需使用分布式、多线程、多客户端的环境下。

以下将举一例子说明本实施例的处理流程。

本实施例主要应用于互联网行业，当企业还处于初期发展阶段或数据量还不是很大的使用，使用单机撮合资源信息是没有问题的，并且也不需要集群。但是当公司规模逐渐扩大，或者数据量剧增之后，就会碰到单机性能瓶颈(例如，吞吐量低、处理速度慢、资源信息撮合容易出错等)，并且单机单点故障还会带来全链路不可用。在一些业务场景中，需要先按多种变化规则查询处数据，然后再对数据做相应的处理，要求实时处理，并且这些数据在处理的过程中最好不要被其他线程或者机器拿到，以免造成数据处理失败情况，如果大规模发生，则造成数据处理能力下降、各种异常发生。

本实施例中，从消息队列中读取资源队列信息，其中，消息队列是在消息的传输过程中保存消息的容器。此处的资源队列信息主要是指资源数据资源数据队列，包括新标队列和转让队列，其中新标队列是指新的提取资源信息，转让队列指的是定期存储资源到期转让的资源信息。本实施例中的资源数据源队列将提供给撮合集群消费，此处消费的含义是将集群中的数据提取出来使用。接着从消息队列中读取资源队列信息，调用访问代理层，本实施例中的访问代理层是封装了访问数据库的一些命令，因此可以通过访问代理层来访问数据中转站并撮合资源队列信息。撮合资源队列信息是指将数据库中存储端和提取端的数据撮合对应，例如数据库中有一笔存储资源数据是为期1个月、存储资源数量为5的定期存储资源，提取资源数据则是请求提取资源数量为5，提取提取期限为1个月，那么此时就能将这两笔数据撮合匹配，相当于将这一笔资源数量为5的存储资源借给提取方。

本实施例的一种资源撮合处理方法，通过调用访问代理层来访问数据中转站和撮合数据，适合分布式环境下多线程多客户端的环境，同时由于通过调用访问代理层对数据统一访问和撮合，避免数据在处理过程中被其他线程或客户端拿到从而造成数据处理失败的情况。

实施例二

本发明实施例二提供了一种资源撮合处理方法。图2为本发明实施例二提供的一种资源撮合处理方法的流程示意图。如图2所示，本实施例的方法，可以包括：

步骤201，从消息队列中读取资源队列信息；

步骤202，根据从消息队列中读取到的资源队列信息，调用访问代理层；

步骤203，通过访问代理层访问高速缓存系统；

步骤204，根据高速缓存系统的数据结构，将资源队列信息路由至数据中转站；

步骤205，根据数据中转站的数据风险等级生成风险队列信息；

步骤206，根据资源队列信息和风险队列信息，撮合资源队列信息。

以下将举一简单的例子说明该实施例。

本实施例是在实施例一的基础上对实施例一的步骤103进行详细的扩展、解释和阐述。其中步骤201-步骤202与实施例一的相同，此处将不再赘述。本实施例中，在现有的数据库之上建立一个数据中转站(命名为bus)和高速缓存系统(命名为redis)，由访问代理层(命名为sharding-redis)访问高速缓存系统(redis)，并且根据高速缓存系统(redis)的数据结构特点，将原数据库中的资源队列信息路由至数据中转站(bus)，即应用服务器通过访问代理层(sharding-redis)来访问高速缓存系统redis，而高速缓存系统redis还包括一个数据中转站bus，数据中转站bus根据redis的数据结构风险等级，将数据库中的资源队列信息对应地生成风险等级队列，本实施例中风险等级队列包括3,4,99队列，而每个队列数据结构为：

“可用资源”

“accountID:userID”

数据中转站(bus)包括n个队列，支持横向扩容。

最后根据风险等级队列信息和资源队列信息，撮合资源队列信息，即根据风险等级情况，将存储资源信息与提取资源信息相互匹配撮合。

其中，

访问代理层sharding-redis是作为服务器访问redis的唯一入口，包括以下功能和命令：

新增命令zadd，把符合条件的资源信息推送到消息队列中；

修改命令zadd，资源信息和撮合条件相关字段更新时，需要将更新的信息同步到消息队列中，其中，字段包括可用资源(PotAmount)，冻结状态(FrozenState),平台(PlatformId)，状态(State)，风险等级(RiskLevel)；

消费命令zrangebyscore(根据资源分界)和zremrangebyscore(根据资源移除)，这两个命令需要保证原子操作，消费每个队列时需要保证获取锁。

另外，数据中转站(bus)包括分布式消息事务中心(tmc,TransactionMessageCenter)，资源队列信息路由至数据中转站(bus)的分布式消息事务中心等消费、撮合。撮合资源队列信息前需要先消费资源队列信息。

再者，数据中转站bus中的队列信息由客户端触发，当客户端具有资金更新时，会同时插入到数据中转站bus中和数据库db中；其中，数据库db中包含所有数据信息(即包含所有符合或不符合撮合条件的数据)，而数据中转站bus包含着符合撮合条件的数据，数据中转站bus作为数据库之上的中转中心，就数据库中符合撮合条件的数据抛入数据中转站，等到后续的消费和撮合。

本实施例的一种资源撮合处理方法，通过一个统一的入口访问和处理数据库，并且建立中间件——数据中转站，更加有利于提高数据处理能力，不仅适合单线程处理，同样适合多线程处理，可以根据实际需求增加或减少服务器，使用更灵活。并且，使用中间访问代理层，提交吞吐量，保证数据处理的准确性。

实施例三

本发明实施例三提供了一种资源撮合处理方法。图3为本发明实施例三提供的一种资源撮合处理方法的流程示意图。如图3所示，本实施例的方法，可以包括：

步骤301，从消息队列中读取资源队列信息；

步骤302，根据从消息队列中读取到的资源队列信息，调用访问代理层；

步骤303，通过访问代理层访问高速缓存系统；

步骤304，根据高速缓存系统的数据结构，将资源队列信息路由至数据中转站；

步骤305，根据数据中转站的数据风险等级生成风险队列信息；

步骤306，根据资源队列信息和风险队列信息，撮合资源队列信息；

步骤307，判断撮合完成的资源队列信息是否包括可用资源信息；

步骤308，当撮合完成的资源队列信息中还包括可用资源信息，将可用资源信息转入数据中转站。

本实施例是实施例二之后还有对撮合完成的资源队列信息中包含的可用资源的处理。以下将以具体例子来说明该实施例，其中步骤301-步骤306与实施例二的相同，此处将不再赘述。本实施例中的资源队列信息指的所有资源信息，当现有的资源信息撮合完成后，再判断是否还有可用的资源信息，如果还有可用的资源信息，则抛入数据中转站(bus)的分布式消息事务中心(tmc)，等待消费、撮合。比如资源数据A是用户投入数量为5的存储资源，其中4已匹配相应的提取资源信息(即已撮合完成)，再判断是否还有可用资源，经过判断，还有1的可用资源，然后将这1的资源及相关的资源信息信息，包括到期期限等内容一并抛入数据中转站(bus)的分布式消息事务中心(tmc)，等待消费、撮合。

本实施例的一种资源撮合处理方法，将剩余可用的资源的资源信息抛入数据中转站的消息队列，以便后续撮合使用，灵活处理资源数据队列，并且后续出现资源信息异常是，也可以用来重试，以达到数据驱动。

实施例四

本发明实施例四提供了一种资源撮合处理方法。图4为本发明实施例四提供的一种资源撮合处理方法的流程示意图。如图4所示，本实施例的方法，可以包括：

步骤401，从消息队列中读取资源队列信息；

步骤402，根据从消息队列中读取到的资源队列信息，调用访问代理层；

步骤403，通过访问代理层访问高速缓存系统；

步骤404，根据高速缓存系统的数据结构，将资源队列信息路由至数据中转站；

步骤405，根据数据中转站的数据风险等级生成风险队列信息；

步骤406，根据资源队列信息和风险队列信息，撮合资源队列信息，响应查询请求；

步骤407，在设定时间内，停止撮合资源队列信息并进行初始化，并且将设定时间内符合撮合条件的资源队列信息转入数据中转站。

本实施例是在实施例二的基础上对定时初始化的限定。以下将举一例子说明该实施例，其中步骤401-步骤406与实施例二相同，此处将不再赘述。由于当前日只能查找赎回时间晚于当前时间的资源信息，因此需要在零点时间左右进行重置操作，例如在00:00到00:05之间，服务器停止撮合操作，因此，在此时间段内查找的符合条件的资源信息将停止撮合，而是抛入到数据中转站的分布式消息事务中心，等待重置完成后再进行消费、资源信息匹配和撮合。

本实施例中的一种资源撮合处理方法，在设定时间内进行初始化设置，并且将设定时间内符合撮合条件的资源队列信息转入数据中转站，而不是转入高速缓存系统，可以手动重发消息以及保证消息不丢，以确保撮合信息准确。

实施例五

本发明实施例五提供了一种资源撮合处理装置。图5为本发明实施例五提供的资源撮合处理装置的示意图。如图5所示，本实施例的一种资源撮合处理装置，包括：

读取模块510：从消息队列中读取资源队列信息；

调用模块520：用于根据从消息队列中读取到的资源队列信息，调用访问代理层；

撮合模块530：用于通过访问代理层撮合资源队列信息，响应查询请求。

其中，撮合模块530包括：

访问单元531：用于通过访问代理层访问高速缓存系统；

中转单元532：用于根据高速缓存系统的数据结构，将资源队列信息路由至数据中转站；

生成单元533：用于根据数据中转站的数据风险等级生成风险队列信息；

撮合单元534：用于根据资源队列信息和风险队列信息，撮合资源队列信息，响应查询请求。

进一步地，一种资源撮合处理装置还包括：

判断模块540：用于判断撮合完成的资源队列信息是否包括可用资源信息；

流转模块550：用于当撮合完成的资源队列信息中还包括可用资源信息，将可用资源信息转入数据中转站。

进一步地，一种资源撮合处理装置还包括：

初始化模块560：用于在设定时间内，停止撮合资源队列信息并进行初始化，并且将符合撮合条件的资源队列信息转入数据中转站。

本实施例中的一种资源撮合处理装置，可以用于执行上述任一实施例所述的资源撮合处理方法，其具体实现原理可以参见上述任一实施例，此处将不再赘述。

本实施例中的资源撮合处理装置，在分布式环境下多线程或多客户端地解决撮合集群问题，并且在分布式环境下，将需要撮合的资源放在高性能中间存储层，使得应用服务器和数据库隔离开来，通过中间层存储层来交互。而中间存储层根据风险等级对资源进行物理分组，通过代理访问层路由至指定数据存储中心，以便精确获取需要的查询。支持集群、多线程，解决并应对未来业务增量的情况，适用于高并发场景，提高吞吐量，提高撮合效率。

实施例六

本发明实施例六提供了一种电子设备，包括存储器和处理器存储器用于存储一条或多条计算机指令，其中，一条或多条计算机指令被所述处理器执行以实现上述任一实施例所述的资源撮合处理方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序使计算机执行时可以实现上述任一实施例所述的资源撮合处理方法。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机设备中的执行过程。

计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，本实施例仅仅是计算机设备的示例，并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机设备还可以包括输入输出设备、网络接入设备、总线等。

处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以是计算机设备的内部存储单元，例如计算机设备的硬盘或内存。存储器也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器用于存储计算机程序以及计算机设备所需的其他程序和数据。存储器还可以用于暂时地存储已经输出或者将要输出的数据。

本发明实施例还提供了一种存储有计算机程序的计算机可读存储介质，计算机程序使计算机执行时实现上述任一项的资源撮合处理方法。

本发明实施例提供的一项的资源撮合处理方法及装置，在分布式环境下多线程或多客户端地解决撮合集群问题，并且在分布式环境下，将需要撮合的资源放在高性能中间存储层，使得应用服务器和数据库隔离开来，通过中间层存储层来交互。而中间存储层根据风险等级对资源进行物理分组，通过代理访问层路由至指定数据存储中心，以便精确获取需要的查询，并且可以根据实际需求增加或减少服务器，支持集群、多线程，解决并应对未来业务增量的情况，适用于高并发场景，提高吞吐量，提高撮合准确率和效率。

以上详细描述了本发明的具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (8)

1.一种资源撮合处理方法，其特征在于，包括以下步骤：

根据查询请求，从消息队列中读取资源队列信息；

根据从所述消息队列中读取到的所述资源队列信息，调用访问代理层；

通过所述访问代理层撮合所述资源队列信息，其中，包括通过所述访问代理层访问高速缓存系统；根据所述高速缓存系统的数据结构，将所述资源队列信息路由至数据中转站；根据所述数据中转站的数据风险等级生成风险队列信息；根据所述资源队列信息和所述风险队列信息，撮合所述资源队列信息。

2.如权利要求1所述的一种资源撮合处理方法，其特征在于，根据所述资源队列信息和所述风险队列信息，撮合所述资源队列信息之后，还包括：

判断撮合完成的所述资源队列信息是否包括可用资源信息；

当撮合完成的资源队列信息中还包括所述可用资源信息，将所述可用资源信息转入所述数据中转站。

3.如权利要求1所述的一种资源撮合处理方法，其特征在于，根据所述资源队列信息和所述风险队列信息，撮合所述资源队列信息之后，还包括：

在设定时间内，停止撮合资源队列信息并进行初始化，并且将设定时间内符合撮合条件的所述资源队列信息转入所述数据中转站。

4.一种资源撮合处理装置，其特征在于，包括：

读取模块：用于根据查询请求，从消息队列中读取资源队列信息；

调用模块：用于根据从所述消息队列中读取到的所述资源队列信息，调用访问代理层；

撮合模块：用于通过所述访问代理层撮合所述资源队列信息，响应所述查询请求，其中，所述撮合模块包括访问单元：用于通过所述访问代理层的访问高速缓存系统；中转单元：用于根据所述高速缓存系统的数据结构，将所述资源队列信息路由至数据中转站；生成单元：用于根据所述数据中转站的数据风险等级生成风险队列信息；撮合单元：用于根据所述资源队列信息和所述风险队列信息，撮合所述资源队列信息，响应所述查询请求。

5.如权利要求4所述的一种资源撮合处理装置，其特征在于，还包括：

判断单元：用于判断撮合完成的所述资源队列信息是否包括可用资源信息；

流转单元：用于当撮合完成的资源队列信息中还包括所述可用资源信息，将所述可用资源信息转入所述数据中转站。

6.如权利要求4所述的一种资源撮合处理装置，其特征在于，还包括：

初始化单元：用于在设定时间内，停止撮合资源队列信息并进行初始化，并且将设定时间内符合撮合条件的所述资源队列信息转入所述数据中转站。

7.一种电子设备，其特征在于，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如权利要求1～3中任一项所述的一种资源撮合处理方法。

8.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序使计算机执行时实现如权利要求1～3中任一项所述的一种资源撮合处理方法。

Images