CN112581289A - 数据处理方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本公开提供的数据处理方法、装置、设备及计算机可读存储介质，包括：接收订阅的事件消息，获取事件消息中包括的投资数据；根据投资数据中包括的数据标识，将投资数据存储到对应的任务队列；基于与任务队列对应的线程，对任务队列中包括的投资数据进行处理，得到分析数据。本公开提供的数据处理方法、装置、设备及计算机可读存储介质，采用订阅消息的机制接收数据，并启动多个线程对数据进行处理，从而提高数据处理效率，提高数据吞吐量，还能够解耦各服务间的关系。

Description

数据处理方法、装置、设备及计算机可读存储介质

技术领域

本公开涉及数据处理技术，尤其涉及一种数据处理方法、装置、设备及计算机可读存储介质。

背景技术

目前，在一些应用场景中，需要从外部获取数据，并对其进行处理。比如，在金融投资的场景中，需要接收交易数据，并根据交易数据计算持仓变化。

在实际应用过程中，对数据进行处理的过程更为复杂，比如在金融投资的场景中，需要计算持仓变化、持仓市值等，还需要推导组合净值、成交变化等指标。

现有技术的数据处理系统中，若需要处理的数据量大，或者根据这些数据进行处理的任务较多时，需要的计算资源大，进而会造成数据处理效率低、数据吞吐量低的问题。

发明内容

本公开提供一种数据处理方法、装置、设备及计算机可读存储介质，以解决现有技术中数据处理效率低、数据吞吐量低的问题。

本公开的第一个方面是提供一种数据处理方法，包括：

接收订阅的事件消息，获取所述事件消息中包括的投资数据；

根据所述投资数据中包括的数据标识，将所述投资数据存储到对应的任务队列；

基于与所述任务队列对应的线程，对所述任务队列中包括的投资数据进行处理，得到分析数据。

本公开的另一个方面是提供一种数据处理装置，包括：

接收模块，用于接收订阅的事件消息，获取所述事件消息中包括的投资数据；

存储模块，用于根据所述投资数据中包括的数据标识，将所述投资数据存储到对应的任务队列；

处理模块，用于基于与所述任务队列对应的线程，对所述任务队列中包括的投资数据进行处理，得到分析数据。

本公开的又一个方面是提供一种数据处理设备，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并配置为由所述处理器执行以实现如上述第一方面所述的数据处理方法。

本公开的又一个方面是提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如上述第一方面所述的数据处理方法。

本公开提供的数据处理方法、装置、设备及计算机可读存储介质的技术效果是：

本公开提供的数据处理方法、装置、设备及计算机可读存储介质，包括：接收订阅的事件消息，获取事件消息中包括的投资数据；根据投资数据中包括的数据标识，将投资数据存储到对应的任务队列；基于与任务队列对应的线程，对任务队列中包括的投资数据进行处理，得到分析数据。本公开提供的数据处理方法、装置、设备及计算机可读存储介质，采用订阅消息的机制接收数据，并启动多个线程对数据进行处理，从而提高数据处理效率，提高数据吞吐量。此外，采用消息订阅的方式接收投资数据，还能够解耦各服务间的关系，避免各服务之间相互依赖。

附图说明

图1为本申请一示例性实施例示出的金融投资场景示意图；

图2为本申请一示例性实施例示出的数据处理方法的流程示意图；

图3为本申请另一示例性实施例示出的数据处理方法的流程示意图；

图4A为本申请一示例性实施例示出的任务队列示意图；

图4B为本申请一示例性实施例示出的向任务队列中存储投资数据的示意图；

图4C为本申请一示例性实施例示出的分布式系统的示意图；

图5为本申请一示例性实施例示出的数据处理装置的结构图；

图6为本申请另一示例性实施例示出的数据处理装置的结构图；

图7为本申请一示例性实施例示出的数据处理设备的结构图。

具体实施方式

随着计算机技术的发展，很多数据的处理都依托于计算机系统，计算机系统能够高效且准确的进行数据处理。例如，在金融投资的场景中，经常需要对大量的数据进行处理。

图1为本申请一示例性实施例示出的金融投资场景示意图。

如图1所示，在金融投资场景中需要设置持仓服务，持仓服务设置有同步RPC(Remote Procedure Call，远程过程调用)接口，可以通过这一接口接收数据，再对接收的数据进行处理。

具体可以接收成交列表参数，单线程串行计算组合持仓变化、持仓市值、组合净值、产品规模等指标；接收组合估值及持仓数据，单线程串行推导组合净值、成交变化等指标。

同步RPC接口的方案使服务间相互依赖，导致服务治理难度增加。例如在本案例中，业务上持仓中心是投资交易的事后阶段，本可以做解耦的环节，没有做到足够的解耦。而过多的服务间RPC同步依赖，势必导致服务治理难度增加。而且本实施例中，通过单线程串行处理方案，使任务执行效率低，吞吐量低下。

如上所述，计算机系统进行数据处理时，存在服务间相互依赖，且任务执行效率低、吞吐量低下的问题。

为了解决上述技术问题，本申请提供的方案中，持仓服务采用订阅消息的方式接收数据，能够解耦各个服务，从而避免各个服务之间相互依赖的问题。设置有与任务队列对应的线程，从而可以有多线程并行执行任务，进而提高任务执行效率，提高数据吞吐量。

图2为本申请一示例性实施例示出的数据处理方法的流程示意图。

如图2所示，本申请提供的数据处理方法，包括：

步骤201，接收订阅的事件消息，获取事件消息中包括的投资数据。

本申请提供的方法可以由具备计算能力的电子设备执行，该电子设备可以是计算机。比如，该计算机可以是持仓服务的后台服务器。该后台服务器可以设置在金融系统架构中，用于提供金融相关的服务。

其中，可以基于消息订阅机制，持仓服务接收其他服务提供的事件消息。比如，可以将持仓服务设置为接收端，另一服务设置为发送端。另一服务发送消息时，持仓服务可以接收到该消息。比如，实时持仓变化事件可以向持仓服务同步消息。

具体的，事件消息中可以包括投资数据，该投资数据是其他服务同步给持仓服务的。持仓服务接收到事件消息后，可以提取该消息中包括的投资数据。

进一步的，投资数据例如可以是成交列表参数、组合估值、持仓数据等，持仓服务获取投资数据后，可以对这些数据进行处理，进而得到分析数据。

步骤202，根据投资数据中包括的数据标识，将投资数据存储到对应的任务队列。

实际应用时，投资数据中还可以包括数据标识，比如其他服务可以将一个投资组合的投资数据发送给服务，该数据中包括这个投资组合的数据标识。

其中，投资组合可以是一个数据单位，用于封装一个投资的多条数据，数据标识可以是该组合的标识，也可以是该投资的标识。

具体的，持仓服务中设置有多个任务队列，一个任务队列用于承载一个数据标识对应的投资数据。可以根据数据标识确定与投资数据对应的任务队列，再将投资数据存储到该队列中。

这种实施方式能够保证同一数据标识对应的投资数据都进入同一队列，进而保证数据的一致性。

实际应用时，可以为各个任务队列设置队列标识，比如，可以将数据标识设置为任务队列的标识。可以读取投资数据的标识，再将投资数据存储到该标识对应的任务队列中。再比如，可以使用数据标识计算哈希值，再将各个数据标识的哈希值作为任务队列的标识。可以读取投资数据的标识，再对其进行哈希计算得到哈希值，然后将投资数据存储到与计算的哈希值对应的任务队列中。

步骤203，基于与任务队列对应的线程，对任务队列中包括的投资数据进行处理，得到分析数据。

其中，可以开启多个线程，线程数量可以与任务队列的数量相同。比如根据投资数据的种类，设置有n个任务队列，那么可以针对每个任务队列开启一个线程，因此可以开启n个线程。

具体的，线程对其负责的任务队列进行监控，有投资数据进入任务队列后，持仓服务可以对其中的投资数据进行处理。

进一步的，在对投资数据进行处理时，若投资数据为成交列表参数，则持仓服务可以对该数据进行处理，得到分析数据，分析数据具体可以是组合持仓变化、持仓市值、组合净值、产品规模等指标数据。

实际应用时，在对投资数据进行处理时，若投资数据为组合估值及持仓数据，持仓服务可以对该数据进行处理，得到分析数据，分析数据具体可以是组合净值、成交变化等指标数据。

其中，还可以设置分布式服务，该分布式服务中的每个节点都可以执行本申请提供的方法，进而提高整个持仓服务的数据吞吐量。

本实施例提供的方法用于对数据进行处理，该方法由设置有本实施例提供的方法的设备执行，该设备通常以硬件和/或软件的方式来实现。

本实施例提供的数据处理方法，包括：接收订阅的事件消息，获取事件消息中包括的投资数据；根据投资数据中包括的数据标识，将投资数据存储到对应的任务队列；基于与任务队列对应的线程，对任务队列中包括的投资数据进行处理，得到分析数据。本申请提供的数据处理方法中，采用订阅消息的机制接收数据，并启动多个线程对数据进行处理，从而提高数据处理效率，提高数据吞吐量，并且，基于消息订阅的方式接收投资数据，还能够解耦各服务间的关系。

图3为本申请另一示例性实施例示出的数据处理方法的流程示意图。

如图3所示，本申请提供的数据处理方法，包括：

步骤301，接收订阅的事件消息，获取事件消息中包括的投资数据。

步骤301与步骤201的具体原理和实现方式类似，此处不再赘述。

步骤302，根据投资数据中包括的数据标识，确定与投资数据对应的目标任务队列。

其中，本申请提供的方法中，持仓服务可以获取投资数据中包括的数据标识。比如，每个投资组合具有一个标识code，当持仓服务接收到投资数据后，可以获取该投资数据对应的投资组合标识，将其作为数据标识。

具体的，持仓服务可以在多个任务队列中确定出与投资数据对应的目标任务队列。具体可以在任务队列中挑出与数据标识对应的目标任务队列。

进一步的，持仓服务可以根据投资数据中包括的数据标识确定哈希值。比如，投资数据的数据标识为code1，可以根据code1计算得到hash(code1)。哈希计算是指把任意长度的输入(又叫做预映射pre-image)通过散列算法变换成固定长度的输出，该输出就是哈希值。

实际应用时，可以将哈希值指向的任务队列确定为目标任务队列。

其中，一个数据标识的哈希值指向一个任务队列。当根据投资数据的数据标识计算得到哈希值后，可以将该哈希值指向的任务队列作为目标任务队列。

具体的，持仓服务可以将获取的投资数据存储到目标任务队列中。相同数据标识对应的投资数据被存储到同一队列中，从而使数据具有一致性。

图4A为本申请一示例性实施例示出的任务队列示意图。

如图4A所示，可以设置有多个任务队列，任务队列中可以存储多个投资数据，持仓服务可以按照数据存入到任务队列中的时间，对这些投资数据依次处理。从而按序对投资数据进行处理。

进一步的，每个任务队列可以具有一个哈希值作为标识，比如根据数据标识确定了哈希值后，可以根据确定的哈希值确定目标任务队列。例如，确定的哈希值为hash(code1)，那么可以将hash(code1)指向的任务队列41作为目标任务队列。

步骤303，将所述投资数据存储到所述目标任务队列中。

实际应用时，可以将投资数据存储到目标任务队列中，从而使用于监控该目标任务队列的线程对该投资数据进行处理。

图4B为本申请一示例性实施例示出的向任务队列中存储投资数据的示意图。

如图4B所示，投资数据411具有数据标识code1，可以将该投资数据1存储到目标任务队列中，该目标任务队列中还可以包括其他投资数据412，这些投资数据2的数据标识也是code1。

步骤304，基于线程根据所述投资数据的数据标识获取与所述数据标识对应的分布式锁。

其中，本实施例提供的方法应用于分布式系统中的任一节点，从而在横向扩展持仓服务，使得持仓服务的数据吞吐量更大。

具体的，每个节点中可以开启多个线程，用于对任务队列中包括的投资数据进行处理。

图4C为本申请一示例性实施例示出的分布式系统的示意图。

如图4C所示，该分布式系统中可以包括多个节点42，每个节点42都可以执行本实施例提供的方法。每个节点42中都设置有相同的任务队列，并开启若干线程，用于监控这些任务队列。

进一步的，这些节点42均能够接收到订阅消息，并向任务队列中存储投资数据。

实际应用时，为了有序的对同一数据标识对应的投资数据进行处理。比如code1对应的数据1存储到第一节点42中，code1对应的数据2存储到第二节点42中。为了使分布式系统能够按照数据的接收顺序对这些数据进行处理，可以设置分布式锁。

线程在对投资数据进行处理时，可以根据投资数据的数据标识获取分布式锁。若未获取到分布式锁，则可以认为该数据标识对应的数据正在被处理，暂时不处理该投资数据。

步骤305，若获取到所述分布式锁，则处理与所述数据标识对应的所述投资数据。

若线程获取到分布式锁，则说明当前没有线程处理该标识对应的投资数据，那么该线程可以处理这一投资数据。

其中，线程可以根据所述数据标识调用目标函数；

若所述目标函数的返回值为第一预设值，则确定获取到与所述数据标识对应的分布式锁；

若所述目标函数的返回值为第二预设值，则确定未获取与所述数据标识对应的分布式锁。

具体的，各个线程可以对投资数据进行处理，得到分析数据，分析数据例如可以包括组合持仓变化、持仓市值、组合净值、产品规模、组合净值、成交变化等数据指标。

图5为本申请一示例性实施例示出的数据处理装置的结构图。

如图5所示，本实施例提供的数据处理装置，包括：

接收模块51，用于接收订阅的事件消息，获取所述事件消息中包括的投资数据；

存储模块52，用于根据所述投资数据中包括的数据标识，将所述投资数据存储到对应的任务队列；

处理模块53，用于基于与所述任务队列对应的线程，对所述任务队列中包括的投资数据进行处理，得到分析数据。

本申请提供的数据处理装置，包括接收模块，用于接收订阅的事件消息，获取事件消息中包括的投资数据；存储模块，用于根据投资数据中包括的数据标识，将投资数据存储到对应的任务队列；处理模块，用于基于与任务队列对应的线程，对任务队列中包括的投资数据进行处理，得到分析数据。本申请提供的方案，采用订阅消息的机制接收数据，并启动多个线程对数据进行处理，从而提高数据处理效率，提高数据吞吐量，此外，基于消息订阅方式接收投资数据，还能够解耦各服务间的关系。

本实施例提供的数据处理装置的具体原理和实现方式均与图2所示的实施例类似，此处不再赘述。

图6为本申请另一示例性实施例示出的数据处理装置的结构图。

如图6所示，在上述实施例的基础上，本实施例提供的装置，所述存储模块52包括：

确定单元521，用于根据所述投资数据中包括的数据标识，确定与所述投资数据对应的目标任务队列；

存储单元522，用于将所述投资数据存储到所述目标任务队列中。

可选的，所述确定单元521具体用于：

根据所述投资数据中包括的所述数据标识确定哈希值；

将与所述哈希值对应的任务队列确定为所述目标任务队列。

可选的，所述装置应用于分布式系统中的任一节点，所述处理模块53包括：

获取单元531，用于基于所述线程根据所述投资数据的数据标识获取与所述数据标识对应的分布式锁；

处理单元532，用于若获取到所述分布式锁，则处理与所述数据标识对应的所述投资数据。

可选的，若未获取所述分布式锁，则不处理与所述数据标识对应的所述投资数据。

可选的，所述获取单元531具体用于：

根据所述数据标识调用目标函数；

若所述目标函数的返回值为第一预设值，则确定获取到与所述数据标识对应的分布式锁；

若所述目标函数的返回值为第二预设值，则确定未获取与所述数据标识对应的分布式锁。

可选的，所述投资数据包括以下任一项数据：

成交列表参数、组合估值、持仓数据；

所述分析数据包括以下任一种：

组合持仓变化、持仓市值、组合净值、产品规模、组合净值、成交变化。

本实施例提供的数据处理装置的具体原理和实现方式均与图3所示的实施例类似，此处不再赘述。

图7为本申请一示例性实施例示出的数据处理设备的结构图。

如图7所示，本实施例提供的数据处理设备包括：

存储器71；

处理器72；以及

计算机程序；

其中，所述计算机程序存储在所述存储器71中，并配置为由所述处理器72执行以实现如上所述的任一种数据处理方法。

本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，

所述计算机程序被处理器执行以实现如上所述的任一种数据处理方法。

本实施例还提供一种计算机程序，包括程序代码，当计算机运行所述计算机程序时，所述程序代码执行如上所述的任一种数据处理方法。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

接收订阅的事件消息，获取所述事件消息中包括的投资数据；

根据所述投资数据中包括的数据标识，将所述投资数据存储到对应的任务队列；

基于与所述任务队列对应的线程，对所述任务队列中包括的投资数据进行处理，得到分析数据。

2.根据权利要求1所述的方法，其特征在于，所述根据所述投资数据中包括的数据标识，将所述投资数据存储到对应的任务队列，包括：

根据所述投资数据中包括的数据标识，确定与所述投资数据对应的目标任务队列；

将所述投资数据存储到所述目标任务队列中。

3.根据权利要求2所述的方法，其特征在于，所述根据所述投资数据中包括的数据标识，确定与所述投资数据对应的目标任务队列，包括：

根据所述投资数据中包括的所述数据标识确定哈希值；

将与所述哈希值对应的任务队列确定为所述目标任务队列。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法应用于分布式系统中的任一节点，所述基于与所述任务队列对应的线程，对所述任务队列中包括的投资数据进行处理，得到分析数据，包括：

基于所述线程根据所述投资数据的数据标识获取与所述数据标识对应的分布式锁；

若获取到所述分布式锁，则处理与所述数据标识对应的所述投资数据。

5.根据权利要求4所述的方法，其特征在于，若未获取所述分布式锁，则不处理与所述数据标识对应的所述投资数据。

6.根据权利要求4所述的方法，其特征在于，基于所述线程根据所述投资数据的数据标识获取与所述数据标识对应的分布式锁，包括：

根据所述数据标识调用目标函数；

若所述目标函数的返回值为第一预设值，则确定获取到与所述数据标识对应的分布式锁；

若所述目标函数的返回值为第二预设值，则确定未获取与所述数据标识对应的分布式锁。

7.根据权利要求1-3、5、6任一项所述的方法，其特征在于，所述投资数据包括以下任一项数据：成交列表参数、组合估值、持仓数据；

所述分析数据包括以下任一种：组合持仓变化、持仓市值、组合净值、产品规模、组合净值、成交变化。

8.一种数据处理装置，其特征在于，包括：

接收模块，用于接收订阅的事件消息，获取所述事件消息中包括的投资数据；

存储模块，用于根据所述投资数据中包括的数据标识，将所述投资数据存储到对应的任务队列；

处理模块，用于基于与所述任务队列对应的线程，对所述任务队列中包括的投资数据进行处理，得到分析数据。

9.一种数据处理设备，其特征在于，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并配置为由所述处理器执行以实现如权利要求1-7任一种所述的方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，

所述计算机程序被处理器执行以实现如权利要求1-7任一种所述的方法。

Images