CN114661772B

CN114661772B - 数据处理方法及相关装置

Info

Publication number: CN114661772B
Application number: CN202210576166.2A
Authority: CN
Inventors: 王正奇; 王春生
Original assignee: Shenzhen Xishima Data Technology Co ltd
Current assignee: Shenzhen Xishima Data Technology Co ltd
Priority date: 2022-05-25
Filing date: 2022-05-25
Publication date: 2022-09-13
Anticipated expiration: 2042-05-25
Also published as: CN114661772A

Abstract

本申请实施例提供一种数据处理方法及相关装置，所述方法包括：接收第一业务数据；从缓存中获取与所述第一业务数据对应的第二业务数据；将所述第一业务数据和所述第二业务数据进行合并处理，以得到合并后的业务数据；根据所述第二业务数据的数据量和所述第二业务数据的数据类型，对所述合并后的业务数据进行发送处理，能够提升数据处理时的及时性。

Description

数据处理方法及相关装置

技术领域

本申请涉及数据处理技术领域，具体涉及一种数据处理方法及相关装置。

背景技术

在高频率二级市场交易数据处理过程中，由于原始数据量大、推送频率高，导致下游数据处理程序出现严重延时和服务器CPU负载过高现象，影响高频交易数据的实时性，因此，现有处理方案中对数据进行处理时，处理时延较高，导致了数据处理的及时性降低。

发明内容

本申请实施例提供一种数据处理方法及相关装置，能够提升数据处理时的及时性。

本申请实施例的第一方面提供了一种数据处理方法，所述方法包括：

接收第一业务数据；

从缓存中获取与所述第一业务数据对应的第二业务数据；

将所述第一业务数据和所述第二业务数据进行合并处理，以得到合并后的业务数据；

根据所述第二业务数据的数据量和所述第二业务数据的数据类型，对所述合并后的业务数据进行发送处理。

结合第一方面，在一个可能的实现方式中，所述根据所述第二业务数据的数据量和所述第二业务数据的数据类型，对所述合并后的业务数据进行发送处理，包括：

若所述第二业务数据的数据类型为快照数据，且所述第二业务数据的数据量处于第一数据量区间，则发送所述合并后的业务数据；

若所述第二业务数据的数据类型为快照数据，且所述第二业务数据的数据量处于第二数据量区间，则不发送所述合并后的业务数据。

若所述第二业务数据的数据类型为挂单数据，且所述第二业务数据的数据量处于第一数据量区间，则对所述合并后的业务数据进行发送；

若所述第二业务数据的数据类型为快照数据，且所述第二业务数据的数据量处于第二数据量区间，则将所述合并后的业务数据中的第二业务数据的数值置零，以得到处理后的合并后的业务数据；

发送所述处理后的合并后的业务数据。

结合第一方面，在一个可能的实现方式中，所述方法还包括：

获取所述第一业务数据的数据接收时长；

若所述数据接收时长高于预设的数据切片时长，则缓存所述第一业务数据和缓存所述第一业务数据接收时长。

获取所述第一业务数据的数据类型；

根据所述第一业务数据的数据类型，确定与所述第一业务数据对应的业务规则；

根据所述业务规则，确定K个数据处理模板；

根据所述第一业务数据的数据量和所述第一业务数据对应的用户类型，从所述K个数据处理模板中确定出目标数据处理模板；

根据所述目标数据处理模板对所述第一业务数据进行处理，以得到数据处理结果。

本申请实施例的第二方面提供了一种数据处理装置，所述装置包括：

接收单元，用于接收第一业务数据；

获取单元，用于从缓存中获取与所述第一业务数据对应的第二业务数据；

合并单元，用于将所述第一业务数据和所述第二业务数据进行合并处理，以得到合并后的业务数据；

发送单元，用于根据所述第二业务数据的数据量和所述第二业务数据的数据类型，对所述合并后的业务数据进行发送处理。

结合第二方面，在一个可能的实现方式中，所述发送单元用于：

发送所述处理后的合并后的业务数据。

结合第二方面，在一个可能的实现方式中，所述装置还用于：

获取所述第一业务数据的数据接收时长；

获取所述第一业务数据的数据类型；

根据所述业务规则，确定K个数据处理模板；

本申请实施例的第三方面提供一种终端，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如本申请实施例第一方面中的步骤指令。

本申请实施例的第四方面提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。

本申请实施例的第五方面提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

实施本申请实施例，至少具有如下有益效果：

通过接收第一业务数据，从缓存中获取与所述第一业务数据对应的第二业务数据，将所述第一业务数据和所述第二业务数据进行合并处理，以得到合并后的业务数据，根据所述第二业务数据的数据量和所述第二业务数据的数据类型，对所述合并后的业务数据进行发送处理，因此，可以对第一业务数据和第二业务数据进行合并发送，从而提升了数据发送时的及时性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1 为本申请实施例提供了一种数据处理方法的流程示意图；

图2为本申请实施例提供了另一种数据处理方法的流程示意图；

图3为本申请实施例提供的一种终端的结构示意图；

图4为本申请实施例提供了一种数据处理装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。

请参阅图1，图1 为本申请实施例提供了一种数据处理方法的流程示意图。如图1所示，该数据处理方法可以应用于数据处理系统，数据处理方法包括：

101、接收第一业务数据。

其中，第一业务数据可以是高频率二级市场交易数据，该交易数据具有原始数据量大、推送频率高的特性。第一业务数据具体例如可以是挂单数据、快照数据等。在接收到第一业务数据后，可以对第一业务数据进行缓存。例如，可以按照第一业务数据的接收时长等对第一业务数据进行缓存等。

102、从缓存中获取与所述第一业务数据对应的第二业务数据。

第二业务数据是缓存中的业务数据，该业务数据也可以是高频率二级市场交易数据，第二业务数据具体例如可以是挂单数据、快照数据等。第二业务数据与第一业务数据的数据类型不同，例如，第一业务数据为快照数据，第二业务数据可以为挂单数据等。可以按照缓存中第二业务数据的地址信息，从缓存中提取到第二业务数据。

当然缓存中的第二业务数据也是接收到的数据，在接收到第二业务数据后，将第二业务数据进行缓存。

103、将所述第一业务数据和所述第二业务数据进行合并处理，以得到合并后的业务数据。

将第一业务数据和第二业务数据进行合并处理的方法可以是，将第一业务数据和第二业务数据按照预设顺序进行组合处理，例如，按照第一业务数据在第二业务数据之前的方式进行组合，从而得到合并后的业务数据。

104、根据所述第二业务数据的数据量和所述第二业务数据的数据类型，对所述合并后的业务数据进行发送处理。

第二业务数据的数据类型可以包括有快照数据、挂单数据等。对合并后的业务数据进行发送处理时，具体可以根据第二业务数据的数据类型以及数据量进行发送，不同的数据量可以具有不同的发送处理方式。

本示例中，通过接收第一业务数据，从缓存中获取与所述第一业务数据对应的第二业务数据，将所述第一业务数据和所述第二业务数据进行合并处理，以得到合并后的业务数据，根据所述第二业务数据的数据量和所述第二业务数据的数据类型，对所述合并后的业务数据进行发送处理，因此，可以对第一业务数据和第二业务数据进行合并发送，从而提升了数据发送时的及时性。

在一个可能的实现方式中，一种可能的根据所述第二业务数据的数据量和所述第二业务数据的数据类型，对所述合并后的业务数据进行发送处理的方法包括：

A1、若所述第二业务数据的数据类型为快照数据，且所述第二业务数据的数据量处于第一数据量区间，则发送所述合并后的业务数据；

A2、若所述第二业务数据的数据类型为快照数据，且所述第二业务数据的数据量处于第二数据量区间，则不发送所述合并后的业务数据。

其中，第一数据量区间可以是（0，x）的子集，x为任意正数。第二数据量区间可以是空集，即第二数据量区间的元数的个数为0，具体可以理解为第二数据量区间对应的数据量为0。

具体可以理解为，若不存在与第一业务数据对应的快照数据时，则不发送第一业务数据。

B1、若所述第二业务数据的数据类型为挂单数据，且所述第二业务数据的数据量处于第一数据量区间，则对所述合并后的业务数据进行发送；

B2、若所述第二业务数据的数据类型为快照数据，且所述第二业务数据的数据量处于第二数据量区间，则将所述合并后的业务数据中的第二业务数据的数值置零，以得到处理后的合并后的业务数据；

B3、发送所述处理后的合并后的业务数据。

第一数据量区间、第二数据量区间和前述实施例中的第一数据量区间、第二数量区间对应相同。

将所述合并后的业务数据中的第二业务数据的数值置零，以得到处理后的合并后的业务数据可以理解为：将合并后的业务数据中的第二业务数据对应的标识位置零，并删除第二业务数据对应的位置。

发送处理后的合并后的业务数据可以理解为：将处理后的合并后的业务数据发送给对应的用户。

在一个可能的实现方式中，还可以对接收的数据进行切片处理，具体如下：

C1、获取所述第一业务数据的数据接收时长；

C2、若所述数据接收时长高于预设的数据切片时长，则缓存所述第一业务数据和缓存所述第一业务数据接收时长。

第一业务数据的接收时长可以理解为接收第一业务数据时所使用的时长。

其中，预设的数据切片时长可以通过经验值或历史数据设定。例如可以是3秒等。

数据接收时长高于预设的数据切片时长时，还可以对该第一数据进行对应的处理，例如，可以根据第一业务数据的数据类型等对第一业务数据进行处理，以得到处理结果。

在一个可能的实现方式中，还可以对第一业务数据进行处理，具体如下：

D1、获取所述第一业务数据的数据类型；

D2、根据所述第一业务数据的数据类型，确定与所述第一业务数据对应的业务规则；

D3、根据所述业务规则，确定K个数据处理模板；

D4、根据所述第一业务数据的数据量和所述第一业务数据对应的用户类型，从所述K个数据处理模板中确定出目标数据处理模板；

D5、根据所述目标数据处理模板对所述第一业务数据进行处理，以得到数据处理结果。

其中，可以根据第一业务数据中携带的数据类型标识，来确定出第一业务数据的数据类型，也可以是对第一业务数据进行解析，以得到第一业务数据的文本信息；对该文本信息进行文本分析，以得到第一业务数据的数据类型。对该文本信息进行文本分析，以得到第一业务数据的数据类型的方法例如可以是：可以对该文本信息进行关键字提取，以得到关键词组；根据该关键词组来确定出第一业务数据的数据类型。不同的关键词组对应有不同的数据类型，从而可以根据关键词组来确定出第一业务数据的数据类型。

不同的数据类型，对应有不同的业务规则。该业务规则可以理解为业务处理规则、业务处理方法等。一个业务规则可以对应有多个不同的数据处理模板，该多个数据处理模板是用于对业务数据进行处理，例如，对业务数据中的关键数据进行提取、关键数据进行解析、业务数据具有的数据增长趋势等。

数据量区间对应有数据处理模板，则可以根据数据量从K个数据处理模板中确定出至少一个对应的数据处理模板。用户类型对应有数据处理模板，用户类型可以对应有多个数据处理模板，从而可以将数据量所在的数据量区间对应的至少一个数据处理模板和用户类型可以对应有多个数据处理模板中相同的数据处理模板，确定为目标数据处理模板。

根据所述目标数据处理模板对所述第一业务数据进行处理，以得到数据处理结果具体可以理解为：此处以目标数据处理模板为业务数据具有的数据增长趋势对应的数据处理模板，则可以从第一业务数据中提取到第一业务数据中的数据增长趋势。该数据增长趋势则为数据处理结果。当然还可以是其他的数据处理结果，此处仅为举例说明。

本示例中，通过对根据所述第一业务数据的数据类型，确定与所述第一业务数据对应的业务规则，根据所述业务规则，确定K个数据处理模板，根据所述第一业务数据的数据量和所述第一业务数据对应的用户类型，从所述K个数据处理模板中确定出目标数据处理模板，因此，可以基于该目标数据处理模板对第一业务数据进行处理，提升了对第一业务数据处理时的便捷性。

在一个具体的实施例中，本申请实施例提供了一种数据切片方法，具体如下：

数据处理系统约定数据切片时间间隔（默认为3秒，可配置修改）。在收到数据时，以数据代码为关键字建立最新数据缓存，若为第1条或根据缓存计算出的数据接收时间间隔超过切片时间间隔，则此条数据流转到下步处理并将当前数据及其接收时间记录到内存缓存，否则丢弃此条数据，从而完成数据切片，使数据能得到高效及时处理。

在一个具体的实施例中，本申请实施例还提供一种数据拼接方法，该数据拼接方法可以适用于原始数据存在两项或多项数据子项，但业务数据却需要将其按指定的业务规则来拼接加工才能符合要求，以此保证数据不出现丢失。

此处以快照数据和挂单数据进行举例说明，快照数据和挂单数据独立传输，且传输的时间顺序并非一致，因此需要做拼接加工处理才能流转到下步处理流程，下一步处理流程例如可以是对拼接后的数据进行发送等。拼接规则和方法如下：

（1）挂单数据和快照数据按标的分别建立最新数据缓存;

（2）快照数据到达时，首先更新快照数据缓存；检测有对应的挂单数据，则将挂单数据合并到快照数据，得到合并后的数据并发出；若此时无挂单数据缓存，则将合并数据中挂单数值置零发出；

（3）挂单数据到达时，首先更新挂单数据缓存；检测有对应的快照数据，则用当前的快照数据合并最新挂单数据得到合并后的数据并发出；若此时没有快照数据缓存，则只更新挂单数据缓存但不发出合并后的数据；

（4）合并发出后挂单数据和快照数据的缓存不用清理。

请参阅图2，图2 为本申请实施例提供了另一种数据处理方法的流程示意图。如图2所示，该数据处理方法可以应用于数据处理系统，数据处理方法包括：

201、接收第一业务数据；

202、从缓存中获取与所述第一业务数据对应的第二业务数据；

203、将所述第一业务数据和所述第二业务数据进行合并处理，以得到合并后的业务数据；

204、根据所述第二业务数据的数据量和所述第二业务数据的数据类型，对所述合并后的业务数据进行发送处理；

205、获取所述第一业务数据的数据类型；

206、根据所述第一业务数据的数据类型，确定与所述第一业务数据对应的业务规则；

207、根据所述业务规则，确定K个数据处理模板；

208、根据所述第一业务数据的数据量和所述第一业务数据对应的用户类型，从所述K个数据处理模板中确定出目标数据处理模板；

209、根据所述目标数据处理模板对所述第一业务数据进行处理，以得到数据处理结果。

与上述实施例一致的，请参阅图3，图3为本申请实施例提供的一种终端的结构示意图，如图所示，包括处理器、输入设备、输出设备和存储器，处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，上述程序包括用于执行以下步骤的指令；

接收第一业务数据；

从缓存中获取与所述第一业务数据对应的第二业务数据；

上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，终端为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对终端进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

与上述一致的，请参阅图4，图4为本申请实施例提供了一种数据处理装置的结构示意图。如图4所示，所述装置包括：

接收单元401，用于接收第一业务数据；

获取单元402，用于从缓存中获取与所述第一业务数据对应的第二业务数据；

合并单元403，用于将所述第一业务数据和所述第二业务数据进行合并处理，以得到合并后的业务数据；

发送单元404，用于根据所述第二业务数据的数据量和所述第二业务数据的数据类型，对所述合并后的业务数据进行发送处理。

在一个可能的实现方式中，所述发送单元404用于：

发送所述处理后的合并后的业务数据。

在一个可能的实现方式中，所述装置还用于：

获取所述第一业务数据的数据接收时长；

在一个可能的实现方式中，所述装置还用于：

获取所述第一业务数据的数据类型；

根据所述业务规则，确定K个数据处理模板；

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种数据处理方法的部分或全部步骤。

本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种数据处理方法的部分或全部步骤。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。

所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器、随机存取器、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种数据处理方法，其特征在于，所述方法包括：

接收第一业务数据；

从缓存中获取与所述第一业务数据对应的第二业务数据；

根据所述第二业务数据的数据量和所述第二业务数据的数据类型，对所述合并后的业务数据进行发送处理，具体包括：若所述第二业务数据的数据类型为挂单数据，且所述第二业务数据的数据量处于第一数据量区间，则对所述合并后的业务数据进行发送；若所述第二业务数据的数据类型为快照数据，且所述第二业务数据的数据量处于第二数据量区间，则将所述合并后的业务数据中的第二业务数据的数值置零，以得到处理后的合并后的业务数据；发送所述处理后的合并后的业务数据。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述第一业务数据的数据接收时长；

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

获取所述第一业务数据的数据类型；

根据所述业务规则，确定K个数据处理模板；

4.一种数据处理装置，其特征在于，所述装置包括：

接收单元，用于接收第一业务数据；

发送单元，用于根据所述第二业务数据的数据量和所述第二业务数据的数据类型，对所述合并后的业务数据进行发送处理，具体用于：所述第二业务数据的数据类型为挂单数据，且所述第二业务数据的数据量处于第一数据量区间，则对所述合并后的业务数据进行发送；若所述第二业务数据的数据类型为快照数据，且所述第二业务数据的数据量处于第二数据量区间，则将所述合并后的业务数据中的第二业务数据的数值置零，以得到处理后的合并后的业务数据；发送所述处理后的合并后的业务数据。

5.一种终端，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-3任一项所述的方法。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-3任一项所述的方法。