CN106294857A - 一种数据处理方法及数据处理设备 - Google Patents

Abstract

本申请提供一种数据处理方法及数据处理设备。所述数据处理方法包括如下步骤：预先为预设数量的业务系统分配优先级；接收待处理的业务数据；当所述业务数据所处的业务系统的优先级满足预设条件时，为所述业务数据设置存储标识；根据预设负载均衡规则确定所述存储标识的赋值；将所述业务数据存储到与所述存储标识的赋值相对应的存储位置，形成已处理业务数据。本申请实施方式提供的一种数据处理方法及数据处理设备，能够缓解可能产生的数据堵塞现象，并且能够均衡地分配数据，以达到数据库负载均衡的目的。

Description

一种数据处理方法及数据处理设备

技术领域

本申请涉及网络通信技术领域，特别涉及一种数据处理方法及数据处理设备。

背景技术

随着互联网技术的发展，涌现出大量的网络平台，这些网络平台包括支付平台、网络社交平台和自由媒体平台。目前熟知的支付宝可以属于支付平台，人人网可以属于网络社交平台，新浪微博可以属于自由媒体平台。每个平台一般可以包括业务系统和数据中心。其中，业务系统可以负责平台正常业务的运行；数据中心则可以将业务系统待发送的业务数据进行加工处理后发送给相应的用户。

目前，大多数网络平台的数据中心都是按照先到先处理，后到后处理的原则处理业务系统发来的业务数据。例如，数据中心分别接收到交易系统、认证系统以及商友系统发来的消息A、消息B以及消息C。这三条消息到达数据中心的时间顺序分别为消息B、消息A以及消息C，那么消息系统则会优先处理消息B然后处理消息A最后处理消息C。

此外，在数据存储时通常根据某个规则对数据进行分库分表来保证数据库的负载均衡。例如，利用传统的hash映射的方式来代表数据内容和数据存储地址之间的映射关系，将数据存储到相应的数据库。具体的，数据分配可以包括：将代表数据内容和数据存放地址之间映射关系的存储标识编码在待处理数据的ID上；将所述待处理数据存储在所述存储标识对应的存储地址。进一步的，当所述待处理数据需要进行加载处理时，可以确定与所述存储标识相对应的加载标识；从所述加载标识对应的存储地址中加载所述数据，进行数据处理。

然而，现有技术中对网络中产生的业务数据进行处理的方法，当产生业务数据的速度超过处理业务数据的速度时，便会造成业务数据的堵塞，而导致数据处理系统的瘫痪。此外，现有技术中对数据进行处理的方法有可能导致数据库中存储的数据分布不均，数据库压力不一致。

应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

本申请实施方式的目的在于提供一种数据处理方法及数据处理设备，能够缓解可能产生的数据堵塞现象，并且能够均衡地分配数据，以达到数据库负载均衡的目的。

为实现上述目的，本申请一方面提供一种数据处理方法，所述方法包括：预先为预设数量的业务系统分配优先级；接收待处理的业务数据；当所述业务数据所处的业务系统的优先级满足预设条件时，为所述业务数据设置存储标识；根据预设负载均衡规则确定所述存储标识的赋值；将所述业务数据存储到与所述存储标识的赋值相对应的存储位置，形成已处理业务数据。

进一步地，预先为预设数量的业务系统分配优先级具体包括：预先建立预设数量的业务系统中各个业务系统的标识与优先级的对应关系，其中，所述业务系统的标识包括文本名称或代码；所述业务数据所处的业务系统的优先级按照下述步骤确定：提取所述业务数据中携带的业务系统的标识；根据各个业务系统的标识与优先级的对应关系，查询提取的业务系统的标识对应的优先级；将查询的业务系统的标识对应的优先级确定为所述业务数据的优先级。

进一步地，所述业务数据所处的业务系统的优先级满足预设条件具体包括：所述业务数据所处的业务系统的优先级大于或者等于预设优先级阈值。

进一步地，所述方法还包括：为所述已处理业务数据设置加载标识并确定所述加载标识的赋值；基于所述已处理业务数据的加载标识中的赋值加载所述已处理业务数据。

进一步地，所述预设负载均衡规则包括：根据数据库的数据负载情况将所述业务数据迁移至预设数据库；相应的，根据预设负载均衡规则确定所述存储标识的赋值具体包括：基于所述预设数据库的存储地址设置所述存储标识的赋值。

进一步地，所述负载均衡规则包括：根据数据库的数据负载情况以及所述业务数据的数据类型，确定所述业务数据的存储数据库；相应的，根据预设负载均衡规则确定所述存储标识的赋值具体包括：根据所述业务数据对应的存储数据库的地址设置所述存储标识的赋值。

为实现上述目的，本发明还提供一种数据处理设备，包括：优先级分配单元，用于预先为预设数量的业务系统分配优先级；业务数据接收单元，用于接收待处理的业务数据；存储标识设置单元，用于当所述业务数据所处的业务系统的优先级满足预设条件时，为所述业务数据设置存储标识；赋值确定单元，用于根据预设负载均衡规则确定所述存储标识的赋值；处理单元，用于将所述业务数据存储到与所述存储标识的赋值相对应的存储位置，形成已处理业务数据。

进一步地，所述优先级分配单元具体包括：对应关系建立模块，用于预先建立预设数量的业务系统中各个业务系统的标识与优先级的对应关系，其中，所述标识包括文本名称或代码；相应地，所述存储标识设置单元具体包括：标识提取模块，用于提取所述业务数据中携带的业务系统的标识；优先级查询模块，用于根据各个业务系统的标识与优先级的对应关系，查询提取的业务系统的标识对应的优先级；优先级确定模块，用于将查询的业务系统的标识对应的优先级确定为所述业务数据的优先级。

进一步地，所述赋值确定单元具体包括：数据库迁移模块，用于根据数据库的数据负载情况将所述业务数据迁移至预设数据库；赋值设置模块，用于基于所述预设数据库的存储地址设置所述存储标识的赋值。

进一步地，所述数据库迁移模块还用于根据数据库的数据负载情况以及所述业务数据的数据类型，确定所述业务数据的存储数据库；所述赋值设置模块还用于根据所述业务数据对应的存储数据库的地址设置所述存储标识的赋值。

本申请实施方式通过预先为不同的业务系统划分优先级，从而可以在业务数据量较大时仅处理优先级满足预设条件的业务数据，从而减少了需要处理的业务数据量，缓解了业务数据堵塞的现象。此外，本申请可以根据实际负载情况均衡分配数据，从而保证数据库负载均衡。由上可见，本申请实施方式提供的一种数据处理方法及数据处理设备，能够缓解可能产生的数据堵塞现象，并且能够均衡地分配数据，以达到数据库负载均衡的目的。

参照后文的说明和附图，详细公开了本申请的特定实施方式，指明了本申请的原理可以被采用的方式。应该理解，本申请的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本申请的实施方式包括许多改变、修改和等同。

针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。

附图说明

所包括的附图用来提供对本申请实施方式的进一步的理解，其构成了说明书的一部分，用于例示本申请的实施方式，并与文字描述一起来阐释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本申请实施方式提供的一种数据处理方法的流程图；

图2为本申请实施方式提供的一种数据处理设备的功能模块图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施方式，都应当属于本申请保护的范围。

图1为本申请实施方式提供的一种数据处理方法的流程图。请参阅图1，所述方法可以包括以下步骤。

步骤S1：预先为预设数量的业务系统分配优先级。

在本实施方式中，每个网络平台都可以有自身的业务系统侧重点，例如支付宝平台在交易系统、认证系统以及商友系统中可以侧重交易系统。本申请实施例可以将各个业务系统设置优先级，让数据中心优先处理优先级比较高的业务系统的业务数据。具体地，可以预先建立预设数量的业务系统中各个业务系统的标识与优先级的对应关系，其中，所述标识包括文本名称或代码。所述业务系统的优先级可以是网络平台运营方预先设置的。例如，支付宝平台的运营方可以预先将该平台中交易系统的优先级设置为高，将认证系统和商友系统的优先级设置为低。

在本实施方式中，网络平台中的业务系统均可以用一个唯一的代码来代表，例如支付宝平台中的交易系统可以用A100代表，认证系统可以用A101代表，商友系统可以用A102代表。这些业务系统与其代码的对应关系可以存储在网络平台的数据库中。所述数据库可以位于某个服务器中，也可以位于某个逻辑体中。所述数据库中的内容可以被网络平台中的其他实体或者逻辑体访问。

在本实施方式中，各个业务系统还可以通过文本名称来表示，例如支付宝平台中的交易系统可以用“交易”代表，认证系统可以用“认证”代表，商友系统可以用“商友”代表。这些业务系统与其文本名称的对应关系同样可以存储在网络平台的数据库中。

步骤S2：接收待处理的业务数据。

步骤S3：当所述业务数据所处的业务系统的优先级满足预设条件时，为所述业务数据设置存储标识。

在本实施方式中，当业务系统产生业务数据的速度过快，超过了业务数据处理速度时，可以对接收到的待处理的业务数据的优先级进行判定。这样，可以对优先级较高的业务数据进行处理和存储，而对于优先级较低的数据可以直接丢弃，以缓解可能发生的数据堵塞问题。

在本实施方式中，可以从所述业务数据中提取所述业务数据中携带的业务系统的标识。在提取出所述标识之后，可以根据各个业务系统的标识与优先级的对应关系，查询提取的业务系统的标识对应的优先级。查询得到的优先级可以是业务系统对应的优先级，而由业务系统发出的业务数据可以与业务系统保持相同的优先级，因此，可以将查询的业务系统的标识对应的优先级确定为所述业务数据的优先级。

在本实施方式中，在判定业务数据的优先级是否满足预设条件时，可以预先设置优先级阈值。这样，当所述业务数据所处的业务系统的优先级大于或者等于预设优先级阈值时，则可以判定所述业务数据的优先级满足预设条件。

在本实施方式中，所述业务数据可以包括业务处理过程中需要进行入库存储的数据。具体的，所述存储标识可以代表所述业务数据与所述业务数据存储位置之间的映射关系。本实施例中根据待处理业务数据的存储标识可以执行将所述待处理业务数据进行存储的操作。

在一个具体的实施例中，以微博消息通知系统为例，假设某微博账号用户发表了一条微博。相应的，所述微博需要广播通知给所述微博账号用户的粉丝；假设所述微博账号用户的粉丝数为1000，那么1000个粉丝就需要生成1000条通知记录，所述1000条通知记录可以作为业务处理过程中需要进行入库存储的业务数据。然后可以为所述微博设置存储标识store_ddl_flag。

步骤S4：根据预设负载均衡规则确定所述存储标识的赋值。

在本实施方式中，所述负载均衡规则可以包括根据数据库的数据负载情况将所述业务数据迁移至预设数据库。相应的，根据预设负载均衡规则确定所述存储标识的赋值具体包括：基于所述预设数据库的存储地址设置所述存储标识的赋值。

在本实施方式中，所述负载均衡规则可以包括根根据数据库的数据负载情况以及所述业务数据的数据类型，确定所述业务数据的存储数据库。相应的，根据预设负载均衡规则确定所述存储标识的赋值具体包括：根据所述业务数据对应的存储数据库的地址设置所述存储标识的赋值。所述预设业务类型可以包括一个业务类型和/或多个业务类型。

在本实施方式中，所述数据库的负载情况可以包括数据库中存储的业务数据的数据量信息，还可以包括所述数据库中存储的业务数据所属业务类型的自相关数据量属性。所述业务类型的自相关数据量属性可以包括所述业务类型的业务数据的数据量信息。在一个具体的实施例中，以微博消息通知系统为例，所述业务类型的自相关数据量属性可以包括某一微博账号用户相关的业务数据的数据量信息。这里不同的微博账号用户对应着不同的业务类型，每个微博账号用户的通知记录等相关的业务数据的数据量对应着该微博账号用户的自相关数据量属性。

本实施方式中，为所述待处理业务数据设置了相应的存储标识之后，可以根据设置的负载均衡规则确定所述存储标识的赋值。

步骤S5：将所述业务数据存储到与所述存储标识的赋值相对应的存储位置，形成已处理业务数据。

在本实施方式中，在对所述业务数据的存储标识进行赋值之后，便可以将所述业务数据存储到与所述存储标识的赋值相对应的存储位置，形成已处理业务数据。

在本申请中，在步骤S5之后，所述方法还可以包括：为所述已处理业务数据设置加载标识并确定所述加载标识的赋值；基于所述已处理业务数据的加载标识中的赋值加载所述已处理业务数据。

在本实施方式中，所述已处理业务数据的加载标识可以与所述待处理业务数据的存储标识相对应，代表所述已处理业务数据与所述已处理业务数据存储位置之间的映射关系。本实施例中根据已处理业务数据的加载标识可以执行将所述已处理业务数据进行加载的操作。在一些实施例中，所述待处理业务数据的加载标识的赋值可以与所述已处理业务数据的存储标识的赋值一致。此外，在一些实施例中，所述待处理业务数据的加载标识的赋值可以与所述已处理业务数据的存储标识的赋值不一致，但所述已处理业务数据加载标识的赋值所对应的负载均衡规则与所述待处理业务数据的存储标识的赋值所对应的负载均衡规则一致。

具体的，所述加载标识的赋值可以包括：根据所述设置的负载均衡规则设置的所述已处理业务数据的加载标识的赋值。具体的，例如在一个实施例中，若所述负载均衡规则包括：根据数据库的数据负载情况将指定位置的业务数据迁移至预设数据库时，相应的，所述根据所述设置的负载均衡规则设置的所述已处理业务数据的加载标识的赋值可以包括：基于所述已处理业务数据在迁移至的所述预设数据库的存储地址设置的所述加载标识的赋值。如上所述，若所述负载均衡规则包括：根据数据库的数据负载情况设置相应业务类型的业务数据的存储数据库时，相应的，所述根据所述设置的负载均衡规则设置的所述已处理业务数据的加载标识的赋值包括：根据所述已处理业务数据存储至所述存储数据库的地址设置所述加载标识的赋值。

本申请还提供一种数据处理设备。请参阅图2，所述数据处理设备包括：

优先级分配单元100，用于预先为预设数量的业务系统分配优先级；

业务数据接收单元200，用于接收待处理的业务数据；

存储标识设置单元300，用于当所述业务数据所处的业务系统的优先级满足预设条件时，为所述业务数据设置存储标识；

赋值确定单元400，用于根据预设负载均衡规则确定所述存储标识的赋值；

处理单元500，用于将所述业务数据存储到与所述存储标识的赋值相对应的存储位置，形成已处理业务数据。

在本申请一个优选实施方式中，所述优先级分配单元100具体包括：

对应关系建立模块，用于预先建立预设数量的业务系统中各个业务系统的标识与优先级的对应关系，其中，所述标识包括文本名称或代码；

相应地，所述存储标识设置单元300具体包括：

标识提取模块，用于提取所述业务数据中携带的业务系统的标识；

优先级查询模块，用于根据各个业务系统的标识与优先级的对应关系，查询提取的业务系统的标识对应的优先级；

优先级确定模块，用于将查询的业务系统的标识对应的优先级确定为所述业务数据的优先级。

在本申请一个优选实施方式中，所述赋值确定单元400具体包括：

数据库迁移模块，用于根据数据库的数据负载情况将所述业务数据迁移至预设数据库；

赋值设置模块，用于基于所述预设数据库的存储地址设置所述存储标识的赋值。

在本申请一个优选实施方式中，所述数据库迁移模块还用于根据数据库的数据负载情况以及所述业务数据的数据类型，确定所述业务数据的存储数据库；所述赋值设置模块还用于根据所述业务数据对应的存储数据库的地址设置所述存储标识的赋值。

需要说明的是，上述各个功能模块的具体实现方式与本申请实施方式中步骤S1至S5中的描述一致，这里便不再赘述。

本申请实施方式通过预先为不同的业务系统划分优先级，从而可以在业务数据量较大时仅处理优先级满足预设条件的业务数据，从而减少了需要处理的业务数据量，缓解了业务数据堵塞的现象。此外，本申请可以根据实际负载情况均衡分配数据，从而保证数据库负载均衡。由上可见，本申请实施方式提供的一种数据处理方法及数据处理设备，能够缓解可能产生的数据堵塞现象，并且能够均衡地分配数据，以达到数据库负载均衡的目的。

上面对本申请的各种实施方式的描述以描述的目的提供给本领域技术人员。其不旨在是穷举的、或者不旨在将本发明限制于单个公开的实施方式。如上所述，本申请的各种替代和变化对于上述技术所属领域技术人员而言将是显而易见的。因此，虽然已经具体讨论了一些另选的实施方式，但是其它实施方式将是显而易见的，或者本领域技术人员相对容易得出。本申请旨在包括在此已经讨论过的本发明的所有替代、修改、和变化，以及落在上述申请的精神和范围内的其它实施方式。

本说明书中的各个实施方式均采用递进的方式描述，各个实施方式之间相同相似的部分互相参见即可，每个实施方式重点说明的都是与其他实施方式的不同之处。尤其，对于方法实施方式而言，由于其基本相似于系统实施方式，所以描述的比较简单，相关之处参见系统实施方式的部分说明即可。

虽然通过实施方式描绘了本申请，本领域普通技术人员知道，本申请有许多变形和变化而不脱离本申请的精神，希望所附的权利要求包括这些变形和变化而不脱离本申请的精神。

Claims (10)

1.一种数据处理方法，其特征在于，包括如下步骤：

预先为预设数量的业务系统分配优先级；

接收待处理的业务数据；

当所述业务数据所处的业务系统的优先级满足预设条件时，为所述业务数据设置存储标识；

根据预设负载均衡规则确定所述存储标识的赋值；

将所述业务数据存储到与所述存储标识的赋值相对应的存储位置，形成已处理业务数据。

2.根据权利要求1所述的方法，其特征在于，预先为预设数量的业务系统分配优先级具体包括：

预先建立预设数量的业务系统中各个业务系统的标识与优先级的对应关系，其中，所述业务系统的标识包括文本名称或代码；

所述业务数据所处的业务系统的优先级按照下述步骤确定：

提取所述业务数据中携带的业务系统的标识；

根据各个业务系统的标识与优先级的对应关系，查询提取的业务系统的标识对应的优先级；

将查询的业务系统的标识对应的优先级确定为所述业务数据的优先级。

3.根据权利要求1所述的方法，其特征在于，所述业务数据所处的业务系统的优先级满足预设条件具体包括：

所述业务数据所处的业务系统的优先级大于或者等于预设优先级阈值。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

为所述已处理业务数据设置加载标识并确定所述加载标识的赋值；

基于所述已处理业务数据的加载标识中的赋值加载所述已处理业务数据。

5.根据权利要求1所述的方法，其特征在于，所述预设负载均衡规则包括：

根据数据库的数据负载情况将所述业务数据迁移至预设数据库；

相应的，根据预设负载均衡规则确定所述存储标识的赋值具体包括：

基于所述预设数据库的存储地址设置所述存储标识的赋值。

6.根据权利要求1所述的方法，其特征在于，所述负载均衡规则包括：

根据数据库的数据负载情况以及所述业务数据的数据类型，确定所述业务数据的存储数据库；

相应的，根据预设负载均衡规则确定所述存储标识的赋值具体包括：

根据所述业务数据对应的存储数据库的地址设置所述存储标识的赋值。

7.一种数据处理设备，其特征在于，包括：

优先级分配单元，用于预先为预设数量的业务系统分配优先级；

业务数据接收单元，用于接收待处理的业务数据；

存储标识设置单元，用于当所述业务数据所处的业务系统的优先级满足预设条件时，为所述业务数据设置存储标识；

赋值确定单元，用于根据预设负载均衡规则确定所述存储标识的赋值；以及

处理单元，用于将所述业务数据存储到与所述存储标识的赋值相对应的存储位置，形成已处理业务数据。

8.根据权利要求7所述的数据处理设备，其特征在于，所述优先级分配单元具体包括：

对应关系建立模块，用于预先建立预设数量的业务系统中各个业务系统的标识与优先级的对应关系，其中，所述标识包括文本名称或代码；

相应地，所述存储标识设置单元具体包括：

标识提取模块，用于提取所述业务数据中携带的业务系统的标识；

优先级查询模块，用于根据各个业务系统的标识与优先级的对应关系，查询提取的业务系统的标识对应的优先级；以及

优先级确定模块，用于将查询的业务系统的标识对应的优先级确定为所述业务数据的优先级。

9.根据权利要求7所述的数据处理设备，其特征在于，所述赋值确定单元具体包括：

数据库迁移模块，用于根据数据库的数据负载情况将所述业务数据迁移至预设数据库；以及

赋值设置模块，用于基于所述预设数据库的存储地址设置所述存储标识的赋值。

10.根据权利要求9所述的数据处理设备，其特征在于：

所述数据库迁移模块还用于根据数据库的数据负载情况以及所述业务数据的数据类型，确定所述业务数据的存储数据库；

所述赋值设置模块还用于根据所述业务数据对应的存储数据库的地址设置所述存储标识的赋值。