CN106022874A - 一种订单数据处理方法、订单系统及流量充值系统 - Google Patents

Abstract

本发明公开了一种订单数据处理方法、订单系统及流量充值系统。其中，所述方法包括：接收订单数据；按照预设的负载均衡策略，在两个或两个以上的数据分片shard中确定出用于写入所述订单数据的shard；将所述订单数据在所述shard中缓存为二进制日志binlog数据。本发明实施例首先按照预设的负载均衡策略，为订单数据指定shard，横向的提高了负载并发能力；然后将订单数据在shard中缓存为binlog数据，实现了将磁盘IO转化为内存IO，将数据的访问效率最大优化到内存访问的速度，进而提高了数据的处理效率。

Description

一种订单数据处理方法、订单系统及流量充值系统

技术领域

本发明涉及计算机应用技术领域，具体地说，涉及一种订单数据处理方法、订单系统及流量充值系统。

背景技术

目前，移动业务的客户群非常巨大，服务器需面临处理大量用户同时接入的问题，例如，集中在同一时刻摇一摇获取红包，或集中下单网购等。传统的处理方式是采用集中的数据库进行信息存储，这种方式可以在一定程度上支持用户量的增长，但是当用户量增长到一定程度后集中的数据库就会无法承受并发用户访问的压力。

数据库大小以及数据库上每单元时间内的交易数呈线性增长，查询数据库的响应时间(response time)就会以指数方式增长。显然，如何解决高并发量的数据访问是目前亟待解决的问题。

发明内容

有鉴于此，提出了本发明以便于提供一种克服上述问题或者至少部分地解决上述问题的订单数据处理方法、订单系统及流量充值系统。

为了解决上述技术问题，本发明公开了一种订单数据处理方法，包括：

接收订单数据；

按照预设的负载均衡策略，在两个或两个以上的数据分片shard中确定出用于写入所述订单数据的shard；

将所述订单数据在所述shard中缓存为二进制日志binlog数据。

可选的，上述的方法中，所述按照预设的负载均衡策略，在两个或两个以上的shard中确定出用于写入所述订单数据的shard，具体为：

在所述两个或两个以上的shard中，将缓存空间最大的shard作为用于写入所述订单数据的shard。

可选的，上述的方法，还包括：

对数据库进行切分sharding，得到所述两个或两个以上的shard。

可选的，上述的方法，还包括：

当接收到数据读取指令时，获取所述数据读取指令携带的shard标识及数据标识；

从具有所述shard标识的shard缓存中读取所述数据标识对应的binlog数据。

可选的，上述的方法，还包括：将shard中缓存时长大于预设时长的数据进行清除。

本发明还公开了一种订单系统，包括：

接收模块，用于接收订单数据；

确定模块，用于按照预设的负载均衡策略，在两个或两个以上的数据分片shard中确定出用于写入所述订单数据的shard；

存储模块，用于将所述订单数据在所述shard中缓存为二进制日志binlog数据。

可选的，上述的装置中，所述确定模块，具体用于在所述两个或两个以上的shard中，将缓存空间最大的shard作为用于写入所述订单数据的shard。

可选的，上述的装置，还包括：

切分模块，用于对数据库进行切分sharding，得到所述两个或两个以上的shard。

可选的，上述的装置，还包括：

获取模块，用于当接收到数据读取指令时，获取所述数据读取指令携带的shard标识及数据标识；

读取模块，用于从具有所述shard标识的shard缓存中读取所述数据标识对应的binlog数据。

可选的，上述的装置，还包括：

清除模块，用于将shard中缓存时长大于预设时长的数据进行清除。

本发明还公开了一种流量充值系统，包括：订单系统；其中，所述订单 系统，用于：

接收订单数据；

按照预设的负载均衡策略，在两个或两个以上的数据分片shard中确定出用于写入所述订单数据的shard；

将所述订单数据在所述shard中缓存为二进制日志binlog数据。

与现有技术相比，本发明实施例首先按照预设的负载均衡策略，为订单数据指定shard，横向的提高了负载并发能力；然后将订单数据在shard中缓存为binlog数据，实现了将磁盘IO转化为内存IO，将数据的访问效率最大优化到内存访问的速度，进而提高了数据的处理效率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例一提供的订单数据处理方法的流程示意图；

图2是本发明实施例二提供的订单系统的结构示意图；

图3是本发明实施例三提供的流量充值系统的数据交互示意图。

具体实施方式

以下将配合附图及实施例来详细说明本发明的实施方式，藉此对本发明如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。

图1示出了本发明实施例一提供的一种订单数据处理方法的流程示意图。如图1所示，本发明实施例一提供的所述方法，包括：

步骤101、接收订单数据。

步骤102、按照预设的负载均衡策略，在两个或两个以上的数据分片shard中确定出用于写入所述订单数据的shard。

其中，预设的负载均衡策略可由设计人员设定。例如，将所有shard中缓存空间最大的shard指定为用于写入当前订单数据的shard。即本步骤可采 用如下方法实现：

在所述两个或两个以上的shard中，将缓存空间最大的shard作为用于写入所述订单数据的shard。

当然，预设的负载均衡策略还可以是：顺序轮询各shard，将接收到的订单数据按照顺序进行分发。本发明实施例对此不作具体限定。

步骤103、将所述订单数据在所述shard中缓存为二进制日志binlog数据。

其中，本步骤中所述shard为上述步骤102通过负载均衡策略确定出的。这里需要说明的是：二进制日志缓存(Binlog Cache)用于在打开了二进制日志(binlog)记录功能的环境，是MySQL用来提高binlog的记录效率而设计的一个用于短时间内临时缓存binlog数据的内存区域。一般来说，写入不是特别频繁，2MB～4MB是一个合适的选择。但是如果写入量比较大，可以适当调高binlog_cache_size。同时，可以通过binlog_cache_use以及binlog_cache_disk_use来分析设置的binlog_cache_size是否足够，是否有大量的binlog_cache由于内存大小不够而使用临时文件(binlog_cache_disk_use)来缓存了。

与现有技术相比，本发明实施例首先按照预设的负载均衡策略，为订单数据指定shard，横向的提高了负载并发能力；然后将订单数据在shard中缓存为binlog数据，实现了将磁盘IO转化为内存IO。从内存中读取一个数据的时间是微秒级别，而从一块普通硬盘上读取一个IO是在毫秒级别，二者相差3个数量级；显然，采用本发明实施例提供的技术方案将数据的访问效率最大优化到内存访问的速度，进而提高了数据的处理效率。

进一步的，本发明实施例提供的所述方法，还可包括：

步骤104、对数据库进行切分sharding，得到两个或两个以上的shard。

形式上，sharding可以简单定义为将大数据库分布到多个物理节点上的一个分区方案。每一个分区包含数据库的某一部分，成为一个shard，分区方式可以是任意的，并不局限于传统的水平分区和垂直分区。一个shard可以包含多个表的内容甚至可以包含多个数据库实例中的内容。每个shard被放置在一个数据库服务器上。一个数据库服务器可以处理一个或多个shard的数据。系统中需要由服务器进行查询路由转发，负责将查询转发到包含该查 询所访问数据的shard或shards节点上去执行。

每个shard拥有自己的CPU(central processing unit，中央处理器)和内存，管理自己的存储空间，各个shard之间不共享数据，应用通过分片管理(即数据的存储方式)找到正确的shard来进行数据读写。

进一步的，本发明实施例提供的所述方法还可包括：

步骤105、当接收到数据读取指令时，获取所述数据读取指令携带的shard标识及数据标识。

步骤106、从具有所述shard标识的shard缓存中读取所述数据标识对应的binlog数据。

进一步的，本发明实施例提供的所述方法还可包括：

将shard中缓存时长大于预设时长的数据进行清除。

通过将缓存时长大于预设时长的数据清除掉，可保障shard有充足的内存来存储缓存数据。

需要说明的是：对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

图2示出了本发明实施例二提供的一种订单系统的结构示意图。如图2所示，本实施例二提供的所述订单系统，可包括：接收模块10、确定模块20和存储模块30。其中，接收模块10用于接收订单数据。确定模块20用于按照预设的负载均衡策略，在两个或两个以上的数据分片shard中确定出用于写入所述订单数据的shard。存储模块30用于将所述订单数据在所述shard中缓存为二进制日志binlog数据。

与现有技术相比，本发明实施例首先按照预设的负载均衡策略，为订单数据指定shard，横向的提高了负载并发能力；然后将订单数据在shard中缓存为binlog数据，实现了将磁盘IO转化为内存IO，将数据的访问效率最大优化到内存访问的速度，进而提高了数据的处理效率。

这里需要说明的是：本发明实施例二提供的订单系统可实现上述实施例一提供的所述订单数据处理方法，具体的实现原理可参见上述实施例一中的 相关内容，此处不再赘述。

进一步的，上述的确定模块具体用于在所述两个或两个以上的shard中，将缓存空间最大的shard作为用于写入所述订单数据的shard。

进一步的，上述的订单系统还可包括：切分模块。其中，所述切分模块用于对数据库进行切分sharding，得到两个或两个以上的shard。

进一步的，上述的订单系统还可包括：获取模块和读取模块。其中，获取模块，用于当接收到数据读取指令时，获取所述数据读取指令携带的shard标识及数据标识。读取模块，用于从具有所述shard标识的shard缓存中读取所述数据标识对应的binlog数据。

进一步的，上述的订单系统还可包括：清除模块。其中，该清除模块用于将shard中缓存时长大于预设时长的数据进行清除。

本发明实施例三提供的流量充值系统。所述流量充值系统包括订单系统。其中，所述订单系统，用于：

接收订单数据；

按照预设的负载均衡策略，在两个或两个以上的数据分片shard中确定出用于写入所述订单数据的shard；

将所述订单数据在所述shard中缓存为二进制日志binlog数据。

与现有技术相比，本发明实施例首先按照预设的负载均衡策略，为订单数据指定shard，横向的提高了负载并发能力；然后将订单数据在shard中缓存为binlog数据，实现了将磁盘IO转化为内存IO，将数据的访问效率最大优化到内存访问的速度，进而提高了数据的处理效率。

这里需要说明的是：本发明实施例三提供的所述流量充值系统中包含的所述订单系统可采用上述实施例二提供的技术方案实现，具体实现结构可参见上述实施例二中的相关内容。

图3示出了本发明实施例三提供的流量充值系统的数据交互示意图。如图3所示，所述流量充值系统包括：客户端、流量充值平台、订单系统、支付中心以及流量分销商CP。具体的，用户通过客户端为手机进行流量充值的过程如下：

步骤S1、客户端向流量充值平台发送流量充值订单请求。

其中，流量充值可以是话费充值、上网流量充值或游戏充值等等。

步骤S2、流量充值平台创建订单，并将订单数据发送至订单系统。

其中，所述订单系统可实现上述实施例一提供的所述订单数据处理方法。即所述订单系统在接收到所述订单数据后，按照预设的负载均衡策略，在两个或两个以上的数据分片shard中确定出用于写入所述订单数据的shard；将所述订单数据在所述shard中缓存为二进制日志binlog数据。

步骤S3、客户端在接收到所述订单系统的反馈响应后，向流量充值平台发起支付。

步骤S4、流量充值平台接收到支付请求后，向所述支付中心发起支付。

这里需要说明的是：流量充值平台在向所述支付中心发起支付后，支付中心会向流量充值平台反馈支付响应；流量充值平台接收到该支付响应后会向订单系统发送修改订单状态的请求信息；订单系统根据所述请求信息中携带的订单标识修改该订单标识对应的订单状态，并将修改后的订单状态反馈给流量充值平台；流量充值平台将修改后的订单状态反馈至客户端，以呈现在用户界面上。

步骤S5、流量充值平台接收到所述支付中心反馈的支付成功后，向所述流量分销商CP发起充值。

其中，所述CP可以为一个或多个。流量充值平台通过记录CP的运营参数，并根据运营参数确定CP对应的流量权重，然后根据该流量权重为CP分配流量，以调整所述CP的业务量，实现对CP的业务量进行控制，例如，若流量权重低，可为CP分配较低的流量；若流量权重高，则可为CP分配较高的流量，从而能有效的保护优质CP的网络运营环境，使得网络资源得到合理的应用，为用户提供更为优质的CP，进而提高了用户的充值体验。所述运营参数包括：价格、运营稳定性、延时、业务成交成功率中任意一个或多个的组合。流量充值平台通过上述方法可为用户选择相应业务(如话费充值、流量充值或)一个优质的CP来完成流量的充值。

上述的根据运营参数确定CP对应的流量权重，然后根据该流量权重为CP分配流量，可采用如下方法实现：

首先、若所述运营参数中包含有所述价格，则根据所述价格为所述CP配置第一权重值；和/或

若所述监控参数中包含有所述运营稳定性，则根据所述运营稳定性为所 述CP配置第二权重值；和/或

若所述监控参数中包含有所述延时，则根据所述延时为所述CP配置第三权重值；和/或

若所述监控参数中包含有所述业务成交成功率，则根据所述业务成交成功率为所述CP配置第四权重值。

这里需要说明的是：上述的“根据所述价格为所述CP配置第一权重值”可采用如下方法实现：

根据预设的价格和权重值的对应的关系，获取所述价格对应的权重值，该获取到的权重值即为为所述CP配置的第一权重值。

其中，所述预设的价格和权重值的对应关系可人为设定。价格和权重值在本地存储区域中进行关联存储。例如，下表1示出的价格和权重值的对应关系。

表1、价格和权重值的对应关系

同理，上述的“根据所述运营稳定性为所述CP配置第二权重值”、“根据所述延时为所述CP配置第三权重值”以及“根据所述业务成交成功率为所述CP配置第四权重值”均可采用上述的方法实现。本发明实施例仅示出了一种权重值的配置方式，实质上还可采用其他方法实现，例如，为每一种运营参数设置对应的权重配置策略，根据运营参数，按照所述权重配置策略为CP配置相应的权重；等等，本发明实施例对此不作具体限定。

然后、结合所述第一权重值、所述第二权重值、所述第三权重值和所述 第四权重值中的任意一个或多个，确定所述CP对应的流量权重。

其中，本步骤具体可采用如下方法实现：

根据预设的确定函数，将所述第一权重值、所述第二权重值、所述第三权重值和所述第四权重值中的任意一个或多个作为所述确定函数的输入参数，确定出所述CP对应的流量权重。

这里需要说明的是：所述预设的确定函数可以是工作人员根据实践经验预先编辑出来的函数。例如，所述确定函数可示意性的表征为如下：

若所述CP配置了所述第一权重值，则将所述CP对应的流量权重更新为所述流量权重与所述第一权重值之和；

若所述CP配置了所述第二权重值，则将所述CP对应的流量权重更新为所述流量权重与所述第二权重值之和；

若所述CP配置了所述第三权重值，则将所述CP对应的流量权重更新为所述流量权重与所述第三权重值之和；

若所述CP配置了所述第四权重值，则将所述CP对应的流量权重更新为所述流量权重与所述第四权重值之和。

在具体实施时，流量充值平台可根据预设的流量权重与流量的对应关系，获取所述CP对应的流量权重对应的流量，并为所述CP分配所述流量；或者可根据预设的流量分配策略，基于所述流量权重为所述CP分配对应的流量。

流量充值平台为了确保CP的正常运行，流量充值平台管理CP的方法，还可包括如下步骤：

首先，监控所述CP的运行状态。

然后，当监控到所述CP的运行状态为非正常运行状态时，将所述CP中的数据做备份和/或将所述CP切换到指定CP。

其中，所述指定CP可以为新创建的CP，也可以是已有的，且提供与所述CP相同流量充值业务的CP。若提供与所述CP相同流量充值业务的CP为两个或两个以上时，可将其中业务量少的CP作为所述指定CP；或者可将其中运营稳定性好的CP作为所述指定CP；或者可将其中流量权重值高的CP作为所述指定CP。

进一步的，流量充值平台管理CP的方法，还可包括：

若所述运营参数中包含有运营稳定性，则当监控到所述CP的运行状态为非正常运行状态时，按照预设的第一调整比例调低所述CP的运营稳定性；

若所述运营参数中包含有业务成交成功率，则当监控到所述CP的运行状态为非正常运行状态时，按照预设的第二调整比例调低所述CP的业务成交成功率。

其中，所述预设的第一调整比例和所述预设的第二调整比例可以是经验值，例如，0.5个百分点、1个百分点或1.5个百分点等等；即当监控到所述CP的运行状态为非正常状态时，将所述CP的运营稳定性调低0.5个百分点，将所述CP的业务交易成功率调低1个百分点。

进一步的，流量充值平台管理CP的方法，还可包括如下步骤：

根据所述CP的流量权重，确定所述CP的排名次序，以将所述CP展现在客户端界面的所述排名次序对应的排名位置上。

通过上述步骤，可对流量充值系统上的CP进行排名，例如，流量权重高的CP排在前面，更加方便用户选择到优质的CP，进一步的提高了用户的充值体验。

步骤S6、CP执行充值操作，并向所述流量充值平台反馈充值响应。

步骤S7、流量充值平台向所述订单系统发送修改订单状态请求，并接收所述订单系统修改订单状态后的反馈信息。

步骤S8、流量充值平台接收到客户端发送的订单状态查询请求后，向所述客户端反馈订单状态信息。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可 读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

上述说明示出并描述了本发明的若干优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

本发明公开了A1、一种订单数据处理方法，包括：

接收订单数据；

按照预设的负载均衡策略，在两个或两个以上的数据分片shard中确定出用于写入所述订单数据的shard；

将所述订单数据在所述shard中缓存为二进制日志binlog数据。

A2、如A1所述的方法，所述按照预设的负载均衡策略，在两个或两个以上的shard中确定出用于写入所述订单数据的shard，具体为：

在所述两个或两个以上的shard中，将缓存空间最大的shard作为用于写入所述订单数据的shard。

A3、如A1或A2所述的方法，还包括：

对数据库进行切分sharding，得到所述两个或两个以上的shard。

A4、如A1或A2所述的方法，还包括：

当接收到数据读取指令时，获取所述数据读取指令携带的shard标识及数据标识；

从具有所述shard标识的shard缓存中读取所述数据标识对应的binlog数据。

A5、如A1或A2所述的方法，还包括：

将shard中缓存时长大于预设时长的数据进行清除。

本发明还公开了B6、一种订单系统，包括：

接收模块，用于接收订单数据；

确定模块，用于按照预设的负载均衡策略，在两个或两个以上的数据分片shard中确定出用于写入所述订单数据的shard；

存储模块，用于将所述订单数据在所述shard中缓存为二进制日志binlog数据。

B7、如B6所述的订单系统，所述确定模块，具体用于在所述两个或两个以上的shard中，将缓存空间最大的shard作为用于写入所述订单数据的shard。

B8、如B6或B7所述的订单系统，还包括：

切分模块，用于对数据库进行切分sharding，得到所述两个或两个以上的shard。

B9、如B6或B7所述的订单系统，还包括：

获取模块，用于当接收到数据读取指令时，获取所述数据读取指令携带的shard标识及数据标识；

读取模块，用于从具有所述shard标识的shard缓存中读取所述数据标识对应的binlog数据。

B10、如B6或B7所述的订单系统，还包括：

清除模块，用于将shard中缓存时长大于预设时长的数据进行清除。

本发明还公开了C11、一种流量充值系统，包括：上述的B6～B10中任一项所述的订单系统。

Claims (10)

1.一种订单数据处理方法，其特征在于，包括：

接收订单数据；

按照预设的负载均衡策略，在两个或两个以上的数据分片shard中确定出用于写入所述订单数据的shard；

将所述订单数据在所述shard中缓存为二进制日志binlog数据。

2.根据权利要求1所述的方法，其特征在于，所述按照预设的负载均衡策略，在两个或两个以上的shard中确定出用于写入所述订单数据的shard，具体为：

在所述两个或两个以上的shard中，将缓存空间最大的shard作为用于写入所述订单数据的shard。

3.根据权利要求1或2所述的方法，其特征在于，还包括：

对数据库进行切分sharding，得到所述两个或两个以上的shard。

4.根据权利要求1或2所述的方法，其特征在于，还包括：

当接收到数据读取指令时，获取所述数据读取指令携带的shard标识及数据标识；

从具有所述shard标识的shard缓存中读取所述数据标识对应的binlog数据。

5.根据权利要求1或2所述的方法，其特征在于，还包括：

将shard中缓存时长大于预设时长的数据进行清除。

6.一种订单系统，其特征在于，包括：

接收模块，用于接收订单数据；

确定模块，用于按照预设的负载均衡策略，在两个或两个以上的数据分片shard中确定出用于写入所述订单数据的shard；

存储模块，用于将所述订单数据在所述shard中缓存为二进制日志binlog数据。

7.根据权利要求6所述的订单系统，其特征在于，所述确定模块，具体用于在所述两个或两个以上的shard中，将缓存空间最大的shard作为用于写入所述订单数据的shard。

8.根据权利要求6或7所述的订单系统，其特征在于，还包括：

切分模块，用于对数据库进行切分sharding，得到所述两个或两个以上的shard。

9.根据权利要求6或7所述的订单系统，其特征在于，还包括：

清除模块，用于将shard中缓存时长大于预设时长的数据进行清除。

10.一种流量充值系统，其特征在于，包括：上述权利要求6～9中任一项所述的订单系统。