CN102694825A - 一种数据处理方法及其系统 - Google Patents

Abstract

本发明公开了一种数据处理方法及其系统，该方法包括：对单点数据进行复制，将所述单点数据的所有数据拷贝中的一份数据作为主数据，其它数据拷贝分别作为从数据，并分别将主数据和从数据分配给对应服务进程；当接收到对所述单点数据的写操作请求时，将该写操作请求分发给所述单点数据的主数据所在的服务进程进行处理；当接收到对所述单点数据的读操作请求时，将该读操作请求分发给所述单点数据的主数据或/和从数据所在的服务进程进行处理。采用本发明可针对单点处理过程，降低系统结构设计复杂度，提高稳定性和可扩展性。

Description

一种数据处理方法及其系统

技术领域

本发明涉及计算机及互联网技术领域，尤其涉及一种数据处理方法及其系统。

背景技术

UGC（User Generation Content，也有称User Created Content，用户原创内容）是一种用户使用互联网的新方式，即由原来的以下载为主变成下载和上传并重。社区网络、视频分享和博客等都是UGC的主要应用形式。随着智能终端的多样化，以及互联网业务的不断发展，UGC业务正在日渐崛起，引起了业界的广泛关注。

由于数据是用户产生的，海量的用户催生出海量的数据，最终带来更大量级的数据读写请求。为了运营需要，数据处理系统设计时，会将用户按照某些维度拆分成足够细的粒度分别部署，如将所有用户拆分成不同单位Unit，让每个服务进程负责一些Unit，系统运营时可按各个服务进程的负载情况随时调整部署。这里的Unit是部署的最小单位，一般为一段大小连续的用户ID，不可再拆分。

但UGC业务中往往存在这样一种数据：几乎所有用户都会去读取，又无法再拆分。所有用户去读取，意味着整个系统的读请求量有多大，这些数据所在的服务进程就需要承受多大的压力；不能再分割，意味着这些数据的粒度已经足够细，无法再拆分部署到多个服务进程。这就是所谓的“单点数据”。

单点带来的问题很明显，在有串包机制时引发的问题更为严重。如图1所示，进程X负责单点数据的处理，它会影响整个系统的服务能力和扩展性：一旦进程X的访问量超过其处理能力，整个系统都将不能正常服务。所谓串包机制也称数据串行处理机制，如图1所示，接口机接收到的外部数据请求中会包含有对多个普通用户数据的处理请求和对特殊用户数据的处理请求，普通用户数据会分布在不同的设备上，特殊用户数据（即单点数据）则集中部署，这些数据处理请求按照如图所示的方式串行处理。

为解决这一问题，目前采取了对进程X进行改造的方式，通过优化存储结构和处理逻辑，加强安全性等手段，提升其服务能力和稳定性，防止成为整个系统的瓶颈。比如，用内存存储替代文件存储，也可以简化处理逻辑，处理上又可减轻一部分压力。

发明人在实现本发明的过程中，发现现有技术至少存在以下问题：

（1）系统设计复杂。针对普通数据（即非单点数据）和特殊数据（即单点数据），实质上存在两种设计，整个系统架构变得复杂。

（2）稳定性差。现有方案虽然一定程度上解决了服务能力问题，但进程X仍然负载着整个系统的请求量，一旦该服务进程出现问题或处理异常，则整个系统都将受影响。

（3）可扩展性差。当请求量持续增大时，系统的处理能力仍有可能受制于特殊服务进程（如图1中进程X）的处理能力。

（4）运维成本高。

由此可见，针对单点处理，目前亟需一种系统结构简单、稳定性高，以及可扩展性强的数据处理机制。

发明内容

本发明实施例提供了一种数据处理方法及其系统，用以解决现有技术中，针对单点处理过程，系统结构设计复杂、稳定性差和可扩展性差的问题。

本发明实施例提供的数据处理方法，包括：

对单点数据进行复制，将所述单点数据的所有数据拷贝中的一份数据作为主数据，其它数据拷贝分别作为从数据，并分别将主数据和从数据分配给对应服务进程；

当接收到对所述单点数据的写操作请求时，将该写操作请求分发给所述单点数据的主数据所在的服务进程进行处理；

当接收到对所述单点数据的读操作请求时，将该读操作请求分发给所述单点数据的主数据或/和从数据所在的服务进程进行处理。

本发明实施例提供的数据处理系统，包括：

单点数据预处理模块，用于对单点数据进行复制，将所述单点数据的所有数据拷贝中的一份数据作为主数据，其它数据拷贝分别作为从数据，并分别将主数据和从数据分配给对应服务进程；

数据请求分发模块，用于当接收到对所述单点数据的写操作请求时，将该写操作请求分发给所述单点数据的主数据所在的服务进程进行处理；以及，当接收到对所述单点数据的读操作请求时，将该读操作请求分发给所述单点数据的主数据或/从数据所在的服务进程进行处理。

本发明的上述实施例，通过对单点数据进行复制，将所有数据拷贝中的一份数据作为主数据，其它数据拷贝分别作为从数据，并分别将主数据和从数据分配给对应服务进程，对于写数据的请求，分发给主数据所在服务进程处理，对于读数据的请求，分发给主数据或/和从数据所在的服务进程处理，从而与现有技术相比，一方面不用区分普通数据（非单点数据）和特殊数据（单点数据）以及设计不同的服务进程，系统设计简单；另一方面，系统中不再存在单点，因而系统稳定性提高；再一方面，数据可根据需要进行复制，提高了系统可扩展性。

附图说明

图1为现有技术中的单点数据处理模型示意图；

图2为本发明实施例提供的单点数据的预处理流程示意图；

图3为本发明实施例提供的单点数据处理模型示意图；

图4为本发明实施例提供的单点数据的处理流程示意图；

图5为本发明实施例提供的数据处理系统的结构示意图。

具体实施方式

针对现有技术存在的问题，本发明实施例提供了一种单点数据处理方案，通过部署多份数据解决了单点依赖的问题。本发明实施例提供的技术方案在维持一套技术架构的情况下，解决了单点数据的瓶颈问题，在系统扩容和部署上，特殊数据（单点数据）和普通数据（非单点数据）没有区别，从而使系统的稳定性和可靠性得到一定保证。

下面结合附图对本发明实施例进行详细描述。

在本发明实施例中，将UGC等类似业务中存在的特殊数据（即几乎所有用户都会去读取，但该数据又无法再拆分）称为单点数据。

针对单点数据，本发明实施例中，首先对其进行复制，得到多份数据拷贝，并将其中的一份数据拷贝作为该单点数据的主数据，将其它数据拷贝作为该单点数据的从数据。然后，分别将主数据和从数据分配给对应的服务进程，数据拷贝可与服务进程一一对应。主数据所在的服务进程支持数据的写操作，从数据所在的服务进程支持数据的读操作。

上述处理流程可称为单点数据的预处理流程，如图2所示，该流程可包括：

步骤201，对单点数据进行复制，得到多份数据拷贝。

单点数据的总的数据拷贝数量（包括原数据和复制得到的数据）不少于两份，具体可根据各单点数据的请求量，或根据单点数据的请求量与非单点数据（即普通数据）的请求量的比例，为单点数据部署合适数量的数据拷贝。此处单点数据的请求量是指对单点数据进行读写操作的请求量。例如，当单点数据的请求量是普通数据请求量的N倍时，则该单点数据的拷贝数量为N份。在部署单点数据的数据拷贝时，还可进一步结合单个服务进程的处理能力，即，根据单点数据的请求量和单个服务进程的处理能力，合理部署单点数据的拷贝数量，其中请求量越高，单点数据的拷贝数量越高，单个服务进程的处理能力越低，单点数据的拷贝数量越高。

步骤202，为各数据拷贝分配拷贝标识。

为单点数据的每一份数据拷贝对应分配一个拷贝标识（Copy ID），该拷贝标识能够唯一标识该单点数据的不同数据拷贝。为方便系统实现，Copy ID可从0开始分配，并依次递增，这样，Copy ID的数值可表明对应数据拷贝是单点数据的第几份拷贝。Copy ID为0的数据拷贝为该单点数据的主数据，Copy ID≥1的数据拷贝为该单点数据的从数据，如，当单点数据的拷贝数量为n时，Copy ID=0的数据为该单点数据的主数据，Copy ID=1,2…n-1的数据分别为该单点数据的n-1份从数据。

步骤203，分别将该单点数据的各数据拷贝分配给对应的服务进程。

该步骤中，数据拷贝可与服务进程一一对应。主数据所在的服务进程负责数据的写操作，从数据所在的服务进程负责数据的读操作。

在对单点数据进行复制，得到多份数据拷贝后，还可根据需要对数据拷贝数量进行调整，调整方式可参考步骤201中所述的确定数据拷贝数量的方式。当单点数据的请求量下降时，或/和单个服务进程的处理能力增强时，可适当减少数据拷贝数量，反之，则可适当增加数据拷贝数量，新增加的数据拷贝作为从数据，分配给对应的服务进程。

在对单点数据进行复制，得到多份数据拷贝后，为了保证数据的一致性，当该单点数据发生变更时，还要在其主从数据之间进行数据同步。具体的，由于主数据所在服务进程负责主数据的写操作，从数据所在进程负责对从数据的读操作，因此主数据会发生数据变更。当主数据发生数据变更后，将变更后的主数据同步到对应的从数据中，以保证数据的一致性。

基于上述单点数据的预处理流程，或进一步结合数据同步或/和数据拷贝数量调整流程，本发明实施例对单点数据的访问处理流程进行了相应改进。如图3所示，当接收到对单点数据的写操作请求时，将该写操作请求分发给该单点数据的主数据所在的服务进程（如图3中的进程X1）进行处理；当接收到对单点数据的读操作请求时，将该读操作请求分发给所该点数据的主数据或/和从数据所在的服务进程（如图3中的进程X1…Xn其中之一）进行处理。

下面以图3所示的单点数据处理模型为例，结合图4对单点数据处理流程进行详细描述。其中，单点数据的拷贝数量为n，Copy ID=0的数据为该单点数据的主数据，Copy ID=1,2…n-1的数据分别为该单点数据的n-1份从数据。主数据所在的服务进程为进程X1，各从数据所在的服务进程分别为进程X2…Xn。

参见图4，为本发明实施例提供的单点数据的处理流程示意图，如图所示，该流程可包括：

步骤401，接收对单点数据的访问处理请求。

具体的，接口机接收到外部的用户数据访问请求后，该请求串行执行到普通用户数据（即非单点数据）后，在需要对特殊用户数据（即单点数据）进行处理时，则向存储有该特殊用户数据的设备或存储模块发送数据访问请求。

步骤402，判断该访问处理请求是写操作请求还是读操作请求，若是读操作请求，则转入步骤403，若是写操作请求则转入步骤404。

步骤403，将数据读操作请求发往该单点数据的Copy ID=0…n-1的数据拷贝所在的进程X1…Xn之一。接收到该读数据操作请求的进程对该单点数据的从数据进行读操作处理。处理完成之后，可根据需要继续串行到普通用户数据，或者返回处理结果。

该步骤中，可将数据读操作请求随机发往Copy ID=0…n-1中的任意一个数据拷贝所在的服务进程进行处理；也可根据这些服务进程的忙闲状态，从中选择一个状态为闲的服务进程进行处理；还可以在这些服务进程的处理能力不同的情况下，从中选择处理能力强的服务进程进行处理。

步骤404，将数据写操作请求发往该单点数据的Copy ID=0的数据拷贝所在的进程X1，进程X1根据接收到的写操作请求对该单点数据的Copy ID=0的数据拷贝进行写操作处理。处理完成之后，可根据需要继续串行到普通用户数据，或者返回处理结果。

为了保证数据一致性，当通过步骤404对该单点数据的主数据进行写操作处理，从而使主数据发生变更后，则在步骤404之后还可包括以下步骤：

步骤405，将该单点数据变更后的主数据同步到该单点数据的各从数据中。该步骤可通过数据处理系统中的具有数据运维功能的模块实现。

通过以上描述可以看出，本发明实施例通过对单点数据进行复制，将所有数据拷贝中的一份数据作为主数据，其它数据拷贝分别作为从数据，并分别将主数据和从数据分配给对应服务进程，对于写数据的请求，分发给主数据所在服务进程处理，对于读数据的请求，分发给从数据所在的服务进程处理，从而与现有技术相比，一方面不用区分特殊数据（单点数据）和普通数据（非单点数据）以及设计不同的服务进程，因而系统设计简单；另一方面，系统中不再存在单点，因而系统稳定性提高；再一方面，数据可根据需要进行复制，提高了系统可扩展性。由于以上这些方面的改进，使数据处理系统的运维成本得以降低。

本发明的上述流程可通过软件编程方式实现。

参见图5，为本发明实施例提供的数据处理系统的结构示意图，该数据处理系统可应用于本发明实施例的上述流程。该数据处理系统可包括：

单点数据预处理模块501，用于对单点数据进行复制，将所述单点数据的所有数据拷贝中的一份数据作为主数据，其它数据拷贝分别作为从数据，并分别将主数据和从数据分配给对应服务进程；

数据请求分发模块502，用于当接收到对所述单点数据的写操作请求时，将该写操作请求分发给所述单点数据的主数据所在的服务进程进行处理；以及，当接收到对所述单点数据的读操作请求时，将该读操作请求分发给所述单点数据的主数据或/和从数据所在的服务进程进行处理。

上述系统中，还可包括：同步模块503，用于在所述单点数据的主数据所在的服务进程对所述单点数据的主数据完成写操作处理之后，将变更后的主数据同步到所述单点数据的各从数据中。

上述系统中，数据请求分发模块502具体用于，若所述单点数据的从数据为多份，则当接收到对所述单点数据的读操作请求时，从所述单点数据的主数据和多份从数据所在的服务进程中选择一个服务进程，并将该读操作请求分发给选择出的服务进程进行处理；其中，选择服务进程的方式包括以下之一：

随机选择；

根据服务进程的忙闲状态选择；

根据服务进程的处理能力选择。

上述系统中，单点数据预处理模块501还用于，在对所述单点数据进行复制后，对所述单点数据的所有数据拷贝分配拷贝标识，并通过拷贝标识区分主数据和从数据。

上述系统中，单点数据预处理模块501具体用于，对所述单点数据进行复制时，根据所述单点数据的请求量确定所述单点数据的拷贝数量；单点数据预处理模块501还用于，对所述单点数据进行复制后，根据所述单点数据的请求量的变化情况调整所述单点数据的拷贝数量。

上述系统中，单点数据预处理模块501和同步模块503属于该数据处理系统中的运维功能模块，如可以是运维模块中的子模块；数据请求分发模块502属于该数据处理系统中的数据处理功能模块，如可以是数据处理模块中的子模块。

本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端设备（可以是手机，个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

对单点数据进行复制，将所述单点数据的所有数据拷贝中的一份数据作为主数据，其它数据拷贝分别作为从数据，并分别将主数据和从数据分配给对应服务进程；

当接收到对所述单点数据的写操作请求时，将该写操作请求分发给所述单点数据的主数据所在的服务进程进行处理；

当接收到对所述单点数据的读操作请求时，将该读操作请求分发给所述单点数据的主数据或/和从数据所在的服务进程进行处理。

2.如权利要求1所述的方法，其特征在于，还包括：

在所述单点数据的主数据所在的服务进程对所述单点数据的主数据完成写操作处理之后，将变更后的主数据同步到所述单点数据的各从数据中。

3.如权利要求1所述的方法，其特征在于，若所述单点数据的从数据为多份，当接收到对所述单点数据的读操作请求时，从所述单点数据的主数据和多份从数据所在的服务进程中选择一个服务进程，并将该读操作请求分发给选择出的服务进程进行处理；其中，选择服务进程的方式包括以下之一：

随机选择；

根据服务进程的忙闲状态选择；

根据服务进程的处理能力选择。

4.如权利要求1所述的方法，其特征在于，对所述单点数据进行复制后，还包括：对所述单点数据的所有数据拷贝分配拷贝标识，并通过拷贝标识区分主数据和从数据。

5.如权利要求1至4任一项所述的方法，其特征在于，对所述单点数据进行复制时，根据所述单点数据的请求量确定所述单点数据的拷贝数量；

对所述单点数据进行复制后，还包括：根据所述单点数据的请求量的变化情况，调整所述单点数据的拷贝数量。

6.一种数据处理系统，其特征在于，包括：

单点数据预处理模块，用于对单点数据进行复制，将所述单点数据的所有数据拷贝中的一份数据作为主数据，其它数据拷贝分别作为从数据，并分别将主数据和从数据分配给对应服务进程；

数据请求分发模块，用于当接收到对所述单点数据的写操作请求时，将该写操作请求分发给所述单点数据的主数据所在的服务进程进行处理；以及，当接收到对所述单点数据的读操作请求时，将该读操作请求分发给所述单点数据的主数据或/和从数据所在的服务进程进行处理。

7.如权利要求6所述的系统，其特征在于，还包括：

同步模块，用于在所述单点数据的主数据所在的服务进程对所述单点数据的主数据完成写操作处理之后，将变更后的主数据同步到所述单点数据的各从数据中。

8.如权利要求6所述的系统，其特征在于，所述数据请求分发模块具体用于，若所述单点数据的从数据为多份，则当接收到对所述单点数据的读操作请求时，从所述单点数据的主数据和多份从数据所在的服务进程中选择一个服务进程，并将该读操作请求分发给选择出的服务进程进行处理；其中，选择服务进程的方式包括以下之一：

随机选择；

根据服务进程的忙闲状态选择；

根据服务进程的处理能力选择。

9.如权利要求6所述的系统，其特征在于，所述单点数据预处理模块还用于，在对所述单点数据进行复制后，对所述单点数据的所有数据拷贝分配拷贝标识，并通过拷贝标识区分主数据和从数据。

10.如权利要求6至9任一项所述的系统，其特征在于，所述单点数据预处理模块具体用于，对所述单点数据进行复制时，根据所述单点数据的请求量确定所述单点数据的拷贝数量；

所述单点数据预处理模块还用于，对所述单点数据进行复制后，根据所述单点数据的请求量的变化情况，调整所述单点数据的拷贝数量。

Images