CN105278922A - 一种数据分发方法、系统及装置 - Google Patents

Abstract

本发明实施例提供一种数据分发方法、系统及装置，该方法包括：分发服务器接收到用户的数据文件获取请求；分发服务器根据数据分发进程的总进程数，确定数据文件的索引标识ID与数据分发进程的对应关系；分发服务器获取数据库服务器中存储的用户分享的数据文件，根据数据分发进程的进程号、以及所述索引ID与数据分发进程的对应关系，将数据文件加载到与相应的数据分发进程对应的数据处理队列中供下载服务器读取。该方法能够提高数据分发的处理速度，避免数据堵塞发生，降低处理时延，减轻服务器负荷。

Description

一种数据分发方法、系统及装置

技术领域

本发明涉及数据处理技术领域，尤指一种数据分发方法、系统及装置。

背景技术

随着互联网技术的发展，网络上的数据量越来越大，在海量数据环境下，为了实现不重复的获取数据，根据数据中的地址信息下载文件，现有技术是采用多进程并发处理实现的，获取数据时，先锁数据库的审计(audit)表，处理前先将数据状态字段改变，然后对表进行解锁。取数据都是通过数据状态字段来获取数据，数据中的信息包含文件的实际地址，请求地址，然后进行下载。当用户在不断的分享文件，数据库不断的有新的数据进入，服务器需要在尽可能短的时间将文件下载，根据文件内容进行处理。

上述处理方式，存在以下问题：

在用户分享文件的高峰期，数据进入数据库较大的情况下，锁表会阻塞数据插入、更新或查询操作，其他进程执行插入、更新或查询数据的操作需要排队等待，当表解锁以后相关操作才能进行，多个进程在并行分发数据时，不可避免的要等待其他进程对表解锁才能获取到数据。因此导致数据分发的时延增大，分发速度降低。

但是由于数据具有实效性，需要尽可能快的将数据读取到并处理完，处理速度提速就需要并行更多的进程，然而，更多的并行进程会让数据表一直处于锁死状态，没有空隙进行其他表的操作，这就导致并发处理和减少处理时间之间存在不可调和的矛盾。

此外，由于可能出现的锁死状态，会导致进程的堵塞，浪费了大量的服务器资源占用率，下载服务更是加重了服务器负载，服务器响应缓慢，严重影响数据的处理速度。

发明内容

本发明实施例提供一种数据分发方法、系统及装置，用以解决现有技术中数据分发过程中存在的并发处理和快速处理的矛盾，从而能够减少处理时间，降低处理时延，提高处理速度和效率，从而节约处理资源，降低服务器资源占用率，减轻服务器负荷。

本发明实施例提供一种数据分发方法，包括：

分发服务器接收到用户的数据文件获取请求；

分发服务器根据数据分发进程的总进程数，确定数据文件的索引标识ID与数据分发进程的对应关系；

分发服务器获取数据库服务器中存储的用户分享的数据文件，根据数据分发进程的进程号、以及所述索引ID与数据分发进程的对应关系，将数据文件加载到与相应的数据分发进程对应的数据处理队列中供下载服务器读取。

在一些可选的实施例中，所述确定所述数据文件的索引ID与数据分发进程的对应关系，具体包括：

将数据文件的索引ID对总进程数进行取余计算，根据计算结果，得到所述数据文件的索引ID与数据分发进程的对应关系。

在一些可选的实施例中，所述总进程数由分发服务器通过获取脚本传入的进程号确定。

在一些可选的实施例中，所述将数据文件加载到与相应的数据分发进程对应的数据处理队列中供下载服务器读取，具体包括：

所述分发服务器根据数据分发进程的进程号、以及所述索引ID与数据分发进程的对应关系，确定数据文件对应的数据分发进程，得到数据文件需加载到的数据处理队列；

对数据文件添加脚本标记，将添加脚本标记后的数据文件加载到相应的数据处理队列中供下载服务器读取。

本发明实施例还提供一种数据分发装置，包括：

接收模块，用于接收到用户的数据文件获取请求；

确定模块，用于根据数据分发进程的总进程数，确定数据文件的索引标识ID与数据分发进程的对应关系；

分发模块，用于获取数据库服务器中存储的用户分享的数据文件，根据数据分发进程的进程号、以及所述索引ID与数据分发进程的对应关系，将数据文件加载到与相应的数据分发进程对应的数据处理队列中供下载服务器读取。

在一些可选的实施例中，所述确定模块，具体用于：

将数据文件的索引ID对总进程数进行取余计算，根据计算结果，得到所述数据文件的索引ID与数据分发进程的对应关系。

在一些可选的实施例中，所述确定模块，具体用于：

获取脚本传入的进程号，确定总进程数。

在一些可选的实施例中，所述分发模块，具体用于：

接收模块，用于接收到用户的数据文件获取请求；

确定模块，用于根据数据分发进程的总进程数，确定数据文件的索引标识ID与数据分发进程的对应关系；

分发模块，用于获取数据库服务器中存储的用户分享的数据文件，根据数据分发进程的进程号、以及所述索引ID与数据分发进程的对应关系，将数据文件加载到与相应的数据分发进程对应的数据处理队列中供下载服务器读取。

本发明实施例还提供一种分发服务器，包括：上述的数据分发装置。

本发明实施例还提供一种数据分发系统，包括：数据库服务器、分发服务器和下载服务器；

所述数据库服务器，用于接收用户分享的数据文件，并存储；

分发服务器中包括如权利要求5-8任一所述的数据分发装置；

下载服务器，用于读取数据处理队列中的数据文件并进行处理。

本发明实施例提供的数据分发方法、系统及装置，分发服务器接收到用户的数据文件获取请求时，根据数据分发进程的总进程数，确定数据文件的索引ID与数据分发进程的对应关系；分发服务器获取数据库服务器中存储的用户分享的数据文件，根据数据分发进程的进程号、以及预先建立的索引标识ID与数据分发进程的对应关系，将数据文件加载到与相应的数据分发进程对应的数据处理队列中供下载服务器读取。该方法在读取数据时不需要锁表操作，从而避免了因锁表操作所造成的操作时间延迟，提高了数据处理的速度和效率；该方法不会出现锁表操作所带来的堵塞问题，减少了服务器资源的占用率，节约了服务器资源，减轻了服务器负荷。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一中数据分发方法的流程图；

图2是本发明实施例二中数据分发方法的流程图；

图3是本发明实施例二中确定数据文件索引与进程对应关系的原理示意图；

图4是本发明实施例中数据分发系统的结构示意图；

图5是本发明实施例中分发服务器的结构示意图；

图6是本发明实施例中数据分发装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了解决现有技术中数据分发时，存在的处理速度慢、导致资源占用率高甚至导致堵塞的问题，本发明实施例提供一种数据分发方法，该方法在数据分发时不需要锁表机制，其处理速度比较快，能够减低资源占用率，降低堵塞的可能性。下面通过具体的实施例进行详细说明。

实施例一

本发明实施例一提供的数据分发方法，其流程如图1所示，包括如下步骤：

步骤S101：分发服务器接收到用户的数据文件获取请求。

分发服务器接收用户发送的查询语句，实现接收用户发送的数据文件获取请求。其中查询语句汇总包括查询的关键词等信息。

步骤S102：分发服务器根据数据分发进程的总进程数，确定数据文件的索引标识(ID)与数据分发进程的对应关系。

分发服务器根据数据查询语句进行控制，通过获取由脚本传入的进程号，确定数据分发进程的进程总数；确定总进程数后，根据总进程数确定数据文件的索引ID与数据分发进程的对应关系，以便根据对应关系进行后续的数据文件分发。

步骤S103：分发服务器获取数据库服务器中存储的用户分享的数据文件。

数据库服务器可以接收网络中各用户分享的数据文件，并将其存储起来以供后续由用户需要时，进行获取使用。分发服务器在接收到用户的数据获取请求后，从数据库服务器中获取数据文件，提供给发送请求的用户。

步骤S104：分发服务器根据数据分发进程的进程号、以及预先确定的索引ID与数据分发进程的对应关系，将数据文件加载到与相应的数据分发进程对应的数据处理队列中供下载服务器读取。

分发服务器根据数据分发进程的进程号、预先建立的索引标识ID与数据分发进程的对应关系，确定数据文件对应的数据分发进程，得到数据文件需加载到的数据处理队列；对数据文件添加脚本标记，将添加脚本标记后的数据文件加载到相应的数据处理队列中供下载服务器读取。

下载服务器可以读取数据处理队列中的数据文件，并将其提供给相应的用户。

实施例二

本发明实施例二提供的数据分发方法，其流程如图2所示，包括如下步骤：

步骤S201：数据库服务器接收用户分享的数据文件，并存储。

用户分享的数据文件可以插入到服务器的数据库中，当用户分享数据文件时，数据库服务器接收用户分享的数据文件，并存储起来以供后续使用。

步骤S202：分发服务器接收到用户的数据文件获取请求。

如上所述，数据文件获取请求可以通过查询语句实现。用户需要获取数据文件时，向分发服务器发送数据文件获取请求，提供包括查询关键词等信息的查询语句，以获取所需要的数据文件。

步骤S203：分发服务器确定数据分发进程的总进程数。

本发明实施例是采用进程号分发数据的方式，这种方式是在查询语句上进行控制，进程号由脚本传入。因此，分发服务器可以根据脚本传入的数据分发进程的进程号确定数据分发进程的总进程数。

步骤S204：分发服务器根据数据分发进程的总进程数，确定数据文件的索引ID与数据分发进程的对应关系。

分发服务器获得数据分发进程的总进程数后，可以根据总进程数确定数据文件的索引ID与数据分发进程的对应关系，具体的，可以用索引标识对总进程数进行取余，满足当前进程号的索引才会被读取。该方法没有锁表机制，因此对于读取数据的进程数量上在保证数据库服务器的负载合适的情况下可以大量开启，而且因为一个索引对应一个进程，不同进程之间读取的索引都不相同，数据不会重复读取，也不会阻塞。

如图3所示为确定数据文件索引与分发进程对应关系的原理示意图。针对数据文件(Data)，对索引ID进行取余计算(Id％)，得到计算结果0,1,2，……，N-1等计算结果，分别对应进程0、进程1、进程2、……、进程N-1等N个进程。

如读取数据文件的进程总数为16个，并发情况下，取数据的条件为ProcessNow＝Id％ProcessSum，ProcessNow为当前进程号，Id为数据的索引，ProcessSum为总进程数，按照该策略，则ProcessNow＝Id％16，索引ID对总进程数取余为当前进程号的索引ID会被当前进程读取，这里的总进程数可以随着数据量高峰期和平常期灵活调节。

该方法多进程之间防止重复的方法是通过那个进程号分配，进程内部防止重复是通过置标志位。

步骤S205：分发服务器获取数据库服务器中存储的数据文件。

步骤S206：分发服务器根据数据分发进程的进程号、以及预先确定的索引ID与数据分发进程的对应关系，确定数据文件对应的数据分发进程，得到数据文件需加载到的数据处理队列。

步骤S207：分发服务器对数据文件添加脚本标记，将添加脚本标记后的数据文件加载到相应的数据处理队列中供下载服务器读取。

分发服务器读取到的数据文件，直接按处理的n个脚本数进行随机分发，加上脚本标记进入数据处理队列，例如redis队列，下载服务器读取redis队列中的数据文件，不同的脚本分别读取不同的redis队列，逐个进行数据文件下载，实现高效不重复分发处理数据。

某一进程取到数据文件以后，写redis(日志型、关键值(key-value)数据库)的关键字(key)值取一个1-n的随机数，保证平均分配到下载的服务器，进行负载均衡。

步骤S208：下载服务器读取数据处理队列中的数据文件并进行处理。

经并发进程处理，数据文件分发到各下载服务器，下载服务器读取队列中的数据文件，处理数据。

在n个下载服务器端，各自读取redis的key，处理下载任务，实现并发高效处理海量高负载数据，下载服务器就是通过redis来执行队列的。

基于同一发明构思，本发明实施例还提供一种数据分发系统，该系统的结构如图4所示，包括：数据库服务器、分发服务器和下载服务器；

数据库服务器，用于接收用户分享的数据文件，并存储；

分发服务器中包括数据分发装置，用于接收到用户的数据文件获取请求；根据数据分发进程的总进程数，确定数据文件的索引ID与数据分发进程的对应关系；获取数据库服务器中存储的用户分享的数据文件，根据数据分发进程的进程号、以及索引ID与数据分发进程的对应关系，将数据文件加载到与相应的数据分发进程对应的数据处理队列中供下载服务器读取。

下载服务器，用于读取数据处理队列中的数据文件并进行处理。如图4所示的，下载服务器可以有多个，如下载服务器1、下载服务器2、下载服务器2、下载服务器3、……。

分发服务器的结构如图5所示，该分发服务器中包括数据分发装置，该数据分发装置用于：接收到用户的数据文件获取请求；根据数据分发进程的总进程数，确定所述数据文件的索引ID与数据分发进程的对应关系；获取数据库服务器中存储的用户分享的数据文件，根据数据分发进程的进程号、以及索引ID与数据分发进程的对应关系，将数据文件加载到与相应的数据分发进程对应的数据处理队列中供下载服务器读取。

数据分发装置的结构如图6所示，包括：接收模块601、确定模块602和分发模块603。

接收模块601，用于接收到用户的数据文件获取请求。

确定模块602，用于根据数据分发进程的总进程数，确定数据文件的索引ID与数据分发进程的对应关系。

分发模块603，用于获取数据库服务器中存储的用户分享的数据文件，根据数据分发进程的进程号、以及索引ID与数据分发进程的对应关系，将数据文件加载到与相应的数据分发进程对应的数据处理队列中供下载服务器读取。

优选的，上述确定模块602，具体用于将数据文件的索引ID对总进程数进行取余计算，根据计算结果，得到数据文件的索引ID与数据分发进程的对应关系。

优选的，上述确定模块602，具体用于获取脚本传入的进程号，确定总进程数。

优选的，上述分发模块603，具体用于根据数据分发进程的进程号、以及索引标识ID与数据分发进程的对应关系，确定数据文件对应的数据分发进程，得到数据文件需加载到的数据处理队列；对数据文件添加脚本标记，将添加脚本标记后的数据文件加载到相应的数据处理队列中供下载服务器读取。

由于现有处理方式中，锁表的核心作用是在锁表的之后对读取到的数据进行状态标记，比如已经获取到的数据，就将数据中的一个flag字段标记为1，然后解锁，其他进程读取数据必须等待数据表解锁，取数据的时候按照flag＝0取数据，这样就避免数据被不同进程重复读取，也因此导致了现有技术中所描述的问题。本发明实施例提供的上述方法及系统，在读取数据的方式上，不再是锁表读取数据的方案，而是按进程号来分发数据，没有锁表机制，不会出现数据锁死状态，也能增加数据的利用率和处理效率，提高数据分发的处理速度，降低处理时延，减轻服务器负荷。

本发明实施例的上述方法适用于超文本预处理器(HypertextPreprocessor，PHP)等数据库处理技术，其按进程分发的策略，可以做到提高数据处理速度，降低服务器负载，实现真正意义上的并发不重复的处理海量数据。经在微盘的审核系统的数据分发中验证，处理数据的速度从原来1小时左右甚至更长时间缩短至5分钟左右，极大的提高了数据处理速度。

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrativelogicalblock)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrativecomponents)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据分发方法，其特征在于，包括：

分发服务器接收到用户的数据文件获取请求；

分发服务器根据数据分发进程的总进程数，确定数据文件的索引标识ID与数据分发进程的对应关系；

分发服务器获取数据库服务器中存储的用户分享的数据文件，根据数据分发进程的进程号、以及所述索引ID与数据分发进程的对应关系，将数据文件加载到与相应的数据分发进程对应的数据处理队列中供下载服务器读取。

2.如权利要求1所述的方法，其特征在于，所述确定数据文件的索引ID与数据分发进程的对应关系，具体包括：

将数据文件的索引ID对总进程数进行取余计算，根据计算结果，得到所述数据文件的索引ID与数据分发进程的对应关系。

3.如权利要求1所述的方法，其特征在于，所述总进程数由分发服务器通过获取脚本传入的进程号确定。

4.如权利要求1-3任一所述的方法，其特征在于，所述将数据文件加载到与相应的数据分发进程对应的数据处理队列中供下载服务器读取，具体包括：

所述分发服务器根据数据分发进程的进程号、以及所述索引ID与数据分发进程的对应关系，确定数据文件对应的数据分发进程，得到数据文件需加载到的数据处理队列；

对数据文件添加脚本标记，将添加脚本标记后的数据文件加载到相应的数据处理队列中供下载服务器读取。

5.一种数据分发装置，其特征在于，包括：

接收模块，用于接收到用户的数据文件获取请求；

确定模块，用于根据数据分发进程的总进程数，确定数据文件的索引标识ID与数据分发进程的对应关系；

分发模块，用于获取数据库服务器中存储的用户分享的数据文件，根据数据分发进程的进程号、以及所述索引ID与数据分发进程的对应关系，将数据文件加载到与相应的数据分发进程对应的数据处理队列中供下载服务器读取。

6.如权利要求5所述的装置，其特征在于，所述确定模块，具体用于：

将数据文件的索引ID对总进程数进行取余计算，根据计算结果，得到所述数据文件的索引ID与数据分发进程的对应关系。

7.如权利要求5所述的装置，其特征在于，所述确定模块，具体用于：

获取脚本传入的进程号，确定总进程数。

8.如权利要求5-7任一所述的装置，其特征在于，所述分发模块，具体用于：

根据数据分发进程的进程号、以及所述索引ID与数据分发进程的对应关系，确定数据文件对应的数据分发进程，得到数据文件需加载到的数据处理队列；

对数据文件添加脚本标记，将添加脚本标记后的数据文件加载到相应的数据处理队列中供下载服务器读取。

9.一种分发服务器，其特征在于，包括：如权利要求5-8任一所述的数据分发装置。

10.一种数据分发系统，其特征在于，包括：数据库服务器、分发服务器和下载服务器；

所述数据库服务器，用于接收用户分享的数据文件，并存储；

分发服务器中包括如权利要求5-8任一所述的数据分发装置；

下载服务器，用于读取数据处理队列中的数据文件并进行处理。