CN103701719A - 服务器中的数据队列的更新方法及系统 - Google Patents

Abstract

本申请公开了一种服务器中的数据队列的更新方法与系统，可以避免数据文件在写入磁盘阵列时所发生的传输错误。本申请更新方法包括：服务器监测所存储的所有数据文件是否有所异动；若监测到有新增的数据文件，则创建数据队列，并将所述数据文件存入相应的数据队列；若监测到任一存储的所述数据文件被删除时，则删除对应所述数据文件的所述数据队列。

Description

服务器中的数据队列的更新方法及系统

技术领域

本申请涉及数据传输的系统与方法，具体涉及一种服务器中的数据队列的更新方法及系统。 

背景技术

随着网络流量的快速成长，许多过去不容易实现的服务也可以被轻易的完成。例如：宽带上传多媒体文件(multimedia file)。由于海量的传输仍会影响服务器的负荷量。因此在已知的多媒体服务器也会具备带宽管理(Bandwidth Manager)的功能。服务器可以透过带宽分布或缓存等方式减轻同时间的资料传输量。 

此外，所述的传输方式更结合了多个实体磁盘，使得数据可以同步的写入所述磁盘中。而现有技术对数据写入磁盘的方式，是将数据同步的由来源端写入服务器中。 

而数据文件是以缓存(buffer)的方式写入分散式文件装置中。因此所有的数据文件都会被排入同一个缓存中。这样会造成数据文件取出时的混乱。特别是，不同种类的数据文件若是指针指向错误时会造成两笔数据文件的会毁损。 

发明内容

本申请所要解决的技术问题在于提供一种服务器中的数据队列的更新方法，可以避免数据文件在写入磁盘陣列时所发生的传输错误。 

为了解决上述问题，本申请揭示了一种服务器中的数据队列的更新方法包括：服务器监测所存储的所有数据文件是否有所异动；若监测到有新增的数据文件，则创建数据队列，并将所述数据文件存入相应的数据队列；若监 测到任一存储的所述数据文件被删除时，则删除对应所述数据文件的所述数据队列。 

进一步地，将所述数据文件存入相应的数据队列的步骤进一步包括：将数据文件的路径资讯存入对应的数据队列中。 

进一步地，服务器通过定时查询的方式或者监控文件操作指令的方式监测所存储的所有数据文件是否有所异动。 

进一步地，在所述若监测到有新增的数据文件，则创建数据队列，并将所述数据文件存入相应的数据队列之后，还包括：创建监控该数据队列的工作线程，用于监控该数据队列中的数据文件的异动；在所述监测到任一存储的所述数据文件被删除时，所述方法还包括：删除所述数据文件对应的所述数据队列的工作线程。 

为了解决上述问题，本申请另揭示了一种数据切分的传输系统，内存模块，用于存储数据文件和数据队列；监听模块，用于监测服务器中所存储的所有数据文件是否有所异动；队列管理模块，连接于所述监听模块，所述队列管理模块用于若所述监听模块监测到有新增的数据文件，则创建数据队列，并将所述数据文件存入相应的数据队列；以及，若所述监听模块监测到到任一存储的所述数据文件被删除时，则删除对应所述数据文件的所述数据队列。 

进一步地，将所述数据文件存入相应的数据队列时，还包括：将数据文件的路径资讯存入对应的数据队列中。 

进一步地，所述监听模块通过定时查询的方式或者监控文件操作指令的方式监测所存储的所有数据文件是否有所异动。 

所述系统进一步包括：队列监控模块， 

所述队列监控模块，用于在所述若监测到有新增的数据文件，则创建数据队列，并将所述数据文件存入相应的数据队列之后，创建监控数据队列的工作线程，所述工作线程用于监控该数据队列中的数据文件的异动； 

所述队列监控模块，还用于在所述监测到任一存储的所述数据文件被删除时，删除所述数据文件对应的所述数据队列的工作线程。 

与现有技术相比，本申请可以获得包括以下技术效果： 

1）本申请改进数据文件的传输过程，数据文件写入时若发生错误，本申请不需重新从客户端中取得数据文件。 

2）本申请若于传输数据文件的期间中发生错误，本申请可以透过至少一台心跳服务器发报给报警服务器，使得后台人员可以实时的得知何项组件发生异常。 

当然，实施本申请的任一产品必不一定需要同时达到以上所述的所有技术效果。 

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中： 

图1是本申请实施例的架构示意图。 

图2是本申请实施例的运作流程示意图。 

图3是本申请实施例的细部架构示意图。 

图4是本申请实施例的细部运作流程示意图。 

具体实施方式

以下将配合附图及实施例来详细说明本申请的实施方式，藉此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。 

如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。此外，“耦接”一词在此包含任何直接及间接的电性耦接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表所述第一装 置可直接电性耦接于所述第二装置，或通过其他装置或耦接手段间接地电性耦接至所述第二装置。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。本申请的服务器中的数据上传系统。本申请的传输系统包括：本地端100与多台心跳服务器210。而本地端100的服务器是由以下实体元件所构成，请参考图1：接收模块110、内存模块120、监听模块130、队列管理模块140与分散式文件装置150。 

本申请的服务器的运作流程请参考下述步骤，请参考图2所示： 

步骤S210：服务器监测所存储的所有数据文件是否有所异动； 

步骤S220：若监测到有新增的数据文件，则创建数据队列，并将所述数据文件存入相应的数据队列；以及 

步骤S230：若监测到任一存储的所述数据文件被删除时，则删除对应所述数据文件的所述数据队列。 

接收模块110，用于接收客户端的数据文件。本地端100的服务器通过定时查询的方式或者监控文件操作指令的方式监测所存储的所有数据文件是否有所异动。内存模块120连接于接收模块110，内存模块120用于存储数据文件和数据队列。具体来说，监听模块140，连接于所述内存模块120，用于监测服务器中所存储的所有数据文件是否有所异动。队列管理模块140连接于监听模块130，所述队列管理模块140用于若所述监听模块监测到有新增的数据文件，则创建数据队列，并将所述数据文件存入相应的数据队列，以及若所述监听模块监测到任一存储的所述数据文件被删除时，则删除对应所述数据文件的所述数据队列。队列管理模块140将所述数据文件存入相应的数据队列时，还将数据文件的路径资讯存入对应的数据队列中。监听模块130用于监测服务器中所存储的所有数据文件是否有所异动。若监听模块130监测到到任一存储的所述数据文件被删除时，则通知所述队列管理模块140删除对应所述数据文件的所述数据队列。 

所述监听模块130通过定时查询的方式或者监控文件操作指令的方式监测所存储的所有数据文件是否有所异动。所述监听模块130根据新增数据文件的操作指令驱动队列管理模块140创建新的数据队列；所述监听模块130 根据修改数据文件的操作指令，驱动队列管理模块140修改数据队列中数据文件的路径资讯；所述监听模块130根据删除数据文件的操作指令，驱动队列管理模块140删除队列管理模块140中对应的数据队列。 

所述系统进一步包括：队列监控模块160。所述队列监控模块160，用于在所述若监测到有新增的数据文件，则创建数据队列，将所述数据文件存入相应的数据队列。队列监控模块160还用于，在将所述数据文件存入相应的数据队列之后，创建监控数据队列的工作线程，所述工作线程用于监控该数据队列中的数据文件的异动； 

所述队列监控模块，还用于在所述监测到任一存储的所述数据文件被删除时，删除所述数据文件对应的所述数据队列的工作线程。 

为进一步界定前述服务器的元件所执行的相关功能，因此更进一步的定义各种软件实现的功能模块，而所述的功能模块请参考图3：本地目录161、上传模块162、扫描模块163、控制模块164、队列监控模块165、工作线程166。 

本地目录161，接收客户端所发送的数据文件。扫描模块163，连接于本地目录161，扫描模块163监视本地目录的数据文件是否异动。控制模块164，耦接于扫描模块163，控制模块163包括至少一数据队列，每一数据队列储存对应的数据文件的路径资讯，本地目录161的任一数据文件异动时，扫描模块163根据异动的种类的数据文件令控制模块164创建新的数据队列或更新已知的数据文件的内容。上传模块162，连接于本地目录161，本地目录161的任一数据文件异动时，上传模块162侦测异动的数据文件的文件种类，并根据文件种类将数据文件指派至对应的数据队列。队列监控模块165，连接于控制模块164，队列监控模块165根据数据队列的数量产生对应数量的队列监控模块165。队列监控模块165根据数据队列的数据文件的大小决定数据文件的切分数量，并根据切分数量对数据文件进行切分，并由每一个数据队列对应的工作线程166将切分获得的数据片段分别存储至分散式文件装置150。 

上传模块162连接于本地目录161与控制模块164。扫描模块163连接于本地目录161与控制模块164。在本申请中为能简单且清楚的说明整体的 运作方式，因此设置第一心跳服务器211与第二心跳服务器212。但实际上心跳服务器120的数量可以根据服务器的运行能力、带宽或安全性等因素所决定。 

控制模块164连接于扫描模块163、上传模块162、队列监控模块165、第一心跳服务器211与第二心跳服务器212。每一个本地目录161可以存放各自数据文件。例如：视频文件可以被存放置视频本地目录，而广告文件则放至于广告本地目录中。一般而言，本地目录161会定时的接收客户端所传送过来的数据文件。扫描模块163监视本地目录161中的文件是否有所异动。所述文件异动指的是数据的新增、搬移、修改或删除。当本地目录161中的文件有所异动时，则上传模块162将会把异动的数据文件在服务器中的路径传递至控制模块164。数据队列存储数据文件在磁盘上的路径位置。 

此外，上传模块162侦测本地目录161所异动的数据文件的文件种类。广义而言所述文件种类可能是音频文件、影片文件或文字文件等等。进一步而言，音频文件又可能细分为mp3、m4a、AAC或ARM等；影片文件又可细分为mov、flv、m4v、mkv或mp4等。 

若控制模块164中未存在数据文件的种类的数据队列时，上传模块会驱动控制模块164生成新的数据队列。尔后，若有同一种类的数据文件被载入，上传模块162会将新载入的数据文件放入对应的数据队列中。将数据文件的路径资讯存入对应的数据队列中。 

控制模块164会根据所接收到的文件路径依次分类并产生各自对应的数据队列，且不同的数据队列会指派不同的队列监控模块165来进行处理。在图1中是以第一数据队列、第二数据队列与第三数据队列作为示意。每一个队列监控模块165会记录所属的数据队列中的文件的切分资讯。在数据文件切分之前，队列监控模块165先从第一个数据队列取出对头元素(队列的第一个元素)，然后才进行切分。而数据队列的数据取出方式是依照先进先出(First In First Out，FIFO)的方式所实现。 

队列监控模块165用于在若监测到有新增的数据文件，则创建数据队列，并将所述数据文件存入相应的数据队列之后，创建监控数据队列的工作线程166，所述工作线程用于监控数据队列中的数据文件的异动。队列监控模块 165，还用于在所述监测到任一存储的所述数据文件被删除时，删除所述数据文件对应的所述数据队列的工作线程166。队列监控模块165对文件进行等长的切分。在完成文件的切分后，每一个文件切分的片段则定义为切分片段(slice)。队列监控模块165侦测所属的数据队列的堆叠数量超过上限时，队列监控模块165会向第一心跳服务器211与第二心跳服务器212发出报警信息。 

而切分片段的数量是可以根据本地端110的性能所决定。例如：1个工作线程166可处理50兆的切分片段，那么一个200兆的数据文件分配给4个工作线程166处理。同理，500兆的数据文件，可以分配给10个工作线程166处理。 

对于切分时所记录的相关资讯则称为切分资讯。例如，切分时的每一个切分长度与文件位置的在磁盘中的偏移量(offset)。扫描模块163发现本地目录161中的数据文件被删除时，扫描模块163会把控制模块164中的对应数据队列予以删除。 

接着，不同的切分片段会被指派各自对应的工作线程166，作为读取本地目录161的数据文件。工作线程166的实现可以由不同的程序语言所实现。在本申请中并不局限程序语言的种类，例如，JAVA语言或ASP语言。实际上，队列监控模块165先对本地目录161的数据文件进行切分的估算藉以得到所述数据文件的每一个应要被切分的位置。队列监控模块165接获切分片段后会根据切分片段的长度，并分派给工作线程166所属的部分数据文件。工作线程166在把所述部分的数据文件写入分散式文件装置150中。 

一般而言，第一心跳服务器211或第二心跳服务器212在超过一预设的期间后未收到心跳要求，心跳服务器120会向发出报警信息。但工作线程166在写入的过程中发生错误时。工作线程166会发送报警信息给第一心跳服务器211与第二心跳服务器212。所述工作线程166同时间也会通知其他工作线程166，要求其他工作线程166停止对分散式文件装置150的写入处理，藉以避免分散式文件装置150中的数据完整性。 

在此将前述各组件的运作方式以下述步骤表示，请配合图4所示： 

步骤S410：由扫描模块侦测本地目录的数据文件的异动； 

步骤S420：若本地目录新增数据文件或修改数据文件，控制模块创建数 据队列，并指派数据队列记录数据文件的路径名称； 

步骤S430：由上传模块侦测本地目录所异动的数据文件的文件种类； 

步骤S450：指派队列监控模块； 

步骤S460：由队列监控模块对数据队列进行切分，并决定数据文件的切分片段的数量； 

步骤S470：若本地目录的数据文件被删除，控制模块删除对应数据文件的数据队列； 

步骤S480：配置多个工作线程，工作线程从数据队列中取得数据文件，工作线程根据切分片段的数量对数据文件进行切分；以及 

步骤S490：工作线程读取切分片段，并依序写入分散式文件装置中。 

本地目录161除了接收来自于客户端的数据文件外，本地目录161中的数据文件也可能会被修改、搬移或删除等异动。扫描模块163会实时的侦测本地目录161中的数据文件是否有异动。当数据文件异动时，扫描模块163会向上传模块162发出数据文件异动的讯息。 

当有新的数据文件存入本地目录161时，扫描模块163会令控制模块建立新的数据队列，并将数据文件存入新的数据队列。一般而言，数据队列的数量限制取决于服务器的运行能力。但若是有过多的数据文件新创，可能会发生数据队列堆叠的问题。一旦有过量的数据文件被创建，则扫描模块163会透过控制模块164向心跳服务器120发出心跳要求。 

当现有的数据文件的内容有所异动时，扫描模块163会将变更后的数据文件再次存入数据队列中。若是本地目录161删除数据文件时，则扫描模块163会要求控制模块164将对应的数据文件的数据队列进行删除。 

上传模块162侦测本地目录161所异动的数据文件的文件种类。上传模块162根据文件种类是否存在，上传模块162要求控制模块164创建新的数据队列或把数据文件放入对应的数据队列中。上传模块162接获数据文件异动的讯息后，上传模块162会重新取得数据文件的路径名称并将路径名称储存至数据队列中。对于不同的数据文件会设置唯一的数据队列。当本地目录 161储存大量的数据文件时，控制模块164中的数据队列的数量也会快速的成长。 

由于过多的数据队列会造成过量的堆叠，会使得后续的工作线程166无法即时的处理完所述数据文件。因此本申请会监控数据队列的服务量是否超过设定的压力阀值。当服务量超过压力阀值时，控制模块164会向第一心跳服务器211或第二心跳服务器212发出报警要求。 

接著，根据切分片段的数量产生相应的工作线程166。每一个工作线程166根据各自的切分片段的起始位置与偏移量取得数据文件的部分片段，并将取得的片段写入分散式文件装置150中。在写入的过程中可能会发生错误，所以本申请当侦测到写入的切分片段的内容有误时，会向第一心跳服务器211或第二心跳服务器212发出报警要求。 

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者系统中还存在另外的相同要素。 

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。 

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。 

Claims (8)

1.一种服务器中的数据队列的更新方法，其特征在于，包括以下步骤：

服务器监测所存储的所有数据文件是否有所异动；

若监测到有新增的数据文件，则创建数据队列，并将所述数据文件存入相应的数据队列；以及

若监测到任一存储的所述数据文件被删除时，则删除对应所述数据文件的所述数据队列。

2.如权利要求1所述的服务器中的数据队列的更新方法，其特征在于，将所述数据文件存入相应的数据队列的步骤进一步包括：将数据文件的路径资讯存入对应的数据队列中。

3.如权利要求1所述的服务器中的数据队列的更新方法，其特征在于，服务器通过定时查询的方式或者监控文件操作指令的方式监测所存储的所有数据文件是否有所异动。

4.如权利要求1所述的服务器中的数据队列的更新方法，其特征在于，

在所述若监测到有新增的数据文件，则创建数据队列，并将所述数据文件存入相应的数据队列之后，还包括：创建监控该数据队列的工作线程，用于监控该数据队列中的数据文件的异动；

在所述监测到任一存储的所述数据文件被删除时，所述方法还包括：删除所述数据文件对应的所述数据队列的工作线程。

5.一种服务器中的数据队列的更新系统，其特征在于，包括：

内存模块，用于存储数据文件和数据队列；

监听模块，用于监测服务器中所存储的所有数据文件是否有所异动；

队列管理模块，连接于所述监听模块，所述队列管理模块用于若所述监听模块监测到有新增的数据文件，则创建数据队列，并将所述数据文件存入相应的数据队列；以及，

若所述监听模块监测到任一存储的所述数据文件被删除时，则删除对应所述数据文件的所述数据队列。

6.如权利要求5所述的服务器中的数据队列的更新系统，其特征在于，将所述数据文件存入相应的数据队列时，还包括：将数据文件的路径资讯存入对应的数据队列中。

7.如权利要求5所述的服务器中的数据队列的更新系统，其特征在于，所述监听模块通过定时查询的方式或者监控文件操作指令的方式监测所存储的所有数据文件是否有所异动。

8.如权利要求5所述的服务器中的数据队列的更新系统，其特征在于，所述系统进一步包括：队列监控模块，

所述队列监控模块，用于在所述若监测到有新增的数据文件，则创建数据队列，并将所述数据文件存入相应的数据队列之后，创建监控数据队列的工作线程，所述工作线程用于监控该数据队列中的数据文件的异动；

所述队列监控模块，还用于在所述监测到任一存储的所述数据文件被删除时，删除所述数据文件对应的所述数据队列的工作线程。

Images