CN105516334A - Cdn文件分发系统 - Google Patents

Abstract

CDN文件分发系统，所述系统包括：源存储节点、至少一个二级存储节点、边缘节点、数据库服务器和任务触发服务器；所述源存储节点，适于接收用户传输的文件，生成对应的边缘节点的文件新增任务并写入所述数据库服务器；定时从所述数据库服务器中获取文件处理任务并处理，其中，当所述文件处理任务为文件新增任务时，且相应的文件不存在时，从源站获取对应的文件。上述的方案，可以提高CDN文件分发系统文件分发的灵活性。

Description

CDN文件分发系统

技术领域

本发明涉及内容分发网络技术领域，特别是涉及一种CDN文件分发系统。

背景技术

内容分发网络(ContentDeliveryNetwork，CDN)，通过在网络各处放置节点服务器，在现有的互联网基础之上构建一层智能虚拟网络，将网站的内容发布到最接近用户的网络“边缘”，使用户可以就近取得所需的内容。而这些“边缘”，也即是缓存服务器，用以缓存源站内容。

现有技术中，CDN文件分发系统的文件分发方法是首先客户将文件上传至源服务器之后，源服务器才可以将用户上传的文件进行下发相应的边缘节点服务器，因此，现有技术中的CDN文件分发系统存在着文件分发灵活性差的问题。

发明内容

本发明实施例解决的技术问题是提高CDN文件分发系统文件分发的灵活性。

为解决上述问题，本发明实施例提供了一种CDN文件分发系统，所述系统包括：

源存储节点、至少一个二级存储节点、边缘节点、数据库服务器和任务触发服务器；

所述源存储节点，适于接收用户传输的文件，生成对应的边缘节点的文件新增任务并写入所述数据库服务器；定时从所述数据库服务器中获取文件处理任务并处理，其中，当所述文件处理任务为文件新增任务时，且相应的文件不存在时，从源站获取对应的文件；

所述二级存储节点，适于从所述源存储节点抓取相应的文件并下发至所述边缘节点；

所述数据库服务器，适于接收用户和所述源存储节点提交的文件处理任务；

所述任务触发服务器，适于将对应的未完成的文件处理任务发送至对应的边缘节点服务器进行处理，并在接收到所述边缘节点返回的文件处理任务执行完成的反馈信息时，将所述数据库服务器中相应的文件处理任务的状态更新为完成；

所述边缘节点，包括多个边缘节点服务器；所述边缘节点服务器，适于接收所述任务触发服务器发送的未完成的文件处理任务并处理，返回所述文件处理任务的任务执行状态信息至所述任务触发服务器。

可选地，所述文件处理任务还包括文件删除任务、文件重命名任务、文件复制任务和文件解压缩任务中至少一项。

可选地，所述CDN文件分发系统源存储节点包括：

文件处理单元，适于接收用户的文件操作请求，并对相应的文件执行相应的操作；

任务生成单元，根据所述对相应的文件执行相应的操作，生成对应的文件处理任务并写入所述数据库中，以使得所述二级存储节点和边缘节点获取所生成的文件处理任务并处理；

任务处理单元，适于从所述数据库服务器中获取自身未完成的文件处理任务并处理；

第一任务状态更新单元，适于当将未完成的文件处理任务处理完成时，将所述数据库服务器中对应的文件处理任务的状态更新为完成。

可选地，所述文件处理单元适于通过RSYNC或者FTP方式接收来自用户的文件操作请求。

可选地，所述源存储节点还包括：

任务提交单元，适于接收用户提交的文件处理任务并写入所述数据库服务器中。

可选地，所述任务提交单元适于通过WEB页面或者API接口接收用户提交的文件处理任务。

可选地，所述任务处理单元包括：

任务读取子单元，适于将所述源存储节点的未完成的文件处理任务为从数据库服务器中读取并存储在内存中；

任务处理子单元，适于从内存中读取未完成的文件处理任务并处理。

可选地，所述任务处理子单元包括：

文件删除模块，适于当所述未完成的文件处理任务的操作类型为删除时，对相应的文件执行删除操作；

文件重命名模块，当所述未完成的文件处理任务的操作类型为重命名时，对相应的文件执行重命名操作；

文件复制模块，适于当所述未完成的文件处理任务的操作类型为复制时，对相应的文件执行复制操作；

文件解压缩模块，适于当所述未完成的文件处理任务的操作类型为解压缩，且相应的文件存在时，对相应的文件执行解压缩的操作；当所述未完成的文件处理任务的操作类型为解压缩，且相应的文件不存在时，从对应的源站抓取相应的文件，并对所抓取的文件执行解压缩的操作；

文件分发模块，适于当所述未完成的文件处理任务的类型操作为新增，且相应的文件不存在时，从对应的源站抓取相应的文件并存储。

可选地，所述任务触发服务器包括：

任务分发单元，适于定时从所述任务列表中逐条获取未完成的文件处理任务，并发送至对应的目标边缘节点服务器；

任务状态接收单元，适于接收所述边缘节点发送的文件处理任务的执行状态信息；

第二任务状态更新单元，适于当接收到的接收所述边缘节点发送的文件处理任务的执行状态信息为完成时，将所述数据库服务器中对应的文件处理任务的状态更新为完成；

第一任务删除单元，适于当接收到的接收所述边缘节点发送的文件处理任务的执行状态信息为完成时，从所述任务列表中删除对应的文件处理任务。

可选地，所述任务分发单元，适于按照优先级从高到底的顺序将分解的对应的多条文件处理任务添加到相应的边缘节点的任务列表中。

可选地，所述任务分发单元包括：

第一分发子单元，适于当确定边缘节点中边缘节点服务器的文件存储模式为哈希模式时，从OS服务器上获取所述未完成的文件处理任务对应的目标边缘节点服务器的信息；

第二分发子单元，适于当确定边缘节点中服务器的文件存储模式为镜像模式时，将所述边缘节点中的任一边缘节点服务器作为所述目标边缘节点服务器。

可选地，所述任务触发服务器还包括：

第一获取单元，适于获取所述数据库服务器中的文件处理任务对应的所有边缘节点的信息；

第二获取单元，适于获取所述数据库服务器中各个边缘节点对应的未完成的文件处理任务；

任务分解单元，适于逐条获取数据库服务器中未完成的文件处理任务，并分解成对应的多条文件处理任务，并添加到相应的边缘节点的任务列表中。

可选地，所述边缘节点服务器包括：

任务获取单元，适于接收所述任务触发服务器的对应的未完成的文件处理任务，并插入到自身的任务列表中；

任务执行单元，适于从自身的任务列表中获取未完成的文件处理任务并处理；

任务状态发送单元，适于处理完成一条文件处理任务，并在接收到所述任务触发服务器发送的未完成的文件处理任务时，将处理完成的文件处理任务的完成状态反馈给所述任务触发服务器；

第二任务删除单元，适于在将处理完成的文件处理任务的完成状态反馈给所述任务触发服务器时，将自身的任务列表中对应的文件处理任务删除。

可选地，所述任务执行单元包括：

第一删除子单元，适于当确定所述文件处理任务对应的操作类型为删除时，对相应的文件执行删除操作；

第一重命名子单元，适于当确定所述文件处理任务的类型为重命名时，对自身存储的相应的文件执行重命名操作；

第一复制子单元，适于当确定所述文件处理任务的类型为复制时，对自身存储的相应的文件执行复制操作；

第一任务状态更新子单元，适于在对自身存储的相应的文件执行删除、重命名或者复制操作结束时，将自身任务列表中对应的文件处理任务的状态设置为完成。

可选地，所述任务执行单元还包括：

第一判断子单元，适于当确定所述文件处理任务的类型为新增时，判断相应的文件是否存在；

第一文件获取子单元，适于当确定相应的文件不存在时，通过逐级发送文件传输请求获取相应的文件；

第二任务状态更新子单元，适于获取对应的文件失败时，将自身的任务列表中对应的文件处理任务的状态设置为失败。

可选地，所述任务执行单元还包括：

第二判断子单元，适于当确定所述文件处理任务的类型为解压缩时，判断相应的文件是否存在；

第二文件获取子单元，适于当确定相应的文件不存在时，通过逐级发送文件传输请求获取相应的文件；

第三任务状态更新子单元，适于当获取到相应的文件时，并所获取的相应的文件执行解压缩操作结束时，将自身的任务列表中对应的文件处理任务的状态更新为完成。

与现有技术相比，本发明的技术方案具有以下的优点：

上述的方案，源存储节点不仅可以在客户将文件存储之后，将相应的文件下发至边缘节点，还可以根据数据库中自身对应的文件新增任务的处理，主动从客户的源站中获取相应的文件并下发至边缘节点，可以提高文件分发触发方式的多样性，提升用户的使用体验。

进一步地，数据库服务器不仅可以通过RSYNC和FTP方式获取中心存储器接收的用户提交的文件操作请求，还可以通过WEB页面和API接口直接获取用户提交的文件处理任务，可以提高任务提交的灵活性。

进一步地，任务处理服务器在向边缘节点中的服务器进行任务触发操作时，可以根据任务的优先级来触发边缘节点的文件处理任务，而不单是根据文件上上传的先后顺序进行文件分发，因此，可以进一步提高文件分发的灵活性，从而可以满足紧急任务的快速响应需求。

进一步地，通过对边缘节点进行定时询问的方式，来触发文件处理任务的处理，而不是仅在源服务器接收到文件并发起文件分发请求时才可以进行文件处理任务的处理，因此，可以进一步提高文件处理任务处理的灵活性。

附图说明

图1是本发明实施例中的CDN文件分发系统的结构示意图；

图2是本发明实施例中的源存储节点的文件处理任务的执行方法的流程图；

图3是本发明实施例中的源存储节点的结构示意图；

图4是本发明实施例中的任务触发服务器的工作原理示意图；

图5是本发明实施例中的任务触发服务器的结构示意图；

图6是本发明实施例中的边缘节点服务器的工作原理示意图；

图7是本发明实施例中的边缘节点服务器的结构示意图；

具体实施方式

为解决现有技术中存在的上述问题，本发明实施例采用的技术方案通过源存储节点不仅可以在客户将文件存储之后，将相应的文件下发至边缘节点，还可以根据数据库中自身对应的文件新增任务的处理，主动从客户的源站中获取相应的文件并下发至边缘节点，可以提高文件分发触发方式的多样性，提升用户的使用体验。

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

为了便于理解，下面首先对本发明实施例中的CDN文件分发系统做简要的介绍。请参见图1所示，CDN文件分发系统可以包括源存储节点101、二级存储节点102、边缘节点103、数据库服务器104和任务触发服务器105。其中，存储节点101分别与二级存储节点102、数据库服务器104连接，二级存储节点102还与边缘节点103连接，数据库服务器104还与任务触发服务器105，任务触发服务器105还与边缘节点103连接。其中：

所述源存储节点101，适于接收用户传输的文件，生成对应的边缘节点的文件新增任务并写入所述数据库服务器；定时从所述数据库服务器中获取文件处理任务并处理，其中，当所述文件处理任务为文件新增任务时，且相应的文件不存在时，从源站获取对应的文件；

所述二级存储节点105，适于从所述源存储节点抓取相应的文件并下发至所述边缘节点；

所述数据库服务器103，适于接收用户和所述源存储节点提交的文件处理任务；

所述任务触发服务器104，适于将所述边缘节点对应的未完成的文件处理任务发送至对应的边缘节点服务器进行处理，并在接收到所述边缘节点返回的任务执行状态为完成时，将所述数据库服务器中相应的未完成的文件处理任务的状态设置为完成；

所述边缘节点103，包括多个边缘节点服务器；所述边缘节点服务器，适于接收所述任务触发服务器发送的未完成的文件处理任务并处理，返回所述文件处理任务的任务执行状态信息至所述任务触发服务器。

下面对上述的CDN文件分发系统中不同装置及各自相应的工作原理分别进行详细的介绍。

首先，对于源存储节点的工作原理做详细的介绍。

在具体实施中，源存储节点可以接收的文件操作请求，并根据所接收的文件操作请求，对相应的文件执行相应的操作。用户传输的文件，并通过向所述数据库服务器中写入对应的文件处理任务，以保持二级存储节点和对应的边缘节点的文件的同步。

在本发明一实施例中，源存储节点可以通过WEB页面方式接收用户(或称客户)提交的文件处理任务，并将用户提交的文件处理任务插入到数据库服务器中进行存储。

其中，在通过WEB页面方式接收用户(或称客户)提交的文件处理任务时，源存储节点首先通过WEB页面接收用户输入的身份验证信息，并对用户输入的身份验证。当对用户的身份验证信息验证通过时，源存储节点可以接收用户对文件处理任务的操作请求，并执行对应的操作。例如，源存储节点接收用户的提交、查看、删除、更改文件处理任务等的请求，并对相应的文件处理任务进行接收、删除或更改等。

在本发明另一实施例中，源存储节点还可以通过应用程序编程接口(ApplicationProgrammingInterface，API)接收用户文件处理任务操作请求，并将用户提交的文件处理任务插入到数据库服务器中进行存储。例如，源存储节点可以接收用户提交的文件处理任务的增加、更新、解压缩和重命名等请求，对对相应的文件处理任务执行增加、更新、解压缩和重命名等操作。

在具体实施中，本发明实施例中的源存储节点可以通过不同的方式接收用户提交的文件，并在数据库服务器中生成对应的文件新增任务，以将用户提交的文件分发至对应的二级存储节点和边缘节点中。

在本发明一实施例中，源存储节点通过远程同步(RemoteSYNChronize，RSYNC)用户的文件操作请求，根据所接收的文件操作请求，对相应的文件执行对应的操作，并生成相应的二级存储节点和边缘节点对应的文件处理任务存储至数据库服务器中，以使得二级存储节点和边缘节点对文件进行同步。

例如，当源存储节点在通过RSYNC方式接收到用户增加的文件时，将所接收的文件进行存储，并生成对应的文件新增任务并写入数据库服务器104中。

在本发明另一实施例中，源存储节点还可以通过文件传输协议(FileTransferProtocol，FTP)方式接收用户的文件操作请求，并对对应的文件执行相应的操作，生成对应的文件处理任务闭关存储在数据库服务器中，以使得二级存储节点和边缘节点可以对文件进行同步。其中，源存储节点可以通过FTP方式接收用户对文件的新增、更新、删除、重命名和移动等操作。

例如，当源存储节点在通过RSYNC方式接收到用户增加的文件时，将所接收的文件进行存储，生成对应的文件新增任务并写入数据库服务器中。

在具体实施中，本发明实施例中的源存储节点，可以接收用户传输的文件，生成对应的边缘节点的文件新增任务并写入所述数据库服务器；定时从所述数据库服务器中获取文件处理任务并处理。其中，当所述文件处理任务为文件新增任务时，且相应的文件不存在时，源存储节点可以从源站获取对应的文件并存储。

这样，本发明实施例中的源存储节点不仅可以将用户主动提交的文件，分发至对应的二级存储节点和边缘节点，还可以通过数据库服务器中用户提交的自身对应的文件新增任务，主动从源站获取对应的文件，因此，可以提高文件分发的灵活性，提升用户的使用体验。

这里需要指出的是，源存储节点接收用户传输的文件和文件处理任务的方式并不受上述的特定限制，本领域的技术人员可以理解的是，还可以采用其它的方式进行文件和文件处理任务的处理操作，本发明在此不做限制。

在具体实施中，源存储节点可以从数据库服务器中获取自身的未完成的文件处理任务，并对其中存储的文件执行对应的操作，具体请参见图2所示。

参见图2，在具体实施中，源存储节点的文件处理任务的执行方法可以包括如下的步骤：

步骤S201：查询数据库服务器，并获取自身的未完成的文件处理任务并存储在内存中。

在本发明一实施例中，源存储节点可以通过定时查询数据服务器，以获取自身的未完成的文件处理任务，并将获取的未完成的文件处理任务进行存储。当然，本发明实施例中的源存储节点也可以根据自身的需求，在需要的时候查询数据库服务器，以获取自身未完成的文件处理任务，本领域的技术人员可以根据实际的需要进行设置，本发明在此不做限制。

在具体实施中，源存储节点所获取的自身未完成的文件处理任务的存储位置，也可以根据实际的需要进行设置，例如，存储在内存或者硬盘中等，本发明在此不做限制。

步骤S202：逐条读取内存中存储的未完成的文件处理任务，并判断当前待处理的文件处理任务的类型；当确定当前待处理的未完成的文件处理任务为删除、重命名、复制之一时，可以执行步骤S203；当确定当前待处理的未完成的文件处理任务为新增或者解压缩之一时，可以执行步骤S204。

在具体实施中，文件处理任务可以包括文件新增任务，且可以包括文件删除任务、文件重命名任务和文件复制任务中至少一种。当然，也可以包括其他类型的文件处理任务，如文件移动任务等，以提高文件处理的灵活性，提升用户的使用体验。

步骤S203：对自身存储的对应的文件分别执行删除、重命名或者复制操作。

在具体实施中，当确定当前待处理的文件处理任务的类型为删除、重命名和复制操作中任一类型时，源存储节点可以对自身存储的相应的文件执行删除、重命名或者复制操作。

步骤S204：判断自身中是否存在对应的文件；当确定存在对应的文件时，可以执行步骤S205，反之，则可以执行步骤S206。

在具体实施中，当确定当前待处理的文件处理任务为解压缩或者新增时，源存储节点首先可以判断自身中是否存在对应的文件。

步骤S205：从源站抓取对应的文件并所抓取的文件，并对所抓取的文件执行相应的新增或者解压缩操作。

在具体实施中，当确定对应的文件不存在时，源存储节点可以根据对应文件的统一资源定位符(UniformResourceLocator，URL)，从源站抓取对应的文件进行存储。

这里需要指出的是，在当前待处理的文件处理任务为文件新增任务且从源站抓取对应的文件并存储之后，则可以接着执行步骤S205。而当前待处理的文件处理任务为解压缩且从源站抓取到对应的文件之后，在对所抓取的文件执行解压缩操作，之后可以接着执行步骤S206。

步骤S206：在文件处理任务成功处理完成时，将所述文件处理任务的状态设置为完成并写入数据库服务器中，并从自身中删除对应的文件处理任务。

在具体实施中，源存储节点在将当前待处理的未完成的文件处理成功处理完毕之后，可以将对应的文件处理任务的状态设置为完成，并写入数据库中，同时将自身存储的对应的文件处理任务进删除，以避免任务的重复获取和执行，并节约存储资源。

通过上述的介绍可知，源存储节点不仅可以被动地接收用户提交的文件，还可以在确定对应的文件不存在时，主动从源站抓取对应的文件，因此，可以提高文件分发方式的灵活性，提升用户的使用体验。

请参见图3所示，与上述的源存储节点的工作流程相应，本发明实施例中的源存储节点300，可以包括文件处理单元301、任务生成单元302、任务处理单元303和任务状态更新单元304，其中：

所述文件处理单元301，适于接收用户的文件操作请求，并对相应的文件执行相应的操作。

所述任务生成单元302，适于根据所述对相应的文件执行相应的操作，生成对应的文件处理任务并写入所述数据库中，以使得对应的边缘节点获取所生成的文件处理任务并处理。

所述任务处理单元303，适于从所述数据库服务器中获取自身未完成的文件处理任务并处理。

在本发明一实施例中，所述文件处理单元303适于通过RSYNC方式接收来自用户的文件操作请求；在本发明另一实施例中，所述文件处理单元303适于通过FTP方式接收来自用户的文件操作请求；在本发明又一实施例中，所述文件处理单元303适于通过RSYNC方式和FTP方式接收来自用户的文件操作请求。

在具体实施中，所述任务处理单元303包括任务读取子单元和任务处理子单元，其中：

所述任务读取子单元，适于将所述源存储节点的未完成的文件处理任务为从数据库服务器中读取并存储在内存中；

所述任务处理子单元，适于从内存中读取未完成的文件处理任务并处理。

在具体实施中，所述任务处理子单元可以包括第一文件删除模块、第一文件重命名模块、第一文件重命名模块、第一文件解压缩模块和第一文件分发模块，其中：

所述第一文件删除模块，适于当所述未完成的文件处理任务的操作类型为删除时，对相应的文件执行删除操作。

所述第一文件重命名模块，当所述未完成的文件处理任务的操作类型为重命名时，对相应的文件执行重命名操作。

所述第一文件复制模块，适于当所述未完成的文件处理任务的操作类型为复制时，对相应的文件执行复制操作。

所述第一文件解压缩模块，适于当所述未完成的文件处理任务的操作类型为解压缩，且相应的文件存在时，对相应的文件执行解压缩的操作；当所述未完成的文件处理任务的操作类型为解压缩，且相应的文件不存在时，从对应的源站抓取相应的文件，并对所抓取的文件执行解压缩的操作。

所述第一文件分发模块，适于当所述未完成的文件处理任务的类型操作为新增，且相应的文件不存在时，从对应的源站抓取相应的文件并存储。

任务状态更新单元304，适于当将未完成的文件处理任务处理完成时，将所述数据库服务器中对应的文件处理任务的状态更新为完成。

在具体实施中，如图3所示的源存储节点300，还可以包括任务提交单元305，其中：

所述任务提交单元305，适于接收用户提交的文件处理任务并写入所述数据库服务器中。

在具体实施中，所述任务提交单元305适于通过WEB页面或者API接口接收用户提交的文件处理任务。

在具体实施中，当源存储节点将所接收的用户提交的文件处理任务以及自身生成的文件处理任务写入数据库服务器中进行存储之后，任务处理服务器可以从数据库服务器获取各个边缘节点对应的未完成的文件处理任务，并分发至对应的边缘节点进行处理；接收边缘节点服务器返回的任务执行状态的信息，当确定当前的未完成的文件处理任务完成时，将对应的文件处理任务的状态设置为完成，并写入数据库服务器中。

如图4所示，在具体实施中，任务触发服务器可以将数据库服务器中的未完成的文件处理任务分发至边缘节点中，并触发边缘节点对未完成的文件处理任务进行处理，具体而言，可以包括如下的步骤：

步骤S401：获取所述数据库服务器中未完成的文件处理任务对应的所有边缘节点的信息。

在具体实施中，数据库服务器可以对CDN文件分发系统的文件处理任务进行存储。在数据库服务器中，可以包括多个数据表，每个数据表中可以存储多个文件处理任务。其中，在本发明一实施例中，数据库服务器中的各个数据表可以以对应的边缘节点的IP地址进行索引，任务触发服务器可以通过获取数据库服务器中所有的IP地址的信息，便可以得到所存储的所有文件处理任务对应的多个边缘节点的信息。

步骤S402：获取所述数据库服务器中各个边缘节点对应的未完成的文件处理任务。

在具体实施中，数据库服务器中存储的文件处理任务不仅包括对应的边缘节点的信息，还包括文件处理任务的状态的信息。其中，未处理的文件处理任务的状态标记为未完成，已经成功处理完成的文件处理任务的状态标记为完成。因此，任务触发服务器可以通过数据库服务器中的文件处理任务的状态的信息，从中选取所有边缘节点对应的未完成的文件处理任务。

步骤S403：逐条获取数据库服务器中未完成的文件处理任务，并分解成对应的多条文件处理任务，并添加到相应边缘节点的任务列表中。

在本发明一实施例中，任务触发服务器可以为所获取的所有边缘节点分别创建任务触发线程和任务分解线程。其中，任务分解线程可以将对应边缘节点的未完成的文件处理任务分解成对应的多条文件处理任务，并添加至所述边缘节点对应的任务列表中。所述任务触发线程可以逐条读取对应的边缘节点的所述任务列表中的未完成的文件处理任务，并向对应的目标边缘节点服务器发送任务触发请求。

在本发明一实施例中，任务触发服务器可以根据需求为文件处理任务设置不同的优先级。同时，为对应的边缘节点创建具有不同优先级的任务列表，将分解得到的多条文件处理任务添加至相应的优先级对应的任务列表中。由于每个边缘节点对应的触发线程在进行任务触发时，是按照优先级从高至低的顺序读取任务列表中的文件处理任务，并分发给对应的目标边缘节点服务器进行处理的，因此，可以满足用户的不同的文件处理任务的处理需求。

例如，在遇到文件需要进行紧急下发的情形时，可以将对应的文件新增任务添加至对应边缘节点的触发线程对应的最高优先级的任务列表中，以使得对应的边缘节点服务器可以对所述文件新增任务尽快地进行处理，因此，可以提高文件处理的灵活性，满足用户的多样化文件处理需求。

步骤S404：从对应的任务列表中逐条获取未完成的文件处理任务，并发送至对应的目标边缘节点服务器。

在本发明一实施例中，任务触发服务器在预定的时间进行边缘节点的任务触发。当到达预定的时间时，任务触发服务器的触发线程将从对应的任务列表中获取一条未完成的文件处理任务，并根据所述文件处理任务的信息，确定应触发的目标边缘节点服务器。这里需要指出的是，任务触发器的每个触发线程可以并行运行，以触发多个边缘节点处理文件处理任务，也可以按照一定的顺序触发边缘节点进行文件处理任务的处理，本领域的技术人员可以根据实际的需要进行设置，本发明在此不做限制。

在具体实施中，任务触发服务器可以根据边缘节点的不同的类型，确定应触发的目标边缘节点服务器。

具体而言，当边缘节点服务器采用镜像模式对源存储节点中的文件进行缓存时，各边缘节点均对源存储节点中的全部文件进行缓存，因此，任务触发服务器可以将边缘节点中的任意一个边缘节点服务器作为目标边缘节点服务器，并向所确定的目标边缘节点服务器发送任务触发请求，以使得所述目标边缘节点服务器将当前的文件处理任务的执行状态信息发送至所述任务触发服务器。

当边缘节点服务器采用哈希模式对源存储节点中的文件进行缓存时，边缘节点服务器中的各个边缘节点服务器所缓存的源存储节点中存储的文件并不相同。此时，可以从负载均衡(OS)服务器上获取对应的目标边缘节点服务器及存储路径的信息，并向所确定的目标边缘节点服务器发送当前获取的未完成的文件处理任务，以使得对应的边缘节点服务器接收当前获取的未完成的文件处理任务并存储，同时，对应的边缘节点将任务触发服务器分发的文件处理任务的执行状态信息发送至所述任务触发器。

在具体实施中，当任务触发服务器在将当前获取的未完成的文件处理任务发送至所确定的目标边缘节点服务器时，可以采用TCP的方式与对应的边缘节点之间进行通信，以将当前获取的未完成的文件处理任务发送至对应的目标边缘节点服务器。当然，任务触发服务器在在将当前获取的未完成的文件处理任务发送至所确定的目标边缘节点服务器时，也可以采用其他适宜的通信方式与所确定的目标边缘节点进行通信，本发明在此不做限制。

步骤S405：接收所述边缘节点发送的文件处理任务的执行状态信息；当所接收的文件处理任务的执行状态为完成时，可以执行步骤S406，反之，则不执行任何的操作。

步骤S406：将所述文件处理任务的状态设置为完成并写入所述数据库服务器中。

在具体实施中，任务触发服务器在接收到所述边缘节点发送的上一条的文件处理任务的执行结果为完成时，将内存中对应的文件处理任务的状态设置为完成并写入数据库服务器中，以对数据库服务器中的文件处理任务的状态进行更新。

在具体实施中，与图4所示的方法对应的装置请参见图5。如图5所示，本发明实施例中的任务触发服务器500，可以包括任务分发单元501、任务状态接收单元502、第二任务状态更新单元503和第一任务删除单元504，其中：

所述任务分发单元501，适于定时从所述任务列表中逐条获取未完成的文件处理任务，并发送至对应的目标边缘节点服务器。

在具体实施中，所述任务分发单元501，适于按照优先级从高到底的顺序将分解的对应的多条文件处理任务添加到相应的边缘节点的任务列表中。

在具体实施中，所述任务分发单元501可以包括第一分发子单元和第二分发子单元，其中：

第一分发子单元，适于当确定边缘节点中边缘节点服务器的文件存储模式为哈希模式时，从OS服务器上获取所述未完成的文件处理任务对应的目标边缘节点服务器的信息；

第二分发子单元，适于当确定边缘节点中服务器的文件存储模式为镜像模式时，将所述边缘节点中的任一边缘节点服务器作为所述目标边缘节点服务器。

所述任务状态接收单元502，适于接收所述边缘节点发送的文件处理任务的执行状态信息。

所述第二任务状态更新单元503，适于当接收到的接收所述边缘节点发送的文件处理任务的执行状态信息为完成时，将所述数据库服务器中对应的文件处理任务的状态更新为完成。

所述第一任务删除单元504，适于当接收到的接收所述边缘节点发送的文件处理任务的执行状态信息为完成时，从所述任务列表中删除对应的文件处理任务。

在具体实施中，如图5所示的任务触发服务器500，还可以包括第一获取单元505、第二获取单元506和任务分解单元507，其中：

所述第一获取单元505，适于获取所述数据库服务器中的文件处理任务对应的所有边缘节点的信息；

所述第二获取单元506，适于获取所述数据库服务器中各个边缘节点对应的未完成的文件处理任务；

所述任务分解单元507，适于逐条获取数据库服务器中未完成的文件处理任务，并分解成对应的多条文件处理任务，并添加到相应的边缘节点的任务列表中。

在具体实施中，边缘节点可以包括多个边缘节点服务器。各个边缘节点服务器可以接收任务触发服务器发送的自身对应的未完成的文件处理任务并存储至自身的任务列表中，从自身的任务列表中获取未完成的文件处理任务进行处理，并在处理完成时向所述任务触发服务器反馈任务完成的反馈信息，以使得任务触发服务器对所述数据库服务器中相应的文件处理任务进行更新，具体可以参见图6。

图6示出了本发明实施例中的边缘节点服务器的工作原理示意图。在具体实施中，边缘节点服务器的工作方法，可以包括如下的步骤：

步骤S601：接收所述任务触发服务器的未完成的文件处理任务并插入到自身的任务列表中。

在具体实施中，边缘节点服务器在接收任务触发服务器定时发送的未完成的文件处理任务时，将所接收的未完成的处理任务插入到自身的任务列表中进行存储。

在具体实施中，边缘节点服务器中的任务列表可以存储在内存中，也可以存储在其他的位置，不受特定的限制。

步骤S602：从自身的任务列表中获取一条未完成的文件处理任务。

在具体实施中，边缘节点服务器在满足预设的条件时，可以从内存中的任务列表中获取一条未完成的文件处理任务。

步骤S603：判断所获取的未完成的文件处理任务的类型；当确定所述未完成的文件处理任务的类型为删除、重命名或者复制时，可以执行步骤S604；当确定所述未完成的文件处理任务的类型为新增或者解压缩时，可以执行步骤S605。

步骤S604：对相应的文件执行删除、重命名或者复制操作。

在具体实施中，当确定所获取的未完成的文件处理任务对应的类型为删除、重命名或者复制其中之一时，边缘节点可以对自身中存储的对应的文件执行相应的删除、重命名或者复制操作。

步骤S605：判断对应的文件是否存在：当判断结果为是时，可以执行步骤S606；当判断结果为否时，可以执行步骤S607。

在具体实施中，当确定所获取的未完成的文件处理任务对应的类型为新增或者解压缩时，边缘节点服务器首先判断自身存储的文件中是否存在对应的文件。

步骤S606：对相应的文件执行新增或者解压缩的操作。

在具体实施中，边缘节点服务器在确定自身存储的文件中存在对应的文件时，可以对自身存储的对应的文件执行新增或者解压缩的操作。

步骤S607：逐级向上请求对应的文件，并判断是否成功请求到对应的文件；当判断结果为是时，可以执行步骤S608；反之，则可以执行步骤S609。

在具体实施中，边缘节点服务器在确定自身存储的文件中不存在对应的文件时，可以通过逐级向上请求的方式获取对应的文件。其中，边缘节点服务器可以通过不同的方式逐级向上请求对应的文件，如TCP或UDT等，本领域的技术人员可以根据实际的需要进行选择，本发明在此不做限制。

例如，当边缘节点服务器在逐级向上请求对应的文件时，其可以首先向对应的二级存储节点发送通信协议头的信息，以确定对应的二级存储节点是否存在；当对应的二级存储节点存在时，相应的二级存储节点将向所述边缘节点服务器发送反馈信息，以告知边缘节点服务器自身的存在。

当确定对应的二级存储节点存在时，所述边缘节点服务器向对应的二级存储节点发送文件传输请求，对应的二级存储节点在接收边缘节点服务器发送的文件传输请求时，判断自身是否存在对应的文件；当对应的二级存储节点确定自身存在对应的文件时，对应的二级存储节点向所述边缘节点服务器发送文件接收协议头。所述边缘节点服务器在接收到所述文件接收协议头时，可以确定相应的二级存储节点中存在对应的文件。接着，对应的二级存储节点向所述边缘节点服务器发送对应的文件，边缘节点则可以对对应的二级存储节点发送的文件进行接收并存储。

但是，当对应的二级存储节点中不存在对应的文件时，对应的二级存储节点向对应的源存储节点发送通信协议头的信息，以确定对应的源存储节点是否存在，当对应的源存储节点存在时，相应的源存储节点将向所述二级存储节点发送反馈信息，以告知所述二级存储节点自身的存在。

当确定对应的源存储节点存在时，所述二级存储节点向对应的源存储节点发送文件传输请求，对应的源存储节点在二级存储节点发送的文件传输请求时，判断自身是否存在对应的文件；当对应的源存储节点确定自身存在对应的文件时，对应的源存储节点向所述二级存储节点发送文件接收协议头。所述二级存储节点在接收到所述文件接收协议头时，可以确定相应的源存储节点中存在对应的文件。接着，对应的源存储节点向所述二级存储节点发送对应的文件，二级存储节点则对应的源存储节点发送的文件进行接收并存储。接着，二级存储节点向边缘节点服务器发送文件接收协议头。所述边缘节点服务器在接收到所述文件接收协议头时，可以确定相应的二级存储节点中已经获取到对应的文件。最后，二级存储节点向所述边缘节点服务器发送对应的文件，以使得边缘节点服务器则对应的二级存储节点发送的文件进行接收并存储。

步骤S608：接收对应的文件。

在具体实施中，边缘节点在通过逐级向上请求的方式获取到对应的文件时，可以从二级存储节点接收对应的文件并存储。这里需要指出的是，当对应的文件处理任务为新增时，边缘节点服务器在执行完步骤S608之后，可以直接步骤S610；当对应的文件处理任务为解压缩时，边缘节点服务器在执行完步骤S608之后，可以接着执行步骤S606，对所接收的相应的文件进行解压缩操作，并执行步骤S609。

步骤S609：将内存的任务列表中对应的文件处理任务的状态更新为失败状态。

在具体实施中，当边缘节点服务器通过逐级向上请求的方式获取不到对应的文件时，则相应的文件处理任务执行失败。此时，边缘节点服务器可以将任务列表中对应的文件处理任务的状态更新为失败，以使得用户可以得到任务处理失败的结果，并采取相应的措施。

步骤S610：当所述文件处理任务处理完成时，将所述文件处理任务状态设置为完成并发送至所述任务触发服务器，从所述任务列表中删除所述文件处理任务。

在具体实施中，当当前获取的文件处理任务成功处理完毕时，边缘节点服务器可以将所述文件处理任务的状态设置为完成，并在任务触发服务下一次向边缘节点发送未完成的文件处理任务时，将所述文件处理任务的执行状态发送至任务触发服务器，任务触发服务器将所述数据库服务器中的所述文件处理任务的状态更新为完成。

同时，边缘节点服务器在成功处理完成一条文件处理任务时，将自身的任务列表中对应的文件处理任务进行删除，以节约存储资源。

与图6所示的边缘节点服务器的工作原理相应地，如图7所示的边缘节点服务器700，可以包括任务获取单元701、任务执行单元702、任务状态发送单元703和第二任务删除单元704，其中：

任务获取单元701，适于接收所述任务触发服务器的对应的未完成的文件处理任务，并插入到自身的任务列表中。

任务执行单元702，适于从自身的任务列表中获取未完成的文件处理任务并处理。

在具体实施中，所述任务执行单元702包括第一删除子单元、第一重命名子单元、第一复制子单元和第一任务状态更新子单元，其中：

第一删除子单元，适于当确定所述文件处理任务对应的操作类型为删除时，对相应的文件执行删除操作；

第一重命名子单元，适于当确定所述文件处理任务的类型为重命名时，对自身存储的相应的文件执行重命名操作；

第一复制子单元，适于当确定所述文件处理任务的类型为复制时，对自身存储的相应的文件执行复制操作；

第一任务状态更新子单元，适于在对自身存储的相应的文件执行删除、重命名或者复制操作结束时，将自身任务列表中对应的文件处理任务的状态设置为完成。

在具体实施中，所述任务执行单元702还可以包括第一判断子单元、第一文件获取子单元和第二任务状态更新子单元，其中：

所述第一判断子单元，适于当确定所述文件处理任务的类型为新增时，判断相应的文件是否存在。

所述第一文件获取子单元，适于当确定相应的文件不存在时，通过逐级发送文件传输请求获取相应的文件。

所述第二任务状态更新子单元，适于获取对应的文件失败时，将自身的任务列表中对应的文件处理任务的状态设置为失败。

在具体实施中，所述任务执行单元702还可以包括第二判断子单元、第二文件获取子单元和第三任务状态更新子单元，其中：

所述第二判断子单元，适于当确定所述文件处理任务的类型为解压缩时，判断相应的文件是否存在。

所述第二文件获取子单元，适于当确定相应的文件不存在时，通过逐级发送文件传输请求获取相应的文件。

所述第三任务状态更新子单元，适于当获取到相应的文件时，并所获取的相应的文件执行解压缩操作结束时，将自身的任务列表中对应的文件处理任务的状态更新为完成。

任务状态发送单元703，适于处理完成一条文件处理任务，并在接收到所述任务触发服务器发送的未完成的文件处理任务时，将处理完成的文件处理任务的完成状态反馈给所述任务触发服务器。

第二任务删除单元704，适于在将处理完成的文件处理任务的完成状态反馈给所述任务触发服务器时，将自身的任务列表中对应的文件处理任务删除。

在具体实施中，所述文件处理任务还包括文件删除任务、文件重命名任务、文件复制任务和文件解压缩任务中至少一项。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

以上对本发明实施例的方法及系统做了详细的介绍，本发明并不限于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (16)

1.一种CDN文件分发系统，其特征在于，包括源存储节点、至少一个二级存储节点、边缘节点、数据库服务器和任务触发服务器；

所述源存储节点，适于接收用户传输的文件，生成对应的边缘节点的文件新增任务并写入所述数据库服务器；定时从所述数据库服务器中获取文件处理任务并处理，其中，当所述文件处理任务为文件新增任务时，且相应的文件不存在时，从源站获取对应的文件；

所述二级存储节点，适于从所述源存储节点抓取相应的文件并下发至所述边缘节点；

所述数据库服务器，适于接收用户和所述源存储节点提交的文件处理任务；

所述任务触发服务器，适于将对应的未完成的文件处理任务发送至对应的边缘节点服务器进行处理，并在接收到所述边缘节点返回的文件处理任务执行完成的反馈信息时，将所述数据库服务器中相应的文件处理任务的状态更新为完成；

所述边缘节点，包括多个边缘节点服务器；所述边缘节点服务器，适于接收所述任务触发服务器发送的未完成的文件处理任务并处理，返回所述文件处理任务的任务执行状态信息至所述任务触发服务器。

2.根据权利要求1所述的CDN文件分发系统，其特征在于，所述文件处理任务还包括文件删除任务、文件重命名任务、文件复制任务和文件解压缩任务中至少一项。

3.根据权利要求2所述的CDN文件分发系统，其特征在于，所述源存储节点包括：

文件处理单元，适于接收用户的文件操作请求，并对相应的文件执行相应的操作；

任务生成单元，适于根据所述对相应的文件执行相应的操作，生成对应的文件处理任务并写入所述数据库中，以使得对应的边缘节点获取所生成的文件处理任务并处理；

任务处理单元，适于从所述数据库服务器中获取自身未完成的文件处理任务并处理；

第一任务状态更新单元，适于当将未完成的文件处理任务处理完成时，将所述数据库服务器中对应的文件处理任务的状态更新为完成。

4.根据权利要求2所述的CDN文件分发系统，其特征在于，所述文件处理单元适于通过RSYNC或者FTP方式接收来自用户的文件操作请求。

5.根据权利要求2所述的CDN文件分发系统，其特征在于，所述源存储节点还包括：

任务提交单元，适于接收用户提交的文件处理任务并写入所述数据库服务器中。

6.根据权利要求5所述的CDN文件分发系统，其特征在于，所述任务提交单元适于通过WEB页面或者API接口接收用户提交的文件处理任务。

7.根据权利要求2所述的CDN文件分发系统，其特征在于，所述任务处理单元包括：

任务读取子单元，适于将所述源存储节点的未完成的文件处理任务为从数据库服务器中读取并存储在内存中；

任务处理子单元，适于从内存中读取未完成的文件处理任务并处理。

8.根据权利要求7所述的CDN文件分发系统，其特征在于，所述任务处理子单元包括：

文件删除模块，适于当所述未完成的文件处理任务的操作类型为删除时，对相应的文件执行删除操作；

文件重命名模块，当所述未完成的文件处理任务的操作类型为重命名时，对相应的文件执行重命名操作；

文件复制模块，适于当所述未完成的文件处理任务的操作类型为复制时，对相应的文件执行复制操作；

文件解压缩模块，适于当所述未完成的文件处理任务的操作类型为解压缩，且相应的文件存在时，对相应的文件执行解压缩的操作；当所述未完成的文件处理任务的操作类型为解压缩，且相应的文件不存在时，从对应的源站抓取相应的文件，并对所抓取的文件执行解压缩的操作；

文件分发模块，适于当所述未完成的文件处理任务的类型操作为新增，且相应的文件不存在时，从对应的源站抓取相应的文件并存储。

9.根据权利要求1所述的CDN文件分发系统，其特征在于，所述任务触发服务器包括：

任务分发单元，适于定时从所述任务列表中逐条获取未完成的文件处理任务，并发送至对应的目标边缘节点服务器；

任务状态接收单元，适于接收所述边缘节点发送的文件处理任务的执行状态信息；

第二任务状态更新单元，适于当接收到的接收所述边缘节点发送的文件处理任务的执行状态信息为完成时，将所述数据库服务器中对应的文件处理任务的状态更新为完成；

第一任务删除单元，适于当接收到的接收所述边缘节点发送的文件处理任务的执行状态信息为完成时，从所述任务列表中删除对应的文件处理任务。

10.根据权利要求9所述的CDN文件分发系统，其特征在于，所述任务分发单元，适于按照优先级从高到底的顺序将分解的对应的多条文件处理任务添加到相应的边缘节点的任务列表中。

11.根据权利要求9所述CDN文件分发系统，其特征在于，所述任务分发单元包括：

第一分发子单元，适于当确定边缘节点中边缘节点服务器的文件存储模式为哈希模式时，从OS服务器上获取所述未完成的文件处理任务对应的目标边缘节点服务器的信息；

第二分发子单元，适于当确定边缘节点中服务器的文件存储模式为镜像模式时，将所述边缘节点中的任一边缘节点服务器作为所述目标边缘节点服务器。

12.根据权利要求9-11任一项所述的CDN文件分发系统，其特征在于，所述任务触发服务器还包括：

第一获取单元，适于获取所述数据库服务器中的文件处理任务对应的所有边缘节点的信息；

第二获取单元，适于获取所述数据库服务器中各个边缘节点对应的未完成的文件处理任务；

任务分解单元，适于逐条获取数据库服务器中未完成的文件处理任务，并分解成对应的多条文件处理任务，并添加到相应的边缘节点的任务列表中。

13.根据权利要求1所述的CDN文件分发系统，其特征在于，所述边缘节点服务器包括：

任务获取单元，适于接收所述任务触发服务器的对应的未完成的文件处理任务，并插入到自身的任务列表中；

任务执行单元，适于从自身的任务列表中获取未完成的文件处理任务并处理；

任务状态发送单元，适于处理完成一条文件处理任务，并在接收到所述任务触发服务器发送的未完成的文件处理任务时，将处理完成的文件处理任务的完成状态反馈给所述任务触发服务器；

第二任务删除单元，适于在将处理完成的文件处理任务的完成状态反馈给所述任务触发服务器时，将自身的任务列表中对应的文件处理任务删除。

14.根据权利要求13所述的CDN文件分发系统，其特征在于，所述任务执行单元包括：

第一删除子单元，适于当确定所述文件处理任务对应的操作类型为删除时，对相应的文件执行删除操作；

第一重命名子单元，适于当确定所述文件处理任务的类型为重命名时，对自身存储的相应的文件执行重命名操作；

第一复制子单元，适于当确定所述文件处理任务的类型为复制时，对自身存储的相应的文件执行复制操作；

第一任务状态更新子单元，适于在对自身存储的相应的文件执行删除、重命名或者复制操作结束时，将自身任务列表中对应的文件处理任务的状态设置为完成。

15.根据权利要求14所述的CDN文件分发系统，其特征在于，所述任务执行单元还包括：

第一判断子单元，适于当确定所述文件处理任务的类型为新增时，判断相应的文件是否存在；

第一文件获取子单元，适于当确定相应的文件不存在时，通过逐级发送文件传输请求获取相应的文件；

第二任务状态更新子单元，适于获取对应的文件失败时，将自身的任务列表中对应的文件处理任务的状态设置为失败。

16.根据权利要求14或15所述的CDN文件分发系统，其特征在于，所述任务执行单元还包括：

第二判断子单元，适于当确定所述文件处理任务的类型为解压缩时，判断相应的文件是否存在；

第二文件获取子单元，适于当确定相应的文件不存在时，通过逐级发送文件传输请求获取相应的文件；

第三任务状态更新子单元，适于当获取到相应的文件时，并所获取的相应的文件执行解压缩操作结束时，将自身的任务列表中对应的文件处理任务的状态更新为完成。