CN109151613A - 一种内容分发系统及方法 - Google Patents

Abstract

本发明提供了一种内容分发系统及方法，该内容分发系统包括：中心节点，与源站站点连接，用于获取源站站点待分发的数据内容，并保存；至少一个边缘节点，与中心节点连接，用于获取中心节点分发的数据内容，并在从所述中心节点获得的数据内容的大小大于一预设值时，对所述数据内容采用切片的方式进行保存。本发明通过在对数据内容的文件容量大于预设值的数据内容进行切片存储的方式，在切片文件出现损坏时，只需要对某一切片片段进行修复，减少了修复了时间和修复成本。

Description

一种内容分发系统及方法

技术领域

本发明涉及互联网信息领域，尤其是一种内容分发系统及方法。

背景技术

CDN(内容分发网络)系统的基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。其目的是使用户可就近取得所需内容，解决互联网网络拥挤的状况，提高用户访问网站的响应速度。

在互联网视频类业务中，比如视频的直播，点播业务中，CDN承担了对终端视频内容的分发。CDN系统通常由源站站点，中心节点，边缘节点组成。其中源站站点提供视频源，中心节点把源站站点的内容进行录制和存储，而边缘节点从中心节点获取内容文件，对终端用户提供视频服务。由于视频的内容是海量的，并且视频文件的大小非常大，通常几百MB到几个GB，所以对存储的要求非常高。并且，因为文件比较大，在出现文件损坏的时候，需要从源站站点重新拉取文件进行修复，修复文件的成本非常高。

发明内容

本发明实施例要解决的技术问题是提供一种内容分发系统及方法，用以实现以较高的存储效率和读写性能存储数据内容文件，同时保证文件存储的可靠性；并且在文件损坏时，能够以较低的成本进行修复。

为解决上述技术问题，本发明实施例提供的内容分发系统，包括：

中心节点，与源站站点连接，用于获取所述源站站点待分发的数据内容，并保存；

至少一个边缘节点，与所述中心节点连接，用于获取所述中心节点分发的数据内容，并对从所述中心节点获得的数据内容的大小大于一预设值时采用切片的方式进行保存。

优选地，所述系统还包括：与所述边缘节点连接的至少一个设备；其中，所述边缘节点还用于在接收到一个或多个设备针对所述数据内容发送的访问请求时，将所述数据内容发送给所述一个或多个设备。

优选地，所述中心节点对从所述源站站点获得的大小大于一预设值的数据内容采用切片的方式进行存储。

优选地，所述中心节点采用双幅本的方式保存从所述源站站点获得的数据内容；所述边缘节点采用单幅本的方式保存从所述中心节点获得的数据内容。

优选地，所述边缘节点还用于，在接收到所述一个或多个设备针对从所述中心节点获取到数据内容的访问请求时，查看本地存储的所述数据内容是否损坏，若损坏，则从所述中心节点获取所述数据内容，发送给所述一个或多个设备，并对本地存储的已损坏的所述数据内容进行修复。

优选地，所述边缘节点还用于判断本地是否存在已损坏的切片数据内容，若存在，则从所述中心节点获取与已损坏的切片数据内容对应的未损坏的切片数据内容，并对已损坏的切片数据内容进行修复。

根据本发明实施例的另一方面，本发明实施例还提供了一种内容分发方法，包括：边缘节点从中心节点获取数据内容；

在所述数据内容的大小大于一预设值时，采用切片的方式对所述数据内容进行保存；

在接收到一个或多个设备针对所述数据内容发送的访问请求时，将所述数据内容发送给所述一个或多个设备。

优选地，所述边缘节点采用单幅本的方式保存从所述中心节点获得的数据内容，所述中心节点采用双幅本的方式保存从源站站点获得的数据内容。

优选地，所述将所述数据内容发送给所述一个或多个设备的步骤，包括：

查看本地存储的所述数据内容是否损坏，若损坏，则从所述中心节点获取所述数据内容，发送给所述一个或多个设备，并对本地存储的已损坏的所述数据内容进行修复。

优选地，所述方法还包括：

所述边缘节点判断本地是否存在已损坏的切片数据内容，若存在，则从所述中心节点获取与已损坏的切片数据内容对应的未损坏的切片数据内容，并对已损坏的切片数据内容进行修复。

与现有技术相比，本发明实施例提供的内容分发系统及方法，至少具有以下有益效果：

通过在对文件大小大于预设值的数据内容进行切片存储的方式，在切片文件出现损坏时，只需要对某一切片片段进行修复，减少了修复了时间和修复成本。同时，由于中心节点处采用双副本的存储方式，边缘节点采用单副本的存储方式，因此在保证内容分发系统的可靠性前提下，提升了内容分发系统的性能，降低了分发系统网络建设的成本，有效解决了内容分发系统可靠性，性能，成本之间的关系。

附图说明

图1为本发明实施例所述的内容分发系统的结构示意图；

图2为本发明实施例所述的中心节点对从源站站点获取的待分发的数据内容进行存储的结构示意图；

图3为本发明实施例所述的边缘节点从中心节点获取的数据内容进行存储的结构示意图；

图4为本发明实施例所述的内容分发系统的结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含。

参照图1，本发明提供了一种内容分发系统，包括：中心节点，与源站站点连接，用于获取所述源站站点待分发的数据内容，并保存；至少一个边缘节点，与所述中心节点连接，用于获取所述中心节点分发的数据内容，并对从所述中心节点获得的数据内容的大小大于一预设值时采用切片的方式进行保存。

具体地，源站站点是作为数据内容的提供方，由于源站站点只能保存一定期限内的数据内容，因此，在源站站点上存储有新的数据内容时，需要及时将其传输至中心节点进行存储。

在本发明实施例中，中心节点与边缘节点之间采用专用网络进行连接。

并且，在本发明实施例中，中心节点与边缘节点之间的网络带宽大于中心节点与源站站点之间的网络带宽。由于中心节点需要向多个边缘节点发送数据内容信息，要求中心节点与边缘节点之间的网络带宽应当足够大；而源站站点连接的中心节点的数量较少，因此，对于源站站点与中心节点之间的网络带宽要求低于源站站点与中心节点之间的网络带宽要求。

中心节点获取源站站点待分发的数据内容的步骤具体包括：中心节点周期性的向源站站点发送第一数据内容拉取请求；获取源站站点发送的与第一数据内容拉取请求对应的第一数据内容。

此处，该第一数据内容即为上述的源站站点待分发的数据内容。

中心节点对获取到的源站站点发送的待分发的数据内容进行保存之前，还需执行步骤：

中心节点判断本地是否存储有所述待分发的数据内容，如果未存储有，则将获取到的源站站点发送的待分发的数据内容进行保存。

在中心节点判断出本地存储有所述待分发的数据内容，则将获取到的获取到的源站站点发送的待分发的数据内容进行丢弃。

在本发明实施例中，中心节点在接收到该待分发的数据内容后，中心节点采用双幅本的方式保存从所述源站站点获得的数据内容。

具体的，双副本中的其中一个副本存储于中心节点的第一子节点的磁盘中，另一副本存储于中心节点的第二子节点的磁盘中。

采用双副本的存储方式，在其中一个副本出现损坏时，中心节点还可以通过存储的另一副本对该损坏的副本进行修复，继而避免向源站站点去拉取该损坏的副本对应的数据内容，保证了存储的高可靠性。

并且，在本发明实施例中，中心节点对获取到的源站站点发送的待分发的数据内容进行存储的具体方法包括：

1)、所述中心节点对从所述源站站点获得的大小大于一预设值的数据内容采用切片的方式进行存储；

2)、所述中心节点从所述源站站点获取的大小小于或等于一预设值的数据内容直接进行存储。

在源站站点发送的数据内容的容量过大时，将该数据内容以切片的方式进行存储，便于降低后续修复成本。在出现损坏时，只需要对出现损坏的一个切片文件进行修复，这样，能够减少中心节点和源站站点之间的带宽使用；同时，提升文件的修复效率，提高该内容分发系统的性能和用户体验效果。

并且，在本发明实施例中，当中心节点对源站站点获得的数据内容采用切片的方式进行存储时，中心节点将每一切片文件分别存储于一个磁盘中。

中心节点的多个磁盘按照顺序进行编号，根据获得的切片文件的先后顺序依次存储于对应的磁盘中。例如，对一待分发的数据内容进行切片后，依次获得3个切片文件，将最先获得的第一个切片文件存储至编号为1的磁盘中，第二顺序获得的第二个切片文件存储至编号为2的磁盘中，最后获得的第三个切片文件存储至编号为3的磁盘中。

下面以一具体事例对本发明的中心节点获取到源站站点发送的待分发的数据内容进行切片保存的步骤进行详细说明。假设，上述的预设值为64M；中心节点获取到的源站站点发送的待分发的数据内容的大小为380M。中心节点在接收到该待分发的数据内容后，对其进行处理，获得两个完全相同的副本文件X。由于副本文件X的大小(380M)大于预设值(64M)，中心节点对获得的副本文件X分别以64M大小进行切片，可以获得图2中的副本文件X下的：A、B、C、D、E、F 6个切片文件。将其中一个副本文件X对应的6个切片文件按照预先制定的策略分别存储至子节点1的6个磁盘中；将另外一个副本文件X对应的6个切片文件按照预先制定的策略分别存储至子节点2的6个磁盘中。

在图2中，副本文件Y为另一待分发的数据内容对应的两个副本文件，副本文件Y的存储方式与副本文件X的存储方式完全相同，在此，不进行赘述。

在本发明实施例中，边缘节点获取所述中心节点分发的数据内容的步骤包括：边缘节点向中心节点发送第二数据内容拉取请求，获取中心节点发送的与第二数据内容拉取请求对应的第二数据内容。该第二数据内容为中心节点分发的数据内容。

并且，在本发明实施例中，边缘节点对从中心节点获得的数据内容进行存储的具体方法包括：

1)、所述边缘节点对从所述中心节点获得的大小大于一预设值的数据内容采用切片的方式进行存储；

2)、所述边缘节点从所述中心节点获取的大小小于或等于一预设值的数据内容直接进行存储。

边缘节点对从中心节点获得的数据内容大小大于预设值采用切片的方式进行存储的方式，便于了后续对存储在边缘节点中的文件损坏时进行修复，可以减少修复时间，降低修复成本。在进行修复时，只需要对发送损坏的切片文件进行修复。

并且，在本发明实施例中，所述边缘节点采用单幅本的方式保存从所述中心节点获得的数据内容。

在边缘节点采用单副本的方式，能够降低边缘节点处的存储设备的成本；并且，由于边缘节点与中心节点之间的网络带宽很快，在边缘节点处的切片文件损坏时，修复时间也非常快。

与前述中心节点对切片文件存储的方式相一致的，边缘节点处对切片文件的存储也是采用一个切片文件对应于一个磁盘的方式。如图3所示，副本文件X和副本文件Z为两个不同的数据内容文件，副本文件X经过切片后，获得了6个切片文件，分别存储于边缘节点的6个磁盘中，相同地，副本文件X经过切片后获得的5个切片文件也分别存储于边缘节点的5个磁盘中。

参照图1，所述系统还包括：与所述边缘节点连接的至少一个设备；其中，所述边缘节点还用于在接收到一个或多个设备针对从所述中心节点获得的数据内容发送的访问请求时，将所述数据内容发送给所述一个或多个设备。

在本发明实施例中，边缘节点对切片文件进行修复的方式包括：主动修复和被动修复。

其中，主动修复的内容包括：边缘节点判断本地是否存在已损坏的切片数据内容，若存在，则从所述中心节点获取与已损坏的切片数据内容对应的未损坏的切片数据内容，并对已损坏的切片数据内容进行修复。

被动修复的内容包括：边缘节点在接收到所述一个或多个设备针对所述数据内容的访问请求时，查看本地存储的所述数据内容是否损坏，若损坏，则从所述中心节点获取所述数据内容，发送给所述一个或多个设备，并对本地存储的已损坏的数据内容进行修复。

主动修复是指边缘节点自身进行主动检测，在检测到磁盘损坏，或切片丢失时，由边缘节点主动的从中心节点拉取切片文件内容对已损坏的切片文件进行修复；被动修复是指在设备访问到某一切片文件时，如果边缘节点发现该切片文件内容有损坏，则重新从中心节点拉取该切片文件进行修复。

相应地，在本发明实施例中，中心节点对切片文件进行修复的方式同样包括主动修复和被动修复两种方式。

在主动修复时，中心节点对自身存储的切片文件进行检测，在检测出某一切片文件处于损坏时，中心节点判断本地保存的切片文件中是否存储有该已损坏的切片文件的文件信息相同的第一切片文件，若存在，则通过第一切片文件对已损坏的切片文件进行修复；若不存在，则向源站站点发送切片文件拉取请求，从源站站点获取与该已损坏的切片文件的文件信息相同的第二切片文件，并第二切片文件对已损坏的切片文件进行修复。

在被动修复时，是指中心节点接收到边缘节点发送的切片文件拉取请求时，判断出其本地未存储有与该切片文件拉取请求对应的切片文件时(表明本地存储的切片文件损坏)，通过从源站站点获取与该切片文件拉取请求对应的切片文件，对本地存储的已损坏的切片文件进行修复。

在本发明实施例中，上述的修复是指将已损坏的文件替换为未损坏的文件。

在本发明实施例中，所述边缘节点在接收到所述设备的访问请求时，查看本地是否存储有所述设备请求的数据内容，如果有，则将所述设备请求的数据内容发送给设备，如果没有，则从所述中心节点获取所述设备请求的数据内容，并发送给所述设备。

本发明提供的内容分发系统，通过在对文件大小大于预设值的数据内容进行切片存储的方式，在切片文件出现损坏时，只需要对某一切片片段进行修复，减少了修复了时间和修复成本。同时，由于中心节点处采用双副本的存储方式，在保证了内容分发系统的可靠性前提下，提升了内容分发系统的性能，降低了分发系统网络建设的成本，有效解决了内容分发系统可靠性，性能，成本之间的关系。

参照图4，根据本发明实施例的另一方面，本发明实施例还提供了一种内容分发方法，包括：

步骤1，边缘节点从中心节点获取数据内容；

步骤2，在所述数据内容的大小大于一预设值时，采用切片的方式对所述数据内容进行保存；

步骤3，在接收到一个或多个设备针对所述数据内容发送的访问请求时，将所述数据内容发送给与所述一个或多个设备。

优选地，所述边缘节点采用单幅本的方式保存从所述中心节点获得的数据内容，所述中心节点采用双幅本的方式保存从源站站点获得的数据内容。

优选地，所述将所述数据内容发送给所述一个或多个设备的步骤，包括：

查看本地存储的所述数据内容是否损坏，若损坏，则从所述中心节点获取所述数据内容，发送给所述一个或多个设备，并对本地存储的已损坏的数据内容进行修复。

优选地，所述方法还包括：

所述边缘节点判断本地是否存在已损坏的切片数据内容，若存在，则从所述中心节点获取与已损坏的切片数据内容对应的未损坏的切片数据内容，并对已损坏的切片数据内容进行修复。

本发明实施例的内容分发方法，是基于上述的内容分发系统进行分发的，其进行内容分发的具体实现方式在上述内容分发系统中已进行详细阐述，在此，不再赘述。

本发明实施例的内容分发方法，通过在对文件大小大于预设值的数据内容进行切片存储的方式，在切片文件出现损坏时，只需要对某一切片片段进行修复，减少了修复了时间和修复成本。同时，由于中心节点处采用双副本的存储方式，在保证了内容分发系统的可靠性前提下，提升了内容分发系统的性能，降低了分发系统网络建设的成本，有效解决了内容分发系统可靠性，性能，成本之间的关系。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种内容分发系统，其特征在于，包括：

中心节点，与源站站点连接，用于获取所述源站站点分发的数据内容，并保存；

至少一个边缘节点，与所述中心节点连接，用于获取所述中心节点分发的数据内容，并在从所述中心节点获得的数据内容的大小大于一预设值时，对所述数据内容采用切片的方式进行保存。

2.根据权利要求1所述的内容分发系统，其特征在于，所述系统还包括：与所述边缘节点连接的至少一个设备；其中，所述边缘节点还用于在接收到一个或多个设备针对所述数据内容发送的访问请求时，将所述数据内容发送给所述一个或多个设备。

3.根据权利要求1所述的内容分发系统，其特征在于，所述中心节点对从所述源站站点获得的大小大于一预设值的数据内容采用切片的方式进行存储。

4.根据权利要求1所述的内容分发系统，其特征在于，所述中心节点采用双幅本的方式保存从所述源站站点获得的数据内容；所述边缘节点采用单幅本的方式保存从所述中心节点获得的数据内容。

5.根据权利要求2所述的内容分发系统，其特征在于，

所述边缘节点还用于，在接收到所述一个或多个设备针对所述数据内容发送的访问请求时，查看本地存储的所述数据内容是否损坏，若损坏，则从所述中心节点获取所述数据内容，发送给所述一个或多个设备，并对本地存储的已损坏的所述数据内容进行修复。

6.根据权利要求1-5任一项所述的内容分发系统，其特征在于，所述边缘节点还用于判断本地是否存在已损坏的切片数据内容，若存在，则从所述中心节点获取与已损坏的切片数据内容对应的未损坏的切片数据内容，并对已损坏的切片数据内容进行修复。

7.一种内容分发方法，其特征在于，包括：

边缘节点从中心节点获取数据内容；

在所述数据内容的大小大于一预设值时，采用切片的方式对所述数据内容进行保存；

在接收到一个或多个设备针对所述数据内容发送的访问请求时，将所述数据内容发送给所述一个或多个设备。

8.根据权利要求7所述的内容分发方法，其特征在于，所述边缘节点采用单幅本的方式保存从所述中心节点获得的数据内容，所述中心节点采用双幅本的方式保存从源站站点获得的数据内容。

9.根据权利要求7所述的内容分发方法，其特征在于，所述将所述数据内容发送给所述一个或多个设备的步骤，包括：

查看本地存储的所述数据内容是否损坏，若损坏，则从所述中心节点获取所述数据内容，发送给所述一个或多个设备，并对本地存储的已损坏的所述数据内容进行修复。

10.根据权利要求7所述的内容分发方法，其特征在于，所述方法还包括：

所述边缘节点判断本地是否存在已损坏的切片数据内容，若存在，则从所述中心节点获取与已损坏的切片数据内容对应的未损坏的切片数据内容，并对已损坏的切片数据内容进行修复。