CN109995866B - 分布式文件校验方法、装置、计算机装置及存储介质 - Google Patents

Abstract

本发明公开了一种分布式文件校验方法，应用于索引服务器中，所述索引服务器与多个存储节点连接，所述方法包括：接收所述多个存储节点上报的索引信息，所述索引信息包括存储节点标识、文件存储地址及对应的待测校验值；根据所述索引信息中的文件存储地址从预设数据库中匹配出标准校验值；判断所述待测校验值与所述标准校验值是否相同；当所述待测校验值与所述标准校验值相同时，确定所述存储节点下载的文件正确。本发明还公开了一种分布式文件校验装置、计算机装置及存储介质。本发明能够在高并发情况下快速的获取到正确的文件。

Description

分布式文件校验方法、装置、计算机装置及存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种分布式文件校验方法、装置、计算机装置及存储介质。

背景技术

文件直播是指通过互联网及文件技术进行直播，直播的文件通常以视频形式表现，融合了图像、文字、声音等丰富元素，成为当下互联网直播服务的主流表达形式。

现有的文件直播技术多是基于内容分发网络(Content Delivery Network，CDN)，由直播用户向与其网络距离近的内容分发网络服务器即CDN节点服务器发送直播请求，由该CDN节点服务器对该直播请求进行处理。

现有的CDN在进行内容分发时，过于依赖CDN数据源服务器，造成CDN数据源服务器负担过重、带宽压力较大，以及CDN节点扩展性差、内容分发的成功率较低。尤其在直播请求大量并发的情况下，会出现分发数据不同步或者需要很长时间才能同步的问题，进而导致无法支持并发处理直播请求，或者请求得到的文件是错误的，十分影响直播用户的直播体验。

因此，有必要提供一种分布式文件校验方案，解决高并发下从CDN节点获取的文件时出错、速度慢、效率低的技术问题。

发明内容

本发明的主要目的在于提供一种分布式文件校验方法、装置、计算机装置及存储介质，旨在解决高并发下从CDN节点获取文件时出错、速度慢、效率低的技术问题，以便在高并发情况下快速的获取到正确的文件。

为实现上述目的，本发明的第一方面提供一种分布式文件校验方法，应用于索引服务器中，所述索引服务器与多个存储节点连接，所述方法包括：

接收所述多个存储节点上报的索引信息，所述索引信息包括存储节点标识、文件存储地址及对应的待测校验值；

根据所述索引信息中的文件存储地址从预设数据库中匹配出标准校验值；

判断所述待测校验值与所述标准校验值是否相同；

当所述待测校验值与所述标准校验值相同时，确定所述存储节点下载的文件正确。

根据本发明的一个优选实施例，在根据所述索引信息中的文件存储地址从预设数据库中匹配出标准校验值之前，所述方法还包括：

判断所述预设数据库中是否记录有对应所述文件存储地址的标准校验值；

当不存在对应所述文件存储地址的标准校验值时，根据所述多个存储节点上报的索引信息确定候选校验值；

根据所述候选校验值更新所述文件存储地址对应的标准校验值。

根据本发明的一个优选实施例，所述根据所述多个存储节点上报的索引信息确定候选校验值包括：

获取所述存储节点上报的索引信息中的待测校验值；

计算所述待测校验值中具有相同校验值的目标校验值；

判断所述目标校验值的个数是否大于预设个数阈值；

当所述目标校验值的个数大于或者等于预设个数阈值时，将所述目标校验值作为所述候选校验值。

根据本发明的一个优选实施例，当所述目标校验值的个数小于所述预设个数阈值时，所述方法还包括：

继续接收所述存储节点上报的待测校验值，直到存在所述目标校验值的个数大于或者等于所述预设个数阈值。

根据本发明的一个优选实施例，所述根据所述索引信息中的文件存储地址从预设数据库中匹配出标准校验值包括：

从所述预设数据库中匹配出对应所述文件存储地址的目标文件存储地址；

获取所述目标文件存储地址对应的标准校验值。

根据本发明的一个优选实施例，当所述待测校验值与所述标准校验值不相同时，所述方法还包括：

确定所述存储节点下载的文件错误；

通知所述存储节点删除下载的文件。

为实现上述目的，本发明的第二方面提供一种分布式文件校验方法，应用于存储节点中，所述存储节点与索引服务器连接，所述方法包括：

向所述索引服务器上报索引信息，所述索引信息包括所述存储节点标识、文件存储地址及对应的待测校验值；

接收所述索引服务器发送的通知；

根据所述通知存储或者删除下载的文件。

为实现上述目的，本发明的第三方面提供一种分布式文件校验装置，运行于索引服务器中，所述索引服务器与多个存储节点连接，所述装置包括：

接收模块，用于接收所述多个存储节点上报的索引信息，所述索引信息包括存储节点标识、文件存储地址及对应的待测校验值；

匹配模块，用于根据所述索引信息中的文件存储地址从预设数据库中匹配出标准校验值；

判断模块，用于判断所述待测校验值与所述标准校验值是否相同；

确定模块，用于当所述待测校验值与所述标准校验值相同时，确定所述存储节点下载的文件正确。

为实现上述目的，本发明的第四方面提供一种计算机装置，所述计算机装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的分布式文件校验程序，所述分布式文件校验程序被所述处理器执行时实现所述的分布式文件校验方法。

为实现上述目的，本发明的第五方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有分布式文件校验程序，所述分布式文件校验程序可被一个或者多个处理器执行，以实现所述的分布式文件校验方法。

本发明实施例所述的分布式文件校验方法、装置、计算机装置及存储介质，通过索引服务器文件接收多个存储节点上报的携带有存储节点标识、文件存储地址及对应的待测校验值的索引信息后，根据所述索引信息及预设数据库中的标准校验值，来确定所述多个存储节点下载的文件是否正确。一方面，通过索引服务器对多个存储节点下载的文件进行校验，能够确保存储节点下载的文件是正确的，便于后续客户端设备请求得到的文件是正确的；另一方面，由于索引服务器通过存储节点下载文件，后续如有客户端设备请求文件时，能够直接向存储节点请求文件，而不必向内容分发网络请求文件，减少了内容分发网络服务器的下载量，缓解了内容分发网络服务器的下载压力。

附图说明

图1为本发明实施例的分布式文件校验方法的应用环境示意图；

图2为本发明第一实施例的分布式文件校验方法的流程示意图；

图3为本发明第二实施例的分布式文件校验方法的流程示意图；

图4为本发明第三实施例的分布式文件校验装置的功能模块示意图；

图5为本发明第四实施例的分布式文件校验装置的功能模块示意图；

图6为本发明第三实施例揭露的计算机装置的内部结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

参阅图1所示，为本发明提供的分布式文件校验方法的应用环境示意图。

所述分布式文件校验方法可以应用在由索引服务器1、多个存储节点2、内容分发网络服务器3及网络4构成的应用环境中。

所述索引服务器1作为后台服务器，通过网络4与多个存储节点2通讯连接，向多个所述存储节点2下发任务，以下载文件。所述文件可以是流媒体。示例性的，假设索引服务器1需要下载10首歌单，则将10首歌单的信息下发给多个存储节点2，通知多个存储节点2下载这10首歌单。

所述存储节点2是指能够通过全网搜索海量资源的设备，具有文件管理、文件存储、安全可靠的功能。所述存储节点2用于接收索引服务器1下发的下载任务，并根据所述下载任务从内容分发网络服务器3或其他存储节点2上下载文件并进行存储，同时向所述索引服务器1上报索引信息，以表明成功下载所述文件。

本实施例中，可以将玩客云作为一个小型的存储节点，从内容分发网络服务器3中下载文件。由于将玩客云作为小型的存储节点，存在CPU运算能力及网络中下行宽带较差的缺点，此时，可以通过部署多台玩客云，即部署多台小型存储节点来解决高并发下的文件的下载速率的问题。可以为每一个内容分发网络服务器3对应部署一台玩客云，还可以为多个内容分发网络服务器3对应部署一台玩客云，或者为一个内容分发网络服务器3对应部署多台玩客云。本发明在此不做具体限制，可以根据实际需求进行调整。

所述内容分发网络服务器3是指部署在内容分发网络(Content DeliveryNetwork，CDN)各个节点上的服务器。内容分发网络各个节点上的服务器连接在一起可以构成一个内容分发网络系统，能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的网络服务节点上。

所述网络4用以在所述存储节点2、所述内容分发网络服务器3及索引服务器1之间提供通信连接的介质。所述网络4可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

应该理解，图1中的索引服务器、存储节点、内容分发网络服务器及网络的数目仅仅是示意性的。根据实际需要，可以具有任意数目的索引服务器、存储节点、内容分发网络服务器及网络。在其他实施例中，还可以包括客户端设备，所述客户端设备通过网络与索引服务器通讯连接。

需要说明的是，所述分布式文件校验方法由所述索引服务器1执行，相应地，分布式文件校验装置一般设置于所述索引服务器1中。

实施例一

如图2所示，为本发明实施例一提供的分布式文件校验方法的流程图。所述分布式文件校验方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。

S20，接收多个存储节点上报的索引信息，所述索引信息包括存储节点标识、文件存储地址及对应的待测校验值。

本实施例中，所述存储节点可以从内容分发网络服务器上下载文件，在从内容分发网络服务器中下载到文件之后，将所述下载到的文件存储在本地的同时向索引服务器上报索引信息，以表明成功下载了文件。

所述索引信息包括存储节点标识、文件存储地址以及待测校验值。所述存储节点标识用于唯一标识存储节点的属性，可以用存储节点的名称、IP地址、端口等作为标识来区分不同的存储节点。所述文件存储地址为文件存储在存储节点上的具体位置，用URL表示。所述待测校验值为存储节点根据所下载的文件的内容计算得到的哈希值，便于后续索引服务器校验所下载下来的文件是否正确。可以利用哈希算法，例如，安全哈希算法(SecureHash Algorithm，SHA)计算文件的哈希值，关于哈希值计算的过程为现有技术，本发明在此不再详细阐述。

本实施例中，通过存储节点将内容分发网络服务器上的文件下载并存储到存储节点中，后续用户可以直接向存储节点请求文件，而无须向内容分发网络服务器请求文件，从而一方面能够解决高并发文件的下载速度慢的问题，一方面还可以缓解内容分发网络服务器上的请求压力。

在其他实施例中，在接收所述多个存储节点上报的索引信息之前，所述方法还可以包括：向所述多个存储节点下发下载文件的任务。

本实施例中，索引服务器向多个存储节点下发下载任务，所述下载任务中可以携带有统一资源定位符(Uniform Resource Locator，URL)，以指示存储节点下载哪个文件。

S22，根据所述索引信息中的文件存储地址从预设数据库中匹配出标准校验值。

本实施例中，由于路由器被劫持，文件本身的文件被损坏等原因，会导致存储节点获取到的文件出现错误。因此，当索引服务器接收到存储节点上报的索引信息之后，从索引信息中获取文件存储地址，再根据文件存储地址获取标准校验值，通过比较标准校验值和待测校验值来确定存储节点下载的文件的正确性，从而确保后续客户端设备请求得到的文件是正确的。

所述索引服务器中预先配置有数据库，所述数据库中记录有每一个存储节点上报的历史索引信息。即，所述预先配置的数据库中记录有存储节点标识、文件存储地址及历史校验值，将所述数据库中记录的历史校验值作为标准校验值，将存储节点当前上报的校验值作为待测校验值。

优选地，所述根据所述索引信息中的文件存储地址从预设数据库中匹配出标准校验值包括：

从所述预设数据库中匹配出对应所述文件存储地址的目标文件存储地址；

获取所述目标文件存储地址对应的标准校验值。

索引服务器在接收到存储节点上报的索引信息，获取所上报的索引信息中的文件存储地址，然后将所上报的索引信息中的文件存储地址与预先配置的数据库中记录的每一个文件存储地址进行一一比对，从而匹配出对应所述所上报的索引信息中的文件存储地址的目标文件存储地址，并进而获取到对应所述目标文件存储地址的标准校验值。

S24，判断所述待测校验值与所述标准校验值是否相同。

本实施例中，索引服务器获取到标准校验值后，即对待测校验值与标准校验值进行比较，判断所述待测校验值与所述标准校验值是否相同。

S26，当所述待测校验值与所述标准校验值相同时，确定所述存储节点下载的文件正确。

本实施例中，当所述待测校验值与所述标准校验值相同时，表明存储节点下载的文件是正确的。

后续如果客户端设备请求文件时，可以直接根据所述文件对应的索引信息，从存储节点中拉取所述文件。

本实施例中，当确定所述存储节点下载的文件正确时，还可以储存所述索引信息，便于后续根据所述索引信息从存储节点中拉取对应的文件。

S28，当所述待测校验值与所述标准校验值不相同时，确定所述存储节点下载的文件错误。

本实施例中，当确定所述待测校验值与所述标准校验值不相同时，表明存储节点下载的文件是错误的，需要多个存储节点对所下载的文件进行删除，避免客户端设备播放错误的文件，影响了用户的观看体验。因而，在索引服务器确定所述存储节点下载的文件是错误的时候，通知所述存储节点删除下载的文件。

在实际应用场景中，假设索引服务器首次向存储节点下发下载文件的任务，则多个存储节点必然是首次从内容分发网络服务器中下载文件并进行存储，那么预设数据库中也必然没有记录对应所述首次下载的文件的历史索引信息，因而预设数据库中也没有记录对应所述首次下载的文件的标准校验值。

进一步的，在根据所述索引信息中的文件存储地址从预设数据库中匹配出标准校验值之前，所述方法还包括：

判断所述预设数据库中是否记录有对应所述文件存储地址的标准校验值；

当判断不存在对应所述文件存储地址的标准校验值时，根据所述多个存储节点上报的索引信息确定候选校验值；

根据所述候选校验值更新所述文件存储地址对应的标准校验值。

本实施例中，需要先判断预设数据库中是否记录有标准校验值，所述标准校验值对应所述文件下载地址，若不存在所述标准校验值，则将多个存储节点上报的索引信息进行综合起来，确定一个候选校验值，并将所确定出的候选校验值作为标准校验值记录在所述预设数据库中对应所述文件存储地址的位置，从而对所述预设数据库中的标准校验值进行更新。

优选地，所述根据所述多个存储节点上报的索引信息确定候选校验值包括：

获取所述存储节点上报的索引信息中的待测校验值；

计算所述待测校验值中具有相同校验值的目标校验值；

判断所述目标校验值的个数是否大于预设个数阈值；

当所述目标校验值的个数大于或者等于预设个数阈值时，将所述目标校验值作为所述候选校验值；

当所述目标校验值的个数小于所述预设个数阈值时，继续接收所述存储节点上报的待测校验值，直到存在所述目标校验值的个数大于或者等于所述预设个数阈值。

示例性的，假设有30个存储节点，当前时刻已经接收到14个存储节点上报的索引信息，从14个存储节点上报的索引信息中获取待测校验值。14个待测校验值分别为：待测校验值A、待测校验值A、待测校验值C、待测校验值A、待测校验值B、待测校验值F、待测校验值F、待测校验值A、待测校验值A、待测校验值F、待测校验值F、待测校验值A、待测校验值H及待测校验值A。计算14个待测校验值中具有相同校验值的目标校验值为待测校验值A(个数为7)和待测校验值F(个数为4)。假设预设个数为7，则可以确定出为待测校验值A的目标校验值的个数等于所述预设个数，此时，将待测校验值A作为候选校验值。假设预设个数为10，则可以确定目标校验值(待测校验值A和待测校验值F)的个数均小于所述预设个数阈值，那么继续接收其他6个存储节点上报的索引信息。假设其他6个存储节点上报的索引信息中的待测校验值分别为：待测校验值A，待测校验值D，待测校验值A、待测校验值A、待测校验值F，待测校验值A。此时，待测校验值A的个数为11，大于预设个数10，所以将待测校验值A作为候选校验值。

通过多个存储节点上报的待测校验值，确定出候选校验值，并将所确定出的候选校验值作为标准校验值记录于所述预设数据库中，便于后续根据所确定出的标准校验值校验存储节点下载的文件的正确性，来确保客户端设备请求的所述文件是正确的。由于由多个存储节点上报的待测校验值确定出的标准校验值具有计算学意义，准确性高。

本发明实施例所述的分布式文件校验方法，接收多个存储节点上报的携带有存储节点标识、文件存储地址及对应的待测校验值的索引信息后，根据所述索引信息及预设数据库中的标准校验值，来确定所述多个存储节点下载的文件是否正确。一方面，通过索引服务器对多个存储节点下载的文件进行校验，能够确保存储节点下载的文件是正确的，便于后续客户端设备请求得到的文件是正确的；另一方面，由于索引服务器通过存储节点下载文件，后续如有客户端设备请求文件时，能够直接向存储节点请求文件，而不必向内容分发网络请求文件，减少了内容分发网络服务器的下载量，缓解了内容分发网络服务器的下载压力。

此外，将玩客云作为小型的存储节点，通过部署多个玩客云，不仅能够扩展文件的点播业务，而且由于玩客云的低成本优势，节省了文件供应商的成本。

实施例二

如图3所示，为本发明实施例二提供的分布式文件校验方法的流程图。所述分布式文件校验方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。

S31，向所述索引服务器上报索引信息，所述索引信息包括所述存储节点标识、文件存储地址及对应的待测校验值。

本实施例中，存储节点可以从内容分发网络服务器上下载文件，在从内容分发网络服务器中下载到文件之后，将所述下载到的文件存储在本地的同时向索引服务器上报索引信息，以表明成功下载了文件。

在其他实施例中，所述存储节点也可以接收索引服务器下发的下载文件的任务，根据所述下载文件的任务中携带的URL下载文件，并在成功下载所述文件之后，向所述索引服务器上报索引信息。

关于所述索引信息的介绍参考S20中的内容，本文在此不再详细阐述。

S32，接收所述索引服务器发送的通知。

本实施例中，存储节点上报索引信息至索引服务器，索引服务器接收存储节点上报的索引信息。

索引服务器根据所述索引信息中的文件存储地址从预设数据库中匹配出标准校验值，并判断所述待测校验值与所述标准校验值是否相同，最后根据判断结果向存储节点发送通知，以指示搜索存储节点存储或者删除下载的文件。

具体的，当所述索引服务器判断待测校验值与所述标准校验值相同时，确定所述存储节点下载的文件正确，发送第一通知至所述存储节点。

当所述索引服务器判断待测校验值与所述标准校验值不相同时，确定所述存储节点下载的文件错误，发送第二通知至所述存储节点。

所述通知可以包括存储节点标识、文件存储地址、检验结果。所述校验结果用于指示存储节点下载的文件正确或者错误，即所述第一通知中的所述校验结果用于指示存储节点下载的文件正确，所述第二通知中的所述校验结果用于指示存储节点下载的文件错误。

S33，根据所述通知存储或者删除下载的文件。

本实施例中，当存储节点接收到所述第一通知之后，确认下载的文件正确，则存储下载的文件。当存储节点接收到所述第二通知之后，确认下载的文件错误，则删除下载的文件。

综上所述，本发明实施例中的分布式文件校验方法，通过存储节点向索引服务器上报索引信息，并接收索引服务器发送的通知，根据所述通知确认下载的文件是正确的还是错误的，从而存储或者删除下载的文件。本发明能够删除下载错误的文件，避免将错误的文件存储在存储节点中，浪费存储节点的存储空间。及时的删除错误的文件，不仅能够提高存储空间的利用率，剩余存储空间的增加，还有助于提高存储节点的下载效率，满足分布式文件下载的实时性要求。

上述图2-3详细介绍了本发明的分布式文件校验方法，下面结合第4～6图，分别对实现所述分布式文件校验方法的软件系统的功能模块以及硬件装置架构进行介绍。

应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。

实施例三

参阅图4所示，为本发明实施例三揭露的分布式文件校验装置的功能模块示意图。

在一些实施例中，所述分布式文件校验装置30运行于客户端设备中。所述分布式文件校验装置30可以包括多个由程序代码段所组成的功能模块。所述分布式文件校验装置30中的各个程序段的程序代码可以存储于客户端设备的存储器中，并由所述至少一个处理器所执行，以执行(详见图2描述)在高并发下对分布式文件的校验。

本实施例中，所述分布式文件校验装置30根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：下发模块301、接收模块302、匹配模块303、判断模块304、确定模块305、存储模块306、通知模块307及更新模块308。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。

下发模块301，用于向所述多个存储节点下发下载文件的任务。

本实施例中，索引服务器向多个存储节点下发下载任务，所述下载任务中可以携带有统一资源定位符(Uniform Resource Locator，URL)，以指示存储节点下载哪个文件。

接收模块302，用于接收多个存储节点上报的索引信息，所述索引信息包括存储节点标识、文件存储地址及对应的待测校验值。

本实施例中，所述存储节点可以从内容分发网络服务器上下载文件，在从内容分发网络服务器中下载到文件之后，将所述下载到的文件存储在本地的同时向索引服务器上报索引信息，以表明成功下载了文件。

所述索引信息包括存储节点标识、文件存储地址以及待测校验值。所述存储节点标识用于唯一标识存储节点的属性，可以用存储节点的名称、IP地址、端口等作为标识来区分不同的存储节点。所述文件存储地址为文件存储在存储节点上的具体位置，用URL表示。所述待测校验值为存储节点根据所下载的文件的内容计算得到的哈希值，便于后续索引服务器校验所下载下来的文件是否正确。可以利用哈希算法，例如，安全哈希算法(SecureHash Algorithm，SHA)计算文件的哈希值，关于哈希值计算的过程为现有技术，本发明在此不再详细阐述。

本实施例中，通过存储节点将内容分发网络服务器上的文件下载并存储到存储节点中，后续用户可以直接向存储节点请求文件，而无须向内容分发网络服务器请求文件，从而一方面能够解决高并发文件的下载速度慢的问题，一方面还可以缓解内容分发网络服务器上的请求压力。

匹配模块303，用于根据所述索引信息中的文件存储地址从预设数据库中匹配出标准校验值。

本实施例中，由于路由器被劫持，文件本身的文件被损坏等原因，会导致存储节点获取到的文件出现错误。因此，当索引服务器接收到存储节点上报的索引信息之后，从索引信息中获取文件存储地址，再根据文件存储地址获取标准校验值，通过比较标准校验值和待测校验值来确定存储节点下载的文件的正确性，从而确保后续客户端设备请求得到的文件是正确的。

所述索引服务器中预先配置有数据库，所述数据库中记录有每一个存储节点上报的历史索引信息。即，所述预先配置的数据库中记录有存储节点标识、文件存储地址及历史校验值，将所述数据库中记录的历史校验值作为标准校验值，将存储节点当前上报的校验值作为待测校验值。

优选地，所述匹配模块303根据所述索引信息中的文件存储地址从预设数据库中匹配出标准校验值包括：

从所述预设数据库中匹配出对应所述文件存储地址的目标文件存储地址；

获取所述目标文件存储地址对应的标准校验值。

索引服务器在接收到存储节点上报的索引信息，获取所上报的索引信息中的文件存储地址，然后将所上报的索引信息中的文件存储地址与预先配置的数据库中记录的每一个文件存储地址进行一一比对，从而匹配出对应所述所上报的索引信息中的文件存储地址的目标文件存储地址，并进而获取到对应所述目标文件存储地址的标准校验值。

判断模块304，用于判断所述待测校验值与所述标准校验值是否相同。

本实施例中，索引服务器获取到标准校验值后，即对待测校验值与标准校验值进行比较，判断所述待测校验值与所述标准校验值是否相同。

确定模块305，用于当所述待测校验值与所述标准校验值相同时，确定所述存储节点下载的文件正确。

本实施例中，当确定所述待测校验值与所述标准校验值相同时，表明存储节点下载的文件是正确的。

后续如果客户端设备请求文件时，可以直接根据所述文件对应的索引信息，从存储节点中拉取所述文件。

存储模块306，用于当所述存储节点下载的文件正确时，储存所述索引信息。便于后续根据所述索引信息从存储节点中拉取对应的文件。

所述确定模块305，还用于当所述待测校验值与所述标准校验值不相同时，确定所述存储节点下载的文件错误。

通知模块307，用于通知所述存储节点删除下载的文件。

本实施例中，当确定所述待测校验值与所述标准校验值不相同时，表明存储节点下载的文件是错误的，需要多个存储节点对所下载的文件进行删除，避免客户端设备播放错误的文件，影响了用户的观看体验。因而，在索引服务器确定所述存储节点下载的文件是错误的时候，通知所述存储节点删除下载的文件。

在实际应用场景中，假设索引服务器首次向存储节点下发下载文件的任务，则多个存储节点必然是首次从内容分发网络服务器中下载文件并进行存储，那么预设数据库中也必然没有记录对应所述首次下载的文件的历史索引信息，因而预设数据库中也没有记录对应所述首次下载的文件的标准校验值。

进一步的，所述判断模块304，还用于在所述匹配模块303根据所述索引信息中的文件存储地址从预设数据库中匹配出标准校验值之前，判断所述预设数据库中是否记录有对应所述文件存储地址的标准校验值；

所述确定模块305，还用于当所述判断模块304判断不存在对应所述文件存储地址的标准校验值时，根据所述多个存储节点上报的索引信息确定候选校验值；

更新模块308，用于根据所述候选校验值更新所述文件存储地址对应的标准校验值。

本实施例中，需要先判断预设数据库中是否记录有标准校验值，所述标准校验值对应所述文件下载地址，若不存在所述标准校验值，则将多个存储节点上报的索引信息进行综合起来，确定一个候选校验值，并将所确定出的候选校验值作为标准校验值记录在所述预设数据库中对应所述文件存储地址的位置，从而对所述预设数据库中的标准校验值进行更新。

优选地，所述确定模块305根据所述多个存储节点上报的索引信息确定候选校验值包括：

获取所述存储节点上报的索引信息中的待测校验值；

计算所述待测校验值中具有相同校验值的目标校验值；

判断所述目标校验值的个数是否大于预设个数阈值；

当所述目标校验值的个数大于或者等于预设个数阈值时，将所述目标校验值作为所述候选校验值；

当所述目标校验值的个数小于所述预设个数阈值时，继续接收所述存储节点上报的待测校验值，直到存在所述目标校验值的个数大于或者等于所述预设个数阈值。

示例性的，假设有30个存储节点，当前时刻已经接收到14个存储节点上报的索引信息，从14个存储节点上报的索引信息中获取待测校验值。14个待测校验值分别为：待测校验值A、待测校验值A、待测校验值C、待测校验值A、待测校验值B、待测校验值F、待测校验值F、待测校验值A、待测校验值A、待测校验值F、待测校验值F、待测校验值A、待测校验值H及待测校验值A。计算14个待测校验值中具有相同校验值的目标校验值为待测校验值A(个数为7)和待测校验值F(个数为4)。假设预设个数为7，则可以确定出为待测校验值A的目标校验值的个数等于所述预设个数，此时，将待测校验值A作为候选校验值。假设预设个数为10，则可以确定目标校验值(待测校验值A和待测校验值F)的个数均小于所述预设个数阈值，那么继续接收其他6个存储节点上报的索引信息。假设其他6个存储节点上报的索引信息中的待测校验值分别为：待测校验值A，待测校验值D，待测校验值A、待测校验值A、待测校验值F，待测校验值A。此时，待测校验值A的个数为11，大于预设个数10，所以将待测校验值A作为候选校验值。

通过多个存储节点上报的待测校验值，确定出候选校验值，并将所确定出的候选校验值作为标准校验值记录于所述预设数据库中，便于后续根据所确定出的标准校验值校验存储节点下载的文件的正确性，来确保客户端设备请求的所述文件是正确的。由于由多个存储节点上报的待测校验值确定出的标准校验值具有计算学意义，准确性高。

本发明实施例所述的分布式文件校验装置，接收多个存储节点上报的携带有存储节点标识、文件存储地址及对应的待测校验值的索引信息后，根据所述索引信息及预设数据库中的标准校验值，来确定所述多个存储节点下载的文件是否正确。一方面，通过索引服务器对多个存储节点下载的文件进行校验，能够确保存储节点下载的文件是正确的，便于后续客户端设备请求得到的文件是正确的；另一方面，由于索引服务器通过存储节点下载文件，后续如有客户端设备请求文件时，能够直接向存储节点请求文件，而不必向内容分发网络请求文件，减少了内容分发网络服务器的下载量，缓解了内容分发网络服务器的下载压力。

此外，将玩客云作为小型的存储节点，通过部署多个玩客云，不仅能够扩展文件的点播业务，而且由于玩客云的低成本优势，节省了文件供应商的成本。

实施例四

参阅图5所示，为本发明实施例四揭露的分布式文件校验装置的功能模块示意图。

在一些实施例中，所述分布式文件校验装置40运行于客户端设备中。所述分布式文件校验装置40可以包括多个由程序代码段所组成的功能模块。所述分布式文件校验装置40中的各个程序段的程序代码可以存储于客户端设备的存储器中，并由所述至少一个处理器所执行，以执行(详见图3描述)在高并发下对分布式文件的校验。

本实施例中，所述分布式文件校验装置30根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：索引上报模块401、通知接收模块402及下载处理模块403。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。

索引上报模块401，用于向所述索引服务器上报索引信息，所述索引信息包括所述存储节点标识、文件存储地址及对应的待测校验值。

本实施例中，存储节点可以从内容分发网络服务器上下载文件，在从内容分发网络服务器中下载到文件之后，将所述下载到的文件存储在本地的同时向索引服务器上报索引信息，以表明成功下载了文件。

在其他实施例中，所述存储节点也可以接收索引服务器下发的下载文件的任务，根据所述下载文件的任务中携带的URL下载文件，并在成功下载所述文件之后，向所述索引服务器上报索引信息。

关于所述索引信息的介绍参考S20中的内容，本文在此不再详细阐述。

通知接收模块402，用于接收所述索引服务器发送的通知。

本实施例中，存储节点上报索引信息至索引服务器，索引服务器接收存储节点上报的索引信息。

索引服务器根据所述索引信息中的文件存储地址从预设数据库中匹配出标准校验值，并判断所述待测校验值与所述标准校验值是否相同，最后根据判断结果向存储节点发送通知，以指示搜索存储节点存储或者删除下载的文件。

具体的，当所述索引服务器判断待测校验值与所述标准校验值相同时，确定所述存储节点下载的文件正确，发送第一通知至所述存储节点。

当所述索引服务器判断待测校验值与所述标准校验值不相同时，确定所述存储节点下载的文件错误，发送第二通知至所述存储节点。

所述通知可以包括存储节点标识、文件存储地址、检验结果。所述校验结果用于指示存储节点下载的文件正确或者错误，即所述第一通知中的所述校验结果用于指示存储节点下载的文件正确，所述第二通知中的所述校验结果用于指示存储节点下载的文件错误。

下载处理模块403，用于根据所述通知存储或者删除下载的文件。

本实施例中，当存储节点接收到所述第一通知之后，确认下载的文件正确，则存储下载的文件。当存储节点接收到所述第二通知之后，确认下载的文件错误，则删除下载的文件。

综上所述，本发明实施例中的分布式文件校验装置，通过存储节点向索引服务器上报索引信息，并接收索引服务器发送的通知，根据所述通知确认下载的文件是正确的还是错误的，从而存储或者删除下载的文件。本发明能够删除下载错误的文件，避免将错误的文件存储在存储节点中，浪费存储节点的存储空间。及时的删除错误的文件，不仅能够提高存储空间的利用率，剩余存储空间的增加，还有助于提高存储节点的下载效率，满足分布式文件下载的实时性要求。

实施例五

图6为本发明实施例五揭露的计算机装置的内部结构示意图。

在本实施例中，所述计算机装置可以为上述索引服务器，也可以为上述存储节点，所述计算机装置6可以包括存储器61、处理器62和总线66。

其中，存储器61至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器61在一些实施例中可以是所述计算机装置6的内部存储单元，例如所述计算机装置6的硬盘。存储器61在另一些实施例中也可以是所述计算机装置6的外部存储设备，例如所述计算机装置6上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器61还可以既包括所述计算机装置6的内部存储单元也包括外部存储设备。存储器61不仅可以用于存储安装于所述计算机装置6的应用软件及各类数据，例如分布式文件校验装置30或者分布式文件校验装置40的代码等及各个模块，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器62在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器61中存储的程序代码或处理数据。

该总线66可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

进一步地，所述计算机装置6还可以包括网络接口，网络接口可选的可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该计算机装置6与其他客户端设备之间建立通信连接。

图6仅示出了具有组件61/62、66以及所述分布式文件校验装置的所述计算机装置6，本领域技术人员可以理解的是，图6示出的结构并不构成对所述计算机装置6的限定，既可以是总线型结构，也可以是星形结构，所述计算机装置6还可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。其他现有的或今后可能出现的电子产品如可适应于本发明，也应包含在本发明的保护范围以内，并以引用方式包含于此。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种分布式文件校验方法，应用于索引服务器中，所述索引服务器与多个存储节点连接，其特征在于，所述方法包括：

接收所述多个存储节点上报的索引信息，所述索引信息包括存储节点标识、文件存储地址及对应的待测校验值；

判断所述预设数据库中是否记录有对应所述文件存储地址的标准校验值；

当不存在对应所述文件存储地址的标准校验值时，根据所述多个存储节点上报的索引信息确定候选校验值，其中，所述根据所述多个存储节点上报的索引信息确定候选校验值包括：获取所述存储节点上报的索引信息中的待测校验值；计算所述待测校验值中具有相同校验值的目标校验值；判断所述目标校验值的个数是否大于预设个数阈值；当所述目标校验值的个数大于或者等于预设个数阈值时，将所述目标校验值作为所述候选校验值；

根据所述候选校验值更新所述文件存储地址对应的标准校验值；

根据所述索引信息中的文件存储地址从所述预设数据库中匹配出标准校验值；

判断所述待测校验值与所述标准校验值是否相同；

当所述待测校验值与所述标准校验值相同时，确定所述存储节点下载的文件正确。

2.如权利要求1所述的方法，其特征在于，当所述目标校验值的个数小于所述预设个数阈值时，所述方法还包括：

继续接收所述存储节点上报的待测校验值，直到存在所述目标校验值的个数大于或者等于所述预设个数阈值。

3.如权利要求1所述的方法，其特征在于，所述根据所述索引信息中的文件存储地址从预设数据库中匹配出标准校验值包括：

从所述预设数据库中匹配出对应所述文件存储地址的目标文件存储地址；

获取所述目标文件存储地址对应的标准校验值。

4.如权利要求1所述的方法，其特征在于，当所述待测校验值与所述标准校验值不相同时，所述方法还包括：

确定所述存储节点下载的文件错误；

通知所述存储节点删除下载的文件。

5.一种分布式文件校验方法，应用于存储节点中，所述存储节点与索引服务器连接，其特征在于，所述方法包括：

向所述索引服务器上报索引信息，使得所述索引服务器执行如权利要求1至4中任意一项所述的方法，所述索引信息包括所述存储节点标识、文件存储地址及对应的待测校验值；

接收所述索引服务器发送的通知；

根据所述通知存储或者删除下载的文件。

6.一种分布式文件校验装置，运行于索引服务器中，所述索引服务器与多个存储节点连接，其特征在于，所述装置包括：

接收模块，用于接收所述多个存储节点上报的索引信息，所述索引信息包括存储节点标识、文件存储地址及对应的待测校验值；

判断模块，用于判断所述预设数据库中是否记录有对应所述文件存储地址的标准校验值；

确定模块，用于当不存在对应所述文件存储地址的标准校验值时，根据所述多个存储节点上报的索引信息确定候选校验值，其中，所述根据所述多个存储节点上报的索引信息确定候选校验值包括：获取所述存储节点上报的索引信息中的待测校验值；计算所述待测校验值中具有相同校验值的目标校验值；判断所述目标校验值的个数是否大于预设个数阈值；当所述目标校验值的个数大于或者等于预设个数阈值时，将所述目标校验值作为所述候选校验值；

更新模块，用于根据所述候选校验值更新所述文件存储地址对应的标准校验值；

匹配模块，用于根据所述索引信息中的文件存储地址从预设数据库中匹配出标准校验值；

所述判断模块，还用于判断所述待测校验值与所述标准校验值是否相同；

所述确定模块，还用于当所述待测校验值与所述标准校验值相同时，确定所述存储节点下载的文件正确。

7.一种计算机装置，其特征在于，所述计算机装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的分布式文件校验程序，所述分布式文件校验程序被所述处理器执行时实现如权利要求1至4中任一项所述的分布式文件校验方法，或者实现如权利要求5所述的分布式文件校验方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有分布式文件校验程序，所述分布式文件校验程序可被一个或者多个处理器执行，以实现如权利要求1至4中任一项所述的分布式文件校验方法，或者实现如权利要求5所述的分布式文件校验方法。

Images