CN111752764A - 一种数据分布方法及系统 - Google Patents

Abstract

本发明公开了一种数据分布方法及系统，从源设备获取待分布数据的各个数据块的元数据信息，根据各个设备的地理位置数据，对于各个设备的每一设备获得本设备与其它任一设备之间的距离信息，根据获得的待分布数据的各个数据块的元数据信息以及各个设备与其它任一设备之间的距离信息生成分布策略，并将分布策略发送至选定的设备，以使得源设备根据分布策略将所述待分布数据的各个数据块分别传输至选定的各个设备。本数据分布方法及系统将获得的数据生成多个数据块，根据各个设备之间的距离信息选定出能够分布各个数据块的设备，将各个数据块分布到多个设备上，当一些设备被破坏之后不会导致数据完全不能恢复，因此能够提高存储数据的鲁棒性。

Description

一种数据分布方法及系统

技术领域

本发明涉及计算机体系结构技术领域，特别是涉及一种数据分布方法及系统。

背景技术

以网络摄像头为代表的智能终端是传统电子信息技术和互联网技术的结合，其产生的数据可通过网络进行访问及查看。目前，以网络摄像头为代表的智能终端已经在事故取证等方面发挥了巨大的作用，其不仅被广泛应用于执法机关的调查取证，并且家庭用户也随着技术的成熟不断增长。当前，智能终端已经成为了社会公共服务中不可或缺的一环，例如，目前多家公交、地铁公司及网约车公司都已经在车辆中安装了网络摄像头来保护司乘人员以及乘客的安全。

然而，智能终端由于存储介质本身的脆弱性以及其在物理上直接与嫌疑人近距离接触的特性，导致了其监控数据经常容易因为各种意外或者蓄意攻击而损坏。

发明内容

鉴于以上所述的智能终端存在的缺陷，本发明的目的是提供一种数据分布方法及系统，将获得的数据分布在多个设备上，能够提高数据的鲁棒性。

为实现上述目的，本发明提供如下技术方案：

一种数据分布方法，包括：

从源设备获取待分布数据的各个数据块的元数据信息，所述源设备将所述待分布数据生成多个数据块；

根据各个设备的地理位置数据，对于各个设备的每一设备获得本设备与其它任一设备之间的距离信息；

根据获得的所述待分布数据的各个数据块的元数据信息以及各个所述设备与其它任一设备之间的距离信息生成分布策略，并将所述分布策略发送至选定的所述设备，以使得所述源设备根据所述分布策略将所述待分布数据的各个数据块分别传输至选定的各个设备，所述分布策略选定了接收所述待分布数据的各个数据块的所述设备，所述分布策略选定的各个设备的任意两个设备之间的距离满足预设要求。

优选的，具体包括：所述分布策略选定的各个设备的任意两个设备之间的距离最大化。

优选的，具体包括：根据获得的所述待分布数据的各个数据块的元数据信息、各个所述设备与其它任一设备之间的距离信息以及所述源设备与其它任一设备之间的传输率信息，生成所述分布策略。

优选的，具体包括：选定的各个设备的任意两个设备之间的距离最大化，并且所述源设备向选定的各个设备传输数据块存在的总传输延迟处于预设范围内。

优选的，具体包括：根据获得的所述待分布数据的各个数据块的元数据信息、各个所述设备与其它任一设备之间的距离信息以及各个所述设备的剩余存储空间大小，生成所述分布策略；

所述分布策略选定的各个设备的任意两个设备之间的距离满足预设要求，并且选定的任一设备的剩余存储空间大于要接收的对应数据块大小。

优选的，所述分布策略以m×m的布尔矩阵X表示，Xij表示设备j存储了来自设备i的Xij个数据块。

一种数据分布系统，包括调度装置以及至少两个设备，至少两个设备包括源设备；

所述源设备用于将待分布数据生成多个数据块，以及根据分布策略将所述待分布数据的各个数据块分别传输至所述分布策略选定的各个设备；

所述调度装置用于从所述源设备获取所述待分布数据的各个数据块的元数据信息，以及根据各个所述设备的地理位置数据，对于各个所述设备的每一设备获得本设备与其它任一设备之间的距离信息，以及根据获得的所述待分布数据的各个数据块的元数据信息、各个所述设备与其它任一设备之间的距离信息生成所述分布策略，并将所述分布策略发送至选定的所述设备，所述分布策略选定了接收所述待分布数据的各个数据块的所述设备，所述分布策略选定的各个设备的任意两个设备之间的距离满足预设要求。

优选的，所述调度装置包括：

设备监控模块，用于从所述源设备获取所述待分布数据的各个数据块的元数据信息并将获得的各个数据块的元数据信息传输至协调模块，以及从各个所述设备获取设备的地理位置数据；

第一数据存储模块，用于存储所述设备监控模块获得的各个所述设备的地理位置数据，并在所述协调模块请求的情况下将各个所述设备的地理位置数据传输至第二数据存储模块；

所述第二数据存储模块，用于根据各个所述设备的地理位置数据，对于各个所述设备的每一设备获得本设备与其它任一设备之间的距离信息，并在所述协调模块请求的情况下将各个所述设备与其它任一设备之间的距离信息传输至所述协调模块；

所述协调模块，用于根据获得的所述待分布数据的各个数据块的元数据信息以及各个所述设备与其它任一设备之间的距离信息生成所述分布策略，并将所述分布策略发送至选定的所述设备。

优选的，所述设备包括：

处理模块，用于将所述待分布数据生成多个数据块；

存储模块，用于根据得到的所述分布策略，从所述源设备获取相应的数据块。

优选的，所述处理模块还用于向所述调度装置发送数据分布请求，所述数据分布请求至少包括所述待分布数据的各个数据块的元数据信息、数据块的数量以及各个数据块的大小；

所述设备监控模块，还用于获取所述设备发送的数据分布请求，并将所述数据分布请求发送至所述协调模块。

由上述技术方案可知，本发明所提供的一种数据分布方法及系统，首先从源设备获取待分布数据的各个数据块的元数据信息，然后根据各个设备的地理位置数据，对于各个设备的每一设备获得本设备与其它任一设备之间的距离信息，进一步根据获得的待分布数据的各个数据块的元数据信息以及各个设备与其它任一设备之间的距离信息生成分布策略，将分布策略发送至选定的设备，以便根据分布策略将待分布数据的各个数据块分别传输至选定的各个设备，从而将源设备的数据分布到各个设备。

本发明的数据分布方法及系统将数据生成多个数据块，根据各个设备之间的距离信息选定出能够分布各个数据块的设备，选定的各个设备的任意两个设备之间的距离满足预设要求，将各个数据块分布到多个设备上，当一些设备被破坏之后不会导致数据完全不能恢复，因此能够提高数据的鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种数据分布方法的流程图；

图2为本发明又一实施例提供的一种数据分布方法的流程图；

图3为本发明实施例提供的一种数据分布系统的示意图；

图4为本发明实施例的一种调度装置的示意图；

图5为发明本实施例的一种设备的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

请参考图1，图1为一实施例提供的一种数据分布方法的流程图，由图可知，所述数据分布方法包括以下步骤：

S10：从源设备获取待分布数据的各个数据块的元数据信息，所述源设备将所述待分布数据生成多个数据块。

源设备是指产生待分布数据的、需要将待分布数据传输至其它设备的设备，分布式系统中任意一个产生了待分布数据的设备可作为源设备。源设备获得数据，将其中的待分布数据生成多个数据块。数据块的元数据信息是指能够概述数据块的数据内容的信息。可选的，数据块的元数据信息可以是但不限于数据块的哈希值。

优选的，源设备可以将待分布数据进行纠删编码处理，将待分布数据生成多个数据块，通过将数据纠删编码处理生成多个数据块，当其中的一个或者几个数据块被破坏后可以根据剩余的数据块恢复得到数据，有助于提高数据的鲁棒性。进一步优选的，源设备还将数据加密，在具体实施时可以将待分布数据进行加密，而后将经过加密处理的待分布数据分成多个数据块；或者可先将待分布数据生成多个数据块，将各个数据块分别进行加密，将经过加密的数据块传输至选定的各个设备。这样恶意攻击者即使接触到分布了数据的设备，也难以获取到有效数据，因此能够提高数据的隐私性。

可选的，当源设备产生需要分布的数据时，可以发送出数据分布请求，所述数据分布请求可至少包括待分布数据的各个数据块的元数据信息、数据块的数量以及各个数据块的大小，优选数据分布请求还可包括待分布数据对存储空间或者服务质量的要求、待分布数据所在设备的标识等信息。

可选的，可以当源设备产生的待分布数据的大小大于等于预设阈值时，发送出数据分布请求，以请求将产生的待分布数据进行分布。

S11：根据各个设备的地理位置数据，对于各个设备的每一设备获得本设备与其它任一设备之间的距离信息。

对于分布式系统的各个能够分布数据的设备，根据各个设备的地理位置数据，对于每一设备获得本设备与其它任一设备之间的距离信息。

S12：根据获得的所述待分布数据的各个数据块的元数据信息以及各个所述设备与其它任一设备之间的距离信息生成分布策略，并将所述分布策略发送至选定的所述设备，以使得所述源设备根据所述分布策略将所述待分布数据的各个数据块分别传输至选定的各个设备。

根据待分布数据的各个数据块的元数据信息、各个设备之间的距离信息生成分布策略，所述分布策略选定了接收待分布数据的各个数据块的设备。可选的，分布策略可以以m×m的布尔矩阵X表示，Xij表示设备j存储了来自设备i的Xij个数据块，Xij=1表示设备j将一个数据块存储在设备i上。优选的，本实施例方法中一个设备最多存储来自同一个设备的同一个数据段的一个数据块。

分布策略选定的各个设备的任意两个设备之间的距离满足预设要求。具体的，选定的各个设备的任意两个设备之间的距离最大化。假设，设备i生成了k个数据块，分布策略选定了设备i1、i2、…、ik分别存储各个数据块，则设备i1、i2、…、ik中任意两个设备之间的距离是最大化的。这样使得将待分布数据的各个数据块分布到距离相距较远的多个设备上，使得恶意攻击者通过设备窃取数据时，不容易将同一数据段的各个数据块获取到，能够提高数据的鲁棒性。

将分布策略发送至选定的各个设备，从而源设备根据分布策略将待分布数据的各个数据块分别传输至选定的各个设备，从而将源设备的数据分布到各个设备。

本实施例的数据分布方法将数据生成多个数据块，根据各个设备之间的距离信息选定出能够分布各个数据块的设备，选定的各个设备的任意两个设备之间的距离满足预设要求，将各个数据块分布到多个设备上，当一些设备被破坏之后不会导致数据完全不能恢复，因此能够提高数据的鲁棒性。另外，本数据分布方法通过将数据进行纠删编码处理生成多个数据块，当其中的一个或者几个数据块被破坏后可以根据剩余的数据块恢复得到数据，使得当某些分布了数据块的设备被破坏后也能够恢复数据，从而可以避免一些设备被破坏之后数据完全不能恢复的问题。

进一步在一种优选实施方式中，本实施例方法的步骤S12具体包括：根据获得的所述待分布数据的各个数据块的元数据信息、各个所述设备与其它任一设备之间的距离信息以及各个所述设备的存储空间大小，生成所述分布策略。本实施例方法选定用于分布数据的设备时，兼具考虑各个设备之间的距离以及设备的存储空间。优选的，分布策略选定的各个设备满足：选定的各个设备的任意两个设备之间的距离最大化，并且选定的任一设备的剩余存储空间大于要接收的对应数据块大小。假设，分布式系统包括n个设备，设备j的剩余存储空间表

示为Cj，则其应该满足：

，j∈{1,2,…,m}，其中Bi表示

来自设备i的数据块大小，Xij表示设备j存储了来自设备i的Xij个数据块，m表示分布了数据的设备。

因此，本实施例数据分布方法选定用于分布数据的设备时综合考虑各个设备之间的距离以及各个设备的存储能力等因素，实现用于分布数据的各个设备之间距离最大化，并确保选定的各个设备具有符合要求的存储能力，以实现对数据的优化分布。

请参考图2，图2为又一实施例提供的一种数据分布方法的流程图，由图可知，所述数据分布方法包括以下步骤：

S20：从源设备获取待分布数据的各个数据块的元数据信息。

源设备将待分布数据生成多个数据块，优选的，源设备可以将待分布数据进行纠删编码处理，将待分布数据生成多个数据块，通过将数据纠删编码处理生成多个数据块，有助于提高数据的鲁棒性。进一步优选的，源设备还将数据加密，在具体实施时可以将待分布数据进行加密，而后将经过加密处理的待分布数据分成多个数据块；或者，可先将待分布数据生成多个数据块，将各个数据块分别进行加密，将经过加密的数据块传输至选定的各个设备。

S21：根据各个设备的地理位置数据，对于各个设备的每一设备获得本设备与其它任一设备之间的距离信息。

对于分布式系统的各个能够分布数据的设备，根据各个设备的地理位置数据，对于每一设备获得本设备与其它任一设备之间的距离信息。

S22：根据获得的所述待分布数据的各个数据块的元数据信息、各个所述设备与其它任一设备之间的距离信息以及所述源设备与其它任一设备之间的传输率信息，生成分布策略，并将所述分布策略发送至选定的所述设备，以使得所述源设备根据所述分布策略将所述待分布数据的各个数据块分别传输至选定的各个设备。

分布策略选定了接收待分布数据的各个数据块的设备，具体分布策略选定的各个设备的任意两个设备之间的距离最大化，并且所述源设备向选定的各个设备传输数据块存在的总传输延迟处于预设范围内。假设，设备i生成了k个数据块，分布策略选定设备i1、i2、…、ik分别存储各个数据块，则设备i1、i2、…、ik中任意两个设备之间的距离是最大化的；并且，设设备i的传输延迟为Ti，可以表示为

，其中Rij表示从设备i向设备j传输数据的传输率，Bi表示来自设备i的数据块大小，Xij表示设备j存储了来自设备i的Xij个数据块，Tmax表示用户能够容忍的最大延迟。其应该满足Ti≤Tmax，i∈{1,2,…,m}。

本实施例数据分布方法将数据生成多个数据块，根据各个设备之间的距离信息以及设备之间传输数据的传输率选定出能够分布各个数据块的设备，选定的各个设备的任意两个设备之间的距离满足预设要求，将各个数据块分布到多个设备上，当一些设备被破坏之后不会导致数据完全不能恢复，因此能够提高数据的鲁棒性，并且保障向各个设备传输数据的传输延迟在可容忍范围内。

进一步优选的，本实施例方法的步骤S22具体包括：根据获得的所述待分布数据的各个数据块的元数据信息、各个所述设备与其它任一设备之间的距离信息、各个所述设备与其它任一设备之间的传输率信息以及各个所述设备的剩余存储空间大小，生成所述分布策略。本实施例方法选定用于分布数据的设备时，兼具考虑各个设备之间的距离、设备之间传输数据的传输率以及设备的存储空间。优选的，分布策略选定的各个设备满足：选定的各个设备的任意两个设备之间的距离最大化，且源设备向选定的各个设备传输数据块存在的总传输延迟处于预设范围内，且选定的任一设备的剩余存储空间大于要接收的对应数据块大小。

因此，本实施例数据分布方法选定用于分布数据的设备时综合考虑各个设备之间的距离、设备之间传输数据的传输率以及设备的存储能力等因素，实现用于分布数据的各个设备之间距离最大化，保证向各个设备传输数据有可容忍的传输延迟，并确保选定的各个设备具有符合的存储能力，以实现对数据的优化分布。

请参考图3，图3为本实施例提供的一种数据分布系统的示意图，由图可知，所述数据分布系统包括调度装置11以及至少两个设备10，至少两个设备10包括源设备；

所述源设备用于将待分布数据生成多个数据块，以及根据分布策略将所述待分布数据的各个数据块分别传输至所述分布策略选定的各个设备；

所述调度装置11用于从所述源设备获取所述待分布数据的各个数据块的元数据信息，以及根据各个所述设备的地理位置数据，对于各个所述设备的每一设备获得本设备与其它任一设备之间的距离信息，以及根据获得的所述待分布数据的各个数据块的元数据信息、各个所述设备与其它任一设备之间的距离信息生成所述分布策略，并将所述分布策略发送至选定的所述设备，所述分布策略选定了接收所述待分布数据的各个数据块的所述设备，所述分布策略选定的各个设备的任意两个设备之间的距离满足预设要求。

本实施例的数据分布系统将数据生成多个数据块，根据各个设备之间的距离信息选定出能够分布各个数据块的设备，选定的各个设备的任意两个设备之间的距离满足预设要求，将各个数据块分布到多个设备上，当一些设备被破坏之后不会导致数据完全不能恢复，因此能够提高数据的鲁棒性。

进一步的，请参考图4，图4为本实施例的一种调度装置的示意图，可知所述调度装置11包括：

设备监控模块110，用于从所述源设备获取所述待分布数据的各个数据块的元数据信息并将获得的各个数据块的元数据信息传输至协调模块113，以及从各个所述设备10获取设备的地理位置数据；

第一数据存储模块111，用于存储所述设备监控模块110获得的各个所述设备10的地理位置数据，并在所述协调模块113请求的情况下将各个所述设备10的地理位置数据传输至第二数据存储模块112；

所述第二数据存储模块112，用于根据各个所述设备10的地理位置数据，对于各个所述设备10的每一设备获得本设备与其它任一设备之间的距离信息，并在所述协调模块113请求的情况下将各个所述设备与其它任一设备之间的距离信息传输至所述协调模块113；

所述协调模块113，用于根据获得的所述待分布数据的各个数据块的元数据信息以及各个所述设备与其它任一设备之间的距离信息生成所述分布策略，并将所述分布策略发送至选定的所述设备10。

进一步的请参考图5，图5为本实施例的一种设备的示意图，由图可知，所述设备10包括：

处理模块100，用于将所述待分布数据生成多个数据块；

存储模块101，用于根据得到的所述分布策略，从所述源设备获取相应的数据块。

进一步的，所述处理模块100还用于向所述调度装置11发送数据分布请求，所述数据分布请求至少包括所述待分布数据的各个数据块的元数据信息、数据块的数量以及各个数据块的大小；

所述设备监控模块110，还用于获取所述设备10发送的数据分布请求，并将所述数据分布请求发送至所述协调模块113。

可选的，所述设备可以是但不限于带网络摄像头的智能设备。

以上对本发明所提供的一种数据分布方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.一种数据分布方法，其特征在于，包括：

从源设备获取待分布数据的各个数据块的元数据信息，所述源设备将所述待分布数据生成多个数据块；

根据各个设备的地理位置数据，对于各个设备的每一设备获得本设备与其它任一设备之间的距离信息；

根据获得的所述待分布数据的各个数据块的元数据信息以及各个所述设备与其它任一设备之间的距离信息生成分布策略，并将所述分布策略发送至选定的所述设备，以使得所述源设备根据所述分布策略将所述待分布数据的各个数据块分别传输至选定的各个设备，所述分布策略选定了接收所述待分布数据的各个数据块的所述设备，所述分布策略选定的各个设备的任意两个设备之间的距离满足预设要求；

具体包括：根据获得的所述待分布数据的各个数据块的元数据信息、各个所述设备与其它任一设备之间的距离信息以及所述源设备与其它任一设备之间的传输率信息，生成所述分布策略；

具体包括：选定的各个设备的任意两个设备之间的距离最大化，并且所述源设备向选定的各个设备传输数据块存在的总传输延迟处于预设范围内。

2.根据权利要求1所述的数据分布方法，其特征在于，具体包括：所述分布策略选定的各个设备的任意两个设备之间的距离最大化。

3.根据权利要求1所述的数据分布方法，其特征在于，具体包括：根据获得的所述待分布数据的各个数据块的元数据信息、各个所述设备与其它任一设备之间的距离信息以及各个所述设备的剩余存储空间大小，生成所述分布策略；

所述分布策略选定的各个设备的任意两个设备之间的距离满足预设要求，并且选定的任一设备的剩余存储空间大于要接收的对应数据块大小。

4.根据权利要求1-3任一项所述的数据分布方法，其特征在于，所述分布策略以m×m的布尔矩阵X表示，Xij表示设备j存储了来自设备i的Xij个数据块。

5.一种数据分布系统，其特征在于，包括调度装置以及至少两个设备，至少两个设备包括源设备；

所述源设备用于将待分布数据生成多个数据块，以及根据分布策略将所述待分布数据的各个数据块分别传输至所述分布策略选定的各个设备；

所述调度装置用于从所述源设备获取所述待分布数据的各个数据块的元数据信息，以及根据各个所述设备的地理位置数据，对于各个所述设备的每一设备获得本设备与其它任一设备之间的距离信息，以及根据获得的所述待分布数据的各个数据块的元数据信息、各个所述设备与其它任一设备之间的距离信息生成所述分布策略，并将所述分布策略发送至选定的所述设备，所述分布策略选定了接收所述待分布数据的各个数据块的所述设备，所述分布策略选定的各个设备的任意两个设备之间的距离满足预设要求；

具体包括：根据获得的所述待分布数据的各个数据块的元数据信息、各个所述设备与其它任一设备之间的距离信息以及所述源设备与其它任一设备之间的传输率信息，生成所述分布策略；

具体包括：选定的各个设备的任意两个设备之间的距离最大化，并且所述源设备向选定的各个设备传输数据块存在的总传输延迟处于预设范围内。

6.根据权利要求5所述的数据分布系统，其特征在于，所述调度装置包括：

设备监控模块，用于从所述源设备获取所述待分布数据的各个数据块的元数据信息并将获得的各个数据块的元数据信息传输至协调模块，以及从各个所述设备获取设备的地理位置数据；

第一数据存储模块，用于存储所述设备监控模块获得的各个所述设备的地理位置数据，并在所述协调模块请求的情况下将各个所述设备的地理位置数据传输至第二数据存储模块；

所述第二数据存储模块，用于根据各个所述设备的地理位置数据，对于各个所述设备的每一设备获得本设备与其它任一设备之间的距离信息，并在所述协调模块请求的情况下将各个所述设备与其它任一设备之间的距离信息传输至所述协调模块；

所述协调模块，用于根据获得的所述待分布数据的各个数据块的元数据信息以及各个所述设备与其它任一设备之间的距离信息生成所述分布策略，并将所述分布策略发送至选定的所述设备。

7.根据权利要求6所述的数据分布系统，其特征在于，所述设备包括：

处理模块，用于将所述待分布数据生成多个数据块；

存储模块，用于根据得到的所述分布策略，从所述源设备获取相应的数据块。

8.根据权利要求7所述的数据分布系统，其特征在于，所述处理模块还用于向所述调度装置发送数据分布请求，所述数据分布请求至少包括所述待分布数据的各个数据块的元数据信息、数据块的数量以及各个数据块的大小；

所述设备监控模块还用于获取所述设备发送的数据分布请求，并将所述数据分布请求发送至所述协调模块。

Images