CN103477609A

CN103477609A - 管理数据文件传输

Info

Publication number: CN103477609A
Application number: CN2012800155637A
Authority: CN
Inventors: M·马达赫-阿里
Original assignee: Alcatel Lucent SAS
Current assignee: Alcatel Lucent SAS
Priority date: 2011-03-31
Filing date: 2012-03-22
Publication date: 2013-12-25
Anticipated expiration: 2032-03-22
Also published as: KR20130138316A; EP2692114B1; US9401951B2; JP5833737B2; US20120254459A1; US20140207913A1; WO2012134941A1; CN103477609B; KR101495560B1; US9054920B2; JP2014510977A; EP2692114A1

Abstract

在一种管理数据文件到用户的传输的方法中，将第一文件分割成多个第一片段以及将第二文件分割成多个第二片段。发送第一片段至第一用户及不同的第一片段至第二用户。发送第二片段至该第一用户及不同的第二片段至该第二用户。对发送至所述第一用户片段的至少部分与发送至所述第二用户片段的至少部分进行合并以产生合并片段，该合并片段的大小小于合并之前所述片段的至少部分的总大小。发送所述合并片段至所述第一用户和第二用户，以用于每个用户利用所述合并片段和所述片段的至少部分来恢复片段。

Description

管理数据文件传输

技术领域

本发明涉及一种管理数据文件到用户的传输的方法和装置，尤其涉及但不仅限于将缓存在本地的数据文件传输到用户。

背景技术

服务器可以保存通过网络发送到用户的数据文件，其中网络可以是例如因特网或者其他网络。数据文件可以是媒体内容文件或其他类型的文件，并且可以在例如当用户请求数据文件时或内容创建者或提供者想发布数据文件时将该数据文件发送至用户。如果用户不立即请求访问数据文件，或者希望保留数据文件以供之后访问，则该数据文件可以被存储在用户本地的缓存存储器中。例如，缓存存储器可以是包含在用户设备中的硬盘驱动器，也可以是被分离地提供和安排以使用户可随时访问的缓存存储器，比如位于与服务器相比更接近网络边缘的地方。当用户需要缓存文件时，可以从缓存存储器中获取该文件而只占用较少的网络资源或者不占用网络资源。

当网络资源容量大和/或成本低时，通过不时地发送被缓存的数据文件，可以对数据传输进行更有效的管理。例如在WIFI网络可用时、或当用户处于低流量区域时、或低流量时段，可以发送数据文件。

发明内容

根据本发明的第一方面，在管理数据文件到用户的传输的方法中，将第一文件分割为多个第一片段，以及将第二文件分割为多个第二片段。将第一片段发送至第一用户，以及将与其不同的第一片段发送至第二用户。将第二片段发送至第一用户，以及将与其不同的第二片段发送至第二用户。将发送至第一用户的片段的至少部分与发送至第二用户的片段的至少部分合并，以产生合并片段，该合并片段的大小小于合并前片段的至少部分的总大小。将合并片段发送至该第一用户和第二用户，以使每个用户利用合并片段和片段的至少部分来恢复片段。

合并片段的大小小于合并前片段的至少上述部分的总大小意味着：如果被缓存在用户本地的一个或多个缓存中的话，合并片段，需要较小的空间。此外，由于合并片段的大小较小，因此与假设片段被分别以非合并形式发送相比，合并片段的传输需要较少的网络资源。这即使对没有将片段缓存在用户本地的一个或多个缓存中的安排来说也是有利的。

一个或多个用户可以是网络中的任意节点。例如，在无线网络中，用户可以是路由器或最终用户或其它网络节点。

根据本发明的方法可以应用于无线、固网或其它类型的网络，且不限于一种特定的技术类型。

根据本发明的方法可以应用于存在f个文件和K个用户的地方，该方法包括将每个文件划分成2至K的幂次个片段，其中，对用户的每个子集均存在一个被保存在该子集中的所有用户上的片段。

在一个实施例中，发送至第一用户的第一和第二片段可以缓存在第一用户本地的第一缓存存储器中。类似地，发送至第二用户的第一和第二片段可以缓存在第二用户本地的第二缓存存储器中。因此，缓存存储器可以被安排为仅存储第一文件的一部分和第二文件的一部分，当缓存存储器没有足够的大小来存储完整的文件时，这种安排是有利的。当在稍后的时间，用户之一或两个用户均想访问第一文件或第二文件时，由于他们已经访问了本地的某些片段，故不需要将整个文件都发送给他们。因此，即使剩余的片段可能在某些情况下需要在相对昂贵的时间、或在高网络负载期间发送，由于不需要发送整个文件，减少了发送文件的总成本。此外，合并片段比贡献片段的总大小小，这提供了有效的文件传输管理。

在一个实施例中，发送至第一用户的片段的至少部分与发送至第二用户的至少部分通过利用有限字段（field）的加法进行合并。在一个实施例中，该有限字段是二进制字段。

在一种方法中，发送至第一和第二用户的第一和第二片段在将要发送至第一和第二用户的合并片段之前被发送。然而，在另一个实施例中，数据以不同的顺序发送。

在一个实施例中，将片段分割成第一和第二部分，第一部分被合并到合并片段中，且第二部分被传输到第一和第二用户。第二部分可以和合并片段同时传输或单独传输。

根据本发明的第二方面，管理数据文件到用户的传输的数据传输管理器包含：用于将第一文件分割成多个第一片段及将第二文件分割成多个第二片段的分割器；用于发送第一片段至第一用户及不同的第一片段至第二用户，且发送第二片段至第一用户及不同的第二片段至第二用户的发送装置；用于将发送至第一用户的片段的至少部分与发送至第二用户的片段的至少部分合并以产生合并片段的合并器，该合并片段的大小小于合并前所述片段的至少部分的总大小；所述发送装置被操作以发送所述合并片段至所述第一用户和所述第二用户，以便所述第一用户和所述第二用户中的每个用户利用所述合并片段和片段的至少部分来恢复片段。

附图说明

本发明的某些实施例现在将仅以举例的方式描述，参考附图，其中：

图1图示出根据本发明的方法的流程图；

图2图为传输过程的示意图；以及

图3图示出实施图1所述方法的装置；

具体实施方式

在第一实施例中，假设存在可从服务器获得的第一文件A和第二文件B，每个文件均为1MB大小。存在第一用户U1和第二用户U2，每个用户各自具有相应的本地缓存M1和M2，M1和M2均为1MB。假设这两个用户U1和U2的历史显示每个用户可以以等概率需求文件A和文件B。

在这种缓存方案中，有必要在昂贵的网络中以平均0.5MB进行广播。而且，峰值速率为0.5MB。

参见附图1，在1处，第一和第二文件被分割成几个片段。文件A被分为两个相等大小的片段A1和A2，其中每个片段为0.5MB，使得A=（A1，A2）。

类似地，文件B被分为两个相等大小的片段B1和B2，其中每个片段为0.5MB，且B=（B1，B2）。

在2处，片段A1和B1传输至第一用户U1，以及，在3处，保存在相应的缓存存储器M1中。并且，A2和B2传输至第二用户U2且保存在相应的缓存存储器M2中。缓存策略概括在表1中且概率概括在表2中。

表1

概率表	文件A	文件B
			用户1	p1A=0.5	p1B=0.5
用户2	p2A=0.5	p2B=0.5

表2

因此，每个用户具有每个文件的一部分。

在稍后的时间，例如，如果第一用户想访问文件A且第二用户需要文件B，二者均没有足够的缓存片段以提供完整的文件。在4处，用户发送他们的需求至服务器。

在5处，服务器安排发送器来广播合并片段A2+B1，其中+代表产生该合并片段的有限字段的加法。在这个例子中，合并用二进制字段进行，因此，+为简单地逐位异或运算。合并片段A2+B1具有0.5MB的大小。与此相比，片段A2的大小为0.5MB，片段B1的大小为0.5MB，即，总共1MB。

在下一个阶段，如6处所示，第一用户U1接收A2+B1且已经在其缓存存储器M1中有B1。因此，第一用户U1能够通过操作（A2+B1）-B1来恢复A2。第一用户U1在其缓存M1中还具有A1。因此，第一用户U1具有A1和A2两者，并且能够重建所需的文件A。

第二用户U2也接收发送器广播的A2+B1。第二用户已经在其缓存中有A2，因此能够通过操作（A2+B1)-A2来恢复B1。第二用户已经在其缓存M2中有B2。因此，B1和B2两者可被第二用户U2用于重建其所需要的文件B。

在另一个方案中，假设起点为表1所示的那样，假设第一和第二用户都需要文件A。在这种情况下，发送器广播A1+A2，其中+再次表示在二进制字段进行合并，并且是逐位异或运算。合并片段A2+A1具有0.5MB的大小，与此相比，片段A2的大小为0.5MB，片段A1的大小为0.5MB，即，总共1MB。

第一用户U1从而接收A2+A1且已经在其缓存中有A1。因此其能够通过（A2+A1）-A1来恢复A2。因此，第一用户U1具有片段A1和A2两者，从而能够重建文件A。

第二用户U2也接收广播的A2+A1且已经在其缓存M2中有A1。因此其能够通过（A2+A1）-A2来恢复A1。因此，其将具有片段A1和A2两者，从而能够重建文件A。

对于其它的情况，广播策略以及恢复方法示于下面的表3中。可以看出，无论每个用户请求哪个文件，发送器均只需要广播0.5MB。因此，发送器广播的数据的平均速率为0.5MB。

表3

在这个实施例中，优化了缓存方案，并减小了网络的平均负载或最大负载。在上面给出的简单例子中，该缓存方案可以降低高达50％的平均负载和100％的最大负载。

图2图示出了对于大小为F的两个文件及各均具有缓存大小M的两个用户，针对归一化缓存大小的归一化平均传输速率。另外，每个用户可能需要其中一个文件的概率是近似相等的。

在另一个实施例中，假设第一和第二用户即用户1和用户2分别具有可用缓存存储器大小M₁和M₂。另外，假设服务器具有大小分别为F_A和F_B的两个文件A和B，即

|A|=FA

|B|=FB。

用户可能需要其中一个文件的概率列在下面的表4中：

表4

每个文件被分成5部分，每部分不必相等，给出：

A={A₀,A₁,A₂,A₁₂}

B={B₀,B₁,B₂,B₁₂}

具有大小

|A₀|=x₀,|A₁|=x₁,|A₂|=x₂,|A₁₂|=x₁₂,

|B₀|=y₀,|B₁|=y₁,|B₂|=y₂,|B₁₂|=y₁₂,

因此，

x₀+x₁+x₂+x₁₂=F_A

y₀+y₁+y₂+y₁₂=F_B

用A₁和B₁表示的部分文件缓存在用户1的存储器中。

用A₂和B₂表示的部分文件缓存在用户2的存储器中。

用A₁₂和B₁₂表示的部分文件缓存在两个用户的存储器中。

用A₀和B₀表示的部分文件未缓存在任何上述存储器中。

因此，

x₁+y₁+x₁₂+y₁₂<=M₁

x₂+y₂+x₁₂+y₁₂<=M₂

在第一方案中，用户1请求文件A且用户2请求文件B。因此，

用户1需要仅在服务器处可用的A₀。

用户2需要仅在服务器处可用的B₀。

用户1已经具有A₁和A₁₂。

用户1已经具有B₁和B₁₂。

用户1需要A₂而用户2在其缓存存储器中具有A₂。

用户2需要B₁而用户1在其缓存存储器中具有B₁。

因此，服务器必须发送A₀和B₀两者至用户1和2。

假设|A₂|>|B₁|，那么服务器将片段A₂分成两部分，以A_2U和A_2L表示，即A₂={A_2U,A_2L},其中|A_2U|=|B₁|。然后，服务器发送合并片段A_2U+B₁，并且同样发送A_2L，其中+为二进制字段或任意其它有限字段的加法。注意：

|A_2U+B₁|+|A_2L|=|A₂|=max{|A₂|,|B₁|}

其中，max{|A₂|,|B₁|}是A₂尺寸和B₁尺寸的最大值。

然后用户1能够利用A_2U+B₁、A_2L和B₁来恢复A₂={A_2U,A_2L}。同样，用户2能够利用A_2U+B₁和A₂来恢复B₁。

另一方面，如果|A₂|<|B₁|，那么服务器将片段B₁分成两部分，以B_1U和B_1L表示，即B₁={B_1U,B_1L},其中|B_1U|=|A₂|。然后，服务器发送合并后的片段B_1U+A₂，并且同样发送B_1L，此外+为二进制字段或任意其它有限字段的加法。注意：

|B_1U+A₂|+|B_1L|=|B₁|=max{|A₂|,|B₁|}

然后用户2能够利用B_1U+A₁、B_1L和A₂来恢复B₁={B_1U,B_1L}。同样，用户1能够利用B_1U+A₂和B₁来恢复A₂。

然后每个用户均具有重建其所请求的文件所必需的片段。

在第二方案中，用户1和用户2均请求文件A。注意：

用户1和2需要仅在服务器存储器中可用的A₀。

用户1和2均已有A₁₂。

用户1需要A₂而用户2在其缓存存储器中具有A₂。

用户2需要A₁而用户1在其缓存存储器中具有A₁。

因此，服务器不得不发送A₀至用户1和2。

假设|A₂|<|A₁|，那么服务器将片段A₂分成两部分，以A_2U和A_2L表示，即A₂={A_2U,A_2L},其中|A_2U|=|A₁|。然后，服务器发送合并片段A_2U+A₁和A_2L，其中+为二进制字段或任意其它有限字段的加法。注意：

|A_2U+A₁|+|A_2L|=|A₂|=max{|A₂|,|A₁|}

然后用户1能够利用A_2U+A₁、A_2L和A₁来恢复A₂={A_2U,A_2L}。同样，用户2能够利用A_2U+A₁和A₂来恢复A₁。

另一方面，如果|A₂|<|A₁|，那么服务器将片段A₁分成两部分，以A_1U和A_1L表示，即A₁={A_1U,A_1L},其中|A_1U|=|A₂|。然后，服务器发送合并片段A_1U+A₂和A_1L，其中+为二进制字段或任意其它有限字段的加法。

注意：

|A_1U+A₂|+|A_1L|=|B₁|=max{|A₂|,|B₁|}

然后用户2利用A_1U+A₁、A_1L和A₂来恢复A₁={A_1U,A_1L}。同样，用户1能够利用A_1U+A₂和A₁来恢复A₂。

按照这种策略，不同情况下所需要的速率如下表5所示：

表5

因此，平均速率等于：

p_AA(x₀+max{x₁,x₂})+p_AB(x₀+y₀+max{x₂,y₁})+p_BA(x₀+y₀+max{x₁,y₂})+p_BB(y₀+max{y₁,y₂})

因此，x₀,x₁,x₂,x₁₂,y₀,y₁,y₂和y₁₂可以被选择为使平均速率最小化。

Min p_AA(x₀+max{x₁,x₂})+p_AB(x₀+y₀+max{x₂,y₁})+p_BA(x₀+y₀+max{x₁,y₂})+p_BB(y₀+max{y₁,y₂})

约束条件为：

x₀+x₁+x₂+x₁₂=F_A

y₀+y₁+y₂+y₁₂=F_B

x₁+y₁+x₁₂+y₁₂<=M₁

x₂+y₂+x₁₂+y₁₂<=M₂

x₀,x₁,x₂,x₁₂,y₀,y₁,y₂,and y₁₂=>0

如果最大速率是主要关注的，则可使用下面的优化：

Min Max[p_AA(x₀+max{x₁,x₂}),p_AB(x₀+y₀+max{x₂,y₁})，p_BA(x₀+y₀+max{x₁,y₂})，p_BB(y₀+max{y₁,y₂})]

约束条件为：

x₀+x₁+x₂+x₁₂=F_A

y₀+y₁+y₂+y₁₂=F_B

x₁+y₁+x₁₂+y₁₂<=M₁

x₂+y₂+x₁₂+y₁₂<=M₂

x₀,x₁,x₂,x₁₂,y₀,y₁,y₂,and y₁₂=>0

可以利用其它方面来限定该方法。例如，如果缓存有一些成本，则该相应的成本可以被加到对数据速率进行优化的目标函数中。例如，发送数据至两个用户与发送数据至一个用户相比具有不同的成本，目标函数可以被相应地修改。同样，用户对于应该缓存在其存储器中的文件的片段具有某些优先级。在优化过程中可以考虑这些优先级。用户优先级可以被考虑用于将数据传输到用户。例如，可以采用允许用户以特定顺序对其进行恢复的方式来发送文件。

该方法可以扩展至任意数量的文件和任意数量的用户。例如，假设存在3个用户，用户1、用户2和用户3，以及3个文件A、B和C。

每个文件按如下方式被分成8个片段：

A={A₀,A₁,A₂,A₃,A₁₂,A₁₃,A₂₃,A₁₂₃}

B={B₀,B₁,B₂,B₃,B₁₂,B₁₃,B₂₃,B₁₂₃}

C={C₀,C₁,C₂,C₃,C₁₂,C₁₃,C₂₃,C₁₂₃}

然后片段按如下方式保存：

片段X₀不保存在任何用户处，其中X=A、B、C

片段X_i保存在用户i处，其中i=1、2、3，且X=A、B、C

片段Xi_j同时保存在用户i和j处，其中i，j=1、2、3，且X=A、B、C

片段X₁₂₃保存在所有的用户i和j处，其中X=A、B、C

为简单起见，在该例中假设片段X_i具有相同的大小，其中i=1、2、3且X=A、B、C，且X_ij也具有同样的大小，其中i，j=1、2、3且X=A、B、C。该假设仅对该例而言，并不是一般性的要求。

然后，如果例如，用户1需要A，用户2需要B，且用户3需要C，则发送器发送

A₀

B₀

C₀

A₂+B₁

A₃+C₁

B₃+C₂

A₂₃+B₁₃+C₁₂

然后，每个用户接收到足够的片段和合并片段以恢复所需的文件。

如果例如所有的用户需要A，那么发送器发送

A₀

e₁A₁+e₂A₂+e₃A₃

g₁A₁+g₂A₂+g₃A₃

q₁A₁₂+q₂A₁₃+q₃A₂₃

其中，该操作在任意足够大的有限字段，且ek,gj,qi来自相同的字段。则每个用户对整个A而言有足够的等式来求解。

片段的大小能够按如上所述被优化。文件的大小不必相同。

如果存在f个文件和K个用户，那么将每个文件分成2至K的幂次个片段，其中，对每个用户子集，均存在可被保存在该子集中所有用户处的片段。一部分这些片段的大小可以是零。

参照图3，可实现图1中所描述的实施例的数据传输管理器7包括存有数据文件A和B的内容存储器8。分割器9访问内容存储器8以获得数据文件A和B并将文件分割成片段。一些片段将在网络容量大和/或所需资源并不昂贵的时候被发送至用户10和11。最初将要发送给用户10和11的那些片段由控制处理器12选择，该控制处理器还保留发送片段的记录。控制处理器12指示服务器13哪个片段将要发送至哪个用户。服务器13获得相关的片段并在网络上通过发送器14将其发送至用户10和11。用户10和11中的每一个都各自具有相关联的存储缓存器15和16，以在其中保存由服务器11发送给他们的数据片段。每个用户均从文件A还有文件B接收片段。

当用户10和11想要有完整的文件A或B时，其在网络上发送消息至服务器13。服务器13和控制处理器12确定需要什么样的合并片段来满足用户请求。合并片段由合并器17从文件片段产生，并通过服务器13传递至用户10和11。然后用户10和11能够利用之前发送的片段和该合并片段来重建完整的文件。

图3所示的装置可以适于执行更复杂的数据文件传输以实现上述的其它方法。

图中显示的不同部件的功能，包括任何标有“处理器”的功能块，可以通过使用专用的硬件以及能够执行相应的软件的硬件来提供。当由处理器提供时，上述功能可以由单独的专用处理器、单独的共享处理器、或多个独立处理器（其中该多个处理器的一部分可以是共享的）来提供。此外，明确使用的术语“处理器”不应该被解释为排他性地指能执行软件的硬件，其可以隐含地包括但不限于，数字信号处理器（DSP）硬件、网络处理器、专用集成电路（ASIC）、现场可编程门阵列（FPGA）、用于存储软件的只读存储器（ROM）、随机存取存储器（RAM）以及非易失性存储器。其它传统的和/或定制的硬件也可以包含在内。

本发明可以由不脱离其精神或本质特征的其它特定形式来体现。所述的实施例在各个方面仅被看做是说明性的且不是限制性的。本发明的范围，因此，由附加的权利要求而不是来上述描述来表明。所有在与权利要求的等同物的含义和范围内所做的改变均包含在其范围内。

Claims

1.一种管理数据文件到用户的传输的方法，该方法包括：

将第一文件分割成多个第一片段；

将第二文件分割成多个第二片段；

发送第一片段至第一用户及不同的第一片段至第二用户；

发送第二片段至所述第一用户及不同的第二片段至所述第二用户；

将发送至所述第一用户的片段的至少部分与发送至所述第二用户的片段的至少部分进行合并以产生合并片段，该合并片段的大小小于合并之前所述片段的至少部分的总大小；以及

传送所述合并片段至所述第一用户和所述第二用户，以便于每个用户利用所述合并片段和片段的至少部分来恢复片段。

2.根据权利要求1所述的方法，其中发送至所述第一用户和所述第二用户的第一片段和第二片段是在所述合并片段被发送至所述第一用户和所述第二用户之前被发送的。

3.根据权利要求1所述的方法，该方法包括：将片段分割成第一部分和第二部分；将所述第一部分合并到所述合并片段中；以及传送所述第二部分至所述第一用户和所述第二用户。

4.根据权利要求3所述的方法，该方法包括：与所述合并片段一起传送所述第二部分。

5.根据权利要求1所述的方法，该方法包括：选择所述第一片段和所述第二片段的大小以使得平均速率最小化。

6.根据权利要求1所述的方法，该方法包括：在优化所述第一片段和所述第二片段的大小的过程中使用所述第一文件和所述第二文件将被所述第一用户和/或所述第二用户需要的概率。

7.一种用于管理数据文件到用户的传输的数据传输管理器，该数据传输管理器包括：分割器，该分割器用于将第一文件分割成多个第一片段及将第二文件分割成多个第二片段；发送装置，该发送装置用于发送第一片段至第一用户及不同的第一片段至第二用户、并且发送第二片段至第一用户及不同的第二片段至第二用户；合并器，该合并器用于将发送至所述第一用户的片段的至少部分与发送至所述第二用户的片段的至少部分进行合并以产生合并片段，该合并片段的大小小于合并之前所述片段的至少部分的总大小；并且所述发送装置被操作以发送所述合并片段至所述第一用户和所述第二用户，以便于所述第一用户和所述第二用户中的每个用户利用所述合并片段和片段的至少部分来恢复片段。

8.根据权利要求7所述的数据传输管理器，其中所述分割器被操作以将片段分割成第一部分和第二部分；所述合并器被操作以将所述第一部分合并到所述合并片段中；并且所述发送装置被操作以将所述第二部分发送至所述第一用户和第二用户。

9.根据权利要求7所述的数据传输管理器，该数据传输管理器包括：处理器，该处理器用于选择所述第一片段和第二片段的大小以使得平均速率最小化。

10.根据权利要求7所述的数据传输管理器，该数据传输管理器包括：处理器，该处理器用于使用所述第一文件和所述第二文件将被所述第一用户和/或所述第二用户需要的概率来优化所述第一片段和所述第二片段的大小。