CN101771715A - 分布式网络构建存储的方法、装置和系统 - Google Patents

分布式网络构建存储的方法、装置和系统 Download PDF

Info

Publication number
CN101771715A
CN101771715A CN200810241867.0A CN200810241867A CN101771715A CN 101771715 A CN101771715 A CN 101771715A CN 200810241867 A CN200810241867 A CN 200810241867A CN 101771715 A CN101771715 A CN 101771715A
Authority
CN
China
Prior art keywords
node
data
key assignments
backup
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200810241867.0A
Other languages
English (en)
Other versions
CN101771715B (zh
Inventor
施广宇
龚皓
陈坚
范灵源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN200810241867.0A priority Critical patent/CN101771715B/zh
Priority to US12/639,667 priority patent/US8645433B2/en
Priority to EP09180096.1A priority patent/EP2202945B1/en
Publication of CN101771715A publication Critical patent/CN101771715A/zh
Application granted granted Critical
Publication of CN101771715B publication Critical patent/CN101771715B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1044—Group management mechanisms 
    • H04L67/1046—Joining mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1061—Peer-to-peer [P2P] networks using node-based peer discovery mechanisms
    • H04L67/1065—Discovery involving distributed pre-established resource-based relationships among peers, e.g. based on distributed hash tables [DHT] 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1076—Resource dissemination mechanisms or network resource keeping policies for optimal resource availability in the overlay network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Abstract

本发明实施例涉及分布式网络通信领域，尤其是一种分布式网络构建的方法、装置，一种分布式数据存储的方法、装置，以及一种分布式网络系统。通过节点在加入分布式网络时，根据节点的地理位置信息确定节点的ID值，从而使同一区域中的各个节点属于同一个ID范围，达到了按照区域分配节点ID值的目的，由于节点的ID值是按照区域确定的，在后续存储数据时，本地数据可以按照地理信息存储在区域内的节点中，减少了跨区数据存取。因此，本发明实施例提供的方法、装置和系统，能够降低骨干网的数据负载，均衡整个网络的数据流量和带宽开销，有效降低网络的波动性。

Description

分布式网络构建存储的方法、装置和系统
技术领域
本发明实施例涉及分布式网络通信领域，尤其是一种分布式网络构建的方法、装置，一种分布式数据存储的方法、装置，以及一种分布式网络系统。
背景技术
在分布式(P2P，peer-to-peer)数据存储系统中，往往采取数据冗余备份的形式，来保障数据存储的可靠性和有效性。现有的分布式数据冗余存储方案，将数据进行分片，之后采用多节点存放策略在多个节点上并行存储数据，在进行数据交互时可以通过多个节点并行进行数据读写。对于在网络中冗余存放的部分数据备份，现有方法往往采用顺序冗余备份和等分空间冗余备份的方式来实现。
在实际的分布式存储网络中，数据往往都带有一定的地域性，而地域性的区别也决定了不同地域之间数据分布的不均匀。现有的P2P分布式存储方案中，往往只考虑了可靠性，将数据分片按照哈希结果存储在最近的节点上，而存储数据的不同分片的多个节点可能分别属于不同的本地网，在读写数据时需要从多个不同的本地网分别读写，因此，在进行数据交互时会造成部分节点和部分网络链路的负载开销很大而其他节点的开销却很小的不均衡现象，导致整个分布式存储网络里的流量和数据存储不均衡，网络的波动性变大。
发明内容
本发明实施例一方面提供了分布式网络构建和数据存储的方法，另一方面提供了分布式网络构建和数据存储的装置，以及一种分布式网络系统，能够减少网络的负载，均衡各个网络链路的数据流量和带宽开销，有效降低网络的波动性。
本发明实施例提供的分布式网络构建的方法，包括：
获取节点的地理位置信息；
根据所述节点的地理位置信息确定所述节点所属的区域，根据所述节点所属的区域确定所述节点的ID空间；不同区域对应不同的ID空间；
在确定的ID空间中选取一个值，构造所述节点的ID值。
本发明实施例提供的分布式数据存储的方法，包括：
获取数据的地理位置信息；
根据所述地理位置信息确定所述数据的存储区域，计算出所述数据的键值；
在所述存储区域中，根据所述键值选择本地节点；
存储所述数据至所述本地节点。
本发明实施例提供的分布式网络构建的装置，包括：
获取模块，用于获取节点的地理位置信息；
选择模块，用于根据所述获取模块获取的节点的地理位置信息确定所述节点所属的区域，根据所述节点所属的区域确定所述节点的ID空间；不同区域对应不同的ID空间；
构造模块，用于在所述选择模块确定的ID空间中选取一个值，构造所述节点的ID值。
本发明实施例提供的分布式数据存储的装置，包括：
获取模块，用于获取数据的地理位置信息，根据所述地理位置信息确定所述数据的存储区域；
哈希模块，用于计算出所述数据的键值；
存储模块，用于在所述获取模块确定的存储区域中，根据所述哈希模块计算的键值选择本地节点；存储所述数据至所述本地节点。
本发明实施例提供的分布式网络系统，包括：
第一节点，用于获取节点自身或其他节点的地理位置信息；根据所述地理位置信息确定节点所属的区域，根据节点所属的区域确定节点的ID空间；不同区域对应不同的ID空间；在确定的ID空间中选取一个值，构造节点的ID值。
由以上技术方案可知，本发明实施例中，节点在加入分布式网络时，根据节点的地理位置信息确定节点的ID值，从而使同一区域中的各个节点属于同一个ID范围，达到了按照区域分配节点ID值的目的，由于节点的ID值是按照区域确定的，在后续存储数据时，本地数据可以按照地理信息存储在区域内的节点中，减少了跨区数据存取。因此，本发明实施例提供的方法、装置和系统，能够降低骨干网的数据负载，均衡整个网络的数据流量和带宽开销，有效降低网络的波动性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一的分布式网络构建的方法流程图；
图2为本发明实施例二的分布式网络构建的方法流程图；
图3为本发明实施例三的分布式数据存储的方法流程图；
图4为本发明实施例四的节点的ID空间的确定方法流程图；
图5为本发明实施例四的条带分割示意图；
图6为本发明实施例四的条目分片划分及偏移量示意图；
图7为本发明实施例五的分布式网络构建的装置结构图；
图8为本发明实施例六的分布式数据存储的装置结构图；
图9为本发明实施例七的分布式网络系统结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
如附图1所示，本发明实施例提供了一种分布式网络构建的方法，包括：
步骤101：服务器获取节点的地理位置信息。
节点在加入P2P网络时会公布自己的地理位置信息，从而服务器可以获取该节点的地理位置信息。
步骤102：服务器根据该节点的地理位置信息确定该节点所属的区域，根据该节点所属的区域确定该节点的ID(Identification，标识)空间；其中，不同区域对应不同的ID空间。
服务器为每个区域的网络节点分配一个ID空间，每个区域中的节点对应相同的ID空间，不同区域中的节点对应不同的ID空间，同一区域中的各个节点组成一个本地网，从而，每个本地网中的各个节点都有相同的ID空间，且不同本地网中的节点采用不同的ID空间。由于区域和ID空间的一一对应，所可以根据节点的地理位置信息确定节点所属的区域和该区域对应的ID空间。
步骤103：服务器在确定的ID空间中选取一个值，构造该节点的ID值。
在确定的ID空间中选取一个值可以为：在区域对应的ID空间中任选一个值；或者，区域对应的ID空间进一步划分为ID子空间，先选取一个ID子空间，然后在该选取的ID子空间中任选一个值，其中，ID空间中的值可以是连续的，或者仅ID子空间内部的值是连续的而同一ID空间中不同的ID子空间之间不连续。在ID空间或ID子空间中选值的时候，可以进一步考虑分散使用ID值，例如，当ID空间中已经有一些值被选取用于构造节点的ID值时，则再在ID空间中选值的时候，可以从ID空间中已使用的值较稀疏的范围内选择新的值，以便使值的选取更分散，有利于之后节点存储时的负载均衡。
构造节点的ID值，可以是：以选取的值作为节点ID值的前缀、后缀或者其中某关键字段，然后结合节点的其他属性，如节点的性能参数，历史上线记录等，构造出最终的节点ID值；或者，直接将选取的值作为节点ID值，完成节点ID值的构造。
步骤104：服务器分配构造的节点ID值给该节点。
服务器把构造的节点ID值发送给该节点，并在服务器上保存该节点ID值，从而完成节点ID值的分配。
步骤105：服务器根据数据的地理位置信息，确定存储节点的ID值，在该存储节点存储该数据。
当采用步骤101～104建立了本地网络后，如果有新的数据要进行存储，则服务器可以根据数据的地理位置信息，确定一个本地网中的节点的ID值，从而该新数据的上传节点能够将该新的数据存储在本地网中的节点上。确定存储节点的ID值，参考本发明其他实施例，这里不再赘述。
本实施例的方法，节点在加入分布式网络时，根据节点的地理位置信息确定节点的ID值，从而使同一区域中的各个节点属于同一个ID空间，达到了按照区域分配节点ID值的目的，由于节点的ID值是按照区域确定的，在后续存储数据时，本地数据可以按照地理信息存储在区域内的节点中，减少了跨区数据存取，降低了骨干网的数据负载，均衡了整个网络的数据流量和带宽开销。在本实例中，ID空间划分为ID子空间时，可以使不同的节点尽量属于不同的ID子空间，从而分散了同一区域中各个节点之间的ID值，进一步均衡了本地网内的各个节点的数据流量和带宽开销，实现了各节点数据存储的均质化。
实施例二
如附图2所示，本发明实施例提供了一种分布式网络构建的方法，包括：
步骤201：节点获取自身的地理位置信息。
节点在加入P2P网络时会公布自己的地理位置信息，所以节点知道并可以获取其自身的地理位置信息。
步骤202：节点根据自身的地理位置信息确定自身所属的区域，根据自身所属的区域确定自身的ID空间；其中，不同区域对应不同的ID空间。
服务器为每个区域的网络节点分配一个ID空间，每个区域中的节点对应相同的ID空间，不同区域中的节点对应不同的ID空间，同一区域中的各个节点组成一个本地网，从而，每个本地网中的各个节点都有相同的ID空间，且不同本地网中的节点采用不同的ID空间。由于区域和ID空间的一一对应，所可以根据节点的地理位置信息确定节点所属的区域和该区域对应的ID空间。节点可以根据自身的地理位置信息，从服务器请求该地理位置信息对应的ID空间；或者，由于网络中每个区域分配的ID空间是相对固定的，节点可以从服务器或其他节点获取ID空间的分配方式，然后根据自身的地理位置信息和ID空间的分配方式确定自身的ID空间。
步骤203：节点在确定的ID空间中选取一个值，构造自身的ID值。
在确定的ID空间中选取一个值可以为：在区域对应的ID空间中任选一个值；或者，区域对应的ID空间进一步划分为ID子空间，先选取一个ID子空间，然后在该选取的ID子空间中任选一个值，其中，ID空间中的只可以是连续的，或者仅ID子空间内部的值是连续的而同一ID空间中不同的ID子空间之间不连续。在ID空间或ID子空间中选值的时候，可以进一步考虑分散使用ID值，例如，当ID空间中已经有一些值被选取用于构造节点的ID值时，则再在ID空间中选值的时候，可以从ID空间中已使用的值较稀疏的范围内选择新的值，以便使值的选取更分散，有利于之后节点存储时的负载均衡。
构造节点的ID值，可以是：以选取的值作为节点ID值的前缀、后缀或者其中某关键字段，然后结合节点的其他属性，构造出最终的节点ID值；或者，直接将选取的值作为节点ID值，完成节点ID值的构造。
步骤204：节点向服务器上报构造的节点ID值。
服务器接收节点发送的构造的节点ID值，并保存该节点ID值，从而完成节点ID值的分配。
步骤205：根据数据的地理位置信息，确定存储节点的ID值，在该存储节点存储该数据。
当采用步骤202～204建立了本地网络后，如果有新的数据要进行存储，则该新数据的上传节点可以根据数据的地理位置信息，确定一个本地网中的节点的ID值，从而该新数据的上传节点能够将该新的数据存储在本地网中的节点上。确定存储节点的ID值，可以参考本发明其他实施例，这里不再赘述。
本实施例的方法，节点在加入分布式网络时，根据节点的地理位置信息确定节点的ID值，从而使同一区域中的各个节点属于同一个ID空间，达到了按照区域分配节点ID值的目的，由于节点的ID值是按照区域确定的，在后续存储数据时，本地数据可以按照地理信息存储在区域内的节点中，减少了跨区数据存取，降低了骨干网的数据负载，均衡了整个网络的数据流量和带宽开销。在本实例中，ID空间划分为ID子空间时，可以使不同的节点尽量属于不同的ID子空间，从而分散了同一区域中各个节点之间的ID值，进一步均衡了本地网内的各个节点的数据流量和带宽开销，实现了各节点数据存储的均质化。
实施例三
如附图3所示，本发明实施例提供了一种分布式数据存储的方法，包括：
步骤301：获取数据的地理位置信息。
数据的地理位置信息可以根据上传该数据的节点获得，由于节点的ID值是基于区域分配确定的，并且区域和ID空间具有一一对应的关系，所以，根据节点的ID值即可确定节点ID值所属的ID空间，并可进一步确定ID空间对应的区域，从而确定节点地理位置信息；例如，由一个节点ID值里的某关键字段，再结合区域和ID空间的对应关系，就能反推出该节点的详细地理位置，从而达到从节点ID值中得知节点位置信息的目的。得到了上传节点的地理位置信息，也就得到了该上传节点上传的数据的地理位置信息。数据的地理位置信息也可以由数据本身自带，例如，数据是由区域A的节点上传的，但是该数据是提供给区域B的节点使用的，这时，可以在该数据中携带区域B的信息作为数据的地理位置信息，从而，在获得数据时即可获取该数据的地理位置信息。当数据的上传节点的地理位置信息和数据自带的地理位置信息不一致时，可以设置优先级，优先获取使用数据自带的地理位置信息，或者优先获取使用上传节点的地理位置信息。
步骤302：哈希计算出数据的key(键值)，并根据数据的地理位置信息确定数据的存储区域。
每一份数据都可以由P2P网络相应的哈希算法哈希出唯一一个key，对数据进行哈希计算，就可以哈希计算出该数据的key。同时，根据数据的地理位置信息可以确定该地理位置信息对应的一个区域，即数据所属于的一个区域，将确定的这个区域作为该数据的存储区域，之后，可以采用该区域中的节点存储该数据。其中，哈希计算数据的key和根据地理位置信息确定存储区域，可以同时进行或者先后进行，在此不限定两者的先后顺序。
步骤303：在该存储区域中，根据上述key选择本地节点，存储该数据至选择的本地节点。
在该存储区域中，根据上述key选择本地节点可以是：选择存储区域中与上述key距离最近的节点，即在该存储区域的所有节点中，节点ID值与上述key值的绝对差值最小的节点；或者，选择存储区域中与上述key顺序距离最近的节点；或者，选择存储区域中与上述key逆序距离最近的节点；或者，也可以选择次近的或者其他固定距离范围内的节点。当在存储区域中根据上述key选择了本地节点后，就可以存储数据至该选择的本地节点。
上述分布式数据存储的方法还可以进一步包括步骤304：
步骤304：在该存储区域外，根据上述key选择异地备份节点，备份该数据至该选择的异地备份节点。通过步骤303找出了本地网(即数据所在区域)中的本地节点作为存放数据的主节点，为了保证数据的可靠性和有效性，可以进一步从异地网(即数据所在区域以外的其他区域)中选择节点作为存放数据的异地备份节点。由于存在主备两个节点分别存放相同的数据，在一个节点失效后，仍然可以从另一个节点获得数据，保证了数据的可靠性和有效性；而在不同网络(本地网和异地网)中分别存储，当一个区域的网络出现问题时，另一个区域的网络仍然可以正常工作，进一步提高了容灾能力；并且，主备两份数据在不同的网络中，比在本地网中同时选择主备节点，也减少了本地网的存储量负载。
上述分布式数据存储的方法还可以进一步包括步骤305和步骤306：
步骤305：根据上述key计算一定偏移量得BackupKey(备份键值)。
BackupKey用于确定备份节点。
步骤306：在该存储区域内和/或该存储区域外，根据上述BackupKey选择备份节点，备份该数据至备份节点。
通过步骤303，在本地网(即数据所在区域)内找到本地节点作为存放数据的主节点。通过步骤305在确认了备份数据所对应的BackupKey之后，在步骤306中根据BackupKey来查找本地网(即数据所在区域)节点和/或全局网的异地网(即数据所在区域以外的其他区域)节点，在本地网中根据BackupKey选择节点作为本地备份节点，而在全局网的异地中根据BackupKey选择节点则作为异地备份节点。当仅选择本地网的一个节点作为备份节点时，能够提高数据的可靠性和有效性，并且由于主备节点在同一本地网中，能够保证在数据交互最为频繁的本地网中数据保存了两份(主节点和本地备份节点)，便于高效快速的查找；当仅选择异地网的一个节点作为备份节点时，能够保证本地网故障时，备份节点能够正常工作，提高了数据容灾能力；当同时选择了本地网的一个节点作为本地备份节点和异地网的一个节点作为异地备份节点，能够兼顾两者的好处，既保证了在数据交互最为频繁的本地网中数据保存了两份便于高效快速的查找，同时在异地网中也有一份备份数据来保障容灾的需要。当数据在实际使用过程中，首先可以从两份本地数据进行快速有效的读取，而当本地网出现故障问题时，也可以通过异地网中的异地备份数据来读取资料，达到容灾的效果。
本实施例中，步骤301～步骤306的操作，可以由上传数据的节点完成，也可以由服务器根据上传数据节点的信息完成，然后将确定的用于存储数据的节点信息发送至上传节点，以便上传节点发送数据至存储节点。
其中，步骤305中，还可以根据上述key计算两个不同的偏移量分别得到LocalBackupKey(本地备份键值)和RemoteBackupKey(异地备份键值)；其中，LocalBackupKey用于确定本地备份节点，RemoteBackupKey用于确定异地备份节点。之后，在步骤306中，在该存储区域内根据上述LocalBackupKey选择节点，用于作为本地备份节点备份该数据；在该存储区域外根据上述RemoteBackupKey选择节点，用于作为异地备份节点备份该数据。这样，能够进一步分散存储数据的各个节点的ID值，从而进一步均衡各个网络链路和节点的数据流量和带宽开销。
其中，根据key选择节点可以为：在一定范围内(异地网或本地网或整个网络)的节点中，选择节点ID值与key值的绝对差值最小的节点，或者，选择节点ID值与key值的顺序差值最小的节点，或者，选择节点ID值与key值的逆序差值最小的节点，或者，选择节点ID值与key值的差值在固定距离范围内的节点；当然，也可以选择差值次小或比较小的节点。本发明实施例对根据key选择节点的方式不作限定。
本实施例的方法，在数据存储时，根据数据的地理位置信息选择存储数据的节点，从而使数据按照其地理位置信息进行存储，保证了本地数据可以按照地理信息存储在区域内的节点中，减少了跨区数据存取，降低了骨干网的数据负载，均衡了整个网络的数据流量和带宽开销。在本实例中，可以在本地网和/或异地网中进一步选择备份节点，提高网络的容灾能力。本实施例中，本地备份节点和异地备份节点，可以采用相对于key不同的偏移量获得，从而进一步均衡各个网络链路和节点的数据流量和带宽开销，均衡整个分布式网络的负载，提高整个网络的性能。
实施例四
本实施例提供一种节点的ID空间的确定方法，该确定方法可以用于上述各个实施例中的节点ID空间的选定，例如实施例一中的步骤102、实施例二中的步骤202等。该节点的ID空间的确定方法包括：
401：在节点加入网络时，从哈希空间中选择一个条带；每一条带中包含属于不同区域的条目。
在分配之前，首先对哈希空间进行条带分割。为了方便解释说明，参考图5，哈希空间被分为N个条带(strip)，即条带1、条带2......条带N；每个条带中包括M个条目(striplet)，即条目1、条目2......条目M；M，N为自然数。每个条目中包括一个或多个哈希值；每一列的条目属于同一个区域，每个区域可以包括一列或多列条目，例如各个条带中的条目1属于区域A，各个条带中的条目2和条目3属于区域B。通过图5的划分方式，整个哈希空间就按地域划分为N*M个条目。当然，具体划分的时候，不同条带包含的条目数可以不同，只要每个条带中条目数大于或等于区域数即可；当条带中的条目数大于区域数时，可以预留一部分空闲条目备用。条带的划分可以是平均分割整个哈希空间为N个条带，每个条带具有相同的空间大小，包含相同数量的哈希值。
所述从哈希空间中选择一个条带，可以是从哈希空间的各个条带中随机选取一个条带，或者，可以是从未使用的条带中选择一个，或者可以是选择被使用的次数最少的条带。当选择未使用、使用次数最少或较少的条带时，能够将节点的ID值尽量分散，均衡各个条带之间的ID值的分配，从而使各个节点的ID间隔比较均匀，平衡各个节点之间的负载。
402：在选择的条带中，根据节点的地理位置信息确定该节点所属的区域，根据该节点所属的区域确定出该区域对应的条目，以该条目作为节点的ID空间。
由于每个区域对应不同的条目，因此在选定了一个条带时，可以从该条带中的各个条目中选出节点的地理位置信息所在的区域的条目，然后以该条目作为节点的ID空间。这样，后续从该ID空间中取值来构造节点的ID，即可保证同一区域中节点的ID空间都是在属于该区域对应的各个条目中，实现了同一区域中节点ID值具有一定的共性；进一步，利用条带分割的规则，就能从节点的ID值反推出该节点的详细地理位置，从而达到从节点ID中得知用户位置信息的目的。
下面通过一个实际应用的例子说明条带分割确定节点ID的过程。例如，节点ID设定规则中，深圳市属于区域B，那么一个位于深圳市的节点加入到网络中时，它会随机从哈希空间中选取一个条带，再从这个条带中找到属于该区域B的哈希数范围条目，并从此哈希范围内随机选择一个哈希数作为自己的节点ID的前缀(或者后缀，或者其中某关键字段)，并可以结合节点的其他属性，构造出最终的节点ID值。通过这样一种条带分割选择ID的机制，由一个节点ID里的某关键字段(例如包含哈希数的字段)再结合条带分割的规则，就能反推出该节点的详细地理位置，从而达到从节点ID中得知用户位置信息的目的。
当通过本实施例的条带分割将整个哈希空间划分为条带和条目后，可以进一步将条目划分为条目分片(split)，不同的条目分片对应不同的偏移量，以便计算出来的BackupKey值尽可能地散列开来。此时，分布式数据存储的方法实施例中，步骤305可以进一步包括：3051，确定key属于的条目分片；3052，根据上述key和确定的条目分片对应的偏移量，计算BackupKey。其中，BackupKey的散列程度则可以通过设置最小偏移量(min_offset)和最大偏移量(max_offset)来确定；例如，在至少有4个节点的网络中，可以定义min_offset为1/4空间大小，max_offset为3/4空间大小，这样可以在保证产生的BackupKey值对应的本地备份节点不会与主节点重复的基础上，使计算出来的BackupKey值尽可能地散列开来，参考附图6，将一个条目分为四个条目分片，即分片1、分片2、分片3、分片4，每个分片包含的值的范围的大小可以相同或者不同，对分片1其设置的偏移量为1/4空间大小，对分片2其设置的偏移量1/2空间大小，对分片3其设置的偏移量为3/8空间大小，对分片4其设置的偏移量为5/8空间大小，当key落在分片1的空间范围内时，BackupKey1＝key+1/4空间大小，以此类推，当key落在分片2的空间范围内时，BackupKe2y＝key+1/2空间大小，当key落在分片3的空间范围内时，BackupKey3＝key+3/8空间大小；推广到n个节点的情况下，即系统最少有n个节点的基础上，min_offset可以设1/n空间大小，max_offset相应地可设为(n-1)/n空间大小，不同条目分片设置不同的偏移量；其中空间大小指的是整个哈希空间范围，即分布式网络的整个哈希空间的大小。将条目进行分片，可以在恢复数据的时候从多个节点并行恢复，使用从多个节点来分担恢复流量，例如，当数据的key在第一条目的哈希值空间内时，其数据存储在第一节点上，则当不同数据的key分别在第一条目的多个条目分片中时，这些不同的数据在第一节点上保存，并且分别经过不同的偏移量，而备份到不同的节点上，因此，当第一节点故障恢复时，可以同时从多个不同的备份节点并行恢复数据，从而分担了恢复流量，提高了恢复速度。
本实施例的方法，每个区域中可以包括多个条目，不同区域对应不同的条目，从而，每个区域的节点属于同一个ID范围(即该区域包含的多个条目)。本实施例的方法，利用条带分割的方法划分哈希空间，使每个条带都包括各个区域对应的条目，通过在ID空间选择的过程中，首先选择条带，然后根据地理位置信息确定对应的条目，能很好地实现按地理区域位置平均划分哈希空间的节点ID，区域内的节点都被条带近似平均的分配到了各条目中，条带数目越大，分得也就越散，当整个网络中的条带数目N足够大时，可以将网络中的节点分散得足够稀疏。对于同一个地域内的所有节点，其在地域的ID范围内均匀分布且等分形成自己的节点ID，这样在一个条带中的一个条目区域范围内，可能只存在于一个节点，从而使各个节点的ID值比较均匀的分布，也使得数据的存储比较均匀，均衡了网络负载。而且，由于节点的ID值分配都是采用条带分割的原则，因此，根据节点的ID值即可反推出节点的地理位置信息，从而建立了节点ID值和节点地理位置信息的关联性。
实施例五
如附图7所示，本发明实施例提供了一种分布式网络构建的装置，包括：
获取模块71，用于获取节点的地理位置信息；
选择模块72，用于根据所述获取模块71获取的节点的地理位置信息确定所述节点所属的区域，根据节点所属的区域确定所述节点的ID空间；不同区域对应不同的ID空间；
构造模块73，用于在所述选择模块72确定的ID空间中选取一个值，构造所述节点的ID值。
可选的，所述构造模块73包括：第一选择单元731，用于在所述选择模块72确定的ID空间中选择一个ID子空间；所述ID空间进一步划分为ID子空间；第一构造单元732，在所述第一选择单元731选择的ID子空间中选择一个值，构造所述节点的ID值。当然，所述构造模块73还可以采用实施例一和实施例二中的ID值选择方法和节点ID值构造方法来实现，具体参考实施例的步骤103和实施例二的步骤203。
可选的，所述选择模块72包括：第二选择单元721，用于从网络的哈希空间中选择一个条带；每一条带中包含属于不同区域的条目；第二确定单元722，用于在所述第二选择单元721选择的条带中，根据节点的地理位置信息确定该节点所属的区域，根据该节点所属的区域确定出该区域对应的条目，以该对应的条目作为所述节点的ID空间。当然，所述选择模块72还可以采用实施例一、实施例二和实施例四中的ID空间确定方法来实现，具体参考实施例一的步骤102、实施例二的步骤202和实施例四。
本实施例中，分布式网络构建的装置可以是分布式网络中的节点，例如普通节点或者服务器；当本实施例的装置是服务器时，所述装置还可以进一步包括，分配模块74，用于分配所述构造模块73构造的节点ID值给所述节点；当本实施例中的装置是新加入的普通节点时，所述装置还可以进一步包括，上报模块75，用于向服务器上报所述构造模块73构造的节点ID值。
可选的，上述装置还可以进一步包括：存储模块76，用于根据数据的地理位置信息，确定存储节点的ID值，在该存储节点存储该数据。
本实施例的装置，使得节点在加入分布式网络时，根据节点的地理位置信息确定节点的ID值，从而使同一区域中的各个节点属于同一个ID空间，达到了按照区域分配节点ID值的目的，由于节点的ID值是按照区域确定的，在后续存储数据时，本地数据可以按照地理信息存储在区域内的节点中，减少了跨区数据存取，降低了骨干网的数据负载，均衡了整个网络的数据流量和带宽开销。在本实例中，ID空间划分为ID子空间时，可以使不同的节点尽量属于不同的ID子空间，从而分散了同一区域中各个节点之间的ID值，进一步均衡了本地网内的各个节点的数据流量和带宽开销，实现了各节点数据存储的均质化。
实施例六
如附图8所示，本发明实施例提供了一种分布式数据存储的装置，包括：
获取模块81，用于获取数据的地理位置信息，根据所述获取的地理位置信息确定所述数据的存储区域；
哈希模块82，用于哈希计算出所述数据的键值；
存储模块83，用于在所述获取模块81确定的存储区域中，根据所述哈希模块82计算的键值选择本地节点；存储所述数据至所述本地节点。
可选的，所述存储模块83包括：第一存储单元831，用于在所述获取模块81确定的存储区域中，根据所述哈希模块82计算的键值选择本地节点，存储所述数据至所述本地节点；第一备份单元832，用于在所述获取模块81确定的存储区域外，根据所述哈希模块82计算的键值选择异地备份节点，备份所述数据至所述异地备份节点。
可选的，所述存储模块83包括：第一存储单元831，用于在所述获取模块81确定的存储区域中，根据所述哈希模块82计算的键值选择本地节点，存储所述数据至所述本地节点；第一备份单元832，用于根据所述哈希模块82计算的键值计算偏移量得备份键值，并在所述获取模块81确定的存储区域内和/或所述存储区域外，根据所述备份键值选择备份节点，备份所述数据至所述备份节点。
可选的，所述存储模块83包括：第一存储单元831，用于在所述获取模块81确定的存储区域中，根据所述哈希模块82计算的键值选择本地节点，存储所述数据至所述本地节点；第一备份单元832，用于根据所述哈希模块82计算的键值计算不同的偏移量分别得到第一备份键值和第二备份键值，并在所述获取模块81确定的存储区域内根据所述第一备份键值选择本地备份节点，在所述存储区域外根据所述第二备份键值选择异地备份节点，备份所述数至所述本地备份节点和所述异地备份节点据。
可选的，所述第一备份单元832包括：第二分片单元，用于根据所述哈希模块82计算的键值，确定所述键值属于的条目分片；同一条目的不同分片对应不同的偏移量；第二偏移单元，用于根据所述键值和所述第二分片单元确定的条目分片对应的偏移量，计算备份键值；第二备份单元，用于在所述获取模块81确定的存储区域内和/或所述存储区域外，根据所述第二偏移单元计算的备份键值选择备份节点，备份所述数据至所述备份节点。
本实施例中，分布式数据存储的装置可以是分布式网络中的节点。
本实施例的装置，在数据存储时，根据数据的地理位置信息选择存储数据的节点，从而使数据按照其地理位置信息进行存储，保证了本地数据可以按照地理信息存储在区域内的节点中，减少了跨区数据存取，降低了骨干网的数据负载，均衡了整个网络的数据流量和带宽开销。在本实例中，可以在本地网和/或异地网中进一步选择备份节点，提高网络的容灾能力。本实施例中，本地备份节点和异地备份节点，可以采用相对于key不同的偏移量获得，从而进一步均衡各个网络链路和节点的数据流量和带宽开销，均衡整个分布式网络的负载，提高整个网络的性能。
实施例七
如附图9所示，本发明实施例提供了一种分布式网络系统，包括：
第一节点91，用于获取节点自身或其他节点的地理位置信息；根据所述地理位置信息确定节点所属的区域，根据节点所属的区域确定节点的ID空间；不同区域对应不同的ID空间；在确定的ID空间中选取一个值，构造节点的ID值。
可选的，上述分布式网络系统还可以包括：
第二节点92，用于获取数据的地理位置信息，根据所述地理位置信息确定所述数据的存储区域；哈希计算出所述数据的键值；选择所述存储区域中与所述键值距离最近的节点，用于存储所述数据。
其中，上述第一节点91和第二节点92的功能可以集成到一个分布式节点中，分布式网络中的各个节点都可以具有上述第一节点91和第二节点92的功能。可选的，第一节点91可以是实施例五中的一种分布式网络构建的装置，还可以是在实施例五中的一种分布式网络构建的装置的基础上增加其他常用功能模块；可选的，第二节点92可以是实施例六中的一种分布式数据存储的装置，还可以是在实施例六中的一种分布式数据存储的装置的基础上增加其他常用功能模块。
本实施例的系统，使得节点在加入分布式网络时，根据节点的地理位置信息确定节点的ID值，从而使同一区域中的各个节点属于同一个ID空间，达到了按照区域分配节点ID值的目的，由于节点的ID值是按照区域确定的，在后续存储数据时，本地数据可以按照地理信息存储在区域内的节点中，减少了跨区数据存取，降低了骨干网的数据负载，均衡了整个网络的数据流量和带宽开销。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
总之，以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种分布式网络构建的方法，其特征在于，包括：
获取节点的地理位置信息；
根据所述节点的地理位置信息确定所述节点所属的区域，根据所述节点所属的区域确定所述节点的ID空间；不同区域对应不同的ID空间；
在确定的ID空间中选取一个值，构造所述节点的ID值。
2.如权利要求1所述的方法，其特征在于，所述在确定的ID空间中选取一个值为：在所述确定的ID空间中任选一个值；或者，所述确定的ID空间进一步划分为ID子空间，先选取一个ID子空间，然后在选取的ID子空间中选择一个值。
3.如权利要求1所述的方法，其特征在于，所述构造所述节点的ID值为：以选取的一个值作为节点ID值的前缀、后缀或者其中关键字段，构造出节点ID值；或者，直接将选取的一个值作为节点ID值。
4.如权利要求1至3任一项所述的方法，其特征在于，所述根据所述节点的地理位置信息确定所述节点所属的区域，根据所述节点所属的区域确定所述节点的ID空间为：
从网络的哈希空间中选择一个条带；每一条带中包含属于不同区域的条目；
在选择的条带中，根据节点的地理位置信息确定该节点所属的区域，根据该节点所属的区域确定出该区域对应的条目，以该条目作为所述节点的ID空间。
5.如权利要求4所述的方法，其特征在于，所述从网络的哈希空间中选择一个条带为：从哈希空间的各个条带中随机选取一个条带；或者，从未使用的条带中选取一个条带；或者，选择被使用的次数最少的条带。
6.一种分布式数据存储的方法，其特征在于，包括：
获取数据的地理位置信息；
根据所述地理位置信息确定所述数据的存储区域，计算出所述数据的键值；
在所述存储区域中，根据所述键值选择本地节点；
存储所述数据至所述本地节点。
7.如权利要求6所述的方法，其特征在于，所述方法还包括：在所述存储区域外，根据所述键值选择异地备份节点，备份所述数据至所述异地备份节点。
8.如权利要求6所述的方法，其特征在于，所述方法还包括：
根据所述键值计算偏移量得备份键值；
在所述存储区域内和/或所述存储区域外，根据所述备份键值选择备份节点，备份所述数据至所述备份节点。
9.如权利要求6所述的方法，其特征在于，所述方法还包括：
根据所述键值计算不同的偏移量分别得到第一备份键值和第二备份键值；
在所述存储区域内，根据所述第一备份键值选择本地备份节点；在所述存储区域外，根据所述第二备份键值选择异地备份节点；
备份所述数据至所述本地备份节点和所述异地备份节点。
10.如权利要求8所述的方法，其特征在于，在计算偏移量得备份键值前，所述方法还包括：
确定所述键值属于的条目分片；同一条目的不同分片对应不同的偏移量；
根据所述键值和确定的条目分片对应的偏移量，计算备份键值。
11.一种分布式网络构建的装置，其特征在于，所述装置包括：
获取模块，用于获取节点的地理位置信息；
选择模块，用于根据所述获取模块获取的节点的地理位置信息确定所述节点所属的区域，根据所述节点所属的区域确定所述节点的ID空间；不同区域对应不同的ID空间；
构造模块，用于在所述选择模块确定的ID空间中选取一个值，构造所述节点的ID值。
12.如权利要求11所述的装置，其特征在于，所述构造模块包括：
第一选择单元，用于在所述选择模块确定的ID空间中选择一个ID子空间；所述ID空间进一步划分为ID子空间；
第一构造单元，在所述第一选择单元选择的ID子空间中选择一个值，构造所述节点的ID值。
13.如权利要求11所述的装置，其特征在于，所述选择模块包括：
第二选择单元，用于从网络的哈希空间中选择一个条带；每一条带中包含属于不同区域的条目；
第二确定单元，用于在所述第二选择单元选择的条带中，根据节点的地理位置信息确定该节点所属的区域，根据该节点所属的区域确定出该区域对应的条目，以该条目作为所述节点的ID空间。
14.一种分布式数据存储的装置，其特征在于，所述装置包括：
获取模块，用于获取数据的地理位置信息，根据所述地理位置信息确定所述数据的存储区域；
哈希模块，用于计算出所述数据的键值；
存储模块，用于在所述获取模块确定的存储区域中，根据所述哈希模块计算的键值选择本地节点；存储所述数据至所述本地节点。
15.如权利要求14所述的装置，其特征在于，所述存储模块包括：
第一存储单元，用于在所述获取模块确定的存储区域中，根据所述哈希模块计算的键值选择本地节点，存储所述数据至所述本地节点；
第一备份单元，用于在所述获取模块确定的存储区域外，根据所述哈希模块计算的键值选择异地备份节点，备份所述数据至所述异地备份节点；或者，根据所述哈希模块计算的键值计算偏移量得备份键值，并在所述获取模块确定的存储区域内和/或所述存储区域外，根据所述备份键值选择备份节点，备份所述数据至所述备份节点；或者，根据所述哈希模块计算的键值计算不同的偏移量分别得到第一备份键值和第二备份键值，并在所述获取模块确定的存储区域内，根据所述第一备份键值选择本地备份节点，在所述存储区域外，根据所述第二备份键值选择异地备份节点，备份所述数据至所述本地备份节点和所述异地备份节点。
16.如权利要求15所述的装置，其特征在于，所述第一备份单元包括：
第二分片单元，用于根据所述哈希模块计算的键值，确定所述键值属于的条目分片；同一条目的不同分片对应不同的偏移量；
第二偏移单元，用于根据所述键值和所述第二分片单元确定的条目分片对应的偏移量，计算备份键值；
第二备份单元，用于在所述获取模块确定的存储区域内和/或所述存储区域外，根据所述第二偏移单元计算的备份键值选择备份节点，备份所述数据至所述备份节点。
17.一种分布式网络系统，其特征在于，所述系统包括：
第一节点，用于获取节点自身或其他节点的地理位置信息；根据所述地理位置信息确定节点所属的区域，根据节点所属的区域确定节点的ID空间；不同区域对应不同的ID空间；在确定的ID空间中选取一个值，构造节点的ID值。
18.如权利要求17所述的系统，其特征在于，所述系统还包括：
第二节点，用于获取数据的地理位置信息，根据所述地理位置信息确定所述数据的存储区域；计算出所述数据的键值；选择所述存储区域中与所述键值距离最近的节点，用于存储所述数据。
CN200810241867.0A 2008-12-26 2008-12-26 分布式网络构建存储的方法、装置和系统 Active CN101771715B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN200810241867.0A CN101771715B (zh) 2008-12-26 2008-12-26 分布式网络构建存储的方法、装置和系统
US12/639,667 US8645433B2 (en) 2008-12-26 2009-12-16 Distributed network construction and storage method, apparatus and system
EP09180096.1A EP2202945B1 (en) 2008-12-26 2009-12-21 Distributed network construction and storage method, apparatus, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200810241867.0A CN101771715B (zh) 2008-12-26 2008-12-26 分布式网络构建存储的方法、装置和系统

Publications (2)

Publication Number Publication Date
CN101771715A true CN101771715A (zh) 2010-07-07
CN101771715B CN101771715B (zh) 2014-04-16

Family

ID=42077035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200810241867.0A Active CN101771715B (zh) 2008-12-26 2008-12-26 分布式网络构建存储的方法、装置和系统

Country Status (3)

Country Link
US (1) US8645433B2 (zh)
EP (1) EP2202945B1 (zh)
CN (1) CN101771715B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102624936A (zh) * 2011-01-27 2012-08-01 中国移动通信集团公司 节点标识分配方法及装置
CN102917073A (zh) * 2012-10-31 2013-02-06 广州市宏绩信通信设备有限公司 一种均衡且易于扩展的无中心云存储方法
CN103226561A (zh) * 2012-01-26 2013-07-31 阿普赛尔有限公司 基于兄弟组的内容可寻址存储
CN104205780A (zh) * 2014-01-23 2014-12-10 华为技术有限公司 一种存储数据的方法和装置
CN104683422A (zh) * 2013-12-03 2015-06-03 腾讯科技（深圳）有限公司 数据传输方法及装置
CN109639582A (zh) * 2018-12-07 2019-04-16 大科数据(深圳)有限公司 一种基于分布式哈希表的网络节点处理方法及装置
CN110601802A (zh) * 2019-08-16 2019-12-20 网宿科技股份有限公司 一种降低集群回父带宽的方法及装置
CN111193804A (zh) * 2020-01-02 2020-05-22 深圳市网心科技有限公司 分布式存储方法及装置、网络节点及存储介质
CN112333297A (zh) * 2017-02-15 2021-02-05 金钱猫科技股份有限公司 一种批量获取终端属性的方法及系统
CN113596857A (zh) * 2021-09-28 2021-11-02 正链科技(深圳)有限公司 一种分布式网络及其构建方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102075578A (zh) * 2011-01-19 2011-05-25 南京大学 基于分布式存储单元的层次化片上网络架构
US20140201268A1 (en) * 2011-09-06 2014-07-17 Nec Corporation Data placement system, distributed access node, data placement method and program
CN102629934B (zh) * 2012-02-28 2015-07-08 北京搜狐新媒体信息技术有限公司 基于分布式存储系统的数据存储方法及装置
JP5964950B2 (ja) * 2012-04-12 2016-08-03 株式会社日立製作所 計算機システム、データ配置管理方法及びプログラム
EP2672387B1 (en) * 2012-06-04 2018-08-01 Amplidata NV A distributed object storage system
CN103095812B (zh) * 2012-12-29 2016-04-13 华中科技大学 一种基于用户请求响应时间的副本创建方法
CN104820698B (zh) * 2015-05-08 2018-05-11 中国人民解放军61600部队 一种数据筛选规则系统的分布式一致性实现方法
CN107850983B (zh) * 2015-09-11 2020-11-03 株式会社日立制作所 计算机系统、存储装置和数据的管理方法
US9660970B1 (en) * 2015-12-03 2017-05-23 Amazon Technologies, Inc. Cryptographic key distribution
US10778429B1 (en) 2015-12-03 2020-09-15 Amazon Technologies, Inc. Storage of cryptographic information
CN110099112B (zh) * 2019-04-28 2022-03-29 平安科技（深圳）有限公司 基于点对点网络的数据存储方法、装置、介质及终端设备
US10936220B2 (en) * 2019-05-02 2021-03-02 EMC IP Holding Company LLC Locality aware load balancing of IO paths in multipathing software
CN111611317B (zh) * 2020-06-08 2023-05-30 杭州复杂美科技有限公司 区块链分布式存储分组方法、设备和存储介质
CN114095386B (zh) * 2020-07-01 2024-03-26 阿里巴巴集团控股有限公司 一种数据流统计方法、设备及存储介质
CN116521668A (zh) * 2022-01-21 2023-08-01 戴尔产品有限公司 用于数据存储的方法、设备和计算机程序产品
CN117251489A (zh) * 2022-06-10 2023-12-19 戴尔产品有限公司 用于跨区域查询数据的方法、电子设备和计算机程序产品

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6909965B1 (en) * 2001-12-28 2005-06-21 Garmin Ltd. System and method for creating and organizing node records for a cartographic data map
US20040233857A1 (en) * 2003-05-21 2004-11-25 Alcatel Node topology placement based on geographical information
US7539771B2 (en) 2003-06-06 2009-05-26 Microsoft Corporation Organizational locality in prefix-based structured peer-to-peer overlays
US7162253B2 (en) * 2003-09-08 2007-01-09 Nokia Corporation Geographical position extension in messaging for a terminal node
CN1916890A (zh) * 2005-08-16 2007-02-21 鸿富锦精密工业（深圳）有限公司 分布式系统中组件的存储管理系统及方法
CN100386998C (zh) * 2006-03-10 2008-05-07 清华大学 对等网络中全局节点维护方法
WO2010064328A1 (en) * 2008-12-03 2010-06-10 Hitachi, Ltd. Information processing system and method of acquiring backup in an information processing system
US8554249B2 (en) * 2009-12-08 2013-10-08 Microsoft Corporation Location service for wireless devices

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102624936A (zh) * 2011-01-27 2012-08-01 中国移动通信集团公司 节点标识分配方法及装置
CN102624936B (zh) * 2011-01-27 2015-04-22 中国移动通信集团公司 节点标识分配方法及装置
CN103226561B (zh) * 2012-01-26 2016-08-17 阿普赛尔有限公司 基于兄弟组的内容可寻址存储
CN103226561A (zh) * 2012-01-26 2013-07-31 阿普赛尔有限公司 基于兄弟组的内容可寻址存储
CN102917073A (zh) * 2012-10-31 2013-02-06 广州市宏绩信通信设备有限公司 一种均衡且易于扩展的无中心云存储方法
US10212217B2 (en) 2013-12-03 2019-02-19 Tencent Technology (Shenzhen) Company Limited Method and apparatus for data transmission in a distributed storage system
CN104683422A (zh) * 2013-12-03 2015-06-03 腾讯科技（深圳）有限公司 数据传输方法及装置
CN104683422B (zh) * 2013-12-03 2019-01-29 腾讯科技（深圳）有限公司 数据传输方法及装置
WO2015081808A1 (en) * 2013-12-03 2015-06-11 Tencent Technology (Shenzhen) Company Limited Method and apparatus for data transmission
CN104205780B (zh) * 2014-01-23 2017-06-27 华为技术有限公司 一种存储数据的方法和装置
CN104205780A (zh) * 2014-01-23 2014-12-10 华为技术有限公司 一种存储数据的方法和装置
CN112333297A (zh) * 2017-02-15 2021-02-05 金钱猫科技股份有限公司 一种批量获取终端属性的方法及系统
CN112333297B (zh) * 2017-02-15 2023-03-24 金钱猫科技股份有限公司 一种批量获取终端属性的方法及系统
CN109639582A (zh) * 2018-12-07 2019-04-16 大科数据(深圳)有限公司 一种基于分布式哈希表的网络节点处理方法及装置
CN110601802A (zh) * 2019-08-16 2019-12-20 网宿科技股份有限公司 一种降低集群回父带宽的方法及装置
CN110601802B (zh) * 2019-08-16 2022-05-20 网宿科技股份有限公司 一种降低集群回父带宽的方法及装置
CN111193804B (zh) * 2020-01-02 2022-09-09 深圳市网心科技有限公司 分布式存储方法及装置、网络节点及存储介质
CN111193804A (zh) * 2020-01-02 2020-05-22 深圳市网心科技有限公司 分布式存储方法及装置、网络节点及存储介质
CN113596857A (zh) * 2021-09-28 2021-11-02 正链科技(深圳)有限公司 一种分布式网络及其构建方法
CN113596857B (zh) * 2021-09-28 2022-02-01 正链科技(深圳)有限公司 一种分布式网络及其构建方法

Also Published As

Publication number Publication date
CN101771715B (zh) 2014-04-16
US8645433B2 (en) 2014-02-04
US20100169280A1 (en) 2010-07-01
EP2202945A1 (en) 2010-06-30
EP2202945B1 (en) 2016-03-09

Similar Documents

Publication Publication Date Title
CN101771715A (zh) 分布式网络构建存储的方法、装置和系统
CN101729412B (zh) 地理信息服务的分布式层次集群方法和系统
EP1298837B1 (en) Method and system for dynamic grouping of mobile objects
Pääkkönen et al. Device-to-device data storage for mobile cellular systems
CN104869151A (zh) 一种业务卸载方法及系统
CN103503414B (zh) 一种计算存储融合的集群系统
CN102055650B (zh) 负载均衡方法及系统和管理服务器
CN101505263B (zh) 一种选择超级维护节点的方法及装置
CN102096557B (zh) 一种独立磁盘冗余阵列的扩容方法、装置及系统
CN102004769B (zh) 文件管理方法、设备及存储系统
CN107888666A (zh) 一种跨地域数据存储系统以及数据同步方法和装置
CN103326925B (zh) 一种消息推送方法及装置
CN102999571A (zh) 一种集群中单机多节点的实现方法
CN102957624A (zh) 内容路由方法和装置
CN105630419A (zh) 一种资源池的分区视图发送方法及管理节点
CN103259824B (zh) 分布式数据存储系统中数据路由的同步方法和装置
CN101951661B (zh) 传感器网络中的地址分配方法及传感器网络节点
Asim et al. A sensor relocation scheme for wireless sensor networks
CN101860469A (zh) 对点到点技术网络中的节点进行分组的方法和装置
Chen et al. A design of distributed storage and processing system for internet of vehicles
Tseng et al. Peer-assisted content delivery network by vehicular micro clouds
Park et al. An efficient data-centric storage method using time parameter for sensor networks
CN104052611A (zh) 一种云存储系统数据可用性维护方法及其装置
CN103078801A (zh) 为网络划分域的方法、装置及交换机
CN112003746A (zh) 一种基于分布式系统的告警管理方法、装置和介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant