CN102891872A - 一种对等网络中数据存储和查询的方法及系统 - Google Patents

一种对等网络中数据存储和查询的方法及系统 Download PDF

Info

Publication number
CN102891872A
CN102891872A CN2011102040014A CN201110204001A CN102891872A CN 102891872 A CN102891872 A CN 102891872A CN 2011102040014 A CN2011102040014 A CN 2011102040014A CN 201110204001 A CN201110204001 A CN 201110204001A CN 102891872 A CN102891872 A CN 102891872A
Authority
CN
China
Prior art keywords
data
node
index
attribute
index stores
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011102040014A
Other languages
English (en)
Other versions
CN102891872B (zh
Inventor
彭永林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JIANGSU LANXIN ELECTRONIC TECHNOLOGY Co.,Ltd.
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201110204001.4A priority Critical patent/CN102891872B/zh
Priority to PCT/CN2012/077743 priority patent/WO2013010432A1/zh
Publication of CN102891872A publication Critical patent/CN102891872A/zh
Application granted granted Critical
Publication of CN102891872B publication Critical patent/CN102891872B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • G06F16/1834Distributed file systems implemented based on peer-to-peer networks, e.g. gnutella

Abstract

本发明公开了一种对等网络中数据存储和查询的方法,根据需要存储的数据的标识生成数据资源标识后,将所述需要存储的数据存入数据存储节点;根据所述数据的各个搜索属性确定索引存储节点,将数据资源标识或数据标识,以及所述搜索属性的索引关系存入所述索引存储节点;查询数据时,根据搜索属性从所述索引存储节点查询到索引关系后,根据其中的数据资源标识或数据标识查询获得对应的数据。本发明还公开了一种对等网络中数据存储和查询的系统,通过上述方法和系统,能够将索引数据分散的存储在对等网络的不同的节点中,提高了存储和查询的分散性,在进行查询时只查询相关的一个或少数几个节点,查询效率比较高。

Description

一种对等网络中数据存储和查询的方法及系统
技术领域
本发明涉及对等网络数据管理技术,特别是指一种对等网络中数据存储和查询的方法及系统。
背景技术
对等(Peer to Peer,P2P)网络是一种分布式网络,网络的参与者共享各自所拥有的资源和服务。通常这些资源和服务的共享包括:信息的共享与交换、计算资源,例如CPU,的共享、存储资源,例如缓存和磁盘空间,的共享等。这些共享资源和服务能被网络中的任意对等节点(Peer)访问。在对等网络中的每个参与者都既是资源和服务提供者(server),又是资源和服务获取者(client)。
结构化P2P网络通常采用分布哈希表(Disrtibutded Hash Table,DHT)方法作为资源定位技术。DHT方法中同时实现了P2P系统的拓扑构造、消息路由和资源搜索三大功能。在DHT方法中,每个节点都有唯一的节点标识,即通过哈希函数根据其IP地址得到或根据某种规则动态创建,系统根据节点标识构建P2P网络拓扑。每个节点都维护一个“路由表”,其中保存了相关邻居节点的信息。DHT消息路由过程与IP路由过程相似,每个节点根据所述路由表将消息转发到相应的邻居节点上,直到消息最终到达目标节点。当节点加入或退出时,各相关节点需要修改路由表,并动态调整,以维护分布哈希表的一致性。
但是,在这种结构化的P2P网络中存储的数据,通常只能根据主关键词进行精确查找,如果要根据被搜索信息的某个特定搜索属性进行查询则比较困难,例如:根据词语片段进行条件或模糊查询则比较困难。
现有技术中能够实现根据属性进行查找的常用技术是:选择一些性能较高的节点作为超级节点,将元数据随机存储在某个超级节点上。普通节点进行模糊查询时,将查询请求发给某个超级节点,例如超级节点A,然后由该超级节点A向其余所有超级节点转发查询,所有超级节点对本地存储的元数据进行模糊查询,然后将查询结果返回给转发请求的超级节点A,再由超级节点A将查询结果返回给普通节点。针对上述技术现有的数据存储和查询的具体步骤如下所述:
图1为现有技术的数据存储的流程示意图,如图1所示,所述存储流程包括:
步骤101,数据存储请求节点对需要存储的数据的主标识哈希运算后得到数据资源标识,即资源ID;
步骤102,数据存储请求节点通过P2P算法向数据存储节点发送存储请求;
步骤103,数据存储节点根据收到的存储请求将数据存储下来,并向请求节点返回结果;
步骤104,数据存储请求节点随机选择一个超级节点A,向其发送存储元数据的请求,其中包含索引信息,即需要存储的数据的主标识和数据存储节点的索引信息;
步骤105,超级节点A根据收到的请求存储该元数据,并向请求节点返回结果。
这样,粗要存储的数据及其索引信息就存储在P2P网络中了,网络中的节点可以对其进行条件或模糊查询。
图2为现有技术的数据查询的流程示意图,如图2所示,所述查询流程包括:
步骤201,数据查询请求节点指定查询条件,通过一个超级节点向所有超级节点发送查询元数据的请求;
步骤202,所有超级节点都根据收到的查询条件,在本地存储的元数据中进行查询满足条件的元数据;
步骤203,所有超级节点向数据查询请求节点返回查询结果;
步骤204,数据查询请求节点从查询到的元数据中读取数据的主标识,进行哈希运算后得到资源ID;
步骤205,数据查询请求节点根据P2P算法向数据存储节点发送查询数据请求;
步骤206,数据存储节点根据资源ID取得对应的数据,并将其向查询请求节点返回。
这样,数据查询节点就根据部分或全部匹配条件取得了需要的数据。
但在这种方法中所有元数据,即索引数据,都较集中的存储在数量较少的超级节点上,导致超级节点的存储和查询负担较重;而且,每次条件查询都要查询全部超级节点,导致查询效率较低。
发明内容
有鉴于此,本发明的主要目的在于提供一种对等网络中数据存储和查询的方法及系统,解决了现有技术中必须将索引数据集中的存储在数量较少的超级节点上,导致超级节点的存储和查询负担较重的问题,并且解决了查询效率较低的问题。
为达到上述目的,本发明的技术方案是这样实现的:
本发明提供了一种对等网络中数据存储和查询的方法,所述方法包括:
根据需要存储的数据的标识生成数据资源标识后,将所述需要存储的数据存入数据存储节点;
根据所述数据的各个搜索属性确定索引存储节点,将数据资源标识或数据标识,以及所述搜索属性的索引关系存入所述索引存储节点;
查询数据时,根据搜索属性从所述索引存储节点查询到索引关系后,根据其中的数据资源标识或数据标识查询获得对应的数据。
其中,当指定的数据需要删除时,所述方法还包括:
根据所述指定的数据的标识生成数据资源标识后,将删除请求发送给数据存储节点;数据存储节点删除所述数据后,根据所述数据的各搜索属性分别向各索引存储节点发送删除索引请求;各索引存储节点接到删除索引请求后,删除对应的索引关系。
其中,所述搜索属性包括:属性名称和属性值。
其中,所述确定的索引存储节点,包括:针对各个单独的搜索属性预设的一个或多个索引存储节点;或者根据各个单独的搜索属性的属性名生成一个或多个属性资源标识,然后根据对等(P2P)算法确定的一个或多个索引存储节点。
其中,所述根据搜索属性从所述索引存储节点查询到索引关系,包括:
根据待查询的搜索属性确定索引存储节点后,发送查询请求;一个或多个索引存储节点根据查询请求进行匹配,得到符合匹配的所有索引关系。
其中,所述根据其中的数据资源标识或数据标识查询获得对应的数据,具体为:
根据各个索引关系中的数据资源标识或数据标识确定各数据存储节点,然后从各数据存储节点获取查询得到的数据。
本发明还提供了一种对等网络中数据存储和查询的系统,所述系统包括:数据存储请求节点、数据存储节点、索引存储节点和数据查询请求节点,其中,
所述数据存储请求节点,用于根据需要存储的数据的标识生成数据资源标识后,将所述需要存储的数据存入数据存储节点,根据所述数据的各个搜索属性确定索引存储节点,将数据资源标识或数据标识,以及所述搜索属性的索引关系存入所述索引存储节点;
所述数据查询请求节点,用于查询数据时,根据搜索属性从所述索引存储节点查询到索引关系后,根据其中的数据资源标识或数据标识查询获得对应的数据。
其中,所述系统还包括:数据删除请求节点,用于当指定的数据需要删除时,根据所述指定的数据的标识生成数据资源标识后,将删除请求发送给数据存储节点;
所述数据存储节点,还用于删除所述数据,根据所述数据的各搜索属性分别向各索引存储节点发送删除索引请求;
所述索引存储节点,还用于接到删除索引请求后,删除对应的索引关系。
其中,所述搜索属性包括:属性名称和属性值;
所述确定的索引存储节点,包括:针对各个单独的搜索属性预设的一个或多个索引存储节点;或者根据各个单独的搜索属性的属性名生成一个或多个属性资源标识,然后根据P2P算法确定的一个或多个索引存储节点。
其中,所述数据查询请求节点根据搜索属性从所述索引存储节点查询到索引关系,包括:
所述数据查询请求节点根据待查询的搜索属性确定索引存储节点后,发送查询请求;一个或多个索引存储节点根据查询请求进行匹配,得到符合匹配的所有索引关系。
本发明所提供的对等网络中数据存储和查询的方法及系统,根据需要存储的数据的标识生成数据资源标识后,将所述需要存储的数据存入数据存储节点;根据所述数据的各个搜索属性确定索引存储节点,将数据资源标识或数据标识,以及所述搜索属性的索引关系存入所述索引存储节点;查询数据时,根据搜索属性从所述索引存储节点查询到索引关系后,根据其中的数据资源标识或数据标识查询获得对应的数据。能够将索引数据分散的存储在P2P网络的不同的节点中,不再局限于存储在超级节点中,提高了存储和查询的分散性;在进行条件查询时只查询相关的一个或少数几个节点,查询效率比较高。
附图说明
图1为现有技术的数据存储的流程示意图;
图2为现有技术的数据查询的流程示意图;
图3为本发明一种对等网络中数据存储和查询的方法流程示意图;
图4为本发明实施例一中数据存储的流程示意图;
图5为本发明实施例一中数据查询的流程示意图;
图6为本发明实施例一中数据删除的流程示意图;
图7为本发明实施例一的网络结构示意图;
图8为本发明一种对等网络中数据存储和查询的系统结构示意图。
具体实施方式
本发明的基本思想是:根据需要存储的数据的标识生成数据资源标识后,将所述需要存储的数据存入数据存储节点;根据所述数据的各个搜索属性确定索引存储节点,将数据资源标识或数据标识,以及所述搜索属性的索引关系存入所述索引存储节点;查询数据时,根据搜索属性从所述索引存储节点查询到索引关系后,根据其中的数据资源标识或数据标识查询获得对应的数据。
下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。
图3为本发明一种对等网络中数据存储和查询的方法流程示意图,如图3所示,所述方法具体包括以下步骤:
步骤301,根据需要存储的数据的标识生成数据资源标识后,将所述需要存储的数据存入数据存储节点;
具体的,所述根据需要存储的数据的标识生成数据资源标识,具体为:根据需要存储的数据的唯一标识,进行哈希运算生成数据资源标识。所述将所述需要存储的数据存入数据存储节点,具体为:根据网络所采用的P2P算法确定数据存储节点,然后将数据存入数据存储节点中。
步骤302,根据所述数据的各个搜索属性确定索引存储节点,将数据资源标识或数据标识,以及所述搜索属性的索引关系存入所述索引存储节点;
具体的,所述搜索属性包括:属性名称和属性值。所述确定的索引存储节点,包括:针对各个单独的搜索属性预设的一个或多个索引存储节点;或者根据各个单独的搜索属性的属性名生成一个或多个属性资源标识,然后根据P2P算法确定的一个或多个索引存储节点。其中,一种属性的索引关系可以存储在一个索引存储节点上,也可以存储在多个索引存储节点上。
需要进一步说明的是,多个数据同一属性的索引关系可以分散存储在几个节点上,以降低单个索引存储节点的负担。当索引数据量比较小时,可以将同一属性的索引关系只存储在一个节点上,此时属性资源标识直接通过属性名产生即可。
步骤303,查询数据时,根据搜索属性从所述索引存储节点查询到索引关系后,根据其中的数据资源标识或数据标识查询获得对应的数据。
具体的,所述根据搜索属性从所述索引存储节点查询到索引关系,包括:根据待查询的搜索属性确定索引存储节点后,发送索引查询请求;一个或多个索引存储节点根据查询请求进行匹配,得到符合匹配的所有索引关系。其中所述匹配方式可以为模糊匹配。所述确定的索引存储节点,包括:针对各个单独的搜索属性预设的一个或多个索引存储节点;或者根据各个单独的搜索属性的属性名生成一个或多个属性资源标识,然后根据P2P算法确定的一个或多个索引存储节点。所述根据其中的数据资源标识或数据标识查询获得对应的数据,具体为:根据各个索引关系中的数据资源标识或数据标识确定各数据存储节点,然后从各数据存储节点获取查询得到的数据。
进一步的,当指定的数据需要删除时,所述方法还包括:根据所述指定的数据的标识生成数据资源标识后,将删除请求发送给数据存储节点;数据存储节点删除所述数据,根据所述数据的各搜索属性分别向各索引存储节点发送删除索引请求;各索引存储节点接到删除索引请求后,删除对应的索引关系。其中,删除所述数据可以在发送删除索引请求之前,也可以在收到索引关系已删除之后。
进一步的,所述方法的各步骤中,各个节点根据接收的消息进行处理后,还包括将处理的结果返回给发送消息的节点。其中,需要特别说明的是步骤102中,所述索引存储节点存储所述索引关系成功后,向发送数据存储请求的节点返回成功结果,所述送数据存储请求的节点进一步还可以将所述索引关系发送到数据存储节点中进行保存,以方便后续进一步对索引关系进行维护。
以下通过具体的实施例对上述方法进行进一步阐述。
图4为本发明实施例一中数据存储的流程示意图,如图4所示,所述存储流程中数据存储请求节点根据数据唯一标识,将数据存储在P2P网络中;该数据有两个属性需要支持条件查询:属性1、属性2,因此需要针对这两个属性建立索引,即根据属性1的名称和属性2的名称分别产生索引数据标识,或者根据属性与索引存储节点对应关系的配置,将其索引关系存储在P2P网络中,并假设每个属性的索引存储节点数为3,具体流程为:
步骤401,数据存储请求节点(设为节点8)将数据1的唯一标识经哈希运算得到其资源标识,称为数据资源标识;
步骤402,数据存储请求节点8根据网络所采用的P2P算法将数据存储在该数据的负责节点(设为节点3),即数据存储节点3;
步骤403,数据存储节点3将存储请求中的数据存储下来,并向数据存储请求节点8返回结果;
步骤404,数据存储请求节点8取3以内的随机数(例如2),将属性1的名称与字符“2”拼接,生成一个标识字符串,对其进行哈希运算后得到属性资源标识;
步骤405,数据存储请求节点8根据网络所采用的P2P算法,将数据1的属性1的索引关系,存储在索引存储节点(设为节点9);
具体的,索引关系至少包括:数据1的数据资源标识或数据1的唯一标识,以及属性1的值。
步骤406,索引存储节点9存储数据的属性1的索引关系,并向数据存储请求节点8返回响应;
步骤407,数据存储请求节点8取3以内的随机数(例如1),将属性2名称与字符“1”拼接,生成一个标识字符串,对其进行哈希运算后得到属性资源标识;
步骤408,数据存储请求节点8根据网络采用的P2P所算法,将数据1的属性2的索引关系,存储在索引存储节点(设为节点20);
具体的,索引关系至少包括:数据1的数据资源标识或数据1的唯一标识,以及属性2的值。
步骤409,索引存储节点20存储数据的属性2的索引关系,并向数据存储请求节点8返回响应。
进一步的,通过选取不同的随机数和属性名称进行组合,可以针对同一个属性名生成多个属性资源标识,这样可以把同一属性名的索引关系存储在多个节点上。例如,属性1的名称结合3以内的随机数生成三个标识字符串分别为:属性1名称+i(i=0,1,2),对其进行哈希运算后得到三个属性资源标识,分别对应索引存储节点1、索引存储节点9、索引存储节点16,即属性1的索引关系分别存储在索引存储节点1、索引存储节点9、索引存储节点16中。
进一步的,索引存储节点完成索引关系的存储后,想数据存储请求节点返回响应,数据存储请求节点8可以将索引存储节点(例如节点9和节点20)的信息也存入数据存储节点3上,以便维护时使用。
图5为本发明实施例一中数据查询的流程示意图,如图5所示,所述查询流程中数据查询节点根据查询条件对应的属性及索引存储策略,确定该属性的一个或多个索引存储节点,然后向这些索引存储节点查询满足条件的索引关系,再根据索引关系中的数据唯一标识或数据资源标识查询对应的数据。具体流程为:
步骤501,数据查询请求节点14针对待查询数据的属性1设定查询条件;
步骤502,数据查询请求节点14生成根据3以内的随机数生成三个标识字符串分别为:属性1名称+i(i=0,1,2),再对所述三个标识字符串进行哈希运算得到三个属性资源标识,根据网络采用的P2P算法,这三个属性资源标识的负责节点分别为:索引存储节点1、索引存储节点9、索引存储节点16;
步骤503,数据查询请求节点14向索引存储节点1发送索引查询请求;
步骤504,索引存储节点1收到请求后,对本地存储的索引关系进行条件匹配(如模糊匹配),并向数据查询请求节点14返回匹配结果;
步骤505,数据查询请求节点14向索引存储节点9发送索引查询请求;
步骤506,索引存储节点9收到请求后,对本地存储的索引关系进行条件匹配(如模糊匹配),并向数据查询请求节点14返回匹配结果;
步骤507,数据查询请求节点14向索引存储节点16发送索引查询请求;
步骤508,索引存储节点16收到请求后,对本地存储的索引关系进行条件匹配(可以是模糊匹配),并向数据查询请求节点14返回匹配结果;
步骤509,综合所有索引存储节点返回的满足匹配条件的索引关系(也可能为空或只有一条),根据查询的需要从中选择某条或某些索引关系;
步骤510,数据查询请求节点14将索引关系中的数据唯一标识经哈希运算后得到数据资源标识;
进一步的,如果索引关系中包括数据资源标识可以直接采用,则不需要执行步骤510。
步骤511,数据查询请求节点14根据网络采用的P2P算法向数据存储节点3发送数据查询请求;
步骤512,数据存储节点3根据请求读取对应的存储数据,并将查询结果返回给查询请求节点14。
图6为本发明实施例一中数据删除的流程示意图,如图6所示,当指定数据(例如数据1)需要删除时,需要将其相应的所有属性(例如:属性1、属性2)的索引关系也删除。具体流程为:
步骤601,数据删除请求节点19对指定数据的唯一标识进行哈希运算得到数据资源标识;
步骤602,数据删除请求节点19根据网络采用的P2P算法,向数据存储节点3发送删除请求;
步骤603,数据存储节点3收到删除请求后,针对属性1生成三个标识字符串:属性1名称+i(i=0,1,2),再将这三个标识字符串进行哈希运算得到三个属性资源标识;
进一步的,本步骤中的这三个属性资源标识,也可以从数据存储节点3获得,其由存储策略决定。
步骤604,数据存储节点3根据网络采用的P2P算法,向索引存储节点1、索引存储节点9、索引存储节点16发送删除属性1的索引关系的请求。
步骤605,属性1的三个属性资源标识的负责节点收到请求后将对应的索引关系删除,并向数据存储节点3返回结果;
步骤606,数据存储节点3收到删除请求删除所述数据后,针对属性2生成三个标识字符串:属性2名称+i(i=0,1,2),再将这三个标识字符串进行哈希运算得到三个属性资源标识;
进一步的,本步骤中的这三个属性资源标识,也可以从数据存储节点3获得,其由存储策略决定。
步骤607,数据存储节点3根据网络采用的P2P算法,向网络发送删除属性2的索引关系的请求,相关索引存储节点收到请求后删除索引关系,并向数据存储节点3返回结果,数据存储节点3删除数据后,向数据删除请求节点19返回删除结果。
由上述三个流程示意图可知本发明实施例一的网络结构,图7为本发明实施例一的网络结构示意图,如图7所示,节点3为数据1的存储节点;节点1、节点9和节点16为数据1的属性1的索引存储节点;节点6、节点11和节点20为数据1的属性2的索引存储节点;节点8为数据存储请求节点;节点14为数据查询请求节点;节点19为数据删除请求节点。
图8为本发明一种对等网络中数据存储和查询的系统结构示意图,如图8所示,所述系统包括:数据存储请求节点81、数据存储节点82、索引存储节点83和数据查询请求节点84,其中,
所述数据存储请求节点81,用于根据需要存储的数据的标识生成数据资源标识后,将所述需要存储的数据存入数据存储节点82,根据所述数据的各个搜索属性确定索引存储节点83,将数据资源标识或数据标识,以及所述搜索属性的索引关系存入所述索引存储节点83;
具体的,所述数据存储请求节点81根据需要存储的数据的标识生成数据资源标识,具体为:数据存储请求节点81根据需要存储的数据的唯一标识,进行哈希运算生成数据资源标识。所述将所述需要存储的数据存入数据存储节点82,具体为:根据网络所采用的P2P算法确定数据存储节点82,然后将数据存入数据存储节点82中。
所述搜索属性包括:属性名称和属性值。所述确定的索引存储节点83,包括:针对各个单独的搜索属性预设的一个或多个索引存储节点83;或者根据各个单独的搜索属性的属性名生成一个或多个属性资源标识,然后根据P2P算法确定的一个或多个索引存储节点83。其中,一种属性的索引关系可以存储在一个索引存储节点83上,也可以存储在多个索引存储节点83上。
需要进一步说明的是,多个数据同一属性的索引关系可以分散存储在几个索引存储节点83上,以降低单个索引存储节点83的负担。当索引数据量比较小时,可以将同一属性的索引关系只存储在一个索引存储节点83上,此时属性资源标识直接通过属性名产生即可。
所述数据查询请求节点84,用于查询数据时,根据搜索属性从所述索引存储节点83查询到索引关系后,根据其中的数据资源标识或数据标识查询获得对应的数据。
具体的,所述数据查询请求节点84根据搜索属性从所述索引存储节点83查询到索引关系,包括:根据待查询的搜索属性确定索引存储节点83后,发送索引查询请求;一个或多个索引存储节点83根据查询请求进行匹配,得到符合匹配的所有索引关系。其中所述匹配方式可以为模糊匹配。所述确定的索引存储节点83,包括:针对各个单独的搜索属性预设的一个或多个索引存储节点83;或者根据各个单独的搜索属性的属性名生成一个或多个属性资源标识,然后根据P2P算法确定的一个或多个索引存储节点83。所述根据其中的数据资源标识或数据标识查询获得对应的数据,具体为:根据各个索引关系中的数据资源标识或数据标识确定各数据存储节点82,然后从各数据存储节点82获取查询得到的数据。
进一步的,所述系统还包括:数据删除请求节点85,用于当指定的数据需要删除时,根据所述指定的数据的标识生成数据资源标识后,将删除请求发送给数据存储节点82;
所述数据存储节点82,还用于删除所述数据,根据所述数据的各搜索属性分别向各索引存储节点83发送删除索引请求;
其中,删除所述数据可以在发送删除索引请求之前,也可以在收到索引关系已删除之后。
所述索引存储节点83,还用于接到删除索引请求后,删除对应的索引关系。
进一步的,所述系统中,各个节点根据接收的消息进行处理后,还包括将处理的结果返回给发送消息的节点。其中,需要特别说明的是,所述索引存储节点83存储所述索引关系成功后,向发送数据存储请求的节点81返回成功结果,所述送数据存储请求的节点81进一步还可以将所述索引关系发送到数据存储节点82中进行保存,以方便后续进一步对索引关系进行维护。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。

Claims (10)

1.一种对等网络中数据存储和查询的方法,其特征在于,所述方法包括:
根据需要存储的数据的标识生成数据资源标识后,将所述需要存储的数据存入数据存储节点;
根据所述数据的各个搜索属性确定索引存储节点,将数据资源标识或数据标识,以及所述搜索属性的索引关系存入所述索引存储节点;
查询数据时,根据搜索属性从所述索引存储节点查询到索引关系后,根据其中的数据资源标识或数据标识查询获得对应的数据。
2.根据权利要求1所述的方法,其特征在于,当指定的数据需要删除时,所述方法还包括:
根据所述指定的数据的标识生成数据资源标识后,将删除请求发送给数据存储节点;数据存储节点删除所述数据后,根据所述数据的各搜索属性分别向各索引存储节点发送删除索引请求;各索引存储节点接到删除索引请求后,删除对应的索引关系。
3.根据权利要求1或2所述的方法,其特征在于,所述搜索属性包括:属性名称和属性值。
4.根据权利要求3所述的方法,其特征在于,所述确定的索引存储节点,包括:针对各个单独的搜索属性预设的一个或多个索引存储节点;或者根据各个单独的搜索属性的属性名生成一个或多个属性资源标识,然后根据对等(P2P)算法确定的一个或多个索引存储节点。
5.根据权利要求1或2所述的方法,其特征在于,所述根据搜索属性从所述索引存储节点查询到索引关系,包括:
根据待查询的搜索属性确定索引存储节点后,发送查询请求;一个或多个索引存储节点根据查询请求进行匹配,得到符合匹配的所有索引关系。
6.根据权利要求1或2所示的方法,其特征在于,所述根据其中的数据资源标识或数据标识查询获得对应的数据,具体为:
根据各个索引关系中的数据资源标识或数据标识确定各数据存储节点,然后从各数据存储节点获取查询得到的数据。
7.一种对等网络中数据存储和查询的系统,其特征在于,所述系统包括:数据存储请求节点、数据存储节点、索引存储节点和数据查询请求节点,其中,
所述数据存储请求节点,用于根据需要存储的数据的标识生成数据资源标识后,将所述需要存储的数据存入数据存储节点,根据所述数据的各个搜索属性确定索引存储节点,将数据资源标识或数据标识,以及所述搜索属性的索引关系存入所述索引存储节点;
所述数据查询请求节点,用于查询数据时,根据搜索属性从所述索引存储节点查询到索引关系后,根据其中的数据资源标识或数据标识查询获得对应的数据。
8.根据权利要求7所述的系统,其特征在于,所述系统还包括:数据删除请求节点,用于当指定的数据需要删除时,根据所述指定的数据的标识生成数据资源标识后,将删除请求发送给数据存储节点;
所述数据存储节点,还用于删除所述数据,根据所述数据的各搜索属性分别向各索引存储节点发送删除索引请求;
所述索引存储节点,还用于接到删除索引请求后,删除对应的索引关系。
9.根据权利要求7或8所述的系统,其特征在于,所述搜索属性包括:属性名称和属性值;
所述确定的索引存储节点,包括:针对各个单独的搜索属性预设的一个或多个索引存储节点;或者根据各个单独的搜索属性的属性名生成一个或多个属性资源标识,然后根据P2P算法确定的一个或多个索引存储节点。
10.根据权利要求7或8所述的系统,其特征在于,所述数据查询请求节点根据搜索属性从所述索引存储节点查询到索引关系,包括:
所述数据查询请求节点根据待查询的搜索属性确定索引存储节点后,发送查询请求;一个或多个索引存储节点根据查询请求进行匹配,得到符合匹配的所有索引关系。
CN201110204001.4A 2011-07-20 2011-07-20 一种对等网络中数据存储和查询的方法及系统 Active CN102891872B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201110204001.4A CN102891872B (zh) 2011-07-20 2011-07-20 一种对等网络中数据存储和查询的方法及系统
PCT/CN2012/077743 WO2013010432A1 (zh) 2011-07-20 2012-06-28 一种对等网络中数据存储和查询的方法、节点及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110204001.4A CN102891872B (zh) 2011-07-20 2011-07-20 一种对等网络中数据存储和查询的方法及系统

Publications (2)

Publication Number Publication Date
CN102891872A true CN102891872A (zh) 2013-01-23
CN102891872B CN102891872B (zh) 2018-02-09

Family

ID=47535236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110204001.4A Active CN102891872B (zh) 2011-07-20 2011-07-20 一种对等网络中数据存储和查询的方法及系统

Country Status (2)

Country Link
CN (1) CN102891872B (zh)
WO (1) WO2013010432A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809129A (zh) * 2014-01-26 2015-07-29 华为技术有限公司 一种分布式数据存储方法、装置和系统
CN105488191A (zh) * 2015-12-03 2016-04-13 南京联成科技发展有限公司 一种基于大数据的信息安全管理运维服务平台的数据采集处理方法及装置
CN106126552A (zh) * 2016-06-16 2016-11-16 华中师范大学 一种基于iDisdance的P2P空间数据查询方法及系统
CN108205561A (zh) * 2016-12-19 2018-06-26 北京国双科技有限公司 数据查询系统、方法及装置
CN109885536A (zh) * 2019-02-26 2019-06-14 深圳众享互联科技有限公司 一种基于分布式数据分片存储和模糊查找方法
CN110704418A (zh) * 2018-06-21 2020-01-17 北京果仁宝软件技术有限责任公司 区块链信息查询方法、装置和设备
CN111193804A (zh) * 2020-01-02 2020-05-22 深圳市网心科技有限公司 分布式存储方法及装置、网络节点及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104572727B (zh) * 2013-10-22 2018-09-28 阿里巴巴集团控股有限公司 一种数据查询方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020073075A1 (en) * 2000-12-07 2002-06-13 Ibm Corporation Method and system for augmenting web-indexed search engine results with peer-to-peer search results
CN101072160A (zh) * 2007-06-14 2007-11-14 华为技术有限公司 分布式虚拟环境的管理方法、系统及节点
CN101150489A (zh) * 2007-10-19 2008-03-26 四川长虹电器股份有限公司 基于分布式哈希表的资源共享方法
US20080097971A1 (en) * 2006-10-18 2008-04-24 Telcordia Applied Research Center Taiwan Company Peer-to-peer based secondary key search method and system for cluster database
CN101355591A (zh) * 2008-09-12 2009-01-28 中兴通讯股份有限公司 一种p2p网络及其调度方法
CN101399765A (zh) * 2007-09-28 2009-04-01 华为技术有限公司 降低对等网络中热点节点负荷的方法和系统
CN101442558A (zh) * 2008-12-26 2009-05-27 中国科学院计算技术研究所 一种为p2sp网络提供索引服务的方法和系统
CN101860474A (zh) * 2009-04-08 2010-10-13 中兴通讯股份有限公司 基于对等网络的资源信息处理方法及对等网络

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020073075A1 (en) * 2000-12-07 2002-06-13 Ibm Corporation Method and system for augmenting web-indexed search engine results with peer-to-peer search results
US20080097971A1 (en) * 2006-10-18 2008-04-24 Telcordia Applied Research Center Taiwan Company Peer-to-peer based secondary key search method and system for cluster database
CN101072160A (zh) * 2007-06-14 2007-11-14 华为技术有限公司 分布式虚拟环境的管理方法、系统及节点
CN101399765A (zh) * 2007-09-28 2009-04-01 华为技术有限公司 降低对等网络中热点节点负荷的方法和系统
CN101150489A (zh) * 2007-10-19 2008-03-26 四川长虹电器股份有限公司 基于分布式哈希表的资源共享方法
CN101355591A (zh) * 2008-09-12 2009-01-28 中兴通讯股份有限公司 一种p2p网络及其调度方法
CN101442558A (zh) * 2008-12-26 2009-05-27 中国科学院计算技术研究所 一种为p2sp网络提供索引服务的方法和系统
CN101860474A (zh) * 2009-04-08 2010-10-13 中兴通讯股份有限公司 基于对等网络的资源信息处理方法及对等网络

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809129A (zh) * 2014-01-26 2015-07-29 华为技术有限公司 一种分布式数据存储方法、装置和系统
CN104809129B (zh) * 2014-01-26 2018-07-20 华为技术有限公司 一种分布式数据存储方法、装置和系统
US10574752B2 (en) 2014-01-26 2020-02-25 Huawei Technologies Co., Ltd. Distributed data storage method, apparatus, and system
CN105488191A (zh) * 2015-12-03 2016-04-13 南京联成科技发展有限公司 一种基于大数据的信息安全管理运维服务平台的数据采集处理方法及装置
CN106126552A (zh) * 2016-06-16 2016-11-16 华中师范大学 一种基于iDisdance的P2P空间数据查询方法及系统
CN106126552B (zh) * 2016-06-16 2019-03-29 华中师范大学 一种基于iDistance的P2P空间数据查询方法及系统
CN108205561A (zh) * 2016-12-19 2018-06-26 北京国双科技有限公司 数据查询系统、方法及装置
CN110704418A (zh) * 2018-06-21 2020-01-17 北京果仁宝软件技术有限责任公司 区块链信息查询方法、装置和设备
CN109885536A (zh) * 2019-02-26 2019-06-14 深圳众享互联科技有限公司 一种基于分布式数据分片存储和模糊查找方法
CN111193804A (zh) * 2020-01-02 2020-05-22 深圳市网心科技有限公司 分布式存储方法及装置、网络节点及存储介质
CN111193804B (zh) * 2020-01-02 2022-09-09 深圳市网心科技有限公司 分布式存储方法及装置、网络节点及存储介质

Also Published As

Publication number Publication date
WO2013010432A1 (zh) 2013-01-24
CN102891872B (zh) 2018-02-09

Similar Documents

Publication Publication Date Title
US10958752B2 (en) Providing access to managed content
CN102891872A (zh) 一种对等网络中数据存储和查询的方法及系统
US7664742B2 (en) Index data structure for a peer-to-peer network
JP5043937B2 (ja) 分散システム内の連合リソース発見のための方法およびコンピュータ・プログラム
JP4938074B2 (ja) リソースの位置情報の要求方法、当該方法のためのユーザノードおよびサーバ
CN104133882A (zh) 一种基于hdfs的小文件处理方法
CN103150394A (zh) 面向高性能计算的分布式文件系统元数据管理方法
CN104850572A (zh) HBase非主键索引构建与查询方法及其系统
WO2008014062A2 (en) System and apparatus for optimally trading off the replication overhead and consistency level in distributed applications
CN104820717A (zh) 一种海量小文件存储及管理方法和系统
CN110321325A (zh) 文件索引节点查找方法、终端、服务器、系统及存储介质
CN101447937A (zh) 一种基于路径划分与多分布目录的快速数据定位方法
CN109684282A (zh) 一种构建元数据缓存的方法及装置
CN105516284B (zh) 一种集群数据库分布式存储的方法和装置
WO2013046667A1 (ja) 情報システム、その管理方法およびプログラム、データ処理方法およびプログラム、ならびに、データ構造
CN103107944B (zh) 一种内容定位方法和路由设备
CN103823846A (zh) 一种基于图论的大数据存储及查询方法
JP7202558B1 (ja) ヒューマンサイバーフィジカル融合環境におけるデジタルオブジェクトアクセス方法及びシステム
CN105357247A (zh) 基于分层云对等网络的多维属性云资源区间查找方法
JP2012252705A (ja) 階層的な名前構造に基づいたネットワークにおけるコンテンツ要請者及びコンテンツ回答者の通信方法及び装置
CN102378407A (zh) 一种物联网中的对象名字解析系统及其解析方法
JP2007018153A (ja) 情報検索システム、情報検索装置、情報検索方法、記録媒体及びプログラム
CN104376014A (zh) 一种结构化p2p网络中的资源发布及查询方法
JP4494901B2 (ja) リソース検索方法およびリソース検索システム
JP3072884B2 (ja) リソーストポロジーを利用した情報リソースの検索方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201201

Address after: Building 15, No. 14, Yongxing Road, Nantong City, Jiangsu Province, 226001

Patentee after: JIANGSU LANXIN ELECTRONIC TECHNOLOGY Co.,Ltd.

Address before: 518057 Nanshan District Guangdong high tech Industrial Park, South Road, science and technology, ZTE building, Ministry of Justice

Patentee before: ZTE Corp.