CN116975104A - 用于查找数据的方法、电子设备和计算机程序产品 - Google Patents

用于查找数据的方法、电子设备和计算机程序产品 Download PDF

Info

Publication number
CN116975104A
CN116975104A CN202210430392.XA CN202210430392A CN116975104A CN 116975104 A CN116975104 A CN 116975104A CN 202210430392 A CN202210430392 A CN 202210430392A CN 116975104 A CN116975104 A CN 116975104A
Authority
CN
China
Prior art keywords
node
data
distance
metadata
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210430392.XA
Other languages
English (en)
Inventor
林蓁蓁
陈思
侯安州
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dell Products LP
Original Assignee
Dell Products LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dell Products LP filed Critical Dell Products LP
Priority to CN202210430392.XA priority Critical patent/CN116975104A/zh
Priority to US17/747,677 priority patent/US11799962B1/en
Publication of CN116975104A publication Critical patent/CN116975104A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0617—Improving the reliability of storage systems in relation to availability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0635—Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开的实施例涉及用于查找数据的方法、电子设备和计算机程序产品。该方法包括在第一节点处获取要查找的数据的数据标识，第一节点位于具有层结构的系统中，数据标识包括与层结构中的层有关的层信息。该方法还包括确定数据标识和第一节点的节点标识之间的距离。该方法还包括基于距离，确定可用于获取数据的元数据的第二节点以用于获取元数据，其中距离与第一节点和第二节点在层结构中的位置有关。该方法还包括基于元数据确定存储数据的第三节点以用于获取数据。通过该方法，能够快速查找到存储数据的元数据的节点，节省了查找时间，提高了数据处理效率。

Description

用于查找数据的方法、电子设备和计算机程序产品
技术领域
本公开的实施例总体涉及数据处理领域，具体涉及用于查找数据的方法、电子设备和计算机程序产品。
背景技术
当前，越来越多的云、边缘节点和大量客户端以节点形式参与到5G网络和边缘存储及计算。各种类型的节点被连接在一起形成了分布式存储系统(也称为分布式存储网络)，用于向用户提供高吞吐量和高可用性的数据。
目前已经提出了按照去中心化的方式组织的基于边缘存储的分布式存储系统。由于参与节点越来越多，为了便于数据的处理采了诸如分布式哈希(hash)表的机制来查找存储的数据的元数据。在这些查找元数据的机制中需要遍历搜索路径或经过多个跳来查找元数据。然而，在通过上述方式查找元数据的过程中还存在许多需要解决的问题。
发明内容
本公开的实施例提供了一种用于查找数据的方法、电子设备和计算机程序产品。
根据本公开的第一方面，提供了一种用于查找数据的方法。该方法包括在第一节点处获取要查找的数据的数据标识，第一节点位于具有层结构的系统中，数据标识包括与层结构中的层有关的层信息。该方法还包括确定数据标识和第一节点的节点标识之间的距离。该方法还包括基于距离，确定可用于获取数据的元数据的第二节点以用于获取元数据，距离与第一节点和第二节点在层结构中的位置有关。该方法还包括基于元数据确定存储数据的第三节点以用于获取数据。
根据本公开的第二方面，提供了一种用于处理数据的方法。该方法包括在第一节点处确定被存储的数据的散列值，第一节点位于具有层结构的分布式存储系统中。该方法还包括基于第一节点的层信息和散列值来生成数据的数据标识，层信息与第一节点在层结构中的位置有关。该方法还包括确定数据标识与第一节点的节点标识之间的距离。该方法还包括基于距离，确定第二节点以用于存储元数据，元数据包括数据标识，距离与第一节点和用于存储数据的元数据的第二节点在层结构中的位置有关。
根据本公开的第三方面，提供了一种电子设备。该电子设备包括至少一个处理器；以及存储器，耦合至至少一个处理器并且具有存储于其上的指令，指令在由至少一个处理器执行时使设备执行动作，所述动作包括：在第一节点处获取要查找的数据的数据标识，第一节点位于具有层结构的系统中，数据标识包括与层结构中的层有关的层信息；确定数据标识和第一节点的节点标识之间的距离；基于距离，确定可用于获取数据的元数据的第二节点以用于获取元数据，距离与第一节点和第二节点在层结构中的位置有关；以及基于元数据确定存储数据的第三节点以用于获取数据。
根据本公开的第四方面，提供了一种电子设备。该电子设备包括至少一个处理器；以及存储器，耦合至至少一个处理器并且具有存储于其上的指令，指令在由至少一个处理器执行时使设备执行动作，所述动作包括：在第一节点处确定被存储的数据的散列值，第一节点位于具有层结构的分布式存储系统中；基于第一节点的层信息和散列值来生成数据的数据标识，层信息与第一节点在层结构中的位置有关；确定数据标识与第一节点的节点标识之间的距离；以及基于距离，确定第二节点以用于存储元数据，元数据包括数据标识，距离与第一节点和用于存储数据的元数据的第二节点在层结构中的位置有关。
根据本公开的第五方面，提供了一种计算机程序产品，该计算机程序产品被有形地存储在非易失性计算机可读介质上并且包括机器可执行指令，该机器可执行指令在被执行时使机器执行本公开的第一方面或第二方面中的方法的步骤。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。
图1图示了根据本公开的实施例的分布式存储网络100的示意图；
图2图示了根据本公开的实施例的用于查找数据的方法200的流程图；
图3图示了根据本公开的实施例的用于查找数据的方法300的流程图；
图4图示了根据本公开的实施例的设备层次结构的示例400的示意图；
图5图示了根据本公开的实施例的设备层次结构的示例500的示意图；
图6图示了根据本公开的实施例的针对设备的二叉树结构的示例600的示意图；
图7图示了适于用来实施本公开内容的实施例的示例设备700的示意性框图。
在各个附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
如上所述，基于边缘存储的分布式存储系统中的节点通常是按照去中心化的方式来组织的。当客户端请求访问数据时，首先需要在分布式存储系统的分布式哈希表中找到数据的元数据以定位数据。然而，查询元数据的请求将在去中心化的全局节点中被转发多次才能获取指示应用数据的存储位置的元数据。
分布式哈希表在边缘场景中并不完美。在传统方案中，某个源节点产生的数据的元数据将会被广播到去中心化的机器，并且被存储到具有与元数据中的数据标识逻辑上相邻的节点标识的多个目标节点中。然而，这些目标节点在物理上可能远离产生该数据的源节点，甚至远离源节点所在的区域。在这种情况下，由于元数据被存储在远离源节点所在区域的目标节点中，对数据或数据块的查询通常需要经过若干跳(hop)。在每跳中，都可能会询问物理上相距较远并且响应延迟高的节点是否持有该数据。因此，这使得数据查询需要花费较长的时间。在某些情况下，例如自动驾驶汽车，将在同一区域内请求或共享应用程序数据，以保证服务的连续性。原始的分布式哈希表机制在整个系统中分发元数据，当路由跟踪遍历一个广阔的字段时，会延长查询时间。
至少为了解决上述和其他潜在问题，本公开的实施例提出了一种查找数据的方法。在该方法中，第一节点获取要查找的数据的数据标识，第一节点位于具有层结构的系统中并且数据标识包括与层结构中的层有关的层信息。然后第一节点确定数据标识和第一节点的节点标识之间的距离。基于该距离，第一节点确定存储有数据的元数据的第二节点以用于获取元数据，距离与第一节点和第二节点在层结构中的位置有关。最后第一节点基于元数据确定存储数据的第三节点以用于获取数据。通过该方法，能够快速查找到存储数据的元数据的节点，节省了查找时间，提高了数据处理效率。
下面将进一步结合附图来详细描述本公开的实施例，其中图1示出了根据本公开的一些实施例的用于数据存储的分布式存储网络100的示意图。应当理解，图1示出的设备的数目和布置仅是示例，分布式存储网络100中可以包括不同数目和不同布置的设备。
如图1所示，边缘计算环境下的分布式存储系统100包括云102、边缘节点104、106、108、110、112、114和116以及终端节点118、120、122、124和126。
云102可以是由云服务提供商提供的、通过软硬件计算整合的多个服务器设备集群，其作为整体提供服务。应当理解，图1中所示出的云的数目和布置仅仅是示例性的，而非对本公开的具体限定。在分布式存储网络100中，可以包括任意数目、任意类型、任意布置的云。
边缘节点104、106、108、110、112、114和116通过有线或无线连接加入分布式存储系统100，以彼此通信耦合。在公开中，边缘节点可以是任何具有计算资源的计算设备或者具有存储资源的存储设备。边缘节点具备实时数据分析、本地数据存储、实时网络联接等共性能力。边缘节点的示例包括但不限于边缘网关、边缘控制器、或边缘服务器等。
级端节点118、120、122、124和126通常包括各种类型的终端设备。终端设备的示例包括但不限于：台式计算机、笔记本计算机、智能电话、可穿戴式设备、安防相机、智能制造设备、智能家居设备、物联网设备、智能汽车，等等。应当理解，虽然图1中仅示出了五个终端节点，但这仅仅是示例性的，而非对本公开的具体限定。在分布式存储网络100中，可以包括任意数目、任意类型的终端节点。
终端节点118、120、122、124和126可以按照其地理位置、网络配置等通过有线或无线连接加入分布式存储系统100，以彼此通信耦合。例如，终端节点118和120连接到物理上最近的边缘节点114，终端节点122、124和126连接到物理上最近的边缘节点116。
分布式存储系统100中的终端节点和边缘节点存储了数据和数据的元数据，并且能够建立与请求节点的通信路径以传输所请求的数据。元数据可以至少包括数据的标识、数据的存储位置、数据的大小、数据的来源等。
在一些实施例中，在终端节点或边缘节点存储数据时，会生成数据的元数据。元数据中的数据标识包括通过哈希算法对数据进行哈希处理得到的数据哈希值。例如哈希值长度可以为256、128等等。在获得了数据哈希值后将其与存储该数据的节点相关的层信息进行组合得到数据标识。层信息也称为地理标识，其反映该节点在层次结构中的位置信息，即指示该节点在层次结构的哪个区域中。然后查找与该数据标识在逻辑上相近的目标节点标识，以用与该目标节点标识相对应的目标节点来存储该元数据。
在一些实施例中，将层信息作为前缀附接到该数据哈希值中。上述示例仅是用于描述本公开，而非对本公开的具体限定。可以采用任意合适的方式组合层信息和数据哈希值。由于在数据标识中加入了存储数据的节点的层信息。用于存储元数据的节点的节点标识在逻辑上与数据标识邻近。此时存储元数据的节点和存储数据的节点通常位于由层信息指示的相同区域中。进一步地，可以设置逻辑上与数据标识邻近的多个节点存储元数据。因此，在查找元数据时利用数据标识与设备标识的距离可以快速定位到存储元数据的节点。
在一些实施例中，节点标识也被称为基于层信息的节点标识。可以将节点的位置或层信息作为前缀添加到节点的哈希值，以获得节点的节点标识符。节点的哈希值可以通过对节点的属性信息进行哈希运算，例如，对节点ID、节点名称、节点IP地址等进行哈希运算。备选地或附加地，节点的标识和数据标识的长度相同。
通过该方法，可以快速查找到存储数据的元数据的节点，节省了查找时间，提高了数据处理效率。
上面结合图1描述了本公开的实施例能够在其中被实现的示例系统100的框图。下面结合图2描述根据本公开的实施例的用于查找数据的方法200的流程图。方法200可以在图1中的终端节点118、120、122、124和126、边缘节点104、106、108、110、112、114和116或任意合适的计算设备处执行。
在框202处，在第一节点处获取要查找的数据的数据标识，第一节点位于具有层结构的系统中，数据标识包括与层结构中的层有关的层信息。例如，终端节点120接收到来自用户的查找数据请求，该请求包括数据的数据标识。
在一些实施例中，节点接收到来自用户的查询关键词，例如文件名，然后通过该查询关键词在关键词与数据标识的映射关系中获得对应的数据标识。在一个示例中，该映射关系为文件名与数据标识之间的映射关系或对应关系。通过上述示例，可以快速的确定数据标识。在一些实施例中，节点接收到由其他节点发送过来的数据标识。上述示例仅是用于描述本公开，而非对本公开的具体限定。本领域技术人员可以采用任意合适的方式获取数据标识。
在框204处，确定数据标识和第一节点的节点标识之间的距离。例如，终端节点120确定获得的数据标识与终端节点120的节点标识之间的距离。
在一些实施例中，节点标识包括与第一节点在层结构中的位置有关的层信息。其中针对第一节点的层信息与第一节点在层结构中的位置有关。例如终端节点120的节点标识包括与终端节点120有关的层信息，该层信息可指示与终端节点120相连的边缘节点114所在的层区域。关于层信息的示例设置可以参见以下图5的描述。
在一些实施例中，第一节点将数据标识和节点标识转换为二进制值。然后对经转换的数据标识和节点标识进行异或处理以确定距离。通过这种方式，可以快速的确定出两者之间距离。
在一些实施例中，节点在存储数据时对数据进行哈希处理得到哈希值，然后将针对该节点的层信息结合到哈希值中以得到针对该数据的数据标识，然后将数据存储在逻辑上与该节点标识邻近的节点标识所对应的节点上。由于节点标识和数据标识中均包括了针对节点在层次结构中的层信息，因此通过比较数据标识和节点标识可以快速找到存储元数据的节点。
在一些实施例中，第一节点在接收到数据标识后先在第一节点上查找是否有对应的元数据，如果没有则再计算数据标识与节点标识的距离。
在框206处，基于距离，确定可用于获取数据的元数据的第二节点以用于获取元数据。其中该距离与第一节点和第二节点在层结构中的位置有关。例如，如果根据距离找到第二节点为终端节点118，则可从终端节点118获取元数据。如果根据距离找到第二节点为边缘节点116，则从边缘节点116获取元数据。
在一些实施例中，在分布式存储系统的每个节点中都会存储一个路由表，该路由表包括多个条目，每个条目包括距该节点的节点标识的距离范围以及在该距离范围内有哪些节点。在生成路由表时，计算该节点的节点标识与和与其通信的其他节点的节点标识的距离，然后依据距离的大小将节点标识放入对应距离范围的条目中。
在一些实施例中，第一节点基于距离区间与节点标识的映射关系，确定与该距离相对应的一组节点。例如，与路由表中该距离所在距离区间相对应的一组节点或者与路由表中的包括该距离的距离区间以及相邻的多个距离区间相对应的多组节点。然后将一组或多组节点中的一个节点确定为所述第二节点。接下来向第二节点发送数据标识以用于从第二节点接收元数据。该第二节点接收到数据标识后会查找是否存在对应的元数据。如果查找到，则元数据返给第一节点。如果没有则进行与该第一节点同样的操作以从它的路由表中查找存储元数据的节点，然后向其中的一个节点发送数据标识。
在框208处，基于元数据确定存储数据的第三节点以用于获取数据。在获得了元数据后，则可以确定存储数据的第三节点的标识或位置。然后通过向第三节点发送数据获取请求来获得数据。通过该方式，可以快速的获得数据。
通过该方法，能够快速查找到存储数据的元数据的节点，节省了查找时间，提高了数据处理效率。
上面结合图2描述了本公开的实施例用于处理数据的方法200的框图。下面结合图3描述根据本公开的实施例的用于处理数据的方法300的流程图。方法300可以在图1中的终端节点118、120、122、124和126和边缘节点104、106、108、110、112、114和116及任意合适的计算设备处执行。方法300主要描述存储数据和元数据的过程。
在框302处，在第一节点处确定被存储的数据的散列值，第一节点位于具有层结构的分布式存储系统中。例如，在终端节点120处获得了要存储的数据或生成了要存储的数据。然后基于散列函数来获得该数据的散列值。该散列函数可以为任意合适的散列的函数。在一个示例中，针对数据的散列值大小为256或128位。上述示例仅是用于描述本公开而非对本公开的具体限定。数据的散列值可以设置为任意合适的大小。
在框304处，基于第一节点的层信息和散列值来生成数据的数据标识。其中第一节点的层信息与第一节点在层结构中的位置有关。
在一些实施例中，获取用于存储数据的第一节点的层信息。例如如果图1中的终端节点120存储数据，则获得针对终端节点120的层信息。该层信息指示终端节点120所位于的层区域。然后将层信息作为前缀附接到散列值以形成数据标识。通过该方式，可以快速的确定存储数据的元数据的节点。上述示例仅是用于描述本公开，而非对本公开具体限定，本领域技术人员可以依据需要设置层信息与数据标识的组合方式。
在框306处，确定数据标识与第一节点的节点标识之间的距离。通过计算该距离以用于查找存储数据的元数据的节点标识。
在一些实施例中，第一节点将将数据标识与节点标识转换为二进制值。然后对经转换的数据标识和节点标识执行异或操作以确定该距离。在一些实施例中，可以对数据标识与第一节点的节点标识执行各种合适的操作并将操作结果作为对应的距离。上述示例仅是用于描述本公开，而非对本公开的具体限定。
在框308处，基于距离，确定第二节点以用于存储所元数据，该元数据包括数据标识。距离与第一节点和用于存储数据的元数据的第二节点在层结构中的位置有关。
在一些实施例中，第一节点根据距离区间与节点标识的映射关系，确定出与该距离相对应的一组节点。然后第一节点从该一组节点中确定用于存储元数据的第二节点。例如，将第一节点的路由表中该距离所在的距离区间所对应的一组节点中的一个节点作第二节点。上述示例仅是用于描述本公开，而非对本公开的具体限定。
通过该方法，可以快速查找到存储数据的元数据的节点，节省了查找时间，提高了数据处理效率。
上面结合图3描述了本公开的实施例用于查找数据的方法300的框图。下在结合图4描述根据本公开的实施例的设备层次结构的示例400。
如图4所示，示例400包括由系统的各个节点形成的层次结构。终端节点420、422、424、426、428、430、432、434形成一层，边缘节点402、404、406、408、410、412、414、416、418形成三层。因此将针对节点422的查找区域分为三层。查询元数据数据时，会先遍历节点延迟最低的第0层区域，然后扩展到第1层区域，然后再扩展到第2层区域，以在更广泛的范围内搜索。
当节点连接到网关或其他设备并加入边缘数据服务网络时，会分配层信息，也称为地理标识ID。由于网关静态放置在室内并且维护良好，因此预先配置了适当的地理标识ID，可以将其广播到附近的节点。
在这种多个层区域的设计中，每个节点中的层信息由多个部分组成，层信息可以表示为二进制。多个部分指示其在层次结构中的位置，其中每个部分指示其所在的层区域。例如，如图4所示，在终端节点上具有三个层级，由于在第2层只有一个区域，所以不需要为该区域设置额外的比特。因此，可以设置层信息用于指示两个层，层信息中的第一部分二进制数据00…0用于指示第1层区域，层信息中的后一部分的二进制数据00…0用于指示第0层区域。每层的位数是可变的，取决于整个边缘网络的规模。上述示例仅是用于描述本公开，而非对本公开的具体限定。地理标识的位数、多少位指示一个层或地理标识指示多少层可以由本领域技术人员依据需要设置。
上面结合图4描述了实施例的设备结构的示例400的示意图。下面结合图5描述根据本公开的实施例的设备的层次结构的示例500的示意图，在示例500中为节点502、504、506、508、510、512、514、516、518、520、522、524和526分配了地理标识。如图5所示，每个节点具有包括层信息的节点标识。例如，节点标识＝层信息+针对节点的哈希值，哈希值用“x”表示，层信息为8位，第1层4位，第0层4位。节点A 508的层信息为0000 0000，表示其在第1层为0000的层区域中；第0层层信息为0000，表示其在第0层为0000的层区域中。每一层区域中的层信息1111保留给该层中深度最低的节点，图5中为节点I和M，这是该层具有更强大硬件的控制点。
在一些实施例中，可以将层信息应用到路由表生成中。假设“x”是一个两位哈希ID时，在图6中示出了利用包括层信息的节点标识构造的二叉树的示例600，其用于说明节点C与其他节点的距离。在构造二叉树时，树的叶子是节点的ID。在该二叉树中，左孩子分配有位0，右孩子分配有1。对于任何给定的节点，可以将二叉树划分为一系列不包含该节点的连续较低的子树。最高子树由不包含该节点的二叉树的一半组成。下一个子树由不包含该节点的剩余树的一半组成，依此类推。以节点C为例，每个椭圆区域都是一个子树，其标识有数字，例如为1到10，用于指示距离节点C的距离，例如，数字作为2的指数来指示距节点C的距离。
由图6中显示的节点距离在节点C中形成的路由表如下：
表1：节点C的路由表
与节点C在层0区域的节点在前两行，与节点C在层1区域的节点位于该表的中间，与节点C在层2区域的节点放置在路由表的底部。节点I和M是每一层的控制点，占据一整行。遵循分布式哈希表查询机制，在计算数据标识到节点标识的距离后，它们的距离落入对应的行中。如果数据区域较远，则下一跳的节点为表1中的节点E、F、G、H、I，否则下一跳为距离较远的其他节点。这个过程将查询带到元数据的位置附近，下一步的查找将与前面类似。
例如，参照图5所示，节点C正在查询节点E中的元数据。如果由于边缘的动态属性，C不知道节点E，但它记录了同一区域中的一些其他节点。节点C首先跳到路由表较远的区域的行，如节点F。第二跳在F中计算，属于上述“同区域内数据”的情况。F将快速找到同一区域内的节点E。这个过程不会在分散在全球的节点之间跳跃，而是以最低的延迟直接接近目标。
通过该方法，可以快速查找到存储数据的元数据的节点，节省了查找时间，提高了数据处理效率。
图7示出了可以用来实施本公开的实施例的示例设备700的示意性框图。图1中的边缘节点104、106、108、110、112、114和116以及终端节点118、120、122、124和126可以利用设备700来实现。如图所示，设备700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的计算机程序指令或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序指令，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线604彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储页面708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理，例如方法200和300，可由处理单元701执行。例如，在一些实施例中，方法200和300可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序被加载到RAM703并由CPU 701执行时，可以执行上文描述的方法200和300的一个或多个动作。
本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是——但不限于——电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (21)

1.一种用于查找数据的方法，包括：
在第一节点处获取要查找的数据的数据标识，所述第一节点位于具有层结构的系统中，所述数据标识包括与所述层结构中的层有关的层信息；
确定所述数据标识和所述第一节点的节点标识之间的距离；
基于所述距离，确定可用于获取所述数据的元数据的第二节点以用于获取所述元数据，所述距离与所述第一节点和所述第二节点在所述层结构中的位置有关；以及
基于所述元数据确定存储所述数据的第三节点以用于获取所述数据。
2.根据权利要求1所述的方法，其中获取所述数据标识包括：
基于针对所述数据的关键词，获得与所述数据相对应的数据标识。
3.根据权利要求1所述的方法，其中确定所述距离包括：
将所述数据标识和所述节点标识转换为二进制值；以及
对经转换的所述数据标识和所述节点标识进行异或处理以确定所述距离。
4.根据权利要求1所述的方法，其中确定所述第二节点包括：
基于距离区间与节点标识的映射关系，确定与所述距离相对应的一组节点；以及
将所述一组节点中的一个节点确定为所述第二节点。
5.根据权利要求4所述的方法，其中确定所述第二节点还包括：
向所述第二节点发送所述数据标识以用于从所述第二节点接收所述元数据。
6.根据权利要求1所述的方法，其中所述节点标识包括与所述第一节点在所述层结构中的位置有关的层信息。
7.一种用于处理数据的方法，包括：
在第一节点处确定被存储的数据的散列值，所述第一节点位于具有层结构的分布式存储系统中；
基于所述第一节点的层信息和所述散列值来生成所述数据的数据标识，所述层信息与所述第一节点在所述层结构中的位置有关；
确定所述数据标识与所述第一节点的节点标识之间的距离；以及
基于所述距离，确定第二节点以用于存储元数据，所述元数据包括所述数据标识，所述距离与所述第一节点和用于存储所述数据的元数据的所述第二节点在所述层结构中的位置有关。
8.根据权利要求7所述的方法，其中生成所述数据标识包括：
将所述层信息作为前缀附接到所述散列值以形成所述数据标识。
9.根据权利要求7所述的方法，其中确定所述距离包括：
将所述数据标识与所述节点标识转换为二进制值；以及
对经转换的所述数据标识和所述节点标识执行异或操作以确定所述距离。
10.根据权利要求7所述的方法，其中确定所述第二节点包括：
根据距离区间与节点标识的映射关系，确定与所述距离相对应的一组节点；以及
从所述一组节点中确定用于存储所述元数据的所述第二节点。
11.一种电子设备，包括：
至少一个处理器；以及
存储器，耦合至所述至少一个处理器并且具有存储于其上的指令，所述指令在由所述至少一个处理器执行时使所述设备执行动作，所述动作包括：
在第一节点处获取要查找的数据的数据标识，所述第一节点位于具有层结构的系统中，所述数据标识包括与所述层结构中的层有关的层信息；
确定所述数据标识和所述第一节点的节点标识之间的距离；
基于所述距离，确定可用于获取所述数据的元数据的第二节点以用于获取所述元数据，所述距离与所述第一节点和所述第二节点在所述层结构中的位置有关；以及
基于所述元数据确定存储所述数据的第三节点以用于获取所述数据。
12.根据权利要求11所述的电子设备，其中获取所述数据标识包括：
基于针对所述数据的关键词，获得与所述数据相对应的数据标识。
13.根据权利要求11所述的电子设备，其中确定所述距离包括：
将所述数据标识和所述节点标识转换为二进制值；以及
对经转换的所述数据标识和所述节点标识进行异或处理以确定所述距离。
14.根据权利要求11所述的电子设备，其中确定所述第二节点包括：
基于距离区间与节点标识的映射关系，确定与所述距离相对应的一组节点；以及
将所述一组节点中的一个节点确定为所述第二节点。
15.根据权利要求14所述的电子设备，其中确定所述第二节点还包括：
向所述第二节点发送所述数据标识以用于从所述第二节点接收所述元数据。
16.根据权利要求11所述的电子设备，其中所述节点标识包括与所述第一节点在所述层结构中的位置有关的层信息。
17.一种电子设备，包括：
至少一个处理器；以及
存储器，耦合至所述至少一个处理器并且具有存储于其上的指令，所述指令在由所述至少一个处理器执行时使所述设备执行动作，所述动作包括：
在第一节点处确定被存储的数据的散列值，所述第一节点位于具有层结构的分布式存储系统中；
基于所述第一节点的层信息和所述散列值来生成所述数据的数据标识，所述层信息与所述第一节点在所述层结构中的位置有关；
确定所述数据标识与所述第一节点的节点标识之间的距离；以及
基于所述距离，确定第二节点以用于存储元数据，所述元数据包括所述数据标识，所述距离与所述第一节点和用于存储所述数据的元数据的第二节点在所述层结构中的位置有关。
18.根据权利要求17所述的电子设备，其中生成所述数据标识包括：
将所述层信息作为前缀附接到所述散列值以形成所述数据标识。
19.根据权利要求17所述的电子设备，其中确定所述距离包括：
将所述数据标识与所述节点标识转换为二进制值；以及
对经转换的所述数据标识和所述节点标识执行异或操作以确定所述距离。
20.根据权利要求17所述的电子设备，其中确定所述第二节点包括：
根据距离区间与节点标识的映射关系，确定与所述距离相对应的一组节点；以及
从所述一组节点中确定用于存储所述元数据的所述第二节点。
21.一种计算机程序产品，所述计算机程序产品被有形地存储在非易失性计算机可读介质上并且包括机器可执行指令，所述机器可执行指令在被执行时使机器执行根据权利要求1至6和权利要求7至10中任一项所述的方法的步骤。
CN202210430392.XA 2022-04-22 2022-04-22 用于查找数据的方法、电子设备和计算机程序产品 Pending CN116975104A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210430392.XA CN116975104A (zh) 2022-04-22 2022-04-22 用于查找数据的方法、电子设备和计算机程序产品
US17/747,677 US11799962B1 (en) 2022-04-22 2022-05-18 Method, electronic device, and computer program product for looking up data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210430392.XA CN116975104A (zh) 2022-04-22 2022-04-22 用于查找数据的方法、电子设备和计算机程序产品

Publications (1)

Publication Number Publication Date
CN116975104A true CN116975104A (zh) 2023-10-31

Family

ID=88414956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210430392.XA Pending CN116975104A (zh) 2022-04-22 2022-04-22 用于查找数据的方法、电子设备和计算机程序产品

Country Status (2)

Country Link
US (1) US11799962B1 (zh)
CN (1) CN116975104A (zh)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7995588B2 (en) * 2006-01-27 2011-08-09 Vuze Llc Systems and methods for distributing data within an internet having a plurality of nodes
US7818402B1 (en) 2006-02-08 2010-10-19 Roxbeam Media Network Corporation Method and system for expediting peer-to-peer content delivery with improved network utilization
US8256010B2 (en) * 2009-04-01 2012-08-28 Microsoft Corporation Providing access to a data item using access graphs
US9906597B2 (en) 2015-04-07 2018-02-27 Microsoft Technology Licensing, Llc Collaboration data proxy system in cloud computing platforms
ES2899933T3 (es) 2016-03-15 2022-03-15 Datomia Res Labs Ou Gestión y seguridad de datos del sistema de almacenamiento distribuido
US10802747B2 (en) 2017-11-30 2020-10-13 Veritas Technologies Llc Performing backup operations using replicas
US10949384B2 (en) 2018-07-03 2021-03-16 Cohesity, Inc. Using a storage system to optimize and maintain the metadata associated with a plurality of small files
US10893103B2 (en) 2018-07-25 2021-01-12 Commvault Systems, Inc. Distributed and scalable storage management using a storage-microservices server
JP6573044B1 (ja) 2019-03-22 2019-09-11 富士ゼロックス株式会社 データ管理システム
CN112749145A (zh) 2019-10-29 2021-05-04 伊姆西Ip控股有限责任公司 存储和访问数据的方法、设备和计算机程序产品
CN112882647B (zh) 2019-11-29 2024-06-18 伊姆西Ip控股有限责任公司 存储和访问数据的方法、电子设备和计算机程序产品
CN112887116A (zh) 2019-11-29 2021-06-01 伊姆西Ip控股有限责任公司 管理分布式应用系统中的应用节点的方法、设备和产品
EP3879402B1 (en) * 2020-03-13 2024-01-17 Deutsche Telekom AG Methods and systems for service discovery and tunnelling in a distributed architecture
CN115079935A (zh) * 2021-03-15 2022-09-20 伊姆西Ip控股有限责任公司 用于存储和查询数据的方法、电子设备和计算机程序产品

Also Published As

Publication number Publication date
US20230344904A1 (en) 2023-10-26
US11799962B1 (en) 2023-10-24

Similar Documents

Publication Publication Date Title
US11341202B2 (en) Efficient method of location-based content management and delivery
EP2073505B1 (en) Query routing in distributed database system
KR100990098B1 (ko) 데이터 처리 시스템, 데이터 처리 방법, 정보 처리 디바이스, 및 컴퓨터 판독가능 기록 매체
US7995504B2 (en) Locality-based routing table generation
JP2008516528A (ja) ネットワークのサービスノードの特定
JP2006174417A (ja) リソース要求を対応するリソースに会合させる方法およびシステム
CN110413845B (zh) 基于物联网操作系统的资源存储方法及装置
JP2008262507A (ja) データ検索装置、データ検索システム、データ検索方法およびデータ検索用プログラム
US11645255B2 (en) Method, electronic device, and computer program product for storing and searching for data
US11882181B2 (en) Method, device, and computer program product for data storage
Malensek et al. Expressive query support for multidimensional data in distributed hash tables
US20120317275A1 (en) Methods and devices for node distribution
EP2530611B1 (en) Methods and apparatuses for a network based on hierarchical name structure
CN113641869B (zh) 一种人机物融合环境下的数字对象访问方法和系统
EP1859602B1 (en) Distributed storing of network position information for nodes
US20200036784A1 (en) Peer-to-peer network for internet of things resource allocation operation
JP2008269141A (ja) オーバレイ検索装置、オーバレイ検索システム、オーバレイ検索方法およびオーバレイ検索用プログラム
CN109495525B (zh) 网络组件、解析内容标识的方法和计算机可读存储介质
CN116975104A (zh) 用于查找数据的方法、电子设备和计算机程序产品
Kang et al. A Semantic Service Discovery Network for Large‐Scale Ubiquitous Computing Environments
Cai et al. The analysis of kademlia for random IDs
US20150227534A1 (en) Method for processing data query using information-centric network
CN114448815B (zh) 基于网络拓扑的cdn节点数据生成方法、装置及计算机设备
US20240020269A1 (en) Method, electronic device, and computer program product for searching for data
Morris et al. Context dissemination for dynamic urban-scale applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination