CN111309471B - 数据处理方法、装置及分布式系统 - Google Patents
数据处理方法、装置及分布式系统 Download PDFInfo
- Publication number
- CN111309471B CN111309471B CN201811512532.8A CN201811512532A CN111309471B CN 111309471 B CN111309471 B CN 111309471B CN 201811512532 A CN201811512532 A CN 201811512532A CN 111309471 B CN111309471 B CN 111309471B
- Authority
- CN
- China
- Prior art keywords
- data
- accessed
- target
- address
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000004891 communication Methods 0.000 claims abstract description 11
- 239000012634 fragment Substances 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013479 data entry Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
- G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
Abstract
本申请提供一种数据处理方法、装置及分布式系统，涉及数据通信技术领域。该方法通过接收主控单元发送的用于获得待访问数据的访问请求信息，其中，访问请求信息包括与待访问数据的目标索引地址对应的目标访问地址及待访问数据的标识信息；从访问请求信息中提取出目标访问地址、标识信息，并确定出目标访问地址对应的目标索引地址；根据目标索引地址及标识信息，从数据集中确定出待访问数据，并将待访问数据发送至主控单元，能够改善现有技术中需要读取所有数据并将其上传而导致内存消耗大的技术问题，有助于提高分布式系统数据访问的效率。
Description
技术领域
本申请涉及数据通信技术领域，具体而言，涉及一种数据处理方法、装置及分布式系统。
背景技术
分布式系统通常包括着主控单元和线卡单元，当线卡单元处理的数据量较少时，读取数据较为容易。在分布式系统需要访问大量数据时，例如需要访问百万级别的数据表项时，一次性读取却需要较长时间。比如，受限于数据的完整性制约，在现有技术中可采取串行访问的方式，即主控单元的业务模块完成一次完整的访问后，业务模块再发起一次新的数据访问，这样如果存在多个业务模块都需要访问数据的情况下，一个业务模块没有访问完成之前，其他的业务模块不能进行数据访问，使得数据访问的效率低下。或者采用并发访问的方式。比如，线卡单元读取自身存储的所有数据并将数据上传到主控单元，这样主控单元的业务模块才能并发访问，而将大量的数据读取与上传会造成大量的内存消耗。
发明内容
本申请提供一种数据处理方法、装置及分布式系统。
为了实现上述目的，本申请实施例所提供的技术方案如下所示：
第一方面，本申请实施例提供一种数据处理方法，应用于分布式系统中的线卡单元，所述分布式系统还包括与所述线卡单元通信连接的主控单元，所述方法包括：
接收所述主控单元发送的用于获得待访问数据的访问请求信息，其中，所述访问请求信息包括与所述待访问数据的目标索引地址对应的目标访问地址及所述待访问数据的标识信息；
从所述访问请求信息中提取出所述目标访问地址、所述标识信息，并确定出所述目标访问地址对应的所述目标索引地址；
根据所述目标索引地址及所述标识信息，从数据集中确定出所述待访问数据，并将所述待访问数据发送至所述主控单元。通过该方法，基于索引地址能够使得线卡单元快速读取到待访问数据，且无需对数据集中的所有数据进行读取，从而减少了读取的数据的量，有助于降低线卡单元、主控单元的内存消耗，进而有助于提升数据访问的效率。
结合第一方面，在一些可选地的实现方式中，所述线卡单元的数据集中存储有与所述数据集中的单元数据对应的索引地址，根据所述目标索引地址及所述标识信息，从数据集中确定出所述待访问数据，包括：
在数据集中的索引地址中查找是否存在与所述目标访问地址对应的所述目标索引地址；
在为是时，从所述目标索引地址对应的目标存储地址访问所述数据集中的单元数据，并根据所述标识信息从所述单元数据中确定出所述待访问数据；
在为否时，将所述目标访问地址对应的所述目标索引地址与所述数据集中的预设存储地址的目标单元数据关联，并从所述预设存储地址读取所述目标单元数据，并根据所述标识信息将所述目标单元数据确定为所述待访问数据。通过该方法，能够灵活对待访问数据进行确定。
结合第一方面，在一些可选地的实现方式中，确定出所述目标访问地址对应的所述目标索引地址，包括：
基于访问地址与索引地址的映射关系确定出所述目标访问地址对应的所述目标索引地址。通过该方法，有助于快速地通过目标访问地址确定出目标索引地址。
结合第一方面，在一些可选地的实现方式中，确定出所述目标访问地址对应的所述目标索引地址，包括：
将所述目标访问地址拆分为多个字段；并确定出与每个所述字段对应的索引地址片段；
根据每个所述字段对应的所述索引地址片段确定出所述目标索引地址。通过该方法，有助于快速地通过目标访问地址确定出目标索引地址。
结合第一方面，在一些可选地的实现方式中，在将所述待访问数据发送至所述主控单元之后，所述方法还包括：
从所述数据集中删除所述待访问数据；
将所述数据集中未被访问且没有关联其他索引地址的数据与所述目标索引地址关联。通过该方法，能够空出线卡单元的存储空间，有助于线卡单元利用空出的存储空间存储其他数据。
第二方面，本申请实施例还提供一种数据处理方法，应用于分布式系统中的主控单元，所述分布式系统还包括与所述主控单元通信连接的线卡单元，所述方法包括：
根据需要获得的待访问数据获得访问请求信息，并将所述访问请求信息发送至所述线卡单元，其中，所述访问请求信息包括与所述待访问数据的索引地址对应的访问地址及所述待访问数据的标识信息；
接收所述线卡单元发送的基于所述索引地址、所述标识信息从所述线卡单元存储的数据集中确定出的待访问数据。通过该方法，主控单元能够快速地从线卡单元获取到待访问数据，无需获取线卡单元的数据集中的其余数据，使得主控单元访问的数据的量少，从而有助于降低主控单元的内存消耗。
第三方面，本申请实施例还提供一种数据处理装置，应用于分布式系统中的线卡单元，所述分布式系统还包括与所述线卡单元通信连接的主控单元，所述装置包括：
第一接收单元，用于接收所述主控单元发送的用于获得待访问数据的访问请求信息，其中，所述访问请求信息包括与所述待访问数据的目标索引地址对应的目标访问地址及所述待访问数据的标识信息；
地址确定单元，用于从所述访问请求信息中提取出所述目标访问地址、所述标识信息，并确定出所述目标访问地址对应的所述目标索引地址；
数据发送单元，用于根据所述目标索引地址及所述标识信息，从数据集中确定出所述待访问数据，并将所述待访问数据发送至所述主控单元。
结合第三方面，在一些可选地的实现方式中，所述线卡单元的数据集中存储有与所述数据集中的单元数据对应的索引地址，所述数据发送单元还用于：
在数据集中的索引地址中查找是否存在与所述目标访问地址对应的所述目标索引地址；
在为是时，从所述目标索引地址对应的目标存储地址访问所述数据集中的单元数据，并根据所述标识信息从所述单元数据中确定出所述待访问数据；
在为否时，将所述目标访问地址对应的所述目标索引地址与所述数据集中的预设存储地址的目标单元数据关联，并从所述预设存储地址读取所述目标单元数据，并根据所述标识信息将所述目标单元数据确定为所述待访问数据。
第四方面，本申请实施例还提供一种数据处理装置，应用于分布式系统中的主控单元，所述分布式系统还包括与所述主控单元通信连接的线卡单元，所述装置包括：
请求发送单元，用于根据需要获得的待访问数据获得访问请求信息，并将所述访问请求信息发送至所述线卡单元，其中，所述访问请求信息包括与所述待访问数据的索引地址对应的访问地址及所述待访问数据的标识信息；
第二接收单元，用于接收所述线卡单元发送的基于所述索引地址、所述标识信息从所述线卡单元存储的数据集中确定出的待访问数据。
第五方面，本申请实施例还提供一种分布式系统，所述分布式系统包括线卡单元及与所述线卡单元通信连接的主控单元，其中：
所述线卡单元用于接收所述主控单元发送的用于获得待访问数据的访问请求信息，所述访问请求信息包括与所述待访问数据的目标索引地址对应的目标访问地址及所述待访问数据的标识信息；
所述线卡单元还用于从所述访问请求信息中提取出所述目标访问地址、所述标识信息，并确定出所述目标访问地址对应的所述目标索引地址；
所述线卡单元还用于根据所述目标索引地址及所述标识信息，从数据集中确定出所述待访问数据，并将所述待访问数据发送至所述主控单元。
第六方面，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行上述的方法。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举本申请实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的分布式系统的方框示意图。
图2为本申请实施例提供的数据处理方法的流程示意图之一。
图3为本申请实施例提供的访问地址确定索引地址的原理示意图。
图4为本申请实施例提供的数据处理方法的流程示意图之二。
图5为本申请实施例提供的第一数据处理装置的方框示意图。
图6为本申请实施例提供的第二数据处理装置的方框示意图。
图7为本申请实施例提供的主控单元的方框示意图。
图标：10-分布式系统；20-线卡单元；30-主控单元；21-处理模块；22-通信模块；23-存储模块；100-第一数据处理装置；110-第一接收单元；120-地址确定单元；130-数据发送单元；200-第二数据处理装置；210-请求发送单元；220-第二接收单元。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
在分布式系统需要访问大量数据时，例如需要访问百万级别的数据表项时，一次性读取却需要较长时间。比如，受限于数据的完整性制约，在现有技术中可采取串行访问的方式，即主控单元的业务模块完成一次完整的访问后，业务模块再发起一次新的数据访问，这样如果存在多个业务模块都需要访问数据的情况下，一个业务模块没有访问完成之前，其他的业务模块不能进行数据访问，使得数据访问的效率低下。或者采用并发访问的方式，即，线卡单元读取自身存储的所有数据并将数据上传到主控单元，这样主要主控处理的业务模块才能并发访问，而将大量的数据读取与上传会造成大量的内存消耗。
鉴于上述问题，本申请申请人经过长期研究探索，提出以下实施例以解决上述问题。下面结合附图，对本申请实施例作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
第一实施例
请参照图1，本申请实施例提供的分布式系统10可以包括主控单元30及线卡单元20。其中，线卡单元20的数量至少为一个，比如，可以为一个或多个。主控单元30的数量可以为一个或多个。每个主控单元30可以与至少一个线卡单元20通信连接，用于对线卡单元20进行管理控制，并从线卡单元20访问数据。线卡单元20作为分布式系统10的业务处理部件，受主控单元30的控制，例如可以用于存储流量数据，比如订单表项、日志等数据，可以呈线性的存储数据，例如通过链表、队列等形式存储数据集，一个数据集中可以包括多个单元数据，每个单元数据可以作为链表的一个数据节点。主控单元30可以包括至少一个用于访问数据的业务模块。
在本实施例中，主控单元30与线卡单元20可以分别作为独立的设备，也可以集成于一个设备上。例如，主控单元30可以为用于对数据访问起到管理控制作用的服务器，线卡单元20可以为用于对数据进行业务处理的服务器。
在本实施例中，主控单元30可以通过网络与线卡单元20建立通信连接以进行数据交互。此处网络可以是有线网络或无线网络，但不限于此。
请参照图2，本申请实施例提供的数据处理方法可以应用于上述的分布式系统10中的线卡单元20，由线卡单元20执行或实现数据处理方法的各步骤，能够降低数据处理过程中线卡单元20及主控单元30的内存消耗。
下面将对图2中所示的数据处理方法的各步骤进行详细阐述：
步骤S310，接收主控单元30发送的用于获得待访问数据的访问请求信息，其中，访问请求信息包括与待访问数据的目标索引地址对应的目标访问地址及待访问数据的标识信息。
在本实施例中，线卡单元20可以接收访问请求信息。主控单元30可以将访问请求信息发送至特定的线卡单元20，也可以通过广播的形式将访问请求信息发送至所有线卡单元20。访问请求信息中可以包括目标线卡单元20的IP地址，基于IP地址可以使得指定的线卡单元20才能接收到该访问请求信息。通常来讲，存储有待访问数据的线卡单元20即为目标线卡单元20，该目标线卡单元20也就是主控单元30发送访问请求信息的对象。
也就是说，主控单元30可以基于该IP地址，将访问请求信息发送至该线卡单元20，以避免其他线卡单元20接收到该访问请求信息，或者即使其他线卡单元20接收到访问请求信息，也可以无需响应该请求，从而有助于降低系统通信带宽以及数据处理的量。
在本实施例中，主控单元30可以根据待访问数据的内容构造相应的访问请求信息，该访问请求信息包括目标访问地址及标识信息。目标访问地址用于供线卡单元20基于该目标访问地址确定出待访问数据的目标索引地址，然后基于目标索引地址确定出访问地址的存储地址，以便于快速从数据集中定位出待访问数据的位置，该目标访问地址也可以称为目标访问ID。标识信息用于供线卡单元20从数据集中确定出待访问数据。
可理解地，待访问数据通常为管理人员根据实际情况确定的。例如，若管理人员需要查看某一时段内，一购物网站的所有订单数据，那么这些数据便为待访问数据，基于需要访问数据的特征及类型，便可以根据情况构造访问请求信息。比如，基于数据存储记录的时间、数据的类型标签(比如，日志数据、订单数据或其他类型的数据)、需要获取的数据的字节大小(比如只获取其中1GB大小的流量数据，当然可以根据实际情况设置阈值)、需要获取的数据节点的数量构造标识信息，然后可以基于数据的存储位置构建访问地址，最后将标识信息及访问地址进行封装，便可以作为访问请求信息。其中，该待访问数据可以为购物网站的订单数据(或订单表项)、服务器或设备的日志数据等，这里对待访问数据的具体类型不作限定。
步骤S320，从访问请求信息中提取出目标访问地址、标识信息，并确定出目标访问地址对应的目标索引地址。
在本实施例中，访问请求信息中通常封装有待访问数据的目标访问地址及标识信息。线卡单元20在接收到访问请求信息后，可以对访问请求信息解除封装，从而提取出目标访问地址及标识信息。
可选地，线卡单元20根据目标访问地址确定出目标访问地址对应的目标索引地址的步骤可以包括：基于访问地址与索引地址的映射关系确定出目标访问地址对应的目标索引地址。
在本实施例中，各访问地址可以为呈线性关系的数字组成。例如，分配访问地址时，各访问地址可以呈线性递增，例如三个访问地址可以分别为090，091，092，或呈线性递减，例如，092，091，090，这里对访问地址的具体类型不作限定，其中一个访问地址与一个唯一的索引地址进行关联。
可理解的，管理人员可以预先将索引地址与访问地址进行关联，比如一个索引地址与一个访问地址一一映射。基于该映射关系，线卡单元20便可以根据目标访问地址确定出目标索引地址。
可选地，根据目标访问地址确定出目标访问地址对应的目标索引地址的步骤可以为：将目标访问地址拆分为多个字段；并确定出与每个字段对应的索引地址片段；根据每个字段对应的索引地址片段确定出目标索引地址。
请参照图3，例如，对于一个IPv4地址：192.168.1.1，可以理解为有四层256叉树，即每层有256个节点，每个节点下面又有256个节点，“192”在第一层查找，“168”在第二层查找，“1”在第三层查找，“1”在第四层查找，最后一层叶子节点保存的为索引地址，这个地址可以为根据实际情况而设置，比如为0X123456等，基于此，方便逐层查找以确定出索引地址。
线卡单元20可以采用256叉树的方式组织访问该访问地址。具体地，线卡单元20查找256叉树上是否存在访问地址的叶子节点，如图3所示，由于本次存在，故将256叉树的叶子节点的索引地址确定为ABCD。由于使用了256叉树，每次访问时只需要四次就可以成功查找叶子节点，有助于快速地根据访问地址确定出索引地址，从而有助于减少数据处理的时间，提升数据处理的效率。
若本次访问不存在访问地址的叶子节点，则可以从数据集中没有被访问的单元数据中确定出一索引地址，并将该索引地址与该访问地址进行关联(比如，将索引地址拆分成多段，每段与一个访问地址的字段对应)，后续访问该访问地址时，便能查找到该访问地址的叶子节点，也就能够通过256叉树确定出索引地址。
步骤S330，根据目标索引地址及标识信息，从数据集中确定出待访问数据，并将待访问数据发送至主控单元30。
在本实施例中，线卡单元20中预先存储有包括各类数据的数据集，该数据集中通常包括了待访问数据。线卡单元20可以根据目标索引地址，定位出线卡单元20读取数据的起始位置。可理解地，目标索引地址所对应的单元数据便为线卡单元20开始读取的数据。基于此，线卡单元20无需对整个数据集进行读取，可以从目标索引地址对应的单元数据进行读取，然后从读取的数据中基于标识信息确定出待访问数据。因为线卡单元20是从无需对整个数据集进行读取，从而可以减少线卡单元20的内存及读取的数据量，从而能够提高线卡单元20对数据的读取的效率。另外，因为线卡单元20只是将需要访问的数据上传至主控单元30，无需将整个数据集发送至主控单元30，从而可以减少主控单元30的内存消耗，减少主控单元30数据的处理量，进而有助于改善现有技术中主控单元30因内存占用过大而无法对数据进行处理，或使得对数据处理的效率降低的问题。
在现有技术中，线卡单元20通常需要一次性地对整个数据集进行读取，并将读取的所有数据发送至主控单元30，然后由主控单元30接收数据集中的所有数据，并由主控单元30从接收的数据集中访问需要访问的数据。而现有的这种方式需要上传及存储的数据量大，从而使得数据访问的效率低，内存消耗高。
在本实施例中，线卡单元20无需对整个数据集进行读取以确定待访问数据。线卡单元20通过目标索引地址，可以从数据集中确定出待访问数据的存储地址(或存储位置)，然后基于该存储地址开始读取数据，并根据标识信息确定出待访问数据，使得线卡单元20读取的数据的量少，且仅需将确定的待访问数据发送至主控单元30即可，无需发送数据集中的其他数据，从而可以提升数据处理的效率。另外，主控单元30因为接收的仅为待访问数据，无需接收数据集中的其他多余数据，从而可以降低主控单元30的内存消耗，有助于提升主控单元30数据处理的效率。
在本实施例中，一个索引地址对应的数据可以称为数据集中的单元数据。该单元数据可以为表项、表格、表单等形式存在的数据。一个单元数据可以称为一个数据节点，每个索引地址与一个数据节点相对应。也就是说，线卡单元20可以通过索引地址从数据集中查找到待访问数据的首节点，然后从首节点读取数据，直到读取完待访问数据的所有节点，然后将待访问数据进行封装，发送至主控单元30。其中，待访问数据若包括多个节点的数据，也可以为一个节点的数据。若待访问数据为多个节点的数据，线卡单元20可以分批次将待访问数据发送至主控单元30，也可以一次性将待访问数据发送至主控单元30，这里对线卡单元20发送待访问数据的方式不作具体限定。
可选地，线卡单元20的数据集中存储有与数据集中的单元数据对应的索引地址。从数据集中确定出待访问数据的步骤可以为：
在数据集中的索引地址中查找是否存在与目标访问地址对应的目标索引地址；
存在与目标访问地址对应的目标索引地址时，从目标索引地址对应的目标存储地址访问数据集中的单元数据，并根据标识信息从单元数据中确定出待访问数据；
不存在与目标访问地址对应的目标索引地址时，将目标访问地址对应的目标索引地址与数据集中的预设存储地址的目标单元数据关联，并从预设存储地址读取目标单元数据，并根据标识信息将目标单元数据确定为待访问数据。
在本实施例中，数据集中可能存在待访问数据，也可能不存在待访问数据。数据集中可以预先存储有各单元数据对应的索引地址。对于数据集中不存在的待访问数据(这类数据可以为在数据集中被删除的数据或自始不存在的数据)，那么数据集中也就不会存在这类数据的索引地址。若线卡单元20基于目标访问地址，从数据集中查找到对应的目标索引地址，那么也就意味着数据集中存在需要访问的数据，也就是数据集中存在待访问数据。此时，查找到的索引地址也就是目标索引地址，线卡单元20基于该索引地址也就能够从数据集中查找到待访问数据的位置。
若线卡单元20在数据集中没有查找到与目标访问地址对应的目标索引地址，也就意味着数据集中不存在该待访问数据，此时需要重新定义待访问数据。具体地，管理人员可以根据实际情况设置重新定义访问数据的规则。例如，可以将数据集中没有被访问的数据节点中的首节点的位置作为新的索引地址，然后从该首节点读取数据，并基于标识信息确定出新的待访问数据。比如，线卡单元20可以将包括首节点在内的预设个数节点(比如，预设个数可以根据实际情况进行设置，比如，四个节点)的数据作为待新的待访问数据，然后将这预设个数的节点的数据进行封装，发送至主控单元30。当然，除了该首节点，也可以是其他节点，这里不作具体限定。
可选地，线卡单元20也可以根据访问地址的大小重新关联新的数据的索引地址。例如，访问地址为呈递增的数字090，091，092。单元数据存储在一链表上。一个单元数据为链表上的一个节点，且一个节点可以对应一个索引地址。若访问地址091的索引地址不存在，访问地址为090，092的索引地址存在，则可以将在访问地址为090，092的索引地址之间的数据的存储地址作为访问地址091的索引地址。
可选地，在本实施例中，在将待访问数据发送至主控单元30之后，方法还可以包括：从数据集中删除待访问数据；将数据集中未被访问且没有关联其他索引地址的数据与目标索引地址关联。
可理解地，若线卡单元20已经将待访问数据发送至主控单元30，那么线卡单元20便可以无需存储该待访问数据。也就是说，线卡单元20可以将已经上传至主控单元30的待访问数据删除，以空出存储空间。空出的存储空间可以用于存储新的其他数据。在删除待访问数据的同时，线卡单元20可以对索引地址进行老化，以更新索引地址，也就是索引地址可以指向数据集中未被读取的其他单元数据。
可选地，在步骤S230之后，主控单元30便可以基于接收的待访问数据，对该数据进行高并发访问，以提高访问效率。
下面以访问地址为IP地址对数据处理方法的各步骤进行举例说明：
第一步，主控单元30的业务模块需要访问线卡单元20中数据集中的节点M的表项信息(即待访问数据)，业务模块的访问ID(目标访问地址)为一个IP地址，例如IP地址为192.168.1.1。在本次完整的访问过程中，访问ID保持不变。
第二步，主控单元30将包含192.168.1.1的地址信息、标识信息的访问请求信息发送到线卡单元20。
第三步，线卡单元20将从访问请求信息中提取的IP地址信息作为本次的访问ID，也就是得到访问ID为192.168.1.1，线卡单元20以256叉树的方式组织访问ID，以确定出索引地址，可以参照上述实施例中对图3的描述。
第四步，线卡单元20查找256叉树上是否存在访问ID的叶子节点，如图3所示，因本次访问存在，也就是存在与访问ID对应的索引地址。若本次访问不存在，则将256叉树的叶子节点的索引地址设置为表项的节点M，并将节点M作为首节点，后续使用该访问ID再次访问时，从M节点开始访问，且存在该访问ID的叶子节点，也就是存在与该访问ID对应的索引地址。由于使用了256叉树，并对访问ID作了四次拆分，每次访问时只需要四次就可以成功查找叶子节点对应的索引地址。
第五步，将节点M的数据及基于标识信息确定的其他节点的数据封装发送给主控单元30。
第六步，线卡单元20在将数据发送至主控单元30后，删除本地的待访问数据，并更新第四步中的索引地址，使其索引地址指向数据集中未被访问的其他数据，也就是说索引地址需要老化更新，以便于主控单元30后续通过索引地址对其他数据的进行访问。
第二实施例
请参照图4，本申请第二实施例提供的数据处理方法可以应用于上述的主控单元30，由主控单元30执行或实现数据处理方法的各步骤，能够改善现有技术中主控单元30访问数据导致内存消耗大的技术问题，从而有助于提升数据访问的效率。下面将对图3所示的数据处理方法的各步骤进行阐述：
步骤S410，根据需要获得的待访问数据获得访问请求信息，并将访问请求信息发送至线卡单元20，其中，访问请求信息包括与待访问数据的索引地址对应的访问地址及待访问数据的标识信息；
步骤S420，接收线卡单元20发送的基于索引地址、标识信息从线卡单元20存储的数据集中确定出的待访问数据。
可理解地，第二实施例提供的数据处理方法与第一实施例提供的数据处理方法的实现过程基本相同，区别在于，在第二实施例中，方法由主控单元30执行上述的步骤；第一实施例中，方法由线卡单元20执行。为了说明书的简洁，第二实施例提供的方法的具体操作内容可以参照对第一实施例中方法的各步骤的描述，这里不再赘述。
请结合参照图5、图6和图7，本申请实施例提供一种数据处理装置，应用于上述的分布式系统10，能够降低分布式系统10的主控单元30访问数据时对内存的消耗。其中，数据处理装置包括至少一个可以软件或固件(firmware)的形式存储于存储模块23中或固化在分布式系统10操作系统(operating system，OS)中的软件功能模块。其中，应用在线卡单元20上的数据处理装置可以称为第一数据处理装置100，应用在主控单元30上的数据处理装置可以称为第二数据处理装置200。
请参照图5，第一数据处理装置100可以以软件或固件的形式固化在线卡单元20操作系统中，用于执行或实现第一实施例中的数据处理方法的各步骤。其中，第一数据处理装置100可以包括第一接收单元110、地址确定单元120及数据发送单元130。
第一接收单元110，用于接收主控单元30发送的用于获得待访问数据的访问请求信息，其中，访问请求信息包括与待访问数据的目标索引地址对应的目标访问地址及待访问数据的标识信息。
地址确定单元120，用于从访问请求信息中提取出目标访问地址、标识信息，并确定出目标访问地址对应的目标索引地址。
可选地，地址确定单元120还用于：基于访问地址与索引地址的映射关系确定出目标访问地址对应的目标索引地址。
可选地，地址确定单元120还用于：将目标访问地址拆分为多个字段；并确定出与每个字段对应的索引地址片段；根据每个字段对应的索引地址片段确定出目标索引地址。
数据发送单元130，用于根据目标索引地址及标识信息，从数据集中确定出待访问数据，并将待访问数据发送至主控单元30。
线卡单元20的数据集中存储有与数据集中的单元数据对应的索引地址，数据发送单元130还用于：在数据集中的索引地址中查找是否存在与目标访问地址对应的目标索引地址；在为是时，从目标索引地址对应的目标存储地址访问数据集中的单元数据，并根据标识信息从单元数据中确定出待访问数据；在为否时，将目标访问地址对应的目标索引地址与数据集中的预设存储地址的目标单元数据关联，并从预设存储地址读取目标单元数据，并根据标识信息将目标单元数据确定为待访问数据。
可选地，第一数据处理装置100还可以包括数据删除单元。在将待访问数据发送至主控单元30之后，数据删除单元用于从数据集中删除待访问数据；将数据集中未被访问且没有关联其他索引地址的数据与目标索引地址关联。
请参照图6，第二数据处理装置200可以以软件或固件的形式固化在主控单元30操作系统中，用于执行或实现第二实施例中的数据处理方法的各步骤。其中，第一数据处理装置100可以包括请求发送单元210及第二接收单元220。
请求发送单元210，用于根据需要获得的待访问数据获得访问请求信息，并将访问请求信息发送至线卡单元20，其中，访问请求信息包括与待访问数据的索引地址对应的访问地址及待访问数据的标识信息。
第二接收单元220，用于接收线卡单元20发送的基于索引地址、标识信息从线卡单元20存储的数据集中确定出的待访问数据。
需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的第一数据处理装置100及第二数据处理装置200的具体工作过程，可以参考前述方法中的各步骤对应过程，在此不再过多赘述。
请参照图7，在本实施例中，线卡单元20可以包括处理模块21、通信模块22、存储模块23以及第一数据处理装置100，处理模块21、通信模块22、存储模块23以及第一数据处理装置100各个元件之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
处理模块21可能是一种集成电路芯片，具有信号的处理能力。上述处理模块21可以是通用处理器。例如，该处理器可以是中央处理器(Central Processing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。
通信模块22用于通过网络建立主控单元30与线卡单元20的通信连接，并通过网络收发数据。
存储模块23可以是，但不限于，随机存取存储器，只读存储器，可编程只读存储器，可擦除可编程只读存储器，电可擦除可编程只读存储器等。在本实施例中，存储模块23可以用于存储数据集、表项数据等数据。当然，存储模块23还可以用于存储程序，处理模块21在接收到执行指令后，执行该程序。
进一步地，第一数据处理装置100包括至少一个可以软件或固件(firmware)的形式存储于存储模块23中或固化在线卡单元20操作系统(operating system，OS)中的软件功能模块。处理模块21用于执行存储模块23中存储的可执行模块，例如第一数据处理装置100所包括的软件功能模块及计算机程序等。
可以理解的是，图7所示的结构仅为线卡单元20的一种结构示意图，线卡单元20还可以包括比图7所示更多或更少的组件。图7中所示的各组件可以采用硬件、软件或其组合实现。另外，主控单元30的结构可以与线卡单元20相类似，主控单元30的结构及功能可以参照对线卡单元20的结构的描述，这里不再赘述。
需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的分布式系统10中的主控单元30及线卡单元20的具体工作过程，可以参考前述方法中的各步骤对应过程，在此不再过多赘述。
本申请实施例还提供一种计算机可读存储介质。可读存储介质中存储有计算机程序，当计算机程序在计算机上运行时，使得计算机执行如第一实施例或第二实施例中所述的数据处理方法。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现，基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。
综上所述，本申请提供一种数据处理方法、装置及分布式系统。该方法通过接收主控单元发送的用于获得待访问数据的访问请求信息，其中，访问请求信息包括与待访问数据的目标索引地址对应的目标访问地址及待访问数据的标识信息；从访问请求信息中提取出目标访问地址、标识信息，并确定出目标访问地址对应的目标索引地址；根据目标索引地址及标识信息，从数据集中确定出待访问数据，并将待访问数据发送至主控单元，能够改善现有技术中需要读取所有数据并将其上传而导致内存消耗大的技术问题，有助于提高分布式系统数据访问的效率。
在本申请所提供的实施例中，应该理解到，所揭露的装置、系统和方法，也可以通过其它的方式实现。以上所描述的装置、系统和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
可以替换的，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种数据处理方法，其特征在于，应用于分布式系统中的线卡单元，所述分布式系统还包括与所述线卡单元通信连接的主控单元，所述方法包括：
接收所述主控单元发送的用于获得待访问数据的访问请求信息，其中，所述访问请求信息包括与所述待访问数据的目标索引地址对应的目标访问地址及所述待访问数据的标识信息；
从所述访问请求信息中提取出所述目标访问地址、所述标识信息，并确定出所述目标访问地址对应的所述目标索引地址；
根据所述目标索引地址及所述标识信息，从数据集中确定出所述待访问数据，并将所述待访问数据发送至所述主控单元；所述标识信息包括需要获取的数据节点的数量；
根据所述目标索引地址及所述标识信息，从数据集中确定出所述待访问数据，包括：通过所述目标索引地址从所述数据集中查找到所述待访问数据的首节点，从所述首节点读取数据，直到读取完所述数量的节点的数据，获得所述待访问数据。
2.根据权利要求1所述的方法，其特征在于，所述线卡单元的数据集中存储有与所述数据集中的单元数据对应的索引地址，根据所述目标索引地址及所述标识信息，从数据集中确定出所述待访问数据，包括：
在数据集中的索引地址中查找是否存在与所述目标访问地址对应的所述目标索引地址；
在为是时，从所述目标索引地址对应的目标存储地址访问所述数据集中的单元数据，并根据所述标识信息从所述单元数据中确定出所述待访问数据；
在为否时，将所述目标访问地址对应的所述目标索引地址与所述数据集中的预设存储地址的目标单元数据关联，并从所述预设存储地址读取所述目标单元数据，并根据所述标识信息将所述目标单元数据确定为所述待访问数据。
3.根据权利要求1或2所述的方法，其特征在于，确定出所述目标访问地址对应的所述目标索引地址，包括：
基于访问地址与索引地址的映射关系确定出所述目标访问地址对应的所述目标索引地址；或者
确定出所述目标访问地址对应的所述目标索引地址，包括：
将所述目标访问地址拆分为多个字段；并确定出与每个所述字段对应的索引地址片段；
根据每个所述字段对应的所述索引地址片段确定出所述目标索引地址。
4.根据权利要求1或2所述的方法，其特征在于，在将所述待访问数据发送至所述主控单元之后，所述方法还包括：
从所述数据集中删除所述待访问数据；
将所述数据集中未被访问且没有关联其他索引地址的数据与所述目标索引地址关联。
5.一种数据处理方法，其特征在于，应用于分布式系统中的主控单元，所述分布式系统还包括与所述主控单元通信连接的线卡单元，所述方法包括：
根据需要获得的待访问数据获得访问请求信息，并将所述访问请求信息发送至所述线卡单元，其中，所述访问请求信息包括与所述待访问数据的索引地址对应的访问地址及所述待访问数据的标识信息；
接收所述线卡单元发送的基于所述索引地址、所述标识信息从所述线卡单元存储的数据集中确定出的待访问数据；所述标识信息包括需要获取的数据节点的数量；
线卡单元基于所述索引地址、所述标识信息从所述线卡单元存储的数据集中确定待访问数据，包括：通过所述索引地址从所述数据集中查找到所述待访问数据的首节点，从所述首节点读取数据，直到读取完所述数量的节点的数据，获得所述待访问数据。
6.一种数据处理装置，其特征在于，应用于分布式系统中的线卡单元，所述分布式系统还包括与所述线卡单元通信连接的主控单元，所述装置包括：
第一接收单元，用于接收所述主控单元发送的用于获得待访问数据的访问请求信息，其中，所述访问请求信息包括与所述待访问数据的目标索引地址对应的目标访问地址及所述待访问数据的标识信息；
地址确定单元，用于从所述访问请求信息中提取出所述目标访问地址、所述标识信息，并确定出所述目标访问地址对应的所述目标索引地址；
数据发送单元，用于根据所述目标索引地址及所述标识信息，从数据集中确定出所述待访问数据，并将所述待访问数据发送至所述主控单元；所述标识信息包括需要获取的数据节点的数量；
根据所述目标索引地址及所述标识信息，从数据集中确定出所述待访问数据，包括：通过所述目标索引地址从所述数据集中查找到所述待访问数据的首节点，从所述首节点读取数据，直到读取完所述数量的节点的数据，获得所述待访问数据。
7.根据权利要求6所述的装置，其特征在于，所述线卡单元的数据集中存储有与所述数据集中的单元数据对应的索引地址，所述数据发送单元还用于：
在数据集中的索引地址中查找是否存在与所述目标访问地址对应的所述目标索引地址；
在为是时，从所述目标索引地址对应的目标存储地址访问所述数据集中的单元数据，并根据所述标识信息从所述单元数据中确定出所述待访问数据；
在为否时，将所述目标访问地址对应的所述目标索引地址与所述数据集中的预设存储地址的目标单元数据关联，并从所述预设存储地址读取所述目标单元数据，并根据所述标识信息将所述目标单元数据确定为所述待访问数据。
8.一种数据处理装置，其特征在于，应用于分布式系统中的主控单元，所述分布式系统还包括与所述主控单元通信连接的线卡单元，所述装置包括：
请求发送单元，用于根据需要获得的待访问数据获得访问请求信息，并将所述访问请求信息发送至所述线卡单元，其中，所述访问请求信息包括与所述待访问数据的索引地址对应的访问地址及所述待访问数据的标识信息；
第二接收单元，用于接收所述线卡单元发送的基于所述索引地址、所述标识信息从所述线卡单元存储的数据集中确定出的待访问数据；所述标识信息包括需要获取的数据节点的数量；
线卡单元基于所述索引地址、所述标识信息从所述线卡单元存储的数据集中确定待访问数据，包括：通过所述索引地址从所述数据集中查找到所述待访问数据的首节点，从所述首节点读取数据，直到读取完所述数量的节点的数据，获得所述待访问数据。
9.一种分布式系统，其特征在于，所述分布式系统包括线卡单元及与所述线卡单元通信连接的主控单元，其中：
所述线卡单元用于接收所述主控单元发送的用于获得待访问数据的访问请求信息，所述访问请求信息包括与所述待访问数据的目标索引地址对应的目标访问地址及所述待访问数据的标识信息；
所述线卡单元还用于从所述访问请求信息中提取出所述目标访问地址、所述标识信息，并确定出所述目标访问地址对应的所述目标索引地址；
所述线卡单元还用于根据所述目标索引地址及所述标识信息，从数据集中确定出所述待访问数据，并将所述待访问数据发送至所述主控单元；所述标识信息包括需要获取的数据节点的数量；
根据所述目标索引地址及所述标识信息，从数据集中确定出所述待访问数据，包括：通过所述目标索引地址从所述数据集中查找到所述待访问数据的首节点，从所述首节点读取数据，直到读取完所述数量的节点的数据，获得所述待访问数据。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器运行时，执行如权利要求1-4中任一项所述的方法或执行如权利要求5所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811512532.8A CN111309471B (zh) | 2018-12-11 | 2018-12-11 | 数据处理方法、装置及分布式系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811512532.8A CN111309471B (zh) | 2018-12-11 | 2018-12-11 | 数据处理方法、装置及分布式系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111309471A CN111309471A (zh) | 2020-06-19 |
| CN111309471B true CN111309471B (zh) | 2024-02-09 |
Family
ID=71157877
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811512532.8A Active CN111309471B (zh) | 2018-12-11 | 2018-12-11 | 数据处理方法、装置及分布式系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111309471B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113242185B (zh) * | 2021-05-28 | 2022-08-16 | 广州科语机器人有限公司 | 一种地图数据传输方法、清洁机器人、设备和存储介质 |
| CN115858444B (zh) * | 2022-11-22 | 2023-12-12 | 格兰菲智能科技有限公司 | 用于通用计算的数据访问方法、装置和系统 |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003003769A1 (fr) * | 2001-06-27 | 2003-01-09 | Huawei Technologies Co., Ltd. | Procede permettant a un appareil d'acquerir une adresse automatiquement |
| CN101026578A (zh) * | 2007-01-29 | 2007-08-29 | 中兴通讯股份有限公司 | 一种快速响应icmp回送请求报文的方法 |
| JP2007317138A (ja) * | 2006-05-29 | 2007-12-06 | Nomura Research Institute Ltd | データ記憶システム、ファイル検索装置およびプログラム |
| CN101110768A (zh) * | 2007-06-20 | 2008-01-23 | 杭州华三通信技术有限公司 | 数据通信方法、系统、主控卡及线卡 |
| CN101114941A (zh) * | 2007-06-28 | 2008-01-30 | 中兴通讯股份有限公司 | 主从设备中从设备获得配置数据的方法 |
| CN101150527A (zh) * | 2007-11-09 | 2008-03-26 | 杭州华三通信技术有限公司 | 一种pcie数据传输的方法、系统及设备 |
| CN101202707A (zh) * | 2007-12-03 | 2008-06-18 | 杭州华三通信技术有限公司 | 高速单板传输报文的方法、现场可编程门阵列及高速单板 |
| CN101567014A (zh) * | 2009-06-04 | 2009-10-28 | 福建星网锐捷网络有限公司 | 一种设备信息的检索方法、装置和线卡 |
| CN102217251A (zh) * | 2009-09-21 | 2011-10-12 | 华为技术有限公司 | 一种数据转发方法、数据处理方法、系统以及相关设备 |
| CN102298527A (zh) * | 2011-06-21 | 2011-12-28 | 中兴通讯股份有限公司 | 一种cpe并行升级版本的方法及实现系统 |
| CN102314503A (zh) * | 2011-09-01 | 2012-01-11 | 浪潮(北京)电子信息产业有限公司 | 一种索引方法 |
| CN103714097A (zh) * | 2012-10-09 | 2014-04-09 | 阿里巴巴集团控股有限公司 | 一种访问数据库的方法和装置 |
| CN104516973A (zh) * | 2014-12-26 | 2015-04-15 | 北京奇虎科技有限公司 | 访问页面的方法和装置 |
| CN104598161A (zh) * | 2013-10-31 | 2015-05-06 | 腾讯科技（深圳）有限公司 | 数据读取、写入方法和装置及数据存储结构 |
| CN104994181A (zh) * | 2015-06-05 | 2015-10-21 | 上海斐讯数据通信技术有限公司 | 一种分布式olt系统中显示动态mac地址表的方法 |
| CN105224609A (zh) * | 2015-09-07 | 2016-01-06 | 北京金山安全软件有限公司 | 一种索引查询方法及装置 |
| CN105721315A (zh) * | 2016-04-06 | 2016-06-29 | 烽火通信科技股份有限公司 | 一种集中式mac地址学习的控制方法 |
| CN106951190A (zh) * | 2017-03-21 | 2017-07-14 | 联想(北京)有限公司 | 数据存储及访问方法、节点和服务器集群 |
-
2018
- 2018-12-11 CN CN201811512532.8A patent/CN111309471B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003003769A1 (fr) * | 2001-06-27 | 2003-01-09 | Huawei Technologies Co., Ltd. | Procede permettant a un appareil d'acquerir une adresse automatiquement |
| JP2007317138A (ja) * | 2006-05-29 | 2007-12-06 | Nomura Research Institute Ltd | データ記憶システム、ファイル検索装置およびプログラム |
| CN101026578A (zh) * | 2007-01-29 | 2007-08-29 | 中兴通讯股份有限公司 | 一种快速响应icmp回送请求报文的方法 |
| CN101110768A (zh) * | 2007-06-20 | 2008-01-23 | 杭州华三通信技术有限公司 | 数据通信方法、系统、主控卡及线卡 |
| CN101114941A (zh) * | 2007-06-28 | 2008-01-30 | 中兴通讯股份有限公司 | 主从设备中从设备获得配置数据的方法 |
| CN101150527A (zh) * | 2007-11-09 | 2008-03-26 | 杭州华三通信技术有限公司 | 一种pcie数据传输的方法、系统及设备 |
| CN101202707A (zh) * | 2007-12-03 | 2008-06-18 | 杭州华三通信技术有限公司 | 高速单板传输报文的方法、现场可编程门阵列及高速单板 |
| CN101567014A (zh) * | 2009-06-04 | 2009-10-28 | 福建星网锐捷网络有限公司 | 一种设备信息的检索方法、装置和线卡 |
| CN102217251A (zh) * | 2009-09-21 | 2011-10-12 | 华为技术有限公司 | 一种数据转发方法、数据处理方法、系统以及相关设备 |
| CN102298527A (zh) * | 2011-06-21 | 2011-12-28 | 中兴通讯股份有限公司 | 一种cpe并行升级版本的方法及实现系统 |
| CN102314503A (zh) * | 2011-09-01 | 2012-01-11 | 浪潮(北京)电子信息产业有限公司 | 一种索引方法 |
| CN103714097A (zh) * | 2012-10-09 | 2014-04-09 | 阿里巴巴集团控股有限公司 | 一种访问数据库的方法和装置 |
| CN104598161A (zh) * | 2013-10-31 | 2015-05-06 | 腾讯科技（深圳）有限公司 | 数据读取、写入方法和装置及数据存储结构 |
| CN104516973A (zh) * | 2014-12-26 | 2015-04-15 | 北京奇虎科技有限公司 | 访问页面的方法和装置 |
| CN104994181A (zh) * | 2015-06-05 | 2015-10-21 | 上海斐讯数据通信技术有限公司 | 一种分布式olt系统中显示动态mac地址表的方法 |
| CN105224609A (zh) * | 2015-09-07 | 2016-01-06 | 北京金山安全软件有限公司 | 一种索引查询方法及装置 |
| CN105721315A (zh) * | 2016-04-06 | 2016-06-29 | 烽火通信科技股份有限公司 | 一种集中式mac地址学习的控制方法 |
| CN106951190A (zh) * | 2017-03-21 | 2017-07-14 | 联想(北京)有限公司 | 数据存储及访问方法、节点和服务器集群 |
Non-Patent Citations (2)
| Title |
|---|
| J.A. Beattie.National Oceanic and Atmospheric Administration (NOAA) Office of Ocean Exploration's (OE) video server.《OCEANS '02 MTS/IEEE》.2003,全文. * |
| 基于分布式路由器的IPv6快速转发的研究与实现;孙宗锋;《中国优秀硕士论文全文数据库》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111309471A (zh) | 2020-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11687488B2 (en) | Directory deletion method and apparatus, and storage server | |
| CN107786638B (zh) | 一种数据处理方法、装置及系统 | |
| CN108614837B (zh) | 文件存储和检索的方法及装置 | |
| CN108228799B (zh) | 对象索引信息的存储方法及装置 | |
| CN111309471B (zh) | 数据处理方法、装置及分布式系统 | |
| CN113961510B (zh) | 一种文件处理方法、装置、设备及存储介质 | |
| US11226778B2 (en) | Method, apparatus and computer program product for managing metadata migration | |
| US20220107752A1 (en) | Data access method and apparatus | |
| CN109388651B (zh) | 一种数据处理方法和装置 | |
| CN109597903B (zh) | 图像文件处理装置和方法、文件存储系统及存储介质 | |
| US20180067878A1 (en) | Method and apparatus for transmitting information | |
| CN112511627B (zh) | 迁移元数据的方法和装置 | |
| US11520818B2 (en) | Method, apparatus and computer program product for managing metadata of storage object | |
| CN113742050B (zh) | 操作数据对象的方法、装置、计算设备和存储介质 | |
| CN114443583A (zh) | 一种碎片空间整理方法、装置、设备及存储介质 | |
| CN114443910A (zh) | 数据存储方法、搜索方法、装置和电子设备 | |
| CN110019031B (zh) | 一种文件创建方法及文件管理装置 | |
| CN105786608A (zh) | 异地虚拟机去重迁移方法及系统 | |
| CN113282539A (zh) | 信息加载方法、装置、电子设备及存储介质 | |
| CN114443598A (zh) | 写数据方法、装置、计算机设备及存储介质 | |
| WO2020083106A1 (zh) | 存储系统中的节点扩容方法和存储系统 | |
| CN113411364A (zh) | 资源获取方法、装置及服务器 | |
| CN112084141A (zh) | 一种全文检索系统扩容方法、装置、设备及介质 | |
| CN107566506B (zh) | 一种数据访问方法及装置 | |
| CN110716884B (zh) | 碎片数据存储方法、电子设备及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |