CN110795314A - 一种检测慢节点的方法、装置及计算机可读存储介质 - Google Patents

一种检测慢节点的方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN110795314A
CN110795314A CN201911065412.2A CN201911065412A CN110795314A CN 110795314 A CN110795314 A CN 110795314A CN 201911065412 A CN201911065412 A CN 201911065412A CN 110795314 A CN110795314 A CN 110795314A
Authority
CN
China
Prior art keywords
node
slow
time
storage
slow node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911065412.2A
Other languages
English (en)
Other versions
CN110795314B (zh
Inventor
黄海滨
孙立晟
张晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201911065412.2A priority Critical patent/CN110795314B/zh
Publication of CN110795314A publication Critical patent/CN110795314A/zh
Priority to US16/856,338 priority patent/US11797218B2/en
Priority to EP20181752.5A priority patent/EP3816809A1/en
Application granted granted Critical
Publication of CN110795314B publication Critical patent/CN110795314B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开是关于一种检测慢节点的方法、检测慢节点的装置及计算机可读存储介质。在该检测慢节点方法中，针对第一存储节点，获取已生成记录，已生成记录中包括：存储节点生成时刻、向除第一存储节点外的其他第二存储节点传输数据的次数及耗时；从已生成记录中获取有效记录，有效记录包括预设时间段内的记录，预设时间段位于生成时刻与当前时刻之间的时间段内；基于有效记录包括的次数及耗时，确定第一存储节点向每个第二存储节点传输数据的平均耗时；基于平均耗时，在第二存储节点中检测慢节点。通过本公开的检测慢节点方法，提高了检测慢节点的准确率。

Description

一种检测慢节点的方法、装置及计算机可读存储介质
技术领域
本公开涉及分布式存储系统技术领域，尤其涉及检测慢节点方法、装置及计算机可读存储介质。
背景技术
分布式系统基本框架(Hadoop)具有存储和分析海量数据的功能，多个Hadoop组成Hadoop集群。在Hadoop集群中包括存放文件元数据信息的服务器(NameNode)及实际存放数据的服务器(DataNode)。由于Hadoop集群处于不间断工作状态，因此经常出现Hadoop集群中网络传输数据变慢或磁盘读写数据变慢的DataNode，而每一DataNode对应一个数据存储节点，因此称Hadoop集群中网络传输数据变慢或磁盘读写数据变慢的DataNode对应的数据存储节点为慢节点。在Hadoop集群中，慢节点不易被发现，且会降低分布式系统基本框架的读写大数据的性能，因此检测Hadoop集群中的慢节点是十分必要的。但是目前检测Hadoop集群中数据存储节点检测慢节点的准确率相对较低。
发明内容
为克服相关技术中存在的问题，本公开提供一种检测慢节点的方法、检测慢节点的装置、一种电子设备及一种非临时性计算机可读存储介质。
根据本公开实施例的第一方面，提供一种检测慢节点方法，包括：针对第一存储节点，获取已生成记录，已生成记录中包括：存储节点生成时刻、向除第一存储节点外的其他第二存储节点传输数据的次数及耗时；从已生成记录中获取有效记录，有效记录包括预设时间段内的记录，预设时间段位于生成时刻与当前时刻之间的时间段内；基于有效记录包括的次数及耗时，确定第一存储节点向每个第二存储节点传输数据的平均耗时；基于所述平均耗时，在第二存储节点中检测慢节点。
一种实施方式中，第一方面所述检测慢节点方法，还包括：响应于检测到慢节点，获取慢节点报告，慢节点报告包括：慢节点的节点地址、向每个第二存储节点传输数据的耗时及慢节点报告的生成时间；在管理页面显示慢节点报告。
另一种实施方式中，第一方面所述检测慢节点方法，还包括：在到达预定时刻时，基于节点地址在已存在的慢节点中检测新增慢节点；响应于检测到新增慢节点，向管理地址对应的管理终端发送报警信息，管理地址包括以下至少一项：邮箱地址、指定终端地址。
又一种实施方式中，第一方面所述检测慢节点方法，还包括：基于慢节点报告生成慢节点列表，慢节点列表中包括慢节点的节点地址和慢节点的过期时间；在到达预定时刻时，根据过期时间和生成时间确定已过期慢节点；从慢节点列表中移除已过期慢节点。
又一种实施方式中，第一方面所述检测慢节点方法，还包括：若第二存储节点为慢节点，则为第一存储节点重新分配第二存储节点；若第二存储节点为非慢节点，则通过第一存储节点向被分配的第二存储节点写数据。
根据本公开实施例的第二方面，提供一种检测慢节点的装置，包括：获取单元，被配置为针对第一存储节点，获取已生成记录，已生成记录中包括：存储节点生成时刻、向除第一存储节点外的其他第二存储节点传输数据的次数及耗时；查找单元，被配置为从已生成记录中获取有效记录，有效记录包括预设时间段内的记录，预设时间段位于生成时刻与当前时刻之间的时间段内；确定单元，被配置为基于有效记录包括的次数及耗时，确定第一存储节点向每个第二存储节点传输数据的平均耗时；检测单元，被配置为基于平均耗时，在第二存储节点中检测慢节点。
一种实施方式中，第二方面所述检测慢节点的装置，还包括：生成单元，被配置为响应于所述检测单元检测到所述慢节点，获取慢节点报告，所述慢节点报告包括：所述慢节点的节点地址、向每个所述第二存储节点传输数据的耗时及所述慢节点报告的生成时间；显示单元，被配置为在管理页面显示所述慢节点报告。
另一种实施方式中，所述检测单元还被配置为在到达预定时刻时，基于所述节点地址在已存在的慢节点中检测新增慢节点。第二方面所述检测慢节点的装置，还包括：报警单元，所述报警单元被配置为响应于所述检测单元检测到所述新增慢节点，向管理地址对应的管理终端发送报警信息，所述管理地址包括以下至少一项：邮箱地址、指定终端地址。
又一种实施方式中，所述生成单元还被配置为基于所述慢节点报告生成慢节点列表，所述慢节点列表中包括所述慢节点的节点地址和所述慢节点的过期时间；所述确定单元还被配置为在到达预定时刻时，根据所述过期时间和所述生成时间确定已过期慢节点。第二方面所述检测慢节点的装置，还包括：移除单元，所述移除单元被配置为从慢节点列表中移除已过期慢节点。
在本公开中，第二方面所述检测慢节点的装置，还包括：分配单元，被配置为在检测到第二节点为慢节点时，为所述第一存储节点重新分配第二存储节点；在检测到所述第二存储节点为非慢节点时，通过第一存储节点向被分配的第二存储节点写数据。
根据本公开实施例的第三方面，提供一种检测慢节点的装置，包括：存储器，配置用于存储指令；以及处理器，配置用于调用所述指令执行第一方面或第一方面任意一种实施方式中所述的检测慢节点的方法。
根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，非临时性计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在由处理器执行时，执行第一方面或第一方面任意一种实施方式中所述的检测慢节点的方法。
本公开的实施例提供的技术方案可以包括以下有益效果：通过查找记录生成时刻与当前时刻之差在预设时间间隔内的记录，作为有效记录，并基于有效记录中的记录生成时刻计算平均耗时，以保证计算平均耗的时效性，进而提高基于平均耗时检测慢节点的准确率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是目前检测慢节点的方法的流程图；
图2是当前数据存储节点与其它每一数据存储节点均生成一个记录的示意图；
图3是示出根据本公开的一示例性实施例的一种检测慢节点方法的流程图；
图4是示出根据本公开的一示例性实施例的另一种检测慢节点方法的流程图；
图5是示出根据本公开的一示例性实施例的又一种检测慢节点方法的流程图；
图6是示出根据本公开的一示例性实施例的又一种检测慢节点方法的流程图；
图7是示出根据本公开的一示例性实施例的又一种检测慢节点方法的流程图；
图8是示出根据本公开的一示例性实施例的一种检测慢节点方法的交互工作流程图；
图9是示出根据本公开的一示例性实施例的一种检测慢节点的装置的框图；
图10是示出根据本公开的一示例性实施例的另一种检测慢节点的装置的框图；
图11是示出根据本公开的一示例性实施例的又一种检测慢节点的装置的框图；
图12是示出根据本公开的一示例性实施例的又一种检测慢节点的装置的框图；
图13是示出根据本公开的一示例性实施例的又一种检测慢节点的装置的框图；
图14是示出根据本公开的一示例性实施例的一种装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
目前已有的检测Hadoop集群中慢节点的方法，如图1所示。参阅图1所示，慢节点的检测过程为：通过DataNode创建映射表。获取在每一间隔时间段内的记录，将记录存储至映射表。其中，映射表的键为第二存储节点的ID标识，值为一个固定大小的队列。记录包括：当前数据存储节点传输数据至其它数据存储节点的耗时。若存储至队列中的记录超过队列固定大小，再有新的记录加入队列，则队列就会移除队列中的第一个记录，并把新加入的记录存储至队列尾部。若当数据存储节点传输数据至其它数据存储节点，则当前数据存储节点与其它每一数据存储节点均生成一个记录，如图2为当前数据存储节点与其它每一数据存储节点均生成一个记录的示意图。
当前数据存储节点基于队列中存储的记录，每隔一段时间计算当前数据存储节点传输数据至其它数据存储节点的平均耗时。若当前数据存储节点传输数据至数据存储节点1的平均耗时超过了预设平均耗时，则说明数据存储节点1为慢节点，通过DataNode生成慢节点报告。其中，慢节点报告包括：慢节点地址。通过DataNode发送慢节点报告至NameNode，并基于NameNode的管理页面显示慢节点报告。分布式文件存储系统管理员可登录NameNode的管理页面查看慢节点报告，并根据慢节点报告中的慢节点地址，确定为慢节点对应的DataNode，分布式文件存储系统管理员可通知相关维修人员维修该DataNode，以保证Hadoop集群的存储及分析海量数据的速度。
但是，目前检测Hadoop集群中慢节点的准确率低。例如，目前已经被监控为慢节点的DataNode，在一段时间间隔后，网络传输数据或磁盘读写数据的速度恢复正常水平，那么此时已经被监控为慢节点的DataNode不再属于慢节点。
为了解决目前Hadoop集群检测数据存储节点是否属于慢节点的准确率低的问题，本公开一示例性实施例提出了一种检测慢节点方法。
本公开提供的一种检测慢节点方法，通过查找记录生成时刻与当前时刻之差在预设时间间隔内的记录，作为有效记录，并基于有效记录计算平均耗时，以保证计算出的平均耗时的时效性。进而提高基于平均耗时判断第一存储节点传输数据至每一其他第二存储节点是否存在慢节点的准确率，使得检测Hadoop集群中慢节点的准确率高。
如图3为本公开一示例性实施例提供的一种检测慢节点方法，应用于Hadoop集群中。如图3所示，一种检测慢节点方法包括步骤S101至步骤S104。
在步骤S101中，针对第一存储节点，获取已生成记录。
本公开中，记录由DataNode生成。
本公开中，已生成记录存储在映射表中。
本公开中，已生成记录中包括存储节点生成时刻、向除第一存储节点外的其他第二存储节点传输数据的次数及耗时。
在步骤S102中，从已生成记录中获取有效记录。即查找记录生成时刻与当前时间刻之差在预设时间间隔内的记录，作为有效记录。
本公开中，可设置用于查找有效记录的预设时间间隔，基于预设时间间隔，查找在预设时间间隔内的记录，作为有效记录，以提高准确性。
本公开中，预设时间间隔为根据DataNode的实际存储数据情况而适当自定义。例如，预设时间间隔可为3小时，以使计算出的平均耗时的时效性更佳。
进一步的，本公开中，可按照预设时间间隔，每隔一段时间周期性的查找记录生成时刻与当前时刻之差在预设时间间隔内的记录，作为有效记录。其中，周期性查找有效记录的时间根据DataNode的实际存储数据情况适当自定义。例如，本公开实施例中周期性查找有效记录的时间为5分钟，每隔5分钟查找一次记录，找出符合条件的记录，作为有效记录，使得有效记录的时效性更佳。
在步骤S103中，基于有效记录包括的次数及耗时，确定第一存储节点向每个第二存储节点传输数据的平均耗时。
本公开中，基于预设时间间隔，查找出预设时间间隔内的记录，作为有效记录，并基于有效记录计算第一存储节点向每个第二存储节点传输数据的平均耗时，以保证计算出的平均耗时反映的是一个预设时间间隔内的平均耗时，具有时效性。
在步骤S104中，基于平均耗时，在第二存储节点中检测慢节点。
本公开中，假设平均耗时超过预设平均耗时，则可判断第一存储节点传输数据至其他第二存储节点中，存在慢节点。假设平均耗时未超过预设平均耗时，则可判断第一存储节点传输数据至其他第二存储节点中，不存在慢节点。
本公开中，预设平均耗时可基于Hadoop集群中的DataNode的实际存储数据情况而适当自定义。其中，预设平均耗时为根据DataNode的实际存储数据情况而适当自定义。例如，预设平均耗时可为1000毫秒。
本公开中，在确定第一存储节点传输数据至其他第二存储节点中，存在慢节点，还需进一步查找慢节点。查找慢节点可以采用如下方式：
查找第一存储节点传输数据至每一其他第二存储节点的耗时。基于第一存储节点传输数据至每一其他第二存储节点的耗时，查找超过预设耗时阈值的数据存储节点，作为慢节点。其中，预设耗时阈值为根据DataNode的实际存储数据情况而适当自定义。例如，预设耗时阈值可为1000毫秒。
通过本公开提供的检测慢节点方法，查找记录生成时刻与当前时刻之差在预设时间间隔内的记录，作为有效记录，并基于有效记录中的记录生成时刻计算平均耗时，以保证计算平均耗的时效性。提高基于平均耗时检测第一存储节点传输数据至每一其他第二存储节点是否存在慢节点的准确率，从而提高检测Hadoop集群中慢节点的准确率。
如图4为本公开一示例性实施例提供的另一种检测慢节点方法，应用于Hadoop集群中。如图4所示，另一种检测慢节点方法包括步骤S201至步骤S208。其中，步骤S201至步骤S204，与图3中所示的步骤S101至步骤S104相同，此处不再赘述。
在步骤S205中，判断第一存储节点被分配的其他第二存储节点是否为慢节点。
在步骤S206中，在检测到第一存储节点被分配的其他第二存储节点为慢节点时，为第一存储节点重新分配数据存储节点。
在步骤S207中，重复执行上述过程，直至为第一存储节点分配的数据存储节点为非慢节点。
在步骤S208中，通过第一存储节点向被分配的非慢节点写数据。
另外，由于慢节点报告中只包括慢节点地址，因此目前Hadoop集群基于NameNode的管理页面只能显示慢节点地址，显示的信息过于简单，不利于分布式文件存储系统管理员了解当前慢节点的状态。
为了解决目前Hadoop集群显示慢节点信息过于简单的问题，本公开一示例性实施例提出了另一种检测慢节点方法。如图5所示，另一种检测慢节点方法，应用于Hadoop集群中，包括步骤S301至步骤S306。其中，步骤S201至步骤S204，与图3中的步骤S101至步骤S104相同，此处不再赘述。
在步骤S305中，响应于检测到慢节点，获取慢节点报告。
本公开中，慢节点报告包括慢节点地址、第一存储节点传输数据至每一其他第二存储节点的耗时及慢节点报告生成的时间。在慢节点报告中，可以列表的形式显示慢节点报告中涉及的相关信息。
本公开中，每一数据存储节点与其自身节点以外的、为慢节点的一个数据存储节点，会生成一个慢节点报告，或每一数据存储节点与其自身节点以外的、为慢节点的多个数据存储节点，会生成多个慢节点报告。例如，若数据存储节点1传输数据至数据存储节点2的耗时超过预设耗时阈值，则生成一个慢节点报告，并由数据存储节点1向NameNode发送慢节点报告。假设数据存储节点1传输数据至数据存储节点2、数据存储节点3及数据存储节点4的耗时均超过预设耗时阈值，则生成三个慢节点报告，并由数据存储节点1向NameNode三个慢节点报告。
在步骤S306中，在管理页面显示慢节点报告。
本公开中，将所有慢节点报告汇总，并基于NameNode的管理页面显示汇总后的慢节点报告。
由于慢节点报告包括慢节点地址、第一存储节点传输数据至每一其他第二存储节点的耗时及慢节点报告生成的时间，使得分布式文件存储系统的管理员可登录NameNode的管理页面查看慢节点报告，确定慢节点地址对应的DataNode、第一存储节点传输数据至每一其他第二存储节点的耗时及慢节点报告生成的时间。丰富了Hadoop集群显示的慢节点信息。且分布式文件存储系统管理员可根据第一存储节点传输数据至每一其他第二存储节点的耗时大小顺序，确定处理慢节点对应的DataNode的顺序。以保证快速解决Hadoop集群中，由于慢节点导致Hadoop集群存储及分析海量数据速度慢的问题。
一种实施方式中，图5中虚线部分所示的步骤S307至步骤S310的内容，为上述所述的另一种检测慢节点方法的可选步骤，可选步骤与图4所示的另一种检测慢节点方法的步骤S205至步骤S208相同，此处不再赘述。
其次，目前分布式文件存储系统的管理员只有在登录NameNode的管理页面后，才可查看慢节点报告中是否添加新的慢节点，无法及时获知慢节点报告中加入了新的慢节点的信息，进而无法及时处理新加入至慢节点报告中的慢节点对应的DataNode，影响Hadoop集群存储及分析海量数据的速度。
为了解决目前分布式文件存储系统的管理员只有在登录NameNode的管理页面后，才可查看慢节点报告中是否添加新的慢节点，无法及时获知慢节点报告中加入了新的慢节点的信息的问题，本公开一示例性实施例提出了又一种检测慢节点方法。如图6所示，又一种检测慢节点方法，应用于Hadoop集群中，包括步骤S401至步骤S408。其中，步骤S401至步骤S406，与图5中的步骤S301至步骤S306相同，此处不再赘述。
在步骤S407中，在到达预定时刻时，基于节点地址在已存的慢节点中检测新增慢节点。
本公开中，Hadoop集群基于监控Hadoop集群状态的程序，在到达预定时刻时，基于节点地址在后台查询已显示的慢节点报告中是否存在新增慢节点。其中，在到达预定时刻时，也就是提前预设的查询时间间隔内。
本公开中，提前预设的查询时间间隔为根据NameNode及DataNode而自定义的。例如，预设查询时间间隔可为一分钟，则每隔一分钟在后台查询一次NameNode管理界面显示的慢节点报告信息。
在步骤S408中，响应于检测到新增慢节点，向管理地址对应的管理终端发送报警信息。
本公开中，管理地址至少包括邮箱地址、指定终端地址中的一项。
本公开中，Hadoop集群可通过邮件形式，将报警信息发送至分布式文件存储系统的管理员邮箱。或通过短信形式，将将报警信息发送至分布式文件存储系统的管理员终端。
本公开中，分布式文件存储系统的管理员终端可以称为用户设备(UserEquipment，UE)、移动台(Mobile Station，MS)、移动终端(Mobile Terminal，MT)等，是一种向用户提供语音和/或数据连通性的设备，例如，终端可以是具有无线连接功能的手持式设备、车载设备等。目前，一些终端的举例为：智能手机(Mobile Phone)、口袋计算机(PocketPersonal Computer，PPC)、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、笔记本电脑、平板电脑、可穿戴设备、物联网(Internet of Things，IoT)客户端或者车载设备等。
本公开中，报警信息中可包括新加入至慢节点报告中的慢节点对应的DataNode、慢节点报告生成时间及第一存储节点传输数据至该第二存储节点的耗时。
通过本实施例提供的又一种检测慢节点方法，分布式文件存储系统的管理员可根据接收到的报警信息获知慢节点报告中加入了新的慢节点。并根据报警信息，得知新的慢节点对应的DataNode，可提高处理新的慢节点对应的DataNode的速度，进而提高Hadoop集群存储及分析海量数据的速度。
一种实施方式中，图6中虚线部分所示的步骤S409至步骤S412的内容，为上述所述的又一种检测慢节点方法的可选步骤，可选步骤与图4所示的另一种检测慢节点方法的步骤S205至步骤S208相同，此处不再赘述。
另外，目前检测Hadoop集群慢节点的方法，在检测出Hadoop集群中的慢节点后，只能通过NameNode的管理页面显示慢节点信息，无法在执行存储数据过程中，自动移除为慢节点的数据存储节点对应的DataNode，影响Hadoop集群存储及分析海量数据的速度。
为了解决目前检测Hadoop集群慢节点的方法，在检测出Hadoop集群中的慢节点后，无法在执行存储数据过程中，自动移除为慢节点的数据存储节点对应的DataNode的问题，本公开一示例性实施例提出了又一种检测慢节点方法。如图7所示，又一种检测慢节点方法，应用于Hadoop集群中，包括步骤S501至步骤S511。其中，步骤S501至步骤S508，与图6中的步骤S401至步骤S408相同，此处不再赘述。
在步骤S509中，基于慢节点报告生成慢节点列表。
本公开中，慢节点列表中包括慢节点地址和慢节点过期时间。其中，慢节点过期时间可以提前预设，根据需要的不同可以设置为不同的时间段。
本公开中，暂停向过期时间内的慢节点对应的DataNode，发送匹配数据存储节点及存储数据指令。
在步骤S510中，在到达预定时刻时，根据过期时间和生成时间确定已过期慢节点。
本公开中，每隔一段时间或定期检查慢节点列表中是否存在过期慢节点。其中，过期慢节点根据过期时间和该慢节点的慢节点报告的生成时间而定。例如，令过期时间为0.5h，若某一慢节点的慢节点报告的生成时间为8时，那么，8.5时即为该慢节点的过期时刻。也就是说，当时刻为8.5时，该慢节点被确定为已过期慢节点。
本公开中，Hadoop集群每隔一段时间，基于NameNode后台线程查询慢节点报告，若发现新的慢节点加入，则基于慢节点报告，更新慢节点列表。其中，一段时间为根据NameNode及DataNode而自定义的。例如，一段时间可为一分钟，则每隔一分钟，Hadoop集群基于NameNode后台线程查询NameNode管理界面显示的慢节点报告，并更新慢节点列表。
本公开中，慢节点列表为映射表，慢节点列表可随时增加或删除慢节点及慢节点的记录。
在步骤S511中，从慢节点列表中移除已过期慢节点。
本公开中，若当前时刻大于某一慢节点过期时刻，则该慢节点为已过期慢节点，则将该已过期慢节点从慢节点列表中移除。
通过本实施例提供的又一种检测慢节点方法，可在检测出Hadoop集群中的慢节点后，在执行存储数据过程中，自动移除为慢节点的数据存储节点对应的DataNode，进而提高Hadoop集群存储及分析海量数据的速度。
一种实施方式中，图7中虚线部分所示的步骤S512至步骤S515的内容，为上述所述的又一种检测慢节点方法的可选步骤，可选步骤与图4所示的另一种检测慢节点方法的步骤S205至步骤S208相同，此处不再赘述。
图8为一种慢节点检测方法的交互工作流程图，应用于Hadoop集群中。如图8所示的一种慢节点检测方法，包括步骤S601至步骤S614。
在步骤S601中，获取已生成记录。
在步骤S602中，查找记录生成时刻与当前时刻之差在预设时间间隔内的记录，作为有效记录。
在步骤S603中，基于有效记录中的第一存储节点传输数据至每一其他第二存储节点的次数及耗时，确定第一存储节点传输数据至每一其他第二存储节点的平均耗时。
在步骤S604中，查找记录生成时刻与当前时刻之差在预设时间间隔内的记录，作为有效记录。
在步骤S605中，判断平均耗时是否超过预设平均耗时，若平均耗时超过预设平均耗时，执行步骤S606，若平均耗时未超过预设平均耗时，执行步骤S601。
在步骤S606中，生成慢节点报告，并发送慢节点报告至NameNode。
在步骤S607中，基于NameNode的管理页面显示汇总后的慢节点报告。
在步骤S608中，在到达预定时刻时，基于节点地址在已存在的慢节点中检测新增慢节点，若在慢节点报告中存在新增慢节点时，执行步骤S609，若在慢节点报告中不存在新增慢节点时，执行步骤S610。
在步骤S609中，发送报警信息。
在步骤S610中，基于慢节点报告生成慢节点列表。
在步骤S611中，遍历已生成的慢节点列表，移除慢节点列表中已过期慢节点。
在步骤S612中，判断第二存储节点是否为慢节点，若第二存储节点为慢节点，执行步骤S613，若第二存储节点为非慢节点，执行步骤S614。
在步骤S613中，则为第一存储节点重新分配第二存储节点，执行步骤S612。
在步骤S614中，通过第一存储节点向被分配的第二存储节点写数据。
基于与上述的检测慢节点方法相同的发明构思，本公开还提供一种数据传输装置。
图9是根据一示例性实施例示出的一种检测慢节点的装置框图。参照图9，该装置包括获取单元110，确定单元120和检测单元130。
获取单元110，被配置为针对第一存储节点，获取已生成记录，并从已生成记录中获取有效记录。已生成记录中包括：存储节点生成时刻、向除第一存储节点外的其他第二存储节点传输数据的次数及耗时。有效记录包括预设时间段内的记录，预设时间段位于生成时刻与当前时刻之间的时间段内。
确定单元120，被配置为基于有效记录包括的次数及耗时，确定第一存储节点向每个第二存储节点传输数据的平均耗时。
检测单元130，被配置为基于平均耗时，在第二存储节点中检测慢节点。
图10是根据一示例性实施例示出的另一种检测慢节点的装置框图。参照图10，该装置还包括生成单元140和显示单元150。
生成单元140，被配置为响应于检测到慢节点，获取慢节点报告，慢节点报告包括：慢节点的节点地址、向每个第二存储节点传输数据的耗时及慢节点报告的生成时间。
显示单元150，被配置为在管理页面显示慢节点报告。
图11是根据一示例性实施例示出的又一种检测慢节点的装置框图。参照图11，该装置还包括报警单元160。
检测单元130还被配置为在到达预定时刻时，基于节点地址在已存在的慢节点中检测新增慢节点。
报警单元160，被配置为响应于检测到新增慢节点，向管理地址对应的管理终端发送报警信息，管理地址包括以下至少一项：邮箱地址、指定终端地址。
图12是根据一示例性实施例示出的又一种检测慢节点的装置框图。参照图12，该装置还包括移除单元170。
移除单元170，被配置为从慢节点列表中移除已过期慢节点。
其中，生成单元140还被配置为基于慢节点报告生成慢节点列表，慢节点列表中包括所述慢节点的节点地址和所述慢节点的过期时间。确定单元120还被配置为在到达预定时刻时，根据所述过期时间和所述生成时间确定已过期慢节点。
图13是根据一示例性实施例示出的又一种检测慢节点的装置框图。参照图13，该装置还包括分配单元180。
分配单元180，被配置为在检测到第二节点为慢节点时，为第一存储节点重新分配第二存储节点；在检测到第二节点为非慢节点时，为通过第一存储节点向被分配的第二存储节点写数据。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图14是根据一示例性实施例示出的一种用于检测慢节点的装置的框图。例如，装置可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图14，装置可以包括以下一个或多个组件：处理组件1402，存储器1404，电力组件1406，多媒体组件1408，音频组件1410，输入/输出(I/O)的接口1412，传感器组件1414，以及通信组件1416。
处理组件1402通常控制装置的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1402可以包括一个或多个处理器1420来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1402可以包括一个或多个模块，便于处理组件1402和其他组件之间的交互。例如，处理组件1402可以包括多媒体模块，以方便多媒体组件1408和处理组件1402之间的交互。
存储器1404被配置为存储各种类型的数据以支持在设备的操作。这些数据的示例包括用于在装置上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件1406为装置的各种组件提供电力。电力组件1406可以包括电源管理系统，一个或多个电源，及其他与为装置生成、管理和分配电力相关联的组件。
多媒体组件1408包括在所述装置和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1408包括一个前置摄像头和/或后置摄像头。当设备处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1410被配置为输出和/或输入音频信号。例如，音频组件1410包括一个麦克风(MIC)，当装置处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1404或经由通信组件1416发送。在一些实施例中，音频组件1410还包括一个扬声器，用于输出音频信号。
I/O接口1412为处理组件1402和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1414包括一个或多个传感器，用于为装置提供各个方面的状态评估。例如，传感器组件1414可以检测到设备的打开/关闭状态，组件的相对定位，例如所述组件为装置的显示器和小键盘，传感器组件1414还可以检测装置或装置一个组件的位置改变，用户与装置接触的存在或不存在，装置方位或加速/减速和装置的温度变化。传感器组件1414可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1414还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1414还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件1416被配置为便于装置和其他设备之间有线或无线方式的通信。装置可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件1416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1416还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1404，上述指令可由装置的处理器1420执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1404，上述指令可由装置的处理器1420执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
可以理解的是，本公开中“多个”是指两个或两个以上，其它量词与之类似。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
进一步可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (12)

1.一种检测慢节点的方法，其特征在于，包括：
针对第一存储节点，获取已生成记录，所述已生成记录中包括：存储节点生成时刻、向除所述第一存储节点外的其他第二存储节点传输数据的次数及耗时；
从所述已生成记录中获取有效记录，所述有效记录包括预设时间段内的记录，所述预设时间段位于所述生成时刻与当前时刻之间的时间段内；
基于所述有效记录包括的次数及耗时，确定所述第一存储节点向每个所述第二存储节点传输数据的平均耗时；
基于所述平均耗时，在所述第二存储节点中检测慢节点。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于检测到所述慢节点，获取慢节点报告，所述慢节点报告包括：所述慢节点的节点地址、向每个所述第二存储节点传输数据的耗时及所述慢节点报告的生成时间；
在管理页面显示所述慢节点报告。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在到达预定时刻时，基于所述节点地址在已存在的慢节点中检测新增慢节点；
响应于检测到所述新增慢节点，向管理地址对应的管理终端发送报警信息，所述管理地址包括以下至少一项：邮箱地址、指定终端地址。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
基于所述慢节点报告生成慢节点列表，所述慢节点列表中包括所述慢节点的节点地址和所述慢节点的过期时间；
在到达预定时刻时，根据所述过期时间和所述生成时间确定已过期慢节点；
从所述慢节点列表中移除所述已过期慢节点。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：
若所述第二存储节点为慢节点，则为所述第一存储节点重新分配第二存储节点；
若所述第二存储节点为非慢节点，则通过所述第一存储节点向被分配的所述第二存储节点写数据。
6.一种检测慢节点的装置，其特征在于，包括：
获取单元，被配置为针对第一存储节点，获取已生成记录，并从所述已生成记录中获取有效记录，所述已生成记录中包括：存储节点生成时刻、向除所述第一存储节点外的其他第二存储节点传输数据的次数及耗时，所述有效记录包括预设时间段内的记录，所述预设时间段位于所述生成时刻与当前时刻之间的时间段内；
确定单元，被配置为基于所述有效记录包括的次数及耗时，确定所述第一存储节点向每个所述第二存储节点传输数据的平均耗时；
检测单元，被配置为基于所述平均耗时，在所述第二存储节点中检测慢节点。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
生成单元，被配置为响应于所述检测单元检测到所述慢节点，获取慢节点报告，所述慢节点报告包括：所述慢节点的节点地址、向每个所述第二存储节点传输数据的耗时及所述慢节点报告的生成时间；
显示单元，被配置为在管理页面显示所述慢节点报告。
8.根据权利要求7所述的装置，其特征在于，所述检测单元还被配置为在到达预定时刻时，基于所述节点地址在已存在的慢节点中检测新增慢节点；
所述装置还包括报警单元，所述报警单元被配置为响应于所述检测单元检测到所述新增慢节点，向管理地址对应的管理终端发送报警信息，所述管理地址包括以下至少一项：邮箱地址、指定终端地址。
9.根据权利要求8所述的装置，其特征在于，所述生成单元还被配置为基于所述慢节点报告生成慢节点列表，所述慢节点列表中包括所述慢节点的节点地址和所述慢节点的过期时间；
所述确定单元还被配置为在到达预定时刻时，根据所述过期时间和所述生成时间确定已过期慢节点；
所述装置还包括：移除单元，所述移除单元被配置为从慢节点列表中移除已过期慢节点。
10.根据权利要求6至9中任一项所述的装置，其特征在于，所述装置还包括：
分配单元，被配置为在检测到所述第二节点为慢节点时，为所述第一存储节点重新分配第二存储节点；在检测到所述第二节点为非慢节点时，通过所述第一存储节点向被分配的所述第二存储节点写数据。
11.一种检测慢节点的装置，其特征在于，所述检测慢节点的装置包括：
存储器，配置用于存储指令；以及
处理器，配置用于调用所述指令执行权利要求1-5中任一项所述的检测慢节点的方法。
12.一种非临时性计算机可读存储介质，其特征在于，所述非临时性计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在由处理器执行时，执行权利要求1-5中任一项所述的检测慢节点的方法。
CN201911065412.2A 2019-11-04 2019-11-04 一种检测慢节点的方法、装置及计算机可读存储介质 Active CN110795314B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911065412.2A CN110795314B (zh) 2019-11-04 2019-11-04 一种检测慢节点的方法、装置及计算机可读存储介质
US16/856,338 US11797218B2 (en) 2019-11-04 2020-04-23 Method and device for detecting slow node and computer-readable storage medium
EP20181752.5A EP3816809A1 (en) 2019-11-04 2020-06-23 Method and device for detecting slow node and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911065412.2A CN110795314B (zh) 2019-11-04 2019-11-04 一种检测慢节点的方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110795314A true CN110795314A (zh) 2020-02-14
CN110795314B CN110795314B (zh) 2023-10-03

Family

ID=69442521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911065412.2A Active CN110795314B (zh) 2019-11-04 2019-11-04 一种检测慢节点的方法、装置及计算机可读存储介质

Country Status (3)

Country Link
US (1) US11797218B2 (zh)
EP (1) EP3816809A1 (zh)
CN (1) CN110795314B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220414070A1 (en) * 2021-06-23 2022-12-29 Microsoft Technology Licensing, Llc Tracking data lineage and applying data removal to enforce data removal policies
CN114328098B (zh) * 2021-12-23 2023-04-18 北京百度网讯科技有限公司 一种慢节点检测方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130204948A1 (en) * 2012-02-07 2013-08-08 Cloudera, Inc. Centralized configuration and monitoring of a distributed computing cluster
CN105824934A (zh) * 2016-03-18 2016-08-03 杭州数梦工场科技有限公司 查找分布式etl中慢节点的方法和装置
CN106878388A (zh) * 2017-01-04 2017-06-20 北京百度网讯科技有限公司 对分布式存储系统中慢节点的检测
US20170177220A1 (en) * 2014-08-30 2017-06-22 Huawei Technologies Co., Ltd. Disk area isolation method and device
CN110162270A (zh) * 2019-04-29 2019-08-23 平安国际智慧城市科技股份有限公司 基于分布式存储系统的数据存储方法、存储节点及介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5121495A (en) * 1988-02-02 1992-06-09 Bell Communications Research, Inc. Methods and apparatus for information storage and retrieval utilizing hashing techniques
US20020177910A1 (en) * 2000-04-19 2002-11-28 Quarterman John S. Performance measurement system for large computer network
US7134053B1 (en) * 2002-11-22 2006-11-07 Apple Computer, Inc. Method and apparatus for dynamic performance evaluation of data storage systems
JP2006004024A (ja) * 2004-06-16 2006-01-05 Fujitsu Ltd ディレクトリサーバに実行させるためのプログラム
US20060184563A1 (en) * 2005-02-14 2006-08-17 Potter David H Method and apparatus for temporal database
CN104331520B (zh) * 2014-11-28 2018-08-07 北京奇艺世纪科技有限公司 Hadoop集群性能优化方法及装置和节点状态识别方法及装置
CN106155826B (zh) * 2015-04-16 2019-10-18 伊姆西公司 用于在总线结构中检测及处理错误的方法和系统
CN106407051B (zh) * 2015-07-31 2019-01-11 华为技术有限公司 一种检测慢盘的方法及装置
CN108418795B (zh) * 2018-01-30 2019-05-28 百度在线网络技术（北京）有限公司 跨区块链的数据访问方法、装置、系统及计算机可读介质
CN111899004A (zh) * 2018-05-29 2020-11-06 创新先进技术有限公司 基于区块链的交易处理方法及装置、电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130204948A1 (en) * 2012-02-07 2013-08-08 Cloudera, Inc. Centralized configuration and monitoring of a distributed computing cluster
US20170177220A1 (en) * 2014-08-30 2017-06-22 Huawei Technologies Co., Ltd. Disk area isolation method and device
CN105824934A (zh) * 2016-03-18 2016-08-03 杭州数梦工场科技有限公司 查找分布式etl中慢节点的方法和装置
CN106878388A (zh) * 2017-01-04 2017-06-20 北京百度网讯科技有限公司 对分布式存储系统中慢节点的检测
CN110162270A (zh) * 2019-04-29 2019-08-23 平安国际智慧城市科技股份有限公司 基于分布式存储系统的数据存储方法、存储节点及介质

Also Published As

Publication number Publication date
CN110795314B (zh) 2023-10-03
US11797218B2 (en) 2023-10-24
EP3816809A1 (en) 2021-05-05
US20210132855A1 (en) 2021-05-06

Similar Documents

Publication Publication Date Title
CN105517112B (zh) 显示WiFi网络信息的方法和装置
KR101506964B1 (ko) 메시지 쓰레드들을 우선순위화하기 위한 방법들 및 디바이스들
CN106302996B (zh) 消息显示方法及装置
CN106354571B (zh) 消息提醒方法及装置
CN106919629B (zh) 在群聊中实现信息筛选的方法及装置
US20170171706A1 (en) Device displaying method, apparatus, and storage medium
US20200084799A1 (en) Method and apparatus for controlling network access
CN110795314B (zh) 一种检测慢节点的方法、装置及计算机可读存储介质
CN113259226A (zh) 信息同步方法、装置、电子设备及存储介质
CN111046040A (zh) 确定索引的方法、装置、电子设备及存储介质
CN109451799B (zh) 剩余关键系统信息的公共控制资源集合的时域信息指示方法
CN106528247B (zh) 数据刷新方法及装置
CN106506808B (zh) 对通讯消息提示的方法及装置
CN109245992B (zh) 请求处理方法、装置、电子设备及存储介质
CN110908814A (zh) 消息处理方法、装置、电子设备及存储介质
CN108012258B (zh) 虚拟sim卡的数据流量管理方法、装置、终端及服务器
CN115422203A (zh) 区块链分布式系统的数据管理方法、装置、设备及介质
WO2021244548A1 (zh) 即时消息处理方法和装置
CN110941670B (zh) 标记状态检测方法、装置、设备及存储介质
CN112769677A (zh) 数据同步方法、装置、电子设备、存储介质和程序产品
CN111526084A (zh) 信息处理方法、装置、设备及存储介质
CN107122286B (zh) 统计事件信息的方法及装置
CN110716985B (zh) 一种节点信息处理方法、装置及介质
CN113098754A (zh) 一种群组撤销方法、装置、电子设备及存储介质
EP4180987A1 (en) Multimodal data sending method and apparatus, and multimodal data processing method and apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant