CN111367878B - Ipfs节点的监控方法及装置 - Google Patents

Ipfs节点的监控方法及装置 Download PDF

Info

Publication number
CN111367878B
CN111367878B CN202010180175.0A CN202010180175A CN111367878B CN 111367878 B CN111367878 B CN 111367878B CN 202010180175 A CN202010180175 A CN 202010180175A CN 111367878 B CN111367878 B CN 111367878B
Authority
CN
China
Prior art keywords
disk
ipfs node
utilization rate
ipfs
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010180175.0A
Other languages
English (en)
Other versions
CN111367878A (zh
Inventor
丁平
李帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202010180175.0A priority Critical patent/CN111367878B/zh
Publication of CN111367878A publication Critical patent/CN111367878A/zh
Application granted granted Critical
Publication of CN111367878B publication Critical patent/CN111367878B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3024—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a central processing unit [CPU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G06F16/152—File search processing using file content signatures, e.g. hash values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1873—Versioning file systems, temporal file systems, e.g. file system supporting different historic versions of files
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Library & Information Science (AREA)
  • Computer Hardware Design (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种IPFS节点的监控方法及装置，该方法包括：获得IPFS节点的多个运行性能指标值；将多个运行性能指标值输入至磁盘分配模型中，获得IPFS节点的磁盘利用率，所述磁盘分配模型是基于IPFS节点的运行性能指标值的历史数据训练获得的；根据IPFS节点的磁盘利用率，调节IPFS节点的设置参数。本发明可以对IPFS节点进行动态监控和设置。

Description

IPFS节点的监控方法及装置
技术领域
本发明涉及存储数据管理技术领域，尤其涉及一种IPFS节点的监控方法及装置。
背景技术
目前，现有技术中，一般通过ipfs-cluster-service插件和ipfs-cluster-ctl插件对所有IPFS节点进行统一管理，用以解决管理多个IPFS节点同步文件不便利的问题。但是，上述两个插件主要是管理IPFS节点上的如下操作：上传文件、pin文件、删除文件。对于IPFS节点的参数配置信息，则在IPFS节点安装的过程中就已经被确定，不能跟随终端机器的特性进行动态配置。基于此，安装IPFS节点的终端机器会存在如下的问题：
默认的IPFS节点配置中，磁盘空间设置为10G。对于部分硬盘空间已经满载的终端机器(服务器或者PC端或者移动终端)，10G的空间占据了大部分容量，影响终端机器的运行；对于终端机器容量较大的机器，默认设置没有充分利用机器的存储空间，造成了大量的资源浪费。
发明内容
本发明实施例提出一种IPFS节点的监控方法，用以对IPFS节点进行动态监控，该方法包括：
获得IPFS节点的多个运行性能指标值；
将多个运行性能指标值输入至磁盘分配模型中，获得IPFS节点的磁盘利用率，所述磁盘分配模型是基于IPFS节点的运行性能指标值的历史数据训练获得的；
根据IPFS节点的磁盘利用率，调节IPFS节点的设置参数。
本发明实施例提出一种IPFS节点的监控装置，用以对IPFS节点进行动态监控，该装置包括：
指标值获得模块，用于获得IPFS节点的多个运行性能指标值；
磁盘利用率获得模块，用于将多个运行性能指标值输入至磁盘分配模型中，获得IPFS节点的磁盘利用率，所述磁盘分配模型是基于IPFS节点的运行性能指标值的历史数据训练获得的；
控制模块，用于根据IPFS节点的磁盘利用率，调节IPFS节点的设置参数。
本发明实施例还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述IPFS节点的监控方法。
本发明实施例还提出了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述IPFS节点的监控方法的计算机程序。
在本发明实施例中，获得IPFS节点的多个运行性能指标值；将多个运行性能指标值输入至磁盘分配模型中，获得IPFS节点的磁盘利用率，所述磁盘分配模型是基于IPFS节点的运行性能指标值的历史数据训练获得的；根据IPFS节点的磁盘利用率，调节IPFS节点的设置参数。在上述过程中，磁盘分配模型是基于IPFS节点的运行性能指标值的历史数据训练获得的，精度高，因此，可获得准确地IPFS节点的磁盘利用率，根据该准确地IPFS节点的磁盘利用率，可以准确而灵活地调节IPFS节点的设置参数。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中IPFS节点的监控方法的流程图；
图2为本发明实施例中IPFS节点的监控装置的示意图；
图3为本发明实施例中计算机设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
在本说明书的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本申请的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
图1为本发明实施例中IPFS节点的监控方法的流程图，如图1所示，该方法包括：
步骤101，获得IPFS节点的多个运行性能指标值；
步骤102，将多个运行性能指标值输入至磁盘分配模型中，获得IPFS节点的磁盘利用率，所述磁盘分配模型是基于IPFS节点的运行性能指标值的历史数据训练获得的；
步骤103，根据IPFS节点的磁盘利用率，调节IPFS节点的设置参数。
在本发明实施例中，磁盘分配模型是基于IPFS节点的运行性能指标值的历史数据训练获得的，精度高，因此，可获得准确地IPFS节点的磁盘利用率，根据该准确地IPFS节点的磁盘利用率，可以准确而灵活地调节IPFS节点的设置参数。
具体实施时，IPFS(Inter Planetary File System，星际文件系统)是一个面向全球的、点对点的分布式版本文件系统，目标是为了补充(甚至是取代)目前统治互联网的超文本传输协议(HTTP)，将所有具有相同文件系统的计算设备连接在一起，原理用基于内容的地址替代基于域名的地址，也就是用户寻找的不是某个地址而是储存在某个地方的内容，不需要验证发送者的身份，而只需要验证内容的哈希，通过这样可以让网页的速度更快、更安全、更健壮、更持久。IPFS是一种点到点的分布式文件系统，它连接的计算设备都拥有相同的文件管理模式。
IPFS的工作原理如下：
每个文件及其中的所有块都有一个加密散列的哈希值，该值能唯一标识文件。
IPFS对于具有相同哈希值的文件，可进行冗余文件删除，同时能跟踪每个文件的历史版本记录。
IPFS中的文件查找方式是通过文件的哈希值进行查找，通过哈希值能确定文件存储的节点及跟这个节点相关的文件信息。
该系统提供了一个去中心化的命名系统，该种方式可以实现文件名称易读，而不是通过哈希值进行读取文件。
基于IPFS的优势，本发明实施例采用IPFS系统，而IPFS系统可以包括多个IPFS节点，现有技术中，对每个IPFS节点一般采用默认设置，没有充分利用机器的存储空间，造成了大量的资源浪费。而本发明实施例提出的方法可动态调节IPFS节点的设置参数。
在步骤101中，首先需要获得IPFS节点的多个运行性能指标值，这些运行指标包括CPU的固定频率C1；CPU日平均使用率C2；CPU使用率最高时刻C3；CPU核数C4；内存总量M1；内存使用峰值M2；内存使用峰值时刻M3；磁盘总容量D1；活动磁盘容量D2；磁盘活动时长D3；网络访问速度D4；网络访问时长D5；网络访问的最大时刻D6；平均网络访问速度D7。
上述指标值部分可直接从IPFS节点所在系统中获取，部分通过每日采集进行获取，在采集后有些需要做数字化处理。
CPU的固定频率为CPU主频。
CPU日平均使用率计算方式为以一个小时为基础进行CPU的使用率的数据采集，计为CP1,CP2,…,CP24，然后进行平均，最终的结果为CPU日平均使用率(C2＝(CP1+CP2+…+CP24)/24)。
CPU使用率最高时刻，是以月为周期，观察最高时刻发生的时间段，以发生最多时刻的时间段确定最高时刻的时间点。
CPU核数以IPFS节点所在计算机的硬件核数确定。
内存总量是IPFS节点所在计算机在出厂时的内存总量。
内存使用峰值是采集每日的内存使用峰值，然后按月进行峰值平均。该过程需要刨掉一些异常的内存使用峰值，比如峰值超出平均值数十倍的情况。
内存使用峰值时刻，是刨掉系统自身运行过程中的时刻，主要是所有应用程序在计算机系统的运行时的峰值时刻。
磁盘总容量是指计算机出厂的磁盘全部容量，包含装机过程中的系统占用的磁盘空间。标签为D1。
活动磁盘容量是指除去系统磁盘占用量后，其他应用程序的磁盘占用量。
磁盘活动时长是指磁盘运行过程中，应用程序占用磁盘使用的时长。
网络访问速度是指计算机联网过程中，设备联网的速度。
网络访问时长是指计算机中的非IPFS节点和系统程序联网的外的其他应用程序的访问时间。
网络访问的最大时刻是指计算的最大网络访问时间节点。
平均网络访问速度是指计算的最大平均访问时间值。
在步骤102中，可以将上述多个运行性能指标值输入至磁盘分配模型中，获得IPFS节点的磁盘利用率，而所述磁盘分配模型是基于IPFS节点的运行性能指标值的历史数据训练获得的，训练方法有多种，下面给出其中一个实施例。
在一实施例中，所述方法还包括：
将第一比例的IPFS节点的运行性能指标值的历史数据作为训练数据，采用最小二乘法训练磁盘分配模型的系数；
将第二比例的IPFS节点的运行性能指标值的历史数据作为验证数据，验证磁盘分配模型的正确性。
在上述实施例中，第一比例可以是80％，采用大量历史数据作为训练数据，并采用最小二乘法训练磁盘分配模型的系数，也训练过程中还可以利用梯度下降法进行求解，使得得到的磁盘分配模型的系数的准确度高，第二比例可以是20％，通过验证数据，可以验证更准确的磁盘分配模型。
在一实施例中，磁盘分配模型采用如下公式表示：
T＝A1·C1+A2·C2+A3·C3+A4·C4+A5·M1+A6·M2+A7·M3+A8·D1+A9·D2+A10·D3+A11·D4+A12·D5+A13·D6+A14·D7
其中，T为磁盘利用率；
A1、A2、A3、A4、A5、A6、A7、A8、A9、A10、A11、A12、A13、A14为磁盘分配模型的系数；
C1为CPU的固定频率；C2为CPU日平均使用率；C3为CPU使用率最高时刻；C4为CPU核数；M1为内存总量；M2为内存使用峰值；M3为内存使用峰值时刻；D1为磁盘总容量；D2为活动磁盘容量；D3为磁盘活动时长；D4为网络访问速度；D5为网络访问时长；D6为网络访问的最大时刻；D7为平均网络访问速度。
上述模型考虑了多种14个参数，磁盘分配模型的精度非常高。
在步骤103中，根据IPFS节点的磁盘利用率，调节IPFS节点的设置参数。其中这里的IPFS节点的设置参数可以为IPFS节点所能承受的最大磁盘存储空间StorageMax，可以采用如下公式获得：
StorageMax＝D1·T
一般情况下，默认的最大磁盘存储空间StorageMax取值为1G、10G、50G、100G、150G、200G这几种类型，当然，也可以根据上述公式灵活设置。在其他实施例中，调节IPFS节点的设置参数时，还可以调节其他设置参数，相关变化例均应该落入本发明的保护范围。
具体实施时，可以月为单位对最大磁盘存储空间StorageMax的数值进行调节，上述调节频率可以根据实际情况来定。
另外，现有技术中，IPFS节点在提供对外服务的过程中，没有考虑节点忙碌状态。可能存在IPFS节点其他应用程序占用大量的资源的情况下，该IPFS节点也同时在对外提供文件发送服务。该种风险可能导致IPFS节点其他应用程序停止工作，从而影响其他业务系统运行。为此，本发明实施例提出下面一个实施例。
在一实施例中，所述方法还包括：
基于IPFS节点的CUP探针，监测CPU利用率；
在监测到CPU利用率超过设定阈值时，控制IPFS节点停止对外服务。
在上述实施例中，设定阈值可以根据实际情况而定，控制IPFS节点停止对外服务后，可以释放IPFS节点运行所占用的计算机资源，实现对IPFS节点的灵活控制。
本发明适用于局域网和公共网络部署的IPFS节点，例如，对于全辖1万个网点，每个网点提供5台终端电脑，每台电脑的磁盘使用量为100G，则IPFS使用磁盘空间为10000*5*100G＝5000000G＝4882T＝4.76P。该系统可以利用行内资源，组件一个磁盘空间为4.76P的存储系统。对于这么大的存储系统，可通过本发明方法进行灵活监控。
综上所述，在本发明实施例提出的方法中，获得IPFS节点的多个运行性能指标值；将多个运行性能指标值输入至磁盘分配模型中，获得IPFS节点的磁盘利用率，所述磁盘分配模型是基于IPFS节点的运行性能指标值的历史数据训练获得的；根据IPFS节点的磁盘利用率，调节IPFS节点的设置参数。在上述过程中，磁盘分配模型是基于IPFS节点的运行性能指标值的历史数据训练获得的，精度高，因此，可获得准确地IPFS节点的磁盘利用率，根据该准确地IPFS节点的磁盘利用率，可以准确而灵活地调节IPFS节点的设置参数。该发明在不影响计算机上的应用程序运行的情况下，能充分提高IPFS节点的磁盘利用率和IPFS节点的CPU使用效率，更大程度的利用计算机的资源。
本发明实施例还提出一种IPFS节点的监控装置，其原理与IPFS节点的监控方法类似，这里不再赘述。
图2为本发明实施例中IPFS节点的监控装置的示意图，如图2所示，该装置包括：
指标值获得模块201，用于获得IPFS节点的多个运行性能指标值；
磁盘利用率获得模块202，用于将多个运行性能指标值输入至磁盘分配模型中，获得IPFS节点的磁盘利用率，所述磁盘分配模型是基于IPFS节点的运行性能指标值的历史数据训练获得的；
控制模块203，用于根据IPFS节点的磁盘利用率，调节IPFS节点的设置参数。
在一实施例中，所述装置还包括训练模块204，用于：
将第一比例的IPFS节点的运行性能指标值的历史数据作为训练数据，采用最小二乘法训练磁盘分配模型的系数；
将第二比例的IPFS节点的运行性能指标值的历史数据作为验证数据，验证磁盘分配模型的正确性。
在一实施例中，磁盘分配模型采用如下公式表示：
T＝A1·C1+A2·C2+A3·C3+A4·C4+A5·M1+A6·M2+A7·M3+A8·D1+A9·D2+A10·D3+A11·D4+A12·D5+A13·D6+A14·D7
其中，T为磁盘利用率；
A1、A2、A3、A4、A5、A6、A7、A8、A9、A10、A11、A12、A13、A14为磁盘分配模型的系数；
C1为CPU的固定频率；C2为CPU日平均使用率；C3为CPU使用率最高时刻；C4为CPU核数；M1为内存总量；M2为内存使用峰值；M3为内存使用峰值时刻；D1为磁盘总容量；D2为活动磁盘容量；D3为磁盘活动时长；D4为网络访问速度；D5为网络访问时长；D6为网络访问的最大时刻；D7为平均网络访问速度。
在一实施例中，控制模块203还用于：
基于IPFS节点的CUP探针，监测CPU利用率；
在监测到CPU利用率超过设定阈值时，控制IPFS节点停止对外服务。
综上所述，在本发明实施例提出的装置中，获得IPFS节点的多个运行性能指标值；将多个运行性能指标值输入至磁盘分配模型中，获得IPFS节点的磁盘利用率，所述磁盘分配模型是基于IPFS节点的运行性能指标值的历史数据训练获得的；根据IPFS节点的磁盘利用率，调节IPFS节点的设置参数。在上述过程中，磁盘分配模型是基于IPFS节点的运行性能指标值的历史数据训练获得的，精度高，因此，可获得准确地IPFS节点的磁盘利用率，根据该准确地IPFS节点的磁盘利用率，可以准确而灵活地调节IPFS节点的设置参数。该发明在不影响计算机上的应用程序运行的情况下，能充分提高IPFS节点的磁盘利用率和IPFS节点的CPU使用效率，更大程度的利用计算机的资源。
本申请的实施例还提供一种计算机设备，图3为本发明实施例中计算机设备的示意图，该计算机设备能够实现上述实施例中的IPFS节点的监控方法中全部步骤，所述电子设备具体包括如下内容：
处理器(processor)301、存储器(memory)302、通信接口(CommunicationsInterface)303和总线304；
其中，所述处理器301、存储器302、通信接口303通过所述总线304完成相互间的通信；所述通信接口303用于实现服务器端设备、检测设备以及用户端设备等相关设备之间的信息传输；
所述处理器301用于调用所述存储器302中的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中的IPFS节点的监控方法中的全部步骤。
本申请的实施例还提供一种计算机可读存储介质，能够实现上述实施例中的IPFS节点的监控方法中全部步骤，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的IPFS节点的监控方法的全部步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种IPFS节点的监控方法，其特征在于，包括：
获得IPFS节点的多个运行性能指标值；
将多个运行性能指标值输入至磁盘分配模型中，获得IPFS节点的磁盘利用率，所述磁盘分配模型是基于IPFS节点的运行性能指标值的历史数据训练获得的；
根据IPFS节点的磁盘利用率，调节IPFS节点的设置参数；
磁盘分配模型采用如下公式表示：
T＝A1·C1+A2·C2+A3·C3+A4·C4+A5·M1
+A6·M2+A7·M3+A8·D1+A9·D2+A10·D3
+A11·D4+A12·D5+A13·D6+A14·D7
其中，T为磁盘利用率；
A1、A2、A3、A4、A5、A6、A7、A8、A9、A10、A11、A12、A13、A14为磁盘分配模型的系数；
C1为CPU的固定频率；C2为CPU日平均使用率；C3为CPU使用率最高时刻；C4为CPU核数；M1为内存总量；M2为内存使用峰值；M3为内存使用峰值时刻；D1为磁盘总容量；D2为活动磁盘容量；D3为磁盘活动时长；D4为网络访问速度；D5为网络访问时长；D6为网络访问的最大时刻；D7为平均网络访问速度。
2.如权利要求1所述的IPFS节点的监控方法，其特征在于，还包括：
将第一比例的IPFS节点的运行性能指标值的历史数据作为训练数据，采用最小二乘法训练磁盘分配模型的系数；
将第二比例的IPFS节点的运行性能指标值的历史数据作为验证数据，验证磁盘分配模型的正确性。
3.如权利要求1所述的IPFS节点的监控方法，其特征在于，还包括：
基于IPFS节点的CUP探针，监测CPU利用率；
在监测到CPU利用率超过设定阈值时，控制IPFS节点停止对外服务。
4.一种IPFS节点的监控装置，其特征在于，包括：
指标值获得模块，用于获得IPFS节点的多个运行性能指标值；
磁盘利用率获得模块，用于将多个运行性能指标值输入至磁盘分配模型中，获得IPFS节点的磁盘利用率，所述磁盘分配模型是基于IPFS节点的运行性能指标值的历史数据训练获得的；
控制模块，用于根据IPFS节点的磁盘利用率，调节IPFS节点的设置参数；
磁盘分配模型采用如下公式表示：
T＝A1·C1+A2·C2+A3·C3+A4·C4+A5·M1
+A6·M2+A7·M3+A8·D1+A9·D2+A10·D3
+A11·D4+A12·D5+A13·D6+A14·D7
其中，T为磁盘利用率；
A1、A2、A3、A4、A5、A6、A7、A8、A9、A10、A11、A12、A13、A14为磁盘分配模型的系数；
C1为CPU的固定频率；C2为CPU日平均使用率；C3为CPU使用率最高时刻；C4为CPU核数；M1为内存总量；M2为内存使用峰值；M3为内存使用峰值时刻；D1为磁盘总容量；D2为活动磁盘容量；D3为磁盘活动时长；D4为网络访问速度；D5为网络访问时长；D6为网络访问的最大时刻；D7为平均网络访问速度。
5.如权利要求4所述的IPFS节点的监控装置，其特征在于，还包括训练模块，用于：
将第一比例的IPFS节点的运行性能指标值的历史数据作为训练数据，采用最小二乘法训练磁盘分配模型的系数；
将第二比例的IPFS节点的运行性能指标值的历史数据作为验证数据，验证磁盘分配模型的正确性。
6.如权利要求4所述的IPFS节点的监控装置，其特征在于，控制模块还用于：
基于IPFS节点的CUP探针，监测CPU利用率；
在监测到CPU利用率超过设定阈值时，控制IPFS节点停止对外服务。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3任一项所述方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至3任一项所述方法的计算机程序。
CN202010180175.0A 2020-03-16 2020-03-16 Ipfs节点的监控方法及装置 Active CN111367878B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010180175.0A CN111367878B (zh) 2020-03-16 2020-03-16 Ipfs节点的监控方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010180175.0A CN111367878B (zh) 2020-03-16 2020-03-16 Ipfs节点的监控方法及装置

Publications (2)

Publication Number Publication Date
CN111367878A CN111367878A (zh) 2020-07-03
CN111367878B true CN111367878B (zh) 2023-08-18

Family

ID=71210539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010180175.0A Active CN111367878B (zh) 2020-03-16 2020-03-16 Ipfs节点的监控方法及装置

Country Status (1)

Country Link
CN (1) CN111367878B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113422828A (zh) * 2021-06-23 2021-09-21 陈军 集群存储服务器、存储服务器系统及搭建ipfs网络的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108200156A (zh) * 2017-12-29 2018-06-22 南京邮电大学 一种云环境下分布式文件系统的动态负载均衡方法
CN110032449A (zh) * 2019-04-16 2019-07-19 苏州浪潮智能科技有限公司 一种优化gpu服务器的性能的方法及装置
CN110134336A (zh) * 2019-05-17 2019-08-16 上海坎通智能科技有限公司 分布式存储设备双存储动态调整优化系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10977083B2 (en) * 2018-08-30 2021-04-13 Intuit Inc. Cost optimized dynamic resource allocation in a cloud infrastructure

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108200156A (zh) * 2017-12-29 2018-06-22 南京邮电大学 一种云环境下分布式文件系统的动态负载均衡方法
CN110032449A (zh) * 2019-04-16 2019-07-19 苏州浪潮智能科技有限公司 一种优化gpu服务器的性能的方法及装置
CN110134336A (zh) * 2019-05-17 2019-08-16 上海坎通智能科技有限公司 分布式存储设备双存储动态调整优化系统

Also Published As

Publication number Publication date
CN111367878A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
US11019128B2 (en) Identity service management in limited connectivity environments
CN106100902A (zh) 云端指标监控方法和装置
CN106470219A (zh) 计算机集群的扩容和缩容方法及设备
US8463737B2 (en) Realtime unification management information data conversion and monitoring apparatus and method for thereof
CN109495542B (zh) 基于性能监控的负载分配方法及终端设备
EP2671362A2 (en) Overhead management for event tracing
Jiao et al. Cost optimization for online social networks on geo-distributed clouds
JPWO2018131556A1 (ja) リソース設定制御装置、リソース設定制御システム、リソース設定制御方法、および、リソース設定制御プログラム
CN111367878B (zh) Ipfs节点的监控方法及装置
CN115469813A (zh) 数据处理方法及装置、存储介质、电子装置
CN116893933A (zh) 一种边缘计算系统的容灾控制方法、装置及相关设备
CN104202305A (zh) 一种转码处理方法、装置及服务器
CN112416888B (zh) 用于分布式文件系统的动态负载均衡方法及系统
CN110245014B (zh) 数据处理方法和装置
CN114070755B (zh) 虚拟机网络流量确定方法、装置、电子设备和存储介质
CN113965587A (zh) 一种人工智能平台的数据获取方法、装置、设备、介质
CN112395357A (zh) 一种数据收集方法、装置和电子设备
CN110347546B (zh) 监控任务动态调整方法、装置、介质及电子设备
CN109257256A (zh) 设备监控方法、装置、计算机设备及存储介质
CN110704382B (zh) 文件部署方法、装置、服务器及存储介质
CN108134842A (zh) 一种云主机根据负载策略进行迁移的系统、方法
CN103092736B (zh) 服务程序监控的方法及装置
CN113127187A (zh) 用于集群扩缩容的方法和装置
CN117573501B (zh) 指标采集方法及相关产品
CN110968397B (zh) 一种虚拟机容量管理的分析方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant