CN113157518A - 一种设备接入方法及装置 - Google Patents

一种设备接入方法及装置 Download PDF

Info

Publication number
CN113157518A
CN113157518A CN202110205638.9A CN202110205638A CN113157518A CN 113157518 A CN113157518 A CN 113157518A CN 202110205638 A CN202110205638 A CN 202110205638A CN 113157518 A CN113157518 A CN 113157518A
Authority
CN
China
Prior art keywords
log
accessed
platform
amount
total
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110205638.9A
Other languages
English (en)
Other versions
CN113157518B (zh
Inventor
许薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp filed Critical China Construction Bank Corp
Priority to CN202110205638.9A priority Critical patent/CN113157518B/zh
Publication of CN113157518A publication Critical patent/CN113157518A/zh
Application granted granted Critical
Publication of CN113157518B publication Critical patent/CN113157518B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3089Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种设备接入方法及装置,该方法为:获取日志平台的剩余存储容量,及获取在指定周期内收集得到的各个待接入设备的日志量;利用各个待接入设备的日志量、日志膨胀系数和日志存储天数,确定日志总量;在剩余存储容量满足预设条件的情况下,若日志总量与剩余存储容量之间的比例关系满足预设关系,将所有待接入设备接入日志平台;在剩余存储容量满足预设条件的情况下,若日志总量与剩余存储容量之间的比例关系不满足预设关系,将各个待接入设备分批次接入日志平台。不需要运维人员以人工的方式收集信息并评估设备是否能接入日志平台,保证日志平台的性能和安全性。

Description

一种设备接入方法及装置
技术领域
本发明涉及运维技术领域,具体涉及一种设备接入方法及装置。
背景技术
在运维领域,通常利用日志分析组件进行日志的收集和数据分析,其中较为关键的元素为日志平台的容量问题。
目前日志平台在接入新设备的日志时,需要运维人员向接入方收集日志量和业务峰值时间等信息,再由运维人员根据所收集的信息评估新设备是否能接入日志平台。但是,新设备的原日志在接入日志平台时可能会存在日志膨胀的情况,并且新设备也可能出现日志突增的情况,运维人员均无法及时和准确的预估前述两种情况,造成实际接入日志平台的日志量远大于运维人员的评估结果,影响日志平台的性能和安全性。
发明内容
有鉴于此,本发明实施例提供一种设备接入方法及装置,以解决现有将设备接入日志平台的方式存在的影响日志平台的性能和安全性等问题。
为实现上述目的,本发明实施例提供如下技术方案:
本发明实施例第一方面公开一种设备接入方法,所述方法包括:
获取日志平台的剩余存储容量,及获取在指定周期内收集得到的各个待接入设备的日志量;
利用各个所述待接入设备的日志量、日志膨胀系数和日志存储天数,确定日志总量;
在所述剩余存储容量满足预设条件的情况下,若所述日志总量与所述剩余存储容量之间的比例关系满足预设关系,将所有所述待接入设备接入所述日志平台;
在所述剩余存储容量满足预设条件的情况下,若所述日志总量与所述剩余存储容量之间的比例关系不满足所述预设关系,将各个所述待接入设备分批次接入所述日志平台。
优选的,所述利用各个所述待接入设备的日志量、日志膨胀系数和日志存储天数,确定日志总量,包括:
利用y=a*b*(1+p)*c,确定日志总量y,a为单台所述待接入设备每日产生的日志量,b为所述待接入设备的数量,p为日志膨胀系数,c为日志存储天数,所述日志膨胀系数基于处理所述待接入设备的日志的中间件所确定。
优选的,还包括:
在将各个所述待接入设备分批次接入所述日志平台的过程中,对已接入所述日志平台的所述待接入设备的日志量、业务高峰期和业务高峰期日志量进行日志波形图学习,确定接入所述日志平台的日志瞬时流量。
优选的,还包括:
在将各个所述待接入设备分批次接入所述日志平台的过程中,获取所述日志平台中存储的当前日志总量;
若所述当前日志总量和/或所述日志瞬时流量大于所述日志平台的总容量的预设百分比,停止将所述待接入设备接入所述日志平台。
优选的,还包括:
在将各个所述待接入设备分批次接入所述日志平台的过程中,确定每台已接入所述日志平台的所述待接入设备的日志接入量;
利用每台已接入所述日志平台的所述待接入设备的日志接入量,预测所有所述待接入设备接入所述日志平台所产生的预测日志接入总量。
优选的,所述确定每台已接入所述日志平台的所述待接入设备的日志接入量,包括:
利用x=(d+e*K1)*p*f*K2,,确定每台已接入所述日志平台的所述待接入设备的日志接入量x,d为每台已接入所述日志平台的所述待接入设备的日志量,e为日志量峰值,K1为日志量峰值系数比,p为日志膨胀系数,f为副本数,K2为解析规则复杂度。
优选的,所述利用每台已接入所述日志平台的所述待接入设备的日志接入量,预测所有所述待接入设备接入所述日志平台所产生的预测日志接入总量,包括:
利用z=i*n/m,预测所有所述待接入设备接入所述日志平台所产生的预测日志接入总量z,i为已按批次接入所述日志平台的所述待接入设备的日志接入量之和,n为批次总数量,m为已接入所述日志平台的所述待接入设备的批次数量。
本发明实施例第二方面公开一种设备接入装置,所述装置包括:
获取单元,用于获取日志平台的剩余存储容量,及获取在指定周期内收集得到的各个待接入设备的日志量;
确定单元,用于利用各个所述待接入设备的日志量、日志膨胀系数和日志存储天数,确定日志总量;
全量接入单元,用于在所述剩余存储容量满足预设条件的情况下,若所述日志总量与所述剩余存储容量之间的比例关系满足预设关系,将所有所述待接入设备接入所述日志平台;
批量接入单元,用于在所述剩余存储容量满足预设条件的情况下,若所述日志总量与所述剩余存储容量之间的比例关系不满足所述预设关系,将各个所述待接入设备分批次接入所述日志平台。
优选的,所述确定单元具体用于:
利用y=a*b*(1+p)*c,确定日志总量y,a为单台所述待接入设备每日产生的日志量,b为所述待接入设备的数量,p为日志膨胀系数,c为日志存储天数,所述日志膨胀系数基于处理所述待接入设备的日志的中间件所确定。
优选的,所述装置还包括:
学习单元,用于在将各个所述待接入设备分批次接入所述日志平台的过程中,对已接入所述日志平台的所述待接入设备的日志量、业务高峰期和业务高峰期日志量进行日志波形图学习,确定接入所述日志平台的日志瞬时流量。
基于上述本发明实施例提供的一种设备接入方法及装置,该方法为:获取日志平台的剩余存储容量,及获取在指定周期内收集得到的各个待接入设备的日志量;利用各个待接入设备的日志量、日志膨胀系数和日志存储天数,确定日志总量;在剩余存储容量满足预设条件的情况下,若日志总量与剩余存储容量之间的比例关系满足预设关系,将所有待接入设备接入日志平台;在剩余存储容量满足预设条件的情况下,若日志总量与剩余存储容量之间的比例关系不满足预设关系,将各个待接入设备分批次接入日志平台。根据采集得到的所有待接入设备的日志总量和日志平台的剩余存储容量,确定以全量接入或分批次接入的方式,将待接入设备接入日志平台,不需要运维人员以人工的方式收集信息并评估设备是否能接入日志平台,保证日志平台的性能和安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种设备接入方法的流程图;
图2为本发明实施例提供的分批次将待接入设备接入日志平台的控制流程图;
图3为本发明实施例提供的一种设备接入装置的结构框图;
图4为本发明实施例提供的一种设备接入装置的另一结构框图;
图5为本发明实施例提供的一种设备接入装置的另一结构框图;
图6为本发明实施例提供的一种设备接入装置的另一结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
由背景技术可知,目前在将新设备接入日志平台时,需要由日志平台的运维人员向接入方收集日志量和业务峰值时间等信息,再由运维人员根据所收集的信息评估新设备是否能接入日志平台。但是,新设备的原日志在接入日志平台时可能会存在日志膨胀的情况,并且新设备也可能出现日志突增的情况,前述两种情况造成实际接入日志平台的日志量远大于运维人员的评估结果,影响日志平台的性能和安全性。
因此,本发明实施例提供一种设备接入方法及装置,根据采集得到的所有待接入设备的日志总量和日志平台的剩余存储容量,确定以全量接入或分批次接入的方式,将待接入设备接入日志平台,不需要运维人员以人工的方式收集信息并评估设备是否能接入日志平台,以保证日志平台的性能和安全性。
参见图1,示出了本发明实施例提供的一种设备接入方法的流程图,该设备接入方法包括:
步骤S101:获取日志平台的剩余存储容量,及获取在指定周期内收集得到的各个待接入设备的日志量。
在具体实现步骤S101的过程中,获取日志平台对应的存储设备(比如存储磁盘)的剩余存储容量,以及利用日志探针收集指定周期内的各个待接入设备的日志量,待接入设备即为需接入日志平台的设备。
可以理解的是,在利用日志探针收集各个待接入设备的日志量时,可将收集得到的日志量返回至日志平台的系统端进行查看。
步骤S102:利用各个待接入设备的日志量、日志膨胀系数和日志存储天数,确定日志总量。
在具体实现步骤S102的过程中,利用各个待接入设备的日志量、日志膨胀系数和日志存储天数,通过公式(1)确定日志总量y,该日志总量即为将所有待接入设备的日志接入日志平台所对应的日志总数量。
y=a*b*(1+p)*c(1)
在公式(1)中,a为单台待接入设备每日产生的日志量,b为待接入设备的数量,p为日志膨胀系数,c为日志存储天数。
可以理解的是,待接入设备中的日志称为原始日志,在将待接入设备接入日志平台时,需要利用中间件对待接入设备的原始日志进行一定的处理和解析,比如对原始日志增加存储某些日志平台需要的字段,再将经过处理和解析后的原始日志存储到日志平台中,此时存储至日志平台的日志(经过处理和解析后的原始日志)的数据量会比待接入设备中的日志的数据量大,即将待接入设备中的日志存储至日志平台时会出现日志膨胀的情况,故在计算存储至日志平台的日志总量时,需考虑日志膨胀系数,不同的中间件对应不同的日志膨胀系数,即日志膨胀系数基于处理待接入设备的日志的中间件所确定。
需要说明的是,中间件是指:在将待接入设备的原始日志写入日志平台的过程中,处理数据流所使用的开源软件,也可以理解为将具体业务和底层逻辑解耦的组件。
步骤S103:在剩余存储容量满足预设条件的情况下,若日志总量与剩余存储容量之间的比例关系满足预设关系,将所有待接入设备接入日志平台。
预先设定相应的预设条件,比如将预设条件设定为:日志平台的剩余存储容量大于40%,即日志平台的存储设备的使用率小于60%。
以及预先设定相应的预设关系,比如将预设关系设定为:所有待接入设备接入日志平台所产生的日志总量小于剩余存储容量的10%。
在具体实现步骤S103的过程中,在剩余存储容量满足预设条件的情况下,比如:在剩余存储容量大于40%的情况下,若日志总量与剩余存储容量之间的比例关系满足预设关系,比如若日志总量小于剩余存储容量的10%,此时可认为日志总量远小于日志平台的剩余存储容量,可直接将所有待接入设备全量接入日志平台。
需要说明的是,在将待接入设备接入日志平台时,通过在待接入设备上的agent端将该待接入设备接入日志平台。
步骤S104:在剩余存储容量满足预设条件的情况下,若日志总量与剩余存储容量之间的比例关系不满足预设关系,将各个待接入设备分批次接入日志平台。
在具体实现步骤S104的过程中,在剩余存储容量满足预设条件的情况下,比如:在剩余存储容量大于40%的情况下,若日志总量与剩余存储容量之间的比例关系不满足预设关系,比如若日志总量大于等于剩余存储容量的10%,将所有待接入设备分批次接入日志平台。
可以理解的是,在将所有待接入设备分批次接入日志平台时,可根据实际情况确定批次总数量和每个批次对应的待接入设备的数量。
比如:在将所有待接入设备分批次接入日志平台时,按照每次将10%的待接入设备接入日志平台的形式,将所有待接入设备分10批依次接入日志平台。
优选的,在将各个待接入设备分批次接入日志平台的过程中,可以利用已经接入日志平台的待接入设备的日志接入量,预测所有待接入设备接入日志平台所产生的预测日志接入总量,所得到的预测日志接入总量可作为是否能将待接入设备全量接入日志平台的依据。
具体确定预测日志接入总量的过程如下:
在将各个待接入设备分批次接入日志平台的过程中,确定每台已接入日志平台的待接入设备的日志接入量,在具体实现中,通过公式(2)确定每台已经接入日志平台的待接入设备对应的日志接入量x,该日志接入量即为该待接入设备已经存储至日志平台的日志量。
x=(d+e*K1)*p*f*K2(2)
在公式(2)中,d为每台已接入日志平台的待接入设备的日志量,e为日志量峰值,K1为日志量峰值系数比,p为日志膨胀系数,f为副本数(数值为默认副本数+1),K2为解析规则复杂度。
需要说明的是,日志量峰值系数比K1小于等于1,比如:一天为24小时,假设日志量峰值时间为12小时,那么K1=12/24=0.5,当K1=1时指示全天都是日志量峰值。
解析规则复杂度K2大于等于1,当不存在配置解析规则时,K2=1,当配置解析规则字段并解析时,K2>1(极限值为正无穷)。
确定每台已接入日志平台的待接入设备的日志接入量之后,利用每台已接入日志平台的待接入设备的日志接入量,预测所有待接入设备接入日志平台所产生的预测日志接入总量,在具体实现中,通过公式(3)预测所有待接入设备接入日志平台所产生的预测日志接入总量z,预测日志接入总量即为预测得到的所有待接入设备已经存储至日志平台的日志总量。
z=i*n/m(3)
在公式(3)中,i为已按批次接入日志平台的待接入设备的日志接入量之和,n为批次总数量,m为已接入日志平台的待接入设备的批次数量。
比如:假设以每次将10%的待接入设备接入日志平台的形式,将所有待接入设备分10批依次接入日志平台,并假设此时仅将10%(即已接入日志平台的待接入设备的批次数量为1)的待接入设备接入日志平台,此时预测日志接入总量z=10%的已接入日志平台的待接入设备的日志接入量之和*10/1。
在本发明实施例中,获取日志平台的剩余存储容量,及获取在指定周期内收集得到的各个待接入设备的日志量。利用各个待接入设备的日志量、日志膨胀系数和日志存储天数,确定日志总量。在剩余存储容量满足预设条件的情况下,根据日志总量与剩余存储容量之间的比例关系,确定以全量接入或分批次接入的方式,将待接入设备接入日志平台,不需要运维人员以人工的方式收集信息并评估设备是否能接入日志平台,保证日志平台的性能和安全性。
需要说明的是,在将所有待接入设备分批次接入日志平台的过程中,为保证日志平台的稳定运行,需根据日志平台的性能和容量,实时控制待接入设备按批次接入日志平台的过程。
优选的,参见图2,示出了本发明实施例提供的分批次将待接入设备接入日志平台的控制流程图,包括以下步骤:
步骤S201:在将各个待接入设备分批次接入日志平台的过程中,对已接入日志平台的待接入设备的日志量、业务高峰期和业务高峰期日志量进行日志波形图学习,确定接入日志平台的日志瞬时流量。
在具体实现步骤S201的过程中,在将各个待接入设备分批次接入日志平台的过程中,利用已接入日志平台的待接入设备的日志量、业务高峰期和业务高峰期日志量,进行日志波形图学习,得到接入日志平台的日志瞬时流量。
需要说明的是,上述本发明实施例图1步骤S101中涉及了通过日志探针收集待接入设备的日志量,而通过日志波形图学习可获取更加准确的日志数据,故可利用日志波形图学习得到的日志数据对日志探针所采集的数据进行校正。
优选的,通过日志波形图学习得到接入日志平台的日志瞬时流量后,可展示所确定的日志瞬时流量,实现日志瞬时流量的可视化。
步骤S202:在将各个待接入设备分批次接入日志平台的过程中,获取日志平台中存储的当前日志总量。
在具体实现步骤S202的过程中,在将各个待接入设备分批次接入日志平台的过程中,通过日志平台所对应的服务器(预先登录该服务器,该服务器用于存储日志)查询日志平台中所存储的当前日志总量,即查询目前日志平台中已经存储的日志的总量。
步骤S203:若当前日志总量和/或日志瞬时流量大于日志平台的总容量的预设百分比,停止将待接入设备接入日志平台。
在具体实现步骤S203的过程中,若日志平台对应的当前日志总量和/或日志瞬时流量大于日志平台的总容量的预设百分比,比如:在当前日志总量和/或日志瞬时流量大于日志平台的总容量的80%时,停止将待接入设备接入日志平台,以保证日志平台的稳定运行。
在本发明实施例中,在将各个待接入设备分批次接入日志平台的过程中,通过所确定的日志平台的当前日志总量和日志瞬时流量,确定是否继续将待接入设备接入日志平台,从而保证日志平台的稳定运行。
与上述本发明实施例提供的一种设备接入方法相对应,参见图3,本发明实施例还提供了一种设备接入装置的结构框图,该设备接入装置包括:获取单元301、确定单元302、全量接入单元303和批量接入单元304;
获取单元301,用于获取日志平台的剩余存储容量,及获取在指定周期内收集得到的各个待接入设备的日志量。
确定单元302,用于利用各个待接入设备的日志量、日志膨胀系数和日志存储天数,确定日志总量。
在具体实现中,确定单元具体用于:利用公式(1)确定日志总量。
全量接入单元303,用于在剩余存储容量满足预设条件的情况下,若日志总量与剩余存储容量之间的比例关系满足预设关系,将所有待接入设备接入所述日志平台。
批量接入单元304,用于在剩余存储容量满足预设条件的情况下,若日志总量与剩余存储容量之间的比例关系不满足预设关系,将各个待接入设备分批次接入日志平台。
在本发明实施例中,获取日志平台的剩余存储容量,及获取在指定周期内收集得到的各个待接入设备的日志量。利用各个待接入设备的日志量、日志膨胀系数和日志存储天数,确定日志总量。在剩余存储容量满足预设条件的情况下,根据日志总量与剩余存储容量之间的比例关系,确定以全量接入或分批次接入的方式,将待接入设备接入日志平台,不需要运维人员以人工的方式收集信息并评估设备是否能接入日志平台,保证日志平台的性能和安全性。
优选的,结合图3,参见图4,示出了本发明实施例提供的一种设备接入装置的另一结构框图,该设备接入装置还包括:
学习单元305,用于在将各个待接入设备分批次接入日志平台的过程中,对已接入日志平台的待接入设备的日志量、业务高峰期和业务高峰期日志量进行日志波形图学习,确定接入日志平台的日志瞬时流量。
优选的,结合图4,参见图5,示出了本发明实施例提供的一种设备接入装置的另一结构框图,该设备接入装置还包括:
查询单元306,用于在将各个待接入设备分批次接入日志平台的过程中,获取日志平台中存储的当前日志总量。
处理单元307,用于若当前日志总量和/或日志瞬时流量大于日志平台的总容量的预设百分比,停止将待接入设备接入日志平台。
在本发明实施例中,在将各个待接入设备分批次接入日志平台的过程中,通过所确定的日志平台的当前日志总量和日志瞬时流量,确定是否继续将待接入设备接入日志平台,从而保证日志平台的稳定运行。
优选的,结合图3,参见图6,示出了本发明实施例提供的一种设备接入装置的另一结构框图,该设备接入装置还包括:
计算单元308,用于在将各个待接入设备分批次接入日志平台的过程中,确定每台已接入日志平台的待接入设备的日志接入量。
在具体实现中,计算单元308具体用于:利用公式(2)确定每台已接入所日志平台的待接入设备的日志接入量。
预测单元309,用于利用每台已接入日志平台的待接入设备的日志接入量,预测所有待接入设备接入日志平台所产生的预测日志接入总量。
在具体实现中,预测单元309具体用于:利用公式(3)预测所有待接入设备接入日志平台所产生的预测日志接入总量。
综上所述,本发明实施例提供一种设备接入方法及装置,根据采集得到的所有待接入设备的日志总量和日志平台的剩余存储容量,确定以全量接入或分批次接入的方式,将待接入设备接入日志平台,不需要运维人员以人工的方式收集信息并评估设备是否能接入日志平台,保证日志平台的性能和安全性。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种设备接入方法,其特征在于,所述方法包括:
获取日志平台的剩余存储容量,及获取在指定周期内收集得到的各个待接入设备的日志量;
利用各个所述待接入设备的日志量、日志膨胀系数和日志存储天数,确定日志总量;
在所述剩余存储容量满足预设条件的情况下,若所述日志总量与所述剩余存储容量之间的比例关系满足预设关系,将所有所述待接入设备接入所述日志平台;
在所述剩余存储容量满足预设条件的情况下,若所述日志总量与所述剩余存储容量之间的比例关系不满足所述预设关系,将各个所述待接入设备分批次接入所述日志平台。
2.根据权利要求1所述的方法,其特征在于,所述利用各个所述待接入设备的日志量、日志膨胀系数和日志存储天数,确定日志总量,包括:
利用y=a*b*(1+p)*c,确定日志总量y,a为单台所述待接入设备每日产生的日志量,b为所述待接入设备的数量,p为日志膨胀系数,c为日志存储天数,所述日志膨胀系数基于处理所述待接入设备的日志的中间件所确定。
3.根据权利要求1所述的方法,其特征在于,还包括:
在将各个所述待接入设备分批次接入所述日志平台的过程中,对已接入所述日志平台的所述待接入设备的日志量、业务高峰期和业务高峰期日志量进行日志波形图学习,确定接入所述日志平台的日志瞬时流量。
4.根据权利要求3所述的方法,其特征在于,还包括:
在将各个所述待接入设备分批次接入所述日志平台的过程中,获取所述日志平台中存储的当前日志总量;
若所述当前日志总量和/或所述日志瞬时流量大于所述日志平台的总容量的预设百分比,停止将所述待接入设备接入所述日志平台。
5.根据权利要求1所述的方法,其特征在于,还包括:
在将各个所述待接入设备分批次接入所述日志平台的过程中,确定每台已接入所述日志平台的所述待接入设备的日志接入量;
利用每台已接入所述日志平台的所述待接入设备的日志接入量,预测所有所述待接入设备接入所述日志平台所产生的预测日志接入总量。
6.根据权利要求5所述的方法,其特征在于,所述确定每台已接入所述日志平台的所述待接入设备的日志接入量,包括:
利用x=(d+e*K1)*p*f*K2,,确定每台已接入所述日志平台的所述待接入设备的日志接入量x,d为每台已接入所述日志平台的所述待接入设备的日志量,e为日志量峰值,K1为日志量峰值系数比,p为日志膨胀系数,f为副本数,K2为解析规则复杂度。
7.根据权利要求5所述的方法,其特征在于,所述利用每台已接入所述日志平台的所述待接入设备的日志接入量,预测所有所述待接入设备接入所述日志平台所产生的预测日志接入总量,包括:
利用z=i*n/m,预测所有所述待接入设备接入所述日志平台所产生的预测日志接入总量z,i为已按批次接入所述日志平台的所述待接入设备的日志接入量之和,n为批次总数量,m为已接入所述日志平台的所述待接入设备的批次数量。
8.一种设备接入装置,其特征在于,所述装置包括:
获取单元,用于获取日志平台的剩余存储容量,及获取在指定周期内收集得到的各个待接入设备的日志量;
确定单元,用于利用各个所述待接入设备的日志量、日志膨胀系数和日志存储天数,确定日志总量;
全量接入单元,用于在所述剩余存储容量满足预设条件的情况下,若所述日志总量与所述剩余存储容量之间的比例关系满足预设关系,将所有所述待接入设备接入所述日志平台;
批量接入单元,用于在所述剩余存储容量满足预设条件的情况下,若所述日志总量与所述剩余存储容量之间的比例关系不满足所述预设关系,将各个所述待接入设备分批次接入所述日志平台。
9.根据权利要求8所述的装置,其特征在于,所述确定单元具体用于:
利用y=a*b*(1+p)*c,确定日志总量y,a为单台所述待接入设备每日产生的日志量,b为所述待接入设备的数量,p为日志膨胀系数,c为日志存储天数,所述日志膨胀系数基于处理所述待接入设备的日志的中间件所确定。
10.根据权利要求8所述的装置,其特征在于,所述装置还包括:
学习单元,用于在将各个所述待接入设备分批次接入所述日志平台的过程中,对已接入所述日志平台的所述待接入设备的日志量、业务高峰期和业务高峰期日志量进行日志波形图学习,确定接入所述日志平台的日志瞬时流量。
CN202110205638.9A 2021-02-24 2021-02-24 一种设备接入方法及装置 Active CN113157518B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110205638.9A CN113157518B (zh) 2021-02-24 2021-02-24 一种设备接入方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110205638.9A CN113157518B (zh) 2021-02-24 2021-02-24 一种设备接入方法及装置

Publications (2)

Publication Number Publication Date
CN113157518A true CN113157518A (zh) 2021-07-23
CN113157518B CN113157518B (zh) 2024-07-16

Family

ID=76883333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110205638.9A Active CN113157518B (zh) 2021-02-24 2021-02-24 一种设备接入方法及装置

Country Status (1)

Country Link
CN (1) CN113157518B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040015566A1 (en) * 2002-07-19 2004-01-22 Matthew Anderson Electronic item management and archival system and method of operating the same
JP2008165606A (ja) * 2006-12-28 2008-07-17 Ricoh Co Ltd 電子機器およびコンピュータが実行するためのプログラム
CN102891873A (zh) * 2011-07-21 2013-01-23 腾讯科技(深圳)有限公司 一种存储日志数据的方法及日志数据存储系统
CN109298990A (zh) * 2018-10-17 2019-02-01 平安科技(深圳)有限公司 日志存储方法、装置、计算机设备及存储介质
CN112035410A (zh) * 2020-08-18 2020-12-04 腾讯科技(深圳)有限公司 日志存储方法、装置、节点设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040015566A1 (en) * 2002-07-19 2004-01-22 Matthew Anderson Electronic item management and archival system and method of operating the same
JP2008165606A (ja) * 2006-12-28 2008-07-17 Ricoh Co Ltd 電子機器およびコンピュータが実行するためのプログラム
CN102891873A (zh) * 2011-07-21 2013-01-23 腾讯科技(深圳)有限公司 一种存储日志数据的方法及日志数据存储系统
CN109298990A (zh) * 2018-10-17 2019-02-01 平安科技(深圳)有限公司 日志存储方法、装置、计算机设备及存储介质
CN112035410A (zh) * 2020-08-18 2020-12-04 腾讯科技(深圳)有限公司 日志存储方法、装置、节点设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙超 等: "海量监视数据云储存服务模型的涉及与实现", 武汉大学学报, no. 07, pages 154 - 161 *
孙超;肖文名;曾乐;白金婷;: "海量监视数据云存储服务模型的设计与实现", 武汉大学学报(信息科学版), no. 07 *

Also Published As

Publication number Publication date
CN113157518B (zh) 2024-07-16

Similar Documents

Publication Publication Date Title
CN110880984A (zh) 基于模型的流量异常监测方法、装置、设备及存储介质
CN111427753B (zh) 基于arima模型的容量预测装置及其控制方法
EP2490126B1 (en) System operation management device, system operation management method, and program storage medium
CN110471821B (zh) 异常变更检测方法、服务器及计算机可读存储介质
KR101639332B1 (ko) 화상형성장치 관리 서버, 화상형성장치들의 에러를 관리하는 방법 및 시스템
CN116681402B (zh) 一种基于物联网的项目信息库服务管理系统及方法
JP5768983B2 (ja) 契約違反予測システム、契約違反予測方法および契約違反予測プログラム
CN110930052A (zh) 一种变电设备故障率预测方法,系统,设备及可读存储介质
US7941296B2 (en) Benchmarking and gap analysis system and method
CN114140034B (zh) 基于工况的质量监控方法及相关装置
US7617313B1 (en) Metric transport and database load
CN115378928A (zh) 基于云服务的监控方法及系统
Ernst et al. A quality control approach for monitoring inventory stock levels
CN113065234B (zh) 一种智能电表的批次可靠性风险等级评估方法及系统
US20090089333A1 (en) Method and system for analyzing operating condition
CN116684452B (zh) 一种基于aigc大模型的知识中台构建方法及系统
CN101364229A (zh) 一种基于时间容量分析的数据仓库主机资源预测方法
WO2008050323A2 (en) Method for measuring health status of complex systems
CN113157518A (zh) 一种设备接入方法及装置
CN115267641B (zh) 同塔双回输电线路中电流互感器误差异常识别方法、系统
CN116380228A (zh) 衡器运行监测方法、系统、终端及存储介质
Pavasson et al. Variation mode and effect analysis compared to FTA and FMEA in product development
CN112988536B (zh) 一种数据异常检测方法、装置、设备及存储介质
CN113129127A (zh) 预警方法和装置
CN109544353B (zh) 电子装置、基于数据变化因子分析准备金变化的方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant