CN114153714A - 基于日志信息的容量调整方法、装置、设备及存储介质 - Google Patents

基于日志信息的容量调整方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114153714A
CN114153714A CN202111458622.5A CN202111458622A CN114153714A CN 114153714 A CN114153714 A CN 114153714A CN 202111458622 A CN202111458622 A CN 202111458622A CN 114153714 A CN114153714 A CN 114153714A
Authority
CN
China
Prior art keywords
log information
capacity adjustment
target
decision result
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111458622.5A
Other languages
English (en)
Inventor
刘沁源
段嘉
吴开通
高宏
龙喜洋
黄龙华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Merchants Finance Technology Co Ltd
Original Assignee
China Merchants Finance Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Merchants Finance Technology Co Ltd filed Critical China Merchants Finance Technology Co Ltd
Priority to CN202111458622.5A priority Critical patent/CN114153714A/zh
Publication of CN114153714A publication Critical patent/CN114153714A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1737—Details of further file system functions for reducing power consumption or coping with limited storage space, e.g. in mobile devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种基于日志信息的容量调整方法、装置、设备及存储介质，应用于通信技术领域，用于提高对应用服务进行容量调整的效率。本发明提供的方法包括：通过预设的日志信息采集方式，获取待调整目标的日志信息，根据预设的决策策略，获取存储在消息队列中的待调整目标的日志信息，作为目标日志信息；将目标日志信息输入到预设的容量调整模型进行计算，得到初始决策结果，并根据初始决策结果生成反馈信息，并基于反馈信息对预设的容量调整模型进行参数迭代，得到优化的容量调整模型；并将目标日志信息输入到优化的容量调整模型进行计算，得到决策结果，并基于决策结果执行相应的容量调整操作。

Description

基于日志信息的容量调整方法、装置、设备及存储介质
技术领域
本发明涉及通信技术领域，尤其涉及一种基于日志信息的容量调整方法、装置、设备及存储介质。
背景技术
随着互联网的兴起，WEB服务具有成本低、效率高，以及易测试轻量级的特点，WEB服务已经成为互联网通信领域的研究热点之一。
用户在使用web应用服务时，随着数据量的急剧膨胀，需要相应的web应用集群具备更有效的容量调整能力，以提高用户使用web服务的体验。
目前，所有web服务的日志信息、异常信息都需要记录下来，当系统发生故障时，根据日志信息进行排除，以快速确定故障原因，日志信息包括各服务的内存使用情况、流量使用情况等参数。
现有技术根据日志信息进行分析时，所使用的指标维度过于单一，对于容量或者负载的调整难以通过单一指标的变化来体现，同时，缺少一种聚合所有指标进行分析的方法，使得难以应对日益复杂的web应用存储，不能灵活调整应用服务的容量负载。
发明内容
本发明提供一种基于日志信息的容量调整方法、装置、计算机设备及存储介质，以提高调整容量负载的效率。
一种基于日志信息的容量调整方法，包括：
根据预设的日志信息采集方式，获取待调整目标的日志信息，并将所述日志信息导入到消息队列，其中，所述日志信息包括多个维度的日志数据；
当接收到所述待调整目标的调整请求时，根据预设的决策策略，获取所述待调整目标在消息队列中对应的所述日志信息，作为目标日志信息；
将所述目标日志信息输入到预设的容量调整模型进行计算，得到初始决策结果；
基于所述初始决策结果生成反馈信息，并基于所述反馈信息对所述预设的容量调整模型进行参数迭代，得到优化的容量调整模型；
将所述目标日志信息输入到所述优化的容量调整模型进行计算，得到决策结果，并基于所述决策结果，执行对应的容量调整操作。
一种基于日志信息的容量调整装置，包括：
日志获取模块，用于根据预设的日志信息采集方式，获取待调整目标的日志信息，并将所述日志信息导入到消息队列，其中，所述日志信息包括多个维度的日志数据；
日志筛选模块，用于当接收到所述待调整目标的调整请求时，根据预设的决策策略，获取所述待调整目标在消息队列中对应的所述日志信息，作为目标日志信息；
初始结果计算模块，用于将所述目标日志信息输入到预设的容量调整模型进行计算，得到初始决策结果；
模型优化模块，用于基于所述初始决策结果生成反馈信息，并基于所述反馈信息对所述预设的容量调整模型进行参数迭代，得到优化的容量调整模型；
容量调整模块，用于将所述目标日志信息输入到所述优化的容量调整模型进行计算，得到决策结果，并基于所述决策结果，执行对应的容量调整操作。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于日志信息的容量调整方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于日志信息的容量调整方法的步骤。
本发明提供的基于日志信息的容量调整方法、装置、计算机设备及存储介质，通过预设的日志信息采集方式，获取待调整目标的日志信息，根据预设的决策策略，获取存储在消息队列中的待调整目标的日志信息，作为目标日志信息；将目标日志信息输入到预设的容量调整模型进行计算，得到初始决策结果，并根据初始决策结果生成反馈信息，并基于反馈信息对预设的容量调整模型进行参数迭代，得到优化的容量调整模型；并将目标日志信息输入到优化的容量调整模型进行计算，得到决策结果，并基于所述决策结果执行相应的容量调整操作，将待调整目标的日志信息存储在消息队列，保证在获取日志信息时的数据吞吐量，保证了数据获取的效率，另外，通过容量调整模型根据日志信息计算出容量调整的决策结果，根据决策结果进行容量负载调整，提高了调整负载的效率。并且通过容量调整模型生成初始决策结果，根据初始决策结果生成的反馈信息对容量调整模型进行参数调整，使得最终生成的决策结果的准确率更高。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中基于日志信息的容量调整方法的一应用环境示意图；
图2是本发明一实施例中基于日志信息的容量调整方法的一流程图；
图3是本发明一实施例中基于日志信息的容量调整装置的结构示意图；
图4是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的基于日志信息的容量调整方法，可应用在如图1的应用环境中，其中，终端设备通过网络与服务器进行通信。其中，终端设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
系统框架100可以包括终端设备、网络和服务器。网络用以在终端设备和服务器之间提供通信链路的介质。网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备通过网络与服务器交互，以接收或者发送消息等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture EpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureEperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本发明实施例所提供的基于日志信息的容量调整方法由服务器执行，相应地，基于日志信息的容量调整装置设置于服务器中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的，根据实现需要，可以具有任意数目的终端设备、网络和服务器，本发明实施例中的终端设备具体可以对应的是实际生产中的应用系统。
在一实施例中，如图2所示，提供一种基于日志信息的容量调整方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：
S10，根据预设的日志信息采集方式，获取待调整目标的日志信息，并将日志信息导入到消息队列，其中，日志信息包括多个维度的日志数据。
具体的，待调整目标为某一需要进行容量调整的应用服务，获取应用服务的日志信息，通过预设的采集方式采集应用服务的日志信息，其中，日志信息包括但不限于应用服务的日志文件的数量、服务的访问总计次数、访问平均耗时、访问响应情况、内存使用率、GC触发次数、CPU使用率等多个维度的指标。
其中，应用服务的日志信息反映了应用服务的使用情况以及响应情况，间接反映了应用服务对应的容量集群的使用情况。
需要说明的是，消息队列(MessageQueue，MQ)是分布式系统中很重要的组件，提供异步处理机制，适用于海量的日志信息的数据收集。
S20，当接收到待调整目标的调整请求时，根据预设的决策策略，获取待调整目标在消息队列中对应的日志信息，作为目标日志信息。
具体的，当待调整目标需要对存储应用服务数据的存储容量进行调整时，根据调整请求，根据预设的决策策略，获取待调整目标存储在消息队列中的日志信息，作为目标日志信息。
其中，目标日志信息是根据预设的决策策略，在待调整目标全部的日志信息中筛选出来的符合预设的决策策略的日志信息。
其中，预设的决策策略包括但不限于是根据日志信息的生成时间，设置生成周期，将生成时间在生成周期内的日志信息作为目标日志信息。需要说明的是，生成周期指的是一段包括时间起点和时间终点的时间段，例如周一至周五等。
作为一种可选的实现方式，选择预设数量的pod单元的日志信息，作为目标日志信息。
其中，pod单元是Kubernetes(开源平台)中能创建和部署的最小单元，是Kubernetes集群中的一个应用实例，总是部署在同一个节点上。Pod中包含了一个或者多个容器，还包括了存储、网络等各个容器共享的资源。
S30，将目标日志信息输入到预设的容量调整模型进行计算，得到初始决策结果。
具体的，预设的容量调整模型基于线性回归算法和多项式回归算法构建，用于根据日志信息与容量负载的情况的线性关系，计算得出容量负载的决策结果。
初始决策结果是指根据预设的容量调整模型计算出的初始决策结果。当第一次生成初始决策结果时，则根据初始决策结果对预设的容量调整模型进行参数调整，使得调整后的容量调整模型生成的决策结果更加准确。
S40，基于初始决策结果生成反馈信息，并基于反馈信息对预设的容量调整模型进行参数迭代，得到优化的容量调整模型。
具体的，将初始决策结果发送决策评价端口，根据决策评价端口对初始决策结果中的调整策略进行评分，得到反馈信息。
根据反馈信息，对预设的容量调整模型进行参数迭代，对预设的容量调整模型进行迭代训练，得到优化的容量调整模型。
需要说明的是，优化的容量调整模型生成的决策结果的准确率更高。
S50，将目标日志信息输入到优化的容量调整模型进行计算，得到决策结果，并基于决策结果，执行对应的容量调整操作。
具体的，将目标日志信息输入到优化的容量调整模型进行计算，得到对容量进行调整的决策策略，作为决策结果，其中，再根据决策结果，相应执行对应的容量调整的操作，达到对应用服务进行容量调整的目的。
其中，决策结果包括但不限于进行扩容或者缩容的决策，以及需要扩展或者缩容的容量大小等。根据决策结果，执行相应的容量调整操作。
在本实施例中，本发明实施例提供的基于日志信息的容量调整方法，通过预设的日志信息采集方式，获取待调整目标的日志信息，根据预设的决策策略，获取存储在消息队列中的待调整目标的日志信息，作为目标日志信息；将目标日志信息输入到预设的容量调整模型进行计算，得到初始决策结果，并根据初始决策结果生成反馈信息，并基于反馈信息对预设的容量调整模型进行参数迭代，得到优化的容量调整模型；并将目标日志信息输入到优化的容量调整模型进行计算，得到决策结果，并基于决策结果执行相应的容量调整操作，将待调整目标的日志信息存储在消息队列，保证在获取日志信息时的数据吞吐量，保证了数据获取的效率，另外，通过容量调整模型根据日志信息计算出容量调整的决策结果，根据决策结果进行容量负载调整，提高了调整负载的效率。并且通过容量调整模型生成初始决策结果，根据初始决策结果生成的反馈信息对容量调整模型进行参数调整，使得最终生成的决策结果的准确率更高。
进一步的，在本实施例中，作为一种优选的实现方式，在步骤S10中，根据预设的日志信息采集方式，获取待调整目标的日志信息，并将日志信息导入到消息队列，包括：
S101，根据日志信息的格式，根据多个数据获取服务获取对应格式的日志信息。
S102，将所有的日志信息导入到对应的消息队列。
具体的，日志信息的格式是指日志信息中的各个维度的类型，即内存使用率、CPU使用率等，根据日志信息的类型，采用不同的数据获取服务，获取相应类型的日志信息。
作为一种可选方式，通过设置日志采集器，用以采集应用的应用日志、访问日志(访问日志中包括访问总计次数、访问平均耗时以及访问情况响应等)、GC日志数据(GC触发次数)，通过Prometheus等服务获取内存使用率和CPU使用率等，并将日志采集器和服务端口获取的数据传输到消息队列。
作为一种实施方式，通过Kubernetes服务接口获取CPU使用率和内存使用率。
Kubernetes是一个全新的基于容器技术的分布式架构领先方案。为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能，提高了大规模容器集群管理的便捷性。Pod是Kubernetes进行创建、调度和管理的最小单位，它提供了比容器更高层次的抽象，使得部署和管理更加灵活。提供了Pod的伸缩方案。
通过Prometheus服务获取日志的数量、访问总计次数、访问平均耗时、访问响应情况、GC触发次数。Prometheus(普罗米修斯)是一个开源系统监控和警报工具。Prometheus服务可以直接通过目标拉取数据，或者间接地通过中间网关拉取数据，它在本地存储抓取的所有数据，并通过一定规则进行清理和整理数据，并把得到的结果存储到新的时间序列中。
作为一种优选的实施方式，本实施例中通过不同的服务接口获取日志信息后，将日志信息导入kafka消息队列。
Kafka消息队列具有高吞吐低时延的特点，符合日志式和消息触发场景。
在本实施例中，通过不同的数据获取服务接口获取待调整目标的日志信息，并将日志信息导入消息队列中，保证日志信息获取过程中的异步处理，保证了计算过程中的稳定性。
进一步的，在本实施例中，作为一种优先的实施方式，在步骤S20中，当接收到待调整目标的调整请求时，根据预设的决策策略，获取待调整目标在消息队列中对应的日志信息，作为目标日志信息，包括：
S201，根据预设的决策策略，设置与决策策略对应的计算周期。
S202，获取待调整目标在消息队列中与计算周期对应的日志信息，作为目标日志信息。
具体的，根据预设的决策策略，设置出需要获取的日志信息的生成时间，作为计算周期，即筛选出作为决策因素的一段时间内的日志信息，作为目标日志信息。
在本实施例中，通过预设的决策策略，筛选出符合决策策略的日志信息作为目标日志信息，减少需要计算的日志信息的数量，进一步提高计算出决策结果的效率。
进一步的，在本实施例中，作为一种优选的实施方式，在步骤S30中，将将日志信息输入到预设的容量调整模型进行计算，得到初始决策结果之前，包括：
S301，获取训练数据，根据多项式回归算法和线性回归算法对训练数据进行计算，得到模型参数。
S302，基于模型参数构建预设的容量调整模型。
其中，获取待调整目标的历史数据作为训练数据，并通过最小二乘法建立多元线性回归模型，建立性能数据与日志信息中的指标数据的解析表达式，根据公式(1)表示：
y＝β0+β1x1+···+βpxp+ε (1)
其中，y为性能数据，x1、xp为自变量即指标数据。
作为一种优选的实施方式，在本实施例中，p＝8，即有8个自变量；β1、βp为偏回归系数；ε为随机误差。
进一步的，作为一种实施方式，步骤S301包括：
S31，通过线性回归公式和多项式回归公式对训练数据进行计算，得到初始回归参数。
S32，基于最小二乘法回归算法，对初始回归参数进行迭代，得到模型参数。
在本实施例中，通过线性回归公式和多项式回归公式构建预设的容量调整模型，通过训练数据对预设的容量调整模型进行训练，使得计算出的决策结果更准确，另外，将日志信息输入到预设的容量调整模型，输入决策结果，提高进行容量调整的效率。
进一步的，在本实施例中，作为一种优选的实施方式，在步骤S50中，将目标日志信息输入到优化的容量调整模型进行计算，得到决策结果，包括：
S501，通过优化的容量调整模型对目标日志信息进行计算，得到实时决策结果。
S502，通过优化的容量调整模型对目标日志信息进行计算，得到离线决策结果。
S503，基于预设的拟合方式，对实时决策结果和离线决策结果进行拟合，得到决策结果。
具体的，通过流式计算引擎将消息队列中的目标日志信息输入到优化的容量调整模型进行计算，得到实时决策结果。
采用离线的方式，将目标日志信息输入到优化的容量调整模型计算得到离线决策结果。
将实时决策结果和离线决策结果进行拟合，得到决策结果。
在本实施例中，通过实时和离线两种方式分别计算得到实时决策结果和离线决策结果，根据不同的计算方式计算得出两种决策结果，保留了不同计算方式对决策结果的影响，再将实时决策结果和离线决策结果进行拟合，保证了决策结果的参考性，进一步保证了决策结果的准确性，提高根据决策结果进行容量调整操作的准确性。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种基于日志信息的容量调整装置，该基于日志信息的容量调整装置与上述实施例中基于日志信息的容量调整方法一一对应。
如图3所示，该基于日志信息的容量调整装置包括：
日志获取模块31，用于根据预设的日志信息采集方式，获取待调整目标的日志信息，并将日志信息导入到消息队列，其中，日志信息包括多个维度的日志数据。
日志筛选模块32，用于当接收到待调整目标的调整请求时，根据预设的决策策略，获取待调整目标在消息队列中对应的日志信息，作为目标日志信息。
初始结果计算模块33，用于将目标日志信息输入到预设的容量调整模型进行计算，得到初始决策结果。
模型优化模块34，用于基于初始决策结果生成反馈信息，并基于反馈信息对预设的容量调整模型进行参数迭代，得到优化的容量调整模型。
容量调整模块35，用于将目标日志信息输入到优化的容量调整模型进行计算，得到决策结果，并基于决策结果，执行对应的容量调整操作。
在本实施例中，日志获取模块31包括：
日志信息获取单元，用于根据日志信息的格式，根据多个数据获取服务获取对应格式的日志信息。
消息队列导入单元，用于将所有的日志信息导入到对应的消息队列。
在本实施例中，日志筛选模块32包括：
周期计算单元，用于根据预设的决策策略，设置与决策策略对应的计算周期。
日志筛选单元，用于获取待调整目标在消息队列中与计算周期对应的日志信息，作为目标日志信息。
在本实施例中，容量调整模块35包括：
实时结果计算单元，用于通过优化的容量调整模型对目标日志信息进行计算，得到实时决策结果。
离线结果计算单元，用于通过优化的容量调整模型对目标日志信息进行计算，得到离线决策结果。
决策结果拟合单元，用于基于预设的拟合方式，对实时决策结果和离线决策结果进行拟合，得到决策结果。
在本实施例中，基于日志信息的容量调整装置还包括如下模块:
参数计算模块，用于获取训练数据，根据多项式回归算法和线性回归算法对训练数据进行计算，得到模型参数。
模型构建模块，用于基于模型参数构建预设的容量调整模型。
进一步的，还包括：
回归参数单元，用于通过线性回归公式和多项式回归公式对训练数据进行计算，得到初始回归参数。
参数生成单元，用于基于最小二乘法回归算法，对初始回归参数进行迭代，得到模型参数。
其中上述模块/单元中的“第一”和“第二”的意义仅在于将不同的模块/单元加以区分，并不用于限定哪个模块/单元的优先级更高或者其它的限定意义。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式。
关于基于日志信息的容量调整装置的具体限定可以参见上文中对于基于日志信息的容量调整方法的限定，在此不再赘述。上述基于日志信息的容量调整装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于日志信息的容量调整方法中涉及到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于日志信息的容量调整方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中基于日志信息的容量调整方法的步骤，例如图2所示的步骤S10至步骤S50及该方法的其它扩展和相关步骤的延伸。或者，处理器执行计算机程序时实现上述实施例中基于日志信息的容量调整装置的各模块/单元的功能，例如图3所示模块31至模块35的功能。为避免重复，这里不再赘述。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。
所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中基于日志信息的容量调整方法的步骤，例如图2所示的步骤S10至步骤S50及该方法的其它扩展和相关步骤的延伸。或者，计算机程序被处理器执行时实现上述实施例中基于日志信息的容量调整装置的各模块/单元的功能，例如图3所示模块31至模块35的功能。为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于日志信息的容量调整方法，其特征在于，包括：
根据预设的日志信息采集方式，获取待调整目标的日志信息，并将所述日志信息导入到消息队列，其中，所述日志信息包括多个维度的日志数据；
当接收到所述待调整目标的调整请求时，根据预设的决策策略，获取所述待调整目标在消息队列中对应的所述日志信息，作为目标日志信息；
将所述目标日志信息输入到预设的容量调整模型进行计算，得到初始决策结果；
基于所述初始决策结果生成反馈信息，并基于所述反馈信息对所述预设的容量调整模型进行参数迭代，得到优化的容量调整模型；
将所述目标日志信息输入到所述优化的容量调整模型进行计算，得到决策结果，并基于所述决策结果，执行对应的容量调整操作。
2.根据权利要求1所述的基于日志信息的容量调整方法，其特征在于，所述根据预设的日志信息采集方式，获取待调整目标的日志信息，并将所述日志信息导入到消息队列，包括：
根据日志信息的格式，根据多个数据获取服务获取对应格式的日志信息；
将所有的日志信息导入到对应的消息队列。
3.根据权利要求1所述的基于日志信息的容量调整方法，其特征在于，在将所述日志信息输入到预设的容量调整模型进行计算，得到初始决策结果之前，包括：
获取训练数据，根据多项式回归算法和线性回归算法对所述训练数据进行计算，得到模型参数；
基于所述模型参数构建预设的容量调整模型。
4.根据权利要求3所述的基于日志信息的容量调整方法，其特征在于，所述获取训练数据，根据多项式回归算法和线性回归算法对所述训练数据进行计算，得到模型参数，包括：
通过线性回归公式和多项式回归公式对所述训练数据进行计算，得到初始回归参数；
基于最小二乘法回归算法，对所述初始回归参数进行迭代，得到所述模型参数。
5.根据权利要求1所述的基于日志信息的容量调整方法，其特征在于，所述当接收到所述待调整目标的调整请求时，根据预设的决策策略，获取所述待调整目标在消息队列中对应的所述日志信息，作为目标日志信息，包括：
根据预设的决策策略，设置与所述决策策略对应的计算周期；
获取所述待调整目标在消息队列中与所述计算周期对应的日志信息，作为目标日志信息。
6.根据权利要求1所述的基于日志信息的容量调整方法，其特征在于，所述将所述目标日志信息输入到所述优化的容量调整模型进行计算，得到决策结果，包括：
通过所述优化的容量调整模型对所述目标日志信息进行计算，得到实时决策结果；
通过所述优化的容量调整模型对所述目标日志信息进行计算，得到离线决策结果；
基于预设的拟合方式，对所述实时决策结果和所述离线决策结果进行拟合，得到决策结果。
7.一种基于日志信息的容量调整装置，其特征在于，包括：
日志获取模块，用于根据预设的日志信息采集方式，获取待调整目标的日志信息，并将所述日志信息导入到消息队列，其中，所述日志信息包括多个维度的日志数据；
日志筛选模块，用于当接收到所述待调整目标的调整请求时，根据预设的决策策略，获取所述待调整目标在消息队列中对应的所述日志信息，作为目标日志信息；
初始结果计算模块，用于将所述目标日志信息输入到预设的容量调整模型进行计算，得到初始决策结果；
模型优化模块，用于基于所述初始决策结果生成反馈信息，并基于所述反馈信息对所述预设的容量调整模型进行参数迭代，得到优化的容量调整模型；
容量调整模块，用于将所述目标日志信息输入到所述优化的容量调整模型进行计算，得到决策结果，并基于所述决策结果，执行对应的容量调整操作。
8.根据权利要求7所述的基于日志信息的容量调整模块，其特征在于，所述容器调整模块，包括：
实时结果计算单元，用于通过所述优化的容量调整模型对所述目标日志信息进行计算，得到实时决策结果；
离线结果计算单元，用于通过所述优化的容量调整模型对所述目标日志信息进行计算，得到离线决策结果；
决策结果拟合单元，用于基于预设的拟合方式，对所述实时决策结果和所述离线决策结果进行拟合，得到决策结果。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述基于日志信息的容量调整方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述基于日志信息的容量调整方法的步骤。
CN202111458622.5A 2021-12-01 2021-12-01 基于日志信息的容量调整方法、装置、设备及存储介质 Pending CN114153714A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111458622.5A CN114153714A (zh) 2021-12-01 2021-12-01 基于日志信息的容量调整方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111458622.5A CN114153714A (zh) 2021-12-01 2021-12-01 基于日志信息的容量调整方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114153714A true CN114153714A (zh) 2022-03-08

Family

ID=80455913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111458622.5A Pending CN114153714A (zh) 2021-12-01 2021-12-01 基于日志信息的容量调整方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114153714A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115801305A (zh) * 2022-09-08 2023-03-14 武汉思普崚技术有限公司 一种网络攻击的检测识别方法及相关设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115801305A (zh) * 2022-09-08 2023-03-14 武汉思普崚技术有限公司 一种网络攻击的检测识别方法及相关设备
CN115801305B (zh) * 2022-09-08 2023-11-07 武汉思普崚技术有限公司 一种网络攻击的检测识别方法及相关设备

Similar Documents

Publication Publication Date Title
US10476949B2 (en) Predictive autoscaling in computing systems
CN113037786B (zh) 智能算力调度方法、装置和系统
CN110990138B (zh) 资源调度方法、装置、服务器及存储介质
CN103761309A (zh) 一种运营数据处理方法及系统
CA3032409C (en) Distributed resource electrical demand forecasting system and method
US11856246B2 (en) CDN optimization platform
WO2023124947A1 (zh) 一种任务处理方法、装置及相关设备
CN112506619B (zh) 作业处理方法、装置、电子设备和存储介质
Chen et al. Latency minimization for mobile edge computing networks
CN112051771B (zh) 多云数据采集方法、装置、计算机设备和存储介质
CN111311014B (zh) 业务数据处理方法、装置、计算机设备和存储介质
Zhang et al. Collaborative task offloading with computation result reusing for mobile edge computing
Yi et al. A multi-criteria decision approach for minimizing the influence of VNF migration
CN114153714A (zh) 基于日志信息的容量调整方法、装置、设备及存储介质
CN102026228A (zh) 通信网络性能数据的统计方法和设备
CN115115004A (zh) 决策树模型构建及应用方法、装置和相关设备
CN116992982A (zh) 模型部署方法、装置、系统、电子设备和存储介质
CN110543509A (zh) 用户访问数据的监控系统、方法、装置及电子设备
Cui et al. Network traffic prediction based on Hadoop
Raptis et al. Efficient topic partitioning of Apache Kafka for high-reliability real-time data streaming applications
CN112667393A (zh) 分布式任务计算调度框架搭建的方法、装置及计算机设备
TW202215262A (zh) 一種具延遲感知負載平衡的反向代理方法和存儲裝置
López-Pires et al. Evaluation of two-phase virtual machine placement algorithms for green cloud datacenters
CN115827788B (zh) 一种数据迁移方法、装置、电子设备及可读存储介质
CN114928582B (zh) 资源组合方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination