CN117369954A - 一种面向大数据构建的风险处理框架的jvm优化方法和装置 - Google Patents

一种面向大数据构建的风险处理框架的jvm优化方法和装置 Download PDF

Info

Publication number
CN117369954A
CN117369954A CN202311678715.8A CN202311678715A CN117369954A CN 117369954 A CN117369954 A CN 117369954A CN 202311678715 A CN202311678715 A CN 202311678715A CN 117369954 A CN117369954 A CN 117369954A
Authority
CN
China
Prior art keywords
log
risk
monitoring
performance
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311678715.8A
Other languages
English (en)
Other versions
CN117369954B (zh
Inventor
涂浩
张家瑞
王泽�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Lechaoren Technology Co ltd
Original Assignee
Chengdu Lechaoren Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Lechaoren Technology Co ltd filed Critical Chengdu Lechaoren Technology Co ltd
Priority to CN202311678715.8A priority Critical patent/CN117369954B/zh
Publication of CN117369954A publication Critical patent/CN117369954A/zh
Application granted granted Critical
Publication of CN117369954B publication Critical patent/CN117369954B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/301—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is a virtual computing platform, e.g. logically partitioned systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45591—Monitoring or debugging support
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及性能优化技术领域，揭露了一种面向大数据构建的风险处理框架的JVM优化方法和装置，该方法包括：对风险处理框架的JVM进行性能监控，得到标准监控日志集；从标准监控日志集中提取出监控配置特征、监控性能特征和风险处理日志；从风险处理日志中提取出时域风险特征，根据所有的时域风险特征和所有的风险处理日志将预设的风险处理模型训练成时域风险模型，根据所有的监控配置特征和所有的性能系数将预设的性能配置模型训练成性能分析模型；利用时域风险模型和性能分析模型分析出实时监控日志对应的标准配置特征，根据标准配置特征对JVM进行性能优化。本发明可以提高JVM优化时的效率。

Description

一种面向大数据构建的风险处理框架的JVM优化方法和装置
技术领域
本发明涉及性能优化技术领域，尤其涉及一种面向大数据构建的风险处理框架的JVM优化方法和装置。
背景技术
风险处理框架是一种组织或企业用来管理和处理风险的结构、方法和程序，随着数字化、网络化时代的到来，越来越多的风险处理框架被部署在Java虚拟机（Java VirtualMachine，简称JVM）之上，为了提高风险处理框架的处理性能，需要对JVM进行优化。
现有的JVM优化技术多为基于性能瓶颈的优化方法，通过利用例如VisualVM、JProfiler等性能分析工具来定位性能瓶颈，并根据性能瓶颈的类型进行对应的人工优化，实际应用中，基于性能瓶颈的优化方法需要人为进行性能瓶颈的判定和优化，由于性能瓶颈的类型多种多样，出现性能瓶颈的原因也多种多样，基于性能瓶颈的优化方法往往需要大量时间进行分析和调试，可能会导致进行JVM优化时的效率较低。
发明内容
本发明提供一种面向大数据构建的风险处理框架的JVM优化方法和装置，其主要目的在于解决进行JVM优化时的效率较低的问题。
为实现上述目的，本发明提供的一种面向大数据构建的风险处理框架的JVM优化方法，包括：
按照时域周期对风险处理框架的JVM进行性能监控，得到性能监控日志集，对所述性能监控日志集进行数据清洗操作，得到标准监控日志集；
逐个选取所述标准监控日志集中的标准监控日志作为目标标准监控日志，按照数据属性分别从所述目标标准监控日志中提取出垃圾回收日志、线程分配日志、数据访问日志以及风险处理日志；
对所述垃圾回收日志、所述线程分配日志、所述数据访问日志以及所述风险处理日志进行配置特征提取，得到监控配置特征，从所述垃圾回收日志、所述线程分配日志、所述数据访问日志以及所述风险处理日志中提取出所述监控配置特征对应的监控性能特征，其中，所述从所述垃圾回收日志、所述线程分配日志、所述数据访问日志以及所述风险处理日志中提取出所述监控配置特征对应的监控性能特征，包括：
从所述垃圾回收日志中提取出垃圾回收频率，从所述线程分配日志中提取出线程创销频率以及线程切换开销；
从所述数据访问日志中提取出数据读写时间、数据吞吐量以及缓存命中率，从所述风险处理日志中提取出风险处理速度以及风险处理准确率；
利用如下的加权平台效率算法根据所述垃圾回收频率、所述线程创销频率、所述线程切换开销、所述数据读写时间、所述数据吞吐量、所述缓存命中率、所述风险处理速度以及所述风险处理准确率计算出所述监控配置特征对应的监控性能特征：
其中，是指所述监控性能特征、/>是预设的垃圾回收权重、/>是预设的线程分配权重、/>是预设的数据访问权重、/>是预设的风险处理权重、/>是值所述垃圾回收频率，/>是指所述线程创销频率，/>是指所述线程切换开销，/>是指所述数据读写时间，/>是指所述数据吞吐量，/>是指所述缓存命中率，/>是指所述风险处理速度，/>是指所述风险处理准确率；
从所述风险处理日志中提取出时域风险特征，根据所有的时域风险特征对预设的风险处理模型进行训练，得到时域风险模型，根据所有的监控配置特征和所有的性能系数对预设的性能配置模型进行训练，得到性能分析模型；
获取实时监控日志，从所述实时监控日志中提取出实时风险特征，利用所述时域风险模型分析出所述实时风险特征对应的预测风险特征，利用所述性能分析模型分析出所述预测风险特征对应的标准配置特征，并根据所述标准配置特征对所述JVM进行性能优化。
可选地，所述按照时域周期对风险处理框架的JVM进行性能监控，得到性能监控日志集，包括：
获取风险处理框架的JVM的配置地址，利用预设的监控工具根据所述配置地址与所述JVM进行连接；
对连接后的所述监控工具进行监控参数配置，得到标准监控工具；
利用所述标准监控工具对所述JVM进行性能监控，得到初级监控日志；
按照时域周期将所述初级监控日志拆分成性能监控日志集。
可选地，所述对所述性能监控日志集进行数据清洗操作，得到标准监控日志集，包括：
对所述性能监控日志集中的各个性能监控日志进行时域对比，得到重复性能监控日志组；
从所述性能监控日志集中删除所述重复性能监控日志组，得到去重监控日志集；
逐个选取所述去重监控日志集中的监控日志作为目标监控日志，根据数据属性对所述目标监控日志中的各个日志数据进行离群数据检测，得到离群结果；
判断所述离群结果是否大于预设的离群阈值；
若是，则将所述目标监控日志从所述去重监控日志集中删除，返回所述逐个选取所述去重监控日志集中的监控日志作为目标监控日志的步骤；直至所述目标监控日志是所述去重监控日志集中的最后一个监控日志时，将更新后的去重监控日志集作为标准监控日志集；
若否，则返回所述逐个选取所述去重监控日志集中的监控日志作为目标监控日志的步骤；直至所述目标监控日志是所述去重监控日志集中的最后一个监控日志时，将更新后的去重监控日志集作为标准监控日志集。
可选地，所述按照数据属性分别从所述目标标准监控日志中提取出垃圾回收日志、线程分配日志、数据访问日志以及风险处理日志，包括：
逐个选取所述目标标准监控日志中的日志数据作为目标日志数据，按照数据类型对所述目标日志数据进行文本数据提取，得到目标日志文本；
对所述目标日志文本进行关键词匹配操作，得到目标日志关键词组；
对所述目标日志关键词组进行向量化操作，得到目标关键日志特征，将所有的目标关键日志特征拆分成关键特征组集；
利用预设的聚类特征距离算法对所述关键特征组集进行聚类操作，得到关键特征类集；
对所述关键特征类集中的每个关键特征类的聚类中心进行属性匹配，得到垃圾回收类组、线程分配类组、数据访问类组以及风险处理类组；
利用所述垃圾回收类组从所述目标标准监控日志中映射出垃圾回收日志，利用所述线程分配类组从所述目标标准监控日志中映射出线程分配日志，利用所述数据访问类组从所述目标标准监控日志中映射出数据访问日志，利用所述风险处理类组从所述目标标准监控日志中映射出风险处理日志。
可选地，所述利用预设的聚类特征距离算法对所述关键特征组集进行聚类操作，得到关键特征类集，包括：
为所述关键特征组集中的各个关键特征组随机筛选出初级关键中心特征；
利用如下的聚类特征距离算法计算出各个初级关键中心特征与所述关键特征组集中的各个关键特征之间的聚类特征距离：
其中，是指所述聚类特征距离算法的聚类特征距离，/>、/>是预设的对抗系数，/>为点乘符号，/>为叉乘符号，/>是指所述初级关键中心特征/>，/>是指所述关键特征组集中的关键特征/>，/>是转置符号，/>是协方差符号，/>是指所述初级关键中心特征/>的协方差，/>是指所述初级关键中心特征/>与所述关键特征/>之间的协方差，/>是指所述关键特征/>与所述初级关键中心特征/>之间的协方差，/>是指所述关键特征/>的协方差；
根据所述聚类特征距离重新对所有的关键特征进行分组，得到多个次级关键特征组；
计算出各个次级关键特征组对应的次级关键中心特征，并计算出各个次级关键中心特征与对应的初级关键中心特征之间的中心特征距离；
根据所有的中心特征距离将各个次级关键特征组迭代更新成关键特征类，得到关键特征类集。
可选地，所述对所述垃圾回收日志、所述线程分配日志、所述数据访问日志以及所述风险处理日志进行配置特征提取，得到监控配置特征，包括：
从所述垃圾回收日志中匹配出回收器型号以及堆内存大小，从所述线程分配日志中匹配出线程并行策略；
从所述数据访问日志中匹配出数据存储结构、数据优化策略以及数据索引策略，从所述风险处理日志中匹配出风险处理策略；
将所述回收器型号、所述堆内存大小、所述线程并行策略、所述数据存储结构、所述数据优化策略、所述数据索引策略以及所述风险处理策略汇集成监控配置特征。
可选地，所述根据所有的时域风险特征对预设的风险处理模型进行训练，得到时域风险模型，包括：
将所有的时域风险特征按序排列成时序风险特征序列，利用预设的风险处理模型的递归卷积门分别计算出所述时序风险特征序列对应的短期重置特征与短期记忆特征；
根据所述短期重置特征与所述短期记忆特征计算出所述时序风险特征序列对应的短期风险时序特征；
利用所述风险处理模型的跳转卷积门分别计算出所述时序风险特征序列对应的长期重置特征和长期记忆特征；
根据所述长期重置特征与所述长期记忆特征计算出所述时序风险特征序列对应的长期风险时序特征；
将所述短期风险时序特征和所述长期风险时序特征融合成标准风险时序特征，利用所述标准风险时序特征生成分析风险特征；
利用所有的所述分析风险特征和所述时序风险特征序列对所述风险处理模型的模型参数进行迭代更新，得到时域风险模型。
可选地，所述利用所有的所述分析风险特征和所述时序风险特征序列对所述风险处理模型的模型参数进行迭代更新，得到时域风险模型，包括：
将所有的分析风险特征汇集成分析风险特征序列，根据所述时序风险特征序列和所述分析风险特征序列计算出所述风险处理模型对应的风险损失值；
判断所述风险损失值是否大于预设的风险损失阈值；
若是，则根据所述风险损失值对所述风险处理模型的模型参数进行迭代更新，并返回所述利用预设的风险处理模型的递归卷积门分别计算出所述时序风险特征序列对应的短期重置特征与短期记忆特征的步骤；
若否，则将更新后的所述风险处理模型作为时域风险模型。
可选地，所述根据所有的监控配置特征和所有的性能系数对预设的性能配置模型进行训练，得到性能分析模型，包括：
将所有的监控配置特征汇集成监控配置特征集，将所有的性能系数汇集成标准性能系数集；
根据预设的性能配置模型计算出所述监控配置特征集对应的分析性能系数集；
根据所述标准性能系数集和所述分析性能系数集计算出所述性能配置模型对应的性能损失值；
判断所述性能损失值是否大于预设的性能损失阈值；
若是，则根据所述性能损失值对所述性能配置模型的模型参数进行迭代更新，并返回所述根据所述标准性能系数集和所述分析性能系数集计算出所述性能配置模型对应的性能损失值的步骤；
若否，则将更新后的所述性能配置模型作为性能分析模型。
为了解决上述问题，本发明还提供一种面向大数据构建的风险处理框架的JVM优化装置，所述装置包括：
数据清洗模块，用于按照时域周期对风险处理框架的JVM进行性能监控，得到性能监控日志集，对所述性能监控日志集进行数据清洗操作，得到标准监控日志集；
日志分类模块，用于逐个选取所述标准监控日志集中的标准监控日志作为目标标准监控日志，按照数据属性分别从所述目标标准监控日志中提取出垃圾回收日志、线程分配日志、数据访问日志以及风险处理日志；
特征提取模块，用于对所述垃圾回收日志、所述线程分配日志、所述数据访问日志以及所述风险处理日志进行配置特征提取，得到监控配置特征，从所述垃圾回收日志、所述线程分配日志、所述数据访问日志以及所述风险处理日志中提取出所述监控配置特征对应的监控性能特征，其中，所述从所述垃圾回收日志、所述线程分配日志、所述数据访问日志以及所述风险处理日志中提取出所述监控配置特征对应的监控性能特征，包括：从所述垃圾回收日志中提取出垃圾回收频率，从所述线程分配日志中提取出线程创销频率以及线程切换开销；从所述数据访问日志中提取出数据读写时间、数据吞吐量以及缓存命中率，从所述风险处理日志中提取出风险处理速度以及风险处理准确率；利用如下的加权平台效率算法根据所述垃圾回收频率、所述线程创销频率、所述线程切换开销、所述数据读写时间、所述数据吞吐量、所述缓存命中率、所述风险处理速度以及所述风险处理准确率计算出所述监控配置特征对应的监控性能特征：
其中，是指所述监控性能特征、/>是预设的垃圾回收权重、/>是预设的线程分配权重、/>是预设的数据访问权重、/>是预设的风险处理权重、/>是值所述垃圾回收频率，/>是指所述线程创销频率，/>是指所述线程切换开销，/>是指所述数据读写时间，/>是指所述数据吞吐量，/>是指所述缓存命中率，/>是指所述风险处理速度，/>是指所述风险处理准确率；
模型训练模块，用于从所述风险处理日志中提取出时域风险特征，根据所有的时域风险特征对预设的风险处理模型进行训练，得到时域风险模型，根据所有的监控配置特征和所有的性能系数对预设的性能配置模型进行训练，得到性能分析模型；
性能优化模块，用于获取实时监控日志，从所述实时监控日志中提取出实时风险特征，利用所述时域风险模型分析出所述实时风险特征对应的预测风险特征，利用所述性能分析模型分析出所述预测风险特征对应的标准配置特征，并根据所述标准配置特征对所述JVM进行性能优化。
本发明实施例通过按照时域周期对风险处理框架的JVM进行性能监控，得到性能监控日志集，可以获取大量历史JVM运行特征和性能特征，通过对所述性能监控日志集进行数据清洗操作，得到标准监控日志集，可以提高训练集数据的准确性，进而提高性能优化时参数配置的准确性，通过按照数据属性分别从所述目标标准监控日志中提取出垃圾回收日志、线程分配日志、数据访问日志以及风险处理日志，可以在垃圾回收性能、线程分配效率、数据访问效率以及风险处理性能等多方面实现JVM的性能判定，进而方便后续对每个监控日志中JVM的性能状态进行实例化，通过利用所述加权平台效率算法根据所述垃圾回收频率、所述线程创销频率、所述线程切换开销、所述数据读写时间、所述数据吞吐量、所述缓存命中率、所述风险处理速度以及所述风险处理准确率计算出所述监控配置特征对应的监控性能特征，可以根据垃圾回收的性能、线程分配的性能、数据访问的性能以及风险处理的性能全面的评价JVM的处理性能，从而方便后续的优化。
通过从所述风险处理日志中提取出时域风险特征，根据所有的时域风险特征对预设的风险处理模型进行训练，得到时域风险模型，可以建立风险处理框架的JVM平台工作模式和时间的关系模型，根据所有的监控配置特征和所有的性能系数对预设的性能配置模型进行训练，得到性能分析模型，可以建立所述监控配置特征与所述风险处理框架的JVM平台的工作性能之间的关系，从而提高后续性能优化的效率，通过获取实时监控日志，从所述实时监控日志中提取出实时风险特征，利用所述时域风险模型分析出所述实时风险特征对应的预测风险特征，利用所述性能分析模型分析出所述预测风险特征对应的标准配置特征，并根据所述标准配置特征对所述JVM进行性能优化，可以预测分析未来时间段风险处理框架的JVM的风险处理策略与工作模式，并根据预测的工作模式选取出JVM性能发挥最大的配置参数进行JVM的优化，从而提高JVM优化的效率。因此本发明提出的面向大数据构建的风险处理框架的JVM优化方法和装置，可以解决进行JVM优化时的效率较低的问题。
附图说明
图1为本发明一实施例提供的面向大数据构建的风险处理框架的JVM优化方法的流程示意图；
图2为本发明一实施例提供的提取性能监控日志集的流程示意图；
图3为本发明一实施例提供的提取监控配置特征的流程示意图；
图4为本发明一实施例提供的面向大数据构建的风险处理框架的JVM优化装置的功能模块图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种面向大数据构建的风险处理框架的JVM优化方法。所述面向大数据构建的风险处理框架的JVM优化方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述面向大数据构建的风险处理框架的JVM优化方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参照图1所示，为本发明一实施例提供的面向大数据构建的风险处理框架的JVM优化方法的流程示意图。在本实施例中，所述面向大数据构建的风险处理框架的JVM优化方法包括：
S1、按照时域周期对风险处理框架的JVM进行性能监控，得到性能监控日志集，对所述性能监控日志集进行数据清洗操作，得到标准监控日志集。
本发明实施例中，所述时域周期是指固定的时间周期，例如半小时、一小时，所述风险处理框架是部署于Java虚拟机（Java Virtual Machine，简称JVM）上的一种组织或企业用来管理和处理风险的结构和方法，它提供了一套系统化的流程、工具和方法，用于识别、评估、监控和应对各种类型的风险，以最大程度地减少风险对组织或企业目标的不利影响。
本发明实施例中，参照图2所示，所述按照时域周期对风险处理框架的JVM进行性能监控，得到性能监控日志集，包括：
S21、获取风险处理框架的JVM的配置地址，利用预设的监控工具根据所述配置地址与所述JVM进行连接；
S22、对连接后的所述监控工具进行监控参数配置，得到标准监控工具；
S23、利用所述标准监控工具对所述JVM进行性能监控，得到初级监控日志；
S24、按照时域周期将所述初级监控日志拆分成性能监控日志集。
详细地，所述配置地址是指JVM的安装地址，所述监控工具可以是VisualVM、JavaMission Control、Grafana、Prometheus等工具，可以通过“-XX:+UnlockCommercialFeatures”以及“-XX:+FlightRecorder”等参数对连接后的所述监控工具进行监控参数配置，得到标准监控工具，所述性能监控日志集中包括多个性能监控日志，且每个性能监控日志为一个时域周期范围内的初级监控日志。
详细地，所述对所述性能监控日志集进行数据清洗操作，得到标准监控日志集，包括：
对所述性能监控日志集中的各个性能监控日志进行时域对比，得到重复性能监控日志组；
从所述性能监控日志集中删除所述重复性能监控日志组，得到去重监控日志集；
逐个选取所述去重监控日志集中的监控日志作为目标监控日志，根据数据属性对所述目标监控日志中的各个日志数据进行离群数据检测，得到离群结果；
判断所述离群结果是否大于预设的离群阈值；
若是，则将所述目标监控日志从所述去重监控日志集中删除，返回所述逐个选取所述去重监控日志集中的监控日志作为目标监控日志的步骤；直至所述目标监控日志是所述去重监控日志集中的最后一个监控日志时，将更新后的去重监控日志集作为标准监控日志集；
若否，则返回所述逐个选取所述去重监控日志集中的监控日志作为目标监控日志的步骤；直至所述目标监控日志是所述去重监控日志集中的最后一个监控日志时，将更新后的去重监控日志集作为标准监控日志集。
本发明实施例中，所述对所述性能监控日志集中的各个性能监控日志进行时域对比，得到重复性能监控日志组，是指根据时域周期从所述性能监控日志集中具有相同时域周期的性能监控日志汇集成重复性能监控日志组。
具体地，所述根据数据属性对所述目标监控日志中的各个日志数据进行离群数据检测，得到离群结果是指逐个选取所述目标监控日志中的日志数据作为目标日志数据，将所述目标日志数据对应的数据属性作为目标数据属性，根据所述数据属性对所述目标日志数据进行离群性检测，得到离群系数，将所有的离群系数汇集成离群结果。
详细地，可以利用基于统计或基于聚类的离群检测算法根据所述数据属性对所述目标日志数据进行离群性检测，得到离群系数，所述判断所述离群结果是否大于预设的离群阈值是指判断所述离群结果中是否有离群系数大于预设的离群阈值。
本发明实施例中，通过按照时域周期对风险处理框架的JVM进行性能监控，得到性能监控日志集，可以获取大量历史JVM运行特征和性能特征，通过对所述性能监控日志集进行数据清洗操作，得到标准监控日志集，可以提高训练集数据的准确性，进而提高性能优化时参数配置的准确性。
S2、逐个选取所述标准监控日志集中的标准监控日志作为目标标准监控日志，按照数据属性分别从所述目标标准监控日志中提取出垃圾回收日志、线程分配日志、数据访问日志以及风险处理日志。
本发明实施例中，所述数据属性是指数据对象的特征属性，所述垃圾回收日志是指监控所述JVM进行无用对象的垃圾回收操作的相关的日志文件，所述线程分配日志是指监控所述JVM中线程池配置以及使用相关的日志文件，所述数据访问日志是指监控所述JVM中数据访问相关操作的日志文件，所述风险处理日志是指监控所述JVM进行风险处理相关事件的发生和处理相关的日志文件。
本发明实施例中，所述按照数据属性分别从所述目标标准监控日志中提取出垃圾回收日志、线程分配日志、数据访问日志以及风险处理日志，包括：
逐个选取所述目标标准监控日志中的日志数据作为目标日志数据，按照数据类型对所述目标日志数据进行文本数据提取，得到目标日志文本；
对所述目标日志文本进行关键词匹配操作，得到目标日志关键词组；
对所述目标日志关键词组进行向量化操作，得到目标关键日志特征，将所有的目标关键日志特征拆分成关键特征组集；
利用预设的聚类特征距离算法对所述关键特征组集进行聚类操作，得到关键特征类集；
对所述关键特征类集中的每个关键特征类的聚类中心进行属性匹配，得到垃圾回收类组、线程分配类组、数据访问类组以及风险处理类组；
利用所述垃圾回收类组从所述目标标准监控日志中映射出垃圾回收日志，利用所述线程分配类组从所述目标标准监控日志中映射出线程分配日志，利用所述数据访问类组从所述目标标准监控日志中映射出数据访问日志，利用所述风险处理类组从所述目标标准监控日志中映射出风险处理日志。
详细地，可以利用word2vec编码器或GloVe编码器对所述目标日志关键词组进行向量化操作，得到目标关键日志特征,可以利用KMP算法或正则表达式匹配算法对所述目标日志文本进行关键词匹配操作，得到目标日志关键词组。
具体地，所述利用预设的聚类特征距离算法对所述关键特征组集进行聚类操作，得到关键特征类集，包括：
为所述关键特征组集中的各个关键特征组随机筛选出初级关键中心特征；
利用如下的聚类特征距离算法计算出各个初级关键中心特征与所述关键特征组集中的各个关键特征之间的聚类特征距离：
其中，是指所述聚类特征距离算法的聚类特征距离，/>、/>是预设的对抗系数，/>为点乘符号，/>为叉乘符号，/>是指所述初级关键中心特征/>，/>是指所述关键特征组集中的关键特征/>，/>是转置符号，/>是协方差符号，/>是指所述初级关键中心特征/>的协方差，/>是指所述初级关键中心特征/>与所述关键特征/>之间的协方差，/>是指所述关键特征/>与所述初级关键中心特征/>之间的协方差，/>是指所述关键特征/>的协方差；
根据所述聚类特征距离重新对所有的关键特征进行分组，得到多个次级关键特征组；
计算出各个次级关键特征组对应的次级关键中心特征，并计算出各个次级关键中心特征与对应的初级关键中心特征之间的中心特征距离；
根据所有的中心特征距离将各个次级关键特征组迭代更新成关键特征类，得到关键特征类集。
本发明实施例中，通过利用所述聚类特征距离算法计算出各个初级关键中心特征与所述关键特征组集中的各个关键特征之间的聚类特征距离，可以保留特征之间相关性的同时确定特征的距离，提升特征聚类的效率。
详细地，所述根据所述聚类特征距离重新对所有的关键特征进行分组，得到多个次级关键特征组是指将关键特征分配到聚类特征距离最近的初级关键中心特征所在的关键特征组中，得到次级关键特征组，所述计算出各个次级关键特征组对应的次级关键中心特征是指计算出与所述次级关键特征组的各次级关键特征的均值特征，所述中心特征距离是指次级关键中心特征与对应的所述初级关键中心特征之间的聚类特征距离。
本发明实施例中，所述根据所有的中心特征距离将各个次级关键特征组迭代更新成关键特征类，包括：将所有的中心特征距离的平均值作为标准中心特征距离，判断所述标准中心特征距离是否小于预设的距离阈值；若是，则将所述次级关键中心特征作为初级关键中心特征，并返回所述利用如下的聚类特征距离算法计算出各个初级关键中心特征与所述关键特征组集中的各个关键特征之间的聚类特征距离的步骤；若否，则逐个将所述次级关键特征组作为关键特征类。
详细地，所述对所述关键特征类集中的每个关键特征类的聚类中心进行属性匹配，得到垃圾回收类组、线程分配类组、数据访问类组以及风险处理类组是指计算所述关键特征类集中每个关键特征类的聚类中心与预设的垃圾回收关键特征、线程分配关键特征、数据访问关键特征以及风险处理关键特征之间的距离，并根据就近原则进行属性匹配，得到垃圾回收类组、线程分配类组、数据访问类组以及风险处理类组。
本发明实施例中，通过按照数据属性分别从所述目标标准监控日志中提取出垃圾回收日志、线程分配日志、数据访问日志以及风险处理日志，可以在垃圾回收性能、线程分配效率、数据访问效率以及风险处理性能等多方面实现JVM的性能判定，进而方便后续对每个监控日志中JVM的性能状态进行实例化。
S3、对所述垃圾回收日志、所述线程分配日志、所述数据访问日志以及所述风险处理日志进行配置特征提取，得到监控配置特征，从所述垃圾回收日志、所述线程分配日志、所述数据访问日志以及所述风险处理日志中提取出所述监控配置特征对应的监控性能特征。
本发明实施例中，所述监控配置特征是指所述垃圾回收日志、所述线程分配日志、所述数据访问日志以及所述风险处理日志中与JVM的配置相关的特征，所述监控性能特征是指所述垃圾回收日志、所述线程分配日志、所述数据访问日志以及所述风险处理日志中与JVM处理风险的性能相关的特征。
本发明实施例中，参照图3所示，所述对所述垃圾回收日志、所述线程分配日志、所述数据访问日志以及所述风险处理日志进行配置特征提取，得到监控配置特征，包括：
S31、从所述垃圾回收日志中匹配出回收器型号以及堆内存大小，从所述线程分配日志中匹配出线程并行策略；
S32、从所述数据访问日志中匹配出数据存储结构、数据优化策略以及数据索引策略，从所述风险处理日志中匹配出风险处理策略；
S33、将所述回收器型号、所述堆内存大小、所述线程并行策略、所述数据存储结构、所述数据优化策略、所述数据索引策略以及所述风险处理策略汇集成监控配置特征。
详细地，可以利用关键字匹配算法提取所述垃圾回收日志、所述线程分配日志、所述数据访问日志以及所述风险处理日志进行配置特征的特征关键字，并将向量化后的特征关键字汇集成监控配置特征，例如所述回收器型号可以是Serial、Parallel、CMS、G1等回收器、所述堆内存大小是指所述JVM的堆内存的容量大小、所述线程并行策略是指是否启用并行处理、线程池的大小以及队容量参数，所述数据存储结构是指是否使用无锁数据结构、所述数据优化策略是指是否使用压缩指针、所述数据索引策略是指是否使用缓存和索引等方法快速访问数据，所述风险处理策略是指所述JVM的风险处理框架用的风险处理策略或算法的型号。
本发明实施例中，所述从所述垃圾回收日志、所述线程分配日志、所述数据访问日志以及所述风险处理日志中提取出所述监控配置特征对应的监控性能特征，包括：
从所述垃圾回收日志中提取出垃圾回收频率，从所述线程分配日志中提取出线程创销频率以及线程切换开销；
从所述数据访问日志中提取出数据读写时间、数据吞吐量以及缓存命中率，从所述风险处理日志中提取出风险处理速度以及风险处理准确率；
利用如下的加权平台效率算法根据所述垃圾回收频率、所述线程创销频率、所述线程切换开销、所述数据读写时间、所述数据吞吐量、所述缓存命中率、所述风险处理速度以及所述风险处理准确率计算出所述监控配置特征对应的监控性能特征：
其中，是指所述监控性能特征、/>是预设的垃圾回收权重、/>是预设的线程分配权重、/>是预设的数据访问权重、/>是预设的风险处理权重、/>是值所述垃圾回收频率，/>是指所述线程创销频率，/>是指所述线程切换开销，/>是指所述数据读写时间，/>是指所述数据吞吐量，/>是指所述缓存命中率，/>是指所述风险处理速度，/>是指所述风险处理准确率。
详细地，所述垃圾回收频率是指垃圾回收器执行垃圾回收的次数、所述线程创销频率是指创建或销毁新线程的频率、所述线程切换开销是指线程之间切换所需的开销、所述数据读写时间是指从存储介质中读写数据所需的时间、所述数据吞吐量是指单位时间内处理的数据量、所述缓存命中率是指在数据访问过程中命中缓存的比例、所述风险处理速度是指处理风险的速度或吞吐量，所述风险处理准确率是指识别和处理风险的准确程度。
本发明实施例中，通过利用所述加权平台效率算法根据所述垃圾回收频率、所述线程创销频率、所述线程切换开销、所述数据读写时间、所述数据吞吐量、所述缓存命中率、所述风险处理速度以及所述风险处理准确率计算出所述监控配置特征对应的监控性能特征，可以根据垃圾回收的性能、线程分配的性能、数据访问的性能以及风险处理的性能全面的评价JVM的处理性能，从而方便后续的优化。
S4、从所述风险处理日志中提取出时域风险特征，根据所有的时域风险特征对预设的风险处理模型进行训练，得到时域风险模型，根据所有的监控配置特征和所有的性能系数对预设的性能配置模型进行训练，得到性能分析模型。
本发明实施例中，所述时域风险特征是指所述风险处理日志中与风险处理频次等时域特征相关的特征，通过从所述风险处理日志中提取出时域风险特征，可以预测风险处理框架的JVM的工作模式与时间的变化关系，进而预测未来时间段内JVM的工作模式和性能配置。
本发明实施例中，所述从所述风险处理日志中提取出时域风险特征是指从所述风险处理日志中匹配出风险处理策略，将所述风险处理策略按照时序排列，得到初级风险特征。
本发明实施例中，所述根据所有的时域风险特征对预设的风险处理模型进行训练，得到时域风险模型，包括：
将所有的时域风险特征按序排列成时序风险特征序列，利用预设的风险处理模型的递归卷积门分别计算出所述时序风险特征序列对应的短期重置特征与短期记忆特征；
根据所述短期重置特征与所述短期记忆特征计算出所述时序风险特征序列对应的短期风险时序特征；
利用所述风险处理模型的跳转卷积门分别计算出所述时序风险特征序列对应的长期重置特征和长期记忆特征；
根据所述长期重置特征与所述长期记忆特征计算出所述时序风险特征序列对应的长期风险时序特征；
将所述短期风险时序特征和所述长期风险时序特征融合成标准风险时序特征，利用所述标准风险时序特征生成分析风险特征；
利用所有的所述分析风险特征和所述时序风险特征序列对所述风险处理模型的模型参数进行迭代更新，得到时域风险模型。
本发明实施例中，所述风险处理模型可以是长短期记忆网络（Long Short-TermMemory，简称LSTM），长短期记忆网络是一种时间循环神经网络，是为了解决一般的循环神经网络存在的长期依赖问题而专门设计出来的。
详细地，可以利用全连接层将所述短期风险时序特征和所述长期风险时序特征融合成标准风险时序特征，所述利用所述标准风险时序特征生成分析风险特征是指对所述标准风险时序特征进行线性激活，得到分析风险特征。
本发明实施例中，所述利用所有的所述分析风险特征和所述时序风险特征序列对所述风险处理模型的模型参数进行迭代更新，得到时域风险模型，包括：
将所有的分析风险特征汇集成分析风险特征序列，根据所述时序风险特征序列和所述分析风险特征序列计算出所述风险处理模型对应的风险损失值；
判断所述风险损失值是否大于预设的风险损失阈值；
若是，则根据所述风险损失值对所述风险处理模型的模型参数进行迭代更新，并返回所述利用预设的风险处理模型的递归卷积门分别计算出所述时序风险特征序列对应的短期重置特征与短期记忆特征的步骤；
若否，则将更新后的所述风险处理模型作为时域风险模型。
详细地，可以利用交叉熵损失函数或均方差损失函数根据所述时序风险特征序列和所述分析风险特征序列计算出所述风险处理模型对应的风险损失值，可以利用最快梯度下降算法或随机梯度下降算法根据所述风险损失值对所述风险处理模型的模型参数进行迭代更新。
本发明实施例中，所述根据所有的监控配置特征和所有的性能系数对预设的性能配置模型进行训练，得到性能分析模型，包括：
将所有的监控配置特征汇集成监控配置特征集，将所有的性能系数汇集成标准性能系数集；
根据预设的性能配置模型计算出所述监控配置特征集对应的分析性能系数集；
根据所述标准性能系数集和所述分析性能系数集计算出所述性能配置模型对应的性能损失值；
判断所述性能损失值是否大于预设的性能损失阈值；
若是，则根据所述性能损失值对所述性能配置模型的模型参数进行迭代更新，并返回所述根据所述标准性能系数集和所述分析性能系数集计算出所述性能配置模型对应的性能损失值的步骤；
若否，则将更新后的所述性能配置模型作为性能分析模型。
详细地，所述性能配置模型可以是多叉树模型或多元线性回归网络模型，所述根据所述标准性能系数集和所述分析性能系数集计算出所述性能配置模型对应的性能损失值的方法与上述步骤S4中的所述根据所述时序风险特征序列和所述分析风险特征序列计算出所述风险处理模型对应的风险损失值的方法一致，所述根据所述性能损失值对所述性能配置模型的模型参数进行迭代更新的方法与上述步骤S4中的所述根据所述风险损失值对所述风险处理模型的模型参数进行迭代更新的方法一致，这里不再赘述。
本发明实施例中，通过从所述风险处理日志中提取出时域风险特征，根据所有的时域风险特征对预设的风险处理模型进行训练，得到时域风险模型，可以建立风险处理框架的JVM平台工作模式和时间的关系模型，根据所有的监控配置特征和所有的性能系数对预设的性能配置模型进行训练，得到性能分析模型，可以建立所述监控配置特征与所述风险处理框架的JVM平台的工作性能之间的关系，从而提高后续性能优化的效率。
S5、获取实时监控日志，从所述实时监控日志中提取出实时风险特征，利用所述时域风险模型分析出所述实时风险特征对应的预测风险特征，利用所述性能分析模型分析出所述预测风险特征对应的标准配置特征，并根据所述标准配置特征对所述JVM进行性能优化。
本发明实施例中，所述实时监控日志是实时时间段内的所述性能监控日志，所述从所述实时监控日志中提取出实时风险特征的方法与上述步骤S4中的所述从所述风险处理日志中提取出时域风险特征的方法一致，这里不再赘述。
详细地，所述利用所述性能分析模型分析出所述预测风险特征对应的标准配置特征是指根据所述预测风险特征提取出预测的风险处理策略，利用模拟退火算法根据所述风险处理策略计算出分析性能最大时的监控配置特征，将此时的监控配置特征作为标准配置特征。
详细地，所述根据所述标准配置特征对所述JVM进行性能优化是指从所述标准配置特征中提取出对应的回收器型号、堆内存大小、线程并行策略、数据存储结构、数据优化策略以及数据索引策略作为优化方案，并根据所述优化方案进行性能优化。
本发明实施例中，通过获取实时监控日志，从所述实时监控日志中提取出实时风险特征，利用所述时域风险模型分析出所述实时风险特征对应的预测风险特征，利用所述性能分析模型分析出所述预测风险特征对应的标准配置特征，并根据所述标准配置特征对所述JVM进行性能优化，可以预测分析未来时间段风险处理框架的JVM的风险处理策略与工作模式，并根据预测的工作模式选取出JVM性能发挥最大的配置参数进行JVM的优化，从而提高JVM优化的效率。
本发明实施例通过按照时域周期对风险处理框架的JVM进行性能监控，得到性能监控日志集，可以获取大量历史JVM运行特征和性能特征，通过对所述性能监控日志集进行数据清洗操作，得到标准监控日志集，可以提高训练集数据的准确性，进而提高性能优化时参数配置的准确性，通过按照数据属性分别从所述目标标准监控日志中提取出垃圾回收日志、线程分配日志、数据访问日志以及风险处理日志，可以在垃圾回收性能、线程分配效率、数据访问效率以及风险处理性能等多方面实现JVM的性能判定，进而方便后续对每个监控日志中JVM的性能状态进行实例化，通过利用所述加权平台效率算法根据所述垃圾回收频率、所述线程创销频率、所述线程切换开销、所述数据读写时间、所述数据吞吐量、所述缓存命中率、所述风险处理速度以及所述风险处理准确率计算出所述监控配置特征对应的监控性能特征，可以根据垃圾回收的性能、线程分配的性能、数据访问的性能以及风险处理的性能全面的评价JVM的处理性能，从而方便后续的优化。
通过从所述风险处理日志中提取出时域风险特征，根据所有的时域风险特征对预设的风险处理模型进行训练，得到时域风险模型，可以建立风险处理框架的JVM平台工作模式和时间的关系模型，根据所有的监控配置特征和所有的性能系数对预设的性能配置模型进行训练，得到性能分析模型，可以建立所述监控配置特征与所述风险处理框架的JVM平台的工作性能之间的关系，从而提高后续性能优化的效率，通过获取实时监控日志，从所述实时监控日志中提取出实时风险特征，利用所述时域风险模型分析出所述实时风险特征对应的预测风险特征，利用所述性能分析模型分析出所述预测风险特征对应的标准配置特征，并根据所述标准配置特征对所述JVM进行性能优化，可以预测分析未来时间段风险处理框架的JVM的风险处理策略与工作模式，并根据预测的工作模式选取出JVM性能发挥最大的配置参数进行JVM的优化，从而提高JVM优化的效率。因此本发明提出的面向大数据构建的风险处理框架的JVM优化方法，可以解决进行JVM优化时的效率较低的问题。
如图4所示，是本发明一实施例提供的面向大数据构建的风险处理框架的JVM优化装置的功能模块图。
本发明所述面向大数据构建的风险处理框架的JVM优化装置100可以安装于电子设备中。根据实现的功能，所述面向大数据构建的风险处理框架的JVM优化装置100可以包括数据清洗模块101、日志分类模块102、特征提取模块103、模型训练模块104及性能优化模块105。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述数据清洗模块101，用于按照时域周期对风险处理框架的JVM进行性能监控，得到性能监控日志集，对所述性能监控日志集进行数据清洗操作，得到标准监控日志集；
所述日志分类模块102，用于逐个选取所述标准监控日志集中的标准监控日志作为目标标准监控日志，按照数据属性分别从所述目标标准监控日志中提取出垃圾回收日志、线程分配日志、数据访问日志以及风险处理日志；
所述特征提取模块103，用于对所述垃圾回收日志、所述线程分配日志、所述数据访问日志以及所述风险处理日志进行配置特征提取，得到监控配置特征，从所述垃圾回收日志、所述线程分配日志、所述数据访问日志以及所述风险处理日志中提取出所述监控配置特征对应的监控性能特征，其中，所述从所述垃圾回收日志、所述线程分配日志、所述数据访问日志以及所述风险处理日志中提取出所述监控配置特征对应的监控性能特征，包括：从所述垃圾回收日志中提取出垃圾回收频率，从所述线程分配日志中提取出线程创销频率以及线程切换开销；从所述数据访问日志中提取出数据读写时间、数据吞吐量以及缓存命中率，从所述风险处理日志中提取出风险处理速度以及风险处理准确率；利用如下的加权平台效率算法根据所述垃圾回收频率、所述线程创销频率、所述线程切换开销、所述数据读写时间、所述数据吞吐量、所述缓存命中率、所述风险处理速度以及所述风险处理准确率计算出所述监控配置特征对应的监控性能特征：
其中，是指所述监控性能特征、/>是预设的垃圾回收权重、/>是预设的线程分配权重、/>是预设的数据访问权重、/>是预设的风险处理权重、/>是值所述垃圾回收频率，/>是指所述线程创销频率，/>是指所述线程切换开销，/>是指所述数据读写时间，/>是指所述数据吞吐量，/>是指所述缓存命中率，/>是指所述风险处理速度，/>是指所述风险处理准确率；
所述模型训练模块104，用于从所述风险处理日志中提取出时域风险特征，根据所有的时域风险特征对预设的风险处理模型进行训练，得到时域风险模型，根据所有的监控配置特征和所有的性能系数对预设的性能配置模型进行训练，得到性能分析模型；
所述性能优化模块105，用于获取实时监控日志，从所述实时监控日志中提取出实时风险特征，利用所述时域风险模型分析出所述实时风险特征对应的预测风险特征，利用所述性能分析模型分析出所述预测风险特征对应的标准配置特征，并根据所述标准配置特征对所述JVM进行性能优化。
详细地，本发明实施例中所述面向大数据构建的风险处理框架的JVM优化装置100中所述的各模块在使用时采用与上述图1至图3中所述的面向大数据构建的风险处理框架的JVM优化方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能（Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统实施例中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种面向大数据构建的风险处理框架的JVM优化方法，其特征在于，所述方法包括：
S1：按照时域周期对风险处理框架的JVM进行性能监控，得到性能监控日志集，对所述性能监控日志集进行数据清洗操作，得到标准监控日志集；
S2：逐个选取所述标准监控日志集中的标准监控日志作为目标标准监控日志，按照数据属性分别从所述目标标准监控日志中提取出垃圾回收日志、线程分配日志、数据访问日志以及风险处理日志；
S3：对所述垃圾回收日志、所述线程分配日志、所述数据访问日志以及所述风险处理日志进行配置特征提取，得到监控配置特征，从所述垃圾回收日志、所述线程分配日志、所述数据访问日志以及所述风险处理日志中提取出所述监控配置特征对应的监控性能特征，其中，所述从所述垃圾回收日志、所述线程分配日志、所述数据访问日志以及所述风险处理日志中提取出所述监控配置特征对应的监控性能特征，包括：
S31：从所述垃圾回收日志中提取出垃圾回收频率，从所述线程分配日志中提取出线程创销频率以及线程切换开销；
S32：从所述数据访问日志中提取出数据读写时间、数据吞吐量以及缓存命中率，从所述风险处理日志中提取出风险处理速度以及风险处理准确率；
S33：利用如下的加权平台效率算法根据所述垃圾回收频率、所述线程创销频率、所述线程切换开销、所述数据读写时间、所述数据吞吐量、所述缓存命中率、所述风险处理速度以及所述风险处理准确率计算出所述监控配置特征对应的监控性能特征：
其中，是指所述监控性能特征、/>是预设的垃圾回收权重、/>是预设的线程分配权重、是预设的数据访问权重、/>是预设的风险处理权重、/>是值所述垃圾回收频率，/>是指所述线程创销频率，/>是指所述线程切换开销，/>是指所述数据读写时间，/>是指所述数据吞吐量，/>是指所述缓存命中率，/>是指所述风险处理速度，/>是指所述风险处理准确率；
S4：从所述风险处理日志中提取出时域风险特征，根据所有的时域风险特征对预设的风险处理模型进行训练，得到时域风险模型，根据所有的监控配置特征和所有的性能系数对预设的性能配置模型进行训练，得到性能分析模型；
S5：获取实时监控日志，从所述实时监控日志中提取出实时风险特征，利用所述时域风险模型分析出所述实时风险特征对应的预测风险特征，利用所述性能分析模型分析出所述预测风险特征对应的标准配置特征，并根据所述标准配置特征对所述JVM进行性能优化。
2.如权利要求1所述的面向大数据构建的风险处理框架的JVM优化方法，其特征在于，所述按照时域周期对风险处理框架的JVM进行性能监控，得到性能监控日志集，包括：
获取风险处理框架的JVM的配置地址，利用预设的监控工具根据所述配置地址与所述JVM进行连接；
对连接后的所述监控工具进行监控参数配置，得到标准监控工具；
利用所述标准监控工具对所述JVM进行性能监控，得到初级监控日志；
按照时域周期将所述初级监控日志拆分成性能监控日志集。
3.如权利要求1所述的面向大数据构建的风险处理框架的JVM优化方法，其特征在于，所述对所述性能监控日志集进行数据清洗操作，得到标准监控日志集，包括：
对所述性能监控日志集中的各个性能监控日志进行时域对比，得到重复性能监控日志组；
从所述性能监控日志集中删除所述重复性能监控日志组，得到去重监控日志集；
逐个选取所述去重监控日志集中的监控日志作为目标监控日志，根据数据属性对所述目标监控日志中的各个日志数据进行离群数据检测，得到离群结果；
判断所述离群结果是否大于预设的离群阈值；
若是，则将所述目标监控日志从所述去重监控日志集中删除，返回所述逐个选取所述去重监控日志集中的监控日志作为目标监控日志的步骤；直至所述目标监控日志是所述去重监控日志集中的最后一个监控日志时，将更新后的去重监控日志集作为标准监控日志集；
若否，则返回所述逐个选取所述去重监控日志集中的监控日志作为目标监控日志的步骤；直至所述目标监控日志是所述去重监控日志集中的最后一个监控日志时，将更新后的去重监控日志集作为标准监控日志集。
4.如权利要求1所述的面向大数据构建的风险处理框架的JVM优化方法，其特征在于，所述按照数据属性分别从所述目标标准监控日志中提取出垃圾回收日志、线程分配日志、数据访问日志以及风险处理日志，包括：
逐个选取所述目标标准监控日志中的日志数据作为目标日志数据，按照数据类型对所述目标日志数据进行文本数据提取，得到目标日志文本；
对所述目标日志文本进行关键词匹配操作，得到目标日志关键词组；
对所述目标日志关键词组进行向量化操作，得到目标关键日志特征，将所有的目标关键日志特征拆分成关键特征组集；
利用预设的聚类特征距离算法对所述关键特征组集进行聚类操作，得到关键特征类集；
对所述关键特征类集中的每个关键特征类的聚类中心进行属性匹配，得到垃圾回收类组、线程分配类组、数据访问类组以及风险处理类组；
利用所述垃圾回收类组从所述目标标准监控日志中映射出垃圾回收日志，利用所述线程分配类组从所述目标标准监控日志中映射出线程分配日志，利用所述数据访问类组从所述目标标准监控日志中映射出数据访问日志，利用所述风险处理类组从所述目标标准监控日志中映射出风险处理日志。
5.如权利要求4所述的面向大数据构建的风险处理框架的JVM优化方法，其特征在于，所述利用预设的聚类特征距离算法对所述关键特征组集进行聚类操作，得到关键特征类集，包括：
为所述关键特征组集中的各个关键特征组随机筛选出初级关键中心特征；
利用如下的聚类特征距离算法计算出各个初级关键中心特征与所述关键特征组集中的各个关键特征之间的聚类特征距离：
其中，是指所述聚类特征距离算法的聚类特征距离，/>、/>是预设的对抗系数，/>为点乘符号，/>为叉乘符号，/>是指所述初级关键中心特征/>，/>是指所述关键特征组集中的关键特征/>，/>是转置符号，/>是协方差符号，/>是指所述初级关键中心特征/>的协方差，/>是指所述初级关键中心特征/>与所述关键特征/>之间的协方差，/> 是指所述关键特征/>与所述初级关键中心特征/>之间的协方差，/>是指所述关键特征/>的协方差；
根据所述聚类特征距离重新对所有的关键特征进行分组，得到多个次级关键特征组；
计算出各个次级关键特征组对应的次级关键中心特征，并计算出各个次级关键中心特征与对应的初级关键中心特征之间的中心特征距离；
根据所有的中心特征距离将各个次级关键特征组迭代更新成关键特征类，得到关键特征类集。
6.如权利要求1所述的面向大数据构建的风险处理框架的JVM优化方法，其特征在于，所述对所述垃圾回收日志、所述线程分配日志、所述数据访问日志以及所述风险处理日志进行配置特征提取，得到监控配置特征，包括：
从所述垃圾回收日志中匹配出回收器型号以及堆内存大小，从所述线程分配日志中匹配出线程并行策略；
从所述数据访问日志中匹配出数据存储结构、数据优化策略以及数据索引策略，从所述风险处理日志中匹配出风险处理策略；
将所述回收器型号、所述堆内存大小、所述线程并行策略、所述数据存储结构、所述数据优化策略、所述数据索引策略以及所述风险处理策略汇集成监控配置特征。
7.如权利要求1所述的面向大数据构建的风险处理框架的JVM优化方法，其特征在于，所述根据所有的时域风险特征对预设的风险处理模型进行训练，得到时域风险模型，包括：
将所有的时域风险特征按序排列成时序风险特征序列，利用预设的风险处理模型的递归卷积门分别计算出所述时序风险特征序列对应的短期重置特征与短期记忆特征；
根据所述短期重置特征与所述短期记忆特征计算出所述时序风险特征序列对应的短期风险时序特征；
利用所述风险处理模型的跳转卷积门分别计算出所述时序风险特征序列对应的长期重置特征和长期记忆特征；
根据所述长期重置特征与所述长期记忆特征计算出所述时序风险特征序列对应的长期风险时序特征；
将所述短期风险时序特征和所述长期风险时序特征融合成标准风险时序特征，利用所述标准风险时序特征生成分析风险特征；
利用所有的所述分析风险特征和所述时序风险特征序列对所述风险处理模型的模型参数进行迭代更新，得到时域风险模型。
8.如权利要求7所述的面向大数据构建的风险处理框架的JVM优化方法，其特征在于，所述利用所有的所述分析风险特征和所述时序风险特征序列对所述风险处理模型的模型参数进行迭代更新，得到时域风险模型，包括：
将所有的分析风险特征汇集成分析风险特征序列，根据所述时序风险特征序列和所述分析风险特征序列计算出所述风险处理模型对应的风险损失值；
判断所述风险损失值是否大于预设的风险损失阈值；
若是，则根据所述风险损失值对所述风险处理模型的模型参数进行迭代更新，并返回所述利用预设的风险处理模型的递归卷积门分别计算出所述时序风险特征序列对应的短期重置特征与短期记忆特征的步骤；
若否，则将更新后的所述风险处理模型作为时域风险模型。
9.如权利要求1所述的面向大数据构建的风险处理框架的JVM优化方法，其特征在于，所述根据所有的监控配置特征和所有的性能系数对预设的性能配置模型进行训练，得到性能分析模型，包括：
将所有的监控配置特征汇集成监控配置特征集，将所有的性能系数汇集成标准性能系数集；
根据预设的性能配置模型计算出所述监控配置特征集对应的分析性能系数集；
根据所述标准性能系数集和所述分析性能系数集计算出所述性能配置模型对应的性能损失值；
判断所述性能损失值是否大于预设的性能损失阈值；
若是，则根据所述性能损失值对所述性能配置模型的模型参数进行迭代更新，并返回所述根据所述标准性能系数集和所述分析性能系数集计算出所述性能配置模型对应的性能损失值的步骤；
若否，则将更新后的所述性能配置模型作为性能分析模型。
10.一种面向大数据构建的风险处理框架的JVM优化装置，其特征在于，所述装置包括：
数据清洗模块，用于按照时域周期对风险处理框架的JVM进行性能监控，得到性能监控日志集，对所述性能监控日志集进行数据清洗操作，得到标准监控日志集；
日志分类模块，用于逐个选取所述标准监控日志集中的标准监控日志作为目标标准监控日志，按照数据属性分别从所述目标标准监控日志中提取出垃圾回收日志、线程分配日志、数据访问日志以及风险处理日志；
特征提取模块，用于对所述垃圾回收日志、所述线程分配日志、所述数据访问日志以及所述风险处理日志进行配置特征提取，得到监控配置特征，从所述垃圾回收日志、所述线程分配日志、所述数据访问日志以及所述风险处理日志中提取出所述监控配置特征对应的监控性能特征，其中，所述从所述垃圾回收日志、所述线程分配日志、所述数据访问日志以及所述风险处理日志中提取出所述监控配置特征对应的监控性能特征，包括：从所述垃圾回收日志中提取出垃圾回收频率，从所述线程分配日志中提取出线程创销频率以及线程切换开销；从所述数据访问日志中提取出数据读写时间、数据吞吐量以及缓存命中率，从所述风险处理日志中提取出风险处理速度以及风险处理准确率；利用如下的加权平台效率算法根据所述垃圾回收频率、所述线程创销频率、所述线程切换开销、所述数据读写时间、所述数据吞吐量、所述缓存命中率、所述风险处理速度以及所述风险处理准确率计算出所述监控配置特征对应的监控性能特征：
其中，是指所述监控性能特征、/>是预设的垃圾回收权重、/>是预设的线程分配权重、是预设的数据访问权重、/>是预设的风险处理权重、/>是值所述垃圾回收频率，/>是指所述线程创销频率，/>是指所述线程切换开销，/>是指所述数据读写时间，/>是指所述数据吞吐量，/>是指所述缓存命中率，/>是指所述风险处理速度，/>是指所述风险处理准确率；
模型训练模块，用于从所述风险处理日志中提取出时域风险特征，根据所有的时域风险特征对预设的风险处理模型进行训练，得到时域风险模型，根据所有的监控配置特征和所有的性能系数对预设的性能配置模型进行训练，得到性能分析模型；
性能优化模块，用于获取实时监控日志，从所述实时监控日志中提取出实时风险特征，利用所述时域风险模型分析出所述实时风险特征对应的预测风险特征，利用所述性能分析模型分析出所述预测风险特征对应的标准配置特征，并根据所述标准配置特征对所述JVM进行性能优化。
CN202311678715.8A 2023-12-08 2023-12-08 一种面向大数据构建的风险处理框架的jvm优化方法和装置 Active CN117369954B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311678715.8A CN117369954B (zh) 2023-12-08 2023-12-08 一种面向大数据构建的风险处理框架的jvm优化方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311678715.8A CN117369954B (zh) 2023-12-08 2023-12-08 一种面向大数据构建的风险处理框架的jvm优化方法和装置

Publications (2)

Publication Number Publication Date
CN117369954A true CN117369954A (zh) 2024-01-09
CN117369954B CN117369954B (zh) 2024-03-05

Family

ID=89400738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311678715.8A Active CN117369954B (zh) 2023-12-08 2023-12-08 一种面向大数据构建的风险处理框架的jvm优化方法和装置

Country Status (1)

Country Link
CN (1) CN117369954B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160371180A1 (en) * 2015-06-18 2016-12-22 Oracle International Corporation Free memory trending for detecting out-of-memory events in virtual machines
US20160371170A1 (en) * 2015-06-18 2016-12-22 Oracle International Corporation Stateful detection of anomalous events in virtual machines
US20190312800A1 (en) * 2015-07-27 2019-10-10 Datagrid Systems, Inc. Method, apparatus and system for real-time optimization of computer-implemented application operations using machine learning techniques
CN110704277A (zh) * 2019-09-27 2020-01-17 中电万维信息技术有限责任公司 一种监测应用性能的方法、相关设备及存储介质
CN110942086A (zh) * 2019-10-30 2020-03-31 平安科技（深圳）有限公司 数据预测优化方法、装置、设备及可读存储介质
US11256590B1 (en) * 2018-10-05 2022-02-22 Cisco Technology, Inc. Agent profiler to monitor activities and performance of software agents
CN115469972A (zh) * 2022-09-29 2022-12-13 中国建设银行股份有限公司 一种jvm参数的调整方法及装置、存储介质及电子设备
CN115686995A (zh) * 2022-07-12 2023-02-03 中国工商银行股份有限公司 一种数据监控处理方法及装置
CN116881958A (zh) * 2023-06-01 2023-10-13 河南蓝通信息技术有限公司 电网大数据安全防护方法、系统、电子设备及存储介质
CN116893885A (zh) * 2023-09-11 2023-10-17 中移(苏州)软件技术有限公司 Java虚拟机调节方法、装置、电子设备及可读存储介质
CN117119535A (zh) * 2023-09-15 2023-11-24 深圳市汇优壹品科技有限公司 一种移动端集群热点共享的数据分流方法和系统
CN117130870A (zh) * 2023-10-26 2023-11-28 成都乐超人科技有限公司 面向Java架构微服务系统的透明请求追踪及采样方法和装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160371180A1 (en) * 2015-06-18 2016-12-22 Oracle International Corporation Free memory trending for detecting out-of-memory events in virtual machines
US20160371170A1 (en) * 2015-06-18 2016-12-22 Oracle International Corporation Stateful detection of anomalous events in virtual machines
US20190312800A1 (en) * 2015-07-27 2019-10-10 Datagrid Systems, Inc. Method, apparatus and system for real-time optimization of computer-implemented application operations using machine learning techniques
US11256590B1 (en) * 2018-10-05 2022-02-22 Cisco Technology, Inc. Agent profiler to monitor activities and performance of software agents
CN110704277A (zh) * 2019-09-27 2020-01-17 中电万维信息技术有限责任公司 一种监测应用性能的方法、相关设备及存储介质
CN110942086A (zh) * 2019-10-30 2020-03-31 平安科技（深圳）有限公司 数据预测优化方法、装置、设备及可读存储介质
CN115686995A (zh) * 2022-07-12 2023-02-03 中国工商银行股份有限公司 一种数据监控处理方法及装置
CN115469972A (zh) * 2022-09-29 2022-12-13 中国建设银行股份有限公司 一种jvm参数的调整方法及装置、存储介质及电子设备
CN116881958A (zh) * 2023-06-01 2023-10-13 河南蓝通信息技术有限公司 电网大数据安全防护方法、系统、电子设备及存储介质
CN116893885A (zh) * 2023-09-11 2023-10-17 中移(苏州)软件技术有限公司 Java虚拟机调节方法、装置、电子设备及可读存储介质
CN117119535A (zh) * 2023-09-15 2023-11-24 深圳市汇优壹品科技有限公司 一种移动端集群热点共享的数据分流方法和系统
CN117130870A (zh) * 2023-10-26 2023-11-28 成都乐超人科技有限公司 面向Java架构微服务系统的透明请求追踪及采样方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
G. VIJAYAKUMAR 等: "Predicting JVM Parameters for Performance Tuning Using Different Regression Algorithms", 《2022 FOURTH INTERNATIONAL CONFERENCE ON EMERGING RESEARCH IN ELECTRONICS, COMPUTER SCIENCE AND TECHNOLOGY (ICERECT)》, pages 1 - 8 *
汪钇丞 等: "面向大数据处理框架的JVM 优化技术综述", 《软件学报》, vol. 34, no. 1, pages 463 - 488 *
班晏子婧: "面向数据科学在线实验平台的性能分析系统", 《中国优秀硕士学位论文全文数据库 社会科学Ⅱ辑》, pages 131 - 860 *

Also Published As

Publication number Publication date
CN117369954B (zh) 2024-03-05

Similar Documents

Publication Publication Date Title
CN109948121A (zh) 文章相似度挖掘方法、系统、设备及存储介质
CN1900932A (zh) 生成用于自动化系统管理的领域知识的系统和方法
CN109388565B (zh) 基于生成式对抗网络的软件系统性能优化方法
CN109213752A (zh) 一种基于cim的数据清洗转换方法
CN109214004B (zh) 基于机器学习的大数据处理方法
CN110287010A (zh) 一种面向Spark时间窗口数据分析的缓存数据预取方法
CN111950660A (zh) 一种人工智能训练平台的告警预测方法及装置
CN110647995A (zh) 规则训练方法、装置、设备及存储介质
WO2023093100A1 (zh) 一种api网关异常调用识别的方法、装置、设备及产品
CN108805174A (zh) 聚类方法及装置
CN109241298A (zh) 语义数据存储调度方法
CN109308290A (zh) 一种基于cim的高效数据清洗转换方法
CN110389840B (zh) 负载消耗预警方法、装置、计算机设备和存储介质
CN113743453A (zh) 一种基于随机森林的人口数量预测方法
CN110019193B (zh) 相似帐号识别方法、装置、设备、系统及可读介质
CN117370058A (zh) 一种业务处理方法、装置、电子设备及计算机可读介质
CN117369954B (zh) 一种面向大数据构建的风险处理框架的jvm优化方法和装置
CN115296898B (zh) 用于构建网络入侵检测系统的多目标演化特征选择方法
CN114090850A (zh) 日志分类方法、电子设备及计算机可读存储介质
CN111858918A (zh) 新闻分类方法及装置、网元、存储介质
CN113064597B (zh) 一种冗余代码的识别方法、装置和设备
CN110941767A (zh) 一种基于多相似度集成的网络社团检测对抗增强方法
CN114584402B (zh) 基于攻击特征识别标签库的威胁过滤研判方法
Sun et al. Linux Storage IO Important Parameters Filtering Model Based on Random Forest
CN113434376B (zh) 一种基于NoSQL的Web日志分析方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant