CN117331794A - 基于大数据的应用软件监控分析系统及方法 - Google Patents

基于大数据的应用软件监控分析系统及方法 Download PDF

Info

Publication number
CN117331794A
CN117331794A CN202311609364.5A CN202311609364A CN117331794A CN 117331794 A CN117331794 A CN 117331794A CN 202311609364 A CN202311609364 A CN 202311609364A CN 117331794 A CN117331794 A CN 117331794A
Authority
CN
China
Prior art keywords
module
data
sub
analysis
report
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311609364.5A
Other languages
English (en)
Inventor
曹宏屹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenzhou Bangbang Technical Service Co ltd
Original Assignee
Beijing Shenzhou Bangbang Technical Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenzhou Bangbang Technical Service Co ltd filed Critical Beijing Shenzhou Bangbang Technical Service Co ltd
Priority to CN202311609364.5A priority Critical patent/CN117331794A/zh
Publication of CN117331794A publication Critical patent/CN117331794A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3065Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • G06F16/2433Query languages
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification
    • G06F16/287Visualization; Browsing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及大数据技术领域,具体为基于大数据的应用软件监控分析系统及方法,基于大数据的应用软件监控分析系统包括数据源融合模块、异常检测与修复模块、日志分析与路径追踪模块、分布式存储优化模块、资源调度与弹性扩容模块、性能监控与预警模块。本发明中,数据源融合利用图数据库和算法,生成全面的知识图谱,强化数据关系可视化。异常检测采用深度学习和自适应机制,提高准确性,降低人工干预。日志分析使用自然语言处理和主题建模,准确追踪问题路径。分布式存储优化通过压缩和索引提高效率。资源调度容器化增强系统动态调度与弹性。性能监控利用时间序列分析和机器学习预测,提供精准预警,解决潜在问题。

Description

基于大数据的应用软件监控分析系统及方法
技术领域
本发明涉及大数据技术领域,尤其涉及基于大数据的应用软件监控分析系统及方法。
背景技术
大数据技术涵盖了处理和分析海量数据的方法和工具。包括存储、处理、分析、可视化大规模数据集的技术和算法。大数据系统需要处理来自不同来源的大量结构化和非结构化数据,并通过分析这些数据来提供有价值的信息。
其中,基于大数据的应用软件监控分析系统是利用大数据技术监控和分析应用软件性能的系统。实时收集、存储和分析应用软件生成的大量数据,及时发现问题、优化性能并提高系统的稳定性。其主要目的是确保应用软件在运行过程中能够高效、稳定地工作,通过监控分析系统,能够追踪应用的性能、资源利用情况、错误日志等信息,及时发现并解决潜在的问题,提高系统的可用性和用户体验。通过实时监控和分析大数据,系统能够迅速识别应用软件中的性能瓶颈、异常行为或潜在故障。使系统管理员和开发人员能够更快速、精确地响应问题,提高系统的稳定性、可靠性和性能。为了实现这一目的,通常会在应用软件中集成监控代理或插件,实时收集关键性能指标、日志和其他相关数据。将数据被发送到大数据存储系统,然后通过数据分析和挖掘技术发现潜在问题和趋势。系统管理员和开发人员可以通过仪表板、报告或警报系统获取有关应用软件状态的实时信息。机器学习算法可以应用于预测性维护,提前识别潜在故障并采取相应的措施,避免系统中断或性能下降。
传统的数据融合和分析方法无法有效处理大数据环境下的复杂数据关系,导致分析结果不全面或准确。旧系统在异常检测和修复方面过于依赖规则和人工干预,缺乏自适应和学习能力,导致检测效率低下且准确度有限。传统日志分析方法未能充分利用自然语言处理技术,导致路径追踪不精确。在存储优化方面,老旧系统没有有效利用数据压缩和索引技术,导致存储成本高且效率低。资源调度方面,传统系统缺乏弹性和动态调度能力,导致资源分配不够灵活和高效。性能监控和预警方面,旧系统未能充分利用时间序列分析和机器学习算法,导致性能监控不精准,难以及时预测和预警潜在问题。
发明内容
本发明的目的是解决现有技术中存在的缺点,而提出的基于大数据的应用软件监控分析系统及方法。
为了实现上述目的,本发明采用了如下技术方案:基于大数据的应用软件监控分析系统,所述基于大数据的应用软件监控分析系统包括数据源融合模块、异常检测与修复模块、日志分析与路径追踪模块、分布式存储优化模块、资源调度与弹性扩容模块、性能监控与预警模块;
所述数据源融合模块基于多源监控数据,采用图数据库技术和图算法,进行数据融合和关联分析,生成知识图谱;
所述异常检测与修复模块基于知识图谱,采用深度学习模型进行行为建模,通过自适应机制进行异常检测,生成异常检测报告与修复策略;
所述日志分析与路径追踪模块基于异常检测报告与修复策略,采用自然语言处理技术和主题建模结合深度学习模型,进行日志分析,生成路径分析报告;
所述分布式存储优化模块基于路径分析报告,采用数据压缩技术和索引技术,进行存储优化,生成存储优化方案;
所述资源调度与弹性扩容模块基于存储优化方案,采用容器化技术,进行资源动态调度和弹性扩缩容,生成资源调度优化报告;
所述性能监控与预警模块基于资源调度优化报告,采用时间序列分析技术和机器学习预测算法,进行系统性能监控和趋势预测,生成性能预警报告;
所述知识图谱具体为包含多数据源节点和数据关联边的网络结构;所述异常检测报告与修复策略包括对系统异常描述和自动修复方案;所述路径分析报告具体为对系统路径性能问题的实时监控结果;所述存储优化方案具体包括存储空间占用策略和数据检索方法;所述资源调度优化报告具体包括实时监控数据、资源分配策略、弹性扩缩容策略;所述性能预警报告具体为系统性能的实时监测结果和趋势预测分析。
作为本发明的进一步方案,所述数据源融合模块包括数据集成子模块、图构建子模块、关联分析子模块、隐私保护子模块、图数据库查询子模块;
所述异常检测与修复模块包括行为建模子模块、异常检测子模块、自适应学习子模块、自动修复子模块、策略优化子模块;
所述日志分析与路径追踪模块包括日志解析子模块、情感分析子模块、主题建模子模块、路径追踪子模块、性能监控子模块;
所述分布式存储优化模块包括数据压缩子模块、索引优化子模块、存储管理子模块、容错处理子模块;
所述资源调度与弹性扩容模块包括资源监控子模块、动态调度子模块、弹性扩缩容子模块、容器管理子模块、性能优化子模块;
所述性能监控与预警模块包括性能数据收集子模块、实时监控子模块、趋势预测子模块、预警生成子模块。
作为本发明的进一步方案,所述数据集成子模块基于多源监控数据,采用ETL算法,进行数据标准化整合,生成统一化数据集;
所述图构建子模块基于统一化数据集,采用图数据库技术,构建数据节点和边线,生成数据关系图;
所述关联分析子模块基于数据关系图,采用PageRank和社群检测算法,生成关联分析报告;
所述隐私保护子模块基于关联分析报告,采用差分隐私和加密技术,生成隐私保护数据集;
所述图数据库查询子模块基于隐私保护数据集,采用Cypher查询语言,生成知识图谱。
作为本发明的进一步方案,所述行为建模子模块基于知识图谱,采用循环神经网络模型,生成行为模型;
所述异常检测子模块基于行为模型,采用异常检测算法,进行实时监控和异常识别,生成异常检测数据;
所述自适应学习子模块基于异常检测数据,采用在线学习和模型微调技术,生成优化后行为模型;
所述自动修复子模块基于优化后行为模型,采用修复算法,生成初步修复策略;
所述策略优化子模块基于异常检测数据与初步修复策略,采用策略迭代和优化方法,生成异常检测报告与修复策略。
作为本发明的进一步方案,所述日志解析子模块基于异常检测报告与修复策略,采用NLP分词和语义分析技术,生成解析后日志数据;
所述情感分析子模块基于解析后日志数据,应用情绪分析模型,生成情感分析报告;
所述主题建模子模块基于情感分析报告,运用LDA主题建模技术,生成日志主题模型。
所述路径追踪子模块基于日志主题模型,利用路径追踪算法,生成路径追踪报告;
所述性能监控子模块基于路径追踪报告,进行系统性能分析和瓶颈识别,生成路径分析报告。
作为本发明的进一步方案,所述数据压缩子模块基于路径分析报告,应用数据压缩算法,生成数据压缩结果;
所述索引优化子模块基于数据压缩结果,采用索引构建和优化技术,生成优化索引;
所述存储管理子模块基于优化索引,进行存储空间分配和动态管理,生成存储管理方案;
所述容错处理子模块基于存储管理方案,实施分布式容错机制,生成存储优化方案。
作为本发明的进一步方案,所述资源监控子模块基于存储优化方案,采用容器化监控技术,进行资源使用状况实时监控,生成资源使用情况报告;
所述动态调度子模块基于资源使用情况报告,应用负载均衡算法,生成资源动态调度计划;
所述弹性扩缩容子模块基于资源动态调度计划,采用自动扩缩容机制,生成弹性扩缩容方案;
所述容器管理子模块基于弹性扩缩容方案,利用容器编排技术,生成容器管理策略;
所述性能优化子模块基于容器管理策略,通过系统优化技术,生成资源调度优化报告。
作为本发明的进一步方案,所述性能数据收集子模块基于资源调度优化报告,应用数据采集技术,生成性能数据集;
所述实时监控子模块基于性能数据集,进行实时数据监控,生成实时监控报告;
所述趋势预测子模块基于实时监控报告,利用时间序列分析技术预测性能趋势,生成趋势预测分析;
所述预警生成子模块基于趋势预测分析,结合机器学习算法,生成性能预警报告。
基于大数据的应用软件监控分析方法,所述电动汽车状态监控方法基于上述基于大数据的应用软件监控分析系统执行,包括以下步骤:
S1:基于所述多源监控数据,采用ETL算法,进行数据标准化整合,生成统一化数据集;
S2:基于所述统一化数据集,采用图数据库技术,进行数据节点和边的构建,生成数据关系图;
S3:基于所述数据关系图,采用PageRank和社群检测算法进行关联分析,生成关联分析报告;
S4:基于所述关联分析报告,采用循环神经网络模型进行行为建模,生成行为模型;
S5:基于所述行为模型,采用异常检测算法进行实时监控和异常识别,生成异常检测数据;
S6:基于所述异常检测数据与初步修复策略,采用策略迭代和优化方法,生成异常检测报告与修复策略;
S7:基于所述异常检测报告与修复策略,使用NLP分词和语义分析技术进行日志解析,生成解析后的日志数据;
作为本发明的进一步方案,所述统一化数据集具体为经过数据清洗、字段映射、格式标准化处理的数据;所述关联分析报告包括PageRank值排名、社群检测结果;所述行为模型具体为对应多数据节点行为描述和模式识别结果;所述异常检测数据具体为异常行为记录和异常类型识别结果;所述异常检测报告与修复策略包括异常行为趋势分析与异常行为处理方案;所述解析后的日志数据具体为包含分词结果和语义分析结果的日志信息。
与现有技术相比,本发明的优点和积极效果在于:
本发明中,通过数据源融合模块的图数据库技术和图算法,能够更高效地进行数据融合和关联分析,生成精准和全面的知识图谱。加强了数据之间关系的可视化,提升了数据分析的深度和广度。异常检测与修复模块的深度学习模型和自适应机制,提高了异常检测的准确性和系统的自我修复能力,降低了人工干预的需求。日志分析与路径追踪模块使用自然语言处理技术和主题建模,加深了对日志数据的理解,能够准确地追踪问题发生的路径。分布式存储优化模块通过数据压缩和索引技术,提升了存储效率,减少了空间成本。资源调度与弹性扩容模块的容器化技术,增强了系统的动态调度能力和弹性,使资源利用高效。性能监控与预警模块的时间序列分析技术和机器学习预测,提供了精准的性能监控和预警,识别和解决潜在问题。
附图说明
图1为本发明的系统流程图;
图2为本发明的系统框架示意图;
图3为本发明的数据源融合模块流程图;
图4为本发明的异常检测与修复模块流程图;
图5为本发明的日志分析与路径追踪模块流程图;
图6为本发明的分布式存储优化模块流程图;
图7为本发明的资源调度与弹性扩容模块流程图;
图8为本发明的性能监控与预警模块流程图;
图9为本发明的方法步骤示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在本发明的描述中,需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
实施例一:请参阅图1,本发明提供一种技术方案:基于大数据的应用软件监控分析系统,基于大数据的应用软件监控分析系统包括数据源融合模块、异常检测与修复模块、日志分析与路径追踪模块、分布式存储优化模块、资源调度与弹性扩容模块、性能监控与预警模块;
数据源融合模块基于多源监控数据,采用图数据库技术和图算法,进行数据融合和关联分析,生成知识图谱;
异常检测与修复模块基于知识图谱,采用深度学习模型进行行为建模,通过自适应机制进行异常检测,生成异常检测报告与修复策略;
日志分析与路径追踪模块基于异常检测报告与修复策略,采用自然语言处理技术和主题建模结合深度学习模型,进行日志分析,生成路径分析报告;
分布式存储优化模块基于路径分析报告,采用数据压缩技术和索引技术,进行存储优化,生成存储优化方案;
资源调度与弹性扩容模块基于存储优化方案,采用容器化技术,进行资源动态调度和弹性扩缩容,生成资源调度优化报告;
性能监控与预警模块基于资源调度优化报告,采用时间序列分析技术和机器学习预测算法,进行系统性能监控和趋势预测,生成性能预警报告;
知识图谱具体为包含多数据源节点和数据关联边的网络结构;异常检测报告与修复策略包括对系统异常描述和自动修复方案;路径分析报告具体为对系统路径性能问题的实时监控结果;存储优化方案具体包括存储空间占用策略和数据检索方法;资源调度优化报告具体包括实时监控数据、资源分配策略、弹性扩缩容策略;性能预警报告具体为系统性能的实时监测结果和趋势预测分析。
数据源融合模块通过采用图数据库技术和图算法,实现了多源监控数据的融合和关联分析,生成了包含多数据源节点和数据关联边的知识图谱。使系统能够全面理解各监控数据之间的关系,为后续的分析提供了强大的基础。知识图谱的建立,使异常检测、修复、路径追踪等模块能够更加准确地理解系统状态。异常检测与修复模块基于知识图谱,应用深度学习模型进行行为建模,通过自适应机制进行实时异常检测,并生成异常检测报告与修复策略。使系统能够及时发现潜在问题并自动化地采取相应的修复措施,提高了系统的可用性和稳定性,日志分析与路径追踪模块实现了对日志的深入分析,生成了详尽的路径分析报告。有助于运维人员更好地理解系统运行状态,快速定位问题,提高问题处理的效率。分布式存储优化模块基于路径分析报告,采用数据压缩技术和索引技术,进行存储优化,生成存储优化方案。通过对存储空间的有效管理,系统能够更加高效地存储大量监控数据,减少资源浪费。资源调度与弹性扩容模块基于存储优化方案,采用容器化技术,进行资源动态调度和弹性扩缩容,生成资源调度优化报告。使系统能够适应变化的工作负载,提高资源利用率,降低运维成本。性能监控与预警模块基于资源调度优化报告,采用时间序列分析技术和机器学习预测算法,进行系统性能监控和趋势预测,生成性能预警报告。有助于提前发现潜在的性能问题,预防系统故障,保障系统的稳定运行。
请参阅图2,数据源融合模块包括数据集成子模块、图构建子模块、关联分析子模块、隐私保护子模块、图数据库查询子模块;
异常检测与修复模块包括行为建模子模块、异常检测子模块、自适应学习子模块、自动修复子模块、策略优化子模块;
日志分析与路径追踪模块包括日志解析子模块、情感分析子模块、主题建模子模块、路径追踪子模块、性能监控子模块;
分布式存储优化模块包括数据压缩子模块、索引优化子模块、存储管理子模块、容错处理子模块;
资源调度与弹性扩容模块包括资源监控子模块、动态调度子模块、弹性扩缩容子模块、容器管理子模块、性能优化子模块;
性能监控与预警模块包括性能数据收集子模块、实时监控子模块、趋势预测子模块、预警生成子模块。
数据源融合模块中,数据集成子模块用于不同数据源的数据整合;图构建子模块使用图数据库技术创建包含多数据源节点和数据关联边的网络结构,形成知识图谱;关联分析子模块采用图算法对知识图谱进行关联分析,挖掘数据之间的关系;隐私保护子模块用于对融合后数据进行隐私保护处理,确保敏感信息的安全;图数据库查询子模块用于对知识图谱进行查询,支持后续异常检测与修复。
异常检测与修复模块中,行为建模子模块基于知识图谱,采用深度学习模型对应用软件的行为进行建模;异常检测子模块通过自适应机制对应用软件的行为进行实时监测,检测可能的异常情况;自适应学习子模块负责动态调整异常检测模型,适应系统行为的变化;自动修复子模块根据异常检测结果生成自动修复方案,自动化处理检测到的异常;策略优化子模块用于优化异常检测与修复策略,提高系统的自适应性和效率。
日志分析与路径追踪模块中,日志解析子模块用于将应用软件产生的日志数据进行解析,提取有用的信息;情感分析子模块通过自然语言处理技术对日志内容进行情感分析,识别存在问题;主题建模子模块用于识别日志中的主题;路径追踪子模块基于异常检测报告与修复策略,结合深度学习模型,分析应用软件的路径,生成路径分析报告;性能监控子模块监测系统的性能,收集性能相关的数据。
分布式存储优化模块中,数据压缩子模块采用数据压缩技术对存储的数据进行压缩,减少存储空间占用;索引优化子模块使用索引技术对存储的数据进行优化,提高数据检索效率;存储管理子模块负责管理存储空间,执行存储优化方案;容错处理子模块处理存储系统的容错,确保数据的安全性和可靠性。
资源调度与弹性扩容模块中,资源监控子模块用于监控系统资源的使用情况;动态调度子模块基于存储优化方案,调整系统资源的分配,提高资源利用率;弹性扩缩容子模块根据容器化技术动态调整系统规模,以应对系统负载的变化;容器管理子模块负责容器的创建、启动、停止和销毁;性能优化子模块用于优化系统的性能,提高系统的稳定性和效率。
性能监控与预警模块中,性能数据收集子模块用于收集系统性能相关的数据;实时监控子模块基于收集到的数据进行系统性能监测;趋势预测子模块采用时间序列分析技术和机器学习预测算法,预测系统性能的趋势;预警生成子模块生成性能预警报告。
请参阅图3,数据集成子模块基于多源监控数据,采用ETL算法,进行数据标准化整合,生成统一化数据集;
图构建子模块基于统一化数据集,采用图数据库技术,构建数据节点和边线,生成数据关系图;
关联分析子模块基于数据关系图,采用PageRank和社群检测算法,生成关联分析报告;
隐私保护子模块基于关联分析报告,采用差分隐私和加密技术,生成隐私保护数据集;
图数据库查询子模块基于隐私保护数据集,采用Cypher查询语言,生成知识图谱。
通过数据集成子模块,从多源监控数据中收集并清洗数据,利用ETL算法对数据进行标准化整合,生成一个统一的数据集;利用图构建子模块,基于统一化数据集,选择合适的图数据库技术,将数据集中的实体作为节点、不同实体之间的关系作为边线,构建数据关系图;在数据关系图构建完成后,通过关联分析子模块,应用PageRank和社群检测算法,识别关键节点和社群结构,并生成关联分析报告,提供深入的数据关系洞察;采用隐私保护子模块,在关联分析报告的基础上,利用差分隐私和加密技术对敏感信息进行处理,生成隐私保护数据集。确保个体信息的隐私性和整个数据集的安全性;通过图数据库查询子模块,基于隐私保护数据集,使用Cypher查询语言构建查询,从图数据库中检索数据,生成知识图谱。
请参阅图4,行为建模子模块基于知识图谱,采用循环神经网络模型,生成行为模型;
异常检测子模块基于行为模型,采用异常检测算法,进行实时监控和异常识别,生成异常检测数据;
自适应学习子模块基于异常检测数据,采用在线学习和模型微调技术,生成优化后行为模型;
自动修复子模块基于优化后行为模型,采用修复算法,生成初步修复策略;
策略优化子模块基于异常检测数据与初步修复策略,采用策略迭代和优化方法,生成异常检测报告与修复策略。
行为建模子模块通过知识图谱和循环神经网络模型,将系统的优化数据集整合成行为模型,准确反映各组件之间的正常交互;异常检测子模块基于行为模型,采用异常检测算法实时监控系统,识别异常模式并生成异常检测数据,提供及时的异常检测报告;自适应学习子模块利用异常检测数据,通过在线学习和模型微调技术,动态调整行为模型,生成更加优化和适应系统动态变化的行为模型;自动修复子模块基于优化后的行为模型应用修复算法生成初步修复策略,解决系统异常,同时记录修复动作和评估其影响;策略优化子模块结合异常检测数据与初步修复策略,通过策略迭代和优化方法生成异常检测报告与修复策略,不断提高系统的稳定性和可靠性。
请参阅图5,日志解析子模块基于异常检测报告与修复策略,采用NLP分词和语义分析技术,生成解析后日志数据;
情感分析子模块基于解析后日志数据,应用情绪分析模型,生成情感分析报告;
主题建模子模块基于情感分析报告,运用LDA主题建模技术,生成日志主题模型。
路径追踪子模块基于日志主题模型,利用路径追踪算法,生成路径追踪报告;
性能监控子模块基于路径追踪报告,进行系统性能分析和瓶颈识别,生成路径分析报告。
日志解析子模块基于异常检测报告与修复策略,利用NLP分词和语义分析技术对原始日志进行处理,生成结构化的日志数据,确保包含了与异常检测和修复相关的详细信息;情感分析子模块利用解析后的日志数据,应用情绪分析模型,生成情感分析报告,提供了对异常检测和修复过程中情感倾向的全面认知;主题建模子模块在情感分析报告的基础上,通过LDA主题建模技术将日志数据分解为不同主题,生成日志主题模型,深入地理解日志中的关键主题信息;路径追踪子模块利用日志主题模型,采用路径追踪算法,生成路径追踪报告,描述了异常检测和修复过程中的关键路径,提供了对执行流程的深入洞察,性能监控子模块基于路径追踪报告,进行系统性能分析和瓶颈识别,生成路径分析报告,包括性能评估和瓶颈识别的结果,为系统优化提供了重要参考。
请参阅图6,数据压缩子模块基于路径分析报告,应用数据压缩算法,生成数据压缩结果;
索引优化子模块基于数据压缩结果,采用索引构建和优化技术,生成优化索引;
存储管理子模块基于优化索引,进行存储空间分配和动态管理,生成存储管理方案;
容错处理子模块基于存储管理方案,实施分布式容错机制,生成存储优化方案。
数据压缩子模块基于路径分析报告,识别数据中的冗余和重复信息;应用数据压缩算法,包括Lempel-Ziv压缩算法、gzip压缩算法,对识别的冗余信息进行压缩,生成数据压缩结果,在保留关键信息的同时减少存储空间占用;索引优化子模块基于数据压缩结果,采用索引构建和优化技术;识别关键查询字段,建立适当的索引结构,提高查询效率,运用分区索引、位图索引等技术,生成优化索引,适应系统的查询需求;存储管理子模块基于优化索引,进行存储空间分配和动态管理,采用分层存储结构,将热数据和冷数据分别存储在高速存储和低速存储介质上,实施定期的数据清理和整理,保障存储空间的高效利用;容错处理子模块基于存储管理方案,实施分布式容错机制,采用数据冗余和备份策略,使用RAID技术,在硬件故障时能够恢复数据,制定定期的数据备份计划,生成存储优化方案,应对意外数据丢失或损坏的情况。
请参阅图7,资源监控子模块基于存储优化方案,采用容器化监控技术,进行资源使用状况实时监控,生成资源使用情况报告;
动态调度子模块基于资源使用情况报告,应用负载均衡算法,生成资源动态调度计划;
弹性扩缩容子模块基于资源动态调度计划,采用自动扩缩容机制,生成弹性扩缩容方案;
容器管理子模块基于弹性扩缩容方案,利用容器编排技术,生成容器管理策略;
性能优化子模块基于容器管理策略,通过系统优化技术,生成资源调度优化报告。
资源监控子模块部署容器化监控工具,包括Prometheus、Grafana,实时监控系统资源使用状况,基于存储优化方案,关注存储系统的关键指标,包括存储容量、I/O吞吐量,定期生成资源使用情况报告,包括存储性能指标、瓶颈分析等信息;动态调度子模块根据资源使用情况报告,应用负载均衡算法,识别系统中的资源瓶颈和高负载节点,生成资源动态调度计划,包括重新分配存储负载、调整容器实例分布操作,确保系统负载均衡,提高资源利用率;弹性扩缩容子模块基于资源动态调度计划,制定自动扩缩容机制,应对系统负载波动,根据负载情况,自动调整容器实例数量,生成弹性扩缩容方案,确保系统在高峰期和低谷期都能有效利用资源;容器管理子模块基于弹性扩缩容方案,利用容器编排技术,包括Kubernetes、DockerSwarm,进行容器的自动化管理和调度,实施容器的水平扩展和收缩,确保系统的高可用性和弹性,生成容器管理策略,包括容器调度规则、健康检查等;性能优化子模块基于容器管理策略,通过系统优化技术,包括内存调优、网络优化,提高容器性能,定期进行性能测试和分析,识别潜在的性能瓶颈,提出优化建议,生成资源调度优化报告,包括性能提升的具体措施和效果评估。
请参阅图8,性能数据收集子模块基于资源调度优化报告,应用数据采集技术,生成性能数据集;
实时监控子模块基于性能数据集,进行实时数据监控,生成实时监控报告;
趋势预测子模块基于实时监控报告,利用时间序列分析技术预测性能趋势,生成趋势预测分析;
预警生成子模块基于趋势预测分析,结合机器学习算法,生成性能预警报告。
性能数据收集子模块基于资源调度优化报告确定需要收集的性能数据类型和指标,部署数据采集技术,包括Telegraf、StatsD,实时或定期方式收集系统性能数据,将收集的数据整合成性能数据集,包括CPU利用率、内存消耗、网络流量;实时监控子模块基于生成的性能数据集建立实时监控系统,使用Grafana、Kibana工具,实时监控系统持续收集数据,并进行可视化展示和分析,生成实时监控报告,根据监控报告,对系统性能问题采取相应措施;趋势预测子模块利用时间序列分析技术,包括ARIMA模型、神经网络模型,对实时监控报告中的历史性能数据进行分析和建模,基于历史数据,预测系统性能的未来趋势,包括资源利用率的增长趋势或异常波动,生成趋势预测分析报告,指导未来的系统性能优化和资源调配;预警生成子模块基于趋势预测分析结果和机器学习算法,建立预警系统,使用异常检测算法,设定预警触发条件,当资源利用率超过阈值或出现异常变化时触发预警,生成性能预警报告,通知系统管理员或运维团队,采取必要的应对措施。
请参阅图9,基于大数据的应用软件监控分析方法,电动汽车状态监控方法基于上述基于大数据的应用软件监控分析系统执行,包括以下步骤:
S1:基于多源监控数据,采用ETL算法,进行数据标准化整合,生成统一化数据集;
S2:基于统一化数据集,采用图数据库技术,进行数据节点和边的构建,生成数据关系图;
S3:基于数据关系图,采用PageRank和社群检测算法进行关联分析,生成关联分析报告;
S4:基于关联分析报告,采用循环神经网络模型进行行为建模,生成行为模型;
S5:基于行为模型,采用异常检测算法进行实时监控和异常识别,生成异常检测数据;
S6:基于异常检测数据与初步修复策略,采用策略迭代和优化方法,生成异常检测报告与修复策略;
S7:基于异常检测报告与修复策略,使用NLP分词和语义分析技术进行日志解析,生成解析后的日志数据;
统一化数据集具体为经过数据清洗、字段映射、格式标准化处理的数据;关联分析报告包括PageRank值排名、社群检测结果;行为模型具体为对应多数据节点行为描述和模式识别结果;异常检测数据具体为异常行为记录和异常类型识别结果;异常检测报告与修复策略包括异常行为趋势分析与异常行为处理方案;解析后的日志数据具体为包含分词结果和语义分析结果的日志信息。
通过ETL算法和数据标准化整合,实现了多源监控数据的统一化处理,提高了数据的一致性和可比性。消除数据异构性,简化了后续处理流程,使得监控系统更容易处理和分析数据,利用图数据库技术构建数据关系图,提供了更丰富的数据表达方式。数据关系图的建立,能够更好地捕捉数据之间的关联关系,为系统提供了更全面、准确的数据视图。采用PageRank和社群检测算法进行关联分析,生成关联分析报告。提供了深入的数据关联洞察,帮助系统准确地定位潜在问题,提高问题排查效率,循环神经网络模型用于行为建模,系统能够精准地理解应用软件的行为模式。提高系统对异常行为的检测准确性,增强实时监控和异常识别的效果。采用异常检测算法生成实时监控和异常识别的数据。这使得监控系统能够及时发现应用软件状态中的异常行为,提高系统的实时监控能力,预防问题的扩大。通过异常检测报告与修复策略的生成以及NLP分词和语义分析技术进行的日志解析,系统能够更全面地了解异常行为的趋势和原因。能够制定更有效的修复策略,减少了故障处理的时间和成本。
以上,仅是本发明的较佳实施例而已,并非对本发明作其他形式的限制,任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其他领域,但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与改型,仍属于本发明技术方案的保护范围。

Claims (10)

1.基于大数据的应用软件监控分析系统,其特征在于:所述基于大数据的应用软件监控分析系统包括数据源融合模块、异常检测与修复模块、日志分析与路径追踪模块、分布式存储优化模块、资源调度与弹性扩容模块、性能监控与预警模块;
所述数据源融合模块基于多源监控数据,采用图数据库技术和图算法,进行数据融合和关联分析,生成知识图谱;
所述异常检测与修复模块基于知识图谱,采用深度学习模型进行行为建模,通过自适应机制进行异常检测,生成异常检测报告与修复策略;
所述日志分析与路径追踪模块基于异常检测报告与修复策略,采用自然语言处理技术和主题建模结合深度学习模型,进行日志分析,生成路径分析报告;
所述分布式存储优化模块基于路径分析报告,采用数据压缩技术和索引技术,进行存储优化,生成存储优化方案;
所述资源调度与弹性扩容模块基于存储优化方案,采用容器化技术,进行资源动态调度和弹性扩缩容,生成资源调度优化报告;
所述性能监控与预警模块基于资源调度优化报告,采用时间序列分析技术和机器学习预测算法,进行系统性能监控和趋势预测,生成性能预警报告;
所述知识图谱具体为包含多数据源节点和数据关联边的网络结构;所述异常检测报告与修复策略包括对系统异常描述和自动修复方案;所述路径分析报告具体为对系统路径性能问题的实时监控结果;所述存储优化方案具体包括存储空间占用策略和数据检索方法;所述资源调度优化报告具体包括实时监控数据、资源分配策略、弹性扩缩容策略;所述性能预警报告具体为系统性能的实时监测结果和趋势预测分析。
2.根据权利要求1所述的基于大数据的应用软件监控分析系统,其特征在于:所述数据源融合模块包括数据集成子模块、图构建子模块、关联分析子模块、隐私保护子模块、图数据库查询子模块;
所述异常检测与修复模块包括行为建模子模块、异常检测子模块、自适应学习子模块、自动修复子模块、策略优化子模块;
所述日志分析与路径追踪模块包括日志解析子模块、情感分析子模块、主题建模子模块、路径追踪子模块、性能监控子模块;
所述分布式存储优化模块包括数据压缩子模块、索引优化子模块、存储管理子模块、容错处理子模块;
所述资源调度与弹性扩容模块包括资源监控子模块、动态调度子模块、弹性扩缩容子模块、容器管理子模块、性能优化子模块;
所述性能监控与预警模块包括性能数据收集子模块、实时监控子模块、趋势预测子模块、预警生成子模块。
3.根据权利要求2所述的基于大数据的应用软件监控分析系统,其特征在于:所述数据集成子模块基于多源监控数据,采用ETL算法,进行数据标准化整合,生成统一化数据集;
所述图构建子模块基于统一化数据集,采用图数据库技术,构建数据节点和边线,生成数据关系图;
所述关联分析子模块基于数据关系图,采用PageRank和社群检测算法,生成关联分析报告;
所述隐私保护子模块基于关联分析报告,采用差分隐私和加密技术,生成隐私保护数据集;
所述图数据库查询子模块基于隐私保护数据集,采用Cypher查询语言,生成知识图谱。
4.根据权利要求2所述的基于大数据的应用软件监控分析系统,其特征在于:所述行为建模子模块基于知识图谱,采用循环神经网络模型,生成行为模型;
所述异常检测子模块基于行为模型,采用异常检测算法,进行实时监控和异常识别,生成异常检测数据;
所述自适应学习子模块基于异常检测数据,采用在线学习和模型微调技术,生成优化后行为模型;
所述自动修复子模块基于优化后行为模型,采用修复算法,生成初步修复策略;
所述策略优化子模块基于异常检测数据与初步修复策略,采用策略迭代和优化方法,生成异常检测报告与修复策略。
5.根据权利要求2所述的基于大数据的应用软件监控分析系统,其特征在于:所述日志解析子模块基于异常检测报告与修复策略,采用NLP分词和语义分析技术,生成解析后日志数据;
所述情感分析子模块基于解析后日志数据,应用情绪分析模型,生成情感分析报告;
所述主题建模子模块基于情感分析报告,运用LDA主题建模技术,生成日志主题模型;
所述路径追踪子模块基于日志主题模型,利用路径追踪算法,生成路径追踪报告;
所述性能监控子模块基于路径追踪报告,进行系统性能分析和瓶颈识别,生成路径分析报告。
6.根据权利要求2所述的基于大数据的应用软件监控分析系统,其特征在于:所述数据压缩子模块基于路径分析报告,应用数据压缩算法,生成数据压缩结果;
所述索引优化子模块基于数据压缩结果,采用索引构建和优化技术,生成优化索引;
所述存储管理子模块基于优化索引,进行存储空间分配和动态管理,生成存储管理方案;
所述容错处理子模块基于存储管理方案,实施分布式容错机制,生成存储优化方案。
7.根据权利要求2所述的基于大数据的应用软件监控分析系统,其特征在于:所述资源监控子模块基于存储优化方案,采用容器化监控技术,进行资源使用状况实时监控,生成资源使用情况报告;
所述动态调度子模块基于资源使用情况报告,应用负载均衡算法,生成资源动态调度计划;
所述弹性扩缩容子模块基于资源动态调度计划,采用自动扩缩容机制,生成弹性扩缩容方案;
所述容器管理子模块基于弹性扩缩容方案,利用容器编排技术,生成容器管理策略;
所述性能优化子模块基于容器管理策略,通过系统优化技术,生成资源调度优化报告。
8.根据权利要求2所述的基于大数据的应用软件监控分析系统,其特征在于:所述性能数据收集子模块基于资源调度优化报告,应用数据采集技术,生成性能数据集;
所述实时监控子模块基于性能数据集,进行实时数据监控,生成实时监控报告;
所述趋势预测子模块基于实时监控报告,利用时间序列分析技术预测性能趋势,生成趋势预测分析;
所述预警生成子模块基于趋势预测分析,结合机器学习算法,生成性能预警报告。
9.基于大数据的应用软件监控分析方法,其特征在于,根据权利要求1-8任一项所述的基于大数据的应用软件监控分析系统执行,包括以下步骤:
基于所述多源监控数据,采用ETL算法,进行数据标准化整合,生成统一化数据集;
基于所述统一化数据集,采用图数据库技术,进行数据节点和边的构建,生成数据关系图;
基于所述数据关系图,采用PageRank和社群检测算法进行关联分析,生成关联分析报告;
基于所述关联分析报告,采用循环神经网络模型进行行为建模,生成行为模型;
基于所述行为模型,采用异常检测算法进行实时监控和异常识别,生成异常检测数据;
基于所述异常检测数据与初步修复策略,采用策略迭代和优化方法,生成异常检测报告与修复策略;
基于所述异常检测报告与修复策略,使用NLP分词和语义分析技术进行日志解析,生成解析后的日志数据。
10.根据权利要求9所述的电动汽车状态监控方法,其特征在于:所述统一化数据集具体为经过数据清洗、字段映射、格式标准化处理的数据;所述关联分析报告包括PageRank值排名、社群检测结果;所述行为模型具体为对应多数据节点行为描述和模式识别结果;所述异常检测数据具体为异常行为记录和异常类型识别结果;所述异常检测报告与修复策略包括异常行为趋势分析与异常行为处理方案;所述解析后的日志数据具体为包含分词结果和语义分析结果的日志信息。
CN202311609364.5A 2023-11-29 2023-11-29 基于大数据的应用软件监控分析系统及方法 Pending CN117331794A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311609364.5A CN117331794A (zh) 2023-11-29 2023-11-29 基于大数据的应用软件监控分析系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311609364.5A CN117331794A (zh) 2023-11-29 2023-11-29 基于大数据的应用软件监控分析系统及方法

Publications (1)

Publication Number Publication Date
CN117331794A true CN117331794A (zh) 2024-01-02

Family

ID=89283369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311609364.5A Pending CN117331794A (zh) 2023-11-29 2023-11-29 基于大数据的应用软件监控分析系统及方法

Country Status (1)

Country Link
CN (1) CN117331794A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117873786A (zh) * 2024-01-12 2024-04-12 北京华乐思教育科技有限公司 一种教育平台智能维护更新系统及方法
CN118069897A (zh) * 2024-04-24 2024-05-24 青岛熙正数字科技有限公司 一种环保大数据的存储方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170046217A1 (en) * 2015-08-12 2017-02-16 Avekshaa Technologies Private Ltd System and method for batch monitoring of performance data
CN112598489A (zh) * 2020-12-14 2021-04-02 深圳市快付通金融网络科技服务有限公司 基于金融应用的风险监测方法及系统
CN113726784A (zh) * 2021-08-31 2021-11-30 平安医疗健康管理股份有限公司 一种网络数据的安全监控方法、装置、设备及存储介质
CN115618007A (zh) * 2022-09-08 2023-01-17 西安秦云清风信息科技有限公司 基于知识图谱的监察数据分析系统
CN115883236A (zh) * 2022-12-10 2023-03-31 国网福建省电力有限公司 电网智能终端协同攻击监测系统
CN117035456A (zh) * 2023-08-14 2023-11-10 武汉集远数字科技有限公司 一种智慧工地监控管理方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170046217A1 (en) * 2015-08-12 2017-02-16 Avekshaa Technologies Private Ltd System and method for batch monitoring of performance data
CN112598489A (zh) * 2020-12-14 2021-04-02 深圳市快付通金融网络科技服务有限公司 基于金融应用的风险监测方法及系统
CN113726784A (zh) * 2021-08-31 2021-11-30 平安医疗健康管理股份有限公司 一种网络数据的安全监控方法、装置、设备及存储介质
CN115618007A (zh) * 2022-09-08 2023-01-17 西安秦云清风信息科技有限公司 基于知识图谱的监察数据分析系统
CN115883236A (zh) * 2022-12-10 2023-03-31 国网福建省电力有限公司 电网智能终端协同攻击监测系统
CN117035456A (zh) * 2023-08-14 2023-11-10 武汉集远数字科技有限公司 一种智慧工地监控管理方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117873786A (zh) * 2024-01-12 2024-04-12 北京华乐思教育科技有限公司 一种教育平台智能维护更新系统及方法
CN118069897A (zh) * 2024-04-24 2024-05-24 青岛熙正数字科技有限公司 一种环保大数据的存储方法和装置

Similar Documents

Publication Publication Date Title
US6393387B1 (en) System and method for model mining complex information technology systems
US7526508B2 (en) Self-managing database architecture
US6311175B1 (en) System and method for generating performance models of complex information technology systems
CN111209131A (zh) 一种基于机器学习确定异构系统的故障的方法和系统
CN107577588A (zh) 一种海量日志数据智能运维系统
WO2022083576A1 (zh) 一种网络功能虚拟化设备运行数据的分析方法及装置
CN114500250B (zh) 一种云模式下体系联动的综合运维系统及方法
CN111259947A (zh) 一种基于多模态学习的电力系统故障预警方法和系统
CN115809183A (zh) 基于知识图谱的信创终端故障发现及处置的方法
CN106844161A (zh) 一种带状态流计算系统中的异常监控及预测方法和系统
CN117331794A (zh) 基于大数据的应用软件监控分析系统及方法
CN111027615A (zh) 基于机器学习的中间件故障预警方法和系统
US20200250897A1 (en) Intelligent prognostics and health management system and method
CN104574219A (zh) 电网业务信息系统运行工况的监测预警方法及系统
CN112884452A (zh) 一种智能运维多源数据采集可视化分析系统
CN117453137A (zh) 云化智能运维系统数据管理系统
CN115048361B (zh) 一种基于大数据的数据库运维风险预警系统及方法
CN117235169A (zh) 一种智慧运维数据存储平台
CN117194919A (zh) 一种生产数据分析系统
CN116755964A (zh) 一种加固服务器的故障预测与健康管理系统
CN117787711A (zh) 一种基于大数据的拱桥施工单端管理系统
CN106649034B (zh) 一种可视化智能运维方法及平台
CN116895046B (zh) 基于虚拟化的异常运维数据处理方法
CN116755992B (zh) 一种基于OpenStack云计算的日志分析方法及系统
CN117827743A (zh) 档案管理用数据交互系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination